有能力约束的车辆路径问题(Capacitated Vehicle Routing Problem，CVRP)是现阶段供应链应用最常见的问题模型，现多采用启发式算法求解，但随着问题规模增大，启发式算法求解速度慢且无法保证解的质量。本文提出端到端深度强化学习(Deep Reinforcement Learning，DRL)网络框架对CVRP问题进行研究。首先利用边聚合图注意力网络编码器(Edge-Graph Attention Network Encoder，EGATE)对车辆路径规划问题的图表示进行特征嵌入编码；然后设计多头注意力解码器(Multi-head Attention Decoder，MAD)进行解码，并提出多解码策略以增加解的空间多样性；接着利用带回滚基线的基线REINFORCE算法对端到端网络模型进行训练，基线可自适应性更新以提升模型训练效果，并利用奖励函数归一化和Adam优化器对算法进行优化。最后通过对不同规模问题的实验以及与其他算法进行对比，验证了所提出端到端DRL框架的可行性与有效性，经过训练的模型在CVRPLIB公共数据集上的平均求解时间仅需0.189s即可得到较优解。