2026, 41(9):2580-2590.
DOI: 10.13195/j.kzyjc.2025.1154
摘要:
离线强化学习(ORL)依赖固定数据集进行动态决策学习, 常因分布外动作引发外推误差. 现有方法通常通过约束策略分布或采用保守的$Q $值估计来缓解该问题, 但由此带来的悲观性会导致习得的策略次优. 为此, 从提升值函数估计准确性的角度出发, 构造一种$Q $值修正(QVC)贝尔曼算子, 其以习得$Q $函数与行为$Q $函数之间的差异作为方向性信号, 对$Q $函数更新目标进行有界修正. 在此基础上, 将QVC贝尔曼算子与分布内贝尔曼算子相结合, 提出平衡贝尔曼算子以更好地利用分布内外数据. 理论结果表明, 通过平衡贝尔曼算子迭代得到的$Q $函数具有收敛性, 且其与真实$Q $函数之间的误差是有界的. 进一步, 将平衡贝尔曼算子集成至隐式$Q $学习中, 并在$V $函数更新过程中引入针对$Q $值高估与低估的自适应修正机制, 提出基于双重值修正的离线强化学习(ORL-DVC)方法. 实验结果表明, 在D4RL基准的Gym-Mujoco移动控制和AntMaze导航控制任务中, ORL-DVC的平均归一化得分达到80.9和62.7, 整体性能优于现有主流ORL方法, 体现出更优的泛化性能.