基于策略迭代的无模型离散Pareto最优性
CSTR:
作者:
作者单位:

1.青岛理工大学;2.山东科技大学

作者简介:

通讯作者:

中图分类号:

TP273

基金项目:

国家自然科学基金项目(62203247, 62373229, 62203220, 12426609); 山东省自然科学基金项目(ZR2025MS999, ZR2025QB63, ZR2024QF096); 山东省泰山学者计划项目.


Model-free discrete-time Pareto optimality based on policy iteration
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    本文基于策略迭代的数据驱动方法研究多目标动态优化中合作线性二次差分博弈的Pareto最优性. 与目前已有的完全依赖于动态系统精确模型的多目标优化不同, 系统参数完全未知的合作线性二次差分博弈被深入研究. 首先, 提出一种新型无模型强化学习迭代算法求解合作线性二次差分博弈对应的N个代数Riccati方程. 其次, 当状态和控制输入的数据收集充分满足秩判据时, 利用差分方程的性质证明算法的收敛性. 然后, 利用加权方法结合off-policy迭代算法得到合作线性二次差分博弈的Pareto最优策略和Pareto最优解. 最后, 提出多目标合作线性二次差分博弈的off-policy迭代算法, 并通过仿真算例验证该算法的有效性.

    Abstract:

    Pareto optimality of cooperative linear-quadratic difference games in multiobjective dynamic optimization is investigated using a policy iteration based data-driven approach. Different from the existing literature on the multiobjective optimization that heavily depends on the exact model of the dynamic system, the cooperative linear-quadratic difference game with the completely unknown system parameters is well characterized. Firstly, a novel model-free reinforcement learning iterative algorithm is proposed to solve the N algebraic Riccati equations corresponding to the cooperative difference game. Secondly, the convergence of such a model-free algorithm is rigorously guaranteed if the data of the state and the control input is collected enough satisfying the rank criterion. Moreover, Pareto optimal strategies and Pareto optimal solutions are derived via the weighting method combined with an off-policy iterative algorithm. Finally, an off-policy iteration algorithm for the multiobjective cooperative linear-quadratic difference game is presented, where the effectiveness is verified by a numerical example.

    参考文献
    相似文献
    引证文献
引用本文
相关视频

分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2025-12-18
  • 最后修改日期:2026-04-20
  • 录用日期:2026-04-21
  • 在线发布日期: 2026-05-06
  • 出版日期:
文章二维码