一类非线性动态系统基于强化学习的最优控制制
DOI:
CSTR:
作者:
作者单位:

广东工业大学a. 应用数学学院,b. 计算机学院,广州510006

作者简介:

陈学松

通讯作者:

中图分类号:

TP273

基金项目:

国家自然科学基金项目(60974019, 61273118);广东省高等学校高层次人才项目;广东省自然科学基金项目(S2012010010570).


Optimal control of a class of nonlinear dynamic systems based on reinforcement learning
Author:
Affiliation:

a. School of Applied Mathematics,b. School of Computers,Guangdong University of Technology,Guangzhou 510006

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    提出一类非线性不确定动态系统基于强化学习的最优控制方法. 该方法利用欧拉强化学习算法估计对象的未知非线性函数, 给出了强化学习中回报函数和策略函数迭代的在线学习规则. 通过采用向前欧拉差分迭代公式对学习过程中的时序误差进行离散化, 实现了对值函数的估计和控制策略的改进. 基于值函数的梯度值和时序误差指标值, 给出了该算法的步骤和误差估计定理. 小车爬山问题的仿真结果表明了所提出方法的有效性.

    Abstract:

    An optimal control based on Euler reinforcement learning(ERL) is proposed for a class of nonlinear uncertain dynamic systems. In this method, the reinforcement learning algorithm is employed to approximate unknown nonlinearfunctions in the plant, and the online learning rule for the reward function and the policy function is derived. The value function is estimated and the control policy is improved by using the way of implementing the temporal difference(TD) errors which are discretized by using the forward Euler approximation of time derivative. Based on the value-gradient and TD error performance index, the steps of the algorithm and error estimation theorem are given. Simulation results for the mountain-car problem show the effectiveness of the presented method.

    参考文献
    相似文献
    引证文献
引用本文

陈学松 刘富春.一类非线性动态系统基于强化学习的最优控制制[J].控制与决策,2013,28(12):1889-1893

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2012-08-02
  • 最后修改日期:2013-03-16
  • 录用日期:
  • 在线发布日期: 2013-12-20
  • 出版日期:
文章二维码