2020, Vol. 35
2. 东南大学 复杂工程系统测量与控制教育部重点实验室，南京 210096;
3. 郑州速达工业机械服务股份有限公司 规划部，郑州 450013
2. Key Laboratory of Measurement and Control of Complex Systems of Engineering of MOE, Southeast University, Nanjing 210096, China;
3. Planning Department, Zhengzhou Suda Industry Machinery Service Co., Ltd, Zhengzhou 450013, China
正如文献[1]强调, 非线性控制的发展主要涉及3个问题: 1)需要处理越来越复杂的系统, 尤其是同时考虑系统耦合、时变特性、随机因素和不确定非线性的影响; 2)需要在缺少被控对象及其环境精确先验知识的情况下达到控制要求; 3)需要满足日益增长的实时性应用要求.然而, 随着未知参数增加带来的复杂度激增、初始状态不稳定、未考虑测量噪声以及一般不适合高实时性应用场合[2], 都迫使工程师寻求其他解决方案.
由于易于调整和结构简单, 无论是工业界还是学术界, PID调节都是一个活跃的研究领域.获取PID和类PID控制器参数的方法有:增益相位裕度法[3]、优化方法[4]、Ziegler-Nichol方法[5]和基于内模控制的方法[6].对于单输入单输出(SISO)系统, 使用已有调节技术就可得到满意的控制效果.然而, 实际应用的大多数被控对象都是多输入多输出(MIMO)系统, 因此, 处理非线性MIMO问题具有重要意义, 而且由于输入与输出变量之间存在耦合关系, 由SISO系统推导的控制律不能直接扩展到MIMO系统.此外, 在MIMO系统中, PID参数数量将变得非常多[7], 试凑法不足以在控制器性能与鲁棒性之间获得最佳折衷.
随着解决被控对象不确定性和复杂性的智能控制技术的迅速发展, 一些神经网络模型和神经网络训练方案被应用于系统控制器的设计[8].例如, 作为前馈控制器时, Plett[9]深入讨论了神经网络如何学习模仿被控对象的逆.然而, 神经网络存在学习速度慢、泛化能力弱的缺点, 目前也没有系统化的方法来确定其拓扑结构.
在工业应用中, 被控系统的参数通常是时变的, 因此, 经典PID和类PID控制方案在处理存在不确定性因素的系统时就显得特别不灵活.此外, 已有的一些现代控制方案[10]的分析和设计过程复杂而困难, 要解决这些问题, 设计的控制算法和结构应足够简单且易于实现.控制方案应包含非线性、鲁棒性、灵活性和学习能力等特征.基于此, 东南大学严洪森教授课题组提出了多维泰勒网(MTN)及其最优控制方法, 模型如图 1所示.它可以很好地代替传统神经网络进行动态系统建模和控制, 其本质上是多项式型的非线性自回归滑动平均模型, 借助于抽头延迟映射来表示动态系统. MTN的多项式函数由一些线性项和非线性项组成, 因此, 其可表示一般意义下的状态动力学特性, 从而表征系统行为的显性描述.目前, 一些学者正对该模型在模型预测[11]、系统辨识[12]、灾害预测[13]、电机控制[14]以及非线性控制[15]等领域的应用进行研究, 但该模型仅应用于SISO系统且未综合考虑系统耦合、不确定性、时变特性及测量噪声等因素.如果不做处理, 对象噪声和随机干扰就会不受抑制地出现在控制器的输入端, 这将大大降低自适应过程的稳定性并严重影响控制精度.自适应滤波已得到普遍的发展[16], 在各种非线性滤波器中, 神经网络的应用最为广泛.然而, 它们在参数上是高度非线性的.参数调整可能被限制在梯度下降法优化准则的局部最小值. MTN的任意逼近性以及单个中间层节点的线性加权组合的简单计算, 使得其成为选取非线性滤波器时的另一个参考项.
|
图 1 多输入多输出多维泰勒网模型 |
多维泰勒网滤波器(MTNF)权值可以通过最小均方(LMS)和递推最小二乘(RLS)算法进行调整.然而, 这些算法存在局限性和缺点[17-18]. LMS的收敛速度高度依赖于与输入信号相关的自相关函数; RLS虽能带来更快的收敛速度, 但其依赖于输入信号的自相关矩阵逆的隐式或显式计算, 同时在时变环境中也不能保证更好的跟踪能力.为了克服上述困难, 文献[19]提出了基于Lyapunov理论的自适应SISO滤波(LAF), 并已应用于噪声控制.由于定义了滤波器输出与期望信号之间误差的Lyapunov函数, 再根据Lyapunov稳定性理论自适应调整滤波器的权值, 可使误差渐近收敛到零.为LAF滤波器选取的Lyapunov函数在状态空间中具有唯一的全局最小值.然而, MIMO系统的LAF滤波器尚待研究.
综上所述, 本文构建基于MTN的自适应控制方案, 其中多维泰勒网控制器(MTNC)和MTNF分别作为优化控制器和非线性滤波器.
1 问题描述考虑MIMO非线性时变离散系统, 可用输入输出差分方程表示为
|
(1) |
其中: f(·)为非线性向量函数; y(k)=[y1(k), y2(k), …, yj(k), …, ys (k)]T∈Rs为系统输出向量, s表示输出的数量, j=1, 2, …, s; u(k)=[u1 (k), u2 (k), …, ui (k), …, ut (k)]T∈ Rt为系统输入向量, t表示输入的数量, i=1, 2, …, t, k=1, 2, …; dy =[dy1, dy2, …, dys]T和du=[du1, du2, …, dut]T为相应的最大延迟.
如果被控对象所处的环境存在噪声干扰, 则在式(1)中加入相应的项, 可得
|
(2) |
其中噪声干扰为不能用时间函数明确表示的一种随机过程.根据其来源[20], 可分为: 1)声音噪声; 2)热噪声和散粒噪声; 3)电磁噪声; 4)静电噪声; 5)信道失真、回波和衰落等. v(k) = [v1(k), v2(k), …, vj (k), …, vs (k)]T∈Rs为噪声向量, 可以是模型噪声或测量噪声.具有噪声干扰的非线性时变系统就是其扰动可以用随机过程表示的受控动力学时变系统, 为描述方便, 简称其为含噪声非线性时变系统.
本文目标是自动生成控制器以确保由式(2)表示的系统输出y(k)实时跟踪给定的参考信号r(k), 其中r(k)=[r1 (k), r2 (k), …, rj (k), …, rs(k)]T∈ Rs.
2 多维泰勒网(MTN) 2.1 模型描述根据多元泰勒公式的原理, 如果某函数在某点邻域处处m+1阶可导, 则该函数在该点展开式为变量幂级数不大于m次的形式.因此, 基于MIMO MTN模型, 可以将n维系统的一般动力学方程表示为
|
(3) |
其中: fi(·)表示用MTN模型描述的非线性函数, 其基本思想是用简单函数逼近复杂函数; wip是第p个变量乘积项之前的权值; N(n, m)是该展开式的总项数; λp, q是第p个变量乘积项中变量xq的幂次.
2.2 MTN的自学习能力典型的离散PID控制器可以表示为
|
(4) |
其中: u(k)为第k时刻的控制律; kP、kI=(kPT) /TI和kD=(kPTD)/T分别为比例、积分和微分增益; TI和TD分别表示积分和微分常数; T表示采样时间.
由于式(4)采用全量输出, 每次输出均与过去的状态有关, 计算时要对e(k)进行累加.如果传感器出现故障, 则u(k)可能会出现大幅度变化.为避免这种情况的发生, 式(4)可以转化成增量式的形式, 即
|
(5) |
由图 1可知, 当n=3且m=1时, MTN控制器可由向量形式表示为
|
(6) |
其中: KP(k)∈ Rn× n, KI(k)∈ Rn× n, KD(k)∈ Rn× n, 而
|
因此, 如果式(6)中的KP、KI和KD选取为对角矩阵, 与式(5)相比, 则PID控制器正好是幂次为1的MTN控制器的特殊形式; 如果KP、KI和KD选取为非对角矩阵, 则通过引入各通道之间的耦合可实现各子系统控制器参数的时变特性[15].
在工业应用中, 如果选择的参数(kP、kI和kD)是最优的, 则可得到满意的跟踪性能.然而, 当系统具有强非线性、随机因素和时变特性时, 选择这些参数是困难的.本文通过在线学习MTN控制器来更新其与PID控制器参数对应的权值.此外, 通过理论分析[15]和仿真验证, MTN控制器高次项对系统动态性能改善效果显著.这是因为一旦系统误差增大, 高次项立即按误差的高幂函数加大作用, 从而控制系统状态快速恢复到平衡点, 阻止系统发散.
3 自适应MIMO MTN控制 3.1 MIMO MTN控制器的权值在线更新规则基于MTNC和MTNF的闭环控制系统结构如图 2所示.
|
图 2 基于MTN的控制系统结构 |
基于MTNC系统的控制目标是使给定输入与闭环系统输出之间的误差最小化.由于实际系统中各被控变量的物理单位是不同的, 应分别定义第k时刻不同被控变量yj(k)(j=1, 2, …, s)的目标函数JCj (k), 总目标函数JC (k)是所有目标函数之和.
注1 令参考模型M=I, 其中I为单位矩阵, 所以yd (k)=r(k).
闭环系统的误差定义为
|
(7) |
其中: yj(k)是由传感器直接测量的系统输出变量(可能包含测量噪声), j为可测量输出变量的个数; rj (k)为给定输入.定义第k时刻输出yj (k)的目标函数为
|
(8) |
第k时刻的总目标函数
|
(9) |
最小化由式(9)表示的总目标函数
|
(10) |
根据式(10), MTNC中间层权值更新规则可写为
|
(11) |
其中ηip (k)为中间层的学习率.
考虑输入ui (k)与输出yj (k)之间关系的不确定性和复杂性, 可用差分的概念来近似其偏导数, 即
|
(12) |
为了避免计算式(12)的实际结果, 采用将梯度替换成符号的弹性BP算法来计算Δyj(k)/Δui(k), 即根据
|
(13) |
为了获得更好的系统控制性能, 增强对外界干扰的鲁棒性, 需将式(13)用于在线权值调整, 以适应由非线性和不确定性引起的参数变化.
由式(3), MTNC的输出为
|
(14) |
其中
|
根据式(13)和(14), MTN中间层权值最终的更新规则为
|
(15) |
此外, 针对被控对象的时变特性, 充分考虑MTN的特殊性, 需对快速学习算法进行深入研究和讨论.在MTNC学习过程中, 通过设计LR-AVSZ算法来解决当采用固定步长的传统梯度下降法时, 易出现的收敛速度慢和易陷入局部极小值的问题.
LR-AVSZ算法的基本思想是, 利用强化学习的理论[21]寻求自适应变步长算法, 实现步长的自动选择, 加快算法的收敛速度, 减少迭代次数.
基于强化学习的自适应变步长算法的具体实现步骤是: 1)如果连续两次迭代, 使得梯度方向ΔJC的符号相反, 意味着下降过头, 步长太大, 则应减少步长; 2)如果连续两次迭代, 梯度方向ΔJC的符号相同, 意味着下降慢了, 还没到达极小点, 则应增加步长.该算法可表示为
|
(16) |
其中ξ为常数, 其范围是0.001 ~ 0.003.本质上, 该算法是利用并存储梯度方向ΔJC的符号变化信息, 方向相反时对其惩罚, 方向相同时对其奖励.
3.2 闭环系统稳定性分析在MIMO MTNC的学习过程中, 由式(15)和(16)组成的权值更新规则都需要恰当地选择学习率η.当η为较小值时, 尽管可以保证收敛, 但学习速度非常慢; 当η取较大值时, 学习算法又难以保证系统稳定性.鉴于此, 本节提出一种稳定自适应学习率的选取方法.
定理1 如果在采样时刻k所有学习率ηip(k)都有η(k), 且η(k)满足下面两式:
当
|
(17) |
当
|
(18) |
则由图 2表示的基于MTNC的闭环控制系统是稳定的.其中
|
|
|
|
|
|
证明 定义Lyapunov函数
|
(19) |
进而, Lyapunov函数的变化为
|
(20) |
|
(21) |
由式(3)可得
|
|
(22) |
其中
|
根据式(15) ~ (20)和(22), (21)可改写为
|
(23) |
由式(23), 分以下两种情况讨论.
1) 如果eCj (k)∈ Πp (k), 则令
|
(24) |
式(23)可改写为
|
(25) |
在第k采样时刻, 当MTNC输入中涉及eCj (k)时, 令其对应的学习率ηip(k)都有同样的η1 (k), 再根据式(25), 可得
|
|
(26) |
令
|
(27) |
则式(26)可表示为
|
(28) |
2) 如果eCj (k)∉ Πp (k), 则令
|
(29) |
式(23)可改写为
|
(30) |
在第k采样时刻, 当MTNC输入中不包括eCj (k)时, 令其对应的学习率ηip(k)都有同样的值η2 (k), 再根据式(30), 可得
|
(31) |
令
|
(32) |
则式(31)可表示为
|
(33) |
根据式(27)和(32), 令
|
(34) |
|
(35) |
因为
|
(36) |
再根据式(28)和(33) ~ (36), 式(20)可改写为
|
(37) |
根据Lyapunov稳定性理论, 只要在任何采样时刻k都有ΔVC (k)≤0, 则基于MTNC闭环控制系统的稳定性便可得到保证.由式(37), ΔVC (k)≤0的充分条件是η (k)满足式(17)和(18).
4 自适应MIMO MTN滤波 4.1 基于Lyapunov理论的自适应滤波(LAF)当对噪声相关知识了解不充分时, 自适应滤波器利用有用信号之间的相关性以及噪声信号之间的不相关性来达到噪声消除的目的, 此即信号处理的预测原理[22], 其基本结构如图 3所示.
|
图 3 参考噪声未知的自适应噪声消除 |
本文提出一种基于MTN实现有限脉冲响应(FIR)自适应MIMO LAF滤波器的方法.通过在Lyapunov意义下合理地选择参数更新律, MTN滤波器的输出可以渐近收敛到期望信号, 同时还探讨了MIMO LAF MTN滤波器的稳定性和收敛性.
4.2 基于MTN的自适应MIMO LAF滤波器基于MTN的自适应MIMO FIR滤波器的优点是MTN具有线性特性, 通过LAF算法可以容易地调整网络参数. MTN的并行结构也特别适用于快速信号处理.
自适应MIMO滤波系统的典型结构如图 4所示.其中: y'v(k)=[y'v1(k), …, y'vnF(k)]T为输入信号, 受被控对象非线性和测量噪声的影响; ye(k)= [ye1(k), …, yes(k)]T为滤波器输出; yv(k)=[yv1 (k), …, yvs (k)]T为期望响应; eF (k)=[eF1 (k), …, eFs(k)]T为期望响应与滤波器输出的误差.这里
|
(38) |
|
图 4 自适应MIMO滤波 |
L表示延迟数.
滤波算法通常设计为自适应地更新滤波器参数, 以使误差的目标函数在参数空间中最小化, 有
|
(39) |
MIMO MTN FIR滤波器的输出可表示为
|
(40) |
其中
|
由于φ(k)是泰勒类型的函数, 可定义为
考虑量测过程输入输出关系为
|
(41) |
其中: WFs× NF为待估计的MTNF参数矩阵; φ=[φ1, ..., φNF ]T为量测向量; v=[v1, …, vs]T为未知的系统量测噪声.
第k时刻, 定义量测值与自适应MIMO MTN滤波输出之间的滤波误差为
|
(42) |
预测误差为
|
(43) |
则以式(41)为量测方程的基于MIMO系统的LAF算法可定义为
|
(44) |
|
(45) |
其中: K(k)为自适应增益, 由于噪声引起的误差在比例式中进行了范数相除, 从而实现噪声属性对误差性能影响的最小化, 可以有效滤波的噪声有高斯噪声、泊松噪声、有色噪声等; ||·||为向量的欧氏范数; e-γ为自然指数函数; γ(γ≥1)为正常数, 影响着算法的收敛速度, γ越大其收敛速度越快.
4.3 MIMO LAF算法的收敛性和稳定性分析定理2 自适应MIMO LAF MTN滤波器的滤波误差以指数渐近收敛到零.
证明 根据由式(42)表示的滤波误差定义, 将式(44)代入到eF(k)的定义式中, 可得
|
(46) |
再根据式(43)表示的预测误差定义, 式(46)可改写为
|
(47) |
将式(45)代入(47)中, 可得
|
(48) |
将式(48)两边同时取向量的欧氏范数, 可得
|
(49) |
因此, 由自然指数函数的特性和式(49)可知, ||eF(k)||=e-kγ||eF(0)||渐近收敛到零, 而且随着迭代次数的增加, e-kγ的收敛速度更快.
定理3 自适应MIMO LAF MTN滤波算法是稳定的.
证明 定义滤波误差的Lyapunov函数为
|
(50) |
则
|
(51) |
由定理2中的式(49), 可得
|
(52) |
因为e-γ -1 <0且||eF (k-1)||2≥0, 所以
|
(53) |
因此, 由Lyapunov稳定性理论可以判定系统是稳定的.
定理2和定理3利用Lyapunov稳定性理论证明了自适应MIMO LAF MTN滤波系统是稳定且收敛的, 随着迭代次数的增加, 滤波收敛速度更快且滤波误差收敛到零.
5 仿真算例系统的良好性能取决于抗外部干扰和对象不确定性的能力.考虑如下系统:
|
(54) |
其中: u1和u2为控制律; 而
|
v(k)是均值为0、标准差为0.05的高斯白噪声.
将基于MTN和径向基神经网络(RBFNN)的控制方案分别作用于式(54)表示的被控对象, 控制方案完全一致.
设置自适应MTNC参数:选取6-20-2结构, 即nC =6和mC=2;初始学习率为0.01.自适应MTNF参数:选取6-20-2结构, 即nF =6和mF =2.
采用3层RBFNN建立神经网络控制器, 选取6-27-2结构, 即6个输入层神经元、27个隐层神经元和2个输出层神经元; 初始权值在(-1, 1)上随机选择; 采用LR-AVSZ算法训练RBFNNC.同时, 采用3层RBFNN建立神经网络滤波器, 选取6-27-2结构; 初始权值在(-1, 1)上随机选择; 采用LAF算法训练RBFNNF.
图 5给出了自适应MTN控制方案跟踪阶跃信号的响应, 并与自适应RBFNN控制方案进行性能比较. 图 6比较了两种控制方案在跟踪阶跃信号时的误差.显见, 基于MTN的自适应控制方案是快速且稳定的, 与基于RBFNN的自适应控制方案相比具有更强的适应性, 而且在稳态运行时几乎无静态误差, 可以实现对复杂被控对象的精确控制.
|
图 5 两种控制方案的响应比较 |
|
图 6 两种控制方案的误差比较 |
本文首先提出了一种适用于一大类MIMO系统的自适应MTN控制器.针对被控对象的不确定性和时变特性, 推导了MTNC的权值更新规则; 分析了学习率对基于MTN闭环系统稳定性的影响.其次, 提出了一种基于MTN的MIMO LAF FIR滤波方法, 利用LAF算法对MTNF权值进行自适应调整, 使动态误差渐近收敛到零; 通过Lyapunov稳定性理论可以保证自适应MIMO LAF MTN滤波器的收敛性和稳定性.最后, 通过仿真实验表明, MTNC和MTNF在解决系统的耦合、时变特性和随机因素等问题时, 具有结构简单、易于设计以及响应性能更佳的优势.
| [1] |
Zhang T P, Ge S S. Adaptive neural control of MIMO nonlinear state time-varying delay systems with unknown dead-zones and gain signs[J]. Automatica, 2007, 43(6): 1021-1033. DOI:10.1016/j.automatica.2006.12.014 |
| [2] |
Meng W, Yang Q, Sun Y. Adaptive neural control of nonlinear MIMO systems with time-varying output constraints[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26(5): 1074-1085. DOI:10.1109/TNNLS.2014.2333878 |
| [3] |
Srivastava S, Pandit V S. A PI/PID controller for time delay systems with desired closed loop time response and guaranteed gain and phase margins[J]. Journal of Process Control, 2016, 37: 70-77. DOI:10.1016/j.jprocont.2015.11.001 |
| [4] |
Zhang J. Design of a new PID controller using predictive functional control optimization for chamber pressure in a coke furnace[J]. ISA Transactions, 2017, 67: 208-214. DOI:10.1016/j.isatra.2016.11.006 |
| [5] |
Chandrakala KRM V, Balamurugan S. Simulated annealing based optimal frequency and terminal voltage control of multi source multi area system[J]. International Journal of Electrical Power & Energy Systems, 2016, 78: 823-829. |
| [6] |
Saxena S, Hote Y V. Internal model control based PID tuning using first-order filter[J]. International Journal of Control, Automation, and Systems, 2017, 15(1): 149-159. DOI:10.1007/s12555-015-0115-y |
| [7] |
Sharma R, Gaur P, Mittal A P. Performance analysis of two-degree of freedom fractional order PID controllers for robotic manipulator with payload[J]. ISA Transactions, 2015, 58: 279-291. DOI:10.1016/j.isatra.2015.03.013 |
| [8] |
Hashemi M, Askari J, Ghaisari J. Adaptive control of uncertain nonlinear time delay systems in the presence of actuator failures and applications to chemical reactor systems[J]. European Journal of Control, 2016, 29: 62-73. DOI:10.1016/j.ejcon.2016.03.002 |
| [9] |
Plett G L. Adaptive inverse control of linear and nonlinear systems using dynamic neural networks[J]. IEEE Transactions on Neural Networks, 2003, 14(2): 360-376. DOI:10.1109/TNN.2003.809412 |
| [10] |
Zhou S, Chen M, Ong C J, et al. Adaptive neural network control of uncertain MIMO nonlinear systems with input saturation[J]. Neural Computing and Applications, 2016, 27(5): 1317-1325. DOI:10.1007/s00521-015-1935-7 |
| [11] |
周博, 严洪森. 基于动力学特性聚类多维泰勒网的非线性系统辨识与预测[J]. 控制与决策, 2014, 29(1): 33-38. (Zhou B, Yan H S. Nonlinear system identification and prediction based on dynamics cluster multi-dimensional Taylor network model[J]. Control and Decision, 2014, 29(1): 33-38.) |
| [12] |
张超, 严洪森. 基于最优结构多维泰勒网的含噪声非线性时变系统辨识[J]. 东南大学学报:自然科学版, 2017, 47(6): 1086-1093. (Zhang C, Yan H S. Identification of nonlinear time- varying system with noise based on multi-dimensional Taylor network with optimal structure[J]. Journal of Southeast University: Natural Science Edition, 2017, 47(6): 1086-1093.) |
| [13] |
林屹, 严洪森, 周博. 基于多维泰勒网的非线性时间序列预测方法及其应用[J]. 控制与决策, 2014, 29(5): 795-801. (Lin Y, Yan H S, Zhou B. Nonlinear time series prediction method based on multi-dimensional Taylor network and its applications[J]. Control and Decision, 2014, 29(5): 795-801.) |
| [14] |
Zhang C, Yan H S. Inverse control of multi-dimensional Taylor network for permanent magnet synchronous motor[J]. International Journal for Computation and Mathematics in Electrical and Electronic engineering, 2017, 36(6): 1676-1689. DOI:10.1108/COMPEL-12-2016-0565 |
| [15] |
Yan H S, Kang A M. Asymptotic tracking and dynamic regulation of SISO non-linear system based on discrete multi-dimensional Taylor network[J]. IET Control Theory & Applications, 2017, 11(9): 1619-1626. |
| [16] |
Afshari H H, Gadsden S A, Habibi S. Gaussian filters for parameter and state estimation: A general review of theory and recent trends[J]. Signal Processing, 2017, 135: 218-238. DOI:10.1016/j.sigpro.2017.01.001 |
| [17] |
Nikolaidis V, Moraitis N, Kanatas A G. Dual-polarized narrowband MIMO LMS channel measurements in urban environments[J]. IEEE Transactions on Antennas and Propagation, 2017, 65(2): 763-774. DOI:10.1109/TAP.2016.2637862 |
| [18] |
Shi Z, Wang Y, Ji Z. Bias compensation based partially coupled recursive least squares identification algorithm with forgetting factors for MIMO systems: Application to PMSMs[J]. Journal of the Franklin Institute, 2016, 353(11): 3057-3077. |
| [19] |
Treesatayapun C. Fuzzy rules emulated network and its application on nonlinear control systems[J]. Applied Soft Computing, 2008, 8(2): 996-1004. DOI:10.1016/j.asoc.2007.03.014 |
| [20] |
朱红路.热工信号自适应滤波及其在建模与控制中的应用[D].北京: 华北电力大学控制与计算机工程学院, 2010. (Zhu H L. Adaptive filtering for thermal process signal and its application in modeling and control[D]. Beijing: School of Control and Computer Engineering, North China Electric Power University, 2010.) http://cdmd.cnki.com.cn/Article/CDMD-11412-2010106460.htm |
| [21] |
WawrzyńSki P, Tanwani A K. Autonomous reinforcement learning with experience replay[J]. Neural Networks, 2013, 41: 156-167. DOI:10.1016/j.neunet.2012.11.007 |
| [22] |
Yin W, Mehr A S. Stochastic analysis of the normalized subband adaptive filter algorithm[J]. IEEE Transactions on Circuits and Systems Ⅰ: Regular Papers, 2011, 58(5): 1020-1033. DOI:10.1109/TCSI.2010.2092130 |