控制与决策  2019, Vol. 34 Issue (4): 787-792  
0

引用本文 [复制中英文]

刘艳君, 尤俊瑶, 丁锋. 基于辅助模型正交匹配追踪的多输入系统迭代辨识算法[J]. 控制与决策, 2019, 34(4): 787-792.
[复制中文]
LIU Yan-jun, YOU Jun-yao, DING Feng. Iterative identification for multiple-input systems based on auxiliary model-orthogonal matching pursuit[J]. Control and Decision, 2019, 34(4): 787-792. DOI: 10.13195/j.kzyjc.2017.1262.
[复制英文]

基金项目

国家自然科学基金项目(61304138);江苏省自然科学基金项目(BK20130163)

作者简介

刘艳君(1983−),女,副教授,博士,从事系统辨识、自适应控制及其应用等研究;
尤俊瑶(1995?), 女, 硕士生, 从事系统辨识的研究。

通讯作者

刘艳君, E-mail: yjl@jiangnan.edu.cn

文章历史

收稿日期:2017-09-23
修回日期:2018-01-07
基于辅助模型正交匹配追踪的多输入系统迭代辨识算法
刘艳君 1,2, 尤俊瑶 2, 丁锋 1,2     
1. 江南大学 轻工过程先进控制教育部重点实验室,江苏 无锡 214122;
2. 江南大学 物联网工程学院,江苏 无锡 214122
摘要:针对含有未知时滞的多输入输出误差系统的时滞与参数辨识问题, 提出一种基于辅助模型的正交匹配追踪迭代算法.首先, 由于各输入通道的时滞未知, 通过设定输入回归长度, 对系统模型进行过参数化, 得到一个高维的辨识模型, 且辨识模型中参数向量为稀疏向量; 然后, 基于辅助模型思想和正交匹配追踪算法, 在每次迭代过程中, 对参数向量和辅助模型的输出进行交互估计, 即利用正交匹配追踪算法获得参数向量的估计, 再利用参数估计值计算辅助模型的输出, 并用辅助模型的输出值代替信息向量中的不可测信息项以更新参数估计; 最后, 根据参数向量的稀疏特征, 获得系统的时滞估计.所提出算法可以利用少量的采样数据信息同时获得系统参数和时滞的估计值.仿真结果表明了所提出算法的有效性.
关键词多变量系统    参数辨识    时滞估计    正交匹配追踪算法    辅助模型    最小二乘迭代算法    
Iterative identification for multiple-input systems based on auxiliary model-orthogonal matching pursuit
LIU Yan-jun 1,2, YOU Jun-yao 2, DING Feng 1,2     
1. Key Laboratory of Advanced Process Control for Light Industry of Ministry of Education, Jiangnan University, Wuxi 214122, China;
2. School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China
Abstract: For the identification of the multiple-input output-error systems with unknown time-delays, an orthogonal matching pursuit iterative algorithm based on the auxiliary model is proposed. Due to the unknown time-delays of each input channel, a highly dimensional identification model with a sparse parameter vector is derived by setting an input regression length and using the overparameterization. Then, based on the auxiliary model idea and the orthogonal matching pursuit (OMP) algorithm, the parameter vector and the output of the auxiliary model are interactively estimated in each iteration, that is, the OMP algorithm is applied to obtain the estimation of the parameter vector, the auxiliary model output is computed by using the estimated parameters, and then the parameter estimation updated by the information vector where the unmeasurable information items are repaced by the auxiliary model outputs. Finally, the time-delays are estimated according to the sparse characteristic of the parameter vector. The proposed method can simultaneously estimate the parameters and time-delays from a few sampled data. A simulation example is used to illustrate the effectiveness of the proposed algorithm.
Keywords: multivariate system    parameter identification    time-delay estimation    orthogonal matching pursuit algorithm    auxiliary model    least squares iterative algorithm    
0 引言

许多工业过程, 如蒸馏塔、热交换器和反应堆等, 都可以用多变量时滞系统建模.时滞的存在使得系统的输出不能及时响应, 且稳定性变差.设计系统控制器时对时滞参数的精度要求较高, 因此, 时滞的估计和系统参数估计都是系统辨识的重要内容.近年来, 时滞与参数的联合估计方法不断涌现.文献[1]利用一种自适应滤波方法辨识系统参数和时滞; 文献[2]根据系统的阶跃响应, 使用直接辨识方法实现系统参数与时滞联合估计; 文献[3]利用递阶辨识原理, 分别采用牛顿方法和梯度方法对时滞参数和系统参数进行递阶交互估计.文献[1-3]辨识的是单输入单输出系统, 其方法推广至多变量系统时, 由于系统参数的增加, 且每个通道的时滞不一样, 算法的复杂性和计算量都将增大.因此, 多变量系统的时滞与参数的联合估计是一个具有挑战性的课题.

多变量系统可以分解为多个多输入单输出系统.对于具有未知时滞的多输入单输出系统, 若采用过参数化方法, 则辨识模型中参数向量的维数将扩大且包含许多零元, 即参数向量是稀疏的[4-5].辨识高维模型时, 常规的辨识方法需要大量的观测数据, 使得辨识的成本增加.考虑到向量的稀疏特性, 可利用贪婪算法进行稀疏向量的估计[6].贪婪算法包括正交匹配追踪(OMP)算法[7]、梯度追踪算法[8]和压缩采样匹配追踪(CoSaMP)算法[9]等, 其特点是重构速度快且易于实现.近年来, 贪婪算法用于多输入系统的参数与时滞辨识已有一些成果.文献[10-11]对OMP算法进行改进, 分别辨识含有未知时滞的多输入单输出有限脉冲响应(MISO-FIR)系统和多输入单输出受控自回归系统; 文献[12]针对时滞MISO-FIR系统, 结合梯度搜索和匹配追踪的思想, 提出一种梯度追踪算法以获得系统参数和时滞联合估计; 文献[13]利用辅助变量方法改进CoSaMP算法, 结合模型等价原理实现一类闭环系统辨识.这类改进的贪婪算法仅需少量的采样数据便能达到辨识效果, 因而减少了辨识成本.

输出误差模型, 即系统的理想脉冲传递函数加上观测噪声, 是常用的系统模型表达形式.其辨识的难点在于, 系统的输出相对于系统特征多项式的系数是非线性的.本文基于辅助模型思想[14-16]和OMP算法, 将最小二乘迭代方法加以改进, 研究多输入单输出输出误差(MISO-OE)系统的时滞与参数联合估计.

1 问题描述

考虑图 1所示的MISO-OE系统.

图 1 MISO-OE系统框图
(1)

其中: ui(t)是系统第i个通道的输入; y(t)是系统的输出; v(t)是均值为零、方差为σ2的白噪声; di是第i个输入通道的时滞; Ai(z)、Bi(z)是单位后移算子z-1[i.e., u(t)z-1=u(t-1)]的常系数时不变多项式, 即

阶次nainbi已知, 参数aijbij以及输入通道时滞di未知.不失一般性, 假设当t≤0时, y(t)=0, ui(t)=0, v(t)=0.

辨识目标是根据测量得到的系统的输入输出数据估计系统的参数和时滞.对于系统(1), 若直接利用最小二乘法进行辨识, 可将式(1)两边进行通分(两边最多同乘以公分母A1(z)A2(z)... Ar(z)), 这样会大大增加系统的参数数量, 辨识计算量也将增大.为了提高辨识效率, 可采用辅助模型辨识思想[14], 即定义中间变量

(2)

由于输入通道时滞di未知, 采用过参数化方法, 即令l为输入数据回归长度, l的取值应不小于各子系统时滞di与阶次nbi之和的最大值, 即l≥{max(di+nbi)[11].定义子系统信息向量φi(t)和参数向量θi如下:

(3)

则式(2)可改写为

(4)

定义系统信息向量φ(t)和参数向量θ如下:

(5)

则系统(1)可写为

(6)

当有m组采样数据时, 定义堆积向量和矩阵为

(7)

则式(6)可改写为以下堆积形式:

(8)

由式(3)和(5)可知, 参数向量θ中有大量的零参数, 因此是稀疏向量, 系统(8)为稀疏系统且稀疏度K:=.由于稀疏模型(8)维数较高, 辨识计算量和难度相应增大.

2 辨识算法 2.1 辅助模型最小二乘迭代算法

假设系统模型(1)中各输入通道的时滞di已知, 则可采用基于辅助模型的最小二乘迭代(AM-LSI)算法估计系统参数.基于辅助模型辨识思想, 在第k次迭代时, 未知项xi(t)用前一次迭代的辅助模型输出估计值代替, 可得AM-LSI算法[17]如下:

若时滞未知, 则该算法在过参数化条件下, 需要花费大量的时间和精力才能获得足够的测量数据.针对稀疏模型(8), 为了提高辨识效率, 可考虑采用基于OMP算法的辨识方法进行参数和时滞估计[10-11].然而, 由于信息矩阵中含有未知的中间变量, 利用OMP算法无法直接得到系统参数的有效估计[18].本文基于辅助模型辨识思想, 结合OMP算法, 提出一种基于辅助模型的正交匹配追踪迭代算法.

2.2 辅助模型正交匹配追踪迭代算法

假设系统模型(1)中各输入通道的时滞di未知.根据压缩感知重构理论[6], 系统(8)的辨识问题可描述为

(9)

其中: 表示θ的零范数, 为设定的允许误差.

式(9)可以采用OMP算法求解.然而, 由于中间变量xi(t)未知, 考虑结合AM-LSI算法中的辅助模型辨识思想, 将OMP算法嵌套于迭代算法, 即通过内部OMP算法迭代得到参数估计, 并刷新中间变量xi(t).

k=1, 2, ...为外部迭代变量, 定义

(10)
(11)
(12)

在第k次迭代时, 用代替式(8)中的Φ, 令表示信息矩阵估计的第j列, θj表示参数向量θ的第j个参数, 则式(8)可改写为以下形式:

q=1, 2, ...为内部迭代变量, λk, q为第q次迭代选出的索引, 索引集Λk, q是前q次迭代选出的索引的集合, 即Λk, q={λk, 1, λk, 2, ..., λk, q}, 为λk, q指示的所构成的子信息矩阵, 表示第q次迭代得到的参数估计, rk, q表示第q次迭代的残差, 初始残差设为rk, 0=Y, rk, q可由下式计算:

(13)

定义准则函数

使ε(j)最小的θj即为第q次迭代选出的非零项.将ε(j)对θj求导并令其为零, 可得

θj代入ε(j)中, 可得

由上式可知, 若要ε(j)最小, 则残差rk, q-1的内积需最大.因此, 第q次迭代选择的索引λk, q由下式确定:

(14)

将λk, q选出的表示.由λk, q分别更新索引集Λk, q和子信息矩阵, 即

(15)
(16)

定义准则函数

J(θk, q)对θk, q求导并令其为零, 可得

(17)

从而得到第q次迭代的参数估计

(18)

代替式(17)中的θk, q, 将式(13)代入(17), 有

上式说明第q次迭代的残差rk, q中所有的列均正交, 因此在第q+1次迭代时, 只需计算rk, q中除去的各列的内积[11].于是式(14)可改写为

(19)

当内部迭代次数q=K时, 按照Λk, q的指示将恢复为N维的参数向量, 即为外部第k次迭代的参数估计.令为第i个通道第k次迭代的参数估计, 由于, 如果用分别代替式(4)中的φi(t)和θi, 则可以用下式刷新每个输入通道的辅助变量输出值

(20)

则由式(20)刷新, 令k:=k+1, 继续外部迭代; 否则, 算法终止, 得到参数估计

式(7)、(10) ~ (13)和(15) ~ (20)构成辨识MISO-OE系统的辅助模型正交匹配追踪迭代(AM-OMPI)算法, 具体实施步骤如下.

Step 1:确定l, 收集有限的输入输出数据{ui(t), y(t):i=1, 2, ..., r; t=1, 2, ..., m, 设定参数估计精度ε0.

Step 2:由式(7)构造堆积输出向量Y.

Step 3:初始化外部迭代, 令k=1, 随机数.

Step 4:由式(10)~(12)分别构造

Step 5:初始化内部迭代, 令q=1, rk, 0=Y, Λk, 0=∅,

Step 6:由式(19)确定索引λk, q, 并由式(15)和(16)更新索引集Λk, q和子信息矩阵

Step 7:由式(18)计算第q次迭代的参数估计向量

Step 8:由式(13)更新第q次迭代的残差rk, q.

Step 9:若q < K, 则令q=q+1, 回到Step 6继续内部迭代; 否则内部迭代停止, 按照Λk, q的指示将恢复为N维的

Step 10:比较:若, 则由式(20)更新计算辅助模型输出xik(t), 令k=k+1, 回到Step 4继续外部迭代; 否则迭代停止, 获得参数估计向量

根据得到的参数向量估计中各零元素块的位置以及零元素的数目, 可以估计出系统未知时滞.由式(3)和(5)可知, 中共有2r个零元素块, 令零元素块中零元的个数为nj(j=1, 2, ..., 2r), 则输入通道的时滞估计为

(21)
3 计算量分析

AM-OMPI算法完成一次外部迭代的计算量为N1, 如表 1所示.与AM-LSI算法相比, AM-OMPI算法用内部迭代OMP算法代替一次完成最小二乘算法, 因此, AM-LSI算法完成一次迭代的计算量为由于维数N很大, 显然N1N2.

表 1 AM-OMPI算法的计算量分析
4 仿真实验

考虑如下时滞MISO-OE系统:

各输入通道的时滞分别为d1=20, d2=10, d3=30.取数据回归长度l=50, 则有

其中: 表示由i个零元素构成的零元素块, 稀疏度

仿真时, 输入{ui(t)}采用随机不相关的零均值单位方差信号, 噪声{v(t)}采用零均值方差为σ2的白噪声序列, 定义参数估计误差分别用AM-OMPI算法和AM-LSI算法辨识系统参数.当噪声方差σ2=0.102时, 不同采样数据长度下, 两种算法的参数估计误差如表 2所示.由表 2可以看出, AM-OMPI算法的参数估计误差远小于AM-LSI算法.

表 2 不同采样数据长度下两种算法的参数估计误差

当采样数据长度m=140, 噪声方差σ2=0.102时, 两种算法的参数估计误差δ随迭代次数k的变化如图 2所示.由图 2可以看出, 采样数据有限(m < N)时, AM-LSI算法辨识精度较低, 而AM-OMPI算法只需少量的迭代便可获得良好的参数估计.另外, 根据表 1, 当m=140时, AM-OMPI算法和AM-LSI算法每次迭代的计算量分别为N1=238 001和N2=14 494 269, 可见, AM-OMPI算法具有计算量小的优势.

图 2 两种算法参数估计误差δ随迭代次数k的变化曲线

当采样数据长度m=230, 噪声方差分别为σ2=0.102σ2=0.502σ2=0.802时, AM-OMPI算法的参数估计误差δ随迭代次数k的变化如图 3所示.经过15次迭代, 参数估计误差分别为δ=0.618 4 %, δ=3.089 3 %和δ=8.465 3 %, 可见, AM-OMPI算法对噪声敏感, 当噪声方差较小时可以获得较高的参数估计精度.

图 3 不同噪声方差下AM-OMPI的参数估计误差δ随迭代次数k的变化曲线

当采样数据长度m=90, 噪声方差σ2=0.102, 迭代次数k=15时, AM-OMPI算法的参数估计误差δ=0.388 8%, 辨识得到的参数估计为

(22)

由式(22)可知, 中有6个零元素块, 各零元素块中零元素的数目分别为n1=20, n2=28, n3=10, n4=38, n5=30, n6=18.由式(21)可得系统每个输入通道的时滞估计分别为

仿真结果表明, 针对具有时滞的MISO-OE模型, 当噪声方差较小时, AM-OMPI算法在有限的测量数据(m<N)下, 经过少量迭代即可获得精度较高的时滞与参数估计, 具有成本低、速度快、计算量小等优势.

5 结论

针对含有未知时滞的MISO-OE系统, 本文结合OMP算法和辅助模型思想, 对最小二乘迭代算法进行改进, 提出了一种辅助模型正交匹配追踪迭代算法.由仿真分析可以看出, 该算法对采样数据的需求量不大, 因而可以节约辨识成本, 且在噪声水平不高的情况下可以获得精度较高的时滞估计与参数估计.

参考文献
[1]
Na J, Ren X M, Xia Y Q. Adaptive parameter identification of linear SISO systems with unknown time-delay[J]. Systems & Control Letters, 2014, 66: 43-50.
[2]
Wang Q G, Guo X, Zhang Y. Direct identification of continuous time delay systems from step responses[J]. J of Process Control, 2001, 11(5): 531-542. DOI:10.1016/S0959-1524(00)00031-7
[3]
Bedoui S, Ltaief M, Abderrahim K.Hierarchical gradient based identification of discrete-time delay systems[C]. Proc of the 52nd IEEE Conf on Decision and Control.Florence, 2013: 4565-4570.
[4]
Tropp J A. Just relax:Convex programming methods for identifying sparse signals in noise[J]. IEEE Trans on Information Theory, 2006, 52(3): 1030-1051. DOI:10.1109/TIT.2005.864420
[5]
Elad M. Sparse and redundant representations:From theory to applications in signal and image processing[M]. New York: Springer-Verlag, 2010: 169-184.
[6]
方红, 杨海蓉. 贪婪算法与压缩感知理论[J]. 自动化学报, 2011, 37(12): 1413-1421.
(Fang H, Yang H R. Greedy algorithms and compressed sensing[J]. Acta Automatica Sinica, 2011, 37(12): 1413-1421.)
[7]
Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]. IEEE Trans on Information Theory, 2007, 53(12): 4655-4666. DOI:10.1109/TIT.2007.909108
[8]
Blumensath T, Davies M E. Gradient pursuits[J]. IEEE Trans on Signal Processing, 2008, 56(6): 2370-2382. DOI:10.1109/TSP.2007.916124
[9]
Needell D, Tropp J A. CoSaMP:Iterative signal recovery from incomplete and inaccurate samples[J]. Applied & Computational Harmonic Analysis, 2009, 26(3): 301-321.
[10]
Liu Y J, Tao T Y. A CS recovery algorithm for model and time delay identification of MISO-FIR systems[J]. Algorithms, 2015, 8(3): 743-753. DOI:10.3390/a8030743
[11]
刘艳君, 陶太洋, 丁锋. MISO系统基于正交匹配追踪算法的参数与时滞联合估计[J]. 控制与决策, 2015, 30(11): 2103-2107.
(Liu Y J, Tao T Y, Ding F. Parameter and time-delay identification for MISO systems based on orthogonal matching pursuit algorithm[J]. Control and Decision, 2015, 30(11): 2103-2107.)
[12]
陶太洋, 刘艳君, 丁锋. MISO-FIR系统的梯度追踪辨识算法[J]. 信息与控制, 2016, 45(2): 151-156.
(Tao T Y, Liu Y J, Ding F. Gradient pursuit identification algorithm for MISO-FIR systems[J]. Information and Control, 2016, 45(2): 151-156.)
[13]
刘艳君, 韩雪, 丁锋. 基于辅助变量的压缩采样匹配追踪闭环系统辨识方法[J]. 控制与决策, 2017, 32(10): 1837-1843.
(Liu Y J, Han X, Ding F. An instrumental variable based compressed sampling matching pursuit method for closed-loop identification[J]. Control and Decision, 2017, 32(10): 1837-1843.)
[14]
丁锋. 系统辨识新论[M]. 北京: 科学出版社, 2013: 152-194.
(Ding F. Systems identification——New theory and methods[M]. Beijing: Science Press, 2013: 152-194.)
[15]
Wang Y J, Ding F. Novel data filtering based parameter identification for multiple-input multiple-output systems using the auxiliary model[J]. Automatica, 2016, 71: 308-313. DOI:10.1016/j.automatica.2016.05.024
[16]
丁锋. 系统辨识算法复杂性、收敛性、计算效率研究[J]. 控制与决策, 2016, 31(10): 1729-1741.
(Ding F. Complexity, convergence and computational efficiency for system identification algorithms[J]. Control and Decision, 2016, 31(10): 1729-1741.)
[17]
Ding F, Liu P X, Liu G. Gradient based and least-squares based iterative identification methods for OE and OEMA systems[J]. Digital Signal Processing, 2010, 20(3): 664-677.
[18]
刘艳君, 陶太洋, 丁锋. 多输入动态调节系统的正交匹配追踪迭代辨识算法[J]. 中南大学学报:自然科学版, 2017, 48(2): 389-394.
(Liu Y J, Tao T Y, Ding F. Parameter and time-delay estimation for MISO dynamic adjustment systems based on orthogonal matching pursuit iterative algorithm[J]. J of Central South University:Science and Technology, 2017, 48(2): 389-394.)