控制与决策  2023, Vol. 38 Issue (3): 797-804  
0

引用本文 [复制中英文]

史玉皓, 田建艳, 刘军军, 杨胜强. 基于流形结构的多源自适应迁移学习算法及应用研究[J]. 控制与决策, 2023, 38(3): 797-804.
[复制中文]
SHI Yu-hao, TIAN Jian-yan, LIU Jun-jun, YANG Sheng-qiang. Research on multi-domain adaptation-manifold regularization and application[J]. Control and Decision, 2023, 38(3): 797-804. DOI: 10.13195/j.kzyjc.2021.1367.
[复制英文]

基金项目

山西省重点研发计划项目(201903D121057);山西省自然科学基金重点项目(201801D111002);山西省研究生教育创新计划项目(2021Y229)

作者简介

史玉皓(1998-), 男, 硕士生, 从事复杂系统建模与智能监控的研究, E-mail: tyut_shiyuhao@163.com;
田建艳(1966-), 女, 教授, 博士生导师, 从事复杂系统建模与智能监控等研究, E-mail: tut_tianjy@163.com;
刘军军(1984-), 男, 副教授, 博士, 从事分布参数系统控制等研究, E-mail: liujunjun@tyut.edu.cn;
杨胜强(1964-), 男, 教授, 博士生导师, 从事精密表面光整加工技术、高端装备高性能零件光整加工等研究, E-mail: tutysq@263.net.cn

通讯作者

田建艳, E-mail: tut_tianjy@163.com

文章历史

收稿日期:2021-08-05
修回日期:2021-11-26
基于流形结构的多源自适应迁移学习算法及应用研究
史玉皓 1, 田建艳 1, 刘军军 2, 杨胜强 3     
1. 太原理工大学 电气与动力工程学院,太原 030024;
2. 太原理工大学 数学学院,太原 030024;
3. 太原理工大学 机械与运载工程学院,太原 030024
摘要:迁移学习是将源域的知识迁移解决目标域问题的方法, 能有效解决数据分布不一致的问题. 针对多源域迁移时传统方法缺乏对多源域的可迁移性的合理分析和迁移效果的有效处理问题, 提出一种基于流形结构的多源自适应迁移学习的方法, 旨在提高单源域迁移效果的同时实现多源域的有效迁移. 首先, 对多源域进行可迁移性分析, 选择可迁移的源域; 然后, 适配边缘分布和条件分布并引入均衡因子得到均衡分布适配, 同时利用流形正则化约束数据结构, 使单源域的信息使用最大化; 最后, 通过加权因子对不同源域分类器进行自适应加权, 充分利用多源域的信息求解目标域问题. 将该算法应用于滚磨光整加工中滚抛磨块的优选, 通过建立滚抛磨块的相似度匹配方法, 构建基于流形结构的多源自适应迁移学习的滚抛磨块优选模型. 大量对比实验表明所提出方法表现更佳, 准确率最高至73.44 %, 可以为滚磨光整中滚抛磨块的选择提供更有效的决策指导.
关键词迁移学习    多源域迁移    可迁移性分析    自适应    流形正则化    滚磨光整    滚抛磨块优选    
Research on multi-domain adaptation-manifold regularization and application
SHI Yu-hao 1, TIAN Jian-yan 1, LIU Jun-jun 2, YANG Sheng-qiang 3     
1. College of Electrical and Power Engineering, Taiyuan University of Technology, Taiyuan 030024, China;
2. College of Mathematics, Taiyuan University of Technology, Taiyuan 030024, China;
3. College of Mechanical and Vehicle Engineering, Taiyuan University of Technology, Taiyuan 030024, China
Abstract: Transfer learning is a method of transferring knowledge from the source domain to solve the problem of the target domain, which can effectively solve the problem of inconsistent data distribution. Aiming at the problem that traditional methods lack a reasonable analysis of the transferability of multi-domain and the effective treatment of transfer effects in multi-domain transfer, the multi domain adaptation-manifold Regularization transfer learning algorithm is proposed to improve the effect of single source domain transfer while realizing effective transfer of multi-domain. Firstly, the transferability of multi-domain is analysed to select the source domains that can be transferred. Then, the marginal distribution and the conditional distribution is adapted and the balance factor is introduced to obtain the balanced distribution adaptation, and the manifold regularization is used to constrain the data structure to maximize the use of information in the single source domain. Finally, different domain classifiers are adaptively weighted by weighting factors, and the information of multi-domain is fully utilized to solve the target domain problem. This algorithm is applied to the optimization of the abrasive media in the mass finishing. By establishing the similarity matching method of the abrasive media, the multi-domain adaptation-manifold regularization of the abrasive media optimization model is constructed. A large number of comparative experiments show that the proposed method performs better, with an accuracy rate of up to 73.44 %, which can provide more effective decision-making guidance for the optimization of the abrasive media in the mass finishing.
Keywords: transfer learning    multi-domain transfer    analysis of the transferability    self-adaptive    manifold regularization    mass finishing    optimization of the abrasive media    
0 引言

迁移学习是一类热门的机器学习方法, 与传统机器学习相比, 具有较少的数据依赖和较少的标签依赖等优点[1].迁移学习克服了传统机器学习中数据特征服从同一分布的设定[2], 其中新数据所在的领域称为目标域, 相关历史数据所在的领域称为源域[3].基于特征的迁移学习旨在构建一个共同子空间, 并在其中最小化源域与目标域之间的差异以提高分类器的性能[4].国内外迁移学习研究团队在特征迁移学习算法领域依次提出了TCA[5]、JDA[6]、BDA[7]等算法, 旨在缩小最小化源域与目标域之间的边缘分布距离和条件分布距离.基于特征迁移学习的实际应用是近年来众多学者的研究热点.阎高伟等[8]将特征迁移学习应用于湿式球磨机负荷参数预测, 提出了一种MMD-JDA特征迁移学习算法, 并通过实验验证该方法可以使测量结果更加准确且可信.陈佳鲜等[9]针对不同工况下轴承退化数据分布不一致问题, 提出了一种基于深度时序特征迁移的轴承剩余寿命预测方法, 结果表明所提出方法构建的健康指标可有效反映退化趋势.Xue等[10]针对不同情绪识别的学习问题, 提出了一种基于EEG的情绪识别的特征分析算法, 该算法通过TCA缩小了源域与目标域的距离.Li等[11]提出了一种MA-JDA特征迁移学习算法并应用于船舶识别问题, 实验验证表明该方法在船舶识别问题上表现较优.

滚磨光整加工技术是机械加工领域的一类基础性制造工艺技术, 属于精密和超精密加工的范畴[12], 滚抛磨块是影响其加工效果的关键因素之一[13].闫瑞斌等[14]针对案例推理(case-based reasoning, CBR)[15]技术在滚磨光整加工中难以解决的数据分布不一致问题, 引入特征迁移学习算法, 提出了条件分布适配-流形正则化(conditional distribution adaptation-manifold regularization, CDA-MR)迁移学习方法, 经过对比实验表明该方法可以为数据分布不一致时滚抛磨块的选择提供建议.

随着案例的大量收集, 对多源域进行可迁移分析以及信息的有效利用成为限制决策的关键因素.本文针对多源域迁移学习中CDA-MR等传统迁移学习缺乏对多源域可迁移性的合理分析和迁移效果的有效处理问题, 提出基于流形结构的多源自适应迁移学习(multi domain adaptation-manifold regularization, MDA-MR)方法, 并将该方法应用于滚抛磨块的优选.首先, 对多源域案例集进行可迁移性分析, 选择可迁移的源域案例集; 然后结合边缘分布适配和条件分布适配并引入均衡因子得到均衡分布适配, 同时利用流形正则化保持数据结构, 使单源域案例集的信息使用最大化, 得到基于均衡分布适配-流形正则化(balanced distribution adaptation-manifold regularization, BDA-MR)的迁移学习方法; 接着, 通过加权因子对多源域案例集分类器进行自适应加权, 充分利用多源域案例集的信息用于目标域案例集的求解; 最后建立滚抛磨块的相似度匹配方法, 并最终构建起MDA-MR的滚抛磨块优选模型.将该方法在课题组已搭建的面向用户的滚磨光整加工数据库平台[16]上与CDA-MR等方法进行对比实验, 结果表明了针对多源域迁移问题改进的必要性.

1 基于MDA-MR的迁移学习算法

基于MDA-MR的迁移学习算法旨在分析不同领域的可迁移性, 选择可迁移的源域.结合边缘分布适配和条件分布适配引入均衡因子得到均衡分布适配, 同时利用流形正则化约束数据结构, 使单源域案例集的信息使用最大化.通过加权因子对多源域分类器进行自适应加权, 充分利用多源域案例集的信息进行目标域案例集的求解.

1.1 最大均值差异

迁移学习的主要目标是减少源域案例集和目标域案例集的分布差异, 所以量化领域案例集之间的数据分布差异是迁移学习中基础且重要的问题.最大均值差异(maximum mean discrepancy, MMD)[1]可以度量两种案例集数据分布的距离, 广泛应用于迁移学习领域.假设存在两个特征信息分布不一致的源域案例集$ {D}_{s} $和目标域案例集$ {D}_{t} $, 则两个领域案例集数据分布的距离定义为

$ \begin{align} f({D}_{s}, {D}_{t})=\Big\|\frac{1}{n_{s}} \sum\limits_{i=1}^{n_{s}} \psi(x_{i}^{s})-\frac{1}{n_{t}} \sum\limits_{j=1}^{n_{t}} \psi(x_{j}^{t})\Big\|^{2}. \end{align} $ (1)

其中: $ \psi(·) $为映射函数, 该函数将原始数据变换至再生核希尔伯特空间; $ x_{i}^{s} \in{D}_{s} $为源域案例集样本集的第$ i $个样本, $ i=1, 2, \ldots, n_{s};x_{j}^{t} \in{D}_{t} $为目标案例集域样本集的第$ j $个样本, $ j=1, 2, \ldots, n_{t} $.

1.2 数据适配 1.2.1 边缘分布距离

边缘分布距离表征源域案例集和目标域案例集间的特征信息差异, 本文采用MMD度量的源域案例集与目标域案例集的边缘分布距离, 即

$ \begin{align} &\Big\|\frac{1}{n_{s}} \sum\limits_{i=1}^{n_{s}}{A}^{{\rm T}}x_{i}^{s}-\frac{1}{n_{t}} \sum\limits_{j=1}^{n_{t}}{A}^{{\rm T}} {x}_{j}^{t}\Big\|^{2}=\\[-4pt] &{\rm tr}({A}^{{\rm T}}{X}{M}_{0}{X}^{{\rm T}}{A}). \end{align} $ (2)

其中: $ {A}\in{R}^{m\times k} $为空间变换矩阵, $ m $为源域案例集与目标域案例集的公共特征数, $ k $为子空间的基数, $ {A}^{{\rm T}} $为矩阵$ {A} $的转置; $ {X}\in{R}^{m\times n} $为源域案例集特征信息$ {X}^{s} $和目标域案例集的特征信息$ {X}^{t} $的并集, $ n=n_s+n_t, {M}_0\in{R}^{n\times n} $为边缘分布的MMD矩阵, 且有

$ \begin{align} ({M}_{0})_{i j}= \begin{cases} {1}/({n_{s} n_{s}}), x_{i}, x_{j} \in {D}_{s};\\[-4pt] {1}/({n_{t} n_{t}}), x_{i}, x_{j} \in {D}_{t};\\[-4pt] {-1}/({n_{s} n_{t}}), {\rm otherwise}. \end{cases} \end{align} $ (3)
1.2.2 条件分布距离

目标域案例集往往存在少标签甚至无标签的情况, 使得条件分布$ Q_{s}(y^{s}|x^{s}) $$ Q_{t}(y^{t}|x^{t}) $难以直接进行建模.源域案例集建立的模型可以为目标域案例集构建出案例伪标签, 根据伪标签继续建模, 近似匹配每一标签的条件分布.同样采用MMD计算条件分布距离为

$ \begin{align} & \sum\limits_{c=1}^{C}\Big\|\frac{1}{n_{s}^{(c)}} \sum\limits_{x_{i}^{s} \in{D}_{s}^{(c)}} {A}^{{\rm T}} x_{i}^{s}-\frac{1}{n_{t}^{(c)}} \sum\limits_{x_{j}^{t} \in {D}_{t}^{(c)}} {A}^{{\rm T}} x_{j}^{t}\Big\|^{2}=\\[-4pt] & \sum\limits_{c=1}^{C}{\rm tr}({A}^{{\rm T}}{X}{M}_{c}{X}^{{\rm T}} {A}). \end{align} $ (4)

其中: 标签$ c=1, 2, \ldots, C;n_{s}^{(c)} $$ n_{t}^{(c)} $分别为$ {D}_{s} $$ {D}_{t} $中属于第$ c $个标签的案例个数; $ {D}_{s}^{(c)} $$ {D}_{t}^{(c)} $为属于第$ c $个标签的源域案例集和目标域案例集; $ \boldsymbol{M}_{c} $$ c $条件分布的MMD矩阵, 有

$\left(M_c\right)_{i j}=\left\{\begin{array}{l} 1 /\left(n_s^{(c)} n_s^{(c)}\right), x_i, x_j \in D_s^{(c)} ; \\ 1 /\left(n_t^{(c)} n_t^{(c)}\right), x_i, x_j \in D_t^{(c)} ; \\ -1 /\left(n_s^{(c)} n_t^{(c)}\right)\left\{\begin{array}{l} x_i \in D_s^{(c)}, x_j \in D_t^{(c)} ; \\ x_j \in D_s^{(c)}, x_i \in D_t^{(c)} ; \end{array}\right. \\ 0, \text { otherwise. } \end{array}\right. $ (5)
1.2.3 流形正则化

流形正则化(manifold regularization, MR)[17]旨在分析数据间的局部流形结构关系, 并在迁移学习的空间变换过程中保持这种流形结构以提升学习效率的同时提高模型的鲁棒性, 其目标函数为

$ \begin{align} \min\Big( \sum\limits_{g, h}\|z_{g}-z_{h}\|^{2} W_{g h}\Big). \end{align} $ (6)

其中: $ z_{g} $$ z_{h} $$ {D}_{s} $中第$ g $个数据$ x_{g} $和第$ h $个数据$ x_{h} $投影后的样本, $ g\neq h;W_{g h} $为样本相似度矩阵$ W $中的元素, $ W $计算为

$ \begin{align} {W}\!=\!\{W_{g h}\}\!=\! \begin{cases} \cos (x_{g}, x_{h}), \|x_{g}\!-\!x_{h}\|^{2}\!<\!\varepsilon;\\ 0, {\rm otherwise}. \end{cases} \end{align} $ (7)

其中: $ \varepsilon $为局部近邻半径.式(6)可等价为

$ \begin{align} &\min \Big( \sum\limits_{g, h}\|z_{g}-z_{h}\|^{2} W_{g h}\Big)=\\ &\min({\rm tr}({A}^{{\rm T}}{X}^{s}{L}({X}^{s})^{{\rm T}}{A})). \end{align} $ (8)

其中: $ {L}\in{{R\mathit{\boldsymbol{}}}}^{n_s\times n_s} $为Laplacian矩阵, $ {L}={D}-{W};{D} $为对角矩阵, 其对角线元素为$ D_{h h}= \sum\limits_{g=1}^{n_{s}} W_{g h} $.

数据适配的核心在于缩小源域案例集和目标域案例集间的边缘分布距离和条件分布距离.为使适配过程中单源域案例集的信息使用最大化, 用MR约束适配过程的同时引入均衡因子[7], 旨在调节边缘分布和条件分布在适配过程中的作用占比, 提高单源域迁移学习的学习效率, 计算公式为

$ \begin{align} &\mu {\rm tr}(A^{{\rm T}} {X}{M}_{0}{X}^{{\rm T}}{A})+(1-\mu) \sum\limits_{c=1}^{C}{\rm tr}({A}^{{\rm T}}{X}{M}_{c}{X}^{{\rm T}}{A})+\\[-6pt] &\lambda {\rm tr}({A}^{{\rm T}}{X}^{s}{L}({X}^{s})^{{\rm T}}{A}). \end{align} $ (9)

其中: $ \mu $为均衡因子, $ \mu\in[0, 1];\lambda $为正则项系数.

1.3 最优化问题

为了提高迁移学习模型的有效性和鲁棒性, 最大程度保留对目标域案例集标签有用的特征信息, 采用最大方差[18]去除噪声影响, 使映射后数据保留最多有用信息, 其目标函数为

$ \begin{align} \max({\rm tr}({A}^{{\rm T}}{X}{H}{X}^{{\rm T}}{A})). \end{align} $ (10)

其中: $ {H}={I}_{n_{s}+n_{t}}-1 /(n_{s}+n_{t}){u}{u}^{{\rm T}};{I}_{n_{s}+n_{t}} $为单位向量; $ {u}\in{R}^n $为内部元素为1的列向量.

通过BDA将特征信息投射到公共子空间以减小源域案例集与目标域案例集之间的特征信息分布差异, 并采用MR保持数据的结构关系.同时采用最大方差去除噪声, 最大程度地保留特征变换后数据的有效性, 得到最优化问题为

$ \begin{align} &\min\Big(\mu{\rm tr}({A}^{{\rm T}} {X}{M}_{0}{X}^{{\rm T}}{A})+\\ &(1-\mu) \sum\limits_{c=1}^C{\rm tr}({A}^{{\rm T}}{X}{M}_{c}{X}^{{\rm T}} {A})+\\ &\lambda{\rm tr}({A}^{{\rm T}}{X}^{s}{L}({X}^{{s}})^{{\rm T}}{A})\Big);\\ &{\rm s.t.} A^{{\rm T}}{X}{H}{X}^{{\rm T}}{A}={I}, 0\leqslant\mu\leqslant1. \end{align} $ (11)

式(11)等价于

$ \begin{align} &\min\Big(\Big(\mu{\rm tr}({A}^{{\rm T}}{X}{M}_{0}{X}^{{\rm T}}{A})+\\ & \;\;\;\;(1-\mu) \sum\limits_{c=1}^C {\rm tr}({A}^{{\rm T}}{X}{M}_{c}{X}^{{\rm T}}{A})+\\ & \;\;\;\;\lambda{\rm tr}({A}^{{\rm T}} {X}^{s}{L}({X}^{s})^{{\rm T}}{A})\Big)\Big/{{\rm tr}({A}^{{\rm T}}{X}{H}{X}^{{\rm T}}{A})}\Big);\\ &{\rm s.t.} 0\leqslant\mu\leqslant1 . \end{align} $ (12)

采用Laplacian乘子法, 取Laplacian乘子为$ {\varPhi}={\rm diag}(\varPhi_{1}, \ldots, \varPhi_{k}) \in{{R\mathit{\boldsymbol{}}}}^{k\times k} $, 则有

$ \begin{align} F=&{\rm tr}\Big({ A } ^ { {\rm T } }\Big(\mu{{X\mathit{\boldsymbol{}}}}{M}_{0}{X}^{{\rm T}}+(1-\mu){X} \sum\limits_{c=1}^C{M}_{c}{X}^{{\rm T}}+\\ &\lambda{X}^{s}{L}({X}^{s})^{{\rm T}}\Big){A}\Big)+{\rm tr}(({I}-{A}^{{\rm T}}{X}{H}{X}^{{\rm T}}{A}){\varPhi}). \end{align} $ (13)

$ A $求导后得到广义特征分解\\*

$ \begin{align} &\Big(\mu{X}{M}_{0}X^{{\rm T}}+(1-\mu) {X} \sum\limits_{c=1}^{C}{M}_{c} {X}^{{\rm T}}+\\ &\lambda{X}^{s} {L}({X}^{s})^{{\rm T}}\Big){A}={X}{H}{X}^{{\rm T}}{A}{\varPhi}. \end{align} $ (14)

求解式(14)得到$ A $, 变换后源域案例集特征信息$ {Z}={A}^{{\rm T}}{X} $, 采用机器分类方法构建基于BDA-MR的迁移学习算法, 得到预测的目标域案例集特征信息$ {Y} $.

1.4 分类器加权

挖掘并利用领域间的相似性, 不仅可以提高迁移学习算法的学习效率, 还可以提高目标域的分类效率[19].可迁移性分析可以有效挖掘领域之间的相似性, 为了对多源域案例集进行可迁移性分析、评价和合理处理, 将分类器加权引入BDA-MR模型中.首先采用BDA-MR缩小全部源域案例集特征信息和目标域案例集特征信息的分布差异, 有

$ \begin{align} \Big( \sum\limits_{l=1}^{p}{Z}_{l}^{s}, {Z}^{t}\Big)=G\Big( \sum\limits_{l=1}^{p}{X}_{l}^{s}, \sum\limits_{l=1}^{p}{Y}_{l}^{s}, {X}^{t}\Big). \end{align} $ (15)

其中: $ {Z}_{l}^{s} $为第$ l $个源域案例集适配后的源域案例集特征信息, $ l\in[1, p], p $表示共有$ p $个源域案例集; $ {Z}^{t} $为适配后的目标域案例集特征信息; $ {G}(\cdot) $为BDA-MR适配过程; $ {X}_{l}^{s} $$ {Y}_{l}^{s} $为第$ l $个源域案例集适配前的特征信息及磨块特征信息; $ {X}^{t} $为适配前的目标域案例集特征信息.

采用MMD对领域案例集进行度量.两个领域案例集之间的MMD距离越大表示两个领域案例集联系越小, 需减小其作用占比; 反之, 需增大其作用占比.采用下式表征两个领域案例集之间的相似度, 有

$ \begin{align} &d_{l}={1}/{{\rm MMD}({Z}_{l}^{s}, {Z}^{t})};\\ &{\rm s.t.} {l} \in[1, p]. \end{align} $ (16)

其中$ {\rm MMD}(\cdot) $为两个领域案例集间的最大均值差异值.根据各源域案例集与目标域案例集之间的相似度得到各分类器的加权因子为

$ \begin{align} w_{l}={d_{l}}\Big/{ \sum\limits_{l=1}^p d_{l}}. \end{align} $ (17)

根据加权因子$ w_{l} $对不同源域案例集分类器进行自适应加权, 最终预测得到目标域案例集的标签特征信息

$ \begin{align} {Y}= \sum\limits_{l=1}^{p}w_{l}M({Z}_{l}^{s}, {Z}^{t}, {Y}_{l}^{s})=f({X}^{t}). \end{align} $ (18)

其中: $ {M}(\cdot) $为机器分类算法; $ f $为基于MDA-MR的多源域案例集分类器.

算法1  基于MDA-MR的迁移学习算法.

输入: 各源域案例集特征信息$ \sum\limits_{i=1}^p{ X}_{l}^{s} $, 标签特征信息$ \sum\limits_{i=1}^p{ Y}_{l}^{s}(1\!\leqslant\!{l}\!\leqslant\! p, p $表示有$ p $个源域案例集), 目标域案例集特征信息$ {{ X}}^{t} $, 均衡因子$ \mu $, 正则项系数$ \lambda $;

输出: 空间变换矩阵$ { A} $, 分类器$ f $, 预测的目标域案例集标签特征信息$ {Y} $, 修正后的目标域案例集预测标签.

step1: 最优化式(10), 同时用(8)和(9)进行约束.

step2: 根据式(14)得到空间变换矩阵$ { A} $.

step3: 源域案例集特征信息投影到公共子空间为$ \sum\limits_{i=1}^p{ Z}_{l}^{s}={{ A}}^{{\rm T}} \sum\limits_{i=1}^p{ X}_{l}^{s} $.

step4: 目标域案例集特征信息投影到公共子空间为$ { Z}^{t}={ A}^{{\rm T}}{ X}^{t} $.

step5: 构建基于BDA-MR单源域案例集分类器.

step6: 根据式(17)对分类器自适应加权, 得到多源域案例集分类器$ f $.

step7: 根据式(18)将目标域案例集特征信息$ {{ X}}^{t} $输入至分类器$ f $, 得到预测的目标域案例集标签特征信息$ { Y} $.

2 基于MDA-MR的滚抛磨块优选模型

首先, 分析大量滚磨光整加工生产实例选取零件特征和磨块特征制作滚抛磨块案例库和磨块库; 其次, 采用归一化方法对案例库特征信息进行预处理, 通过MDA-MR将处理后的特征信息投射到公共子空间; 接着, 使用机器分类方法对磨块特征进行预测; 最后, 将预测结果与磨块库进行相似度计算, 最终输出优选的滚抛磨块.基于MDA-MR的滚抛磨块优选模型流程如图 1所示.

图 1 基于MDA-MR的滚抛磨块优选模型流程
2.1 案例特征选取

在滚磨光整加工中, 待加工零件的特征信息和客户的加工要求是影响滚抛磨块选择的关键因素, 表征并描述各实体间的联系是案例特征选取的必要手段.实体-联系图[20]是一种能够表征实体联系、类型和属性的表示方法.通过对实验报告、专家经验和文献手册数据的研究, 本文选取待加工零件的特征有关键零件尺寸(以轴类零件为例: 长度$ F_1 $、轴径$ F_2 $)和零件加工前特征(粗糙度$ F_3 $、光亮度$ F_4 $、毛刺$ F_5 $、硬度$ F_6 $); 加工要求为加工后零件特征(粗糙度$ F_7 $、光亮度$ F_8 $、毛刺$ F_9 $、硬度$ F_{10} $、残余应力改善$ F_{11} $); 磨块特征信息有形状$ L_1 $、尺寸$ L_2 $、材质$ L_3 $和类型$ L_4 $.其中$ F_4 $$ F_8 $按国家标准分为4种等级: 光亮度非常高、较低且没有磨纹、无光亮度、可辨加工痕迹方向, 分别赋值为4、3、2、1[15]; $ F_9 $表示加工后毛刺是否存在, 1表示毛刺被去除, 0表示毛刺仍存在[21].根据零件特征参数和加工要求构建零件特征训练数据$ {X} $和源域案例集磨块特征解集$ {Y}^{s} $.

2.2 基于相似度计算的滚抛磨块匹配

针对存在预测结果与磨块库里磨块都不匹配的问题, 设计基于相似度计算的滚抛磨块匹配方法, 将预测的每组目标域案例集磨块特征信息$ Y_{i}(Y_{i} \in{Y}, i=1, 2, \ldots, n_{t}) $逐一与磨块库的磨块特征信息$ T_{p}(T_{p} \in{T}, p=1, 2, \ldots, {M}) $进行相似度计算, 其中磨块库常用磨块有8种, 故选择$ {M=8} $.将相似度最大值对应的磨块作为输出结果完成对每组目标域案例集磨块特征信息$ Y_{i} $的修正, 进而完成对$ {Y} $的修正, 有\\*

$ \begin{align} &Y_{i}=\\ &{\rm MAX}({\rm SIM}(T_{1}, Y_{i}), {\rm SIM}(T_{2}, Y_{i}), \ldots, {\rm SIM}(T_{8}, Y_{i})). \end{align} $ (19)

其中: $ {\rm MAX}(\cdot) $为修正函数, 将匹配相似度最高的磨块来修正$ Y_{i};{\rm SIM}(T_{p}, Y_{i}) $$ T_{p} $$ Y_{i} $的整体相似度, 有

$ \begin{align} &{\rm SIM}(T_{p}, Y_{i})=\frac{1}{n} \sum\limits_{j=1}^{n} {\sim}(T_{p j}, Y_{i j});\\[-5pt] &{\rm s.t.} p=1, 2, \ldots, 8, j=1, 2, 3, 4. \end{align} $ (20)

这里: $ Y_{i j} $$ Y_{i} $的第$ j $个磨块特征信息; $ T_{p j} $$ T_{p} $的第$ j $个磨块特征信息; $ n $为磨块特征信息数, 本文中$ n=4 $; $ {\rm sim}(T_{p j}, Y_{i j}) $$ T_{p j} $$ Y_{ij} $$ j $个磨块特征信息的相似度, 需根据具体的磨块特征信息数据类型选择不同的相似度计算公式.磨块库常见的滚抛磨块及特征信息[14]表 1所示, 滚抛磨块特征信息相似度计算公式如下所示:

表 1 磨块库常见的滚抛磨块及特征信息

1) 磨块尺寸为数值型, 采用下式计算:

$ \begin{align} {\rm sim}(T_{p 1}, Y_{i 1})=\exp \Big[-\frac{T_{p 1}-Y_{i 1}}{\sqrt{2}}\Big]. \end{align} $ (21)

2) 磨块形状和磨块材质为二值型, 计算为\\*

$ \begin{align} &{\rm sim}(T_{p j}, Y_{i j})= \begin{cases} 1, T_{p j}=Y_{i j}; \\ 0, T_{p j} \neq Y_{i j};\end{cases}j=2, 3. \end{align} $ (22)

3) 磨块类型为模糊逻辑型, 采用下式计算:

$ \begin{align} {\rm sim}(T_{p 4}, Y_{i 4})=1-\frac{|T_{p 4}-Y_{i 4}|}{\rm NUM}, \end{align} $ (23)

其中$ \rm NUM $为磨块类型数.

将基于相似度计算的滚抛磨块匹配方法引至迁移学习中, 构建基于MDA-MR的滚抛磨块优选模型.

3 实验与结果分析

在机械装备领域中, 轴类零件是最为常见的典型零件之一, 轴类零件在使用过程中往往会发生磨损、腐蚀等现象, 进而影响工作系统的使用[22].常见的轴类零件包括齿轮轴零件、凸轮轴零件和曲轴零件等, 本文基于数据库平台中已有成功案例结果, 选择齿轮轴案例集、凸轮轴案例集、曲轴案例集进行对比验证, 并采用非轴类的齿轮案例集对可迁移进行研究.同时, 为验证所提出理论的有效性, 采用TCA[5]、JDA[6]、BDA[7]、MMD-JDA[8]、CDA-MR[14]与BDA-MR和MDA-MR进行验证实验.常见的轴类零件及齿轮零件如图 2所示.

图 2 常见轴类零件及齿轮零件
3.1 数据预处理

为消除案例中各特征信息数量级及量纲的作用, 需要对其进行归一化处理, 有

$ \begin{align} x_{i}^{k^{\prime}}=\frac{x_{i}^{k}-x_{\min }^{k}}{x_{\max }^{k}-x_{\min }^{k}}. \end{align} $ (24)

其中: $ x_{i}^{k} $为第$ i $组数据的第$ k $个特征信息; $ x_{i}^{k^{\prime}} $$ x_{i}^{k} $归一化后的数据; $ x_{\max }^{k} $$ x_{\min }^{k} $为案例中第$ k $个特征的数据峰值及数据最小值.

3.2 可迁移性分析

目标域受迁移知识的负面影响的现象称为负迁移[23].对源域知识的可迁移性进行分析以及避免负迁移是当下迁移学习领域的重点问题[1].通过可迁移分析选择合理的数据源域, 同时对源域信息合理加权是解决负迁移的有效手段[24].本文采用最大均值差异对多种处理方法后的数据进行度量与分析, 进而对源域案例集知识的可迁移性进行判断, 度量结果如表 2所示.以齿轮轴案例集对凸轮轴案例集迁移为例, 分别引入同类的曲轴案例集和非轴类的齿轮案例集, 以验证可迁移分析、非负迁移和有效迁移的合理性, 结果如图 3所示.

表 2 多种处理方法下的最大均值差异度量值
图 3 基于不同方法的滚抛磨块优选模型准确率

表 2可知, 在不同处理方法下, 非轴类的齿轮案例集和任一轴类案例集的最大均值差异度量值普遍高于同方法下轴类案例集之间的最大均值差异度量值, 在迁移学习适配后差异最高可达14倍.由图 3可知: 在实际迁移中, 当引入非轴类的齿轮案例集进行多源域案例集迁移时, 各模型准确率降低, 不合理引入源域案例集数据导致迁移过程中出现了负迁移; 当引入同类的曲轴案例集进行多源域案例集迁移时, 各模型迁移效果提升, 故判断合理引入源域案例集数据有利于多源域案例集迁移时的有效迁移.综上可知: 当领域案例集之间属于不同类时最大均值差异度量值较高, 表明领域案例集之间特征信息差异过大, 不合理引入会造成负迁移; 领域案例集之间属于同一类时最大均值差异度量值较低, 表明领域案例集之间特征信息相近, 可抑制负迁移同时增加正迁移的迁移效率, 最终在多源域案例集迁移时实现有效迁移.

3.3 模型参数调优

为保证对比实验的有效性, 需要对每个模型进行参数调优.以所提出MDA-MR模型为例, 对式(9)中的均衡因子$ \mu $和正则化系数$ \lambda $进行参数调优, 结果如表 3表 4所示.由表 3表 4可知, 本文采取固定参数法进行各参数调优.固定$ \lambda=0.1 $, MDA-MR在$ \mu=0.7 $时边缘分布适配和条件分布适配作用比例最佳; 当$ \mu=0.7 $时, $ \lambda $分别对(0.01, 0.1)和(0.1, 1)区间进行等距调参.结果表明, 在当$ \lambda=0.1 $$ \mu=0.7 $时MDA-MR模型参数最优, 准确率可达最高值.为保证对比实验的有效性, 实验对其他模型同样采用该方法对其关键参数进行调优.

表 3 λ=0:1, 不同µ值下MDA-MR的准确率结果
表 4 µ=0:7, 不同λ值下MDA-MR的准确率结果
3.4 对比实验验证

在满足可迁移性的基础上, 选取齿轮轴案例集、凸轮轴案例集、曲轴案例集作为验证案例集进行对比实验, 结果如表 5图 4所示.由表 5图 4可知: 在单源域案例集仿真中, BDA-MR与MDA-MR较其他方法有更高的准确率, 验证了引入均衡因子以及基于相似度计算的滚抛磨块匹配算法的有效性, 同时表明了在单源域案例集仿真中MDA-MR可以达到与BDA-MR相同的效果; 在多源域案例集仿真中, MDA-MR与BDA-MR和其他方法对比更为准确, 最高可达73.44%, 验证了引入分类器加权的必要性.综上可知, 基于MDA-MR的滚抛磨块优选模型更充分地利用了每个源域案例集的知识, 能够为滚抛磨块的选择提供更准确且可信的决策建议.

表 5 对比实验验证下基于不同方法的滚抛磨块优选模型准确率
图 4 不同方法的滚抛磨块优选模型对比
4 结论

本文针对多源域迁移学习中传统迁移学习缺乏对多源域可迁移性合理分析和迁移效果有效处理的问题, 提出了基于流形结构的多源自适应迁移学习方法.通过引入均衡因子和流形正则化提高单源域案例集的适配效率, 并通过对可迁移性进行分析引入分类器加权的思想.该方法能够自适应调节不同源域的迁移水平, 进而提高多源域案例集的迁移效果.通过课题组已搭建的面向用户的滚磨光整加工数据库平台进行对比实验表明, 所提出方法迁移效果优于其他算法, 准确率最高可达73.44%, 能够更好地为滚抛磨块的选择提供有效的建议.

参考文献
[1]
Zhuang F Z, Qi Z Y, Duan K Y, et al. A comprehensive survey on transfer learning[J]. Proceedings of the IEEE, 2021, 109(1): 43-76. DOI:10.1109/JPROC.2020.3004555
[2]
庄福振, 罗平, 何清, 等. 迁移学习研究进展[J]. 软件学报, 2015, 26(1): 26-39.
(Zhuang F Z, Luo P, He Q, et al. Survey on transfer learning research[J]. Journal of Software, 2015, 26(1): 26-39.)
[3]
王洪元, 耿磊, 倪彤光, 等. 知识嵌入的迁移孪生支持向量机[J]. 控制与决策, 2019, 34(3): 519-526.
(Wang H Y, Geng L, Ni T G, et al. Knowledge embedded transfer twin support vector machine[J]. Control and Decision, 2019, 34(3): 519-526.)
[4]
Nguyen B H, Xue B, Andreae P. A particle swarm optimization based feature selection approach to transfer learning in classification[C]. Proceedings of the Genetic and Evolutionary Computation Conference. New York, 2018: 37-44.
[5]
Pan S J, Tsang I W, Kwok J T, et al. Domain adaptation via transfer component analysis[J]. IEEE Transactions on Neural Networks, 2011, 22(2): 199-210. DOI:10.1109/TNN.2010.2091281
[6]
Long M S, Wang J M, Ding G G, et al. Transfer feature learning with joint distribution adaptation[C]. IEEE International Conference on Computer Vision. Sydney, 2013: 2200-2207.
[7]
Wang J D, Chen Y Q, Hao S J, et al. Balanced distribution adaptation for transfer learning[C]. IEEE International Conference on Data Mining. Piscataway: IEEE, 2017: 1129–1134.
[8]
阎高伟, 贺敏, 汤健, 等. 基于最大均值差异多源域迁移学习的湿式球磨机负荷参数软测量[J]. 控制与决策, 2018, 33(10): 1795-1800.
(Yan G W, He M, Tang J, et al. Soft sensor of wet ball mill load based on maximum mean discrepancy multi-source domain transfer learning[J]. Control and Decision, 2018, 33(10): 1795-1800.)
[9]
陈佳鲜, 毛文涛, 刘京, 等. 基于深度时序特征迁移的轴承剩余寿命预测方法[J]. 控制与决策, 2021, 36(7): 1699-1706.
(Chen J X, Mao W T, Liu J, et al. Remaining useful life prediction of bearing based on deep temporal feature transfer[J]. Control and Decision, 2021, 36(7): 1699-1706. DOI:10.13195/j.kzyjc.2019.1809)
[10]
Xue B, Lv Z, Xue J Y. Feature transfer learning in EEG-based emotion recognition[C]. Chinese Automation Congress. Shanghai, 2020: 3608-3611.
[11]
Li H B, Guo B, Gao T, et al. A transfer learning method of ship identification based on weighted hog features[C]. IEEE International Geoscience and Remote Sensing Symposium. Yokohama, 2019: 1302-1305.
[12]
杨胜强, 李文辉, 李秀红, 等. 高性能零件滚磨光整加工的研究进展[J]. 表面技术, 2019, 48(10): 13-24.
(Yang S Q, Li W H, Li X H, et al. Research development of mass finishing for high-performance parts[J]. Surface Technology, 2019, 48(10): 13-24.)
[13]
谢盼新, 李文辉, 杨胜强, 等. 齿轮卧式滚磨光整加工方案设计及理论研究[J]. 现代制造工程, 2017(11): 125-129.
(Xie P X, Li W H, Yang S Q, et al. Technical solution and theoretic research on barrel finishing of gears[J]. Modern Manufacturing Engineering, 2017(11): 125-129.)
[14]
闫瑞斌, 田建艳, 杨胜强, 等. 基于迁移学习的滚抛磨块优选模型[J]. 现代制造工程, 2021(1): 75-80.
(Yan R B, Tian J Y, Yang S Q, et al. Optimal model of the abrasive media based on transfer learning[J]. Modern Manufacturing Engineering, 2021(1): 75-80.)
[15]
杨炎, 高炜, 杨胜强, 等. 基于模糊聚类和案例推理的滚抛磨块优选模型[J]. 表面技术, 2019, 48(9): 315-320.
(Yang Y, Gao W, Yang S Q, et al. Optimal model of abrasive blocks based on fuzzy clustering and case-based reasoning[J]. Surface Technology, 2019, 48(9): 315-320.)
[16]
高炜, 杨胜强, 田建艳, 等. 面向用户的滚磨光整加工数据库平台构建及工序模板设计[J]. 太原理工大学学报, 2020, 51(2): 234-241.
(Gao W, Yang S Q, Tian J Y, et al. Database system construction and process template design of barrel finishing technology for user application[J]. Journal of Taiyuan University of Technology, 2020, 51(2): 234-241.)
[17]
Ma J Y, Wu J, Zhao J, et al. Nonrigid point set registration with robust transformation learning under manifold regularization[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(12): 3584-3597.
[18]
杜永贵, 李思思, 阎高伟, 等. 基于流形正则化域适应湿式球磨机负荷参数软测量[J]. 化工学报, 2018, 69(3): 1244-1251.
(Du Y G, Li S S, Yan G W, et al. Soft sensor of wet ball mill load parameter based on domain adaptation with manifold regularization[J]. CIESC Journal, 2018, 69(3): 1244-1251.)
[19]
卞则康, 王士同. 基于相似度学习的多源迁移算法[J]. 控制与决策, 2017, 32(11): 1941-1948.
(Bian Z K, Wang S T. Similarity-learning based multi-source transfer learning algorithm[J]. Control and Decision, 2017, 32(11): 1941-1948.)
[20]
任丽红, 赵丽芳. B/S模式下博物馆馆藏数据库管理系统设计[J]. 现代电子技术, 2019, 42(15): 157-159.
(Ren L H, Zhao L F. Design of database management system for cultural relics collected in museum under B/S mode[J]. Modern Electronics Technique, 2019, 42(15): 157-159.)
[21]
范晓建, 田建艳, 杨英波, 等. 基于改进D-S证据理论的滚抛磨块融合决策模型[J]. 表面技术, 2021, 50(4): 393-401.
(Fan X J, Tian J Y, Yang Y B, et al. Fusion decision model of tumbling chip abrasives based on improved D-S evidence theory[J]. Surface Technology, 2021, 50(4): 393-401.)
[22]
王争强, 李文戈, 杜旭, 等. 激光熔覆技术在轴类零件再制造过程中的应用现状[J]. 机械工程材料, 2020, 44(11): 35-40.
(Wang Z Q, Li W G, Du X, et al. Applications of laser cladding technique in remanufacturing of shaft parts[J]. Materials for Mechanical Engineering, 2020, 44(11): 35-40.)
[23]
Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359.
[24]
Niu S T, Liu Y X, Wang J, et al. A decade survey of transfer learning (2010-2020)[J]. IEEE Transactions on Artificial Intelligence, 2020, 1(2): 151-166.