0 引言

图像分割可以为各种任务提供有价值的信息, 例如缺陷检测、性能预测. 然而, 由于图像之间感兴趣区域的外观、形状和位置的固有可变性以及成像设备和采集协议的差异, 实现准确的分割具有挑战性, 针对特定问题手动设计合理的模型是一项极具依赖专业知识且在试错的过程中极其耗时的任务^[1-2].

迫切需求自动设计网络模型的方法促使了神经架构搜索(NAS)技术的发展, 其目标是自动生成强大且性能良好的CNN架构, 将其制定为优化问题, 然后通过精心设计的优化算法加以解决^[3-4]. 结合研究问题的特点, 基于种群的ENAS优化算法适用于解决以上提到的问题, 该算法中每个个体都对网络的架构组件进行编码, 并且只有最适合的成员才能生存和增殖. 特别地, 基于进化计算的NAS算法(ENAS)^[5-6]通常是全自动的, 它们可以在没有任何人为介入的情况下实现神经架构搜索.

在过去的几年里, ENAS算法由于其高鲁棒性、卓越的性能和完全自动设计神经网络架构的能力引起了人们极大的关注^{[5, 7]}. 在ENAS中, 提升准确率和降低资源消耗一直是要突破的难题. 对于多个互相冲突的优化问题, 多目标进化算法^[8-9]已被成功应用. 在已有的多目标进化网络架构算法中, 适用于分割应用的研究还是稀缺的, 而存在的大量分类应用研究并不适合直接应用到分割问题上^[10]. 在已有的多目标进化获取分割预测模型的研究中, Baldeon-Calisto等^[11]在超参数构建的搜索空间上, 解决最大化预期的分割准确率和最小化网络中的参数数量两个目标优化问题, 提出了以具有固定均衡参数$ \theta $的PBI多目标优化方法为核心的MEA算法. 随后, 在MEA算法的前提下提出了自适应2D-3D FCN结构, 并在搜索空间上执行最小化自定义损失函数和最小化参数量两个目标任务^[12]. Bosma等^[13]提出了Mixed-Block神经架构搜索, 使用交叉验证的验证Dice分数平均值作为性能评估器实现了单目标优化网络结构. 文献中研究的问题都具有自身的特殊性, 提出的网络架构是完全切合实际问题的, 在优化过程中考虑的目标多数是单目标或者双目标.

在上述观察的激励下, 本文提出一种用于图像分割的自适应多目标进化卷积神经结构搜索(AdaMo-ECNAS)方法. 不同的是, 所提出方法用一个三目标函数表述CNN架构的构建问题, 即最大化分割性能指标$ F_1 $-score、最小化网络计算消耗和最小化充分训练潜力指标, 并进一步应用基于PBI的多目标进化算法解决该问题. 特别地, 在基于PBI多目标算法中更好地利用种群信息, 使其自适应更新参数$ \theta $, 自适应参数在实际应用中的鲁棒性会更好. 通过对DTLZ1和IMOP5问题的数值实验验证了其基于PBI的多目标进化中自适应参数的有效性, 分别在钢铁数据集和视网膜血管数据集上执行提出的AdaMo-ECNAS算法并获得了理想的实验结果.

1 基于分解的多目标进化NAS问题 1.1 问题描述

多目标进化算法对于进化卷积神经架构的搜索是非常重要的, 这是因为多目标限制其种群更新可以更好地反映个体的多种性能, 在保证其进化个体性能的同时减轻计算负担.

1.2 问题模型 1.2.1 基于进化计算的NAS

基于进化计算的NAS (ENAS)^{[3, 6]}算法是一种利用进化计算自动设计神经架构的技术. 特别地, 进化计算是一类基于种群的计算范式, 模拟自然界中物种的进化或种群的行为来解决具有挑战性的优化问题, 具有对局部最小值不敏感和不需要梯度信息的良好特性. 在进化过程中, 不断地对获得的网络模型进行评估, 围绕所研究实际问题的目的将优化问题归纳为单目标^{[5, 14]}或多目标^[15-16]的形式.

1.2.2 多目标优化问题

具有m个目标函数的多目标优化问题(MOP)描述为

$ \begin{align} &\min\limits_{x}\; F(x)={({f_1}(x), {f_2}(x), \ldots, {f_m}(x))^{\rm T}};\\ &{\rm{\; s.t.}}\; x\in\varOmega. \end{align} $

(1)

其中: $ {f_i}(x) $为第i个目标函数, $ F(x) $为由m个实值目标函数形成的向量, $ \varOmega $为决策空间.

1.2.3 基于PBI的多目标优化方法

PBI方法定义如下:

$ \begin{align} &\min\; {g^{\rm pbi}}(x|\lambda , {z^ * }) = {d_1} + \theta {d_2};\\ &{\rm{\; s.t.}}\; {d_1} = \frac{{\| {{{({z^ * } - F(x))}^{\rm T}}\lambda } \|}}{{\| \lambda \|}}, \\ &\; \; \; \; \; \; \; {d_2} = \Big\| {F(x) - \Big({z^ * } + \frac{{{d_1}\lambda }}{{\| \lambda\|}}\Big)} \Big\|. \end{align} $

(2)

其中: x为决策向量, $ {z^*}\!=\!\min\{{f_i}(x)|x\in\varOmega\}(i\in\{1, 2, \ldots, m\}) $为参考点, $ \lambda=\Big\{{({\lambda_1}, {\lambda_2}, \ldots, {\lambda_m})^{\rm T}}|{\lambda_i}\geqslant0, i=1, \cdots, m, \; \sum\limits_{i=1}^m {{\lambda_i}}=1\Big\} $为权重向量. 这里计算了两个距离$ {d_1} $和$ {d_2} $, 分别控制种群的分布性和收敛性, 可通过调节参数$ \theta $平衡两者的关系.

1.3 基于PBI自适应多目标优化NAS的分割问题

研究分割问题的根本是保证分割性能的提高, 通常将$ F_1 $-score提高作为图像分割的评价目标函数. 一般来说, $ F_1 $-score高的模型表明该模型具有较好的分割能力, 有

$ \begin{align} \min\; {f_1}(x) = 1 - \frac{{2 \times {\rm TP}}}{{2 \times {\rm TP} + {\rm FP}+ {\rm FN}}}. \end{align} $

(3)

为了衡量计算成本, 采用FLOPs作为评价目标函数, 一个FLOPs较小的模型意味着它消耗的存储和计算资源较少, 有

$ \begin{align} \min {f_2}(x) = {\rm{FLOPs}}. \end{align} $

(4)

要发现一个非充分训练的模型在推理中是有效的, 具体而言, 一个个体在没有充分训练的情况下有一定的指标表现是非常有希望的, 有

$ \begin{align} \min\; {f_3}(x)=\frac{{E - {e_{\max }}}}{E}. \end{align} $

(5)

其中: E为候选架构训练的最大epochs值, $ {{e_{\max }}} $为达到最大验证$ F_1 $-score的epochs值. 当$ {f_3}(x) $接近0时, 意味着它是一个非完全训练模型, 否则意味着它是一个完全训练的模型, 没有被深入开发的潜力.

综上所述, 提出一个三目标优化问题, 采用多目标进化方法获得具有鲁棒性的模型, 克服单一目标不能完全保证其结果鲁棒性的缺点. 首先, 在有限的epochs训练下, $ F_1 $-score不能绝对代表所得模型的性能, 这是由优化过程中梯度变化限制的; 其次, 即使计算成本很低, 模型泛化能力也不能完全保证, 因为欠拟合和过拟合都是较常见的问题; 最后, 在有无充分训练的情况下获得的最佳$ F_1 $-score可以表明该模型是否有进一步发展的潜力. 因此, 三者之间的相互制约可以更科学地保证进化出的模型的稳健性.

就基于PBI的多目标优化方法而言, 已知具有自适应惩罚参数$ \theta $的PBI方法表现良好. 受文献[17]的启发, 给出考虑种群信息的自适应参数

$ \begin{align} \theta = \frac{1}{N} \sum\limits_{i = 1}^N { \sum\limits_{j = 1}^N {\Big( {\frac{{{\lambda ^j} \cdot {F^i}}}{{\| {{F^i}}\|}}} \Big)} }, \end{align} $

(6)

其中$ \theta $取决于特定问题的数据. 相比其他方法而言, 式(6)是更加简洁粗略的表达形式, 既不需要依赖经验设定惩罚参数$ \theta $, 也不需要理解极具理论性的自适应参数方式. 总之, 此自适应参数可以保持设置固定参数时算法程序简洁性的同时提升算法的有效性.

2 自适应多目标进化NAS算法

针对图像分割的自适应多目标进化卷积神经架构搜索问题, 提出自适应多目标进化NAS算法(AdaMo-ECNAS)进行求解.

2.1 算法回顾

构建的网络结构对特定图像数据集的适应过程被建模为一个多目标优化问题, 其基本思想是通过权衡多个目标进化种群, 具体算法流程见算法1. 更多细节在下节阐述. 构建一个三目标优化问题, 考虑$ F_1 $-score、模型大小和深化训练潜力, 通过多目标优化进化出具有优良个体的种群. 首先, 随机产生由N个个体组成的种群P, 同时产生一组均匀分布的权重向量; 然后, 对给定的数据集进行评估, 为种群P中的每个个体分配目标值; 接着, 从邻域中随机选择一对解, 并将其作为父代繁殖后代, 所有被评估的后代都将被基于PBI的目标函数所选择; 最后, 在满足最大代数的情况下, 产生具有优良个体的种群. AdaMo-ECNAS总体框架如图 1所示.

算法1   AdaMo-ECNAS算法框架.

输入: 种群大小N, 邻近区域权重个数T, 最大代数G, 目标数M;

输出: 生成种群P.

1. $ {P_{{0}}} \leftarrow $随机生成初始种群$ \{ x_0^1, x_0^2, \ldots, x_0^N\} $, 生成个体评估指标$ \{F_0^1, \ldots, F_0^N\} $, $ F_0^i = [{f_1}(x_0^i), \ldots, {f_M}(x_0^i)] $, 索引$ \{{\rm key}_0^1, {\rm key}_0^2, \ldots, {\rm key}_0^N\} $, $ P_0^i = \{{\rm key}_0^i:x_0^i, F_0^i\} $, $ {P_0}=\{P_0^1, P_0^2, \ldots, P_0^N\} $.

2) $ P \leftarrow {\rm{ }}{P_0} $.

3) for g in range (1, G):

4)    $ {z^ * } \leftarrow $参考点$ {z^ * } = \{ z_1^ *, \ldots, z_M^ * \} $, 其中$ z_m^ * =\min\{ {f_m}({x^1}), \ldots, {f_m}({x^N})\} $, $ m \in \{ 1, 2, \ldots, M\} $.

5)    $ \lambda \leftarrow $均匀分布的权重向量$ \lambda = \{ {\lambda ^1}, {\lambda ^2}, \ldots, {\lambda ^N}\} $, 其中$ {\lambda ^i} = {\rm{ }}\{ \lambda _1^i, \lambda _2^i, \ldots, \lambda _M^i\} $, $ i \in \{ {1, 2, \ldots, {\rm{ }}N}\} $.

6)    $ B{\rm{ }} \leftarrow $定义$ {\lambda ^i} $的T个邻域权重向量$ [\lambda _{\rm{1}}^i, \ldots, $ $ \lambda _T^i] $, 其索引集为$ B(i) = \{ i1, \ldots, iT\} $, 根据欧氏空间距离的方式测量其邻域.

7)    $ \theta \leftarrow $更新参数$ \theta = \dfrac{1}{N} \sum\limits_{i = 1}^N { \sum\limits_{j = 1}^N {\Big( {\dfrac{{{\lambda ^j} \cdot {F^i}}}{{\| {{F^i}}\|}}} \Big)}} $

8)   for i range (N):

9)       $ x_g^k, x_g^l \leftarrow $在对应领域的索引集B上任意选择两个索引号k和l作为父代个体.

10)       $ x_g^{y1}, x_g^{y2} \leftarrow $将父代个体$ x_g^k $和$ x_g^l $进行多点交叉和每代固定概率$ {p_m}(g) = 1/g $变异产生两个新的个体.

11)       $ p_g^{y1}, p_g^{y2}\leftarrow $评估生成个体$ F_g^{y1} $、$ F_g^{y2} $的适配值, $ p_g^{y1} = \{{\rm key}_g^{y1}:x_g^{y1}, F_g^{y1}\} $, $ p_g^{y2} = \{ {\rm key}_g^{y2}:x_g^{y2}, F_g^{y2}\} $.

12)       $ {z^ * } \leftarrow $更新$ {z^ * } $.

13)       $ x_g^y \leftarrow $如果$ p_g^{y1} $支配$ p_g^{y2} $, 则$ p_g^y = p_g^{y1} $; 否则, $ p_g^y = {\rm{ }}p_g^{y2} $.

14)       $ P \leftarrow $对于任何索引$ j \in B(i) $, 根据式(2), 若$ {g^{\rm pbi}}(x_g^y|{\lambda ^j}, {z^ * }) < {g^{\rm pbi}}(x_g^j|{\lambda ^j}, {z^ * }) $则将$ p_g^j $替换为$ p_g^y $.

15)    end

16) end

17) return P

2.2 编码解码策略

在卷积神经网络架构搜索过程中, 每个网络架构和超参数都可以被编码为一个个体. 相应地, 进化过程中产生的新个体也可以被解码为相应的网络架构. 架构骨架在图 1中给出, 用于构建个体每个基因的候选值分别为: 激活函数(ReLU, ELU, Softplus, Hardsigmiod, LeakyReLU); 优化函数(RMSprop, Adam, SGD, Adagrad, Adadelta, Adamax, AdamW); 学习率(0.0001, 0.001, 0.01, 0.1, 1.0), 核初始化方式(xavier_uniform, xavier_normal, uniform, kaiming_uniform, kaiming_normal, normal), 卷积网络预处理特征(Yes, No); 层数(3, 4, 5, 6);滤波(Yes, No)和卷积核1-6 (1×1, 3×3, 5×5, 7×7).

2.3 交叉变异策略

引入多点交叉重新组合来自选定亲本的基因类型, 其中交叉点数量和位置随机选择. 突变算子以一定概率应用于决策向量的随机位置. 在搜索开始时设置一个高的突变概率, 以保证种群多样化. 这允许算法探索搜索空间的不同区域, 避免过早地收敛到低质量区域. 随着代数的增加, 变异概率逐渐降低, 以允许更快的收敛. 每一代g的突变概率为$ {p_m}(g) = 1/g $.

2.4 进化过程和选择策略

首先, 随机产生一个初始种群, 并对其初始种群中的个体适配度进行评估; 然后, 整个种群在搜索空间内开始进化过程. 主要步骤如下: 1)计算参考点$ {z^ * } $; 2)随机生成均匀分布的权重向量$ \lambda $; 3)根据权重向量之间的欧氏距离选择每个权重向量的相邻权重向量; 4)根据整个种群和权重向量给出基于PBI的平衡参数$ \theta $; 5)对种群中每个个体的邻域都进行一次随机选择一对个体, 通过交叉变异策略产生新的两个个体, 选出具有非支配的个体, 并用基于PBI的多目标函数进行个体筛选, 更新种群. 种群在每次迭代中都要经历上述进化过程, 直到满足停止标准. 具体过程已在算法1中描述.

3 实验结果 3.1 实验环境与参数设置

所提出的AdaMo-ECNAS算法在PyTorch中实现, 所有实验均在单个NVIDIA Tesla T4上进行, CUDA版本为10.2.

考虑计算成本, 种群大小N和最大代数G分别被经验性地设定为20和10, 批量大小设定为1. 在进化过程中, 训练过程的epochs设定为80. 进化搜索后的最佳架构的微调在900 epochs中进行.

钢铁数据集包含300张图片, 其中250张图片作为训练集, 50张图片作为测试集. 视网膜数据集CHASE_DB1有来自两位专家的不同注释, 但只有第1位专家的注释被用作图像数据标签, 其中前20张图片用于训练, 其余8张图片用作测试集. 本文用0.8和0.2的比例将原始训练集分为训练集和验证集. 比较分割预测模型能力时, 所使用的5个评价指标分别为准确率(Acc)、灵敏度(Sen)、$ F_1 $-score、计算浮点(FLOPs)和参数量(params).

3.2 基准测试问题

为了更直观地验证所提出基于自适应PBI的多目标优化算法的有效性, 对多目标优化测试函数进行数值实验. 基于自适应PBI的优化方法(AdaMo)在问题DTLZ 1和IMOP 5上进行测试, 测试问题DTLZ 1具有规则的Pareto前沿形状, 而问题IMOP 5具有不连续的Pareto前沿形状.

从图 2中可以看出, 所提出方法得到的解集具有良好的分布性和收敛性. 具体而言, 自适应均衡参数$ \theta $在执行三目标的DTLZ 1和IMOP 5问题时优于固定均衡参数的方法; 在处理DTLZ 1问题时所提出方法与$ \theta=5 $实验结果相似且是最优结果; 在处理IMOP 5问题时所提出方法与$ \theta=0.5 $实验结果相似, 且所提出方法优于固定均衡参数$ (\theta=0.5, 1, 5) $的结果. 对于现实问题而言, 一般不具有规则和均匀性, 且所研究的NAS问题也是不连续问题, 以上实验结果验证了所提出自适应方法更具有适应新问题的潜质.

3.3 钢铁数据集分割问题

首先研究所提出的AdaMo-ECNAS在钢铁微观结构(先共析渗碳体网状微观结构, PCNM)分割方面的性能, 目的是获得具有较低计算成本和较好分割性能的模型. 渗碳体的存在有助于UHCS的高硬度和耐磨性, 同时伴随的问题是脆性碳化物网络可能成为裂缝, 而裂缝扩展提供了裂缝起始点和途径, 降低了UHCS的韧性/延展性.预测模型的确定分两部分实现, 首先通过三目标进化种群得到最优候选者; 然后对最优个体进行深度训练, 得到具有优良预测能力的模型.

在最终的种群中, 根据PBI的三目标衡量指标筛选出最优个体, 为了进一步验证获得个体的潜力, 对相应的网络和超参数(通过解码方法获得)进行深度训练. 进化搜索后的最佳网络结构微调为900轮迭代训练, 实验结果如表 1所示.

从表 1可以看到, 进化获得的优良个体在各个指标上取得了与专业人员手动设计的模型相媲美的结果, 甚至个别指标超越一些手动设计的模型, 且模型的计算浮点(FLOPs)和参数量(params)最小. 特别地, 获得的架构参数量是极小的且其他架构的参数量是其十几倍. 这体现了多目标优化NAS具备降低计算成本的能力, 即所提出方法选出的优良个体具有在降低计算成本情况下保证其性能的特性.

图 3对分割结果的视图可视化直接展现了其分割效果, 直观地比较了不同架构的分割结果. 图像中蓝色像素表示未检测到的先共析渗碳体网状微结构, 红色像素表示错误识别的先共析渗碳体网络微结构. 可以看出, 钢铁微观图像中的微观结构具有一定的复杂性, 图中展示的3张图像特征各异, 使得精准分割图像特征增加了难度, 而所提出算法与其他算法的分割视觉对比发现其细节分割方面达到了较好的性能. 仔细观察图 3中各个方法的分割结果可以发现, 5个指标中$ F_1 $-score指标与图像视觉效果是正相关的, $ F_1 $-score是小目标检测问题最重要的指标. 对比观察图 3和表 1发现, 所提出算法的$ F_1 $-score达到了次优的水平, 该结果是可观的.

3.4 视网膜数据集分割问题

为了进一步验证所提出方法的有效性和普适性, 使用CHASE_DB1数据集进行分割性能评估. 首先验证有效性, 将AdaMo-ECNAS进化获得的最佳架构与已发表文章中报告的架构进行比较. 实验结果分为两部分: 一部分源于已发表文献, 算法在CHASE_DB1数据集上进行验证, 具体数值比较如表 2第1~第7行所示; 另一部分是对表 1中具有代表性的经典模型重新训练获得的评估指标, 具体数值比较如表 2第8~第10行所示. 为了更客观地分析实验结果, 图 4给出了视网膜的可视化分割结果.

观察表 2中准确率(Acc)、灵敏度(Sen)和$ F_1 $-score三个指标发现, 所提出方法自动设计的模型与专业人员专门手动设计的模型相比, 结果毫不逊色, 与各个指标的最优值较为接近, 即自动设计的网络架构接近于手动设计模型的分割性能. 具体而言, 表 2中$ F_1 $-score指标达到了次优水平, 浮点运算次数(FLOPs)和参数(params)都是最小的, 表明所提出算法构建的网络模型在保证分割性能的基础上, 复杂度是最低的, 参数是最少的, 即所提出算法实现了自动设计轻量化模型的目的. 另一方面, 对比表 1和表 2可以发现, 在不同数据集上取得最优$ F_1 $-score的模型是不同的. 相比而言, 所提出AdaMo-ECNAS方法具有较好的普适性. 对比观察数值指标和视觉分割结果可以更好地证实所提出方法获得的分割预测模型是具有竞争性的, 甚至超越了人工设计的网络架构的性能. 由图 4中视觉对比可以看出, 所提出算法与不同算法的视觉比较中其细节信息的保留效果是略优的, 这也表明所提出算法对新实例问题的可视化分割结果的预测模型构建是可行的.

综上, 依据表 2和图 4的观察结果, 与其他现有先进方法相比, 所提出方法可以归结为具有3个方面优势: 1)通过多目标进化算法实现了网络架构的自动设计, 同时算法所设计的模型能够达到专家手动设计模型的性能水平; 2)能够在保证分割性能的基础上, 获得规模更小的网络架构模型, 从而显著降低对计算资源的需求; 3)具有一定的普适性, 能够用于不同问题的网络架构自动设计.

3.5 数据集混合实验

根据实际问题收集制作的数据集具有不同的数据集特点, 涉及不同且相似的问题设计一个万能模型值得进一步探究和分析. 本节将PCNM和CHASE_DB 1整合成一个混合数据集对其进行训练学习获得预测分割模型, 然后对模型进行测试. 表 3给出了不同测试集的各个性能指标. 由表 3可以发现, 所提出方法的自适应性优于其他方法. 在PCNM + CHASE_DB 1测试数据集上对比不同方法发现, 所提出方法在Acc、Sen和$ F_1 $-score三项指标上达到最优, 证实了方法的适用性是良好的. 为了更好地比较所提出方法对于不同来源数据的分割效果, 对PCNM测试数据集和CHASE_DB 1测试数据集的分割结果分别进行分析. 由表 3可以看出, 所提出算法对PCNM测试集的分割结果是较好的, 相比于其他方法而言获得的性能指标保持在最优或次优的水平. 相应的视觉效果如图 5所示.

下面对比AdaMo-ECNAS方法在单一数据集和混合数据集上获得的实验结果, 即PCNM测试数据集(表 1中AdaMo-ECNAS和表 3中PCNM的AdaMo-ECNAS)和CHASE_DB 1测试数据集(表 2中AdaMo-ECNAS和表 3中CHASE_DB1的AdaMo-ECNAS). 注意到, 混合数据集获得的模型在测试集上获得的性能指标更高一些, 该结果是出乎意料的. 结合数据集规模以及整合两个数据集时统一化处理的特点进一步分析不难发现, PCNM和CHASE_DB1的图像数据量规模比为300 : 28, 为了实现两个数据集共同训练模型, 将CHASE_DB 1数据集处理为与PCNM相同属性的图像数据集. 以上两点表明, 在混合数据集中PCNM数据集是更占优势的, 在混合数据集中占小比例的CHASE_DB 1数据集的存在在某种程度上相当于在训练模型时添加了干扰信息, 这个干扰信息起到了提升模型鲁棒性的效果. 以上分析表明, 数据集混合实验获得的结果是合理的.

4 结论

CNN已广泛应用于人工智能, 然而手动设计适合实际问题的架构是一项繁琐的任务, 因此阻碍了其发展.受神经架构搜索和多目标优化的启发, 提出了AdaMo-ECNAS方法用于进化CNNs模型, 采用三目标优化范式, 以最大限度地提高预测分割的$ F_1 $-score, 最小化计算成本, 并最大限度地提高额外的训练潜力. 特别地, 通过基于自适应PBI的方法在较小的epochs运行中发现一组具有综合性能的优良个体, 为根据实际情况选择满意的个体提供灵活性. 在钢铁微观结构数据集、视网膜数据集以及两者混合数据集上进行实验以表明AdaMo-ECNAS的有效性. 实验结果表明, AdaMo-ECNAS能够获得具有较好综合性能指标的个体. 通过将AdaMo-ECNAS与其他方法进行比较, 进一步验证了所提出方法的优越性.