基于改进DCGAN的汽车冷凝器图像生成方法

1 引言

冷凝器是汽车中非常重要一种部件，在工业制造过程中，质量控制是及其重要的组成部分.目前，我国大部分生产线中的缺陷检测都是通过人工进行质量控制，人工检测存在抽检率低、准确性不高、实时性差和效率低等弊端.同时，某些情况下会受到工人主观的影响，导致标准难以统一.

随着大数据时代的到来和GPU算力的增强，以深度卷积神经网络(Deep Convolutional Neural Net-work,CNN)为代表的深度学习缺陷检测方法越来越受到人们的关注[1].刘梦溪[2]等人使用稀疏深度置信网络用于焊缝的缺陷检测中，达到了90%以上的识别准确率，表明了深度学习在缺陷检测中可以获得良好的检测结果.但是，训练深度神经网络模型需要大量的样本，而在实际的工业生产过程中，汽车冷凝器的良品率较高，缺陷样本不够充分，使用小样本数据训练神经网络模型会出现过拟合问题，很难最优化所有的卷积层参数，导致模型的性能和泛化能力差.为了解决缺陷样本不足的问题，从2014年GoodFellow提出生成对抗网络[3](Generative Adversarial Networks，GAN)开始，更多的研究者关注基于生成对抗网络的图像生成方式[4].Radford使用卷积神经网络实现了判别器和生成器，提出了无监督深度卷积生成对抗网络DCGAN[5]，其通过卷积层强大的特征提取能力来提高生成图像的效果.2018年GoodFellow等将self-attention机制[6]引入GAN，提出了自注意力生成对抗网络SAGAN[7]，很好地解决了图像的长距离依赖性问题.此外，也有学者将半监督学习和生成对抗网络相结合.Augustus[8]在DCGAN的基础上进行了半监督分类训练并取得了良好的分类和生成效果.

为了解决汽车冷凝器缺陷图像少、且类别不均匀的问题，本文借鉴半监督学习和DCGAN的相关研究成果，提出了一种基于半监督自注意力机制的深度卷积生成对抗网络模型(Semi-Supervised Generative Adversarial Network based on Self-Attention Network，SS-SAGAN).该模型将自注意力机制引入DCGAN生成器和判别器中，使得网络能学习全局特征之间的依赖关系，以生成质量更好的图像；根据半监督学习的特点，在无监督的判别器中引入一个缺陷的监督分类器，并将损失函数修改为带分类器交叉熵的Wasserstein距离，使模型能够平稳且快速地收敛；通过条件归一化和特征标签映射的方式，使得模型能够按照缺陷类别生成图像，提高了图像生成结果的多样性.

2 基于生成对抗网络的SS-SAGAN模型

2.1 模型的整体架构

生成对抗网络是目前生成模型中最好的一种，主要由生成器(G)和判别器(D)两部分构成.受博弈论中零和博弈思想的启发，生成器的主要目的是生成近似真实的样本去骗过判别器，而判别器的目标是尽可能地去区分真实样本和生成的样本，两者之间通过不断对抗训练来提高各自的能力，最终达到一个纳什均衡的状态，即判别器只有50%的几率判断正确样本是真是假.

传统的生成对抗网络在图像的生成质量和多样性上均存在问题.因此本文模型在深度卷积生成对抗网络的基础上进行改进，模型总体架构如图1所示.生成器的输入为一组随机噪声和标签，标签用于生成器网络参数的条件归一化，最终的输出为一组指定标签类别的汽车冷凝器缺陷图像.而判别器的输入为一组生成的冷凝器样本和一组真实的冷凝器样本，同时通过半监督训练的方式，在无监督的判别器中加入一个监督辅助分类器，使得判别器的输出为输入样本的类别(C1…Cn)和真假(1或0).最终，通过改进的损失函数不断迭代来优化判别器和生成器，使得生成器能够生成高质量且缺陷类别多样的汽车冷凝器图像.

图1 模型的整体架构
Fig.1 Model architecture

2.2 引入自注意力机制

传统的深度卷积神经网络在生成多类别的图像时，因为固定尺寸的卷积核感受野的大小有限，在训练时往往只能关注于图像的局部信息而不能将图像不同位置的信息建立联系，因此传统的GAN模型能很容易的学习到纹理特征，而在生成包含某些复杂的几何形状图像的细节处效果差.因此，我们将自注意力机制(Self-Attention)加入本文模型中，从而更好地学习到全局特征之间的依赖关系.自注意力模块如图2所示.

图2 自注意力模块
Fig.2 Self-Attention module

其中，来自前一个隐层的特征图x通过三个1×1的卷积，被转换到特征空间f(x),g(x),h(x).然后，将f(x)的转置与g(x)相乘，再经过SoftMax函数归一化得到注意力特征图βj,i如式(1)所示：

(1)

将注意力特征图与h(x)相乘之后通过1×1的卷积得到全局特征图oj，如式(2)所示：

h(xi)=Whxi,v(xi)=Wvxi

(2)

式中，Wh和Wv均为卷积层的权重矩阵.最后，进一步将注意力层的输出乘以一个比例参数，并加上一开始输入的特征图得为注意力模块的输出yi，如式(3)所示：

yi=γoi+xi

(3)

式中，γ初始化为0，这使得网络首先关注于特征的域信息，随后分配权重给长距离的特征信息上，完成了局部和全局任意位置之间的信息计算.

2.3 引入条件归一化

批归一化[9](Batch-Normalization,BN)是一种数据归一化方法，广泛使用在大多数神经网络结构中.通过在卷积层之后加入BN能够加快模型的收敛速度并使训练更加稳定，避免梯度爆炸或者梯度消失.其计算方式如式(4)所示：

(4)

式中，γ和β是可以学习的网络参数，通过反向传播更新.

生成对抗网络是无监督模型，无法控制生成的样本类别.在此基础上，CGAN[10]提供了一种将图像标签和随机噪声一起输入给生成器而生成特定类别图像的方法.但是对于汽车冷凝器缺陷图像而言，里面包含了不同缺陷类别的样本，使用同一个BN的参数去做归一化是不妥当的，因为会使生成的图像出现同质化的缺点.因此将条件归一化(Conditional Batch Normalization)[11]加入到本文模型中作数据归一化.条件BN的核心思想是通过嵌入层将图像的类别标签映射到多维空间后去学习对应的γ和β参数.最终使得网络训练完成后，对于不同缺陷类别的输入图像，能够对应不同的BN参数.使用条件归一化能够使得不同缺陷类别的生成图像具备独自的几何纹理特征.

2.4 SS-SAGAN生成器和判别器结构

在SS-SAGAN中，将2.2和2.3小节的方法加入到DCGAN生成器和判别器中，以解决在生成汽车冷凝器缺陷图像时，生成质量低且无法按缺陷类别生成图像的问题.本文的生成器结构如图3所示，模型的输入为大小128的向量，经过8层转置卷积来生成512×512大小的图像.在前两层加入了自注意力模块来提取特征图的全局纹理和几何特征，以生成质量更高的汽车冷凝器图像.除了在输出层使用Tanh激活函数外，其余层均使用了ReLU激活函数并加入了谱均一化、条件归一化来利用图像的类别信息来指导生成BN层的映射参数，以更好地学习到汽车冷凝器缺陷的类别信息，同时让网络的训练更稳定.

图3 本文的生成器结构
Fig.3 Improved generator structure

本文判别器模型结构如图4所示，模型的输入为一组真实或生成的汽车冷凝器样本.整个模型经过7层卷积层来充分的提取图像的特征信息，且使用谱归一化和LeakyReLU激活函数来稳定网络的训练.网络在第6、7层加入自注意力模块更好地建立全局特征之间的关系.通过半监督学习地方式，在网络通过SoftMax实现监督辅助分类器以输出缺陷图像的类别信息，同时通过嵌入层将图像的类别标签映射到多维空间，最终得到图像得分，代表了属于真实样本的概率.

图4 本文的判别器结构
Fig.4 Improved discriminator structure

2.5 改进的损失函数

GAN模型通过优化损失函数来减少真实图像和生成图像的之间的分布差异.而原始的GAN使用交叉熵作为损失函数，不适合衡量具有相交部分的分布之间的距离，会出现训练不稳定的情况，因此本模型使用wassertein距离[12]去衡量生成数据分布和真实数据分布之间的距离，同时使用梯度惩罚项[13]来替代WGAN的权重裁剪技巧，通过限制判别的梯度不超过Lipschitz常数k来构造梯度惩罚，可以使得神经网络的参数分布更均匀，理论上解决了训练不稳定的问题.模型的生成器损失函数如式(5)所示：

LG=-Ez～pz(z)[D(G(z))]

(5)

判别器的损失函数如式(6)所示：

(6)

式中，pg为生成图像分布，pdata为真实图像分布，λ为权重系数.对于判别器的监督分类器，使用交叉熵来衡量其损失函数如式(7)所示：

Lc=Ex，y～pdata(x，y)log[D(x)]

(7)

最后判别器的损失函数LD由无监督损失Lwgp和监督损失Lc组合而成，如式(8)所示：

LD=αLwgp+βLc

(8)

式中，α和β为两者的权重系数，代表了两种损失在参数更新时的重要程度.

3 实验与分析

3.1 数据集

实验数据来源于某汽车冷凝器生产线，为了保证图像的精度，使用线扫工业相机合成为高分辨率图像，随后通过裁剪得到了图像大小为512×512的汽车冷凝器缺陷训练集.训练集共有242张图像，包括缺陷图像和正常图像共4种类型，训练集说明如表1所示.

表1 汽车冷凝器图像训练集信息
Tab.1 Automobile condenser dataset information

3.2 实验环境和超参数

本文实验环境配置为：Windows10 64位操作系统，处理器Intel Core i7-8700@3.2 GHz 显卡为NVIDIA GeForce GTX 1080Ti，采用Python3.8和PyTorch 1.8训练框架.实验设置优化器为Adam[14]，生成器学习率为0.000 1，判别器学习率为0.000 4，Batch-Size为32，共计200 000次迭代.

3.3 实验结果与分析

3.3.1 训练过程

图5为基于半监督和自注意力机制的深度卷积生成对抗网络生成的样本，通过不断地迭代，生成样本全局的细节特征和局部的缺陷特征逐渐趋于真实样本.

(a)50次迭代 (b)2 000次迭代
(a)50 iteration (b)2 000 iteration

(c)20 000次迭代 (d)200 000次迭代
(c)20 000 iteration (d)200 000 iteration
图5 不同迭代次数下的生成图像
Fig.5 Generated images ofdifferent iterations

在迭代50次时，生成样本仅产生非常模糊纹理特征；当迭代2 000次后，生成样本的图像细节更加精细，但是对于部分位置出现异常且无法表现出缺陷特征；当迭代20 000次后，生成样本已学习到部分缺陷类型的特征，但是图像部分位置模糊且缺陷的细节不够精细；当迭代200 000次后，生成样本的背景和缺陷的边缘、纹理特征与真实样本基本相同，并且每张图像对应指定的类别，从左至右依次为：压伤、脏污、白斑、正常.生成样本的缺陷细节如图6所示.

(a)压伤 (b)脏污
(a)Dent (b)Dirty

(b)白斑 (d)正常
(b)White spot (d)OK
图6 生成图像细节
Fig.6 Detailed generation images

3.3.2 模型生成图像质量比较

为了评估生成模型的质量，对DCGAN、SAGAN和SS-SAGAN的生成结果进行对比实验，图7分别为各个模型的生成情况，其中DCGAN可以学习到冷凝器的背景特征，但是图像中有生成失败和模糊的地方.SAGAN能够较好地生成正常的冷凝器图像，但是无法生成带有缺陷的图像，图像结果地多样性不够.SS-SAGAN能够按照缺陷类别进行冷凝器图像的生成.

图7 三种模型的生成效果对比
Fig.7 Comparison of generation quality of three models

为了定量地评估模型效果，使用了常见的度量生成模型质量和多样性的方法Fréchet Inception Distance[15](FID)进行了实验对比.FID通过Inception网络特征层生成真实样本分布和生成样本分布，从而计算均值μx,μg和方差Σx,Σg，然后通过计算两个分布x,g之间的Fréchet距离来计算差异性，如公式(9)所示：

(9)

FID评价指标值越小，说明生成的图像越接近真实图像.FID对于模式崩溃问题更加敏感且当生成样本只有一类时，FID值很高.

本文对DCGAN、SAGAN、SS-SAGAN进行20万次迭代，每隔500次迭代生成2 000张图像，然后计算当前迭代的FID值，从图8中可以看出，本文的方法FID值下降速度和波动值均优于另外两种模型.

图8 三种模型的FID值对比
Fig.8 FID scorecomparison of three models

表2为DCGAN、SSGAN与SS-SAGAN在不同迭代次数下的模型总计生成80万张样本的FID值数据统计，结果表明本文方法的生成模型效果相比现有模型有显著提高.

表2 不同模型FID值对比
Tab.2 FID score comparison of different models

3.3.3 图像生成多样性比较

为了测试模型按照指定缺陷类别生成图像的性能，将SS-SAGAN与经典的条件生成对抗网络CGAN，ACGAN[16]进行了对比实验.实验结果如图9所示，CGAN在1600次迭代时就出现了模式崩溃的问题，除了边缘纹理外，生成器几乎没有学习到图像的特征，图像细节和缺陷的生成效果差.而ACGAN虽然能够生成图像的细节特征，但是某些图像出现模糊，并且无法生成缺陷图像，对缺陷特征不敏感.而本文的SS-SAGAN可以准确地按照缺陷类型生成压伤、脏污、白斑和正常图像，生成图像质量和多样性与真实图像几乎没有差异.本文模型通过自注意力机制能够提取小尺寸的缺陷特征信息，并根据标签进行条件归一化，更好地调整卷积层参数，在一定程度上解决了类内差异小的图像按类别生成失败的问题，提高了生成样本的多样性.

  

图9 不同模型生成多样性对比
Fig.9 Comparison of generation diversity of different models

4 结束语

针对现有生成对抗网络方法在生成汽车冷凝器缺陷图像时存在生成质量低、无法按缺陷类别生成等问题，本文提出一种基于半监督和自注意力机制的深度卷积生成对抗网络用于汽车冷凝器缺陷图像生成.模型通过引入自注意力模块提高了生成图像的细节和质量；然后，通过半监督学习对判别器进行训练，使得网络训练时能够快速稳定地收敛；最后，将条件归一化加入到生成器的卷积层中，并且将缺陷图像的标签信息融合在判别器的输出中，起到了生成指定缺陷类型图像的作用.实验结果表明，本文方法生成图像的质量和多样性超过了现有的主流模型，并且可以生成指定类别的汽车冷凝器缺陷图像，很好地解决了缺陷图像样本少且类别不平衡问题.