基于CNN与Transformer相结合的工业零件缺陷检测

在工业生产过程中,零件会存在裂痕、污渍与折痕等缺陷,采用单一的神经网络很难同时学习图像的全局信息和边缘细节信息,无法实现缺陷准确的检测。因此,文中将CNN局部特征提取的优势和Transformer较强的捕获全局依赖关系的能力相结合,利用ResNet34与Swin Transformer两个分支分别对图像进行特征提取,引入注意力机制,进行空间与通道维度的注意力增强,并拼接得到特征融合的输出,实现全局信息与局部信息的融合。最终,解码在UNet结构的基础上采用多尺度跳步连接,通过上采样、拼接和逐像素分类等操作,得到最终的语义分割结果,且分割结果图清晰地展示了图像中的缺陷位置,实现了对工业零件的缺陷检测。通过对比实验证明,所提算法在工业生产零件MVTecAD数据集上的IoU结果远好于其他的语义分割算法,并且分割结果图与样本图像的标签结果十分吻合,充分验证了所提算法的有效性与实用性。

资料为PDF文档格式.

本文档关键词:零件,缺陷,相结合,CNN,Transformer