机械之心专栏
做者王延峰.张娅
来源上海交通大-学 MediaBrain 团队和上海人-工智能试验室机灵才气医疗团队等的钻研职员提出了一种基于配准的少样本十分检测框架 RegAD，用于学习多个十分检测任-务之中同享的公用模子啦。RegAD 无需模子参数调治，仅使用少许平时样本，就能直-接运用于新的十分检测任-务啦。
近些年来，十分检测在产-业弱点和缺点检测.医疗诊断，努力驾驶等领域有着普遍的运用啦。“十分呢”平时界说为 “平时呢” 的劈面面，即一切不吻合平时标-准的样本啦。平时来说，对比于平时，十分事情的种类是不行贫尽的，且十分有数，难以搜集，因而不该该搜集一五一十的十分样本举行训练啦。因而，近期关于十分检测的钻研主要勤奋于无监视学习，即仅运用平时样本，通过运用单种别（one-class）分类，图像重修（reconstruction），或者其余自监视学习任-务对平时样本举行建模，之后，通过识别区别于模子疏散的样一开始检测十分啦。
大大部-分现有一些十分检测办法都专注于为每逐一位十分检测任-务训练一位独自运用模子啦。可是，在诸如弱点和缺点检测之类的着实场景中，思考到要处置数百种产-业成品，为每一种成品均搜集大量训练集是不划算的啦。对此，上海交通大-学 MediaBrain 团队和上海人-工智能试验室机灵才气医疗团队等提出了一位基于配准的少样本十分检测框架，通过学习多个十分检测任-务之中同享的公用模子，无需举行模子参数调治，即可将其推行到新的十分检测任-务啦。现在，这项钻研已被 ECCV2022 吸收为 Oral 论文，一切训练代码及模子以前开源啦。
论文链接/abs/2207.07361
代码链接/MediaBrain-SJTU/RegAD
办法简介
在这项工做中，少样本十分检测公用模子的训练遭到了人类怎么样检测十分的启示啦。现实上，当尝试检测图像中的十分时，人们平时会将该检测样本与某个以前被一定为平时的样本举行对比，从而找出差异，有差异的部-分就能被以为是与十分啦。为了完成这种相似于人类的对比的历程，本文做者采用了配准技术啦。本文做者以为，关于配准网络而言，只要知道怎么样对比两个极端相似的图像，图像的现实语义就再也不主要，因而模子就更能够或者者适用于从未见过的十分检测新任-务啦。配准希奇适用于少样本十分检测，由于配准能够十分便利地举行跨种别推行，模子无需参数微调就能或者者迅速运用于新的十分检测任-务啦。
上图概述了基于配准的少样本十分检测的框架啦。与通例的十分检测办法（one-model-per-category）区别，这项工做（one-model-all-category）一最先的时刻运用多种别数据结合训练一位基于配准的十分检测公用模子啦。来源区别种别的平时图像一块用于结合训练模子，随机选择来源统一种别的两个图像做为训练对啦。在尝试时，为目的种别和每逐一位尝试样本供应了由几个平时样本组成的支持集啦。给定支持集，运用基于统计的疏散预计器预计目的种别登记特色的正态疏散啦。逾越统计正态疏散的尝试样本被视为十分啦。
这项工做采用了一位简易的配准网络，同时遵照了 Siamese [1], STN [2] 和 FYD [3]啦。详细地说，以孪生神经网络（Siamese Network）为框架，插入空-间变换网络（STN）完成特色配准啦。为了更好的鲁棒性，本文做者使用特色级的配准损失，而不-是像典型的配准办法那样逐像素配准，这能够被视为像素级配准的松懈版本啦。
试验结局
在与其余少样本十分检测办法的对比上，RegAD 岂论在检测功效.适用到新种别数据的自适适当的时刻间上，对比于基准办法 TDG [4] 和 DiffNet [5] 都有分明的优势啦。这是由于其余的办法都需要针对新的种别数据举行模子的多轮迭代更新啦。另外，RegAD 对比于有无举行多种别特色配准结合训练的版本（RegAD-L），功效也获得了分明的提升，体现出基于配准的公用十分检测模子的训练是十分有用的啦。本文在十分检测数据集 MVTec [6] 和 MPDD [7] 上举行试验啦。更多的试验结局和融化试验可遵照本论文啦。
另外，做者还展现了十分定位可视化的结局啦。能够看到，结合训练可以使得模子的十分定位变得越发准确啦。
T-SNE 的可视化也展现出，基于配准的训练可以使得同种别的平时图像特色变得越发松散，从而有益于十分数据的检出啦。
总结
这项工做主要探索了十分检测的一位拥有挑战性但适用的设置1）训练适用于一切十分检测任-务的简易模子（无需微调即可推行）呗；2）仅供应少许新种别图像（少样本）呗；3）唯一平时样本用于训练（无监视）啦。尝试探索这类设置是与十分检测走向现实大片产-业运用的主要一步啦。为了学习种别有无关系的模子，本文提出了一种基于对比的处置计划，这与盛行的基于重修或者基于单分类的办法有太大区别啦。详细采用的配准模子建设在已有一些配准计划普遍，足够遵照了现有一些突出工做 [1,2,3]，在不需要参数调治的条件下，在新的十分检测数据上获取了使人印象深刻的检测功效啦。
遵照文献
[1] Xinlei Chen and Kaiming He. Exploring simple siamese representation learning. CVPR. 2021.
[2] Max Jaderberg et. al. Spatial transformer networks. NeurIPS. 2015.
[3] Ye Zheng et. al. Focus your distribution: Coarse-to-fine non-contrastive learning for anomaly detection and localization. arXiv:2110.04538. 2021.
[4] Shelly Sheynin et. al. A hierarchical transformation-discriminating generative model for few shot anomaly detection. ICCV. 2021.
[5] Marco Rudolph et.al. Same same but differnet: Semi-supervised defect detection with normalizing flows. WACV. 2021.
[6] Paul Bergmann et. al. MVTec AD--A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection. CVPR. 2019.
[7] Stepan Jezek et. al. Deep learning-based defect detection of metal parts: evaluating current methods in complex conditions. ICUMT. 2021.
发表评论