目前最先进的目标检测能用于自动驾驶吗?这群德国人认真地做了个测评!

我爱计算机视觉 标星,更快获取CVML新技术

目标检测是自动驾驶技术的重要内容,确保上路安全,需要能够精准地检测出路面上所有目标。

这不仅要求汽车感知系统在正常的外界环境工作正常,对于极端恶劣的天气,比如下雪天,也能运行正常。

下图是在自动驾驶系统中,环境变化带来的挑战,雨、雪、雾,还有火灾现场。

随着技术的进步,大量目标检测技术被提出,不断涌出的标着state-of-the-art标签的最先进的算法能够抵御复杂的路况吗?

今天arXiv新出的论文Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming,来自德国图宾根大学和马普所的研究人员,模拟了多个不同环境、成像状况等图像被污损的场景,测评了目前最先进的目标检测算法。

以下是作者信息:

结果不出所料,图像被污损后,所有算法的检测精度都大幅下降。

下图是一个例子:

使用Faster R-CNN算法,上图中左子图把一条龙检测为鸟(现实中不会出现龙。。。作者只是举个例子),更糟糕的是,当图像被“下雪”后,竟然两个目标都检测不出了。

这就有点过分了,因为“下雪”后,人眼可是能轻而易举看出画面中的目标的。

鲁棒目标检测基准测试

作者们提出新的目标检测基准测试Robust Detection Benchmark,在现有数据集基础上,制作了三个大型图像被污损后的目标检测数据集:Pascal-C, Coco-C , Cityscapes-C。

下图为作者在前人启发下模拟的 15 种图像被污损的情形,这15种情况可以分为 noise, blur, digital, weather 4 组,而每一种情况,都模拟出了5个不同的严重等级(由轻微到严重)。

算法评测

作者评估了多个目标检测算法:

Faster R-CNN [Ren et al., 2015], 

Mask R-CNN [He et al.,2017], 

Cascade R-CNN [Cai and Vasconcelos, 2018], 

Cascade Mask R-CNN [Chen et al., 2019a], 

RetinaNet [Lin et al., 2017a],

Hybrid Task Cascade [Chen et al., 2019a]。

其中有2个算法,是上个月才被提出的state-of-the-art,可谓代表目标检测领域的顶尖水平。

文中使用的评价指标不再赘述,我们来看看结果吧。

下图中clean代码原始数据集,corrupted为被污损后的数据集,relative代表精度下降的幅度。

可见,最少下降31.1%,最大下降64.7%!

下图为使用Faster RCNN算法随着污损严重程度变化检测结果实验的折线图,可见精度是一致性的下降。

然后作者使用Faster RCNN在不同骨干网下进行了实验,发现容量更大的骨干网表现出一致性的精度更好。如下图:

神奇的风格迁移

如何提高模型抗图像污损的鲁棒性?

作者实验了使用图像风格化来增广训练数据,使用的风格化方法来自:AdaIN [Huang and Belongie, 2017](已开源)。

风格化图像示例:

是不是看起来跟现实环境差别很大,不过没关系,我们要的是疗效!

如下表格:

图中combined一行即为将原始数据和风格化后数据放在一起训练的结果。使用Faster RCNN实验。

虽然在污损鲁棒性 实验中没能达到原始图像的指标,但 风格化后图像加入训练集的检测结果却大大提高了

这对你有什么启发么?原来图像增广不能完全按照人眼看起来OK为标准,而且风格化还真有效!

开源代码

作者希望该研究能够引起更多人重视,已经开源了代码,欢迎大家提交新的图像污损方法,做更贴近真实场景的测评。

基准测试代码和数据:

https://github.com/bethgelab/robust-detection-benchmark

图像污损代码(感觉很有用,不止用于该任务):

https://github.com/bethgelab/imagecorruptions

文中用到的图像风格化算法代码:

https://github.com/bethgelab/stylize-datasets

作者基于mmdetection进行算法测试的代码:

https://github.com/bethgelab/mmdetection

论文链接:

https://arxiv.org/pdf/1907.07484v1.pdf

(在公众号对话界面回复“检测鲁棒性”,即可收到论文)

本文为CV君对论文的原创解读,目前只有不到7%的公众号还在努力原创,希望你文末点个“在看”鼓励我。

CV细分方向交流群

52CV已经建立多个CV专业交流群,包括:目标跟踪、 目标检测、语义分割、姿态估计、人脸识别检测、医学影像处理、超分辨率、神经架构搜索、GAN、强化学习等,扫码添加CV君拉你入群,

请务必注明相关方向,比如:目标检测

喜欢在QQ交流的童鞋,可以加52CV官方 QQ群805388940

(不会时时在线,如果没能及时通过验证还请见谅)

长按关注 我爱计算机视觉

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章