样本不平衡问题 | 目标检测(文后分享大量检测+分割框架)

2020 Happy New Year

《Residual Objectness for Imbalance Reduction》是2019 arXiv上的文章。样本不平衡问题感觉近期研究的论文相对较多,如:2019 AAAI GHM,2019 CVPR AP-loss, 还有2019 DR loss, 2019 IoU-balanced loss,two-stage中也有Libra RCNN,都是关注样本不平衡的问题。该论文给出了一种可行的方案,即采用学习的方法来处理样本不平衡问题。

论文地址: https://arxiv.org/abs/1908.09075

动机

之前所有处理样本不平衡问题的论文都是采用reweight或者采样的方法,并且都是基于手工调优的,例如RetinaNet需要设置FL的参数,GHM则要设置bins的数目和momentum的大小。该论文则提出了一种基于学习的方法来处理样本不平衡问题,不仅性能更好,而且能自适应不同的数据集。

模型框架

RetinaNet-Obj

作者首先引入了另一种不同于Focal Loss处理样本不平衡问题的方法,即借鉴YOLO的方法,在head部分同时引入Objectness subnet的分支,在推理的时候采用如下公式:

通过公式推导,该方法最后和FL loss的效果基本是等价的,在实验结果中基本也是相同的。

Residual Objectness

分析RetinaNet-Obj中Obj分支同样存在样本不平衡的问题,自然地想到继续采用另一个obj来处理第一个Obj的样本不平衡问题。在这里,作者引入了res-obj结构:

通过residual来修正原有的obj分数,公式如下:

注意此处其实只针对大于一定分数的obj来做(分数为正例中分数的最小值),这样就能够提高正例的分数,相当于给正例加了权重,从而解决obj中正负样本不平衡问题。具体算法如下:

实验结果

从最终结果来看,该方法迁移到不同方法上均有性能提升,在RetinaNet中有1个点的提升,和GHM相当;在YOLOV3和Faster RCNN中也有1个点的提升。如下:

检测+分割

目标检测

  1. 生成正边界框以平衡目标检测器的训练 《Generating Positive Bounding Boxes for Balanced Training of Object Detectors》WACV2020 作者团队:中东科技大学

  2. 优于BN/GN/LN和IN!谷歌提出新的归一化方法:FRN 《Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks》 作者团队:Google Research

  3. 目标检测中主动学习的自适应监督框架 BMVC 2019 Date:2019 Author:印度理工学院&东京大学---An Adaptive Supervision Framework for Active Learning in Object Detection》

  4. 用于目标检测的轻量级RetinaNet Date:20190527 Author:亚利桑那州立大学 --- 《Light-Weight RetinaNet for Object Detection》

  5. SkyNet:低功耗目标检测的冠军模型(DAC-SDC 挑战赛) 注:SkyNet超越 Tiny YOLO,YOLOv2,SSD,MobileNet等组合算法,实时运行在TX2(GPU)+ Ultra96(FPGA)上 Date:2019 Author:IBM & Inspirit IoT --- 《SkyNet: A Champion Model for DAC-SDC on Low Power Object Detection》

  6. #显著性目标检测# Contour Loss:用于显著性目标检测的边界感知学习 注:专门用于显著性目标检测的损失函数 Date:2019 Author:中山大学 ---《Contour Loss: Boundary-Aware Learning for Salient Object Segmentation》

  7. #3D目标检测# SS3D:使用IoU Loss的单目3D目标检测 Date:2019 Author:查尔姆斯理工大学 & Zenuity AB ---《Monocular 3D Object Detection and Box Fitting Trained End-to-End Using Intersection-over-Union Loss》

  8. #视频目标检测# STCA:具有时空上下文聚合的视频目标检测 注:STCA超越MANet、STSN等视频目标检测算法,但不明白为什么只在ImageNet VID数据集上进行比较呢?Date:2019 Author:华中科技大学&地平线 ---《Object Detection in Video with Spatial-temporal Context Aggregation》

  9. #基于深度学习的目标检测最新进展(2013-2019)# 注:这才是目标检测综述!40页,256篇参考文献,从2013 OverFeat到2019 NAS-FPN/CenterNet/DetNAS,涵盖检测机制、学习策略和应用方向等内容。还给出VOC/COCO数据集下的算法全面对比 Date:2019 Author:新加坡管理大学等 ---《Recent Advances in Deep Learning for Object Detection》

  10. #目标检测# 检测11000类目标:没有细粒度边界框的大规模目标检测 《Detecting 11K Classes: Large Scale Object Detection without Fine-Grained Bounding Boxes》ICCV2019 Date:2019 Author:亚马逊

  11. #(已开源)目标检测# NDFT:研究无人机图像的目标检测:深度 Nuisance Disentanglement 《Delving into Robust Object Detection from Unmanned Aerial Vehicles: A Deep Nuisance Disentanglement Approach》ICCV2019 Date:2019 Author:德克萨斯A&M大学 & 美国陆军研究实验室

  12. #3D目标检测# Fast Point R-CNN 注:在 KITTI 上 mAP SOTA,速度可达 15 FPS !Date:2019 Author:港中文&腾讯优图 ---《Fast Point R-CNN》

  13. C-RPN:通过RPN的级联结构改进目标检测 《C-RPNs: Promoting Object Detection in real world via a Cascade Structure of Region Proposal Networks》 注:解决样本不均衡问题/hard example mining Date:2019 Author:北京大学&鹏城实验室

  14. 交通标志检测系统的深度神经网络评估 《Evaluation of deep neural networks for traffic sign detection systems 》 注:本文比较各目标检测算法在交通标志检测和识别任务中的综合性能。一共比较了8种模型(Faster R-CNN, R-FCN, SSD和 YOLO V2)),用5项指标(mAP/FPS/参数/内存/FLOPS)进行评价 Date:2019 Author:塞维利亚大学等

  15. 面向高分辨率的显著性目标检测 ICCV2019 注:开源一个高分辨率显著性目标检测数据集:HRSOD Date:2019 Author:大连理工大学&Adobe---《Towards High-Resolution Salient Object Detection》

  16. #3D目标检测# CBGS:类均衡的分组和采样,用于点云三维物体检测的 《Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection》 Date:2019 Author:旷视&中科院&清华

  17. 通过特征重新加权进行Few-shot目标检测 《Few-shot Object Detection via Feature Reweighting》ICCV2019 Date:2019 Author:新加坡国立大学&加州大学伯克利分校

  18. SCRDet:检测小型和旋转的物体 《SCRDet: Towards More Robust Detection for Small, Cluttered and Rotated Objects》ICCV2019 注:在DOTA数据集上,性能优于RRPN和R2CNN等算法 Date:2019 Author:中科院&国科大&上交

  19. #3D目标检测# CBGS:类均衡的分组和采样,用于点云三维物体检测的 《Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection》 Date:2019 Author:旷视&中科院&清华

  20. #视频目标检测# RDN:关系蒸馏网络,用于视频目标检测 《Relation Distillation Networks for Video Object Detection》ICCV2019 注:RDN 在 VID数据集上,81.8% and 83.2% mAP with ResNet-101 and ResNeXt-101 Date:2019 Author:中科大&京东 AI 研究院

  21. #FisheyeMODNet#:用于自主驾驶的环视摄像机上的运动物体检测 《FisheyeMODNet: Moving Object detection on Surround-view Cameras for Autonomous Driving》ICCV 2019 Workshop Date:2019 Author:法雷奥等

  22. #3D目标检测# StarNet:点云中目标检测的目标计算 《StarNet: Targeted Computation for Object Detection in Point Clouds》 注:性能优于VoxelNet、SECOND和PointPillars等算法 Date:2019 Author:Google Brain & Waym

  23. TTFNet:用于实时目标检测的训练时间友好网络 《Training-Time-Friendly Network for Real-Time Object Detection》 Date:2019 Author:浙江大学&飞步科技

  24. FreeAnchor:Anchors 匹配进行目标检测 《FreeAnchor: Learning to Match Anchors for Visual Object Detection》NeurIPS 2019 Date:2019 Author:中国科学院大学&厦门大学&鹏城实验室

  25. SSSDET:用于航拍图像中车辆检测的网络 《SSSDET: Simple Short and Shallow Network for Resource Efficient Vehicle Detection in Aerial Scenes》ICIP 2019 Date:2019

语义分割

  1. 对语义分割模型的稳健性进行基准测试 Date:2019 Author:海德堡大学 ---《Benchmarking the Robustness of Semantic Segmentation Models》

  2. #视频目标分割# RANet:快速视频目标分割的排序注意网络ICCV 2019 注:RANet 性能优于 FAVOS、FEELVOS等算法,速度可达30FPS!在 DAVIS_16 数据集上表现 SOTA。Date:2019 Author:悉尼大学&IIAI&西安交大&南开--- 《RANet: Ranking Attention Network for Fast Video Object Segmentation》

  3. #实例分割# InstaBoost:通过概率图引导"复制粘贴"来提升实例分割性能 ICCV 2019 注:不做其他修改的情况下,将R101-Mask R-CNN的35.7 mAP 提升至 37.9 mAP Date:2019 Author:上海交通大学 -- 《InstaBoost: Boosting Instance Segmentation via Probability Map Guided Copy-Pasting》

  4. #点云语义分割# 综述:点云语义分割 《A Review of Point Cloud Semantic Segmentation》 Date:2019

  5. KSAC:Kernel共享Atrous卷积,用于语义分割 《See More Than Once -- Kernel-Sharing Atrous Convolution for Semantic Segmentation》 注:KSAC相对于ASPP,提高 mIoU的性能更强!Date:2019 Author:悉尼科技大学&华东师范大学

  6. CBS:基于类的样式,具有语义分割的实时局部风格转换 《Class-Based Styling: Real-time Localized Style Transfer with Semantic Segmentation》 Date:2019 Author:不列颠哥伦比亚大学

  7. MTN:通过掩模迁移网络实现快速视频对象分割 《Fast Video Object Segmentation via Mask Transfer Network》 注:在DAVIS数据集上,速度高达 37 FPS!性能 SOTA!Date:2019 Author:新加坡国立大学&山东省人工智能学会

  8. SPGNet:场景分割的语义预测指南 《SPGNet: Semantic Prediction Guidance for Scene Parsing》 Date:2019 Author:伊利诺伊大学厄巴纳-香槟分校 & IBM研究院等

  9. #全景分割# 用于全景分割的模块化方法:生成器评估器 - 选择器网络 《Generator evaluator-selector net: a modular approach for panoptic segmentation》 Date:2019 Author:多伦多大学&哈佛大学

  10. Gated-SCNN:用于语义分割的Gated形状CNN 《Gated-SCNN: Gated Shape CNNs for Semantic Segmentation》ICCV2019 注:Amusi 认为Gated-SCNN是目前最强的语义分割算法之一,在Cityscapes数据集上test mIoU 82.8%(not use coarse data),超越DeepLabv3+和AutoDeepLab等算法。Date:2019

  11. #3D语义分割# LU-Net:三维LiDAR点云语义分割的高效网络,基于端到端学习的3D特征和U-Net 《LU-Net: An Efficient Network for 3D LiDAR Point Cloud Semantic Segmentation Based on End-to-End-Learned 3D Features and U-Net》 注:在 KITTI 表现 SOTA!速度可达 24 FPS!Date:2019

  12. #视频目标分割# COSNet:使用联合注意孪生网络进行无监督视频对象分割 《See More, Know More: Unsupervised Video Object Segmentation with Co-Attention Siamese Networks》CVPR 2019 Author:IIAI & 上交

  13. #实例分割# SSAP:具有Affinity金字塔的Single-Shot实例分割 《SSAP: Single-Shot Instance Segmentation With Affinity Pyramid》 ICCV2019 Date:2019 Author:中科院&国科大&地平线等

  14. #3D语义分割# PASS3D:3D点云的精确和加速语义分割 《PASS3D: Precise and Accelerated Semantic Segmentation for 3D Point Cloud》IROS-2019 Date:2019 Author:浙江大学

  15. #NAS# #语义分割# GAS:图引导架构搜索的实时语义分割 《Graph-guided Architecture Search for Real-time Semantic Segmentation》 注:性能优于BiSeNet、ICNet等实时语义分割算法,73.3% mIoU with speed of 102 FPS on Titan Xp Author:商汤&浙大

  16. #医学图像分割# SegNAS3D:3D图像分割的网络架构搜索 《SegNAS3D: Network Architecture Search with Derivative-Free Global Optimization for 3D Image Segmentation》MICCAI 2019 Author:IBM Research

  17. DGCNet:用于语义分割的双图卷积网络 《Dual Graph Convolutional Network for Semantic Segmentation》BMVC 2019 注:在 Cityscapes和Pascal Context上,表现 SOTA!Author:牛津大学&北京大学&DeepMotion

  18. 用于实时语义分割的特征金字塔编码网络 《Feature Pyramid Encoding Network for Real-time Semantic Segmentation》BMVC 2019 注:68.0% mIoU,0.4M,102 FPS(TITANV) Author:曼彻斯特大学

  19. DS-PASS:通过SwaftNet进行细节敏感的全景语义分割,以用于周围感知 《DS-PASS: Detail-Sensitive Panoramic Annular Semantic Segmentation through SwaftNet for Surrounding Sensing》 Author:浙大&卡尔斯鲁厄理工学院

  20. MinneApple:用于苹果检测和分割的基准数据集 《MinneApple: A Benchmark Dataset for Apple Detection and Segmentation》 注:数据集和代码已经开源!Author:明尼苏达大学

  21. OCR:用于语义分割的目标上下文表示 《Object-Contextual Representations for Semantic Segmentation》 注:在Cityscapes, ADE20K, PASCAL-Context上表现SOTA!其中在Cityscapes test上可达83.0,排名第二!Author:MSRA&中科院&国科大

  22. #医学图像分割# RAUNet:用于白内障手术器械语义分割的残差注意力U-Net 《RAUNet: Residual Attention U-Net for Semantic Segmentation of Cataract Surgical Instruments》ICONIP2019 Author:国科大&中科院等

  23. 点云语义分割的分层点-边交互网络 《Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation》ICCV 2019 注:性能优于PointNet++和PointConv等算法 Author:港中文&腾讯优图

  24. #语义分割# ACFNet:用于语义分割的注意类特征网络 《ACFNet: Attentional Class Feature Network for Semantic Segmentation》ICCV 2019 注:在Cityscapes数据集上 81.85% mIoU,优于DenseASPP、PSANet等算法 Author:中科院&国科大&百度

今天就简单分享这些,后期我们会进一步分享目标检测和分割,有兴趣的同学请持续关注!

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章