AWS AI 全面助力视频理解,GluonCV 0.6 轻松复现前沿模型

点击 我爱计算机视觉 标星,更快获取CVML新技术

视频理解 是近几年非常流行的研究方向,因为视频是最接近于人眼的真实输入,分析时间序列上的图像变化有助于我们开发更强的计算机视觉。而在视频理解领域,最具代表性的研究方向就是 动作识别 。区别于以往的大部分图像任务,动作识别的主体是动作,而不是物体,比如唱,跳,rap,篮球。

所以动作识别功能可以为我们做些什么呢?现在大部分手机相册都会自动标注照片,把图片分为家庭,自拍,庆祝等等类别,方便查找。可是拍的短视频怎么办?试试视频动作识别,不论是家居遛狗,还是家里遛娃,还是出门滑雪,这些全都属于动作识别的范畴。AI 模型给每个视频打上标签,然后生成一个年终精彩视频集锦,帮你留住今年的每一份美好。

动作识别还有很多实际的应用,比如 视频监控和人体行为分析 。而且,视频理解不仅仅是一个方向,它更是一种概念。所有的图像处理问题,加上时间这个维度后,就会变成新的问题,比如物体检测在时间轴上就变成了物体跟踪。正因为视频理解如此重要,近几年在学术和工业界都赚足了眼球。

然而有很多阻碍 限制 了视频从业者的步伐,比如庞大的数据集,缺乏易用可复现的代码库,找不到教程,没法部署到终端上等等。就以数据集为例,视频领域里一个比较流行的数据集 Kinetics400 的视频总帧数是 ImageNet 图片总数的 100 倍。有时候为了更好的理解时序信息,很多模型还需要提取光流。很早就有知乎小伙伴反映过,几百万的训练样本,光抽帧就抽的头疼,更别提抽光流了,头发都要被抽没了。

即使准备好了数据,训练一个 SOTA 的模型也要数天之久,更别提复现、调参或者进行新的研究探索了。所以在这次 GluonCV release 0.6 中,我们一一解决以上提到的痛点。经过最近几个月的复现和优化,GluonCV 现在全面支持视频理解中的大量模型和常见数据集。我们还提供了易上手的教程,分布式的支持,快速的视频加载,好玩的应用实例和可复现的超参和结果,帮助大家分分钟上手视频理解,免去了重复造轮子的困扰。小伙伴们还不快快上车,赶上这波全民视频的热潮!

更多的模型和数据库支持

最近 Facebook 也刚刚开源了他们的视频理解库,PySlowFast。相比而言,我们提供更多更全的模型和数据库的支持。下面的表格列出了我们在 Kinetics400 数据集上提供的预训练模型,

模型的各种 backbone,各种变体,应有尽有。只需一行 net = get_model(model_name) , 即可享用训练好的模型。同时,我们还支持 UCF101, HMDB51 和 Something-Something-V2 数据集,对 ActivityNet,HACS,Moments in Time 和 AVA 的支持正在赶来的路上。所有的训练脚本,超参数,训练日志和测试方式全都提供,轻松复现基线模型。

快速的视频加载

视频数据的预处理非常繁琐,而且费时费力。以 Kinetics400 数据集为例,存储它所有的视频数据需要 450GB 的硬盘空间。如果我们全部抽成视频帧来训练,就要占 6.8T 的硬盘空间。如果再抽取光流,大部分机器表示吃不消。即使我们有足够的硬盘空间来储存这些数据,大量的数据会造成训练时候的 IO 瓶颈,GPU 利用率大部分时候是 0,导致训练极其缓慢还浪费资源。

所以我们需要一个全新的视频加载器 decord,可以直接读取视频,再也不用繁琐的预处理了, 想读哪帧读哪帧。

如下图所示,相比已有的视频加载器,OpenCV 和 PyAV, 我们的 decord 至少快两倍以上,尤其在随机取帧的时候,更是快八倍以上,导师再也不用担心我的实验被卡 IO 了。

强大的自定义功能

我们提供了两个自定义的功能,自定义 dataloader 和自定义模型,帮助用户写最少的代码,实现最多的功能。

首先是自定义的 dataloader,我们提供了一个 VideoClsCustom 的类,基本适用于大部分视频分类的任务。不论用户的数据是怎么存放,怎么命名, 什么格式的,只需要提供一个如下的文本文件就可以开始训练了。

每一行需要提供 3 个信息,分别是视频存放的路径,视频的长度以及视频的类别。如果用户已经将视频抽成了帧也不要紧, 只需要把对应视频路径换成视频帧文件夹的路径即可。比如我们现在要加载一个数据集,要随机从一段视频中抽取一个视频片段,长为 64 帧,隔帧取样,同时调整帧的大小为 224x224。

还有很多默认的参数可以调整,满足大部分模型训练的需求,想了解更多选择请参考源代码。

其次是自定义的模型,我们提供了几个常见模型的自定义版本,比如 slowfast_4x16_resnet50_custom。用户在根据自己的数据集建立模型的时候,可以直接调用这个函数,只需要提供数据集里有几类就可以了。比如用一个视频异常检测的数据集做一个二分类问题,

在有了这两个自定义的功能后,用户基本无需写代码就可以直接在自己的数据集上自由的玩耍了。

丰富的教程

过去的五年,视频理解与行为识别快速发展,可是直到最近才陆陆续续有稳定的开源代码库,比如 MMAction, PyVideoResearch, VMZ 和 PySlowFast。即便如此,简单易懂的教程依旧缺乏。我们 GluonCV 提供大量的 jupyter notebook 教程,用户可以直接本地体验,不论是在 Windows,Linux 还是 Mac 上。我们提供的教程包括如何复现 SOTA 模型,如何抽取特征,如何做推理,如何在自己的数据集上微调以及如何做分布式训练。

尤其值得一提的是分布式训练。鉴于视频领域训练太过耗时,训练一个 SOTA 模型动辄超过一周,最常见的方式就是使用分布式训练加速这个过程。可惜网上关于分布式训练的教程文档都非常少,更不要提专门针对视频模型讲解分布式训练的文档了。我们的教程包括如何设置集群通信,如何准备数据,如何启动分布式训练,一步步带你上手视频理解。我们的分布式训练扩展性能也很好,无需复杂的优化,两台机器即可提速 1.6 倍,四台机器可提速 3.2 倍, 八台机器可提速 6 倍。分布式训练可以帮助你快速迭代,是发论文做产品不可或缺的利器。

INT8 量化,部署更快

GluonCV 继续与英特尔携手带来更多的 INT8 量化模型。受益于 Intel Deep Learning Boost(VNNI) 的加持,用 INT8 量化后的视频理解模型比它们原本的 32 位浮点数版本要快许多。因为是快速部署,我们只提供了部分 2D 模型的量化模型。下表是基于 AWS EC2 C5 实例的结果,在保持原有精度的情况下, 量化过的模型可以达到 5 倍的提速。

对于想要尝试的小伙伴, INT8 量化版本的使用和标准的 GluonCV 模型一样,仅需在模型名称后加上 _int8 后缀,就可以体验性能起飞的感觉!同时, 为了方便用户在自有数据集上进行 INT8 量化,我们还提供了量化校准工具。目前本校准工具仅支持 Hybridized 后的 Gluon 模型,用户可以使用 quantize_net 接口来量化他们自己的模型, 方便各种部署。

相关链接

  • GluonCV 网站  (gluon-cv.mxnet.io)

  • GluonCV Github (github.com/dmlc/gluon-cv)

  • 论坛讨论 (discuss.gluon.ai)

喜欢我们的工作并且希望支持更多的更新,欢迎点赞加星 Fork!

视频理解学习群

学习交流视频理解、视频分类技术,扫码添加CV君拉你入群,如已为CV君其他账号好友请直接私信,

请务必注明:视频 ):

喜欢在QQ交流的童鞋可以加52CV官方QQ群: 805388940

(不会时时在线,如果没能及时通过还请见谅)

长按关注 我爱计算机视觉

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章