SSL:Self-Supervised Learning(自监督学习)是什么?

点击 我爱计算机视觉 标星,更快获取CVML新技术

本文原载于知乎,已获作者授权转载,禁止二次转载。

https://zhuanlan.zhihu.com/p/108088719

Ⅰ what's SSL?

自监督学习不是特定的一种算法,而是一类算法,如word2vec,BERT,MOCO,PIRL等都属于自监督学习;

和监督式机器学习一样,自监督学习训练时也需要features和labels,不同之处在于自监督学习的label不需要通过人为标记完成,而是自动生成的;

自监督学习不针对特定应用场景,而是通用性预训练;

Ⅱ LeCun's opinion on SSL

LeCun认为对于含有一定信息的数据样本来说,纯强化学习仅仅能从一些样本中获得稍许信息,监督学习能从每个样本中获取一些信息,而自监督学习能从每个样本中获取大量信息。

针对“强化学习仅仅是蛋糕上的一颗樱桃”,强化学习社区将LeCun的蛋糕模型修订为:

Ⅲ why is SLL important?

自监督学习自定义预制任务,进行预训练学习,不针对特定场景,且能将数据样本中的信息最大程度的提取,这相当于进行“常识性”学习;

学习训练完成后,再进行特定场景的学习,相当于在已经掌握了“基本常识后”再进行“特定专业”的学习;

这样模型本身就具有相当程度的鲁棒性,也会从训练开始就避开一些过拟合“陷阱”/“低级错误”。

自监督学习交流群

关注最新最前沿的自监督学习技术,扫码添加CV君拉你入群,(如已为CV君其他账号好友请直接私信)

请务必注明:自监督

喜欢在QQ交流的童鞋,可以加52CV官方 QQ群805388940

(不会时时在线,如果没能及时通过验证还请见谅)

长按关注 我爱计算机视觉

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章