BERT or XLNet,围观NLP巅峰烧钱大战。技术发展太快,如何才能跟得上节奏?

在过去的几个月时间里,Google和Facebook在一场别样的大战上打得火热,自从Google的XLNet横空出世战胜了BERT的记录,Facebook就开始默默憋大招了。 上周剧情再次翻转,改进版BERT-RoBERTa登上了GLUE排行榜榜首。 这场没有想要的技术攻坚战,在短短一个月内持续发酵。

在面对技术的快速迭代更新, 我们也在第一时间把XLNet纳入到了训练营体系里,在模型发布的第三天就完成了所有教研的工作。随着技术的不断更新与发展,我们的课程内容也是越加越多,越来越精。一转眼,我们也迎来了NLP训练营5期开始招生了!

2019年贪心学院的《NLP自然语言处理训练营》作为业界的标杆,已培养出大量的NLP算法工程师,均已走上相应的工作岗位,而我们期待着他们将为2019年的中国NLP技术带去新鲜血液和希望。

本期的训练营在原有的基础上做了大幅度内容的更新,在内容的广度和深度上做了大幅度的调整。可以认为目前的 课程体系在全网应该是最全面而且最具有挑战性的 。如果你想深入去接触这个领域,并且想让自己与时俱进,相信选择我们是正确的选择。  

到底是什么样的课程让业内的呼声这么的大,

如果你还不知道 《NLP自然语言处理训练营》

那么你可能错过了太多~  

训练营既包含大量的案例教学,也包含学员需要完成的项目作业,还有每周的作业以及论文解读。

课程大纲

第一阶段 算法与优化基础

【核心知识点】

Dynamic Time Warping

. Earth Mover's Distance

. 维特比算法

. LR, SVM, KKT

. Kernel Tick, Mercer's Theorem

. 梯度下降法,收敛性分析

. L0, L1, L2, L-Infinity Norm

. Grid Search, Bayesian Optimization

. 随机森林、GBDT, XGBoost回顾

. 凸函数、凸集、Lagrange Duality

. Projected Gradient Descent

. Linear/Quadratic Programming

. Integer/Semi-definite Programming

. NP-completess 

. Constraint Relaxation

【实战案例】:

. [作业] 基于Sparse Quadratic Programming的股票投资组合优化策略编写

. [讲解] 基于Earth Mover's Distance的短文本相似度计算

. [讲解] 基于Projected Gradient Descent和非负矩阵分解的词向量学习

. [讲解] 基于Linear Programming的机票定价系统

第二阶段 语言模型与序列标注

【核心知识点】

. 文 本预处理技术(tf-idf,Stemming等)

. 文本领域的特征工程

. 倒排表、信息检索技术

. Noisy Channel Model

. N-gram模型,词向量介绍

. 不同的Smoothing Techniques

. Learning to Rank

. Latent Variable Model

. EM算法与Local Optimality

. 有向图模型与无向图模型

. HMM模型、Viterbi、Baum Welch

. Log-Linear Model与参数估计

. CRF模型与Linear-CRF

. CRF的Viterbi Decoding与参数估计

【实战案例】:

. [作业] 基 于无监督学习方法的问答系统搭建

. [作业] 基于监督学习的Aspect-Based 情感分析系统搭建

. [讲解] 基于CRF的命名实体识别 

. [讲解] 基于语言模型和Noisy Channel Model的拼写纠错

第三阶段  信息抽取、词向量与知识图谱

【核心知识点】

. 命 名实体识别技术

. 信息抽取技术

. Snowball, KnowitAll, RunnerText

. Distant Supervision, 无监督学习方法

. 实体统一、实体消歧义、指代消解

. 知识图谱、实体与关系

. 词向量、Skip-Gram、Negative Sampling

. 矩阵分解、CBOW与Glove向量

. Contexualized Embedding与ELMo

KL Divergence与 Gaussian Embedding

. 非欧式空间与Pointcare Embedding

. 黎曼空间中的梯度下降法

. 知识图谱嵌入技术

. TransE, NTN 的详解

. Node2Vec详解

. Adversial Learning与KBGAN

【实战案例】:

. [作业] 利 用非结构化数据和信息抽取技术构建知识图谱

. [作业] 任务导向型聊天机器人的搭建

. [讲解] 包含Intent与Entity Extraction的NLU模块实现

. [讲解] 基于SkipGram的推荐系统实现(参考Airbnb论文)

第四阶段 深度学习与NLP

【核心知识点】

Pytorch与Tensorflow详解

. 表示学习,分布式表示技术

. 文本领域中的Disentangling

. 深度神经网络与BP算法详解

. RNN与Vanishing/Exploding Gradient

. LSTM与GRU

. Seq2Seq与注意力机制

. Greedy Decoding与Beam Search

. BI-LSTM-CRF模型

. Neural Turing Machine

. Memory Network

. Self Attention,Transformer以及Transformer-XL.

. Bert的详解

. BERT-BiLSTM-CRF

. GPT,MASS,  XLNet

. Low-resource learning

. 深度学习的可视化

. Laywer-wise Relevance Propagation

【实战案例】:

. [作业]  利用纯Python实现BP算法

. [作业] 基于Seq2Seq+注意力机制、基于Transformer的机器翻译系统

. [讲解] 基于Transformer的闲聊型聊天机器人

. [讲解] 基于BI-LSTM-CRF和BERT-BiLSTM-CRF在命名实体中的比较

. [讲解] 利用Laywer-wise RP可视化端到端的机器翻译系统

第五阶段 贝叶斯模型与NLP

【核心知识点】

概率图模型与条件独立

. Markov Blanket 

. Dirichlet分布、Multinomial分布

. Beta分布、Conjugate Prior回顾

. Detail Balance

. 主题模型详解

. MCMC与吉布斯采样

. 主题模型与Collapsed Gibbs Sampling

. Metropolis Hasting, Rejection Sampling

. Langevin Dyamics与SGLD

. 分布式SGLD与主题模型

. Dynamic Topic Model 

. Supervised Topic Model

. KL Divergence与ELBO

. Variantional Inference, Stochastic VI

. 主题模型与变分法

. Nonparametric Models

. Dirichlet Process

. Chinese Restarant Process

. Bayesian Deep Neural Network 

. VAE与Reparametrization trick

. Bayesian RNN/LSTM

. Bayesian Word2Vec

. MMSB

【实战案例】:

. [作业]  利用Collapsed Gibbs Sampler和SGLD对主题模型做Inference

. [讲解] 基于Bayesian-LSTM的命名实体识别

第六阶段  开放式项目 (Optional)

【项目介绍】

可以根据自己的兴趣来设计一个NLP领域的课题,课题需要具备一定的挑战,并且有一定的深度。在项目期间教学团队会提供技术支持

【结果输出】: 

完整PPT、代码和Conference-Style Technical Report

【评估流程】:

教学团队Review + 学员Peer-Review

课程设计紧密围绕学术界最新进展以及工业界的需求,涵盖了所有核心知识点,并且结合了大量实战项目,培养学员的动手能力,解决问题能来以及对知识的深入理解。

部分课程项目

课程适合谁?

  • 有良好的机器学习基础,有较强的编程能力

  • 对数据结构与算法比较熟悉

  • 之后想从事相关研究工作、或者之后想申请国外名校读相关专业的硕士/博士

  • 追求技术细节,对背后的why感兴趣,不希望仅仅停留在使用工具层面的学员

  • 已经在AI领域从事工作,但技术上感觉遇到了瓶颈,想进一步突破的学员

  • 希望在工作中可以根据业务需求能够提出新的模型,做一些创新

  • 对NLP领域最新知识体系想有更深入的学习

  • 想转型到一线做AI工程师的学员

课程特色

  • 内容上包含了作为 AI顶级工程师 必备的核心技术体系

  • 内容上包含了大量最前沿的技术

  • 具备一定的 挑战性和深度 ,区别于市面上的其他同类的课程。 

  • 理论与实战的结合,所有的理论会本质层面讲起,而且非常通俗易懂,即便很难理解的BERT, Bayesian NN也会让你能够听得懂并且能够理解。每一个重要的知识点会配备实战讲解以及核心代码review.

  • 包含具有挑战性的课程项目作业和理论作业,这些会帮助你更深入地理解学过的知识点

  • 配备顶尖讲师团队,均在NLP和机器学习领域有很深的研究和工作经验

教学模式

我们主要采用 直播 的方式, 一周4-5次的直播教学 ,  包括2次的main lectures, 1-2次的discussion session (讲解某一个实战、必备基础、案例或者技术上的延伸), 1次的paper reading session (每周会assign一篇必备论文,并且直播解读)。教学模式上也参考了美国顶级院校的教学体系。  以下为其中一周的课程安排,供参考。 

服务体系

看完被吓着了? 这玩意学不会可咋整啊?

大魔头是不会让你以智商为理由逃跑的,

我们为大家配备了全一线工程师的助教团队,

严防死守以学不会为由的逃兵出现!

  • 全职助教实时答疑

看视频的时候:"诶?这步怎么推导出来的呢?"

编程跑项目实践的时候:"诶?这段代码是干嘛的呢?"

看论文的时候:"诶?为什么好像看懂了,又不知道在讲什么呢?"

不管你在学习过程中遇到多少阻碍,你都可以通过以下4种方式解决:

  • 直接在线问导师;

  • 或者记录到共享文档中,等待每日固定时间的直播答疑;

  • 学习社群中全职助教,24h随时提问答疑

  • 共同的问题在Review Session里面做讲解

注:每次答疑,班主任都会进行记录,以便学员实时查阅。

来自师兄师姐的疑问:

  • 编写一些技术类文章

通过在知乎上发表相关技术文章进行自我成果检验,同时也是一种思想碰撞的方式,导师会对发表的每一篇文章写一个详细的评语。万一不小心成为一个大V了呢?

虽然写文章的过程万分痛苦,学习群里半夜哀嚎遍野,但看一看抓着头发写出来的文章结果还是非常喜人的!看着自己收获的点赞数,大家都默默地感谢起大魔头的无情!

这种满满的成就感,让大家一篇接一篇写了下去!

个个都立刻变身成了知乎大牛~

  • Project项目

除了文章,算法工程师立命的根本--项目代码,大魔头更是不会放过的。每次在Gitlab上布置的作业,大魔头都会带领助教团队会予以详细的批改和反馈。并逼着你不断的优化!

课程导师

看了这么多,是不是非常崇拜设计出如此地狱式学习计划的大牛,那就来正式认识一下这位训练营中人人听了都闻风丧胆,但又让人崇拜+喜爱+欲罢不能的训练营大魔头:

李文哲

NLP、知识图谱领域专家

美国南加州大学博士,曾任凡普金科(爱钱进)首席科学家,美国亚马逊/高盛高级工程师,AI量化投资公司首席科学家兼投资总监。在AAAI, KDD, AISTATS等顶会上发表过15篇以上论文,其中3篇获得Best Paper Award,累计数百次引用。

毕业标准

进去企业敲门砖的”毕业证“如何得到?

大魔头之所以是大魔头不单单因为技术牛,更因为他同时掌管着训练营学员的生杀大权!光学习是怎么可以的,我们的训练营是有考核的!

大魔头给学习成果定义了充分的可量化标准。贪心学院红头文件晒给你看:

  • 考核 机制

我们也有严格的考核机制,包括项目作业的完成度、直播到课率、文章写作等要素。而且根据这些考核来确定毕业生以及优秀毕业生。针对于优秀毕业生,我们会提供很丰厚的激励机制。

再被大魔头折磨了多个日日夜夜后,大家不但没有放弃学习,而且很快乐地学习着,随便截几个图:

我确定了我们的魔鬼训练营没有误人子弟,我们的课程真的帮助到大家有人实质的技能提升或帮助大家拿到offer。今年九月,大魔头携带着他的第五期《NLP自然语言处理集中营》再度回归了。

2019NLP能这么骚,就要看你了~ 

这个被全网尊称为能找到的

最体系化,

最有挑战的,

实践性最强的,

最烧脑的,

AI自然语言处理训练营等着你们!

勇士们让我看到你们的双手!

注:本文含商业推广内容

报名方式

请扫描下面的二维码咨询课程

我们是谁? 我们是一家专注于人工智能领域的在线教育公司,由一群有情怀的硅谷科学家来创办。我们提供最专业的AI课程以及每月4-5期的免费AI类公开课。关注此公众号(“贪心科技”)可以获得相关的信息。

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章