深度深林阅读笔记

原文: Deep Forest:Towards An Alternative to Deep Neural Networks ,周志华,2017

该篇文章提出了深度森林 gcForest,这是一种决策树集成方法(decision tree ensemble approach),性能较之深度神经网络有很强的竞争力。深度神经网络需要花大力气调参,相比之下 gcForest 要容易训练得多。实际上,在几乎完全一样的超参数设置下,gcForest 在处理不同领域(domain)的不同数据时,也能达到极佳的性能。gcForest 的训练过程效率高且可扩展。实验中,它在一台 PC 上的训练时间和在 GPU 设施上跑的深度神经网络差不多,有鉴于 gcForest 天然适用于并行的部署,其效率高的优势就更为明显。此外,深度神经网络需要大规模的训练数据,而 gcForest 在仅有小规模训练数据的情况下也照常运转。不仅如此,作为一种基于树的方法,gcForest 在理论分析方面也应当比深度神经网络更加容易。

表征学习Representation Learning

无论是深度学习还是深度森林,归根到底还是一个表征学习的过程,通过训练学习,使得模型学习发现样本的表征feature,好的表征器能够获得好的feature用于后面的分类、回归等任务输入。所以目前表征学习期望能够获得更好的样本特征表示,只要特征足够好,分类函数本身并不需要复杂。

一般来说为了运用大量数据,学习模型的容量通常都很大,因此深度网络因其复杂的网络结构,深度,有很强的样本表征学习能力。而DNN网络其实就是广义线性模型的非线性叠加,神经元组成实现线性计算,非线性激活实现非线性叠加。因此DNN能够自动发现特征与标签之间的非线性关系,即可通过端到端的训练得到非线性的神经决策边界。

因此,本文的作者推测可以将这种性质用到其他合适的学习模型上,即将神经元这个基本结构替换成的了决策树产生了深度森林gcForest模型。

深度森林gcForest

深度神经网络中的表征学习主要依赖于对原始特征进行逐层处理,因为有误差反向传播,整个过程整个网络属于端到端同步训练。

gcForest受此启发,采用级联结构,其中级联中的每一级接收到由前一级处理的特征信息,并将该级的处理结果输出给下一级,但是没有反向传播,确定一级在不满足终止条件时,扩展新级。在扩展一个新的级后,整个级联的性能将在验证集上进行估计,如果没有显着的性能增益,训练过程将终止;因此,级联中级的数量是自动确定的。与模型的复杂性固定的大多数深度神经网络相反,gcForest 能够适当地通过终止训练来决定其模型的复杂度。这使得 gcForest 能够适用于不同规模的训练数据,而不局限于大规模训练数据。

通过级联结构,深度森林将模型作深。

在处理特征上,同样受到DNN启发。gcForest认为对于对序列数据,顺序信息是极为关键的,因此,用多粒度扫描来增强级联森林。具体的:类似于卷积网络的多核局部感受野实现,采用滑动窗口的方法,先生成若干个实例,然后通过实例生成两个森林,一个完全随机森林,一个随机森林,然后再把生成的两个森林生成对应的相同维度的“类向量”,最后把这两大类向量连接在一起,但应对的一般来说会采用多个不同大小的窗口做扫描,类似于多核卷积。

其中两中类型的随机森林保证集成子模型之间的差异性。

深度森林gcForest比深度网络DNN的优势所在

  • 集成性:gcForest属于一种集成的集成方法
  • 高性能:gcForest性能较深度神经网络有很强的竞争力
  • 参数少:gcForest所需参数少,容易训练
  • 鲁棒性:gcForest对于超参数的设置不敏感,鲁棒性高
  • 效率高:gcForest训练过程效率高且可扩展,适用于并行的部署
  • 扩展性:gcForest对于数据量没有要求,在小数据集上也能获得很好的性能
  • 解释性:gcForest作为一种基于树的方法,在理论分析方面也应当比深度神经网络更加容易
  • 自适应:gcForest 能够适当地通过终止训练来决定其模型的复杂度,使其不局限于大规模训练数据

关于深度森林的思考

  1. 广义线性模型的集成模型:神经网路是线性单元通过非线性激活的组合,深度森林是随机深林的集成组合,目的都为了进行样本的表征学习。如果保留级联和多粒度策略,可否替代其中的随机森林换做其他的简单分类器或者预测器,深度svm,深度lr,深度nb,深度knn
  2. 森林单元多样性选择可扩展,目前只用完全随机森林,随机森林,可尝试其他组合森林+svm+lr+nb+knn等各式各样的模型深度集成
  3. 所有实验没有在大规模数据上进行,模型的capacity在大规模数据集上并未体现,即便满足自适应扩展和自适应终止
  4. 集成是提升模型性能很好的策略,但是对于很多DNN模型其任务导向性太强,很难部署到一个新任务,即可迁移扩展性差。易于部署是学术界忽略的一个重要因素,本文提出的深度森林就很好的扩展性,能快速迁移到不同领域不同任务中。在非NLP和非图像数据集上,对于很多实际应用中的结构化数据(销售、推荐、商品等),通常较佳的 Kaggle 模型就是 xgboost 模型,相对于深度森林和深度网络更加快速易于部署实现。
  5. 当前的深度深林方法仅仅是从DNN到gcForest的初步尝试,目前能够实现的继续学习任务分类和回归,对于一些复杂的任务还无法实现。
  6. DNN+gcForest组合模型,因为gcForest没有误差传递,所以当前只能基于级联实现表征学习,是否可以将表征之后的feature组合DNN模型实现复杂的机器学习任务等等,实现复杂度和应用性的折中考虑。

深度森林应用

  1. 股票市场: 选股与择时——基于前景理论与深度森林算法
  2. 分布式深度森林: 分布式深度森林算法检测套现欺诈

深度森林延伸

Feng J, Zhou Z H. Autoencoder by forest [C]//Thirty-Second AAAI Conference on Artificial Intelligence. 2018.

Feng J, Yu Y, Zhou Z H. Multi-layered gradient boosting decision trees [C]//Advances in Neural Information Processing Systems. 2018: 3551-3561.

多层梯度提升决策树 Multi-Layered Gradient Boosting Decision Trees (mGBDT)

原文: Multi-layered gradient boosting decision trees

中文介绍: 深度森林第三弹:周志华组提出可做表征学习的多层梯度提升决策树 , 阅读笔记Multi-Layered Gradient Boosting Decision Trees

背景

  1. 多层特征表示在神经网络中得到了充分地应用;然而,当模型不可微时,如针对离散型数据或表格型等结构化数据时,GBDTs通常是此类数据的主流方法,但是,该类方法通常很难学习到较好的特征表示能力。鉴于此 ,作者提出了通过stacking多层GBDTs来构建一层一层的模块,通过此种层次结构来获取数据特征的分层表示能力。(
  2. 现今DL利用误差反向传播和梯度下降方法成为主流,然而,此类方法的基础是激活函数是可微的。其它方法包括使用目标传播(target propagation),实验证明:基于目标传播的方法表现弱于误差传播方法
  3. 针对离散型数据或表格型数据,基于树的集成学习算法RF或GBDTs是目前主流的方法;很大程度源于能够获取到数据的分层分布式表示(hierarchical distributed representation),针对此类数据类型,无法使用误差的链式传播算法(chain-rule),后向传播也变得不可能。
  4. 期望:(1)够构造一个 非可微的多层模型(multi-layered model with non-differentiable components) 用于特征的分布式表示形式,中间层的输出可以被当作分布式表征;(2)如果可以,如何将层次之间连接起来,在没有反向传播的帮助下,如何训练这种模型(非可微组件构建的多层模型)

因此本文期出了多层梯度提升决策树模型,其中心论点:多棵树的分层分布式表示(hierarchical distributed representations) 具有很大程度地来刻画数据的特性能力;更具象地:利用GBDTs来作为每层的块结构(blocks)来建立多层树结构的模型能够很好地将feature表示出来,与此同时,在训练时通过目标传播(target propagation)来进行优化,解决离散或者表格型结构化数据模型不可微问题。

把反向传播迁移到不可微的模型中,具体方法是用另外一个模型替代求梯度的过程,把梯度反向传播回去。

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章