DeepMind 推出分布式训练框架 IMPALA,开启智能体训练新时代

雷锋网 AI 研习社按,日前,DeepMind 推出一种全新的分布式智能体训练框架 IMPALA,该框架具有高度可扩展性,将学习和执行过程分开,使用了一种名为 V-trace 的离策略(off-policy)修正算法,具有显著的加速性能,极高的效率。具体如何呢,雷锋网 AI 研习社将其原文编译整理如下:

深度强化学习 (DeepRL) 在一系列任务中取得很显著的成果,比如机器人的连续控制问题、玩围棋和 Atari 等游戏。目前为止,我们看到的这些成果仅限于单一任务,每个任务都要单独对智能体进行调参和训练。

在我们最近的工作中,研究了在多个任务中训练单个智能体。

今天我们发布 DMLab-30,这是一组横跨很多挑战的新任务,在视觉统一的环境中,有着普通的行动空间(action space)。想训练好一个在许多任务上都有良好表现的智能体,需要大量的吞吐量,有效利用每个数据点。

为此,我们开发了一种全新的、高度可扩展的分布式智能体训练框架 IMPALA(重点加权行动-学习器框架,Importances Weighted Actor-Learner Architectures),这种框架使用了一种名为 V-trace 的离策略(off-policy)修正算法。

DMLab-30

DMLab-30 是通过开源强化学习环境 DeepMind Lab 设计的一系列新任务。有了 DMLab-30,任何深度强化学习研究人员都能够在大范围的、有趣的任务中测试系统,支持单独测试、多任务环境测试。

这些任务被设计得尽可能多样化。它们有着不同的目标,有的是学习,有的是记忆,有的则是导航。它们的视觉效果也各不相同,比如有的是色彩鲜艳、现代风格的纹理,有的是黎明、正午或夜晚的沙漠中微妙的棕色和绿色。环境设置也不同,从开阔的山区,到直角迷宫,再到开放的圆房间,这里都存在。

此外,一些环境中还有「机器人」,这些机器人会执行以目标为导向的行为。同样重要的是,任务不同,目标和奖励也会有所不同,比如遵循语言指令、使用钥匙开门、采摘蘑菇、绘制和跟踪一条复杂的不能回头的路径这些任务,最终目的和奖励都会有所不同。

但是,就行动空间和观察空间来说,任务的环境是一样的。可以在每个环境中对智能体进行训练。在 DMLab 的 GitHub 页面上可以找到更多关于训练环境的细节。

IMPALA::重点加权行动-学习器框架

为了在 DMLab-30 中训练那些具有挑战性的任务,我们开发了一个名为 IMPALA 的分布式智能体框架,它利用 TensorFlow 中高效的分布式框架来最大化数据吞吐量。

IMPALA 的灵感来自流行的 A3C 框架,后者使用多个分布式 actor 来学习智能体的参数。

在这样的模型中,每个 actor 都使用策略参数的克隆在环境中行动。actor 会周期性地暂停探索来共享梯度,这些梯度是用一个中央参数服务器来计算的,会实时更新(见下图)。

另一方面,在 IMPALA 中,不会用 actor 来计算梯度。它们只是用来收集经验,这些经验会传递给计算梯度的中央学习器,从而得到一个拥有独立 actor 和 learner 的模型。

现代计算系统有诸多优势,IMPALA 可以利用其优势,用单个 learner 或多个 learner 进行同步更新。以这种方式将学习和行动分离,有助于提高整个系统的吞吐量,因为 actor 不再需要执行诸如Batched A2C 框架中的等待学习步骤。

这使我们在环境中训练 IMPALA 时不会受到框架渲染时间的变动或任务重新启动时间的影响。

IMPALA 中的学习是连续的,不同于其他框架,每一步学习都要暂停

然而,将行动与学习分离会导致 actor 中的策略落后于 learner。为了弥补这一差异,我们引入 V-trace——条理化的离策略 actor critic 算法,它可以对 actor 落后的轨迹进行补偿。可以在我们的论文 IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures 中看到该算法的具体细节。

IMPALA 中的优化模型相对于类似智能体,能多处理 1 到 2 个数量级的经验,这使得在极具挑战的环境中进行学习成为可能。

我们将 IMPALA 与几个流行的 actor-critic 的方法进行了比较,发现它具有显著的加速效果。此外,使用 IMPALA 的情况下,随着 actor 和 learner 的增长,吞吐量几乎是按线性增长的。这表明,分布式智能体模型和 V-trace 算法都能支持极大规模的实验,支持的规模甚至可以达到上千台机器。

当在 DMLab-30 上进行测试时,与 A3C 相比,IMPALA 的数据效率提高了 10 倍,最终得分达到后者的两倍。此外,与单任务训练相比,IMPALA 在多任务环境下的训练呈正迁移趋势。

IMPALA 论文地址: https://arxiv.org/abs/1802.01561

DMLab-30 GitHub地址: https://github.com/deepmind/lab/tree/master/game_scripts/levels/contributed/dmlab30

via: DeepMind Blog

雷锋网 (公众号:雷锋网) AI 研习社编译整理

雷锋网版权文章,未经授权禁止转载。详情见 转载须知

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章