Pybulet Gym 源码解析:双足机器人模型 HumanoidPyBulletEnv-v0

OpenAI gym 是当前使用最为广泛的用于研究强化学习的工具箱,但 Gym 的物理仿真环境使用的是 Mujoco,不开源且收费,这一点一直被人诟病。而 Pybullet-gym 是对 Openai Gym Mujoco 环境的开源实现,用于替代 Mujoco 做为强化学习的仿真环境。封装了 Pybullet 的接口,无缝的接入了 Gym 环境。

Cheers!

关于如何创建 Gym 自定义环境可以参考我的上一篇博客 《OpenAI Gym 源码阅读:创建自定义强化学习环境》

示例代码

完整使用 HumanoidPyBulletEnv-v0 模型的示例代码,在 pybulletgym/examples/ 路径下可以找到。

import gym
import pybulletgym.envs

当示例代码引入 Pybullet-gym 库时,就完成了对 Pybullet 自定义 Gym 环境的注册。

根据 OpenAI Gym 的文档,下面是使用随机策略,调用 HumanoidPyBulletEnv-v0 的测试代码

import gym
import time
import numpy as np
import pybullet as p
import pybulletgym.envs

def main():
    env = gym.make("HumanoidPyBulletEnv-v0")
    env.render(mode="human")

    for i_episode in range(20):
        observation = env.reset()
        for t in range(100):
            env.render()
            print(observation)
            action = env.action_space.sample()
            observation, reward, done, info = env.step(action)
            if done:
                print("Episode finished after {} timesteps".format(t + 1))
                break
    env.close()

if __name__ == '__main__':
    main()

动作与观测

首先查看 HumanoidPyBulletEnv-v0 运动空间和观测空间的维度大小

print(f'env.action_space.shape = {env.action_space.shape}')
print(f'env.observation_space.shape = {env.observation_space.shape}')

>> env.action_space.shape = (17,)
>> env.observation_space.shape = (44,)

可知 HumanoidPyBulletEnv-v0 运动空间维度为 17 ,动作空间维度为 44

查看注册环境源码,可知 HumanoidPyBulletEnv-v0 入口类为 HumanoidBulletEnv

register(
    id='HumanoidPyBulletEnv-v0',
    entry_point='pybulletgym.envs.roboschool.envs.locomotion.humanoid_env:HumanoidBulletEnv',
    max_episode_steps=1000
    )

根据 HumanoidBulletEnv 初始化 __init__ 的参数,可知机器人实例由 Humanoid() 构建,顺藤摸瓜,获得 HumanoidBulletEnv 运动空间维度的详细定义

self.motor_names  = ["abdomen_z", "abdomen_y", "abdomen_x"]
self.motor_power  = [100, 100, 100]
self.motor_names += ["right_hip_x", "right_hip_z", "right_hip_y", "right_knee"]
self.motor_power += [100, 100, 300, 200]
self.motor_names += ["left_hip_x", "left_hip_z", "left_hip_y", "left_knee"]
self.motor_power += [100, 100, 300, 200]
self.motor_names += ["right_shoulder1", "right_shoulder2", "right_elbow"]
self.motor_power += [75, 75, 75]
self.motor_names += ["left_shoulder1", "left_shoulder2", "left_elbow"]
self.motor_power += [75, 75, 75]

执行 step 时,pybullet-gym 中使用力矩对机器人电机进行控制

def set_torque(self, torque):
    self._p.setJointMotorControl2(bodyIndex=self.bodies[self.bodyIndex], jointIndex=self.jointIndex,controlMode=pybullet.TORQUE_CONTROL, force=torque)  # positionGain=0.1, velocityGain=0.1)

接下来查看观测空间定义,状态观测是由 observation, reward, done, info = env.step(action) 获得,因此查看源码 walker_base_env.py 可知状态计算方式

np.clip(np.concatenate([more] + [j] + [self.feet_contact]), -5, +5)

大致包含机器人的离地面高度、机器人欧拉角、各个关节相对位置、足底是否触地等状态。状态维度为一共为 46,详细的定义,以及为什么这么定义的原因未知,参见这条 issue 的讨论 openai/gym/issues/585 ,看来 OpenAI 被戏称为 CloseAI 是有原因的。

done 根据机器人的高度和偏航角来判断机器人是否摔倒,回合是否结束

alive = float(self.robot.alive_bonus(state[0] + self.robot.initial_z, self.robot.body_rpy[1]))   # state[0] is body height above ground, body_rpy[1] is pitch

奖励函数

对于强化学习问题,最为重要的就是奖励函数的设计,直接关乎训练后 Agent 的行为是否符合预期。 HumanoidPyBulletEnv-v0 的奖励由下面几部分构成

self.rewards = [
    alive,
    progress,
    electricity_cost,
    joints_at_limit_cost,
    feet_collision_cost
]
alive
progress
electricity_cost
joints_at_limit_cost
feet_collision_cost

Pybullet-Gym 代码逻辑是很清晰,但是由于是移植的 roboschool 的 Humanoid 环境,很多 Agent 代码细节没有文档可以参考,官方的态度是我们只需要关心采用哪些强化学习算法去训练 Agent 就可以了,不需要关注 Agent 的实现细节。

但是如果要训练自定义的 Biped Robot Walk 的话就必须深入看 Gym 的底层代码实现,研究状态、运动、以及奖励函数的具体细节。

补充

参考链接

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章