强化学习:在尝试中学习
进阶 · 阅读约 7 分钟
机器人不断尝试、获得分数,慢慢学会哪些动作得分最高。
在强化学习中,没有人告诉机器人正确答案。它尝试一个动作,环境做出反应,奖励分数说明这次好不好。尝试多了,它就学会选能得更多分的动作。
这就像用零食训练小狗学把戏,只不过机器人可以尝试上百万次。所以大部分练习都在模拟器里完成,那里犯错不花钱,而且速度很快。
真实例子
会走路的机器人向前走得奖励,摔倒受惩罚。在模拟器里试过数百万次后,它找到了工程师没有手写出来的走法。
有了它,你可以
你可以得到太难手工编程的技能,比如保持平衡、行走或杂耍。
没有它,会怎样
你必须手写每一个动作。对复杂的身体结构,这要花数年,而且动作仍然僵硬。
动手试试(5 分钟)
玩一个简单的游戏,为自己的每一步写下“奖励”。你刚才做的就是算法所做的事。
常见问题
为什么在模拟器里训练?
真实机器人会损坏而且很慢。模拟器几分钟就能跑几千次练习,没有风险。
学会的技能能直接用在真实机器人上吗?
通常需要额外工作。模拟和现实之间的差距是个著名问题,叫做“从模拟到现实”。
每周一封机器人邮件
通俗易懂,免费,随时一键退订。
想动手玩?打开英文版的互动演示 → · 词汇表