机器人如何学会走路:强化学习
机器人尝试各种动作,好的结果得到分数,通过试错来学习,通常先在模拟中进行。
THE LOOP, STEP BY STEP
The robot repeats this loop many times a second. Tap a step to pause on it.
在强化学习中,程序尝试动作,事情进展顺利时获得奖励,比如向前走而没有摔倒。经过数百万次尝试,它学到哪些动作能得到更多奖励。
在模拟器里训练又快又安全。学会的走路方式随后被迁移到真实机器人上,这叫做从模拟到现实。
有了它,你可以
机器人可以发现一种很难手写出来的走路方式,并适应颠簸和斜坡。
没有它会怎样
工程师得手写每条步态规则,并为每个新机器人或新地面重新调试。
哪里容易出问题
模拟器从来不完美,所以真实机器人可能表现不同,奖励设计不好还会产生奇怪的“钻空子”行为。
小测验
为什么先在模拟中训练?