Cómo aprenden a caminar los robots: aprendizaje por refuerzo
El robot prueba movimientos, recibe una puntuación por los buenos resultados y aprende por ensayo y error, sobre todo primero en simulación.
The robot repeats this loop many times a second. Tap a step to pause on it.
En el aprendizaje por refuerzo, un programa prueba acciones y recibe una recompensa cuando algo va bien, por ejemplo avanzar sin caer. Tras millones de intentos aprende qué acciones dan más recompensa.
Entrenar en un simulador es rápido y seguro. Luego se pasa lo aprendido al robot real, lo que se llama de simulación a realidad.
Un robot puede descubrir una forma de caminar muy difícil de escribir a mano, y adaptarse a baches y pendientes.
Los ingenieros deben escribir a mano cada regla de la marcha y ajustarla de nuevo para cada robot o terreno.
Los simuladores nunca son perfectos, así que el robot real puede comportarse distinto, y una mala recompensa puede dar comportamientos extraños con trampa.
¿Por qué se entrena primero en simulación?