某些机器人挑战有着明确的应用场景,而有些挑战则需要机器人系统根据场景的变化灵活应变。而教小型机器人玩足球属于后者。近日发表的一篇论文[PDF]中,详细介绍了使用强化学习来教MIT的Mini Cheetah机器人扮演守门员角色;
使用四足动物的足球守门是一个具有挑战性的问题,它将高度动态的运动与精确和快速的非抓握物体(球)操纵相结合。机器人需要在很短的时间内(通常不到一秒)使用动态运动机动对潜在的飞行球做出反应并拦截。在本论文中,我们建议使用分层无模型RL框架来解决这个问题。
实际上,机器人需要锁定足球并在不到一秒钟的时间内自行移动以阻挡球。机器人的参数在模拟器中定义,Mini Cheetah依靠三个动作——回避、俯冲和跳跃——通过确定运动时的轨迹来阻止足球进门。