据悉：
机器人首先要解决的问题是：如何对齐自己执行任务的进度和视频中的进度？

举例来说：同样工作 10 秒，视频中的人可能已经切完菜、开始炒菜了，机器人还在切菜。如果只仅按时间对齐，机器人就会丢失任务进度。

对此，HOST 的做法是“按任务进度对齐”。HOST 会将视频每一帧和机器人操作每一步都转化为同一向量空间里的向量；然后利用“动态时间规整”算法，自动对齐“人类视频的第 X 帧和机器人操作的第 Y 步”。如此一来，机器人执行到每一步时，看到的永远都是和任务进度对齐的那一帧。

凭借这种方法，HOST 将对齐任务进度的时间误差降低了一个数量级，能够做到机器人执行与视频示范的精准同步。

目前，HOST 的研究论文和代码已经全部开源。未来机器人在家庭劳动时，有望摆脱专业化的数据采集和训练过程，通过直观的人类演示就学会新技能。




https://www.xyfan.com/data/attac ... aecbcefd4031b72.png
（转载IT之家）