研究人员创建了新模型来评估AI生成的导航指令

新兴的AI子领域专注于利用模型来改善遵循人们给出的指令的机器人的性能。这些模型生成的方向(例如，“走楼梯并进入左侧的第一个房间”)从表面上改善了机器人在模拟和现实环境中的导航性能。但是由Google研究人员合着的一项研究发现，这些模型的性能仅比不依赖AI的基于模板的技术略胜一筹。此外，合著者断言，包括BLEU，ROUGE，METEOR和CIDEr在内的自然语言基准对于评估模型生成的导航指令的质量无效。

遵循自然语言指令的机器人在许多场合下都非常有用，例如工业仓储，在这种情况下，工人可能没有空闲的双手来操纵人的操作。它们也很可能适用于养老院等护理设施，患者和医疗保健提供者可以在其中指导机器人执行口头命令来执行任务。Misty Robotics前首席执行官Tim Enwall预测，在20年内，每个家庭和办公室都将拥有一个机器人。另一方面，像加州大学伯克利分校的教授肯·戈德伯格这样的现实主义者预计，要看到能够批量生产的家用机器人能够在孩子，整洁的家具，便餐后再拾起，还需要5到10年的时间。，并进行其他家务劳动。

迈克·莫诺蒂(Mike Monotti)介绍了GameBeat的第3天：推动游戏发展并进入Metaverse 1

Google的合著者声称他们的实验表明，由于缺乏合适的评估指标，阻碍了改进导航指令生成器的努力。除SPICE(由澳大利亚国立大学和麦格理大学附属研究人员首先提出的影像字幕基准)外，合著者们发现，没有任何标准指标与人工寻路的结果相关。

研究人员在一份详细说明其工作的论文中写道： “现有的指令生成器还有很大的改进空间。” “我们的结果及时提醒我们，在将文本评估指标应用于新域时，应始终根据人工判断来对其进行验证。”

为了解决这个问题，研究人员开发了一种“指令-轨迹兼容性”模型，他们声称其性能优于现有的自动评估指标，而无需参考说明。他们说，它可以用于强化学习环境中，或者用于其他情况下，停止使用高质量的过滤导航指令。

研究人员写道：“人们(但不是机器)拥有足够的资源，可以通过付出更多的努力来成功遵循质量不佳的指令……自然语言生成的进步正在增加对可准确评估各种领域中生成的文本的评估指标的需求，” 。“生成接地的导航指令是提高…寻路(机器人)性能的最有希望的方向之一，它本身就是一项具有挑战性和重要的语言生成任务。”