使用人类注视数据的增强型模仿学习算法

 
过去的心理学研究表明，人的凝视可以编码人在执行日常任务(例如制作三明治或热饮)时的意图。同样，发现人的目光可以提高模仿学习方法的性能，使机器人可以模仿模仿者来学习如何完成任务。
受这些先前发现的启发，得克萨斯大学奥斯汀分校和塔夫茨大学的研究人员最近设计了一种新颖的策略，以利用与人类凝视相关的数据来增强模仿学习算法。他们开发的方法(在arXiv上预先发表的一篇论文中概述)使用人类演示者的视线将模仿学习算法的注意力引向他们认为重要的领域，这是基于人类用户参加的事实。
“深度学习算法必须学会识别视觉场景中的重要特征，例如视频游戏角色或敌人，同时还学习如何将这些特征用于决策，”德克萨斯大学的Scott Niekum教授奥斯丁告诉TechXplore。 “我们的方法通过将人的视线作为提示来指示场景中哪些视觉元素对于决策最重要，从而使这一过程变得更加容易。”
研究人员设计的方法需要使用与人类凝视相关的信息作为指导，将深度学习模型的注意力引向要分析的数据中特别重要的特征。这种与凝视相关的指导被编码在训练过程中应用于深度学习模型的损失函数中。
“先前的研究探索凝视数据的使用，以增强模仿学习方法，这些方法通常是通过训练具有更多可学习参数的算法来整合凝视数据，从而使学习的计算成本很高，并且在训练和测试时都需要凝视信息，” Akanksha Saran博士。参与这项研究的德克萨斯大学奥斯汀分校的一名学生告诉TechXplore。 “我们希望探索替代途径，以不增加可学习的参数就能轻松地利用人的视线数据来增强现有的模仿学习方法。”
Niekum，Saran及其同事开发的策略可以应用于大多数现有的基于卷积神经网络(CNN)的体系结构。通过使用辅助凝视损失组件来指导体系结构制定更有效的策略，它们的方法最终可以增强各种深度学习算法的性能。
与使用注视相关数据指导深度学习模型的其他策略相比，新方法具有多个优势。最值得注意的两个是不需要在测试时访问注视数据，也不需要添加其他可学习的参数。
研究人员通过一系列实验评估了他们的方法，使用它来增强不同的深度学习架构，然后在Atari游戏中测试其性能。他们发现，它显着提高了三种不同的模仿学习算法的性能，优于使用人类注视数据的基线方法。而且，研究人员的方法与另一种策略的性能相匹配，该策略在训练过程中和测试时都使用与凝视相关的数据，但是这需要增加可学习参数的数量。
“我们的发现表明，某些先前提出的方法的好处来自于可学习参数本身数量的增加，而不是仅靠凝视数据的使用，” Saran说。 “我们的方法显示出可比的改进，而无需向现有的模仿学习技术中添加参数。”
在进行实验时，研究人员还观察到仅在给定场景中物体的运动并不能完全解释注视编码的信息。将来，他们开发的策略可用于增强模仿学习算法在各种不同任务上的性能。研究人员希望他们的工作也能为进一步研究提供参考，这些研究旨在利用与人类凝视相关的数据来推进计算技术。
萨兰说：“虽然我们的方法减少了测试时间的计算需求，但需要在训练过程中调整超参数才能获得良好的性能。” “通过编码人类注视行为的其他直觉来减轻训练过程中的负担，将是未来工作的一个方面。”
到目前为止，由Saran和她的同事开发的方法被证明是很有前途的，但是有几种方法可以进一步改进。例如，它目前并未对与人类注视相关的数据的所有方面进行建模，而这些方面可能对模仿学习应用程序有益。研究人员希望在未来的研究中专注于其他一些方面。
萨兰说：“最后，凝视与动作之间的暂时联系还没有被探索出来，这对于在表演中获得更多收益至关重要。”