陆军研究人员使用人类教学来改善自主系统中的导航

将来，可能只需要一名士兵和一个游戏控制器就可以教机器人如何超越人类。

在美国陆军作战能力发展司令部的陆军研究实验室和得克萨斯大学奥斯汀分校，研究人员设计了一种算法，该算法允许自动地面车辆通过观察人类驾驶来改善其现有的导航系统。该团队在陆军的实验车辆Clearpath Jackal上测试了其方法，即通过演示进行自适应规划器参数学习（Adaptive Planner Parameter Learning From Demonstration，APPLD）。

陆军研究员加勒特·沃内尔博士说：“使用APPLD这种方法，现有训练设施中的现役士兵将能够通过简单地正常操作车辆即可改进自主导航系统。” “像这样的技术将对陆军设计和部署能够在越野环境中自动导航的下一代战斗车辆的计划做出重要贡献。”

研究人员将演示算法和更多经典的自主导航系统中的机器学习融合在一起。APPLD并没有完全取代经典系统，而是学习如何调整现有系统使其表现得更像人类演示。Warnell说，这种范例使部署的系统可以保留传统导航系统的所有优点，例如最优性，可解释性和安全性，同时还可以使系统灵活并适应新环境。

Warnell说：“ 使用日常的Xbox无线手柄提供的一次人类驾驶演示，使APPLD能够学习如何根据特定的本地环境以不同的方式调整车辆现有的自动导航系统。” “例如，在狭窄的走廊中，驾驶员放慢速度并小心驾驶。观察到这种行为后，自动驾驶系统学会了在类似的环境中也降低其最大速度并增加其计算预算。这最终使车辆能够成功在以前失败的其他狭窄走廊中自主导航。”

奥斯汀机器人联盟的主席兼教授彼得·斯通博士说：“ APPLD是奥斯汀与陆军研究实验室之间独特的合作促进了研究成果不断增长的又一个案例。” “通过将沃内尔博士全职安排在奥斯汀分校，我们能够迅速发现并解决尖端科学的研究问题。”

团队的实验表明，经过培训，与传统系统相比，APPLD系统能够更快地导航测试环境，并减少故障。另外，受过训练的APPLD系统通常比受过训练的人在环境中的导航更快。经过同行评审的期刊《IEEE机器人与自动化快报》发表了该团队的工作：APPLD：从演示中学习自适应规划器参数。

“从机器学习的角度来看，APPLD与试图从头开始学习整个导航系统的所谓的端到端学习系统形成了鲜明的对比。” “这些方法往往需要大量数据，并且可能导致行为既不安全也不稳健。APPLD利用了经过精心设计的控制系统部分，同时将其机器学习成果集中在参数调整过程上，这就是通常是根据一个人的直觉来完成的。”

APPLD代表了一种新的范例，在这种范例中，不具备机器人专业知识的人可以在各种环境中帮助训练和改善自动驾驶汽车导航。而不是由工程师组成的小型团队试图在少数测试环境中手动调整导航系统，实际上，数量不受限制的用户将能够向系统提供所需的数据，以将其自身调整至不受限制的环境。

陆军研究员乔纳森·芬克（Jonathan Fink）博士说：“通常，对于每个新的部署环境，必须手动重新调整当前的自主导航系统。” “此过程非常困难，必须由接受过机器人技术培训的人员来完成，并且需要反复试验，直到找到正确的系统设置为止。相反，APPLD通过观察人工驾驶来自动调整系统系统，任何人只要有视频游戏控制器的经验就可以做。在部署过程中，APPLD还允许系统随着环境的变化实时地重新调整自身。”

陆军对下一代作战车辆进行现代化改造的重点包括设计可以在越野部署环境中自主导航的可选载人作战车辆和机器人作战车辆。尽管士兵可以驾驶当前的战车在这些环境中导航，但对于先进的自主导航系统而言，环境仍然充满挑战。APPLD和类似方法为陆军改善现有的自主导航能力提供了新的潜在途径。

除了与陆军直接相关之外，APPLD还为弥合传统工程方法与新兴机器学习技术之间的鸿沟提供了机会，从而在现实世界中创建了强大，自适应和多功能的移动机器人。

为了继续这项研究，研究小组将在各种户外环境中测试APPLD系统，雇用士兵驾驶员，并尝试使用多种现有的自动导航方法。此外，研究人员将调查是否包括其他传感器信息（例如相机图像）是否可以导致学习更复杂的行为，例如调整导航系统以在各种条件下（例如在不同地形或存在其他物体的情况下）操作。

参考文献：X. Xiao, B. Liu, G. Warnell, J. Fink and P. Stone, "APPLD: Adaptive Planner Parameter Learning From Demonstration," in IEEE Robotics and Automation Letters, vol. 5, no. 3, pp. 4541-4547, July 2020, doi: 10.1109/LRA.2020.3002217.

Clearpath Jackal 无人车是一个小型，快速的入门级现场机器人研究平台。它具有与ROS完全集成的机载计算机，GPS和IMU，具有开箱即用的自主功能。Jackal最大速度可达2m/s，线加速度可达20m/s2。负载20kg，最大爬坡角度可达40°。