麻省理工学院计算机科学和人工智能实验室的研究人员发布了一个开源的模拟引擎，可以构建逼真的环境来训练和测试自动驾驶汽车。

教导神经网络来自主驾驶车辆需要大量的数据。这些数据中的大部分可能很难在现实世界中使用真实的车辆来保证。研究人员不能简单地撞车来教导神经网络不撞车，所以他们依靠模拟环境来获得这种数据。这就是模拟训练环境的作用，如CSAIL的VISTA 2.0。

VISTA 2.0是该团队以前的模型VISTA的更新版本，是一个数据驱动的模拟环境，根据真实世界的数据进行了逼真的渲染。它能够大规模地模拟复杂的传感器类型和互动场景及交叉口。

麻省理工学院教授和CSAIL主任Daniela Rus是关于这项研究的论文的资深作者，他说："今天，只有公司拥有像VISTA 2.0这种类型的模拟环境和能力的软件，而且这种软件是专有的。随着这个版本的发布，研究界将有机会获得一个强大的新工具，以加速自动驾驶的自适应稳健控制的研究和开发。"

VISTA 2.0的逼真环境反映了最近自动驾驶汽车行业的一个趋势。开发人员正在从使用人类设计的模拟环境转向使用根据真实世界数据建立的环境。

这些环境是有吸引力的，因为它们允许直接转移到现实中。然而，要综合自主车辆所需的所有传感器的丰富性和复杂性可能很困难。例如，为了在这些环境中复制LiDAR，研究人员基本上需要使用世界的稀疏视图来生成具有数百万个点的新3D点云。

为了解决这个问题，麻省理工学院的团队将从汽车上收集的数据投射到来自LiDAR数据的三维空间中。然后他们让一个新的虚拟车辆从原来的车辆所在的地方开过去，并在神经网络的帮助下，将感觉信息投射回新的虚拟车辆的视野中。

VISTA 2.0是麻省理工学院CSAIL的开源模拟引擎，可以模拟训练自动驾驶汽车的环境。|来源：麻省理工学院CSAIL

该团队还实时模拟了基于事件的摄像头，其运行速度大于每秒数千次的事件。有了所有这些传感器的模拟，你就能在模拟中移动车辆，模拟不同类型的事件，并将不属于原始数据的全新车辆放入其中。

CSAIL博士生、两篇新论文的共同作者亚历山大-阿米尼（Alexander Amini）和他的博士生王俊轩（Tsun-Hsuan Wang）说："这是自主车辆的数据驱动模拟能力的巨大飞跃，也是处理更大驾驶复杂性的规模和能力的提高。VISTA 2.0展示了模拟传感器数据的能力，远远超出了二维RGB相机，还包括具有数百万点的极高维度三维激光雷达、不规则时间的基于事件的相机，甚至还包括与其他车辆的互动和动态场景。"

麻省理工学院的团队在马萨诸塞州德文斯把一辆全尺寸的汽车拿出来测试VISTA 2.0。该团队看到了结果的立即转移性，既有失败也有成功。展望未来，CSAIL希望能让神经网络理解并回应其他司机的手势，如挥手、点头或眨眼致意。

Amini和Wang与麻省理工学院CSAIL博士生Zhijian Liu、多伦多大学计算机科学助理教授Igor Gilitschenski、人工智能研究科学家和麻省理工学院CSAIL 20年博士Wilko Schwarting、麻省理工学院电子工程和计算机科学系副教授Song Han、麻省理工学院航空和航天学副教授Sertac Karaman以及麻省理工学院教授兼CSAIL主任Daniela Rus一起撰写了论文。