触摸已被证明是对重要的灵巧操控的 机器人。最近，由于其低成本和丰富的信号，GelSight传感器引起了基于学习的机器人的极大兴趣。

基于学习的方法在GelSight传感器上能很好地工作的原因是，它们可以输出高分辨率的触觉图像，从中可以估算出通常对机器人控制至关重要的各种特征，例如物体的几何形状，表面纹理，法向力和剪切力 。触觉图像可以输入到基于CNN的标准计算机视觉管道中，从而可以使用多种不同的基于学习的技术：在Calandra等人中。2017年，在Tian等人的文章中，对以自我监督方式收集的GelSight数据进行了训练成功分类器的培训。2019 Visual Foresight，一种基于视频预测的控制算法用于使机器人完全基于触觉图像来滚动模具，并且 Lambeta等。2020年，将基于模型的RL算法应用于使用GelSight图像进行的手动操作。

不幸的是，由于它的大尺寸以及仅在一侧敏感，因此在实际的实际情况下应用GelSight传感器仍然具有挑战性。在这里，我们介绍了一种基于GelSight的新型，更紧凑的触觉传感器设计，该设计可实现全向感测，即使传感器 像人的手指一样在各个侧面都灵敏，并说明这如何为感觉运动学习开辟新的可能性。我们通过教一个机器人拾取电插头并纯粹根据触觉反馈将其插入来证明这一点。

标准的GelSight传感器（如左下图所示）使用现成的网络摄像头来捕获硅胶凝胶皮肤变形的高分辨率图像。凝胶皮肤的内表面用彩色LED照明，为触觉图像提供足够的照明。

GelSight样式传感器（左侧）与OmniTact传感器（右侧）的比较

现有的GelSight设计是平坦的，敏感区域较小或仅提供低分辨率信号。例如，先前版本的GelSight传感器可提供高分辨率（400x400像素）图像，但又大又平坦，仅在一侧提供灵敏度，而商用OptoForce 传感器（最近被OnRobot停产）是弯曲的，但仅提供力读数作为单个3维力矢量。

我们的OmniTact传感器设计旨在解决这些限制。它以紧凑的外形在其曲面上提供了多方向和高分辨率感测。与GelSight相似，OmniTact使用嵌入到硅胶凝胶中的摄像头来捕获皮肤的变形，从而提供丰富的信号，从而可以推断出诸如剪切力和法向力，物体姿态，几何形状和材料特性等多种特征。

OmniTact使用多个摄像头，使其具有高分辨率和多方向功能。传感器本身可以用作“手指”，并且可以集成到抓手或机械手中。它比以前的GelSight传感器更紧凑，这可以通过利用内窥镜中通常使用的微型相机并将硅凝胶直接浇铸到相机上来实现。

来自OmniTact的各种物体的触觉读数。从左到右：M3螺丝头，M3螺纹，带数字4 3 9的密码锁，印刷电路板（PCB），无线鼠标USB。所有图像均从面朝上的相机拍摄。

来自OmniTact的触觉读数在齿轮架上滚动。当传感器旋转时，OmniTact的多向功能使齿轮齿条保持可见。

在整个设计过程中，我们的主要目标之一是使OmniTact尽可能紧凑。为了实现这一目标，我们使用了具有大视角和短焦距的微型相机。具体来说，我们选择了通常用于医疗内窥镜的摄像头，这些摄像头的尺寸仅为（1.35 x 1.35 x 5 mm），焦距为5 mm。如下图所示，这些摄像机被布置在3D打印的摄像机支架中，这使我们能够最大程度地减少传感器表面上的盲点，并将传感器的直径（D）减小到30毫米。

此图像显示了传感器内部的5台微型相机的视场和布置。使用这种布置，可以有效地使大多数指尖敏感。在垂直平面（如A所示）中，获得 270° 敏感度。在B水平面中，除视野之间的小盲点外，可获得360度的灵敏度。

我们证明，可以利用OmniTact的多向触觉感应功能解决具有挑战性的机器人控制问题：仅根据多向触摸传感器提供的信息将电连接器盲目插入墙上的插座（如下图所示）。这项任务具有挑战性，因为它需要将电连接器相对于抓手定位，并将抓手相对于壁装插座定位。

为了学习插入任务，我们使用了一种简单的模仿学习算法，该算法根据来自OmniTact传感器的触觉图像来估算将插头插入插座所需的末端执行器位移。通过使用键盘控制来控制机器人，我们的模型仅进行了100次插入演示。通过运行受过训练的策略获得的成功插入显示在后面的视频中。

如下表所示，与仅使用传感器中的一个摄像头相比，使用我们传感器的多向功能（顶部和侧面摄像头）可实现最高的成功率（80％）触摸感应确实对于解决该任务至关重要。我们还将性能与另一种多方向触觉传感器OptoForce传感器进行了比较，后者的成功率仅为17％。

紧凑，高分辨率和多方向触摸感应技术有可能改变当前机器人操纵系统的功能。我们相信，除了诸如外科手术中的机器人遥操作以及海上和太空飞行任务之类的应用之外，多方向触觉传感可能是通用机器人操纵中的重要元素。

将来，我们计划使OmniTact变得更便宜，更紧凑，从而使其可用于更广泛的任务。我们的团队还计划进行更多的机器人操纵研究，以为下一代的触觉传感器提供信息。