研究人员通过展示手术视频教机器人缝合
翻译 2020-06-22 08:22 杨旭 来源:AGV网对医务人员来说,将手术后的病人缝合在一起是一项至关重要而又单调的任务,通常要求他们重复相同的简单动作数百遍。最近在英特尔与加州大学伯克利分校之间的共同努力下,不久之后,外科医生可以将这项繁琐的工作分担给机器人,不过只限用于实现自动缝合。
图片来源于网络
由Ajay Tanwani博士领导的加州大学伯克利分校(UC Berkeley)团队开发了一种半监督的AI深度学习系统,称为Motion2Vec。该系统旨在观看由实际医生进行的公开手术视频,在缝合时分解医生的动作(插针、拔针和移交),然后以很高的精度进行模拟。
Tanwani告诉Engadget:“与传统界面以静态方式学习或从[模仿]轨迹学习相比,从视觉观察中学习具有很大的吸引力,因为现有视频中提供了大量信息内容,” 对于机器人教学,一张图片显然胜过千言万语。
Ken Goldberg博士是加州大学伯克利分校的实验室负责人,也是Tanwani的团队这项研究的顾问。他补充说:“ YouTube每分钟获得500个小时的新资料。这是一个令人难以置信的数据库。任何人都可以观看这些视频中的任意一个并理解它,但是机器人目前无法做到-他们只是将其视为像素流。因此,这项工作的目标是尝试弄清这些像素。那就是看视频,对其进行分析,然后能够将视频分割成有意义的序列。”
为此,该团队利用暹罗网络来训练AI。Tanwani解释说,建立暹罗网络是为了从无监督或弱监督的数据中学习距离函数。他说:“这里的想法是,您想产生大量重组视频中的数据,并将其压缩为低维流形。暹罗网络用于学习该流形内的距离函数。”
基本上,这些网络可以对两个输入之间的相似程度进行排序,这就是为什么它们经常用于图像识别任务,例如将某人的监控镜头与驾驶执照照片匹配。但是,在这种情况下,研究小组使用网络将机械手动作的视频输入与人类医生执行相同动作的现有视频进行匹配。目的是将机器人的性能提高到接近人类的水平。
由于该系统依赖于半监督学习结构,因此该团队仅需要JIGSAWS数据库中的78个视频即可训练其AI以85.5%的分割准确的和平均0.94厘米的目标定位精度来执行任务。
这些技术要进入实际手术室尚需时日,但Tanwani相信,一旦实现,外科手术AI将像当今的半自动汽车上驾驶员辅助系统一样发挥作用。他们不会取代人类外科医生,而是通过接管低水平,重复性的任务来提高他们的表现。Motion2Vec系统不仅用于缝合。如果有适当的训练数据,AI最终可以承担许多职责,例如清创术(从伤口中挑出死肉和碎屑),但不要指望它执行你的下一个阑尾切除术。
Goldberg说:“我们还没有做到这一步,但是我们正在朝外科医生的能力迈进,外科医生将观察系统,指出他们想要一排缝合线的位置,传达出他们想要六个手缝合线的能力。然后,机器人将基本上开始这样做,外科医生将能够稍微放松一下,以便他们可以得到更多休息时间,并能够专注于手术中更复杂或更细微的部分。”
Tanwani补充说:“我们相信,这将有助于外科医生有效地将时间集中在执行更复杂的任务上,并使用技术来协助他们处理日常工作。”