亚马逊发布了一个数据集，其中包含超过190万个物体的图像，据称这些物体可用于训练机器人进行拾取和放置任务。亚马逊声称这是在工业产品分类环境中捕获的最大图像数据集。

该数据集名为ARMBench，可用于训练拾取和放置机器人，以更好地概括新的对象和上下文。这些图像是在亚马逊仓库中收集的，机械臂从装满物品的箱子中取出一件物品，然后将其转移到传送带上的托盘中。由于箱中的对象种类繁多，并且它们具有各种配置和交互，因此此任务可能很困难。

数据集中的图像分为三类：

拣选图像：机器人开始拣选之前装满物品的箱子的自上而下图像

传输图像：机器人将物品转移到托盘时从多个视点捕获的图像

放置图像：放置所选物品的托盘的自上而下图像

ARMBench 包含来自三个独立任务的图像，即对象分割、对象识别和缺陷检测。

对象检测数据集可帮助机器人识别同一箱中不同产品的边界，其中包含超过50，000张图像。这些图像显示每张图像 50 到 10 个手动对象分割，平均约为 5. 个。

对象分割数据集可帮助机器人确定参考数据库中的哪个产品图像对应于图像中突出显示的产品。此数据集包括超过 235，000 个标记的拣选活动，每个领料活动包括一个拣选图像和三个传输图像。该数据集还包括超过 190，000 种产品的参考图像和文本描述。模型可以学习将这些参考产品之一与拾取和传输图像中突出显示的对象进行匹配。

从左到右：来自亚马逊 ARMBench 数据集的拣选图像、传输图像和放置图像。|来源：亚马逊

缺陷检测数据集包括图像和视频，可帮助系统了解机器人何时犯了错误，例如捡起多个物品而不是一个或在传输过程中损坏物品。该数据集在传输阶段捕获了 19，000 多张图像。它还包括 4，000 多个视频，这些视频记录了导致产品损坏的拾取和放置活动。

视频是此数据集的一个关键方面，因为某些类型的产品损坏最好通过视频进行诊断，因为它们可能发生在传输过程中的任何时候。缺陷检测数据集还包含超过 100，000 个无缺陷的拾取和放置活动的图像和视频。

亚马逊计划继续扩大ARMBench中图像和视频的数量，以及它们描述的产品范围。

2022 年 65 月，亚马逊推出了 Sparrow，这是一种能够在包装前挑选单个产品的机械臂。据该公司称，Sparrow可以在亚马逊仓库处理的超过100亿种不同物品中挑选%。

Sparrow可以挑选各种物品，如DVD，袜子和毛绒玩具，但很难选择包装松散或复杂的物品。该公司似乎有可能利用其在开发Sparrow时所做的研究来构建这个数据集。