前期开发这项技术的人认为，由于随机“零件拣选”系统的高度灵活性，将为制造工厂节省大量成本，工人将不再需要从供应商那里装卸零件箱。在生产线上，昂贵的工装夹具、工具和以零件为目标的送料器可以被一个随机的“在箱子里挑选零件”的系统所取代。

可惜的是，在80年代初，这项被认为可行的技术不得不面对残酷的现实。实验室里开发的“分拣”系统在工厂里无法转化为实际应用。人们发现，有时候你会遇到重叠的部分，灯光的变化也会影响“采摘”的进度。当时我们的计算机在处理大量数据时也遇到了障碍，使问题复杂化了。

最后还要研究不复杂的二维机械手引导方案，即从移动的传送带上拾取单个零件，相对通用。然而，通用的随机“挑选”应用方案始终没有实现，直到今天，这仍然是业界的一个挑战。然而，越来越多的迹象表明，以机器视觉为导向的机器人“采摘”越来越接近现实。包括Fanuc公司、Motman公司和Staubli公司在内的操纵器都引入了“分拣”系统。

丰田汽车工厂在其发动机零件加工线中使用了五个机械手的“分类”系统。该系统采用ABB的机械手，并配备由Braintech提供的三维图像技术。有人说，对所有零件实施随机“拣选”方案是不现实的。如弹簧或几何形状复杂的零件，前期不宜采用“挑”方案。相反，经销商更关注几何形状简单、容易识别的零件，包括圆柱形或圆形零件。丰田的系统只属于“半随机”或“半限制”的“分拣”系统，也就是说，在这些系统中，并不是所有的零件都可以随意抓取，零件松散地分布在箱子里。

在TRW公司，当制动转子铸件从供应商处到达工厂时，零件堆叠在一起，没有任何东西将它们彼此分开，因此它们在运输过程中容易移动。TRW公司过去依靠人工操作和提升装置来辅助装卸铸件。在某些情况下，工厂还使用没有视频设备的零件拣选系统。非视频零件拾取系统抓取一个零件需要20秒，但由于零件在木箱中不断变化，因此由于抓取错误，可能需要另外20秒才能从木箱中拾取不同的零件。

非视频系统可能适用于小批量生产线，因为铸造时间是每60秒一次。然而，在工厂的新生产线上，允许的零件拣选周期是15秒，因此不允许使用视频引导的“拣选”系统。

JMP公司为TRW公司提供了两套系统。每个系统配有一套Fanuc公司提供的Fanuc 710ib-45机械手和一个装有VisionPro软件的摄像机，vision pro软件由康耐视公司提供，Reliabot软件由沙菲公司提供，控制机械手/视频之间的通信和机械手的导向功能。JMP公司的生产经理肯·麦克劳克林(Ken McLaughlin)先生说，康耐视公司的摄像头安装在机械臂上，可以用来确定零件的X和Y坐标。机械臂还配备了红外(IR)传感器，用于发现零件箱中一堆零件层的高度。

当操作员将装满堆叠铸件的零件箱放入系统时，启动按钮被触发，机械手开始上升到一个高度。相机拍摄图像，包括确定所有堆叠零件的X-Y位置，然后用IR传感器确定每堆零件的高度，然后确定夹紧顺序。如果发现某个零件的高度异常，它将继续探测，直到其高度与其他堆叠零件的高度一致。

因为有了视频引导系统，即使零件堆放箱倾斜20度，机械手依然可以抓取零件。专门设计的效应器与随动机构相连，保证某些零件的方位和角度适合零件的夹持。机械手将夹紧的零件放在传送带上，然后传送到加工系统。整个过程在12秒内完成，符合TRW公司15秒的要求。

在开发TRW系统的过程中，按照麦克劳克林先生的说法，它被称为“2.5维视频”系统，可以找到一个零件的X、Y、Z坐标，同时利用末端执行器补偿零件的滚动、俯仰和偏转的变化。三维系统使用两个摄像机以三维模式工作，它可以在6个自由度内确定零件的位置。

如果是形状复杂的零件，如支管或变速箱零件，就要采用“半随机”的方案，零件箱内需要有专门的装置来保持零件的方向性。但是，形状相对简单的圆形或圆柱形零件(如制动盘)可以在半随机或全随机模式下拾取。

发那科的“拣选”技术依靠的是固定在零件箱上方的摄像头，通过摄像头可以找到“大概位置”，可以识别并排列出15个待拣选的候选对象。软件通过匹配算法，将从多个方向和角度看到的零件与数据库中待拾取的零件样本进行比对，进而找到待拾取的零件。安装在机器人上的Fanuc传感器用于各种零件的“精确定位”。首先相机寻找X、Y坐标位置和零件名称，而与相机成一定安装角度的激光根据三角测量技术提供Z坐标、偏转和俯仰。操作机械手，直到通过“粗略定位”识别出第一个零件，然后检查；如果是它看到的，机械手会拿起这部分，如果不是，机械手会移动到第二部分。

由于多种原因，系统可能会错过要拾取的零件。遗漏的越多，系统搜索零件的时间就越长。经过对系统零件的不断微调，Fanuc系统随机取放零件所需的平均工作周期从2002年的22秒下降到了现在的15秒。