抓取检测、视觉伺服和动态抓取

抓取计划分两步执行：首先作为一个视觉伺服控制器，以反应性地适应对象姿势的变化。其次，作为机器人逆运动学的一个内部问题，除了与奇异性相关的限制外，机器人对物体的运动没有任何限制。

2.1 抓取检测

早期的抓取检测方法一般为分析法，依赖于被抓取物体的几何结构，在执行时间和力估计方面存在许多问题。

此外，它们在许多方面都不同于基于数据的方法。

2.2 视觉伺服控制

经典的视觉伺服策略要求提取视觉特征作为控制律的输入。近期的VS技术探索了深度学习算法，以同时克服特征提取和跟踪、泛化、系统的先验知识以及在某些情况下处理时间等问题。

一些研究视觉伺服深度学习的工作是通过卷积神经网络进行的。CNN的泛化能力优于RL，因为RL学习的参数是特定于环境和任务的。

这里介绍了四种卷积神经网络模型作为端到端视觉伺服控制器的潜在候选。网络不使用参考图像和当前图像以外的任何类型的附加信息来回归控制信号。

因此，所提出的网络作为实际上的控制器工作，预测速度信号，而不是相对姿态。

2.3 动态抓取

学习感知行为的视觉表征，遵循反应范式，直接从感觉输入生成控制信号，无需高级推理，有助于动态抓取。

强化学习方法适用于特定类型的对象，并且仍然依赖于某种先验知识，因此，较近大量研究探索了将深度学习作为解决闭环抓取问题的方法。

基于两个组件的抓取系统分两部分：首先部分是预测CNN，其接收图像和运动命令作为输入，并输出通过执行这样的命令，所产生的抓取将是令人满意的概率。第二个部分是视觉伺服功能。这将使用预测CNN来选择将持续控制机器人成功抓取的命令。这称为是深度强化学习，需要很久的训练时间。

闭环抓取系统抓取检测和视觉伺服不是同时学习的。可以使用完全CNN获取抓取点，并应用基于位置的视觉伺服，使抓取器的姿势与预测的抓取姿势相匹配。