机器人视觉：从像素、点云到物体位姿

机器人要抓杯子，二维检测框只能指出图像区域。夹爪还需要杯子相对机器人在哪、朝向如何、哪些地方可接近、误差多大。视觉输出应与动作需求匹配：有些任务需要完整六维位姿，有些只需要一个平面抓取点，有些则由策略直接使用图像闭环控制。

从任务倒推表示

检测输出目标类别与区域，分割区分像素归属，关键点描述有任务意义的位置，三维位姿描述物体坐标系相对相机的变换。深度点云描述可见表面，通常不包含背面；不能把缺少观测的位置直接判成空闲空间。

已知物体模型及二维/三维点对应时，可通过PnP估计相机与物体的相对位姿。离群匹配需要稳健估计，例如RANSAC，再做局部精化。对称物体的多个姿态可能在图像上不可区分，评测时应考虑对称性，而不是只比较欧拉角分量。

RGB-D常见流程是去畸变与对齐、生成点云、裁剪工作空间、去除桌面、聚类或分割目标、估计位姿与抓取候选。每一步都应保留坐标系、时间戳和置信信息；目标突然跳跃时要能追溯到哪一步发生变化。几何方法与学习方法可以组合，不必为了使用神经网络而丢掉已知相机模型。

点到点ICP在当前变换下寻找邻近对应，再求旋转和平移，使对应点距离平方和变小，反复交替。点到平面ICP使用局部法向量约束误差，表面条件适合时可改善局部收敛。两者通常需要合理初值，遮挡、重复结构和错误对应都可能导致错误极小值。MIT几何位姿估计章节从配准、ICP、离群点到追踪逐步展开。

数值例子：源点为(0,0)、(1,0)、(0,1)，已知对应目标点为(2,1)、(2,2)、(1,1)。旋转九十度再平移(2,1)可使残差为零。如果错误地把第二、第三个对应交换，最小化器依然可能找到较小残差，却描述了另一个关系。残差的意义依赖对应是否可信。

在完整流程里，先用特征、先验位姿或全局配准提供初值，再通过近邻距离阈值、法向一致性和稳健损失减少坏对应。还要检查重叠率、残差分布、约束方向和物理可行性。拟合一大片平面时，沿平面的某些运动可能约束很弱，平均残差小并不代表所有自由度都估计准确。

若视觉估计T_camera_object，机械臂需要T_base_object，应使用采样时刻的T_base_camera做组合。夹爪预抓取位姿则还要乘物体到夹爪的任务变换。沿某条轴加“10厘米”的操作必须注明那是相机轴、物体轴还是机器人轴。

视觉置信度不足时可重新观测、换视角或暂停执行；不能通过“继续用上次的目标”无限延长数据有效期。语义类别正确、几何位姿错误，同样会让抓取失败。

手算上述三组对应点，再加入一组离群对应，比较普通平方误差和先剔除明显离群点的结果。为抓取系统写一个输入契约：包含时间、坐标系、位置/姿态单位、对象ID、不确定性及有效期。

本页的坐标例子可以手算核验，没有训练检测器或执行相机/点云设备实验。学习模型的通用训练流程见机器学习基础，机器人特有的动作接口和闭环分布问题见视觉动作策略。