协作机器人加3D视觉能做什么？抓取原理与应用

协作机器人加上3D视觉，可以根据工件实际的位置、高度和朝向调整取放动作，用于散乱零件上料、机床上下料、拆垛及部分定位装配任务。3D视觉提供空间信息，机器人与末端工具负责执行；两者之间还需要目标识别、手眼标定、抓取规划和状态反馈，才能形成完整的视觉引导抓取系统。

3D视觉给协作机器人增加了什么？

固定点位取放依赖工件重复出现在已知位置。来料一旦偏移、叠放或朝向变化，机械臂仍按旧点位执行就可能抓空。视觉引导把“这次工件在哪里”变成每次循环可更新的信息。

常见2D定位使用图像中的平面位置与旋转信息；当工件高度稳定、姿态受夹具约束时，这些信息可能已经足够。3D视觉则进一步获取表面深度及空间形状，用于处理高度或三维朝向变化。点云是一组描述物体表面空间位置的采样点，不是透明地看穿遮挡，也不是物体完整几何的自动保证。

协作机器人的价值在于其适合的作业组织方式与动作能力，视觉负责定位。两者组合不会自动改变人员接近运动区域时的条件；普通3D相机也不能直接替代安全用途的人员检测。相关概念可参见协作机器人与人机共享工位的区别及条件。

从点云到抓取，要经过哪些环节？

1. 采集场景。相机在合适的视野和成像条件下获取图像或点云；采集时机要与机器人、来料运动协调，避免拿上一时刻的位置指导当前动作。
2. 识别目标并估计位姿。软件从场景中区分工件，估计位置与朝向。识别出“一个零件”还不够，必须知道供抓取使用的表面或特征在哪里。
3. 换算坐标。把相机坐标下的结果转换为机器人能够执行的坐标，并结合工具中心点及抓取偏移，得到工具所需的目标姿态。
4. 筛选抓法并规划路径。检查夹爪能否进入、是否有可用接触面、机器人能否到达，以及接近和退出是否会碰到料箱或其他工件。
5. 执行并确认结果。运动到目标后夹持，按设计读取夹爪位置、压力、真空或其他反馈；成功后才能继续交件，失败则进入相应恢复流程。

路径规划中的对象不能只有机械臂。梅卡曼德的官方路径规划说明区分了点云所在坐标系，并说明目标物体的碰撞模型与抓取到放置过程的关联。实际应用同样需要考虑夹爪、已抓住的工件及周边对象，不能只验证空手移动。

手眼标定为什么影响抓取位置？

相机和机器人用不同的坐标描述同一个物体。手眼标定用于建立两者之间的空间对应关系；相机内部成像参数的标定与相机相对机器人的位置姿态标定，是相关但不同的工作。

根据Zivid的手眼标定说明，固定相机的眼在手外方式，需要确定相机相对于机器人基坐标系的关系；相机装在机器人末端的眼在手上方式，则需要确定相机相对于末端的关系，运行时再结合当前机器人姿态完成换算。

固定相机通常从同一观察位置覆盖工位，拍摄位置不随机械臂变化；末端相机可以换观察角度，但会占用末端空间，并影响运动安排、线缆布置和负载。它们没有脱离工位条件的统一优劣。

如果识别轮廓看起来正确，抓取却总朝同一方向偏，应检查坐标转换、TCP和安装位置；如果偏差随机械臂姿态或观察位置变化，还要检查随动关系与拍摄时使用的机器人姿态。重新移动相机、调整夹爪或改变工装后，应验证相关标定仍有效，而不是靠逐个抓取点加偏移掩盖问题。

协作机器人加3D视觉能用于哪些生产任务？

料箱取件与机床上下料

零件在料箱中不完全整齐时，3D视觉可以提供候选目标的空间姿态，让机器人先把可抓取零件取出，再送到定位或加工位置。它减少的是对来料严格定姿的依赖，不能消除夹爪接触条件和后续精定位要求。

例如，取出金属毛坯后，仍可能需要在中转工装中调整朝向再送入机床。夹紧、机床就绪与加工完成信号继续由相应程序衔接；视觉没有把这些动作自动合并。Zivid的料箱抓取与机床上下料教程也将成像、周期安排、投产准备和维护分开处理。

拆垛、分拣与包装上料

箱体或包装高度不一致时，深度信息可以辅助确定上表面与抓取位置。能否吸取还取决于可用表面、包装变形、密封条件以及重心和搬运过程。识别出一个纸箱，并不说明当前吸盘就能可靠搬走它。

定位装配与检测辅助

视觉可以辅助定位待装配零件、修正接近位置，或把工件送到检测工位。不过，精密插装还可能需要机械导向、柔顺或力控；表面缺陷检测则需要相应的成像和判定方法。把3D抓取定位准确度直接当成最终装配精度或缺陷检出能力，会高估系统能做的事。

为什么识别成功，机器人还是抓不到？

识别成功通常只说明某个算法在当前数据中找到了候选对象，不代表它已经通过全部抓取条件。应按失败发生的环节定位问题。

现场表现	优先核查内容
工件局部点云缺失	检查遮挡、反光、深色或透明表面、曝光及观察角度；不要先把缺失几何当成算法识别错误。
位姿可见但不能接近	检查料箱边壁、相邻工件、夹爪外形、机器人可达性和退出空间。
到达目标却抓空或滑落	检查标定和TCP、抓取偏移、工件是否移动，以及夹持面和反馈是否可靠。
越抓到箱底越不稳定	检查箱壁遮挡、剩余件姿态、可用接触面与清箱策略，不能只用满箱表现验收。
抓取正常但循环太慢	分别记录采集、计算、规划、运动和交接等待时间，先找实际耗时环节。

Zivid的遮挡说明列出了物体相互遮挡和料箱壁遮挡造成的数据缺失。改变视角可能改善可见性，但需要重新考虑拍摄与运动安排；如果工件相互缠绕、没有可用抓取面或姿态不可达，可能还需要供料整理或中转工序，而不是继续重复相同抓取。

怎样判断系统具备连续生产能力？

建议用真实生产会出现的工件状态验证完整循环：满箱、半箱和少量剩余件，不同朝向、表面状态与边角位置都应进入样本。若光照、换型或相机温度会明显影响成像，也要纳入对应工况，而不是只拍摄最容易的一件。

记录时把识别失败、规划失败、夹持失败、掉件、人工介入和正常完成分别计数，并说明统计分母。只报“识别率”会漏掉后续动作失败；只报最快一次循环，也会漏掉重拍和等待。可以同时记录一次成功完成比例、含重试的完成情况、周期分布与人工介入原因，不把它们混成一个百分比。

当抓取失败时，流程还应明确是否重拍、换候选目标、转入待处理状态，以及怎样确认原工件已移动或仍在原位。机器人基础的点位、运动与交接逻辑可参见工业机器人编程方式与完整取放循环。视觉结果进入这些逻辑，才成为生产动作的依据。