研究面向非结构化场景工业机器人的抓取目标识别与位姿估计方法，实现弱纹理材质、混叠场景条件下工件的三维识别、测量和定位；研制面向机械臂手眼系统的三维视觉测量系统，实现局部三维识别与6D位姿估计。项目基于图像识别、点云匹配、深度学习等先进技术，开发面向工业机器人的目标智能识别与抓取系统，并实现以下目标：

（1）针对深度神经网络需大量图像数据进行训练，构建虚拟工件堆叠场景，获取仿真工业现场的工件堆叠图像数据集与工件位姿数据集，需模拟工业现场的微光、阴影、黑暗、灰尘、散斑等现象；

（2）结合Mask-RCNN等深度神经网络，进行深度神经网络模型参数训练及优化，实现物体图像高精度的分割及分类，工件分割IOU需达到80%以上，分类精度（1-5类物体）需要达到95%以上；

（3）基于RGB和点云融合的位姿估计，将2D目标检测的语义信息与点云数据结合，构建位姿估计网络。实现端到端的工件目标位姿估计。平均角度误差在5°以内，距离误差在5mm以内。

（4）基于以上技术，研究一款基非结构化场景下工业机器人智能识别与抓取系统，该系统包含了摄像头识别检测模块、六轴机械手定位抓取模块以及AGV自适应定位模块等硬件组成，同时也包含了智能控制系统、智能人机交互等。该成果形成产品之后，可广泛应用于汽车制造业、电子制造业等众多行业的工厂中，技术指标先进，可实现小批量多品种的柔性生产。