近日，中国热科院农机所在香蕉采摘机器人视觉系统方面取得新进展，创新研发了一种高精度、轻量化的香蕉串视觉识别与定位系统，并成功将其部署到边缘设备上进行应用。研究成果显著提升了香蕉采摘机器人在复杂环境下的目标识别与定位能力，同时为拓展至果园多种类水果的智能化采摘提供了技术支撑。

　　香蕉是全球最有价值的农产品之一，其采摘环节对机器人技术提出了极高要求。在果园非结构化场景中，现有的机器人视觉感知系统仍面临性能瓶颈、模型复杂度高、部署困难等问题。

　　研究首先提出了一种名为Slim-Banana香蕉检测模型，显著降低了计算复杂度，同时保持了高效的性能表现。其次，结合RealSense深度传感器及TOF技术，实现了香蕉在果园世界坐标系下的三维定位。系统最终成功部署在Nvidia Orin NX边缘设备上，研究团队对其在实际应用中的性能和资源消耗情况进行了充分评估。研究结果表明，视觉系统的识别精度、召回率、mAP以及推理时间分别为0.947、0.948、0.98和113.6ms，所需显存仅为4449MiB，在X轴、Y轴和Z轴方向上的定位平均误差分别为13.47mm、12.87mm和13.87mm。此外，与现有方法相比，Slim-Banana模型在复杂果园环境中实现了更高效的香蕉串识别与定位。　　 

采摘机器人视觉感知系统作业场景图

Slim-Banana网络结构图

　　该研究成果以“An Efficient and Lightweight Banana Detection and Localization System Based on Deep CNNs for Agricultural Robots”为题发表于《Smart Agricultural Technology》。中国热科院农机所研究实习员郑镇辉和华南农业大学本科生陈玲为论文共同第一作者，广东海洋大学党委书记/华南农业大学工程学院教授杨洲和中国热科院农机所助理研究员王槊为论文共同通讯作者。该研究得到海南省重点研发项目、“十四五”广东省农业科技创新十大主攻方向“揭榜挂帅”项目、中央级公益性科研院所基本科研业务费和国家自然科学基金等项目资助。

　　论文链接：

　　https://www.sciencedirect.com/science/article/pii/S2772375524001552