具身智能驱动的机器人仿人上肢灵巧操作及应用验证
机械工程资助企业:
JAKA
企业导师: 丁铖

指导教师: 盛鑫军、于洋

项目成员: 廖清淞、杨雨晨、熊昱涵

项目概述
具身智能是近年来人工智能与机器人领域的重要研究方向,强调智能体在与真实物理环境的持续交互中进行感知、理解与学习。本项目基于节卡 K-1 仿人机械臂,自主设计并搭建了多模态仿人双臂机器人实验平台,围绕具身智能的核心理念,开展了物体分拣、柔顺按摩与蔬菜削皮三项典型任务,重点探究机器人在环境状态感知、多模态信息理解以及任务策略学习与执行等方面的实践方法。
项目目标
本项目基于节卡K-1双臂机器人,研发具备多模态感知与复杂操作能力的仿人上肢机器人系统。目标包括:构建具备视觉与力觉多模态感知、闭环控制及任务学习能力的仿人双臂实验平台;基于视频模仿学习实现物体识别、精确定位与分拣轨迹复现,探索高效的视频示教方式;结合视觉与力控策略完成蔬菜削皮等复杂接触操作,验证机器人对多类工具的适应与操作能力;基于力觉感知实现柔顺按摩,支持多部位、多模式的动作执行,提升人机交互的舒适性与安全性。
项目成果
项目已完成仿人双臂机器人平台的软硬件搭建与系统集成,具备视觉识别、语义感知、力控执行等多模态能力,支持多类任务的灵活切换。在任务层面,成功实现了基于视频模仿学习的物体分拣、基于力觉感知的柔顺按摩,以及面向复杂接触操作的蔬菜削皮三项典型任务。项目同时验证了融合多模态感知与调节策略的控制方法,显著提升了机器人对动态场景和任务变化的适应能力。相关成果为后续更完整的具身智能框架研究和思路探索奠定了坚实基础。