利用虚拟现实技术的脑机接口康复系统设计
机械工程资助企业:
上海念通智能科技有限公司
企业导师: 秦川

指导教师: 孟建军

项目成员: 程瑞佳 洪宇豪 胡康生

项目概述
中风又称脑卒中,包括缺血性脑卒中(脑梗死)和出血性脑卒中(脑实质出血、脑室出血、蛛网膜下腔出血),前者占卒中比例的75%-90%。卒中是严重危害中国国民健康的重大慢性非传染性疾病,是我国成人致死、致残的首要病因。中风患者康复过程分为急性期与慢性期,急性期实际运动受限,慢性期则可以进行一些基本运动。
急性期通过带有节律想象的动作观察范式(AORI)进行康复,该范式具有准确率高、任务具象等优点;而慢性期则可以进行简单的手部动作,并通过分类器判断正误。信号采集设备为上海念通智能科技有限公司的iSense设备,此设备具有采样稳定、噪声小等优点。
为使沉浸感最好,本项目使用VR进行刺激并提供反馈。
项目目标
设计利用虚拟现实技术的康复系统,其满足以下要求:
1. 脑机接口部分,受试者的想象运动2类的平均解码正确率≥75%,或4类SSVEP解码平均正确率≥85%;
2. 形成控制协议,将想象运动或SSVEP的类别信息合理的映射到虚拟患侧肢体的各关节周期性活动;
3. 完成5人次以上的在线多模态信号控制虚拟患侧肢体实验;
4. 肌电部分,该多模态系统的人机交互界面与以系统可通过UDP或是TCP/IP协议进行通信,实现多模态信号控制健康受试者或患者虚拟患侧肢体的运动;
5. 受试者的肌电解码4类动作平均正确率达95%。
项目成果
脑电部分,完成了脑机接口康复系统的设计。本脑机接口康复系统中,受试者可以通过节律运动想象,实现脑控VR中的虚拟肢体进行相同节律的抓握运动。VR实验的二分类离线正确率达到90.7%,在线正确率达到85.5%,满足任务书要求。
肌电部分,实现了肌电与IMU信号处理、分类模型生成算法,此算法在线实验阶段可在500ms之内完成滤波、特征处理与模型分类全流程;进行了10人次肌电与IMU多模态信号实验,所有受试者各动作正确率均达到95%以上,其中在线测试正确率达到97%以上,达到任务书要求。
VR部分,成功使用3ds MAX建模软件与Unity平台搭建还原了实验室中电磁屏蔽室的场景;完成虚拟上肢交互系统设计,并与BCI2000实现UDP通讯,进行联合实验;设计了对比实验,证明使用VR对提升脑电实验质量较为有利,并发放问卷,调查该虚拟世界的沉浸程度。