校企合作毕业设计

利用虚拟现实技术的脑机接口康复系统设计

机械工程

资助企业: 上海念通智能科技有限公司

企业导师: 秦川

指导教师: 孟建军

项目成员: 程瑞佳 洪宇豪 胡康生

项目海报
项目视频
项目简介

项目概述

中风又称脑卒中,包括缺血性脑卒中(脑梗死)和出血性脑卒中(脑实质出血、脑室出血、蛛网膜下腔出血),前者占卒中比例的75%-90%。卒中是严重危害中国国民健康的重大慢性非传染性疾病,是我国成人致死、致残的首要病因。中风患者康复过程分为急性期与慢性期,急性期实际运动受限,慢性期则可以进行一些基本运动。

急性期通过带有节律想象的动作观察范式(AORI)进行康复,该范式具有准确率高、任务具象等优点;而慢性期则可以进行简单的手部动作,并通过分类器判断正误。信号采集设备为上海念通智能科技有限公司的iSense设备,此设备具有采样稳定、噪声小等优点。

为使沉浸感最好,本项目使用VR进行刺激并提供反馈。

项目目标

设计利用虚拟现实技术的康复系统,其满足以下要求:

1.  脑机接口部分,受试者的想象运动2类的平均解码正确率≥75%,或4类SSVEP解码平均正确率≥85%;

2.  形成控制协议,将想象运动或SSVEP的类别信息合理的映射到虚拟患侧肢体的各关节周期性活动;

3.  完成5人次以上的在线多模态信号控制虚拟患侧肢体实验;

4.  肌电部分,该多模态系统的人机交互界面与以系统可通过UDP或是TCP/IP协议进行通信,实现多模态信号控制健康受试者或患者虚拟患侧肢体的运动;

5.  受试者的肌电解码4类动作平均正确率达95%。

项目成果

脑电部分,完成了脑机接口康复系统的设计。本脑机接口康复系统中,受试者可以通过节律运动想象,实现脑控VR中的虚拟肢体进行相同节律的抓握运动。VR实验的二分类离线正确率达到90.7%,在线正确率达到85.5%,满足任务书要求。

肌电部分,实现了肌电与IMU信号处理、分类模型生成算法,此算法在线实验阶段可在500ms之内完成滤波、特征处理与模型分类全流程;进行了10人次肌电与IMU多模态信号实验,所有受试者各动作正确率均达到95%以上,其中在线测试正确率达到97%以上,达到任务书要求。

VR部分,成功使用3ds MAX建模软件与Unity平台搭建还原了实验室中电磁屏蔽室的场景;完成虚拟上肢交互系统设计,并与BCI2000实现UDP通讯,进行联合实验;设计了对比实验,证明使用VR对提升脑电实验质量较为有利,并发放问卷,调查该虚拟世界的沉浸程度。


Copyright © 2020 williamhill威廉希尔官网 版权所有

  • 机动学院

  • 本科教务办