人机交互模式从这里扩容

2019-08-15 10:08:50 来源: 北京日报 作者: 王天淇

带领团队成功研发“多模态自然人机交互神经系统疾病辅助诊断工具”的中科院软件研究所研究员、所长助理田丰

用3D打印的勺子舀水,通过其中的多维度压力传感器,能感应握勺者的握力、转动角度、抖动程度等数据

走进重点实验室

编者按

北京有457家重点实验室、312个工程技术研究中心,其中有3.8万名专职人员。这里,产生了多个具有正规彩票网站app先进水平的创新成果,聚集和培养了一批创新人才,成为北京建设全国科技创新中心的重要基石。

今天起,我们将陆续走进重点实验室,探秘创新之源,倾听那些攻坚克难的故事。

手指触控屏幕直接操作手机或平板电脑,语音控制家电开关,上下班“刷脸”打卡……现代生活,人机交互的应用几乎随处可见。哪怕是用笔书写这种交流方式,也因笔式人机交互技术实现了人机交互模式所提倡的“用户自由”。

在位于中科院软件研究所内的一个重点实验室门口挂着两块牌子,一块是“人机交互北京市重点实验室”,一块是“计算机科学国家重点实验室”。这里既是国内首家专门研究人机交互的省部级重点实验室,也是软件所的国家级重点实验室的一个重要组成部分。

走进实验室,映入眼帘的场景与想象中不尽相同,很接地气儿。宽敞的正规彩票网站app区里是开放式的正规彩票网站app平台,几十个工位接连成片,看起来类似普通软件公司。许多人机交互模式的研究,正是从这普通的正规彩票网站app环境中开启并扩容的。

1 辅诊神经系统疾病

站在连接计算机的摄像机面前,抬抬左腿、抬抬右腿,走一走路,计算机就可以通过生理计算辅助医生诊断出测试者患上帕金森病、阿尔茨海默病的潜在风险。这是人机交互重点实验室众多研究项目中,与人的健康联系最为紧密的研究之一——神经退行性疾病的数字诊疗系统。

目前,脑卒中、帕金森病、阿尔茨海默病、脑小血管病、亨廷顿病等疾病,已经成为严重威胁我国人口健康的重大神经系统疾病。神经功能评价是神经系统疾病早期预警和临床诊断的主要手段,临床上主要是通过各种量表、测试、问卷调查等方法对病人的神经功能进行评估。

传统的诊断方法往往需要病人用笔在纸上画表盘、螺旋线、定点连线;或是重复医生说的一句绕口令,根据指令做双手交替指鼻、折返走、坐在椅子上双脚脚尖不离地同时抬双侧膝盖等动作。医生会根据病人能否准确、清晰地完成指令来判断其是否患有神经系统疾病。但这些方法依赖于专业医疗设备和医务人员,无法作为日常健康评价手段;同时由于神经系统结构和功能的复杂性,这些方法受评估者主观判断影响较大,可观察数据类型有限,使得误诊率和漏诊率相对较高。

中科院软件研究所研究员、所长助理田丰所带领的团队研发了多项笔式人机交互关键技术及相关应用,实现了笔式人机交互技术在医疗、教育、体育等多个领域的落地。

“帕金森患者的常见症状是手抖,如果他的手是左右抖,那在纸上画出来的线条肯定是不平滑的,医生能直观地看出来。但如果病人的手是上下抖呢?”田丰边说边用笔在纸上模拟,笔尖在纸上点出了几个小点,“这种笔尖压力的变化医生很难观察到,但它对神经系统疾病的诊断具有重要的价值。”

基于此,田丰带领的团队2011年开始和北京协和医院合作,将自然人机交互技术与神经系统疾病临床诊断方法结合,研制出了“多模态自然人机交互神经系统疾病辅助诊断工具”。这套系统主要由认知检查、书写运动功能检查、步态功能检查、语音功能检查等子系统组成,囊括了传统的书写、语音、体态、实体抓握等多个神经系统疾病检测方法。比如,同样是让检测者画表盘、螺旋线,以前是在纸上,现在则是在一个平板电脑上,系统会根据检测者书写时的笔尖压力、空间抖动、握笔的转动幅度等多个指标,进行综合测算。再比如步态功能检查,通过与计算机相连的摄像机拍下检测者走路时的姿态,系统根据其行走的步速、步高、步距等多个指标,与样本库内健康人行走时的各项指标数据、病人的各项指标数据进行对比,判断检测者患病的可能性。

“传统的检测方法中还有一个是用勺子舀水,看检测者是否能准确地把水从一个碗里舀进另一碗里。为此,我们特别制作了一种3D打印的勺子。”田丰握在手中的白色勺子与常见的白色瓷勺无异,但它的内部安装了多维度压力传感器,“道理相同,检测者握住勺子时,传感器会精确感知到他的握力、抖动程度,相关数据会在系统内自动对比,这样全方位的检测会比医生的肉眼观察更加全面和准确。”田丰说。

目前,这套系统已应用于北京协和医院、中南大学湘雅医院、天津医科大学总医院等国内多个大型三甲医院,用以辅助诊断神经系统疾病。同时,该系统在国家农村心脑血管疾病危险因素调查、缺血性脑卒中长程随访等重大任务中发挥了重要作用,并在今年6月入选国家卫健委颁发的“医疗健康人工智能应用落地30最佳案例”。

田丰和团队成员正在研究将这套系统应用于手机日常操作,未来,神经系统疾病也许通过一部手机便能进行日常检测、预警筛查、临床诊断,乃至治疗后的康复监测。

2 精准服务电子教学

今年1月,在人民大会堂举行的2018年度国家科学技术奖励大会上,“笔式人机交互关键技术及应用”项目正式获颁国家科学技术进步奖二等奖。这项成果正是田丰团队在田丰的老师、中科院软件研究所戴国忠研究员的指导下,与鸿合科技、北京协和医院、北京教科院等兄弟单位共同主导完成的。

其实,人机交互在教育领域已经扎根多年,最常见的一种形式就是电子白板。通常是教室黑板前安装一块可伸缩的电子白板或投影,上课时老师将电脑和电子白板、投影相连接就可以播放PPT,或用电子笔在电子白板上写字、标注。这种电子白板的形式使互动概念在教学中得以体现。但随着科技正规彩票网站app,传统的电子白板逐渐暴露出一些问题,其中最明显的就是输入不够精确的问题,比如,显示字迹的位置与落笔的位置相隔甚远;不能支持铅笔的细笔尖自然输入。

在田丰和团队成员看来,要解决“输入不够精确”的问题,关键是要找到屏幕下电容传感线最合适的间隔距离。之所以能实现在电子屏幕上输入就直接被系统感知出来,是因为屏幕下分布着许多传感线,当传感线间隔较远时,感知精度就会下降;传感线相隔太近又会互相干扰;传感线太多,系统反应会变慢。经过反复研究验证,他们最终发现间隔6毫米布线的效果最佳。也就是说,采用6毫米间距设置电容感应网格,辅以多源触控分类算法,可支持极细铅笔尖的自然书写,解决了难以同时实现大幅面和高精度的关键难题。

如今,项目团队共同研发的大幅面高分辨交互式大屏,可以实现两个人的20个手指同时在大屏上书写并实时识别显示。为了丰富大屏的教学功能,项目团队还研发出手写数学公式识别技术和笔记结构理解技术。也就是说,老师在智慧大屏上手写一个数学公式,例如“sinπ+cosπ=”,智慧大屏就能直接计算出答案。同时,这一功能还能识别书写时补笔的情况,如分式计算时,需要单独在分母或分子上进行加减,就可以在原计算公式处直接将分号横线补长,而不需要重新编辑一个新的公式。笔记结构理解技术则更加智能和人性化,例如在记笔记时以缩进或树状图的方式分层次记录,系统能自动识别并整理记录内容的结构分类情况,便于教师备课。

目前,由项目团队研发的笔式电子教学系统打破了发达国家的垄断,销量位居全球首位,已覆盖国内30多个省市的课堂教学,并在北美、欧洲、亚洲、非洲等29个国家应用。可以说,这项笔式人机交互应用技术有力地推动了国家教育信息化的正规彩票网站app。

3 助战三届奥运会

虽然众多人机交互模式是从重点实验室开启,模式的灵感却来自室外,源于日常正规彩票网站app和生活。田丰团队笔式人机交互技术最早的落地应用之一,就与国家跳水队有关。

那时国家跳水队的教练员训练运动员时,是站在泳池边,手持纸笔,记录运动员当天要做哪些动作、每个动作做几遍、动作质量完成如何等内容。田丰回忆,教练员大多是以表格的形式记录,如要在陆地上做5遍302B动作、在3米板上做5遍307B动作等,“但纸质记录不容易保留,也难以阶段性地总结、分析运动员的状态。”

于是,国家游泳中心找到中科院软件研究所,希望开发一款适合教练员使用的训练辅助系统。田丰在人机交互重点实验室王宏安主任的带领下接手了这项研究任务。

“就比如‘307B’,如果每次只能写一个数字或字母,那就太费时间了,必须要实现自然的多字连写识别。而且每个教练员的记录习惯不一样,同样一个动作做5遍,有的教练员喜欢写作乘以5的形式,有的喜欢写作5次方的形式,所以还要实现无论哪种形式都能识别。”田丰对当时的困难记得很清楚。

科学不是孤立的,它与其他学科并存且从中汲取灵感。在陷入“笔迹结构理解”的困境时,被广泛应用于美术设计的格式塔心理学启发了田丰。“整体不等于个体之和”,田丰及其团队成员将写在平板上的笔迹结构进行切分,再从临近性、相似性、连续性三个方面将切分出的笔划块进行组合,寻找哪种组合方式使这三项指标综合最优,就选择哪种组合方式识别出字迹。

辅助训练系统研发成功后,不仅能实现精准识别、记录教练员的训练记录,还能记录运动员的体能指数,辅助分析运动员阶段性的训练状态。国家游泳中心对这套辅助训练系统的评价很高,并随即应用到备战2004年雅典奥运会的训练中。此后,这套辅助训练系统还继续服务了2008年北京奥运会和2012年伦敦奥运会,在国家游泳队、国家羽毛球队和国家女子水球队都进行了应用。

4 创新之源就在生活中

从2000年攻读博士,到现在担任所长助理,田丰将近20年的时光都奉献给了中科院软件研究所。提到中科院软件研究所带给他的影响,田丰反复提及一个词“vision”——“做人机交互研究必须有更高、更远的视野。”

在人机交互实验室有一个传统,每周都要开一次论文研读会,老师和学生们围坐一起,研读、讨论领域内最新发表的世界顶级论文,这个传统从田丰做学生时就有,一直到他做了老师还在延续。“这就是为了有更高、更远的视野,你必须时刻了解这个领域最前沿的技术是什么,思考你能为这个领域做出什么贡献。”田丰说。

人机交互实验室采取理论实践相结合的方式对科研人才进行培养,实验室的科研人员不仅要做学术研究,更要参与应用工程项目。田丰告诉记者,目前实验室内共有近50名固定职工,他所带领的研发团队有10名科研人员,其中4名是海外留学人才,而无论是硕士生还是博士生,只要进入实验室就要参与具体应用项目的研发。例如,实验室目前的热点应用“多模态自然人机交互神经系统疾病辅助诊断工具”之所以能够判断出检测者是否患有神经系统疾病,得益于辅助诊断系统后端强大样本库的支撑。为了完善这一系统,团队每年都会带着系统与北京协和医院的医务人员一起到京郊农村义诊,通过为数量可观的老人进行检测、诊断收集数据,而类似这样的实操正规彩票网站app,课题组内的每名职工、学生都要参与其中,“只有自己实地去观察、记录这些老人的身体动态,你才能真正发现自己的技术具体还有哪些问题,才能有针对性地改进、完善。”

在田丰看来,人机交互技术已经给人类生活带来了巨大改变,未来还将产生更深远的影响。现在,中国的部分人机交互技术已经走在世界前列,接下来大家唯有紧跟时代步伐,不忘科研报国的初心和使命,以国家重大需求和广大人民群众的需要为中心,研发更多主流技术和应用,服务国家、造福人民。

加载更多>>
责任编辑:马嘉悦