创建虚拟手术环境,让医学生和新手医生在没有风险的情况下练习手术操作;模拟病变区域,提前研判手术风险,优化手术方案;戴上虚拟现实(VR)设备,与虚拟世界中的任务互动,重塑大脑神经……VR技术正悄然改变医疗行业全链条的各个环节。以VR技术为核心支撑,建立数字人体器官,开展数字化虚拟手术,是先进医学的大势所趋。
先进医学的技术所向
“滋滋滋滋”……走进北京大学口腔医学院口腔智慧多模态一体化虚拟仿真实验室,一排穿着白大褂、戴着防护口罩的口腔医学生,正全神贯注地操作设备,模拟口腔牙拔除术。只见他们轻触屏幕,一个立体的虚拟患者模型即刻旋转呈现:从患者口腔健康状况、牙槽骨情况,到牙齿咬合轨迹、颌骨运动数据……这些以往分散于CT片、口扫仪和问诊单中的信息在虚拟手术仿真系统中一目了然。
“这是我们自主研发、全球首款混合现实口腔手术技能训练系统,主要用于口腔技术技能训练和操作考核。”北京众绘虚拟现实技术研究院有限公司总经理丛宇指着一台白色的手术模拟器向《中国电子报》记者介绍说,该系统通过虚实结合技术,将虚拟的三维口腔图像与实物仿头模精准结合,同时配以准确的力反馈空间和手感,从视觉、听觉、嗅觉、触觉等方面,营造了一个虚实结合的高沉浸感口腔手术环境。
记者了解到,虚拟手术仿真系统是虚拟现实技术在医学领域的一个典型应用,与传统手术教学相比,具有无损伤性、可重复性、可量化评估等优点,可缓解医疗教学资源有限的问题,协助医生和医学院学生提升手术操作技能和熟练程度。
“以虚拟现实技术为核心支撑,建立数字人体器官,开展数字化虚拟手术,是先进医学教育的大势所趋。”丛宇表示,传统的医学教学和手术实践高度依赖动物、尸体标本或硅胶模型,不仅成本高,且难以重复使用。而虚拟现实模拟器可以突破这些局限。他以心血管手术为例,虚拟现实模拟器可高度还原活体心脏的病理特征,如冠状动脉狭窄、堵塞的具体状况,并支持支架植入等手术操作模拟。这是传统医学教学难以实现的,也是虚拟手术模拟器的核心价值所在。
国家虚拟现实创新中心首席科学家林嘉指出,医学人才培养周期长、投入大,背后主要有两方面原因:一是临床实践机会有限;二是传统“师父带徒弟”的培养模式效率低下,难以满足大规模医学教育的需求。“虚拟手术的关键在于让操作者实现操作‘手感’的练习,比如精准把握手术下刀的力度。同时,操作者看到的内容和手部的感受也要保持严格一致。因此算法需要突破虚实结合技术瓶颈,形成涵盖多模态的VR技术。”林嘉称。
已成为进入家庭的“医疗设备”
不仅在医疗教育领域应用广泛,VR技术在临床治疗方面也发挥着日益重要的作用。
戴上VR眼镜,来自杭州的8岁儿童小唐眼前是一个虚拟的足球赛场,作为守门员,他需要快速反应,扑开接连飞来、带有不同数字的足球,直至完成系统设定的训练目标。
这看上去是一场虚拟现实游戏体验,但其实是基于VR技术的儿童注意力缺陷与多动障碍(ADHD,俗称“多动症”)虚拟现实康复训练。“虚拟现实技术在辅助治疗神经、精神疾病方面成效显著。”浙江凡聚科技有限公司创始人兼CEO秦路告诉《中国电子报》记者,神经系统具有可塑性,可通过系统性的锻炼进行重塑。基于此,我们将VR技术与神经科学结合在一起,打造虚拟现实情境任务模拟系统,系统能模拟出特定的情景任务、收集包含行为数据在内的全部数据,并根据控制信号改变虚拟现实情境任务中包括视、听、触觉控件的活动和动作,如此不断反馈和调整算法,最终达到改善神经功能和强化神经网络的目的。
“多模态反馈机制强化了神经重塑效果,系统的趣味化设计降低了患儿的焦虑感,让孩子主动、快乐地进行训练,这些都是传统疗法无法达到的。”秦路说道。
据介绍,面对同一整套视听任务的操作指示,不同年龄、不同性别的孩子,会给出不同的反应。在以微秒为单位的反应时间里,眼球、手部等的不同动作,代表着不一样的注意力专注程度。目前,在ADHD领域,凡聚科技已积累了超过15万小时的测试数据,这些数据包含了不同级别患病孩子以及健康孩子的多维度行为数据。患儿佩戴VR设备进行测试后,通过与同年龄、同性别孩子的数据库进行对比,就能判断其注意力水平以及患病程度。
记者了解到,该软件已通过创新医疗器械的认定评审,并于去年5月获批二类创新医疗器械证。目前已与十几家医院签订协议,成为治疗ADHD的新手段。
秦路表示,除了该产品外,凡聚科技已开发完成一系列脑健康软件产品,包括适用于全年龄段因副交感神经失调而引发的焦虑与睡眠障碍软件、面向中老年人的认知障碍测评软件等。这些产品均基于VR技术,现已进入前期测训试点阶段。“随着国民健康意识的提升,越来越多的家庭重视大脑和精神健康,这为我们的产品创造了前所未有的市场空间,希望我们的产品,连同VR设备一起,未来能够成为中国家庭的新标配。”秦路说道。
VR+医疗待破数据难题
随着人工智能(AI)技术的快速发展,VR技术和AI技术的深度融合,将进一步赋能医疗行业数智化转型。
“AI技术和医学行业本身存在天然耦合性。”丛宇表示,医学行业累积了大量的数据,AI技术则可以利用这些数据创造出更深层次的新数据。例如在医疗教学领域,AI可通过分析海量历史病例数据,生成全新的病例样本,这不仅丰富了医学训练题库,也使训练内容更贴近临床实践;在医疗诊断领域,AI可以精准分析超声波、CT等医学影像,辅助病情诊断。
林嘉指出,VR与AI的深度融合可攻克医学行业数字化转型瓶颈。“以虚拟手术为例,医生手持的VR效应器具有定位功能,能够精准采集医生手部的全部信息,将‘老专家’长期积累的手术经验转化为标准化、可复制、可传承的数字资产;AI技术则可突破虚拟手术中的柔体仿真技术难题。”林嘉表示。
林嘉进一步解释说:“人体组织是柔软的,遇到刺激会发生弹性变形,因此要想实现柔体仿真,需要实时交互,难度系数极大。而生成式AI则可以推测出人体组织在外部刺激下的变化,并通过三维实体模型呈现,相较传统数值解算方式运行效率更高。”
“VR数字医疗技术,其诊疗的全过程都发生在软件平台上,这意味着每一次使用都会自然地产生大量的真实世界数据(RWD)。例如基于VR的康复产品所采集到的康复全过程RWD数据,可以准确地对前续手术技术、手术假体等方面做出有效性和安全性评价。在未来医疗产业中,基于VR的数字医疗产品必然成为RWD应用的典型场景。”秦路告诉记者。
不过,秦路同时也提出,要抓住这个战略机遇,目前还有三大问题亟待解决:一是数据标准的缺失,在VR医疗场景中,不同厂商的设备数据格式、传感器参数、行为指标定义等均差异显著,并且经常存在采集维度片面性的问题;二是数据质量参差不齐,RWD的噪声干扰突出,设计好数据标准后,如何进行全流程的数据采集、处理的质量管控,成为了影响数据有效性的重要维度;三是安全与协同矛盾,医疗数据的高敏感性导致机构间协作难、利用与保护失衡。以上问题导致数据难以横向比对与深度挖掘,严重制约RWD的科研与临床价值。
对此,秦路建议,制定《虚拟现实数字医疗场景数据采集标准规范》,成立标准工作组,联合高校、医院,组建跨学科团队,打造覆盖全链条的VR医疗数据标准框架,定义行业基准线;同时,搭建“临床专家+数据科学家+监管机构+法律专家+软硬件企业”五方对话平台,加速共识形成。
“我国医疗数据资源庞大,大众对数字化产品的接受度非常高,有机会凭借数据优势在该领域实现‘弯道超车’,走到全球前列。”秦路说道。
林嘉认为,在VR+医疗领域,我国与国外发达国家相比仍存在5至10年的差距,特别是在产品多样性和市场规模等方面。记者了解到,近年来,美国食品和药物管理局(FDA)批准的VR/AR医疗器械数量快速增长,截至2024年9月,已有69种整合了AR/VR技术的医疗产品获得批准。
“目前虚拟手术仍处于起步阶段。”林嘉拿驾考流程打了一个比方,“虚拟手术好比科目二阶段,侧重于基础技能训练;假人情景模拟则为科目三,涉及场景化应用训练;而真实手术场景相当于正式上路驾驶,需综合运用各项技能应对复杂状况。”