干货 | AR/VR技术与教育应用之四:AR如何与医学

本文转载自:医者仁心 教者恒心

(ID:yixuejzw)

欢迎持续关注“AR/VR技术与教育应用”系列文章

4

-THE SECOND-

AR如何与医学教育结合

图片来源:百度图片

前言

大量新技术以我们意想不到速度不断涌现。对于一项新技术，了解的人越多，这项技术的发展就越有后劲;对于我们而言，了解的新技术越多，就越增强解决问题的能力，在教育实践中运用新技术新方法，真正实现科技改变教育未来。感谢苏州梦想人软件科技有限公司的老师撰写了系列文章向我们介绍了VR/AR技术的起源与应用。

医学教育是AR在医学领域应用最为广泛的场景之一，主要应用在医学类图书、解剖教学、手术训练教学等方面，通过内容、软件、硬件等多种形式，为医学生提供具象化的教学场景和逼真化的练习环境，使医学生对医学知识及手术过程有更好的学习与理解，节省教学成本，提升教学效率。

(一)AR与医学类图书的结合

医学类图书是属科技类图书的一个分支，其内容具有很高的学术性和研究价值，阅读群体也大多都是医学从业人员。利用AR独特的技术特点和优势与传统的图书设计相结合，可以在阅读传统图书获取专业知识与技能的同时又能感受AR技术带来的虚实体验，还可以与图书中的虚拟元素互动。通过这种模式更容易使医学相关从业人员更为形象地了解医学科学奥义，成为未来阅读的趋势。

将AR技术引入医学类图书设计中，主要扩展了传统阅读方式的功能，可以为医学图书提供更为丰富的信息，加入3D交互模型、音频、视频等虚拟信息使得阅读者能够更好地理解书中难以表达和理解的文字部分。

采用AR技术的医学类图书在阅读过程中可以通过AR眼镜、AR阅读APP等终端设备，调用设备上的摄像头扫描图书上与医学相关的目标信息，如血管、局部器官、骨骼等，通过终端屏幕显示虚实结合后的结果，使看到的医学内容更加丰富且真实。

使用安装有AR应用软件的移动终端自带的摄像头将图书中现实环境的图片(如血管、局部器官、骨骼等)或文字捕获并通过网络环境传输到远程图形图像处理服务器，服务器经过对标识的图片进行扫描，在识别成功的情况下定位到目标图片。最后，将经过计算机编程的可交互的虚拟3D模型等虚拟信息叠加到目标图片标定的空间的相对位置，在移动终端屏幕上呈现出可以交互的3D成像模型等虚拟信息。

(二)AR与解剖教学的结合

解剖教学是医学生的基础教学，解剖教学的价值在于提供对包括触觉学习体验在内的3D视图，可进一步阐述课堂和研究中学到的知识，并且可以提供解剖结构及其在整个生物体中相互关系的总体视角。

与传统解剖教学相比，AR技术使用相机、电视等;与教科书描述和解剖结构的独立图形呈现相比，AR提供了更完整的虚拟环境。此外，AR技术的可视化功能用于解剖教学中可以实时显示3D渲染图像，也可以实现其他感官体验，如触觉反馈等。AR系统提供这些可视化的实时操作和对学生的直接反馈，符合传统解剖课技能训练的要求，还可以帮助学生进行自主学习，不受时间和空间的限制。

目前，有几种AR系统已经专门用于解剖教学。德国慕尼黑工业大学的Blum等研发的魔镜(￡Mira-cle)系统是用于本科解剖教学的一款AR系统。学员站在电视屏幕前面，受试者的摄像机图像跟镜子一样被水平翻转并显示在电视屏幕上，学员CT数据的一部分被虚拟添加到用户的身体并显示在电视屏幕上，从而使学生产生了可以看到他的身体内的错觉。而该系统基于手势操作的用户界面允许学生实时操纵可视化的CT数据，他们可通过使用不同的手势在矢状、横向和冠状切片模式中滚动数据。

(三)AR与手术训练教学的结合

很多手术对医生在专注、集中力和执行复杂的心理运动技能方面的要求较为苛刻，不但需要专业仪器的高度自动化处理，还需要掌握该技术及其仪器的特性，比如腹腔镜手术等。

AR技术可以应用在腹腔镜技能培训中，其支持这种具有训练场景的部分任务实践，其允许训练将不同运动能力和解剖结构组合起来的特定外科手术。研究发现，腹腔镜手术的4个AR应用的特征，表明了AR技术对学习的支持和优势。在这种培训环境中，医学生可以使用与OR中相同的仪器训练某些腹腔镜手术，并且可以训练更高级的复杂技能，教师可以用学习任务与演示视频结合来记录学员的表现。例如ProMIS系统将人体模型与笔记本电脑结合在一起，在人体模型内使用跟踪系统来测量外科器械的位置和速度，使这些数据随后在屏幕上可视化。

文章来源：《内蒙古师范大学学报》 网址: http://www.nmgsfdxxbzz.cn/zonghexinwen/2020/0709/356.html