Photoacoustic Medical Translation Lab
手机浏览
二维码 扫一扫
科研进展

光声混合-增强现实导航,裸眼透视深层血管的密码

2023-07-21

透视眼是人类梦想拥有的超能力。对于血管外科临床医生而言,更是梦想利用透视超能力快速准确地定位皮下血管,进而把握手术黄金时间,提高手术成功率。比如,在穿支皮瓣移植手术中,医生需要在下腹部或者大腿上寻找穿支血管用于组织重建。由于血管解剖结构复杂,穿支血管定位不准确等问题,这种手术往往长达几个小时。同样,在冠状动脉介入手术中,医生常使用手臂或者大腿上的桡动脉作为导管入口,而桡动脉的解剖异常会严重影响手术的成功率和手术时间。如果外科医生具有血管透视能力,就可以利用肉眼对皮肤进行扫描,直接透过皮肤对血管进行定位,从而轻易解决血管定位难、定位不准确的问题。

随着科技的发展,人们已经可以借助科技的力量进行透视,比如利用我们熟知的CT、超声等设备。借助这些医学成像设备,医生逐渐能够“看”到身体内部重要器官的信息。然而,由于CT具有电离辐射,超声对微血管灵敏度低等问题,现有的医学手段很难无损地看清皮下血管网络。此外,利用医学成像设备获取的血管信息会呈现在2D显示屏,与手术表面分离。二者的结合需要高度依赖医生的经验,这也使得影像导航不够准确且具有潜在风险。

近日,华南师范大学杨思华教授团队提出一种基于光声影像和计算机视觉的的自动血管导航方法,用于对皮下血管进行快速准确定位。该团队提出利用光声断层成像(PACT)对深层血管网络进行高分辨率成像,并结合混合现实技术将血管投影至皮肤表面,实现了实时的裸眼血管定位。在此基础上,该团队进一步在虚拟的三维空间将三维血管网络和手术表面融合,以增强现实的方式实现血管导航。该方法打破了传统血管定位方法中不能无损地对皮下血管进行裸眼高分辨率可视化的局限,有望真正赋予医生“透视”能力,使医生仅凭肉眼便可以进行快速准确的血管定位。相关研究成果以“Photoacoustic-enabled automatic vascular navigation: accurate and naked-eye real-time visualization of deep-seated vessels”为题发表在Advanced Photonics Nexus 2023年第4期。

 微信图片_20230721203054.png

图1 光声影像引导的血管自动导航原理图

由于人体皮肤组织多呈曲面状,而二维血管图像在三维曲面上进行投影会产生投影误差,如图2(d)所示。因此,血管在皮肤表面进行准确定位的关键是解决曲面投影问题。研究团队提出了一种曲面拟合算法来减小血管图像在曲面上投影的误差。该方法首先利用三维表面重建算法,对目标进行三维表面重建,然后如图2(c)所示对重建的三维模型构建几何模型。通过对几何模型进行数学分析,求得最 优的图像变换关系,并将其应用到待投影的血管图像上,最终使得图像可以在曲面上进行更加准确的投影,以此来增加血管定位的精度。从图2(e)结果可以看到,经过曲面拟合之后,投影精度明显提升,误差从1.91 mm降低到0.16 mm。

 微信图片_20230721203107.png

图2 曲面拟合算法原理及结果

有了理论方法便需要将其付诸实践,为了验证混合现实中血管自动导航方法的可行性以及准确性,研究团队在兔子大腿和人体手臂上进行了验证。研究团队首先利用PACT对皮下深层血管进行成像并重建出二维和三维的血管图像,然后利用混合现实技术结合曲面拟合算法,将二维的血管影像投影至皮肤表面,实现皮下血管直接在皮肤表面准确可视化,如图3(g)所示。此外,考虑到术中手术解剖面可能发生不自主位移的情况,为了确保发生不自主移动后血管仍然可以准确定位,该团队采用视觉追踪算法对目标进行追踪。同时为了应对皮肤表面弱纹理导致追踪鲁棒性低的问题,研究团队也提出了一种改进的视觉追踪算法,以此来提高鲁棒性,从而提高手术表面发生移动后血管定位的精度。如图3(e),(f1),(f2),(f3)所示,该团队对所提出方法进行了验证实验,通过改变兔子腿的位置来验证血管追踪的能力。最 后,该团队还对活体实验中整个实验过程的血管定位误差进行了统计分析,如图3(i)所示。结果显示,这种血管自动导航的方法具有小于0.89 mm的平均精度。通过这种混合现实的方式,可以在真实世界赋予医生透视能力,使得医生仅依靠肉眼便可以透过皮肤实时准确地定位血管。

 微信图片_20230721203114.png微信图片_20230721203114.png

图3 混合现实方式实现血管导航

在该方法中,团队创新性地提出在三维点云空间中融合光声三维血管网络以及手术表面模型,其中手术表面模型利用三维表面重建方法进行重建。如图4(a)所示,融合之后的模型以稠密点云的方式显示在三维点云空间。并且在这个空间中可以对融合的模型进行旋转、缩放等操作,比如通过放大模型透过皮肤看到皮下血管,放大之后的效果如图4(e)所示。该模型还可以通过坐标测量的方式来提供三维血管网络中的血管和皮肤表面的位置、结构关系。该方法可以在构建的三维空间中赋予医生透视能力,以增强现实的方式实现血管导航。

 微信图片_20230721203130.png

图4 增强现实方式实现血管导航

华南师范大学光声生物影像团队利用光声断层扫描与混合/增强现实结合,提出并演示了一种准确的裸眼实时可视化血管的方法。该方法发挥了光声成像可以对血管进行无损高分辨率成像的天然优势,利用这一优势结合计算机视觉的技术展示了一种以精确的影像导航无损可视化深层血管的透视能力。在未来,这一技术可以帮助医生在血管类相关手术中进行快速准确地定位血管,提高手术成功率。此外,血管类相关研究人员也可以通过该方法进行高分辨率血管裸眼可视化,以此提高研究效率。

该团队研究人员认为,光声成像技术正在高速发展。随着激光器、探测器以及成像算法的不断发展,光声成像可以成像更高分辨率以及更深的血管,这样在皮肤表面则可以投影更加丰富的血管信息,可以为医生提供的有效信息就会越来越多。因此,该方法具有很强的医学应用潜力,并且未来在临床手术和血管类相关研究中,对准确定位血管的贡献将会越来越大。


公众号原文链接🔗:https://mp.weixin.qq.com/s/gld8EQ1nfv5niT4BEAsHzQ