光声血管造影(Photoacoustic Angiography, PAA)技术在医学影像领域扮演着重要角色。它是一种未标记的血管成像方法，能够以高光学对比度揭示器官组织结构。PAA的高空间分辨率对于执行如氧饱和度测量、血流监测和癌症肿瘤诊断等任务至关重要，因为这些任务需要精确地可视化和测量血管网络。然而，获取高分辨率的光声图像通常会导致成像时间过长，从而影响成像速度。这一延长的成像过程限制了光声成像在临床上的应用，特别是对于实时监控活体器官内的动态事件。此外，在成像过程中，还需考虑高强度激光对器官和生物体可能造成的潜在伤害。
为了解决上述难题，我们团队提出了一种名为“DOVE”的创新技术。这项技术通过深度学习和手绘涂鸦的结合，显著提高了光声血管造影(PAA)图像的分辨率。DOVE方法的核心创新在于利用有限的真实图像数据集，通过模拟的手绘涂鸦生成更为真实的PAA图像，并基于此训练超分辨率模型(图一为模型)。通过有效减少血管造影数据集中 99.6% 的图像，我们的方法将结构相似度 （SSIM） 提高了 10.6%，并为 PAA 超分辨率提供了资源友好的解决方案。
图1.(a)-(g)为DOVE的示意图，即利用手绘涂鸦生成的血管造影图像进行超分辨模型的训练。(a)为类似雨的噪声图像。(b)为手绘的涂鸦图像。(c)为(b)与(a)的重叠。(d)为归一化的高斯噪声图像。(e)为从(c)生成的光声血管造影图像。(f)为归一化的光声血管造影图像。(g)为重建的超分辨率图像。(a’)-(f’)对应左侧DOVE示意图的(a)-(f)。(a’)为类似雨的噪声图像。(b’)为高分辨率光声血管造影图像的随机截取图像。(c’)为(b’)与(a’)的叠加。(f’)为生成模型借助(c’)为输入而生成的光声血管造影图像。(i)为基于UNet的DeNN的结构。
图2.左边的虚线框包围了14位专家用来区分真实光声图像和 DOVE 生成图像的方法。（a）人类嘴唇的真实PAA图像。（b）DOVE生成的人类嘴唇PAA图像。（c）由14位光声成像专家将真实和生成的PAA图像分类为Y（判断为真实PAA图像）和N（判断为生成的PAA图像）的散点图。（d）以人唇真实PAA图像（真实）、DOVE PAA图像（生成）、小鼠大脑PAA图像（小鼠大脑）和COCO数据集（COCO）的Fréchet初始距离评分，以人唇真实PAA图像为标准。最长的距离用蓝色标记，而最短的距离用红色标记。比例尺：0.50毫米。
图3.不同重建方法的比较。（a）人体嘴唇的高分辨率图像。（b）双三次算法重建的图像。（c）–（f）使用（c）COCO数据集训练的超分辨率模型重建的结果；（d）将鼠标向后退 PAA 图像；（e）真实的人体嘴唇PAA图像；（f）DOVE生成的人体嘴唇PAA图像。（g） 不同重建的PSNR和SSIM，平均分数用较大的圆圈标记;右下角的图表显示了不同重建方法结果的 PSNR 和 SSIM，其中不同的数据集用不同的颜色标记。比例尺：0.50毫米。
DOVE不仅在技术上取得了突破，而且在性能上超越了现有模型，在测试过程中，与真实PAA图像相比，使用增强PAA图像的超分辨率PAA模型的性能相似甚至提高1.059%。DOVE的成功预示了在高分辨率生物医学成像领域的巨大潜力，对于疾病的诊断和治疗将产生深远影响。这一成果不仅展现了深度学习在医学影像处理中的应用前景，也为未来的临床应用和科学研究开辟了新的道路。、
华南师范大学生物光子学研究院的研究员杨思华与清华大学深圳国际研究生院数据与信息研究院、清华-伯克利深圳学院2022级博士生马远征对这项工作做出了同等的贡献。论文的共同作者还包括西安电子科技大学副教授周王婷，以及清华大学深圳国际研究生院数据和信息研究院、清华-伯克利深圳学院教授张晓平和助理教授唐彦嵩。该研究得到国家重点研发计划、广东省自然科学基金、广州市科技计划项目和深圳市自然科学基金科研经费的支持。