利用超分辨率深度神经网络将欠采样图像重构为高分辨率光声血管造影图像，从而增强了光声血管造影系统对活体组织动态过程的成像能力。但由于缺乏对点扩散函数和外部噪声的知识，光声造影图像的退化难以估计，导致训练后的超分辨率模型泛化能力较差。之前部分工作通过为人工下采样的血管图像加入人工生成的高斯噪声、椒盐噪声来模拟真实世界的噪声，并进一步通过深度神经网络训练该低分辨到高分辨的映射，实现具有噪声鲁棒性的超分辨神经网络，提高了模型的泛化能力。 但是这样的方式，非常依赖于噪声参数的设置，是一种噪声的“硬编码”估计，而非优越的数学选择。如何从模拟真实世界中提取噪声，以加入低分辨图像中提高模型对噪声的去除能力？我们在本工作中考虑一种用于重建高分辨率血管图像的高阶残差级联神经网络，一级网络借助对抗训练，实现外部环境噪声的模拟，并将该噪声加入在低分辨图像中。第二级网络借助Runge-Kunta残差结构[2]，实现图像由低分辨到高分辨的推理重构。
图1：带有HRCNN的SR-PAA的示意图。①：用真正的欠采样数据集和高分辨率图像训练过程。其中真实欠采样数据集中的图像没有与高分辨率图像配对。 ②：利用一级网络（Imi-NN）估计高分辨率图像对应的欠采样图像。 ③：用高分辨率图像及其相应的神经元近似欠采样图像训练过程。 ④：利用第二级网络（Recon-NN）模型重建欠采样图像的超分辨率图像。
为了处理训练超分辨率模型时的过拟合问题，在数据准备方面，本文抢先一步提出借助对抗训练生成光声血管的方法，使用基于BicycleGAN的图像合成器构造新的血管图像样本，通过生成逼真的光声血管图像训练网络，该过程实质上增加了训练数据集。
图2：基于BicycleGAN的图像生成器模型产生光声血管造影图像的部分实例。首列为输入图像，第二列为重采样掩模，第三列和第四列的图像是重采样结果。
之后，本文对重建结果进行了定量分析。该分享表明，高阶残差级联神经网络能够实现少样本的光声血管造影超分辨重建，并有优于其他超分辨率神经网络的能力。重要的是，我们证明了模型的泛化能力能够在少样本的训练中实现，为少样本超分辨率光声血管造影提出新的路径。
图3：HR4CNN在仿真退化样本上的重建性能。 (a): 具有不同降解程度的合成欠采样图像。每个图像左下角的蓝色阴影表示用于执行图像退化的卷积内核。 (b): 数据展示说明。(c): 采用不同方法对退化图像的重建结果（重建方法显示在每行左侧）。
Yuanzheng Ma, Kedi Xiong, Xuefei Hou, Wuyu Zhang, Xin Chen, Ling Li, and Sihua Yang*, Cascade neural approximating for few-shot super-resolution photoacoustic angiography, Applied Physics Letters, 121, 103701, 2022.