CT金属伪影去除阅读笔记（IDOL-Net)

独孤飞宇

CT成像被广泛应用在临床疾病诊断，但是经常会遇到待检测对象中包含金属等衰减系数非常高的物质 ，比如病人体内可能会有心脏起搏器，血管支架，金属假牙等。由于 金属物质对 Ｘ 射线具有高衰减特性 ，并且对不同能量的Ｘ射线衰减性质还是不一样的，这会导致重建后的图像中会出现明暗相间的金属伪影。这些金属伪影会对图像中的原始信息造成遮挡和干扰，影响图像的后续处理和分析。 严重的话还会影响医生的判断甚至会造成误诊。因此我们得想办法去除掉这些伪影。
CT金属伪影去除方法主要可以分为三类分别是，第一个是基于插值的投影数据修复，第二是基于迭代的重建校正，第三目前出现最多的基于深度学习的方法，其中第三种方法根据处理的数据域的不同又可以分为投影域深度学习校正法，图像域深度学习校正法和双域联合的深度学习校正法。双域端到端的方法已经成为主流算法，它通过融合双域的信息相比于单域的方法可以明显改善伪影去除的效果。


我们先来看一下两个经典的双域去金属伪影的算法，DuDoNet(a)和DuDoNet++(b)，他们都是从投影域到图像域的，中间用重建层连接。在做实验的时候我们发现，DuDoNet将金属轨迹中的投影数据当作缺失，使用线性插值校正后的结果作为输入，这导致伪影校正后的CT图像中金属区域附近会有细节的丢失。DuDoNet++直接使用被金属污染的投影数据和相应的重建CT图像作为输入，有更多的金属附近的细节会被保留保留下来，但是同时更多的伪影也会被保留。




DAN-Net提出一种折衷的办法，他们将线性插值的结果和未被修正的数据加权后作为网络的输入。试图寻求一种平衡。而DSCIP，是直接将线性插值的结果和未被修正的图像在通道维度拼接作网络的输入。后面两种方法DAN-Net和DCIP相比于DUDonet，会有更多的组织细节被恢复，而相比于DuDoNet++，伪影去除的效果要更好一点。
所以我们可以看到，输入数据的质量影响着网络校正的结果。如果输入数据质量高，那么网络校正结果就会更好，那我们是不是可以放一些精力在获取高质量的输入数据上呢？另外，目前的双域方法通常以特定的顺序操作两个域。如下面双域网络框架图所示，有的是从投影域到图像域，有的是从图像域到投影域，或者是第三种情况从投影域到图像域再到投影域。这些方法都隐含地施加了一定的域的优先级，并且串联的处理方式会忽略两个域之间潜在的信息交互。




针对以上两点，IDOL-Net提出了一些改进的办法。首先使用一个先验数据生成模块来同时生成高质量的投影域和图像域的数据先验。为了充分利用投影域和图像域之间的潜在信息交互，本文提出了一个细化模块。细化模块由两个并行的交互式分支组成，这两个分支分别作用在图像域和投影域上。在细化模块中，从两个并行分支导出的中间结果多次进行交互、融合，逐步提高图像质量。








首先来看先验数据生成模块，在图像去噪领域，主要有两种学习策略：一是直接从有噪声的图像中预测干净的图像；另一种是学习残差部分。目前来说，第二种方式使用得更多，主要是因为残差有更简单的流形空间，更容易学习。然而，这两种策略的噪声去除效果都有限。也就是说，如果只直接学习干净的图像，在残余部分也会有有用信息；如果只直接学习残差部分，仍然有部分噪声存在于剩余的“干净部分”。为了促进金属伪影和干净图像的分离以生成更加纯净的先验数据，我们的先验数据生成模块同时采用上述两种图像去噪策略。为了保护信息不损失，还引入了一个损失分量\(L_{ma}\)来约束去噪的结果。




对于每一个细化子模块，每个图像域有两个输入，一个是前一个图像域的输出，另一个是前一个投影域输出经过fbp的结果。每个投影域也有两个输入，一个是前一个投影域的输出，另一个是前一个图像域输出经过前向投影的结果，这两个输出在通道维度拼接作为下一个子模块的输入。


这个是投影域的网络，用的是和前面几个双域网络一样的结构，这里加了一个数据一致性层，主要是想保持金属轨迹外的投影数据不受网络的影响，因为金属轨迹外的投影数据可以看作是干净的，可信的。


这个是图像域的网络，加了残差结构的U-Net。


现在我们来看一下实验结果，表中展示的是在仿真数据集上的指标分数，可以看出IDOL-Net 在SSIM和PSNR上都优于其他方法。


接着我们来看一下伪影去除效果对比图，最后一个是我们的IDOL-Net， 可以看到IDOL-Net可以消除大部分伪影，并且能够很好地恢复金属植入物附近的骨头。 另外，本文还绘制了不同方法对第二张子图金属附近沿橙色短线处 HU值恢复的情况


如绿色虚线框所示，IDOL-Net 获得了与标签数据最一致的结果。


为了评估IDOL-Net 在临床实践中的潜力，我们还对临床有真实金属伪影的 CT 图像进行了测试。可以看到， IDOL-Net抑制了更多的伪影，并有效地保留了金属周围的解剖结构，这表明了其在实际临床应用中的潜力。


参数量和测试时间。
IDOL-Net还是有一些不足的，他的校正结果有点过平滑了，另外这个方法和其他的双域方法一样都需要知道金属的位置，有些是可以用简单阈值分割的方法得到，但是有些不行，比如脑动脉瘤术后CT中的弹簧圈，它几乎和头骨一样。另外，金属伪影的形成一般和金属的材质、金属的大小、金属之间的相对位置还有金属的插入位置等有关。除了金属的材质，其他信息都包含在金属的mask当中。因此，在一下步工作中，可以考虑将金属mask的分割任务整合到CT金属伪影去除网络框架中。仿真的数据和临床数据之间存在着差异，这会影响后续临床应用的效果。研究如何缩小仿真的数据和临床数据之间的差异或者是考虑如何更有效地利用仿真数据集也是很有意义的。
Reference:
[1] Wang et al. IDOL-Net: An Interactive Dual-Domain Parallel Network for CT Metal Artifact Reduction(TRPMS 2022)
[2] Lin et al. DuDoNet: Dual domain network for CT metal artifact reduction (CVPR2019)
[3] Lyu et al. DuDoNet ++: Encoding mask projection to reduce CT metal artifacts (MICCAI2020)
[4] Wang et al. Dual-domain adaptive-scaling non-local network for CT metal artifact reduction (MICCAI2021)
[5] Yu et al. Deep Sinogram Completion with Image Prior for Metal Artifact Reduction in CT Images (TMI 2020)

暮然回首已过千年

真好，最近刚上研一，老师要求也是看论文，写的真好棒棒哒[赞同]