|
|
论文：3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation
论文最早版本arXiv上的发表时间是2016.06，本文是论文v1版本笔记
MICCAI 2016收录
<hr/>Abstract.
本文提出了一种从稀疏注释的立体数据中学习三维分割的网络。
<hr/>1 Introduction
3D数据对于生物医学数据分析来说显得非常冗余
- 在三维层面上标注分割label比较困难，因为电脑屏幕上只能展示2D的切片
- 同时，逐层标注大量的切片又很繁琐，且相邻层的信息几乎是相同的
- 因此，完整注释3D数据并不是创建大而丰富的训练数据集的有效方法，尤其是对于需要大量标签数据的学习类算法
--
在本文中，我们提出了一个只需要用2D标注数据进行训练，就可以进行3D数据分割的网络。
如图1，这个网络有两种用法：
- Semi-automated segmentation：可以对只进行了稀疏标注的数据集进行密集标注，细化标注的结果
- Fully-automated segmentation：对未标注的数据进行预测，生成一个分割后的数据集
--
该网络基于先前的U-Net架构，其包括用于分析整个图像的编码器部分和用于产生全分辨率分割的连续解码器部分。
--
在很多的医学影像应用中，很少的训练数据就可以产生很泛化性很优秀的结果
- 这是因为每个图像已经包含了具有相应变化的重复结构
- 在3D数据中，这种影响更加明显，甚至我们只需要在两个3D图像上进行训练就可以泛化到第三个上
- 加权损失函数和有针对性的数据增强使我们能够仅使用少量的手动标注切片来训练网络，即，使用稀疏注释的数据训练
--
我们展示了该方法在非洲爪蟾肾脏的共焦显微镜数据集上的成功应用。
1.1 Related Work
今天，通过使用CNN网络，具有挑战的2D生物医学图像的自动分割，已经可以接近人类的水平。得益于2D的成功，一些运用3D数据进行分割的研究也已经取得了很好的成绩。
- Milletari et al 展示了一种结合了CNN和Hough voting进行3D图片分割的方法。但是他们的方法不是端到端的，只是对紧凑的块状数据进行处理
- Kleesiek et al 是为数不多的使用3D CNN进行3D分割的。但他们的网络不是深度网络，并且在他们的第一个卷积层后只有一个最大池化层。因此他无法分析多个尺寸的结构
我们的网络基于2D的U-Net网络
- 这个网络的结构和数据增强方式使这个网络学习少量的标注数据便可以获得很好的泛化能力。
- 它借助了一个事实，即适当的应用刚性变换和轻微的弹性变形，仍然可以产生生物学上合理的图像。
上采样结构诸如FCN和U-Net使用的并不是十分广泛，我们只看到了一篇对U-Net网络进行3D泛化的。
本文的重点是，它可以从零开始使用稀疏注释的数据训练，并可以工作在任意大小的数据上。
<hr/>2 Network Architecture
图2展示了网络结构，与标准的U-Net类似
- 有一条编码路径和一条解码路径，每一条都有4个分辨率级别
- 编码路径每一层包含两个3×3×3卷积，每一个都后接一个ReLU层，然后是一个2×2×2的每个方向上步长都为2的最大池化层
- 在解码路径，每一层包含一个步长为2的2×2×2的反卷积层，紧跟两个3×3×3的卷积层，每一个都后接一个RuLU层
- 通过shortcut，将编码路径中相同分辨率的层传递到解码路径，为其提供原始的高分辨率特征
- 最后一层为1×1×1的卷积层，可以减少输出的通道数，最后的输出通道数为标签的类别数量
--
网络的输入为3通道的132×132×116的像素集合。输出的大小为44×44×28。
--
在ReLU之前使用了batch normalization
--
一个重要的部分是加权softmax损失函数，使得网络可以使用稀疏注释的数据进行训练。
将未标记的像素的权重设置为零，使得网络可以仅从有标记的像素中学习，并推广到整个立体数据。
<hr/>3 Implementation Details
略
<hr/>4 Experiments
略
<hr/>5 Conclusion
我们介绍了一种端到端的网络，可以半自动以及全自动的分割稀疏标注的3D数据。
<hr/>完 |
|
发表于 2023-1-8 14:38:32