|
|
一、背景：
神经网络已经存在很多年了，受限于数据集大小和网络影响。
对于图像分割不仅需要给像素分类还需要定位，而且分割任务中的数据集往往不大，尤其是医疗图像。
取以图像中每个像素点为中心的局部区域（patch），进行训练，相对于单张图片增大了数据集，但是有两个缺点：
1. patch太大，会导致需要pooling层增多，pooling层会降低分辨率，丢失信息，降低分割准确度
2. patch太小，包含的背景信息不够
patch虽然增大了训练集，但是由于训练图片的数量大，会降低速度，另外不同patch之间的重叠的地方，造成了多余的冗余。冗余会造成影响：卷积核里面的W，就是提取特征的权重，两个patch块如果重叠的部分太多，这个权重会被同一些特征训练两次，造成资源的浪费，减慢训练时间和效率。
那patch大会怎么样？相当于增大了训练集，虽然说会有一些冗余，训练集大了，准确率就会适度上升，可是数据集这个是相同的图片，重叠的东西都是相同的，举个例子，我用一张相同的图片训练20次，按照这个意思也是增大了训练集啊，可是会出现什么结果呢，很显然，会导致过拟合，也就是对你这个图片识别很准，别的图片就不一定了，导致训练结果比较好，但是测试集结果会很差。
该网络框架，最早出现在 2015 年，Olaf Ronneberger ,et. 在论文 U-Net: Convolutional Networks for Biomedical Image Segmentation提出。
(1) 使用全卷积神经网络。(全卷积神经网络就是卷积取代了全连接层，全连接层必须固定图像大小而卷积不用，所以这个策略使得，你可以输入任意尺寸的图片，而且输出也是图片，所以这是一个端到端的网络。)
(2) 左边的网络contractingpath：使用卷积和池化层（maxpooling）。
(3) 右边的网络expansivepath：使用上采样与左侧contracting path ，pooling层的featuremap相结合，然后逐层上采样到原始图片的大小heatmap。（pooling层会丢失图像信息和降低图像分辨率且是不可逆的操作，对图像分割任务有一些影响，对图像分类任务的影响不大）。
为什么要做上采样？
因为上采样可以补足一些图片的信息，但是信息补充的肯定不完全，所以还需要与左边的分辨率比较高的图片相连接起来（直接复制过来再裁剪到与上采样图片一样大小），这就相当于在高分辨率和更抽象特征当中做一个折衷，因为随着卷积次数增多，提取的特征也更加有效，更加抽象，上采样的图片是经历多次卷积后的图片，肯定是成为比较高效和抽象的图片，然后把它与左边不怎么抽象但更高分辨率的特征图片进行连接）
(4) 最后再经过两次卷积，达到最后的heatmap，再用一个1*1的卷积做分类，这里是分成两类，所以用的是两个神经元做卷积，得到最后的两张heatmap，例如第一张表示的是第一类的得分（即每个像素点对应第一类都有一个得分），第二张表示第二类的得分heatmap，然后作为Softmax函数的输入，算出概率比较大的softmax类，选择它作为输入给交叉熵进行反向传播训练 |
|
发表于 2022-12-28 14:03:40