研习U-Net

神仙难觅 · 发表于 2022-12-5 15:47:04

可惜的是，这个网络结构是不能被训练的，原因在于，不会由任何梯度会经过这个红色区域，因为它和算loss function的地方是在反向传播时是断开的。

是这个位置么? 因为是断开的, 那个损失函数只与最后的那一路输出有关, 与其他的输出无关, 这导致无法反向传播, 无法利用前面的支路, 无法优化网络.

经典非流行 · 发表于 2022-12-5 15:47:19

很有意思的densenet + u net！

洋陶清道夫 · 发表于 2022-12-5 15:48:04

讲得太赞了！尤其是那些网络结构分析之外的东西，厉害！
[棒]

日子总有顺逆流 · 发表于 2022-12-5 15:48:51

非常非常喜欢这种interactive的讲解，这样可以给读者机会去复盘自己的思考，给读者带来远大于单纯说教的益处，期待大神更多的作品！

匹马又西风 · 发表于 2022-12-5 15:49:13

我也做过类似稠密连接+多路损失值输出的unet结构。我觉得这只是不同层次同构unet的一种复合网络。这种复合unet测试精度不会优于同层级的unet。unet的层级自然要于任务难度匹配。如果任务复杂，采用稠密连接的unet不如直接增加unet的层级。总之，我觉得稠密连接对带skipconnectin的网络来说，都是无效的。

石狮市贵泉模具厂 · 发表于 2022-12-5 15:49:56

我想问一下，为啥剪枝完剪掉的部分在训练时的反向传播中是有贡献的？剪枝完那个结构不就不存在了吗？或者有代码吗

乱世煮酒论天下 · 发表于 2022-12-5 15:50:54

你觉得无效就无效，kaggle一票金牌都是这么玩的，给跪了

玉小五 · 发表于 2022-12-5 15:51:13

确实是这样。包括写到文章里也是一大堆的。
我原来表达上有问题。我是想说，如果把增加一层看做+1，增加一个连接可能是+0.1。不是说+0.1不如+1好，只是对网络容量的改变不如增加层级来的明显。有时+0.1给精度的提升也大于+1，可能这个时候数据集和网络的匹配程度就差这0.1。毕竟它们之间是最讲究般配的。调参就是一直在干这个活。当然这是指的unet,resnet这些本身就是多路径的网络。

盗草仁 · 发表于 2022-12-5 15:52:01

我的意思是，要么理论证明，要么实验出结果。
我试了作者的nestunet，50M的参数，我自己的数据集几百套CT，训练非常稳定。教科书般的收敛曲线。指标没有大幅提高。但是方差低。还是点赞的。而且参数量比同样效果的Unet140M小2/3。虽然dense和ds都是别人提出的，但作者手速快，先做到Unet上，确实无话可说。

深圳市宝安区凯旋城老土 · 发表于 2022-12-5 15:52:15

同样效果的unet是2015年unet原始论文里的结构吗？我这里实验原始unet参数是31M左右啊。