|
|
《Fully Convolutional Networks for Multisource Building Extraction From an Open Aerial and Satellite Imagery Data Set》
一、摘要
卷积神经网络在建筑物提取的应用。研究中利用Siamese U-Net（SiU-Net）在2个分支共享权重，原始图片和下采样图片作为输入，提高了语义精度，尤其对大的建筑物。For multisource buildingextraction,the generalization ability is further evaluated and extended by applying a radiometric augmentation strategy to transfer pretrained models on the aerial data set to the satellite data set.
数据特点：
aerial images+satellite images
1000km2
raster labels+vector maps
二、介绍
在城市规划中，利用遥感影像进行建筑物提取。传统通过颜色、光谱、长度、边缘、形状、纹理、高度、阴影等设计建筑物特征，自动提取较困难。convolutional neural network（CNN）用于binary labels/multiple labels分类或回归问题，常用有AlexNet、VGGNet、GoogLeNet和ResNet。
dense prediction by a pixels-to-pixels fully convolutional network (FCN)，在全卷积网络中feature maps经卷积下采样，转置卷积（transposed convolutions），下采样使图片由高分辨率到低分辨率，上采样至原始规模，由低分辨率回到高分辨率。FCNs有 SegNet，DeconvNet，U-net，数据集有ImageNet、Coco。建筑物提取数据集有Inria data set、Massachusetts data set、ISPRS data set（Vaihingen and Potsdam data sets）。
① Inria data set：0.3m,405km2, open-source aerial building data set，5个城市，180个 tiles，5000*5000，标签形式raster
② Massachusetts data set:1m，340km，151 aerial image tiles，1500*1500，标签形式raster，质量和分辨率低不用于建筑物提取
③ ISPRS data set
都是aerial subsets，13km2，建筑物实例少，标签形式raster
Vaihingen data set：0.05m，2km面积，24个tiles，6000*6000
Potsdam data set：0.09m，11km面积，16个，11500*7500
satellite images受大气等影响存在数据污染，用aerial images预训练校正可提高精度并扩大数据范围。
三、数据集
（一）WHU building data set
（1）aerial images：220000个建筑，0.075m，450km2
将0.075m的aerial images下采样至0.3m，再无缝裁剪成8189个512*512的图片（无overlapping）。
①数据：
train:130000个建筑
validation:14500个建筑
test:42000个建筑
②标签
raster masks
vector shapes
（2）satellite images：2个数据集
①204个图片，512*512，0.3-2.5m，
②550km2，2.7m，17388 512×512 tiles，21556 buildings (13662 tiles) 训练，7529 buildings (3726 tiles)测试。
四、网络
semantic segmentation
building detection
所有卷积层均使用ReLU函数，Adam优化器，batch_size=6，lr=0.0001，biases=0。分为编码器（特征提取网络）和解码器（特征融合网络）。epochs=12。
五、实验结果
（一）数据集分配
Massachusetts data set的110用于训练，测试151-110=41
Inria data set的27训练，9测试
（二）评价
① intersection on union (IoU)
② precision
③ recall
WHU building data set>Inria data set>Massachusetts data set
（三）用于 Aerial Data Set
We ran the SiU-Net 5 times and the deviation of the IoU,recall, and precision is 0.00084, 0.0040,and 0.0039, respectively, indicating the IoU being nearly invariant.
结果：
| methods | IoU | Recall | Precision | | U-Net | 0.868 | 0.945 | 0.903 | | SiU-Net | 0.884 | 0.939 | 0.938 |
表为文章内容，在小的建筑上2个模型效果相似，但大的建筑上SiU-Net效果更优。
（四）用于Satellite Data Sets
文章内容
在形状上2个模型效果相似，但SiU-Net的清晰度更高。
（五）不同模型比较
在FCN上使用MLP、CU-Net、FCN、U-Net、SiU-Net、2-scale FCN。CU-Net和SiU-Net优于2-scale FCN和2-scale FCN，CU-Net和SiU-Net在小建筑上相似，大建筑上SiU-Net效果更优。
六、讨论
（一） Direct Transfer Learning From Aerial Data Set to Satellite Data Set via Radiometric Augmentation
当source data set与 target data set差异较大时，extrapolation and generalization ability差。因此Direct Transfer Learning From Aerial Data Set to Satellite Data Set via Radiometric Augmentation。根据145000个Aerial Data Set训练U-net参数，然后将其直接应用到卫星数据集Satellite Data Set的I和II中。
多源遥感数据集的光谱失真可能是算法退化的关键因素，考虑长距离大气辐射转换，进一步评估光谱增强的U-Net的性能。以不同的虚拟辐射情况对原始输入进行采样，并扩大光谱维度。辐射参数有linear stretching, histogram equalization (binomial distribution), blurs, and salt noise (discrete Gaussian)。生成器（generator）从distributions of the given parameters中随机采样。然后这些样本被用于重采样原始影像去生成新的输入样本。
（二）Fine Tuning on Target Satellite Data Sets
3/4的satellite images用于模型微调，其余预测。网络参数通过 pretrained augmented
U-Net on the aerial data set进行初始化。相比于在 satellite images直接进行随机初始化权重训练，transfer learning（迁移学习）进行fine tuning效果更优。
（三）Recovering Image From Cropped Tiles
GPU内存限制，需对影像进行裁剪。影像裁剪导致边际效应，给大多数卷积分类方法带来问题。使用基于FCN的方法可以精确地检测到边缘地带的裂缝物体，使用无 overlapped tiles的512*512 tiles。
（四）Further Prospects of Our Data Set
vector maps、 mask R-CNN、 bounding box、 AP50 (precision that obtained on 50% IoU)、mask。
七、结论
基于FCN的方法中，基于U-Net的方法更好。迁移学习改善精度。 |
|
发表于 2022-11-27 13:39:07