FCN-for-Sematic-Segmentation

2020/4/162015-05-14ZuoxinXiahouFullyConvolutionalNetworksforSemanticSegmentation2020/4/16ContentsCNNFCN&UpsamplingExperimentalTricks2020/4/16CNN(ConvolutionalNeuralNetwork)CNN中ActiveFunction：RELU函数f(z)=max(0,z)而不是Sigmoid函数CNN组成：CONV卷积层、RELU激活函数POOL降采样层、FC全连接层2020/4/16CONV卷积层3通道RGB图像2组3x3滤波器卷积输出InputSizeW1xH1xD1=5x5x34hyperparametersK:Numberoffilters=2F:Filtersize=3S:Stride=2P:zeropadding=1OutputSizeW2xH2xD2W2=(W1-F+2P)/S+1=3H2=(H1-F+2P)/S+1=3D2=K=2Totalweights:(FxFxD1)*KTotalbiases:K卷积过程：输入与滤波器进行模板卷积(matlabconv2(‘valid’))操作，设置滑动步长SCNN特征：Conv层是Local连接，权值数减少了，更不易发生过拟合。上面Example：若全连接，则权值数=(5*5*3)*(3*3*2)=1350；若Conv连接，则权值数=(3*3*3)*2=54，减少了很多参数Fei-FeiLi(Stanford):降采样层与FC层上图是使用Max-Pooling进行下采样的结果Max-Pooling是CNN中最常用的有效的pooling方法卷积输出FC(FullyconnectLayer)与经典的神经网络一致：将ConvLayer或Pooling结果拉成一个向量，向量的每个元素都对应一个神经元，一般CNN的最后一层使用FC层来实现分类2020/4/16CNNExample:LeNet卷积输出1990's:：Layer1(ConvLayer):K=6,F=5,S=1,P=0Layer2(PoolingLayer):S=2Layer3(ConvLayer):K=16,F=5,S=1,P=0Layer4(PoolingLayer):S=2Layer5(FCLayer):NumberofWeights=(16*5*5)x1202020/4/16CNNExample:AlexNetNIPS2012:ImageNetClassificationwithDeepConvolutionalNeuralNetworksActiveFunction：RectifiedLinearUnits(ReLUs),f(x)=max(0,x).2CrossGPUsTraining：InformationsaresharedatLayer3andFClayersLocalResponseNormalization：AidsgeneralizationOverlappingPooling：MorepreciseCaffeModel(AlexNet):分1000类，Softmax分类器Caffe中有AlexNet的proto结构2020/4/16FCN(FullyConvolutionalNetwork)卷积输出cvpr2015:~jonlong/long_shelhamer_fcn.pdf所有Layer都是ConvLayer，无FC层适合end-to-end和dense/pixelwiseprediction，输出结果就是SegmentMap输入：任意size(怎么做到的?)输出：resample到corresponding空间维度CNN对分类问题的效果非常好，但不适合直接做分割；CNN模型的输入维度固定则输出维度也被固定，不适合输入图片尺度变化的情况；FCN是对CNN改进适合直接用于分割的模型：2020/4/16Upsampling卷积输出Whyupsamping?FCN’sstrideoperationsmaketheoutputcoarse(粗糙的)Howupsamping?Combinethefinalpredictionlayerwithlowerlayerswithfiner(精细的)stridesSizeofupsampledpredictionisthesameastheinput(image)sizecvpr2015:~jonlong/long_shelhamer_fcn.pdfFineCoarse去掉最后一级的classifierlayer将ConvNet的FC层的矩阵乘法reinterpret成FilterSize=W1xW2的卷积2020/4/16Architecturecvpr2015:~jonlong/long_shelhamer_fcn.pdf已经存在的ConvNetAlexNetVGGNetsGoogLeNetFCNSegmentationMapReinterpretUpsampleCoarseProcessRefiningProcess文章将FCN用于SematicSegmentation：（1）使用已经成熟的ConvNet（2）将ConvNet转换为FCN进行训练（3）提出上采样方法：一方面结合lowerlayer起到精细化的作用；另一方面保证输出SegmentationMap与输入Image一致2020/4/16ExperimentalTricksFine-tuning利用已训练好的参数进行新网络的初始化，一定程度上避免陷入局部最优Dropout随机地将输出层中的部分weights置为0，用于Deep-Learning中抑制过拟合在ReLU激活函数后使用某种归一化函数进行归一化，在一定程度上能提升泛化效果，AlexNet使用到该技巧ImageNetClassificationwithDeepConvolutionalNeuralNetworks