0%

【2017】DeepLabv3:Rethinking Atrous Convolution for Semantic Image Segmentation

Code: https://github.com/eveningdong/DeepLabV3-Tensorflow

Motivation

为了处理在多个尺度上分割对象的问题,本文设计了atrous卷积模块,该模块采用级联或并行的atrous卷积,通过采用多个atrous速率来捕获多尺度上下文。

  • 使用空洞卷积,防止分辨率过低情况
  • 串联不同膨胀率的空洞卷积或者并行不同膨胀率的空洞卷积(v2的ASPP),来获取更多上下文信息

Methods

Atrous Convolution for Dense Feature Extraction

同v2中的空洞卷积,卷积计算公式为:

\[ y[i]=\sum_{k=1}^{K}{x[i+r\cdot k]w[k]} \]

Going Deeper with Atrous Convolution

采用空洞卷积,将多个ResNet Block级联排列。

Multi-grid Method

每个Block中的三个卷积使用各自的Unit Rate。

Atrous Spatial Pyramid Pooling

不同atrous rates的ASPP可以有效捕获到多尺度信息。但随着采样率变大,有效过滤器权重的数量会越来越少。

为了克服上述问题,并将全局上下文信息纳入模型,采用图像级特征。在模型最后一个特征图上应用全局平均池化,将得到的图像级特征放入\(1 \times 1\)卷积中,然后双线性插值上采样至所需空间尺寸。

Experiments