Code: https://github.com/TheLegendAli/DeepLab-Context
Motivation
存在的问题
- 重复池化和下采样导致分辨率大幅下降,位置信息丢失难以恢复
- 空间不变性导致细节信息丢失
主要的优势
- 速度很快,DCNN 8fps,CRF需要0.5秒
- 准确率高,当时在PASCAL的语义分割集上效果最好
- 结构简单,DCNN和CRF的组合
Methods
空洞卷积
不更改卷积核大小的情况下,通过增加Input stride增加卷积核的感受野。
CRF
卷积网络在分类精度和定位精度之间存在一个自然的取舍:具有多个最大池化层的更深模型在分类任务中很成功,但其不变性的增加和更大的感受野使得从高层次输出中预测位置变得更具挑战性。
本文采用条件随机场(CRFs)处理分割中不平滑问题,使用全连接的CRF模型修复预测结果中的一些小的结构。能量函数为:
\[ E(x)=\sum_{i}{\theta_i(x_i)}+\sum_{ij}{\theta_{ij}(x_i, x_j)} \]