0%

【2020】Uncertainty-based graph convolutional networks for organ segmentation refinement

Motivation

存在问题

  • 器官的形状与背景相似性较高,为器官的分割带来了挑战,存在很多False Negative和False Positive区域,可以考虑通过模型的不确定性分析找出潜在错误分类元素的有用信息
  • 不确定性已被证明是半监督学习中的一种有用的注意力机制,计算机视觉的最新工作已经开始探索不确定性的能力,以寻找潜在的错误分类区域用于精细化分割结果

本文贡献

本文是在医学图像单器官分割任务中第一个提出半监督GCN学习的方法

Methods

本文提出的方法主要用于分割结果的后处理,并且假设无法获取到真实的分割结果。

  • 首先,选汇总一个二进制的volume \(U_b\),用于突出显示潜在的false positives和false negatives \(Y\)
  • 其次,使用\(U_b\)\(Y,g, V\),进一步精细分割结果\(Y\)

Uncertainty Analysis: Finding Incorrect Elements

使用MCDO来评估CNN模型的不确定性。该策略需要应用于带有dropout层的卷积网络中。

首先,获得模型的期望:

\[ \mathbb{E} \approx \frac{1}{T}\sum_{t=1}^{T}{g(V(x), \theta_t)} \]

然后,使用熵来表示模型不确定性\(\mathbb{U}\),使用\(\mathbb{E}\)作为P的概率值来计算熵: \[ \mathbb{U}(x)=H(x) = - \sum_{c=1}^{M}{P(x)^clogP(x)^2} \] 最终,定义潜在不确定性元素为\(U_b\)\[ U_b(x)=\mathbb{1}[\mathbb{U}(x) > \tau] \]

Graph Learning for Segmentation Refinement

使用来自不确定性分析的信息,可以定义一个部分标记的图,其中将体素映射到节点,并将邻域关系映射到边。这样refinement问题化为一个半监督图学习问题。

Partially-Labeled Nodes

volume中大多数voxel与refinement问题无关,且图像不限于矩形结构表示,因此定义一个ROI表示目标结果。\(ROI(x)=dilation(U_b(x))\bigcup \mathbb{E}_b(x)\)

此ROI减少了图的节点数,从而减少了内存需求。最后使用下一条规则根据不确定性在图中标记每一个节点: \[ l(x)=\left\{\begin{array}{ll} Y(x) & \text { if } U_{b}(x)=0 \\ \text { unlabeled } & \text { if } U_{b}(x)=1 \end{array}\right. \]

Edges and Weighting

标记元素和未标记元素的联系通常发生在不确定区域的边界部分。对于选取的一个点,将其坐标系相邻的六个点进行连接,另外再随机选取图中16个节点进行连接。

权重选择使用高斯核进行定义: \[ w(x_i, x_j)=\lambda div(x_i,x_j)+exp(-\frac{||V(x)-V(x_j)||^2}{2\sigma_1})+exp(-\frac{||V(x_i)-V(x_j)||^2}{2\sigma_2}) \]

\[ div(x_i, x_j)=\sum_{c=1}^{M}(P^c(x_i)-P^c(x_j))log\frac{P^c(x_i)}{P^c(x_j)}, M=2 \]

\[ P^1(x_i)=\mathbb{E}(x_i), P^2(x_i) = 1-P^1(x_i) \]

Experiments