0%

【2020 CVPR】Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary

Motivation

图像分割在医学影像中存在两个关键问题:

  • 分割区域边界模糊,存在歧义性
  • 没有专业领域知识,分割区域不确定

针对以上问题,提出了能够保存目标区域边界信息的医学图像分割框架:

  • 首先,提出了一种新颖的关键点选择算法。
  • 然后,使用一种称为边界保留块(Boundary Preserving Block,BPB)的新型结构边界保留模型将这些点编码到分割网络中。
  • 为了将专家知识嵌入到全自动分割模型中,在没有用户交互的情况下,以对抗性方式引入一种新型的基于结构边界信息的判别网络,成为形状边界感知评估器(Shape Boundary-aware Evaluator,SBE)。

Methods

整体框架分为三部分:

  • Segmentation network
  • Boundary Preserving Block
  • Shape Boundary-aware Evaluator

Boundary Key Point Selection Algorithm

首先提出一个关键点选择算法,找出符合目标区域边界的关键点。

  • 首先,使用传统的边缘检测算法从GT中找出目标物体的边界。

    在目标边界上随机选取n个点,表示为\(P_{n}^{t}=\{(x_1^t, y_1^t),(x_2^t, y_2^t),...,(x_n^t, y_n^t)\}\)

  • 然后,我们通过n轮后的n个点构造边界区域\(S_n^t\)

  • 最后,选取使得IOU最大时的结构边界点为最终的边界点。

    \[\tilde{P}=P_{n}^{\tilde{t}}, \text { where } \tilde{t}=\underset{t \in\{1, \cdots, T\}}{\arg \max } \operatorname{IOU}\left(\mathrm{S}_{n}^{t}, \mathrm{S}_{G T}\right)\]

  • 选取的关键点集\(\tilde{P}\)转换为2维的边界点图(boundary point map)。以这些点为中心,周围半径为R内置为1,其余为0(可以看做二维概率图或heapmap,更适合卷积网络训练和预测)

Boundary Preserving Block (BPB)

通过生成的边界关键点图,分割模型可以在无需交互的情况下将结构边界信息进行编码。

Shape Boundary-aware Evaluator (SBE)

模型最终产生的分割图预测与中间卷积模块中产生的边界点图可以通过形状边界判别器来约束它们之间表达的一致性。

将边界关键点图和给定的分割图像作为输入concat后输入到SBE结构中。

当边界与分割图一致时得分高,不一致时得分低。

通过损失\(L_{SBE}\)训练SBE网络。

\[L_{SBE}=-log(D(S_{GT};M_{GT}))-log(1-D(\hat{S}_{Pred};M_{GT}))\]

Training Segmentation Network

通过三个损失进行训练整个网络。

\[L_{Total}=L_{Seg}+L_{BA}+\sum_{i=1}^{l}{L_{Map}^{i}}\]

分割损失为:

\[\begin{aligned} L_{S e g}=&-\mathrm{S}_{G T} \cdot \log \left(\hat{\mathrm{S}}_{P r e d}\right)-\left(1-\mathrm{S}_{G T}\right) \cdot \log \left(1-\hat{\mathrm{S}}_{P r e d}\right) \end{aligned}\]

关键点损失:

\[L_{M a p}^{i}=-\mathrm{M}_{G T}^{i} \cdot \log \hat{\mathrm{M}}^{i}-\left(1-\mathrm{M}_{G T}^{i}\right) \cdot \log \left(1-\hat{\mathrm{M}}^{i}\right)\]

边界感知损失:

\[L_{BA}=-log{(D(\hat{S}_{Pred};M_{GT}))}\]

其中,\(D(\cdot)\)表示SBE接受分割图和边界关键点图作为输入并产生预测分数。

Experiments

Datasets

  • PH2+ISBI 2016 Skin Lesion Challenge dataset
  • (私有) Transvaginal Ultrasound (TVUS) dataset

Results

文中有提到一句话:

Even the images have ambiguous structure boundary or heterogeneous texture, our method preserves structure boundary of target region; on the other hand, segmentation results obtained from U-Net failed to preserve boundary.

这篇文章对U-Net不起作用?

还有个疑问,在与其他方法对比时,不同数据集使用了不同主干网络,没有提及其他主干网络搭配自己的方法,是结果不好吗?