0%

【2020 MICCAI】Towards Emergent Language Symbolic SemanticSegmentation and Model Interpretability

Motivation

当前最先进的机器学习(ML)和人工智能(AI)的局限性包括缺乏可解释性和可解释能力;即利用深度神经网络的经典黑盒方法无法提供模型行为的证据。

受symbol grounding problem启发,本文研究了深度学习语义分割与Emergent Language(EL)模型之间的协同作用。通过描述如何扩展黑盒语义分割以提供符号语义\((S^2)\)输出,进一步利用EL体系结构的一般属性来促进模型的解释能力。相应的句子(从分类分布中提取)是通过将符号组件集成到传统UNet-Like结构中生成的。

Methods

本文模型假定如下:

  • 分割模型提供分割的输出\(x\)
  • 提供词汇\(V={w_1, w_2, ..., w_{N_V}}\);句子\(S_{N_w}\)的长度\(N_w\)为一系列词组的长度\({w_1, w_2, ..., w_{N_w}}\)
  • Sender agent接受分割模型的输出\(x\)并生成一个长度为\(N_w\)的句子\(S_{N_w}\)
  • Receiver agent获得符号句子\(S_{N_w}\)并生成输出\(x'=Receiver(S_{N_w})\)
  • 最后将\(x\)\(x'\)混合生成最终结果

Sender and Receiver Network

Sender Network

  • \(x\)输入到线性变换中(Linear transformation)
  • 将变换后的结果输入到stacked LSTM网络中

Receiver Network

Receiver由一个标准的LSTM模型构成

  • 初始状态设置为0
  • 为Receiver最后一层隐藏层应用线性变换

Semantic Symbolic Segmentation

  • 将输入\(x\)\(x'\)合并(Concat)
  • 应用一个卷积操作及batch normalization使得tensor具有相同维度
  • 最终结果应用Sigmoid操作

Experiments