Code: https://github.com/JLiangLab/SemanticGenesis
Motivation
自我监督学习中的一个关键问题是如何直接从未标记的数据中“提取”适当的监督信号。
Methods
整体框架分为三部分：
- self-discovery of anatomical patterns from similar patients
- self-classifification of the patterns
- self-restoration of the transformed patterns.
Self-discovery of anatomical patterns
在2D/3D图像中裁剪出C个随机但固定坐标的patches/cubes，用于学习它们之间的相似性。
由于坐标系是在参考病人中随机选择的，一些解剖模式对放射科医生来说可能不是很有意义，但这些模式仍然与人体丰富的局部语义联系在一起。
Self-classifification of anatomical patterns
在降采样最低端接入一系列全连接层实现图像分类任务。
其目标是鼓励模型从患者图像中反复出现的解剖模式中学习，从而学习一种深层语义丰富的表达方式。
Self-restoration of anatomical patterns
自我恢复的目的是使模型通过从转换后的模式中恢复原始的解剖模式来学习不同的视觉表示集。
对数据进行一系列增强操作，如non-linear, local-shuffling, out-painting, in-painting，使得图像恢复出原图。
Experiments
