Pdf: https://arxiv.org/abs/2003.04297
Motivation
对比无监督学习有两个比较好的进展MoCo和SimCLR。本文中通过在MoCo框架中实施SimCLR的两项设计改进来验证其有效性。建立了更强大的baseline，性能优于SimCLR。
Methods
SimCLR在三个方面进行了改进：
- 使用更大的mini-batch，可以提供更多的负样本（4k或8k）
- 用MLP替换FC层
- 使用更强的数据增强
在MoCo框架中，大量的负样本是现成的；MLP头部和数据增强与对比学习的实例化方式是正交的。
Experiments
