0%

Improved Baselines with Momentum Contrastive Learning

Pdf: https://arxiv.org/abs/2003.04297

Motivation

对比无监督学习有两个比较好的进展MoCo和SimCLR。本文中通过在MoCo框架中实施SimCLR的两项设计改进来验证其有效性。建立了更强大的baseline,性能优于SimCLR。

Methods

SimCLR在三个方面进行了改进:

  1. 使用更大的mini-batch,可以提供更多的负样本(4k或8k)
  2. 用MLP替换FC层
  3. 使用更强的数据增强

在MoCo框架中,大量的负样本是现成的;MLP头部和数据增强与对比学习的实例化方式是正交的。

Experiments

参考文献

  1. 论文阅读:CVPR2020 | MOCOV2:Improved Baselines with Momentum Contrastive Learning