MetaFormer is Actually What You Need for Vision

论文地址：

• https://arxiv.org/abs/2111.11418

整体思路以及计算方式

这篇文章的方法看似很简单，带背后带来的信息其实非常多：

• 只要一个模型有TokenMixer和FeatureMixer两部分，就能带来不错的效果；

• TokenMixer部分作者选择的是pooling；

时间复杂度

因为Tokenmixer使用pooling操作，所以总时间复杂度应该为$O(nd^2)$。

训练以及loss

不变。

代码

• https://github.com/sail-sg/poolformer

• https://github.com/lucidrains/metaformer-gpt

实验以及适用场景

目前的由于使用了pooling，所以只适用于Encoder，但是将其修改，可以适配到Deocder中。

细节

暂无。

简评

大道至简，这篇文章指出来一个本质问题，从这点来说比其提供的方法更重要。