Memformer The Memory-Augmented Transformer

论文地址：

• https://arxiv.org/abs/2010.06891

整体思路以及计算方式

Transformer + 循环，论文只使用在Encoder-Decoder结构中：

• 给定循环次数$T$，输入$\mathbf x\in \mathbb R^{n\times d}$
• 初始化$\mathbf m\in \mathbb R^{m\times d}$
• 对于$\mathbf x$，得到输出$\mathrm{Encoder}(\mathbf x,\mathbf m)\in \mathbb R^{n\times d}$
• $\text{for i = 1,...,T}$:

  • $\mathbf m= f(\mathrm{MHA}(\mathbf m,\mathbf x)) \in \mathbb R^{m\times d}$

时间复杂度

依然是标准Attention的计算方式，但这里涉及到循环，所以时间复杂度为$O(nmTd)$。

训练以及loss

引入MRBP的训练方式，具体见论文。

代码

• https://github.com/lucidrains/memformer

实验以及适用场景

单向双向模型均适用；论文里只测试了lm（单向模型），效果有所提升。

细节

$m$不在计算图内。

简评

总结：

• 本质上就是RNN，不会进行复现；