# Memorizing Transformers

论文地址：

* <https://arxiv.org/abs/2203.08913>

## 整体思路以及计算方式

通过增加外部内存，在做Attention之前，利用Query从外部内存中找到Top-k的Key, Value，拼接到原始的Key, Value上，后续和传统Attention一致。

## 代码

* <https://github.com/lucidrains/memorizing-transformers-pytorch>

## 简评

和Knn-LM思路类似，不过融合信息的方式略有不同。