# Scaling Transformer to 1M tokens and beyond with RMT

论文地址：

* <https://arxiv.org/abs/2304.11062>

参考资料：

* <https://zhuanlan.zhihu.com/p/624487780>
* <https://zhuanlan.zhihu.com/p/624451562>

## 整体思路以及计算方式

基于Recurrent Memory Transformer的思路进行一些toy example的验证，可以参考之前写的笔记。

## 简评

任务设定比较简单，但是可以测一下LM外推性的效果。