# Adapting Language Models to Compress Contexts

论文地址：

* [https://arxiv.org/pdf/2305.14788.pdf](https://arxiv.org/pdf/2305.14788.pdf)

## 整体思路以及计算方式

和Recurrent Memory Transformer非常类似，首先回顾Recurrent Memory Transformer的形式：

![](https://2520240655-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fb2lKDIgZ0I1cirExLedu%2Fuploads%2Fgit-blob-b9d08b6432c613fee2b1fdee5e4ca3079676cf3c%2F3.jpg?alt=media)

接着看这篇文章的形式：

![](https://2520240655-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fb2lKDIgZ0I1cirExLedu%2Fuploads%2Fgit-blob-ad4ba1c037013a164e69bfb22282c10dfb5a234f%2F4.jpg?alt=media)

memory到summary token只是换了名字，真正的区别在于本文将每一段的summary token都作为当前段的前缀输入。

## 代码

* [https://github.com/princeton-nlp/AutoCompressors](https://github.com/princeton-nlp/AutoCompressors)

## 简评

相当于增加了short cut，这应该是带来提升的原因。
