# Neighborhood Attention Transformer

论文地址：

* [https://arxiv.org/abs/2204.07143](https://arxiv.org/abs/2204.07143)

## 整体思路以及计算方式

依然是利用Window(Local) Attention的思路，区别在于Window的中心为Query：

![](https://2520240655-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fb2lKDIgZ0I1cirExLedu%2Fuploads%2Fgit-blob-166fe813b3db10c769d8220852004095262d6c3a%2F3.jpg?alt=media)

## 时间复杂度

$$O(l^2 d)$$，其中$$l$$为窗口内token的数量。

## 训练以及loss

不变。

## 代码

* [https://github.com/SHI-Labs/Neighborhood-Attention-Transformer](https://github.com/SHI-Labs/Neighborhood-Attention-Transformer)

## 实验以及适用场景

适用于所有CV场景，也可以尝试在nlp中。

## 细节

暂无。

## 简评

思路非常简单，难点在于工程实现。
