# Branchformer: Parallel MLP-Attention Architectures to Capture Local and Global Context for Speech Recognition and Understanding

论文地址：

* <https://arxiv.org/abs/2207.02971>

## 整体思路以及计算方式

利用并联的方式结合Attention和FFN：

![](https://2520240655-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fb2lKDIgZ0I1cirExLedu%2Fuploads%2Fgit-blob-4e5c5cc519f31f8e2c3d08b9af0273561e85cfbc%2F2.jpg?alt=media)

## 时间复杂度

$$O(n^2d)$$。

## 训练以及loss

不考虑。

## 代码

* <https://github.com/espnet/espnet>

## 实验以及适用场景

ASR的实验，这里不讨论。

## 细节

暂无。

## 简评

思路可以借鉴，可以在其他任务中进行测试。
