Flowformer: Linearizing Transformers with Conservation Flows
论文地址:
参考资料:
整体思路以及计算方式
利用网络流的思路计算Attention。
输入:
Calculate incoming and outgoing flow
conservation refine for source and sink
Competition & Allocation
dot product
时间复杂度
训练以及loss
不变。
代码
实验以及适用场景
测试了各种常见,总体来说性能都有提升。
细节
暂无。
简评
从理论和实验来说都还不错,是一篇不错的工作,但是计算的方式有点生硬,感觉并没有抓住问题的核心。
PreviousEL-Attention: Memory Efficient Lossless Attention for GenerationNextETSformer: Exponential Smoothing Transformers for Time-series Forecasting
Last updated