Fourier Neural Operator for Parametric Partial Differential Equations

论文地址：

• https://arxiv.org/abs/2010.08895

整体思路以及计算方式

利用FFT作为token mixer，具体形式为：

对于2维输入$\mathbf X\in \mathbb R^{n\times d}$：

$$\mathbf O = \mathcal F^{-1}(\mathcal F(\mathbf X)\mathbf W) \in \mathbb R^{n\times d}$$

其中：

$$\mathbf W\in \mathbb R^{d\times d}$$

其中$\mathcal F, \mathcal F^{-1}$分别为FFT和逆FFT，高维情形为在多个维度做FFT。

时间复杂度

$O(nd\log n+n d^2)$。

训练以及loss

不考虑。

代码

• https://github.com/zongyi-li/fourier_neural_operator

实验以及适用场景

作者主要测试了PDE的实验，对此不太熟悉。

细节

该方法对于lm情形无法高效适配，因为每次FFT的范围不一致。

简评

很好的一个思路，推广的难点是如何处理lm这样的单向模型。