数学符号 - Transformer-Evolution-Paper

Transformer-Evolution-Paper
Search…
README
数学符号
Normalize_And_Residual
Pretrain
Softmax
Others
数学符号
这里统一规定笔记中的数学记号。
基本符号
1.向量用小写mathbf字体表示：x∈Rd\mathbf x \in \mathbb R^dx∈Rd
(所有向量均为列向量，即x∈Rd×1\mathbf x \in \mathbb R^{d\times 1}x∈Rd×1
)；
2.矩阵用大写mathbf字体表示，X∈Rn×d\mathbf X\in \mathbb R^{n\times d}X∈Rn×d
：
X=[x1⊤⋮xn⊤]∈Rn×d;\begin{aligned} \mathbf X&= \left[ \begin{matrix} \mathbf x_1^{\top} \\ \vdots \\ \mathbf x_n^{\top} \end{matrix} \right]\in \mathbb R^{n\times d}; \end{aligned}X​=⎣⎡​x1⊤​⋮xn⊤​​⎦⎤​∈Rn×d;​
3.​xi\mathbf x_ixi​
表示矩阵X\mathbf XX
的第iii
行的转置；
4.标量用常规字体表示α,β\alpha, \betaα,β
；
5.默认用nnn
表示序列长度，ddd
表示嵌入维度，bbb
表示batch size；
6.Score Matrix：S=QK⊤\mathbf S=\mathbf Q \mathbf K^{\top}S=QK⊤
；
7.Attention Matrix：A=f(S)\mathbf A = f(\mathbf S)A=f(S)
；
一般场景下f=Softmaxf=\mathrm{Softmax}f=Softmax
，但是也可以有别的选择；
8.一些常用算子符号：
​Softmax(X,d=−1):Rn×d→Rn×d\mathrm{Softmax}(\mathbf X,d=-1): \mathbb R^{n\times d}\to \mathbb R^{n\times d}Softmax(X,d=−1):Rn×d→Rn×d
：
​ddd
为归一化维度，不指定时为最后一维，这里表示映射时没有考虑ddd
，做个不严格的简化定义；
​Norm(X,d=−1):Rn×d→Rn×d\mathrm{Norm}(\mathbf X,d=-1): \mathbb R^{n\times d}\to \mathbb R^{n\times d}Norm(X,d=−1):Rn×d→Rn×d
：
各种归一化方式，具体类型使用文字说明，符号中不体现，ddd
为归一化维度，不指定时为最后一维;
​MHA(X,Y):Rn×d×Rm×d→Rn×d\mathrm{MHA}(\mathbf X, \mathbf Y):\mathbb R^{n\times d}\times \mathbb R^{m\times d}\to \mathbb R^{n\times d}MHA(X,Y):Rn×d×Rm×d→Rn×d
：
一种MHA\mathrm {MHA}MHA
的接口，最具体来说X\mathbf XX
对应query，Y\mathbf YY
对应key, value；
​MHA(Q,K,V):Rn×d×Rm×d×Rm×d→Rn×d\mathrm{MHA}(\mathbf Q, \mathbf K,\mathbf V):\mathbb R^{n\times d}\times \mathbb R^{m\times d}\times \mathbb R^{m\times d}\to \mathbb R^{n\times d}MHA(Q,K,V):Rn×d×Rm×d×Rm×d→Rn×d
：
另一种MHA\mathrm{MHA}MHA
的接口，不常使用；
​Tran(X,Y):Rn×d×Rm×d→Rn×d\mathrm{Tran}(\mathbf X, \mathbf Y):\mathbb R^{n\times d}\times \mathbb R^{m\times d}\to \mathbb R^{n\times d}Tran(X,Y):Rn×d×Rm×d→Rn×d
​
Transformer的接口；
​FFN(X):Rn×d→Rn×d\mathrm {FFN}(\mathbf{X}): \mathbb R^{n\times d} \to \mathbb R^{n\times d}FFN(X):Rn×d→Rn×d
：
Transformer中FFN层；
9.​Sum(X,d=0):Rn×d→Rd\mathrm{Sum}(\mathbf X,d=0): \mathbb R^{n\times d} \to \mathbb R^{d}Sum(X,d=0):Rn×d→Rd
​
目前先定义这些，后续再进行补充。
README
Act
Last modified 29d ago
Copy link