Deploy006 Norm

用户5190

用户8898

用户1672

2024年10月13日修改

14583

从传统的CNN卷积神经网络到基于Transformer的视觉大模型VIT，再到目前多模态大语言模型MLLM的不断发展，激活函数、归一化函数以及模型初始化，始终作为网络结构中的比较容易忽视的一部分，但是其与模型训练收敛和最终性能息息相关，之前一直比较忽视这部分，以 “浅谈Transformer的初始化、参数化与标准化”为思路 (主要是针对每层结构输出的均值和方差)，

结合之前的文章​Deploy008 激活函数，简单总结一下 归一化层、模型初始化以及激活函数对于以下常见网络训练的影响。​

组件	ResNet	ViT	LLaMA
归一化	Batch Normalization：在每个卷积层后进行BN，减小内部协变量偏移，输出均值接近0，方差接近1。	Layer Normalization：在每个自注意力层和前馈层后进行LN，保持输出均值和方差稳定，适合处理序列数据。	RMSNorm：使用均方根归一化，确保每层输出均值和方差在合理范围内，增强模型稳定性。
权重初始化	He初始化：适用于ReLU激活函数，保持激活值的均值和方差在合理范围，促进收敛。	均匀分布或正态分布初始化：确保每层输出均值和方差适中，保持稳定学习过程。	均匀分布或正态分布初始化：同样确保输出均值和方差适中，稳定训练。
激活函数	ReLU及其变种：简单高效，能减轻梯度消失问题，但输出均值偏向正值，方差较大。	GELU（Gaussian Error Linear Unit）：平滑非线性激活，输出均值和方差稳定，适合复杂模型。	SwiGLU（Swish-Gated Linear Unit）：结合Swish和门控机制，增强非线性表达能力，保持输出均值和方差稳定。

大语言模型的背景下提炼一下关于激活、归一化函数的观点:

1.
模型初始化以及激活函数适配性对于模型收敛性影响:​

衡量网络是否“消失”或者“爆炸”的指标，输出0均值、1方差是非必要的，这里我们用二阶（原点）矩来代替，它可以看成是L2模长的变体，跟方差的作用类似，都可以用来衡量指标是否“消失”或者“爆炸”，但它相对来说更普适和简单。包括Xavier初始化针对sigmoid、tanh的适配、“微调”后的Elu函数等。​

模型	激活函数	对收敛性的影响	优点	缺点
ResNet	ReLU	稳定训练并支持更深的网络结构，减少梯度消失问题。	减少梯度消失；支持残差连接，允许更深的网络。	可能会出现“死神经元”现象，即某些神经元不再激活。
Vision Transformer	GELU	提高收敛速度，提供更平滑的线性与非线性区域过渡，改善训练过程中的梯度流动。	减少梯度消失，保持平滑性，适合处理复杂模式。	对超参数的调优依赖性较强，可能需要更多的实验。
Llama3	SwiGLU	通过非单调特性改善优化过程，使得收敛更加高效，适应复杂的任务。	结合了激活函数和线性单元的优点，适合大规模模型。	由于其复杂性，可能导致解释性较差，难以理解其内部机制。

2.
通过层归一化稳定方差对于模型收敛性影响​

相比激活函数这种简单的“微调”，更直接的处理方法是各种Normalization方法，如Batch Normalization、Instance Normalization、Layer Normalization等，这类方法直接计算当前数据的均值方差来将输出结果标准化。去掉center后的Layer Normalization (Root Mean Square Normalization, RMSNorm) 在Google的T5、以及LLama3中均被使用 替换掉了LayerNorm，实验结论上还有提升，性能上也有优势(无需计算Mean)。​

3.
残差对于模型收敛性的影响​

Post Norm结构，它也是原版Transformer和BERT所使用的设计。然而，这种做法虽然稳定了前向传播的方差，但事实上已经严重削弱了残差的恒等分支，所以反而失去了残差“易于训练”的优点。​

common.docs_name - LarkCCM_Docs_Menu_Image

Post Norm 保证了主干方差恒定，每层对 
 都可能有较大影响。代价则是模型结构中没有从头到尾的恒等路径，梯度难以控制。通常认为会更难收敛，但训练出来的效果更好。​

Post Norm 和 Pre Norm 相反，它每 Norm一次就削弱一次恒等项 
 的权重，变相更突出残差项 
 的（但是梯度还是递减的，只不过总体看更加偏向于残差项）。​

所以其实 Post-N 和传统的深度网络都一样有梯度消失的问题，而 Pre Norm 避免了这种问题，让训练变简单，但是带了新的问题，即网络退化问题。​

归一化函数

1. Batch Normalization（批量归一化）

   - 目的：BN 通过计算每个批次的均值和方差来标准化输入，使输出具有零均值和单位方差。这有助于加速训练并稳定模型。​

   - 计算：对每个mini-batch计算均值和方差，然后进行标准化。(Per channel across mini-batch)​

其中 
 是批量大小，
是一个很小的数字，用于数值稳定性。
 和 
 是可学习的缩放和偏移参数​

https://pytorch.org/docs/stable/generated/torch.nn.BatchNorm2d.html

代码块

import torch​
import torch.nn as nn​
​
class BatchNorm(nn.Module):​
    def __init__(self, num_features, eps=1e-5, momentum=0.1):​
        super(BatchNorm, self).__init__()​
        self.eps = eps​
        self.momentum = momentum​
        # 可学习的缩放和偏移参数​
        self.gamma = nn.Parameter(torch.ones(num_features))​
        self.beta = nn.Parameter(torch.zeros(num_features))​
        self.running_mean = torch.zeros(num_features)​
        self.running_var = torch.ones(num_features)​
​
    def forward(self, x):​
        if self.training:​
            batch_mean = x.mean(dim=0)​
            batch_var = x.var(dim=0, unbiased=False)​
            x_norm = (x - batch_mean) / torch.sqrt(batch_var + self.eps)​
            # 记录移动平均的 running_mean、running_var ​
            self.running_mean = self.momentum * batch_mean + (1 - self.momentum) * self.running_mean​
            self.running_var = self.momentum * batch_var + (1 - self.momentum) * self.running_var​
        else:​
            x_norm = (x - self.running_mean) / torch.sqrt(self.running_var + self.eps)​
        ​
        return self.gamma * x_norm + self.beta​

Deploy006 Norm​

Deploy006 Norm