Deploy008 激活函数

用户5190

用户8898

2024年10月10日修改

激活函数

初步总结

在神经网络中，激活函数 用于将非线性引入神经元的输出。它们负责根据神经元收到的输入决定是否应激活神经元。激活函数帮助 神经网络学习输入和输出之间的复杂非线性关系。深度学习中使用多种类型的激活函数，例如“ sigmoid”、“ReLU” 和 “tanh”。​

🎼

激活函数帮助神经网络使用重要信息，同时抑制不相关的数据点。​

💡 前馈传播

•
 信息流沿正向方向发生。输入用于计算隐藏层中的一些中间函数，然后用于计算输出。​

在前馈传播中，激活函数是输入馈送当前神经元和其输出进入下一层之间的“门控”。​

💡 反向传播

•
反复调整网络连接的权重，以最小化网络的实际输出向量与所需输出向量之间的差异。​

反向传播旨在通过调整网络的权重和偏差来最小化损失函数。损失函数梯度决定了相对于激活函数、权重、偏差等参数的调整水平。​

3 种类型的激活函数对比

1. ReLU（Rectified Linear Unit）

ReLU 函数不会同时激活所有神经元。只有当线性变换的输出小于 0 时，神经元才会被停用。​

•
由于只有一定数量的神经元被激活，因此与 sigmoid 和 tanh 函数相比，ReLU 函数的计算效率要高得多。​

ReLU Activation Function

50%

The Dying ReLU problem

50%

存在一定的限制: Relu的导数在负值范围使梯度值为零，由于这个原因，在反向传播过程中，某些神经元的权重和偏差不会更新。某些神经元永远不会被激活 (The Dying ReLU problem)。​

- 计算定义:

- 特点: 简单高效，缓解梯度消失，但负值输出为零。

- 可视化: 线性增长，负值为零。

2. Leaky ReLU

Leaky ReLU 是 ReLU 函数的改进版本，用于解决 Dying ReLU 问题，因为它在负区域具有较小的正斜率。​

50%

Deploy008 激活函数​