石家庄医疗网站建设谈谈你对网络营销的认识

石家庄医疗网站建设,谈谈你对网络营销的认识,dedecms英文外贸网站企业模板,上海有哪些互联网公司在深度学习中#xff0c;激活函数#xff08;Activation Function#xff09;是神经网络的灵魂。它不仅赋予网络非线性能力#xff0c;还决定了训练的稳定性和模型性能。那么#xff0c;激活函数到底是什么#xff1f;为什么我们非用不可#xff1f;有哪些经典函数…在深度学习中激活函数Activation Function是神经网络的灵魂。它不仅赋予网络非线性能力还决定了训练的稳定性和模型性能。那么激活函数到底是什么为什么我们非用不可有哪些经典函数又该如何选择本文带你全面解析。所有相关源码示例、流程图、面试八股、模型配置与知识库构建技巧我也将持续更新在GithubAIHub欢迎关注收藏阅读本文时请带着这三个问题思考什么是激活函数为什么需要激活函数经典的激活函数有哪些怎么选择激活函数1. 什么是激活函数为什么需要激活函数激活函数的核心作用就是为神经网络引入非线性。为什么需要非线性想象一下如果网络里每一层都是线性的比如 y Wx b无论堆叠多少层最终网络都只是一条线性映射。深度堆叠就没有意义了网络的表达能力非常有限。激活函数的作用激活函数在每个神经元输出前进行非线性变换让网络可以拟合复杂的函数关系从而解决分类、回归等非线性问题。**直观理解一下**激活函数就像神经网络里的“开关”或“滤镜”它决定了每个神经元应该多大程度地“激活”从而使网络具备强大的表达能力。2. 经典的激活函数在深度学习中有几类经典激活函数每种都有自己的优缺点1. Sigmoid公式f ( x ) 1 1 e − x f(x) \frac{1}{1 e^{-x}}f(x)1e−x1​优点输出范围在 (0,1)可以表示概率缺点容易饱和输入过大或过小时梯度接近0导致梯度消失应用场景二分类输出层2. Tanh双曲正切公式f ( x ) tanh ⁡ ( x ) e x − e − x e x e − x f(x) \tanh(x) \frac{e^{x} - e^{-x}}{e^{x} e^{-x}}f(x)tanh(x)exe−xex−e−x​优点输出在 (-1,1)比 sigmoid 居中对梯度更友好缺点仍可能梯度消失应用场景RNN 隐层3. ReLURectified Linear Unit公式f ( x ) max ⁡ ( 0 , x ) f(x) \max(0, x)f(x)max(0,x)优点计算简单导数恒为1正区间缓解梯度消失缺点负区间可能“死亡”即神经元永远不激活应用场景隐藏层主流激活函数4. Leaky ReLU / Parametric ReLUPReLU公式f ( x ) { x , x 0 α x , x ≤ 0 ( α ≈ 0.01 ) f(x) \begin{cases} x, x 0 \\ \alpha x, x \le 0 \end{cases} \quad (\alpha \approx 0.01)f(x){x,αx,​x0x≤0​(α≈0.01)Leaky ReLU: 对负区间引入一个小斜率避免神经元死亡PReLU: 斜率可学习更灵活5. Softmax公式Softmax ( x i ) e x i ∑ j e x j \text{Softmax}(x_i) \frac{e^{x_i}}{\sum_j e^{x_j}}Softmax(xi​)∑j​exj​exi​​Softmax 输出的是一组归一化的概率在图中使用柱状图 (bar chart)展示每个输入元素对应的概率值。作用多分类输出概率分布应用场景分类任务输出层6.ELUExponential Linear Unit公式f ( x ) { x if x 0 α ( e x − 1 ) if x ≤ 0 f(x) \begin{cases} x \text{if } x0 \\ \alpha(e^x - 1) \text{if } x \le 0 \end{cases}f(x){xα(ex−1)​ifx0ifx≤0​**特点**负区间平滑非零避免 ReLU 死区问题。优点输出均值更接近 0梯度更稳定。常用于深层 CNN、MLP。7.SELUScaled Exponential Linear Unit公式f(x)λ⋅ELU(α,x)其中 λ≈1.05α≈1.67。**特点**在特定初始化下能实现自归一化保持激活均值和方差稳定。优点无需 BatchNorm。常用于自归一化神经网络Self-Normalizing NN。8.GELUGaussian Error Linear Unit公式f ( x ) x ⋅ Φ ( x ) ≈ 0.5 x ( 1 tanh ⁡ [ 2 / π ( x 0.044715 x 3 ) ] ) f(x) x \cdot \Phi(x) \approx 0.5x(1\tanh[\sqrt{2/\pi}(x0.044715x^3)])f(x)x⋅Φ(x)≈0.5x(1tanh[2/π​(x0.044715x3)])其中 Φ(x) 是标准正态分布 CDF。**特点**在 ReLU 的基础上引入概率思想让激活与输入大小平滑相关。优点更平滑、更稳定效果普遍优于 ReLU。常用于TransformerBERT、GPT、ViT。9.SiLUSwish公式f ( x ) x ⋅ σ ( x ) f(x) x \cdot \sigma(x)f(x)x⋅σ(x)**特点**与 GELU 类似是一种平滑版 ReLU。优点梯度连续优化更稳定。常用于EfficientNet、Transformer。10.GLUGated Linear UnitGLU/SwiGLU 在实际中是门控形式two linear branches是向量上的逐元素操作为了在一维上可视化我用简化的标量形式来画图 —— 把两条分支都用相同的输入值即把 ax, bx因此 GLU(x) x * sigmoid(x)SwiGLU(x) x * SiLU(x)。这能直观展示门控机制的形状差异。公式f ( x ) ( x W 1 ) ⊙ σ ( x W 2 ) f(x) (xW_1) \odot \sigma(xW_2)f(x)(xW1​)⊙σ(xW2​)其中第二个分支作为门控信号。**特点**通过门控机制控制信息流增强非线性表达。优点适合序列建模、控制性强。常用于Transformer FFN、语言模型。11.SwiGLUSwish-Gated Linear Unit公式f ( x 1 , x 2 ) x 1 ⋅ Swish ( x 2 ) x 1 ⋅ ( x 2 ⋅ σ ( x 2 ) ) f(x_1, x_2) x_1 \cdot \text{Swish}(x_2) x_1 \cdot (x_2 \cdot \sigma(x_2))f(x1​,x2​)x1​⋅Swish(x2​)x1​⋅(x2​⋅σ(x2​))**特点**GLU 的改进版把 Sigmoid 门换成 Swish 门。优点表达力更强、梯度更平滑性能优于 ReLU/GELU。常用于LLaMA、PaLM、GPT-NeoX 等现代 LLM。3. 怎么选择激活函数选择激活函数时可以根据以下几个原则隐藏层优先使用 ReLU 或其变种Leaky ReLU, ELU, PReLU优点计算快、缓解梯度消失输出层二分类Sigmoid多分类Softmax回归线性或无激活函数网络结构和任务需求RNN 中常用 tanh 或 ReLU深层网络推荐使用残差连接 ReLU如果担心 ReLU 死神经元可尝试 Leaky ReLU 或 ELU小技巧如果不确定用哪个激活函数隐藏层可以先用 ReLU输出层按任务选择训练中注意梯度情况如果梯度消失或爆炸再考虑替换或调整激活函数。4. 总结激活函数是神经网络不可或缺的魔法开关让网络能够拟合复杂的非线性关系。核心作用引入非线性增强网络表达能力经典激活函数Sigmoid、Tanh、ReLU及变种、ELU、Softmax选择策略隐藏层用 ReLU 或变种输出层根据任务选择结合网络深度和训练表现调整理解激活函数的本质和特点有助于设计更稳定、高效的神经网络。最后我们来回答一下文章开头提出的三个问题什么是激活函数为什么需要激活函数激活函数是神经网络中对每个神经元输出进行非线性变换的函数它的作用是赋予网络非线性能力使得深层网络可以拟合复杂的函数关系。如果没有激活函数无论网络有多少层其输出都只是输入的线性组合无法处理复杂问题。经典的激活函数有哪些经典激活函数包括 Sigmoid、Tanh、ReLU 及其变种如 Leaky ReLU、PReLU、ELU 和 Softmax 等。其中Sigmoid 和 Tanh 常用于小型网络或 RNNReLU 是深层网络隐藏层的主流选择而 Softmax 常用于多分类任务的输出层。怎么选择激活函数选择激活函数时隐藏层通常优先使用 ReLU 或其变种因为它计算简单且能缓解梯度消失输出层则根据任务选择比如二分类用 Sigmoid、多分类用 Softmax、回归任务可用线性或无激活函数在特定场景下也可以结合网络深度和训练表现灵活调整。关于深度学习和大模型相关的知识和前沿技术更新请关注公众号aicoting