景德镇建设网站Wordpress内存占用高

景德镇建设网站,Wordpress内存占用高,网络规划设计师教程第2版pdf,dnf卖飞机的网站怎么做的Day 17: 扩散模型 (Diffusion Models)摘要#xff1a;2022年被称为 “AIGC 元年”#xff0c;Midjourney 和 Stable Diffusion 的横空出世彻底改变了创意产业。而这背后的功臣#xff0c;就是扩散模型。它不再像 GAN 那样搞“左右互搏”#xff0c;也不像 VAE 那样搞“生硬…Day 17: 扩散模型 (Diffusion Models)摘要2022年被称为 “AIGC 元年”Midjourney 和 Stable Diffusion 的横空出世彻底改变了创意产业。而这背后的功臣就是扩散模型。它不再像 GAN 那样搞“左右互搏”也不像 VAE 那样搞“生硬压缩”而是模仿物理热力学中的“扩散”过程慢慢把一张图毁掉再学会慢慢把它复原。1. 为什么需要扩散模型在 Diffusion 出现之前生成领域存在一个“不可能三角”GAN采样快质量高但多样性差Mode Collapse训练极难。VAE多样性好训练稳但质量差模糊。Flow数学推导完美但计算成本极高。Diffusion Models打破了这个诅咒它生成质量极高超越 GAN多样性极好覆盖整个分布训练非常稳定只是慢了一点。2. DDPM 原理从加噪到去噪DDPM (Denoising Diffusion Probabilistic Models) 的核心思想非常简单毁掉一幅画很容易复原它很难但如果我们把复原过程拆解成 1000 小步每一步就变得简单了。2.1 前向过程 (Forward Process) —— 加噪这是一个固定的过程不需要训练。我们将一张清晰图片x0x_0x0​在TTT步例如 T1000内每一步都加入一点点高斯噪声。最终xTx_TxT​会变成一张纯粹的标准正态分布噪声。数学特性由于高斯分布的优良性质我们可以直接算出任意时刻ttt的加噪图片xtx_txt​而不需要一步步循环算。2.2 逆向过程 (Reverse Process) —— 去噪这是一个需要训练的过程。如果能从纯噪声xTx_TxT​逐步推回x0x_0x0​我们就学会了生成图片。核心任务训练一个神经网络通常是 U-Net让它根据当前的噪点图xtx_txt​和时间步ttt预测这一步加了多少噪声ϵ\epsilonϵ。去噪公式xt−1≈xt−PredictedNoisex_{t-1} \approx x_t - \text{PredictedNoise}xt−1​≈xt​−PredictedNoise实际公式包含系数和方差项。2.3 训练目标非常简单就是让网络预测的噪声ϵθ(xt,t)\epsilon_\theta(x_t, t)ϵθ​(xt​,t)和真实加入的噪声ϵ\epsilonϵ越像越好。Loss∣∣ϵ−ϵθ(xt,t)∣∣2 Loss ||\epsilon - \epsilon_\theta(x_t, t)||^2Loss∣∣ϵ−ϵθ​(xt​,t)∣∣2本质上就是一个回归问题给你一张带噪图请算出上面的噪点长什么样。3. 加速采样DDIM 与 DPM-SolverDDPM 的最大缺点是慢。生成一张图需要像倒放录像带一样走完 1000 步。DDIM (Denoising Diffusion Implicit Models)发现去噪过程其实不需要严格遵循马尔可夫链。通过改变采样公式可以跳步走。比如从 1000 步跳到 900 步再跳到 800 步。结果只需要 50 步甚至更少就能生成高质量图片速度提升 20 倍。DPM-Solver把扩散过程看作微分方程ODE求解。使用高阶数值求解器能进一步把步数压缩到 10-20 步。4. Stable Diffusion潜在扩散模型 (Latent Diffusion)虽然 DDIM 变快了但在像素空间Pixel Space上直接跑 Diffusion 还是很贵。一张 512x512 的图有 26万个像素显存遭不住。Stable Diffusion (LDM)的天才之处在于降维打击。4.1 核心架构VAE U-Net CLIP它由三个部分组成VAE (变分自编码器)作用把巨大的“像素空间”压缩到微小的“潜在空间 (Latent Space)”。例如把 512x512x3 的图片压缩成 64x64x4 的 Latent 向量。数据量减少了 48 倍所有的扩散、去噪过程都在这个 64x64 的小图上进行。U-Net (噪声预测器)在 Latent 空间里干活预测噪声。引入了Cross-Attention (交叉注意力)机制为了听懂提示词。CLIP Text Encoder (提示词理解)把用户的 Prompt如 “A cute cat”变成向量通过 Cross-Attention 注入到 U-Net 中。这让 Diffusion 变成了可控生成的 Text-to-Image 模型。4.2 生成流程用户输入 “A cyberpunk city”。CLIP 把它变成 Text Embeddings。随机生成一个 64x64 的纯噪声 Latent。U-Net 在 Text Embeddings 的指引下对 Latent 逐步去噪比如 50 步。VAE Decoder 把去噪后的 Latent 放大回 512x512 的高清大图。5. 代码实践DDPM 核心逻辑这里展示最核心的训练 Loss 计算伪代码。importtorchimporttorch.nnasnnclassDDPM(nn.Module):def__init__(self,unet,timesteps1000):super().__init__()self.unetunet self.timestepstimesteps# 预计算 alpha, beta 等参数...defforward(self,x0):# 1. 随机采样一个时间步 tttorch.randint(0,self.timesteps,(x0.shape[0],),devicex0.device)# 2. 生成随机噪声 epsilonnoisetorch.randn_like(x0)# 3. 计算加噪后的图片 xt (基于重参数化技巧直接一步算出)# xt sqrt(alpha_bar) * x0 sqrt(1 - alpha_bar) * noisextself.q_sample(x0,t,noise)# 4. 让 U-Net 预测噪声predicted_noiseself.unet(xt,t)# 5. 计算 Loss (MSE)lossnn.functional.mse_loss(predicted_noise,noise)returnlossdefsample(self,n_samples):# 逆向采样过程xttorch.randn(n_samples,c,h,w)# 从纯噪声开始fortinreversed(range(self.timesteps)):predicted_noiseself.unet(xt,t)# xt_prev (xt - coeff * predicted_noise) / sqrt(alpha) sigma * zxtself.p_sample(xt,t,predicted_noise)returnxt6. 总结DDPM用慢工出细活的“去噪”思路换来了生成质量的巅峰。DDIM让扩散模型从“这东西没法用”变成了“稍微等等就能用”。Stable Diffusion通过Latent Space和CLIP的引入真正把 AI 绘画带入了寻常百姓家消费级显卡也能跑。思考为什么 Stable Diffusion 生成手指总是容易画崩一方面是因为训练数据Laion-5B里手部细节往往不清晰或占比太小。另一方面VAE 的压缩过程是有损的手部这种高频细节信息可能在压缩到 64x64 时丢失了。