网站建设和运行管理办法广州免费领养猫咪

网站建设和运行管理办法,广州免费领养猫咪,网络营销的含义和特点,商业网站改版需要多久Day 43 学习笔记#xff1a;图像数据与显存机制浙大疏锦行 一、 图像数据基础 数据形状 (Shape) 结构化数据#xff1a;(样本数, 特征数) 图像数据 #xff1a; (通道数, 高, 宽)PyTorch 默认格式 (Channel First) 灰度图 (如 MNIST)#xff1a;通道数 1彩色图 (如 CIFA…Day 43 学习笔记图像数据与显存机制浙大疏锦行一、 图像数据基础数据形状 (Shape)结构化数据(样本数, 特征数)图像数据(通道数, 高, 宽)PyTorch 默认格式 (Channel First)灰度图(如 MNIST)通道数 1彩色图(如 CIFAR-10)通道数 3 (RGB)维度陷阱PyTorch使用(C, H, W)。Matplotlib/OpenCV通常使用(H, W, C)。注意在使用plt.imshow()可视化 PyTorch 张量时必须先使用np.transpose或permute交换维度顺序。二、 图像神经网络 (MLP) 定义展平操作 (Flatten)MLP 全连接层只能接收一维向量。必须在输入层前使用nn.Flatten()或x.view()将(C, H, W)拉平为(C×H×W)的一维向量。Batch Size 与模型定义模型定义阶段无关。nn.Linear等层定义时不涉及 Batch Size。数据加载阶段相关。DataLoader中设置 Batch Size。前向传播PyTorch 会自动处理第一维度的 Batch模型内部计算逻辑不变。三、 显存 (VRAM) 占用分析显存不仅仅用来存图片主要由以下4部分组成组成部分说明估算公式 (Float32)1. 模型参数模型的权重 (Weights) 和偏置 (Bias)参数量 ×× 4 Bytes2. 梯度反向传播计算出的导数≈≈ 参数量 ×× 4 Bytes3. 优化器状态优化器更新参数所需的额外信息SGD: 0Adam: ≈≈ 参数量 ×× 8 Bytes (动量方差)4. 中间变量 数据输入数据 每一层的输出特征图 (Activations)受 Batch Size 影响最大Batch Size ×× (单样本大小 中间层大小)结论模型参数和优化器占用是固定的这也是为什么大模型很难跑起来而调整 Batch Size 是控制显存占用的主要手段。四、 Batch Size 的选择策略显存限制 (OOM)Batch Size 设置过大会导致Out Of Memory。建议从 16, 32, 64 开始尝试通常设置为显卡最大承载能力的80%左右。对训练的影响Batch Size 1梯度随机性大震荡剧烈难以收敛。Batch Size 较大利用矩阵并行计算加速梯度是多个样本的平均值方向更准训练更稳定。浙大疏锦行