新闻客户端网站开发区块链app开发价格

新闻客户端网站开发,区块链app开发价格,大气寓意好的公司名字,宣传方案模板你花费了数小时甚至数天的时间#xff0c;用庞大的数据集训练出了一个性能卓越的深度学习模型。就在你准备用它来大展拳脚时#xff0c;电脑突然断电#xff0c;或者程序意外崩溃。如果没有保存模型#xff0c;那么之前所有的计算资源和时间都将付诸东流。这无疑是一场灾难…你花费了数小时甚至数天的时间用庞大的数据集训练出了一个性能卓越的深度学习模型。就在你准备用它来大展拳脚时电脑突然断电或者程序意外崩溃。如果没有保存模型那么之前所有的计算资源和时间都将付诸东流。这无疑是一场灾难。1. 模型持久化是什么模型持久化即将训练好的模型的状态主要是权重参数保存到文件中是AI开发流程中必不可少的一环。它赋予了我们复用模型的能力一次训练多次使用。我们可以随时加载已训练好的模型进行预测、评估或迁移学习而无需重新训练。断点续训的保障在长时间的训练任务中定期保存模型状态创建“检查点”即Checkpoint。即使训练中断我们也可以从最近的检查点恢复继续训练。分享与协作的基础将模型文件分享给他人使其可以在不同的环境和项目中复现你的工作。在MindSpore中模型的参数被保存在一种名为Checkpoint检查点的文件中其后缀通常为.ckpt。本文将详细介绍如何优雅地保存和加载这些Checkpoint文件。2. 方式一训练时自动保存 (使用ModelCheckpoint)这是最常用、也是最推荐的保存方式。它与mindspore.ModelAPI无缝集成可以在训练过程中根据预设策略自动为我们保存模型。我们在之前的文章中已经多次使用过它现在让我们来深入理解其配置。ModelCheckpoint主要由两部分构成主对象ModelCheckpoint和配置策略CheckpointConfig。2.1CheckpointConfig定义保存策略这个配置类允许我们精细地控制何时保存、保存多少、如何命名等细节。核心参数save_checkpoint_steps(int): 每隔多少个step保存一个checkpoint。这是最常用的策略之一。save_checkpoint_seconds(int): 每隔多少秒保存一个checkpoint。适用于训练时长不固定的场景。keep_checkpoint_max(int): 最多在目录下保留多少个checkpoint文件。当新文件生成时如果超出此限制最旧的文件将被删除。这有助于节省磁盘空间。async_save(bool): 是否异步执行保存操作。设置为True可以在保存文件时不阻塞主训练流程从而提升训练性能尤其是在模型文件较大时。2.2ModelCheckpoint执行保存动作这个对象负责在训练中实际执行CheckpointConfig所定义的策略。核心参数prefix(str): checkpoint文件名的前缀。directory(str): 保存checkpoint文件的目录路径。config(CheckpointConfig): 关联的保存策略对象。2.3 综合示例让我们配置一个策略在训练LeNet-5时每隔一个epoch保存一次模型并且最多保留5个最新的模型文件。frommindspore.train.callbackimportModelCheckpoint,CheckpointConfig,LossMonitorfrommindsporeimportModel# 假设 net, loss_fn, optimizer, train_dataset 已经定义好# 并且 train_dataset 每个 epoch 有 1875 个 stepsteps_per_epochtrain_dataset.get_dataset_size()# 1. 定义保存策略configCheckpointConfig(save_checkpoint_stepssteps_per_epoch,# 每隔一个epoch保存一次keep_checkpoint_max5,# 最多保留5个模型async_saveTrue# 开启异步保存)# 2. 创建ModelCheckpoint回调# 文件名会是类似 lenet-1_1875.ckpt, lenet-2_3750.ckpt ...ckpt_cbModelCheckpoint(prefixlenet,directory./checkpoints,configconfig)# 3. 在训练时使用回调modelModel(net,loss_fn,optimizer)model.train(epoch10,train_datasettrain_dataset,callbacks[LossMonitor(),ckpt_cb])训练开始后你会在./checkpoints目录下看到.ckpt文件被自动创建和管理。3. 方式二手动保存与加载在某些场景下我们可能需要更灵活地、在代码的任意位置保存或加载模型而不是仅仅依赖于训练循环。例如在训练结束后我们想将最终的模型单独保存为一个final.ckpt文件。MindSpore为此提供了两个简单的函数mindspore.save_checkpoint和mindspore.load_checkpoint。3.1mindspore.save_checkpoint()手动保存这个函数可以直接将一个网络或一个参数列表的权重保存到指定的.ckpt文件中。核心参数save_obj: 需要被保存的对象通常是你的网络实例net。ckpt_file_name(str): checkpoint文件的完整路径和名称。示例importmindspore# 假设 net 是我们已经训练好的网络实例# 在训练流程结束后...print(训练完成正在手动保存最终模型...)mindspore.save_checkpoint(net,./checkpoints/final_lenet_model.ckpt)print(模型已保存)3.2mindspore.load_checkpoint()和load_param_into_net()手动加载加载模型分为两步mindspore.load_checkpoint(ckpt_file_name)从.ckpt文件中读取参数并将其加载到一个Python字典中。这个字典的键是网络中的参数名值是参数的Tensor。mindspore.load_param_into_net(net, parameter_dict)将这个参数字典中的值逐一加载到你的网络实例net中对应的参数上。示例假设我们想在一个新的脚本中加载之前保存的final_lenet_model.ckpt来进行推理。importmindsporefrommindsporeimportModel,Tensor# 假设 LeNet5 网络定义已经存在fromlenet_model_defineimportLeNet5# 从定义文件导入网络结构# 1. 首先你需要创建一个与所存模型结构完全相同的网络实例net_for_loadLeNet5()# 2. 加载checkpoint文件到参数字典ckpt_file./checkpoints/final_lenet_model.ckptparam_dictmindspore.load_checkpoint(ckpt_file)# 3. 将参数加载到网络中mindspore.load_param_into_net(net_for_load,param_dict)print(模型加载成功)# 4. 现在net_for_load 就包含了训练好的权重可以用于评估或推理model_for_predictModel(net_for_load)# ... 执行 model_for_predict.predict(...) ...重要提示加载模型前必须先实例化一个与保存时结构完全一致的网络。如果结构不匹配例如某一层Dense的输出维度不同load_param_into_net将会因为找不到对应的参数名或维度不匹配而报错。4. 总结模型的持久化是连接训练与应用、保障研发成果的关键一步。在本文中我们掌握了MindSpore中两种核心的Checkpoint操作方法自动保存通过ModelCheckpoint和CheckpointConfig回调在model.train()过程中依据策略自动、高效地保存模型。这是进行长时间训练和常规开发时的首选。手动保存/加载使用mindspore.save_checkpoint和mindspore.load_checkpointload_param_into_net可以让我们在任何需要的时候灵活地存取模型参数非常适用于模型推理、迁移和分享。熟练运用这两种方法你就能安全、高效地管理你的模型资产让你的AI开发工作流更加健壮和灵活。在下一篇文章中我们将探讨如何利用MindSpore的可视化组件MindInsight来洞察模型训练的内部行为敬请期待