网站设计培训基地云南专业做网站多少钱

网站设计培训基地,云南专业做网站多少钱,兰州市科协网站,郑州抖音代运营公司对于希望尝试大模型训练的同学来说#xff0c;从 LLaMA-Factory 入手是一个非常不错的选择#xff01;在实际工作中#xff0c;也经常用到 LLaMA-Factory 进行模型训练。用得越多#xff0c;越能体会到它的便捷与高效。尤其值得一提的是#xff0c;LLaMA-Factory 提供了完…对于希望尝试大模型训练的同学来说从 LLaMA-Factory 入手是一个非常不错的选择在实际工作中也经常用到 LLaMA-Factory 进行模型训练。用得越多越能体会到它的便捷与高效。尤其值得一提的是LLaMA-Factory 提供了完整的中文学习文档这对英文阅读不太熟练的同学来说真的非常友好01 安装小编一般喜欢从源码安装源码里面有很多可以参考的文档~git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .[torch,metrics]验证是否安装成功llamafactory-cli version简单看一下项目结构其中src核心源码目录data主要包含数据集配置和示例数据dataset_info.json - 数据集注册配置文件定义所有可用数据集的元信息示例数据集文件 - 包含各种格式的示例数据集JSON、JSONL等examples包含各种训练和推理的配置示例文件docker包含不同硬件平台的 Docker 配置如果看了官方文档你还是不知道训练数据怎么组织你可以去data目录下面找一找示例数集文件如果你不知道训练脚本怎么写你可以去examples目录下找一找示例脚本02 使用第一步准备好你的数据LLaMA-Factory 支持的微调数据格式有AlpacaShareGPTOpenAI预训练格式和DPO、KTO等强化学习的训练格式也支持不同训练方式数据格式组织方式也不一样具体可见官方文档写的非常详细https://llamafactory.readthedocs.io/zh-cn/latest/getting_started/data_preparation.html上面也提到过在LLaMA-Factory项目的data目录下也给出了一些数据文件的例子可供参考~准备好的数据文件需要在LLaMA-Factory项目的data目录下的dataset_info.json文件中增加你的数据集说明比如openai的数据组织格式如下[ { messages:[ { role:system, content:系统提示词选填 }, { role:user, content:人类指令 }, { role:assistant, content:模型回答 } ] } ]对于上述格式的数据dataset_info.json中需要新增数据集描述数据集名称: { file_name: data.json, formatting: sharegpt, columns: { messages: messages }, tags: { role_tag: role, content_tag: content, user_tag: user, assistant_tag: assistant, system_tag: system } }第二步下载好你的训练模型下载预训练模型到你的路径下一般我们会从modelscope这个网站上下载非常方便第三步组织训练脚本这里给出了一个参考脚本主要通过deepspeed进行单机多卡训练你需要替换的地方有模型路径、数据集名称、数据集路径、deepspeed脚本文件位置等其他参数可按需修改或者添加每个脚本参数的含义后文已给出相关解释nohup deepspeed --include localhost:1,2,3 --master_port 1234 ./src/train.py \ --stage sft \ --do_train \ --deepspeed ./examples/deepspeed/ds_z3_config.json \ --model_name_or_path YOUR_MODEL_PATH \ --dataset YOUR_DATASET_NAME \ --val_size 0.05 \ --dataset_dir YOUR_DATASET_PATH \ --template qwen \ --max_length 4096 \ --finetuning_type lora \ --lora_target q_proj,v_proj \ --lora_rank 8 \ --lora_alpha 16 \ --lora_dropout 0.1 \ --output_dir ${out_dir} \ --overwrite_cache \ --overwrite_output_dir \ --cutoff_len 4096 \ --mask_history False \ --per_device_train_batch_size 1 \ --per_device_eval_batch_size 1 \ --gradient_accumulation_steps 8 \ --lr_scheduler_type cosine \ --logging_steps 5 \ --save_steps 16 \ --save_total_limit 3 \ --learning_rate 5e-5 \ --num_train_epochs 6 \ --eval_steps 8 \ --plot_loss \ --bf16 \ --warmup_ratio 0.05 \ --ddp_find_unused_parameters False \ --preprocessing_num_workers 16 ${out_dir}/train.log 21 1. 启动与环境配置nohup: 在后台运行命令即使终端关闭也不会中断进程。deepspeed: 使用 DeepSpeed 库进行分布式训练。--include localhost:1,2,3: 指定使用本地的 GPU 设备编号为 1、2、3 的 GPU。--master_port 1234: 设置分布式训练的主节点端口号为 1234。2. 训练脚本入口./src/train.py: 主要的训练脚本路径llamafactory项目的src目录下3. 训练任务配置--stage sft: 训练阶段为监督微调Supervised Fine-Tuning。--do_train: 执行训练模式。4. DeepSpeed 配置--deepspeed ./examples/deepspeed/ds_z3_config.json: 指定 DeepSpeed 的配置文件路径ZeRO Stage 3 配置这个配置文件在llamafactory项目的examples目录下可以找到5. 模型与数据配置--model_name_or_path YOUR_MODEL_PATH: 预训练模型的路径或 Hugging Face 模型名称。--dataset YOUR_DATASET_NAME: 使用的数据集名称。--val_size 0.05: 验证集比例5%。--dataset_dir YOUR_DATASET_PATH: 数据集存放的目录路径。--template qwen: 使用 Qwen 模型的对话模板格式。--max_length 4096: 输入序列的最大长度。--cutoff_len 4096: 截断长度与max_length一致。--mask_history False: 不屏蔽历史对话内容。6. LoRA 参数配置--finetuning_type lora: 使用 LoRALow-Rank Adaptation进行微调。--lora_target q_proj,v_proj: 对模型的q_proj查询投影和v_proj值投影模块应用 LoRA。--lora_rank 8: LoRA 的秩rank为 8。--lora_alpha 16: LoRA 的缩放系数为 16。--lora_dropout 0.1: LoRA 层的 Dropout 比例为 0.1。7. 训练超参数--per_device_train_batch_size 1: 每个 GPU 的训练批次大小为 1。--per_device_eval_batch_size 1: 每个 GPU 的验证批次大小为 1。--gradient_accumulation_steps 8: 梯度累积步数为 8等效批次大小 批次大小 × 梯度累积步数 × GPU 数量。--learning_rate 5e-5: 学习率为 0.00005。--num_train_epochs 6: 训练 epoch 数为 6。--lr_scheduler_type cosine: 使用余弦学习率调度器。--warmup_ratio 0.05: 学习率预热步数占总训练步数的 5%。8. 训练过程管理--output_dir ${out_dir}: 模型和日志的输出目录。--overwrite_cache: 覆盖已有的缓存文件。--overwrite_output_dir: 覆盖输出目录如果已存在。--logging_steps 5: 每 5 步记录一次日志。--save_steps 16: 每 16 步保存一次模型。--save_total_limit 3: 最多保留 3 个模型检查点旧的会被删除。--eval_steps 8: 每 8 步进行一次验证。--plot_loss: 绘制损失曲线。--preprocessing_num_workers 16: 使用 16 个进程进行数据预处理。9. 硬件与性能优化--bf16: 使用 BF16 混合精度训练适合 NVIDIA Ampere GPU。--ddp_find_unused_parameters False: 禁用 DDP 中未使用参数的检测节省内存可能适用于某些模型。10. 日志重定向 ${out_dir}/train.log 21 : 将标准输出和错误输出重定向到train.log文件并在后台运行第四步训练与查看运行上述脚本即可启动训练训练完成后在你文件保存的目录下除了有模型文件还有两个loss文件training_eval_loss.pngtraining_loss.png通过loss文件可以查看模型训练效果第五步模型推理如果你是lora训练推理之前还需要进行模型合并合并脚本merge_config.yaml如下### examples/merge_lora/llama3_lora_sft.yaml ### model model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct adapter_name_or_path: saves/llama3-8b/lora/sft template: llama3 finetuning_type: lora ### export export_dir: models/llama3_lora_sft export_size: 2 export_device: cpu export_legacy_format: false通过llamafactory-cli export merge_config.yaml指令运行即可得到合并之后的模型模型推理这里就不再过多赘述有任何问题欢迎评论区留言交流Good good studyday day up想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”