网站里的动态是如何制作千万不要去代理记账公司上班

网站里的动态是如何制作,千万不要去代理记账公司上班,wordpress 添加证书,辽宁seo站内优化简介 本文系统介绍了11种大模型参数高效微调方法#xff0c;包括前缀调优、提示调优、P-Tuning v2、LORA及其优化版本DyLORA、AdaLORA、QLORA、OA-LORA、LongLORA、VeRA和S-LORA。这些方法通过冻结预训练模型参数#xff0c;优化少量特定向量或矩阵#xff0c;显著减少训练…简介本文系统介绍了11种大模型参数高效微调方法包括前缀调优、提示调优、P-Tuning v2、LORA及其优化版本DyLORA、AdaLORA、QLORA、OA-LORA、LongLORA、VeRA和S-LORA。这些方法通过冻结预训练模型参数优化少量特定向量或矩阵显著减少训练参数和计算资源同时保持或提升模型性能为不同规模和场景的LLM微调提供了高效解决方案。一、前缀调优前缀调优(PrefixTuning)是一种轻量级的微调替代方法专门用于自然语言生成任务。前缀调优的灵感来自于语言模型提示前缀就好像是“虚拟标记”一样这种方法可在特定任务的上下文中引导模型生成文本。前缀调优的独特之处在于它不改变语言模型的参数而是通过冻结LM参数仅优化一系列连续的任务特定向量(即前缀)来实现优化任务如图1所示由于在训练中只需要为每个任务存储前缀前缀调优的轻量级设计避免了存储和计算资源的浪费同时保持了模型的性能具有模块化和高效利用空间的特点有望在NLP任务中提供高效的解决方案。二、前缀调优提示调优(PromptTuning)方法是由BrianLester在论文“ThePower of Scale for Parameter-Efficient Prompt Tuning,”中提出的。提示调优采用“软提示”(SoftPrompt)的方式通过冻结整个预训练模型只允许每个下游任务在输入文本前面添加k个可调的标记(Token)来优化模型参数赋予语言模型能够执行特定的下游任务的能力如图2所示在论文的实验对比中对于T5-XXL模型每个经过调整的模型副本需要110亿个参数相较于为每个下游任务制作特定的预训练模型副本提示调优需要的参数规模仅为20480个参数。该方法在少样本提示方面表现出色。三、P-Tuning v2尽管提示调优在相应任务上取得了一定的效果但当底座模型规模较小特别是小于1000亿个参数时效果表现不佳。为了解决这个问题清华大学的团队提出了针对深度提示调优的优化和适应性实现–P-Tuning v2方法。该方法最显著的改进是对预训练模型的每一层应用连续提示而不仅仅是输入层。这实际上是一种针对大型语言模型的软提示方法主要是将大型语言模型的词嵌入层和每个Transformer网络层前都加上新的参数。深度提示调优增加了连续提示的功能并缩小了在各种设置之间进行微调的差距特别是对于小型模型和困难的任务。四、LORA微软公司在2021年提出了一种名为Low-RankAdaptation(LORA,低秩适配器)的方法。LORA的核心思想是通过冻结预训练模型的权重并将可训练的秩分解矩阵注入Transformer架构的每一层从而显著减少下游任务中可训练参数的数量。在训练过程中只需要固定原始模型的参数然后训练降维矩阵A和升维矩阵B如图3所示与使用Adam微调的GPT-3175B相比LORA可以将可训练参数的数量减少10000倍并将GPU内存需求减少3倍。尽管LORA的可训练参数较少训练吞吐量较高但与ROBERTa、DeBERTa、GPT-2和GPT-3等模型相比LORA在模型质量性能方面与微调相当甚至更好五、DyLORA但随着研究的深入LORA块存在两大核心问题1一旦训练完成后LORA块的大小便无法更改若要调整LORA块的秩则需重新训练整个模型这无疑增加了大量时间和计算成本。2LORA块的大小是在训练前设计的固定超参优化秩的过程需要精细的搜索与调优操作仅设计单一的超参可能无法有效提升模型效果。为解决上述问题研究者引入了一种全新的方法-DyLORA(动态低秩适应)研究者参考LORA的基本架构针对每个LORA块设计了上投影(Wup)和下投影(Wdw)矩阵及当前LORA块的规模范围R。为确保增加或减少秩不会明显阻碍模型的表现在训练过程中通过对LORA块对不同秩的信息内容进行排序再结合预定义的随机分布中进行抽样来对LORA块镜像上投影矩阵和下投影矩阵截断最终确认单个LORA块的大小如图4所示研究结果表明与LORA相比使用DyLORA训练出的模型速度可提升4~7倍且性能几乎没有下降。此外与LORA相比该模型在更广泛的秩范围内展现出了卓越的性能。六、AdaLORA正如DyLORA优化方法一样提出AdaLORA的研究者也发现当前LORA存在的改进方向:由于权重矩阵在不同LORA块和模型层中的重要性存在差异因此不能提前制定一个统一规模的秩来约束相关权重信息需要设计可以支持动态更新的参数矩阵需要设计有效的方法来评估当前参数矩阵的重要性并根据重要性程度为重要性高的矩阵分配更多参数量以提升模型效果对重要性低的矩阵进行裁剪进一步降低计算量根据上述思想。研究者提出了AdaLORA方法可以根据权重矩阵的重要性得分在权重矩阵之间自适应地分配参数规模。在实际操作中AdaLoRA采用奇异值分解(SVD)的方法来进行参数训练根据重要性指标剪裁掉不重要的奇异值来提高计算效率从而进一步提升模型在微调阶段的效果。七、QLORATimDettmers等研究者在论文“QLORA:Efficient Finetuning ofQuantized LLMs”中提出了一种高效的模型微调方法–OLORA如图5所示OLORA的创新内容主要如下:4bit NormalFloat(NF4)。NF4是一种新型数据类型它对正态分布的权重来说是信息理论上的最优选择双重量化技术。双重量化技术减少了平均内存的使用它通过对已量化的常量进行再量化来实现分页优化器。分页优化器有助于管理内存峰值防止梯度检查点时出现内存不足的错误实验表明QLORA技术使得研究者能够在单个48GBGPU上微调650亿个参数规模的模型同时维持16bit精度任务的完整性能。例如在训练Guanaco模型时仅需在单个GPU上微调24h即可达到与ChatGPT相当的99.3%性能水平。通过OLORA微调技术可以有效降低模型微调时的显存消耗八、OA-LORA在论文“OA-LoRA: Quantization-aware Low-rank Adaptation oflargelanguagemodels”中研究者提出了一种量化感知的低秩适应(OA-LORA)算法。该方法来源于量化和适应的自由度不平衡的思想。研究者提出采用分组运算符的方式旨在增加量化自由度的同时减少适应自由度。QA-LORA的实现简便仅需几行代码同时赋予原始的LORA两倍的能力:在微调过程中LLM的权重被量化(如INT4)以降低时间和内存的使用微调后LLM和辅助权重能够自然地集成到一个量化模型中而不损失准确性通过在LLaMA和LLaMA2模型系列的实验中证明QA-LORA在不同的微调数据集和下游场景中验证了其有效性。如图6所示与之前的适应方法LORA和QLORA相比OA-LORA在微调和推理阶段都具有更高的计算效率。由于不需要进行训练后量化因此它不会导致准确性损失。在图6中展示了INT4的量化但OA-LORA可以推广到INT3和INT2九、LongLORA通常情况下用较长的上下文长度训练大型语言模型的计算成本较高需要大量的训练时间和GPU资源。为了在有限的计算成本下扩展预训练大型语言模型的上下文大小研究者在论文“LongLoRA: Efficient Fine-tuningof Long-ContextLarge LanguageModels”中提出了LongLORA的方法如图7所示LongLORA在两个方面进行了改进:虽然在推理过程中需要密集的全局注意力但通过采用稀疏的局部注意力可以有效地进行模型微调。在LongLORA中引入的转移短暂的注意力机制能够有效地实现上下文扩展从而在性能上与使用香草注意力(Vanilla Attention)进行微调的效果相似通过重新审视上下文扩展的参数高效微调机制研究者发现在可训练嵌入和规范化的前提下用于上下文扩展的LORA表现良好LongLORA在从70亿、130亿到700亿个参数的LLaMA2模型的各种任务上都取得了良好的结果。LongLORA采用LLaMA2-7B型将上下文长度从4000个Token扩展到10万个Token展现了其在增加上下文长度的同时保持了高效计算的能力。这为大型语言模型的进一步优化和应用提供了有益的思路。十、VeRALORA是一种常用的大型语言模型微调方法它在微调大型语言模型时能够减少可训练参数的数量。然而随着模型规模的进一步扩大或者需要部署大量适应于每个用户或任务的模型时存储问题仍然是一个挑战。研究者提出了一种基于向量的随机矩阵适应(Vector-based Randommatrix AdaptationVeRA)的方法VeRA的实现方法是通过使用对低秩矩阵在所有层之间共享并学习小的缩放向量来实现这一目标。与LORA相比VeRA成功将可训练参数的数量减少了10倍同时保持了相同的性能水平如图8所示LORA通过训练低秩矩阵和来更新权重矩阵中间秩为。在VeRA中这些矩阵被冻结在所有层之间共享并通过可训练向量和进行适应从而显著减少可训练参数的数量。在这种情况下低秩矩阵和向量可以合并到原始权重矩阵中不引入额外的延迟。这种新颖的结构设计使得VeRA在减少存储开销的同时还能够保持和LORA相媲美的性能为大型语言模型的优化和应用提供了更加灵活的解决方案。实验证明VeRA在GLUE和E2E基准测试中展现了其有效性并在使用LLaMA2 7B模型时仅使用140万个参数的指令就取得了一定的效果。这一方法为在大型语言模型微调中降低存储开销提供了一种新的思路有望在实际应用中取得更为显著的效益。十一、S-LORALORA作为一种参数高效的大型语言模型微调方法通常用于将基础型适应到多种任务中从而形成了大量派生自基础模型的LORA模型。由于多个采用LORA形式训练的模型的底座模型都为同一个因此可以参考批处理模式进行推理。据此研究者提出了一种S-LoRA(Servingthousandsofcon currentLoRAadapters)方法S-LORA是一种专为可伸缩地服务多个LORA适配器而设计的方法。S-LORA的设计理念是将所有适配器存储在主内存中并在GPU内存中动态获取当前运行查询所需的适配器。为了高效使用GPU内存并减少碎片S-LORA引入了统一分页。统一分页采用统一的内存池来管理具有不同秩的动态适配器权重以及具有不同序列长度的KV缓存张量。此外S-LORA还采用了一种新颖的张量并行策略和高度优化的自定义CUDA核心用于异构批处理LORA计算。这些特性使得S-LORA能够在单个GPU或跨多个GPU上提供数千个LORA适配器而开销相对较小。通过实验发现S-LORA的吞吐量提高了4倍多并且提供的适配器数量增加了数个数量级。因此S-LORA在实现对许多任务特定微调模型的可伸缩服务方面取得了显著进展并为大规模定制微调服务提供了潜在的可能性。十二、如何系统的学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】01.大模型风口已至月薪30K的AI岗正在批量诞生2025年大模型应用呈现爆发式增长根据工信部最新数据国内大模型相关岗位缺口达47万初级工程师平均薪资28K数据来源BOSS直聘报告70%企业存在能用模型不会调优的痛点真实案例某二本机械专业学员通过4个月系统学习成功拿到某AI医疗公司大模型优化岗offer薪资直接翻3倍02.大模型 AI 学习和面试资料1️⃣ 提示词工程把ChatGPT从玩具变成生产工具2️⃣ RAG系统让大模型精准输出行业知识3️⃣ 智能体开发用AutoGPT打造24小时数字员工熬了三个大夜整理的《AI进化工具包》送你✔️ 大厂内部LLM落地手册含58个真实案例✔️ 提示词设计模板库覆盖12大应用场景✔️ 私藏学习路径图0基础到项目实战仅需90天第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】