在线建站系统中国建筑集团有限公司待遇

在线建站系统,中国建筑集团有限公司待遇,360免费建站app,2022最火代理产品大模型关键技术#xff1a;预训练、SFT与RLHF 自从 ChatGPT 问世以来#xff0c;大语言模型#xff08;LLM#xff09;似乎在一夜之间改变了世界。目前的LLM训练流水线#xff08;Pipeline#xff09;通常遵循 OpenAI 提出的范式#xff1a;Pre-training → SFT → RLH…大模型关键技术预训练、SFT与RLHF自从 ChatGPT 问世以来大语言模型LLM似乎在一夜之间改变了世界。目前的LLM训练流水线Pipeline通常遵循 OpenAI 提出的范式Pre-training → SFT → RLHF。本文主要介绍这三个关键阶段预训练Pre-training、监督微调SFT和基于人类反馈的强化学习RLHF。第一阶段预训练Pre-training核心逻辑Next Token Prediction大模型诞生的第一步是把它扔进海量数据中。在这个阶段研究人员会收集互联网上几乎所有的文本数据——维基百科、书籍、新闻、代码库等等总量达到万亿级别Tokens。预训练的核心是自监督学习 (Self-Supervised Learning)具体的训练任务通常是自回归语言建模 (Autoregressive Language Modeling)。模型通过计算前 i - 1个token的上下文通过 Transformer (Decoder-only) 架构计算第 i 个token在词表Vocabulary上的概率分布。简单来说就是“预测下一个字是什么”。技术关键词Transformer 架构、无监督学习Unsupervised Learning、自回归Auto-regressive。产出物基座模型Base Model。特点它具备了极强的概率预测能力和知识储备但本质上是一个“文本生成器”而非“对话助手”。第二阶段监督微调SFT, Supervised Fine-Tuning核心逻辑指令跟随Instruction Following拥有了基座模型后我们得到了一个“懂很多知识但不懂怎么对话”的天才。SFT 的目的就是教会它如何 “听懂人话” 并 “按要求回答”。在这个阶段由于数据质量要求极高通常需要人工介入。人类标注员会编写成千上万个高质量的“问答对”Prompt-Response Pairs。SFT 的本质是全监督学习 (Fully Supervised Learning)。与预训练的区别 预训练的数据是无标注的纯文本SFT 的数据是 Prompt-Response Pairs示例如下训练数据示例Prompt指令请把下面这句话翻译成英文今天天气不错。Response回答The weather is nice today.模型通过学习这些样本开始理解原来当用户使用祈使句时我应该执行任务而不是续写文本。技术关键词提示词工程Prompt Engineering、指令微调Instruction Tuning。产出物对话模型Chat Model。特点此时的模型已经可以和人类流畅对话了。但它可能还不够完美有时会一本正经地胡说八道幻觉或者说话语气像个机器人缺乏“情商”。第三阶段RLHF基于人类反馈的强化学习核心逻辑奖惩机制Reward Policy Optimization这是让大模型从“可用”进化到“好用”的关键一步也是 OpenAI 当年拉开差距的杀手锏。SFT 虽然有效但人类语言太复杂了要把所有正确答案都写出来是不可能的。而且有些回答没有标准答案比如写一首诗只有好坏之分。RLHF 包含如下步骤训练奖励模型Reward Model - RM模型针对同一个问题生成几个不同的回答。人类标注员会对这些回答进行排名A比B好B比C好。然后训练一个独立的“奖励模型”让它学习人类的评分标准。强化学习PPO - Proximal Policy Optimization让大模型生成回答奖励模型给它打分。如果分数高模型就加强这种回答方式如果分数低就调整参数。技术关键词3H原则Helpful有用, Honest诚实, Harmless无害、PPO算法、奖励模型。产出物对齐后的模型Aligned Model。特点经过 RLHF模型的回答不仅准确而且更加符合人类的价值观比如不生成暴力、歧视内容语气也更自然、更讨喜。总结大模型炼成记训练一个大模型通常包含如下三个步骤预训练Pre-training通过海量数据提炼出蕴含智慧的基座模型。这一步最贵消耗算力最大。SFT监督微调将基座模型进行优化让它具备对话能力。RLHF强化学习打磨细节去除杂质让它对齐人类价值观。正是这三个步骤的精密配合才让我们拥有了今天这样强大、智能的 AI 助手。如果你觉得这篇文章对你有帮助欢迎转发分享关于大模型技术你还有什么想了解的在评论区告诉我吧