网站站长织梦 我的网站

网站站长,织梦 我的网站,兴文县建设工程网站,福田网站建设开发团队写在前面 在大模型应用开发领域#xff0c;RAG技术栈在其中具有很重要的地位#xff0c;本文主要通过介绍带大家了解一下什么是RAG技术#xff0c;RAG技术栈的整体流程#xff0c;希望对于想要学习RAG技术的你提供帮助。 什么是RAG RAG#xff0c;全称为Retrieval-Augment…写在前面在大模型应用开发领域RAG技术栈在其中具有很重要的地位本文主要通过介绍带大家了解一下什么是RAG技术RAG技术栈的整体流程希望对于想要学习RAG技术的你提供帮助。什么是RAGRAG全称为Retrieval-Augmented Generation检索增强生成是一种结合了 “信息检索” 与 “生成式 AI” 的混合 AI 技术。它的核心目标是解决传统大语言模型LLM如 GPT、LLaMA 等的两大关键局限 ——知识时效性不足和事实准确性偏差幻觉通过 “先检索外部权威信息再基于检索结果生成回答” 的逻辑让 AI 输出更精准、更具时效性和可信度的内容。为什么需要RAG传统 LLM如 GPT、LLaMA因自身特性难以满足实际场景需求具体局限如下知识过时且固定仅包含训练数据截止前的 “静态知识”无法获取实时或者最新信息易产生 “幻觉”基于概率生成 “听起来合理” 的内容可能编造事实、混淆信息且无法验证回答准确性无法对齐私有 / 场景化需求训练数据是通用公开内容无法调用企业内部文档、个人笔记、行业专属资料等 “私有知识”。RAG的核心关键组成部分核心功能常见技术 / 工具选型核心评价指标知识数据源提供 RAG 所需的外部知识是答案准确性的基础结构化数据MySQL、PostgreSQL、非结构化数据PDF、TXT、API 接口如新闻 API数据覆盖率、时效性、准确性文档分割器Chunkers将长文档拆分为语义完整的片段LangChainRecursiveCharacterTextSplitter、HaystackSentenceSplitterChunk 语义完整性、平均长度适配性Embedding 模型将文本转化为语义向量闭源OpenAI Embedding、Anthropic Embedding开源Sentence-BERT、BERT-Chinese向量语义区分度、生成速度、维度大小向量数据库存储向量并实现高效相似性检索闭源Pinecone、Weaviate、Qdrant托管版开源FAISS轻量、Milvus大规模检索延迟100ms、召回率95%大语言模型LLM基于检索到的知识生成自然语言答案闭源GPT-4、文心一言、通义千问开源Llama 3、Mistral、Qwen答案准确性、幻觉率、语言流畅度RAG步骤RAG大概分为两个步骤知识库构建和知识库的使用下面将对这两个步骤进行详细介绍。1.知识库的构建该阶段为后续在线响应做准备核心是将原始数据转化为结构化、高检索效率的知识索引避免在线时重复处理数据导致延迟共 4 个关键步骤数据采集与清洗收集目标领域的知识源如 PDF、文档、数据库表、网页文本等去除冗余重复内容、修正错误乱码、格式问题保证数据质量文档分割Chunking按 “语义完整 适配 LLM 上下文窗口” 原则将长文档拆分为片段Chunk常用策略包括 “固定长度分割带前后文重叠” 或 “语义分割按段落 / 章节”避免语义断裂文本向量化Embedding用 Embedding 模型如 OpenAI Embedding、Sentence-BERT将每个 Chunk 转化为数值向量把 “语义相似性” 转化为 “向量空间距离”为检索做准备构建向量索引将所有 Chunk 的向量存入向量索引结构如 FAISS、Milvus、Pinecone替代 “暴力遍历”实现毫秒级相似性检索。2. 知识库的使用该阶段是 RAG 与用户交互的核心实时根据用户查询匹配知识并生成可靠答案共 5 个关键步骤用户查询理解优化原始查询如纠错、提取关键词、扩展同义词明确检索目标例将 “2024 新能源车销量同笔增长” 修正为 “2024 中国新能源汽车销量同比增长”相似性检索将优化后的查询转化为向量通过向量数据库检索 “距离最近” 的 Top-N 个相关 Chunk即与问题最匹配的外部知识部分场景会结合关键词检索如 BM25做 “混合检索”知识过滤与排序二次筛选检索结果去除重复、无关内容并用轻量模型如 Cross-Encoder重新排序提升知识精准度Prompt 构建将 “用户查询 筛选后的相关 Chunk 指令要求答案仅来自参考知识” 组合成 LLM 可理解的 PromptLLM 生成与输出将 Prompt 输入 LLM如 GPT-4、Llama 3模型基于检索到的外部知识生成答案可选标注知识来源以提升可追溯性。RAG相关的技术栈1.知识源与数据处理层该层负责将非结构化文本、PDF 等、半结构化表格、JSON 等数据转化为机器可理解的 “检索友好型” 格式是 RAG 的 “知识储备基础”。技术类别核心组件 / 工具功能说明数据采集工具- 网络爬虫Scrapy、Beautiful Soup、Selenium - 文档解析PyPDF2、pdfplumber、Unstructured - 数据库连接SQLAlchemy关系型、PyMongo非结构化从网页、本地文档PDF/Word/PPT、数据库中采集原始知识数据解决 “知识从哪来” 的问题。数据清洗与预处理- 文本清洗NLTK、spaCy去停用词、标点 - 格式标准化LangChain DocumentLoader、LlamaIndex Reader - 数据去重SimHash、MinHash去除噪声数据如乱码、重复内容统一数据格式为后续分词、嵌入做准备。数据结构化处理- 信息抽取spaCy实体识别、AllenNLP关系抽取、LangChain StructuredTool - 表格处理Pandas、TabulaPDF 表格提取将非结构化文本中的关键信息实体、关系、事件或半结构化表格转化为结构化数据提升检索精度。2.向量工程层该层通过 “向量嵌入Embedding” 将文本转化为高维向量再通过向量数据库存储和索引是 RAG “快速找到相关知识” 的关键技术类别核心组件 / 工具功能说明向量嵌入模型- 通用模型OpenAI Embeddingtext-embedding-3-small、Sentence-BERTall-MiniLM-L6-v2 - 领域模型BioBERT医疗、CodeBERT代码、ERNIE中文将文本句子 / 段落转化为语义向量确保 “语义相似的文本向量距离近”支撑语义检索而非关键词匹配。向量数据库- 开源Milvus、Chroma、FAISS轻量、Qdrant、Weaviate - 商业Pinecone、Weaviate Cloud、Zilliz Cloud专门存储向量数据提供高效的近似最近邻ANN检索能力如 IVF、HNSW 索引解决 “百万级向量快速匹配” 问题。向量索引优化- 索引算法HNSW高召回、IVF-Flat高精度、FAISS IVF-PQ压缩存储 - 量化技术Scalar Quantization、Product Quantization通过索引算法降低检索时间复杂度通过量化技术减少向量存储占用平衡 “检索速度” 与 “精度”。3.检索策略层该层负责设计 “从向量库中筛选相关知识” 的逻辑不仅依赖语义向量还通过多策略优化确保 “找得准、找得全”。技术类别核心组件 / 工具功能说明基础检索方法- 语义检索基于向量数据库的 ANN 检索 - 关键词检索Elasticsearch、Solr倒排索引 - 混合检索Elasticsearch 向量插件如 ES-HNSW语义检索解决 “意图匹配”关键词检索解决 “精确术语匹配”混合检索结合两者优势如 “糖尿病” 语义匹配 “胰岛素” 关键词过滤。高级检索策略- 多轮检索Multi-turn RetrievalLangChain RetrievalQAWithSourcesChain - 分层检索Hybrid Hierarchical先粗筛文档→再精筛段落 - 重排序RerankingCross-EncoderBERT-based、Cohere Rerank API多轮检索通过用户追问迭代优化结果分层检索降低计算成本重排序对初筛结果二次打分如 “相关段落排前”提升精度。检索过滤机制- 元数据过滤LangChain MetadataFilters按 “文档类型 / 发布时间” 筛选 - 权限过滤Milvus Access Control、Weaviate Auth基于业务需求筛选知识如 “只检索 2023 年后的医疗文献”或控制知识访问权限。4.生成与增强层该层是 RAG 的 “输出端”负责将检索到的知识与大模型结合生成 “有依据、无幻觉” 的回答。技术类别核心组件 / 工具功能说明基础大模型LLM- 开源模型Llama 370B、Mistral 8x7B、Qwen-72B - 闭源 APIGPT-4o、Claude 3、Gemini 1.5提供 “理解检索知识 生成自然语言回答” 的核心能力开源模型适合私有化部署闭源 API 适合快速验证。提示工程Prompt Engineering- 提示模板LangChain PromptTemplate、LlamaIndex Prompt - 思维链CoTFew-shot CoT、Zero-shot CoT - 知识注入将检索到的 “知识片段 来源” 嵌入 Prompt通过模板规范输入如 “基于以下知识回答{retrieved_context}\n 问题{user_question}”通过 CoT 引导 LLM 逻辑推理减少 “幻觉”。回答增强技术- 来源引用LangChain CitationQATool、LlamaIndex CitationGenerator - 多模态生成GPT-4o Vision结合图片知识、Gemini Pro文本 图片为回答添加 “知识来源标注”如 “参考文档 1XXX”提升可信度支持多模态知识图片、表格的生成融合。5.系统集成与框架层该层提供 “开箱即用” 的 RAG 全流程框架封装数据处理、检索、生成等模块简化工程落地难度。技术类别核心组件 / 工具功能说明全流程 RAG 框架- LangChain最流行框架支持 “DocumentLoader→Embedding→Retriever→LLM” 全链路生态丰富插件 / 工具多 - LlamaIndex专注 “知识索引”优化长文档检索如自动分块适合复杂知识图谱场景 - Haystack模块化设计支持 Pipeline 可视化适合工业级部署无需从零开发通过调用框架 API 快速搭建 RAG 原型如 LangChain 5 行代码实现基础 RAG。低代码 / 可视化工具- FlowiseLangChain 可视化拖拽平台 - LlamaIndex Chat Engine开箱即用的 RAG 对话界面 - Steamship托管式 RAG 平台支持一键部署非技术人员可通过拖拽配置 RAG 流程托管平台减少服务器部署、模型运维成本。多模态 RAG 框架- LlamaIndex MultiModalReader、LangChain MultiModalPromptTemplate - Florence-2微软、mPLUG-Owl多模态理解支持图片、音频、视频等非文本知识的检索与生成如 “检索产品图片 生成使用说明”。6.评估与运维层该层负责监控 RAG 系统的 “检索精度”“生成质量” 和 “运行效率”持续优化系统性能。技术类别核心组件 / 工具功能说明效果评估指标- 检索评估Recallk前 k 个结果是否包含正确知识、Precisionk前 k 个结果的准确率 - 生成评估ROUGE-L与标准答案的相似度、BLEU流畅度、Faithfulness无幻觉率如 Factuality Score量化 RAG 效果如 “Recall590%” 表示前 5 个检索结果 90% 包含正确知识定位优化点。评估工具- RAGAs开源专门评估 RAG 的 “检索相关性、生成忠实度、回答有用性” - TruLens监控 RAG 全链路检索→生成支持归因分析 - Hugging Face Evaluate提供 ROUGE、BLEU 等标准化评估函数自动化评估 RAG 系统替代人工打分如 RAGAs 可批量测试 1000 个问题的无幻觉率。运维与监控- 模型监控Prometheus Grafana监控 LLM 响应时间、向量检索耗时 - 日志管理ELK StackElasticsearchLogstashKibana - 迭代优化LangSmithLangChain 生态跟踪 Prompt / 检索结果迭代实时监控系统响应速度、错误率通过日志定位 “检索失败”“生成幻觉” 的原因记录迭代历史。普通人如何抓住AI大模型的风口领取方式在文末为什么要学习大模型目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 大模型作为其中的重要组成部分 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 为各行各业带来了革命性的改变和机遇 。目前开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景其中应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过30%。随着AI大模型技术的迅速发展相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业人工智能大潮已来不加入就可能被淘汰。如果你是技术人尤其是互联网从业者现在就开始学习AI大模型技术真的是给你的人生一个重要建议最后只要你真心想学习AI大模型技术这份精心整理的学习资料我愿意无偿分享给你但是想学技术去乱搞的人别来找我在当前这个人工智能高速发展的时代AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料能够帮助更多有志于AI领域的朋友入门并深入学习。真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发大模型全套学习资料展示自我们与MoPaaS魔泊云合作以来我们不断打磨课程体系与技术内容在细节上精益求精同时在技术层面也新增了许多前沿且实用的内容力求为大家带来更系统、更实战、更落地的大模型学习体验。希望这份系统、实用的大模型学习路径能够帮助你从零入门进阶到实战真正掌握AI时代的核心技能01教学内容从零到精通完整闭环【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块内容比传统教材更贴近企业实战大量真实项目案例带你亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌02适学人群应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。vx扫描下方二维码即可本教程比较珍贵仅限大家自行学习不要传播更严禁商用03入门到进阶学习路线图大模型学习路线图整体分为5个大的阶段04视频和书籍PDF合集从0到掌握主流大模型技术视频教程涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向新手必备的大模型学习PDF书单来了全是硬核知识帮你少走弯路不吹牛真有用05行业报告白皮书合集收集70报告与白皮书了解行业最新动态0690份面试题/经验AI大模型岗位面试经验总结谁学技术不是为了赚$呢找个好的岗位很重要07 deepseek部署包技巧大全由于篇幅有限只展示部分资料并且还在持续更新中…真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发