竹子建站seo设置怎么做学习网页制作的网站

竹子建站seo设置怎么做,学习网页制作的网站,莱芜金点子官网,wordpress7验证码插件三个月前#xff0c;我在 Github 上开源的一个 RAG 练手项目#xff0c;目前已经有了 327 个 star#xff0c;总共解决了 22 个 issues。结合过去几个月的项目实践#xff0c;我重新对项目做了轻量化重构#xff0c;降低资源消耗与部署门槛。项目地址#xff1a;https://…三个月前我在 Github 上开源的一个 RAG 练手项目目前已经有了 327 个 star总共解决了 22 个 issues。结合过去几个月的项目实践我重新对项目做了轻量化重构降低资源消耗与部署门槛。项目地址https://github.com/weiwill88/Local_Pdf_Chat_RAG麻雀虽小五脏俱全。总体来说这是一个轻量级但组件完整的本地化 RAG 智能问答平台。可以通过 Gradio Web UI 直观体验混合检索、重排序、递归查询及联网搜索等高级 RAG 策略更能从源码层面学习和实践 RAG 的完整流程与优化技巧。BTW也支持 API 的调用方式.这篇试图说清楚项目的各个核心组件构成日志分段拆解含义以及进阶和扩展方向参考欢迎感兴趣的盆友基于此项目进行探索和贡献。以下enjoy:1项目定位在接触如 Dify、RAGFlow 这类高度封装的 RAG 框架之前复现和二开这个项目可以熟悉 RAG 核心组件实际体验文本加载、切分、向量化、向量存储与检索本项目使用 FAISS、LLM 集成等关键环节。理解 RAG 基本流程从底层脚本层面观察数据如何在 RAG 系统中流转和处理。进行初步优化与测试尝试调整参数、替换模型、优化提示词等直观感受不同策略对结果的影响。掌握这些基础后能更有的放矢地使用高级 RAG 框架的 API 进行针对性调优或定制开发。2核心优化这部分要介绍的项目轻量化改造主要也是为了让初学者盆友更好的抓住 RAG 的核心脉络避免过早陷入数据库管理和配置的细节中。当理解了核心流程后再过渡到如 ChromaDB 或其他生产级向量数据库就能更好地理解这些数据库所解决的问题和提供的价值。2.1旧版依赖问题在上一个版本的 issues 中有挺多用户反馈依赖安装时间过久几个主要的“重量级”组件及其依赖项是导致安装时间较长的主要原因torch 和 transformers这两个库是 sentence-transformers 的核心依赖。sentence-transformers 用于生成文本嵌入向量化以及进行结果重排序通过交叉编码器。torch 是一个庞大的深度学习框架而 transformers 包含了许多预训练模型和工具。这些是现代 NLP 和 RAG 系统的基石因此体积较大。onnxruntime这是 chromadb 的一个依赖。chromadb 在内部可能使用 ONNX Runtime 来执行其默认的嵌入模型或其他优化计算即使项目代码中指定了使用 sentence-transformers 来生成嵌入。onnxruntime 本身是一个跨平台的机器学习模型执行引擎体积也不小。Langchain虽然原项目目前主要使用它的文本分割器 (RecursiveCharacterTextSplitter)但完整安装 langchain 会引入不少间接依赖。2.2轻量化改造针对 Langchain 的优化项目主要使用了 langchain 的文本分割功能考虑到 langchain 已经将许多组件模块化所以可以仅安装文本分割器模块并相应修改代码中的导入语句。针对向量数据库ChromaDB 虽然功能较为全面但在某些场景下尤其是对于本地运行和初学者而言其依赖和服务可能相对“重”一些会涉及到更多的后台进程和磁盘空间占用。FAISS-CPU 是一个专注于高效向量相似性搜索的 C库Python 绑定通常更为轻量依赖更少尤其是在 CPU 版本下不需要额外的数据库服务运行直接在内存中进行索引和搜索。这使得项目更容易在普通个人电脑上快速启动和运行。注针对嵌入和重排序模型 (sentence-transformers, torch, transformers)这部分是 RAG 系统效果的核心轻量化难度较大且容易牺牲模型性能所以暂时不做处理。3核心组件拆解项目虽然经过了轻量化改造但依然包含了构建一个完整 RAG 系统的所有核心组件。学习和理解下述组件的运作方式对于入门 RAG 技术很重要。3.1文档加载与解析使用 pdfminer.six 从 PDF 文件中提取文本内容理解如何从不同格式的非结构化数据源中提取原始文本这是 RAG 流程的第一步。熟悉不同的解析库及其优缺点能为后续处理多种数据源打下基础。3.2文本切分使用 langchain_text_splitters (如 RecursiveCharacterTextSplitter) 将长文本分割成小的数据块 (chunks)。理解文本切分对于 RAG 的重要性。合适的切分策略能确保每个数据块既包含足够的上下文又不超过后续处理如向量化模型输入长度、LLM 上下文窗口的限制。学习不同的切分方法如按字符数、按句子、递归等及其适用场景。3.3文本向量化 使用 sentence-transformers 库加载预训练的句向量模型如 moka-ai/m3e-base将文本块转换为高维向量。这是 RAG 的核心之一。理解文本向量化的概念即如何将语义信息编码为计算机可以理解和比较的数字表示。熟悉不同的向量化模型及其特点如多语言支持、特定领域优化、向量维度等并了解如何选择合适的模型。3.4向量存储与索引 使用 faiss-cpu 构建向量索引 (IndexFlatL2)并在内存中存储和管理这些向量及其与原始文本块的关联通过我们自己维护的 faiss_contents_map, faiss_metadatas_map, faiss_id_order_for_index。理解向量数据库/搜索引擎的基本原理即如何高效地存储大量向量并根据查询向量快速找到最相似的 K 个向量。通过 FAISS可以直观感受到索引构建、相似度计算如 L2 距离的过程。学习不同的索引策略对检索效率和精度的影响。3.5检索语义检索用户问题向量化后在 FAISS 索引中执行 search 操作获取最相似的文本块。关键词检索使用 rank_bm25 实现 BM25 算法根据关键词匹配度进行检索。混合检索结合语义检索和 BM25 的结果进行加权合并。理解不同的检索策略。语义检索关注意义的相似性关键词检索关注字面匹配。混合检索则试图结合两者优点提高召回率和相关性。学习如何评估和调整不同检索策略的权重。3.6上下文重排序使用 sentence-transformers 加载交叉编码器 (CrossEncoder) 模型对初步检索到的上下文片段进行重新打分和排序选出与问题最相关的片段。理解在初步检索后如何进一步优化上下文的相关性。交叉编码器通常比双编码器用于向量化的模型在相关性判断上更精确但计算量也更大因此常用于对少量候选结果的精排。3.7提示工程与大语言模型交互 构建合适的提示 (Prompt)将用户问题和检索到的相关上下文整合后提交给大语言模型 (LLM)。通过 requests 与本地 Ollama 服务或云端 SiliconFlow API 进行交互获取 LLM 生成的答案。递归检索利用 LLM 分析当前结果判断是否需要生成新的查询以进行更深入的探索。理解 LLM 在 RAG 中的核心作用——基于提供的上下文生成答案。学习如何设计有效的提示词以引导 LLM 更好地利用检索到的信息。体验与不同 LLM本地/云端集成的过程。递归检索则展示了更高级的 RAG 模式即如何让 LLM 参与到信息检索的迭代优化中。3.8用户界面使用 Gradio 构建交互式的 Web 界面。虽然不是 RAG 核心算法的一部分但一个好的界面能极大地方便用户与 RAG 系统交互、测试和调试。学习 Gradio 这类工具可以快速搭建原型。4运行日志拆解下文会清晰地追踪 RAG 系统处理问题的每一步各位仔细阅读下有助于更好理解各组件的功能和协同方式。4.1应用启动与用户界面初始化 (Gradio)(venv) PS D:\Projects\Ongoing\开源项目\local_pdfChat_rag python rag_demo_pro.py Gradio version: 5.29.0 D:\Projects\Ongoing\开源项目\local_pdfChat_rag\rag_demo_pro.py:1703: UserWarning: You have not specified a value for the type parameter. Defaulting to the tuples format for chatbot messages, but this is deprecated and will be removed in a future version of Gradio. Please set typemessages instead, which uses openai-style dictionaries with role and content keys. chatbot gr.Chatbot( INFO:httpx:HTTP Request: GET https://api.gradio.app/pkg-version HTTP/1.1 200 OK * Running on local URL: http://0.0.0.0:17995 INFO:httpx:HTTP Request: GET http://localhost:17995/gradio_api/startup-events HTTP/1.1 200 OK INFO:httpx:HTTP Request: HEAD http://localhost:17995/ HTTP/1.1 200 OK * To create a public link, set shareTrue in launch().python rag_demo_pro.py: 这是启动整个 RAG 应用的主命令。radio version: 5.29.0: 显示了 Gradio 库版本它负责构建用户交互界面。UserWarning… chatbot gr.Chatbot(…): Gradio 提示其聊天机器人组件参数 type 的未来变更。INFO:httpx:HTTP Request…: Gradio 启动过程中的网络请求如检查版本等。Running on local URL: http://0.0.0.0:17995 : Gradio 服务成功启动用户可通过此地址访问 Web UI。4.2数据初始化/清理INFO:root:成功清理历史FAISS数据和BM25索引在处理新文档前或应用启动时系统会清理旧的 FAISS 向量索引和 BM25 关键词索引确保基于当前文档进行问答避免数据混淆。涉及组件FAISS 索引管理、BM25 索引管理。4.3文档处理、向量化与 FAISS 索引构建Batches: 100%|████████████████████████████████████████████████████████████| 1/1 [00:0200:00, 2.71s/it] INFO:root:FAISS索引构建完成共索引 9 个文本块此阶段包括了从 PDF 提取文本、将文本切分成小块chunks、然后使用 sentence-transformers 模型如 moka-ai/m3e-base将这些文本块批量转换为向量。Batches: 100%…: 显示文本块向量化的进度。INFO:root:FAISS 索引构建完成…: 表明所有文本块的向量已成功存入 FAISS (IndexFlatL2) 索引。此处示例中PDF 被处理成了 9 个文本块。涉及组件pdfminer.six (PDF 解析)、langchain_text_splitters (文本切分)、sentence-transformers (向量化)、faiss-cpu (向量索引)。4.4BM25 关键词索引构建Building prefix dict from the default dictionary ... DEBUG:jieba:Building prefix dict from the default dictionary ... Loading model from cache C:\Users\10440\AppData\Local\Temp\jieba.cache DEBUG:jieba:Loading model from cache C:\Users\10440\AppData\Local\Temp\jieba.cache Loading model cost 6.168 seconds. DEBUG:jieba:Loading model cost 6.168 seconds. Prefix dict has been built successfully. DEBUG:jieba:Prefix dict has been built successfully. INFO:root:BM25索引更新完成共索引 9 个文档系统为相同的文本块构建 BM25 关键词索引以支持后续的混合检索。Building prefix dict…: jieba 分词库正在初始化并加载词典这是处理中文文本进行 BM25 计算的前提。INFO:root:BM25 索引更新完成…: 表明针对这 9 个文本块的 BM25 索引已创建。涉及组件rank_bm25 库、jieba 分词库。4.5用户提问与递归检索启动 (第一轮)INFO:root:递归检索迭代 1/3当前查询: 发动机冒蓝烟的故障原因分析用户通过 Gradio 界面输入问题“发动机冒蓝烟的故障原因分析”。系统启动递归检索流程配置的最大迭代次数为 3这是第一轮的开始。涉及组件Gradio UI、递归检索控制逻辑。4.6联网搜索可选第一轮INFO:root:网络搜索返回 5 条结果这些结果不会被添加到FAISS索引中。如果启用了联网搜索系统会使用 SerpAPI 根据当前查询从互联网获取实时信息。这些结果作为临时上下文当前版本不存入 FAISS。涉及组件SerpAPI 集成、requests 库。4.7查询向量化 (第一轮)Batches: 100%|████████████████████████████████████████████████████████████| 1/1 [00:0000:00, 3.53it/s]用户的查询或其变体被送入 sentence-transformers 模型转换为查询向量用于在 FAISS 中进行语义相似度搜索。涉及组件sentence-transformers 模型。4.8检索结果重排序(第一轮)Some weights of DistilBertForSequenceClassification were not initialized from the model checkpoint at sentence-transformers/distiluse-base-multilingual-cased-v2 and are newly initialized: [classifier.bias, classifier.weight, pre_classifier.bias, pre_classifier.weight] You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference. INFO:sentence_transformers.cross_encoder.CrossEncoder:Use pytorch device: cpu INFO:root:交叉编码器加载成功 Batches: 100%|████████████████████████████████████████████████████████████| 1/1 [00:0700:00, 7.42s/it]初步通过 FAISS 和 BM25 检索到的候选文本块会由交叉编码器 (CrossEncoder) 进行更精确的相关性打分和重排序。Some weights…: Hugging Face Transformers 库关于交叉编码器底层模型部分权重新初始化的提示。INFO:…Use pytorch device: cpu: 交叉编码器在 CPU 上运行。Batches: 100%…7.42s/it: 显示重排序过程及其耗时。涉及组件sentence-transformers (CrossEncoder 模型)。4.9LLM 交互判断是否需要递归查询及生成新查询 (第一轮后)INFO:root:使用SiliconFlow API分析是否需要进一步查询 INFO:root:生成新查询: 新查询(如果需要): 1. 涡轮增压器故障是否会引起发动机冒蓝烟 2. 曲轴箱通风系统PCV阀故障如何导致烧机油 3. 气门油封老化与冒蓝烟的具体关联是什么 4. 使用错误粘度的机油的烧机油风险有哪些系统将第一轮检索的上下文及原始问题提交给大语言模型 (LLM此处为 SiliconFlow API)。LLM 分析后判断需要进一步探索并生成了一系列更具体的新查询点以指导下一轮检索。涉及组件LLM (SiliconFlow API/Ollama)、提示工程。4.10递归检索 (第二轮)INFO:root:递归检索迭代 2/3当前查询: 新查询(如果需要): 1. 涡轮增压器故障是否会引起发动机冒蓝烟 2. 曲轴箱通风系统PCV阀故障如何导致烧机油 3. 气门油封老化与冒蓝烟的具体关联是什么 4. 使用错误粘度的机油的烧机油风险有哪些 INFO:root:网络搜索返回 5 条结果这些结果不会被添加到FAISS索引中。 Batches: 100%|█████████████████████████████████████████████████████████████████████████████| 1/1 [00:0000:00, 15.57it/s] Batches: 100%|█████████████████████████████████████████████████████████████████████████████| 1/1 [00:0600:00, 6.47s/it]系统进入第二轮递归检索使用 LLM 生成的新查询。重复进行联网搜索、查询向量化、混合检索隐含、重排序等步骤。涉及组件同第一轮的检索、向量化、重排序组件。4.11LLM 交互再次判断与生成新查询 (第二轮后)INFO:root:使用SiliconFlow API分析是否需要进一步查询 INFO:root:生成新查询: 新查询: 1. 活塞环磨损或断裂如何导致发动机冒蓝烟 2. 气门油封老化与烧机油的因果关系及检测方法 3. 气缸壁划伤是否会引起过量机油进入燃烧室 4. 高粘度与低粘度机油选择错误对烧蓝烟现象的具体影响差异 5. 废气再循环系统(EGR)故障是否可能间接引发烧机油问题 理由 - **角度扩展**现有信息聚焦于PCV阀、涡轮增压器和基础油品问题如低粘度但未覆盖活塞环/气门油封等机械磨损核心因素。需补充机械结构失效的关联分析。 - **技术细化**针对已知的“粘度过低”提示需明确不同粘度机油的适用场景与异常消耗阈值如高温剪切性能。 - **系统关联性**EGR系统虽不直接涉及润滑回路但其堵塞可能导致异常燃烧压力变化间接加剧窜油现象。第二轮检索后再次调用 LLM。LLM 进一步分析并生成了更细化、更深入的新查询及理由展示了其分析和引导能力。涉及组件LLM (SiliconFlow API/Ollama)、提示工程。4.12递归检索 (第三轮 - 最后一轮)INFO:root:递归检索迭代 3/3当前查询: 新查询: 1. 活塞环磨损或断裂如何导致发动机冒蓝烟 2. 气门油封老化与烧机油的因果关系及检测方法 3. 气缸壁划伤是否会引起过量机油进入燃烧室 4. 高粘度与低粘度机油选择错误对烧蓝烟现象的具体影响差异 5. 废气再循环系统(EGR)故障是否可能间接引发烧机油问题 理由 - **角度扩展**现有信息聚焦于PCV阀、涡轮增压器和基础油品问题如低粘度但未覆盖活塞环/气门油封等机械磨损核心因素。需补充机械结构失效的关联分析。 - **技术细化**针对已知的“粘度过低”提示需明确不同粘度机油的适用场景与异常消耗阈值如高温剪切性能。 - **系统关联性**EGR系统虽不直接涉及润滑回路但其堵塞可能导致异常燃烧压力变化间接加剧窜油现象。 INFO:root:网络搜索返回 5 条结果这些结果不会被添加到FAISS索引中。 Batches: 100%|█████████████████████████████████████████████████████████████████████████████| 1/1 [00:0000:00, 11.48it/s] Batches: 100%|█████████████████████████████████████████████████████████████████████████████| 1/1 [00:0400:00, 4.05s/it]进入最后一轮递归检索重复之前轮次的步骤。在此轮结束后系统会将所有收集到的、经过筛选的上下文信息与原始问题一起提交给 LLM 以生成最终答案此部分日志未完全显示。涉及组件同前几轮的检索、向量化、重排序组件以及最终的 LLM 答案生成。5进阶与扩展方向项目作为一个入门级的 RAG 实现为后续的迭代和功能扩展提供了良好的基础。以下是各位一些可以考虑的进阶方向5.1更精细化的文本切分策略当前的RecursiveCharacterTextSplitter是通用策略。可以研究并实现基于语义的切分如使用模型判断句子边界或主题连贯性、或针对特定文档类型的结构化切分如解析 Markdown 标题、表格等。5.2高级 FAISS 索引与管理目前使用的是基础的IndexFlatL2。可以尝试更高级的 FAISS 索引类型如IndexIVFPQ以优化大规模数据下的检索速度和内存占用。同时研究如何更优雅地支持对 FAISS 中向量的删除和更新例如使用IndexIDMap。5.3多元数据源接入目前主要处理 PDF 和可选的网络搜索。可以扩展支持导入其他格式的本地文档如.txt,.md,.docx或者接入外部 API如 Notion、Confluence 等知识库。5.4查询改写与意图识别在进行检索前使用 LLM 对用户的原始查询进行改写如纠错、同义词扩展、澄清模糊表述或识别用户真实意图可以提高检索的精准度。5.5上下文管理与压缩当检索到的相关片段过多超出 LLM 的上下文窗口限制时需要有效的上下文压缩策略如筛选最重要片段、总结次要片段来保证信息质量。5.6更复杂的重排序模型/策略除了当前的交叉编码器和基于 LLM 打分可以尝试集成更先进的重排序模型或实现多阶段重排序策略。5.7答案生成效果评估与追溯引入简单的评估机制如用户反馈、答案与来源的相似度计算和更清晰的答案来源追溯展示帮助分析和改进系统表现。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2025 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取