南通网站建设找哪家好做网站哪里最便宜

南通网站建设找哪家好,做网站哪里最便宜,网站幻灯片 按纽,龙岩市企业网作者#xff1a;关涛 Tony #xff5c;云器科技联合创始人#xff5c;CTO 导读 2022 年随 LLM/AGI 的革命性突破#xff0c;数据平台迎来了第三次革命#xff0c;半非结构化数据的处理能力被 AI 解锁#xff0c;数据规模再一次触碰 10 倍扩展的潜力。沉淀在数据湖上的D…作者关涛 Tony 云器科技联合创始人CTO导读2022 年随 LLM/AGI 的革命性突破数据平台迎来了第三次革命半非结构化数据的处理能力被 AI 解锁数据规模再一次触碰 10 倍扩展的潜力。沉淀在数据湖上的DarkData如何被“点亮”又需要哪些数据湖新能力来支持本文由 Datafun 根据 2025Datafun Summit 主题演讲整理云器科技CTO关涛试从技术架构演进和 AI 新需求两个视角与参会者探讨 #数据湖 领域的过去现在和未来。主要内容包括以下几个部分1. 数据湖的本质与崛起的驱动力2. 技术格局演变与标准之争3. AI 驱动下的数据架构革命4. 实践创新云器科技的 AI 驱动数据湖解决方案5. 结论数据湖新机遇6. 问答环节数据湖的本质与崛起的驱动力本章核心观点1. 当前主流数据湖包含两个关键系统存储系统和 Catalog 系统和三个关键标准文件格式、表格式、Catalog 格式。2. 数据湖技术已经发展到湖仓一体阶段湖仓一体已经成为事实标准。3. AI 成为数据技术的新驱动力10 倍半非结构化数据的存储和处理能力成为新发力点。1. 统一与开放数据湖的定义与范畴数据湖是一个统一且可扩展的系统它覆盖数据从采集到输出的全过程能容纳结构化、半结构化等各类数据。它不依赖特定引擎保持开放性。Databricks用简单、开放、协作来描述数据湖的特点。数据湖主要由两个系统组成存储系统如 AWS S3 等云存储及开源技术和 catalog 系统管理数据定义、结构、来源等元数据。同时它基于三个标准文件格式Parquet、TF record、CSV、JPEG 等、表格式Hudi、​​​​​​​Iceberg等和元数据服务格式如 Iceberg 的 RestAPI。2. 技术突破与业务变革数据湖兴起的双轮驱动数据湖的兴起源于技术和业务的共同推动。在技术方面20 世纪 70 年代的数据库技术奠定了数据管理基础2000 年后互联网普及带来的数据爆炸使传统数据库难以应对。谷歌的分布式系统GFS 存储、MapReduce 计算成为数据湖技术基础。数据湖的发展经历了几个阶段早期凭借海量存储、易扩展和低成本优势兴起但后来显现性能和实时性问题近五年进入湖仓一体阶段结合数据湖与数据仓库能力解决高性能分析和实时性需求但对AI场景仍有不足低带宽、结构化数据为主未来数据湖将进入AI 阶段。在业务方面企业数字化转型需要整合多源异构数据来深入了解业务、辅助决策。数据湖的大容量存储、易扩展性和多数据类型兼容性满足了企业统一管理分析原始数据的需求。技术格局演变与标准之争本章核心观点1. 存储系统领域HDFS 逐渐被淘汰云对象存储成为主流。新一代对象存储向湖仓例如 AWS 新发布 S3 Table和 AI 方向例如 VestData发展。2. 表格式领域Apache Iceberg 赢得最多支持逐步成为事实标准。整个领域快速发展iceberg V3parquet V3 都在加速推进中。3. Catalog 领域仍处于“战国时代”目前有超过 5 种不同形式的开源 catalog 产品建议用户短期观望。AI 需求的满足率或成为胜负手。1. 云存储主导存储系统的转型与升级存储技术格局已明显改变HDFS 逐渐退出云对象存储成为主流新兴数据平台基本都基于对象存储构建。对象存储正在向上发展。以 AWS S3 为例去年推出新特性 GA引入“table”概念如 CRS Table原因是一是 S3 中结构化数据 Parquet 占比增加成为内部最大数据格式二是存在性能优化空间。新“table”有两个特点支持 Iceberg 标准未来可能兼容其他标准全托管设计自动处理压缩、授权、小文件等问题提高数倍性能和十倍事务处理效率。对象存储有两个发展方向一是作为主要存储底座构建数据库二是向数据仓库功能拓展通过一体化设计提升性能。因此新建数据平台选择对象存储如云服务比 HDFS 更好。2. “战国时代”元数据系统的变革与竞争传统 Hive 元数据存储(HMS)已不能满足现代需求新一代 Catalog 系统处于“战国时代”缺乏统一标准。HMS 有三个主要问题只支持结构化数据功能单一缺少权限、数据血缘、数据治理等能力需要外部组件可能引入整套老旧体系所以业界都在寻找替代方案。市场上出现了多个新系统如开源的 Starburst Loris Database、Catalog亚马逊 Glue华人项目 Gravitino 等。这些系统大多是近一年开源的处于早期竞争阶段未来可能会出现主导者。新系统需要满足两个条件兼容 HMS 存量数据支持新兴 AI 能力。独立服务模式以 AMS 为代表通过 API 收集表、系统等元数据存入数据库用图结构表示数据血缘。提供点查如表分区、模式、搜索上下游表关联、治理计算部门数据表统计等功能属于组装式架构。Big Meta 模式谷歌 2021 年在 Big Query 提出针对大规模元数据管理将其抽象为类似 Big Table 的结构化存储如亚马逊 S3 Meta AtTable 将所有对象元数据整合成 Event 表支持 Iceberg 标准或原生引擎如 Redshift直接处理避免外部组件拼接。现在大多数开源组件采用独立服务模式云厂商则倾向 Big Meta架构更统一依赖现有引擎。未来两种思路可能分化前者满足企业个性化接入需求后者因一体化优势可能成为主流也可能长期并存服务不同场景。3. 标准分化与融合格式标准的生态博弈1文件格式标准的统一在文件格式方面结构化数据领域 Parquet 已成为现在的事实标准新兴数据大多基于 Parquet 格式存储和处理。2表格式标准的多元竞争在表格式标准领域Hudi、Delta Lake、Iceberg 和 Paimon 等开源项目受到广泛关注各有优势在海外市场Iceberg 认可度较高。2022 年 Databricks 收购相关公司后Snowflake、AWS 都全面采用其标准。国内开源项目 Paimon 表现突出与 Flink 深度集成在流数据处理和流批一体场景中优势明显能高效整合实时流与批量数据处理。Hudi 擅长数据更新管理支持增量数据快速插入、更新、删除适用于高实时性场景Delta Lake 强调 ACID 事务特性保障数据操作的可靠性。这四个项目都在快速迭代如 Iceberg 优化查询效率Paimon 深化 Flink 集成。随着生态成熟未来它们可能会融合企业需要整合多系统优势社区也在推动互操作性。但融合面临数据格式兼容、接口统一、性能优化等挑战需要业界共同解决。3Catalog 格式的标准化进程Catalog 发展比表格类技术更早目前只在表 API 层面有基础形态。其中Iceberg 的 Rest API 中表相关接口Table API获得大多数社区支持正成为新一代标准兼容核心但数据存储状态、数据治理等领域仍无统一规范。现在市场上有近十套不同 Catalog 系统仍处于技术选型和迭代阶段。这些标准正向两个方向发展①下一代 Parquet V3早期阶段目标在保持高性能基础上扩展功能适配 AI 与实时场景主要特性随机访问能力提升 AI 任务数据访问灵活性适配模型训练等场景智能压缩优化基于硬件特性定制压缩策略降低存储与传输成本场景化增强支持实时更新增加 AI 友好特性如结构化/非结构化数据混合处理。②下一代 Iceberg V3开发中初步方案进入评审主要特性流式处理强化支持行级血缘追踪、变更数据捕获CDC及高效更新/删除如 Delete Vector 优化提升实时数据处理能力新数据类型支持纳入 Very Large Data由 Non-Flat 数据模型推动、地理信息数据等复杂类型扩展数据处理边界处理模式升级从纯结构化数据向半/非结构化数据处理演进适配多元数据场景功能扩展尝试原生支持物化视图优化数据管理与查询性能调整仓商能力适配湖仓一体架构。AI 驱动下的数据架构革命本章核心观点1. AI 带来的半非结构化处理能力会解锁数据湖的 10x 潜力存储、管理新的多模态数据成为大厂的关键发力点。2. AI Native 成为设计核心面向 AI 的标准/产品开始挑战当代数据湖技术。例如文件格式领域新一代 Lance format 开始挑战传统的 Parquet。3. 数据处理从生产到查询的传统范式向生产到召回演进。计算架构重回搜索时代但被新一代 AI 引擎加持。1. 打破数据孤岛AI 重塑数据类型处理范式AI 出现前数据平台基于关系代数处理结构化数据依赖 SQL、Parquet 等工具进行分析。AI 改变了这一模式它的核心价值在于突破数据类型限制使文本、图像、视频等半非结构化数据以前称为暗数据通过 AI 模型得到有效处理。例如AI 能从聊天记录中提取关键信息这类复杂分析远超传统深度学习能力为企业释放数据价值开辟了新空间。这种变化使原本被孤立的数据类型得以统一处理企业能从过去难以分析的非结构化数据中提取关键见解。2. 价值重构从信息到智慧的数据消费变革AI 为数据处理带来革命性变化将传统一对一系统升级为m 对 n模式。在传统 DIKW 模型中原始数据经 ETL 生成报表信息层部分通过机器学习用于搜推系统浅层次知识应用数据利用有限且深度不足。AI 介入后半非结构化数据获得计算能力原始数据输入 AI 引擎可实现知识问答、语义搜索报表分析支持归因建模多智能体系统如 Manus能基于基础数据完成财务综合分析知识级应用。未来数据消费将更依赖 AI 引擎它整合结构化与半结构化数据的综合分析能力推动数据价值从信息级向知识、智慧级提升。3. 融合与创新数据湖的未来发展方向数据表达的多元化转型同一份数据可以有 5 种表达模式二维关系结构化数据高准确度、可解释性需 ETL 建模标量半结构化倒排索引中等表达能力向量高维抽象机器学习专用可解释性差点边图数据库复杂关联数据模型融入模型低使用门槛可观测性差AI 推动数据向高准确性高信息密度可解释性发展目标是整合结构化表与半结构化数据为统一知识库。系统架构的范式转变系统架构从主动查询转向召回驱动生产端处理结构化/半结构化数据ETL/语义处理引入 AI 引擎存入对应存储如向量数据库。消费端支持多表达查询系统自动召回数据供大模型分析如财务分析场景整合报表与文本报告通过评估反馈优化召回排序。大模型应用与搜索引擎架构相似都需要数据预处理拆分/索引、召回匹配向量/倒排索引、结果生成体现 AI 时代数据处理的通用性趋势。存储与标准体系的革新AI 催生专用存储系统如海外 Vast Data、国内开源 GFS 变种聚焦大模型需求支持预训练数据拆分、推理阶段向量 KV 存储采用高性能架构Disaggregated、RDMA/MME 硬件牺牲通用性换取高吞吐。代表方案GFS 提供 Fuse 与原生接口推荐原生接口实现极致性能。存储标准从单一优化如 RDBMS 大块扫描、Parquet 快速分析转向统一适配 AI 需求新体系如 LanceDB 向量数据库、开放表格式如 Apache Hudi/Iceberg/Delta Lake兼顾模型训练、数据检索等多场景。面向 AI 的数据湖元数据中心重要性大增需要处理复杂权限如财报敏感数据、多模数据分类图片/视频等非结构化数据构建难度随数据规模与模式复杂度上升。实践创新云器科技的 AI 驱动数据湖解决方案云器科技的 Lakehouse 产品通过统一数据接入、AI 增强的数据处理、多模态知识整合和闭环反馈机制构建了整套智能数据湖仓平台现已开放注册。用户可以直接线上开账号试用。部分高级功能需要联系商务开通1. 多元融合全频数据接入的统一架构云器 Lakehouse 抽象数据库存储为统一Volume按数据类型/权限划分独立空间实现细粒度授权与隔离。这种设计既保证了安全性又提供了灵活的数据整合能力为企业构建全域数据视图奠定基础。2. 智能流转AI 驱动的 ETL 范式转变云器 Lakehouse 将 AI 能力封装到数据流水线使非结构化数据处理如增量文档分析像结构化 ETL 一样便捷处理后数据自动存入后台库。这种智能流转大大降低了数据处理复杂度让企业能更高效地从各类数据中提取价值。3. 知识整合RAG 增强与统一知识库云器 Lakehouse 整合了向量索引处理非结构化数据、标量索引文本检索、表数据结构化分析支持多模态数据直接读取构建统一知识库满足复杂查询需求。这种融合架构使企业能同时处理结构化报表、非结构化文档和多媒体内容为全方位业务决策提供支持。4. 自我进化闭环反馈与优化机制云器 Lakehouse 建立了完整的反馈链路通过用户评估数据召回效果反向优化排序模块与模型输出形成数据处理-应用-迭代闭环。这种自我进化机制使系统能持续提升数据服务质量适应不断变化的业务需求。结论数据湖新机遇AI 时代为数据湖的发展带来了深刻的变革数据湖正站在一个关键的拐点上。从数据湖的概念、范畴和兴起到表格系统的发展再到 AI 和大模型对数据库架构的颠覆性影响我们可以清晰地看到数据湖在技术和业务驱动下的不断演进。未来数据湖将朝着更加智能化、融合化的方向发展更好地满足企业在数字化转型过程中对数据管理和分析的需求。在这个过程中企业需要密切关注数据湖技术的发展动态结合自身业务需求合理选择和应用相关技术以充分挖掘数据的价值。同时业界也需要加强合作共同推动数据湖生态的完善和发展解决技术融合、标准统一等问题为大数据领域的持续创新提供坚实的基础。问答环节Q1云器的元数据管理系统是 BigTable 的形式吗A1云器科技的元数据系统正在向 BigTable 模式发展现在我们有一个基础系统正在逐步向前推进。通过与大型客户合作我们发现元数据系统变得越来越大在实践中发现元数据不足会使数据分析变得困难而元数据太多又面临元数据系统本身计算复杂的问题。特别是在百 TB 以上的数据量上元数据计算可能需要三十秒的时间而采用 BigTable 方式能很好地解决这一性能问题。Q23FS 这种用于 AI 训练的支持 RDMA 的文件系统怎么和数据湖整合A2从 3FS 来看它的目标很明确现在主要为大模型训练和推理服务不是一个通用的数据库系统这也是 Deepseek 能把成本做到很低的主要原因即专款专用。从发展趋势看类似 VestData 的系统最初也是专款专用只给大模型训练和服务推理用但最近它推出了“data platform”产品实现了融合设计同时支持结构化的数据、多样性的硬件和不同的场景等支持的规模也很大。我们猜测 AWS 的 S3 可能也会向这个方向发展。从整体架构看大多数企业可能不需要自建 AI 存储系统而是等待云对象存储系统发展到这个阶段。这个变化可能在一年内就会发生那时云存储将有更多的 RDMA 能力、更高的处理能力和更高的带宽用户还能根据需求选择 SSD 或更经济的存储方案。访问云器官网直接试用体验​编辑https://www.yunqi.tech/reservation?hmsrcsdnhmplhmcuhmkwhmci更多内容欢迎关注「云器科技」官网云器科技-多云及一体化数据平台提供