欢迎大家来到IT世界,在知识的湖畔探索吧!
【CSDN 编者按】近年来,国产数据库除了在各类排行榜上刷新纪录外,混合式HTAP数据库也逐渐迎来发展的春天。做出既能联机交易,又能作数据分析的混合式数据库,将是国产数据库由跟随潮流到引领时代迈出的重要一步。
作者 | 雷涛
然而,风云起,时代变,一切局势都在潜移默化中开始扭转。以十年前的开心农场偷菜场景为例,随着C端客户爆炸式增长,中国IT人瞬间意识到,传统西方的IOE(IBM小型机、Orcale数据库、EMC存储)技术架构根本无法支持如此海量的并发,而由IOE带来的高昂IT支出也令人瞠目结舌。正是在这样的大背景下,核心技术的自主掌控成了业界共识,打造自己的数据库成了中国程序员们的梦想。
近十年来,我国在数据库领域真正做到了厚积薄发。从单节点到分布式,从单一用途的TP、AP库到混合式HTAP,从独立的数据仓库、数据湖到湖仓一体,从SQL、NoSQL再到NewSQL……可以说,数据库的各方面都迎来了突破性进展。
数据的神奇旅行
而随着大数据应用的进一步拓展,业界发现价值密度更低的非结构化数据也有储存及挖掘的必要。比如客服的对话方式可能是语音、文字甚至是图像、视频,这都不是传统意义上数据库、数据仓库可以处理的结构化数据,因此用于储存非结构化的数据湖出现了,在数据湖中数据标准化、结构化的特性也退化了。从关系型数据库到数据湖,各种大数据技术栈相互独立,但随着移动互联网时代的到来,这种情况发生了改变。
联机性能和实时分析真的是“鱼与熊掌不可兼得”吗?
如果还是回答不出更细节、隐含的问题,比如非线性问题,还要把数据复制到SAS中做机器学习,再做统计的指标体系,去进一步挖掘。数据要在这里搬动三次,复制三份冗余,还要管理数据一致性,每天数据中心运维的大量工作都在做数据迁移。而数据在这种低效的转运迁移过程中,很多价值就白白消耗了,且正如前文所说,TP与AP两套体系的组件兼容性很差,能让两大体系协同工作已属不易,如果再考虑灾备高可用方面的需求,则是难上加难。
行列混存—混合负载的正确打开方式
如图1所示,逻辑上,业务场景主要分为两类:联机交易OLTP和数据分析OLAP。HTAP数据库不仅支持使用SQL进行传统的关系模型计算,更是将图计算和AI建模纳入了逻辑计划中,可进行高阶计算。在数据存储层,通过行列混合的方式,按需支持OLAP和OLTP场景,这样就做到了一种存储架构兼容所有场景。
图1 HTAP数据库架构图
《新数据库时代》目录
智能驾驶作为人工智能的顶上皇冠,我们以技术和商业融合创新为主线,邀请到23位汽车领域专家,从开源系统、车路协同、数字孪生等不同视角分析了云计算、人工智能、物联网等技术给汽车行业带来的影响和机会,让汽车从业者深入了解产业动态。
《软件定义汽车》目录
本书高屋建瓴的产业分析和趋势预判适合中高端从业人员参考决策。同时,多位专家亲历的入门和实践之旅也为初学者提供了可借鉴的专业路径。
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://itzsg.com/48726.html