田丰博士,矩阵起源CTO。师从数据库元老级前辈 David DeWitt,拥有20年数据库内核开发经验,多篇论文入选数据库领域国际顶级会议SIGMOD、VLDB。
本次专访,田丰博士与IT168分享了对数据库公司技术路线演变的思考。
从细分到融合的演化过程
技术细分与融合是一个不断变化的过程,会随着供给与需求的变化而动态调整。
以HTAP数据库的发展为例:关系型数据库的业务负载通常分为TP负载和AP负载,TP一般是做交易型的业务,数据量小,但要求低时延、高吞吐,对安全、高可用、稳定性有较高的要求。AP一般对历史数据进行分析,对系统资源开销大,主要面向数据量大、查询复杂以读为主的分析类业务。
早期数据量较小,数据库并不区分TP和AP,所有业务都放在一个数据库上,如Oracle既能支持TP负载,也能支持AP负载。随着时间的推移,数据量逐渐增大,受限于当时的技术,一套架构很难满足不同的负载需求,TP和AP开始分开,交易型数据库处理TP负载,数据仓库处理AP负载,中间通过ETL工具将交易型数据库上的数据传输到数据仓库中,当时业务对时效性要求并不高,可以满足业务需求。
实时分析需求不断上升
随着数字化深入,市场变化加快、竞争加剧,无论是移动互联网产品,还是智能制造、智慧城市等新兴场景,企业对数据使用的要求越来越高,需要获得实时洞察指导经营决策。
对于企业来说,以前做数据分析需要将数据从OLTP库ETL到数仓再进行分析,这样的数据分析方法实时能力较弱;随着对更大规模、更复杂的数据集进行实时分析的需求不断上升,催生出了HTAP数据库。
数据库产品的制胜关键
田丰博士介绍,当前众多的HTAP数据库,大概有以下三种技术路线。
一是从TP走向AP,在TP基础上增加AP能力。二是从AP走向TP,在AP的基础上增加TP的能力。三是从一开始同时支持AP和TP。其中有的方案是将一套TP系统和一套AP系统粘合起来,表面上看一套HTAP系统,但是粘合的方案在数据新鲜度和延迟方面难以把控,能力相对会弱一些。而且在一套系统的基础上增加额外的能力,在资源隔离、资源优化方面也会遇到挑战。
矩阵起源在进行MatrixOne产品设计时,较好地兼容了企业的实时分析需求,统一实现 AP、TP、流等不同类型数据和支持不同异构基础设施的应用,保证性能与简便管理。
实际上,用户对数据库的需求并不是简单的TP和AP,用户真正的需求是让写得更好、更准,读得更多、更快,人为地做了很多应用之后就把TP和AP两个数据库分开。云使得资源颗粒度更细且能近似无限地扩展,这意味着对于用户需求的组合可以不像以前那样一定是TP和AP之分。 比如MatrixOne将存储、计算、事务三层解耦,通过完全容器化的设计来实现极致扩展,更细颗粒度地按照数据的操作混合,通过资源隔离优化,充分利用资源,这样的架构创新离不开云的支持。
数据库竞争已进入崭新阶段
在快速变化的时代,基础软件的创新发展需要长期主义,小步迭代快跑,毕竟好的数据库是用出来的,更是在工程上不断迭代优化出来的。
数据库竞争已进入崭新阶段,一切可能刚刚开始。
免责声明
本文转载自网络平台,发布此文仅为传递信息,本文观点不代表本站立场,版权归原作者所有;不代表赞同其观点,不对内容真实性负责,仅供用户参考之用,不构成任何投资、使用等行为的建议。请读者使用之前核实真实性,以及可能存在的风险,任何后果均由读者自行承担。
本网站提供的草稿箱预览链接仅用于内容创作者内部测试及协作沟通,不构成正式发布内容。预览链接包含的图文、数据等内容均为未定稿版本,可能存在错误、遗漏或临时性修改,用户不得将其作为决策依据或对外传播。
因预览链接内容不准确、失效或第三方不当使用导致的直接或间接损失(包括但不限于数据错误、商业风险、法律纠纷等),本网站不承担赔偿责任。用户通过预览链接访问第三方资源(如嵌入的图片、外链等),需自行承担相关风险,本网站不对其安全性、合法性负责。
禁止将预览链接用于商业推广、侵权传播或违反公序良俗的行为,违者需自行承担法律责任。如发现预览链接内容涉及侵权或违规,用户应立即停止使用并通过网站指定渠道提交删除请求。
本声明受中华人民共和国法律管辖,争议解决以本网站所在地法院为管辖法院。本网站保留修改免责声明的权利,修改后的声明将同步更新至预览链接页面,用户继续使用即视为接受新条款。