从离线到实时对客，湖仓一体释放全量数据价值
发布时间：2022-08-02 11:08:31 所属栏目：云计算 来源：互联网
导读：近期，巨杉数据库举行线上发布会，发布基于「湖仓一体」架构的v5.2版本，提升多项「实时」能力，诠释公司「释放全量数据价值」的价值主张。深度解析在数字化时代下，SequoiaDB如何围绕金融银行业的实时需求，全面提升结构化查询分析、非结构化存
|
近期，巨杉数据库举行线上发布会，发布基于「湖仓一体」架构的v5.2版本，提升多项「实时」能力，诠释公司「释放全量数据价值」的价值主张。深度解析在数字化时代下，SequoiaDB如何围绕金融银行业的实时需求，全面提升结构化查询分析、非结构化存取、性能监控故障诊断及数据生命周期管理的四大能力，让全量数据的价值从「内部离线」向「实时对客」进一步释放。会中，赛迪咨询深度解读全国首个《湖仓一体技术研究报告》，详细介绍湖仓一体架构的兴起与未来发展方向。 巨杉基于数据湖的实时能力已经达到全球领先，技术实力得到了金融头部客户的认可。2012年巨杉数据库正式成立，并于2014年正式商用，产品已在超过100家金融银行客户规模化生产上线，其中不乏中国人保、民生银行、南方电网、中国太平保险等世界500强企业及广发银行、广东省农信、四川省农信、吉林省农信、恒丰银行、渤海银行、上海银行、上海农商银行、中国证券登记结算有限公司、海通证券等典型客户。在单一客户中SequoiaDB所支持的最大数据量，已经达到1.4万亿行、服务器规模超过400台、数据容量达数PB；SequoiaDB更服务于多个政府平台，如支持“粤省事”平台的医保、社保数据查询，这些数据也助力新冠核酸检测，帮助政府匹配核酸检测情况。 双核心：交易核心+数据核心，让全量数据实时可得 过去的10年，是信息化向数字化转型的10年，伴随数字化的深化发展，企业不但需要面向业务交易的信息化传统「交易核心」，同时更需要面向数据价值的「数据核心」。移动互联网、AI、IOT、大数据等的兴起与发展，数字化成为企业的全新课题，数据库是企业数字化转型的基石。 信息化时代，「交易核心」解决的是交易系统的问题，面向渠道、产品、客户、核算及清算等业务流程，确保业务闭环。其交易过程产生的海量流水数据，将成为「数据核心」的生产要素。 数字化时代，「数据核心」解决的是数据的采集、整理、聚合、运用等问题。数字化新核心将为信息化「交易核心」提供实时、跨业务的全量数据，以及基于数据的决策依据，实现数据价值的持续释放。 「实时」是「释放全量数据价值」的关键。10年前，巨杉数据库自萌芽之初就意识到，数据会成为社会发展关键的要素资源，需要提供面向全量数据的实时对客及高并发处理能力。业界遇到的普遍痛点是，面向「交易核心」的数据库因架构及技术限制仅能服务于指定的业务系统，且无法处理全量数据；以Hadoop为代表的大数据产品虽然可以存放全量数据，但无法提供实时处理能力，两者皆无法满足全量数据实时对客服务的发展需求。因此巨杉毅然开始了自研原生分布式数据库内核的道路，从「多模数据湖」、「实时数据湖」发展到「湖仓一体」，为客户提供「数据核心」所需的全量数据存储，实时对客服务，及基于统一数据源的分析能力，充分激活客户的离线数据。 四大实时能力提升，SequoiaDB v5.2释放全量数据价值 巨杉数据库基于湖仓一体架构的SequoiaDB v5.2版本进行了多项更新，此次发布会主要介绍了四大实时特性的能力提升。即将发布的SequoiaDB v5.2版本让全量数据的价值从「内部离线」向「实时对客」进一步释放。 查询更实时，所有数据可毫秒级访问。面向结构化数据，SequoiaDB v5.2版本提供深度的Join优化及列存微分区技术，在多个查询场景下，性能达到了毫秒级实时返回；分析场景中，性能更获得了10倍以上提升，让数据湖的查询分析更实时。 存取更实时，吞吐量提升30%以上。面向非结构化数据，巨杉通过「分片并发」及「可变分区大小」的技术，相比原有版本，SequoiaDB v5.2版本吞吐量提升30%以上，让数据湖的非结构化数据存取更实时。 诊断更实时，业务问题分钟级定位。发布会上，巨杉数据库发布SAC运维管理工具的重要特性更新，运行监控方面提供了全GUI的性能及故障分析能力，SAC基于分布式架构的实时诊断，可实现业务问题分钟级定位。 全量数据生命周期管理，提升人效及能效。部署架构方面，支持多配置硬件的混合部署，针对高并发数据与低并发数据，做到按需调度；面向横跨结构化、非结构化数据，提供一体化的开发及管理能力，提升人效及能效，在成本可控的前提下，实现全量数据实时可用。 技术迭代互补，而非替代 巨杉数据库深耕第三代分布式数据库技术，我们认为分布式数据库的星辰大海，绝不仅限于对交易核心数据库的替代。SequoiaDB的「湖仓一体」是从「多模数据湖」、「实时数据湖」结合「实时数仓」发展而来，为客户提供「数据核心」所需的全量数据存储，实时对客服务，及基于统一数据源的分析能力，充分激活客户的离线数据。SequoiaDB正通过湖仓一体架构提供面向多模、实时、分析的需求，与各类集中式及分布式交易核心数据库成为上下游合作伙伴，驱动数字化业务创新，释放全量数据价值。 60年前诞生的第一代数据湖，以网格型、层次型数据库为代表，至今还有不少企业依然在使用；第二代数据库，以处理交易核心业务的关系型数据库为代表，是当前业界的主流。第一、第二代数据库大都基于集中式架构，因架构、数据结构的限制，导致大量的数据产生后，无法对业务流水、用户过程数据等全量数据做保存沉淀。往往需要将全量数据异步导出到大数据等后端平台，无法提供给终端用户实时查询分析，成为了仅对内部使用的离线数据，难以满足终端用户实时查询需求。 （编辑：荆门站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
