近日,大数据分析/数仓软件巨头Teradata宣布基于中国未来商业环境评估,退出在中国的直接运营,后续将进入中国公司关闭程序。

　　星环科技经过多年的自主研发打造了一系列大数据基础软件,并打磨了一系列国产化替代平滑迁移方案,能够更好帮助企业用户更高效、更平滑、更安全的实现国外进口产品的国产化替代。自主研发的分布式分析型数据库ArgoDB经工信部电子第五研究所代码扫码测试,代码自主率(行数)超90%,可支持标准SQL语法,兼容Oracle、IBM DB2和 Teradata等方言,通过一个ArgoDB数据库,就可以打造一站式离线数据仓库、实时数据仓库、数据集市和联邦计算平台等数据分析系统,同时已与国内主流软硬件信创厂商完成了兼容适配互认证,满足信创验收要求。作为一款的数据库产品,目前ArgoDB已在各行各业成功替代Oracle、DB2、Teradata等国外产品。

　　例如,某农商行采用星环科技分布式分析型数据库ArgoDB建设了新一代湖仓一体平台,平滑替代了原Teradata一体机,实现了多数据平台合一,降低了原有同质化的数据系统运维开发成本和数据冗余,综合成效比达到Teradata的14倍。

　　传统数仓架构面临众多挑战

　　随着互联网金融生态的发展,该农商行和实体经济的业务联系和深度融合进展迅速,业务数据的内容不断丰富,数据规模也不断增长。伴随该农商行业务的快速发展,传统数据仓库技术架构面临越来越大的挑战,其表现如下:

　　(1)大部分传统数据仓库对分布式并行计算模式的支持不够,难以实现处理能力的水平彈性扩展,依赖于服务器硬件的升级实现处理能力扩容,不仅成本高昂,而且受到服务器硬件升级周期较长等的限制。

　　(2)商业银行因业务复杂性和多样性的原因,现存的数据应用系统种类较多。在单个数据库系统处理能力有限的情况下,普遍存在应用各自独立建设,缺乏统筹规划,系统间数据处理职责划分不合理、囗径不一致,存在大量的重复加工和数据冗余的问题。

　　(3)传统数据仓库软件主要面向数据分析型应用,无法兼顾实时营销与实时风险管理等高并发、低延迟应用场景需要,较难处理非结构化数据,难以快速实现业务团队的数据探索、数据挖掘与业务建模需求。

　　基于以上情况,该农商行基于自身发展需求,参考业界先进架构以及同业案例,在2017年引入星环科技的TDH平台,构建了以分布式大数据技术为基础的大数据平台。同时引进星环分布式分析型数据库ArgoDB产品,采用ArgoDB集群替代Teradata一体机。

　　选择星环ArgoDB+TDH实现湖仓一体

　　该农商行从企业应用角度出发,通过对国内外众多主流大数据平台产品的技术能力和实现细节详细了解、对比、筛选,并对候选产品进行严格的POC测试,最终选择了更符合自身需求的国产TDH大数据平台产品。通过TDH大数据平台的建设,实现成本管理和业务管控的双效提升。

　　选择TDH大数据平台产品,该农商行可以采用普通的服务器和存储进行搭建,在经济效益层面,经初步估计,数据应用的总体硬件投入成本将比采用传统模式低不少;数据库软件授权许可费预计只有原来的1/20;同时由于各应用构建在同一个大数据平台上,因此每个应用减少了大量的共性数据加工和数据共享代码开发,软件开发成本也有所降低。

　　在系统效率层面,TDH充分利用分布式计算以及内存处理(ArgoDB)技术,在处理同样数据量情况下,大数据量跑批处理时间预计能大幅降低,大大提升了该农商行在营销、风控、运营等业务流程上的响应能力。

　　综合成效比提升14倍

　　该农商行基于星环ArgoDB+TDH的湖仓一体平台,实现了多数据平台合一,进行数据资产管理,降低了原有同质化的数据系统运维开发成本和数据冗余,实现了数据的迁移,保证了业务正常运行。

　　该农商行采用ArgoDB集群替代Teradata一体机,软硬件使用时效从4年提升到10年,跑批时间从超过10个小时,降低到不到5个小时,综合成效比达到Teradata的14倍。

　　同时,利用星环TDH和ArgoDB,该农商行完成数据仓库汇总层关键50+张指标表迁移,实现了数据仓库管理会计等800多个供数接口迁移,小数据平台120多下游接口迁移,为下游40多个系统提供支撑,更好地支持银行智能化、数字化应用建设。

　　作为大数据基础软件国产化的重要推动者之一,星环科技还拥有成熟的基础软件替代解决方案:

　　*大数据基础平台TDH可以完美的替代CDH/HDP和CDP,提升功能、性能、稳定性、易用性、扩展性、可靠性、安全、国产生态支持等能力,提供多种模型支持能力,性能的提升可以达到5到100倍,原厂专业服务能力更强。

　　*分布式交易型数据库KunDB可以在交易型OLTP的业务场景、高并发在线数据服务场景,替代Oracle/DB2,并且提升存储计算能力、高可用能力、跨分区事务能力。

　　*分布式分析型数据库ArgoDB可以在批处理和OLAP、Ad hoc分析等场景,替代Oracle/DB2/TD/SAP HANA,提供海量数据分析能力,提升混合负载、实时数据分析等能力,软硬件综合性价比得到10到100倍的提升。

　　*分布式图数据库StellarDB可以在图查询、图分析的场景替代Neo4j,提升图数据存储检索能力,支持万亿顶点以上的图存储与毫秒级检索性能,提供近30种分布式图算法和10层以上深度链路分析能力。

　　*搜索引擎Scope可以在全文检索、日志分析等场景替代ElasticSearch,提升稳定性、性能、集群扩展性等能力。

　　*智能分析工具Sophon可以在可视化建模分析场景替代SAS/SPSS,获得200+算子支撑,提升功能和性能(降本增效)。