构筑开放式大数据架构,Apache Kyuubi和NDH荣登开源OSCAR

2023-02-01 13:46:01 来源:艾瑞网
        【每日科技网】

  在9月16日召开的“2022 OSCAR开源产业大会”上,中国信息通信研究院发布了一系列开源研究成果和开源表彰,网易数帆发起的开源项目Apache Kyuubi荣获“OSCAR尖峰开源项目及开源社区”,有数大数据基础平台NDH荣获“OSCAR尖峰开源技术创新(二次开发)”。

  此外,网易数帆发起的云原生开源项目Slime和Curve分别获得了“可信开源社区共同体(TWOS)”和“TWOS 银河计划成员”的授牌。 “OSCAR开源尖峰案例”评选旨在为开源产业发展立标杆、树典范,已开展多年,可谓中国开源领域的奥斯卡,可信开源社区则致力于推动开源社区发展和落地应用。网易数帆获得权威评选的认可,再次证明了公司构建的开放式大数据架构的先进性,及践行“架构开放,内核开源”理念的决心。

  Apache Kyuubi:社区成熟,毕业可期 Kyuubi作为一个封装SparkSQL的服务诞生,将多租户、高可用和分布式等企业级特性引入开源大数据的世界,因其实用性受到了社区用户的关注。2021年6月,Kyuubi项目进入Apache软件基金会孵化,并在Apache Way的指引下实现了更快的发展速度。依托本身的架构设计,Apache Kyuubi快速迭代,在Spark之外完成了Flink 、Trino(Presto)、Hive 等主流计算框架的支持,成为一个面向Serverless SQL on Lakehouse的服务,支持更加丰富的大数据场景应用,并被网易、阿里云、腾讯云、小米、华泰证券、广发证券、丁香园、eBay、T3出行、携程、爱奇艺、哔哩哔哩、womply、Houzz、kt NexR等国内外近百家企业采用。

  在网易数帆的开放式大数据架构中,Apache Kyuubi被视为统一SQL网关,用以屏蔽整个体系中不同存储、计算/查询引擎的差异,为数据中台提供支撑。

  Apache Kyuubi的演进得益于社区的成熟,经过不到15个月的孵化,社区已经拥有93位代码贡献者,其中来自网易外部的贡献者占比超过了80%,充分体现了社区驱动的力量。最近,Apache Kyuubi被中国开源软件推进联盟主编的《2022中国开源发展蓝皮书》和InfoQ研究院编撰的《中国开源发展研究分析2022》列为中国开源大数据基础设施的代表。而今,在整个社区坚持不懈的努力下,Kyuubi从Apache基金会毕业可期,成为基金会项目的目标不再遥远。

  对于Apache Kyuubi的项目表现和社区发展态势,OSCAR评委专家均给予高度认可。

  NDH:我左Spark,右Impala,Kyuubi在上面

  作为一款企业级大数据基础平台,网易数帆有数大数据基础平台NDH的核心特点,一是兼容并增强Hadoop体系组件,二是完全自主掌握核心代码,这对于企业从原有大数据平台平滑迁移、满足自主可控要求来说都很重要。更为重要的是,有数大数据基础平台NDH基于开源技术打造,在业务支撑能力及性能上有更加出色的表现。

  有数大数据基础平台NDH内置多种存储计算引擎,并在Hadoop、Spark、Impala等多个核心组件做了功能及性能增强(例如在Impala上实现虚拟数仓特性),还新增了智能运维和任务治理能力,支持企业级安全管控。这些能力的增强正是大规模生产落地的结晶,获得了评委专家的肯定。

  有数大数据基础平台NDH原本作为网易数帆数据中台的底座提供,因市场需求,于今年6月作为单独的产品发布,此举也曾引发业界热议——网易数帆为何进军这门“不好的生意”。然而,这款产品在Impala和Kyuubi方面的积累和优势让从业者印象深刻。目前,有数大数据基础平台NDH已应用于银行、证券、流通、制造等行业三百多家企业客户生产环境。

  Slime和Curve:持续完善开源云原生基础设施

  Apache Kyuubi和有数大数据基础平台NDH是网易数帆开放式大数据架构的开源项目和商业产品代表,Slime和Curve则是网易数帆开源云原生基础设施的两大支柱,分别填补了服务网格智能管理和国产高性能云原生存储的空白。因其生态定位、架构设计的独特性以及社区发展前景,Slime社区和Curve社区分别受邀成为可信开源社区共同体(TWOS)成员和TWOS 银河计划成员,针对项目质量、社区发展、商业模式等话题加强开源社区之间的交流协作,不仅完善开源云原生基础设施生态,也助推国内开源产业健康、快速发展。

  未来,网易数帆将继续秉承开放式思维拥抱开源,以扎实的产品实力和先进的技术实力为后盾,团结社区合作伙伴,持续为开源生态建设贡献力量。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

千匠网络实践:如何让大模型从“能用”走向“好用”

过去两年,几乎所有上规模的企业都接入了大模型。智能客服、知识问答、AI助手——这些应用已经算不上新鲜事。但在演示会议室与真实业务场景之间,一个显著落差正在浮现:能聊天,但不理解企业业务语境;能生成内容

千匠网络

4天前

海能达发布全新专业防爆PDT对讲机CH690Ex

随着我国应急管理体系持续完善,消防救援任务正在从传统火灾处置,向化工园区事故、危险品泄漏、地下空间救援、大型综合灾害等多风险、多场景方向发展。在这些复杂环境中,救援现场往往面临爆炸性气体、可燃性粉尘、

3周前

海能达CCW 2026载誉收官:AI与融合通信引领专用通信新未来

6月16日至18日,2026年全球关键通信展(CCW2026)在英国伦敦举行。展会期间,海能达集中展示了从终端到系统、从感知到决策的全链路创新版图,AI与融合通信产品及解决方案贯穿三天展期,持续获得高

1个月前

登陆欧洲 Intersolar!远景AI电力系统支撑全球 AI 算力发展

慕尼黑,2026年6月23日——在IntersolarEurope2026上,远景科技集团发布面向AI数据中心的下一代电力基础设施——融合风光储一体化方案、固态变压器(SST)、800V直流供电、储能

1个月前

海能达六度问鼎ICCAs,PDC650与西安机场方案摘得双奖

6月17日,2026年国际关键通信奖(InternationalCriticalCommunicationsAwards,ICCAs)在英国伦敦举行的全球关键通信展(CCW2026)期间正式揭晓。海能

1个月前

海能达即将亮相2026年CCW全球关键通信展: 携AI与融合通信解决方案登陆伦敦

6月16日至18日,2026年CCW全球关键通信展将在英国伦敦启幕。作为全球领先的专用通信解决方案提供商,海能达将以全场景关键通信产品矩阵亮相F25展位,集中展示面向公共安全、应急救援、城市治理等领域

1个月前