银兴智能:助力广发银行打造Hadoop资源管理平台

2020-12-28 19:21:39 来源:中华网科技
        【每日科技网】

  据深圳银兴智能数据有限公司(简称:银兴智能)介绍,随着广发银行大数据平台hadoop集群应用场景越来越多,研发中心、数据中心、卡中心和分行等部门均在大数据平台上进行数据开发和数据分析,由于数据开发和分析的场景各不相同,使用和购置的资源也不同。故需要通过多租户对不同用户资源进行管理。

8C6BB0533A2E61F0935C073BB6E2635C.jpg

  广发银行拥有5个大数据平台hadoop集群,分别是CDH应用集群、CDH分析集群、CDP集群和FI分行集群和离线集群,使用的产品为华为的FusionInsight和Cloudera的CDH/CDP。两类集群在管理用户、租户以及数据授权时的操作方法差别较大。FI在管理页面配置,CDH需要登录服务器用命令行的方式配置,随着集群规模不断扩大,这种不同的配置方式给运维工作增加了很大的压力。在此背景下,银兴智能与广发银行签约合作,助力广发银行自研一套hadoop集群资源统一管理工具,提高运维工作的效率,简化资源管理工作。

  项目目标

  该需求投产上线后,可进一步提升大数据平台hadoop集群资源管理水平,快速实现复杂场景的业务需求的落地实现。

  解决方案

  源管理平台分为三大模块,一、资源管理模块,通过hadoop提供的接口和sdk,实现对多集群用户、用户组、角色和租户管理二、集群监控模块,通过hadoop提供的接口和sdk,对集群状态、租户信息和使用情况、Yarn任务和ACL目录授权监控信息进行采集,并通过可视化图表对上述采集到的信息进行展示三、平台管理模块,管理平台本身的用户、用户组、角色及平台的配置与权限,并实现审计管理等功能

  项目成果

  通过可视化界面进行集群管理,提高运维效率和准确率

  通过集中化集群管理,提高对集群管控能力,减少生产事件

  提供集群租户使用资源报表功能,拥有对集群租户使用情况的全景视野,实现租户精细化管理

  Yarn任务监控和导出功能,实现集群大任务监控和定期任务优化

  打通行内其它系统,与其它系统实现数据共享,增强集群上下游数据交互能力

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前