据深圳银兴智能数据有限公司(简称：银兴智能)介绍，随着广发银行大数据平台hadoop集群应用场景越来越多，研发中心、数据中心、卡中心和分行等部门均在大数据平台上进行数据开发和数据分析，由于数据开发和分析的场景各不相同，使用和购置的资源也不同。故需要通过多租户对不同用户资源进行管理。
广发银行拥有5个大数据平台hadoop集群，分别是CDH应用集群、CDH分析集群、CDP集群和FI分行集群和离线集群，使用的产品为华为的FusionInsight和Cloudera的CDH/CDP。两类集群在管理用户、租户以及数据授权时的操作方法差别较大。FI在管理页面配置，CDH需要登录服务器用命令行的方式配置，随着集群规模不断扩大，这种不同的配置方式给运维工作增加了很大的压力。在此背景下，银兴智能与广发银行签约合作，助力广发银行自研一套hadoop集群资源统一管理工具，提高运维工作的效率，简化资源管理工作。
项目目标
该需求投产上线后，可进一步提升大数据平台hadoop集群资源管理水平，快速实现复杂场景的业务需求的落地实现。
解决方案
源管理平台分为三大模块，一、资源管理模块，通过hadoop提供的接口和sdk，实现对多集群用户、用户组、角色和租户管理二、集群监控模块，通过hadoop提供的接口和sdk，对集群状态、租户信息和使用情况、Yarn任务和ACL目录授权监控信息进行采集，并通过可视化图表对上述采集到的信息进行展示三、平台管理模块，管理平台本身的用户、用户组、角色及平台的配置与权限，并实现审计管理等功能
项目成果
通过可视化界面进行集群管理，提高运维效率和准确率
通过集中化集群管理，提高对集群管控能力，减少生产事件
提供集群租户使用资源报表功能，拥有对集群租户使用情况的全景视野，实现租户精细化管理
Yarn任务监控和导出功能，实现集群大任务监控和定期任务优化
打通行内其它系统，与其它系统实现数据共享，增强集群上下游数据交互能力
免责声明：本文仅代表作者个人观点，与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
本网站有部分内容均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责，若因作品内容、知识产权、版权和其他问题，请及时提供相关证明等材料并与我们联系，本网站将在规定时间内给予删除等相关处理.
