网易开源分布式存储系统 Curve :性能是 Ceph 的 1.84 倍

2020-07-20 15:45:59 来源:IT之家
        【每日科技网】
网易开源分布式存储系统 Curve :性能是 Ceph 的 1.84 倍

  近期,网易公司旗下云服务商网易数帆宣布开源一款名为Curve 的高性能分布式存储系统,官方称其性能可达 Ceph 的 1.84 倍。

  据官方介绍,Curve 的定位是提供一个高性能、低延迟的存储底座,基于这个存储底座,企业可以打造适用于不同应用场景的存储系统,如块存储、对象存储、云原生数据库等。目前,网易数帆已经实现了高性能块存储系统。根据项目文档介绍,Curve 主要具有三大特性:高性能、高可用和自治。

  高性能:Curve 团队参考了业界一些高效的开源存储系统,设计了一个新架构以实现高性能低延迟的核心能力。采用 brpc 保证网络数据流的高性能和低延迟,基于braft 实现多副本一致性下的低延迟,并对 braft 的快照实现进行了进一步的优化。磁盘 IO 方面,Curve 通过更细粒度的地址空间的 hash 减少 IO 碰撞,增加 IO 并发度,并采用 chunkfilepool 减小 IO 放大倍数,从而限度地发挥硬件的性能。

  网易公布了 Curve 和 Ceph L 版本的测试数据对比,在单卷的场景下,核心的 4K 随机读/写的IOPS 性能,Curve 分别是 Ceph 的 1.84 倍和 1.58 倍,同时延迟相比 Ceph 分别降低 48.39%和 37.50%。

  高可用:Curve 被设计为核心组件都能容忍部分实例失败而不影响整个集群的可用性。网易介绍,无论是单台存储故障,还是系统扩容,Curve 的客户端 IO 都不会受到影响,插拔硬盘、服务进程中断这些常见异常,IO 抖动也很小。当然,故障恢复过程对上层 IO 也不会造成明显影响。

  自治:Curve 可实现一键部署、一键升级,运维只要很少的人工干预,并基于 bvar、Promethues 和 Grafana等开源项目打造了全面的度量标准和告警体系。

  目前,基于 Curve 的高性能块存储系统已经应用在网易的一些核心业务中,支持快照克隆和恢复, 支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式。网易介绍,系统上线至今 400 多天,尚未出现数据不一致和丢数据的情况,也没有发生过重大故障,具备相当的可靠性和成熟度。

  网易透露,Curve 目前还有一些创新的性能优化工作尚未完成,如细粒度哈希、io_uring 落盘方案,项目团队下一阶段的主要任务就是解决这些问题,预计完成优化之后下个版本还会有 30% 的性能提升。

  鉴于目前开源领域还没有足够高性能和低延迟的分布式存储系统,网易数帆方面表示希望把 Curve 开源出来,回馈社区,让业界一起来使用它,也希望大家一起参与把 Curve 打造得越来越好。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

争夺3D DRAM主导权 三星下一代DRAM定调4F Square

有观察认为,三星电子已就下一代DRAM的单元结构定下方向,将从现行的6F²(6FSquare)转向4F²(4FSquare)。随着继续缩小半导体线宽的既有微缩方式逼近极限,转而改变DRAM单元本身的排

三星

1周前

《终结者》“天网”恐成现实 研究:AI存在灭绝人类风险!

科幻电影《终结者》里,拥有自我意识的AI“天网”发起核战争,几乎毁灭人类文明,而如今,多名顶尖AI研究者发出警告:如果超级智能的安全问题无法解决,类似的极端灾难并非完全不可能发生。曾任职OpenAI、

终结者

1周前

锐龙7 H 255+24GB内存!机械革命无界14S 2026锐龙版首发4699元

机械革命无界14S2026笔记本锐龙版现已开售,搭载锐龙7H255处理器,配备24GB+512GB存储组合,售价4699元(国补后3994.15元)。机身采用银色金属材质,14英寸屏幕机型轻约1.1k

手机史上最快CPU!苹果A20 Pro亮相:2nm工艺+6核心设计

今天凌晨,iPhone18Pro系列如期亮相,包含iPhone18Pro和iPhone18ProMax两款旗舰。该机首发搭载了A20Pro芯片。对比上代A19Pro,A20Pro最大变化之一在于采用了

光库科技2026上半年净利润大增,薄膜铌酸锂调制器加速产业化

AI算力驱动光通讯器件营收破6亿元,泰国基地顺利结项受益于全球AI算力基础设施投资加速与数据中心建设,光库科技2026年上半年业绩实现大幅增长。境外业务表现尤为突出。上半年公司境外收入5.88亿元,同

2周前

海光信息2026上半年营收突破90亿元,新一代CPU主频迈入5GHz时代

深算DCU完成腾讯混元Hy3适配,CPU+DCU双芯战略加速落地国产算力龙头海光信息近日披露2026年半年度报告,公司上半年实现营业收入90.99亿元,同比增长66.52%;归母净利润17.98亿元,

2周前