阿里云联合Intel启动E-MapReduce 极客挑战赛

2021-08-24 10:42:53 来源:CSDN
        【每日科技网】

  近年来,随着大数据时代的到来,各行各业正迎来一波上云热潮。为了让更多的开发者在对数据处理的极限探索过程中,体验云上开发的优势。日前由阿里云和英特尔公司联合主办,阿里云EMR团队和阿里云天池承办的“E-MapReduce极客挑战赛”正式开启。目前,大赛已面向全社会开放报名,个人、高等院校、科研单位、企业、创客团队等人员均可报名参赛。

  在不久前举行的中国互联网大会上发布的《中国互联网发展报告(2021)》显示,2020年,我国云计算整体市场规模达到1781.8亿元,增速为33.6%。在此背景下,如何利用新技术高效存储、处理数据,在降低成本的同时提高资源配置效率,成为了当下企业数字化转型的重要议题。

  为此,阿里云针对性开发的E-MapReduce云原生开源大数据平台,以其易用性高,性能强,弹性大的特点,成为了广大用户的。其可以在为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎的同时,部署在阿里云公有云的ECS和ACK、专有云平台。相对的,英特尔® 傲腾™ 持久内存打造的兼具出色的内存与存储性能的解决方案,可以将高性价比的大容量内存与对数据持久性的支持巧妙地结合在一起。

  为了让更多的开发者们,体验云上开发的优势,阿里云计算平台EMR团队和英特尔公司联合开启了本届“E-MapReduce极客挑战赛”,广邀创新极客,结合阿里云 EMR和英特尔® 傲腾™ 数据中心级持久内存,优化软件系统和利用硬件的特征,追求TPC-DS测试集的性能。

  目前大赛已公布的初赛题目,是由阿里云EMR 团队提供用于比赛的Spark 3.1.2代码分支,交给选手进行 Spark 代码优化和参数调优以提升SparkSQL执行效率,同时组委会提供性能测评工具供选手自行测试(单机环境或EMR集群环境)。在比赛阶段,选手将最终优化后的Spark代码和调优参数打包,通过天池平台提交,天池平台会使用相同的性能测评工具,进行评测和排名。在初赛的基础上,复赛需要处理的数据量更大,同时升级了 EMR 集群配置,并为每个 Worker 节点配置了 PMEM 持久内存,选手可以通过 App Direct 模式使用持久内存。

  据悉,大赛现已开放报名,并将分为初赛、复赛及决赛三个赛段,评委嘉宾包括阿里云开源大数据平台数据湖构建与分析负责人吴谓、数据湖存储负责人郑锴,英特尔傲腾产品事业部中国技术创新中心软件开发经理吴国安、英特尔加速计算系统和图形事业部工程经理徐铖等。

  阿里云计算平台事业部负责人贾扬清表示:”希望通过这次大赛,让开发者们在体验云原生的开发环境的同时,可以尝试一次技术的挑战。不仅在比赛中收获好的成绩,更重要的是寻找到代码的乐趣和技术的收获。”Intel 数据分析软件部门总监Heidi Pan也表示: “希望大家通过这次比赛能够有所收获,能够对数据分析引擎的性能优化有更深刻的体会与理解洞察”。

  同时,阿里云研究员、开源大数据平台负责人王峰也强调:“我们欢迎来自高校、企业及各行业的开发者们加入我们的比赛,希望各位开发者能在这次竞赛中充分展示自己的技术能力。” 阿里云开源大数据平台产品负责人陈守元表示:“我们希望为广大的大数据爱好者及科研企业提供一个创新挑战的平台,一起来探索性能极限。”

  据介绍,本次大赛最终将有1支队伍、2支亚军队伍和3支季军队伍分获10万、5万、2万人民币奖金及获奖证书。值得一提的是,本次大赛还特别推出了“EMR开发者激励计划”,为邀请好友参赛的达人,以及参与比赛的选手分别制定了特别激励规则与奖品,相信将为本次E-MapReduce 极客挑战赛吸引更多行业内外的关注。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前