AutoDL系列赛最后一战 AutoWSL2019挑战赛火热进行中

2019-10-14 15:14:00 来源:站长之家
        【每日科技网】

  AutoWSL2019 作为 11 月17- 19 日亚洲机器学习大会(ACML)主会议竞赛单元之一,由第四范式、ChaLearn、RIKEN和微软联合举办,其中竞赛分享和颁奖将与大会WSL-Workshop共同举办。据悉,AutoWSL是继AutoCV、AutoCV2、AutoNLP、AutoSpeech之后的第 5 届自动深度学习(AutoDL)挑战赛,比赛已于 9 月 24 日正式开始。本次挑战赛聚焦于弱监督学习相关任务的自动化解决方案,参赛者需要设计自动机器学习程序完成半监督学习、正例及未标记学习和噪声标记学习三个热门方向任务,解决不同应用领域的二分类问题。

  现代机器学习正在向复杂模型(如深度神经网络)的时代迁移,而复杂模型需要大量的优质标注数据。大公司有足够的资源来收集优质的标注数据,然而对于初创公司或非营利组织来说,标记数据的高昂成本只能让他们望而却步。此外,在特定领域的数据存在自然稀缺性(如阿尔茨海默病或地震预测等),优质的标注数据可能根本不存在。弱监督学习(WSL)方法试图通过访问比监督学习更少的标注信息,来达到监督学习相近的效果目标。正因为WSL不需要大量的标注数据,促使大家对弱监督学习进行研究和关注,以期望让更多的用户和企业享受低门槛的机器学习红利。但传统的弱监督学习方法有太多的超参数需要根据问题进行调整,需要付出众多人力才能成功部署弱监督学习方法,而我们希望召集来自全球各地的参赛者一起通过自动化解决方法破解这一难题,降低弱监督学习方法的使用门槛。

  本次赛事主要负责人、第四范式主任科学家涂威威表示:第四范式接触到的现实业务中有非常多的弱监督学习场景,有效的自动弱监督学习方法对于规模化解决这些场景中的机器学习问题至关重要。第四范式联合南京大学提出了自动半监督学习(AutoSSL)以及自动正例及未标记学习(AutoPU)等方法。但是相关的研究才刚刚起步,举办本次比赛也是希望吸引更多的研究人员和从业人员关注到自动化弱监督学习的问题,一起推动这个领域的技术进步,从而帮助更多的行业利用机器学习技术提升效益。

  关于比赛

  本次比赛是国际首届自动弱监督学习竞赛,旨在为与弱监督学习相关的任务提供自动化的解决方案,挑战任务仅限于来自不同应用领域的二分类问题。大会为参赛者提供 3 个练习数据集,用于开发自动弱监督学习程序。随后,该程序将在无人工干预的情况下在 18 个私有验证数据集上进行反馈测试,选手可以通过验证数据集上的反馈结果调整程序;最后在 18 个私有测试数据集上进行测试评估,测试结果将决定最终的竞赛排名。

  在AutoWSL竞赛中,我们将重点关注弱监督学习中的三个热门任务,即半监督学习(有些样本是未标记的)、正例及未标记学习(样本只有正例或未标记,没有负例)和从噪声标记中学习(所有样本都有标记,但有些标记可能是错误的)。这三个任务互不关联,不会同时出现在同一个数据集中。另外,组委会提供辅助信息帮助参赛者确定他们需要在每个数据集上执行的任务。

  赛事挑战:

  AutoWSL将对参赛者提出新的挑战,如下所列:

  -如何自动处理各种弱监督学习任务?

  -如何为不同的任务自动提取有用的特征?

  -如何自动处理不同数量的监督信息?

  -如何自动设计有效的学习模型来处理各种结构化数据?

  此外,参赛者还应考虑:

  -如何自动和有效地选择适当的超参数?

  -如何提高解决方案通用性?即如何保证解决其在未知任务中的适用性?

  -如何控制计算和内存成本?

  赛制 介绍

  本次比赛准备了总共 39 个分类数据集,参赛者首先下载三个可以下载的练习数据集,以便其可以离线开发他们的自动弱监督解决方案。此外,另外 18 个验证数据集也提供给参与者,以评估其解决方案的公共排行榜分数。之后,解决方案将在没有人工干预的情况下用 18 个私有测试数据集盲测评估。

  数据集

  这一挑战仅限于来自不同应用领域的二分类问题,竞赛将重点关注WSL中的三个热门任务,即半监督学习(部分样本未标记)、正例及未标记学习(样本只有正例或未标记样本,没有负例)和从噪声标签中学习(所有样本都有标记,但部分标签可能是错误的),这三个不相交的任务不会同时出现在单个数据集中。

  竞赛 规则

  这项挑战分为三个阶段。首先,参赛者将获得可以下载的练习数据集,以便可以离线开发他们的AutoWSL程序;然后进入反馈阶段,参赛者将AutoWSL代码上传到竞赛平台上,程序将在 18 个验证数据集中测试,并得到其方法性能的即时反馈。反馈阶段结束后,竞赛进入检查阶段,参与者只允许在私有数据集上提交一次代码以进行调试,该阶段参赛者无法读取阅读详细的日志,但可以查看代码是否报告错误。最后进入最终阶段,参赛者提交的程序将在 18 个私有测试数据集上进行评估。最终阶段的排名将决定获胜者。

  提交的程序代码是自动训练和测试的,无需任何人工干预。在反馈阶段提交的代码在所有 18 个反馈数据集上并行地运行在单独的计算机上,每个数据集都有测试时间限制。

  平台上用于测试的数据集的所有信息将被隐藏,数据将以原始形式提供(没有特征提取),以鼓励研究人员进行自动特征学习,所有问题都是二分类问题,任务完成受时间限制。

  有关比赛更多详细信息,请访问比赛官方平台“第四范式”官网,进入“学术活动”页面。

  赛事时间:

  北京时间(UTC+8)

  2019 年 9 月 24 日23:59:反馈阶段开始,练习数据集的发布。参赛者可以开始提交代码并在排行榜中获得即时反馈。

  2019 年 10 月 22 日23:59:参赛者真实身份验证。

  2019 年 10 月 29 日23:59:反馈阶段结束。

  2019 年 10 月 30 日00:00:检查阶段开始。

  2019 年 11 月 2 日19:59:检查阶段结束。

  2019 年 11 月 2 日20:00:最终阶段开始。

  2019 年 11 月 4 日20:00:重新提交截止日期。

  2019 年 11 月 6 日20:00:最终阶段结束。

  请注意,CODALAB平台使用UTC时间格式,请注意比赛官网其他地方的时间说明,以免错过比赛各阶段的时间点。

  赛事奖励:

  第一名:$2000

  第二名:$1500

  第三名:$500

  

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前