聚焦多模态自然语言处理,京东智联云亮相NLPCC 2020

2020-11-02 17:13:43 来源:极客公园
        【每日科技网】

  近年来,人工智能 (AI) 在涉及单一模态如语音、自然语言和视觉等领域,取得了重大突破。在单一模态的任务上,如物体识别、语音识别、机器翻译等,AI 系统在特定数据集上的表现水平与人类相当。随着单模态人工智能潜在问题的解决,研究人员意识到更高层次的AI任务往往涉及到跨多种模式的更复杂的信息处理。同时,局限于单一模态的研究往往不能充分利用跨模态信息。因此,研究多模态建模与学习方法具有重要的意义。

  在本次国际自然语言处理与中文计算会议 (NLPCC 2020)上, 京东智联云举办了第一届“多模态自然语言处理研讨会”。该研讨会邀请了多位学术大咖进行学术分享,吸引了自然语言处理、多模态、图像处理等多领域众多学者参与。会中,各位学者就跨语言跨模态信息处理、多模态预训练、AI与艺术、视觉与语言交互、多模态对话系统等领域的研究热点和技术应用展开讨论,反响热烈。

  看点一  多模态自动摘要生成

  多模态已成为新闻报道和信息交流的主要呈现形式,多模态自动摘要技术,旨在利用计算机自动实现从多个模态的信息中压缩生成摘要的过程,可以广泛应用于新闻推送和电商推荐等多个领域。

  在本次研讨会中,来自中科院自动化所的研究员张家俊老师,为大家介绍其所在的课题组近年来在多模态摘要方法和评价等方面的研究进展。张老师重点介绍了异源多模态摘要生成的研究方法变迁:从抽取式方法到生成式方法,再到目前融入多模态注意力机制的图文式摘要生成方法等。同时,张老师也介绍了多模态自动摘要的自动评价方法: 综合考虑文本和图片重要性以及文本图片相关性更加贴近人工打分。

  看点二 多模态预训练模型

  预训练模型的出现,使自然语言处理由原来的手工调参、依靠机器学习专家的阶段,进入到可以大规模、可复制的大工业施展阶段。此阶段基于预训练模型+微调机制,具备很高的可扩展性,展现出很高潜力。而当前研究也从单一语言扩展到多模态。

  微软亚洲研究院的研究员段楠博士为大家介绍了多模态预训练模型的研究进展。他首先回顾了典型的预训练模型。随后,重点介绍了3种的多模态预训练模型:Unicoder主要应用于跨语言的语言理解和生成任务;Unicoder VL专注于视频语言任务,对视频片段和对应的自然语言描述进行联合建模;CodeBERT则关注在代码语言任务。段博士也和与会学者一起讨论了当前多模态预训练的问题和可能的未来方向。

  看点三  人工智能艺术与设计

  “AI+艺术是一个跨界领域。艺术家的想象力往往启发着科学家的创造力,而在AI时代,艺术家用人工智能机器学习相关技术来创作艺术,表达自己的想法和概念,设计师用神经网络模型创造自己的设计工具和助手。”

  清华大学未来实验室博士后高峰分享了AI技术在艺术与设计领域的创新性应用。其团队开发的道子智能绘画系统,利用计算机将自然图像以风格迁移的方式转变成艺术图像,根据所得艺术图像进行水墨画绘作,实现技术与艺术间的跨界融合。高博士也介绍了道子在服装设计、工业设计、装置艺术等领域的探索成果。

  看点四 多模态智能分析

  多模态智能分析是近期的研究热点。来自北航的刘偲教授围绕视觉和语言的交互介绍两方面的内容进行了分享。她首先介绍了视觉关系检测的研究,包括人-物关系检测,人-物关系分割,视频关系检测等方面的内容。其次,她指出视觉指代表达和指代分割,对于智能机器人和交互式图像编辑等实际应用有重要意义。 传统的视觉指代表达方法采用两阶段式架构,模型复杂且速度受限,而传统的指代分割方法聚焦于多模态特征融合,缺乏利用语言信息进行上下文建模和推理的能力。在本次讨论中,她给出了针对性的解决方法。

  看点五 多模态对话系统

  对话系统一直是自然语言理解领域一个重要的研究内容,它可以使人们更便捷的与机器进行交互,而多模态的对话系统是非常重要的一个研究方向。

  平安寿险AI研发团队的杨海钦博士,分享了多模态对话系统在平安人寿各种场景的应用,包括保单回访服务和视频柜员客服等。在本次讲座中,杨博士重点介绍了多模态对话系统的核心和创新技术,实际部署经验以及如何应用该系统来降低运营成本,同时增加用户体验。

  在此次NLPCC 会议中,京东智联云成功举办了第一届“多模态自然语言处理研讨会”,吸引众多参会学者的积极参与和热烈讨论。同时京东AI研究院NLP算法科学家吴友政博士受大会邀请作“智能人机交互及其应用”的主题分享。另外京东AI研究院一篇论文被大会收录并进行口头汇报。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前