解码「天工SkyMusic」,填补AI音乐领域技术空白

2024-04-18 11:09:23 来源:比特网
        【每日科技网】

这几周,全球无不对AI音乐大模型那”以假乱真“的音乐创作能力感到惊奇不已,甚至有人认为“AI将革新音乐产业”。

  而位居这场革新风暴中心的,正是昆仑万维推出的国内*公开可用的AI音乐生成大模型——「天工SkyMusic」。

  自开启邀测以来,「天工SkyMusic」已经在互联网上刷爆了存在感,成为网友们改编、二创音乐的新晋网红神器。

  迟迟等不到的“音乐ChatGPT”时刻

  相信大家在体验「天工SkyMusic」时,都会有一个疑问:隔壁AI视频生成大模型都开始辅助创作了,为什么「天工SkyMusic」这类AI音乐生成大模型才才崭露头角?

  原因在于构建生成高质量音乐的AI大模型,所面临的复杂度远超想象。

  一方面是技术路线的选择,AI音乐生成大模型有两种主流技术路线,符号音乐生成和大模型音乐音频生成。前者以MIDI为主要流派,其本身不包含音频文件,而是记录音乐演奏的指令,比如哪个音符被播放、音量是多少、音符持续的时间等,不能生成直接听的音乐。

  学术与产业界在符号派的AI音乐生成上投入了大量研究,但是始终效果不佳。

  相反,深度学习大规模音频数据则通过大模型端对端的方案,直接生成包含乐器、人声、旋律等音乐元素的完整音频作品。它需要模型具备极高的模拟度、大规模的高品质音频数据集、庞大的算力支撑……

  这是一条预期效果更好,但是难度非常高的技术路径,业内只有很少玩家展开研究。

  同时,鉴于歌声在音乐审美中的核心地位,AI对人声歌唱逼真模拟的研究也尤为关键。遗憾的是,受限于技术发展,以往AI音乐生成模型更关注无人声演唱的背景音乐(Background Music,BGM)领域,而非包含人声演唱的Song领域,因此行业内缺乏有效的解决方案。

  因此在AI音乐生成领域,无论是OpenAI的JukeBox、Meta的MusicGen,还是Google的MusicLM,它们虽然逐步解决了AI音乐生成中的痛点,但距离生成高品质且类型丰富的音乐作品还有一定距离。

  「天工SkyMusic」自研发阶段即确立目标,要开发一款辅助用户创作高质量音乐的工具。团队毅然选择了AI音乐生成大模型的道路,并决定重点攻克人声歌唱难题,勇敢涉足AI音乐制作领域内两个*具挑战的无人区。

  「天工SkyMusic」架构诞生记

  面对大模型音乐音频生成+人声Song这两个近乎空白的技术领域,昆仑万维倾注了海量研发资源和算力算法投入,不断试错,终于自主研发出一套音乐音频领域的大模型架构。

解码「天工SkyMusic」,填补AI音乐领域技术空白

  这是一套类似Sora的DiT大模型架构,采用LLM+Diffusion的核心模块组成。

  其中,用户输入的参考音乐会被拆解为不同的Music Patches,由Large-scale Transformer负责谱曲,来学习Music Patches的上下文依赖关系,同时完成音乐可控性。

  同时,Diffusion Transformer将负责大模型的“演唱”部分,通过LDM(Latent Diffusion Model)扩散模型让Music Patches被还原成成44.1KHz的高品质立体声的音频。

  昆仑万维这套高效、灵活且具有情感表达能力的音乐生成模型架构,填补了音频生成+人声Song这两技术领域的空白,堪称AI音乐生成领域的一大技术飞跃,也让昆仑万维公开「天工SkyMusic」技术原理图的举措更让人敬佩,它不仅打破了行业内的封闭状态,更为更是为整个产业铺垫了一条可复现的技术路径,大大降低整个AI音乐生成产业的研发风险。

  AI音乐破晓:「天工SkyMusic」的中国式突破

  从「天工SkyMusic」的技术分析中我们可以看到,昆仑万维在研发过程中克服了诸多技术难题,为我们打造出一个真正意义上,能高效创作高品质音乐的AI音乐生成大模型。在这里,我们可以生成时长80秒,采样率44.1KHz的双声道立体声歌曲,还可以通过歌词控制歌曲的情绪变化,区分不同音乐结构间的情感起伏,也可完成各种复杂歌唱技巧。

  而且较之国外同类产品,「天工SkyMusic」*明显的差异是在中文人声歌唱上发音纯正清晰,无明显机械痕迹,效果逼真的程度足以“以假乱真”。这不仅让中文歌词韵味和情感表达更为出色,也在表达中国文化特有的意境与情感内涵时,更加贴合国人的审美习惯与情感认同,形成独有的差异化优势。

  情感AGI待放:天工SkyMusic」引领情感创作变革

  「天工SkyMusic」作为昆仑万维 “All in AGI和AIGC”战略下在音乐领域的先锋之作,填补了传统AGI侧重于智力拓展而忽视情感维度的空白,标志着昆仑万维在情感AGI研究中取得的重大突破。

  如今,「天工SkyMusic」不仅降低音乐创作门槛,让更多普通用户能够借助这款全民音乐创作工具的力量,更好地通过音乐这一媒介,表达自己的情感和创意。未来,随着昆仑万维在情感AGI技术上不断的突破,「天工SkyMusic」将具备更多令人惊叹的创作能力,亦有望成为辅助专业音乐创作者的利器。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前