星光麒麟端侧AI大模型应用“星语对话”首次亮相

2024-03-14 16:09:36 来源:千龙网
        【每日科技网】

  近日,第八届瑞芯微开发者大会(RKDC2024)期间,基于大模型的星光麒麟端侧AI应用“星语对话”亮相。“星语对话”目前已完成技术路线验证并在RK3588上成功部署,可向端侧用户提供本地化生成式人工智能(AIGC)能力。

  在软件技术分论坛上,麒麟软件专题分享了星光麒麟云边端的AI框架。目前,除了布局端侧AI大模型,星光麒麟AI框架还在不断提升云边端灵活协同的能力,提出了面向万物智联操作系统的云边端AI架构。

星光麒麟端侧AI大模型应用“星语对话”亮相

  在端侧,“星语对话”已具备智能问答、逻辑生成和多语言等能力。在智能问答方面,能够模拟人与人之间的对话过程。当用户提出问题时,系统通过自然语言处理(NLP)理解问题,然后检索或推理相关信息,并将答案转化为自然语言回复用户。

  在逻辑生成方面,通过数据清洗和数据预处理,基于模型训练自动调整权重和参数,程度地减少生成结果与真实文本之间的损失。在生成文本时,根据输入信息和已学习到的语言规律进行逻辑推理,识别和应用适当的逻辑规则,以更准确、合理且连贯地生成文本。

  “星语对话”的多语言特性能够理解和处理多种语言,为用户提供跨语言的智能对话体验。通过训练不同语言的数据,在模型中实现语言间的知识传递,使得用户无论使用哪种语言都能得到高质量、智能化的回复。

星光麒麟端侧AI大模型应用“星语对话”亮相

  除端侧AI大模型的布局外,星光麒麟AI框架还在不断提升云边端灵活协同的能力,提出了面向万物智联操作系统的云边端AI架构。

星光麒麟端侧AI大模型应用“星语对话”亮相

  例如通过RAG技术结合行业知识库,提高计算结果准确度;在应用场景切换时,将对应的Agent能力进行切换,包括模型切换,应用上下文切换,会话挂起等操作;模型编排框架模块负责组织、调度和管理多个机器学习模型,解决复杂场景下多模型的切换及调度;提供云端AI能力下发,端侧便捷部署,云端Al编排,边侧自组网的协同计算等能力;提供高效存储和检索大规模向量数据的系统,具有高效的相似性搜索功能、多样化的查询支持、在线更新和扩展能力等特点,为各种应用场景下的向量数据需求提供了强大的支持;负责云侧、端侧模型管理。端侧数据上报,云侧模型自学习后,新模型下发。端侧模型更新,升级。

  不同场景的复杂度不同,对底层大模型的输出精准性要求有所侧重,云边端计算框架根据场景选择模型和算力来源,可灵活地在云端、边缘端或终端设备上执行特定的操作或计算任务。

星光麒麟端侧AI大模型应用“星语对话”亮相

  在云端部署方面,使用Paddle开源平台、讯飞语音SDK、星火大模型SDK等,实现语音识别、语音播报、语音翻译、问题回答、文章生成、语言翻译、代码生成、创造性写作等多种功能。

  在边缘侧部署方面,利用软总线组网后进行数据传输,在边侧设备完成模型推理并获取结果,合理分配任务和算力。

  在端侧部署方面,使用Whisper语音模型、高性能通用部署解决方案MLC,部署在移动设备上,实现离线的语音识别、问题问答、语言翻译等功能。

  随着人工智能(AI)技术的不断发展,操作系统融入AI技术已成为一条必由之路。星光麒麟将利用AI技术不断提高操作系统的资源管理和调度能力,提升系统稳定性,为用户提供更加智能、高效和安全的服务体验,为人机物融合泛在计算提供支撑。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前