自研多模态大模型，Soul App亮相2024 GITEX GLOBAL

　　通过理解自身的行为方式、记忆、偏好等内容，复刻一个专属于自己的虚拟化身，实现打破次元壁的互动，结识好友，获得陪伴......如今，科幻电影中描绘的场景正走向现实。

2024年10月14日-18日， GITEX GLOBAL海湾信息技术博览会在迪拜举办。在这个全球范围颇具影响力的科技盛会上，新型社交平台Soul App携自研的多模态大模型参展，该模型具备多模态理解、真实拟人、文字对话、语音通话、多语种等特性。在活动现场，观众可以通过数字装置，即时生成3D虚拟数字分身，通过实时动作捕捉与还原，体验自然、流畅、沉浸式的多模态互动。

　　Soul App CTO 陶明表示，“在受全球关注的科技大会上，我们期待与来自国内外的创新企业、科技公司共同交流，展现中国企业在社交领域的应用实践和数字娱乐的创新方案，共同探索社交发展的新可能。”

　　3D数字孪生，虚拟与现实的创新交互

　　GITEX GLOBAL至今已举办至第44届，自诞生以来，始终聚焦于以技术为驱动的创新，吸引了来自大型科技企业、全球政府、创新初创公司、专业投资者等的广泛关注和参与。目前，GITEX GLOBAL已发展成为中东地区规模、最成功的计算机通讯及消费性电子产品展，同时也是全球三大IT展之一。

　　自ChatGPT横空出世，标志着人工智能发展至新阶段，在世界进入全面拥抱人工智能的新时代的当下，今年，GITEX GLOBAL 2024规模再次升级，横跨两个大型场馆 —— 迪拜世界贸易中心和迪拜港，有全球超过6700家科技巨头和创新公司参展，展示AI领域突破性的科技发展、智能互联新发现、以及来自数字娱乐、社交、教育、健康等各大领域的应用落地标杆案例，汇聚最前沿的技术思潮，引领行业变革的新风向。

作为国内较早将AI引入社交关系的互联网平台代表之一，Soul 携自研的多模态大模型参展GITEX GLOBAL 2024，展示AI技术积累以及在社交场景的落地实践。此次也是Soul亮相国际大型展会，大会上，现场观众可以重点体验到Soul集成3D虚拟人能力的多模态AI交互方案。

　　为了降低用户社交压力，Soul自2016年上线之初便不支持用户上传真实头像，年轻人通过平台提供的捏脸系统，自主创造个性化虚拟形象，在不强调颜值、地理位置等物理因素的情况下，自在表达，分享热爱，相遇同好。

　　2022年，Soul集成AI、渲染和图像处理等技术，推出自研的NAWA引擎，为用户创建个性化的3D社交形象和场景提供技术加持。基于该引擎，用户可以自主创作生动的虚拟形象，塑造网络世界的化身，并能灵活地配合声音、文字等各种信息，展现每个人鲜明的个性，精准传递情绪温度，在各种虚实融合的场景中与他人自在交流、互动，感受全新的社交体验。

　　集合过往的技术储备以及大模型研发进展的突破，现阶段，Soul 3D虚拟人能力全面升级，形成了成熟的集成3D虚拟人能力的多模态AI交互方案——即集合文字、语音、动作交互的多模态大模型方向，实现更接近人类模式的互动体验和更高效、自然、丰富维度的信息传递。

　　在大会现场，参与体验的用户可以实现高相似度的3D虚拟人的AI建模，通过包含人脸的90余个形状参数和6个属性参数，于几秒钟内，快速在3D世界精细化还原真实人脸的特征，打造专属的虚拟化身。

　　同时，基于实时的人体动作识别、数字还原以及多模态对话交互能力，现场可以实现3D虚拟人与真人的沉浸式互动。

　　多模态端到端大模型，超拟人的情感体验

　　事实上，包括语言、对话、3D虚拟人等维度在内，Soul聚焦于多模态大模型方向持续深耕。

在推出智能推荐引擎“灵犀”、以AI算法助力社交关系的发现沉淀环节后，2020年，Soul正式启动对AIGC的技术研发工作，系统推进在智能对话、语音技术、3D虚拟人等AIGC关键技术能力研发工作，并推动AI能力在社交场景的快速落地。

　　目前，Soul已先后上线了自研语言大模型Soul X，以及语音生成大模型、语音识别大模型、语音对话大模型、音乐生成大模型等语音大模型能力。今年6月，Soul还在社交行业中较早推出了自研端到端全双工语音通话大模型，具备超低交互延迟、快速自动打断、超真实声音表达和情绪感知理解能力等特点，能够直接理解丰富的声音世界，支持超拟人化的多风格语言，实现更接近生活日常的交互对话和“类真人”的情感陪伴体验。

　　2024年，Soul AI大模型能力整体升级为了多模态端到端大模型，支持文字对话、语音通话、多语种、多模态理解、真实拟人等特性。

　　多模态端到端大模型的推出标志着Soul对人机交互体验的创新突破，同时，从文字、语音到视觉的模态升级，也意味着交互方式的颠覆式改变。

例如，Soul已基于自研AI能力推出了“数字分身”功能，用户可以直接授权平台基于聊天记录、发帖内容，或者以自定义方式，设置数字分身的形象和特征，在表征层(形象、声音、文字风格)，身份层(社交关系、长期记忆、人设信息)和认知层(决策、观点、偏好)，使数字分身达到程度复刻真人的效果。而“数字分身”不仅能实现更个性化、更千人千面的智能回复推荐，帮助用户进行社交破冰，还能在助力人设搭建和认知决策中，提升社交沟通效率。

　　接下来，通过集成的3D虚拟人能力和多模态端到端大模型的AI交互方案，Soul用户自主打造的3D虚拟人，可以作为数字世界的多模态全能助手，在平台群聊派对、瞬间广场等丰富社交场景中全面赋能用户的关系发现、建立、沉淀环节，拓展新关系的同时，提供高质量、趣味性、沉浸式的人机交互体验，反馈真实、自然的情感陪伴。

　　Soul App CTO陶明表示，“作为天然的流量聚集地和交互入口，社交被视为AI率先落地的场景之一。我们将围绕用户的实际社交需求和具体社交场景，持续加大对AI技术的投入，给用户带来长期的可持续的价值。预计今年年底，Soul多模态端到端大模型将再次升级，推出全双工视频通话能力，让用户可以真正便捷、自然的体验到包括文字、语音、视觉在内的多模态创新交互。”