星环科技向量数据库Transwarp Hippo1.1发布:一库搞定向量+全文联合检索,提升大模型准确率!

2024-03-29 15:11:32 来源:中华网
        【每日科技网】

  星环科技向量数据库Transwarp Hippo自发布已来,受到了众多用户的欢迎,帮助用户实现向量数据的存储、管理和检索,探索和实践大模型场景。在与用户不断地深入交流以及实践中,Hippo迎来了V1.1版本,一套系统即可支持向量与全文联合检索,提高文本数据的召回精度,从而提升大语言模型应用的准确率。同时,Hippo1.1新增余弦距离、批量数据导入导出、Explain与Profile支持、ARM架构支持等能力,大幅降低用户使用门槛和成本。

  此外,Hippo社区版同样支持以上新特性,点击文末阅读原文或者访问星环科技官网,即可申请下载体验,开启大语言模型场景探索之旅。

  一库搞定向量+全文联合检索,提升大模型准确率

  在大语言模型应用中,向量数据库作为中间载体,可以有效地解决大模型在知识时效性低、输入能力有限、准确度低等问题,赋予大模型拥有“长期记忆”。因此,向量数据库的召回精度直接影响大模型输出结果的准确率。然而,在一些实践场景中,对于向量数据库本身而言,单一使用向量检索会产生召回准确率不高的问题:

  * 对噪声和冗余信息敏感:若向量数据库中存在大量的噪声和冗余信息,则检索的准确率会降低;

  * 对特征选择的依赖:在向量检索中,需要对数据进行特征提取和选择,若特征选择不当,则会影响检索的准确性;

  * 对查询语义理解的局限性:当查询语义比较复杂或模糊时,向量检索无法准确理解用户的意图,导致准确率降低;

  此外,像一些特殊情况,如所检索内容未构建特征或特征比重较小时,会导致准确率降低,甚至无召回结果。

  针对文本搜索场景,全文检索更适合做关键字匹配,可以避免检索内容低频的问题。而向量检索则能找出字面上不同但语义上相近的内容。通过将向量检索和全文检索的联合召回,可以降低漏检和误检的概率,能够实现比单独使用向量或全文检索更高的精度。

  此外,向量数据与全文数据在存储、计算上有很大的差别,单一的数据库架构很难同时高效支持这两种场景。例如,对于公开数据集如ANN Benchmark,Elasticsearch的性能远落后于专业的向量数据库。

  星环科技向量数据库Hippo底层使用自研的分布式数据管理系统TDDMS,能够支持向量数据和全文数据统一存储管理,一套数据库系统即可支持向量与全文数据联合检索召回,避免了部署多套系统带来的架构复杂、开发运维成本高等问题。同时,Hippo1.1提供兼容Elasticsearch协议的SDK支持,方便用户更便捷地使用向量数据库。

星环科技向量数据库Transwarp Hippo1.1发布:一库搞定向量+全文联合检索,提升大模型准确率!

  例如,当查询“A公司业务发展情况”时,通过向量检索可以检索出A公司“主要业务”、“经营模式”、“财务情况”、“市场地位”等信息,通过全文检索可以检索出知识库中和关键字“业务”、“发展”相关的结果作为补充,通过将两者检索的结果进行结合,可以使得大模型回答的结果更加丰满和准确。

  当查询“A公司产品经理B的履历”时,若该产品经理B在知识库中出现的频率较低或未构建特征时,单一使用向量检索召回的结果可能主要是A公司介绍,而通过全文检索则会检索出产品经理B相关的内容,通过向量+全文的联合检索召回,使得大模型能够准确地给出答案。

星环科技向量数据库Transwarp Hippo1.1发布:一库搞定向量+全文联合检索,提升大模型准确率!

  多个新特性升级,帮助用户实现降本增效

  1、余弦距离支持,简化业务逻辑

  余弦距离在大模型领域有着广泛的应用。在过去,用户在将向量数据导入向量数据库之前,需要对数据库做L2归一化,并搭配内积距离间接实现余弦距离,这个过程较为复杂,需要用户手工操作,并要求有一定的技术基础。Hippo1.1新增原生的余弦距离支持,用户不再需要通过向量归一化计算 IP metrics 来使用余弦距离,大幅简化了业务逻辑,降低了用户使用门槛。

  2、批量数据导入导出,加速数据流转

  Hippo1.1新增基于csv格式的批量数据导入导出功能,方便用户进行数据流转。此外,用户还可以通过Python、Restful等API进行数据操作。

  3、支持ARM架构,满足国产化需求

  随着 ARM架构 CPU 的普及程度越来越高,Hippo1.1在支持X86架构的基础上,新增支持ARM架构,满足企业用户国产化需求。

  4、支持Explain与Profile,高效性能优化

  当执行带过滤条件的向量检索时,Hippo会根据过滤条件预估过滤率,选择的搜索路径。通过Explain接口,用户可以准确地看到检索的具体执行路径,通过Profile接口,用户可以看到一次搜索中各阶段的细分耗时情况。基于这两点特性,用户可以更高效地进行数据库调试、问题排查和性能优化。

星环科技向量数据库Transwarp Hippo1.1发布:一库搞定向量+全文联合检索,提升大模型准确率!

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前