安爸-超级家庭

遇见开源深度搜索(ODS):一个可插拔框架,通过开源推理代理实现搜索的民主化。

安爸 发布于

快速发展的搜索引擎技术和大型语言模型(LLMs)的集成主要有利于像谷歌的GPT-4o搜索预览和Perplexity的Sonar Reasoning Pro这样的专有解决方案。虽然这些专有系统提供了强大的性能,但它们的封闭源代码性质带来了重大挑战,特别是在透明度、创新和社区协作方面。这种专有性限制了定制并阻碍了对增强人工智能的更广泛学术和创业参与。

为了应对这些限制,华盛顿大学、普林斯顿大学和加州伯克利大学的学者们推出了开放式深度搜索(ODS)——一个开源的搜索AI框架,旨在模块化方式与任何用户选择的LLM无缝集成。ODS包括两个核心组件:开放式搜索工具和开放式推理代理。这两个组件共同显著提高了基本LLM的能力,通过增强内容检索和推理准确性。

开放式搜索工具通过一个高级检索流程脱颖而出,其中包含一个智能查询重写方法,通过生成多个语义相关的查询更好地捕捉用户意图。这种方法显著提高了搜索结果的准确性和多样性。此外,该工具采用精细的切块和重新排序技术,系统地根据相关性过滤搜索结果。补充检索组件的是开放式推理代理,它通过两种不同的方法运行:思维链ReAct代理和代码链CodeAct代理。这些代理解释用户查询,管理工具的使用——包括搜索和计算——并产生全面、上下文准确的结果。

实证评估强调了ODS的有效性。与高级开源推理模型DeepSeek-R1集成,ODS-v2在SimpleQA基准测试中实现了88.3%的准确率,在FRAMES基准测试中实现了75.3%。这种性能明显优于Perplexity的Sonar Reasoning Pro,后者在这两个基准测试中分别得分为85.8%和44.4%。与OpenAI的GPT-4o搜索预览相比,ODS-v2在FRAMES基准测试中表现出显著的优势,实现了9.7%的更高准确率。这些结果表明,ODS在性能上相对于专有系统具有竞争力,并在某些领域具有优势。

ODS的一个重要特点是自适应工具使用,这通过有关额外网页搜索的战略决策得到了证明。对于简单的查询,如SimpleQA中观察到的那样,ODS最小化额外搜索,展示了高效的资源利用。相反,对于复杂的多跳查询,如在FRAMES基准中,ODS适当地增加其网页搜索的使用,从而展示了针对查询复杂度的智能资源管理。

总之,开放式深度搜索通过提供与各种LLMs兼容的开源框架,朝着民主化增强搜索AI迈出了重要一步。它鼓励AI研究社区中的创新和透明度,并支持更广泛的参与开发复杂的搜索和推理能力。通过有效地结合高级检索技术与自适应推理方法,ODS对开源AI发展做出了实质性贡献,为未来在搜索集成大型语言模型方面的探索设定了一个稳健的标杆。


扫描二维码,在手机上阅读