标签为“RAG”的页面如下
三月 7, 2025
Function Calling使用示例
Function Calling 是一种允许大语言模型(LLM)通过调用外部函数或API来扩展能力的机制。其核心流程是:开发者预先定义函数及其参数格式,LLM根据用户输入的自然语言请求,自动判断是否需要调用函数,并生成包含函数名和参数的JSON格式指令,最终由外部程序执行具体函数。它主要解决以下问题:
三月 6, 2025
RAG流程说明
在大模型开发中,RAG(Retrieval-Augmented Generation)是一种结合了信息检索和生成的技术。它通过将外部知识库中的相关信息引入到生成过程中,来提高生成文本的质量和准确性。 RAG主要通过引入外部知识库,RAG可以提供更准确和详细的信息,减少生成模型由于训练数据有限而导致的错误和不一致。尤其在特定领域知识与大模型结合时效果尤为明显。 简单来说,就是通过检索技术来增强大模型的上下文,至于通过什么方式增强在你的场景中最为合适,要根据你数据的存储方式和大模型的使用场景有关。下方图是一个通用流程通,实际使用时不要拘泥于形式,就围绕一个目的来做,那就是尽可能的查询出与问题相关性强的知识来给大模型作为问题分析的参考。
三月 5, 2025
Embeddings向量模型使用示例
RAG中的向量化一般发生在两个阶段,一是将已有的数据进行想量化计算并存储到向量库中,
另外一个阶段是在查询阶段,即数据召回极端,先要对查询条件做想量化,再通过向量结果查询向量库。
本文演示了一个使用Python本地调用向量模型,并将结果存入chromadb以及查询chromadb的代码示例。
三月 4, 2025
Transformers调用大模型对话示例
目前大模型的使用过程中一般都采用专门的部署工具vLLM、Ollama等,调用方通过Rest API进行调用。本文介绍一个使用底层库Transformers进行调用的示例,来帮助您理解大模型的运行原理。