跳到主要内容

Hugging Face

Bundle组件包 包含支持 Langflow 特定第三方集成的自定义组件。

Hugging Face bundle 中的组件需要访问 Hugging Face API。

有关 Hugging Face 组件使用的 Hugging Face 功能和特性的更多信息，请参阅 Hugging Face 文档。

Hugging Face 文本生成​

Hugging Face 组件通过向 Hugging Face API 发送请求来使用指定模型生成文本，该 API 是托管在 Hugging Face 上的模型的托管推理 API。 需要身份验证。

该组件可以输出 模型响应 (Message) 或 语言模型 (LanguageModel)。 具体来说，语言模型 输出是根据组件参数配置的 HuggingFaceHub 实例。

当您想要使用 Hugging Face 模型作为其他 LLM 驱动组件（如 Language Model 或 Smart Function 组件）的 LLM 时，请使用 语言模型 输出。

更多信息请参阅 语言模型 组件。

Hugging Face 文本生成参数​

在可视化编辑器中，许多 Hugging Face 组件输入参数默认是隐藏的。 您可以通过 组件标题菜单 中的 控制 来切换参数。

名称类型描述
model_idString输入参数。来自 Hugging Face Hub 的模型 ID。例如，"gpt2"、"facebook/bart-large"。
huggingfacehub_api_tokenSecretString输入参数。您用于身份验证的 Hugging Face API 令牌。
temperatureFloat输入参数。控制输出中的随机性。范围：[0.0, 1.0]。默认：0.7。
max_new_tokensInteger输入参数。要生成的最大令牌数。默认：512。
top_pFloat输入参数。核采样参数。范围：[0.0, 1.0]。默认：0.95。
top_kInteger输入参数。Top-k 采样参数。默认：50。
model_kwargsDictionary输入参数。传递给模型的额外关键字参数。

Hugging Face Embeddings Inference​

使用 Hugging Face Embeddings Inference 组件来创建使用 Hugging Face 托管模型或您自己本地托管模型的嵌入。

该组件使用 Hugging Face Inference API 模型 生成嵌入。 当不使用本地模型时需要身份验证。

有关在流程中使用嵌入模型组件的更多信息，请参阅 嵌入模型 组件 和 使用本地 Hugging Face 嵌入模型。

Hugging Face Embeddings Inference 参数​

名称显示名称信息
API KeyAPI Key输入参数。如果需要，您用于访问 Hugging Face Inference API 的 Hugging Face API 令牌。本地推理模型不需要 API 密钥。
API URLAPI URL输入参数。Hugging Face Inference API 的 URL。
Model NameModel Name输入参数。用于嵌入的模型名称。

使用本地 Hugging Face 嵌入模型​

要将本地 Hugging Face 模型连接到 Hugging Face Embeddings Inference 组件并在流程中使用它，请按照以下步骤操作：

  1. 运行 本地 Hugging Face 嵌入推理。

  2. 在此示例中，从 Vector Store RAG 模板 创建一个流程。

  3. 将两个 OpenAI Embeddings 组件替换为 Hugging Face Embeddings Inference 组件。

    确保将每个嵌入模型组件的 Embedding Model 端口重新连接到其对应的 Astra DB 向量存储组件。

  4. 配置 Astra DB 向量存储组件以连接到您的 Astra 组织，或者将两个 Astra DB 向量存储组件替换为其他 向量存储组件。

  5. 将每个 Hugging Face Embeddings Inference 组件连接到您的本地推理模型：

    • Inference Endpoint：输入您的本地推理模型的 URL。
    • API Key：对于本地推理可以为空。
    • Model Name：如果未自动检测到，请输入您的本地推理模型的名称。

  6. 要测试流程，请点击 Playground，然后输入一些文本以生成嵌入。

Search