代码收藏家技术教程 22天前

Python实现AnythingLLM API流输出调用的方法步骤

在使用 Python 调用 AnythingLLM API 时，流式输出（Streaming）是一种常见的需求，尤其是在处理长文本或实时交互场景时。流式输出可以让你逐步接收响应内容，而不是等待整个响应完成后再处理。

以下是如何实现流式输出的详细步骤和代码示例：

1. 流式输出的基本原理

流式输出允许客户端逐步接收响应数据，而不是一次性接收完整响应。这在处理大模型的长文本输出时非常有用，可以减少延迟并提高用户体验。

在 HTTP 请求中，流式输出通常通过设置 stream=True 参数来实现。

在 AnythingLLM 的 API 调用中，你需要确保 API 支持流式响应（通常通过 Content-Type: text/event-stream 或类似机制实现）。

2. 代码实现

以下是一个完整的 Python 示例，展示如何使用 requests 库实现流式输出：

import requests
import json

def ask_anythingllm(question, workspace_name, api_key):
    url = f"http://ip:port/api/v1/workspace/{workspace_name}/stream-chat" #注意api中有一个不带stream的接口，该接口会一次性返回
    headers = {
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json",
        "accept": "text/event-stream"
    }
    data = {
        "message": question,
        "mode": "query",  # 可选chat/query模式
        'max_tokens': 1024,  # 控制生成文本的长度
        "stream":True
    }
    with requests.post(url, headers=headers, json=data, stream=True) as response:
        if response.status_code == 200:
            # 逐行读取流式响应
            for chunk in response.iter_lines():
                if chunk:  # 确保数据块不为空
                    print(chunk.decode("utf-8"))

# 示例调用
api_key = "WQ59GRH-1JC4M3R-MS2NN3X-VBQCY7H"  # 替换成你自己的apikey
workspace = "8ceb3fb1-4e75-40fe-87db-570d5a689113"
question = "三字经讲的是什么，用50个字概括"
ask_anythingllm(question, workspace, api_key)

3.获取workspace_name方法

可以用此方法获取workspace_namel列表，当然也可以直接在AnythingLLM找到

import requests

headers = {
    "Authorization": "Bearer WQ59GRH-1JC4M3R-MS2NN3X-VBQCY7H",  # 替换为你的API Key
    "accept": "application/json"
}

response = requests.get("http://ip:3001/api/v1/workspaces", headers=headers)
if response.status_code == 200:
    print("现有工作空间列表：", response.json())
else:
    print(f"获取失败，状态码：{response.status_code}，错误信息：{response.text}")