安装步骤：

# 安装 ollama
curl -fsSL https://ollama.com/install.sh | sh

# 下载 qwen2.5
ollama pull qwen2.5:7b

# 运行
ollama run qwen2.5:7b

性能测试：

• 7B 模型：8g 显存，生成速度 30 token/s
• 14B 模型：16g 显存，生成速度 15 token/s
• 32B 模型：24g 显存，生成速度 8 token/s

API 调用：

import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={
        "model": "qwen2.5:7b",
        "prompt": "你好",
        "stream": False
    }
)
print(response.json()["response"])

兼容 OpenAI 格式，直接换 base_url 就行。

8g 显存的兄弟，qwen2.5:7b 闭眼入。