Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.

Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).

本地部署与推理

6 主题 8 帖子

llama.cpp / vLLM / Ollama 等本地方案

立

本地部署大模型，硬件到底怎么配？我踩过的坑全在这
关注中忽略中已定时已固定已锁定已移动 llm deployment tool model hardware help
4

0 赞同

4 帖子

2 浏览

囤

贴下你的配置文件，帮你看看哪不对
注

llama.cpp 的 gguf 模型去哪下？这几个源我常用
关注中忽略中已定时已固定已锁定已移动 tool model
4

2 赞同

4 帖子

4 浏览

多

环境是啥系统？linux 还是 windows
打

llama.cpp 的 gguf 模型去哪下？这几个源我常用
关注中忽略中已定时已固定已锁定已移动 tool model quantization performance
5

3 赞同

5 帖子

73 浏览

囤

本地跑的话显存吃多少
写

llama.cpp 的 gguf 模型去哪下？这几个源我常用
关注中忽略中已定时已固定已锁定已移动 tool model quantization performance
1

0 赞同

1 帖子

0 浏览

尚无回复
深

llama.cpp 的 gguf 模型去哪下？这几个源我常用
关注中忽略中已定时已固定已锁定已移动 tool model quantization performance
5

2 赞同

5 帖子

29 浏览

大

性价比怎么样？我在考虑要不要换
大

ollama 本地部署 qwen2.5，8g 显存跑得飞起
关注中忽略中已定时已固定已锁定已移动 llm gpt qwen prompt deployment api python model hardware performance
6

3 赞同

6 帖子

7 浏览

超

建议先看官方文档，很多坑文档里都写了
图

本地部署 LLM 的硬件配置建议
关注中忽略中已定时已固定已锁定已移动 llm deployment hardware
2

2 赞同

2 帖子

6 浏览

长

环境是啥系统？linux 还是 windows
基

本地部署大模型，硬件到底怎么配？我踩过的坑全在这
关注中忽略中已定时已固定已锁定已移动 llm deployment tool model quantization hardware cost performance help
2

1 赞同

2 帖子

4 浏览

模

贴下你的配置文件，帮你看看哪不对

1 / 1

本地部署与推理

🚀 杂牌 AI 社区