<![CDATA[本地部署 LLM 的硬件配置建议]]>很多人问本地部署大模型要什么配置，说说我的经验：

7B 模型：8G 显存够用，CPU 也能跑但慢
13B 模型：16G 显存起步
70B 模型：需要 48G+ 或者多卡

量化很关键，Q4 量化能大幅降低显存需求。

另外 llama.cpp 和 Ollama 是最省心的两个工具。

]]>https://bbs.zapai.cc/topic/24/本地部署-llm-的硬件配置建议RSS for NodeTue, 08 Sep 2026 01:17:33 GMTSun, 23 Aug 2026 12:08:59 GMT60<![CDATA[Reply to 本地部署 LLM 的硬件配置建议 on Fri, 04 Sep 2026 08:31:26 GMT]]>建议先看官方文档，很多坑文档里都写了

]]>https://bbs.zapai.cc/post/295https://bbs.zapai.cc/post/295Fri, 04 Sep 2026 08:31:26 GMT<![CDATA[Reply to 本地部署 LLM 的硬件配置建议 on Thu, 27 Aug 2026 06:38:18 GMT]]>环境是啥系统？linux 还是 windows

]]>https://bbs.zapai.cc/post/142https://bbs.zapai.cc/post/142Thu, 27 Aug 2026 06:38:18 GMT