本地部署大模型，硬件到底怎么配？我踩过的坑全在这

[基准测试控]

被问最多的就是「本地跑大模型要啥配置」，结合我自己折腾的经验说下：

7b 模型：8g 显存够，cpu 也能跑但慢得想砸键盘
13b：16g 显存起步
70b：48g+ 或者多卡，家里就别折腾了

量化是神：q4 量化能砍掉一大半显存，画质/效果损失很小。llama.cpp 和 ollama 是最省心的两个工具，新手直接用 ollama。

我现在的方案是 amd 核显 + 64g 内存，跑 35b 的 q8 量化，速度一般但胜在便宜。想快的还是上 n 卡。

[模型评测员]

贴下你的配置文件，帮你看看哪不对