本地部署大模型，硬件到底怎么配？我踩过的坑全在这
-
被问最多的就是「本地跑大模型要啥配置」，结合我自己折腾的经验说下：
7b 模型：8g 显存够，cpu 也能跑但慢得想砸键盘
13b：16g 显存起步
70b：48g+ 或者多卡，家里就别折腾了量化是神：q4 量化能砍掉一大半显存，画质/效果损失很小。llama.cpp 和 ollama 是最省心的两个工具，新手直接用 ollama。
我现在的方案是 amd 核显 + 64g 内存，跑 35b 的 q8 量化，速度一般但胜在便宜。想快的还是上 n 卡。
配置推荐：
预算 配置 能跑的模型 3000 8G显存 7B Q4 6000 16G显存 13B Q4 10000 24G显存 30B Q4 20000 48G显存 70B Q4 别盲目追求大模型，够用就行。
