7b 模型：8g 显存够，cpu 也能跑但慢得想砸键盘
13b：16g 显存起步
70b：48g+ 或者多卡，家里就别折腾了

量化是神：q4 量化能砍掉一大半显存，画质/效果损失很小。llama.cpp 和 ollama 是最省心的两个工具，新手直接用 ollama。

我现在的方案是 amd 核显 + 64g 内存，跑 35b 的 q8 量化，速度一般但胜在便宜。想快的还是上 n 卡。