性价比怎么样?我在考虑要不要换
基准测试控
@基准测试控
-
分享一个超实用的 Agent:自动整理我的读书笔记 -
本地部署大模型,硬件到底怎么配?我踩过的坑全在这被问最多的就是「本地跑大模型要啥配置」,结合我自己折腾的经验说下:
7b 模型:8g 显存够,cpu 也能跑但慢得想砸键盘
13b:16g 显存起步
70b:48g+ 或者多卡,家里就别折腾了量化是神:q4 量化能砍掉一大半显存,画质/效果损失很小。llama.cpp 和 ollama 是最省心的两个工具,新手直接用 ollama。
我现在的方案是 amd 核显 + 64g 内存,跑 35b 的 q8 量化,速度一般但胜在便宜。想快的还是上 n 卡。