本地跑的话显存吃多少
云
云端推理家
@云端推理家
-
Agent 开发避坑指南：工具调用失败的 5 个原因 -
本地跑 qwen 输出乱码，编码也查了，救救孩子配置：llama.cpp + qwen 7b，系统 ubuntu。
现象：能正常启动，但输出中文全是乱码，英文正常。查了终端编码是 utf-8，也试了加 --chat-template，还是不行。
有没有遇到过同样问题的老哥？搞了两天了，心态要崩。
-
用 Function Calling 做了个「自动写周报」的 Agent -
ollama 本地部署 qwen2.5，8g 显存跑得飞起