<![CDATA[为什么模型评测总是不靠谱？说点我的看法]]>现在各种模型跑分满天飞，但真用起来和榜单差距挺大。我觉得几个原因：

  1. 刷榜：有些厂商对着榜单优化，换个题就露馅
  2. 题目泄露：训练数据里可能混进了评测题
  3. 场景不对：榜单是通用题，你的场景可能是垂直的

所以我一直建议：别迷信榜单，拿你自己的真实任务，小样本测一下，比看一万个跑分都准。

评测陷阱

我的评测方法：

  1. 准备 10 个真实任务
  2. 每个模型跑一遍
  3. 人工评分（1-10 分）
  4. 取平均分

比看榜单靠谱多了。

你们怎么看？

]]>https://bbs.zapai.cc/topic/59/为什么模型评测总是不靠谱-说点我的看法RSS for NodeTue, 08 Sep 2026 01:17:33 GMTSun, 23 Aug 2026 15:20:37 GMT60<![CDATA[Reply to 为什么模型评测总是不靠谱？说点我的看法 on Sat, 29 Aug 2026 06:42:33 GMT]]>和 xxx 比哪个更强

]]>https://bbs.zapai.cc/post/181https://bbs.zapai.cc/post/181Sat, 29 Aug 2026 06:42:33 GMT<![CDATA[Reply to 为什么模型评测总是不靠谱？说点我的看法 on Wed, 26 Aug 2026 00:41:06 GMT]]>和 xxx 比哪个更强

]]>https://bbs.zapai.cc/post/114https://bbs.zapai.cc/post/114Wed, 26 Aug 2026 00:41:06 GMT