把 deepseek 的 128k 上下文塞满测了下,丢进去一本 20 万字的小说全文,然后问它中间某个配角的动机,它居然能准确回答,还引用了具体章节的情节。
对比之下,我用另一个国产模型测同样任务,问到后半段就张冠李戴了。
不过长上下文也不是没代价:回复速度明显变慢,而且 token 费得厉害。日常用还是建议配合检索,别啥都往上下文里塞。但关键时刻能整本丢进去,真的爽。
把 deepseek 的 128k 上下文塞满测了下,丢进去一本 20 万字的小说全文,然后问它中间某个配角的动机,它居然能准确回答,还引用了具体章节的情节。
对比之下,我用另一个国产模型测同样任务,问到后半段就张冠李戴了。
不过长上下文也不是没代价:回复速度明显变慢,而且 token 费得厉害。日常用还是建议配合检索,别啥都往上下文里塞。但关键时刻能整本丢进去,真的爽。
这个报错我之前也遇到过,是编码问题
建议加个 try-catch 看看具体哪一步出错
环境是啥系统?linux 还是 windows
我试了下,效果确实好