看到“内部模型远超现有LLM”的说法,先核查什么?

近期一条讨论提到,有人回应称某个开放数学题结果不依赖特定提示词,并附上一张对比图,希望说明所用模型相比今天的LLM是巨大进步。动态还称,没有人看过相关提示词,并称那样做会很疯狂。对准备申请AI研究岗、研究实习或科研面试的人来说,这种说法很容易让人焦虑:是不是该换方向了?

先别急。把“公开宣称”和“可验证信息”分开。你可以按顺序问:有没有论文或技术报告?评测设置、基线模型、题目范围是否交代清楚?结果是否可复现?是否经过独立核验?素材明确,内部模型的具体能力、训练方法与可复现结果,以及是否经过独立核验,仍是未知。对比图能说明趋势,但不能替代证据。

如果这些都找不到,就把它标成“待核查”,而不是“已发生”。这不是让你怀疑一切,而是不让一条宣称替你决定研究方向。

该不该因此改研究方向或简历表述?

不建议因为单条宣称改方向。方向选择通常看你的长期兴趣、导师或团队积累、可获取的数据与算力,而不是某条动态。

简历只写实际完成的成果。比如复现过某篇论文,可以写“复现[论文名],在[数据集]上达到[实际记录]”;不要因为看过某模型的讨论,就写成“做过某模型”。动态里说没有人看过相关提示词,这恰恰说明外界看到的往往只是结果展示,不是完整方法。把“了解”写成“做过”,面试追问时很容易露馅。

一个可做的判断:如果这条消息让你想学评测设计或可复现实验,那就去学;如果只是让你想改简历关键词,先停一停。

面试研究岗时,怎么问团队方向?

与其问“你们是不是在做远超现有LLM的模型”,不如问可回答的问题:团队当前公开的研究问题是什么?如何评估进展?实习生能接触哪部分工作?

假设模拟面试中被问到“你怎么看最近的模型进展”,可以这样组织:先说明消息来源和它明确说了什么,再指出哪些信息尚未核验,最后谈这对你选择研究问题的启发。不要假装知道内部细节,也不要要求对方透露未公开信息。

结尾给你一个小建议:下次看到类似宣称,先花十分钟找原始论文或技术报告;找不到,就把它记成“待核查”,而不是“已发生”。这个习惯比任何一条动态都更能帮你在科研求职里站稳。