该发现来自两位清华校友杨林和黄溢辰，他们共同设计了一套自我迭代验证流程和提示词优化，就成功让Gemini 2.5 Pro完成了今年IMO题目的解答。 其实是因为相较于面向中小学水平题目的传统数学基准GSM8K、MATH等，IMO可以更为充分地考验模型的抽象思维和多步骤逻辑推理能力，堪称检验LLM推理能力的“试金石”。 直到今年才首次有官方认可的金牌AI出现，谷歌和OpenAI均完成了5道题，其中谷歌Gemini模型搭载了新的Deep Think模式，OpenAI的模型据悉也是在通用强化学习和计算扩展方面实现了技术突破。 初始解决方案生成：模型首先根据提示词生成初步解答，要求每一步逻辑推理清晰、解释明确。自我改进：模型对初始答案进行回顾和优化，弥补初始生成中因思维预算有限导致的不足。验证解决方案并生成错误报告：在验证器中根据提示词验证解答，生成包含关键错误（如逻辑谬误或事实错误）和不完整论证在内的问题报告。审查错误报告（可选）：对问题报告进行复核，删除误报的问题，提升报告可靠性。基于错误报告纠正或改进解决方案：根据问题报告改进解答，修正后返回验证步骤。接受或拒绝解决方案：若解答连续5次都通过验证，则接受该回答；若连续迭代10次，都存在重大问题，则拒绝此答案。 但由于Gemini 2.5 Pro的最大思考tokens为32768，在初始生成答案时无法独立完成负责的IMO问题，所以通过步骤2中的自我改进，额外注入32768 tokens，让模型回顾并优化初始解答，提升整体质量。 验证器会逐一检查解答并找出存在的问题，将问题分为关键错误和论证缺口两类，其中关键错误是指明显错误或存在清晰逻辑谬误的内容，会严重破坏证明的逻辑链条，引向错误答案。 论证缺口包含主要缺口和次要缺口，主要缺口可能会导致整个证明失败，而次要缺口可能会产生正确结论，但论证仍然是不完整的。 当发现问题后，验证器随即会输出一份错误报告，为模型改进解决方案提供有用信息，在步骤4中对验证器的误判进行改正，然后模型根据报告尝试改进答案。 由于验证器可能出错，所以需要足够次数的重复迭代，降低误判影响，最终如果答案能通过验证则接受，如果始终存在关键错误或主要论证缺口，则拒绝。 另外在参数设置上，选择较低的温度值0.1，因为较高的温度可能会导致更多的随机错误，并使用Gemini 2.5 Pro的推理token上限，同时排除其它模型、代码干扰。 关键提示词中，初始生成的提示词要求有充分理由支撑答案，如果不能找到完整解决方案，不能进行编造，且所有数学内容用TeX格式呈现。 输出格式需严格按照总结到详细解决方案的顺序，其中总结包括结论和方法概述，详细解决方案中需要呈现完整、逐步的数学证明，在最终输出前还要仔细检查以符合所有指令。 在验证提示词里，唯一任务就是找出并报告解决方案里的所有问题，并不尝试纠正漏洞，需生成详细验证日志并将问题进行分类，输出格式包括总结和详细验证日志，总结又包括最终判定和发现列表。 最终，模型实现为IMO的6道题目中的5道生成了完整且数学严谨的解决方案，其中前两道题目各生成了有提示和无提示的两种解决方案。 第一题提示使用数学归纳法，第二题提示使用解析几何完成，通过对比可得，详细的提示词可以减少计算搜索空间、提高效率，但并不会额外赋予模型新的能力。 实验结果证明，结构化迭代流程将是LLM的潜在能力转化为严谨数学证明的关键，可突破单次生成中例如有限推理预算和初始答案错误等局限性。 本次研究的两位作者——黄溢辰和杨林，他们是清华大学数学物理基础科学实验班的本科同学，毕业后又分别前往海外高校深造。 黄溢辰在加州大学伯克利分校取得物理学博士学位后，曾在微软担任AI研究员，后在加州理工学院担任博士后，师从凝聚态物理领域大拿陈谐教授。 主要研究的是量子凝聚态系统中的新型相和相变，包括强关联系统中的拓扑序、多体系统动力学、张量网络表示以及量子信息应用等。 曾在2017年斩获斯隆奖，后又因其对物质拓扑态及相互关系的卓越贡献，荣获2020年物理学新视野奖，该奖项隶属于科学突破奖的子奖项，要知道科学突破奖也被誉为当代科学界的“奥斯卡奖”。 后续黄溢辰又接着在麻省理工学院理论物理中心和哈佛大学物理系继续从事博士后研究，主要研究方向是量子物理学，包括量子信息学、 凝聚态理论和机器学习。 此前，他曾获得约翰霍普金斯大学的计算机科学和物理与天文学双博士学位，又曾在普林斯顿大学从事博士后研究，师从王梦迪教授。 王梦迪14岁就考入清华，23岁就从麻省理工学院博士毕业，其导师还是美国国家工程院院士Dimitri P. Bertsekas，年仅29岁就成为普林斯顿大学终身教授。 研究领域主要涉及生成式人工智能、强化学习、大语言模型等，2024年还曾获得控制领域最高奖项Donald P. Eckman奖（每年仅颁发给一位获奖者）。 而杨林教授的研究重点则是强化学习理论与应用、机器学习和优化理论、大数据处理和算法设计等，他曾在ICML和NeurIPS等顶级机器学习会议上发表过多篇论文，还曾获得亚马逊教授奖、西蒙斯学者奖等。 具体资源我们没有仔细统计，但大致估算下，第一步大概需要60000token，之后的每次验证，如果通过则15000token，如果需要修改则需要30000token。每次由于随机性都会有所差异，不同题目需要的tokens数在300k到5000k都是有可能的，比如运气不好的时候，一道题目就做了8次独立实验。而计算时间则取决于谷歌服务器的空闲度，最快10分钟左右就能解出一道题。 当使用提示后，模型基本一次独立实验（Agent输出失败或成功算一次独立实验）就能解决题目，但不使用模型的思维会发散，之前提及的8次独立实验就是在没有使用提示的情况下出现的。 目前团队已经进行了手动验证，自我检查了证明的所有细节，但缺乏官方评分，杨林教授也希望如果组委会有兴趣，他们很乐意参与IMO官方评分，进一步验证解答。 有时候基础模型的能力需要用其它方法释放，如果未来模型训练达到瓶颈，那么Agent方法可能是破局的关键。而本次研究也让我们看到，学术界利用有限的资源，也能做出与大厂同等重要的成果。 同学们比我年轻，对AI的使用可能比我更加自然，所以我提不出什么建议。但就我自身而言，我希望在使用AI的同时，也能提高自身的知识水平。简而言之就是，使用并向它学习。
