东南大学团队: 两阶段强化学习提升小模型推理能力

这项由中国东南大学新一代人工智能技术及其跨学科应用重点实验室的彭颖哲、张公瑞等研究团队与香港中文大学、蚂蚁集团合作完成的突破性研究，于2025年3月发表在arXiv预印本平台（论文编号：arXiv:2503.07536v2）。有兴趣深入了解技术细节的读者可以通过GitHub项目页面https://github.com/TideDra/lmm-r1获取完整的研究成果和代码。

在人工智能快速发展的今天，我们经常听到关于大型AI模型的惊人表现，但这些"超级大脑"往往需要庞大的计算资源和存储空间，就像需要一个巨大仓库才能存放的超级计算机。然而，对于普通用户和研究机构来说，拥有一个既聪明又"小巧"的AI助手显然更加实用。就像我们更愿意拥有一部功能强大但便携的智能手机，而不是需要推车才能移动的古老电脑一样。

这正是东南大学研究团队要解决的核心问题。他们把目光投向了只有30亿参数的"小体型"多模态大语言模型（LMM），这类模型就像是AI世界里的"小钢炮"——体积虽小，但研究团队希望让它们拥有媲美大型模型的推理能力。在AI领域，推理能力就像人类的逻辑思维能力，是判断一个AI系统是否真正"聪明"的关键指标。

研究团队面临的挑战可以用一个生动的比喻来理解。如果把AI模型比作厨师，那么大型模型就像是拥有豪华厨房和丰富经验的顶级大厨，而30亿参数的小模型则像是在狭小厨房里工作的新手厨师。新手厨师不仅要在有限的空间里工作，还要同时处理"看图"和"推理"两项复杂任务，就像要一边观察食材一边进行复杂的烹饪计算。更关键的是，当前训练这类"多面手厨师"的高质量训练数据极其稀缺，就像缺乏好的菜谱和指导材料。

为了解决这个难题，研究团队提出了一个创新的"两阶段师傅带徒弟"训练方案，他们称之为LMM-R1框架。这个方案的核心思路非常巧妙：既然小模型难以同时掌握视觉理解和逻辑推理两项技能，那就先让它专心学好逻辑推理这一基本功，再将这项技能迁移到多模态任务中。

第一个阶段被称为"基础推理强化"阶段。研究团队让小模型暂时"闭上眼睛"，专门用纯文本的数学和逻辑问题进行训练。这就像让学徒厨师先专心练习刀工和火候控制等基本功，而不急于处理复杂的视觉判断。他们使用了一种叫做"基于规则的强化学习"的训练方法，这种方法的妙处在于不需要人工打分员来评判答案好坏，而是通过数学验证的方式自动判断答案是否正确。

想象一下，传统的训练方法需要大量人类专家来评判AI的每一个回答，就像需要无数个老师来批改作业。而基于规则的强化学习则像是使用标准答案的自动阅卷机，能够快速准确地判断数学题的对错。这种方法不仅效率更高，还避免了人工评分可能存在的主观偏差。

在第一阶段的训练中，研究团队使用了包含4万道高质量数学题的训练集，这些题目涵盖了从基础算术到高等数学的各个难度层次。通过反复练习这些纯文本的推理题目，小模型逐渐掌握了扎实的逻辑推理能力，就像学徒通过大量基础练习获得了娴熟的基本功。

第二个阶段被称为"多模态泛化训练"阶段。在这个阶段，已经具备了强大文本推理能力的模型开始学习如何将这些技能应用到需要同时处理图像和文本的复杂任务中。研究团队精心设计了两个主要的训练领域来测试和提升模型的综合能力。

首先是"通用多模态推理"领域，这个领域又包含两个不同难度的子任务。第一个是"视觉推理为主的几何领域"，主要处理几何图形分析问题。研究团队选择几何问题作为桥梁是很有道理的，因为几何问题在某种程度上延续了第一阶段的数学推理特征，同时又引入了视觉分析的要求。这就像让已经掌握了基本刀工的学徒开始练习处理形状规整的蔬菜，既能运用已有技能，又能逐步适应视觉判断的需求。

第二个是"感知推理平衡领域"，这个领域的任务来自20多个不同的数据集，包括视觉问答、文档理解、数学推理和科学推理等多种类型的任务。这些任务对视觉感知能力的要求比几何领域更高，需要模型具备更强的图像理解能力。这就像让学徒处理各种不同类型和形状的食材，需要更高的综合技能。

其次是"智能体相关推理"领域，这个领域专门测试模型在复杂视觉环境中进行决策和规划的能力。研究团队选择了两个具有代表性的任务：推箱子游戏和足球游戏。推箱子游戏需要模型分析游戏局面，制定移动策略，并预测多步操作的结果。足球游戏则要求模型在动态的多智能体环境中做出实时决策，需要考虑队友和对手的位置和行为。这些任务就像让厨师不仅要做好菜，还要能够管理整个厨房的运作和协调多个助手的工作。

研究团队使用Qwen2.5-VL-Instruct-3B作为基础模型进行实验验证。这个模型拥有30亿个参数，在AI模型中属于相对较小的规模，但正是因为其"小巧"的特点，使其更适合在资源受限的环境中部署和使用。

实验结果令人印象深刻。在多模态推理任务上，经过LMM-R1训练的模型比原始基准模型平均提升了4.83%的性能。更有趣的是，这种提升并非以牺牲文本推理能力为代价——在纯文本推理任务上，训练后的模型同样获得了4.5%的性能提升。在复杂的足球游戏任务中，模型的表现提升了3.63%，展现了其在复杂决策任务中的优异表现。

为了更深入地理解训练过程的有效性，研究团队进行了一系列对比实验。他们发现了一个非常有趣的现象：如果直接使用多模态数据进行强化学习训练，模型的文本推理能力实际上会下降。这就像一个学徒如果没有扎实的基本功就直接挑战复杂任务，不仅无法掌握新技能，还可能让原有的技能变得生疏。

相比之下，先进行文本推理训练再转向多模态任务的两阶段方法，不仅保持了原有的推理能力，还成功地将这些能力迁移到了视觉任务中。这验证了研究团队"先打基础再扩展"策略的有效性。

在训练过程的分析中，研究团队还发现了一个值得关注的现象。当使用多模态数据直接训练时，模型生成的回答往往变得越来越简短，推理过程也越来越粗糙。而使用文本数据进行基础训练的模型则展现出相反的趋势——它们的回答变得更加详细，推理过程更加严谨。这就像前者是在偷工减料地应付任务，而后者则是在认真思考并给出充分的解释。

研究团队还将他们的方法与传统的监督学习方法进行了比较。结果显示，基于规则的强化学习方法在避免"灾难性遗忘"方面表现更优。灾难性遗忘是AI训练中的一个常见问题，指的是模型在学习新任务时会忘记之前学会的技能，就像一个人学会了新语言却忘记了母语。而强化学习方法能够更好地保持已有技能，同时学习新的能力。

在智能体任务的评估中，经过训练的30亿参数模型展现出了令人惊讶的性能。在推箱子游戏中，它的表现甚至能够媲美一些大型商业模型，如Claude-3.5-Sonnet和GPT-4o。在足球游戏任务中，训练后的模型也显示出显著的改进。这些结果表明，通过适当的训练策略，小规模模型完全有潜力在复杂任务中达到与大型模型相当的性能水平。

研究团队的工作不仅在技术上具有创新性，在实用性方面也具有重要意义。对于资源受限的研究机构、初创公司或个人开发者来说，这种方法提供了一个经济高效的解决方案。他们不需要投入巨大的计算资源来训练和部署大型模型，而是可以通过巧妙的训练策略让小模型发挥出超越其体量的性能。

此外，这项研究还为AI模型的训练策略提供了新的思路。传统观念认为，模型的性能主要取决于参数规模和训练数据的数量，但这项研究表明，训练策略的设计同样重要。通过合理的阶段性训练和技能迁移，即使是相对较小的模型也能在复杂任务中表现出色。

研究团队在论文中还讨论了他们方法的一些限制和未来的改进方向。当前的方法主要在数学和几何领域进行了验证，未来需要在更广泛的应用领域进行测试。同时，如何进一步提高训练效率和扩展到更多类型的任务也是值得探索的方向。

从更宏观的角度来看，这项研究体现了AI发展的一个重要趋势：不是单纯地追求模型规模的增大，而是通过更智能的方法来提升模型的实际性能和实用性。这种思路对于推动AI技术的普及和应用具有重要价值，特别是在计算资源相对有限的环境中。

研究团队已经在GitHub上开源了相关代码和模型，这为其他研究者和开发者提供了宝贵的资源。有兴趣的读者可以访问https://github.com/TideDra/lmm-r1获取完整的实现细节，这种开放的态度有助于推动整个AI社区的发展和进步。

说到底，这项研究告诉我们一个重要道理：在AI的世界里，"小而精"同样可以很强大。通过巧妙的训练策略和扎实的基础能力建设，即使是体量较小的模型也能在复杂任务中展现出令人刮目相看的表现。这不仅为AI技术的民主化提供了可能，也为我们重新思考AI模型的设计和训练提供了新的视角。对于那些希望在有限资源下开发强大AI应用的团队来说，这项研究无疑提供了一个值得借鉴的优秀范例。

Q&A

Q1：LMM-R1是什么？它有什么特别之处？A：LMM-R1是东南大学团队开发的一个两阶段训练框架，专门用来提升小型AI模型的推理能力。它的特别之处在于采用"先学推理再学视觉"的策略，让只有30亿参数的小模型也能达到媲美大型模型的推理性能，这就像让"小钢炮"发挥出"大炮"的威力。

Q2：为什么不直接用多模态数据训练，要分两个阶段？A：研究团队发现直接用多模态数据训练会让模型的推理能力下降，就像没有基本功就直接挑战复杂任务会适得其反。两阶段训练先让模型专心掌握逻辑推理这个核心技能，再将这个技能迁移到视觉任务中，效果要好得多。

Q3：这种方法对普通用户有什么意义？A：这项技术让小型AI模型也能拥有强大的推理能力，意味着普通用户和小公司也能在有限的计算资源下部署高性能的AI助手。不需要昂贵的硬件设备，就能享受到接近大型模型的智能服务，大大降低了AI技术的使用门槛。