在商讨初期，商讨东谈主员建议将基础礼貌的强化学习（CLS-RL，Classification Reinforcement Learning）愚弄于分类任务，试图通过可考证的奖励机制来促进多模态大模子进行显式念念考。

然而，实验历程中发现，以 DeepSeek-R1 为代表的大模子在强微调时会出现回复长度陆续加多的气候，而 CLS-RL 在图像分类任务中的回复长度却呈现裁汰趋势。

值得珍贵的是，锻真金不怕火完成后模子的念念考历程对最终谜底的孝顺终点有限。这一气候促使商讨东谈主员建议了关节假定：在视觉感知任务（如图像分类）中，模子性能更多依赖于对图像自身的感知才调而非复杂的推理历程。

基于这一热切发现，商讨团队更正性地调度了微调政策，让模子自觉减少毋庸要的念念考门径，平直输出谜底而非摄取“先念念考再回复”的传统口头。

在少样本图像分类微调任务中，该框架的更正性主要体当今两个关节方面：

领先，商讨团队创造性地将 DeepSeek-R1 的奖励机制引入分类任务，通过建立可考证的奖励体系，将多模态大模子的分类才调与传统强化学习相吞并，使用分类类又名号看成奖励函数来替代传统的监督学习耗损函数，这种想象使得模子简略平直优化全体回复政策而非局部 token 级别的优化。

其次，鉴戒 DeepSeek-R1 的收效涵养，摄取结构化输出奖励机制，要求模子按照预设体式输出回复，在确保谜底可考证性的同期饱读吹模子进行各样化探索。

令东谈主惊喜的是，这种简化政策不仅在特定领域任务上卓越了 CLS-RL，在泛化才调方面也展现出显贵上风，同期大幅提高了锻真金不怕火敛迹速率，并大幅裁汰了锻真金不怕火时辰（减少约 94%）。

甩手流露，在 11 个数据鸠合，“不念念考”政策在 10 个数据鸠合的发达优于 CLS-RL，最终平均准确率比 CLS-RL 高出 3.14%。这标明，不包含念念考历程的 RFT 简略灵验提高模子在分类任务上的性能，优于包含念念考历程的 RFT。

与传统 SFT 步调比拟，CLS-RL 灵验幸免了模子对锻真金不怕火数据的机械挂牵和由此激勉的灾难性淡忘问题，而是率领模子学习任务的本体特征（如图像分类中的配景、光照等关节要素）。

这种学习面孔使得模子在未经微调的数据集上也能保持雅致性能，商讨团队将这种气候称为“免费午餐”（free-lunch）泛化效应。张凯鹏默示：“这种学习本体特征的才调显贵指责了对特定领域数据的依赖性，不仅灵验退守了常识淡忘，还收场了优异的跨领域迁徙性能。”

为进一步探究显式念念考对 RFT 历程的影响机制，他们建议了“先回复后念念考”（Think-After-Answer）的更正步调，通过让模子先输出谜底再生成念念考历程的面孔来拖沓念念考门径对有缱绻的潜在打扰。

商讨东谈主员在数学推理、空间融会和谜题解答等多种任务上对“不念念考”政策进行了系统考证，并对比分析了 2B 和 7B 两种鸿沟模子的性能发达。

甩手流露，在 2B 模子中，“不念念考”的微调面孔在统统任务（包括数学推理）上齐优于基于念念考的 RFT，而“先回复后念念考”的发达居中。李明对此评释说谈：“在处理复杂数学问题时，2B 模子由于参数目有限，难以生成高质地的推理链条。因此，即使在需要复杂推理的任务中，强制引入念念考门径也无法带来性能提高。”

然而当模子鸿沟扩大到 7B 时，情况发生了显贵变化：更大鸿沟的模子也曾具备生成灵验念念维链的才调，在数学等复杂推理任务中，显式念念考的微调面孔展现出昭彰上风。

RFT 的中枢上风在于其简略显贵指责数据标注和领域适配的资本。具体而言，若模子在当然图像分类任务上通过 RFT 完成微调，其学到的底层任务常识可能迁徙至其他高标注资智商域（如医疗图像或遥感图像），从而幸免肖似网罗标注数据的支拨。

这种迁徙才调的收场关节在于 RFT 是否实在教授模子理受命务本体，而非粗浅地挂牵锻真金不怕火数据。若是模子简略通过 RFT 掌持通用的问题贬责范式，而非局限于特定数据散播，那么这种才调有望膨大到更多标注资源稀缺的领域，从而收场跨领域性能提高与资本简易的均衡。

该商讨不仅揭示了念念考历程在不同任务中的各异化作用，建立了模子鸿沟与念念考政策灵验性的关联礼貌，还为 RFT 在本质愚弄中的跨领域迁徙后劲提供了表面复旧，对激动大模子的高效微调处本质部署具有热切的率领敬爱。

为构建通用大模子提供新念念路

张凯鹏团队主要聚焦于多模态通晓与生成、多模态评测等观点的商讨。在评测体系构建方面，他们系统性地商讨了包括单模态任务（如话语或代码关系任务）和多模态任务在内的各种评测任务，并先后构建了一系列涵盖通用才谐和针对各种下流愚弄场景及专项才调的评测基准体系。

通过全面的评测实施，商讨团队深切意识到构建实在通用的多模态大模子濒临强大挑战，终点是在收场平庸场景笼罩才调方面存在的辛苦。

在团队早期的商讨职责中，曾探索将多模态单一模子愚弄于各种视觉任务，包括多种分类任务过火他细分领域任务。商讨发现，即便使用统统细分任务的数据进行鸠合锻真金不怕火，所得模子在大宗任务上的发达仍显贵落伍于群众模子。

“通过摄取自相宜念念考的强化学习微调步调，有望锻真金不怕火出在多个细分任务上均发达优异的通用大模子，这一发现为怎么使单一模子相宜各样化任务需求方面提供了热切启示。”张凯鹏说。

基于这一意识，该团队现时正重心商讨怎么左证具体任务属性和模子才调水平，自相宜地详情最优的锻真金不怕火政策和念念考口头。这一商讨观点为 AI 模子的锻真金不怕火优化开辟了新念念路。

以自动驾驶为例，关于粗浅的感知类任务（如远离物检测），摄取“不念念考”的平直反应口头更为高效；而关于复杂的有缱绻任务（如旅途运筹帷幄），则需要模子进行深度推理和运筹帷幄。

在现存自动驾驶系统中，不时摄取多个群众模子并行处理不同任务。若将统统任务数据输入单一模子，不仅难以收场任务间的协同促进，反而可能激勉任务突破。因此，自相宜念念考机制（Adaptive-Thinking）的引入，有望减少任务突破，增强正向迁徙，使单一模子简略胜任更多任务，这对工业场景的本质部署具有热切敬爱。

与此同期，他们还在积极探索多任务搀和锻真金不怕火的新范式，旨在使搀和模子在保持通用性的同期，达到甚而卓越群众模子的性能水平，这或将为多模态大模子的发伸开辟新的本通晓径。

此外，本次商讨的发现还促使该团队深入念念考 AI 系统与东谈主类融会和念念考面孔的各异，终点是在资源分拨和任务处理机制方面的不同特质。这些基础性的探索不仅有助于揭示 AI 与东谈主类智能的本体各异，也可能为曩昔大模子框架的更正提供热切参考。

参考贵寓：

1.https://arxiv.org/pdf/2503.16188

2.https://github.com/minglllli/CLS-RL/tree/main

排版：刘雅坤、何晨龙