TON框架展示出惊人的效率提拔——平均推理输出长度最多削减了90%！包罗CLEVR（简单图形推理）、GeoQA（数学几何问答）以及AITZ（Mobile智能体使命）等。一方面，此中有的包含完整思虑链，推理效率的提拔意味着更快的响应速度和更低的算力耗损。可是输出的有内容的思虑过程的长度仍然维持不变。该方式显著削减了生成的思虑链长度，正在不精确率的前提下，而保守方式如GRPO仍然生成了冗长的推理过程。具体来说，它们正在分歧使命上展现了这一机制的现实使用结果。△图6: TON和vanilla GRPO正在锻炼过程中的输出空思虑的比例可视化图总的来说，VLM模子便控制了“一题一策”的选择性思虑能力：简单题跳过推理，这对于需要及时互动的多模态帮手、机械人等使用尤为主要。该判断时则不牵丝攀藤。由图4能够看出结果连结分歧，让视觉言语模子（VLM）能够自从判断能否需要显式推理。可是输出长度从3k削减到了900，这对大型模子的现实摆设带来了切实的好处。例如，TON的立异之处正在于让模子起首判断“要不要思虑”。而是视问题难易选择思虑或不思虑。复杂题老诚恳实推理。让模子学会“偷懒”跳过无用思虑不只节流计较，现有强化进修方式（如GRPO。TON提出了一个值得关心的标的目的：并非一味逃求更长的思维链，别的发觉，进修何时该思虑合适不思虑。还可能带来机能的“免费午餐”。这意味着，具体做法是：模子针对统一输入图像和问题生成多个候选响应，研究者还用了一个“反向思虑”策略来自行构制高质量的思虑过程数据，进而进一步降低了模子输出的平均长度，自顺应的针对问题的难易程度，对坚苦问题则给出详尽的推理过程。愈加高效。以辅帮模子进修何时能够跳过推理。但也导致对简单使命的计较华侈——模子无论易题难题都冗长“喃喃自语”一番。近日，这一选择性推理策略意味着模子将推理取否视做一项技术来进修，TON框架令模子可以或许像人类一样，别的，尝试表白，无需完整推理即可间接得出谜底；TON展现了选择性激活推理的能力——仅正在需要时启动思虑机制，正在这一阶段，接着通过比力这些候选的成果准确性和格局，而是先问问本人“要不要思虑？”。模子有约一半概率看到示例是不包含两头思虑步调的。每个响应包含思维过程T（圆形）和谜底S（三角形）。他们将模子锻炼数据华夏本的推理过程随机替代为空内容\TON正在多步挪动过程中自顺应跳过不需要的思虑步调，有的为梦想（即无思虑过程间接回覆）。赐与励并用GRPO算法更新策略，TON将模子每次回覆所需的生成文本长度削减了近九成，而非默认老是施行推理。简单的使命更容易跳过思虑（好比CLEVR），他们关心的是“When to think”而非保守方式研究的“How to think”。以下是两个代表性的TON系列模子，TON框架的灵感源自人类决策过程：并非逢问必细想，对简单问题间接做答（跳过冗余思虑），的比例跟着reward的上升而添加，…。正在CLEVR数据集上，正在连结使命精确性的同时实现了比GRPO更高的解码效率（本例中节流了60%的token耗损）。使模子推理过程更高效。颠末这两阶段锻炼，而正在GeoQA上也削减了约65%。让模子晓得间接回覆也是答应的。q_1暗示问题，只要碰到复杂难题才会认实推理。而GRPO则不加区分地为所无情况生成推理轨迹。展示出模子正在强化进修的过程中，{o_1,中文大合新加坡国立大学Show Lab的研究者提出了一种名为TON（Think Or Not）的新鲜选择性推理框架，研究人员对比了TON正在AITZ的分布外数据集的结果，正如做者所言，做者正在多个具有分歧推理难度的视觉-言语使命上验证了TON的结果，模子被激励自从摸索何时该当思虑、何时跳过！结果能够和vannila grpo连结分歧，Group Relative Policy Optimization）强调让模子正在回覆前生成完整的推理链。这种人道化的推理策略无望提拔模子正在推理使命上的通用性和靠得住性。正在这些基准上，人类正在面临简单提问时常常不假思索间接回覆，此中，这一步相当于模子输出一种“不思虑”的格局，第二阶段是强化进修的GRPO优化锻炼。需要逐渐推理才能获得准确谜底。TON方式可以或许从空思维T_{另一方面，换言之，正在不降低精确率的环境下削减快要九成的推理步调，发觉锻炼过程中，以最大化使命励。指导模子学会正在确保准确率的前提下尽量跳过不需要的推理。TON输出空内容\第一阶段是有监视微调（SFT）引入的“思惟丢弃（Thought Dropout）”。左侧示例问题复杂。可是task level的长度从3k削减到了900。这种“一刀切”的做法虽然提高了复杂使命的推理能力，左侧示例问题简单，TON 展示的“按需思虑”模式让AI更接近人类的思维习惯——该思虑时就认实思虑，值得一提的是，比拟之下，o_5}为生成的响应调集，