A5：再次提出问题/子问题。 MCTS搜索：使用MCTS算法根据当前状态和行动空间增量生成候选思维路径。奖励函数：设计一个SLM自定义奖励函数，根据推理步骤评估对最终答案的贡献，并指导MCTS树的扩展。为什么这些动作可以帮助模型更好地探索解决方案空间： 多样性：丰富的动作类型可以让模型尝试不同的推理策略，避免陷入固定思维模式。灵活性：模型可以根据当前状况选择合适的动作，灵活应对不同的问题。分解：通过将复杂问题分解为子问题，模型可以逐步求解，降低推理难度。
验证：通过再次回答子 南非电话号码表 问题，该模型。 B.识别阶段（相互一致性）：判别器SLM：使用另一个与目标SLM具有相似能力的SLM作为判别器来评估生成的候选推理轨迹。部分提示：使用候选者推理路径的一部分作为提示，让判别器完成剩余的推理步骤。一致性检查：将判别器执行的推理步骤与原始路径的一致性进行比较，选择彼此一致的路径作为最终答案。相互一致性有助于模型选择正确的推理路径的原因： 外部验证：判别器充当外部评估器，为模型提供客观反馈，避免模型自身评估出现偏差。
降低难度：通过部分提示，降低判别器判断的难度，增加给出正确答案的概率。群体的智慧：两个SLM之间的相互验证，类似于人类群体中的同行评估，可以更有效地识别正确答案。 C.最终路径选择：计算最终得分：将候选路径的奖励值与终端节点的信任得分相乘，计算最终得分。选择最佳路径：选择最终得分最高的路径作为最终答案。 .5 Kuiet-：语言模型可以在说话之前先教自己思考）贡献将-a扩展到学习推理也是它与-a的一个主要区别。
主要针对特定任务进行推理学习，而 Kuiet-将推理学习推广到更广泛的文本数据。这使得语言模型能够在更一般的场景中思考并从不同的文本任务中学习。 ）贡献：并行采样算法 这是实现 Kuiet 的关键技术之一。并行采样算法可以有效地为每个标记生成推论，从而使模型能够从大量文本数据中学习推论。 ）其他创新点元令牌、混合头、非近视损失函数等创新都是为了更好地实现 Kuiet 的目标，即让语言模型能够学习推理并提高预测能力。