使用Tunix GRPO、LoRA适配器和GSM8K奖励训练Gemma-3进行结构化数学推理

我们构建了一个端到端的GRPO训练流程，教会Gemma-3解决GSM8K数学问题。我们准备环境、通过Hugging Face认证、加载Gemma-3，并将示例包装成“推理+答案”提示格式。我们定义了格式正确性和数值正确性的奖励函数，然后附加LoRA适配器以保持轻量化训练。我们评估基线，通过分组采样生成运行GRPO来改进策略，并可选择导出合并后的模型。