MiniMind

训练与推理功能

• 读懂模型结构： Dense 与 MoE 模型都有公开实现。可以沿着词嵌入、分组查询注意力（GQA）、RoPE、RMSNorm 和前馈层观察张量流动，再对照结构图理解每一层的作用。当前主线结构与 Qwen3 / Qwen3-MoE 生态衔接。
• 预训练：预测下一个 token： 预训练脚本读取 JSONL 文本样本，计算下一 token 的预测损失并保存权重。mini 数据适合先验证流程；更大的数据版本用于进一步训练。数据长度、清洗质量和学习率都会影响结果。
• SFT：学习对话与指令格式： 全参数 SFT 使用对话样本，在预训练权重上继续训练。当前主线数据包含基础工具调用内容，默认 full_sft 权重具备相应的基础能力。训练与推理应使用匹配的分词器和聊天模板。
• LoRA 微调与权重合并： 仓库提供原生 LoRA 实现，用少量额外可训练参数调整模型，也提供合并导出流程。适合比较某类任务或表达方式的变化；适配器仍然依赖匹配的基础模型。
• MoE 专家路由： MiniMind-3-MoE 约有 1.98 亿总参数，每个 token 激活约 6400 万参数。可比较路由选择、辅助损失与 Dense 模型的差异。激活参数较少，并不意味着全部权重只占用相同规模的存储或显存。
• DPO 偏好优化： DPO 使用成对的偏好回答调整模型，仓库提供相应脚本与数据读取方式。样本的选优标准会影响输出倾向，不能仅凭训练损失判断回答已经变得正确或可靠。
• PPO、GRPO 与 CISPO 实验： 这些训练方法引入奖励信号，并包含生成、评分与参数更新过程。适合在基础训练跑通后研究。实验需要额外的生成计算，奖励设计不合适时，模型可能学会迎合评分而不是完成任务。
• 多轮工具调用与 Agentic RL： train_agent.py 面向多轮工具使用场景，支持 GRPO / CISPO。它把工具交互轨迹纳入训练流程，可以研究模型何时发起调用、怎样利用返回结果，以及如何处理后续轮次。
• 思考内容与聊天模板： 当前版本通过聊天模板、think 标记和 open_thinking 开关管理思考内容，不需要沿用旧教程中独立的 train_reason.py。显示思考内容与回答正确率是两回事，需要分别观察。
• 蒸馏与数据整理： 项目包含蒸馏以及数据清洗、去重和格式整理的相关实现。可以观察教师模型输出或训练信号怎样进入小模型。教师结果也可能包含错误，数据来源与使用权限需要单独检查。
• 训练曲线与断点续训： 脚本支持记录损失、学习率和训练进度，并保存模型、优化器等续训状态。添加 --from_resume 1 可恢复已有检查点。用于继续训练的检查点，与单独用于推理的权重文件作用不同。
• 命令行与 Streamlit WebUI： 既可以通过 eval_llm.py 对话，也可以运行 Streamlit 聊天界面。WebUI 会扫描 scripts 下的模型子目录，使用 Transformers 格式模型时要先放到正确位置。界面支持思考展示、工具选择和多轮调用。
• API 服务与推理生态： 仓库提供兼容 OpenAI API 协议的最小服务示例，支持 reasoning_content、tool_calls 和 open_thinking；文档还列出 Ollama、vLLM、llama.cpp 等推理路径。接入时仍需检查模型格式与相应工具的版本。
• 评估、许可证与运行成本： 项目包含 C-Eval、C-MMLU、OpenBookQA 等评估路径，代码采用 Apache 2.0。下载代码无需购买套餐；自己使用 GPU、存储或云服务时承担相应费用。业务任务应另外准备固定样本，检查事实、拒答和重复运行的一致性。