训练与推理
优化方法地图

1. I-A1

   Embedding：ID → 向量

   按 token ID 查找嵌入向量。Tokenizer 在神经网络之前完成分词；Embedding 是网络输入层，本身是正常步骤。

   token ID → embedding lookup → hidden states
   →
2. I-A2

   Transformer 各层计算

   依次执行 L 层。Prefill 处理提示词并建立各层 KV；Decode 使用已有 KV，并为当前输入位置追加 KV。

   归一化 → Q/K/V 投影与位置处理 → Attention → 输出投影与残差 → 归一化 → MLP / MoE → 残差
   →
3. I-A3

   输出投影得到 logits

   将相应位置的隐藏状态投影到词表，得到候选 token 的分数。常规生成一般无需保存全部输入位置的 logits。

   →
4. I-A4

   选择 token 与判断结束

   使用贪心、采样或约束生成，检查停止条件。这里属于生成逻辑，不是 Transformer 内部的一层。

   未结束 → 新 token 回到 I-A1；结束 → 系统完成返回与回收
   →

未结束的生成回到 I-A1；普通 Decode 每请求每轮通常处理刚生成的一个 token。

1. T-A1

   前向计算

   多个位置的输入已知，可按因果掩码组织并行计算；保存反向所需结果，或按策略以后重算。

   token ID → Embedding → Transformer 各层 → logits
   →
2. T-A2

   计算 Loss

   比较预测与真实标签，按有效位置汇总损失。SFT 可只对需要学习的回答位置计入损失。

   →
3. T-A3

   反向传播得到梯度

   从输出向前传播，计算可训练参数的梯度。冻结参数不代表该位置完全不参与反向数据流。

   Y = XW；dX = dY·Wᵀ；dW = Xᵀ·dY（需要时计算）
   →
4. T-A4

   优化器更新参数

   依据梯度、学习率与优化器状态更新可训练参数，并按配置执行裁剪、缩放等处理。

   →

前向 → Loss → 反向 → 更新；之后处理下一批数据。