第 25 章 · 代码实战

AlphaZero 实战:让五子棋 AI 从零自学

第 23 章把监督学习跑通了,第 24 章把生成模型跑通了; 最后一章代码实战,把第 12 章的强化学习升级成一套完整的 AlphaZero 式系统: 15×15 五子棋、策略价值残差网络、PUCT MCTS、自对弈、Replay Buffer、并行训练和新旧冠军门禁。 全程不用人类棋谱、不用旧 AI 教落子;网络从规则和输赢里自己学会进攻、防守与搜索。

源码位置说明:本章项目不在 deeplearning 主仓的 src/ 下; 完整可构建源码位于 chenxuan520/alphazero-gomoku。 下文的 src/game/...、src/mcts/... 都是相对这个独立仓库根目录而言。

1. 先下一盘:真实冠军模型,浏览器本地推理

先别看公式。下面不是手写规则、不是远程服务器返回一步棋,而是发布产物里的真实 19.2 万参数冠军网络: 页面下载约 770KB 的 C++ .net 文件,JavaScript 直接解析 Conv/BN/残差块参数, 在你的浏览器里完成策略价值前向和 PUCT MCTS。默认你执白棋、48 次模拟;可选 12/24/96/120, 也可以在“自定义”里输入 1–800。模拟数越高通常越强,每步等待也近似线性增加。AlphaZero 先落天元。 浏览器会在真实落子后复用对应搜索子树;状态行只有继承到正访问数时才显示“复用 N visits”。

2. 环境:15×15 棋盘、胜负与 4 平面编码

环境是 src/game/gomoku.*。动作 a 是 0–224 的行优先格子编号; 黑棋记 +1、白棋记 −1、空位 0。自由规则下横/竖/两条斜线任一方向五连或长连即胜,没有禁手。

board_[action] = current_player_;
++move_count_;
last_action_ = action;

if (CheckWin(row, column))
  result_ = current_player_;                 1
else if (move_count_ == 225)
  result_ = DRAW;
else
  current_player_ = -current_player_;        2

网络始终站在当前该走棋的一方看棋盘,因此同一个绝对棋盘轮到黑/白时输入不同:

为什么必须统一成“待行方视角”

如果固定用“黑棋是我、白棋是对手”编码,同一个网络要同时学习两套语义:黑走时 v>0 表示黑优, 白走时又得把符号反过来。当前实现把待行方棋子永远放 plane 0,对方永远放 plane 1, 于是价值头只需学习一句话:从现在该走棋的人看,这个局面最后能赢吗?

3. 策略价值 ResNet:一个身体,两个脑袋

网络完全使用项目从手写 C++ 框架复制出的 Float32 组件:BatchedConv2D、BatchNorm2D、 ResidualBlock2D、FloatLinear。没有 PyTorch/TensorFlow/ONNX。

trunk = ReLU(BN(stem_conv(input)));
for (block : blocks)
  trunk = block.Forward(trunk);                1

policy = ReLU(BN(policy_conv(trunk)));
policy_logits = policy_fc(Flatten(policy));     2

value = ReLU(BN(value_conv(trunk)));
hidden = ReLU(value_hidden(Flatten(value)));
v = tanh(value_output(hidden));                 3

191,853 个参数是怎么算出来的

“19 万参数”不是看文件大小猜的。每个卷积权重按 [Cout,Cin,Kh,Kw], 每个全连接按 [out,in];BN 的可训练量是每通道一组 γ/β。逐块展开:

所有卷积实际都设 use_bias=false,但 v1 序列化格式仍保存了 291 个全零 bias 槽位; 真正参与训练的参数是 191,562。模型还额外保存 582 个 BN running mean/variance, 所以文件总共 192,435 个 float32 + 72 个向量长度前缀 + 64 字节头 = 770,380 bytes。

推理时 BN 为什么可以“折进卷积”

训练时 BN 要按 batch 统计均值/方差;推理时 running mean/variance 已固定,可把每通道 BN 改写成一次仿射:

这也是为什么复制网络时只复制“可训练参数”不够:BN running statistics 不是梯度参数,却直接决定推理输出。 漏复制它们时,worker 会拿 mean=0/variance=1 做归一化,整批自对弈标签都可能漂掉。

4. MCTS:PUCT 如何把“直觉”变成“算过”

每个树节点是一个局面,每条边是一个候选落子。搜索反复执行选择 → 扩展/评估 → 回传。 选择时不只看当前平均胜率 Q,还给网络先验高但尚未充分搜索的动作一个探索奖励:

q = edge.n > 0 ? edge.w / edge.n : parent_q - fpu;
u = c_puct * edge.prior * sqrt(parent.n) / (1 + edge.n);
edge = argmax(q + u);                         1

value = leaf_value;
for (path from leaf to root) {
  value = -value;                             2
  edge.n += 1; edge.w += value;
}

搜索并不把 225 个空点全展开。除空盘只搜天元外,只保留距离已有棋子 Chebyshev 半径 2 内的空点,通常约 25–40 个。 这是纯动作空间剪枝,没有人工棋形评分。它解决了早期“217 个动作分 100 次模拟,一半边从未访问”的 π 噪声灾难。

一条 simulation 到底走了什么

一次 MCTS simulation 不是“网络前向一次就完了”。它从根局面复制出临时棋盘,沿 PUCT 最大边一层层落子, 直到碰到终局或尚未展开的叶子。若是叶子,网络只评估一次,然后把 v 沿整条路径回传:

搜 600 次不等于“往前看 600 手”,而是生成 600 条由当前 PUCT 策略选择的路径。树会把预算集中在少数有希望的分支; 根某条边的 N 越大,说明它在反复搜索验证后仍值得投入。

为什么 217 个合法点会让 100 sims 隐性报废

空盘附近如果直接展开全部空格,中前盘可能有 200 多条边。100 次模拟意味着至少一半边永远 N=0, 根访问分布 π 不是“深思熟虑后的策略”,而只是“哪些边碰巧被访问过”。更糟的是,一手必杀也可能根本没展开。

半径 2 剪枝只问“这个空点附近有没有棋子”,不问它是活三、冲四还是好棋;因此没有把手写棋力灌进网络。 但它确实编码了一个五子棋工程先验:离所有棋子很远的点短期不会形成连线。动作生成是这类 CPU 版 AlphaZero 的命脉。

根访问次数为什么能当训练目标

网络原始策略 P 只经历一次前向;访问分布 π 则融合了多次落子、叶子价值和终局反杀。 训练网络逼近 π,相当于把一次昂贵搜索“蒸馏”进下一代网络。下一轮搜索从更好的 P 出发,又能得到更好的 π—— 这就是“网络教搜索,搜索再教网络”的具体落点。

5. 自对弈怎样自动产生 (s,π,z)

监督学习需要人给“正确走法”;AlphaZero 让 MCTS 自己产标签。每一步先搜索,把根节点访问次数归一化成 π; 棋局结束后,把最终胜负从当时待行方视角写回每个状态成为 z。

while (!game.terminal()) {
  encode(game, sample.state);                  1
  mcts.Search(game, network, visits);
  sample.pi = normalize(visits);               2
  action = opening ? sample(sample.pi) : argmax(sample.pi);
  remember(player_to_move, sample);
  game.Apply(action);
}
for (sample : trajectory)
  sample.z = result_from(sample.player);        3

一盘棋结束后,怎样把结果回填给几十个旧状态

自对弈过程中先暂存每一步的输入、π 和“当时待行方”。终局才知道 winner,于是倒回整条轨迹: 若样本当时轮到最终胜方,z=+1;轮到败方,z=−1;和棋或 200 手截断,z=0。 同一盘黑胜棋里,黑走状态和白走状态的 z 会正负交替——这正是当前行棋方视角的意义。

6. Replay Buffer、增广与策略价值损失

Buffer 是固定容量环形队列,样本为 4×225 输入 + 225 维 π + 一个 z。 最终配置保留 20 万状态:60% 按近期指数偏置采样,40% 全局均匀,既跟上新策略又不忘旧局面。

五子棋的难点不是常见开局,而是“对手已经形成三/四连,只剩唯一挡点”的长尾。项目没有去问旧 AI 正确答案,而是重组自己的历史经验:

• Hard-negative mining:对手已有四连,或败局中对手已有三连的状态进入 hard set;每个 batch 约 30% 从中采样。
• 残局做种:约 30% 自对弈从 replay 的必防状态继续,但 π 和 z 仍由新一轮 MCTS/终局自己产生。
• 8 对称:每次随机旋转/镜像,同步变换棋盘与 π。

一条 Sample 占多少内存

Sample 是定长结构:4×225 个输入 float、225 个 π float、1 个 z float,合计 1126 个 float32:

一盘自对弈平均会留下几十个状态,因此累计到万局级时,20 万容量很快装满。 装满后 write_pos 环形覆盖最老样本,内存和文件大小保持不再增长;训练规模继续增加时, 变化的是池中经验的新旧分布,不是文件无限膨胀。

60% 新经验 + 40% 全历史

策略每轮都变,十几小时前冷网产生的数据可能已经过时;若只均匀抽样,大量旧错误会稀释新信号。 SampleIndicesRecency 以 60% 概率按指数年龄抽近期样本(平均 age≈8000),其余 40% 均匀抽全池: 前者让网络跟上当前策略,后者保留旧棋形覆盖,避免只记得最近打法。

buffer.SampleIndicesRecency(batch, rng,
                            /*recent=*/0.6,
                            /*mean_age=*/8000, indices);   1

for (30% batch slots)
  indices[tail] = random(hard_indices);         2

for (sample : batch) {
  symmetry = random(0..7);
  TransformPlanes(state, symmetry);
  TransformPolicy(pi, symmetry);                3
}

7. 并行训练、缓存、断点续训与门禁

最终训练使用 48 个并行自对弈线程(worker),每个持有独立网络副本;同一轮权重固定。 64 分片局面缓存用“行棋方 + 上一手 + 棋盘”作完整键,命中后直接复用策略概率和价值估计,用内存换 CPU。 一次移植审查还发现旧缓存键漏了“上一手”平面,导致同盘不同上一手错误碰撞;修复后旧日志里的 50%–56% 命中率不再当作有效性能成绩。

断点文件(checkpoint)不只有权重:latest.net + latest.opt + latest.state + buffer.bin。 网络/Adam/轮数每轮保存,Replay Buffer 每 10 轮保存,可恢复到最近一次耐久状态; 随机数发生器没有序列化,因此不是逐 bit 复现。训练器之外还有保活脚本(watchdog)与平台期监控器(plateau monitor)判定真正瓶颈。

一轮训练(iteration)的真实顺序

训练器不是“边下边改网络”。同一轮 80 局自对弈必须使用同一份固定权重,否则同一个缓存条目和树价值会在半局中失效。 一轮完整顺序如下:

48 个并行线程为什么每人一份网络

项目底层算子带训练缓存,全局线程池也不适合多个外层游戏并发重入。因此每个自对弈线程都初始化一份 PolicyValueResNet,再从主网络复制权重和 BN 的运行均值/方差,内部 thread_num=1。 外层 48 局并行比“一张网络内部开 48 线程、游戏串行”吞吐更高,也隔离了前向临时状态。

同轮还共享一个 64 分片局面缓存(EvalCache)。不同对局开局常走到相同局面,命中时连网络前向都省掉。 但缓存只能在权重固定期间使用;一轮训练更新后必须整体丢弃。后来审查还发现缓存键必须包含 行棋方 + 上一手位置 + 225 格棋盘,少任何输入平面都会产生“假命中”。

断点文件能恢复什么,不能恢复什么

• latest.net:网络结构、所有权重、BN running mean/variance。
• latest.opt:AdamW 的 step、第一矩、第二矩。
• latest.state:iteration 与 global step。
• buffer.bin:ring buffer 的 size、write_pos 和样本;每 10 轮保存一次。

所以宕机后不会丢模型和优化器,但最多损失 9 轮尚未落盘的经验池新样本;随机数发生器(RNG)状态也未保存, 恢复后不会逐 bit 复现原轨迹。这叫恢复到“最近耐久状态”,不是时间倒流。

为什么还要保存每 5 轮快照

冠军门禁只回答“候选模型能否打赢当前冠军”,并不保证它面对所有外部风格都更好。 训练中真的出现过某代打穿“宗师(MCTS+NN)”、下一代却被“大师(小型神经网络+启发式)”零封的情况。 因此 iter5.net / iter10.net / ... 这些定期快照都被保留,最终用七种对手风格全谱扫分挑综合冠军, 而不是盲信刚训练出的候选模型或单链冠军。

L1–L7 只保留在这张映射表里,方便和原始评测日志对照;正文后续统一用名称。

8. 真实训练曲线:一次完整训练怎样走上正轨

下图是结构化日志里的完整策略损失(policy loss)原始点,黄/粉线是 5/15 轮滑动均值,绿色竖线是当前冠军晋级。 这条曲线不是修饰过的示意图:每一点对应一轮完整训练。早期配方是 40 局 + 80 次优化更新, 后期稳定配方才是 80 局 + 200 次更新;随机初始化时 225 个动作近似均匀,理论交叉熵 ln(225)≈5.42,第一条完训日志是 5.2797。

前期机制修复带来阶梯式下降;后期缓慢逼近平台。模型档案保留 CSV 原始点与拟合 JSON,可自行重画。

为什么训练规模必须是“万局级”

主线不是几百盘速成:iter440 收口时累计33,920盘去重自对弈（含重启实际35,000盘）。 每盘会留下几十个状态,所以 20 万容量的 Replay Buffer 会装满并持续环形覆盖。 关键不是死记一个总盘数,而是理解为什么要不断刷新数据分布:网络变强后会走进旧网络从未见过的新局面, 新局面又必须重新搜索、重新产生 π 和 z。

大网络为什么反而不划算

参数只增到 2.9 倍,吞吐却降到约 1/4.7;而 AlphaZero 还要把前向放进数百次 MCTS 模拟中。 CPU 预算固定时,小网络高频迭代、更多自对弈和更深搜索，比“大网络但一天只进化几代”更划算。

搜索预算存在明显棋力阈值

固定发布冠军、只测最强的宗师对手(MCTS+小型神经网络)、模型执白 20 局, 仅改变每步 MCTS 模拟次数,得到一个非常尖锐的结果:

这不是说“96 永远比 48 强一倍”,而是某些杀法必须搜到足够深才能显现。网页 12/24/48 是交互档, 96/120 是高预算档;正式验收仍用每步 600–800 次模拟。模型权重没变,搜索预算就能让结果从全败跳到全胜。

长期训练怎样避免“凭感觉停机”

自动平台方案把停机条件写成三条硬规则:

1. 连续至少 30 个完整训练轮没有当前冠军晋级;
2. 最近 15 轮策略损失的 5 轮滑动均值不再实质下降,整体斜率接近 0;
3. 同一冻结候选连续 3 个全谱窗口,对基础/防御/进攻/专家/大师/老师/宗师七种对手,黑棋都 10/10、白棋都至少 8/10。

这三条把“模型似乎已经不错”拆成可检查条件:代际不再进步、拟合曲线不再下降、外部对手也稳定过线。 实际主线由用户在 iter440 基于实测收益人工收口:iter415 对 iter360 在48 sims 下23:27、600 sims下25:25;iter440 gate 10:10，policy/value loss 为 2.6492/1.1161，后期下降没有转化成稳定棋力提升。完整理由与逐轮记录见模型仓 training/TRAINING_NOTES.md。

9. 七个真坑:为什么“能运行”离“能学会”很远

1. 动作数量远大于模拟次数:217 个合法点分 100 次模拟,多数边 0 次访问,π 变噪声。候选点剪枝是训练能成立的前提。
2. 终局符号错一层:价值按待行方视角,回传逐层翻转;少翻/多翻一次会把必胜教成必败。
3. 首次访问估计(FPU)过度悲观:早期 Q 接近平坦,访问过的第一条边永久领先,搜索锁死。
4. 假随机考官:均匀评估器再走 MCTS 时并不随机,并列取最大值会固定挑左上;必须直接随机合法手。
5. 批归一化运行统计漏复制:并行线程只有可训练参数,推理均值/方差仍是初始值,所有评估都会漂。
6. 缓存键漏上一手:输入明明包含上一手平面,缓存只看棋盘会把不同输入当成同一状态;浏览器移植的逐值对齐审查才把它揪出来。
7. 只看刚训练出的候选模型:不同代际对手相性剧烈摆动;最终必须冻结快照对七种风格做全谱扫分。

项目当前有 4509 项自动检查,覆盖规则、满盘和棋、编码、上一手 cache key、8 对称、MCTS 必杀与访问分布、严格树预算、崩溃安全 checkpoint、教师策略不控制行为、policy-only 冻结与优化器恢复。真正耗时的不是写类,而是证明每个约定都没暗中反号或退化。

10. 从 AlphaZero 到 AlphaGo Zero

本项目和 AlphaGo Zero 的核心闭环一致:统一策略价值网络 + MCTS + 纯自对弈 + 新旧门禁。 差距主要是工程规模:19 万参数/CPU/15×15 对比数百万到数亿参数/TPU/19×19,以及搜索批处理、异步 actor-learner、树复用、推理服务等基础设施。

相同的是算法闭环,不同的是工程规模

因此本项目不是在硬件规模上“复刻 AlphaGo”,而是把最关键的可验证闭环压进普通 CPU: 搜索改进策略、终局监督价值、网络反哺搜索、门禁控制代际。网页端更进一步,直接读取同一份 C++ 权重, 证明它不是后端接口包装出来的假 demo。

动手与思考