CNN 卷积神经网络

for (r : 输出的每一行)
  for (c : 输出的每一列) {
    sum = 0;
    for (i : 0..K) for (j : 0..K)                 // 核的每个位置  1
      sum += image[r+i][c+j] * kernel[i][j];      // 小块 · 核 (点积)
    feature_map[r][c] = activate(sum + bias);      // 一个输出像素   2
  }

1. 核在图上滑动,每到一个位置,就把覆盖的小块和核做点积——和一个神经元干的事一模一样,只是只看局部。
2. 加偏置、过激活(第 7 章),得到特征图上的一个像素。同一个核扫遍全图——这就是下一节的“权重共享”。

for (int out_row = 0; out_row < out_height; out_row++)
  for (int out_col = 0; out_col < out_width; out_col++) {
    best_value = -∞;                                      1
    for (int kh = 0; kh < kernel_height_; kh++)
      for (int kw = 0; kw < kernel_width_; kw++)
        best_value = max(best_value, input[channel][row][col]); 2
    output[channel][out_row][out_col] = best_value;      3
  }

1. 先假设这一小块里最好的值还不存在。
2. 扫完整个 2×2 或 3×3 小窗口,只留下最大的那个。
3. 输出层拿到的是“这一小块里最强的响应”。所以池化不是在学新特征,而是在保留最显著的旧特征。

pool_.Forward(relu_output, pooled_output);         1
flattened = FlattenTensor(pooled_output);          2

for (int cls = 0; cls < class_num_; cls++) {
  logits[cls] = fc_bias_[cls];
  for (int dim = 0; dim < flattened_dim_; dim++)
    logits[cls] += fc_weight_[cls][dim] * flattened[dim]; 3
}

1. 先把池化后的特征图准备好。到这一步为止,模型还只是在“看图提特征”。
2. Flatten 把多通道二维特征图摊成一个长向量,方便交给普通线性层。
3. 最后那层线性层把“看见了哪些特征”汇总成每个类别的分数(logits)。这一步和MNIST 的 MLP 输出层在本质上是一回事。

ForwardFeature(image, conv_output, relu_output,
               pooled_output, flattened);                 1
logits = fc(flattened);
probs = Softmax(logits);                                 2
loss += -log(max(probs[label], 1e-12));                 3

grad_logits = probs;
grad_logits[label] -= 1.0;                              4
pool_.Backward(grad_pooled, grad_relu);                 5
conv_.Backward(grad_conv, grad_input, learning_rate);   6
fc_weight_[cls][dim] -= learning_rate * grad_fc_weight[cls][dim]; 7

1. 先做完整前向:卷积、ReLU、池化、Flatten,拿到分类头要吃的特征向量。
2. 分类头把特征向量变成 10 个类别分数,再经 softmax 变成概率。
3. 用正确标签算交叉熵损失。分类头越不相信正确类别,损失越大。
4. softmax + 交叉熵的梯度仍是那条老规律: probs - one-hot(label)。
5. 误差先从分类头传回池化输出,再经池化层把梯度路由回“刚才赢了的那个位置”。
6. 再经过 ReLU 门控回到卷积层,更新卷积核权重。
7. 最后把全连接分类头也一起更新。也就是说,训练时卷积层和最后分类头是整网一起学的。

output = MakeTensor3D(output_channels_, out_height, out_width);
for (int oc = 0; oc < output_channels_; oc++)
  for (int out_row = 0; out_row < out_height; out_row++)
    for (int out_col = 0; out_col < out_width; out_col++) {
      double sum = bias_[oc];                                  1
      int base_row = out_row * stride_, base_col = out_col * stride_;
      for (int ic = 0; ic < input_channels_; ic++)
        for (int kh = 0; kh < kernel_height_; kh++)
          for (int kw = 0; kw < kernel_width_; kw++)
            sum += weight_[oc][ic][kh][kw] *                  2
                   last_input_padded_[ic][base_row + kh][base_col + kw];
      output[oc][out_row][out_col] = sum;                     3
    }

1. 一个输出通道 = 一组卷积核权重 + 一个偏置。你可以把它想成“一个专门找某种花纹的检测器”。
2. 这正是第 2 节那句“小块和核做点积”:对每个输出位置,把覆盖到的局部区域和核逐项相乘再求和。
3. 三层循环扫完整张图,同一组权重在所有位置反复复用。这就是权重共享,也是 CNN 参数少、能适应平移的根源。

conv_.Forward(input, conv_output);                 1
relu_output = conv_output;
ApplyRelu(relu_output);                           2
pool_.Forward(relu_output, pooled_output);       3
flattened = FlattenTensor(pooled_output);        4

for (int cls = 0; cls < class_num_; cls++) {
  logits[cls] = fc_bias_[cls];
  for (int dim = 0; dim < flattened_dim_; dim++)
    logits[cls] += fc_weight_[cls][dim] * flattened[dim];
}                                                 5

1. 先做卷积:拿一组小核在图上滑,把边缘、角点之类的局部花纹提出来。
2. 再过 ReLU(第 7 章),让网络有非线性表达能力。
3. 池化把特征图“缩一缩”,减少后面计算,也让轻微平移更不容易把结果弄乱。
4. 把多通道特征图拉平成一个长向量,准备交给分类头。
5. 最后还是一层全连接:把“看见了哪些局部特征”汇总成 10 类分数。也就是说,CNN 不是不要全连接,而是把它放在最后做决策。