🍈
101N0201 Micrograd Python 核心代码解读

用户5190

用户9737

用户307

2024年10月14日修改

代码仓库地址：https://github.com/EurekaLabsAI/micrograd

今天将和大家一起学习 LLM101n 课程中 Micrograd 部分。micrograd 是Andrej Karpathy 构建的一个轻量级的自动微分引擎，他通过手动实现梯度计算和反向传播来训练简单的神经网络。该项目的主要目标是帮助理解自动微分和神经网络训练的基本原理。​

📌

阅读 Tips：阅读本文需要准备一些高数微积分知识。

1.
引言​

micrograd 项目展示了如何从头开始构建一个简单的自动求导引擎，并使用它来训练一个简单的神经网络。这不仅是对深度学习基础的一个很好的介绍，也是对自动求导机制的深入理解。micrograd 的代码是神经网络训练的核心 - 它使我们能够计算如何更新神经网络的参数，以使其在某些任务上表现更好，例如自回归语言模型中的下一个标记预测。所有现代深度学习库（例如 PyTorch、TensorFlow、JAX 等）都使用完全相同的算法，只是这些库更加优化且功能丰富。下面让我开始一步步开始对代码解读。​

2.
代码目录结构树：​

代码块

micrograd  ​
|-- README.md  ​
|-- micrograd.py​
|-- micrograd_pytorch.py  ​
|-- utils.py​

•
micrograd.py​

自动微分引擎的核心代码，本文重点解读对象

•
utils.py​

工具封装：自定义的随机数生成接口RNG类 和 随机数生成方法 gen_data() gen_data_yinyang()​

🍰

注：utils.py的早期版本使用 gen_data() 函数生成一个极其简单的同心圆数据集，后改用 gen_data_yinyang() 生成一个阴阳图数据集，详细的代码解读见附录

•
micrograd_pytorch.py ​

与micrograd.py的功能相同，但它使用了PyTorch的自动微分引擎。这主要是为了验证和确认代码的正确性，同时也展示了PyTorch实现相同多层感知器（MLP）的一些相似性和差异性。这块代码比较简单，不作过多解读。​

3.
micrograd.py 代码解读​

我们可以将其逻辑结构概括如下：

•
Value 类：用于存储值及其梯度。​

•
Module 类：定义了神经网络模块的基本接口。​

•
Neuron 类：实现单个神经元。​

•
Layer 类：实现神经网络层。​

•
MLP 类：实现多层感知机。​

•
cross_entropy 函数：定义交叉熵损失函数。​

•
eval_split 函数：评估数据集的损失。​

3.1
Value 类​

Value 类是整个自动求导引擎的核心。它存储一个标量值及其梯度，并定义了基本的数学运算。​

3.1.1
构造函数​

代码块

class Value:​
    """ stores a single scalar value and its gradient """​
​
    def __init__(self, data, _children=(), _op=''):​
        self.data = data               # 存储数值​
        self.grad = 0                  # 存储梯度​
        # internal variables used for autograd graph construction​
        self._backward = lambda: None  # 反向传播函数​
        self._prev = set(_children)    # 前驱节点集合​
        self._op = _op                 # 操作类型，用于调试和可视化​

💡

Value类的目的是在自动微分系统中表示计算图中的一个节点。每个节点包含数据、梯度、前驱节点和操作类型。通过这些信息，可以构建计算图，并在需要时进行自动微分和反向传播。​

3.1.2
数学运算​