CS224N-CN 共建共学计划（共建中）

飞书用户1672

飞书用户5190

2024年7月30日修改

斯坦福 NLP CS224N NLP 深度学习

官方英文网站：https://web.stanford.edu/class/cs224n/

GIthub仓库：https://github.com/SmartFlowAI/CS224N-CN/blob/main/README.md

1.
注意事项：千万不能抄袭，图片copy需要标注引用来源～​

2.
可认领暂无负责人的任务。点击对应任务的“领取地址”并完成问卷填写即表示完成任务领取​

自然语言处理 (NLP) 是人工智能 (AI) 的重要组成部分，它模拟了人们如何共享信息。近年来，深度学习方法在许多 NLP 任务上取得了非常高的性能。在本课程中，学生将全面了解用于 NLP 的尖端神经网络。​

内容

这门课程是关于什么的？

自然语言处理 (NLP) 或计算语言学是信息时代最重要的技术之一。NLP 的应用无处不在，因为人们几乎用语言交流所有事物：网络搜索、广告、电子邮件、客户服务、语言翻译、虚拟代理、医疗报告、政治等。在 2010 年代，深度学习（或神经网络）方法在许多不同的 NLP 任务中获得了非常高的性能，使用不需要传统任务特定特征工程的单一端到端神经模型。在 2020 年代，通过扩展大型语言模型（例如 ChatGPT），取得了惊人的进一步进展。在本课程中，学生将全面了解 NLP 深度学习的基础知识以及大型语言模型 (LLM) 的最新前沿研究。通过讲座、作业和最终项目，学生将学习使用 Pytorch 框架设计、实施和理解自己的神经网络模型的必要技能。

“拿去吧。CS221 教我算法。CS229 教我数学。CS224N 教我如何编写机器学习模型。” ——Carta 上的一名 CS224N 学生​

先决条件

•
精通 Python​

•

所有课程作业都将以 Python 形式完成（使用NumPy和PyTorch）。如果您需要重温 Python，或者对 NumPy 不太熟悉，您可以参加第一周的 Python 复习课程（在时间表中列出）。如果您有丰富的编程经验，但使用不同的语言（例如 C/C++/Matlab/Java/Javascript），那么您可能会没问题。

•
大学微积分、线性代数（例如 MATH 51、CME 100）​

•
您应该能够轻松地获取（多变量）导数并理解矩阵/向量符号和运算。​

•
基础概率与统计学（如 CS 109 或同等课程）​

•
您应该了解概率、高斯分布、平均值、标准差等的基础知识。​

•
机器学习基础（例如 CS221、CS229、CS230 或 CS124）​

•

我们将制定成本函数，求导数并使用梯度下降进行优化。如果您已经具备基本的机器学习和/或深度学习知识，那么本课程将更容易；但是，即使没有这些知识，也可以参加 CS224n。有很多关于 ML 的介绍，包括网页、书籍和视频形式。一个平易近人的介绍是 Hal Daumé 正在编写的《机器学习课程》。阅读该书的前 5 章将是一个很好的背景知识。了解前 7 章就更好了！

参考文献

以下文章很有用，但都不是必需的。它们都可以在线免费阅读。​

•

Dan Jurafsky 和 James H. Martin。语音和语言处理（2024 年预发行）

•

Jacob Eisenstein。自然语言处理

•

Yoav Goldberg。自然语言处理神经网络模型入门

•

Ian Goodfellow、Yoshua Bengio 和 Aaron Courville。深度学习

•

Delip Rao 和 Brian McMahan。使用 PyTorch 进行自然语言处理（需要斯坦福登录）。

•

Lewis Tunstall、Leandro von Werra 和 Thomas Wolf。使用 Transformers 进行自然语言处理

如果你没有神经网络背景，但仍想参加该课程，你可能会发现以下其中一本书可以为你提供更多背景知识：​

•

Michael A. Nielsen。神经网络和深度学习

•

Eugene Charniak。深度学习简介

日程

日期	任务编号	描述	课程材料	活动	领取问卷	负责人
第一周	CS224N-101	词向量 [幻灯片] [笔记]	建议阅读： 1. 向量空间中词语表征的有效估计（原始 word2vec 论文） 2. 单词和短语的分布式表示及其组合性（负采样论文）	作业 1 [代码] [预览]
		CS224N-102	词向量和语言模型 [幻灯片] [笔记] [代码]	建议阅读： 1. GloVe：用于词语表示的全局向量（原始 GloVe 论文） 2. 利用词嵌入的经验提高分布相似性 3. 无监督词嵌入的评估方法附加阅读材料： 1. 基于 PMI 的词嵌入的潜在变量模型方法 2. 词义的线性代数结构及其在多义词中的应用 3. 关于词向量的维数
		CS224N-103	Python 回顾课程 [幻灯片] [ colab ]
第二周	CS224N-201	反向传播和神经网络基础 [幻灯片] [笔记]	建议阅读： 1. 矩阵微积分笔记 2. 微分学回顾 3. CS231n 关于网络架构的说明 4. CS231n 关于反向传播的笔记 5. 导数、反向传播和矢量化 6. 通过反向传播误差学习表征（Rumelhart 等人的开创性反向传播论文）附加阅读材料： 1. 是的，你应该理解反向传播 2. 从头开始的自然语言处理（基本）	作业 2 [代码] [讲义] [ latex 模板]
		CS224N-202	依存句法分析 [幻灯片] [注释]	建议阅读： 1. 确定性依存关系解析中的增量性 2. 使用神经网络的快速准确的依赖性解析器 3. 依存关系解析 4. 全局规范化基于转换的神经网络 5. 斯坦福普遍依赖关系：跨语言类型学 6. 7. 通用依赖项网站 8. Jurafsky 与 Martin 第 18 章
		CS224N-203	PyTorch 教程课程 [ colab ]
第三周	CS224N-301	循环神经网络 [幻灯片] [笔记（第 5 和第 6 讲）]	建议阅读： 1. N-gram 语言模型（教科书章节） 2. 循环神经网络的不合理有效性（博客文章概述） 3. 序列建模：循环和递归神经网络（第 10.1 和 10.2 节） 4. 论乔姆斯基与统计学习的两种文化 5. 序列建模：循环和递归神经网络（第 10.3、10.5、10.7-10.12 节） 6. 使用梯度下降来学习长期依赖关系非常困难（原始消失梯度论文之一） 7. 关于训练循环神经网络的难度（梯度消失问题的证明） 8. 消失梯度 Jupyter Notebook（前馈网络演示） 9. 理解 LSTM 网络（博客文章概述）
第三周		CS224N-302	序列到序列模型和机器翻译 [幻灯片] [笔记（讲座 5 和 6）]	建议阅读： 1. 统计机器翻译幻灯片，CS224n 2015（讲座 2/3/4） 2. 统计机器翻译（Philipp Koehn 著） 3. BLEU（原文） 4. 使用神经网络进行序列到序列学习（原始 seq2seq NMT 论文） 5. 使用循环神经网络进行序列传导（早期的 seq2seq 语音识别论文） 6. 通过联合学习对齐和翻译进行神经机器翻译（原始 seq2seq+attention 论文） 7. 注意力机制和增强循环神经网络（博客文章概述） 8. 神经机器翻译架构的大规模探索（超参数选择的实用建议） 9. 利用混合词字模型实现开放词汇神经机器翻译 10. 重新审视基于字符的神经机器翻译的容量和压缩	作业 3 [代码] [讲义] [ latex 模板] [ overleaf 链接]
第四周	CS224N-401	最终项目和 LLM 简介 [幻灯片]	建议阅读： 1. 实用方法论（深度学习书籍章节）	项目提案出炉 [讲义] 默认最终项目出炉 [讲义]
第四周		CS224N-402	Transformers (作者：安娜·戈尔迪) [幻灯片] [笔记]	建议阅读：

CS224N-CN 共建共学计划 （共建中）​

CS224N-CN 共建共学计划（共建中）