分享
Chapter5
输入“/”快速插入内容
Chapter5
用户5190
2024年7月30日修改
1.预训练
[
幻灯片
]
建议阅读：
1.
BERT：用于语言理解的深度双向 Transformer 预训练
2.
上下文词语表征：上下文介绍
3.
图解 BERT、ELMo 等。
4.
Jurafsky 和 Martin 第 11 章（微调和掩蔽语言模型）
作业 4
[
代码
]
[
讲义
]
[
overleaf
]
[
colab 运行脚本
]
2.Post-training (RLHF, SFT, DPO)
[
幻灯片
]
建议阅读：
1.
调整语言模型以遵循指令
2.
扩展指令微调语言模型
3.
AlpacaFarm：一种从人类反馈中学习的方法的模拟框架
4.
骆驼能走多远？探索开放资源上的指令调整状态
5.
直接偏好优化：你的语言模型其实是一个奖励模型
3.Hugging Face Transformers 教程课程
[
colab
]
用户5190用户5190