一 概率和统计的一些概念
基础 (Basic)
采样 (Sampling)
信息理论 (Information Theory)
模型 (Model)
贝叶斯 (Bayesian)
二 机器学习
线性回归 (Linear Regression)
逻辑回归 (Logistic Regression)
正则化 (Regularization)
非概率 (Non-Probabilistic)
聚类 (Clustering)
降维 (Dimensionality Reduction)
训练 (Training)
三 文本挖掘
基本流程 (Basic Procedure)
图 (Graph)
文档 (Document)
词嵌入 (Word Embedding)
序列标注 (Sequential Labeling)
NLP基本假设 (NLP Basic Hypothesis)
四 自然语言处理
1.基础 (Basic) ,包括NLP常用的几类网络:循环模型、卷积模型和递归模型。(要不要加隐马尔可夫什么的)
2.语言模型 (Language Model) ,包含了编码器-解码器模型(encoder only, encoder-decoder, decoder-only),以及词表征到上下文表征 (Word Representation to Contextual Representation) 这两部分。许多著名模型,比如BERT和XLNet。
3.分布式表征 (Distributed Representation) ,这里包括许多常用的词嵌入方法,包括GloVe和Word2Vec。
4.任务 (Task) ,机器翻译、问答、阅读理解、情绪分析……