101N0102 ngram C 核心代码解读
输入“/”快速插入内容
🍇101N0102 ngram C 核心代码解读
101N0102 ngram C 核心代码解读
用户5190
用户9737用户81862024年7月23日修改
虽然不知道大家有没有懂ngram，🐧小弟但是经历了不懈的学习总之是懂了。来写一个ngram c代码解读吧。之前很少写代码解读，总感觉容易写成流水账。今天第一次体验一下
写在前面
还是来一个最简单的简介吧：
N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。
每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。
代码整体解读
我们这里要训练的是一个类似花名册的东西，在data/train.txt下。最终的目的是通过给定的n的大小，使用一个{1, 2, 3, 4, 5, 6} - Gram的算法来进行采样生成一个新的名字。
先玩玩再说
整体来看呢，这版c代码会比python代码快很多。如果你体验了python代码和c代码，这俩简直就不是一个速度。。。
编译代码
c写完代码需要编译再执行，简单编译下
代码块
gcc -O3 ngram.c -o ngram -lm
参数解释：
•
-O3: 用O3进行编译期优化
•
-lm：使用数学相关的库
不同的seq_len的结果
编译好之后，就要运行啦。在这里ngram模型接受两个输入:
•
seq_len: 第一个是seq_len。它代表了模型使用几个字节组成一个片段来统计概率。
•
Smoothing: 另一个是smoothing，这代表了一个光滑值。光滑值是，如果某个片段没有出现时。不存在它的频率，这样也无法计算它的概率。无法计算loss，也不会把这种可能性从词表里采样到。
让我们先试试不同seq_len的结果：
能看到在n是4的时候，text的PPL最低。生成的名字也会更符合认知。
不同的smoothing的结果
这里不再展示，smoothing变化时，PPL也会随之变化。代码预设的n = 4，s=0.1得到最低的PPL。
从主函数开始
代码块
// the arity of the n-gram model (1 = unigram, 2 = bigram, 3 = trigram, ...)
int seq_len = 4;
float smoothing = 0.1f;
这里定义了两个最重要的变量seq_len和smoothing，控制模型分片大小和光滑程度的参数。
代码块
// simple argparse, example usage: ./ngram -n 4 -s 0.1
for (int i = 1; i < argc; i+=2) {
if (i + 1 >= argc) { error_usage(); } // must have arg after flag
if (argv[i][0] != '-') { error_usage(); } // must start with dash
if (!(strlen(argv[i]) == 2)) { error_usage(); } // must be -x (one dash, one letter)
if (argv[i][1] == 'n') { seq_len = atoi(argv[i+1]); }
else if (argv[i][1] == 's') { smoothing = atof(argv[i+1]); }
else { error_usage(); }
}