[自然语言处理] 自然语言统计建模与经典技术

636 字

3 分钟

2026-09-29

/

NLP

统计语言模型#

计算句子或词汇序列出现概率的模型

\begin{aligned} P(\omega_1, \omega_2, \ldots, \omega_n) &= P(\omega_1) P(\omega_2|\omega_1) P(\omega_3|\omega_1, \omega_2) \ldots P(\omega_n|\omega_1, \ldots, \omega_{n-1}) \\ &= \prod_{i=1}^{n} P(\omega_i|\omega_1, \ldots, \omega_{i-1}) \end{aligned}

本质全概率公式，计算一个词序列的联合概率。

直接计算 $P(\omega_i|\omega_1, \ldots, \omega_{i-1})$ 非常困难，因此引入马尔可夫假设：一个词的出现只依赖于它前面有限个( $n-1$ 个)词。

n-gram模型：

P(\omega_i|\omega_1, \ldots, \omega_{i-1}) \approx P(\omega_i|\omega_{i-n+1}, \ldots, \omega_{i-1})

常见形式：

当测试集中出现训练集中未出现过的词时，会导致整个句子概率为0：

P(\omega^{\text{unk}}_i|\omega_1, \ldots, \omega_{i-1}) = 0 \Rightarrow P(\omega_1, \ldots, \omega_n) = 0

为了解决这个问题，引入平滑方法，常用的是拉普拉斯平滑：

P(\omega_i^{\text{unk}}|\omega_{i-n+1}, \ldots, \omega_{i-1}) = \frac{C(\omega_{i-n+1}, \ldots, \omega_i^{\text{unk}}) + 1}{C(\omega_{i-n+1}, \ldots, \omega_{i-1}) + |V|}

$|V|$ : 词汇表大小(训练集中所有不同词的数量)
$C(\omega_{i-n+1}, \ldots, \omega_i^{\text{unk}})$ : 训练集中出现过的词序列 $(\omega_{i-n+1}, \ldots, \omega_i^{\text{unk}})$ 的次数，必须是按顺序、连续出现在训练集语料中