[模式识别与机器学习] 深度序列模型

1215 字

6 分钟

[模式识别与机器学习] 深度序列模型

2026-06-28

模式识别与机器学习

模式识别

/

机器学习

用于处理语言、语音、视频等序列数据的模型

古典方法：隐马尔可夫模型(HMM)#

有一串看不见的状态在随时间变化（比如今天是晴天还是雨天），每个状态会产生一个可观测的结果（比如地上是干的还是湿的）。HMM就是用来描述这种”隐藏状态 → 可见观测”的序列模型。

常见使用场景：语音识别（音素是隐藏的，音频是观测的）、词性标注（词性是隐藏的，词语是观测的）

三个核心参数#

$\pi$ ：初始状态概率，第一天各状态出现的概率
$A$ ：状态转移矩阵， $A_{ij}$ = 从状态 $i$ 跳到状态 $j$ 的概率
$B$ ：发射矩阵， $B_j(k)$ = 在状态 $j$ 下看到观测 $k$ 的概率

三个经典问题#

评估：给定模型参数，某个观测序列出现的概率有多大？→ 前向算法
解码：给定观测序列，最可能的隐藏状态序列是什么？→ 维特比算法
学习：只有观测序列，怎么估算模型参数？→ Baum-Welch算法

前向算法#

暴力算概率要枚举所有状态路径（ $N^T$ 种组合），前向算法用动态规划把复杂度降到 $O(N^2T)$

定义 $\alpha_t(i)$ = 到第 $t$ 步为止看到前半段观测且当前状态为 $i$ 的概率：

\alpha_1(i) = \pi_i B_i(o_1)

\alpha_{t+1}(j) = \left[ \sum_{i} \alpha_t(i) A_{ij} \right] B_j(o_{t+1})

最后把所有 $\alpha_T(i)$ 加起来就是整个观测序列的概率

维特比算法#

跟前向算法类似，但把”求和”换成”取最大值”——每一步只记住最有可能的那条路径

定义 $\delta_t(i)$ = 到第 $t$ 步为止，以状态 $i$ 结尾的最优路径的概率：

\delta_1(i) = \pi_i B_i(o_1)

\delta_{t}(j) = \max_i \left[ \delta_{t-1}(i) A_{ij} \right] B_j(o_t)

结束时取 $\max_i \delta_T(i)$ ，再回溯得到完整路径

Baum-Welch算法#

没有标注数据时的参数估计方法，属于EM算法的一种：

E步：用当前参数算出每个时刻在各个状态的概率（前向-后向算法）
M步：用这些概率重新估算 $\pi, A, B$

反复迭代直到收敛

第一代：RNN循环神经网络#

每一时刻的输出不仅依赖于当前的输入，还依赖于前一时刻的输出，具有记忆能力

更新隐藏状态#

h_t = \tanh(W_{hh}h_{t-1} + W_{xh}x_t + b_h)

当前时刻的输出#

y_t = \text{Softmax}(W_{hy}h_t + b_y)

$t$ ：当前时刻
$x_t$ ：当前时刻的输入
$h_t$ ：当前时刻的隐藏状态
$y_t$ ：当前时刻的输出
$W_{hh}$ : 给前一时刻隐藏状态用的权重矩阵
$W_{xh}$ : 给当前时刻输入用的权重矩阵
$W_{hy}$ : 给当前时刻输出用的权重矩阵

RNN在推理时每个时刻用的 $W_{hh}$ 、 $W_{xh}$ 、 $W_{hy}$ 都不变

RNN缺点#

梯度消失/爆炸：当序列过长时，前面时刻的输入对后面时刻的输出影响很小，导致梯度消失；或者梯度过大，导致梯度爆炸
长期依赖问题：RNN只能记住短期的依赖关系，无法记住长期的依赖关系
BPTT连乘计算量巨大

第二代：LSTM长短期记忆网络#

在RNN的基础上引入了细胞状态和门控机制，细胞状态贯穿整个链条避免隐式状态的衰减问题

门控机制#

每个门由一个Sigmoid层和一个逐元素乘法组成：

Sigmoid输出0: 完全关闭(遗忘)
Sigmoid输出1: 完全打开(全部保留)
Sigmoid输出0~1: 部分打开(部分保留)

遗忘门#

看上一时刻的隐状态 $h_{t-1}$ 和当前时刻的输入 $x_t$ ，决定保留多少上一时刻的细胞状态 $C_{t-1}$

f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)

输入门#

决定当前时刻的新信息哪些值得存入长期记忆

i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)

候选细胞状态#

用 $\tanh$ 生成一个新的候选细胞状态 $\tilde{C}_t$

\tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)

更新细胞状态#

新的长期记忆 = (遗忘门 x 旧记忆) + (输入门 x 新信息)

C_t = f_t * C_{t-1} + i_t * \tilde{C}_t

输出门#

基于更新后的细胞状态 $C_t$ ，决定当前时刻的隐状态 $h_t$ 是什么

o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)

最终的隐状态输出为 $h_t = o_t * \tanh(C_t)$

缺点#

结构复杂，参数多，训练时间长
无法并行计算，训练速度慢
还是会失忆

第三代：Transformer自注意力机制#

\text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

$Q,K,V$ 都来自同一个输入

$Q$ ：查询，当前输入词要找什么
$K$ : 键，当前输入词有什么可以被别的词查询的标签
$V$ : 值，当前输入词的具体信息
$d_k$ ：键的维度， $\sqrt{d_k}$ 是缩放因子，防止点积过大导致Softmax梯度消失

[模式识别与机器学习] 深度序列模型

https://alkaid114.github.io/posts/ml/deep_sequence/

作者

Alkaid114

发布于

2026-06-28

许可协议

CC BY-NC-SA 4.0

[形式语言与自动机] 泵引理

[模式识别与机器学习] 卷积神经网络

第三代：Transformer自注意力机制