Alkaid114

[形式语言与自动机] 图灵机

Tue, 07 Jul 2026 19:22:00 GMT

图灵机

定义是一个七元组：

$$ M = (Q, \Sigma, \Gamma, \delta, q_0, B, F) $$

$Q$ 是一个有限的状态集合
$\Sigma$ 是一个有限的输入符号集合
$\Gamma$ 是一个有限的带符号集合，且 $\Sigma \subseteq \Gamma$
$\delta$ 是一个状态转移函数，定义为 $\delta: Q \times \Gamma \to Q \times \Gamma \times {L, R}$
$q_0 \in Q$ 是初始状态
$B \in \Gamma$ 是空白符号，且 $B \notin \Sigma$
$F \subseteq Q$ 是接受状态集合

图灵机有一条无穷长的纸带，上面一个格子能存一个字符，可以当做内存来用了

绘制图灵机

使用形如$a/b \leftarrow$来表示一次状态转移，如果读头当前所在的格子为$a$则读入，并写入符号$b$，然后使读头向左移动一格

图灵机的三种运行结果

接受并停机：到达$q_{f}$/$q_{accept}$/Acc，则判断输入字符串被接受，图灵机停机
拒绝并停机：到达$q_{r}$/$q_{reject}$/Rej，则判断输入字符串被拒绝，图灵机停机
循环：永远运行，不到达任何停机状态，表示不接受输入字符串

技巧

同样可用自定义符号表示结构化信息

示例：解决$a^n b^n c^n$问题

题里会告诉读头的初始位置，此题假设读头初始位置在最左边的第一个字符上

几种情况：
- 此处为$a$，替换为$X$，并向右移动，进入步骤2
- 此处为$X$，说明所有的$a$都已经被替换，进入步骤8
- 此处为$b$或$c$，判断输入字符串被拒绝，图灵机停机
- 此处为字符串边界或空白符$B$，判断输入字符串被接受，图灵机停机
看到$a$或$Y$就继续向右
直到：
- 遇到一个$b$，将其替换为$Y$，并向右移动，进入步骤4
- 遇到一个$c$，判断输入字符串被拒绝，图灵机停机
- 遇到字符串边界或空白符$B$，判断输入字符串被拒绝，图灵机停机
看到$b$或$Z$就继续向右
直到：
- 遇到一个$c$，将其替换为$Z$，并向左移动，进入步骤6
- 遇到一个$a$，判断输入字符串被拒绝，图灵机停机
- 遇到字符串边界或空白符$B$，判断输入字符串被拒绝，图灵机停机
看到$a,b,Y,Z$就继续向左
直到：
- 遇到一个$X$，不修改，向右移动，进入步骤1
- 遇到字符串边界或空白符$B$，说明所有的$a$都已经被替换，进入步骤8
一直向右移动，直到：
- 若遇不到任何$c$或$b$而是到达字符串边界或空白符$B$，则判断输入字符串被接受，图灵机停机
- 若遇到$b$或$c$，则判断输入字符串被拒绝，图灵机停机

[形式语言与自动机] 下推自动机

Tue, 07 Jul 2026 18:36:00 GMT

PDA

有栈用了

定义是一个七元组：

$$ M = (Q, \Sigma, \Gamma, \delta, q_0, Z_0, F) $$

$Q$ 是一个有限的状态集合
$\Sigma$ 是一个有限的输入符号集合
$\Gamma$ 是一个有限的栈符号集合
$\delta$ 是一个状态转移函数，定义为 $\delta: Q \times (\Sigma \cup {\epsilon}) \times \Gamma \to P(Q \times \Gamma^*)$，其中 $P$ 表示幂集
$q_0 \in Q$ 是初始状态
$Z_0 \in \Gamma$ 是初始栈符号
$F \subseteq Q$ 是接受状态集合

绘制PDA

状态转移条件形如$a, b / ab$，表示消费输入符号$a$，且当前栈顶符号为$b$时，然后将$a$压入栈中

$a, b / \epsilon$，表示消费输入符号$a$，且当前栈顶符号为$b$时，然后将栈顶符号$b$弹出
$a, b / b$，表示消费输入符号$a$，且当前栈顶符号为$b$时，不进行任何操作，保持栈顶符号$b$不变
$\epsilon, b / b$，表示不消费任何符号，且当前栈顶符号为$b$时，不进行任何操作，保持栈顶符号$b$不变

PDA的接受方式

终态接受：当输入字符串被完全消费，且PDA处于一个接受状态
空栈接受：当输入字符串被完全消费，且PDA的栈为空(栈底$Z_0$也被弹出)

PDA与DPDA

DPDA是确定性下推自动机，PDA是非确定性下推自动机

相比与PDA，DPDA有以下限制：

对于同一个输入符号，从同一个状态和栈顶符号出发，最多只能有一个转移
如果存在$\epsilon$转移，则不能有任何其他转移(读还是不读输入符号)

DPDA推荐使用终态接受方式，DPDA中终态接受强于空栈接受

一些技巧

由于PDA只能看见栈顶和当前输入，看不到栈中更下方的符号，因此在设计PDA时，可以自定义栈符号来存储一些结构化信息，例如可以将字母表${a,b}$产生的组合$abb$表示为符号$X_{abb}$，这样就可以在一次转移中看到更多的信息，这个方法还可以用来计数，比如用$A_{n}$表示刚刚已经压入了$n$个$a$，而且还可以用来实现条件分支

[形式语言与自动机] 基础知识

Tue, 07 Jul 2026 18:08:00 GMT

字符串

字符串是由有限个符号组成的有限序列。符号来自一个有限的集合，称为字母表（alphabet），通常用希腊字母 $\Sigma$ 表示。

字符串的长度可以是任意非负整数，空串用 $\epsilon$ 表示，长度为零。字符串的长度记作 $|w|$，其中 $w$ 是字符串。

字符串不可以无穷长

闭包

克林闭包

$$ \Sigma^\ast = { \epsilon } \cup \Sigma \cup \Sigma^2 \cup \Sigma^3 \cup ... = \bigcup_{i=0}^{\infty} \Sigma^i $$

注意以下两者的克林闭包并非无穷集合：

$\varnothing^\ast = {\epsilon}$
${\epsilon}^\ast = {\epsilon}$

$\varnothing$代表没有字符串，${\epsilon}$代表只有空串的集合，空串是一个长度为零的字符串，需要区分

正闭包

$$ \Sigma^+ = \Sigma \cup \Sigma^2 \cup \Sigma^3 \cup ... = \bigcup_{i=1}^{\infty} \Sigma^i $$

注意不包含空串了

[形式语言与自动机] 泵引理

Tue, 07 Jul 2026 16:20:00 GMT

泵引理

用于证明一个语言不是正则语言

泵引理指出：对于任何正则语言$L$，存在一个整数$p$（称为泵长度），使得对于任何长度大于或等于$p$的字符串$s \in L$，都可以将$s$分解为三个部分$s = xyz$，满足以下条件：

$|xy| \leq p$，即前两个部分的长度之和不超过$p$
$|y| > 0$，即中间部分$y$的长度大于0
对于所有的非负整数$i$，字符串$xy^iz \in L$，即重复中间部分$y$任意次数后，仍然属于语言$L$
$|s| \ge p$，即字符串$s$的长度大于或等于泵长度$p$

所以利用上述规则，当重复中间部分任意次数后，只要有一个结果不属于语言$L$，就可以证明该语言不是正则语言

例子

证明$L = {0^n1^n | n \geq 0}$不是正则语言

假设$L$是正则语言，则存在泵长度$p$
设输入字符串$s$, $|s| \geq p$，设$s = 0^p1^p$，$|s| = 2p$ 确实大于等于$p$
根据泵引理，$s$可以分解为$s = xyz$，满足$|xy| \leq p$且$|y| > 0$。由于$|xy| \leq p$，所以$x$和$y$只能包含0，因此可以设$x = 0^k, y = 0^m$，则$|xy| = k + m \leq p, |y| = m > 0$，所以$z = 0^{p-k-m}1^p$
根据泵引理，$xy^iz \in L$对于所有的非负整数$i$都应成立。当$i = 0$时，$xy^0z = xz = 0^{p-m}1^p$，其中$m > 0$，所以$p-m < p$，因此$xy^0z \notin L$
不满足泵引理的条件，故$L$不是正则语言

[模式识别与机器学习] 深度序列模型

Sun, 28 Jun 2026 12:42:00 GMT

用于处理语言、语音、视频等序列数据的模型

古典方法：隐马尔可夫模型(HMM)

有一串看不见的状态在随时间变化（比如今天是晴天还是雨天），每个状态会产生一个可观测的结果（比如地上是干的还是湿的）。HMM就是用来描述这种"隐藏状态 → 可见观测"的序列模型。

常见使用场景：语音识别（音素是隐藏的，音频是观测的）、词性标注（词性是隐藏的，词语是观测的）

三个核心参数

$\pi$：初始状态概率，第一天各状态出现的概率
$A$：状态转移矩阵，$A_{ij}$ = 从状态$i$跳到状态$j$的概率
$B$：发射矩阵，$B_j(k)$ = 在状态$j$下看到观测$k$的概率

三个经典问题

评估：给定模型参数，某个观测序列出现的概率有多大？→ 前向算法
解码：给定观测序列，最可能的隐藏状态序列是什么？→ 维特比算法
学习：只有观测序列，怎么估算模型参数？→ Baum-Welch算法

前向算法

暴力算概率要枚举所有状态路径（$N^T$种组合），前向算法用动态规划把复杂度降到$O(N^2T)$

定义 $\alpha_t(i)$ = 到第$t$步为止看到前半段观测且当前状态为$i$的概率：

$$ \alpha_1(i) = \pi_i B_i(o_1) $$

$$ \alpha_{t+1}(j) = \left[ \sum_{i} \alpha_t(i) A_{ij} \right] B_j(o_{t+1}) $$

最后把所有$\alpha_T(i)$加起来就是整个观测序列的概率

维特比算法

跟前向算法类似，但把"求和"换成"取最大值"——每一步只记住最有可能的那条路径

定义 $\delta_t(i)$ = 到第$t$步为止，以状态$i$结尾的最优路径的概率：

$$ \delta_1(i) = \pi_i B_i(o_1) $$

$$ \delta_{t}(j) = \max_i \left[ \delta_{t-1}(i) A_{ij} \right] B_j(o_t) $$

结束时取$\max_i \delta_T(i)$，再回溯得到完整路径

Baum-Welch算法

没有标注数据时的参数估计方法，属于EM算法的一种：

E步：用当前参数算出每个时刻在各个状态的概率（前向-后向算法）
M步：用这些概率重新估算$\pi, A, B$

反复迭代直到收敛

第一代：RNN循环神经网络

每一时刻的输出不仅依赖于当前的输入，还依赖于前一时刻的输出，具有记忆能力

更新隐藏状态

$$ h_t = \tanh(W_{hh}h_{t-1} + W_{xh}x_t + b_h) $$

当前时刻的输出

$$ y_t = \text{Softmax}(W_{hy}h_t + b_y) $$

$t$：当前时刻
$x_t$：当前时刻的输入
$h_t$：当前时刻的隐藏状态
$y_t$：当前时刻的输出
$W_{hh}$: 给前一时刻隐藏状态用的权重矩阵
$W_{xh}$: 给当前时刻输入用的权重矩阵
$W_{hy}$: 给当前时刻输出用的权重矩阵

RNN在推理时每个时刻用的$W_{hh}$、$W_{xh}$、$W_{hy}$都不变

RNN缺点

梯度消失/爆炸：当序列过长时，前面时刻的输入对后面时刻的输出影响很小，导致梯度消失；或者梯度过大，导致梯度爆炸
长期依赖问题：RNN只能记住短期的依赖关系，无法记住长期的依赖关系
BPTT连乘计算量巨大

第二代：LSTM长短期记忆网络

在RNN的基础上引入了细胞状态和门控机制，细胞状态贯穿整个链条避免隐式状态的衰减问题

门控机制

每个门由一个Sigmoid层和一个逐元素乘法组成：

Sigmoid输出0: 完全关闭(遗忘)
Sigmoid输出1: 完全打开(全部保留)
Sigmoid输出0~1: 部分打开(部分保留)

遗忘门

看上一时刻的隐状态$h_{t-1}$和当前时刻的输入$x_t$，决定保留多少上一时刻的细胞状态$C_{t-1}$

$$ f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) $$

输入门

决定当前时刻的新信息哪些值得存入长期记忆

$$ i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) $$

候选细胞状态

用$\tanh$生成一个新的候选细胞状态$\tilde{C}_t$

$$ \tilde{C}t = \tanh(W_C \cdot [h{t-1}, x_t] + b_C) $$

更新细胞状态

新的长期记忆 = (遗忘门 x 旧记忆) + (输入门 x 新信息)

$$ C_t = f_t * C_{t-1} + i_t * \tilde{C}_t $$

输出门

基于更新后的细胞状态$C_t$，决定当前时刻的隐状态$h_t$是什么

$$ o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) $$

最终的隐状态输出为$h_t = o_t * \tanh(C_t)$

缺点

结构复杂，参数多，训练时间长
无法并行计算，训练速度慢
还是会失忆

第三代：Transformer自注意力机制

$$ \text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$

$Q,K,V$都来自同一个输入

$Q$：查询，当前输入词要找什么
$K$: 键，当前输入词有什么可以被别的词查询的标签
$V$: 值，当前输入词的具体信息
$d_k$：键的维度，$\sqrt{d_k}$是缩放因子，防止点积过大导致Softmax梯度消失

[模式识别与机器学习] 卷积神经网络

Sun, 28 Jun 2026 10:54:00 GMT

LeNet-5

使用平均池化，激活函数为Tanh或Sigmoid
7层网络（3卷积 + 2池化 + 1全连接 + 1输出）
局限性：梯度消失问题，网络变深会导致训练困难

AlexNet

使用ReLU激活函数、最大池化和Dropout
8层网络（5卷积 + 3全连接），输入224×224 RGB图像
FC参数量巨大（~60M），后接3个全连接层（4096+4096+1000）

ResNet

特点是跳跃连接，不再让每层直接输出结果，而是输出跟结果的差异（残差学习），解决了深层网络的梯度消失问题

残差块

每个残差块由 Conv → BN → ReLU → Conv → BN → 跳跃连接相加 → ReLU 组成

恒等块(Identity Block)：输入输出尺寸通道相同，直接相加
投影块(Projection Block)：输入输出尺寸或通道不同，通过1×1卷积调整后相加
BasicBlock(ResNet-18/34)：2层3×3卷积，卷积过程尺寸不变
Bottleneck(ResNet-50/101/152)：1×1降维 → 3×3 → 1×1升维，先降后升减少计算量

避免了AlexNet中FC参数过多的问题

VGGNet

整个网络全用3×3卷积核（堆叠两个3×3等同5×5感受野，堆叠三个等同7×7），全部使用2×2最大池化
5个卷积块逐步增加通道数（64→128→256→512→512），后接3个全连接层
缺点：参数量巨大（FC层占大多数）

GoogLeNet (Inception系列)

特点是使用Inception模块，在同一层中使用不同大小的卷积核并行提取多尺度特征，最后拼接

Inception模块(降维版)

4条并行支路均先经过1×1卷积降维，再分别进行不同操作：① 1×1直接输出；② 1×1 + 3×3；③ 1×1 + 5×5；④ 3×3池化 + 1×1。通过padding使各支路输出尺寸相同

使用全局平均池化替代全连接层大幅减少参数量；引入辅助分类器缓解梯度消失

Inception-V2

引入批归一化(BN)，不再使用Dropout

将5×5卷积替换为两个3×3卷积串联，感受野不变但参数量减少
提出BN+Inception的组合，加速收敛并起到正则化效果
辅助分类器也加入了BN

Inception-V3

进一步分解大卷积核，引入非对称卷积和标签平滑

卷积分解：
- 将3×3分解为1×3 + 3×1（非对称卷积），进一步减少参数量
- n×n卷积分解为1×n + n×1，参数量从O(n²)降至O(n)
辅助分类器中加入BN
标签平滑(Label Smoothing)：将硬目标(0/1)替换为平滑分布(如$\epsilon/(K-1)$)，减少过拟合
输入尺寸从224×224调整为299×299

Inception-V4

与残差连接结合的Inception-ResNet，以及纯Inception的V4版本

Inception-ResNet：在Inception模块中引入残差连接(跳跃连接 + 逐元素相加)，解决超深Inception的训练困难
Inception-V4：纯Inception结构（无残差连接），但设计更规整、更深
引入Reduction Block专门控制特征图尺寸缩减

U-Net

编码器-解码器对称结构，编码器负责下采样，解码器负责上采样，架构形似“U”形+跳跃连接

U-Net的跳跃连接是通道拼接，而非ResNet的逐元素相加

DenseNet

每层接受前面所有层的输出作为输入，输出也会传递给后续所有层，形成密集连接

跳跃连接同样是通道拼接，而非ResNet的逐元素相加

ZFNet(ZeilerNet)

2013年ILSVRC冠军，对AlexNet的可视化分析与改进

核心贡献：提出**反卷积(Deconvolution)**方法可视化中间层特征，解释CNN每层学到了什么
与AlexNet结构基本相同，仅调整了超参数：
- Conv1：从11×11步长4改为7×7步长2，保留更多低频信息
- Conv3/4/5：增加卷积核数量
意义：打开了CNN"黑盒"，证明了深层特征更具语义性、对平移和缩放更鲁棒

VGG-VD(Very Deep VGG)

VGG的极深变体（VGG-16/VGG-19），相比原始VGG加深至16~19层

延续VGG风格：全部使用3×3卷积 + 2×2最大池化
通过堆叠更多3×3卷积层增加深度，同时保持感受野不变
参数量集中在全连接层，后接3个全连接层（4096+4096+1000）

空洞卷积(Dilated/Atrous Convolution)

在卷积核元素之间插入空洞（间隔），在不增加参数量的情况下扩大感受野

$$ \text{输出尺寸} = \left\lfloor \frac{\text{输入尺寸} + 2p - d(k-1) - 1}{s} + 1 \right\rfloor $$

$d$：空洞率(dilation rate)，普通卷积$d=1$，$d=2$时感受野等同5×5卷积但仍是3×3的参数
优点：可控制特征图的分辨率（不降采样也能扩大感受野），适合语义分割等密集预测任务
典型应用：DeepLab系列语义分割网络

形变卷积(Deformable Convolution)

卷积核的每个采样点学习一个偏移量(offset)，使卷积核形状自适应目标几何形变

标准卷积在固定网格(如3×3规则网格)上采样；形变卷积在每个位置额外学习$2k^2$个偏移量
偏移量由另一个平行卷积层从输入特征图中学习得到
特点：对目标尺度、姿态、形变更鲁棒，适合物体检测和语义分割

近似恒等映射(Approximate Identity Mapping)

ResNet的核心思想：让堆叠层拟合残差$F(\mathbf{x}) = H(\mathbf{x}) - \mathbf{x}$，而非直接拟合$H(\mathbf{x})$

$$ H(\mathbf{x}) = F(\mathbf{x}) + \mathbf{x} $$

若恒等映射$H(\mathbf{x}) = \mathbf{x}$是最优的，残差块只需将$F(\mathbf{x})$逼近0（比拟合复杂映射更容易）
保证了深层的梯度可以直接通过跳跃连接回传，缓解梯度消失

类激活图(CAM)

通过全局平均池化层的权重，生成类别响应的热力图，定位图像中判别性区域

结构：CNN特征提取 → 全局平均池化 → 全连接(softmax)
对最后一层卷积特征图$\mathbf{f}_k$（第$k$个通道）加权求和：$M_c(x,y) = \sum_k w_k^c \cdot \mathbf{f}_k(x,y)$
$w_k^c$是类别$c$对应第$k$个特征图的权重，热力图高亮区域即为分类依据区域
局限：需修改网络结构（将全连接替换为全局平均池化）

空域注意力(Spatial Attention)

关注"哪里"是重要区域，生成空间维度的注意力权重图

对特征图$\mathbf{X} \in \mathbb{R}^{C \times H \times W}$，通过卷积或池化生成空间权重$\mathbf{M}_s \in \mathbb{R}^{1 \times H \times W}$
每个空间位置$(i,j)$获得一个权重值，表示该位置的重要性
权重与原始特征逐元素相乘：$\mathbf{X}' = \mathbf{X} \odot \mathbf{M}_s$

通道注意力(Channel Attention)

关注"什么"是重要的特征通道，生成通道维度的权重向量

典型代表：SENet(Squeeze-and-Excitation Network)
- Squeeze：全局平均池化将$C \times H \times W$压缩为$C \times 1 \times 1$
- Excitation：通过两个全连接层（降维→升维）学习通道间依赖，经Sigmoid输出0~1权重
- Scale：权重与原始特征图逐通道相乘
每个通道获得一个标量权重，表示该通道的重要性
计算开销小，可嵌入任意网络

CBAM(Convolutional Block Attention Module)

通道注意力 + 空域注意力串联，兼顾"什么"和"哪里"

通道注意力模块：先对特征图进行全局平均池化和全局最大池化，经共享MLP后相加，经Sigmoid得到通道权重
空域注意力模块：沿通道维度进行平均池化和最大池化，拼接后经7×7卷积 + Sigmoid得到空间权重
两模块串联：特征 → 通道注意力 → 空域注意力 → 输出

特点：轻量级即插即用模块，在分类和检测任务上均有效提升性能

ECANet(Efficient Channel Attention Network)

对SENet的改进，用一维卷积替代全连接层，实现更高效的通道注意力

去掉了SENet中的降维操作（全连接），直接通过一维卷积捕捉局部跨通道交互
卷积核大小$k$由通道数$C$自适应决定：$k = \psi(C) = \left|\frac{\log_2 C}{\gamma} + \frac{b}{\gamma}\right|_{\text{odd}}$
特点：参数极少（仅$k$个参数），计算效率高，性能优于SENet

[模式识别与机器学习] 神经网络优化

Sat, 27 Jun 2026 21:29:00 GMT

反向传播算法

在非线性分类器

优化器(不考)

$\eta$ 学习率

GD梯度下降

最普通的优化方法，一次计算所有样本的损失的梯度，更新参数

$$ \theta_t = \theta_{t-1} - \eta \nabla_\theta J(\theta_{t-1}) $$

SGD随机梯度下降

每次只计算随机一个样本的损失的梯度，更新参数

$$ \theta_t = \theta_{t-1} - \eta \nabla_\theta J(\theta_{t-1}; x^{(i)}, y^{(i)}) $$

Mini-batch SGD小批量随机梯度下降

每次随机选择一小批样本，计算损失的梯度，更新参数

$$ \theta_t = \theta_{t-1} - \eta \nabla_\theta J(\theta_{t-1}; x^{(i:i+n)}, y^{(i:i+n)}) $$

Momentum动量法

模拟物理中的动量，更新参数时考虑上一次的更新方向

$$ v_t = \beta v_{t-1} +\nabla_\theta J(\theta_{t-1}) \ \theta_t = \theta_{t-1} - \eta v_t $$

$\beta$ 是动量系数，通常取值在 [0.9, 0.99] 之间

Nesterov加速梯度法

改进自动量法

先在当前位置按上次的动量方向走一点再算梯度

$$ v_t = \beta v_{t-1} +\nabla_\theta J(\theta_{t-1}) \ \theta_{t} = \theta_{t-1} - \eta (\nabla_\theta J(\theta_{t-1})+ \beta v_{t}) $$

Adagrad自适应梯度算法

令$g_{t,i}$为第$i$个参数$\theta_i$在第$t$次迭代的梯度，累计梯度平方和：

$$ G_{t,i} = \sum_{\tau=1}^{t} g_{\tau,i}^2 $$

实际实现是递推相加避免重复计算：$G_{t,i} = G_{t-1,i} + g_{t,i}^2$

则参数更新：

$$ \theta_{t,i} = \theta_{t-1,i} - \frac{\eta}{\sqrt{G_{t-1,i}} + \epsilon} \cdot g_{t,i} $$

$\epsilon$ 是一个小常数，防止除零错误，通常取 $10^{-8}$
$\eta$ 是初始学习率，通常取 $0.01$

缺点：学习率单调递减，最后学不动

RMSProp均方根传播算法

改进自Adagrad，解决学习率单调递减的问题

核心思想是按比例丢弃历史的梯度平方和，且按比例新增梯度平方，限制梯度平方和的增长速度

定义梯度平方和的指数移动平均$r_t$(或$E[g_t^2]$/$v_t$)：

$$ r_t = \rho r_{t-1} + (1 - \rho) g_t^2 $$

$\rho$ 是衰减率，通常取 $0.9$

参数更新：

$$ \theta_{t} = \theta_{t-1} - \frac{\eta}{\sqrt{r_t} + \epsilon} \cdot g_t $$

Adam自适应矩估计算法

结合Momentum和RMSProp

$$ \text{一阶矩} \quad m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t \ \text{二阶矩} \quad v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2 $$

$\beta_1$ 是一阶矩的衰减率，通常取 $0.9$
$\beta_2$ 是二阶矩的衰减率，通常取 $0.999$

$m_t$和$v_t$初始化为0, 训练初期期望值会偏向0导致更新过小，需进行偏差修正：

$$ m_t = \frac{m_t}{1 - \beta_1^t} \ v_t = \frac{v_t}{1 - \beta_2^t} $$

$t$ 是迭代次数
$\beta_1^t$ 和 $\beta_2^t$ 是衰减率的$t$次幂，随着迭代次数增加，趋近于0

参数更新：

$$ \theta_{t} = \theta_{t-1} - \eta \cdot \frac{m_t}{\sqrt{v_t} + \epsilon} $$

AdamW自适应矩估计权重衰减算法

改进自Adam，解决L2正则化在Adam中不生效的问题

在Adam的基础上，参数更新后再进行权重衰减：

$$ \theta_{t} = \theta_{t-1} - \eta \cdot \frac{m_t}{\sqrt{v_t} + \epsilon} - \eta \lambda \theta_{t-1} $$

$\lambda$ 是权重衰减系数，通常取 $[10^{-2}, 10^{-1}]$

激活函数

对数Sigmoid函数

$$ \sigma(x) = \frac{1}{1 + e^{-x}} $$

双曲正切函数

$$ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} = 2\sigma(2x) - 1 $$

ReLU

$$ \text{ReLU}(x) = \max(0, x) $$

[!NOTE] 平滑ReLU（Softplus）： $$ \text{Softplus}(x) = \log(1 + e^x) $$

批归一化(BN)

通过规范化每层输入，解决训练过程中**内部协变量偏移(Internal Covariate Shift)**问题，即前层参数变化导致后层输入分布持续变化的现象。

前向传播

对每个 mini-batch $\mathcal{B} = {\mathbf{x}_1, \dots, \mathbf{x}_m}$，对每个特征维独立进行归一化：

$$ \begin{aligned} \mu_{\mathcal{B}} &= \frac{1}{m} \sum_{i=1}^m \mathbf{x}i \qquad \text{(批均值)} \[1em] \sigma{\mathcal{B}}^2 &= \frac{1}{m} \sum_{i=1}^m (\mathbf{x}i - \mu{\mathcal{B}})^2 \qquad \text{(批方差)} \[1em] \hat{\mathbf{x}}i &= \frac{\mathbf{x}i - \mu{\mathcal{B}}}{\sqrt{\sigma{\mathcal{B}}^2 + \epsilon}} \qquad \text{(归一化)} \[1em] \mathbf{y}_i &= \gamma \hat{\mathbf{x}}_i + \beta \qquad \text{(缩放平移)} \end{aligned} $$

$\gamma$（缩放参数）、$\beta$（平移参数）是可学习参数，恢复网络的表达能力
$\epsilon$ 防止除零，通常取 $10^{-5}$

引入 $\gamma, \beta$ 的原因是：单纯归一化会将数据限制在单位方差、零均值，可能破坏网络的表达能力（如将原本在 Sigmoid 线性区的输入推到饱和区）；通过可学习的 $\gamma, \beta$，网络可以自行决定是否恢复原始分布。

训练与推理的差异

训练时：使用当前 mini-batch 的 $\mu_{\mathcal{B}}, \sigma_{\mathcal{B}}^2$ 进行归一化
推理时：使用训练集上累积的全局均值 $\mu_{\text{run}}$ 和方差 $\sigma_{\text{run}}^2$（指数移动平均）：

$$ \mu_{\text{run}} \leftarrow \alpha \mu_{\text{run}} + (1 - \alpha) \mu_{\mathcal{B}} \ \sigma_{\text{run}}^2 \leftarrow \alpha \sigma_{\text{run}}^2 + (1 - \alpha) \sigma_{\mathcal{B}}^2 $$
- $\alpha$ 为动量系数（通常 $0.9$），推理时固定该统计量

反向传播

BN 层参与梯度计算，链式法则需考虑 $\mu$ 和 $\sigma^2$ 对输入的依赖。现代框架自动处理，梯度通过归一化、$\gamma$、$\beta$ 逐层回传。

放置位置

通常置于线性变换之后、激活函数之前：

$$ \mathbf{z} = \mathbf{W}\mathbf{x} + \mathbf{b} \rightarrow \text{BN}(\mathbf{z}) \rightarrow \sigma(\cdot) $$

因 BN 含有平移参数 $\beta$，线性层中的偏置 $\mathbf{b}$ 可省略。

作用与效果

作用	说明
加速收敛	缓解梯度消失/梯度爆炸，允许使用更大的学习率
减少过拟合	每个 batch 的均值方差存在随机性，带来轻微正则化效果
降低对初始化的依赖	每层输入分布相对稳定，参数初始化不必过于精确
允许更大学习率	输出分布受控，不易发散

局限

小 batch 不友好：batch 过小时统计量不稳定，影响训练质量（替代方案：LayerNorm、GroupNorm）
训练与推理行为不一致：训练依赖 batch 内其他样本，推理使用全局统计量
对序列模型不直接适用：RNN 中不同时间步共享 BN 参数需特殊处理

[模式识别与机器学习] 贝叶斯学习

Fri, 26 Jun 2026 19:37:00 GMT

[!NOTE] $\sigma(z) = \dfrac{1}{1 + e^{-z}} \qquad \text{Sigmoid}$

Logistic回归(以二分类为例)

直接学习$P(\omega_i | \mathbf{x})$

输出的不是类别标签而是一个概率值，表示输入样本属于某个类的概率。使用Sigmoid函数将线性判别函数的输出映射到(0, 1)区间：

$$ \begin{aligned} P(y=1|\mathbf{x}) &= \sigma(\mathbf{w}^T \mathbf{x}) = \dfrac{1}{1 + e^{-\mathbf{w}^T \mathbf{x}}} \ P(y=0|\mathbf{x}) &= 1 - P(y=1|\mathbf{x}) \ &= \dfrac{e^{-\mathbf{w}^T \mathbf{x}}}{1 + e^{-\mathbf{w}^T \mathbf{x}}} \end{aligned} $$

$y$：类别标签，取值为0或1
$\sigma(z)$：Sigmoid函数，将输入映射到(0, 1)区间
$\mathbf{w}$：增广权重向量，包含偏置项

如果概率大于0.5，则预测为正类，否则预测为负类。

Logistic回归的损失函数：

$$ J(\mathbf{w}) = -\log P(y|\mathbf{x}; \mathbf{w}) = -\log \sigma((2y-1)\mathbf{w}^T \mathbf{x}) $$

从输出中选取真实类别对应的概率值，取负对数，为了能够求导，采用one-hot编码表示类别标签：

$$ \mathbf{y} = \begin{bmatrix}y_1 \ y_2\end{bmatrix} = \begin{bmatrix}1 \ 0\end{bmatrix} \text{或} \begin{bmatrix}0 \ 1\end{bmatrix} $$

$$ J(\mathbf{w}) = -\sum_{i=1}^c y_i \log P(y_i|\mathbf{x}; \mathbf{w}) $$

$c$：类别数，对于二分类问题，$c=2$

前面二分类的损失函数就是one-hot的其中一种情况

参数估计和非参数估计

比较方面	参数估计	非参数估计
模型假设	假设数据服从某种分布，参数是未知的	不假设数据服从某种分布
模型复杂度	模型复杂度固定，参数个数有限	模型复杂度随数据量增加而增加，参数个数可能无限
数据需求	需要较少的数据来估计参数	需要大量的数据来估计分布
计算复杂度	计算复杂度较低	计算复杂度较高
泛化能力	可能存在模型偏差，如果假设不成立，泛化能力较差	泛化能力较好，能够适应复杂的数据分布

常见的参数估计方法

极大似然估计(MLE)：通过最大化似然函数来估计参数。
矩估计：通过样本矩来估计参数。
贝叶斯估计：通过先验分布和观测数据来估计参数。

常见的非参数估计方法

核密度估计(KDE)：通过核函数对样本进行平滑，估计概率密度函数。
经验分布函数(EDF)：通过样本的经验分布来估计总体分布。

Parzen窗核密度估计

窗口固定，密集处样本多，稀疏处样本少

先固定窗口宽度$h$，然后对每个样本点$\mathbf{x}_i$，在其周围放置一个核函数$K(\cdot)$，计算所有核函数的平均值作为估计的概率密度函数：

$$ \hat{p}(\mathbf{x}) = \frac{1}{n h} \sum_{i=1}^{n} K\left(\frac{\mathbf{x} - \mathbf{x}_i}{h}\right) $$

$K(\cdot)$：核函数，决定每个样本的贡献值
$h$：窗口宽度，一维就是长度，二维就是正方形的边长，...

K近邻密度估计(KNN)

窗口大小自动变化，稀疏处扩大，密集处缩小

在样本中寻找距离输入样本$\mathbf{x}$最近的$k$个样本点，计算这些样本点覆盖的区域体积$V$，然后估计概率密度函数为：

$$ \hat{p}(\mathbf{x}) = \frac{k}{n V} $$

$V$：「体积」在一维中就是长度，二维中就是面积，三维中就是体积。

[模式识别与机器学习] 贝叶斯决策理论

Fri, 26 Jun 2026 16:35:00 GMT

概率论复习

条件概率：$P(A|B) = \frac{P(AB)}{P(B)}$
联合概率：$P(A \cap B) = P(A|B)P(B) = P(B|A)P(A)$
全概率公式：$P(A) = \sum_{i} P(A|B_i)P(B_i)$
贝叶斯定理：$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

贝叶斯定理

$$ P(A | B) = \frac{P(B | A) P(A)}{P(B)} $$

$P(A)$：先验概率，在看到证据B之前对事件A的初始认知
$P(B|A)$：似然函数，表示假设A成立的条件下，观测到证据B的概率
$P(B)$：证据B的边缘概率，可以通过全概率公式计算得到，表示在所有可能的事件A下，观测到证据B的总概率
$P(A|B)$：后验概率，表示在观察到证据B后，事件A发生的概率

贝叶斯决策理论(不考)

最小错误率(最小平均风险的特殊情况)

哪个后验概率大选哪个：

$$ i = \arg\max_{1\leq j \leq c} P(\omega_j | x) \quad \mathbf{x} \in \omega_i $$

最小平均风险(贝叶斯准则)

有$c$个类别$\omega_1, \omega_2, \ldots, \omega_c$，将属于$\omega_i$的样本判别为$\omega_j$的代价为$\lambda_{ij}$

则将样本$\mathbf{x}$判别为$\omega_j$类的平均风险为：

$$ \gamma_j(\mathbf{x}) = \sum_{i=1}^c \lambda_{ij} P(\omega_i | \mathbf{x}) $$

选择平均风险最小的类别：

哪个平均风险小选哪个

$$ i = \arg\min_{1\leq j \leq c} \gamma_j(\mathbf{x}) \quad \mathbf{x} \in \omega_i $$

当代价为0-1代价函数时，效果跟最小错误率相同

$$ \lambda_{ij} = \begin{cases} 0, & i = j \ 1, & i \neq j \end{cases} $$

Neyman-Pearson准则(代价未知)

无需先验概率

代价未知时可通过NP准则控制到指定的错误率，在限定一类错误率的前提下，最小化另一类错误率

已知要求将属于$\omega_1$的样本判别为$\omega_2$的错误率不超过$\alpha$，即：

$$ P(\text{判为}\omega_2 | \omega_1) \leq \alpha $$

进行似然比检验：

$$ \frac{P(\mathbf{x} | \omega_1)}{P(\mathbf{x} | \omega_2)} \begin{cases} \geq \eta, & \text{判为}\omega_1 \ < \eta, & \text{判为}\omega_2 \end{cases} $$

$\eta$：阈值，控制错误率

通过$\alpha$计算$\eta$：

$$ P(\text{判为}\omega_2 | \omega_1) = P(\frac{P(\mathbf{x} | \omega_1)}{P(\mathbf{x} | \omega_2)} < \eta | \omega_1) = \alpha $$

之后解方程确定分布函数右边的面积等于$\alpha$，即可得到$\eta$的值

极小极大准则(先验概率未知)

最小化最大风险，适用于不确定的代价函数

考虑最坏情况

$$ i = \arg\min_{1\leq j \leq c} \max_{1\leq i \leq c} \lambda_{ij} P(\omega_i | \mathbf{x}) \quad \mathbf{x} \in \omega_i $$

贝叶斯分类器

判别函数

实际工程上后验概率很难算，通常使用判别函数$g_i(\mathbf{x})$来代替后验概率$P(\omega_i | \mathbf{x})$，满足：

$$ g_i(\mathbf{x}) > g_j(\mathbf{x}), \quad \text{当且仅当} P(\omega_i | \mathbf{x}) > P(\omega_j | \mathbf{x}) $$

判别函数是单调的，常见的判别函数有：

线性判别函数：$g_i(\mathbf{x}) = \mathbf{w}i^T \mathbf{x} + w{i0}$，其中$\mathbf{w}i$是权重向量，$w{i0}$是偏置项
二次判别函数：$g_i(\mathbf{x}) = -\frac{1}{2} \mathbf{x}^T \Sigma_i^{-1} \mathbf{x} + \mathbf{w}i^T \mathbf{x} + w{i0}$，其中$\Sigma_i$是协方差矩阵
对数判别函数：$g_i(\mathbf{x}) = \ln P(\omega_i) + \ln P(\mathbf{x} | \omega_i)$，适用于朴素贝叶斯分类器(Naive Bayes Classifier)
距离判别函数：$g_i(\mathbf{x}) = -|\mathbf{x} - \boldsymbol{\mu}_i|^2$，其中$\boldsymbol{\mu}_i$是类别$\omega_i$的均值向量
概率判别函数：$g_i(\mathbf{x}) = P(\omega_i | \mathbf{x})$，直接使用后验概率作为判别函数

$\mu_i$是属于类别$\omega_i$的样本的均值向量

朴素贝叶斯分类器(Naive Bayes Classifier)

先估计 $P(\mathbf{x} | \omega_i)$，再用贝叶斯公式求 $P(\omega_i | \mathbf{x})$

动机：维度灾难

对于 $d$ 维特征向量 $\mathbf{x} = (x_1, x_2, \ldots, x_d)^T$，要直接估计联合条件概率 $P(x_1, x_2, \ldots, x_d | \omega_i)$，参数空间随 $d$ 呈指数级增长：

若每个特征 $x_j$ 为二值变量（取值 ${0, 1}$），$d$ 个特征的联合分布有 $2^d - 1$ 个独立参数需估计
若每个特征 $x_j$ 取 $k$ 个离散值，则需估计 $k^d - 1$ 个独立参数
$d = 10, k = 5$ 时，需约 $5^{10} \approx 10^7$ 个参数——远超实际训练样本数

即使每个特征为二值，$d = 30$ 时已有 $2^{30} \approx 10^9$ 种组合，需要指数级数量的样本才能可靠估计每种组合的概率，这在实际中根本不可能。这就是所谓的维度灾难（the curse of dimensionality）。

核心假设：条件独立性

朴素贝叶斯假设给定类别 $\omega_i$ 时，各特征条件独立：

$$ P(x_1, x_2, \ldots, x_d | \omega_i) = \prod_{j=1}^d P(x_j | \omega_i) $$

举个例子看懂怎么用

先看贝叶斯公式：

$$ P(\omega_i | \mathbf{x}) = \frac{P(\mathbf{x} | \omega_i) P(\omega_i)}{P(\mathbf{x})} $$

假设要做一个垃圾邮件识别器，则类别为 $\omega_1$（垃圾邮件）和 $\omega_2$（非垃圾邮件），特征向量 $\mathbf{x}$ 为邮件中是否包含某些关键词的二值向量，例如：

$$ \mathbf{x} =\left [x_1, x_2, x_3 \right ]^T = (\text{包含“免费”}, \text{包含“中奖”}, \text{包含“优惠”})^T $$

现在有一封邮件，其中包含“免费”和“优惠”，但不包含“中奖”，则 $\mathbf{x} = [1, 0, 1]^T$。

假设同时我们有一批邮件样本数据集，经过统计得到以下数据：

先验概率(垃圾邮件和非垃圾邮件的占比)$P(\omega_1) = 0.4, P(\omega_2) = 0.6$
条件概率(垃圾邮件中出现各个词的占比)$P(x_1=1 | \omega_1) = 0.8, P(x_2=0 | \omega_1) = 0.7, P(x_3=1 | \omega_1) = 0.9$
条件概率(非垃圾邮件中出现各个词的占比)$P(x_1=1 | \omega_2) = 0.2, P(x_2=0 | \omega_2) = 0.3, P(x_3=1 | \omega_2) = 0.1$

现对其进行分类，计算其属于垃圾邮件的后验概率：

$$ P(\omega_1 | \mathbf{x}) = \frac{P(\mathbf{x} | \omega_1) P(\omega_1)}{P(\mathbf{x})} = \frac{P(x_1=1, x_2=0, x_3=1 | \omega_1) P(\omega_1)}{P(\mathbf{x})} $$

因为朴素贝叶斯假设条件独立性，所以：

$$ \begin{aligned} P&(x_1=1, x_2=0, x_3=1 | \omega_1) \ &= P(x_1=1 | \omega_1) P(x_2=0 | \omega_1) P(x_3=1 | \omega_1) \ &= 0.8 \times 0.7 \times 0.9 = 0.504 \end{aligned} $$

则其属于垃圾邮件的后验概率为：

$$ P(\omega_1 | \mathbf{x}) = \frac{0.504 \times 0.4}{P(\mathbf{x})} = \frac{0.2016}{P(\mathbf{x})} $$

同理得到其属于非垃圾邮件的后验概率：

$$ \begin{aligned} P(\omega_2 | \mathbf{x}) &= \frac{P(\mathbf{x} | \omega_2) P(\omega_2)}{P(\mathbf{x})} \[1em] &= \frac{0.2 \times 0.3 \times 0.1 \times 0.6}{P(\mathbf{x})} = \frac{0.0036}{P(\mathbf{x})} \end{aligned} $$

$P(\mathbf{x})$ 不需要计算，因为它是共用的，不影响比大小结果，除非需要计算具体概率：

$$ P(\mathbf{x}) = P(\mathbf{x} | \omega_1) P(\omega_1) + P(\mathbf{x} | \omega_2) P(\omega_2) = 0.2016 + 0.0036 = 0.2052 $$

则：

$$ P(\omega_1 | \mathbf{x}) = \frac{0.2016}{0.2052} \approx 0.9825, \quad P(\omega_2 | \mathbf{x}) = \frac{0.0036}{0.2052} \approx 0.0175 $$

这封邮件属于垃圾邮件的概率为98.25%，属于非垃圾邮件的概率为1.75%，因此可以判定这封邮件是垃圾邮件。

[模式识别与机器学习] 多层感知机

Thu, 25 Jun 2026 19:27:00 GMT

常见的损失函数

均方误差损失函数

$$ J(\theta) = \frac{1}{2m} \sum_{i=1}^m | h_\theta(\mathbf{x}^{(i)}) - \mathbf{y}^{(i)} |^2 $$

$h_\theta(\mathbf{x}^{(i)})$：模型预测值
$\mathbf{y}^{(i)}$：真实值
$m$：样本数量
$\theta$：模型参数

L1范数损失函数

$$ J(\theta) = \frac{1}{m} \sum_{i=1}^m | h_\theta(\mathbf{x}^{(i)}) - \mathbf{y}^{(i)} |_1 $$

交叉熵损失

二分类交叉熵损失函数BCE

定义$z=h_\theta(\mathbf{x})$，$z$是$\mathbf{x}$属于正类的评分

使用sigmoid函数将评分映射到概率空间：

$$ p = \sigma(z) = \frac{1}{1 + e^{-z}} $$

则$P(y=1|\mathbf{x}) = p$，$P(y=0|\mathbf{x}) = 1-p$

所以：

$$ P(y|\mathbf{x}) = \begin{cases} \sigma(z), \quad y = 1 \ 1 - \sigma(z), \quad y = 0 \end{cases} $$

因为$1-\sigma(z) = \sigma(-z)$，所以可以统一表示为：

$$ \begin{aligned} P(y|\mathbf{x}) &= \sigma(zy + (1-y)(-z)) \ &= \sigma((2y-1)z) \end{aligned} $$

则损失函数为：

$$ J(\theta) = -\log P(y|\mathbf{x}) = -\log \sigma((2y-1)z) $$

多分类交叉熵损失函数CE

Softmax函数将评分映射到概率空间：

$$ \begin{aligned} p_i = \dfrac{e^{z_i}}{\sum_{j=1}^c e^{z_j}} \end{aligned} $$

$c$：类别数
$z_i$：样本属于第$i$类的评分

实际上为了数值稳定性，通常使用$\log \text{softmax}$来计算交叉熵损失，即：

$$ J(\theta) = -\log p_y = -\log \frac{e^{z_y}}{\sum_{j=1}^c e^{z_j}} = -z_y + \log \sum_{j=1}^c e^{z_j} \qquad \text{第y类的损失} $$

最大均值差异MMD

通过将样本映射到高维特征空间，计算不同分布的均值差异来衡量分布之间的差异。

$$ \text{MMD}^2(p, q) = \sup_{|f| \leq 1} \left( \mathbb{E}{x \sim p}[f(x)] - \mathbb{E}{y \sim q}[f(y)] \right) $$

$p$：分布$p$的样本
$q$：分布$q$的样本
$f$：在特征空间中的函数，满足$|f| \leq 1$，通常使用核函数来定义特征空间
$\mathbb{E}$：期望操作，表示对样本的平均值
sup：上确界，表示在所有满足条件的函数中取最大的值

[模式识别与机器学习] 非监督学习

Thu, 18 Jun 2026 20:43:00 GMT

分类和聚类

分类

给定样本和类别标签，确定决策函数用于分类，属于监督学习

聚类

只给定样本，根据样本之间的相似性将样本分组，形成簇，属于非监督学习

聚类准则函数

将样本分成$c$个子集$D_1, \cdots, D_c$, $n_i$为第$i$个子集中的样本数，$\mathbf{m_i}$为第$i$个子集的样本均值

$$ \mathbf{m_i} = \frac{1}{n_i} \sum_{\mathbf{x} \in D_i} \mathbf{x} $$

误差平方和准则

$$ J_e = \sum_{i=1}^c \sum_{\mathbf{x} \in D_i} |\mathbf{x} - \mathbf{m_i}|^2 $$

散布矩阵

类内散布矩阵

$$ \mathbf{S_w} = \sum_{i=1}^c \sum_{\mathbf{x} \in D_i} (\mathbf{x} - \mathbf{m_i})(\mathbf{x} - \mathbf{m_i})^T $$

就是误差平方和准则的矩阵形式

反映了各个子集的样本与其均值之间的差异，衡量了各个子集内部的紧密程度

类间散布矩阵

$$ \mathbf{S_B} = \sum_{i=1}^c n_i (\mathbf{m_i} - \mathbf{m})(\mathbf{m_i} - \mathbf{m})^T $$

$\mathbf{m}$为所有样本的均值

反映了各个子集的均值与整体均值之间的差异，衡量了各个子集之间的分离程度

总体散布矩阵

$$ \mathbf{S_T} = \sum_{i=1}^c \sum_{\mathbf{x} \in D_i} (\mathbf{x} - \mathbf{m})(\mathbf{x} - \mathbf{m})^T = S_w + S_B $$

反映了所有样本的分散程度，衡量了所有样本之间的差异

散布准则

基于行列式的散布准则：

$$ J_d = |\mathbf{S_w}| $$

基于不变量的散布准则：

$$ J_f = \text{tr}(\mathbf{S_T^{-1}}\mathbf{S_w}) $$

准则函数的优化

穷举法优化

对于每个样本，尝试将其分配到不同的子集中，计算准则函数的值，选择使准则函数最小的分配方式，NP问题，不现实

迭代最优化

随机设置初始聚类，计算将样本$\mathbf{x}$从子集$D_i$移动到子集$D_j$后的准则函数值是否减小，如果减小则进行移动，直到没有样本可以移动为止

层次聚类

凝聚层次聚类

初始每个样本作为一类，计算距离，合并距离最近的两类，直到达到要求的类数为止

距离

两类最近的样本的距离最小
两类的中心的距离最小
如何定义距离(欧氏距离、曼哈顿距离等)
如何定义类的中心(均值、质心等)

k-均值聚类(K-means)

随机选择$k$个样本作为初始聚类中心
将每个样本分配到距离最近的聚类中心所在的子集中
重新计算每个子集内所有点的均值作为新的聚类中心
重复步骤2和3，直到聚类中心不再发生变化或达到最大迭代次数为止

可看作是对平方误差准则的贪心搜索算法

聚类结果受初始聚类中心的选择影响较大，可能会陷入局部最优解

高斯混合模型(GMM)

一个复杂的概率密度分布函数可以由多个简单的密度函数线性组合而成：

$$ p(\mathbf{x}|\theta) = \sum_{i=1}^M a_i p_i(\mathbf{x}|\theta_i) \qquad \sum_{i=1}^M a_i = 1, a_i \geq 0 $$

最常用的是GMM:

$$ p(\mathbf{x}) = \sum_{i=1}^M a_i N(\mathbf{x};\mathbf{\mu_i}, \mathbf{\Sigma_i}) \qquad \sum_{i=1}^M a_i = 1 $$

$\mu_i$为第$i$个高斯函数的均值（中心位置）
$\Sigma_i$为第$i$个高斯函数的协方差矩阵（控制形状和方向）

GMM能得到每个样本属于每个子集的概率，适用于样本分布不均匀的情况，可用于软聚类，输出属于哪类的可能性，而非硬聚类的类别标签

期望最大化算法(EM)

E-Step求期望

根据先验随机初始化模型参数$\theta = {a_k, \mathbf{\mu_k}, \mathbf{\Sigma_k}}$

用当前参数计算每个样本$\mathbf{x_i}$由每个高斯分量$k$生成的后验概率：

$$ \gamma_{ik} = \frac{a_k N(\mathbf{x_i};\mathbf{\mu_k}, \mathbf{\Sigma_k})}{\sum_{j=1}^M a_j N(\mathbf{x_i};\mathbf{\mu_j}, \mathbf{\Sigma_j})} $$

M-Step求最大化

根据E-Step计算的后验概率，重新估计参数：

$$ \begin{aligned} \text{新权重} \quad a_k &= \frac{1}{N} \sum_{i=1}^N \gamma_{ik} \[1.5em] \text{新均值} \quad \mathbf{\mu_k} &= \frac{\sum_{i=1}^N \gamma_{ik} \mathbf{x_i}}{\sum_{i=1}^N \gamma_{ik}} \[1.5em] \text{新协方差矩阵} \quad \mathbf{\Sigma_k} &= \frac{\sum_{i=1}^N \gamma_{ik} (\mathbf{x_i} - \mathbf{\mu_k})(\mathbf{x_i} - \mathbf{\mu_k})^T}{\sum_{i=1}^N \gamma_{ik}} \end{aligned} $$

得到新参数后重复E-Step和M-Step，直到参数收敛为止

[模式识别与机器学习] 特征提取

Thu, 18 Jun 2026 11:58:00 GMT

特征选择

单变量选择

独立计算每个特征向量的得分，选择得分最高的m个特征

缺点：不能捕捉特征之间的相关性

搜索法

前向选择：从空特征集开始，每次添加一个特征，直到达到预定数量或性能不再提升
后向消除：从全特征集开始，每次删除一个特征，直到达到预定数量或性能不再提升
双向搜索：结合前向选择和后向消除

嵌入式方法

SVM-RFE(递归特征消除)：训练SVM模型，根据权重大小递归地消除特征(得到的支持向量就是重要的特征)
L1正则化(Lasso回归)：通过引入L1正则项，使得一些特征的权重变为零，从而实现特征选择

特征提取(线性方法)

主成分分析(PCA)

别名：离散K-L变换，Hotelling变换

无监督学习，寻找数据中方差最大的方向作为新的特征轴，实现降维。

核心思想

将 $d$ 维数据投影到 $k$ 维子空间 ($k < d$)，使得投影后的数据方差最大化（或重构误差最小化）。

数学推导

给定中心化后的数据矩阵 $\mathbf{X} \in \mathbb{R}^{n \times d}$（每行为一个样本，已减去均值），协方差矩阵为：

$$ \mathbf{\Sigma} = \frac{1}{n} \mathbf{X}^T \mathbf{X} $$

寻找投影方向 $\mathbf{w}$，使得投影后方差最大：

$$ \max_{\mathbf{w}} \mathbf{w}^T \mathbf{\Sigma} \mathbf{w} \quad \text{s.t.} \quad |\mathbf{w}| = 1 $$

由拉格朗日乘子法得 $\mathbf{\Sigma} \mathbf{w} = \lambda \mathbf{w}$，即 $\mathbf{w}$ 为 $\mathbf{\Sigma}$ 的特征向量，$\lambda$ 为对应特征值。

算法步骤

对数据中心化：$\mathbf{x}_i \leftarrow \mathbf{x}_i - \bar{\mathbf{x}}$
计算协方差矩阵 $\mathbf{\Sigma}$
对 $\mathbf{\Sigma}$ 进行特征值分解，得到特征值 $\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_d$ 及对应特征向量
取前 $k$ 个最大特征值对应的特征向量构成投影矩阵 $\mathbf{W} \in \mathbb{R}^{d \times k}$
得到降维后数据：$\mathbf{Z} = \mathbf{X} \mathbf{W}$

方差解释率

第 $i$ 个主成分的方差解释率为 $\lambda_i / \sum_{j=1}^d \lambda_j$，前 $k$ 个主成分的累积方差解释率为 $\sum_{i=1}^k \lambda_i / \sum_{j=1}^d \lambda_j$，常以此选择 $k$。

SVD 实现

实际中通过对 $\mathbf{X}$ 进行 SVD 分解 $\mathbf{X} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ 实现，$\mathbf{V}$ 的列即为主成分方向，计算更稳定。

性质与局限

无监督，不使用标签信息
假设数据分布为高斯分布
对离群点敏感
仅能捕获线性结构
主成分方向通常是不可解释的（每个主成分是所有原始特征的线性组合）

线性判别分析(LDA/FDA)

别名：Fisher判别分析(FDA)

有监督学习，寻找能够最大化类间散度与最小化类内散度的线性组合，以保留类别可分性。

核心思想

与 PCA 最大化整体方差不同，LDA 利用标签信息，找到使类间距离最大、类内距离最小的投影方向。

散度矩阵

给定 $c$ 类数据，第 $i$ 类样本集 $D_i$，样本数 $n_i$，均值 $\mathbf{m}_i$，全局均值 $\mathbf{m}$：

类内散度矩阵（反映类内紧密程度）：

$$ \mathbf{S}w = \sum{i=1}^c \sum_{\mathbf{x} \in D_i} (\mathbf{x} - \mathbf{m}_i)(\mathbf{x} - \mathbf{m}_i)^T $$
类间散度矩阵（反映类间分离程度）：

$$ \mathbf{S}b = \sum{i=1}^c n_i (\mathbf{m}_i - \mathbf{m})(\mathbf{m}_i - \mathbf{m})^T $$
总体散度矩阵：$\mathbf{S}_t = \mathbf{S}_w + \mathbf{S}_b$

Fisher 准则

寻找投影方向 $\mathbf{w}$，最大化 Fisher 准则：

$$ J(\mathbf{w}) = \frac{\mathbf{w}^T \mathbf{S}_b \mathbf{w}}{\mathbf{w}^T \mathbf{S}_w \mathbf{w}} $$

等价于求解广义特征值问题：

$$ \mathbf{S}_b \mathbf{w} = \lambda \mathbf{S}_w \mathbf{w} $$

投影方向 $\mathbf{w}$ 为 $\mathbf{S}_w^{-1} \mathbf{S}_b$ 的最大特征值对应的特征向量。

算法步骤

计算每类均值 $\mathbf{m}_i$ 和全局均值 $\mathbf{m}$
计算 $\mathbf{S}_w$ 和 $\mathbf{S}_b$
求解 $\mathbf{S}_w^{-1} \mathbf{S}_b$ 的特征值问题
取前 $k$ 个最大特征值对应的特征向量构成投影矩阵 $\mathbf{W}$
得到降维后数据：$\mathbf{Z} = \mathbf{X} \mathbf{W}$

降维上限

$\mathbf{S}_b$ 的秩最多为 $c-1$，因此 LDA 最多将数据降至 $c-1$ 维，与原始维度无关。

局限

小样本问题：样本数小于特征数时 $\mathbf{S}_w$ 奇异，不可逆
假设各类的协方差矩阵相同（类内分布相同）
对非高斯分布数据效果较差
降维维度受类别数限制

PCA vs LDA

特性	PCA	LDA
监督性	无监督	有监督
目标	最大化方差	最大化类间/类内散度比
利用标签	否	是
降维上限	$d$	$c-1$
适用场景	数据压缩、可视化	分类预处理、特征提取

特征提取(非线性方法)

流形学习

假设数据在低维流形上分布，寻找一个映射将数据从高维空间映射到低维空间，同时保持局部结构

核特征提取

通过核函数将数据映射到高维特征空间，在高维空间中进行PCA

[模式识别与机器学习] 非线性分类器

Wed, 17 Jun 2026 17:33:00 GMT

距离函数

欧氏距离

$$ d(\mathbf{x}, \mathbf{y}) = \sqrt{\sum_{i=1}^n (x_i - y_i)^2} $$

曼哈顿距离

$$ d(\mathbf{x}, \mathbf{y}) = \sum_{i=1}^n |x_i - y_i| $$

明氏距离

$$ d(\mathbf{x}, \mathbf{y}) = \left( \sum_{i=1}^n |x_i - y_i|^p \right)^{1/p} $$

马氏距离

$$ d(\mathbf{x}, \mathbf{y}) = \sqrt{(\mathbf{x} - \mathbf{y})^T \mathbf{\Sigma}^{-1} (\mathbf{x} - \mathbf{y})} $$

$\mathbf{\Sigma}$：协方差矩阵，反映数据的分布和相关性
$\mathbf{\Sigma}=\mathbf{I}$ 时，马氏距离退化为欧氏距离
Cholesky分解：$\mathbf{\Sigma} = \mathbf{L}\mathbf{L}^T$，$\mathbf{L}^{-1}\mathbf{x}$ 的欧氏距离等价于 $\mathbf{x}$ 的马氏距离

海明距离

$$ d(\mathbf{x}, \mathbf{y}) = \sum_{i=1}^n \delta(x_i, y_i) $$

其中 $\delta(x_i, y_i)$ 是一个指示函数，当 $x_i \neq y_i$ 时为 1，否则为 0。

角度相似函数

$$ d(\mathbf{x}, \mathbf{y}) = \frac{\mathbf{x}^T\mathbf{y}}{|\mathbf{x}| |\mathbf{y}|} $$

多层感知机(MLP)

反向传播算法

设输入层有 $n$ 个神经元，隐藏层有 $h$ 个神经元，输出层有 $m$ 个神经元。

我们需要得到第$i$层的梯度$\frac{\partial J}{\partial \mathbf{W}^{(i)}}$，其中 $J$ 是损失，$\mathbf{W}^{(i)}$ 是第$i$层的权重。

根据链式法则：

$$ \frac{\partial J}{\partial \mathbf{W}^{(i)}} = \frac{\partial J}{\partial \mathbf{z}^{(i)}} \cdot \frac{\partial \mathbf{z}^{(i)}}{\partial \mathbf{W}^{(i)}} $$

$\mathbf{z}^{(i)}$ 是第$i$层的线性输出，$\mathbf{z}^{(i)} = \mathbf{W}^{(i)} \mathbf{a}^{(i-1)} + \mathbf{b}^{(i)}$，其中 $\mathbf{a}^{(i-1)}$ 是第$i-1$层的激活输出（也是第$i$层的输入）。

所以：

$$ \frac{\partial \mathbf{z}^{(i)}}{\partial \mathbf{W}^{(i)}} = \mathbf{a}^{(i-1)} $$

则：

$$ \frac{\partial J}{\partial \mathbf{W}^{(i)}} = \frac{\partial J}{\partial \mathbf{z}^{(i)}} \cdot \mathbf{a}^{(i-1)} $$

$\dfrac{\partial J}{\partial \mathbf{z}^{(i)}}$被称作第$i$层的局部误差

若$i$是最后一层时，则$\frac{\partial J}{\partial \mathbf{z}^{(i)}}$ 可以直接计算；若$i$不是最后一层，则从最后一层开始，逐层向前计算$\frac{\partial J}{\partial \mathbf{z}^{(i)}}$，直到计算到第$i$层。

$$ \begin{aligned} \frac{\partial J}{\partial \mathbf{z}^{(i-1)}} &= \frac{\partial J}{\partial \mathbf{z}^{(i)}} \cdot \frac{\partial \mathbf{z}^{(i)}}{\partial \mathbf{a}^{(i-1)}} \cdot \frac{\partial \mathbf{a}^{(i-1)}}{\partial \mathbf{z}^{(i-1)}} \ &= (\mathbf{W}^{(i)})^T \cdot \frac{\partial J}{\partial \mathbf{z}^{(i)}} \cdot \sigma'(\mathbf{z}^{(i-1)}) \end{aligned} $$

[!TIP] $\dfrac{\partial \mathbf{a}^{(i-1)}}{\partial \mathbf{z}^{(i-1)}}$就是激活函数的导数

$z^{(i)} = W^{(i)} a^{(i-1)} + b^{(i)}$，所以$\dfrac{\partial \mathbf{z}^{(i)}}{\partial \mathbf{a}^{(i-1)}} = W^{(i)}$

决策树

一直问"是A还是B"来缩小范围，叶节点就是答案。

信息增益(ID3)

选让分完后数据最不混乱的那个特征来分类

熵衡量混乱程度（详见特征提取），数据集 $D$ 的熵：

$$ H(D) = -\sum_{k} p_k \log_2 p_k $$

$p_k$ 是第 $k$ 类占的比例。熵越大越乱，全是同一类时熵=0。

按特征 $A$ 的每个取值 $v$ 把数据分成若干子集 $D^v$，各子集的熵加权平均就是条件熵：

$$ H(D|A) = \sum_{v} \frac{|D^v|}{|D|} H(D^v) $$

$|D|$：总样本数
$|D^v|$：特征 $A=v$ 的样本子集的样本数
$\dfrac{|D^v|}{|D|}$：$A=v$ 的样本占全部的比重
$H(D^v)$：样本子集自己的熵

信息增益 = 划分前熵 - 划分后熵，越大说明这个特征分得越好：

$$ \text{Gain}(D, A) = H(D) - H(D|A) $$

增益率(C4.5)

ID3的缺点：过于偏好取值多的特征（比如"编号/ID"这种每个样本值都不同，增益直接拉满但不泛化）。C4.5引入固有值来惩罚取值多的特征，增益除以它进行校正：

$$ \text{IV}(A) = -\sum_{v} \frac{|D^v|}{|D|} \log_2 \frac{|D^v|}{|D|} \[1em] \text{GainRatio}(D, A) = \frac{\text{Gain}(D, A)}{\text{IV}(A)} $$

基尼指数(CART)

CART用基尼值代替熵$H(D)$，计算更简单：

$$ \text{Gini}(D) = 1 - \sum_k p_k^2 \[1em] \text{Gini}{(D|A)} = \sum_v \frac{|D^v|}{|D|} \text{Gini}(D^v) $$

纯的类基尼=0（全是同一类），最乱时接近0.5。

核方法

根据线性分类器的判别函数(非增广形式)：

$$ g(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + w_0 $$

又根据感知器算法和SVM算法的权重更新规则：

$$ w_0 \leftarrow w_0 + \eta y_i $$

$$ \mathbf{w} \leftarrow \mathbf{w} + \eta y_i \mathbf{x}_i $$

可以发现最优解$\mathbf{w}$和$w_0$可以表示为训练样本的线性组合：

$$ \mathbf{w} = \sum_{i=1}^N \alpha_i \mathbf{x}_i $$

SVM时大多数$\alpha_i=0$，只有支持向量对应的$\alpha_i$非零

将$\mathbf{w}$代入判别函数：

$$ \begin{aligned} g(\mathbf{x}) &= \left (\sum_{i=1}^N \alpha_i \mathbf{x}i \right )^T \mathbf{x} + w_0 \[1em] &= \sum{i=1}^N \alpha_i(\mathbf{x}^T \mathbf{x}_i) + w_0 \end{aligned} $$

因此只要得到训练样本之间的内积$\mathbf{x}^T \mathbf{x}_i$，就可以计算判别函数的值。

为了处理非线性可分问题，可以将输入空间映射到一个高维特征空间：

$$ \phi: \mathbb{R}^n \rightarrow \mathbb{R}^m $$

但是这个映射的计算非常昂贵。核方法的核心思想是引入一个核函数$K(\mathbf{x}, \mathbf{y})$，直接计算输入空间中的内积在特征空间中的值：

$$ K(\mathbf{x}, \mathbf{y}) = \phi(\mathbf{x})^T \phi(\mathbf{y}) $$

常用的核函数包括：

线性核：$K(\mathbf{x}, \mathbf{y}) = \mathbf{x}^T \mathbf{y}$
多项式核(Polynomial Kernel)：$K(\mathbf{x}, \mathbf{y}) = (\mathbf{x}^T \mathbf{y} + c)^d$
径向基函数核(Gaussian RBF)：$K(\mathbf{x}, \mathbf{y}) = \exp(-\gamma |\mathbf{x} - \mathbf{y}|^2)$
Sigmoid核：$K(\mathbf{x}, \mathbf{y}) = \tanh(\kappa \mathbf{x}^T \mathbf{y} + c)$
Inverse Multiquadratic核：$K(\mathbf{x}, \mathbf{y}) = \frac{1}{\sqrt{|\mathbf{x} - \mathbf{y}|^2 + c^2}}$

[!TIP] $\tanh(x) = \dfrac{e^x - e^{-x}}{e^x + e^{-x}}$

当输入较大时，输出接近1；当输入较小时，输出接近-1

使用核函数后，判别函数可以表示为：

$$ g(\mathbf{x}) = \sum_{i=1}^N \alpha_i K(\mathbf{x}, \mathbf{x}_i) + w_0 $$

基于核方法的Logistic回归

$$ \begin{aligned} P(G=k|\mathbf{x}) &= \frac{\exp(\beta_{k0} + \sum_{i=1}^N \alpha_{ki} K(\mathbf{x}i, \mathbf{x}))}{1 + \sum{l=1}^{K-1} \exp(\beta_{l0} + \sum_{i=1}^N \alpha_{li} K(\mathbf{x}i, \mathbf{x}))} \[1em] P(G=K|\mathbf{x}) &= \frac{1}{1 + \sum{l=1}^{K-1} \exp(\beta_{l0} + \sum_{i=1}^N \alpha_{li} K(\mathbf{x}_i, \mathbf{x}))} \end{aligned} $$

[计算机视觉] 斑点检测

Sat, 06 Jun 2026 11:15:00 GMT

高斯拉普拉斯算子(LoG Laplacian of Gaussian)

核心思想：先用高斯模糊去除噪声，再用拉普拉斯算子计算二阶导数

$$ \text{LoG}(x, y) = \nabla^2 (G_{\sigma}(x, y) * I(x, y)) $$

整个算子可以表示成一个卷积核：

$$ \text{LoG}(x, y) = \frac{1}{\pi \sigma^4} \left(1 - \frac{x^2 + y^2}{2\sigma^2}\right) e^{-\frac{x^2 + y^2}{2\sigma^2}} $$

当这个卷积核与图像卷积时，输出结果为绝对值较大的点即为斑点

尺度归一化

因为斑点的大小不确定，所以需要对不同尺度的斑点进行归一化处理，通过数学推导发现：

$$ \nabla^2 G \propto \frac{1}{\sigma^2} $$

所以在计算斑点响应时需要乘以$\sigma^2$来进行尺度归一化：

$$ \text{LoG}(x, y) = \sigma^2 \nabla^2 (G_{\sigma}(x, y) * I(x, y)) $$

DoG差分高斯算子(Difference of Gaussian)

LoG计算压力较大，所以可以用两个不同$\sigma$的高斯模糊图像相减来近似LoG：

$$ \text{DoG}(x, y) = G_{\sigma_1}(x, y) * I(x, y) - G_{\sigma_2}(x, y) * I(x, y) $$

SIFT算法就用的这个

[计算机视觉] Harris哈里斯角点检测

Sat, 06 Jun 2026 10:36:00 GMT

基本思想

想象一个小窗口在图像上滑动，可以分为三种情况：

窗口在大面积像素值相近的平坦区域：无论怎么移动，窗口内的像素值变化都很小
窗口在平直边缘上：沿着边缘方向移动，像素值变化很小；垂直于边缘方向移动，像素值变化很大
窗口在角点上：无论怎么移动，窗口内的像素值变化都很大

所以我们只要找到无论怎么移动窗口，像素值变化都很大的点，也就是像素值变化量的最小值大于一个阈值的点，就可以认为它是一个角点

推导

假设窗口每次移动$(u, v)$，窗口内像素值的变化可以用平方差之和来表示为：

$$ E(u, v) = \sum_{x, y} [I(x + u, y + v) - I(x, y)]^2 $$

$I(x, y)$：图像在点$(x, y)$的像素值，后续简写为$I_x$和$I_y$

因为$u$和$v$很小，所以可以使用泰勒展开来近似$I(x + u, y + v)$：

$$ \begin{aligned} I(x + u, y + v) &\approx I(x, y) + I_x \cdot u + I_y \cdot v \[1em] &= I(x, y) + \begin{bmatrix}I_x & I_y\end{bmatrix} \begin{bmatrix}u \ v\end{bmatrix} \end{aligned} $$

$I_x$和$I_y$：图像在点$(x, y)$的水平和垂直方向的梯度

所以：

$$ \begin{aligned} E(u, v) &\approx \sum_{x, y} \left (\begin{bmatrix}I_x & I_y\end{bmatrix} \begin{bmatrix}u \ v\end{bmatrix}\right )^2 \[1em] &= \sum_{x, y} \left(\begin{bmatrix}I_x & I_y\end{bmatrix} \begin{bmatrix}u \ v\end{bmatrix} \right )^T \left(\begin{bmatrix}I_x & I_y\end{bmatrix} \begin{bmatrix}u \ v\end{bmatrix} \right ) \[1em] &= \sum_{x, y} \begin{bmatrix}u & v\end{bmatrix} \begin{bmatrix}I_x^2 & I_x I_y \ I_x I_y & I_y^2\end{bmatrix} \begin{bmatrix}u \ v\end{bmatrix} \[1em] \end{aligned} $$

给中间矩阵取个名字：

$$ H = \begin{bmatrix}I_x^2 & I_x I_y \ I_x I_y & I_y^2\end{bmatrix} $$

为了防止解出$u=v=0$的平凡解，所以设置约束$\Vert \mathbf{d}\Vert^2 = u^2 + v^2 = 1$，所以就转化为求解如下问题：

$$ \underset{\Vert \mathbf{d} \Vert^2 = 1}{\text{min}} \quad \mathbf{d}^T H \mathbf{d} $$

构造拉格朗日函数

$$ \begin{aligned} \mathcal{L}(\mathbf{d}, \lambda) &= \mathbf{d}^T H \mathbf{d} - \lambda (\mathbf{d}^T \mathbf{d} - 1) \[1em] &= u^2 H_{11} + 2 u v H_{12} + v^2 H_{22} - \lambda (u^2 + v^2 - 1) \end{aligned} $$

对$u$求导并设置为零：

$$ \begin{aligned} \frac{\partial \mathcal{L}}{\partial u} = 2 u H_{11} + 2 v H_{12} - 2 \lambda u &= 0 \[1em] u H_{11} + v H_{12} &= \lambda u \end{aligned} $$

对$v$求导并设置为零：

$$ \begin{aligned} \frac{\partial \mathcal{L}}{\partial v} = 2 u H_{12} + 2 v H_{22} - 2 \lambda v &= 0 \[1em] u H_{12} + v H_{22} &= \lambda v \end{aligned} $$

得到方程组：

$$ \begin{cases} u H_{11} + v H_{12} = \lambda u \ u H_{12} + v H_{22} = \lambda v \end{cases} $$

可以写成矩阵形式：

$$ \begin{aligned} \begin{bmatrix} H_{11} & H_{12} \ H_{12} & H_{22} \end{bmatrix} \begin{bmatrix}u \ v\end{bmatrix} &= \lambda \begin{bmatrix}u \ v\end{bmatrix} \[1em] H \mathbf{d} &= \lambda \mathbf{d} \end{aligned} $$

后续步骤跟单应矩阵那块类似，先同左乘$d^T$，得到：

$$ \mathbf{d}^T H \mathbf{d} = \lambda \mathbf{d}^T \mathbf{d} = \lambda \qquad (\text{约束}\Vert \mathbf{d} \Vert^2 = 1) $$

所以最小化$\mathbf{d}^T H \mathbf{d}$等价于最小化$\lambda$，如果这个最小特征值大于一个阈值，就认为这个点是一个角点，但是这种方法需要计算特征值，比较麻烦，所以Harris提出了一个角点响应函数来避免计算特征值

角点响应函数

$$ R = \text{det}(H) - k \cdot \text{trace}(H)^2 $$

$\lambda_1,\lambda_2$：$H$的两个特征值
$\text{det}(H) = \lambda_1 \lambda_2$：特征值的乘积，表示窗口内像素值变化的程度
$\text{trace}(H) = \lambda_1 + \lambda_2$：特征值的和，表示窗口内像素值变化的总量
$k$：经验参数，通常取0.04到0.06之间

当处于角点，$\lambda_1$和$\lambda_2$都较大且相当，此时乘积会远大于和的平方，所以$R$为很大的正值；当处于边缘，$\lambda_1$和$\lambda_2$其中一个较大的另一个较小，此时乘积会小于和的平方，所以$R$为很小的负值；当平坦区域，$\lambda_1$和$\lambda_2$其中一个较大另一个较小，此时乘积和和的平方相差不大，所以$R$会接近于零

$$ \begin{cases} R \gg 0 & \text{角点} \ R \ll 0 & \text{边缘} \ R \approx 0 & \text{平坦区域} \end{cases} $$

[计算机视觉] 霍夫变换

Sat, 06 Jun 2026 10:03:00 GMT

霍夫变换是一种「投票」方法，记录每条可能线上每个边缘点的投票，寻找投票数最多的线段，用于实现线段检测、圆形检测等

对线的参数化

常见的直线表示方式：

$$ \begin{aligned} y = kx + b \quad \text{(斜率-截距形式)} \ Ax + By + C = 0 \quad \text{(一般式)} \ \frac{x}{a} + \frac{y}{b} = 1 \quad \text{(截距式)} \end{aligned} $$

但它们都存在问题：

斜率-截距形式在垂直线时斜率趋于无穷大，无法表示垂直线
一般式存在无穷多解，无法唯一确定一条线
截距式在垂直线时截距趋于无穷大，无法表示垂直线

所以霍夫变换使用极坐标形式(法线式)：

$$ x \cos\theta + y \sin\theta = \rho $$

参数空间

霍夫变换使用了参数空间的概念，平常我们用(x, y)来表示图像空间中的点，而在霍夫变换中，我们用(θ, ρ)来表示参数空间中的点，因此参数空间中的每个点(θ, ρ)都对应图像空间中的一条线段，而图像空间中的每个点(x, y)都对应参数空间中的一条曲线(正余弦波)

当图像空间中有两个点时，它们在参数空间中对应的曲线会相交于一个点(θ, ρ)，这个点就代表了图像空间中通过这两个点的线段的参数，因此我们可以通过统计参数空间中每个点(θ, ρ)的投票数，来找到图像空间中出现频率最高的线段，而那个线段就是图像中最可能存在的线段

写程序时通常以1度为步长在[0, 180)范围内枚举θ，计算对应的ρ

霍夫圆变换

对于圆的参数化，使用圆心坐标和半径：

$$ (x - a)^2 + (y - b)^2 = r^2 $$

然后会发现圆方程在两个空间内是对应的：

$$ (a - x)^2 + (b - y)^2 = r^2 $$

调换一下位置即得到了参数空间内的形式(会发现r的大小是固定的，所以不用参与到参数空间内)，所以图像空间中的一个点在参数空间中对应一个圆，图像空间中的三个点在参数空间中就对应三个圆，这三个圆的交点就是图像空间中通过这三个点的圆的参数，因此我们可以通过统计参数空间中每个点(a, b)的投票数，来找到图像空间中出现频率最高的圆，而那个圆就是图像中最可能存在的圆

但如果$r$未知，则需要在参数空间中增加一个维度来枚举$r$，这样就会增加计算复杂度，所以通常会使用霍夫梯度法

霍夫梯度法检测圆形

这个反而更好理解，因为都没参数空间什么事了

步骤：

对图像进行边缘检测，得到边缘点
对每个边缘点，使用sobel算子计算其梯度方向(法线)，得到一个单位向量
沿着梯度方向的反方向(因为圆心在边缘点的内侧)，以不同的半径$r$为步长，给经过的每一个点累加，每有一条线经过就+1
累加值最大的点就是圆心，计算圆心和边缘点之间的距离就是半径

[计算机视觉] 各类图像变换

Sat, 06 Jun 2026 09:34:00 GMT

相似变换

形状保持不变，只改变位置、大小和方向

$$ H_\text{similarity} = \begin{bmatrix}s \cdot \cos\theta & -s \cdot \sin\theta & t_x \ s \cdot \sin\theta & s \cdot \cos\theta & t_y \ 0 & 0 & 1 \end{bmatrix} $$

$s$：缩放因子$s > 0$
$\theta$：旋转角度
$(t_x, t_y)$：平移向量

相似变换有4个自由度：1+1+2

仿射变换

平行线保持不变，但不保持形状，在相似变换的基础上增加了剪切操作

$$ H_\text{affine} = \begin{bmatrix}a & b & t_x \ c & d & t_y \ 0 & 0 & 1 \end{bmatrix} $$

$a, b, c, d$：线性变换矩阵的元素，包含缩放、旋转和剪切信息
$(t_x, t_y)$：平移向量

当$a = d = s\cos\theta$且$b = -c = -s\sin\theta$时，仿射变换退化为相似变换

仿射变换有6个自由度：4+2

单应变换/投影变换/透视变换

直线保持不变，但不保持平行线，在仿射变换的基础上增加了透视效果

$$ H_\text{homography} = \begin{bmatrix}h_{11} & h_{12} & h_{13} \ h_{21} & h_{22} & h_{23} \ h_{31} & h_{32} & h_{33} \end{bmatrix} $$

通常将$h_{33}$归一化为1，所以单应变换有8个自由度：9-1

当$h_{31} = h_{32} = 0$且$h_{33}$已归一化时，单应变换退化为仿射变换

最小二乘拟合求单应矩阵

现在我们有一对点$(x, y)$和$(x', y')$，以及单应矩阵$H$，满足：

$$ \omega\begin{bmatrix}x' \ y' \ 1\end{bmatrix} = H \begin{bmatrix}x \ y \ 1\end{bmatrix} $$

$\omega$是一个缩放因子，因为$h_{33}$不一定归一化为1

展开后得到：

$$ \begin{cases} \omega x' = h_{11}x + h_{12}y + h_{13} \ \omega y' = h_{21}x + h_{22}y + h_{23} \ \omega = h_{31}x + h_{32}y + h_{33} \end{cases} $$

整理一下：

$$ \begin{cases} h_{11}x + h_{12}y + h_{13} - h_{31}xx' - h_{32}yy' - h_{33}x' = 0 \ h_{21}x + h_{22}y + h_{23} - h_{31}xy' - h_{32}yy' - h_{33}y' = 0 \end{cases} $$

可以写成矩阵形式了：

$$ \begin{bmatrix} x & y & 1 & 0 & 0 & 0 & -xx' & -yx' & -x' \ 0 & 0 & 0 & x & y & 1 & -xy' & -yy' & -y' \end{bmatrix} \begin{bmatrix}h_{11} \ h_{12} \ h_{13} \ h_{21} \ h_{22} \ h_{23} \ h_{31} \ h_{32} \ h_{33}\end{bmatrix} = \mathbf{0} $$

由于单应矩阵有8个自由度，从上述矩阵可以看到一对点提供了两行约束，所以至少需要4对点才能求解单应矩阵

实际实现中通常使用更多的点来构建一个过约束的系统，然后通过最小二乘法来求解单应矩阵，以提高鲁棒性和精度

所以得到$n$对点后可以写出：

$$ \mathbf{A} = \begin{bmatrix} x_1 & y_1 & 1 & 0 & 0 & 0 & -x_1x_1' & -y_1x_1' & -x_1' \ 0 & 0 & 0 & x_1 & y_1 & 1 & -x_1y_1' & -y_1y_1' & -y_1' \ x_2 & y_2 & 1 & 0 & 0 & 0 & -x_2x_2' & -y_2x_2' & -x_2' \ 0 & 0 & 0 & x_2 & y_2 & 1 & -x_2y_2' & -y_2y_2' & -y_2' \ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \ x_n & y_n & 1 & 0 & 0 & 0 & -x_nx_n' & -y_nx_n' & -x_n' \ 0 & 0 & 0 & x_n & y_n & 1 & -x_ny_n' & -y_ny_n' & -y_n' \end{bmatrix} $$

得到：

$$ \mathbf{A} \mathbf{h} = \mathbf{0} $$

为避免解出$\mathbf{h} = \mathbf{0}$的平凡解，通常会添加约束条件$|\mathbf{h}| = 1$

将问题形式化

$$ \begin{aligned} \underset{\mathbf{h}}{\min} |\mathbf{A} \mathbf{h}|^2 \quad \text{subject to} \quad |\mathbf{h}| = 1 \end{aligned} $$

拉格朗日乘数法

构造拉格朗日函数：

$$ \begin{aligned} \mathcal{L}(\mathbf{h}, \lambda) &= |\mathbf{A} \mathbf{h}|^2 - \lambda (|\mathbf{h}|^2 - 1) \[1em] &= \mathbf{h}^T \mathbf{A}^T \mathbf{A} \mathbf{h} - \lambda (\mathbf{h}^T \mathbf{h} - 1) \end{aligned} $$

对$\mathbf{h}$求导并设置为零：

$$ \begin{aligned} \frac{\partial \mathcal{L}}{\partial \mathbf{h}} = 2 \mathbf{A}^T \mathbf{A} \mathbf{h} - 2 \lambda \mathbf{h} &= \mathbf{0} \[1em] \mathbf{A}^T \mathbf{A} \mathbf{h} &= \lambda \mathbf{h} \end{aligned} $$

所以解$\mathbf{h}$是矩阵$\mathbf{A}^T \mathbf{A}$的特征向量，对应的特征值为$\lambda$

由于我们要最小化$|\mathbf{A} \mathbf{h}|^2$，也就是最小化$\mathbf{h}^T \mathbf{A}^T \mathbf{A} \mathbf{h}$，对特征方程变形一下：

$$ \begin{aligned} \mathbf{h}^T \mathbf{A}^T \mathbf{A} \mathbf{h} &= \lambda \mathbf{h}^T \mathbf{h} \qquad (\text{约束}|\mathbf{h}| = 1) \[1em] &= \lambda \end{aligned} $$

所以取$\min \lambda$(最小特征值)对应的特征向量$\mathbf{h}$(9x1)，并将其重塑(np.reshape)为3x3矩阵，即为求解得到的单应矩阵$H$

[模式识别与机器学习] 线性分类器

Sun, 31 May 2026 17:23:00 GMT

线性分类器

特点：

决策面是线/平面或超平面(n维空间中的n-1维空间)
判别函数是线性函数

判别函数

常用增广形式

$$ g(\mathbf{x}) = \mathbf{w}^T \mathbf{x} $$

$\mathbf{w}$：权重向量，决策面方程的系数，包含偏置项
$\mathbf{x}$：输入特征向量，包含一个1以处理偏置，称增广(齐次)的特征向量

$$ \mathbf{w} = \begin{bmatrix}w_0 \ w_1 \ \vdots \ w_n \end{bmatrix} \quad \mathbf{x} = \begin{bmatrix}1 \ x_1 \ \vdots \ x_n \end{bmatrix} $$

判别函数的符号决定分类结果：$g(\mathbf{x}) > 0$ 属于一类，称之正类，$g(\mathbf{x}) < 0$ 属于另一类，称之负类，$g(\mathbf{x}) = 0$ 则位于决策面上

目标方程

有了判别函数后，我们需要一个目标方程来优化权重向量$\mathbf{w}$，也就是让每一个样本经过判别函数运算后都能得到正确的分类结果。写成矩阵的形式：

$$ \mathbf{X}\mathbf{w} > \mathbf{0} $$

其中：

$$ \mathbf{X} = \begin{bmatrix}\mathbf{x}_1^T \ \mathbf{x}_2^T \ \vdots \ \mathbf{x}m^T \ -\mathbf{x}{m+1}^T \ \vdots \ -\mathbf{x}_N^T \end{bmatrix} \qquad \mathbf{w} = \begin{bmatrix}w_0 \ w_1 \ \vdots \ w_n \end{bmatrix} $$

$\mathbf{X}$：增广特征矩阵，前$m$行是正类样本的增广特征向量，后$N-m$行是负类样本的增广特征向量取反，取反是为了能统一大于0
$\mathbf{w}$：权重向量，包含决策面方程的系数

Logistic回归

详见贝叶斯学习

感知器算法

只能处理线性可分的数据

感知器准则

最直观的准则是「最少错分样本数准则」：

$$ J_N(\mathbf{w}) = \text{样本集合中被误分类的样本数} $$

但这个不可导，无法使用梯度下降法，因此改为以误分类样本的距离和为准则：

$$ \begin{aligned} J_P(\mathbf{w}) = \sum_{\mathbf{x} \in \mathcal{M}} \left ( - \mathbf{w}^T \mathbf{x} \right ) \[1.5em] \nabla J_P(\mathbf{w}) = \sum_{\mathbf{x} \in \mathcal{M}} \left ( - \mathbf{x} \right ) \end{aligned} $$

$\mathcal{M}$：误分类样本集合

算法

初始化权重向量 $\mathbf{w}_0 \quad k = 0$
对训练样本进行迭代：
- 计算判别函数 $g(\mathbf{x}_k)$，判断样本是否被正确分类
- 如果$\mathbf{x}k$被误分类，更新权重向量：$\mathbf{w}{k+1} \leftarrow \mathbf{w}_k + \mathbf{x}_k$
重复步骤2直到所有样本被正确分类或达到最大迭代次数

批量版算法

初始化权重向量 $\mathbf{w}_0 \quad k = 0$，学习率 $\eta_k$，收敛阈值 $\epsilon$
对训练样本进行迭代，收集所有误分类样本 $\mathcal{M_k}$：
- 对每个样本计算判别函数 $g(\mathbf{x})$，判断样本是否被正确分类
- 如果样本被误分类，将其加入集合 $\mathcal{M_k}$
- 更新权重向量：$\mathbf{w}_{k+1} \leftarrow \mathbf{w}k + \eta_k \sum\limits{\mathbf{x} \in \mathcal{M_k}} \mathbf{x}$
- 若$\left | \eta_k \sum\limits_{\mathbf{x} \in \mathcal{M_k}} \mathbf{x} \right | < \epsilon$，则停止迭代
重复步骤2直到所有样本被正确分类或达到最大迭代次数

LMSE算法(最小均方误差)

传统的感知器是让判别函数输出的绝对值大于0, 但使用LMSE可以为输出设置一个非0的目标值, 以增加分类的置信度。

LMSE可以处理线性不可分的数据

LMSE的目标方程

$$ X\mathbf{w} = \mathbf{b} $$

$\mathbf{b}$：目标输出向量，前$m$个元素为正类样本的目标值，后$N-m$个元素为负类样本的目标值

LMSE准则函数

定义误差向量$\mathbf{e} = X\mathbf{w} - \mathbf{b}$，LMSE准则函数为误差的平方和：

$$ J(\mathbf{w}) = \frac{1}{2} \left | \mathbf{e}\right |^2 $$

$\frac{1}{2}$ 是为了求导好看

求导：

$$ \begin{aligned} \nabla J(\mathbf{w}) = X^T (X\mathbf{w} - \mathbf{b}) &= 0 \[1em] \mathbf{w} &= (X^T X)^{-1} X^T \mathbf{b} \[1em] &= X^\dagger \mathbf{b} \end{aligned} $$

梯度下降：

$$ \mathbf{w}_{k+1} = \mathbf{w}_k - \eta_k \nabla J(\mathbf{w}_k) = \mathbf{w}_k - \eta_k X^T (X\mathbf{w}_k - \mathbf{b}) $$

多类问题扩展

设共有$C$类

拆分二分类法

一对多

为每一个类训练一个二分类器，如果大于0就属于这个类，否则不属于这个类。测试时，输入样本通过所有分类器，选择输出最大的那个分类器对应的类。

需要$C$个分类器

一对一

对任意两类训练一个二分类器，测试时，输入样本通过所有分类器，选择被最多分类器投票的那个类。

需要$\dfrac{C(C-1)}{2}$个分类器

扩展感知器算法

初始化$C$个权重向量$\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_C$，每个权重向量对应一个类

$$ \mathbf{W} = \begin{bmatrix}\mathbf{w}_1^T \ \mathbf{w}_2^T \ \vdots \ \mathbf{w}_C^T \end{bmatrix} \quad \mathbf{G(\mathbf{x})} = \begin{bmatrix} g_1(\mathbf{x}) \ g_2(\mathbf{x}) \ \vdots \ g_C(\mathbf{x}) \end{bmatrix} $$

得到方程 $$ \mathbf{G(\mathbf{x})} = \mathbf{W} \mathbf{x} $$

若样本$\mathbf{x}$ 属于第 $j$ 类，则：

$$ \arg\max_{k} g_k(\mathbf{x}) = j $$

其中 $g_k(\mathbf{x})$ 是第 $k$ 个分类器的输出，也是$G(\mathbf{x})$的第 $k$ 个元素

支持向量机(SVM)

感知器能找到一个决策面，但可能不是最优的决策面。SVM的目标是找到一个最大化分类间隔的决策面，以提高模型的泛化能力。是最大间隔分类器

间隔

对于超平面：

$$ \mathbf{w}^T \mathbf{x} + b = 0 $$

样本点$\mathbf{x}_i$到超平面的距离为：

$$ d_i = \frac{|\mathbf{w}^T \mathbf{x}_i + b|}{|\mathbf{w}|} $$

则间隔的定义：

$$ \text{margin} = \min_i d_i $$

SVM的目标是最大化这个间隔

线性可分SVM(硬间隔)

为简化优化过程，要求对所有样本满足：

$$ y_i (\mathbf{w}^T \mathbf{x}_i + b) \geq 1 $$

其中 $y_i$ 是样本 $\mathbf{x}_i$ 的类别标签，取值为 $+1$ 或 $-1$。这个约束确保了所有样本都被正确分类，并且距离超平面至少为$\dfrac{1}{|\mathbf{w}|}$

优化问题：

$$ \begin{aligned} \min_{\mathbf{w}, b} \quad & \frac{1}{2} |\mathbf{w}|^2 \ \text{subject to} \quad & y_i (\mathbf{w}^T \mathbf{x}_i + b) \geq 1, \quad i = 1, 2, \ldots, N \end{aligned} $$

这是一个凸二次优化问题，可以通过拉格朗日乘子法求解

引入拉格朗日乘子 $\alpha_i \geq 0$，构建拉格朗日函数：

$$ L(\mathbf{w}, b, \boldsymbol{\alpha}) = \frac{1}{2} |\mathbf{w}|^2 - \sum_{i=1}^N \alpha_i [y_i (\mathbf{w}^T \mathbf{x}_i + b) - 1] $$

对 $\mathbf{w}$ 和 $b$ 求偏导并设置为零，得到：

$$ \begin{aligned} \frac{\partial L}{\partial \mathbf{w}} &= \mathbf{w} - \sum_{i=1}^N \alpha_i y_i \mathbf{x}i = 0 \ &\Rightarrow \mathbf{w} = \sum{i=1}^N \alpha_i y_i \mathbf{x}i \ \frac{\partial L}{\partial b} &= \sum{i=1}^N \alpha_i y_i = 0 \end{aligned} $$

代入拉格朗日函数，得到对偶问题：

$$ \begin{aligned} \max_{\boldsymbol{\alpha}} \quad & \sum_{i=1}^N \alpha_i - \frac{1}{2} \sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j \mathbf{x}_i^T \mathbf{x}j \ \text{subject to} \quad & \alpha_i \geq 0, \quad i = 1, 2, \ldots, N \ & \sum{i=1}^N \alpha_i y_i = 0 \end{aligned} $$

支持向量

根据KKT条件：

$$ \alpha_i [y_i (\mathbf{w}^T \mathbf{x}_i + b) - 1] = 0 $$

当 $\alpha_i > 0$ 时，则$y_i (\mathbf{w}^T \mathbf{x}_i + b) = 1$，样本 $\mathbf{x}_i$ 位于间隔边界上，称为支持向量
当 $\alpha_i = 0$ 时，$y_i (\mathbf{w}^T \mathbf{x}_i + b) > 1$，样本 $\mathbf{x}_i$ 位于间隔外，不是支持向量，样本对决策面没有贡献

结论：最终分类器只由支持向量决定

$$ \mathbf{w} = \sum_{i \in SV} \alpha_i y_i \mathbf{x}_i $$

支持向量机的决策函数：

$$ f(\mathbf{x}) = \text{sign} \left( \sum_{i \in SV} \alpha_i y_i \mathbf{x}_i^T \mathbf{x} + b \right) $$

不完全线性可分SVM(软间隔)

引入松弛变量 $\xi_i \geq 0$，允许部分样本被误分类(可以不满足函数间隔$\ge1$)，但对误分类样本进行惩罚。优化问题：

$$ \begin{aligned} \min_{\mathbf{w}, b, \boldsymbol{\xi}} \quad & \frac{1}{2} |\mathbf{w}|^2 + C \sum_{i=1}^N \xi_i \ \text{subject to} \quad & y_i (\mathbf{w}^T \mathbf{x}_i + b) \geq 1 - \xi_i, \quad i = 1, 2, \ldots, N \ & \xi_i \geq 0, \quad i = 1, 2, \ldots, N \end{aligned} $$

$C>0$：惩罚参数，控制模型对误分类的容忍度
$C\to\infty$ 时，软间隔SVM退化为硬间隔SVM

推导后得到对偶问题：

$$ \begin{aligned} \max_{\boldsymbol{\alpha}} \quad & \sum_{i=1}^N \alpha_i - \frac{1}{2} \sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j \mathbf{x}_i^T \mathbf{x}j \ \text{subject to} \quad & 0 \leq \alpha_i \leq C, \quad i = 1, 2, \ldots, N \ & \sum{i=1}^N \alpha_i y_i = 0 \end{aligned} $$

只比硬间隔多了上界$\alpha_i \leq C$

KKT条件

$$ \begin{aligned} \alpha_i [y_i (\mathbf{w}^T \mathbf{x}_i + b) - 1 + \xi_i] &= 0 \ (C - \alpha_i) \xi_i &= 0 \end{aligned} $$

当 $\alpha_i > 0$ 且 $\alpha_i < C$ 时，$y_i (\mathbf{w}^T \mathbf{x}_i + b) = 1 - \xi_i$，样本 $\mathbf{x}_i$ 位于间隔边界上，称为支持向量
当 $\alpha_i = 0$ 时，$y_i (\mathbf{w}^T \mathbf{x}_i + b) > 1 - \xi_i$，样本 $\mathbf{x}_i$ 位于间隔外，不是支持向量，样本对决策面没有贡献
当 $\alpha_i = C$ 时，$y_i (\mathbf{w}^T \mathbf{x}_i + b) < 1 - \xi_i$，样本 $\mathbf{x}_i$ 被误分类，称为误分类支持向量

非线性可分SVM(核方法)

给软间隔最后得到的对偶问题的$\mathbf{x}_i^T \mathbf{x}_j$替换为核函数$K(\mathbf{x}_i, \mathbf{x}_j)$，得到：

$$ \begin{aligned} \max_{\boldsymbol{\alpha}} \quad & \sum_{i=1}^N \alpha_i - \frac{1}{2} \sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j K(\mathbf{x}_i, \mathbf{x}j) \ \text{subject to} \quad & 0 \leq \alpha_i \le C, \quad i = 1, 2, \ldots, N \ & \sum{i=1}^N \alpha_i y_i = 0 \end{aligned} $$

[计算机视觉] 图像金字塔与图像融合

Sat, 30 May 2026 19:45:00 GMT

所谓金字塔就是将原图处理成一系列不同分辨率的版本，形成一个金字塔结构

高斯金字塔

用于降采样

步骤：

对图像进行高斯模糊，去除高频信息，防止混叠(伪影)
对模糊后的图像进行下采样，通常是删除偶数行和偶数列的像素
重复上述步骤，直到达到所需的层数

拉普拉斯金字塔

是高斯金字塔的逆过程，用于图像重建

步骤：

从高斯金字塔的最底层开始，逐层向上进行重建
对比当前高一层(低分辨率)的高斯金字塔图像进行上采样，通常是插值
将上采样后的图像与当前层的高斯金字塔图像进行相减，得到拉普拉斯金字塔的当前层，所以拉普拉斯金字塔的每一层都是高斯金字塔相邻两层之间的差异图像

拉普拉斯金字塔每层和高斯金字塔的对应层具有相同的分辨率，但总层数比高斯金字塔少一层

图像融合

步骤：

分别构建两张图像的高斯金字塔(GA, GB)和拉普拉斯金字塔(LA, LB)
根据要融合的方式，构造一个蒙版(比如左右融合，就是一侧全为255，另一侧全为0)，并计算蒙版的高斯金字塔(GM)
在金字塔每一层$i$，根据蒙版的权重进行融合得到新的拉普拉斯金字塔： $$L_{fused}^i = GM^i \cdot LA^i + (1 - GM^i) \cdot LB^i$$
从融合后的新拉普拉斯金字塔的最底层开始，逐层向上进行重建，得到最终的融合图像

这种方式融合的图像在边界处过渡自然，避免了直接拼接可能出现的明显边界问题，同时保留了两张图像的细节信息

重建方法

拿到高斯金字塔最顶层$n$的最小分辨率图像，逐层向下重建：

$$ G_{fused}^{n-1} = L_{fused}^{n-1} + \text{Upsample}(G_{fused}^n) $$

最后得到$G_{fused}^0$，即融合后的图像

实现时应使用浮点数而非u8，避免负数和精度问题

[计算机视觉] 边缘检测

Sat, 30 May 2026 19:12:00 GMT

非极大值抑制

因为后续的边缘检测算子计算结果均是梯度幅值图，若要得到最终的边缘图，需要对梯度幅值图进行非极大值抑制

非极大值抑制的核心思想是：对于每个像素点，比较其梯度幅值与其在梯度方向上的两个邻居的梯度幅值，如果该像素点的梯度幅值不是最大的，则将其设为0

目的就是找出局部最大值，保留边缘的细节，同时抑制非边缘的噪声

Sobel算子

Sobel算子通过计算图像在水平和垂直方向上的梯度来检测边缘

垂直方向卷积核：

$$ G_x = \begin{bmatrix}-1 & 0 & 1 \ -2 & 0 & 2 \ -1 & 0 & 1\end{bmatrix} $$

水平方向卷积核：

$$ G_y = \begin{bmatrix}1 & 2 & 1 \ 0 & 0 & 0 \ -1 & -2 & -1\end{bmatrix} $$

图像任意一点的总梯度强度(梯度幅值)：

$$ G = \sqrt{G_x^2 + G_y^2} $$

绝对值近似$G \approx |G_x| + |G_y|$，计算更快

Prewitt算子

Prewitt算子与Sobel算子类似，也是通过计算图像在水平和垂直方向上的梯度来检测边缘，但Prewitt不考虑更近的像素的权重，权重均为1

垂直方向卷积核：

$$ G_x = \begin{bmatrix}-1 & 0 & 1 \ -1 & 0 & 1 \ -1 & 0 & 1\end{bmatrix} $$

水平方向卷积核：

$$ G_y = \begin{bmatrix}1 & 1 & 1 \ 0 & 0 & 0 \ -1 & -1 & -1\end{bmatrix} $$

后续和Sobel算子一样

Laplacian算子

Laplacian算子通过计算图像的二阶导数来检测边缘，能够检测到图像中灰度值变化较大的区域

$$ \text{Kernel} = \begin{bmatrix}0 & 1 & 0 \ 1 & -4 & 1 \ 0 & 1 & 0\end{bmatrix} $$

计算的是中心像素与其四个邻居像素的灰度值之差的总和，因此对变化非常敏感，能检测出非常细的边缘，但导致对噪声也非常敏感

Canny算子

Canny算子是一种多阶段的边缘检测算法，包含以下步骤：

使用[高斯滤波器](/posts/cv/conv_denoise/#高斯滤波(Gaussian Filter))对图像进行平滑，减少噪声的影响
计算图像的梯度幅值和方向，使用Sobel算子或Prewitt算子
进行非极大值抑制，保留局部最大值，抑制非边缘的噪声
使用双阈值算法连接边缘，确定哪些边缘是强边缘，哪些是弱边缘，并连接强边缘和弱边缘
滞后边界追踪，连接强边缘和弱边缘，形成完整的边缘图

双阈值算法

边缘分为强边缘和弱边缘

$$ \text{强边缘} = {(x, y) | G(x, y) \geq T_{\text{high}}} \[1em] \text{弱(潜在)边缘} = {(x, y) | T_{\text{low}} \leq G(x, y) < T_{\text{high}}} \[1em] \text{丢弃} = {(x, y) | G(x, y) < T_{\text{low}}} $$

滞后边界追踪

对于每个强边缘像素，检查其8邻域，如果邻域内有弱边缘像素，则将该弱边缘像素也标记为强边缘，继续检查该弱边缘像素的8邻域，直到没有更多的弱边缘像素被连接为止

[计算机视觉] 卷积与图像降噪

Sat, 30 May 2026 18:04:00 GMT

图像2D卷积

就是CNN里的那个卷积

一个卷积核在图像上滑动，计算卷积核和图像重叠部分的乘积和，得到一个新的像素值

概念和参数

核大小(Kernel Size): 卷积核的尺寸，通常是一个奇数，如3x3、5x5等
步长(Stride): 卷积核在图像上每次滑动的步长，默认为1，步长越大，输出图像越小
填充(Padding): 在图像边缘添加额外的像素，以控制输出图像的尺寸，常见的填充方式有零填充（Zero Padding）
感受野(Receptive Field): 卷积输出的单个像素点所能"看到"的输入图像区域大小，n层3x3卷积的感受野为(2n+1)，感受野是边长

import numpy as np

def convolve2d_advanced(image, kernel, stride=1, padding=0):
    # 填充操作 (Padding)
    # 如果 padding > 0，在图像四周补零
    if padding > 0:
        image = np.pad(image, ((padding, padding), (padding, padding)), mode='constant')
    
    img_h, img_w = image.shape
    ker_h, ker_w = kernel.shape
    
    # 计算输出图像尺寸
    # 公式: O = (I - K + 2P) / S + 1
    out_h = (img_h - ker_h) // stride + 1
    out_w = (img_w - ker_w) // stride + 1
    
    # 初始化输出矩阵
    output = np.zeros((out_h, out_w))
    
    # 带步长的卷积操作
    for i in range(out_h):
        for j in range(out_w):
            # 计算切片在原图上的起始位置
            start_i = i * stride
            start_j = j * stride
            
            # 提取感兴趣区域
            region = image[start_i : start_i + ker_h, start_j : start_j + ker_w]
            
            # 执行点乘并求和
            output[i, j] = np.sum(region * kernel)
            
    return output

感受野计算公式

对于第$l$层卷积，感受野的计算公式为：

$$ R_l = R_{l-1} + (K_l - 1) \times \prod_{i=1}^{l-1} S_i $$

其中：

$R_l$ 是第$l$层的感受野大小，$R_0$ 是输入图像的感受野大小，通常为1
$K_l$ 是第$l$层卷积核的大小
$S_i$ 是第$i$层的步长

图像降噪

均值滤波(Mean Filter)

原理是用一个像素邻域内的像素值的平均值来替换中心像素值

本质上就是一个卷积核全部元素为$\frac{1}{9}$的卷积操作

$$ \text{Kernel} = \frac{1}{9} \begin{bmatrix} 1 & 1 & 1 \ 1 & 1 & 1 \ 1 & 1 & 1 \end{bmatrix} $$

缺点：

模糊了图像的边缘，变糊
椒盐噪声的黑白点极端值会对平均值产生较大影响，去除效果不好

中值滤波(Median Filter)

原理是用一个像素邻域内的像素值的中位数来替换中心像素值

卷积核的元素不固定，而是根据邻域内像素值的排序来确定

import numpy as np

def median_filter(image, kernel_size=3):
    img_h, img_w = image.shape
    pad = kernel_size // 2
    
    # 填充图像，防止边缘处理越界
    padded_img = np.pad(image, ((pad, pad), (pad, pad)), mode='edge')
    output = np.zeros_like(image)
    
    for i in range(img_h):
        for j in range(img_w):
            # 提取邻域窗口
            region = padded_img[i:i + kernel_size, j:j + kernel_size]
            # 排序并取中位数
            output[i, j] = np.median(region)
            
    return output

优点：

中位数能排除黑白点这种极端值的影响，能有效去除椒盐噪声
少数服从多数的特点可以保护图像的边缘

缺点：

计算慢，需要排序
细节丢失
无法有效去除高斯噪声，因为高斯噪声的像素值分布较为连续，没有明显的极端值

高斯滤波(Gaussian Filter)

利用正态分布的权重对像素进行加权平均，权重随距离中心像素的距离增加而减小

$$ \text{Kernel}(x, y) = \frac{1}{2\pi\sigma^2} e^{-\frac{x^2 + y^2}{2\sigma^2}} $$

一个可行的3x3高斯核（$\sigma=1$）如下：

$$ \text{Kernel} = \frac{1}{16} \begin{bmatrix} 1 & 2 & 1 \ 2 & 4 & 2 \ 1 & 2 & 1 \end{bmatrix} $$

import numpy as np

def gaussian_kernel(size, sigma=1.0):
    # 生成中心点坐标
    ax = np.arange(-size // 2 + 1., size // 2 + 1.)
    xx, yy = np.meshgrid(ax, ax)
    
    # 高斯分布公式: G(x, y) = exp(-(x^2 + y^2) / (2 * sigma^2))
    kernel = np.exp(-(xx**2 + yy**2) / (2. * sigma**2))
    
    # 归一化，确保所有元素之和为 1
    return kernel / np.sum(kernel)

# 使用方式
kernel = gaussian_kernel(size=3, sigma=1.0)
# 调用之前的卷积函数
output = convolve2d_advanced(image, kernel, padding=1)

优点：

能有效去除高斯噪声，因为高斯滤波的权重分布与高斯噪声的分布相匹配
边缘保护较好，因为权重随距离增加而减小，远离中心像素的噪声对结果影响较小
可分离性：一个二维高斯核可以分解为两个一维高斯核的卷积，计算效率更高

缺点：

对于椒盐噪声效果不佳，因为椒盐噪声的极端值会对加权平均产生较大影响

[计算机视觉] 点操作

Sat, 30 May 2026 17:39:00 GMT

线性拉伸

线性拉伸将图中每一个像素的灰度值线性映射到$[x_{\text{min}}, x_{\text{max}}]$之间

$$ g(x, y) = \frac{f(x, y) - f_{\text{min}}}{f_{\text{max}} - f_{\text{min}}} \times (x_{\text{max}} - x_{\text{min}}) + x_{\text{min}} $$

$f_{\text{min}}$和$f_{\text{max}}$分别是图像中像素灰度值的最小值和最大值

$\gamma$变换

$\gamma$变换将图中每一个像素的灰度值非线性映射到$[0, 255]$之间

$$ g(x, y) = 255 \times \left( \frac{f(x, y)}{255} \right)^{\gamma} $$

除255的操作是在进行归一化

其中$\gamma$是一个正数，控制了映射的非线性程度，当$\gamma < 1$时，图像会变亮；当$\gamma > 1$时，图像会变暗；当$\gamma = 1$时，图像保持不变

直方图均衡化

直方图均衡化是一种增强图像对比度的方法，通过将图像的灰度值重新分布，使得图像的灰度值在整个范围内均匀分布

计算方式是通过累计概率

将图像统计为直方图，横轴为灰度值，纵轴为是该灰度值的像素数量

当前处理的灰度值为$i$，则累计概率为

$$ s(i) = \sum_{j=0}^{i} \frac{n_j}{n} $$

$n_j$是灰度值为$j$的像素数量，$n$是图像中像素的总数量

累计概率$s(i)$表示灰度值小于等于$i$的像素占总像素的比例

将累计概率乘以最大灰度值255，得到对应$i$的像素的新灰度值

[形式语言与自动机] CFG上下文无关文法

Sat, 30 May 2026 16:36:00 GMT

上下文无关文法的定义

上下文无关文法（Context-Free Grammar，CFG）是一个四元组：

$$G = (V, \Sigma, R, S)$$

其中：

$V$ 是一个有限的非终结符集合
$\Sigma$ 是一个有限的终结符集合，且 $V \cap \Sigma = \emptyset$
$R$ 是一个有限的产生式集合，每个产生式的形式为 $A \to \alpha$，其中 $A \in V$ 是一个非终结符，$\alpha \in (V \cup \Sigma)^*$ 是一个由非终结符和终结符组成的字符串
$S \in V$ 是开始符号

终结符: 简单来说跟字母表类似，是构成语言的基本符号，不能再被替换

非终结符: 是用来定义语言结构的符号，可以被替换成其他非终结符或终结符的组合

产生式: 定义了非终结符如何被替换成其他符号的规则

开始符号: 是生成语言的起点，所有生成的字符串都必须从开始符号出发通过一系列产生式替换得到

例子

设计一个上下文无关文法来生成语言 $L = {a^n b^{m} | m \ge n \geq 0}$，即由相同数量的 $a$ 和 $b$ 组成的字符串集合

因为我们老师说不用写完整的文法定义，给出产生式即可，所以我就不写了

可以定义以下产生式：

$$ \begin{aligned} S &\to aSb \ S &\to bS \ S &\to \epsilon \end{aligned} $$

如何理解产生式？

可以当作我们一开始只有一个符号$S$，我们可以用产生式来替换它，直到我们得到一个由终结符组成的字符串为止

例如：

$$ \text{情况一：} S \Rightarrow aSb \Rightarrow aaSbb \Rightarrow aa\epsilon bb \Rightarrow aabb \[6pt] \text{情况二：} S \Rightarrow bS \Rightarrow bbS \Rightarrow bbbS \Rightarrow bbb\epsilon \Rightarrow bbb $$

可以看到以上举例的两种情况都满足 $m \ge n \geq 0$ 的条件，因此它们都属于语言 $L$

第二条规则写成 $S \to Sb$ 也是可以的

以及如果想一行完事可以用更简单的产生式 $S \to aS | bS | \epsilon$

CFG的歧义性

举个有歧义的文法例子：

设计CFG来生成一个算术表达式语言，包含加法和乘法运算符，并且满足乘法优先于加法

可以定义以下产生式：

$$ \begin{aligned} E &\to E + E \ E &\to E * E \ E &\to (E) \ E &\to \text{数字} \end{aligned} $$

这个文法是有歧义的，因为对于一个表达式 $E$，我们可以有多种不同的解析树来表示它，例如对于表达式 $a + b * c$，我们可以有以下两种解析树：

解析树1：

        E
       /|\
      E + E
     /   /|\
    a   E * E
       /     \
      b       c

解析树2：

        E
       /|\
      E * E
     /|\   \
    E + E   c
   /     \
  a       b

可以发现解析树2是有问题的，这样的结构会导致先运算加法而不是乘法，因此这个文法是有歧义的

修改后的文法如下：

$$ \begin{aligned} E &\to E + T \mid T \ T &\to T * F \mid F \ F &\to (E) \ F &\to \text{数字} \end{aligned} $$

这个文法通过引入新的非终结符 $T$ 和 $F$ 来区分加法和乘法的优先级，从而消除了歧义性

CFG简化方法

以下按顺序进行

消除$\epsilon$-产生式

$\epsilon$-产生式意思是右侧是空字符串的产生式，例如 $A \to \epsilon$，它表示非终结符 $A$ 可以被替换成空字符串

例子：

$$ \begin{aligned} S &\to AB \ A &\to aA \mid \epsilon \ B &\to bB \mid \epsilon \end{aligned} $$

设空非终结符集合$Null = {}$，由于$A$和$B$都可以产生空串，所以$Null = {A, B}$，然后迭代发现$S$也可以产生空串，所以$Null = {S, A, B}$

扫描原文法，发现$A \to aA$、$B \to bB$和$S \to AB$都可以产生空非终结符，所以我们可以将它们的右侧的空非终结符去掉，得到新的产生式：

$A$或$B$删除或保留，所以是 $aA$ 或 $a$，$bB$ 或 $b$，$AB$ 或 $A$ 或 $B$ 或 $\epsilon$

$$ A \to aA \mid a, \quad B \to bB \mid b, \quad S \to AB \mid A \mid B \mid \epsilon $$

因为$S$也可以产生空串，所以我们需要添加一个新的产生式 $S_0 \to S \mid \epsilon$ 替代掉$S \to \epsilon$，最终得到的文法为：

$$ \begin{aligned} S_0 &\to S \mid \epsilon \ S &\to AB \mid A \mid B \ A &\to aA \mid a \ B &\to bB \mid b \end{aligned} $$

消除单元产生式

单元产生式是指右侧是一个非终结符的产生式，例如 $A \to B$，它表示非终结符 $A$ 可以被替换成非终结符 $B$

例子：

$$ \begin{aligned} S &\to A \ A &\to B \ B &\to b \end{aligned} $$

消除后：

$$ \begin{aligned} S &\to b \ A &\to b \ B &\to b \end{aligned} $$

消除无用符号

先消非产生

非产生式是指无法通过一系列产生式替换得到一个由终结符组成的字符串的非终结符，比如

$$ \begin{aligned} S &\to AB \mid a \ A &\to b\ B &\to bB \ \end{aligned} $$

可以发现$B \to bB$会无穷递归，所以它是一个非产生式，可以直接删掉:

$$ \begin{aligned} S &\to a \ A &\to b\ \end{aligned} $$

再消不可达

不可达符号是指无法从开始符号出发通过一系列产生式替换得到的非终结符，比如

$$ \begin{aligned} S &\to AB \ A &\to aA \mid \epsilon \ B &\to bB \mid \epsilon \ C &\to c \end{aligned} $$

$C$根本就产生不了，所以它是不可达，可以直接删掉

乔姆斯基范式(CNF)

乔姆斯基范式是一种特殊的上下文无关文法形式，所有的产生式都满足以下三种形式之一：

$A \to BC$，其中 $A, B, C$ 是非终结符，且 $B$ 和 $C$ 不能是开始符号
$A \to a$，其中 $A$ 是非终结符，$a$ 是终结符
$S \to \epsilon$，当且仅当语言包含空串时，且$S$不可以出现在产生式右侧

将一个CFG转换成CNF的步骤

例子：

$$ \begin{aligned} S &\to AB \mid a \ A &\to aA \mid \epsilon \ B &\to bB \mid \epsilon \ \end{aligned} $$

消除$\epsilon$-产生式：

$$ \begin{aligned} S &\to AB \mid A \mid B \mid \epsilon \ A &\to aA \mid a \ B &\to bB \mid b \ \end{aligned} $$

消除单元产生式：

$$ \begin{aligned} S &\to AB \mid aA \mid a \mid bB \mid b \mid \epsilon \ A &\to aA \mid a \ B &\to bB \mid b \ \end{aligned} $$

没有无用符号，不变

引入新的非终结符：

$$ \begin{aligned} S &\to \epsilon \ S &\to AB \mid a \mid b \ S &\to CA \mid DB \ A &\to CA \mid a \ B &\to DB \mid b \ C &\to a \ D &\to b \ \end{aligned} $$

[形式语言与自动机] 正则语言与正则表达式

Sat, 30 May 2026 16:25:00 GMT

正则语言的定义

正则语言是在有限字母表 $\Sigma$ 上的一个集合，其中包含的元素是所有能被一个正则表达式/DFA/NFA识别的字符串，正则语言是$\Sigma^*$的一个子集

正则表达式的定义

正则表达式是一个字符串，使用特定的语法规则来描述一个正则语言。正则表达式和DFA、NFA之间是等价的，即它们识别的正则语言是相同的

$$ \text{正则表达式} \Leftrightarrow \text{DFA} \Leftrightarrow \text{NFA} $$

正则表达式由以下基本元素组成，且以下每个元素本身也是一个正则表达式：

空集：表示一个不包含任何字符串的语言，通常用符号 $\emptyset$ 表示
空字符串：表示一个只包含空字符串的语言，通常用符号 $\epsilon$ 表示
单个符号：对于每个输入符号 $a \in \Sigma$，表示一个只包含字符串 $a$ 的语言
连接：如果 $R$ 和 $S$ 是正则表达式，那么 $RS$ 表示连接操作，表示由 $R$ 中的字符串连接 $S$ 中的字符串组成的语言，或多次连接，例如 $R^n$ 表示由 $R$ 中的字符串连接 $n$ 次组成的语言，$R^0={\epsilon}$
选择：如果 $R$ 和 $S$ 是正则表达式，那么 $R|S$ 表示选择操作，表示由 $R$ 中的字符串或 $S$ 中的字符串组成的语言
闭包：如果 $R$ 是一个正则表达式，那么 $R^*$ 表示闭包操作，表示由 $R$ 中的字符串重复零次或多次组成的语言

一个正则表达式通过有限次上述操作后生成的仍然是一个正则表达式，因此正则表达式可以递归定义

:::tip

正闭包：$R^+$ 表示由 $R$ 中的字符串重复一次或多次组成的语言，即 $R^+ = RR^*$

克林闭包：$R^$ 表示由 $R$ 中的字符串重复零次或多次组成的语言，即 $R^ = {\epsilon} \cup R^+$

运算顺序：括号 > 闭包 > 连接 > 选择

:::

例子

设计一个正则表达式匹配所有包含110但不能包含111的二进制字符串

可以使用以下正则表达式：

$$ (0+10)^110(110+0+10)^(1+11+\epsilon) $$

DFA/NFA转正则表达式

e.g. 现有一DFA，状态转移表如下：

状态	输入0	输入1
$\rightarrow q_0$	$q_1$	$q_0$
$q_1$	$q_2$	$q_0$
$\ast q_2$	$q_2$	$q_2$

状态消除法

添加唯一的开始状态和接受状态(实际上这么处理完已经变NFA了)：

状态	输入0	输入1	$\epsilon$
$\rightarrow S$	-	-	$q_0$
$q_0$	$q_1$	$q_0$	-
$q_1$	$q_2$	$q_0$	-
$\ast q_2$	$q_2$	$q_2$	$F$
$\ast F$	-	-	-

逐个消除中间状态：

经过步骤1后，中间状态是$q_0$和$q_1$，我们可以先消除$q2$：

关注要消除的状态的入边、自环和出边，将其替换为一个新的正则表达式，公式为：

$$ \text{入边表达式} \cdot (\text{自环表达式})^* \cdot \text{出边表达式} + \text{入边来源到出边目标原有表达式} $$

$q_2$入边：$q_1 \xrightarrow{0} q_2$，则表达式为$0$
$q_2$自环：$q_2 \xrightarrow{0} q_2, q_2 \xrightarrow{1} q_2$，则表达式为$0+1$
$q_2$出边：$q_2 \xrightarrow{\epsilon} F$, 则表达式为$\epsilon$

所以消去$q_2$后，只有一个来源和一个目标，则只有$q_1$到$F$的边，$q_1$到$F$的表达式为：

$$ 0(0+1)^\epsilon + \text{无} = 0(0+1)^ $$

当前状态转移为：

$$ S \xrightarrow{\epsilon} q_0, \quad q_0 \xrightarrow{0} q_1, \quad q_1 \xrightarrow{1} q_0, \quad q_0 \xrightarrow{1} q_0, \quad q_1 \xrightarrow{0(0+1)^*} F $$

消$q_1$:

入边：$q_0 \xrightarrow{0} q_1$，则表达式为$0$
自环：$q_1$没有自环，则表达式为$\epsilon$
出边：$q_1 \xrightarrow{0(0+1)^} F, q_1 \xrightarrow{1} q_0$，则表达式有$0(0+1)^$与$1$

则$q_0$到$F$的表达式为：

$$ 0 \cdot (\epsilon)^* \cdot 0(0+1)^* + \varnothing = 00(0+1)^* $$

$q_0$到$q_0$的表达式为：

注意$q_0$到$q_0$已存在转移(自环)，不要忘记并上

$$ 0 \cdot (\epsilon)^* \cdot 1 + 1 = 01 + 1 $$

此时，状态转移为：

$$ S \xrightarrow{\epsilon} q_0, \quad q_0 \xrightarrow{01 + 1} q_0, \quad q_0 \xrightarrow{00(0+1)^*} F $$

消$q_0$:

入边：$S \xrightarrow{\epsilon} q_0$，则表达式为$\epsilon$
自环：$q_0 \xrightarrow{01 + 1} q_0$，
出边：$q_0 \xrightarrow{00(0+1)^} F$，则表达式为$00(0+1)^$

则$S$到$F$的表达式为：

$$ \epsilon \cdot (01 + 1)^* \cdot 00(0+1)^* + \varnothing = (01 + 1)^00(0+1)^ $$

则结果为：$(01 + 1)^00(0+1)^$

$R^{(k)}_{ij}$递推法

首先为每个状态标注序号(给的DFA已经有了可以直接用)，则$R^{(k)}_{ij}$表示从状态$i$到状态$j$，经过的所有中间状态(中间也就是不包含开始和结束状态)的序号不超过$k$的所有路径的正则表达式。

也就是如果想得到上述DFA的正则表达式，我们需要计算$R^{(2)}_{02}$

递推公式

$$ R^{(k)}{ij} = R^{(k-1)}{ij} + R^{(k-1)}{ik} (R^{(k-1)}{kk})^* R^{(k-1)}_{kj} $$

含义为：

$$ \begin{aligned} R^{(k)}_{ij} = &\text{不经过状态k就能从状态i到达状态j的所有路径} \ + &\text{能从i到达状态k但不经过k的所有路径} \ \cdot &(\text{状态k的自环})^* \ \cdot &\text{从状态k到达状态j但不经过k的所有路径} \end{aligned} $$

开始递推：

$$ \begin{aligned} R^{(2)}{02} &= R^{(1)}{02} + R^{(1)}{02} (R^{(1)}{22})^* R^{(1)}{22} \[1em] R^{(1)}{02} &= R^{(0)}{02} + R^{(0)}{01} (R^{(0)}{11})^* R^{(0)}{12} = \varnothing + R^{(0)}{01} (R^{(0)}{11})^* 0 \ R^{(1)}{22} &= R^{(0)}{22} + R^{(0)}{22} (R^{(0)}{22})^* R^{(0)}{22} = (0 + 1)^* +(0 + 1)^* ((0 + 1)^)^ (0 + 1)^* = (0 + 1)^* \[1em] R^{(0)}{01} &= R^{(-1)}{01} + R^{(-1)}{00} (R^{(-1)}{00})^* R^{(-1)}{01} = 0 + 1 \cdot (1)^* \cdot 0 = 1^0 \ R^{(0)}{11} &= R^{(-1)}{11} + R^{(-1)}{10} (R^{(-1)}{00})^ R^{(-1)}_{01} = \varnothing + 1 \cdot (1)^* \cdot 0 = 11^*0 \end{aligned} $$

所以：

$$ \begin{aligned} R^{(1)}{02} &= 1^*0 (11^0)^ 0\ R^{(1)}{22} &= (0 + 1)^* \[2em] R^{(2)}{02} &= R^{(1)}{02} + R^{(1)}{02} (R^{(1)}{22})^* R^{(1)}_{22} \ &= 1^0 (11^0)^ 0 + 1^0 (11^0)^ 0 ((0 + 1)^)^ (0 + 1)^* \ &= 1^0 (11^0)^ 0 (0 + 1)^ \ \end{aligned} $$

[形式语言与自动机] NFA非确定有穷自动机

Sat, 30 May 2026 16:24:00 GMT

非确定有穷自动机的定义

非确定有穷自动机（NFA）是一个五元组：

$$A = (Q, \Sigma, \delta, q_0, F)$$

其中：

$Q$ 是一个有限的状态集合
$\Sigma$ 是一个有限的输入符号集合（字母表）
$\delta: Q \times (\Sigma \cup {\epsilon}) \to 2^Q$ 是状态转移函数，定义了在给定状态和输入符号的情况下，自动机可以转移到哪些下一个状态。这里，$\epsilon$表示空字符串，允许自动机在没有输入符号的情况下进行状态转移
$q_0 \in Q$ 是初始状态
$F \subseteq Q$ 是终结状态集或接受状态集合

其中和DFA的区别在于$\delta$的定义，DFA的$\delta$是一个函数，定义了每个状态和输入符号对应一个唯一的下一个状态，而NFA的$\delta$是一个多值函数，定义了每个状态和输入符号对应一组可能的下一个状态

条件

转移是非确定的：对于每个状态 $q \in Q$ 和每个输入符号 $a \in \Sigma$，转移函数 $\delta(q, a)$ 定义了一组可能的下一个状态
NFA在任何时候可以处于多个状态
NFA接受一个字符串，如果从初始状态出发，按照输入字符串的符号进行状态转移，最终停在一个接受状态上
NFA拒绝一个字符串，如果从初始状态出发，按照输入字符串的符号进行状态转移，最终停在一个非接受状态上或者输入字符串仍有剩余但没有可用的转移(即使当前停在接受状态上)
NFA可以有ε-转移，即可以在没有输入符号的情况下进行状态转移

关系

每个DFA都是一个NFA，因为DFA的转移函数满足NFA的定义
每个NFA都可以转换成一个等价的DFA，虽然转换可能会导致状态数量的指数增长
DFA和NFA接受同样的语言，即它们识别的语言类是相同的，称为正则语言

对于NFA的$\delta$的理解可以参考类UNIX系统调用的fork，NFA的$\delta$就类似于fork，允许自动机在当前状态下分叉成多个状态

转换成DFA-子集构造法

e.g.

现有一NFA如下：

状态	输入0	输入1
$\rightarrow q_0$	${q_0, q_1}$	${q_0}$
$q_1$	${q_2}$	${q_1}$
$\ast q_2$	${q_2}$	${q_2}$

通过子集构造法得到DFA：

状态	输入0	输入1
$\rightarrow {q_0}$	${q_0, q_1}$	${q_0}$
${q_0, q_1}$	${q_0, q_1, q_2}$	${q_0, q_1}$
$\ast {q_0, q_1, q_2}$	${q_0, q_1, q_2}$	${q_0, q_1, q_2}$

也就是把状态的集合作为一个新状态，每次输入后把所有输出收集起来拼成一个集合作为新的状态，直到没有新的状态产生为止

[形式语言与自动机] DFA确定有穷自动机

Sat, 30 May 2026 16:20:00 GMT

确定有穷自动机的定义

确定有穷自动机（DFA）是一个五元组：

$$A = (Q, \Sigma, \delta, q_0, F)$$

其中：

$Q$ 是一个有限的状态集合
$\Sigma$ 是一个有限的输入符号集合（字母表）
$\delta: Q \times \Sigma \to Q$ 是状态转移函数，定义了在给定状态和输入符号的情况下，自动机如何转移到下一个状态
$q_0 \in Q$ 是初始状态
$F \subseteq Q$ 是终结状态集或接受状态集合

条件

转移是确定且唯一的：对于每个状态 $q \in Q$ 和每个输入符号 $a \in \Sigma$，转移函数 $\delta(q, a)$ 定义了一个唯一的下一个状态
DFA在任何时候只能处于一个状态
DFA接受一个字符串，如果从初始状态出发，按照输入字符串的符号进行状态转移，最终停在一个接受状态上
DFA拒绝一个字符串，如果从初始状态出发，按照输入字符串的符号进行状态转移，最终停在一个非接受状态上
DFA不能有ε-转移，即不能在没有输入符号的情况下进行状态转移

DFA最小化

设有以下DFA：

状态	0	1
$\rightarrow q_0$	$q_1$	$q_2$
$q_1$	$q_3$	$q_4$
$q_2$	$q_3$	$q_4$
$\ast q_3$	$q_3$	$q_3$
$\ast q_4$	$q_4$	$q_4$

Moore算法(填表法，推荐使用)

接受状态有$q_3, q_4$，非接受状态有$q_0, q_1, q_2$

首先需要得到所有无序状态对，即所有状态两两组合的集合，因此按如下所示画表格：

横轴没有$q_0$，纵轴没有$q_4$，这样正好错开($(q_n,q_n)$没有用)，当然都写上也是可以的，只是为了省空间

	$q_1$	$q_2$	$q_3$	$q_4$
$q_0$
$q_1$
$q_2$
$q_3$

首轮标记

只要状态对里两个状态不是相同类型的状态（一个是接受状态，一个是非接受状态），就标记为不同，标记为X，即：

只关注$(q_n,q_m), n < m$，因此只标记上三角部分

	$q_3$	$q_4$
$q_0$	X	X
$q_1$	X	X
$q_2$	X	X
$q_3$

迭代

检查尚未被X标记的状态对，对其尝试每个输入符号，检查要转移到的下一状态属于的状态对是否已被X标记，如果是，则当前状态对也标记为X，否则不标记。

还剩$(q_0,q_1), (q_0,q_2), (q_1,q_2), (q_3,q_4)$，检查：

$(q_0,q_1)$，输入0转移到$(q_1,q_3)$，已标记为X，因此标记$(q_0,q_1)$为X，无需再试1
$(q_0,q_2)$，输入0转移到$(q_1,q_3)$，已标记为X，因此标记$(q_0,q_2)$为X
$(q_1,q_2)$，输入0转移到$(q_3,q_3)$，未标记，输入1转移到$(q_4,q_4)$，未标记，因此不标记
$(q_3,q_4)$，输入0转移到$(q_3,q_4)$，未标记，输入1转移到$(q_3,q_4)$，未标记，因此不标记

	$q_1$	$q_2$	$q_3$	$q_4$
$q_0$	X	X	X	X
$q_1$			X	X
$q_2$			X	X
$q_3$

再次迭代：

还剩$(q_1,q_2), (q_3,q_4)$，检查：

$(q_1,q_2)$，输入0转移到$(q_3,q_3)$，未标记，输入1转移到$(q_4,q_4)$，未标记，因此不标记
$(q_3,q_4)$，输入0转移到$(q_3,q_4)$，未标记，输入1转移到$(q_3,q_4)$，未标记，因此不标记

转移到的都是自身，迭代完成

最终所有没被画X的状态对是可合并的等价状态

空白的有$(q_1,q_2), (q_3,q_4)$，因此可以合并为两个状态，最终得到最小化DFA：

状态	0	1
$\rightarrow q_0$	${q_1, q_2 }$	${q_3, q_4}$
$\ast {q_1, q_2}$	${q_3, q_4}$	${q_3, q_4}$
$\ast {q_3, q_4}$	${q_3, q_4}$	${q_3, q_4}$

划分法

容易错，不写了

[人工智能数学基础] 向量&矩阵求导

Wed, 13 May 2026 20:54:00 GMT

注：分母布局

$$ \begin{aligned} \frac{\partial \mathbf{a}^T \mathbf{x}}{\partial \mathbf{x}} &= \mathbf{a} \[1em] \frac{\partial \mathbf{x}^T \mathbf{a}}{\partial \mathbf{x}} &= \mathbf{a} \[1em] \frac{\partial \mathbf{x}^T \mathbf{x}}{\partial \mathbf{x}} &= 2\mathbf{x} \[1em] \frac{\partial \mathbf{a}^T A \mathbf{x}}{\partial \mathbf{x}} &= A^T \mathbf{a} \[1em] \frac{\partial \mathbf{x}^T A \mathbf{a}}{\partial \mathbf{x}} &= A \mathbf{a} \[1em] \frac{\partial \mathbf{x}^T A \mathbf{x}}{\partial \mathbf{x}} &= (A + A^T) \mathbf{x} \end{aligned} $$

[人工智能数学基础] 凸优化

Mon, 04 May 2026 09:37:00 GMT

凸集

凸集是指对于集合中的任意两点，连接这两点的线段也完全包含在该集合中

性质：

交集：任意数量的凸集的交集仍然是凸集
凸包：任意集合的凸包是包含该集合的最小凸集
仿射变换：凸集在仿射变换下仍然是凸集(仿射变换：线性变换 $\cup$ 平移)

凸函数

一个函数 $f: \mathbb{R}^n \to \mathbb{R}$ 是凸函数，如果对于任意 $x, y \in \mathbb{R}^n$ 和 $\lambda \in [0, 1]$，满足：

$$f(\lambda x + (1 - \lambda) y) \leq \lambda f(x) + (1 - \lambda) f(y)$$

对于一元标量函数 $f: \mathbb{R} \to \mathbb{R}$，就是函数上的任意两点之间的线段在函数图像上方

琴生不等式

若 $f$ 是一个凸函数，则对于任意 $x, y \in \mathbb{R}^n$ 和 $\lambda \in [0, 1]$，有：

$$f(\lambda x + (1 - \lambda) y) \leq \lambda f(x) + (1 - \lambda) f(y)$$

线性规划问题

线性规划问题是指优化一个线性目标函数，约束条件也是线性的优化问题

标准形式

$$ \begin{aligned} \max \quad & c^T x \ \text{s.t.} \quad & Ax \leq b \ & x \geq 0 \end{aligned} $$

代数法解线性规划问题

[人工智能数学基础] 不确定度量与熵

Sun, 03 May 2026 14:45:00 GMT

自信息量

一个随机事件的自信息量定义为该事件发生的概率的负对数：

$$I(x) = -\log P(x)$$

信息量的单位取决于对数所用的底数

2: 比特
$e$: 奈特
10: 哈特

该事件的不确定性越大，信息量越大；反之亦然

满足相加性：对于两个独立事件 $x$ 和 $y$，有

$$I(x, y) = -\log(P(x)P(y)) = -\log P(x) -\log P(y) = I(x) + I(y)$$

熵

熵是一个随机变量的不确定性的度量。对于一个离散随机变量 $X$，其熵定义为：

$$H(X) = -\sum_{x \in X} P(x) \log P(x)$$

熵是自信息量的期望值，表示平均每个事件的信息量

因此也满足自信息量的性质

互信息量

由于已知变量 $Y$ 的值，变量 $X$ 的不确定性减少了多少？

假设有两个随机变量 $X$ 和 $Y$，它们的联合概率分布为 $P(X, Y)$，边缘概率分布分别为 $P(X)$ 和 $P(Y)$

互信息量定义为：

$$ \begin{aligned} I(X; Y) &= \sum_{x \in X} \sum_{y \in Y} P(x, y) \log \frac{P(x, y)}{P(x)P(y)} \[1.5em] &= H(X) - H(X|Y) \ &= H(X) + H(Y) - H(X, Y) \end{aligned} $$

性质：

非负性：$I(X; Y) \geq 0$
对称性：$I(X; Y) = I(Y; X)$
极值：$I(X; Y) \leq \min(H(X), H(Y))$

交叉熵

交叉熵是衡量两个概率分布之间差异的度量。对于两个概率分布 $P$ 和 $Q$，交叉熵定义为：

$$H(P, Q) = -\sum_{x} P(x) \log Q(x)$$

交叉熵可以看作是使用分布 $Q$ 来编码分布 $P$ 的平均编码长度

交叉熵与 KL 散度的关系：

$$H(P, Q) = H(P) + D_{KL}(P | Q)$$

相对熵（KL 散度）

KL 散度是衡量两个概率分布之间差异的度量。对于两个概率分布 $P$ 和 $Q$，KL 散度定义为：

$$D_{KL}(P | Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)}$$

KL 散度可以看作是使用分布 $Q$ 来编码分布 $P$ 的额外编码长度

KL 散度的性质：

非负性：$D_{KL}(P | Q) \geq 0$
不对称性：$D_{KL}(P | Q) \neq D_{KL}(Q | P)$
当且仅当 $P = Q$ 时，$D_{KL}(P | Q) = 0$

詹森不等式

詹森不等式是一个重要的数学工具，用于证明熵和 KL 散度的非负性。对于一个凸函数 $f$ 和一个随机变量 $X$，詹森不等式表明：

$$f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]$$

[人工智能数学基础] 快速写出旋转矩阵

Sat, 25 Apr 2026 14:28:00 GMT

旋转方向

常见的都是右手坐标系

右手螺旋定则：大拇指指向旋转轴的正方向时，四指弯曲的方向就是旋转的正方向

也就是从旋转轴正方向看去的逆时针为正($\theta > 0$)

二维旋转矩阵

只需先写出二维空间的正交基：

$$ \mathbf{e_1} = \begin{bmatrix}1 \ 0\end{bmatrix}, \quad \mathbf{e_2} = \begin{bmatrix}0 \ 1\end{bmatrix} $$

然后将它们分别旋转$\theta$角度，得到新的基：

$$ \mathbf{e_1'} = \begin{bmatrix}\cos \theta \ \sin \theta\end{bmatrix}, \quad \mathbf{e_2'} = \begin{bmatrix}-\sin \theta \ \cos \theta\end{bmatrix} $$

最后将新的基按列拼成矩阵：

$$ R = \begin{bmatrix}\cos \theta & -\sin \theta \ \sin \theta & \cos \theta\end{bmatrix} $$

三维(以及更高维)旋转矩阵

只是二维旋转的推广

只需保持未旋转的基不变，另外两个被旋转的基的「旋转轴上的分量」为0即可

e.g.: 绕$z$轴旋转$\theta$角度：

此时「旋转轴上的分量」就是$z$轴上的分量，所以$\mathbf{e_3}$不变，$\mathbf{e_1}$和$\mathbf{e_2}$的$z$轴分量为0：

$$ R_z = \begin{bmatrix}\cos \theta & -\sin \theta & 0 \ \sin \theta & \cos \theta & 0 \ 0 & 0 & 1\end{bmatrix} $$

[人工智能数学基础] 重数

Sat, 25 Apr 2026 14:21:00 GMT

设$A$是一个$n \times n$的矩阵，$\lambda$是$A$的一个特征值

几何重数(GM)

对应于特征值$\lambda$的特征向量中线性无关的最大个数

其实就是$(A - \lambda I)$的零空间的维度

e.g.: 如果$\lambda = 2$的特征向量中线性无关的就只有一个$\mathbf{v_1}$，则$\lambda = 2$的几何重数是1

代数重数(AM)

$\lambda$的代数重数是解特征方程时该$\lambda$解出来的次数

e.g.: $(\lambda - 2)^3 = 0$，则$\lambda = 2$的代数重数是3

关系(对于每个特征值$\lambda$)

$$ 1 \leq \text{几何重数} \leq \text{代数重数} $$

如果$\text{几何重数} = \text{代数重数}$，则矩阵$A$是可对角化的
如果$\text{几何重数} < \text{代数重数}$，则矩阵$A$是不可对角化的，称为亏缺矩阵(defective matrix)

不同特征值的特征向量一定线性无关，所以不同特征值的几何重数一定是1，换言之，如果仅有一个线性无关的特征向量，那么一定存在重复特征值，也就是亏缺矩阵

[人工智能数学基础] 秩-零度化定理

Sat, 25 Apr 2026 14:08:00 GMT

秩-零度化定理

设$A$是一个$m \times n$的矩阵，则有：

$$\text{rank}(A) + \text{nullity}(A) = n$$

一些相关性质

$$ \text{rank}(A) = \text{行空间维度} = \text{列空间维度} $$

行空间和零空间是正交补

列空间不是

$$ A\mathbf{x} = 0 \quad \text{当且仅当} \quad \mathbf{x} \in \text{零空间} $$

由此可得$A$的零空间中每个向量$\mathbf{x}$都会与$A$的行空间中的每个向量$\mathbf{a}_i$满足：

$$ \mathbf{a}_i^T \mathbf{x} = 0 $$

内积得0说明它们是正交的

:::note

左零空间和列空间是正交补

$$ \mathbf{y}^T A = \mathbf{0} \quad \text{当且仅当} \quad \mathbf{y} \in \text{左零空间} $$

:::

[人工智能数学基础] 雅可比与海森矩阵

Sat, 25 Apr 2026 13:44:00 GMT

雅可比矩阵

设$f: \mathbb{R}^n \to \mathbb{R}^m$是一个向量值函数

$$ f(x_1, x_2, \ldots, x_n) = \begin{bmatrix}f_1(x_1, x_2, \ldots, x_n) \ f_2(x_1, x_2, \ldots, x_n) \ \vdots \ f_m(x_1, x_2, \ldots, x_n)\end{bmatrix} $$

则雅可比矩阵为：

$$ J_f = \begin{bmatrix} \dfrac{\partial f_1}{\partial x_1} & \dfrac{\partial f_1}{\partial x_2} & \cdots & \dfrac{\partial f_1}{\partial x_n} \ \dfrac{\partial f_2}{\partial x_1} & \dfrac{\partial f_2}{\partial x_2} & \cdots & \dfrac{\partial f_2}{\partial x_n} \ \vdots & \vdots & \ddots & \vdots \ \dfrac{\partial f_m}{\partial x_1} & \dfrac{\partial f_m}{\partial x_2} & \cdots & \dfrac{\partial f_m}{\partial x_n} \end{bmatrix}_{m \times n} $$

海森矩阵

设$f: \mathbb{R}^n \to \mathbb{R}$是一个标量值函数

其雅可比矩阵为：

$$ J_f = \begin{bmatrix} \dfrac{\partial f}{\partial x_1} & \dfrac{\partial f}{\partial x_2} & \cdots & \dfrac{\partial f}{\partial x_n} \end{bmatrix}_{1 \times n} $$

则海森矩阵为对雅可比矩阵某行($f$是标量函数时就一行)的每个元素求所有二阶偏导数：

或者可以说海森矩阵是「雅可比矩阵的转置的雅可比矩阵」

$H_f = J(\nabla f) = J(J_f^T)$

$$ H_f = \begin{bmatrix} \dfrac{\partial^2 f}{\partial x_1^2} & \dfrac{\partial^2 f}{\partial x_1 \partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_1 \partial x_n} \ \dfrac{\partial^2 f}{\partial x_2 \partial x_1} & \dfrac{\partial^2 f}{\partial x_2^2} & \cdots & \dfrac{\partial^2 f}{\partial x_2 \partial x_n} \ \vdots & \vdots & \ddots & \vdots \ \dfrac{\partial^2 f}{\partial x_n \partial x_1} & \dfrac{\partial^2 f}{\partial x_n \partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_n^2} \end{bmatrix}_{n \times n} $$

:::tip

如果$f$是一个向量值函数($f: \mathbb{R}^n \to \mathbb{R}^m$)，则海森矩阵是一个$m \times n \times n$的张量

:::

海森矩阵性质

海森矩阵是对称矩阵：$H_f^T = H_f$(通常情况下，除非$f$的二阶偏导数不连续)
海森矩阵的特征值可以用来判断函数的极值性质：
- 如果$H_f$的所有特征值都大于0(正定)，则$f$在该点是局部极小值
- 如果$H_f$的所有特征值都小于0(负定)，则$f$在该点是局部极大值
- 如果$H_f$的特征值有正又有负(不定)，则$f$在该点是一个鞍点
- 如果$H_f$的特征值中有0且非零值同号或全为0(奇异)，则需要进一步分析才能确定极值性质

[人工智能数学基础] Sherman-Morrison公式及其变体

Wed, 22 Apr 2026 16:03:00 GMT

假设我们刚刚算完一个巨大的矩阵$A$的逆矩阵$A^{-1}$，但现在$A$被加上了一个秩为1的微扰(一个向量外积$uv^T$)，Sherman-Morrison公式让我们可以基于$A^{-1}$快速计算出新的矩阵$(A + uv^T)^{-1}$的逆矩阵，而不需要重新计算整个逆矩阵

Sherman-Morrison恒等式

$$ (A + uv^T)^{-1} = A^{-1} - \frac{A^{-1}uv^TA^{-1}}{1 + v^TA^{-1}u} $$

前提条件是$1 + v^TA^{-1}u \neq 0$，否则新的矩阵将不可逆(很明显分母不能为零)

Sherman-Morrison-Woodbury恒等式

$A$为$d \times d$的可逆矩阵，若$U$和$V$分别是$d \times k$和$d \times k$的矩阵，$k$为较小的值时：

$$ (A + UV^T)^{-1} = A^{-1} - A^{-1}U(I + V^TA^{-1}U)^{-1}V^TA^{-1} $$

前提条件是$I + V^TA^{-1}U$必须可逆

[人工智能数学基础] 最小二乘法

Tue, 21 Apr 2026 17:58:00 GMT

最小二乘法的线代表示

给定$m$个数据点 $(x_i, y_i)$，我们希望找到一个函数 $f(x)$ 来拟合这些数据点

设拟合目标函数为:

$$ \begin{aligned} f(x) &= a_0 + a_1 x + a_2 x^2 + \cdots + a_n x^n \ &= \begin{bmatrix} 1 & x & x^2 & \cdots & x^n \end{bmatrix} \begin{bmatrix} a_0 \ a_1 \ a_2 \ \vdots \ a_n \end{bmatrix} \end{aligned} $$

所以我们的目标就是求解参数向量 $\mathbf{a} = [a_0, a_1, a_2, \cdots, a_n]^T$

于是可以将该拟合问题转化成一个解线性方程组问题：

将每个数据点 $(x_i, y_i)$ 代入拟合函数 $f(x)$ 中，我们得到以下超定方程组($m > n$)：

$$ \begin{bmatrix} 1 & x_1 & x_1^2 & \cdots & x_1^n \ 1 & x_2 & x_2^2 & \cdots & x_2^n \ 1 & x_3 & x_3^2 & \cdots & x_3^n \ \vdots & \vdots & \vdots & \ddots & \vdots \ 1 & x_m & x_m^2 & \cdots & x_m^n \end{bmatrix} \begin{bmatrix} a_0 \ a_1 \ a_2 \ \vdots \ a_n \end{bmatrix}

\begin{bmatrix} y_1 \ y_2 \ y_3 \ \vdots \ y_m \end{bmatrix} $$

简写为：

$$ \mathbf{X} \mathbf{a} = \mathbf{y} $$

可以看到$X$的维度是$m \times (n+1)$，这个方程肯定是无精确解的，所以我们需要定义残差向量(损失)$\mathbf{r}$为真实值与预测值之差：

$$ \mathbf{r} = \mathbf{y} - \mathbf{X} \mathbf{a} $$

但$r$是一个向量，为了直观且便于计算，通常使用残差平方和(RSS)来衡量拟合的好坏：

$$ RSS(\mathbf{a}) = \Vert \mathbf{r} \Vert^2 = (\mathbf{y} - \mathbf{X} \mathbf{a})^T (\mathbf{y} - \mathbf{X} \mathbf{a}) $$

为了找到$RSS(\mathbf{a})$的最小值，我们对$\mathbf{a}$求导并设置为零：

$$ \begin{aligned} \frac{\partial RSS}{\partial \mathbf{a}} &= -2 \mathbf{X}^T (\mathbf{y} - \mathbf{X} \mathbf{a}) \ &= -2 \mathbf{X}^T \mathbf{y} + 2 \mathbf{X}^T \mathbf{X} \mathbf{a} \end{aligned} $$

设置导数为零：

$$ -2 \mathbf{X}^T \mathbf{y} + 2 \mathbf{X}^T \mathbf{X} \mathbf{a} = 0 $$

简化得到了最小二乘法的正规方程：

$$ \mathbf{a} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} $$

如果此时$\mathbf{X}^T \mathbf{X}$恰好满秩(可逆)且是良态，那就直接解吧

什么是良态&病态&条件数

如果$\mathbf{X}^T \mathbf{X}$不可逆或病态怎么办

SVD奇异值分解(伪逆)

其实用这个方法的话不到正规方程那步就可以

$$ \begin{aligned} \mathbf{X} &= \mathbf{U} \Sigma \mathbf{V}^T \ \mathbf{a} &= X^{-1}\mathbf{y} \ &= X^\dagger \mathbf{y} \ &= \mathbf{V} \Sigma^{\dagger} \mathbf{U}^T \mathbf{y} \end{aligned} $$

$\Sigma^{\dagger}$是$\Sigma$的伪逆，计算方法是将$\Sigma$中非零奇异值取倒数，0奇异值保持为0，然后转置

除了又重又慢以外毫无缺点

L2正则化(岭回归, Ridge, Tikhonov正则化)

正则化就是在残差基础上加上一个惩罚项，来限制模型的复杂度，防止数值不稳定

$$ \begin{aligned} J(\mathbf{a}) &= RSS(\mathbf{a}) + \lambda \Vert \mathbf{a} \Vert^2_2 \ &= (\mathbf{y} - \mathbf{X} \mathbf{a})^T (\mathbf{y} - \mathbf{X} \mathbf{a}) + \lambda \mathbf{a}^T \mathbf{a} \end{aligned} $$

直观上理解就像用一个圆形围墙将$\mathbf{a}$限制在一个范围内，当$\Vert \mathbf{a} \Vert_2$变大，损失会迅速增大，所以岭回归这个名字很形象

对$J(\mathbf{a})$求导并设置为零：

$$ \begin{aligned} \frac{\partial J}{\partial \mathbf{a}} &= -2 \mathbf{X}^T (\mathbf{y} - \mathbf{X} \mathbf{a}) + 2 \lambda \mathbf{a} \ &= -2 \mathbf{X}^T \mathbf{y} + 2 \mathbf{X}^T \mathbf{X} \mathbf{a} + 2 \lambda \mathbf{a} \end{aligned} $$

设置导数为零得到带L2正则化的正规方程：

$$ \mathbf{a} = (\mathbf{X}^T \mathbf{X} + \lambda \mathbf{I})^{-1} \mathbf{X}^T \mathbf{y} $$

其中$\mathbf{I}$是单位矩阵，$\lambda$是正则化强度的超参数，通常需要通过交叉验证来选择合适的$\lambda$值

L1正则化(套索回归, Lasso)

L1正则化的损失函数定义为：

$$ \begin{aligned} J(\mathbf{a}) &= RSS(\mathbf{a}) + \lambda \Vert \mathbf{a} \Vert_1 \ &= (\mathbf{y} - \mathbf{X} \mathbf{a})^T (\mathbf{y} - \mathbf{X} \mathbf{a}) + \lambda \sum_{i=1}^{n} |a_i| \end{aligned} $$

这东西有绝对值，不可导，也就没有对应的正规方程，只能用数值优化方法来求解

其中一个最常见的是坐标下降法，它的核心思想是每次固定其他参数，只优化一个参数，交替进行直到收敛

优化目标：

$$ \min_{\mathbf{a}} \frac{1}{2} \Vert \mathbf{y} - \mathbf{X} \mathbf{a} \Vert^2_2 + \lambda \Vert \mathbf{a} \Vert_1 $$

:::tip $RSS(\mathbf{a})$变成$\dfrac{1}{2} \Vert \mathbf{y} - \mathbf{X} \mathbf{a} \Vert^2_2$是因为在优化过程中这两个损失是等价的(都是二次函数)，$\dfrac{1}{2}$纯是为了求导完跟2消掉好看 :::

计算部分残差：

$$ \rho_j = \mathbf{x}j^T(\mathbf{y} - \sum{k \neq j} a_k \mathbf{x}_k) $$

其中$\mathbf{x}_j$是$\mathbf{X}$的第$j$列，$a_k$是参数向量$\mathbf{a}$的第$k$个元素，左乘$\mathbf{x}_j^T$是投影(内积)，部分残差的含义为「当第$j$个参数不参与拟合时，剩余的误差与第$j$个特征的相关程度」

软阈值算子：

$$ a_j = \begin{cases} \dfrac{\rho_j}{\Vert \mathbf{x}_j \Vert^2} & \text{if } j = 0 \quad \text{(偏移量)} \[1em] \dfrac{\rho_j - \lambda}{\Vert \mathbf{x}_j \Vert^2} & \text{if } \rho_j > \lambda \[1em] \dfrac{\rho_j + \lambda}{\Vert \mathbf{x}_j \Vert^2} & \text{if } \rho_j < -\lambda \[1em] 0 & \text{if } |\rho_j| \leq \lambda \end{cases} $$

原理是$\rho_j$大于$|\lambda|$就往里收一点，小于就直接变0，把偏移量单独拿出来是防止偏移量被限制活动范围，导致无法拟合偏离中心的数据，除以$\Vert \mathbf{x}_j \Vert^2$是为了归一化特征的尺度

部分更新残差向量：

为了避免每次迭代都重新计算巨大的矩阵乘法，所以采用增量更新

$$ \mathbf{r}{\text{new}} = \mathbf{r}{\text{old}} - \mathbf{x}_j(a_j - a_j^{\text{old}}) $$

矩阵的条件数

理论上可逆不代表工程上真的能用，因为数值计算中可能会遇到病态矩阵，即矩阵的条件数非常大，导致解不稳定

矩阵$\mathbf{X}$的条件数定义为：

$$ \kappa(\mathbf{X}) = \Vert \mathbf{X} \Vert \cdot \Vert \mathbf{X}^{-1} \Vert $$

其中$\Vert \cdot \Vert$表示某种范数，$\kappa(\mathbf{X}) \in [1, +\infty)$

良态: $\kappa(\mathbf{X})$接近1，说明$\mathbf{X}$的列向量之间强线性无关(高度正交)，解稳定
病态: $\kappa(\mathbf{X})$很大，说明$\mathbf{X}$的列向量之间接近线性相关，解不稳定，对输入的微小变化可能导致输出的巨大变化

Hager算法

Hager算法用于估算条件数公式中的$\Vert \mathbf{A}^{-1} \Vert$:

优化目标：

$$ \max \Vert \mathbf{A^{-1}} \mathbf{v} \Vert_1 \quad \text{其中 } \Vert \mathbf{v} \Vert_1 = 1 $$

在单位球面上找一个向量$\mathbf{v}$，使得被$\mathbf{A^{-1}}$变换后的向量最长

先随机选一个初始向量$\mathbf{b}$
解方程组$\mathbf{A} \mathbf{x} = \mathbf{b}$(使用LU分解)，得到$\mathbf{x} = \mathbf{A^{-1}} \mathbf{b}$
对$f= \Vert \mathbf{x} \Vert_1$求梯度

$$ \nabla_{\mathbf{b}} f = (\frac{\partial \mathbf{x}}{\partial \mathbf{b}})^T \nabla_{\mathbf{\mathbf{x}}} f = (A^{-1})^T \nabla_{\mathbf{x}} f = (A^T)^{-1} \nabla_{\mathbf{x}} f $$

因为绝对值函数的梯度是符号函数，所以$\nabla_{\mathbf{x}} f = \text{sign}(\mathbf{x})$

得到:

$$ \begin{aligned} \mathbf{z} &= (A^T)^{-1} \text{sign}(\mathbf{x}) \[1em] A^T \mathbf{z} &= \text{sign}(\mathbf{x}) \end{aligned} $$

解方程组$\mathbf{A}^T \mathbf{z} = \text{sign}(\mathbf{x})$得到$\mathbf{z}$(刚刚已经对$A$进行过LU分解，此步很快)，得到绝对值最大分量的索引$j=\arg \max_i |z_i|$，如果$|z_j| > z^T\mathbf{b}$，说明在$j$的方向上可以找到一个更大的值，所以更新$\mathbf{b}$为单位向量$\mathbf{e}_j$并重复以上过程，否则说明已经找到最大值了，此时$\mathbf{b}$就是算法结果

[人工智能数学基础] 矩阵分解

Sun, 19 Apr 2026 10:33:00 GMT

工程上通常会用矩阵分解来求解线性方程组

LU分解

将矩阵分解为一个下三角矩阵和一个上三角矩阵的乘积：

$$A = LU$$

其中$L$是下三角矩阵，$U$是上三角矩阵

下三角矩阵：所有元素在主对角线以下的矩阵，主对角线元素可以是任意值
上三角矩阵：所有元素在主对角线以上的矩阵，主对角线元素可以是任意值

LU手算方法

将矩阵$A$进行高斯消元，得到一个上三角矩阵$U$，消元时$R_i - k R_j$(第$i$行减去第$j$行的$k$倍)的系数$k$就是下三角矩阵$L$中元素$l_{ij}$的值

e.g.:

$$ A = \begin{bmatrix} 2 & 3 \ 4 & 7 \end{bmatrix} \quad \rightarrow \quad U = \begin{bmatrix} 2 & 3 \ 0 & 1 \end{bmatrix} \quad \rightarrow \quad L = \begin{bmatrix} 1 & 0 \ 2 & 1 \end{bmatrix} $$

[!NOTE] 定型文：直接解$Ax = b$和先LU分解再解方程，复杂度都是$O(n^3)$，为什么还要分解？

LU分解可以复用：如果要解多个方程$Ax = b_i$，只需要一次LU分解，后续每个方程的求解复杂度是$O(n^2)$，比直接解每个方程的$O(n^3)$更高效

空间复杂度低：LU分解为"原地"操作，可用原A的空间存储L和U

行列式计算简单：$\det(A) = \det(L) \cdot \det(U)$，其中$\det(L) = 1$，所以$\det(A) = \prod_{i=1}^n u_{ii}$，只需要计算上三角矩阵$U$的对角线元素的乘积即可

数值稳定性：LU分解可以通过部分选主元来提高数值稳定性，避免除以小数导致的误差放大

求逆更快

QR分解

将矩阵分解为一个正交矩阵和一个上三角矩阵的乘积：

$$A = QR$$

其中$Q$是正交矩阵，$R$是上三角矩阵

QR手算方法

使用格拉姆-施密特正交化方法将矩阵$A$的列向量正交化，得到一个正交矩阵$Q$，正交化过程中每个列向量的长度就是上三角矩阵$R$中的元素

e.g.:

$$ A = \begin{bmatrix} 3 & 1 \ 4 & 2 \end{bmatrix} \[1em] A = \left [ \mathbf{a_1}, \mathbf{a_2} \right ] \ Q = \left [ \mathbf{q_1}, \mathbf{q_2} \right ] $$

先算$\mathbf{q_1}$：

$$ \mathbf{q_1} = \frac{\mathbf{a_1}}{\Vert \mathbf{a_1}\Vert} = \frac{1}{5} \begin{bmatrix} 3 \ 4 \end{bmatrix} $$

然后算$\mathbf{a_2}$在$\mathbf{q_1}$上的投影：

$$ \text{proj}_{\mathbf{q_1}} \mathbf{a_2} = \left( \frac{\mathbf{a_2} \cdot \mathbf{q_1}}{\mathbf{q_1} \cdot \mathbf{q_1}} \right) \mathbf{q_1} = \frac{11}{25} \begin{bmatrix} 3 \ 4 \end{bmatrix} $$

得垂直向量$\mathbf{v_2}$：

$$ \mathbf{v_2} = \mathbf{a_2} - \text{proj}_{\mathbf{q_1}} \mathbf{a_2} = \begin{bmatrix} 1 \ 2 \end{bmatrix} - \frac{11}{25} \begin{bmatrix} 3 \ 4 \end{bmatrix} = \frac{1}{25} \begin{bmatrix} -8 \ 6 \end{bmatrix} $$

最后算$\mathbf{q_2}$：

$$ \mathbf{q_2} = \frac{\mathbf{v_2}}{\Vert \mathbf{v_2} \Vert} = \frac{1}{10} \begin{bmatrix} -8 \ 6 \end{bmatrix} $$

得到：

$$ Q = \frac{1}{5} \begin{bmatrix} 3 & -4 \ 4 & 3 \end{bmatrix} \quad \rightarrow \quad R = Q^T A = \begin{bmatrix} \Vert \mathbf{a_1} \Vert & \Vert \mathbf{\text{proj}_{\mathbf{q_1}} \mathbf{a_2}} \Vert \ 0 & \Vert \mathbf{v_2} \Vert \end{bmatrix} = \begin{bmatrix} 5 & 2.2 \ 0 & 0.4 \end{bmatrix} $$

奇异值分解(SVD)

$$A = U \Sigma V^T$$

其中$U$是左奇异矩阵，$\Sigma$是对角矩阵，$V^T$是右奇异矩阵的转置

SVD手算

这你要考手算那我还说啥了，分不要了呗

特征值分解(EVD)

$$A = PDP^{-1}$$

其中$P$是特征向量矩阵，$D$是特征值对角矩阵

EVD手算

计算矩阵$A$的特征值$\lambda$，通过求解特征多项式$\det(A - \lambda I) = 0$得到
对于每个特征值$\lambda$，求解特征向量$\mathbf{v}$，通过求解线性方程组$(A - \lambda I)\mathbf{v} = 0$得到
把特征值摆在$D$的对角线上，把对应的特征向量摆在$P$的列向量上
还要求$P^{-1}$，如果是对称矩阵，特征向量相互正交，$P$是正交矩阵，$P^{-1} = P^T$，否则需要通过其他方法求逆

Cholesky(科列斯基)分解

$$A = LL^T$$

其中$L$是下三角矩阵

Cholesky手算

LU分解升级版

对角线元素：$l_{ii} = \sqrt{a_{ii} - \sum_{k=1}^{i-1} l_{ik}^2}$
非对角线元素：$l_{ij} = \frac{1}{l_{jj}} \left( a_{ij} - \sum_{k=1}^{j-1} l_{ik} l_{jk} \right)$，其中$i > j$

e.g.:

$$ A = \begin{bmatrix} a_{11} & a_{12} & a_{13} \ a_{21} & a_{22} & a_{23} \ a_{31} & a_{32} & a_{33} \end{bmatrix} L = \begin{bmatrix} l_{11} & 0 & 0 \ l_{21} & l_{22} & 0 \ l_{31} & l_{32} & l_{33} \end{bmatrix} $$

先算第一列：

$$ l_{11} = \sqrt{a_{11}} \[1em] l_{21} = \frac{a_{21}}{l_{11}} \[1em] l_{31} = \frac{a_{31}}{l_{11}} $$

然后算第二列：

$$ l_{22} = \sqrt{a_{22} - l_{21}^2} \[1em] l_{32} = \frac{1}{l_{22}} \left( a_{32} - l_{31} l_{21} \right) $$

最后算第三列：

$$ l_{33} = \sqrt{a_{33} - (l_{31}^2 + l_{32}^2)} $$

[人工智能数学基础] 正则化

Sun, 19 Apr 2026 10:05:00 GMT

在训练过程中引入额外的约束或惩罚项，以防止模型过拟合，提高泛化能力

L1正则化(Lasso正则化)

在损失函数中加入模型参数的L1范数，定义为：

$$L = L_0 + \lambda \Vert w\Vert_1$$

其中$L_0$是原始损失函数，$w$是模型参数，$\lambda$是正则化强度的超参数 L1正则化的效果：

稀疏性：倾向于产生稀疏的模型参数，即许多参数被压缩为零，从而实现特征选择
适用于高维数据：在特征数量远大于样本数量的情况下，L1正则化可以有效地选择重要特征

L1正则化不可导，只能通过各种迭代优化算法求解，类似于：

$$w_i = \begin{cases} 0 & \text{if } |w_i| \leq \lambda \ w_i - \lambda & \text{if } w_i > \lambda \ w_i + \lambda & \text{if } w_i < -\lambda \end{cases}$$

L2正则化(Tikhonov正则化或岭(Ridge)回归)

$$ L = L_0 + \lambda \Vert w\Vert_2^2$$

L2正则化的效果：

权重衰减(Weight Decay)：倾向于产生较小的模型参数，但不会将它们压缩为零，从而实现权重衰减
适用于多重共线性：在特征之间存在高度相关性的情况下，L2正则化可以稳定模型的训练过程

L2正则化可导，可直接求解：

$$w = (X^TX + \lambda I)^{-1} X^Ty$$

其中可以得到彭罗斯伪逆的形式：

$$ w = X^\dagger y $$

$$ X^\dagger = \lim_{\lambda \to 0} (X^TX + \lambda I)^{-1} X^T \quad \text{适用于超定方程} \ X^\dagger = \lim_{\lambda \to 0} X^T (XX^T + \lambda I)^{-1} \quad \text{适用于欠定方程} $$

超定方程：样本多于特征，行多列少($m > n$)，$(X^TX + \lambda I)$是$n \times n$矩阵，算得快

欠定方程：样本少于特征，行少列多($m < n$)，$(XX^T + \lambda I)$是$m \times m$矩阵

[人工智能数学基础] 上下采样矩阵

Sun, 19 Apr 2026 10:00:00 GMT

上采样矩阵

增加原向量的维度，插入零元素：

$$ x = \begin{bmatrix} x_1 \ x_2 \end{bmatrix} \quad \rightarrow \quad U = \begin{bmatrix} 1 & 0 \ 0 & 0 \ 0 & 1 \ 0 & 0 \end{bmatrix} \quad \rightarrow \quad Ux = \begin{bmatrix} x_1 \ 0 \ x_2 \ 0 \end{bmatrix} $$

下采样矩阵

减少原向量的维度，丢弃元素：

$$ x = \begin{bmatrix} x_1 \ x_2 \ x_3 \ x_4 \end{bmatrix} \quad \rightarrow \quad D = \begin{bmatrix} 1 & 0 & 0 & 0 \ 0 & 0 & 1 & 0 \end{bmatrix} \quad \rightarrow \quad Dx = \begin{bmatrix} x_1 \ x_3 \end{bmatrix} $$

上下采样矩阵的性质

根据上面两个例子，可以发现：

$$ U = D^T \ DU = I \ D \text{是}U\text{的左逆矩阵} $$

[人工智能数学基础] 一些矩阵基本概念

Sat, 18 Apr 2026 14:14:00 GMT

秩(Rank)

矩阵的维数

线性无关的行或列的最大数量

计算方法：

高斯消元法：通过行变换将矩阵化为行阶梯形，非零行的数量即为秩
奇异值分解(SVD)：矩阵的秩等于其非零奇异值的数量
行列式：对于方阵，如果行列式不为零，则秩等于矩阵的大小；如果行列式为零，则秩小于矩阵的大小

迹(Trace)

矩阵的能量

矩阵对角线元素的和：

$$\text{tr}(A) = \sum_{i=1}^n a_{ii}$$

迹的性质：

轮换不变性：$\text{tr}(AB) = \text{tr}(BA)$
线性：$\text{tr}(A + B) = \text{tr}(A) + \text{tr}(B)$，$\text{tr}(\alpha A) = \alpha \text{tr}(A)$
$\text{tr}(A^) = \overline{\text{tr}(A)}$，其中$A^$是$A$的共轭转置

Spark

线性相关的列的最小数量

越大说明矩阵越稀疏

当要找一个$k$-稀疏的解(即解中最多有$k$个非零元素，$\Vert \mathbf{x} \Vert_0 \leq k$)时，若满足：

$$\Vert \mathbf{x} \Vert_0 < \frac{\text{spark}(A)}{2}$$

则该解是唯一的

共轭矩阵

共轭矩阵是指矩阵元素取共轭复数后的矩阵，记为$A^*$或$\overline{A}$：

$$\overline{A} = [\overline{a_{ij}}]$$

如果$A$是实数矩阵，则$\overline{A} = A$

共轭转置矩阵(也称为伴随或埃尔米特共轭)

此「伴随」和线性代数课里的「伴随矩阵」不是一个概念

共轭转置矩阵是指先取共轭矩阵再转置(其实先后都一样)的矩阵，记为$A^H$或$A^*$：

$$A^* = \overline{A}^T$$

如果$A$是实数矩阵，则$A^* = A^T$

若$A^* = A$，则称$A$为埃尔米特矩阵(也称自伴矩阵)，其特征值为实数

若$A^* = -A$，则称$A$为斜(反)埃尔米特矩阵，其特征值为纯虚数或0

酉(Unitary)矩阵

$U$是酉矩阵当且仅当$U^* U = U U^* = I$

性质:

$U^{-1} = U^*$

实正交(Real Orthogonal)矩阵(酉矩阵的特殊情况)

$A$是正交矩阵当且仅当$A^T A = I$

性质:

$A^{-1} = A^T$

正规(Normal)矩阵

$A$是正规矩阵当且仅当$A^* A = A A^*$

正定矩阵

$A$是正定矩阵当且仅当对于所有非零向量$x$，有$x^* A x > 0$

半正定矩阵

$A$是半正定矩阵当且仅当对于所有向量$x$，有$x^* A x \geq 0$

对合(Involution)矩阵

$A$是对合矩阵当且仅当$A^2 = I$

幂等(Idempotent)矩阵

$A$是幂等矩阵当且仅当$A^2 = A$

摩尔-彭若斯(Moore-Penrose)伪逆矩阵

方程$AX = B$无解时，$A$的伪逆$A^\dagger$可以提供一个最小二乘解：

$$ A^\dagger = (A^* A)^{-1} A^* \quad \text{(当$A$列满秩时)} \ X = A^\dagger B $$

条件：

$AA^\dagger A = A$
$A^\dagger A A^\dagger = A^\dagger$
$(AA^\dagger)^T = AA^\dagger$
$(A^\dagger A)^T = A^\dagger A$

Gram矩阵

每个元素是两个向量的内积

$$ G = A^* A $$

性质:

是埃尔米特矩阵
是半正定矩阵
$G$可逆 $\Leftrightarrow$ $A$列满秩(线性无关)

[人工智能数学基础] 空间

Sat, 18 Apr 2026 14:14:00 GMT

向量空间

向量空间是一个集合，满足以下条件：

向量加法：对于任意向量$u$和$v$，有$u + v$也是向量空间中的元素
数乘封闭：对于任意向量$u$和标量$\alpha$，有$\alpha u$也是向量空间中的元素
存在零向量：存在$\mathbf{0}$，使得对于任意向量$u$，有$u + \mathbf{0} = u$

常见的向量空间包括：

$\mathbb{R}^n$：所有$n$维实数向量的集合
$\mathbb{C}^n$：所有$n$维复数向量的集合

子空间

子空间是向量空间的一个子集，满足以下条件：

包含零向量：$\mathbf{0} \in W$
加法封闭性：对于任意$u, v \in W$，有$u + v \in W$
数乘封闭性：对于任意$u \in W$和标量$\alpha$，有$\alpha u \in W$

Span张成空间/生成空间

$Span$是一组向量经过线性组合后能到达的所有位置

$Span$的结果一定是一个子空间

$$ S = \left {v_1, v_2, ..., v_k \right } \ Span(S) = \left { c_1 v_1 + c_2 v_2 + ... + c_k v_k | c_i \in \mathbb{R} \right } $$

和

$U$和$W$是向量空间$V$的子空间，则$U$和$W$的和定义为：

$$ U + W = { u + w | u \in U, w \in W } $$

直和

当$U \cap W = {\mathbf{0}}$时，称$U + W$为$U$和$W$的直和，记为$U \oplus W$。此时，$V$中每个向量可以唯一表示为$u + w$的形式

重点在于唯一性

基

子空间的最小生成集合

基是一个向量集合，满足以下条件：

线性无关：集合中的向量之间没有线性关系
张成空间：集合中的向量可以通过线性组合生成整个空间
基中向量个数等于空间的维数

<!-- ## 内积空间

内积空间是在向量空间的基础上满足内积封闭性的空间

常见的内积(标准点积)定义为：

$$ \langle u, v \rangle : u^T v $$

定义了这个内积的有限维实向量空间被称为欧几里得空间

由这个内积定义可以诱导得到该空间下L2范数：

$$ |v|_2 = \sqrt{\langle v, v \rangle} $$

赋范空间

赋范空间是在向量空间的基础上满足范数封闭性的空间

常见的范数定义为：

完备的内积空间被称为希尔伯特空间
完备的赋范空间被称为巴拿赫空间 -->

[人工智能数学基础] 范数

Sat, 18 Apr 2026 14:00:00 GMT

所有范数的性质

非负：$|x| \geq 0$，且当且仅当$x=0$时$|x|=0$。
齐次：对于任意标量$\alpha$和向量$x$，有$|\alpha x| = |\alpha| |x|$。
三角不等式：对于任意向量$x$和$y$，有$|x+y| \leq |x| + |y|$

向量的范数

L1范数

也就是曼哈顿距离，定义为向量元素绝对值之和：

$$\Vert x\Vert_1 = \sum_{i=1}^n |x_i| $$

单位球是一个菱形（二维时），超正轴体，稀疏性较强，适合特征选择和稀疏表示

L2范数

欧几里得距离，定义为向量元素平方和的平方根：

$$\Vert x\Vert_2 = \sqrt{\sum_{i=1}^n x_i^2}$$

也就是向量的长度，单位球是（超）球体，不具备稀疏性

Lp范数

Lp范数是L1和L2范数的推广，定义为：

$$\Vert x\Vert_p = \left( \sum_{i=1}^n |x_i|^p \right)^{1/p}$$

$p \rightarrow \infty$时，Lp范数趋近于L∞范数。单位球趋近于一个（超）立方体，稀疏性极弱，抑制大值

加权p范数

加权p范数引入权重向量$w$，定义为：

$$\Vert x\Vert_{p,w} = \left( \sum_{i=1}^n w_i |x_i|^p \right)^{1/p}$$

L0范数（伪）

L0范数不是一个真正的范数(不满足齐次性)，定义为向量中非零元素的数量：

$$\Vert x\Vert_0 = \text{number of non-zero elements in } x$$

矩阵的范数

矩阵的范数通用性质在向量范数的基础上增加了次乘性：对于任意矩阵$A$和$B$，有$\Vert AB\Vert \leq \Vert A\Vert \Vert B\Vert$

Frobenius范数(希尔伯特-施密特范数)

类似于L2范数，定义为矩阵元素平方和的平方根：

$$\Vert A\Vert_F = \sqrt{\sum_{i=1}^m \sum_{j=1}^n a_{ij}^2}$$

特别性质：

与矩阵的迹相关：$\Vert A\Vert_F = \sqrt{\text{trace}(A^TA)} = \sqrt{\text{trace}(AA^T)}$
与矩阵的奇异值相关：$\Vert A\Vert_F = \sqrt{\sum_{i=1}^r \sigma_i^2}$，其中$r$是矩阵的秩，$\sigma_i$是矩阵的奇异值。（奇异值的L2范数）
与矩阵的特征值相关（必须是正规矩阵）：$\Vert A\Vert_F = \sqrt{\sum_{i=1}^n |\lambda_i|^2}$，其中$\lambda_i$是矩阵的特征值。（特征值的L2范数）

核范数

核范数是矩阵的奇异值的L1范数，定义为：

$$\Vert A\Vert_* = \sum_{i=1}^r \sigma_i$$

$r$是矩阵的秩

列和范数(L1诱导范数)

定义为矩阵列向量的L1范数的最大值：

$$\Vert A\Vert_1 = \max_{1 \leq j \leq n} \sum_{i=1}^m |a_{ij}|$$

谱范数(L2诱导范数)

定义为矩阵的最大奇异值：

$$\Vert A\Vert_2 = \sigma_{\max}$$

行和范数(L∞诱导范数)

定义为矩阵行向量的L1范数的最大值：

$$\Vert A\Vert_\infty = \max_{1 \leq i \leq m} \sum_{j=1}^n |a_{ij}|$$

在容器中开发ROS/ROS2

Thu, 11 Dec 2025 13:30:00 GMT

需要的工具

安装distrobox和podman或docker

生成nvidia的cdi配置（不需要独显可以跳过）

先安装nvdia-container-toolkit

sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml
sudo nvidia-ctk runtime configure --runtime=docker #虽说这里是docker但是podman也得用

# 如果用docker还需要重启docker服务
sudo systemctl restart docker

nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml这行命令貌似每次更新nvidia驱动都需要执行一次，nvidia的文档里也有自动生成的办法，不过更新也不频繁我觉得手动就行了

创建容器

distrobox create --name <实例名称> --additional-flags "--device nvidia.com/gpu=all" --image docker.io/nvidia/cuda:12.9.1-cudnn-runtime-ubuntu22.04

这里就用nvidia的带cudnn-runtime的镜像了，如果你不需要可以直接用ubuntu的官方镜像

如果不需要nvidia独显，无需添加--additional-flags "--device nvidia.com/gpu=all"

:::tip 如果担心容器和宿主机共享home会污染环境，可以用--home /path指定容器home的位置，而且这个只是用户目录本身，Documents目录等仍然会映射到宿主机对应位置 :::

:::warning 使用nvidia的镜像时会弹广告，这个广告内容会被旧版的distrobox当成命令执行导致报错，所以记得更新distrobox到最新版 :::

:::tip 至于为什么不用distrobox的--nvidia参数启用nvidia独显，因为它会把宿主机的libicudata挂载进容器，导致容器中无法安装libicu-dev :::

进入容器

distrobox enter <实例名称>

之后像正常使用Ubuntu一样安装ROS就好了

VsCode连接容器进行开发

无需在容器中安装vscode

安装插件

在宿主机的vscode中安装Dev Containers插件

修改设置

打开vscode设置->扩展->开发容器

dev.containers.dockerPath值改为podman（如果你用的是docker就不用改）
dev.containers.dockerSocketPath值改为/var/run/podman.sock

连接容器

点击vscode左下角远程图标->附加到正在运行的容器（提前distrobox enter）

用户设置

默认进入容器后是以UID 10000作为用户，会导致在宿主机上无法直接操作vscode创建的文件夹，可以在连接容器的配置中指定用户名

连接到容器后，按Ctrl+Shift+P，找到Dev Containers: Open Attached Container Configuration File，选择打开对应的配置文件（应该就一个，没得选），添加内容

"remoteUser": "<宿主机用户名>"

连接容器时启用ROS环境

按照这项修改后vscode中的clangd和cmake即可正常找到ROS相关的头文件和库

修改容器使用的shell对应的rc文件（~/.bashrc，~/.zshrc等），在最后添加

当然得是容器实际使用的rc文件，如果你在创建容器时用--home /path指定了其他位置作为容器的home的话就得是/path下的

source /opt/ros/<ros版本>/setup.<shell类型>

常见问题

`dpkg`报错`xserver-*`无法安装

类似于

 dpkg: error processing package xserver-xorg-input-all (--configure):

 dependency problems - leaving unconfigured

Errors were encountered while processing:

 keyboard-configuration

 xserver-xorg-core

 xserver-xorg-video-ati

 xserver-xorg-video-radeon

 xserver-xorg-input-wacom

 xserver-xorg-video-fbdev

 xserver-xorg-video-vmware

 xserver-xorg-video-intel

 xserver-xorg-video-all

 xserver-xorg-video-vesa

 xserver-xorg-video-qxl

 xserver-xorg-video-amdgpu

 xserver-xorg

 xserver-xorg-video-nouveau

 xserver-xorg-input-libinput

 xserver-xorg-input-all

E: Sub-process /usr/bin/dpkg returned an error code (1)

这个问题应该只会出现在安装ROS1的desktop-full时，因为是容器所以用不上这些包，就算要在容器里显示图形界面软件也用不上，可以直接移除掉

sudo apt remove --purge xserver-xorg-core
sudo apt autoremove

每次使用`apt`都有未设置语言环境的警告

先用apt安个编辑器vim,nano之类的都可以

sudo vim /etc/locale.gen

将en_US.UTF-8 UTF-8和zh_CN.UTF-8 UTF-8取消注释

sudo locale-gen

容器内的图形软件不用独显渲染

这个其实不是容器的问题，在哪都一样

需要在运行软件前设置环境变量

__NV_PRIME_RENDER_OFFLOAD=1 __VK_LAYER_NV_optimus=NVIDIA_only __GLX_VENDOR_LIBRARY_NAME=nvidia <命令>

为了方便可以在~/.bashrc或者~/.zshrc之类的里面加个别名（取决于你用什么shell）

alias prime-run='__NV_PRIME_RENDER_OFFLOAD=1 __VK_LAYER_NV_optimus=NVIDIA_only __GLX_VENDOR_LIBRARY_NAME=nvidia '

之后直接用prime-run <命令>就行

[工科概率论] 速记表

Thu, 27 Nov 2025 20:01:00 GMT

独立性条件

$$ \begin{aligned} P(AB) = P(A)P(B) \ f(x,y) = f_X(x) f_Y(y) \ F(x,y) = F_X(x) F_Y(y) \
\end{aligned} $$

全概率公式

$$ P(B) = \sum_{i=1}^{n} P(A_i) P(B|A_i) $$

贝叶斯公式

$$ P(A_i|B) = \frac{P(A_i) P(B|A_i)}{\sum_{j=1}^{n} P(A_j) P(B|A_j)} $$

离散分布

二项分布

$$ X \sim B(n,p) \[1em] E(X) = np \[1em] D(X) = np(1-p) $$

泊松分布

$$ X \sim Po(\lambda) \quad \text{或者是} P(\lambda) \[1em] f(x) = \frac{\lambda^x e^{-\lambda}}{x!} \quad x = 0,1,2,\ldots \[1em] E(X) = \lambda \[1em] D(X) = \lambda $$

几何分布

$$ X \sim G(p) \[1em] E(X) = \frac{1}{p} \[1em] D(X) = \frac{1-p}{p^2} $$

超几何分布

$$ X \sim H(N,M,n) \[1em] E(X) = n \frac{M}{N} \[1em] D(X) = n \frac{M}{N} \frac{N-M}{N} \frac{N-n}{N-1} $$

泊松近似二项分布

当$n$很大且$p$很小时，$np = \lambda$，则有

$$ P(X=k) \approx \frac{\lambda^k e^{-\lambda}}{k!} $$

查表得

连续分布

正态分布

$$ X \sim N(\mu, \sigma^2) \[1em] f(x) = \frac{1}{\sqrt{2 \pi} \sigma} \exp \left( -\frac{(x-\mu)^2}{2 \sigma^2} \right) \[1em] E(X) = \mu \[1em] D(X) = \sigma^2 $$

指数分布

$$ X \sim E(\lambda) \[1em] f(x) = \lambda e^{-\lambda x} \quad x \geq 0 \[1em] F(x) = 1 - e^{-\lambda x} \quad x \geq 0 \[1em] E(X) = \frac{1}{\lambda} \[1em] D(X) = \frac{1}{\lambda^2} $$

均匀分布

$$ X \sim U(a,b) \[1em] f(x) = \frac{1}{b-a} \[1em] E(X) = \frac{a+b}{2} \[1em] D(X) = \frac{(b-a)^2}{12} $$

独立可加性

$$ \begin{aligned} \text{正态分布} \quad &N(\mu_1, \sigma_1^2) + N(\mu_2, \sigma_2^2) = N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2) \[1em] \text{泊松分布} \quad &Po(\lambda_1) + Po(\lambda_2) = Po(\lambda_1 + \lambda_2) \[1em] \text{概率相同的二项分布} \quad &B(n_1, p) + B(n_2, p) = B(n_1 + n_2, p) \[1em] \text{卡方分布} \quad &\chi^2(n_1) + \chi^2(n_2) = \chi^2(n_1 + n_2) \end{aligned} $$

二维正态分布

$$ \begin{aligned} f(x,y) &= \frac{1}{2 \pi \sigma_X \sigma_Y \sqrt{1-\rho^2}} \exp \left( -\frac{1}{2(1-\rho^2)} \left[ \frac{(x-\mu_X)^2}{\sigma_X^2} - \frac{2 \rho (x-\mu_X)(y-\mu_Y)}{\sigma_X \sigma_Y} + \frac{(y-\mu_Y)^2}{\sigma_Y^2} \right] \right) \[1em] E(X) &= \mu_X \[1em] E(Y) &= \mu_Y \[1em] D(X) &= \sigma_X^2 \[1em] D(Y) &= \sigma_Y^2 \[1em] Cov(X,Y) &= \rho \sigma_X \sigma_Y \end{aligned} $$

分布函数与概率密度函数

分布函数需要满足的条件

$F(x)$单调不减
$F(-\infty) = 0, \quad F(+\infty) = 1$
$F(x)$右连续

概率密度函数需要满足的条件

$f(x) \geq 0$ 恒大于等于0
$\int_{-\infty}^{+\infty} f(x) , dx = 1$ 积分为1
$F(x) = \int_{-\infty}^{x} f(t) , dt$
$f(x) = \frac{d}{dx} F(x)$

随机变量的函数

公式法

$y = g(x)$ 在$(a,b)$ 单调, $x = h(y)$ 为其反函数, 则

$$ f_Y(y) = f_X(h(y)) |h'(y)|, \quad y \in (\min \left {g(a), g(b) \right } , \max \left {g(a), g(b) \right }) $$

二维随机变量的函数

卷积法

$$ f_{X+Y}(z) = \int_{-\infty}^{+\infty} f_X(x) f_Y(z-x) , dx \[1em] f_{X+Y}(z) = \int_{-\infty}^{+\infty} f_{X,Y}(x, z-x) , dx $$

二重积分法

省略

数字特征

期望

$$ E(X) = \int_{-\infty}^{+\infty} x f(x) , dx \[1em] E(X_{discrete}) = \sum_{i} x_i p_i $$

期望运算

$$ E[aX + bY + c] = aE(X) + bE(Y) + c $$

当$X$和$Y$独立时，有

$$ E(XY) = E(X) E(Y) $$

方差

$$ D(X) = E[(X - E(X))^2] = \boxed{E(X^2) - [E(X)]^2} \[1em] D(X) = \int_{-\infty}^{+\infty} (x - E(X))^2 f(x) , dx \[1em] D(X_{discrete}) = \sum_{i} (x_i - E(X))^2 p_i $$

方差运算

$$ D[aX + bY + c] = a^2 D(X) + b^2 D(Y) + 2ab Cov(X,Y) $$

协方差

$$ Cov(X,Y) = E[(X - E(X))(Y - E(Y))] = \boxed{E(XY) - E(X)E(Y)} \[1em] Cov(aX+b, cY+d) = ac Cov(X,Y) \[1em] Cov(X_1 + X_2, Y_1 + Y_2) = Cov(X_1, Y_1) + Cov(X_1, Y_2) + Cov(X_2, Y_1) + Cov(X_2, Y_2) \[1em] D(X) = Cov(X,X) $$

大数定律

马尔可夫不等式

$$ P(X \geq \varepsilon) \leq \frac{E(X)}{\varepsilon} $$

切比雪夫不等式

纯套公式，看见$P(|X - E(X)| \geq \varepsilon)$的形式就想这个，有的时候期望是0会比较隐蔽，如果给的是$<$号，就用1减去

$$ P(|X - E(X)| \geq \varepsilon) \leq \frac{D(X)}{\varepsilon^2} \[1em] $$

伯努利大数定律

看见$n$重伯努利试验的时候用，$Y_n$表示成功次数，$p$表示成功概率

$$ \lim_{n \to \infty} P \left( \left| \frac{Y_n}{n} - p \right| \ge \varepsilon \right) = 0 $$

切比雪夫大数定律

如果有大量同分布且独立的随机变量$X_1, X_2, \ldots, X_n$就用这个

$$ \lim_{n \to \infty} P \left( \left| \frac{1}{n} \sum_{i=1}^{n} X_i - \mu \right| \ge \varepsilon \right) = 0 $$

辛钦大数定律

其实跟切比雪夫大数定律是一样的，只不过放宽了条件，只要有相同的期望就行，不要求方差相等，实际上是因为上面的切比雪夫大数定律的推论证明的过程中假定了方差相等

中心极限定理

独立同分布中心极限定理

独立同分布的随机变量$X_1, X_2, \ldots, X_n$，期望为$\mu$，方差为$\sigma^2$，则当$n$充分大时，随机变量就近似服从正态分布

棣莫弗-拉普拉斯中心极限定理（n重伯努利试验）

$n$重伯努利分布$B(n,p)$近似服从正态分布$N(np, np(1-p))$

三大分布

$\chi^2$分布

有$n$个相互独立的标准正态分布随机变量$X_1, X_2, \ldots, X_n$，则随机变量 $$ Y = \sum_{i=1}^{n} X_i^2 \sim \chi^2(n) $$

$\chi^2(n)$表示自由度为$n$的卡方分布

重要结论：均值和方差

$$ E(Y) = n \[1em] D(Y) = 2n $$

概率怎么看

$$ P(\chi^2 (n) > \chi^2_{\alpha}(n)) = \alpha \[1em] \chi^2_{\alpha}(n) \text{通过查表得到，是横轴上的值} $$

$t$分布

由$X \sim N(0,1)$和$Y \sim \chi^2(n)$构成

$$ T = \frac{X}{\sqrt{Y/n}} \sim t(n) $$

$t(n)$表示自由度为$n$的t分布

重要性质：对称 $t_{\alpha}(n) = -t_{1-\alpha}(n)$

$$ P(t(n) > t_{\alpha}(n)) = \alpha \[1em] t_{\alpha}(n) \text{通过查表得到} $$

$F$分布

由$X \sim \chi^2(n_1)$和$Y \sim \chi^2(n_2)$构成

$$ F = \frac{(X/n_1)}{(Y/n_2)} \sim F(n_1, n_2) $$

重要性质：

$$ F_{1-\alpha}(n_1, n_2) = \frac{1}{F_{\alpha}(n_2, n_1)} $$

$F(n_1, n_2)$表示自由度为$(n_1, n_2)$的F分布，$n_1$叫第一自由度，$n_2$叫第二自由度

$$ P(F(n_1, n_2) > F_{\alpha}(n_1, n_2)) = \alpha \[1em] F_{\alpha}(n_1, n_2) \text{通过查表得到} $$

统计量

$k$阶矩

$$ A_k = \frac{1}{n} \sum_{i=1}^{n} X_i^k $$

$k=1$时为样本均值

$k$阶中心距

$$ B_k = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^k $$

$k=2$时不是样本方差，称为样本二阶中心距，表示为$S^{*2}$

样本方差

$$ S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2 $$

这才是样本方差，注意是除以$n-1$，而不是$n$，它是$\sigma^2$的无偏估计

:::warning 接下来这两个必须得背，基本上是没法现推出来的 :::

正态总体样本方差的分布

必须是正态分布才能用

$$ \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1) $$

可用这个稍微变形得到样本二阶中心距的分布

正态总体样本标准差的分布

$$ \frac{(\overline{X} - \mu)\sqrt{n}}{S} \sim t(n-1) $$

参数估计

矩估计法

算一、二...阶矩$\alpha_1，\alpha_2, \ldots$，然后解方程组就能得到参数估计值，注意利用题里给的已知信息如均值、方差等，矩中间接包含了这些信息可用于解方程

最大似然估计法

先写出似然函数$L(\theta)$

$$ L(\theta) = \prod_{i=1}^{n} f(x_i; \theta) $$

如果似然函数不连续，则应根据极大值出现在区间端点的原则，分别求出各个端点处的函数值，再比较大小，取最大值对应的$\theta$值

若似然函数中无$x$，则根据$x$的取值范围，直接写出$\theta$的取值范围，取最大值对应的$\theta$值

其余情况，取对数似然函数并对$\theta$求导，令导数为0，解方程得到参数估计值

$$ \text{解该方程} \quad \frac{d}{d\theta} \ln L(\theta) = 0 $$

总之是求让$L(\theta)$最大的$\theta$值作为估计$\hat{\theta}$

估计评定

无偏性

算估计量的均值，如果正好等于$\theta$，则该估计量是无偏的

$$ E(\hat{\theta}) = \theta $$

有效性

需要无偏性作为前提，如果不是无偏的谈有效性没意义

设有两个估计$\theta_1$和$\theta_2$，如果对于所有的$\theta$都有

$$ D_{\theta}(\theta_1) \le D_{\theta}(\theta_2) $$

且至少有一个参数值$\theta$使小于号成立，则称估计量$\theta_1$比估计量$\theta_2$更有效

直观上理解就是方差更小的估计量更有效

相合性

有$n$个估计量$\hat{\theta}_n$，如果

$$ \forall \varepsilon > 0, \quad \lim_{n \to \infty} P(|\hat{\theta}_n - \theta| \ge \varepsilon) = 0 $$

则称估计量$\hat{\theta}_n$是参数$\theta$的相合（一致）估计量

区间估计

$1-\alpha$叫置信水平，$\alpha$叫显著性水平

区间估计就三种情况：

已知$\sigma^2$求$\mu$

用正态分布

$$ u = \frac{\overline{x} - \mu}{\sigma / \sqrt{n}} \sim N(0,1)\[1em] P \left( -u_{\alpha/2} < u < u_{\alpha/2} \right) = 1 - \alpha $$

把已知的全代入解出$\mu$的范围就是置信区间，$u_{\alpha/2}$通过查表得到

未知$\sigma^2$求$\mu$

用t分布

$$ t = \frac{\overline{x} - \mu}{s / \sqrt{n}} \sim t(n-1)\[1em] P \left( -t_{\alpha/2}(n-1) < t < t_{\alpha/2}(n-1) \right) = 1 - \alpha $$

同样都代进去查表

求$\sigma^2$

用卡方分布

$$ \chi^2 = \frac{(n-1)s^2}{\sigma^2} \sim \chi^2(n-1)\[1em] P \left( \chi^2_{1-\alpha/2}(n-1) < \chi^2 < \chi^2_{\alpha/2}(n-1) \right) = 1 - \alpha $$

双样本均值差的区间估计

已知$\sigma_1^2$ = $\sigma_2^2$求$\mu_1 - \mu_2$

用t分布

$$ \large t = \frac{(\overline{x}1 - \overline{x}2) - (\mu_1 - \mu_2)}{\sqrt{\dfrac{\sigma_1^2}{n_1} + \dfrac{\sigma_2^2}{n_2}}} \sim t(n_1 + n_2 - 2 )\[1em] P \left( -t{\alpha/2}(n_1 + n_2 - 2) < t < t{\alpha/2}(n_1 + n_2 - 2) \right) = 1 - \alpha $$

求$\dfrac{\sigma_1^2}{\sigma_2^2}$

用F分布

$$ \large F = \dfrac{s_1^2 / \sigma_1^2}{s_2^2 / \sigma_2^2} \sim F(n_1 - 1, n_2 - 1)\[1em] P \left( F_{1-\alpha/2}(n_1 - 1, n_2 - 1) < F < F_{\alpha/2}(n_1 - 1, n_2 - 1) \right) = 1 - \alpha $$

重要结论

标准正态分布的矩

奇数阶矩

因为$\phi(x)$是偶函数，所以奇数阶矩全为0

$$ E(X^{2k+1}) = 0 $$

偶数阶矩

$$ E(X^{2k}) = (2k-1)!! = \frac{(2k)!}{2^k k!} $$

!!是双阶乘，5!! = 5 × 3 × 1

快速求$aX$的概率密度函数

$$ f_{aX}(\omega) = \frac{1}{|a|} f_X \left( \frac{\omega}{a} \right) $$

高斯积分

$$ \int_{-\infty}^{+\infty} e^{- \lambda x^2} ,dx = \sqrt{\frac{\pi}{\lambda}} \quad (\lambda > 0) \[1em] \int_{-\infty}^{+\infty} e^{- \lambda x^2} ,dx = \Gamma \left( \frac{1}{2} \right) \lambda^{-\frac{1}{2}} \quad (\lambda > 0) \[1em] \Gamma \left( \frac{1}{2} \right) = \sqrt{\pi} \qquad n\Gamma(n) = \Gamma(n+1) $$

[工科概率论] 二维随机变量的函数分布

Sun, 23 Nov 2025 21:18:00 GMT

和的分布

设随机变量$Z = X + Y$，则$Z$的概率密度函数为

通用方法

先求出分布函数

$$ F_Z(z) = P(Z \le z) = P(X + Y \le z) = \iint_{x+y \le z} f(x,y) , dx , dy $$

建议画图辅助理解积分区域，$x+y$其实是一条斜线，只要求这条斜线下方原区域被切割出的部分即可，然后对$F_Z(z)$关于$z$求导，得到概率密度函数

这种方法使用于任何情况，不论$X$与$Y$是否独立，$Z$为何种函数形式，并不是只能用于和的分布

卷积法

如果$X$与$Y$独立，则有更简便的方法，直接使用卷积公式 $$ f_Z(z) = \int_{-\infty}^{\infty} f_X(x) f_Y(z - x) , dx $$ 其中$f_X(x)$与$f_Y(y)$分别为$X$与$Y$的边缘概率密度函数，通常遇到的密度函数都是分段函数，计算时需要分段积分，然后将结果拼接

:::caution 这种方法只适用于$X$与$Y$独立，且$Z$为两者和的情况，如果是其他函数形式（如乘积、商等），则需要使用通用方法求解 :::

$Z=X-Y$也适用但我觉得还是有点烧脑了，不如直接用通用方法得了，或者说卷积本来就挺烧脑的，列式子很爽等算的时候就知道拆分区域麻烦了，$z-x$的区域变换真不太好想，我还是喜欢通用的方法

待续

[工科概率论] 随机变量的独立性

Sun, 23 Nov 2025 20:59:00 GMT

随机变量独立性的定义

$$ P(X \le x, Y \le y) = P(X \le x) P(Y \le y) $$ 或者写成 $$ F(x,y) = F_X(x) F_Y(y) $$ 就称随机变量$X$与$Y$相互独立

概率密度函数的独立性条件

$X$与$Y$独立的充分必要条件为 $$ f(x,y) = f_X(x) f_Y(y) $$

离散型随机变量独立性的定义

$X$与$Y$独立的充分必要条件为 $$ \large p_{ij} = p_{i\cdot} p_{\cdot j} $$

用相关系数不一定能判断独立性

如果随机变量$X$与$Y$独立，则它们的相关系数$\rho_{XY} = 0$，但反过来不成立，$\rho_{XY} = 0$并不能说明$X$与$Y$独立

$$ X,Y\text{独立} \Rightarrow \rho_{XY} = 0 $$

例如，设随机变量$X$服从均匀分布$U(-1,1)$，定义随机变量$Y = X^2$，则可以计算出$\rho_{XY} = 0$，但显然$Y$完全由$X$决定，二者并不独立

特例

如果$(X,Y)$服从二维正态分布，则是充要条件 $$ \rho_{XY} = 0 \Leftrightarrow X,Y\text{独立} $$

[工科概率论] 二维连续型随机变量

Sun, 23 Nov 2025 20:13:00 GMT

$f(x,y)$为二维随机变量$(X, Y)$的概率密度函数

分布函数

$$ F(x,y) = P(X \le x, Y \le y) = \int_{-\infty}^{y} \int_{-\infty}^{x} f(u,v) , du , dv $$

概率密度相当于平面的质量密度，分布函数相当于某一区域的质量总和

$$ \dfrac{\partial^2 F(x,y)}{\partial x \partial y} = f(x,y) $$

区域概率

设$G$为平面上的一个区域，则点$(X, Y)$落在区域$G$内的概率为

$$ P\left((X, Y) \in G\right) = \iint_{G} f(x,y) , dx , dy $$

边缘分布

$$ f_X(x) = \int_{-\infty}^{\infty} f(x,y) , dy $$ $$ f_Y(y) = \int_{-\infty}^{\infty} f(x,y) , dx $$

常见二维连续型分布

二维均匀分布

设$(X, Y)$在区域$G$内服从二维均匀分布，则其概率密度函数为 $$ f(x,y) = \begin{cases} \dfrac{1}{S(G)}, & (x,y) \in G \ 0, & \text{otherwise} \end{cases} $$

$S(G)$为区域$G$的面积

设$D$为$G$的子区域，则可以很直观地得到 $$ P\left((X, Y) \in D\right) = \frac{S(D)}{S(G)} $$ 就是子区域面积占总面积的比例

二维正态分布

设$(X, Y)$服从二维正态分布，记为 $$ (X, Y) \sim N(\mu_X, \mu_Y, \sigma_X^2, \sigma_Y^2, \rho) $$

$\rho$为相关系数，$-1 \le \rho \le 1$

则其概率密度函数为 $$ f(x,y) = \frac{1}{2 \pi \sigma_X \sigma_Y \sqrt{1 - \rho^2}} \exp{\left{ -\frac{1}{2(1 - \rho^2)} \left[ \frac{(x - \mu_X)^2}{\sigma_X^2} - \frac{2 \rho (x - \mu_X)(y - \mu_Y)}{\sigma_X \sigma_Y} + \frac{(y - \mu_Y)^2}{\sigma_Y^2} \right] \right}} $$

我草了怎么这么长

边缘密度

其实就是一维正态分布密度函数 $$ f_X(x) = \frac{1}{\sqrt{2 \pi} \sigma_X} \exp{\left( -\frac{(x - \mu_X)^2}{2 \sigma_X^2} \right)} $$ $y$的同理

[工科概率论] 多维随机变量及其分布

Sun, 23 Nov 2025 19:52:00 GMT

应该是只考察二维的

定义

设$(X, Y)$为二维随机变量，$x,y$为任意实数，记事件$\left { X \le x \right }$与$\left { Y \le y \right }$的交为$\left { X \le x, Y \le y \right }$，则二元函数

$$ F(x,y) = P\left ( X \le x, Y \le y \right ) $$

称为$(X, Y)$的分布函数，或称为$X$与$Y$的联合分布函数

边缘分布函数

设$(X, Y)$为二维随机变量，$F(x,y)$为其联合分布函数，则称 $$ F_X(x) = \lim_{y \to +\infty} F(x,y) $$ 为$X$的边缘分布函数，称 $$ F_Y(y) = \lim_{x \to +\infty} F(x,y) $$ 为$Y$的边缘分布函数

二维离散型随机变量

若二维随机变量$(X, Y)$所有可能取值$(x_i, y_j)$是有限个或可列无穷多个，则称$(X, Y)$为二维离散型随机变量

二维离散型rv的分布列

$$ p_{ij} = P(X = x_i, Y = y_j) $$

$p_{ij}$称为$(X, Y)$的分布列或联合分布列

二维离散型rv的分布函数

$$ \large F(x,y) = P(X \le x, Y \le y) = \sum_{x_i \le x} \sum_{y_j \le y} p_{ij} $$

二维离散型rv的边缘分布列

$$ P(X = x_i) = P(X = x_i, \bigcup_{j = 1}^{\infty} (Y = y_j)) = \sum_{j = 1}^{\infty} p_{ij} = p_{i \cdot} $$

同理，$\large P(Y = y_j) = \sum_{i = 1}^{\infty} p_{ij} = p_{\cdot j}$

分布列表格：

$X \backslash Y$	$y_1$	$y_2$	$\cdots$	$y_j$	$\cdots$	$p_{i \cdot}$
$x_1$	$p_{11}$	$p_{12}$	$\cdots$	$p_{1j}$	$\cdots$	$p_{1 \cdot}$
$x_2$	$p_{21}$	$p_{22}$	$\cdots$	$p_{2j}$	$\cdots$	$p_{2 \cdot}$
$\vdots$	$\vdots$	$\vdots$	$\ddots$	$\vdots$	$\ddots$	$\vdots$
$x_i$	$p_{i1}$	$p_{i2}$	$\cdots$	$p_{ij}$	$\cdots$	$p_{i \cdot}$
$\vdots$	$\vdots$	$\vdots$	$\ddots$	$\vdots$	$\ddots$	$\vdots$
$p_{\cdot j}$	$p_{\cdot 1}$	$p_{\cdot 2}$	$\cdots$	$p_{\cdot j}$	$\cdots$	1

[工科概率论] 随机变量函数的分布

Sun, 23 Nov 2025 18:12:00 GMT

本节用于解决已知随机变量$X$的分布，求随机变量$Y = g(X)$的分布的问题

离散型随机变量

离散的简单，一个例题就能看懂了

e.g. 已知随机变量$X$的分布如下表：

$x_i$	-1	1	2	3
$p_i$	0.2	0.2	0.3	0.3

求随机变量$Y = X^2$的分布

解：

先算$Y$的可能取值： $y_1 = (-1)^2 = 1$，$y_2 = 1^2 = 1$，$y_3 = 2^2 = 4$，$y_4 = 3^2 = 9$

把重复的值合并，概率相加，得到$Y$的可能取值为：${1, 4, 9}$

$y_j$	1	4	9
$p_j$	0.4	0.3	0.3

连续型随机变量

用到的方法有分布函数法和公式法

分布函数法

e.g. 已知$X \sim N(\mu, \sigma^2)$，求$Y = \dfrac{X - \mu}{\sigma}$的概率密度

解：

先求$Y$的分布函数：

$$ \begin{aligned} F_Y(y) &= P(Y \le y) = P\left(\frac{X - \mu}{\sigma} \le y\right) \ &= P(X \le \sigma y + \mu) \ &= F_X(\sigma y + \mu) \end{aligned} $$

如果已知$X$的分布函数$F_X(x)$，也可以代入得到$Y$的分布函数$F_Y(y)$再求导得$f_Y(y)$（记得要把$F_X(x)$的区间也带入）但这道例题正态分布的分布函数没有解析式，所以接下来直接求导得到密度函数

将上式两侧分别对$y$求导，得到$Y$的密度函数：

$$ \begin{aligned} f_Y(y) &= F_Y^{\prime}(y) = F_X^{\prime}(\sigma y + \mu) \cdot \sigma \ &= f_X(\sigma y + \mu) \cdot \sigma \end{aligned} $$

$f_X(x)$为已知的正态分布密度函数，代入上式即可得到$Y$的密度函数：

$$ f_Y(y) =\large \dfrac{1}{\sqrt{2 \pi}} e^{\large -\frac{y^2}{2}} $$

公式法

设$X$为连续型随机变量，$Y = g(X)$，且$g(x)$为区间$(a,b)$上的单调可微函数，则$Y=g(X)$的概率密度为：

$$ \large f_Y(y) = \begin{cases} \large f_X(h(y)) |h^{\prime} (y)|, \quad A<y<B \[1.5em] 0, \quad \text{其他} \end{cases} $$

其中，$h(y)$为$g(x)$的反函数，$A = \min{g(a), g(b)}$，$B = \max{g(a), g(b)}$

e.g. 对球的直径进行测量，设其值$X$在区间$(a,b)$上服从均匀分布，求球的体积$Y$的概率密度

解：

先写出$X$的密度函数：

$$ f_X(x) = \begin{cases} \dfrac{1}{b-a}, \quad a < x < b \[1.5em] 0, \quad \text{其他} \end{cases} $$

球的体积$Y$与直径$X$的关系为： $Y = g(X) = \dfrac{\pi}{6} X^3$

得$y = \dfrac{\pi}{6} x^3 \quad a<x<b$

可见这是一个单调可微函数，接下来求反函数$h(y)$： $x = h(y) = \sqrt[3]{\dfrac{6y}{\pi}} \quad \dfrac{\pi}{6}a^3 < y < \dfrac{\pi}{6}b^3$

所以：

$$ \large f_Y(y) = f_X(h(y)) |h^{\prime}(y)| = \frac{1}{b-a} \sqrt[3]{\frac{2}{9 \pi}} y^{\large -\frac{2}{3}} $$

当$g(x)$分段单调时

可将区间$(a,b)$划分为若干个单调区间，分别求出各区间对应的密度函数，然后将各区间的密度函数相加

此处约定对于使得反函数$h_i(y)$无意义的$y$值，$f_X(h_i(y)) |h_i^{\prime}(y)| = 0$

即不离散也不连续的随机变量

e.g. 已知随机变量$X$的概率密度为：

$$ f_X(x) = \begin{cases} \dfrac{1}{a}x^2, \quad 0 < x < 3 \[1.5em] 0, \quad \text{其他} \end{cases} $$

令随机变量$Y$为：

$$ Y = \begin{cases} 2, \quad X \le 1 \[1em] X, \quad 1 < X < 2 \[1em] 1, \quad X \ge 2 \end{cases} $$

求$Y$的分布函数

解：

因为$f_X(x)$的总面积是1，所以$a$是可以确定的：

$$ \int_{-\infty}^{+\infty} f_X(x) , dx = \int_{0}^{3} \frac{1}{a}x^2 , dx = \frac{1}{a} \int_{0}^{3} x^2 , dx = \frac{1}{a} \cdot \frac{27}{3} = \frac{9}{a} = 1 \Rightarrow a = 9 $$

可得$Y$De

设$F_Y(y)$为$Y$的分布函数，则：

$y < 1$时，$F_Y(y)= P(Y \le y) = 0$

$y \ge 2$时，$F_Y(y)= P(Y \le y) = 1$

当$1 \le y < 2$时，

$$ \begin{aligned} F_Y(y) &= P(Y \le y) = P(Y=1) + P(1<Y \le y) \ &= P(X \ge 2) + P(1 < X \le y) \ &= \int_{2}^{3} \frac{1}{9} x^2 , dx + \int_{1}^{y} \frac{1}{9} x^2 , dx \[1.5em] &= \frac{y^3 + 18}{27} \end{aligned} $$

[工科概率论] 正态分布

Sun, 23 Nov 2025 17:51:00 GMT

正态分布定义

$$ X \sim N(\mu, \sigma^2) $$

$$ \large f(x) = \frac{1}{\sqrt{2 \pi} \sigma} e^{\large -\frac{(x - \mu)^2}{2 \sigma^2}} $$

其中，$\mu$为均值，$\sigma^2$为方差

标准正态分布

$$ Z = \frac{X - \mu}{\sigma} \sim N(0, 1) $$

求解正态分布概率时，需要转换为标准正态分布后才能查表

标准正态分布的分布函数

$$ \Phi(z) = P(Z \le z) $$

性质：

$$ \begin{aligned} \Phi(-z) &= 1 - \Phi(z) \ P(-z \le Z \le z) &= 2\Phi(z) - 1 \end{aligned} $$

正态分布概率计算

设 $$ X \sim N(\mu, \sigma^2) $$ 则 $$ P(a \le X \le b) = \Phi\left(\frac{b - \mu}{\sigma}\right) - \Phi\left(\frac{a - \mu}{\sigma}\right) $$

上侧$\alpha$分位数

设$X \sim N(0, 1)$，对给定的$0 < \alpha < 1$，若数$u_{\alpha}$满足条件：

$$ P(Z > u_{\alpha}) = \alpha $$ 或者说 $$ \Phi(u_{\alpha}) = 1 - \alpha $$

则称$u_{\alpha}$为标准正态分布的上侧$\alpha$分位数

正态随机变量的线性函数仍为正态随机变量

设$X \sim N(\mu, \sigma^2)$，则对于任意常数$a$和$b$，有 $$ Y = aX + b \sim N(a\mu + b, a^2 \sigma^2) $$

其实就是均值和方差的性质，因为正态分布的参数就是均值和方差，所以也有这个性质

[工科概率论] 各种连续型分布

Sun, 23 Nov 2025 17:44:00 GMT

均匀分布

$$ X \sim U(a, b) $$

$$ f(x) = \begin{cases} \frac{1}{b-a}, & a \le x \le b \ 0, & \text{otherwise} \end{cases} $$

$$ F(x) = \begin{cases} 0, & x < a \ \frac{x-a}{b-a}, & a \le x \le b \ 1, & x > b \end{cases} $$

$$ E(X) = \frac{a+b}{2} $$

$$ D(X) = \frac{(b-a)^2}{12} $$

指数分布

$$ X \sim E(\lambda) $$

$\lambda$称为指数分布的参数，$\lambda > 0$

$$ f(x) = \begin{cases} \lambda e^{-\lambda x}, & x \ge 0 \ 0, & x < 0 \end{cases} $$

$$ F(x) = \begin{cases} 1 - e^{-\lambda x}, & x \ge 0 \ 0, & x < 0 \end{cases} $$

$$ E(X) = \frac{1}{\lambda} $$

$$ D(X) = \frac{1}{\lambda^2} $$

正态分布

$$ X \sim N(\mu, \sigma^2) $$

$$ \large f(x) = \frac{1}{\sqrt{2\pi} \sigma} e^{\large -\frac{(x-\mu)^2}{2\sigma^2}} $$

分布函数不考察，通过查表求值

$$ E(X) = \mu $$

$$ D(X) = \sigma^2 $$

标准正态分布

$$ X \sim N(0, 1) $$

[工科概率论] 分布函数密度函数

Sun, 23 Nov 2025 17:40:00 GMT

用于解决区间上的概率问题

区间上的概率

$$ P(x_1 < X \le x_2) = P(X \le x_2) - P(X \le x_1) = F(x_2) - F(x_1) $$

分布函数

$$ F(x) = P(X \le x) $$

分布函数的性质

$$ \begin{aligned} F(-\infty) &= \lim_{x \to -\infty} F(x) = 0 \ F(+\infty) &= \lim_{x \to +\infty} F(x) = 1 \ F(x_1) &\le F(x_2), \quad x_1 < x_2 \quad \text{（单调不减）} \ F(x^+) &= F(x) \quad \text{（右连续）} \end{aligned} $$

密度函数

用$f(x)$表示

$$ \begin{aligned} F(x) = \int_{-\infty}^{x} f(t) , dt \[1.5em] f(x) = F^{\prime}(x) \end{aligned} $$

连续型随机变量取个别值的概率为0

$$ P(X = x) = P(x \le X \le x) = F(x) - F(x) = 0 $$

:::tip 一个事件的概率为0不一定是不可能发生的事件；概率为1也不一定是必然发生的事件 :::

常见题型

已知密度函数，求分布函数

$$ F(x) = \int_{x_1}^{x_2} f(x) , dx $$

$x_1, x_2$分别为密度函数区间的上下限

注意分布函数是累计概率，需要叠加之前区间的概率

e.g.

已知密度函数 $$ f(x) = \begin{cases} \dfrac{1}{b-a}, \quad a < x < b \[1.5em] 0, \quad \text{其他} \end{cases} $$ 求分布函数，解：

$$ F(x) = \begin{cases} \int_{-\infty}^{x} 0 , dx = 0, \quad x \le a \[1.5em] \int_{a}^{x} \dfrac{1}{b-a} , dx + 0 = \dfrac{x-a}{b-a}, \quad a < x < b \[1.5em] \int_{a}^{b} \dfrac{1}{b-a} , dx + 0 = 1, \quad x \ge b \end{cases} $$

已知分布函数，求密度函数

$$ f(x) = F^{\prime}(x) $$

这个就很无脑了，直接求导完把对应的分布函数的区间抄下来就行

[工科复变函数] 拉普拉斯变换

Tue, 11 Nov 2025 22:24:00 GMT

拉普拉斯变换的定义

$$ \mathscr{L}[f(t)] = F(s) = \int_{0}^{+\infty} f(t) e^{-st} dt $$

其中$s$为复变量$s=\beta + i\omega$，$t \geq 0$

拉普拉斯逆变换

用留数求

只适用于$F(s)$只有有限个孤立奇点的情况，且当$s \to \infty$时，$F(s) \to 0$，不过题里既然让求了，那也没什么好说的，肯定满足条件

$$ f(t) = \mathscr{L}^{-1}[F(s)] = \sum_{k=1}^{n} \text{Res} \left( F(s) e^{st}, s_k \right) $$

常见拉普拉斯变换对

$f(t)$	$F(s)$	条件
1	$\frac{1}{s}$	$\mathbf{Re}(s) > 0$
$\delta(t)$	1	无
$u(t)$	$\frac{1}{s}$	$\mathbf{Re}(s) > 0$
$t^n$	$\frac{\Gamma(n+1)}{s^{n+1}}$	$\mathbf{Re}(s) > 0$
$e^{kt}$	$\frac{1}{s - k}$	$\mathbf{Re}(s) > k$
$\sin{(k t)}$	$\frac{k}{s^2 + k^2}$	$\mathbf{Re}(s) > 0$
$\cos{(k t)}$	$\frac{s}{s^2 + k^2}$	$\mathbf{Re}(s) > 0$

微积分跳过不讲但现在还考的伽玛函数

$$ \Gamma(n) = \int_{0}^{\infty} t^{n-1} e^{-t} dt $$

有以下性质

$$ \Gamma(n+1) = n \Gamma(n) \quad (n > 0) \[1.5em] \Gamma(1) = 1 \[1.5em] \Gamma\left(\frac{1}{2}\right) = \sqrt{\pi} \[1.5em] \Gamma(n+1) = n! \quad (n \in \mathbb{N}) $$

拉普拉斯变换存在定理

$f(t)$的增长速度不超过某个指数函数

$$ |f(t)| \leq M e^{c_0 t} \quad (t \geq 0)， M, c_0 > 0 $$

$c_0$称为$f(t)$的增长指数

条件还是很宽松的

拉普拉斯变换的性质

以下均设$\mathscr{L}[f(t)] = F(s)$

线性性质

不多说了

微分性质

$$ \boxed{ \mathscr{L}[f^{(n)}(t)] = s^n F(s) - s^{n-1} f(0) - s^{n-2} f'(0) - \dots - f^{(n-1)}(0) }\[1.5em] \boxed{ F^{(n)}(s) = \mathscr{L} \left[ (-t)^n f(t) \right] } $$

这个性质在求解微分方程时会大量用到

积分性质

$$ \boxed{ \mathscr{L} \left[ \int_{0}^{t} f(\tau) d\tau \right] = \frac{F(s)}{s} } $$

更一般的式子

$$ \mathscr{L} \left[ \int_{0}^{t} dt \int_{0}^{t} dt \cdots \int_{0}^{t} f(t) dt \right ] = \frac{F(s)}{s^n} \qquad (n \text{重积分}) $$

像函数的积分性质

$$ \boxed{ \mathscr{L} \left[ \frac{f(t)}{t} \right] = \int_s^{\infty} F(u) du } $$

也有更一般的形式

$$ \mathscr{L} \left[ \frac{f(t)}{t^n} \right] = \int_s^{\infty} ds \int_{s}^{\infty} ds \cdots \int_{s}^{\infty} F(s) ds, \quad (n \text{重积分}) $$

位移性质

$$ \boxed{ \mathscr{L}[e^{a t} f(t)] = F(s - a) \qquad (\mathbf{Re}(s-a) > c_0) } $$

$c_0$为$f(t)$的增长指数

延迟性质

$$ \boxed{ \begin{aligned} &\mathscr{L} \left[ f(t - a) u(t - a) \right] = e^{-a s} F(s) \qquad \[1.5em] &\mathscr{L}^{-1} \left[ e^{-s a} F(s) \right] = f(t - a) u(t - a) \end{aligned} } $$

缩放性质

$$ \boxed{ \mathscr{L}[f(a t)] = \frac{1}{a} F\left(\frac{s}{a}\right) } \qquad (a > 0) $$

拉普拉斯的性质(2)

初值定理

$\lim\limits_{t \to 0^+} sF(s)$存在，则有

$$ f(0^+) = \lim\limits_{s \to \infty} sF(s) $$

终值定理

$\lim\limits_{t \to \infty} f(t)$存在，且$F(s)$的极点均位于$s$平面的左半平面，则有

$$ f(\infty) = \lim\limits_{s \to 0} sF(s) $$

卷积定理

设$\mathscr{L}[f(t)] = F(s)$，$\mathscr{L}[g(t)] = G(s)$，则有

拉普拉斯变换的卷积定义

$$ f(t) * g(t) = \int_{0}^{t} f(\tau) g(t - \tau) d\tau $$

拉普拉斯变换的卷积定理

$$ \mathscr{L}[f * g] = F(s) G(s) \[1.5em] \mathscr{L}[f \cdot g] = F(s) * G(s) $$

ArchLinux笔记(1) 系统安装与基本配置

Thu, 06 Nov 2025 20:20:00 GMT

设置字体

高分屏可能觉得字体太小看不清

setfont ter-132b

联网

先查看网卡信息

ip link

可能有网卡的状态是DOWN的，需要启用

稍后安装好系统后也可以用下面的命令启用网卡

ip link set <接口名> up

设置时间同步

查看时间同步状态

timedatectl status

设置时区

timedatectl set-timezone Asia/Shanghai

磁盘分区及格式化并挂载

分区

我推荐使用cfdisk

查看磁盘情况

lsblk

启动cfdisk

cfdisk <磁盘设备>

格式化

同样使用lsblk查看磁盘情况

格式化EFI分区为FAT32

mkfs.fat -F32 <EFI分区>

格式化交换分区为swap

mkswap <交换分区>

格式化根分区为btrfs

mkfs.btrfs <根分区>

btrfs子卷创建

先挂载根分区

mount <根分区> /mnt

创建子卷

btrfs subvolume create /mnt/@
btrfs subvolume create /mnt/@home
btrfs subvolume create /mnt/@root
btrfs subvolume create /mnt/@srv
btrfs subvolume create /mnt/@cache
btrfs subvolume create /mnt/@log
btrfs subvolume create /mnt/@tmp
btrfs subvolume create /mnt/@nix

:::caution 卸载根分区 :::

umount /mnt

挂载

挂载btrfs子卷

mount -o compress=zstd:3,noatime,ssd,space_cache=v2,discard=async,subvol=@ <btrfs分区> /mnt
mkdir -p /mnt/{home,root,srv,var/cache,var/log,tmp,nix}
mount -o compress=zstd:4,noatime,ssd,space_cache=v2,discard=async,subvol=@home <btrfs分区> /mnt/home
mount -o compress=zstd:4,noatime,ssd,space_cache=v2,discard=async,subvol=@root <btrfs分区> /mnt/root
mount -o compress=zstd:4,noatime,ssd,space_cache=v2,discard=async,subvol=@srv <btrfs分区> /mnt/srv
mount -o compress=zstd:3,noatime,ssd,space_cache=v2,discard=async,subvol=@cache <btrfs分区> /mnt/var/cache
mount -o compress=zstd:3,noatime,ssd,space_cache=v2,discard=async,subvol=@log <btrfs分区> /mnt/var/log
mount -o compress=zstd:3,noatime,ssd,space_cache=v2,discard=async,subvol=@tmp <btrfs分区> /mnt/tmp
mount -o compress=zstd:4,noatime,ssd,space_cache=v2,discard=async,subvol=@nix <btrfs分区> /mnt/nix

挂载EFI分区

mkdir -p /mnt/boot
mount <EFI分区设备位置> /mnt/boot

启用交换分区

swapon <交换分区设备位置>

安装基础系统

pacman镜像源设置

使用reflector选择镜像源

reflector --country China --age 12 --protocol https --sort rate --save /etc/pacman.d/mirrorlist

基础系统安装

使用pacstrap安装基础系统

pacstrap /mnt base linux linux-firmware btrfs-progs vim

安装CPU微码

pacstrap /mnt intel-ucode

pacstrap /mnt amd-ucode

生成fstab文件

genfstab -U /mnt >> /mnt/etc/fstab

进入新系统进行配置

arch-chroot /mnt

设置时间

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

hwclock --systohc

本地化设置

编辑/etc/locale.gen，取消需要的语言前的注释

取消zh_CN.UTF-8 UTF-8和en_US.UTF-8 UTF-8的注释

vim /etc/locale.gen

生成语言环境

locale-gen

创建/etc/locale.conf，写入以下内容

LANG=en_US.UTF-8

设置主机名

创建/etc/hostname，写入主机名

生成initramfs

mkinitcpio -P

设置root密码

passwd

安装引导

我用grub

pacman -S grub efibootmgr

安装grub到EFI分区并创建配置文件

grub-install --target=x86_64-efi --efi-directory=/boot --bootloader-id=GRUB
grub-mkconfig -o /boot/grub/grub.cfg

安装os-prober以支持多系统启动

pacman -S os-prober
grub-mkconfig -o /boot/grub/grub.cfg

退出并重启

关机后记得拔U盘

exit
umount -R /mnt
swapoff -a
reboot

进入新系统后的必要配置

先登录root账号

网络配置

安装networkmanager

pacman -S networkmanager
systemctl enable NetworkManager
systemctl start NetworkManager

连接无线网络

nmcli device wifi list
nmcli device wifi connect <SSID> password <PASSWORD>

添加普通用户

useradd -m -G wheel -s /bin/bash <用户名>
passwd <用户名>

允许wheel组使用sudo

EDITOR=vim visudo

取消以下行的注释

%wheel ALL=(ALL) ALL

安装snapper

pacman -S snapper
snapper -c root create-config /

创建快照命令

snapper -c root create -d "描述信息"

[工科复变函数] 傅里叶变换

Fri, 24 Oct 2025 20:05:00 GMT

~~先从傅里叶级数说起~~

说什么说，根本就不考

<!--## 傅里叶级数

上学期的微积分课程中学过实数表示的傅里叶级数

$$ \begin{aligned} f(x) &= \frac{a_0}{2} + \sum_{n=1}^{\infty} \left[ a_n \cos{\left(\frac{2n\pi x}{T}\right)} + b_n \sin{\left(\frac{2n\pi x}{T}\right)} \right] \[1.5em] a_n &= \frac{2}{T} \int_{-T}^{T} f(x) \cos{\left(\frac{2n\pi x}{T}\right)} dx \[1.5em] b_n &= \frac{2}{T} \int_{-T}^{T} f(x) \sin{\left(\frac{2n\pi x}{T}\right)} dx \end{aligned} $$

通过欧拉公式，可以将其转换为复数形式： $$ f(x) = \sum_{n=-\infty}^{\infty} c_n \exp{\left(i \frac{2n\pi x}{T}\right)} = \sum_{n=-\infty}^{\infty} c_n \exp{\left(i n \omega x\right)} \[1.5em] c_n = \frac{1}{T} \int_{-T}^{T} f(x) \exp{(-i n \omega x)} dx $$

可见，傅里叶级数将周期函数表示为一组弦波函数的线性组合

其中，$n \omega$即为每个弦波的频率，$c_n$为傅里叶系数，也就是每个频率成分的权重，或者叫振幅

但是如果我想表示一个非周期函数该怎么办呢？-->

傅里叶变换

<!-- :::warning 以下推导施工中，请直接看结论 :::

我们可以将非周期函数看作周期趋近于无穷大的周期函数

$$ \begin{aligned} f(x) &= \lim_{T \to \infty} \sum_{n=-\infty}^{\infty} c_n \exp{\left(i n \omega x\right)} \ &= \lim_{T \to \infty} \sum_{n=-\infty}^{\infty} c_n \exp{\left(i \frac{2n\pi x}{T}\right)} \end{aligned} $$

从傅里叶级数中我们可以发现它的频率是离散的，但是当$T \to \infty$时，$\omega = \frac{2\pi}{T} \to 0$，频率间隔趋近于0，现在我们将它变成了一个连续的频率分布

$T \to \infty$时，频率间隔$\Delta \omega = \frac{2\pi}{T} = \omega \to 0$

如先前所说，原来的傅里叶系数$c_n$是每个离散频率$n \omega$对应的，所以现在我们需要将它转换为连续频率对应的，也就是频率密度函数，记为$F(\omega) = \frac{c_n}{\Delta \omega}$

$$ \begin{aligned} F(\omega) &= \frac{c_n}{\Delta \omega} \ &= c_n \frac{T}{2\pi} = \frac{1}{2\pi} \int_{-\infty}^{\infty} f(x) \exp{(-i \omega x)} dx \end{aligned} $$

因为$\Delta \omega \to 0$，所以可以将上面的求和式转换为积分：

$$ \begin{aligned} f(x) &= \sum_{n=-\infty}^{\infty} \frac{c_n}{\Delta \omega} \exp{(i n \omega x)} \Delta \omega \ &= \int_{-\infty}^{\infty} F(\omega) \exp{(i \omega x)} d\omega \ &= \frac{1}{2\pi} \int_{-\infty}^{\infty} \left[ \int_{-\infty}^{\infty} f(t) \exp{(-i \omega t)} dt \right] \exp{(i \omega x)} d\omega \end{aligned} $$

由于得知傅里叶变换的多种约定形式，发现上面的结果与常见的形式略有不同，需要通过调整常数因子来得到标准形式，此推导暂时搁置-->

正变换

将一个时域函数（信号）$f(t)$转换为频域函数（每个频率的振幅）$F(\omega)$的过程称为傅里叶变换，公式如下：

$$ F(\omega) = \int_{-\infty}^{\infty} f(t) e^{(-i \omega t)} dt $$

简写为$F(\omega) = \mathscr{F}[f(t)]$

逆变换

将一个频域函数$F(\omega)$转换回时域函数$f(t)$的过程称为傅里叶逆变换，公式如下：

$$ f(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} F(\omega) e^{(i \omega t)} d\omega $$

简写为$f(t) = \mathscr{F}^{-1}[F(\omega)]$

条件

傅里叶变换要求函数$f(t)$满足一定的条件，通常包括：

绝对可积性：函数$f(t)$在整个实数轴上绝对可积，即$\int_{-\infty}^{\infty} |f(t)| dt < \infty$
有限个间断点：函数$f(t)$在任何有限区间内只有有限个间断点
有限个极值点：函数$f(t)$在任何有限区间内只有有限个极值点

常见傅里叶变换对

$f(t)$	$F(\omega)$	条件
$\delta(t)$	$1$	-
$1$	$2\pi \delta(\omega)$	-
$e^{i \omega_0 t}$	$2\pi \delta(\omega - \omega_0)$	-
$\text{sgn}(t)$	$\frac{2}{i \omega}$	-
$u(t)$	$\pi \delta(\omega) + \frac{1}{i \omega}$	-
$E e^{-\beta t^2}$	$E \exp{\left(-\frac{\omega^2}{4\beta}\right)} \sqrt{\frac{\pi}{\beta}}$	$E > 0, \beta > 0$
$\frac{1}{t}$	$-i \pi \text{sgn}(\omega)$	-

表格写不下了，更多见可能会用到的

单位脉冲函数（狄拉克函数）

有些时候人们需要考虑物理量在空间或时间上高度集中的现象，狄拉克函数$\delta(t)$就是用来描述这种现象的数学工具

<!--设$x$轴上点$x=x_0$处集中了质量为一单位的物质，在其他位置都没有物质分布，则$x$轴上的物质密度函数$\rho(x)$可以表示为：

用$m[a,b]$表示区间$[a,b]$内的物质总量，$\Delta = b - a$

$$ \begin{aligned} \rho(x) &= \lim_{\substack{\Delta x \to 0 \ x \in \left [ a,b \right ] }} \frac{m[a,b]}{\Delta} \[2em] &= \begin{cases} 0, \quad x \neq x_0 \ \infty, \quad x = x_0 \end{cases} \end{aligned} $$

整个$x$轴上的物质总量为：

$$ m(-\infty, +\infty) = \int_{-\infty}^{\infty} \rho(x) dx = 1 $$

狄拉克函数即为上述这类集中分布密度函数加以抽象概括并标准化后的结果，-->定义如下：

$$ \begin{aligned} \delta(t) = \begin{cases} 0, \quad t \neq 0 \ \infty, \quad t = 0 \end{cases} \[1.5em] \int_{-\infty}^{+\infty} \delta(t) dt = 1 \end{aligned} $$

狄拉克函数已经超出了传统函数的范畴，属于广义函数，因为任何一个普通函数不可能在定义域的某一点取无穷大值

教材224页到229页已经沉浸在自己的艺术里了，太长不看直接看结论

性质7.3.1

设$f(t)$是任意连续函数

$$ \int_{-\infty}^{\infty} \delta(t - t_0) f(t) dt = f(t_0) $$

性质7.3.2

$$ \delta(a t) = \frac{1}{|a|} \delta(t) \quad (a \neq 0, a \in \mathbb{R}) $$

性质7.3.3

$$ \delta^{(n)}(-t) = (-1)^n \delta^{(n)}(t) $$

$\delta^{(n)}(-t)$表示将$\delta(-t)$关于$-t$求$n$阶导数，$\frac{d^n \delta(-t)}{d(-t)^n}$

$\delta (t)$ 的导数定义式

$$ \int_{-\infty}^{\infty} \delta^{(n)}(t - t_0) f(t) dt = (-1)^n \int_{-\infty}^{\infty} \delta(t) f^{(n)}(t) dt $$

性质7.3.4

设$g(t)$在$(-\infty, +\infty)$上连续

$$ g(t) \delta(t - t_0) = g(t_0) \delta(t - t_0) \qquad t_0 \in (-\infty, +\infty) $$

广义傅里叶变换

对于某些不满足傅里叶变换条件的函数，可以通过引入狄拉克函数来定义广义傅里叶变换

还是直接记结论吧

$$ \begin{aligned} \mathscr{F}[\delta(t)] &= 1 \quad \mathscr{F}^{-1}[1] = \delta(t) \[1em] \mathscr{F}[1] &= 2\pi \delta(\omega) \quad \mathscr{F}^{-1}[2\pi \delta(\omega) ] = 1 \[1em] \mathscr{F}[e^{i \omega_0 t}] &= 2\pi \delta(\omega - \omega_0) \quad \mathscr{F}^{-1}[2\pi \delta(\omega - \omega_0)] = e^{i \omega_0 t} \end{aligned} $$

符号函数的傅里叶变换

$$ \begin{aligned} \text{sgn}(t) = \begin{cases} 1, \quad t > 0 \ -1, \quad t < 0 \end{cases} \[1em] \mathscr{F}[\text{sgn}(t)] = \frac{2}{i\omega} \end{aligned} $$

如何求广义傅里叶变换

核心就是将函数分解成上述几种已知的结论的组合，然后利用傅里叶变换的性质求解

三角函数的傅里叶变换

用欧拉公式然后套已知变换对

傅里叶变换的性质

以下均设$\mathscr{F}[f(t)] = F(\omega)$

线性性质

$$ \mathscr{F}[a f(t) + b g(t)] = a \mathscr{F}[f(t)] + b \mathscr{F}[g(t)] $$

逆变换也有

对称性质

把频域函数当作时域函数进行变换

$$ \mathscr{F}[F(t)] = 2\pi f(-\omega) $$

位移性质

$$ \begin{aligned} \mathscr{F}[f(t \pm t_0)] = e^{\pm i \omega t_0} \mathscr{F}[f(t)] \[1em] \mathscr{F}^{-1}[F(\omega \pm \omega_0)] = e^{\mp i \omega_0 t} f(t) \end{aligned} $$

坐标缩放性质

$$ \begin{aligned} \mathscr{F}[f(a t)] = \frac{1}{|a|} F\left(\frac{\omega}{a}\right) \end{aligned} \qquad (a \neq 0, a \in \mathbb{R}) $$

<!--如果$f(t)$的图像变窄，则$F(\omega)$的图像变宽变矮；反之若$f(t)$的图像变宽，则$F(\omega)$的图像变窄变高

生活中常见的现象：音频加速播放时，声音变得尖细（频率变高），而慢速播放时，声音变得低沉（频率变低）-->

微分性质

$$ \mathscr{F}[f^{(n)}(t)] = (i\omega)^n F(\omega) \[1.5em] \mathscr{F}^{-1}[F^{(n)}(\omega)] = (-i t)^n f(t) $$

这个性质在求解微分方程时会大量用到

积分性质

$$ \mathscr{F} \left[ \int_{-\infty}^{t} f(\tau) d\tau \right] = \frac{F(\omega)}{i \omega} + \pi F(0) \delta(\omega) $$

当$\lim_{t \to -\infty} \int_{-\infty}^{t} f(\tau) d\tau \to 0$时，有

$$ \mathscr{F} \left[ \int_{-\infty}^{t} f(\tau) d\tau \right] = \frac{F(\omega)}{i \omega} $$

乘积定理

设$F_1(\omega) = \mathscr{F}[f_1(t)]$，$F_2(\omega) = \mathscr{F}[f_2(t)]$，则有

$$ \begin{aligned} \int_{-\infty}^{\infty} f_1(t) f_2(t) dt &= \frac{1}{2\pi} \int_{-\infty}^{\infty} \overline{F_1(\omega)} F_2(\omega) d\omega \[2em] &= \frac{1}{2\pi} \int_{-\infty}^{\infty} F_1(\omega) \overline{F_2(\omega)} d\omega \end{aligned} $$

$\overline{F(\omega)}$表示$F(\omega)$的复共轭函数

帕萨瓦尔定理

$$ \int_{-\infty}^{\infty} |f(t)|^2 dt = \frac{1}{2\pi} \int_{-\infty}^{\infty} |F(\omega)|^2 d\omega $$

时域信号的总能量等于它在频域下的总能量

卷积

3b1b的这个视频讲得挺好【官方双语】那么……什么是卷积？

定义

$$ (f * g)(t) = \int_{-\infty}^{\infty} f(\tau) g(t - \tau) d\tau $$

$f*g$表示函数$f$和$g$的卷积

但是这个计算太麻烦了，好在傅里叶变换有个性质

卷积定理

设$\mathscr{F}[f(t)] = F(\omega)$，$\mathscr{F}[g(t)] = G(\omega)$，则有

$$ \mathscr{F}[f * g] = F(\omega) G(\omega) \[1.5em] \mathscr{F}[f \cdot g] = \frac{1}{2\pi} F(\omega) * G(\omega) $$

因为傅里叶变换的多种约定形式，这块可能会有不同，我这里的是教材上给的形式

卷积的性质

交换律：$f * g = g * f$
结合律：$f (g h) = (f * g) * h$
分配律：$f (g + h) = f g + f* h$、

设$g(t) = f_1(t) * f_2(t)$，则有

平移不变性质

$$ f_1(t-\alpha) * f_2(t-\beta) = g(t - \alpha - \beta) $$

坐标缩放

$$ f_1(a t) * f_2(a t) = \frac{1}{|a|} g(a t) $$

傅里叶变换求微分方程

利用傅里叶变换的微分性质，可以将微分方程转化为代数方程，从而简化求解过程

$$ \begin{aligned} \text{设} \quad & f^{(n)}(t) + a_{n-1} f^{(n-1)}(t) + \cdots + a_1 f'(t) + a_0 f(t) = g(t) \[1.5em] \text{则} \quad & (i\omega)^n F(\omega) + a_{n-1} (i\omega)^{n-1} F(\omega) + \cdots + a_1 (i\omega) F(\omega) + a_0 F(\omega) = G(\omega) \[1.5em] \text{解得} \quad & F(\omega) = \frac{G(\omega)}{(i\omega)^n + a_{n-1} (i\omega)^{n-1} + \cdots + a_1 (i\omega) + a_0} \[1.5em] \text{最后逆变换} \quad & f(t) = \mathscr{F}^{-1}[F(\omega)] \end{aligned} $$

可能会用到的

常见傅里叶变换对

三角函数

$$ \begin{aligned} \mathscr{F}[\cos{(\omega_0 t)}] &= \pi \left[ \delta(\omega - \omega_0) + \delta(\omega + \omega_0) \right] \[2em] \mathscr{F}[\sin{(\omega_0 t)}] &= i \pi \left[ \delta(\omega + \omega_0) - \delta(\omega - \omega_0) \right] \end{aligned} $$

指数衰减函数

单边的

$$ f(t) = \begin{cases} e^{-a t}, \quad t \geq 0 \ 0, \quad t < 0 \end{cases} \qquad (a > 0) \[2.5em] F(\omega) = \frac{1}{a + i \omega} $$

双边的

$$ f(t) = e^{-a |t|} \qquad (a > 0) \[2.5em] F(\omega) = \frac{2a}{a^2 + \omega^2} $$

指数衰减函数和三角函数的变换计算其实很简单，不用硬背

之后这几个就是纯折磨，现算都是神人了

符号函数

$$ \text{sgn}(t) = \begin{cases} 1, \quad t > 0 \ -1, \quad t < 0 \end{cases} \[2.5em] F(\omega) = \frac{2}{i \omega} $$

单位阶跃函数

基于符号函数

$$ u(t) = \begin{cases} 1, \quad t \geq 0 \ 0, \quad t < 0 \end{cases} \[2.5em] F(\omega) = \pi \delta(\omega) + \frac{1}{i \omega} $$

钟形脉冲函数

设钟形脉冲函数为：

$$ f(t) = Ee^{-\beta t^2} \quad (E > 0, \beta > 0) $$

则其傅里叶变换为：

$$ F(\omega) = E \exp{\left(-\frac{\omega^2}{4\beta}\right)} \sqrt{\frac{\pi}{\beta}} $$

矩形单脉冲函数

$$ f(t) = \begin{cases} E, \quad |t| \leq \frac{\tau}{2} \ 0, \quad |t| > \frac{\tau}{2} \end{cases} \qquad (E > 0, \tau > 0) \[2.5em] F(\omega) = \frac{2E}{\omega} \sin{\left(\frac{\omega \tau}{2}\right)} $$

狄利克雷积分

$$ \int_{0}^{\infty} \frac{\sin{x}}{x} dx = \frac{\pi}{2} $$

[工科复变函数] 留数在实变函数积分中的应用

Fri, 24 Oct 2025 19:21:00 GMT

应用留数可以计算某些难以直接计算的实积分

通常有以下几种形式：

第一种

$$ \int_{0}^{2\pi} R(\cos{\theta}, \sin{\theta}) d\theta $$

利用欧拉公式将$\cos{\theta}$和$\sin{\theta}$表示为复指数的形式：s

设$z = e^{i\theta}$，则

$$ \cos{n\theta} = \frac{z^n + \frac{1}{z^n}}{2}, \quad \sin{n\theta} = \frac{z^n - \frac{1}{z^n}}{2i} $$

代入得到

$$ R(\cos{\theta}, \sin{\theta}) = R\left(\frac{z + \frac{1}{z}}{2}, \frac{z - \frac{1}{z}}{2i}\right) = f(z) $$

从而将积分变量从$\theta$变为$z$，并利用留数定理计算积分

$$ \boxed{\int_{0}^{2\pi} R(\cos{\theta}, \sin{\theta}) d\theta = 2\pi i \sum_{k}^{p} \text{Res}(f(z),z_k)} $$

$z_k$是$f(z)$在单位圆内的所有孤立奇点

有时会遇到积分区域不是$0$到$2\pi$，而是$0到\pi$、$-\pi$到$\pi$等情况，这些都可以利用周期性或奇偶性进行转换

第二种

$$ \int_{-\infty}^{+\infty} f(x) dx $$

$$ \int_{-\infty}^{+\infty} f(x) dx = 2\pi i \sum_{k}^{p} \text{Res}(f(z),z_k) $$

$z_k$是$f(z)$在上半平面内的所有孤立奇点

第三种

$f(x)$的分母至少比分子高出一阶

$$ \int_{-\infty}^{+\infty} f(x) e^{i\lambda x} dx $$

$$ \int_{-\infty}^{+\infty} f(x) e^{i\lambda x} dx = 2\pi i \sum_{k}^{p} \text{Res}(f(z)e^{i\lambda z},z_k) + \pi i \sum_{k}^{q} \text{Res}(f(x)e^{i\lambda x},x_k) $$

$z_k$是$f(z)$在上半平面内的所有孤立奇点，$x_k$是实轴上的一阶极点，且$\lambda > 0$

有时候可能遇到比较隐蔽的形式，比如

$$ \int_{-\infty}^{+\infty} \frac{\cos{\lambda x}}{g(x)} dx $$

可以将原式补齐$i\sin{\lambda x}$再利用$\mathbf{Re}化成欧拉公式的形式$：

$$ \begin{aligned} \int_{-\infty}^{+\infty} \frac{\cos{\lambda x}}{g(x)} dx &= \int_{-\infty}^{+\infty} \frac{ \mathbf{Re} \left ( \cos{\lambda x} + i\sin{\lambda x} \right )}{g(x)} dx \[1.5em] &= \mathbf{Re} \left ( \int_{-\infty}^{+\infty} \frac{e^{i\lambda x}}{g(x)} dx \right ) \end{aligned} $$

然后利用第三种形式计算积分即可

[工科概率论] 各种离散型分布

Tue, 14 Oct 2025 11:10:00 GMT

0-1分布（伯努利分布、两点分布）

X	0	1
P	1-p	p

</div>

$$ X\sim B(1,p) $$

二项分布

$$ P(X=k)=C_n^k p^k(1-p)^{n-k} $$

$$ X\sim B(n,p) $$

泊松分布

$$ P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda} $$

$$ X\sim P(\lambda) $$

几何分布

二项分布重复试验直到第一次成功

$$ P(X=k)=(1-p)^{k-1}p $$

$$ X \sim G(p) $$

超几何分布

不放回抽样

$$ P(X=k)=\frac{C_M^k C_{N-M}^{n-k}}{C_N^n} $$

$$ X \sim H(n,M,N) $$

[工科概率论] 二项分布的泊松逼近

Tue, 14 Oct 2025 10:43:00 GMT

二项分布

:::tip

$\binom{n}{k} = C_{n}^{k}$

:::

$$ P(X=k) = C_{n}^{k} p^k (1-p)^{n-k} \quad k=0,1,2,\cdots,n $$

可见当 $n$ 很大时，计算 $P(X=k)$ 会相当困难，所以要使用泊松分布来近似

泊松分布

$$ P_n(k) = C_{n}^{k}p^k (1-p)^{n-k} \approx \frac{\lambda^k}{k!} e^{-\lambda} $$

其中 $\lambda = np$，$k=0,1,2,\cdots,n$

实际计算时，当$n \ge 10$ 且 $p \le 0.1$ 时，就可使用

查表

很多情况下会用到泊松分布的概率和$\sum\limits_{i=0}^{k} \frac{e^{-\lambda} \lambda^k}{k!}$

一般是不会让自己算的，可能试卷上会给出表格？

[工科概率论] 条件概率与独立性

Tue, 14 Oct 2025 10:22:00 GMT

条件概率

设事件$A$和$B$是样本空间$S$中的两个事件，且$P(B)>0$，则在事件$B$发生的条件下，事件$A$发生的概率称为条件概率，记为$P(A|B)$

常用公式

$$ P(A|B) = \frac{P(A B)}{P(B)} \quad P(B) > 0 $$

乘法定理

$$ P(A B) = P(B) P(A|B) = P(A) P(B|A) $$

推广到$n$个事件

$$ P(A_1 A_2 \cdots A_n) = P(A_1) P(A_2|A_1) P(A_3|A_1 A_2) \cdots P(A_n|A_1 A_2 \cdots A_{n-1}) $$

全概率公式

设$A_1,A_2,\cdots,A_n$是互不相容的事件，若对任一事件$B$，都有$B \subset A_1 + A_2 + \cdots + A_n$，则

$$ P(B) = \sum_{i=1}^{n} P(A_i) P(B|A_i) $$

贝叶斯公式

其实就是上述三个公式的结合，所以也不用特意背下来套公式，我认为更好的方法是灵活组合上面的三个

设$A_1,A_2,\cdots,A_n$是互不相容的事件，若对任一事件$B$，都有$B \subset A_1 + A_2 + \cdots + A_n$，且$P(B)>0$，则

$$ P(A_i|B) = \frac{P(A_i) P(B|A_i)}{\sum\limits_{j=1}^{n} P(A_j) P(B|A_j)} $$

独立性

独立的定义

两事件$A$和$B$为任意事件，若

$$ P(A B) = P(A) P(B) $$

则称事件$A$和$B$是相互独立的

独立的性质

$A$和$B$独立

条件不影响概率

$$ P(B|A) = P(B|\bar{A}) = P(B) $$

多个事件的独立性

事件$A,B,C$，如果有

$$ \begin{aligned} P(A B) = P(A) P(B) \ P(A C) = P(A) P(C) \ P(B C) = P(B) P(C) \end{aligned} $$

则称事件$A,B,C$是两两独立的

若再同时满足

$$ P(A B C) = P(A) P(B) P(C) $$

则称事件$A,B,C$是相互独立的

[工科复变函数] 留数

Mon, 13 Oct 2025 22:33:00 GMT

:::warning

本文以及本博客的数学内容主要作为个人笔记，其中包含大量的个人理解，存在不严谨甚至错误的内容，请谨慎阅读

:::

目前为止留数有什么用

相较于柯西积分公式，使用留数计算复积分更简洁方便
计算某些难以直接计算的实积分

留数怎么求

定义法

有限点的奇点

设函数$f(z)$在点$z_0$处有一个孤立奇点，则$f(z)$在该点的留数定义为：

$$ \text{Res}(f(z),z_0) = a_{-1} $$

其中$a_{-1}$是$f(z)$在点$z_0$处的洛朗级数展开式中第一个负幂项的系数

也就是，将$f(z)$在包围点$z_0$的环域展开成洛朗级数：取 -1次项 的系数即为在$z_0$处的留数

无穷奇点

设函数$f(z)$在无穷远点处有一个孤立奇点，则$f(z)$在该点的留数定义为： $$ \text{Res}(f(z),\infty) = -a_{-1} $$ 其中$a_{-1}$是在环域的洛朗级数展开式中第一个负幂项的系数

:::warning

通过上面的内容可知，$z_0$是$f(z)$的可去奇点时，若$z_0 \neq \infty$，则$\text{Res}(f(z),z_0) = 0$，但$z_0 = \infty$时却不一定成立

:::

定理与推论法

定理5.2.1 用于任意阶极点

若$z_0$是$f(z)$的$m$阶极点，则

$$ \text{Res}(f(z),z_0) =\frac{1}{(m-1)!} \lim\limits_{z\to z_0} \frac{d^{m-1}}{dz^{m-1}} [(z-z_0)^m f(z)] $$

因为一阶比较常见，所以这里给出特例：

$$ \text{Res}(f(z),z_0) = \lim\limits_{z\to z_0} (z-z_0)f(z) $$

推论 5.2.2 仅适用于一阶极点（同时也可用于得到一阶极点）

若$z_0$是$f(z)$的一阶极点，且$f(z)$可表示为$f(z) = \frac{P(z)}{Q(z)}$，$P(z)$和$Q(z)$在点$z_0$处解析，且$P(z_0) \neq 0$，$Q(z_0) = 0$，$Q'(z_0) \neq 0$，则$z_0$是$f(z)$的一阶极点，且

$$ \text{Res}(f(z),z_0) = \frac{P(z_0)}{Q'(z_0)} $$

:::tip

请灵活拆分$P(z)$和$Q(z)$，尽量简化$Q(z)$的求导

:::

留数基本定理

无穷远点处的留数

$$ \sum_{k=1}^{n} \text{Res}(f(z),z_k) + \text{Res}(f(z),\infty) = 0 $$

$$ \text{Res}(f(z),\infty) = -\text{Res}(\frac{1}{z^2}f(\frac{1}{z}),0) $$

有的时候，某个有限点处的留数并不好算(没法用现成的级数展开等)，但无穷远点处的留数好算，这时就可以用上面的公式通过相减来得到那一个难算的留数

[工科复变函数] 奇点、极点与零点

Mon, 13 Oct 2025 21:15:00 GMT

:::warning

本文以及本博客的数学内容主要作为个人笔记，其中包含大量的个人理解，存在不严谨甚至错误的内容，请谨慎阅读

:::

孤立奇点

设函数$f(z)$在点$z_0$的某个去心邻域内解析，且在点$z_0$处不解析，则称$f(z)$在点$z_0$处有一个孤立奇点

孤立奇点的分类

可去奇点

有点像实数函数的可去间断点

将$f(z)$在点$z_0$处的洛朗级数展开式中所有负幂项的系数均为0，则称孤立奇点$z_0$是可去奇点

充要条件：$z_0$是可去奇点 $\Leftrightarrow \lim\limits_{z\to z_0} f(z)$ 存在且有限

m阶极点

有点像实数函数的极限无穷大点

将$f(z)$在点$z_0$处的洛朗级数展开式中有限个负幂项的系数不为0，且最高负幂项为$m$次，则称孤立奇点$z_0$是$f(z)$的m阶极点

$$ f(z) =\frac{a_{-m}}{(z-z_0)^m} + \frac{a_{-m+1}}{(z-z_0)^{m-1}} + \cdots + \frac{a_{-1}}{z-z_0} + a_0 + a_1(z-z_0) + \cdots $$

可见此展开式中$m$是最后一个负幂项的次数，因此孤立奇点$z_0$是$f(z)$的m阶极点。

充要条件：$z_0$是极点 $\Leftrightarrow$ $\lim\limits_{z\to z_0} f(z) = \infty$

本性奇点

有点像实数函数的震荡间断点

将$f(z)$在点$z_0$处的洛朗级数展开式中无限个负幂项的系数不为0，则称孤立奇点$z_0$是$f(z)$的本性奇点

充要条件：$z_0$是本性奇点 $\Leftrightarrow$ 不存在有限或无穷的极限 $\lim\limits_{z\to z_0} f(z)$

如何判断极点的阶数

若难以直接看出，使用零点

函数$\frac{g(z)}{f(z)}$，对$f(z)$求$n$阶导数，若在$m$阶导处首次满足$f^{(m)}(z_0) \neq 0$，那$z_0$是$f(z)$的m阶零点, $\left ( g(z_0) \neq 0 \right )$

所以$z_0$是$\frac{g(z)}{f(z)}$m阶极点

:::note

充要条件：$z_0$是$f(z)$的 $m$ 阶零点 $\Leftrightarrow$ $\frac{1}{f(z)}$在$z_0$处是 $m$阶极点

:::

无穷孤立奇点

刚刚介绍的孤立奇点的位置全是一个有限的复数点，而无穷孤立奇点则是指在无穷远处的奇点

还记得黎曼球面吗？可以发现若用黎曼球面来看复平面的话，复平面的无穷远点就是黎曼球面的北极点，也就是这是一个点

设函数$f(z)$在某个去心邻域${z:|z| > R}$内解析，则称$z=\infty$是$f(z)$的无穷孤立奇点

为了研究无穷孤立奇点，可以将变量变换为$w=\frac{1}{z}$，则当$z \to \infty$时，$w \to 0$，于是可以研究$f(\frac{1}{w})$在$w=0$处的奇点性质

无穷奇点的分类

既然用了倒数将无穷奇点转化为了有限点的奇点，那么无穷奇点的分类就也是"倒过来了"

其实将上方孤立奇点的分类中的"负幂项"改为"正幂项"即可

[NixOS] 使用CachyOS内核启用asusctl的功耗控制

Wed, 08 Oct 2025 18:12:00 GMT

[!NOTE] 2026-07-03更新：很久之前Linux 6.19已经集成了asusctl的补丁，现在都支持asusctl，直接用就行了

asusctl的功耗控制功能是依赖特殊的内核功能的，默认的内核并不支持，经过一番搜索，在NixOS Discourse上找到了对Arch Linux上linux-g14内核的打包配置，但是需要自行编译，在笔记本上编译内核压力实在有点大了

但其实CachyOS的内核已经集成了这些补丁，直接用CachyOS内核就可以了，Chaotic项目还提供了CachyOS内核的二进制缓存

https://www.nyx.chaotic.cx/

按照文档中的示例填入配置即可

# flake.nix
{
  description = "My configuration";

  inputs = {
    nixpkgs.url = "github:NixOS/nixpkgs/nixos-unstable";
    chaotic.url = "github:chaotic-cx/nyx/nyxpkgs-unstable"; # IMPORTANT
  };

  outputs = { nixpkgs, chaotic, ... }: {
    nixosConfigurations = {
      hostname = nixpkgs.lib.nixosSystem { # Replace "hostname" with your system's hostname
        system = "x86_64-linux";
        modules = [
          ./configuration.nix
          chaotic.nixosModules.default # IMPORTANT
        ];
      };
    };
  };
}

{
    boot.kernelPackages = pkgs.linuxPackages_cachyos;
}

注意如果要在安装NixOS时就启用chaotic的二进制缓存，需要添加参数

--option 'extra-substituters' 'https://chaotic-nyx.cachix.org/' --option extra-trusted-public-keys "chaotic-nyx.cachix.org-1:HfnXSw4pj95iI/n17rIDy40agHj12WfF+Gqk6SonIT8="

[工科复变函数] 洛朗级数

Sat, 27 Sep 2025 17:02:00 GMT

:::warning

本文以及本博客的数学内容主要作为个人笔记，其中包含大量的个人理解，存在不严谨甚至错误的内容，请谨慎阅读

:::

洛朗级数

洛朗级数是泰勒级数的推广

泰勒级数只适用于解析函数，而洛朗级数适用于在某个环域内解析的函数

它可以绕开奇点，表示在奇点附近的函数行为

但实际上计算洛朗级数时仍然使用泰勒级数的结论常用泰勒级数

$$ f(z) = \sum_{n=-\infty}^{\infty} a_n (z - z_0)^n $$

系数定义

$$ a_n = \frac{1}{2\pi i} \oint_C \frac{f(z)}{(z - z_0)^{n+1}} dz $$

收敛半径

洛朗级数的收敛域是一个圆环，所以半径有两个

内半径$R_1$：从奇点到内侧边界的距离，用负幂项求得
外半径$R_2$：从奇点到外侧边界的距离，用正幂项求得

求一个函数的洛朗级数

e.g. 求$f(z) = \frac{1}{(z-i)(z-2)}$在$1 < |z| < 2$的洛朗级数

第一步裂项

裂项技巧

$$ \begin{aligned} \frac{1}{(z-i)(z-2)} &= \frac{A}{z-i} + \frac{B}{z-2} \ A &= \frac{1}{i-2} \ B &= \frac{1}{2-i} \ \frac{1}{(z-i)(z-2)} &= \frac{1}{i-2} \cdot \frac{1}{z-i} + \frac{1}{2-i} \cdot \frac{1}{z-2} \end{aligned} $$

第二步确定每一项的奇点在圆环内侧还是外侧

$\frac{1}{z-i}$的奇点$z=i$在圆环内侧，所以$\frac{1}{z-i}$应展开为负幂项
$\frac{1}{z-2}$的奇点$z=2$在圆环外侧，所以$\frac{1}{z-2}$应展开为正幂项

第三步展开每一项

之所以需要变为$\frac{1}{z}$，是为了将展开后的收敛域"翻转"至边界的外侧

正幂项内侧收敛，负幂项外侧收敛，两侧限制就形成了环形收敛域

$$ \begin{aligned} f(z) &= \frac{1}{(z-i)(z-2)} = \frac{1}{i-2} \cdot \frac{1}{z-i} + \frac{1}{2-i} \cdot \frac{1}{z-2} \ &= \frac{1}{i-2} \cdot \frac{1}{z} \cdot \frac{1}{1 - \frac{i}{z}} + \frac{1}{2-i} \cdot \left(-\frac{1}{2-z}\right) \ &= \frac{1}{i-2} \cdot \frac{1}{z} \sum_{n=0}^{\infty} \left(\frac{i}{z}\right)^n + \frac{1}{2-i} \sum_{n=0}^{\infty} \left(\frac{z}{2}\right)^n \quad (|z| > 1, |z| < 2) \quad \text{利用几何级数} \ &= \sum_{n=0}^{\infty} \frac{i^n}{(i-2)} \cdot \frac{1}{z^{n+1}} + \sum_{n=0}^{\infty} \frac{z^n}{(2-i) 2^n} \ &= \sum_{n=1}^{\infty} \frac{i^{n-1}}{(i-2)} \cdot \frac{1}{z^n} + \sum_{n=0}^{\infty} \frac{z^n}{(2-i) 2^n} \end{aligned} $$

裂项技巧：覆盖法

$$ \frac{P(x)}{(x-a_1)(x-a_2)\dots(x-a_n)} = \frac{A_1}{x-a_1} + \frac{A_2}{x-a_2} + \dots + \frac{A_n}{x-a_n} $$

若要求$A_k$，则将等式两边同乘以$(x-a_k)$

令$x=a_k$，此时除了$A_k$外，其他项均得0

所以

$$ A_k = \frac{P(a_k)}{(a_k - a_1)(a_k - a_2) \dots (a_k - a_{k-1})(a_k - a_{k+1}) \dots (a_k - a_n)} $$

由此可得每个系数$A_k$的值

[工科复变函数] 泰勒级数

Sat, 27 Sep 2025 16:37:00 GMT

这篇的常见级数主要在洛朗级数中使用，复变的考试不会再考泰勒级数了

泰勒级数

$$ f(z) = \sum_{n=0}^{\infty} \frac{f^{(n)}(z_0)}{n!} (z - z_0)^n $$

系数$a_n$定义（证明题可能会考）

$$ a_n = \frac{1}{2\pi i} \oint_C \frac{f(z)}{(z - z_0)^{n+1}} , dz = \frac{f^{(n)}(z_0)}{n!} $$

$z_0$为展开中心，$C$为包含$z_0$的闭合曲线

常用的泰勒级数

$$ \begin{aligned} \frac{1}{1+z} = \sum_{n=0}^{\infty} (-1)^n z^n \quad |z| < 1 \ \frac{1}{1-z} = \sum_{n=0}^{\infty} z^n \quad |z| < 1 \end{aligned} $$

自然对数

$$ \ln(1+z) = \sum_{n=1}^{\infty} (-1)^{n-1} \frac{z^n}{n} \quad |z| < 1 $$

自然指数函数

$$ e^z = \sum_{n=0}^{\infty} \frac{z^n}{n!} \quad |z| < \infty $$

正弦函数

$$ \sin z = \sum_{n=0}^{\infty} (-1)^n \frac{z^{2n+1}}{(2n+1)!} \quad |z| < \infty $$

余弦函数

$$ \cos z = \sum_{n=0}^{\infty} (-1)^n \frac{z^{2n}}{(2n)!} \quad |z| < \infty $$

正弦、余弦和自然指数函数的收敛域非常棒，展开洛朗级数的时候直接无脑展开

[工科复变函数] 级数

Fri, 26 Sep 2025 23:38:00 GMT

微积分级数复习

p-级数

$$ \sum_{n=1}^{\infty} \frac{1}{n^p} $$

当 $p \leq 1$ 时，发散；当 $p > 1$ 时，收敛。

几何级数

$$ \sum_{n=0}^{\infty} ar^n = \frac{a}{1-r} \quad (|r| < 1) $$

正项级数的判敛法

:::warning 这个判别法比较重要，需要看，其余部分大概率是不会考了 :::

比较判别法

若 $0 \leq a_n \leq b_n$，则

若 $\large \sum b_n$ 收敛，则 $\large \sum a_n$ 收敛
若 $\large \sum a_n$ 发散，则 $\large \sum b_n$ 发散

比值判别法

设 $\lim\limits_{n \to \infty} \frac{a_{n+1}}{a_n} = L$，则

若 $L < 1$，则 $\large \sum a_n$ 收敛
若 $L > 1$，则 $\large \sum a_n$ 发散
若 $L = 1$，则无法判断

根值判别法

设 $\lim\limits_{n \to \infty} \sqrt[n]{a_n} = L$，则

若 $L < 1$，则 $\large \sum a_n$ 收敛
若 $L > 1$，则 $\large \sum a_n$ 发散
若 $L = 1$，则无法判断

积分判别法

设 $f(x)$ 在 $[1, +\infty)$ 上连续、正值且单调递减，且 $a_n = f(n)$，则 $\large \sum a_n$ 与 $\int_1^{\infty} f(x) , dx$ 同敛散

莱布尼兹判别法

设 ${a_n}$ 单调递减且 $\lim\limits_{n \to \infty} a_n = 0$，则交错级数 $\large \sum (-1)^{n-1} a_n$ 收敛

复数项级数

$$ \sum_{n=1}^{\infty} z_n ( z_n = a_n + ib_n) $$

收敛的充分必要条件

$\large \sum\limits_{n=1}^{\infty} a_n$ 和 $\large \sum\limits_{n=1}^{\infty} b_n$ 同时收敛

收敛的必要条件

$\lim\limits_{n \to \infty} z_n = 0$

绝对收敛与条件收敛

若 $\large \sum\limits_{n=1}^{\infty} |z_n|$ 收敛，则 $\large \sum\limits_{n=1}^{\infty} z_n$ 绝对收敛；

若 $\large \sum\limits_{n=1}^{\infty} z_n$ 收敛但不绝对收敛，则条件收敛。

绝对收敛 $\supset$ 条件收敛。

在收敛域内一定绝对收敛并且一致收敛（不包含边界），条件收敛只可能出现在边界上

复数取绝对值就是取模

$$ |z| = \sqrt{a^2 + b^2} $$

复变函数项级数

$$ \sum_{n=1}^{\infty} f_n(z) $$

收敛域

级数 $\large \sum f_n(z)$ 收敛的点的全体称为收敛域

和函数

$$ \begin{aligned} s_n(z) &= \sum_{n=1}^{\infty} f_n(z) \ s(z) &= \lim_{n \to \infty} s_n(z) \end{aligned} $$

$s(z)$ 称为级数 $\large \sum f_n(z)$ 的和函数

定理 4.1.7

若级数 $\large \sum f_n(z)$ 在域 $D$ 上一致收敛于和函数 $s(z)$，且各项 $f_n(z)$ 在域 $D$ 上连续，则其和函数 $s(z)$ 在域 $D$ 内处处连续

幂级数

$$ \sum_{n=0}^{\infty} a_n (z - z_0)^n $$

阿贝尔定理

若幂级数在点$z_1$ 收敛，则在以$z_0$为圆心、$|z_1 - z_0|$为半径的圆盘内绝对收敛，且在所有半径小于$|z_1 - z_0|$的闭圆盘上一致收敛

求收敛半径

比值法

若极限$\lim\limits_{n \to \infty} |\frac{a_{n+1}}{a_n}| = \lambda$，则收敛半径为

$$ R = \left{\begin{matrix} +\infty, & \lambda = 0 \ \frac{1}{\lambda}, & 0 < \lambda < +\infty \ 0, & \lambda = +\infty \end{matrix}\right. $$

根值法

后面的就不写了，和实变函数的判别法都是一样的

柯西乘积

设级数 $\large \sum_{n=0}^{\infty} a_n z^n$ 和 $\large \sum_{n=0}^{\infty} b_n z^n$ 的和分别为 $A$ 和 $B$，则级数

$$ \sum_{n=0}^{\infty} c_n z^n = \sum_{n=0}^{\infty} \left( \sum_{k=0}^{n} a_k b_{n-k} \right) z^n $$

称为柯西乘积，记作 $C = A \cdot B$

[工科复变函数] 积分

Fri, 26 Sep 2025 23:20:00 GMT

:::warning

本文以及本博客的数学内容主要作为个人笔记，其中包含大量的个人理解，存在不严谨甚至错误的内容，请谨慎阅读

:::

复变函数积分的本质

本质其实是第二型曲线积分

计算方法

参数方程法

将曲线$C$表示为参数方程$x=x(t),y=y(t),t \in [a,b]$，即$z=z(t)=x(t)+iy(t)$

所以

$$ \begin{aligned} \int _C f(z)dz &= \int _C f(z(t))dz(t) \ &= \int _a^b f[z(t)]z^{\prime}(t)dt \end{aligned} $$

代入计算即可

柯西积分定理（柯西-古萨基本定理）

若$f(z)$在简单光滑闭曲线$C$及其内部单连通区域$D$内解析，则

$$ \oint _C f(z)dz=0 $$

（格林公式）

定理 3.2.2

单连通区域上的解析函数的积分与路径无关

复合闭路定理

若$f(z)$在多连通区域$D$内解析，$D$由$n+1$条闭曲线构成，$C_1,C_2,\cdots,C_n$为$C_0$内的$n$条互不相交的简单光滑闭曲线，且均取正向，则

$$ C = C_0 + C_1^{-} + C_2^{-} + \cdots + C_n^{-} $$

但我个人更喜欢将闭曲线的积分看作围起来的面积，于是我会这么写

$$ C = C_0 - C_1 - C_2 - \cdots - C_n $$

$C$是要求的不含奇点的闭曲线

又因为$\oint_C f(z)dz=0$，所以

$$ \oint {C_0} f(z)dz = \sum{k=1}^{n} \oint _{C_k} f(z)dz $$

利用复合闭路定理计算含有奇点的积分

计算$\oint_C \frac{dz}{z^2-z}$，$C$是包含单位圆盘的简单闭曲线

被积函数$f(z)=\frac{1}{z^2-z}=\frac{1}{z(z-1)}$有$z_1=0,z_2=1$两个奇点，此外处处解析

在$C$内作正向闭曲线$C_1$和$C_2$，分别围住奇点$z_1,z_2$，由复合闭路定理得

$$ \begin{aligned} \oint C \frac{dz}{z^2-z} &= \oint {C_1} \frac{dz}{z^2-z} + \oint {C_2} \frac{dz}{z^2-z} \ &\text{目前只要明白这行即可，后续步骤需要用到柯西积分公式}\ &= \oint{C_1} \frac{dz}{z-1} - \oint{C_1} \frac{dz}{z} + \oint{C_2} \frac{dz}{z} - \oint_{C_2} \frac{dz}{z-1} \ &= 0 -2\pi i + 2\pi i - 0 \ &= 0 \end{aligned} $$

这里的$C$放在上面的复合闭路定理里其实是$C_0$

柯西积分公式

函数$f(z)$在闭路$C$及其内部$D$内解析，$z_0$为$D$内任意一点，则

$$ f(z_0) = \frac{1}{2\pi i} \oint _C \frac{f(z)}{z-z_0} dz $$

:::tip

柯西积分公式多用于求奇点处的积分值，如例题利用复合闭路定理计算含有奇点的积分

:::

:::caution

注意分母自带负号，不要搞错$z_0$的正负

:::

高阶导数柯西积分公式

$$ f^{(n)}(z_0) = \frac{n!}{2\pi i} \oint _C \frac{f(z)}{(z-z_0)^{n+1}} dz $$

:::tip

利用这个公式可以直接计算高阶导数

:::

还可以得到一个结论

$$ \int _C \frac{1}{(z-z_0)^n}dz=\begin{cases} 2\pi i,&n=1 \ 0,&n \ne 1 \text{的整数} \end{cases} $$

由柯西积分公式得出的重要推论

平均值公式

解析函数$f(z)$在圆心的值等于该圆周上函数值的平均值

$z_0$为圆心，$R$为半径

$z=z_0+Re^{i\theta}, dz=Rie^{i\theta}d\theta$

$$ f(z_0) = \frac{1}{2\pi} \int _0^{2\pi} f(z_0 + Re^{i\theta}) d\theta $$

柯西不等式

$M$为$|f(z)|$在闭圆$|z-z_0|=R$上的最大值

$$ |f^{(n)}(z_0)| \leq \frac{n!M}{R^n} $$

代数学基本定理

任何一个复系数多项式

$$ f(z) = a_0 z^n + a_{1} z^{n-1} + \cdots + a_{n-1} z + a_n \quad (a_0 \ne 0, n \ge 1) $$

$f(z)=0$必有根

莫雷拉定理

若$f(z)$是区域$D$内的连续函数，且对于$D$内任意一条简单光滑闭曲线$C$，都有

$$ \oint _C f(z) dz = 0 $$

则$f(z)$在$D$内解析

:::tip

其实就是柯西-古萨基本定理的逆命题

:::

泊松公式

任何一个在圆内调和且在闭圆盘上的调和函数，其在园内的值可由圆周上的值的积分表示

$$ u(z_0) = u(r,\theta) = \frac{1}{2\pi} \int _0^{2\pi} \frac{R^2 - r^2}{R^2 - 2Rr\cos(\theta - \varphi) + r^2} u(Re^{i\theta}) d\theta $$

当$z = z_0$即$r=0$时，退化为平均值公式

[工科复变函数] 初等函数

Fri, 26 Sep 2025 22:13:00 GMT

复变函数的指数函数

需要满足的条件:

$f(z)$在复平面内解析
$f^{\prime}(z)=f(z), z \in C$
$\mathit{Im}(z)=0$时，$f(z)=e^x$,其中$x=\mathit{Re}(z)$，可见$f(z)=e^x \left ( \cos y + i\sin y \right )$

如果$z=x+iy$，那么称函数$f(z)=e^x \left ( \cos y + i\sin y \right )$为复变数$z$的指数函数，记作$\exp z$

$$ \begin{aligned} \exp z &= e^x \left ( \cos y + i\sin y \right ) = e^{x+iy} \ \left | \exp z \right | &= e^x \ \arg (\exp z) &= y + 2k\pi \end{aligned} $$

复变指数函数的特殊性质

$e^z$是以$2k\pi i$为周期的周期函数

复变函数的对数函数

若$z \ne 0$，称满足方程$e^{\omega}=z$的函数$\omega=f(z)$为复变数$z$的对数函数，记作

$$ \omega = \mathit{Ln} z $$

令$\omega = u+iv$，则有$z=e^{u+iv}=e^{u} \cdot e^{iv}$

$\because e^{u}=\left | z \right |,v=\arg z$

$\therefore \omega = \mathit{Ln}z=\ln{\left |z \right |}+i\arg z + 2k\pi i$ ($k=0$时为主值)

:::caution

指定$k$为某具体值时

$\mathit{Ln}z^n \ne n\mathit{Ln}z$ 与 $\mathit{Ln}\sqrt[n]{z} \ne \frac{1}{n}\mathit{Ln}z$ 不一定成立

:::

复数的乘幂

$$ \mathbf{a^b}=e^{\mathbf{b}\mathit{Ln}\mathbf a}=e^{\mathbf{b}\ln \mathbf a} \cdot e^{2 \mathbf{b} k \pi i} $$

当$b$为整数时，$e^{2\mathbf{b}k\pi i}=1$，因$2\mathbf{b}k\pi$是$2k\pi$的倍数，故$\mathbf{a^b}$仅有一个值

当$b$为非整有理数$\frac{p}{q}$时，$e^{2\mathbf{b}k\pi i}=e^{2\mathbf{\frac{p}{q}k\pi i}}$，$\mathbf{a^b}$具有$q$个值

对于其他形式，有无穷多个值

复变函数的幂函数

形如

$$ z^{\mathbf{b}}=e^{\mathbf{b}\mathit{Ln}z} $$

的函数称为幂函数($\mathbf{b}$为常复数)

$$ \begin{aligned} z^{\mathbf{b}}&=e^{\mathbf{b}\mathit{Ln}z} \ &= e^{\mathbf{b}\ln{\left | z \right |}}\left [ \cos{\mathbf{b} \left ( \arg z + 2k\pi \right ) } + i \sin{\mathbf{b} \left ( \arg z + 2k\pi \right ) } \right ] \text{ (k为任意整数)} \end{aligned} $$

复变幂函数的求导公式仍然成立

$\left ( z^{\mathbf{b}} \right ) ^{\prime}=\mathbf{b}z^{\mathbf{b-1}}$

复变三角函数

由欧拉公式

$$ \begin{aligned} e^{i\theta} = \cos \theta + i\sin \theta \ e^{-i\theta} = \cos \theta - i\sin \theta \end{aligned} $$

得到

$$ \begin{aligned} \cos \theta = \frac{e^{i \theta}+e^{-i \theta}}{2} \ \sin \theta = \frac{e^{i \theta}-e^{-i \theta}}{2i} \end{aligned} $$

$\theta = z$为复数时仍然成立

复变三角函数性质

都在复平面内解析，其余与实变函数相同

公式

$$ \begin{aligned} \cos z &= \cos{\left ( x+iy \right )}&=\cos x \cosh y - i\sin x\sinh y \ \sin z &= \sin{\left ( x+iy \right )}&=\sin x \cosh y + i\cos x\sinh y \end{aligned} $$

双曲函数

$$ \begin{aligned} \cosh x &= \cos ix &= \frac{e^{x}+e^{-x}}{2}\ \sinh x &= -i\sin ix &= \frac{e^{x}-e^{-x}}{2} \end{aligned} $$

:::warning

用欧拉公式表示的$e$的形式需要重点记忆，题目中可能会出现双曲函数和三角函数之间的转换

:::

反三角函数

$$ \begin{aligned} \arcsin z &= -i\mathit{Ln}\left ( iz +\sqrt{1-z^2} \right ) \ \arccos z &= -i\mathit{Ln}\left ( iz +\sqrt{z^2-1} \right ) \ \arctan z &= -\frac{i}{2}\mathit{Ln}\frac{1+iz}{1-iz} \end{aligned} $$

反双曲三角函数

$$ \begin{aligned} \text{arcsinh} z &= \mathit{Ln}\left ( z +\sqrt{z^2+1} \right ) \ \text{arccosh} z &= \mathit{Ln}\left ( z +\sqrt{z^2-1} \right ) \ \text{arctanh} z &= \frac{1}{2}\mathit{Ln}\frac{1+z}{1-z} \end{aligned} $$

[工科复变函数] 调和函数

Fri, 26 Sep 2025 21:00:00 GMT

拉普拉斯方程

$$ \begin{aligned} \frac{\partial^2 u}{\partial x^2} + \frac{\partial^2 u}{\partial y^2} = 0 \ \frac{\partial^2 v}{\partial x^2} + \frac{\partial^2 v}{\partial y^2} = 0 \end{aligned} $$

用Nabla算子$\nabla^2$或拉普拉斯算子$\Delta$表示

调和函数是满足拉普拉斯方程的函数

$f(z)=u(x,y)+iv(x,y)$

若$u$或$v$满足拉普拉斯方程，则称$u$或$v$为调和函数

定理 2.3.1

若$f(z)$在区域$D$内解析，则$u(x,y),v(x,y)$都是$D$内的调和函数

定义2.3.2

来自同一个解析函数或满足柯西黎曼条件的调和函数$u$和$v$，$v$称为$u$的共轭调和函数

共轭调和函数的特点

它们的等值线在交点上永远相互正交

定理 2.3.2

$f(z)$在区域$D$内解析$\Leftrightarrow $ 虚部$v(x,y)$是实部$u(x,y)$的共轭调和函数

积分求调和函数

由柯西黎曼条件

$$ \begin{aligned} u^{\prime}_x = v^{\prime}_y \ u^{\prime}_y = -v^{\prime}_x \end{aligned} $$

和全微分

$$ \begin{aligned} dv = v^{\prime}_x dx + v^{\prime}_y dy \ du = u^{\prime}_x dx + u^{\prime}_y dy \end{aligned} $$

得

$$ \begin{aligned} v(x,y) = \int -u^{\prime}_y dx + \int u^{\prime}_x dy \ u(x,y) = \int v^{\prime}_y dx - \int v^{\prime}_x dy \end{aligned} $$

该积分与积分路径无关，所以可以随意选择积分路径

在Fedora上无需编译安装ROS/ROS2

Sat, 13 Sep 2025 21:57:06 GMT

起因

最近尝试加入学校的竞技机器人队，队里也是如预想的一样要求用老版本的Ubuntu

~~不想用Ubuntu~~

尝试

经过两次在Fedora上安装ROS的rpm包的失败尝试(~~依旧RHEL专用版~~)，想起来Fedora还有个copr仓库，于是从中找到了别人打包的ROS

https://copr.fedorainfracloud.org/coprs/tavie/ros2/

安装

安装挺简单的

sudo dnf copr enable tavie/ros2

sudo dnf install ros-{distro}-desktop

{distro}填ROS发行版名称，如jazzy(humble版本只有Fedora40能安装😭)

Ubuntu上使用的启动ROS环境变量的语句在这里要换成

source /usr/lib64/ros2-{distro}/setup.bash

新发现

在问AI的时候给我介绍了个叫RoboStack的项目

https://robostack.github.io/

这个项目把ROS打包成了conda包，可以直接安装在conda环境中，无关发行版且方便管理ROS版本

感觉是个非常有意义的项目，不知道为什么网上却几乎没有相关的讨论

亲测可以在Fedora42上使用ROS-Humble，不过自定义消息类型编译会报错，目前还没有解决思路

最终

别折腾，建议用容器

/posts/ros_in_container/

文章加密测试

Sat, 13 Sep 2025 00:00:00 GMT

该文章为加密文章，阅读请移步博客网站

[RM] 卡尔曼滤波快速入门

Tue, 02 Sep 2025 11:44:00 GMT

本文旨在以最快的速度学会卡尔曼滤波的使用方法，并不做理论推导和进一步的深入理解

~~诶我草了我一个学计算机的为什么要学现代控制理论的知识啊~~

五条最重要的公式

$$ \begin{aligned} \text{状态预测 } \hat{x}{k|k-1} &= F_k \hat{x}{k-1|k-1} + B_k u_k \ \text{协方差预测 } P_{k|k-1} &= F_k P_{k-1|k-1} F_k^T + Q_k \ \text{卡尔曼增益计算 } K_k &= P_{k|k-1} H_k^T (H_k P_{k|k-1} H_k^T + R_k)^{-1} \ \text{状态更新 } \hat{x}{k|k} &= \hat{x}{k|k-1} + K_k (z_k - H_k \hat{x}{k|k-1}) \ \text{协方差更新 } P{k|k} &= (I - K_k H_k) P_{k|k-1} \end{aligned} $$

什么是$\hat x$状态？

$\hat x$表示对系统状态的估计值，通常是一个向量，包含了系统的各种状态变量，比如位置、速度、加速度等

比如一个物体正在直线运动，它当前的真实状态就可以表示为

$$ x = \begin{bmatrix} position \ velocity \ acceleration \end{bmatrix} $$

$\hat x$和$x$有什么区别？

$x$表示真实状态，而$\hat x$表示状态的估计值

:::note 真实状态$x$是我们不知道的，而卡尔曼滤波的目的就是通过测量值和估计值$\hat x_{k|k-1}$计算出$\hat x_{k|k}$来尽量接近真实状态$x$ :::

$\hat x_{k|k-1}$是什么意思？

$\hat x_{k|k-1}$表示在当前时刻$k$，基于时刻$k-1$的信息进行的对当前时刻$k$预测，但并未融合$k$时刻的测量值$z_k$，也称为先验估计/先验状态

$\hat x_{k|k}$又是什么意思？

$\hat x_{k|k}$是在当前时刻$k$，由$\hat x_{k|k-1}$和$k$时刻的测量值$z_k$计算得出的更接近$k$时刻的真实状态的估计值，也称为后验估计/后验状态

这个后验状态$\hat x_{k|k}$就是我们最终想要的结果

什么是观测矩阵$H_k$？

观测矩阵$H_k$定义了如何从状态变量$\hat x$映射到测量值$z_k$

:::tip 举个例子，假设我们使用的测量仪器只能测量物体的位置，不能测量速度和加速度 :::

所以$H_k$就应该是 $$ H_k = \begin{bmatrix} 1 & 0 & 0 \end{bmatrix} $$

因为

$$ z = H_k x = \begin{bmatrix} 1 & 0 & 0 \end{bmatrix} \begin{bmatrix} position \ velocity \ acceleration \end{bmatrix} = \begin{bmatrix} position \end{bmatrix} $$

什么是状态转移矩阵$F_k$？

状态转移矩阵$F_k$定义了系统状态如何从时刻$k-1$转移到时刻$k$

举个例子，一个物体在匀加速直线运动，假设每次时间步长为$\Delta t$，那么状态转移矩阵$F_k$可以表示为

$$ F_k = \begin{bmatrix} 1 & \Delta t & \frac{1}{2} \Delta t^2 \ 0 & 1 & \Delta t \ 0 & 0 & 1 \end{bmatrix} $$

因为

$$ x_k = F_k x_{k-1} = \begin{bmatrix} 1 & \Delta t & \frac{1}{2} \Delta t^2 \ 0 & 1 & \Delta t \ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} position \ velocity \ acceleration \end{bmatrix}_{k-1} = \begin{bmatrix} position \ velocity \ acceleration \end{bmatrix}_k $$

换成高中物理的写法就是

$$ \begin{aligned} p_k &= p_{k-1} + v_{k-1} \Delta t + \frac{1}{2} a_{k-1} \Delta t^2 \ v_k &= v_{k-1} + a_{k-1} \Delta t \ a_k &= a_{k-1} \end{aligned} $$

~~这下看懂了~~

什么是控制输入矩阵$B_k$和$u_k$？

控制输入矩阵$B_k$定义了外部控制输入$u_k$如何影响系统状态

:::tip 简单来说就像你在匀速驾驶一辆车，突然猛踩了一下油门，车的加速度会增加，从而影响车的速度和位置 :::

而控制输入矩阵$B_k$就是用来描述这种外部控制（猛踩一下油门）对系统状态（车的加速度）的影响

而$u_k$就是这个外部控制输入的具体数值，也就是$k$时刻踩油门踩了多深

举个例子，假设我们在$k$时刻对直线运动的物体施加一个额外的力$\Delta force$作为控制输入$u_k$

$$ u_k = \Delta force $$

那么根据牛顿第二定律$F=ma$就能得到加速度的改变量

$$ \Delta a = \frac{\Delta force}{m} $$

因为卡尔曼滤波是个离散系统，所以我们不关心加速度的连续变化，只关心在每个时间步长$\Delta t$内加速度的变化量$\Delta a$

控制输入矩阵$B_k$就可以表示为

$$ B_k = \begin{bmatrix} \frac{1}{2} \Delta t^2 \frac{1}{m} \ \Delta t \frac{1}{m}\ \frac{1}{m} \end{bmatrix} $$

$$ B_k u_k = \begin{bmatrix} \frac{1}{2} \Delta t^2 \frac{1}{m} \ \Delta t \frac{1}{m}\ \frac{1}{m} \end{bmatrix} \Delta force = \begin{bmatrix} \Delta positon \ \Delta velocity \ \Delta acceleration \end{bmatrix} $$

什么是过程噪声协方差矩阵$Q_k$？

过程噪声协方差矩阵$Q_k$表示系统在状态转移过程中可能存在的随机扰动或不确定性

比如风吹、路面不平等因素都会影响物体的运动状态，这个在$k$时刻对物体的不确定影响我们就用$Q_k$来表示

什么是测量噪声协方差矩阵$R_k$？

测量噪声协方差矩阵$R_k$表示测量仪器本身存在的误差或不确定性

比如测量仪器的精度有限，可能会有一定的误差，这个误差我们就用$R_k$来表示

什么是协方差矩阵$P$？

~~主包也不知道，等主包学完概率论了再来补充~~

更适合程序中使用的协方差更新公式

由于浮点数运算是有误差的，直接使用

$$ P_{k|k} = (I - K_k H_k) P_{k|k-1} $$

可能会导致协方差矩阵$P$变得不正定

所以更推荐使用下面的公式来更新协方差矩阵$P$

$$ P_{k|k} = (I - K_k H_k) P_{k|k-1} (I - K_k H_k)^T + K_k R_k K_k^T $$

[工科复变函数] 复数基础

Mon, 01 Sep 2025 22:02:12 GMT

欧拉公式

$$ e^{i \theta} = cos \theta + i \sin \theta $$

:::tip 欧拉公式非常重要，大部分复数的运算都需要用到 :::

复数的辐角

辐角是复数与实轴的夹角，记作 $\arg z$

$$ \begin{aligned} \arg z = \begin{cases} \arctan\left(\frac y x\right) & \qquad x > 0 \ \arctan\left(\frac y x\right) + \pi& \qquad y \ge 0 , x < 0 \ \arctan\left(\frac y x\right) - \pi& \qquad y < 0 , x < 0 \ +\frac{\pi}{2} & \qquad y > 0 , x = 0 \ -\frac{\pi}{2} & \qquad y < 0 , x = 0 \end{cases} \end{aligned} $$

:::tip 感没感觉有点眼熟，这个东西其实就是atan2 :::

$$ \begin{aligned} \operatorname{atan2}(y, x) = \begin{cases} \arctan\left(\frac y x\right) & \qquad x > 0 \ \arctan\left(\frac y x\right) + \pi& \qquad y \ge 0 , x < 0 \ \arctan\left(\frac y x\right) - \pi& \qquad y < 0 , x < 0 \ +\frac{\pi}{2} & \qquad y > 0 , x = 0 \ -\frac{\pi}{2} & \qquad y < 0 , x = 0 \ \text{undefined} & \qquad y = 0, x = 0 \end{cases} \end{aligned} $$

辐角的连续性

辐角 $\omega = \arg z$ 在除去原点和负实轴的复平面上连续

复数开根多解

$$ \sqrt[3]{i} = ? $$

$$ \begin{aligned} z &= \sqrt[3]{i} \ &= \sqrt[3]{\cos{\left ( \frac{\pi}{2} + 2k\pi \right )} + i\sin{\left ( \frac{\pi}{2} + 2k\pi \right )}} \ &= \sqrt[3]{e^{i \left ( \frac{\pi}{2} + 2k\pi \right )}} \ &= e^{i \left ( \frac{\pi}{6} + \frac{2}{3}k\pi \right )} \ &= \cos{\left ( \frac{\pi}{6} + \frac{2}{3}k\pi \right )} + i\sin{\left ( \frac{\pi}{6} + \frac{2}{3}k\pi \right )} \end{aligned} $$

[解包] 常轨脱离(ハミダシ)语音与文本解包制作GPTSoVits数据集

Fri, 29 Aug 2025 21:47:58 GMT

需要准备什么

游戏本体
Lua环境，提取文本+数据处理脚本
GARbro，解包用
FFmpeg，.ogg转.wav，记得添加到环境变量

解包语音和脚本资源

运行GARbro.GUI.exe，点击左上角文件->打开，选择游戏目录内的hamidashi.pfs

将script目录内所有内容（扩展名.ast的文件）导出备用，这个目录内即为脚本文件

之后打开游戏目录内的hamidashi.pfs.000，将sound/vo/名简写，比如要导出錦あすみ的语音，就导出sound/vo/asu内的所有.ogg音频

（如果在找妃愛的语音，还有一部分在hamidashi.pfs.001的sound/vo/hiy）

将所有需要的.ogg音频导出到一个文件夹内备用，暂且称之voice_ogg目录吧

提取语音对应的文本

不同于很多使用.json的其他galgame，解析这个.ast的过程相当波折

一段例子

text={
    [1]={
        vo={
            {"vo",file="fem_mir_10142",ch="mir"},
        },
        name={name="里"},
        ja={
            {
            "「今日はほんとお疲れー！　最後までみんな笑いすぎでウケる！　うち、しおぽよがあれだけ楽しそうにしてるの初めて見たし！」",
            },
        },
    },
...
}

一开始看到这语法还以为是私有标记语言，然后跟AI对线一小时整了个正则表达式

后来注意到怎么从1开始呢，不会跟lua有关吧，查了一下才知道原来这整个文件就是个lua脚本（~~电脑里有一款索引从1开始的语言~~）

2025-11-25: 才知道原来这个引擎就是基于Lua脚本的，早知道应该先调查一下的

提取文本与对应音频文件名生成json的lua脚本

将该脚本与dkjson.lua放置在与script目录同级

local json = require("dkjson")

local lfs = require("lfs")

local script_dir = "script"

local target_name = "妃愛" -- 名字在.ast文件里能找到
local ja_name = nil -- name={name="あすみ",ja="雪景シキ"}遇到类似想提取雪景シキ的情况时就填入"雪景シキ"，其余情况填nil，该项若非空会覆盖target_name

local all_data = {}

for file in lfs.dir(script_dir) do
    if file:match("%.ast$") then
        local path = script_dir .. "/" .. file
        dofile(path)
        local ast_data = _G.ast
        if ast_data and ast_data.text then
            for k, v in pairs(ast_data.text) do
                local should_insert = false

                if ja_name then
                    if v.name and v.name.ja and v.name.ja == ja_name then
                        should_insert = true
                    end
                else
                    if v.name and v.name.name and target_name == v.name.name then
                        should_insert = true
                    end
                end

                if should_insert then
                    if v.vo then
                        local tmp = v.ja[1][1]
                        tmp = string.gsub(tmp, "「", "")
                        tmp = string.gsub(tmp, "」", "")
                        tmp = string.gsub(tmp, "『", "")
                        tmp = string.gsub(tmp, "』", "")
                        local data = {
                            voice_file = v.vo[1].file,
                            text = tmp
                        }
                        table.insert(all_data, data)
                    end
                end
            end
        else
            print("无法加载文件：" .. path)
        end
    end
end

-- 导出为 JSON
local json_str = json.encode(all_data, {
    indent = true
})
local out = io.open("text_output.json", "w")
out:write(json_str)
out:close()

运行该脚本即可得到text_output.json

音频格式转换与筛选

将该脚本与dkjson.lua放置在与script目录同级

:::important 需要将FFmpeg添加到环境变量，或者自己改脚本里的调用命令吧 :::

local lfs = require("lfs")
local json = require("dkjson")

local input_dir = "voice_ogg" 

local output_dir = "voice_wav"

local json_path = "text_output.json"

local min_duration = 3 -- 筛选音频最短时长（秒）
local max_duration = 30 -- 筛选音频最长时长（秒）

-- 创建输出目录
local attr = lfs.attributes(output_dir)
if not attr or attr.mode ~= "directory" then
    os.execute('mkdir "' .. output_dir .. '"')
end

-- 读取 JSON
local f = io.open(json_path, "r")
if not f then
    error("无法打开 JSON 文件: " .. json_path)
end
local content = f:read("*a")
f:close()

local data, pos, err = json.decode(content)
if err then
    error("JSON 解析失败: " .. err)
end

local allowed = {}
for _, entry in ipairs(data) do
    allowed[entry.voice_file] = true
end

-- 获取音频时长（秒）
local function get_duration(file_path)
    local cmd = string.format(
        'ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "%s"', file_path)
    local handle = io.popen(cmd)
    local result = handle:read("*a")
    handle:close()
    return tonumber(result)
end

for file in lfs.dir(input_dir) do
    if file:match("%.ogg$") then
        local input_path = input_dir .. "/" .. file
        local base_name = file:match("^(.*)%.ogg$")
        local output_path = output_dir .. "/" .. base_name .. ".wav"

        if allowed[base_name] then
            local duration = get_duration(input_path)

            if duration and duration >= min_duration and duration <= max_duration then
                local cmd = string.format('ffmpeg -i "%s" "%s"', input_path, output_path)
                os.execute(cmd)
            end
        end
    end
end

运行脚本后我们便有了所有需要的资源

生成GPTSoVits数据集使用的`slicer.list`

同样放置在同级目录

local lfs = require("lfs")

local json = require("dkjson")
local current_dir = lfs.currentdir()

local wav_dir = "voice_wav"

local json_path = "text_output.json"

local output_slicer = "slicer.list"

-- 读取 JSON
local f = io.open(json_path, "r")
if not f then
    error("无法打开 JSON 文件: " .. json_path)
end
local content = f:read("*a")
f:close()

local data, pos, err = json.decode(content)
if err then
    error("JSON 解析失败: " .. err)
end

local vtpairs = {}
for _, entry in ipairs(data) do
    vtpairs[entry.voice_file] = entry.text
end

local output = io.open(output_slicer, "w")

for file in lfs.dir(wav_dir) do
    if file:match("%.wav$") then
        local base_name = file:match("^(.*)%.wav$")
        local absolute_path = current_dir .. "\\" .. base_name .. ".wav"
        if vtpairs[base_name] then
            output:write(absolute_path .. "|slicer|JA|" .. vtpairs[base_name] .. "\n")
        end
    end
end

output:close()

之后就可以拿去训练GPTSoVits了

顺便贴一下跟AI对线一小时得到的Regex（没用了）

/{["']vo["'],\s*file=["']([^"']+)["'],\s*ch=["']([^"']+)["']}[\s\S]*?ja=\s*\{\{\s*\{\s*["']([^"']+)["']/g

[Fedora 42]自签名自定义内核，启用安全启动

Mon, 04 Aug 2025 09:30:06 GMT

为了压住天选5pro上的火龙R9 7940HX，不得不用asus-linux的asusctl，想要启用功耗控制的话还要用移植到fedora的cachyos内核

但是对fedora来说是第三方的cachyos内核是无签名的，只能自签名后导入MOK

使用pesign生成签名密钥

安装pesign

sudo dnf install pesign

生成签名密钥

sudo openssl req -new -x509 -newkey rsa:2048 -keyout MOK.key -out MOK.crt -nodes -days 3650 -subj "/CN=My Secure Boot Key/"

sudo openssl x509 -in MOK.crt -out MOK.cer -outform DER

导入密钥到 UEFI

sudo mokutil --import MOK.cer

[!WARNING] 会提示设置密码，稍后导入密钥时会要求输入

重启后自动进入MOK,选择"Enroll MOK"导入密钥

使用sbsign签名内核

安装sbsigntools

sudo dnf install sbsigntools

签名内核

sudo sbsign --key MOK.key --cert MOK.crt --output /boot/vmlinuz-$(uname -r) /boot/vmlinuz-$(uname -r)

sudo mv /boot/vmlinuz-$(uname -r).signed /boot/vmlinuz-$(uname -r)

<!-- ## 更新grub

sudo grub2-mkconfig -o /boot/grub2/grub.cfg
``` -->

最后在BIOS设置中开启安全启动

[工科复变函数] 解析函数

Mon, 07 Jul 2025 21:08:57 GMT

复变函数的导数与微分

在复变函数中，可导与可微是等价的

所以要证明复变函数在某点是否可微时只需算该点的导数是否存在

$$ f^{\prime}(z_0) = \frac{f(z_0+\Delta z)-f(z_0)}{\Delta z} $$

复变函数导数的几种表示形式

$$ \begin{aligned} f^{\prime}(z) &= \frac{\partial u}{\partial x} + i \frac{\partial v}{\partial x} \[1.5em] &= \frac{\partial v}{\partial y} - i \frac{\partial u}{\partial y} \end{aligned} $$

第二种的计算过程

$$ \begin{aligned} f^{\prime}(z) &= \lim_{\Delta z \to 0} \frac{f(z+i\Delta y)-f(z)}{i\Delta y} \[1.5em] &= \frac{1}{i} \cdot \frac{\partial f}{\partial y} \[1.5em] &= \frac{1}{i} \left( \frac{\partial u}{\partial y} + i \frac{\partial v}{\partial y} \right) \[1.5em] &= \frac{\partial v}{\partial y} - i \frac{\partial u}{\partial y} \end{aligned} $$

解析

解析与可导的区别

解析用于描述区域而可导用于描述点，也就是解析 $\supseteq$ 可导

若函数在一个区域内处处可导，则称该函数在该区域内解析

$f(z)$在$z_0$点处可导 $\Leftarrow$ $f(z)$在$z_0$处解析

$f(z)$在$z_0$点处的邻域可导 $\Leftrightarrow f(z)$在$z_0$处解析

柯西-黎曼条件

函数$f(z)=u(x,y)+iv(x,y)$在区域$D$内有定义则：

$f(z)$在点$z=x+iy$可微/可导 $\Leftrightarrow$ 在点$x+iy$处，$u(x,y),v(x,y)$可微/可导且满足柯西-黎曼条件：

$$ \begin{aligned} \frac{\partial u}{\partial x} &= \frac{\partial v}{\partial y} \ \frac{\partial u}{\partial y}&=-\frac{\partial v}{\partial x} \end{aligned} $$

柯西-黎曼条件仅是$f(z)$可导的必要条件，但若再证明$u^{\prime}_x,u^{\prime}_y,v^{\prime}_x,v^{\prime}_y$在$z$点处连续，则可得到$f(z)$在$z$点处可微/可导的充分必要条件

如何求得/证明一个函数的解析区域

先使用柯西-黎曼条件，求出$u,v$的偏导数
列出方程组，解出$x,y$为何值时满足柯西-黎曼条件
判断$u^{\prime}_x,u^{\prime}_y,v^{\prime}_x,v^{\prime}_y$在$x,y$的取值范围内是否连续，若不连续则不可导
$x,y$为点或线，则函数无解析区域，函数在此处可导；若$x,y$为区域，函数在此区域内解析

解析的一个必要条件

若$\omega = u(x,y) + iv(x,y)$是解析函数，则$\frac{\partial\omega}{\partial \bar z}=0$，即$\omega$只用$z$就可表示

将解析函数$f(x+iy)$化成$f(z)$的方法

令$y=0$

$$ f(x+yi) = f(x) = \text{关于}x\text{的函数} $$

将$x$替换成$z$即可得到$f(z)$

[大学物理] 纯滚动

Tue, 22 Apr 2025 09:14:35 GMT

例题

半径为$R$的球，绕质心轴的转动惯量$J=\frac{2}{3}mR^2$（$m$为球的质量），在粗糙水平面上运动，开始时球质心速度为$v_{c0}$，初角速度为$\omega_0$，方向如图所示（垂直纸面向外），摩擦系数$\mu$，求球到开始纯滚动所需的时间及纯滚动时质心的速度

~~选这个奇怪的颜色是因为无论黑白模式都能看清~~

解：

在平面上取一点$O$作为角动量的参考点，因为摩擦力方向与水平面平行，过$O$点，因此摩擦力矩为0，重力矩球的合外力矩为0，关于$O$点角动量守恒

[!TIP]

重要结论

球对参考点$O$的角动量等于对点$O$的质心角动量（公转的角动量）和绕质心轴的角动量（自传的角动量）的矢量和

因此开始时角动量为$mRv_{c0}-J\omega_0$，（注意$\omega_0\text{和}Rv_{c0}$的方向相反，所以要加负号，取垂直纸面向里为正方向

[!NOTE]

纯滚动条件

表面线速度等于角速度叉乘半径 $v=\omega \times R$

表面线速度等于球质心速度 $v=v_c$

因此：开始纯滚动时角动量为$mRv_c+J\omega$

$$ \begin{aligned} mRv_{c0}-J\omega_0 &= mRv_c + J\omega &\text{ 角动量守恒} \ v_c-v_{c0} = - \frac{J}{mR} ( \omega_0 + \omega ) &= -\frac{2}{3}R ( \omega_0 + \omega ) &\text{ 速度改变量} \ v_c&=R\omega &\text{ 纯滚动条件} \end{aligned} $$

可解得 $$ v_c=\frac{3}{5}v_{c0}-\frac{2}{5}R\omega_0 $$

摩擦加速度$\mu g$

$$ \begin{aligned} v_c &= v_{c0}-\mu g t \ t&=\frac{2}{5} \frac{v_{c0} + R \omega_0}{\mu g} \end{aligned} $$

常系数(非)齐次线性微分方程

Thu, 09 Jan 2025 18:25:47 GMT

齐次线性微分方程求通解

称$\large y^{(n)}+a_{n-1}y^{(n-1)}+\cdots +a_{1}y^{\prime}+a_{0}y=0$为常系数齐次线性微分方程
$\large \lambda ^{n}+a_{n-1}\lambda ^{n-1}+\cdots +a_{1}\lambda +a_{0}=0$为它的特征方程

特征值四种情况

$\large \lambda$是单实特征根，则$\large y=e^{\lambda x}$ (基础解系)
$\large \lambda$是$\large k$重实特征根，则基础解系中的$\large k$个解$\large y_1=e^{\lambda x},y_2=xe^{\lambda x},\cdots,y_k=x^{k-1}e^{\lambda x}$
$\large \lambda=\alpha \pm i\beta$是单复特征根，则方程基础解系中对应的两个解$\large y_1=e^{\alpha x}\cos {\beta x},y_2=e^{\alpha x}\sin{\beta x}$
$\large \lambda=\alpha \pm i\beta$是$\large k$重复特征根，则对应$\large 2k$个解

$$ \begin{aligned} \large y_1=e^{\alpha x}\cos{\beta x}&\large,y_2=e^{\alpha x}\sin{\beta x} \ \large xe^{\alpha x}\cos{\beta x}&\large,xe^{\alpha x}\sin{\beta x} \ \large \cdots&\large,\cdots \ \large x^{k-1}e^{\alpha x}\cos{\beta x}&\large,x^{k-1}e^{\alpha x}\sin{\beta x} \end{aligned} $$

[!TIP] 由欧拉公式$\large e^{i\theta}=\cos{\theta} \pm i\sin{\theta}$ 得出

[!NOTE]

例题：
求$\large y^{\prime \prime} +3y^{\prime}+2y=0$的通解

解：特征方程$\large \lambda ^{2}+3\lambda +2=0$
特征根为$\large \lambda_{1}=-1,\lambda_2=-2$
故通解为$\large y=C_{1}e^{-x}+C_{2}e^{-2x}$

[!NOTE] 例题：
求$\large y^{\prime \prime} +2y^{\prime}+y=0$的通解

解：特征方程$\large \lambda ^{2}+2\lambda +1=0$
特征根为$\large \lambda_{1}=\lambda_2=-1$
故通解为$\large y=C_{1}e^{-x}+C_{2}xe^{-x}$

[!NOTE] 例题：
求$\large y^{\prime \prime} +y=0$的通解

解：特征方程$\large \lambda ^{2}+1=0$
特征根为$\large \lambda_{1}=i,\lambda_2=-i$
($\large \alpha = 0,\beta = 1$ 代入公式)
故通解为$\large y=C_{1}\cos{x}+C_{2}\sin{x}$

非齐次

称$\large y^{(n)}+a_{n-1}y^{(n-1)}+\cdots +a_{1}y^{\prime}+a_{0}y=f(x)$为常系数非齐次线性微分方程
区别就是右边的0变成了关于x的函数

求通解

方法：非齐次方程特解加对应的齐次方程通解（跟线代里学的线性方程组一样）

求特解

$\large f(x)$多项式型

设$\large f(x)=P_n(x)$

$\large k$为0作为该方程特征根的重数，0不是特征根则重数为0，$\large k=0$

可设特解$\large y^{\ast}=x^{k}Q_n(x)$

$\large Q_n(x)=a_nx^{n}+\cdots+a_1x+a_0$

[!NOTE] 例题：
求$\large y^{\prime \prime} -y^{\prime}=x^{2}$特解

解：设$\large y^{\ast}=ax^{3}+bx^{2}+cx+d, y^{\ast \prime}=3ax^{2}+2bx+c,y^{\ast \prime \prime}=6ax+2b$
(设$\large ax^{3}$是因为等号右侧最高次为$\large x^{2}$，左侧最低阶导数为1阶，$\large ax^{3}$求导一次得$\large 3ax^{2}$)
代入方程，$\large 6ax+2b-3ax^{2}-2bx-c=x^{2}$
解出$\large a,b,c$ 得特解

$\large f(x)$非多项式型

一般可设$\large f(x)=P_{n}(x)e^{\alpha x}\cos{\beta x}+Q_{m}(x)e^{\alpha x}\sin{\beta x}$

$\large P_{n}(x)$和$\large Q_{m}(x)$为多项式

特解为$\large y^{\ast}=x^{k}\left [ \tilde{P} _{t}(x)e^{\alpha x}\cos{\beta x}+\tilde{Q} _{t}(x)e^{\alpha x}\sin{\beta x}\right ]$

$\large k$为$\large \alpha \pm i\beta$作为特征根时的重数且$\large t=\max \left { n,m \right }$

$\large k$分为两种情况

若$\large \alpha \pm i\beta$为方程的$\large n$重特征根，则$\large k=n$，特解中要多乘$\large x^{k}$
若$\large \alpha \pm i\beta$不是特征根则重数为0，则$\large k=0$，也就是乘$\large x^{0}=1$

所以解特解的思路就变成了先将$\large f(x)$化成$\large P_{n}(x)e^{\alpha x}\cos{\beta x}+Q_{m}(x)e^{\alpha x}\sin{\beta x}$的形式，进而就求得了$\large \alpha,\beta$的值，得$\large k$的值为$\large \alpha \pm i\beta$作为方程特征根时的重数

[!NOTE] 例题：
求$\large y^{\prime \prime} +y\prime=x-2+3e^{2x}$特解

其实是分成了两个方程$\large x-2$和$\large 3e^{2x}$分别求特解再相加
解：特征方程$\large \lambda ^{2}+\lambda=0$
特征根为$\large \lambda_1=0,\lambda_2=-1$
对于$\large x-2$的部分
$\large \alpha \pm i\beta=0\pm i0=0$是1重特征根，所以$\large k_1 = 1$
所以设$\large y^{\ast}_1=x^{k_1}\left ( ax+b \right )=x\left ( ax+b \right )$
对于方程$\large 3e^{2x}$的部分
$\large \alpha \pm i\beta=2\pm i0=2$，不是$\large 3e^{2x}$的特征根，所以重数为0，$\large k_2=0$
所以设$\large y^{\ast}_2=x^{k_2}\left [ ce^{2x}\cos{0x}+ae^{2x}\sin{0x} \right ]=ce^{2x}$
因此$\large y^{\ast}=y_1^{\ast}+y_2^{\ast}=x(ax+b)+ce^{2x}$
代入求解$\large a,b,c$即可

LaTex怎么将上下标放在正上和正下方

Sat, 04 Jan 2025 22:35:42 GMT

若为数学符号

\sum\limits_{i=1}^{n}

$\large \sum\limits_{i=1}^{n}$

若为普通符号

\mathop{\theta}\limits_{i=1}^{n}

$\large\mathop{\theta}\limits_{i=1}^{n}$

微积分上册常用公式

Thu, 02 Jan 2025 13:37:18 GMT

1. 常见等价无穷小

$$ \begin{aligned} \large ln\left(1+x\right)&\large\sim\ x \\ \large log_a\left(1+x\right)&\large\sim\frac{x}{lna} \\ \large1-cosx &\large\sim\frac{1}{2}x^2 \\ \large x-sin{x}&\large\sim\frac{1}{6}x^3 \\ \large\left(1+x\right)^\alpha-1&\large\sim\alpha\ x \\ \large x-arctan{x}&\large\sim\frac{1}{3}x^3 \\ \large e^x-1&\large\sim\ x \\ \large a^x-1&\large\sim\ xlna \\ \large tan{x}-x&\large\sim\frac{1}{6}x^3 \\ \large arcsin{x}-x&\large\sim\frac{1}{6}x^3 \\ \large tan{x}-sin{x}&\large \sim\frac{1}{2}x^3 \end{aligned} $$

2. 高中大概率没讲过的导数

$$ \begin{aligned} \large \left(arctan{x}\right)^\prime&\large=\frac{1}{1+x^2} \\ \large \left(arcsin{x}\right)^\prime&\large=\frac{1}{\sqrt{1-x^2}} \\ \large \left(arccos{x}\right)^\prime&\large=\frac{-1}{\sqrt{1-x^2}} \\ \large \left(cot{x}\right)^\prime&\large=\frac{-1}{sin^2x} \end{aligned} $$

3. 高阶导数

$$ \begin{aligned} \large\left(x^\alpha\right)^{\left(n\right)}&\large=\alpha\left(\alpha-1\right)\ldots\left(\alpha-n+1\right)x^{\alpha-n} \\ \large \left(\frac{1}{x}\right)^{\left(n\right)}&\large=\frac{\left(-1\right)^nn!}{x^{n+1}} \\ \large \left(a^x\right)^{\left(n\right)}&\large=\left(lna\right)^na^x \\ \large \left(sin{x}\right)^{\left(n\right)}&\large=sin{\left(x+\frac{n\pi}{2}\right)} \\ \large \left(cos{x}\right)^{\left(n\right)}&\large=cos{\left(x+\frac{n\pi}{2}\right)} \end{aligned} $$

高阶导莱布尼茨公式

用于解决一些两式相乘求高阶导，k大于等于某值后其中一导数为零

$\large\left(f\left(x\right)g\left(x\right)\right)^{\left(n\right)}=\sum\limits_{k=0}^{n}C_n^kf\left(x\right)^{\left(k\right)}g\left(x\right)^{\left(n-k\right)}$

4. 曲率

$$ \begin{aligned} \large K=\frac{ \left|y^{\prime\prime}\right|}{\left(1+y^{\prime2}\right)^\frac{3}{2}} \end{aligned} $$

曲率半径 $\large R=\frac{\large 1}{\large K}$

5. 不定积分

$$ \begin{aligned} \large \int\frac{1}{sin^2x}dx&\large=\int{csc}^2{x}dx=-cot{x}+C \\ \large \int{\frac{1}{\sqrt{x^2+a^2}}dx}&\large=ln\left(x+\sqrt{x^2+a^2}\right)+C \\ \large \int{sec{x}dx}&\large=ln\left|sec{x}+tan{x}\right|+C \\ \large \int{\frac{1}{\sqrt{x^2-a^2}}dx}&\large=ln\left|x+\sqrt{x^2-a^2}\right|+C \\ \large \int s e c{x}tan{x}dx&\large=sec{x}+C \\ \large \int c o t{x}dx&\large=ln\left|sin{x}\right|+C \\ \large \int c s c{x}dx&\large=ln\left|csc{x}-cot{x}\right|+C \\ \large \int c s c{x}cot{x}dx&\large=-csc{x}+C \end{aligned} $$

6. 积分求导法则

$\large \left(\int_{a}^{g\left(x\right)}f\left(t\right)dt\right)^{\prime}=f\left(g\left(x\right)\right)g^\prime\left(x\right)\ \ \ \text{a为常数}$

C printf() 的使用

Fri, 15 Dec 2023 18:19:25 GMT

1. 转换说明符

%s 字符串

%a 浮点数、十六进制bai数字和p-记法(C99)

%c 一个字符

%d 有符号十进制整数，%ld/%lld为长整型

%e 浮点数、e-记数法

%f 浮点数、十进制记数法

%g 根据数值不同自动选择％f或％e

%i 有符号十进制数(与％d相同)

%o 无符号八进制整数

%p 指针

%u 无符号十进制整数

%x 使用十六进制数字0f的无符号十六进制整数

%% 打印一个百分号

解决禁用Microsoft商店自动更新后wsappx仍然运行的问题

Fri, 06 May 2022 17:38:45 GMT

解决禁用Microsoft商店自动更新后wsappx仍然运行的问题

解决方法：

在管理员PowerShell中输入命令卸载应M用商店

Get-AppxPackage *WindowsStore*
Remove-AppxPackage

再输入命令，重新安装商店

get-appxpackage *store*
remove-Appxpackage

再执行以下命令

add-appxpackage -register "C:\Program Files\WindowsApps\*Store*\AppxManifest.xml" -disabledevelopmentmode

之后打开商店再关闭自动更新即可

解决win10资源管理器(桌面任务栏)频繁假死

Fri, 06 May 2022 10:47:43 GMT

最近装了ltsc2021,发现桌面和任务栏频繁假死，且无法呼出任务管理器，只能注销重新登录，搜索了好久终于在Microsoft社区找到了解决办法

在管理员Powershell中，输入以下两条命令：

$manifest = (Get-AppxPackage Microsoft.WindowsStore).InstallLocation + '\AppxManifest.xml' ; Add-AppxPackage -DisableDevelopmentMode -Register $manifest

Get-AppXPackage -AllUsers |Where-Object {$_.InstallLocation -like "*SystemApps*"}

重启计算机即可。

社区问题链接：传送门