[模式识别与机器学习] 多层感知机

396 字

2 分钟

[模式识别与机器学习] 多层感知机

2026-06-25

模式识别

/

机器学习

常见的损失函数#

J(\theta) = \frac{1}{2m} \sum_{i=1}^m \| h_\theta(\mathbf{x}^{(i)}) - \mathbf{y}^{(i)} \|^2

J(\theta) = \frac{1}{m} \sum_{i=1}^m \| h_\theta(\mathbf{x}^{(i)}) - \mathbf{y}^{(i)} \|_1

定义 $z=h_\theta(\mathbf{x})$ ， $z$ 是 $\mathbf{x}$ 属于正类的评分

使用sigmoid函数将评分映射到概率空间：

p = \sigma(z) = \frac{1}{1 + e^{-z}}

则 $P(y=1|\mathbf{x}) = p$ ， $P(y=0|\mathbf{x}) = 1-p$

所以：

P(y|\mathbf{x}) = \begin{cases} \sigma(z), \quad y = 1 \\ 1 - \sigma(z), \quad y = 0 \end{cases}

因为 $1-\sigma(z) = \sigma(-z)$ ，所以可以统一表示为：

\begin{aligned} P(y|\mathbf{x}) &= \sigma(zy + (1-y)(-z)) \\ &= \sigma((2y-1)z) \end{aligned}

则损失函数为：

J(\theta) = -\log P(y|\mathbf{x}) = -\log \sigma((2y-1)z)

Softmax函数将评分映射到概率空间：

\begin{aligned} p_i = \dfrac{e^{z_i}}{\sum_{j=1}^c e^{z_j}} \end{aligned}

实际上为了数值稳定性，通常使用 $\log \text{softmax}$ 来计算交叉熵损失，即：

J(\theta) = -\log p_y = -\log \frac{e^{z_y}}{\sum_{j=1}^c e^{z_j}} = -z_y + \log \sum_{j=1}^c e^{z_j} \qquad \text{第y类的损失}

通过将样本映射到高维特征空间，计算不同分布的均值差异来衡量分布之间的差异。

\text{MMD}^2(p, q) = \sup_{\|f\| \leq 1} \left( \mathbb{E}_{x \sim p}[f(x)] - \mathbb{E}_{y \sim q}[f(y)] \right)

[模式识别与机器学习] 多层感知机

作者

Alkaid114

发布于

2026-06-25

许可协议