在AI相关的学习里遇到了一些概率论的概念,惊讶地意识到上次学习概率论已经是7年前的事情了,所以在这里做一个用到什么复习什么的小拾忆。毕竟社畜已经很难系统刷书了,脱产学习真是一件奢侈的事情。
本篇将按需求随机更新,而且已经熟悉的内容和公式不会被强调。
均值、方差、标准差
- 均值():数据的平均值。(在LayerNorm里,均值代表该Token的绝对亮度/幅度)。
- 方差()/ 标准差():数据的“离散程度”。(在LayerNorm里,方差代表该Token内部特征的对比度)。
线性变换下的方差推导
首先回忆一下独立随机变量的概念
独立随机变量是指两个或多个随机变量之间不存在统计关联,其取值互不影响。
若随机变量 和 的联合分布函数 恒等于各自边缘分布函数 与 的乘积,即对所有实数 满足
独立性和相关性经常被混淆,独立性是一个比相关性更强的约束。
相关性的定义是两个随机变量的协方差为0,即.可见相关性只要求了两个随机变量的期望有类似的关系而对其具体的概率分布没有要求。
一个著名的反例是 , 在区间内均匀分布,这种情况下,协方差为0但显然其概率分布完全不一致。
从直观的几何上理解,相关性要求的是两个变量拥有线性关系。协方差本质上是高维空间里两个随机变量的点积。
设两个相互独立的随机变量 和 ,以及一个常数 :
- 加法(残差连接 )
- 新均值:
- 新方差:
- 减法()
- 新均值:
- 新方差:
- 乘法(权重矩阵):
- 新均值:
- 新方差:
- 常数加法()
- 新均值:
- 新方差:
KL散度和交叉熵
KL散度
KL散度(Kullback-Leibler Divergence)精确地衡量了当我们使用一个近似概率分布 Q 来建模或描述一个真实概率分布 P 时,所引入的信息损失。深入理解 KL 散度 -Laurie
当近似概率分布和真实概率分布一致的时候,不会有任何信息损失, 为0。
在数学上,一个事件 发生的意外程度或称自信息可以表示为
如果我们在近似中对一个事件发生的意外程度和真实情况不同,我们就发生了认知偏差
Cost(x)=(-\log Q(x))-(-\log P(x))=\log (\frac{P(x)}{Q(x)})D_{KL}(P||Q)=\sum_{x\in \chi} P(x)\times \log(\frac{P(x)}{Q(x)})对于连续的概率分布
D_{KL}(P||Q)=\int^{\infin}_{-\infin}p(x)\log(\frac{p(x)}{q(x)})dx对数的底数决定了KL散度的单位,如果是2的话单位就是bit,e的话单位就是nats
从公式中我们可以有如下洞察
- 一个大概率事件被估计为小概率事件的时候,KL散度的该项为正
- 当我们认为一个有可能发生的时间绝无可能发生的时候,KL散度趋近于正无穷
- 一个小概率事件被估计为大概率事件的时候,KL散度的该项为负
- 我们更加关注现实生活中大概率发生的事件的估计结果
KL散度有以下性质
- 非负性:
- 不对称性
- 对于绝大多数情况,
对于,对于一个可能发生的事件,如果估计的结果为不可能发生,则KL测度将趋近于无穷大,因此为了降低KL测度,对真实分布的估计会比真实分布更加宽和分散。这种最小化为zero-avoiding,其主要目的将是减小漏报。
对于,,对于一个不太可能发生的事件,如果估计的结果为可能发生,则KL测度将趋近于无穷大,因此为了降低KL度,对真实分布的估计会比真实分布更加集中。这种最小化为mean-seeking,其主要目的将是减小错报。
交叉熵
从信息论的视角来看,KL散度就是相对熵。
熵(Entropy): , 用来衡量对真实分布P的事件进行编码所需的最优平均码长
此时KL散度