均匀分布

离散随机变量的均匀分布：假设 X 有 k 个取值：x1, x2, ..., xk 则均匀分布的概率密度函数为:
连续随机变量的均匀分布：假设 X 在 [a, b] 上均匀分布，则其概率密度函数为：

伯努利分布

伯努利分布：参数为 p∈[0,1]，设随机变量 X ∈ {0,1}，则概率分布函数为：

期望为p，方差为p(1-p)

二项分布

独立重复地进行 n 次试验中，成功 x 次的概率:

期望为np，方差为np(1-p)

高斯分布

我们在做模型训练的之后，随机变量取值范围是实数，大多数情况下都假设变量服从高斯分布，原因：

随机变量大多数情况下有若干个因素组合而成，中心极限定理表明，多个独立随机变量的和近似正态分布
在具有相同方差的所有可能的概率分布中，正态分布的熵最大（即不确定性最大）；熵大带来的信息量多

典型的一维正态分布的概率密度函数为 :

拉普拉斯分布

概率密度函数：

期望为u，方差为2γ^2

拉普拉斯分布比高斯分布更加尖锐和狭窄，在正则化中通常会利用该性质

泊松分布

假设已知事件在单位时间（或者单位面积）内发生的平均次数为λ，则泊松分布描述了：事件在单位时间（或者单位面积）内发生的具体次数为 k 的概率。概率密度函数：

期望：λ，方差为：λ