随机变量及其分布

Definitions, Theorems, and Properties

1. 随机变量 (Random Variable) (Def 2.1.1): 表示为 X, Y, Z 等大写字母或 $ \xi, \eta, \zeta $ 等希腊字母, 取值记为 x, y, z 等对应小写字母;
   • 离散 (Discrete): 仅可能取有限个, 可列个或可数个值的随机变量称为离散随机变量
   • 连续 (Continuous): 其可能取值充满数轴上的某一个区间(a, b), 其中 $ a 可取 -\infty $, $ b 可取 +\infty $;
2. 概率的描述
   • 概率分布 (Probability Distribution) (Def 2.1.3): 又称为分布律或分布列 (Distribution Law), 指某离散随机变量所有可能取值对应的概率;
     • Prop 2.1.1: 满足 非负性 (Non-negativity) 与 正则性 (Regularity);
   • 概率密度 (Probability Density) (Def 2.1.4): 又称为密度函数 (Density Function), 指某连续随机变量可能取值与对应变量的关系函数;
     • Prop 2.1.2: 满足 非负性 (Non-negativity) 与 正则性 (Regularity);

3. 分布函数 (Distribution Function) (Def 2.1.2): 设 $ \xi $ 为一个随机变量, 对任意实数x, 称

   $$F_\xi(x) = \Pr\{ \xi \le x \}$$

   为随机变量 $ \xi $ 的分布函数, 且称 $ \xi $ 服从于 $ F_\xi(x) $, 记为 $ \xi \sim F_\xi(x) $, 此处F(x)以 $ \xi $ 为下标表示其为关于随机变量 $ \xi $ 的分布函数;

   • Thr 2.1.1

     1. 单调性(Monotonicity)与有界性(Boundedness):

        $$\forall -\infty < x_1 < x_2 < +\infty,$$ $$0 = F(-\infty) \le F(x_1) \le F(x_2) \le F(+\infty) = 1$$

     2. 右连续性(Right-continuity): $ F(x_0 + 0) = F(x_0) $;

4. 数学期望 (Mathematic Expectation): 试验中每次可能结果的概率乘以其结果的总和, 是最基本的数学特征之一, 它反映随机变量平均取值的大小, 可以理解为随机变量所有取值的加权平均, 此处的权即为概率分布或概率密度, 其物理意义为重心;
   • Prop 2.2.1: $ E(c) = c $;
   • Prop 2.2.2: $ E(a\xi) = a E(\xi) $;
   • Prop 2.2.3: $ E(g(\xi) \pm h(\xi)) = E(g(\xi)) \pm E(h(\xi)) $;

5. 方差 (Variance): 衡量随机变量或一组数据时离散程度的度量, 用于描述随机变量的不集中程度, 其定义为

   $$Var(\xi) = E[[ \xi - E(\xi) ]^2]$$

   而 标准差 (Standard Variance) $ \sigma(\xi) = \sqrt{Var(\xi)} $ 则是其算术平方根;

   • Prop 2.3.1: $ Var(\xi) = E(\xi^2) - E^2(\xi) $ (展开式);
   • Prop 2.3.2: $ Var(c) = 0 $;
   • Prop 2.3.3: $ Var(a\xi+b) = a^2 Var(\xi) $;

   • Chebyshev’s Inequation (Thr 2.3.1) ¹: 设随机变量 $ \xi $ 的期望与方差皆存在, 则 $ \forall \epsilon > 0 $,

     $$\Pr\{ | \xi - E(\xi) | \ge \epsilon \} \le \frac{Var(\xi)}{\epsilon^2}$$

     对于连续随机变量我们简单求证如下: (设 $ \mu = E(\xi) $)

     $$\begin{align*} \Pr\{ | \xi - \mu | \ge \epsilon \} &= \int_{\{x: |x - \mu| \ge \epsilon \}} p_\xi(x) \mathrm{d}x \\ &\le \int_{\{x: |x - \mu| \ge \epsilon \}} \frac{(x - \mu)^2}{\epsilon^2} p_\xi(x) \mathrm{d}x \\ &= \frac{1}{\epsilon^2} \int_{\{x: |x - \mu| \ge \epsilon \}} (x - \mu)^2 p_\xi(x) \mathrm{d}x \\ &\le \frac{1}{\epsilon^2} \int_{-\infty}^{+\infty} (x - \mu)^2 p_\xi(x) \mathrm{d}x \\ &= \frac{E[(x - \mu)^2]}{\epsilon^2} = \frac{Var(\xi)}{\epsilon^2} \\ \end{align*}$$

   • Thr 2.3.2: 如若随机变量 $ \xi $ 的方差存在, 则

     $$Var(\xi) = 0 \iff \Pr\{\xi=a\} = 1$$

     即 $ \xi $ 几乎处处为某个常数a;

6. 离散随机变量的函数也是离散随机变量, 对于原离散随机变量 $ \xi $ 的取值中任意的 $ x_k $, 便是 $ g(x_k) $ 对应的概率为原本的 $ \Pr\{\xi = x_k\} $, 但要注意不同 $ g(x_k) $ 值相等时对应概率会合并, 然而连续随机变量的函数不一定为连续随机变量, 因此我们分情况讨论连续随机变量的函数:

   1. 当 $ \eta = g(\xi) $ 为离散随机变量时, 我们只能将 $ \eta = g(\xi) $ 的取值逐个列出, 把 $ \eta $ 取各种可能值的对应概率求和即可;

   2. 当 $ g(x) $ 为严格单调函数时, 我们有以下定理:

      • Thr 2.6.1: 设 $ \xi $ 为连续随机变量, 其密度函数为 $ p_\xi(x) $, $ \eta = g(\xi) $ 为另一个连续随机变量, 如若 $ y = g(x) $ 严格单调且其反函数 $ g^{-1}(x) $ 具有连续导函数, 则其密度函数为

        $$p_\eta(y) = p_\xi[g^{-1}(y)] | \frac{\mathrm{d}}{\mathrm{d}y} g^{-1}(y) |, y \in (a, b)$$

        where $ a = \min\{g(-\infty), g(+\infty)\}, b = \max\{g(-\infty), g(+\infty)\} $,
        其实这个定理我们非常好理解, 以g(x)为严格单调递增函数的情况为例我们有:

        $$\begin{align*} F_\eta(y) &= \Pr\{\eta \le y\} \\ &= \Pr\{g(\xi) \le y\} \\ &= \Pr\{\xi \le g^{-1}(y)\} \\ &= \int_{-\infty}^{g^{-1}(y)} p_\xi(x) \mathrm{d}x \\ \end{align*}$$

        然后对y求导即可得证;

      • Thr 2.6.2: 设随机变量 $ \xi $ 服从常态分布 $ N(\mu, \sigma^2) $ 则当 $ a \ne 0 $ 时有 $ a\xi+b \sim N(a\mu+b, a^2\sigma^2) $;
   3. 对于其他形式, 我们将直接由 $ \eta $ 的分布函数 $ F_\eta(y) = \Pr\{ \eta = g(\xi) \le y \} $ 出发, 根据函数 $ g(x) $ 的特点作个案处理;

   • Thr 2.6.5: 如若随机变量 $ \xi $ 的分布函数 $ F_\xi(x) $ 为严格单调递增的连续函数, 其反函数 $ F_\xi^{-1}(y) $ 存在, 则 $ \eta = F_\xi(\xi) \sim U(0, 1) $, 这是因为当 $ 0 \le y < 1 $ 时,

     $$\begin{align*} F_\eta(y) &= \Pr\{\eta \le y\} \\ &= \Pr\{F_\xi(\xi) \le y\} \\ &= \Pr\{\xi \le F_\xi^{-1}(y)\} \\ &= F_\xi(F_\xi^{-1}(y)) \\ &= y \\ \end{align*}$$

     而 $ \eta = F_\xi(\xi) \in [0, 1] $, 因此 $ y < 0 $ 时 $ \{\eta \le y\} $ 与 $ y \ge 1 $ 时 $ \{\eta \le y\} $ 分别为不可能事件与必然事件, 从而命题得证;

7. Other Characteristics of Distributions

   1. k阶矩 (Moment-k) (Def 2.7.1): 设 $ \xi $ 为随机变量, $ k \in \mathbb{Z^+} $, 如若以下的数学期望皆存在, 则称

      $$\mu_k = E(\xi^k)$$

      为 $ \xi $ 的k阶 原点矩 (Origin Moment), 称

      $$\nu_k = E[[\xi - E(\xi)]^k]$$

      为 $ \xi $ 的k阶 中心矩 (Central Moment), 且我们不难发现以下关系:

      $$\begin{align*} \nu_k &= E[[\xi - E(\xi)]^k] = \mu_k(\xi - E(\xi)) \\ &= E[(\xi - \mu_1)^k] \\ &= \sum_{i=0}^k \begin{pmatrix} k \\ i \end{pmatrix} \mu_i (-\mu_1)^{k - i} \\ \end{align*}$$

      同时我们可以发现, 一阶原点矩即为数学期望, 二阶中心矩即为方差;

   2. 变异系数 (Coefficient of Variation) (Def 2.7.2): 设随机变量 $ \xi $ 的二阶矩存在, 则称比值

      $$C_v(\xi) = \frac{\sqrt{Var(\xi)}}{E(\xi)} = \frac{\sigma(\xi)}{E(\xi)}$$

      为 $ \xi $ 的变异系数;

   3. 偏度系数 (Skewness) (Def 2.7.5): 设随机变量 $ \xi $ 的前三阶矩皆存在, 则比值

      $$\beta_s = \frac{\nu_3}{\nu_2^\frac{3}2}$$

      称为分布的偏度系数, 简称偏度,

      • 当 $ \beta_s > 0 $ 时称其为正偏或右偏,

      • 当 $ \beta_s < 0 $ 时称其为负偏或左偏,

        这是描述分布偏离对称性程度的一个特征数;

   4. 峰度系数 (Kurtosis) (Def 2.7.6): 设随机变量 $ \xi $ 的前四阶矩皆存在, 则比值

      $$\beta_k = \frac{\nu_4}{\nu_2^2} - 3$$

      称为分布的峰度系数, 简称峰度, 这是描述分布尖峭程度或尾部粗细的一个特征数, 可以视为其相对于常态分布的超出量;

   5. 偏度与峰度皆为描述分布形状的特征数;

Discrete Distributions

Binomial

如若记m重Bernoulli试验中成功(记为事件A)的次数, 则 $ \xi $ 的额可能取值为0, 1, ..., m.
记p为每次试验中A发生的概率, 即 $ \Pr(A) = p $, 则 $ \Pr(\overline{A}) = 1 - p $.
由于m重Bernoulli试验的基本结果可以记作

$$\omega = (\omega_1, \omega_2, \cdots, \omega_m),$$

其中 $ \omega_k \in \{ A, \overline{A} \} $ 共有 $ 2^m $ 个, 这些样本点 $ \omega $ 共同组成了样本空间 $ \Omega $.

于此我们引入 二项分布 (Binomial Distribution), 如若 $ \xi $ 服从以n, p为参数的二项分布, 则记为

$$\xi \sim b(n, p)$$

其中, n为Bernoulli试验的次数, p为每次Bernoulli试验成功的概率, 其分布律为

$$\Pr\{\xi=k\} = \begin{pmatrix} n \\ k \end{pmatrix} p^k (1 - p)^{n - k}$$

Instances:

• 检查10件产品, 10件产品中不合格品的个数 $ \xi \sim b(10, p) $, 其中p为不合格品率;
• 调查50个人, 其中患有色盲的人数 $ \eta \sim b(50, p) $, 其中p为色盲率;
• 设计5次, 5次中命中次数 $ \zeta \sim b(5, p) $, 其中p为命中率;

特别地, 当n=1即进行且进行一次Bernoulli试验时的二项分布b(1, p)被称为二点分布, 0-1分布, 或Bernoulli分布;

Poisson

Poisson分布于1837年由法国数学学者Poisson²首次提出, 其概率分布律为

$$\Pr\{\xi=k\} = \frac{\lambda^k}{k!}\exp\{-k\},$$

where $ k = 0, 1, 2, \cdots $,

其中参数 $ \lambda > 0 $, 记为 $ \xi \sim P(\lambda) $,

Instances:

• 在一天内, 某商场到场的顾客数目;
• 在单位时间内, 一电路受到外界电磁波的冲击次数;
• 1平方米内, 玻璃上的气泡数;
• etc.

Approximation of Binomial

Thr 2.4.1 (Possion Theorem): 在m重Bernoulli试验中, 记事件A在一次试验中发生的概率为 $ p_m $ (这样的p与试验次数m有关), 如若

$$\lim_{m \rightarrow \infty} m p_m = \lambda$$

这个极限存在, 则

$$\lim_{m \rightarrow \infty} \begin{pmatrix} m \\ k \end{pmatrix} p_m^k (1 - p_m)^{m - k} = \frac{\lambda^k}{k!} \exp\{-\lambda\}$$

计算二项分布 $ b(m, p) $ 时, 如若m很大, p很小, 而乘积 $ \lambda = mp $ 适中, 则可以用Poisson分布进行近似, 即

$$\begin{pmatrix} m \\ k \end{pmatrix} p_m^k (1 - p_m)^{m - k} \approx \frac{(mp)^k}{k!} \exp\{-mp\}$$

Hyper-geometric

设有N件产品, 其中有M件次品, 现在不放回地随机抽选n件, 则其中次品件数 $ \xi $ 服从 超几何分布 (Hyper-geometric Distribution), 记作 $ \xi \sim h(n, N, M) $, 其概率分布律如下:

$$\Pr\{\xi = k\} = \frac{\begin{pmatrix} M \\ k \end{pmatrix} \begin{pmatrix} N - M \\ n - k \end{pmatrix}}{\begin{pmatrix} N \\ n \end{pmatrix}}$$

其中 $ r = \min\{M, n\} $,

且 $ M \le N, n \le N $,

$ n, N, M \in \mathbb{Z^+} $;

Approximation of Hyper-geometric

当 $ n \ll N $ 时, 不合格品率 $ p = \frac{M}N $ 改变甚微, 此时有

$$\frac{\begin{pmatrix} M \\ k \end{pmatrix} \begin{pmatrix} N - M \\ n - k \end{pmatrix}}{\begin{pmatrix} N \\ n \end{pmatrix}} \approx \begin{pmatrix} n \\ k \end{pmatrix} p^k (1 - p)^{n - k}$$

where $ p = \frac{M}N $;

Continuous Distributions

Normal

Normal Distribution (常态分布, Gauss分布), which is proposed by Gauss, its Density Function is:

$$p(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\{-\frac{(x-\mu)^2}{2\sigma^2}\},$$

It can be written as

$$\xi \sim N(\mu, \sigma^2).$$

Normalization

If a Variable satisfies that

$$\xi \sim N(\mu, \sigma^2),$$

we set $ V = \frac{\xi - \mu}\sigma $, then we have

$$V \sim N(0, 1),$$

where $ N(0, 1) $ is called Standard Normal Distribution, whose Density Function is:

$$\psi(v) = (2\pi)^{-\frac{1}2} \exp\{-\frac{v^2}2\}.$$

Uniform

Density Function:

$$p(x) = \left\{ \begin{aligned} & \frac{1}{b - a}, & a < x < b \\ & 0, & otherwise \\ \end{aligned} \right.$$

which can be written as

$$\xi \sim U(a, b).$$

Exponential

Density Function:

$$p(x) = \left\{ \begin{aligned} & \lambda \exp\{-\lambda x\}, & x \ge 0 \\ & 0, & otherwise \\ \end{aligned} \right.$$

which can be written as

$$\xi \sim Exp(\lambda).$$

Instances

1. Exercise 2.1,T7: 一批产品共有100件, 其中10件事不合格品.
   根据验收规则, 从中任取5件产品进行质量检验, 假若5件中无不合格品, 则这批产品被接收, 否则就要重新对这批产品逐个检验.

   1. 试求5件中不合格品数 $ \xi $ 的分布律;

   2. 需要对这批产品进行逐个检验的概率为多少?

      解: 根据题意, 不合格品数 $ \xi \sim H(5, 100, 10) $, 根据超几何分布的定义,

      $$\Pr\{\xi = k\} = \frac{\begin{pmatrix} 10 \\ k \end{pmatrix} \begin{pmatrix} 90 \\ 5 - k \end{pmatrix}}{\begin{pmatrix} 100 \\ 5 \end{pmatrix}}$$

      where $ \xi = 0, 1, \cdots, 5 $;
      需要对这批产品进行逐个检验即为5件全为合格品的对立事件, 因此所求概率

      $$\begin{align*} \Pr\{需要进行逐个检验\} &= 1 - \Pr\{\xi = 0\} \\ &= 1 - \frac{\begin{pmatrix} 10 \\ 0 \end{pmatrix} \begin{pmatrix} 90 \\ 5 \end{pmatrix}}{\begin{pmatrix} 100 \\ 5 \end{pmatrix}} \\ &= 1 - \frac{1 \times 43949268}{75287520} \\ &= 1 - 0.58375 \\ &= 0.41625 \\ \end{align*}$$

2. Exercise 2.6,T11(3): 设随机变量 $ \xi $ 的概率密度为

   $$p_\xi(x) = \left\{ \begin{aligned} & \frac{3}2 x^2, & -1 < x < 1 \\ & 0, & otherwise \\ \end{aligned} \right.$$

   求随机变量 $ \eta = \xi^2 $ 的分布.

   解: 根据题意得到 $ \xi $ 的分布函数

   $$\begin{align*} F_\xi(x) &= \int_{-1}^x {\frac{3}2 \tau^2} \mathrm{d}\tau \\ &= \int_{-1}^x {\frac{3}2} \mathrm{d}\frac{\tau^3}3 \\ &= \int_{-1}^x \mathrm{d}\frac{\tau^3}2 \\ &= \frac{x^3 + 1}2 \quad (-1 < x < 1) \\ \therefore \Pr\{\xi < x\} &= F_\xi(x) = \left\{ \begin{aligned} & 0, & x \le -1 \\ & \frac{x^3 + 1}2, & -1 < x < 1 \\ & 1, & x \ge 1 \\ \end{aligned} \right. \\ \therefore \Pr\{\eta < y\} &= \Pr\{\xi^2 < y\} \\ &= \Pr\{-\sqrt{y} < \xi < \sqrt{y}\} \\ &= \Pr\{\xi < \sqrt{y}\} - \Pr\{\xi < -\sqrt{y}\} \\ &= F_\xi(\sqrt{y}) - F_\xi(-\sqrt{y}), \\ 又 \quad \eta = \xi^2 &\ge 0, \\ \therefore F_\eta(y) = \Pr\{\eta < y\} &= \left\{ \begin{aligned} & y^\frac{3}2, & 0 \le x < 1 \\ & 1, & otherwise \\ \end{aligned} \right. \\ \therefore p_\eta(y) &= \frac{\mathrm{d}}{\mathrm{d}y} F_\eta(y) = \frac{3}2 \sqrt{y}, \quad (0 \le y < 1) \\ \therefore E(\eta) &= \int_{-\infty}^{+\infty} y p_\eta(y) \mathrm{d}y = \frac{3}2 \int_0^1 y^\frac{3}2 \mathrm{d}y = \frac{3}5, \\ E(\eta^2) &= \int_{-\infty}^{+\infty} y^2 p_\eta(y) \mathrm{d}y = \frac{3}2 \int_0^1 y^\frac{5}2 \mathrm{d}y = \frac{3}7, \\ \therefore Var(\eta) &= E(\eta^2) - E^2(\eta) = \frac{12}{175}, \\ \end{align*}$$

Others

Table I. Common Formula Correspondence between Discrete and Continuous

Table II. Common Distributions

References

¹. Пафну́тий Льво́вич Чебышёв, 1821-1894; ↩

². Simeon-Denis Poisson, 1781-1840; ↩