随机矢量

Definitions, Theorems, and Properties

1. 随机矢量 (Random Vector) (Def 3.1.1): 如若 $ \xi_1(\omega), \xi_2(\omega), \cdots, \xi_m(\omega) $ 是定义在同一个样本空间 $ \Omega = \{\omega\} $ 上的m个随机变量, 则称

   $$\xi(\omega) = (\xi_1(\omega), \xi_2(\omega), \cdots, \xi_m(\omega))$$

   为 m维随机变量 (Multiple Random Variable) 或随机矢量;

2. 联合分布函数 (Joint Distribution Function) (Def 3.1.2): 对任意m个实数 $ x_1, x_2, \cdots, x_m $, m个事件

   $$\{\xi_1 \le x_1\}, \{\xi_2 \le x_2\}, \cdots, \{\xi_m \le x_m\}$$

   同时发生的概率

   $$F(x_1, x_2, \cdots, x_m) = \Pr\{\xi_1 \le x_1, \xi_2 \le x_2, \cdots, \xi_m \le x_m\}$$
   • 注: 这实际上相当于一个且事件;

   • Thr 3.1.1: 任一二维联合分布函数 $ F(x, y) $ 必具有如下四条基本性质:

     1. 单调性 (Monotonicity): $ F(x, y) $ 分别对x或y是单调非减的;

     2. 有界性 (Boundedness): $ \forall x, y, 0 \le F(x, y) \le 1 $, 且

        $$\begin{align*} F(-\infty, y) &= \lim_{x \rightarrow -\infty} F(x, y) = 0, \\ F(x, -\infty) &= \lim_{y \rightarrow -\infty} F(x, y) = 0, \\ F(+\infty, +\infty) &= \lim_{x, y \rightarrow +\infty} F(x, y) = 1, \\ \end{align*}$$

     3. 右连续性 (Right-continuity): 对每个变量都是右连续的, 即

        $$\begin{align*} F(x + 0, y) &= F(x, y), \\ F(x, y + 0) &= F(x, y), \\ \end{align*}$$

     4. 非负性 (Non-negative): $ \forall a < b, c < d $, 有

        $$\begin{align*} \Pr\{a < \xi \le b, c < \eta \le d\} &= F(b, d) - F(a, d) \\ &- F(b, c) + F(a, c) \\ &\ge 0 \\ \end{align*}$$

   • 相关描述

     • 联合分布律 (Joint Distribution Law) (Def 3.1.3): 如若二维随机变量 $ (\xi, \eta) $ 只取有限个或可列个数对 $ (x_k, y_k) $, 则称 $ (\xi, \eta) $ 为二维离散随机变量 (2-dimensional Discrete Random Variable), 称

       $$p_{k,l} = \Pr\{\xi = x_k, \eta = y_l\}, k, l = 1, 2, \cdots$$

       为 $ (\xi, \eta) $ 的联合分布律;

       • Prop 3.1.1: 满足 非负性 (Non-negativity) 与 正则性 (Regularity);

     • 联合密度函数 (Joint Density Function) (Def 3.1.4): 如若存在二元非负函数 $ p(x, y) $ 使得二维随机变量 $ (\xi, \eta) $ 的分布函数 $ F(x, y) $ 可表示为

       $$F(x, y) = \int_{-\infty}^x \int_{-\infty}^y p(v, u) \mathrm{d}u \mathrm{d}v$$

       则称 $ (\xi, \eta) $ 为二维连续随机变量 (2-dimensional Continuous Random Variable), 称 $ p(x, y) $ 为 $ (\xi, \eta) $ 的联合密度函数;

       • Prop 3.1.2: 满足 非负性 (Non-negativity) 与 正则性 (Regularity);

3. 边际分布 (Marginal Distribution): 如若在二维随机变量 $ (\xi, \eta) $ 的联合分布函数 $ F(x, y) $ 中使 $ y \rightarrow +\infty $, 由于 $ \{ y < +\infty \} $ 为必然事件, 故有

   $$\lim_{y \rightarrow +\infty} F(x, y) = \Pr\{ \xi \le x, \eta < +\infty \} = \Pr\{\xi \le x\},$$

   此为由 $ (\xi, \eta) $ 的联合分布函数 $ F(x, y) $ 求得的 $ \xi $ 的分布函数, 被称为 $ \xi $ 的边际分布或边缘分布;

4. 随机变量之间的独立性 (Def 3.2.1): 设随机矢量 $ \xi_1, \xi_2, \cdots, \xi_m $ 的联合分布函数为 $ F(x_1, x_2, \cdots, x_m) $, $ F(x_k) $ 为 $ \xi_k $ 的分布函数, 如若 $ \forall x_1, x_2, \cdots, x_m $ 皆有

   $$F(x_1, x_2, \cdots, x_m) = \prod_{k=1}^m p_k(x_k),$$

   则称 $ \xi_1, \xi_2, \cdots, \xi_m $ 相互 独立 (Indpendent);

5. 随机矢量函数的分布

   1. 卷积 (Convolution) 公式 (Thr 3.3.1): 设 $ \xi 与 \eta $ 为两个互相独立的连续随机变量, 其密度函数分别为 $ p_\xi(x) 与 p_\eta(y) $, 则其和 $ \zeta = \xi + \eta $ 的密度函数为

      $$\begin{align*} p_\zeta(z) &= \int_{-\infty}^{+\infty} p_\xi(z - u) p_\eta(u) \mathrm{d}u \\ &= \int_{-\infty}^{+\infty} p_\xi(v) p_\eta(z - v) \mathrm{d}v \\ \end{align*}$$

      求证

      $$\begin{align*} F_\zeta(z) &= \Pr\{\xi + \eta \le z\} \\ &= \iint_{x + y \le z} p_\xi(x) p_\eta(y) \mathrm{d}x \mathrm{d}y \\ &= \int_{-\infty}^{+\infty} \{\int_{-\infty}^{z-y} p_\xi(x) \mathrm{d}x\} p_\eta(y)\mathrm{d}y \\ &= \int_{-\infty}^{+\infty} \int_{-\infty}^z p_\xi(\tau - y) p_\eta(y) \mathrm{d}\tau \mathrm{d}y \\ &= \int_{-\infty}^z (\int_{-\infty}^{+\infty} p_\xi(\tau - y)p_\eta(y) \mathrm{d}y) \mathrm{d}\tau \\ \end{align*}$$

      由此可得 $ \zeta $ 的密度函数 $ p_\zeta(z) = \frac{\mathrm{d} F_\zeta}{\mathrm{d} z} $ 且展开后形式如上;

   2. 最值分布
      Instance 3.3.4(1): 设 $ \xi_1, \xi_2, \cdots, \xi_m $ 是相互独立的m个随机变量, 如若 $ \eta = \max\{\xi_1, \xi_2, \cdots, \xi_m\} $, 试求在 $ \xi_k \sim F_k(x), k = 1, 2, \cdots, m $ 条件下 $ \eta $ 的分布.
      解:

      $$\begin{align*} F_\eta(y) &= \Pr\{\max\{\xi_1, \xi_2, \cdots, \xi_m\} \le y\} \\ &= \Pr\{\xi_1 \le y, \xi_2 \le y, \cdots, \xi_m \le y\} \\ &= \Pr\{\xi_1 \le y\} \Pr\{\xi_2 \le y\} \cdots \Pr\{\xi_m \le y\} \\ &= \prod_{k=1}^m F_k(y) \\ \end{align*}$$

      如若诸位 $ \xi $ iid(独立同分布)则有

      • 分布函数: $ F_\eta(y) = [F_\xi(y)]^m $;

      • 密度函数: $ p_\eta(y) = m [F_\xi(y)]^{m - 1} p(y) $;
        如若共同服从的分布为 $ Exp(\lambda) $ 则有分布函数:

        $$\left\{ \begin{aligned} & 0, & y < 0 \\ & (1 - \exp\{-\lambda y\})^m, & y \ge 0 \end{aligned} \right.$$

        同理, 换成最小值亦有类似的效果;

6. 随机矢量的特征数

   1. 随机矢量的数学期望 (Thr 3.4.1);

   2. 数学期望与方差的运算性质

      • Prop 3.4.1: 设 $ (\xi, \eta) $ 为二维随机变量 (不要求相互独立), 则有

        $$E(\xi + \eta) = E(\xi) + E(\eta)$$

        因为 (以连续情形为例)

        $$\begin{align*} E(\xi + \eta) &= \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} (x + y) p(x, y) \mathrm{d}x \mathrm{d}y \\ &= \int_{-\infty}^{+\infty} x [\int_{-\infty}^{+\infty} p(x, y) \mathrm{d}y] \mathrm{d}x \\ &+ \int_{-\infty}^{+\infty} y [\int_{-\infty}^{+\infty} p(x, y) \mathrm{d}x] \mathrm{d}y \\ &= \int_{-\infty}^{+\infty} x p_\xi(x) \mathrm{d}x + \int_{-\infty}^{+\infty} y p_\eta(y) \mathrm{d}y \\ &= E(\xi) + E(\eta) \\ \end{align*}$$

        • Extend: 对m维随机变量有

          $$E(\sum_{k=1}^m \xi_k) = \sum_{k=1}^m E(\xi_k)$$

      • Prop 3.4.2: 如若随机变量 $ \xi, \eta $ 相互独立, 则有

        $$E(\xi\eta) = E(\xi) E(\eta)$$

        因为 (以离散情形为例)
        由于 $ \xi, \eta $ 相互独立, 因此

        $$p(x_k, y_l) = p_\xi(x_k) p_\eta(y_l)$$

        从而

        $$\begin{align*} E(\xi\eta) &= \sum_{k=1}^\infty \sum_{l=1}^\infty x_k y_l p_\xi(x_k) p_\eta(y_l) \\ &= \sum_{k=1}^\infty x_k p_\xi(x_k) \sum_{l=1}^\infty y_l p_\eta(y_l) \\ &= E(\xi) E(\eta) \\ \end{align*}$$

        • Extend: 对m维相互独立的随机变量有

          $$E(\prod_{k=1}^m \xi_k) = \prod_{k=1}^m E(\xi_k)$$

      • Prop 3.4.3: 如若随机变量 $ \xi, \eta $ 相互独立, 则有

        $$Var(\xi \pm \eta) = Var(\xi) + Var(\eta)$$

   3. 协方差 (Covariance)

      $$\begin{align*} Cov(\xi, \eta) &= E((\xi - E(\xi))(\eta - E(\eta))) \\ &= E(\xi\eta) - E(\xi) E(\eta) \\ \end{align*}$$

   4. 相关系数 (Correlation Coefficient)

      $$Corr(\xi, \eta) = \frac{Cov(\xi, \eta)}{\sqrt{Var(\xi)Var(\eta)}}$$

7. 条件分布与条件期望： Bayes公式 应用

   • 条件分布: $ p(x | y) = \frac{p(x, y)}{p(y)} $;
   • 条件期望: $ E(\xi | \eta=y) = \sum_k x_k \Pr\{\xi = x_k | \eta = y\} $;