本章目标

  • 理解多维随机变量与联合分布函数的概念。
  • 能从联合分布求出边缘分布,并判断独立性。
  • 掌握协方差、相关系数的含义与计算。
  • 了解独立和的分布(卷积)与协方差矩阵。

一、多维随机变量与联合分布

若 $X_1,\dots,X_n$ 定义在同一概率空间上,则 $(X_1,\dots,X_n)$ 为 $n$ 维随机变量。其联合分布函数

$$F(x_1,\dots,x_n)=P(X_1\le x_1,\dots,X_n\le x_n)$$

二维离散型用联合分布列 $p_{ij}=P(X=x_i,Y=y_j)$($\sum_{i,j}p_{ij}=1$);二维连续型用联合密度 $f(x,y)$,满足 $f(x,y)\ge0$ 且

$$P((X,Y)\in D)=\iint_D f(x,y)\,dx\,dy,\qquad \int_{-\infty}^{+\infty}\!\!\int_{-\infty}^{+\infty} f(x,y)\,dx\,dy=1$$

二、边缘分布

由联合分布可“边缘化”得到单个分量的分布:

$$\text{离散: }p_{i\cdot}=\sum_j p_{ij},\quad p_{\cdot j}=\sum_i p_{ij}$$

$$\text{连续: }f_X(x)=\int_{-\infty}^{+\infty}f(x,y)\,dy,\quad f_Y(y)=\int_{-\infty}^{+\infty}f(x,y)\,dx$$

对应的边缘分布函数为 $F_X(x)=F(x,+\infty)$。注意:联合分布唯一决定边缘分布,但边缘分布一般不能反推联合分布(除非独立)。

三、独立性

$X$ 与 $Y$ 相互独立,当且仅当对任意 $x,y$ 有 $F(x,y)=F_X(x)F_Y(y)$;连续型等价于联合密度等于边缘密度之积:

$$f(x,y)=f_X(x)\,f_Y(y),\qquad \text{离散型: }p_{ij}=p_{i\cdot}\,p_{\cdot j}$$

> 独立随机变量的函数往往仍独立;若 $X,Y$ 独立,则 $E[XY]=E[X]E[Y]$,这是下一节协方差为 0 的特例。

四、协方差与相关系数

协方差刻画两变量偏离各自均值的“协同”程度:

$$\operatorname{Cov}(X,Y)=E\!\big[(X-E[X])(Y-E[Y])\big]=E[XY]-E[X]E[Y]$$

为消除量纲影响,引入相关系数 $\rho\in[-1,1]$:

$$\rho_{XY}=\frac{\operatorname{Cov}(X,Y)}{\sigma_X\,\sigma_Y},\qquad \sigma_X=\sqrt{D(X)},\ \sigma_Y=\sqrt{D(Y)}$$

$\rho=0$ 称不相关(注意:独立 $\Rightarrow$ 不相关,反之一般不成立,除非是二维正态)。$\rho=\pm1$ 表示完全线性相关。

五、独立和的分布(卷积)

设 $X,Y$ 独立,其和 $Z=X+Y$ 的密度由卷积公式给出:

$$f_Z(z)=\int_{-\infty}^{+\infty}f_X(x)\,f_Y(z-x)\,dx$$

常见结论:独立正态之和仍为正态——若 $X\sim N(\mu_1,\sigma_1^2)$、$Y\sim N(\mu_2,\sigma_2^2)$,则

$$X+Y\sim N(\mu_1+\mu_2,\ \sigma_1^2+\sigma_2^2)$$

离散情形对分布列做离散卷积(多项式乘法);泊松分布之和仍为泊松,参数相加。

六、协方差矩阵

对随机向量 $\mathbf X=(X_1,\dots,X_n)^T$,其协方差矩阵为

$$\Sigma=\operatorname{Cov}(\mathbf X)=E\!\big[(\mathbf X-\mu)(\mathbf X-\mu)^T\big],\quad \Sigma_{ij}=\operatorname{Cov}(X_i,X_j)$$

$\Sigma$ 为对称半正定矩阵,对角元即各分量方差。多维正态 $N(\mu,\Sigma)$ 完全由均值向量 $\mu$ 与协方差矩阵 $\Sigma$ 决定。

例题与解答

例题1 · 求边缘分布

设 $(X,Y)$ 在矩形 $D=[0,1]\times[0,2]$ 上均匀分布,即 $f(x,y)=1/2$($0\le x\le1,0\le y\le2$)。求边缘密度 $f_X(x)$、$f_Y(y)$ 并判断独立性。

解:

$$f_X(x)=\int_0^2 \frac{1}{2}\,dy=1,\quad 0\le x\le1;\qquad f_Y(y)=\int_0^1 \frac{1}{2}\,dx=\frac{1}{2},\quad 0\le y\le2.$$

由于 $f(x,y)=1/2=f_X(x)f_Y(y)=1\cdot\frac12$,故 $X,Y$ 独立。

例题2 · 协方差与相关系数

设 $D(X)=4,\ D(Y)=9,\ \operatorname{Cov}(X,Y)=3$。求相关系数 $\rho_{XY}$。

解: $\sigma_X=\sqrt4=2$,$\sigma_Y=\sqrt9=3$。

$$\rho_{XY}=\frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}=\frac{3}{2\times3}=\frac{1}{2}=0.5.$$

表明 $X,Y$ 呈中等程度正相关。

本章小结

  • 多维随机变量由联合分布函数/密度描述;边缘分布由积分或求和得到。
  • 独立等价于联合密度(或分布列)分解为边缘之积:$f(x,y)=f_X(x)f_Y(y)$。
  • 协方差 $\operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y]$;相关系数 $\rho=\operatorname{Cov}/(\sigma_X\sigma_Y)\in[-1,1]$。
  • 独立和用卷积:$f_Z(z)=\int f_X(x)f_Y(z-x)\,dx$;独立正态之和仍为正态。
  • 随机向量由协方差矩阵 $\Sigma_{ij}=\operatorname{Cov}(X_i,X_j)$ 刻画离散程度与相关性。

> “独立 ⇒ 不相关”成立,但“不相关 ⇒ 独立”仅在特定分布(如二维正态)下才成立,是常见易错点。

互动演示

拖动下方控件观察动态过程。