第 6 章概率初步

CHAPTER STATUS编写进度30%查看全书进度

Definition 6.1. 若$f$是概率空间$(X,\mathscr{F},P)$到$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的可测映射，则称$f$是$n$维随机向量（random vector）。当$n=1$时，称$f$为随机变量（random variable, r.v.）。

note 6.1. 由定理 5.35可知随机变量拼接成向量之后就是一个随机向量。

Definition 6.2. 若$\mathbb{R}^{n}$上的准分布函数$F$满足¹：

\[\begin{equation*} \lim_{x_1, x_2, \dots, x_{n}\to-\infty}F(x_1, x_2, \dots, x_{n})=0,\quad\lim_{x_1, x_2, \dots, x_{n}\to+\infty}F(x_1, x_2, \dots, x_{n})=1 \end{equation*}\]

则称$F$是$\mathbb{R}^{n}$上的分布函数（distribution function, d.f.）。

Theorem 6.1. 设$f=(f_1, f_2, \dots, f_{n})$是概率空间$(X,\mathscr{F},P)$上的随机向量。对任意的$x=(x_1, x_2, \dots, x_{n})\in\mathbb{R}^{n}$，由性质 5.3.3(1.b)和性质 5.1.6(2)，令：

\[\begin{equation*} F(x)=P(f\leqslant x)=P\left(\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant x_i\}\right) \end{equation*}\]

则$F$是$\mathbb{R}^{n}$上的$n$元分布函数。

证明. (1)由性质 5.2.1(3)（单调性）可得$F(x)$是一个非降的实值函数。

(2)任取$f$的一个维度$f_i$，注意到：

\[\begin{equation*} \{f\leqslant x\}=\left(\underset{j\ne i}{\overset{}{\cap}}\{f_j\leqslant x_j\}\right)\bigcap\left(\lim_{n\to+\infty}\left\{f_i\leqslant x_i+\frac{1}{n}\right\}\right) \end{equation*}\]

考虑集族$\{X_n\}$，其中：

\[\begin{equation*} X_n=\left(\underset{j\ne i}{\overset{}{\cap}}\{f_j\leqslant x_j\}\right)\bigcap\left(\left\{f_i\leqslant x_i+\frac{1}{n}\right\}\right) \end{equation*}\]

则$\{X_n\}$是一个单调不增的集族，根据性质 5.1.2(3)有：

\[\begin{equation*} \lim_{n\to+\infty}X_n=\underset{n=1}{\overset{+\infty}{\cap}}X_n=\left(\underset{j\ne i}{\overset{}{\cap}}\{f_j\leqslant x_j\}\right)\bigcap\left(\underset{n=1}{\overset{+\infty}{\bigcap}}\left\{f_i\leqslant x_i+\frac{1}{n}\right\}\right)=\{f\leqslant x\} \end{equation*}\]

因为$P(X=1)$，由性质 5.2.1(3)（单调性）可得$P(X_1)<+\infty$，所以根据性质 5.2.1(3)（上连续性）可得：

\[\begin{align*} &F(x)=P(\{f\leqslant x\})=P\left(\lim_{n\to+\infty}X_n\right)=\lim_{n\to+\infty}P(X_n) \\ =&\lim_{h\to+0}F(x_1,x_2,\dots,x_{i-1},x_i+h,x_{i+1},\dots,x_n) \end{align*}\]

于是$F(x)$是右连续的。

(3)对任意的$a=(a_1, a_2, \dots, a_{n})\in\mathbb{R}^{n}$和$b=(b_1, b_2, \dots, b_{n})\in\mathbb{R}^{n}$且$a\leqslant b$，记：

\[\begin{gather*} C=\Big\{c=(c_1, c_2, \dots, c_{n}):c_i\in\{a_i,b_i\},\;\forall\;i=1,2,\dots,n\Big\} \\ n(c)=\Big|\Big\{i\in\{1,2,\dots,n\}:c_i=a_i\Big\}\Big|,\quad E_i=\{a_i<f_i\leqslant b_i\} \end{gather*}\]

由性质 5.3.3(1.b)、性质 5.1.6(4)(2)和性质 5.4.1(5)可知

\[\begin{equation*} P\left(\underset{i=1}{\overset{n}{\cap}}E_i\right)=\int_{X}I\left(x\in\underset{i=1}{\overset{n}{\cap}}E_i\right)\mathop{}\!\mathrm{d}P \end{equation*}\]

注意到：

\[\begin{align*} &I\left(x\in\underset{i=1}{\overset{n}{\cap}}E_i\right)=\prod_{i=1}^{n}I(x\in E_i)=\prod_{i=1}^{n}[I(x\in\{f_i\leqslant b_i\})-I(x\in\{f_i\leqslant a_i\})] \\ =&\sum_{c\in C}(-1)^{n(c)}\prod_{i=1}^{n}I(x\in\{f_i\leqslant c_i\})=\sum_{c\in C}(-1)^{n(c)}I\left(x\in\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant c_i\}\right) \end{align*}\]

根据性质 5.4.3(6)和性质 5.4.2(5)可得：

\[\begin{align*} &0\leqslant P\left(\underset{i=1}{\overset{n}{\cap}}E_i\right)=\int_{X}I\left(x\in\underset{i=1}{\overset{n}{\cap}}E_i\right)\mathop{}\!\mathrm{d}P=\int_{X}\left[\sum_{c\in C}(-1)^{n(c)}I\left(x\in\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant c_i\}\right)\right]\mathop{}\!\mathrm{d}P \\ =&\sum_{c\in C}(-1)^{n(c)}\int_{X}I\left(x\in\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant c_i\}\right)\mathop{}\!\mathrm{d}P=\sum_{c\in C}(-1)^{n(c)}P\left(\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant c_i\}\right) \\ =&\sum_{c\in C}(-1)^{n(c)}F(c) \end{align*}\]

(4)由$f$取值在$\mathbb{R}^{n}$上和性质 5.2.1(3)（上下连续性）立即可得：

\[\begin{equation*} \lim_{x_1, x_2, \dots, x_{n}\to-\infty}F(x_1, x_2, \dots, x_{n})=0,\quad\lim_{x_1, x_2, \dots, x_{n}\to+\infty}F(x_1, x_2, \dots, x_{n})=1 \end{equation*}\]

◻

Definition 6.3. 设$f=(f_1, f_2, \dots, f_{n})$是概率空间$(X,\mathscr{F},P)$上的随机向量，$F$是$\mathbb{R}^{n}$上的$n$元分布函数。若对任意的$x=(x_1, x_2, \dots, x_{n})\in\mathbb{R}^{n}$，都有：

\[\begin{equation*} F(x)=P(f\leqslant x)=P\left(\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant x_i\}\right) \end{equation*}\]

则称$f$的分布函数是$F$，也说成$f$服从$F$，记为$f\sim F$，称$F$为$f_1, f_2, \dots, f_{n}$的联合分布函数（joint distribution function）。根据定理 5.35，$f_1, f_2, \dots, f_{n}$中任意$m$个分量构成的随机向量的联合分布函数被称为对应的$m$个分量的边际分布函数（marginal distribution function）。

Property 6.0.4. 设$F$是$\mathbb{R}^{n}$上的分布函数，则必存在一个概率空间$(X,\mathscr{F},P)$和其上的$n$维随机向量$f$使得$f\sim F$。

证明. 由定理 5.36和性质 5.7.3(1)可知$F$可导出$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的测度$P$。取$X=\mathbb{R}^{n}$、$\mathscr{F}=\mathcal{B}(\mathbb{R}^{n})$和$\mathbb{R}^{n}$上的恒等映射$f$，由性质 5.1.7(1.b)和性质 5.3.3(1.b)可知$f$是$(X,\mathscr{F},P)$上的$n$维向量。

对任意的$x=(x_1, x_2, \dots, x_{n})\in\mathbb{R}^{n}$，取$A_k=\prod_{i=1}^{n}(-k,x_i]$，则$A_k$单调递增，由性质 5.1.7(1.b)可知$A_k\in\mathcal{B}(\mathbb{R}^{n})$。由性质 5.1.2(3)、定理 5.2、(1)和性质 5.2.1(3)（下连续性）可得：

\[\begin{equation*} P\Big((-\infty,x]\Big)=P\left(\lim_{k\to+\infty}A_k\right)=\lim_{k\to+\infty}P(A_k)=\lim_{k\to+\infty}\left[\sum_{c\in\{-k,x_i\}}(-1)^{n(c)}F(c)\right]=F(x) \end{equation*}\]

所以$P(X)=1$且对任意的$x\in\mathbb{R}^{n}$有$P(f\leqslant x)=F(x)$，$(X,\mathscr{F},P)$是概率空间，$f\sim F$。 ◻

Definition 6.4. 若$f$是从概率空间$(X,\mathscr{F},P)$到可测空间$(Y,\mathscr{A})$的可测映射，由性质 5.3.1(4.a)，称概率测度：

\[\begin{equation*} P(f^{-1}A),\;\forall\;A\in\mathscr{A} \end{equation*}\]

为$f$的概率分布（probability distribution），简记为$Pf^{-1}$。在没有明确可测映射的场合，也称概率测度$P$为概率分布。

Definition 6.5. 设$f$和$g$分别是从概率空间$(X,\mathscr{F},P)$和$(X',\mathscr{F}',Q)$到可测空间$(Y,\mathscr{A})$上的可测映射。若$Pf^{-1}=Qg^{-1}$，则称$f$与$g$同分布，记为$f\overset{d}{=}g$。

Property 6.0.5. 设$f=(f_1, f_2, \dots, f_{n})$和$g=(g_1, g_2, \dots, g_{n})$分别是概率空间$(X,\mathscr{F},P)$和$(X',\mathscr{F}',Q)$上的$n$维随机向量。若$f\overset{d}{=}g$，则对任意的$j\in\{1,2,\dots,n\}$有$f_j\overset{d}{=}g_j$。

证明. 固定$j\in\{1,2,\dots,n\}$，记投影映射$\pi_j:\mathbb{R}^{n}\to\mathbb{R}^{}$为$\pi_j(y_1,y_2,\dots,y_n)=y_j$，所以$f_j=\pi_j\circ f,\;g_j=\pi_j\circ g$。由性质 5.7.2和性质 5.3.1(2)可知$f_j$和$g_j$是$(X,\mathscr{F},P)$上的随机变量。任取$A\in\mathcal{B}(\mathbb{R})$，根据$Pf^{-1}=Qg^{-1}$可得：

\[\begin{equation*} P(f_j^{-1}(A))=P\left(f^{-1}(\pi_j^{-1}(A))\right)=Q\left(g^{-1}(\pi_j^{-1}(B))\right)=Q(g_j^{-1}(B)) \end{equation*}\]

由$A$的任意性可知$Pf_j^{-1}=Qg_j^{-1}$，即$f_j\overset{d}{=}g_j$。 ◻

6.1 随机变量的分类

设$f$是概率空间$(X,\mathscr{F},P)$上的$n$维随机变量。由性质 5.3.1(4.a)可知$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}),Pf^{-1})$是一个概率空间。因为$Pf^{-1}$是概率测度，所以$Pf^{-1}$是$\sigma$有限测度，而由性质 5.7.3(1)可知L测度$\lambda^n$也是$\sigma$有限测度，根据定理 5.34可知$Pf^{-1}$有如下分解式：

\[\begin{equation*} Pf^{-1}=\mu_1+\mu_s,\quad\mu_1\ll\lambda^n,\quad\mu_s\perp\lambda^n \end{equation*}\]

其中$\mu_1$和$\mu_s$是$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的$\sigma$有限测度，且这一分解是唯一的。由性质 5.1.7(1.b)可知$\mathbb{R}^{n}$上的单点集都在$\mathcal{B}(\mathbb{R}^{n})$中，于是记：

\[\begin{gather*} D=\{x\in\mathbb{R}^{n}:\mu_s(\{x\})>0\} \end{gather*}\]

则$D$是至多可列集：因为$\mu_s$是$\sigma$有限测度，所以存在满足$\underset{n=1}{\overset{+\infty}{\cup}}A_n=\mathbb{R}^{n}$的$\{A_n\}\subseteq\mathcal{B}(\mathbb{R}^{n})$使得$\mu_s(A_n)<+\infty$对任意的$n$成立。若$D$是不可列集，由定理 17.21可知必然有一个$A_n$中有不可列个正测度的单点。取：

\[\begin{equation*} \forall\;k\in\mathbb{N}^+,\;E_k=\left\{x\in A_n:\mu_s(x)\geqslant\frac{1}{k}\right\} \end{equation*}\]

设$\mu_s(A_n)=M$，由性质 5.2.1(3)（单调性，次可列可加性）可知$E_k$中最多有$Mk$个元素，根据定理 17.21可知$A_n$中正测度的单点数至多可列，矛盾，所以$D$至多可列。

因为$D$至多可列，所以$D\in\mathcal{B}(\mathbb{R}^{n})$，于是令：

\[\begin{equation*} \forall\;A\in\mathcal{B}(\mathbb{R}^{n}),\;\mu_2(A)=\mu_s(A\cap D),\;\mu_3(A)=\mu_s(A)-\mu_2(A) \end{equation*}\]

因为$\mu_s$是$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的测度，由定义可验证得到$\mu_2$是$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的测度，由性质 5.2.1(3)（次有限可加性）还可得到$\mu_2$是有限的，根据性质 5.2.1(2)(3)（次有限可加性）可知$\mu_3$是有限的。

综上，$Pf^{-1}$有分解：

\[\begin{equation*} Pf^{-1}=\mu_1+\mu_2+\mu_3 \end{equation*}\]

若对任意的$A\in\mathcal{B}(\mathbb{R}^{n})$有$\mu_2(A)=\mu_3(A)=0$，称$f$为连续型随机向量（continuous random vector）。因为$\mu_1\ll\lambda^n$，所以此时有$Pf^{-1}\ll\lambda^n$，因为$\lambda^n$是$\sigma$有限测度，$Pf^{-1}$是概率测度，由定理 5.33可知存在$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}),\lambda^n)$上在a.e.意义下唯一的可测函数$p$满足对任意的$A\in\mathcal{B}(\mathbb{R}^{n})$有：

\[\begin{equation*} Pf^{-1}(A)=\int_{A}p(x)\mathop{}\!\mathrm{d}\lambda^n \end{equation*}\]

由性质 5.4.3(9)还可证明得到$p\geqslant0\;$a.e.于$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}),\lambda^n)$，称$p$为$f$的概率密度函数（probability density function, P.D.F）。在没有明确随机变量的场合，也将概率测度$P$对L测度（也可以是别的测度）的Radon-Nikodym导数称为概率密度函数。

note 6.2. 在证明随机向量$f$为连续型随机向量时，只需证明存在满足上述条件的$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的非负可测函数$p$。

由性质 5.4.3(1)可知此时$Pf^{-1}\ll\lambda^n$，所以$Pf^{-1}=Pf^{-1}+0$即为$Pf^{-1}$关于$\lambda^n$的Lebesgue分解。由定理 5.34中Lebesgue分解的唯一性可知$\mu_2=\mu_3=0$，所以$f$为连续型随机向量，此时$p$即为$f$的概率密度函数。

若对任意的$A\in\mathcal{B}(\mathbb{R}^{n})$有$\mu_1(A)=\mu_3(A)=0$，称$f$为离散型随机向量（discrete random vector）²。记点列$D=\{x_n\},\;P(f=x_n)=Pf^{-1}(\{x_n\}),\;n\in\mathbb{N}^+$，则：

\[\begin{equation*} p(x)\coloneq \begin{cases} P(f=x),&x\in D \\ 0,&x\notin D \end{cases} \end{equation*}\]

完全确定了$f$的概率分布，称$p$³为$f$的概率质量函数（probability mass function, P.M.F）（把$p$非零的部分写成表格的形式后称其为概率分布列，或简称为分布列）。在没有明确随机变量的场合，也将满足条件的$\mu_2$称为概率质量函数。

表 6.1 概率分布列示例
$f$	$x_1$	$x_2$	$\cdots$	$x_n$
$P$	$p_1$	$p_2$	$\cdots$	$p_n$

note 6.3. 在证明随机向量$f$为离散型随机向量时，只需证明存在至多可数集$D\subseteq\mathbb{R}^{n}$使得$P(f\in D)=1$。

由性质 5.2.1(1)可知$Pf^{-1}(D^c)=0$，因为：

\[\begin{equation*} Pf^{-1}=\mu_1+\mu_2+\mu_3 \end{equation*}\]

且$\mu_1,\mu_2,\mu_3$均为测度，所以：

\[\begin{equation*} \mu_1(D^c)=\mu_2(D^c)=\mu_3(D^c)=0 \end{equation*}\]

因为$D$至多可数，由性质 5.7.3(6)可知$\lambda^n(D)=0$。又因为$\mu_1\ll\lambda^n$，所以$\mu_1(D)=0$。结合$\mu_1(D^c)=0$，根据性质 5.2.1(1)(3)（单调性）可得$\mu_1=0$。

由$\mu_3$的构造可知对于任意的$x\in\mathbb{R}^{n}$均有$\mu_3(\{x\})=0$。根据性质 5.2.1(3)（次可列可加性）可得$\mu_3(D)=0$，与$\mu_1$同理可知$\mu_3=0$。

综上，$f$为离散型随机向量。

若对任意的$A\in\mathcal{B}$有$\mu_1(A)=\mu_2(A)=0$，称$f$为奇异型随机向量（singular random vector）。

统称概率质量函数与概率密度函数为概率函数（probability function）。

Theorem 6.2. 任何随机向量都是离散型、连续型、奇异型随机向量的混合。

Definition 6.6. 称一族概率测度$\mathscr{P}$为分布族（distribution family）。

Property 6.1.1. 设$f,g$分别为概率空间$(X,\mathscr{F},P)$上的$m$维和$n$维连续型随机向量，则：

对于任意的$a,b\in\mathbb{R}^{n}$，$P(f\leqslant a)=P(f<a),\;P(f\geqslant a)=P(f>a),\;P(a<f<b)=P(a\leqslant f<b)=P(a<f\leqslant b)=P(a\leqslant f\leqslant b)$；
$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的可测函数$p$是某个$n$维连续型随机向量的概率密度函数的充要条件为：
1. $p(x)\geqslant0\;$a.e.于$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}),\lambda^n)$；
2. $\int_{\mathbb{R}^{n}}p(x)\mathop{}\!\mathrm{d}\lambda^n=1$。

证明. (1)由性质 5.3.3(1)(2)、性质 5.2.1(1)和连续型随机向量的定义即可得到。

(2)必要性由定义即可得到，下证明充分性。

令$\widetilde{p}(x)=\max\{p(x),0\}$，由性质 5.3.3(6)可知$\widetilde{p}$为非负可测函数，并且$\widetilde{p}=p\;$a.e.于$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}),\lambda^n)$，从而：

\[\begin{equation*} \int_{\mathbb{R}^{n}}\widetilde{p}(x)\mathop{}\!\mathrm{d}\lambda^n=1 \end{equation*}\]

对于任意的$A\in\mathcal{B}(\mathbb{R}^{n})$，定义：

\[\begin{equation*} \mu(A)=\int_{A}\widetilde{p}(x)\mathop{}\!\mathrm{d}\lambda^n \end{equation*}\]

由性质 5.4.2(2)和定理 5.27可知$\mu$是$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的概率测度，因此$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}),\mu)$为概率空间。

定义：

\[\begin{equation*} f:\mathbb{R}^{n}\to\mathbb{R}^{n},\quad f(x)=x \end{equation*}\]

由性质 5.1.7(1.b)和定理 5.35可知$f$为概率空间$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}),\mu)$上的$n$维随机向量。对于任意的$A\in\mathcal{B}(\mathbb{R}^{n})$有：

\[\begin{equation*} f^{-1}(A)=A \end{equation*}\]

于是由性质 5.4.3(8)可知：

\[\begin{equation*} \mu(f\in A)=\mu(A)=\int_{A}\widetilde{p}(x)\mathop{}\!\mathrm{d}\lambda^n=\int_{A}p(x)\mathop{}\!\mathrm{d}\lambda^n \end{equation*}\]

因此$f$为连续型随机向量，并且$p$为$f$的概率密度函数，故充分性成立。 ◻

Property 6.1.2. 设$f,g$分别为概率空间$(X,\mathscr{F},P)$上的$m$维和$n$维离散型随机向量，则：

记$f$的概率质量函数为$p_f$，则对于任意的$A\in\mathcal{B}(\mathbb{R}^m)$有：

\[\begin{equation*} P(f\in A)=\sum_{\substack{x\in A\\p_f(x)>0}}p_f(x) \end{equation*}\]
记$(f,g)$的联合概率质量函数为$p_{f,g}$，定义：

\[\begin{equation*} p_f(x)=\sum_{\substack{y\in\mathbb{R}^n\\p_{f,g}(x,y)>0}}p_{f,g}(x,y),\qquad p_g(y)=\sum_{\substack{x\in\mathbb{R}^m\\p_{f,g}(x,y)>0}}p_{f,g}(x,y) \end{equation*}\]

则$p_f$和$p_g$分别为$f$和$g$的概率质量函数；
$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的可测函数$p$是某个$n$维离散型随机向量的概率质量函数的充要条件为：
1. 对于任意的$x\in\mathbb{R}^n$有$p(x)\geqslant0$；
2. $\sum\limits_{\substack{x\in\mathbb{R}^n\\p(x)>0}}p(x)=1$。

证明. (1)由离散型随机变量的定义和测度的可列可加性即可得出。

(2)对于任意的$x\in\mathbb{R}^m$，记：

\[\begin{equation*} D_{f,g}=\left\{(u,v)\in\mathbb{R}^{m+n}:p_{f,g}(u,v)>0\right\} \end{equation*}\]

由于$(f,g)$为离散型随机向量，所以$P((f,g)\in D_{f,g})=1$，根据性质 5.2.1(1)可知$P((f,g)\notin D_{f,g})=0$。由性质 5.1.1(4)和性质 5.2.1(1)(3)（单调性）可知：

\[\begin{align*} P(f=x)&=P\Big(\{f=x\}\cap\{(f,g)\in D_{f,g}\}\Big)+P\Big(\{f=x\}\cap\{(f,g)\notin D_{f,g}\}\Big) \\ &=P\Big(\{f=x\}\cap\{(f,g)\in D_{f,g}\}\Big) \end{align*}\]

因为：

\[\begin{equation*} \{f=x\}\cap\{(f,g)\in D_{f,g}\}=\bigcup_{\substack{y\in\mathbb{R}^n\\p_{f,g}(x,y)>0}}\{f=x,g=y\} \end{equation*}\]

且上式右侧为至多可数个两两不交事件之并，所以由测度的可列可加性可得：

\[\begin{equation*} P(f=x)=\sum_{\substack{y\in\mathbb{R}^n\\p_{f,g}(x,y)>0}}P(f=x,g=y)=\sum_{\substack{y\in\mathbb{R}^n\\p_{f,g}(x,y)>0}}p_{f,g}(x,y)=p_f(x) \end{equation*}\]

(3)必要性由定义和(1)即可得到。下证明充分性。

记：

\[\begin{equation*} D=\left\{x\in\mathbb{R}^n:p(x)>0\right\} \end{equation*}\]

由条件可知$D$为至多可数集。对于任意的$A\subseteq D$定义：

\[\begin{equation*} P(A)=\sum_{\substack{x\in A\\p(x)>0}}p(x) \end{equation*}\]

并规定$P(\varnothing=0)$，于是$(D,\mathscr{P}(D),P)$构成一个概率空间。

定义：

\[\begin{equation*} f:D\to\mathbb{R}^{n},\quad f(x)=x \end{equation*}\]

由于$\mathscr{P}(D)$是$D$的所有子集构成的集族，所以根据定义可知$f$为可测映射。由测度的可列可加性和条件可知$f$为离散型随机向量。对于任意的$x\in D$有：

\[\begin{equation*} P(f=x)=P(\{x\})=p(x) \end{equation*}\]

对于任意的$x\notin D$有$p(x)=0$，同时：

\[\begin{equation*} P(f=x)=P(\varnothing)=0=p(x) \end{equation*}\]

因此对于任意的$x\in\mathbb{R}^n$都有$P(f=x)=p(x)$，即$p$为离散型随机向量$f$的概率质量函数。 ◻

6.2 独立性

Definition 6.7. 设$(X,\mathscr{F},P)$是一个概率空间，$T$是一个指标集。

若$(X,\mathscr{F},P)$上的集族$\{A_t\in\mathscr{F}:t\in T\}$对任意的$n\in\mathbb{N}^+$和任意的$\{t_1, t_2, \dots, t_{n}\}\subseteq T$，有：

\[\begin{equation*} P\left(\underset{i=1}{\overset{n}{\cap}}A_{t_i}\right)=\prod_{i=1}^{n}P(A_{t_i}) \end{equation*}\]

则称$\{A_t\in\mathscr{F}:t\in T\}$相互独立（mutually independent）；
设$\{\mathscr{A}_t\subseteq\mathscr{F}:t\in T\}$是$(X,\mathscr{F},P)$上由集族构成的集族，若对每个$t\in T$任取一个$A_t\in\mathscr{A}_t$所构成的集族$\{A_t:t\in T\}$相互独立，则称$\{\mathscr{A}_t\subseteq\mathscr{F}:t\in T\}$相互独立；
设$\{f_t:t\in T\}$是由$(X,\mathscr{F},P)$上的可测映射构成的可测映射族，若$\{\sigma(f_t):t\in T\}$相互独立，则称$\{f_t:t\in T\}$相互独立。若$\sigma(f)$与$\mathscr{A}\subseteq\mathscr{F}$独立，也称$f$与$\mathscr{A}$独立。

若$(X,\mathscr{F},P)$上的集族$\{A_t\}$对任意的$i\ne j$有$P(A_i\cap A_j)=P(A_i)P(A_j)$，则称$\{A_t\}$成对独立（pairwise independent）。可见两个元素之间的相互独立性与成对独立性是等价的，于是将两个元素相互独立或成对独立简称为它们独立。

Property 6.2.1. 设$(X,\mathscr{F},P)$是一个概率空间，$T$是一个指标集。独立性具有如下性质：

若$\{A_t:t\in T\}\subseteq\mathscr{F}$相互独立当且仅当对其中任意个元素取补集后得到的$\{B_t:t\in T\}$也相互独立；
若由$\pi$系构成的集族$\{\mathscr{A}_t\subseteq\mathscr{F}:t\in T\}$相互独立，则将其中任意个元素修改为由自身生成的$\sigma$域后得到的$\{\mathscr{B}_t:t\in T\}$也相互独立；
若$\sigma$域族$\{\mathscr{A}_t\subseteq\mathscr{F}:t\in T\}$相互独立则$\{(X,\mathscr{A}_t):t\in T\}$上任意的随机变量族$\{f_t:t\in T\}$也相互独立，其中$f_t$是$(X,\mathscr{A}_t)$上的随机变量；
若$\{f_t\}$是从$(X,\mathscr{F},P)$到$(Y,\mathscr{A})$上相互独立的可测映射族，$\{g_t\}$是一族$(Y,\mathscr{A})$上的可测映射，则$\{g_t\circ f_t\}$是相互独立的可测映射族；
$\{f_t:t\in T\}$是$(X,\mathscr{F},P)$上相互独立的随机变量当且仅当：
1. 对任意的$n\in\mathbb{N}^+$（$T$为有限集时对应条件为$n\in\mathbb{N}^+$且$n\leqslant|T|$）和$t_1, t_2, \dots, t_{n}\in T$，$f=(f_{t_1},f_{t_2},\dots,f_{t_n})$的概率分布$Pf^{-1}=\prod\limits_{i=1}^{n}Pf_{t_i}^{-1}$；
2. 设$F_t$为$f_t$的分布函数，对任意的$n\in\mathbb{N}^+$和$t_1, t_2, \dots, t_{n}\in T$（$T$为有限集时对应条件为$n\in\mathbb{N}^+$且$n\leqslant|T|$），$f=(f_{t_1},f_{t_2},\dots,f_{t_n})$的分布函数$F$对任意的$x=(x_1, x_2, \dots, x_{n})\in\mathbb{R}^{n}$满足：
  
  \[\begin{equation*} F(x)=F(x_1,x_2,\dots,x_n)=\prod_{i=1}^{n}F_{t_i}(x_i) \end{equation*}\]
3. 对任意的$n\in\mathbb{N}^+$（$T$为有限集时对应条件为$n\in\mathbb{N}^+$且$n\leqslant|T|$）和$t_1, t_2, \dots, t_{n}\in T$，若$Pf_{t_1}^{-1},Pf_{t_2}^{-1},\dots,Pf_{t_n}^{-1}\ll\mu$，其中$\mu$是$(\mathbb{R},\mathcal{B}(\mathbb{R}))$上的$\sigma$有限测度，$f_{t_1},f_{t_2},\dots,f_{t_n}$关于$\mu$分别有非负的Radon-Nikodym导数$p_{t_1},p_{t_2},\dots,p_{t_n}$，则$f$也有关于$\mu^n$的Radon-Nikodym导数$p$，同时有：
  
  \[\begin{equation*} p=\prod_{i=1}^{n}p_{t_i}\;\text{a.e.于}\left(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}),\mu^n\right) \end{equation*}\]
4. 设$g$是$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的可测函数，对任意的$n\in\mathbb{N}^+$（$T$为有限集时对应条件为$n\in\mathbb{N}^+$且$n\leqslant|T|$）和$t_1, t_2, \dots, t_{n}\in T$，记$f=(f_{t_1},f_{t_2},\dots,f_{t_n})$，只要：
  
  \[\begin{equation*} \int_{X}g(f_{t_1},f_{t_2},\dots,f_{t_n})\mathop{}\!\mathrm{d}P,\quad\int_{\mathbb{R}}\mathop{}\!\mathrm{d}Pf_{t_1}^{-1}\int_{\mathbb{R}}\mathop{}\!\mathrm{d}Pf_{t_2}^{-1}\cdots\int_{\mathbb{R}}g(x_1, x_2, \dots, x_{n})\mathop{}\!\mathrm{d}Pf_{t_n}^{-1} \end{equation*}\]
  
  之一有意义，二者一定相等。
若$\sigma$域族$\{\mathscr{A}_t\subseteq\mathscr{F}:t\in T\}$相互独立，则对于$T$的任意一个分割$\{T_d:d\in D\}$有：

\[\begin{equation*} \left\{\sigma\left(\underset{t\in T_d}{\overset{}{\bigcup}}\mathscr{A}_t\right):d\in D\right\} \end{equation*}\]

相互独立；

证明. (1)当$\{A_t:t\in T\}=\{A_1, A_2, \dots, A_{t}\}$时，考虑$\{A_1^c,A_2,\dots,A_t\}$的情况。对任意的$n\in\{1,2,\dots,t\}$和任意的$\{t_1, t_2, \dots, t_{n}\}\subseteq\{1,2,\dots,t\}$，若$1\notin\{t_1, t_2, \dots, t_{n}\}$，自然有：

\[\begin{equation*} P\left(\underset{i=1}{\overset{n}{\cap}}A_{t_i}\right)=\prod_{i=1}^{n}P(A_{t_i}) \end{equation*}\]

若$1\in\{t_1, t_2, \dots, t_{n}\}$，设$t_1=1$，由性质 5.1.1(6)和性质 5.2.1(2)可知：：

\[\begin{align*} &P\left[A_1^c\cap\left(\underset{i=2}{\overset{n}{\cap}}A_{t_i}\right)\right]=P\left\{\underset{i=2}{\overset{n}{\cap}}A_{t_i}\Big\backslash\left[A_1\cap\left(\underset{i=2}{\overset{n}{\cap}}A_{t_i}\right)\right]\right\}=P\left(\underset{i=2}{\overset{n}{\cap}}A_{t_i}\right)-P\left(\underset{i=1}{\overset{n}{\cap}}A_{t_i}\right) \\ =&\prod_{i=2}^{n}P(A_{t_i})-\prod_{i=1}^{n}P(A_{t_i})=[1-P(A_1)]\prod_{i=2}^{n}P(A_{t_i})=P(A_1^c)\prod_{i=2}^{n}P(A_{t_i}) \end{align*}\]

于是$\{A_1^c,A_2,\dots,A_t\}$相互独立。由定义可知结论成立。

(2)当$\{\mathscr{A}_t:t\in T\}=\{\mathscr{A}_1, \mathscr{A}_2, \dots, \mathscr{A}_{t}\},\;\{\mathscr{B}_t:t\in T\}=\{\sigma(\mathscr{A}_1),\mathscr{A}_2,\dots,\mathscr{A}_t\}$时，记：

\[\begin{equation*} \mathscr{B}=\left\{A\in\mathscr{F}:\forall\;B=\underset{i=2}{\overset{n}{\cap}}A_{t_i},A_{t_i}\in\mathscr{A}_{t_i},\;i=2,\dots,n,\;n\leqslant t,\;P(A\cap B)=P(A)P(B)\right\} \end{equation*}\]

注意到$P(X\cap B)=P(B)=P(X)P(B)$，所以$X\in\mathscr{B}$。

若$C,D\in\mathscr{B}$且$D\subseteq C$，由性质 5.1.1(4)和性质 5.2.1(2)可得：

\[\begin{align*} &P[(C\setminus D)\cap B]=P[(C\cap B)\setminus(D\cap B)]=P(C\cap B)-P(D\cap B) \\ =&P(C)P(B)-P(D)P(B)=[P(C)-P(D)]P(B)=P(C\setminus D)P(B) \end{align*}\]

所以$C\setminus D\in\mathscr{B}$。

取$\mathscr{B}$中单调递增的集合序列$\{B_n\}$，由性质 5.1.6(2)可知$\{B_n\cap B\}$也是$\mathscr{F}$中单调递增的集合序列，由性质 5.1.1(4)、性质 5.2.1(3)（下连续性）和性质 3.2.9(8.c)可得：

\[\begin{align*} &P\left[\left(\underset{n=1}{\overset{+\infty}{\cup}}B_n\right)\cap B\right]P\left[\underset{n=1}{\overset{+\infty}{\cup}}(B_n\cap B)\right]=\lim_{n\to+\infty}P\left[B_n\cap B\right] \\ =&\lim_{n\to+\infty}[P(B_n)P(B)]=P(B)\lim_{n\to+\infty}P(B_n) =P(B)P\left(\underset{n=1}{\overset{+\infty}{\cup}}B_n\right) \end{align*}\]

于是$\underset{n=1}{\overset{+\infty}{\cup}}B_n\in\mathscr{B}$。

综上，$\mathscr{B}$是一个$\lambda$系，由相互独立性的定义可知$\mathscr{A}_1\subseteq\mathscr{B}$，根据推论 5.2可得$\sigma(\mathscr{A}_1)\subseteq\mathscr{B}$，所以有$\sigma(\mathscr{A}_1),\mathscr{A}_2,\dots,\mathscr{A}_n$相互独立。显然可将该结论推广为：将$\mathscr{A}_1, \mathscr{A}_2, \dots, \mathscr{A}_{n}$中任意个元素修改为由自身生成的$\sigma$域后得到的$\mathscr{B}_1, \mathscr{B}_2, \dots, \mathscr{B}_{n}$也相互独立。

当$\{\mathscr{A}_n\}$含有无穷个元素时，由相互独立的定义和有限个元素时的情况即可得出结论。

(3)由随机变量的定义立即可得。

(4)由性质 5.3.1(2)的证明过程可知$\sigma(g_n\circ f_n)\subseteq\sigma(f_n)$，而$\{\sigma(f_n)\}$相互独立，所以$\{g_n\circ f_n\}$相互独立。

(5)有限集的情况可由无限集的情况推出。

a：充分性由独立性的定义立即可得，下证明必要性。

对任意的$n\in\mathbb{N}^+$和$t_1, t_2, \dots, t_{n}\in T$，由定理 5.37(1)可知$\prod\limits_{i=1}^{n}Pf_{t_i}^{-1}$存在。任取$\mathbb{R}$上的左开右闭区间$A_i,\;i=1,2,\dots,n$，则：

\[\begin{align*} P\left(f\in\prod_{i=1}^{n}A_i\right)&=P\left(\underset{i=1}{\overset{n}{\cap}}\{f_{t_i}\in A_i\}\right)=\prod_{i=1}^{n}P(f_{t_i}\in A_i) \\ &=\prod_{i=1}^{n}Pf_{t_i}^{-1}(A_i)=\prod_{i=1}^{n}Pf_{t_i}^{-1}\left(\prod_{i=1}^{n}A_i\right) \end{align*}\]

由性质 5.1.3(3)和定理 5.1可得结论在$\pi$系：

\[\begin{equation*} \left\{\prod_{i=1}^{n}A_i:A_i\;\text{是}\;\mathbb{R}\text{上的左开右闭区间},\;i=1,2,\dots,n\right\} \end{equation*}\]

上成立。

记：

\[\begin{equation*} \mathscr{A}=\left\{A\in\mathcal{B}(\mathbb{R}^{n}):Pf^{-1}(A)=\prod_{i=1}^{n}Pf_{t_i}^{-1}(A)\right\} \end{equation*}\]

由$\mathscr{A}$的定义可知$\mathbb{R}^{n}\in\mathscr{A}$。

若$A,B\in\mathscr{A}$且$B\subseteq A$，由性质 5.2.1(2)可得：

\[\begin{equation*} Pf^{-1}(A\setminus B)=Pf^{-1}(A)-Pf^{-1}(B)=\prod_{i=1}^{n}Pf_{t_i}^{-1}(A)-\prod_{i=1}^{n}Pf_{t_i}^{-1}(B)=\prod_{i=1}^{n}Pf_{t_i}^{-1}(A\setminus B) \end{equation*}\]

即$A\setminus B\in\mathscr{A}$。

若$\{A_n\}\subseteq\mathscr{A}$是单调递增序列，由性质 5.2.1(3)（下连续性）可得：

\[\begin{equation*} Pf^{-1}\left(\lim_{n\to+\infty}A_n\right)=\lim_{n\to+\infty}Pf^{-1}(A_n)=\lim_{n\to+\infty}\prod_{i=1}^{n}Pf_{t_i}^{-1}(A_n)=\prod_{i=1}^{n}Pf_{t_i}^{-1}\left(\lim_{n\to+\infty}A_n\right) \end{equation*}\]

即$\lim\limits_{n\to+\infty}A_n\in\mathscr{A}$。

综上，$\mathscr{A}$是$\lambda$系。

由定理 5.9和性质 5.1.7(1.b)可知$\mathcal{B}(\mathbb{R}^{n})\subseteq\mathscr{A}$，必要性得证。

b：由(a)和性质 5.1.7(1.b)立即可得。

c：由定理 5.37(1)和性质 5.1.7(1.c)可知$\mu^n$存在且是$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的测度。

先证明必要性。对于任意的$A\in\mathcal{B}(\mathbb{R}^{n})$，由定理 5.33和性质 5.3.3(5.b)可定义：

\[\begin{equation*} Q(A)=\int_{A}\prod_{i=1}^{n}p_{t_i}(x_i)\mathop{}\!\mathrm{d}\mu^n \end{equation*}\]

根据性质 5.4.2(2)(3)和定理 5.27可知$Q$是$(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))$上的测度。任取$\mathbb{R}$上的左开右闭区间$A_i,\;i=1,2,\dots,n$，由定理 5.37(2)和独立性可得：

\[\begin{align*} &Q\left(\prod_{i=1}^{n}A_i\right)=\int_{\prod_{i=1}^{n}A_i}\prod_{i=1}^{n}p_{t_i}(x_i)\mathop{}\!\mathrm{d}\mu^n=\prod_{i=1}^{n}\int_{A_i}p_{t_i}(x)\mathop{}\!\mathrm{d}\mu \\ =&\prod_{i=1}^{n}Pf_{t_i}^{-1}(A_i)=\prod_{i=1}^{n}P(f_{t_i}\in A_i)=P\left(\underset{i=1}{\overset{n}{\cap}}\{f_{t_i}\in A_i\}\right) \\ =&P\left(f\in\prod_{i=1}^{n}A_i\right)=Pf^{-1}\left(\prod_{i=1}^{n}A_i\right) \end{align*}\]

由性质 5.7.1(1)和定理 5.1可知上述结论在$\pi$系：

\[\begin{equation*} \left\{\prod_{i=1}^{n}A_i:A_i\;\text{是}\;\mathbb{R}\text{上的左开右闭区间},\;i=1,2,\dots,n\right\} \end{equation*}\]

上成立。类似a中的证明过程可知上述结论在$\mathcal{B}(\mathbb{R}^{n})$上成立，根据定理 5.33可知必要性成立。

对于充分性，任取$A_i\in\sigma(f_{t_i}),\;i=1,2,\dots,n$，于是存在$B_i\in\mathcal{B}(\mathbb{R})$使得$f_{t_i}^{-1}(B_i)=A_i$。由定理 5.37和性质 5.1.7(1.c)可得：

\[\begin{align*} &P\left(\underset{i=1}{\overset{n}{\cap}}A_i\right)=P\left(f\in\prod_{i=1}^nB_i\right)=\int_{\prod_{i=1}^nB_i}p(x)\mathop{}\!\mathrm{d}\mu^n \\ =&\int_{\prod_{i=1}^nB_i}\prod_{i=1}^{n}p_{t_i}(x)\mathop{}\!\mathrm{d}\mu=\prod_{i=1}^{n}Pf_{t_i}^{-1}(B_i)=\prod_{i=1}^{n}P(A_i) \end{align*}\]

充分性得证。

d：必要性由定理 5.28、(a)和定理 5.37(2)即可得到。对任意的$A\in\mathcal{B}(\mathbb{R}^{n})$取$I(x\in A)$即可验证得到充分性。

(6)对任意的$d\in D$，令：

\[\begin{equation*} \mathscr{B}_d=\underset{n=1}{\overset{+\infty}{\cup}}\left\{\underset{k=1}{\overset{n}{\cap}}A_k:A_k\in\mathscr{A}_{t_k},t_k\in T_d\right\} \end{equation*}\]

由性质 5.1.6(2)可知$\mathscr{B}_d$是$\pi$系，根据独立性的定义可知$\{\mathscr{B}_d:d\in D\}$相互独立，注意到$\sigma(\mathscr{B}_d)=\sigma\left(\underset{t\in T_d}{\overset{}{\bigcup}}\mathscr{A}_t\right)$，由(2)即可得出结论。 ◻

6.3 期望

6.3.1 数学期望

Definition 6.8. 设$f$是概率空间$(X,\mathscr{F},P)$上的随机变量。若$f$在$X$上的积分存在，则称$f$的数学期望（mathematical expectation）（简称为期望）存在，并将：

\[\begin{equation*} \operatorname{E}(f)\coloneq\int_{X}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

称为$f$的期望。若$f$在$X$上可积，则称$f$的期望是有限的。根据定理 5.35，随机向量的期望即为各分量期望按原顺序排列成的向量，随机矩阵的期望即为各元素期望按原顺序排成的矩阵。

Property 6.3.1. 设$f$是概率空间$(X,\mathscr{F},P)$上在$X$上积分存在的随机变量。期望有如下性质：

对任何$(\mathbb{R},\mathcal{B}(\mathbb{R}))$上的可测函数$g$，$g\circ f$是$(X,\mathscr{F},P)$上的可测函数，只要：

\[\begin{equation*} \operatorname{E}(g\circ f),\quad\int_{\mathbb{R}}g\mathop{}\!\mathrm{d}Pf^{-1} \end{equation*}\]

之一有意义，则二者一定相等。特别的，当$f$为连续型随机变量时，上式化作：

\[\begin{equation*} \operatorname{E}(g\circ f),\quad\int_{\mathbb{R}}g(x)\frac{\mathop{}\!\mathrm{d}Pf^{-1}}{\mathop{}\!\mathrm{d}\lambda}(x)\mathop{}\!\mathrm{d}\lambda \end{equation*}\]

其中$\lambda$为L测度；当$f$为离散型随机变量时，令$D=\{x_n\}$，含义与随机变量分类时的含义相同，则上式化作：

\[\begin{equation*} \operatorname{E}(g\circ f),\quad\sum_{n=1}^{+\infty}g(x_n)P(f=x_n) \end{equation*}\]
若$f_1, f_2, \dots, f_{n}$是$(X,\mathscr{F},P)$上相互独立的随机变量，$g_1, g_2, \dots, g_{n}$是$(\mathbb{R},\mathcal{B}(\mathbb{R}))$上的Borel函数，只要：

\[\begin{equation*} \operatorname{E}\left[\prod_{i=1}^{n}g_i(f_i)\right],\quad\prod_{i=1}^{n}\operatorname{E}[g_i(f_i)] \end{equation*}\]

之一有意义，二者一定相等。

证明. (1)由性质 5.3.1(2)可知$g\circ f$是$(X,\mathscr{F},P)$到$(\mathbb{R},\mathcal{B}(\mathbb{R}))$上的可测函数。注意到：

\[\begin{equation*} \operatorname{E}(g\circ f)=\int_{X}g[f(x)]\mathop{}\!\mathrm{d}P=\int_{f^{-1}(\mathbb{R})}g[f(x)]\mathop{}\!\mathrm{d}P \end{equation*}\]

由定理 5.28即可得出一般结论。根据引理 5.10可得出连续型随机变量时的结论。对于离散型随机变量，由性质 5.3.3(2)、性质 5.1.6(4)、定理 5.27、性质 5.4.3(1)和积分的定义（$g(x)$限制在$x_n$上是简单函数，若$g(x_n)<0$还需用到性质 5.4.3(6)）可得：

\[\begin{align*} &\int_{\mathbb{R}}g(x)\mathop{}\!\mathrm{d}Pf^{-1}=\int_{(\mathbb{R}\setminus D)\bigcup\left(\underset{n=1}{\overset{+\infty}{\cup}}\{x_n\}\right)}g(x)\mathop{}\!\mathrm{d}Pf^{-1} \\ =&\int_{\mathbb{R}\setminus D}g(x)\mathop{}\!\mathrm{d}Pf^{-1}+\sum_{n=1}^{+\infty}\int_{\{x_n\}}g(x)\mathop{}\!\mathrm{d}Pf^{-1}=\sum_{n=1}^{+\infty}g(x_n)P(f=x_n) \end{align*}\]

(2)由性质 5.3.3(11)（可以证明$g(x_1, x_2, \dots, x_{n})=x_1x_2\cdots x_n$在$\mathbb{R}^{n}$上连续）和性质 6.2.1(5.d)即可得到。 ◻

note 6.4. 很多教材在上述定理中写的并不是$g$对pushforward measure$Pf^{-1}$进行积分，而是对$f$的分布函数$F$进行积分。$F$是一个测度吗？$F$与$Pf^{-1}$等价吗？显然并不是。由L-S测度处的讨论可以看出$F$可唯一确定$Pf^{-1}$，所以可使用$F$来代表$Pf^{-1}$。

6.3.2 条件期望

通常的期望$\operatorname{E}(f)$描述随机变量$f$在整个概率空间上的均值，但在实际问题中，我们还需要研究在某些条件成立时$f$的均值。例如，对于事件$A\in\mathscr{F}$，可以研究$f$在$A$发生条件下的平均值。然而，如果可能给出的条件有很多，我们并不希望对每一个条件分别定义一个彼此独立的数值，而希望构造一个新的随机变量，使得条件发生变化时，这个随机变量能够对应$f$在这一条件下的均值。当我们希望把给定条件后的均值组织成一个随机变量时，需要同时处理一整套的条件，这一整套条件自然应该构成一个$\sigma$域。

引理 7.1 Lemma 6.1. 设$f$为概率空间$(X,\mathscr{F},P)$上在$X$上积分存在的随机变量。由性质 5.4.3(3)，对任意的$A\in\mathscr{F}$，令：

\[\begin{equation*} \varphi(A)=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

则：

$\varphi$是$\mathscr{F}$上的符号测度；
$\varphi\ll P$。

证明. (1)因为$P(\varnothing)=0$，由性质 5.4.3(1)可得$\varphi(\varnothing)=0$。根据定理 5.27可知对互不相交的$\{A_n\}\subseteq\mathscr{F}$有：

\[\begin{equation*} \varphi\left(\underset{n=1}{\overset{+\infty}{\cup}}A_n\right)=\int_{\underset{n=1}{\overset{+\infty}{\cup}}A_n}f(x)\mathop{}\!\mathrm{d}P=\sum_{n=1}^{+\infty}\left[\int_{A_n}f(x)\mathop{}\!\mathrm{d}P\right]=\sum_{n=1}^{+\infty}\varphi(A_n) \end{equation*}\]

所以$\varphi$是$\mathscr{F}$上的符号测度。

(2)由性质 5.4.3(1)直接可得。 ◻

Definition 6.9. 设$f$为概率空间$(X,\mathscr{F},P)$上在$X$上积分存在的随机变量，$\mathscr{A}$是$\mathscr{F}$的一个子$\sigma$域。对任意的$A\in\mathscr{F}$，令：

\[\begin{equation*} \varphi(A)=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

若存在$(X,\mathscr{A})$上的可测函数$g$满足对任意的$A\in\mathscr{A}$有：

\[\begin{equation*} \int_{A}g(x)\mathop{}\!\mathrm{d}P=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

则称$g$为$f$关于$\mathscr{A}$的条件期望（conditional expectation），记作$\operatorname{E}(f\mid\mathscr{A})$。当$\mathscr{A}=\sigma(h)$且$h$是$(X,\mathscr{F})$到可测空间 $(Y,\mathscr{B})$的可测映射时，称$\operatorname{E}(f\mid h)\coloneq\operatorname{E}[f|\sigma(h)]$为$f$关于$h$的条件期望（由引理 5.4可知$\sigma(h)$为$\mathscr{F}$的子$\sigma$域）。当给定多个子$\sigma$域$\mathscr{A}_1,\mathscr{A}_2,\dots,\mathscr{A}_n\subseteq\mathscr{F}$时，约定：

\[\begin{equation*} \operatorname{E}(f\mid\mathscr{A}_1,\mathscr{A}_2,\dots,\mathscr{A}_n)\coloneq\operatorname{E}\left[f\mid\sigma\left(\underset{i=1}{\overset{n}{\cup}}\mathscr{A}_i\right)\right] \end{equation*}\]

note 6.5. 因为概率是$\sigma$有限测度，由性质 5.2.1(4)、引理 6.1(1)、性质 5.6.1(7)、引理 6.1(2)和定理 5.33可知存在$(X,\mathscr{A},P)$上a.e.于$(X,\mathscr{A},P)$的意义下唯一的在$X$上积分存在的可测函数$g$满足：

\[\begin{equation*} \forall\;A\in\mathscr{A},\;\varphi(A)=\int_{A}g(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

所以条件期望必然存在且在a.e.于$(X,\mathscr{A},P)$的意义下唯一。

作为一个随机变量，$\operatorname{E}(f\mid\mathscr{A})$在某一点$x\in X$处的取值究竟表示什么？因为$\operatorname{E}(f\mid\mathscr{A})$是几乎处处意义下的，所以我们也没必要关心它在零测集上的取值。进一步地，概率空间中任意一族两两不交且具有正概率的可测集合至多可数。若$\{A_i:i\in I\}\subseteq\mathscr{A}$两两不交且$P(A_i)>0$，对任意$n\in\mathbb{N}^{+}$令：

\[\begin{equation*} I_n=\left\{i\in I:P(A_i)\geqslant\frac{1}{n}\right\} \end{equation*}\]

因为这些集合两两不交且$P(X)=1$，由性质 5.2.1(1)(3)（单调性）可得$|I_n|\leqslant n$，从而每个$I_n$均为有限集。而：

\[\begin{equation*} I=\underset{n=1}{\overset{+\infty}{\cup}}I_n \end{equation*}\]

由定理 17.21可知$I$至多可数。

Theorem 6.3. 设$\{A_i:i\in I\}$是$X$的至多可数划分，即：

\[\begin{equation*} X=\underset{i\in I}{\cup}A_i,\quad A_i\cap A_j=\varnothing\;(i\neq j) \end{equation*}\]

$\mathscr{A}=\sigma(\{A_i:i\in I\})$，则$f$是$(X,\mathscr{A})$上的可测函数当且仅当存在$\{a_i:i\in I\}\subseteq\mathbb{R}$使得：

\[\begin{equation*} f=\sum_{i\in I}a_iI(x\in A_i) \end{equation*}\]

证明. (1)必要性：任取$i\in I$，若存在$x_1,x_2\in A_i$使得$f(x_1)=\alpha<\beta=f(x_2)$，取$c=\dfrac{\alpha+\beta}{2}$。因为$f$关于$\mathscr{A}$可测，所以$f^{-1}((-\infty,c))\in\mathscr{A}$。由$\{A_i:i\in I\}$的定义可知：

\[\begin{equation*} \mathscr{A}=\left\{\underset{i\in J}{\cup}A_i:J\subseteq I\right\} \end{equation*}\]

所以$\mathscr{A}$中的集合要么包含$A_i$要么与$A_i$不相交。因为：

\[\begin{equation*} x_1\in f^{-1}((-\infty,c)),\quad x_2\notin f^{-1}((-\infty,c)) \end{equation*}\]

所以此时$f$不可测，矛盾，于是$f$在每个$A_i$上均为常数。

(2)充分性：由可测函数的定义即可证得。 ◻

Theorem 6.4. 设$f$是概率空间$(X,\mathscr{F},P)$上积分存在的随机变量，$\{A_i:i\in I\}\subseteq\mathscr{F}$是$X$的至多可数划分，$\mathscr{A}=\sigma(\{A_i:i\in I\})$，则：

\[\begin{equation*} \operatorname{E}(f\mid\mathscr{A})(x)=\sum_{\substack{i\in I\\P(A_i)>0}}\frac{\int_{A_i}f\mathop{}\!\mathrm{d}P}{P(A_i)}I(x\in A_i)\;\text{a.e.于$(X,\mathscr{A},P)$} \end{equation*}\]

其中，在满足$P(A_i)=0$的集合$A_i$上可以任意定义$\operatorname{E}(f\mid\mathscr{A})$的取值。

证明. 记：

\[\begin{equation*} g(x)=\sum_{\substack{i\in I\\P(A_i)>0}}\frac{\displaystyle\int_{A_i}f\mathop{}\!\mathrm{d}P}{P(A_i)}I(x\in A_i) \end{equation*}\]

并在满足$P(A_i)=0$的集合$A_i$上任意定义$g$的取值，由定理 6.3可知$g$关于$\mathscr{A}$可测。

任取$A\in\mathscr{A}$。由：

\[\begin{equation*} \mathscr{A}=\left\{\underset{i\in J}{\cup}A_i:J\subseteq I\right\} \end{equation*}\]

可知存在$J\subseteq I$使得：

\[\begin{equation*} A=\underset{i\in J}{\cup}A_i \end{equation*}\]

根据定理 5.27和性质 5.4.3(1)可得：

\[\begin{align*} \int_{A}g(x)\mathop{}\!\mathrm{d}P=\sum_{\substack{i\in J\\P(A_i)>0}}\int_{A_i}g(x)\mathop{}\!\mathrm{d}P=\sum_{i\in J}\int_{A_i}f(x)\mathop{}\!\mathrm{d}P=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{align*}\]

由条件期望的定义可知结论成立。 ◻

定理 6.4给出了一个较为一般且直观的情形，在这一情形下可以明确说明条件期望作为随机变量时每一点取值的含义。当$\mathscr{A}$由至多可数划分$\{A_i:i\in I\}$生成时，对于$P(A_i)>0$的$x\in A_i$，条件期望在$x$处的取值恰好为$f$在事件$A_i$发生条件下的均值：

\[\begin{equation*} \operatorname{E}(f\mid\mathscr{A})(x)=\frac{1}{P(A_i)}\int_{A_i}f\mathop{}\!\mathrm{d}P \end{equation*}\]

而对于满足$P(A_i)=0$的划分块，由$\{A_i:i\in I\}$至多可数以及性质 5.2.1(3)（次可列可加性）可知它们的并集仍为零测集。因此，除去一个零测集以后，条件期望在每一点的取值都可以具体理解为该点所属条件下$f$的均值，前面所希望构造的”随着条件变化而给出相应条件均值的随机变量”在这里得到了具体实现。

Property 6.3.2. 设$f,g$是概率空间$(X,\mathscr{F},P)$上在$X$上积分存在的随机变量，$\mathscr{A},\mathscr{B}$是$\mathscr{F}$的子$\sigma$域，则：

$f$关于$\mathscr{A}$可测的充要条件为$\operatorname{E}(f\mid\mathscr{A})=f\;$a.e.于$(X,\mathscr{A},P)$；
若$f$与$\mathscr{A}$独立，则$\operatorname{E}(f\mid\mathscr{A})=\operatorname{E}(f)\;$a.e.于$(X,\mathscr{A},P)$；
若$\mathscr{A}\subseteq\mathscr{B}$，则$\operatorname{E}[\operatorname{E}(f\mid\mathscr{A})|\mathscr{B}]=\operatorname{E}(f\mid\mathscr{A})\;$a.e.于$(X,\mathscr{B},P)$，$\operatorname{E}[\operatorname{E}(f\mid\mathscr{B})|\mathscr{A}]=\operatorname{E}(f\mid\mathscr{A})\;$a.e.于$(X,\mathscr{A},P)$，$\operatorname{E}[\operatorname{E}(f\mid\mathscr{A})]=\operatorname{E}(f)$；
若$f\leqslant g\;$a.e.于$(X,\mathscr{F},P)$，则$\operatorname{E}(f\mid\mathscr{A})\leqslant\operatorname{E}(g|\mathscr{A})\;$a.e.于$(X,\mathscr{A},P)$；
对任意的$\alpha,\beta\in\mathbb{R}$，若$\alpha\operatorname{E}(f)+\beta\operatorname{E}(g)$有意义，则：

\[\begin{equation*} \operatorname{E}(\alpha f+\beta g|\mathscr{A})=\alpha\operatorname{E}(f\mid\mathscr{A})+ \beta\operatorname{E}(g|\mathscr{A}) \end{equation*}\]

a.e.于$(X,\mathscr{A},P)$；
若$0\leqslant f_n\uparrow f\;$a.e.于$(X,\mathscr{A},P)$，则$0\leqslant\operatorname{E}(f_n|\mathscr{A})\uparrow \operatorname{E}(f\mid\mathscr{A})\;$a.e.于$(X,\mathscr{A},P)$；
若$f_n\geqslant0\;$a.e.于$(X,\mathscr{F},P)$，则$\operatorname{E}\left(\varliminf\limits_{n\to+\infty}f_n\Big|\mathscr{A}\right)\leqslant\varliminf\limits_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})\;$a.e.于$(X,\mathscr{A},P)$；
若$|f_n|\leqslant g\in L_1(X,\mathscr{A},P)$且$f_n\overset{\text{a.e.}}{\longrightarrow}f$，则$\lim\limits_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})=\operatorname{E}(f\mid\mathscr{A})\;$a.e.于$(X,\mathscr{A},P)$。

证明. (1)必要性由条件期望的定义即可得到，充分性由条件期望的定义和性质 5.3.3(9)即可得到。

(2)因为$f$与$\mathscr{A}$独立，由性质 6.2.1(3)可知对任意的$A\in\mathscr{A}$有$f$与$I_A$独立。对任意的$A\in\mathscr{A}$，根据性质 5.4.3(3)、性质 5.1.6(4)、定理 5.27、性质 6.3.1(2)和性质 5.4.3(6)可得：

\[\begin{align*} &\int_{A}f(x)\mathop{}\!\mathrm{d}P=\int_{A}f(x)\mathop{}\!\mathrm{d}P+\int_{X\setminus A}0\mathop{}\!\mathrm{d}P=\operatorname{E}(fI_A) \\ =&\operatorname{E}(f)\operatorname{E}(I_A)=\operatorname{E}(f)P(A)=\operatorname{E}(f)\int_{A}1\mathop{}\!\mathrm{d}P=\int_{A}\operatorname{E}(f)\mathop{}\!\mathrm{d}P \end{align*}\]

于是结论成立。

(3)由$\operatorname{E}(f\mid\mathscr{A})$的定义可知$\operatorname{E}(f\mid\mathscr{A})$是$\mathscr{A}$可测的，因为$\mathscr{A}\subseteq\mathscr{B}$，所以$\operatorname{E}(f\mid\mathscr{A})$是$\mathscr{B}$可测的。由(1)可得$\operatorname{E}[\operatorname{E}(f\mid\mathscr{A})|\mathscr{B}]=\operatorname{E}(f\mid\mathscr{A})\;$a.e.于$(X,\mathscr{B},P)$。

由$\operatorname{E}[\operatorname{E}(f\mid\mathscr{B})|\mathscr{A}]$的定义可知它是$\mathscr{A}$可测的，于是对任意的$A\in\mathscr{A}$，根据条件期望的定义可得：

\[\begin{equation*} \int_{A}\operatorname{E}[\operatorname{E}(f\mid\mathscr{B})|\mathscr{A}]\mathop{}\!\mathrm{d}P=\int_{A}\operatorname{E}(f\mid\mathscr{B})\mathop{}\!\mathrm{d}P=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

即$\operatorname{E}(f\mid\mathscr{A})=\operatorname{E}[\operatorname{E}(f\mid\mathscr{B})|\mathscr{A}]\;$a.e.于$(X,\mathscr{A},P)$。

因为$X\in\mathscr{A}$，由条件期望的定义可得：

\[\begin{equation*} \operatorname{E}[\operatorname{E}(f\mid\mathscr{A})]=\int_{X}\operatorname{E}(f\mid\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{X}f(x)\mathop{}\!\mathrm{d}P=\operatorname{E}(f) \end{equation*}\]

(4)对任意的$A\in\mathscr{A}$，由性质 5.4.3(7)可得：

\[\begin{equation*} \int_{A}\operatorname{E}(f\mid\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{A}f(x)\mathop{}\!\mathrm{d}P\leqslant\int_{A}g(x)\mathop{}\!\mathrm{d}P=\int_{A}\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \end{equation*}\]

由条件期望的定义可知$\operatorname{E}(f\mid\mathscr{A}),\operatorname{E}(g|\mathscr{A})$关于$\mathscr{A}$可测，根据性质 5.3.3(3)可得$E=\{\operatorname{E}(f\mid\mathscr{A})>\operatorname{E}(g|\mathscr{A})\}\in\mathscr{A}$，所以：

\[\begin{equation*} \int_{E}\operatorname{E}(f\mid\mathscr{A})\mathop{}\!\mathrm{d}P\leqslant\int_{E}\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \end{equation*}\]

由性质 5.4.3(7)可得：

\[\begin{equation*} \int_{E}\operatorname{E}(f\mid\mathscr{A})\mathop{}\!\mathrm{d}P\geqslant\int_{E}\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \end{equation*}\]

所以：

\[\begin{equation*} \int_{E}\operatorname{E}(f\mid\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{E}\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \end{equation*}\]

根据性质 5.4.3(6)可知：

\[\begin{equation*} \int_{E}[\operatorname{E}(f\mid\mathscr{A})-\operatorname{E}(g|\mathscr{A})]\mathop{}\!\mathrm{d}P=0 \end{equation*}\]

由性质 5.4.2(9)可得$P(E)=0$，即$\operatorname{E}(f\mid\mathscr{A})\leqslant\operatorname{E}(g|\mathscr{A})\;$a.e.于$(X,\mathscr{A},P)$。

(5)因为$\alpha\operatorname{E}(f)+\beta\operatorname{E}(g)$存在，由性质 5.4.3(6)可知$\operatorname{E}(\alpha f+\beta g)$存在，于是$\operatorname{E}(\alpha f+\beta g|\mathscr{A})$存在。对任意的$A\in\mathscr{A}$，有：

\[\begin{equation*} \int_{A}[\alpha f(x)+\beta g(x)]\mathop{}\!\mathrm{d}P=\alpha\int_{A}f(x)\mathop{}\!\mathrm{d}P+\beta\int_{A}g(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

否则由性质 5.4.3(6)可知右式不存在，即$\alpha\int_{A}f(x)\mathop{}\!\mathrm{d}P$和$\beta\int_{A}g(x)\mathop{}\!\mathrm{d}P$二者异号无穷大，分类讨论可知此时与$\alpha\operatorname{E}(f)+\beta\operatorname{E}(g)$存在矛盾（对$f^+,f^-,g^+,g^-$在$X$上和$A$上的积分进行分析）。

根据性质 5.4.3(6)，对任意的$A\in\mathscr{A}$有：

\[\begin{align*} \int_{A}\operatorname{E}(\alpha f+\beta g|\mathscr{A})\mathop{}\!\mathrm{d}P&=\int_{A}[\alpha f(x)+\beta g(x)]\mathop{}\!\mathrm{d}P=\alpha\int_{A}f(x)\mathop{}\!\mathrm{d}P+\beta\int_{A}g(x)\mathop{}\!\mathrm{d}P \\ &=\alpha\int_{A}\operatorname{E}(f\mid\mathscr{A})\mathop{}\!\mathrm{d}P+\beta\int_{A}\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \\ &=\int_{A}\alpha\operatorname{E}(f\mid\mathscr{A})\mathop{}\!\mathrm{d}P+\int_{A}\beta\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \\ &=\int_{A}[\alpha\operatorname{E}(f\mid\mathscr{A})+\beta\operatorname{E}(g|\mathscr{A})]\mathop{}\!\mathrm{d}P \end{align*}\]

由条件期望的定义可得$\operatorname{E}(\alpha f+\beta g|\mathscr{A})=\alpha\operatorname{E}(f\mid\mathscr{A})+\beta\operatorname{E}(g|\mathscr{A})\;$a.e.于$(X,\mathscr{A},P)$。

(6)由(4)可得$0\leqslant\operatorname{E}(f_n|\mathscr{A})\;$a.e.于$(X,\mathscr{A},P)$且$\operatorname{E}(f_n|\mathscr{A})\uparrow\;$a.e.于$(X,\mathscr{A},P)$，根据性质 3.2.9(7)可知$\lim\limits_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})$存在，由性质 5.3.3(6)可知$\lim\limits_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})$关于$\mathscr{A}$可测。根据定理 5.23可知对任意的$A\in\mathscr{A}$有：

\[\begin{equation*} \int_{A}\left[\lim_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})\right]\mathop{}\!\mathrm{d}P=\lim_{n\to+\infty}\left[\int_{A}\operatorname{E}(f_n|\mathscr{A})\mathop{}\!\mathrm{d}P\right]=\lim_{n\to+\infty}\left[\int_{A}f_n(x)\mathop{}\!\mathrm{d}P\right]=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

由条件期望的定义可得：

\[\begin{equation*} \lim_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})=\operatorname{E}(f\mid\mathscr{A}) \end{equation*}\]

a.e.于$(X,\mathscr{A},P)$。根据定理 17.21和性质 5.2.1(3)（次可列可加性）即可得出结论。

(7)因为$f_n\geqslant0\;$a.e.于$(X,\mathscr{A},P)$，所以：

\[\begin{equation*} 0\leqslant\inf_{i\geqslant n}f_i\uparrow\lim_{n\to+\infty}\inf\limits_{i\geqslant n}f_i\;\text{a.e.于}(X,\mathscr{A},P) \end{equation*}\]

由(4)和性质 5.2.1(3)（次可列可加性）可得对任意的$n\in\mathbb{N}^+$有：

\[\begin{equation*} \operatorname{E}\left(\inf_{i\geqslant n}f_i\Big|\mathscr{A}\right)\leqslant\inf_{i\geqslant n}\operatorname{E}(f_i|\mathscr{A}) \end{equation*}\]

a.e.于$(X,\mathscr{A},P)$。根据(6)、性质 3.2.9(6)、性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可得：

\[\begin{align*} &\operatorname{E}\left(\varliminf_{n\to+\infty}f_n\Big|\mathscr{A}\right)=\operatorname{E}\left(\lim_{n\to+\infty}\inf_{i\geqslant n}f_i\Big|\mathscr{A}\right)\leqslant\lim_{n\to+\infty}\operatorname{E}\left(\inf_{i\geqslant n}f_i\Big|\mathscr{A}\right) \\ \leqslant&\lim_{n\to+\infty}\inf_{i\geqslant n}\operatorname{E}(f_i|\mathscr{A})=\varliminf_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A}) \end{align*}\]

a.e.于$(X,\mathscr{A},P)$。

(8)由(7)类似证明推论 5.4，然后类似定理 5.25的证明即可得出结论。 ◻

Theorem 6.5. 设$f,g$是概率空间$(X,\mathscr{F},P)$上的随机变量，$f$和$fg$在$X$上积分存在，$g$关于$\mathscr{F}$的子$\sigma$域$\mathscr{A}$可测，则：

\[\begin{equation*} \operatorname{E}(fg|\mathscr{A})=g\operatorname{E}(f\mid\mathscr{A}) \end{equation*}\]

a.e.于$(X,\mathscr{A},P)$。

证明. 当$f\geqslant0\;$a.e.于$(X,\mathscr{A},P)$上时，使用典型方法。

对任意的$A,B\in\mathscr{A}$，当$g(x)=I(x\in B)$时，由性质 5.1.6(2)(4)、性质 5.4.3(3)和定理 5.27可得：

\[\begin{align*} &\int_{A}\operatorname{E}(fg|\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{A}f(x)g(x)\mathop{}\!\mathrm{d}P=\int_{A}f(x)I(x\in B)\mathop{}\!\mathrm{d}P \\ =&\int_{A\cap B}f(x)\mathop{}\!\mathrm{d}P+\int_{A\setminus B}0\mathop{}\!\mathrm{d}P=\int_{A\cap B}f(x)\mathop{}\!\mathrm{d}P=\int_{A\cap B}\operatorname{E}(f\mid\mathscr{A})\mathop{}\!\mathrm{d}P \\ =&\int_{A\cap B}\operatorname{E}(f\mid\mathscr{A})I(x\in B)\mathop{}\!\mathrm{d}P+\int_{A\setminus B}\operatorname{E}(f\mid\mathscr{A})I(x\in B)\mathop{}\!\mathrm{d}P=\int_{A}\operatorname{E}(f\mid\mathscr{A})I(x\in B)\mathop{}\!\mathrm{d}P \end{align*}\]

所以结论对指示函数成立。

当$g$是非负简单函数时，设$X$可表示为有限个互不相交的集合$E_1, E_2, \dots, E_{n}\in\mathscr{A}$的并，$a_1, a_2, \dots, a_{n}\geqslant0$，$g=\sum\limits_{i=1}^{n}a_iI(x\in E_i)$。对任意的$i=1,2,\dots,n$，由性质 5.4.3(8)可知$\sum\limits_{i=1}^{n}\operatorname{E}[fa_iI(x\in E_i)]$存在，根据性质 6.3.2(5)、性质 5.3.3(5.b)、性质 5.4.3(8)、指示函数时的情况和性质 5.4.2(10)可得：

\[\begin{align*} &\operatorname{E}(fg|\mathscr{A})=\operatorname{E}\left[\sum_{i=1}^{n}fa_iI(x\in E_i)\Big|\mathscr{A}\right]=\sum_{i=1}^{n}\operatorname{E}[fa_iI(x\in E_i)|\mathscr{A}] \\ =&\sum_{i=1}^{n}I(x\in E_i)\operatorname{E}(fa_i|\mathscr{A})=\sum_{i=1}^{n}a_iI(x\in E_i)\operatorname{E}(f\mid\mathscr{A})=g\operatorname{E}(f\mid\mathscr{A}) \end{align*}\]

所以结论对非负简单函数成立。

当$g$是非负随机变量时，由性质 5.3.3(8)可知存在非负简单函数列$\{g_n\}$满足$g_n\uparrow g$，于是$fg_n\uparrow fg$且$fg_n\geqslant0\;$a.e.于$(X,\mathscr{A},P)$。根据性质 3.2.9(8.c)、性质 6.3.2(6)和非负简单函数时的情况可得：

\[\begin{equation*} \operatorname{E}(fg|\mathscr{A})=\operatorname{E}\left(\lim_{n\to+\infty}fg_n\Big|\mathscr{A}\right)=\lim_{n\to+\infty}\operatorname{E}(fg_n|\mathscr{A})=\lim_{n\to+\infty}g_n\operatorname{E}(f\mid\mathscr{A})=g\operatorname{E}(f\mid\mathscr{A}) \end{equation*}\]

所以结论对非负随机变量成立。

当$g$是一般随机变量时，$g=g^+-g^-$。由性质 5.4.3(8)可得：

\[\begin{equation*} \operatorname{E}(fg^+)-\operatorname{E}(fg^-)=\operatorname{E}(fg) \end{equation*}\]

存在，根据性质 6.3.2(5)和非负随机变量时的情况可得：

\[\begin{align*} &\operatorname{E}(fg|\mathscr{A})=\operatorname{E}(fg^+-fg^-|\mathscr{A})=\operatorname{E}(fg^+|\mathscr{A})-\operatorname{E}(fg^-|\mathscr{A}) \\ =&g^+\operatorname{E}(f\mid\mathscr{A})-g^-\operatorname{E}(f\mid\mathscr{A})=g\operatorname{E}(f\mid\mathscr{A}) \end{align*}\]

所以结论对一般随机变量成立。

当$f$为一般随机变量时，$(fg)^+=f^+g^++f^-g^-,\;(fg)^-=f^+g^-+f^-g^+$。因为$\operatorname{E}(fg)$存在，所以$\operatorname{E}[(fg)^+]$和$\operatorname{E}[(fg)^-]$不同时为正无穷。假设$\operatorname{E}[(fg)^+]$不为正无穷，$\operatorname{E}[(f g)^-]$不为正无穷的情况可类似讨论。因为$f^+g^+,f^-g^-\leqslant(fg)^+$，由性质 5.4.2(6)可得：

\[\begin{equation*} \operatorname{E}(f^+g^+),\operatorname{E}(f^-g^-)\leqslant\operatorname{E}[(fg)^+]<+\infty \end{equation*}\]

根据性质 5.4.3(6)可得：

\[\begin{align*} &\operatorname{E}(f^+g)-\operatorname{E}(f^-g)=\operatorname{E}(f^+g^+-f^+g^-)-\operatorname{E}(f^-g^+-f^-g^-) \\ =&\operatorname{E}(f^+g^+)-\operatorname{E}(f^+g^-)-\operatorname{E}(f^-g^+)+\operatorname{E}(f^-g^-)=\operatorname{E}(f^+g^++f^-g^-)-\operatorname{E}(f^+g^-+f^-g^+) \end{align*}\]

存在。由性质 6.3.2(5)和$f\geqslant0\;$a.e.于$(X,\mathscr{A},P)$时的情况可得：

\[\begin{align*} &\operatorname{E}(fg|\mathscr{A})=\operatorname{E}(f^+g-f^-g|\mathscr{A})=\operatorname{E}(f^+g|\mathscr{A})-\operatorname{E}(f^-g|\mathscr{A}) \\ =&g[\operatorname{E}(f^+|\mathscr{A})-\operatorname{E}(f^-|\mathscr{A})]=g\operatorname{E}(f\mid\mathscr{A}) \end{align*}\]

◻

6.3.3 条件概率

Definition 6.10. 设$f$为概率空间$(X,\mathscr{F},P)$上的可测映射，$\mathscr{A}$是$\mathscr{F}$的一个子$\sigma$域。对任意的$A\in\mathscr{F}$，由性质 5.3.2(1)可知$I_A$在$X$上积分存在，于是分别称：

\[\begin{equation*} P(A|\mathscr{A})\coloneq\operatorname{E}(I_A|\mathscr{A}),\quad P(A|f)\coloneq P(A|\sigma(f)) \end{equation*}\]

为事件$A$关于$\mathscr{A}$的条件概率（conditional probability）和事件$A$关于$f$的条件概率。

这一构造与前面对条件期望的解释完全一致。当$\mathscr{A}$由至多可数划分$\{A_i:i\in I\}$生成时，由定理 6.4、性质 5.1.6(2)(4)和定理 5.27可知对于$P(A_i)>0$的$x\in A_i$有：

\[\begin{equation*} P(A|\mathscr{A})(x)=\frac{1}{P(A_i)}\int_{A_i}I_A\mathop{}\!\mathrm{d}P=\frac{P(A\cap A_i)}{P(A_i)} \end{equation*}\]

因此，关于$\sigma$域的条件概率作为随机变量在$x$处的取值正是当已知$x$所属的条件$A_i$发生时事件$A$发生的概率。换言之，关于$\sigma$域的条件概率并不是一个单独的数值，而是将随条件变化的一整套条件概率统一组织成了一个随机变量。

Definition 6.11. 设$(X,\mathscr{F},P)$为概率空间，$A,B\in\mathscr{F}$且$P(B)>0$。因为$P(A\mid\sigma(B))$为$\sigma(B)$可测函数，由定理 6.3可知存在$a_1,a_2\in\mathbb{R}$使得⁴：

\[\begin{equation*} P(A\mid\sigma(B))=a_1I_B+a_2I_{B^c}\;\text{a.e.于$(X,\sigma(B),P)$} \end{equation*}\]

称$a_1$为事件$A$在事件$B$发生条件下的条件概率，记为$P(A\mid B)\coloneq a_1$。

Property 6.3.3. 设$(X,\mathscr{F},P)$为概率空间，则条件概率具有如下性质：

(条件概率公式) 对任意$A,B\in\mathscr{F}$且$P(B)>0$，有：

\[\begin{equation*} P(A\mid B)=\frac{P(A\cap B)}{P(B)} \end{equation*}\]
(全概率公式) 对任意$A\in\mathscr{F}$以及$\mathscr{F}$的任意子$\sigma$域$\mathscr{A}$，有：

\[\begin{equation*} P(A)=\operatorname{E}[P(A\mid\mathscr{A})] \end{equation*}\]
(贝叶斯公式) 对任意$A,B\in\mathscr{F}$且$P(A)>0,\;P(B)>0$，有：

\[\begin{equation*} P(B\mid A)=\frac{P(A\mid B)P(B)}{\operatorname{E}[P(A\mid\sigma(B))]} \end{equation*}\]

证明. (1)由$P(A\mid B)$的定义可知：

\[\begin{equation*} P(A\mid\sigma(B))=P(A\mid B)I_B+a_2I_{B^c}\;\text{a.e.于$(X,\sigma(B),P)$} \end{equation*}\]

其中$a_2\in\mathbb{R}$。由性质 5.4.3(8)(6)、性质 5.1.6(2)(4)和定理 5.27可得：

\[\begin{gather*} \int_{B}P(A\mid\sigma(B))\mathop{}\!\mathrm{d}P=\int_{B}[P(A\mid B)I_B(x)+a_2I_{B^c}(x)]\mathop{}\!\mathrm{d}P=P(A\mid B)P(B) \\ \int_{B}I_A(x)\mathop{}\!\mathrm{d}P=\int_{A\cap B}I_A(x)\mathop{}\!\mathrm{d}P+\int_{B\backslash A}I_A(x)\mathop{}\!\mathrm{d}P=P(A\cap B) \end{gather*}\]

根据$P(A\mid\sigma(B))$的定义可得：

\[\begin{equation*} P(A\mid B)P(B)=P(A\cap B) \end{equation*}\]

由于$P(B)>0$，因此：

\[\begin{equation*} P(A\mid B)=\frac{P(A\cap B)}{P(B)} \end{equation*}\]

(2)对于$\mathscr{F}$任意的子$\sigma$域$\mathscr{A}$，因为$X\in\mathscr{A}$，根据条件期望的定义和定理 5.27可知：

\[\begin{equation*} \int_{X}\operatorname{E}(I_A\mid\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{X}I_A(x)\mathop{}\!\mathrm{d}P=P(A) \end{equation*}\]

又因为：

\[\begin{equation*} P(A\mid\mathscr{A})=\operatorname{E}(I_A\mid\mathscr{A}) \end{equation*}\]

所以：

\[\begin{equation*} \operatorname{E}[P(A\mid\mathscr{A})]=P(A) \end{equation*}\]

(3)由(1)可得：

\[\begin{equation*} P(B\mid A)P(A)=P(A\cap B)=P(A\mid B)P(B) \end{equation*}\]

因为$P(A)>0$，根据(2)可知：

\[\begin{equation*} P(B\mid A)=\frac{P(A\mid B)P(B)}{P(A)}=\frac{P(A\mid B)P(B)}{\operatorname{E}[P(A\mid\sigma(B))]} \end{equation*}\]

◻

6.3.3.1 条件概率分布

为了描述给定随机变量$g$的取值后随机变量$f$的概率分布，自然需要一个同时依赖于$g$的取值与$f$的可测集合的映射：固定$g$的取值时，该映射关于$f$的可测集合应构成一个概率测度；而固定$f$的可测集合时，对应的概率应当是$g$取值的可测函数，从而使得该概率仍构成一个可测随机变量。

Definition 6.12. 设$(X,\mathscr{F})$和$(Y,\mathscr{A})$是可测空间。若映射$K:X\times\mathscr{A}\to[0,1]$满足：

对任意的$x\in X$，$K(x,\cdot)$是$(Y,\mathscr{A})$上的概率测度；
对任意的$A\in\mathscr{A}$，$K(\cdot,A)$是$(X,\mathscr{F})$上的可测函数。

则称$K$为从$(X,\mathscr{F})$到$(Y,\mathscr{A})$的概率核（probability kernel）。

Definition 6.13. 设$f,g$分别是从概率空间$(X,\mathscr{F},P)$到可测空间$(Y,\mathscr{A})$和$(Z,\mathscr{B})$的可测映射。若从$(Z,\mathscr{B})$到$(Y,\mathscr{A})$的概率核$K_{f\mid g}$满足对任意的$A\in\mathscr{A}$和$B\in\mathscr{B}$有：

\[\begin{equation*} P(\{f\in A\}\cap\{g\in B\})=\int_{B}K_{f\mid g}(z,A)\mathop{}\!\mathrm{d}Pg^{-1} \end{equation*}\]

则称$K_{f\mid g}$为$f$关于$g$的条件概率核（conditional probability kernel）。

对固定的$z\in Z$，$K_{f\mid g}(z,\cdot)$是$(Y,\mathscr{A})$上的概率测度，因此可以将其理解为当$g$的取值为$z$时$f$的一个候选分布。条件概率核的定义进一步要求，对任意$A\in\mathscr{A}$和$B\in\mathscr{B}$，事件$\{f\in A\}\cap\{g\in B\}$的概率能够通过在$g\in B$的各个可能取值上，对$K_{f\mid g}(z,A)$按照$g$的分布$Pg^{-1}$进行积分得到。这个积分关系说明$K_{f\mid g}(z,A)$具有给定$g=z$时$f\in A$的概率的含义，而下面的性质进一步表明它与条件概率$P(f\in A\mid g)$实际上是一致的。

Property 6.3.4. 设$f,g$分别是从概率空间$(X,\mathscr{F},P)$到可测空间$(Y,\mathscr{A})$和$(Z,\mathscr{B})$的可测映射。概率核$K_{f\mid g}$是$f$关于$g$的条件概率核当且仅当对任意的$A\in\mathscr{A}$有：

\[\begin{equation*} K_{f\mid g}[g(\omega),A]=P(f\in A\mid g)(\omega)\;\text{a.e.于$(X,\sigma(g),P)$} \end{equation*}\]

证明. 设$K_{f\mid g}$是$f$关于$g$的条件概率核。任取$A\in\mathscr{A}$，由概率核的定义和性质 5.3.1(2)可知$K_{f\mid g}[g(\omega),A]$关于$\sigma(g)$可测。

(1)必要性：任取$B\in\mathscr{B}$，由定理 5.28、性质 5.1.6(2)和定理 5.27可得：

\[\begin{align*} &\int_{g^{-1}(B)}K_{f\mid g}[g(\omega),A]\mathop{}\!\mathrm{d}P=\int_{B}K_{f\mid g}(z,A)\mathop{}\!\mathrm{d}Pg^{-1} \\ =&P(\{f\in A\}\cap\{g\in B\})=\int_{g^{-1}(B)}I(f\in A)\mathop{}\!\mathrm{d}P \end{align*}\]

由条件概率的定义即可得出结论。

(2)充分性：任取$A\in\mathscr{A}$和$B\in\mathscr{B}$，由定理 5.28、性质 5.4.3(8)、性质 5.1.6(2)和定理 5.27可得：

\[\begin{align*} &\int_{B}K_{f\mid g}(z,A)\mathop{}\!\mathrm{d}Pg^{-1}=\int_{g^{-1}(B)}K_{f\mid g}[g(\omega),A]\mathop{}\!\mathrm{d}P \\ =&\int_{g^{-1}(B)}P(f\in A\mid g)(\omega)\mathop{}\!\mathrm{d}P=\int_{g^{-1}(B)}\operatorname{E}(\{f\in A\}\mid g)\mathop{}\!\mathrm{d}P \\ =&\int_{g^{-1}(B)}I(f\in A)\mathop{}\!\mathrm{d}P=P(\{f\in A\}\cap\{g\in B\}) \end{align*}\]

充分性得证。 ◻

6.3.3.2 条件概率密度

Definition 6.14. 设$f,g$分别是从概率空间$(X,\mathscr{F},P)$到可测空间$(Y,\mathscr{A})$和$(Z,\mathscr{B})$的可测映射，$K_{f\mid g}$是$f$关于$g$的条件概率核，$\mu$是$(Y,\mathscr{A})$上的$\sigma$有限测度。若$(Y\times Z,\mathscr{A}\times\mathscr{B})$上的非负可测函数$p_{f\mid g}$满足：存在$N\in\mathscr{B}$使得$Pg^{-1}(N)=0$，并且对任意的$z\in Z\setminus N$和$A\in\mathscr{A}$有：

\[\begin{equation*} K_{f\mid g}(z,A)=\int_{A}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu \end{equation*}\]

则称$p_{f\mid g}(y\mid z)$为$f$关于$g$相对于$\mu$的条件概率密度函数（conditional probability density function）。

这里允许排除一个满足$Pg^{-1}(N)=0$的集合$N$，是因为条件概率核本身只在$g$的分布意义下几乎处处确定（性质 5.4.3(8)），因此其对应的条件概率密度也只需要对$Pg^{-1}$几乎处处的$z$定义一致。

Property 6.3.5. 设$f,g$分别是从概率空间$(X,\mathscr{F},P)$到可测空间$(Y,\mathscr{A})$和$(Z,\mathscr{B})$的可测映射，$\mu$是$(Y,\mathscr{A})$上的$\sigma$有限测度，则：

若$p_{f\mid g}$为$f$关于$g$相对于$\mu$的条件概率密度函数，则对任意的$A\in\mathscr{A}$有：

\[\begin{equation*} P(f\in A\mid g)(\omega)=K_{f\mid g}[g(\omega),A]=\int_{A}p_{f\mid g}[y\mid g(\omega)]\mathop{}\!\mathrm{d}\mu\;\text{a.e.于$(X,\sigma(g),P)$} \end{equation*}\]

并且对任意的$B\in\mathscr{B}$有：

\[\begin{equation*} P(\{f\in A\}\cap\{g\in B\})=\int_{B}\left[\int_{A}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu\right]\mathop{}\!\mathrm{d}Pg^{-1} \end{equation*}\]
$f$关于$g$相对于$\mu$的条件概率密度函数存在当且仅当$P(f,g)^{-1}\ll\mu\times Pg^{-1}$。此时$f$关于$g$的条件概率核也存在，并且：

\[\begin{gather*} \forall\;z\in Z,\;A\in\mathscr{A},\;K_{f\mid g}(z,A)=\int_Ap_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu \\ p_{f\mid g}(y\mid z) =\dfrac{\mathop{}\!\mathrm{d}P(f,g)^{-1}}{\mathop{}\!\mathrm{d}(\mu\times Pg^{-1})}(y,z)\;\text{a.e.于$(Y\times Z,\mathscr{A}\times\mathscr{B},\mu\times Pg^{-1})$} \end{gather*}\]

证明. (1)因为$Pg^{-1}(N)=0$，所以$P(g\in N)=0$。由性质 6.3.4、性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可得：

\[\begin{equation*} P(f\in A\mid g)(\omega)=K_{f\mid g}[g(\omega),A]=\int_{A}p_{f\mid g}[y\mid g(\omega)]\mathop{}\!\mathrm{d}\mu\;\text{a.e.于$(X,\sigma(g),P)$} \end{equation*}\]

根据性质 5.4.3(8)可得：

\[\begin{equation*} P(\{f\in A\}\cap\{g\in B\})=\int_{B}K_{f\mid g}(z,A)\mathop{}\!\mathrm{d}Pg^{-1}=\int_{B}\left[\int_{A}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu\right]\mathop{}\!\mathrm{d}Pg^{-1} \end{equation*}\]

(2)由定理 5.37(1)可知$\mu\times Pg^{-1}$是$(Y\times Z,\mathscr{A}\times\mathscr{B})$上的$\sigma$有限测度。

必要性：设$p_{f\mid g}$为$f$关于$g$相对于$\mu$的条件概率密度函数。对任意的$C\in\mathscr{A}\times\mathscr{B}$，定义：

\[\begin{equation*} \varphi(C)\coloneq\int_{C}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}(\mu\times Pg^{-1}) \end{equation*}\]

由定理 5.37(2)和性质 5.4.2(2)可知对任意的$A\in\mathscr{A}$和$B\in\mathscr{B}$有：

\[\begin{align*} \varphi(A\times B)&=\int_{A\times B}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}(\mu\times Pg^{-1})=\int_{B}\left[\int_{A}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu\right]\mathop{}\!\mathrm{d}Pg^{-1} \\ &=\int_{B}K_{f\mid g}(z,A)\mathop{}\!\mathrm{d}Pg^{-1}\geqslant0 \end{align*}\]

同时：

\[\begin{equation*} \varphi(Y\times Z)=\int_{Z}K_{f\mid g}(z,Y)\mathop{}\!\mathrm{d}Pg^{-1}=\int_{Z}1\mathop{}\!\mathrm{d}Pg^{-1}=Pg^{-1}(Z)=P(X)=1 \end{equation*}\]

再结合定理 5.27可知$\varphi$是$(Y\times Z,\mathscr{A}\times\mathscr{B})$上的概率测度。由(1)可知对任意的$A\in\mathscr{A},\;B\in\mathscr{B}$有：

\[\begin{equation*} \varphi(A\times B)=P(\{f\in A\}\cap\{g\in B\})=P(f,g)^{-1}(A\times B) \end{equation*}\]

根据性质 5.7.1(1)、定理 5.1和引理 5.3可得$\varphi=P(f,g)^{-1}$。由性质 5.4.3(1)和Radon-Nikodym导数的定义可知：

\[\begin{equation*} P(f,g)^{-1}\ll\mu\times Pg^{-1},\quad p_{f\mid g}=\dfrac{\mathop{}\!\mathrm{d}P(f,g)^{-1}}{\mathop{}\!\mathrm{d}(\mu\times Pg^{-1})}\;\text{a.e.于$(Y\times Z,\mathscr{A}\times\mathscr{B},\mu\times Pg^{-1})$} \end{equation*}\]

充分性：设$P(f,g)^{-1}\ll\mu\times Pg^{-1}$，由定理 5.33，取非负可测函数：

\[\begin{equation*} q(y,z)=\dfrac{\mathop{}\!\mathrm{d}P(f,g)^{-1}}{\mathop{}\!\mathrm{d}(\mu\times Pg^{-1})}(y,z),\quad r(z)=\int_{Y}q(y,z)\mathop{}\!\mathrm{d}\mu \end{equation*}\]

由定理 5.37(2)可知$r$关于$\mathscr{B}$可测。任取$B\in\mathscr{B}$，由定理 5.37(2)可得：

\[\begin{align*} &\int_{B}r(z)\mathop{}\!\mathrm{d}Pg^{-1}=\int_{Y\times B}q(y,z)\mathop{}\!\mathrm{d}(\mu\times Pg^{-1}) \\ =&P(f,g)^{-1}(Y\times B)=Pg^{-1}(B)=\int_{B}1\mathop{}\!\mathrm{d}Pg^{-1} \end{align*}\]

由定理 5.33的唯一性可知$r(z)=1\;$a.e.于$(Z,\mathscr{B},Pg^{-1})$（$Pg^{-1}$关于$Pg^{-1}$的Radon-Nikodym导数）。记：

\[\begin{equation*} N=\{z\in Z:r(z)\ne1\} \end{equation*}\]

则$Pg^{-1}(N)=0$，根据性质 5.3.3(3)可知$N\in\mathscr{B}$。因为$P(f,g)^{-1}$是概率测度且$P(f,g)^{-1}\ll\mu\times Pg^{-1}$，所以$\mu$不是零测度。又因为$\mu$是$\sigma$有限测度，所以存在$E\in\mathscr{A}$使得$0<\mu(E)<+\infty$。定义：

\[\begin{equation*} \rho(y)\coloneq\frac{I(y\in E)}{\mu(E)},\quad p_{f\mid g}(y\mid z)\coloneq \begin{cases} q(y,z),&z\in Z\setminus N \\ \rho(y),&z\in N \end{cases} \end{equation*}\]

由性质 5.3.3(1.a)可验证得到$p_{f\mid g}$关于$\mathscr{A}\times\mathscr{B}$可测，根据性质 5.1.6(4)、定理 5.27和性质 5.4.3(1)(6)可得对任意的$z\in Z$有：

\[\begin{equation*} \int_{Y}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu=1 \end{equation*}\]

对任意的$z\in Z$和$A\in\mathscr{A}$，定义：

\[\begin{equation*} K_{f\mid g}(z,A)\coloneq\int_{A}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu \end{equation*}\]

对固定的$z$，由性质 5.4.2(2)和定理 5.27可知$K_{f\mid g}(z,\cdot)$是$(Y,\mathscr{A})$上的概率测度；对固定的$A$，由定理 5.37(2)可知$K_{f\mid g}(\cdot,A)$关于$\mathscr{B}$可测。因此$K_{f\mid g}$是从$(Z,\mathscr{B})$到$(Y,\mathscr{A})$的概率核。又因为$p_{f\mid g}=q$ a.e.于$(Y\times Z,\mathscr{A}\times\mathscr{B},\mu\times Pg^{-1})$，由定理 5.37(2)和性质 5.4.3(8)可知对任意的$A\in\mathscr{A},\;B\in\mathscr{B}$有：

\[\begin{align*} &\int_{B}K_{f\mid g}(z,A)\mathop{}\!\mathrm{d}Pg^{-1}=\int_{A\times B}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}(\mu\times Pg^{-1}) \\ =&\int_{A\times B}q(y,z)\mathop{}\!\mathrm{d}(\mu\times Pg^{-1})=P(f,g)^{-1}(A\times B)=P(\{f\in A\}\cap\{g\in B\}) \end{align*}\]

于是$K_{f\mid g}$是$f$关于$g$的条件概率核，$p_{f\mid g}$是$f$关于$g$相对于$\mu$的条件概率密度函数。 ◻

Property 6.3.6. 设$f,g$分别是从概率空间$(X,\mathscr{F},P)$到可测空间$(Y,\mathscr{A})$和$(Z,\mathscr{B})$的可测映射，$\mu,\nu$分别是$(Y,\mathscr{A})$和$(Z,\mathscr{B})$上的$\sigma$有限测度。若$P(f,g)^{-1}\ll\mu\times\nu$，由定理 5.33和定理 5.38，取处处有限、非负的：

\[\begin{equation*} p_{f,g}\coloneq\dfrac{\mathop{}\!\mathrm{d}P(f,g)^{-1}}{\mathop{}\!\mathrm{d}(\mu\times\nu)},\quad p_f\coloneq\dfrac{\mathop{}\!\mathrm{d}Pf^{-1}}{\mathop{}\!\mathrm{d}\mu},\quad p_g\coloneq\dfrac{\mathop{}\!\mathrm{d}Pg^{-1}}{\mathop{}\!\mathrm{d}\nu} \end{equation*}\]

并且它们满足：

\[\begin{equation*} p_f(y)=\int_{Z}p_{f,g}(y,z)\mathop{}\!\mathrm{d}\nu\;\text{a.e.于$(Y,\mathscr{A},\mu)$},\quad p_g(z)=\int_{Y}p_{f,g}(y,z)\mathop{}\!\mathrm{d}\mu\;\text{a.e.于$(Z,\mathscr{B},\nu)$} \end{equation*}\]

则：

(条件概率密度公式) 定义：

\[\begin{equation*} p_{f\mid g}(y\mid z)\coloneq \begin{cases} \dfrac{p_{f,g}(y,z)}{p_g(z)},&p_g(z)>0 \\ 0,&p_g(z)=0 \end{cases} \end{equation*}\]

则$p_{f\mid g}$是$f$关于$g$相对于$\mu$的条件概率密度函数；
(全概率公式) 有：

\[\begin{equation*} p_f(y)=\int_{Z}p_{f\mid g}(y\mid z)p_g(z)\mathop{}\!\mathrm{d}\nu\;\text{a.e.于$(Y,\mathscr{A},\mu)$} \end{equation*}\]
(贝叶斯公式) 存在$N\in\mathscr{A}$满足$\mu(N)=0$且对任意的$y\in\{p_f(y)>0\}\setminus N$有：

\[\begin{equation*} p_{g\mid f}(z\mid y)=\frac{p_{f\mid g}(y\mid z)p_g(z)}{p_f(y)}\;\text{a.e.于$(Z,\mathscr{B},\nu)$} \end{equation*}\]

证明. (1)记$N=\{z\in Z:p_g(z)=0\}$，由性质 5.3.3(1.b)(1.a)和性质 5.1.6(4)可知$N\in\mathscr{B}$。根据定理 5.38可得：

\[\begin{equation*} Pg^{-1}(N)=\int_{N}p_g(z)\mathop{}\!\mathrm{d}\nu=0,\quad\int_{Y\times N}p_{f,g}(y,z)\mathop{}\!\mathrm{d}(\mu\times\nu)=\int_{N}p_g(z)\mathop{}\!\mathrm{d}\nu=0 \end{equation*}\]

可以验证$p_{f\mid g}$是$(Y\times Z,\mathscr{A}\times\mathscr{B})$上的非负可测函数。任取$A\in\mathscr{A},\;B\in\mathscr{B}$，由引理 5.10、性质 5.4.3(6)、性质 5.1.6(4)、定理 5.27和定理 5.37(2)可得：

\[\begin{align*} &\int_{B}\left[\int_{A}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu\right]\mathop{}\!\mathrm{d}Pg^{-1}=\int_{B}\left[\int_{A}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu\right]p_g(z)\mathop{}\!\mathrm{d}\nu \\ =&\int_{B\setminus N}\left[\int_{A}p_{f,g}(y,z)\mathop{}\!\mathrm{d}\mu\right]\mathop{}\!\mathrm{d}\nu=\int_{A\times B}p_{f,g}(y,z)\mathop{}\!\mathrm{d}(\mu\times\nu)=P(f,g)^{-1}(A\times B) \end{align*}\]

第三式等于第四式用到了定理 5.27和性质 5.4.2(2)：

\[\begin{equation*} 0=\int_{Y\times N}p_{f,g}(y,z)\mathop{}\!\mathrm{d}(\mu\times\nu)\geqslant\int_{A\times(B\cap N)}p_{f,g}(y,z)\mathop{}\!\mathrm{d}(\mu\times\nu)\geqslant0 \end{equation*}\]

对任意的$C\in\mathscr{A}\times\mathscr{B}$，定义：

\[\begin{equation*} \varphi(C)\coloneq\int_{C}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}(\mu\times Pg^{-1}) \end{equation*}\]

由$\varphi(Y\times Z)=1$、性质 5.4.2(2)和定理 5.27可知$\varphi$是$(Y\times Z,\mathscr{A}\times\mathscr{B})$上的概率测度，根据定理 5.37可得$\varphi$与$P(f,g)^{-1}$在所有可测矩形上相等。由引理 5.3可得$\varphi=P(f,g)^{-1}$，从而$p_{f\mid g}$是$P(f,g)^{-1}$关于$\mu\times Pg^{-1}$的Radon-Nikodym导数。由性质 6.3.5(2)可知$p_{f\mid g}$是$f$关于$g$相对于$\mu$的条件概率密度函数。

(2)任取$A\in\mathscr{A}$。由性质 6.3.5(1)、$Pg^{-1}\ll\nu$、引理 5.10和定理 5.37(2)可得：

\[\begin{align*} &Pf^{-1}(A)=P(\{f\in A\}\cap\{g\in Z\})=\int_{Z}\left[\int_{A}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu\right]\mathop{}\!\mathrm{d}Pg^{-1} \\ =&\int_{Z}\left[\int_{A}p_{f\mid g}(y\mid z)\mathop{}\!\mathrm{d}\mu\right]p_g(z)\mathop{}\!\mathrm{d}\nu=\int_{A}\left[\int_{Z}p_{f\mid g}(y\mid z)p_g(z)\mathop{}\!\mathrm{d}\nu\right]\mathop{}\!\mathrm{d}\mu \end{align*}\]

由定理 5.33即可得出结论。

(3)由(1)可知对$p_f(y)>0$的$y$有：

\[\begin{equation*} p_{g\mid f}(z\mid y)=\frac{p_{f,g}(y,z)}{p_f(y)} \end{equation*}\]

并且：

\[\begin{equation*} p_{f,g}(y,z)=p_{f\mid g}(y\mid z)p_g(z)\;\text{a.e.于$(Y\times Z,\mathscr{A}\times\mathscr{B},\mu\times\nu)$} \end{equation*}\]

令：

\[\begin{equation*} E=\left\{(y,z)\in Y\times Z:p_{f,g}(y,z)\neq p_{f\mid g}(y\mid z)p_g(z)\right\} \end{equation*}\]

则$(\mu\times\nu)(E)=0$。对任意$y\in Y$，记$E_y=\{z\in Z:(y,z)\in E\}$$E$和$E_y$的可测性与相关函数的可测性，由定理 5.27和定理 5.37(2)可得：

\[\begin{align*} 0&=(\mu\times\nu)(E)=\int_{Y\times Z}I_E(y,z)\mathop{}\!\mathrm{d}(\mu\times\nu)=\int_{Y}\left[\int_{Z}I_E(y,z)\mathop{}\!\mathrm{d}\nu\right]\mathop{}\!\mathrm{d}\mu \\ &=\int_{Y}\left[\int_{Z}I_{E_y}(z)\mathop{}\!\mathrm{d}\nu\right]\mathop{}\!\mathrm{d}\mu=\int_{Y}\nu(E_y)\mathop{}\!\mathrm{d}\mu \end{align*}\]

因为$\nu(E_y)\geqslant0$，根据性质 5.4.3(9)可知$\nu(E_y)=0\;$a.e.于$(Y,\mathscr{A},\mu)$。记$N=\{\nu(E_y)\ne0\}$，则$\mu(N)=0$，对于给定的$y\notin N$，$\nu(\{z:p_{f,g}(y,z)\neq p_{f\mid g}(y\mid z)p_g(z)\})=0$，于是对任意的$y\in\{p_f(y)>0\}\setminus N$有：

\[\begin{equation*} p_{g\mid f}(z\mid y)=\frac{p_{f\mid g}(y\mid z)p_g(z)}{p_f(y)}\;\text{a.e.于$(Z,\mathscr{B},\nu)$} \end{equation*}\]

◻

6.4 随机变量的数字特征

6.4.1 矩

Definition 6.15. 设$f$是概率空间$(X,\mathscr{F},P)$上的随机变量，$n\in\mathbb{N}^+$。若$\operatorname{E}(|f|^n)<+\infty$，则称$f$的$n$阶矩（moment）存在并将：

\[\begin{equation*} \mu_n=\operatorname{E}(f^n),\quad\nu_n=\operatorname{E}\{[f-\operatorname{E}(f)]^n\} \end{equation*}\]

称为$f$的$n$阶原点矩（raw moment）和$n$阶中心矩（central moment）。

Property 6.4.1. 设$f$是概率空间$(X,\mathscr{F},P)$上的随机变量，$n\in\mathbb{N}^+$。$f$的矩具有如下性质：

若$f$的$n$阶矩存在，则$f$具有所有不超过$n$阶的矩；
$f$的中心矩$\nu_n$与原点矩$\mu_n$之间存在如下关系：

\[\begin{equation*} \nu_n=\sum_{i=0}^{n}\binom{n}{i}\mu_i(-\mu_1)^{n-i} \end{equation*}\]
若$f$的$n$阶矩存在，则$\mu_n,\nu_n\in\mathbb{R}$。

证明. (1)设$f$的$n$阶矩存在，则$\operatorname{E}(|f|^n)<+\infty$，由性质 5.5.1(2)可知对任意的非负数$i\leqslant n$有$\operatorname{E}(|f|^i)<+\infty$，于是$f$具有所有不超过$n$阶的矩。

(2)由(1)和性质 5.4.3(4)可知$f^i,\;i=0,1,\dots,n$在$X$上可积，根据性质 5.4.3(2)可得$\mu_i=\operatorname{E}(f^i)\in\mathbb{R}$。由中心矩的定义和性质 5.4.3(6)可得：

\[\begin{equation*} \nu_n =\operatorname{E}\{[f-\operatorname{E}(f)]^n\} =\operatorname{E}\left[\sum_{i=0}^{n}\binom{n}{i}f^i(-\mu_1)^{n-i}\right] =\sum_{i=0}^{n}\binom{n}{i}\mu_i(-\mu_1)^{n-i} \end{equation*}\]

(3)由性质 5.4.3(4)可知$f^n$在$X$上可积，于是$\mu_n=\operatorname{E}(f^n)\in\mathbb{R}$。结合(1)(2)可得$\nu_n\in\mathbb{R}$。综上，$f$的$n$阶中心矩与$n$阶原点矩在$\mathbb{R}$上。 ◻

note 6.6. 需要注意随机变量的期望是可以取无穷的，而矩则必须是有限值。

6.4.2 方差

Definition 6.16. 设$f$是概率空间$(X,\mathscr{F},P)$上积分存在的随机变量。若$[f-\operatorname{E}(f)]^2$的积分存在，则称：

\[\begin{equation*} \operatorname{Var}(f)=\operatorname{E}\{[f-\operatorname{E}(f)]^2\} \end{equation*}\]

为$f$的方差（variance）。

Definition 6.17. 设$f$是概率空间$(X,\mathscr{F},P)$上积分存在的随机变量，$\mathscr{A}$是$\mathscr{F}$的一个子$\sigma$域。称：

\[\begin{equation*} \operatorname{Var}(f\mid\mathscr{A})=\operatorname{E}\{[f-\operatorname{E}(f\mid\mathscr{A})]^2\mid\mathscr{A}\} \end{equation*}\]

为$f$关于$\mathscr{A}$的条件方差。$f$关于随机变量$g$的条件方差为$f$关于$\sigma(g)$的条件方差。

Property 6.4.2. 设$f,g$是概率空间$(X,\mathscr{F},P)$上积分存在的随机变量。方差具有如下性质：

若$f\in L_2(X)$，则$\operatorname{Var}(f)=\operatorname{E}(f^2)-[\operatorname{E}(f)]^2<+\infty$。若$\mathscr{A}$是$\mathscr{F}$的子$\sigma$域，则$\operatorname{Var}(f\mid\mathscr{A})=\operatorname{E}(f^2\mid\mathscr{A})-[\operatorname{E}(f\mid\mathscr{A})]^2<+\infty$；
若$f\in L_2(X)$，$\mathscr{A}$是$\mathscr{F}$的子$\sigma$域，则$\operatorname{Var}(f)=\operatorname{E}[\operatorname{Var}(f|\mathscr{A})]+\operatorname{Var}[\operatorname{E}(f\mid\mathscr{A})]$；
若$f,g\in L_2(X)$，则$\operatorname{Var}(f\pm g)=\operatorname{Var}(f)\pm2\operatorname{Cov}(f,g)+\operatorname{Var}(g)$；

证明. (1)由性质 6.4.1(1)(3)可知$\operatorname{E}(f)=\mu\in\mathbb{R}$。根据方差的定义和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Var}(f)=\operatorname{E}[(f-\mu)^2]=\operatorname{E}(f^2-2\mu f+\mu^2)=\operatorname{E}(f^2)-2\mu^2+\mu^2=\operatorname{E}(f^2)-\mu^2<+\infty \end{align*}\]

条件方差的结论类似可得，只需再使用定理 6.5和性质 6.3.2(3)。

(2)由性质 6.4.1(1)(3)可知$\operatorname{E}(f)=\mu\in\mathbb{R}$。根据(1)和性质 6.3.2(3)可得：

\[\begin{align*} \operatorname{E}[\operatorname{Var}(f|\mathscr{A})] &=\operatorname{E}\{\operatorname{E}(f^2|\mathscr{A})-[\operatorname{E}(f\mid\mathscr{A})]^2\} \\ &=\operatorname{E}[\operatorname{E}(f^2|\mathscr{A})]-\operatorname{E}\{[\operatorname{E}(f\mid\mathscr{A})]^2\} \\ &=\operatorname{E}(f^2)-\operatorname{E}\{[\operatorname{E}(f\mid\mathscr{A})]^2\} \\ \operatorname{Var}[\operatorname{E}(f\mid\mathscr{A})] &=\operatorname{E}\{[\operatorname{E}(f\mid\mathscr{A})]^2\}-\{\operatorname{E}[\operatorname{E}(f\mid\mathscr{A})]\}^2 \\ &=\operatorname{E}\{[\operatorname{E}(f\mid\mathscr{A})]^2\}-[\operatorname{E}(f)]^2 \end{align*}\]

于是：

\[\begin{equation*} \operatorname{E}[\operatorname{Var}(f|\mathscr{A})]+\operatorname{Var}[\operatorname{E}(f\mid \mathscr{A})]=\operatorname{E}(f^2)-[\operatorname{E}(f)]^2=\operatorname{Var}(f) \end{equation*}\]

(3)由性质 6.4.1(1)(3)可知$\operatorname{E}(f)=\mu\in\mathbb{R}$。同理可得$\operatorname{E}(g)\in\mathbb{R}$。由方差的定义、(1)和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Var}(f\pm g) &=\operatorname{E}[f\pm g-\operatorname{E}(f\pm g)]^2 \\ &=\operatorname{E}\{[f-\operatorname{E}(f)\pm[g-\operatorname{E}(g)]]\}^2 \\ &=\operatorname{E}\{[f-\operatorname{E}(f)]^2\pm 2[f-\operatorname{E}(f)][g-\operatorname{E}(g)]+[g-\operatorname{E}(g)]^2\} \\ &=\operatorname{Var}(f)\pm2\operatorname{Cov}(f,g)+\operatorname{Var}(g) \end{align*}\]

◻

6.4.3 协方差

Definition 6.18. 设$\mathbf{X}$和$\mathbf{Y}$为概率空间$(X,\mathscr{F},P)$上的随机向量。根据定理 5.35，若$\mathbf{X}$和$\mathbf{Y}$的各分量都在$L_2(X)$中，由不等式 1和性质 6.4.2(1)可知：

\[\begin{equation*} \operatorname{Cov}(\mathbf{X},\mathbf{Y})\coloneq\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})][\mathbf{Y}-\operatorname{E}(\mathbf{Y})]^{\top}\} \end{equation*}\]

一定存在且每个元素都是有限值，称其为$\mathbf{X}$与$\mathbf{Y}$的协方差（covariance）矩阵。若$\mathbf{X}=\mathbf{Y}$，则可将$\operatorname{Cov}(\mathbf{X},\mathbf{Y})$简写为$\operatorname{Cov}(\mathbf{X})$。

Definition 6.19. 设$X,Y$是概率空间$(X,\mathscr{F},P)$上的两个随机变量，则：

若$\operatorname{Cov}(X,Y)>0$，称$X,Y$正相关（positively correlated）；
若$\operatorname{Cov}(X,Y)<0$，称$X,Y$负相关（negatively correlated）；
若$\operatorname{Cov}(X,Y)=0$，称$X,Y$不相关（uncorrelated）。

Property 6.4.3. 协方差矩阵具有如下性质：

若$\mathbf{X}$是一个$n$维随机向量，则$\operatorname{tr}[\operatorname{Cov}(\mathbf{X})]=\sum\limits_{i=1}^{n}\operatorname{Var}(\mathbf{X}_i)$；
若$\mathbf{X}$是一个$n$维随机向量，则$\operatorname{Cov}(\mathbf{X})$是半正定的对称矩阵；
设$A$和$B$分别为$p\times n$和$q\times m$非随机矩阵，$\mathbf{X}$和$\mathbf{Y}$分别为$n$维、$m$维随机向量，则：

\[\begin{equation*} \operatorname{Cov}(A\mathbf{X},B\mathbf{Y})=A\operatorname{Cov}(\mathbf{X},\mathbf{Y})B^{\top} \end{equation*}\]
若$\mathbf{X}$是一个常数向量，$\mathbf{Y}$是一个随机向量，则$\operatorname{Cov}(\mathbf{X},\mathbf{Y})=\mathbf{0}$；
设$\mathbf{X},\mathbf{Y},\mathbf{Z}$为随机向量，则：

\[\begin{gather*} \operatorname{Cov}(\mathbf{X}+\mathbf{Y},\mathbf{Z})=\operatorname{Cov}(\mathbf{X},\mathbf{Z})+\operatorname{Cov}(\mathbf{Y},\mathbf{Z}) \\ \operatorname{Cov}(\mathbf{X},\mathbf{Y}+\mathbf{Z})=\operatorname{Cov}(\mathbf{X},\mathbf{Y})+\operatorname{Cov}(\mathbf{X},\mathbf{Z}) \end{gather*}\]
$\operatorname{Cov}(\mathbf{X},\mathbf{Y})=\operatorname{E}(\mathbf{X}\mathbf{Y}^{\top})-[\operatorname{E}(\mathbf{X})][\operatorname{E}(\mathbf{Y})]^{\top}$；
若$\mathbf{X}$与$\mathbf{Y}$独立，则$\operatorname{Cov}(\mathbf{X},\mathbf{Y})=\mathbf{0}$；
若不存在非零的$a\in\mathbb{R}^{n}$和任意的$b\in\mathbb{R}$使得$a\mathbf{X}=b,\;$a.s.于$(X,\mathscr{F},P)$，则$\operatorname{Cov}(\mathbf{X})$可逆。

证明. (1)$\;\operatorname{Cov}(\mathbf{X})$在$(i,i)$位置上的元素为：

\[\begin{equation*} \operatorname{E}\{[\mathbf{X}_i-\operatorname{E}(\mathbf{X}_i)][\mathbf{X}_i-\operatorname{E}(\mathbf{X}_i)]^{\top}\}=\operatorname{E}\{[\mathbf{X}_i-\operatorname{E}(\mathbf{X}_i)]^2\}=\operatorname{Var}(\mathbf{X}_i) \end{equation*}\]

所以$\operatorname{tr}[\operatorname{Cov}(\mathbf{X})]=\sum\limits_{i=1}^{n}\operatorname{Var}(\mathbf{X}_i)$。

(2)因为：

\[\begin{align*} \operatorname{Cov}(\mathbf{X})_{(i,j)} &=\operatorname{E}\{[\mathbf{X}_i-\operatorname{E}(\mathbf{X}_i)][\mathbf{X}_j-\operatorname{E}(\mathbf{X}_j)]\} \\ &=\operatorname{E}\{[\mathbf{X}_j-\operatorname{E}(\mathbf{X}_j)][\mathbf{X}_i-\operatorname{E}(\mathbf{X}_i)]\} \\ &=\operatorname{Cov}(\mathbf{X})_{(j,i)} \end{align*}\]

所以$\operatorname{Cov}(\mathbf{X})$是一个对称矩阵。

任取$c\in\mathbb{R}^{n}$，设$Y=c^{\top}\mathbf{X}$，由性质 5.4.2(2)、性质 2.1.2(4)和性质 5.4.3(6)可得：

\[\begin{align*} &0\leqslant\operatorname{Cov}(Y)=\operatorname{Cov}(c^{\top}\mathbf{X})=\operatorname{E}\{[c^{\top}\mathbf{X}-\operatorname{E}(c^{\top}\mathbf{X})][c^{\top}\mathbf{X}-\operatorname{E}(c^{\top}\mathbf{X})]\} \\ =&\operatorname{E}\{[c^{\top}\mathbf{X}-c^{\top}\operatorname{E}(\mathbf{X})][c^{\top}\mathbf{X}-c^{\top}\operatorname{E}(\mathbf{X})]^{\top}\}=\operatorname{E}\Bigl\{c^{\top}[\mathbf{X}-\operatorname{E}(\mathbf{X})]\{c^{\top}[\mathbf{X}-\operatorname{E}(\mathbf{X})]\}^{\top}\Bigr\} \\ =&c^{\top}\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})][\mathbf{X}-\operatorname{E}(\mathbf{X})]^{\top}\}c=c^{\top}\operatorname{Cov}(\mathbf{X})c \end{align*}\]

由$c$的任意性，$\operatorname{Cov}(\mathbf{X})$是半正定的。

(3)由性质 2.1.2(4)和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Cov}(A\mathbf{X},B\mathbf{Y}) &=\operatorname{E}\{[A\mathbf{X}-\operatorname{E}(A\mathbf{X})][B\mathbf{Y}-\operatorname{E}(B\mathbf{Y})]^{\top}\} \\ &=A\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})][\mathbf{Y}-\operatorname{E}(\mathbf{Y})]^{\top}\}B^{\top} \\ &=A\operatorname{Cov}(\mathbf{X},\mathbf{Y})B^{\top} \end{align*}\]

(4)由性质 5.4.2(9)直接可得；

(5)由性质 5.4.3(6)可得：

\[\begin{gather*} \begin{aligned} \operatorname{Cov}(\mathbf{X}+\mathbf{Y},\mathbf{Z}) &=\operatorname{E}\left\{\left[\mathbf{X}+\mathbf{Y}-\operatorname{E}(\mathbf{X}+\mathbf{Y})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}+\mathbf{Y}-\operatorname{E}(\mathbf{X})-\operatorname{E}(\mathbf{Y})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top} +\left[\mathbf{Y}-\operatorname{E}(\mathbf{Y})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} +\operatorname{E}\left\{\left[\mathbf{Y}-\operatorname{E}(\mathbf{Y})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{Cov}(\mathbf{X},\mathbf{Z})+\operatorname{Cov}(\mathbf{Y},\mathbf{Z}) \end{aligned} \\ \begin{aligned} \operatorname{Cov}(\mathbf{X},\mathbf{Y}+\mathbf{Z}) &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Y}+\mathbf{Z}-\operatorname{E}(\mathbf{Y}+\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Y}+\mathbf{Z}-\operatorname{E}(\mathbf{Y})-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Y}-\operatorname{E}(\mathbf{Y})\right]^{\top} +\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Y}-\operatorname{E}(\mathbf{Y})\right]^{\top}\right\} +\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{Cov}(\mathbf{X},\mathbf{Y})+\operatorname{Cov}(\mathbf{X},\mathbf{Z}) \end{aligned} \end{gather*}\]

(6)由性质 5.5.1(2)和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Cov}(\mathbf{X},\mathbf{Y}) &=\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})][\mathbf{Y}-\operatorname{E}(\mathbf{Y})]^{\top}\} =\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})]\mathbf{Y}^{\top}-[\mathbf{X}-\operatorname{E}(\mathbf{X})]\operatorname{E}(\mathbf{Y})^{\top}\} \\ &=\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})]\mathbf{Y}^{\top}\}-\operatorname{E}[\mathbf{X}-\operatorname{E}(\mathbf{X})]\operatorname{E}(\mathbf{Y})^{\top} =\operatorname{E}(\mathbf{X}\mathbf{Y}^{\top})-[\operatorname{E}(\mathbf{X})][\operatorname{E}(\mathbf{Y})]^{\top} \end{align*}\]

(7)由(6)和性质 6.3.1(2)立即可得。

(8)若$\operatorname{Cov}(\mathbf{X})$不可逆，则存在非零的$a\in\mathbb{R}^{n}$使得$a^{\top}\operatorname{Cov}(\mathbf{X})a=\mathbf{0}$，根据(2)的证明过程和性质 5.4.3(6)可知即：

\[\begin{equation*} \operatorname{Cov}(a^{\top}\mathbf{X})=\operatorname{E}\{[a^{\top}\mathbf{X}-a^{\top}\operatorname{E}(\mathbf{X})]^2\}=\mathbf{0} \end{equation*}\]

由性质 5.4.2(9)可知$a^{\top}\mathbf{X}=a^{\top}\operatorname{E}(\mathbf{X})\;$a.s.于$(X,\mathscr{F},P)$，矛盾，所以$\operatorname{Cov}(\mathbf{X})$可逆。 ◻

6.4.4 均方误差

Definition 6.20. 设$f$是概率空间$(X,\mathscr{F},P)$上的$n$维随机向量，$g\in\mathbb{R}^{n}$。若$(f-g)^{\top}(f-g)$的积分存在，则称：

\[\begin{equation*} \operatorname{MSE}(f)\coloneq\operatorname{E}[(f-g)^{\top}(f-g)] \end{equation*}\]

为$f$关于$g$的均方误差（mean squared error, MSE）。

Property 6.4.4. 设$f$是概率空间$(X,\mathscr{F},P)$上的$n$维随机向量，$g\in\mathbb{R}^{n}$，$f$关于$g$的均方误差存在。

若$\operatorname{E}(f)$存在，则：

\[\begin{equation*} \operatorname{MSE}(f)=\operatorname{tr}[\operatorname{Cov}(f)]+[\operatorname{E}(f)-g]^{\top}[\operatorname{E}(f)-g] \end{equation*}\]
若$f^{\top}f$期望存在且$\operatorname{E}(f)=g$，则：

\[\begin{equation*} \operatorname{MSE}(f)=\operatorname{E}(f^{\top}f)-g^{\top}g \end{equation*}\]

证明. (1)由性质 2.1.5(3)和性质 5.4.3(6)可得：

\[\begin{align*} &\operatorname{MSE}(f)=\operatorname{E}\{[f-\operatorname{E}(f)+\operatorname{E}(f)-g]^{\top}[f-\operatorname{E}(f)+\operatorname{E}(f)-g]\} \\ =&\operatorname{E}\{[f-\operatorname{E}(f)]^{\top}[f-\operatorname{E}(f)]+[f-\operatorname{E}(f)]^{\top}[\operatorname{E}(f)-g]+ \\ &[\operatorname{E}(f)-g]^{\top}[f-\operatorname{E}(f)]+[\operatorname{E}(f)-g]^{\top}[\operatorname{E}(f)-g]\} \\ =&\operatorname{E}\{\operatorname{tr}[f-\operatorname{E}(f)]^{\top}[f-\operatorname{E}(f)]\}+\operatorname{E}\{[f-\operatorname{E}(f)]^{\top}\}[\operatorname{E}(f)-g] \\ &+[\operatorname{E}(f)-g]^{\top}\operatorname{E}[f-\operatorname{E}(f)]+[\operatorname{E}(f)-g]^{\top}[\operatorname{E}(f)-g] \\ =&\operatorname{E}\{\operatorname{tr}[f-\operatorname{E}(f)][f-\operatorname{E}(f)]^{\top}\}+[\operatorname{E}(f)-g]^{\top}[\operatorname{E}(f)-g] \\ =&\operatorname{tr}[\operatorname{Cov}(f)]+[\operatorname{E}(f)-g]^{\top}[\operatorname{E}(f)-g] \end{align*}\]

(2)由性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{MSE}(f)&=\operatorname{E}[(f-g)^{\top}(f-g)]=\operatorname{E}(f^{\top}f-f^{\top}g-g^{\top}f+g^{\top}g) \\ &=\operatorname{E}(f^{\top}f)-2g^{\top}g+g^{\top}g=\operatorname{E}(f^{\top}f)-g^{\top}g \end{align*}\]

◻

6.4.5 相关系数

Definition 6.21. 设$\mathbf{X}$和$\mathbf{Y}$分别为概率空间$(X,\mathscr{F},P)$上的$m$维随机向量和$n$维随机向量，$\operatorname{Cov}(\mathbf{X},\mathbf{Y})$存在，$\operatorname{Var}(X_1),\operatorname{Var}(X_2),\dots,\operatorname{Var}(X_m),\operatorname{Var}(Y_1),\operatorname{Var}(Y_2),\dots,\operatorname{Var}(Y_n)\in(0,+\infty)$。称：

\[\begin{align*} &\operatorname{Corr}(\mathbf{X},\mathbf{Y})=\operatorname{diag}\left\{\frac{1}{\sqrt{\operatorname{Var}(X_1)}},\frac{1}{\sqrt{\operatorname{Var}(X_2)}},\dots,\frac{1}{\sqrt{\operatorname{Var}(X_m)}}\right\} \\ &\quad\cdot\operatorname{Cov}(\mathbf{X},\mathbf{Y})\operatorname{diag}\left\{\frac{1}{\sqrt{\operatorname{Var}(Y_1)}},\frac{1}{\sqrt{\operatorname{Var}(Y_2)}},\dots,\frac{1}{\sqrt{\operatorname{Var}(Y_n)}}\right\} \end{align*}\]

为$\mathbf{X}$和$\mathbf{Y}$之间的相关系数（correlation coefficient）矩阵，称$\operatorname{Corr}(\mathbf{X},\mathbf{Y})(i,j)$为$X_i$与$Y_j$之间的相关系数。当$\mathbf{X}=\mathbf{Y}$时，将$\mathbf{X}$与$\mathbf{Y}$之间的相关系数矩阵简记为$\operatorname{Corr}(\mathbf{X})$。

Property 6.4.5. 相关系数具有如下性质：

设$X,Y$为概率空间$(X,\mathscr{F},P)$上的随机变量，$\operatorname{Corr}(X,Y)$存在，则$-1\leqslant\operatorname{Corr}(X,Y)\leqslant1$，等号成立当且仅当存在不全为$0$的常数$a,b$使得$aX+bY=0\;$a.e.成立。；

证明. (1)由不等式 1可得：

\[\begin{equation*} |\operatorname{Cov}(X,Y)|\leqslant\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)} \end{equation*}\]

所以有$|\operatorname{Corr}(X,Y)|\leqslant1$，取等条件由上式的取等条件得到。 ◻

Definition 6.22. 设$Y$和$\mathbf{X}$分别为概率空间$(X,\mathscr{F},P)$上的随机变量和$n$维随机向量，$\operatorname{Cov}(\mathbf{X},Y),\operatorname{Cov}(\mathbf{X})$存在，$\operatorname{Cov}(\mathbf{X})>\mathbf{0}$，$\operatorname{Var}(Y)<+\infty$。称：

\[\begin{equation*} R^2=\frac{[\operatorname{Cov}(\mathbf{X},Y)]^{\top}[\operatorname{Cov}(\mathbf{X})]^{-1}\operatorname{Cov}(\mathbf{X},Y)}{\operatorname{Var}(Y)} \end{equation*}\]

为$\mathbf{X}$和$Y$之间的复相关系数（multiple correlation coefficient）。

Property 6.4.6. 设$Y$和$\mathbf{X}$分别为概率空间$(X,\mathscr{F},P)$上的随机变量和$n$维随机向量，$Y$与$\mathbf{X}$的复相关系数$R^2$存在，则：

若$\operatorname{Cov}(\mathbf{X})$对角线上各分量都大于$0$，则有：

\[\begin{align*} &R^2=(\operatorname{Corr}(X_1,Y),\operatorname{Corr}(X_2,Y),\dots,\operatorname{Corr}(X_n,Y))^{\top} \\ &\quad\cdot[\operatorname{Corr}(\mathbf{X})]^{-1}(\operatorname{Corr}(X_1,Y),\operatorname{Corr}(X_2,Y),\dots,\operatorname{Corr}(X_n,Y)) \end{align*}\]
$R^2=\max\limits_{\alpha\in\mathbb{R}^{n}}[\operatorname{Corr}(\alpha ^{\top}\mathbf{X},Y)]^2$；
$R^2\in[0,1]$；

证明. (1)由定理 2.17(6)可得$[\operatorname{Cov}(\mathbf{X})]^{-1}$的存在性，因为$\operatorname{Cov}(\mathbf{X})$对角线上各分量都大于$0$，所以$\operatorname{diag}\left\{\frac{1}{\sqrt{\operatorname{Var}(Y_1)}},\frac{1}{\sqrt{\operatorname{Var}(Y_2)}},\dots,\frac{1}{\sqrt{\operatorname{Var}(Y_n)}}\right\}$可逆，由性质 2.1.10(11)可得$\operatorname{Corr}(\mathbf{X})$的存在性。根据性质 2.1.10(11)可得：

\[\begin{align*} &R^2=\frac{[\operatorname{Cov}(\mathbf{X},Y)]^{\top}[\operatorname{Cov}(\mathbf{X})]^{-1}\operatorname{Cov}(\mathbf{X},Y)}{\operatorname{Var}(Y)} \\ =&\frac{1}{\operatorname{Var}(Y)}[\operatorname{Cov}(\mathbf{X},Y)]^{\top}[\operatorname{diag}\{\operatorname{Var}(X_1),\operatorname{Var}(X_2),\dots,\operatorname{Var}(X_n)\} \\ &\quad\cdot\operatorname{Corr}(\mathbf{X})\operatorname{diag}\{\operatorname{Var}(X_1),\operatorname{Var}(X_2),\dots,\operatorname{Var}(X_n)\}]^{-1}\operatorname{Cov}(\mathbf{X},Y) \\ =&\frac{1}{\operatorname{Var}(Y)}[\operatorname{Cov}(\mathbf{X},Y)]^{\top}\operatorname{diag}\left\{\frac{1}{\sqrt{\operatorname{Var}(X_1)}},\frac{1}{\sqrt{\operatorname{Var}(X_2)}},\dots,\frac{1}{\sqrt{\operatorname{Var}(X_n)}}\right\} \\ &\quad\cdot[\operatorname{Corr}(\mathbf{X})]^{-1}\operatorname{diag}\left\{\frac{1}{\sqrt{\operatorname{Var}(X_1)}},\frac{1}{\sqrt{\operatorname{Var}(X_2)}},\dots,\frac{1}{\sqrt{\operatorname{Var}(X_n)}}\right\}\operatorname{Cov}(\mathbf{X},Y) \\ =&(\operatorname{Corr}(X_1,Y),\operatorname{Corr}(X_2,Y),\dots,\operatorname{Corr}(X_n,Y))^{\top} \\ &\quad\cdot[\operatorname{Corr}(\mathbf{X})]^{-1}(\operatorname{Corr}(X_1,Y),\operatorname{Corr}(X_2,Y),\dots,\operatorname{Corr}(X_n,Y))^{\top} \end{align*}\]

(2)由性质 6.4.3(3)可得：

\[\begin{align*} \max_{\alpha\in\mathbb{R}^{n}}[\operatorname{Corr}(\alpha ^{\top}\mathbf{X},Y)]^2=\max_{\alpha\in\mathbb{R}^{n}}\frac{[\operatorname{Cov}(\alpha^{\top}\mathbf{X},Y)]^2}{\operatorname{Var}(Y)\operatorname{Var}(\alpha^{\top}\mathbf{X})}=\max_{\alpha\in\mathbb{R}^{n}}\frac{[\alpha^{\top}\operatorname{Cov}(\mathbf{X},Y)]^2}{\operatorname{Var}(Y)\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha} \end{align*}\]

根据性质 6.4.3(2)令$\beta=[\operatorname{Cov}(\mathbf{X})]^{\frac{1}{2}}\alpha$，由$\operatorname{Cov}(\mathbf{X})>\mathbf{0}$可知$[\operatorname{Cov}(\mathbf{X})]^{-\frac{1}{2}}$存在，所以由性质 17.4.3(3)、性质 2.1.2(4)、性质 17.4.4(3)和不等式 1可得：

\[\begin{align*} &\max_{\alpha\in\mathbb{R}^{n}}[\operatorname{Corr}(\alpha ^{\top}\mathbf{X},Y)]^2=\max_{\beta\in\mathbb{R}^{n}}\frac{\{\beta^{\top}[\operatorname{Cov}(\mathbf{X})]^{-\frac{1}{2}}\operatorname{Cov}(\mathbf{X},Y)\}^2}{\operatorname{Var}(Y)\beta^{\top}\beta} \\ =&\frac{[\operatorname{Cov}(\mathbf{X},Y)]^{\top}[\operatorname{Cov}(\mathbf{X})]^{-1}\operatorname{Cov}(\mathbf{X},Y)}{\operatorname{Var}(Y)}=R^2 \end{align*}\]

(3)由(2)和性质 6.4.5(1)即可得到。 ◻

6.4.6 二次型

Definition 6.23. 设$\mathbf{X}$是一个$n$维随机向量，$A=(a_{ij})$为$n$阶非随机实对称阵，则随机变量：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}\mathbf{X}_i\mathbf{X}_j \end{equation*}\]

称为$\mathbf{X}$的二次型。

6.4.6.1 随机变量二次型的均值

Theorem 6.6. 设$\mathbf{X}$是一个$n$维随机向量，$\operatorname{E}(\mathbf{X})=\mu,\;\operatorname{Cov}(\mathbf{X})=\Sigma$，则：

\[\begin{equation*} \operatorname{E}(\mathbf{X}^{\top}A\mathbf{X})=\mu^{\top}A\mu+\operatorname{tr}(A\Sigma) \end{equation*}\]

证明. 由性质 5.4.3(6)可得

\[\begin{align*} \operatorname{E}(\mathbf{X}^{\top}A\mathbf{X}) &=\operatorname{E}[(\mathbf{X}-\mu+\mu)^{\top}A(\mathbf{X}-\mu+\mu)] \\ &=\operatorname{E}[(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)]+\operatorname{E}[(\mathbf{X}-\mu)^{\top}A\mu]+\operatorname{E}[\mu^{\top}A(\mathbf{X}-\mu)]+\operatorname{E}(\mu^{\top}A\mu) \\ &=\operatorname{E}\{\operatorname{tr}[(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)]\}+\mu^{\top}A\mu \\ &=\operatorname{E}\{\operatorname{tr}[A(\mathbf{X}-\mu)(\mathbf{X}-\mu)^{\top}]\}+\mu^{\top}A\mu \\ &=\operatorname{tr}\operatorname{E}[A(\mathbf{X}-\mu)(\mathbf{X}-\mu)^{\top}]+\mu^{\top}A\mu \\ &=\operatorname{tr}\{A\operatorname{E}[(\mathbf{X}-\mu)(\mathbf{X}-\mu)^{\top}]\}+\mu^{\top}A\mu \\ &=\operatorname{tr}(A\Sigma)+\mu^{\top}A\mu \end{align*}\]

第二行到第三行利用到了$\operatorname{E}(\mathbf{X})=\mu$以及$(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)=\operatorname{tr}[(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)]$，后式成立是因为$(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)$是一个标量，标量的迹自然等于自身。第三行到第四行使用到了性质 2.1.5(3)。 ◻

6.4.6.2 独立随机变量二次型的方差

Theorem 6.7. 设随机变量$X_i,\;i=1,2,\dots,n$相互独立，$\operatorname{E}(X_i)=\mu_i\in\mathbb{R},\;\operatorname{Var}(X_i)=\sigma^2\in\mathbb{R},\;\nu_k^{(i)}=\operatorname{E}[(X_i-\mu_i)^k]$，$\mathbf{X}=(X_1, X_2, \dots, X_{n})^{\top},\;\mu=(\mu_1, \mu_2, \dots, \mu_{n})^{\top}$，$A=(a_{ij})$为$n$阶非随机实对称阵，$a=(a_{11},a_{22},\dots,a_{nn})^{\top}$，$b=(\nu_3^{(1)}a_{11},\nu_3^{(2)}a_{22},\dots,\nu_3^{(n)}a_{nn})^{\top}$，则：

\[\begin{equation*} \operatorname{Var}(\mathbf{X}^{\top}A\mathbf{X})=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4[2\operatorname{tr}(A^2)-3a^{\top}a]+4\sigma^2\mu^{\top}A^2\mu+4\mu^{\top}Ab \end{equation*}\]

证明. 由性质 6.4.2(1)可得：

\[\begin{equation*} \operatorname{Var}(\mathbf{X}^{\top}A\mathbf{X})=\operatorname{E}[(\mathbf{X}^{\top}A\mathbf{X})^2]-[\operatorname{E}(\mathbf{X}^{\top}A\mathbf{X})]^2 \end{equation*}\]

由题设可知：

\[\begin{equation*} \operatorname{E}(\mathbf{X})=\mu,\;\operatorname{Var}(\mathbf{X})=\sigma^2I \end{equation*}\]

根据定理 6.6可得：

\[\begin{align*} [\operatorname{E}(\mathbf{X}^{\top}A\mathbf{X})]^2&=[\operatorname{tr}(A\sigma^2I)+\mu^{\top}A\mu]^2=[\sigma^2\operatorname{tr}(A)+\mu^{\top}A\mu]^2 \\ &=\sigma^4[\operatorname{tr}(A)]^2+2\sigma^2\operatorname{tr}(A)\mu^{\top}A\mu+(\mu^{\top}A\mu)^2 \end{align*}\]

同时：

\[\begin{align*} (\mathbf{X}^{\top}A\mathbf{X})^2 &=[(\mathbf{X}-\mu+\mu)^{\top}A(\mathbf{X}-\mu+\mu)]^2 \\ &=[(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)+2\mu^{\top}A(\mathbf{X}-\mu)+\mu^{\top}A\mu]^2 \\ &=[(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)]^2+4[\mu^{\top}A(\mathbf{X}-\mu)]^2+(\mu^{\top}A\mu)^2 \\ &\quad+4(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)\mu^{\top}A(\mathbf{X}-\mu)+2(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)\mu^{\top}A\mu \\ &\quad+4\mu^{\top}A(\mathbf{X}-\mu)\mu^{\top}A\mu \end{align*}\]

令$\mathbf{Y}=\mathbf{X}-\mu$，则有$\operatorname{E}(\mathbf{Y})=\mathbf{0}$，再由定理 6.6可得：

考虑：

\[\begin{align*} \operatorname{E}[(\mathbf{Y}^{\top}A\mathbf{Y})^2] &=\operatorname{E}\left(\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}a_{ij}a_{kl}\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l\right) \\ &=\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}a_{ij}a_{kl}\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l) \end{align*}\]

作分类讨论：

$i,j,k,l$互不相同，则$\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l)=E(\mathbf{Y}_i)E(\mathbf{Y}_j)E(\mathbf{Y}_k)E(\mathbf{Y}_l)=0$；
$i,j,k,l$中存在某两个值相同：
- 此时另外两个不同，则$\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l)=0$；
- 此时另外两个也相同（即$i=j,k=l$或$i=k,j=l$或$i=l,j=k$），则$\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l)=\sigma^4$。
$i,j,k,l$中存在某三个值相同，则$\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l)=0$；
$i,j,k,l$相同，则$\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l)=\nu_4^{(i)}$。

于是：

\[\begin{align*} \operatorname{E}[(\mathbf{Y}^{\top}A\mathbf{Y})^2] &=\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}a_{ij}a_{kl}\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l) \\ &=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4\left(\sum_{i\ne k}a_{ii}a_{kk}+\sum_{i\ne j}a_{ij}^2+\sum_{i\ne j}a_{ij}a_{ji}\right) \\ &=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4\left(\sum_{i\ne k}a_{ii}a_{kk}+2\sum_{i\ne j}a_{ij}^2\right) \end{align*}\]

因为：

\[\begin{gather*} \sum_{i\ne k}a_{ii}a_{kk}=[\operatorname{tr}(A)]^2-a^{\top}a \\ \sum_{i\ne j}a_{ij}^2=\operatorname{tr}(AA^{\top})-a^{\top}a=\operatorname{tr}(A^2)-a^{\top}a \end{gather*}\]

所以：

\[\begin{equation*} \operatorname{E}[(\mathbf{Y}^{\top}A\mathbf{Y})^2]=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4\{[\operatorname{tr}(A)]^2+2\operatorname{tr}(A^2)-3a^{\top}a\} \end{equation*}\]

由定理 6.6和性质 2.1.5(3)可得：

\[\begin{align*} \operatorname{E}[(\mu^{\top}A\mathbf{Y})^2] &=\operatorname{E}(\mu^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y}) =\operatorname{E}(\mathbf{Y}^{\top}A\mu\mu^{\top}A\mathbf{Y}) =\operatorname{tr}(A\mu\mu^{\top}A\sigma^2I) \\ &=\sigma^2\operatorname{tr}(A\mu\mu^{\top}A) =\sigma^2\operatorname{tr}(\mu^{\top}A^2\mu) =\sigma^2\mu^{\top}A^2\mu \end{align*}\]

注意到：

\[\begin{align*} \operatorname{E}(\mathbf{Y}^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y}) &=\operatorname{E}\left(\sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}\mathbf{Y}_i\mathbf{Y}_j\sum_{k=1}^{n}\sum_{l=1}^{n}a_{kl}\mu_k\mathbf{Y}_l\right) \\ &=\operatorname{E}\left(\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}a_{ij}a_{kl}\mu_k\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_l\right) \\ &=\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}a_{ij}a_{kl}\mu_k\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_l) \end{align*}\]

和之前的讨论类似，可以得到：

\[\begin{equation*} \operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_l)= \begin{cases} \nu_3^{(i)},\;&i=j=l \\ 0,\;&\text{其他情况} \end{cases} \end{equation*}\]

于是有：

\[\begin{equation*} \operatorname{E}(\mathbf{Y}^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y}) =\sum_{i=1}^{n}\sum_{k=1}^{n}a_{ii}\nu_3^{(i)}a_{ki}\mu_k \end{equation*}\]

令$b=(\nu_3^{(1)}a_{11},\nu_3^{(2)}a_{22},\dots,\nu_3^{(n)}a_{nn})^{\top}$，则：

\[\begin{equation*} \operatorname{E}(\mathbf{Y}^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y}) =\sum_{i=1}^{n}\sum_{k=1}^{n}a_{ii}\nu_3^{(i)}a_{ki}\mu_k=\mu^{\top}Ab \end{equation*}\]

将以上求得的期望值全部代入，即可得到：

\[\begin{align*} \operatorname{E}[(\mathbf{X}^{\top}A\mathbf{X})^2] &=\operatorname{E}[(\mathbf{Y}^{\top}A\mathbf{Y})^2]+4\operatorname{E}[(\mu^{\top}A\mathbf{Y})^2]+(\mu^{\top}A\mu)^2 \\ &\quad+4\operatorname{E}(\mathbf{Y}^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y})+2\mu^{\top}A\mu\sigma^2\operatorname{tr}(A) \\ &=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4\{[\operatorname{tr}(A)]^2+2\operatorname{tr}(A^2)-3a^{\top}a\} \\ &\quad+4\sigma^2\mu^{\top}A^2\mu+(\mu^{\top}A\mu)^2+4\mu^{\top}Ab+2\mu^{\top}A\mu\sigma^2\operatorname{tr}(A) \end{align*}\]

于是：

\[\begin{align*} \operatorname{Var}(\mathbf{X}^{\top}A\mathbf{X}) &=\operatorname{E}[(\mathbf{X}^{\top}A\mathbf{X})^2]-[\operatorname{E}(\mathbf{X}^{\top}A\mathbf{X})]^2 \\ &=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4\{[\operatorname{tr}(A)]^2+2\operatorname{tr}(A^2)-3a^{\top}a\} \\ &\quad+4\sigma^2\mu^{\top}A^2\mu+(\mu^{\top}A\mu)^2+4\mu^{\top}Ab+2\mu^{\top}A\mu\sigma^2\operatorname{tr}(A) \\ &\quad-\sigma^4[\operatorname{tr}(A)]^2-2\sigma^2\operatorname{tr}(A)\mu^{\top}A\mu-(\mu^{\top}A\mu)^2 \\ &=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4[2\operatorname{tr}(A^2)-3a^{\top}a]+4\sigma^2\mu^{\top}A^2\mu+4\mu^{\top}Ab \end{align*}\]

◻

6.4.7 特征函数

Definition 6.24. 设$f$是从概率空间$(X,\mathscr{F},P)$到$\mathbb{C}$上的随机变量，记$f$的实部和复部分别为$\operatorname{Re}(f)$和$\operatorname{Im}(f)$。若$\operatorname{Re}(f)$和$\operatorname{Im}(f)$可积，则称$f$的期望$\operatorname{E}(f)$存在，并记：

\[\begin{equation*} \operatorname{E}(f)=\operatorname{E}[\operatorname{Re}(f)]+i\operatorname{E}[\operatorname{Im}(f)] \end{equation*}\]

Definition 6.25. 设$f$是概率空间$(X,\mathscr{F},P)$上的随机变量。称:

\[\begin{equation*} \varphi_f(t)=\operatorname{E}(e^{itf}) \end{equation*}\]

为$f$的特征函数（characteristic function, c.f.），其中$t\in\mathbb{R}$。

Property 6.4.7. 设$f$是概率空间$(X,\mathscr{F},P)$上的随机变量，则：

$f$的特征函数$\varphi_f(t)$存在；
$|\varphi_f(t)|\leqslant\varphi_f(0)=1$；
$\varphi_f(-t)=\overline{\varphi_f(t)}$；
$\varphi_f(t)$在$\mathbb{R}$上一致连续；
若$f_1, f_2, \dots, f_{n}$是$(X,\mathscr{F},P)$上相互独立的随机变量，则$g=\sum\limits_{k=1}^n\alpha_kf_k$的特征函数为：

\[\begin{equation*} \varphi_{g}(t)=\prod_{k=1}^n\varphi_{f_k}(\alpha_kt) \end{equation*}\]
$f$的分布函数由其特征函数唯一决定；
若$\{f_n\}$是$(X,\mathscr{F},P)$上的随机变量，则$f_n\overset{d}{\longrightarrow}f$当且仅当$\varphi_{f_n}(t)$点点收敛到$\varphi_f(t)$。

证明. (1)因为$e^{itf}=\cos(tf)+i\sin(tf)$，由性质 5.4.3(4)可得：

\[\begin{equation*} \operatorname{E}[|\cos(tf)|]\leqslant\operatorname{E}(1)=1,\quad\operatorname{E}[|\sin(tf)|]\leqslant\operatorname{E}(1)=1 \end{equation*}\]

所以$\varphi_f(t)$存在。

(2)注意到$\varphi_f(0)=\operatorname{E}(1)=1$。由性质 5.4.3(2)可得：

\[\begin{equation*} |\varphi_f(t)|=|\operatorname{E}(e^{itf})|\leqslant\operatorname{E}(|e^{itf}|)=\operatorname{E}(1)=1 \end{equation*}\]

(3)由性质 5.4.3(6)可得：

\[\begin{equation*} \overline{\varphi_f(t)}=\operatorname{E}[\cos(tf)]-i\operatorname{E}[\sin(tf)]=\operatorname{E}[\cos(-tf)]+i\operatorname{E}[\sin(-tf)]=\varphi_f(-t) \end{equation*}\]

(4)对任意的$t,h\in \mathbb{R}$和$a>0$，由性质 5.4.3(6)(2)、性质 5.3.3(1.a)(1.c)、性质 5.1.6(3)和定理 5.27可得：

\[\begin{align*} |\varphi_f(t+h)-\varphi_f(t)| &=\left|\operatorname{E}[e^{i(t+h)f}]-\operatorname{E}(e^{itf})\right|=\left|\operatorname{E}[e^{i(t+h)f}-e^{itf}]\right|\leqslant\operatorname{E}[|e^{i(t+h)f}-e^{itf}|] \\ &=\operatorname{E}(|e^{ihf}-1|)=\int_{\{|f|<a\}}|e^{ihf}-1|\mathop{}\!\mathrm{d}P+\int_{\{|f|\geqslant a\}}|e^{ihf}-1|\mathop{}\!\mathrm{d}P \\ &\leqslant\int_{\{|f|<a\}}|e^{ihf}-1|\mathop{}\!\mathrm{d}P+\int_{\{|f|\geqslant a\}}(|e^{ihf}|+1)\mathop{}\!\mathrm{d}P \\ &=\int_{\{|f|<a\}}|e^{ihf}-1|\mathop{}\!\mathrm{d}P+\int_{\{|f|\geqslant a\}}2\mathop{}\!\mathrm{d}P \end{align*}\]

由性质 5.2.1(3)（上连续性）可知$\lim\limits_{n\to+\infty}P(\{|f|\geqslant n\})=P(\varnothing)=0$，所以对于任意的$\varepsilon>0$，根据性质 5.2.1(3)（单调性），可以先选定一个充分大的$a$，使得：

\[\begin{equation*} \int_{\{|f|\geqslant a\}}2\mathop{}\!\mathrm{d}P<\frac{\varepsilon}{2} \end{equation*}\]

对任意的$x\in\{|f|<a\}$，只要取$\delta=\dfrac{\varepsilon}{2a}$，则当$|h|<\delta$时，由定理 17.16可得：

\[\begin{equation*} |e^{ihf}-1|\leqslant |hf|<\frac{\varepsilon}{2} \end{equation*}\]

于是对任意的$t\in\mathbb{R}$，根据定理 5.27和性质 5.4.1(2)可得：

\[\begin{equation*} |\varphi_f(t+h)-\varphi_f(t)|<\int_{\{|f|<a\}}\frac{\varepsilon}{2}\mathop{}\!\mathrm{d}P+\int_{\{|f|\geqslant a\}}2\mathop{}\!\mathrm{d}P<\frac{\varepsilon}{2}+\frac{\varepsilon}{2}=\varepsilon \end{equation*}\]

即$\varphi_f(t)$在$\mathbb{R}$上一致连续。

(5)当$n=2$时，由性质 5.4.3(6)、定理 3.23、性质 5.3.3(11)、性质 6.3.1(2)可得：

\[\begin{align*} &\varphi_{g}(t)=\operatorname{E}[e^{it(\alpha_1f_1+\alpha_2f_2)}]=\operatorname{E}[\cos(\alpha_1f_1+\alpha_2f_2)]+i\operatorname{E}[\sin(\alpha_1f_1+\alpha_2f_2)] \\ =&\operatorname{E}[\cos(\alpha_1f_1)\cos(\alpha_2f_2)-\sin(\alpha_1f_1)\sin(\alpha_2f_2)] \\ &\quad+i\operatorname{E}[\sin(\alpha_1f_1)\cos(\alpha_2f_2)+\cos(\alpha_1f_1)\sin(\alpha_2f_2)] \\ =&\operatorname{E}[\cos(\alpha_1f_1)\cos(\alpha_2f_2)]-\operatorname{E}[\sin(\alpha_1f_1)\sin(\alpha_2f_2)] \\ &\quad+i\{\operatorname{E}[\sin(\alpha_1f_1)\cos(\alpha_2f_2)]+\operatorname{E}[\cos(\alpha_1f_1)\sin(\alpha_2f_2)]\} \\ =&\operatorname{E}[\cos(\alpha_1f_1)]\operatorname{E}[\cos(\alpha_2f_2)]-\operatorname{E}[\sin(\alpha_1f_1)]\operatorname{E}[\sin(\alpha_2f_2)] \\ &\quad+i\{\operatorname{E}[\sin(\alpha_1f_1)]\operatorname{E}[\cos(\alpha_2f_2)]+\operatorname{E}[\cos(\alpha_1f_1)]\operatorname{E}[\sin(\alpha_2f_2)]\} \\ =&\{\operatorname{E}[\cos(\alpha_1f_1)]+i\operatorname{E}[\sin(\alpha_1f_1)]\}\operatorname{E}[\cos(\alpha_2f_2)] \\ &\quad+i\{\operatorname{E}[\cos(\alpha_1f_1)]+i\operatorname{E}[\sin(\alpha_1f_1)]\}\operatorname{E}[\sin(\alpha_2f_2)] \\ =&\{\operatorname{E}[\cos(\alpha_1f_1)]+i\operatorname{E}[\sin(\alpha_1f_1)]\}\{\operatorname{E}[\cos(\alpha_2f_2)]+i\operatorname{E}[\sin(\alpha_2f_2)]\} \\ =&\operatorname{E}(e^{it\alpha_1f_1})\operatorname{E}(e^{it\alpha_2f_2})=\varphi_{f_1}(\alpha_1t)\varphi_{f_2}(\alpha_2t) \end{align*}\]

由数学归纳法即可得出结论。 ◻

6.4.8 统计距离

6.4.8.1 Mahalanobis距离

Definition 6.26. 设$x,y$是均值为$\boldsymbol{\mu}$和协方差矩阵为$\Sigma$的随机向量$\mathbf{X}$的两个实现值，$\mathbf{X}$的分布记为$D$。称：

\[\begin{equation*} d^2_m(x,D)=(x-\boldsymbol{\mu})^{\top}\Sigma^{-1}(x-\boldsymbol{\mu}) \end{equation*}\]

为$x$与$D$之间的Mahalanobis距离。称：

\[\begin{equation*} d^2_m(x,y)=(x-y)^{\top}\Sigma^{-1}(x-y) \end{equation*}\]

为$x$与$y$之间的Mahalanobis距离。

Method 6.1. 由$\Sigma$可逆、性质 6.4.3(2)和定理 2.18(6)可知$\Sigma$为正定矩阵，根据定理 2.23可知$\Sigma$有分解式$\Sigma=LL^{\top}$且$L$可逆。由性质 2.1.10(11)(12)和性质 2.1.2(4)可知：

\[\begin{align*} d^2_m(x,y)&=(x-y)^{\top}(LL^{\top})^{-1}(x-y)=(x-y)^{\top}(L^{\top})^{-1}L^{-1}(x-y) \\ &=(x-y)^{\top}(L^{-1})^{\top}L^{-1}(x-y)=||L^{-1}(x-y)||_2^2 \end{align*}\]

求解方程组$Lz=x-y$并计算$||z||_2^2$即得到$d^2_m(x,y)$。

6.5 分布族

6.5.1 离散型随机变量

6.5.1.1 二项分布族

Definition 6.27. 若离散型随机变量$X$的概率质量函数为：

\[\begin{equation*} P(X=k)=\binom{n}{k}p^k(1-p)^{n-k},\;k=0,1,\dots,n \end{equation*}\]

其中$n\in\mathbb{N}^+$和$p\in[0,1]$为参数，则称$X$服从二项分布（binomial distribution），记作$X\sim\operatorname{Binom}(n,p)$。$\operatorname{Binom}(1,p)$也称作0-1分布或伯努利分布（Bernoulli distribution）。

Property 6.5.1. 二项分布族具有如下性质：

二项分布具有可加性，即若$X_i\sim\operatorname{Binom}(n_i,p)$且$X_i$相互独立，$i=1,2,\dots,m$，则$\sum\limits_{i=1}^{m}X_i\sim\operatorname{Binom}\left(\sum\limits_{i=1}^{m}n_i,p\right)$；
若$X\sim\operatorname{Binom}(n,p)$，则$\operatorname{E}(X)=np,\;\operatorname{Var}(X)=np(1-p)$；
若$X_1\sim\operatorname{Binom}(n,p_1),\;X_2\sim\operatorname{Binom}(n,p_2),\;p_1<p_2$，则$F_{X_1}(x)\geqslant F_{X_2}(x)$；

证明. (2)注意到：

\[\begin{align*} &\operatorname{E}(X)=\sum_{i=0}^{n}i\binom{n}{i}p^i(1-p)^{n-i}=\sum_{i=1}^{n}i\frac{n!}{i!(n-i)!}p^i(1-p)^{n-i} \\ =&\sum_{i=1}^{n}\frac{n(n-1)!}{(i-1)!(n-i)!}p^i(1-p)^{n-i}=np\sum_{i=1}^{n}\binom{n-1}{i-1}p^{i-1}(1-p)^{n-i}=np \\ &\operatorname{E}(X^2)=\sum_{i=0}^{n}i^2\binom{n}{i}p^i(1-p)^{n-i}=\sum_{i=0}^{n}[i(i-1)+i]\binom{n}{i}p^i(1-p)^{n-i} \\ =&\sum_{i=0}^{n}i(i-1)\binom{n}{i}p^i(1-p)^{n-i}+\operatorname{E}(X)=\sum_{i=2}^{n}i(i-1)\frac{n!}{i!(n-i)!}p^i(1-p)^{n-i}+np \\ =&\sum_{i=2}^{n}\frac{n(n-1)(n-2)!}{(i-2)!(n-i)!}p^i(1-p)^{n-i}+np=n(n-1)p^2\sum_{i=2}^{n}\binom{n-2}{i-2}p^{i-2}(1-p)^{n-i}+np \\ =&n(n-1)p^2+np \end{align*}\]

由性质 6.4.2(1)可得：

\[\begin{equation*} \operatorname{Var}(X)=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=n(n-1)p^2+np-n^2p^2=n^2p^2-np^2+np-n^2p^2=np(1-p) \end{equation*}\]

(3)设$X\sim\operatorname{Binom}(n,p)$，则其分布函数为：

\[\begin{equation*} F(k)=\sum_{i=0}^{k}\binom{n}{k}p^k(1-p)^{n-k} \end{equation*}\]

求其关于$p$的导数可得：

\[\begin{align*} &F'(k)=\frac{\mathop{}\!\mathrm{d}}{\mathop{}\!\mathrm{d}p}\sum_{i=0}^{k}\binom{n}{i}p^i(1-p)^{n-i} \\ =&\sum_{i=0}^{k}\binom{n}{i}ip^{i-1}(1-p)^{n-i}-\sum_{i=0}^{k}\binom{n}{i}(n-i)p^i(1-p)^{n-i-1} \\ =&\sum_{i=0}^{k}n\binom{n-1}{i-1}p^{i-1}(1-p)^{n-i}-\sum_{i=0}^{k}n\binom{n-1}{i}p^i(1-p)^{n-i-1} \\ =&\sum_{i=1}^{k}n\binom{n-1}{i-1}p^{i-1}(1-p)^{n-i}-\sum_{i=0}^{k}n\binom{n-1}{i}p^i(1-p)^{n-i-1} \\ =&-n\binom{n-1}{k}p^k(1-p)^{n-k-1}<0 \end{align*}\]

◻

6.5.1.2 负二项分布族

Definition 6.28. 若离散型随机变量$X$的概率质量函数为：

\[\begin{equation*} P(X=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r},\;k=r,r+1,\dots \end{equation*}\]

其中$r\in\mathbb{N}^+$和$p\in[0,1]$为参数，则称$X$服从负二项分布（negative binomial distribution），记作$X\sim\operatorname{NB}(r,p)$。$\operatorname{NB}(1,p)$也称作几何分布（geometric distribution），记作$X\sim\operatorname{Geom}(p)$。

Property 6.5.2. 负二项分布族具有如下性质：

负二项分布具有可加性，即若$X_i\sim\operatorname{NB}(r_i,p)$且$X_i$相互独立，$i=1,2,\dots,m$，则$\sum\limits_{i=1}^{m}X_i\sim\operatorname{NB}\left(\sum\limits_{i=1}^{m}r_i,p\right)$；
几何分布具有无记忆型，即若$X\sim\operatorname{Geom}(p)$，则对任意的$m,n\in\mathbb{N}^+$有$P(X>m+n|X>m)=P(X>n)$；
若$X\sim\operatorname{NB}(r,p)$，则$\operatorname{E}(X)=\dfrac{r}{p},\;\operatorname{Var}(X)=\dfrac{r(1-p)}{p^2}$。

证明. (3)注意到：

\[\begin{gather*} \begin{aligned} \operatorname{E}(X)&=\sum_{n=r}^{+\infty}n\binom{n-1}{r-1}p^r(1-p)^{n-r}=\sum_{n=r}^{+\infty}n\frac{(n-1)!}{(r-1)!(n-r)!}p^r(1-p)^{n-r} \\ &=\frac{r}{p}\sum_{n=r}^{+\infty}\frac{n!}{r!(n-r)!}p^{r+1}(1-p)^{n-r}=\frac{r}{p} \\ \end{aligned} \\ \begin{aligned} \operatorname{E}(X^2)&=\sum_{n=r}^{+\infty}n^2\binom{n-1}{r-1}p^r(1-p)^{n-r}=\sum_{n=r}^{+\infty}n^2\frac{(n-1)!}{(r-1)!(n-r)!}p^r(1-p)^{n-r} \\ &=\sum_{n=r}^{+\infty}[n(n+1)-n]\frac{(n-1)!}{(r-1)!(n-r)!}p^r(1-p)^{n-r}= \\ &=\sum_{n=r}^{+\infty}n(n+1)\frac{(n-1)!}{(r-1)!(n-r)!}p^r(1-p)^{n-r}-\operatorname{E}(X) \\ &=r(r+1)\sum_{n=r}^{+\infty}\frac{(n+1)!}{(r+1)!(n-r)!}p^r(1-p)^{n-r}-\frac{r}{p} \\ &=\frac{r(r+1)}{p^2}\sum_{n=r}^{+\infty}\frac{(n+1)!}{(r+1)!(n-r)!}p^{r+2}(1-p)^{n-r}-\frac{r}{p}=\frac{r(r+1)-rp}{p^2} \end{aligned} \end{gather*}\]

由性质 6.4.2(1)可得：

\[\begin{equation*} \operatorname{Var}(X)=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\frac{r(r+1)-rp-r^2}{p^2}=\frac{r(1-p)}{p^2} \end{equation*}\]

◻

6.5.1.3 超几何分布

Definition 6.29. 若离散型随机变量$X$的概率质量函数为：

\[\begin{equation*} P(X=k)=\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}},\;k=0,1,\dots,\min\{n,M\} \end{equation*}\]

其中$n,M,N\in\mathbb{N}^+$为参数，则称$X$服从超几何分布（hypergeometric distribution），记作$X\sim\operatorname{Hyper}(n,M,N)$。

Property 6.5.3. 超几何分布具有如下性质：

若$X\sim\operatorname{Hyper}(n,M,N)$，则$\operatorname{E}(X)=\dfrac{nM}{N},\;\operatorname{Var}(X)=\dfrac{nM(N-n)(N-M)}{N^2(N-1)}$；

证明. (1)注意到：

\[\begin{gather*} \begin{aligned} &\operatorname{E}(X)=\sum_{i=0}^{\min\{n,M\}}i\frac{\binom{M}{i}\binom{N-M}{n-i}}{\binom{N}{n}}=\frac{1}{\binom{N}{n}}\sum_{i=1}^{\min\{n,M\}}i\frac{M!}{i!(M-i)!}\binom{N-M}{n-i} \\ =&M\sum_{i=1}^{\min\{n,M\}}\frac{(M-1)!}{(i-1)!(M-i)!}\binom{N-M}{n-i}\frac{n!(N-n)!}{N!} \\ =&\frac{nM}{N}\sum_{i=1}^{\min\{n,M\}}\binom{M-1}{i-1}\binom{N-M}{n-i}\frac{(n-1)!(N-n)!}{(N-1)!} \\ =&\frac{nM}{N}\sum_{i=1}^{\min\{n,M\}}\frac{\binom{M-1}{i-1}\binom{N-M}{n-i}}{\binom{N-1}{n-1}}=\frac{nM}{N} \end{aligned} \\ \begin{aligned} &\operatorname{E}(X^2)=\sum_{i=0}^{\min\{n,M\}}i^2\frac{\binom{M}{i}\binom{N-M}{n-i}}{\binom{N}{n}}=\sum_{i=0}^{\min\{n,M\}}[i(i-1)+i]\frac{\binom{M}{i}\binom{N-M}{n-i}}{\binom{N}{n}} \\ =&\sum_{i=0}^{\min\{n,M\}}i(i-1)\frac{\binom{M}{i}\binom{N-M}{n-i}}{\binom{N}{n}}+\operatorname{E}(X) \\ =&\sum_{i=2}^{\min\{n,M\}}i(i-1)\frac{M!}{i!(M-i)!}\binom{N-M}{n-i}\frac{n!(N-n)!}{N!}+\frac{nM}{N} \\ =&\frac{M(M-1)n(n-1)}{N(N-1)}\sum_{i=2}^{\min\{n,M\}}\frac{(M-2)!}{(i-2)!(M-i)!}\binom{N-M}{n-i}\frac{(n-2)!(N-n)!}{(N-2)!}+\frac{nM}{N} \\ =&\frac{M(M-1)n(n-1)}{N(N-1)}\sum_{i=2}^{\min\{n,M\}}\frac{\binom{M-2}{i-2}\binom{N-M}{n-i}}{\binom{N-2}{n-2}}+\frac{nM}{N}=\frac{M(M-1)n(n-1)}{N(N-1)}+\frac{nM}{N} \\ =&\frac{M(M-1)n(n-1)+nM(N-1)}{N(N-1)} \end{aligned} \end{gather*}\]

由性质 6.4.2(1)可得：

\[\begin{align*} &\operatorname{Var}(X)=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\frac{M(M-1)n(n-1)+nM(N-1)}{N(N-1)}-\frac{n^2M^2}{N^2} \\ =&\frac{M(M-1)n(n-1)+nM(N-1)}{N(N-1)}-\frac{n^2M^2}{N^2} \\ =&\frac{M(M-1)n(n-1)N+nM(N-1)N-n^2M^2(N-1)}{N^2(N-1)} \\ =&\frac{M^2n^2N-M^2nN-Mn^2N+MnN+nMN^2-nMN-n^2M^2N+n^2M^2}{N^2(N-1)} \\ =&\frac{-M^2nN-Mn^2N+nMN^2+n^2M^2}{N^2(N-1)}=\frac{nM(-MN-nN+N^2+mn)}{N^2(N-1)} \\ =&\frac{nM(N-n)(N-M)}{N^2(N-1)} \end{align*}\]

◻

6.5.1.4 Poisson分布族

Definition 6.30. 若离散型随机变量$X$的概率质量函数为：

\[\begin{equation*} P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},\;k\in\mathbb{N} \end{equation*}\]

其中$\lambda\in\mathbb{R}^{+}$为参数，则称$X$服从泊松分布（poisson distribution），记作$X\sim\operatorname{Poisson}(\lambda)$。

Property 6.5.4. Poisson分布族具有如下性质：

若$X\sim\operatorname{Poisson}(\lambda)$，则$\operatorname{E}(X)=\lambda,\;\operatorname{Var}(X)=\lambda$；
若$\lim\limits_{n\to+\infty}np_n=\lambda$，则：

\[\begin{equation*} \lim_{n\to+\infty}\binom{n}{k}p_n^k(1-p_n)^{n-k}=\frac{\lambda^k}{k!}e^{-\lambda} \end{equation*}\]

证明. (1)注意到：

\[\begin{align*} &\operatorname{E}(X)=\sum_{n=1}^{+\infty}n\frac{\lambda^n}{n!}e^{-\lambda}=\lambda e^{-\lambda}\sum_{n=1}^{+\infty}\frac{\lambda^{n-1}}{(n-1)!}=\lambda e^{-\lambda}e^{\lambda}=\lambda \\ &\operatorname{E}(X^2)=\sum_{n=1}^{+\infty}n^2\frac{\lambda^n}{n!}e^{-\lambda}=\sum_{n=1}^{+\infty}[n(n-1)+n]\frac{\lambda^n}{n!}e^{-\lambda}=\sum_{n=1}^{+\infty}n(n-1)\frac{\lambda^n}{n!}e^{-\lambda}+\operatorname{E}(X) \\ =&\sum_{n=2}^{+\infty}n(n-1)\frac{\lambda^n}{n!}e^{-\lambda}+\lambda=\lambda^2\sum_{n=2}^{+\infty}\frac{\lambda^{n-2}}{(n-2)!}e^{-\lambda}+\lambda=\lambda^2e^{-\lambda}e^{\lambda}+\lambda=\lambda^2+\lambda \end{align*}\]

由性质 6.4.2(1)可得：

\[\begin{equation*} \operatorname{Var}(X)=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\lambda^2+\lambda-\lambda^2=\lambda \end{equation*}\]

◻

6.5.2 连续型随机变量

6.5.2.1 均匀分布族

Definition 6.31. 若连续型随机变量$X$的概率密度函数为：

\[\begin{equation*} p(x)= \begin{cases} \dfrac{1}{b-a}, &x\in(a,b) \\ 0, &x\notin(a,b) \end{cases} \end{equation*}\]

其中$a,b\in\mathbb{R}$为参数且$a<b$，则称$X$服从均匀分布（uniform distribution），记作$X\sim\operatorname{U}(a,b)$。

Property 6.5.5. 均匀分布族具有如下性质：

若$X\sim\operatorname{U}(a,b)$，则$\operatorname{E}(X)=\dfrac{a+b}{2},\;\operatorname{Var}(X)=\dfrac{(b-a)^2}{12}$；

证明. (1)由定理 5.27可得：

\[\begin{gather*} \operatorname{E}(X)=\int_{(a,b)}x\frac{1}{b-a}\mathop{}\!\mathrm{d}\mu=\frac{1}{b-a}\frac{1}{2}x^2\Big|_a^b=\frac{1}{b-a}\frac{1}{2}(b^2-a^2)=\frac{1}{2}\frac{1}{b-a}(b-a)(b+a)=\frac{a+b}{2} \\ \begin{aligned} \operatorname{E}(X^2)&=\int_{(a,b)}x^2\frac{1}{b-a}\mathop{}\!\mathrm{d}\mu=\frac{1}{b-a}\frac{1}{3}x^3\Big|_a^b=\frac{1}{b-a}\frac{1}{3}(b^3-a^3)=\frac{1}{b-a}\frac{1}{3}(b-a)(b^2+ab+a^2) \\ &=\frac{1}{3}(b^2+ab+a^2) \end{aligned} \end{gather*}\]

根据性质 6.4.2(1)可得：

\[\begin{align*} \operatorname{Var}(X)&=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\frac{1}{3}(b^2+ab+a^2)-\frac{(a+b)^2}{4} \\ &=\frac{4b^2+4ab+4a^2-3a^2-6ab-3b^2}{12}=\frac{b^2-2ab+a^2}{12}=\frac{(b-a)^2}{12} \end{align*}\]

◻

6.5.2.2 Gamma分布

Definition 6.32. 若连续型随机变量$X$的概率密度函数为：

\[\begin{equation*} p(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},\;x\geqslant0 \end{equation*}\]

其中$\alpha,\lambda\in\mathbb{R}^{+}$为参数，则称$X$服从Gamma分布，记作$X\sim\operatorname{Gamma}(\alpha,\lambda)$。$\operatorname{Gamma}(1,\lambda)$也称作指数分布（exponential distribution），记作$X\sim\operatorname{Exp}(\lambda)$。

Property 6.5.6. Gamma分布具有如下性质：

若$X\sim\operatorname{Gamma}(\alpha,\lambda)$，则$\operatorname{E}(X)=\dfrac{\alpha}{\lambda},\;\operatorname{Var}(X)=\dfrac{\alpha}{\lambda^2}$；
自由度为$n$的中心$\chi^2$分布为$\operatorname{Gamma}\left(\dfrac{n}{2},\dfrac{1}{2}\right)$；

证明. (1)由定理 5.27可得：

\[\begin{gather*} \operatorname{E}(X)=\int_{(0,+\infty)}x\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}\mathop{}\!\mathrm{d}\mu=\frac{1}{\Gamma(\alpha)}\int_{(0,+\infty)}(\lambda x)^{\alpha}e^{-\lambda x}\mathop{}\!\mathrm{d}\mu=\frac{\Gamma(\alpha+1)}{\lambda\Gamma(\alpha)}=\frac{\alpha}{\lambda} \\ \begin{aligned} \operatorname{E}(X^2)&=\int_{(0,+\infty)}x^2\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}\mathop{}\!\mathrm{d}\mu=\frac{1}{\lambda\Gamma(\alpha)}\int_{(0,+\infty)}(\lambda x)^{\alpha+1}e^{-\lambda x}\mathop{}\!\mathrm{d}\mu \\ &=\frac{\Gamma(\alpha+2)}{\lambda^2\Gamma(\alpha)}=\frac{(\alpha+1)\alpha}{\lambda^2} \end{aligned} \end{gather*}\]

根据性质 6.4.2(1)可得：

\[\begin{equation*} \operatorname{Var}(X)=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\frac{(\alpha+1)\alpha}{\lambda^2}-\frac{\alpha^2}{\lambda^2}=\frac{\alpha}{\lambda^2} \end{equation*}\]

(2) ◻

6.5.2.3 Beta分布

Definition 6.33. 若连续型随机变量$X$的概率密度函数为：

\[\begin{equation*} p(x)=\frac{1}{\operatorname{B}(a,b)}x^{a-1}(1-x)^{b-1},\;x\in(0,1) \end{equation*}\]

其中$a,b\in\mathbb{R}^{+}$为参数，则称$X$服从Beta分布，记作$X\sim\operatorname{Beta}(a,b)$。

Property 6.5.7. Beta分布具有如下性质：

若$X\sim\operatorname{Beta}(a,b)$，则$\operatorname{E}(X)=\dfrac{a}{a+b},\;\operatorname{Var}(X)=\dfrac{ab}{(a+b)^2(a+b+1)}$；

证明. (1)由定理 5.27可得：

\[\begin{gather*} \operatorname{E}(X)=\int_{(0,1)}x\frac{1}{\operatorname{B}(a,b)}x^{a-1}(1-x)^{b-1}\mathop{}\!\mathrm{d}\mu=\frac{\operatorname{Beta}(a+1,b)}{\operatorname{B}(a,b)}=\frac{\Gamma(a+1)\Gamma(b)\Gamma(a+b)}{\Gamma(a+b+1)\Gamma(a)\Gamma(b)}=\frac{a}{a+b} \\ \begin{aligned} \operatorname{E}(X^2)&=\int_{(0,1)}x^2\frac{1}{\operatorname{B}(a,b)}x^{a-1}(1-x)^{b-1}\mathop{}\!\mathrm{d}\mu=\frac{\operatorname{Beta}(a+2,b)}{\operatorname{B}(a,b)} \\ &=\frac{\Gamma(a+2)\Gamma(b)\Gamma(a+b)}{\Gamma(a+b+2)\Gamma(a)\Gamma(b)}=\frac{a(a+1)}{(a+b)(a+b+1)} \end{aligned} \end{gather*}\]

根据性质 6.4.2(1)可得：

\[\begin{align*} \operatorname{Var}(X)&=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\frac{a(a+1)}{(a+b)(a+b+1)}-\frac{a^2}{(a+b)^2} \\ &=\frac{a(a+1)(a+b)-a^2(a+b+1)}{(a+b)^2(a+b+1)}=\frac{a^3+a^2b+a^2+ab-a^3-a^2b-a^2}{(a+b)^2(a+b+1)} \\ &=\frac{ab}{(a+b)^2(a+b+1)} \end{align*}\]

◻

6.5.3 正态分布族

6.5.3.1 一元正态分布

Definition 6.34. 若连续型随机变量$X$的概率密度函数为：

\[\begin{equation*} p(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] \end{equation*}\]

其中$\mu\in\mathbb{R}$和$\sigma^2\in\mathbb{R}^{+}$为参数，则称$X$服从正态分布（normal distribution），记作$X\sim\operatorname{N}(\mu,\sigma^2)$。称$\operatorname{N}(0,1)$为标准正态分布（standard normal distribution）。

note 6.7. 将标准正态分布的$\alpha$分位点记作$u_{\alpha}$。

6.5.3.2 多元正态分布

定义 7.1 Definition 6.35. $\mathbf{X}$为$n$维随机向量。若存在矩阵$A\in M_{n\times r}(\mathbb{R})$使得$\mathbf{X}=A\mathbf{U}+\boldsymbol{\mu}$，其中$\mathbf{U}=(\mathbf{U}_1,\mathbf{U}_2,\dots,\mathbf{U}_r)^{\top},\;\mathbf{U}_i\sim \operatorname{N}(0,1)$且相互独立，$\boldsymbol{\mu}$为$n$维非随机实向量，则称$\mathbf{X}$服从均值为$\boldsymbol{\mu}$、协方差矩阵为$\Sigma=AA^{\top}$的多元正态分布（multivariate normal distribution），记为$\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma)$，其中$\Sigma\geqslant\mathbf{0}$。若$|\Sigma|=0$，则称此时的分布为奇异正态分布（singular normal distribution）。

note 6.8. 由性质 5.4.3(6)和性质 6.4.3(3)(4)(5)可得$\operatorname{E}(\mathbf{X})=\boldsymbol{\mu},\;\operatorname{Cov}(\mathbf{X})=AA^{\top}$，所以上定义成立。

Property 6.5.8. 多元正态分布具有如下性质：

设$\mathbf{X}\sim\operatorname{N}_n(\boldsymbol{\mu},\Sigma),\Sigma\geqslant\mathbf{0}$，则当$\Sigma>\mathbf{0}$时，$\mathbf{X}$的概率函数为：

\[\begin{align*} p(\mathbf{X})&=\frac{1}{(2\pi)^{\frac{n}{2}}(\det\Sigma)^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})\right] \\ &=\frac{1}{(2\pi)^{\frac{n}{2}}(\det\Sigma)^{\frac{1}{2}}}\exp\left\{-\frac{1}{2}\operatorname{tr}[(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}]\right\} \end{align*}\]

当$\det\Sigma=0$时，记$\operatorname{rank}(\Sigma)=r$，$\Sigma$的非零特征值为$\lambda_1, \lambda_2, \dots, \lambda_{r}$，则$\mathbf{X}-\boldsymbol{\mu}$以概率为$1$落在$\mathcal{M}(\Sigma)$中，且在该子空间内有概率函数：

\[\begin{equation*} p(\mathbf{X})=(2\pi)^{-\frac{r}{2}}\left(\prod\limits_{i=1}^r\lambda_i\right)^{-\frac{1}{2}}\exp\left[-\frac{1}{2}(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^-(\mathbf{X}-\boldsymbol{\mu})\right] \end{equation*}\]
设$\mathbf{X}\sim\operatorname{N}_n(\boldsymbol{\mu},\Sigma),\Sigma\geqslant\mathbf{0}$，$B\in M_{m\times n}(\mathbb{R}),\;c\in\mathbb{R}^{n}$，则$\mathbf{Y}=B\mathbf{X}+c\sim \operatorname{N}(B\boldsymbol{\mu}+c,B\Sigma B^{\top})$；
设$\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma),\;\boldsymbol{\mu}=(\mu_1, \mu_2, \dots, \mu_{n})^{\top},\;\Sigma=(\sigma_{ij})$，$i_1<i_2<\cdots<i_k,\;k\leqslant n$，则有$(\mathbf{X}_{i_1},\mathbf{X}_{i_2},\dots,\mathbf{X}_{i_k})^{\top}\sim \operatorname{N}(\boldsymbol{\mu}_0,\Sigma_0)$，其中：

\[\begin{equation*} \boldsymbol{\mu}_0= \begin{pmatrix} \mu_{i_1} \\ \mu_{i_2} \\ \vdots \\ \mu_{i_k} \end{pmatrix} ,\quad \Sigma_0= \begin{pmatrix} \sigma_{i_1i_1} & \sigma_{i_1i_2} & \cdots & \sigma_{i_1i_k} \\ \sigma_{i_2i_1} & \sigma_{i_2i_2} & \cdots & \sigma_{i_2i_k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{i_ki_1} & \sigma_{i_ki_2} & \cdots & \sigma_{i_ki_k} \end{pmatrix} \end{equation*}\]
设$\mathbf{X}$是一个$n$维随机向量，则$\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma)$当且仅当它的特征函数为：

\[\begin{equation*} \varphi_\mathbf{X}(t)=\exp\left(it^{\top}\boldsymbol{\mu}-\frac{t^{\top}\Sigma t}{2}\right),\;t\in\mathbb{R}^{n} \end{equation*}\]
设$\mathbf{X}$是一个$n$维随机向量，则$\mathbf{X}$服从$n$维多元正态分布的充分必要条件为对于任意的$\alpha\in\mathbb{R}^{n}$，$\alpha^{\top}\mathbf{X}$服从正态分布；
设$\mathbf{X}\sim\operatorname{N}_m(\boldsymbol{\mu}_1,\Sigma_1)$和$\mathbf{Y}\sim\operatorname{N}_n(\boldsymbol{\mu}_2,\Sigma_2)$独立，则：

\[\begin{equation*} \mathbf{Z}= \begin{pmatrix} \mathbf{X} \\ \mathbf{Y} \end{pmatrix} \sim N_{m+n}\left[ \begin{pmatrix} \boldsymbol{\mu}_{1} \\ \boldsymbol{\mu}_{2} \end{pmatrix},\; \begin{pmatrix} \Sigma_1 & \mathbf{0} \\ \mathbf{0} & \Sigma_2 \end{pmatrix} \right] \end{equation*}\]
设$\mathbf{X}\sim N_n(\boldsymbol{\mu}_1,\Sigma_1)$和$\mathbf{Y}\sim N_n(\boldsymbol{\mu}_2,\Sigma_2)$独立，则$\mathbf{X}+\mathbf{Y}\sim N_n(\boldsymbol{\mu}+\boldsymbol{\nu},\Sigma_\mathbf{X}+\Sigma_\mathbf{Y})$；
设$\mathbf{X_j}\sim\operatorname{N}_{r_j}(\boldsymbol{\mu_j},\Sigma_{j}),\;j=1,2,\dots,m$，$\mathbf{X_j}$的联合分布为正态分布。若$\mathbf{X_j}$不相关，则$\mathbf{X_j}$相互独立，即对于服从多维正态分布的随机向量而言，若它们的联合分布仍是多维正态分布，则不相关和独立等价；
设$\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma)$，$\Sigma>\mathbf{0}$，则$(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})\sim\chi_n^2$。

证明. (1)当$\Sigma>\mathbf{0}$时：因为$\Sigma$是实对称矩阵且$\Sigma>\mathbf{0}$，所以$\Sigma^{\frac{1}{2}},\Sigma^{-\frac{1}{2}}$存在，可将$\mathbf{X}$表示为$\mathbf{X}=\Sigma^{\frac{1}{2}}\mathbf{Y}+\boldsymbol{\mu}$，其中$\mathbf{Y}$是由相互独立的服从标准正态分布的随机变量构成的$n$维随机向量，有分布函数：

\[\begin{equation*} p(\mathbf{Y})=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{\mathbf{Y}_i^2}{2}\right)=\frac{1}{(2\pi)^{\frac{n}{2}}}\exp\left(-\frac{1}{2}\mathbf{Y}^{\top}\mathbf{Y}\right) \end{equation*}\]

由求随机变量函数的分布中的变量变换法可知随机变量函数分布的变量变换法，逆矩阵的行列式，正定矩阵的行列式，矩阵乘积的行列式，逆平方根阵的对称性，矩阵乘积的转置：

\[\begin{align*} &p(\mathbf{X})=p[\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})]|\det\Sigma^{-\frac{1}{2}}| \\ =&\frac{1}{(2\pi)^{\frac{n}{2}}(\det\Sigma)^\frac{1}{2}}\exp\left\{-\frac{1}{2}[\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})]^{\top}[\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})]\right\} \\ =&\frac{1}{(2\pi)^{\frac{n}{2}}(\det\Sigma)^{\frac{1}{2}}}\exp\left\{-\frac{1}{2}(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})\right\} \end{align*}\]

只需注意到二次型的迹就是自身以及性质 2.1.5(3)就有：

\[\begin{equation*} (\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})=\operatorname{tr}[(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})]=\operatorname{tr}[(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}] \end{equation*}\]

当$\det\Sigma=0$时：

(2)因为$\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma)$，所以存在$A\in M_{n\times r}(\mathbb{R}),\;\boldsymbol{\mu}\in\mathbb{R}^{n}$使得：

\[\begin{equation*} \mathbf{X}=A\mathbf{U}+\boldsymbol{\mu},\;AA^{\top}=\Sigma,\;U\sim \operatorname{N}(\mathbf{0},I) \end{equation*}\]

于是：

\[\begin{equation*} \mathbf{Y}=B(A\mathbf{U}+\boldsymbol{\mu})+c=BA\mathbf{U}+B\boldsymbol{\mu}+c \end{equation*}\]

注意到$BA(BA)^{\top}=BAA^{\top}B^{\top}=B\Sigma B^{\top}$，所以$\mathbf{Y}\sim \operatorname{N}(B\boldsymbol{\mu}+c,B\Sigma B^{\top})$。

(3)取$A=(e_{i_1}^{\top};e_{i_2}^{\top};\cdots;e_{i_k}^{\top})$，其中$e_{i_j}$为单位列向量，只在第$i_j$位取$1$，其余位置上元素为$0$，$j=1,2,\dots,k$，于是有：

\[\begin{gather*} A\boldsymbol{\mu}=(\mu_{i_i},\mu_{i_2},\dots,\mu_{i_k})^{\top}=\boldsymbol{\mu}_0 \\ A\Sigma A^{\top}= \begin{pmatrix} e_{i_1}^{\top}\Sigma e_{i_1} & e_{i_1}^{\top}\Sigma e_{i_2} & \cdots & e_{i_1}^{\top}\Sigma e_{i_k} \\ e_{i_2}^{\top}\Sigma e_{i_1} & e_{i_2}^{\top}\Sigma e_{i_2} & \cdots & e_{i_2}^{\top}\Sigma e_{i_k} \\ \vdots & \vdots & \ddots & \vdots \\ e_{i_k}^{\top}\Sigma e_{i_1} & e_{i_k}^{\top}\Sigma e_{i_2} & \cdots & e_{i_k}^{\top}\Sigma e_{i_k}^{\top} \end{pmatrix} = \begin{pmatrix} \sigma_{i_1i_1} & \sigma_{i_1i_2} & \cdots & \sigma_{i_1i_k} \\ \sigma_{i_2i_1} & \sigma_{i_2i_2} & \cdots & \sigma_{i_2i_k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{i_ki_1} & \sigma_{i_ki_2} & \cdots & \sigma_{i_ki_k} \end{pmatrix} =\Sigma_0 \end{gather*}\]

由(2)可得$(\mathbf{X}_{i_1},\mathbf{X}_{i_2},\dots,\mathbf{X}_{i_k})^{\top}\sim \operatorname{N}(\boldsymbol{\mu}_0,\Sigma_0)$。

(4) 若$X\sim N_n(\boldsymbol{\mu},\Sigma)$，则存在矩阵$A\in M_{n\times r}(\mathbb{R})$使得$\mathbf{X}=A\mathbf{U}+\boldsymbol{\mu}$，其中$\mathbf{U}=(\mathbf{U}_1,\mathbf{U}_2,\dots,\mathbf{U}_r)^{\top}$，$\mathbf{U}_i\sim \operatorname{N}(0,1)$且互相独立，$\boldsymbol{\mu}$为$n$维非随机实向量，$\Sigma=AA^{\top}$。由性质 6.4.7(5)可得需要证明1维正态分布的特征函数：

\[\begin{equation*} \varphi_\mathbf{U}(t)=\prod_{i=1}^n\varphi_{\mathbf{U}_i}(t_i) =\prod_{i=1}^ne^{-\frac{t_i^2}{2}}=e^{-\frac{t^{\top}t}{2}},\;t\in\mathbb{R}^{n} \end{equation*}\]

于是：

\[\begin{align*} \varphi_\mathbf{X}(t) &=\operatorname{E}(e^{it^{\top}\mathbf{X}}) =\operatorname{E}[e^{it^{\top}(A\mathbf{U}+\boldsymbol{\mu})}] =e^{it\boldsymbol{\mu}}\operatorname{E}(e^{it^{\top}A\mathbf{U}}) \\ &=e^{it^{\top}\boldsymbol{\mu}}\varphi_\mathbf{U}(A^{\top}t) =e^{it^{\top}\boldsymbol{\mu}}e^{-\frac{t^{\top}AA^{\top}t}{2}} =e^{it^{\top}\boldsymbol{\mu}}e^{-\frac{t^{\top}\Sigma t}{2}} =\exp\left(it^{\top}\boldsymbol{\mu}-\frac{t^{\top}\Sigma t}{2}\right) \end{align*}\]

由性质 6.4.7(6)可知结论成立。

(5)必要性：由(2)直接得到。

充分性：由(4)可知此时$\alpha^{\top}\mathbf{X}$的特征函数为：

\[\begin{equation*} \varphi_{\alpha^{\top}\mathbf{X}}(t)=\exp\left(it\mu-\frac{1}{2}t^2\sigma^2\right) \end{equation*}\]

其中$\mu$和$\sigma^2$分别为$\alpha^{\top}\mathbf{X}$的均值与方差。由期望的性质和性质 6.4.3(3)可得：

\[\begin{gather*} \mu=\operatorname{E}(\alpha^{\top}\mathbf{X})=\alpha^{\top}\operatorname{E}(\mathbf{X}),\; \sigma^2=\operatorname{Cov}(\alpha^{\top}\mathbf{X})=\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha \end{gather*}\]

于是有：

\[\begin{equation*} \varphi_{\alpha^{\top}\mathbf{X}}(t)=\exp\left[it\alpha^{\top}\operatorname{E}(\mathbf{X})-\frac{t\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha t}{2}\right] \end{equation*}\]

由$\alpha$的任意性，上式可写作：

\[\begin{equation*} \varphi_{\mathbf{X}}(\beta)=\exp\left[i\beta^{\top}\operatorname{E}(\mathbf{X})-\frac{\beta^{\top}\operatorname{Cov}(\mathbf{X})\beta}{2}\right] \end{equation*}\]

由性质 6.4.7(6)和(4)可知$\mathbf{X}$服从多元正态分布。

(6)由定义 6.35可得。

(7) 因为：

\[\begin{equation*} \mathbf{X}+\mathbf{Y}= \begin{pmatrix} I_n & I_n \end{pmatrix} \begin{pmatrix} \mathbf{X} \\ \mathbf{Y} \end{pmatrix} \end{equation*}\]

由(6)可得：

\[\begin{equation*} \mathbf{Z}= \begin{pmatrix} \mathbf{X} \\ \mathbf{Y} \end{pmatrix} \sim N_{2n}\left[ \begin{pmatrix} \boldsymbol{\mu}_1 \\ \boldsymbol{\mu}_2 \end{pmatrix},\; \begin{pmatrix} \Sigma_1 & \mathbf{0} \\ \mathbf{0} & \Sigma_2 \end{pmatrix} \right] \end{equation*}\]

根据(2)即可得到结论。

(8)设$\mathbf{X}=(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_m})^{\top}\sim\operatorname{N}_n(\boldsymbol{\mu},\Sigma)$。因为$\mathbf{X_j}$之间不相关，于是：

\[\begin{equation*} \boldsymbol{\mu}= \begin{pmatrix} \boldsymbol{\mu_1} \\ \boldsymbol{\mu_2} \\ \cdots \\ \boldsymbol{\mu_m} \end{pmatrix},\quad \Sigma= \begin{pmatrix} \Sigma_1 & \mathbf{0} & \cdots & \mathbf{0} \\ \mathbf{0} & \Sigma_2 & \cdots & \mathbf{0} \\ \vdots & \vdots & \ddots & \vdots \\ \mathbf{0} & \mathbf{0} & \cdots & \Sigma_m \end{pmatrix} \end{equation*}\]

由(4)可得：

\[\begin{align*} \varphi_\mathbf{X}(t) &=\exp\left(it\boldsymbol{\mu}-\frac{t^{\top}\Sigma t}{2}\right) =\exp\left(i\sum_{j=1}^{m}t_j^{\top}\boldsymbol{\mu_j}-\frac{\sum\limits_{j=1}^{m}t_j^{\top}\Sigma_j t_j}{2}\right) \\ &=\prod_{j=1}^m\exp\left(it_j\boldsymbol{\mu_j}-\frac{t_j^{\top}\Sigma_j t_j}{2}\right)=\prod_{j=1}^m\varphi_\mathbf{X_j}(t_j) \end{align*}\]

由性质 6.4.7(5)可知$\mathbf{X_j}$相互独立，$j=1,2,\dots,m$。

(9)因为$\Sigma>\mathbf{0}$，所以存在$\Sigma^{-\frac{1}{2}}$。由(2)可得：

\[\begin{equation*} \Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})\sim N_n(\mathbf{0},I_n) \end{equation*}\]

于是根据性质 17.4.4(1)和(3)可得：

\[\begin{align*} (\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})&=(\mathbf{X}-\boldsymbol{\mu})^{\top}(\Sigma^{-\frac{1}{2}}\Sigma^{-\frac{1}{2}})(\mathbf{X}-\boldsymbol{\mu}) =(\mathbf{X}-\boldsymbol{\mu})^{\top}(\Sigma^{-\frac{1}{2}})^{\top}\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu}) \\ &=[\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})]^{\top}\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})\sim\chi_n^2 \end{align*}\]

◻

6.5.3.3 正态随机向量的二次型

Theorem 6.8. 设$\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma),\;\Sigma>\mathbf{0}$，$A$为$n$阶非随机实对称阵，则：

\[\begin{equation*} \operatorname{E}(\mathbf{X}^{\top}A\mathbf{X})=\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}+\operatorname{tr}(A\Sigma),\; \operatorname{Var}(\mathbf{X}^{\top}A\mathbf{X})=2\operatorname{tr}[(A\Sigma)^2]+4\boldsymbol{\mu}^{\top}A\Sigma A\boldsymbol{\mu} \end{equation*}\]

证明. 期望可直接由定理 6.6得到。记$\mathbf{Y}=\Sigma^{-\frac{1}{2}}\mathbf{X}$，由性质 6.5.8(2)可知$\mathbf{Y}\sim N_n(\Sigma^{-\frac{1}{2}}\boldsymbol{\mu},I_n)$，根据性质 6.5.8(8)，$\mathbf{Y}$的各分量相互独立。注意到$\mathbf{Y}$的各分量的三阶中心矩和四阶中心矩分别为$0$和$3$，由定理 6.7、性质 17.4.4(3)和性质 2.1.5(3)可得：

\[\begin{align*} \operatorname{Var}(\mathbf{X}^{\top}A\mathbf{X}) &=\operatorname{Var}(\mathbf{Y}^{\top}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\mathbf{Y}) \\ &=3\sum_{i=1}^{n}(\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})_{ii}^2+2\operatorname{tr}(\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})-3\sum_{i=1}^{n}(\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})_{ii}^2 \\ &\quad+4\boldsymbol{\mu}^{\top}\Sigma^{-\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\boldsymbol{\mu} \\ &=2\operatorname{tr}(\Sigma^{\frac{1}{2}}A\Sigma A\Sigma^{\frac{1}{2}})+4\boldsymbol{\mu}^{\top}A\Sigma A\boldsymbol{\mu} \\ &=2\operatorname{tr}(A\Sigma A\Sigma^{\frac{1}{2}}\Sigma^{\frac{1}{2}})+4\boldsymbol{\mu}^{\top}A\Sigma A\boldsymbol{\mu} \\ &=2\operatorname{tr}[(A\Sigma)^2]+4\boldsymbol{\mu}^{\top}A\Sigma A\boldsymbol{\mu} \end{align*}\]

◻

Theorem 6.9. 设$\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma),\;\Sigma>\mathbf{0}$，$A\in M_{n}(K)$是一个非随机实对称矩阵，则$\mathbf{X}^{\top}A\mathbf{X}\sim\chi_{r,\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}^2$的充分必要条件为$A\Sigma A=A$且$\operatorname{rank}(A)=r$。

证明. 先证明$\Sigma=I_n$时的情况。

(1)充分性：因为$A$是一个幂等阵，由性质 2.8.1(1)可知$A$的特征值只能为$0$或$1$。根据性质 2.6.3(3)可知存在正交矩阵$Q$使得：

\[\begin{equation*} A=Q^{-1} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}Q \end{equation*}\]

令$\mathbf{Y}=Q\mathbf{X}$，由性质 6.5.8(2)可知$\mathbf{Y}\sim N_n(Q\boldsymbol{\mu},I_n)$。对$\mathbf{Y}$和$Q$进行分块：

\[\begin{equation*} \mathbf{Y}= \begin{pmatrix} \mathbf{Y_1} \\ \mathbf{Y_2} \end{pmatrix},\; Q= \begin{pmatrix} Q_1 \\ Q_2 \end{pmatrix} \end{equation*}\]

其中$\mathbf{Y_1}$为$r$维随机向量，$Q_1$为$r\times n$矩阵，所以：

\[\begin{align*} \mathbf{X}^{\top}A\mathbf{X}&=\mathbf{X}^{\top}Q^{-1} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}Q\mathbf{X}=\mathbf{X}^{\top}Q^{\top} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}Q\mathbf{X} \\ &=\mathbf{Y}^{\top} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}\mathbf{Y} = \begin{pmatrix} \mathbf{Y_1}^{\top} & \mathbf{Y_2}^{\top} \end{pmatrix} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} \begin{pmatrix} \mathbf{Y_1} \\ \mathbf{Y_2} \end{pmatrix} =\mathbf{Y_1}^{\top}\mathbf{Y_1}\sim\chi_{r,\lambda}^2 \end{align*}\]

其中：

\[\begin{equation*} \lambda=(Q_1\boldsymbol{\mu})^{\top}Q_1\boldsymbol{\mu}=\boldsymbol{\mu}^{\top}Q_1^{\top}Q_1\boldsymbol{\mu}=\boldsymbol{\mu}^{\top}A\boldsymbol{\mu} \end{equation*}\]

这是因为性质 6.5.8(3)和：

\[\begin{equation*} A=Q^{-1} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}Q =Q^{\top} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}Q = \begin{pmatrix} Q_1^{\top} & Q_2^{\top} \end{pmatrix} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} \begin{pmatrix} Q_1 \\ Q_2 \end{pmatrix} =Q_1^{\top}Q_1 \end{equation*}\]

(2)必要性：设$\operatorname{rank}(A)=t$。因为$A$是实对称矩阵，由性质 2.6.3(3)可知存在正交阵$Q$使得：

\[\begin{equation*} A=Q^{-1} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} Q \end{equation*}\]

其中$\varLambda=\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{t}\}$，$\lambda_1, \lambda_2, \dots, \lambda_{t}$是$A$的非零特征值。若能证得$\lambda_i=1,\;i=1,2,\dots,t$且$t=r$，则$A$是一个幂等阵且$\operatorname{rank}(A)=r$。注意到：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}Q^{\top} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} Q\mathbf{X} \end{equation*}\]

令$\mathbf{Y}=Q\mathbf{X}$，由性质 6.5.8(2)可知$\mathbf{Y}=(\mathbf{Y}_1, \mathbf{Y}_2, \dots, \mathbf{Y}_{n})\sim N_n(Q\boldsymbol{\mu},I_n)$，根据性质 6.5.8(8)可得$\mathbf{Y}_j$之间彼此独立。令$c=Q\boldsymbol{\mu}=(c_1, c_2, \dots, c_{n})^{\top}$，由性质 6.5.8(3)可知$\mathbf{Y}_j\sim \operatorname{N}(c_j,1)$。而：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\mathbf{Y}^{\top} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}\mathbf{Y}=\sum_{j=1}^{t}\lambda_j\mathbf{Y}_j^2 \end{equation*}\]

由性质 6.4.7(4)和性质 6.5.9(3)可知：

\[\begin{align*} \varphi_{\mathbf{X}^{\top}A\mathbf{X}}(t) &=\prod_{j=1}^{t}\varphi_{\lambda_j\mathbf{Y}_j^2}(t)=\prod_{j=1}^t(1-2it)^{-\frac{1}{2}}\exp\left\{\frac{i\lambda_jtc_j^2}{1-2i\lambda_jt}\right\} \\ &=(1-2it)^{-\frac{t}{2}}\prod_{j=1}^t\exp\left\{\frac{i\lambda_jtc_j^2}{1-2i\lambda_jt}\right\} \end{align*}\]

因为$\mathbf{X}^{\top}A\mathbf{X}\sim\chi_{r,\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}^2$，所以：

\[\begin{equation*} \varphi_{\mathbf{X}^{\top}A\mathbf{X}}(t)=(1-2it)^{-\frac{r}{2}}\exp\left\{\frac{it\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}{1-2it}\right\} \end{equation*}\]

由性质 6.4.7(6)可知：

\[\begin{equation*} (1-2it)^{-\frac{t}{2}}\prod_{j=1}^t\exp\left\{\frac{i\lambda_jtc_j^2}{1-2i\lambda_jt}\right\}=(1-2it)^{-\frac{r}{2}}\exp\left\{\frac{it\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}{1-2it}\right\} \end{equation*}\]

所以$t=r$，同时有：

\[\begin{equation*} \sum_{j=1}^{t}\frac{i\lambda_jtc_j^2}{1-2i\lambda_jt}=\frac{it\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}{1-2it} \end{equation*}\]

即：

\[\begin{gather*} \sum_{j=1}^{t}\frac{i\lambda_jtc_j^2}{1-2i\lambda_jt}=\frac{1}{1-2it}it\boldsymbol{\mu}^{\top}Q^{\top} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} Q\boldsymbol{\mu} \\ \sum_{j=1}^{t}\frac{\lambda_jc_j^2}{1-2i\lambda_jt}=\frac{1}{1-2it}c^{\top} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} c \\ \sum_{j=1}^{t}\frac{\lambda_jc_j^2}{1-2i\lambda_jt}=\frac{1}{1-2it}\sum_{j=1}^{t}\lambda_jc_j^2 \\ \frac{\lambda_jc_j^2}{1-2i\lambda_jt}=\frac{\lambda_jc_j^2}{1-2it},\;j=1,2,\dots,t \end{gather*}\]

所以$\lambda_j=1$。

当$\Sigma$为一般正定阵时，因为$\Sigma>\mathbf{0}$，所以存在$\Sigma^{-\frac{1}{2}}$。考虑随机向量$\mathbf{Y}=\Sigma^{-\frac{1}{2}}\mathbf{X}$，由性质 6.5.8(2)可知$\mathbf{Y}\sim N_n(\Sigma^{-\frac{1}{2}}\boldsymbol{\mu},I_n)$。注意到：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}\Sigma^{-\frac{1}{2}}\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X} \end{equation*}\]

由性质 17.4.4(3)可得：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}(\Sigma^{-\frac{1}{2}})^{\top}\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X}=\mathbf{Y}\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\mathbf{Y} \end{equation*}\]

由定理 6.9可得$\mathbf{Y}\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\mathbf{Y}\sim\chi_{r,\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}^2$的充分必要条件为$\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}$是一个对称阵且：

\[\begin{gather*} (\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})^2=\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}},\; \operatorname{rank}(\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})=r,\; (\Sigma^{-\frac{1}{2}}\boldsymbol{\mu})^{\top}\Sigma^{\frac{1}{2}} A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\boldsymbol{\mu}=\boldsymbol{\mu}^{\top}A\boldsymbol{\mu} \end{gather*}\]

第三式显然成立。因为$\Sigma>\mathbf{0}$，所以$\operatorname{rank}(\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})=\operatorname{rank}(A)$。注意到：

\[\begin{align*} (\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})^2=\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}&\Leftrightarrow \Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}=\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}} \\ &\Leftrightarrow \Sigma^{\frac{1}{2}}A\Sigma A\Sigma^{\frac{1}{2}}=\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Leftrightarrow A\Sigma A=A \end{align*}\]

◻

Theorem 6.10. 设$\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma),\;\Sigma>\mathbf{0}$，$A\in M_{n}(\mathbb{R})$是一个对称矩阵，$B\in M_{m\times n}(\mathbb{R})$。若$B\Sigma A=\mathbf{0}$，则$B\mathbf{X}$与$\mathbf{X}^{\top}A\mathbf{X}$相互独立。

证明. 先证明$\Sigma=I_n$时的情况。

因为$A$是一个实对称矩阵，由性质 2.6.3(3)可知存在正交矩阵$Q$使得：

\[\begin{equation*} Q^{\top}AQ= \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} \end{equation*}\]

其中$\varLambda=\operatorname{diag}(\lambda_1, \lambda_2, \dots, \lambda_{r}),\;\lambda_i\ne0,\;i=1,2,\dots,r,\;\operatorname{rank}(A)=r$。因为$BA=\mathbf{0}$，所以有$BQQ^{\top}AQ=BAQ=\mathbf{0}$，于是：

\[\begin{equation*} BQ \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} =\mathbf{0} \end{equation*}\]

设：

\[\begin{equation*} C=BQ= \begin{pmatrix} C_{11} & C_{12} \\ C_{21} & C_{22} \end{pmatrix} \end{equation*}\]

则：

\[\begin{equation*} BQ \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} = \begin{pmatrix} C_{11}\varLambda & \mathbf{0} \\ C_{21}\varLambda & \mathbf{0} \end{pmatrix} =\begin{pmatrix} \mathbf{0} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} \end{equation*}\]

于是有$C_{11}=\mathbf{0},\;C_{21}=\mathbf{0}$。对$C$和$Q$做对应分块：

\[\begin{equation*} C=BQ= \begin{pmatrix} \mathbf{0} & C_1 \end{pmatrix},\; Q= \begin{pmatrix} Q_1 & Q_2 \end{pmatrix} \end{equation*}\]

于是：

\[\begin{equation*} B=CQ^{\top}= \begin{pmatrix} \mathbf{0} & C_1 \end{pmatrix} \begin{pmatrix} Q_1^{\top} \\ Q_2^{\top} \end{pmatrix} =C_1Q_2^{\top} \end{equation*}\]

而：

\[\begin{equation*} A=Q \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} Q^{\top} = \begin{pmatrix} Q_1 & Q_2 \end{pmatrix} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} \begin{pmatrix} Q_1^{\top} \\ Q_2^{\top} \end{pmatrix} =Q_1\varLambda Q_1^{\top} \end{equation*}\]

记$\mathbf{Y}=Q^{\top}\mathbf{X}$，由性质 6.5.8(2)可得：

\[\begin{equation*} \mathbf{Y}= \begin{pmatrix} \mathbf{Y_1} \\ \mathbf{Y_2} \end{pmatrix} = \begin{pmatrix} Q_1^{\top}\mathbf{X} \\ Q_2^{\top}\mathbf{X} \end{pmatrix} \sim N_n(Q^{\top}\boldsymbol{\mu},\sigma^2I_n) \end{equation*}\]

由性质 6.5.8(8)可知$\mathbf{Y_1}$与$\mathbf{Y_2}$独立。因为：

\[\begin{gather*} B\mathbf{X}=C_1Q_2^{\top}\mathbf{X}=C_1\mathbf{Y_2} \\ \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}Q_1\varLambda Q_1^{\top}\mathbf{X}=\mathbf{Y_1}^{\top}\varLambda\mathbf{Y_1} \end{gather*}\]

所以$B\mathbf{X}$与$\mathbf{X}^{\top}A\mathbf{X}$独立，结论在$\Sigma=I_n$时成立。

当$\Sigma$为一般正定阵时，存在$\Sigma^{-\frac{1}{2}}$。由性质 17.4.4(3)和性质 6.5.8(2)可得此时有：

\[\begin{gather*} \Sigma^{-\frac{1}{2}}\mathbf{X}\sim\operatorname{N}_n(\Sigma^{-\frac{1}{2}}\boldsymbol{\mu},I_n),\quad B\mathbf{X}=B\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X} \\ \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}\Sigma^{-\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X}=(\Sigma^{-\frac{1}{2}}\mathbf{X})^{\top}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X} \end{gather*}\]

于是当：

\[\begin{equation*} B\Sigma^{\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}=B\Sigma A\Sigma^{\frac{1}{2}}=\mathbf{0} \end{equation*}\]

时，$B\mathbf{X}$与$\mathbf{X}^{\top}A\mathbf{X}$相互独立，上式等式两边同时右乘$\Sigma^{-\frac{1}{2}}$即可得到其等价于$B\Sigma A=\mathbf{0}$。 ◻

Theorem 6.11. 设$\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma)$，$A,B$为$n$阶实对称阵。若$A\Sigma B=\mathbf{0}$，则$\mathbf{X}^{\top}A\mathbf{X}$与$\mathbf{X}^{\top}B\mathbf{X}$独立。

证明. 先证明$\Sigma=I_n$时的情况。

因为$AB=\mathbf{0}$且$A,B$都是对称阵，所以$BA=B^{\top}A^{\top}=(AB)^{\top}=\mathbf{0}$，即$AB=BA$，所以由性质 2.6.3(3)可知存在正交矩阵$Q$可使得$A,B$同时对角化，即：

\[\begin{equation*} Q^{\top}AQ=\varLambda_1=\operatorname{diag}\{\lambda^{(1)}_1, \lambda^{(1)}_2, \dots, \lambda^{(1)}_{n}\},\quad Q^{\top}BQ=\varLambda_2=\operatorname{diag}\{\lambda^{(2)}_1, \lambda^{(2)}_2, \dots, \lambda^{(2)}_{n}\} \end{equation*}\]

因为$AB=\mathbf{0}$，所以：

\[\begin{equation*} Q\varLambda_1Q^{\top}Q\varLambda_2Q^{\top}=Q\varLambda_1\varLambda_2Q^{\top}=\mathbf{0} \end{equation*}\]

等式两边先同时左乘$Q^{\top}$再同时右乘$Q$即可得到$\varLambda_1\varLambda_2=\mathbf{0}$，即$\lambda_i^{(1)}$和$\lambda_i^{(2)}$中至少有一个为$0,\;i=1,2,\dots,n$。令$\mathbf{Y}=Q^{\top}\mathbf{X}$，由性质 6.5.8(2)可得$\mathbf{Y}\sim\operatorname{N}_n(Q^{\top}\boldsymbol{\mu},I_n)$，所以$\mathbf{Y}$的各分量相互独立。因为：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}Q\varLambda_1Q^{\top}\mathbf{X}=\mathbf{Y}^{\top}\varLambda_1\mathbf{Y},\quad\mathbf{X}^{\top}B\mathbf{X}=\mathbf{X}^{\top}Q\varLambda_2Q^{\top}\mathbf{X}=\mathbf{Y}^{\top}\varLambda_2\mathbf{Y} \end{equation*}\]

二者依赖的$\mathbf{Y}$的分量不同，所以$\mathbf{X}^{\top}A\mathbf{X}$与$\mathbf{X}^{\top}B\mathbf{X}$独立。

当$\Sigma$为一般正定矩阵时，存在$\Sigma^{-\frac{1}{2}}$。由性质 17.4.4(3)和性质 6.5.8(2)可得此时有：

\[\begin{gather*} \Sigma^{-\frac{1}{2}}\mathbf{X}\sim\operatorname{N}_n(\Sigma^{-\frac{1}{2}}\boldsymbol{\mu},I_n) \\ \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}\Sigma^{-\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X}=(\Sigma^{-\frac{1}{2}}\mathbf{X})^{\top}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X} \\ \mathbf{X}^{\top}B\mathbf{X}=\mathbf{X}^{\top}\Sigma^{-\frac{1}{2}}\Sigma^{\frac{1}{2}}B\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X}=(\Sigma^{-\frac{1}{2}}\mathbf{X})^{\top}\Sigma^{\frac{1}{2}}B\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X} \end{gather*}\]

于是当：

\[\begin{equation*} \Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{\frac{1}{2}}B\Sigma^{\frac{1}{2}}=\Sigma^{\frac{1}{2}}A\Sigma B\Sigma^{\frac{1}{2}}=\mathbf{0} \end{equation*}\]

时，$\mathbf{X}^{\top}A\mathbf{X}$与$\mathbf{X}^{\top}B\mathbf{X}$相互独立，上式等式两边同时左乘$\Sigma^{-\frac{1}{2}}$再右乘$\Sigma^{-\frac{1}{2}}$即可得到其等价于$B\Sigma A=\mathbf{0}$。 ◻

6.5.4 正态分布的衍生分布

6.5.4.1 $\chi^2$分布

Definition 6.36. 设$\mathbf{X}\sim N_n(\boldsymbol{\mu}, I_n)$，则随机变量$Y=X^{\top}X$的分布称为自由度为$n$、非中心参数为$\lambda=\boldsymbol{\mu}^{\top}\boldsymbol{\mu}$的$\chi^2$分布，记为$\mathbf{Y}\sim \chi^2_{n,\lambda}$。当$\lambda=0$时，称$Y$的分布为中心$\chi^2$分布，记为$Y\sim\chi_n^2$。其概率密度函数可以写为Poisson混合形式：

\[\begin{equation*} p(y)=e^{-\frac{\lambda}{2}}\sum_{j=0}^{+\infty}\frac{(\lambda/2)^j}{j!} \frac{y^{\frac{n}{2}+j-1}e^{-\frac{y}{2}}}{2^{\frac{n}{2}+j}\Gamma\left(\frac{n}{2}+j\right)},\quad y>0 \end{equation*}\]

Property 6.5.9. $\chi^2$分布具有如下性质：

设$Y_i\sim\chi_{n_i,\lambda_i}^2,\;i=1,2,\dots,k$相互独立，则：

\[\begin{gather*} \sum_{i=1}^{k}Y_i\sim\chi_{n,\lambda}^2,\quad\text{其中} n=\sum_{i=1}^{k}n_i,\;\lambda=\sum_{i=1}^{k}\lambda_i \end{gather*}\]
设$Y\sim\chi_{n,\lambda}^2$，则$\operatorname{E}(Y)=n+\lambda,\;\operatorname{Var}(Y)=2n+4\lambda$；
设$Y\sim\chi_{n,\lambda}^2$，$\mathbf{X}\sim N_n(\boldsymbol{\mu},I_n),\;Y=\mathbf{X}^{\top}\mathbf{X}$，则：

\[\begin{equation*} \varphi_{Y}(t)=(1-2it)^{-\frac{n}{2}}\exp\left\{\frac{it\lambda}{1-2it}\right\} \end{equation*}\]

证明. (1)设$Y_i=\mathbf{X_i}^{\top}\mathbf{X_i}$，其中$\mathbf{X_i}\sim N_{n_i}(\boldsymbol{\mu_i},I_{n_i})$。令$\mathbf{X}=(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_k})^{\top}$，则有

\[\begin{equation*} \sum_{i=1}^{k}Y_i=\sum_{i=1}^{k}\mathbf{X_i}^{\top}\mathbf{X_i}=(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_k})(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_k})^{\top}=\mathbf{X}^{\top}\mathbf{X} \end{equation*}\]

因为$Y_i$相互独立，所以$\mathbf{X_i}$也相互独立，由性质 6.5.8(6)可得$\mathbf{X}\sim N_n(\boldsymbol{\mu},I_n)$，其中：

\[\begin{equation*} n=\sum_{i=1}^{k}n_i,\;\boldsymbol{\mu}=(\boldsymbol{\mu_1},\boldsymbol{\mu_2},\dots,\boldsymbol{\mu_n})^{\top} \end{equation*}\]

因此有：

\[\begin{equation*} \sum_{i=1}^{k}Y_i\sim\chi_{n,\lambda}^2,\;\lambda=\boldsymbol{\mu}^{\top}\boldsymbol{\mu}=\sum_{i=1}^{k}\boldsymbol{\mu_i}^{\top}\boldsymbol{\mu_i}=\sum_{i=1}^{k}\lambda_i \end{equation*}\]

(2)因为$Y\sim\chi_{n,\lambda}^2$，由定义可知$Y$可以表示为：

\[\begin{equation*} Y=\sum_{i=1}^{n}X_i^2,\;X_i\sim N(\mu_i,1),\;\sum_{i=1}^{n}\mu_i^2=\lambda \end{equation*}\]

其中$X_i$相互独立。由性质 6.4.2(1)可知：

\[\begin{equation*} \operatorname{E}(Y)=\operatorname{E}\left(\sum_{i=1}^{n}X_i^2\right)=\sum_{i=1}^{n}\operatorname{E}(X_i^2)=\sum_{i=1}^{n}\{\operatorname{Var}(X_i)+[\operatorname{E}(X_i)]^2\}=\sum_{i=1}^{n}(1+\mu_i^2)=n+\lambda \end{equation*}\]

因为$X_i$相互独立，由性质 6.4.2(3)和性质 6.4.3(7)可知：

\[\begin{align*} \operatorname{Var}(Y) &=\operatorname{Var}\left(\sum_{i=1}^{n}X_i^2\right)=\sum_{i=1}^{n}\operatorname{Var}(X_i^2)=\sum_{i=1}^{n}\{\operatorname{E}(X_i^4)-[\operatorname{E}(X_i^2)]^2\} \\ &=\sum_{i=1}^{n}\operatorname{E}(X_i^4)-\sum_{i=1}^{n}[\operatorname{E}(X_i^2)]^2 \end{align*}\]

由性质 6.4.2(1)可知：

\[\begin{equation*} \operatorname{E}(X_i^2)=\operatorname{Var}(X_i)+[\operatorname{E}(X_i)]^2=1+\mu_i^2 \end{equation*}\]

所以：

\[\begin{equation*} \sum_{i=1}^{n}[\operatorname{E}(X_i^2)]^2=\sum_{i=1}^{n}(\mu_i^4+2\mu_i^2+1)=\sum_{i=1}^{n}\mu_i^4+2\sum_{i=1}^{n}\mu_i^2+n=\sum_{i=1}^{n}\mu_i^4+2\lambda+n \end{equation*}\]

而：

\[\begin{equation*} \operatorname{E}(X_i^4)=\mu_i^4+6\mu_i^2+3 \end{equation*}\]

于是：

\[\begin{align*} \operatorname{Var}(Y) &=\sum_{i=1}^{n}\operatorname{E}(X_i^4)-\sum_{i=1}^{n}[\operatorname{E}(X_i^2)]^2 \\ &=\sum_{i=1}^{n}\mu_i^4+6\sum_{i=1}^{n}\mu_i^2+3n-\sum_{i=1}^{n}\mu_i^4-2\lambda-n \\ &=6\lambda+3n-2\lambda-n=2n+4\lambda \end{align*}\]

(3)因为$\mathbf{X}\sim N_n(\boldsymbol{\mu},I_n)$，由性质 6.5.8(8)可知$\mathbf{X}_i$相互独立，所以$\mathbf{X}_i^2$相互独立。因为$Y=\mathbf{X}^{\top}\mathbf{X}=\sum\limits_{i=1}^n\mathbf{X}_i^2$，由性质 6.4.7(4)可知：

\[\begin{equation*} \varphi_{Y}(t)=\prod_{i=1}^n\varphi_{\mathbf{X}_i^2}(t) \end{equation*}\]

下面来求$\varphi_{\mathbf{X}_i^2}$。

由性质 6.5.8(3)可知$\mathbf{X}_i\sim N(\mu_i,1)$，于是：

\[\begin{align*} \varphi_{\mathbf{X}_i^2}(t) &=\operatorname{E}(e^{it\mathbf{X}_i^2}) \\ &=\int_{-\infty}^{+\infty}e^{itx^2}\frac{1}{\sqrt{2\pi}}e^{-\frac{(x-\mu_i)^2}{2}}\mathop{}\!\mathrm{d}x \\ &=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}\exp\left\{-\frac{x^2 - 2\mu_ix + \mu_i^2}{2} + itx^2\right\}\mathop{}\!\mathrm{d}x \\ &=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}\exp\left\{-\frac{x^2}{2} (1 - 2it) + \mu_ix - \frac{\mu_i^2}{2}\right\}\mathop{}\!\mathrm{d}x \\ &=\frac{1}{\sqrt{2\pi}}e^{-\frac{\mu_i^2}{2}} \int_{-\infty}^{\infty} \exp\left\{-\frac{x^2}{2} (1 - 2it) + \mu_ix\right\}\mathop{}\!\mathrm{d}x \end{align*}\]

这是一个Gaussian积分，由Gaussian积分公式可得：

\[\begin{align*} \varphi_{\mathbf{X}_i^2}(t) &=\frac{1}{\sqrt{2\pi}}e^{-\frac{\mu_i^2}{2}} \int_{-\infty}^{\infty}\exp\left\{-\frac{x^2}{2} (1 - 2it) + \mu_i x\right\}\mathop{}\!\mathrm{d}x \\ &=\frac{1}{\sqrt{2\pi}}e^{-\frac{\mu_i^2}{2}}\sqrt{\frac{2\pi}{1-2it}}e^{\frac{\mu_i^2}{2-4it}} =(1-2it)^{-\frac{1}{2}}\exp\left\{\frac{\mu_i^2}{2-4it}-\frac{\mu_i^2}{2}\right\} \\ &=(1-2it)^{-\frac{1}{2}}\exp\left\{\frac{it\mu_i^2}{1-2it}\right\} \end{align*}\]

于是：

\[\begin{equation*} \varphi_{Y}=\prod_{i=1}^n(1-2it)^{-\frac{1}{2}}\exp\left\{\frac{it\mu_i^2}{1-2it}\right\}=(1-2it)^{-\frac{n}{2}}\exp\left\{\frac{it\lambda}{1-2it}\right\} \end{equation*}\]

◻

6.5.4.2 $t$分布

Definition 6.37. 设随机变量$X\sim N(0,1),\;Y\sim\chi_n^2$且$X$与$Y$独立，则称：

\[\begin{equation*} T=\frac{X}{\sqrt{Y/ n}} \end{equation*}\]

为自由度是$n$的$t$变量，其分布称为自由度为$n$的$t$分布，记为$T\sim \operatorname{t}_n$。其概率密度函数为：

\[\begin{equation*} p(x)=\frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi}\,\Gamma\left(\frac{n}{2}\right)} \left(1+\frac{x^2}{n}\right)^{-\frac{n+1}{2}},\quad x\in\mathbb{R} \end{equation*}\]

6.5.4.3 $F$分布

Definition 6.38. 设随机变量$X\sim \chi_m^2,\;Y\sim\chi_n^2$且$X$与$Y$独立，则称：

\[\begin{equation*} F=\frac{X/m}{Y/n} \end{equation*}\]

为自由度是$m$和$n$的$F$变量，其分布称为自由度为$m$和$n$的$F$分布，记为$F\sim \operatorname{F}_{m,n}$。其概率密度函数为：

\[\begin{equation*} p(x)=\frac{1}{\operatorname{B}\left(\frac{m}{2},\frac{n}{2}\right)} \left(\frac{m}{n}\right)^{\frac{m}{2}}x^{\frac{m}{2}-1} \left(1+\frac{m}{n}x\right)^{-\frac{m+n}{2}},\quad x>0 \end{equation*}\]

Property 6.5.10. $F$分布具有如下性质：

若$F\sim \operatorname{F}_{m,n}$，则有$\frac{1}{F}\sim \operatorname{F}_{n,m}$；
若$T\sim \operatorname{t}_n$，则有$T^2\sim \operatorname{F}_{1,n}$；
$\operatorname{F}_{m,n}(1-\alpha)=\dfrac{1}{\operatorname{F}_{n,m}(\alpha)}$；

证明. (1)由$F$分布的定义直接可得。

(2)设：

\[\begin{equation*} T=\frac{X}{\sqrt{Y/n}} \end{equation*}\]

其中$X\sim N(0,1),\;Y\sim\chi_n^2$且$X$与$Y$独立，于是：

\[\begin{equation*} T^2=\frac{X^2}{Y/n}=\frac{X^2/1}{Y/n} \end{equation*}\]

注意到$X^2\sim\chi_1^2$且有$X^2$与$Y$独立，由$F$分布的定义即可得到$T^2\sim \operatorname{F}_{1,n}$。

(3)由分位数的定义、性质 5.2.1(2)和性质 6.1.1(1)可得：

\[\begin{gather*} P[F>\operatorname{F}_{m,n}(1-\alpha)]=\alpha \\ P\left(\frac{X/m}{Y/n}>\operatorname{F}_{m,n}(1-\alpha)\right)=\alpha \\ P\left(\frac{Y/n}{X/m}<\frac{1}{\operatorname{F}_{m,n}(1-\alpha)}\right)=\alpha \\ P\left(\frac{Y/n}{X/m}\geqslant\frac{1}{\operatorname{F}_{m,n}(1-\alpha)}\right)=1-\alpha \\ P\left(\frac{Y/n}{X/m}>\frac{1}{\operatorname{F}_{m,n}(1-\alpha)}\right)=1-\alpha \end{gather*}\]

即：

\[\begin{equation*} \operatorname{F}_{m,n}(1-\alpha)=\frac{1}{\operatorname{F}_{n,m}(\alpha)} \end{equation*}\]

◻

6.5.5 随机数的生成

随机数的生成是对随机问题进行数值检验的重要工具。对于随机现象的分布、概率或数字特征等理论结论，可以按照给定的概率分布生成大量观测值来模拟随机试验，进而检验理论结论是否与数值结果相符。对于含有随机步骤的算法，还可以在相同条件下重复运行，比较多次运行的结果，以考察算法输出的波动及其稳定性。

随机数的生成通常以均匀分布为基础。数论中的同余等方法可以帮助我们在计算机上构造具有良好均匀性的伪随机数列，从而实现均匀分布的抽样。但对于概率密度较为复杂的分布，直接抽样往往并不容易。

6.5.5.1 逆变换法

Definition 6.39. 设$F$是$\mathbb{R}$上的准分布函数。定义：

\[\begin{equation*} \forall\;t\in(F(-\infty),F(+\infty)),\;F^{\leftarrow}(t)=\inf\{x\in\mathbb{R}:F(x)\geqslant t\} \end{equation*}\]

称$F^{\leftarrow}$为$F$的左连续逆（left-continuous inverse）。

Property 6.5.11. 对任意$\mathbb{R}$上的准分布函数$F$，有：

$\forall\;t\in(F(-\infty),F(+\infty)),\;\forall\;x\in\mathbb{R},\;F^{\leftarrow}(t)\leqslant x\Leftrightarrow F(x)\geqslant t$；
$\forall\;t\in(F(-\infty),F(+\infty)),\;F^{\leftarrow}(t)\in\mathbb{R}$；
$F^{\leftarrow}$左连续；
$F^{\leftarrow}$单调递增。

证明. (1)由$F$的单调性可得：

\[\begin{equation*} F^{\leftarrow}(t)\leqslant x\Leftrightarrow\inf\{y\in\mathbb{R}:F(y)\geqslant t\}\leqslant x\Leftrightarrow F(x)\geqslant t \end{equation*}\]

(2)若存在$t\in(F(-\infty),F(+\infty))$使得$F^{\leftarrow}(t)=-\infty$，则对于任意的$x\in\mathbb{R}$有$F^{\leftarrow}(t)\leqslant x$，由(1)可得$F(x)\geqslant t$，根据$F$的单调性，此时应有$t\leqslant F(-\infty)$，矛盾。正无穷的情况同理可得。

(3)对任意的$t\in(F(-\infty),F(+\infty))$，取任意的$\{t_n\}\uparrow t$，则对任意的$n\in\mathbb{N}^+$有：

\[\begin{equation*} \{x\in\mathbb{R}:F(x)\geqslant t\}\subseteq\{x\in\mathbb{R}:F(x)\geqslant t_n\},\;\{x\in\mathbb{R}:F(x)\geqslant t_{n+1}\}\subseteq\{x\in\mathbb{R}:F(x)\geqslant t_n\} \end{equation*}\]

于是$F^{\leftarrow}(t)\geqslant F^{\leftarrow}(t_n),\;F^{\leftarrow}(t_{n+1})\geqslant F^{\leftarrow}(t_n)$，所以$\{F^{\leftarrow}(t_n)\}$单调递增且有上界。由性质 3.2.9(7)可知$\{F^{\leftarrow}(t_n)\}$存在极限，根据性质 3.2.9(6)可得该极限小于等于$F^{\leftarrow}(t)$。若：

\[\begin{equation*} \lim_{n\to+\infty}F^{\leftarrow}(t_n)<F^{\leftarrow}(t) \end{equation*}\]

由实数的稠密性可取$y$满足：

\[\begin{equation*} \lim_{n\to+\infty}F^{\leftarrow}(t_n)<y<F^{\leftarrow}(t) \end{equation*}\]

根据性质 3.2.9(5)可知存在$N\in\mathbb{N}^+$使得当$n>N$时有$F^{\leftarrow}(t_n)<y$，于是$F(t_n)\leqslant F(y)\leqslant F(t)$。因为$F$是单调递增的且$\{t_n\}\uparrow t$，上式成立当且仅当$F(y)=F(t)$，由(1)可知此时$y\geqslant F^{\leftarrow}(t)$，矛盾。

(4)由(3)的证明过程立即可得。 ◻

note 6.9. 左连续逆实际就是广义的分位点。

若目标分布的分布函数具有容易计算的左连续逆，则可以将均匀分布的观测值直接变换为目标分布的观测值，这种方法称为逆变换法。

Method 6.2. 设$U$是概率空间$(X,\mathscr{F},P)$上服从$\operatorname{U}(0,1)$的随机变量。根据连续型随机变量的定义，在$P$零测集上适当修改$U$可使得$U(X)\subseteq(0,1)$。令：

\[\begin{equation*} f=F^{\leftarrow}(U) \end{equation*}\]

逆变换法按如下步骤生成一个观测值：

生成$U$的一个观测值$u\in(0,1)$；
输出$y=F^{\leftarrow}(u)$。

则$f\sim F$，即算法的输出服从分布函数$F$所确定的概率分布。

证明. 任取$u\in(0,1)$，由性质 6.5.11(1)可知对任意的$y\in\mathbb{R}$有：

\[\begin{equation*} F^{\leftarrow}(u)\leqslant y\iff u\leqslant F(y) \end{equation*}\]

于是根据性质 5.1.7(1.b)可知：

\[\begin{equation*} \{u\in(0,1):F^{\leftarrow}(u)\leqslant y\}=(0,F(y)]\cap(0,1)\in\mathcal{B}(\mathbb{R}) \end{equation*}\]

根据性质 5.3.3(1.b)可知$F^{\leftarrow}$是Borel函数，由性质 5.3.1(2)可知$f=F^{\leftarrow}(U)$是随机变量。对任意的$y\in\mathbb{R}$，由均匀分布的定义可得：

\[\begin{equation*} P(f\leqslant y)=P(F^{\leftarrow}(U)\leqslant y)=P(U\leqslant F(y))=F(y) \end{equation*}\]

由$y$的任意性可知$f\sim F$。 ◻

6.5.5.2 接受拒绝法

另一种生成服从给定分布$\pi$的随机数的思想为：可以选取一个容易抽样的概率分布$Q$作为候选分布，先从$Q$中生成候选观测值，再按照适当的概率接受或拒绝该观测值。若接受概率选择得适当，则最终被接受的样本虽然最初来自$Q$，其条件分布却可以恰好等于目标分布$\pi$。这一思想对应的实现就是接受拒绝抽样法。

Method 6.3. 设$(Y,\mathscr{A},\mu)$是$\sigma$有限测度空间，$\tilde{\pi}:Y\to[0,+\infty)$是$(Y,\mathscr{A})$上目标概率分布$\pi$关于$\mu$的未归一化概率密度，即：

\[\begin{equation*} Z=\int_{Y}\tilde{\pi}(y)\mathop{}\!\mathrm{d}\mu\in(0,+\infty),\qquad\forall\;A\in\mathscr{A},\;\pi(A)=\frac{1}{Z}\int_{A}\tilde{\pi}(y)\mathop{}\!\mathrm{d}\mu \end{equation*}\]

设$Q$是$(Y,\mathscr{A})$上的概率测度，$Q\ll\mu$。根据定理 5.33，取$q=\dfrac{\mathop{}\!\mathrm{d}Q}{\mathop{}\!\mathrm{d}\mu}$的一个非负版本。若存在$M\in(0,+\infty)$使得：

\[\begin{equation*} \tilde{\pi}(y)\leqslant Mq(y)\;\text{a.e.于}(Y,\mathscr{A},\mu) \end{equation*}\]

则令：

\[\begin{equation*} \alpha(y)= \begin{cases} \dfrac{\tilde{\pi}(y)}{Mq(y)},&q(y)>0 \\ 0,&q(y)=0 \end{cases} \end{equation*}\]

在$\mu$零测集上适当修改$\alpha$，可使$0\leqslant\alpha(y)\leqslant1$对任意的$y\in Y$成立。设$f$为概率空间$(X,\mathscr{F},P)$到$(Y,\mathscr{A})$上的可测映射且$Pf^{-1}=Q$，$U\sim\operatorname{U}(0,1)$且$U$与$f$独立。接受拒绝法按如下步骤生成一个观测值：

独立生成$f$的一个观测值$y\in Y$；
独立生成$U$的一个观测值$u\in(0,1)$；
若$u\leqslant\alpha(y)$，则接受并输出$y$；否则拒绝$y$，并与此前试验独立地返回第(1)步。

算法一次运行输出最终被接受的观测值$y\in Y$，单次试验的接受概率为$Z/M$，算法以概率$1$在有限步内输出一个值，且算法的输出的概率分布为$\pi$。

证明. 对任意的$x\in X$，$f(x)$就是第(1)步生成的候选观测值，$U(x)$就是第(2)步生成的均匀分布观测值。记单次试验的接受事件为：

\[\begin{equation*} C=\{U\leqslant\alpha(f)\} \end{equation*}\]

根据性质 5.3.3(5.a)(1.b)可知$C\in\mathscr{F}$。

由性质 6.2.1(5.a)可知：

\[\begin{equation*} P(f,U)^{-1}=Pf^{-1}\times PU^{-1} \end{equation*}\]

其中$Pf^{-1}$与$PU^{-1}$分别为$f$与$U$的概率分布。任取$A\in\sigma(f)$，则存在$B\in\mathcal{B}(\mathbb{R})$使得：

\[\begin{equation*} A=\{f\in B\} \end{equation*}\]

于是由定理 5.37(2)、指示函数的乘积性质、均匀分布的定义、定理 5.28和定理 5.27可得：

\[\begin{align*} &P(A\cap C)=P\left(\{f\in B\}\cap\{U\leqslant\alpha(f)\}\right) \\ =&\int_{\mathbb{R}\times[0,1]}I_{B\cap\{U\leqslant\alpha(f)\}}\mathop{}\!\mathrm{d}P(f,U)^{-1}=\int_{\mathbb{R}}\int_{[0,1]}I_{B}I_{\{U\leqslant\alpha(f)\}}\mathop{}\!\mathrm{d}PU^{-1}\mathop{}\!\mathrm{d}Pf^{-1} \\ =&\int_{\mathbb{R}}I_{B}\left[\int_{[0,1]}I_{\{U\leqslant\alpha(f)\}}\mathop{}\!\mathrm{d}PU^{-1}\right]\mathop{}\!\mathrm{d}Pf^{-1}=\int_{\mathbb{R}}I_{B}\alpha(f)\mathop{}\!\mathrm{d}Pf^{-1} \\ =&\int_{X}I_{A}\alpha[f(x)]\mathop{}\!\mathrm{d}P=\int_{A}\alpha[f(x)]\mathop{}\!\mathrm{d}P \end{align*}\]

根据非负简单函数积分的定义可得：

\[\begin{equation*} P(A\cap C)=\int_{A}I_C(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

所以对于任意$A\in\sigma(f)$均有：

\[\begin{equation*} \int_{A}I_C(x)\mathop{}\!\mathrm{d}P=\int_{A}\alpha[f(x)]\mathop{}\!\mathrm{d}P \end{equation*}\]

可以验证$\alpha(f)$是$\sigma(f)$可测随机变量，所以根据条件期望的定义可得：

\[\begin{equation*} \operatorname{E}\left[I_C\mid\sigma(f)\right]=\alpha(f)\;\text{a.e.于$(X,\mathscr{F},P)$} \end{equation*}\]

即：

\[\begin{equation*} P(C\mid f)=\alpha(f)\;\text{a.e.于$(X,\mathscr{F},P)$} \end{equation*}\]

任取$B\in\mathscr{A}$。根据性质 6.3.3(2)、指示函数的乘积性质、定理 6.5、性质 5.4.3(8)、定理 5.27、引理 5.10和性质 5.4.3(6)可得：

\[\begin{align*} &P(\{f\in B\}\cap C)=\operatorname{E}[P(\{f\in B\}\cap C\mid f)]=\operatorname{E}\{\operatorname{E}[I(\{f\in B\}\cap C)\mid f]\} \\ =&\operatorname{E}\{\operatorname{E}[I(\{f\in B\})I(C)\mid f]\}=\operatorname{E}\{I(\{f\in B\})\operatorname{E}[I(C)\mid f]\}=\operatorname{E}[I(f\in B)P(C\mid f)] \\ =&\operatorname{E}[I(f\in B)\alpha(f)]=\int_{B}\alpha(f)\mathop{}\!\mathrm{d}Q=\int_{B}\alpha(f)q(f)\mathop{}\!\mathrm{d}\mu=\frac{1}{M}\int_{B}\tilde{\pi}(f)\mathop{}\!\mathrm{d}\mu \end{align*}\]

取$B=Y$可得单次试验的接受概率为：

\[\begin{equation*} P(C)=\frac{1}{M}\int_{Y}\tilde{\pi}(f)\mathop{}\!\mathrm{d}\mu=\frac{Z}{M}>0 \end{equation*}\]

若$Q(B)>0$，由性质 6.3.3(1)可得：

\[\begin{equation*} P(\{f\in B\}\mid C)=\frac{P(\{f\in B\}\cap C)}{P(C)}=\frac{\dfrac{1}{M}\int_{B}\tilde{\pi}(f)\mathop{}\!\mathrm{d}\mu}{Z/M}=\frac{1}{Z}\int_{B}\tilde{\pi}(f)\mathop{}\!\mathrm{d}\mu=\pi(B) \end{equation*}\]

若$Q(B)=0$，则根据性质 6.3.3(1)可知$P(\{f\in B\}\mid C)=0$，并且由条件和性质 5.4.3(7)(6)可得：

\[\begin{equation*} 0\leqslant\pi(B)=\frac{1}{Z}\int_{B}\tilde{\pi}(f)\mathop{}\!\mathrm{d}\mu\leqslant\frac{M}{Z}\int_{B}q(f)\mathop{}\!\mathrm{d}\mu=\frac{M}{Z}Q(B)=0 \end{equation*}\]

所以此时仍有$P(\{f\in B\}\mid C)=\pi(B)$。

综上，单次试验中$f$在接受事件$C$发生条件下的条件分布为$\pi$。

设$\{(f_n,U_n)\}$为各次相互独立且与$(f,U)$同分布的试验序列，记：

\[\begin{equation*} C_n=\{U_n\leqslant\alpha(f_n)\},\quad T(x)=\inf\{n\in\mathbb{N}^+:x\in C_n\},\quad x\in X \end{equation*}\]

由性质 5.2.1(1)(3)（上连续性）和各次试验相互独立可得：

\[\begin{equation*} P(T<+\infty)=1-P\left(\underset{n=1}{\overset{+\infty}{\cap}}\{T>n\}\right)=1-\lim_{n\to+\infty}\left(1-\frac{Z}{M}\right)^n=1 \end{equation*}\]

即算法以概率$1$在有限步内输出一个值$y$。 ◻

note 6.10. 只需要知道目标概率分布的未归一化概率密度是接受拒绝法的一个重要的优势，很多问题中目标分布只能够写成正比于某个函数的形式，归一化常数$Z$可能很难甚至无法显式计算。接受拒绝法并不要求已知$Z$。

6.6 随机过程

前面用可测映射描述一次随机观测，并用其概率分布刻画这一观测的不确定性。然而，在许多随机现象中，我们关心的并不是某一次孤立的观测，而是同一对象随时间变化所形成的一系列随机观测。例如，连续记录某项生理指标、追踪金融资产价格的变化或者观察系统在不同时间点所处的状态。此时分别考察各个时间点上的随机变量并不足以完整描述整个随机现象，于是我们引入下述概念。

Definition 6.40. 设$(X,\mathscr{F},P)$是概率空间，$T$是非空指标集，$(Y,\mathscr{A})$是可测空间。若对每个$t\in T$，映射$f_t$都是从$(X,\mathscr{F})$到$(Y,\mathscr{A})$上的可测映射，则称可测映射族$\{f_t\}_{t\in T}$为取值于$(Y,\mathscr{A})$的随机过程（stochastic process），称$T$为其指标集，$(Y,\mathscr{A})$为其状态空间（state space）。

随机过程有两个不同的观察方向：固定$t$，让$x$在$X$中变化，可得到可测映射$f_t(x)$，这一方向研究的是时刻$t$的随机状态；固定$x$，让$t$在$T$中变化，则得到在同一次随机实现中各个时间点的观测结果。

Definition 6.41. 对随机过程$\{f_t\}_{t\in T}$及固定的$x\in X$，称映射：

\[\begin{equation*} t\to f_t(x),\quad t\in T \end{equation*}\]

为该过程在样本点$x$处的样本路径（sample path）或轨道。

Definition 6.42. 若$\{f_n\}_{n=0}^{+\infty}$是概率空间$(X,\mathscr{F},P)$上取值于$(Y,\mathscr{A})$的随机过程，则称$\{f_n\}_{n=0}^{+\infty}$为离散时间随机过程（discrete-time stochastic process），

Definition 6.43. 若$\{f_t\}_{t\in T}$是概率空间$(X,\mathscr{F},P)$上取值于$(Y,\mathscr{A})$的随机过程，非空指标集$T\subseteq\mathbb{R}$是一个区间，则称$\{f_t\}_{t\in T}$为连续时间随机过程（continuous-time stochastic process）。

Definition 6.44. 设$\{f_t\}_{t\in T}$是概率空间$(X,\mathscr{F},P)$上取值于$(Y,\mathscr{A})$的随机过程。若$Y$为有限集或可数集，并且$\mathscr{A}=2^Y$，则称$\{f_t\}_{t\in T}$为具有离散状态空间的随机过程。

Definition 6.45. 设$\{f_t\}_{t\in T}$是概率空间$(X,\mathscr{F},P)$上取值于$(Y,\mathscr{A})$的随机过程。对任意的$n\in\mathbb{N}^+$和$t_1, t_2, \dots, t_{n}\in T$，记：

\[\begin{equation*} g_{t_1, t_2, \dots, t_{n}}(x)=(f_{t_1},f_{t_2},\dots,f_{t_n}) \end{equation*}\]

由定理 5.35可知它是从$(X,\mathscr{F})$到$(Y^n,\mathscr{A}^n)$的可测映射，称其概率分布：

\[\begin{equation*} \mu_{t_1, t_2, \dots, t_{n}}=Pg_{t_1, t_2, \dots, t_{n}}^{-1} \end{equation*}\]

为该过程在$t_1, t_2, \dots, t_{n}$处的有限维分布（finite-dimensional distribution）。

随机过程包含无限多个随机变量，直接描述其整体联合分布并不方便。有限维分布通过考察任意有限个指标位置上的联合分布，既保留了不同位置之间的依赖结构，又能够以有限维随机向量的方式处理随机过程的概率规律。

6.6.1 平稳性

Definition 6.46. 设$\{f_t\}_{t\in T}$是概率空间$(X,\mathscr{F},P)$上取值于$(Y,\mathscr{A})$的随机过程。若对任意$n\in\mathbb{N}^+$、$t_1,\dots,t_n\in T$和满足$t_1+h,\dots,t_n+h\in T$的$h\in\mathbb{R}$都有：

\[\begin{equation*} (f_{t_1},\dots,f_{t_n})\overset{d}{=}(f_{t_1+h},\dots,f_{t_n+h}) \end{equation*}\]

则称$\{f_t\}_{t\in T}$为严格平稳过程（strictly stationary process）。

Definition 6.47. 设$\{f_t\}_{t\in T}$是实值随机过程，且对每个$t\in T$有$\operatorname{E}(f_t^2)<+\infty$。若存在常数$\mu\in\mathbb{R}^{}$和函数$\gamma:T-T\to\mathbb{R}^{}$，其中$T-T=\{t-s:s,t\in T\}$，使得：

\[\begin{equation*} m(t)=\mu,\quad C(s,t)=\gamma(t-s),\quad s,t\in T \end{equation*}\]

则称该过程为弱平稳过程（weakly stationary process）或二阶平稳过程。

6.7 鞅

以下设$T\subseteq\mathbb{R}$。

Definition 6.48. 设$(X,\mathscr{F},P)$是概率空间。若$\{\mathscr{F}_t\}_{t\in T}$是一族$\mathscr{F}$的子$\sigma$域，且：

\[\begin{equation*} s,t\in T,\;s\leqslant t\quad\Longrightarrow\quad\mathscr{F}_s\subseteq\mathscr{F}_t \end{equation*}\]

则称$\{\mathscr{F}_t\}_{t\in T}$为该概率空间上的滤过（filtration）或信息流。

Definition 6.49. 设$\{f_t\}_{t\in T}$是概率空间$(X,\mathscr{F},P)$上取值于$(Y,\mathscr{A})$的随机过程，$\{\mathscr{F}_t\}_{t\in T}$是其所在概率空间上的滤过。若对每个$t\in T$，$f_t$都是从$(X,\mathscr{F}_t)$到$(Y,\mathscr{A})$的可测映射，则称该过程适应于此滤过。

Definition 6.50. 设$\{f_t\}_{t\in T}$是概率空间$(X,\mathscr{F},P)$上取值于$(Y,\mathscr{A})$的随机过程。定义：

\[\begin{equation*} \mathscr{F}_t\coloneq\sigma(f_s:s\in T,\;s\leqslant t) \end{equation*}\]

称$\{\mathscr{F}_t\}_{t\in T}$为该过程的自然滤过（natural filtration）。

Definition 6.51. 设$\{f_t\}_{t\in T}$是概率空间$(X,\mathscr{F},P)$上取值于$(\mathbb{R},\mathcal{B}(\mathbb{R}))$的随机过程，$\{\mathscr{F}_t\}_{t\in T}$是该概率空间上的滤过。若：

$\{f_t\}_{t\in T}$适应于滤过$\{\mathscr{F}_t\}_{t\in T}$；
对任意的$t\in T$有$\operatorname{E}(|f_t|)<+\infty$;
对任意的$s,t\in T$且$s\leqslant t$有$\operatorname{E}(f_t\mid\mathscr{F}_s)=f_s\;$a.s.于$(X,\mathscr{F}_s,P)$；

则称$\{f_t\}_{t\in T}$关于$\{\mathscr{F}_t\}_{t\in T}$为鞅（martingale）。

Property 6.7.1. 设$(X,\mathscr{F},P)$是概率空间。

若$\{\mathscr{F}_t\}_{t\in T}$为$(X,\mathscr{F},P)$上的滤过，$\{f_t\}_{t\in T}$关于$\{\mathscr{F}_t\}_{t\in T}$为鞅，则对任意的$s,t\in T$有$\operatorname{E}(f_t)=\operatorname{E}(f_s)$；
若$f$是$(X,\mathscr{F},P)$上可积的随机变量，$\{\mathscr{F}_t\}_{t\in T}$为$(X,\mathscr{F},P)$上的滤过，则$\{\operatorname{E}(f\mid\mathscr{F}_t)\}_{t\in T}$关于$\{\mathscr{F}_t\}_{t\in T}$为鞅；

证明. (1)设$s\leqslant t$，由性质 6.3.2(3)和性质 5.4.3(8)可知：

\[\begin{equation*} \operatorname{E}(f_t)=\operatorname{E}[\operatorname{E}(f_t\mid\mathscr{F}_s)]=\operatorname{E}(f_s) \end{equation*}\]

(2)由不等式 10可知$|\operatorname{E}(f\mid\mathscr{F}_t)|\leqslant\operatorname{E}(|f|\mid\mathscr{F}_t)\;$a.s.于$(X,\mathscr{F}_t,P)$，根据性质 5.4.3(7)和性质 6.3.2(3)可得：

\[\begin{equation*} \operatorname{E}[|\operatorname{E}(f\mid\mathscr{F}_t)|]\leqslant\operatorname{E}[\operatorname{E}(|f|\mid\mathscr{F}_t)]=\operatorname{E}(|f|)<+\infty \end{equation*}\]

由性质 5.4.3(4)可知$\operatorname{E}(f\mid\mathscr{F}_t)$可积，根据性质 6.3.2(3)即可得出结论。 ◻

6.7.1 鞅差序列

Definition 6.52. 设$(X,\mathscr{F},P)$是概率空间，$\{\mathscr{F}_t\}_{t\in\mathbb{N}}$是该概率空间上的滤过，$\{f_t\}_{t\in\mathbb{N}^+}$是适应于$\{\mathscr{F}_t\}_{t\in\mathbb{N}^+}$的可积随机变量序列且对任意的$t\in\mathbb{N}^+$满足$\operatorname{E}(f_t\mid\mathscr{F}_{t-1})=0\;$a.s.于$(X,\mathscr{F}_{t-1},P)$，则称$\{f_t\}_{t\in\mathbb{N}^+}$是关于$\{\mathscr{F}_t\}_{t\in\mathbb{N}}$的鞅差序列（martingale difference sequence, MDS）。

Property 6.7.2. 设$\{f_t\}_{t\in\mathbb{N}^+}$为概率空间$(X,\mathscr{F},P)$上关于滤过$\{\mathscr{F}_t\}_{t\in\mathbb{N}}$的鞅差序列，则：

$\left\{M_t=\sum\limits_{i=1}^{t}f_i\right\}_{t\in\mathbb{N}^+}$关于$\{\mathscr{F}_t\}_{t\in\mathbb{N}^+}$为鞅；
对任意的$t\in\mathbb{N}^+$有$\operatorname{E}(f_t)=0$，对任意小于$t$的$s\in\mathbb{N}^+$有$\operatorname{E}(f_t\mid\mathscr{F}_s)=0\;$a.s.于$(X,\mathscr{F}_s,P)$；
对任意满足$s<t$的$s,t\in\mathbb{N}^+$，若$g$是$\mathscr{F}_s$可测的，则$\operatorname{E}(gf_t)=0$。特别的，若$\{f_t\}_{t\in\mathbb{N}^+}$是平方可积的随机变量序列，则对任意满足$s<t$的$s,t\in\mathbb{N}^+$有$\operatorname{Cov}(f_s,f_t)=\operatorname{E}(f_sf_t)=0$；
若$\{f_t\}_{t\in\mathbb{N}^+}$是平方可积的随机变量序列，则$\operatorname{Var}(M_t)=\sum\limits_{i=1}^{t}\operatorname{Var}(f_i)$；
若随机变量序列$\{H_t\}_{t\in\mathbb{N}^+}$适应于$\{\mathscr{F}_t\}_{t\in\mathbb{N}}$，对任意的$t\in\mathbb{N}^+$，$H_t$是$\mathscr{F}_{t-1}$可测的，且$H_tf_t$在$(X,\mathscr{F}_t,P)$上可积（性质 5.3.3(5.b)），则$\{H_tf_t\}_{t\in\mathbb{N}^+}$是关于$\{\mathscr{F}_t\}_{t\in\mathbb{N}}$的鞅差序列；
若可积随机变量序列$\{g_t\}_{t\in\mathbb{N}^+}$适应于$\{\mathscr{F}_t\}_{t\in\mathbb{N}^+}$，则$\{h_t=g_t-\operatorname{E}(g_t\mid\mathscr{F}_{t-1})\}_{t\in\mathbb{N}^+}$是关于$\{\mathscr{F}_t\}_{t\in\mathbb{N}}$的鞅差序列；

证明. (1)由性质 5.3.3(5.a)可知$\{M_t\}_{t\in\mathbb{N}^+}$适应于$\{\mathscr{F}_t\}_{t\in\mathbb{N}^+}$。对任意的$t\in\mathbb{N}^+$，根据性质 6.3.2(3)(4)(5)和性质 5.4.3(8)(6)可知：

\[\begin{align*} &\operatorname{E}(|M_t|)=\operatorname{E}[\operatorname{E}(|M_t|\mid\mathscr{F}_{t-1})]\leqslant\operatorname{E}\left[\operatorname{E}\left(\sum_{i=1}^{t}|f_i|\middle|\mathscr{F}_{t-1}\right)\right] \\ =&\operatorname{E}\left[\sum_{i=1}^{t}\operatorname{E}\left(|f_i|\middle|\mathscr{F}_{t-1}\right)\right]=\sum_{i=1}^{t}\operatorname{E}\left[\operatorname{E}\left(|f_i|\middle|\mathscr{F}_{t-1}\right)\right]=\sum_{i=1}^{t}\operatorname{E}(|f_i|)<+\infty \end{align*}\]

对任意的$s,t\in\mathbb{N}^+$且$s\leqslant t$，由性质 6.3.2(5)(1)、性质 5.1.6(3)、性质 5.2.1(3)（次有限可加性）、性质 6.3.2(3)、性质 5.3.2(1)和性质 6.3.2(1)可知：

\[\begin{align*} &\operatorname{E}(M_t\mid\mathscr{F}_s)=\operatorname{E}\left(M_s+\sum_{i=s+1}^{t}f_i\middle|\mathscr{F}_s\right)=\operatorname{E}(M_s\mid\mathscr{F}_s)+\sum_{i=s+1}^{t}\operatorname{E}(f_i\mid\mathscr{F}_s) \\ =&M_s+\sum_{i=s+1}^{t}\operatorname{E}(f_i\mid\mathscr{F}_s)=M_s+\sum_{i=s+1}^{t}\operatorname{E}[\operatorname{E}(f_i\mid\mathscr{F}_{i-1})\mid\mathscr{F}_s] \\ =&M_s+\sum_{i=s+1}^{t}\operatorname{E}(0\mid\mathscr{F}_s)=M_s \end{align*}\]

a.s.于$(X,\mathscr{F}_s,P)$。

综上，$\{M_t\}_{t\in\mathbb{N}^+}$关于$\{\mathscr{F}_t\}_{t\in\mathbb{N}^+}$为鞅。

(2)由性质 6.3.2(3)和性质 5.4.3(8)立即可得$\operatorname{E}(f_t)=0$。根据性质 6.3.2(3)、性质 5.3.2(1)和性质 6.3.2(1)可知：

\[\begin{equation*} \operatorname{E}(f_t\mid\mathscr{F}_s)=\operatorname{E}[\operatorname{E}(f_t\mid\mathscr{F}_{t-1})\mid\mathscr{F}_s]=\operatorname{E}(0\mid\mathscr{F}_s)=0 \end{equation*}\]

a.s.于$(X,\mathscr{F}_s,P)$。

(3)由性质 6.3.2(3)、定理 6.5和性质 5.4.3(8)可知：

\[\begin{equation*} \operatorname{E}(gf_t)=\operatorname{E}[\operatorname{E}(gf_t\mid\mathscr{F}_{t-1})]=\operatorname{E}[g\operatorname{E}(f_t\mid\mathscr{F}_{t-1})]=0 \end{equation*}\]

根据性质 6.4.3(6)和(2)可得：

\[\begin{equation*} \operatorname{Cov}(f_s,f_t)=\operatorname{E}(f_sf_t)-\operatorname{E}(f_s)\operatorname{E}(f_t)=\operatorname{E}(f_sf_t)=0 \end{equation*}\]

(4)由性质 6.4.2(3)和(3)立即可得。

(5)由定理 6.5、性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可知：

\[\begin{equation*} \operatorname{E}(H_tf_t\mid\mathscr{F}_{t-1})=H_t\operatorname{E}(f_t\mid\mathscr{F}_{t-1})=0 \end{equation*}\]

a.s.于$(X,\mathscr{F}_{t-1},P)$。

(6)对任意的$t\in\mathbb{N}^+$，由性质 5.3.3(5.a)可知$h_t$是$\mathscr{F}_t$可测的。根据性质 5.4.3(7)(6)、不等式 10和性质 6.3.2(3)可得：

\[\begin{align*} &\operatorname{E}(|h_t|)=\operatorname{E}[|g_t-\operatorname{E}(g_t\mid\mathscr{F}_{t-1})|]\leqslant\operatorname{E}(|g_t|)+\operatorname{E}[|\operatorname{E}(g_t\mid\mathscr{F}_{t-1})|] \\ \leqslant&\operatorname{E}(|g_t|)+\operatorname{E}[\operatorname{E}(|g_t|\mid\mathscr{F}_{t-1})]=2\operatorname{E}(|g_t|)<+\infty \end{align*}\]

由性质 5.4.3(4)可知$h_t$可积。根据性质 6.3.2(5)(1)、性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可知$\operatorname{E}(h_t\mid\mathscr{F}_{t-1})=0\;$a.s.于$(X,\mathscr{F}_{t-1},P)$。

综上，$\{h_t\}_{t\in\mathbb{N}^+}$是关于$\{\mathscr{F}_t\}_{t\in\mathbb{N}}$的鞅差序列。 ◻

6.8 Markov链

Definition 6.53. 设$\{f_n\}_{n=0}^{+\infty}$是概率空间$(X,\mathscr{F},P)$上取值于可测空间$(Y,\mathscr{A})$的离散时间随机过程。若对任意的$n=0,1,2,\dots$和$A\in\mathscr{A}$都有：

\[\begin{equation*} P(f_{n+1}\in A\mid f_0,f_1,\dots,f_n)=P(f_{n+1}\in A\mid f_n) \end{equation*}\]

a.e.于$(X,\sigma(f_0,f_1,\dots,f_n),P)$，则称该过程具有Markov性（Markov property），称$\{f_n\}_{n=0}^{+\infty}$为取值于$(Y,\mathscr{A})$的离散时间Markov链（discrete-time Markov chain），称$f_0$的概率分布$Pf_0^{-1}$为该链的初始分布（initial distribution）。

Markov性表示的是：给定当前状态后，更早的历史不再为下一步提供额外信息。

6.8.1 分布的演化

Definition 6.54. 设$\{f_n\}_{n=0}^{+\infty}$是概率空间$(X,\mathscr{F},P)$上取值于可测空间$(Y,\mathscr{A})$的离散时间Markov链。对固定的$n=0,1,2,\dots$，若存在$f_{n+1}$关于$f_n$的条件概率核$K_n$，则称$K_n$为该链从时刻$n$到时刻$n+1$的转移概率核（transition probability kernel）。

根据性质 6.3.4可知转移概率核刻画了在给定当前时刻状态$f_n$的条件下，下一时刻状态$f_{n+1}$的条件概率分布，即描述了Markov链如何从当前状态随机转移到下一状态。为了进一步研究Markov链的状态分布随时间的演化，下面统一引入相应的记号。

设$\{f_n\}_{n=0}^{+\infty}$是从概率空间$(X,\mathscr{F},P)$到可测空间$(Y,\mathscr{A})$上的离散时间Markov链，每个时刻均存在转移概率核$K_n$。记：

\[\begin{equation*} \mu_n=Pf_n^{-1},\quad\mathscr{F}_n=\sigma(f_0,f_1,\dots,f_n),\quad n=0,1,2,\dots \end{equation*}\]

引理 7.2 Lemma 6.2. 设$Q,R$是从$(Y,\mathscr{A})$到自身的概率核，$h$是$(Y,\mathscr{A})$上的非负可测函数，则：

函数$f:y\to\int_{Y}h(z)\mathop{}\!\mathrm{d}Q(y,\cdot)$关于$\mathscr{A}$可测⁵；
映射：

\[\begin{equation*} (QR)(y,A)=\int_{Y}R(z,A)\mathop{}\!\mathrm{d}Q(y,\cdot),\quad y\in Y,\;A\in\mathscr{A} \end{equation*}\]

是从$(Y,\mathscr{A})$到自身的概率核，且：

\[\begin{equation*} \int_{Y}h(w)\mathop{}\!\mathrm{d}(QR)(y,\cdot)=\int_{Y}\left[\int_{Y}h(w)\mathop{}\!\mathrm{d}R(z,\cdot)\right]\mathop{}\!\mathrm{d}Q(y,\cdot) \end{equation*}\]

证明. (1)对任意的$y\in Y$，当$h=I(z\in A)$且$A\in\mathscr{A}$时，由性质 5.4.1(4)可知：

\[\begin{equation*} \int_{Y}h(z)\mathop{}\!\mathrm{d}Q(y,\cdot)=\int_{A}1\mathop{}\!\mathrm{d}Q(y,\cdot)=Q(y,A) \end{equation*}\]

$f$的可测性由概率核的定义得到。

当$h$为非负简单函数时，由性质 5.4.1(5)、指示函数时的结论和性质 5.3.3(5.a)可知结论成立。

当$h$为非负可测函数时，根据性质 5.3.3(8)，取非负简单函数列$\{h_n\}$使$h_n\uparrow h$，由定理 5.23可得：

\[\begin{equation*} \int_{Y}h(z)\mathop{}\!\mathrm{d}Q(y,\cdot)=\lim_{n\to+\infty}\int_{Y}h_n(z)\mathop{}\!\mathrm{d}Q(y,\cdot) \end{equation*}\]

根据非负简单函数时的结论和性质 5.3.3(6)可知结论成立。

(2)固定$A\in\mathscr{A}$时，由(1)可知$(QR)(\cdot,A)$可测。

固定$y\in Y$时，有$(QR)(y,\varnothing)=0$、$(QR)(y,Y)=1$。对于两两不交的$\{A_n\}\subseteq\mathscr{A}$，由定理 5.27可得：

\[\begin{align*} (QR)\left(y,\underset{n=1}{\overset{+\infty}{\cup}}A_n\right)&=\int_{Y}R\left[z,\underset{n=1}{\overset{+\infty}{\cup}}A_n\right]\mathop{}\!\mathrm{d}Q(y,\cdot)=\int_{Y}\sum_{n=1}^{+\infty}R(z,A_n)\mathop{}\!\mathrm{d}Q(y,\cdot) \\ &=\sum_{n=1}^{+\infty}\int_{Y}R(z,A_n)\mathop{}\!\mathrm{d}Q(y,\cdot)=\sum_{n=1}^{+\infty}(QR)(y,A_n) \end{align*}\]

所以$(QR)(y,\cdot)$是$(Y,\mathscr{A})$上的概率测度。

综上，$QR$是从$(Y,\mathscr{A})$到自身的概率核。

当$h=I(w\in A)$且$A\in\mathscr{A}$时，由性质 5.4.1(4)和$QR$的定义可得：

\[\begin{align*} &\int_{Y}h(w)\mathop{}\!\mathrm{d}(QR)(y,\cdot)=\int_{A}1\mathop{}\!\mathrm{d}(QR)(y,\cdot)=(QR)(y,A) \\ =&\int_{Y}R(z,A)\mathop{}\!\mathrm{d}Q(y,\cdot)=\int_{Y}\left[\int_{Y}h(w)\mathop{}\!\mathrm{d}R(z,\cdot)\right]\mathop{}\!\mathrm{d}Q(y,\cdot) \end{align*}\]

当$h$为非负简单函数时，由性质 5.4.2(10)、指示函数时的结论、性质 5.4.1(2)和(1)可知结论成立。

当$h$为非负可测函数时，根据性质 5.3.3(8)，取非负简单函数列$\{h_n\}$使$h_n\uparrow h$。对任意的$z\in Y$，由定理 5.23可知：

\[\begin{equation*} \int_{Y}h_n(w)\mathop{}\!\mathrm{d}R(z,\cdot)\uparrow\int_{Y}h(w)\mathop{}\!\mathrm{d}R(z,\cdot) \end{equation*}\]

由(1)和性质 5.4.2(2)可知上式两侧作为$z$的函数均为$(Y,\mathscr{A})$上的非负可测函数。根据定理 5.23和非负简单函数时的结论可得：

\[\begin{align*} &\int_{Y}h(w)\mathop{}\!\mathrm{d}(QR)(y,\cdot)=\lim_{n\to+\infty}\int_{Y}h_n(w)\mathop{}\!\mathrm{d}(QR)(y,\cdot) \\ =&\lim_{n\to+\infty}\int_{Y}\left[\int_{Y}h_n(w)\mathop{}\!\mathrm{d}R(z,\cdot)\right]\mathop{}\!\mathrm{d}Q(y,\cdot)=\int_{Y}\left[\int_{Y}h(w)\mathop{}\!\mathrm{d}R(z,\cdot)\right]\mathop{}\!\mathrm{d}Q(y,\cdot) \end{align*}\]

◻

Definition 6.55. 设$\mu$是$(Y,\mathscr{A})$上的概率测度，$Q$是从$(Y,\mathscr{A})$到自身的概率核。对任意的$A\in\mathscr{A}$，定义：

\[\begin{equation*} (\mu Q)(A)\coloneq\int_{Y}Q(y,A)\mathop{}\!\mathrm{d}\mu \end{equation*}\]

与引理 6.2(2)中验证测度的过程相同可知$\mu Q$是$(Y,\mathscr{A})$上的概率测度。

在研究Markov链的演化时，我们不仅关心相邻两个时刻之间的一步转移，也希望直接刻画系统从时刻$m$出发经过若干步后到达时刻$n$的转移规律。当$n=m$时系统尚未发生任何转移，因此从状态$y$出发仍落在集合$A$中的概率自然应为$I(y\in A)$；当$n>m$时，为了得到从时刻$m$到时刻$n$的转移规律，可以对中间时刻可能出现的状态进行积分。由此自然得到如下递归定义。

Definition 6.56. 对任意满足$m\leqslant n$的$m,n\in\mathbb{N}$，递归定义：

\[\begin{equation*} K_{m,m}(y,A)\coloneq I(y\in A),\quad K_{m,n+1}(y,A)\coloneq\int_{Y}K_n(z,A)\mathop{}\!\mathrm{d}K_{m,n}(y,\cdot) \end{equation*}\]

其中$y\in Y,\;A\in\mathscr{A}$。可以验证指示函数也是概率核，根据引理 6.2(2)，称$K_{m,n}$为该链从时刻$m$到时刻$n$的多步转移概率核（multi-step transition probability kernel）。

Property 6.8.1. 对任意满足$m\leqslant n$的$m,n\in\mathbb{N}$，有：

对任意$(Y,\mathscr{A})$上的非负可测函数$h$，有：

\[\begin{equation*} \operatorname{E}(h\circ f_n\mid\mathscr{F}_m)(x)=\int_{Y}h(z)\mathop{}\!\mathrm{d}K_{m,n}[f_m(x),\cdot]\;\text{a.e.于$(X,\mathscr{F}_m,P)$} \end{equation*}\]

特别地，对任意的$A\in\mathscr{A}$有：

\[\begin{equation*} P(f_n\in A\mid\mathscr{F}_m)(x)=K_{m,n}[f_m(x),A]\;\text{a.e.于$(X,\mathscr{F}_m,P)$} \end{equation*}\]

且$K_{m,n}$是$f_n$关于$f_m$的条件概率核；
$\mu_n=\mu_mK_{m,n}$，即对任意的$A\in\mathscr{A}$有：

\[\begin{equation*} \mu_n(A)=\int_{Y}K_{m,n}(y,A)\mathop{}\!\mathrm{d}\mu_m \end{equation*}\]

证明. (1)由性质 5.3.1(2)可得下面涉及到的所有复合函数的可测性。

当$n=m$时，$I(f_m\in A)$关于$\mathscr{F}_m$可测，由性质 6.3.2(1)可知：

\[\begin{equation*} P(f_m\in A\mid\mathscr{F}_m)(x)=I[f_m(x)\in A]=K_{m,m}[f_m(x),A]\;\text{a.e.于$(X,\mathscr{F}_m,P)$} \end{equation*}\]

假设对于某个$n\geqslant m$，对任意的$A\in\mathscr{A}$有：

\[\begin{equation*} P(f_n\in A\mid\mathscr{F}_m)(x)=K_{m,n}[f_m(x),A]\;\text{a.e.于$(X,\mathscr{F}_m,P)$} \end{equation*}\]

当$h(y)=\sum\limits_{i=1}^{l}a_iI(y\in A_i)$是非负简单函数时，其中$a_i\geqslant0$、$A_i\in\mathscr{A}$。由性质 6.3.2(5)、性质 5.1.6(3)、和性质 5.2.1(3)（次有限可加性）可得：

\[\begin{align*} &\operatorname{E}(h\circ f_n\mid\mathscr{F}_m)(x)=\sum_{i=1}^{l}a_iP(f_n\in A_i\mid\mathscr{F}_m)(x) \\ =&\sum_{i=1}^{l}a_iK_{m,n}[f_m(x),A_i]=\int_{Y}h(z)\mathop{}\!\mathrm{d}K_{m,n}[f_m(x),\cdot] \end{align*}\]

a.e.于$(X,\mathscr{F}_m,P)$。

当$h$是非负可测函数时，根据性质 5.3.3(8)，取非负简单函数列$\{h_j\}$使$h_j\uparrow h$，于是$h_j\circ f_n\uparrow h\circ f_n$。由性质 6.3.2(6)、非负简单函数时的结论和定理 5.23可得：

\[\begin{align*} &\operatorname{E}(h\circ f_n\mid\mathscr{F}_m)(x)=\lim_{j\to+\infty}\operatorname{E}(h_j\circ f_n\mid\mathscr{F}_m)(x) \\ =&\lim_{j\to+\infty}\int_{Y}h_j(z)\mathop{}\!\mathrm{d}K_{m,n}[f_m(x),\cdot]=\int_{Y}h(z)\mathop{}\!\mathrm{d}K_{m,n}[f_m(x),\cdot] \end{align*}\]

a.e.于$(X,\mathscr{F}_m,P)$。

根据Markov性、性质 6.3.4、性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可知：

\[\begin{equation*} P(f_{n+1}\in A\mid\mathscr{F}_n)(x)=P(f_{n+1}\in A\mid f_n)(x)=K_n[f_n(x),A]\;\text{a.e.于$(X,\mathscr{F}_n,P)$} \end{equation*}\]

因为$\mathscr{F}_m\subseteq\mathscr{F}_n$，由性质 6.3.2(3)、性质 5.4.3(8)和条件期望的定义，取$h=K_n$并根据性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可得：

\[\begin{align*} &P(f_{n+1}\in A\mid\mathscr{F}_m)(x)=\operatorname{E}[P(f_{n+1}\in A\mid\mathscr{F}_n)\mid\mathscr{F}_m](x)=\operatorname{E}[K_n(f_n,A)\mid\mathscr{F}_m](x) \\ =&\int_{Y}K_n(z,A)\mathop{}\!\mathrm{d}K_{m,n}[f_m(x),\cdot]=K_{m,n+1}[f_m(x),A]\;\text{a.e.于$(X,\mathscr{F}_m,P)$} \end{align*}\]

根据数学归纳法可知对任意的$n\geqslant m$和任意的$A\in\mathscr{A}$有：

\[\begin{equation*} P(f_n\in A\mid\mathscr{F}_m)(x)=K_{m,n}[f_m(x),A]\;\text{a.e.于$(X,\mathscr{F}_m,P)$} \end{equation*}\]

于是对任意的$n\geqslant m$有：

\[\begin{equation*} \operatorname{E}(h\circ f_n\mid\mathscr{F}_m)(x)=\int_{Y}h(z)\mathop{}\!\mathrm{d}K_{m,n}[f_m(x),\cdot]\;\text{a.e.于$(X,\mathscr{F}_m,P)$} \end{equation*}\]

固定$A\in\mathscr{A}$，由引理 6.2(2)和性质 5.3.1(2)可知$K_{m,n}[f_m(x),A]$关于$\sigma(f_m)$可测。由于$\sigma(f_m)\subseteq\mathscr{F}_m$，由性质 6.3.2(3)、性质 5.4.3(8)、条件期望的定义、性质 6.3.2(1)、性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可得：

\[\begin{align*} &P(f_n\in A\mid f_m)=\operatorname{E}[P(f_n\in A\mid\mathscr{F}_m)\mid f_m] \\ =&\operatorname{E}\{K_{m,n}[f_m(x),A]\mid f_m\}=K_{m,n}[f_m(x),A] \end{align*}\]

a.e.于$(X,\sigma(f_m),P)$。根据引理 6.2(2)和性质 6.3.4可知$K_{m,n}$是$f_n$关于$f_m$的条件概率核。

(2)任取$A\in\mathscr{A}$，由性质 5.4.1(4)、性质 6.3.2(3)、性质 5.4.3(8)和定理 5.28可得：

\[\begin{align*} &\mu_n(A)=P(f_n\in A)=\operatorname{E}[I(f_n\in A)]=\operatorname{E}\{\operatorname{E}[I(f_n\in A)\mid\mathscr{F}_m]\}=\operatorname{E}[P(f_n\in A\mid\mathscr{F}_m)] \\ =&\int_{X}K_{m,n}[f_m(x),A]\mathop{}\!\mathrm{d}P=\int_{Y}K_{m,n}(y,A)\mathop{}\!\mathrm{d}Pf_m^{-1}=\int_{Y}K_{m,n}(y,A)\mathop{}\!\mathrm{d}\mu_m=(\mu_mK_{m,n})(A) \end{align*}\]

根据$A$的任意性可得$\mu_n=\mu_mK_{m,n}$。 ◻

note 6.11. 上述两条性质说明了多步转移概率核$K_{m,n}$确实完整描述了Markov链从时刻$m$到时刻$n$状态分布的演化。第一条表明，在已知时刻$m$的信息后，时刻$n$的条件分布由$K_{m,n}[f_m(x),\cdot]$给出。第二条则进一步说明，若时刻$m$的状态分布为$\mu_m$，那么经过$K_{m,n}$作用后就得到时刻$n$的状态分布$\mu_n$。

Theorem 6.12. （Chapman–Kolmogorov Equation）

对任意满足$m\leqslant r\leqslant n$的$m,r,n\in\mathbb{N}$以及任意的$y\in Y$和$A\in\mathscr{A}$，有：

\[\begin{equation*} K_{m,n}(y,A)=\int_{Y}K_{r,n}(z,A)\mathop{}\!\mathrm{d}K_{m,r}(y,\cdot) \end{equation*}\]

即$K_{m,n}=K_{m,r}K_{r,n}$。该方程被称为Chapman--Kolmogorov方程（Chapman--Kolmogorov equation），简称为CK方程。

证明. 固定$m,r$，对$n\geqslant r$作数学归纳。由性质 5.4.1(4)可得：

\[\begin{equation*} \int_{Y}K_{r,r}(z,A)\mathop{}\!\mathrm{d}K_{m,r}(y,\cdot)=\int_{Y}I(z\in A)\mathop{}\!\mathrm{d}K_{m,r}(y,\cdot)=\int_{A}1\mathop{}\!\mathrm{d}K_{m,r}(y,\cdot)=K_{m,r}(y,A) \end{equation*}\]

于是当$n=r$时结论成立。

假设结论对$n$成立，则由递归定义、归纳假设和引理 6.2(2)可得：

\[\begin{align*} &K_{m,n+1}(y,A)=\int_{Y}K_n(w,A)\mathop{}\!\mathrm{d}K_{m,n}(y,\cdot) \\ =&\int_{Y}\left[\int_{Y}K_n(w,A)\mathop{}\!\mathrm{d}K_{r,n}(z,\cdot)\right]\mathop{}\!\mathrm{d}K_{m,r}(y,\cdot) \\ =&\int_{Y}K_{r,n+1}(z,A)\mathop{}\!\mathrm{d}K_{m,r}(y,\cdot) \end{align*}\]

所以结论对$n+1$成立。由数学归纳法可知结论成立。 ◻

Chapman–Kolmogorov方程说明多步转移具有自然的复合一致性：从时刻$m$到时刻$n$的转移，可以在任意中间时刻$r$处将演化过程分成两段，先由$K_{m,r}$描述从$m$到$r$的转移，再由$K_{r,n}$描述从$r$到$n$的转移，并对时刻$r$所有可能的中间状态进行积分。无论选择哪个中间时刻$r$进行分解，最终得到的从$m$到$n$的转移规律都是相同的。

6.8.2 齐次链的分布演化

Definition 6.57. 设$\{f_n\}_{n=0}^{+\infty}$是概率空间$(X,\mathscr{F},P)$上取值于可测空间$(Y,\mathscr{A})$的离散时间Markov链。若存在从$(Y,\mathscr{A})$到自身的概率核$K$，使得对任意的$n=0,1,2,\dots$，均可选取$K_n=K$作为该链从时刻$n$到时刻$n+1$的转移概率核，则称该链为齐次离散时间Markov链（time-homogeneous discrete-time Markov chain），称$K$为该链的转移概率核。

Definition 6.58. 设$\{f_n\}_{n=0}^{+\infty}$为以$K$为转移概率核的齐次离散时间Markov链，递归定义：

\[\begin{gather*} K^0(y,A)\coloneq I(y\in A),\quad K^{m+1}(y,A)\coloneq\int_{Y}K(z,A)\mathop{}\!\mathrm{d}K^m(y,\cdot) \end{gather*}\]

称$K^m$为该链的$m$步转移概率核。

Property 6.8.2. 对于以$K$为转移概率核的齐次离散时间Markov链，有：

$K_{m,n}=K^{n-m}$，其中$0\leqslant m\leqslant n$；
对任意的$m,k\in\mathbb{N}$、$y\in Y$和$A\in\mathscr{A}$，有：

\[\begin{equation*} K^{m+k}(y,A)=\int_{Y}K^k(z,A)\mathop{}\!\mathrm{d}K^m(y,\cdot) \end{equation*}\]

即$K^{m+k}=K^mK^k$；
$\mu_n=\mu_0K^n$，其中$n=0,1,2,\dots$。

证明. 上述结论都可由之前的结论直接推得，不再叙述。 ◻

6.8.2.1 不变分布

对于齐次Markov链而言，转移概率核$K$决定了状态分布随时间的演化：由性质 6.8.1(2)可知若时刻$n$的状态分布为$\mu_n$，则下一时刻的状态分布为$\mu_{n+1}=\mu_nK$。因此，一个自然的问题是：是否存在某个概率分布，在经过一次转移后保持不变？这样的分布可以看作Markov链概率演化的平衡状态，一旦链的分布达到这一状态，之后继续按照相同的转移规律演化，其状态分布将不再随时间改变。

Definition 6.59. 设$\pi$是可测空间$(Y,\mathscr{A})$上的概率测度，$K$是从$(Y,\mathscr{A})$到自身的概率核。若$\pi K=\pi$，即对任意的$A\in\mathscr{A}$有：

\[\begin{equation*} \pi(A)=\int_{Y}K(y,A)\mathop{}\!\mathrm{d}\pi \end{equation*}\]

则称$\pi$为$K$的不变分布（invariant distribution），也称为平稳分布（stationary distribution）。当$K$是齐次离散时间Markov链的转移概率核时，称$\pi$为该链的不变分布。

Theorem 6.13. 设$K$是从可测空间$(Y,\mathscr{A})$到自身的概率核，$\pi$是$(Y,\mathscr{A})$上的概率测度，则$\pi$是$K$的不变分布的充要条件为对任意$(Y,\mathscr{A})$上的非负可测函数$h$有：

\[\begin{equation*} \int_{Y}\left[\int_{Y}h(z)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi=\int_{Y}h(y)\mathop{}\!\mathrm{d}\pi \end{equation*}\]

证明. (1)必要性：当$h(z)=I(z\in A)$且$A\in\mathscr{A}$时，由性质 5.4.1(4)可知：

\[\begin{align*} &\int_{Y}\left[\int_{Y}h(z)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi=\int_{Y}\left[\int_{Y}I(z\in A)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi \\ =&\int_{Y}\left[\int_{A}1\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi=\int_{Y}K(y,A)\mathop{}\!\mathrm{d}\pi=\pi(A)=\int_{Y}h(y)\mathop{}\!\mathrm{d}\pi \end{align*}\]

当$h$为非负简单函数时，由性质 5.4.1(5)(2)、引理 6.2(1)、性质 5.4.2(10)和指示函数时的结论即可知结论成立。

当$h$为非负可测函数时，根据性质 5.3.3(8)，取非负简单函数列$h_n\uparrow h$。由定理 5.23、引理 6.2(1)和非负简单函数时的结论可得：

\[\begin{align*} &\int_{Y}\left[\int_{Y}h(z)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi=\int_{Y}\left\{\int_{Y}\left[\lim_{n\to+\infty}h_n(z)\right]\mathop{}\!\mathrm{d}K(y,\cdot)\right\}\mathop{}\!\mathrm{d}\pi \\ =&\int_{Y}\left\{\lim_{n\to+\infty}\left[\int_{Y}h_n(z)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\right\}\mathop{}\!\mathrm{d}\pi=\lim_{n\to+\infty}\int_{Y}\left[\int_{Y}h_n(z)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi \\ =&\lim_{n\to+\infty}\int_{Y}h_n(y)\mathop{}\!\mathrm{d}\pi=\int_{Y}h(y)\mathop{}\!\mathrm{d}\pi \end{align*}\]

(2)充分性：对任意的$A\in\mathscr{A}$，在积分等式中取$h(z)=I(z\in A)$，由性质 5.4.1(4)即可得到$(\pi K)(A)=\pi(A)$。由$A$的任意性可知$\pi K=\pi$。 ◻

Property 6.8.3. 设$K$是从可测空间$(Y,\mathscr{A})$到自身的概率核，则：

若$\pi K=\pi$，则对任意的$n\in\mathbb{N}$有$\pi K^n=\pi$；
若$\pi_1,\pi_2$都是$K$的不变分布，$a\in[0,1]$，则$a\pi_1+(1-a)\pi_2$也是$K$的不变分布；
若概率核$Q,R$都以$\pi$为不变分布，则复合核$QR$也以$\pi$为不变分布。

证明. (1)当$n=0$时，由$K^0(y,A)$的定义和性质 5.4.1(4)可知结论成立。设$\pi K^n=\pi$，由定理 6.13可知对任意的$A\in\mathscr{A}$有：

\[\begin{align*} (\pi K^{n+1})(A)&=\int_{Y}K^{n+1}(y,A)\mathop{}\!\mathrm{d}\pi=\int_{Y}\left[\int_{Y}K(z,A)\mathop{}\!\mathrm{d}K^n(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi \\ &=\int_{Y}K(z,A)\mathop{}\!\mathrm{d}\pi=\pi(A) \end{align*}\]

即$\pi K^{n+1}=\pi$。根据数学归纳法可知结论成立。

(2)令$\pi=a\pi_1+(1-a)\pi_2$，则$\pi$为概率测度。对任意的$A\in\mathscr{A}$，由关于测度的积分线性性质（可由典型方法证明得到）可知：

\[\begin{equation*} (\pi K)(A)=a\int_{Y}K(y,A)\mathop{}\!\mathrm{d}\pi_1+(1-a)\int_{Y}K(y,A)\mathop{}\!\mathrm{d}\pi_2=a\pi_1(A)+(1-a)\pi_2(A)=\pi(A) \end{equation*}\]

所以$\pi$是不变分布。

(3)对任意的$A\in\mathscr{A}$，由定理 6.13可得：

\[\begin{align*} [\pi(QR)](A)=\int_{Y}\left[\int_{Y}R(z,A)\mathop{}\!\mathrm{d}Q(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi=\int_{Y}R(z,A)\mathop{}\!\mathrm{d}\pi=\pi(A) \end{align*}\]

即$\pi(QR)=\pi$。 ◻

6.8.2.2 细致平衡

Definition 6.60. 设$K$是从可测空间$(Y,\mathscr{A})$到自身的概率核，$\pi$是$(Y,\mathscr{A})$上的概率测度。若对任意的$A,B\in\mathscr{A}$都有：

\[\begin{equation*} \int_{A}K(y,B)\mathop{}\!\mathrm{d}\pi=\int_{B}K(y,A)\mathop{}\!\mathrm{d}\pi \end{equation*}\]

则称$K$与$\pi$满足细致平衡条件（detailed balance condition）。

note 6.12. 当前状态服从$\pi$时，上式左侧表示当前状态在$A$中且下一状态在$B$中的概率，右侧表示当前状态在$B$中且下一状态在$A$中的概率。细致平衡要求这两个方向的概率相同。

Property 6.8.4. 设$K$是从可测空间$(Y,\mathscr{A})$到自身的概率核，$\pi$是$(Y,\mathscr{A})$上的概率测度，则：

若$K$与$\pi$满足细致平衡条件，则$\pi$是$K$的不变分布；
$K$与$\pi$满足细致平衡条件的充分必要条件为对任意$(Y,\mathscr{A})$上的非负有界可测函数$u,v$都有：

\[\begin{equation*} \int_{Y}u(y)\left[\int_{Y}v(z)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi =\int_{Y}v(y)\left[\int_{Y}u(z)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi \end{equation*}\]
若$K$与$\pi$满足细致平衡条件，则对任意的$n\in\mathbb{N}$，$K^n$与$\pi$也满足细致平衡条件；

证明. (1)任取$B\in\mathscr{B}$，在细致平衡条件中取$A=Y$可得：

\[\begin{equation*} (\pi K)(B)=\int_{Y}K(y,B)\mathop{}\!\mathrm{d}\pi=\int_{B}K(z,Y)\mathop{}\!\mathrm{d}\pi=\pi(B) \end{equation*}\]

由$B$的任意性可知$\pi K=\pi$。

(2)充分性：任取$A,B\in\mathscr{A}$，令$u(y)=I(y\in A)$、$v(y)=I(y\in B)$。由性质 5.4.1(4)可知已知条件等式左侧为：

\[\begin{equation*} \int_{Y}I(y\in A)\left[\int_{Y}I(z\in B)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi=\int_{Y}I(y\in A)K(y,B)\mathop{}\!\mathrm{d}\pi=\int_{A}K(y,B)\mathop{}\!\mathrm{d}\pi \end{equation*}\]

同理可知等式右侧为$\int_{B}K(y,A)\mathop{}\!\mathrm{d}\pi$。因此对任意$A,B\in\mathscr{A}$有：

\[\begin{equation*} \int_{A}K(y,B)\mathop{}\!\mathrm{d}\pi=\int_{B}K(y,A)\mathop{}\!\mathrm{d}\pi \end{equation*}\]

即$K$与$\pi$满足细致平衡条件。

必要性：当$u,v$都是非负简单函数时，设：

\[\begin{equation*} u(y)=\sum_{i=1}^{r}a_iI(y\in A_i),\quad v(y)=\sum_{j=1}^{s}b_jI(y\in B_j) \end{equation*}\]

其中$r,s\in\mathbb{N}^+$，$a_i,b_j\geqslant0$，$A_i,B_j\in\mathscr{A}$。由性质 5.4.1(5)(4)可知：

\[\begin{align*} &\int_{Y}v(z)\mathop{}\!\mathrm{d}K(y,\cdot)=\int_{Y}\left[\sum_{j=1}^{s}b_jI(y\in B_j)\right]\mathop{}\!\mathrm{d}K(y,\cdot) \\ =&\sum_{j=1}^{s}b_j\int_{Y}I(z\in B_j)\mathop{}\!\mathrm{d}K(y,\cdot)=\sum_{j=1}^{s}b_jK(y,B_j) \end{align*}\]

同理可得：

\[\begin{equation*} \int_{Y}u(z)\mathop{}\!\mathrm{d}K(y,\cdot)=\sum_{i=1}^{r}a_iK(y,A_i) \end{equation*}\]

根据性质 5.4.2(10)(5)可知：

\[\begin{align*} &\int_{Y}u(y)\left[\int_{Y}v(z)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi=\int_{Y}\left[\sum_{i=1}^{r}a_iI(y\in A_i)\right]\left[\sum_{j=1}^{s}b_jK(y,B_j)\right]\mathop{}\!\mathrm{d}\pi \\ =&\sum_{i=1}^{r}\sum_{j=1}^{s}a_ib_j\int_{A_i}K(y,B_j)\mathop{}\!\mathrm{d}\pi=\sum_{i=1}^{r}\sum_{j=1}^{s}a_ib_j\int_{B_j}K(y,A_i)\mathop{}\!\mathrm{d}\pi \\ =&\int_{Y}\left[\sum_{j=1}^{s}b_jI(y\in B_j)\right]\left[\sum_{i=1}^{r}a_iK(y,A_i)\right]\mathop{}\!\mathrm{d}\pi=\int_{Y}v(y)\left[\int_{Y}u(z)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi \end{align*}\]

当$u,v$是非负有界可测函数时，取有限常数$M,N\geqslant0$使$0\leqslant u\leqslant M,\;0\leqslant v\leqslant N$。根据性质 5.3.3(8)，取非负简单函数列$\{u_n\}$和$\{v_n\}$使$u_n\uparrow u$、$v_n\uparrow v$。记：

\[\begin{gather*} U_n(y)=\int_{Y}u_n(z)\mathop{}\!\mathrm{d}K(y,\cdot),\quad U(y)=\int_{Y}u(z)\mathop{}\!\mathrm{d}K(y,\cdot) \\ V_n(y)=\int_{Y}v_n(z)\mathop{}\!\mathrm{d}K(y,\cdot),\quad V(y)=\int_{Y}v(z)\mathop{}\!\mathrm{d}K(y,\cdot) \end{gather*}\]

由引理 6.2(1)可知这些函数均关于$\mathscr{A}$可测。因为$K(y,\cdot)$是概率测度，根据性质 5.4.2(6)可知$0\leqslant U_n(y)\leqslant U(y)\leqslant M$、$0\leqslant V_n(y)\leqslant V(y)\leqslant N$。对每个固定的$y$，由定理 5.23可得$U_n(y)\uparrow U(y)$、$V_n(y)\uparrow V(y)$。

因为所有因子非负，且各自随$n$递增，所以：

\[\begin{equation*} 0\leqslant u_n(y)V_n(y)\leqslant u_{n+1}(y)V_n(y)\leqslant u_{n+1}(y)V_{n+1}(y) \end{equation*}\]

由性质 3.3.3(5.c)可知$u_n(y)V_n(y)\uparrow u(y)V(y)$且$u(y)V(y)$有限。同理可得$v_n(y)U_n(y)\uparrow v(y)U(y)$且$v(y)U(y)$有限。根据性质 5.3.3(5.b)、定理 5.23和非负简单函数时的结论可得：

\[\begin{equation*} \int_{Y}u(y)V(y)\mathop{}\!\mathrm{d}\pi=\lim_{n\to+\infty}\int_{Y}u_n(y)V_n(y)\mathop{}\!\mathrm{d}\pi=\lim_{n\to+\infty}\int_{Y}v_n(y)U_n(y)\mathop{}\!\mathrm{d}\pi=\int_{Y}v(y)U(y)\mathop{}\!\mathrm{d}\pi \end{equation*}\]

于是结论成立。

(3)对任意的非负可测函数$h$，记：

\[\begin{equation*} T^0h=h,\quad (Th)(y)=\int_{Y}h(z)\mathop{}\!\mathrm{d}K(y,\cdot),\quad T^{n+1}h=T(T^nh) \end{equation*}\]

由引理 6.2(2)可知：

\[\begin{equation*} (T^nh)(y)=\int_{Y}h(z)\mathop{}\!\mathrm{d}K^n(y,\cdot) \end{equation*}\]

当$n>0$时，根据(2)可知对任意非负有界可测函数$u,v$有：

\[\begin{align*} &\int_{Y}u(z)[T^nv(z)]\mathop{}\!\mathrm{d}\pi=\int_{Y}u(z)T\{[T^{n-1}v(z)]\}\mathop{}\!\mathrm{d}\pi \\ =&\int_{Y}u(z)\left\{\int_{Y}\left[\int_{Y}v(z)\mathop{}\!\mathrm{d}K^{n-1}(y,\cdot)\right]\mathop{}\!\mathrm{d}K(y,\cdot)\right\}\mathop{}\!\mathrm{d}\pi \\ =&\int_{Y}\left[\int_{Y}v(z)\mathop{}\!\mathrm{d}K^{n-1}(y,\cdot)\right]\left[\int_{Y}u(z)\mathop{}\!\mathrm{d}K(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi \\ =&\int_{Y}[T^{n-1}v(z)][Tu(z)]\mathop{}\!\mathrm{d}\pi=\cdots=\int_{Y}v(z)[T^nu(z)]\mathop{}\!\mathrm{d}\pi \end{align*}\]

当$n=0$时，上式也成立。于是对任意的$n\in\mathbb{N}$和任意的$A,B\in\mathscr{A}$，取$u=I(y\in A),v=I(y\in B)$，由性质 5.4.1(4)和性质 5.4.2(5)可得：

\[\begin{align*} &\int_{Y}I(z\in A)[T^nI(z\in B)]\mathop{}\!\mathrm{d}\pi=\int_{Y}I(z\in A)\left[\int_{Y}I(z\in B)\mathop{}\!\mathrm{d}K^n(y,\cdot)\right]\mathop{}\!\mathrm{d}\pi \\ =&\int_{Y}I(z\in A)K^n(y,B)\mathop{}\!\mathrm{d}\pi=\int_{A}K^n(y,B)\mathop{}\!\mathrm{d}\pi \end{align*}\]

同理可得：

\[\begin{equation*} \int_{Y}I(z\in B)[T^nI(z\in A)]\mathop{}\!\mathrm{d}\pi=\int_{B}K^n(y,A)\mathop{}\!\mathrm{d}\pi \end{equation*}\]

于是：

\[\begin{align*} &\int_{A}K^n(y,B)\mathop{}\!\mathrm{d}\pi=\int_{Y}I(z\in A)[T^nI(z\in B)]\mathop{}\!\mathrm{d}\pi \\ =&\int_{Y}I(z\in B)[T^nI(z\in A)]\mathop{}\!\mathrm{d}\pi=\int_{B}K^n(y,A)\mathop{}\!\mathrm{d}\pi \end{align*}\]

由$A,B$的任意性可知$K^n$与$\pi$满足细致平衡条件。 ◻

note 6.13. 性质 6.8.4(1)给出了一个验证$\pi$是$K$的不变分布的在实际情况下更容易验证的充分条件，这也是我们研究细致平衡的原因。

6.8.2.3 不可约性

不变分布描述一种在转移下保持不变的分布，但从某个状态出发，链能够到达哪些区域仍然是一个需要研究的问题。如果状态空间中存在彼此无法到达的部分，那么不同初始状态对应的路径就可能始终留在不同区域，链的长期行为也可能随初始状态所在的区域而不同。因此，在研究整个状态空间上的演化时我们自然希望知道：从任意初始状态出发，是否都有机会进入那些具有正测度的区域？

Definition 6.61. 设$\varphi$是$(Y,\mathscr{A})$上的非零$\sigma$有限测度。若对任意的$y\in Y$和任意满足$\varphi(A)>0$的$A\in\mathscr{A}$，存在$n\in\mathbb{N}^+$使得：

\[\begin{equation*} K^n(y,A)>0 \end{equation*}\]

则称$K$是$\varphi$不可约的，称$\varphi$为$K$的不可约测度（irreducibility measure）。若存在这样的$\varphi$，则称$K$为不可约Markov核（irreducible Markov kernel），也称以$K$为转移概率核的齐次Markov链不可约。

note 6.14. 不可约性表示从任意状态出发都有正概率在某个有限的正时刻进入所考察的集合。

Property 6.8.5. 设$K$是$\varphi$不可约的，则：

若$\psi$是非零$\sigma$有限测度且$\psi\ll\varphi$，则$K$也是$\psi$不可约的；
若$\nu$是$K$的任意不变分布，则$\varphi\ll\nu$。

证明. (1)任取$y\in Y$及满足$\psi(A)>0$的$A\in\mathscr{A}$，由$\psi\ll\varphi$可知$\varphi(A)>0$，于是存在$n\in\mathbb{N}^+$使得$K^n(y,A)>0$，即$K$是$\psi$不可约的。

(2)任取满足$\nu(A)=0$的$A\in\mathscr{A}$。由性质 6.8.3(1)可知对任意的$n\in\mathbb{N}^+$有：

\[\begin{equation*} 0=\nu(A)=\int_{Y}K^n(y,A)\mathop{}\!\mathrm{d}\nu \end{equation*}\]

根据性质 6.8.2(1)、性质 6.8.1(2)可知$K^n(y,A)$是非负可测函数，由性质 5.4.3(9)可得$K^n(y,A)=0\;$a.e.于$(Y,\mathscr{A},\nu)$。令：

\[\begin{equation*} N=\underset{n=1}{\overset{+\infty}{\cup}}\{y\in Y:K^n(y,A)>0\} \end{equation*}\]

由性质 5.3.3(1.c)和性质 5.2.1(3)（次可列可加性）可得$N\in\mathscr{A}$且$\nu(N)=0$。因为$\nu(Y)=1$，所以$N^c\ne\varnothing$，可取$y\in N^c$，此时对所有的$n\in\mathbb{N}^+$都有$K^n(y,A)=0$。若$\varphi(A)>0$，这与$\varphi$不可约性矛盾，因此$\varphi(A)=0$。由$A$的任意性可知$\varphi\ll\nu$。 ◻

下述定理给出了一个验证关于$\pi$不可约性的容易验证的充分条件。

Theorem 6.14. 设$K$是可测空间$(Y,\mathscr{A})$上的概率核，$\pi$是该空间上的概率测度。若存在固定的$m\in\mathbb{N}^+$，使得对每个$y\in Y$，$K^m(y,\cdot)$都具有关于$\pi$的Radon–Nikodym导数$k_m(y,\cdot)$，即对任意的$y\in Y$和$A\in\mathscr{A}$有：

\[\begin{equation*} K^m(y,A)=\int_{A}k_m(y,z)\mathop{}\!\mathrm{d}\pi \end{equation*}\]

并且对每个$y\in Y$都有$k_m(y,z)>0\;$a.e.于$(Y,\mathscr{A},\pi)$，则$K$是$\pi$不可约的。

证明. 任取$y\in Y$及满足$\pi(A)>0$的$A\in\mathscr{A}$。由定理 5.33可知$k_m(y,\cdot)$非负且关于$\mathscr{A}$可测。对每个$n\in\mathbb{N}^+$，记：

\[\begin{equation*} A_n=\{z\in A:k_m(y,z)\geqslant1/n\} \end{equation*}\]

则：

\[\begin{equation*} \underset{n=1}{\overset{+\infty}{\cup}}A_n=\{z\in A:k_m(y,z)>0\} \end{equation*}\]

由性质 5.3.3(1.d)和性质 5.1.6(2)可知$A_n,\underset{n=1}{\overset{+\infty}{\cup}}A_n\in\mathscr{A}$。根据$k_m(y,z)>0\;$a.e.于$(Y,\mathscr{A},\pi)$可得：

\[\begin{equation*} \pi\left(A\setminus\underset{n=1}{\overset{+\infty}{\cup}}A_n\right)=0 \end{equation*}\]

若对任意的$n\in\mathbb{N}^+$都有$\pi(A_n)=0$，由性质 5.2.1(1)(3)（次可列可加性）可得：

\[\begin{equation*} \pi(A)=\pi\left(A\setminus\underset{n=1}{\overset{+\infty}{\cup}}A_n\right)+\pi\left(\underset{n=1}{\overset{+\infty}{\cup}}A_n\right)\leqslant\pi\left(A\setminus\underset{n=1}{\overset{+\infty}{\cup}}A_n\right)+\sum_{n=1}^{+\infty}\pi(A_n)=0 \end{equation*}\]

这与$\pi(A)>0$矛盾，因此存在$n\in\mathbb{N}^+$使$\pi(A_n)>0$。根据性质 5.4.2(5)(2)(6)：

\[\begin{equation*} \int_{A}k_m(y,z)\mathop{}\!\mathrm{d}\pi\geqslant\int_{A_n}k_m(y,z)\mathop{}\!\mathrm{d}\pi\geqslant\int_{A_n}\frac{1}{n}\mathop{}\!\mathrm{d}\pi=\frac{1}{n}\pi(A_n)>0 \end{equation*}\]

于是：

\[\begin{equation*} K^m(y,A)=\int_{A}k_m(y,z)\mathop{}\!\mathrm{d}\pi>0 \end{equation*}\]

由$y$及$A$的任意性可知$K$是$\pi$不可约的。 ◻

Theorem 6.15. 设$\pi$是$K$的不变分布。若$K$是$\pi$不可约的，则$\pi$是$K$唯一的不变分布。

证明. 太长，略去。 ◻

6.8.2.4 常返性

不可约性排除了状态空间中存在彼此无法到达的正测度区域的可能，因此链在可达性的意义下能够遍历整个状态空间。进一步需要研究的问题是链是否会远离已经访问过的区域而不再返回。

以下设$\{f_n\}_{n=0}^{+\infty}$是概率空间$(X,\mathscr{F},P)$上取值于$(Y,\mathscr{A})$、转移概率核为$K$的齐次Markov链，$\varphi$是$(Y,\mathscr{A})$上的非零$\sigma$有限测度。由于需要描述的是链从某个给定状态出发之后的返回行为，因此需要考察不同初始状态下链的演化。对任意$y\in Y$，考虑一条满足$f_0\equiv y$的Markov链，此时对任意$A\in\mathscr{A}$有：

\[\begin{equation*} Pf_0^{-1}(A)=I(y\in A) \end{equation*}\]

由性质 6.8.2(3)和性质 5.4.1(4)可知对任意的$n\in\mathbb{N}^+$有：

\[\begin{equation*} Pf_n^{-1}(A)=K^n(y,A) \end{equation*}\]

Definition 6.62. 对任意的$A\in\mathscr{A}$和$x\in X$，定义：

\[\begin{equation*} \tau_A(x)=\inf\{n\in\mathbb{N}^+:f_n(x)\in A\},\quad N_A(x)=\sum_{n=1}^{+\infty}I[f_n(x)\in A] \end{equation*}\]

约定$\inf\varnothing=+\infty$。称$\tau_A$为从时刻$1$起首次进入$A$的时间，$N_A$为从时刻$1$起对$A$的总访问次数。

由性质 5.3.3(1.b)、性质 5.3.1(2)、性质 5.3.2(1)和性质 5.3.3(5.a)(6)可知$\tau_A$和$N_A$都是$(X,\mathscr{F},P)$上的可测函数。

Property 6.8.6. 设$\{f_n\}_{n=0}^{+\infty}$满足$f_0\equiv y\in Y$，则对任意$A\in\mathscr{A}$有：

\[\begin{equation*} \operatorname{E}(N_A)=\sum_{n=1}^{+\infty}K^n(y,A) \end{equation*}\]

证明. 由定理 5.23和性质 6.8.2(3)可知：

\[\begin{equation*} \operatorname{E}(N_A)=\lim_{r\to+\infty}\operatorname{E}\left[\sum_{n=1}^rI(f_n\in A)\right]=\lim_{r\to+\infty}\sum_{n=1}^rP(f_n\in A)=\sum_{n=1}^{+\infty}K^n(y,A) \end{equation*}\]

◻

Definition 6.63. 设$K$是$\varphi$不可约的。若对任意$y\in Y$和任意满足$\varphi(A)>0$的$A\in\mathscr{A}$都有：

\[\begin{equation*} \sum_{n=1}^{+\infty}K^n(y,A)=+\infty \end{equation*}\]

则称$K$是常返Markov核（recurrent Markov kernel）。

上述常返性的定义刻画了Markov链对具有正$\varphi$测度集合的长期访问强度。由性质6.8.6可知常返性保证了$\operatorname{E}(N_A)=+\infty$。然而，期望访问次数为无穷并不能保证链以概率$1$访问集合$A$：仍可能存在一部分具有正概率的样本路径始终不进入$A$，而另一些样本路径在进入$A$后产生足够多的访问，使得总体期望为无穷。因此，常返性本质上描述的是一种期望意义下的长期访问性质，而不能完全刻画每一条典型样本路径的行为。为了获得更强的路径性质，我们进一步要求从任意初始状态出发，对任意满足$\varphi(A)>0$的集合$A$，链都以概率$1$在有限时间内进入$A$。

Definition 6.64. 若对任意的$y\in Y$，任取一条满足$f_0\equiv y$且转移概率核为$K$的Markov链，对任意满足$\varphi(A)>0$的$A\in\mathscr{A}$都有：

\[\begin{equation*} P(\tau_A<+\infty)=1 \end{equation*}\]

则称$K$是关于$\varphi$的Harris常返Markov核（Harris recurrent Markov kernel）。

Theorem 6.16. $K$是关于$\varphi$的Harris常返核的充分必要条件为对任意的$y\in Y$，任取一条满足$f_0\equiv y$且转移概率核为$K$的Markov链，对任意满足$\varphi(A)>0$的$A\in\mathscr{A}$都有$P(N_A=+\infty)=1$。此时$K$是$\varphi$不可约的，且是常返核。

证明. (1)必要性：任取一条满足$f_0\equiv y$且转移概率核为$K$的Markov链，固定$\varphi(A)>0$的$A\in\mathscr{A}$。因为：

\[\begin{equation*} \{N_A<+\infty\}=\underset{l=0}{\overset{+\infty}{\cup}}\underset{n=l+1}{\overset{+\infty}{\cap}}\{f_n\notin A\} \end{equation*}\]

由性质 5.2.1(2)(3)（次可列可加性）可知：

\[\begin{equation*} P(N_A=+\infty)=1-P(N_A<+\infty)\geqslant1-\sum_{l=0}^{+\infty}P\left(\underset{n=l+1}{\overset{+\infty}{\cap}}\{f_n\notin A\}\right) \end{equation*}\]

只需证明：

\[\begin{equation*} \forall\;l\in\mathbb{N},\;P\left(\underset{n=l+1}{\overset{+\infty}{\cap}}\{f_n\notin A\}\right)=0 \end{equation*}\]

递归定义：

\[\begin{equation*} a_1(z)\coloneq K(z,A^c),\quad a_{r+1}(z)\coloneq\int_{A^c}a_r(w)\mathop{}\!\mathrm{d}K(z,\cdot),\quad r\in\mathbb{N}^+ \end{equation*}\]

由引理 6.2(1)、性质 5.4.2(5)(3)和性质 5.3.3(5.a)可知$a_r$可测且$0\leqslant a_r\leqslant1$。对任意一条转移概率核为$K$的Markov链，下证对所有$l\in\mathbb{N}$及$r\in\mathbb{N}^+$有：

\[\begin{equation*} \operatorname{E}\left[\prod_{i=1}^r I(f_{l+i}\notin A)\mid\mathscr{F}_l\right]=a_r(f_l)\;\text{a.e.于}(X,\mathscr{F}_l,P) \end{equation*}\]

$r=1$时，由性质 5.3.2(1)、性质 6.8.1(1)、性质 6.8.2(1)和性质 5.4.1(4)可知结论成立。假设结论对$r$和所有的$l\in\mathbb{N}$成立。根据性质 5.3.2(1)可知$I(f_{l+1}\notin A)$关于$\mathscr{F}_{l+1}$可测，由性质 6.3.2(3)、定理 6.5、归纳假设、性质 5.3.3(5.b)、性质 6.8.1(1)、性质 5.4.2(5)、性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可得：

\[\begin{align*} &\operatorname{E}\left[\prod_{i=1}^{r+1}I(f_{l+i}\notin A)\mid\mathscr{F}_l\right]=\operatorname{E}\left\{\operatorname{E}\left[\prod_{i=1}^{r+1}I(f_{l+i}\notin A)\mid\mathscr{F}_{l+1}\right]\mid\mathscr{F}_l\right\} \\ =&\operatorname{E}\left\{I(f_{l+1}\notin A)\operatorname{E}\left[\prod_{i=2}^{r+1}I(f_{l+i}\notin A)\mid\mathscr{F}_{l+1}\right]\mid\mathscr{F}_l\right\} \\ =&\operatorname{E}[I(f_{l+1}\notin A)a_r(f_{l+1})\mid\mathscr{F}_l]=\int_{Y}I(f_{l+1}\notin A)a_r(f_{l+1})\mathop{}\!\mathrm{d}K(f_l,\cdot) \\ =&\int_{A^c}a_r(w)\mathop{}\!\mathrm{d}K(f_l,\cdot)=a_{r+1}(f_l) \end{align*}\]

a.e.于$(X,\mathscr{F}_{l+1},P)$，根据条件期望的定义和性质 5.3.1(2)的证明过程可知上式左右两侧都关于$(X,\mathscr{F}_l,P)$可测，由性质 5.3.3(3)可知上式成立a.e.于$(X,\mathscr{F}_l,P)$。根据数学归纳法即得所需结论。

由上述结论、性质 6.3.2(3)、性质 5.1.6(2)和性质 5.4.1(4)可知：

\[\begin{equation*} \operatorname{E}[a_r(f_l)]=P\left(\underset{i=1}{\overset{r}{\cap}}\{f_{l+i}\notin A\}\right) \end{equation*}\]

任取$z\in Y$，对一条满足$f_0'\equiv z$且转移概率核为$K$的Markov链$\{f_n'\}_{n=0}^{+\infty}$取$l=0$可得：

\[\begin{equation*} a_r(z)=\operatorname{E}[a_r(f_0')]=P\left(\underset{i=1}{\overset{r}{\cap}}\{f_i'\notin A\}\right) \end{equation*}\]

因此根据性质 5.2.1(3)（单调性）、性质 5.1.2(3)、性质 5.2.1(3)（上连续性）、性质 5.2.1(2)和Harris常返性可得：

\[\begin{equation*} a_r(z)\downarrow P(\tau_A=+\infty)=1-P(\tau_A<+\infty)=0 \end{equation*}\]

对任意的$l\in\mathbb{N}$，由性质 5.1.2(3)、性质 5.2.1(3)（上连续性）和定理 5.25可得：

\[\begin{align*} &P\left(\underset{i=l+1}{\overset{+\infty}{\cap}}\{f_i\notin A\}\right)=\lim_{r\to+\infty}P\left(\underset{i=l+1}{\overset{r}{\cap}}\{f_i\notin A\}\right)=\lim_{r\to+\infty}P\left(\underset{i=1}{\overset{r-l}{\cap}}\{f_{l+i}\notin A\}\right) \\ =&P\left(\underset{i=1}{\overset{+\infty}{\cap}}\{f_{l+i}\notin A\}\right)=\lim_{r\to+\infty}P\left(\underset{i=1}{\overset{r}{\cap}}\{f_{l+i}\notin A\}\right)=\lim_{r\to+\infty}\operatorname{E}[a_r(f_l)]=0 \end{align*}\]

(2)充分性：因为$\{N_A=+\infty\}\subseteq\{\tau_A<+\infty\}$，由性质 5.2.1(3)（单调性）即可得出结论。

由充分性可知对任意满足$\varphi(A)>0$的$A\in\mathscr{A}$都有$P(\tau_A<+\infty)=1$，根据性质 5.2.1(3)次有限可加性可得：

\[\begin{equation*} P\left(\underset{n=1}{\overset{+\infty}{\cup}}\{f_n\in A\}\right)=1\leqslant\sum_{n=1}^{+\infty}P(f_n\in A)=\sum_{n=1}^{+\infty}K^n(y,A) \end{equation*}\]

不可能对所有的$n$都有$K^n(y,A)=0$，所以$K$是$\varphi$不可约的。

由性质 6.8.6、必要性、性质 5.3.3(2)和性质 5.4.2(5)(2)可知：

\[\begin{equation*} \sum_{n=1}^{+\infty}K^n(y,A)=\operatorname{E}(N_A)=+\infty \end{equation*}\]

所以$K$是常返核。 ◻

Definition 6.65. 若$K$是关于$\varphi$的Harris常返核，并且存在不变分布，则称$K$是正Harris常返Markov核（positive Harris recurrent Markov kernel）。

6.8.2.5 周期性

以下讨论具有不变分布$\pi$且$\pi$不可约的转移概率核$K$。

Definition 6.66. 设$p\in\mathbb{N}^+$。若存在两两不交的$D_1, D_2, \dots, D_{p}\in\mathscr{A}$使得：

\[\begin{gather*} \pi\left(\underset{i=1}{\overset{p}{\cup}}D_i\right)=1 \\ \pi(D_i)>0,\quad\forall\;y\in D_i,K(y,D_{i+1})=1,\quad i=1,2,\dots,p \end{gather*}\]

其中约定$D_{i+p}=D_i$，则称$D_1, D_2, \dots, D_{p}$为$K$的一个长度为$p$的循环分解。若存在长度$p\geqslant2$的循环分解，则称$K$是周期Markov核（periodic Markov kernel），否则称$K$是非周期Markov核（aperiodic Markov kernel）。

Property 6.8.7. 设$D_1, D_2, \dots, D_{p}$为上述循环分解，则：

对任意的$n\in\mathbb{N}$和$y\in D_i$有$K^n(y,D_{i+n})=1$；若$n$不是$p$的倍数，则对于$y\in D_i$有$K^n(y,D_i)=0$；
$\pi(D_i)=1/p,\;i=1,2,\dots,p$。

证明. (1)当$n=0$时，由$K^0(y,D_i)=I(y\in D_i)$可知结论成立。设$K^n(y,D_{i+n})=1$，由性质 6.8.2(2)、性质 5.4.2(5)、性质 5.2.1(2)和性质 5.4.2(3)可知：

\[\begin{equation*} K^{n+1}(y,D_{i+n+1})=\int_{Y}K(z,D_{i+n+1})\mathop{}\!\mathrm{d}K^n(y,\cdot)=\int_{D_{i+n}}1\mathop{}\!\mathrm{d}K^n(y,\cdot)=K^n(y,D_{i+n})=1 \end{equation*}\]

根据数学归纳法可得对任意的$n\in\mathbb{N}$和$y\in D_i$有$K^n(y,D_{i+n})=1$。若$n$不是$d$的倍数，则$D_i$与$D_{i+n}$不交，由性质 5.2.1(2)(3)（单调性）可知$K^n(y,D_i)=0$。

(2)由不变性、性质 5.1.6(3)、定理 5.27、性质 5.2.1(2)、性质 5.4.3(1)和(1)可得：

\[\begin{align*} \pi(D_{i+1})&=\int_{Y}K(y,D_{i+1})\mathop{}\!\mathrm{d}\pi=\sum_{j=1}^{p}\int_{D_j}K(y,D_{i+1})\mathop{}\!\mathrm{d}\pi+\int_{\left(\underset{j=1}{\overset{p}{\cup}}D_j\right)^c}K(y,D_{i+1})\mathop{}\!\mathrm{d}\pi \\ &=\sum_{j=1}^{p}\int_{D_j}K(y,D_{i+1})\mathop{}\!\mathrm{d}\pi=\int_{D_i}K(y,D_{i+1})\mathop{}\!\mathrm{d}\pi=\pi(D_i) \end{align*}\]

根据性质 5.2.1(1)即可得出结论。 ◻

从$y\in D_1$出发，由性质 6.8.7(1)可知：

\[\begin{equation*} K^{nd}(y,D_1)=1,\;K^{nd+1}(y,D_1)=0,\quad\forall\;n\in\mathbb{N} \end{equation*}\]

因此$K^n(y,D_1)$不可能趋于$\pi(D_1)=1/p$。这说明即使已经有不变分布与不可约性，周期性仍会妨碍从某些初始状态出发的状态分布趋于不变分布。

Property 6.8.8. 设$\pi K=\pi$且$K$是$\pi$不可约的。以下任一条件均可保证$K$非周期：

存在$m\in\mathbb{N}^+$使得对任意的$y\in Y$和满足$\pi(A)>0$的$A\in\mathscr{A}$都有$K^m(y,A)>0$；
存在$\varepsilon\in(0,1)$使得对任意的$y\in Y$和$A\in\mathscr{A}$都有$K(y,A)\geqslant\varepsilon I(y\in A)$。

证明. 使用反证法。

(1)取$y\in D_1$，由性质 6.8.7(1)可知$K^m(y,D_{m+1})=1$。根据性质 5.2.1(2)(3)（单调性）可得$K^m(y,D_{m+2})=0$，由性质 6.8.7(2)可知矛盾。

(2)取$y\in D_1$，由性质 6.8.7(1)可知$K(y,D_2)=1$。根据性质 5.2.1(2)(3)（单调性）可得$K(y,D_1)=0$，矛盾。 ◻

Theorem 6.17. 取$\varepsilon\in(0,1)$，对任意的$y\in Y$和$A\in\mathscr{A}$定义：

\[\begin{equation*} \tilde{K}(y,A)\coloneq\varepsilon I(y\in A)+(1-\varepsilon)K(y,A) \end{equation*}\]

则$\tilde{K}$是$\pi$不可约、非周期、以$\pi$为不变分布的$(Y,\mathscr{A})$上的概率核。

证明. 固定$y$，由定义可以验证得到$\tilde{K}(y,\cdot)$是$(Y,\mathscr{A})$上的概率测度。固定$A$，根据性质 5.3.2(1)和性质 5.3.3(5.a)可知$\tilde{K}(\cdot,A)$是$(Y,\mathscr{A})$上的可测函数，所以$\tilde{K}$为$(Y,\mathscr{A})$上的概率核。

对任意的$A\in\mathscr{A}$，由性质 5.4.2(10)(5)可得：

\[\begin{equation*} (\pi\tilde{K})(A)=\int_{Y}[\varepsilon I(y\in A)+(1-\varepsilon)K(y,A)]\mathop{}\!\mathrm{d}\pi=\varepsilon\pi(A)+(1-\varepsilon)(\pi K)(A)=\pi(A) \end{equation*}\]

于是$\pi$是$\tilde{K}$的不变分布。

将$\tilde{K}$理解为以概率$\varepsilon$保持点不移动，以概率$1-\varepsilon$按照$K$移动，于是直观上对任意的$n\in\mathbb{N}^+$有$\tilde{K}^n(y,A)\geqslant(1-\varepsilon)^nK^n(y,A)$。由$K$的$\pi$不可约性可从定义得出$\tilde{K}$的$\pi$不可约性。

根据$\tilde{K}(y,A)\geqslant\varepsilon I(y\in A)$和性质 6.8.8(2)可知$\tilde{K}$非周期。 ◻

此处极限符号的含义为$x_1, x_2, \dots, x_{n}$中存在$x_i\to-\infty$或$x_i\to+\infty$。↩︎
从这里开始我们可能会混用初等概率论的记号，即用$P(f=x_n)$来表示$P(\{f=x_n\})$。↩︎
对于概率质量函数$p$，通常只写出其非零部分，未列出的点均约定其概率质量为$0$。↩︎
这里的a.e.来源于条件期望的a.e.。↩︎
关于概率核的积分为关于该概率核所对应的概率测度的积分。↩︎

COMPUTATIONAL NOTES

计算实验

实验01

逆变换法

R · Quarto

本实验用逆变换法生成指数分布的随机数，并将生成结果的经验分布与理论分布进行比较。取参数为$\lambda=2$的指数分布，其分布函数和左连续逆分别为

\[ F(x)= \begin{cases} 0,&x<0,\\ 1-\exp(-2x),&x\geqslant0, \end{cases} \qquad F^{\leftarrow}(u)=-\frac{1}{2}\log(1-u),\quad 0<u<1. \]

因此，若$U\sim\operatorname{U}(0,1)$，则$X=F^{\leftarrow}(U)$服从参数为$2$的指数分布。下面固定随机种子并生成$10000$个观测值。代码使用log1p(-u)计算$\log(1-u)$，以减小$u$接近$0$时直接相减造成的数值误差。

生成随机数

set.seed(20260814)

sample_size <- 10000L
rate <- 2
uniform_values <- runif(sample_size)
inverse_sample <- -log1p(-uniform_values) / rate

head(inverse_sample, 10)

 [1] 0.0077957 0.7421333 0.4626406 0.4545128 0.2150052 0.0176559 1.2962120 0.0654378 0.1160690
[10] 0.0774854

指数分布的理论均值为$1/\lambda$，理论方差为$1/\lambda^2$。除比较均值和方差外，还计算经验分布函数$F_n$与理论分布函数$F$之间的最大距离

\[ D_n=\sup_{x\in\mathbb{R}}|F_n(x)-F(x)|. \]

ordered_inverse_sample <- sort(inverse_sample)
theoretical_cdf_at_sample <- pexp(ordered_inverse_sample, rate = rate)
empirical_cdf_upper <- seq_len(sample_size) / sample_size
empirical_cdf_lower <- (seq_len(sample_size) - 1) / sample_size

cdf_maximum_distance <- max(
  abs(empirical_cdf_upper - theoretical_cdf_at_sample),
  abs(empirical_cdf_lower - theoretical_cdf_at_sample)
)

distribution_summary <- data.frame(
  Quantity = c("Mean", "Variance", "Maximum CDF distance"),
  Empirical = c(
    mean(inverse_sample),
    var(inverse_sample),
    cdf_maximum_distance
  ),
  Theoretical = c(1 / rate, 1 / rate^2, 0),
  row.names = NULL
)

distribution_summary

              Quantity Empirical Theoretical
1                 Mean  0.505245        0.50
2             Variance  0.245681        0.25
3 Maximum CDF distance  0.014024        0.00

理论分位数为$F^{\leftarrow}(p)=-\log(1-p)/\lambda$。选取若干概率水平，进一步比较样本分位数与理论分位数。

probability_levels <- c(0.1, 0.25, 0.5, 0.75, 0.9, 0.95)

quantile_comparison <- data.frame(
  Probability = probability_levels,
  Empirical = as.numeric(
    quantile(inverse_sample, probs = probability_levels, names = FALSE)
  ),
  Theoretical = qexp(probability_levels, rate = rate),
  row.names = NULL
)

quantile_comparison

  Probability Empirical Theoretical
1        0.10  0.053335     0.05268
2        0.25  0.144625     0.14384
3        0.50  0.359846     0.34657
4        0.75  0.701980     0.69315
5        0.90  1.165901     1.15129
6        0.95  1.516443     1.49787

经验分布与理论分布

左图用直方图表示生成结果的经验密度，并叠加指数分布的理论密度；右图比较经验分布函数与理论分布函数。为使主体部分更清楚，密度图和分布函数图的横坐标只显示到理论分布的$99.5\%$分位点，数值汇总仍然使用全部观测值。

plot_limit <- qexp(0.995, rate = rate)
inverse_histogram <- hist(inverse_sample, breaks = "FD", plot = FALSE)

old_par <- par(mfrow = c(1, 2), mar = c(4, 4, 3, 1))

plot(
  inverse_histogram,
  freq = FALSE,
  col = colour_fill,
  border = "white",
  xlim = c(0, plot_limit),
  main = "Density Comparison",
  xlab = "Generated Value",
  ylab = "Density"
)
curve(
  dexp(x, rate = rate),
  from = 0,
  to = plot_limit,
  add = TRUE,
  col = colour_smooth,
  lwd = 2.2
)
legend(
  "topright",
  legend = c("Empirical density", "Theoretical density"),
  col = c(colour_fill, colour_smooth),
  lwd = c(8, 2.2),
  bty = "n"
)

plot(
  ecdf(inverse_sample),
  verticals = TRUE,
  do.points = FALSE,
  col = colour_main,
  lwd = 1.5,
  xlim = c(0, plot_limit),
  ylim = c(0, 1),
  main = "CDF Comparison",
  xlab = "Generated Value",
  ylab = "Cumulative Probability"
)
curve(
  pexp(x, rate = rate),
  from = 0,
  to = plot_limit,
  add = TRUE,
  col = colour_smooth,
  lwd = 2.2,
  lty = 2
)
legend(
  "bottomright",
  legend = c("Empirical CDF", "Theoretical CDF"),
  col = c(colour_main, colour_smooth),
  lty = c(1, 2),
  lwd = c(1.5, 2.2),
  bty = "n"
)

par(old_par)

生成结果的样本均值与理论均值之差为0.00525，样本方差与理论方差之差为0.00432，经验分布函数与理论分布函数的最大距离为0.01402。图形和数值结果共同表明，逆变换后的观测值与目标指数分布吻合；有限样本造成的差异不会完全消失，但样本量增大时通常会减小。

实验02

接受拒绝法

R · Quarto

本实验用接受–拒绝法生成$\operatorname{Beta}(2,5)$分布的随机数，并将最终接受的观测值的经验分布与理论分布进行比较。目标概率密度为

\[ p(y)=30y(1-y)^4I_{(0,1)}(y). \]

取容易抽样的$\operatorname{U}(0,1)$分布为候选分布，其概率密度在$(0,1)$上为$q(y)=1$。目标密度在$y=1/5$处取得最大值，因此可以取

\[ M=p\left(\frac{1}{5}\right)=\frac{1536}{625}=2.4576, \qquad p(y)\leqslant Mq(y). \]

对每个候选值$Y$独立生成$U\sim\operatorname{U}(0,1)$；当$U\leqslant p(Y)/(Mq(Y))=p(Y)/M$时接受$Y$，否则重新抽取。由于$p$已经归一化，单次试验的理论接受概率为$1/M$。

生成随机数

下面的函数逐次生成候选值并进行接受或拒绝，直到得到指定数量的观测值。函数同时返回候选值总数，用于检验实际接受率是否接近理论接受率。

accept_reject_beta <- function(n, shape1, shape2, envelope_constant) {
  accepted_values <- numeric(n)
  accepted_count <- 0L
  proposal_count <- 0L

  while (accepted_count < n) {
    candidate <- runif(1)
    uniform_value <- runif(1)
    proposal_count <- proposal_count + 1L

    acceptance_probability <- dbeta(
      candidate,
      shape1 = shape1,
      shape2 = shape2
    ) /
      envelope_constant

    if (uniform_value <= acceptance_probability) {
      accepted_count <- accepted_count + 1L
      accepted_values[accepted_count] <- candidate
    }
  }

  list(values = accepted_values, proposals = proposal_count)
}

set.seed(20260814)

sample_size <- 10000L
shape1 <- 2
shape2 <- 5
target_mode <- (shape1 - 1) / (shape1 + shape2 - 2)
envelope_constant <- dbeta(
  target_mode,
  shape1 = shape1,
  shape2 = shape2
)

simulation <- accept_reject_beta(
  n = sample_size,
  shape1 = shape1,
  shape2 = shape2,
  envelope_constant = envelope_constant
)

accepted_sample <- simulation$values
proposal_count <- simulation$proposals

head(accepted_sample, 10)

 [1] 0.349498 0.207163 0.049305 0.242722 0.367873 0.193231 0.276930 0.110815 0.119959 0.222998

接受率与数字特征

理论上，每得到一个被接受的观测值平均需要提出$M$个候选值。下面同时比较经验接受率与理论接受率。

acceptance_summary <- data.frame(
  Accepted = sample_size,
  Proposed = proposal_count,
  EmpiricalAcceptanceRate = sample_size / proposal_count,
  TheoreticalAcceptanceRate = 1 / envelope_constant,
  TheoreticalProposalsPerAcceptedValue = envelope_constant,
  row.names = NULL
)

acceptance_summary

  Accepted Proposed EmpiricalAcceptanceRate TheoreticalAcceptanceRate
1    10000    24698                 0.40489                    0.4069
  TheoreticalProposalsPerAcceptedValue
1                               2.4576

$\operatorname{Beta}(a,b)$分布的理论均值和方差分别为

\[ \frac{a}{a+b}, \qquad \frac{ab}{(a+b)^2(a+b+1)}. \]

与逆变换法的实验相同，这里还计算经验分布函数与理论分布函数之间的最大距离。

ordered_accepted_sample <- sort(accepted_sample)
theoretical_cdf_at_sample <- pbeta(
  ordered_accepted_sample,
  shape1 = shape1,
  shape2 = shape2
)
empirical_cdf_upper <- seq_len(sample_size) / sample_size
empirical_cdf_lower <- (seq_len(sample_size) - 1) / sample_size

cdf_maximum_distance <- max(
  abs(empirical_cdf_upper - theoretical_cdf_at_sample),
  abs(empirical_cdf_lower - theoretical_cdf_at_sample)
)

theoretical_mean <- shape1 / (shape1 + shape2)
theoretical_variance <- shape1 *
  shape2 /
  ((shape1 + shape2)^2 * (shape1 + shape2 + 1))

distribution_summary <- data.frame(
  Quantity = c("Mean", "Variance", "Maximum CDF distance"),
  Empirical = c(
    mean(accepted_sample),
    var(accepted_sample),
    cdf_maximum_distance
  ),
  Theoretical = c(theoretical_mean, theoretical_variance, 0),
  row.names = NULL
)

distribution_summary

              Quantity Empirical Theoretical
1                 Mean 0.2844731     0.28571
2             Variance 0.0253929     0.02551
3 Maximum CDF distance 0.0062432     0.00000

经验分布与理论分布

左图用直方图表示最终被接受的观测值的经验密度，并叠加目标密度以及包络函数$Mq$；右图比较经验分布函数与$\operatorname{Beta}(2,5)$分布的理论分布函数。

accepted_histogram <- hist(accepted_sample, breaks = "FD", plot = FALSE)
density_upper_limit <- 1.08 *
  max(
    envelope_constant,
    accepted_histogram$density
  )

old_par <- par(mfrow = c(1, 2), mar = c(4, 4, 3, 1))

plot(
  accepted_histogram,
  freq = FALSE,
  col = colour_fill,
  border = "white",
  xlim = c(0, 1),
  ylim = c(0, density_upper_limit),
  main = "Density Comparison",
  xlab = "Accepted Value",
  ylab = "Density"
)
curve(
  dbeta(x, shape1 = shape1, shape2 = shape2),
  from = 0,
  to = 1,
  add = TRUE,
  col = colour_smooth,
  lwd = 2.2
)
abline(
  h = envelope_constant,
  col = colour_accent,
  lwd = 1.8,
  lty = 2
)
legend(
  "topright",
  legend = c("Empirical density", "Target density", "Envelope Mq"),
  col = c(colour_fill, colour_smooth, colour_accent),
  lty = c(1, 1, 2),
  lwd = c(8, 2.2, 1.8),
  bty = "n"
)

plot(
  ecdf(accepted_sample),
  verticals = TRUE,
  do.points = FALSE,
  col = colour_main,
  lwd = 1.5,
  xlim = c(0, 1),
  ylim = c(0, 1),
  main = "CDF Comparison",
  xlab = "Accepted Value",
  ylab = "Cumulative Probability"
)
curve(
  pbeta(x, shape1 = shape1, shape2 = shape2),
  from = 0,
  to = 1,
  add = TRUE,
  col = colour_smooth,
  lwd = 2.2,
  lty = 2
)
legend(
  "bottomright",
  legend = c("Empirical CDF", "Theoretical CDF"),
  col = c(colour_main, colour_smooth),
  lty = c(1, 2),
  lwd = c(1.5, 2.2),
  bty = "n"
)

par(old_par)

本次模拟的实际接受率为0.4049，理论接受率为0.4069。最终被接受的观测值的样本均值与理论均值之差为0.00124，样本方差与理论方差之差为0.00012，经验分布函数与理论分布函数的最大距离为0.00624。接受率、数字特征和分布图均与理论结果相符，说明接受步骤将均匀候选分布校正为了目标$\operatorname{Beta}(2,5)$分布。

6.1 随机变量的分类

6.2 独立性

6.3 期望

6.3.1 数学期望

6.3.2 条件期望

6.3.3 条件概率

6.3.3.1 条件概率分布

6.3.3.2 条件概率密度

6.4 随机变量的数字特征

6.4.1 矩

6.4.2 方差

6.4.3 协方差

6.4.4 均方误差

6.4.5 相关系数

6.4.6 二次型

6.4.6.1 随机变量二次型的均值

6.4.6.2 独立随机变量二次型的方差

6.4.7 特征函数

6.4.8 统计距离

6.4.8.1 Mahalanobis距离

6.5 分布族

6.5.1 离散型随机变量

6.5.1.1 二项分布族

6.5.1.2 负二项分布族

6.5.1.3 超几何分布

6.5.1.4 Poisson分布族

6.5.2 连续型随机变量

6.5.2.1 均匀分布族

6.5.2.2 Gamma分布

6.5.2.3 Beta分布

6.5.3 正态分布族

6.5.3.1 一元正态分布

6.5.3.2 多元正态分布

6.5.3.3 正态随机向量的二次型

6.5.4 正态分布的衍生分布

6.5.4.1 \(\chi^2\)分布

6.5.4.2 \(t\)分布

6.5.4.3 \(F\)分布

6.5.5 随机数的生成

6.5.5.1 逆变换法

6.5.5.2 接受拒绝法

6.6 随机过程

6.6.1 平稳性

6.7 鞅

6.7.1 鞅差序列

6.8 Markov链

6.8.1 分布的演化

6.8.2 齐次链的分布演化

6.8.2.1 不变分布

6.8.2.2 细致平衡

6.8.2.3 不可约性

6.8.2.4 常返性

6.8.2.5 周期性

逆变换法

生成随机数

经验分布与理论分布

接受拒绝法

生成随机数

接受率与数字特征

经验分布与理论分布