第 6 章 概率初步

CHAPTER STATUS编写进度30%查看全书进度

Definition 6.1. 若\(f\)是概率空间\((X,\mathscr{F},P)\)到\((\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))\)上的可测映射，则称\(f\)是\(n\)维随机向量（random vector）。当\(n=1\)时，称\(f\)为随机变量（random variable）。

Definition 6.2. 若\(\mathbb{R}^{n}\)上的准分布函数\(F\)满足¹：

\[\begin{equation*} \lim_{x_1, x_2, \dots, x_{n}\to-\infty}F(x_1, x_2, \dots, x_{n})=0,\quad\lim_{x_1, x_2, \dots, x_{n}\to+\infty}F(x_1, x_2, \dots, x_{n})=1 \end{equation*}\]

则称\(F\)是\(\mathbb{R}^{n}\)上的分布函数（distribution function）。

Theorem 6.1. 设\(f=(f_1, f_2, \dots, f_{n})\)是概率空间\((X,\mathscr{F},P)\)上的随机向量。对任意的\(x=(x_1, x_2, \dots, x_{n})\in\mathbb{R}^{n}\)，由性质 5.3.3(1.b)和性质 5.1.6(2)，令：

\[\begin{equation*} F(x)=P(f\leqslant x)=P\left(\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant x_i\}\right) \end{equation*}\]

则\(F\)是\(\mathbb{R}^{n}\)上的\(n\)元分布函数。

证明. (1)由性质 5.2.1(3)（单调性）可得\(F(x)\)是一个非降的实值函数。

(2)任取\(f\)的一个维度\(f_i\)，注意到：

\[\begin{equation*} \{f\leqslant x\}=\left(\underset{j\ne i}{\overset{}{\cap}}\{f_j\leqslant x_j\}\right)\bigcap\left(\lim_{n\to+\infty}\left\{f_i\leqslant x_i+\frac{1}{n}\right\}\right) \end{equation*}\]

考虑集族\(\{X_n\}\)，其中：

\[\begin{equation*} X_n=\left(\underset{j\ne i}{\overset{}{\cap}}\{f_j\leqslant x_j\}\right)\bigcap\left(\left\{f_i\leqslant x_i+\frac{1}{n}\right\}\right) \end{equation*}\]

则\(\{X_n\}\)是一个单调不增的集族，根据性质 5.1.2(3)有：

\[\begin{equation*} \lim_{n\to+\infty}X_n=\underset{n=1}{\overset{+\infty}{\cap}}X_n=\left(\underset{j\ne i}{\overset{}{\cap}}\{f_j\leqslant x_j\}\right)\bigcap\left(\underset{n=1}{\overset{+\infty}{\bigcap}}\left\{f_i\leqslant x_i+\frac{1}{n}\right\}\right)=\{f\leqslant x\} \end{equation*}\]

因为\(P(X=1)\)，由性质 5.2.1(3)（单调性）可得\(P(X_1)<+\infty\)，所以根据性质 5.2.1(3)（上连续性）可得：

\[\begin{align*} &F(x)=P(\{f\leqslant x\})=P\left(\lim_{n\to+\infty}X_n\right)=\lim_{n\to+\infty}P(X_n) \\ =&\lim_{h\to+0}F(x_1,x_2,\dots,x_{i-1},x_i+h,x_{i+1},\dots,x_n) \end{align*}\]

于是\(F(x)\)是右连续的。

(3)对任意的\(a=(a_1, a_2, \dots, a_{n})\in\mathbb{R}^{n}\)和\(b=(b_1, b_2, \dots, b_{n})\in\mathbb{R}^{n}\)且\(a\leqslant b\)，记：

\[\begin{gather*} C=\Big\{c=(c_1, c_2, \dots, c_{n}):c_i\in\{a_i,b_i\},\;\forall\;i=1,2,\dots,n\Big\} \\ n(c)=\Big|\Big\{i\in\{1,2,\dots,n\}:c_i=a_i\Big\}\Big|,\quad E_i=\{a_i<f_i\leqslant b_i\} \end{gather*}\]

由性质 5.3.3(1.b)、性质 5.1.6(4)(2)、性质 5.4.1(5)

\[\begin{equation*} P\left(\underset{i=1}{\overset{n}{\cap}}E_i\right)=\int_{X}I\left(x\in\underset{i=1}{\overset{n}{\cap}}E_i\right)\mathop{}\!\mathrm{d}P \end{equation*}\]

注意到：

\[\begin{align*} &I\left(x\in\underset{i=1}{\overset{n}{\cap}}E_i\right)=\prod_{i=1}^{n}I(x\in E_i)=\prod_{i=1}^{n}[I(x\in\{f_i\leqslant b_i\})-I(x\in\{f_i\leqslant a_i\})] \\ =&\sum_{c\in C}^{}(-1)^{n(c)}\prod_{i=1}^{n}I(x\in\{f_i\leqslant c_i\})=\sum_{c\in C}^{}(-1)^{n(c)}I\left(x\in\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant c_i\}\right) \end{align*}\]

根据性质 5.4.3(6)、性质 5.4.2(5)可得：

\[\begin{align*} &0\leqslant P\left(\underset{i=1}{\overset{n}{\cap}}E_i\right)=\int_{X}I\left(x\in\underset{i=1}{\overset{n}{\cap}}E_i\right)\mathop{}\!\mathrm{d}P=\int_{X}\left[\sum_{c\in C}^{}(-1)^{n(c)}I\left(x\in\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant c_i\}\right)\right]\mathop{}\!\mathrm{d}P \\ =&\sum_{c\in C}^{}(-1)^{n(c)}\int_{X}I\left(x\in\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant c_i\}\right)\mathop{}\!\mathrm{d}P=\sum_{c\in C}^{}(-1)^{n(c)}P\left(\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant c_i\}\right) \\ =&\sum_{c\in C}^{}(-1)^{n(c)}F(c) \end{align*}\]

(4)由\(f\)取值在\(\mathbb{R}^{n}\)上和性质 5.2.1(3)（上下连续性）立即可得：

\[\begin{equation*} \lim_{x_1, x_2, \dots, x_{n}\to-\infty}F(x_1, x_2, \dots, x_{n})=0,\quad\lim_{x_1, x_2, \dots, x_{n}\to+\infty}F(x_1, x_2, \dots, x_{n})=1 \end{equation*}\]

◻

Definition 6.3. 设\(f=(f_1, f_2, \dots, f_{n})\)是概率空间\((X,\mathscr{F},P)\)上的随机向量，\(F\)是\(\mathbb{R}^{n}\)上的\(n\)元分布函数。若对任意的\(x=(x_1, x_2, \dots, x_{n})\in\mathbb{R}^{n}\)，都有：

\[\begin{equation*} F(x)=P(f\leqslant x)=P\left(\underset{i=1}{\overset{n}{\cap}}\{f_i\leqslant x_i\}\right) \end{equation*}\]

则称\(f\)的分布函数是\(F\)，也说成\(f\)服从\(F\)，记为\(f\sim F\)，称\(F\)为\(f_1, f_2, \dots, f_{n}\)的联合分布函数（joint distribution function）。根据定理 5.37，\(f_1, f_2, \dots, f_{n}\)中任意\(m\)个分量构成的随机向量的联合分布函数被称为对应的\(m\)个分量的边际分布函数（marginal distribution function）。

Property 6.0.4. 设\(F\)是\(\mathbb{R}^{n}\)上的分布函数，则必存在一个概率空间\((X,\mathscr{F},P)\)和其上的\(n\)维随机向量\(f\)使得\(f\sim F\)。

证明. 由定理 5.38和性质 5.7.3(1)可知\(F\)可导出\((\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))\)上的测度\(P\)。取\(X=\mathbb{R}^{n}\)、\(\mathscr{F}=\mathcal{B}(\mathbb{R}^{n})\)和\(\mathbb{R}^{n}\)上的恒等映射\(f\)，由性质 5.1.7(1.b)和性质 5.3.3(1.b)可知\(f\)是\((X,\mathscr{F},P)\)上的\(n\)维向量。

对任意的\(x=(x_1, x_2, \dots, x_{n})\in\mathbb{R}^{n}\)，取\(A_k=\prod_{i=1}^{n}(-k,x_i]\)，则\(A_k\)单调递增，由性质 5.1.7(1.b)可知\(A_k\in\mathcal{B}(\mathbb{R}^{n})\)。由性质 5.1.2(3)、定理 5.2、(1)和性质 5.2.1(3)（下连续性）可得：

\[\begin{equation*} P\Big((-\infty,x]\Big)=P\left(\lim_{k\to+\infty}A_k\right)=\lim_{k\to+\infty}P(A_k)=\lim_{k\to+\infty}\left[\sum_{c\in\{-k,x_i\}}^{}(-1)^{n(c)}F(c)\right]=F(x) \end{equation*}\]

所以\(P(X)=1\)且对任意的\(x\in\mathbb{R}^{n}\)有\(P(f\leqslant x)=F(x)\)，\((X,\mathscr{F},P)\)是概率空间，\(f\sim F\)。 ◻

Definition 6.4. 若\(f\)是从概率空间\((X,\mathscr{F},P)\)到可测空间\((Y,\mathscr{A})\)的可测映射，由性质 5.3.1(4.a)，称概率测度：

\[\begin{equation*} P(f^{-1}A),\;\forall\;A\in\mathscr{A} \end{equation*}\]

为\(f\)的概率分布（probability distribution），简记为\(Pf^{-1}\)。在没有明确可测映射的场合，也称概率测度\(P\)为概率分布。

6.1 随机变量的分类

设\(f\)是概率空间\((X,\mathscr{F},P)\)上的随机变量。由性质 5.3.1(4.a)可知\((\mathbb{R}^{},\mathcal{B}(\mathbb{R}^{}),Pf^{-1})\)是一个概率空间。因为\(Pf^{-1}\)是概率测度，所以\(Pf^{-1}\)是\(\sigma\)有限测度，而由性质 5.7.3(1)可知L测度\(\lambda\)也是\(\sigma\)有限测度，根据引理 5.12可知\(Pf^{-1}\)有如下分解式：

\[\begin{equation*} Pf^{-1}=\mu_1+\mu_s,\quad\mu_1\ll\lambda,\quad\mu_s\perp\lambda \end{equation*}\]

其中\(\mu_1\)和\(\mu_s\)是\((X,\mathscr{F})\)上的\(\sigma\)有限测度。由性质 5.1.7(1.b)可知\(\mathbb{R}^{}\)上的单点集都在\(\mathcal{B}(\mathbb{R}^{})\)中，于是记：

\[\begin{gather*} D=\{x\in\mathbb{R}^{}:\mu_s(\{x\})>0\} \end{gather*}\]

则\(D\)是有限集或可列集，否则对任意满足\(\underset{n=1}{\overset{+\infty}{\cup}}A_n=\mathbb{R}^{}\)的互不相交的\(\{A_n\}\subseteq\mathcal{B}\)，必然有一个\(A_n\)中有不可列个正测度的单点。设\(A_n\)中所有正测度的点构成的集合为\(E\)，取：

\[\begin{equation*} \forall\;k\in\mathbb{N}^+,\;E_k=\left\{x\in E:\mu_s(x)\geqslant\frac{1}{k}\right\} \end{equation*}\]

因为\(E\)中的元素不可列，所以必然存在一个\(E_k\)含有不可列个元素，由性质 5.2.1(3)（单调性）可知：

\[\begin{equation*} \mu(A_n)\geqslant\mu(E)\geqslant+\infty \end{equation*}\]

矛盾，所以\(D\)至多可列。

因为\(D\)至多可列，所以\(D\in\mathcal{B}(\mathbb{R}^{})\)，于是令：

\[\begin{equation*} \forall\;A\in\mathcal{B}(\mathbb{R}^{}),\;\mu_2(A)=\mu_s(A\cap D),\;\mu_3(A)=\mu_s(A)-\mu_2(A) \end{equation*}\]

因为\(\mu_s\)是\((X,\mathscr{F})\)上的测度，由定义可验证得到\(\mu_2\)是\((X,\mathscr{F})\)上的测度，由性质 5.2.1(3)（次有限可加性）还可得到\(\mu_2\)是有限的，根据性质 5.2.1(2)(3)（次有限可加性）可知\(\mu_3\)是有限的。

综上，\(Pf^{-1}\)有分解：

\[\begin{equation*} Pf^{-1}=\mu_1+\mu_2+\mu_3 \end{equation*}\]

若对任意的\(A\in\mathcal{B}(\mathbb{R}^{})\)有\(\mu_2(A)=\mu_3(A)=0\)，称\(f\)为连续型随机变量（continuous random variable）。因为\(\mu_1\ll\lambda\)，所以此时有\(Pf^{-1}\ll\lambda\)，因为\(\lambda\)是\(\sigma\)有限测度，\(Pf^{-1}\)是概率测度，由引理 5.8可知存在\((\mathbb{R}^{},\mathcal{B}(\mathbb{R}^{}),\lambda)\)上在a.e.意义下唯一的可测函数\(p\)满足对任意的\(A\in\mathcal{B}(\mathbb{R}^{})\)有：

\[\begin{equation*} \int_{A}p^-(x)\mathop{}\!\mathrm{d}\lambda<+\infty,\quad Pf^{-1}(A)=\int_{A}p(x)\mathop{}\!\mathrm{d}\lambda \end{equation*}\]

称\(p\)为\(f\)的概率密度函数（probability density function）。在没有明确随机变量的场合，也将概率测度\(P\)对L测度\(\lambda\)的Radon-Nikodym导数称为概率密度函数。

若对任意的\(A\in\mathcal{B}(\mathbb{R}^{})\)有\(\mu_1(A)=\mu_3(A)=0\)，称\(f\)为离散型随机变量（discrete random variable）²。记点列\(D=\{x_n\},\;P(f=x_n)=Pf^{-1}(\{x_n\}),\;n\in\mathbb{N}^+\)，则：

\[\begin{equation*} \{P(f=x_n):x_n\in D\} \end{equation*}\]

完全确定了\(f\)的概率分布，称上式为\(f\)的概率分布列（probability mass function）（简称为分布列，也称作概率质量函数）。在没有明确随机变量的场合，也将满足条件的\(\mu_2\)称为概率分布列。

若对任意的\(A\in\mathcal{B}\)有\(\mu_1(A)=\mu_2(A)=0\)，称\(f\)为奇异型随机变量（singular random variable）。

统称概率分布列与概率密度函数为概率函数（probability function）。

Theorem 6.2. 任何随机变量都是离散型、连续型、奇异型随机变量的混合。

Definition 6.5. 称一族概率测度\(\mathscr{P}\)为分布族（distribution family）。

Property 6.1.1. 设\(X\)是一个连续型随机变量，则：

1. 对于任意的\(a\in\mathbb{R}^{}\)，\(P(X\leqslant a)=P(X<a),\;P(X\geqslant a)=P(X>a)\)；

2. \((\mathbb{R}^{},\mathcal{B}_{\mathbb{R}^{}})\)上的Borel函数\(p\)是某个连续型随机变量的概率密度函数的充要条件为：

   1. \(p(x)\geqslant0\;\)a.e.于\((\mathbb{R}^{},\mathcal{B}_{\mathbb{R}^{}},\lambda)\)；

   2. \(\int_{\mathbb{R}^{}}p(x)\mathop{}\!\mathrm{d}\lambda=1\)。

证明. (1)由性质 5.3.3(1)(2)、性质 5.2.1(1)和连续型随机变量的定义即可得到。 ◻

6.2 独立性

Definition 6.6. 设\((X,\mathscr{F},P)\)是一个概率空间，\(T\)是一个指标集。

1. 若\((X,\mathscr{F},P)\)上的集族\(\{A_t\in\mathscr{F}:t\in T\}\)对任意的\(n\in\mathbb{N}^+\)和任意的\(\{t_1, t_2, \dots, t_{n}\}\subseteq T\)，有：

   \[\begin{equation*} P\left(\underset{i=1}{\overset{n}{\cap}}A_{t_i}\right)=\prod_{i=1}^{n}P(A_{t_i}) \end{equation*}\]

   则称\(\{A_t\in\mathscr{F}:t\in T\}\)相互独立（mutually independent）；

2. 设\(\{\mathscr{A}_t\subseteq\mathscr{F}:t\in T\}\)是\((X,\mathscr{F},P)\)上由集族构成的集族，若对每个\(t\in T\)任取一个\(A_t\in\mathscr{A}_t\)所构成的集族\(\{A_t:t\in T\}\)相互独立，则称\(\{\mathscr{A}_t\subseteq\mathscr{F}:t\in T\}\)相互独立；

3. 设\(\{f_t:t\in T\}\)是由\((X,\mathscr{F},P)\)上的可测映射构成的可测映射族，若\(\{\sigma(f_t):t\in T\}\)相互独立，则称\(\{f_t:t\in T\}\)相互独立。若\(\sigma(f)\)与\(\mathscr{A}\subseteq\mathscr{F}\)独立，也称\(f\)与\(\mathscr{A}\)独立。

若\((X,\mathscr{F},P)\)上的集族\(\{A_t\}\)对任意的\(i\ne j\)有\(P(A_i\cap A_j)=P(A_i)P(A_j)\)，则称\(\{A_t\}\)成对独立（pairwise independent）。可见两个元素之间的相互独立性与成对独立性是等价的，于是将两个元素相互独立或成对独立简称为它们独立。

Property 6.2.1. 设\((X,\mathscr{F},P)\)是一个概率空间，\(T\)是一个指标集。独立性具有如下性质：

1. 若\(\{A_t:t\in T\}\subseteq\mathscr{F}\)相互独立当且仅当对其中任意个元素取补集后得到的\(\{B_t:t\in T\}\)也相互独立；

2. 若由\(\pi\)系构成的集族\(\{\mathscr{A}_t\subseteq\mathscr{F}:t\in T\}\)相互独立，则将其中任意个元素修改为由自身生成的\(\sigma\)域后得到的\(\{\mathscr{B}_t:t\in T\}\)也相互独立；

3. 若\(\sigma\)域族\(\{\mathscr{A}_t\subseteq\mathscr{F}:t\in T\}\)相互独立则\(\{(X,\mathscr{A}_t):t\in T\}\)上任意的随机变量族\(\{f_t:t\in T\}\)也相互独立，其中\(f_t\)是\((X,\mathscr{A}_t)\)上的随机变量；

4. 若\(\{f_t\}\)是从\((X,\mathscr{F},P)\)到\((Y,\mathscr{A})\)上相互独立的可测映射族，\(\{g_t\}\)是一族\((Y,\mathscr{A})\)上的可测映射，则\(\{g_t\circ f_t\}\)是相互独立的可测映射族；

5. \(\{f_t:t\in T\}\)是\((X,\mathscr{F},P)\)上相互独立的随机变量当且仅当：

   1. 对任意的\(n\in\mathbb{N}^+\)（\(T\)为有限集时对应条件为\(n\in\mathbb{N}^+\)且\(n\leqslant|T|\)）和\(t_1, t_2, \dots, t_{n}\in T\)，\(f=(f_{t_1},f_{t_2},\dots,f_{t_n})\)的概率分布\(Pf^{-1}=\prod\limits_{i=1}^{n}Pf_{t_i}^{-1}\)；

   2. 设\(F_t\)为\(f_t\)的分布函数，对任意的\(n\in\mathbb{N}^+\)和\(t_1, t_2, \dots, t_{n}\in T\)（\(T\)为有限集时对应条件为\(n\in\mathbb{N}^+\)且\(n\leqslant|T|\)），\(f=(f_{t_1},f_{t_2},\dots,f_{t_n})\)的分布函数\(F\)对任意的\(x=(x_1, x_2, \dots, x_{n})\in\mathbb{R}^{n}\)满足：

      \[\begin{equation*} F(x)=F(x_1,x_2,\dots,x_n)=\prod_{i=1}^{n}F_{t_i}(x_i) \end{equation*}\]

   3. 对任意的\(n\in\mathbb{N}^+\)（\(T\)为有限集时对应条件为\(n\in\mathbb{N}^+\)且\(n\leqslant|T|\)）和\(t_1, t_2, \dots, t_{n}\in T\)，若\(Pf_{t_1}^{-1},Pf_{t_2}^{-1},\dots,Pf_{t_n}^{-1}\ll\mu\)，其中\(\mu\)是\((\mathbb{R}^{},\mathcal{B}(\mathbb{R}^{}))\)上的\(\sigma\)有限测度，\(f_{t_1},f_{t_2},\dots,f_{t_n}\)关于\(\mu\)分别有非负的RN导数\(p_{t_1},p_{t_2},\dots,p_{t_n}\)，则\(f\)也有关于\(\mu^n\)的RN导数\(p\)，同时有：

      \[\begin{equation*} p=\prod_{i=1}^{n}p_{t_i},\;\text{a.e.于}\left(\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}),\mu^n\right) \end{equation*}\]

   4. 设\(g\)是\((\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))\)上的可测函数，对任意的\(n\in\mathbb{N}^+\)（\(T\)为有限集时对应条件为\(n\in\mathbb{N}^+\)且\(n\leqslant|T|\)）和\(t_1, t_2, \dots, t_{n}\in T\)，记\(f=(f_{t_1},f_{t_2},\dots,f_{t_n})\)，只要：

      \[\begin{equation*} \int_{X}g(f_{t_1},f_{t_2},\dots,f_{t_n})\mathop{}\!\mathrm{d}P,\quad\int_{\mathbb{R}^{}}\mathop{}\!\mathrm{d}Pf_{t_1}^{-1}\int_{\mathbb{R}^{}}\mathop{}\!\mathrm{d}Pf_{t_2}^{-1}\cdots\int_{\mathbb{R}^{}}g(x_1, x_2, \dots, x_{n})\mathop{}\!\mathrm{d}Pf_{t_n}^{-1} \end{equation*}\]

      之一有意义，二者一定相等。

6. 若\(\sigma\)域族\(\{\mathscr{A}_t\subseteq\mathscr{F}:t\in T\}\)相互独立，则对于\(T\)的任意一个分割\(\{T_d:d\in D\}\)有：

   \[\begin{equation*} \left\{\sigma\left(\underset{t\in T_d}{\overset{}{\bigcup}}\mathscr{A}_t\right):d\in D\right\} \end{equation*}\]

   相互独立；

证明. (1)当\(\{A_t:t\in T\}=\{A_1, A_2, \dots, A_{t}\}\)时，考虑\(\{A_1^c,A_2,\dots,A_t\}\)的情况。对任意的\(n\in\{1,2,\dots,t\}\)和任意的\(\{t_1, t_2, \dots, t_{n}\}\subseteq\{1,2,\dots,t\}\)，若\(1\notin\{t_1, t_2, \dots, t_{n}\}\)，自然有：

\[\begin{equation*} P\left(\underset{i=1}{\overset{n}{\cap}}A_{t_i}\right)=\prod_{i=1}^{n}P(A_{t_i}) \end{equation*}\]

若\(1\in\{t_1, t_2, \dots, t_{n}\}\)，设\(t_1=1\)，由性质 5.1.1(6)和性质 5.2.1(2)可知：：

\[\begin{align*} &P\left[A_1^c\cap\left(\underset{i=2}{\overset{n}{\cap}}A_{t_i}\right)\right]=P\left\{\underset{i=2}{\overset{n}{\cap}}A_{t_i}\Big\backslash\left[A_1\cap\left(\underset{i=2}{\overset{n}{\cap}}A_{t_i}\right)\right]\right\}=P\left(\underset{i=2}{\overset{n}{\cap}}A_{t_i}\right)-P\left(\underset{i=1}{\overset{n}{\cap}}A_{t_i}\right) \\ =&\prod_{i=2}^{n}P(A_{t_i})-\prod_{i=1}^{n}P(A_{t_i})=[1-P(A_1)]\prod_{i=2}^{n}P(A_{t_i})=P(A_1^c)\prod_{i=2}^{n}P(A_{t_i}) \end{align*}\]

于是\(\{A_1^c,A_2,\dots,A_t\}\)相互独立。由定义可知结论成立。

(2)当\(\{\mathscr{A}_t:t\in T\}=\{\mathscr{A}_1, \mathscr{A}_2, \dots, \mathscr{A}_{t}\},\;\{\mathscr{B}_t:t\in T\}=\{\sigma(\mathscr{A}_1),\mathscr{A}_2,\dots,\mathscr{A}_t\}\)时，记：

\[\begin{equation*} \mathscr{B}=\left\{A\in\mathscr{F}:\forall\;B=\underset{i=2}{\overset{n}{\cap}}A_{t_i},A_{t_i}\in\mathscr{A}_{t_i},\;i=2,\dots,n,\;n\leqslant t,\;P(A\cap B)=P(A)P(B)\right\} \end{equation*}\]

注意到\(P(X\cap B)=P(B)=P(X)P(B)\)，所以\(X\in\mathscr{B}\)。

若\(C,D\in\mathscr{B}\)且\(D\subseteq C\)，由性质 5.1.1(4)和性质 5.2.1(2)可得：

\[\begin{align*} &P[(C\setminus D)\cap B]=P[(C\cap B)\setminus(D\cap B)]=P(C\cap B)-P(D\cap B) \\ =&P(C)P(B)-P(D)P(B)=[P(C)-P(D)]P(B)=P(C\setminus D)P(B) \end{align*}\]

所以\(C\setminus D\in\mathscr{B}\)。

取\(\mathscr{B}\)中单调递增的集合序列\(\{B_n\}\)，由性质 5.1.6(2)可知\(\{B_n\cap B\}\)也是\(\mathscr{F}\)中单调递增的集合序列，由性质 5.1.1(4)、性质 5.2.1(3)（下连续性）和性质 3.2.9(8.c)可得：

\[\begin{align*} &P\left[\left(\underset{n=1}{\overset{+\infty}{\cup}}B_n\right)\cap B\right]P\left[\underset{n=1}{\overset{+\infty}{\cup}}(B_n\cap B)\right]=\lim_{n\to+\infty}P\left[B_n\cap B\right] \\ =&\lim_{n\to+\infty}[P(B_n)P(B)]=P(B)\lim_{n\to+\infty}P(B_n) =P(B)P\left(\underset{n=1}{\overset{+\infty}{\cup}}B_n\right) \end{align*}\]

于是\(\underset{n=1}{\overset{+\infty}{\cup}}B_n\in\mathscr{B}\)。

综上，\(\mathscr{B}\)是一个\(\lambda\)系，由相互独立性的定义可知\(\mathscr{A}_1\subseteq\mathscr{B}\)，根据推论 5.2可得\(\sigma(\mathscr{A}_1)\subseteq\mathscr{B}\)，所以有\(\sigma(\mathscr{A}_1),\mathscr{A}_2,\dots,\mathscr{A}_n\)相互独立。显然可将该结论推广为：将\(\mathscr{A}_1, \mathscr{A}_2, \dots, \mathscr{A}_{n}\)中任意个元素修改为由自身生成的\(\sigma\)域后得到的\(\mathscr{B}_1, \mathscr{B}_2, \dots, \mathscr{B}_{n}\)也相互独立。

当\(\{\mathscr{A}_n\}\)含有无穷个元素时，由相互独立的定义和有限个元素时的情况即可得出结论。

(3)由随机变量的定义立即可得。

(4)由性质 5.3.1(2)的证明过程可知\(\sigma(g_n\circ f_n)\subseteq\sigma(f_n)\)，而\(\{\sigma(f_n)\}\)相互独立，所以\(\{g_n\circ f_n\}\)相互独立。

(5)有限集的情况可由无限集的情况推出。

a：充分性由独立性的定义立即可得，下证明必要性。

对任意的\(n\in\mathbb{N}^+\)和\(t_1, t_2, \dots, t_{n}\in T\)，由定理 5.39(1)可知\(\prod\limits_{i=1}^{n}Pf_{t_i}^{-1}\)存在。任取\(\mathbb{R}^{}\)上的左开右闭区间\(A_i,\;i=1,2,\dots,n\)，则：

\[\begin{align*} P\left(f\in\prod_{i=1}^{n}A_i\right)&=P\left(\underset{i=1}{\overset{n}{\cap}}\{f_{t_i}\in A_i\}\right)=\prod_{i=1}^{n}P(f_{t_i}\in A_i) \\ &=\prod_{i=1}^{n}Pf_{t_i}^{-1}(A_i)=\prod_{i=1}^{n}Pf_{t_i}^{-1}\left(\prod_{i=1}^{n}A_i\right) \end{align*}\]

由性质 5.1.3(3)和定理 5.1可得结论在\(\pi\)系：

\[\begin{equation*} \left\{\prod_{i=1}^{n}A_i:A_i\;\text{是}\;\mathbb{R}^{}\text{上的左开右闭区间},\;i=1,2,\dots,n\right\} \end{equation*}\]

上成立。

记：

\[\begin{equation*} \mathscr{A}=\left\{A\in\mathcal{B}(\mathbb{R}^{n}):Pf^{-1}(A)=\prod_{i=1}^{n}Pf_{t_i}^{-1}(A)\right\} \end{equation*}\]

由\(\mathscr{A}\)的定义可知\(\mathbb{R}^{n}\in\mathscr{A}\)。

若\(A,B\in\mathscr{A}\)且\(B\subseteq A\)，由性质 5.2.1(2)可得：

\[\begin{equation*} Pf^{-1}(A\setminus B)=Pf^{-1}(A)-Pf^{-1}(B)=\prod_{i=1}^{n}Pf_{t_i}^{-1}(A)-\prod_{i=1}^{n}Pf_{t_i}^{-1}(B)=\prod_{i=1}^{n}Pf_{t_i}^{-1}(A\setminus B) \end{equation*}\]

即\(A\setminus B\in\mathscr{A}\)。

若\(\{A_n\}\subseteq\mathscr{A}\)是单调递增序列，由性质 5.2.1(3)（下连续性）可得：

\[\begin{equation*} Pf^{-1}\left(\lim_{n\to+\infty}A_n\right)=\lim_{n\to+\infty}Pf^{-1}(A_n)=\lim_{n\to+\infty}\prod_{i=1}^{n}Pf_{t_i}^{-1}(A_n)=\prod_{i=1}^{n}Pf_{t_i}^{-1}\left(\lim_{n\to+\infty}A_n\right) \end{equation*}\]

即\(\lim\limits_{n\to+\infty}A_n\in\mathscr{A}\)。

综上，\(\mathscr{A}\)是\(\lambda\)系。

由定理 5.9和性质 5.1.7(1.b)可知\(\mathcal{B}(\mathbb{R}^{n})\subseteq\mathscr{A}\)，必要性得证。

b：由(a)和性质 5.1.7(1.b)立即可得。

c：由定理 5.39(1)和性质 5.1.7(1.c)可知\(\mu^n\)存在且是\((\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))\)上的测度。

先证明必要性。对于任意的\(A\in\mathcal{B}(\mathbb{R}^{n})\)，由定理 5.35和性质 5.3.3(5.b)可定义：

\[\begin{equation*} Q(A)=\int_{A}\prod_{i=1}^{n}p_{t_i}(x_i)\mathop{}\!\mathrm{d}\mu^n \end{equation*}\]

根据性质 5.4.2(2)(3)和定理 5.27可知\(Q\)是\((\mathbb{R}^{n},\mathcal{B}(\mathbb{R}^{n}))\)上的测度。任取\(\mathbb{R}^{}\)上的左开右闭区间\(A_i,\;i=1,2,\dots,n\)，由定理 5.39(2)和独立性可得：

\[\begin{align*} &Q\left(\prod_{i=1}^{n}A_i\right)=\int_{\prod_{i=1}^{n}A_i}\prod_{i=1}^{n}p_{t_i}(x_i)\mathop{}\!\mathrm{d}\mu^n=\prod_{i=1}^{n}\int_{A_i}p_{t_i}(x)\mathop{}\!\mathrm{d}\mu \\ =&\prod_{i=1}^{n}Pf_{t_i}^{-1}(A_i)=\prod_{i=1}^{n}P(f_{t_i}\in A_i)=P\left(\underset{i=1}{\overset{n}{\cap}}\{f_{t_i}\in A_i\}\right) \\ =&P\left(f\in\prod_{i=1}^{n}A_i\right)=Pf^{-1}\left(\prod_{i=1}^{n}A_i\right) \end{align*}\]

由性质 5.7.1(1)和定理 5.1可知上述结论在\(\pi\)系：

\[\begin{equation*} \left\{\prod_{i=1}^{n}A_i:A_i\;\text{是}\;\mathbb{R}^{}\text{上的左开右闭区间},\;i=1,2,\dots,n\right\} \end{equation*}\]

上成立。类似a中的证明过程可知上述结论在\(\mathcal{B}(\mathbb{R}^{n})\)上成立，根据定理 5.35可知必要性成立。

对于充分性，任取\(A_i\in\sigma(f_{t_i}),\;i=1,2,\dots,n\)，于是存在\(B_i\in\mathcal{B}(\mathbb{R}^{})\)使得\(f_{t_i}^{-1}(B_i)=A_i\)。由定理 5.39和性质 5.1.7(1.c)可得：

\[\begin{align*} &P\left(\underset{i=1}{\overset{n}{\cap}}A_i\right)=P\left(f\in\prod_{i=1}^nB_i\right)=\int_{\prod_{i=1}^nB_i}p(x)\mathop{}\!\mathrm{d}\mu^n \\ =&\int_{\prod_{i=1}^nB_i}\prod_{i=1}^{n}p_{t_i}(x)\mathop{}\!\mathrm{d}\mu=\prod_{i=1}^{n}Pf_{t_i}^{-1}(B_i)=\prod_{i=1}^{n}P(A_i) \end{align*}\]

充分性得证。

d：必要性由定理 5.28、(a)和定理 5.39(2)即可得到。对任意的\(A\in\mathcal{B}(\mathbb{R}^{n})\)取\(I(x\in A)\)即可验证得到充分性。

(6)对任意的\(d\in D\)，令：

\[\begin{equation*} \mathscr{B}_d=\underset{n=1}{\overset{+\infty}{\cup}}\left\{\underset{k=1}{\overset{n}{\cap}}A_k:A_k\in\mathscr{A}_{t_k},t_k\in T_d\right\} \end{equation*}\]

由性质 5.1.6(2)可知\(\mathscr{B}_d\)是\(\pi\)系，根据独立性的定义可知\(\{\mathscr{B}_d:d\in D\}\)相互独立，注意到\(\sigma(\mathscr{B}_d)=\sigma\left(\underset{t\in T_d}{\overset{}{\bigcup}}\mathscr{A}_t\right)\)，由(2)即可得出结论。 ◻

6.3 随机变量的数字特征

6.3.1 期望

Definition 6.7. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的随机变量。若\(f\)在\(X\)上的积分存在，则称\(f\)的数学期望（mathematical expectation）（简称为期望）存在，并将：

\[\begin{equation*} \operatorname{E}(f)\coloneq\int_{X}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

称为\(f\)的期望。若\(f\)在\(X\)上可积，则称\(f\)的期望是有限的。随机向量的期望即为各分量期望按原顺序排列成的向量，随机矩阵的期望即为各元素期望按原顺序排成的矩阵。

Property 6.3.1. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上在\(X\)上积分存在的随机变量。期望有如下性质：

1. 对任何\((\mathbb{R}^{},\mathcal{B}(\mathbb{R}^{}))\)上的可测函数\(g\)，\(g\circ f\)是\((X,\mathscr{F},P)\)上的可测函数，只要：

   \[\begin{equation*} \operatorname{E}(g\circ f),\quad\int_{\mathbb{R}^{}}g\mathop{}\!\mathrm{d}Pf^{-1} \end{equation*}\]

   之一有意义，则二者一定相等。特别的，当\(f\)为连续型随机变量时，上式化作：

   \[\begin{equation*} \operatorname{E}(g\circ f),\quad\int_{\mathbb{R}^{}}g(x)\frac{\mathop{}\!\mathrm{d}Pf^{-1}}{\mathop{}\!\mathrm{d}\lambda}(x)\mathop{}\!\mathrm{d}\lambda \end{equation*}\]

   其中\(\lambda\)为L测度；当\(f\)为离散型随机变量时，令\(D=\{x_n\}\)，含义与随机变量分类时的含义相同，则上式化作：

   \[\begin{equation*} \operatorname{E}(g\circ f),\quad\sum_{n=1}^{+\infty}g(x_n)P(f=x_n) \end{equation*}\]

2. 若\(f_1, f_2, \dots, f_{n}\)是\((X,\mathscr{F},P)\)上相互独立的随机变量，\(g_1, g_2, \dots, g_{n}\)是\((\mathbb{R}^{},\mathcal{B}(\mathbb{R}^{}))\)上的Borel函数，只要：

   \[\begin{equation*} \operatorname{E}\left[\prod_{i=1}^{n}g_i(f_i)\right],\quad\prod_{i=1}^{n}\operatorname{E}[g_i(f_i)] \end{equation*}\]

   之一有意义，二者一定相等。

证明. (1)由性质 5.3.1(2)可知\(g\circ f\)是\((X,\mathscr{F},P)\)到\((\mathbb{R}^{},\mathcal{B}(\mathbb{R}^{}))\)上的可测函数。注意到：

\[\begin{equation*} \operatorname{E}(g\circ f)=\int_{X}g[f(x)]\mathop{}\!\mathrm{d}P=\int_{f^{-1}(\mathbb{R}^{})}g[f(x)]\mathop{}\!\mathrm{d}P \end{equation*}\]

由定理 5.28即可得出一般结论。根据引理 5.10可得出连续型随机变量时的结论。对于离散型随机变量，由性质 5.3.3(2)、性质 5.1.6(4)、定理 5.27、性质 5.4.3(1)和积分的定义（\(g(x)\)限制在\(x_n\)上是简单函数，若\(g(x_n)<0\)还需用到性质 5.4.3(6)）可得：

\[\begin{align*} &\int_{\mathbb{R}^{}}g(x)\mathop{}\!\mathrm{d}Pf^{-1}=\int_{(\mathbb{R}^{}\setminus D)\bigcup\left(\underset{n=1}{\overset{+\infty}{\cup}}\{x_n\}\right)}g(x)\mathop{}\!\mathrm{d}Pf^{-1} \\ =&\int_{\mathbb{R}^{}\setminus D}g(x)\mathop{}\!\mathrm{d}Pf^{-1}+\sum_{n=1}^{+\infty}\int_{\{x_n\}}g(x)\mathop{}\!\mathrm{d}Pf^{-1}=\sum_{n=1}^{+\infty}g(x_n)P(f=x_n)fv \end{align*}\]

(2)由性质 5.3.3(11)（可以证明\(g(x_1, x_2, \dots, x_{n})=x_1x_2\cdots x_n\)在\(\mathbb{R}^{n}\)上连续）和性质 6.2.1(5.d)即可得到。 ◻

note 6.1. 很多教材在上述定理中写的并不是\(g\)对pushforward measure\(Pf^{-1}\)进行积分，而是对\(f\)的分布函数\(F\)进行积分。\(F\)是一个测度吗？\(F\)与\(Pf^{-1}\)等价吗？显然并不是。由L-S测度处的讨论可以看出\(F\)可唯一确定\(Pf^{-1}\)，所以可使用\(F\)来代表\(Pf^{-1}\)。

6.3.1.1 条件期望

引理 7.1 Lemma 6.1. 设\(f\)为概率空间\((X,\mathscr{F},P)\)上在\(X\)上积分存在的随机变量。由性质 5.4.3(3)，对任意的\(A\in\mathscr{F}\)，令：

\[\begin{equation*} \varphi(A)=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

则：

1. \(\varphi\)是\(\mathscr{F}\)上的符号测度；

2. \(\varphi\ll P\)。

证明. (1)因为\(P(\varnothing)=0\)，由性质 5.4.3(1)可得\(\varphi(\varnothing)=0\)。根据定理 5.27可知对互不相交的\(\{A_n\}\subseteq\mathscr{F}\)有：

\[\begin{equation*} \varphi\left(\underset{n=1}{\overset{+\infty}{\cup}}A_n\right)=\int_{\underset{n=1}{\overset{+\infty}{\cup}}A_n}f(x)\mathop{}\!\mathrm{d}P=\sum_{n=1}^{+\infty}\left[\int_{A_n}f(x)\mathop{}\!\mathrm{d}P\right]=\sum_{n=1}^{+\infty}\varphi(A_n) \end{equation*}\]

所以\(\varphi\)是\(\mathscr{F}\)上的符号测度。

(2)由性质 5.4.3(1)直接可得。 ◻

Definition 6.8. 设\(f\)为概率空间\((X,\mathscr{F},P)\)上在\(X\)上积分存在的随机变量，\(\mathscr{A}\)是\(\mathscr{F}\)的一个子\(\sigma\)域。对任意的\(A\in\mathscr{F}\)，令：

\[\begin{equation*} \varphi(A)=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

因为概率是\(\sigma\)有限测度，由性质 5.2.1(4)、引理 6.1(1)、性质 5.6.1(7)、引理 6.1(2)和定理 5.35可知存在\((X,\mathscr{A},P)\)上a.e.于\(X\)的意义下唯一的在\(X\)上积分存在的可测函数\(\operatorname{E}(f|\mathscr{A})\)满足：

\[\begin{equation*} \forall\;A\in\mathscr{A},\;\varphi(A)=\int_{A}\operatorname{E}(f|\mathscr{A})\mathop{}\!\mathrm{d}P \end{equation*}\]

若对任意的\(A\in\mathscr{A}\)有：

\[\begin{equation*} \int_{A}\operatorname{E}(f|\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

则称\(\operatorname{E}(f|\mathscr{A})\)为\(f\)关于\(\mathscr{A}\)的条件期望（conditional expectation）。当\(\mathscr{A}=\sigma(g)\)且\(g\)是\((X,\mathscr{F})\)到可测空间 \((Y,\mathscr{B})\)的可测映射时，称\(\operatorname{E}(f|g)\coloneq\operatorname{E}[f|\sigma(g)]\)为\(f\)关于\(g\)的条件期望（由引理 5.4可知\(\sigma(g)\)为\(\mathscr{F}\)的子\(\sigma\)域）。分别称：

\[\begin{equation*} P(A|\mathscr{A})\coloneq\operatorname{E}(I_A|\mathscr{A}),\quad P(A|g)\coloneq P(A|\sigma(g)) \end{equation*}\]

为事件\(A\in\mathscr{F}\)关于\(\mathscr{A}\)的条件概率（conditional probability）和事件\(A\in\mathscr{F}\)关于\(g\)的条件概率（性质 5.3.2(1)，\(I_A\)在\(X\)上积分存在）。当给定多个子\(\sigma\)域\(\mathscr{A}_1,\mathscr{A}_2,\dots,\mathscr{A}_n\subseteq\mathscr{F}\)时，约定：

\[\begin{equation*} \operatorname{E}(f\mid\mathscr{A}_1,\mathscr{A}_2,\dots,\mathscr{A}_n)\coloneq\operatorname{E}\left[f\mid\sigma\left(\underset{i=1}{\overset{n}{\cup}}\mathscr{A}_i\right)\right] \end{equation*}\]

Theorem 6.3. 设\(f\)为可测空间\((X,\mathscr{F})\)上的随机变量，\(\mathscr{F}=\{\varnothing,A,A^c,X\}\)，则\(f=a_1I_{A}(x)+a_2I_{A^c}(x)\)，其中\(a_1,a_2\in\mathbb{R}^{}\)。

证明. 只需证明\(f\)在\(A\)上只能取一个值，同理可知\(f\)在\(A^c\)上只能取一个值。

若存在\(x_1,x_2\in A\)使得\(f(x_1)=\alpha,\;f(x_2)=\beta\)，\(\alpha\in\beta\)，由性质 5.1.7(1.b)可知：

\[\begin{equation*} f^{-1}\left[\left(-\infty,\frac{\alpha+\beta}{2}\right)\right]\notin\mathscr{F} \end{equation*}\]

于是\(f\)不可测，矛盾，即\(f\)在\(A\)上只能取一个值。 ◻

note 6.2. 我们需要对抽象的条件概率以及条件期望的定义做一个解释，先从\(\mathscr{A}=\sigma(B)=\{\varnothing,B,B^c,X\}\)来谈起，其中\(B\in\mathscr{F}\)。

根据定理 6.3，\(\operatorname{E}(I_A\mid\mathscr{A})=a_1I_B(x)+a_2I_{B^c}(x)\)，其中\(a_1,a_2\in\mathbb{R}^{}\)。由性质 5.4.3(6)、性质 5.1.6(2)(4)和定理 5.27可得：

\[\begin{gather*} \int_{B}\operatorname{E}(I_A\mid\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{B}[a_1I_B(x)+a_2I_{B^c}(x)\mathop{}\!\mathrm{d}P=a_1P(B) \\ \int_{B}I_A(x)\mathop{}\!\mathrm{d}P=\int_{A\cap B}I_A(x)\mathop{}\!\mathrm{d}\mu+\int_{B\backslash A}I_A(x)\mathop{}\!\mathrm{d}\mu=P(A\cap B) \end{gather*}\]

所以：

\[\begin{equation*} a_1=\frac{P(A\cap B)}{P(B)} \end{equation*}\]

即条件概率\(P(A\mid\mathscr{A})\)在\(B\)和\(B^c\)上的取值和初等概率论是一致的。

Property 6.3.2. 设\(f,g\)是概率空间\((X,\mathscr{F},P)\)上在\(X\)上积分存在的随机变量，\(\mathscr{A},\mathscr{B}\)是\(\mathscr{F}\)的子\(\sigma\)域，则：

1. \(f\)关于\(\mathscr{A}\)可测的充要条件为\(\operatorname{E}(f|\mathscr{A})=f\;\)a.e.于\((X,\mathscr{A},P)\)；

2. 若\(f\)与\(\mathscr{A}\)独立，则\(\operatorname{E}(f|\mathscr{A})=\operatorname{E}(f)\;\)a.e.于\((X,\mathscr{A},P)\)；

3. 若\(\mathscr{A}\subseteq\mathscr{B}\)，则\(\operatorname{E}[\operatorname{E}(f|\mathscr{A})|\mathscr{B}]=\operatorname{E}(f|\mathscr{A})\;\)a.e.于\((X,\mathscr{B},P)\)，\(\operatorname{E}[\operatorname{E}(f|\mathscr{B})|\mathscr{A}]=\operatorname{E}(f|\mathscr{A})\;\)a.e.于\((X,\mathscr{A},P)\)，\(\operatorname{E}[\operatorname{E}(f|\mathscr{A})]=\operatorname{E}(f)\)；

4. 若\(f\leqslant g\;\)a.e.于\((X,\mathscr{A},P)\)，则\(\operatorname{E}(f|\mathscr{A})\leqslant\operatorname{E}(g|\mathscr{A})\;\)a.e.于\((X,\mathscr{A},P)\)；

5. 对任意的\(\alpha,\beta\in\mathbb{R}^{}\)，若\(\alpha\operatorname{E}(f)+\beta\operatorname{E}(g)\)有意义，则：

   \[\begin{equation*} \operatorname{E}(\alpha f+\beta g|\mathscr{A})=\alpha\operatorname{E}(f|\mathscr{A})+b\operatorname{E}(g|\mathscr{A}) \end{equation*}\]

   a.e.于\((X,\mathscr{A},P)\)；

6. 若\(0\leqslant f_n\uparrow f\;\)a.e.于\((X,\mathscr{A},P)\)，则\(0\leqslant\operatorname{E}(f_n|\mathscr{A})\uparrow \operatorname{E}(f|\mathscr{A})\;\)a.e.于\((X,\mathscr{A},P)\)；

7. 若\(f_n\geqslant0\;\)a.e.于\((X,\mathscr{F},P)\)，则\(\operatorname{E}\left(\varliminf\limits_{n\to+\infty}f_n\Big|\mathscr{A}\right)\leqslant\varliminf\limits_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})\;\)a.e.于\((X,\mathscr{A},P)\)；

8. 若\(|f_n|\leqslant g\in L_1(X,\mathscr{A},P)\)且\(f_n\overset{\text{a.e.}}{\longrightarrow}f\)，则\(\lim\limits_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})=\operatorname{E}(f|\mathscr{A})\;\)a.e.于\((X,\mathscr{A},P)\)。

证明. (1)必要性由条件期望的定义即可得到，充分性由条件期望的定义和性质 5.3.3(9)即可得到。

(2)因为\(f\)与\(\mathscr{A}\)独立，由性质 6.2.1(3)可知对任意的\(A\in\mathscr{A}\)有\(f\)与\(I_A\)独立。对任意的\(A\in\mathscr{A}\)，根据性质 5.4.3(3)、性质 5.1.6(4)、定理 5.27、性质 6.3.1(2)和性质 5.4.3(6)可得：

\[\begin{align*} &\int_{A}f(x)\mathop{}\!\mathrm{d}P=\int_{A}f(x)\mathop{}\!\mathrm{d}P+\int_{X\setminus A}0\mathop{}\!\mathrm{d}P=\operatorname{E}(fI_A) \\ =&\operatorname{E}(f)\operatorname{E}(I_A)=\operatorname{E}(f)P(A)=\operatorname{E}(f)\int_{A}1\mathop{}\!\mathrm{d}P=\int_{A}\operatorname{E}(f)\mathop{}\!\mathrm{d}P \end{align*}\]

于是结论成立。

(3)由\(\operatorname{E}(f|\mathscr{A})\)的定义可知\(\operatorname{E}(f|\mathscr{A})\)是\(\mathscr{A}\)可测的，因为\(\mathscr{A}\subseteq\mathscr{B}\)，所以\(\operatorname{E}(f|\mathscr{A})\)是\(\mathscr{B}\)可测的。由(1)可得\(\operatorname{E}[\operatorname{E}(f|\mathscr{A})|\mathscr{B}]=\operatorname{E}(f|\mathscr{A})\;\)a.e.于\((X,\mathscr{B},P)\)。

由\(\operatorname{E}[\operatorname{E}(f|\mathscr{B})|\mathscr{A}]\)的定义可知它是\(\mathscr{A}\)可测的，于是对任意的\(A\in\mathscr{A}\)，根据条件期望的定义可得：

\[\begin{equation*} \int_{A}\operatorname{E}[\operatorname{E}(f|\mathscr{B})|\mathscr{A}]\mathop{}\!\mathrm{d}P=\int_{A}\operatorname{E}(f|\mathscr{B})\mathop{}\!\mathrm{d}P=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

即\(\operatorname{E}(f|\mathscr{A})=\operatorname{E}[\operatorname{E}(f|\mathscr{B})|\mathscr{A}]\;\)a.e.于\((X,\mathscr{A},P)\)。

因为\(X\in\mathscr{A}\)，由条件期望的定义可得：

\[\begin{equation*} \operatorname{E}[\operatorname{E}(f|\mathscr{A})]=\int_{X}\operatorname{E}(f|\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{X}f(x)\mathop{}\!\mathrm{d}P=\operatorname{E}(f) \end{equation*}\]

(4)对任意的\(A\in\mathscr{A}\)，由性质 5.4.3(7)可得：

\[\begin{equation*} \int_{A}\operatorname{E}(f|\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{A}f(x)\mathop{}\!\mathrm{d}P\leqslant\int_{A}g(x)\mathop{}\!\mathrm{d}P=\int_{A}\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \end{equation*}\]

由条件期望的定义可知\(\operatorname{E}(f|\mathscr{A}),\operatorname{E}(g|\mathscr{A})\)关于\(\mathscr{A}\)可测，根据性质 5.3.3(3)可得\(E=\{\operatorname{E}(f|\mathscr{A})>\operatorname{E}(g|\mathscr{A})\}\in\mathscr{A}\)，所以：

\[\begin{equation*} \int_{E}\operatorname{E}(f|\mathscr{A})\mathop{}\!\mathrm{d}P\leqslant\int_{E}\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \end{equation*}\]

由性质 5.4.3(7)可得：

\[\begin{equation*} \int_{E}\operatorname{E}(f|\mathscr{A})\mathop{}\!\mathrm{d}P\geqslant\int_{E}\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \end{equation*}\]

所以：

\[\begin{equation*} \int_{E}\operatorname{E}(f|\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{E}\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \end{equation*}\]

根据性质 5.4.3(6)可知：

\[\begin{equation*} \int_{E}[\operatorname{E}(f|\mathscr{A})-\operatorname{E}(g|\mathscr{A})]\mathop{}\!\mathrm{d}P=0 \end{equation*}\]

由性质 5.4.2(9)可得\(P(E)=0\)，即\(\operatorname{E}(f|\mathscr{A})\leqslant\operatorname{E}(g|\mathscr{A})\;\)a.e.于\((X,\mathscr{A},P)\)。

(5)因为\(\alpha\operatorname{E}(f)+\beta\operatorname{E}(g)\)存在，由性质 5.4.3(6)可知\(\operatorname{E}(\alpha f+\beta g)\)存在，于是\(\operatorname{E}(\alpha f+\beta g|\mathscr{A})\)存在。对任意的\(A\in\mathscr{A}\)，有：

\[\begin{equation*} \int_{A}[\alpha f(x)+\beta g(x)]\mathop{}\!\mathrm{d}P=\alpha\int_{A}f(x)\mathop{}\!\mathrm{d}P+\beta\int_{A}g(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

否则由性质 5.4.3(6)可知右式不存在，即\(\alpha\int_{A}f(x)\mathop{}\!\mathrm{d}P\)和\(\beta\int_{A}g(x)\mathop{}\!\mathrm{d}P\)二者异号无穷大，分类讨论可知此时与\(\alpha\operatorname{E}(f)+\beta\operatorname{E}(g)\)存在矛盾（对\(f^+,f^-,g^+,g^-\)在\(X\)上和\(A\)上的积分进行分析）。

根据性质 5.4.3(6)，对任意的\(A\in\mathscr{A}\)有：

\[\begin{align*} \int_{A}\operatorname{E}(\alpha f+\beta g|\mathscr{A})\mathop{}\!\mathrm{d}P&=\int_{A}[\alpha f(x)+\beta g(x)]\mathop{}\!\mathrm{d}P=\alpha\int_{A}f(x)\mathop{}\!\mathrm{d}P+\beta\int_{A}g(x)\mathop{}\!\mathrm{d}P \\ &=\alpha\int_{A}\operatorname{E}(f|\mathscr{A})\mathop{}\!\mathrm{d}P+\beta\int_{A}\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \\ &=\int_{A}\alpha\operatorname{E}(f|\mathscr{A})\mathop{}\!\mathrm{d}P+\int_{A}\beta\operatorname{E}(g|\mathscr{A})\mathop{}\!\mathrm{d}P \\ &=\int_{A}[\alpha\operatorname{E}(f|\mathscr{A})+\beta\operatorname{E}(g|\mathscr{A})]\mathop{}\!\mathrm{d}P \end{align*}\]

由条件期望的定义可得\(\operatorname{E}(\alpha f+\beta g|\mathscr{A})=\alpha\operatorname{E}(f|\mathscr{A})+\beta\operatorname{E}(g|\mathscr{A})\;\)a.e.于\((X,\mathscr{A},P)\)。

(6)由(4)可得\(0\leqslant\operatorname{E}(f_n|\mathscr{A})\;\)a.e.于\((X,\mathscr{A},P)\)且\(\operatorname{E}(f_n|\mathscr{A})\uparrow\;\)a.e.于\((X,\mathscr{A},P)\)，根据性质 3.2.9(7)可知\(\lim\limits_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})\)存在，由性质 5.3.3(6)可知\(\lim\limits_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})\)关于\(\mathscr{A}\)可测。根据定理 5.23可知对任意的\(A\in\mathscr{A}\)有：

\[\begin{equation*} \int_{A}\left[\lim_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})\right]\mathop{}\!\mathrm{d}P=\lim_{n\to+\infty}\left[\int_{A}\operatorname{E}(f_n|\mathscr{A})\mathop{}\!\mathrm{d}P\right]=\lim_{n\to+\infty}\left[\int_{A}f_n(x)\mathop{}\!\mathrm{d}P\right]=\int_{A}f(x)\mathop{}\!\mathrm{d}P \end{equation*}\]

由条件期望的定义可得：

\[\begin{equation*} \lim_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A})=\operatorname{E}(f|\mathscr{A}) \end{equation*}\]

a.e.于\((X,\mathscr{A},P)\)。根据定理 19.7和性质 5.2.1(3)（次可列可加性）即可得出结论。

(7)因为\(f_n\geqslant0\;\)a.e.于\((X,\mathscr{A},P)\)，所以：

\[\begin{equation*} 0\leqslant\inf_{i\geqslant n}f_i\uparrow\lim_{n\to+\infty}\inf\limits_{i\geqslant n}f_i\;\text{a.e.于}(X,\mathscr{A},P) \end{equation*}\]

由(4)和性质 5.2.1(3)（次可列可加性）可得对任意的\(n\in\mathbb{N}^+\)有：

\[\begin{equation*} \operatorname{E}\left(\inf_{i\geqslant n}f_i\Big|\mathscr{A}\right)\leqslant\inf_{i\geqslant n}\operatorname{E}(f_i|\mathscr{A}) \end{equation*}\]

a.e.于\((X,\mathscr{A},P)\)。根据(6)、性质 3.2.9(6)、性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可得：

\[\begin{align*} &\operatorname{E}\left(\varliminf_{n\to+\infty}f_n\Big|\mathscr{A}\right)=\operatorname{E}\left(\lim_{n\to+\infty}\inf_{i\geqslant n}f_i\Big|\mathscr{A}\right)\leqslant\lim_{n\to+\infty}\operatorname{E}\left(\inf_{i\geqslant n}f_i\Big|\mathscr{A}\right) \\ \leqslant&\lim_{n\to+\infty}\inf_{i\geqslant n}\operatorname{E}(f_i|\mathscr{A})=\varliminf_{n\to+\infty}\operatorname{E}(f_n|\mathscr{A}) \end{align*}\]

a.e.于\((X,\mathscr{A},P)\)。

(8)由(7)类似证明推论 5.4，然后类似定理 5.25的证明即可得出结论。 ◻

Theorem 6.4. 设\(f,g\)是概率空间\((X,\mathscr{F},P)\)上的随机变量，\(f\)和\(fg\)在\(X\)上积分存在，\(g\)关于\(\mathscr{F}\)的子\(\sigma\)域\(\mathscr{A}\)可测，则：

\[\begin{equation*} \operatorname{E}(fg|\mathscr{A})=g\operatorname{E}(f|\mathscr{A}) \end{equation*}\]

a.e.于\((X,\mathscr{A},P)\)。

证明. 当\(f\geqslant0\;\)a.e.于\((X,\mathscr{A},P)\)上时，使用典型方法。

对任意的\(A,B\in\mathscr{A}\)，当\(g(x)=I(x\in B)\)时，由性质 5.1.6(2)(4)、性质 5.4.3(3)和定理 5.27可得：

\[\begin{align*} &\int_{A}\operatorname{E}(fg|\mathscr{A})\mathop{}\!\mathrm{d}P=\int_{A}f(x)g(x)\mathop{}\!\mathrm{d}P=\int_{A}f(x)I(x\in B)\mathop{}\!\mathrm{d}P \\ =&\int_{A\cap B}f(x)\mathop{}\!\mathrm{d}P+\int_{A\setminus B}0\mathop{}\!\mathrm{d}P=\int_{A\cap B}f(x)\mathop{}\!\mathrm{d}P=\int_{A\cap B}\operatorname{E}(f|\mathscr{A})\mathop{}\!\mathrm{d}P \\ =&\int_{A\cap B}\operatorname{E}(f|\mathscr{A})I(x\in B)\mathop{}\!\mathrm{d}P+\int_{A\setminus B}\operatorname{E}(f|\mathscr{A})I(x\in B)\mathop{}\!\mathrm{d}P=\int_{A}\operatorname{E}(f|\mathscr{A})I(x\in B)\mathop{}\!\mathrm{d}P \end{align*}\]

所以结论对指示函数成立。

当\(g\)是非负简单函数时，设\(X\)可表示为有限个互不相交的集合\(E_1, E_2, \dots, E_{n}\in\mathscr{A}\)的并，\(a_1, a_2, \dots, a_{n}\geqslant0\)，\(g=\sum\limits_{i=1}^{n}a_iI(x\in E_i)\)。对任意的\(i=1,2,\dots,n\)，由性质 5.4.3(8)可知\(\sum\limits_{i=1}^{n}\operatorname{E}[fa_iI(x\in E_i)]\)存在，根据性质 6.3.2(5)、性质 5.3.3(5.b)、性质 5.4.3(8)、指示函数时的情况和性质 5.4.2(10)可得：

\[\begin{align*} &\operatorname{E}(fg|\mathscr{A})=\operatorname{E}\left[\sum_{i=1}^{n}fa_iI(x\in E_i)\Big|\mathscr{A}\right]=\sum_{i=1}^{n}\operatorname{E}[fa_iI(x\in E_i)|\mathscr{A}] \\ =&\sum_{i=1}^{n}I(x\in E_i)\operatorname{E}(fa_i|\mathscr{A})=\sum_{i=1}^{n}a_iI(x\in E_i)\operatorname{E}(f|\mathscr{A})=g\operatorname{E}(f|\mathscr{A}) \end{align*}\]

所以结论对非负简单函数成立。

当\(g\)是非负随机变量时，由性质 5.3.3(8)可知存在非负简单函数列\(\{g_n\}\)满足\(g_n\uparrow g\)，于是\(fg_n\uparrow fg\)且\(fg_n\geqslant0\;\)a.e.于\((X,\mathscr{A},P)\)。根据性质 3.2.9(8.c)、性质 6.3.2(6)和非负简单函数时的情况可得：

\[\begin{equation*} \operatorname{E}(fg|\mathscr{A})=\operatorname{E}\left(\lim_{n\to+\infty}fg_n\Big|\mathscr{A}\right)=\lim_{n\to+\infty}\operatorname{E}(fg_n|\mathscr{A})=\lim_{n\to+\infty}g_n\operatorname{E}(f|\mathscr{A})=g\operatorname{E}(f|\mathscr{A}) \end{equation*}\]

所以结论对非负随机变量成立。

当\(g\)是一般随机变量时，\(g=g^+-g^-\)。由性质 5.4.3(8)可得：

\[\begin{equation*} \operatorname{E}(fg^+)-\operatorname{E}(fg^-)=\operatorname{E}(fg) \end{equation*}\]

存在，根据性质 6.3.2(5)和非负随机变量时的情况可得：

\[\begin{align*} &\operatorname{E}(fg|\mathscr{A})=\operatorname{E}(fg^+-fg^-|\mathscr{A})=\operatorname{E}(fg^+|\mathscr{A})-\operatorname{E}(fg^-|\mathscr{A}) \\ =&g^+\operatorname{E}(f|\mathscr{A})-g^-\operatorname{E}(f|\mathscr{A})=g\operatorname{E}(f|\mathscr{A}) \end{align*}\]

所以结论对一般随机变量成立。

当\(f\)为一般随机变量时，\((fg)^+=f^+g^++f^-g^-,\;(fg)^-=f^+g^-+f^-g^+\)。因为\(\operatorname{E}(fg)\)存在，所以\(\operatorname{E}[(fg)^+]\)和\(\operatorname{E}[(fg)^-]\)不同时为正无穷。假设\(\operatorname{E}[(fg)^+]\)不为正无穷，\(\operatorname{E}[(f g)^-]\)不为正无穷的情况可类似讨论。因为\(f^+g^+,f^-g^-\leqslant(fg)^+\)，由性质 5.4.2(6)可得：

\[\begin{equation*} \operatorname{E}(f^+g^+),\operatorname{E}(f^-g^-)\leqslant\operatorname{E}[(fg)^+]<+\infty \end{equation*}\]

根据性质 5.4.3(6)可得：

\[\begin{align*} &\operatorname{E}(f^+g)-\operatorname{E}(f^-g)=\operatorname{E}(f^+g^+-f^+g^-)-\operatorname{E}(f^-g^+-f^-g^-) \\ =&\operatorname{E}(f^+g^+)-\operatorname{E}(f^+g^-)-\operatorname{E}(f^-g^+)+\operatorname{E}(f^-g^-)=\operatorname{E}(f^+g^++f^-g^-)-\operatorname{E}(f^+g^-+f^-g^+) \end{align*}\]

存在。由性质 6.3.2(5)和\(f\geqslant0\;\)a.e.于\((X,\mathscr{A},P)\)时的情况可得：

\[\begin{align*} &\operatorname{E}(fg|\mathscr{A})=\operatorname{E}(f^+g-f^-g|\mathscr{A})=\operatorname{E}(f^+g|\mathscr{A})-\operatorname{E}(f^-g|\mathscr{A}) \\ =&g[\operatorname{E}(f^+|\mathscr{A})-\operatorname{E}(f^-|\mathscr{A})]=g\operatorname{E}(f|\mathscr{A}) \end{align*}\]

◻

6.3.2 矩

Definition 6.9. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的随机变量，\(n\in\mathbb{N}^+\)。若\(\operatorname{E}(|f|^n)<+\infty\)，则称\(f\)的\(n\)阶矩（moment）存在并将：

\[\begin{equation*} \mu_n=\operatorname{E}(f^n),\quad\nu_n=\operatorname{E}\{[f-\operatorname{E}(f)]^n\} \end{equation*}\]

称为\(f\)的\(n\)阶原点矩（raw moment）和\(n\)阶中心矩（central moment）。

Property 6.3.3. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的随机变量，\(n\in\mathbb{N}^+\)。\(f\)的矩具有如下性质：

1. 若\(f\)的\(n\)阶矩存在，则\(f\)具有所有不超过\(n\)阶的矩；

2. \(f\)的中心矩\(\nu_n\)与原点矩\(\mu_n\)之间存在如下关系：

   \[\begin{equation*} \nu_n=\sum_{i=0}^{n}\binom{n}{i}\mu_i(-\mu_1)^{n-i} \end{equation*}\]

3. 若\(f\)的\(n\)阶矩存在，则\(\mu_n,\nu_n\in\mathbb{R}^{}\)。

证明. (1)设\(f\)的\(n\)阶矩存在，则\(\operatorname{E}(|f|^n)<+\infty\)，由定理 5.29可知对任意的非负数\(i\leqslant n\)有\(\operatorname{E}(|f|^i)<+\infty\)，于是\(f\)具有所有不超过\(n\)阶的矩。

(2)由(1)和性质 5.4.3(4)可知\(f^i,\;i=0,1,\dots,n\)在\(X\)上可积，根据性质 5.4.3(2)可得\(\mu_i=\operatorname{E}(f^i)\in\mathbb{R}^{}\)。由中心矩的定义和性质 5.4.3(6)可得：

\[\begin{equation*} \nu_n =\operatorname{E}\{[f-\operatorname{E}(f)]^n\} =\operatorname{E}\left[\sum_{i=0}^{n}\binom{n}{i}f^i(-\mu_1)^{n-i}\right] =\sum_{i=0}^{n}\binom{n}{i}\mu_i(-\mu_1)^{n-i} \end{equation*}\]

(3)由性质 5.4.3(4)可知\(f^n\)在\(X\)上可积，于是\(\mu_n=\operatorname{E}(f^n)\in\mathbb{R}^{}\)。结合(1)(2)可得\(\nu_n\in\mathbb{R}^{}\)。综上，\(f\)的\(n\)阶中心矩与\(n\)阶原点矩在\(\mathbb{R}^{}\)上。 ◻

note 6.3. 需要注意随机变量的期望是可以取无穷的，而矩则必须是有限值。

6.3.3 协方差

Definition 6.10. 设\(\mathbf{X}=(X_1, X_2, \dots, X_{m})\)和\(\mathbf{Y}=(Y_1, Y_2, \dots, Y_{n})\)分别为概率空间\((X,\mathscr{F},P)\)上的随机向量。根据定理 5.37，若\(\mathbf{X}\)和\(\mathbf{Y}\)的各分量都在\(L_2(X)\)中，由不等式 4和定理 5.29可知：

\[\begin{equation*} \operatorname{Cov}(\mathbf{X},\mathbf{Y})=\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})]\mathbf{Y}-\operatorname{E}(\mathbf{Y})^{\top}\} \end{equation*}\]

一定存在且每个元素都是有限值，称其为\(\mathbf{X}\)与\(\mathbf{Y}\)的协方差（covariance）矩阵。若\(\mathbf{X}=\mathbf{Y}\)，则可将\(\operatorname{Cov}(\mathbf{X},\mathbf{Y})\)简写为\(\operatorname{Cov}(\mathbf{X})\)。

Definition 6.11. 设\(X,Y\)是概率空间\((X,\mathscr{F},P)\)上的两个随机变量，则：

1. 若\(\operatorname{Cov}(X,Y)>0\)，称\(X,Y\)正相关（positively correlated）；

2. 若\(\operatorname{Cov}(X,Y)<0\)，称\(X,Y\)负相关（negatively correlated）；

3. 若\(\operatorname{Cov}(X,Y)=0\)，称\(X,Y\)不相关（uncorrelated）。

Property 6.3.4. 协方差矩阵具有如下性质：

1. \(\mathbf{X}\)是一个\(n\)维随机向量，则\(\operatorname{tr}[\operatorname{Cov}(\mathbf{X})]=\sum\limits_{i=1}^{n}\operatorname{Var}(\mathbf{X}_i)\)；

2. \(\mathbf{X}\)是一个\(n\)维随机向量，则\(\operatorname{Cov}(\mathbf{X})\)是半正定的对称矩阵；

3. 设\(A\)和\(B\)分别为\(p\times n\)和\(q\times m\)非随机矩阵，\(\mathbf{X}\)和\(\mathbf{Y}\)分别为\(n\)维、\(m\)维随机向量，则：

   \[\begin{equation*} \operatorname{Cov}(A\mathbf{X},B\mathbf{Y})=A\operatorname{Cov}(\mathbf{X},\mathbf{Y})B^{\top} \end{equation*}\]

4. 若\(\mathbf{X}\)是一个常数向量，\(\mathbf{Y}\)是一个随机向量，则\(\operatorname{Cov}(\mathbf{X},\mathbf{Y})=\mathbf{0}\)；

5. 设\(\mathbf{X},\mathbf{Y},\mathbf{Z}\)为随机向量，则：

   \[\begin{gather*} \operatorname{Cov}(\mathbf{X}+\mathbf{Y},\mathbf{Z})=\operatorname{Cov}(\mathbf{X},\mathbf{Z})+\operatorname{Cov}(\mathbf{Y},\mathbf{Z}) \\ \operatorname{Cov}(\mathbf{X},\mathbf{Y}+\mathbf{Z})=\operatorname{Cov}(\mathbf{X},\mathbf{Y})+\operatorname{Cov}(\mathbf{X},\mathbf{Z}) \end{gather*}\]

6. \(\operatorname{Cov}(\mathbf{X},\mathbf{Y})=\operatorname{E}(\mathbf{X}\mathbf{Y}^{\top})-[\operatorname{E}(\mathbf{X})][\operatorname{E}(\mathbf{Y})]^{\top}\)；

7. 若\(\mathbf{X}\)与\(\mathbf{Y}\)独立，则\(\operatorname{Cov}(\mathbf{X},\mathbf{Y})=\mathbf{0}\)；

8. 若不存在非零的\(a\in\mathbb{R}^{n}\)和任意的\(b\in\mathbb{R}^{}\)使得\(a\mathbf{X}=b,\;\)a.s.于\((X,\mathscr{F},P)\)，则\(\operatorname{Cov}(\mathbf{X})\)可逆。

证明. (1)\(\;\operatorname{Cov}(\mathbf{X})\)在\((i,i)\)位置上的元素为：

\[\begin{equation*} \operatorname{E}\{[\mathbf{X}_i-\operatorname{E}(\mathbf{X}_i)][\mathbf{X}_i-\operatorname{E}(\mathbf{X}_i)]^{\top}\}=\operatorname{E}\{[\mathbf{X}_i-\operatorname{E}(\mathbf{X}_i)]^2\}=\operatorname{Var}(\mathbf{X}_i) \end{equation*}\]

所以\(\operatorname{tr}[\operatorname{Cov}(\mathbf{X})]=\sum\limits_{i=1}^{n}\operatorname{Var}(\mathbf{X}_i)\)。

(2)因为：

\[\begin{align*} \operatorname{Cov}(\mathbf{X})_{(i,j)} &=\operatorname{E}\{[\mathbf{X}_i-\operatorname{E}(\mathbf{X}_i)][\mathbf{X}_j-\operatorname{E}(\mathbf{X}_j)]\} \\ &=\operatorname{E}\{[\mathbf{X}_j-\operatorname{E}(\mathbf{X}_j)][\mathbf{X}_i-\operatorname{E}(\mathbf{X}_i)]\} \\ &=\operatorname{Cov}(\mathbf{X})_{(j,i)} \end{align*}\]

所以\(\operatorname{Cov}(\mathbf{X})\)是一个对称矩阵。

任取\(c\in\mathbb{R}^{n}\)，设\(Y=c^{\top}\mathbf{X}\)，由性质 5.4.2(2)、性质 2.1.2(4)和性质 5.4.3(6)可得：

\[\begin{align*} &0\leqslant\operatorname{Cov}(Y)=\operatorname{Cov}(c^{\top}\mathbf{X})=\operatorname{E}\{[c^{\top}\mathbf{X}-\operatorname{E}(c^{\top}\mathbf{X})][c^{\top}\mathbf{X}-\operatorname{E}(c^{\top}\mathbf{X})]\} \\ =&\operatorname{E}\{[c^{\top}\mathbf{X}-c^{\top}\operatorname{E}(\mathbf{X})][c^{\top}\mathbf{X}-c^{\top}\operatorname{E}(\mathbf{X})]^{\top}\}=\operatorname{E}\Bigl\{c^{\top}[\mathbf{X}-\operatorname{E}(\mathbf{X})]\{c^{\top}[\mathbf{X}-\operatorname{E}(\mathbf{X})]\}^{\top}\Bigr\} \\ =&c^{\top}\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})][\mathbf{X}-\operatorname{E}(\mathbf{X})]^{\top}\}c=c^{\top}\operatorname{Cov}(\mathbf{X})c \end{align*}\]

由\(c\)的任意性，\(\operatorname{Cov}(\mathbf{X})\)是半正定的。

(3)由性质 2.1.2(4)和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Cov}(A\mathbf{X},B\mathbf{Y}) &=\operatorname{E}\{[A\mathbf{X}-\operatorname{E}(A\mathbf{X})][B\mathbf{Y}-\operatorname{E}(B\mathbf{Y})]^{\top}\} \\ &=A\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})][\mathbf{Y}-\operatorname{E}(\mathbf{Y})]^{\top}\}B^{\top} \\ &=A\operatorname{Cov}(\mathbf{X},\mathbf{Y})B^{\top} \end{align*}\]

(4)由性质 5.4.2(9)直接可得；

(5)由性质 5.4.3(6)可得：

\[\begin{gather*} \begin{aligned} \operatorname{Cov}(\mathbf{X}+\mathbf{Y},\mathbf{Z}) &=\operatorname{E}\left\{\left[\mathbf{X}+\mathbf{Y}-\operatorname{E}(\mathbf{X}+\mathbf{Y})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}+\mathbf{Y}-\operatorname{E}(\mathbf{X})-\operatorname{E}(\mathbf{Y})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top} +\left[\mathbf{Y}-\operatorname{E}(\mathbf{Y})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} +\operatorname{E}\left\{\left[\mathbf{Y}-\operatorname{E}(\mathbf{Y})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{Cov}(\mathbf{X},\mathbf{Z})+\operatorname{Cov}(\mathbf{Y},\mathbf{Z}) \end{aligned} \\ \begin{aligned} \operatorname{Cov}(\mathbf{X},\mathbf{Y}+\mathbf{Z}) &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Y}+\mathbf{Z}-\operatorname{E}(\mathbf{Y}+\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Y}+\mathbf{Z}-\operatorname{E}(\mathbf{Y})-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Y}-\operatorname{E}(\mathbf{Y})\right]^{\top} +\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Y}-\operatorname{E}(\mathbf{Y})\right]^{\top}\right\} +\operatorname{E}\left\{\left[\mathbf{X}-\operatorname{E}(\mathbf{X})\right]\left[\mathbf{Z}-\operatorname{E}(\mathbf{Z})\right]^{\top}\right\} \\ &=\operatorname{Cov}(\mathbf{X},\mathbf{Y})+\operatorname{Cov}(\mathbf{X},\mathbf{Z}) \end{aligned} \end{gather*}\]

(6)由定理 5.29和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Cov}(\mathbf{X},\mathbf{Y}) &=\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})][\mathbf{Y}-\operatorname{E}(\mathbf{Y})]^{\top}\} =\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})]\mathbf{Y}^{\top}-[\mathbf{X}-\operatorname{E}(\mathbf{X})]\operatorname{E}(\mathbf{Y})^{\top}\} \\ &=\operatorname{E}\{[\mathbf{X}-\operatorname{E}(\mathbf{X})]\mathbf{Y}^{\top}\}-\operatorname{E}[\mathbf{X}-\operatorname{E}(\mathbf{X})]\operatorname{E}(\mathbf{Y})^{\top} =\operatorname{E}(\mathbf{X}\mathbf{Y}^{\top})-[\operatorname{E}(\mathbf{X})][\operatorname{E}(\mathbf{Y})]^{\top} \end{align*}\]

(7)由(6)和性质 6.3.1(2)立即可得。

(8)若\(\operatorname{Cov}(\mathbf{X})\)不可逆，则存在非零的\(a\in\mathbb{R}^{n}\)使得\(a^{\top}\operatorname{Cov}(\mathbf{X})a=\mathbf{0}\)，根据(2)的证明过程和性质 5.4.3(6)可知即：

\[\begin{equation*} \operatorname{Cov}(a^{\top}\mathbf{X})=\operatorname{E}\{[a^{\top}\mathbf{X}-a^{\top}\operatorname{E}(\mathbf{X})]^2\}=\mathbf{0} \end{equation*}\]

由性质 5.4.2(9)可知\(a^{\top}\mathbf{X}=a^{\top}\operatorname{E}(\mathbf{X})\;\)a.s.于\((X,\mathscr{F},P)\)，矛盾，所以\(\operatorname{Cov}(\mathbf{X})\)可逆。 ◻

6.3.4 方差

Definition 6.12. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上积分存在的随机变量。若\([f-\operatorname{E}(f)]^2\)的积分存在，则称：

\[\begin{equation*} \operatorname{Var}(f)\coloneq\operatorname{E}\{[f-\operatorname{E}(f)]^2\} \end{equation*}\]

为\(f\)的方差（variance）。若\([f-\operatorname{E}(f)]^2\)可积，则称\(f\)的方差是有限的。

Property 6.3.5. 设\(f,g\)是概率空间\((X,\mathscr{F},P)\)上积分存在的随机变量。方差具有如下性质：

1. 若\(f\in L_2(X)\)，则\(\operatorname{Var}(f)=\operatorname{E}(f^2)-[\operatorname{E}(f)]^2<+\infty\)；

2. 若\(f\in L_2(X)\)，则\(\operatorname{Var}(f)=\operatorname{E}[\operatorname{Var}(f|g)]+\operatorname{Var}[\operatorname{E}(f|g)]\)；

3. 若\(f,g\in L_2(X)\)，则\(\operatorname{Var}(f\pm g)=\operatorname{Var}(f)\pm2\operatorname{Cov}(f,g)+\operatorname{Var}(g)\)；

证明. (1)由性质 6.3.3(1)(3)可知\(\operatorname{E}(f)=\mu\in\mathbb{R}^{}\)。根据方差的定义和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Var}(f) =\operatorname{E}[(f-\mu)^2] =\operatorname{E}(f^2-2\mu f+\mu^2) =\operatorname{E}(f^2)-2\mu^2+\mu^2 =\operatorname{E}(f^2)-\mu^2<+\infty \end{align*}\]

(2)由性质 6.3.3(1)(3)可知\(\operatorname{E}(f)=\mu\in\mathbb{R}^{}\)。根据(1)和性质 6.3.2(3)可得：

\[\begin{align*} \operatorname{E}[\operatorname{Var}(f|g)] &=\operatorname{E}\{\operatorname{E}(f^2|g)-[\operatorname{E}(f|g)]^2\} \\ &=\operatorname{E}[\operatorname{E}(f^2|g)]-\operatorname{E}\{[\operatorname{E}(f|g)]^2\} \\ &=\operatorname{E}(f^2)-\operatorname{E}\{[\operatorname{E}(f|g)]^2\} \\ \operatorname{Var}[\operatorname{E}(f|g)] &=\operatorname{E}\{[\operatorname{E}(f|g)]^2\}-\{\operatorname{E}[\operatorname{E}(f|g)]\}^2 \\ &=\operatorname{E}\{[\operatorname{E}(f|g)]^2\}-[\operatorname{E}(f)]^2 \end{align*}\]

于是：

\[\begin{equation*} \operatorname{E}[\operatorname{Var}(f|g)]+\operatorname{Var}[\operatorname{E}(f|g)]=\operatorname{E}(f^2)-[\operatorname{E}(f)]^2=\operatorname{Var}(f) \end{equation*}\]

(3)由性质 6.3.3(1)(3)可知\(\operatorname{E}(f)=\mu\in\mathbb{R}^{}\)。同理可得\(\operatorname{E}(g)\in\mathbb{R}^{}\)。由方差的定义和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Var}(f\pm g) &=\operatorname{E}[f\pm g-\operatorname{E}(f\pm g)]^2 \\ &=\operatorname{E}\{[f-\operatorname{E}(f)\pm[g-\operatorname{E}(g)]]\}^2 \\ &=\operatorname{E}\{[f-\operatorname{E}(f)]^2\pm 2[f-\operatorname{E}(f)][g-\operatorname{E}(g)]+[g-\operatorname{E}(g)]^2\} \\ &=\operatorname{Var}(f)\pm2\operatorname{Cov}(f,g)+\operatorname{Var}(g) \end{align*}\]

◻

6.3.5 均方误差

Definition 6.13. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的\(n\)维随机向量，\(g\in\mathbb{R}^{n}\)。若\((f-g)^{\top}(f-g)\)的积分存在，则称：

\[\begin{equation*} \operatorname{MSE}(f)\coloneq\operatorname{E}[(f-g)^{\top}(f-g)] \end{equation*}\]

为\(f\)关于\(g\)的均方误差（mean squared error）。

Property 6.3.6. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的\(n\)维随机向量，\(g\in\mathbb{R}^{n}\)，\((f-g)^{\top}(f-g)\)的积分存在。

1. 若\(\operatorname{E}(f)\)存在，则：

   \[\begin{equation*} \operatorname{MSE}(f)=\operatorname{tr}\operatorname{Cov}(f)+[\operatorname{E}(f)-g]^{\top}[\operatorname{E}(f)-g] \end{equation*}\]

2. 若\(f^{\top}f\)期望存在且\(\operatorname{E}(f)=g\)，则：

   \[\begin{equation*} \operatorname{MSE}(f)=\operatorname{E}(f^{\top}f)-g^{\top}g \end{equation*}\]

证明. (1)由性质 2.1.5(3)和性质 5.4.3(6)可得：

\[\begin{align*} &\operatorname{MSE}(f,g)=\operatorname{E}\{[f-\operatorname{E}(f)+\operatorname{E}(f)-g]^{\top}[f-\operatorname{E}(f)+\operatorname{E}(f)-g]\} \\ =&\operatorname{E}\{[f-\operatorname{E}(f)]^{\top}[f-\operatorname{E}(f)]+[f-\operatorname{E}(f)]^{\top}[\operatorname{E}(f)-g]+ \\ &[\operatorname{E}(f)-g]^{\top}[f-\operatorname{E}(f)]+[\operatorname{E}(f)-g]^{\top}[\operatorname{E}(f)-g]\} \\ =&\operatorname{E}\{\operatorname{tr}[f-\operatorname{E}(f)]^{\top}[f-\operatorname{E}(f)]\}+\operatorname{E}\{[f-\operatorname{E}(f)]^{\top}\}[\operatorname{E}(f)-g] \\ &+[\operatorname{E}(f)-g]^{\top}\operatorname{E}[f-\operatorname{E}(f)]+[\operatorname{E}(f)-g]^{\top}[\operatorname{E}(f)-g] \\ =&\operatorname{E}\{\operatorname{tr}[f-\operatorname{E}(f)][f-\operatorname{E}(f)]^{\top}\}+[\operatorname{E}(f)-g]^{\top}[\operatorname{E}(f)-g] \\ =&\operatorname{tr}[\operatorname{Cov}(f)]+[\operatorname{E}(f)-g]^{\top}[\operatorname{E}(f)-g] \end{align*}\]

(2)由性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{MSE}(f)&=\operatorname{E}[(f-g)^{\top}(f-g)]=\operatorname{E}(f^{\top}f-f^{\top}g-g^{\top}f+g^{\top}g) \\ &=\operatorname{E}(f^{\top}f)-2g^{\top}g+g^{\top}g=\operatorname{E}(f^{\top}f)-g^{\top}g \end{align*}\]

◻

6.3.6 相关系数

Definition 6.14. 设\(\mathbf{X}\)和\(\mathbf{Y}\)分别为概率空间\((X,\mathscr{F},P)\)上的\(m\)维随机向量和\(n\)维随机向量，\(\operatorname{Cov}(\mathbf{X},\mathbf{Y})\)存在，\(\operatorname{Var}(X_1),\operatorname{Var}(X_2),\dots,\operatorname{Var}(X_m),\operatorname{Var}(Y_1),\operatorname{Var}(Y_2),\dots,\operatorname{Var}(Y_n)\in(0,+\infty)\)。称：

\[\begin{align*} &\operatorname{Corr}(\mathbf{X},\mathbf{Y})=\operatorname{diag}\left\{\frac{1}{\sqrt{\operatorname{Var}(X_1)}},\frac{1}{\sqrt{\operatorname{Var}(X_2)}},\dots,\frac{1}{\sqrt{\operatorname{Var}(X_m)}}\right\} \\ &\quad\cdot\operatorname{Cov}(\mathbf{X},\mathbf{Y})\operatorname{diag}\left\{\frac{1}{\sqrt{\operatorname{Var}(Y_1)}},\frac{1}{\sqrt{\operatorname{Var}(Y_2)}},\dots,\frac{1}{\sqrt{\operatorname{Var}(Y_n)}}\right\} \end{align*}\]

为\(\mathbf{X}\)和\(\mathbf{Y}\)之间的相关系数（correlation coefficient）矩阵，称\(\operatorname{Corr}(\mathbf{X},\mathbf{Y})(i,j)\)为\(X_i\)与\(Y_j\)之间的相关系数。当\(\mathbf{X}=\mathbf{Y}\)时，将\(\mathbf{X}\)与\(\mathbf{Y}\)之间的相关系数矩阵简记为\(\operatorname{Corr}(\mathbf{X})\)。

Property 6.3.7. 相关系数具有如下性质：

1. 设\(X,Y\)为概率空间\((X,\mathscr{F},P)\)上的随机变量，\(\operatorname{Corr}(X,Y)\)存在，则\(-1\leqslant\operatorname{Corr}(X,Y)\leqslant1\)，等号成立当且仅当存在不全为\(0\)的常数\(a,b\)使得\(aX+bY=0\;\)a.e.成立。；

证明. (1)由不等式 4可得：

\[\begin{equation*} |\operatorname{Cov}(X,Y)|\leqslant\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)} \end{equation*}\]

所以有\(|\operatorname{Corr}(X,Y)|\leqslant1\)，取等条件由上式的取等条件得到。 ◻

Definition 6.15. 设\(Y\)和\(\mathbf{X}\)分别为概率空间\((X,\mathscr{F},P)\)上的随机变量和\(n\)维随机向量，\(\operatorname{Cov}(\mathbf{X},Y),\operatorname{Cov}(\mathbf{X})\)存在，\(\operatorname{Cov}(\mathbf{X})>\mathbf{0}\)，\(\operatorname{Var}(Y)<+\infty\)。称：

\[\begin{equation*} R^2=\frac{[\operatorname{Cov}(\mathbf{X},Y)]^{\top}[\operatorname{Cov}(\mathbf{X})]^{-1}\operatorname{Cov}(\mathbf{X},Y)}{\operatorname{Var}(Y)} \end{equation*}\]

为\(\mathbf{X}\)和\(Y\)之间的复相关系数（multiple correlation coefficient）。

Property 6.3.8. 设\(Y\)和\(\mathbf{X}\)分别为概率空间\((X,\mathscr{F},P)\)上的随机变量和\(n\)维随机向量，\(Y\)与\(\mathbf{X}\)的复相关系数\(R^2\)存在，则：

1. 若\(\operatorname{Cov}(\mathbf{X})\)对角线上各分量都大于\(0\)，则有：

   \[\begin{align*} &R^2=(\operatorname{Corr}(X_1,Y),\operatorname{Corr}(X_2,Y),\dots,\operatorname{Corr}(X_n,Y))^{\top} \\ &\quad\cdot[\operatorname{Corr}(\mathbf{X})]^{-1}(\operatorname{Corr}(X_1,Y),\operatorname{Corr}(X_2,Y),\dots,\operatorname{Corr}(X_n,Y)) \end{align*}\]

2. \(R^2=\max\limits_{\alpha\in\mathbb{R}^{n}}[\operatorname{Corr}(\alpha ^{\top}\mathbf{X},Y)]^2\)；

3. \(R^2\in[0,1]\)；

证明. (1)由定理 2.17(6)可得\([\operatorname{Cov}(\mathbf{X})]^{-1}\)的存在性，因为\(\operatorname{Cov}(\mathbf{X})\)对角线上各分量都大于\(0\)，所以\(\operatorname{diag}\left\{\frac{1}{\sqrt{\operatorname{Var}(Y_1)}},\frac{1}{\sqrt{\operatorname{Var}(Y_2)}},\dots,\frac{1}{\sqrt{\operatorname{Var}(Y_n)}}\right\}\)可逆，由性质 2.1.10(11)可得\(\operatorname{Corr}(\mathbf{X})\)的存在性。根据性质 2.1.10(11)可得：

\[\begin{align*} &R^2=\frac{[\operatorname{Cov}(\mathbf{X},Y)]^{\top}[\operatorname{Cov}(\mathbf{X})]^{-1}\operatorname{Cov}(\mathbf{X},Y)}{\operatorname{Var}(Y)} \\ =&\frac{1}{\operatorname{Var}(Y)}[\operatorname{Cov}(\mathbf{X},Y)]^{\top}[\operatorname{diag}\{\operatorname{Var}(X_1),\operatorname{Var}(X_2),\dots,\operatorname{Var}(X_n)\} \\ &\quad\cdot\operatorname{Corr}(\mathbf{X})\operatorname{diag}\{\operatorname{Var}(X_1),\operatorname{Var}(X_2),\dots,\operatorname{Var}(X_n)\}]^{-1}\operatorname{Cov}(\mathbf{X},Y) \\ =&\frac{1}{\operatorname{Var}(Y)}[\operatorname{Cov}(\mathbf{X},Y)]^{\top}\operatorname{diag}\left\{\frac{1}{\sqrt{\operatorname{Var}(X_1)}},\frac{1}{\sqrt{\operatorname{Var}(X_2)}},\dots,\frac{1}{\sqrt{\operatorname{Var}(X_n)}}\right\} \\ &\quad\cdot[\operatorname{Corr}(\mathbf{X})]^{-1}\operatorname{diag}\left\{\frac{1}{\sqrt{\operatorname{Var}(X_1)}},\frac{1}{\sqrt{\operatorname{Var}(X_2)}},\dots,\frac{1}{\sqrt{\operatorname{Var}(X_n)}}\right\}\operatorname{Cov}(\mathbf{X},Y) \\ =&(\operatorname{Corr}(X_1,Y),\operatorname{Corr}(X_2,Y),\dots,\operatorname{Corr}(X_n,Y))^{\top} \\ &\quad\cdot[\operatorname{Corr}(\mathbf{X})]^{-1}(\operatorname{Corr}(X_1,Y),\operatorname{Corr}(X_2,Y),\dots,\operatorname{Corr}(X_n,Y))^{\top} \end{align*}\]

(2)由性质 6.3.4(3)可得：

\[\begin{align*} \max_{\alpha\in\mathbb{R}^{n}}[\operatorname{Corr}(\alpha ^{\top}\mathbf{X},Y)]^2=\max_{\alpha\in\mathbb{R}^{n}}\frac{[\operatorname{Cov}(\alpha^{\top}\mathbf{X},Y)]^2}{\operatorname{Var}(Y)\operatorname{Var}(\alpha^{\top}\mathbf{X})}=\max_{\alpha\in\mathbb{R}^{n}}\frac{[\alpha^{\top}\operatorname{Cov}(\mathbf{X},Y)]^2}{\operatorname{Var}(Y)\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha} \end{align*}\]

根据性质 6.3.4(2)令\(\beta=[\operatorname{Cov}(\mathbf{X})]^{\frac{1}{2}}\alpha\)，由\(\operatorname{Cov}(\mathbf{X})>\mathbf{0}\)可知\([\operatorname{Cov}(\mathbf{X})]^{-\frac{1}{2}}\)存在，所以由性质 19.4.3(3)、性质 2.1.2(4)、性质 19.4.4(3)和不等式 3可得：

\[\begin{align*} &\max_{\alpha\in\mathbb{R}^{n}}[\operatorname{Corr}(\alpha ^{\top}\mathbf{X},Y)]^2=\max_{\beta\in\mathbb{R}^{n}}\frac{\{\beta^{\top}[\operatorname{Cov}(\mathbf{X})]^{-\frac{1}{2}}\operatorname{Cov}(\mathbf{X},Y)\}^2}{\operatorname{Var}(Y)\beta^{\top}\beta} \\ =&\frac{[\operatorname{Cov}(\mathbf{X},Y)]^{\top}[\operatorname{Cov}(\mathbf{X})]^{-1}\operatorname{Cov}(\mathbf{X},Y)}{\operatorname{Var}(Y)}=R^2 \end{align*}\]

(3)由(2)和性质 6.3.7(1)即可得到。 ◻

6.3.7 二次型

Definition 6.16. \(\mathbf{X}\)是一个\(n\)维随机向量，\(A=(a_{ij})\)为\(n\)阶非随机实对称阵，则随机变量：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}\mathbf{X}_i\mathbf{X}_j \end{equation*}\]

称为\(\mathbf{X}\)的二次型。

6.3.7.1 随机变量二次型的均值

Theorem 6.5. \(\mathbf{X}\)是一个\(n\)维随机向量，\(\operatorname{E}(\mathbf{X})=\mu,\;\operatorname{Cov}(\mathbf{X})=\Sigma\)，则：

\[\begin{equation*} \operatorname{E}(\mathbf{X}^{\top}A\mathbf{X})=\mu^{\top}A\mu+\operatorname{tr}(A\Sigma) \end{equation*}\]

证明. 由性质 5.4.3(6)可得

\[\begin{align*} \operatorname{E}(\mathbf{X}^{\top}A\mathbf{X}) &=\operatorname{E}[(\mathbf{X}-\mu+\mu)^{\top}A(\mathbf{X}-\mu+\mu)] \\ &=\operatorname{E}[(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)]+\operatorname{E}[(\mathbf{X}-\mu)^{\top}A\mu]+\operatorname{E}[\mu^{\top}A(\mathbf{X}-\mu)]+\operatorname{E}(\mu^{\top}A\mu) \\ &=\operatorname{E}\{\operatorname{tr}[(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)]\}+\mu^{\top}A\mu \\ &=\operatorname{E}\{\operatorname{tr}[A(\mathbf{X}-\mu)(\mathbf{X}-\mu)^{\top}]\}+\mu^{\top}A\mu \\ &=\operatorname{tr}\operatorname{E}[A(\mathbf{X}-\mu)(\mathbf{X}-\mu)^{\top}]+\mu^{\top}A\mu \\ &=\operatorname{tr}\{A\operatorname{E}[(\mathbf{X}-\mu)(\mathbf{X}-\mu)^{\top}]\}+\mu^{\top}A\mu \\ &=\operatorname{tr}(A\Sigma)+\mu^{\top}A\mu \end{align*}\]

第二行到第三行利用到了\(\operatorname{E}(\mathbf{X})=\mu\)以及\((\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)=\operatorname{tr}[(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)]\)，后式成立是因为\((\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)\)是一个标量，标量的迹自然等于自身。第三行到第四行使用到了性质 2.1.5(3)。 ◻

6.3.7.2 独立随机变量二次型的方差

Theorem 6.6. 设随机变量\(X_i,\;i=1,2,\dots,n\)相互独立，\(\operatorname{E}(X_i)=\mu_i\in\mathbb{R}^{},\;\operatorname{Var}(X_i)=\sigma^2\in\mathbb{R}^{},\;\nu_k^{(i)}=\operatorname{E}[(X_i-\mu_i)^k]\)，\(\mathbf{X}=(X_1, X_2, \dots, X_{n})^{\top},\;\mu=(\mu_1, \mu_2, \dots, \mu_{n})^{\top}\)，\(A=(a_{ij})\)为\(n\)阶非随机实对称阵，\(a=(a_{11},a_{22},\dots,a_{nn})^{\top}\)，\(b=(\nu_3^{(1)}a_{11},\nu_3^{(2)}a_{22},\dots,\nu_3^{(n)}a_{nn})^{\top}\)，则：

\[\begin{equation*} \operatorname{Var}(\mathbf{X}^{\top}A\mathbf{X})=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4[2\operatorname{tr}(A^2)-3a^{\top}a]+4\sigma^2\mu^{\top}A^2\mu+4\mu^{\top}Ab \end{equation*}\]

证明. 由性质 6.3.5(1)可得：

\[\begin{equation*} \operatorname{Var}(\mathbf{X}^{\top}A\mathbf{X})=\operatorname{E}[(\mathbf{X}^{\top}A\mathbf{X})^2]-[\operatorname{E}(\mathbf{X}^{\top}A\mathbf{X})]^2 \end{equation*}\]

由题设可知：

\[\begin{equation*} \operatorname{E}(\mathbf{X})=\mu,\;\operatorname{Var}(\mathbf{X})=\sigma^2I \end{equation*}\]

根据定理 6.5可得：

\[\begin{align*} [\operatorname{E}(\mathbf{X}^{\top}A\mathbf{X})]^2&=[\operatorname{tr}(A\sigma^2I)+\mu^{\top}A\mu]^2=[\sigma^2\operatorname{tr}(A)+\mu^{\top}A\mu]^2 \\ &=\sigma^4[\operatorname{tr}(A)]^2+2\sigma^2\operatorname{tr}(A)\mu^{\top}A\mu+(\mu^{\top}A\mu)^2 \end{align*}\]

同时：

\[\begin{align*} (\mathbf{X}^{\top}A\mathbf{X})^2 &=[(\mathbf{X}-\mu+\mu)^{\top}A(\mathbf{X}-\mu+\mu)]^2 \\ &=[(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)+2\mu^{\top}A(\mathbf{X}-\mu)+\mu^{\top}A\mu]^2 \\ &=[(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)]^2+4[\mu^{\top}A(\mathbf{X}-\mu)]^2+(\mu^{\top}A\mu)^2 \\ &\quad+4(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)\mu^{\top}A(\mathbf{X}-\mu)+2(\mathbf{X}-\mu)^{\top}A(\mathbf{X}-\mu)\mu^{\top}A\mu \\ &\quad+4\mu^{\top}A(\mathbf{X}-\mu)\mu^{\top}A\mu \end{align*}\]

令\(\mathbf{Y}=\mathbf{X}-\mu\)，则有\(\operatorname{E}(\mathbf{Y})=\mathbf{0}\)，再由定理 6.5可得：

\[\begin{align*} \operatorname{E}[(\mathbf{X}^{\top}A\mathbf{X})^2] &=\operatorname{E}[(\mathbf{Y}^{\top}A\mathbf{Y})^2]+4\operatorname{E}[(\mu^{\top}A\mathbf{Y})^2]+(\mu^{\top}A\mu)^2 \\ &\quad+4\operatorname{E}(\mathbf{Y}^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y})+2\mu^{\top}A\mu\sigma^2\operatorname{tr}(A) \end{align*}\]

考虑：

\[\begin{align*} \operatorname{E}[(\mathbf{Y}^{\top}A\mathbf{Y})^2] &=\operatorname{E}\left(\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}a_{ij}a_{kl}\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l\right) \\ &=\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}a_{ij}a_{kl}\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l) \end{align*}\]

作分类讨论：

1. \(i,j,k,l\)互不相同，则\(\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l)=E(\mathbf{Y}_i)E(\mathbf{Y}_j)E(\mathbf{Y}_k)E(\mathbf{Y}_l)=0\)；

2. \(i,j,k,l\)中存在某两个值相同：

   • 此时另外两个不同，则\(\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l)=0\)；

   • 此时另外两个也相同（即\(i=j,k=l\)或\(i=k,j=l\)或\(i=l,j=k\)），则\(\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l)=\sigma^4\)。

3. \(i,j,k,l\)中存在某三个值相同，则\(\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l)=0\)；

4. \(i,j,k,l\)相同，则\(\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l)=\nu_4^{(i)}\)。

于是：

\[\begin{align*} \operatorname{E}[(\mathbf{Y}^{\top}A\mathbf{Y})^2] &=\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}a_{ij}a_{kl}\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_k\mathbf{Y}_l) \\ &=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4\left(\sum_{i\ne k}a_{ii}a_{kk}+\sum_{i\ne j}a_{ij}^2+\sum_{i\ne j}a_{ij}a_{ji}\right) \\ &=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4\left(\sum_{i\ne k}a_{ii}a_{kk}+2\sum_{i\ne j}a_{ij}^2\right) \end{align*}\]

因为：

\[\begin{gather*} \sum_{i\ne k}a_{ii}a_{kk}=[\operatorname{tr}(A)]^2-a^{\top}a \\ \sum_{i\ne j}a_{ij}^2=\operatorname{tr}(AA^{\top})-a^{\top}a=\operatorname{tr}(A^2)-a^{\top}a \end{gather*}\]

所以：

\[\begin{equation*} \operatorname{E}[(\mathbf{Y}^{\top}A\mathbf{Y})^2]=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4\{[\operatorname{tr}(A)]^2+2\operatorname{tr}(A^2)-3a^{\top}a\} \end{equation*}\]

由定理 6.5和性质 2.1.5(3)可得：

\[\begin{align*} \operatorname{E}[(\mu^{\top}A\mathbf{Y})^2] &=\operatorname{E}(\mu^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y}) =\operatorname{E}(\mathbf{Y}^{\top}A\mu\mu^{\top}A\mathbf{Y}) =\operatorname{tr}(A\mu\mu^{\top}A\sigma^2I) \\ &=\sigma^2\operatorname{tr}(A\mu\mu^{\top}A) =\sigma^2\operatorname{tr}(\mu^{\top}A^2\mu) =\sigma^2\mu^{\top}A^2\mu \end{align*}\]

注意到：

\[\begin{align*} \operatorname{E}(\mathbf{Y}^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y}) &=\operatorname{E}\left(\sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}\mathbf{Y}_i\mathbf{Y}_j\sum_{k=1}^{n}\sum_{l=1}^{n}a_{kl}\mu_k\mathbf{Y}_l\right) \\ &=\operatorname{E}\left(\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}a_{ij}a_{kl}\mu_k\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_l\right) \\ &=\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}a_{ij}a_{kl}\mu_k\operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_l) \end{align*}\]

和之前的讨论类似，可以得到：

\[\begin{equation*} \operatorname{E}(\mathbf{Y}_i\mathbf{Y}_j\mathbf{Y}_l)= \begin{cases} \nu_3^{(i)},\;&i=j=l \\ 0,\;&\text{其他情况} \end{cases} \end{equation*}\]

于是有：

\[\begin{equation*} \operatorname{E}(\mathbf{Y}^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y}) =\sum_{i=1}^{n}\sum_{k=1}^{n}a_{ii}\nu_3^{(i)}a_{ki}\mu_k \end{equation*}\]

令\(b=(\nu_3^{(1)}a_{11},\nu_3^{(2)}a_{22},\dots,\nu_3^{(n)}a_{nn})^{\top}\)，则：

\[\begin{equation*} \operatorname{E}(\mathbf{Y}^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y}) =\sum_{i=1}^{n}\sum_{k=1}^{n}a_{ii}\nu_3^{(i)}a_{ki}\mu_k=\mu^{\top}Ab \end{equation*}\]

将以上求得的期望值全部代入，即可得到：

\[\begin{align*} \operatorname{E}[(\mathbf{X}^{\top}A\mathbf{X})^2] &=\operatorname{E}[(\mathbf{Y}^{\top}A\mathbf{Y})^2]+4\operatorname{E}[(\mu^{\top}A\mathbf{Y})^2]+(\mu^{\top}A\mu)^2 \\ &\quad+4\operatorname{E}(\mathbf{Y}^{\top}A\mathbf{Y}\mu^{\top}A\mathbf{Y})+2\mu^{\top}A\mu\sigma^2\operatorname{tr}(A) \\ &=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4\{[\operatorname{tr}(A)]^2+2\operatorname{tr}(A^2)-3a^{\top}a\} \\ &\quad+4\sigma^2\mu^{\top}A^2\mu+(\mu^{\top}A\mu)^2+4\mu^{\top}Ab+2\mu^{\top}A\mu\sigma^2\operatorname{tr}(A) \end{align*}\]

于是：

\[\begin{align*} \operatorname{Var}(\mathbf{X}^{\top}A\mathbf{X}) &=\operatorname{E}[(\mathbf{X}^{\top}A\mathbf{X})^2]-[\operatorname{E}(\mathbf{X}^{\top}A\mathbf{X})]^2 \\ &=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4\{[\operatorname{tr}(A)]^2+2\operatorname{tr}(A^2)-3a^{\top}a\} \\ &\quad+4\sigma^2\mu^{\top}A^2\mu+(\mu^{\top}A\mu)^2+4\mu^{\top}Ab+2\mu^{\top}A\mu\sigma^2\operatorname{tr}(A) \\ &\quad-\sigma^4[\operatorname{tr}(A)]^2-2\sigma^2\operatorname{tr}(A)\mu^{\top}A\mu-(\mu^{\top}A\mu)^2 \\ &=\sum_{i=1}^{n}a_{ii}^2\nu_4^{(i)}+\sigma^4[2\operatorname{tr}(A^2)-3a^{\top}a]+4\sigma^2\mu^{\top}A^2\mu+4\mu^{\top}Ab \end{align*}\]

◻

6.3.8 矩母函数

Definition 6.17. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的随机变量。称:

\[\begin{equation*} M_f(t)\coloneq\operatorname{E}(e^{tf}) \end{equation*}\]

为\(f\)的矩母函数（moment-generating function），其中\(t\in\mathbb{R}^{}\)。

Property 6.3.9. 设\(\mathbf{X}\)是一个\(n\)维随机向量，则其矩母函数\(M_\mathbf{X}(t)\)具有如下性质：

1. \(M_\mathbf{X}(\mathbf{0})=1\)；

2. \(M_\mathbf{X}(t)\geqslant e^{t^{\top}\mu}\)，其中\(\mu\)是\(\mathbf{X}\)的均值向量；

3. 矩母函数与概率分布之间存在一个双射，即\(M_\mathbf{X}(t)=M_\mathbf{Y}(t)\)当且仅当\(\mathbf{X}\)与\(\mathbf{Y}\)具有相同的概率分布；

4. 设\(m\)维随机向量\(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n}\)彼此独立，\(\alpha_i\)为常数，\(\beta_i\)为\(m\)维常数向量，则\(\mathbf{Y}=\sum\limits_{i=1}^{n}(\alpha_i\mathbf{X}_i+\beta_i)\)的矩母函数为：

   \[\begin{equation*} M_\mathbf{Y}(t)=\prod_{i=1}^ne^{t^{\top}\beta_i}M_{\mathbf{X}_i}(\alpha_it) \end{equation*}\]

5. \(M_X^{(n)}(0)=\mu_n\)，其中\(X\)是一个随机变量，\(\mu_n\)是\(X\)的\(n\)阶原点矩；

6. \(M_\mathbf{X}(t)\)有如下幂级数展开：

   \[\begin{equation*} M_\mathbf{X}(t)=\sum_{(m_1, m_2, \dots, m_{n})\in\mathbb{N}^n}\mu_{m_1, m_2, \dots, m_{n}}\prod_{i=1}^{n}\frac{t_i^{m_i}}{m_i!} \end{equation*}\]

证明. (1)\(M_\mathbf{X}(\mathbf{0})=\operatorname{E}(e^0)=1\)。

(2)由不等式 19直接可得。

(3)

(4)由矩母函数定义可得：

\[\begin{equation*} M_\mathbf{Y}(t)=\operatorname{E}(e^{t^{\top}\mathbf{Y}}) =\operatorname{E}\left(\exp\left\{t^{\top}\sum_{i=1}^{n}(\alpha_i\mathbf{X}_i+\beta_i)\right\}\right)=\operatorname{E}\left(\prod_{i=1}^{n}e^{\alpha_it^{\top}\mathbf{X}_i}\right)\prod_{i=1}^ne^{t^{\top}\beta_i} \end{equation*}\]

因为\(\mathbf{X}_i\)互相独立，所以\(\alpha_i\mathbf{X}_i\)也相互独立，于是有：

\[\begin{equation*} M_\mathbf{Y}(t)=\operatorname{E}\left(\prod_{i=1}^{n}e^{\alpha_it^{\top}\mathbf{X}_i}\right)\prod_{i=1}^ne^{t^{\top}\beta_i}=\prod_{i=1}^{n}\operatorname{E}\left(e^{\alpha_it^{\top}\mathbf{X}_i}\right)\prod_{i=1}^ne^{t^{\top}\beta_i}=\prod_{i=1}^ne^{t^{\top}\beta_i}M_{\mathbf{X}_i}(\alpha_it) \end{equation*}\]

(5)将\(e^{tX}\)展开为幂级数：

\[\begin{equation*} M_X(t)=\operatorname{E}(e^{tX})=\operatorname{E}\left(\sum_{n=0}^{+\infty}\frac{t^nX^n}{n!}\right) \end{equation*}\]

于是：

\[\begin{equation*} M_X^{(n)}(t)=\operatorname{E}\left(X^n+\sum_{m=n+1}^{+\infty}\frac{t^mX^m}{m!}\right)=\mu_n+\sum_{m=1}^{+\infty}\frac{t^m}{m!}\mu_m \end{equation*}\]

所以：

\[\begin{equation*} M_X^{(n)}(0)=\operatorname{E}(X^n)=\mu_n \end{equation*}\]

(6)由期望的线性性质，Lebesgue积分可得：

\[\begin{align*} M_\mathbf{X}(t)&=\operatorname{E}(e^{t^{\top}\mathbf{X}}) =\operatorname{E}\left(\exp\left\{\sum_{i=1}^{n}t_i\mathbf{X}_i\right\}\right) =\operatorname{E}\left[\sum_{m=0}^{+\infty}\frac{1}{m!}\left(\sum_{i=1}^{n}t_i\mathbf{X}_i\right)^m\right] \\ &=\sum_{m=0}^{+\infty}\frac{1}{m!}\operatorname{E}\left[\left(\sum_{i=1}^{n}t_i\mathbf{X}_i\right)^m\right] =\sum_{m=0}^{+\infty}\frac{1}{m!}\operatorname{E}\left(\sum_{\sum\limits_{i=1}^{n}m_i=m}\frac{m!}{m_1!m_2!\cdots m_n!}\prod_{i=1}^{n}(t_i\mathbf{X}_i)^{m_i}\right) \\ &=\sum_{m=0}^{+\infty}\frac{1}{m!}\sum_{\sum\limits_{i=1}^{n}m_i=m}\frac{m!}{m_1!m_2!\cdots m_n!}\operatorname{E}\left[\prod_{i=1}^{n}(t_i\mathbf{X}_i)^{m_i}\right] \\ &=\sum_{m=0}^{+\infty}\sum_{\sum\limits_{i=1}^{n}m_i=m}\frac{1}{m_1!m_2!\cdots m_n!}\operatorname{E}\left(\prod_{i=1}^{n}\mathbf{X}_i^{m_i}\right)\prod_{i=1}^{n}t_i^{m_i} \\ &=\sum_{(m_1, m_2, \dots, m_{n})\in\mathbb{N}^n}\mu_{m_1, m_2, \dots, m_{n}}\prod_{i=1}^{n}\frac{t_i^{m_i}}{m_i!} \end{align*}\]

◻

6.3.9 累积量生成函数

Definition 6.18. 设\(X\)是一个随机变量。称\(K_X(t)=\log M_X(t)\)为\(X\)的累积量生成函数（cumulant-generating function），其中\(t\in\mathbb{R}\)。

Definition 6.19. 设\(\mathbf{X}\)是一个\(n\)维随机向量。称\(K_\mathbf{X}(t)=\log M_\mathbf{X}(t)\)为\(\mathbf{X}\)的累积量生成函数，其中\(t\in\mathbb{R}^{n}\)。

Definition 6.20. 设\(\mathbf{X}\)是一个\(n\)维随机向量。因为：

\[\begin{align*} M_X(t)&=\sum_{(m_1, m_2, \dots, m_{n})\in\mathbb{N}^n}\frac{1}{m_1!m_2!\cdots m_n!}\prod_{i=1}^{n}t_i^{m_i}\mu_{m_1, m_2, \dots, m_{n}} \\ &=1+\sum_{\substack{(m_1, m_2, \dots, m_{n})\in\mathbb{N}^n \\ (m_1, m_2, \dots, m_{n}\ne\mathbf{0})}}\frac{1}{m_1!m_2!\cdots m_n!}\prod_{i=1}^{n}t_i^{m_i}\mu_{m_1, m_2, \dots, m_{n}} \end{align*}\]

由对数函数的幂级数展开可得：

\[\begin{align*} K_\mathbf{X}(t) &=\log\left(1+\sum_{\substack{(m_1, m_2, \dots, m_{n})\in\mathbb{N}^n \\ (m_1, m_2, \dots, m_{n}\ne\mathbf{0})}}\frac{1}{m_1!m_2!\cdots m_n!}\prod_{i=1}^{n}t_i^{m_i}\mu_{m_1, m_2, \dots, m_{n}}\right) \\ &=\sum_{j=1}^{+\infty}(-1)^{j+1}\frac{1}{j}\left(\sum_{\substack{(m_1, m_2, \dots, m_{n})\in\mathbb{N}^n \\ (m_1, m_2, \dots, m_{n}\ne\mathbf{0})}}\frac{1}{m_1!m_2!\cdots m_n!}\prod_{i=1}^{n}t_i^{m_i}\mu_{m_1, m_2, \dots, m_{n}}\right)^j \end{align*}\]

6.3.10 特征函数

Definition 6.21. 设\(f\)是从概率空间\((X,\mathscr{F},P)\)到\(\mathbb{C}^{}\)上的随机变量，记\(f\)的实部和复部分别为\(\operatorname{Re}(f)\)和\(\operatorname{Im}(f)\)。若\(\operatorname{Re}(f)\)和\(\operatorname{Im}(f)\)可积，则称\(f\)的期望\(\operatorname{E}(f)\)存在，并记：

\[\begin{equation*} \operatorname{E}(f)=\operatorname{E}[\operatorname{Re}(f)]+i\operatorname{E}[\operatorname{Im}(f)] \end{equation*}\]

Definition 6.22. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的随机变量。称:

\[\begin{equation*} \varphi_f(t)=\operatorname{E}(e^{itf}) \end{equation*}\]

为\(f\)的特征函数（characteristic function），其中\(t\in\mathbb{R}\)。

Property 6.3.10. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的随机变量，则：

1. \(f\)的特征函数\(\varphi_f(t)\)存在；

2. \(|\varphi_f(t)|\leqslant\varphi_f(0)=1\)；

3. \(\varphi_f(-t)=\overline{\varphi_f(t)}\)；

4. \(\varphi_f(t)\)在\(\mathbb{R}\)上一致连续；

5. 若\(f_1, f_2, \dots, f_{n}\)是\((X,\mathscr{F},P)\)上相互独立的随机变量，则\(g=\sum\limits_{k=1}^n\alpha_kf_k\)的特征函数为：

   \[\begin{equation*} \varphi_{g}(t)=\prod_{k=1}^n\varphi_{f_k}(\alpha_kt) \end{equation*}\]

6. \(f\)的分布函数由其特征函数唯一决定；

7. 若\(\{f_n\}\)是\((X,\mathscr{F},P)\)上的随机变量，则\(f_n\overset{d}{\longrightarrow}f\)当且仅当\(\varphi_{f_n}(t)\)点点收敛到\(\varphi_f(t)\)。

证明. (1)因为\(e^{itf}=\cos(tf)+i\sin(tf)\)，由性质 5.4.3(4)可得：

\[\begin{equation*} \operatorname{E}[|\cos(tf)|]\leqslant\operatorname{E}(1)=1,\quad\operatorname{E}[|\sin(tf)|]\leqslant\operatorname{E}(1)=1 \end{equation*}\]

所以\(\varphi_f(t)\)存在。

(2)注意到\(\varphi_f(0)=\operatorname{E}(1)=1\)。由性质 5.4.3(2)可得：

\[\begin{equation*} |\varphi_f(t)|=|\operatorname{E}(e^{itf})|\leqslant\operatorname{E}(|e^{itf}|)=\operatorname{E}(1)=1 \end{equation*}\]

(3)由性质 5.4.3(6)可得：

\[\begin{equation*} \overline{\varphi_f(t)}=\operatorname{E}[\cos(tf)]-i\operatorname{E}[\sin(tf)]=\operatorname{E}[\cos(-tf)]+i\operatorname{E}[\sin(-tf)]=\varphi_f(-t) \end{equation*}\]

(4)对任意的\(t,h\in \mathbb{R}\)和\(a>0\)，由性质 5.4.3(6)(2)、性质 5.3.3(1.a)(1.c)、性质 5.1.6(3)和定理 5.27可得：

\[\begin{align*} |\varphi_f(t+h)-\varphi_f(t)| &=\left|\operatorname{E}[e^{i(t+h)f}]-\operatorname{E}(e^{itf})\right|=\left|\operatorname{E}[e^{i(t+h)f}-e^{itf}]\right|\leqslant\operatorname{E}[|e^{i(t+h)f}-e^{itf}|] \\ &=\operatorname{E}(|e^{ihf}-1|)=\int_{\{|f|<a\}}^{}|e^{ihf}-1|\mathop{}\!\mathrm{d}P+\int_{\{|f|\geqslant a\}}|e^{ihf}-1|\mathop{}\!\mathrm{d}P \\ &\leqslant\int_{\{|f|<a\}}^{}|e^{ihf}-1|\mathop{}\!\mathrm{d}P+\int_{\{|f|\geqslant a\}}(|e^{ihf}|+1)\mathop{}\!\mathrm{d}P \\ &=\int_{\{|f|<a\}}^{}|e^{ihf}-1|\mathop{}\!\mathrm{d}P+\int_{\{|f|\geqslant a\}}2\mathop{}\!\mathrm{d}P \end{align*}\]

由性质 5.2.1(3)（上连续性）可知\(\lim\limits_{n\to+\infty}P(\{|f|\geqslant n\})=P(\varnothing)=0\)，所以对于任意的\(\varepsilon>0\)，根据性质 5.2.1(3)（单调性），可以先选定一个充分大的\(a\)，使得：

\[\begin{equation*} \int_{\{|f|\geqslant a\}}2\mathop{}\!\mathrm{d}P<\frac{\varepsilon}{2} \end{equation*}\]

对任意的\(x\in\{|f|<a\}\)，只要取\(\delta=\dfrac{\varepsilon}{2a}\)，则当\(|h|<\delta\)时，由定理 9.17可得：

\[\begin{equation*} |e^{ihf}-1|\leqslant |hf|<\frac{\varepsilon}{2} \end{equation*}\]

于是对任意的\(t\in\mathbb{R}\)，根据定理 5.27和性质 5.4.1(2)可得：

\[\begin{equation*} |\varphi_f(t+h)-\varphi_f(t)|<\int_{\{|f|<a\}}^{}\frac{\varepsilon}{2}\mathop{}\!\mathrm{d}P+\int_{\{|f|\geqslant a\}}2\mathop{}\!\mathrm{d}P<\frac{\varepsilon}{2}+\frac{\varepsilon}{2}=\varepsilon \end{equation*}\]

即\(\varphi_f(t)\)在\(\mathbb{R}\)上一致连续。

(5)当\(n=2\)时，由性质 5.4.3(6)、定理 3.23、性质 5.3.3(11)、性质 6.3.1(2)可得：

\[\begin{align*} &\varphi_{g}(t)=\operatorname{E}[e^{it(\alpha_1f_1+\alpha_2f_2)}]=\operatorname{E}[\cos(\alpha_1f_1+\alpha_2f_2)]+i\operatorname{E}[\sin(\alpha_1f_1+\alpha_2f_2)] \\ =&\operatorname{E}[\cos(\alpha_1f_1)\cos(\alpha_2f_2)-\sin(\alpha_1f_1)\sin(\alpha_2f_2)] \\ &\quad+i\operatorname{E}[\sin(\alpha_1f_1)\cos(\alpha_2f_2)+\cos(\alpha_1f_1)\sin(\alpha_2f_2)] \\ =&\operatorname{E}[\cos(\alpha_1f_1)\cos(\alpha_2f_2)]-\operatorname{E}[\sin(\alpha_1f_1)\sin(\alpha_2f_2)] \\ &\quad+i\{\operatorname{E}[\sin(\alpha_1f_1)\cos(\alpha_2f_2)]+\operatorname{E}[\cos(\alpha_1f_1)\sin(\alpha_2f_2)]\} \\ =&\operatorname{E}[\cos(\alpha_1f_1)]\operatorname{E}[\cos(\alpha_2f_2)]-\operatorname{E}[\sin(\alpha_1f_1)]\operatorname{E}[\sin(\alpha_2f_2)] \\ &\quad+i\{\operatorname{E}[\sin(\alpha_1f_1)]\operatorname{E}[\cos(\alpha_2f_2)]+\operatorname{E}[\cos(\alpha_1f_1)]\operatorname{E}[\sin(\alpha_2f_2)]\} \\ =&\{\operatorname{E}[\cos(\alpha_1f_1)]+i\operatorname{E}[\sin(\alpha_1f_1)]\}\operatorname{E}[\cos(\alpha_2f_2)] \\ &\quad+i\{\operatorname{E}[\cos(\alpha_1f_1)]+i\operatorname{E}[\sin(\alpha_1f_1)]\}\operatorname{E}[\sin(\alpha_2f_2)] \\ =&\{\operatorname{E}[\cos(\alpha_1f_1)]+i\operatorname{E}[\sin(\alpha_1f_1)]\}\{\operatorname{E}[\cos(\alpha_2f_2)]+i\operatorname{E}[\sin(\alpha_2f_2)]\} \\ =&\operatorname{E}(e^{it\alpha_1f_1})\operatorname{E}(e^{it\alpha_2f_2})=\varphi_{f_1}(\alpha_1t)\varphi_{f_2}(\alpha_2t) \end{align*}\]

由数学归纳法即可得出结论。 ◻

6.3.11 统计距离

6.3.11.1 Mahalanobis距离

Definition 6.23. 设\(x,y\)是均值为\(\boldsymbol{\mu}\)和协方差矩阵为\(\Sigma\)的随机向量\(\mathbf{X}\)的两个实现值，\(\mathbf{X}\)的分布记为\(D\)。称：

\[\begin{equation*} d^2_m(x,D)=(x-\boldsymbol{\mu})^{\top}\Sigma^{-1}(x-\boldsymbol{\mu}) \end{equation*}\]

为\(x\)与\(D\)之间的Mahalanobis距离。称：

\[\begin{equation*} d^2_m(x,y)=(x-y)^{\top}\Sigma^{-1}(x-y) \end{equation*}\]

为\(x\)与\(y\)之间的Mahalanobis距离。

Method 6.1. 由\(\Sigma\)可逆和可逆半正定为正定可知\(\Sigma\)为正定矩阵，根据定理 2.23可知\(\Sigma\)有分解式\(\Sigma=LL^{\top}\)且\(L\)可逆。由性质 2.1.10(11)(12)和性质 2.1.2(4)可知：

\[\begin{align*} d^2_m(x,y)&=(x-y)^{\top}(LL^{\top})^{-1}(x-y)=(x-y)^{\top}(L^{\top})^{-1}L^{-1}(x-y) \\ &=(x-y)^{\top}(L^{-1})^{\top}L^{-1}(x-y)=||L^{-1}(x-y)||_2^2 \end{align*}\]

求解方程组\(Lz=x-y\)并计算\(||z||_2^2\)即得到\(d^2_m(x,y)\)。

6.4 分布族

6.4.1 二项分布族

Definition 6.24. 若离散型随机变量\(X\)的分布列为：

\[\begin{equation*} P(X=k)=\binom{n}{k}p^k(1-p)^{n-k},\;k=0,1,\dots,n \end{equation*}\]

其中\(n\in\mathbb{N}^+\)和\(p\in[0,1]\)为参数，则称\(X\)服从二项分布（binomial distribution），记作\(X\sim\operatorname{Binom}(n,p)\)。\(\operatorname{Binom}(1,p)\)也称作0-1分布或伯努利分布（Bernoulli distribution）。

Property 6.4.1. 二项分布族具有如下性质：

1. 二项分布具有可加性，即若\(X_i\sim\operatorname{Binom}(n_i,p)\)且\(X_i\)相互独立，\(i=1,2,\dots,m\)，则\(\sum\limits_{i=1}^{m}X_i\sim\operatorname{Binom}\left(\sum\limits_{i=1}^{m}n_i,p\right)\)；

2. 若\(X\sim\operatorname{Binom}(n,p)\)，则\(\operatorname{E}(X)=np,\;\operatorname{Var}(X)=np(1-p)\)；

3. 若\(X_1\sim\operatorname{Binom}(n,p_1),\;X_2\sim\operatorname{Binom}(n,p_2),\;p_1<p_2\)，则\(F_{X_1}(x)\geqslant F_{X_2}(x)\)；

证明. (2)注意到：

\[\begin{align*} &\operatorname{E}(X)=\sum_{i=0}^{n}i\binom{n}{i}p^i(1-p)^{n-i}=\sum_{i=1}^{n}i\frac{n!}{i!(n-i)!}p^i(1-p)^{n-i} \\ =&\sum_{i=1}^{n}\frac{n(n-1)!}{(i-1)!(n-i)!}p^i(1-p)^{n-i}=np\sum_{i=1}^{n}\binom{n-1}{i-1}p^{i-1}(1-p)^{n-i}=np \\ &\operatorname{E}(X^2)=\sum_{i=0}^{n}i^2\binom{n}{i}p^i(1-p)^{n-i}=\sum_{i=0}^{n}[i(i-1)+i]\binom{n}{i}p^i(1-p)^{n-i} \\ =&\sum_{i=0}^{n}i(i-1)\binom{n}{i}p^i(1-p)^{n-i}+\operatorname{E}(X)=\sum_{i=2}^{n}i(i-1)\frac{n!}{i!(n-i)!}p^i(1-p)^{n-i}+np \\ =&\sum_{i=2}^{n}\frac{n(n-1)(n-2)!}{(i-2)!(n-i)!}p^i(1-p)^{n-i}+np=n(n-1)p^2\sum_{i=2}^{n}\binom{n-2}{i-2}p^{i-2}(1-p)^{n-i}+np \\ =&n(n-1)p^2+np \end{align*}\]

由性质 6.3.5(1)可得：

\[\begin{equation*} \operatorname{Var}(X)=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=n(n-1)p^2+np-n^2p^2=n^2p^2-np^2+np-n^2p^2=np(1-p) \end{equation*}\]

(3)设\(X\sim\operatorname{Binom}(n,p)\)，则其分布函数为：

\[\begin{equation*} F(k)=\sum_{i=0}^{k}\binom{n}{k}p^k(1-p)^{n-k} \end{equation*}\]

求其关于\(p\)的导数可得：

\[\begin{align*} &F'(k)=\frac{\mathop{}\!\mathrm{d}}{\mathop{}\!\mathrm{d}p}\sum_{i=0}^{k}\binom{n}{i}p^i(1-p)^{n-i} \\ =&\sum_{i=0}^{k}\binom{n}{i}ip^{i-1}(1-p)^{n-i}-\sum_{i=0}^{k}\binom{n}{i}(n-i)p^i(1-p)^{n-i-1} \\ =&\sum_{i=0}^{k}n\binom{n-1}{i-1}p^{i-1}(1-p)^{n-i}-\sum_{i=0}^{k}n\binom{n-1}{i}p^i(1-p)^{n-i-1} \\ =&\sum_{i=1}^{k}n\binom{n-1}{i-1}p^{i-1}(1-p)^{n-i}-\sum_{i=0}^{k}n\binom{n-1}{i}p^i(1-p)^{n-i-1} \\ =&-n\binom{n-1}{k}p^k(1-p)^{n-k-1}<0 \end{align*}\]

◻

6.4.2 负二项分布族

Definition 6.25. 若离散型随机变量\(X\)的分布列为：

\[\begin{equation*} P(X=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r},\;k=r,r+1,\dots \end{equation*}\]

其中\(r\in\mathbb{N}^+\)和\(p\in[0,1]\)为参数，则称\(X\)服从负二项分布（negative binomial distribution），记作\(X\sim\operatorname{NB}(r,p)\)。\(\operatorname{NB}(1,p)\)也称作几何分布（geometric distribution），记作\(X\sim\operatorname{Geom}(p)\)。

Property 6.4.2. 负二项分布族具有如下性质：

1. 负二项分布具有可加性，即若\(X_i\sim\operatorname{NB}(r_i,p)\)且\(X_i\)相互独立，\(i=1,2,\dots,m\)，则\(\sum\limits_{i=1}^{m}X_i\sim\operatorname{NB}\left(\sum\limits_{i=1}^{m}r_i,p\right)\)；

2. 几何分布具有无记忆型，即若\(X\sim\operatorname{Geom}(p)\)，则对任意的\(m,n\in\mathbb{N}^+\)有\(P(X>m+n|X>m)=P(X>n)\)；

3. 若\(X\sim\operatorname{NB}(r,p)\)，则\(\operatorname{E}(X)=\dfrac{r}{p},\;\operatorname{Var}(X)=\dfrac{r(1-p)}{p^2}\)。

证明. (3)注意到：

\[\begin{gather*} \begin{aligned} \operatorname{E}(X)&=\sum_{n=r}^{+\infty}n\binom{n-1}{r-1}p^r(1-p)^{n-r}=\sum_{n=r}^{+\infty}n\frac{(n-1)!}{(r-1)!(n-r)!}p^r(1-p)^{n-r} \\ &=\frac{r}{p}\sum_{n=r}^{+\infty}\frac{n!}{r!(n-r)!}p^{r+1}(1-p)^{n-r}=\frac{r}{p} \\ \end{aligned} \\ \begin{aligned} \operatorname{E}(X^2)&=\sum_{n=r}^{+\infty}n^2\binom{n-1}{r-1}p^r(1-p)^{n-r}=\sum_{n=r}^{+\infty}n^2\frac{(n-1)!}{(r-1)!(n-r)!}p^r(1-p)^{n-r} \\ &=\sum_{n=r}^{+\infty}[n(n+1)-n]\frac{(n-1)!}{(r-1)!(n-r)!}p^r(1-p)^{n-r}= \\ &=\sum_{n=r}^{+\infty}n(n+1)\frac{(n-1)!}{(r-1)!(n-r)!}p^r(1-p)^{n-r}-\operatorname{E}(X) \\ &=r(r+1)\sum_{n=r}^{+\infty}\frac{(n+1)!}{(r+1)!(n-r)!}p^r(1-p)^{n-r}-\frac{r}{p} \\ &=\frac{r(r+1)}{p^2}\sum_{n=r}^{+\infty}\frac{(n+1)!}{(r+1)!(n-r)!}p^{r+2}(1-p)^{n-r}-\frac{r}{p}=\frac{r(r+1)-rp}{p^2} \end{aligned} \end{gather*}\]

由性质 6.3.5(1)可得：

\[\begin{equation*} \operatorname{Var}(X)=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\frac{r(r+1)-rp-r^2}{p^2}=\frac{r(1-p)}{p^2} \end{equation*}\]

◻

6.4.3 超几何分布

Definition 6.26. 若离散型随机变量\(X\)的分布列为：

\[\begin{equation*} P(X=k)=\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}},\;k=0,1,\dots,\min\{n,M\} \end{equation*}\]

其中\(n,M,N\in\mathbb{N}^+\)为参数，则称\(X\)服从超几何分布（hypergeometric distribution），记作\(X\sim\operatorname{Hyper}(n,M,N)\)。

Property 6.4.3. 超几何分布具有如下性质：

1. 若\(X\sim\operatorname{Hyper}(n,M,N)\)，则\(\operatorname{E}(X)=\dfrac{nM}{N},\;\operatorname{Var}(X)=\dfrac{nM(N-n)(N-M)}{N^2(N-1)}\)；

证明. (1)注意到：

\[\begin{gather*} \begin{aligned} &\operatorname{E}(X)=\sum_{i=0}^{\min\{n,M\}}i\frac{\binom{M}{i}\binom{N-M}{n-i}}{\binom{N}{n}}=\frac{1}{\binom{N}{n}}\sum_{i=1}^{\min\{n,M\}}i\frac{M!}{i!(M-i)!}\binom{N-M}{n-i} \\ =&M\sum_{i=1}^{\min\{n,M\}}\frac{(M-1)!}{(i-1)!(M-i)!}\binom{N-M}{n-i}\frac{n!(N-n)!}{N!} \\ =&\frac{nM}{N}\sum_{i=1}^{\min\{n,M\}}\binom{M-1}{i-1}\binom{N-M}{n-i}\frac{(n-1)!(N-n)!}{(N-1)!} \\ =&\frac{nM}{N}\sum_{i=1}^{\min\{n,M\}}\frac{\binom{M-1}{i-1}\binom{N-M}{n-i}}{\binom{N-1}{n-1}}=\frac{nM}{N} \end{aligned} \\ \begin{aligned} &\operatorname{E}(X^2)=\sum_{i=0}^{\min\{n,M\}}i^2\frac{\binom{M}{i}\binom{N-M}{n-i}}{\binom{N}{n}}=\sum_{i=0}^{\min\{n,M\}}[i(i-1)+i]\frac{\binom{M}{i}\binom{N-M}{n-i}}{\binom{N}{n}} \\ =&\sum_{i=0}^{\min\{n,M\}}i(i-1)\frac{\binom{M}{i}\binom{N-M}{n-i}}{\binom{N}{n}}+\operatorname{E}(X) \\ =&\sum_{i=2}^{\min\{n,M\}}i(i-1)\frac{M!}{i!(M-i)!}\binom{N-M}{n-i}\frac{n!(N-n)!}{N!}+\frac{nM}{N} \\ =&\frac{M(M-1)n(n-1)}{N(N-1)}\sum_{i=2}^{\min\{n,M\}}\frac{(M-2)!}{(i-2)!(M-i)!}\binom{N-M}{n-i}\frac{(n-2)!(N-n)!}{(N-2)!}+\frac{nM}{N} \\ =&\frac{M(M-1)n(n-1)}{N(N-1)}\sum_{i=2}^{\min\{n,M\}}\frac{\binom{M-2}{i-2}\binom{N-M}{n-i}}{\binom{N-2}{n-2}}+\frac{nM}{N}=\frac{M(M-1)n(n-1)}{N(N-1)}+\frac{nM}{N} \\ =&\frac{M(M-1)n(n-1)+nM(N-1)}{N(N-1)} \end{aligned} \end{gather*}\]

由性质 6.3.5(1)可得：

\[\begin{align*} &\operatorname{Var}(X)=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\frac{M(M-1)n(n-1)+nM(N-1)}{N(N-1)}-\frac{n^2M^2}{N^2} \\ =&\frac{M(M-1)n(n-1)+nM(N-1)}{N(N-1)}-\frac{n^2M^2}{N^2} \\ =&\frac{M(M-1)n(n-1)N+nM(N-1)N-n^2M^2(N-1)}{N^2(N-1)} \\ =&\frac{M^2n^2N-M^2nN-Mn^2N+MnN+nMN^2-nMN-n^2M^2N+n^2M^2}{N^2(N-1)} \\ =&\frac{-M^2nN-Mn^2N+nMN^2+n^2M^2}{N^2(N-1)}=\frac{nM(-MN-nN+N^2+mn)}{N^2(N-1)} \\ =&\frac{nM(N-n)(N-M)}{N^2(N-1)} \end{align*}\]

◻

6.4.4 Poisson分布族

Definition 6.27. 若离散型随机变量\(X\)的分布列为：

\[\begin{equation*} P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},\;k\in\mathbb{N} \end{equation*}\]

其中\(\lambda\in\mathbb{R}^{+}\)为参数，则称\(X\)服从泊松分布（poisson distribution），记作\(X\sim\operatorname{Poisson}(\lambda)\)。

Property 6.4.4. Poisson分布族具有如下性质：

1. 若\(X\sim\operatorname{Poisson}(\lambda)\)，则\(\operatorname{E}(X)=\lambda,\;\operatorname{Var}(X)=\lambda\)；

2. 若\(\lim\limits_{n\to+\infty}np_n=\lambda\)，则：

   \[\begin{equation*} \lim_{n\to+\infty}\binom{n}{k}p_n^k(1-p_n)^{n-k}=\frac{\lambda^k}{k!}e^{-\lambda} \end{equation*}\]

证明. (1)注意到：

\[\begin{align*} &\operatorname{E}(X)=\sum_{n=1}^{+\infty}n\frac{\lambda^n}{n!}e^{-\lambda}=\lambda e^{-\lambda}\sum_{n=1}^{+\infty}\frac{\lambda^{n-1}}{(n-1)!}=\lambda e^{-\lambda}e^{\lambda}=\lambda \\ &\operatorname{E}(X^2)=\sum_{n=1}^{+\infty}n^2\frac{\lambda^n}{n!}e^{-\lambda}=\sum_{n=1}^{+\infty}[n(n-1)+n]\frac{\lambda^n}{n!}e^{-\lambda}=\sum_{n=1}^{+\infty}n(n-1)\frac{\lambda^n}{n!}e^{-\lambda}+\operatorname{E}(X) \\ =&\sum_{n=2}^{+\infty}n(n-1)\frac{\lambda^n}{n!}e^{-\lambda}+\lambda=\lambda^2\sum_{n=2}^{+\infty}\frac{\lambda^{n-2}}{(n-2)!}e^{-\lambda}+\lambda=\lambda^2e^{-\lambda}e^{\lambda}+\lambda=\lambda^2+\lambda \end{align*}\]

由性质 6.3.5(1)可得：

\[\begin{equation*} \operatorname{Var}(X)=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\lambda^2+\lambda-\lambda^2=\lambda \end{equation*}\]

◻

6.4.5 均匀分布族

Definition 6.28. 若连续型随机变量\(X\)的概率密度函数为：

\[\begin{equation*} p(x)=\frac{1}{b-a},\;x\in(a,b) \end{equation*}\]

其中\(a,b\in\mathbb{R}^{}\)为参数且\(a<b\)，则称\(X\)服从均匀分布（uniform distribution），记作\(X\sim\operatorname{U}(a,b)\)。

Property 6.4.5. 均匀分布族具有如下性质：

1. 若\(X\sim\operatorname{U}(a,b)\)，则\(\operatorname{E}(X)=\dfrac{a+b}{2},\;\operatorname{Var}(X)=\dfrac{(b-a)^2}{12}\)；

证明. (1)由定理 5.27可得：

\[\begin{gather*} \operatorname{E}(X)=\int_{(a,b)}x\frac{1}{b-a}\mathop{}\!\mathrm{d}\mu=\frac{1}{b-a}\frac{1}{2}x^2\Big|_a^b=\frac{1}{b-a}\frac{1}{2}(b^2-a^2)=\frac{1}{2}\frac{1}{b-a}(b-a)(b+a)=\frac{a+b}{2} \\ \begin{aligned} \operatorname{E}(X^2)&=\int_{(a,b)}x^2\frac{1}{b-a}\mathop{}\!\mathrm{d}\mu=\frac{1}{b-a}\frac{1}{3}x^3\Big|_a^b=\frac{1}{b-a}\frac{1}{3}(b^3-a^3)=\frac{1}{b-a}\frac{1}{3}(b-a)(b^2+ab+a^2) \\ &=\frac{1}{3}(b^2+ab+a^2) \end{aligned} \end{gather*}\]

根据性质 6.3.5(1)可得：

\[\begin{align*} \operatorname{Var}(X)&=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\frac{1}{3}(b^2+ab+a^2)-\frac{(a+b)^2}{4} \\ &=\frac{4b^2+4ab+4a^2-3a^2-6ab-3b^2}{12}=\frac{b^2-2ab+a^2}{12}=\frac{(b-a)^2}{12} \end{align*}\]

◻

6.4.6 正态分布族

6.4.6.1 一元正态分布

Definition 6.29. 若连续型随机变量\(X\)的概率密度函数为：

\[\begin{equation*} p(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] \end{equation*}\]

其中\(\mu\in\mathbb{R}^{}\)和\(\sigma^2\in\mathbb{R}^{+}\)为参数，则称\(X\)服从正态分布（normal distribution），记作\(X\sim\operatorname{N}(\mu,\sigma^2)\)。称\(\operatorname{N}(0,1)\)为标准正态分布（standard normal distribution）。

note 6.4. 将标准正态分布的\(\alpha\)分位点记作\(u_{\alpha}\)。

6.4.6.2 多元正态分布

定义 7.1 Definition 6.30. \(\mathbf{X}\)为\(n\)维随机向量。若存在矩阵\(A\in M_{n\times r}(\mathbb{R})\)使得\(\mathbf{X}=A\mathbf{U}+\boldsymbol{\mu}\)，其中\(\mathbf{U}=(\mathbf{U}_1,\mathbf{U}_2,\dots,\mathbf{U}_r)^{\top},\;\mathbf{U}_i\sim \operatorname{N}(0,1)\)且相互独立，\(\boldsymbol{\mu}\)为\(n\)维非随机实向量，则称\(\mathbf{X}\)服从均值为\(\boldsymbol{\mu}\)、协方差矩阵为\(\Sigma=AA^{\top}\)的多元正态分布（multivariate normal distribution），记为\(\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma)\)，其中\(\Sigma\geqslant\mathbf{0}\)。若\(|\Sigma|=0\)，则称此时的分布为奇异正态分布（singular normal distribution）。

note 6.5. 由性质 5.4.3(6)和性质 6.3.4(3)(4)(5)可得\(\operatorname{E}(\mathbf{X})=\boldsymbol{\mu},\;\operatorname{Cov}(\mathbf{X})=AA^{\top}\)，所以上定义成立。

Property 6.4.6. 多元正态分布具有如下性质：

1. 设\(\mathbf{X}\sim\operatorname{N}_n(\boldsymbol{\mu},\Sigma),\Sigma\geqslant\mathbf{0}\)，则当\(\Sigma>\mathbf{0}\)时，\(\mathbf{X}\)的概率函数为：

   \[\begin{align*} p(\mathbf{X})&=\frac{1}{(2\pi)^{\frac{n}{2}}(\det\Sigma)^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})\right] \\ &=\frac{1}{(2\pi)^{\frac{n}{2}}(\det\Sigma)^{\frac{1}{2}}}\exp\left\{-\frac{1}{2}\operatorname{tr}[(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}]\right\} \end{align*}\]

   当\(\det\Sigma=0\)时，记\(\operatorname{rank}(\Sigma)=r\)，\(\Sigma\)的非零特征值为\(\lambda_1, \lambda_2, \dots, \lambda_{r}\)，则\(\mathbf{X}-\boldsymbol{\mu}\)以概率为\(1\)落在\(\mathcal{M}(\Sigma)\)中，且在该子空间内有概率函数：

   \[\begin{equation*} p(\mathbf{X})=(2\pi)^{-\frac{r}{2}}\left(\prod\limits_{i=1}^r\lambda_i\right)^{-\frac{1}{2}}\exp\left[-\frac{1}{2}(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^-(\mathbf{X}-\boldsymbol{\mu})\right] \end{equation*}\]

2. 设\(\mathbf{X}\sim\operatorname{N}_n(\boldsymbol{\mu},\Sigma),\Sigma\geqslant\mathbf{0}\)，\(B\in M_{m\times n}(\mathbb{R}),\;c\in\mathbb{R}^{n}\)，则\(\mathbf{Y}=B\mathbf{X}+c\sim \operatorname{N}(B\boldsymbol{\mu}+c,B\Sigma B^{\top})\)；

3. 设\(\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma),\;\boldsymbol{\mu}=(\mu_1, \mu_2, \dots, \mu_{n})^{\top},\;\Sigma=(\sigma_{ij})\)，\(i_1<i_2<\cdots<i_k,\;k\leqslant n\)，则有\((\mathbf{X}_{i_1},\mathbf{X}_{i_2},\dots,\mathbf{X}_{i_k})^{\top}\sim \operatorname{N}(\boldsymbol{\mu}_0,\Sigma_0)\)，其中：

   \[\begin{equation*} \boldsymbol{\mu}_0= \begin{pmatrix} \mu_{i_1} \\ \mu_{i_2} \\ \vdots \\ \mu_{i_k} \end{pmatrix} ,\quad \Sigma_0= \begin{pmatrix} \sigma_{i_1i_1} & \sigma_{i_1i_2} & \cdots & \sigma_{i_1i_k} \\ \sigma_{i_2i_1} & \sigma_{i_2i_2} & \cdots & \sigma_{i_2i_k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{i_ki_1} & \sigma_{i_ki_2} & \cdots & \sigma_{i_ki_k} \end{pmatrix} \end{equation*}\]

4. 设\(\mathbf{X}\)是一个\(n\)维随机向量，则\(\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma)\)当且仅当它的特征函数为：

   \[\begin{equation*} \varphi_\mathbf{X}(t)=\exp\left(it^{\top}\boldsymbol{\mu}-\frac{t^{\top}\Sigma t}{2}\right),\;t\in\mathbb{R}^{n} \end{equation*}\]

5. 设\(\mathbf{X}\)是一个\(n\)维随机向量，则\(\mathbf{X}\)服从\(n\)维多元正态分布的充分必要条件为对于任意的\(\alpha\in\mathbb{R}^{n}\)，\(\alpha^{\top}\mathbf{X}\)服从正态分布；

6. 设\(\mathbf{X}\sim\operatorname{N}_m(\boldsymbol{\mu}_1,\Sigma_1)\)和\(\mathbf{Y}\sim\operatorname{N}_n(\boldsymbol{\mu}_2,\Sigma_2)\)独立，则：

   \[\begin{equation*} \mathbf{Z}= \begin{pmatrix} \mathbf{X} \\ \mathbf{Y} \end{pmatrix} \sim N_{m+n}\left[ \begin{pmatrix} \boldsymbol{\mu}_{1} \\ \boldsymbol{\mu}_{2} \end{pmatrix},\; \begin{pmatrix} \Sigma_1 & \mathbf{0} \\ \mathbf{0} & \Sigma_2 \end{pmatrix} \right] \end{equation*}\]

7. 设\(\mathbf{X}\sim N_n(\boldsymbol{\mu}_1,\Sigma_1)\)和\(\mathbf{Y}\sim N_n(\boldsymbol{\mu}_2,\Sigma_2)\)独立，则\(\mathbf{X}+\mathbf{Y}\sim N_n(\boldsymbol{\mu}+\boldsymbol{\nu},\Sigma_\mathbf{X}+\Sigma_\mathbf{Y})\)；

8. 设\(\mathbf{X_j}\sim\operatorname{N}_{r_j}(\boldsymbol{\mu_j},\Sigma_{j}),\;j=1,2,\dots,m\)，\(\mathbf{X_j}\)的联合分布为正态分布。若\(\mathbf{X_j}\)不相关，则\(\mathbf{X_j}\)相互独立，即对于服从多维正态分布的随机向量而言，若它们的联合分布仍是多维正态分布，则不相关和独立等价；

9. 设\(\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma)\)，\(\Sigma>\mathbf{0}\)，则\((\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})\sim\chi_n^2\)。

证明. (1)当\(\Sigma>\mathbf{0}\)时：因为\(\Sigma\)是实对称矩阵且\(\Sigma>\mathbf{0}\)，所以\(\Sigma^{\frac{1}{2}},\Sigma^{-\frac{1}{2}}\)存在，可将\(\mathbf{X}\)表示为\(\mathbf{X}=\Sigma^{\frac{1}{2}}\mathbf{Y}+\boldsymbol{\mu}\)，其中\(\mathbf{Y}\)是由相互独立的服从标准正态分布的随机变量构成的\(n\)维随机向量，有分布函数：

\[\begin{equation*} p(\mathbf{Y})=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{\mathbf{Y}_i^2}{2}\right)=\frac{1}{(2\pi)^{\frac{n}{2}}}\exp\left(-\frac{1}{2}\mathbf{Y}^{\top}\mathbf{Y}\right) \end{equation*}\]

由求随机变量函数的分布中的变量变换法可知随机变量函数分布的变量变换法，逆矩阵的行列式，正定矩阵的行列式，矩阵乘积的行列式，逆平方根阵的对称性，矩阵乘积的转置：

\[\begin{align*} &p(\mathbf{X})=p[\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})]|\det\Sigma^{-\frac{1}{2}}| \\ =&\frac{1}{(2\pi)^{\frac{n}{2}}(\det\Sigma)^\frac{1}{2}}\exp\left\{-\frac{1}{2}[\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})]^{\top}[\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})]\right\} \\ =&\frac{1}{(2\pi)^{\frac{n}{2}}(\det\Sigma)^{\frac{1}{2}}}\exp\left\{-\frac{1}{2}(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})\right\} \end{align*}\]

只需注意到二次型的迹就是自身以及性质 2.1.5(3)就有：

\[\begin{equation*} (\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})=\operatorname{tr}[(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})]=\operatorname{tr}[(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}] \end{equation*}\]

当\(\det\Sigma=0\)时：

(2)因为\(\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma)\)，所以存在\(A\in M_{n\times r}(\mathbb{R}),\;\boldsymbol{\mu}\in\mathbb{R}^{n}\)使得：

\[\begin{equation*} \mathbf{X}=A\mathbf{U}+\boldsymbol{\mu},\;AA^{\top}=\Sigma,\;U\sim \operatorname{N}(\mathbf{0},I) \end{equation*}\]

于是：

\[\begin{equation*} \mathbf{Y}=B(A\mathbf{U}+\boldsymbol{\mu})+c=BA\mathbf{U}+B\boldsymbol{\mu}+c \end{equation*}\]

注意到\(BA(BA)^{\top}=BAA^{\top}B^{\top}=B\Sigma B^{\top}\)，所以\(\mathbf{Y}\sim \operatorname{N}(B\boldsymbol{\mu}+c,B\Sigma B^{\top})\)。

(3)取\(A=(e_{i_1}^{\top};e_{i_2}^{\top};\cdots;e_{i_k}^{\top})\)，其中\(e_{i_j}\)为单位列向量，只在第\(i_j\)位取\(1\)，其余位置上元素为\(0\)，\(j=1,2,\dots,k\)，于是有：

\[\begin{gather*} A\boldsymbol{\mu}=(\mu_{i_i},\mu_{i_2},\dots,\mu_{i_k})^{\top}=\boldsymbol{\mu}_0 \\ A\Sigma A^{\top}= \begin{pmatrix} e_{i_1}^{\top}\Sigma e_{i_1} & e_{i_1}^{\top}\Sigma e_{i_2} & \cdots & e_{i_1}^{\top}\Sigma e_{i_k} \\ e_{i_2}^{\top}\Sigma e_{i_1} & e_{i_2}^{\top}\Sigma e_{i_2} & \cdots & e_{i_2}^{\top}\Sigma e_{i_k} \\ \vdots & \vdots & \ddots & \vdots \\ e_{i_k}^{\top}\Sigma e_{i_1} & e_{i_k}^{\top}\Sigma e_{i_2} & \cdots & e_{i_k}^{\top}\Sigma e_{i_k}^{\top} \end{pmatrix} = \begin{pmatrix} \sigma_{i_1i_1} & \sigma_{i_1i_2} & \cdots & \sigma_{i_1i_k} \\ \sigma_{i_2i_1} & \sigma_{i_2i_2} & \cdots & \sigma_{i_2i_k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{i_ki_1} & \sigma_{i_ki_2} & \cdots & \sigma_{i_ki_k} \end{pmatrix} =\Sigma_0 \end{gather*}\]

由(2)可得\((\mathbf{X}_{i_1},\mathbf{X}_{i_2},\dots,\mathbf{X}_{i_k})^{\top}\sim \operatorname{N}(\boldsymbol{\mu}_0,\Sigma_0)\)。

(4) 若\(X\sim N_n(\boldsymbol{\mu},\Sigma)\)，则存在矩阵\(A\in M_{n\times r}(\mathbb{R})\)使得\(\mathbf{X}=A\mathbf{U}+\boldsymbol{\mu}\)，其中\(\mathbf{U}=(\mathbf{U}_1,\mathbf{U}_2,\dots,\mathbf{U}_r)^{\top}\)，\(\mathbf{U}_i\sim \operatorname{N}(0,1)\)且互相独立，\(\boldsymbol{\mu}\)为\(n\)维非随机实向量，\(\Sigma=AA^{\top}\)。由性质 6.3.10(5)可得需要证明1维正态分布的特征函数：

\[\begin{equation*} \varphi_\mathbf{U}(t)=\prod_{i=1}^n\varphi_{\mathbf{U}_i}(t_i) =\prod_{i=1}^ne^{-\frac{t_i^2}{2}}=e^{-\frac{t^{\top}t}{2}},\;t\in\mathbb{R}^{n} \end{equation*}\]

于是：

\[\begin{align*} \varphi_\mathbf{X}(t) &=\operatorname{E}(e^{it^{\top}\mathbf{X}}) =\operatorname{E}[e^{it^{\top}(A\mathbf{U}+\boldsymbol{\mu})}] =e^{it\boldsymbol{\mu}}\operatorname{E}(e^{it^{\top}A\mathbf{U}}) \\ &=e^{it^{\top}\boldsymbol{\mu}}\varphi_\mathbf{U}(A^{\top}t) =e^{it^{\top}\boldsymbol{\mu}}e^{-\frac{t^{\top}AA^{\top}t}{2}} =e^{it^{\top}\boldsymbol{\mu}}e^{-\frac{t^{\top}\Sigma t}{2}} =\exp\left(it^{\top}\boldsymbol{\mu}-\frac{t^{\top}\Sigma t}{2}\right) \end{align*}\]

由性质 6.3.10(6)可知结论成立。

(5)必要性：由(2)直接得到。

充分性：由(4)可知此时\(\alpha^{\top}\mathbf{X}\)的特征函数为：

\[\begin{equation*} \varphi_{\alpha^{\top}\mathbf{X}}(t)=\exp\left(it\mu-\frac{1}{2}t^2\sigma^2\right) \end{equation*}\]

其中\(\mu\)和\(\sigma^2\)分别为\(\alpha^{\top}\mathbf{X}\)的均值与方差。由期望的性质和性质 6.3.4(3)可得：

\[\begin{gather*} \mu=\operatorname{E}(\alpha^{\top}\mathbf{X})=\alpha^{\top}\operatorname{E}(\mathbf{X}),\; \sigma^2=\operatorname{Cov}(\alpha^{\top}\mathbf{X})=\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha \end{gather*}\]

于是有：

\[\begin{equation*} \varphi_{\alpha^{\top}\mathbf{X}}(t)=\exp\left[it\alpha^{\top}\operatorname{E}(\mathbf{X})-\frac{t\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha t}{2}\right] \end{equation*}\]

由\(\alpha\)的任意性，上式可写作：

\[\begin{equation*} \varphi_{\mathbf{X}}(\beta)=\exp\left[i\beta^{\top}\operatorname{E}(\mathbf{X})-\frac{\beta^{\top}\operatorname{Cov}(\mathbf{X})\beta}{2}\right] \end{equation*}\]

由性质 6.3.10(6)和(4)可知\(\mathbf{X}\)服从多元正态分布。

(6)由定义 6.30可得。

(7) 因为：

\[\begin{equation*} \mathbf{X}+\mathbf{Y}= \begin{pmatrix} I_n & I_n \end{pmatrix} \begin{pmatrix} \mathbf{X} \\ \mathbf{Y} \end{pmatrix} \end{equation*}\]

由(6)可得：

\[\begin{equation*} \mathbf{Z}= \begin{pmatrix} \mathbf{X} \\ \mathbf{Y} \end{pmatrix} \sim N_{2n}\left[ \begin{pmatrix} \boldsymbol{\mu}_1 \\ \boldsymbol{\mu}_2 \end{pmatrix},\; \begin{pmatrix} \Sigma_1 & \mathbf{0} \\ \mathbf{0} & \Sigma_2 \end{pmatrix} \right] \end{equation*}\]

根据(2)即可得到结论。

(8)设\(\mathbf{X}=(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_m})^{\top}\sim\operatorname{N}_n(\boldsymbol{\mu},\Sigma)\)。因为\(\mathbf{X_j}\)之间不相关，于是：

\[\begin{equation*} \boldsymbol{\mu}= \begin{pmatrix} \boldsymbol{\mu_1} \\ \boldsymbol{\mu_2} \\ \cdots \\ \boldsymbol{\mu_m} \end{pmatrix},\quad \Sigma= \begin{pmatrix} \Sigma_1 & \mathbf{0} & \cdots & \mathbf{0} \\ \mathbf{0} & \Sigma_2 & \cdots & \mathbf{0} \\ \vdots & \vdots & \ddots & \vdots \\ \mathbf{0} & \mathbf{0} & \cdots & \Sigma_m \end{pmatrix} \end{equation*}\]

由(4)可得：

\[\begin{align*} \varphi_\mathbf{X}(t) &=\exp\left(it\boldsymbol{\mu}-\frac{t^{\top}\Sigma t}{2}\right) =\exp\left(i\sum_{j=1}^{m}t_j^{\top}\boldsymbol{\mu_j}-\frac{\sum\limits_{j=1}^{m}t_j^{\top}\Sigma_j t_j}{2}\right) \\ &=\prod_{j=1}^m\exp\left(it_j\boldsymbol{\mu_j}-\frac{t_j^{\top}\Sigma_j t_j}{2}\right)=\prod_{j=1}^m\varphi_\mathbf{X_j}(t_j) \end{align*}\]

由性质 6.3.10(5)可知\(\mathbf{X_j}\)相互独立，\(j=1,2,\dots,m\)。

(9)因为\(\Sigma>\mathbf{0}\)，所以存在\(\Sigma^{-\frac{1}{2}}\)。由(2)可得：

\[\begin{equation*} \Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})\sim N_n(\mathbf{0},I_n) \end{equation*}\]

于是根据性质 19.4.4(1)和(3)可得：

\[\begin{align*} (\mathbf{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\mathbf{X}-\boldsymbol{\mu})&=(\mathbf{X}-\boldsymbol{\mu})^{\top}(\Sigma^{-\frac{1}{2}}\Sigma^{-\frac{1}{2}})(\mathbf{X}-\boldsymbol{\mu}) =(\mathbf{X}-\boldsymbol{\mu})^{\top}(\Sigma^{-\frac{1}{2}})^{\top}\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu}) \\ &=[\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})]^{\top}\Sigma^{-\frac{1}{2}}(\mathbf{X}-\boldsymbol{\mu})\sim\chi_n^2 \end{align*}\]

◻

6.4.6.3 正态随机向量的二次型

Theorem 6.7. 设\(\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma),\;\Sigma>\mathbf{0}\)，\(A\)为\(n\)阶非随机实对称阵，则：

\[\begin{equation*} \operatorname{E}(\mathbf{X}^{\top}A\mathbf{X})=\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}+\operatorname{tr}(A\Sigma),\; \operatorname{Var}(\mathbf{X}^{\top}A\mathbf{X})=2\operatorname{tr}[(A\Sigma)^2]+4\boldsymbol{\mu}^{\top}A\Sigma A\boldsymbol{\mu} \end{equation*}\]

证明. 期望可直接由定理 6.5得到。记\(\mathbf{Y}=\Sigma^{-\frac{1}{2}}\mathbf{X}\)，由性质 6.4.6(2)可知\(\mathbf{Y}\sim N_n(\Sigma^{-\frac{1}{2}}\boldsymbol{\mu},I_n)\)，根据性质 6.4.6(8)，\(\mathbf{Y}\)的各分量相互独立。注意到\(\mathbf{Y}\)的各分量的三阶中心矩和四阶中心矩分别为\(0\)和\(3\)，由定理 6.6、性质 19.4.4(3)和性质 2.1.5(3)可得：

\[\begin{align*} \operatorname{Var}(\mathbf{X}^{\top}A\mathbf{X}) &=\operatorname{Var}(\mathbf{Y}^{\top}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\mathbf{Y}) \\ &=3\sum_{i=1}^{n}(\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})_{ii}^2+2\operatorname{tr}(\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})-3\sum_{i=1}^{n}(\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})_{ii}^2 \\ &\quad+4\boldsymbol{\mu}^{\top}\Sigma^{-\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\boldsymbol{\mu} \\ &=2\operatorname{tr}(\Sigma^{\frac{1}{2}}A\Sigma A\Sigma^{\frac{1}{2}})+4\boldsymbol{\mu}^{\top}A\Sigma A\boldsymbol{\mu} \\ &=2\operatorname{tr}(A\Sigma A\Sigma^{\frac{1}{2}}\Sigma^{\frac{1}{2}})+4\boldsymbol{\mu}^{\top}A\Sigma A\boldsymbol{\mu} \\ &=2\operatorname{tr}[(A\Sigma)^2]+4\boldsymbol{\mu}^{\top}A\Sigma A\boldsymbol{\mu} \end{align*}\]

◻

Theorem 6.8. 设\(\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma),\;\Sigma>\mathbf{0}\)，\(A\in M_{n}(K)\)是一个非随机实对称矩阵，则\(\mathbf{X}^{\top}A\mathbf{X}\sim\chi_{r,\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}^2\)的充分必要条件为\(A\Sigma A=A\)且\(\operatorname{rank}(A)=r\)。

证明. 先证明\(\Sigma=I_n\)时的情况。

(1)充分性：因为\(A\)是一个幂等阵，由性质 2.8.1(1)可知\(A\)的特征值只能为\(0\)或\(1\)。根据性质 2.6.3(3)可知存在正交矩阵\(Q\)使得：

\[\begin{equation*} A=Q^{-1} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}Q \end{equation*}\]

令\(\mathbf{Y}=Q\mathbf{X}\)，由性质 6.4.6(2)可知\(\mathbf{Y}\sim N_n(Q\boldsymbol{\mu},I_n)\)。对\(\mathbf{Y}\)和\(Q\)进行分块：

\[\begin{equation*} \mathbf{Y}= \begin{pmatrix} \mathbf{Y_1} \\ \mathbf{Y_2} \end{pmatrix},\; Q= \begin{pmatrix} Q_1 \\ Q_2 \end{pmatrix} \end{equation*}\]

其中\(\mathbf{Y_1}\)为\(r\)维随机向量，\(Q_1\)为\(r\times n\)矩阵，所以：

\[\begin{align*} \mathbf{X}^{\top}A\mathbf{X}&=\mathbf{X}^{\top}Q^{-1} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}Q\mathbf{X}=\mathbf{X}^{\top}Q^{\top} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}Q\mathbf{X} \\ &=\mathbf{Y}^{\top} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}\mathbf{Y} = \begin{pmatrix} \mathbf{Y_1}^{\top} & \mathbf{Y_2}^{\top} \end{pmatrix} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} \begin{pmatrix} \mathbf{Y_1} \\ \mathbf{Y_2} \end{pmatrix} =\mathbf{Y_1}^{\top}\mathbf{Y_1}\sim\chi_{r,\lambda}^2 \end{align*}\]

其中：

\[\begin{equation*} \lambda=(Q_1\boldsymbol{\mu})^{\top}Q_1\boldsymbol{\mu}=\boldsymbol{\mu}^{\top}Q_1^{\top}Q_1\boldsymbol{\mu}=\boldsymbol{\mu}^{\top}A\boldsymbol{\mu} \end{equation*}\]

这是因为性质 6.4.6(3)和：

\[\begin{equation*} A=Q^{-1} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}Q =Q^{\top} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}Q = \begin{pmatrix} Q_1^{\top} & Q_2^{\top} \end{pmatrix} \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} \begin{pmatrix} Q_1 \\ Q_2 \end{pmatrix} =Q_1^{\top}Q_1 \end{equation*}\]

(2)必要性：设\(\operatorname{rank}(A)=t\)。因为\(A\)是实对称矩阵，由性质 2.6.3(3)可知存在正交阵\(Q\)使得：

\[\begin{equation*} A=Q^{-1} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} Q \end{equation*}\]

其中\(\varLambda=\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{t}\}\)，\(\lambda_1, \lambda_2, \dots, \lambda_{t}\)是\(A\)的非零特征值。若能证得\(\lambda_i=1,\;i=1,2,\dots,t\)且\(t=r\)，则\(A\)是一个幂等阵且\(\operatorname{rank}(A)=r\)。注意到：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}Q^{\top} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} Q\mathbf{X} \end{equation*}\]

令\(\mathbf{Y}=Q\mathbf{X}\)，由性质 6.4.6(2)可知\(\mathbf{Y}=(\mathbf{Y}_1, \mathbf{Y}_2, \dots, \mathbf{Y}_{n})\sim N_n(Q\boldsymbol{\mu},I_n)\)，根据性质 6.4.6(8)可得\(\mathbf{Y}_j\)之间彼此独立。令\(c=Q\boldsymbol{\mu}=(c_1, c_2, \dots, c_{n})^{\top}\)，由性质 6.4.6(3)可知\(\mathbf{Y}_j\sim \operatorname{N}(c_j,1)\)。而：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\mathbf{Y}^{\top} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}\mathbf{Y}=\sum_{j=1}^{t}\lambda_j\mathbf{Y}_j^2 \end{equation*}\]

由性质 6.3.10(4)和性质 6.4.7(3)可知：

\[\begin{align*} \varphi_{\mathbf{X}^{\top}A\mathbf{X}}(t) &=\prod_{j=1}^{t}\varphi_{\lambda_j\mathbf{Y}_j^2}(t)=\prod_{j=1}^t(1-2it)^{-\frac{1}{2}}\exp\left\{\frac{i\lambda_jtc_j^2}{1-2i\lambda_jt}\right\} \\ &=(1-2it)^{-\frac{t}{2}}\prod_{j=1}^t\exp\left\{\frac{i\lambda_jtc_j^2}{1-2i\lambda_jt}\right\} \end{align*}\]

因为\(\mathbf{X}^{\top}A\mathbf{X}\sim\chi_{r,\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}^2\)，所以：

\[\begin{equation*} \varphi_{\mathbf{X}^{\top}A\mathbf{X}}(t)=(1-2it)^{-\frac{r}{2}}\exp\left\{\frac{it\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}{1-2it}\right\} \end{equation*}\]

由性质 6.3.10(6)可知：

\[\begin{equation*} (1-2it)^{-\frac{t}{2}}\prod_{j=1}^t\exp\left\{\frac{i\lambda_jtc_j^2}{1-2i\lambda_jt}\right\}=(1-2it)^{-\frac{r}{2}}\exp\left\{\frac{it\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}{1-2it}\right\} \end{equation*}\]

所以\(t=r\)，同时有：

\[\begin{equation*} \sum_{j=1}^{t}\frac{i\lambda_jtc_j^2}{1-2i\lambda_jt}=\frac{it\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}{1-2it} \end{equation*}\]

即：

\[\begin{gather*} \sum_{j=1}^{t}\frac{i\lambda_jtc_j^2}{1-2i\lambda_jt}=\frac{1}{1-2it}it\boldsymbol{\mu}^{\top}Q^{\top} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} Q\boldsymbol{\mu} \\ \sum_{j=1}^{t}\frac{\lambda_jc_j^2}{1-2i\lambda_jt}=\frac{1}{1-2it}c^{\top} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} c \\ \sum_{j=1}^{t}\frac{\lambda_jc_j^2}{1-2i\lambda_jt}=\frac{1}{1-2it}\sum_{j=1}^{t}\lambda_jc_j^2 \\ \frac{\lambda_jc_j^2}{1-2i\lambda_jt}=\frac{\lambda_jc_j^2}{1-2it},\;j=1,2,\dots,t \end{gather*}\]

所以\(\lambda_j=1\)。

当\(\Sigma\)为一般正定阵时，因为\(\Sigma>\mathbf{0}\)，所以存在\(\Sigma^{-\frac{1}{2}}\)。考虑随机向量\(\mathbf{Y}=\Sigma^{-\frac{1}{2}}\mathbf{X}\)，由性质 6.4.6(2)可知\(\mathbf{Y}\sim N_n(\Sigma^{-\frac{1}{2}}\boldsymbol{\mu},I_n)\)。注意到：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}\Sigma^{-\frac{1}{2}}\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X} \end{equation*}\]

由性质 19.4.4(3)可得：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}(\Sigma^{-\frac{1}{2}})^{\top}\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X}=\mathbf{Y}\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\mathbf{Y} \end{equation*}\]

由定理 6.8可得\(\mathbf{Y}\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\mathbf{Y}\sim\chi_{r,\boldsymbol{\mu}^{\top}A\boldsymbol{\mu}}^2\)的充分必要条件为\(\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\)是一个对称阵且：

\[\begin{gather*} (\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})^2=\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}},\; \operatorname{rank}(\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})=r,\; (\Sigma^{-\frac{1}{2}}\boldsymbol{\mu})^{\top}\Sigma^{\frac{1}{2}} A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\boldsymbol{\mu}=\boldsymbol{\mu}^{\top}A\boldsymbol{\mu} \end{gather*}\]

第三式显然成立。因为\(\Sigma>\mathbf{0}\)，所以\(\operatorname{rank}(\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})=\operatorname{rank}(A)\)。注意到：

\[\begin{align*} (\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}})^2=\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}&\Leftrightarrow \Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}=\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}} \\ &\Leftrightarrow \Sigma^{\frac{1}{2}}A\Sigma A\Sigma^{\frac{1}{2}}=\Sigma ^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Leftrightarrow A\Sigma A=A \end{align*}\]

◻

Theorem 6.9. 设\(\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma),\;\Sigma>\mathbf{0}\)，\(A\in M_{n}(\mathbb{R}^{})\)是一个对称矩阵，\(B\in M_{m\times n}(\mathbb{R}^{})\)。若\(B\Sigma A=\mathbf{0}\)，则\(B\mathbf{X}\)与\(\mathbf{X}^{\top}A\mathbf{X}\)相互独立。

证明. 先证明\(\Sigma=I_n\)时的情况。

因为\(A\)是一个实对称矩阵，由性质 2.6.3(3)可知存在正交矩阵\(Q\)使得：

\[\begin{equation*} Q^{\top}AQ= \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} \end{equation*}\]

其中\(\varLambda=\operatorname{diag}(\lambda_1, \lambda_2, \dots, \lambda_{r}),\;\lambda_i\ne0,\;i=1,2,\dots,r,\;\operatorname{rank}(A)=r\)。因为\(BA=\mathbf{0}\)，所以有\(BQQ^{\top}AQ=BAQ=\mathbf{0}\)，于是：

\[\begin{equation*} BQ \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} =\mathbf{0} \end{equation*}\]

设：

\[\begin{equation*} C=BQ= \begin{pmatrix} C_{11} & C_{12} \\ C_{21} & C_{22} \end{pmatrix} \end{equation*}\]

则：

\[\begin{equation*} BQ \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} = \begin{pmatrix} C_{11}\varLambda & \mathbf{0} \\ C_{21}\varLambda & \mathbf{0} \end{pmatrix} =\begin{pmatrix} \mathbf{0} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} \end{equation*}\]

于是有\(C_{11}=\mathbf{0},\;C_{21}=\mathbf{0}\)。对\(C\)和\(Q\)做对应分块：

\[\begin{equation*} C=BQ= \begin{pmatrix} \mathbf{0} & C_1 \end{pmatrix},\; Q= \begin{pmatrix} Q_1 & Q_2 \end{pmatrix} \end{equation*}\]

于是：

\[\begin{equation*} B=CQ^{\top}= \begin{pmatrix} \mathbf{0} & C_1 \end{pmatrix} \begin{pmatrix} Q_1^{\top} \\ Q_2^{\top} \end{pmatrix} =C_1Q_2^{\top} \end{equation*}\]

而：

\[\begin{equation*} A=Q \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} Q^{\top} = \begin{pmatrix} Q_1 & Q_2 \end{pmatrix} \begin{pmatrix} \varLambda & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix} \begin{pmatrix} Q_1^{\top} \\ Q_2^{\top} \end{pmatrix} =Q_1\varLambda Q_1^{\top} \end{equation*}\]

记\(\mathbf{Y}=Q^{\top}\mathbf{X}\)，由性质 6.4.6(2)可得：

\[\begin{equation*} \mathbf{Y}= \begin{pmatrix} \mathbf{Y_1} \\ \mathbf{Y_2} \end{pmatrix} = \begin{pmatrix} Q_1^{\top}\mathbf{X} \\ Q_2^{\top}\mathbf{X} \end{pmatrix} \sim N_n(Q^{\top}\boldsymbol{\mu},\sigma^2I_n) \end{equation*}\]

由性质 6.4.6(8)可知\(\mathbf{Y_1}\)与\(\mathbf{Y_2}\)独立。因为：

\[\begin{gather*} B\mathbf{X}=C_1Q_2^{\top}\mathbf{X}=C_1\mathbf{Y_2} \\ \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}Q_1\varLambda Q_1^{\top}\mathbf{X}=\mathbf{Y_1}^{\top}\varLambda\mathbf{Y_1} \end{gather*}\]

所以\(B\mathbf{X}\)与\(\mathbf{X}^{\top}A\mathbf{X}\)独立，结论在\(\Sigma=I_n\)时成立。

当\(\Sigma\)为一般正定阵时，存在\(\Sigma^{-\frac{1}{2}}\)。由性质 19.4.4(3)和性质 6.4.6(2)可得此时有：

\[\begin{gather*} \Sigma^{-\frac{1}{2}}\mathbf{X}\sim\operatorname{N}_n(\Sigma^{-\frac{1}{2}}\boldsymbol{\mu},I_n),\quad B\mathbf{X}=B\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X} \\ \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}\Sigma^{-\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X}=(\Sigma^{-\frac{1}{2}}\mathbf{X})^{\top}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X} \end{gather*}\]

于是当：

\[\begin{equation*} B\Sigma^{\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}=B\Sigma A\Sigma^{\frac{1}{2}}=\mathbf{0} \end{equation*}\]

时，\(B\mathbf{X}\)与\(\mathbf{X}^{\top}A\mathbf{X}\)相互独立，上式等式两边同时右乘\(\Sigma^{-\frac{1}{2}}\)即可得到其等价于\(B\Sigma A=\mathbf{0}\)。 ◻

Theorem 6.10. 设\(\mathbf{X}\sim N_n(\boldsymbol{\mu},\Sigma)\)，\(A,B\)为\(n\)阶实对称阵。若\(A\Sigma B=\mathbf{0}\)，则\(\mathbf{X}^{\top}A\mathbf{X}\)与\(\mathbf{X}^{\top}B\mathbf{X}\)独立。

证明. 先证明\(\Sigma=I_n\)时的情况。

因为\(AB=\mathbf{0}\)且\(A,B\)都是对称阵，所以\(BA=B^{\top}A^{\top}=(AB)^{\top}=\mathbf{0}\)，即\(AB=BA\)，所以由性质 2.6.3(3)可知存在正交矩阵\(Q\)可使得\(A,B\)同时对角化，即：

\[\begin{equation*} Q^{\top}AQ=\varLambda_1=\operatorname{diag}\{\lambda^{(1)}_1, \lambda^{(1)}_2, \dots, \lambda^{(1)}_{n}\},\quad Q^{\top}BQ=\varLambda_2=\operatorname{diag}\{\lambda^{(2)}_1, \lambda^{(2)}_2, \dots, \lambda^{(2)}_{n}\} \end{equation*}\]

因为\(AB=\mathbf{0}\)，所以：

\[\begin{equation*} Q\varLambda_1Q^{\top}Q\varLambda_2Q^{\top}=Q\varLambda_1\varLambda_2Q^{\top}=\mathbf{0} \end{equation*}\]

等式两边先同时左乘\(Q^{\top}\)再同时右乘\(Q\)即可得到\(\varLambda_1\varLambda_2=\mathbf{0}\)，即\(\lambda_i^{(1)}\)和\(\lambda_i^{(2)}\)中至少有一个为\(0,\;i=1,2,\dots,n\)。令\(\mathbf{Y}=Q^{\top}\mathbf{X}\)，由性质 6.4.6(2)可得\(\mathbf{Y}\sim\operatorname{N}_n(Q^{\top}\boldsymbol{\mu},I_n)\)，所以\(\mathbf{Y}\)的各分量相互独立。因为：

\[\begin{equation*} \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}Q\varLambda_1Q^{\top}\mathbf{X}=\mathbf{Y}^{\top}\varLambda_1\mathbf{Y},\quad\mathbf{X}^{\top}B\mathbf{X}=\mathbf{X}^{\top}Q\varLambda_2Q^{\top}\mathbf{X}=\mathbf{Y}^{\top}\varLambda_2\mathbf{Y} \end{equation*}\]

二者依赖的\(\mathbf{Y}\)的分量不同，所以\(\mathbf{X}^{\top}A\mathbf{X}\)与\(\mathbf{X}^{\top}B\mathbf{X}\)独立。

当\(\Sigma\)为一般正定矩阵时，存在\(\Sigma^{-\frac{1}{2}}\)。由性质 19.4.4(3)和性质 6.4.6(2)可得此时有：

\[\begin{gather*} \Sigma^{-\frac{1}{2}}\mathbf{X}\sim\operatorname{N}_n(\Sigma^{-\frac{1}{2}}\boldsymbol{\mu},I_n) \\ \mathbf{X}^{\top}A\mathbf{X}=\mathbf{X}^{\top}\Sigma^{-\frac{1}{2}}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X}=(\Sigma^{-\frac{1}{2}}\mathbf{X})^{\top}\Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X} \\ \mathbf{X}^{\top}B\mathbf{X}=\mathbf{X}^{\top}\Sigma^{-\frac{1}{2}}\Sigma^{\frac{1}{2}}B\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X}=(\Sigma^{-\frac{1}{2}}\mathbf{X})^{\top}\Sigma^{\frac{1}{2}}B\Sigma^{\frac{1}{2}}\Sigma^{-\frac{1}{2}}\mathbf{X} \end{gather*}\]

于是当：

\[\begin{equation*} \Sigma^{\frac{1}{2}}A\Sigma^{\frac{1}{2}}\Sigma^{\frac{1}{2}}B\Sigma^{\frac{1}{2}}=\Sigma^{\frac{1}{2}}A\Sigma B\Sigma^{\frac{1}{2}}=\mathbf{0} \end{equation*}\]

时，\(\mathbf{X}^{\top}A\mathbf{X}\)与\(\mathbf{X}^{\top}B\mathbf{X}\)相互独立，上式等式两边同时左乘\(\Sigma^{-\frac{1}{2}}\)再右乘\(\Sigma^{-\frac{1}{2}}\)即可得到其等价于\(B\Sigma A=\mathbf{0}\)。 ◻

6.4.6.4 矩阵正态分布

定义 7.2 Definition 6.31. 若\(m\times n\)随机矩阵\(\mathbf{X}\)满足以下概率密度函数：

\[\begin{equation*} p(\mathbf{X})=\frac{1}{(2\pi)^{\frac{mn}{2}}(\det U)^{\frac{n}{2}}(\det V)^{\frac{m}{2}}}e^{-\frac{1}{2}\operatorname{tr}[V^{-1}(X-M)^{\top}U^{-1}(X-M)]} \end{equation*}\]

其中，\(M\in M_{m\times n}(\mathbb{R}),\;U\in M_{m}(\mathbb{R}),\;V\in M_{n}(\mathbb{R})\)，\(U,V>0\)。此时称\(\mathbf{X}\)服从矩阵正态分布，记作\(\mathbf{X}\sim MN(M,U,V)\)。

定义 7.3 Definition 6.32. 若随机矩阵\(\mathbf{X}\)满足\(\operatorname{vec}(\mathbf{X})\sim N(\operatorname{vec}(M),V\otimes U)\)，其中，\(M\in M_{m\times n}(\mathbb{R}),\;U\in M_{m}(\mathbb{R}),\;V\in M_{n}(\mathbb{R})\)，\(U,V\geqslant0\)。此时称\(\mathbf{X}\)服从矩阵正态分布，记作\(\mathbf{X}\sim MN(M,U,V)\)。

Theorem 6.11. 设\(\mathbf{X}\)是一个\(m\times n\)随机矩阵，其行协方差矩阵\(U\)和列协方差矩阵\(V\)都是正定矩阵，则\(\mathbf{X}\)满足定义 6.31的充分必要条件为满足定义 6.32。

证明. 由性质 2.1.5(3)、性质 19.4.2(1)(2)、性质 19.4.1(2)(3)可得：

\[\begin{align*} \operatorname{tr}[V^{-1}(\mathbf{X}-M)^{\top}U^{-1}(\mathbf{X}-M)] &=\operatorname{tr}[(\mathbf{X}-M)^{\top}U^{-1}(\mathbf{X}-M)V^{-1}] \\ &=\operatorname{vec}(\mathbf{X}-M)^{\top}\operatorname{vec}[U^{-1}(\mathbf{X}-M)V^{-1}] \\ &=\operatorname{vec}(\mathbf{X}-M)^{\top}[(V^{-1})^{\top}\otimes U^{-1}]\operatorname{vec}(\mathbf{X}-M) \\ &=\operatorname{vec}(\mathbf{X}-M)^{\top}[(V^{\top})^{-1}\otimes U^{-1}]\operatorname{vec}(\mathbf{X}-M) \\ &=\operatorname{vec}(\mathbf{X}-M)^{\top}(V^{-1}\otimes U^{-1})\operatorname{vec}(\mathbf{X}-M) \\ &=[\operatorname{vec}(\mathbf{X})-\operatorname{vec}(M)]^{\top}(V\otimes U)^{-1}[\operatorname{vec}(\mathbf{X})-\operatorname{vec}(M)] \end{align*}\]

因为\(\det(V\otimes U)=(\det V)^m(\det U)^n\)，所以\((\det U)^{\frac{n}{2}}(\det V)^{\frac{m}{2}}\)可化作\([\det(V\otimes U)]^{\frac{1}{2}}\)。需要补充证明，但这里涉及到了Jordan标准形，学完再来补。 ◻

Corollary 6.1. 如果正态随机矩阵\(\mathbf{X}\sim MN(M,U,V)\)中的每个元素都服从标准正态分布，则\(M=\mathbf{0},\;V\otimes U=I_{mn}\)。

由此我们看到，\(M\)就是正态随机矩阵\(X\)的均值矩阵，仍然不明确的是\(U,V\)到底是什么，只能说\(V\otimes U\)对应着\(X\)被向量化后的协方差矩阵，那就先来研究一下\(\operatorname{Cov}(\mathbf{X}_{ij},\mathbf{X}_{kl})\)到底对应着\(V\otimes U\)中的哪个元素。联想正态随机向量中两个元素的协方差在协方差矩阵中的位置，我们需要找到\(\mathbf{X}_{ij}\)和\(\mathbf{X}_{kl}\)在\(\operatorname{vec}(\mathbf{X})\)中的索引，注意到向量化算子\(\operatorname{vec}\)是按列拉直，那么\(\mathbf{X}_{ij}\)和\(\mathbf{X}_{kl}\)分别在\(\operatorname{vec}(\mathbf{X})\)的第\((j-1)m+i\)位和第\((l-1)m+k\)位，于是有：

\[\begin{equation*} \operatorname{Cov}(\mathbf{X}_{ij},\mathbf{X}_{kl})=(V\otimes U)_{(j-1)s+i,(l-1)s+k}=V_{jl}U_{ik} \end{equation*}\]

如果\(U\)是一个对角阵，那么\(i\ne k\)时有\(U_{ik}=0\)，就会导致：

\[\begin{equation*} \operatorname{Cov}(\mathbf{X}_{ij},\mathbf{X}_{kl})=V_{jl}U_{ik}=0,\;i\ne k \end{equation*}\]

这表明此时只要\(X\)中的元素处于不同行，它们就不相关。

如果\(V\)是一个对角阵，那么\(j\ne l\)时有\(V_{jl}=0\)，就会导致：

\[\begin{equation*} \operatorname{Cov}(\mathbf{X}_{ij},\mathbf{X}_{kl})=V_{jl}U_{ik}=0,\;j\ne l \end{equation*}\]

这表明此时只要\(X\)中的元素处于不同列，它们就不相关。

对于元素\(\mathbf{X}_{ij}\)，有：

\[\begin{equation*} \operatorname{Var}(\mathbf{X}_{ij})=\operatorname{Cov}(\mathbf{X}_{ij},\mathbf{X}_{ij})=V_{jj}U_{ii} \end{equation*}\]

这表明此时协方差由\(V_{jj}U_{ii}\)控制。

对于同一行的元素，有：

\[\begin{equation*} \operatorname{Cov}(\mathbf{X}_{ij},\mathbf{X}_{il})=V_{jl}U_{ii} \end{equation*}\]

这表明此时协方差由\(V_{jl}\)控制。

对于同一列的元素，有：

\[\begin{equation*} \operatorname{Cov}(\mathbf{X}_{ij},\mathbf{X}_{kj})=V_{jj}U_{ik} \end{equation*}\]

这表明此时协方差由\(U_{ik}\)控制。

定义 7.4 Definition 6.33. \(\mathbf{X}\)为\(m\times n\)随机矩阵。若存在矩阵\(A\in M_{q\times n}(\mathbb{R}),\;B\in M_{m\times p}(K)\)使得\(\mathbf{X}=B\mathbf{Y}A^{\top}+M\)，其中\(\mathbf{Y}\)是一个\(p\times q\)随机矩阵，\(\mathbf{Y}_{ij}\sim N(0,1)\)且互相独立，\(i=1,2,\dots,p,\;j=1,2,\dots,q\)，\(M\in M_{p\times q}(\mathbb{R})\)，则称\(\mathbf{X}\)服从矩阵正态分布，记作\(X\sim MN(M,U,V)\)。其中，\(U=BB^{\top},\;V=AA^{\top}\)。

Theorem 6.12. \(\mathbf{X}\)是一个\(m\times n\)随机矩阵，则\(\mathbf{X}\)满足定义 6.32的充分必要条件是满足定义 6.33。

证明. (1)必要性：设\(\mathbf{X}\)满足定义 6.33，由\(\mathbf{Y}\)的定义可知：

\[\begin{equation*} \operatorname{vec}(\mathbf{Y})\sim N_{pq}(\mathbf{0},I_{pq}) \end{equation*}\]

由性质 19.4.2(1)(3)可得：

\[\begin{equation*} \operatorname{vec}(\mathbf{X})=\operatorname{vec}(B\mathbf{Y}A^{\top}+M)=\operatorname{vec}(B\mathbf{Y}A^{\top})+\operatorname{vec}(M)=(A\otimes B)\operatorname{vec}(\mathbf{Y})+\operatorname{M} \end{equation*}\]

由性质 6.3.4(3)和性质 19.4.1(4)(2)可得：

\[\begin{gather*} \operatorname{E}[\operatorname{vec}(\mathbf{X})] = \operatorname{E}[(A \otimes B)\operatorname{vec}(\mathbf{Y}) + \operatorname{M}] = (A \otimes B)\operatorname{E}[\operatorname{vec}(\mathbf{Y})] + \operatorname{M} = \operatorname{M}, \\[1ex] \begin{aligned} \operatorname{Cov}[\operatorname{vec}(\mathbf{X})] &= \operatorname{Cov}[(A \otimes B)\operatorname{vec}(\mathbf{Y})] \\ &= (A \otimes B)\operatorname{Cov}[\operatorname{vec}(\mathbf{Y})](A \otimes B)^{\top} \\ &= (A \otimes B)I_{pq}(A^{\top} \otimes B^{\top}) \\ &= AA^{\top} \otimes BB^{\top}. \end{aligned} \end{gather*}\]

因为\(\operatorname{vec}(\mathbf{X})=(A\otimes B)\operatorname{vec}(\mathbf{Y})+\operatorname{M}\)，而\(\operatorname{vec}(\mathbf{Y})\sim N_{pq}(\mathbf{0},I_{pq})\)，由性质 6.4.6(2)可知：

\[\begin{equation*} \operatorname{vec}(\mathbf{X})\sim N(\operatorname{vec}(M),AA^{\top}\otimes BB^{\top}) \end{equation*}\]

令\(V=AA^{\top},\;U=BB^{\top}\)，则有\(\operatorname{vec}(\mathbf{X})\sim N(\operatorname{vec}(M),V\otimes U)\)，即\(\mathbf{X}\)满足定义 6.32。

(2)充分性：设\(\mathbf{X}\)满足定义 6.32，因为\(U,V\geqslant0\)，所以存在\(U^{\frac{1}{2}}\)和\(V^{\frac{1}{2}}\)，令\(B=U^{\frac{1}{2}},A=V^{\frac{1}{2}}\)，于是\(\operatorname{vec}(\mathbf{X})\sim N(\operatorname{vec}(M),V\otimes U)\)可写作\(\operatorname{vec}(\mathbf{X})\sim N(\operatorname{vec}(M),AA^{\top}\otimes BB^{\top})\)。设\(\mathbf{Y}\)是一个随机矩阵，其中的每一个元素都服从标准正态分布且互相独立，则\(\operatorname{vec}(\mathbf{X})=(A\otimes B)\operatorname{vec}(\mathbf{Y})+\operatorname{M}\)。由性质 19.4.2(1)(3)可知：

\[\begin{gather*} \operatorname{vec}(\mathbf{X})=\operatorname{vec}(B\mathbf{Y}A^{\top}+M) \end{gather*}\]

于是\(\mathbf{X}=B\mathbf{Y}A^{\top}+M\)，即\(\mathbf{X}\)满足定义 6.33。 ◻

Theorem 6.13. 设\(\mathbf{X}\)为\(m\times n\)随机矩阵且服从矩阵正态分布\(MN(M,U,V)\)，\(P\in M_{s\times m}(R),\;Q\in M_{n\times t}(R)\)，则\(P\mathbf{X}Q^{\top}\sim\)

证明. 由定义 6.33可知\(\mathbf{X}=B\mathbf{Y}A^{\top}+M\)，于是：

\[\begin{equation*} P\mathbf{X}Q^{\top}=PB\mathbf{Y}A^{\top}Q^{\top}+PMQ^{\top} \end{equation*}\]

此时\(PBB^{\top}P^{\top}=PUP^{\top},\;QAA^{\top}Q^{\top}=QVQ^{\top}\)，由定义 6.33即可得到结论。 ◻

6.4.7 \(\chi^2\)分布

Definition 6.34. 设\(\mathbf{X}\sim N_n(\boldsymbol{\mu}, I_n)\)，则随机变量\(Y=X^{\top}X\)的分布称为自由度为\(n\)、非中心参数为\(\lambda=\boldsymbol{\mu}^{\top}\boldsymbol{\mu}\)的\(\chi^2\)分布，记为\(\mathbf{Y}\sim \chi^2_{n,\lambda}\)。当\(\lambda=0\)时，称\(Y\)的分布为中心\(\chi^2\)分布，记为\(Y\sim\chi_n^2\)。 其概率密度函数可以写为Poisson混合形式：

\[\begin{equation*} p(y)=e^{-\frac{\lambda}{2}}\sum_{j=0}^{+\infty}\frac{(\lambda/2)^j}{j!} \frac{y^{\frac{n}{2}+j-1}e^{-\frac{y}{2}}}{2^{\frac{n}{2}+j}\Gamma\left(\frac{n}{2}+j\right)},\quad y>0 \end{equation*}\]

Property 6.4.7. \(\chi^2\)分布具有如下性质：

1. 设\(Y_i\sim\chi_{n_i,\lambda_i}^2,\;i=1,2,\dots,k\)相互独立，则：

   \[\begin{gather*} \sum_{i=1}^{k}Y_i\sim\chi_{n,\lambda}^2,\quad\text{其中} n=\sum_{i=1}^{k}n_i,\;\lambda=\sum_{i=1}^{k}\lambda_i \end{gather*}\]

2. 设\(Y\sim\chi_{n,\lambda}^2\)，则\(\operatorname{E}(Y)=n+\lambda,\;\operatorname{Var}(Y)=2n+4\lambda\)；

3. 设\(Y\sim\chi_{n,\lambda}^2\)，\(\mathbf{X}\sim N_n(\boldsymbol{\mu},I_n),\;Y=\mathbf{X}^{\top}\mathbf{X}\)，则：

   \[\begin{equation*} \varphi_{Y}(t)=(1-2it)^{-\frac{n}{2}}\exp\left\{\frac{it\lambda}{1-2it}\right\} \end{equation*}\]

证明. (1)设\(Y_i=\mathbf{X_i}^{\top}\mathbf{X_i}\)，其中\(\mathbf{X_i}\sim N_{n_i}(\boldsymbol{\mu_i},I_{n_i})\)。令\(\mathbf{X}=(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_k})^{\top}\)，则有

\[\begin{equation*} \sum_{i=1}^{k}Y_i=\sum_{i=1}^{k}\mathbf{X_i}^{\top}\mathbf{X_i}=(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_k})(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_k})^{\top}=\mathbf{X}^{\top}\mathbf{X} \end{equation*}\]

因为\(Y_i\)相互独立，所以\(\mathbf{X_i}\)也相互独立，由性质 6.4.6(6)可得\(\mathbf{X}\sim N_n(\boldsymbol{\mu},I_n)\)，其中：

\[\begin{equation*} n=\sum_{i=1}^{k}n_i,\;\boldsymbol{\mu}=(\boldsymbol{\mu_1},\boldsymbol{\mu_2},\dots,\boldsymbol{\mu_n})^{\top} \end{equation*}\]

因此有：

\[\begin{equation*} \sum_{i=1}^{k}Y_i\sim\chi_{n,\lambda}^2,\;\lambda=\boldsymbol{\mu}^{\top}\boldsymbol{\mu}=\sum_{i=1}^{k}\boldsymbol{\mu_i}^{\top}\boldsymbol{\mu_i}=\sum_{i=1}^{k}\lambda_i \end{equation*}\]

(2)因为\(Y\sim\chi_{n,\lambda}^2\)，由定义可知\(Y\)可以表示为：

\[\begin{equation*} Y=\sum_{i=1}^{n}X_i^2,\;X_i\sim N(\mu_i,1),\;\sum_{i=1}^{n}\mu_i^2=\lambda \end{equation*}\]

其中\(X_i\)相互独立。由性质 6.3.5(1)可知：

\[\begin{equation*} \operatorname{E}(Y)=\operatorname{E}\left(\sum_{i=1}^{n}X_i^2\right)=\sum_{i=1}^{n}\operatorname{E}(X_i^2)=\sum_{i=1}^{n}\{\operatorname{Var}(X_i)+[\operatorname{E}(X_i)]^2\}=\sum_{i=1}^{n}(1+\mu_i^2)=n+\lambda \end{equation*}\]

因为\(X_i\)相互独立，由性质 6.3.5(3)和性质 6.3.4(7)可知：

\[\begin{align*} \operatorname{Var}(Y) &=\operatorname{Var}\left(\sum_{i=1}^{n}X_i^2\right)=\sum_{i=1}^{n}\operatorname{Var}(X_i^2)=\sum_{i=1}^{n}\{\operatorname{E}(X_i^4)-[\operatorname{E}(X_i^2)]^2\} \\ &=\sum_{i=1}^{n}\operatorname{E}(X_i^4)-\sum_{i=1}^{n}[\operatorname{E}(X_i^2)]^2 \end{align*}\]

由性质 6.3.5(1)可知：

\[\begin{equation*} \operatorname{E}(X_i^2)=\operatorname{Var}(X_i)+[\operatorname{E}(X_i)]^2=1+\mu_i^2 \end{equation*}\]

所以：

\[\begin{equation*} \sum_{i=1}^{n}[\operatorname{E}(X_i^2)]^2=\sum_{i=1}^{n}(\mu_i^4+2\mu_i^2+1)=\sum_{i=1}^{n}\mu_i^4+2\sum_{i=1}^{n}\mu_i^2+n=\sum_{i=1}^{n}\mu_i^4+2\lambda+n \end{equation*}\]

而：

\[\begin{equation*} \operatorname{E}(X_i^4)=\mu_i^4+6\mu_i^2+3 \end{equation*}\]

于是：

\[\begin{align*} \operatorname{Var}(Y) &=\sum_{i=1}^{n}\operatorname{E}(X_i^4)-\sum_{i=1}^{n}[\operatorname{E}(X_i^2)]^2 \\ &=\sum_{i=1}^{n}\mu_i^4+6\sum_{i=1}^{n}\mu_i^2+3n-\sum_{i=1}^{n}\mu_i^4-2\lambda-n \\ &=6\lambda+3n-2\lambda-n=2n+4\lambda \end{align*}\]

(3)因为\(\mathbf{X}\sim N_n(\boldsymbol{\mu},I_n)\)，由性质 6.4.6(8)可知\(\mathbf{X}_i\)相互独立，所以\(\mathbf{X}_i^2\)相互独立。因为\(Y=\mathbf{X}^{\top}\mathbf{X}=\sum\limits_{i=1}^n\mathbf{X}_i^2\)，由性质 6.3.10(4)可知：

\[\begin{equation*} \varphi_{Y}(t)=\prod_{i=1}^n\varphi_{\mathbf{X}_i^2}(t) \end{equation*}\]

下面来求\(\varphi_{\mathbf{X}_i^2}\)。

由性质 6.4.6(3)可知\(\mathbf{X}_i\sim N(\mu_i,1)\)，于是：

\[\begin{align*} \varphi_{\mathbf{X}_i^2}(t) &=\operatorname{E}(e^{it\mathbf{X}_i^2}) \\ &=\int_{-\infty}^{+\infty}e^{itx^2}\frac{1}{\sqrt{2\pi}}e^{-\frac{(x-\mu_i)^2}{2}}\mathop{}\!\mathrm{d}x \\ &=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}\exp\left\{-\frac{x^2 - 2\mu_ix + \mu_i^2}{2} + itx^2\right\}\mathop{}\!\mathrm{d}x \\ &=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}\exp\left\{-\frac{x^2}{2} (1 - 2it) + \mu_ix - \frac{\mu_i^2}{2}\right\}\mathop{}\!\mathrm{d}x \\ &=\frac{1}{\sqrt{2\pi}}e^{-\frac{\mu_i^2}{2}} \int_{-\infty}^{\infty} \exp\left\{-\frac{x^2}{2} (1 - 2it) + \mu_ix\right\}\mathop{}\!\mathrm{d}x \end{align*}\]

这是一个Gaussian积分，由Gaussian积分公式可得：

\[\begin{align*} \varphi_{\mathbf{X}_i^2}(t) &=\frac{1}{\sqrt{2\pi}}e^{-\frac{\mu_i^2}{2}} \int_{-\infty}^{\infty}\exp\left\{-\frac{x^2}{2} (1 - 2it) + \mu_i x\right\}\mathop{}\!\mathrm{d}x \\ &=\frac{1}{\sqrt{2\pi}}e^{-\frac{\mu_i^2}{2}}\sqrt{\frac{2\pi}{1-2it}}e^{\frac{\mu_i^2}{2-4it}} =(1-2it)^{-\frac{1}{2}}\exp\left\{\frac{\mu_i^2}{2-4it}-\frac{\mu_i^2}{2}\right\} \\ &=(1-2it)^{-\frac{1}{2}}\exp\left\{\frac{it\mu_i^2}{1-2it}\right\} \end{align*}\]

于是：

\[\begin{equation*} \varphi_{Y}=\prod_{i=1}^n(1-2it)^{-\frac{1}{2}}\exp\left\{\frac{it\mu_i^2}{1-2it}\right\}=(1-2it)^{-\frac{n}{2}}\exp\left\{\frac{it\lambda}{1-2it}\right\} \end{equation*}\]

◻

6.4.8 \(t\)分布

Definition 6.35. 设随机变量\(X\sim N(0,1),\;Y\sim\chi_n^2\)且\(X\)与\(Y\)独立，则称：

\[\begin{equation*} T=\frac{X}{\sqrt{Y/ n}} \end{equation*}\]

为自由度是\(n\)的\(t\)变量，其分布称为自由度为\(n\)的\(t\)分布，记为\(T\sim \operatorname{t}_n\)。 其概率密度函数为：

\[\begin{equation*} p(x)=\frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi}\,\Gamma\left(\frac{n}{2}\right)} \left(1+\frac{x^2}{n}\right)^{-\frac{n+1}{2}},\quad x\in\mathbb{R} \end{equation*}\]

6.4.9 \(F\)分布

Definition 6.36. 设随机变量\(X\sim \chi_m^2,\;Y\sim\chi_n^2\)且\(X\)与\(Y\)独立，则称：

\[\begin{equation*} F=\frac{X/m}{Y/n} \end{equation*}\]

为自由度是\(m\)和\(n\)的\(F\)变量，其分布称为自由度为\(m\)和\(n\)的\(F\)分布，记为\(F\sim \operatorname{F}_{m,n}\)。 其概率密度函数为：

\[\begin{equation*} p(x)=\frac{1}{\operatorname{B}\left(\frac{m}{2},\frac{n}{2}\right)} \left(\frac{m}{n}\right)^{\frac{m}{2}}x^{\frac{m}{2}-1} \left(1+\frac{m}{n}x\right)^{-\frac{m+n}{2}},\quad x>0 \end{equation*}\]

Property 6.4.8. \(F\)分布具有如下性质：

1. 若\(F\sim \operatorname{F}_{m,n}\)，则有\(\frac{1}{F}\sim \operatorname{F}_{n,m}\)；

2. 若\(T\sim \operatorname{t}_n\)，则有\(T^2\sim \operatorname{F}_{1,n}\)；

3. \(\operatorname{F}_{m,n}(1-\alpha)=\dfrac{1}{\operatorname{F}_{n,m}(\alpha)}\)；

证明. (1)由\(F\)分布的定义直接可得。

(2)设：

\[\begin{equation*} T=\frac{X}{\sqrt{Y/n}} \end{equation*}\]

其中\(X\sim N(0,1),\;Y\sim\chi_n^2\)且\(X\)与\(Y\)独立，于是：

\[\begin{equation*} T^2=\frac{X^2}{Y/n}=\frac{X^2/1}{Y/n} \end{equation*}\]

注意到\(X^2\sim\chi_1^2\)且有\(X^2\)与\(Y\)独立，由\(F\)分布的定义即可得到\(T^2\sim \operatorname{F}_{1,n}\)。

(3)由分位数的定义、性质 5.2.1(2)和性质 6.1.1(1)可得：

\[\begin{gather*} P[F>\operatorname{F}_{m,n}(1-\alpha)]=\alpha \\ P\left(\frac{X/m}{Y/n}>\operatorname{F}_{m,n}(1-\alpha)\right)=\alpha \\ P\left(\frac{Y/n}{X/m}<\frac{1}{\operatorname{F}_{m,n}(1-\alpha)}\right)=\alpha \\ P\left(\frac{Y/n}{X/m}\geqslant\frac{1}{\operatorname{F}_{m,n}(1-\alpha)}\right)=1-\alpha \\ P\left(\frac{Y/n}{X/m}>\frac{1}{\operatorname{F}_{m,n}(1-\alpha)}\right)=1-\alpha \end{gather*}\]

即：

\[\begin{equation*} \operatorname{F}_{m,n}(1-\alpha)=\frac{1}{\operatorname{F}_{n,m}(\alpha)} \end{equation*}\]

◻

6.4.10 Gamma分布

Definition 6.37. 若连续型随机变量\(X\)的概率密度函数为：

\[\begin{equation*} p(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},\;x\geqslant0 \end{equation*}\]

其中\(\alpha,\lambda\in\mathbb{R}^{+}\)为参数，则称\(X\)服从Gamma分布，记作\(X\sim\operatorname{Gamma}(\alpha,\lambda)\)。\(\operatorname{Gamma}(1,\lambda)\)也称作指数分布（exponential distribution），记作\(X\sim\operatorname{Exp}(\lambda)\)。

Property 6.4.9. Gamma分布具有如下性质：

1. 若\(X\sim\operatorname{Gamma}(\alpha,\lambda)\)，则\(\operatorname{E}(X)=\dfrac{\alpha}{\lambda},\;\operatorname{Var}(X)=\dfrac{\alpha}{\lambda^2}\)；

2. 自由度为\(n\)的中心\(\chi^2\)分布为\(\operatorname{Gamma}\left(\dfrac{n}{2},\dfrac{1}{2}\right)\)；

证明. (1)由定理 5.27可得：

\[\begin{gather*} \operatorname{E}(X)=\int_{(0,+\infty)}x\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}\mathop{}\!\mathrm{d}\mu=\frac{1}{\Gamma(\alpha)}\int_{(0,+\infty)}(\lambda x)^{\alpha}e^{-\lambda x}\mathop{}\!\mathrm{d}\mu=\frac{\Gamma(\alpha+1)}{\lambda\Gamma(\alpha)}=\frac{\alpha}{\lambda} \\ \begin{aligned} \operatorname{E}(X^2)&=\int_{(0,+\infty)}x^2\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}\mathop{}\!\mathrm{d}\mu=\frac{1}{\lambda\Gamma(\alpha)}\int_{(0,+\infty)}(\lambda x)^{\alpha+1}e^{-\lambda x}\mathop{}\!\mathrm{d}\mu \\ &=\frac{\Gamma(\alpha+2)}{\lambda^2\Gamma(\alpha)}=\frac{(\alpha+1)\alpha}{\lambda^2} \end{aligned} \end{gather*}\]

根据性质 6.3.5(1)可得：

\[\begin{equation*} \operatorname{Var}(X)=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\frac{(\alpha+1)\alpha}{\lambda^2}-\frac{\alpha^2}{\lambda^2}=\frac{\alpha}{\lambda^2} \end{equation*}\]

(2) ◻

6.4.11 Beta分布

Definition 6.38. 若连续型随机变量\(X\)的概率密度函数为：

\[\begin{equation*} p(x)=\frac{1}{\operatorname{B}(a,b)}x^{a-1}(1-x)^{b-1},\;x\in(0,1) \end{equation*}\]

其中\(a,b\in\mathbb{R}^{+}\)为参数，则称\(X\)服从Beta分布，记作\(X\sim\operatorname{Beta}(a,b)\)。

Property 6.4.10. Beta分布具有如下性质：

1. 若\(X\sim\operatorname{Beta}(a,b)\)，则\(\operatorname{E}(X)=\dfrac{a}{a+b},\;\operatorname{Var}(X)=\dfrac{ab}{(a+b)^2(a+b+1)}\)；

证明. (1)由定理 5.27可得：

\[\begin{gather*} \operatorname{E}(X)=\int_{(0,1)}x\frac{1}{\operatorname{B}(a,b)}x^{a-1}(1-x)^{b-1}\mathop{}\!\mathrm{d}\mu=\frac{\operatorname{Beta}(a+1,b)}{\operatorname{B}(a,b)}=\frac{\Gamma(a+1)\Gamma(b)\Gamma(a+b)}{\Gamma(a+b+1)\Gamma(a)\Gamma(b)}=\frac{a}{a+b} \\ \begin{aligned} \operatorname{E}(X^2)&=\int_{(0,1)}x^2\frac{1}{\operatorname{B}(a,b)}x^{a-1}(1-x)^{b-1}\mathop{}\!\mathrm{d}\mu=\frac{\operatorname{Beta}(a+2,b)}{\operatorname{B}(a,b)} \\ &=\frac{\Gamma(a+2)\Gamma(b)\Gamma(a+b)}{\Gamma(a+b+2)\Gamma(a)\Gamma(b)}=\frac{a(a+1)}{(a+b)(a+b+1)} \end{aligned} \end{gather*}\]

根据性质 6.3.5(1)可得：

\[\begin{align*} \operatorname{Var}(X)&=\operatorname{E}(X^2)-[\operatorname{E}(X)]^2=\frac{a(a+1)}{(a+b)(a+b+1)}-\frac{a^2}{(a+b)^2} \\ &=\frac{a(a+1)(a+b)-a^2(a+b+1)}{(a+b)^2(a+b+1)}=\frac{a^3+a^2b+a^2+ab-a^3-a^2b-a^2}{(a+b)^2(a+b+1)} \\ &=\frac{ab}{(a+b)^2(a+b+1)} \end{align*}\]

◻

6.4.12 随机数的生成

Theorem 6.14. 设\((X,\mathscr{A},P)\)是一个概率空间，\(\mu\ll P\)，\(\tilde{\pi}:X\to[0,\infty)\)是\(\mathscr{A}\)上的可测函数，且满足：

\[\begin{equation*} Z:=\int_{X}\tilde{\pi}(x)\mathop{}\!\mathrm{d}\mu\in(0,+\infty) \end{equation*}\]

目标概率测度\(\pi\)为：

\[\begin{equation*} \pi(A):=\frac{1}{Z}\int_{A}\tilde{\pi}(x)\mathop{}\!\mathrm{d}\mu,\quad\forall A\in\mathscr{A} \end{equation*}\]

\(Q\)是一个提议概率测度且\(Q\ll\mu\)，记其Radon-Nikodym导数为\(q=\mathop{}\!\mathrm{d}Q/\mathop{}\!\mathrm{d}\mu\)。若存在常数\(M\in(0,+\infty)\)使得：

\[\begin{equation*} \tilde{\pi}(x)\leqslant Mq(x)\;\text{a.e. 于}(X,\mathscr{A},\mu) \end{equation*}\]

考虑如下接受–拒绝采样算法：

1. 生成\(f\sim Q\)；

2. 在与\(f\)独立的条件下生成\(U\sim\mathrm{Unif}(0,1)\)；

3. 若

   \[\begin{equation*} U\leqslant\alpha(f):=\frac{\tilde{\pi}(f)}{Mq(f)}, \end{equation*}\]

   则接受\(f\)，否则拒绝并返回第\(1\)步重新生成。

记单次试验中的接受事件为\(B=\{U\leqslant\alpha(f)\}\)，则有以下结论成立：

1. 给定接受事件\(B\)，随机变量\(f\)的条件分布恰为目标分布\(\pi\)，即：

   \[\begin{equation*} P(f\in A|B)=\pi(A),\quad\forall A\in\mathscr{A} \end{equation*}\]

2. 单次试验的接受概率为：

   \[\begin{equation*} P(A)=\frac{Z}{M} \end{equation*}\]

3. 设\(Y\)为算法第一次被接受时输出的样本，则

   \[\begin{equation*} Y\sim \pi \end{equation*}\]

证明. (1)任取\(A\in\mathscr{A}\)。由全概率公式以及\(U\)与\(f\)的独立性，

\[\begin{equation*} P(f\in A,B)=\int_{A}P(f=x,B)Q(\mathop{}\!\mathrm{d}x)=\int_{A}\frac{P(B)Q(\mathop{}\!\mathrm{d}x)}{Q(\mathop{}\!\mathrm{d}x)}Q(\mathop{}\!\mathrm{d}x)=\int_{A}P(B|f=x)Q(\mathop{}\!\mathrm{d}x) \end{equation*}\]

又由于\(U\sim\mathrm{Unif}(0,1)\)，且由支配条件\(\tilde{\pi}(x)\le M q(x)\)可知\(0\le \alpha(x)\le 1\)，从而

\[\begin{equation*} \mathbb{P}(A\mid X=x) =\mathbb{P}(U\le \alpha(x)) =\alpha(x) =\frac{\tilde{\pi}(x)}{M q(x)},\qquad \mu\text{-a.e.} \end{equation*}\]

利用\(Q(dx)=q(x)\,d\mu(x)\)，得到

\[\begin{equation*} \mathbb{P}(X\in B,A) =\int_{B}\frac{\tilde{\pi}(x)}{M q(x)}\,q(x)\,d\mu(x) =\frac{1}{M}\int_{B}\tilde{\pi}(x)\,d\mu(x). \end{equation*}\]

第二步：计算接受概率\(\mathbb{P}(A)\)。

取\(B=\mathcal{X}\)，由上式直接得到

\[\begin{equation*} \mathbb{P}(A) =\frac{1}{M}\int_{\mathcal{X}}\tilde{\pi}(x)\,d\mu(x) =\frac{Z}{M}, \end{equation*}\]

从而证明(ii)。

第三步：确定条件分布\(\mathcal{L}(X\mid A)\)。

由条件概率定义以及前两步，

\[\begin{align*} \mathbb{P}(X\in B\mid A) &=\frac{\mathbb{P}(X\in B,A)}{\mathbb{P}(A)} \\ &=\frac{\frac{1}{M}\int_{B}\tilde{\pi}(x)\,d\mu(x)}{\frac{1}{M}\int_{\mathcal{X}}\tilde{\pi}(x)\,d\mu(x)} \\ &=\frac{1}{Z}\int_{B}\tilde{\pi}(x)\,d\mu(x) =\Pi(B), \end{align*}\]

这即证明了(i)。

第四步：算法输出样本的分布。

设\((X_k,U_k)_{k\ge1}\)是独立同分布的试验序列，定义

\[\begin{equation*} A_k:=\{U_k\le \alpha(X_k)\},\qquad T:=\inf\{k\ge1:A_k\text{发生}\},\qquad Y:=X_T. \end{equation*}\]

则\(Y\)即算法的输出样本。

对任意\(B\in\mathcal{B}\)，有

\[\begin{align*} \mathbb{P}(Y\in B) &=\sum_{k=1}^{\infty}\mathbb{P}(T=k,X_k\in B) \\ &=\sum_{k=1}^{\infty}\mathbb{P}(A_1^c,\dots,A_{k-1}^c)\,\mathbb{P}(A_k,X_k\in B). \end{align*}\]

由于各次试验独立同分布，

\[\begin{equation*} \mathbb{P}(A_1^c,\dots,A_{k-1}^c)=(1-\mathbb{P}(A))^{k-1}, \qquad \mathbb{P}(A_k,X_k\in B)=\mathbb{P}(A,X\in B). \end{equation*}\]

因此

\[\begin{align*} \mathbb{P}(Y\in B) &=\left[\sum_{k=1}^{\infty}(1-\mathbb{P}(A))^{k-1}\right]\mathbb{P}(A,X\in B) \\ &=\frac{1}{\mathbb{P}(A)}\mathbb{P}(A,X\in B) =\mathbb{P}(X\in B\mid A) =\Pi(B), \end{align*}\]

其中最后一步由(i)成立。

故\(Y\sim\Pi\)，从而证明(iii)。证毕。 ◻

6.5 多元分布

6.5.1 Wishart分布

Definition 6.39. 设\(\mathbf{X_i}\text{i.i.d.}\sim\operatorname{N}_p(\mathbf{0},\Sigma),\;i=1,2,\dots,n,\;\Sigma>\mathbf{0},n\geqslant p\)，记\(\mathbf{X}=(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_n})^{\top}\)，称随机矩阵：

\[\begin{equation*} \mathbf{W}=\mathbf{X}^{\top}\mathbf{X}=\sum_{i=1}^{n}\mathbf{X_i}\mathbf{X_i}^{\top} \end{equation*}\]

所服从的分布为自由度为\(n\)的\(p\)维中心Wishart分布，记为\(\mathbf{W}\sim\operatorname{W}_p(n,\Sigma)\)。

Property 6.5.1. Wishart分布具有如下性质：

1. 若\(\mathbf{W}_i\sim\operatorname{W}_p(n_i,\Sigma),\;i=1,2,\dots,m\)且相互独立，则：

   \[\begin{equation*} \sum_{i=1}^{m}\mathbf{W}_i\sim\operatorname{W}_p\left(\sum_{i=1}^{m}n_i,\Sigma\right) \end{equation*}\]

2. 若\(\mathbf{W}\sim\operatorname{W}_p(n,\Sigma)\)，\(C\in M_{m\times p}(\mathbb{R}^{})\)且可逆，则：

   \[\begin{equation*} C\mathbf{W}C^{\top}\sim\operatorname{W}_m(n, C\Sigma C^{\top}) \end{equation*}\]

3. 若\(\mathbf{W}\sim\operatorname{W}_p(n,\Sigma)\)，\(\alpha\in\mathbb{R}^{p}\)是任意常数向量，且\(\alpha^{\top}\Sigma\alpha\ne0\)，则：

   \[\begin{equation*} \frac{\alpha^{\top}\mathbf{W}\alpha}{\alpha^{\top}\Sigma\alpha}\sim\chi_n^2 \end{equation*}\]

4. 若\(\mathbf{W}\sim\operatorname{W}_p(n,\Sigma)\)，\(\alpha\in\mathbb{R}^{p}\)是任一非零常数向量，则：

   \[\begin{equation*} \frac{\alpha^{\top}\Sigma^{-1}\alpha}{\alpha^{\top}\mathbf{W}^{-1}\alpha}\sim\chi_{n-p+1}^2 \end{equation*}\]

证明. (1)由Wishart分布的定义和：

\[\begin{equation*} \sum_{i=1}^{m}\mathbf{W}_i=\sum_{i=1}^{m}\sum_{j=1}^{n_i}\mathbf{X_{ij}}\mathbf{X_{ij}}^{\top} \end{equation*}\]

立即可得。

(2)因为\(C\mathbf{X}^{\top}=(C\mathbf{X_1},C\mathbf{X_2},\dots,C\mathbf{X_n})\)，由性质 6.4.6(2)可得\(C\mathbf{X_i}\sim\operatorname{N}_m(\mathbf{0},C\Sigma C^{\top})\)且相互独立。由定义即可得到：

\[\begin{equation*} C\mathbf{W}C^{\top}=C\mathbf{X}^{\top}\mathbf{X}C^{\top}\sim\operatorname{W}_m(n,C\Sigma C^{\top}) \end{equation*}\]

(3)注意到：

\[\begin{equation*} \alpha^{\top}\mathbf{W}\alpha=\sum_{i=1}^{n}\alpha^{\top}\mathbf{X_i}\mathbf{X_i}^{\top}\alpha=\sum_{i=1}^{n}(\alpha^{\top}\mathbf{X_i})^2 \end{equation*}\]

由定理 6.13可知\(\alpha^{\top}\mathbf{X_i}\sim\operatorname{N}(0,\alpha^{\top}\Sigma\alpha)\)且相互独立。因为\(\Sigma>\mathbf{0},\;\alpha^{\top}\Sigma\alpha\ne0\)，所以\(\alpha^{\top}\Sigma\alpha>0\)，即\((\alpha^{\top}\Sigma\alpha)^{-\frac{1}{2}}\)存在。由定理 6.13可知：

\[\begin{equation*} \frac{\alpha^{\top}\mathbf{X_i}}{(\alpha^{\top}\Sigma\alpha)^{\frac{1}{2}}}\sim\operatorname{N}(0,1) \end{equation*}\]

所以：

\[\begin{equation*} \frac{\alpha^{\top}\mathbf{W}\alpha}{\alpha^{\top}\Sigma\alpha}=\frac{\sum\limits_{i=1}^{n}(\alpha^{\top}\mathbf{X_i})^2}{\alpha^{\top}\Sigma\alpha}=\sum_{i=1}^{n}\left(\frac{\alpha^{\top}\mathbf{X_i}}{(\alpha^{\top}\Sigma\alpha)^{\frac{1}{2}}}\right)^2\sim\chi_n^2 \end{equation*}\]

(4)不给予证明。 ◻

6.5.2 \(T^2\)分布

Definition 6.40. 设\(\mathbf{W}\sim\operatorname{W}_p(n,\Sigma),\;\mathbf{X}\sim\operatorname{N}_p(\mathbf{0},c\Sigma),\;c>0,\Sigma>\mathbf{0},n\geqslant p\)，\(\mathbf{W}\)与\(\mathbf{X}\)相互独立，则称随机变量：

\[\begin{equation*} T^2=\frac{n}{c}\mathbf{X}^{\top}\mathbf{W}^{-1}\mathbf{X} \end{equation*}\]

所服从的分布为第一自由度为\(p\)、第二自由度为\(n\)的中心\(T^2\)分布，记为\(T^2\sim T^2(p,n)\)。

Property 6.5.2. \(T^2\)分布有如下性质：

1. 设\(\mathbf{X}\sim\operatorname{N}_p(\boldsymbol{\mu},c\Sigma),\;\mathbf{W}\sim\mathbf{W}_p(n,\Sigma)\)，\(\mathbf{X}\)与\(\mathbf{W}\)相互独立，则：

   \[\begin{equation*} \frac{n}{c}(\mathbf{X}-\boldsymbol{\mu})^{\top}\mathbf{W}^{-1}(\mathbf{X}-\boldsymbol{\mu})\sim T^2(p,n) \end{equation*}\]

2. \(T^2\)分布可化为中心\(F\)分布：

   \[\begin{equation*} \frac{n-p+1}{pn}T^2(p,n)=F(p,n-p+1) \end{equation*}\]

证明. (1)由\(T^2\)分布的定义立即可得。

(2)不给予证明。 ◻

6.5.3 Wilks分布

Definition 6.41. 设\(\mathbf{W}_1\sim\operatorname{W}_p(m,\Sigma),\;\mathbf{W}_2\sim\operatorname{W}_p(n,\Sigma),\;\Sigma>\mathbf{0},\;m,n>p\)，\(\mathbf{W}_1\)与\(\mathbf{W}_2\)独立，称随机变量：

\[\begin{equation*} \varLambda=\frac{\det\mathbf{W}_1}{\det(\mathbf{W}_1+\mathbf{W}_2)} \end{equation*}\]

所服从的分布为维数为\(p\)、第一自由度为\(m\)、第二自由度为\(n\)的Wilks\(\varLambda\)分布，记为\(\varLambda\sim\varLambda(p,m,n)\)。

---

1. 此处极限符号的含义为\(x_1, x_2, \dots, x_{n}\)中存在\(x_i\to-\infty\)或\(x_i\to+\infty\)。

2. 从这里开始我们可能会混用初等概率论的记号，即用\(P(f=x_n)\)来表示\(P(\{f=x_n\})\)。