第 7 章 渐进理论初步
7.0.0.1 几乎必然收敛
Definition 7.1. 设\(\{f_n\}\)和\(f\)是概率空间\((X,\mathscr{F},P)\)上的\(m\)维随机向量。若：
\[\begin{equation*} P\left(\lim_{n\to+\infty}f_n\ne f\right)=0 \end{equation*}\]
则称\(\{f_n\}\)几乎必然收敛到\(f\)，记作\(f_n\overset{\text{a.s.}}{\longrightarrow}f\)。
Property 7.0.9. 设\(f_n=(f_{n1},\dots,f_{nm})^{\top}\)和\(f=(f_1,\dots,f_m)^{\top}\)为概率空间\((X,\mathscr{F},P)\)上的\(m\)维随机向量。\(f_n\overset{\text{a.s.}}{\longrightarrow}f\)当且仅当对任意的\(i=1,2,\dots,m\)都有\(f_{ni}\overset{\text{a.s.}}{\longrightarrow}f_i\)。
证明. (1)必要性：此时存在\(A\in\mathscr{F}\)满足\(P(A)=0\)并且对任意\(x\in A^c\)都有\(f_n(x)\to f(x)\)。任取\(x\in A^c\)，由性质 3.2.10(2)可知对任意的\(i=1,2,\dots,m\)有\(f_{ni}(x)\to f_i(x)\)，根据\(x\)的任意性可知\(f_{ni}\overset{\text{a.s.}}{\longrightarrow}f_i\)。
(2)充分性：令：
\[\begin{equation*} A_i=\left\{x\in X:\lim_{n\to+\infty}f_{ni}(x)\ne f_i(x)\right\} \end{equation*}\]
则\(P(A_i)=0\)。由性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可知
\[\begin{equation*} P\left(\underset{i=1}{\overset{m}{\cup}}A_i\right)\leqslant\sum_{i=1}^{m}P(A_i)=0 \end{equation*}\]
对任意的\(x\in\left(\underset{i=1}{\overset{m}{\cup}}A_i\right)^c\)，根据性质 3.2.10(2)可知\(f_n(x)\to f(x)\)，由\(x\)的任意性可得\(f_n\overset{\text{a.s.}}{\longrightarrow}f\)。 ◻
7.0.0.2 依概率收敛
Definition 7.2. 设\(\{f_n\}\)和\(f\)是概率空间\((X,\mathscr{F},P)\)上的\(m\)维随机向量。如果对任意的\(\varepsilon>0\)都有：
\[\begin{equation*} \lim_{n\to+\infty}P(||f_n-f||\geqslant\varepsilon)=0 \end{equation*}\]
则称\(\{f_n\}\)依概率收敛（convergent in probability）到\(f\)，记为\(f_n\overset{P}{\longrightarrow}f\)。
Property 7.0.10. 设\((X,\mathscr{F},P)\)为概率空间，\(\{f_n\},\{g_n\},\{h_n\}\)和\(f,g\)分别是其上的随机变量列和随机变量，其中\(f_n\overset{P}{\longrightarrow}f,\;g_n\overset{P}{\longrightarrow}g\)，\(\{h_n\}\)也是一个实数列，\(a,b\in\mathbb{R}\)，则：
若\(h_n\to a\)，则\(h_n\overset{P}{\longrightarrow}a\)；
\(f_n\pm g_n\overset{P}{\longrightarrow}f\pm g\)；
\(f_ng_n\overset{P}{\longrightarrow}fg\)；
若\(P(g=0)=0\)，则\(\dfrac{f_n}{g_n}\overset{P}{\longrightarrow}\dfrac{f}{g}\)。
证明. (1)由数列极限的定义，对任意的\(\varepsilon>0\)，存在\(N\in\mathbb{N}^+\)，当\(n>N\)时有\(|h_n-a|<\varepsilon\)，即\(P(\{|h_n-a|\geqslant\varepsilon\})=0\)，也即\(h_n\overset{P}{\longrightarrow}a\)。
(2)若\(|f_n-f|<\dfrac{\varepsilon}{2}\)且\(|g_n-g|<\dfrac{\varepsilon}{2}\)，由绝对值不等式可得：
\[\begin{equation*} |f_n\pm g_n-(f\pm g)|\leqslant|f_n-f|+|g_n-g|<\varepsilon \end{equation*}\]
所以有：
\[\begin{equation*} \left\{|f_n-f|<\frac{\varepsilon}{2}\right\}\cap\left\{|g_n-g|<\frac{\varepsilon}{2}\right\}\subseteq\{|f_n\pm g_n-(f\pm g)|<\varepsilon\} \end{equation*}\]
根据性质 5.1.1(7)即：
\[\begin{equation*} \{|f_n\pm g_n-(f\pm g)|\geqslant\varepsilon\}\subseteq\left\{|f_n-f|\geqslant\frac{\varepsilon}{2}\right\}\cup\left\{|g_n-g|\geqslant\frac{\varepsilon}{2}\right\} \end{equation*}\]
于是对任意的\(\varepsilon>0\)有：
\[\begin{equation*} \{|f_n\pm g_n-(f\pm g)|\geqslant\varepsilon\}\subseteq\left\{|f_n-f|\geqslant\frac{\varepsilon}{2}\right\}\cup\left\{|g_n-g|\geqslant\frac{\varepsilon}{2}\right\} \end{equation*}\]
根据性质 5.3.3(5)(2)可知上述集合都是可测集，由性质 5.2.1(3)（单调性，次有限可加性）和性质 3.2.9(8.b)可得：
\[\begin{equation*} P(\{|f_n\pm g_n-(f\pm b)|\geqslant\varepsilon\})\leqslant P\left(\left\{|f_n-f|\geqslant\frac{\varepsilon}{2}\right\}\right)+P\left(\left\{|g_n-g|\geqslant\frac{\varepsilon}{2}\right\}\right)\to0 \end{equation*}\]
根据测度的非负性即\(f_n\pm g_n\overset{P}{\longrightarrow}f\pm g\)。
(2)先证\(f=g=0\)时的情况。对任意的\(\varepsilon>0\)，当\(f_n<\sqrt{\varepsilon},g_n<\sqrt{\varepsilon}\)时，\(f_ng_n<\varepsilon\)，所以有：
\[\begin{equation*} \{|f_n|<\sqrt{\varepsilon}\}\cap\{|g_n|<\sqrt{\varepsilon}\}\subseteq\{|f_ng_n|<\varepsilon\} \end{equation*}\]
由性质 5.1.1(7)即：
\[\begin{equation*} \{|f_ng_n|\geqslant\varepsilon\}\subseteq\{|f_n|\geqslant\sqrt{\varepsilon}\}\cup\{|g_n|\geqslant\sqrt{\varepsilon}\} \end{equation*}\]
根据性质 5.2.1(3)（次有限可加性）和性质 3.2.9(8.b)可得：
\[\begin{equation*} P(\{|f_ng_n|\geqslant\varepsilon\})\leqslant P(\{|f_n|\geqslant\sqrt{\varepsilon}\})+P(\{|g_n|\geqslant\sqrt{\varepsilon}\})\to0 \end{equation*}\]
根据测度的非负性即\(f_ng_n\overset{P}{\longrightarrow}0\)。
对于一般的情况，注意到：
\[\begin{equation*} f_ng_n-fg=(f_n-f)(g_n-g)+f(g_n-g)+g(f_n-f) \end{equation*}\]
即：
\[\begin{equation*} |f_ng_n-fg|\leqslant|f_n-f||g_n-g|+|f||g_n-g|+|g||f_n-f| \end{equation*}\]
于是对任意的\(\varepsilon>0\)有：
\[\begin{equation*} \left\{|f_n-f||g_n-g|<\frac{\varepsilon}{3}\right\}\cap\left\{|f||g_n-g|<\frac{\varepsilon}{3}\right\}\cap\left\{|g||f_n-f|<\frac{\varepsilon}{3}\right\}\subseteq\{|f_ng_n-fg|<\varepsilon\} \end{equation*}\]
由性质 5.1.1(7)即：
\[\begin{equation*} \{|f_ng_n-fg|\geqslant\varepsilon\}\subseteq\left\{|f_n-f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\cup\left\{|f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\cup\left\{|g||f_n-f|\geqslant\frac{\varepsilon}{3}\right\} \end{equation*}\]
由性质 5.3.3(5)(2)可知上述集合都是可测集，根据性质 5.2.1(3)（单调性，次有限可加性）可得：
\[\begin{align*} P(\{|f_ng_n-fg|\geqslant\varepsilon\})&\leqslant P\left(\left\{|f_n-f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\right)+P\left(\left\{|f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\right) \\ &\quad+P\left(\left\{|g||f_n-f|\geqslant\frac{\varepsilon}{3}\right\} \right) \end{align*}\]
因为\(f_n\overset{P}{\longrightarrow}f,g_n\overset{P}{\longrightarrow}g\)，所以\(f_n-f\overset{P}{\longrightarrow}0,g_n-g\overset{P}{\longrightarrow}0\)，所以\((f_n-f)(g_n-g)\overset{P}{\longrightarrow}0\)，即：
\[\begin{equation*} \lim_{n\to+\infty}P\left(\left\{|f_n-f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\right)=0 \end{equation*}\]
对给定的\(M>0\)，有：
\[\begin{align*} &\left\{|f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}=\left\{|f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\cap X \\ =&\left\{|f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\cap\Big\{\{|f|>M\}\cup\{|f|\leqslant M\}\Big\} \\ =&\Big\{\left\{|f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\cap\{|f|>M\}\Big\}\cup\Big\{\left\{|f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\cap\{|f|\leqslant M\}\Big\} \\ &\subseteq\{|f|>M\}\cup\left\{|g_n-g|\geqslant\frac{\varepsilon}{3M}\right\} \end{align*}\]
由性质 5.2.1(3)（单调性，次有限可加性）可得：
\[\begin{equation*} P\left(\left\{|f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\right)\leqslant P(\{|f|>M\})+P\left(\left\{|g_n-g|\geqslant\frac{\varepsilon}{3M}\right\}\right) \end{equation*}\]
\[\begin{equation*} \lim_{n\to+\infty}P\left(\left\{|f||g_n-g|\geqslant\frac{\varepsilon}{3}\right\}\right)\leqslant P(\{|f|>M\}) \end{equation*}\]
同理可得：
\[\begin{equation*} \lim_{n\to+\infty}P\left(\left\{|g||f_n-f|\geqslant\frac{\varepsilon}{3}\right\}\right)\leqslant P(\{|g|>M\}) \end{equation*}\]
于是有：
\[\begin{equation*} \lim_{n\to+\infty}P(\{|f_ng_n-fg|\geqslant\varepsilon\})\leqslant P(\{|f|>M\})+P(\{|g|>M\}) \end{equation*}\]
对任意的\(M>0\)成立。因为\(f,g\)是随机变量，根据下确界的不等式性、测度的非负性和性质 3.2.9(6)可得：
\[\begin{equation*} \lim_{n\to+\infty}P(\{|f_ng_n-fg|\geqslant\varepsilon\})=0 \end{equation*}\]
即\(f_ng_n\overset{P}{\longrightarrow}fg\)。
(4) ◻
7.0.0.3 依分布收敛
Definition 7.3. 设\(\{f_n\}\)和\(f\)为\(m\)维函数。若对\(f\)的每一个连续点\(x\)都有：
\[\begin{equation*} \lim_{n\to+\infty}f_n(x)=f(x) \end{equation*}\]
则称\(f_n\)弱收敛于\(f\)，记作\(f_n\overset{w}{\longrightarrow}f\)。
Definition 7.4. 设\(\{f_n\sim F_n\}\)是概率空间\((X,\mathscr{F},P)\)上的\(m\)维随机向量序列，\(F\)是一个\(m\)维分布函数。若\(F_n\overset{w}{\longrightarrow}F\)，则称\(\{f_n\}\)依分布收敛（convergent in distribution），记为\(f_n\overset{d}{\longrightarrow}F\)。若此时概率空间\((X,\mathscr{F},P)\)上的\(m\)维随机向量\(f\sim F\)，则称随机向量序列\(\{f_n\}\)依分布收敛到\(f\)，记为\(f_n\overset{d}{\longrightarrow}f\)。
Theorem 7.1. 设\(\{f_n\}\)和\(f\)为测度空间\((X,\mathscr{F},\mu)\)上的可测函数，则：
\(f_n\overset{P}{\longrightarrow}f\)可推出\(f_n\overset{d}{\longrightarrow}f\)；
当\(f\)为常值函数时，\(f_n\overset{P}{\longrightarrow}f\iff f_n\overset{d}{\longrightarrow}f\)
证明. (1)记\(F\)为\(f\)的分布函数，\(F_n\)为\(f_n\)的分布函数。因为\(f_n\overset{P}{\longrightarrow}f\)，所以对任意的\(\varepsilon>0\)，有：
\[\begin{equation*} \lim_{n\to+\infty}P(|f_n-f|\geqslant\varepsilon)=0 \end{equation*}\]
对任意的\(x\in X\)、任意的\(\varepsilon>0\)和任意的\(n\in \mathbb{N}^+\)，由性质 5.2.1(3)（次有限可加性，单调性）可得：
\[\begin{align*} F_n(x)&=P(f_n\leqslant x) \\ &\leqslant P(f_n\leqslant x,|f_n-f|<\varepsilon)+P(f_n\leqslant x,|f_n-f|\geqslant\varepsilon) \\ &\leqslant P(f\leqslant x+\varepsilon)+P(|f_n-f|\geqslant\varepsilon) \end{align*}\]
第二行到第三行第一式的变化是因为：
\[\begin{equation*} \{|f_n-f|<\varepsilon\}\subseteq\{f<f_n+\varepsilon\},\quad\{f_n\leqslant x\}\cap\{|f_n-f|<\varepsilon\}\subseteq\{f<x+\varepsilon\} \end{equation*}\]
由性质 3.2.9(6)(8.b)可得：
\[\begin{equation*} \lim_{n\to+\infty}F_n(x)\leqslant P(f<x+\varepsilon)+\lim_{n\to+\infty}P(|f_n-f|\geqslant\varepsilon)=P(f<x+\varepsilon) \end{equation*}\]
由\(\varepsilon\)的任意性可得：
\[\begin{equation*} \lim_{n\to+\infty}F_n(x)\leqslant F(x) \end{equation*}\]
对任意的\(x\in X\)、任意的\(\varepsilon>0\)和任意的\(n\in \mathbb{N}^+\)，由性质 5.2.1(3)（次有限可加性，单调性）可得：
\[\begin{align*} P(f\leqslant x-\varepsilon)&\leqslant P(f\leqslant x-\varepsilon,|f_n-f|<\varepsilon)+P(f\leqslant x-\varepsilon,|f_n-f|\geqslant \varepsilon) \\ &\leqslant P(f_n<x)+P(|f_n-f|\geqslant\varepsilon)\leqslant P(f_n\leqslant x)+P(|f_n-f|\geqslant\varepsilon) \end{align*}\]
由性质 3.2.9(6)(8.b)可得：
\[\begin{equation*} P(f\leqslant x-\varepsilon)\leqslant\lim_{n\to+\infty}P(f_n\leqslant x)+\lim_{n\to+\infty}P(|f_n-f|\geqslant\varepsilon)=\lim_{n\to+\infty}F_n(x) \end{equation*}\]
于是：
\[\begin{equation*} P(f\leqslant x-\varepsilon)\leqslant\lim_{n\to+\infty}F_n(x) \end{equation*}\]
若\(F(x)\)在\(x\)处连续，就有：
\[\begin{equation*} \lim_{\varepsilon\to0}P(f\leqslant x-\varepsilon)=\lim_{\varepsilon\to0}F(x-\varepsilon)=F(x) \end{equation*}\]
由性质 3.3.3(4)可知：
\[\begin{equation*} F(x)\leqslant\lim_{n\to+\infty}F_n(x) \end{equation*}\]
所以在\(F\)的连续点\(x\)处有：
\[\begin{equation*} \lim_{n\to+\infty}F_n(x)=F(x) \end{equation*}\]
即\(f_n\overset{d}{\longrightarrow}f\)。
(2)设\(f=c\)且\(f_n\overset{d}{\longrightarrow}f\)，对任意的\(\varepsilon>0\)，由性质 5.2.1(1)(3)（单调性）(2)可得：
\[\begin{align*} &P(\{|f_n-f|\geqslant\varepsilon\})=P(\{f_n\geqslant f+\varepsilon\})+P(\{f_n\leqslant f-\varepsilon\}) \\ &\leqslant P\left(\left\{f_n>f+\frac{\varepsilon}{2}\right\}\right)+P(\{f_n\leqslant f-\varepsilon\})=1-F_n\left(c+\frac{\varepsilon}{2}\right)+F_n(c-\varepsilon) \end{align*}\]
因为\(f\)为常值函数，所以\(F\)在除\(c\)点以外的点都连续。由依分布收敛的定义和分布函数的右连续性可得：
\[\begin{equation*} \lim_{\varepsilon\to0+}\left[\lim_{n\to+\infty}F_n\left(c+\frac{\varepsilon}{2}\right)\right]=F(c)=1,\quad\lim_{\varepsilon\to0+}\left[\lim_{n\to+\infty}F_n(c-\varepsilon)\right]=0 \end{equation*}\]
根据性质 3.2.9(6)(8.b)、性质 3.3.3(4)和测度的非负性可得：
\[\begin{equation*} \lim_{n\to+\infty}P(\{|f_n-f|\geqslant\varepsilon\})=0 \end{equation*}\]
即\(f_n\overset{P}{\longrightarrow}f\)。结合(1)即可得出结论。 ◻
Theorem 7.2. （Slutsky Theorem）
设\(\{f_n\}\)和\(\{g_n\}\)是概率空间\((X,\mathscr{F},P)\)上的随机变量序列，\(f\)是\((X,\mathscr{F},P)\)上的随机变量，\(c\in\mathbb{R}\)。若：
\[\begin{equation*} f_n\overset{d}{\longrightarrow}f,\quad g_n\overset{P}{\longrightarrow}c \end{equation*}\]
则：
\(f_n+g_n\overset{d}{\longrightarrow}f+c\)；
\(g_nf_n\overset{d}{\longrightarrow}cf\)；
当\(c\ne0\)时，\(\dfrac{f_n}{g_n}\overset{d}{\longrightarrow}\dfrac{f}{c}\)。
Theorem 7.3. 设\(\{f_n\}\)和\(f\)分别是概率空间\((X,\mathscr{F},P)\)上的\(m\)维随机向量序列和\(m\)维随机向量，\(g\)是从\((\mathbb{R}^{m},\mathcal{B}(\mathbb{R}^{m}))\)到\((\mathbb{R}^{p},\mathcal{B}(\mathbb{R}^{p}))\)的可测映射。若\(g\)连续a.s.于\((\mathbb{R}^{m},\mathcal{B}(\mathbb{R}^{m}),Pf^{-1})\)，则：
\(f_n\overset{\text{a.s.}}{\longrightarrow}f\Rightarrow g(f_n)\overset{\text{a.s.}}{\longrightarrow}g(f)\)；
\(f_n\overset{P}{\longrightarrow}f\Rightarrow g(f_n)\overset{P}{\longrightarrow}g(f)\)；
\(f_n\overset{d}{\longrightarrow}f\Rightarrow g(f_n)\overset{d}{\longrightarrow}g(f)\)。
证明. 记\(D_g\)为\(g\)的不连续点集，由条件可知\(D_g\in\mathcal{B}(\mathbb{R}^{m})\)。
(1)记：
\[\begin{equation*} A=\left\{x\in X:\lim_{n\to+\infty}f_n\ne f\right\},\quad B=f^{-1}(D_g) \end{equation*}\]
由条件、性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可知\(P(A)=P(B)=P(A\cup B)=0\)，。任取\(x\in(A\cup B)^c\)，有\(f_n(x)\to f(x)\)且\(g\)在\(f(x)\)处连续，所以\(g[f_n(x)]\to g[f(x)]\)，即\(g(f_n)\overset{\text{a.s.}}{\longrightarrow}g(f)\)。
(2) ◻
7.1 大数定律
Definition 7.5. 设\(\{f_n\}\)是概率空间\((X,\mathscr{F},P)\)上的随机变量序列。记\(\mathscr{A}_n=\sigma(\{f_k:k\geqslant n\})\)，由性质 5.1.6(5)可知：
\[\begin{equation*} \mathscr{A}=\underset{n=1}{\overset{+\infty}{\cap}}\mathscr{A}_n \end{equation*}\]
也是一个\(\sigma\)域，称\(\mathscr{A}\)为\(\{f_n\}\)的尾\(\sigma\)域，\(\mathscr{A}\)中的事件被称为尾事件，称关于\(\mathscr{A}\)可测的随机变量为尾随机变量。
note 7.1. 从尾事件和尾随机变量的定义可以看出：一个事件如果是否发生只取决于”从某一项以后一直怎么样”，而不取决于前面有限项具体取什么值，那它就是尾事件。同理，一个随机变量如果它的取值只由”无穷远处的尾部”决定，而前面有限项怎么改都不影响它，那它就是尾随机变量。
Property 7.1.1. 设\(\{f_n\}\)是概率空间\((X,\mathscr{F},P)\)上的随机变量序列，\(\mathscr{A}\)为\(\{f_n\}\)的尾\(\sigma\)域，则：
\(\sum\limits_{n=1}^{+\infty}f_n\)收敛是尾事件；
若\(\lim\limits_{n\to+\infty}\dfrac{1}{n}\sum\limits_{i=1}^{n}f_i\)处处存在且有限，则该极限是尾随机变量。
证明. (1)记\(C=\left\{x\in X:\sum\limits_{n=1}^{+\infty}f_n(x)\text{收敛}\right\}\)。任取\(m\in\mathbb{N}^+\)，因为去掉有限项不改变级数的收敛性，由级数收敛的Cauchy判别法可得：
\[\begin{equation*} C=\bigcap_{r=1}^{+\infty}\bigcup_{N=m}^{+\infty}\bigcap_{p=N}^{+\infty}\bigcap_{q=p}^{+\infty}\left\{\left|\sum_{i=p}^{q}f_i\right|<\frac{1}{r}\right\} \end{equation*}\]
因为\(p\geqslant N\geqslant m\)，根据性质 5.3.3(5.a)可知\(\sum\limits_{i=p}^{q}f_i\)关于\(\mathscr{A}_m=\sigma(\{f_k:k\geqslant m\})\)可测。由性质 5.3.3(5.d)(1.a)和性质 5.1.6(2)可知\(C\in\mathscr{A}_m\)。根据\(m\)的任意性可得\(C\in\bigcap\limits_{m=1}^{+\infty}\mathscr{A}_m=\mathscr{A}\)，即\(C\)是尾事件。
(2)记\(S_n=\dfrac{1}{n}\sum\limits_{i=1}^{n}f_i\)。任取\(m\in\mathbb{N}^+\)，对\(n\geqslant m\)记\(S_n^{(m)}=\dfrac{1}{n}\sum\limits_{i=m}^{n}f_i\)，由性质 5.3.3(5.a)可知\(S_n^{(m)}\)关于\(\mathscr{A}_m\)可测。对任意的\(x\in X\)，根据性质 3.2.9(8.b)可得：
\[\begin{equation*} \lim_{n\to+\infty}S_n(x)=\lim_{n\to+\infty}\left[S_n^{(m)}(x)+\frac{1}{n}\sum_{i=1}^{m-1}f_i(x)\right]=\lim_{n\to+\infty}S_n^{(m)}(x) \end{equation*}\]
其中\(m=1\)时空和取\(0\)。由性质 5.3.3(6)即可得出结论。 ◻
Theorem 7.4. （Kolmogorov 0-1 Law）
设\(\{f_n\}\)是概率空间\((X,\mathscr{F},P)\)上相互独立的随机变量序列，则：
关于\(\{f_n\}\)的任一尾事件\(A\)，\(P(A)\)只能是\(0\)或者\(1\)；
关于\(\{f_n\}\)的任一尾随机变量为常数a.s.于\((X,\mathscr{A},P)\)。
证明. (1)对任意的\(n\in\mathbb{N}^+\)，令\(\mathscr{B}_n=\sigma(\{f_1,f_2,\dots,f_n\})\)，由性质 6.2.1(6)可知\(\mathscr{B}_n\)和\(\mathscr{A}_{n+1}\)独立，而\(\mathscr{A}\subseteq\mathscr{A}_{n+1}\)，所以\(\mathscr{B}_n\)和\(\mathscr{A}\)独立，\(\underset{n=1}{\overset{+\infty}{\cup}}\mathscr{B}_n\)与\(\mathscr{A}\)独立。令\(\mathscr{B}=\sigma\left(\underset{n=1}{\overset{+\infty}{\bigcup}}\mathscr{B}_n\right)\)，由\(\mathscr{B}_n\)的递增性和性质 5.1.6(2)可知\(\underset{n=1}{\overset{+\infty}{\cup}}\mathscr{B}_n\)是\(\pi\)系，根据性质 6.2.1(2)可得\(\mathscr{B}\)和\(\mathscr{A}\)独立。因为\(f_n\)关于\(\mathscr{B}_n\)可测，所以\(\sigma(\{f_n\})\subseteq\mathscr{B}\)；因为\(\mathscr{B}_n\subseteq\sigma(\{f_n\})\)，所以\(\mathscr{B}\subseteq\sigma(\{f_n\})\)，即\(\mathscr{B}=\sigma(\{f_n\})\)。任取\(A\in\mathscr{A}\)，则\(A\in\mathscr{A}_1=\sigma(\{f_n\})\)，即\(A\in\mathscr{B}\)。将\(A\)表示为\(A\cap A\)，由\(\mathscr{A}\)和\(\mathscr{B}\)的独立性可得：
\[\begin{equation*} P(A)=P(A\cap A)=[P(A)]^2 \end{equation*}\]
所以\(P(A)\)为\(0\)或\(1\)。
(2)任取关于\(\{f_n\}\)的尾随机变量\(f\)，由性质 5.3.3(1.b)可知对任意的\(a\in\mathbb{R}\)，\(\{f\leqslant a\}\)是尾事件，根据(1)可知\(P(f\leqslant a)\)为\(0\)或\(1\)。取：
\[\begin{equation*} a_0=\inf\{a\in\mathbb{R}:P(f\leqslant a)=1\} \end{equation*}\]
由分布函数的右连续性可得\(P(f\leqslant a_0)=1\)。根据性质 5.2.1(3)（下连续性）和性质 3.2.9(5)可得：
\[\begin{equation*} P(f<a_0)=\lim_{n\to+\infty}P\left(f\leqslant a_0-\frac{1}{n}\right)=0 \end{equation*}\]
由性质 5.2.1(2)可得\(P(f=a_0)=1\)。 ◻
note 7.2. 由性质 7.1.1(1)(2)和定理 7.4(1)(2)可知如果\(\{f_n\}\)是独立的随机变量序列，则：
\(\sum\limits_{n=1}^{+\infty}f_n\)要么收敛a.s.于\((X,\mathscr{A},P)\)要么发散a.s.于\((X,\mathscr{A},P)\)；
若\(\lim\limits_{n\to+\infty}\dfrac{1}{n}\sum\limits_{i=1}^{n}f_i\)存在，则只能是一个常数a.s.于\((X,\mathscr{A},P)\)。
引理 8.1 Lemma 7.1. （Borel-Cantelli Lemma）
设\((X,\mathscr{F},P)\)是概率空间，\(\{A_n\}\subseteq\mathscr{F}\)。
若\(\sum\limits_{n=1}^{+\infty}P(A_n)<+\infty\)，则：
\[\begin{equation*} P\left(\varlimsup_{n\to+\infty}A_n\right)=0 \end{equation*}\]
若\(\{A_n\}\)相互独立且\(\sum\limits_{n=1}^{+\infty}P(A_n)=+\infty\)，则：
\[\begin{equation*} P\left(\varlimsup_{n\to+\infty}A_n\right)=1 \end{equation*}\]
证明. (1)由性质 5.1.2(3)、性质 5.2.1(3)（上连续性，次可列可加性）和性质 3.2.9(6)可得：
\[\begin{equation*} P\left(\varlimsup_{n\to+\infty}A_n\right)=P\left(\underset{n=1}{\overset{+\infty}{\cap}}\underset{k=n}{\overset{+\infty}{\cup}}A_k\right)=\lim_{n\to+\infty}P\left(\underset{k=n}{\overset{+\infty}{\cup}}A_k\right)\leqslant\lim_{n\to+\infty}\sum_{k=n}^{+\infty}P(A_k)=0 \end{equation*}\]
(2)由性质 5.1.1(7)、性质 5.1.2(3)、性质 5.2.1(3)（下连续性，上连续性）、性质 3.2.9(6)和定理 3.23可得：
\[\begin{align*} &P\left[\left(\varlimsup_{n\to+\infty}A_n\right)^c\right]=P\left(\underset{n=1}{\overset{+\infty}{\cup}}\underset{k=n}{\overset{+\infty}{\cap}}A_k^c\right)=\lim_{n\to+\infty}P\left(\underset{k=n}{\overset{+\infty}{\cap}}A_k^c\right)=\lim_{n\to+\infty}\lim_{m\to+\infty}P\left(\underset{k=n}{\overset{m}{\cap}}A_k^c\right) \\ =&\lim_{n\to+\infty}\lim_{m\to+\infty}\prod_{k=n}^{m}[1-P(A_k)]=\lim_{n\to+\infty}\lim_{m\to+\infty}\exp\left\{\sum_{k=n}^{m}\ln[1-P(A_k)]\right\} \\ \leqslant&\lim_{n\to+\infty}\lim_{m\to+\infty}\exp\left\{-\sum_{k=n}^{m}P(A_k)\right\}=\lim_{n\to+\infty}\exp\left\{-\sum_{k=n}^{+\infty}P(A_k)\right\}=0 \end{align*}\]
由性质 5.2.1(2)即可得出结论。 ◻
7.1.1 强大数定律
引理 8.2 Lemma 7.2. （Cesàro平均）
设\(\{a_n\}\to a\in\mathbb{R}\)，则\(\left\{\dfrac{1}{n}\sum\limits_{i=1}^{n}a_i\right\}\to a\)。
证明. 任取\(\varepsilon>0\)，因为\(\{a_n\}\to a\)，所以存在\(N\in\mathbb{N}^+\)，使得\(i\geqslant N\)时\(|a_i-a|<\varepsilon\)，于是对\(n\geqslant N\)有：
\[\begin{align*} &\left|\frac{1}{n}\sum_{i=1}^{n}a_i-a\right|=\frac{1}{n}\left|\sum_{i=1}^{n}(a_i-a)\right|=\frac{1}{n}\left|\sum_{i=1}^{N-1}(a_i-a)+\sum_{i=N}^{n}(a_i-a)\right| \\ \leqslant&\frac{1}{n}\sum_{i=1}^{N-1}|a_i-a|+\frac{1}{n}\sum_{i=N}^{n}|a_i-a|<\frac{1}{n}\sum_{i=1}^{N-1}|a_i-a|+\frac{n-N}{n}\varepsilon \end{align*}\]
由性质 3.2.9(8.b)(4.a)和\(\varepsilon\)的任意性即可得出结论。 ◻
引理 8.3 Lemma 7.3. （Kronecker Lemma）
设\(\{a_n\}\)为实数列，若\(\sum\limits_{n=1}^{+\infty}\dfrac{a_n}{n}\)收敛，则\(\dfrac{1}{n}\sum\limits_{i=1}^{n}a_i\to0\)。
证明. 记\(s_0=0,\;s_n=\sum\limits_{i=1}^{n}\dfrac{a_i}{i}\)，由条件可知存在\(s\in\mathbb{R}^{}\)使得\(s_n\to s\)。因为\(a_i=i(s_i-s_{i-1})\)，所以：
\[\begin{equation*} \frac{1}{n}\sum_{i=1}^{n}a_i=\frac{1}{n}\sum_{i=1}^{n}i(s_i-s_{i-1})=s_n-\frac{1}{n}\sum_{i=1}^{n-1}s_i \end{equation*}\]
由引理 7.2和性质 3.2.9(8.c)可得\(\dfrac{1}{n}\sum\limits_{i=1}^{n-1}s_i=\dfrac{n-1}{n}\dfrac{1}{n-1}\sum\limits_{i=1}^{n-1}s_i\to s\)，根据性质 3.2.9(8.b)即可得出结论。 ◻
引理 8.4 Lemma 7.4. （Kolmogorov最大不等式）
设\(f_1, f_2, \dots, f_{n}\)是概率空间\((X,\mathscr{F},P)\)上相互独立的随机变量，且\(\operatorname{E}(f_k)=0,\;\operatorname{E}(f_k^2)<+\infty,\;k=1,2,\dots,n\)。记\(S_k=\sum\limits_{i=1}^{k}f_i\)，则对任意的\(\varepsilon>0\)有：
\[\begin{equation*} P\left(\max_{1\leqslant k\leqslant n}|S_k(x)|\geqslant\varepsilon\right)\leqslant\frac{1}{\varepsilon^2}\sum_{k=1}^{n}\operatorname{Var}(f_k) \end{equation*}\]
证明. 记：
\[\begin{equation*} A_k=\{x:|S_1(x)|<\varepsilon,|S_2(x)|<\varepsilon,\dots,|S_{k-1}(x)|<\varepsilon,\;|S_k(x)|\geqslant\varepsilon\},\quad k=1,2,\dots,n \end{equation*}\]
其中\(A_1=\{x:|S_1(x)|\geqslant\varepsilon\}\)。可以发现\(\{A_k\}\)两两不交，且其并为\(\left\{x:\max\limits_{1\leqslant k\leqslant n}|S_k(x)|\geqslant\varepsilon\right\}\)。对\(k<n\)，由性质 5.3.3(5.a)(5.d)(1.a)(1.d)、性质 5.1.6(2)、性质 5.3.2(1)和性质 5.3.3(5.b)可知\(I_{A_k}S_k\)关于\(\sigma(f_1, f_2, \dots, f_{k})\)可测，根据性质 5.3.3(5)可知\(S_n-S_k\)关于\(\sigma(f_{k+1},\dots,f_n)\)可测，由性质 6.2.1(6)(3)可知二者独立。根据性质 5.4.3(6)可得\(\operatorname{E}(S_n-S_k)=0\)，由性质 6.3.1(2)可得\(\operatorname{E}[I_{A_k}S_k(S_n-S_k)]=0\)；\(k=n\)时也有\(\operatorname{E}[I_{A_k}S_k(S_n-S_k)]=0\)。由性质 5.4.3(6)、性质 5.4.2(2)和性质 5.4.2(5)(6)可得：
\[\begin{align*} \operatorname{E}(I_{A_k}S_n^2)&=\operatorname{E}[I_{A_k}(S_k+S_n-S_k)^2]=\operatorname{E}(I_{A_k}S_k^2)+2\operatorname{E}[I_{A_k}S_k(S_n-S_k)]+\operatorname{E}[I_{A_k}(S_n-S_k)^2] \\ &=\operatorname{E}(I_{A_k}S_k^2)+\operatorname{E}[I_{A_k}(S_n-S_k)^2]\geqslant\operatorname{E}(I_{A_k}S_k^2)\geqslant\varepsilon^2P(A_k) \end{align*}\]
根据性质 6.4.2(3)、性质 6.4.3(7)、性质 5.4.3(6)(7)和性质 5.2.1(1)可得：
\[\begin{align*} &\sum_{k=1}^{n}\operatorname{Var}(f_k)=\operatorname{E}(S_n^2)\geqslant\operatorname{E}\left(I_{\underset{k=1}{\overset{n}{\cup}}A_k}S_n^2\right)=\operatorname{E}\left(\sum_{k=1}^{n}I_{A_k}S_n^2\right) \\ \geqslant&\sum_{k=1}^{n}\operatorname{E}(I_{A_k}S_n^2)\geqslant\varepsilon^2\sum_{k=1}^{n}P(A_k)=\varepsilon^2P\left(\left\{x:\max_{1\leqslant k\leqslant n}|S_k(x)|\geqslant\varepsilon\right\}\right) \end{align*}\]
◻
引理 8.5 Lemma 7.5. 设\(\{f_n\}\)是概率空间\((X,\mathscr{F},P)\)上相互独立的随机变量序列，对任意的\(n\in\mathbb{N}^+\)有\(\operatorname{E}(f_n)=0,\;\operatorname{E}(f_n^2)<+\infty\)。若\(\sum\limits_{n=1}^{+\infty}\operatorname{Var}(f_n)<+\infty\)，则\(\sum\limits_{n=1}^{+\infty}f_n\)收敛a.s.于\((X,\mathscr{F},P)\)。
证明. 由条件和性质 3.2.9(8.b)可知：
\[\begin{equation*} \lim_{N\to+\infty}\left[\sum_{n=N}^{+\infty}\operatorname{Var}(f_n)\right]=\lim_{N\to+\infty}\left[\sum_{n=1}^{+\infty}\operatorname{Var}(f_n)-\sum_{n=1}^{N}\operatorname{Var}(f_n)\right]=0 \end{equation*}\]
于是存在严格递增的正整数列\(\{N_r\}\)使得：
\[\begin{equation*} \sum_{n=N_r}^{+\infty}\operatorname{Var}(f_n)\leqslant2^{-3r},\quad r\in\mathbb{N}^+ \end{equation*}\]
对任意的\(M\geqslant N_r\)，由引理 7.4可得：
\[\begin{equation*} P\left(\max_{N_r\leqslant k\leqslant M}\left|\sum_{n=N_r}^{k}f_n\right|\geqslant2^{-r}\right)\leqslant2^{2r}\sum_{n=N_r}^{M}\operatorname{Var}(f_n)\leqslant2^{-r} \end{equation*}\]
记：
\[\begin{equation*} B_r=\left\{\max_{N_r\leqslant k}\left|\sum_{n=N_r}^{k}f_n\right|\geqslant2^{-r}\right\} \end{equation*}\]
由性质 5.2.1(3)（下连续性）和性质 3.2.9(6)可得\(P(B_r)\leqslant2^{-r}\)，于是\(\sum\limits_{r=1}^{+\infty}P(B_r)<+\infty\)，根据引理 7.1(1)可知\(P\left(\varlimsup\limits_{r\to+\infty}B_r\right)=0\)。
任取\(x\notin\varlimsup\limits_{r\to+\infty}B_r\)，由性质 5.1.1(7)可知当\(r\)充分大时，对所有\(k\geqslant N_r\)都有\(\left|\sum\limits_{n=N_r}^{k}f_n(x)\right|<2^{-r}\)。因此对任意\(q\geqslant p\geqslant N_r\)有：
\[\begin{equation*} \left|\sum_{n=p}^{q}f_n(x)\right|=\left|\sum_{n=N_r}^{q}f_n(x)-\sum_{n=N_r}^{p-1}f_n(x)\right|\leqslant\left|\sum_{n=N_r}^{q}f_n(x)\right|+\left|\sum_{n=N_r}^{p-1}f_n(x)\right|<2^{1-r} \end{equation*}\]
其中\(p=N_r\)时第二个和取\(0\)。由函数项级数收敛的Cauchy判别法可知\(\sum\limits_{n=1}^{+\infty}f_n(x)\)在\(\left(\varlimsup\limits_{r\to+\infty}B_r\right)^c\)上成立，于是结论成立。 ◻
引理 8.6 Lemma 7.6. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上满足\(\operatorname{E}(|f|)<+\infty\)的随机变量，则：
\(\sum\limits_{n=1}^{+\infty}P(|f|>n)\leqslant\operatorname{E}(|f|)<+\infty\)；
\(\sum\limits_{n=1}^{+\infty}\dfrac{\operatorname{E}[f^2I(|f|\leqslant n)]}{n^2}\leqslant2\operatorname{E}(|f|)<+\infty\)。
证明. (1)对任意的\(t\geqslant0\)，有\(\sum\limits_{n=1}^{+\infty}I(t>n)\leqslant t\)。由性质 5.4.1(4)、定理 5.23和性质 5.4.2(6)可得：
\[\begin{align*} &\sum_{n=1}^{+\infty}P(|f|>n)=\sum_{n=1}^{+\infty}\operatorname{E}[I(|f|>n)]=\lim_{N\to+\infty}\left\{\sum_{n=1}^{N}\operatorname{E}[I(|f|>n)]\right\} \\ =&\lim_{N\to+\infty}\operatorname{E}\left[\sum_{n=1}^{N}I(|f|>n)\right]=\operatorname{E}\left[\sum_{n=1}^{+\infty}I(|f|>n)\right]\leqslant\operatorname{E}(|f|) \end{align*}\]
(2)对任意的\(t>0\)，取不小于\(t\)的最小正整数\(k\)。注意到：
\[\begin{equation*} \sum_{n=k}^{+\infty}\frac{1}{n^2}\leqslant\frac{1}{k^2}+\sum_{n=k+1}^{+\infty}\frac{1}{n(n-1)}=\frac{1}{k^2}+\frac{1}{k}\leqslant\frac{2}{k} \end{equation*}\]
于是：
\[\begin{equation*} \sum_{n=1}^{+\infty}\frac{t^2I(t\leqslant n)}{n^2}=t^2\sum_{n=k}^{+\infty}\frac{1}{n^2}\leqslant\frac{2t^2}{k}\leqslant2t \end{equation*}\]
当\(t=0\)时该不等式也成立。由性质 5.4.2(10)和定理 5.23可得：
\[\begin{equation*} \sum_{n=1}^{+\infty}\frac{\operatorname{E}[f^2I(|f|\leqslant n)]}{n^2}=\operatorname{E}\left[\sum_{n=1}^{+\infty}\frac{|f|^2I(|f|\leqslant n)}{n^2}\right]\leqslant2\operatorname{E}(|f|) \end{equation*}\]
◻
Theorem 7.5. （Strong Law of Large Numbers）
设\(\{f_n\}\)为概率空间\((X,\mathscr{F},P)\)上一列\(m\)维独立同分布的随机向量，若\(\operatorname{E}(|f_1|)\in\mathbb{R}^{m}\)，则:
\[\begin{equation*} P\left(\left\{\lim_{n\to+\infty}\frac{1}{n}\sum_{i=1}^{n}f_i\ne\operatorname{E}(f_1)\right\}\right)=0 \end{equation*}\]
即\(\dfrac{1}{n}\sum\limits_{i=1}^{n}f_i\overset{\text{a.s.}}{\longrightarrow}\operatorname{E}(f_1)\)。
证明. 当\(m=1\)时\(\{f_n\}\)是独立同分布的随机变量序列且\(\operatorname{E}(|f_1|)<+\infty\)。记：
\[\begin{equation*} g_n=f_nI(|f_n|\leqslant n),\quad h_n=\frac{g_n-\operatorname{E}(g_n)}{n},\quad n\in\mathbb{N}^+ \end{equation*}\]
由性质 5.3.3(1.a)和性质 6.2.1(4)可知\(\{g_n\}\)与\(\{h_n\}\)分别是相互独立的随机变量序列。因为\(|g_n|\leqslant n\)，所以\(g_n\)有有限的二阶矩。由性质 5.4.3(6)可知\(\operatorname{E}(h_n)=0\)。根据性质 5.4.3(6)、性质 6.4.2(1)和引理 7.6(2)可得：
\[\begin{equation*} \sum_{n=1}^{+\infty}\operatorname{Var}(h_n)=\sum_{n=1}^{+\infty}\frac{\operatorname{Var}(g_n)}{n^2}\leqslant\sum_{n=1}^{+\infty}\frac{\operatorname{E}(g_n^2)}{n^2}=\sum_{n=1}^{+\infty}\frac{\operatorname{E}[f_1^2I(|f_1|\leqslant n)]}{n^2}\leqslant2\operatorname{E}(|f_1|)<+\infty \end{equation*}\]
因此由引理 7.5可知\(\sum\limits_{n=1}^{+\infty}h_n\)收敛a.s.于\((X,\mathscr{F},P)\)。根据引理 7.3可得：
\[\begin{equation*} \frac{1}{n}\sum_{k=1}^{n}[g_k-\operatorname{E}(g_k)]\overset{\text{a.s.}}{\longrightarrow}0 \end{equation*}\]
由引理 7.6(1)可得：
\[\begin{equation*} \sum_{n=1}^{+\infty}P(f_n\ne g_n)=\sum_{n=1}^{+\infty}P(|f_n|>n)=\sum_{n=1}^{+\infty}P(|f_1|>n)<+\infty \end{equation*}\]
根据引理 7.1(1)可知：
\[\begin{equation*} P\left(\varlimsup_{n\to+\infty}\{f_n\ne g_n\}\right)=0 \end{equation*}\]
由性质 5.1.2(1)可知\(f_n\ne g_n\)只在有限个\(n\)上成立a.s.于\((X,\mathscr{F},P)\)。在使得\(f_n\ne g_n\)只在有限个\(n\)上成立的样本点处，\(\sum\limits_{k=1}^{n}(f_k-g_k)\)最终为一个有限的常数，所以：
\[\begin{equation*} \frac{1}{n}\sum_{k=1}^{n}(f_k-g_k)\overset{\text{a.s.}}{\longrightarrow}0 \end{equation*}\]
因为：
\[\begin{equation*} \operatorname{E}(g_n)=\operatorname{E}[f_1I(|f_1|\leqslant n)],\quad\lim_{n\to+\infty}f_1I(|f_1|\leqslant n)=f_1,\quad|f_1I(|f_1|\leqslant n)|\leqslant|f_1| \end{equation*}\]
由定理 5.25可知\(\operatorname{E}(g_n)\to\operatorname{E}(f_1)\)，根据引理 7.2可得：
\[\begin{equation*} \frac{1}{n}\sum_{k=1}^{n}\operatorname{E}(g_k)\to\operatorname{E}(f_1) \end{equation*}\]
于是由性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可知：
\[\begin{equation*} \frac{1}{n}\sum_{k=1}^{n}f_k=\frac{1}{n}\sum_{k=1}^{n}(f_k-g_k)+\frac{1}{n}\sum_{k=1}^{n}[g_k-\operatorname{E}(g_k)]+\frac{1}{n}\sum_{k=1}^{n}\operatorname{E}(g_k)\overset{\text{a.s.}}{\longrightarrow}\operatorname{E}(f_1) \end{equation*}\]
当\(m\ne1\)时，固定\(j\in\{1,2,\dots,m\}\)，由性质 6.2.1(4)、性质 5.7.2和性质 6.0.5可知\(\{f_{nj}\}\)是\((X,\mathscr{F},P)\)上一列独立同分布的随机变量。因为\(\operatorname{E}(|f_{1j}|)<+\infty\)，由一维的结论可得：
\[\begin{equation*} \frac{1}{n}\sum_{i=1}^{n}f_{ij}\overset{\text{a.s.}}{\longrightarrow}\operatorname{E}(f_{1j}) \end{equation*}\]
根据性质 7.0.9即可得出结论。 ◻
7.1.2 弱大数定律
Definition 7.6. 设\(\{f_n\}\)是概率空间\((X,\mathscr{F},P)\)上的随机变量序列，若：
\[\begin{equation*} \frac{1}{n}\sum_{i=1}^{n}f_i\overset{P}{\longrightarrow}\frac{1}{n}\sum_{i=1}^{n}\operatorname{E}(f_i) \end{equation*}\]
则称\(\{f_n\}\)服从弱大数定律（weak law of large numbers）。
Theorem 7.6. （Markov’s Weak Law of Large Numbers）
设\(\{f_n\}\)是概率空间\((X,\mathscr{F},P)\)上的随机变量序列，若：
\[\begin{equation*} \lim_{n\to+\infty}\left[\frac{1}{n^2}\operatorname{Var}\left(\sum_{i=1}^{n}f_i\right)\right]=0 \end{equation*}\]
则\(\{f_n\}\)服从弱大数定律。
证明. 由性质 5.4.3(6)和推论 17.2可知对任意的\(\varepsilon>0\)有：
\[\begin{equation*} P\left(\left|\frac{1}{n}\sum_{i=1}^{n}X_i-\frac{1}{n}\sum_{i=1}^{n}\operatorname{E}(X_i)\right|\geqslant\varepsilon\right)\leqslant\frac{\operatorname{Var}\left(\dfrac{1}{n}\sum\limits_{i=1}^{n}X_i\right)}{\varepsilon^2}=\frac{1}{n^2\varepsilon^2}\operatorname{Var}\left(\sum_{i=1}^{n}X_i\right)\to0 \end{equation*}\]
◻
7.2 中心极限定理
Theorem 7.7. 设\(\{f_n\}_{n=1}^{\infty}\)为概率空间\((X,\mathscr{F},P)\)上一列独立同分布的\(m\)维随机向量，根据性质 3.4.1(2)、性质 5.3.3(11)、性质 5.3.1(2)和性质 5.3.3(5.b)可知\(||f_1||^2\)是\((X,\mathscr{F},P)\)上的随机变量。若\(\operatorname{E}(||f_1||^2)<+\infty\)，记：
\[\begin{equation*} \mu=\operatorname{E}(f_1),\quad\Sigma=\operatorname{Cov}(f_1) \end{equation*}\]
则：
\[\begin{equation*} \sqrt{n}\left(\frac{1}{n}\sum_{i=1}^{n}f_i-\mu\right)\overset{d}{\longrightarrow}\operatorname{N}_m(0,\Sigma) \end{equation*}\]
Definition 7.7. 设\(\{f_n\}_{n=1}^{\infty}\)为概率空间\((X,\mathscr{F},P)\)一列独立同分布的\(m\)维随机向量。若\(\operatorname{E}(||f_1||^2)<+\infty\)。记：
\[\begin{equation*} \mu=\operatorname{E}(f_1),\quad\Sigma=\operatorname{Cov}(f_1) \end{equation*}\]
根据定理 7.7有：
\[\begin{equation*} \sqrt{n}\left(\frac{1}{n}\sum_{i=1}^{n}f_i-\mu\right)\overset{d}{\longrightarrow}\operatorname{N}_m(0,\Sigma) \end{equation*}\]
称\(\operatorname{N}_d\left(\mu,\dfrac{\Sigma}{n}\right)\)为\(\dfrac{1}{n}\sum\limits_{i=1}^{n}f_i\)的渐进近似分布（asymptotic approximate distribution），记作：
\[\begin{equation*} \frac{1}{n}\sum_{i=1}^{n}f_i\overset{a}{\longrightarrow}\operatorname{N}_m\left(\mu,\frac{\Sigma}{n}\right) \end{equation*}\]