第 10 章 统计初步
10.1 基于测度论的统计简介
Definition 10.1. 设\((X,\mathscr{A},P)\)为概率空间，\(f\)是从可测空间\((X,\mathscr{A})\)到可测空间\((Y,\mathscr{B})\)上的随机变量。称概率测度\(Pf^{-1}\)为总体（population），\(f\)的观测和\(f\)都被称为样本（sample），称\(f\)的观测的数目为样本量（sample size），总体的数字特征即为\(f\)的数字特征。
note 10.1. 由定义可以看出，样本具有两重性，若将随机变量的观测看作样本，则样本是固定的，没有随机性，但在理论分析中我们往往研究的是具有随机性的样本，也即随机变量本身。换句话讲，抽样实施以前，样本被看作随机变量，抽样实施以后，样本是具体的。
Definition 10.2. 设\((X,\mathscr{A},P)\)为概率空间，\((Y,\mathscr{B})\)为可测空间，总体为\(Q\)。若随机变量\(X_1, X_2, \dots, X_{n}:(X,\mathscr{A})\longrightarrow(Y,\mathscr{B})\)相互独立，并且具有相同的分布\(Q\)，则称\(\mathbf{X}=(X_1, X_2, \dots, X_{n})\)为来自\(Q\)的容量为\(n\)的简单随机样本（simple random sample）。
note 10.2. 简单随机抽样包含”同分布”和”相互独立”这两个抽样的基本要求。同分布保证每次抽样都来自同一总体\(Q\)，从而样本能够反映总体的概率规律；相互独立则保证样本间的相关性不会干扰抽样误差的度量，使样本量能够正确反映样本所包含的信息量。
Definition 10.3. 设\(\mathscr{P}\)为可测空间\((X,\mathscr{A})\)上的一个概率测度族，则称\((X,\mathscr{A},\mathscr{P})\)为统计结构（statistical structure）或统计模型（statistical model）。若\(\mathscr{P}\)仅依赖于参数\(\theta\)，即：
\[\begin{equation*} \mathscr{P}=\{P_{\theta}:\theta\in\Theta\} \end{equation*}\]
其中\(\Theta\)为参数空间，则称此结构为参数结构（parametric structure），否则称为非参数结构（non-parametric structure）。
note 10.3. 引入统计结构是因为在统计学中我们往往没有总体\(P\)的全部信息，它是不确定的，但我们会根据现有信息去假设\(P\)可能是怎样的，从而给出一族可能的概率测度\(\mathscr{P}\)，因此产生了统计学的两大问题：参数估计和假设检验。二者都是在获得样本后对\(\mathscr{P}\)进行分析的统计工具，其中参数估计又可分为点估计和区间估计。点估计分析\(\mathscr{P}\)中哪一个概率测度最有可能是真实总体，区间估计是为了得到一个尽可能小的\(\mathscr{P}_0\subseteq\mathscr{P}\)使得真实总体最有可能在这里面，假设检验分析对于\(\mathscr{P}_1,\mathscr{P}_2\subseteq\mathscr{P}\)，真实总体最有可能出现在哪一个之中。
对于参数结构，我们往往希望能够用较简单的参数\(\theta\)来刻画复杂的概率测度\(P\)。这是因为概率测度本身是定义在\(\sigma\)代数\(\mathscr{A}\)上的集合函数，它需要描述每一个可测集\(A\in\mathscr{A}\)发生的概率\(P(A)\)，因而通常是一个非常复杂的对象。参数结构的作用就是把对概率测度族\(\mathscr{P}\)的研究转化为对参数空间\(\Theta\)的研究，用参数\(\theta\)来标记一个概率测度\(P_{\theta}\)。在这种意义下，参数可以看作概率测度的坐标，它使得原本复杂的测度对象能够被有限维或结构化的参数表示。
但是，参数化并不自动保证这种表示是唯一的。也就是说，虽然每一个参数\(\theta\in\Theta\)都会给出一个概率测度\(P_\theta\)，但不同的参数可能给出完全相同的概率测度。此时即使样本量无限增大，也只能识别出真实概率测度\(P\)，而不能唯一确定产生它的参数\(\theta\)。因此，在参数结构中通常希望参数化映射\(\theta\to P_\theta\)是单射，即一个概率测度对应唯一一个参数。这个要求正是识别性问题的来源。
Definition 10.4. 设\((X,\mathscr{F},\mathscr{P})\)为参数结构，\(\Theta\)为参数空间。若存在不同的\(\theta_1,\theta_2\in\Theta\)使得\(\mathscr{P}_{\theta_1}=\mathscr{P}_{\theta_2}\)，则称参数\(\theta\)不可识别（non-identifiable），否则称\(\theta\)可识别（identifiable）。
Definition 10.5. 设\((X_1,\mathscr{A}_1,\mathscr{P}_1),(X_2,\mathscr{A}_2,\mathscr{P}_2),\dots,(X_n,\mathscr{A}_n,\mathscr{P}_n)\)为\(n\)个统计结构，称：
\[\begin{equation*} \left(\prod_{i=1}^nX_i,\prod_{i=1}^n\mathscr{A}_i,\prod_{i=1}^n\mathscr{P}_i\right) \end{equation*}\]
Definition 10.6. 设\((X,\mathscr{A},\mathscr{P})\)为统计结构。若可测空间\((X,\mathscr{A})\)上存在一个\(\sigma\)有限测度\(\mu\)满足对任意的\(P\in\mathscr{P}\)有\(P\ll\mu\)，则称\((X,\mathscr{A},\mathscr{P})\)是可控的（controllable），称\(\mu\)为对应的控制测度（controlling measure）。
Definition 10.7. 设\((X,\mathscr{A},\mathscr{P})\)为统计结构，\(T\)是可测空间\((X,\mathscr{A})\)到可测空间\((Y,\mathscr{B})\)的可测映射。若\(T\)不依赖于\(\mathscr{P}\)，则称\(T\)为\((X,\mathscr{A},\mathscr{P})\)上的统计量（statistic）。统计量的概率分布称为抽样分布（sampling distribution）或诱导分布（induced distribution）。
10.1.1 次序统计量
Definition 10.8. 设\(f_1, f_2, \dots, f_{n}\)为可测空间\((X,\mathscr{A})\)上的随机变量，对每个\(x\in X\)，将其按大小排列为\(f_{(1)}\leqslant f_{(2)}\leqslant\cdots\leqslant f_{(n)}\)，若存在相等的情况则可随意排列，由此可得到新的函数\(f_{(1)},f_{(2)},\dots,f_{(n)}\)，称\((f_{(1)},f_{(2)},\dots,f_{(n)})\)为\(f_1, f_2, \dots, f_{n}\)的次序统计量（order statistic）。
Property 10.1.1. 设\(f_1, f_2, \dots, f_{n}\)为可测空间\((X,\mathscr{A})\)上的随机变量，\((f_{(1)},f_{(2)},\dots,f_{(n)})\)为\(f_1, f_2, \dots, f_{n}\)的次序统计量。对任意的\(i=1,2,\dots,n\)，\(f_{(i)}\)是\((X,\mathscr{A})\)上的随机变量。
证明. 注意到对任意的\(i=1,2,\dots,n\)和任意的\(a\in\mathbb{R}^{}\)，\(f_{(i)}\)是从\(X\)到\(\mathbb{R}\)上的映射，并且有：
\[\begin{equation*} \{f_{(i)}\leqslant a\}=\left\{\sum_{j=1}^{n}I_{\{f_j\leqslant a\}}\geqslant i\right\} \end{equation*}\]
由性质 5.3.3(1.b)、性质 5.3.2(3)(1)、性质 5.3.3(5.a)(1.d)即可得到\(\{f_{(i)}\leqslant a\}\in\mathscr{A}\)，于是\(f_{(i)}\)是\((X,\mathscr{A})\)上的随机变量。 ◻
引理 11.1 Lemma 10.1. 设总体的分布函数为\(F(x)\)，概率函数为\(f(x)\)，\(X_1, X_2, \dots, X_{n}\)为从总体中抽取的简单样本，则有：
\[\begin{equation*} \underset{a<x_1<\cdots<x_n<b}{\int\cdots\int}f(x_1)\cdots f(x_n)\mathop{}\!\mathrm{d}x_1\cdots\mathop{}\!\mathrm{d}x_n=\frac{1}{n!}[F(b)-F(a)]^n \end{equation*}\]
其中\(a,b\in\overline{\mathbb{R}}\)。
证明. 因为\(X_1, X_2, \dots, X_{n}\)独立同分布，所以：
\[\begin{equation*} \int_{a}^{b}\cdots\int_{a}^{b}f(x_1)\cdots f(x_n)\mathop{}\!\mathrm{d}x_1\cdots\mathop{}\!\mathrm{d}x_n=\left[\int_{a}^{b}f(x_1)\mathop{}\!\mathrm{d}x_1\right]^n=[F(b)-F(a)]^n \end{equation*}\]
在这个区域上对\(x_1, x_2, \dots, x_{n}\)的排序结果一共有\(n!\)种（不考虑等于的情况，测度为\(0\)，不影响积分结果），每种排序都是等可能的，于是结论成立。 ◻
Theorem 10.1. 设\(X_1, X_2, \dots, X_{n}\)是测度空间\((X,\mathscr{A},P)\)上独立同分布的随机变量，分布函数和概率函数分别为\(F(x),f(x)\)。
令\(Y_i=X_{(i)},\;i=1,2,\dots,n\)，则次序统计量\((Y_1, Y_2, \dots, Y_{n})\)的联合概率函数为：
\[\begin{equation*} p(y_1, y_2, \dots, y_{n})= \begin{cases} n!f(y_1)f(y_2)\cdots f(y_n),&y_1<y_2<\cdots<y_n \\ 0,&\text{其它} \end{cases} \end{equation*}\]
次序统计量中任意\(m\geqslant2\)个分量\(Y_{i_1},Y_{i_2},\dots,Y_{i_m},\;i_1<i_2<\cdots<i_m\)的联合概率函数为：
\[\begin{equation*} p(y_{i_1},y_{i_2},\dots,y_{i_m})= \begin{cases} n!\prod\limits_{j=1}^{m}f(y_{i_j})\left\{\prod\limits_{k=2}^{m}\frac{1}{(i_k-i_{k-1}-1)!}[F(y_{i_k})-F(y_{i_{k-1}})]^{i_k-i_{k-1}-1}\right\} & \\ \quad\frac{F^{i_1-1}(y_{i_1})}{(i_1-1)!}\frac{[1-F(y_{i_m})]^{n-i_m}}{(n-i_m)!},\quad y_{i_1}<y_{i_2}<\cdots<y_{i_m} \\ 0, \quad\text{其他} \end{cases} \end{equation*}\]
次序统计量中单个分量\(Y_{m},\;m=1,2,\dots,n\)的概率函数为：
\[\begin{equation*} p(y_{m})=n!f(y_m)\frac{F^{m-1}(y_m)}{(m-1)!}\frac{[1-F(y_m)]^{n-m}}{(n-m)!} \end{equation*}\]
对于任意的\(i,j=1,2,\dots,n\)满足\(i<j\)，令\(V=Y_j-Y_i\)，则有：
\[\begin{equation*} p(v)=\int_{-\infty}^{+\infty}p(u,v)\mathop{}\!\mathrm{d}u \end{equation*}\]
其中：
\[\begin{equation*} p(u,v)= \begin{cases} \dfrac{n!f(u)f(u+v)}{(i-1)!(j-i-1)!(n-j)!}F^{i-1}(u)[F(u+v)-F(u)]^{j-i-1} \\ \quad\quad[1-F(u+v)]^{n-j},&v>0 \\ 0,&\text{其它} \end{cases} \end{equation*}\]
次序统计量\((Y_1, Y_2, \dots, Y_{n})\)极差\(V\)的概率函数为：
\[\begin{equation*} p(v)=\int_{-\infty}^{+\infty}p(u,v)\mathop{}\!\mathrm{d}u \end{equation*}\]
其中：
\[\begin{equation*} p(u,v)= \begin{cases} n(n-1)f(u)f(u+v)[F(u+v)-F(u)]^{n-2},&v>0 \\ 0,&\text{其它} \end{cases} \end{equation*}\]
分布函数为：
\[\begin{equation*} F(V\leqslant x)=\int_{-\infty}^{+\infty}nf(u)[F(u+x)-F(u)]^{n-1}\mathop{}\!\mathrm{d}u \end{equation*}\]
证明. (1)在\(\mathbb{R}^{n}\)中划分\(n!\)个区域，每个区域分别对应着一个\(i_1, i_2, \dots, i_{n}\)使得\(x_{i1}<x_{i2}<\cdots<x_{in}\)，因为\(x_1, x_2, \dots, x_{n}\)的排列一共有\(n!\)种，所以这\(n!\)个区域加上包括等于号的一些零测集就构成了整个\(\mathbb{R}^{n}\)。因为次序统计量的概率函数也是在\(\mathbb{R}^{n}\)上的一个概率测度，则可以对每个划分的区域求\((Y_1, Y_2, \dots, Y_{n})\)的概率测度，再对所有区域求和，即可得到次序统计量的联合概率函数。这个过程类似于全概率公式。
任取一个上述区域\(A\)作变换：
\[\begin{equation*} y_j=x_{i_j},\;j=1,2,\dots,n,\;x_{i1}<x_{i2}<\cdots<x_{in} \end{equation*}\]
则该变换的Jacobi行列式为\(|\mathbf{J}|=|I_n|=1\)，因为\(X_1, X_2, \dots, X_{n}\)是简单样本，所以在该区域上的：
\[\begin{equation*} p(y_1, y_2, \dots, y_{n}|A)= \begin{cases} \prod\limits_{i=1}^{n}f(x_i)=\prod\limits_{i=1}^{n}f(y_i),&y_1<y_2<\cdots<y_n \\ 0,&\text{其它} \end{cases} \end{equation*}\]
由区域的任意性可得在整个\(\mathbb{R}^{n}\)上：
\[\begin{equation*} p(y_1, y_2, \dots, y_{n})= \begin{cases} n!f(y_1)f(y_2)\cdots f(y_n),&y_1<y_2<\cdots<y_n \\ 0,&\text{其它} \end{cases} \end{equation*}\]
(2)注意到\(Y_{(i_1)},Y_{(i_2)},\dots,Y_{(i_m)}\)的联合概率函数是次序统计量的边缘概率函数，所以由(1)和引理 10.1可得：
\[\begin{align*} p(y_{i_1},y_{i_2},\dots,y_{i_m}) &=\underset{-\infty<y_1<\cdots<y_n<+\infty}{\int\cdots\int}n!f(y_1)f(y_2)\cdots f(y_n)\mathop{}\!\mathrm{d}y_1\cdots\mathop{}\!\mathrm{d}y_{i_1-1} \\ &\quad\mathop{}\!\mathrm{d}y_{i_1+1}\cdots\mathop{}\!\mathrm{d}y_{i_2-1}\mathop{}\!\mathrm{d}y_{i_2+1}\cdots\mathop{}\!\mathrm{d}y_{i_m-1}\mathop{}\!\mathrm{d}y_{i_m+1}\cdots\mathop{}\!\mathrm{d}y_n \\ &=n!\prod_{j=1}^{m}f(y_{i_j})\underset{-\infty<y_1<\cdots<y_{i_1}}{\int\cdots\int}f(y_1)\cdots f(y_{i_1-1})\mathop{}\!\mathrm{d}y_1\cdots\mathop{}\!\mathrm{d}y_{i_1-1} \\ &\quad\times\underset{y_{i_1}<y_{i_1+1}<y_{i_1+2}<\cdots<y_{i_2}}{\int\cdots\int}f(y_{i_1+1})\cdots f(y_{i_2-1})\mathop{}\!\mathrm{d}y_{i_1+1}\cdots\mathop{}\!\mathrm{d}y_{i_2-1} \\ &\quad\cdots\cdots \\ &\quad\times\underset{y_{i_m}<y_{i_m+1}<y_{i_m+2}<\cdots<+\infty}{\int\cdots\int}f(y_{i_m+1})\cdots f(y_n)\mathop{}\!\mathrm{d}y_{i_m+1}\cdots\mathop{}\!\mathrm{d}y_n \\ &=n!\prod_{j=1}^{m}f(y_{i_j})\frac{1}{(i_1-1)!}F^{i_1-1}(y_{i_1})\frac{1}{(i_2-i_1-1)!}[F(y_{i_2})-F(y_{i_1})]^{i_2-i_1-1} \\ &\quad\cdots\frac{1}{(n-i_m)!}[1-F(y_{i_m})]^{n-i_m} \\ &=n!\prod_{j=1}^{m}f(y_{i_j})\frac{1}{(i_1-1)!}F^{i_1-1}(y_{i_1})\frac{1}{(n-i_m)!}[1-F(y_{i_m})]^{n-i_m} \\ &\quad\left\{\prod_{k=2}^{m}\frac{1}{(i_k-i_{k-1}-1)!}[F(y_{i_k})-F(y_{i_{k-1}})]^{i_k-i_{k-1}-1}\right\} \end{align*}\]
(3)类似(2)的过程即可得到，省略。
(4)使用增补变量法链接随机变量函数的分布中的增补变量法，做变换：
\[\begin{equation*} \begin{cases} U=Y_i \\ V=Y_j-Y_i \end{cases} \Leftrightarrow \begin{cases} Y_i=U \\ Y_j=V+U \end{cases} \end{equation*}\]
该变换的Jacobi行列式为：
\[\begin{equation*} |\mathbf{J}|= \begin{vmatrix} 1 & 0 \\ 1 & 1 \end{vmatrix} =1 \end{equation*}\]
由(2)可得\((Y_i,Y_j)\)的联合概率函数：
\[\begin{equation*} p(y_i,y_j)= \begin{cases} \dfrac{n!f(y_i)f(y_j)}{(i-1)!(j-i-1)!(n-j)!}F^{i-1}(y_i)[F(y_j)-F(y_i)]^{j-i-1} \\ \quad\quad[1-F(y_j)]^{n-j},&y_i<y_j \\ 0,&\text{其它} \end{cases} \end{equation*}\]
于是：
\[\begin{equation*} p(u,v)= \begin{cases} \dfrac{n!f(u)f(u+v)}{(i-1)!(j-i-1)!(n-j)!}F^{i-1}(u)[F(u+v)-F(u)]^{j-i-1} \\ \quad\quad[1-F(u+v)]^{n-j},&v>0 \\ 0,&\text{其它} \end{cases} \end{equation*}\]
所以：
\[\begin{equation*} p(v)=\int_{-\infty}^{+\infty}p(u,v)\mathop{}\!\mathrm{d}u \end{equation*}\]
(5)由(4)立即可得概率函数。对于分布函数有：
\[\begin{align*} F(V\leqslant x)&=\int_{-\infty}^x\int_{-\infty}^{+\infty}g(u,v)\mathop{}\!\mathrm{d}u\mathop{}\!\mathrm{d}v =\int_{-\infty}^0\int_{-\infty}^{+\infty}0\mathop{}\!\mathrm{d}u\mathop{}\!\mathrm{d}v \\ &\quad+\int_{0}^x\int_{-\infty}^{+\infty}n(n-1)f(u)f(u+v)[F(u+v)-F(u)]^{n-2}\mathop{}\!\mathrm{d}u\mathop{}\!\mathrm{d}v \\ &=\int_{-\infty}^{+\infty}\mathop{}\!\mathrm{d}u\int_{0}^xn(n-1)f(u)f(u+v)[F(u+v)-F(u)]^{n-2}\mathop{}\!\mathrm{d}v \\ &=\int_{-\infty}^{+\infty}nf(u)[F(u+v)-F(u)]^{n-1}\Big|_0^x\mathop{}\!\mathrm{d}u \\ &=\int_{-\infty}^{+\infty}nf(u)[F(u+x)-F(u)]^{n-1}\mathop{}\!\mathrm{d}u \end{align*}\]
◻
10.1.2 充分统计量
Definition 10.9. 设\((X,\mathscr{A},\mathscr{P})\)是参数结构，\(\Theta\)为参数空间，\(T\)是可测空间\((X,\mathscr{A})\)到可测空间\((Y,\mathscr{B})\)上的统计量。若对任意的\(\theta\in\Theta\)，样本\(\mathbf{X}\)在给定\(T(\mathbf{X})\)下的条件分布\(\{P_{\theta}(A|T(\mathbf{X})):A\in\sigma(\mathbf{X})\}\)与参数\(\theta\)无关a.s.于\((Y,\mathscr{B},P_{\theta}T^{-1})\)，则称\(T\)为\(\theta\)的充分统计量（sufficient statistic），也称\(T\)为\(\mathscr{P}\)的充分统计量。
Theorem 10.2. （Factorization Theorem）
设\((X,\mathscr{A},\mathscr{P})\)是可控参数结构，\(\mu\)是控制测度，\(\Theta\)是参数空间，\(T\)是可测空间\((X,\mathscr{A})\)到可测空间\((Y,\mathscr{B})\)上的统计量。\(T\)为\(\mathscr{P}\)的充分统计量当且仅当存在非负的\(\mathscr{B}\)可测函数\(g_\theta\)和非负\(\mathscr{A}\)可测函数\(h\)使得：
\[\begin{equation*} \forall\;\theta\in\Theta,\;\frac{\mathop{}\!\mathrm{d}P_\theta}{\mathop{}\!\mathrm{d}\mu}(x)=g_\theta[T(x)]h(x)\;\text{a.e.于}(X,\mathscr{A},\mu) \end{equation*}\]
证明. (1)必要性：对于任意的\(A\in\sigma(T)\)，
\[\begin{equation*} P_{\theta}(A\mid) \end{equation*}\]
◻
Property 10.1.2. 充分统计量具有如下性质：
设\((\mathbb{R},\mathcal{B},\mathscr{P})\)为统计结构，则其上的次序统计量是\(\mathscr{P}\)的充分统计量；
充分统计量的可逆变换仍为充分统计量；
10.1.2.1 极小充分统计量
Definition 10.10. 设\((X,\mathscr{A},\mathscr{P})\)是统计结构，\(T\)是可测空间\((X,\mathscr{A})\)到可测空间\((Y,\mathscr{B})\)上对\(\mathscr{P}\)充分的统计量。若对任意\(\mathscr{P}\)的充分统计量\(S\)存在\((Y,\mathscr{B})\)到\((Y,\mathscr{B})\)上的可测映射\(\varphi\)满足：
\[\begin{equation*} \forall\;P\in\mathscr{P},\;T=\varphi(S)\;a.s.\text{于}(X,\mathscr{A},P) \end{equation*}\]
则称\(T\)为\(\mathscr{P}\)的极小充分统计量（minimal sufficient statistic）。
Property 10.1.3. 设\((X,\mathscr{A},\mathscr{P})\)是统计结构，\(T\)是可测空间\((X,\mathscr{A})\)到可测空间\((Y,\mathscr{B})\)上的统计量。极小充分统计量具有如下性质：
在\(X\)为欧氏空间且\((X,\mathscr{A},\mathscr{P})\)是可控结构的条件下，极小充分统计量一定存在；
极小充分统计量的可逆可测变换仍为极小充分统计量；
若将可由一个可逆的可测映射a.s.互变的两个极小充分统计量视为同一个统计量，则极小充分统计量在此意义下是唯一的；
若\(T\)是\(\mathscr{P}_0\subseteq\mathscr{P}\)的极小充分统计量且是\(\mathscr{P}\)的充分统计量，对任意的\(P\in\mathscr{P}_0\;\)a.s.就对任意的\(P\in\mathscr{P}\;\)a.s.，则\(T\)是\(\mathscr{P}\)的极小充分统计量；
若\((X,\mathscr{A},\mathscr{P})\)是可控参数结构，\(X\)是欧氏空间，\(\mu\)是控制测度，\(\Theta\)为参数空间，则如果满足：
\[\begin{equation*} \forall\;x,y\in X,\;\forall\;\theta\in\Theta,\;\frac{\mathop{}\!\mathrm{d}P_\theta}{\mathop{}\!\mathrm{d}\mu}(x)=\frac{\mathop{}\!\mathrm{d}P_\theta}{\mathop{}\!\mathrm{d}\mu}(y)f(x,y)\Rightarrow T(x)=T(y) \end{equation*}\]
其中\(f\)是一个可测函数，则\(T\)是\(\mathscr{P}\)的极小充分统计量；
若\(\mathscr{P}=\{P_n\},\;n=0,1,2,\dots\)，则统计量：
\[\begin{equation*} T(x)=\left(\frac{P_1(x)}{P_0(x)},\frac{P_2(x)}{P_0(x)},\dots\right) \end{equation*}\]
是\(\mathscr{P}\)的极小充分统计量；
证明. (1)不予证明。
(2)由定义即可得出。
(3)JunShao的证明很简单，由定义即可得出，但没想明白
(4)设\(S\)是\(\mathscr{P}\)的充分统计量，所以\(S\)也是\(\mathscr{P}_0\)的充分统计量，于是存在可测映射\(\varphi\)使得：
\[\begin{equation*} \forall\;P\in\mathscr{P}_0,\;T=\varphi(S)\;a.s.\text{于}(X,\mathscr{A},P) \end{equation*}\]
由条件即可得到：
\[\begin{equation*} \forall\;P\in\mathscr{P},\;T=\varphi(S)\;a.s.\text{于}(X,\mathscr{A},P) \end{equation*}\]
(5)证明未完成 ◻
10.1.3 完全性
Definition 10.11. 设\((X,\mathscr{A},\mathscr{P})\)是参数结构，\(\Theta\)是参数空间，\(T\)是可测空间\((X,\mathscr{A})\)到可测空间\((Y,\mathscr{B})\)上的统计量。若对任意的Borel函数\(f\)有：
\[\begin{equation*} \forall\;\theta\in\Theta,\;\int_{X}f[T(x)]\mathop{}\!\mathrm{d}P_{\theta}=0\Rightarrow f[T(x)]=0\;a.s.\text{于}(X,\mathscr{A},P_{\theta}) \end{equation*}\]
则称\(T\)为完全统计量（complete statistic），称\(\mathscr{P}T^{-1}\)是完全的。若对任意的有界Borel函数有上述结论，则称\(T\)为有界完全统计量（boundedly complete statistic）。
Property 10.1.4. 完全统计量具有如下性质：
完全统计量是有界完备统计量；
完全（有界完全）统计量的可测变换仍是完全（有界完全）统计量；
充分完全统计量是极小充分统计量；
10.1.4 指数族
Definition 10.12. 设\((X,\mathscr{A},P)\)为概率空间，\(\mu\)为其上的\(\sigma\)有限测度。若\(P\ll\mu\)，根据定理 5.35，称：
\[\begin{equation*} \operatorname{Supp}_{\mu}(P)=\left\{x\in X:\frac{\mathop{}\!\mathrm{d}P}{\mathop{}\!\mathrm{d}\mu}(x)>0\right\} \end{equation*}\]
为\(P\)关于\(\mu\)的支撑（support）。
Definition 10.13. 设\((X,\mathscr{A},\mathscr{P})\)是可控参数结构，\(\mu\)是控制测度，\(\Theta\)是参数空间。若存在可测集合\(S\in\mathscr{A}\)，使得对任意\(\theta\in\Theta\)都有
\[\begin{equation*} \mu\Big(\left\{x\in X:\frac{\mathop{}\!\mathrm{d}P_{\theta}}{\mathop{}\!\mathrm{d}\mu}(x)>0\right\}\Delta S\Big)=0 \end{equation*}\]
则称\(\mathscr{P}\)关于\(\mu\)具有共同支撑（common support）\(S\)，或称该结构的支撑不依赖于参数\(\theta\)。
Definition 10.14. 设\((X,\mathscr{A},\mathscr{P})\)是可控参数结构，\(\mu\)是控制测度，\(\Theta\)是参数空间。若\(\mathscr{P}\)满足：
\[\begin{equation*} \forall\;\theta\in\Theta,\;\frac{\mathop{}\!\mathrm{d}P_{\theta}}{\mathop{}\!\mathrm{d}\mu}(x)=\exp\left[\eta^{\top}(\theta)T(x)-\xi(\theta)\right]h(x)=C(\theta)\exp\left[\eta^{\top}(\theta)T(x)\right]h(x) \end{equation*}\]
且该结构的支撑不依赖于未知参数\(\theta\)，则称\(\mathscr{P}\)是指数族（exponential family）。其中\(\eta(\theta),T(x)\in\mathbb{R}^{n}\)，\(n\)被称为该指数族的阶数，\(h\)是非负Borel函数，\(\xi(\theta)\)是实值函数。称：
\[\begin{equation*} \frac{\mathop{}\!\mathrm{d}P_{\theta}}{\mathop{}\!\mathrm{d}\mu}(x)=\exp\left[\eta^{\top}T(x)-\xi(\eta)\right]h(x)=C(\eta)\exp\left[\eta^{\top}T(x)\right]h(x) \end{equation*}\]
为指数族的标准形式（canonical form），此时的新参数\(\eta\)被称为自然参数（natural parameter），称：
\[\begin{equation*} \Xi=\left\{\eta:\int_{X}\exp\left[\eta^{\top}T(x)\right]h(x)\mathop{}\!\mathrm{d}\mu<+\infty\right\} \end{equation*}\]
note 10.4. 在\(n\)阶指数族的标准形式中，虽然自然参数\(\eta\)被写为\(\mathbb{R}^{n}\)中的向量，但这并不意味着该指数族真的具有\(n\)个自由参数方向。例如设\(n=2\)，若自然参数空间为：
\[\begin{equation*} \Xi=\left\{(\eta_1,\eta_2)\in\mathbb{R}^{2}:\eta_1=2\eta_2\right\} \end{equation*}\]
则\(\Xi\)只是\(\mathbb{R}^{2}\)中的一条直线。尽管自然参数形式中出现了两个分量\(\eta_1,\eta_2\)，但它们不能独立变化，模型实际上只有一个自由参数方向。令\(\eta_2=\gamma\)，则\(\eta_1=2\gamma\)，于是：
\[\begin{equation*} \eta_1T_1(x)+\eta_2T_2(x)=\gamma\left[2T_1(x)+T_2(x)\right] \end{equation*}\]
由此可见，该指数族虽然形式上写成二维自然参数形式，但本质上只是一维自然参数族。
因此，在讨论指数族的阶数时，仅仅说明\(T(x)\in\mathbb{R}^{n}\)和\(\eta\in\mathbb{R}^{n}\)是不够的，还需要进一步要求自然参数空间\(\Xi\)在\(\mathbb{R}^{n}\)中确实具有\(n\)维变化范围。换言之，在某个自然参数点附近，\(\eta\)应当可以沿\(\mathbb{R}^{n}\)中的任意方向作充分小的扰动。
Definition 10.15. 设\((X,\mathscr{A},\mathscr{P})\)是可控参数结构，\(\mu\)是控制测度，\(\mathscr{P}\)是\(n\)阶指数族。若自然参数空间\(\Xi\)含有\(\mathbb{R}^{n}\)中的非空开集，则称\(\mathscr{P}\)是满秩指数族，否则称其为非满秩指数族。
Property 10.1.5. 设\((X,\mathscr{A},\mathscr{P})\)是可控参数结构，\(\mu\)是控制测度，\(\mathscr{P}\)是\(n\)阶指数族，则：
\(\dfrac{\mathop{}\!\mathrm{d}P_{\theta}}{\mathop{}\!\mathrm{d}\mu}\)表达式不唯一；
对于\(\xi(\theta)\)和\(\xi(\eta)\)有：
\[\begin{gather*} \xi(\theta)=\ln\left\{\int_{X}\exp\left[\eta^{\top}(\theta)T(x)\right]h(x)\mathop{}\!\mathrm{d}\mu\right\} \\ \xi(\eta)=\ln\left\{\int_{X}\exp\left[\eta^{\top}T(x)\right]h(x)\mathop{}\!\mathrm{d}\mu\right\} \end{gather*}\]
若\(\mathscr{P}\)关于\(\mu\)具有共同支撑\(S\)，\(\Xi\)是自然参数空间，\(\mathscr{P}\)是满秩指数族，则自然参数\(\eta\)不可识别当且仅当存在非零的\(\alpha\in\mathbb{R}^{n}\)和\(\beta\in\mathbb{R}^{}\)使得\(\alpha^{\top}T(x)=\beta\;\)a.e.于\((S,S\cap\mathscr{A},\mu)\)；
有限个概率分布是指数族的相互独立的随机变量的联合概率分布仍为指数族，即指数族在简单抽样下是封闭的；
\(\mathscr{P}\)的自然参数空间\(\Xi\)是凸集；
设\(f\)是\((X,\mathscr{A})\)上的Borel函数，令：
\[\begin{equation*} G(\eta)=\int_{X}f(x)\exp[\eta^{\top}T(x)]h(x)\mathop{}\!\mathrm{d}\mu \end{equation*}\]
记\(\Xi_0=\{\eta:G(\eta)\in\mathbb{R}^{}\}\)。对\(\Xi_0\)的任意内点\(a\)，\(G\)在\(a\)点连续，且\(G\)在\(a\)点的任意阶偏导数都存在并可将求导与积分交换顺序。
\(T(x)\)是\(\mathscr{P}\)的充分统计量；
若\(\mathscr{P}\)满秩，则\(T(x)\)是\(\mathscr{P}\)的极小充分统计量和完全统计量；
\(\operatorname{E}_{\eta}(T_i)=\dfrac{\partial\xi(\eta)}{\partial\eta_i},\;\operatorname{Cov}_{\eta}(T_i,T_j)=\dfrac{\partial^2\xi(\eta)}{\partial\eta_j\partial\eta_i}\)；
证明. (1)满秩变不满秩进行分解。
(2)概率测度在\(X\)上的值应为\(1\)。
(3)必要性：若参数\(\eta\)不可识别，则存在不同的\(\eta_1,\eta_2\in\Xi\)使得\(P_{\eta_1}=P_{\eta_2}\)。由定理 5.35可知此时有：
\[\begin{equation*} \frac{\mathop{}\!\mathrm{d}P_{\eta_1}}{\mathop{}\!\mathrm{d}\mu}=\frac{\mathop{}\!\mathrm{d}P_{\eta_2}}{\mathop{}\!\mathrm{d}\mu},\;\text{a.e.于}(X,\mathscr{A},\mu) \end{equation*}\]
即：
\[\begin{equation*} \exp\left[\eta_1^{\top}T(x)-\xi(\eta_1)\right]h(x)=\exp\left[\eta_2^{\top}T(x)-\xi(\eta_2)\right]h(x),\;\text{a.e.于}(X,\mathscr{A},\mu) \end{equation*}\]
于是存在\(N\in\mathscr{A}\)满足：
\[\begin{equation*} \mu(N)=0,\quad\exp\left[\eta_1^{\top}T(x)-\xi(\eta_1)\right]h(x)=\exp\left[\eta_2^{\top}T(x)-\xi(\eta_2)\right]h(x),\;x\in N^c \end{equation*}\]
对任意的\(x\in S\backslash N\)有：
\[\begin{equation*} \eta_1^{\top}T(x)-\xi(\eta_1)=\eta_2^{\top}T(x)-\xi(\eta_2) \end{equation*}\]
根据性质 5.1.6(2)和性质 5.2.1(3)（单调性）可知：
\[\begin{equation*} 0\leqslant\mu(S\cap N)\leqslant\mu(N)=0 \end{equation*}\]
所以\(\mu(S\cap N)=0\)，即：
\[\begin{equation*} \eta_1^{\top}T(x)-\xi(\eta_1)=\eta_2^{\top}T(x)-\xi(\eta_2),\;\text{a.e.于}(S,S\cap\mathscr{A},\mu) \end{equation*}\]
必要性成立。
充分性：若存在非零的\(\alpha\in\mathbb{R}^n\)和\(\beta\in\mathbb{R}\)使得\(\alpha^{\top}T(x)=\beta\;\)a.e.于\((S,S\cap\mathscr{A},\mu)\)，任取\(\Xi\)中\(\mathbb{R}^{n}\)上非空开集上的\(\eta_1\)，于是存在充分小的\(t\ne 0\)使得\(\eta_1+t\alpha\)也在其中。由性质 5.4.3(6)(8)可知：
\[\begin{align*} &\int_{X}^{}\exp\left[(\eta_1+t\alpha)^\top T(x)\right]h(x)\mathop{}\!\mathrm{d}\mu=\int_{S}^{}\exp\left[\eta_1^\top T(x)+t\alpha^\top T(x)\right]h(x)\mathop{}\!\mathrm{d}\mu \\ =&\int_{S}^{}\exp\left[\eta_1^\top T(x)+t\beta\right]h(x)\mathop{}\!\mathrm{d}\mu=\exp(t\beta)\int_{S}^{}\exp\left[\eta_1^\top T(x)\right]h(x)\mathop{}\!\mathrm{d}\mu \end{align*}\]
根据性质 10.1.5(2)可知\(\xi(\eta_1+t\alpha)=\xi(\eta_1)+t\beta\)，于是：
\[\begin{align*} \frac{\mathop{}\!\mathrm{d}P_{\eta_1+t\alpha}}{\mathop{}\!\mathrm{d}\mu}(x) &=\exp\left\{(\eta_1+t\alpha)^\top T(x)-\xi(\eta_1+t\alpha)\right\}h(x) \\ &=\exp\left\{\eta_1^\top T(x)+t\beta-\xi(\eta_1)-t\beta\right\}h(x) \\ &=\exp\left\{\eta_1^\top T(x)-\xi(\eta_1)\right\}h(x)=\frac{\mathop{}\!\mathrm{d}P_{\eta_1}}{\mathop{}\!\mathrm{d}\mu}(x) \end{align*}\]
a.e.于\((S,S\cap\mathscr{A},\mu)\)。注意到在\(S^c\)上有\(h(x)=0\)，上述二者也同时为\(0\)，所以根据性质 5.1.6(6)可得：
\[\begin{equation*} \frac{\mathop{}\!\mathrm{d}P_{\eta_1+t\alpha}}{\mathop{}\!\mathrm{d}\mu}=\frac{\mathop{}\!\mathrm{d}P_{\eta_1}}{\mathop{}\!\mathrm{d}\mu},\;\text{a.e.于}(X,\mathscr{A},\mu) \end{equation*}\]
由定理 5.35和性质 5.4.3(8)可得\(P_{\eta_1+t\alpha}=P_{\eta_1}\)。因为\(t\ne 0\)且\(\alpha\ne\mathbf{0}\)，所以\(\eta_1+t\alpha\ne\eta_1\)， 自然参数\(\eta\)不可识别。
(4)由性质 6.2.1(5.c)即可得到。
(5)设\(\theta,\vartheta\in\Xi\)且\(\theta\ne\vartheta\)。对任意的 \(\alpha\in(0,1)\)，定义：
\[\begin{equation*} \forall\;A\in\mathscr{A},\;\nu(A)=\int_{A}h(x)\mathop{}\!\mathrm{d}\mu \end{equation*}\]
由性质 5.4.2(2)(3)和定理 5.27可知\(\nu\)是\((X,\mathscr{A})\)上的测度，并且\(\nu\ll\mu\)。根据定理 5.35可知\(h(x)\)是\(\nu\)关于\(\mu\)的RN导数，由引理 5.10和不等式 9可得：
\[\begin{align*} &\int_{}\exp\left\{[\alpha\theta+(1-\alpha)\vartheta]^{\top}T(x)\right\}h(x)\mathop{}\!\mathrm{d}\mu \\ =&\int_{}\exp\left\{[\alpha\theta+(1-\alpha)\vartheta]^{\top}T(x)\right\}\mathop{}\!\mathrm{d}\nu \\ =&\int_{}\exp\left[\alpha\theta^{\top}T(x)\right]\exp\left[(1-\alpha)\vartheta^{\top}T(x)\right]\mathop{}\!\mathrm{d}\nu \\ \leqslant&\left\{\int_{}\exp\left[\theta^{\top}T(x)\right]\mathop{}\!\mathrm{d}\nu\right\}^{\alpha}\left\{\int_{}\exp\left[\vartheta^{\top}T(x)\right]\mathop{}\!\mathrm{d}\nu\right\}^{1-\alpha}<+\infty \end{align*}\]
即\(\alpha\theta+(1-\alpha)\vartheta\in\Xi\)，结论成立。
(7)由定理 10.2立即可得。
(9)因为：
\[\begin{equation*} \int_{X}\exp\left[\sum_{i=1}^{n}\eta_iT_i(x)-\xi(\eta)\right]h(x)\mathop{}\!\mathrm{d}\mu=1 \end{equation*}\]
由(6)和性质 5.4.3(6)可得：
\[\begin{gather*} \frac{\partial}{\partial\eta_i}\int_{X}^{}\exp\left[\sum_{i=1}^{n}\eta_iT_i(x)-\xi(\eta)\right]h(x)\mathop{}\!\mathrm{d}\mu=0 \\ \int_{X}^{}\left[T_i(x)-\frac{\partial \xi(\eta)}{\partial\eta_i}\right]\exp\left[\sum_{i=1}^{n}\eta_iT_i(x)-\xi(\eta)\right]h(x)\mathop{}\!\mathrm{d}\mu=0 \\ \int_{X}^{}T_i(x)\exp\left[\sum_{i=1}^{n}\eta_iT_i(x)-\xi(\eta)\right]h(x)\mathop{}\!\mathrm{d}\mu=\frac{\partial \xi(\eta)}{\partial\eta_i}\int_{X}^{}\exp\left[\sum_{i=1}^{n}\eta_iT_i(x)-\xi(\eta)\right]h(x)\mathop{}\!\mathrm{d}\mu \\ \operatorname{E}_{\eta}(T_i)=\frac{\partial \xi(\eta)}{\partial\eta_i} \end{gather*}\]
对上式求关于\(\eta_j\)的导数，由性质 6.3.4(6)可得：
\[\begin{gather*} \int_{X}^{}T_i(x)\left[T_j(x)-\frac{\partial \xi(\eta)}{\partial\eta_j}\right]\exp\left[\sum_{i=1}^{n}\eta_iT_i(x)-\xi(\eta)\right]h(x)\mathop{}\!\mathrm{d}\mu=\frac{\partial^2 \xi(\eta)}{\partial\eta_j\partial\eta_i} \\ \int_{X}^{}T_i(x)T_j(x)p(x)\mathop{}\!\mathrm{d}\mu-\int_{X}^{}T_i(x)\frac{\partial \xi(\eta)}{\partial\eta_j}p(x)\mathop{}\!\mathrm{d}\mu=\frac{\partial^2 \xi(\eta)}{\partial\eta_j\partial\eta_i} \\ \operatorname{E}_{\eta}(T_iT_j)-\frac{\partial \xi(\eta)}{\partial\eta_j}\operatorname{E}_{\eta}(T_i)=\frac{\partial^2 \xi(\eta)}{\partial\eta_j\partial\eta_i} \\ \operatorname{E}_{\eta}(T_iT_j)-\operatorname{E}_{\eta}(T_i)\operatorname{E}_{\eta}(T_j)=\frac{\partial^2 \xi(\eta)}{\partial\eta_j\partial\eta_i} \\ \operatorname{Cov}_{\eta}(T_i,T_j)=\frac{\partial^2 \xi(\eta)}{\partial\eta_j\partial\eta_i} \end{gather*}\]
◻
Theorem 10.3. 设\(X\sim\operatorname{Binom}(n,p),\;p\in(0,1)\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} p(X_1=x_1,X_2=x_2,\dots,X_m=x_m)=(1+e^{\eta})^{-mn}\exp\left(\eta\sum_{i=1}^{m}x_i\right)\prod_{i=1}^{m}\left[\binom{n}{x_i}I_{\mathbb{N}_0}(x_i)\right] \\ \eta=\ln\left(\frac{p}{1-p}\right),\quad C(\eta)=(1+e^{\eta})^{-mn} \\ T(x)=\sum_{i=1}^{m}x_i,\quad h(x)=\prod_{i=1}^{m}\left[\binom{n}{x_i}I_{\mathbb{N}_0}(x_i)\right] \end{gather*}\]
自然参数空间为\(\mathbb{R}^{}\)；
\(\sum\limits_{i=1}^{m}X_i\)是该分布族的充分统计量、完备统计量和极小充分统计量；
证明. (1)由二项分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\prod_{i=1}^{m}\left[\binom{n}{x_i}p^{x_i}(1-p)^{n-x_i}I_{\mathbb{N}_0}(x_i)\right]=\prod_{i=1}^{m}\left[\binom{n}{x_i}\left(\frac{p}{1-p}\right)^{x_i}(1-p)^nI_{\mathbb{N}_0}(x_i)\right] \\ =&(1-p)^{mn}\exp\left[\ln\left(\frac{p}{1-p}\right)\sum_{i=1}^{m}x_i\right]\prod_{i=1}^{m}\left[\binom{n}{x_i}I_{\mathbb{N}_0}(x_i)\right] \end{align*}\]
令：
\[\begin{equation*} \eta=\ln\left(\frac{p}{1-p}\right) \end{equation*}\]
可解得：
\[\begin{equation*} p=\frac{e^{\eta}}{e^{\eta}+1} \end{equation*}\]
于是有：
\[\begin{equation*} C(\eta)=(1-p)^{mn}=\left(\frac{1}{e^{\eta}+1}\right)^{mn}=(1+e^{\eta})^{-mn} \end{equation*}\]
根据\(\eta\)与\(p\)的关系可得\(\eta\in\mathbb{R}^{}\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.4. 设\(X\sim\operatorname{NB}(r,p),\;p\in(0,1)\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} \begin{aligned} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&(1-e^{\eta})^{mr}\exp\left(\eta\sum_{i=1}^{m}x_i\right)\prod_{i=1}^{m}\left[\binom{x_i+r-1}{r-1}I_{\mathbb{N}_0}(x_i)\right] \end{aligned} \\ \eta=\ln(1-p),\quad C(\eta)=(1-e^{\eta})^{mr} \\ T(x)=\sum_{i=1}^{m}x_i,\quad h(x)=\prod_{i=1}^{m}\left[\binom{x_i+r-1}{r-1}I_{\mathbb{N}_0}(x_i)\right] \end{gather*}\]
自然参数空间为\(\mathbb{R}^{-}\)；
\(\sum\limits_{i=1}^{m}X_i\)是该分布族的充分统计量、完备统计量和极小充分统计量；
证明. (1)由负二项分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\prod_{i=1}^{m}\left[\binom{x_i+r-1}{r-1}p^r(1-p)^{x_i}I_{\mathbb{N}_0}(x_i)\right] \\ =&p^{mr}\exp\left[\ln(1-p)\sum_{i=1}^{m}x_i\right]\prod_{i=1}^{m}\left[\binom{x_i+r-1}{r-1}I_{\mathbb{N}_0}(x_i)\right] \end{align*}\]
令\(\eta=\ln(1-p)\)，可解得\(p=1-e^{\eta}\)，于是有\(C(\eta)=p^{mr}=(1-e^{\eta})^{mr}\)。由\(\eta\)与\(p\)的关系可得\(\eta\in\mathbb{R}^{-}\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.5. 设\(X\sim\operatorname{Poisson}(\lambda),\;\lambda\in\mathbb{R}^+\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} p(X_1=x_1,X_2=x_2,\dots,X_m=x_m)=\exp(-me^{\eta})\exp\left(\eta\sum_{i=1}^{m}x_i\right)\prod_{i=1}^{m}\frac{I_{\mathbb{N}_0}(x_i)}{x_i!} \\ \eta=\ln\lambda,\quad C(\eta)=\exp(-me^{\eta}),\quad T(x)=\sum_{i=1}^{m}x_i,\quad h(x)=\prod_{i=1}^{m}\frac{I_{\mathbb{N}_0}(x_i)}{x_i!} \end{gather*}\]
自然参数空间为\(\mathbb{R}^{}\)；
\(\sum\limits_{i=1}^{m}X_i\)是该分布族的充分统计量、完备统计量和极小充分统计量；
证明. (1)由Poisson分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\prod_{i=1}^{m}\left(\frac{\lambda^{x_i}}{x_i!}e^{-\lambda}I_{\mathbb{N}_0}(x_i)\right) =e^{-m\lambda}\exp\left[\ln(\lambda)\sum_{i=1}^{m}x_i\right]\prod_{i=1}^{m}\frac{I_{\mathbb{N}_0}(x_i)}{x_i!} \end{align*}\]
令\(\eta=\ln\lambda\)，可解得\(\lambda=e^{\eta}\)，于是有\(C(\eta)=e^{-m\lambda}=\exp(-me^{\eta})\)。由\(\eta\)与\(\lambda\)的关系可得\(\eta\in\mathbb{R}^{}\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.6. 设\(X\sim\operatorname{Power}(\theta),\;\theta\in\mathbb{R}^{+}\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} p(X_1=x_1,X_2=x_2,\dots,X_m=x_m)=(\eta+1)^m\exp\left(\eta\sum_{i=1}^{m}\ln x_i\right)\prod_{i=1}^{m}I_{(0,1)}(x_i) \\ \eta=\theta-1,\quad C(\eta)=(\eta+1)^m,\quad T(x)=\sum_{i=1}^{m}\ln x_i,\quad h(x)=\prod_{i=1}^{m}I_{(0,1)}(x_i) \end{gather*}\]
自然参数空间为\((-1,+\infty)\)；
\(\sum\limits_{i=1}^{m}\ln X_i\)是该分布族的充分统计量、完备统计量和极小充分统计量；
证明. (1)由幂分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\prod_{i=1}^{m}\left[\theta x_i^{\theta-1}I_{(0,1)}(x_i)\right]=\theta^m\exp\left[(\theta-1)\sum_{i=1}^{m}\ln x_i\right]\prod_{i=1}^{m}I_{(0,1)}(x_i) \end{align*}\]
令\(\eta=\theta-1\)，于是有\(C(\eta)=\theta^{m}=(\eta+1)^m\)。由\(\eta\)与\(\theta\)的关系可得\(\eta\in(-1,+\infty)\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.7. 设\(X\sim\operatorname{Weibull}(n,\theta),\;\theta\in\mathbb{R}^{+}\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} p(X_1=x_1,X_2=x_2,\dots,X_m=x_m)=(-\eta)^{m}\exp\left(\eta\sum_{i=1}^{m}x_i^n\right)\prod_{i=1}^{m}\left[nx_i^{n-1}I_{(0,+\infty)}(x_i)\right] \\ \eta=-\theta^{-n},\quad C(\eta)=(-\eta)^{m},\quad T(x)=\sum_{i=1}^{m}x_i^n,\quad h(x)=\prod_{i=1}^{m}\left[nx_i^{n-1}I_{(0,+\infty)}(x_i)\right] \end{gather*}\]
自然参数空间为\(\mathbb{R}^{-}\)；
\(\sum\limits_{i=1}^{m}X_i^n\)是该分布族的充分统计量、完备统计量和极小充分统计量；
证明. (1)由Weibull分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\prod_{i=1}^{m}\left\{nx_i^{n-1}\theta^{-n}\exp\left[-\left(\frac{x_i}{\theta}\right)^n\right]I_{(0,+\infty)}(x_i)\right\} \\ =&\theta^{-mn}\exp\left(-\frac{1}{\theta^n}\sum_{i=1}^{m}x_i^n\right)\prod_{i=1}^{m}\left[nx_i^{n-1}I_{(0,+\infty)}(x_i)\right] \end{align*}\]
令\(\eta=-\theta^{-n}\)，于是有\(C(\eta)=\theta^{-mn}=(-\eta)^{m}\)。由\(\eta\)与\(\theta\)的关系可得\(\eta\in\mathbb{R}^{-}\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.8. 设\(X\sim\operatorname{Pareto}(\alpha,\beta),\;\beta\in\mathbb{R}^{+}\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} \begin{aligned} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&(-\eta-1)^m\alpha^{-m(\eta+1)}\exp\left(\eta\sum_{i=1}^{m}\ln x_i\right)\prod_{i=1}^{m}I_{(\alpha,+\infty)}(x_i) \end{aligned} \\ \eta=-(\beta+1),\quad C(\eta)=(-\eta-1)^m\alpha^{-m(\eta+1)} \\ T(x)=\sum_{i=1}^{m}\ln x_i,\quad h(x)=\prod_{i=1}^{m}I_{(\alpha,+\infty)}(x_i) \end{gather*}\]
自然参数空间为\((-\infty,-1)\)；
\(\sum\limits_{i=1}^{m}\ln X_i\)是该分布族的充分统计量、完备统计量和极小充分统计量；
证明. (1)由Pareto分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\prod_{i=1}^{m}\left[\beta\alpha^{\beta}x_i^{-(\beta+1)}I_{(\alpha,+\infty)}(x_i)\right]=\beta^m\alpha^{m\beta}\exp\left[-(\beta+1)\sum_{i=1}^{m}\ln x_i\right]\prod_{i=1}^{m}I_{(\alpha,+\infty)}(x_i) \end{align*}\]
令\(\eta=-(\beta+1)\)，于是有\(C(\eta)=\beta^{m}\alpha^{m\beta}=(-\eta-1)^m\alpha^{-m(\eta+1)}\)。由\(\eta\)与\(\beta\)的关系可得\(\eta\in(-\infty,-1)\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.9. 设\(X\sim\operatorname{N}(\mu,\sigma^2),\;\mu\in\mathbb{R}^{},\sigma^2>0\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} \begin{aligned} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\left(-\frac{\pi}{\eta_1}\right)^{-\frac{m}{2}}\exp\left(\frac{m\eta_2^2}{4\eta_1}\right)\exp\left(\eta_1\sum_{i=1}^{m}x_i^2+\eta_2\sum_{i=1}^{m}x_i\right) \end{aligned} \\ \eta=\left(-\frac{1}{2\sigma^2},\frac{\mu}{\sigma^2}\right),\quad C(\eta)=\left(-\frac{\pi}{\eta_1}\right)^{-\frac{m}{2}}\exp\left(\frac{m\eta_2^2}{4\eta_1}\right) \\ T(x)=\left(\sum_{i=1}^{m}x_i^2,\sum_{i=1}^{m}x_i\right),\quad h(x)=1 \end{gather*}\]
自然参数空间为\(\mathbb{R}^-\times\mathbb{R}^{}\)；
\(\left(\sum\limits_{i=1}^{m}X_i^2,\sum\limits_{i=1}^{m}X_i\right)\)是该分布族的充分统计量、完备统计量和极小充分统计量；
证明. (1)由正态分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m)=\prod_{i=1}^{m}\left\{(2\pi\sigma^2)^{-\frac{1}{2}}\exp\left[-\frac{(x_i-\mu)^2}{2\sigma^2}\right]\right\} \\ =&(2\pi\sigma^2)^{-\frac{m}{2}}\prod_{i=1}^{m}\left[\exp\left(-\frac{x_i^2-2x_i\mu+\mu^2}{2\sigma^2}\right)\right] \\ =&(2\pi\sigma^2)^{-\frac{m}{2}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^{m}x_i^2+\frac{\mu}{\sigma^2}\sum_{i=1}^{m}x_i-\frac{m\mu^2}{2\sigma^2}\right) \\ =&(2\pi\sigma^2)^{-\frac{m}{2}}\exp\left(-\frac{m\mu^2}{2\sigma^2}\right)\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^{m}x_i^2+\frac{\mu}{\sigma^2}\sum_{i=1}^{m}x_i\right) \end{align*}\]
令：
\[\begin{equation*} \eta=\left(-\frac{1}{2\sigma^2},\frac{\mu}{\sigma^2}\right) \end{equation*}\]
可解得：
\[\begin{equation*} \mu=-\frac{\eta_2}{2\eta_1},\quad\sigma^2=-\frac{1}{2\eta_1} \end{equation*}\]
于是有：
\[\begin{equation*} C(\eta)=(2\pi\sigma^2)^{-\frac{m}{2}}\exp\left(-\frac{m\mu^2}{2\sigma^2}\right)=\left(-\frac{\pi}{\eta_1}\right)^{-\frac{m}{2}}\exp\left(\frac{m\eta_2^2}{4\eta_1}\right) \end{equation*}\]
由\(\eta\)与\((\mu,\sigma^2)\)的关系即可得到\(\eta\in\mathbb{R}^{-}\times\mathbb{R}^{}\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.10. 设\(X\sim\operatorname{LN}(\mu,\sigma^2),\;\mu\in\mathbb{R}^{},\sigma^2>0\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} \begin{aligned} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\left(-\frac{\pi}{\eta_1}\right)^{-\frac{m}{2}}\exp\left(\frac{m\eta_2^2}{4\eta_1}\right)\exp\left(\eta_1\sum_{i=1}^{m}\ln^2 x_i+\eta_2\sum_{i=1}^{m}\ln x_i\right)\prod_{i=1}^{m}\frac{I_{(0,+\infty)}(x_i)}{x_i} \end{aligned} \\ \eta=\left(-\frac{1}{2\sigma^2},\frac{\mu}{\sigma^2}\right),\quad C(\eta)=\left(-\frac{\pi}{\eta_1}\right)^{-\frac{m}{2}}\exp\left(\frac{m\eta_2^2}{4\eta_1}\right) \\ T(x)=\left(\sum_{i=1}^{m}\ln^2 x_i,\sum_{i=1}^{m}\ln x_i\right),\quad h(x)=\prod_{i=1}^{m}\frac{I_{(0,+\infty)}(x_i)}{x_i} \end{gather*}\]
自然参数空间为\(\mathbb{R}^{-}\times\mathbb{R}^{}\)；
\(\left(\sum\limits_{i=1}^{m}\ln^2 X_i,\sum\limits_{i=1}^{m}\ln X_i\right)\)是该分布族的充分统计量、完备统计量和极小充分统计量；；
证明. (1)由对数正态分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\prod_{i=1}^{m}\left\{(2\pi\sigma^2)^{-\frac{1}{2}}\frac{1}{x_i}\exp\left[-\frac{(\ln x_i-\mu)^2}{2\sigma^2}\right]I_{(0,+\infty)}(x_i)\right\} \\ =&(2\pi\sigma^2)^{-\frac{m}{2}}\prod_{i=1}^{m}\left[\exp\left(-\frac{\ln^2 x_i-2\mu\ln x_i+\mu^2}{2\sigma^2}\right)\frac{I_{(0,+\infty)}(x_i)}{x_i}\right] \\ =&(2\pi\sigma^2)^{-\frac{m}{2}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^{m}\ln^2 x_i+\frac{\mu}{\sigma^2}\sum_{i=1}^{m}\ln x_i-\frac{m\mu^2}{2\sigma^2}\right)\prod_{i=1}^{m}\frac{I_{(0,+\infty)}(x_i)}{x_i} \\ =&(2\pi\sigma^2)^{-\frac{m}{2}}\exp\left(-\frac{m\mu^2}{2\sigma^2}\right)\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^{m}\ln^2 x_i+\frac{\mu}{\sigma^2}\sum_{i=1}^{m}\ln x_i\right)\prod_{i=1}^{m}\frac{I_{(0,+\infty)}(x_i)}{x_i} \end{align*}\]
令：
\[\begin{equation*} \eta=\left(-\frac{1}{2\sigma^2},\frac{\mu}{\sigma^2}\right) \end{equation*}\]
可解得：
\[\begin{equation*} \mu=-\frac{\eta_2}{2\eta_1},\quad\sigma^2=-\frac{1}{2\eta_1} \end{equation*}\]
于是有：
\[\begin{equation*} C(\eta)=(2\pi\sigma^2)^{-\frac{m}{2}}\exp\left(-\frac{m\mu^2}{2\sigma^2}\right)=\left(-\frac{\pi}{\eta_1}\right)^{-\frac{m}{2}}\exp\left(\frac{m\eta_2^2}{4\eta_1}\right) \end{equation*}\]
由\(\eta\)与\((\mu,\sigma^2)\)的关系即可得到\(\eta\in\mathbb{R}^{-}\times\mathbb{R}^{}\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.11. 设\(X\sim\operatorname{Exp}(\lambda),\;\lambda\in\mathbb{R}^{+}\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) =(-\eta)^m\lambda^m\exp\left(\eta\sum_{i=1}^{m}x_i\right)\prod_{i=1}^mI_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i) \\ \eta=-\lambda,\quad C(\eta)=(-\eta)^m,\quad T(x)=\sum_{i=1}^{m}x_i,\quad h(x)=\prod_{i=1}^{m}I_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i) \end{gather*}\]
自然参数空间为\(\mathbb{R}^{-}\)；
\(\sum\limits_{i=1}^{m}X_i\)为该分布族的充分统计量、完备统计量、极小充分统计量；
证明. (1)由指数分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\prod_{i=1}^{m}\left[\lambda\exp(-\lambda x_i)I_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i)\right]=\lambda^m\exp\left(-\lambda\sum_{i=1}^{m}x_i\right)\prod_{i=1}^mI_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i) \end{align*}\]
令\(\eta=-\lambda\)，于是有\(C(\eta)=\lambda^m=(-\eta)^m\)。由\(\eta\)与\(\lambda\)的关系可得\(\eta\in\mathbb{R}^{-}\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.12. 设\(X\sim\operatorname{Laplace}(\theta),\;\theta\in\mathbb{R}^{+}\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) =(-\eta)^m\exp\left(\eta\sum_{i=1}^{m}|x_i|\right) \\ \eta=-\theta^{-1},\quad C(\eta)=(-\eta)^m,\quad T(x)=\sum_{i=1}^{m}|x_i|,\quad h(x)=1 \end{gather*}\]
自然参数空间为\(\mathbb{R}^{-}\)；
\(\sum\limits_{i=1}^{m}|X_i|\)为该分布族的充分统计量、完备统计量、极小充分统计量；
证明. (1)由Laplace分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\prod_{i=1}^{m}\left[\frac{1}{\theta}\exp\left(-\frac{|x_i|}{\theta}\right)\right]=\frac{1}{\theta^m}\exp\left(-\frac{1}{\theta}\sum_{i=1}^{m}|x_i|\right) \end{align*}\]
令\(\eta=-\theta^{-1}\)，于是有\(C(\eta)=\theta^{-m}=(-\eta)^m\)。由\(\eta\)与\(\theta\)的关系可得\(\eta\in\mathbb{R}^{-}\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.13. 设\(X\sim\operatorname{Rayleigh}(\lambda),\;\lambda\in\mathbb{R}^{+}\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) =(-\eta)^m\exp\left(\eta\sum_{i=1}^{m}x_i^2\right)\prod_{i=1}^{m}\left[2x_iI_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i)\right] \\ \eta=-\lambda,\quad C(\eta)=(-\eta)^m,\quad T(x)=\sum_{i=1}^{m}x_i^2,\quad h(x)=\prod_{i=1}^{m}\left[2x_iI_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i)\right] \end{gather*}\]
自然参数空间为\(\mathbb{R}^{-}\)；
\(\sum\limits_{i=1}^{m}X_i^2\)为该分布族的充分统计量、完备统计量、极小充分统计量；
证明. (1)由Rayleigh分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m)=\prod_{i=1}^{m}\left[2\lambda x_i\exp(-\lambda x_i^2)I_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i)\right] \\ =&\lambda^m\exp\left(-\lambda\sum_{i=1}^{m}x_i^2\right)\prod_{i=1}^{m}\left[2x_iI_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i)\right] \end{align*}\]
令\(\eta=-\lambda\)，于是有\(C(\eta)=\lambda^{m}=(-\eta)^m\)。由\(\eta\)与\(\lambda\)的关系可得\(\eta\in\mathbb{R}^{-}\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.14. 设\(X\sim\operatorname{Gamma}(\alpha,\lambda),\;\alpha,\lambda\in\mathbb{R}^{+}\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} \begin{aligned} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\frac{(-\eta_2)^{m(\eta_1+1)}}{\Gamma^m(\eta_1+1)}\exp\left[\eta_1\sum_{i=1}^{m}\ln x_i+\eta_2\sum_{i=1}^{m}x_i\right]\prod_{i=1}^{m}I_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i) \end{aligned} \\ \eta=(\alpha-1,-\lambda),\quad C(\eta)=\frac{(-\eta_2)^{m(\eta_1+1)}}{\Gamma^m(\eta_1+1)} \\ T(x)=\left(\sum_{i=1}^{m}\ln x_i,\sum_{i=1}^{m}x_i\right),\quad h(x)=\prod_{i=1}^{m}I_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i) \end{gather*}\]
自然参数空间为\((-1,+\infty)\times\mathbb{R}^{-}\)；
\(\left(\sum\limits_{i=1}^{m}\ln X_i,\sum\limits_{i=1}^{m}X_i\right)\)为该分布族的充分统计量、完备统计量、极小充分统计量；
证明. (1)由Gamma分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m)=\prod_{i=1}^{m}\left[\frac{\lambda^{\alpha}}{\Gamma(\alpha)}x_i^{\alpha-1}e^{-\lambda x_i}I_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i)\right] \\ =&\frac{\lambda^{m\alpha}}{\Gamma^m(\alpha)}\exp\left[(\alpha-1)\sum_{i=1}^{m}\ln x_i-\lambda\sum_{i=1}^{m}x_i\right]\prod_{i=1}^{m}I_{\mathbb{R}^{}\setminus\mathbb{R}^{-}}(x_i) \end{align*}\]
令\(\eta=(\alpha-1,-\lambda)\)，于是有：
\[\begin{equation*} C(\eta)=\frac{\lambda^{m\alpha}}{\Gamma^m(\alpha)}=\frac{(-\eta_2)^{m(\eta_1+1)}}{\Gamma^m(\eta_1+1)} \end{equation*}\]
由\(\eta\)与\((\alpha,\lambda)\)的关系可得\(\eta\in(-1,+\infty)\times\mathbb{R}^{-}\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
Theorem 10.15. 设\(X\sim\operatorname{Beta}(\alpha,\beta),\;\alpha,\beta\in\mathbb{R}^{+}\)，\(X_1, X_2, \dots, X_{m}\)是\(X\)的一个样本，则：
\(X_1, X_2, \dots, X_{m}\)的分布是指数族，其标准形式、自然参数、\(C(\eta)\)、\(T(x)\)和\(h(x)\)分别为：
\[\begin{gather*} \begin{aligned} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m) \\ =&\left[\frac{\Gamma(\eta_1+\eta_2+2)}{\Gamma(\eta_1+1)\Gamma(\eta_2+1)}\right]^m\exp\left[\eta_1\sum_{i=1}^{m}\ln x_i+\eta_2\sum_{i=1}^{m}\ln(1-x_i)\right]\prod_{i=1}^{m}I_{(0,1)}(x_i) \end{aligned} \\ \eta=(\alpha-1,\beta-1),\quad C(\eta)=\left[\frac{\Gamma(\eta_1+\eta_2+2)}{\Gamma(\eta_1+1)\Gamma(\eta_2+1)}\right]^m \\ T(x)=\left(\sum_{i=1}^{m}\ln x_i,\sum_{i=1}^{m}\ln(1-x_i)\right),\quad h(x)=\prod_{i=1}^{m}I_{(0,1)}(x_i) \end{gather*}\]
自然参数空间为\((-1,+\infty)\times(-1,+\infty)\)；
\(\left(\sum\limits_{i=1}^{m}\ln X_i,\sum\limits_{i=1}^{m}\ln(1-X_i)\right)\)为该分布族的充分统计量、完备统计量、极小充分统计量；
证明. (1)由Beta分布的定义可以得到：
\[\begin{align*} &p(X_1=x_1,X_2=x_2,\dots,X_m=x_m)=\prod_{i=1}^{m}\left[\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x_i^{\alpha-1}(1-x_i)^{\beta-1}I_{(0,1)}(x_i)\right] \\ =&\left[\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\right]^m\exp\left[(\alpha-1)\sum_{i=1}^{m}\ln x_i+(\beta-1)\sum_{i=1}^{m}\ln(1-x_i)\right]\prod_{i=1}^{m}I_{(0,1)}(x_i) \end{align*}\]
令\(\eta=(\alpha-1,\beta-1)\)，于是有：
\[\begin{equation*} C(\eta)=\left[\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\right]^m=\left[\frac{\Gamma(\eta_1+\eta_2+2)}{\Gamma(\eta_1+1)\Gamma(\eta_2+1)}\right]^m \end{equation*}\]
由\(\eta\)与\((\alpha,\beta)\)的关系可得\(\eta\in(-1,+\infty)\times(-1,+\infty)\)。
(2)由(1)和性质 10.1.5(7)(8)立即可得。 ◻
10.2 抽样分布
10.2.1 一维总体
Theorem 10.16. 设\(X_1, X_2, \dots, X_{m}\;\text{i.i.d.}\sim \operatorname{N}(\mu,\sigma^2)\)，\(Y_1, Y_2, \dots, Y_{n}\;\text{i.i.d.}\sim \operatorname{N}(\nu,\sigma^2)\)，\(X_1, X_2, \dots, X_{m}\)和\(Y_1, Y_2, \dots, Y_{n}\)相互独立，\(\overline{X},\overline{Y}\)为样本均值，\(S_X^2,S_Y^2\)为样本方差，则：
\(\overline{X}\sim N\left(\mu,\dfrac{\sigma^2}{m}\right)\)；
\(\dfrac{(m-1)S_X^2}{\sigma^2}\sim\chi_{m-1}^2\)；
\(\overline{X}\)与\(S_X^2\)独立；
\(\dfrac{\sqrt{m}(\overline{X}-\mu)}{S_X}\sim \operatorname{t}_{m-1}\)；
\(\dfrac{\overline{X}-\overline{Y}-(\mu-\nu)}{S_w}\sqrt{\dfrac{m+n}{mn}}\sim \operatorname{t}_{m+n-2}\)，其中：
\[\begin{equation*} (m+n-2)S_w^2=(m-1)S_X^2+(n-1)S_Y^2 \end{equation*}\]
若\(X_1, X_2, \dots, X_{m}\;\text{i.i.d.}\sim \operatorname{N}(\mu,\sigma_1^2)\)，\(Y_1, Y_2, \dots, Y_{n}\;\text{i.i.d.}\sim \operatorname{N}(\nu,\sigma_2^2)\)，其它条件不变，则：
\[\begin{equation*} \frac{S_X^2\sigma_2^2}{S_Y^2\sigma_1^2}\sim \operatorname{F}_{m-1,n-1} \end{equation*}\]
证明. 令\(\mathbf{X}=(X_1, X_2, \dots, X_{m})^{\top},\;\mathbf{Y}=(Y_1, Y_2, \dots, Y_{n})^{\top}\)。因为\(X_1, X_2, \dots, X_{m}\;\text{i.i.d.}\sim \operatorname{N}(\mu,\sigma^2)\)，\(Y_1, Y_2, \dots, Y_{n}\;\text{i.i.d.}\sim \operatorname{N}(\nu,\sigma^2)\)，所以\(\mathbf{X}\sim N_m(\boldsymbol{\mu},\Sigma_m),\;\mathbf{Y}\sim N_n(\boldsymbol{\nu},\Sigma_n)\)，其中：
\[\begin{equation*} \boldsymbol{\mu}=\mu\mathbf{1}_m,\quad\Sigma_m=\sigma^2I_m,\quad\boldsymbol{\nu}=\nu\mathbf{1}_n,\quad\Sigma_n=\sigma^2I_n \end{equation*}\]
(1)令\(m\)维行向量\(c=\left(\dfrac{1}{m},\dfrac{1}{m},\dots,\dfrac{1}{m}\right)\)， 由性质 6.4.6(2)可知：
\[\begin{equation*} \overline{X}=c\mathbf{X}\sim \operatorname{N}(c\boldsymbol{\mu},c\Sigma c^{\top}) \end{equation*}\]
而：
\[\begin{equation*} c\boldsymbol{\mu}=\sum_{i=1}^{m}\frac{\mu}{m}=\mu,\;c\Sigma c^{\top}=\sum_{i=1}^{m}\frac{\sigma^2}{m^2}=\frac{\sigma^2}{m} \end{equation*}\]
所以\(\overline{X}\sim N\left(\mu,\dfrac{\sigma^2}{m}\right)\)。
(2)由Schmidit正交化考虑链接什么过来可知存在正交矩阵：
\[\begin{equation*} A= \begin{pmatrix} \frac{1}{\sqrt{m}} & \frac{1}{\sqrt{m}} & \cdots & \frac{1}{\sqrt{m}} \\ a_{21} & a_{22} & \cdots & a_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mm} \end{pmatrix} \end{equation*}\]
令\(\mathbf{Z}=A\mathbf{X}\)，由性质 6.4.6(2)可知\(\mathbf{Z}\sim N_m(A\boldsymbol{\mu},\sigma^2I_m)\)。由性质 6.4.6(3)可知\(\mathbf{Z}_i\sim \operatorname{N}(\mu_i,\sigma^2)\)，其中：
\[\begin{equation*} \mu_i=\mu\sum_{j=1}^{m}a_{ij} \end{equation*}\]
因为\(A\)是一个正交矩阵，所以：
\[\begin{equation*} \mu_i=\sqrt{m}\mu\sum_{j=1}^{m}\frac{1}{\sqrt{m}}a_{ij}=\sqrt{m}\mu\left(\dfrac{1}{\sqrt{m}},\dfrac{1}{\sqrt{m}},\dots,\dfrac{1}{\sqrt{m}}\right)(a_{i1},a_{i2},\dots,a_{im})^{\top}=0 \end{equation*}\]
由性质 6.4.6(2)即可得：
\[\begin{equation*} \frac{\mathbf{Z}_i}{\sigma}\sim \operatorname{N}(0,1),\;\forall\;i=1,2,\dots,m \end{equation*}\]
因为\(\mathbf{Z}=A\mathbf{X}\)，所以：
\[\begin{equation*} \mathbf{Z}_1=\frac{1}{\sqrt{m}}\sum_{i=1}^{m}X_i=\sqrt{m}\overline{X} \end{equation*}\]
因为：
\[\begin{equation*} \mathbf{Z}^{\top}\mathbf{Z}=\sum_{i=1}^{m}\mathbf{Z}_i^2=\mathbf{X}^{\top}A^{\top}A\mathbf{X}=\mathbf{X}^{\top}\mathbf{X}=\sum_{i=1}^{m}X_i^2 \end{equation*}\]
于是：
\[\begin{equation*} (m-1)S_X^2=\sum_{i=1}^{m}(X_i-\overline{X})^2=\sum_{i=1}^{m}X_i^2-m\overline{X}^2=\sum_{i=1}^{m}\mathbf{Z}_i^2-\mathbf{Z}_1^2=\sum_{i=2}^{m}\mathbf{Z}_i^2 \end{equation*}\]
所以：
\[\begin{equation*} \frac{(m-1)S_X^2}{\sigma^2}=\sum_{i=2}^{m}\left(\frac{\mathbf{Z}_i}{\sigma}\right)^2\sim\chi_{m-1}^2 \end{equation*}\]
(3)由(2)的证明过程可得\(\mathbf{Z}\sim N_m(A\boldsymbol{\mu},\sigma^2I_m)\)，根据性质 6.4.6(8)可知\(\mathbf{Z}_1, \mathbf{Z}_2, \dots, \mathbf{Z}_{m}\)相互独立。而：
\[\begin{equation*} S_X^2=\frac{\sum\limits_{i=2}^{m}\mathbf{Z}_i^2}{(m-1)},\;\overline{X}=\frac{\mathbf{Z}_1}{\sqrt{m}} \end{equation*}\]
所以\(S_X^2\)与\(\overline{X}\)独立。
(4)对\(\overline{X}\)进行标准化可得：
\[\begin{equation*} \frac{\overline{X}-\mu}{\sqrt{\frac{\sigma^2}{m}}}=\frac{\sqrt{m}(\overline{X}-\mu)}{\sigma}\sim\operatorname{N}(0,1) \end{equation*}\]
由(2)和(3)进一步可得：
\[\begin{equation*} \frac{\dfrac{\sqrt{m}(\overline{X}-\mu)}{\sigma}}{\sqrt{\dfrac{(m-1)S_X^2}{\sigma^2(m-1)}}}=\frac{\sqrt{m}(\overline{X}-\mu)}{S_X}\sim \operatorname{t}_{m-1} \end{equation*}\]
(5)由(1)（得到\(\overline{X}\)和\(\overline{Y}\)的分布）、\(X_1, X_2, \dots, X_{m}\)与\(Y_1, Y_2, \dots, Y_{n}\)相互独立（由性质 6.4.6(6)得到二维随机向量\((\overline{X},\overline{Y})^{\top}\)的分布）和性质 6.4.6(2)（对\((\overline{X},\overline{Y})^{\top}\)用二维行向量\((1,-1)\)做线性变换）可得：
\[\begin{equation*} \overline{X}-\overline{Y}\sim N\left(\mu-\nu,\frac{\sigma^2}{m}+\frac{\sigma^2}{n}\right) \end{equation*}\]
于是：
\[\begin{equation*} \frac{\overline{X}-\overline{Y}-(\mu-\nu)}{\sqrt{\dfrac{m+n}{mn}\sigma^2}}\sim \operatorname{N}(0,1) \end{equation*}\]
由(2)可得：
\[\begin{equation*} \frac{(m-1)S_X^2}{\sigma^2}\sim\chi_{m-1}^2,\; \frac{(n-1)S_Y^2}{\sigma^2}\sim\chi_{n-1}^2 \end{equation*}\]
由性质 6.4.7(1)可得：
\[\begin{equation*} \frac{(m-1)S_X^2+(n-1)S_Y^2}{\sigma^2}\sim\chi_{m+n-2}^2 \end{equation*}\]
于是：
\[\begin{equation*} \frac{(m+n-2)S_w^2}{\sigma^2}\sim\chi_{m+n-2}^2 \end{equation*}\]
由(3)可得\(\overline{X}\)与\(S_X^2\)独立、\(\overline{Y}\)与\(S_Y^2\)独立，所以：
\[\begin{equation*} \frac{\dfrac{\overline{X}-\overline{Y}-(\mu-\nu)}{\sqrt{\dfrac{m+n}{mn}\sigma^2}}}{\sqrt{\dfrac{(m+n-2)S_w^2}{\sigma^2(m+n-2)}}}=\frac{\overline{X}-\overline{Y}-(\mu-\nu)}{S_w}\sqrt{\dfrac{m+n}{mn}}\sim \operatorname{t}_{m+n-2} \end{equation*}\]
(6)由(2)可知：
\[\begin{equation*} \frac{(m-1)S_X^2}{\sigma_1^2}\sim\chi_{m-1}^2,\; \frac{(n-1)S_Y^2}{\sigma_2^2}\sim\chi_{n-1}^2 \end{equation*}\]
因为\(X_1, X_2, \dots, X_{m}\)和\(Y_1, Y_2, \dots, Y_{n}\)相互独立，所以上两式也相互独立。由\(F\)分布的定义即可得：
\[\begin{equation*} \frac{\dfrac{(m-1)S_X^2}{\sigma_1^2(m-1)}}{\dfrac{(n-1)S_Y^2}{\sigma_2^2(n-1)}}=\frac{S_X^2\sigma_2^2}{S_Y^2\sigma_1^2}\sim \operatorname{F}_{m-1,n-1} \end{equation*}\]
◻
10.2.2 多维总体
Theorem 10.17. 设\(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_m}\;\text{i.i.d.}\sim\operatorname{N}_p(\boldsymbol{\mu},\Sigma)\)，\(\mathbf{Y_1},\mathbf{Y_2},\dots,\mathbf{Y_n}\;\text{i.i.d.}\sim \operatorname{N}_p(\boldsymbol{\nu},\Sigma)\)，\(\Sigma>\mathbf{0}\)，\(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_m}\)和\(\mathbf{Y_1},\mathbf{Y_2},\dots,\mathbf{Y_n}\)相互独立，\(\overline{\mathbf{X}},\overline{\mathbf{Y}}\)为样本均值向量，\(S_X,S_Y\)为样本协方差矩阵，则：
\(\overline{\mathbf{X}}\sim\operatorname{N}_p\left(\boldsymbol{\mu},\dfrac{1}{m}\Sigma\right)\)；
\((m-1)S_X\sim\operatorname{W}_p(m-1,\Sigma)\)；
\(\overline{\mathbf{X}}\)与\(S_X\)相互独立；
\(m(\overline{\mathbf{X}}-\boldsymbol{\mu})^{\top}S_X^{-1}(\overline{\mathbf{X}}-\boldsymbol{\mu})\sim T^2(p,m-1)\)；
若\(\boldsymbol{\mu}=\boldsymbol{\nu}\)，则\(\dfrac{mn}{m+n}(\overline{\mathbf{X}}-\overline{\mathbf{Y}})^{\top}S_{w}^{-1}(\overline{\mathbf{X}}-\overline{\mathbf{Y}})\sim T^2(p,m+n-2)\)，其中：
\[\begin{equation*} (m+n-2)S_w=(m-1)S_X+(n-1)S_Y \end{equation*}\]
证明. (1)
(2)
(3)
(4)由(1)(2)(3)和性质 6.5.2(1)可得：
\[\begin{equation*} (m-1)m(\overline{\mathbf{X}}-\boldsymbol{\mu})^{\top}[(m-1)S_X]^{-1}(\overline{\mathbf{X}}-\boldsymbol{\mu})=m(\overline{\mathbf{X}}-\boldsymbol{\mu})^{\top}S_X^{-1}(\overline{\mathbf{X}}-\boldsymbol{\mu})\sim T^2(p,m-1) \end{equation*}\]
(5)由(1)（得到\(\overline{\mathbf{X}}\)和\(\overline{\mathbf{Y}}\)的分布）、性质 6.4.6(2)（得到\(-\overline{\mathbf{Y}}\)的分布）、性质 6.4.6(7)以及\(\overline{\mathbf{X}}\)与\(\overline{\mathbf{Y}}\)的独立性可得
\[\begin{equation*} \overline{\mathbf{X}}-\overline{\mathbf{Y}}\sim \operatorname{N}_p\left(\boldsymbol{\mu}-\boldsymbol{\nu},\frac{\Sigma}{m}+\frac{\Sigma}{n}\right) \end{equation*}\]
于是当\(\boldsymbol{\mu}=\boldsymbol{\nu}\)时由性质 6.4.6(2)可得：
\[\begin{equation*} \overline{\mathbf{X}}-\overline{\mathbf{Y}}-(\mu-\nu)=\overline{\mathbf{X}}-\overline{\mathbf{Y}}\sim \operatorname{N}_p\left(\mathbf{0},\frac{\Sigma}{m}+\frac{\Sigma}{n}\right) \end{equation*}\]
由(2)、\(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_m}\)和\(\mathbf{Y_1},\mathbf{Y_2},\dots,\mathbf{Y_m}\)之间的独立性以及性质 6.5.1(1)可得：
\[\begin{gather*} (m-1)S_X\sim\operatorname{W}_p(m-1,\Sigma),\quad(n-1)S_Y\sim\operatorname{W}_p(n-1,\Sigma) \\ (m+n-2)S_w=(m-1)S_X+(n-1)S_Y\sim\operatorname{W}_p(m+n-2,\Sigma) \end{gather*}\]
于是：
\[\begin{align*} &\frac{m+n-2}{\dfrac{m+n}{mn}}(\overline{\mathbf{X}}-\overline{\mathbf{Y}})^{\top}[(m+n-2)S_{w}]^{-1}(\overline{\mathbf{X}}-\overline{\mathbf{Y}}) \\ =&\frac{mn}{m+n}(\overline{\mathbf{X}}-\overline{\mathbf{Y}})^{\top}S_{w}^{-1}(\overline{\mathbf{X}}-\overline{\mathbf{Y}})\sim T^2(p,m+n-2) \end{align*}\]
◻
10.2.3 多维正态总体参数的检验
10.2.3.1 均值的检验
Theorem 10.18. 设\(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_n}\;\text{i.i.d.}\sim\operatorname{N}_p(\boldsymbol{\mu},\Sigma)\)，\(\Sigma>\mathbf{0}\)，\(\overline{\mathbf{X}}\)为样本均值向量，\(S\)为样本协方差矩阵。假设检验问题：
\[\begin{equation*} H_0:\boldsymbol{\mu}=\boldsymbol{\mu}_0,\quad H_1:\boldsymbol{\mu}\ne\boldsymbol{\mu}_0 \end{equation*}\]
的检验统计量与拒绝域为：
\[\begin{gather*} \begin{cases} \chi_0^2=n(\overline{\mathbf{X}}-\boldsymbol{\mu}_0)^{\top}\Sigma^{-1}(\overline{\mathbf{X}}-\boldsymbol{\mu}_0)\sim\chi_p^2,&\Sigma\text{已知} \\ T^2=n(\overline{\mathbf{X}}-\boldsymbol{\mu}_0)^{\top}S^{-1}(\overline{\mathbf{X}}-\boldsymbol{\mu}_0)\sim T^2(p,n-1),&\Sigma\text{未知} \end{cases} \\ \begin{cases} \{\chi_0^2>\chi_p^2(\alpha)\},&\Sigma\text{已知} \\ \{T^2>T^2_{p,n-1}(\alpha)\},&\Sigma\text{未知} \\ \end{cases} \end{gather*}\]
证明. (1)\(\;\Sigma\)已知：因为\(\Sigma>\mathbf{0}\)，由性质 19.4.4(1)可知\(\Sigma^{-\frac{1}{2}},\Sigma^{-1}\)存在。在原价设成立的情况下，由定理 6.13和定理 10.17(1)可知：
\[\begin{equation*} \sqrt{n}\Sigma^{-\frac{1}{2}}(\overline{\mathbf{X}}-\boldsymbol{\mu}_0)\sim\operatorname{N}_p(\mathbf{0},I_p) \end{equation*}\]
由性质 19.4.4(3)可得：
\[\begin{align*} n(\overline{\mathbf{X}}-\boldsymbol{\mu}_0)^{\top}\Sigma^{-1}(\overline{\mathbf{X}}-\boldsymbol{\mu}_0) &=(\overline{\mathbf{X}}-\boldsymbol{\mu}_0)^{\top}\left(\frac{1}{n}\Sigma\right)^{-1}(\overline{\mathbf{X}}-\boldsymbol{\mu}_0) \\ &=(\overline{\mathbf{X}}-\boldsymbol{\mu}_0)^{\top}\left(\sqrt{n}\Sigma^{-\frac{1}{2}}\right)^{2}(\overline{\mathbf{X}}-\boldsymbol{\mu}_0) \\ &=[\sqrt{n}\Sigma^{-\frac{1}{2}}(\overline{\mathbf{X}}-\boldsymbol{\mu}_0)]^{\top}[\sqrt{n}\Sigma^{-\frac{1}{2}}(\overline{\mathbf{X}}-\boldsymbol{\mu}_0)]\sim\chi^2_p \end{align*}\]
上式值越大，说明样本均值与\(\mu_0\)的Mahalanobis距离越大，所以拒绝域取右侧单尾。
(2)\(\;\Sigma\)未知：由定理 10.17(4)可得统计量的分布，而\(S\)是\(\Sigma\)的无偏估计，所以该统计量值越大说明样本均值与\(\mu_0\)的Mahalanobis距离越大，拒绝域取右侧单尾。 ◻
10.2.3.2 两总体均值的比较
Theorem 10.19. 设\(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_m}\;\text{i.i.d.}\sim\operatorname{N}_p(\boldsymbol{\mu},\Sigma),\;\mathbf{Y_1},\mathbf{Y_2},\dots,\mathbf{Y_n}\;\text{i.i.d.}\sim\operatorname{N}_p(\boldsymbol{\nu},\Sigma)\)，\(\Sigma>\mathbf{0}\)，\(\mathbf{X_1},\mathbf{X_2},\dots,\mathbf{X_m}\)和\(\mathbf{Y_1},\mathbf{Y_2},\dots,\mathbf{Y_n}\)相互独立，\(\overline{\mathbf{X}},\overline{\mathbf{Y}}\)为样本均值向量，\(S_X,S_Y\)为样本协方差矩阵。假设检验问题：
\[\begin{equation*} H_0:\boldsymbol{\mu}=\boldsymbol{\nu},\quad H_1:\boldsymbol{\mu}\ne\boldsymbol{\nu} \end{equation*}\]
的检验统计量与拒绝域为：
\[\begin{equation*} T^2=\frac{mn}{m+n}(\overline{\mathbf{X}}-\overline{\mathbf{Y}})^{\top}S_{w}^{-1}(\overline{\mathbf{X}}-\overline{\mathbf{Y}})\sim T^2(p,m+n-2),\quad\{T^2>T^2_{p,m+n-2}(\alpha)\} \end{equation*}\]
其中\((m+n-2)S_w=(m-1)S_X+(n-1)S_Y\)。
证明. 由定理 10.17(4)可得统计量的分布，该统计量值越大说明两个总体均值相近的可能性越小，所以拒绝域取右侧单尾。 ◻