附录

17.2 数域

Definition 17.14. 复数集的一个子集\(K\)如果满足：

1. \(1\in K\)；

2. \(a,b\in K\Rightarrow a\pm b,ab\in K\)，\(a,b\in K\)且\(b\ne0\Rightarrow\dfrac{a}{b}\in K\)。

则称\(K\)是一个数域（number filed）。

Theorem 17.3. 任意数域都包含有理数域。

证明. 任取数域\(K\)，由数域的定义可得\(1\in K\)，那么根据数域对其内数加法与减法的封闭性，\(\mathbb{Z}\subseteq K\)。于是任意分数\(\frac{a}{b}\in K,\;b\ne0\)，即\(\mathbb{Q}\subseteq K\)。 ◻

17.3 等价关系

Definition 17.15. 对于任意两个非空集合\(S,M\)，称：

\[\begin{equation*} \{(a,b):a\in S,\;b\in M\} \end{equation*}\]

为集合\(S\)与集合\(M\)的笛卡尔积（Cartesian product），记为\(S\times M\)。其中两个元素\((a_1,b_1)\)与\((a_2,b_2)\)如果满足\(a_1=a_2,\;b_1=b_2\)，则称二者相等，记作\((a_1,b_1)=(a_2,b_2)\)。

Definition 17.16. 设\(S\)是一个非空集合，把\(S\times S\)的一个子集\(W\)叫作\(S\)上的一个二元关系（binary relation）。如果\((a,b)\in W\)，则称\(a\)与\(b\)有\(W\)关系；如果\((a,b)\notin W\)，则称\(a\)与\(b\)没有\(W\)关系。当\(a\)与\(b\)有\(W\)关系时，记作\(aWb\)，或\(a\sim b\)。

Definition 17.17. 集合\(S\)上的一个二元关系\(\sim\)如果具有如下性质：对\(\forall\;a,b,c\in S\)，有：

1. \(a\sim a\)（反身性）；

2. \(a\sim b\Rightarrow b\sim a\)（对称性）；

3. \(a\sim b,\;b\sim c\Rightarrow a\sim c\)（传递性）。

那么称\(\sim\)是集合\(S\)上的一个等价关系（equivalence relationship）。

Definition 17.18. 设\(\sim\)是集合\(S\)上的一个等价关系，\(a\in S\)，令：

\[\begin{equation*} \overline{a}\coloneq\{x\in S:x\sim a\} \end{equation*}\]

称\(\overline{a}\)是由\(a\)确定的等价类（equivalence class），称\(a\)是等价类\(\overline{a}\)的一个代表。

Property 17.3.1. 等价类具有如下基本性质：

1. \(a\in\overline{a}\)；

2. \(x\in\overline{a}\Leftrightarrow x\sim a\)；

3. \(x\sim y\Leftrightarrow\overline{x}=\overline{y}\)。

证明. (1)等价关系具有反身性。(2)由等价类的定义可直接得出。

(3)充分性：因为\(x\in\overline{x}\)且\(\overline{x}=\overline{y}\)，所以\(x\in\overline{y}\)，由\(\overline{y}\)的定义，\(x\sim y\)。

必要性：任取\(a\in\overline{x}\)，则\(a\sim x\)。因为\(x\sim y\)，由等价关系的传递性，\(a\sim y\)，即\(a\in\overline{y}\)。由\(a\)的任意性，\(\overline{x}\subseteq\overline{y}\)。同理可证得\(\overline{y}\subseteq\overline{x}\)，所以\(\overline{x}=\overline{y}\)。 ◻

Corollary 17.1. 用不同代表表示的等价类是一样的，即代表的选择与等价类本身无关。

证明. 由等价类基本性质(3)可直接得到。 ◻

Theorem 17.4. 设\(\sim\)是集合\(S\)上的一个等价关系。对\(\forall\;a,b\in S\)，有\(\overline{a}=\overline{b}\)或\(\overline{a}\cap\overline{b}=\varnothing\)。

证明. 如果\(\overline{a}\ne\overline{b}\)，假设此时\(\overline{a}\cap\overline{b}\ne\varnothing\)，取\(c\in\overline{a}\cap\overline{b}\)，则有\(c\sim a\)且\(c\sim b\)。由等价关系的对称性与传递性可得\(a\sim b\)，根据等价类的基本性质(3)，此时应有\(\overline{a}=\overline{b}\)，矛盾，所以\(\overline{a}\cap\overline{b}=\varnothing\)。 ◻

Definition 17.19. 如果集合\(S\)可以表示为一些非空子集的并集，且这些子集不相交，即：

\[\begin{equation*} \exists\;S_i\subseteq S,\;\underset{i\in I}{\overset{}{\cup}}S_i=S,\;S_i\cap S_j=\varnothing,\;i\ne j,\;i,j\in I \end{equation*}\]

其中\(I\)是指标集。称集合\(\{S_i:i\in I\}\)是\(S\)的一个分割（partition），记作\(\pi(S)\)。

Theorem 17.5. 设\(\sim\)是集合\(S\)上的一个等价关系，则所有等价类组成的集合是\(S\)的一个划分，记作\(\pi_\sim(S)\)。

证明. 对\(\forall\;a_i\in S\)，其中\(i\)是指标集，有\(a_i\in\overline{a_i}\)，于是\(S=\underset{i\in I}{\overset{}{\cup}}\overline{a_i}\)。由定理 17.4可得，若\(i\ne j\)，\(\overline{a_i}\cap\overline{a_j}=\varnothing\)，从而所有等价类组成的集合是\(S\)的一个划分。 ◻

Definition 17.20. 设\(\sim\)是集合\(S\)上的一个等价关系，所有等价类组成的集合称为\(S\)对于关系\(\sim\)的商集（quotient set）。

Definition 17.21. 设\(\sim\)是集合\(S\)上的一个等价关系，一种量或者一种表达式如果对于同一个等价类里的元素是相等的，那么称这种量或表达式是一个不变量；恰好能完全绝对等价类的一组不变量称为完全不变量。

17.4 矩阵

17.4.1 Kronecker乘积

Definition 17.22. 给定两个矩阵 \(A=(a_{ij}) \in M_{m\times n}(K)\) 和 \(B \in M_{p\times q}(K)\)，它们的 Kronecker 乘积 \(A \otimes B\) 是一个大小为 \(mp \times nq\) 的矩阵，定义为：

\[ A \otimes B = \begin{pmatrix} a_{11} B & a_{12} B & \cdots & a_{1n} B \\ a_{21} B & a_{22} B & \cdots & a_{2n} B \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} B & a_{m2} B & \cdots & a_{mn} B \end{pmatrix} \]

\(a_{ij} B\) 表示矩阵 \(B\) 乘以标量 \(a_{ij},\;i=1,2,\dots,m,\;j=1,2,\dots,n\)。

Property 17.4.1. Kronecker乘积具有如下性质：

1. \(I_m\otimes I_n=I_{mn}\)；

2. 设\(A\in M_{m\times n}(K),\;B\in M_{p\times q}(K),\;C\in M_{n\times k}(K),\;D\in M_{q\times r}(K)\)，则\((A\otimes B)(C\otimes D)=(AC)\otimes (BD)\)；

3. 设\(A\in M_{m}(K),\;B\in M_{n}(K)\)，则\(A\otimes B\)可逆的充分必要条件为\(A,B\)都可逆，此时有：

   \[\begin{equation*} (A\otimes B)^{-1}=A^{-1}\otimes B^{-1} \end{equation*}\]

4. 设\(A=(a_{ij})\in M_{m\times n}(K),\;B=(b_{kl})\in M_{p\times q}(K)\)，则\((A\otimes B)^{\top}=A^{\top}\otimes B^{\top}\)；

证明. (1)由Kronecker乘积的定义：

\[\begin{equation*} I_m\otimes I_n = \begin{pmatrix} I_n & 0 & \cdots & 0 \\ 0 & I_n & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & I_n \end{pmatrix}=I_{mn} \end{equation*}\]

(2)由Kronecker乘积的定义：

\[\begin{align*} (A\otimes B)(C\otimes D) &= \begin{pmatrix} a_{11} B & a_{12} B & \cdots & a_{1n} B \\ a_{21} B & a_{22} B & \cdots & a_{2n} B \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} B & a_{m2} B & \cdots & a_{mn} B \end{pmatrix} \begin{pmatrix} c_{11} D & c_{12} D & \cdots & c_{1k} D \\ c_{21} D & c_{22} D & \cdots & c_{2k} D \\ \vdots & \vdots & \ddots & \vdots \\ c_{n1} D & c_{n2} D & \cdots & c_{nk} D \end{pmatrix} \\ &= \begin{pmatrix} \sum\limits_{i=1}^{n}a_{1i}c_{i1}BD & \sum\limits_{i=1}^{n}a_{1i}c_{i2}BD & \cdots &\sum\limits_{i=1}^{n}a_{1i}c_{ik}BD \\ \sum\limits_{i=1}^{n}a_{2i}c_{i1}BD & \sum\limits_{i=1}^{n}a_{2i}c_{i2}BD & \cdots &\sum\limits_{i=1}^{n}a_{2i}c_{ik}BD \\ \vdots & \vdots & \ddots & \vdots \\ \sum\limits_{i=1}^{n}a_{mi}c_{i1}BD & \sum\limits_{i=1}^{n}a_{mi}c_{i2}BD & \cdots &\sum\limits_{i=1}^{n}a_{mi}c_{ik}BD \\ \end{pmatrix} \\ &=(AC)\otimes (BD) \end{align*}\]

(3)必要性：假设此时\(A\)不可逆，则存在非零向量\(x\)使得\(Ax=\mathbf{0}\)。取非零向量\(y\)，则\((x\otimes y)\)不是一个零向量。由(2)可得：

\[\begin{equation*} (A\otimes B)(x\otimes y)=(Ax)\otimes(By)=\mathbf{0}\otimes(By)=\mathbf{0} \end{equation*}\]

因为\(A\otimes B\)可逆，所以不存在非零向量\(z\)使得\((A\otimes B)z=\mathbf{0}\)，但此时有\((A\otimes B)(x\otimes y)=\mathbf{0}\)，矛盾，所以\(A\)可逆。同理可得\(B\)可逆。

充分性：由(1)(2)可得：

\[\begin{gather*} (A\otimes B)(A^{-1}\otimes B^{-1})=(AA^{-1})\otimes(BB^{-1})=I_m\otimes I_n=I_{mn} \\ (A^{-1}\otimes B^{-1})(A\otimes B)=(A^{-1}A)\otimes(B^{-1}B)=I_m\otimes I_n=I_{mn} \end{gather*}\]

所以\(A\otimes B\)可逆，逆矩阵就是\((A^{-1}\otimes B^{-1})\)。

(4)对任意的\(1\leqslant i\leqslant m,\;1\leqslant j\leqslant n,\;1\leqslant k\leqslant p,\;1\leqslant l\leqslant q\)，元素\(a_{ij}b_{kl}\)在\(A\otimes B\)中的行标为\((i-1)p+k\)，列标为\((j-1)q+l\)。于是\(a_{ij}b_{kl}\)在\((A\otimes B)^{\top}\)中的列标为\((i-1)p+k\)，行标为\((j-1)q+l\)。而\(A^{\top}\otimes B^{\top}\)列标为\((i-1)p+k\)、行标为\((j-1)q+l\)的元素为\(a_{ij}b_{kl}\)，于是\((A\otimes B)^{\top}=A^{\top}\otimes B^{\top}\)。 ◻

17.4.2 向量化算子

Definition 17.23. 设\(A=(a_{ij})\in M_{s\times m}(K)\)，则：

\[\begin{gather*} \operatorname{vec}(A)=(a_{11},a_{21},\dots,a_{s1},a_{12},a_{22},\dots,a_{s2},\dots,a_{1m},a_{2m},\dots,a_{sm})^{\top} \\ \operatorname{rvec}(A)=(a_{11},a_{12},\dots,a_{1m},a_{21},a_{22},\dots,a_{2m},\dots,a_{s1},a_{s2},\dots,a_{sm}) \end{gather*}\]

称\(\operatorname{vec}\)与\(\operatorname{rvec}\)为向量化算子。

17.4.2.1 交换矩阵的定义及其性质

Definition 17.24. 对\(A\in M_{s\times m}(K)\)，存在唯一的\(K_{sm}\in M_{sm\times sm}(K)\)，使得：

\[\begin{equation*} K_{sm}\operatorname{vec}(A)=\operatorname{vec}(A^{\top}) \end{equation*}\]

称\(K_{sm}\)为交换矩阵（commutation matrix）。

17.4.2.2 向量化算子的性质

Property 17.4.2. 向量化算子具有如下性质：

1. 设\(A,B\in M_{s\times m}(K)\)，则\(\forall\;k_1,k_2\in K, \operatorname{vec}(k_1A+k_2B)=k_1\operatorname{vec}(A)+k_2\operatorname{vec}(B)\)，即向量化算子是线性算子；

2. 设\(A,B\in M_{s\times m}(K)\)，则\(\operatorname{tr}(A^{\top}B)=\operatorname{vec}(A)^{\top}\operatorname{vec}(B)\)；

3. 设\(A\in M_{s\times m}(K),\;B\in M_{m\times n}(K),\;C\in M_{n\times p}(K)\)，\(\operatorname{vec}(ABC)=(C^{\top}\otimes A)\operatorname{vec}(B)\)；

证明. (1)是显然的；

(2)因为：

\[\begin{equation*} \operatorname{tr}(A^{\top}B)=\sum_{i=1}^{m}\sum_{j=1}^{s}a_{ji}b_{ji} \end{equation*}\]

所以：

\[\begin{align*} \operatorname{vec}(A)^{\top}\operatorname{vec}(B) &=(a_{11},a_{21},\dots,a_{s1},a_{12},a_{22},\dots,a_{s2},\dots,a_{1m},a_{2m},\dots,a_{sm}) \\ &\quad\cdot(b_{11},b_{21},\dots,b_{s1},b_{12},b_{22},\dots,b_{s2},\dots,b_{1m},b_{2m},\dots,b_{sm})^{\top} \\ &=\sum_{i=1}^{m}\sum_{j=1}^{s}a_{ji}b_{ji} \\ &=\operatorname{tr}(A^{\top}B) \end{align*}\]

(3)设\(B=(B_1,B_2,\dots,B_n),\;C=(C_1,C_2,\dots,C_p)\)，则\(ABC\)的第\(k\)列：

\[\begin{align*} ABC[:,k] &=A(B_1,B_2,\dots,B_n)C_k =A\sum_{i=1}^{n}B_ic_{ik} \\ &=(c_{1k}A,c_{2k}A,\dots,c_{nk}A) \begin{pmatrix} B_1 \\ B_2 \\ \vdots \\ B_n \end{pmatrix} =(C_k^{\top}\otimes A)\operatorname{vec}(B) \end{align*}\]

于是：

\[\begin{align*} \operatorname{vec}(ABC) &= \begin{pmatrix} ABC[:,1] \\ ABC[:,2] \\ \vdots \\ ABC[:,p] \end{pmatrix} = \begin{pmatrix} (C_1^{\top}\otimes A)\operatorname{vec}(B) \\ (C_2^{\top}\otimes A)\operatorname{vec}(B) \\ \vdots \\ (C_p^{\top}\otimes A)\operatorname{vec}(B) \end{pmatrix} \\ &= \begin{pmatrix} C_1^{\top}\otimes A \\ C_2^{\top}\otimes A \\ \vdots \\ C_p^{\top}\otimes A \end{pmatrix} \operatorname{vec}(B) =(C^{\top}\otimes A)\operatorname{vec}(B) \end{align*}\]

◻

17.4.3 平方根阵

Definition 17.25. 设对称阵\(A\in M_n(\mathbb{R})\)，其特征值记为\(\lambda_i,\;i=1,2,\dots,n\)。因为\(A\)是一个实对称阵，由性质 2.6.3(3)可知存在正交矩阵\(Q\)使得\(A=Q^{\top}\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{n}\}Q\)。若\(A\geqslant0\)，由定理 2.18(3.5)可知\(\lambda_i\geqslant0,\;i=1,2,\dots,n\)，记：

\[\begin{equation*} \varLambda^{\frac{1}{2}}=\operatorname{diag}\{\lambda_1^{\frac{1}{2}},\lambda_2^{\frac{1}{2}},\dots,\lambda_n^{\frac{1}{2}}\} \end{equation*}\]

称：

\[\begin{equation*} A^{\frac{1}{2}}=Q^{\top}\varLambda^{\frac{1}{2}} Q \end{equation*}\]

为\(A\)的平方根阵。

Property 17.4.3. 设对称阵\(A\in M_n(\mathbb{R})\)且\(A\geqslant0\)，\(A^{\frac{1}{2}}\)具有如下性质：

1. \((A^{\frac{1}{2}})^2=A\)；

2. \(A^{\frac{1}{2}}\geqslant0\)；

3. \(A^{\frac{1}{2}}\)是对称阵；

证明. 由\(A^{\frac{1}{2}}\)的定义，有\(A^{\frac{1}{2}}=Q^{\top}\varLambda^{\frac{1}{2}}Q\)和\(A=Q^{\top}\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{n}\}Q\)，其中\(Q\)是一个正交矩阵，\(\varLambda^{\frac{1}{2}}=\operatorname{diag}\{\lambda_1^{\frac{1}{2}},\lambda_2^{\frac{1}{2}},\dots,\lambda_n^{\frac{1}{2}}\}\)，\(\lambda_i,\;i=1,2,\dots,n\)为\(A\)的特征值。

(1)显然：

\[\begin{equation*} (A^{\frac{1}{2}})^2=Q^{\top}\varLambda^{\frac{1}{2}}QQ^{\top}\varLambda^{\frac{1}{2}}Q=Q^{\top}(\varLambda^{\frac{1}{2}})^2Q=Q^{\top}\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{n}\}Q=A \end{equation*}\]

(2)因为\(Q\)是正交矩阵，所以\(Q^{\top}=Q^{-1}\)。于是：

\[\begin{equation*} QA^{\frac{1}{2}}Q^{-1}=\varLambda^{\frac{1}{2}} \end{equation*}\]

即\(\lambda_i^{\frac{1}{2}}\)为\(A^{\frac{1}{2}}\)的特征值，而\(\lambda_i\geqslant0\)，由定理 2.18(3.5)可知\(A^{\frac{1}{2}}\geqslant0\)。

(3)显然：

\[\begin{equation*} (A^{\frac{1}{2}})^{\top}=(Q^{\top}\varLambda^{\frac{1}{2}} Q)^{\top}=Q^{\top}(\varLambda^{\frac{1}{2}})^{\top}Q=Q^{\top}\varLambda^{\frac{1}{2}}Q=A^{\frac{1}{2}} \end{equation*}\]

◻

17.4.3.1 平方根阵的逆矩阵

Theorem 17.6. 设对称阵\(A\in M_n(\mathbb{R})\)，其特征值记为\(\lambda_i,\;i=1,2,\dots,n\)。因为\(A\)是一个实对称阵，由性质 2.6.3(3)可知存在正交矩阵\(Q\)使得\(A=Q^{\top}\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{n}\}Q\)。若\(A>0\)，由定理 2.17(3.5)可知\(\lambda_i>0,\;i=1,2,\dots,n\)，记：

\[\begin{equation*} \varLambda^{-\frac{1}{2}}=\operatorname{diag}\{\lambda_1^{-\frac{1}{2}},\lambda_2^{-\frac{1}{2}},\dots,\lambda_n^{-\frac{1}{2}}\} \end{equation*}\]

则：

\[\begin{equation*} A^{-\frac{1}{2}}=Q^{\top}\varLambda^{-\frac{1}{2}} Q \end{equation*}\]

是\(A^{\frac{1}{2}}\)的逆矩阵。

证明. 显然：

\[\begin{equation*} A^{\frac{1}{2}}A^{-\frac{1}{2}}=Q^{\top}\operatorname{diag}\{\lambda_1^{\frac{1}{2}},\lambda_2^{\frac{1}{2}},\dots,\lambda_n^{\frac{1}{2}}\}QQ^{\top}\operatorname{diag}\{\lambda_1^{-\frac{1}{2}},\lambda_2^{-\frac{1}{2}},\dots,\lambda_n^{-\frac{1}{2}}\}Q=I \end{equation*}\]

◻

Property 17.4.4. 设对称阵\(A\in M_n(\mathbb{R})\)且\(A>0\)，\(A^{\frac{1}{2}}\)具有如下性质：

1. \((A^{-\frac{1}{2}})^2=A^{-1}\)；

2. \(A^{-\frac{1}{2}}>0\)；

3. \(A^{-\frac{1}{2}}\)是对称阵；

证明. 由\(A^{-\frac{1}{2}}\)的定义，有\(A^{-\frac{1}{2}}=Q^{\top}\varLambda^{-\frac{1}{2}}Q\)和\(A=Q^{\top}\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{n}\}Q\)，其中\(Q\)是一个正交矩阵，\(\varLambda^{-\frac{1}{2}}=\operatorname{diag}\{\lambda_1^{-\frac{1}{2}},\lambda_2^{-\frac{1}{2}},\dots,\lambda_n^{-\frac{1}{2}}\}\)，\(\lambda_i,\;i=1,2,\dots,n\)为\(A\)的特征值。

(1)显然：

\[\begin{equation*} (A^{-\frac{1}{2}})^2=Q^{\top}\varLambda^{-\frac{1}{2}}QQ^{\top}\varLambda^{-\frac{1}{2}}Q=Q^{\top}\operatorname{diag}\{\lambda_1^{-1},\lambda_2^{-1},\dots,\lambda_n^{-1}\}Q \end{equation*}\]

而：

\[\begin{align*} A^{-1}&=(Q^{\top}\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{n}\}Q)^{-1}=Q^{-1}\operatorname{diag}\{\lambda_1^{-1},\lambda_2^{-1},\dots,\lambda_n^{-1}\}(Q^{\top})^{-1} \\ &=Q^{\top}\operatorname{diag}\{\lambda_1^{-1},\lambda_2^{-1},\dots,\lambda_n^{-1}\}Q \end{align*}\]

所以\((A^{-\frac{1}{2}})^2=A^{-1}\)。

(2)因为\(Q\)是正交矩阵，所以\(Q^{\top}=Q^{-1}\)。于是：

\[\begin{equation*} QA^{-\frac{1}{2}}Q^{-1}=\varLambda^{-\frac{1}{2}} \end{equation*}\]

即\(\lambda_i^{-\frac{1}{2}}\)为\(A^{-\frac{1}{2}}\)的特征值，而\(\lambda_i>0\)，由定理 2.17(3.5)可知\(A^{\frac{1}{2}}>0\)。

(3)显然：

\[\begin{equation*} (A^{-\frac{1}{2}})^{\top}=(Q^{\top}\varLambda^{-\frac{1}{2}} Q)^{\top}=Q^{\top}(\varLambda^{-\frac{1}{2}})^{\top}Q=Q^{\top}\varLambda^{-\frac{1}{2}}Q=A^{-\frac{1}{2}} \end{equation*}\]

◻

17.5 不等式

17.5.1 Cauchy–Schwarz不等式

17.5.1.1 内积形式

Theorem 17.7. 设\(X\)是一个实或复内积空间，\(x,y\in X\)，则有如下不等式以后需要补充证明\(\mathbb{R}^{}\)的内积：

\[\begin{equation*} \tag{1} |(x,y)|^2\leqslant(x,x)(y,y) \end{equation*}\]

等号成立当且仅当\(x\)与\(y\)线性相关。

证明. 下给出复数域的证明，实数域类似。

设\(x,y\in X\)。若\(y=0\)，则\(|(x,y)|^2=0=(x,x)(y,y)\)，等号成立且\(x,y\)线性相关。

若\(y\ne0\)，对任意的\(\lambda\in\mathbb{C}\)，有：

\[\begin{equation*} (x+\lambda y,x+\lambda y)\geqslant0 \end{equation*}\]

即：

\[\begin{equation*} (x,x)+\overline{\lambda}(x,y)+\lambda(y,x)+|\lambda|^2(y,y)\geqslant0 \end{equation*}\]

令\(\lambda=-\dfrac{(x,y)}{(y,y)}\)，得到：

\[\begin{gather*} (x,x)-2\frac{|(x,y)|^2}{(y,y)}+\frac{|(x,y)|^2}{(y,y)^2}(y,y)\geqslant0 \\ |(x,y)|^2\leqslant(x,x)(y,y) \end{gather*}\]

等号成立当且仅当\((x+\lambda y,x+\lambda y)=0\)，即\(x+\lambda y=0\)，\(x\)与\(y\)线性相关。 ◻

17.5.1.2 Rayleigh商形式

Theorem 17.8. 设\(A\)为\(n\times n\)实正定矩阵，\(a\in\mathbb{R}^n\)，则有：

\[\begin{equation*} \tag{2} \sup_{b\ne\mathbf{0}}\frac{(a^{\top}b)^2}{b^{\top}Ab}=a^{\top}A^{-1}a \end{equation*}\]

证明. 由于\(A\)是正定矩阵，所以存在可逆的\(A^{1/2}\)。令\(x = A^{1/2}b\)，即\(b = A^{-1/2}x\)，则：

\[\begin{align*} \frac{(a^{\top}b)^2}{b^{\top}Ab} &= \frac{(a^{\top} A^{-1/2} x)^2}{x^{\top} x}=\frac{[(A^{-1/2} a)^{\top} x]^2}{\|x\|^2} \end{align*}\]

记\(u = A^{-1/2}a\)，由不等式 1有：

\[\begin{equation*} |(u,x)|^2 \leqslant \|u\|^2 \cdot \|x\|^2 \end{equation*}\]

于是：

\[\begin{equation*} \frac{[(A^{-1/2} a)^{\top} x]^2}{\|x\|^2} \leqslant \|A^{-1/2}a\|^2 = (A^{-1/2}a)^{\top} (A^{-1/2}a) = a^{\top} A^{-1} a \end{equation*}\]

即：

\[\begin{equation*} \sup_{b\ne\mathbf{0}}\frac{(a^{\top}b)^2}{b^{\top}Ab}=a^{\top}A^{-1}a \end{equation*}\]

◻

17.5.2 Young’s不等式

Theorem 17.9. 设\(a,b\in\mathbb{R}\)且\(a,b>0\)，\(p,q\in\mathbb{R}\)且\(p,q>1\)，满足\(\frac{1}{p}+\frac{1}{q}=1\)，则有：

\[\begin{equation*} \tag{3} ab\leqslant\frac{a^p}{p}+\frac{b^q}{q} \end{equation*}\]

等号成立当且仅当\(a^p=b^q\)。

证明. 由性质 8.1.10(3)可知\(f(x)=e^x\)是严格凸函数，因此对任意的\(t\in(0,1)\)有：

\[\begin{equation*} e^{tx+(1-t)y}\leqslant te^x+(1-t)e^y \end{equation*}\]

等号成立当且仅当\(x=y\)。令\(\frac{1}{p}=t\)，利用上式则有：

\[\begin{equation*} ab=e^{\ln(a)+\ln(b)}=e^{\frac{\ln(a^p)}{p}+\frac{\ln(b^q)}{q}}\leqslant\frac{1}{p}e^{\ln(a^p)}+\frac{1}{q}e^{\ln(b^q)}=\frac{a^p}{p}+\frac{b^q}{q} \end{equation*}\]

因为对数函数单调增，所以等号成立当且仅当\(a^p=b^q\)。 ◻

17.5.3 Holder不等式

Theorem 17.10. 设\((X,\mathscr{F},\mu)\)是一个测度空间，\(E\in\mathscr{F}\)，\(1<p,q<+\infty\)，满足\(\frac{1}{p}+\frac{1}{q}=1\)，\(f\in L_p(E),g\in L_q(E)\)，则有：

\[\begin{equation*} \tag{4} \int_{E}|f(x)g(x)|\mathop{}\!\mathrm{d}\mu\leqslant\left[\int_{E}|f(x)|^p\mathop{}\!\mathrm{d}\mu\right]^{\frac{1}{p}}\left[\int_{E}|g(x)|^q\mathop{}\!\mathrm{d}\mu\right]^{\frac{1}{q}} \end{equation*}\]

即：

\[\begin{equation*} ||fg||_1\leqslant||f||_p||g||_q \end{equation*}\]

等号成立当且仅当存在不全为\(0\)的\(\alpha,\beta\geqslant0\)使得：

\[\begin{equation*} \alpha|f|^p=\beta|g|^q\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

证明. (1)\(\;||f||_p=0\)或\(||g||_q=0\)：此时有\(f=0\)或\(g=0\;\)a.e.于\((E,E\cap\mathscr{F},\mu)\)，由性质 5.4.3(9)可得\(fg\in L_1(E)\)且：

\[\begin{equation*} ||fg||_1=||f||_p||g||_q=0 \end{equation*}\]

恒成立。只需证明等号成立条件的必要性。取\(\alpha=1,\beta=0\)即可。

(2)\(\;||f||_p>0\)且\(||g||_q>0\)：由不等式 3可得：

\[\begin{equation*} \frac{|f|}{||f||_p}\frac{|g|}{||g||_q}\leqslant\frac{1}{p}\frac{|f|^p}{||f||_p^p}+\frac{1}{q}\frac{|g|^q}{||g||_q^q} \end{equation*}\]

且等号成立当且仅当：

\[\begin{equation*} \frac{|f|^p}{||f||_p^p}=\frac{|g|^q}{||g||_q^q} \end{equation*}\]

根据性质 5.4.3(6)可得：

\[\begin{align*} \int_{E}\frac{|f(x)|}{||f||_p}\frac{|g(x)|}{||g||_q}\mathop{}\!\mathrm{d}\mu&=\frac{1}{||f||_p||g||_q}\int_{E}|f(x)g(x)|\mathop{}\!\mathrm{d}\mu\leqslant\int_{E}\left[\frac{1}{p}\frac{|f(x)|^p}{||f||_p^p}+\frac{1}{q}\frac{|g(x)|^q}{||g||_q^q}\right]\mathop{}\!\mathrm{d}\mu \\ &=\frac{1}{p||f||_p^p}\int_{E}|f(x)|^p\mathop{}\!\mathrm{d}\mu+\frac{1}{q||g||_q^q}\int_{E}|g(x)|^q\mathop{}\!\mathrm{d}\mu=1 \end{align*}\]

因此\(fg\in L_1(E)\)且\(||fg||_1\leqslant||f||_p||g||_q\)。

当：

\[\begin{equation*} \frac{|f|^p}{||f||_p^p}=\frac{|g|^q}{||g||_q^q} \end{equation*}\]

时有\(||fg||_1=||f||_p||g||_q\)，此时存在不全为\(0\)的\(\alpha,\beta\geqslant0\)使得：

\[\begin{equation*} \alpha|f|^p=\beta|g|^q\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

反之，若存在不全为\(0\)的\(\alpha,\beta\geqslant0\)使得：

\[\begin{equation*} \alpha|f|^p=\beta|g|^q\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

因为\(||f||_p,||g||_q>0\)，所以\(\alpha,\beta>0\)。由性质 5.4.3(8)可得：

\[\begin{equation*} \alpha||f||_p^p=\beta||g||_q^q \end{equation*}\]

上两式相除可得：

\[\begin{equation*} \frac{|f|^p}{||f||_p^p}=\frac{|g|^q}{||g||_q^q}\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

即：

\[\begin{equation*} \frac{|f|}{||f||_p}\frac{|g|}{||g||_q}\leqslant\frac{1}{p}\frac{|f|^p}{||f||_p^p}+\frac{1}{q}\frac{|g|^q}{||g||_q^q}\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

由性质 5.4.3(8)可得\(||fg||_1=||f||_p||g||_q\)。 ◻

Theorem 17.11. 设\((X,\mathscr{F},\mu)\)是一个测度空间，\(E\in\mathscr{F}\)。对任意的\(f\in L_1(E),g\in L_{\infty}(E)\)有：

\[\begin{equation*} \tag{5} \int_{E}|f(x)g(x)|\mathop{}\!\mathrm{d}\mu\leqslant\int_{E}|f(x)|\mathop{}\!\mathrm{d}\mu||g||_{\infty} \end{equation*}\]

即：

\[\begin{equation*} ||fg||_1\leqslant||f||_1||g||_{\infty} \end{equation*}\]

等号成立当且仅当：

\[\begin{equation*} |f(x)|\left(||g||_{\infty}-|g(x)|\right)=0\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

证明. 由性质 5.4.2(6)(10)可得：

\[\begin{equation*} |\int_{E}|f(x)g(x)|\mathop{}\!\mathrm{d}\mu\leqslant\int_{E}|f(x)|\;||g||_{\infty}\mathop{}\!\mathrm{d}\mu=||g||_{\infty}\int_{E}|f(x)|\mathop{}\!\mathrm{d}\mu=||f||_1||g||_{\infty}<+\infty \end{equation*}\]

于是\(fg\in L_1(E)\)且\(||fg||_1\leqslant||f||_1||g||_{\infty}\)。

根据性质 5.4.3(6)可得：

\[\begin{equation*} ||f||_1||g||_{\infty}-||fg||_1=||g||_{\infty}\int_{E}|f(x)|\mathop{}\!\mathrm{d}\mu-\int_{E}|f(x)g(x)|\mathop{}\!\mathrm{d}\mu=\int_{E}|f(x)|\left(||g||_{\infty}-|g(x)|\right)\mathop{}\!\mathrm{d}\mu \end{equation*}\]

所以等号成立当且仅当：

\[\begin{equation*} \int_{E}|f(x)|\left(||g||_{\infty}-|g(x)|\right)\mathop{}\!\mathrm{d}\mu=0 \end{equation*}\]

由于：

\[\begin{equation*} |f(x)|\left(||g||_{\infty}-|g(x)|\right)\geqslant0\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

由性质 5.4.3(9)可知：

\[\begin{equation*} |f(x)|\left(||g||_{\infty}-|g(x)|\right)=0\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

◻

17.5.4 Minkowski不等式

Theorem 17.12. 设\((X,\mathscr{F},\mu)\)是一个测度空间，\(1\leqslant p<+\infty\)，\(E\in\mathscr{F}\)，\(f,g\in L_p(E)\)，则有：

\[\begin{equation*} \tag{6} \left[\int_{E}|f(x)+g(x)|^p\mathop{}\!\mathrm{d}\mu\right]^\frac{1}{p}\leqslant\left[\int_{E}|f(x)|^p\mathop{}\!\mathrm{d}\mu\right]^\frac{1}{p}+\left[\int_{E}|g(x)|^p\mathop{}\!\mathrm{d}\mu\right]^\frac{1}{p} \end{equation*}\]

即：

\[\begin{equation*} ||f+g||_p\leqslant||f||_p+||g||_p \end{equation*}\]

且：

1. \(p=1\)时等号成立当且仅当\(fg\geqslant0\;\)a.e.于\((E,E\cap\mathscr{F},\mu)\)；

2. \(p>1\)时等号成立当且仅当存在不全为\(0\)的\(\alpha,\beta\geqslant0\)使得\(\alpha f=\beta g\;\)a.e.于\((E,E\cap\mathscr{F},\mu)\)。

证明. 由性质 5.5.1(1)可知\(f+g\in L_p(E)\)。

(1)\(\;p=1\)：由绝对值的三角不等式以及性质 5.4.2(6)(10)可得：

\[\begin{equation*} ||f+g||_1=\int_{E}|f(x)+g(x)|\mathop{}\!\mathrm{d}\mu\leqslant\int_{E}\left[|f(x)|+|g(x)|\right]\mathop{}\!\mathrm{d}\mu=||f||_1+||g||_1 \end{equation*}\]

等号成立当且仅当：

\[\begin{equation*} \int_{E}\left[|f(x)|+|g(x)|-|f(x)+g(x)|\right]\mathop{}\!\mathrm{d}\mu=0 \end{equation*}\]

由于：

\[\begin{equation*} |f(x)|+|g(x)|-|f(x)+g(x)|\geqslant0 \end{equation*}\]

根据性质 5.4.2(9)可知等号成立当且仅当：

\[\begin{equation*} |f(x)+g(x)|=|f(x)|+|g(x)|\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

因为\(f,g\in\mathbb{R}\)，所以等号成立当且仅当：

\[\begin{equation*} fg\geqslant0\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

(2)\(\;p>1\)：取\(q>1\)满足：

\[\begin{equation*} \frac{1}{p}+\frac{1}{q}=1 \end{equation*}\]

则\((p-1)q=p\)，于是：

\[\begin{equation*} \int_{E}[|f(x)+g(x)|^{p-1}]^q\mathop{}\!\mathrm{d}\mu=\int_{E}|f(x)+g(x)|^p\mathop{}\!\mathrm{d}\mu<+\infty \end{equation*}\]

从而\(|f+g|^{p-1}\in L_q(E)\)。

若\(||f+g||_p=0\)，则结论显然成立。若\(||f+g||_p>0\)，由绝对值的三角不等式和性质 5.4.2(6)(10)可得：

\[\begin{equation*} ||f+g||_p^p=\int_{E}|f+g|^p\mathop{}\!\mathrm{d}\mu\leqslant\int_{E}|f||f+g|^{p-1}\mathop{}\!\mathrm{d}\mu+\int_{E}|g||f+g|^{p-1}\mathop{}\!\mathrm{d}\mu \end{equation*}\]

根据不等式 4可得：

\[\begin{equation*} \int_{E}|f||f+g|^{p-1}\mathop{}\!\mathrm{d}\mu\leqslant||f||_p\left[\int_{E}|f+g|^{(p-1)q}\mathop{}\!\mathrm{d}\mu\right]^\frac{1}{q}=||f||_p||f+g||_p^{p-1} \end{equation*}\]

同理：

\[\begin{equation*} \int_{E}|g||f+g|^{p-1}\mathop{}\!\mathrm{d}\mu\leqslant||g||_p||f+g||_p^{p-1} \end{equation*}\]

所以：

\[\begin{equation*} ||f+g||_p^p\leqslant\left(||f||_p+||g||_p\right)||f+g||_p^{p-1} \end{equation*}\]

即\(||f+g||_p\leqslant||f||_p+||g||_p\)。

若\(f=0\;\)a.e.于\((E,E\cap\mathscr{F},\mu)\)或\(g=0\;\)a.e.于\((E,E\cap\mathscr{F},\mu)\)，则等号恒成立，只需证明等号成立条件的必要性。根据性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可知此时存在不全为\(0\)的\(\alpha,\beta\)使得：

\[\begin{equation*} \alpha f=\beta g\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

若\(f=0\)和\(g=0\)都不a.e.于\((E,E\cap\mathscr{F},\mu)\)，则\(||f+g||_p=||f||_p+||g||_p\)时必须要有：

\[\begin{gather*} \int_{E}|f+g|^p\mathop{}\!\mathrm{d}\mu=\int_{E}|f||f+g|^{p-1}\mathop{}\!\mathrm{d}\mu+\int_{E}|g||f+g|^{p-1}\mathop{}\!\mathrm{d}\mu \\ \int_{E}|f||f+g|^{p-1}\mathop{}\!\mathrm{d}\mu=||f||_p||f+g||_p^{p-1},\quad\int_{E}|g||f+g|^{p-1}\mathop{}\!\mathrm{d}\mu\leqslant||g||_p||f+g||_p^{p-1} \end{gather*}\]

由不等式 4的证明过程可知上第二行要求：

\[\begin{equation*} \frac{|f|^p}{||f||_p^p}=\frac{|f+g|^p}{||f+g||_p^p},\;\frac{|g|^p}{||g||_p^p}=\frac{|f+g|^p}{||f+g||_p^p}\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

根据性质 5.1.6(3)和性质 5.2.1(3)（次有限可加性）可知也即：

\[\begin{equation*} \frac{|f|^p}{||f||_p^p}=\frac{|g|^p}{||g||_p^p}\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

对于第一行的要求，由性质 5.4.3(6)(9)可知它等价于\(|f+g|=|f|+|g|\;\)a.e.于\((E,E\cap\mathscr{F},\mu)\)，即\(fg\geqslant0\;\)a.e.于\((E,E\cap\mathscr{F},\mu)\)。综合两个条件可得：

\[\begin{equation*} \frac{f}{||f||_p}=\frac{g}{||g||_p}\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

于是存在不全为\(0\)的\(\alpha,\beta\geqslant0\)使得\(\alpha f=\beta g\;\)a.e.于\((E,E\cap\mathscr{F},\mu)\)。

反之，设存在不全为\(0\)的\(\alpha,\beta\geqslant0\)使得\(\alpha f=\beta g\;\)a.e.于\((E,E\cap\mathscr{F},\mu)\)。

若\(\alpha=0\)，则\(\beta>0\)，从而\(g=0\;\)a.e.于\((E,E\cap\mathscr{F},\mu)\)，于是\(||f+g||_p=||f||_p=||f||_p+||g||_p\)。若\(\beta=0\)，同理可得等号成立。

若\(\alpha,\beta>0\)，则：

\[\begin{equation*} f=\frac{\beta}{\alpha}g\;\text{a.e.于$(E,E\cap\mathscr{F},\mu)$} \end{equation*}\]

于是：

\[\begin{equation*} ||f+g||_p=\left|\frac{\beta}{\alpha}+1\right|\;||g||_p=\frac{\alpha+\beta}{\alpha}||g||_p=\frac{\beta}{\alpha}||g||_p+||g||_p=||f||_p+||g||_p \end{equation*}\]

等号成立。 ◻

Theorem 17.13. 设\((X,\mathscr{F},\mu)\)是一个测度空间，\(E\in\mathscr{F}\)。对任意的\(f,g\in L_{\infty}(E)\)有：

\[\begin{equation*} \tag{7} ||f+g||_{\infty}\leqslant||f||_{\infty}+||g||_{\infty} \end{equation*}\]

证明. 由性质 5.5.2可知\(f+g\in L_{\infty}(E)\)，根据绝对值的三角不等式以及上确界的性质可得：

\[\begin{equation*} \sup_{x\in E\setminus e}|f(x)+g(x)|\leqslant\sup_{x\in E\setminus e}[|f(x)|+|g(x)|]\leqslant\sup_{x\in E\setminus e}|f(x)|+\sup_{x\in E\setminus e}|g(x)| \end{equation*}\]

由下确界的性质可得：

\[\begin{equation*} ||f+g||_{\infty}\leqslant||f||_{\infty}+||g||_{\infty} \end{equation*}\]

◻

Theorem 17.14. 设\((X,\mathscr{F},\mu)\)是一个测度空间，\(1\leqslant p\leqslant+\infty\)，\(E\in\mathscr{F}\)。对任意的\(f,g\in L_p(E)\)，有：

\[\begin{equation*} \tag{8} ||f+g||_p\leqslant||f||_p+||g||_p,\quad \Big|||f||_p-||g||_p\Big|\leqslant||f-g||_p \end{equation*}\]

证明. 第一式由不等式 6和不等式 5直接推出。第二式只需注意到：

\[\begin{gather*} ||f||_p=||f-g+g||_p\leqslant||f-g||_p+||g||_p \\ ||g||_p=||g-f+f||_p\leqslant||g-f||_p+||f||_p=||f-g||_p+||f||_p \end{gather*}\]

◻

17.5.5 Something else

Theorem 17.15. 对于所有\(a,b\in\mathbb{R}\)及\(p\geqslant1\)，有不等式：

\[\begin{equation*} \tag{9} |a+b|^p\leqslant\Bigl(|a|+|b|\Bigr)^p\leqslant2^{p-1}\Bigl(|a|^p+|b|^p\Bigr) \end{equation*}\]

证明. 第一式显然成立。令\(a,b\in\mathbb{R}\)，并设\(x=|a|\)和\(y=|b|\)。考虑函数：

\[\begin{equation*} f(t)=t^p,\quad t\geqslant0 \end{equation*}\]

由\(p\geqslant1\)和性质 8.1.10(3)可知\(f(t)\)是凸函数，于是对于任意的\(x,y\geqslant0\)和\(\lambda\in[0,1]\)有：

\[\begin{equation*} f[\lambda x+(1-\lambda)y]\leqslant\lambda f(x)+(1-\lambda)f(y) \end{equation*}\]

取\(\lambda=\dfrac{1}{2}\)，则上式变为：

\[\begin{equation*} \left(\frac{x+y}{2}\right)^p\leqslant\frac{x^p+y^p}{2} \end{equation*}\]

将上式两边同时乘以\(2^p\)，得到：

\[\begin{equation*} (x+y)^p\leqslant2^{p-1}\Bigl(x^p+y^p\Bigr) \end{equation*}\]

将\(x=|a|\)和\(y=|b|\)代回即可得出结论。 ◻

Theorem 17.16. 对任意的\(x\in\mathbb{R}\)有\(|e^{ix}-1|\leqslant|x|\)。

证明. 注意到：

\[\begin{equation*} |e^{ix}-1|^2=[\cos(x)-1]^2+\sin^2(x)=2-2\cos(x)=4\sin^2\left(\frac{x}{2}\right) \end{equation*}\]

所以：

\[\begin{equation*} |e^{ix}-1|=2\left|\sin\left(\frac{x}{2}\right)\right|\leqslant x \end{equation*}\]

◻

17.5.5.1 Jensen不等式

Theorem 17.17. 设\((X,\mathscr{F},P)\)是一个概率空间，\(\mathscr{A}\subseteq\mathscr{F}\)且是\(\sigma\)代数，\(f\)是\((X,\mathscr{F})\)上可积的Borel函数，\(\varphi\)为\((\mathbb{R},\mathcal{B}(\mathbb{R}))\)上的Borel函数且是\(\mathbb{R}\)上的凸函数，\(\varphi\circ f\)在\((X,\mathscr{F})\)上可积，则有补充凹函数版本：

\[\begin{equation*} \tag{10} \varphi[\operatorname{E}(f\mid\mathscr{A})]\leqslant\operatorname{E}(\varphi\circ f|\mathscr{A})\;\text{a.s.于}(X,\mathscr{A},P) \end{equation*}\]

等号成立a.s.于\((X,\mathscr{A},P)\)的一个充分条件为\(f=\operatorname{E}(f\mid\mathscr{A})\;\)a.s.于\((X,\mathscr{A},P)\)。若\(\varphi\)是严格凸的，则等号成立a.s.于\((X,\mathscr{A},P)\)的充要条件为\(f=\operatorname{E}(f\mid\mathscr{A})\;\)a.s.于\((X,\mathscr{A},P)\)。

证明. 设：

\[\begin{equation*} \mathcal{L}=\{(a,b)\in\mathbb{R}^{2}:ax+b\leqslant\varphi(x),\;\forall\;x\in\mathbb{R}\} \end{equation*}\]

由性质 8.1.10(4)可知\(\mathcal{L}\ne\varnothing\)，于是对任意的\((a,b)\in\mathcal{L}\)有\(af+b\leqslant\varphi\circ f\)，根据性质 5.4.3(6)和性质 5.4.2(5)(1)可知可对\(af+b\)求关于\(\mathscr{A}\)的条件期望，由性质 5.4.2(5)(1)可知可对\(\varphi\circ f\)求关于\(\mathscr{A}\)的条件期望，于是根据性质 6.3.2(4)(5)(1)可知：

\[\begin{equation*} \operatorname{E}(\varphi\circ f\mid\mathscr{A})\geqslant\operatorname{E}(af+b\mid\mathscr{A})=a\operatorname{E}(f\mid\mathscr{A})+b\operatorname{E}(1\mid\mathscr{A})=a\operatorname{E}(f\mid\mathscr{A})+b \end{equation*}\]

a.s.于\((X,\mathscr{A},P)\)。由性质 8.1.10(4)和上确界的不等式性可知：

\[\begin{equation*} \sup_{a,b\in\mathcal{L}}a\operatorname{E}(f\mid\mathscr{A})+b=\varphi[\operatorname{E}(f\mid\mathscr{A})]\leqslant\operatorname{E}(\varphi\circ f\mid\mathscr{A})\;\text{a.s.于}(X,\mathscr{A},P) \end{equation*}\]

当\(f=\operatorname{E}(f\mid\mathscr{A})\;\)a.s.于\((X,\mathscr{A},P)\)时，\(\varphi\circ f=\varphi[\operatorname{E}(f\mid\mathscr{A})]\;\)a.s.于\((X,\mathscr{A},P)\)且\(f\)可视作\(\mathscr{A}\)可测的，根据性质 5.3.1(2)可知\(\varphi\circ f\)是\(\mathscr{A}\)可测的，由性质 6.3.2(1)可知\(\operatorname{E}(\varphi\circ f\mid\mathscr{A})=\varphi\circ f\;\)a.s.于\((X,\mathscr{A},P)\)，根据性质 5.2.1(3)（次有限可加性）和测度的非负性可知：

\[\begin{equation*} \varphi[\operatorname{E}(f\mid\mathscr{A})]=\operatorname{E}(\varphi\circ f|\mathscr{A})\;\text{a.s.于}(X,\mathscr{A},P) \end{equation*}\]

当\(\varphi\)严格凸且等号成立a.s.于\((X,\mathscr{A},P)\)时，由性质 8.1.10(4)可知对任意\(t\in\mathbb{R}\)存在\(c(t)\in\mathbb{R}\)使得对任意\(u\in\mathbb{R}\)有：

\[\begin{equation*} \varphi(u)\geqslant\varphi(t)+c(t)(u-t) \end{equation*}\]

且上式在\(u\neq t\)时严格成立，于是：

\[\begin{equation*} \varphi\circ f\geqslant\varphi[\operatorname{E}(f\mid\mathscr{A})]+c[\operatorname{E}(f\mid\mathscr{A})][f-\operatorname{E}(f\mid\mathscr{A})] \end{equation*}\]

并且在；

\[\begin{equation*} \{x\in X:f\ne\operatorname{E}(f\mid\mathscr{A})\} \end{equation*}\]

上严格成立。记：

\[\begin{equation*} H=\varphi\circ f-\varphi[\operatorname{E}(f\mid\mathscr{A})]-c[\operatorname{E}(f\mid\mathscr{A})][f-\operatorname{E}(f\mid\mathscr{A})] \end{equation*}\]

则\(H\geqslant 0\)，且：

\[\begin{equation*} H=0\quad\Longleftrightarrow\quad f=\operatorname{E}(f\mid\mathscr{A}) \end{equation*}\]

对\(H\)取关于\(\mathscr{A}\)的条件期望（和之前类似说明其存在性），由性质 5.3.1(2)、性质 6.3.2(1)(5)、性质 5.2.1(3)（次有限可加性）和测度的非负性可得：

\[\begin{align*} \operatorname{E}(H|\mathscr{A})&=\operatorname{E}(\varphi\circ f|\mathscr{A})-\varphi[\operatorname{E}(f\mid\mathscr{A})]-c[\operatorname{E}(f\mid\mathscr{A})]\operatorname{E}[f-\operatorname{E}(f\mid\mathscr{A})\mid\mathscr{A}] \\ &=\operatorname{E}(\varphi\circ f|\mathscr{A})-\varphi[\operatorname{E}(f\mid\mathscr{A})]=0\;\text{a.s.于}(X,\mathscr{A},P) \end{align*}\]

即\(f=\operatorname{E}(f\mid\mathscr{A})\;\)a.s.于\((X,\mathscr{A},P)\)。 ◻

17.5.5.2 Gibbs不等式

Theorem 17.18. 设\(\varphi,\mu\)是可测空间\((X,\mathscr{F})\)上的概率测度，\(\varphi\ll\mu\)，根据定理 5.33，\(\varphi\)有关于\(\mu\)的非负Radon-Nikodym导数\(\dfrac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}\)，在集合\(\{r=0\}\)上将\(\ln r\)定义为\(0\)，并约定\(0\ln0=0\)，则：

\[\begin{equation*} \tag{11} \int_{X}\ln\frac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}(x)\mathop{}\!\mathrm{d}\varphi\geqslant0 \end{equation*}\]

等号成立当且仅当\(\dfrac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}=1\;\)a.e.于\((X,\mathscr{F},\mu)\)，也即\(\varphi=\mu\)。

证明. 由高中的知识可知：

\[\begin{equation*} x\ln x\geqslant x-1 \end{equation*}\]

等号成立当且仅当\(x=1\)。取\(x=\dfrac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}\)，根据性质 5.4.3(7)(6)和引理 5.10可得：

\[\begin{gather*} \frac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}\ln\frac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}\geqslant\frac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}-1 \\ \int_{X}\frac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}(x)\ln\frac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}(x)\mathop{}\!\mathrm{d}\mu\geqslant\int_{X}\left[\frac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}(x)-1\right]\mathop{}\!\mathrm{d}\mu \\ \int_{X}\ln\frac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}(x)\mathop{}\!\mathrm{d}\varphi\geqslant0 \end{gather*}\]

根据性质 5.4.3(8)可知等号成立当且仅当\(\dfrac{\mathop{}\!\mathrm{d}\varphi}{\mathop{}\!\mathrm{d}\mu}=1\;\)a.e.于\((X,\mathscr{F},\mu)\)，也即\(\varphi=\mu\)。 ◻

17.5.5.3 Markov不等式

Theorem 17.19. （Markov Inequality）

设\(f\)是概率空间\((X,\mathscr{F},P)\)上的非负随机变量，\(\operatorname{E}(f)<+\infty\)，则对任意的\(t\in\mathbb{R}^{+}\)有：

\[\begin{equation*} P(f\geqslant t)\leqslant\frac{\operatorname{E}(f)}{t} \end{equation*}\]

证明. 由性质 5.3.2(1)(2.a)、性质 5.4.2(6)(10)、性质 5.3.3(1.d)和性质 5.4.1(4)

\[\begin{equation*} \operatorname{E}(f)\geqslant\operatorname{E}[tI(x\in\{f\geqslant t\})]=t\operatorname{E}[I(x\in\{f\geqslant t\})]=tP(f\geqslant t) \end{equation*}\]

◻

note 17.4. Markov Inequality有很多变形，比如下面的两个推论，第一个可以视为Chebyshev Inequality的推广，第二个则在高维概率中具有重要意义。

推论 1 Corollary 17.2. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的随机变量，\(f\)的\(n\in\mathbb{N}^+\)阶矩存在，则对任意的\(t\in\mathbb{R}^{+}\)有：

\[\begin{equation*} P\Big(|f-\operatorname{E}(f)|\geqslant t\Big)\leqslant\frac{\operatorname{E}[|f-\operatorname{E}(f)|^n]}{t^n} \end{equation*}\]

证明. 因为\(f\)的\(n\)阶矩存在，由性质 6.4.1(3)可知\(\operatorname{E}(f)\in\mathbb{R}\)，根据性质 5.3.3(1.b)(1.d)和性质 5.1.6(2)可知\(|f-\operatorname{E}(f)|\)是非负随机变量。由定理 17.19可得：

\[\begin{equation*} P\Big(|f-\operatorname{E}(f)|\geqslant t\Big)=P\Big(|f-\operatorname{E}(f)|^n\geqslant t^n\Big)\leqslant\frac{\operatorname{E}[|f-\operatorname{E}(f)|^n]}{t^n} \end{equation*}\]

◻

推论 2 Corollary 17.3. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的随机变量，\(\operatorname{E}(f)<+\infty\)，\(\operatorname{E}(e^{\lambda f})\)在\(\lambda\in[0,a]\)上存在，则对任意的\(t\in\mathbb{R}\)有：

\[\begin{equation*} \log P\Big((f-\operatorname{E}(f))\geqslant t\Big)\leqslant\inf_{\lambda\in[0,a]}\Big\{\log\operatorname{E}\{e^{\lambda[f-\operatorname{E}(f)]}\}-\lambda t\Big\} \end{equation*}\]

证明. 由性质 5.3.3(1.a)(10)、性质 5.3.1(2)(4)和定理 17.19可知：

\[\begin{equation*} P\Big((f-\operatorname{E}(f))\geqslant t\Big)=P\left(e^{\lambda[f-\operatorname{E}(f)]}\geqslant e^{\lambda t}\right)\leqslant\frac{\operatorname{E}\{e^{\lambda[f-\operatorname{E}(f)]}\}}{e^{\lambda t}} \end{equation*}\]

◻

Definition 17.26. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上的随机变量，\(\operatorname{E}(f)<+\infty\)。如果存在\(\sigma>0\)使得对任意的\(\lambda\in\mathbb{R}\)都有：

\[\begin{equation*} \operatorname{E}\{e^{\lambda[f-\operatorname{E}(f)]}\}\leqslant\exp\left(\frac{\sigma^2\lambda^2}{2}\right) \end{equation*}\]

则称\(f\)是次高斯的，\(\sigma\)被称为\(f\)的次高斯参数。

Property 17.5.1. 设\(f\)是概率空间\((X,\mathscr{F},P)\)上次高斯参数为\(\sigma\)的次高斯随机变量，则：

1. \(-f\)也是次高斯的；

2. \(f\)有如下的上下尾不等式：

   \[\begin{equation*} \forall\;t\geqslant0,\;P\Big(f-\operatorname{E}(f)\geqslant t\Big)\leqslant\exp\left(-\frac{t^2}{2\sigma^2}\right),\;P\Big(f-\operatorname{E}(f)\leqslant -t\Big)\leqslant\exp\left(-\frac{t^2}{2\sigma^2}\right) \end{equation*}\]

3. \(f\)有如下的集中不等式：

   \[\begin{equation*} \forall\;t\geqslant0,\;P\Big(|f-\operatorname{E}(f)|\geqslant t\Big)\leqslant2\exp\left(-\frac{t^2}{2\sigma^2}\right) \end{equation*}\]

证明. (1)由性质 5.4.3(6)即可得到：

\[\begin{equation*} \operatorname{E}\{e^{\lambda[-f-\operatorname{E}(-f)]}\}=\operatorname{E}\{e^{-\lambda[f+\operatorname{E}(-f)]}\}=\operatorname{E}\{e^{-\lambda[f-\operatorname{E}(f)]}\}\leqslant\exp\left(\frac{\sigma^2\lambda^2}{2}\right) \end{equation*}\]

(2)因为\(f\)是次高斯的，所以对任意的\(\lambda\in\mathbb{R}\)，\(\operatorname{E}\{e^{\lambda[f-\operatorname{E}(f)]}\}\)存在，所以由性质 5.4.3(6)可知\(\operatorname{E}\{e^{\lambda[f-\operatorname{E}(f)]}\}\)存在。根据推论 17.3可得：

\[\begin{align*} &P\Big(f-\operatorname{E}(f)\geqslant t\Big)\leqslant\inf_{\lambda\in\mathbb{R}}\frac{\operatorname{E}\{e^{\lambda[f-\operatorname{E}(f)]}\}}{e^{\lambda t}}\leqslant\inf_{\lambda\in\mathbb{R}}\exp\left(\frac{\sigma^2\lambda^2}{2}-\lambda t\right) \\ =&\exp\left[\frac{\sigma^2}{2}\left(\frac{t}{\sigma^2}\right) ^2-\frac{t^2}{\sigma^2}\right]=\exp\left(\frac{t^2}{2\sigma^2}-\frac{t^2}{\sigma^2}\right)=\exp\left(-\frac{t^2}{2\sigma^2}\right) \end{align*}\]

由(1)、性质 5.4.3(6)和上述上尾不等式可得：

\[\begin{equation*} P\Big(-f-\operatorname{E}(-f)\geqslant t\Big)=P\Big(-f+\operatorname{E}(f)\geqslant t\Big)=P\Big(f-\operatorname{E}(f)\leqslant -t\Big)\leqslant\exp\left(-\frac{t^2}{2\sigma^2}\right) \end{equation*}\]

(3)由(2)立即可得。 ◻

Theorem 17.20. （Hoeffding Bound）

设\(f_1, f_2, \dots, f_{n}\)是概率空间\((X,\mathscr{F},P)\)上相互独立的随机变量，对任意的\(i=1,2,\dots,n\)有\(a_i\leqslant f_i\leqslant b_i\;\)a.s.于\((X,\mathscr{F},P)\)，则对任意的\(t>0\)：

\[\begin{gather*} P\left(\sum_{i=1}^{n}[f_i-\operatorname{E}(f_i)]\geqslant t\right)\leqslant\exp\left[-\frac{2t^2}{\sum\limits_{i=1}^{n}(b_i-a_i)^2}\right] \\ P\left(\left|\sum_{i=1}^{n}[f_i-\operatorname{E}(f_i)]\right|\geqslant t\right)\leqslant2\exp\left[-\frac{2t^2}{\sum\limits_{i=1}^{n}(b_i-a_i)^2}\right] \end{gather*}\]

也即：

\[\begin{gather*} P\left(\frac{1}{n}\sum_{i=1}^{n}[f_i-\operatorname{E}(f_i)]\geqslant t\right)\leqslant\exp\left[-\frac{2n^2t^2}{\sum\limits_{i=1}^{n}(b_i-a_i)^2}\right] \\ P\left(\left|\frac{1}{n}\sum_{i=1}^{n}[f_i-\operatorname{E}(f_i)]\right|\geqslant t\right)\leqslant2\exp\left[-\frac{2n^2t^2}{\sum\limits_{i=1}^{n}(b_i-a_i)^2}\right] \end{gather*}\]

证明. 证明涉及到很长且无聊的代数计算，所以略去。 ◻

Theorem 17.21. 设\(\{A_n\}\)是一列集合，且对每个\(n\in\mathbb{N}\)，\(A_n\)都是至多可列集，则：

\[\begin{equation*} A=\underset{n=1}{\overset{+\infty}{\cup}}A_n \end{equation*}\]

也是至多可列集。

证明. 由于每个\(A_n\)至多可列，存在映射\(f_n:\mathbb{N}\to A_n\)使得\(f_n(\mathbb{N})=A_n\)，于是\(A\)中的任一元素都可写成\(f_n(m)\)的形式，其中\((n,m)\in\mathbb{N}\times\mathbb{N}\)。对\(\mathbb{N}\times\mathbb{N}\)进行对角线枚举即可，即按\(n+m=0,1,2,\dots\)的顺序，依次枚举所有满足\(n+m=k\)的\((n,m)\)：

\[\begin{align*} &(0,0), \\ &(0,1),(1,0), \\ &(0,2),(1,1),(2,0), \\ &\dots \end{align*}\]

即可枚举完\(A\)。 ◻

图 17.1 对角线枚举 ℕ × ℕ：可列个可列是可列

推论 3 Corollary 17.4. 有理数是可列的。

证明. 有理数可以表示为整数的商，由定理 17.21即可得出结论。 ◻