第 17 章 时间序列分析

CHAPTER STATUS编写进度70%查看全书进度

17.1 平稳时间序列

Definition 17.1. 如果时间序列\(\{X_t\}=\{X_t:t\in\mathbb{N}\}\)满足：

1. 对任何的\(t\in\mathbb{N}\)，有\(\operatorname{E}(X_t^2)<+\infty\)；

2. 对任何的\(t\in\mathbb{N}\)，有\(\operatorname{E}(X_t)=\mu\)；

3. 对任何的\(t,s\in\mathbb{N}\)，有\(\operatorname{Cov}(X_t,X_s)=\operatorname{E}[(X_t-\mu)(X_s-\mu)]=\gamma(t-s)\)，其中\(\gamma(t-s)\)是\(t-s\)的实值函数，被称为\(\{X_t\}\)的自协方差函数（auto-covariance function）。

则称\(\{X_t\}\)是一个平稳时间序列（stationary time series）。

17.1.1 平稳时间序列的性质

17.1.1.1 线性变换

Theorem 17.1. 平稳时间序列\(\{X_t\}\)经过线性变换后得到的还是平稳时间序列。

证明. 只需证明\(\{Y_t=aX_t+b:t\in\mathbb{N}\}\)对任意的\(a,b\in\mathbb{R}\)是平稳时间序列。设\(\operatorname{E}(X_t)=\mu\)。

(1)对于线性变换后时间序列的期望，有：

\[\begin{equation*} \operatorname{E}(Y_t)=\operatorname{E}(aX_t+b)=a\mu+b \end{equation*}\]

(2)对于线性变换后时间序列的二阶原点矩，有：

\[\begin{equation*} \operatorname{E}(Y_t^2)=\operatorname{Var}(Y_t)+[\operatorname{E}(Y_t)]^2=a^2\gamma(0)+(a\mu+b)^2<+\infty \end{equation*}\]

(3)对于线性变换后时间序列的协方差，有：

\[\begin{equation*} \operatorname{Cov}(Y_t,Y_s)=\operatorname{E}[(aX_t+b-a\mu-b)(aX_s+b-a\mu-b)]=a^2\gamma(t-s) \end{equation*}\]

◻

17.1.1.2 平稳时间序列的谱函数

Definition 17.2. 设平稳时间序列\(\{X_t\}\)的自协方差函数为\(\gamma(n)\)。

1. 若存在\([-\pi,\pi]\)上单调不减且右连续的函数\(F(\lambda)\)使得：

   \[\begin{equation*} \gamma(n)=\int_{[-\pi,\pi]}e^{in\lambda}\mathop{}\!\mathrm{d}F(\lambda),\quad F(-\pi)=0,\;k\in\mathbb{Z}^{} \end{equation*}\]

   则称\(F(\lambda)\)为\(\{X_t\}\)或\(\{\gamma(n)\}\)的谱分布函数（spectral distribution function），简称为谱函数；

2. 若存在\([-\pi,\pi]\)上的非负函数\(f(\lambda)\)使得：

   \[\begin{equation*} \gamma(n)=\int_{[-\pi,\pi]}f(\lambda)e^{in\lambda}\mathop{}\!\mathrm{d}\lambda,\quad n\in\mathbb{Z}^{} \end{equation*}\]

   则称\(f(\lambda)\)为\(\{X_t\}\)或\(\{\gamma(n)\}\)的谱密度函数（spectral density function），简称为谱密度。

Theorem 17.2. （Herglotz theorem）

平稳时间序列的谱函数存在且唯一。

Theorem 17.3. 若平稳时间序列\(\{X_t\}\)的自协方差函数\(\{\gamma(n)\}\in l^1\)，则\(\{X_t\}\)有谱密度：

\[\begin{equation*} f(\lambda)=\frac{1}{2\pi}\sum_{n=-\infty}^{+\infty}\gamma(n)e^{-in\lambda} \end{equation*}\]

17.1.1.3 正交与不相关

Definition 17.3. 设\(\{X_t\}\)和\(\{Y_t\}\)是平稳时间序列。

1. 若对任何的\(s,t\in\mathbb{N}\)，有\(\operatorname{E}(X_tY_s)=0\)，则称\(\{X_t\}\)和\(\{Y_t\}\)正交。

2. 若对任何的\(s,t\in\mathbb{N}\)，有\(\operatorname{Cov}(X_t,Y_s)=0\)，则称\(\{X_t\}\)和\(\{Y_t\}\)不相关。

Theorem 17.4. 对于期望为\(0\)的平稳时间序列，正交性和不相关性等价。

证明. 若\(\mu=0\)，则：

\[\begin{equation*} \operatorname{Cov}(X_t,X_s)=\operatorname{E}[(X_t-\mu)(X_s-\mu)]=\operatorname{E}(X_tX_s) \end{equation*}\]

◻

Theorem 17.5. 设\(\gamma_X(t)\)和\(\gamma_Y(t)\)分别是平稳时间序列\(\{X_t\}\)和\(\{Y_t\}\)的自协方差函数。记\(\mu_X=\operatorname{E}(X_t),\;\mu_Y=\operatorname{E}(Y_t)\)，定义：

\[\begin{equation*} Z_t=X_t+Y_t,\;t\in\mathbb{N} \end{equation*}\]

则：

1. 若\(\{X_t\}\)和\(\{Y_t\}\)正交，则\(\{Z_t\}\)是平稳时间序列，有自协方差函数：

   \[\begin{equation*} \gamma_Z(t)=\gamma_X(t)+\gamma_Y(t)-2\mu_X\mu_Y,\;t\in\mathbb{N} \end{equation*}\]

2. 若\(\{X_t\}\)和\(\{Y_t\}\)不相关，则\(\{Z_t\}\)是平稳时间序列，有自协方差函数：

   \[\begin{equation*} \gamma_Z(t)=\gamma_X(t)+\gamma_Y(t),\;t\in\mathbb{N} \end{equation*}\]

证明. 因为对任意的\(t\in\mathbb{N}\)，有\((X_t+Y_t)^2\leqslant2X_t^2+2Y_t^2\)，所以：

\[\begin{equation*} \operatorname{E}(Z_t^2)\leqslant2\operatorname{E}(X_t^2)+2\operatorname{E}(Y_t^2)<+\infty \end{equation*}\]

显然：

\[\begin{equation*} \operatorname{E}(Z_t)=\operatorname{E}(X_t)+\operatorname{E}(Y_t)=\mu_X+\mu_Y \end{equation*}\]

与\(t\)无关。因为：

\[\begin{align*} \operatorname{Cov}(Z_t,Z_s) &=\operatorname{Cov}(X_t+Y_t,X_s+Y_s) \\ &=\operatorname{Cov}(X_t,X_s)+\operatorname{Cov}(X_t,Y_s)+\operatorname{Cov}(Y_t,X_s)+\operatorname{Cov}(Y_t,Y_s) \end{align*}\]

(1)由于\(\{X_t\}\)和\(\{Y_t\}\)正交，所以\(\operatorname{E}(X_tY_s)=\operatorname{E}(X_sY_t)=0\)，于是由性质 6.3.4(6)可得：

\[\begin{align*} \operatorname{Cov}(Z_t,Z_s) &=\gamma_X(t-s)+\gamma_Y(t-s)+\operatorname{E}(X_tY_s)-\operatorname{E}(X_t)\operatorname{E}(Y_s)+\operatorname{E}(X_sY_t)-\operatorname{E}(Y_t)\operatorname{E}(X_s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s)-2\mu_X\mu_Y \end{align*}\]

所以\(\operatorname{Cov}(Z_t,Z_s)\)只与\((t-s)\)有关。综上，\(\{Z_t\}\)是平稳时间序列，且

\[\begin{equation*} \gamma_Z(t)=\gamma_X(t)+\gamma_Y(t)-2\mu_X\mu_Y,\;t\in\mathbb{N} \end{equation*}\]

(2)因为\(\{X_t\}\)和\(\{Y_t\}\)不相关，所以\(\operatorname{Cov}(X_t,Y_s)=0=\operatorname{Cov}(Y_t,X_s)=0\)，于是：

\[\begin{equation*} \operatorname{Cov}(Z_t,Z_s)=\operatorname{Cov}(X_t,X_s)+\operatorname{Cov}(Y_t,Y_s)=\gamma_X(t-s)+\gamma_Y(t-s) \end{equation*}\]

所以\(\operatorname{Cov}(Z_t,Z_s)\)只与\((t-s)\)有关。综上，\(\{Z_t\}\)是平稳时间序列，且

\[\begin{equation*} \gamma_Z(t)=\gamma_X(t)+\gamma_Y(t),\;t\in\mathbb{N} \end{equation*}\]

◻

Theorem 17.6. 设\(\{X_t\}\)和\(\{Y_t\}\)是正交的平稳时间序列，且\(\operatorname{E}(X_t)=\operatorname{E}(Y_t)=0\)，\(c\)是常数，定义：

\[\begin{equation*} Z_t=X_t+Y_t+c,\quad t\in\mathbb{Z}^{} \end{equation*}\]

1. 如果\(\{X_t\}\)和\(\{Y_t\}\)分别有谱函数\(F_X(\lambda)\)和\(F_Y(\lambda)\)，则平稳时间序列\(\{Z_t\}\)有谱函数\(F_Z(\lambda)=F_X(\lambda)+F_Y(\lambda)\)；

2. 如果\(\{X_t\}\)和\(\{Y_t\}\)分别有谱密度\(f_X(\lambda)\)和\(f_Y(\lambda)\)，则平稳时间序列\(\{Z_t\}\)有谱密度\(f_Z(\lambda)=f_X(\lambda)+f_Y(\lambda)\)。

证明. 有定理 17.4和定理 17.5可知\(\{Z_t\}\)是平稳时间序列且有自协方差函数：

\[\begin{equation*} \gamma_Z(n)=\gamma_X(n)+\gamma_Y(n) \end{equation*}\]

(1)此时有：

\[\begin{align*} \gamma_Z(n)&=\gamma_X(n)+\gamma_Y(n) \\ &=\int_{[-\pi,\pi]}e^{in\lambda}\mathop{}\!\mathrm{d}F_X(\lambda)+\int_{[-\pi,\pi]}e^{in\lambda}\mathop{}\!\mathrm{d}F_Y(\lambda) \\ &=\int_{[-\pi,\pi]}e^{in\lambda}\mathop{}\!\mathrm{d}[F_X(\lambda)+F_Y(\lambda)] \end{align*}\]

(2)此时有：

\[\begin{align*} \gamma_Z(n)&=\gamma_X(n)+\gamma_Y(n) \\ &=\int_{[-\pi,\pi]}f_X(\lambda)e^{in\lambda}\mathop{}\!\mathrm{d}\lambda+\int_{[-\pi,\pi]}f_Y(\lambda)e^{in\lambda}\mathop{}\!\mathrm{d}\lambda \\ &=\int_{[-\pi,\pi]}[f_X(\lambda)+f_Y(\lambda)]e^{in\lambda}\mathop{}\!\mathrm{d}\lambda \end{align*}\]

◻

17.1.1.4 自协方差函数

Property 17.1.1. 平稳时间序列的自协方差函数具有如下基本性质：

1. 对称性：\(\forall\;n\in\mathbb{N},\;\gamma(n)=\gamma(-n)\)；

2. 半正定性：对任意的\(n\in\mathbb{N}^+\)，\(n\)阶自协方差矩阵：

   \[\begin{equation*} \Gamma_n= \begin{pmatrix} \gamma(0) & \gamma(1) & \cdots & \gamma(n-1) \\ \gamma(1) & \gamma(0) & \cdots & \gamma(n-2) \\ \vdots & \vdots & \ddots & \vdots \\ \gamma(n-1) & \gamma(n-2) & \cdots & \gamma(0) \\ \end{pmatrix} \end{equation*}\]

   是半正定矩阵；

3. 有界性：\(|\gamma(n)|\leqslant|\gamma(0)|\)对所有的\(n\in\mathbb{N}\)成立。

证明. (1)由协方差的定义：

\[\begin{equation*} \gamma(n)=\operatorname{E}[(X_{t+n}-\mu)(X_t-\mu)]=\operatorname{E}[(X_t-\mu)(X_{t+n}-\mu)]=\gamma(-n) \end{equation*}\]

(2)任取\(n\)维实数向量\(\alpha=(a_1, a_2, \dots, a_{n})^{\top}\)，由性质 5.4.3(6)可得：

\[\begin{align*} a^{\top}\Gamma_na &=\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j\gamma_{i-j} \\ &=\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j\operatorname{E}[(X_i-\mu)(X_j-\mu)]\\ &=\operatorname{E}\left[\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j(X_i-\mu)(X_j-\mu)\right] \\ &=\operatorname{E}\left[\sum_{i=1}^{n}a_i(X_i-\mu)\right]^2\geqslant0 \end{align*}\]

(3)对任意的\(n\in \mathbb{N}\)，由不等式 4可得：

\[\begin{align*} |\gamma(n)| &=\Bigl|\operatorname{E}[(X_{n+1}-\mu)(X_1-\mu)]\Bigr| \\ &\leqslant\sqrt{\operatorname{E}[(X_{n+1}-\mu)^2]\operatorname{E}[(X_1-\mu)^2]} \\ &=\sqrt{\gamma(0)\gamma(0)}=|\gamma(0)| \end{align*}\]

◻

Definition 17.4. 任何满足上述三个基本性质的实数序列都被称为非负定序列。

Theorem 17.7. 设\(\Gamma_n\)是平稳时间序列\(\{X_t\}\)的\(n\)阶自协方差矩阵。

1. 如果\(\{X_t\}\)的谱密度\(f(\lambda)\)存在，则对任何的\(n\geqslant1\)，\(\Gamma_n\)正定；

2. 如果当\(n\to+\infty\)时有\(\gamma(n)\to0\)，则对任何的\(n\geqslant1\)，\(\Gamma_n\)正定。

证明. (1)任取\(n\)维实向量\(\alpha=(a_1, a_2, \dots, a_{n})^{\top}\ne\mathbf{0}\)， ◻

17.1.1.5 自相关函数

Definition 17.5. \(\{X_t\}\)是一个平稳时间序列，称平稳时间序列：

\[\begin{equation*} Y_t=\frac{X_t-\mu}{\sqrt{\gamma(0)}},\;t\in\mathbb{N} \end{equation*}\]

为\(\{X_t\}\)的标准化序列。称\(\{Y_t\}\)的自协方差函数\(\rho(t)\)为\(\{X_t\}\)的自相关函数（auto-correlation function）。因为自协方差函数都是非负定序列，所以\(\rho(t)\)也是非负定序列。

Theorem 17.8. 设\(\{X_t\}\)的自协方差函数为\(\gamma(t)\)，\(\{Y_t\}\)是\(\{X_t\}\)的标准化序列同时它的自协方差函数为\(\rho(t)\)，则：

\[\begin{equation*} \rho(t)=\frac{\gamma(t)}{\gamma(0)},\;t\in\mathbb{N} \end{equation*}\]

证明. 显然\(\mu_Y=\operatorname{E}(Y_t)=0\)，由自协方差函数的定义：

\[\begin{equation*} \rho(t)=\operatorname{E}[(Y_t-\mu_Y)(Y_0-\mu_Y)]=\operatorname{E}(Y_tY_0)=\operatorname{E}\left[\left(\frac{X_t-\mu}{\sqrt{\gamma(0)}}\right)\left(\frac{X_0-\mu}{\sqrt{\gamma(0)}}\right)\right]=\frac{\gamma(t)}{\gamma(0)} \end{equation*}\]

◻

17.1.1.6 线性相关

定义 18.1 Definition 17.6. 对于随机变量\(X_1, X_2, \dots, X_{n}\)，若存在非零的\(n\)维实向量\(\alpha=(a_1, a_2, \dots, a_{n})^{\top}\)使得：

\[\begin{equation*} \operatorname{Var}\left[\sum_{i=1}^{n}a_i(X_i-\mu)\right]=0 \end{equation*}\]

则称\(X_1, X_2, \dots, X_{n}\)线性相关。

引理 18.1 Lemma 17.1. 对称阵\(A\in M_{n}(\mathbb{R})\)退化的充分必要条件为存在\(\mathbb{R}^{n}\)中的非零向量\(\alpha\)使得\(\alpha^{\top}A\alpha=0\)。

证明. (1)充分性：由实对称矩阵的正交相似，有\(Q^{\top}AQ=B\)，其中\(Q\)是正交矩阵，\(B=\operatorname{diag}\{b_1,b_2,\dots,b_n\}\)是主对角线上为\(A\)特征值的对角矩阵。假设此时\(A\)可逆，则它的所有特征值都不为\(0\)（否则就有\(|A|=|Q^{\top}BQ|=|Q^{\top}|\;|B|\;|Q|=|B|=0\)）。由题设存在非零向量\(\alpha\)使得\(\alpha^{\top}A\alpha=0\)，因为\(Q\)是正交矩阵，所以\(Q^{-1}\)可逆，于是\(Q^{-1}x=\mathbf{0}\)只有零解，所以\(Q^{-1}\alpha\ne\mathbf{0}\)。设\(Q^{-1}\alpha=\beta=(y_1,y_2,\dots,y_n)^{\top}\)，则有：

\[\begin{equation*} \beta^{\top}B\beta=\alpha^{\top}(Q^{-1})^{\top}BQ^{-1}\alpha=\alpha^{\top}(Q^{\top})^{-1}BQ^{-1}\alpha=\alpha^{\top}A\alpha=0 \end{equation*}\]

注意到：

\[\begin{equation*} \beta^{\top}B\beta=\sum_{i=1}^{n}b_iy_i^2 \end{equation*}\]

所以有：

\[\begin{equation*} \sum_{i=1}^{n}b_iy_i^2=0 \end{equation*}\]

但是此时\(b_i\)都不是\(0\)，若上式成立需要\(y_i\)都为\(0\)，这就与\(\beta\ne\mathbf{0}\)矛盾，所以\(A\)退化。

(2)必要性：如果\(A\)退化，则存在非零向量\(\alpha\)使得\(A\alpha=\mathbf{0}\)，显然此时\(\alpha^{\top}A\alpha=0\)。 ◻

Theorem 17.9. \(\{X_t\}\)是一个平稳时间序列，\(\Gamma_n\)是\(\{X_t\}\)的\(n\)阶自协方差矩阵，则\(\Gamma_n\)退化的充要条件是对任意的\(t\in\mathbb{N}\)，\(X_{t+1},X_{t+2},\dots,X_{t+n}\)线性相关。

证明. 由引理 17.1可知\(\Gamma_n\)退化的充要条件是存在非零的\(n\)维实向量\(\alpha=(a_1, a_2, \dots, a_{n})^{\top}\)使得\(\alpha^{\top}\Gamma_n\alpha=0\)，而：

\[\begin{align*} \alpha^{\top}\Gamma_n\alpha &=\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j\operatorname{E}[(X_i-\mu)(X_j-\mu)] =\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j\operatorname{E}[(X_{t+i}-\mu)(X_{t+j}-\mu)] \\ &=\operatorname{E}\left[\sum_{i=1}^{n}a_i(X_{t+i}-\mu)\right]^2 =\operatorname{E}\left[\sum_{i=1}^{n}a_i(X_{t+i}-\mu)\right]^2+0 \\ &=\operatorname{E}\left[\sum_{i=1}^{n}a_i(X_{t+i}-\mu)\right]^2+\left\{\operatorname{E}\left[\sum_{i=1}^{n}a_i(X_{t+i}-\mu)\right]\right\}^2 =\operatorname{Var}\left[\sum_{i=1}^{n}a_i(X_{t+i}-\mu)\right] \end{align*}\]

由随机变量线性相关的定义结论得证。 ◻

Theorem 17.10. \(\{X_t\}\)是一个平稳时间序列，\(\Gamma_n\)是\(\{X_t\}\)的\(n\)阶自协方差矩阵。若\(\Gamma_n\)退化，只要\(m>n\)，则有\(\Gamma_m\)退化，也即若\(X_{t+1},X_{t+2},\dots,X_{t+n}\)线性相关，只要\(m>n\)，则有\(X_{t+1},X_{t+2},\dots,X_{t+m}\)线性相关。

证明. 由定义 17.6与定理 17.9可直接得出，只需在方差公式中取\(a_{n+1}=a_{n+2}=\cdots=a_{m}=0\)即可。 ◻

17.1.1.7 最小序列

Definition 17.7. 用\(L^2(X)\)表示平稳时间序列\(\{X_t\}\)中有限个随机变量线性组合的全体：

\[\begin{equation*} L^2(X)=\left\{\sum_{i=1}^{n}a_iX_{t_i}:a_i\in\mathbb{R}^{},\;t_i\in\mathbb{Z},\;k\in\mathbb{N}^+\right\} \end{equation*}\]

Property 17.1.2. \(L^2(X)\)有如下性质：

1. \(L^2(X)\subset L^2\)；

2. 在\(L^2(X)\)中定义内积\((X,Y)=\operatorname{E}(XY)\)，则\(L^2(X)\)成为一个Hilbert空间。

Definition 17.8. 设\(\{X_t\}\)是平稳序列，用\(H_x\)表示\(L^2(X)\)，用\(H_x(s)\)表示\(\{X_t:t\ne s\}\)产生的Hilbert空间。若存在\(s\in\mathbb{Z}^{}\)使得\(H_x\ne H_x(s)\)，则称\(\{X_t\}\)是最小序列。

Property 17.1.3. 设\(\{X_t\}\)是平稳序列，有谱密度\(f(\lambda)\)，则：

1. 若\(\{X_t\}\)是最小序列，则对所有的\(t\in\mathbb{Z}^{}\)有\(H_x\ne H_x(s)\)；

2. \(\{X_t\}\)是最小序列的充分必要条件为：

   \[\begin{equation*} \int_{[-\pi,\pi]}\frac{\mathop{}\!\mathrm{d}\lambda}{f(\lambda)}<+\infty \end{equation*}\]

3. 若\(f(\lambda)\)连续且恒正，则\(\{X_t\}\)是最小序列。

17.1.1.8 长短记忆

Definition 17.9. 根据自协方差函数\(\gamma(n)\)收敛到\(0\)的速度将平稳时间序列\(\{X_t\}\)分为长记忆序列和短记忆序列。

对实数\(d<0.5\)，若：

\[\begin{equation*} \lim_{n\to+\infty}\frac{\gamma(n)}{n^{2d-1}}>0 \end{equation*}\]

即\(\gamma(n)\)与\(n^{2d-1}\)是同阶无穷小，则称\(\{X_t\}\)是长记忆序列。

17.1.2 线性平稳序列

17.1.2.1 白噪声

Definition 17.10. 设\(\{\varepsilon_t\}\)是一个平稳时间序列。如果对任何的\(s,t\in\mathbb{N}\)，有：

\[\begin{equation*} \operatorname{E}(\varepsilon_t)=\mu,\; \operatorname{Cov}(\varepsilon_t,\varepsilon_s)= \begin{cases} \sigma^2, & t=s \\ 0, & t\ne s \end{cases} \end{equation*}\]

则称\(\{\varepsilon_t\}\)是白噪声（white noise），记作WN\((\mu,\sigma^2)\)。当\(\{\varepsilon_t\}\)是独立序列时，称\(\{\varepsilon_t\}\)是独立白噪声；当\(\mu=0\)时，称\(\{\varepsilon_t\}\)是零均值白噪声；当\(\mu=0,\;\sigma^2=1\)时，称\(\{\varepsilon_t\}\)是标准白噪声；当\(\varepsilon_t\)服从正态分布时，称\(\{\varepsilon_t\}\)是正态白噪声。

17.1.2.2 有限滑动平均

Definition 17.11. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)。称：

\[\begin{equation*} X_t=a_0\varepsilon_t+a_1\varepsilon_{t-1}+\cdots+a_q\varepsilon_{t-q} \end{equation*}\]

是白噪声\(\{\varepsilon_t\}\)的有限滑动平均（finite moving average），其中\(q\in\mathbb{N}\)，\(a_0,a_1,\dots,a_q\)为常数。

Theorem 17.11. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)，则该白噪声的有限滑动平均：

\[\begin{equation*} X_t=a_0\varepsilon_t+a_1\varepsilon_{t-1}+\cdots+a_q\varepsilon_{t-q} \end{equation*}\]

构成的序列\(\{X_t\}\)具有如下均值与自协方差函数：

\[\begin{equation*} \operatorname{E}(X_t)=0,\; \gamma(n)= \begin{cases} \sigma^2\sum\limits_{i=0}^{q-n}a_ia_{i+n}, & 0\leqslant n\leqslant q \\ 0, & n>q \end{cases},\;t,n\in\mathbb{Z} \end{equation*}\]

证明. 由有限滑动平均的定义，对于\(\{X_t\}\)的期望有：

\[\begin{equation*} \operatorname{E}(X_t)=\operatorname{E}\left(\sum_{i=0}^{q}a_i\varepsilon_{t-i}\right)=\sum_{i=0}^{q}a_i\operatorname{E}(\varepsilon_{t-i})=0,\;t\in\mathbb{Z} \end{equation*}\]

对于\(\{X_t\}\)的自协方差函数，当\(n>q\)时，\(t+n-i>t-j\)恒成立，由白噪声的定义可得\(\operatorname{E}(\varepsilon_{t+n-i}\varepsilon_{t-j})=0,\;\forall\;i,j=0,1,2,\dots,q\)，于是\(\gamma(n)=0\)。当\(0\leqslant n\leqslant q\)时，有：

\[\begin{align*} \gamma(n) &=\operatorname{E}(X_{t+n}X_t) \\ &=\operatorname{E}[(a_{n}\varepsilon_{t}+a_{n+1}\varepsilon_{t-1}+\cdots+a_{q}\varepsilon_{t+n-q})(a_0\varepsilon_t+a_1\varepsilon_{t-1}+\cdots+a_{q-n}\varepsilon_{t+n-q})] \\ &=\operatorname{E}(a_na_0\varepsilon_t^2+a_{n+1}a_1\varepsilon_{t-1}^2+\cdots+a_qa_{q-n}\varepsilon_{t+n-q}^2) \\ &=\sum_{i=0}^{q-n}a_ia_{i+n}\operatorname{E}(\varepsilon_{t-i}^2) =\sum_{i=0}^{q-n}a_ia_{i+n}\sigma^2 \end{align*}\]

综上可得：

\[\begin{equation*} \gamma(n)= \begin{cases} \sigma^2\sum\limits_{i=0}^{q-n}a_ia_{i+n}, & 0\leqslant n\leqslant q \\ 0, & n>q \end{cases},\;n\in\mathbb{N} \end{equation*}\]

◻

17.1.2.3 单边滑动平均

Definition 17.12. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)。称：

\[\begin{equation*} X_t=\sum_{i=0}^{+\infty}a_i\varepsilon_{t-i},\;t\in\mathbb{Z} \end{equation*}\]

是白噪声\(\{\varepsilon_t\}\)的单边滑动平均，其中\(a_0,a_1,\dots\)为常数。它表明当前的观测\(X_t\)只与\(t\)时刻以及之前时刻的白噪声相关，与\(t\)时刻之后的白噪声无关。

17.1.2.4 无穷滑动平均

Definition 17.13. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)，\(\{a_n\}\in l^1\)。称：

\[\begin{equation*} X_t=\sum_{i=-\infty}^{+\infty}a_i\varepsilon_{t-i} \end{equation*}\]

是白噪声\(\{\varepsilon_t\}\)的无穷滑动平均（infinite moving average）。

Theorem 17.12. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)，则该白噪声的无穷滑动平均：

\[\begin{equation*} X_t=\sum_{i=-\infty}^{+\infty}a_i\varepsilon_{t-i} \end{equation*}\]

构成的序列\(\{X_t\}\)是平稳序列且具有如下均值与自协方差函数：

\[\begin{equation*} \operatorname{E}(X_t)=0,\;\gamma(n)=\sigma^2\sum_{i=-\infty}^{+\infty}a_ia_{i+n} \end{equation*}\]

证明. 由性质 5.4.2(4)(10)可得：

\[\begin{align*} \operatorname{E}\left(\sum_{i=-\infty}^{+\infty}|a_i\varepsilon_{t-i}|\right)&=\operatorname{E}\left[\lim_{n\to+\infty}\left(\sum_{i=-n}^{n}|a_i||\varepsilon_{t-i}|\right)\right]=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{i=-n}^{n}|a_i||\varepsilon_{t-i}|\right) \\ &=\lim_{n\to+\infty}\left[\sum_{i=-n}^{n}|a_i|\operatorname{E}(|\varepsilon_{t-i})\right]=\sum_{i=-\infty}^{+\infty}|a_i|\operatorname{E}(|\varepsilon_{t-i}) \end{align*}\]

由不等式 4可得：

\[\begin{equation*} \operatorname{E}(|\varepsilon_{t-i}|)=\Big|\operatorname{E}(|\varepsilon_{t-i}|\cdot1)\Big|\leqslant\sqrt{\operatorname{E}(\varepsilon_{t-i}^2)\operatorname{E}(1)}=\sigma \end{equation*}\]

于是：

\[\begin{equation*} \operatorname{E}\left(\sum_{i=-\infty}^{+\infty}|a_i\varepsilon_{t-i}|\right)=\sum_{i=-\infty}^{+\infty}|a_i|\operatorname{E}(|\varepsilon_{t-i}|)\leqslant\sigma\sum_{i=-\infty}^{+\infty}|a_i|<+\infty \end{equation*}\]

由性质 5.4.2(8)可得对任意的\(t\in\mathbb{Z}^{}\)，\(X_t\;\)a.e.有限，即：

\[\begin{equation*} X_t=\sum_{i=-\infty}^{+\infty}a_i\varepsilon_{t-i} \end{equation*}\]

右式a.e.收敛。取控制函数\(\sum\limits_{i=-\infty}^{+\infty}|a_i\varepsilon_{t-i}|\)，由定理 5.25和性质 5.4.3(6)可得

\[\begin{equation*} \operatorname{E}(X_t)=\operatorname{E}\left[\lim_{n\to+\infty}\left(\sum_{i=-n}^{n}a_i\varepsilon_{t-i}\right)\right]=\lim_{n\to+\infty}\left[\operatorname{E}\left(\sum_{i=-n}^{n}a_i\varepsilon_{t-i}\right)\right]=0 \end{equation*}\]

对\(t,s\in\mathbb{Z}\)定义：

\[\begin{equation*} \varphi_n=\sum_{i=-n}^{n}a_i\varepsilon_{t-i},\quad\psi_n=\sum_{j=-n}^{n}a_j\varepsilon_{s-j} \end{equation*}\]

则有\(\varphi_n\psi_n\to X_tX_s\)，因为对任意的\(t,s\in\mathbb{Z}^{}\)，\(X_t\;\)a.e.有限，所以\(X_tX_s\;\)a.e.有限。由性质 5.4.2(4)(10)可得：

\[\begin{align*} \operatorname{E}\left(\sum_{i=-\infty}^{+\infty}\sum_{j=-\infty}^{+\infty}|a_ia_j\varepsilon_{t-i}\varepsilon_{s-j}|\right)=\sum_{i=-\infty}^{+\infty}\sum_{j=-\infty}^{+\infty}|a_ia_j|\operatorname{E}(|\varepsilon_{t-i}\varepsilon_{s-j}|) \end{align*}\]

由不等式 4可得：

\[\begin{equation*} \operatorname{E}(|\varepsilon_{t-i}\varepsilon_{s-j}|)=\Big|\operatorname{E}(|\varepsilon_{t-i}\varepsilon_{s-j}|)\Big|\leqslant\sqrt{\operatorname{E}(\varepsilon_{t-i}^2)\operatorname{E}(\varepsilon_{s-j}^2)}=\sigma^2 \end{equation*}\]

于是：

\[\begin{equation*} \operatorname{E}\left(\sum_{i=-\infty}^{+\infty}\sum_{j=-\infty}^{+\infty}|a_ia_j\varepsilon_{t-i}\varepsilon_{s-j}|\right)\leqslant\sigma^2\sum_{i=-\infty}^{+\infty}\sum_{j=-\infty}^{+\infty}|a_ia_j|=\sigma^2\left(\sum_{i=-\infty}^{+\infty}|a_i|\right)^2<+\infty \end{equation*}\]

取控制函数\(\sum\limits_{i=-\infty}^{+\infty}\sum\limits_{j=-\infty}^{+\infty}|a_ia_j\varepsilon_{t-i}\varepsilon_{s-j}|\)，由定理 5.25和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Cov}(X_t,X_s)&=\operatorname{E}(X_tX_s)=\operatorname{E}\left(\lim_{n\to+\infty}\varphi_n\psi_n\right)=\lim_{n\to+\infty}\operatorname{E}(\varphi_n\psi_n) \\ &=\lim_{n\to+\infty}\operatorname{E}\left[\left(\sum_{i=-n}^{n}a_i\varepsilon_{t-i}\right)\left(\sum_{j=-n}^{n}a_j\varepsilon_{s-j}\right)\right] \\ &=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{i=-n}^{n}\sum_{j=-n}^{n}a_ia_j\varepsilon_{t-i}\varepsilon_{s-j}\right) \\ &=\lim_{n\to+\infty}\left[\sum_{i=-n}^{n}\sum_{j=-n}^{n}a_ia_j\operatorname{E}(\varepsilon_{t-i}\varepsilon_{s-j})\right] \\ &=\sum_{i=-\infty}^{+\infty}a_ia_{i-(t-s)}\sigma^2=\sigma^2\sum_{i=-\infty}^{+\infty}a_ia_{i+(t-s)} \end{align*}\]

上式最后一步是因为\(t-i=s-j\)时期望才不为\(0\)，并且\(n\)是逐渐变大趋于无穷，所以也不用考虑\(n\)为定值时\(t,s\)相差过大导致索引越界的问题。由协方差公式可以看出其只与\(t-s\)相关。

注意到：

\[\begin{equation*} \operatorname{Var}(X_t)=\sigma^2\sum_{i=-\infty}^{+\infty}a_i^2 \end{equation*}\]

因为\(l^1\subset l^2\)，\(\{a_n\}\in l^1\)，所以上式也收敛。

综上，\(\{X_t\}\)是一个平稳序列。 ◻

17.1.2.5 线性平稳序列

Definition 17.14. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)，\(\{a_n\}\in l^2\)。称：

\[\begin{equation*} X_t=\sum_{i=-\infty}^{+\infty}a_i\varepsilon_{t-i} \end{equation*}\]

构成的序列\(\{X_t\}\)为线性平稳序列（linearly stationary series）。

一

Property 17.1.4. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)，\(\{a_n\}\in l^2\)。线性平稳序列：

\[\begin{equation*} X_t=\sum_{i=-\infty}^{+\infty}a_i\varepsilon_{t-i} \end{equation*}\]

具有如下性质：

1. 线性平稳序列是平稳序列，且有：

   \[\begin{equation*} \operatorname{E}(X_t)=0,\;\gamma(n)=\sigma^2\sum_{i=-\infty}^{+\infty}a_ia_{i+n} \end{equation*}\]

2. 对于自协方差函数\(\gamma(n)\)，有：

   \[\begin{equation*} \lim_{n\to\infty}\gamma(n)=0 \end{equation*}\]

3. 线性平稳序列的谱密度为（\(\{a_n\}\)为实数列）：

   \[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=-\infty}^{+\infty}a_je^{ij\lambda}\right|^2,\quad\lambda\in[-\pi,\pi] \end{equation*}\]

4. 自协方差矩阵\(\Gamma_n\)是正定矩阵；

证明. (1)在\(L^2\)空间中定义内积\((X,Y)=\operatorname{E}(XY)\)，定义：

\[\begin{equation*} \varphi_n=\sum_{i=-n}^{n}a_i\varepsilon_{t-i} \end{equation*}\]

则对\(m<n,\;n\to+\infty\)有：

\[\begin{equation*} ||\varphi_n-\varphi_m||^2=\left\|\sum_{i=m+1}^{n}a_i\varepsilon_{t-i}+\sum_{i=-n}^{-m-1}a_i\varepsilon_{t-i}\right\|^2=\sigma^2\left(\sum_{i=m+1}^{n}a_i^2+\sum_{i=-n}^{-m-1}a_i^2\right)\to0 \end{equation*}\]

由定理 5.31可知\(X_t\in L_2\)。由内积的连续性和性质 5.4.3(6)可得：

\[\begin{gather*} \operatorname{E}(X_t)=(X_t,1)=\lim_{n\to+\infty}(\varphi_n,1)=\lim_{n\to+\infty}\operatorname{E}(\varphi_n)=0 \\ \begin{aligned} \operatorname{Cov}(X_t,X_s)&=\operatorname{E}(X_tX_s)=\lim_{n\to+\infty}\left(\sum_{i=-n}^{n}a_i\varepsilon_{t-i},\sum_{i=-n}^{n}a_i\varepsilon_{s-i}\right) \\ &=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{i=-n}^{n}a_i\varepsilon_{t-i}\sum_{j=-n}^{n}a_j\varepsilon_{s-j}\right)=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{i=-n}^{n}\sum_{j=-n}^{n}a_ia_j\varepsilon_{t-i}\varepsilon_{s-j}\right) \\ &=\sigma^2\sum_{i=-\infty}^{+\infty}a_ia_{i+(t-s)} \end{aligned} \end{gather*}\]

上式倒数第二步到最后一步和定理 17.12中是一样的，同时平稳性的分析也与之一样，故省略。

(2)由不等式 1可得：

\[\begin{align*} |\gamma(n)| &=\sigma^2\Bigl|\sum_{i=-\infty}^{+\infty}a_ia_{i+n}\Bigr| \leqslant\sigma^2\sum_{i=-\infty}^{+\infty}|a_ia_{i+n}| \\ &=\sigma^2\sum_{|i|\leqslant n/2}|a_i||a_{i+n}|+\sigma^2\sum_{|i|> n/2}|a_i||a_{i+n}| \\ &\leqslant\sigma^2\left(\sum_{|i|\leqslant n/2}a_i^2\sum_{|i|\leqslant n}a_{i+n}^2\right)^\frac{1}{2}+\sigma^2\left(\sum_{|i|>n/2}a_i^2\sum_{|i|>n}a_{i+n}^2\right)^\frac{1}{2} \\ &\leqslant\sigma^2\left(\sum_{i=-\infty}^{+\infty}a_i^2\sum_{|i|\leqslant n/2}a_{i+n}^2\right)^\frac{1}{2}+\sigma^2\left(\sum_{i=-\infty}^{+\infty}a_i^2\sum_{|i|>n/2}a_{i+n}^2\right)^\frac{1}{2} \end{align*}\]

注意到\(|i|\leqslant\dfrac{n}{2}\)时\(\dfrac{n}{2}\leqslant i+n\leqslant\dfrac{3n}{2}\)，所以有：

\[\begin{equation*} \sum_{|i|\leqslant n/2}a_{i+n}^2\leqslant\sum_{|i|>n/2}a_{i}^2 \end{equation*}\]

结合\(\{a_n\}\in l^2\)即可得：

\[\begin{equation*} |\gamma(n)|\leqslant2\sigma^2\left(\sum_{i=-\infty}^{+\infty}a_i^2\sum_{|i|>n/2}a_{i}^2\right)^\frac{1}{2}=2\sigma^2\left(\sum_{i=-\infty}^{+\infty}a_i^2\right)^{\frac{1}{2}}\left(\sum_{|i|>n/2}^{}a_{i}^2\right)^{\frac{1}{2}}\to0 \end{equation*}\]

(3)设随机变量\(Y\)在\([-\pi,\pi]\)上服从均匀分布，定义\(\varepsilon_n=e^{inY},\;n\in\mathbb{Z}\)，于是有：

\[\begin{gather*} \begin{aligned} \operatorname{E}(\varepsilon_n)&=\int_{[-\pi,\pi]}\frac{1}{2\pi}e^{iny}\mathop{}\!\mathrm{d}y=\frac{e^{in\pi}-e^{-in\pi}}{2\pi in} \\ &=\frac{\cos(n\pi)+i\sin(n\pi)-\cos(-n\pi)-i\sin(-n\pi)}{2\pi in} \\ &=\frac{2i\sin(n\pi)}{2\pi in}=0,\quad n\ne0 \end{aligned} \\ \operatorname{E}(\varepsilon_n)=\int_{[-\pi,\pi]}\frac{1}{2\pi}\mathop{}\!\mathrm{d}y=1,\quad n=0 \\ \begin{aligned} \operatorname{E}(\varepsilon_n\overline{\varepsilon}_m)&=\operatorname{E}(e^{i(n-m)Y})=\int_{[-\pi,\pi]}\frac{1}{2\pi}e^{i(n-m)y}\mathop{}\!\mathrm{d}y=\frac{e^{i(n-m)\pi}-e^{-i(n-m)\pi}}{2\pi i(n-m)} \\ &=\frac{\cos[(n-m)\pi]+i\sin[(n-m)\pi]-\cos[-(n-m)\pi]-i\sin[-(n-m)\pi]}{2\pi i(n-m)} \\ &=\frac{2i\sin[(n-m)\pi]}{2\pi i(n-m)}=0,\quad n\ne m \end{aligned} \\ \operatorname{E}(\varepsilon_n\overline{\varepsilon}_m)=\operatorname{E}(e^{i(n-m)y})=\int_{[-\pi,\pi]}\frac{1}{2\pi}\mathop{}\!\mathrm{d}y=1,\quad n=m \end{gather*}\]

即：

\[\begin{equation*} \operatorname{E}(\varepsilon_n)=\delta_n,\quad\operatorname{E}(\varepsilon_n\overline{\varepsilon}_m)=\delta_{n-m},\qquad n,m\in\mathbb{Z}^{} \end{equation*}\]

令：

\[\begin{equation*} Z_n=\sum_{j=-\infty}^{+\infty}a_j\varepsilon_{n-j}=\sum_{j=-\infty}^{+\infty}a_je^{i(n-j)Y},\quad n\in\mathbb{Z}^{} \end{equation*}\]

由内积的连续性和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{E}(Z_n)&=(Z_n,1)=\left(\sum_{j=-\infty}^{+\infty}a_j\varepsilon_{n-j},1\right)=\left[\lim_{k\to+\infty}\left(\sum_{j=k}^{-k}a_j\varepsilon_{n-j}\right),1\right] \\ &=\lim_{k\to+\infty}\left(\sum_{j=-k}^{k}a_j\varepsilon_{n-j},1\right)=\lim_{k\to+\infty}\operatorname{E}\left(\sum_{j=-k}^{k}a_j\varepsilon_{n-j}\right) \\ &=\lim_{k\to+\infty}\left[\sum_{j=-k}^{k}\operatorname{E}(a_j\varepsilon_{n-j})\right]=a_n \end{align*}\]

\[\begin{align*} \operatorname{E}(Z_n\overline{Z}_m)&=(Z_n,Z_m)=\left(\sum_{j=-\infty}^{+\infty}a_j\varepsilon_{n-j},\sum_{j=-\infty}^{+\infty}a_j\varepsilon_{m-j}\right) \\ &=\left[\lim_{k\to+\infty}\left(\sum_{j=-k}^{k}a_j\varepsilon_{n-j}\right),\lim_{k\to+\infty}\left(\sum_{j=-k}^{k}a_j\varepsilon_{m-j}\right)\right] \\ &=\lim_{k\to+\infty}\left(\sum_{j=-k}^{k}a_j\varepsilon_{n-j},\sum_{j=-k}^{k}a_j\varepsilon_{m-j}\right)=\lim_{k\to+\infty}\operatorname{E}\left(\sum_{j=-k}^{k}a_j\varepsilon_{n-j}\sum_{l=-k}^{k}a_l\varepsilon_{m-l}\right) \\ &=\lim_{k\to+\infty}\operatorname{E}\left(\sum_{j=-k}^{k}\sum_{l=-k}^{k}a_j\varepsilon_{n-j}a_l\varepsilon_{m-l}\right)=\sum_{j=-\infty}^{+\infty}a_ja_{j+(n-m)} \end{align*}\]

另一方面又有：

\[\begin{align*} \operatorname{E}(Z_n\overline{Z}_m)&=\operatorname{E}\left[\left(\sum_{j=-\infty}^{+\infty}a_je^{i(n-j)Y}\right)\left(\sum_{k=-\infty}^{+\infty}a_ke^{-i(m-k)Y}\right)\right] \\ &=\frac{1}{2\pi}\int_{[-\pi,\pi]}\left(\sum_{j=-\infty}^{+\infty}a_je^{i(n-j)y}\right)\left(\sum_{k=-\infty}^{+\infty}a_ke^{-i(m-k)y}\right)\mathop{}\!\mathrm{d}y \\ &=\frac{1}{2\pi}\int_{[-\pi,\pi]}\left(\sum_{j=-\infty}^{+\infty}a_je^{-ijy}\right)\left(\sum_{k=-\infty}^{+\infty}a_ke^{iky}\right)e^{i(n-m)y}\mathop{}\!\mathrm{d}y \\ &\frac{1}{2\pi}=\int_{[-\pi,\pi]}\left|\sum_{j=-\infty}^{+\infty}a_je^{-ijy}\right|^2e^{i(n-m)y}\mathop{}\!\mathrm{d}y \end{align*}\]

所以有：

\[\begin{gather*} \sum_{j=-\infty}^{+\infty}a_ja_{j+(n-m)}=\frac{1}{2\pi}\int_{[-\pi,\pi]}\left|\sum_{j=-\infty}^{+\infty}a_je^{-ijy}\right|^2e^{i(n-m)y}\mathop{}\!\mathrm{d}y \\ \sigma^2\sum_{j=-\infty}^{+\infty}a_ja_{j+n}=\frac{\sigma^2}{2\pi}\int_{[-\pi,\pi]}\left|\sum_{j=-\infty}^{+\infty}a_je^{-ijy}\right|^2e^{iny}\mathop{}\!\mathrm{d}y \end{gather*}\]

由(1)可得：

\[\begin{equation*} \gamma(n)=\frac{\sigma^2}{2\pi}\int_{[-\pi,\pi]}\left|\sum_{j=-\infty}^{+\infty}a_je^{-ijy}\right|^2e^{iny}\mathop{}\!\mathrm{d}y \end{equation*}\]

所以有：

\[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=-\infty}^{+\infty}a_je^{-ij\lambda}\right|^2=\frac{\sigma^2}{2\pi}\left|\sum_{j=-\infty}^{+\infty}a_je^{ij\lambda}\right|^2 \end{equation*}\]

(4)由(3)和定理 17.7立即可得。 ◻

17.2 线性差分方程理论

17.2.1 差分与位移

Definition 17.15. 设\(f(x)\)是定义在\(\mathbb{R}^{}\)上的函数，称\(\Delta f(x)=f(x)-f(x-1)\)为\(f(x)\)在\(x\)处的\(1\)阶差分，称\(\Delta\)为差分算子，对\(n-1\)阶差分后的函数再进行一次\(1\)阶差分运算称为\(n\)阶差分，记\(\Delta^nf(x)\)为\(f(x)\)的\(n\)阶差分，则：

\[\begin{equation*} \Delta^nf(x)=\Delta^{n-1}f(x)-\Delta^{n-1}f(x-1) \end{equation*}\]

将\(\mathcal{B}f(x)=f(x-1)\)称为\(f(x)\)在\(x\)处的\(1\)步位移，称\(\mathcal{B}\)为位移算子，对\(n-1\)步位移后的函数再进行一次\(1\)步位移运算称为\(n\)步位移，记\(\mathcal{B}^nf(x)\)为\(f(x)\)的\(n\)步位移，则：

\[\begin{equation*} \mathcal{B}^nf(x)=f(x-n) \end{equation*}\]

Property 17.2.1. 设\(f(x),g(x)\)为定义在\(\mathbb{R}^{}\)上的函数，\(\alpha,\beta\)是任意常数，\(\mathcal{B}\)为位移算子。差分算子\(\Delta\)和位移算子\(\mathcal{B}\)具有如下性质：

1. 差分算子是线性算子，即：

   \[\begin{equation*} \Delta[\alpha f(x)+\beta g(x)]=\alpha\Delta f(x)+\beta\Delta g(x) \end{equation*}\]

2. \(\Delta[f(x)g(x)]=\Delta f(x)g(x)+\Delta g(x)\mathcal{B}f(x)\)；

3. \(\Delta\left[\dfrac{f(x)}{g(x)}\right]=\dfrac{\Delta f(x)\mathcal{B}g(x)-\Delta g(x)\mathcal{B}f(x)}{g(x)\mathcal{B}g(x)}\)；

4. \(\mathcal{B}\alpha=\alpha\)；

5. 位移算子是线性算子，即：

   \[\begin{equation*} \mathcal{B}[\alpha f(x)+\beta g(x)]=\alpha\mathcal{B}f(x)+\beta\mathcal{B}g(x) \end{equation*}\]

6. 对于多项式\(\varphi(x)=\sum\limits_{i=0}^{m}a_ix^i,\;\psi(x)=\sum\limits_{i=0}^{n}b_ix^i\)的乘积\(A(x)=\varphi(x)\psi(x)\)，有：

   \[\begin{equation*} A(\mathcal{B})f(x)=\varphi(\mathcal{B})[\psi(\mathcal{B})f(x)]=\psi(\mathcal{B})[\varphi(\mathcal{B})f(x)] \end{equation*}\]

7. 差分算子与位移算子具有如下关系：

   \[\begin{gather*} \Delta^n=(I-\mathcal{B})^n=\sum_{i=0}^{n}\binom{n}{i}(-1)^i\mathcal{B}^i \\ \mathcal{B}^n=(I-\Delta)^n=\sum_{i=0}^{n}\binom{n}{i}(-1)^i\Delta^i \\ \Delta\mathcal{B}=\mathcal{B}\Delta \end{gather*}\]

证明. (1)(4)(5)(7)是显然的。

(2)注意到：

\[\begin{align*} \Delta[f(x)g(x)]&=f(x)g(x)-f(x-1)g(x-1) \\ &=f(x)g(x)-f(x-1)g(x)+g(x)f(x-1)-g(x-1)f(x-1) \\ &=[f(x)-f(x-1)]g(x)+[g(x)-g(x-1)]f(x-1) \\ &=\Delta f(x)g(x)+\Delta g(x)\mathcal{B}f(x) \end{align*}\]

(3)注意到：

\[\begin{align*} \Delta\left[\frac{f(x)}{g(x)}\right] &=\frac{f(x)}{g(x)}-\frac{f(x-1)}{g(x-1)} =\frac{f(x)g(x-1)-f(x-1)g(x)}{g(x)g(x-1)} \\ &=\frac{f(x)g(x-1)-f(x-1)g(x-1)+f(x-1)g(x-1)-f(x-1)g(x)}{g(x)\mathcal{B}g(x)} \\ &=\frac{[f(x)-f(x-1)]g(x-1)-[g(x)-g(x-1)]f(x-1)}{g(x)\mathcal{B}g(x)} \\ &=\frac{\Delta f(x)\mathcal{B}g(x)-\Delta g(x)\mathcal{B}f(x)}{g(x)\mathcal{B}g(x)} \end{align*}\]

(6)注意到：

\[\begin{equation*} A(x)=\varphi(x)\psi(x)=\left(\sum_{i=0}^{m}a_ix^i\right)\left(\sum_{i=0}^{n}b_ix^i\right)=\sum_{i=0}^{m}\sum_{j=0}^{n}a_ib_j x^{i+j} \end{equation*}\]

所以：

\[\begin{align*} A(\mathcal{B})f(x)&=\sum_{i=0}^{m}\sum_{j=0}^{n}a_ib_j\mathcal{B}^{i+j}f(x) =\sum_{i=0}^{m}\sum_{j=0}^{n}a_ib_j \mathcal{B}^i\mathcal{B}^j f(x) \\ &=\sum_{i=0}^{m}a_i\mathcal{B}^i\left[\sum_{j=0}^{n}b_j\mathcal{B}^j f(x)\right] =\varphi(\mathcal{B})[\psi(\mathcal{B})f(x)] \end{align*}\]

同理可证\(A(\mathcal{B})f(x)=\psi(\mathcal{B})[\varphi(\mathcal{B})f(x)]\)。 ◻

17.2.2 线性差分方程

Definition 17.16. 称方程：

\[\begin{equation*} x_m+a_1(m)x_{m-1}+a_2(m)x_{m-2}+\cdots+a_n(m)x_{m-n}=f(m) \end{equation*}\]

为关于\(\{x_m\}\)的\(n\)阶线性差分方程，其中\(f(x),a_1(x),a_2(x),\dots,a_n(x)\)为定义在\(\mathbb{Z}^{}\)上的函数，且\(a_n(x)\ne0\)在\(x\in\mathbb{Z}^{}\)恒成立。当\(f(x)=0\)时，称上述方程为关于\(\{x_m\}\)的\(n\)阶齐次线性差分方程。

note 17.1. 这里的线性指的是方程关于\(\{x_m\}\)是线性的。\(x_m-\sin(x_{m-1})\)不是一个线性方程。

Derivation 17.1. 定义算子：

\[\begin{equation*} L(x_m)=I+a_1(m)\mathcal{B}x_m+a_2(m)\mathcal{B}^2x_m+\cdots+a_n(m)\mathcal{B}^nx_m \end{equation*}\]

则线性差分方程可表示为：

\[\begin{equation*} L(x_m)=f(m) \end{equation*}\]

Theorem 17.13. 初值问题：

\[\begin{equation*} L(x_m)=f(m),\;x_0=y_0,\;x_1=y_1,\;\cdots,\;x_{n-1}=y_{n-1} \end{equation*}\]

有唯一的解。

证明. 注意到关系：

\[\begin{gather*} x_m+a_1(m)x_{m-1}+a_2(m)x_{m-2}+\cdots+a_n(m)x_{m-n}=f(m),\;\forall\;m\geqslant n \\ x_{m}=-\frac{x_{m+n}}{a_n(m+n)}-\frac{a_1(m)x_{m+n-1}}{a_n(m+n)}-\cdots-\frac{a_{n-1}x_{m+1}}{a_n(m+n)}+\frac{f(m)}{a_n(m+n)},\;\forall\;m<0 \end{gather*}\]

于是当如上\(n\)个初始值给定时，\(\{x_m\}\)的所有值都可以由上述递推关系唯一得到。 ◻

Definition 17.17. 若存在不全为\(0\)的常数\(c_1, c_2, \dots, c_{k}\)使得序列\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)满足：

\[\begin{equation*} c_1x_m^{(1)}+c_2x_m^{(2)}+\cdots+c_kx_m^{(k)}=0,\;\forall\;m\in\mathbb{Z}^{} \end{equation*}\]

则称这些序列线性相关，否则就称这些序列线性无关。

Definition 17.18. 称矩阵：

\[\begin{equation*} C(m)= \begin{pmatrix} x_m^{(1)} & x_m^{(2)} & \cdots & x_m^{(k)} \\ \mathcal{B}x_m^{(1)} & \mathcal{B}x_m^{(2)} & \cdots & \mathcal{B}x_m^{(k)} \\ \vdots & \vdots & \ddots & \vdots \\ \mathcal{B}^{k-1}x_m^{(1)} & \mathcal{B}^{k-1}x_m^{(2)} & \cdots & \mathcal{B}^{k-1}x_m^{(k)} \\ \end{pmatrix} \end{equation*}\]

为序列\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)的Casorati矩阵，将\(\det C(m)\)称为其Casorati行列式。

Theorem 17.14. 若序列\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)线性相关，则其Casorati行列式\(\det C(m)\)在\(m\in\mathbb{Z}^{}\)上恒为\(0\)。

证明. 因为\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)线性相关，所以存在不全为\(0\)的常数\(c_1, c_2, \dots, c_{k}\)使得

\[\begin{equation*} c_1x_m^{(1)}+c_2x_m^{(2)}+\cdots+c_kx_m^{(k)}=0,\;\forall\;m\in\mathbb{Z}^{} \end{equation*}\]

于是以\(C(m)\)为系数矩阵的线性方程组有非零解。由链接线性方程组理论可知\(\det C(m)=0\)在\(m\in\mathbb{Z}^{}\)上恒成立。 ◻

推论 18.1 Corollary 17.1. 若存在\(m\in\mathbb{Z}^{}\)使得\(\det C(m)\ne0\)，则序列\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)线性无关。

17.2.2.1 齐次线性差分方程解的一般理论

Theorem 17.15. 如果\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)是\(n\)阶常系数齐次线性差分方程\(L(x_m)=0\)的\(k\)个解，则它们的线性组合：

\[\begin{equation*} \{x_m=c_1x_m^{(1)}+c_2x_m^{(2)}+\cdots+c_kx_m^{(k)}\} \end{equation*}\]

也是解，其中\(c_i\)为任意常数，\(i=1,2,\dots,k\)。

证明. 因为\(x_m^{(j)},\;j=1,2,\dots,k\)是\(L(x_m)=0\)的解，所以：

\[\begin{equation*} x_m^{(j)}+a_{1}x_{m-1}^{(j)}+\cdots+a_nx_{m-n}^{(j)}=0 \end{equation*}\]

于是：

\[\begin{equation*} \sum_{j=1}^{k}x_m^{(j)}+a_1\sum_{j=1}^{k}x_{m-1}^{(j)}+\cdots+a_n\sum_{j=1}^{k}x_{m-n}^{j}=0 \end{equation*}\]

即：

\[\begin{equation*} x_m+a_{1}x_{m-1}+\cdots+a_nx_{m-n}=0 \end{equation*}\]

◻

Theorem 17.16. \(n\)阶齐次线性差分方程\(L(x_m)=0\)一定存在\(n\)个线性无关的解。

证明. 由定理 17.13可知\(L(x_m)=0\)满足初值条件：

\[\begin{equation*} \begin{cases} x_0=1,\;x_1=0,\;\dots,\;x_{n-1}=0 \\ x_0=0,\;x_1=1,\;\dots,\;x_{n-1}=0 \\ \cdots\cdots\cdots \\ x_0=0,\;x_1=0,\;\dots,\;x_{n-1}=1 \\ \end{cases} \end{equation*}\]

的解一定存在，由推论 17.1可知这\(n\)个解线性无关。 ◻

Theorem 17.17. 设\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)是\(n\)阶齐次线性差分方程\(L(x_m)=0\)的\(n\)个线性无关的解，则方程的通解可以表示为：

\[\begin{equation*} x_m=c_1x_m^{(1)}+c_2x_m^{(2)}+\cdots+c_nx_m^{(n)},\;\forall\;m\in\mathbb{Z}^{} \end{equation*}\]

其中\(c_1, c_2, \dots, c_{n}\)是任意常数。

证明. 因为\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)线性无关，由定理 17.14可知存在\(m\in\mathbb{Z}^{}\)使得Casorati行列式\(\det C(m)\ne0\)，于是此时的Casorati矩阵\(C(n)\)可逆。任取\(L(x_m)=0\)的一个解\(\{y_m\}\)，则\(y_m,\mathcal{B}y_m,\dots,\mathcal{B}^{n-1}y_m\)是确定的数，于是关于\((c_1, c_2, \dots, c_{n})^{\top}\)的线性方程组：

\[\begin{equation*} \begin{pmatrix} x_m^{(1)} & x_m^{(2)} & \cdots & x_m^{(n)} \\ \mathcal{B}x_m^{(1)} & \mathcal{B}x_m^{(2)} & \cdots & \mathcal{B}x_m^{(n)} \\ \vdots & \vdots & \ddots & \vdots \\ \mathcal{B}^{n-1}x_m^{(1)} & \mathcal{B}^{n-1}x_m^{(2)} & \cdots & \mathcal{B}^{n-1}x_m^{(n)} \\ \end{pmatrix} \begin{pmatrix} c_1 \\ c_2 \\ \cdots \\ c_n \end{pmatrix}= \begin{pmatrix} y_m \\ \mathcal{B}y_m \\ \vdots \\ \mathcal{B}^{n-1}y_m \end{pmatrix} \end{equation*}\]

存在唯一解\((c^{\star}_1, c^{\star}_2, \dots, c^{\star}_{n})^{\top}\)，即在这\(n\)个位置处\(\{y_m\}\)可以由\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)线性表出。令：

\[\begin{equation*} z_m=c_1^{\star}x_m^{(1)}+c_2^{\star}x_m^{(2)}+\cdots+c_n^{\star}x_m^{(n)},\;\forall\;m\in\mathbb{Z}^{} \end{equation*}\]

则\(\{z_m\}\)在这\(n\)个位置处的值等于\(\{y_m\}\)对应位置上的值，且\(\{z_m\}\)可以由\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)线性表出。而由定理 17.13可知\(L(x_m)=0\)的解由任意的\(n\)个初始值唯一确定，于是\(\{y_m\}\)就是\(\{z_m\}\)，所以它也可以由\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)线性表出。由\(\{y_m\}\)的任意性，结论成立。 ◻

推论 18.2 Corollary 17.2. \(n\)阶齐次线性差分方程的所有解构成一个\(n\)维线性空间。

Definition 17.19. 称\(n\)阶齐次线性差分方程的任意\(n\)个线性无关的解为其基本解组。

17.2.2.2 非齐次线性差分方程解的一般理论

Theorem 17.18. \(n\)阶非齐次线性差分方程\(L(x_m)=f(m)\)任意两个解的差是\(n\)阶齐次线性差分方程\(L(x_m)=0\)的解。

Theorem 17.19. \(n\)阶非齐次线性差分方程\(L(x_m)=f(m)\)任意一个解与\(n\)阶齐次线性差分方程\(L(x_m)=0\)任意一个解的和还是\(L(x_m)=f(m)\)的解。

Theorem 17.20. 设\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)是\(n\)阶齐次线性差分方程\(L(x_m)=0\)的基本解组，\(\{y_m\}\)是\(n\)阶非齐次线性差分方程\(L(x_m)=f(m)\)的一个解，则\(L(x_m)=f(m)\)的通解可表示为：

\[\begin{equation*} x_m=y_m+c_1x_m^{(1)}+c_2x_m^{(2)}+\cdots+c_nx_m^{(n)},\;\forall\;m\in\mathbb{Z}^{} \end{equation*}\]

证明. 对任意的\(\{y_m\}\)，由定理 17.18和定理 17.17可知\(L(x_m)=f(m)\)的任意一个解可以表示为上述形式。由\(\{y_m\}\)的任意性可得出结论。 ◻

17.2.3 \(n\)阶常系数线性差分方程

Definition 17.20. 若\(n\)阶线性差分方程：

\[\begin{equation*} x_m+a_1(m)x_{m-1}+a_2(m)x_{m-2}+\cdots+a_n(m)x_{m-n}=f(m) \end{equation*}\]

中\(a_1(x),a_2(x),\dots,a_n(x)\)都是常数，则称上述方程为关于\(\{x_m\}\)的\(n\)阶常系数线性差分方程。

17.2.3.1 常系数齐次线性差分方程解的一般理论

Derivation 17.2. 取一个一阶常系数齐次线性差分方程\(x_m+a_1x_{m-1}=0\)，可以看出该方程的通解为\(x_m=C(-a_1)^m,\;\forall\;m\in\mathbb{Z}^{}\)，其中\(C\)为任意常数。受此启发，我们对于\(n\)阶常系数齐次线性差分方程寻找指数形式的解。

Definition 17.21. 称：

\[\begin{equation*} \lambda^n+a_1\lambda^{n-1}+a_2\lambda^{n-2}+\cdots+a_{n-1}\lambda+a_n=0 \end{equation*}\]

为\(n\)阶常系数齐次线性差分方程：

\[\begin{equation*} x_m+a_1x_{m-1}+a_2x_{m-2}+\cdots+a_nx_{m-n}=0 \end{equation*}\]

的特征方程，等号左边关于\(\lambda\)的多项式被称为特征多项式，记为\(l(\lambda)\)。

Theorem 17.21. 设\(\lambda_1, \lambda_2, \dots, \lambda_{s}\)是\(n\)阶常系数齐次线性差分方程\(L(x_m)=0\)的特征方程\(l(\lambda)=0\)的解，其重数分别为\(r_1, r_2, \dots, r_{s}\)，则\(L(x_m)=0\)的通解可以表示为：

\[\begin{equation*} x_m=\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}m^{j}\lambda_i^m,\;\forall\;m\in\mathbb{Z}^{} \end{equation*}\]

其中\(c_{ij},\;i=1,2,\dots,s,\;j=0,1,\dots,r_i-1\)为常数。

证明. 情况一：此时特征方程有\(n\)个互不相同的实根，分别设为\(\lambda_1, \lambda_2, \dots, \lambda_{n}\)。将\(\{\lambda_i^m\},\;i=1,2,\dots,n\)代入\(L(x_m)=0\)中可以发现：

\[\begin{align*} &\lambda_i^m+a_1\lambda_i^{m-1}+a_2\lambda_i^{m-2}+\cdots+a_n\lambda_i^{m-n} \\ =&\lambda_i^{m-n}(\lambda_i^n+a_1\lambda_i^{n-1}+a_2\lambda_i^{n-2}+\cdots+a_n)=0 \end{align*}\]

所以它们就是\(L(x_m)=0\)的解。由\(n\)阶线性差分方程的定义，\(a_n\ne0\)，所以\(\lambda_i\ne0\)。于是有：

\[\begin{equation*} \det C(0)= \begin{vmatrix} 1 & 1 & \cdots & 1 \\ \lambda_1^{-1} & \lambda_2^{-1} & \cdots & \lambda_n^{-1} \\ \lambda_1^{-2} & \lambda_2^{-2} & \cdots & \lambda_n^{-2} \\ \vdots & \vdots & \ddots & \vdots \\ \lambda_1^{-(n-1)} & \lambda_2^{-(n-1)} & \cdots & \lambda_n^{-(n-1)} \\ \end{vmatrix} =\prod_{1\leqslant i<j\leqslant n}(\lambda_j-\lambda_i)\ne0 \end{equation*}\]

由推论 17.1可知这\(n\)个解线性无关，所以构成一个基本解组。

情况二：此时特征方程存在重实根。假设根\(\lambda_i\)的重数为\(r_i\)，代入可知\(\{\lambda_i^m\}\)是\(L(x_m)=0\)的解。下证明对\(1\leqslant b\leqslant r_i-1\)且\(b\in\mathbb{N}^+\)，\(\{m^b\lambda_i^m\}\)都是\(L(x_m)=0\)的解。设\(a_0=1\)，则：

\[\begin{align*} &m^{b}\lambda_i^m+a_1(m-1)^{b}\lambda_i^{m-1}+\cdots+a_{n}(m-n)^{b}\lambda_i^{m-n} \\ =&\sum_{k=0}^{n}a_k(m-k)^b\lambda_i^{m-k} =\sum_{k=0}^{n}a_k\sum_{j=0}^{b}\binom{b}{j}m^j(-k)^{b-j}\lambda_i^{m-k} \\ =&\sum_{k=0}^{n}\sum_{j=0}^{b}a_k\binom{b}{j}m^j(-k)^{b-j}\lambda_i^{m-k} =\sum_{j=0}^{b}\sum_{k=0}^{n}a_k\binom{b}{j}m^j(-k)^{b-j}\lambda_i^{m-k} \\ =&\sum_{j=0}^{b}\binom{b}{j}m^j\sum_{k=0}^{n}a_k(-k)^{b-j}\lambda_i^{m-k}=\lambda_i^m\sum_{j=0}^{b}\binom{b}{j}m^j\sum_{k=0}^{n}a_k(-k)^{b-j}\lambda_i^{-k} \end{align*}\]

取函数\(f(\lambda_i)=\sum\limits_{k=0}^{n}a_k\lambda_i^{-k}\)，则：

\[\begin{equation*} \sum_{k=0}^{n}a_k(-k)^{b-j}\lambda_i^{-k} \end{equation*}\]

可以表示为\(f(\lambda_i),f'(\lambda_i),\dots,f^{(b-j)}(\lambda_i)\)的线性组合。考虑特征多项式\(l(\lambda_i)\)：

\[\begin{equation*} l(\lambda_i)=\lambda_i^n+a_1\lambda_i^{n-1}+a_2\lambda_i^{n-2}+\cdots+a_{n-1}\lambda_i+a_n=\sum_{k=0}^{n}a_k\lambda_i^{n-k}=\lambda_i^nf(\lambda_i) \end{equation*}\]

于是有：

\[\begin{equation*} f(\lambda_i)=\frac{l(\lambda_i)}{\lambda_i^n} \end{equation*}\]

所以\(f^{(b-j)}(\lambda_i)\)可以由\(l(\lambda_i),l'(\lambda_i),\dots,l^{(b-j)}(\lambda_i)\)线性表出。于是：

\[\begin{align*} &m^{b}\lambda_i^m+a_1(m-1)^{b}\lambda_i^{m-1}+\cdots+a_{n}(m-n)^{b}\lambda_i^{m-n} \\ =&\lambda_i^m\sum_{j=0}^{b}\binom{b}{j}m^j\sum_{k=0}^{n}a_k(-k)^{b-j}\lambda_i^{-k}=\lambda_i^m\sum_{j=0}^{b}\binom{b}{j}m^jg[l(\lambda_i),l'(\lambda_i),\dots,l^{(b-j)}(\lambda_i)] \end{align*}\]

其中\(g\)是\(l(\lambda_i),l'(\lambda_i),\dots,l^{(b-j)}(\lambda_i)\)的线性函数。因为\(\lambda_i\)是特征方程的\(r_i\)重根，所以：

\[\begin{equation*} l(\lambda)=(\lambda-\lambda_i)^{r_i}h(\lambda)=0 \end{equation*}\]

求导可知\(l(\lambda_i)=l'(\lambda_i)=\cdots=l^{(b-j)}(\lambda_i)=0\)，所以\(g=0\)，即：

\[\begin{equation*} m^{b}\lambda_i^m+a_1(m-1)^{b}\lambda_i^{m-1}+\cdots+a_{n}(m-n)^{b}\lambda_i^{m-n}=0 \end{equation*}\]

所以\(\{m^b\lambda_i^m\},\;b=0,1,2,\dots,r_i-1\)都是\(L(x_m)=0\)的解。

若\(\{m^b\lambda_i^m\},\;b=0,1,2,\dots,r_i-1\)线性相关，则存在不全为\(0\)的\(c_1, c_2, \dots, c_{r_i}\)使得：

\[\begin{equation*} c_1\lambda_i^m+c_2m\lambda_i^m+\cdots+c_{r_i}m^{r_i-1}\lambda_i^m=\lambda_i^m(c_1+c_2m+\cdots+c_{r_i}m^{r_i-1})=0 \end{equation*}\]

对任意的\(m\in\mathbb{Z}\)成立。由\(n\)阶线性差分方程的定义，\(a_n\ne0\)，所以\(\lambda_i\ne0\)，于是需要上式中关于整数\(m\)的多项式恒等于\(0\)，此时应有\(c_1=c_2=\cdots=c_{r_i}=0\)，矛盾，所以\(\{m^b\lambda_i^m\},\;b=0,1,2,\dots,r_i-1\)线性无关。不同\(\lambda_i\)之间的线性无关性涉及到广义Vandermonde行列式，以后再写

情形三：此时特征方程存在一对共轭复根\(a+bi,a-bi\)，令：

\[\begin{equation*} \rho=\sqrt{a^2+b^2},\;\theta=\arctan\left(\frac{b}{a}\right) \end{equation*}\]

则：

\[\begin{gather*} (a+bi)^m=(\rho e^{i\theta})^m=\rho^m[\cos(m\theta)+i\sin(m\theta)],\;\forall\;m\in\mathbb{Z}^{} \\ (a-bi)^m=(\rho e^{-i\theta})^m=\rho^m[\cos(m\theta)-i\sin(m\theta)],\;\forall\;m\in\mathbb{Z}^{} \end{gather*}\]

都是\(L(x_m)\)的解。

综上可得出定理的结论。 ◻

17.2.3.2 常系数齐次线性差分方程解的收敛性

Derivation 17.3. 设\(\lambda_1, \lambda_2, \dots, \lambda_{s}\)为\(n\)阶常系数齐次线性差分方程\(L(x_m)=0\)的特征方程\(l(\lambda)=0\)的解。

(1)\(\;\lambda_i\)都在单位圆内：此时存在\(\alpha\)使得：

\[\begin{equation*} \min\{|\lambda_i|:i=1,2,\dots,s\}<\alpha<1 \end{equation*}\]

于是\(L(x_m)=0\)的任何解\(\{x_m\}\)满足：

\[\begin{equation*} |x_m|=\left|\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}m^{j}\lambda_i^m\right|\leqslant\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}|c_{ij}m^{j}|\;|\lambda_i^m|\leqslant\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}|c_{ij}m^{j}|\alpha^m \end{equation*}\]

由指数函数\(\alpha^m\)与幂函数\(m^j\)的收敛速度比较可得：

\[\begin{equation*} \lim_{m\to+\infty}|x_m|=0 \end{equation*}\]

此时称\(\{x_m\}\)以负指数收敛到\(0\)。

(2)\(\;\lambda_i\)在单位圆上：设\(\lambda_i=a+bi\)，由定理 17.21可知此时\(L(x_m)=0\)有解：

\[\begin{equation*} x_m=\cos(m\theta)+i\sin(m\theta),\;\theta=\arctan\left(\frac{b}{a}\right),\;\forall\;m\in\mathbb{Z}^{} \end{equation*}\]

当\(\theta=\dfrac{\pi}{4}\)时，这个解不收敛，是一个周期解。

(3)\(\;\lambda_i\)在单位圆外：显然此时存在发散于\(+\infty\)的解。

17.2.3.3 常系数非齐次线性差分方程解的一般理论

Theorem 17.22. 设\(\lambda_1, \lambda_2, \dots, \lambda_{s}\)是\(n\)阶常系数齐次线性差分方程\(L(x_m)=0\)的特征方程\(l(\lambda)=0\)的互异根，其重数分别为\(r_1, r_2, \dots, r_{s}\)，\(n\)阶常系数非齐次线性差分方程\(L(x_m)=f(m)\)的一个特解为\(\{y_m\}\)，则\(L(x_m)=f(m)\)的通解可以表示为：

\[\begin{equation*} x_m=y_m+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}m^{j}\lambda_i^m,\;\forall\;m\in\mathbb{Z}^{} \end{equation*}\]

其中\(c_{ij},\;i=1,2,\dots,s,\;j=0,1,\dots,r_i-1\)为常数。

证明. 由定理 17.20和定理 17.21可直接得到。 ◻

17.3 ARIMA

17.3.1 AR模型

Definition 17.22. 如果\(\{\varepsilon_t\}\)是\(\operatorname{WN}(0,\sigma^2)\)，实数\(a_1, a_2, \dots, a_{p}(a_p\ne0)\)使得多项式\(A(z)=0\)的根都在单位圆外：

\[\begin{equation*} A(z)=1-\sum_{i=1}^{p}a_iz^i\ne0,\quad\forall\;|z|\leqslant1 \end{equation*}\]

则称\(p\)阶常系数线性差分方程：

\[\begin{equation*} X_t=\sum_{i=1}^{p}a_iX_{t-i}+\varepsilon_t \end{equation*}\]

为\(p\)阶自回归模型，简记为\(\operatorname{AR}(p)\)模型。称满足\(\operatorname{AR}(p)\)模型的平稳时间序列\(\{X_t\}\)为\(\operatorname{AR}(p)\)序列，称\(a_1, a_2, \dots, a_{p}\)为\(\operatorname{AR}(p)\)模型的自回归系数，多项式\(A(z)=0\)的根都在单位圆外这一条件被称为稳定性条件，分别称\(A(z)\)和\(A(\mathcal{B})\)为\(\operatorname{AR}(p)\)模型的特征多项式和自回归系数多项式。可以用\(A(\mathcal{B})\)将模型改写为\(A(\mathcal{B})X_t=\varepsilon_t\)。

Derivation 17.4. \(A(z)=0\)的解为\(p\)阶常系数线性差分方程特征方程：

\[\begin{equation*} \lambda^p-a_1\lambda^{p-1}-\cdots-a_{p-1}\lambda-a_p=0 \end{equation*}\]

的解的倒数。取特征方程的任一根\(\lambda_j\)，则：

\[\begin{equation*} A\left(\frac{1}{\lambda_j}\right)=1-\sum_{i=1}^{p}a_i\frac{1}{\lambda_j^i}=\frac{1}{\lambda_j^p}(\lambda_j^p-a_1\lambda_j^{p-1}-\cdots-a_{p-1}\lambda_j-a_{p})=0 \end{equation*}\]

所以上述稳定性条件即为要求\(p\)阶常系数线性差分方程特征方程的根都在单位圆内。

Theorem 17.23. 设\(\operatorname{AR}(p)\)模型的特征多项式\(A(z)=0\)有\(s\)个互异根\(z_1, z_2, \dots, z_{s}\)，根的重数分别为\(r_1, r_2, \dots, r_{s}\)，\(1<\rho<\min\limits_i\{|z_i|\}\)，则：

1. \(\operatorname{AR}(p)\)模型的唯一平稳解是：

   \[\begin{equation*} X_t=\sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i} \end{equation*}\]

   其中\(\psi_i\)为\(A^{-1}(z)\)在\(\{z:|z|\leqslant\rho\}\)内展开的幂级数的系数，称之为Wold系数，\(\{\psi_n\}\in l^1\)。对\(j<0\)定义\(\psi_j=0\)，那么它具有递推公式：

   \[\begin{equation*} \psi_0=1,\quad\psi_j=\sum_{i=1}^{p}a_i\psi_{j-i},\;\forall\;j\geqslant1 \end{equation*}\]

2. \(\operatorname{AR}(p)\)模型的通解为：

   \[\begin{equation*} \sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i}+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t} \end{equation*}\]

   其中\(c_{ij}\)为任意常数；

3. \(\operatorname{AR}(p)\)模型的任一解都以负指数阶的速度收敛到平稳解，\(\min\limits_i{|z_i|}\)越大，收敛越快。

证明. (1)由复变函数的知识，\(A^{-1}(z)\)在\(\{z:|z|\leqslant\rho\}\)内解析，即\(A^{-1}(z)\)有如下展开：

\[\begin{equation*} A^{-1}(z)=\sum_{i=0}^{+\infty}\psi_iz^i,\quad|z|\leqslant\rho \end{equation*}\]

且这个级数是绝对收敛的。由绝对收敛性可知\(|\psi_iz^i|\to0\)，即\(|\psi_i|=o(\rho^{-i})\)，所以\(\{\psi_i\}\in l^1\)，由定理 17.12可知\(\{X_t\}\)是平稳序列。

令\(a_0=-1\)，对\(k<0\)定义\(\psi_k=0\)。注意到：

\[\begin{align*} A(\mathcal{B})X_t&=\left(1-\sum_{i=1}^{p}a_i\mathcal{B}^i\right)X_t=\left(-a_0-\sum_{i=1}^{p}a_i\mathcal{B}^i\right)X_t=-\sum_{i=0}^{p}a_i\mathcal{B}^iX_t \\ &=-\sum_{i=0}^{p}a_iX_{t-i}=-\sum_{i=0}^{p}a_{i}\sum_{j=0}^{+\infty}\psi_j\varepsilon_{t-i-j}=-\sum_{j=0}^{+\infty}\sum_{i=0}^{p}a_i\psi_j\varepsilon_{t-i-j} \\ &=-\sum_{j=0}^{+\infty}\sum_{i=0}^{p}a_i\psi_{j-i}\varepsilon_{t-j}=-\sum_{j=0}^{+\infty}\left(\sum_{i=0}^{p}a_i\psi_{j-i}\right)\varepsilon_{t-j} \end{align*}\]

因为\(\{\psi_i\}\in l^1\)，所以对\(|z|\leqslant1\)级数\(\sum\limits_{j=0}^{+\infty}\psi_jz^j\)是良定义的。由：

\[\begin{align*} 1&=A(z)A^{-1}(z)=\left(1-\sum_{i=1}^{p}a_iz^i\right)A^{-1}(z)=-\sum_{i=0}^{p}a_iz^i\sum_{j=0}^{+\infty}\psi_jz^j \\ &=-\sum_{i=0}^{p}\sum_{j=0}^{+\infty}a_iz^i\psi_jz^j=-\sum_{j=0}^{+\infty}\sum_{i=0}^{p}a_i\psi_jz^{i+j}=-\sum_{j=0}^{+\infty}\left(\sum_{i=0}^{p}a_i\psi_{j-i}\right)z^j \end{align*}\]

最后一步是求和换元后的结果。对比系数可得（递推公式）：

\[\begin{equation*} -\sum_{i=0}^{p}a_i\psi_{-i}=1,\quad-\sum_{i=0}^{p}a_i\psi_{j-i}=0,\;\forall\;j\geqslant1 \end{equation*}\]

于是：

\[\begin{equation*} A(\mathcal{B})X_t=-\sum_{j=0}^{+\infty}\left(\sum_{i=0}^{p}a_i\psi_{j-i}\right)\varepsilon_{t-j}=-\sum_{i=0}^{p}a_i\psi_{-i}\varepsilon_t-\sum_{j=1}^{+\infty}\left(\sum_{i=0}^{p}a_i\psi_{j-i}\right)\varepsilon_{t-j}=\varepsilon_t \end{equation*}\]

所以\(\{X_t\}\)是解。

设还有另一平稳解\(\{Y_t\}\)，即\(A(\mathcal{B})Y_t=\varepsilon_t\)且\(A^{-1}(\mathcal{B})\)存在，则：

\[\begin{equation*} Y_t=A^{-1}(\mathcal{B})\varepsilon_t=A^{-1}(\mathcal{B})A(\mathcal{B})X_t=X_t \end{equation*}\]

综上，\(\{X_t\}\)是\(\operatorname{AR}(p)\)模型唯一的平稳解。

(2)由(1)、定理 17.20与定理 17.21即可得通解为：

\[\begin{equation*} X_t+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t}=\sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i}+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t} \end{equation*}\]

(3)由(1)(2)可得对于\(\operatorname{AR}(p)\)模型的任一解\(\{Y_t\}\)有：

\[\begin{equation*} |X_t-Y_t|=\left|\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t}\right|\leqslant \operatorname{O}\left[\left(\min_i\{|z_i|\}\right)^{-t}\right] \end{equation*}\]

◻

note 17.2. 上述定理给了我们一个产生\(\operatorname{AR}(p)\)序列的方式。先任意选择\(p\)个初始值，然后根据自回归系数产生序列\(\{Y_t\}\)。因为任意的\(\{Y_t\}\)都以负指数阶的速度收敛到平稳解，取一个较大的\(m\)然后令\(X_t=Y_{m+t}\)即可得到近似的\(\operatorname{AR}(p)\)序列\(\{X_t\}\)。

Property 17.3.1. \(\operatorname{AR}(p)\)序列\(\{X_t\}\)具有如下性质：

1. 对任意的\(i\geqslant1\)且\(i\in\mathbb{N}^+\)，\(X_t\)与\(\varepsilon_{t+i}\)不相关；

2. \(\gamma(n)=\sigma^2\sum\limits_{i=0}^{+\infty}\psi_i\psi_{i+n}\)；

3. (Yule-Walker方程)\(\;\{X_t\}\)的自协方差函数满足：

   \[\begin{gather*} \boldsymbol{\gamma}_n=\Gamma_n\alpha,\; \gamma(0)=\boldsymbol{\gamma}_n^{\top}\alpha+\sigma^2,\quad n\geqslant p \\ \boldsymbol{\gamma}_n= \begin{pmatrix} \gamma(1) \\ \gamma(2) \\ \vdots \\ \gamma(n) \end{pmatrix},\; \Gamma_n= \begin{pmatrix} \gamma(0) & \gamma(1) & \cdots & \gamma(n-1) \\ \gamma(1) & \gamma(0) & \cdots & \gamma(n-2) \\ \vdots & \vdots & \ddots & \vdots \\ \gamma(n-1) & \gamma(n-2) & \cdots & \gamma(0) \\ \end{pmatrix} \\ \alpha=(a_1, a_2, \dots, a_{p},0,0,\dots,0)^{\top} \end{gather*}\]

4. \(\operatorname{AR}(p)\)序列的自协方差函数和自相关函数满足和\(\operatorname{AR}(p)\)模型相对应的常系数齐次线性差分方程：

   \[\begin{gather*} \gamma(n)=a_1\gamma(n-1)+a_2\gamma(n-2)\cdots+a_p\gamma(n-p) \\ \rho(n)=a_1\rho(n-1)+a_2\rho(n-2)\cdots+a_p\rho(n-p) \end{gather*}\]

5. \(\{X_t\}\)的自协方差函数与自相关函数具有拖尾性，即\(\gamma(n)\)和\(\rho(n)\)始终不为\(0\)，且二者的模随着\(n\)的增大指数衰减到\(0\)；

6. \(\{X_t\}\)具有如下谱密度函数：

   \[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=0}^{+\infty}\psi_je^{ij\lambda}\right|^2=\frac{\sigma^2}{2\pi|A(e^{i\lambda})|^2}=\frac{1}{2\pi}\sum_{n=-\infty}^{+\infty}\gamma(n)e^{in\lambda},\quad\lambda\in[-\pi,\pi] \end{equation*}\]

7. \(\{X_t\}\)的自协方差矩阵为正定矩阵；

8. \(\{X_t\}\)是最小序列；

证明. (1)因为\(\operatorname{E}(\varepsilon_{t+i})=0\)，由性质 5.4.2(8)可知\(\varepsilon_{t+i}\;\)a.e.有限，由定理 17.12可知\(X_t\;\)a.e.有限，于是\(X_t\varepsilon_{t+i}\)良定义。根据性质 5.4.2(4)(6)可知：

\[\begin{align*} \operatorname{E}\left(\sum_{j=0}^{+\infty}|\psi_j\varepsilon_{t-j}\varepsilon_{t+i}|\right) &=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{j=0}^{n}|\psi_j\varepsilon_{t-j}\varepsilon_{t+i}|\right) =\lim_{n\to+\infty}\left[\sum_{j=0}^{n}|\psi_j|\operatorname{E}(|\varepsilon_{t-j}\varepsilon_{t+i}|)\right] \\ &=\sum_{j=0}^{+\infty}|\psi_j|\operatorname{E}(|\varepsilon_{t-j}\varepsilon_{t+i}|) \end{align*}\]

由不等式 4可知：

\[\begin{equation*} \operatorname{E}(|\varepsilon_{t-j}\varepsilon_{t+i}|)=\Big|\operatorname{E}(|\varepsilon_{t-j}\varepsilon_{t+i}|)\Big|\leqslant\sqrt{\operatorname{E}(\varepsilon_{t-j}^2)\operatorname{E}(\varepsilon_{t+i}^2)}=\sigma^2 \end{equation*}\]

由定理 17.23(1)可得\(\{\psi_i\}\in l^1\)，所以：

\[\begin{equation*} \operatorname{E}\left(\sum_{j=0}^{+\infty}|\psi_j\varepsilon_{t-j}\varepsilon_{t+i}|\right)\leqslant\sigma^2\sum_{j=0}^{+\infty}|\psi_j|<+\infty \end{equation*}\]

取控制函数\(\sum\limits_{j=0}^{+\infty}|\psi_j\varepsilon_{t-j}\varepsilon_{t+i}|\)，由定理 5.25和性质 5.4.2(10)可得：

\[\begin{align*} \operatorname{E}(X_t\varepsilon_{t+i})&=\operatorname{E}\left(\sum_{j=0}^{+\infty}\psi_j\varepsilon_{t-j}\varepsilon_{t+i}\right)=\operatorname{E}\left[\lim_{n\to+\infty}\left(\sum_{j=0}^{n}\psi_j\varepsilon_{t-j}\varepsilon_{t+i}\right)\right] \\ &=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{j=0}^{n}\psi_j\varepsilon_{t-j}\varepsilon_{t+i}\right)=\lim_{n\to+\infty}\left[\sum_{j=0}^{n}\psi_j\operatorname{E}(\varepsilon_{t-j}\varepsilon_{t+i})\right]=0 \end{align*}\]

(2)由性质 17.1.4(1)和定理 17.23(1)立即可得。

(3)由\(\operatorname{AR}(p)\)模型的定义可得：

\[\begin{equation*} \begin{pmatrix} X_t \\ X_{t+1} \\ \vdots \\ X_{t+n-1} \end{pmatrix}= \begin{pmatrix} X_{t-1} & X_{t-2} & \cdots & X_{t-n} \\ X_{t} & X_{t-1} & \cdots & X_{t-n+1} \\ \vdots & \vdots & \ddots & \vdots \\ X_{t+n-2} & X_{t+n-3} & \cdots & X_{t-1} \end{pmatrix}\alpha+ \begin{pmatrix} \varepsilon_t \\ \varepsilon_{t+1} \\ \vdots \\ \varepsilon_{t+n-1} \end{pmatrix} \end{equation*}\]

于是：

\[\begin{gather*} X_{t-1} \begin{pmatrix} X_t \\ X_{t+1} \\ \vdots \\ X_{t+n-1} \end{pmatrix}=X_{t-1} \begin{pmatrix} X_{t-1} & X_{t-2} & \cdots & X_{t-n} \\ X_{t} & X_{t-1} & \cdots & X_{t-n+1} \\ \vdots & \vdots & \ddots & \vdots \\ X_{t+n-2} & X_{t+n-3} & \cdots & X_{t-1} \end{pmatrix}\alpha_n+X_{t-1} \begin{pmatrix} \varepsilon_t \\ \varepsilon_{t+1} \\ \vdots \\ \varepsilon_{t+n-1} \end{pmatrix} \\ \boldsymbol{\gamma}_n=\Gamma_n\alpha,\quad n\geqslant p \end{gather*}\]

第二行是对第一行取期望的结果。对于\(\gamma(0)\)，由(1)可得：

\[\begin{align*} \gamma(0)&=\operatorname{E}(X_t^2)=\operatorname{E}\left(\sum_{i=1}^{p}a_iX_{t-i}+\varepsilon_t\right)^2=\operatorname{E}\left(\sum_{i=1}^{p}a_iX_{t-i}\right)^2+\operatorname{E}(\varepsilon_t)^2 \\ &=\alpha^{\top}\Gamma_n\alpha+\sigma^2=\alpha^{\top}\boldsymbol{\gamma}_n+\sigma^2,\quad n\geqslant p \end{align*}\]

(4)由(3)和定理 17.8立即可得。

(5)由定理 17.21和(4)可知\(\gamma(n)\)和\(\rho(n)\)的通解都具有如下形式：

\[\begin{equation*} \sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}n^{j}\lambda_i^n,\;\forall\;n\in\mathbb{N} \end{equation*}\]

其中\(\lambda_1, \lambda_2, \dots, \lambda_{s}\)为对应常系数齐次线性差分方程的特征方程的根，\(c_{ij}\)为任意常数。若\(c_{ij}\)全为\(0\)，则\(\gamma(0),\rho(0)\)都为\(0\)，所以它们不可能全为\(0\).由\(\operatorname{AR}(p)\)序列的定义，\(|\lambda_i|<1\)，因为\(a_p\ne0\)，所以\(\lambda_i\ne0\)，由此可得\(\gamma(n)\)和\(\rho(n)\)始终不为\(0\)。由指数函数与幂函数的收敛速度比较可知\(\gamma(n)\)和\(\rho(n)\)的模随着\(n\)的增大将以指数阶的速度减小。

(6)由性质 17.1.4和定理 17.23(1)可知：

\[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=0}^{+\infty}\psi_je^{ij\lambda}\right|^2 \end{equation*}\]

由定理 17.3和定理 17.23(1)可得：

\[\begin{equation*} f(\lambda)=\frac{1}{2\pi}\sum_{n=-\infty}^{+\infty}\gamma(n)e^{-in\lambda} \end{equation*}\]

根据定理 17.23(1)中的论述，有：

\[\begin{equation*} A^{-1}(z)=\sum_{i=0}^{+\infty}\psi_iz^i,\quad|z|\leqslant\rho \end{equation*}\]

因为\(|e^{i\lambda}|=1<\rho\)，所以：

\[\begin{equation*} \sum_{j=0}^{+\infty}\psi_je^{ij\lambda}=A^{-1}(e^{i\lambda}) \end{equation*}\]

于是：

\[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|A^{-1}(e^{i\lambda})\right|^2=\frac{\sigma^2}{2\pi|A(e^{i\lambda})|^2} \end{equation*}\]

(7)由性质 17.1.4(4)立即可得。 ◻

17.3.2 MA模型

Definition 17.23. 设\(\{\varepsilon_t\}\)是\(\operatorname{WN}(0,\sigma^2)\)，实数\(b_1, b_2, \dots, b_{q}(b_q\ne0)\)使得多项式\(B(z)=0\)的根都不在单位圆内：

\[\begin{equation*} B(z)=1+\sum_{i=1}^{q}b_iz^i\ne0,\quad\forall\;|z|<1 \end{equation*}\]

则称：

\[\begin{equation*} X_t=\varepsilon_t+\sum_{i=1}^{q}b_i\varepsilon_{t-i},\quad t\in\mathbb{Z} \end{equation*}\]

为\(q\)阶滑动平均模型，简记为\(\operatorname{MA}(q)\)模型。称满足\(\operatorname{MA}(q)\)模型的平稳时间序列\(\{X_t\}\)为\(\operatorname{MA}(q)\)序列。若\(B(z)\ne0\)对\(|z|\leqslant1\)成立，则称对应的\(\operatorname{MA}(q)\)模型为可逆的\(\operatorname{MA}(q)\)模型，相应的\(\operatorname{MA}(q)\)序列为可逆的\(\operatorname{MA}(q)\)序列。可以用\(B(\mathcal{B})\)将模型改写为\(X_t=B(\mathcal{B})\varepsilon_t\)。对于可逆的\(\operatorname{MA}(q)\)模型，\(B^{-1}(z)\)有如下展开：

\[\begin{equation*} B^{-1}(z)=\sum_{i=0}^{+\infty}\psi_iz^i,\quad |z|\leqslant1 \end{equation*}\]

于是在可逆情况下还可以将模型改写为：

\[\begin{equation*} \varepsilon_t=B^{-1}(\mathcal{B})X_t=\sum_{i=0}^{+\infty}\psi_iX_{t-i},\quad t\in\mathbb{Z}^{} \end{equation*}\]

Theorem 17.24. 设零均值平稳时间序列\(\{X_t\}\)有自协方差函数\(\{\gamma(n)\}\)，则\(\{X_t\}\)是\(\operatorname{MA}(q)\)序列的充分必要条件为：

\[\begin{equation*} \gamma(q)\ne 0,\quad\gamma(k)=0,\;\forall\;|k|>q \end{equation*}\]

Property 17.3.2. \(\operatorname{MA}(q)\)序列\(\{X_t\}\)具有如下性质：

1. 令\(b_0=1\)，则：

   \[\begin{equation*} \operatorname{E}(X_t)=0,\quad\gamma(n)= \begin{cases} \sigma^2\sum\limits_{i=0}^{q-n}b_ib_{i+n},&0\leqslant k\leqslant q \\ 0, &k>q \end{cases} \end{equation*}\]

2. \(\{X_t\}\)的自协方差函数\(\gamma(n)\)和自相关函数\(\rho(n)\)都具有截尾性，即对任意的\(k>q\)有\(\gamma(k)=\rho(k)=0\)；

3. 若\(\{X_t\}\)可逆，对\(j<0\)定义\(\psi_j=0\)，那么\(\{\psi_n\}\)具有递推公式：

   \[\begin{equation*} \psi_0=1,\quad\psi_j=-\sum_{i=1}^{q}b_i\psi_{j-i},\;\forall\;j\geqslant1 \end{equation*}\]

4. \(\{X_t\}\)具有谱密度：

   \[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=0}^{q}b_je^{ij\lambda}\right|^2=\frac{\sigma^2}{2\pi}|B(e^{i\lambda})|^2=\frac{1}{2\pi}\sum_{n=-k}^{k}\gamma(n)e^{-in\lambda},\quad\lambda\in[-\pi,\pi] \end{equation*}\]

5. \(\{X_t\}\)的自协方差矩阵为正定矩阵；

6. 若\(\{X_t\}\)可逆，则\(\{X_t\}\)是最小序列；若\(\{X_t\}\)不可逆，则\(\{X_t\}\)不是最小序列；

证明. (1)由定理 17.11立即可得。

(2)由(1)和定理 17.8立即得出。

(3)对\(k<0\)定义\(\psi_k=0\)，因为\(\{X_t\}\)可逆，所以：

\[\begin{align*} 1&=B(z)B^{-1}(z)=\left(1+\sum_{i=1}^{q}b_iz^i\right)B^{-1}(z)=\sum_{i=0}^{q}b_iz^i\sum_{j=0}^{+\infty}\psi_jz^j \\ &=\sum_{i=0}^{q}\sum_{j=0}^{+\infty}b_iz^i\psi_jz^j=\sum_{j=0}^{+\infty}\sum_{i=0}^{q}b_i\psi_jz^{i+j}=\sum_{j=0}^{+\infty}\left(\sum_{i=0}^{q}b_i\psi_{j-i}\right)z^j \end{align*}\]

对比系数可得（递推公式）：

\[\begin{equation*} \sum_{i=0}^{q}b_i\psi_{-i}=1,\quad\sum_{i=0}^{q}b_i\psi_{j-i}=0,\;\forall\;j\geqslant1 \end{equation*}\]

(4)由性质 17.3.1(6)和\(B(z)\)的定义立即可得，第三种表达方式由(1)和定理 17.3立即可得。

(5)由(4)和定理 17.7立即可得。 ◻

17.3.3 ARMA

Definition 17.24. 设\(\{\varepsilon_t\}\)是\(\operatorname{WN}(0,\sigma^2)\)，实系数多项式\(A(z)=0\)和\(B(z)=0\)没有公共根且满足\(b_0=1,\;a_pb_q\ne0\)和：

\[\begin{equation*} A(z)=1-\sum_{i=1}^{p}a_iz^i\ne0,\;|z|\leqslant1\quad B(z)=\sum_{i=0}^{q}b_iz^i\ne0,\;|z|<1 \end{equation*}\]

则称差分方程：

\[\begin{equation*} X_t=\sum_{i=1}^{p}a_iX_{t-i}+\sum_{i=0}^{q}b_i\varepsilon_{t-i} \end{equation*}\]

为自回归滑动平均模型，简称为\(\operatorname{ARMA}(p,q)\)模型。称满足\(\operatorname{ARMA}(p,q)\)模型的平稳时间序列\(\{X_t\}\)为\(\operatorname{ARMA}(p,q)\)序列。可以用\(A(\mathcal{B})\)与\(B(\mathcal{B})\)将模型改写为\(A(\mathcal{B})X_t=B(\mathcal{B})\varepsilon_t\)。若要求\(B(z)\)在单位圆上也没有根，则称此时的\(\operatorname{ARMA}(p,q)\)模型为可逆的\(\operatorname{ARMA}(p,q)\)模型，相应的\(\operatorname{ARMA}(p,q)\)序列为可逆的\(\operatorname{ARMA}(p,q)\)序列。对于可逆的\(\operatorname{ARMA}(p,q)\)模型，令\(z_1, z_2, \dots, z_{s}\)为\(B(z)=0\)的全部互异根，\(1<\rho<\min\limits_i\{|z_i|\}\)，则\(B^{-1}(z)A(z)\)在\(\{z:|z|\leqslant\rho\}\)内解析，从而有如下展开式：

\[\begin{equation*} B^{-1}(z)A(z)=\sum_{i=0}^{+\infty}\varphi_iz^i,\quad|z|\leqslant\rho \end{equation*}\]

且这个级数是绝对收敛的。由绝对收敛性可知\(|\psi_iz^i|\to0\)，即\(|\psi_i|=o(\rho^{-i})\)，所以\(\{\psi_i\}\in l^1\)。在\(A(\mathcal{B})X_t=B(\mathcal{B})\varepsilon_t\)两边同乘\(B^{-1}(\mathcal{B})\)即可将模型改写为：

\[\begin{equation*} \varepsilon_t=B^{-1}(\mathcal{B})A(\mathcal{B})=\sum_{i=0}^{+\infty}\varphi_iX_{t-i} \end{equation*}\]

若不对\(A(z)\)的根与\(B(z)\)的根做任何限制，称差分方程\(A(\mathcal{B})X_t=B(\mathcal{B})\varepsilon_t\)为广义的\(\operatorname{ARMA}(p,q)\)模型。

Theorem 17.25. 在\(\operatorname{ARMA}(p,q)\)模型中，设\(A(z)=0\)有\(s\)个互异根\(z_1, z_2, \dots, z_{s}\)，根的重数分别为\(r_1, r_2, \dots, r_{s}\)，\(1<\rho<\min\limits_i\{|z_i|\}\)，则：

1. \(\operatorname{ARMA}(p,q)\)模型的唯一平稳解是：

   \[\begin{equation*} X_t=\sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i} \end{equation*}\]

   其中\(\psi_i\)为\(\Phi(z)=A^{-1}(z)B(z)\)在\(\{z:|z|\leqslant\rho\}\)内展开的幂级数的系数，称之为Wold系数，\(\{\psi_n\}\in l^1\)。对\(j<0\)定义\(\psi_j=0\)，对\(j>q\)定义\(b_j=0\)，那么它具有递推公式：

   \[\begin{equation*} \psi_0=1,\quad\psi_j=b_j+\sum_{i=1}^{p}a_i\psi_{j-i},\;\forall\;j\geqslant1 \end{equation*}\]

2. \(\operatorname{ARMA}(p,q)\)模型的通解为：

   \[\begin{equation*} \sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i}+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t} \end{equation*}\]

   其中\(c_{ij}\)为任意常数；

3. \(\operatorname{ARMA}(p,q)\)模型的任一解都以负指数阶的速度收敛到平稳解，\(\min\limits_i{|z_i|}\)越大，收敛越快。

证明. (1)因为\(A(z)\)满足平稳性条件，所以存在\(\rho>1\)使得在\(\{z:|z|\leqslant\rho\}\)内\(A^{-1}(z)B(z)\)解析，从而有展开式：

\[\begin{equation*} \Phi(z)=A^{-1}(z)B(z)=\sum_{i=0}^{+\infty}\psi_iz^i,\quad|z|\leqslant\rho \end{equation*}\]

且这个级数是绝对收敛的。由绝对收敛性可知\(|\psi_iz^i|\to0\)，即\(|\psi_i|=o(\rho^{-i})\)，所以\(\{\psi_i\}\in l^1\)，由定理 17.12可知\(\{X_t\}\)是平稳序列。在

\[\begin{equation*} X_t=\sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i} \end{equation*}\]

两边同乘\(A(\mathcal{B})\)即可得到\(A(\mathcal{B})X_t=B(\mathcal{B})\varepsilon_t\)，所以\(\{X_t\}\)是\(\operatorname{ARMA}(p,q)\)模型的平稳解。

设还有另一平稳解\(\{Y_t\}\)，即\(A(\mathcal{B})Y_t=B(\mathcal{B})\varepsilon_t\)且\(A^{-1}(\mathcal{B})\)存在，则：

\[\begin{equation*} Y_t=A^{-1}(\mathcal{B})B(\mathcal{B})\varepsilon_t=X_t \end{equation*}\]

综上，\(\{X_t\}\)是\(\operatorname{ARMA}(p,q)\)模型唯一的平稳解。

定义\(a_0=-1\)，则：

\[\begin{align*} A(z)\Phi(z)&=\left(1-\sum_{i=1}^{p}a_iz^i\right)\Phi(z)=-\sum_{i=0}^{p}a_iz^i\sum_{j=0}^{+\infty}\psi_jz^j \\ &=-\sum_{i=0}^{p}\sum_{j=0}^{+\infty}a_iz^i\psi_jz^j=-\sum_{j=0}^{+\infty}\sum_{i=0}^{p}a_i\psi_jz^{i+j}=-\sum_{j=0}^{+\infty}\left(\sum_{i=0}^{p}a_i\psi_{j-i}\right)z^j \end{align*}\]

最后一步是求和换元后的结果。又有：

\[\begin{equation*} A(z)\Phi(z)=B(z)=\sum_{i=0}^{q}b_iz^i \end{equation*}\]

对比系数可得（递推公式）：

\[\begin{equation*} -\sum_{i=0}^{p}a_i\psi_{-i}=b_0,\quad-\sum_{i=0}^{p}a_i\psi_{j-i}=b_i,\;\forall\;j\geqslant1 \end{equation*}\]

(2)由(1)、定理 17.20与定理 17.21即可得通解为：

\[\begin{equation*} X_t+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^t=\sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i}+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t} \end{equation*}\]

(3)由(1)(2)可得对于\(\operatorname{ARMA}(p,q)\)模型的任一解\(\{Y_t\}\)有：

\[\begin{equation*} |X_t-Y_t|=\left|\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t}\right|\leqslant O\left[\left(\min_i\{|z_i|\}\right)^{-t}\right] \end{equation*}\]

◻

note 17.3. 上述定理给了我们一个产生\(\operatorname{ARMA}(p,q)\)序列的方式。先任意选择\(p\)个初始值，然后根据自回归系数和白噪声序列产生序列\(\{Y_t\}\)。因为任意的\(\{Y_t\}\)都以负指数阶的速度收敛到平稳解，取一个较大的\(m\)然后令\(X_t=Y_{m+t}\)即可得到近似的\(\operatorname{ARMA}(p,q)\)序列\(\{X_t\}\)。

Property 17.3.3. \(\operatorname{ARMA}(p,q)\)序列\(\{X_t\}\)具有如下性质：

1. 对任意的\(i\geqslant1\)且\(i\in\mathbb{N}^+\)，\(X_t\)与\(\varepsilon_{t+i}\)不相关；

2. \(\gamma(n)=\sigma^2\sum\limits_{i=0}^{+\infty}\psi_i\psi_{i+n}\)；

3. (Yule-Walker方程)\(\;\{X_t\}\)的自协方差函数满足：

   \[\begin{gather*} \gamma(n)-\sum_{i=1}^{p}a_i\gamma(n-i)= \begin{cases} \sigma^2\sum\limits_{i=n}^{q}b_i\psi_{i-n},&1\leqslant n\leqslant q \\ 0 & n>q \end{cases} \\ \begin{pmatrix} \gamma(q+1) \\ \gamma(q+2) \\ \vdots \\ \gamma(q+p) \end{pmatrix}= \begin{pmatrix} \gamma(q) & \gamma(q-1) & \cdots & \gamma(q-p+1) \\ \gamma(q+1) & \gamma(q) & \cdots & \gamma(q-p+2) \\ \vdots & \vdots & \ddots & \vdots \\ \gamma(q+p-1) & \gamma(q+p-2) & \cdots & \gamma(q) \\ \end{pmatrix} \begin{pmatrix} a_1 \\ a_2 \\ \vdots \\ a_p \end{pmatrix} \end{gather*}\]

   记上述矩阵为\(\Gamma_{p,q}\)；

4. \(\{X_t\}\)的自协方差函数与自相关函数具有截尾性应该是拖尾，再看看，即对任意的\(k>q\)有\(\gamma(k)=\rho(k)=0\)，且二者的模随着\(n\)的增大指数衰减；

5. \(\{X_t\}\)具有谱密度：

   \[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=0}^{+\infty}\psi_je^{ij\lambda}\right|^2=\frac{\sigma^2}{2\pi}\left|\frac{B(e^{i\lambda})}{A(e^{i\lambda})}\right|^2=\frac{1}{2\pi}\sum_{n=-\infty}^{+\infty}\gamma(n)e^{-in\lambda} \end{equation*}\]

6. \(\{X_t\}\)的自协方差矩阵为正定矩阵；

证明. (1)由定理 17.25(1)和性质 17.3.1(1)立即可得。

(2)由定理 17.25(1)和性质 17.1.4(1)立即可得。

(3)对\(j<0\)定义\(\psi_j=0\)，则：

\[\begin{align*} \gamma(n)&=\operatorname{E}(X_tX_{t-n})=\operatorname{E}\left[\left(\sum_{i=1}^{p}a_iX_{t-i}+\sum_{i=0}^{q}b_i\varepsilon_{t-i}\right)X_{t-n}\right] \\ &=\operatorname{E}\left(\sum_{i=1}^{p}a_iX_{t-i}X_{t-n}\right)+\operatorname{E}\left(\sum_{i=0}^{q}b_i\varepsilon_{t-i}X_{t-n}\right) \\ & =\sum_{i=1}^{p}a_i\gamma(n-i)+\operatorname{E}\left(\sum_{i=0}^{q}b_i\varepsilon_{t-i}\sum_{j=0}^{+\infty}\psi_j\varepsilon_{t-n-j}\right) \\ &=\sum_{i=1}^{p}a_i\gamma(n-i)+\sigma^2\sum_{j=0}^{q}b_j\psi_{j-n}=\sum_{i=1}^{p}a_i\gamma(n-i)+\sigma^2\sum_{j=n}^{q}b_j\psi_{j-n} \end{align*}\]

(4)截尾性由(3)立即得出。由不等式 1、(2)和定理 17.25(1)中的\(|\psi_i|=o(\rho^{-1})\)可得：

\[\begin{align*} |\gamma(n)|&=\left|\sigma^2\sum_{i=0}^{+\infty}\psi_i\psi_{i+n}\right|\leqslant\sigma^2\sum_{i=0}^{+\infty}|\psi_i||\psi_{i+n}|\leqslant\sigma^2\left(\sum_{i=0}^{+\infty}\psi_i^2\sum_{i=0}^{+\infty}\psi_{i+n}^2\right)^{\frac{1}{2}} \\ &\leqslant c_0\left(\sum_{i=n}^{+\infty}\rho^{-2i}\right)^{\frac{1}{2}}\leqslant c_1\rho^{-n} \end{align*}\]

上式第一行到第二行的过程中利用\(\{\psi_n\}\in l^1\)将第一个求和和\(\sigma^2\)放缩为\(c_0\)，最后一个放缩利用\(\{\rho^{-2i}\}\)的收敛性显然可得，于是由自协方差函数的模随着\(n\)的增大呈现出指数衰减，根据定理 17.8可得自相关函数的对应结论。

(5)由性质 17.1.4(3)和\(\Phi(z)\)的定义立即可得，第三个表示方法由定理 17.25(1)和定理 17.3立即可得。

(6)由(5)和定理 17.7立即可得。 ◻

17.3.4 ARIMA模型

Definition 17.25. 设\(\{\varepsilon_t\}\)是\(\operatorname{WN}(0,\sigma^2)\)，实系数多项式\(A(z)=0\)和\(B(z)=0\)没有公共根且满足\(b_0=1,\;a_pb_q\ne0\)和：

\[\begin{equation*} A(z)=1-\sum_{i=1}^{p}a_iz^i\ne0,\;|z|\leqslant1\quad B(z)=\sum_{i=0}^{q}b_iz^i\ne0,\;|z|<1 \end{equation*}\]

则称差分方程：

\[\begin{equation*} A(\mathcal{B})(1-\mathcal{B})^dX_t=B(\mathcal{B})\varepsilon_t \end{equation*}\]

为ARIMA模型，记为\(\operatorname{ARMA}(p,d,q)\)模型。若\(Y_t=(1-\mathcal{B})^dX_t\)是\(\operatorname{ARMA}(p,q)\)序列，则称\(\{X_t\}\)是\(\operatorname{ARIMA}(p,d,q)\)序列。

Theorem 17.26. \(\operatorname{ARIMA}(p,d,q)\)模型的通解为：

\[\begin{equation*} X_t=\sum_{i=0}^{d-1}c_it^{i}+\sum_{n_{d-1}=1}^{t}\cdots\sum_{n_1=1}^{n_2}\sum_{i=1}^{n_1}Y_i \end{equation*}\]

其中\(c_i\)为随机变量。

证明. 当\(k=1\)时，给定初值\(X_0\)，有：

\[\begin{align*} X_t=X_{t-1}+Y_t=X_{t-2}+Y_{t-1}+Y_t=\cdots=X_0+\sum_{i=1}^{t}Y_i=X_0t^0+\sum_{i=1}^{t}Y_i \end{align*}\]

即\(k=1\)时结论成立。设\(k=d-1\)时结论成立，即：

\[\begin{equation*} X_t=\sum_{i=1}^{d-2}c_it^{i}+\sum_{n_{d-2}=1}^{t}\cdots\sum_{n_1=1}^{n_2}\sum_{i=1}^{n_1}Y_i \end{equation*}\]

则\(k=d\)时有：

\[\begin{equation*} Y_t=(1-\mathcal{B})^dX_t=(1-\mathcal{B})^{d-1}(1-\mathcal{B})X_t \end{equation*}\]

令\((1-\mathcal{B})X_t=X_t-X_{t-1}=Z_t\)，由归纳假设可知：

\[\begin{equation*} Z_t=\sum_{i=1}^{d-2}c_i't^{i}+\sum_{n_{d-2}=1}^{t}\cdots\sum_{n_1=1}^{n_2}\sum_{i=1}^{n_1}Y_i \end{equation*}\]

所以：

\[\begin{align*} X_t&=X_{t-1}+Z_t=X_{t-2}+Z_{t-1}+Z_t=X_0+\sum_{i=1}^{t}Z_i \\ &=X_0+\sum_{i=1}^{t}\left(\sum_{j=1}^{d-2}c_j'i^{j}+\sum_{n_{d-2}=1}^{i}\cdots\sum_{n_1=1}^{n_2}\sum_{j=1}^{n_1}Y_j\right) \\ &=X_0+\sum_{i=1}^{t}\sum_{j=1}^{d-2}c_j'i^{j}+\sum_{i=1}^{t}\sum_{n_{d-2}=1}^{i}\cdots\sum_{n_1=1}^{n_2}\sum_{j=1}^{n_1}Y_j \\ &=X_0+\sum_{j=1}^{d-2}\sum_{i=1}^{t}c_j'i^{j}+\sum_{n_{d-1}=1}^{t}\sum_{n_{d-2}=1}^{n_{d-1}}\cdots\sum_{n_1=1}^{n_2}\sum_{j=1}^{n_1}Y_j \\ &=X_0t^0+\sum_{i=1}^{d-1}C_it^i+\sum_{n_{d-1}=1}^{t}\sum_{n_{d-2}=1}^{n_{d-1}}\cdots\sum_{n_1=1}^{n_2}\sum_{j=1}^{n_1}Y_j \\ &=\sum_{i=0}^{d-1}C_it^{i}+\sum_{n_{d-1}=1}^{t}\cdots\sum_{n_1=1}^{n_2}\sum_{i=1}^{n_1}Y_i \end{align*}\]

倒数第三行到倒数第二行使用了多项式的结论，其中\(C_i\)由\(\{X_t\}\)初始的\(d\)个值决定。 ◻

17.3.4.1 单位根模型

Definition 17.26. 称\(\operatorname{ARIMA}(p,1,q)\)模型为单位根模型。

17.4 参数估计

17.4.1 平稳序列的数学期望

17.4.1.1 点估计

Definition 17.27. 设\(x_1, x_2, \dots, x_{n}\)是平稳序列\(\{X_t\}\)的观测值，\(\mu=\operatorname{E}(X_t)\)的点估计定义为：

\[\begin{equation*} \bar{x}_n=\frac{1}{n}\sum_{i=1}^{n}x_i \end{equation*}\]

Theorem 17.27. 设平稳序列\(\{X_t\}\)有均值\(\mu\)和自协方差函数\(\{\gamma(n)\}\)，则：

1. \(\bar{X}_n\)是\(\mu\)的无偏估计；

2. 如果\(\gamma(n)\to0\)，则\(\bar{X}_n\)是\(\mu\)的相合估计；

3. 如果\(\{X_t\}\)是严平稳遍历序列，则\(\bar{X}_n\)是\(\mu\)的强相合估计。

证明. (1)显然。

(2)注意到：

\[\begin{align*} \operatorname{E}[(\bar{X}_n-\mu)^2]&=\operatorname{E}\left[\left(\frac{1}{n}\sum_{i=1}^{n}X_i-\mu\right)^2\right]=\operatorname{E}\left\{\frac{1}{n^2}\left[\sum_{i=1}^{n}(X_i-\mu)\right]^2\right\} \\ &=\frac{1}{n^2}\operatorname{E}\left\{\left[\sum_{i=1}^{n}(X_i-\mu)\right]^2\right\}=\frac{1}{n^2}\sum_{i=1}^{n}\sum_{j=1}^{n}\gamma(j-i) \\ &=\frac{1}{n^2}\sum_{i=-n+1}^{n-1}(n-|i|)\gamma(i)\leqslant\frac{1}{n^2}\sum_{i=-n+1}^{n-1}(n-|i|)|\gamma(i)| \\ &\leqslant\frac{1}{n^2}\sum_{i=-n+1}^{n-1}n|\gamma(i)|\leqslant\frac{1}{n}\sum_{i=-n+1}^{n-1}|\gamma(i)| \\ &\leqslant\frac{1}{n}\sum_{i=-n}^{n}|\gamma(i)| \end{align*}\]

由无穷小序列的平均值序列也是无穷小序列可得\(\operatorname{E}[(\bar{X}_n-\mu)^2]\to0\)，由推论 9.1和(1)可知对任意的\(\varepsilon>0\)有：

\[\begin{equation*} P(|\bar{X}_n-\mu|\geqslant\varepsilon)\leqslant\frac{\operatorname{Var}(\bar{X}_n)}{\varepsilon^2}=\frac{\operatorname{E}[(\bar{X}_n-\mu)^2]}{\varepsilon^2}\to0,\quad n\to+\infty \end{equation*}\]

所以\(\bar{X}_n\overset{P}{\longrightarrow}\mu\)，即\(\bar{X}_n\)是\(\mu\)的相合估计。

(3)由遍历定理立即可得。遍历定理 ◻

Corollary 17.3. 对于线性平稳序列，\(\bar{X}_n\)是均值\(\mu\)的无偏估计、相合估计和强相合估计。

证明. 由性质 17.1.4(1)(5)立即可得。 ◻

17.4.1.2 分布

Theorem 17.28. 设\(\{\varepsilon_t\}\)是独立同分布的\(\operatorname{WN}(0,\sigma^2)\)，平稳序列\(\{X_t\}\)由：

\[\begin{equation*} X_t=\mu+\sum_{i=-\infty}^{+\infty}\psi_i\varepsilon_{t-i} \end{equation*}\]

定义。若\(\{X_t\}\)的谱密度：

\[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=-\infty}^{+\infty}\psi_je^{ij\lambda}\right|^2 \end{equation*}\]

在\(\lambda=0\)处连续且\(f(0)\ne0\)，则\(\sqrt{n}(\bar{X}_n-\mu)\)依分布收敛到\(\operatorname{N}[0,2\pi f(0)]\)。

Corollary 17.4. 若\(\{\psi_n\}\in l^1\)，\(\sum\limits_{i=-\infty}^{+\infty}\psi_i\ne0\)，则\(\sqrt{n}(\bar{X}_n-\mu)\)依分布收敛到\(\operatorname{N}[0,2\pi f(0)]\)，其中：

\[\begin{equation*} 2\pi f(0)=\gamma(0)+2\sum_{i=1}^{+\infty}\gamma(i) \end{equation*}\]

17.4.2 平稳序列的自协方差

Definition 17.28. 设\(x_1, x_2, \dots, x_{n}\)是平稳序列\(\{X_t\}\)的观测值，\(\gamma(k)\)的点估计有如下两种定义：

\[\begin{equation*} \hat{\gamma}(k)= \begin{cases} \dfrac{1}{n}\sum\limits_{i=1}^{n-k}(x_i-\bar{x}_n)(x_{i+k}-\bar{x}_n) \\ \dfrac{1}{n-k}\sum\limits_{i=1}^{n-k}(x_i-\bar{x}_n)(x_{i+k}-\bar{x}_n) \end{cases},\quad 0\leqslant k\leqslant n-1 \end{equation*}\]

而对于\(-(n-1)\leqslant k<0\)，定义\(\hat{\gamma}(k)=\hat{\gamma}(-k)\)。

定义\(\{X_t\}\)自相关函数\(\rho(k)\)的点估计为：

\[\begin{equation*} \hat{\rho}(k)=\frac{\hat{\gamma}(k)}{\hat{\gamma}(0)} \end{equation*}\]

Theorem 17.29. 对于平稳序列\(\{X_t\}\)自协方差函数\(\gamma(k)\)的两种点估计，有：

1. 若\(\gamma(k)\to0\)，则\(\hat{\gamma}(k)\)是\(\gamma(k)\)的渐进无偏估计，即：

   \[\begin{equation*} \lim_{n\to+\infty}\operatorname{E}[\hat{\gamma}(k)]=\gamma(k) \end{equation*}\]

2. 若\(\{X_t\}\)是严平稳遍历序列，则\(\hat{\gamma}(k)\)和\(\hat{\rho}(k)\)分别为\(\gamma(k)\)和\(\rho(k)\)的强相合估计，即：

   \[\begin{equation*} \lim_{n\to+\infty}\hat{\gamma}(k)=\gamma(k),\;a.e.\quad \lim_{n\to+\infty}\hat{\rho}(k)=\rho(k),\;a.e. \end{equation*}\]

3. 只要样本\(x_1, x_2, \dots, x_{n}\)不全相同，第一种分母为\(\dfrac{1}{n}\)的点估计构成的样本自协方差矩阵是正定的。

17.5 预测

17.5.1 最佳线性预测

Definition 17.29. 设\(Y\)是方差有限的随机变量，\(\mathbf{X}=(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n})^{\top}\)是各分量方差有限的随机向量，\(\operatorname{E}(Y)=b,\;\operatorname{E}(\mathbf{X})=\boldsymbol{\mu}\)。若\(\alpha\in\mathbb{R}^{n}\)使得对任意的\(\beta\in\mathbb{R}^{n}\)都有：

\[\begin{equation*} \operatorname{E}\{[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]^2\}\leqslant\operatorname{E}\{[Y-\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]^2\} \end{equation*}\]

则称\(a^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)是用\(\mathbf{X}\)对\(Y\)进行预测时的最佳线性预测，记为\(L(Y|\mathbf{X})\)。

Definition 17.30. 若\(\operatorname{Cov}(\mathbf{X})\)与\(\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)已知，称\(\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)为预测方程。

Property 17.5.1. 设\(Y\)是方差有限的随机变量，\(\mathbf{X}=(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n})^{\top}\)是各分量方差有限的随机向量，\(\operatorname{E}(Y)=b,\;\operatorname{E}(\mathbf{X})=\boldsymbol{\mu}\)。用\(\mathbf{X}\)对\(Y\)进行预测时的最佳线性预测具有如下性质：

1. 最佳线性预测是无偏预测，它的含义是\(\operatorname{E}[L(Y|\mathbf{X})]=\operatorname{E}(Y)\)；

2. 若\(\alpha\in\mathbb{R}^{n}\)使得\(\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)，则\(L(Y|\mathbf{X})=\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)，且有：

   \[\begin{equation*} \operatorname{E}\{[Y-L(Y|\mathbf{X})]^2\}=\operatorname{E}[(Y-b)^2]-\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{Var}(Y)-\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha \end{equation*}\]

3. 若\(\operatorname{Cov}(\mathbf{X})\)可逆，则\(\alpha^{-1}=\operatorname{Cov}(\mathbf{X})^{-1}\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)；

4. 若\(\det[\operatorname{Cov}(\mathbf{X})]=0\)，取正交矩阵\(Q\)使得：

   \[\begin{equation*} Q\operatorname{Cov}(\mathbf{X})Q^{\top}=\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r},0,0,\dots,0\},\quad\lambda_i>0,\;i=1,2,\dots,r \end{equation*}\]

   定义\(\mathbf{Z}=Q(\mathbf{X}-\boldsymbol{\mu})=(\mathbf{Z}_1, \mathbf{Z}_2, \dots, \mathbf{Z}_{r},0,0,\dots,0)^{\top},\;\varepsilon=(\mathbf{Z}_1, \mathbf{Z}_2, \dots, \mathbf{Z}_{r})^{\top}\)，则\(\operatorname{E}(\varepsilon\varepsilon^{\top})\)正定，并且对\(\alpha=[\operatorname{E}(\varepsilon\varepsilon^{\top})]^{-1}\operatorname{E}[\varepsilon(Y-b)]\)，有\(L(Y|\mathbf{X})=\alpha^{\top}\varepsilon+b\)；

5. 预测方程\(\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)一定有解；

6. 预测方程\(\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)的解可能不唯一，但\(L(Y|\mathbf{X})\)是在几乎处处的意义上唯一的，并且若一个随机变量几乎处处等于\(L(Y|\mathbf{X})\)，它也是一个最佳线性预测；

7. 若\(\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]=\mathbf{0}\)，则\(L(Y|\mathbf{X})=b\;\)a.e.；

8. 若\(Y=a^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)，则\(L(Y|\mathbf{X})=Y\;\)a.e.；

9. \(a^{\top}(\mathbf{X}-\boldsymbol{\mu})+b=L(Y|\mathbf{X})\)的充分必要条件为：

   \[\begin{equation*} \operatorname{E}\{(\mathbf{X}-\boldsymbol{\mu})[Y-a^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]\}=\mathbf{0} \end{equation*}\]

10. \(L(\cdot|\mathbf{X})\)是一个线性运算：

    \[\begin{equation*} L\left(\sum_{i=1}^{n}k_iY_i|\mathbf{X}\right)=\sum_{i=1}^{n}k_iL(Y_i|\mathbf{X}) \end{equation*}\]

11. 设\(\mathbf{Z}=(\mathbf{Z}_1, \mathbf{Z}_2, \dots, \mathbf{Z}_{m})^{\top}\)，若\(\operatorname{Cov}(\mathbf{X},\mathbf{Z})=\mathbf{0}\)，则有\(L(Y|\mathbf{X},\mathbf{Z})=L(Y|\mathbf{X})+L(Y|\mathbf{Z})\)；

12. 设\(\hat{Y}=L(Y|\mathbf{X}),\;\tilde{Y}=L(Y|\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n-1})\)，则：

    \[\begin{equation*} L(\hat{Y}|\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n-1})=\tilde{Y},\quad\operatorname{E}[(Y-\hat{Y})^2]\leqslant\operatorname{E}[(Y-\tilde{Y})^2] \end{equation*}\]

13. 设\(\mathbf{X}=\mathbf{Z}_1, \mathbf{Z}_2, \dots, \mathbf{Z}_{m}\)，若存在矩阵\(A,B\)使得\(\mathbf{X}=A\mathbf{Z},\;\mathbf{Z}=B\mathbf{X}\)，则\(L(Y|\mathbf{X})=L(Y|\mathbf{Z})\)。

证明. (1)设\(L(Y|\mathbf{X})=\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)，则：

\[\begin{equation*} \operatorname{E}[L(Y|\mathbf{X})]=\operatorname{E}[\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b]=\alpha^{\top}\operatorname{E}(\mathbf{X}-\boldsymbol{\mu})+b=b=\operatorname{E}(Y) \end{equation*}\]

(2)对任意的\(\beta\in\mathbb{R}^{n}\)，由性质 5.4.3(6)可得：

\[\begin{align*} &\operatorname{E}\{[Y-b-\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})]^2\} \\ =&\operatorname{E}\{[Y-b-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})][Y-b-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]\} \\ =&\operatorname{E}\{(Y-b)^2-2[Y-b-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})](\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})+[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\} \\ =&\operatorname{E}[(Y-b)^2]+\operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\}-2\operatorname{E}\{[Y-b-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})](\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})\} \\ =&\operatorname{E}[(Y-b)^2]+\operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\}-2(\alpha^{\top}-\beta^{\top})\operatorname{E}[(Y-b)(\mathbf{X}-\boldsymbol{\mu})-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})] \\ =&\operatorname{E}[(Y-b)^2]+\operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\}-2(\alpha^{\top}-\beta^{\top})\{\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]-\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})^{\top}\alpha]\} \\ =&\operatorname{E}[(Y-b)^2]+\operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\}-2(\alpha^{\top}-\beta^{\top})\{\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]-\operatorname{Cov}(\mathbf{X})\alpha\} \end{align*}\]

因为\(\operatorname{Cov}(\mathbf{X})=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)，所以上式第三项为\(0\)，而前两项都是非负的，其中第二项为\(0\)当且仅当\(\alpha=\beta\)，由最佳线性预测的定义，\(L(Y|\mathbf{X})=\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)。由性质 5.4.3(6)和性质 6.3.4(3)可得：

\[\begin{align*} &\operatorname{E}\{[Y-L(Y|\mathbf{X})]^2\}=\operatorname{E}\{[Y-b-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})]^2\} \\ =&\operatorname{E}\{(Y-b)^2-2\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})(Y-b)+\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})\} \\ =&\operatorname{E}[(Y-b)^2]-2\alpha^{\top}\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]+\operatorname{E}[\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})\alpha] \\ =&\operatorname{E}[(Y-b)^2]-2\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha+\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha \\ =&\operatorname{E}[(Y-b)^2]-\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{Var}(Y)-\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha \end{align*}\]

(3)显然。

(4)由性质 6.3.4(2)可得\(\operatorname{Cov}(\mathbf{X})\)是一个半正定矩阵，根据性质 2.6.3(3)和定理 2.18(3.5)可知存在正交矩阵\(Q\)使得：

\[\begin{equation*} Q\operatorname{Cov}(\mathbf{X})Q^{\top}=\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r},0,0,\dots,0\},\quad\lambda_i>0,\;i=1,2,\dots,r \end{equation*}\]

注意到：

\[\begin{equation*} \operatorname{E}(\mathbf{Z})=\mathbf{0},\quad\operatorname{Cov}(\mathbf{Z})=\operatorname{E}(\mathbf{Z}\mathbf{Z}^{\top})=Q\operatorname{Cov}(\mathbf{X})Q^{\top}=\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r},0,0,\dots,0\} \end{equation*}\]

所以：

\[\begin{equation*} \operatorname{E}(\varepsilon\varepsilon^{\top})=\operatorname{Cov}(\varepsilon)=\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r}\} \end{equation*}\]

于是\(\operatorname{E}(\varepsilon\varepsilon^{\top})\)的特征值都大于\(0\)，由定理 2.17(3.5)可知\(\operatorname{E}(\varepsilon\varepsilon^{\top})\)正定。取\(\alpha=[\operatorname{E}(\varepsilon\varepsilon^{\top})]^{-1}\operatorname{E}[\varepsilon(Y-b)]\)，则：

\[\begin{gather*} \operatorname{E}(\varepsilon\varepsilon^{\top})\alpha=\operatorname{E}[\varepsilon(Y-b)] \\ \operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r}\}\alpha=\operatorname{E}[\varepsilon(Y-b)] \\ \operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r},0,0,\dots,0\} \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}=\operatorname{E}[Z(Y-b)] \\ Q\operatorname{Cov}(\mathbf{X})Q^{\top} \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}=\operatorname{E}[Q(\mathbf{X}-\boldsymbol{\mu})(Y-b)] \\ \operatorname{Cov}(\mathbf{X})Q^{\top} \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)] \end{gather*}\]

所以\(Q^{\top} \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}\)满足预测方程，即：

\[\begin{equation*} L(Y|\mathbf{X})= \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}^{\top}Q(\mathbf{X}-\boldsymbol{\mu})+b= \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}^{\top}\mathbf{Z}+b=\alpha^{\top}\varepsilon+b \end{equation*}\]

(5)由(3)(4)和性质 6.3.4(2)立即可得。

(6)由(2)的证明过程可知若\(L(Y|\mathbf{X})=\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)是最佳线性预测，则对任意的\(\beta\in\mathbb{R}^{n}\)，有：

\[\begin{equation*} \operatorname{E}\{[Y-b-\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})]^2\}=\operatorname{E}[(Y-b)^2]+\operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\} \end{equation*}\]

若\(\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)也是最佳线性预测，由定义即可得：

\[\begin{equation*} \operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\}=0 \end{equation*}\]

由性质 5.4.2(9)可得此时\((\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})=\mathbf{0}\;\)a.e.，即

\[\begin{equation*} \alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b=\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})+b,\quad a.e. \end{equation*}\]

反之若上式成立，则由性质 5.4.2(9)可得此时上上式成立，根据定义即可得到\(\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)是最佳线性预测。

(7)此时预测方程有解\(\alpha=\mathbf{0}\)，由(2)(6)可知\(L(Y|\mathbf{X})=b\;\)a.e.。

(8)由最佳线性预测的定义和(6)立即可得。

(9)由性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{E}\{(\mathbf{X}-\boldsymbol{\mu})[Y-a^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]\}&=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]-\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})a^{\top}(\mathbf{X}-\boldsymbol{\mu}) \\ &=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]-\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})^{\top}\alpha] \\ &=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]-\operatorname{Cov}(\mathbf{X})\alpha=\mathbf{0} \end{align*}\]

上式即\(\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)，所以预测方程的解满足上式，由(5)(6)可立即得出结论。

(10)设\(\operatorname{E}(Y_i)=b_i\)，由(5)(2)可得\(L(Y_i|\mathbf{X})=\alpha_i^{\top}(\mathbf{X}-\boldsymbol{\mu})+b_i\)，其中\(\alpha_i\)是用\(\mathbf{X}\)对\(Y_i\)进行预测时的最佳线性预测的预测方程的解，由性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Cov}(\mathbf{X})\left(\sum_{i=1}^{n}k_i\alpha_i\right)&=\sum_{i=1}^{n}k_i\operatorname{Cov}(\mathbf{X})\alpha_i=\sum_{i=1}^{n}k_i\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y_i-b_i)] \\ &=\operatorname{E}\left\{(\mathbf{X}-\boldsymbol{\mu})\left[\sum_{i=1}^{n}k_i(Y_i-b_i)\right]\right\} =\operatorname{E}\left[(\mathbf{X}-\boldsymbol{\mu})\left(\sum_{i=1}^{n}k_iY_i-\sum_{i=1}^{n}b_i\right)\right] \end{align*}\]

由(2)(6)可立即得出结论。

(11)设\(\operatorname{E}(\mathbf{Z})=\boldsymbol{\nu},\;L(Y|\mathbf{X})=\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b,\;L(Y|\mathbf{Z})=\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})+b\)，由(9)可得：

\[\begin{equation*} \operatorname{E}\{(\mathbf{X}-\boldsymbol{\mu})[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]\}=\mathbf{0},\quad \operatorname{E}\{(\mathbf{Z}-\boldsymbol{\nu})[Y-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b]\}=\mathbf{0} \end{equation*}\]

由性质 5.4.3(6)可得：

\[\begin{align*} &\operatorname{E}\left\{\left[ \begin{pmatrix} \mathbf{X} \\ \mathbf{Z} \end{pmatrix}- \begin{pmatrix} \boldsymbol{\mu} \\ \boldsymbol{\nu} \end{pmatrix} \right][Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b]\right\} \\ &=\operatorname{E}\left[ \begin{pmatrix} (\mathbf{X}-\boldsymbol{\mu})[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b] \\ (\mathbf{Z}-\boldsymbol{\nu})[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b] \end{pmatrix} \right] \\ &=\operatorname{E}\left[ \begin{pmatrix} (\mathbf{X}-\boldsymbol{\mu})[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]-(\mathbf{X}-\boldsymbol{\mu})[\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b] \\ (\mathbf{Z}-\boldsymbol{\nu})[Y-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b]-(\mathbf{Z}-\boldsymbol{\nu})[\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b] \end{pmatrix} \right] \\ &=\operatorname{E}\left[ \begin{pmatrix} (\mathbf{X}-\boldsymbol{\mu})[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b] \\ (\mathbf{Z}-\boldsymbol{\nu})[Y-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b] \end{pmatrix} \right]+\operatorname{E}\left[ \begin{pmatrix} -(\mathbf{X}-\boldsymbol{\mu})[\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b] \\ -(\mathbf{Z}-\boldsymbol{\nu})[\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b] \end{pmatrix} \right] \\ &=\operatorname{E}\left[ \begin{pmatrix} -(\mathbf{X}-\boldsymbol{\mu})[\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})]+b(\mathbf{X}-\boldsymbol{\mu}) \\ -(\mathbf{Z}-\boldsymbol{\nu})[\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})]+b(\mathbf{X}-\boldsymbol{\mu}) \end{pmatrix} \right] \\ &=- \begin{pmatrix} \operatorname{Cov}(\mathbf{X},\mathbf{Z})\beta \\ \operatorname{Cov}(\mathbf{Z},\mathbf{X})\alpha \end{pmatrix}+ b \operatorname{E}\left[ \begin{pmatrix} \mathbf{X}-\boldsymbol{\mu} \\ \mathbf{Z}-\boldsymbol{\nu} \end{pmatrix} \right]=\mathbf{0} \end{align*}\]

于是由(9)可得\(L(Y|\mathbf{X},\mathbf{Z})=L(Y|\mathbf{X})+L(Y|\mathbf{Z})\)。

(12)令\(\mathbf{Z}=(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n-1}),\;\operatorname{E}(\mathbf{Z})=\boldsymbol{\nu}\)，由(8)可得：

\[\begin{equation*} \operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-\hat{Y})]=\mathbf{0},\quad\operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(Y-\tilde{Y})]=\mathbf{0} \end{equation*}\]

所以\(\operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(Y-\hat{Y})]=\mathbf{0}\)，于是由性质 5.4.3(6)可得：

\[\begin{equation*} \operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(Y-\tilde{Y})]-\operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(Y-\hat{Y})]\operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(Y-\tilde{Y}-Y+\hat{Y})]=\operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(\hat{Y}-\tilde{Y})]=\mathbf{0} \end{equation*}\]

所以\(L(\hat{Y}|\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n-1})=\tilde{Y}\)。因为\(\tilde{Y}\)也是对\(Y\)的线性预测，所以由最佳线性预测的定义可得\(\operatorname{E}[(Y-\hat{Y})^2]\leqslant\operatorname{E}[(Y-\tilde{Y})^2]\)。

(13)显然。 ◻

note 17.4. 注意最佳线性预测是无偏估计，所以它的均方误差就等于方差。均方误差与方差

17.5.1.1 样本最佳线性预测

Derivation 17.5. 预测任务为：给定\(x_1, x_2, \dots, x_{N}\)，要求预测\(x_{N+k}\)。若使用\(x_{N-n+1},x_{N-n+2},\dots,x_{N}\)，令\(\mathbf{X}=(X_{N-n+1},X_{N-n+2},\dots,X_N)^{\top},\;\operatorname{E}(X_t)=\mu,\;\hat{\mu}=\bar{x}_N\)，则此时的预测方程为：

\[\begin{gather*} \operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(X_{N+k}-\mu)] \\ \Gamma_n\alpha=[\gamma(n+k-1),\gamma(n+k-2),\dots,\gamma(k)]^{\top} \end{gather*}\]

样本预测方程为：

\[\begin{equation*} \hat{\Gamma}_n\alpha=[\hat{\gamma}(n+k-1),\hat{\gamma}(n+k-2),\dots,\hat{\gamma}(k)]^{\top} \end{equation*}\]

由定理 17.29(3)可知以\(\dfrac{1}{n}\)为分母构成的自协方差矩阵\(\hat{\Gamma}_n\)是正定的，根据定理 2.17(6)可知\(\hat{\Gamma}_n\)可逆，所以有\(\alpha=\hat{\Gamma}_n^{-1}[\hat{\gamma}(n+k-1),\hat{\gamma}(n+k-2),\dots,\hat{\gamma}(k)]^{\top}\)，最佳线性预测的预测值即为：

\[\begin{equation*} \hat{X}_{N+k}=\alpha^{\top}(x_{N-n+1}-\hat{\mu},x_{N-n+2}-\hat{\mu},\dots,x_{N}-\hat{\mu})^{\top}+\hat{\mu} \end{equation*}\]

此时必须满足\(N\leqslant n+k-1\)。

17.5.2 最佳预测

Definition 17.31. 设\(Y\)是方差有限的随机变量，\(\mathbf{X}=(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n})^{\top}\)是各分量方差有限的随机向量，令：

\[\begin{equation*} M=\overline{\operatorname{sp}}\left\{g(\mathbf{X})|\operatorname{E}[g^2(\mathbf{X})]<+\infty,\;g(\cdot)\text{是可测函数}\right\} \end{equation*}\]

称：

\[\begin{equation*} L(Y|M)=\mathcal{P}_M(\mathbf{X}) \end{equation*}\]

是用\(\mathbf{X}\)对\(Y\)进行预测时的最佳预测，其中\(\mathcal{P}_M\)是向\(M\)的投影算子。

Property 17.5.2. 设\(Y\)是方差有限的随机变量，\(\mathbf{X}=(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n})^{\top}\)是各分量方差有限的随机向量，\(\operatorname{E}(\mathbf{X})=\boldsymbol{\mu}\)。用\(\mathbf{X}\)对\(Y\)进行预测时的最佳预测具有如下性质：

1. 从方差的角度，最佳预测优于最佳线性预测；

2. 若\((\mathbf{X},Y)\sim\operatorname{N}_{n+1}(\boldsymbol{\mu},\Sigma)\)，则最佳预测\(L(Y|M)\)与最佳线性预测\(L(Y|\mathbf{X})\)相同。

证明. (1)写完高概回来修改这边，整个时间序列的Hilbert空间理论

(2)由性质 17.5.1(1)可得\(\operatorname{E}[Y-L(Y|\mathbf{X})]=0\)，显然有\(\operatorname{E}(\mathbf{X}-\boldsymbol{\mu})=\mathbf{0}\)。由性质 17.5.1(9)可得此时\(Y-L(Y|\mathbf{X})\)与\(\mathbf{X}-\boldsymbol{\mu}\)不相关，根据性质 6.4.6(8)可知\(Y-L(Y|\mathbf{X})\)与\(\mathbf{X}-\boldsymbol{\mu}\)独立，于是\(Y-L(Y|\mathbf{X})\)与\(M\)中的任何元素都独立。对任意的\(\alpha\in M\)，由性质 6.3.4(6)可得\(\operatorname{E}\{\alpha[Y-L(Y|\mathbf{X})]\}=\operatorname{E}(\alpha)\operatorname{E}[Y-L(Y|\mathbf{X})]=0\)，所以\(Y-L(Y|\mathbf{X})\perp M\)。因为\(L(Y|\mathbf{X})\in M\)，由最佳预测的定义可得\(L(Y|\mathbf{X})=L(Y|M)\)。 ◻

17.6 平稳序列的Wold表示

Definition 17.32. 设\(\{X_t\}\)是平稳序列，\(\operatorname{E}(X_t)=\mu\)，记：

\[\begin{equation*} \mathbf{X}_{t,n}=(X_t,X_{t-1},\dots,X_{t-n+1}),\quad\hat{X}_{t+k,n}=L(X_{t+k}|\mathbf{X}_{t,n}),\quad\sigma_{k,n}^2=\operatorname{E}[(X_{t+k}-\hat{X}_{t+k,n})^2] \end{equation*}\]

由性质 17.5.1(12)可得\(\sigma_{k,n}^2\)随着\(n\)的增大单调不增且有下界\(0\)，根据性质 3.2.9(7)定义：

\[\begin{equation*} \sigma_k^2=\lim_{n\to+\infty}\sigma_{k,n}^2 \end{equation*}\]

Property 17.6.1. 设\(\{X_t\}\)是平稳序列，\(\operatorname{E}(X_t)=\mu\)，则：

1. \(\sigma_k^2\)与\(t\)无关；

2. \(\sigma_k^2\geqslant\sigma_{k-1}^2\)。

证明. (1)设\(\alpha\)满足用\(\mathbf{X}_{t,n}\)预测\(X_{t+k}\)时的预测方程，因为\(\{X_t\}\)是平稳序列，所以\(\alpha=(a_1, a_2, \dots, a_{n})^{\top}\)与\(t\)无关。因为：

\[\begin{align*} &(X_{t+k}-\hat{X}_{t+k,n})^2=\left[X_{t+k}-\sum_{i=1}^{n}a_i(X_{t+1-i}-\mu)-\mu\right]^2 \\ =&(X_{t+k}-\mu)^2+\left[\sum_{i=1}^{n}a_i(X_{t+1-i}-\mu)\right]^2-\sum_{i=1}^{n}a_i(X_{t+1-i}-\mu)(X_{t+k}-\mu) \\ =&(X_{t+k}-\mu)^2+\sum_{i=1}^{n}a_i^2(X_{t+1-i}-\mu)^2+\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j(X_{t+1-i}-\mu)(X_{t+1-j}-\mu) \\ &-\sum_{i=1}^{n}a_i(X_{t+1-i}-\mu)(X_{t+k}-\mu) \end{align*}\]

由性质 5.4.3(6)可得：

\[\begin{equation*} \sigma_{k,n}^2=\operatorname{E}[(X_{t+k}-\hat{X}_{t+k,n})^2]=\sum_{i=1}^{n}(1+a_i^2)\gamma(0)+\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j\gamma(j-i)-\sum_{i=1}^{n}a_i\gamma(1-i-k) \end{equation*}\]

与\(t\)无关，所以\(\sigma_k^2\)与\(t\)也无关。

(2)由性质 17.5.1可得：

\[\begin{align*} \sigma_k^2&=\lim_{n\to+\infty}\operatorname{E}\{[X_{t+k}-L(X_{t+k}|\mathbf{X}_{t,n})]^2\} \\ &=\lim_{n\to+\infty}\operatorname{E}\{[X_{t+k-1}-L(X_{t+k-1}|\mathbf{X}_{t-1,n})]^2\} \\ &\geqslant\lim_{n\to+\infty}\operatorname{E}\{[X_{t+k-1}-L(X_{t+k-1}|\mathbf{X}_{t,n+1})]^2\}=\sigma_{k-1}^2 \end{align*}\]

◻

Definition 17.33. 设\(\{X_t\}\)是平稳序列。

1. 若\(\sigma_1^2=0\)，称\(\{X_t\}\)是决定性平稳序列；

2. 若\(\sigma_1^2>0\)，称\(\{X_t\}\)是非决定性平稳序列，并称\(\sigma_1^2\)为\(\{X_t\}\)的\(1\)步预测误差的方差；

3. 若\(\lim\limits_{k\to+\infty}\sigma_k^2=\gamma(0)\)，则称\(\{X_t\}\)是纯非决定性的。

note 17.5. 如果\(\{X_t\}\)是纯非决定性的，说明用充分多的历史对遥远的未来进行预测和用\(\mu\)对其进行预测的效果差不多，因为：

\[\begin{equation*} \operatorname{MSE}(X_t-\mu)=\operatorname{Var}(X_t)=\gamma(0)=\lim_{k\to+\infty}\sigma_k^2 \end{equation*}\]

即预测方差相近并且都为无偏估计。

Lemma 17.2. 设\(\{X_t\}\)是一个零均值平稳序列，令：

\[\begin{gather*} K_n=\left\{\sum_{i=0}^{m}c_iX_{n-i}:c_i\in\mathbb{R}^{},\;m\in\mathbb{N}^+\right\},\quad H_n=\overline{\operatorname{sp}}\{X_n,X_{n-1},X_{n-2},\cdots\} \end{gather*}\]

则对任意的\(\xi\in H_n\)，存在\(K_n\)中的点列\(\{\xi_n\}\)使得：

\[\begin{equation*} \lim_{n\to+\infty}\operatorname{E}[(\xi_n-\xi)^2]=0 \end{equation*}\]

证明. 用\(\overline{K}_n\)表示\(K_n\)中的随机变量和它们均方极限，只需证明\(\overline{K}_n=H_n\)。先证明\(\overline{K}_n\)是完备的。任取\(\overline{K}_n\)中的一个Cauchy点列\(\{x_n\}\)，因为未完成 ◻