第 15 章 时间序列分析

CHAPTER STATUS编写进度70%查看全书进度

15.1 平稳时间序列

Definition 15.1. 如果时间序列\(\{X_t\}=\{X_t:t\in\mathbb{N}\}\)满足：

1. 对任何的\(t\in\mathbb{N}\)，有\(\operatorname{E}(X_t^2)<+\infty\)；

2. 对任何的\(t\in\mathbb{N}\)，有\(\operatorname{E}(X_t)=\mu\)；

3. 对任何的\(t,s\in\mathbb{N}\)，有\(\operatorname{Cov}(X_t,X_s)=\operatorname{E}[(X_t-\mu)(X_s-\mu)]=\gamma(t-s)\)，其中\(\gamma(t-s)\)是\(t-s\)的实值函数，被称为\(\{X_t\}\)的自协方差函数（auto-covariance function）。

则称\(\{X_t\}\)是一个平稳时间序列（stationary time series）。

15.1.1 平稳时间序列的性质

15.1.1.1 线性变换

Theorem 15.1. 平稳时间序列\(\{X_t\}\)经过线性变换后得到的还是平稳时间序列。

证明. 只需证明\(\{Y_t=aX_t+b:t\in\mathbb{N}\}\)对任意的\(a,b\in\mathbb{R}\)是平稳时间序列。设\(\operatorname{E}(X_t)=\mu\)。

(1)对于线性变换后时间序列的期望，有：

\[\begin{equation*} \operatorname{E}(Y_t)=\operatorname{E}(aX_t+b)=a\mu+b \end{equation*}\]

(2)对于线性变换后时间序列的二阶原点矩，有：

\[\begin{equation*} \operatorname{E}(Y_t^2)=\operatorname{Var}(Y_t)+[\operatorname{E}(Y_t)]^2=a^2\gamma(0)+(a\mu+b)^2<+\infty \end{equation*}\]

(3)对于线性变换后时间序列的协方差，有：

\[\begin{equation*} \operatorname{Cov}(Y_t,Y_s)=\operatorname{E}[(aX_t+b-a\mu-b)(aX_s+b-a\mu-b)]=a^2\gamma(t-s) \end{equation*}\]

◻

15.1.1.2 平稳时间序列的谱函数

Definition 15.2. 设平稳时间序列\(\{X_t\}\)的自协方差函数为\(\gamma(n)\)。

1. 若存在\([-\pi,\pi]\)上单调不减且右连续的函数\(F(\lambda)\)使得：

   \[\begin{equation*} \gamma(n)=\int_{[-\pi,\pi]}e^{in\lambda}\mathop{}\!\mathrm{d}F(\lambda),\quad F(-\pi)=0,\;k\in\mathbb{Z} \end{equation*}\]

   则称\(F(\lambda)\)为\(\{X_t\}\)或\(\{\gamma(n)\}\)的谱分布函数（spectral distribution function），简称为谱函数；

2. 若存在\([-\pi,\pi]\)上的非负函数\(f(\lambda)\)使得：

   \[\begin{equation*} \gamma(n)=\int_{[-\pi,\pi]}f(\lambda)e^{in\lambda}\mathop{}\!\mathrm{d}\lambda,\quad n\in\mathbb{Z} \end{equation*}\]

   则称\(f(\lambda)\)为\(\{X_t\}\)或\(\{\gamma(n)\}\)的谱密度函数（spectral density function），简称为谱密度。

Theorem 15.2. （Herglotz theorem）

平稳时间序列的谱函数存在且唯一。

Theorem 15.3. 若平稳时间序列\(\{X_t\}\)的自协方差函数\(\{\gamma(n)\}\in l^1\)，则\(\{X_t\}\)有谱密度：

\[\begin{equation*} f(\lambda)=\frac{1}{2\pi}\sum_{n=-\infty}^{+\infty}\gamma(n)e^{-in\lambda} \end{equation*}\]

15.1.1.3 正交与不相关

Definition 15.3. 设\(\{X_t\}\)和\(\{Y_t\}\)是平稳时间序列。

1. 若对任何的\(s,t\in\mathbb{N}\)，有\(\operatorname{E}(X_tY_s)=0\)，则称\(\{X_t\}\)和\(\{Y_t\}\)正交。

2. 若对任何的\(s,t\in\mathbb{N}\)，有\(\operatorname{Cov}(X_t,Y_s)=0\)，则称\(\{X_t\}\)和\(\{Y_t\}\)不相关。

Theorem 15.4. 对于期望为\(0\)的平稳时间序列，正交性和不相关性等价。

证明. 若\(\mu=0\)，则：

\[\begin{equation*} \operatorname{Cov}(X_t,X_s)=\operatorname{E}[(X_t-\mu)(X_s-\mu)]=\operatorname{E}(X_tX_s) \end{equation*}\]

◻

Theorem 15.5. 设\(\gamma_X(t)\)和\(\gamma_Y(t)\)分别是平稳时间序列\(\{X_t\}\)和\(\{Y_t\}\)的自协方差函数。记\(\mu_X=\operatorname{E}(X_t),\;\mu_Y=\operatorname{E}(Y_t)\)，定义：

\[\begin{equation*} Z_t=X_t+Y_t,\;t\in\mathbb{N} \end{equation*}\]

则：

1. 若\(\{X_t\}\)和\(\{Y_t\}\)正交，则\(\{Z_t\}\)是平稳时间序列，有自协方差函数：

   \[\begin{equation*} \gamma_Z(t)=\gamma_X(t)+\gamma_Y(t)-2\mu_X\mu_Y,\;t\in\mathbb{N} \end{equation*}\]

2. 若\(\{X_t\}\)和\(\{Y_t\}\)不相关，则\(\{Z_t\}\)是平稳时间序列，有自协方差函数：

   \[\begin{equation*} \gamma_Z(t)=\gamma_X(t)+\gamma_Y(t),\;t\in\mathbb{N} \end{equation*}\]

证明. 因为对任意的\(t\in\mathbb{N}\)，有\((X_t+Y_t)^2\leqslant2X_t^2+2Y_t^2\)，所以：

\[\begin{equation*} \operatorname{E}(Z_t^2)\leqslant2\operatorname{E}(X_t^2)+2\operatorname{E}(Y_t^2)<+\infty \end{equation*}\]

显然：

\[\begin{equation*} \operatorname{E}(Z_t)=\operatorname{E}(X_t)+\operatorname{E}(Y_t)=\mu_X+\mu_Y \end{equation*}\]

与\(t\)无关。因为：

\[\begin{align*} \operatorname{Cov}(Z_t,Z_s) &=\operatorname{Cov}(X_t+Y_t,X_s+Y_s) \\ &=\operatorname{Cov}(X_t,X_s)+\operatorname{Cov}(X_t,Y_s)+\operatorname{Cov}(Y_t,X_s)+\operatorname{Cov}(Y_t,Y_s) \end{align*}\]

(1)由于\(\{X_t\}\)和\(\{Y_t\}\)正交，所以\(\operatorname{E}(X_tY_s)=\operatorname{E}(X_sY_t)=0\)，于是由性质 6.4.3(6)可得：

\[\begin{align*} \operatorname{Cov}(Z_t,Z_s) &=\gamma_X(t-s)+\gamma_Y(t-s)+\operatorname{E}(X_tY_s)-\operatorname{E}(X_t)\operatorname{E}(Y_s)+\operatorname{E}(X_sY_t)-\operatorname{E}(Y_t)\operatorname{E}(X_s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s)-2\mu_X\mu_Y \end{align*}\]

所以\(\operatorname{Cov}(Z_t,Z_s)\)只与\((t-s)\)有关。综上，\(\{Z_t\}\)是平稳时间序列，且

\[\begin{equation*} \gamma_Z(t)=\gamma_X(t)+\gamma_Y(t)-2\mu_X\mu_Y,\;t\in\mathbb{N} \end{equation*}\]

(2)因为\(\{X_t\}\)和\(\{Y_t\}\)不相关，所以\(\operatorname{Cov}(X_t,Y_s)=0=\operatorname{Cov}(Y_t,X_s)=0\)，于是：

\[\begin{equation*} \operatorname{Cov}(Z_t,Z_s)=\operatorname{Cov}(X_t,X_s)+\operatorname{Cov}(Y_t,Y_s)=\gamma_X(t-s)+\gamma_Y(t-s) \end{equation*}\]

所以\(\operatorname{Cov}(Z_t,Z_s)\)只与\((t-s)\)有关。综上，\(\{Z_t\}\)是平稳时间序列，且

\[\begin{equation*} \gamma_Z(t)=\gamma_X(t)+\gamma_Y(t),\;t\in\mathbb{N} \end{equation*}\]

◻

Theorem 15.6. 设\(\{X_t\}\)和\(\{Y_t\}\)是正交的平稳时间序列，且\(\operatorname{E}(X_t)=\operatorname{E}(Y_t)=0\)，\(c\)是常数，定义：

\[\begin{equation*} Z_t=X_t+Y_t+c,\quad t\in\mathbb{Z} \end{equation*}\]

1. 如果\(\{X_t\}\)和\(\{Y_t\}\)分别有谱函数\(F_X(\lambda)\)和\(F_Y(\lambda)\)，则平稳时间序列\(\{Z_t\}\)有谱函数\(F_Z(\lambda)=F_X(\lambda)+F_Y(\lambda)\)；

2. 如果\(\{X_t\}\)和\(\{Y_t\}\)分别有谱密度\(f_X(\lambda)\)和\(f_Y(\lambda)\)，则平稳时间序列\(\{Z_t\}\)有谱密度\(f_Z(\lambda)=f_X(\lambda)+f_Y(\lambda)\)。

证明. 有定理 15.4和定理 15.5可知\(\{Z_t\}\)是平稳时间序列且有自协方差函数：

\[\begin{equation*} \gamma_Z(n)=\gamma_X(n)+\gamma_Y(n) \end{equation*}\]

(1)此时有：

\[\begin{align*} \gamma_Z(n)&=\gamma_X(n)+\gamma_Y(n) \\ &=\int_{[-\pi,\pi]}e^{in\lambda}\mathop{}\!\mathrm{d}F_X(\lambda)+\int_{[-\pi,\pi]}e^{in\lambda}\mathop{}\!\mathrm{d}F_Y(\lambda) \\ &=\int_{[-\pi,\pi]}e^{in\lambda}\mathop{}\!\mathrm{d}[F_X(\lambda)+F_Y(\lambda)] \end{align*}\]

(2)此时有：

\[\begin{align*} \gamma_Z(n)&=\gamma_X(n)+\gamma_Y(n) \\ &=\int_{[-\pi,\pi]}f_X(\lambda)e^{in\lambda}\mathop{}\!\mathrm{d}\lambda+\int_{[-\pi,\pi]}f_Y(\lambda)e^{in\lambda}\mathop{}\!\mathrm{d}\lambda \\ &=\int_{[-\pi,\pi]}[f_X(\lambda)+f_Y(\lambda)]e^{in\lambda}\mathop{}\!\mathrm{d}\lambda \end{align*}\]

◻

15.1.1.4 自协方差函数

Property 15.1.1. 平稳时间序列的自协方差函数具有如下基本性质：

1. 对称性：\(\forall\;n\in\mathbb{N},\;\gamma(n)=\gamma(-n)\)；

2. 半正定性：对任意的\(n\in\mathbb{N}^+\)，\(n\)阶自协方差矩阵：

   \[\begin{equation*} \Gamma_n= \begin{pmatrix} \gamma(0) & \gamma(1) & \cdots & \gamma(n-1) \\ \gamma(1) & \gamma(0) & \cdots & \gamma(n-2) \\ \vdots & \vdots & \ddots & \vdots \\ \gamma(n-1) & \gamma(n-2) & \cdots & \gamma(0) \\ \end{pmatrix} \end{equation*}\]

   是半正定矩阵；

3. 有界性：\(|\gamma(n)|\leqslant|\gamma(0)|\)对所有的\(n\in\mathbb{N}\)成立。

证明. (1)由协方差的定义：

\[\begin{equation*} \gamma(n)=\operatorname{E}[(X_{t+n}-\mu)(X_t-\mu)]=\operatorname{E}[(X_t-\mu)(X_{t+n}-\mu)]=\gamma(-n) \end{equation*}\]

(2)任取\(n\)维实数向量\(\alpha=(a_1, a_2, \dots, a_{n})^{\top}\)，由性质 5.4.3(6)可得：

\[\begin{align*} a^{\top}\Gamma_na &=\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j\gamma_{i-j} \\ &=\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j\operatorname{E}[(X_i-\mu)(X_j-\mu)]\\ &=\operatorname{E}\left[\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j(X_i-\mu)(X_j-\mu)\right] \\ &=\operatorname{E}\left[\sum_{i=1}^{n}a_i(X_i-\mu)\right]^2\geqslant0 \end{align*}\]

(3)对任意的\(n\in \mathbb{N}\)，由不等式 1可得：

\[\begin{align*} |\gamma(n)| &=\Bigl|\operatorname{E}[(X_{n+1}-\mu)(X_1-\mu)]\Bigr| \\ &\leqslant\sqrt{\operatorname{E}[(X_{n+1}-\mu)^2]\operatorname{E}[(X_1-\mu)^2]} \\ &=\sqrt{\gamma(0)\gamma(0)}=|\gamma(0)| \end{align*}\]

◻

Definition 15.4. 任何满足上述三个基本性质的实数序列都被称为非负定序列。

Theorem 15.7. 设\(\Gamma_n\)是平稳时间序列\(\{X_t\}\)的\(n\)阶自协方差矩阵。

1. 如果\(\{X_t\}\)的谱密度\(f(\lambda)\)存在，则对任何的\(n\geqslant1\)，\(\Gamma_n\)正定；

2. 如果当\(n\to+\infty\)时有\(\gamma(n)\to0\)，则对任何的\(n\geqslant1\)，\(\Gamma_n\)正定。

证明. (1)任取\(n\)维实向量\(\alpha=(a_1, a_2, \dots, a_{n})^{\top}\ne\mathbf{0}\)， ◻

15.1.1.5 自相关函数

Definition 15.5. \(\{X_t\}\)是一个平稳时间序列，称平稳时间序列：

\[\begin{equation*} Y_t=\frac{X_t-\mu}{\sqrt{\gamma(0)}},\;t\in\mathbb{N} \end{equation*}\]

为\(\{X_t\}\)的标准化序列。称\(\{Y_t\}\)的自协方差函数\(\rho(t)\)为\(\{X_t\}\)的自相关函数（auto-correlation function）。因为自协方差函数都是非负定序列，所以\(\rho(t)\)也是非负定序列。

Theorem 15.8. 设\(\{X_t\}\)的自协方差函数为\(\gamma(t)\)，\(\{Y_t\}\)是\(\{X_t\}\)的标准化序列同时它的自协方差函数为\(\rho(t)\)，则：

\[\begin{equation*} \rho(t)=\frac{\gamma(t)}{\gamma(0)},\;t\in\mathbb{N} \end{equation*}\]

证明. 显然\(\mu_Y=\operatorname{E}(Y_t)=0\)，由自协方差函数的定义：

\[\begin{equation*} \rho(t)=\operatorname{E}[(Y_t-\mu_Y)(Y_0-\mu_Y)]=\operatorname{E}(Y_tY_0)=\operatorname{E}\left[\left(\frac{X_t-\mu}{\sqrt{\gamma(0)}}\right)\left(\frac{X_0-\mu}{\sqrt{\gamma(0)}}\right)\right]=\frac{\gamma(t)}{\gamma(0)} \end{equation*}\]

◻

15.1.1.6 线性相关

定义 16.1 Definition 15.6. 对于随机变量\(X_1, X_2, \dots, X_{n}\)，若存在非零的\(n\)维实向量\(\alpha=(a_1, a_2, \dots, a_{n})^{\top}\)使得：

\[\begin{equation*} \operatorname{Var}\left[\sum_{i=1}^{n}a_i(X_i-\mu)\right]=0 \end{equation*}\]

则称\(X_1, X_2, \dots, X_{n}\)线性相关。

引理 16.1 Lemma 15.1. 对称阵\(A\in M_{n}(\mathbb{R})\)退化的充分必要条件为存在\(\mathbb{R}^{n}\)中的非零向量\(\alpha\)使得\(\alpha^{\top}A\alpha=0\)。

证明. (1)充分性：由实对称矩阵的正交相似，有\(Q^{\top}AQ=B\)，其中\(Q\)是正交矩阵，\(B=\operatorname{diag}\{b_1,b_2,\dots,b_n\}\)是主对角线上为\(A\)特征值的对角矩阵。假设此时\(A\)可逆，则它的所有特征值都不为\(0\)（否则就有\(|A|=|Q^{\top}BQ|=|Q^{\top}|\;|B|\;|Q|=|B|=0\)）。由题设存在非零向量\(\alpha\)使得\(\alpha^{\top}A\alpha=0\)，因为\(Q\)是正交矩阵，所以\(Q^{-1}\)可逆，于是\(Q^{-1}x=\mathbf{0}\)只有零解，所以\(Q^{-1}\alpha\ne\mathbf{0}\)。设\(Q^{-1}\alpha=\beta=(y_1,y_2,\dots,y_n)^{\top}\)，则有：

\[\begin{equation*} \beta^{\top}B\beta=\alpha^{\top}(Q^{-1})^{\top}BQ^{-1}\alpha=\alpha^{\top}(Q^{\top})^{-1}BQ^{-1}\alpha=\alpha^{\top}A\alpha=0 \end{equation*}\]

注意到：

\[\begin{equation*} \beta^{\top}B\beta=\sum_{i=1}^{n}b_iy_i^2 \end{equation*}\]

所以有：

\[\begin{equation*} \sum_{i=1}^{n}b_iy_i^2=0 \end{equation*}\]

但是此时\(b_i\)都不是\(0\)，若上式成立需要\(y_i\)都为\(0\)，这就与\(\beta\ne\mathbf{0}\)矛盾，所以\(A\)退化。

(2)必要性：如果\(A\)退化，则存在非零向量\(\alpha\)使得\(A\alpha=\mathbf{0}\)，显然此时\(\alpha^{\top}A\alpha=0\)。 ◻

Theorem 15.9. \(\{X_t\}\)是一个平稳时间序列，\(\Gamma_n\)是\(\{X_t\}\)的\(n\)阶自协方差矩阵，则\(\Gamma_n\)退化的充要条件是对任意的\(t\in\mathbb{N}\)，\(X_{t+1},X_{t+2},\dots,X_{t+n}\)线性相关。

证明. 由引理 15.1可知\(\Gamma_n\)退化的充要条件是存在非零的\(n\)维实向量\(\alpha=(a_1, a_2, \dots, a_{n})^{\top}\)使得\(\alpha^{\top}\Gamma_n\alpha=0\)，而：

\[\begin{align*} \alpha^{\top}\Gamma_n\alpha &=\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j\operatorname{E}[(X_i-\mu)(X_j-\mu)] =\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j\operatorname{E}[(X_{t+i}-\mu)(X_{t+j}-\mu)] \\ &=\operatorname{E}\left[\sum_{i=1}^{n}a_i(X_{t+i}-\mu)\right]^2 =\operatorname{E}\left[\sum_{i=1}^{n}a_i(X_{t+i}-\mu)\right]^2+0 \\ &=\operatorname{E}\left[\sum_{i=1}^{n}a_i(X_{t+i}-\mu)\right]^2+\left\{\operatorname{E}\left[\sum_{i=1}^{n}a_i(X_{t+i}-\mu)\right]\right\}^2 =\operatorname{Var}\left[\sum_{i=1}^{n}a_i(X_{t+i}-\mu)\right] \end{align*}\]

由随机变量线性相关的定义结论得证。 ◻

Theorem 15.10. \(\{X_t\}\)是一个平稳时间序列，\(\Gamma_n\)是\(\{X_t\}\)的\(n\)阶自协方差矩阵。若\(\Gamma_n\)退化，只要\(m>n\)，则有\(\Gamma_m\)退化，也即若\(X_{t+1},X_{t+2},\dots,X_{t+n}\)线性相关，只要\(m>n\)，则有\(X_{t+1},X_{t+2},\dots,X_{t+m}\)线性相关。

证明. 由定义 15.6与定理 15.9可直接得出，只需在方差公式中取\(a_{n+1}=a_{n+2}=\cdots=a_{m}=0\)即可。 ◻

15.1.1.7 最小序列

Definition 15.7. 用\(L^2(X)\)表示平稳时间序列\(\{X_t\}\)中有限个随机变量线性组合的全体：

\[\begin{equation*} L^2(X)=\left\{\sum_{i=1}^{n}a_iX_{t_i}:a_i\in\mathbb{R},\;t_i\in\mathbb{Z},\;k\in\mathbb{N}^+\right\} \end{equation*}\]

Property 15.1.2. \(L^2(X)\)有如下性质：

1. \(L^2(X)\subset L^2\)；

2. 在\(L^2(X)\)中定义内积\((X,Y)=\operatorname{E}(XY)\)，则\(L^2(X)\)成为一个Hilbert空间。

Definition 15.8. 设\(\{X_t\}\)是平稳序列，用\(H_x\)表示\(L^2(X)\)，用\(H_x(s)\)表示\(\{X_t:t\ne s\}\)产生的Hilbert空间。若存在\(s\in\mathbb{Z}\)使得\(H_x\ne H_x(s)\)，则称\(\{X_t\}\)是最小序列。

Property 15.1.3. 设\(\{X_t\}\)是平稳序列，有谱密度\(f(\lambda)\)，则：

1. 若\(\{X_t\}\)是最小序列，则对所有的\(t\in\mathbb{Z}\)有\(H_x\ne H_x(s)\)；

2. \(\{X_t\}\)是最小序列的充分必要条件为：

   \[\begin{equation*} \int_{[-\pi,\pi]}\frac{\mathop{}\!\mathrm{d}\lambda}{f(\lambda)}<+\infty \end{equation*}\]

3. 若\(f(\lambda)\)连续且恒正，则\(\{X_t\}\)是最小序列。

15.1.1.8 长短记忆

Definition 15.9. 根据自协方差函数\(\gamma(n)\)收敛到\(0\)的速度将平稳时间序列\(\{X_t\}\)分为长记忆序列和短记忆序列。

对实数\(d<0.5\)，若：

\[\begin{equation*} \lim_{n\to+\infty}\frac{\gamma(n)}{n^{2d-1}}>0 \end{equation*}\]

即\(\gamma(n)\)与\(n^{2d-1}\)是同阶无穷小，则称\(\{X_t\}\)是长记忆序列。

15.1.2 线性平稳序列

15.1.2.1 白噪声

Definition 15.10. 设\(\{\varepsilon_t\}\)是一个平稳时间序列。如果对任何的\(s,t\in\mathbb{N}\)，有：

\[\begin{equation*} \operatorname{E}(\varepsilon_t)=\mu,\; \operatorname{Cov}(\varepsilon_t,\varepsilon_s)= \begin{cases} \sigma^2, & t=s \\ 0, & t\ne s \end{cases} \end{equation*}\]

则称\(\{\varepsilon_t\}\)是白噪声（white noise），记作WN\((\mu,\sigma^2)\)。当\(\{\varepsilon_t\}\)是独立序列时，称\(\{\varepsilon_t\}\)是独立白噪声；当\(\mu=0\)时，称\(\{\varepsilon_t\}\)是零均值白噪声；当\(\mu=0,\;\sigma^2=1\)时，称\(\{\varepsilon_t\}\)是标准白噪声；当\(\varepsilon_t\)服从正态分布时，称\(\{\varepsilon_t\}\)是正态白噪声。

15.1.2.2 有限滑动平均

Definition 15.11. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)。称：

\[\begin{equation*} X_t=a_0\varepsilon_t+a_1\varepsilon_{t-1}+\cdots+a_q\varepsilon_{t-q} \end{equation*}\]

是白噪声\(\{\varepsilon_t\}\)的有限滑动平均（finite moving average），其中\(q\in\mathbb{N}\)，\(a_0,a_1,\dots,a_q\)为常数。

Theorem 15.11. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)，则该白噪声的有限滑动平均：

\[\begin{equation*} X_t=a_0\varepsilon_t+a_1\varepsilon_{t-1}+\cdots+a_q\varepsilon_{t-q} \end{equation*}\]

构成的序列\(\{X_t\}\)具有如下均值与自协方差函数：

\[\begin{equation*} \operatorname{E}(X_t)=0,\; \gamma(n)= \begin{cases} \sigma^2\sum\limits_{i=0}^{q-n}a_ia_{i+n}, & 0\leqslant n\leqslant q \\ 0, & n>q \end{cases},\;t,n\in\mathbb{Z} \end{equation*}\]

证明. 由有限滑动平均的定义，对于\(\{X_t\}\)的期望有：

\[\begin{equation*} \operatorname{E}(X_t)=\operatorname{E}\left(\sum_{i=0}^{q}a_i\varepsilon_{t-i}\right)=\sum_{i=0}^{q}a_i\operatorname{E}(\varepsilon_{t-i})=0,\;t\in\mathbb{Z} \end{equation*}\]

对于\(\{X_t\}\)的自协方差函数，当\(n>q\)时，\(t+n-i>t-j\)恒成立，由白噪声的定义可得\(\operatorname{E}(\varepsilon_{t+n-i}\varepsilon_{t-j})=0,\;\forall\;i,j=0,1,2,\dots,q\)，于是\(\gamma(n)=0\)。当\(0\leqslant n\leqslant q\)时，有：

\[\begin{align*} \gamma(n) &=\operatorname{E}(X_{t+n}X_t) \\ &=\operatorname{E}[(a_{n}\varepsilon_{t}+a_{n+1}\varepsilon_{t-1}+\cdots+a_{q}\varepsilon_{t+n-q})(a_0\varepsilon_t+a_1\varepsilon_{t-1}+\cdots+a_{q-n}\varepsilon_{t+n-q})] \\ &=\operatorname{E}(a_na_0\varepsilon_t^2+a_{n+1}a_1\varepsilon_{t-1}^2+\cdots+a_qa_{q-n}\varepsilon_{t+n-q}^2) \\ &=\sum_{i=0}^{q-n}a_ia_{i+n}\operatorname{E}(\varepsilon_{t-i}^2) =\sum_{i=0}^{q-n}a_ia_{i+n}\sigma^2 \end{align*}\]

综上可得：

\[\begin{equation*} \gamma(n)= \begin{cases} \sigma^2\sum\limits_{i=0}^{q-n}a_ia_{i+n}, & 0\leqslant n\leqslant q \\ 0, & n>q \end{cases},\;n\in\mathbb{N} \end{equation*}\]

◻

15.1.2.3 单边滑动平均

Definition 15.12. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)。称：

\[\begin{equation*} X_t=\sum_{i=0}^{+\infty}a_i\varepsilon_{t-i},\;t\in\mathbb{Z} \end{equation*}\]

是白噪声\(\{\varepsilon_t\}\)的单边滑动平均，其中\(a_0,a_1,\dots\)为常数。它表明当前的观测\(X_t\)只与\(t\)时刻以及之前时刻的白噪声相关，与\(t\)时刻之后的白噪声无关。

15.1.2.4 无穷滑动平均

Definition 15.13. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)，\(\{a_n\}\in l^1\)。称：

\[\begin{equation*} X_t=\sum_{i=-\infty}^{+\infty}a_i\varepsilon_{t-i} \end{equation*}\]

是白噪声\(\{\varepsilon_t\}\)的无穷滑动平均（infinite moving average）。

Theorem 15.12. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)，则该白噪声的无穷滑动平均：

\[\begin{equation*} X_t=\sum_{i=-\infty}^{+\infty}a_i\varepsilon_{t-i} \end{equation*}\]

构成的序列\(\{X_t\}\)是平稳序列且具有如下均值与自协方差函数：

\[\begin{equation*} \operatorname{E}(X_t)=0,\;\gamma(n)=\sigma^2\sum_{i=-\infty}^{+\infty}a_ia_{i+n} \end{equation*}\]

证明. 由性质 5.4.2(4)(10)可得：

\[\begin{align*} \operatorname{E}\left(\sum_{i=-\infty}^{+\infty}|a_i\varepsilon_{t-i}|\right)&=\operatorname{E}\left[\lim_{n\to+\infty}\left(\sum_{i=-n}^{n}|a_i||\varepsilon_{t-i}|\right)\right]=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{i=-n}^{n}|a_i||\varepsilon_{t-i}|\right) \\ &=\lim_{n\to+\infty}\left[\sum_{i=-n}^{n}|a_i|\operatorname{E}(|\varepsilon_{t-i})\right]=\sum_{i=-\infty}^{+\infty}|a_i|\operatorname{E}(|\varepsilon_{t-i}) \end{align*}\]

由不等式 1可得：

\[\begin{equation*} \operatorname{E}(|\varepsilon_{t-i}|)=\Big|\operatorname{E}(|\varepsilon_{t-i}|\cdot1)\Big|\leqslant\sqrt{\operatorname{E}(\varepsilon_{t-i}^2)\operatorname{E}(1)}=\sigma \end{equation*}\]

于是：

\[\begin{equation*} \operatorname{E}\left(\sum_{i=-\infty}^{+\infty}|a_i\varepsilon_{t-i}|\right)=\sum_{i=-\infty}^{+\infty}|a_i|\operatorname{E}(|\varepsilon_{t-i}|)\leqslant\sigma\sum_{i=-\infty}^{+\infty}|a_i|<+\infty \end{equation*}\]

由性质 5.4.2(8)可得对任意的\(t\in\mathbb{Z}\)，\(X_t\;\)a.e.有限，即：

\[\begin{equation*} X_t=\sum_{i=-\infty}^{+\infty}a_i\varepsilon_{t-i} \end{equation*}\]

右式a.e.收敛。取控制函数\(\sum\limits_{i=-\infty}^{+\infty}|a_i\varepsilon_{t-i}|\)，由定理 5.25和性质 5.4.3(6)可得

\[\begin{equation*} \operatorname{E}(X_t)=\operatorname{E}\left[\lim_{n\to+\infty}\left(\sum_{i=-n}^{n}a_i\varepsilon_{t-i}\right)\right]=\lim_{n\to+\infty}\left[\operatorname{E}\left(\sum_{i=-n}^{n}a_i\varepsilon_{t-i}\right)\right]=0 \end{equation*}\]

对\(t,s\in\mathbb{Z}\)定义：

\[\begin{equation*} \varphi_n=\sum_{i=-n}^{n}a_i\varepsilon_{t-i},\quad\psi_n=\sum_{j=-n}^{n}a_j\varepsilon_{s-j} \end{equation*}\]

则有\(\varphi_n\psi_n\to X_tX_s\)，因为对任意的\(t,s\in\mathbb{Z}\)，\(X_t\;\)a.e.有限，所以\(X_tX_s\;\)a.e.有限。由性质 5.4.2(4)(10)可得：

\[\begin{align*} \operatorname{E}\left(\sum_{i=-\infty}^{+\infty}\sum_{j=-\infty}^{+\infty}|a_ia_j\varepsilon_{t-i}\varepsilon_{s-j}|\right)=\sum_{i=-\infty}^{+\infty}\sum_{j=-\infty}^{+\infty}|a_ia_j|\operatorname{E}(|\varepsilon_{t-i}\varepsilon_{s-j}|) \end{align*}\]

由不等式 1可得：

\[\begin{equation*} \operatorname{E}(|\varepsilon_{t-i}\varepsilon_{s-j}|)=\Big|\operatorname{E}(|\varepsilon_{t-i}\varepsilon_{s-j}|)\Big|\leqslant\sqrt{\operatorname{E}(\varepsilon_{t-i}^2)\operatorname{E}(\varepsilon_{s-j}^2)}=\sigma^2 \end{equation*}\]

于是：

\[\begin{equation*} \operatorname{E}\left(\sum_{i=-\infty}^{+\infty}\sum_{j=-\infty}^{+\infty}|a_ia_j\varepsilon_{t-i}\varepsilon_{s-j}|\right)\leqslant\sigma^2\sum_{i=-\infty}^{+\infty}\sum_{j=-\infty}^{+\infty}|a_ia_j|=\sigma^2\left(\sum_{i=-\infty}^{+\infty}|a_i|\right)^2<+\infty \end{equation*}\]

取控制函数\(\sum\limits_{i=-\infty}^{+\infty}\sum\limits_{j=-\infty}^{+\infty}|a_ia_j\varepsilon_{t-i}\varepsilon_{s-j}|\)，由定理 5.25和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Cov}(X_t,X_s)&=\operatorname{E}(X_tX_s)=\operatorname{E}\left(\lim_{n\to+\infty}\varphi_n\psi_n\right)=\lim_{n\to+\infty}\operatorname{E}(\varphi_n\psi_n) \\ &=\lim_{n\to+\infty}\operatorname{E}\left[\left(\sum_{i=-n}^{n}a_i\varepsilon_{t-i}\right)\left(\sum_{j=-n}^{n}a_j\varepsilon_{s-j}\right)\right] \\ &=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{i=-n}^{n}\sum_{j=-n}^{n}a_ia_j\varepsilon_{t-i}\varepsilon_{s-j}\right) \\ &=\lim_{n\to+\infty}\left[\sum_{i=-n}^{n}\sum_{j=-n}^{n}a_ia_j\operatorname{E}(\varepsilon_{t-i}\varepsilon_{s-j})\right] \\ &=\sum_{i=-\infty}^{+\infty}a_ia_{i-(t-s)}\sigma^2=\sigma^2\sum_{i=-\infty}^{+\infty}a_ia_{i+(t-s)} \end{align*}\]

上式最后一步是因为\(t-i=s-j\)时期望才不为\(0\)，并且\(n\)是逐渐变大趋于无穷，所以也不用考虑\(n\)为定值时\(t,s\)相差过大导致索引越界的问题。由协方差公式可以看出其只与\(t-s\)相关。

注意到：

\[\begin{equation*} \operatorname{Var}(X_t)=\sigma^2\sum_{i=-\infty}^{+\infty}a_i^2 \end{equation*}\]

因为\(l^1\subset l^2\)，\(\{a_n\}\in l^1\)，所以上式也收敛。

综上，\(\{X_t\}\)是一个平稳序列。 ◻

15.1.2.5 线性平稳序列

Definition 15.14. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)，\(\{a_n\}\in l^2\)。称：

\[\begin{equation*} X_t=\sum_{i=-\infty}^{+\infty}a_i\varepsilon_{t-i} \end{equation*}\]

构成的序列\(\{X_t\}\)为线性平稳序列（linearly stationary series）。

一

Property 15.1.4. \(\{\varepsilon_t\}=\{\varepsilon_t:t\in\mathbb{Z}\}\)是\(WN(0,\sigma^2)\)，\(\{a_n\}\in l^2\)。线性平稳序列：

\[\begin{equation*} X_t=\sum_{i=-\infty}^{+\infty}a_i\varepsilon_{t-i} \end{equation*}\]

具有如下性质：

1. 线性平稳序列是平稳序列，且有：

   \[\begin{equation*} \operatorname{E}(X_t)=0,\;\gamma(n)=\sigma^2\sum_{i=-\infty}^{+\infty}a_ia_{i+n} \end{equation*}\]

2. 对于自协方差函数\(\gamma(n)\)，有：

   \[\begin{equation*} \lim_{n\to\infty}\gamma(n)=0 \end{equation*}\]

3. 线性平稳序列的谱密度为（\(\{a_n\}\)为实数列）：

   \[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=-\infty}^{+\infty}a_je^{ij\lambda}\right|^2,\quad\lambda\in[-\pi,\pi] \end{equation*}\]

4. 自协方差矩阵\(\Gamma_n\)是正定矩阵；

证明. (1)在\(L^2\)空间中定义内积\((X,Y)=\operatorname{E}(XY)\)，定义：

\[\begin{equation*} \varphi_n=\sum_{i=-n}^{n}a_i\varepsilon_{t-i} \end{equation*}\]

则对\(m<n,\;n\to+\infty\)有：

\[\begin{equation*} ||\varphi_n-\varphi_m||^2=\left\|\sum_{i=m+1}^{n}a_i\varepsilon_{t-i}+\sum_{i=-n}^{-m-1}a_i\varepsilon_{t-i}\right\|^2=\sigma^2\left(\sum_{i=m+1}^{n}a_i^2+\sum_{i=-n}^{-m-1}a_i^2\right)\to0 \end{equation*}\]

由定理 5.29可知\(X_t\in L_2\)。由内积的连续性和性质 5.4.3(6)可得：

\[\begin{gather*} \operatorname{E}(X_t)=(X_t,1)=\lim_{n\to+\infty}(\varphi_n,1)=\lim_{n\to+\infty}\operatorname{E}(\varphi_n)=0 \\ \begin{aligned} \operatorname{Cov}(X_t,X_s)&=\operatorname{E}(X_tX_s)=\lim_{n\to+\infty}\left(\sum_{i=-n}^{n}a_i\varepsilon_{t-i},\sum_{i=-n}^{n}a_i\varepsilon_{s-i}\right) \\ &=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{i=-n}^{n}a_i\varepsilon_{t-i}\sum_{j=-n}^{n}a_j\varepsilon_{s-j}\right)=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{i=-n}^{n}\sum_{j=-n}^{n}a_ia_j\varepsilon_{t-i}\varepsilon_{s-j}\right) \\ &=\sigma^2\sum_{i=-\infty}^{+\infty}a_ia_{i+(t-s)} \end{aligned} \end{gather*}\]

上式倒数第二步到最后一步和定理 15.12中是一样的，同时平稳性的分析也与之一样，故省略。

(2)由不等式 1可得：

\[\begin{align*} |\gamma(n)| &=\sigma^2\Bigl|\sum_{i=-\infty}^{+\infty}a_ia_{i+n}\Bigr| \leqslant\sigma^2\sum_{i=-\infty}^{+\infty}|a_ia_{i+n}| \\ &=\sigma^2\sum_{|i|\leqslant n/2}|a_i||a_{i+n}|+\sigma^2\sum_{|i|> n/2}|a_i||a_{i+n}| \\ &\leqslant\sigma^2\left(\sum_{|i|\leqslant n/2}a_i^2\sum_{|i|\leqslant n}a_{i+n}^2\right)^\frac{1}{2}+\sigma^2\left(\sum_{|i|>n/2}a_i^2\sum_{|i|>n}a_{i+n}^2\right)^\frac{1}{2} \\ &\leqslant\sigma^2\left(\sum_{i=-\infty}^{+\infty}a_i^2\sum_{|i|\leqslant n/2}a_{i+n}^2\right)^\frac{1}{2}+\sigma^2\left(\sum_{i=-\infty}^{+\infty}a_i^2\sum_{|i|>n/2}a_{i+n}^2\right)^\frac{1}{2} \end{align*}\]

注意到\(|i|\leqslant\dfrac{n}{2}\)时\(\dfrac{n}{2}\leqslant i+n\leqslant\dfrac{3n}{2}\)，所以有：

\[\begin{equation*} \sum_{|i|\leqslant n/2}a_{i+n}^2\leqslant\sum_{|i|>n/2}a_{i}^2 \end{equation*}\]

结合\(\{a_n\}\in l^2\)即可得：

\[\begin{equation*} |\gamma(n)|\leqslant2\sigma^2\left(\sum_{i=-\infty}^{+\infty}a_i^2\sum_{|i|>n/2}a_{i}^2\right)^\frac{1}{2}=2\sigma^2\left(\sum_{i=-\infty}^{+\infty}a_i^2\right)^{\frac{1}{2}}\left(\sum_{|i|>n/2}a_{i}^2\right)^{\frac{1}{2}}\to0 \end{equation*}\]

(3)设随机变量\(Y\)在\([-\pi,\pi]\)上服从均匀分布，定义\(\varepsilon_n=e^{inY},\;n\in\mathbb{Z}\)，于是有：

\[\begin{gather*} \begin{aligned} \operatorname{E}(\varepsilon_n)&=\int_{[-\pi,\pi]}\frac{1}{2\pi}e^{iny}\mathop{}\!\mathrm{d}y=\frac{e^{in\pi}-e^{-in\pi}}{2\pi in} \\ &=\frac{\cos(n\pi)+i\sin(n\pi)-\cos(-n\pi)-i\sin(-n\pi)}{2\pi in} \\ &=\frac{2i\sin(n\pi)}{2\pi in}=0,\quad n\ne0 \end{aligned} \\ \operatorname{E}(\varepsilon_n)=\int_{[-\pi,\pi]}\frac{1}{2\pi}\mathop{}\!\mathrm{d}y=1,\quad n=0 \\ \begin{aligned} \operatorname{E}(\varepsilon_n\overline{\varepsilon}_m)&=\operatorname{E}(e^{i(n-m)Y})=\int_{[-\pi,\pi]}\frac{1}{2\pi}e^{i(n-m)y}\mathop{}\!\mathrm{d}y=\frac{e^{i(n-m)\pi}-e^{-i(n-m)\pi}}{2\pi i(n-m)} \\ &=\frac{\cos[(n-m)\pi]+i\sin[(n-m)\pi]-\cos[-(n-m)\pi]-i\sin[-(n-m)\pi]}{2\pi i(n-m)} \\ &=\frac{2i\sin[(n-m)\pi]}{2\pi i(n-m)}=0,\quad n\ne m \end{aligned} \\ \operatorname{E}(\varepsilon_n\overline{\varepsilon}_m)=\operatorname{E}(e^{i(n-m)y})=\int_{[-\pi,\pi]}\frac{1}{2\pi}\mathop{}\!\mathrm{d}y=1,\quad n=m \end{gather*}\]

即：

\[\begin{equation*} \operatorname{E}(\varepsilon_n)=\delta_n,\quad\operatorname{E}(\varepsilon_n\overline{\varepsilon}_m)=\delta_{n-m},\qquad n,m\in\mathbb{Z} \end{equation*}\]

令：

\[\begin{equation*} Z_n=\sum_{j=-\infty}^{+\infty}a_j\varepsilon_{n-j}=\sum_{j=-\infty}^{+\infty}a_je^{i(n-j)Y},\quad n\in\mathbb{Z} \end{equation*}\]

由内积的连续性和性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{E}(Z_n)&=(Z_n,1)=\left(\sum_{j=-\infty}^{+\infty}a_j\varepsilon_{n-j},1\right)=\left[\lim_{k\to+\infty}\left(\sum_{j=k}^{-k}a_j\varepsilon_{n-j}\right),1\right] \\ &=\lim_{k\to+\infty}\left(\sum_{j=-k}^{k}a_j\varepsilon_{n-j},1\right)=\lim_{k\to+\infty}\operatorname{E}\left(\sum_{j=-k}^{k}a_j\varepsilon_{n-j}\right) \\ &=\lim_{k\to+\infty}\left[\sum_{j=-k}^{k}\operatorname{E}(a_j\varepsilon_{n-j})\right]=a_n \end{align*}\]

\[\begin{align*} \operatorname{E}(Z_n\overline{Z}_m)&=(Z_n,Z_m)=\left(\sum_{j=-\infty}^{+\infty}a_j\varepsilon_{n-j},\sum_{j=-\infty}^{+\infty}a_j\varepsilon_{m-j}\right) \\ &=\left[\lim_{k\to+\infty}\left(\sum_{j=-k}^{k}a_j\varepsilon_{n-j}\right),\lim_{k\to+\infty}\left(\sum_{j=-k}^{k}a_j\varepsilon_{m-j}\right)\right] \\ &=\lim_{k\to+\infty}\left(\sum_{j=-k}^{k}a_j\varepsilon_{n-j},\sum_{j=-k}^{k}a_j\varepsilon_{m-j}\right)=\lim_{k\to+\infty}\operatorname{E}\left(\sum_{j=-k}^{k}a_j\varepsilon_{n-j}\sum_{l=-k}^{k}a_l\varepsilon_{m-l}\right) \\ &=\lim_{k\to+\infty}\operatorname{E}\left(\sum_{j=-k}^{k}\sum_{l=-k}^{k}a_j\varepsilon_{n-j}a_l\varepsilon_{m-l}\right)=\sum_{j=-\infty}^{+\infty}a_ja_{j+(n-m)} \end{align*}\]

另一方面又有：

\[\begin{align*} \operatorname{E}(Z_n\overline{Z}_m)&=\operatorname{E}\left[\left(\sum_{j=-\infty}^{+\infty}a_je^{i(n-j)Y}\right)\left(\sum_{k=-\infty}^{+\infty}a_ke^{-i(m-k)Y}\right)\right] \\ &=\frac{1}{2\pi}\int_{[-\pi,\pi]}\left(\sum_{j=-\infty}^{+\infty}a_je^{i(n-j)y}\right)\left(\sum_{k=-\infty}^{+\infty}a_ke^{-i(m-k)y}\right)\mathop{}\!\mathrm{d}y \\ &=\frac{1}{2\pi}\int_{[-\pi,\pi]}\left(\sum_{j=-\infty}^{+\infty}a_je^{-ijy}\right)\left(\sum_{k=-\infty}^{+\infty}a_ke^{iky}\right)e^{i(n-m)y}\mathop{}\!\mathrm{d}y \\ &\frac{1}{2\pi}=\int_{[-\pi,\pi]}\left|\sum_{j=-\infty}^{+\infty}a_je^{-ijy}\right|^2e^{i(n-m)y}\mathop{}\!\mathrm{d}y \end{align*}\]

所以有：

\[\begin{gather*} \sum_{j=-\infty}^{+\infty}a_ja_{j+(n-m)}=\frac{1}{2\pi}\int_{[-\pi,\pi]}\left|\sum_{j=-\infty}^{+\infty}a_je^{-ijy}\right|^2e^{i(n-m)y}\mathop{}\!\mathrm{d}y \\ \sigma^2\sum_{j=-\infty}^{+\infty}a_ja_{j+n}=\frac{\sigma^2}{2\pi}\int_{[-\pi,\pi]}\left|\sum_{j=-\infty}^{+\infty}a_je^{-ijy}\right|^2e^{iny}\mathop{}\!\mathrm{d}y \end{gather*}\]

由(1)可得：

\[\begin{equation*} \gamma(n)=\frac{\sigma^2}{2\pi}\int_{[-\pi,\pi]}\left|\sum_{j=-\infty}^{+\infty}a_je^{-ijy}\right|^2e^{iny}\mathop{}\!\mathrm{d}y \end{equation*}\]

所以有：

\[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=-\infty}^{+\infty}a_je^{-ij\lambda}\right|^2=\frac{\sigma^2}{2\pi}\left|\sum_{j=-\infty}^{+\infty}a_je^{ij\lambda}\right|^2 \end{equation*}\]

(4)由(3)和定理 15.7立即可得。 ◻

15.2 线性差分方程理论

15.2.1 差分与位移

Definition 15.15. 设\(f(x)\)是定义在\(\mathbb{R}\)上的函数，称\(\Delta f(x)=f(x)-f(x-1)\)为\(f(x)\)在\(x\)处的\(1\)阶差分，称\(\Delta\)为差分算子，对\(n-1\)阶差分后的函数再进行一次\(1\)阶差分运算称为\(n\)阶差分，记\(\Delta^nf(x)\)为\(f(x)\)的\(n\)阶差分，则：

\[\begin{equation*} \Delta^nf(x)=\Delta^{n-1}f(x)-\Delta^{n-1}f(x-1) \end{equation*}\]

将\(\mathcal{B}f(x)=f(x-1)\)称为\(f(x)\)在\(x\)处的\(1\)步位移，称\(\mathcal{B}\)为位移算子，对\(n-1\)步位移后的函数再进行一次\(1\)步位移运算称为\(n\)步位移，记\(\mathcal{B}^nf(x)\)为\(f(x)\)的\(n\)步位移，则：

\[\begin{equation*} \mathcal{B}^nf(x)=f(x-n) \end{equation*}\]

Property 15.2.1. 设\(f(x),g(x)\)为定义在\(\mathbb{R}\)上的函数，\(\alpha,\beta\)是任意常数，\(\mathcal{B}\)为位移算子。差分算子\(\Delta\)和位移算子\(\mathcal{B}\)具有如下性质：

1. 差分算子是线性算子，即：

   \[\begin{equation*} \Delta[\alpha f(x)+\beta g(x)]=\alpha\Delta f(x)+\beta\Delta g(x) \end{equation*}\]

2. \(\Delta[f(x)g(x)]=\Delta f(x)g(x)+\Delta g(x)\mathcal{B}f(x)\)；

3. \(\Delta\left[\dfrac{f(x)}{g(x)}\right]=\dfrac{\Delta f(x)\mathcal{B}g(x)-\Delta g(x)\mathcal{B}f(x)}{g(x)\mathcal{B}g(x)}\)；

4. \(\mathcal{B}\alpha=\alpha\)；

5. 位移算子是线性算子，即：

   \[\begin{equation*} \mathcal{B}[\alpha f(x)+\beta g(x)]=\alpha\mathcal{B}f(x)+\beta\mathcal{B}g(x) \end{equation*}\]

6. 对于多项式\(\varphi(x)=\sum\limits_{i=0}^{m}a_ix^i,\;\psi(x)=\sum\limits_{i=0}^{n}b_ix^i\)的乘积\(A(x)=\varphi(x)\psi(x)\)，有：

   \[\begin{equation*} A(\mathcal{B})f(x)=\varphi(\mathcal{B})[\psi(\mathcal{B})f(x)]=\psi(\mathcal{B})[\varphi(\mathcal{B})f(x)] \end{equation*}\]

7. 差分算子与位移算子具有如下关系：

   \[\begin{gather*} \Delta^n=(I-\mathcal{B})^n=\sum_{i=0}^{n}\binom{n}{i}(-1)^i\mathcal{B}^i \\ \mathcal{B}^n=(I-\Delta)^n=\sum_{i=0}^{n}\binom{n}{i}(-1)^i\Delta^i \\ \Delta\mathcal{B}=\mathcal{B}\Delta \end{gather*}\]

证明. (1)(4)(5)(7)是显然的。

(2)注意到：

\[\begin{align*} \Delta[f(x)g(x)]&=f(x)g(x)-f(x-1)g(x-1) \\ &=f(x)g(x)-f(x-1)g(x)+g(x)f(x-1)-g(x-1)f(x-1) \\ &=[f(x)-f(x-1)]g(x)+[g(x)-g(x-1)]f(x-1) \\ &=\Delta f(x)g(x)+\Delta g(x)\mathcal{B}f(x) \end{align*}\]

(3)注意到：

\[\begin{align*} \Delta\left[\frac{f(x)}{g(x)}\right] &=\frac{f(x)}{g(x)}-\frac{f(x-1)}{g(x-1)} =\frac{f(x)g(x-1)-f(x-1)g(x)}{g(x)g(x-1)} \\ &=\frac{f(x)g(x-1)-f(x-1)g(x-1)+f(x-1)g(x-1)-f(x-1)g(x)}{g(x)\mathcal{B}g(x)} \\ &=\frac{[f(x)-f(x-1)]g(x-1)-[g(x)-g(x-1)]f(x-1)}{g(x)\mathcal{B}g(x)} \\ &=\frac{\Delta f(x)\mathcal{B}g(x)-\Delta g(x)\mathcal{B}f(x)}{g(x)\mathcal{B}g(x)} \end{align*}\]

(6)注意到：

\[\begin{equation*} A(x)=\varphi(x)\psi(x)=\left(\sum_{i=0}^{m}a_ix^i\right)\left(\sum_{i=0}^{n}b_ix^i\right)=\sum_{i=0}^{m}\sum_{j=0}^{n}a_ib_j x^{i+j} \end{equation*}\]

所以：

\[\begin{align*} A(\mathcal{B})f(x)&=\sum_{i=0}^{m}\sum_{j=0}^{n}a_ib_j\mathcal{B}^{i+j}f(x) =\sum_{i=0}^{m}\sum_{j=0}^{n}a_ib_j \mathcal{B}^i\mathcal{B}^j f(x) \\ &=\sum_{i=0}^{m}a_i\mathcal{B}^i\left[\sum_{j=0}^{n}b_j\mathcal{B}^j f(x)\right] =\varphi(\mathcal{B})[\psi(\mathcal{B})f(x)] \end{align*}\]

同理可证\(A(\mathcal{B})f(x)=\psi(\mathcal{B})[\varphi(\mathcal{B})f(x)]\)。 ◻

15.2.2 线性差分方程

Definition 15.16. 称方程：

\[\begin{equation*} x_m+a_1(m)x_{m-1}+a_2(m)x_{m-2}+\cdots+a_n(m)x_{m-n}=f(m) \end{equation*}\]

为关于\(\{x_m\}\)的\(n\)阶线性差分方程，其中\(f(x),a_1(x),a_2(x),\dots,a_n(x)\)为定义在\(\mathbb{Z}\)上的函数，且\(a_n(x)\ne0\)在\(x\in\mathbb{Z}\)恒成立。当\(f(x)=0\)时，称上述方程为关于\(\{x_m\}\)的\(n\)阶齐次线性差分方程。

note 15.1. 这里的线性指的是方程关于\(\{x_m\}\)是线性的。\(x_m-\sin(x_{m-1})\)不是一个线性方程。

Derivation 15.1. 定义算子：

\[\begin{equation*} L(x_m)=I+a_1(m)\mathcal{B}x_m+a_2(m)\mathcal{B}^2x_m+\cdots+a_n(m)\mathcal{B}^nx_m \end{equation*}\]

则线性差分方程可表示为：

\[\begin{equation*} L(x_m)=f(m) \end{equation*}\]

Theorem 15.13. 初值问题：

\[\begin{equation*} L(x_m)=f(m),\;x_0=y_0,\;x_1=y_1,\;\cdots,\;x_{n-1}=y_{n-1} \end{equation*}\]

有唯一的解。

证明. 注意到关系：

\[\begin{gather*} x_m+a_1(m)x_{m-1}+a_2(m)x_{m-2}+\cdots+a_n(m)x_{m-n}=f(m),\;\forall\;m\geqslant n \\ x_{m}=-\frac{x_{m+n}}{a_n(m+n)}-\frac{a_1(m)x_{m+n-1}}{a_n(m+n)}-\cdots-\frac{a_{n-1}x_{m+1}}{a_n(m+n)}+\frac{f(m)}{a_n(m+n)},\;\forall\;m<0 \end{gather*}\]

于是当如上\(n\)个初始值给定时，\(\{x_m\}\)的所有值都可以由上述递推关系唯一得到。 ◻

Definition 15.17. 若存在不全为\(0\)的常数\(c_1, c_2, \dots, c_{k}\)使得序列\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)满足：

\[\begin{equation*} c_1x_m^{(1)}+c_2x_m^{(2)}+\cdots+c_kx_m^{(k)}=0,\;\forall\;m\in\mathbb{Z} \end{equation*}\]

则称这些序列线性相关，否则就称这些序列线性无关。

Definition 15.18. 称矩阵：

\[\begin{equation*} C(m)= \begin{pmatrix} x_m^{(1)} & x_m^{(2)} & \cdots & x_m^{(k)} \\ \mathcal{B}x_m^{(1)} & \mathcal{B}x_m^{(2)} & \cdots & \mathcal{B}x_m^{(k)} \\ \vdots & \vdots & \ddots & \vdots \\ \mathcal{B}^{k-1}x_m^{(1)} & \mathcal{B}^{k-1}x_m^{(2)} & \cdots & \mathcal{B}^{k-1}x_m^{(k)} \\ \end{pmatrix} \end{equation*}\]

为序列\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)的Casorati矩阵，将\(\det C(m)\)称为其Casorati行列式。

Theorem 15.14. 若序列\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)线性相关，则其Casorati行列式\(\det C(m)\)在\(m\in\mathbb{Z}\)上恒为\(0\)。

证明. 因为\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)线性相关，所以存在不全为\(0\)的常数\(c_1, c_2, \dots, c_{k}\)使得

\[\begin{equation*} c_1x_m^{(1)}+c_2x_m^{(2)}+\cdots+c_kx_m^{(k)}=0,\;\forall\;m\in\mathbb{Z} \end{equation*}\]

于是以\(C(m)\)为系数矩阵的线性方程组有非零解。由链接线性方程组理论可知\(\det C(m)=0\)在\(m\in\mathbb{Z}\)上恒成立。 ◻

推论 16.1 Corollary 15.1. 若存在\(m\in\mathbb{Z}\)使得\(\det C(m)\ne0\)，则序列\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)线性无关。

15.2.2.1 齐次线性差分方程解的一般理论

Theorem 15.15. 如果\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(k)}\}\)是\(n\)阶常系数齐次线性差分方程\(L(x_m)=0\)的\(k\)个解，则它们的线性组合：

\[\begin{equation*} \{x_m=c_1x_m^{(1)}+c_2x_m^{(2)}+\cdots+c_kx_m^{(k)}\} \end{equation*}\]

也是解，其中\(c_i\)为任意常数，\(i=1,2,\dots,k\)。

证明. 因为\(x_m^{(j)},\;j=1,2,\dots,k\)是\(L(x_m)=0\)的解，所以：

\[\begin{equation*} x_m^{(j)}+a_{1}x_{m-1}^{(j)}+\cdots+a_nx_{m-n}^{(j)}=0 \end{equation*}\]

于是：

\[\begin{equation*} \sum_{j=1}^{k}x_m^{(j)}+a_1\sum_{j=1}^{k}x_{m-1}^{(j)}+\cdots+a_n\sum_{j=1}^{k}x_{m-n}^{j}=0 \end{equation*}\]

即：

\[\begin{equation*} x_m+a_{1}x_{m-1}+\cdots+a_nx_{m-n}=0 \end{equation*}\]

◻

Theorem 15.16. \(n\)阶齐次线性差分方程\(L(x_m)=0\)一定存在\(n\)个线性无关的解。

证明. 由定理 15.13可知\(L(x_m)=0\)满足初值条件：

\[\begin{equation*} \begin{cases} x_0=1,\;x_1=0,\;\dots,\;x_{n-1}=0 \\ x_0=0,\;x_1=1,\;\dots,\;x_{n-1}=0 \\ \cdots\cdots\cdots \\ x_0=0,\;x_1=0,\;\dots,\;x_{n-1}=1 \\ \end{cases} \end{equation*}\]

的解一定存在，由推论 15.1可知这\(n\)个解线性无关。 ◻

Theorem 15.17. 设\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)是\(n\)阶齐次线性差分方程\(L(x_m)=0\)的\(n\)个线性无关的解，则方程的通解可以表示为：

\[\begin{equation*} x_m=c_1x_m^{(1)}+c_2x_m^{(2)}+\cdots+c_nx_m^{(n)},\;\forall\;m\in\mathbb{Z} \end{equation*}\]

其中\(c_1, c_2, \dots, c_{n}\)是任意常数。

证明. 因为\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)线性无关，由定理 15.14可知存在\(m\in\mathbb{Z}\)使得Casorati行列式\(\det C(m)\ne0\)，于是此时的Casorati矩阵\(C(n)\)可逆。任取\(L(x_m)=0\)的一个解\(\{y_m\}\)，则\(y_m,\mathcal{B}y_m,\dots,\mathcal{B}^{n-1}y_m\)是确定的数，于是关于\((c_1, c_2, \dots, c_{n})^{\top}\)的线性方程组：

\[\begin{equation*} \begin{pmatrix} x_m^{(1)} & x_m^{(2)} & \cdots & x_m^{(n)} \\ \mathcal{B}x_m^{(1)} & \mathcal{B}x_m^{(2)} & \cdots & \mathcal{B}x_m^{(n)} \\ \vdots & \vdots & \ddots & \vdots \\ \mathcal{B}^{n-1}x_m^{(1)} & \mathcal{B}^{n-1}x_m^{(2)} & \cdots & \mathcal{B}^{n-1}x_m^{(n)} \\ \end{pmatrix} \begin{pmatrix} c_1 \\ c_2 \\ \cdots \\ c_n \end{pmatrix}= \begin{pmatrix} y_m \\ \mathcal{B}y_m \\ \vdots \\ \mathcal{B}^{n-1}y_m \end{pmatrix} \end{equation*}\]

存在唯一解\((c^{\star}_1, c^{\star}_2, \dots, c^{\star}_{n})^{\top}\)，即在这\(n\)个位置处\(\{y_m\}\)可以由\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)线性表出。令：

\[\begin{equation*} z_m=c_1^{\star}x_m^{(1)}+c_2^{\star}x_m^{(2)}+\cdots+c_n^{\star}x_m^{(n)},\;\forall\;m\in\mathbb{Z} \end{equation*}\]

则\(\{z_m\}\)在这\(n\)个位置处的值等于\(\{y_m\}\)对应位置上的值，且\(\{z_m\}\)可以由\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)线性表出。而由定理 15.13可知\(L(x_m)=0\)的解由任意的\(n\)个初始值唯一确定，于是\(\{y_m\}\)就是\(\{z_m\}\)，所以它也可以由\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)线性表出。由\(\{y_m\}\)的任意性，结论成立。 ◻

推论 16.2 Corollary 15.2. \(n\)阶齐次线性差分方程的所有解构成一个\(n\)维线性空间。

Definition 15.19. 称\(n\)阶齐次线性差分方程的任意\(n\)个线性无关的解为其基本解组。

15.2.2.2 非齐次线性差分方程解的一般理论

Theorem 15.18. \(n\)阶非齐次线性差分方程\(L(x_m)=f(m)\)任意两个解的差是\(n\)阶齐次线性差分方程\(L(x_m)=0\)的解。

Theorem 15.19. \(n\)阶非齐次线性差分方程\(L(x_m)=f(m)\)任意一个解与\(n\)阶齐次线性差分方程\(L(x_m)=0\)任意一个解的和还是\(L(x_m)=f(m)\)的解。

Theorem 15.20. 设\(\{x_m^{(1)}\},\{x_m^{(2)}\},\dots,\{x_m^{(n)}\}\)是\(n\)阶齐次线性差分方程\(L(x_m)=0\)的基本解组，\(\{y_m\}\)是\(n\)阶非齐次线性差分方程\(L(x_m)=f(m)\)的一个解，则\(L(x_m)=f(m)\)的通解可表示为：

\[\begin{equation*} x_m=y_m+c_1x_m^{(1)}+c_2x_m^{(2)}+\cdots+c_nx_m^{(n)},\;\forall\;m\in\mathbb{Z} \end{equation*}\]

证明. 对任意的\(\{y_m\}\)，由定理 15.18和定理 15.17可知\(L(x_m)=f(m)\)的任意一个解可以表示为上述形式。由\(\{y_m\}\)的任意性可得出结论。 ◻

15.2.3 \(n\)阶常系数线性差分方程

Definition 15.20. 若\(n\)阶线性差分方程：

\[\begin{equation*} x_m+a_1(m)x_{m-1}+a_2(m)x_{m-2}+\cdots+a_n(m)x_{m-n}=f(m) \end{equation*}\]

中\(a_1(x),a_2(x),\dots,a_n(x)\)都是常数，则称上述方程为关于\(\{x_m\}\)的\(n\)阶常系数线性差分方程。

15.2.3.1 常系数齐次线性差分方程解的一般理论

Derivation 15.2. 取一个一阶常系数齐次线性差分方程\(x_m+a_1x_{m-1}=0\)，可以看出该方程的通解为\(x_m=C(-a_1)^m,\;\forall\;m\in\mathbb{Z}\)，其中\(C\)为任意常数。受此启发，我们对于\(n\)阶常系数齐次线性差分方程寻找指数形式的解。

Definition 15.21. 称：

\[\begin{equation*} \lambda^n+a_1\lambda^{n-1}+a_2\lambda^{n-2}+\cdots+a_{n-1}\lambda+a_n=0 \end{equation*}\]

为\(n\)阶常系数齐次线性差分方程：

\[\begin{equation*} x_m+a_1x_{m-1}+a_2x_{m-2}+\cdots+a_nx_{m-n}=0 \end{equation*}\]

的特征方程，等号左边关于\(\lambda\)的多项式被称为特征多项式，记为\(l(\lambda)\)。

Theorem 15.21. 设\(\lambda_1, \lambda_2, \dots, \lambda_{s}\)是\(n\)阶常系数齐次线性差分方程\(L(x_m)=0\)的特征方程\(l(\lambda)=0\)的解，其重数分别为\(r_1, r_2, \dots, r_{s}\)，则\(L(x_m)=0\)的通解可以表示为：

\[\begin{equation*} x_m=\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}m^{j}\lambda_i^m,\;\forall\;m\in\mathbb{Z} \end{equation*}\]

其中\(c_{ij},\;i=1,2,\dots,s,\;j=0,1,\dots,r_i-1\)为常数。

证明. 情况一：此时特征方程有\(n\)个互不相同的实根，分别设为\(\lambda_1, \lambda_2, \dots, \lambda_{n}\)。将\(\{\lambda_i^m\},\;i=1,2,\dots,n\)代入\(L(x_m)=0\)中可以发现：

\[\begin{align*} &\lambda_i^m+a_1\lambda_i^{m-1}+a_2\lambda_i^{m-2}+\cdots+a_n\lambda_i^{m-n} \\ =&\lambda_i^{m-n}(\lambda_i^n+a_1\lambda_i^{n-1}+a_2\lambda_i^{n-2}+\cdots+a_n)=0 \end{align*}\]

所以它们就是\(L(x_m)=0\)的解。由\(n\)阶线性差分方程的定义，\(a_n\ne0\)，所以\(\lambda_i\ne0\)。于是有：

\[\begin{equation*} \det C(0)= \begin{vmatrix} 1 & 1 & \cdots & 1 \\ \lambda_1^{-1} & \lambda_2^{-1} & \cdots & \lambda_n^{-1} \\ \lambda_1^{-2} & \lambda_2^{-2} & \cdots & \lambda_n^{-2} \\ \vdots & \vdots & \ddots & \vdots \\ \lambda_1^{-(n-1)} & \lambda_2^{-(n-1)} & \cdots & \lambda_n^{-(n-1)} \\ \end{vmatrix} =\prod_{1\leqslant i<j\leqslant n}(\lambda_j-\lambda_i)\ne0 \end{equation*}\]

由推论 15.1可知这\(n\)个解线性无关，所以构成一个基本解组。

情况二：此时特征方程存在重实根。假设根\(\lambda_i\)的重数为\(r_i\)，代入可知\(\{\lambda_i^m\}\)是\(L(x_m)=0\)的解。下证明对\(1\leqslant b\leqslant r_i-1\)且\(b\in\mathbb{N}^+\)，\(\{m^b\lambda_i^m\}\)都是\(L(x_m)=0\)的解。设\(a_0=1\)，则：

\[\begin{align*} &m^{b}\lambda_i^m+a_1(m-1)^{b}\lambda_i^{m-1}+\cdots+a_{n}(m-n)^{b}\lambda_i^{m-n} \\ =&\sum_{k=0}^{n}a_k(m-k)^b\lambda_i^{m-k} =\sum_{k=0}^{n}a_k\sum_{j=0}^{b}\binom{b}{j}m^j(-k)^{b-j}\lambda_i^{m-k} \\ =&\sum_{k=0}^{n}\sum_{j=0}^{b}a_k\binom{b}{j}m^j(-k)^{b-j}\lambda_i^{m-k} =\sum_{j=0}^{b}\sum_{k=0}^{n}a_k\binom{b}{j}m^j(-k)^{b-j}\lambda_i^{m-k} \\ =&\sum_{j=0}^{b}\binom{b}{j}m^j\sum_{k=0}^{n}a_k(-k)^{b-j}\lambda_i^{m-k}=\lambda_i^m\sum_{j=0}^{b}\binom{b}{j}m^j\sum_{k=0}^{n}a_k(-k)^{b-j}\lambda_i^{-k} \end{align*}\]

取函数\(f(\lambda_i)=\sum\limits_{k=0}^{n}a_k\lambda_i^{-k}\)，则：

\[\begin{equation*} \sum_{k=0}^{n}a_k(-k)^{b-j}\lambda_i^{-k} \end{equation*}\]

可以表示为\(f(\lambda_i),f'(\lambda_i),\dots,f^{(b-j)}(\lambda_i)\)的线性组合。考虑特征多项式\(l(\lambda_i)\)：

\[\begin{equation*} l(\lambda_i)=\lambda_i^n+a_1\lambda_i^{n-1}+a_2\lambda_i^{n-2}+\cdots+a_{n-1}\lambda_i+a_n=\sum_{k=0}^{n}a_k\lambda_i^{n-k}=\lambda_i^nf(\lambda_i) \end{equation*}\]

于是有：

\[\begin{equation*} f(\lambda_i)=\frac{l(\lambda_i)}{\lambda_i^n} \end{equation*}\]

所以\(f^{(b-j)}(\lambda_i)\)可以由\(l(\lambda_i),l'(\lambda_i),\dots,l^{(b-j)}(\lambda_i)\)线性表出。于是：

\[\begin{align*} &m^{b}\lambda_i^m+a_1(m-1)^{b}\lambda_i^{m-1}+\cdots+a_{n}(m-n)^{b}\lambda_i^{m-n} \\ =&\lambda_i^m\sum_{j=0}^{b}\binom{b}{j}m^j\sum_{k=0}^{n}a_k(-k)^{b-j}\lambda_i^{-k}=\lambda_i^m\sum_{j=0}^{b}\binom{b}{j}m^jg[l(\lambda_i),l'(\lambda_i),\dots,l^{(b-j)}(\lambda_i)] \end{align*}\]

其中\(g\)是\(l(\lambda_i),l'(\lambda_i),\dots,l^{(b-j)}(\lambda_i)\)的线性函数。因为\(\lambda_i\)是特征方程的\(r_i\)重根，所以：

\[\begin{equation*} l(\lambda)=(\lambda-\lambda_i)^{r_i}h(\lambda)=0 \end{equation*}\]

求导可知\(l(\lambda_i)=l'(\lambda_i)=\cdots=l^{(b-j)}(\lambda_i)=0\)，所以\(g=0\)，即：

\[\begin{equation*} m^{b}\lambda_i^m+a_1(m-1)^{b}\lambda_i^{m-1}+\cdots+a_{n}(m-n)^{b}\lambda_i^{m-n}=0 \end{equation*}\]

所以\(\{m^b\lambda_i^m\},\;b=0,1,2,\dots,r_i-1\)都是\(L(x_m)=0\)的解。

若\(\{m^b\lambda_i^m\},\;b=0,1,2,\dots,r_i-1\)线性相关，则存在不全为\(0\)的\(c_1, c_2, \dots, c_{r_i}\)使得：

\[\begin{equation*} c_1\lambda_i^m+c_2m\lambda_i^m+\cdots+c_{r_i}m^{r_i-1}\lambda_i^m=\lambda_i^m(c_1+c_2m+\cdots+c_{r_i}m^{r_i-1})=0 \end{equation*}\]

对任意的\(m\in\mathbb{Z}\)成立。由\(n\)阶线性差分方程的定义，\(a_n\ne0\)，所以\(\lambda_i\ne0\)，于是需要上式中关于整数\(m\)的多项式恒等于\(0\)，此时应有\(c_1=c_2=\cdots=c_{r_i}=0\)，矛盾，所以\(\{m^b\lambda_i^m\},\;b=0,1,2,\dots,r_i-1\)线性无关。不同\(\lambda_i\)之间的线性无关性涉及到广义Vandermonde行列式，以后再写

情形三：此时特征方程存在一对共轭复根\(a+bi,a-bi\)，令：

\[\begin{equation*} \rho=\sqrt{a^2+b^2},\;\theta=\arctan\left(\frac{b}{a}\right) \end{equation*}\]

则：

\[\begin{gather*} (a+bi)^m=(\rho e^{i\theta})^m=\rho^m[\cos(m\theta)+i\sin(m\theta)],\;\forall\;m\in\mathbb{Z} \\ (a-bi)^m=(\rho e^{-i\theta})^m=\rho^m[\cos(m\theta)-i\sin(m\theta)],\;\forall\;m\in\mathbb{Z} \end{gather*}\]

都是\(L(x_m)\)的解。

综上可得出定理的结论。 ◻

15.2.3.2 常系数齐次线性差分方程解的收敛性

Derivation 15.3. 设\(\lambda_1, \lambda_2, \dots, \lambda_{s}\)为\(n\)阶常系数齐次线性差分方程\(L(x_m)=0\)的特征方程\(l(\lambda)=0\)的解。

(1)\(\;\lambda_i\)都在单位圆内：此时存在\(\alpha\)使得：

\[\begin{equation*} \min\{|\lambda_i|:i=1,2,\dots,s\}<\alpha<1 \end{equation*}\]

于是\(L(x_m)=0\)的任何解\(\{x_m\}\)满足：

\[\begin{equation*} |x_m|=\left|\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}m^{j}\lambda_i^m\right|\leqslant\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}|c_{ij}m^{j}|\;|\lambda_i^m|\leqslant\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}|c_{ij}m^{j}|\alpha^m \end{equation*}\]

由指数函数\(\alpha^m\)与幂函数\(m^j\)的收敛速度比较可得：

\[\begin{equation*} \lim_{m\to+\infty}|x_m|=0 \end{equation*}\]

此时称\(\{x_m\}\)以负指数收敛到\(0\)。

(2)\(\;\lambda_i\)在单位圆上：设\(\lambda_i=a+bi\)，由定理 15.21可知此时\(L(x_m)=0\)有解：

\[\begin{equation*} x_m=\cos(m\theta)+i\sin(m\theta),\;\theta=\arctan\left(\frac{b}{a}\right),\;\forall\;m\in\mathbb{Z} \end{equation*}\]

当\(\theta=\dfrac{\pi}{4}\)时，这个解不收敛，是一个周期解。

(3)\(\;\lambda_i\)在单位圆外：显然此时存在发散于\(+\infty\)的解。

15.2.3.3 常系数非齐次线性差分方程解的一般理论

Theorem 15.22. 设\(\lambda_1, \lambda_2, \dots, \lambda_{s}\)是\(n\)阶常系数齐次线性差分方程\(L(x_m)=0\)的特征方程\(l(\lambda)=0\)的互异根，其重数分别为\(r_1, r_2, \dots, r_{s}\)，\(n\)阶常系数非齐次线性差分方程\(L(x_m)=f(m)\)的一个特解为\(\{y_m\}\)，则\(L(x_m)=f(m)\)的通解可以表示为：

\[\begin{equation*} x_m=y_m+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}m^{j}\lambda_i^m,\;\forall\;m\in\mathbb{Z} \end{equation*}\]

其中\(c_{ij},\;i=1,2,\dots,s,\;j=0,1,\dots,r_i-1\)为常数。

证明. 由定理 15.20和定理 15.21可直接得到。 ◻

15.3 ARIMA

15.3.1 AR模型

Definition 15.22. 如果\(\{\varepsilon_t\}\)是\(\operatorname{WN}(0,\sigma^2)\)，实数\(a_1, a_2, \dots, a_{p}(a_p\ne0)\)使得多项式\(A(z)=0\)的根都在单位圆外：

\[\begin{equation*} A(z)=1-\sum_{i=1}^{p}a_iz^i\ne0,\quad\forall\;|z|\leqslant1 \end{equation*}\]

则称\(p\)阶常系数线性差分方程：

\[\begin{equation*} X_t=\sum_{i=1}^{p}a_iX_{t-i}+\varepsilon_t \end{equation*}\]

为\(p\)阶自回归模型，简记为\(\operatorname{AR}(p)\)模型。称满足\(\operatorname{AR}(p)\)模型的平稳时间序列\(\{X_t\}\)为\(\operatorname{AR}(p)\)序列，称\(a_1, a_2, \dots, a_{p}\)为\(\operatorname{AR}(p)\)模型的自回归系数，多项式\(A(z)=0\)的根都在单位圆外这一条件被称为稳定性条件，分别称\(A(z)\)和\(A(\mathcal{B})\)为\(\operatorname{AR}(p)\)模型的特征多项式和自回归系数多项式。可以用\(A(\mathcal{B})\)将模型改写为\(A(\mathcal{B})X_t=\varepsilon_t\)。

Derivation 15.4. \(A(z)=0\)的解为\(p\)阶常系数线性差分方程特征方程：

\[\begin{equation*} \lambda^p-a_1\lambda^{p-1}-\cdots-a_{p-1}\lambda-a_p=0 \end{equation*}\]

的解的倒数。取特征方程的任一根\(\lambda_j\)，则：

\[\begin{equation*} A\left(\frac{1}{\lambda_j}\right)=1-\sum_{i=1}^{p}a_i\frac{1}{\lambda_j^i}=\frac{1}{\lambda_j^p}(\lambda_j^p-a_1\lambda_j^{p-1}-\cdots-a_{p-1}\lambda_j-a_{p})=0 \end{equation*}\]

所以上述稳定性条件即为要求\(p\)阶常系数线性差分方程特征方程的根都在单位圆内。

Theorem 15.23. 设\(\operatorname{AR}(p)\)模型的特征多项式\(A(z)=0\)有\(s\)个互异根\(z_1, z_2, \dots, z_{s}\)，根的重数分别为\(r_1, r_2, \dots, r_{s}\)，\(1<\rho<\min\limits_i\{|z_i|\}\)，则：

1. \(\operatorname{AR}(p)\)模型的唯一平稳解是：

   \[\begin{equation*} X_t=\sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i} \end{equation*}\]

   其中\(\psi_i\)为\(A^{-1}(z)\)在\(\{z:|z|\leqslant\rho\}\)内展开的幂级数的系数，称之为Wold系数，\(\{\psi_n\}\in l^1\)。对\(j<0\)定义\(\psi_j=0\)，那么它具有递推公式：

   \[\begin{equation*} \psi_0=1,\quad\psi_j=\sum_{i=1}^{p}a_i\psi_{j-i},\;\forall\;j\geqslant1 \end{equation*}\]

2. \(\operatorname{AR}(p)\)模型的通解为：

   \[\begin{equation*} \sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i}+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t} \end{equation*}\]

   其中\(c_{ij}\)为任意常数；

3. \(\operatorname{AR}(p)\)模型的任一解都以负指数阶的速度收敛到平稳解，\(\min\limits_i{|z_i|}\)越大，收敛越快。

证明. (1)由复变函数的知识，\(A^{-1}(z)\)在\(\{z:|z|\leqslant\rho\}\)内解析，即\(A^{-1}(z)\)有如下展开：

\[\begin{equation*} A^{-1}(z)=\sum_{i=0}^{+\infty}\psi_iz^i,\quad|z|\leqslant\rho \end{equation*}\]

且这个级数是绝对收敛的。由绝对收敛性可知\(|\psi_iz^i|\to0\)，即\(|\psi_i|=o(\rho^{-i})\)，所以\(\{\psi_i\}\in l^1\)，由定理 15.12可知\(\{X_t\}\)是平稳序列。

令\(a_0=-1\)，对\(k<0\)定义\(\psi_k=0\)。注意到：

\[\begin{align*} A(\mathcal{B})X_t&=\left(1-\sum_{i=1}^{p}a_i\mathcal{B}^i\right)X_t=\left(-a_0-\sum_{i=1}^{p}a_i\mathcal{B}^i\right)X_t=-\sum_{i=0}^{p}a_i\mathcal{B}^iX_t \\ &=-\sum_{i=0}^{p}a_iX_{t-i}=-\sum_{i=0}^{p}a_{i}\sum_{j=0}^{+\infty}\psi_j\varepsilon_{t-i-j}=-\sum_{j=0}^{+\infty}\sum_{i=0}^{p}a_i\psi_j\varepsilon_{t-i-j} \\ &=-\sum_{j=0}^{+\infty}\sum_{i=0}^{p}a_i\psi_{j-i}\varepsilon_{t-j}=-\sum_{j=0}^{+\infty}\left(\sum_{i=0}^{p}a_i\psi_{j-i}\right)\varepsilon_{t-j} \end{align*}\]

因为\(\{\psi_i\}\in l^1\)，所以对\(|z|\leqslant1\)级数\(\sum\limits_{j=0}^{+\infty}\psi_jz^j\)是良定义的。由：

\[\begin{align*} 1&=A(z)A^{-1}(z)=\left(1-\sum_{i=1}^{p}a_iz^i\right)A^{-1}(z)=-\sum_{i=0}^{p}a_iz^i\sum_{j=0}^{+\infty}\psi_jz^j \\ &=-\sum_{i=0}^{p}\sum_{j=0}^{+\infty}a_iz^i\psi_jz^j=-\sum_{j=0}^{+\infty}\sum_{i=0}^{p}a_i\psi_jz^{i+j}=-\sum_{j=0}^{+\infty}\left(\sum_{i=0}^{p}a_i\psi_{j-i}\right)z^j \end{align*}\]

最后一步是求和换元后的结果。对比系数可得（递推公式）：

\[\begin{equation*} -\sum_{i=0}^{p}a_i\psi_{-i}=1,\quad-\sum_{i=0}^{p}a_i\psi_{j-i}=0,\;\forall\;j\geqslant1 \end{equation*}\]

于是：

\[\begin{equation*} A(\mathcal{B})X_t=-\sum_{j=0}^{+\infty}\left(\sum_{i=0}^{p}a_i\psi_{j-i}\right)\varepsilon_{t-j}=-\sum_{i=0}^{p}a_i\psi_{-i}\varepsilon_t-\sum_{j=1}^{+\infty}\left(\sum_{i=0}^{p}a_i\psi_{j-i}\right)\varepsilon_{t-j}=\varepsilon_t \end{equation*}\]

所以\(\{X_t\}\)是解。

设还有另一平稳解\(\{Y_t\}\)，即\(A(\mathcal{B})Y_t=\varepsilon_t\)且\(A^{-1}(\mathcal{B})\)存在，则：

\[\begin{equation*} Y_t=A^{-1}(\mathcal{B})\varepsilon_t=A^{-1}(\mathcal{B})A(\mathcal{B})X_t=X_t \end{equation*}\]

综上，\(\{X_t\}\)是\(\operatorname{AR}(p)\)模型唯一的平稳解。

(2)由(1)、定理 15.20与定理 15.21即可得通解为：

\[\begin{equation*} X_t+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t}=\sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i}+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t} \end{equation*}\]

(3)由(1)(2)可得对于\(\operatorname{AR}(p)\)模型的任一解\(\{Y_t\}\)有：

\[\begin{equation*} |X_t-Y_t|=\left|\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t}\right|\leqslant \operatorname{O}\left[\left(\min_i\{|z_i|\}\right)^{-t}\right] \end{equation*}\]

◻

note 15.2. 上述定理给了我们一个产生\(\operatorname{AR}(p)\)序列的方式。先任意选择\(p\)个初始值，然后根据自回归系数产生序列\(\{Y_t\}\)。因为任意的\(\{Y_t\}\)都以负指数阶的速度收敛到平稳解，取一个较大的\(m\)然后令\(X_t=Y_{m+t}\)即可得到近似的\(\operatorname{AR}(p)\)序列\(\{X_t\}\)。

Property 15.3.1. \(\operatorname{AR}(p)\)序列\(\{X_t\}\)具有如下性质：

1. 对任意的\(i\geqslant1\)且\(i\in\mathbb{N}^+\)，\(X_t\)与\(\varepsilon_{t+i}\)不相关；

2. \(\gamma(n)=\sigma^2\sum\limits_{i=0}^{+\infty}\psi_i\psi_{i+n}\)；

3. (Yule-Walker方程)\(\;\{X_t\}\)的自协方差函数满足：

   \[\begin{gather*} \boldsymbol{\gamma}_n=\Gamma_n\alpha,\; \gamma(0)=\boldsymbol{\gamma}_n^{\top}\alpha+\sigma^2,\quad n\geqslant p \\ \boldsymbol{\gamma}_n= \begin{pmatrix} \gamma(1) \\ \gamma(2) \\ \vdots \\ \gamma(n) \end{pmatrix},\; \Gamma_n= \begin{pmatrix} \gamma(0) & \gamma(1) & \cdots & \gamma(n-1) \\ \gamma(1) & \gamma(0) & \cdots & \gamma(n-2) \\ \vdots & \vdots & \ddots & \vdots \\ \gamma(n-1) & \gamma(n-2) & \cdots & \gamma(0) \\ \end{pmatrix} \\ \alpha=(a_1, a_2, \dots, a_{p},0,0,\dots,0)^{\top} \end{gather*}\]

4. \(\operatorname{AR}(p)\)序列的自协方差函数和自相关函数满足和\(\operatorname{AR}(p)\)模型相对应的常系数齐次线性差分方程：

   \[\begin{gather*} \gamma(n)=a_1\gamma(n-1)+a_2\gamma(n-2)\cdots+a_p\gamma(n-p) \\ \rho(n)=a_1\rho(n-1)+a_2\rho(n-2)\cdots+a_p\rho(n-p) \end{gather*}\]

5. \(\{X_t\}\)的自协方差函数与自相关函数具有拖尾性，即\(\gamma(n)\)和\(\rho(n)\)始终不为\(0\)，且二者的模随着\(n\)的增大指数衰减到\(0\)；

6. \(\{X_t\}\)具有如下谱密度函数：

   \[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=0}^{+\infty}\psi_je^{ij\lambda}\right|^2=\frac{\sigma^2}{2\pi|A(e^{i\lambda})|^2}=\frac{1}{2\pi}\sum_{n=-\infty}^{+\infty}\gamma(n)e^{in\lambda},\quad\lambda\in[-\pi,\pi] \end{equation*}\]

7. \(\{X_t\}\)的自协方差矩阵为正定矩阵；

8. \(\{X_t\}\)是最小序列；

证明. (1)因为\(\operatorname{E}(\varepsilon_{t+i})=0\)，由性质 5.4.2(8)可知\(\varepsilon_{t+i}\;\)a.e.有限，由定理 15.12可知\(X_t\;\)a.e.有限，于是\(X_t\varepsilon_{t+i}\)良定义。根据性质 5.4.2(4)(6)可知：

\[\begin{align*} \operatorname{E}\left(\sum_{j=0}^{+\infty}|\psi_j\varepsilon_{t-j}\varepsilon_{t+i}|\right) &=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{j=0}^{n}|\psi_j\varepsilon_{t-j}\varepsilon_{t+i}|\right) =\lim_{n\to+\infty}\left[\sum_{j=0}^{n}|\psi_j|\operatorname{E}(|\varepsilon_{t-j}\varepsilon_{t+i}|)\right] \\ &=\sum_{j=0}^{+\infty}|\psi_j|\operatorname{E}(|\varepsilon_{t-j}\varepsilon_{t+i}|) \end{align*}\]

由不等式 1可知：

\[\begin{equation*} \operatorname{E}(|\varepsilon_{t-j}\varepsilon_{t+i}|)=\Big|\operatorname{E}(|\varepsilon_{t-j}\varepsilon_{t+i}|)\Big|\leqslant\sqrt{\operatorname{E}(\varepsilon_{t-j}^2)\operatorname{E}(\varepsilon_{t+i}^2)}=\sigma^2 \end{equation*}\]

由定理 15.23(1)可得\(\{\psi_i\}\in l^1\)，所以：

\[\begin{equation*} \operatorname{E}\left(\sum_{j=0}^{+\infty}|\psi_j\varepsilon_{t-j}\varepsilon_{t+i}|\right)\leqslant\sigma^2\sum_{j=0}^{+\infty}|\psi_j|<+\infty \end{equation*}\]

取控制函数\(\sum\limits_{j=0}^{+\infty}|\psi_j\varepsilon_{t-j}\varepsilon_{t+i}|\)，由定理 5.25和性质 5.4.2(10)可得：

\[\begin{align*} \operatorname{E}(X_t\varepsilon_{t+i})&=\operatorname{E}\left(\sum_{j=0}^{+\infty}\psi_j\varepsilon_{t-j}\varepsilon_{t+i}\right)=\operatorname{E}\left[\lim_{n\to+\infty}\left(\sum_{j=0}^{n}\psi_j\varepsilon_{t-j}\varepsilon_{t+i}\right)\right] \\ &=\lim_{n\to+\infty}\operatorname{E}\left(\sum_{j=0}^{n}\psi_j\varepsilon_{t-j}\varepsilon_{t+i}\right)=\lim_{n\to+\infty}\left[\sum_{j=0}^{n}\psi_j\operatorname{E}(\varepsilon_{t-j}\varepsilon_{t+i})\right]=0 \end{align*}\]

(2)由性质 15.1.4(1)和定理 15.23(1)立即可得。

(3)由\(\operatorname{AR}(p)\)模型的定义可得：

\[\begin{equation*} \begin{pmatrix} X_t \\ X_{t+1} \\ \vdots \\ X_{t+n-1} \end{pmatrix}= \begin{pmatrix} X_{t-1} & X_{t-2} & \cdots & X_{t-n} \\ X_{t} & X_{t-1} & \cdots & X_{t-n+1} \\ \vdots & \vdots & \ddots & \vdots \\ X_{t+n-2} & X_{t+n-3} & \cdots & X_{t-1} \end{pmatrix}\alpha+ \begin{pmatrix} \varepsilon_t \\ \varepsilon_{t+1} \\ \vdots \\ \varepsilon_{t+n-1} \end{pmatrix} \end{equation*}\]

于是：

\[\begin{gather*} X_{t-1} \begin{pmatrix} X_t \\ X_{t+1} \\ \vdots \\ X_{t+n-1} \end{pmatrix}=X_{t-1} \begin{pmatrix} X_{t-1} & X_{t-2} & \cdots & X_{t-n} \\ X_{t} & X_{t-1} & \cdots & X_{t-n+1} \\ \vdots & \vdots & \ddots & \vdots \\ X_{t+n-2} & X_{t+n-3} & \cdots & X_{t-1} \end{pmatrix}\alpha_n+X_{t-1} \begin{pmatrix} \varepsilon_t \\ \varepsilon_{t+1} \\ \vdots \\ \varepsilon_{t+n-1} \end{pmatrix} \\ \boldsymbol{\gamma}_n=\Gamma_n\alpha,\quad n\geqslant p \end{gather*}\]

第二行是对第一行取期望的结果。对于\(\gamma(0)\)，由(1)可得：

\[\begin{align*} \gamma(0)&=\operatorname{E}(X_t^2)=\operatorname{E}\left(\sum_{i=1}^{p}a_iX_{t-i}+\varepsilon_t\right)^2=\operatorname{E}\left(\sum_{i=1}^{p}a_iX_{t-i}\right)^2+\operatorname{E}(\varepsilon_t)^2 \\ &=\alpha^{\top}\Gamma_n\alpha+\sigma^2=\alpha^{\top}\boldsymbol{\gamma}_n+\sigma^2,\quad n\geqslant p \end{align*}\]

(4)由(3)和定理 15.8立即可得。

(5)由定理 15.21和(4)可知\(\gamma(n)\)和\(\rho(n)\)的通解都具有如下形式：

\[\begin{equation*} \sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}n^{j}\lambda_i^n,\;\forall\;n\in\mathbb{N} \end{equation*}\]

其中\(\lambda_1, \lambda_2, \dots, \lambda_{s}\)为对应常系数齐次线性差分方程的特征方程的根，\(c_{ij}\)为任意常数。若\(c_{ij}\)全为\(0\)，则\(\gamma(0),\rho(0)\)都为\(0\)，所以它们不可能全为\(0\).由\(\operatorname{AR}(p)\)序列的定义，\(|\lambda_i|<1\)，因为\(a_p\ne0\)，所以\(\lambda_i\ne0\)，由此可得\(\gamma(n)\)和\(\rho(n)\)始终不为\(0\)。由指数函数与幂函数的收敛速度比较可知\(\gamma(n)\)和\(\rho(n)\)的模随着\(n\)的增大将以指数阶的速度减小。

(6)由性质 15.1.4和定理 15.23(1)可知：

\[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=0}^{+\infty}\psi_je^{ij\lambda}\right|^2 \end{equation*}\]

由定理 15.3和定理 15.23(1)可得：

\[\begin{equation*} f(\lambda)=\frac{1}{2\pi}\sum_{n=-\infty}^{+\infty}\gamma(n)e^{-in\lambda} \end{equation*}\]

根据定理 15.23(1)中的论述，有：

\[\begin{equation*} A^{-1}(z)=\sum_{i=0}^{+\infty}\psi_iz^i,\quad|z|\leqslant\rho \end{equation*}\]

因为\(|e^{i\lambda}|=1<\rho\)，所以：

\[\begin{equation*} \sum_{j=0}^{+\infty}\psi_je^{ij\lambda}=A^{-1}(e^{i\lambda}) \end{equation*}\]

于是：

\[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|A^{-1}(e^{i\lambda})\right|^2=\frac{\sigma^2}{2\pi|A(e^{i\lambda})|^2} \end{equation*}\]

(7)由性质 15.1.4(4)立即可得。 ◻

15.3.2 MA模型

Definition 15.23. 设\(\{\varepsilon_t\}\)是\(\operatorname{WN}(0,\sigma^2)\)，实数\(b_1, b_2, \dots, b_{q}(b_q\ne0)\)使得多项式\(B(z)=0\)的根都不在单位圆内：

\[\begin{equation*} B(z)=1+\sum_{i=1}^{q}b_iz^i\ne0,\quad\forall\;|z|<1 \end{equation*}\]

则称：

\[\begin{equation*} X_t=\varepsilon_t+\sum_{i=1}^{q}b_i\varepsilon_{t-i},\quad t\in\mathbb{Z} \end{equation*}\]

为\(q\)阶滑动平均模型，简记为\(\operatorname{MA}(q)\)模型。称满足\(\operatorname{MA}(q)\)模型的平稳时间序列\(\{X_t\}\)为\(\operatorname{MA}(q)\)序列。若\(B(z)\ne0\)对\(|z|\leqslant1\)成立，则称对应的\(\operatorname{MA}(q)\)模型为可逆的\(\operatorname{MA}(q)\)模型，相应的\(\operatorname{MA}(q)\)序列为可逆的\(\operatorname{MA}(q)\)序列。可以用\(B(\mathcal{B})\)将模型改写为\(X_t=B(\mathcal{B})\varepsilon_t\)。对于可逆的\(\operatorname{MA}(q)\)模型，\(B^{-1}(z)\)有如下展开：

\[\begin{equation*} B^{-1}(z)=\sum_{i=0}^{+\infty}\psi_iz^i,\quad |z|\leqslant1 \end{equation*}\]

于是在可逆情况下还可以将模型改写为：

\[\begin{equation*} \varepsilon_t=B^{-1}(\mathcal{B})X_t=\sum_{i=0}^{+\infty}\psi_iX_{t-i},\quad t\in\mathbb{Z} \end{equation*}\]

Theorem 15.24. 设零均值平稳时间序列\(\{X_t\}\)有自协方差函数\(\{\gamma(n)\}\)，则\(\{X_t\}\)是\(\operatorname{MA}(q)\)序列的充分必要条件为：

\[\begin{equation*} \gamma(q)\ne 0,\quad\gamma(k)=0,\;\forall\;|k|>q \end{equation*}\]

Property 15.3.2. \(\operatorname{MA}(q)\)序列\(\{X_t\}\)具有如下性质：

1. 令\(b_0=1\)，则：

   \[\begin{equation*} \operatorname{E}(X_t)=0,\quad\gamma(n)= \begin{cases} \sigma^2\sum\limits_{i=0}^{q-n}b_ib_{i+n},&0\leqslant k\leqslant q \\ 0, &k>q \end{cases} \end{equation*}\]

2. \(\{X_t\}\)的自协方差函数\(\gamma(n)\)和自相关函数\(\rho(n)\)都具有截尾性，即对任意的\(k>q\)有\(\gamma(k)=\rho(k)=0\)；

3. 若\(\{X_t\}\)可逆，对\(j<0\)定义\(\psi_j=0\)，那么\(\{\psi_n\}\)具有递推公式：

   \[\begin{equation*} \psi_0=1,\quad\psi_j=-\sum_{i=1}^{q}b_i\psi_{j-i},\;\forall\;j\geqslant1 \end{equation*}\]

4. \(\{X_t\}\)具有谱密度：

   \[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=0}^{q}b_je^{ij\lambda}\right|^2=\frac{\sigma^2}{2\pi}|B(e^{i\lambda})|^2=\frac{1}{2\pi}\sum_{n=-k}^{k}\gamma(n)e^{-in\lambda},\quad\lambda\in[-\pi,\pi] \end{equation*}\]

5. \(\{X_t\}\)的自协方差矩阵为正定矩阵；

6. 若\(\{X_t\}\)可逆，则\(\{X_t\}\)是最小序列；若\(\{X_t\}\)不可逆，则\(\{X_t\}\)不是最小序列；

证明. (1)由定理 15.11立即可得。

(2)由(1)和定理 15.8立即得出。

(3)对\(k<0\)定义\(\psi_k=0\)，因为\(\{X_t\}\)可逆，所以：

\[\begin{align*} 1&=B(z)B^{-1}(z)=\left(1+\sum_{i=1}^{q}b_iz^i\right)B^{-1}(z)=\sum_{i=0}^{q}b_iz^i\sum_{j=0}^{+\infty}\psi_jz^j \\ &=\sum_{i=0}^{q}\sum_{j=0}^{+\infty}b_iz^i\psi_jz^j=\sum_{j=0}^{+\infty}\sum_{i=0}^{q}b_i\psi_jz^{i+j}=\sum_{j=0}^{+\infty}\left(\sum_{i=0}^{q}b_i\psi_{j-i}\right)z^j \end{align*}\]

对比系数可得（递推公式）：

\[\begin{equation*} \sum_{i=0}^{q}b_i\psi_{-i}=1,\quad\sum_{i=0}^{q}b_i\psi_{j-i}=0,\;\forall\;j\geqslant1 \end{equation*}\]

(4)由性质 15.3.1(6)和\(B(z)\)的定义立即可得，第三种表达方式由(1)和定理 15.3立即可得。

(5)由(4)和定理 15.7立即可得。 ◻

15.3.3 ARMA

Definition 15.24. 设\(\{\varepsilon_t\}\)是\(\operatorname{WN}(0,\sigma^2)\)，实系数多项式\(A(z)=0\)和\(B(z)=0\)没有公共根且满足\(b_0=1,\;a_pb_q\ne0\)和：

\[\begin{equation*} A(z)=1-\sum_{i=1}^{p}a_iz^i\ne0,\;|z|\leqslant1\quad B(z)=\sum_{i=0}^{q}b_iz^i\ne0,\;|z|<1 \end{equation*}\]

则称差分方程：

\[\begin{equation*} X_t=\sum_{i=1}^{p}a_iX_{t-i}+\sum_{i=0}^{q}b_i\varepsilon_{t-i} \end{equation*}\]

为自回归滑动平均模型，简称为\(\operatorname{ARMA}(p,q)\)模型。称满足\(\operatorname{ARMA}(p,q)\)模型的平稳时间序列\(\{X_t\}\)为\(\operatorname{ARMA}(p,q)\)序列。可以用\(A(\mathcal{B})\)与\(B(\mathcal{B})\)将模型改写为\(A(\mathcal{B})X_t=B(\mathcal{B})\varepsilon_t\)。若要求\(B(z)\)在单位圆上也没有根，则称此时的\(\operatorname{ARMA}(p,q)\)模型为可逆的\(\operatorname{ARMA}(p,q)\)模型，相应的\(\operatorname{ARMA}(p,q)\)序列为可逆的\(\operatorname{ARMA}(p,q)\)序列。对于可逆的\(\operatorname{ARMA}(p,q)\)模型，令\(z_1, z_2, \dots, z_{s}\)为\(B(z)=0\)的全部互异根，\(1<\rho<\min\limits_i\{|z_i|\}\)，则\(B^{-1}(z)A(z)\)在\(\{z:|z|\leqslant\rho\}\)内解析，从而有如下展开式：

\[\begin{equation*} B^{-1}(z)A(z)=\sum_{i=0}^{+\infty}\varphi_iz^i,\quad|z|\leqslant\rho \end{equation*}\]

且这个级数是绝对收敛的。由绝对收敛性可知\(|\psi_iz^i|\to0\)，即\(|\psi_i|=o(\rho^{-i})\)，所以\(\{\psi_i\}\in l^1\)。在\(A(\mathcal{B})X_t=B(\mathcal{B})\varepsilon_t\)两边同乘\(B^{-1}(\mathcal{B})\)即可将模型改写为：

\[\begin{equation*} \varepsilon_t=B^{-1}(\mathcal{B})A(\mathcal{B})=\sum_{i=0}^{+\infty}\varphi_iX_{t-i} \end{equation*}\]

若不对\(A(z)\)的根与\(B(z)\)的根做任何限制，称差分方程\(A(\mathcal{B})X_t=B(\mathcal{B})\varepsilon_t\)为广义的\(\operatorname{ARMA}(p,q)\)模型。

Theorem 15.25. 在\(\operatorname{ARMA}(p,q)\)模型中，设\(A(z)=0\)有\(s\)个互异根\(z_1, z_2, \dots, z_{s}\)，根的重数分别为\(r_1, r_2, \dots, r_{s}\)，\(1<\rho<\min\limits_i\{|z_i|\}\)，则：

1. \(\operatorname{ARMA}(p,q)\)模型的唯一平稳解是：

   \[\begin{equation*} X_t=\sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i} \end{equation*}\]

   其中\(\psi_i\)为\(\Phi(z)=A^{-1}(z)B(z)\)在\(\{z:|z|\leqslant\rho\}\)内展开的幂级数的系数，称之为Wold系数，\(\{\psi_n\}\in l^1\)。对\(j<0\)定义\(\psi_j=0\)，对\(j>q\)定义\(b_j=0\)，那么它具有递推公式：

   \[\begin{equation*} \psi_0=1,\quad\psi_j=b_j+\sum_{i=1}^{p}a_i\psi_{j-i},\;\forall\;j\geqslant1 \end{equation*}\]

2. \(\operatorname{ARMA}(p,q)\)模型的通解为：

   \[\begin{equation*} \sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i}+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t} \end{equation*}\]

   其中\(c_{ij}\)为任意常数；

3. \(\operatorname{ARMA}(p,q)\)模型的任一解都以负指数阶的速度收敛到平稳解，\(\min\limits_i{|z_i|}\)越大，收敛越快。

证明. (1)因为\(A(z)\)满足平稳性条件，所以存在\(\rho>1\)使得在\(\{z:|z|\leqslant\rho\}\)内\(A^{-1}(z)B(z)\)解析，从而有展开式：

\[\begin{equation*} \Phi(z)=A^{-1}(z)B(z)=\sum_{i=0}^{+\infty}\psi_iz^i,\quad|z|\leqslant\rho \end{equation*}\]

且这个级数是绝对收敛的。由绝对收敛性可知\(|\psi_iz^i|\to0\)，即\(|\psi_i|=o(\rho^{-i})\)，所以\(\{\psi_i\}\in l^1\)，由定理 15.12可知\(\{X_t\}\)是平稳序列。在

\[\begin{equation*} X_t=\sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i} \end{equation*}\]

两边同乘\(A(\mathcal{B})\)即可得到\(A(\mathcal{B})X_t=B(\mathcal{B})\varepsilon_t\)，所以\(\{X_t\}\)是\(\operatorname{ARMA}(p,q)\)模型的平稳解。

设还有另一平稳解\(\{Y_t\}\)，即\(A(\mathcal{B})Y_t=B(\mathcal{B})\varepsilon_t\)且\(A^{-1}(\mathcal{B})\)存在，则：

\[\begin{equation*} Y_t=A^{-1}(\mathcal{B})B(\mathcal{B})\varepsilon_t=X_t \end{equation*}\]

综上，\(\{X_t\}\)是\(\operatorname{ARMA}(p,q)\)模型唯一的平稳解。

定义\(a_0=-1\)，则：

\[\begin{align*} A(z)\Phi(z)&=\left(1-\sum_{i=1}^{p}a_iz^i\right)\Phi(z)=-\sum_{i=0}^{p}a_iz^i\sum_{j=0}^{+\infty}\psi_jz^j \\ &=-\sum_{i=0}^{p}\sum_{j=0}^{+\infty}a_iz^i\psi_jz^j=-\sum_{j=0}^{+\infty}\sum_{i=0}^{p}a_i\psi_jz^{i+j}=-\sum_{j=0}^{+\infty}\left(\sum_{i=0}^{p}a_i\psi_{j-i}\right)z^j \end{align*}\]

最后一步是求和换元后的结果。又有：

\[\begin{equation*} A(z)\Phi(z)=B(z)=\sum_{i=0}^{q}b_iz^i \end{equation*}\]

对比系数可得（递推公式）：

\[\begin{equation*} -\sum_{i=0}^{p}a_i\psi_{-i}=b_0,\quad-\sum_{i=0}^{p}a_i\psi_{j-i}=b_i,\;\forall\;j\geqslant1 \end{equation*}\]

(2)由(1)、定理 15.20与定理 15.21即可得通解为：

\[\begin{equation*} X_t+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^t=\sum_{i=0}^{+\infty}\psi_i\varepsilon_{t-i}+\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t} \end{equation*}\]

(3)由(1)(2)可得对于\(\operatorname{ARMA}(p,q)\)模型的任一解\(\{Y_t\}\)有：

\[\begin{equation*} |X_t-Y_t|=\left|\sum_{i=1}^{s}\sum_{j=0}^{r_i-1}c_{ij}t^{j}z_i^{-t}\right|\leqslant O\left[\left(\min_i\{|z_i|\}\right)^{-t}\right] \end{equation*}\]

◻

note 15.3. 上述定理给了我们一个产生\(\operatorname{ARMA}(p,q)\)序列的方式。先任意选择\(p\)个初始值，然后根据自回归系数和白噪声序列产生序列\(\{Y_t\}\)。因为任意的\(\{Y_t\}\)都以负指数阶的速度收敛到平稳解，取一个较大的\(m\)然后令\(X_t=Y_{m+t}\)即可得到近似的\(\operatorname{ARMA}(p,q)\)序列\(\{X_t\}\)。

Property 15.3.3. \(\operatorname{ARMA}(p,q)\)序列\(\{X_t\}\)具有如下性质：

1. 对任意的\(i\geqslant1\)且\(i\in\mathbb{N}^+\)，\(X_t\)与\(\varepsilon_{t+i}\)不相关；

2. \(\gamma(n)=\sigma^2\sum\limits_{i=0}^{+\infty}\psi_i\psi_{i+n}\)；

3. (Yule-Walker方程)\(\;\{X_t\}\)的自协方差函数满足：

   \[\begin{gather*} \gamma(n)-\sum_{i=1}^{p}a_i\gamma(n-i)= \begin{cases} \sigma^2\sum\limits_{i=n}^{q}b_i\psi_{i-n},&1\leqslant n\leqslant q \\ 0 & n>q \end{cases} \\ \begin{pmatrix} \gamma(q+1) \\ \gamma(q+2) \\ \vdots \\ \gamma(q+p) \end{pmatrix}= \begin{pmatrix} \gamma(q) & \gamma(q-1) & \cdots & \gamma(q-p+1) \\ \gamma(q+1) & \gamma(q) & \cdots & \gamma(q-p+2) \\ \vdots & \vdots & \ddots & \vdots \\ \gamma(q+p-1) & \gamma(q+p-2) & \cdots & \gamma(q) \\ \end{pmatrix} \begin{pmatrix} a_1 \\ a_2 \\ \vdots \\ a_p \end{pmatrix} \end{gather*}\]

   记上述矩阵为\(\Gamma_{p,q}\)；

4. \(\{X_t\}\)的自协方差函数与自相关函数具有拖尾性，且二者的模随着\(n\)的增大指数衰减；

5. \(\{X_t\}\)具有谱密度：

   \[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=0}^{+\infty}\psi_je^{ij\lambda}\right|^2=\frac{\sigma^2}{2\pi}\left|\frac{B(e^{i\lambda})}{A(e^{i\lambda})}\right|^2=\frac{1}{2\pi}\sum_{n=-\infty}^{+\infty}\gamma(n)e^{-in\lambda} \end{equation*}\]

6. \(\{X_t\}\)的自协方差矩阵为正定矩阵；

证明. (1)由定理 15.25(1)和性质 15.3.1(1)立即可得。

(2)由定理 15.25(1)和性质 15.1.4(1)立即可得。

(3)对\(j<0\)定义\(\psi_j=0\)，则：

\[\begin{align*} \gamma(n)&=\operatorname{E}(X_tX_{t-n})=\operatorname{E}\left[\left(\sum_{i=1}^{p}a_iX_{t-i}+\sum_{i=0}^{q}b_i\varepsilon_{t-i}\right)X_{t-n}\right] \\ &=\operatorname{E}\left(\sum_{i=1}^{p}a_iX_{t-i}X_{t-n}\right)+\operatorname{E}\left(\sum_{i=0}^{q}b_i\varepsilon_{t-i}X_{t-n}\right) \\ & =\sum_{i=1}^{p}a_i\gamma(n-i)+\operatorname{E}\left(\sum_{i=0}^{q}b_i\varepsilon_{t-i}\sum_{j=0}^{+\infty}\psi_j\varepsilon_{t-n-j}\right) \\ &=\sum_{i=1}^{p}a_i\gamma(n-i)+\sigma^2\sum_{j=0}^{q}b_j\psi_{j-n}=\sum_{i=1}^{p}a_i\gamma(n-i)+\sigma^2\sum_{j=n}^{q}b_j\psi_{j-n} \end{align*}\]

(4)拖尾性由(3)立即得出。由不等式 1、(2)和定理 15.25(1)中的\(|\psi_i|=o(\rho^{-1})\)可得：

\[\begin{align*} |\gamma(n)|&=\left|\sigma^2\sum_{i=0}^{+\infty}\psi_i\psi_{i+n}\right|\leqslant\sigma^2\sum_{i=0}^{+\infty}|\psi_i||\psi_{i+n}|\leqslant\sigma^2\left(\sum_{i=0}^{+\infty}\psi_i^2\sum_{i=0}^{+\infty}\psi_{i+n}^2\right)^{\frac{1}{2}} \\ &\leqslant c_0\left(\sum_{i=n}^{+\infty}\rho^{-2i}\right)^{\frac{1}{2}}\leqslant c_1\rho^{-n} \end{align*}\]

上式第一行到第二行的过程中利用\(\{\psi_n\}\in l^1\)将第一个求和和\(\sigma^2\)放缩为\(c_0\)，最后一个放缩利用\(\{\rho^{-2i}\}\)的收敛性显然可得，于是由自协方差函数的模随着\(n\)的增大呈现出指数衰减，根据定理 15.8可得自相关函数的对应结论。

(5)由性质 15.1.4(3)和\(\Phi(z)\)的定义立即可得，第三个表示方法由定理 15.25(1)和定理 15.3立即可得。

(6)由(5)和定理 15.7立即可得。 ◻

15.3.4 ARIMA模型

Definition 15.25. 设\(\{\varepsilon_t\}\)是\(\operatorname{WN}(0,\sigma^2)\)，实系数多项式\(A(z)=0\)和\(B(z)=0\)没有公共根且满足\(b_0=1,\;a_pb_q\ne0\)和：

\[\begin{equation*} A(z)=1-\sum_{i=1}^{p}a_iz^i\ne0,\;|z|\leqslant1\quad B(z)=\sum_{i=0}^{q}b_iz^i\ne0,\;|z|<1 \end{equation*}\]

则称差分方程：

\[\begin{equation*} A(\mathcal{B})(1-\mathcal{B})^dX_t=B(\mathcal{B})\varepsilon_t \end{equation*}\]

为ARIMA模型，记为\(\operatorname{ARMA}(p,d,q)\)模型。若\(Y_t=(1-\mathcal{B})^dX_t\)是\(\operatorname{ARMA}(p,q)\)序列，则称\(\{X_t\}\)是\(\operatorname{ARIMA}(p,d,q)\)序列。

Theorem 15.26. \(\operatorname{ARIMA}(p,d,q)\)模型的通解为：

\[\begin{equation*} X_t=\sum_{i=0}^{d-1}c_it^{i}+\sum_{n_{d-1}=1}^{t}\cdots\sum_{n_1=1}^{n_2}\sum_{i=1}^{n_1}Y_i \end{equation*}\]

其中\(c_i\)为随机变量。

证明. 当\(k=1\)时，给定初值\(X_0\)，有：

\[\begin{align*} X_t=X_{t-1}+Y_t=X_{t-2}+Y_{t-1}+Y_t=\cdots=X_0+\sum_{i=1}^{t}Y_i=X_0t^0+\sum_{i=1}^{t}Y_i \end{align*}\]

即\(k=1\)时结论成立。设\(k=d-1\)时结论成立，即：

\[\begin{equation*} X_t=\sum_{i=1}^{d-2}c_it^{i}+\sum_{n_{d-2}=1}^{t}\cdots\sum_{n_1=1}^{n_2}\sum_{i=1}^{n_1}Y_i \end{equation*}\]

则\(k=d\)时有：

\[\begin{equation*} Y_t=(1-\mathcal{B})^dX_t=(1-\mathcal{B})^{d-1}(1-\mathcal{B})X_t \end{equation*}\]

令\((1-\mathcal{B})X_t=X_t-X_{t-1}=Z_t\)，由归纳假设可知：

\[\begin{equation*} Z_t=\sum_{i=1}^{d-2}c_i't^{i}+\sum_{n_{d-2}=1}^{t}\cdots\sum_{n_1=1}^{n_2}\sum_{i=1}^{n_1}Y_i \end{equation*}\]

所以：

\[\begin{align*} X_t&=X_{t-1}+Z_t=X_{t-2}+Z_{t-1}+Z_t=X_0+\sum_{i=1}^{t}Z_i \\ &=X_0+\sum_{i=1}^{t}\left(\sum_{j=1}^{d-2}c_j'i^{j}+\sum_{n_{d-2}=1}^{i}\cdots\sum_{n_1=1}^{n_2}\sum_{j=1}^{n_1}Y_j\right) \\ &=X_0+\sum_{i=1}^{t}\sum_{j=1}^{d-2}c_j'i^{j}+\sum_{i=1}^{t}\sum_{n_{d-2}=1}^{i}\cdots\sum_{n_1=1}^{n_2}\sum_{j=1}^{n_1}Y_j \\ &=X_0+\sum_{j=1}^{d-2}\sum_{i=1}^{t}c_j'i^{j}+\sum_{n_{d-1}=1}^{t}\sum_{n_{d-2}=1}^{n_{d-1}}\cdots\sum_{n_1=1}^{n_2}\sum_{j=1}^{n_1}Y_j \\ &=X_0t^0+\sum_{i=1}^{d-1}C_it^i+\sum_{n_{d-1}=1}^{t}\sum_{n_{d-2}=1}^{n_{d-1}}\cdots\sum_{n_1=1}^{n_2}\sum_{j=1}^{n_1}Y_j \\ &=\sum_{i=0}^{d-1}C_it^{i}+\sum_{n_{d-1}=1}^{t}\cdots\sum_{n_1=1}^{n_2}\sum_{i=1}^{n_1}Y_i \end{align*}\]

倒数第三行到倒数第二行使用了多项式的结论，其中\(C_i\)由\(\{X_t\}\)初始的\(d\)个值决定。 ◻

15.3.4.1 单位根模型

Definition 15.26. 称\(\operatorname{ARIMA}(p,1,q)\)模型为单位根模型。

15.4 参数估计

15.4.1 平稳序列的数学期望

15.4.1.1 点估计

Definition 15.27. 设\(x_1, x_2, \dots, x_{n}\)是平稳序列\(\{X_t\}\)的观测值，\(\mu=\operatorname{E}(X_t)\)的点估计定义为：

\[\begin{equation*} \bar{x}_n=\frac{1}{n}\sum_{i=1}^{n}x_i \end{equation*}\]

Theorem 15.27. 设平稳序列\(\{X_t\}\)有均值\(\mu\)和自协方差函数\(\{\gamma(n)\}\)，则：

1. \(\bar{X}_n\)是\(\mu\)的无偏估计；

2. 如果\(\gamma(n)\to0\)，则\(\bar{X}_n\)是\(\mu\)的相合估计；

3. 如果\(\{X_t\}\)是严平稳遍历序列，则\(\bar{X}_n\)是\(\mu\)的强相合估计。

证明. (1)显然。

(2)注意到：

\[\begin{align*} \operatorname{E}[(\bar{X}_n-\mu)^2]&=\operatorname{E}\left[\left(\frac{1}{n}\sum_{i=1}^{n}X_i-\mu\right)^2\right]=\operatorname{E}\left\{\frac{1}{n^2}\left[\sum_{i=1}^{n}(X_i-\mu)\right]^2\right\} \\ &=\frac{1}{n^2}\operatorname{E}\left\{\left[\sum_{i=1}^{n}(X_i-\mu)\right]^2\right\}=\frac{1}{n^2}\sum_{i=1}^{n}\sum_{j=1}^{n}\gamma(j-i) \\ &=\frac{1}{n^2}\sum_{i=-n+1}^{n-1}(n-|i|)\gamma(i)\leqslant\frac{1}{n^2}\sum_{i=-n+1}^{n-1}(n-|i|)|\gamma(i)| \\ &\leqslant\frac{1}{n^2}\sum_{i=-n+1}^{n-1}n|\gamma(i)|\leqslant\frac{1}{n}\sum_{i=-n+1}^{n-1}|\gamma(i)| \\ &\leqslant\frac{1}{n}\sum_{i=-n}^{n}|\gamma(i)| \end{align*}\]

由无穷小序列的平均值序列也是无穷小序列可得\(\operatorname{E}[(\bar{X}_n-\mu)^2]\to0\)，由推论 17.2和(1)可知对任意的\(\varepsilon>0\)有：

\[\begin{equation*} P(|\bar{X}_n-\mu|\geqslant\varepsilon)\leqslant\frac{\operatorname{Var}(\bar{X}_n)}{\varepsilon^2}=\frac{\operatorname{E}[(\bar{X}_n-\mu)^2]}{\varepsilon^2}\to0,\quad n\to+\infty \end{equation*}\]

所以\(\bar{X}_n\overset{P}{\longrightarrow}\mu\)，即\(\bar{X}_n\)是\(\mu\)的相合估计。

(3)由遍历定理立即可得。遍历定理 ◻

Corollary 15.3. 对于线性平稳序列，\(\bar{X}_n\)是均值\(\mu\)的无偏估计、相合估计和强相合估计。

证明. 由性质 15.1.4(1)(5)立即可得。 ◻

15.4.1.2 分布

Theorem 15.28. 设\(\{\varepsilon_t\}\)是独立同分布的\(\operatorname{WN}(0,\sigma^2)\)，平稳序列\(\{X_t\}\)由：

\[\begin{equation*} X_t=\mu+\sum_{i=-\infty}^{+\infty}\psi_i\varepsilon_{t-i} \end{equation*}\]

定义。若\(\{X_t\}\)的谱密度：

\[\begin{equation*} f(\lambda)=\frac{\sigma^2}{2\pi}\left|\sum_{j=-\infty}^{+\infty}\psi_je^{ij\lambda}\right|^2 \end{equation*}\]

在\(\lambda=0\)处连续且\(f(0)\ne0\)，则\(\sqrt{n}(\bar{X}_n-\mu)\)依分布收敛到\(\operatorname{N}[0,2\pi f(0)]\)。

Corollary 15.4. 若\(\{\psi_n\}\in l^1\)，\(\sum\limits_{i=-\infty}^{+\infty}\psi_i\ne0\)，则\(\sqrt{n}(\bar{X}_n-\mu)\)依分布收敛到\(\operatorname{N}[0,2\pi f(0)]\)，其中：

\[\begin{equation*} 2\pi f(0)=\gamma(0)+2\sum_{i=1}^{+\infty}\gamma(i) \end{equation*}\]

15.4.2 平稳序列的自协方差

Definition 15.28. 设\(x_1, x_2, \dots, x_{n}\)是平稳序列\(\{X_t\}\)的观测值，\(\gamma(k)\)的点估计有如下两种定义：

\[\begin{equation*} \hat{\gamma}(k)= \begin{cases} \dfrac{1}{n}\sum\limits_{i=1}^{n-k}(x_i-\bar{x}_n)(x_{i+k}-\bar{x}_n) \\ \dfrac{1}{n-k}\sum\limits_{i=1}^{n-k}(x_i-\bar{x}_n)(x_{i+k}-\bar{x}_n) \end{cases},\quad 0\leqslant k\leqslant n-1 \end{equation*}\]

而对于\(-(n-1)\leqslant k<0\)，定义\(\hat{\gamma}(k)=\hat{\gamma}(-k)\)。

定义\(\{X_t\}\)自相关函数\(\rho(k)\)的点估计为：

\[\begin{equation*} \hat{\rho}(k)=\frac{\hat{\gamma}(k)}{\hat{\gamma}(0)} \end{equation*}\]

Theorem 15.29. 对于平稳序列\(\{X_t\}\)自协方差函数\(\gamma(k)\)的两种点估计，有：

1. 若\(\gamma(k)\to0\)，则\(\hat{\gamma}(k)\)是\(\gamma(k)\)的渐进无偏估计，即：

   \[\begin{equation*} \lim_{n\to+\infty}\operatorname{E}[\hat{\gamma}(k)]=\gamma(k) \end{equation*}\]

2. 若\(\{X_t\}\)是严平稳遍历序列，则\(\hat{\gamma}(k)\)和\(\hat{\rho}(k)\)分别为\(\gamma(k)\)和\(\rho(k)\)的强相合估计，即：

   \[\begin{equation*} \lim_{n\to+\infty}\hat{\gamma}(k)=\gamma(k),\;a.e.\quad \lim_{n\to+\infty}\hat{\rho}(k)=\rho(k),\;a.e. \end{equation*}\]

3. 只要样本\(x_1, x_2, \dots, x_{n}\)不全相同，第一种分母为\(\dfrac{1}{n}\)的点估计构成的样本自协方差矩阵是正定的。

15.5 预测

15.5.1 最佳线性预测

Definition 15.29. 设\(Y\)是方差有限的随机变量，\(\mathbf{X}=(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n})^{\top}\)是各分量方差有限的随机向量，\(\operatorname{E}(Y)=b,\;\operatorname{E}(\mathbf{X})=\boldsymbol{\mu}\)。若\(\alpha\in\mathbb{R}^{n}\)使得对任意的\(\beta\in\mathbb{R}^{n}\)都有：

\[\begin{equation*} \operatorname{E}\{[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]^2\}\leqslant\operatorname{E}\{[Y-\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]^2\} \end{equation*}\]

则称\(a^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)是用\(\mathbf{X}\)对\(Y\)进行预测时的最佳线性预测，记为\(L(Y|\mathbf{X})\)。

Definition 15.30. 若\(\operatorname{Cov}(\mathbf{X})\)与\(\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)已知，称\(\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)为预测方程。

Property 15.5.1. 设\(Y\)是方差有限的随机变量，\(\mathbf{X}=(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n})^{\top}\)是各分量方差有限的随机向量，\(\operatorname{E}(Y)=b,\;\operatorname{E}(\mathbf{X})=\boldsymbol{\mu}\)。用\(\mathbf{X}\)对\(Y\)进行预测时的最佳线性预测具有如下性质：

1. 最佳线性预测是无偏预测，它的含义是\(\operatorname{E}[L(Y|\mathbf{X})]=\operatorname{E}(Y)\)；

2. 若\(\alpha\in\mathbb{R}^{n}\)使得\(\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)，则\(L(Y|\mathbf{X})=\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)，且有：

   \[\begin{equation*} \operatorname{E}\{[Y-L(Y|\mathbf{X})]^2\}=\operatorname{E}[(Y-b)^2]-\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{Var}(Y)-\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha \end{equation*}\]

3. 若\(\operatorname{Cov}(\mathbf{X})\)可逆，则\(\alpha^{-1}=\operatorname{Cov}(\mathbf{X})^{-1}\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)；

4. 若\(\det[\operatorname{Cov}(\mathbf{X})]=0\)，取正交矩阵\(Q\)使得：

   \[\begin{equation*} Q\operatorname{Cov}(\mathbf{X})Q^{\top}=\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r},0,0,\dots,0\},\quad\lambda_i>0,\;i=1,2,\dots,r \end{equation*}\]

   定义\(\mathbf{Z}=Q(\mathbf{X}-\boldsymbol{\mu})=(\mathbf{Z}_1, \mathbf{Z}_2, \dots, \mathbf{Z}_{r},0,0,\dots,0)^{\top},\;\varepsilon=(\mathbf{Z}_1, \mathbf{Z}_2, \dots, \mathbf{Z}_{r})^{\top}\)，则\(\operatorname{E}(\varepsilon\varepsilon^{\top})\)正定，并且对\(\alpha=[\operatorname{E}(\varepsilon\varepsilon^{\top})]^{-1}\operatorname{E}[\varepsilon(Y-b)]\)，有\(L(Y|\mathbf{X})=\alpha^{\top}\varepsilon+b\)；

5. 预测方程\(\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)一定有解；

6. 预测方程\(\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)的解可能不唯一，但\(L(Y|\mathbf{X})\)是在几乎处处的意义上唯一的，并且若一个随机变量几乎处处等于\(L(Y|\mathbf{X})\)，它也是一个最佳线性预测；

7. 若\(\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]=\mathbf{0}\)，则\(L(Y|\mathbf{X})=b\;\)a.e.；

8. 若\(Y=a^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)，则\(L(Y|\mathbf{X})=Y\;\)a.e.；

9. \(a^{\top}(\mathbf{X}-\boldsymbol{\mu})+b=L(Y|\mathbf{X})\)的充分必要条件为：

   \[\begin{equation*} \operatorname{E}\{(\mathbf{X}-\boldsymbol{\mu})[Y-a^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]\}=\mathbf{0} \end{equation*}\]

10. \(L(\cdot|\mathbf{X})\)是一个线性运算：

    \[\begin{equation*} L\left(\sum_{i=1}^{n}k_iY_i|\mathbf{X}\right)=\sum_{i=1}^{n}k_iL(Y_i|\mathbf{X}) \end{equation*}\]

11. 设\(\mathbf{Z}=(\mathbf{Z}_1, \mathbf{Z}_2, \dots, \mathbf{Z}_{m})^{\top}\)，若\(\operatorname{Cov}(\mathbf{X},\mathbf{Z})=\mathbf{0}\)，则有\(L(Y|\mathbf{X},\mathbf{Z})=L(Y|\mathbf{X})+L(Y|\mathbf{Z})\)；

12. 设\(\hat{Y}=L(Y|\mathbf{X}),\;\tilde{Y}=L(Y|\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n-1})\)，则：

    \[\begin{equation*} L(\hat{Y}|\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n-1})=\tilde{Y},\quad\operatorname{E}[(Y-\hat{Y})^2]\leqslant\operatorname{E}[(Y-\tilde{Y})^2] \end{equation*}\]

13. 设\(\mathbf{X}=\mathbf{Z}_1, \mathbf{Z}_2, \dots, \mathbf{Z}_{m}\)，若存在矩阵\(A,B\)使得\(\mathbf{X}=A\mathbf{Z},\;\mathbf{Z}=B\mathbf{X}\)，则\(L(Y|\mathbf{X})=L(Y|\mathbf{Z})\)。

证明. (1)设\(L(Y|\mathbf{X})=\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)，则：

\[\begin{equation*} \operatorname{E}[L(Y|\mathbf{X})]=\operatorname{E}[\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b]=\alpha^{\top}\operatorname{E}(\mathbf{X}-\boldsymbol{\mu})+b=b=\operatorname{E}(Y) \end{equation*}\]

(2)对任意的\(\beta\in\mathbb{R}^{n}\)，由性质 5.4.3(6)可得：

\[\begin{align*} &\operatorname{E}\{[Y-b-\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})]^2\} \\ =&\operatorname{E}\{[Y-b-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})][Y-b-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]\} \\ =&\operatorname{E}\{(Y-b)^2-2[Y-b-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})](\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})+[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\} \\ =&\operatorname{E}[(Y-b)^2]+\operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\}-2\operatorname{E}\{[Y-b-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})](\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})\} \\ =&\operatorname{E}[(Y-b)^2]+\operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\}-2(\alpha^{\top}-\beta^{\top})\operatorname{E}[(Y-b)(\mathbf{X}-\boldsymbol{\mu})-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})] \\ =&\operatorname{E}[(Y-b)^2]+\operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\}-2(\alpha^{\top}-\beta^{\top})\{\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]-\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})^{\top}\alpha]\} \\ =&\operatorname{E}[(Y-b)^2]+\operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\}-2(\alpha^{\top}-\beta^{\top})\{\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]-\operatorname{Cov}(\mathbf{X})\alpha\} \end{align*}\]

因为\(\operatorname{Cov}(\mathbf{X})=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)，所以上式第三项为\(0\)，而前两项都是非负的，其中第二项为\(0\)当且仅当\(\alpha=\beta\)，由最佳线性预测的定义，\(L(Y|\mathbf{X})=\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)。由性质 5.4.3(6)和性质 6.4.3(3)可得：

\[\begin{align*} &\operatorname{E}\{[Y-L(Y|\mathbf{X})]^2\}=\operatorname{E}\{[Y-b-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})]^2\} \\ =&\operatorname{E}\{(Y-b)^2-2\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})(Y-b)+\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})\} \\ =&\operatorname{E}[(Y-b)^2]-2\alpha^{\top}\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]+\operatorname{E}[\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})\alpha] \\ =&\operatorname{E}[(Y-b)^2]-2\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha+\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha \\ =&\operatorname{E}[(Y-b)^2]-\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{Var}(Y)-\alpha^{\top}\operatorname{Cov}(\mathbf{X})\alpha \end{align*}\]

(3)显然。

(4)由性质 6.4.3(2)可得\(\operatorname{Cov}(\mathbf{X})\)是一个半正定矩阵，根据性质 2.6.3(3)和定理 2.18(3.5)可知存在正交矩阵\(Q\)使得：

\[\begin{equation*} Q\operatorname{Cov}(\mathbf{X})Q^{\top}=\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r},0,0,\dots,0\},\quad\lambda_i>0,\;i=1,2,\dots,r \end{equation*}\]

注意到：

\[\begin{equation*} \operatorname{E}(\mathbf{Z})=\mathbf{0},\quad\operatorname{Cov}(\mathbf{Z})=\operatorname{E}(\mathbf{Z}\mathbf{Z}^{\top})=Q\operatorname{Cov}(\mathbf{X})Q^{\top}=\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r},0,0,\dots,0\} \end{equation*}\]

所以：

\[\begin{equation*} \operatorname{E}(\varepsilon\varepsilon^{\top})=\operatorname{Cov}(\varepsilon)=\operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r}\} \end{equation*}\]

于是\(\operatorname{E}(\varepsilon\varepsilon^{\top})\)的特征值都大于\(0\)，由定理 2.17(3.5)可知\(\operatorname{E}(\varepsilon\varepsilon^{\top})\)正定。取\(\alpha=[\operatorname{E}(\varepsilon\varepsilon^{\top})]^{-1}\operatorname{E}[\varepsilon(Y-b)]\)，则：

\[\begin{gather*} \operatorname{E}(\varepsilon\varepsilon^{\top})\alpha=\operatorname{E}[\varepsilon(Y-b)] \\ \operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r}\}\alpha=\operatorname{E}[\varepsilon(Y-b)] \\ \operatorname{diag}\{\lambda_1, \lambda_2, \dots, \lambda_{r},0,0,\dots,0\} \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}=\operatorname{E}[Z(Y-b)] \\ Q\operatorname{Cov}(\mathbf{X})Q^{\top} \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}=\operatorname{E}[Q(\mathbf{X}-\boldsymbol{\mu})(Y-b)] \\ \operatorname{Cov}(\mathbf{X})Q^{\top} \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)] \end{gather*}\]

所以\(Q^{\top} \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}\)满足预测方程，即：

\[\begin{equation*} L(Y|\mathbf{X})= \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}^{\top}Q(\mathbf{X}-\boldsymbol{\mu})+b= \begin{pmatrix} \alpha \\ \mathbf{0} \end{pmatrix}^{\top}\mathbf{Z}+b=\alpha^{\top}\varepsilon+b \end{equation*}\]

(5)由(3)(4)和性质 6.4.3(2)立即可得。

(6)由(2)的证明过程可知若\(L(Y|\mathbf{X})=\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)是最佳线性预测，则对任意的\(\beta\in\mathbb{R}^{n}\)，有：

\[\begin{equation*} \operatorname{E}\{[Y-b-\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})]^2\}=\operatorname{E}[(Y-b)^2]+\operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\} \end{equation*}\]

若\(\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)也是最佳线性预测，由定义即可得：

\[\begin{equation*} \operatorname{E}\{[(\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})]^2\}=0 \end{equation*}\]

由性质 5.4.2(9)可得此时\((\alpha^{\top}-\beta^{\top})(\mathbf{X}-\boldsymbol{\mu})=\mathbf{0}\;\)a.e.，即

\[\begin{equation*} \alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b=\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})+b,\quad a.e. \end{equation*}\]

反之若上式成立，则由性质 5.4.2(9)可得此时上上式成立，根据定义即可得到\(\beta^{\top}(\mathbf{X}-\boldsymbol{\mu})+b\)是最佳线性预测。

(7)此时预测方程有解\(\alpha=\mathbf{0}\)，由(2)(6)可知\(L(Y|\mathbf{X})=b\;\)a.e.。

(8)由最佳线性预测的定义和(6)立即可得。

(9)由性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{E}\{(\mathbf{X}-\boldsymbol{\mu})[Y-a^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]\}&=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]-\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})a^{\top}(\mathbf{X}-\boldsymbol{\mu}) \\ &=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]-\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})^{\top}\alpha] \\ &=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]-\operatorname{Cov}(\mathbf{X})\alpha=\mathbf{0} \end{align*}\]

上式即\(\operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-b)]\)，所以预测方程的解满足上式，由(5)(6)可立即得出结论。

(10)设\(\operatorname{E}(Y_i)=b_i\)，由(5)(2)可得\(L(Y_i|\mathbf{X})=\alpha_i^{\top}(\mathbf{X}-\boldsymbol{\mu})+b_i\)，其中\(\alpha_i\)是用\(\mathbf{X}\)对\(Y_i\)进行预测时的最佳线性预测的预测方程的解，由性质 5.4.3(6)可得：

\[\begin{align*} \operatorname{Cov}(\mathbf{X})\left(\sum_{i=1}^{n}k_i\alpha_i\right)&=\sum_{i=1}^{n}k_i\operatorname{Cov}(\mathbf{X})\alpha_i=\sum_{i=1}^{n}k_i\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y_i-b_i)] \\ &=\operatorname{E}\left\{(\mathbf{X}-\boldsymbol{\mu})\left[\sum_{i=1}^{n}k_i(Y_i-b_i)\right]\right\} =\operatorname{E}\left[(\mathbf{X}-\boldsymbol{\mu})\left(\sum_{i=1}^{n}k_iY_i-\sum_{i=1}^{n}b_i\right)\right] \end{align*}\]

由(2)(6)可立即得出结论。

(11)设\(\operatorname{E}(\mathbf{Z})=\boldsymbol{\nu},\;L(Y|\mathbf{X})=\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})+b,\;L(Y|\mathbf{Z})=\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})+b\)，由(9)可得：

\[\begin{equation*} \operatorname{E}\{(\mathbf{X}-\boldsymbol{\mu})[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]\}=\mathbf{0},\quad \operatorname{E}\{(\mathbf{Z}-\boldsymbol{\nu})[Y-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b]\}=\mathbf{0} \end{equation*}\]

由性质 5.4.3(6)可得：

\[\begin{align*} &\operatorname{E}\left\{\left[ \begin{pmatrix} \mathbf{X} \\ \mathbf{Z} \end{pmatrix}- \begin{pmatrix} \boldsymbol{\mu} \\ \boldsymbol{\nu} \end{pmatrix} \right][Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b]\right\} \\ &=\operatorname{E}\left[ \begin{pmatrix} (\mathbf{X}-\boldsymbol{\mu})[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b] \\ (\mathbf{Z}-\boldsymbol{\nu})[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b] \end{pmatrix} \right] \\ &=\operatorname{E}\left[ \begin{pmatrix} (\mathbf{X}-\boldsymbol{\mu})[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b]-(\mathbf{X}-\boldsymbol{\mu})[\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b] \\ (\mathbf{Z}-\boldsymbol{\nu})[Y-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b]-(\mathbf{Z}-\boldsymbol{\nu})[\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b] \end{pmatrix} \right] \\ &=\operatorname{E}\left[ \begin{pmatrix} (\mathbf{X}-\boldsymbol{\mu})[Y-\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b] \\ (\mathbf{Z}-\boldsymbol{\nu})[Y-\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b] \end{pmatrix} \right]+\operatorname{E}\left[ \begin{pmatrix} -(\mathbf{X}-\boldsymbol{\mu})[\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})-b] \\ -(\mathbf{Z}-\boldsymbol{\nu})[\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})-b] \end{pmatrix} \right] \\ &=\operatorname{E}\left[ \begin{pmatrix} -(\mathbf{X}-\boldsymbol{\mu})[\beta^{\top}(\mathbf{Z}-\boldsymbol{\nu})]+b(\mathbf{X}-\boldsymbol{\mu}) \\ -(\mathbf{Z}-\boldsymbol{\nu})[\alpha^{\top}(\mathbf{X}-\boldsymbol{\mu})]+b(\mathbf{X}-\boldsymbol{\mu}) \end{pmatrix} \right] \\ &=- \begin{pmatrix} \operatorname{Cov}(\mathbf{X},\mathbf{Z})\beta \\ \operatorname{Cov}(\mathbf{Z},\mathbf{X})\alpha \end{pmatrix}+ b \operatorname{E}\left[ \begin{pmatrix} \mathbf{X}-\boldsymbol{\mu} \\ \mathbf{Z}-\boldsymbol{\nu} \end{pmatrix} \right]=\mathbf{0} \end{align*}\]

于是由(9)可得\(L(Y|\mathbf{X},\mathbf{Z})=L(Y|\mathbf{X})+L(Y|\mathbf{Z})\)。

(12)令\(\mathbf{Z}=(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n-1}),\;\operatorname{E}(\mathbf{Z})=\boldsymbol{\nu}\)，由(8)可得：

\[\begin{equation*} \operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(Y-\hat{Y})]=\mathbf{0},\quad\operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(Y-\tilde{Y})]=\mathbf{0} \end{equation*}\]

所以\(\operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(Y-\hat{Y})]=\mathbf{0}\)，于是由性质 5.4.3(6)可得：

\[\begin{equation*} \operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(Y-\tilde{Y})]-\operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(Y-\hat{Y})]\operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(Y-\tilde{Y}-Y+\hat{Y})]=\operatorname{E}[(\mathbf{Z}-\boldsymbol{\nu})(\hat{Y}-\tilde{Y})]=\mathbf{0} \end{equation*}\]

所以\(L(\hat{Y}|\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n-1})=\tilde{Y}\)。因为\(\tilde{Y}\)也是对\(Y\)的线性预测，所以由最佳线性预测的定义可得\(\operatorname{E}[(Y-\hat{Y})^2]\leqslant\operatorname{E}[(Y-\tilde{Y})^2]\)。

(13)显然。 ◻

note 15.4. 注意最佳线性预测是无偏估计，根据性质 6.4.4(1)可知它的均方误差就等于方差。

15.5.1.1 样本最佳线性预测

Derivation 15.5. 预测任务为：给定\(x_1, x_2, \dots, x_{N}\)，要求预测\(x_{N+k}\)。若使用\(x_{N-n+1},x_{N-n+2},\dots,x_{N}\)，令\(\mathbf{X}=(X_{N-n+1},X_{N-n+2},\dots,X_N)^{\top},\;\operatorname{E}(X_t)=\mu,\;\hat{\mu}=\bar{x}_N\)，则此时的预测方程为：

\[\begin{gather*} \operatorname{Cov}(\mathbf{X})\alpha=\operatorname{E}[(\mathbf{X}-\boldsymbol{\mu})(X_{N+k}-\mu)] \\ \Gamma_n\alpha=[\gamma(n+k-1),\gamma(n+k-2),\dots,\gamma(k)]^{\top} \end{gather*}\]

样本预测方程为：

\[\begin{equation*} \hat{\Gamma}_n\alpha=[\hat{\gamma}(n+k-1),\hat{\gamma}(n+k-2),\dots,\hat{\gamma}(k)]^{\top} \end{equation*}\]

由定理 15.29(3)可知以\(\dfrac{1}{n}\)为分母构成的自协方差矩阵\(\hat{\Gamma}_n\)是正定的，根据定理 2.17(6)可知\(\hat{\Gamma}_n\)可逆，所以有\(\alpha=\hat{\Gamma}_n^{-1}[\hat{\gamma}(n+k-1),\hat{\gamma}(n+k-2),\dots,\hat{\gamma}(k)]^{\top}\)，最佳线性预测的预测值即为：

\[\begin{equation*} \hat{X}_{N+k}=\alpha^{\top}(x_{N-n+1}-\hat{\mu},x_{N-n+2}-\hat{\mu},\dots,x_{N}-\hat{\mu})^{\top}+\hat{\mu} \end{equation*}\]

此时必须满足\(N\leqslant n+k-1\)。

15.5.2 最佳预测

Definition 15.31. 设\(Y\)是方差有限的随机变量，\(\mathbf{X}=(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n})^{\top}\)是各分量方差有限的随机向量，令：

\[\begin{equation*} M=\overline{\operatorname{sp}}\left\{g(\mathbf{X})|\operatorname{E}[g^2(\mathbf{X})]<+\infty,\;g(\cdot)\text{是可测函数}\right\} \end{equation*}\]

称：

\[\begin{equation*} L(Y|M)=\mathcal{P}_M(\mathbf{X}) \end{equation*}\]

是用\(\mathbf{X}\)对\(Y\)进行预测时的最佳预测，其中\(\mathcal{P}_M\)是向\(M\)的投影算子。

Property 15.5.2. 设\(Y\)是方差有限的随机变量，\(\mathbf{X}=(\mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_{n})^{\top}\)是各分量方差有限的随机向量，\(\operatorname{E}(\mathbf{X})=\boldsymbol{\mu}\)。用\(\mathbf{X}\)对\(Y\)进行预测时的最佳预测具有如下性质：

1. 从方差的角度，最佳预测优于最佳线性预测；

2. 若\((\mathbf{X},Y)\sim\operatorname{N}_{n+1}(\boldsymbol{\mu},\Sigma)\)，则最佳预测\(L(Y|M)\)与最佳线性预测\(L(Y|\mathbf{X})\)相同。

证明. (1)写完高概回来修改这边，整个时间序列的Hilbert空间理论

(2)由性质 15.5.1(1)可得\(\operatorname{E}[Y-L(Y|\mathbf{X})]=0\)，显然有\(\operatorname{E}(\mathbf{X}-\boldsymbol{\mu})=\mathbf{0}\)。由性质 15.5.1(9)可得此时\(Y-L(Y|\mathbf{X})\)与\(\mathbf{X}-\boldsymbol{\mu}\)不相关，根据性质 6.5.8(8)可知\(Y-L(Y|\mathbf{X})\)与\(\mathbf{X}-\boldsymbol{\mu}\)独立，于是\(Y-L(Y|\mathbf{X})\)与\(M\)中的任何元素都独立。对任意的\(\alpha\in M\)，由性质 6.4.3(6)可得\(\operatorname{E}\{\alpha[Y-L(Y|\mathbf{X})]\}=\operatorname{E}(\alpha)\operatorname{E}[Y-L(Y|\mathbf{X})]=0\)，所以\(Y-L(Y|\mathbf{X})\perp M\)。因为\(L(Y|\mathbf{X})\in M\)，由最佳预测的定义可得\(L(Y|\mathbf{X})=L(Y|M)\)。 ◻

15.6 平稳序列的Wold表示

Definition 15.32. 设\(\{X_t\}\)是平稳序列，\(\operatorname{E}(X_t)=\mu\)，记：

\[\begin{equation*} \mathbf{X}_{t,n}=(X_t,X_{t-1},\dots,X_{t-n+1}),\quad\hat{X}_{t+k,n}=L(X_{t+k}|\mathbf{X}_{t,n}),\quad\sigma_{k,n}^2=\operatorname{E}[(X_{t+k}-\hat{X}_{t+k,n})^2] \end{equation*}\]

由性质 15.5.1(12)可得\(\sigma_{k,n}^2\)随着\(n\)的增大单调不增且有下界\(0\)，根据性质 3.2.9(7)定义：

\[\begin{equation*} \sigma_k^2=\lim_{n\to+\infty}\sigma_{k,n}^2 \end{equation*}\]

Property 15.6.1. 设\(\{X_t\}\)是平稳序列，\(\operatorname{E}(X_t)=\mu\)，则：

1. \(\sigma_k^2\)与\(t\)无关；

2. \(\sigma_k^2\geqslant\sigma_{k-1}^2\)。

证明. (1)设\(\alpha\)满足用\(\mathbf{X}_{t,n}\)预测\(X_{t+k}\)时的预测方程，因为\(\{X_t\}\)是平稳序列，所以\(\alpha=(a_1, a_2, \dots, a_{n})^{\top}\)与\(t\)无关。因为：

\[\begin{align*} &(X_{t+k}-\hat{X}_{t+k,n})^2=\left[X_{t+k}-\sum_{i=1}^{n}a_i(X_{t+1-i}-\mu)-\mu\right]^2 \\ =&(X_{t+k}-\mu)^2+\left[\sum_{i=1}^{n}a_i(X_{t+1-i}-\mu)\right]^2-\sum_{i=1}^{n}a_i(X_{t+1-i}-\mu)(X_{t+k}-\mu) \\ =&(X_{t+k}-\mu)^2+\sum_{i=1}^{n}a_i^2(X_{t+1-i}-\mu)^2+\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j(X_{t+1-i}-\mu)(X_{t+1-j}-\mu) \\ &-\sum_{i=1}^{n}a_i(X_{t+1-i}-\mu)(X_{t+k}-\mu) \end{align*}\]

由性质 5.4.3(6)可得：

\[\begin{equation*} \sigma_{k,n}^2=\operatorname{E}[(X_{t+k}-\hat{X}_{t+k,n})^2]=\sum_{i=1}^{n}(1+a_i^2)\gamma(0)+\sum_{i=1}^{n}\sum_{j=1}^{n}a_ia_j\gamma(j-i)-\sum_{i=1}^{n}a_i\gamma(1-i-k) \end{equation*}\]

与\(t\)无关，所以\(\sigma_k^2\)与\(t\)也无关。

(2)由性质 15.5.1可得：

\[\begin{align*} \sigma_k^2&=\lim_{n\to+\infty}\operatorname{E}\{[X_{t+k}-L(X_{t+k}|\mathbf{X}_{t,n})]^2\} \\ &=\lim_{n\to+\infty}\operatorname{E}\{[X_{t+k-1}-L(X_{t+k-1}|\mathbf{X}_{t-1,n})]^2\} \\ &\geqslant\lim_{n\to+\infty}\operatorname{E}\{[X_{t+k-1}-L(X_{t+k-1}|\mathbf{X}_{t,n+1})]^2\}=\sigma_{k-1}^2 \end{align*}\]

◻

Definition 15.33. 设\(\{X_t\}\)是平稳序列。

1. 若\(\sigma_1^2=0\)，称\(\{X_t\}\)是决定性平稳序列；

2. 若\(\sigma_1^2>0\)，称\(\{X_t\}\)是非决定性平稳序列，并称\(\sigma_1^2\)为\(\{X_t\}\)的\(1\)步预测误差的方差；

3. 若\(\lim\limits_{k\to+\infty}\sigma_k^2=\gamma(0)\)，则称\(\{X_t\}\)是纯非决定性的。

note 15.5. 如果\(\{X_t\}\)是纯非决定性的，说明用充分多的历史对遥远的未来进行预测和用\(\mu\)对其进行预测的效果差不多，因为：

\[\begin{equation*} \operatorname{MSE}(X_t-\mu)=\operatorname{Var}(X_t)=\gamma(0)=\lim_{k\to+\infty}\sigma_k^2 \end{equation*}\]

即预测方差相近并且都为无偏估计。

Lemma 15.2. 设\(\{X_t\}\)是一个零均值平稳序列，令：

\[\begin{gather*} K_n=\left\{\sum_{i=0}^{m}c_iX_{n-i}:c_i\in\mathbb{R},\;m\in\mathbb{N}^+\right\},\quad H_n=\overline{\operatorname{sp}}\{X_n,X_{n-1},X_{n-2},\cdots\} \end{gather*}\]

则对任意的\(\xi\in H_n\)，存在\(K_n\)中的点列\(\{\xi_n\}\)使得：

\[\begin{equation*} \lim_{n\to+\infty}\operatorname{E}[(\xi_n-\xi)^2]=0 \end{equation*}\]

证明. 用\(\overline{K}_n\)表示\(K_n\)中的随机变量和它们均方极限，只需证明\(\overline{K}_n=H_n\)。先证明\(\overline{K}_n\)是完备的。任取\(\overline{K}_n\)中的一个Cauchy点列\(\{x_n\}\)，因为未完成 ◻

COMPUTATIONAL NOTES

计算实验

实验01

AR、MA 与 ARMA 模型识别

R · Quarto

下面的辅助函数分别整理ADF检验的\(p\)值、ACF/PACF数值、参数估计与Ljung–Box检验结果，并统一绘制诊断图和预测图。函数代码作为实验的一部分完整展示，便于读者直接复现计算。

adf_result_table <- function(x, series_name) {
  test <- tseries::adf.test(as.numeric(na.omit(x)))
  data.frame(
    Series = series_name,
    LagOrder = unname(test$parameter),
    PValue = unname(test$p.value),
    row.names = NULL
  )
}

correlation_table <- function(x, lag_max = 10L) {
  data.frame(
    Lag = seq_len(lag_max),
    ACF = as.numeric(acf(x, lag.max = lag_max, plot = FALSE)$acf)[-1],
    PACF = as.numeric(pacf(x, lag.max = lag_max, plot = FALSE)$acf),
    Approximate95PercentBound = 1.96 / sqrt(length(x)),
    row.names = NULL
  )
}

coefficient_table <- function(model) {
  standard_errors <- sqrt(diag(model$var.coef))
  z_statistics <- coef(model) / standard_errors
  data.frame(
    Term = names(coef(model)),
    Estimate = unname(coef(model)),
    StandardError = unname(standard_errors),
    PValue = unname(2 * pnorm(-abs(z_statistics))),
    row.names = NULL
  )
}

ljung_box_table <- function(model, lag, fitdf) {
  test <- Box.test(
    na.omit(residuals(model)),
    lag = lag,
    type = "Ljung-Box",
    fitdf = fitdf
  )
  data.frame(
    Lag = lag,
    Statistic = unname(test$statistic),
    DegreesOfFreedom = unname(test$parameter),
    PValue = unname(test$p.value),
    row.names = NULL
  )
}

forecast_table <- function(prediction) {
  data.frame(
    Horizon = seq_along(prediction$pred),
    PointForecast = as.numeric(prediction$pred),
    Lower95 = as.numeric(prediction$pred - 1.96 * prediction$se),
    Upper95 = as.numeric(prediction$pred + 1.96 * prediction$se),
    row.names = NULL
  )
}

plot_acf_pacf <- function(x, series_name) {
  old_par <- par(mfrow = c(1, 2), mar = c(4, 4, 3, 1))
  acf(
    as.numeric(x),
    lag.max = 20,
    col = colour_main,
    main = paste("ACF:", series_name)
  )
  pacf(
    as.numeric(x),
    lag.max = 20,
    col = colour_smooth,
    main = paste("PACF:", series_name)
  )
  par(old_par)
}

plot_residuals <- function(model, model_name) {
  model_residuals <- na.omit(residuals(model))
  old_par <- par(mfrow = c(1, 2), mar = c(4, 4, 3, 1))
  plot(
    model_residuals,
    type = "l",
    lwd = 1.2,
    col = colour_main,
    main = paste(model_name, "Residuals"),
    xlab = "Time",
    ylab = "Residual"
  )
  abline(h = 0, lty = 2, col = "grey45")
  acf(
    as.numeric(model_residuals),
    lag.max = 20,
    col = colour_smooth,
    main = paste("Residual ACF:", model_name)
  )
  par(old_par)
}

plot_forecast <- function(observed, prediction, title, y_label) {
  point_forecast <- prediction$pred
  lower <- point_forecast - 1.96 * prediction$se
  upper <- point_forecast + 1.96 * prediction$se

  plot(
    observed,
    type = "l",
    lwd = 1.4,
    col = colour_main,
    xlim = range(c(time(observed), time(point_forecast))),
    ylim = range(c(observed, lower, upper), na.rm = TRUE),
    main = title,
    xlab = "Time",
    ylab = y_label
  )
  polygon(
    c(time(point_forecast), rev(time(point_forecast))),
    c(lower, rev(upper)),
    border = NA,
    col = grDevices::adjustcolor(colour_smooth, alpha.f = 0.22)
  )
  lines(point_forecast, lwd = 1.6, col = colour_smooth)
  legend(
    "topleft",
    legend = c("Observed", "Forecast", "95% interval"),
    col = c(colour_main, colour_smooth, NA),
    lty = c(1, 1, NA),
    lwd = c(1.4, 1.6, NA),
    fill = c(
      NA,
      NA,
      grDevices::adjustcolor(colour_smooth, alpha.f = 0.22)
    ),
    border = NA,
    bty = "n"
  )
}

本实验用三个彼此独立的真实时间序列，完成从原始数据、平稳性判断、ACF与PACF识别，到模型拟合、残差诊断和预测的完整过程。重点是根据样本相关图提出一个有统计依据的低阶模型，而不是自动搜索模型或比较信息准则。

三个实验使用统一的识别逻辑：AR模型的ACF通常逐渐衰减而PACF近似截尾；MA模型的ACF近似截尾而PACF逐渐衰减；ARMA模型的ACF和PACF通常都不在某个很低的阶数后突然消失。样本相关图不会完全复制理论图形，因而应结合相邻滞后的整体形态，而不能根据某一根偶然越过置信界限的竖线机械判断。

平稳性辅助判断采用tseries::adf.test()。该实现以“序列具有单位根”为原假设、以“序列平稳”为备择假设，在检验回归中包含常数项和线性趋势项，默认滞后阶数为\(\lfloor(n-1)^{1/3}\rfloor\)。下面直接报告\(p\)值，并与5%显著性水平比较：\(p<0.05\)时拒绝单位根原假设。ADF检验只作为时间序列图和ACF之外的辅助证据。

实验一：AR模型

原始序列与平稳性

R自带的lh数据记录一名女性血样中黄体生成素的浓度，共连续观测48次，相邻观测间隔10分钟。时间坐标表示观测次序，而不是年份。

ar_series <- datasets::lh

data.frame(
  Series = "lh",
  Observations = length(ar_series),
  FirstObservation = start(ar_series)[1],
  LastObservation = end(ar_series)[1],
  SamplingIntervalMinutes = 10
)

  Series Observations FirstObservation LastObservation SamplingIntervalMinutes
1     lh           48                1              48                      10

plot(
  ar_series,
  type = "l",
  lwd = 1.4,
  col = colour_main,
  main = "Luteinizing Hormone Level",
  xlab = "Observation number",
  ylab = "Hormone level"
)

序列在1.4至3.5之间上下波动，没有持续趋势或随时间扩大的波动幅度。ADF检验得到\(p=0.0462\)，在5%水平拒绝单位根原假设，不过这一结果接近\(0.05\)的判断界限。结合时间序列图，没有必要再作差分；原序列直接作为平稳工作序列。

adf_result_table(ar_series, "lh")

  Series LagOrder   PValue
1     lh        3 0.046242

ACF、PACF与阶数判断

plot_acf_pacf(ar_series, "Hormone Level")

correlation_table(ar_series, lag_max = 10L)

   Lag        ACF      PACF Approximate95PercentBound
1    1  0.5755245  0.575524                    0.2829
2    2  0.1818182 -0.223410                    0.2829
3    3 -0.1447552 -0.226940                    0.2829
4    4 -0.1748252  0.102768                    0.2829
5    5 -0.1496503 -0.075934                    0.2829
6    6 -0.0209790  0.067558                    0.2829
7    7 -0.0202797 -0.104170                    0.2829
8    8 -0.0041958  0.012014                    0.2829
9    9 -0.1356643 -0.187687                    0.2829
10  10 -0.1538462  0.002551                    0.2829

样本ACF在第1阶为\(0.5755\)，随后迅速减弱并以正负交替的小幅相关逐渐趋近于零，表现为较快的拖尾。PACF只有第1阶的\(0.5755\)越过约\(\pm0.2829\)的置信界限，第2阶及以后均落在界限内，因而呈现清楚的一阶截尾特征。这一组合与AR(1)模型最为一致。

模型拟合

ar_model <- arima(
  ar_series,
  order = c(1, 0, 0),
  include.mean = TRUE,
  method = "ML"
)

coefficient_table(ar_model)

       Term Estimate StandardError     PValue
1       ar1  0.57394       0.11614 7.7414e-07
2 intercept  2.41326       0.14662 7.1301e-61

data.frame(InnovationVariance = ar_model$sigma2)

  InnovationVariance
1            0.19749

AR系数估计为\(0.5739\)，标准误为\(0.1161\)，近似双侧检验得到\(p<0.001\)，说明一阶线性依赖十分明确。均值参数估计为\(2.4133\)，其\(p<0.001\)。arima()输出的intercept是平稳序列的均值参数，而不是非中心化方程中的常数项；估计模型应写为

\[ X_t-2.4133=0.5739(X_{t-1}-2.4133)+\varepsilon_t, \qquad \widehat{\sigma}^2_{\varepsilon}=0.1975. \]

残差诊断

plot_residuals(ar_model, "Hormone Level AR(1)")

ljung_box_table(ar_model, lag = 10L, fitdf = 1L)

  Lag Statistic DegreesOfFreedom  PValue
1  10    9.3564                9 0.40505

残差围绕零波动，前20阶残差ACF全部位于约\(\pm0.2829\)的置信界限内。10阶Ljung–Box统计量为\(9.3564\)，自由度为9，\(p=0.4050\)，没有证据拒绝残差无自相关的原假设。因此，AR(1)已经提取了该序列中主要的线性时间依赖；这里的“近似白噪声”仅指没有发现剩余线性自相关，并不等同于证明残差彼此独立。

向前预测

ar_prediction <- predict(ar_model, n.ahead = 8L)
forecast_table(ar_prediction)

  Horizon PointForecast Lower95 Upper95
1       1        2.6926  1.8216  3.5636
2       2        2.5736  1.5693  3.5779
3       3        2.5053  1.4608  3.5498
4       4        2.4661  1.4087  3.5234
5       5        2.4436  1.3820  3.5052
6       6        2.4307  1.3677  3.4936
7       7        2.4232  1.3598  3.4867
8       8        2.4190  1.3554  3.4826

plot_forecast(
  ar_series,
  ar_prediction,
  "AR(1) Forecast for Hormone Level",
  "Hormone level"
)

点预测从\(2.6926\)逐步回到长期均值\(2.4133\)附近，这是平稳AR(1)多步预测的典型形态；随着预测步长增加，预测区间先扩张，然后逐渐接近长期预测不确定性。

实验二：MA模型

原始序列与一阶差分

R自带的Nile数据记录1871年至1970年阿斯旺的尼罗河年流量，单位为\(10^8\ \mathrm{m}^3\)。原始图在约1898年前后出现明显的水平变化，均值稳定性值得怀疑。

ma_series <- datasets::Nile
ma_working <- diff(ma_series)

data.frame(
  Series = "Nile",
  Observations = length(ma_series),
  FirstYear = start(ma_series)[1],
  LastYear = end(ma_series)[1],
  Unit = "10^8 cubic metres"
)

  Series Observations FirstYear LastYear              Unit
1   Nile          100      1871     1970 10^8 cubic metres

old_par <- par(mfrow = c(1, 2), mar = c(4, 4, 3, 1))
plot(
  ma_series,
  type = "l",
  lwd = 1.4,
  col = colour_main,
  main = "Annual Nile Flow",
  xlab = "Year",
  ylab = expression(Flow ~ (10^8 ~ m^3))
)
plot(
  ma_working,
  type = "l",
  lwd = 1.2,
  col = colour_accent,
  main = "First Difference of Annual Nile Flow",
  xlab = "Year",
  ylab = "First difference"
)

par(old_par)

原序列ADF检验得到\(p=0.0642\)，在5%水平不能拒绝单位根原假设。作一次普通一阶差分后，序列围绕零上下波动，没有继续差分的图形理由；差分序列的ADF检验输出\(p=0.0100\)，并提示真实\(p\)值小于该数值。因而可以拒绝单位根原假设，后续对\(W_t=Y_t-Y_{t-1}\)进行相关结构识别。

rbind(
  adf_result_table(ma_series, "Nile level"),
  adf_result_table(ma_working, "First difference")
)

            Series LagOrder   PValue
1       Nile level        4 0.064195
2 First difference        4 0.010000

ACF、PACF与阶数判断

plot_acf_pacf(ma_working, "First Difference of Nile Flow")

correlation_table(ma_working, lag_max = 10L)

   Lag         ACF      PACF Approximate95PercentBound
1    1 -0.40204263 -0.402043                   0.19699
2    2 -0.04427462 -0.245613                   0.19699
3    3  0.02740458 -0.118706                   0.19699
4    4 -0.08789743 -0.173308                   0.19699
5    5  0.00050262 -0.155406                   0.19699
6    6  0.04652927 -0.073677                   0.19699
7    7 -0.13322828 -0.220527                   0.19699
8    8  0.23116331  0.073627                   0.19699
9    9 -0.08493644  0.016780                   0.19699
10  10 -0.18486616 -0.234254                   0.19699

差分序列ACF在第1阶为\(-0.4020\)，明显越过约\(\pm0.1970\)的置信界限；第2阶起大部分相关已经接近零。第8阶的\(0.2312\)是一个孤立的样本尖峰，并没有形成连续衰减结构。与此相对，PACF从\(-0.4020\)、\(-0.2456\)开始，随后以较小的负相关总体向零衰减，表现为拖尾。因而，这里将ACF解释为近似一阶截尾，并为差分序列选择MA(1)模型；对原始流量而言，这就是无漂移的ARIMA(0,1,1)模型。

模型拟合

ma_model <- arima(
  ma_series,
  order = c(0, 1, 1),
  include.mean = FALSE,
  method = "ML"
)

coefficient_table(ma_model)

  Term Estimate StandardError           PValue
1  ma1 -0.73294       0.11432 0.00000000014431

data.frame(InnovationVariance = ma_model$sigma2)

  InnovationVariance
1              20600

MA系数估计为\(-0.7329\)，标准误为\(0.1143\)，近似双侧检验得到\(p<0.001\)。工作序列的估计方程为

\[ W_t=\varepsilon_t-0.7329\varepsilon_{t-1}, \qquad W_t=Y_t-Y_{t-1}, \qquad \widehat{\sigma}^2_{\varepsilon}=20599.9. \]

残差诊断

plot_residuals(ma_model, "Nile ARIMA(0,1,1)")

ljung_box_table(ma_model, lag = 10L, fitdf = 1L)

  Lag Statistic DegreesOfFreedom  PValue
1  10    13.387                9 0.14585

残差ACF没有持续的拖尾，第10阶相关\(-0.1978\)仅略微越过约\(\pm0.1960\)的界限。10阶Ljung–Box统计量为\(13.3873\)，自由度为9，\(p=0.1459\)，整体上没有证据拒绝无自相关原假设。综合判断，ARIMA(0,1,1)已经提取了主要线性依赖；孤立的边界尖峰提醒我们，“近似白噪声”是有限样本下的判断，而不是所有样本相关恰好为零。

向前预测

ma_prediction <- predict(ma_model, n.ahead = 8L)
forecast_table(ma_prediction)

  Horizon PointForecast Lower95 Upper95
1       1        798.37  517.05  1079.7
2       2        798.37  507.20  1089.5
3       3        798.37  497.66  1099.1
4       4        798.37  488.42  1108.3
5       5        798.37  479.44  1117.3
6       6        798.37  470.71  1126.0
7       7        798.37  462.21  1134.5
8       8        798.37  453.92  1142.8

plot_forecast(
  ma_series,
  ma_prediction,
  "ARIMA(0,1,1) Forecast for Annual Nile Flow",
  expression(Flow ~ (10^8 ~ m^3))
)

无漂移ARIMA(0,1,1)的8个点预测均为\(798.367\)，而预测区间随步长逐渐变宽。点预测保持不变并不表示未来流量没有波动；它表示在模型给定的信息下，未来创新的条件均值为零，而累积的不确定性仍在增加。

实验三：ARMA模型

原始序列与平稳性

fpp3::us_change记录美国消费、收入、生产、储蓄和失业率等经济变量的季度百分比变动。本实验使用1970年第1季度至2019年第2季度的失业率变动序列，共198个观测。这里分析的是“失业率的季度变动”，而不是失业率水平本身。

unemployment_data <- as.data.frame(fpp3::us_change)
quarter_label <- as.character(unemployment_data$Quarter[1])
start_year <- as.integer(substr(quarter_label, 1L, 4L))
start_quarter <- as.integer(sub(".*Q", "", quarter_label))
arma_series <- ts(
  unemployment_data$Unemployment,
  start = c(start_year, start_quarter),
  frequency = 4
)
arma_working <- arma_series

data.frame(
  Series = "Quarterly change in US unemployment",
  Observations = length(arma_series),
  FirstQuarter = "1970 Q1",
  LastQuarter = "2019 Q2"
)

                               Series Observations FirstQuarter LastQuarter
1 Quarterly change in US unemployment          198      1970 Q1     2019 Q2

plot(
  arma_series,
  type = "l",
  lwd = 1.4,
  col = colour_main,
  main = "Quarterly Change in US Unemployment",
  xlab = "Year",
  ylab = "Percentage change"
)
abline(h = 0, lty = 2, col = "grey45")

序列大部分时间围绕零上下波动，没有持续趋势，也没有需要季节差分的稳定季度周期；少数经济冲击时期出现较大的正负变动。ADF检验输出\(p=0.0100\)，并提示真实\(p\)值小于该数值，因此在5%水平拒绝单位根原假设。原序列已经适合作为平稳工作序列，不作额外差分或去趋势。

adf_result_table(arma_series, "US unemployment change")

                  Series LagOrder PValue
1 US unemployment change        5   0.01

ACF、PACF与混合结构

plot_acf_pacf(arma_working, "US Unemployment Change")

correlation_table(arma_working, lag_max = 20L)

   Lag         ACF       PACF Approximate95PercentBound
1    1  0.52372878  0.5237288                   0.13929
2    2  0.38341180  0.1503634                   0.13929
3    3  0.24686847 -0.0035125                   0.13929
4    4  0.03281128 -0.1883304                   0.13929
5    5 -0.00481512  0.0056000                   0.13929
6    6  0.01474097  0.0900630                   0.13929
7    7 -0.00030809  0.0131158                   0.13929
8    8 -0.16058403 -0.2744015                   0.13929
9    9 -0.10416163  0.0380855                   0.13929
10  10 -0.11320628  0.0465084                   0.13929
11  11 -0.17831235 -0.0861485                   0.13929
12  12 -0.12564840 -0.0726362                   0.13929
13  13 -0.12829722 -0.0388179                   0.13929
14  14 -0.09556564  0.0747686                   0.13929
15  15 -0.12491507 -0.0881683                   0.13929
16  16 -0.10197295 -0.0995464                   0.13929
17  17 -0.05268364  0.0679308                   0.13929
18  18 -0.03725462  0.0672445                   0.13929
19  19 -0.00263431 -0.0590087                   0.13929
20  20 -0.02027515 -0.1133737                   0.13929

ACF前3阶依次为\(0.5237\)、\(0.3834\)和\(0.2469\)，先逐步衰减而不是在第1阶突然截尾；随后出现一段接近零的相关，又在第8至16阶形成较小的负相关尾部。PACF前两阶为\(0.5237\)和\(0.1504\)，第4阶和第8阶分别为\(-0.1883\)和\(-0.2744\)，其余多为较小的正负相关。两幅图都没有呈现纯AR或纯MA模型那种整齐、低阶的截尾，而是带有逐渐减弱和零星波动的拖尾形态。因此先考虑同时包含一阶AR和一阶MA项的最简混合模型ARMA(1,1)。

为了检验这一图形判断，下面只检查两个最直接的纯模型候选AR(1)和MA(1)是否留下明显相关。这是对ACF/PACF解释的针对性核验，不是枚举模型或按信息准则选阶。

arma_ar1 <- arima(
  arma_working,
  order = c(1, 0, 0),
  include.mean = TRUE,
  method = "ML"
)
arma_ma1 <- arima(
  arma_working,
  order = c(0, 0, 1),
  include.mean = TRUE,
  method = "ML"
)

rbind(
  AR1 = ljung_box_table(arma_ar1, lag = 20L, fitdf = 1L),
  MA1 = ljung_box_table(arma_ma1, lag = 20L, fitdf = 1L)
)

    Lag Statistic DegreesOfFreedom     PValue
AR1  20    30.309               19 0.04799336
MA1  20    49.541               19 0.00015305

AR(1)残差的20阶Ljung–Box检验得到\(Q=30.3092\)、\(p=0.0480\)，在5%水平刚好拒绝无自相关原假设；MA(1)残差得到\(Q=49.5413\)、\(p=0.00015\)，明确留下了线性自相关。两个最简单的纯模型都没有充分解释相关结构，这支持在低阶模型中同时保留AR项和MA项。

模型拟合

arma_model <- arima(
  arma_working,
  order = c(1, 0, 1),
  include.mean = TRUE,
  method = "ML"
)

coefficient_table(arma_model)

       Term   Estimate StandardError     PValue
1       ar1  0.6977231      0.081986 1.7352e-17
2       ma1 -0.2221954      0.103057 3.1080e-02
3 intercept  0.0081231      0.055650 8.8395e-01

data.frame(InnovationVariance = arma_model$sigma2)

  InnovationVariance
1           0.094321

AR系数估计为\(0.6977\)，标准误为\(0.0820\)，近似双侧检验的\(p<0.001\)；MA系数估计为\(-0.2222\)，标准误为\(0.1031\)，\(p=0.0311\)。因此AR项和MA项都提供了可辨认的线性信息。intercept给出的平稳序列均值估计为\(0.0081\)，标准误为\(0.0557\)，\(p=0.8839\)，与序列围绕零波动的图形一致。以\(\mu=0.0081\)表示均值，估计模型为

\[ X_t-\mu=0.6977(X_{t-1}-\mu)+\varepsilon_t -0.2222\varepsilon_{t-1}, \qquad \widehat{\sigma}^2_{\varepsilon}=0.0943. \]

残差诊断

plot_residuals(arma_model, "Unemployment Change ARMA(1,1)")

ljung_box_table(arma_model, lag = 20L, fitdf = 2L)

  Lag Statistic DegreesOfFreedom  PValue
1  20    25.509               18 0.11152

残差大体围绕零波动，前20阶残差ACF不再表现出连续衰减；第4阶和第8阶分别为\(-0.1578\)和\(-0.1993\)，越过约\(\pm0.1393\)的置信界限，但属于相隔较远的孤立尖峰。20阶Ljung–Box统计量为\(25.5094\)，自由度为18，\(p=0.1115\)，整体上没有证据拒绝残差无自相关的原假设。与AR(1)和MA(1)的结果相比，ARMA(1,1)已经较好地提取主要线性依赖。这里仍不能据此断言残差独立、正态或同方差，因为Ljung–Box检验只针对一组残差自相关的联合显著性。

向前预测

arma_prediction <- predict(arma_model, n.ahead = 8L)
forecast_table(arma_prediction)

  Horizon PointForecast  Lower95 Upper95
1       1    -0.0518647 -0.65382 0.55009
2       2    -0.0337318 -0.70028 0.63281
3       3    -0.0210800 -0.71690 0.67474
4       4    -0.0122526 -0.72189 0.69739
5       5    -0.0060935 -0.72236 0.71017
6       6    -0.0017961 -0.72127 0.71768
7       7     0.0012022 -0.71983 0.72223
8       8     0.0032942 -0.71849 0.72508

plot_forecast(
  arma_series,
  arma_prediction,
  "ARMA(1,1) Forecast for US Unemployment Change",
  "Percentage change"
)

未来8个季度的点预测从\(-0.0519\)逐步回到接近零的长期均值，第8步为\(0.0033\)。95%预测区间逐渐稳定在约\([-0.72,0.73]\)。这正是平稳ARMA模型的典型多步预测：当前冲击的影响逐步衰减，点预测回归长期均值，预测不确定性则接近过程的长期水平。

三个实验的对照

实验	平稳化处理	工作序列ADF \(p\)值	ACF形态	PACF形态	最终模型	检验滞后阶数	Ljung–Box \(p\)值
黄体生成素浓度	不变换	0.0462	快速拖尾	1阶后截尾	AR(1)	10	0.4050
尼罗河年流量	一阶差分	0.0100（报告下限）	近似1阶截尾	总体拖尾	ARIMA(0,1,1)	10	0.1459
美国失业率季度变动	不变换	0.0100（报告下限）	逐步衰减并有负相关尾部	无清晰低阶截尾	ARMA(1,1)	20	0.1115

三个实验说明，ACF与PACF的“截尾”和“拖尾”是模型识别线索而不是机械规则。面对实际数据，应先用时间序列图和简单单位根检验确定工作序列，再根据ACF/PACF提出低阶模型，最后由残差图、残差ACF和Ljung–Box检验检查是否仍有系统性的线性相关。只有这三个环节彼此一致时，一个简单ARIMA模型才构成完整、可解释的分析结果。