23 | March | 2018 | ZHANG RONG

Fibonacci 序列

在开始讲解时间序列的自回归模型（AutoRegression Model）之前，我们需要先介绍一下线性代数的基础知识。为了介绍线性代数的基础知识，我们可以先看一个简单的例子。考虑整数序列 Fibonacci 序列，它的通项公式是一个递归函数，每项的取值是由前两项所生成的，其具体的公式就是

$F_{n}=F_{n-1}+F_{n-2}$ ，

其初始值是 $F_{0}=0, F_{1} = 1$ 。按照其递归公式来计算，我们可以详细写出前面的几项，那就是：

0，1，1，2，3，5，8，13，21，34，55，89，144，…

但是，计算 Fibonacci 的通项公式则比计算等差数列和等比数列的通项公式复杂的多，因为这里需要使用线性代数的技巧才能解决这个问题。

求解 Fibonacci 序列的通项公式－－－矩阵对角化

根据 Fibonacci 数列的递归公式，基于矩阵乘法的定义，Fibonacci 序列可以写成如下形式：

$\left( \begin{array}{c} F_{n+2} \\ F_{n+1} \\ \end{array}\right)= \left( \begin{array}{cc} 1 & 1 \\ 1 & 0 \\ \end{array}\right) \left( \begin{array}{c} F_{n+1} \\ F_{n} \\ \end{array}\right) = A \left( \begin{array}{c} F_{n+1} \\ F_{n} \\ \end{array}\right),$

$\left( \begin{array}{c} F_{n} \\ F_{n-1} \\ \end{array}\right)= A \left( \begin{array}{c} F_{n-1} \\ F_{n-2} \\ \end{array}\right) = \cdots = A^{n-1} \left( \begin{array}{c} F_{1} \\ F_{0} \\ \end{array}\right).$

这就意味着我们需要计算出矩阵 A 的幂。在线性代数里面，为了计算矩阵的 n 次方，除了通过矩阵乘法的公式直接计算之外，还有一个经典的技巧，那就是将矩阵对角化。详细来说，如果 $m\times m$ 的矩阵 A 能够对角化，那就是存在可逆矩阵 P 使得

$P^{-1}AP = diag(\lambda_{1},\cdots,\lambda_{m})$

$\implies AP = P diag(\lambda_{1},\cdots,\lambda_{m})$

$\implies A = P diag(\lambda_{1},\cdots,\lambda_{m})P^{-1}.$

其中 $D = diag(\lambda_{1},\cdots,\lambda_{m})$ 表示一个 $m\times m$ 的对角矩阵，其对角的元素从左上角到右下角依次是 $\lambda_{1},\cdots,\lambda_{m}$ 。如果把矩阵 P 写成列向量的形式，i.e. $P =(\vec{\alpha}_{1},\cdots,\vec{\alpha}_{m})$ ，那么以上的矩阵方程就可以转换为 $A\vec{\alpha}_{i} = \lambda_{i}\vec{\alpha}_{i}$ , $1\leq i\leq m$ 。进一步来说，如果要计算矩阵 A 的幂，就可以得到：

$A^{k} = (PDP^{-1})\cdots(PDP^{-1}) = P D^{k} P^{-1}= P diag(\lambda_{1}^{k},\cdots,\lambda_{m}^{k})P^{-1}.$

另外，如果想知道一个矩阵 A 的特征值和特征向量，则需要计算以下多项式的根，i.e. 计算关于 $\lambda$ 的多项式的解，

$det(\lambda I - A) = 0,$

其中 I 是一个单位矩阵（identity matrix）。

按照以上的思路，如果令

$A = \left( \begin{array}{cc} 1 & 1 \\ 1 & 0 \\ \end{array}\right)$ ,

可以计算出 A 的两个特征值分别是 $\phi=(1+\sqrt{5})/2$ 和 $- \phi^{-1} = (1-\sqrt{5})/2$ ，它们所对应的特征向量分别是：

$\vec{\alpha}_{1} = (\phi,1)^{T}, \vec{\alpha}_{2} = (-\phi^{-1},1)$ .

因此直接计算可以得到

$F_{k} = \frac{1}{\sqrt{5}}\bigg(\frac{1+\sqrt{5}}{2}\bigg)^{k} - \frac{1}{\sqrt{5}}\bigg(\frac{1-\sqrt{5}}{2}\bigg)^{k}=\frac{\phi^{k}-(-\phi)^{-k}}{\sqrt{5}}$ .

通过上面的计算方法，为了计算 Fibonacci 数列的通项公式，我们可以先把它转换成一个矩阵求幂的问题，于是我们就能矩阵对角化的方法把 Fibonacci 数列的通项公式求出来。

时间序列的弱平稳性

要讲解自回归模型，就必须提到时间序列的弱平稳性。一个时间序列 $\{x_{t}\}_{t\geq 0}$ 具有弱平稳性（Weak Stationary）指的是：

$E(x_{t})$ 对于所有的 $t\geq 0$ 都是恒定的；
$Var(x_{t})$ 对于所有的 $t\geq 0$ 都是恒定的；
$x_{t}$ 与 $x_{t-h}$ 的协方差对于所有的 $t\geq 0$ 都是恒定的。

另外，时间序列的自相关方程（AutoCorrelation Function）指的是对于 $h = 1,2,3,\cdots$ ，可以定义 ACF 为

$ACF(x_{t},x_{t-h}) = \frac{Covariance(x_{t},x_{t-h})}{\sqrt{Var(x_{t})\cdot Var(x_{t-h})}}$ .

如果时间序列 $\{x_{t}\}_{t\geq 0}$ 在弱平稳性的假定下，ACF 将会简化为

$ACF(x_{t},x_{t-h}) = \frac{Covariance(x_{t},x_{t-h})}{Var(x_{t})}$ .

时间序列的自回归模型（AutoRegression Model）

AR(1) 模型

AR(1) 模型指的是时间序列 $\{x_{t}\}_{t\geq 0}$ 在时间戳 $t$ 时刻的取值 $x_{t}$ 与时间戳 $t - 1$ 时刻的取值 $x_{t-1}$ 相关，其公式就是：

$x_{t}=\delta+\phi_{1}x_{t-1}+w_{t}$ ，

这个时间序列 $\{x_{t}\}_{t\geq 0}$ 满足如下条件：

$w_{t}\sim N(0,\sigma_{w}^{2})$ ，并且 $w_{t}$ 满足 iid 条件。其中 $N(0,\sigma_{w}^{2})$ 表示 Gauss 正态分布，它的均值是0，方差是 $\sigma_{w}^{2}$ 。
$w_{t}$ 与 $x_{t}$ 是相互独立的（independent）。
$x_{0},x_{1},\cdots$ 是弱平稳的，i.e. 必须满足 $|\phi_{1}|<1$ 。

如果选择初始条件 $x_{0}=1$ ，则可以得到一些 AR(1) 模型的例子如下图所示：

AR Models

从 AR(1) 以上的定义出发，我们可以得到：

$E(x_{t}) = \delta/(1-\phi_{1})$ .
$Var(x_{t}) = \sigma_{w}^{2}/(1-\phi_{1}^{2})$ .
$Covariance(x_{t},x_{t-h}) = \phi_{1}^{h}$ .

Proof of 1. 从 AR(1) 的模型出发，可以得到

$E(x_{t}) = E(\delta + \phi_{1}x_{t-1}+w_{t}) = \delta + \phi_{1}E(x_{t-1}) = \delta + \phi_{1}E(x_{t})$ ,

从而， $E(x_{t}) = \delta/(1-\phi_{1})$ .

Proof of 2. 从 AR(1) 的模型出发，可以得到

$Var(x_{t}) = Var(\delta + \phi_{1}x_{t-1}+w_{t})$

$= \phi_{1}^{2}Var(x_{t-1}) +Var(w_{t}) = \phi_{1}^{2}Var(x_{t}) + \sigma_{w}^{2}$ ,

从而， $Var(x_{t}) =\sigma_{w}^{2}/(1-\phi_{1}^{2})$ .

Proof of 3. 令 $\mu = E(x_{t}), \forall t\geq 0$ . 从 $x_{t}$ 的定义出发，可以得到：

$x_{t}-\mu = \phi_{1}(x_{t-1}-\mu)+w_{t}$

$= \phi_{1}^{h}(x_{t-h}-\mu) + \phi_{1}^{h-1}w_{t-h+1}+\cdots+\phi_{1}w_{t-1}+w_{t},$

从而，

$\rho_{h} = Covariance(x_{t},x_{t-h}) = \frac{E((x_{t}-\mu)\cdot(x_{t-h}-\mu))}{Var(x_{t})}=\phi_{1}^{h}$ .

AR(1) 模型与一维动力系统

特别的，如果假设 $w_{t}$ 恒等于零，就可以得到 $x_{t} =\delta + \phi_{1}x_{t-1}$ 对于所有的 $t\geq 1$ 都成立。也就是可以写成一个一维函数的迭代公式：

$f(x) = \phi_{1}x + \delta,$

下面我们要计算 $f^{n}(x)$ 的收敛性，这里的 $f^{n}(x) = f\circ\cdots\circ f(x)$ 表示函数 $f$ 的 $n$ 次迭代。

Method 1.

通过 $f(x)$ 的定义直接计算可以得到：

$f^{n}(x) = \phi_{1}^{n}x+ \frac{1-\phi_{1}^{n}}{1-\phi_{1}}\delta$ ,

令 $n\rightarrow \infty$ ，可以得到 $f^{n}(x)\rightarrow \delta/(1-\phi_{1})$ 。这与 $E(x_{t}) = \delta/(1-\phi_{1})$ 其实是保持一致的。

另外，如果 $|\phi_{1}|>1$ ，可以从公式上得到 $f^{n}(x) \rightarrow \infty$ 当 $n\rightarrow \infty$ 。

Method 2.

将原函数转换成 Lipschitz 函数的形式，i.e. 如果 $|\phi_{1}|<1$ ，那么

$f(x)-\frac{\delta}{1-\phi_{1}} = \phi_{1}(x-\frac{\delta}{1-\phi_{1}})$

$\implies |f(x)-\frac{\delta}{1-\phi_{1}}| <\frac{1+|\phi_{1}|}{2}\cdot|x-\frac{\delta}{1-\phi_{1}}|$

$\implies |f^{n}(x)-\frac{\delta}{1-\phi_{1}}|<\bigg(\frac{1+|\phi_{1}|}{2}\bigg)^{n}\cdot|x-\frac{\delta}{1-\phi_{1}}|$ .

因为 $(1+|\phi_{1}|)/2<1$ ，我们可以得到 $\lim_{n\rightarrow\infty}f^{n}(x)=\delta/(1-\phi_{1})$ . i.e. $f^{n}(x)$ 趋近于 $\delta/(1-\phi_{1})$ .

反之，如果 $|\phi_{1}|>1$ ，很容易得到

$f(x)-\frac{\delta}{1-\phi_{1}} = \phi_{1}(x-\frac{\delta}{1-\phi_{1}})$

$\implies |f(x)-\frac{\delta}{1-\phi_{1}}| >\frac{1+|\phi_{1}|}{2}\cdot|x-\frac{\delta}{1-\phi_{1}}|$

$\implies |f^{n}(x)-\frac{\delta}{1-\phi_{1}}|>\bigg(\frac{1+|\phi_{1}|}{2}\bigg)^{n}\cdot|x-\frac{\delta}{1-\phi_{1}}|$ .

因此，在 $|\phi_{1}|>1$ 这种条件下， $f^{n}(x)\rightarrow \infty$ as $n\rightarrow \infty$ . 特别地，对于一阶差分方程 $x_{t} =\delta + \phi_{1}x_{t-1}$ 而言，如果 $|\phi_{1}|>1$ ，那么 $x_{t}$ 的取值会越来越大，这与现实的状况不相符，所以在时间序列的研究中，一般都会假设 $|\phi_{1}|<1$ 。

AR(p) 模型

按照之前类似的定义，可以把 AR(1) 模型扩充到 AR(p) 模型，也就是说：

1. AR(1) 模型形如：

$x_{t}=\delta+\phi_{1}x_{t-1}+w_{t}.$

2. AR(2) 模型形如：

$x_{t} = \delta + \phi_{1}x_{t-1}+\phi_{2}x_{t-2}+w_{t}.$

3. AR(p) 模型形如：

$x_{t} = \delta + \phi_{1}x_{t-1}+\phi_{2}x_{t-2}+\cdots+\phi_{p}x_{t-p}+w_{t}.$

AR(p) 模型的稳定性－－－基于线性代数

对于 AR(2) 模型，可以假定 $\delta = 0$ 并且忽略误差项，因此可以得到简化版的模型形如：

$x_{t}= \phi_{1}x_{t-1} + \phi_{2}x_{t-2}$ .

写成矩阵的形式形如：

$\left( \begin{array}{c} x_{t+2} \\ x_{t+1} \\ \end{array}\right)= \left( \begin{array}{cc} \phi_{1} & \phi_{2} \\ 1 & 0 \\ \end{array}\right) \left( \begin{array}{c} x_{t+1} \\ x_{t} \\ \end{array}\right) = A \left( \begin{array}{c} x_{t+1} \\ x_{t} \\ \end{array}\right).$

求解其特征多项式则是基于 $det(\lambda I - A) = 0$ ，求解可以得到 $\lambda^{2}-\phi_{1}\lambda - \phi_{2} =0$ ，i.e. $A^{k} = P diag(\lambda_{1}^{k}, \lambda_{2}^{k})P^{-1}$ 。当 $\lambda_{1}, \lambda_{2}$ 都在单位圆内部的时候，也就是该模型 $x_{t+2} = \phi_{1}x_{t+1}+\phi_{2}x_{t}$ 满足稳定性的条件。

对于更加一般的 AR(p) 模型，也就是考虑 p 阶差分方程

$x_{t} = \phi_{1}x_{t-1}+\phi_{2}x_{t-2}+\cdots+\phi_{p}x_{t-p}.$

可以用同样的方法将其转换成矩阵的形式，那就是：

$\left(\begin{array}{c} x_{t+p} \\ x_{t+p-1} \\ \vdots \\ x_{t+1}\\ \end{array}\right) = \left(\begin{array}{ccccc} \phi_{1} & \phi_{2} &\cdots & \phi_{p-1} & \phi_{p} \\ 1 & 0 & \cdots & 0 & 0 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \cdots & 1 & 0 \\ \end{array}\right) \left(\begin{array}{c} x_{t+p-1} \\ x_{t+p-2} \\ \vdots \\ x_{t} \\ \end{array}\right) = A \left(\begin{array}{c} x_{t+p-1} \\ x_{t+p-2} \\ \vdots \\ x_{t} \\ \end{array}\right)$

计算 $det(\lambda I - A) = 0$ ，可以得到其特征多项式为：

$\lambda^{p}-\phi_{1}\lambda^{p-1}-\phi_{2}\lambda^{p-2}-\cdots-\phi_{p}=0.$

当每个特征值都在单位圆盘内部的时候，i.e. $|\lambda_{i}|<1, \forall 1\leq i\leq p$ ，该 p 阶差分方程

$x_{t} = \phi_{1}x_{t-1}+\phi_{2}x_{t-2}+\cdots+\phi_{p}x_{t-p}$

存在稳定性的解。

M	T	W	T	F	S	S
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31

ZHANG RONG

Daily Archives: March 23, 2018

时间序列的自回归模型—从线性代数的角度来看

Fibonacci 序列

求解 Fibonacci 序列的通项公式－－－矩阵对角化

时间序列的弱平稳性

时间序列的自回归模型（AutoRegression Model）

AR(1) 模型

AR(1) 模型与一维动力系统

AR(p) 模型

AR(p) 模型的稳定性－－－基于线性代数

zr9558's Blog

Fibonacci 序列

求解 Fibonacci 序列的通项公式 －－－ 矩阵对角化

时间序列的弱平稳性

时间序列的自回归模型（AutoRegression Model）

AR(1) 模型

AR(1) 模型与一维动力系统

AR(p) 模型

AR(p) 模型的稳定性 －－－ 基于线性代数

zr9558's Blog

求解 Fibonacci 序列的通项公式－－－矩阵对角化

AR(p) 模型的稳定性－－－基于线性代数