网站内容 | 《高级计量经济学 I》有限样本OLS

前言#

本文根据中国社会科学院大学经济学院 2026 年秋季学期开设的《高级计量经济学 I》课程整理而成，课程由李彦龙老师讲授。本文以课程讲义为基础，结合个人学习理解，借助 GPT 辅助补充必要的线性代数知识与数学推导。本文为个人学习笔记，补充内容不代表授课教师的观点。

一、多元线性回归模型#

1. 模型设定#

考虑多元线性回归模型：

y_{i} = β_{0} + j = 1 \sum K - 1 β_{j} x_{ij} + u_{i}, i = 1, \dots, n .

展开形式为：

y_{i} = β_{0} + β_{1} x_{i 1} + β_{2} x_{i 2} + \dots + β_{K - 1} x_{i, K - 1} + u_{i} .

其中：

$n$ ：样本容量；
$K$ ：模型的参数总数（包含截距项），解释变量数量为 $K - 1$ ；
$i$ ：观测值索引， $i = 1, \dots, n$ ；
$j$ ：解释变量索引， $j = 1, \dots, K - 1$ ；
$y_{i}$ ：第 $i$ 个观测值的被解释变量；
$x_{ij}$ ：第 $i$ 个观测值的第 $j$ 个解释变量；
$β_{0}$ ：截距项；
$β_{j}$ ：第 $j$ 个解释变量对应的回归系数；
$u_{i}$ ：第 $i$ 个观测值的随机扰动项。

将 $n$ 个观测值写为矩阵形式：

Y y_{1} y_{2} ⋮ y_{n} = X 11 ⋮ 1 x_{11} x_{21} ⋮ x_{n 1} \dots \dots ⋱ \dots x_{1, K - 1} x_{2, K - 1} ⋮ x_{n, K - 1} β β_{0} β_{1} ⋮ β_{K - 1} + u u_{1} u_{2} ⋮ u_{n} .

简记为：

Y = Xβ + u

其中：

Y \in R^{n \times 1}, X \in R^{n \times K},

β \in R^{K \times 1}, u \in R^{n \times 1} .

$X$ 为设计矩阵（Design Matrix），每一行对应一个观测值，第一列为全 1 向量，对应截距项。

定义：

x_{i} = 1 x_{i 1} ⋮ x_{i, K - 1} \in R^{K \times 1},

则单个观测值的模型可写为：

y_{i} = x_{i}^{'} β + u_{i} .

并且：

X = x_{1}^{'} x_{2}^{'} ⋮ x_{n}^{'} .

2. 经典线性回归模型的基本假设#

2.1 对模型的假设#

假设 1：参数线性（Linearity in Parameters）

Y = Xβ + u

模型关于未知参数 $β$ 线性，但解释变量可以包含非线性变换，如平方项、对数项及交互项。

2.2 对解释变量 $X$ 的假设#

假设 2：解释变量的设计方式（Regressor Design）

根据解释变量是否具有随机性，可以区分两种设定：

（1）固定设计（Fixed Design）

X 为非随机矩阵 .

（2）随机设计（Random Design）

X 为随机矩阵 .

两种设定均可用于线性回归分析。本文采用随机设计框架，并在给定 $X$ 的条件下讨论 OLS 估计量的有限样本性质。

假设 3：无完全多重共线性（No Perfect Multicollinearity）

在随机设计框架下，要求：

P (rank (X) = K) = 1

即 $X$ 几乎必然列满秩，要求 $n \geq K$ 。

对于给定的满秩设计矩阵，有：

rank (X) = K ⟺ det (X^{'} X) \neq = 0 ⟺ X^{'} X ≻ 0.

因此， $(X^{'} X)^{- 1}$ 几乎必然存在。

2.3 对随机扰动项 $u$ 的假设#

假设 4：条件零均值（Zero Conditional Mean）

E (u ∣ X) = 0

即：

E (u_{i} ∣ X) = 0, i = 1, \dots, n .

由模型设定可得：

E (Y ∣ X) = Xβ

该假设是推导 OLS 估计量条件无偏性的关键条件。

假设 5：球形扰动（Spherical Errors）

Var (u ∣ X) = σ^{2} I_{n}, σ^{2} > 0

其中 $I_{n}$ 为 $n$ 阶单位矩阵。

该假设包含两个条件：

（1）条件同方差性（Conditional Homoskedasticity）

Var (u_{i} ∣ X) = σ^{2}, i = 1, \dots, n .

（2）扰动项条件不相关（No Conditional Error Correlation）

Cov (u_{i}, u_{j} ∣ X) = 0, i \neq = j .

球形扰动假设是推导 OLS 经典条件方差公式及 Gauss–Markov 定理的重要条件。

假设 6：条件正态性（Conditional Normality）

u ∣ X \sim N_{n} (0, σ^{2} I_{n})

即在给定 $X$ 的条件下，扰动项服从均值向量为零、协方差矩阵为 $σ^{2} I_{n}$ 的多元正态分布。

该假设主要用于有限样本下的精确统计推断，并非 OLS 无偏性或 Gauss–Markov 定理成立的必要条件。

2.4 假设的综合表述#

在假设 1、3–5 成立的随机设计框架下：

E (Y ∣ X) Var (Y ∣ X) = Xβ, = σ^{2} I_{n} .

若进一步满足假设 6，则：

Y ∣ X \sim N (Xβ, σ^{2} I_{n})

不同假设所对应的主要理论结论如下：

| 理论结论 | 所需假设 |

| :--- | :--- |

| OLS 估计量唯一存在 | 假设 1、3 |

| OLS 条件无偏性 | 假设 1、3、4 |

| OLS 经典条件方差公式 | 假设 1、3、5 |

| Gauss–Markov 定理（BLUE） | 假设 1、3、4、5 |

| 有限样本精确 $t$ 、 $F$ 检验 | 假设 1、3–6，且 $n > K$ |

其中，假设 2 用于明确解释变量的设计框架，本文采用随机设计。假设 6 是在 Gauss–Markov 假设基础上引入的附加分布假设。

二、普通最小二乘估计（OLS）#

1. OLS 估计量的推导#

考虑多元线性回归模型：

Y = Xβ + u .

普通最小二乘法（Ordinary Least Squares，OLS）通过最小化残差平方和（Residual Sum of Squares，RSS）来估计未知参数 $β$ 。

定义残差向量：

e (b) = Y - X b, b \in R^{K \times 1} .

其中 $b$ 为待优化的参数向量，与真实参数 $β$ 和估计结果 $\hat{β}$ 区分。

OLS 估计量定义为：

\hat{β} = ar g b \in R^{K} min (Y - X b)^{'} (Y - X b)

1.1 一阶条件#

定义目标函数：

S (b) = (Y - X b)^{'} (Y - X b) .

展开可得：

S (b) = (Y^{'} - b^{'} X^{'}) (Y - X b) = Y^{'} Y - Y^{'} X b - b^{'} X^{'} Y + b^{'} X^{'} X b = Y^{'} Y - 2 b^{'} X^{'} Y + b^{'} X^{'} X b .

由于 $S (b)$ 为标量，且

Y^{'} X b = (Y^{'} X b)^{'} = b^{'} X^{'} Y,

故两个交叉项可以合并。

（1）矩阵求导的基本公式

设 $b \in R^{K \times 1}$ ， $a \in R^{K \times 1}$ ， $A \in R^{K \times K}$ ，且 $a, A$ 均不依赖于 $b$ 。

对于线性函数：

f (b) = a^{'} b = i = 1 \sum K a_{i} b_{i},

有：

\frac{\partial ( a ^{'} b )}{\partial b} = a

对于二次型：

f (b) = b^{'} A b = i = 1 \sum K j = 1 \sum K b_{i} A_{ij} b_{j},

对第 $l$ 个元素 $b_{l}$ 求偏导：

\frac{\partial f ( b )}{\partial b _{l}} = j = 1 \sum K A_{l j} b_{j} + i = 1 \sum K b_{i} A_{i l} = (A b)_{l} + (A^{'} b)_{l} .

因此：

\frac{\partial ( b ^{'} A b )}{\partial b} = (A + A^{'}) b

若 $A$ 为对称矩阵，即 $A^{'} = A$ ，则：

\frac{\partial ( b ^{'} A b )}{\partial b} = 2 A b

（2）对 OLS 目标函数求导

目标函数为：

S (b) = Y^{'} Y - 2 b^{'} X^{'} Y + b^{'} X^{'} X b .

分别对三项求导：

第一项不含 $b$ ，因此：

\frac{\partial ( Y ^{'} Y )}{\partial b} = 0.

第二项为线性函数：

\frac{\partial ( - 2 b ^{'} X ^{'} Y )}{\partial b} = - 2 X^{'} Y .

第三项为二次型。令 $A = X^{'} X$ ，由于：

(X^{'} X)^{'} = X^{'} X,

故 $X^{'} X$ 为对称矩阵，从而：

\frac{\partial ( b ^{'} X ^{'} X b )}{\partial b} = [X^{'} X + (X^{'} X)^{'}] b = 2 X^{'} X b .

将三部分合并：

\frac{\partial S ( b )}{\partial b} = - 2 X^{'} Y + 2 X^{'} X b

（3）求解正规方程

令一阶导数为零：

- 2 X^{'} Y + 2 X^{'} X \hat{β} = 0.

两边除以 $2$ 并整理：

X^{'} X \hat{β} = X^{'} Y

该方程称为正规方程（Normal Equations）。

根据假设 3， $X$ 几乎必然列满秩，因此 $X^{'} X$ 几乎必然可逆。

两边左乘 $(X^{'} X)^{- 1}$ ，得到：

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

1.2 二阶条件#

由一阶导数：

\frac{\partial S ( b )}{\partial b} = - 2 X^{'} Y + 2 X^{'} X b .

对 $b$ 再次求导，得到目标函数的 Hessian 矩阵：

\frac{\partial ^{2} S ( b )}{\partial b \partial b ^{'}} = \frac{\partial}{\partial b ^{'}} (- 2 X^{'} Y + 2 X^{'} X b) = 2 X^{'} X .

其中， $- 2 X^{'} Y$ 不依赖于 $b$ ，其导数为零； $X^{'} X$ 不依赖于 $b$ ，因此：

\frac{\partial ( X ^{'} X b )}{\partial b ^{'}} = X^{'} X .

故：

H (b) = \frac{\partial ^{2} S ( b )}{\partial b \partial b ^{'}} = 2 X^{'} X

（1）证明 Hessian 矩阵正定

根据假设 3，设计矩阵 $X$ 列满秩：

rank (X) = K .

由于 $X$ 列满秩，说明 $X$ 的 $K$ 个列向量线性无关。

将 $X$ 按列分解：

X = (X_{1} X_{2} \dots X_{K}),

其中 $X_{j} \in R^{n \times 1}$ 。

对于任意向量：

a = a_{1} a_{2} ⋮ a_{K} \in R^{K \times 1},

有：

X a = a_{1} X_{1} + a_{2} X_{2} + \dots + a_{K} X_{K} .

根据列向量线性无关的定义，只有当所有系数均为零时，上述线性组合才等于零向量，即：

X a = 0 ⟺ a_{1} = a_{2} = \dots = a_{K} = 0.

因此：

X a = 0 ⟺ a = 0

即 $X$ 的零空间（Null Space）仅包含零向量：

Null (X) = {0} .

所以，对于任意非零向量 $a \neq = 0$ ，必然有：

X a \neq = 0.

进一步考察二次型 $a^{'} X^{'} X a$ 。

利用矩阵转置性质 $(A B)^{'} = B^{'} A^{'}$ ：

a^{'} X^{'} X a = (X a)^{'} (X a) = i = 1 \sum n (X a)_{i}^{2} = ∥ X a ∥^{2} .

其中 $∥ \cdot ∥$ 表示欧几里得范数。

由于 $X a \neq = 0$ ，其至少存在一个非零元素，故：

∥ X a ∥^{2} = i = 1 \sum n (X a)_{i}^{2} > 0.

因此，对于任意 $a \neq = 0$ ：

a^{'} X^{'} X a = ∥ X a ∥^{2} > 0

又因为：

(X^{'} X)^{'} = X^{'} X,

即 $X^{'} X$ 为对称矩阵。

根据正定矩阵的定义：

X^{'} X ≻ 0

进而：

H (b) = 2 X^{'} X ≻ 0

（2）严格凸性与唯一全局最小值

由于 $S (b)$ 是定义在 $R^{K}$ 上的二次可微函数，且 Hessian 矩阵在整个定义域内正定：

\frac{\partial ^{2} S ( b )}{\partial b \partial b ^{'}} ≻ 0, \forall b \in R^{K},

因此， $S (b)$ 为严格凸函数（Strictly Convex Function）。

根据严格凸函数的性质，其驻点若存在，则必然是唯一的全局最小值。

由一阶条件：

\frac{\partial S ( b )}{\partial b} = 0,

得到：

X^{'} X \hat{β} = X^{'} Y .

由于 $X^{'} X$ 正定，故其逆矩阵存在，因此驻点唯一：

\hat{β} = (X^{'} X)^{- 1} X^{'} Y .

综上，OLS 目标函数存在唯一全局最小值：

\hat{β} = ar g b \in R^{K} min S (b) = (X^{'} X)^{- 1} X^{'} Y

2. OLS 估计量的代数性质#

由上一节的推导，在假设 3（无完全多重共线性）下，OLS 估计量几乎必然唯一存在：

\hat{β} = (X^{'} X)^{- 1} X^{'} Y .

定义拟合值向量（Fitted Values）与残差向量（Residuals）：

\hat{Y} = X \hat{β}, \overset{u}{^} = Y - \hat{Y} = Y - X \hat{β} .

其中 $\hat{Y}, \overset{u}{^} \in R^{n \times 1}$ ，第 $i$ 个观测对应 $\overset{y}{^}_{i} = x_{i}^{'} \hat{β}$ 、 $\overset{u}{^}_{i} = y_{i} - \overset{y}{^}_{i}$ 。需要区分样本残差 $\overset{u}{^}$ 与真实扰动项 $u$ 。

以下结论是 OLS 的样本代数性质：只需使用一阶条件及相应的截距项设定，不需要假设 4（条件零均值）、假设 5（球形扰动）或假设 6（条件正态性）。后续讨论估计量的无偏性和方差时，才会用到这些统计假设。

2.1 残差与解释变量正交#

由上一节正规方程 $X^{'} X \hat{β} = X^{'} Y$ ，移项并提取 $X^{'}$ ：

X^{'} Y - X^{'} X \hat{β} X^{'} (Y - X \hat{β}) = 0, = 0.

结合 $\overset{u}{^} = Y - X \hat{β}$ ，得到：

X^{'} \overset{u}{^} = 0 .

由于设计矩阵包含截距项，可将其按列表示为：

X = (1_{n} X_{1} X_{2} \dots X_{K - 1}),

其中 $X_{j} = (x_{1 j}, x_{2 j}, \dots, x_{nj})^{'}$ 。

由正规方程：

X^{'} \overset{u}{^} = 0,

将其展开为矩阵形式：

X^{'} 1 x_{11} x_{12} ⋮ x_{1, K - 1} 1 x_{21} x_{22} ⋮ x_{2, K - 1} \dots \dots \dots ⋱ \dots 1 x_{n 1} x_{n 2} ⋮ x_{n, K - 1} \overset{u}{^} \overset{u}{^}_{1} \overset{u}{^}_{2} ⋮ \overset{u}{^}_{n} = \sum_{i = 1}^{n} \overset{u}{^}_{i} \sum_{i = 1}^{n} x_{i 1} \overset{u}{^}_{i} \sum_{i = 1}^{n} x_{i 2} \overset{u}{^}_{i} ⋮ \sum_{i = 1}^{n} x_{i, K - 1} \overset{u}{^}_{i} = 000 ⋮ 0 .

因此，OLS 残差向量与设计矩阵 $X$ 的每一列正交，即：

i = 1 \sum n x_{ij} \overset{u}{^}_{i} = 0, j = 1, \dots, K - 1.

特别地，由于 $X$ 的第一列为全 1 向量：

i = 1 \sum n \overset{u}{^}_{i} = 0

该结论是包含截距项的 OLS 回归所满足的样本代数性质。

2.2 残差与拟合值正交#

由拟合值向量的定义：

\hat{Y} = X \hat{β},

以及上一节得到的残差正交性质：

X^{'} \overset{u}{^} = 0.

因此：

\hat{Y}^{'} \overset{u}{^} = (X \hat{β})^{'} \overset{u}{^} = \hat{β}^{'} X^{'} \overset{u}{^} = \hat{β}^{'} \cdot 0 = 0.

进一步将拟合值向量与残差向量展开：

\hat{Y} = \overset{y}{^}_{1} \overset{y}{^}_{2} ⋮ \overset{y}{^}_{n}, \overset{u}{^} = \overset{u}{^}_{1} \overset{u}{^}_{2} ⋮ \overset{u}{^}_{n} .

则：

\hat{Y}^{'} \overset{u}{^} = (\overset{y}{^}_{1} \overset{y}{^}_{2} \dots \overset{y}{^}_{n}) \overset{u}{^}_{1} \overset{u}{^}_{2} ⋮ \overset{u}{^}_{n} = \overset{y}{^}_{1} \overset{u}{^}_{1} + \overset{y}{^}_{2} \overset{u}{^}_{2} + \dots + \overset{y}{^}_{n} \overset{u}{^}_{n} = i = 1 \sum n \overset{y}{^}_{i} \overset{u}{^}_{i} = 0.

因此：

\hat{Y}^{'} \overset{u}{^} = i = 1 \sum n \overset{y}{^}_{i} \overset{u}{^}_{i} = 0

即拟合值向量 $\hat{Y}$ 与残差向量 $\overset{u}{^}$ 正交。

根据残差的定义：

\overset{u}{^} = Y - \hat{Y},

可将被解释变量向量分解为：

Y = \hat{Y} + \overset{u}{^} .

展开为：

Y y_{1} y_{2} ⋮ y_{n} = \hat{Y} \overset{y}{^}_{1} \overset{y}{^}_{2} ⋮ \overset{y}{^}_{n} + \overset{u}{^} \overset{u}{^}_{1} \overset{u}{^}_{2} ⋮ \overset{u}{^}_{n} .

由于 $\hat{Y}^{'} \overset{u}{^} = 0$ ，因此 $Y$ 被分解为两个相互正交的部分：

Y = \hat{Y} + \overset{u}{^}, \hat{Y}^{'} \overset{u}{^} = 0

平方和分解将在第 3 节利用投影矩阵统一推导。

2.3 残差之和为零#

由于模型包含截距项， $X$ 的第一列为全 1 向量 $1_{n} = (1, \dots, 1)^{'}$ 。因此，由 $X^{'} \overset{u}{^} = 0$ 的第一行可得：

1_{n}^{'} \overset{u}{^} = i = 1 \sum n \overset{u}{^}_{i} = 0.

两边除以 $n$ ，得到：

\overset{ˉ}{\overset{u}{^}} = \frac{1}{n} i = 1 \sum n \overset{u}{^}_{i} = 0 .

这里应区分样本残差与真实扰动项。由 $\overset{u}{^} = Y - X \hat{β}$ 和 $Y = Xβ + u$ ，可知 $\overset{u}{^} = u - X (\hat{β} - β)$ ，故两者通常不相等。 $\overset{ˉ}{\overset{u}{^}} = 0$ 是含截距项的 OLS 正规方程自动保证的代数恒等式，而 $E (u ∣ X) = 0$ 是假设 4 对数据生成过程提出的限制；前者不能推出后者。

2.4 拟合值与被解释变量的样本均值相等#

由 $Y = \hat{Y} + \overset{u}{^}$ ，两边左乘 $1_{n}^{'} / n$ ：

\frac{1}{n} 1_{n}^{'} Y = \frac{1}{n} 1_{n}^{'} \hat{Y} + \frac{1}{n} 1_{n}^{'} \overset{u}{^} = \frac{1}{n} 1_{n}^{'} \hat{Y} .

因此：

\overset{ˉ}{Y} = \overline{\hat{Y}},

其中 $\overset{ˉ}{Y} = n^{- 1} \sum_{i = 1}^{n} y_{i}$ ， $\overline{\hat{Y}} = n^{- 1} \sum_{i = 1}^{n} \overset{y}{^}_{i}$ 。该性质与残差均值为零一样，依赖于截距项设定。

3. 投影矩阵与残差生成矩阵#

3.1 投影矩阵（Projection Matrix）#

由 OLS 估计量：

\hat{β} = (X^{'} X)^{- 1} X^{'} Y,

可得：

\hat{Y} = X (X^{'} X)^{- 1} X^{'} Y .

定义投影矩阵：

P_{X} = X (X^{'} X)^{- 1} X^{'}

因此：

\hat{Y} = P_{X} Y

投影矩阵将 $Y$ 投影到 $X$ 的列空间；其对称性与幂等性可从定义直接验证：

（1）对称性（Symmetry）

P_{X}^{'} = [X (X^{'} X)^{- 1} X^{'}]^{'} = X (X^{'} X)^{- 1} X^{'} = P_{X} .

即：

P_{X}^{'} = P_{X}

（2）幂等性（Idempotence）

P_{X}^{2} = X (X^{'} X)^{- 1} X^{'} X (X^{'} X)^{- 1} X^{'} = X (X^{'} X)^{- 1} X^{'} = P_{X} .

即：

P_{X}^{2} = P_{X}

前置知识：幂等矩阵的迹与秩

对任意 $n \times n$ 矩阵 $A$ ，迹为主对角元素之和： $tr (A) = \sum_{i = 1}^{n} A_{ii}$ ，也等于其特征值之和（按代数重数计）。若 $A^{2} = A$ ，对特征对 $A v = λ v$ （ $v \neq = 0$ ），有

A^{2} v = λ^{2} v = A v = λ v ⟹ λ (λ - 1) = 0.

因此幂等矩阵的特征值只能是 $0$ 或 $1$ 。由于多项式 $t (t - 1)$ 没有重根，幂等矩阵可对角化；故其秩等于非零特征值的个数，而迹等于特征值之和，从而

A^{2} = A ⟹ rank (A) = tr (A) .

（3）秩与迹（Rank and Trace）

由于 $P_{X} X = X$ ，且 $P_{X}$ 的像空间恰为 $X$ 的列空间，因此：

rank (P_{X}) = K .

根据幂等矩阵的性质：

tr (P_{X}) = K

3.2 残差生成矩阵（Residual Maker Matrix）#

由：

\overset{u}{^} = Y - \hat{Y} = Y - P_{X} Y,

得到：

\overset{u}{^} = (I_{n} - P_{X}) Y .

定义残差生成矩阵：

M_{X} = I_{n} - P_{X}

因此：

\overset{u}{^} = M_{X} Y

残差生成矩阵具有以下性质：

（1）对称性

M_{X}^{'} = (I_{n} - P_{X})^{'} = I_{n} - P_{X} = M_{X} .

即：

M_{X}^{'} = M_{X}

（2）幂等性

M_{X}^{2} = (I_{n} - P_{X})^{2} = I_{n} - 2 P_{X} + P_{X}^{2} = I_{n} - P_{X} = M_{X} .

即：

M_{X}^{2} = M_{X}

（3）正交性

P_{X} M_{X} = P_{X} (I_{n} - P_{X}) = P_{X} - P_{X}^{2} = 0.

因此：

P_{X} M_{X} = M_{X} P_{X} = 0

同时：

M_{X} X = 0

（4）秩与迹（Rank and Trace）

根据前述迹的线性性质和 $tr (P_{X}) = K$ ，

tr (M_{X}) = tr (I_{n} - P_{X}) = tr (I_{n}) - tr (P_{X}) = n - K .

又因为 $M_{X}^{2} = M_{X}$ ，由前述幂等矩阵的迹等于秩，

rank (M_{X}) = tr (M_{X}) = n - K .

几何上， $P_{X}$ 将向量投影到维度为 $K$ 的列空间 $Col (X)$ ，而 $M_{X}$ 投影到其正交补 $Col (X)^{⊥}$ ，该空间维度为 $n - K$ 。这也解释了后续误差方差估计中残差自由度为何是 $n - K$ 。

3.3 OLS 的正交投影表示#

OLS 将 $Y$ 分解为拟合值与残差：

Y = \hat{Y} + \overset{u}{^} .

利用投影矩阵：

Y = P_{X} Y + M_{X} Y

并且：

\hat{Y}^{'} \overset{u}{^} = 0

即 $P_{X} Y$ 与 $M_{X} Y$ 相互正交。

因此：

Y^{'} Y = (\hat{Y} + \overset{u}{^})^{'} (\hat{Y} + \overset{u}{^}) = \hat{Y}^{'} \hat{Y} + 2 \hat{Y}^{'} \overset{u}{^} + \overset{u}{^}^{'} \overset{u}{^} = \hat{Y}^{'} \hat{Y} + \overset{u}{^}^{'} \overset{u}{^} .

最终得到：

Y^{'} Y = \hat{Y}^{'} \hat{Y} + \overset{u}{^}^{'} \overset{u}{^}

4. 分块回归与 Frisch–Waugh–Lovell（FWL）定理#

本节建立在前文 OLS 正规方程和正交投影矩阵的基础上，说明剔除其他解释变量影响后进行回归的思想。以下均是给定满秩设计矩阵时的样本代数结论，无需假设 4–6。

4.1 分块回归模型与正规方程#

将设计矩阵及参数向量分块：

X = (X_{1} X_{2}), β = (β_{1} β_{2}),

其中 $X_{1} \in R^{n \times K_{1}}$ 、 $X_{2} \in R^{n \times K_{2}}$ ， $K_{1} + K_{2} = K$ 。这里的 $X_{1}, X_{2}$ 专指解释变量分组，不再沿用前文“第 $j$ 个解释变量的样本列向量”这一临时记法；类似地， $β_{1}, β_{2}$ 在本节是参数块，不是单个标量系数。约定截距项包含在 $X_{1}$ 中， $X_{2}$ 为感兴趣的变量组。

模型为：

Y = X_{1} β_{1} + X_{2} β_{2} + u .

OLS 目标函数：

S (b_{1}, b_{2}) = (Y - X_{1} b_{1} - X_{2} b_{2})^{'} (Y - X_{1} b_{1} - X_{2} b_{2}) .

分别对 $b_{1}, b_{2}$ 求导并令其为零，得到分块正规方程：

X_{1}^{'} X_{1} \hat{β}_{1} + X_{1}^{'} X_{2} \hat{β}_{2} X_{2}^{'} X_{1} \hat{β}_{1} + X_{2}^{'} X_{2} \hat{β}_{2} = X_{1}^{'} Y, = X_{2}^{'} Y .

等价地：

(X_{1}^{'} X_{1} X_{2}^{'} X_{1} X_{1}^{'} X_{2} X_{2}^{'} X_{2}) (\hat{β}_{1} \hat{β}_{2}) = (X_{1}^{'} Y X_{2}^{'} Y) .

由于 $X$ 列满秩， $X_{1}$ 也列满秩，故 $X_{1}^{'} X_{1}$ 可逆。由第一组正规方程：

\hat{β}_{1} = (X_{1}^{'} X_{1})^{- 1} X_{1}^{'} (Y - X_{2} \hat{β}_{2}) .

将其代入第二组正规方程：

X_{2}^{'} Y = X_{2}^{'} X_{1} (X_{1}^{'} X_{1})^{- 1} X_{1}^{'} (Y - X_{2} \hat{β}_{2}) + X_{2}^{'} X_{2} \hat{β}_{2} = X_{2}^{'} P_{X_{1}} Y + X_{2}^{'} (I_{n} - P_{X_{1}}) X_{2} \hat{β}_{2} .

其中：

P_{X_{1}} = X_{1} (X_{1}^{'} X_{1})^{- 1} X_{1}^{'}, M_{X_{1}} = I_{n} - P_{X_{1}} .

整理得到：

X_{2}^{'} M_{X_{1}} X_{2} \hat{β}_{2} = X_{2}^{'} M_{X_{1}} Y .

因 $X$ 列满秩，对任意非零 $a \in R^{K_{2}}$ ，有

a^{'} X_{2}^{'} M_{X_{1}} X_{2} a = ∣ M_{X_{1}} X_{2} a ∣^{2} > 0.

否则 $M_{X_{1}} X_{2} a = 0$ ，将意味着 $X_{2} a \in Col (X_{1})$ ，与 $X$ 列满秩矛盾。因此上述矩阵正定且可逆，从而：

\hat{β}_{2} = (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} X_{2}^{'} M_{X_{1}} Y .

4.2 FWL 定理与“剔除”过程#

定义从 $Y$ 与 $X_{2}$ 中剔除 $X_{1}$ 可解释部分后的残差：

\tilde{Y} = M_{X_{1}} Y, \tilde{X}_{2} = M_{X_{1}} X_{2} .

这里 $\tilde{X}_{2}$ 的每一列均为该变量对 $X_{1}$ 回归得到的残差。由于 $M_{X_{1}}^{'} = M_{X_{1}}$ 、 $M_{X_{1}}^{2} = M_{X_{1}}$ ：

\tilde{X}_{2}^{'} \tilde{X}_{2} \tilde{X}_{2}^{'} \tilde{Y} = X_{2}^{'} M_{X_{1}} X_{2}, = X_{2}^{'} M_{X_{1}} Y .

于是：

\hat{β}_{2} = (\tilde{X}_{2}^{'} \tilde{X}_{2})^{- 1} \tilde{X}_{2}^{'} \tilde{Y} .

Frisch–Waugh–Lovell 定理： 在 $X = (X_{1}, X_{2})$ 列满秩时，完整回归 $Y$ 对 $(X_{1}, X_{2})$ 的 OLS 中， $X_{2}$ 对应的系数，与如下三步所得的系数完全相同：

将 $Y$ 对 $X_{1}$ 回归，取残差 $\tilde{Y} = M_{X_{1}} Y$ ；
将 $X_{2}$ 的每一列分别对 $X_{1}$ 回归，组成残差矩阵 $\tilde{X}_{2} = M_{X_{1}} X_{2}$ ；
将 $\tilde{Y}$ 对 $\tilde{X}_{2}$ 不另加截距项进行 OLS 回归。

所谓“剔除”，是通过投影矩阵移去 $Y$ 和 $X_{2}$ 中能够由 $X_{1}$ 线性解释的部分，而不是从原始模型中删去 $X_{1}$ 。因此 FWL 不等于直接做 $Y$ 对 $X_{2}$ 的回归。在随机设计框架下，上述等式对满秩的样本实现逐一成立。

4.3 单个解释变量的偏回归解释#

当 $X_{2} = x_{j} \in R^{n \times 1}$ 仅包含一个感兴趣的解释变量，而 $X_{1}$ 包含截距项及其余控制变量时：

\hat{β}_{j} = \frac{x _{j}^{'} M _{X_{1}} Y}{x _{j}^{'} M _{X_{1}} x _{j}}

令 $\tilde{x}_{j} = M_{X_{1}} x_{j}$ 、 $\tilde{Y} = M_{X_{1}} Y$ ，则：

\hat{β}_{j} = \frac{x ~ _{j}^{'} Y ~}{x ~ _{j}^{'} x ~ _{j}} .

其含义是：在其他解释变量保持不变的意义下， $x_{j}$ 的回归系数由 $x_{j}$ 与 $Y$ 各自剔除其他控制变量影响后的剩余变动决定。

由于 $X_{1}$ 包含截距项，两个残差向量的样本均值均为零。对 $x_{j}$ 的偏回归可以理解为残差与残差之间的过原点回归。

4.4 残差一致性与平方和分解#

由本节分块正规方程得到的 $\hat{β}_{1}$ 表达式：

\overset{u}{^} = Y - X_{1} \hat{β}_{1} - X_{2} \hat{β}_{2} = Y - P_{X_{1}} (Y - X_{2} \hat{β}_{2}) - X_{2} \hat{β}_{2} = M_{X_{1}} (Y - X_{2} \hat{β}_{2}) = \tilde{Y} - \tilde{X}_{2} \hat{β}_{2} .

因此，完整回归和 FWL 第三步回归不仅具有相同的 $\hat{β}_{2}$ ，还具有相同的残差向量和残差平方和：

\overset{u}{^}_{full} = \overset{u}{^}_{FWL}, RS S_{full} = RS S_{FWL} .

不过，两种回归的原始拟合值及软件报告的自由度、标准误未必采用相同定义。特别是第三步若被视为仅含 $K_{2}$ 列变量的独立回归，其默认残差自由度可能为 $n - K_{2}$ ；若要复现完整回归的经典标准误，则应使用 $n - K_{1} - K_{2} = n - K$ 估计 $σ^{2}$ 。

与前文的联系： FWL 是 $P_{X_{1}}$ 和 $M_{X_{1}}$ 在分块回归中的直接应用；其本质是先投影、再在正交补空间中估计感兴趣参数，而不是引入新的概率假设。

5. OLS 估计量的统计性质#

前面已经得到 OLS 估计量：

\hat{β} = (X^{'} X)^{- 1} X^{'} Y .

其代数性质由最小二乘法的最优化条件决定。下面进一步利用经典线性回归模型的统计假设，讨论 OLS 估计量的无偏性、方差及扰动项方差的估计。

5.1 OLS 估计量的条件无偏性#

由假设 1：

Y = Xβ + u .

将其代入 OLS 估计量：

\hat{β} = (X^{'} X)^{- 1} X^{'} Y = (X^{'} X)^{- 1} X^{'} (Xβ + u) = (X^{'} X)^{- 1} X^{'} Xβ + (X^{'} X)^{- 1} X^{'} u = β + (X^{'} X)^{- 1} X^{'} u .

因此：

\hat{β} - β = (X^{'} X)^{- 1} X^{'} u

该式表示 OLS 估计误差与真实扰动项之间的关系。

根据假设 3， $X$ 几乎必然列满秩，因此 $(X^{'} X)^{- 1}$ 几乎必然存在。

在给定 $X$ 的条件下取期望：

E (\hat{β} ∣ X) = E [β + (X^{'} X)^{- 1} X^{'} u ∣ X] = β + (X^{'} X)^{- 1} X^{'} E (u ∣ X) .

由假设 4（条件零均值）：

E (u ∣ X) = 0.

所以：

E (\hat{β} ∣ X) = β

即 OLS 估计量具有条件无偏性（Conditional Unbiasedness）。

进一步，在相应期望存在的条件下，根据迭代期望法则（Law of Iterated Expectations）：

E (\hat{β}) = E [E (\hat{β} ∣ X)] = E (β) = β .

因此：

E (\hat{β}) = β

即 OLS 估计量也具有无条件无偏性。

需要注意，无偏性不要求球形扰动假设或条件正态性假设。

5.2 OLS 估计量的条件方差#

由：

\hat{β} - β = (X^{'} X)^{- 1} X^{'} u,

由于 $β$ 为非随机参数，在给定 $X$ 的条件下：

Var (\hat{β} ∣ X) = Var ((X^{'} X)^{- 1} X^{'} u ∣ X) .

利用条件协方差矩阵的线性变换性质：

Var (A u ∣ X) = A Var (u ∣ X) A^{'},

其中 $A$ 为给定 $X$ 后确定的矩阵。

令：

A = (X^{'} X)^{- 1} X^{'} .

于是：

Var (\hat{β} ∣ X) = (X^{'} X)^{- 1} X^{'} Var (u ∣ X) X (X^{'} X)^{- 1} .

由假设 5（球形扰动）：

Var (u ∣ X) = σ^{2} I_{n} .

代入：

Var (\hat{β} ∣ X) = (X^{'} X)^{- 1} X^{'} (σ^{2} I_{n}) X (X^{'} X)^{- 1} = σ^{2} (X^{'} X)^{- 1} X^{'} X (X^{'} X)^{- 1} = σ^{2} (X^{'} X)^{- 1} .

因此：

Var (\hat{β} ∣ X) = σ^{2} (X^{'} X)^{- 1}

其中，第 $j$ 个参数估计量的条件方差为：

Var (\hat{β}_{j} ∣ X) = σ^{2} [(X^{'} X)^{- 1}]_{j + 1, j + 1}

这里沿用前文 $β_{0}, \dots, β_{K - 1}$ 的参数编号，矩阵元素的行列位置则从 1 开始计数。

5.3 扰动项方差的无偏估计#

假设 5 中的扰动项方差 $σ^{2}$ 通常未知，需要利用样本残差进行估计。

定义残差平方和（Residual Sum of Squares）：

RSS = \overset{u}{^}^{'} \overset{u}{^} .

由前文残差生成矩阵：

M_{X} = I_{n} - P_{X},

以及：

\overset{u}{^} = M_{X} Y,

代入真实模型：

\overset{u}{^} = M_{X} (Xβ + u) = M_{X} Xβ + M_{X} u .

由于 $M_{X} X = 0$ ：

\overset{u}{^} = M_{X} u

又因为 $M_{X}$ 为对称幂等矩阵：

M_{X}^{'} = M_{X}, M_{X}^{2} = M_{X} .

因此：

RSS = \overset{u}{^}^{'} \overset{u}{^} = (M_{X} u)^{'} (M_{X} u) = u^{'} M_{X}^{'} M_{X} u = u^{'} M_{X} u .

即：

RSS = u^{'} M_{X} u

（1）二次型期望的基本公式

对于随机向量 $u$ 及给定 $X$ 后确定的矩阵 $A$ ，有：

E (u^{'} A u ∣ X) = tr [A Var (u ∣ X)] + E (u ∣ X)^{'} A E (u ∣ X) .

在条件零均值假设下：

E (u ∣ X) = 0,

该式简化为：

E (u^{'} A u ∣ X) = tr [A Var (u ∣ X)]

（2）残差平方和的条件期望

令 $A = M_{X}$ ：

E (RSS ∣ X) = E (u^{'} M_{X} u ∣ X) = tr [M_{X} Var (u ∣ X)] .

根据假设 5：

Var (u ∣ X) = σ^{2} I_{n} .

因此：

E (RSS ∣ X) = tr (M_{X} σ^{2} I_{n}) = σ^{2} tr (M_{X}) .

由前文已经证明：

tr (M_{X}) = n - K .

所以：

E (RSS ∣ X) = σ^{2} (n - K)

（3）构造 $σ^{2}$ 的无偏估计量

当 $n > K$ 时，定义：

\overset{σ}{^}^{2} = \frac{RSS}{n - K} = \frac{u ^ ^{'} u ^}{n - K}

在给定 $X$ 的条件下取期望：

E (\overset{σ}{^}^{2} ∣ X) = \frac{1}{n - K} E (RSS ∣ X) = \frac{1}{n - K} σ^{2} (n - K) = σ^{2} .

因此：

E (\overset{σ}{^}^{2} ∣ X) = σ^{2}

即 $\overset{σ}{^}^{2}$ 是扰动项方差 $σ^{2}$ 的条件无偏估计量。

其中， $n - K$ 为残差自由度，等于残差生成矩阵 $M_{X}$ 的秩：

n - K = rank (M_{X}) = tr (M_{X})

这一结果与前文投影矩阵的几何性质相对应。

6. Gauss–Markov 定理#

前面已经证明，在假设 1、3、4、5 成立时，OLS 估计量满足：

E (\hat{β} ∣ X) = β,

以及：

Var (\hat{β} ∣ X) = σ^{2} (X^{'} X)^{- 1} .

下面进一步证明，OLS 估计量在所有线性条件无偏估计量中具有最小的条件协方差矩阵，即 OLS 估计量是最佳线性无偏估计量（Best Linear Unbiased Estimator，BLUE）。

6.1 BLUE 的定义#

BLUE 包含三个基本要求：

（1）线性（Linear）

估计量关于被解释变量向量 $Y$ 线性，可以表示为：

\tilde{β} = A Y,

其中 $A \in R^{K \times n}$ ，且 $A$ 可以依赖于 $X$ ，但在给定 $X$ 的条件下不依赖于 $Y$ 。

（2）无偏（Unbiased）

估计量满足条件无偏性：

E (\tilde{β} ∣ X) = β

（3）最佳（Best）

在所有线性条件无偏估计量中，估计量的条件协方差矩阵最小。

这里的“最小”并不是指矩阵中每一个元素都最小，而是指对于任意其他线性条件无偏估计量 $\tilde{β}$ ，都有：

Var (\tilde{β} ∣ X) - Var (\hat{β} ∣ X) ⪰ 0

其中 $⪰ 0$ 表示矩阵半正定（Positive Semidefinite）。

前置知识：半正定矩阵

对于对称矩阵 $B \in R^{K \times K}$ ，如果任意 $a \in R^{K \times 1}$ 都满足：

a^{'} B a \geq 0,

则称 $B$ 为半正定矩阵，记为：

B ⪰ 0.

因此：

Var (\tilde{β} ∣ X) - Var (\hat{β} ∣ X) ⪰ 0

意味着对于任意向量 $a$ ：

Var (a^{'} \tilde{β} ∣ X) \geq Var (a^{'} \hat{β} ∣ X) .

即 OLS 对参数向量的任意线性组合都具有不大于其他线性无偏估计量的条件方差。

6.2 线性无偏估计量的一般形式#

考虑任意线性估计量：

\tilde{β} = A Y, A \in R^{K \times n} .

由假设 1：

Y = Xβ + u .

代入得到：

\tilde{β} = A (Xβ + u) = A Xβ + A u .

在给定 $X$ 的条件下取期望：

E (\tilde{β} ∣ X) = A Xβ + A E (u ∣ X) .

根据假设 4：

E (u ∣ X) = 0.

因此：

E (\tilde{β} ∣ X) = A Xβ .

若要求估计量对任意 $β \in R^{K \times 1}$ 都满足条件无偏性：

E (\tilde{β} ∣ X) = β,

则必须有：

A Xβ = β, \forall β .

等价于：

A X = I_{K}

因此，在条件零均值假设下， $\tilde{β} = A Y$ 是对所有参数值均条件无偏的线性估计量，当且仅当：

A X = I_{K} .

另一方面，OLS 估计量可以写为：

\hat{β} = A_{0} Y,

其中：

A_{0} = (X^{'} X)^{- 1} X^{'} .

并且：

A_{0} X = (X^{'} X)^{- 1} X^{'} X = I_{K} .

因此，OLS 估计量满足线性无偏估计量所要求的条件。

6.3 Gauss–Markov 定理的证明#

定理：

在假设 1、3、4、5 成立的条件下，OLS 估计量：

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

是最佳线性无偏估计量（BLUE）。

证明：

（1）构造任意线性无偏估计量

设：

\tilde{β} = A Y,

其中 $A X = I_{K}$ 。

记：

A_{0} = (X^{'} X)^{- 1} X^{'},

则 OLS 估计量为：

\hat{β} = A_{0} Y .

由于：

A_{0} X = I_{K},

我们可以将任意线性无偏估计量的系数矩阵 $A$ 写为：

A = A_{0} + D

其中：

D = A - A_{0} .

由 $A X = I_{K}$ 及 $A_{0} X = I_{K}$ ：

D X = (A - A_{0}) X = A X - A_{0} X = I_{K} - I_{K} = 0.

所以：

D X = 0

这意味着 $D$ 的每一行都与 $X$ 的列空间正交。

（2）计算任意线性无偏估计量的条件协方差矩阵

由：

\tilde{β} = A Y,

以及假设 5：

Var (Y ∣ X) = Var (u ∣ X) = σ^{2} I_{n},

利用条件协方差矩阵的线性变换性质：

Var (\tilde{β} ∣ X) = A Var (Y ∣ X) A^{'} = σ^{2} A A^{'} .

将 $A = A_{0} + D$ 代入：

A A^{'} = (A_{0} + D) (A_{0} + D)^{'} = A_{0} A_{0}^{'} + A_{0} D^{'} + D A_{0}^{'} + D D^{'} .

下面证明两个交叉项均为零。

由于：

A_{0} = (X^{'} X)^{- 1} X^{'},

因此：

A_{0} D^{'} = (X^{'} X)^{- 1} X^{'} D^{'} = (X^{'} X)^{- 1} (D X)^{'} = 0.

同理：

D A_{0}^{'} = D X (X^{'} X)^{- 1} = 0.

于是：

A A^{'} = A_{0} A_{0}^{'} + D D^{'}

进一步：

Var (\tilde{β} ∣ X) = σ^{2} (A_{0} A_{0}^{'} + D D^{'}) = σ^{2} A_{0} A_{0}^{'} + σ^{2} D D^{'} .

而：

A_{0} A_{0}^{'} = (X^{'} X)^{- 1} X^{'} X (X^{'} X)^{- 1} = (X^{'} X)^{- 1} .

因此：

Var (\tilde{β} ∣ X) = σ^{2} (X^{'} X)^{- 1} + σ^{2} D D^{'}

（3）比较 OLS 与其他线性无偏估计量的条件协方差矩阵

前面已经证明：

Var (\hat{β} ∣ X) = σ^{2} (X^{'} X)^{- 1} .

两式相减：

Var (\tilde{β} ∣ X) - Var (\hat{β} ∣ X) = σ^{2} D D^{'} .

因此：

Var (\tilde{β} ∣ X) - Var (\hat{β} ∣ X) = σ^{2} D D^{'}

对于任意非零向量 $a \in R^{K \times 1}$ ：

a^{'} (σ^{2} D D^{'}) a = σ^{2} a^{'} D D^{'} a = σ^{2} (D^{'} a)^{'} (D^{'} a) = σ^{2} ∥ D^{'} a ∥^{2} \geq 0.

由于 $σ^{2} > 0$ ，可知：

σ^{2} D D^{'} ⪰ 0.

所以：

Var (\tilde{β} ∣ X) - Var (\hat{β} ∣ X) ⪰ 0

即：

Var (\tilde{β} ∣ X) ⪰ Var (\hat{β} ∣ X)

因此，OLS 估计量在所有线性条件无偏估计量中具有最小的条件协方差矩阵。

故 OLS 估计量是 BLUE，证毕。

6.4 Gauss–Markov 定理的理解#

Gauss–Markov 定理表明，在假设 1、3、4、5 成立时，对于任意线性条件无偏估计量 $\tilde{β}$ ：

Var (\tilde{β} ∣ X) - Var (\hat{β} ∣ X) ⪰ 0

这一结论需要从以下几个方面理解。

（1）BLUE 的最优性仅限于线性无偏估计量

Gauss–Markov 定理比较的是所有线性条件无偏估计量，并不意味着 OLS 在所有可能的估计量中都具有最小方差。

例如，考虑对 OLS 估计量进行收缩：

\tilde{β} = c \hat{β}, 0 \< c < 1.

由于：

E (\hat{β} ∣ X) = β,

因此：

E (\tilde{β} ∣ X) = c β .

一般而言：

E (\tilde{β} ∣ X) \neq = β .

所以 $\tilde{β}$ 是有偏估计量。

但其条件协方差矩阵为：

Var (\tilde{β} ∣ X) = Var (c \hat{β} ∣ X) = c^{2} Var (\hat{β} ∣ X) .

由于 $0 \< c < 1$ ：

Var (\tilde{β} ∣ X) ⪯ Var (\hat{β} ∣ X)

可见，有偏估计量可以具有更小的方差，但这并不违反 Gauss–Markov 定理。

因此，比较估计量的整体表现时，还需要考虑偏差与方差之间的权衡。

（2）BLUE 不要求扰动项服从正态分布

Gauss–Markov 定理依赖于条件零均值假设与球形扰动假设，但不要求：

u ∣ X \sim N (0, σ^{2} I_{n}) .

因此，假设 6（条件正态性）不是 BLUE 成立的必要条件。

条件正态性主要用于后续推导 OLS 估计量的精确有限样本分布，以及 $t$ 检验和 $F$ 检验。

（3）球形扰动假设是经典 BLUE 结论的重要条件

如果假设 5 不成立，例如存在条件异方差或扰动项之间的条件相关性，则一般有：

Var (u ∣ X) = Ω, Ω \neq = σ^{2} I_{n} .

其中 $Ω$ 为给定 $X$ 后的扰动项条件协方差矩阵。

此时，OLS 估计量的条件协方差矩阵为：

Var (\hat{β} ∣ X) = (X^{'} X)^{- 1} X^{'} Ω X (X^{'} X)^{- 1}

若条件零均值假设仍然成立，则 OLS 仍具有条件无偏性，但一般不再是 BLUE。

在 $Ω$ 正定且已知的情况下，可以利用广义最小二乘法（Generalized Least Squares，GLS）构造：

\hat{β}_{G L S} = (X^{'} Ω^{- 1} X)^{- 1} X^{'} Ω^{- 1} Y .

这说明，当扰动项不满足球形扰动假设时，可以通过其他估计方法提高估计效率。

（4）矩阵半正定意义下的最小方差更强

Gauss–Markov 定理给出的结论为：

Var (\tilde{β} ∣ X) - Var (\hat{β} ∣ X) ⪰ 0.

令：

B = Var (\tilde{β} ∣ X) - Var (\hat{β} ∣ X) .

由于 $B ⪰ 0$ ，根据半正定矩阵的定义，对于任意 $a \in R^{K \times 1}$ ：

a^{'} B a \geq 0.

代入 $B$ ：

a^{'} Var (\tilde{β} ∣ X) a - a^{'} Var (\hat{β} ∣ X) a \geq 0.

利用线性组合的方差公式：

Var (a^{'} \hat{β} ∣ X) = a^{'} Var (\hat{β} ∣ X) a,

可得：

Var (a^{'} \tilde{β} ∣ X) \geq Var (a^{'} \hat{β} ∣ X)

因此，OLS 不仅使每一个参数估计量的条件方差达到线性无偏估计量中的最小值，还使任意参数线性组合的条件方差达到最小值。

例如，若希望估计两个参数之差：

β_{1} - β_{2},

可以取：

a = (0, 1, - 1, 0, \dots, 0)^{'},

此时：

a^{'} β = β_{1} - β_{2} .

因此：

Var (\tilde{β}_{1} - \tilde{β}_{2} ∣ X) \geq Var (\hat{β}_{1} - \hat{β}_{2} ∣ X)

这一结论同时考虑了参数估计量的方差与协方差，因此比仅比较单个参数估计量的方差更强。

综上，Gauss–Markov 定理的核心结论是：在经典线性回归模型的相应假设下，OLS 是所有线性条件无偏估计量中条件协方差矩阵最小的估计量。

7. OLS 估计量的有限样本分布#

前面已经证明，在假设 1、3、4、5 成立时：

E (\hat{β} ∣ X) = β,

Var (\hat{β} ∣ X) = σ^{2} (X^{'} X)^{- 1} .

进一步引入假设 6（条件正态性）：

u ∣ X \sim N (0, σ^{2} I_{n})

下面推导 OLS 估计量、残差平方和及扰动项方差估计量的有限样本分布。

7.1 OLS 估计量的条件正态分布#

（1）多元正态分布的线性变换性质

设随机向量：

z \sim N (μ, Σ),

其中 $z \in R^{n \times 1}$ ， $μ \in R^{n \times 1}$ ， $Σ \in R^{n \times n}$ 。

对于确定矩阵 $A \in R^{m \times n}$ 和确定向量 $c \in R^{m \times 1}$ ，有：

A z + c \sim N (A μ + c, A Σ A^{'})

该性质说明：多元正态随机向量经过仿射变换后，仍然服从多元正态分布。

其均值与协方差矩阵分别为：

E (A z + c) = A μ + c,

Var (A z + c) = A Σ A^{'} .

需要注意，正态性结论并非仅由均值和协方差的变换公式得到，而是多元正态分布本身对仿射变换封闭的性质。

在本文的随机设计框架下，上述性质同样适用于给定 $X$ 后的条件分布。

（2）OLS 估计量的分布推导

由前面得到的估计误差表达式：

\hat{β} - β = (X^{'} X)^{- 1} X^{'} u,

可得：

\hat{β} = β + (X^{'} X)^{- 1} X^{'} u .

令：

A = (X^{'} X)^{- 1} X^{'} .

则：

\hat{β} = β + A u .

在给定 $X$ 的条件下， $A$ 为确定矩阵。

由假设 6：

u ∣ X \sim N (0, σ^{2} I_{n}) .

利用多元正态分布的线性变换性质：

\hat{β} ∣ X \sim N (β, A (σ^{2} I_{n}) A^{'}) .

其中：

A (σ^{2} I_{n}) A^{'} = σ^{2} (X^{'} X)^{- 1} X^{'} X (X^{'} X)^{- 1} = σ^{2} (X^{'} X)^{- 1} .

因此：

\hat{β} ∣ X \sim N (β, σ^{2} (X^{'} X)^{- 1})

这说明，在经典正态线性回归模型下，OLS 估计量具有精确的有限样本正态分布。

（3）单个参数估计量的分布

对于第 $j$ 个参数， $j = 0, 1, \dots, K - 1$ ：

\hat{β}_{j} ∣ X \sim N (β_{j}, σ^{2} [(X^{'} X)^{- 1}]_{j + 1, j + 1})

其中矩阵元素的行列索引从 1 开始，而回归系数从 $β_{0}$ 开始编号。

定义：

v_{j} = [(X^{'} X)^{- 1}]_{j + 1, j + 1} .

由于 $X^{'} X$ 正定，因此 $v_{j} > 0$ 。

标准化后得到：

\frac{β ^ _{j} - β _{j}}{σ v _{j}} ∣ X \sim N (0, 1)

需要注意，上式中的 $σ^{2}$ 通常未知，因此还不能直接用于实际的统计推断，需要进一步引入 $\overset{σ}{^}^{2}$ 。

7.2 残差平方和的卡方分布#

前文已经得到：

\overset{u}{^} = M_{X} u,

其中：

M_{X} = I_{n} - P_{X} .

由于 $M_{X}$ 为对称幂等矩阵：

M_{X}^{'} = M_{X}, M_{X}^{2} = M_{X},

残差平方和可以写为：

RSS = \overset{u}{^}^{'} \overset{u}{^} = u^{'} M_{X}^{'} M_{X} u = u^{'} M_{X} u .

因此：

RSS = u^{'} M_{X} u

（1）前置知识：卡方分布

设 $z_{1}, z_{2}, \dots, z_{r}$ 相互独立，且：

z_{i} \sim N (0, 1) .

则：

i = 1 \sum r z_{i}^{2} \sim χ_{r}^{2}

其中 $χ_{r}^{2}$ 表示自由度为 $r$ 的卡方分布。

卡方分布的自由度 $r$ ，对应参与平方和计算的独立标准正态随机变量的数量。

（2）前置知识：对称幂等矩阵的正交对角化

设 $A \in R^{n \times n}$ 为对称幂等矩阵：

A^{'} = A, A^{2} = A .

由幂等性可知， $A$ 的特征值只能为 0 或 1。

又由于 $A$ 为实对称矩阵，根据谱定理，存在正交矩阵 $Q$ ，使得：

Q^{'} Q = Q Q^{'} = I_{n},

并且：

A = Q Λ Q^{'},

其中：

Λ = I_{r} 0 0 0_{n - r},

r = rank (A) = tr (A) .

由此可见，矩阵 $A$ 只保留向量在某个 $r$ 维子空间中的分量，并将其他方向上的分量映射为零。

（3）残差平方和的分布推导

根据假设 6：

u ∣ X \sim N (0, σ^{2} I_{n}) .

定义标准化扰动向量：

z = \frac{u}{σ} .

则：

z ∣ X \sim N (0, I_{n}) .

由于：

RSS = u^{'} M_{X} u,

因此：

\frac{RSS}{σ ^{2}} = z^{'} M_{X} z .

由前文已证明：

M_{X}^{'} = M_{X}, M_{X}^{2} = M_{X},

以及：

rank (M_{X}) = n - K .

根据对称矩阵的正交对角化性质，存在正交矩阵 $Q$ ，使得：

M_{X} = Q I_{n - K} 0 0 0_{K} Q^{'} .

令：

w = Q^{'} z .

由于 $Q$ 为正交矩阵：

E (w ∣ X) Var (w ∣ X) = 0, = Q^{'} I_{n} Q = I_{n} .

结合多元正态分布的线性变换性质：

w ∣ X \sim N (0, I_{n}) .

因此， $w_{1}, \dots, w_{n}$ 在给定 $X$ 的条件下相互独立，且均服从标准正态分布。

将其代入二次型：

\frac{RSS}{σ ^{2}} = z^{'} M_{X} z = z^{'} Q I_{n - K} 0 0 0_{K} Q^{'} z = w^{'} I_{n - K} 0 0 0_{K} w = i = 1 \sum n - K w_{i}^{2} .

根据卡方分布的定义：

\frac{RSS}{σ ^{2}}; ∣ ∣; X \sim χ_{n - K}^{2}

由于：

\overset{σ}{^}^{2} = \frac{RSS}{n - K},

所以：

\frac{( n - K ) σ ^ ^{2}}{σ ^{2}}; ∣ ∣; X \sim χ_{n - K}^{2}

这里要求 $n > K$ ，以确保残差自由度为正。

该结论说明，残差平方和的自由度等于残差空间的维度 $n - K$ 。

7.3 OLS 估计量与残差平方和的条件独立性#

为了构造精确的 $t$ 检验和 $F$ 检验，还需要证明 OLS 估计量与残差平方和在给定 $X$ 的条件下相互独立。

（1）证明估计量与残差向量的条件协方差为零

由：

\hat{β} = β + (X^{'} X)^{- 1} X^{'} u,

以及：

\overset{u}{^} = M_{X} u,

可得：

Cov (\hat{β}, \overset{u}{^} ∣ X) = (X^{'} X)^{- 1} X^{'} Var (u ∣ X) M_{X}^{'} = σ^{2} (X^{'} X)^{- 1} X^{'} M_{X} .

由于：

M_{X} X = 0,

且 $M_{X}^{'} = M_{X}$ ，因此：

X^{'} M_{X} = (M_{X} X)^{'} = 0.

所以：

Cov (\hat{β}, \overset{u}{^} ∣ X) = 0

（2）多元正态分布下，不相关意味着独立

需要注意，一般情况下，随机变量之间协方差为零并不意味着相互独立。

但是，如果随机向量具有联合多元正态分布，那么零协方差意味着相互独立。

由于：

\hat{β} = β + (X^{'} X)^{- 1} X^{'} u,

\overset{u}{^} = M_{X} u,

二者均为正态随机向量 $u$ 的仿射变换，因此在给定 $X$ 的条件下具有联合多元正态分布。

结合：

Cov (\hat{β}, \overset{u}{^} ∣ X) = 0,

可得：

\hat{β} ⊥!!! ⊥ \overset{u}{^} ∣ X

其中 $⊥!!! ⊥$ 表示条件独立。

由于：

RSS = \overset{u}{^}^{'} \overset{u}{^},

即 $RSS$ 为 $\overset{u}{^}$ 的函数，因此：

\hat{β} ⊥!!! ⊥ RSS ∣ X

又因为：

\overset{σ}{^}^{2} = \frac{RSS}{n - K},

所以：

\hat{β} ⊥!!! ⊥ \overset{σ}{^}^{2} ∣ X

这一独立性是构造有限样本精确 $t$ 统计量与 $F$ 统计量的重要依据。

7.4 有限样本分布的主要结论#

在假设 1、3、4、5、6 成立且 $n > K$ 时，OLS 估计量及残差平方和满足以下性质。

（1）OLS 估计量的条件正态分布

\hat{β} ∣ X \sim N (β, σ^{2} (X^{'} X)^{- 1})

（2）残差平方和的条件卡方分布

\frac{RSS}{σ ^{2}}; ∣ ∣; X \sim χ_{n - K}^{2}

（3）扰动项方差估计量的条件卡方分布

\frac{( n - K ) σ ^ ^{2}}{σ ^{2}}; ∣ ∣; X \sim χ_{n - K}^{2}

（4）OLS 估计量与扰动项方差估计量的条件独立性

\hat{β} ⊥!!! ⊥ \overset{σ}{^}^{2} ∣ X

以上结论均为精确有限样本分布结果，不需要依赖大样本近似。

它们共同构成后续参数置信区间、 $t$ 检验与 $F$ 检验的理论基础。

8. 统计推断（Statistical Inference）#

前面已经证明，在假设 2 所规定的随机设计框架下，若假设 1、3–6 成立，且 $n > K$ ，则：

\hat{β} ∣ X \sim N (β, σ^{2} (X^{'} X)^{- 1})

\frac{( n - K ) σ ^ ^{2}}{σ ^{2}} ∣ X \sim χ_{n - K}^{2}

并且：

\hat{β} ⊥!!! ⊥ \overset{σ}{^}^{2} ∣ X

其中：

\overset{σ}{^}^{2} = \frac{u ^ ^{'} u ^}{n - K} .

以上三个结论分别提供了参数估计量的分布、误差方差估计量的分布，以及二者的独立性。

统计推断的核心是利用这些已知的抽样分布，判断有关未知参数的假设是否与样本信息相容，并构造具有特定覆盖概率的置信区间。

8.1 单个回归系数的 t 检验#

（1）建立统计假设

考虑检验第 $j$ 个回归系数是否等于某一给定常数 $β_{j, 0}$ ：

H_{0} : β_{j} = β_{j, 0}

其中：

j = 0, 1, \dots, K - 1.

双侧备择假设为：

H_{1} : β_{j} \neq = β_{j, 0} .

如果取 $β_{j, 0} = 0$ ，则检验：

H_{0} : β_{j} = 0.

在经典线性回归模型中，这通常用于检验某个解释变量对应的回归系数是否为零。

（2）推导标准正态统计量

由前文 OLS 估计量的条件正态分布：

\hat{β} ∣ X \sim N (β, σ^{2} (X^{'} X)^{- 1}) .

定义：

v_{j} = [(X^{'} X)^{- 1}]_{j + 1, j + 1} .

由于 $X^{'} X$ 正定，其逆矩阵也正定，因此：

v_{j} > 0.

第 $j$ 个参数估计量的条件分布为：

\hat{β}_{j} ∣ X \sim N (β_{j}, σ^{2} v_{j}) .

根据正态分布的标准化性质：

Z_{j} = \frac{β ^ _{j} - β _{j}}{σ v _{j}} ∣ X \sim N (0, 1)

在原假设 $H_{0} : β_{j} = β_{j, 0}$ 成立时，可以将分子中的真实参数替换为假设值：

Z_{j, 0} = \frac{β ^ _{j} - β _{j, 0}}{σ v _{j}} ∣ X, H_{0} \sim N (0, 1)

但 $σ^{2}$ 通常未知，无法直接计算上述统计量。

因此，需要使用前面构造的无偏估计量 $\overset{σ}{^}^{2}$ 代替 $σ^{2}$ 。

（3）前置知识：Student t 分布的构造

设随机变量 $Z$ 和 $Q$ 相互独立，且：

Z \sim N (0, 1),

Q \sim χ_{ν}^{2} .

根据 Student t 分布的定义：

T = \frac{Z}{Q / ν} \sim t_{ν}

其中 $ν$ 为自由度。

这里的分母 $Q / ν$ 是一个随机量。因此，将标准正态变量除以这一随机量后，得到的不是标准正态分布，而是 Student t 分布。

当自由度 $ν$ 较小时，t 分布具有比标准正态分布更厚的尾部；当 $ν$ 增大时，t 分布逐渐接近标准正态分布。

（4）构造 OLS 的 t 统计量

在本文的模型中：

Z_{j} = \frac{β ^ _{j} - β _{j}}{σ v _{j}} ∣ X \sim N (0, 1) .

同时，令：

Q = \frac{( n - K ) σ ^ ^{2}}{σ ^{2}} .

则：

Q ∣ X \sim χ_{n - K}^{2} .

前面已经证明 $\hat{β}$ 与 $\overset{σ}{^}^{2}$ 条件独立，因此 $Z_{j}$ 与 $Q$ 在给定 $X$ 的条件下也相互独立。

令自由度：

ν = n - K .

根据 t 分布的定义：

T_{j} = \frac{Z _{j}}{Q / ( n - K )} .

将 $Z_{j}$ 与 $Q$ 的表达式代入：

T_{j} = \frac{\frac{β ^ _{j} - β _{j}}{σ v _{j}}}{\frac{( n - K ) σ ^ ^{2} / σ ^{2}}{n - K}} = \frac{\frac{β ^ _{j} - β _{j}}{σ v _{j}}}{σ ^ ^{2} / σ ^{2}} = \frac{\frac{β ^ _{j} - β _{j}}{σ v _{j}}}{σ ^ / σ} = \frac{β ^ _{j} - β _{j}}{σ ^ v _{j}} .

其中 $σ > 0$ ，并且在经典正态模型及 $n > K$ 的条件下， $\overset{σ}{^} > 0$ 几乎必然成立。

因此：

T_{j} = \frac{β ^ _{j} - β _{j}}{σ ^ v _{j}} ∣ X \sim t_{n - K}

（5）定义估计标准误

由前文条件方差公式：

Var (\hat{β} ∣ X) = σ^{2} (X^{'} X)^{- 1} .

第 $j$ 个参数估计量的条件方差为：

Var (\hat{β}_{j} ∣ X) = σ^{2} v_{j} .

对应的条件标准差为：

SD (\hat{β}_{j} ∣ X) = σ v_{j} .

由于 $σ$ 未知，以 $\overset{σ}{^}$ 替代，定义估计标准误（Estimated Standard Error）：

se (\hat{β}_{j}) = \overset{σ}{^} v_{j}

需要注意，标准误是对参数估计量抽样标准差的估计，并不是回归残差的标准差。

在原假设成立时：

t_{j} = \frac{β ^ _{j} - β _{j, 0}}{se ( β ^ _{j} )} ∣ X, H_{0} \sim t_{n - K}

（6）显著性水平与拒绝域

设检验的显著性水平为：

α \in (0, 1) .

显著性水平用于控制第一类错误（Type I Error）的概率，即原假设成立时错误拒绝原假设的概率。

对于双侧检验：

H_{0} : β_{j} = β_{j, 0},

H_{1} : β_{j} \neq = β_{j, 0},

由于 t 分布关于零对称，给定 $X$ 时：

P (- t_{1 - α /2, n - K} \leq T_{j} \leq t_{1 - α /2, n - K} ∣ X, H_{0}) = 1 - α .

因此：

P (∣ T_{j} ∣ > t_{1 - α /2, n - K} ∣ X, H_{0}) = α .

从而得到双侧检验的拒绝域：

∣ t_{j} ∣ > t_{1 - α /2, n - K}

其中 $t_{1 - α /2, n - K}$ 表示自由度为 $n - K$ 的 t 分布的 $1 - α /2$ 分位数。

对于右侧检验：

H_{1} : β_{j} > β_{j, 0},

拒绝域为：

t_{j} > t_{1 - α, n - K}

对于左侧检验：

H_{1} : β_{j} < β_{j, 0},

拒绝域为：

t_{j} \< t_{α, n - K}

（7）p 值的计算与解释

记由样本计算得到的 t 统计量为 $t_{obs}$ 。

设 $F_{t_{ν}} (t)$ 为自由度为 $ν$ 的 t 分布的累积分布函数：

F_{t_{ν}} (t) = P (T \leq t), T \sim t_{ν} .

对于双侧检验：

p = 2 [1 - F_{t_{n - K}} (∣ t_{obs} ∣)]

对于右侧检验：

p = 1 - F_{t_{n - K}} (t_{obs}) .

对于左侧检验：

p = F_{t_{n - K}} (t_{obs}) .

判断规则为：

p < α ⟹ 拒绝 H_{0}

更准确地说，p 值是在原假设及相应模型假设成立时，得到至少与当前样本统计量同样极端结果的概率。

p 值并不是原假设为真的概率。

8.2 回归系数的置信区间#

（1）由 t 分布构造概率不等式

前面已经证明：

T_{j} = \frac{β ^ _{j} - β _{j}}{se ( β ^ _{j} )} ∣ X \sim t_{n - K} .

根据 t 分布的对称性：

P (- t_{1 - α /2, n - K} \leq T_{j} \leq t_{1 - α /2, n - K} ∣ X) = 1 - α .

代入 $T_{j}$ 的定义：

P (- t_{1 - α /2, n - K} \leq \frac{β ^ _{j} - β _{j}}{se ( β ^ _{j} )} \leq t_{1 - α /2, n - K} ∣ X) = 1 - α .

（2）将概率不等式转化为参数区间

为简化书写，令：

c = t_{1 - α /2, n - K}, s_{j} = se (\hat{β}_{j}) .

由于 $s_{j} > 0$ ，所以：

- c \leq \frac{β ^ _{j} - β _{j}}{s _{j}} \leq c

等价于：

- c s_{j} \leq \hat{β}_{j} - β_{j} \leq c s_{j} .

左侧不等式：

- c s_{j} \leq \hat{β}_{j} - β_{j}

整理得到：

β_{j} \leq \hat{β}_{j} + c s_{j} .

右侧不等式：

\hat{β}_{j} - β_{j} \leq c s_{j}

整理得到：

β_{j} \geq \hat{β}_{j} - c s_{j} .

将两者合并：

\hat{β}_{j} - c s_{j} \leq β_{j} \leq \hat{β}_{j} + c s_{j} .

代回 $c$ 和 $s_{j}$ ：

\hat{β}_{j} - t_{1 - α /2, n - K} se (\hat{β}_{j}) \leq β_{j} \leq \hat{β}_{j} + t_{1 - α /2, n - K} se (\hat{β}_{j})

因此， $β_{j}$ 的双侧 $100 (1 - α)$ 置信区间为：

[\hat{β}_{j} - t_{1 - α /2, n - K} se (\hat{β}_{j}), \hat{β}_{j} + t_{1 - α /2, n - K} se (\hat{β}_{j})]

特别地，当 $α = 0.05$ 时，得到 $95$ 置信区间：

\hat{β}_{j} \pm t_{0.975, n - K} se (\hat{β}_{j})

（3）置信区间的统计含义

在频率学派的统计推断中，真实参数 $β_{j}$ 是固定但未知的，而置信区间的两个端点随样本变化，因此是随机的。

对于给定的满秩设计矩阵 $X$ ，有：

P (β_{j} \in C I_{1 - α} (Y, X) ∣ X) = 1 - α .

这里 $C I_{1 - α} (Y, X)$ 表示按照上述方法构造的随机置信区间。

因此， $95$ 置信水平意味着：在模型假设成立时，重复抽样并使用相同方法构造区间，这些区间中约有 $95$ 能够覆盖真实参数。

（4）置信区间与双侧 t 检验的关系

考虑双侧检验：

H_{0} : β_{j} = β_{j, 0} .

t 检验不拒绝原假设，当且仅当：

\frac{β ^ _{j} - β _{j, 0}}{se ( β ^ _{j} )} \leq t_{1 - α /2, n - K} .

等价于：

\hat{β}_{j} - β_{j, 0} \leq t_{1 - α /2, n - K} se (\hat{β}_{j}) .

进一步等价于：

\hat{β}_{j} - t_{1 - α /2, n - K} se (\hat{β}_{j}) \leq β_{j, 0} \leq \hat{β}_{j} + t_{1 - α /2, n - K} se (\hat{β}_{j}) .

这恰好表示假设值 $β_{j, 0}$ 位于相应的置信区间内。

因此：

双侧 t 检验在水平 α 下不拒绝 H_{0} ⟺ β_{j, 0} \in C I_{1 - α} .

也就是说，双侧 t 检验和相同显著性水平对应的双侧置信区间具有一致的判断结果。

8.3 多个线性约束的联合 F 检验#

（1）为什么需要联合检验

前面的 t 检验主要用于检验单个参数或单个线性组合。

但在实际研究中，往往需要同时检验多个限制，例如：

H_{0} : ⎩ ⎨ ⎧ β_{1} = 0, β_{2} = 0.

这意味着两个约束必须同时成立。

分别对 $β_{1}$ 和 $β_{2}$ 进行 t 检验，不能直接替代相应的联合检验，因为单独检验并未完整考虑两个估计量之间的协方差，也不能保证联合检验具有给定的显著性水平。

因此，需要构造多个线性约束的联合 F 检验。

（2）一般线性约束的矩阵表示

将原假设写为：

H_{0} : Rβ = r

其中：

R \in R^{q \times K}, r \in R^{q \times 1} .

$q$ 表示独立约束的数量。

要求：

rank (R) = q, 1 \leq q \leq K .

例如，当 $K \geq 3$ 时，同时检验：

H_{0} : β_{1} = β_{2} = 0

可以写为：

R 001001 \dots \dots 00 β β_{0} β_{1} β_{2} ⋮ β_{K - 1} = r 00 .

此时：

q = 2.

（3）推导线性约束估计误差的条件分布

由前文：

\hat{β} ∣ X \sim N (β, σ^{2} (X^{'} X)^{- 1}) .

利用多元正态分布的线性变换性质：

R \hat{β} ∣ X \sim N (Rβ, σ^{2} R (X^{'} X)^{- 1} R^{'}) .

定义：

V_{R} = R (X^{'} X)^{- 1} R^{'} .

因此：

R \hat{β} - r ∣ X \sim N (Rβ - r, σ^{2} V_{R}) .

在原假设 $H_{0} : Rβ = r$ 成立时：

Rβ - r = 0.

所以：

R \hat{β} - r ∣ X, H_{0} \sim N (0, σ^{2} V_{R})

（4）为什么 $V_{R}$ 可逆

因为 $X$ 列满秩，所以：

X^{'} X ≻ 0.

因此：

(X^{'} X)^{- 1} ≻ 0.

又因为 $R$ 行满秩，即 $rank (R) = q$ ，所以 $R^{'}$ 列满秩。

对于任意非零向量 $a \in R^{q \times 1}$ ：

R^{'} a \neq = 0.

考察二次型：

a^{'} V_{R} a = a^{'} R (X^{'} X)^{- 1} R^{'} a = (R^{'} a)^{'} (X^{'} X)^{- 1} (R^{'} a) > 0.

最后一个不等式成立，是因为 $(X^{'} X)^{- 1}$ 正定，且 $R^{'} a \neq = 0$ 。

因此：

V_{R} ≻ 0

从而：

V_{R}^{- 1}

存在。

（5）前置知识：多元正态随机向量的二次型

设：

z \sim N (0, Σ),

其中 $z \in R^{q \times 1}$ ， $Σ$ 为对称正定矩阵。

由于 $Σ$ 正定，存在可逆对称平方根矩阵 $Σ^{1/2}$ ，满足：

Σ^{1/2} Σ^{1/2} = Σ.

定义标准化随机向量：

w = Σ^{- 1/2} z .

根据多元正态分布的线性变换性质：

w \sim N (0, I_{q}) .

因此， $w$ 的 $q$ 个分量相互独立，且均服从标准正态分布。

同时：

w^{'} w = z^{'} (Σ^{- 1/2})^{'} Σ^{- 1/2} z = z^{'} Σ^{- 1} z .

另一方面：

w^{'} w = i = 1 \sum q w_{i}^{2} .

根据卡方分布的定义：

i = 1 \sum q w_{i}^{2} \sim χ_{q}^{2} .

因此：

z^{'} Σ^{- 1} z \sim χ_{q}^{2}

这里的自由度为 $q$ ，因为标准化后的随机向量具有 $q$ 个相互独立的标准正态分量。

（6）构造线性约束对应的卡方统计量

在原假设成立时：

R \hat{β} - r ∣ X, H_{0} \sim N (0, σ^{2} V_{R}) .

根据刚刚证明的多元正态二次型性质：

(R \hat{β} - r)^{'} (σ^{2} V_{R})^{- 1} (R \hat{β} - r) ∣ X, H_{0} \sim χ_{q}^{2} .

因为 $σ^{2}$ 为正标量：

(σ^{2} V_{R})^{- 1} = \frac{1}{σ ^{2}} V_{R}^{- 1} .

所以：

U = \frac{( R β ^ - r ) ^{'} V _{R}^{- 1} ( R β ^ - r )}{σ ^{2}} ∣ X, H_{0} \sim χ_{q}^{2}

这里的 $q$ 正是原假设中独立线性约束的数量。

（7）利用残差平方和构造 F 统计量

前文已经证明：

Q = \frac{( n - K ) σ ^ ^{2}}{σ ^{2}} ∣ X \sim χ_{n - K}^{2} .

又因为：

\hat{β} ⊥!!! ⊥ \overset{σ}{^}^{2} ∣ X,

而 $U$ 是 $\hat{β}$ 的函数， $Q$ 是 $\overset{σ}{^}^{2}$ 的函数，因此 $U$ 与 $Q$ 条件独立。

根据 F 分布的定义：若两个随机变量相互独立，且：

U \sim χ_{q}^{2}, Q \sim χ_{ν}^{2},

那么：

\frac{U / q}{Q / ν} \sim F_{q, ν}

在本文中：

ν = n - K .

因此：

F = \frac{U / q}{Q / ( n - K )} .

将 $U$ 和 $Q$ 的定义代入：

F = \frac{\frac{( R β ^ - r ) ^{'} V _{R}^{- 1} ( R β ^ - r )}{q σ ^{2}}}{\frac{( n - K ) σ ^ ^{2} / σ ^{2}}{n - K}} = \frac{\frac{( R β ^ - r ) ^{'} V _{R}^{- 1} ( R β ^ - r )}{q σ ^{2}}}{σ ^ ^{2} / σ ^{2}} = \frac{( R β ^ - r ) ^{'} V _{R}^{- 1} ( R β ^ - r )}{q σ ^ ^{2}} .

代回 $V_{R} = R (X^{'} X)^{- 1} R^{'}$ ：

F = \frac{( R β ^ - r ) ^{'} [ R ( X ^{'} X ) ^{- 1} R ^{'} ] ^{- 1} ( R β ^ - r )}{q σ ^ ^{2}}

在原假设成立时：

F ∣ X, H_{0} \sim F_{q, n - K}

这一统计量是一般线性约束的 Wald 型 F 统计量。

（8）F 检验的拒绝域

由于 $V_{R}^{- 1}$ 正定，因此：

(R \hat{β} - r)^{'} V_{R}^{- 1} (R \hat{β} - r) \geq 0.

从而：

F \geq 0.

当样本估计结果与原假设偏离较大时，二次型往往较大，F 统计量也随之增大。

因此，F 检验使用右尾拒绝域：

F > F_{1 - α; q, n - K}

其中 $F_{1 - α; q, n - K}$ 为分子自由度 $q$ 、分母自由度 $n - K$ 的 F 分布的 $1 - α$ 分位数。

对应的 p 值为：

p = 1 - F_{F_{q, n - K}} (F_{obs})

其中 $F_{F_{q, n - K}}$ 表示 F 分布的累积分布函数。

8.4 基于残差平方和的 F 检验#

前面得到的 F 检验以矩阵约束 $Rβ = r$ 为基础。

另一种等价的构造方式，是比较施加约束前后回归模型的残差平方和。

（1）受限模型与非受限模型

非受限模型（Unrestricted Model）不施加待检验的参数约束，其 OLS 估计量为：

\hat{β} = (X^{'} X)^{- 1} X^{'} Y .

定义其残差平方和为：

RS S_{U} = (Y - X \hat{β})^{'} (Y - X \hat{β}) .

受限模型（Restricted Model）则要求参数满足：

Rβ = r .

其估计量定义为：

\tilde{β}_{R} = ar g b \in R^{K} min (Y - X b)^{'} (Y - X b), 满足 R b = r .

对应的残差平方和为：

RS S_{R} = (Y - X \tilde{β}_{R})^{'} (Y - X \tilde{β}_{R}) .

由于受限模型的可行参数集合是非受限模型可行参数集合的子集：

RS S_{R} \geq RS S_{U}

也就是说，施加参数约束不会使残差平方和下降。

（2）利用拉格朗日乘数法求受限估计量

定义目标函数：

S (b) = (Y - X b)^{'} (Y - X b) .

构造拉格朗日函数：

L (b, λ) = (Y - X b)^{'} (Y - X b) + 2 λ^{'} (R b - r),

其中：

λ \in R^{q \times 1} .

对 $b$ 求一阶导数：

\frac{\partial L}{\partial b} = - 2 X^{'} Y + 2 X^{'} X b + 2 R^{'} λ .

令其等于零：

- 2 X^{'} Y + 2 X^{'} X \tilde{β}_{R} + 2 R^{'} λ = 0.

整理：

X^{'} X \tilde{β}_{R} + R^{'} λ = X^{'} Y .

另一方面，非受限 OLS 估计量满足：

X^{'} X \hat{β} = X^{'} Y .

两式相减：

X^{'} X (\tilde{β}_{R} - \hat{β}) + R^{'} λ = 0.

由于 $X^{'} X$ 可逆：

\tilde{β}_{R} - \hat{β} = - (X^{'} X)^{- 1} R^{'} λ .

即：

\tilde{β}_{R} = \hat{β} - (X^{'} X)^{- 1} R^{'} λ .

将其代入约束条件：

R \tilde{β}_{R} = r .

得到：

R \hat{β} - R (X^{'} X)^{- 1} R^{'} λ = r .

因此：

R (X^{'} X)^{- 1} R^{'} λ = R \hat{β} - r .

因为前文已证明：

V_{R} = R (X^{'} X)^{- 1} R^{'} ≻ 0,

所以：

λ = V_{R}^{- 1} (R \hat{β} - r) .

将其代回：

\tilde{β}_{R} = \hat{β} - (X^{'} X)^{- 1} R^{'} V_{R}^{- 1} (R \hat{β} - r)

这就是一般线性等式约束下的受限最小二乘估计量。

（3）受限估计量的统计性质及与非受限 OLS 的比较

前文已经证明，在约束 $R b = r$ 下：

\tilde{β}_{R} = \hat{β} - (X^{'} X)^{- 1} R^{'} [R (X^{'} X)^{- 1} R^{'}]^{- 1} (R \hat{β} - r) .

为简化记号，在本小节记：

C = (X^{'} X)^{- 1}, V_{R} = RC R^{'}, B = C R^{'} V_{R}^{- 1} .

其中 $V_{R}$ 正定。于是：

\tilde{β}_{R} = (I_{K} - BR) \hat{β} + B r .

与非受限 OLS 的对比应区分约束正确（ $Rβ = r$ ）与约束错误（ $Rβ \neq = r$ ）两种情形。

① 条件期望与条件偏差

由 $E (\hat{β} ∣ X) = β$ ：

E (\tilde{β}_{R} ∣ X) = (I_{K} - BR) E (\hat{β} ∣ X) + B r = β - B (Rβ - r) .

因此：

Bias (\tilde{β}_{R} ∣ X) = - B (Rβ - r) .

若 $H_{0} : Rβ = r$ 成立，则 $E (\tilde{β}_{R} ∣ X) = β$ ；若 $H_{0}$ 不成立，则因 $B$ 列满秩且 $Rβ - r \neq = 0$ ，上述偏差非零。与之相比，非受限 OLS 无论是否满足该待检验约束，只要假设 4 成立，均满足 $E (\hat{β} ∣ X) = β$ 。

② 条件协方差矩阵

约束常数 $r$ 在给定 $X$ 后是确定的，因此：

Var (\tilde{β}_{R} ∣ X) = (I_{K} - BR) Var (\hat{β} ∣ X) (I_{K} - BR)^{'} = σ^{2} (I_{K} - BR) C (I_{K} - R^{'} B^{'}) .

展开并利用 $B = C R^{'} V_{R}^{- 1}$ 、 $V_{R} = RC R^{'}$ ：

(I_{K} - BR) C (I_{K} - R^{'} B^{'}) = C - BRC - C R^{'} B^{'} + BRC R^{'} B^{'} = C - C R^{'} V_{R}^{- 1} RC .

因此：

Var (\tilde{β}_{R} ∣ X) = σ^{2} (C - C R^{'} V_{R}^{- 1} RC) .

注意：这个协方差公式不要求 $H_{0}$ 成立，因为改变固定的约束常数 $r$ 不改变估计量围绕其自身期望的波动。

③ 方差比较与偏差—方差权衡

非受限估计量满足 $Var (\hat{β} ∣ X) = σ^{2} C$ ，所以：

Var (\hat{β} ∣ X) - Var (\tilde{β}_{R} ∣ X) = σ^{2} C R^{'} V_{R}^{- 1} RC ⪰ 0 .

事实上，对任意 $a \in R^{K}$ ：

a^{'} C R^{'} V_{R}^{- 1} RC a = (RC a)^{'} V_{R}^{- 1} (RC a) \geq 0.

因此受限估计量的协方差矩阵不大于非受限 OLS。但约束错误时，不能只因方差较小就断言受限估计量更好。对参数向量定义条件均方误差矩阵：

MSE (\tilde{β}_{R} ∣ X) = Var (\tilde{β}_{R} ∣ X) + Bias (\tilde{β}_{R} ∣ X) Bias (\tilde{β}_{R} ∣ X)^{'} .

第二项在 $H_{0}$ 成立时为零，在 $H_{0}$ 不成立时一般非零，因此受限估计量与非受限 OLS 的条件均方误差矩阵通常不存在统一的优劣顺序。

④ 条件正态分布及边界情况

若进一步满足假设 6，因为受限估计量是 $\hat{β}$ 的仿射变换：

\tilde{β}_{R} ∣ X \sim N (β - B (Rβ - r), σ^{2} [C - C R^{'} V_{R}^{- 1} RC]) .

这里的协方差矩阵一般仅半正定：由于 $R \tilde{β}_{R} = r$ 对所有样本都严格成立，约束方向没有随机波动。当 $q = K$ 时受限参数由约束完全决定，受限估计量为确定向量，协方差矩阵为零；这是允许退化的多元正态分布。

⑤ 残差平方和、自由度和 F 检验的含义

受限回归的参数可行集合更小，因此无论 $H_{0}$ 是否成立：

RS S_{R} \geq RS S_{U} .

若 $H_{0}$ 正确，则受限回归的有效自由参数数目为 $K - q$ ；结合正态性可得受限残差平方和的精确分布：

\frac{RS S _{R}}{σ ^{2}} ∣ X, H_{0} \sim χ_{n - K + q}^{2} .

并且：

E (RS S_{R} ∣ X, H_{0}) = σ^{2} (n - K + q) .

因此，在 $H_{0}$ 正确时，可构造受限误差方差估计量：

\overset{σ}{^}_{R}^{2} = \frac{RS S _{R}}{n - K + q}, E (\overset{σ}{^}_{R}^{2} ∣ X, H_{0}) = σ^{2} .

但如果 $H_{0}$ 错误，受限残差含有因施加错误约束引入的系统成分，上述无偏性一般不再成立。检验 $H_{0}$ 时不能先假定它正确、直接用受限回归方差替换经典 F 统计量的分母；前文 F 检验始终使用非受限模型的 $RS S_{U} / (n - K)$ 。

性质对照：

性质	非受限 OLS $\hat{β}$	受限 OLS $\tilde{β}_{R}$
约束	不施加 $Rβ = r$	强制满足 $R \tilde{β}_{R} = r$
条件期望	$β$	$β - B (Rβ - r)$
条件无偏性	假设 4 下成立	当且仅当约束正确时成立
条件协方差矩阵	$σ^{2} C$	$σ^{2} (C - C R^{'} V_{R}^{- 1} RC)$
方差关系	作为比较基准	条件协方差矩阵不大于非受限 OLS
正态分布	$N (β, σ^{2} C)$	均值可能偏移、协方差可退化的正态分布
残差平方和	$RS S_{U}$	$RS S_{R} \geq RS S_{U}$

以上受限估计量的方差优势不与 Gauss–Markov 定理矛盾：BLUE 比较的是在完整参数空间内均无偏的线性估计量，而施加约束改变了允许的参数空间。若约束错误，受限估计量便不满足完整参数空间上的无偏性。

（4）推导受限与非受限残差平方和之差

令：

d = \tilde{β}_{R} - \hat{β} .

则：

\tilde{β}_{R} = \hat{β} + d .

根据非受限模型的残差定义：

\overset{u}{^} = Y - X \hat{β} .

受限模型残差可以写为：

Y - X \tilde{β}_{R} = Y - X (\hat{β} + d) = \overset{u}{^} - X d .

因此：

RS S_{R} = (\overset{u}{^} - X d)^{'} (\overset{u}{^} - X d) = \overset{u}{^}^{'} \overset{u}{^} - 2 d^{'} X^{'} \overset{u}{^} + d^{'} X^{'} X d .

由非受限 OLS 正规方程：

X^{'} \overset{u}{^} = 0.

所以交叉项为零：

d^{'} X^{'} \overset{u}{^} = 0.

又因为：

RS S_{U} = \overset{u}{^}^{'} \overset{u}{^},

所以：

RS S_{R} = RS S_{U} + d^{'} X^{'} X d .

从而：

RS S_{R} - RS S_{U} = d^{'} X^{'} X d

接下来代入：

d = - (X^{'} X)^{- 1} R^{'} V_{R}^{- 1} (R \hat{β} - r) .

为简化书写，令：

c = R \hat{β} - r .

则：

d = - (X^{'} X)^{- 1} R^{'} V_{R}^{- 1} c .

由于 $(X^{'} X)^{- 1}$ 和 $V_{R}^{- 1}$ 均为对称矩阵：

d^{'} = - c^{'} V_{R}^{- 1} R (X^{'} X)^{- 1} .

于是：

d^{'} X^{'} X d = c^{'} V_{R}^{- 1} R (X^{'} X)^{- 1} X^{'} X (X^{'} X)^{- 1} R^{'} V_{R}^{- 1} c = c^{'} V_{R}^{- 1} R (X^{'} X)^{- 1} R^{'} V_{R}^{- 1} c = c^{'} V_{R}^{- 1} V_{R} V_{R}^{- 1} c = c^{'} V_{R}^{- 1} c .

因此：

RS S_{R} - RS S_{U} = (R \hat{β} - r)^{'} [R (X^{'} X)^{- 1} R^{'}]^{- 1} (R \hat{β} - r)

这说明：受限与非受限模型残差平方和之差，恰好等于前面 Wald 型 F 统计量中的二次型分子。

（5）构造残差平方和形式的 F 统计量

前文得到：

F = \frac{( R β ^ - r ) ^{'} [ R ( X ^{'} X ) ^{- 1} R ^{'} ] ^{- 1} ( R β ^ - r )}{q σ ^ ^{2}} .

根据刚刚证明的恒等式：

(R \hat{β} - r)^{'} [R (X^{'} X)^{- 1} R^{'}]^{- 1} (R \hat{β} - r) = RS S_{R} - RS S_{U} .

所以：

F = \frac{( RS S _{R} - RS S _{U} ) / q}{σ ^ ^{2}} .

由于 $\overset{σ}{^}^{2}$ 使用非受限模型的残差平方和估计：

\overset{σ}{^}^{2} = \frac{RS S _{U}}{n - K},

最终得到：

F = \frac{( RS S _{R} - RS S _{U} ) / q}{RS S _{U} / ( n - K )}

在原假设成立时：

F ∣ X, H_{0} \sim F_{q, n - K}

这里：

$RS S_{R}$ ：受限模型的残差平方和；
$RS S_{U}$ ：非受限模型的残差平方和；
$q$ ：独立线性约束的数量；
$n - K$ ：非受限模型的残差自由度。

（6）F 统计量的直观解释

分子：

\frac{RS S _{R} - RS S _{U}}{q}

衡量每施加一个独立约束后，残差平方和平均增加多少。

分母：

\frac{RS S _{U}}{n - K}

是非受限模型对扰动项方差 $σ^{2}$ 的无偏估计。

因此：

F = \frac{施加约束导致的平均残差平方和增加}{非受限模型的误差方差估计} .

如果原假设成立，参数约束与真实模型相容，施加约束造成的残差平方和增加通常不会过大。

如果原假设不成立，施加错误约束可能明显恶化模型拟合，从而使 F 统计量增大。

因此，当 F 统计量超过相应临界值时，拒绝原假设。

8.5 t 检验与 F 检验的关系#

（1）单个线性约束的 F 统计量

考虑：

H_{0} : β_{j} = β_{j, 0} .

此时只存在一个约束：

q = 1.

将其写为：

Rβ = r,

其中 $R$ 为选取第 $j$ 个参数的行向量， $r = β_{j, 0}$ 。

因此：

R \hat{β} - r = \hat{β}_{j} - β_{j, 0} .

又因为：

R (X^{'} X)^{- 1} R^{'} = v_{j},

一般 F 统计量：

F = \frac{( R β ^ - r ) ^{'} [ R ( X ^{'} X ) ^{- 1} R ^{'} ] ^{- 1} ( R β ^ - r )}{q σ ^ ^{2}}

可写为：

F = \frac{( β ^ _{j} - β _{j, 0} ) v _{j}^{- 1} ( β ^ _{j} - β _{j, 0} )}{σ ^ ^{2}} = \frac{( β ^ _{j} - β _{j, 0} ) ^{2}}{σ ^ ^{2} v _{j}} = (\frac{β ^ _{j} - β _{j, 0}}{σ ^ v _{j}})^{2} .

而前面构造的 t 统计量为：

t_{j} = \frac{β ^ _{j} - β _{j, 0}}{σ ^ v _{j}} .

因此：

F = t_{j}^{2}

（2）分布之间的关系

根据 t 分布和 F 分布的定义：

T = \frac{Z}{Q / ν},

其中：

Z \sim N (0, 1), Q \sim χ_{ν}^{2},

且二者独立。

两边平方：

T^{2} = \frac{Z ^{2}}{Q / ν} .

由于标准正态随机变量的平方服从自由度为 1 的卡方分布：

Z^{2} \sim χ_{1}^{2},

所以：

T^{2} \sim F_{1, ν}

特别地：

t_{n - K}^{2} \sim F_{1, n - K}

（3）检验结果的等价性

对于双侧 t 检验，其拒绝域为：

∣ t_{j} ∣ > t_{1 - α /2, n - K} .

两边平方：

t_{j}^{2} > t_{1 - α /2, n - K}^{2} .

根据 t 分布与 F 分布的关系：

t_{1 - α /2, n - K}^{2} = F_{1 - α; 1, n - K} .

因此：

F > F_{1 - α; 1, n - K} .

这恰好是单个线性约束 F 检验的拒绝域。

所以：

单个约束的双侧 t 检验 ⟺ 对应的 F 检验

二者具有相同的拒绝结论和 p 值。

但需要注意，F 统计量是 t 统计量的平方，会丢失原有的正负符号。因此，F 检验不能直接代替具有方向性的单侧 t 检验。

8.6 统计推断的主要结论#

在经典正态线性回归模型下，若假设 1、3–6 成立，且 $n > K$ ，则有以下有限样本精确推断结果。

（1）单个回归系数的 t 检验

t_{j} = \frac{β ^ _{j} - β _{j, 0}}{σ ^ v _{j}} ∣ X, H_{0} \sim t_{n - K}

（2）单个回归系数的双侧置信区间

\hat{β}_{j} \pm t_{1 - α /2, n - K} \overset{σ}{^} v_{j}

（3）一般线性约束的 F 检验

对于：

H_{0} : Rβ = r,

有：

F = \frac{( R β ^ - r ) ^{'} [ R ( X ^{'} X ) ^{- 1} R ^{'} ] ^{- 1} ( R β ^ - r )}{q σ ^ ^{2}} ∣ X, H_{0} \sim F_{q, n - K}

（4）基于残差平方和的 F 检验

F = \frac{( RS S _{R} - RS S _{U} ) / q}{RS S _{U} / ( n - K )}

（5）单个约束下 t 检验与 F 检验的关系

F = t_{j}^{2}

这些检验与区间估计依赖于经典正态线性回归模型的有限样本分布结论，因此不需要依赖渐近正态近似。

前言#

一、多元线性回归模型#

1. 模型设定#

2. 经典线性回归模型的基本假设#

2.1 对模型的假设#

2.2 对解释变量 X 的假设#

2.3 对随机扰动项 u 的假设#

2.4 假设的综合表述#

二、普通最小二乘估计（OLS）#

1. OLS 估计量的推导#

1.1 一阶条件#

1.2 二阶条件#

2. OLS 估计量的代数性质#

2.1 残差与解释变量正交#

2.2 残差与拟合值正交#

2.3 残差之和为零#

2.4 拟合值与被解释变量的样本均值相等#

3. 投影矩阵与残差生成矩阵#

3.1 投影矩阵（Projection Matrix）#

3.2 残差生成矩阵（Residual Maker Matrix）#

3.3 OLS 的正交投影表示#

4. 分块回归与 Frisch–Waugh–Lovell（FWL）定理#

4.1 分块回归模型与正规方程#

4.2 FWL 定理与“剔除”过程#

4.3 单个解释变量的偏回归解释#

4.4 残差一致性与平方和分解#

5. OLS 估计量的统计性质#

5.1 OLS 估计量的条件无偏性#

5.2 OLS 估计量的条件方差#

5.3 扰动项方差的无偏估计#

6. Gauss–Markov 定理#

6.1 BLUE 的定义#

6.2 线性无偏估计量的一般形式#

6.3 Gauss–Markov 定理的证明#

6.4 Gauss–Markov 定理的理解#

7. OLS 估计量的有限样本分布#

7.1 OLS 估计量的条件正态分布#

7.2 残差平方和的卡方分布#

7.3 OLS 估计量与残差平方和的条件独立性#

7.4 有限样本分布的主要结论#

8. 统计推断（Statistical Inference）#

8.1 单个回归系数的 t 检验#

8.2 回归系数的置信区间#

8.3 多个线性约束的联合 F 检验#

8.4 基于残差平方和的 F 检验#

8.5 t 检验与 F 检验的关系#

8.6 统计推断的主要结论#

2.2 对解释变量 $X$ 的假设#

2.3 对随机扰动项 $u$ 的假设#