Ước Lượng Vectơ Hệ Số $β$ Trong Mô Hình Hồi Quy Tuyến Tính Đa Biến

Mô hình hồi quy dưới dạng ma trận:

Y = X β + ε

I. Phương Phướng Bình Phương Tối Thiểu (Ordinary Least Squares - OLS)

1. Hàm mục tiêu hình học

Phương pháp OLS không quan tâm đến phân phối xác suất mà tiếp cận theo góc độ hình học. Mục tiêu là tìm vectơ ước lượng $\hat{β}$ sao cho Tổng bình phương các phần dư ( $SSE$ ) đạt giá trị nhỏ nhất:

T \overset{ˊ}{\overset{o}{ˆ}} i thiểu h \overset{o}{ˊ} a SSE = \overset{ε}{^}^{T} \overset{ε}{^} = (Y - X \hat{β})^{T} (Y - X \hat{β})

Khai triển biểu thức chuyển vị và nhân phân phối các ma trận thành phần:

SSE = (Y^{T} - \hat{β}^{T} X^{T}) (Y - X \hat{β})

SSE = Y^{T} Y - Y^{T} X \hat{β} - \hat{β}^{T} X^{T} Y + \hat{β}^{T} X^{T} X \hat{β}

Vì đại lượng $Y^{T} X \hat{β}$ là một số vô hướng (kích thước $1 \times 1$ ), giá trị của nó bằng đúng chuyển vị của chính nó: $(Y^{T} X \hat{β})^{T} = \hat{β}^{T} X^{T} Y$ . Do đó, hai thành phần ở giữa đồng nhất và được cộng gộp lại:

SSE = Y^{T} Y - 2 \hat{β}^{T} X^{T} Y + \hat{β}^{T} X^{T} X \hat{β}

2. Lấy đạo hàm ma trận để tìm cực trị

Để tìm vị trí điểm cực tiểu, ta lấy đạo hàm riêng bậc nhất của hàm mục tiêu $SSE$ theo vectơ biến số $\hat{β}$ và cho kết quả bằng vectơ không $0$ :

\frac{\partial SSE}{\partial β ^} = 0

Áp dụng các quy tắc đạo hàm ma trận cơ bản:

$\frac{\partial ( β ^ ^{T} X ^{T} Y )}{\partial β ^} = X^{T} Y$
$\frac{\partial ( β ^ ^{T} [ X ^{T} X ] β ^ )}{\partial β ^} = 2 (X^{T} X) \hat{β}$ (do $X^{T} X$ là ma trận đối xứng)

Thực hiện đạo hàm biểu thức $SSE$ :

\frac{\partial SSE}{\partial β ^} = - 2 X^{T} Y + 2 (X^{T} X) \hat{β} = 0

3. Giải phương trình tìm nghiệm OLS

Từ phương trình đạo hàm bằng 0, ta chuyển vế:

2 (X^{T} X) \hat{β} = 2 X^{T} Y ⟺ (X^{T} X) \hat{β} = X^{T} Y

Nhân vào bên trái cả hai vế với ma trận nghịch đảo $(X^{T} X)^{- 1}$ (với điều kiện ma trận $X$ có hạng đầy đủ để tồn tại ma trận nghịch đảo):

(X^{T} X)^{- 1} (X^{T} X) \hat{β} = (X^{T} X)^{- 1} X^{T} Y

Vì $(X^{T} X)^{- 1} (X^{T} X) = I$ , ta thu được công thức nghiệm OLS tối hậu cho hệ số $β$ :

\hat{β}_{OLS} = (X^{T} X)^{- 1} X^{T} Y

II. Phương Pháp Hợp Lý Cực Đại (Maximum Likelihood Estimation - MLE)

1. Thiết lập hàm Log-Likelihood

Phương pháp MLE bắt buộc phải dựa trên giả thiết nền tảng là các sai số độc lập và tuân theo phân phối chuẩn đồng đều: $ε_{i} \sim N (0, σ^{2})$ , kéo theo biến phụ thuộc $Y_{i} \sim N (X_{i} β, σ^{2})$ .

Hàm hợp lý $L (β, σ^{2})$ của toàn bộ mẫu dữ liệu là tích các hàm mật độ xác suất thành phần:

L (β, σ^{2}) = i = 1 \prod n \frac{1}{2 π σ ^{2}} exp (- \frac{( Y _{i} - X _{i} β ) ^{2}}{2 σ ^{2}})

L (β, σ^{2}) = (2 π σ^{2})^{- \frac{n}{2}} exp (- \frac{1}{2 σ ^{2}} i = 1 \sum n (Y_{i} - X_{i} β)^{2})

Lấy Logarithm tự nhiên hai vế, ta thu được hàm Log-likelihood:

ln L (β, σ^{2}) = - \frac{n}{2} ln (2 π) - \frac{n}{2} ln (σ^{2}) - \frac{1}{2 σ ^{2}} i = 1 \sum n (Y_{i} - X_{i} β)^{2}

Chuyển đổi cụm tổng bình phương ở đuôi sang dạng ma trận: $\sum_{i = 1}^{n} (Y_{i} - X_{i} β)^{2} = (Y - X β)^{T} (Y - X β)$ . Ta viết lại hàm mục tiêu theo biến $β$ :

ln L (β, σ^{2}) = - \frac{n}{2} ln (2 π) - \frac{n}{2} ln (σ^{2}) - \frac{1}{2 σ ^{2}} [Y^{T} Y - 2 β^{T} X^{T} Y + β^{T} X^{T} X β]

2. Lấy đạo hàm MLE để tìm cực đại

Để tìm vectơ $β$ tối đa hóa xác suất xảy ra của mẫu dữ liệu, ta lấy đạo hàm riêng bậc nhất của hàm $ln L$ theo vectơ biến số $β$ và cho kết quả bằng vectơ $0$ .

Lưu ý rằng lúc này hai cụm đầu tiên không chứa biến $β$ nên đạo hàm của chúng bằng 0:

\frac{\partial ln L}{\partial β} = 0

⟹ 0 - \frac{1}{2 σ ^{2}} [- 2 X^{T} Y + 2 (X^{T} X) β] = 0

Triệt tiêu hằng số và đại lượng phương sai $\frac{1}{σ ^{2}}$ ở ngoài dấu ngoặc:

- 2 X^{T} Y + 2 (X^{T} X) β = 0 ⟺ (X^{T} X) β = X^{T} Y

Cô lập tìm nghiệm $β$ , ta thu được kết quả ước lượng MLE:

\hat{β}_{MLE} = (X^{T} X)^{- 1} X^{T} Y

III. Kết Luận So Sánh

Mặc dù xuất phát từ hai triết lý tư duy hoàn toàn khác nhau:

OLS: Tiếp cận bằng hình học thuần túy (Tối thiểu hóa khoảng cách sai số bình phương).
MLE: Tiếp cận bằng lý thuyết xác suất (Tối đa hóa hàm mật độ đồng thời của mẫu).

Nhưng đối với bài toán ước lượng vectơ hệ số góc $β$ dưới điều kiện nhiễu có phân phối chuẩn, cả hai phương pháp đều dẫn về chung một phương trình đạo hàm ma trận duy nhất và cho ra kết quả nghiệm đồng nhất hoàn hảo:

\hat{β}_{OLS} \equiv \hat{β}_{MLE} = (X^{T} X)^{- 1} X^{T} Y