Cơ sở toán học Mô hình hồi quy logistic

Cơ sở toán học ước lượng mô hình Hồi quy Logistic

Mô hình Hồi quy Logistic (Logistic Regression) là một phương pháp phân loại thống kê được sử dụng để ước lượng xác suất của một biến mục tiêu nhị phân $Y \in {0, 1}$ dựa trên một tập hợp các biến độc lập $x = (1, x_{1}, x_{2}, \dots, x_{n})^{T}$ .

Hàm Sigmoid và Hàm Thừa số Cơ hội (Odds Ratio)

Trong hồi quy tuyến tính, giá trị dự báo có miền biến thiên từ $- \infty$ đến $+ \infty$ . Tuy nhiên, đối với bài toán phân loại nhị phân, xác suất điều kiện $p = P (Y = 1∣ x)$ phải nằm trong đoạn $[0, 1]$ .

Để giải quyết giới hạn này, ta định nghĩa tỷ số cơ hội (Odds Ratio) là tỷ số giữa xác suất xảy ra sự kiện và xác suất không xảy ra sự kiện:

Odds = \frac{p}{1 - p}

Bằng cách áp dụng phép biến đổi Logit (Logit Transformation), tức là lấy logarit tự nhiên của tỷ số cơ hội, ta đưa miền giá trị về toàn bộ trục số thực để thiết lập mối quan hệ tuyến tính với các biến độc lập:

ln (\frac{p}{1 - p}) = β_{0} + β_{1} x_{1} + β_{2} x_{2} + \dots + β_{n} x_{n} = β^{T} x

Trong đó

β = (β_{0}, β_{1}, \dots, β_{n})^{T}

là vectơ hệ số cần ước lượng.

Giải phương trình trên theo $p$ , ta thu được hàm xác suất dự báo dưới dạng hàm Logistic (hay hàm Sigmoid):

p = σ (β^{T} x) = \frac{1}{1 + e ^{- β^{T} x}}

Phương pháp Ước lượng Hợp lý Cực đại (MLE)

Khác với hồi quy tuyến tính sử dụng phương pháp Bình phương Tối thiểu (OLS), các tham số $β$ trong hồi quy logistic được ước lượng bằng phương pháp Ước lượng Hợp lý Cực đại (Maximum Likelihood Estimation - MLE).

Giả sử biến ngẫu nhiên mục tiêu $y_{i}$ ứng với quan sát thứ $i$ tuân theo phân phối Bernoulli với xác suất thành công là $p_{i} = σ (β^{T} x_{i})$ . Hàm mật độ xác suất của quan sát $i$ có dạng:

P (Y = y_{i} ∣ x_{i}) = p_{i}^{y_{i}} (1 - p_{i})^{1 - y_{i}}

Với giả định rằng các quan sát trong mẫu dữ liệu gồm $m$ phần tử độc lập với nhau, Hàm hợp lý (Likelihood Function) của toàn bộ tập dữ liệu được xác định bởi tích các xác suất thành phần:

L (β) = i = 1 \prod m P (Y = y_{i} ∣ x_{i}) = i = 1 \prod m p_{i}^{y_{i}} (1 - p_{i})^{1 - y_{i}}

Mục tiêu của MLE là tìm bộ tham số $β$ sao cho hàm hợp lý $L (β)$ đạt giá trị cực đại:

\hat{β}_{MLE} = ar g β max L (β)

Hàm Log-Likelihood và Hàm Mất mát (Loss Function)

Để đơn giản hóa bài toán tối ưu, ta chuyển phép toán tích thành phép toán tổng bằng cách lấy logarit tự nhiên hai vế của hàm hợp lý, thu được hàm Log-Likelihood:

ℓ (β) = ln L (β) = i = 1 \sum m [y_{i} ln (p_{i}) + (1 - y_{i}) ln (1 - p_{i})]

Trong học máy và tối ưu hóa số học, bài toán cực đại hóa $ℓ (β)$ thường được chuyển đổi tương đương sang bài toán cực tiểu hóa hàm mất mát Binary Cross-Entropy (hoặc Negative Log-Likelihood):

J (β) = - \frac{1}{m} ℓ (β) = - \frac{1}{m} i = 1 \sum m [y_{i} ln (p_{i}) + (1 - y_{i}) ln (1 - p_{i})]

Tối ưu hóa và Tìm tham số

Hàm chi phí $J (β)$ là một hàm lồi (convex function), đảm bảo tồn tại một điểm cực tiểu toàn cục duy nhất. Do đạo hàm bậc nhất của hàm số này theo $β$ dẫn đến một hệ phương trình phi tuyến không có nghiệm dạng đóng (closed-form solution), ta phải áp dụng các thuật toán lặp số học.

Thuật toán Hạ độ dốc (Gradient Descent)

Đạo hàm riêng của hàm chi phí $J (β)$ theo từng hệ số $β_{j}$ ( $j = 0, 1, \dots, n$ ) được tính thông qua quy tắc chuỗi:

\frac{\partial J ( β )}{\partial β _{j}} = \frac{1}{m} i = 1 \sum m (σ (β^{T} x_{i}) - y_{i}) x_{ij}

Dưới dạng vectơ, toán tử Gradient của hàm chi phí được biểu diễn như sau:

\nabla J (β) = \frac{1}{m} X^{T} (σ (X β) - y)

Trong đó

X

là ma trận thiết kế kích thước

m \times (n + 1)

, và

y

là vectơ nhãn mục tiêu kích thước

m \times 1

Công thức cập nhật tham số tại mỗi bước lặp với tốc độ học $α > 0$ :

β^{(k + 1)} = β^{(k)} - α \nabla J (β^{(k)})

Thuật toán Newton-Raphson (IRLS)

Trong thống kê, thuật toán Newton-Raphson (hay phương pháp bình phương tối thiểu lặp lại tuần hoàn - Iteratively Reweighted Least Squares) thường được ưu tiên nhờ tốc độ hội tụ bậc hai.

Công thức cập nhật dạng ma trận tuân theo quy tắc:

β^{(k + 1)} = β^{(k)} - H^{- 1} \nabla ℓ (β^{(k)})

Trong đó

H

là Ma trận Hessian chứa các đạo hàm riêng bậc hai của hàm Log-Likelihood:

H = \frac{\partial ^{2} ℓ ( β )}{\partial β \partial β ^{T}} = - X^{T} W X

Với

W

là ma trận đường chéo kích thước

m \times m

, lưu trữ phương sai của phân phối Bernoulli tại mỗi điểm dữ liệu:

W_{ii} = p_{i} (1 - p_{i}) = σ (β^{T} x_{i}) (1 - σ (β^{T} x_{i}))

Khi thuật toán hội tụ, bộ ước lượng thu được đạt tính hiệu quả tiệm cận (asymptotic efficiency) và chuẩn hóa tiệm cận (asymptotic normality).