Mô hình hồi quy logistic

Cơ sở toán học ước lượng mô hình Hồi quy Logistic

Mô hình Hồi quy Logistic (Logistic Regression) là một phương pháp phân loại thống kê được sử dụng để ước lượng xác suất của một biến mục tiêu nhị phân $Y\in \{0,1\}$ dựa trên một tập hợp các biến độc lập $\mathbf{x}=(1,x_1,x_2,\dots ,x_n{)}^T$.

Hàm Sigmoid và Hàm Thừa số Cơ hội (Odds Ratio)

Trong hồi quy tuyến tính, giá trị dự báo có miền biến thiên từ $-\infty$ đến $+\infty$. Tuy nhiên, đối với bài toán phân loại nhị phân, xác suất điều kiện $p=P(Y=1|\mathbf{x})$ phải nằm trong đoạn $[0,1]$.

Để giải quyết giới hạn này, ta định nghĩa tỷ số cơ hội (Odds Ratio) là tỷ số giữa xác suất xảy ra sự kiện và xác suất không xảy ra sự kiện:

Bằng cách áp dụng phép biến đổi Logit (Logit Transformation), tức là lấy logarit tự nhiên của tỷ số cơ hội, ta đưa miền giá trị về toàn bộ trục số thực để thiết lập mối quan hệ tuyến tính với các biến độc lập:

Trong đó $\mathbf{\beta }=({\beta }_0,{\beta }_1,\dots ,{\beta }_n{)}^T$ là vectơ hệ số cần ước lượng.

Giải phương trình trên theo $p$, ta thu được hàm xác suất dự báo dưới dạng hàm Logistic (hay hàm Sigmoid):

Phương pháp Ước lượng Hợp lý Cực đại (MLE)

Khác với hồi quy tuyến tính sử dụng phương pháp Bình phương Tối thiểu (OLS), các tham số $\mathbf{\beta }$ trong hồi quy logistic được ước lượng bằng phương pháp Ước lượng Hợp lý Cực đại (Maximum Likelihood Estimation - MLE).

Giả sử biến ngẫu nhiên mục tiêu $y_i$ ứng với quan sát thứ $i$ tuân theo phân phối Bernoulli với xác suất thành công là $p_i=\sigma ({\mathbf{\beta }}^T{\mathbf{x}}_i)$. Hàm mật độ xác suất của quan sát $i$ có dạng:

Với giả định rằng các quan sát trong mẫu dữ liệu gồm $m$ phần tử độc lập với nhau, Hàm hợp lý (Likelihood Function) của toàn bộ tập dữ liệu được xác định bởi tích các xác suất thành phần:

Mục tiêu của MLE là tìm bộ tham số $\mathbf{\beta }$ sao cho hàm hợp lý $L(\mathbf{\beta })$ đạt giá trị cực đại:

Hàm Log-Likelihood và Hàm Mất mát (Loss Function)

Để đơn giản hóa bài toán tối ưu, ta chuyển phép toán tích thành phép toán tổng bằng cách lấy logarit tự nhiên hai vế của hàm hợp lý, thu được hàm Log-Likelihood:

Tối ưu hóa và Tìm tham số

Ta lấy đạo hàm riêng của $\ell (\mathbf{\beta })$ theo từng hệ số ${\beta }_j$ ($j=0,1,\dots ,k$).

Nhớ rằng: ${\mathbf{\beta }}^T{\mathbf{x}}_i={\beta }_0+{\beta }_1{x}_{i1}+\cdots +{\beta }_j{x}_{ij}+\cdots +{\beta }_k{x}_{ik}$, do đó:

• $\frac{\partial ({\mathbf{\beta }}^T{\mathbf{x}}_i)}{\partial {\beta }_j}=x_{ij}$

• $\frac{\partial (-{\mathbf{\beta }}^T{\mathbf{x}}_i)}{\partial {\beta }_j}=-x_{ij}$

Lấy đạo hàm từng số hạng trong tổng theo ${\beta }_j$:

1. Số hạng 1: $\frac{\partial }{\partial {\beta }_j}\left(y_i{\mathbf{\beta }}^T{\mathbf{x}}_i\right)=y_i{x}_{ij}$

2. Số hạng 2: $\frac{\partial }{\partial {\beta }_j}\left(-{\mathbf{\beta }}^T{\mathbf{x}}_i\right)=-x_{ij}$

3. Số hạng 3: Áp dụng quy tắc đạo hàm $\frac{\partial \ln (u)}{\partial {\beta }_j}=\frac{u^{\prime }}{u}$:

   $$\frac{\partial }{\partial {\beta }_j}\left[-\ln \left(1+e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}\right)\right]=-\frac{1}{1+e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}}\cdot \frac{\partial }{\partial {\beta }_j}\left(1+e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}\right)$$
   $$=-\frac{1}{1+e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}}\cdot \left(e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}\cdot (-x_{ij})\right)=\frac{e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}}{1+e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}}{x}_{ij}$$

Chia cả tử và mẫu của $\frac{e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}}{1+e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}}$ cho $e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}$, ta được:

Cộng 3 kết quả thành phần lại:

Biểu diễn dạng Vectơ Gradient ($\nabla \ell$):

BƯỚC 3: TÍNH ĐẠO HÀM CẤP 2 VÀ THIẾT LẬP MA TRẬN HESSIAN

Lấy tiếp đạo hàm riêng cấp 2 của biểu thức $\frac{\partial \ell (\mathbf{\beta })}{\partial {\beta }_j}$ theo một hệ số ${\beta }_l$ bất kỳ ($l=0,1,\dots ,k$):

Vì nhãn $y_i$ và đặc trưng $x_{ij}$ là các hằng số đối với $\mathbf{\beta }$, ta đưa dấu tổng và $x_{ij}$ ra ngoài:

3.1. Tính đạo hàm $\frac{\partial p_i}{\partial {\beta }_l}$ từ hàm Sigmoid

Viết $p_i={\left(1+e^{-{\mathbf{\beta }}^T{\mathbf{x}}_i}\right)}^{-1}$. Áp dụng quy tắc đạo hàm hàm hợp $(u^{-1}{)}^{\prime }=-u^{-2}\cdot u^{\prime }$:

Tách phân thức thành tích của 2 thừa số:

3.2. Thay kết quả vào Đạo hàm cấp 2

3.3. Biểu diễn dạng Ma trận Hessian ($\mathbf{H}$)

Gộp tất cả các đạo hàm cấp 2 cho mọi cặp $(j,l)$ vào ma trận vuông kích thước $(k+1)\times (k+1)$:

Trong đó, $\mathbf{W}$ là ma trận đường chéo $m\times m$:

Lưu ý: Dấu trừ $-$ xuất hiện do $p_i$ mang dấu âm trong cụm $(y_i-p_i)$ khi lấy đạo hàm cấp 1.

BƯỚC 4: XẤP XỈ NGHIỆM BẰNG THUẬT TOÁN NEWTON-RAPHSON (IRLS)

Để giải hệ phương trình đạo hàm bậc nhất bằng $0$: $\nabla \ell (\mathbf{\beta })=0$, ta sử dụng khai triển chuỗi Taylor bậc 2 của hàm $\ell (\mathbf{\beta })$ quanh điểm lặp ${\mathbf{\beta }}^{(t)}$:

4.1. Cực đại hóa hàm xấp xỉ

Lấy đạo hàm theo $\mathbf{\beta }$ của biểu thức xấp xỉ Taylor và cho bằng $0$:

4.2. Rút nghiệm ${\mathbf{\beta }}^{(t+1)}$ mới

4.3. Thế ma trận Hessian và Gradient vào công thức

Thay ${\mathbf{H}}^{(t)}=-{\mathbf{X}}^T{\mathbf{W}}^{(t)}\mathbf{X}$ và $\nabla \ell ({\mathbf{\beta }}^{(t)})={\mathbf{X}}^T(\mathbf{y}-{\mathbf{p}}^{(t)})$:

Triệt tiêu hai dấu trừ, ta thu được công thức lặp Newton-Raphson hoàn chỉnh: