Cơ sở toán học của Phương pháp PCA (Hướng tiếp cận Vectơ Hàng)

Bước 1: Thiết lập và Chuẩn hóa dữ liệu

Giả sử ta có ma trận dữ liệu tổng quát $X$ kích thước $n \times p$ ( $n$ mẫu dữ liệu xếp theo hàng và $p$ thuộc tính gốc xếp theo cột). Sau bước chuẩn hóa dữ liệu (Z-score Standardization), gọi $x = [x_{1}, x_{2}, \dots, x_{p}]$ là một hàng ngẫu nhiên kích thước $1 \times p$ bốc ra từ $X$ , ta luôn có:

E [x] = 0_{1 \times p}, V a r (x_{i}) = 1 (\forall i = 1, \dots, p)

Ma trận hiệp phương sai mẫu $S$ (kích thước $p \times p$ ) của dữ liệu gốc được tính bằng biểu thức đại số tuyến tính:

S = E [x^{T} x]

Bước 2: Cấu trúc Thành phần chính thứ nhất

Ta tìm vectơ hệ số chuyển đổi dạng cột $a_{1} = [a_{11}, a_{12}, \dots, a_{1 p}]^{T}$ (kích thước $p \times 1$ ) để thực hiện phép chiếu dòng dữ liệu ngẫu nhiên $x$ sang tọa độ mới $y_{1}$ (là một số thực kích thước $1 \times 1$ ):

y_{1} = x \cdot a_{1}

Do $E [x] = 0$ nên trung bình của trục mới cũng bằng không: $E [y_{1}] = E [x \cdot a_{1}] = 0$ .

Bước 3: Khai triển Phương sai của trục mới

Phương sai của biến ngẫu nhiên $y_{1}$ đại diện cho lượng thông tin giữ lại được trên trục PC1 được tính như sau:

V a r (y_{1}) = E [y_{1}^{2}] = E [(x \cdot a_{1})^{2}]

Vì $x \cdot a_{1}$ là một số thực, bình phương của nó bằng chính nó chuyển vị nhân với chính nó: $(x \cdot a_{1})^{2} = (x \cdot a_{1})^{T} (x \cdot a_{1}) = a_{1}^{T} x^{T} x a_{1}$ . Ráp vào toán tử kỳ vọng:

V a r (y_{1}) = E [a_{1}^{T} x^{T} x a_{1}] = a_{1}^{T} \cdot E [x^{T} x] \cdot a_{1}

Thế định nghĩa ma trận hiệp phương sai $S = E [x^{T} x]$ vào giữa, ta thu được dạng toàn phương:

V a r (y_{1}) = a_{1}^{T} S a_{1}

Bước 4: Tối ưu hóa bằng Nhân tử Lagrange tìm $a_{1}$

Mục tiêu là tìm vectơ cột $a_{1}$ sao cho $V a r (y_{1})$ đạt giá trị lớn nhất, kèm theo ràng buộc độ dài vectơ bằng 1 ( $∥ a_{1} ∥^{2} = a_{1}^{T} a_{1} = 1$ ). Hàm Lagrange được thiết lập:

L (a_{1}, λ_{1}) = a_{1}^{T} S a_{1} - λ_{1} (a_{1}^{T} a_{1} - 1)

Lấy đạo hàm riêng của hàm Lagrange theo vectơ biến số $a_{1}$ và cho bằng hằng số $0$ :

\frac{\partial L}{\partial a _{1}} = 2 S a_{1} - 2 λ_{1} a_{1} = 0 ⟹ S a_{1} = λ_{1} a_{1}

Thay ngược phương trình đặc trưng $S a_{1} = λ_{1} a_{1}$ vào công thức phương sai:

V a r (y_{1}) = a_{1}^{T} S a_{1} = a_{1}^{T} (λ_{1} a_{1}) = λ_{1} (a_{1}^{T} a_{1}) = λ_{1}

Do đó, để lượng thông tin đạt cực đại, $λ_{1}$ bắt buộc phải là giá trị riêng lớn nhất của ma trận $S$ , và $a_{1}$ chính là vectơ riêng đi kèm.

Bước 5: Tìm các trục tiếp theo bằng điều kiện Trực giao

Để tìm trục thứ hai $a_{2}$ , ta tiếp tục cực đại hóa phương sai $V a r (y_{2}) = a_{2}^{T} S a_{2}$ kèm điều kiện ràng buộc thông tin không trùng lặp (Hiệp phương sai bằng 0):

C o v (y_{1}, y_{2}) = E [y_{1}^{T} y_{2}] = E [(X a_{1})^{T} (X a_{2})] = a_{1}^{T} S a_{2} = 0

Vì $a_{1}^{T} S = λ_{1} a_{1}^{T}$ , điều kiện trên tương đương điều kiện Trực giao trong hình học:

λ_{1} a_{1}^{T} a_{2} = 0 ⟹ a_{1}^{T} a_{2} = 0

Quá trình lập lại bài toán Lagrange mở rộng cho đến khi tìm đủ $q$ vectơ riêng tương ứng với $q$ giá trị riêng lớn nhất, tạo thành một hệ cơ sở trực chuẩn.

Bước 6: Tổng hợp phép nén ma trận $Y = X \cdot A$

Gộp $q$ vectơ riêng dạng cột thành ma trận chuyển đổi $A$ kích thước $p \times q$ . Khi áp dụng trên toàn bộ ma trận dữ liệu ban đầu $X$ , ta có công thức nén không gian biểu diễn:

n \times q Y = n \times p X \cdot p \times q A