Statistical Machine Learning (SML)

Proyeksi
Diberikan vektor x\in R^d dan unit vektor \phi_j\in R^d. Proyeksi vektor x pada \phi_j adalah
(x^T\phi_j) \phi_j=\|x\| \cos(\theta)\phi_j dengan \theta adalah sudut antara vektor x dan \phi_j.
Misalkan x_i\in R^d, i=1,2,\hdots,n vektor observasi dengan matriks kovariansi A berukuran d \times d. Dengan menggunakan sifat matriks kovariansi yang positif definit, kita dapat menuliskan
A= \sum_{i=1}^d \lambda_i \phi_i \phi_i^T, dengan \lambda_i dan \phi_i masing-masing adalah nilai dan vektor Eigen.
Perhatikan bahwa
Ax=\sum_{i=1}^d \lambda_i \phi_i (\phi_i^T x)=\sum_{i=1}^d \lambda_i (\phi_i^T x)\phi_i memiliki koefisien yang melibatkan proyeksi vektor x pada vektor \phi_j.

Kita dapat memproyeksikan x\in R^d pada ruang yang dibangun oleh \{\phi_1, \phi_2\}, sehingga x=x_p+x_{res}, dengan
x_p=\sum_{i=1}^2 \alpha_i (x^T\phi_i)\phi_i adalah proyeksi x pada ruang yang dibangun \{phi_1,\phi_j\}.
Misalkan z_i=Ax_i adalah proyeksi ortogonal dari x_i, dengan A suatu matriks. Maka matriks A memenuhi sifat AA^T=I.
Perhatikan
\| A^TAx_i-x_i\|^2 = (A^TAx_i)^T(A^TAx_i)-2(A^TAx_i)^Tx_i+x_i^Tx_i
=x_i^TA^TAA^TAx_i-2x_i^TA^TAx_i+x_i^Tx_i
=-x_i^TA^TAx_i+x_i^Tx_i.
Dengan menggunakan
\sum_{i=1}^n x_i^TA^TAx_i=tr(ACA^T) dan \sum_{i=1}^n x_i^Tx_i=tr(C), C=\sum_{i=1}^n x_ix_i^T, kita peroleh
\sum_{i=1}^n \|A^TAx_i-x_i\|^2=-tr(ACA^T)+tr(C).
Kita ingin mencari A yang meminimumkan \sum_{i=1}^n \|A^TAx_i-x_i\|^2. Masalah ini dapat direduksi menjadi masalah mencari A yang memaksimumkan
tr(ACA^T) dengan syarat AA^T=I.

Leave a Reply

Your email address will not be published. Required fields are marked *

*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>