Proses Gaussian

Misalkan \mathcal{D}:=\{(x_1,y_1),(x_2, y_2), \hdots,(x_n,y_n)\} data observasi. Kita dapat memodelkan data tersebut sebagai berikut:

\displaystyle y_i=f(x_i,\theta)+\epsilon_i, dengan f(x,\theta) adalah fungsi yang ingin kita aproksimasi dan \epsilon_i suatu noise yang saling bebas dan berdistribusi N(0,\sigma^2_\epsilon).

Sehingga kita memiliki:

y_i | f(x_i,\theta)\sim N(f(x_i,\theta),\sigma^2_\epsilon).

Jika kita mengasumsikan \theta memiliki distribusi prior N(0,\sigma^2_0I), maka distribusi posteriornya dapat dituliskan sebagai berikut:

p(\theta | \mathcal{D})\propto \exp\left\{-\frac{1}{2\sigma^2}\left[(y-f_\theta)^T(y-f_\theta)+\frac{\sigma^2}{\sigma_0^2}\theta^T\theta\right]\right\}.

Dalam generalised linear model kita modelkanf(x,\theta) sebagai berikut:

f(x,\theta)=\sum_{j=1}^d \theta_j \phi_j(x)=\theta^T \Phi_x,

dengan \Phi_x=[\phi_1(x), \phi_2(x), ...,\phi_d(x)]^T.

Dengan menggunakan representasi fungsi di atas kita peroleh distribusi posterior dari \theta sebagai berikut:

\theta | \mathcal{D} \propto \exp\left\{ -\frac{1}{2\sigma^2}\left[(y-\Phi^T\theta)^T(y-\Phi^T\theta)+\frac{\sigma^2}{\sigma_0^2}\theta^T\theta\right]\right\}
=\exp\left\{ -\frac{1}{2\sigma^2}\left[\theta^T(\sigma^{-2}\Phi\Phi^T+\sigma_0^{-2} I)\theta-2\sigma^{-2}y^T\Phi^T\theta+\sigma^{-2}y^Ty\right]\right\}
=\propto\exp\left\{ -\frac{1}{2}\left[(\theta-\overline{m})^T(\sigma^{-2}\Phi\Phi^T+\sigma_0^{-2} I)(\theta-\overline{m})\right]   \right\}, dengan \overline{m}=\sigma_0^2\Phi C_ny, C_n=(\sigma_0^2\Phi^T\Phi +\sigma^2)^{-1}.
Sehingga \theta | \mathcal{D} \sim N(\sigma_0^2 \Phi (\sigma^2 I +K_n)^{-1}y , \sigma^2_0 I-\sigma_0^2 \Phi(\sigma^2 I+K_n)^{-1}\Phi^T \sigma_0^2),

dengan \Phi=[\Phi_{x_1},\Phi_{x_2},...,\Phi_{x_n}] dan K_n=\{K(x_i,x_j)\}_{ij=1}^n dengan K(x_i,x_j)=\sigma_0^2\sum_{l=1}^d\phi_l(x_i)\phi_l(x_j)=\sigma_0^2\Phi_{x_i}^T\Phi_{x_j}.

Fungsi kepadatan peluang dari vektor acak berdimensi d memiliki distribusi Normal multivariabel dengan rataan \mu dan matriks cov-var \Sigma dapat dituliskan sebagai berikut:
f(x|\mu,\Sigma)=\frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} \exp\left\{-(x-\mu)^T\Sigma^{-1}(x-\mu)\right\}
Untuk mengestimasi parameter-parameter dalam fungsi di atas kita menggunakan bantuan formula-formula berikut:

  1.  \frac{\partial \mu^T\Sigma^{-1}\mu}{\partial \mu}=2\Sigma^{-1}\mu
  2. \frac{\partial x^T\Sigma^{-1}\mu}{\partial \mu}=\Sigma^{-1}x
  3. \frac{\partial x^T\Sigma^{-1}x}{\partial \Sigma}=-\Sigma^{-1}xx^T\Sigma^{-1}
  4. \frac{\partial \log(det(\Sigma))}{\partial \Sigma}=\Sigma^{-1}
  5. \frac{\partial tr(A^{-1}\Sigma)}{\partial \Sigma}=A^{-1}

Untuk data observasi \{x_i\}_{i=1}^n yang saling bebas dan berdistribusi identik N(\mu,\Sigma), fungsi loglikelihoodnya dapat dituliskan sebagai berikut:

\log L(\mu,\Sigma)=-\frac{nd \log(2\pi)}{2}-\frac{n \log(det(\Sigma))}{2}-\frac{1}{2}\sum_{i=1}^n (x_i-\mu)^T\Sigma^{-1}(x_i-\mu)

Leave a Reply

Your email address will not be published. Required fields are marked *

*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>