Aproksimasi Distribusi Posterior dengan metoda Mean Field

Pandang distribusi posterior berikut:
p(a|D_m)=\frac{1}{Z}\frac{1}{\sqrt{(2\pi)^m det(K)}}e^{-\frac{1}{2}a^TK^{-1}a}\prod_{j=1}^mp(y_j|a_j). Kita ingin mengaproksimasi distribusi posterior ini dengan
q(a)=\prod_{j=1}^m q_j(a_j). Untuk mendapatkan fungsi-fungsi q_j kita aplikasikan KL divergence
KL(q,p)=\int q(a) \ln(q(a)/p(a| D_m)) da. Kita peroleh
KL(q,p)=\int q(a) (\ln(q(a))-\ln(p(a|D_m)))
=\int q(a)(\sum_{j=1}^m\ln(q_j(a_j))+\frac{1}{2}(\ln((2\pi)^m)+\ln(det(K)))+\frac{1}{2}a^TK^{-1}a-\sum_{j=1}^m\ln(p(y_j|a_j))
=\sum_{i}\int q_i(a_i)\ln\left(\frac{q_i(a_i)}{P(y_i|a_i)}\right)+\frac{1}{2}\sum_{i,j,i\neq j}[K^{-1}]_{ij}\langle a_i\rangle_0\langle a_j\rangle_0+\frac{1}{2}\sum_{i}[K^{-1}]_{ii}\langle a_i^2\rangle_0.
Dengan menurunkan persamaan di atas terhadap q_k(a_k) dan samadengankan nol diperoleh
q_k(a_k)\propto P(y_k|a_k)e^{-\frac{1}{2\lambda_k}(a-m_k)^2}\frac{1}{\sqrt{2\pi\lambda_k}} dengan
m_k=-\lambda_k\sum_{j,j\neq k}[K^{-1}]_{kj}\langle a_j\rangle_0 dan \lambda_k=[K^{-1}]^{-1}_{kk}.

Leave a Reply

Your email address will not be published. Required fields are marked *

*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>