Bishop PRML - Ch2. Probability Distributions (0)

density estimiation

• frequentist

  • MLE (maximum likelihood estimation)

    • likelihood $p(\mathcal{D}{\mid}\theta)$ 가 최대값이 되는 모수를 구함

• Bayesian

  • MAP (maximum a posterior)

    • likelihood * prior $p(\mathcal{D}{\mid}\theta)p(\theta)$ 가 최대값이 되는 모수를 구함

conjugate priors

• posterior 분포가 prior와 동일한 함수 형태가 될 수 있도록 만들어줌
• multinoial - Dirichlet
• Gaussian - Gaussian

nonparametric density estimation

• histograms
• nearest-neighbours
• kernels