Bishop PRML - Ch1. Introduction (C)

기억했으면 좋겠는 것

가장 중요한 것은 “잘못된 표현을 하지 않는 것” 이라고 생각합니다.
큰 틀을 알지 못하는 상태에서, 지엽적인 지식만으로 표현하다보니
그 표현이 잘못되거나 편향될 경우가 대단히 많습니다.
저도 지식이 부족하여, 잘못된 표현을 빈번히 하고 있는 것 같습니다.
원론적인 기본서를 다시 들여다보고자 한 것은 이를 개선하고자 하는 목적이 가장 큽니다.

제가 목격한 잘못된 표현들 중 상당수는
아래에 대한 개념이 정확히 잡혀있지 않은 것이 원인이었습니다.

loss function이 정확하게 어떤 의미가 있는지 알아야 한다고 생각합니다.
negative log likelihood, cross-entropy, SSE(MSE)
이 세가지가 사실은 모두 같은 것들이라는 것은 반드시 기억했으면 좋겠습니다.

우리가 푸는 문제가 어떻게 정의되는지 정확하게 알아야 한다고 생각합니다.
classification 문제와, regression은 사실 완전히 별개의 문제가 아니라, 관점에 따라서는 동일한 문제이며
다만, 어떤 분포를 타겟으로 하는지가 다른 것 뿐이라는 것을 기억했으면 좋겠습니다.

우리가 쓰는 표현이 정확하게 무엇인지 알아야 한다고 생각합니다.
generative model을 떠올릴 때, GAN/VAE의 기능을 떠올리기보다는, joint probability를 estimate하는 개념을 떠올렸으면 좋겠습니다.
generative model / discriminative model의 정확한 의미를 기억했으면 좋겠습니다.

더 중요한 개념이 무엇인지 알아야 한다고 생각합니다.
curse of dimensionality를 설명할 때, 연산량 증가의 문제를 먼저 설명하기보다는,
공간이 넓어짐에 따라 이를 표현하기 위한 정보량이 증가하는 문제에 대하여 먼저 설명했으면 좋겠습니다.

분석적 접근보다는 종합적 접근을 통하여
보다 원리에 가까이 갈 수 있고,
표현이 정확해질 수 있다고 생각합니다.