Bishop PRML - Ch1. Introduction (0)

Introduction

소개 챕터라 특기할만한 내용은 없습니다.
정의에 대해서만 간단하게 항목화, 정리합니다.

• pattern recognition

  • 컴퓨터 알고리즘을 이용하여 데이터의 규칙성(regularities)을 자동적으로 찾아내고 이 규칙성을 이용하여 데이터를 카테고리로 분류(classifying)하는 등의 어떠한 작업을 하는 분야

• handcrafted rules / heuristics를 이용할 때의 단점

  • 지나치게 많은 규칙
  • 지나치게 많은 예외처리

• machine learning

  • training set을 활용,
  • adaptive한 함수 형태 model의 패러미터를 튜닝하여
  • input vector을 target vector에 대응

• generalization

  • model이 training set에 포함되어있지 않은 input에 대해서도 성공적으로 target에 대응
  • 보통, input vector 의 variability는 training data가 모든 가능한 input vector의 미소한 일부로밖에 이루어질 수 없을 정도로 크기 때문에, generalization은 pattern recognition에 있어 가장 중요한 목표
  • 주) data의 관점에서는 적절한 sampling 및 전처리, model의 관점에서는 model variance를 줄이는 각종 방법들이 generalization을 위한 방법들

• preprocessing / feature extraction

  • 보통 pattern recognition문제를 보다 쉽게 풀기 위하여 original input variables를 다른 공간으로 transform하는 preprocessing을 적용함
  • 이를 통하여 variability를 효과적으로 줄일 수 있음
  • 이를 feature extraction이라고도 함
  • 연산량을 줄이기 위해서 preprocessing이 적용되기도 하며, 이 때 feture의 정보를 보통 압축 축소하는데, 이를 dimensionality reduction이라고 함
  • 주) dimensionality reduction에 대하여 본문에서는 도입부라 그런지 연산량 문제를 해결하는 것을 주 목적으로 적고 있지만, curse of dimensionality를 해결하기 위한 것이 그보다 중요한 목적이라고 생각함 (Chapter 1-4에서 설명)

  • 주) 최근 딥러닝에서는, feature extraction이 모델 내부에 있음 (데이터를 통하여 feature extraction과정이 학습됨)

    • 분류 문제에 대하여 feature을 가장 잘 표현하는 최소 차원의 feature은 그 label이며, 이 label space까지 mapping되는 전 과정이 딥러닝에서는 model을 통한 dimensionality reduction으로 이루어짐
    • 따라서, 딥러닝을 통한 분류의 경우 분류의 결정과정을 제외한 전 과정이 feature extraction임

    • preprocessing과 feature extraction은 별개로 보는 것이 최근 동향에는 맞음

      • preprocessing : input data를 reduced set of features로 transform하는 과정 (model 외부, handcrafted)
      • feature extraction : input data를 reduced set of features로 transform하는 과정 (model 내부 / 외부 불문)

• supervised learning

  • training data가 input vector와 그에 대응하는 target vector로 이루어진 문제
  • classification / regression

• unsupervised learning

  • training data가 target vector 없이 input vector로만 주어지는 경우
  • clustring / density estimation / visualization
  • 주) 최근, deep generative model이 대표적 - 전통적인 머신러닝의 QDA / LDA 에서는 $P(X\vert Y = y)$ 에서 y에 label을 대응시킴 - deep generative model의 GAN에서는 $P(X\vert Y = y)$ 에서 y에 Real / Fake를 대응시킴 - 정확하게는 generative model만 놓고서는 unsupervised learning이라 할 수 없으나, deep generative model의 프레임워크가 unsupervised learning임 (Fake 데이터를 만들어내면서 학습하므로) - generative model은 unsupervised learning이다 라고 말하는 것은 틀린 표현

• reinforcement learning

  • expected return ($\mathbb{E}_\pi[G]$)를 최대화하는 optimal policy($\pi^*$)을 찾는 문제
  • credit assignment, exploration / exploitation tradeoff 등의 문제가 있음
  • 주) Sutton의 RL책 정리에서 상세하게 다룰 예정