Lecture 1 "Supervised Learning Setup" -Cornell CS4780 Machine Learning for Decision Making SP17

-

Lecture #1 - Supervised Learning Setup


by Cornell CS4780 , Machine Learning for Decision Making SP17

* 부족한 영어 실력으로 잘못된 해석이 있을 수 있습니다. 수정이 필요한 부분이 있다면 알려주시면 감사하겠습니다.

개요

  1. Machine Learning 이란?
  2. Machine Learning 의 역사
  3. Machine Learning 의 타입 및 사례
  4. Supervised Learning 구조

1. ML(Machine Learning) 이란?


CS(Computer Science) 와 ML(Machine Learning) 의 차이점을 통해서 이해를 해보도록 하겠습니다.

 

CS의 경우, Program을 Logic을 이용해서 사람이 만드는 구조하고 한다면,
ML의 경우, Input에 활용되는 Data에 의해 Program이 생성되는 구조입니다.
하여 Data이 양과 질에 의해서 Program의 품질도 개선이 될수 있습니다.

2. ML(Machine Learning)의 역사

  1. 1952년 Samuel's Checker player
    • MiniMax Algorithm ( Traditional AI )
  2. 1957년 Perceptron ( Frank Rosenblatt @ Cornell )
    • Multiple Layer Perceptron = Artificial Neural Networks = Deep Learning
  3. AI Winter
    • 1969년 Minskey & Papert "killed" AI
    • AI 버블 붕괴 -> AI Research 와 관련한 자금투자 붕괴
  4. Rebirth as ML 
    • ML : Bottom up / AI : Top Down
    • ML : More practical smaller goals
    • Based on Statistics and Optimization, not Logic
  5. 1994년 TD-Gammon
    • Gerry Tesauro ( IBM ) teach a neural network to play Backgammon.
    • 승패에 따른 점수를 부여하는 시도 = Reinforcement Learning
  6. 1997년 Deep Blue
    • IBM's Deep Blue wins against Kasparov in chess
  7. Next...
    • ML Model을 생성하는 사람은 소수이며, 많은 사람들이 이런 소수가 만든 Model 을 사용하는 구조가 될것이다

3. Machine Learning 의 타입 및 사례

  • Supervised Learning
    • Label 을 주고, UnLabel 된 것을 예측하는 방식
    • 사례 ) 스팸메일 분류
  • Unsupervised Learning
    • Data를 주고 유사한 것(패턴,구조,부분공간 등) 들을 찾아내는 방식
    • 사례 ) 기사 분류 ( 토픽별 유사 기사들을 분류 )
  • Reinforcement Learning
    • 피드백을 통해 배우는 방식
    • 사례 ) 로봇 개발 ( 걷고, 뛰고, ... ), 게임 AI

4. Supervised Learning 구조

  • Example of Y
    • Binary Classification : Y = {0,1}
    • Multi-class Classification : Y = {1, ..., k}
    • Regression : Y∈ℝ
  • D = { (x₁, y₁), (x₂, y₂), ... ( x៷,y៷) } ⊆ X*Y
  • X = ℝ🇩 ( N 차원(dimension) 의 실수 )
    • 위 말은 ( x₁₁, x₁₂, x₁₃, y₁) 형태의 구조를 가질수도 있다는 의미
    • Features
  • y៷ ∈ Y
    • Label
  • (x₁, y₁) ∼ P ( IID )
    • x 값들으로 인해 y가 될 확률을 의미
  • IID ( independent and identically distributed, 독립항등분포 )  : 서로 독립적이고 동일한 분포를 나타낸다는 의미
    • 예시1 ) 동전을 N번 던질때, 각각은 동전 앞면 혹은 뒷면으로 N번을 던질때 동일한 확률로 던져짐
    • 예시2) 상자안에 1~10까지의 숫자가 적힌 공이 있고, 그 중에서 1개의 공을 뽑았을 때, 특정 숫자가 나올 확률. 다시 뽑을 때는 뽑았던 공을 다시 상자에 넣고 다시 뽑는 행동을 반복할 때
  • Example > Patient Data
    • BoW(Bag of Words)
      • 문자형 데이터를 숫자형 데이터로 변환하기 위한 방법
      • 위 예시에서는 단어가 나타난 건수를 숫자로 치환함


댓글

댓글 쓰기

이 블로그의 인기 게시물

JTDS&Mabatis 에서 MSSQL NVARCHAR 처리

-
MSSQL을 사용할 때 인덱스가 걸려있는 VARCHAR 컬럼데이터를 조회시 NVARCHAR로 데이터를 넘길경우 인덱스가 걸리지 않아 성능에 문제가 발생하는 사례가 존재한다.  하여 보통은 jtds 드라이버 설정시  sendStringParametersAsUnicode=false  값을 주어 유니코드 처리하지 않게 함으로서 VARCHAR로 처리 되도록 하여 해결을 하고 있다.  근데 문제는  VARCHAR 와 NVARCHAR 가 섞여있을 경우에는 어떻게 해야 하는가?  사실 이문제는 아래와 같이 풀면 해결이 될거라고 생각했다.  1) 드라이버에서는 유니코드를 사용하지 않음 처리.      - sendStringParametersAsUnicode=false  2) mybatis mapper 에 jdbcType 을 부여     - #{column, jdbcType=NVARCHAR}  혹은 1)번을 부여하지 않고( default 는 sendStringParametersAsUnicode=true 이다. )  #{column, jdbcType=NVARCHAR} 와 #{column, jdbcType=VARCHAR} 를 명시해주면 되지 않을까?  라고 생각했었다.  하지만, 결론은 안된다는거...  그래서 jtds 드라이버 소스코드를 살펴 보았다.  역시...NVARCHAR 사용을 위한 setNString() 에서 아래와 같은 코드로 구현이 되어있었고,   [ JtdsCallableStatement.java ]   public void setNString(String parameterName, String value)           ...
자세한 내용 보기

"구글이 목표를 달성하는 방식 OKR" - 독서 후기

-
이미지
저자 : 크리스티나 워드케 옮김 : 박수성  팀장을 6여년 해오면서 매년 고민되는 것이 있다. "어떻게 하면 팀이 성과를 잘 내면서 개인(구성원)의 발전이 이루어 낼수 있을까?". 사실 2가지 다 이루어 진다면, 아마 너무나도 좋을것이다. 하지만 대부분의 경우, 그렇게 되기가 쉽지가 않다. 다만, 내가 겪은 1가지는 일반적으로 "성과가 나는 팀"에서는 "구성원들의 만족도가 높고, 성장도 동반될 가능성이 높다"는 것이다. 그래서 난 지인이 추천해주는 이 책을 읽어 보기로 했다.  OKR 은 구글에서 목표를 달성하기 위해서 진행하는 하나의 수단이라고 생각 된다. 구글과 관련한 업무 혁신 관련 도서들은 이 책 외에도 많다. "스프린트" 라는 책이나, "구글은 어떻게 일하는가?" 에서도 비슷하면서도 약간은 다른 이야기들을 해준다. 다만, 내가 읽었던 책들 중에서 이 책이 가장 심플하고, 명확하고, 직관적이였다는 것은 맞는거 같다.  OKR ( Object Key Results ) 에 대해서 책 내용을 하나의 표로 나타내면, 이렇다.  간단하게 표로 표현해서 모든 부분들이 해결이 된다는 것을 의미하지는 않는다. 목표 수립을 위한 과정들이 가장 중요하고, 그리고 그것을 달성하기 위해 주기적으로 상기시키고 집중하는게 이 OKR의 취지라고 생각이 든다.  팀을 운영하다보면, 방향성과 목표에 혼란이 오거나, 산적한 업무들(우선순위나 의사결정권자의 변심 등등)로 인해 본래 달성하고자 했던 부분들을 놓치게되는 경우가 종종 있다. 비단 외부적인 요인이 아니더라도 목표달성을 실패하는 경우는 많다. 목표를 지속적으로 확인하지 못해서 일 수도 있고, 목표를 정확하게 정의하지 못했거나, 목표를 정확하게 평가할 기준들이 모호할 때에도 이런 일은 일어난다.   이 책에서는 목표는 심플해야 하고, 평가 기준은 명확히 하며, 정해진 목표는 주기적으로 ...
자세한 내용 보기

Lecture 2 "Supervised Learning Setup Continued" -Cornell CS4780 SP17

-
이미지
Lecture 2 "Supervised Learning Setup Continued" by Cornell CS4780, Machine Learning for Decision Making SP17 * 부족한 영어 실력으로 잘못된 해석이 있을 수 있습니다. 수정이 필요한 부분이 있다면 알려주시면 감사하겠습니다. 개요 Supervised Learning Setup ( continue ) Train and Test H ( hypothesis class ) and Algorithm TA ( Terrible Algorithm ) Cases Loss Function Generalization 1. Supervised Learning Setup ( continue ) (x៷,y៷) ~ P 우리는 P(y|x)를 모르며, 그래서 ML을 통해 알고자 하는 것입니다. 동일 분포를 가지는 환경에서 수행이 되어야 한다고 강조하고 있습니다. (  IID  참고 ) 노키아 사례를 통해 "동일 분포" 구성이 얼마나 중요한지 알수 있습니다. 사진 촬영시 얼굴인식을 통한 부가기능을 제공함. 얼굴 인식시 사용한 데이터가 "백인"이 아니였음. 미국 유저들에게서 "얼굴인식"이 잘 되지 않는 문제 발생. Example : Facial Recognize in Image 각 pixel 은 RGB( Red / Green / Blue ) 의 데이터로 구성됨 1장의 Image는 화소에 따라, 6M 개의 pixel 을 가짐 1장의 Image를 x = { ... } 로 표현한다면, 6M * 3 (RGB) = 18M 의 실수형 데이터 조합으로 표현가능 Dense / Sparse Dense : 전체 공간에 데이터가 빽빽하게 차 있는 경우 ( 극히 일부 데이터가 0 ) Sparse : 전체 공간에 비해 데이터가 희소한 경우 ( 대부분의 데이터가 0 ) ...
자세한 내용 보기