Week07 Representation Learning and Deep Learning

One-Hot Representation

- 표현하고 싶은 데이터의 위치에 1을 부여하고 나머지에는 0을 부여하는 방식

- 예전 AI에 주로 쓰였던 방식

 

예전에는 어떤 물체를 정의할 때 전문가들이 정의한 속성들에 의해 물체를 정의하였다.

앞으로는 전문가가 정의하는 것이 아니라 컴퓨터가 스스로 물체를 정의하는 속성들을 학습한다.

 

어떻게 DNN은 사물의 특징을 스스로 파악할 수 있을까?

 

Latent Variable

• Deep Neural Network의 핵심
• Essence of Modern Machine Learning
• Hidden Variable

x와 h를 아래와 같이 가정

 

x

• 실세계에 존재하는 관측 가능한 것

h

• 이 세상에 존재하지 않는 가상의 값
• 간접적으로 추측만 가능
• 무엇이든 될 수 있는 값

 

h가 가질수 있는 전체 의미 영역

 

이러한 영역이 있을 때 x와 관련된 h가 가질 수 있는 영역은 아래와 같이 줄어들 것이다.

x와 연관된 h의 영역

 

많은 수의 x와 관련된 h가 가질 수 있는 영역

 

여기서 변수 x뿐만 아니라 다른 변수 y도 h과 연관된 영역을 생각해볼수 있다.

x,y와 연관된 h의 영역

 

이 때 x, y 2개의 변수가 아닌 여러 개의 변수와 관련된 h의 영역을 생각해 본다면 훨씬 적은 영역을 생각해 볼 수 있을 것이다. 이처럼 Latent Variable(h)의 영역을 축소시킬 수 있는 방법은 많은 수의 데이터, 구조적 연관성이라고 할 수 있다.

 

Latent Variable의 의미영역 축소 방법

 

Example Latent Variable in DNN

하나의 물체(사과)가 9개의 데이터로 이루어져 있다고 가정.

이 때 9개의 데이터로 어떻게 사과라는 것을 알 수 있을까?

 

위에서 h의 영역을 줄이는 방법을 똑같이 적용하면

많은 수의 데이터와 구조적 연관성을 통해 y라는 어떠한 값(사과)을 뽑아낼 수 있을 것이다. Hidden variable layer를 쌓아서 만들면 multi Layer가 되어 더욱 정확한 y를 도출할 수 있다.

 

 

잘 설계된 구조와 수 많은 데이터를 통해 영역을 줄여나가는(학습하는) Latent Variable은 어떠한 물체의 특징을 설명 할 수 있게 된다.

 

Representation Learning

- 현상과 사물의 특징을 기계가 스스록 파악

 

Representation Learning이 주는 의미

- 예전에는 전문가들이 뽑아낸 특징이 중요했다.

- 요즘에는 컴퓨터가 특징을 뽑아내는 방법, 방식이 중요하다. 이 방법은 수 많은 데이터와 특정 구조로 이루어져 있기 때문에 카피가 불가능하다.