Week09 Recurrent Neural Network

여러개의 데이터를 요약하는 방법

- 여러개의 데이터에 각 가중치를 준 뒤 합한 모습이다.

 

- 여러 개의 데이터를 합하기 전 dememsion reduction을 한 모습이다.

 

N to 1 문제의 활용

• 언어모델
• 대화모델
• 감성분석
• 문서분류

 

Recurrent Neural Network

지금까지의 network는 입력에 대한 요약된 결과 도출이다. 그 와 다르게 RNN은 이전의 데이터 결과를 가지고 현재의 결과를 도출한다. 간단히 말해서 과거에 무엇을 했는지 기억하고 이후에 한 일을 결정하는 것과 같다.

 

RNN 종류

• Forward RNN
• Backward RNN
• Bidirectional RNN
• Stacking RNN

글로 설명하는 것보다 사진의 화살표를 보면서 이해하는 것이 더 편하다.

Forward, Backward RNN

Bidirectional RNN

Stacking RNN

 

INPUT / OUPUT

- N to N

- N to M ( Encoding RNN + Decoding RNN)

- N to 1

 

관련 패키지

from keras.models import Sequential

from keras.layers import Dense, SimpleRNN, Activation

from keras import optimizers

 

model = Sequential()

model.add(SimpleRnn( ))