LSTM
알고리즘
기존의 RNN이 출력과 먼 위치에 있는 정보를 기억할 수 없다(Long-Term Dependency)는 단점을 보완하여 장/단기 기억을 가능하게 설계한 신경망의 구조
neural network이 하나의 layer로 구성된 것과 다르게, 3개의 layer가 서로 정보를 주고 받으며 학습
ex) forget gate(과거 정보 유지), input gate(현재 정보 활용), output gate(계산 정보 출력)
장점
오래전 혹은 최근의 정보를 기억할 수 있음
RNN에서 역전파시 기울기 소실(gradient vanishing) 문제 해결
단점
학습해야 할 파라미터 수가 많으므로 연산속도가 느림
- Reference
https://ratsgo.github.io/natural%20language%20processing/2017/03/09/rnnlstm/
300x250
반응형