주뇽's 저장소

RNN, LSTM, SelfAttention을 원하는 문제에 활용하여 문제 해결하고 결과에 대한 고찰 및 분석하기. 목표 예제를 통해 NLP(RNN, LSTM, SelfAttention) 모델에 대해서 이해하기 RNN RNN은 순차적인 데이터를 처리하기에 적합한 모델로 각 단어를 순차적으로 입력으로 받고, 내부의 순환 구조를 통해 이전 단계의 정보를 현재 단계로 전달한다. 이전 단계의 정보가 현재 단계에 영향을 미치기 때문에 문맥을 파악하는 데 유용하지만 장기 의존성 문제가 있다. LSTM LSTM은 RNN의 변형 모델로, RNN의 단점인 장기 의존성 문제를 해결하기 위해 고안되었다. LSTM은 게이트 메커니즘을 도입하여, 어떤 정보를 기억하고 어떤 정보를 잊을지를 결정한다. 이를 통해 장기 의존성을 유..

2023.07.01 - [NLP/Transformer] - RNN, LSTM, Transformer IMDB 결과 분석 RNN, LSTM, Transformer IMDB 결과 분석 RNN, LSTM, SelfAttention을 원하는 문제에 활용하여 문제 해결하고 결과에 대한 고찰 및 분석하기. 목표 예제를 통해 NLP(RNN, LSTM, SelfAttention) 모델에 대해서 이해하기 RNN RNN은 순차적인 데이터를 처리하 jypark1111.tistory.com RNN (Recurrent Neural Network): RNN은 순차적인 데이터를 처리하는 데 사용되는 신경망 구조이다. RNN은 이전 시간 단계의 입력을 현재 시간 단계의 입력과 함께 처리하여 순차적인 정보를 유지하고 활용할 수 있고 ..