주뇽's 저장소

RNN, LSTM, SelfAttention을 원하는 문제에 활용하여 문제 해결하고 결과에 대한 고찰 및 분석하기. 목표 예제를 통해 NLP(RNN, LSTM, SelfAttention) 모델에 대해서 이해하기 RNN RNN은 순차적인 데이터를 처리하기에 적합한 모델로 각 단어를 순차적으로 입력으로 받고, 내부의 순환 구조를 통해 이전 단계의 정보를 현재 단계로 전달한다. 이전 단계의 정보가 현재 단계에 영향을 미치기 때문에 문맥을 파악하는 데 유용하지만 장기 의존성 문제가 있다. LSTM LSTM은 RNN의 변형 모델로, RNN의 단점인 장기 의존성 문제를 해결하기 위해 고안되었다. LSTM은 게이트 메커니즘을 도입하여, 어떤 정보를 기억하고 어떤 정보를 잊을지를 결정한다. 이를 통해 장기 의존성을 유..

2023.08.08 - [DeepLearning/Paper Riview] - Attention Is All You Need Attention Is All You Need Attention Attention Is All You Need Transformer : Attention Is All You Need RNN (Recurrent Neural Network): RNN은 순차적인 데이터를 처리하는 데 사용되는 신경망 구조이다. RNN은 이전 시간 단계의 입력을 현재 시간 단계 jypark1111.tistory.com Transformer는 자연어 처리(Natural Language Processing) 분야에서 주로 사용되는 모델 구조이다. Attention 메커니즘을 사용하여 입력 시퀀스를 처리하고, 병..