주뇽's 저장소

Attention Attention Is All You Need Transformer : Attention Is All You Need RNN (Recurrent Neural Network): RNN은 순차적인 데이터를 처리하는 데 사용되는 신경망 구조이다. RNN은 이전 시간 단계의 입력을 현재 시간 단계의 입력과 함께 처리하여 순차적인 정보를 유지하고 활용할 수 있고 텍스트, 음성 등 순차적인 시계열 데이터 처리에 유용하다 특징: 순차적인 데이터 처리, 이전 상태의 정보를 기억 장점: 순차적인 패턴을 학습할 수 있음, 시계열 데이터 처리에 적합 단점: 장기 의존성(Long-Term Dependency)을 잘 학습하지 못하는 문제, Gradient Vanishing/Exploding 등의 문제 발생 각..