주뇽's 저장소

Attention Attention Is All You Need Transformer : Attention Is All You Need RNN (Recurrent Neural Network): RNN은 순차적인 데이터를 처리하는 데 사용되는 신경망 구조이다. RNN은 이전 시간 단계의 입력을 현재 시간 단계의 입력과 함께 처리하여 순차적인 정보를 유지하고 활용할 수 있고 텍스트, 음성 등 순차적인 시계열 데이터 처리에 유용하다 특징: 순차적인 데이터 처리, 이전 상태의 정보를 기억 장점: 순차적인 패턴을 학습할 수 있음, 시계열 데이터 처리에 적합 단점: 장기 의존성(Long-Term Dependency)을 잘 학습하지 못하는 문제, Gradient Vanishing/Exploding 등의 문제 발생 각..

RNN, LSTM, SelfAttention을 원하는 문제에 활용하여 문제 해결하고 결과에 대한 고찰 및 분석하기. 목표 예제를 통해 NLP(RNN, LSTM, SelfAttention) 모델에 대해서 이해하기 RNN RNN은 순차적인 데이터를 처리하기에 적합한 모델로 각 단어를 순차적으로 입력으로 받고, 내부의 순환 구조를 통해 이전 단계의 정보를 현재 단계로 전달한다. 이전 단계의 정보가 현재 단계에 영향을 미치기 때문에 문맥을 파악하는 데 유용하지만 장기 의존성 문제가 있다. LSTM LSTM은 RNN의 변형 모델로, RNN의 단점인 장기 의존성 문제를 해결하기 위해 고안되었다. LSTM은 게이트 메커니즘을 도입하여, 어떤 정보를 기억하고 어떤 정보를 잊을지를 결정한다. 이를 통해 장기 의존성을 유..

2023.08.08 - [DeepLearning/Paper Riview] - Attention Is All You Need Attention Is All You Need Attention Attention Is All You Need Transformer : Attention Is All You Need RNN (Recurrent Neural Network): RNN은 순차적인 데이터를 처리하는 데 사용되는 신경망 구조이다. RNN은 이전 시간 단계의 입력을 현재 시간 단계 jypark1111.tistory.com Transformer는 자연어 처리(Natural Language Processing) 분야에서 주로 사용되는 모델 구조이다. Attention 메커니즘을 사용하여 입력 시퀀스를 처리하고, 병..

LSTM은 RNN의 단점 중 하나인 장기 의존성 문제를 해결하기 위해 제안된 변형된 RNN 구조이다. LSTM은 시간적인 의존성을 잘 다룰 수 있도록 설계되었다. LSTM은 게이트를 이용하여 특정 시간 단계에서 중요한 정보를 기억하고, 필요에 따라 이를 장기적으로 전달하거나 삭제할 수 있다. 특징: 장기 의존성을 다루기 위한 메모리 셀, 입력 게이트, 삭제 게이트, 출력 게이트 등의 구조 장점: 장기 의존성 문제를 해결, 시계열 데이터 처리에 적합 단점: 많은 파라미터와 연산이 필요하여 학습과정이 복잡함, 계산량이 크고 처리 속도가 상대적으로 느릴 수 있음 LSTM을 이용하여 IMDB 영화 리뷰 감성 분석 import numpy as np import tensorflow as tf import matpl..

2023.07.01 - [NLP/Transformer] - RNN, LSTM, Transformer IMDB 결과 분석 RNN, LSTM, Transformer IMDB 결과 분석 RNN, LSTM, SelfAttention을 원하는 문제에 활용하여 문제 해결하고 결과에 대한 고찰 및 분석하기. 목표 예제를 통해 NLP(RNN, LSTM, SelfAttention) 모델에 대해서 이해하기 RNN RNN은 순차적인 데이터를 처리하 jypark1111.tistory.com RNN (Recurrent Neural Network): RNN은 순차적인 데이터를 처리하는 데 사용되는 신경망 구조이다. RNN은 이전 시간 단계의 입력을 현재 시간 단계의 입력과 함께 처리하여 순차적인 정보를 유지하고 활용할 수 있고 ..