목록Ai (28)
주뇽's 저장소
2023.08.08 - [DeepLearning/Paper Riview] - Attention Is All You Need Attention Is All You Need Attention Attention Is All You Need Transformer : Attention Is All You Need RNN (Recurrent Neural Network): RNN은 순차적인 데이터를 처리하는 데 사용되는 신경망 구조이다. RNN은 이전 시간 단계의 입력을 현재 시간 단계 jypark1111.tistory.com Transformer는 자연어 처리(Natural Language Processing) 분야에서 주로 사용되는 모델 구조이다. Attention 메커니즘을 사용하여 입력 시퀀스를 처리하고, 병..
LSTM은 RNN의 단점 중 하나인 장기 의존성 문제를 해결하기 위해 제안된 변형된 RNN 구조이다. LSTM은 시간적인 의존성을 잘 다룰 수 있도록 설계되었다. LSTM은 게이트를 이용하여 특정 시간 단계에서 중요한 정보를 기억하고, 필요에 따라 이를 장기적으로 전달하거나 삭제할 수 있다. 특징: 장기 의존성을 다루기 위한 메모리 셀, 입력 게이트, 삭제 게이트, 출력 게이트 등의 구조 장점: 장기 의존성 문제를 해결, 시계열 데이터 처리에 적합 단점: 많은 파라미터와 연산이 필요하여 학습과정이 복잡함, 계산량이 크고 처리 속도가 상대적으로 느릴 수 있음 LSTM을 이용하여 IMDB 영화 리뷰 감성 분석 import numpy as np import tensorflow as tf import matpl..
2023.07.01 - [NLP/Transformer] - RNN, LSTM, Transformer IMDB 결과 분석 RNN, LSTM, Transformer IMDB 결과 분석 RNN, LSTM, SelfAttention을 원하는 문제에 활용하여 문제 해결하고 결과에 대한 고찰 및 분석하기. 목표 예제를 통해 NLP(RNN, LSTM, SelfAttention) 모델에 대해서 이해하기 RNN RNN은 순차적인 데이터를 처리하 jypark1111.tistory.com RNN (Recurrent Neural Network): RNN은 순차적인 데이터를 처리하는 데 사용되는 신경망 구조이다. RNN은 이전 시간 단계의 입력을 현재 시간 단계의 입력과 함께 처리하여 순차적인 정보를 유지하고 활용할 수 있고 ..
1. VAE VS GAN VAE vs GAN VAEs(Variational Autoencoders) reale data에 데이터를 압축하여 핵심만을 학습하여 그 핵심으로 다시 real data를 예측 사람이 암기과목을 학습할 때와 비슷함 학습 부담이 적다 창의성은 없다 학습이 완료된 후 decoder부분만을 사용 GAN(generative Adversarial Networks) 생성 모델이 random noise로부터 data를 생성한 후 판별 모델이 real data와 생성 data를 비교 학습 부담이 크다(학습이 잘 안될 수 있음) real data뿐 아니라 창의적이 data가 나올 수 있음 학습이 완료된 후 generative 부분만을 사용 머신러닝 기초 데이터로부터 학습능력을 가진 알고리즘 E :..