주뇽's 저장소

https://web.stanford.edu/class/cs224w목차1. Part1-  Transformer 소개-  메시지 패싱 GNN과의 관계2. Part2-  Transformer GNN을 위한 새로운 디자인    👉 1. Part2-  Transformer GNN을 위한 새로운 디자인기존 GNN과 다르게 Graph Transformer를 위한 디자인 공간은 어떻게 설계를 해야할까? Transformer로 그래프를 처리하는 방법을 이해하려면 Part1에서 본 Transformer의 주요 구성 요소를 이해한다.토큰화(Tokenizing): 입력 데이터의 각 부분을 벡터로 변환한다.자기 주목(Self-attention): 입력 시퀀스의 각 부분이 다른 부분에 얼마나 집중해야 하는지 결정한다.위..

2024.05.16 - [GNN/CS224] - 13. Graph Transformer Part2 CS224W: Machine Learning with Graphs 정리 13. Graph Transformer Part2 CS224W: Machine Learning with Graphs 정리https://web.stanford.edu/class/cs224w목차1. Part1-  Transformer 소개-  메시지 패싱 GNN과의 관계2. Part2-  Transformer GNN을 위한 새로운 디자인    👉 1. Part2-  Transformer GNN을 위한 새로운 디자인기존 GNN과jypark1111.tistory.com https://web.stanford.edu/class/cs224w목차..

https://web.stanford.edu/class/cs224w목차1. GNN 학습(4) Dataset split- 고정 분할(Fixed Split)- 랜덤 분할(Random Split)- Transductive 설정- Inductive 설정  그래프 신경망 모델을 학습하고 평가할 때, 데이터를 적절히 분할하는 것이 중요하다. 이는 모델의 일반화 성능을 정확히 측정하고, 과적합을 방지하기 위함이다.👉 1. GNN 학습(4) Dataset split - 고정 분할(Fixed Split) 고정 분할은 데이터셋을 한 번 분할하고, 이를 고정해서 사용하는 방식이다. 데이터셋은 학습 데이터(Training Set), 검증 데이터(Validation Set), 테스트 데이터(Test Set)로 나뉜다.학습 데..

https://web.stanford.edu/class/cs224w 목차 1. GNN 학습(3) Supervised vs UnSupervised - Supervised - UnSupervised 2. Training Piepeline - Loss Function - Classificaion Loss - Regression Loss - Evaluation metrics 👉 1. GNN 학습(3) Supervised vs UnSupervised - Supervised 지도학습은 그래프 외부에서 얻은 레이블 정보를 활용하는 방식이다. 예를 들어 인용 네트워크 그래프에서 각 노드(논문)가 어떤 주제 분야에 속하는지를 예측하는 문제에서는 외부에서 제공되는 논문의 주제 분야 정보가 레이블로 사용될 수 있다. 트랜잭..

https://web.stanford.edu/class/cs224w 목차 1. GNN 학습(2) Hierarchical - Hierarchical Pooling - Hierarchical Aggregate - Graph-Level Issue : Graph Level의 예측을 수행할 때 Gloabal pooling은 그래프 정보를 유실시킬 수 있다. ex): Node embeddings for G1 : {-1, -2, 0, 1, 2} Node embeddings for G2 : {-10, -20, 0, 10, 20} G1과 G2 그래프는 완전히 다른 노드 임베딩을 가지고 있고 구조적으로도 완전히 다르다. 만약 여기서 gloabl sum pooling을 사용하게 된다면 결과값은 다음과 같다. Predicti..

https://web.stanford.edu/class/cs224w 목차 1. GNN 학습(1) Prediction-head - Node-Level - Edge-Level - Graph-Level 👉 1. GNN 학습(1) Prediction-head GNN의 출력은 노드 임베딩의 집합 {𝐡v ∈ ℝd, ∀𝑣 ∈ 𝐺} 이다. 이 노드 임베딩들을 가지고 최종적인 prediction을 생성하기 위해서는 prediction head 모듈이 필요하며 Prediction head는 노드, 에지, 그래프 레벨의 예측 작업에 따라 다르게 설계된다. - Node-Level 방법: 가장 간단한 방법은 노드 임베딩에 대해 선형변환을 수행하는 것이다. 노드 분류 문제의 경우 선형변환 결과에 Softmax를 적용해 multi..

https://web.stanford.edu/class/cs224w 목차 1. 그래프 변형(Graph Manipulation) - 특징(Feature) 수준의 그래프 변형 (Graph Feature Manipulation) - 구조(Structure) 수준의 그래프 변형 (Graph Structure Manipulation) 👉 1. 그래프 변형(Graph Manipulation) GNN에서는 일반적으로 입력 그래프를 그대로 사용하여 노드 임베딩을 학습한다. 하지만 항상 원본 그래프가 노드 임베딩을 학습하는 데 최적인 것은 아니다. 따라서 상황에 따라 그래프를 변형하여 사용하면 더 나은 성능을 얻을 수 있다. 그래프 변형이 필요한 이유는 크게 두 가지 관점에서 살펴볼 수 있다. 1. 특징(Feature)..

https://web.stanford.edu/class/cs224w 목차 1. 다층 GNN Layer (Layer connectivity) 2. Over-Smoothing 문제 - 수용필드(Receptive field) 3. 얕은 GNN 레이어의 문제를 해결하는 방법 - MLP - Skip Connection 👉 1. 다층 GNN Layer (Layer connectivity) 단일 GNN 레이어를 다층 GNN 레이어로 만드는 가장 기본적인 방법은 GNN레이어를 순차적으로 쌓는것이다. Input : 초기 V노드의 특성 Xv Output : L번의 레이러를 통과한 임베딩 벡터 Hv^(L) GNN에서의 레이어의 개념은 정보를 수집하기 위해 얼마나 많은 홉을 이동해야 하는지에 대한 정보이다. 이 때 너무 많은..