주뇽's 저장소

Graph Neural Networks in IoT: A Survey 논문 정리 본문

DeepLearning/Paper Riview

Graph Neural Networks in IoT: A Survey 논문 정리

뎁쭌 2023. 9. 26. 19:13
728x90
반응형

GitHub - GuiminDong/GNN4IoT

Graph Neural Networks in IoT: A Survey

1. Introduction

IoT 시스템이 널리 보급되어 일상 생활과 업무 환경에 통합되었다. 스마트워치, 가상 안경과 같은 웨어러블 디바이스는 주변 환경과 건강에 대한 데이터를 수집하여 안전과 웰빙을 향상시킨다. 이러한 시스템은 헬스케어 분야의 생체 신호 모니터링, 이상 활동을 감지하는 감시, 교통 모니터링 분야의 실시간 내비게이션 서비스, 스마트 농업 분야의 농작물 생산성 향상 등 다양한 용도로 활용되어 궁극적으로 삶의 질을 향상시킨다.

IoT 센싱의 힘은 다양한 시스템의 센서에서 수집된 데이터를 활용하는 데 있다. 동종의 디바이스로 구성된 초기 IoT 시스템에서는 머신러닝 알고리즘과 같은 전통적인 데이터 분석 접근 방식이 효과적이었다. 그러나 IoT 시스템이 더욱 복잡해지고 이질화됨에 따라 기능 엔지니어링, 디바이스 활동 간의 상호 관계 인코딩, 서로 다른 센서의 데이터 융합과 같은 과제가 발생하고 있다. 이러한 문제를 해결하기 위해 컨볼루션 신경망(CNN) 및 순환 신경망(RNN)과 같은 딥러닝 방법이 IoT 센싱 데이터 처리에 점점 더 많이 채택되고 있다.

딥 러닝 방법은 IoT 센싱의 채택이 증가함에 따라 그 중요성이 점점 더 커지고 있다. 컴퓨터 비전 기반 IoT 시스템에서는 이미지를 분석하고 심층적인 개념을 추상화하는 데 컨볼루션 신경망(CNN)이 널리 사용되어 왔다. 다양한 형태의 CNN은 IoT 기반 스마트 건강 모니터링 시스템과 스마트 그리드의 전기 부하 예측에도 적용되었다. 또한, 전기 도난 감지, 공기 품질 모델링, 뇌파 데이터를 사용한 감정 인식 등 순차적 데이터의 시간적 관계를 파악하기 위해 CNN을 장단기 메모리(LSTM) 네트워크와 결합하기도 했다.

IoT 센싱의 맥락에서 그래프 신경망(GNN)과 그 변형은 최근 딥 러닝 방법의 발전으로 부상했다. GNN은 가변 노드 크기와 가변 이웃 연결을 통해 보다 복잡한 그래프 구조를 허용함으로써 기존의 컨볼루션 및 순환 신경망에 비해 이점을 제공한다. GNN은 팀 협업, 교통 모니터링, 원격 장면 분류, 개인 건강 등 다양한 IoT 센싱 애플리케이션에 성공적으로 적용되어 IoT 데이터의 복잡한 관계와 상호 의존성을 효과적으로 모델링할 수 있는 잠재력을 입증했다.

이 논문에서 저자들은 IoT 센싱 애플리케이션의 그래프 신경망(GNN)에 대한 기존 연구를 요약하여 지식의 격차를 해소하는 것을 목표로 한다. 저자들은 IoT 센싱을 인간 센싱, 자율 사물, 환경 센싱으로 분류하는 프레임워크를 만들고, IoT 센싱에서 GNN 모델링에 대한 분류법과 함께 GNN에 대한 소개를 제공한다. 데이터를 그래프로 표현하는 방식에 따라 GNN 방법을 더 분류하고, 저자들은 중요한 연구를 검토하고 접근 가능한 데이터 리소스 목록과 GNN 기술을 활용하는 다양한 IoT 애플리케이션 영역에 대한 요약을 제공한다. 또한 이 분야의 과제에 대해 논의하고 향후 연구 방향을 제시한다.

1

나머지 섹션은 다음과 같이 구성되어 있다:

  • 섹션 2에서는 그래프 신경망(GNN)에 대한 이전 조사와 비교하여 이번 조사의 고유성을 설명합니다.
  • 섹션 3에서는 IoT 센싱 패러다임과 그 상호 관계를 소개합니다. 또한 그래프 신경망에 대한 기본적인 이해를 제공합니다.
  • 섹션 4에서는 IoT 센싱에서 GNN을 분류하기 위한 새로운 분류법을 제시합니다.
  • 섹션 5에서는 IoT 센싱의 기존 공개 데이터 소스와 애플리케이션을 요약합니다.
  • 섹션 6에서는 IoT 센싱에 GNN 모델을 채택할 때 발생하는 문제점을 논의하고 향후 연구 방향을 제시합니다.
  • 섹션 7에서 글을 마무리합니다.

2. Previous Works

그래프 신경망(GNN)의 이론과 방법론, 다양한 영역에서의 적용 사례를 살펴보는 연구 논문은 많지만, 특히 IoT 센싱 솔루션에서의 GNN 모델 적용에 초점을 맞춘 체계적인 요약본은 부족하다. 본 설문조사는 관련 대표 연구를 제시하고, IoT 맥락에서 GNN에 초점을 맞춘 기존 설문조사와의 차별점을 강조함으로써 이러한 격차를 해소하는 것을 목표로 한다.

2020년 이후, 그래프 신경망(GNN)의 다양한 범주와 이론, 그리고 그 응용에 대해 검토한 여러 설문조사가 진행되었다. 이러한 설문조사에서는 모델 아키텍처, 훈련 전략, 학습 설정에 따라 GNN을 분류하는 분류법과 패러다임을 제안한다. 또한 GNN의 설명 가능성, 역동성, 표현력과 같은 기술적 측면에 대해서도 논의한다.

그래프 신경망(GNN)은 교통 예측, 소셜 추천, 행동 인식, 자연어 처리(NLP) 등 다양한 실제 문제에서 폭넓게 활용되고 있다. 그러나 현재 사물 인터넷(IoT)에서 GNN의 응용에 초점을 맞춘 조사 연구는 아직 없다. 일부 구체적인 연구에서는 GNN 기반 추천 모델, 지식 그래프에서 구조 정보 캡처, 이미지 분류 작업에 적용된 GNN, 비유클리드 신체 골격을 표현하기 위한 인간 행동 인식에 GNN을 사용하는 방법 등을 탐구했다.

이 연구에서 저자는 그래프 신경망(GNN)과 사물 인터넷(IoT) 감지 기술 사이의 간극을 메우는 것을 목표로 한다. 네트워크화된 IoT 환경에서 문제를 모델링하고 해결하는 데 GNN을 효과적으로 사용할 수 있는 방법을 탐구하여 이 두 영역 간의 통합에 대한 포괄적인 이해를 제공한다.

3. IoT Sensing and Graph Neural Networks(IoT 센싱 및 그래프 신경망)

3.1 IoT Sensing Objects and Paradigms

IoT 센싱 객체 및 패러다임

고급 IoT 감지 기술은 자율 개체, 사람, 환경을 비롯한 실제 사물과 그 상호 작용에 대한 상세하고 지속적인 정보를 수집하는 데 중요한 역할을 한다. IoT 솔루션은 센서 유형, 데이터 수집 방법, 분석 접근 방식에 따라 크게 달라질 수 있으므로 이 글에서는 자율 사물, 인간 중심 시스템, 환경 임베디드 시스템 등 다양한 IoT 센싱 대상에 대한 일반적인 IoT 센싱 패러다임과 기술을 검토하고 요약하는 것이 중요하다는 점을 강조한다.

3.1.1 Autonomous Things

자율 사물

IoT(사물 인터넷)의 맥락에서 자동차, 플랜트, 로봇, 산업용 기계와 같은 자율 사물에는 내부(예: 기계 진동) 및 외부(예: 로봇 간의 근접성) 정보를 수집하는 IoT 센서가 장착되어 있다. 이 데이터는 이러한 사물의 현재 작동 상태를 더 잘 이해하고 설명하는 데 사용된다.

로봇 공학 및 산업 분야에서 IoT(사물 인터넷)는 네트워크에 연결된 IoT 센서를 사용하여 개별 로봇의 내부 작동은 물론 로봇 그룹과 환경 간의 상호 작용을 모니터링하고 평가하는 것을 포함한다. 자율주행을 위해 카메라, 라이다, 레이더 센서와 같은 여러 센서를 자동차 한 대에 내장하여 주변 환경을 인식할 수 있다. 차량 인터넷의 새로운 연구 방향은 연결된 자율 주행 차량 간의 세부적인 상호 작용을 집계하고 통신하여 전반적인 교통 효율성을 개선하는 것을 목표로 한다. 또한 IoT 센싱은 산업 생산 공정에서 로봇 간의 효과적인 협업과 협업을 가능하게 하는 데 중요한 역할을 한다.

3.1.2 Human

인간 중심 센싱이라고도 하는 휴먼 센싱은 카메라, 음향 센서, WiFi, 스마트폰, 웨어러블과 같은 IoT 센싱 디바이스를 사용하여 개인의 생리, 행동, 이동성 정보를 수집하는 것을 말한다. 이러한 유형의 센싱에는 모바일 센싱, 주변 환경 센싱, 소셜 센싱 등 다양한 패러다임이 포함되며, 건강 및 사회 복지와 관련된 인사이트를 제공하는 것을 목표로 한다. 이러한 IoT 기반 접근 방식을 통해 환경 내에서 인간의 활동과 상호 작용을 눈에 거슬리지 않게 모니터링하고 분석할 수 있다.

의료 분야에서 연구자들은 카메라, 깊이, 열, 무선, 음향 센서와 같은 다양한 IoT 감지 방식을 활용하여 임상 및 일상 환경을 위한 IoT 시스템을 개발해 왔다. 예를 들어, 중환자실(ICU)에서는 카메라 및 다중 센서 기반 방식을 사용하여 환자의 생리적 지표와 활동을 지속적으로 모니터링함으로써 복잡한 의료 센서의 필요성을 줄였다. 또한 채널 상태 정보(CSI)를 분석하여 호흡 및 수면 감지와 같은 가정 내 의료 목적으로 WiFi 디바이스가 적용되었으며, 모바일 센싱 패러다임은 모바일 디바이스에서 수동적으로 데이터를 수집하여 사회적 불안, 전염병 위험, 질병 진행과 같은 측면을 이해하고 평가할 수 있도록 한다.

IoT의 맥락에서 소셜 환경은 사람들이 그룹으로 상호 작용하고 소통하는 환경을 의미한다. 위치 기반 서비스 및 소셜 네트워크와 같은 IoT 체계는 사회 내에서 사람들의 활동, 역동성 및 상호 작용에 대한 실시간 및 확장 가능한 정보를 수집할 수 있는 유용한 도구를 제공한다. 예를 들어, 이러한 기술은 개인화된 소셜 추천, 위치 제안, 타겟 광고를 가능하게 하며, 대규모 데이터 세트를 사용하여 사용자 이동성과 사회적 관계가 서로에 미치는 영향을 탐구하는 연구도 진행 중이다.

3.1.3 Environment

도시 센싱은 도시 환경에서 IoT 센서를 사용하여 교통 모니터링 및 의료 시스템과 같은 스마트 시티 애플리케이션을 구현하는 것을 말한다. 모바일 및 카메라와 같은 IoT 에지 디바이스는 교통 흐름, 병원 수요, 인기 있는 위치 등 도시 환경의 다양한 매개변수를 캡처하는 실시간 시공간 데이터 스트림을 제공한다. 또한 모바일 크라우드센싱을 사용하면 센서가 강화된 모바일 디바이스가 자발적으로 감지 네트워크에 참여하여 추가 센서 없이도 도시 정보를 공유할 수 있으므로 배포 및 유지 관리 비용을 절감할 수 있다.

온도, 공기질, 토양 수분과 같은 환경 요인에 대한 센싱은 IoT 기술의 사용으로 많은 이점을 얻었다. 여기에는 스마트 농업과 같은 분야에서 환경 모니터링을 위해 레이더, 라이더, LoRa와 같은 새로운 IoT 센서를 채택하는 것이 포함된다. 또한 네트워크에 연결된 IoT 센서와 관련 컴퓨팅 기술은 더 빠른 통신과 심층적인 모니터링을 가능하게 하여 지속가능성 및 기후 변화와 같은 환경 문제를 종합적으로 모니터링하고 이해하는 데 크게 기여하고 있다.

3.1.4 Discussion

이 논문에서는 인간, 사물, 환경을 개별적으로 검토하지만 IoT 센싱 작업에서는 종종 겹치는 경우가 많다고 설명한다. 예를 들어, 인간과 환경, 인간과 로봇의 상호 작용은 자연스럽게 존재하며, 건강 및 소셜 센싱 패러다임은 공통의 참여자와 기술을 공유할 수 있다. 그러나 건강 센싱은 개인의 의료 서비스 및 인구 건강 결과를 개선하는 데 중점을 두는 반면, 소셜 센싱은 사회적 동향, 역학 및 관심사를 설명하고 이해하는 것을 목표로 한다.

3.2 Preliminary of Graph Neural Networks

그래프 신경망 준비 단계

그래프는 노드와 에지로 구성된 데이터 구조로, 소셜 네트워크나 단백질 상호 작용과 같은 다양한 연결 시스템을 나타낸다. CNN이나 RNN과 같은 기존의 심층 신경망(DNN)은 규칙적인 컨볼루션 연산을 수행하거나 장기적인 종속성을 학습할 수 없기 때문에 그래프 구조의 데이터를 처리하는 데 어려움을 겪는다. 하지만 그래프 신경망(GNN)은 그래프 기반 정보를 숫자 공간에 매핑하여 처리할 수 있으므로 효과적인 분석과 모델링이 가능하다.

2

그림 2에 표시된 네 가지 유형의 그래프 신경망(GNN) 모델이 있다. 또한 GNN에 대한 자세한 정보와 종합적인 검토를 위해서는 참고 문헌 [285, 322, 329]을 참조할 것을 제안한다.

3.2.2 IoT 센싱을 위한 그래프 신호 처리

데이터가 고차원의 비유클리드 공간에 존재하는 IoT 센싱의 경우, 신호 처리 문제를 그래프상의 문제로 취급하여 해결할 수 있다. 그래프 신호 처리에는 푸리에 변환, 필터, 컨볼루션과 같은 고전적인 신호 처리 기법을 그래프 구조의 데이터에 적용하는 것이 포함된다. 그래프의 스펙트럼 영역을 활용하면 공간 영역의 컨볼루션을 스펙트럼 영역의 곱셈으로 단순화할 수 있어 평활도와 같은 그래프 특징을 관찰할 수 있다.

그래프의 라플라스 행렬은 노드 간 그래프 신호의 변화를 측정하고 그래프의 평활성을 나타낸다. 라플라스 행렬에 대해 고유분해를 수행하면 주파수 성분에 해당하는 고유벡터와 고유값을 구할 수 있다. 이를 통해 그래프 푸리에 변환과 역변환을 수행하여 그래프 필터와 학습 가능한 파라미터를 기반으로 그래프 신호 필터링과 컨볼루션을 구현할 수 있다.

  • 𝐿 = 𝐼𝑛 − 𝐷−1/2𝐴𝐷−1/2

체비셰프 다항식은 일반적으로 고차분해의 계산 복잡성을 피하기 위해 다항식 그래프 필터를 근사화하는 데 사용된다.

3.2.3 그래프 신경망 그래프에서 컨볼루션을 수행하는 기능이 있는 그래프 신경망

그래프 신경망(GNN)은 그래프에서 노드 간의 복잡한 연결을 포착하고 그래프의 의미 있는 표현을 생성할 수 있는 강력한 모델이다. GNN은 인접 노드에서 정보를 반복적으로 수집하고 신경 정보 전파를 사용하여 원래 노드 표현에 통합함으로써 이를 달성한다. GNN은 정보를 집계하고 노드를 업데이트하는 방법에 따라 GRN(그래프 순환 신경망), GCN(그래프 컨볼루션 신경망), ST-GNN(시공간 그래프 신경망)으로 분류할 수 있다.

GRN (Graph Recurrent Network):

그래프 순환 신경망(GRN)은 순환 신경 프레임워크를 사용하여 그래프의 노드 표현을 학습하는 그래프 신경망(GNN)의 한 유형이다. 게이트 GNN(GGNN)과 같은 GRN은 게이트 순환 유닛(GRU)과 같은 공유 매개변수화 함수를 사용하여 노드의 이전 숨겨진 상태와 인접한 노드의 숨겨진 상태를 고려하여 노드 표현을 업데이트한다. 이를 통해 GRN은 노드 간의 복잡한 관계를 파악하고 그래프 기반 작업을 위한 의미 있는 표현을 생성할 수 있다.

GCN (Graph Convolutional Network):
그래프 합성곱 신경망(GCN)은 이웃 정보를 집계하여 노드 표현을 업데이트하는 신경망의 한 유형이다. 여러 개의 그래프 컨볼루션 레이어를 쌓아 높은 수준의 노드 임베딩을 생성한다. GCN은 스펙트럼 기반과 공간 기반 접근 방식으로 분류할 수 있다. 스펙트럼 기반 GCN은 학습 가능한 필터를 사용하여 입력 그래프 신호를 기반으로 그래프 컨볼루션을 수행하는 반면, 공간 기반 GCN은 노드 간의 공간적 관계를 고려하여 그래프 컨볼루션을 정의한다. 스펙트럼 기반 및 공간 기반 GCN의 예로는 각각 ChebNet과 NN4G가 있다.

ST-GCN (Spatio-Temporal Graph Convolutional Network):
시공간 그래프 신경망(ST-GNN)은 교통 네트워크나 소셜 네트워크와 같은 동적 그래프의 공간적, 시간적 변화를 모델링하기 위해 설계된 신경망의 한 유형이다. 이러한 네트워크는 그래프 컨볼루션 네트워크(GCN)와 순환 신경망(RNN)을 통합하여 GCN을 사용하여 그래프 입력에서 위상학적 특징을 추출하고 RNN을 사용하여 그래프 간의 시간적 종속성을 포착한다. ST-GNN의 예로는 시간적 게이트 컨볼루션 레이어와 공간적 그래프 컨볼루션 레이어를 결합하여 공간 및 시간 영역의 특징을 통합하는 시공간 그래프 컨볼루션 네트워크(STGCN)가 있으며, 이는 Yu 등[305]의 트래픽 예측에서 입증된 바와 같이 공간 및 시간 영역 모두의 특징을 통합한다.

GAE (Graph Autoencoder):
그래프 자동 인코더(GAE)는 IoT 맥락에서 그래프 표현 학습에 사용되는 일종의 머신 러닝 모델이다. 이 모델은 노드 특징과 링크 구조를 포함한 복잡한 그래프 정보를 저차원 임베딩 공간에서 캡처하는 것을 목표로 한다. GAE는 정보를 잠재 공간으로 압축하는 인코더와 이 잠재 공간에서 원래의 특징 또는 구조 정보를 재구성하는 디코더로 구성된다. 노드 간의 링크를 예측하고 시맨틱 컨텍스트 조건 및 주변 정보와 같은 추가 정보를 통합하여 성능을 향상시키는 데 사용되었다.

3

4 Categorization of Graph Neural Networks in IoT Sensing

IoT 센싱에서 그래프 신경망의 분류

이 섹션에서 저자들은 그래프 신경망(GNN) 기반 IoT 감지 모델을 다중 에이전트 상호 작용의 그래프 모델링, 인간 행동 역학, IoT 센서 상호 연결의 세 가지 범주로 분류한다. 이러한 분류는 자율 사물, 인간, 환경과 같은 다양한 감지 패러다임을 표현하는 데 GNN이 어떻게 사용되는지를 기반으로 한다. 저자는 IoT 센싱의 상호작용 관계를 이해하는 것이 특정 학습 작업을 위한 효과적이고 효율적인 GNN 아키텍처를 설계하는 데 매우 중요하다고 주장한다.

4

4.1 Multi-agent Interaction

다중 에이전트 환경은 지능형 엔티티가 상호 작용하여 최적화된 목표를 달성하는 실제 시나리오에서 흔히 볼 수 있다. 자율 주행 차량과 같은 자아 에이전트는 주변 에이전트를 인식하고, 에이전트의 상태에 대한 정보를 수집하고, 자신의 이익을 위해 의사 결정을 내릴 수 있다. 반면 스웜 로보틱스와 같은 다중 에이전트 시스템은 다른 에이전트와 통신하고 협업하여 복잡한 문제를 해결할 수 있다. 지능형 에이전트는 온보드 센서를 활용하여 주변 환경의 사물, 사람, 다른 에이전트를 감지하고 인식하여 의사 결정 과정에 영향을 줄 수 있다. 사물, 사람, 에이전트 간의 관계와 상호 작용을 모델링하는 것은 자율 주행, 다중 에이전트 시스템, 다중 객체 추적, 인간과 로봇의 상호 작용 등 다양한 연구 분야에서 다중 에이전트 추론을 구현하는 데 매우 중요한 요소이다.

자율 주행과 같은 다양한 영역에서 다중 에이전트 상호 작용(MAI)을 모델링하기 위한 광범위한 연구가 수행되었다. 자율주행에서 궤적 예측을 위한 기존의 방법은 수작업으로 만든 교통 규칙과 매개변수화된 운동학 모델에 의존하기 때문에 장기 예측에는 한계가 있다. 딥 러닝 기술이 발전함에 따라 Social-LSTM 및 Social-GAN과 같은 최신 방법에서는 순환 신경망(RNN)을 활용하여 높은 수준의 특징을 포착하고 다중 에이전트 상호 작용을 인코딩하여 보다 정확한 궤적 예측을 수행한다. 하지만 이러한 RNN 기반 모델은 사람과 에이전트 간의 동적인 상호 작용 관계와 에이전트 간 공간 토폴로지 변화를 포착하는 데 한계가 있다.

그래프 신경망(GNN)은 센서가 많은 환경에서 다중 에이전트 상호 작용을 모델링할 때 발생하는 한계를 해결할 수 있는 유망한 솔루션이다. 지능형 엔티티를 노드로 표현하고 에지를 사용하여 인접한 엔티티를 연결함으로써 GNN은 에이전트 간의 동적이고 복잡한 상호 작용을 인코딩할 수 있다. 세부적인 에이전트 상태는 주변 정보를 집계하여 높은 수준의 표현을 생성하는 GNN에 제공된다. 다양한 연구를 통해 다중 에이전트 상호 작용과 관련된 연구 영역에서 GNN의 우수한 성능이 입증되었다.

4.1.1 Perception of Environment

환경에 대한 인식

자동 탐색, 경로 계획 및 제어가 가능한 지능형 시스템을 개발할 때 지능형 에이전트의 주변 환경에는 장애물, 다른 에이전트, 사람 등 다양한 개체가 포함된다. 이러한 시스템에서 환경에 대한 인식은 매우 중요하며, 센서는 환경의 데이터 표현을 캡처하여 지능형 에이전트가 지식을 습득하고 센서 데이터를 기반으로 자율적인 의사 결정을 내릴 수 있도록 하는 데 핵심적인 역할을 한다. 이 센서 데이터는 인식된 환경을 나타내며 지능형 에이전트가 독립적으로 작동하기 위한 입력 역할을 한다.

센서는 작동 원리에 따라 크게 두 가지 유형으로 분류할 수 있다. GPS, 자이로스코프, 가속도계와 같은 고유 수용성 센서는 속도 및 가속도와 같은 지능형 에이전트/시스템의 내부 측정값을 수집한다. 카메라, 레이더, LiDAR와 같은 외부 감지 센서는 지능형 에이전트의 행동에 영향을 미치는 외부 정보를 감지하고 측정하여 물체, 사람, 기타 에이전트는 물론 위치, 속도와 같은 상태를 인식할 수 있게 해준다. 또한 센서는 수동형(주변 에너지 모니터링) 또는 능동형(반사된 에너지 전송 및 측정)으로 더 세분화할 수 있다.

IoT의 맥락에서 환경을 인식하고 물체를 감지하기 위해 LiDAR, 카메라, 레이더와 같은 다양한 센서를 사용하는 방법이 있다. 카메라는 고해상도 이미지와 상황별 정보를 제공하며, LiDAR는 3D 포인트 클라우드를 통해 정밀한 위치 파악과 매핑을 제공한다. 반면에 레이더는 물체를 감지하고 거리와 속도를 측정한다. 센서 융합 기술은 여러 센서의 장점을 결합하고 감지 성능을 개선하기 위해 종종 사용된다.

5

4.1.2 Graph Modeling of Multi-agent Interaction

멀티 에이전트 상호작용의 그래프 모델링

그래프 모델링은 자율 주행 및 다중 에이전트 시스템과 같은 다양한 시나리오에서 여러 에이전트 간의 상호 작용을 캡처하는 데 중요한 기술이다. 특정 시나리오에 따라 그래프의 노드는 사람이나 차량과 같은 엔티티를 나타낼 수 있고, 에지는 에이전트 간의 동적 거리를 인코딩할 수 있다. 그래프 모델링의 목표는 자율주행에서는 사회적 인식을, 멀티 에이전트 시스템에서는 커뮤니케이션 및 협업 관계를 파악하여 공동의 목표를 쉽게 달성할 수 있도록 하는 것이다.

Node representation

멀티 에이전트 환경에서 노드는 사람, 움직이는 에이전트, 장애물 등 다양한 엔티티를 나타낸다. 에이전트는 인식 시스템을 통해 주변 환경의 오브젝트를 자동으로 감지하고 추적할 수 있다. 객체 감지 및 분류에는 YOLOv3 및 PointNet과 같은 딥러닝 모델이 사용되며, 궤적 생성에는 SORT와 같은 기술이 적용된다. 에이전트의 상태를 설명하는 노드 속성은 추적된 궤적 또는 수동으로 설계된 피처에서 추출할 수 있다. 모션 및 위치 정보를 인코딩하는 데는 일반적으로 MLP 및 LSTM과 같은 신경망이 사용되며, 공간적 및 시간적 변화를 노드 속성으로 캡처하는 높은 수준의 임베딩을 생성한다.

  • 예시

    예를 들어, 우리가 도시의 교통 시스템을 모델링하고자 한다고 가정해봅시다. 이 경우에는 다양한 물체들이 상호작용하는 환경에서 여러 개체들을 대상으로 합니다. 예를 들어, 사람들은 움직이는 요소로서 노드로 표현될 수 있습니다. 그리고 자동차나 버스와 같은 교통수단도 다른 움직이는 에이전트로써 노드로 나타낼 수 있습니다.

    객체 감지 및 추적 기술을 사용하여 인식 시스템과 함께 에이전트(노드)가 주변 환경에서 다른 객체를 자동으로 감지하고 추적할 수 있는 기능을 부여합니다. 예를 들어, YOLOv3와 PointNet과 같은 딥러닝 모델은 2D 객체 검출 및 분류 작업에 사용되며, Deepsort 비주얼 트래커인 SORT도 적용하여 분류된 객체의 경로 생성합니다.

    추적된 경로 정보 외에도 에이전트(노드)의 상태(state)를 설명하기 위해 속성(attribute) 역시 구성됩니다. 기본적인 속성 값(node features)은 추척된 경위로부터 직접 추출될 수 있습니다. 예를 들어, 에이전트의 세계 좌표 프레임에서 객체의 공간적인 좌표는 노드 속성으로 사용되며, 에이전트 간 상대 거리 등을 제공합니다.

    또한 [41, 143 , 260] 작업들은 위치, 속도 및 가속도와 같은 각 시간 단계마다 노드의 상태를 설명하기 위해 수동으로 설계된 특징(feature)을 사용합니다. 이러한 수작업 특징들은 공간적 및 시간적 관점에서 에이전트(노드)의 상세 정보를 제공할 수 있습니다.

    가장 인기 있는 노드 특징 추출 방법 중 하나는 다층 퍼셉트론(MLP), 장단기 기억(LSTM)과 같은 신경망(Neural Networks)을 사용하여 기술적인 노드 속성(node features)을 인코딩하고 공간 및 시간 변화를 포착하는 고품위(embeddings of agents' states.) 임베딩(embedding) 생성입니다. 이러한 작업에 대해서는 [36, 59 ,115 ,130 ,138 ,146 ,152 ] 등 여러 연구자들이 MLPs와/또는 LSTM 신경망(neural networks ) 은 에이전트의 움직임과 위치 정보를 인코딩하고 공간 및 시간적 변화를 포착하는 특성 표현(feature representations)을 생성한다는 것을 보여주었습니다.

Edge connection

다중 에이전트 상호 작용의 맥락에서 에지 정보를 사용하여 그래프 구조에서 에이전트 간의 상호 작용을 표현하는 방법을 설명한다. 에지는 에이전트 간의 영향력을 나타내며, 경우에 따라 더 강한 영향력을 고려하여 가까운 에이전트를 연결하는 에지에 더 높은 가중치를 할당하는 어텐션 메커니즘이 사용된다. 이 접근 방식을 사용하면 상호 작용 그래프에서 인접한 에이전트의 다양한 영향과 중요성을 보다 포괄적으로 표현할 수 있다.

  • 예시

    예시로 설명하자면, 여러 대화 참여자 간의 대화 내역 데이터를 그래프 형태로 표현한다고 생각해보겠습니다. 이 때, 노드는 개별 참여자(에이전트)를 의미하고, 엣지는 참여자들 사잇값으로 정확한 관계재료 및 영향력 등을 나타낼 수 있습니다. 예를 들어 A와 B라는 참여자가 서로 근접할수록 (대화에서 자주 함께 발언한다거나 주제가 유사할수록) 해당하는 AB간 연결된 엣지에 더 높은 가중치를 부여할 수 있습니다. 이렇게 함으로써, 그래프는 참여자들 간의 상호작용을 보다 정확하고 포괄적으로 표현할 수 있게 됩니다.

4.1.3 Graph Neural Networks for Multi-agent Interaction

멀티 에이전트 상호작용을 위한 그래프 신경망

다중 에이전트 상호 작용의 그래프 표현은 MLP 및 CNN과 같은 기존 딥 러닝 모델에 문제를 야기한다. 그래프 신경망(GNN)은 그래프 구조를 인코딩하고 이웃 정보를 집계하여 에이전트 간의 복잡한 상호작용을 포착하는 커널을 활용하여 이러한 데이터를 처리하도록 특별히 설계되었다. 다중 에이전트 상호 작용을 모델링하는 데 사용되는 GNN 커널에는 메시지 전달 메커니즘(MPNN/GN), 그래프 컨볼루션 알고리즘, 어텐션 메커니즘의 세 가지 주요 유형이 있으며, 각 유형은 이웃 에이전트 간에 신경 정보를 전파하고 집중하는 고유한 접근 방식을 사용한다.

전달 메커니즘

MPNN/GN 기반 GNN(그래프 신경망)은 메시지 전달 알고리즘을 사용하여 다중 에이전트 상호 작용(MAI)의 그래프 구조 데이터에서 에이전트 상태를 업데이트하는 GNN의 한 유형이다. 메시지 전달 단계에서 에이전트 상태 정보는 에지를 통해 인접 에이전트로 전달되고 순열 불변 함수를 사용하여 집계된다. 그런 다음 집계된 표현은 신경망을 통해 기존 에이전트 상태 정보와 결합되어 에이전트 상태가 업데이트된다. 하지만 MPNN/GN 기반 GNN은 관련된 모든 에이전트의 메시지를 처리해야 하므로 확장성이 문제가 될 수 있다.

  • 예시

    예를 들어, 우리가 자율 주행 차량의 도로 상황을 예측하는 작업을 수행한다고 가정해봅시다. 이 작업에서는 여러 대의 자율 주행 차량이 그래프 형태로 구성된 데이터를 입력으로 받게 됩니다.

    MPNN/GN 기반 GNN은 이러한 그래프 데이터에 적용되며, 에이전트(자동차)들의 상태를 업데이트하기 위해 메시지 패싱 알고리즘을 사용합니다.

    메시지 패싱 단계에서는 각 에이전트(자동차)들은 인접한 다른 에이전트와 연결된 엣지를 통해 정보를 교환하게 됩니다. 이 때, 교환된 정보는 순서에 무관한 함수 (예: 합산)을 사용하여 집계됩니다. 집계된 표현은 기존의 에이전트 상태 정보와 함께 신경망 (예: MLP - Multi-Layer Perceptron) 을 통해 결합되어 최신화된 에이전트 상태가 생성됩니다.

    예를 들어, 한 개체 A 와 B 가 서로 인접하고 있다면 A 와 B 사이에 있는 엣지상에서 메세지 전달 과정 중인 경우,
    메세지 m(k) A→B 는 E(k) (h_k-1_A, h_k-1_B, T_A,B(o_k-1_A), o_k-1_B, b_A,b_B) 의 형태로 계산됩니다. 여기서 E(k)는 3-layer MLP이고 T_A,B는 감지된 박스의 좌표 시스템에서 B의 좌표 시스템으로 변환하는 변환 함수입니다. o_u와 o_v는 에이전트들에 대한 상대적인 로컬 좌표를 나타냅니다.

    MPNN/GN 기반 GNN은 이러한 메시지 패싱 알고리즘을 통해 경로 예측과 같은 작업에서 경쟁력 있는 결과를 얻을 수 있습니다. 그러나 모든 관련된 에이전트들의 메시지 처리가 필요하기 때문에 확장성 문제가 발생할 수도 있습니다.

GCN-based GNNs

GCN(그래프 컨볼루션 네트워크)은 공간 영역이 아닌 스펙트럼 영역에서 다중 에이전트 상호 작용의 표현을 학습하는 신경망의 한 유형이다. 이 네트워크는 그래프 컨볼루션을 활용하여 인접 노드의 정보를 집계하고 각 노드의 표현을 업데이트한다. 또한 연구자들은 그래프 시퀀스를 사용하여 시간에 따른 소셜 상호작용의 변화를 표현하고, 시공간적 노드 임베딩을 추출하기 위해 시공간적 그래프 컨볼루션 신경망(ST-GCNN)을 적용하여 시간적 변화도 통합했다.

GCN-based GNNs와 MPNN/GN 방식의 차이점은 주로 정보 집계 방법과 학습 도메인에 있다.

MPNN/GN (Message Passing Neural Networks/Graph Networks)는 공간 도메인에서 노드 신호를 집계하는 것을 강조한다. 이 방식은 각 노드가 인접한 이웃들과 상호 작용하고 정보를 교환하며 업데이트된다. 예를 들어, 한 노드의 특성 벡터는 해당 노드와 연결된 모든 이웃들의 특성 벡터로부터 계산되고 업데이트된다.

반면에 GCN-based GNNs (Graph Convolutional Network 기반 그래프 신경망)은 스펙트럼 도메인에서 MAI(Multi-Agent Interactions) 표현을 학습한다. GCNs는 그래프 컨볼루션을 사용하여 이웃 정보를 집계한 다음 각각의 노드 표현을 업데이트한다. 즉, GCNs는 주변 환경 내에서 발생하는 복잡한 상호작용 패턴을 포착할 수 있다.

GAT-based GNNs

GAT 기반 GNN(그래프 주의 네트워크)은 IoT 맥락에서 인간의 행동 역학을 모델링하는 데 사용되는 그래프 신경망(GNN)의 핵심 구성 요소이다. GAT는 자체 주의 기능을 활용하여 예측을 할 때 중요한 특징에 집중하고 대상 노드에 더 큰 영향을 미치는 인접 노드에 더 많은 가중치를 할당한다. 이러한 어텐션 메커니즘은 에이전트의 행동에 대한 이웃 노드의 다양한 영향을 포착하여 보행자의 사회적 상호 작용이나 차량 궤적 예측과 같은 시나리오에서 보다 정확한 모델링과 예측을 가능하게 한다.

  • 예시

    예를 들어서, 우리가 보행자가 혼잡 한 곳에서 움직일 때 그래프 네트워크로 표현 할 수 있습니다. 여기서 각각의 보행자는 그래프의 하나의 노드로 나타낼 수 있으며, 서로 다른 연결 관계를 가지고 있는 인접노드(neighbor nodes)와 함께 존재합니다.
    GAT 기반 GNN은 해당 그래 프 내부 에서 자신만 의식하지 않고 주변 노드와의 상호작용을 고려하여 보행자의 행동 역학을 모델링합니다. 예컨대, GAT는 주변 노드들이 해당 노드에게 미치는 영향력이 다를 수 있다고 가정하며, 이러한 차이점을 캡처하기 위해 self-attention 메커니즘 을 사용합니다. 따라서 중요한 기능에 집중하면서 예측할 때 더 많은 가중치가 해당 기능과 관련된 이웃노드(neighbor nodes) 에 할당됩니다.

4.2 Human State Dynamics

휴먼 상태 역학

인간의 상태를 눈에 띄지 않게 지속적으로 측정하고 모니터링할 수 있는 유비쿼터스 센서를 사용하여 인간 행동을 연구하는 것에 대한 관심이 높아지고 있다. 연구자들은 이러한 센서에서 수집한 데이터를 분석하여 중요한 생체 반응과 행동 패턴에 대한 귀중한 정보를 추출할 수 있으며, 이를 통해 인간의 상태와 건강 및 웰빙 사이의 연관성을 이해하는 데 사용할 수 있다. 이러한 연구를 통해 코로나19 팬데믹 기간 동안 모바일 센싱을 사용하여 행동 변화를 기록하거나 신경 영상 스캔의 비침습적 대안으로 알츠하이머병 진단에 뇌파(EEG)를 활용하는 등 인간 중심 애플리케이션에 머신러닝 알고리즘을 채택하게 되었다.

센서가 내장된 디바이스에 유비쿼터스 센서를 사용하면서 산업계와 학계 모두에서 인간 행동 연구에 대한 관심을 불러일으키고 있다. 이러한 센서를 활용하면 인간의 상태를 눈에 띄지 않게 지속적으로 측정할 수 있어 건강 및 웰빙과의 연관성을 분석할 수 있다. 이를 통해 감각 데이터에서 생성된 세분화된 행동 지표가 개발되어 자연 환경에서의 생체 반응과 행동 패턴에 대한 유용한 정보를 제공할 수 있게 되었다. 또한 모바일 센싱 기술을 사용하여 행동 관련 정보를 수동적으로 수집함으로써 학생들의 이동성, 활동 수준, 커뮤니케이션 패턴, 사회적 불안, 우울증, 정서 수준 간의 연관성을 파악할 수 있게 되었다. 또한, 뇌파 검사(EEG)는 알츠하이머병 진단을 위한 비침습적 대안으로서 잠재력을 보여주었다. 이러한 유비쿼터스 센싱의 발전으로 인해 인간 중심 애플리케이션을 위한 머신 러닝 알고리즘이 널리 채택되고 있다.

인간 중심의 센서 데이터를 모델링할 때 가장 큰 과제는 다양한 소스의 여러 유형의 데이터를 처리하는 것이다. 이를 위해서는 이러한 다양한 데이터 소스를 효과적으로 결합하고 분석하여 성능을 향상시킬 수 있는 딥러닝 알고리즘을 개발해야 한다. 연구자들은 이러한 문제를 해결하고 센서 데이터를 사용하여 인간의 행동과 상태 모델링을 개선하기 위해 증분적 멀티모달 접근 방식과 다중 채널 컨볼루션 신경망 아키텍처와 같은 새로운 방법을 제안했다. 그러나 기존의 딥러닝 방법으로는 인간의 행동과 센서 간의 복잡한 관계를 적절히 포착하지 못할 수 있다.

그래프 신경망(GNN)은 이기종 센서 데이터를 모델링할 때 기존의 딥 러닝 방법에 비해 더 나은 성능을 보여 왔다. GNN은 그래프 구조화된 정보를 통해 인간 행동 간의 복잡한 상호작용을 포착하여 감각 데이터의 표현력을 향상시키고 예측 성능을 개선할 수 있다는 점에서 그 동기를 부여한다. 특히 사회적 상호작용 감지, 이동성 예측, 인지, 신체 활동 인식과 같은 영역에서 감각 데이터를 사용하여 인간 행동을 모델링하는 데 있어 GNN이 효과적이라는 사실은 다양한 연구를 통해 입증되었다.

4.2.1 Human-centric Sensor Network

인간 중심 센서 네트워크

인간 중심 감지 시스템에는 데이터에서 의사 결정까지의 다양한 단계에 사람이 적극적으로 참여한다. 이러한 시스템은 센서 측정을 활용하여 유용한 정보를 추출하고, 분석하고, 지식을 도출한다. 예를 들어, 인체 프로세스를 모니터링하는 신체 센서 네트워크(BSN)와 생체 행동 데이터를 수집하는 풍부한 센서 모바일 컴퓨팅 디바이스(MCD)가 있다. 이러한 시스템은 질병 식별, 재활, 감정 감지, 불안 인식, 증상 감지 등 다양한 맥락에서 적용되고 있다.

다양한 센서가 장착된 유비쿼터스 디바이스는 고품질 측정을 통해 인간의 상태 변화를 지속적이고 수동적으로 포착할 수 있다. 이러한 디바이스는 사회적 상호 작용 및 동작과 같은 자극에 대한 인간 행동의 변화를 포착하는 행동 신호와 심박수, 혈압, 뇌 활동과 같은 생리적 및 생체 역학적 변수를 포함하는 생체 의학 신호라는 두 가지 유형의 인간 중심 센싱 신호를 생성할 수 있다. 이러한 신호는 감각 데이터와 건강 상태, 감정, 생체 인식과 같은 인간과 관련된 결과 사이의 중요한 연결고리를 제공한다.

4.2.2 Graph Modeling of Human Behavior Dynamics

인간 행동 역학 그래프 모델링

인간 행동 역학(HBD)의 그래프 모델링에는 두 가지 접근 방식이 있다.

  • 1) 그래프를 사용하여 각 노드가 센서 데이터에서 추론된 숨겨진 인간 상태를 나타내는 명시적인 인간 상태 전환을 표현하는 방법
  • 2) 개별 센서를 그래프의 노드로 표현하여 인간 행동의 다양한 채널을 포착하는 방법

첫 번째 접근 방식은 클러스터링 알고리즘을 사용하여 상태 전환을 생성하는 반면, 두 번째 접근 방식은 노드 속성에 세분화된 센서 데이터를 포함합니다. 이러한 그래프 모델은 상태 간 관계를 파악하고 구조화되지 않은 인간 상태 정보를 구조화된 표현으로 변환하여 더 나은 이해와 분석을 돕는다.

6

  • 예시

    예를 들어, 우리가 한 사람의 상태 변화에 대한 정보를 가지고 있다면, 그 다음 상태에 대한 힌트로서 이전 상태와 현재 상태가 유용할 수 있다. 하지만 인간 시스템 내에서 복잡한 상태 전이는 서로 다른 관계들을 포함하기 때문에 이러한 관계를 파악하는 것은 어려울 수 있다.

    그래프 모델링을 사용하면 구조적으로 연결된 개별 인간의 상태 정보로부터 비구조적인 데이터인 사람의 행동 패턴을 파악할 수 있다.

    예시로 설명하자면, 우리가 학교에서 학생들의 출결 기록과 공부 시간 등 다양한 정보를 가지고 있다고 생각해봅시다. 첫 번째 접근 방식에서는 각 학생을 그래프의 노드로 나타내며, 출결 및 공부 시간 등 다른 요소들 사이에서 몇몇 패턴이 발견될 수 있습니다. 예컨대 한 학생이 매일 아침 지각한다면, 그 날 밤늦게까지 열심히 공부하지 않았거나 잠을 제대로 자지 않았다는 것을 추론할 수 있습니다.

    두 번째 접근 방식에서는 개별 센서(출결 기록기와 같은) 들도 마찬가지로 그래프 내에 나타납니다. 이 경우, 각 센서는 학생의 특정 측면을 나타내며, 예를 들어 출결 기록기는 학생의 출석률을 나타낼 수 있습니다. 이렇게 그래프 모델링을 사용하면 우리는 다양한 센서 데이터들 사이에서 발견되는 관계를 파악할 수 있고, 이를 통해 학생들의 상태 변화와 관련된 인사이트(insight) 를 얻을 수 있습니다.

Node representation

인간 행동 역학(HSD)의 그래프 모델에서 노드 표현은 인간의 상태가 그래프에서 정점으로 표현되는 방식을 결정한다. HSD 그래프 모델링 방법마다 이러한 정점에 대한 해석이 다르다. 예를 들어, 잠재적인 인간 상태 전환을 표현하는 경우 각 노드는 가속도계 데이터와 같은 다중 모드 감각 데이터에서 추출하여 다양한 신체 움직임을 나타낼 수 있는 개별적인 숨겨진 인간 상태를 나타낸다.

예를 들어, 우리가 사람들의 친구 관계를 그래프로 모델링하고 싶다고 가정해보자. 이 그래프에서 각각의 사람은 정점(노드)으로 표현된다.

여기서 "노드 표현" 방법에 따라 각각의 노드는 다른 의미와 정보를 나타낼 수 있다. 한 가지 방법은 각 노드가 개인을 나타내며, 이 경우에는 친구 관계 그래프에서 매 정점은 하나의 사람을 대응한다.

또 다른 방법으로는 클러스터링 기법을 사용하여 비슷한 속성이나 특징을 가진 사람들끼리 같은 클러스터로 분류하는 것이다. 예를 들어, 나이와 취미 등과 같이 공유하는 속성에 따라 유사한 인원들이 함께 클러스터마다 하나씩 할당된다.

Edge connection

HSD 그래프 모델링의 맥락에서 그래프의 에지 연결은 인접한 노드 간에 정보를 전송하는 데 중요한 역할을 한다. 인간 행동 역학을 표현할 때 이러한 엣지 연결은 인간의 이동 궤적에서 한 장소에서 다른 장소로 이동하는 사람과 같이 일상 생활에서 인간의 상태나 행동이 어떻게 변화하는지를 설명한다. 마찬가지로 센서 토폴로지 표현에서 엣지 연결은 센서 간의 상호 의존성을 나타내며 해당 감지된 동작 간의 상호 작용을 암시한다.

예시

A와 B라고 하는 두 개의 센서가 있다고 가정해보겠습니다. 만약 A와 B 사이에 에너지 소비량 데이터 및 온도 데이터 등 다양한 종류의 정보가 주기적으로 전송된다면, A와 B 사이에 있는 에너지 소비량 데이터 및 온도 데이터 값을 공유하며 서로 영향을 줍니다. 따라서 A와 B사이에 edge connection(연결)으로 나타난다고 할 수 있습니다. 이러한 연결은 센서들 간의 상호 작용을 나타내며, 그래프 모델링에서 중요한 역할을 합니다.

4.2.3 Graph Neural Networks for Human State Dynamics

인간 상태 역학을 위한 그래프 뉴럴 네트워크

HSD 그래프 모델링을 사용하면 사람의 상태 전환과 센서 상호 작용을 효과적으로 표현할 수 있다. 그래프의 에지 연결을 통해 사람의 상태 정보를 전송할 수 있으며, 그래프 신경망(GNN)은 멀티홉 사람의 상태 정보를 집계하여 포괄적인 표현을 생성할 수 있다. HSD용 GNN에는 토폴로지의 공간적 특징을 고려하는 정적 GNN과 사람의 상태와 센서 네트워크의 공간적, 시간적 변화를 모두 고려하는 동적 GNN의 두 가지 유형이 있다.

Static GNNs

정적 그래프 신경망(Static Graph Neural Networks, GNNs)은 인간 상태 동역학(Human State Dynamics, HSD) 그래프에서 그래프 신호와 노드 정보를 인코딩하여 이러한 정보를 임베딩 공간으로 매핑하는데 사용된다. 연구자들은 다중 채널 그래프 합성곱 신경망을 적용하여 이동 경로, 사회적 상호작용 네트워크 및 활동 전환과 같은 곳에서 고수준 특징을 추출하기 위해 사용하였다. 또한 GNNs는 이상 감지에도 사용되며 정상 디코딩된 임베딩과의 유클리드 거리에 기반하여 비정상인간 상태를 분류할 수 있는 듀얼 그래프 오토태그레이터가 활용된다.

예를 들어 우리가 여러 사람들의 움직임 데이터와 소셜 네트워크 관계 데이터 등 다양한 센서 데이터로 구성된 IoT 시스템을 가지고 있다고 가정해봅시다. 정적 GNNs는 이런 센서들 간의 연결 구조와 해당 센서에서 생성되는 데이터(그래프 신호)를 인코딩하여 임베딩 공간으로 매핑합니다. 이렇게 변환된 데이터는 다양한 IoT 작업에 활용될 수 있습니다.

예를 들어, 우리가 사람들의 움직임 경로, 소셜 네트워크 관계 및 활동 전환과 같은 정보에서 고수준 특징을 추출하고자 한다면, 정적 GNNs와 그래프 합성곱 신경망을 사용할 수 있습니다. 이러한 방법론은 Dong et al. [61]이 제안한 연구에서 적용되었습니다.

또 다른 예시로는 이상 감지에 대한 것입니다. 여기서는 비정상인간 상태를 탐지하기 위해 듀얼 그래프 오토태그레이터라 불리는 모델을 사용합니다. 이 모델은 정상 상태의 디코딩된 임베딩과 유클리드 거리가 멀 경우 비정상인간 상태로 분류됩니다.

Dynamic GNNs

동적 그래프 신경망(GNN)은 사물 인터넷(IoT) 센서의 복잡한 상호 연결을 모델링할 수 있는 신경망의 한 유형이다. 동적 그래프 신경망은 그래프 컨볼루션 신경망(GCNN)과 순환 신경망(RNN)을 결합하여 그래프 구조의 공간적, 시간적 변화를 모두 포착한다. 이러한 네트워크는 그래프 신호에서 높은 수준의 특징을 추출하고 시간 경과에 따른 인간의 행동을 나타내는 일련의 그래프 내에서 시간적 관계를 해독한다. 연구원들은 그래프 인스턴스 트랜스포머(GIT)와 같은 기술을 제안하여 각 그래프의 레이블을 몰라도 동적 GNN을 훈련할 수 있게 함으로써 그래프 구조 정보 시퀀스에서 학습할 때 약한 감독을 사용할 수 있게 했다.

GIT(Graph Instance Transformer)은 동적 GNN(Dynamic GNNs)을 학습시키기 위한 기술이다. 이는 각 그래프의 라벨을 알지 못하더라도, 그래프 구조화된 정보의 시퀀스로부터 동적 GNN을 훈련할 수 있게 해준다.

예를 들어, 우리가 사람들이 어떤 활동을 하는지에 대한 데이터를 가진다고 가정해봅시다. 이 데이터는 여러 개의 그래프로 표현될 수 있습니다. 예를 들어, 첫 번째 그래프는 아침에 일어나서 집에서 출발하는 상황일 수 있고, 다음으로는 지하철에서 근무장소까지 이동하는 상황일 수 있습니다.

그런데 우리가 실제로 어느 활동인지(예: 집에서 출발 vs 지하철 탑승)에 대해서 라벨링된 정보를 가질 필요 없이 GIT은 각각의 인스턴스와 서브-그래프 구조들에 주목하여 보다 중요한 부분과 관계성 있는 부분들만 포함되도록 하여 "주목" 점수(weighted graph instances and sub-graph structures)를 생성합니다.

즉 GIT은 주변 컨트롤포인트(control points)를 사용하여 그래프의 특정 부분에 더 많은 주목을 기울이고, 이러한 주목 점수를 사용하여 동적 GNN을 학습시킵니다. 따라서 GIT은 약한 지도학습(weak supervision) 방식으로 시간에 걸친 그래프 구조화된 정보로부터 동적 GNN을 훈련할 수 있게 해줍니다.

  • 모델 정리
    1. Multi-channel Graph Convolutional Neural Network (GCNN):
      • 다중 채널 그래프 합성곱 신경망은 여러 채널의 그래프 데이터를 입력으로 받아 고수준 특징을 추출하는 모델이다.
      • 이 모델은 인간 상태 동역학(HSD) 그래프에서 사람들의 움직임 경로, 소셜 네트워크 관계 및 활동 전환과 같은 정보를 추출하기 위해 사용된다.
      • GCNN은 각 노드와 해당 노드와 연결된 이웃 노드 사이의 상호작용을 고려하여 정보를 전파한다.
    2. Dynamic Graph Convolutional Neural Network (DGCNN):
      • 동적 그래프 합성곱 신경망(Dynamic GCN)는 HSD 그래프에서 변화하는 인접 행렬(Adjacency Matrix)에 따라 가변적인 메시지 전달 경로를 생성한다.
      • DGCNN은 인접 행렬을 동적으로 최적화하여 학습 프로세스 중에 최상의 성능을 달성할 수 있도록 하는 방법론이다.
    3. Dual Graph Autoencoder:
      • 듀얼 그래프 오토태그레이터(Dual Graph Autoencoder)는 이상 감지에 사용되는 모델로, 정상 상태의 그래프 구조와 노드 특징을 학습하여 비정상인간 상태를 탐지한다.
      • 이 모델은 잠재적인 그래프 구조와 노드 특징을 인코딩하고 디코딩하여 원본과 재구성된 데이터 사이의 차이를 기반으로 비정상 여부를 판단한다.
    4. Emotion-aware Distribution Learning:
      • Gef. et al [327]에서 제안된 방법론으로, 도메인 적대적 학습(Domain Adversarial Training)과 감정-주도 분산학습(Emotion-aware Distribution Learning)을 결합하여 국소화 주체 EEG 변동 및 잡음 있는 라벨 처리에 대응하는 보다 견고한 GNNs(Graph Neural Networks)를 훈련시킨다.
7

4.3 IoT Sensor Interconnection (ISI)

IoT 센서 상호 연결

사물 인터넷(IoT)은 디지털 사물과 전자 장치를 상호 연결하여 지능형 네트워크를 형성하는 것을 말한다. 스마트 빌딩, 농업, 교통 네트워크, 스마트 팩토리 등 다양한 애플리케이션에서 다양한 유형의 센서를 결합하여 데이터를 수집하고 효율적인 모니터링과 최적화를 가능하게 한다. 이렇게 상호 연결된 센서는 가치 있는 정보를 제공하고 디바이스 간의 협업을 촉진하여 스마트 시티를 구축하는 데 중요한 역할을 한다.

IoT(사물 인터넷)의 맥락에서 다양한 유형의 센서는 다양한 애플리케이션에서 데이터를 수집하고 스마트 기능을 구현하는 데 사용된다. 예를 들어, 농업 분야에서는 농부들이 작물의 성장을 모니터링하고 생산을 최적화하는 데 센서를 사용한다. 교통 관리에서는 환경 감시 센서, 주차 센서, 속도계 센서를 조합하여 강력한 교통 네트워크를 구축하는 데 사용된다. 마찬가지로 스마트 그리드 시스템은 열, 온도, 습도, 스마트 계량기와 같은 센서를 활용하여 효율적인 전력 생산, 송전, 배전을 보장한다. 스마트 공장에서는 생산성 향상을 위해 압력, 근접성, 유체 속도, 적외선 계측기와 같은 산업용 센서를 사용한다. IoT 센서 데이터를 모델링하고 상호 연결을 활용하여 스마트 시티를 구축하려면 상호 연결된 센서를 통합하는 것이 중요한다.

IoT 분야에서는 다양한 스마트 애플리케이션을 위한 센서 데이터 모델링에 초점을 맞춘 광범위한 연구가 진행되고 있다. 예를 들어, 스마트 빌딩 애플리케이션의 경우 연구자들은 에너지 소비 패턴을 분석하고 정확한 에너지 예측을 위해 kCNN-LSTM과 같은 최첨단 머신 러닝 기법을 사용한다. 프라이버시 및 보안 문제는 프라이버시를 보호하면서 센서 데이터를 공동으로 학습하기 위해 연합 학습과 LSTM을 결합하는 PriResi와 같은 접근 방식을 통해 해결된다. 또한, 대기 오염을 추정하고 IoT 지원 산업 시스템의 남은 유효 수명을 예측하기 위해 LSTM을 사용한 하이브리드 CNN과 같은 고급 학습 알고리즘이 사용된다. 그러나 기존의 딥러닝 모델은 도메인 지식을 통합하지 못하고 센서 간의 지리적 공간적 의미와 잠재적 연결을 고려하지 못하는 경우가 많다.

그래프 신경망(GNN)은 IoT 센서 간의 상호 연결 모델링 문제를 해결하는 데 활용된다. GNN은 그래프 구조를 사용하여 서로 다른 위치에 배치된 센서를 연결함으로써 지리적 공간적 영향을 고려하여 스마트 교통 네트워크 및 전력망과 같은 애플리케이션에서 예측 성능을 향상시킨다. 또한 GNN은 각 센서가 그래프의 노드로 표시되고 데이터 기반 접근 방식을 통해 잠재적 연결이 학습되는 다중 모드 센서 네트워크에서와 같이 센서 간의 암시적 상호 연결을 식별하는 데 도움이 된다.

4.3.1 Sensors in IoT

IoT 스마트 애플리케이션의 맥락에서 센서는 다양한 데이터 표현을 캡처하는 데 중요한 역할을 한다. 이러한 센서는 작업에 따라 여러 유형으로 분류할 수 있다. 온도 및 습도 센서와 같은 환경 모니터 센서는 스마트 빌딩과 공장의 변화를 모니터링하기 위한 시계열 데이터를 수집하는 데 사용된다. 카메라 및 GPS와 같은 감시 센서는 실시간 교통 및 도시 환경에서 물체를 감지하고 인식하는 데 사용된다. 또한 건강 모니터링용 뇌파 센서와 스마트 농업용 RFID 센서 태그와 같은 기타 센서는 동작, 습도, 온도 등의 변화를 감지하여 다양한 IoT 애플리케이션에 사용된다.

다양한 스마트 애플리케이션에서 다양한 유형의 센서를 사용하는 방법이 있다. 예를 들어, 항공 이미지 분류 및 스마트 시티 애플리케이션에 대한 연구에서는 항공 카메라, 위성, 초음파, GPS 및 LiDAR 센서의 조합을 사용하여 데이터를 생성한다. 스마트 빌딩, 공장, 그리드의 경우 공기질 예측 및 이상 감지 등의 작업을 위해 시계열 데이터를 지속적으로 수집하려면 모니터 센서의 조합이 필요하다. 또한 서로 다른 센서 간의 상호 연결을 이해하기 위해 IoT 센서 네트워크에서 그래프 모델링이 중요하다.

4.3.2 Graph Modeling of IoT Sensor Interconnection

IoT 센서 상호 연결의 그래프 모델링

그래프 모델링은 IoT 센서 네트워크에서 특히 센서 상호 연결을 이해하는 데 중요한 기술이다. 실제 애플리케이션에서는 다양한 센서가 동적 정보를 캡처하는 데 사용되며, 그래프 모델링은 이러한 센서 간의 관계와 상관관계를 파악하는 데 도움이 된다. 그래프 모델링에는 두 가지 주요 접근 방식이 있는데, 하나는 교통 네트워크 또는 전력망 모델링과 같은 지리적 공간적 의미에 초점을 맞추는 것이고, 다른 하나는 센서 간의 암시적 상호 연결을 파악하여 멀티모달 센서 네트워크 내의 잠재적 관계를 발견하는 것을 목표로 하는 것이다.

Node representation

IoT용 그래프 모델링의 맥락에서 그래프 구조의 노드 표현은 두 부분으로 나눌 수 있다. 교통 네트워크 및 전력망과 같은 지리적 공간 시나리오에서 노드 표현은 교통 카메라 및 초음파 센서와 같은 도시 내 센서의 상대적 위치를 나타낸다. 연구원들은 주차장 간의 공간적 의존성을 파악하여 도시 전체의 주차 가능 여부를 예측하기 위해 SHARE와 같은 그래프 신경망 기반 모델을 제안했다. 카메라와 위성을 노드로 사용하는 교통 네트워크 예측과 스마트 계량기와 항공 카메라를 노드로 사용하는 전력망 및 원격 감지 애플리케이션에도 유사한 접근 방식이 사용되었다.

다중 모드 센서 네트워크와 같이 센서 간에 암묵적인 상호 연결이 있는 시나리오에서는 각 센서를 그래프의 노드로 나타낼 수 있다. 그러나 이러한 센서 간의 관계는 데이터 기반 접근 방식을 사용하여 학습해야 한다. 예를 들어, Zhang 등은 IoT 장비에 대한 그래프 신경망 기반 모델링 접근법을 제안하여 환경 모니터 센서를 활용하여 시간적 및 논리적 관계를 고려함으로써 높은 정확도로 에어컨을 예측했다. 이와 유사하게, 다른 연구자들도 그래프 구조를 생성하고 데이터 기반 방법을 사용하여 자동차를 그래프의 노드로 사용하여 교통량을 예측하는 등 센서 데이터 간의 잠재적 관계를 탐색하고 상관관계를 학습하는 방법을 연구했다.

  • 모델 정리

    1. Semi-supervised Hierarchical Recurrent Graph Neural Network (SHARE): 이 모델은 도시 전체의 주차 가능성을 예측하기 위해 카메라, 초음파 및 GPS와 같은 센서로부터 그래프 구조를 개발하는 것을 제안합니다. SHARE는 로컬 및 글로벌 공간 의존성을 포착하기 위한 컨텍스트 그래프 합성 블록과 소프트 클러스터링 그래프 합성 블록을 개발하였습니다.

    2. Graph Neural Network-based Modeling Approach for IoT Equipment (GNNM-IoT): 이 모델은 온도, 압력 및 전압과 같은 환경 감지 센서를 동시에 사용하여 공기 조절 예측 작업 수행에 대한 시계열 데이터의 시간적인 관계와 내재적인 논리적 관계를 고려합니다. GNNM-IoT는 ARIMA 및 LSTM 방법보다 우수한 결과를 보여줍니다.

    3. Multiple Residual-Graph Convolutional Neural Networks (Res-RGNNs): 이 프레임워크는 차량 간의 동적 연결과 차량 사이의 잠재 관계를 발견하기 위해 자동차가 노드로 사용되는 그래프 구조를 생성하는 도로 교통 예측 문제에 적용됩니다. Res-RGNNs는 end-to-end 방식으로 작동하며, 차량 간의 동적 연결을 찾고 예측하기 전에 잠재 관계를 발견합니다.

      예시:

    • SHARE: 주차 가능성 예측
      • 입력: 카메라, 초음파 및 GPS와 같은 여러 가지 종류의 센서 데이터
      • 출력: 도시 전체의 주차 가능성 예측
    • GNNM-IoT: 공기 조절 예측
      • 입력: 온도, 압력 및 전압과 같은 환경 감지 센서 데이터
      • 출력: 시간적인 관계와 내재적인 논리적 관계를 고려한 공기 조절 예측 결과
    • Res-RGNNs: 도로 교통 예측
      • 입력: 차량 데이터 (자동차)
      • 출력 : 차량 간의 동적 연결과 잠재된 관계를 발견하여 동일한 지역에서 특정 시간에 대한 교통 상황을 예측

Edge connection

그래프 구조에서 에지 연결은 그래프의 노드가 서로 상호 작용하고 연결하는 방식을 의미한다. IoT 센서 네트워크의 맥락에서 에지 연결은 지리적 공간 관계를 기반으로 설정하거나 데이터 기반 접근 방식을 통해 학습하여 관련 센서를 연결할 수 있다. 센서가 물리적으로 위치한 지리적 공간 시나리오에서는 센서 토폴로지를 사용하여 그래프를 구축할 수 있지만, 암시적 상호 연결 시나리오에서는 에지 연결이 동적 연결 또는 지식 표현을 나타낼 수 있다. 이러한 에지의 잠재적 표현을 생성하기 위해 CNN 및 RNN과 같은 딥 러닝 방법을 사용하여 그래프 구조의 시간적 및 로컬 변경 사항을 캡처한다.

  • 모델 정리

    1. Geospatial Connection
    예를 들어, 도시 내에 위치한 여러 개의 센서가 있다고 가정해봅시다. 이 센서들은 카메라로부터 얻은 영상 데이터와 스마트 미터로부터 수집된 전력 사용량 데이터 등을 활용하여 IoT 태스크를 수행합니다. 이 경우, 각각의 센서는 그래프에서 노드로 표현되며, 그래프 상에서 서로 연결된 위치 정보(지오스패셜 연결)를 기반으로 엣지가 형성됩니다. 예를 들어, 한 카메라와 인근에 있는 스마트 미터 사이의 거리나 방위같은 지오스패셜 관계는 해당 엣지의 속성값으로 사용될 수 있습니다.

    2. Implicit Interconnection
    암묵적인 상호작용 시나리오에서는 자연적인 연결 여부와 관계없이 데이터 기반 접근 방식을 통해 학습된 엣지 연결을 생성합니다.
    예제로 생각할 때, 다수의 IoT 장치들이 넓은 범위에 분산되어 배치되었다고 가정합시다 (e.g., 자율주행차, 스마트 홈 장치 등). 이러한 경우에는 물리적인 위치 정보를 사용하여 그래프를 구성하기 어렵습니다. 대신, 데이터 기반 접근 방식을 통해 관련된 센서들 간의 동적 연결을 학습할 수 있습니다. 예를 들어, 자율주행차와 주변 환경에서 수집된 영상 데이터 사이의 상호작용 패턴이나 시간에 따른 변화 등은 엣지로 표현될 수 있습니다.

    3. Deep Learning Methods for Edge Representation
    딥러닝 방법론(CNNs 및 RNNs)은 엣지의 잠재적인 표현값 생성에 사용됩니다.
    예시로 생각해보면, 여러 개의 IoT 센서가 있는 스마트 건물 내부에서 에너지 소비량과 오피스 공간 내부 영상 데이터가 모니터링되고 있다고 가정합시다. CNN과 같은 딥러닝 모델을 사용하여 각각의 센서 사이에서 발생하는 변화(오픽스 공간 내 인원수 변경)나 시계열 패턴(특정 시점에서 전력 소비 증가)등을 포착하고 분석합니다. 이 때 생성된 엣지 값들은 그래프 구조 내에서 센서들 간의 동적인 상호작용을 나타내는데 사용될 수 있습니다.

4.3.3 Graph Neural Networks for IoT Sensor Interconnection

IoT 센서 상호 연결을 위한 그래프 신경망

그래프 신경망(GNN)은 IoT 센서 상호 연결의 맥락에서 센서 간의 복잡한 상호 작용과 상관관계를 분석하는 데 사용된다. 조사 대상 연구에서는 정적 구조와 시간에 따라 변화하는 특징을 처리하는 시공간적 GNN과 그래프 분석을 위해 그래프 데이터를 저차원 공간으로 매핑하는 그래프 자동 인코더의 두 가지 유형의 GNN에 대해 논의했다. 이러한 GNN 모델을 사용하면 CNN이나 RNN과 같은 기존 딥 러닝 모델이 처리할 수 없는 그래프 구조의 데이터를 탐색할 수 있다.

Spatio-temporal GNNs

시공간 그래프 신경망(GNN)은 공간 및 시간적 관계를 포함하는 시스템에서 정적 구조와 시간에 따라 변화하는 특징을 모두 처리할 수 있는 신경망이다. 이러한 네트워크는 잠재적인 공간 종속성을 추출할 수 있으며 대기 질 예측, 도시 전체의 주차 가능 여부 예측, 교통 네트워크 분석 등 다양한 애플리케이션에 사용된다. 연구자들은 이상 징후 감지 및 예측과 같은 작업에 데이터의 시공간적 특징을 효과적으로 포착하고 활용하기 위해 공간-시간 동적 그래프 컨볼루션 신경망(ST-DGCN), 공간-시간 다중 모드 융합 모델(ST-MFM) 등 다양한 모델을 제안했다.

  • 모델 정리

    1. Spatial-Temporal Dynamic Graph Convolution Neural Network (ST-DGCN):

     - ST-DGCN은 동적 그래프 합성곱 레이어를 사용하여 잠재적인 공간 의존성을 추출하는 모델입니다.
 - 학습 단계:
   1) 입력 데이터로 구성된 시공간 그래프를 생성합니다.
   2) 동적 인접 행렬을 계산하여 각 노드와 이웃 사이의 관계를 나타냅니다.
   3) 그래프 컨볼루션 레이어에서는 인접 행렬과 입력 데이터에 대한 필터 연산을 수행하고, 잠재적인 공간 의존성 정보를 추출합니다.
   4) Gated Recursive Units(GRU)와 같은 게이트 메카니즘을 사용하여 시공 갖추어진 속도특정등에 대한 장기 및 단기 상태 정보가 유지되도록 설계됩니다.

    2. Semi-supervised spatial-temporal learning framework:

     - 이 프레임워크는 환경 맥락 요소와 실시간 주차 데이터 등 다양한 입력으로 도시 전체 주차 가능 여부 예측 작업에 활용됩니다.
 - 학습 단계:
     1) 환경 맥락 요소와 실시간 주차 데이터를 입력으로 사용하여 그래프를 생성합니다.
     2) 그래프 합성곱 레이어에서는 인접 행렬과 입력 데이터에 대한 필터 연산을 수행하여 공간 의존성 정보를 추출합니다.
     3) 예측 작업을 위해 다양한 손실 함수 및 최적화 알고리즘을 사용하여 모델의 가중치를 조정하고, 주차 가능 여부 등의 출력값과 비교합니다.

    3. Joint graph-based spatial dependencies and temporal dynamics model:

     - 이 모델은 교통 네트워크의 시공 갖추어진 속도특정등 추출 작업에 활용됩니다.
 - 학습 단계:
   1) 교통 데이터로 구성된 그래프 생성
   2) 공간 의존성 정보와 시계열 변화 정보가 함께 캡처이기 위해, 그래프 컨볼루션 레이어와 LSTM(Long Short-Term Memory), GRU 등과 같은 장기 및 단기 메모리 유닛들로 구성된 아탄션 메카니즘이 동시에 사용됩니다.
   3) 이러한 아탄션 메카니즘이 서로 상호작용하면서, 공간-시각적인 특성을 추출하고, 교통 네트워크의 시공 갖추어진 속도특정등을 학습합니다.

    4. Spatio-temporal multi-modal fusion model (ST-MFM):

     - ST-MFM은 다중 모달의 시공간 데이터를 입력으로 사용하여 공간적인 특성을 추출하는 모델입니다.
 - 학습 단계:
   1) 다중 모달 데이터로 구성된 그래프 생성
   2) 그래프 컨볼루션 레이어에서는 인접 행렬과 입력 데이터에 대한 필터 연산을 수행하여 공간 의존성 정보를 추출합니다.
   3) 이러한 공간 의존성 정보와 함께 LSTM, GRU 등과 같은 장기 및 단기 메모리 유닛들로 구성된 아탄션 메카니즘이 사용되며, 여러 작업(예: 이상 탐지 작업)에 대해 잠재적인 그래프 구조와 노드 기능의 학습이 가능합니다.

Graph autoencoders

그래프 자동 인코더는 그래프 구조 데이터의 표현을 학습하는 데 일반적으로 사용되는 신경망 모델의 일종이다. 이 모델은 행렬 인수분해를 통해 저차원 공간으로 인코딩하여 기본 그래프 구조를 보존하는 것을 목표로 한다. Zhang 등이 제안한 GNNM-IoT와 같은 모델은 인코더를 사용하여 정점 간의 관계를 학습하고, 디코더를 사용하여 이러한 관계를 기반으로 입력 데이터를 재구성한다. 또 다른 예로는 Berg 등이 제안한 그래프 기반 자동 인코더 프레임워크인 GC-MC가 있는데, 이 프레임워크는 이분법적 상호 작용 그래프에서 노드의 잠재적 특징을 생성하고 이를 사용하여 등급 링크를 재구성한다. 이 접근 방식은 링크 예측 작업에 사용할 수 있는 구조화된 외부 정보가 있을 때 특히 유용한다.

  • 모델 정리

    1. GNNM-IoT

    • 입력: IoT 디바이스에 내장된 센서 간의 관계를 나타내는 그래프입니다.

      • 예를 들어, 각 센서는 그래프에서 노드로 표시할 수 있으며, 가장자리는 센서 간의 연결 또는 상호 작용을 나타냅니다.

    • 출력: 정점(센서) 간의 학습된 관계를 기반으로 재구성된 입력 데이터입니다.

      • 이 모델은 센서 네트워크 내의 패턴과 종속성을 파악하고 이를 사용하여 센서의 측정값 또는 동작에 대한 누락된 정보를 재구성하거나 예측하는 것을 목표로 합니다.

      학습 과정에는 두 가지 주요 단계가 포함됩니다:

    1. 인코더: 인코더 구성 요소는 입력 그래프에서 정점(센서) 간의 관계를 설계하고 학습하는 역할을 담당합니다. 인코더는 인접 노드의 연결 패턴이나 속성 유사성 등 중요한 특징을 캡처합니다.
    2. 디코더: 인코더에서 이러한 관계를 학습한 후에는 디코더 컴포넌트에서 개별 노드 또는 전체 그래프에 대한 누락된 정보를 재구성하는 데 사용됩니다.

    2. GC-MC

    • 입력: 한 쪽은 사용자 노드, 다른 쪽은 아이템 노드의 잠재적 특징을 나타내는 이분형 상호작용 그래프입니다.

      • 사용자가 항목(예: 영화)과 상호 작용하는 추천 시스템에 사용할 수 있으며, 가장자리는 사용자-항목 상호 작용을 나타냅니다.

    • 출력: 생성된 노드 표현을 기반으로 재구성된 평점 링크

      • 이 모델은 이분법적 상호작용 그래프 구조에서 정보 전달을 통해 사용자와 항목 모두에 대한 잠재적 특징 표현을 생성합니다.

      학습 과정에는 이 쌍방향 상호작용 구조에서 연결된 쌍을 가로지르는 메시지 전달 메커니즘을 사용하여 각 사용자 노드/아이템 노드 쌍에 대한 잠재적 특징 벡터를 생성하는 작업이 포함됩니다. 이렇게 생성된 피처는 사용자-아이템 상호작용에 해당하는 평점 링크를 예측/재구성하는 이선형 디코더의 입력으로 사용됩니다.

서로 다른 영화를 평가하는 것을 좋아하는 친구 그룹이 있다고 가정해 봅시다. 이 친구들이 아직 보지 않은 영화를 어떻게 평가할지 예측하고 싶습니다.

이 정보를 행렬로 표현할 수 있는데, 각 행은 친구를 나타내고 각 열은 영화를 나타냅니다. 행렬의 셀에는 서로 다른 영화에 대해 친구들이 부여한 평점이 포함되어 있습니다.

하지만 모든 친구가 모든 영화에 평점을 매긴 것은 아니기 때문에 행렬에 누락된 값이 있습니다. 바로 이때 GC-MC가 등장합니다!

GC-MC는 이러한 평점을 기반으로 상호 작용 그래프 또는 이분 그래프를 생성합니다. 이 그래프에서 한 노드 세트는 친구를 나타내고 다른 노드 세트는 영화를 나타냅니다. 그 사이의 가장자리는 친구들이 특정 영화에 부여한 평점을 나타냅니다.

이제 흥미로운 부분이 나옵니다: GC-MC는 자동 인코더 프레임워크를 사용하여 이분 그래프에서의 상호 작용을 기반으로 친구와 영화 모두의 잠재적인 기능 또는 특성을 학습합니다.

예를 들어, 친구 A가 액션 영화를 평가할 때는 친구 B와 비슷한 취향을 가지고 있지만 로맨틱 코미디를 평가할 때는 다르다고 가정해 보겠습니다. GC-MC는 학습 과정을 통해 이러한 유사점과 차이점을 파악합니다.

이러한 특징이나 특징을 학습한 GC-MC는 이선형 디코더 함수라고 하는 것을 사용하여 누락된 등급 링크(미등급 영화 등급)를 예측할 수 있습니다.

간단히 설명하면 친구 그룹이 서로 다른 유형의 영화를 어떻게 평가하는지에 대한 불완전한 데이터가 있다고 가정해 보겠습니다(일부 사람들은

5 Data and Application

5.1 Public Datasets and Toolkits

데이터는 그래프/네트워크 구조 데이터, 비그래프 감각 데이터, 확장 데이터의 세 가지 유형으로 분류된다.

  • 그래프/네트워크 구조 데이터는 증발량 네트워크 데이터, 대기질 상황 네트워크 등 그래프 구조를 나타내는 데이터를 말한다.
  • 비그래프 감각 데이터는 그래프 구조로 변환할 수 있는 일반적인 감각 데이터를 말한다.
  • 확장 데이터는 특정 작업에서 정보를 보강하는 데 사용됩니다. 예를 들어 대기질 예측을 위해 날씨 관련 정보를 제공하는 CMA China 데이터 세트가 있습니다.

5.1.1 Graph/Network structured data

8
  • 대기질: 대부분의 대기질 데이터 세트에는 PM2.5, PM10, NO2, CO, SO2, O3 [4, 9, 12, 272]를 포함한 6가지 유형의 대기 오염 물질 중 대기질 데이터가 포함되어 있다. 대기질 데이터는 여러 지역의 다양한 관측소에서 수집되었다. 따라서 지리적 네트워크 관계는 자연스럽게 그래프 구조를 형성한다.
  • 수자원 시스템: 대기질 네트워크와 유사하게 수원의 분포(예: 하천 구간, 수질 보정 네트워크)도 네트워크의 한 유형이다. 1, 2]의 경우 하천 세그먼트는 국가 지리 공간 패브릭에 의해 정의되었으며 [221]에 설명된 대로 국가 수문 모델에 사용되었다. 206]의 경우 388개의 노드/양수장, 429개의 파이프, 1개의 저수지, 7개의 탱크가 포함되어 있다.
  • 토양: 토양 데이터 세트는 토양 수분 관측소를 그래프 노드로 사용한다. 예를 들어, 스페인 데이터 집합 [108]은 2016~2017년 스페인 북서부의 20개 토양 수분 관측소로 구성되어 있으며, 시간적 해상도는 15일이다. 다른 두 데이터 집합인 앨라배마와 미시시피는 스페인 데이터 집합과 유사한 데이터 구조를 공유한다.
  • 교통 네트워크: 교통 영역에 대한 데이터 세트가 존재합니다. GNN4Traffic 조사[112]에 따르면, 그래프 관련 데이터 세트는 교통 네트워크 데이터(예: 오픈스트리트맵), 교통 센서 데이터(예: METR-LA, PeMS-BAY 1), GPS 궤적 데이터, 위치 기반 서비스 데이터 등으로 분류할 수 있다. 더 자세한 정보는 [112]의 섹션 5에서 확인할 수 있다.
9
  • 낙상 감지: 고전적인 낙상 감지 문제와 데이터 세트는 인간 활동 인식의 한 분야와 비슷하다. 데이터세트 TST V2 [11]와 FallFree [20]는 두 가지 컴퓨터 비전 기반 데이터세트로, 골격 관절을 그래프 노드로, 가속도를 노드 속성으로 사용한다.
  • 에너지: 우리가 아는 한, GNN 기반 방법으로 에너지 예측 작업에 사용되는 공개 데이터 세트는 없다. 그러나 에너지 네트워크의 그래프 특성(예: 태양광 발전 시스템[119])은 GNN 관련 모델을 적용할 수 있는 큰 잠재력을 보여준다.

5.1.2 Non-graph Sensory Data

  • 자율 주행 차량: 섹션 4에서 언급했듯이 지능형 엔티티의 상호 작용은 GNN 센싱 영역에서 중요하다. 기존 접근 방식은 에이전트/차량 간의 상호작용을 그래프 노드로 모델링한다.[59, 76, 115, 138]. NGSIM US101[10] 및 I-80[5]은 두 개의 다른 고속도로에서 차량 궤적을 기록하는 데이터 세트이다. 스탠포드 드론 데이터셋[223]은 궤적 예측에 유용한 다양한 유형의 에이전트(보행자뿐만 아니라 자전거, 스케이트보더, 자동차, 버스, 골프 카트 등)의 이미지와 비디오를 수집했다.
  • 인간 활동 인식(HAR): HAR 데이터 세트에는 일반적으로 다양한 양식의 여러 센서 데이터가 포함된다. MobiAct, WISDM, MHEALTH, PAMAP2, HHAR, USC-HAD에는 모두 가속도계 데이터가 포함되어 있다. MobiAct, MHEALTH, HHAR, USC-HAD에는 자이로스코프 데이터가 있다. PAMAP2에는 심박수, 손, 가슴, 발목 등 인체 각 부위의 IMU 센서 데이터와 같은 더 많은 정보가 포함되어 있다. Mondal 등[192]은 비중첩 시간 창을 사용하여 HAR 그래프를 구성했다.
  • 수면의 질: 수면다원검사(PSG) 센서에서 추출한 정보는 수면의 질 모니터링의 황금 표준이 될 수 있다. 수면의 질 예측을 위한 두 가지 PSG 기록 데이터 세트는 MASS-SS3 [205] 및 ISRUC [122]이다. MASS-SS3를 예로 들면, 각 기록에는 20개의 뇌파 채널, 2개의 근전도 채널, 3개의 근전도 채널, 1개의 심전도 채널이 포함되어 있으며, [110]의 저자들은 특징 추출 과정을 거친 후 수면 단계 그래프를 구성했다.
  • 출발지-목적지 수요(OD 수요): 교통 문제의 일종으로[3, 8], OD 문제는 네트워크/그래프 관련 문제로 취급될 수 있다. 그러나 일부 연구[52, 143]에서는 순진한 교통 네트워크(즉, 노드로서의 구역/지역, 에지로서의 수요)에는 OD 쌍 간의 관계가 포함되어 있지 않다고 제안했다. 따라서 최신 연구에서는 OD 쌍을 노드로, 쌍 간의 관계를 에지로 간주한다.

5.1.3 Extension Data

확장 데이터 소스는 그래프 데이터에 대한 추가 정보/속성 역할을 한다. 연구자는 기존 그래프 데이터에 더 많은 도메인/전문 지식을 추가할 수 있다. 예를 들어, CMA China [317]는 대기질 예측을 돕기 위해 날씨 정보를 제공한다. NCEP [12]는 관측소뿐만 아니라 물리적 대기 모델을 갖춘 레이더의 다중 소스 관측을 제시했다.

5.2 GNN Applications in IoT

5.2.1 Robotics and Autonomous Vehicle

로봇 공학 및 자율주행차 분야에서 딥러닝 방법은 계획 및 제어를 위한 효과적인 솔루션으로 부상하고 있다. 이 분야에서는 메시지 전달을 통해 노드(예: 조인트 또는 스웜 엔티티) 간의 상호 작용과 관계를 활용하는 그래프 신경망(GNN)이 널리 적용되고 있다. GNN은 로봇의 행동과 움직임을 예측하는 데 사용되며, 작업별 목표를 위해 강화 학습과 결합하기도 한다. 또한 GNN은 로봇 간의 상호 작용을 기반으로 네트워크 구조를 구성하여 로봇 간의 통신과 조정을 가능하게 하는 다중 로봇 계획 및 분산 제어 시나리오에서 일반적으로 사용된다. 자율 주행 차량의 경우, 커넥티드 차량 간의 시공간적 관계를 활용하여 네트워크 내에서 통신 및 제어를 용이하게 하는 데 GNN이 활용되고 있다.

5.2.2 Health Inference and Informatics

스마트 헬스라고도 하는 건강 추론 및 정보학은 머신 러닝 및 데이터 과학 애플리케이션에서 중요한 영역이다. 의료 분야에서는 주로 센싱 기술보다는 전자 건강 기록(EHR)을 사용하여 그래프 신경망(GNN)이 적용되어 왔다. 그러나 센싱 기술은 웨어러블/스마트폰 센서를 이용한 수분 섭취량 모니터링, 수면 단계 감지, 낙상 감지 등 헬스케어 모니터링 및 개입에 있어 보다 편안하고 비침습적인 솔루션을 제공한다는 점에서 가능성을 보여주었다. 의료 분야는 교통 네트워크나 로봇 스웜과 같은 다른 분야에 비해 자연스러운 그래프 시나리오가 부족하기 때문에 의료 분야에서 IoT 솔루션과 함께 GNN을 효과적으로 활용할 수 있는 방법을 모색하기 위해서는 더 많은 연구가 필요하다.

5.2.3 Environment

환경 분석 도구와 모니터링 기술의 급속한 발전으로 환경 과학 및 엔지니어링(ESE) 분야에서 생성되는 데이터의 양이 증가하고 있다. 기존의 머신 러닝 방법은 미세먼지(PM 2.5) 수준 예측, 수자원 가용성, 내분비 교란 화학물질(EDC)과 같은 복잡한 ESE 문제를 해결하는 데 사용되어 왔다. 그러나 최근 그래프 신경망(GNN)의 발전은 특히 대기질 예측, 수질 상태 예측, 토양 관련 문제, 공중 보건 분석과 같은 분야에서 ESE 분야의 이러한 기존 문제를 더 잘 해결할 수 있는 가능성을 보여주었다.

5.2.4 Transportation

지능형 교통 시스템(ITS)의 맥락에서, 그래프 신경망(GNN)은 다양한 교통 관련 문제를 해결할 수 있는 가능성을 보여주었다. 여기에는 목적지 및 수요 예측, 교통 상태 예측, 조합 최적화 등이 포함된다. GNN 모델은 차량 호출 서비스 및 자전거 공유 시스템에서 출발지-목적지(OD) 수요를 예측하고, 교통 패턴을 예측하며, 여행 세일즈맨 문제(TSP) 및 차량 라우팅 문제(VRP)와 같은 조합 최적화 문제를 해결하는 데 사용되어 왔다.

5.2.5 Misc: Manufacturing, Energy, Smart Home

GNN(그래프 신경망)은 제조, 에너지, 스마트 홈 등 다양한 분야에서 활용되고 있다. 예를 들어, 적층 제조에서는 열 반응의 시공간적 종속성을 포착하기 위해 GNN을 사용하여 보이지 않는 형상에서도 높은 성능을 구현할 수 있다. 에너지 분야에서는 태양광 시스템의 성능을 예측하여 신뢰성을 확보하는 데 GNN 모델이 사용되었으며, 스마트 홈에서는 가정용 로봇의 물체 위치를 예측하는 등 에너지 사용량, 편의성, 생산성을 향상시키는 데 GNN이 활용되고 있다.

Conclusion

IoT 기기의 인기가 높아지고 다양한 영역에서 연결하고 협업할 수 있는 능력이 있다. 복잡한 감각 데이터를 처리하고 센서 네트워크 내의 관계를 파악하여 IoT 작업에서 최첨단 결과를 달성하는 데 GNN(그래프 신경망)을 사용하는 방법이 효과적이다. 이 글에서는 IoT에서 GNN 구현에 대한 개요를 제공하고, 그래프 모델링에 기반한 GNN 작업을 분류하고, 센서 인프라를 요약하며, IoT에서 GNN의 영향과 향후 방향에 대해 논의한다.

엣지컴퓨팅 네트워크 도메인에서 사용할만한 모델

1. Graph Modeling for Multi-agent Interaction

  • 특징: 다양한 멀티 에이전트 시나리오에서 에이전트 간의 상호작용을 캡처하는데 중요한 역할을 함.
  • 이유: 이 모델은 동적 거리를 인코딩하여 도로 상의 두 에이전트 간의 동적 거리를 인코딩할 수 있음.
  • 입력: 에이전트들의 상태와 행동, 상호작용 데이터.
  • 출력: 에이전트들 간의 상호작용과 관계의 예측.

2. Graph Neural Networks for IoT Sensor Interconnection

  • 특징: 공간적 연결이나 잠재 연결을 가진 그래프 구조 데이터를 생성할 수 있음.
  • 이유: 전통적인 딥러닝 모델들이 제공할 수 없는 연결을 제공하여 복잡한 상호작용을 모델링할 수 있음.
  • 입력: 센서 데이터, 그래프 구조 데이터.
  • 출력: 센서들 간의 복잡한 상호작용과 관계의 예측.

3. Data-Driven Approaches for Sensor Connection

  • 특징: 센서들 간의 동적 연결이나 지식 표현을 위한 엣지 연결을 생성함.
  • 이유: 데이터 기반 접근 방식을 사용하여 센서들 간의 관계를 학습할 수 있음.
  • 입력: 센서 데이터, 동적 연결 데이터.
  • 출력: 센서들 간의 동적 연결과 관계의 예측.

4. Deep Learning Methods for Edge Connection

  • 특징: CNNs와 RNNs 같은 딥러닝 방법을 사용하여 엣지의 잠재 표현을 생성함.
  • 이유: 이러한 방법들은 그래프 내 노드의 시간적 및 지역 그래프 구조 변화를 인코딩할 수 있음.
  • 입력: 그래프 데이터, 시간적 데이터.
  • 출력: 그래프 내 노드들의 시간적 및 구조적 변화의 예측.

5. Urban Sensing for Environment Monitoring

  • 특징: 실시간 공간-시간 데이터 스트림을 제공하여 도시 환경의 복잡한 동적 파라미터를 설명함.
  • 이유: 이 모델은 도시의 교통 속도/흐름, 병원 방문 요구, 비즈니스 핫스팟 등을 모니터링할 수 있음.
  • 입력: IoT 센서 데이터, 공간-시간 데이터 스트림.
  • 출력: 도시 환경의 동적 파라미터의 모니터링 결과.

특별한 응용 분야에서의 GNN 모델

  • SS-GIT, GIT: 정신 건강 추론
  • ST-GCNN, GCN: 신경자극 분류
  • SRDA, GCN: 이상 탐지
  • GCNN, ChebNet: 비디오 식별
  • GraphConvLSTM, GFT: 활동 인식
  • DGCNN, GFT: 감정 인식
  • GCNN, GCN: 신경학적 장애 진단
  • G-GRL, GeoScattering: 코르티솔 수준 예측
  • GCNs-Net, GFT: 모터 이미지 분류
  • SOGNN, GFT: 감정 인식
  • Multi-GNN, GraphSage: 증상 인식
  • RGNN, GCN: 감정 인식
  • TSR-GNN, GIN: 유체 섭취 예측
  • ST-GCN, GCN: 증상 인식
저작자표시

'DeepLearning > Paper Riview' 카테고리의 다른 글

IGNNITION: Bridging the Gap Between Graph Neural Networks and Networking Systems 논문 정리  (2) 2023.10.10
Unsupervised Resource Allocation with Graph Neural Networks 코드 분석  (0) 2023.09.19
Unsupervised Resource Allocation with Graph Neural Networks 논문 리뷰  (0) 2023.09.19
'DeepLearning/Paper Riview' Related Articles more