[11] Knowledge-Embedded Routing Network for Scene Graph Generation

논문 링크 : https://openaccess.thecvf.com/content_CVPR_2019/papers/Chen_Knowledge-Embedded_Routing_Network_for_Scene_Graph_Generation_CVPR_2019_paper.pdf

​

Github : https://github.com/yuweihao/KERN

 

<Introduction>

이 논문에서는 데이터 집합의 데이터 분포 불균형 문제를 해결하여 장면 그래프 생성의 성능을 개선하고자 하였습니다.

VG 데이터 집합의 분포

이를 위해 물체-물체, 물체- 관계 사이의 통계적 상관관계를 이용하고 이를 구조화된 하나의 지식 그래프로 표현하였습니다. 또한 이 지식 그래프를 이용하기 위해 그래프 신경망을 적용하였습니다.

​

​

<Model>

전체 구조도

1) Bounding box localization

Faster R-CNN을 사용하여 물체 영역을 탐지합니다.

​

2) Knowledge-embedded routing network

탐지된 영역들은 노드로 생성되며 아래 그림은 생성되는 그래프의 자세한 구조입니다.

(a) 모든 영역들 사이를 연결하는 그래프 (전체 구조도의 앞 부분)

- GRU를 이용하여 message 계산

- 각 노드 업데이트

​

(b) 한 영역 사이를 연결하는 그래프 => 물체 쌍 하나마다 모든 관계 클래스에 대한 노드 존재 (전체 구조도의 뒷 부분)

​

​

<Result>

Dataset

- Visual Genome

​

Metrics

- Predicate classification (PredCls)

- Scene graph classification (SGCls)

- Scene graph generation (SGGen)

​

​

<결론>

- 물체 쌍과 그 관계 간의 통계적 상관 관계에 대한 사전 지식이용 => 대상 물체 쌍이 주어진 관계 예측의 의미 공간을 정규화하는 데 정보를 제공, 따라서 서로 다른 관계에 대한 불균등한 분포 문제를 효과적으로 해결가능하게 함.

- 이러한 상관 관계가 지식 그래프를 그래프로 표현 => routing mechanism은 구조화된 지식을 그래프를 통해 노드로 메시지를 전달하도록 학습됨