[8] Bridging Knowledge Graphs to Generate Scene Graphs

논문 링크 : https://arxiv.org/pdf/2001.02314.pdf

Github : https://github.com/alirezazareian/gbnet

 

<Introduction>

[7]의 논문과 동일하게 외부 지식 베이스를 이용합니다. 차이점은 본 논문에서는 외부 지식베이스로부터 추출한 지식들을 가지고 별도의 상식 그래프(Common Sense Graph)를 설계하여 사용한다는 점입니다. 또한 ConceptNet이외에도 WordNet, Visual Genome에 관한 정보 등을 추가로 사용합니다.

마지막으로 생성된 장면 그래프를 정답이라 생각되는 상식 그래프의 노드들에 연결하는 방법 또한 제안합니다.

이를 위해 먼저 아래와 같은 상식 그래프의 정의와 문제 정의가 필요합니다.

​

​

<Model>

전체 구조도

1) Region Proposal

Faster R-CNN이용

​

2) Commonsense Graph Construction

- 3가지의 데이터 베이스를 이용하여 사람이 수동으로 미리 만들어 둔 그래프(200개의 노드 타입 / 19개의 엣지 타입)

​

3) Graph Initialization

1에서 얻은 feature들을 이용해 각 물체와 관계의 클래스를 예측하여 상식 그래프의 동일 클래스 노드와 연결

​

4) Message Passing and Bridging

- outgoing message

- ingoing message

- GRU를 이용한 업데이트

- edge weighting

위 과정들을 거쳐 생성된 장면 그래프의 노드들이 상식 그래프의 노드들로 연결되며, 연결된 노드가 장면 그래프의 각 노드의 클래스가 되는 것입니다.

​

​

<Result>

Dataset

- Visual Genome

​

Metrics

- SGGen : 물체 영역, 종류, 관계 모두 예측

- SGCls : 물체 종류, 관계 예측

- PredCls : 관계만 예측

제안하는 모델이 가장 높은 성능을 보이고 있음을 확인할 수 있습니다.

​

​

<결론>

- ConceptNet, WordNet 등 다양한 외부 지식 베이스를 이용하여 상식 그래프 설계

- 설계된 상식 그래프를 장면 그래프 생성에 사용

- 생성된 장면 그래프와 상식 그래프를 연결하는 새로운 딥러닝 모델 제안