[11] Knowledge-Embedded Routing Network for Scene Graph Generation

2023. 3. 8. 22:48·Paper Review/Image Scene Graph Generation
728x90
반응형

논문 링크 : https://openaccess.thecvf.com/content_CVPR_2019/papers/Chen_Knowledge-Embedded_Routing_Network_for_Scene_Graph_Generation_CVPR_2019_paper.pdf

​

Github : https://github.com/yuweihao/KERN

 

<Introduction>

이 논문에서는 데이터 집합의 데이터 분포 불균형 문제를 해결하여 장면 그래프 생성의 성능을 개선하고자 하였습니다.

VG 데이터 집합의 분포

이를 위해 물체-물체, 물체- 관계 사이의 통계적 상관관계를 이용하고 이를 구조화된 하나의 지식 그래프로 표현하였습니다. 또한 이 지식 그래프를 이용하기 위해 그래프 신경망을 적용하였습니다.

​

​

<Model>

전체 구조도

1) Bounding box localization

Faster R-CNN을 사용하여 물체 영역을 탐지합니다.

​

2) Knowledge-embedded routing network

탐지된 영역들은 노드로 생성되며 아래 그림은 생성되는 그래프의 자세한 구조입니다.

(a) 모든 영역들 사이를 연결하는 그래프 (전체 구조도의 앞 부분)

- GRU를 이용하여 message 계산

- 각 노드 업데이트

​

(b) 한 영역 사이를 연결하는 그래프 => 물체 쌍 하나마다 모든 관계 클래스에 대한 노드 존재 (전체 구조도의 뒷 부분)

​

​

<Result>

Dataset

- Visual Genome

​

Metrics

- Predicate classification (PredCls)

- Scene graph classification (SGCls)

- Scene graph generation (SGGen)

​

​

<결론>

- 물체 쌍과 그 관계 간의 통계적 상관 관계에 대한 사전 지식이용 => 대상 물체 쌍이 주어진 관계 예측의 의미 공간을 정규화하는 데 정보를 제공, 따라서 서로 다른 관계에 대한 불균등한 분포 문제를 효과적으로 해결가능하게 함.

- 이러한 상관 관계가 지식 그래프를 그래프로 표현 => routing mechanism은 구조화된 지식을 그래프를 통해 노드로 메시지를 전달하도록 학습됨

728x90
반응형
저작자표시 (새창열림)

'Paper Review > Image Scene Graph Generation' 카테고리의 다른 글

[13] Memory-Based Network for Scene Graph with Unbalanced Relations  (0) 2023.03.08
[12] Hierarchical Graph Attention Network for Visual Relationship Detection  (0) 2023.03.08
[10] On Exploring Undetermined Relationships for Visual Relationship Detection  (0) 2023.03.08
[9] Relation Transformer Network  (0) 2023.03.07
[8] Bridging Knowledge Graphs to Generate Scene Graphs  (0) 2023.03.07
'Paper Review/Image Scene Graph Generation' 카테고리의 다른 글
  • [13] Memory-Based Network for Scene Graph with Unbalanced Relations
  • [12] Hierarchical Graph Attention Network for Visual Relationship Detection
  • [10] On Exploring Undetermined Relationships for Visual Relationship Detection
  • [9] Relation Transformer Network
ga.0_0.ga
ga.0_0.ga
    반응형
    250x250
  • ga.0_0.ga
    ##뚝딱뚝딱 딥러닝##
    ga.0_0.ga
  • 전체
    오늘
    어제
    • 분류 전체보기 (181)
      • Paper Review (51)
        • Video Scene Graph Generation (6)
        • Image Scene Graph Generation (18)
        • Graph Model (5)
        • Key Information Extraction (4)
        • Fake Detection (2)
        • Text to Image (1)
        • Diffusion Personalization (4)
        • etc (11)
      • AI Research (49)
        • Deep Learning (30)
        • Artificial Intelligence (15)
        • Data Analysis (4)
      • Pytorch (10)
      • ONNX (5)
      • OpenCV (2)
      • Error Note (34)
      • Linux (2)
      • Docker (3)
      • Etc (7)
      • My Study (16)
        • Algorithm (10)
        • Project (4)
        • Interview (2)
  • 블로그 메뉴

    • 홈
    • 태그
    • 방명록
  • 링크

  • 공지사항

  • 인기 글

  • 태그

    dataloader
    tensorflow
    RuntimeError
    활성화 함수
    Inductive bias
    i3d
    ONNX
    차원의 저주
    fine tuning
    Logistic regression
    알고리즘
    contiguous
    forch.nn.functional
    나이브 베이즈 분류
    dataset
    GCN
    permute
    JNI
    오차 역전파
    linear regression
    그래프신경망
    Activation Function
    정규화
    torch.nn
    TypeError
    pytorch
    pandas
    transformer
    HRNet
    3dinput
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.0
ga.0_0.ga
[11] Knowledge-Embedded Routing Network for Scene Graph Generation
상단으로

티스토리툴바