[11] Knowledge-Embedded Routing Network for Scene Graph Generation

2023. 3. 8. 22:48·Paper Review/Image Scene Graph Generation
728x90
반응형

논문 링크 : https://openaccess.thecvf.com/content_CVPR_2019/papers/Chen_Knowledge-Embedded_Routing_Network_for_Scene_Graph_Generation_CVPR_2019_paper.pdf

​

Github : https://github.com/yuweihao/KERN

 

<Introduction>

이 논문에서는 데이터 집합의 데이터 분포 불균형 문제를 해결하여 장면 그래프 생성의 성능을 개선하고자 하였습니다.

VG 데이터 집합의 분포

이를 위해 물체-물체, 물체- 관계 사이의 통계적 상관관계를 이용하고 이를 구조화된 하나의 지식 그래프로 표현하였습니다. 또한 이 지식 그래프를 이용하기 위해 그래프 신경망을 적용하였습니다.

​

​

<Model>

전체 구조도

1) Bounding box localization

Faster R-CNN을 사용하여 물체 영역을 탐지합니다.

​

2) Knowledge-embedded routing network

탐지된 영역들은 노드로 생성되며 아래 그림은 생성되는 그래프의 자세한 구조입니다.

(a) 모든 영역들 사이를 연결하는 그래프 (전체 구조도의 앞 부분)

- GRU를 이용하여 message 계산

- 각 노드 업데이트

​

(b) 한 영역 사이를 연결하는 그래프 => 물체 쌍 하나마다 모든 관계 클래스에 대한 노드 존재 (전체 구조도의 뒷 부분)

​

​

<Result>

Dataset

- Visual Genome

​

Metrics

- Predicate classification (PredCls)

- Scene graph classification (SGCls)

- Scene graph generation (SGGen)

​

​

<결론>

- 물체 쌍과 그 관계 간의 통계적 상관 관계에 대한 사전 지식이용 => 대상 물체 쌍이 주어진 관계 예측의 의미 공간을 정규화하는 데 정보를 제공, 따라서 서로 다른 관계에 대한 불균등한 분포 문제를 효과적으로 해결가능하게 함.

- 이러한 상관 관계가 지식 그래프를 그래프로 표현 => routing mechanism은 구조화된 지식을 그래프를 통해 노드로 메시지를 전달하도록 학습됨

728x90
반응형
저작자표시 (새창열림)

'Paper Review > Image Scene Graph Generation' 카테고리의 다른 글

[13] Memory-Based Network for Scene Graph with Unbalanced Relations  (0) 2023.03.08
[12] Hierarchical Graph Attention Network for Visual Relationship Detection  (0) 2023.03.08
[10] On Exploring Undetermined Relationships for Visual Relationship Detection  (0) 2023.03.08
[9] Relation Transformer Network  (0) 2023.03.07
[8] Bridging Knowledge Graphs to Generate Scene Graphs  (0) 2023.03.07
'Paper Review/Image Scene Graph Generation' 카테고리의 다른 글
  • [13] Memory-Based Network for Scene Graph with Unbalanced Relations
  • [12] Hierarchical Graph Attention Network for Visual Relationship Detection
  • [10] On Exploring Undetermined Relationships for Visual Relationship Detection
  • [9] Relation Transformer Network
ga.0_0.ga
ga.0_0.ga
    반응형
    250x250
  • ga.0_0.ga
    ##뚝딱뚝딱 딥러닝##
    ga.0_0.ga
  • 전체
    오늘
    어제
    • 분류 전체보기 (181)
      • Paper Review (51)
        • Video Scene Graph Generation (6)
        • Image Scene Graph Generation (18)
        • Graph Model (5)
        • Key Information Extraction (4)
        • Fake Detection (2)
        • Text to Image (1)
        • Diffusion Personalization (4)
        • etc (11)
      • AI Research (49)
        • Deep Learning (30)
        • Artificial Intelligence (15)
        • Data Analysis (4)
      • Pytorch (10)
      • ONNX (5)
      • OpenCV (2)
      • Error Note (34)
      • Linux (2)
      • Docker (3)
      • Etc (7)
      • My Study (16)
        • Algorithm (10)
        • Project (4)
        • Interview (2)
  • 블로그 메뉴

    • 홈
    • 태그
    • 방명록
  • 링크

  • 공지사항

  • 인기 글

  • 태그

    ONNX
    그래프신경망
    pytorch
    나이브 베이즈 분류
    pandas
    TypeError
    알고리즘
    정규화
    Inductive bias
    RuntimeError
    forch.nn.functional
    contiguous
    dataset
    오차 역전파
    linear regression
    GCN
    fine tuning
    i3d
    HRNet
    tensorflow
    dataloader
    transformer
    3dinput
    차원의 저주
    Activation Function
    활성화 함수
    torch.nn
    permute
    Logistic regression
    JNI
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.0
ga.0_0.ga
[11] Knowledge-Embedded Routing Network for Scene Graph Generation
상단으로

티스토리툴바