<Intorduction>
이 논문은 SGRN(Semantic Guided Graph Relation Neural Network)이라는 새로운 관계 탐지 모델을 제안합니다.
이 모델은 관계의 특징으로부터 객체의 특징 개선하고 반대로 객체의 특징으로부터 관계 특징을 개선할 수 있다는 특징을 가집니다. 또한 과도하게 많은 물체 쌍들 중에서 실제로 관계가 있는 물체 쌍들만 골라내기 위해 SRePN(Semantic Guided Relation Proposal Sub Network)이라는 물체 쌍 제안 네트워크를 제안합니다. 또한, 최종 예측단계에서 물체 클래스를 관계 클래스에 이용하기 위해 Subject물체와 object물체 클래스 임베딩을 사용합니다.
<Model>
전체 구조도
1) Proposals of Objects and Relationships
Faster R-CNN을 사용하여 등장하는 물체들의 영역 탐지 => 탐지된 모든 물체 영역들을 연결하여 fully connected graph설계
SRePN : Visual Genome의 captioin데이터 집합으로 학습된 Word2Vec모델을 이용하여 의미있는 물체 쌍 제안
2) Source-taregt-aware Refinement
(a) Message pass to object
- 이전 방식들과는 다르게 source, target obj모두를 이용하여 갱신
(b) Message pass to phrase
- 관련있는 물체쌍과 relationship이용하여 갱신
3) Relationship Recognition
최종 feature값을 이용하여 가장 높은 확률의 class채택
=> 물체 예측 후 물체 class의 단어 벡터를 관계 예측에 사용
<Result>
Dataset : Visual Genome
Metrics
=> PredCls: relation만 예측
=> SGCls: object class와 relation예측
=> SGGen: 물체의 영역, class, relation 모두 예측
<결론>
- 장면 그래프를 생성하는 새로운 모델인 SGRN 제안
- 단어 벡터를 이용하는 물체 쌍 제안 네트워크인 SRePN 제안
댓글