논문 링크 : https://dl.acm.org/doi/10.1145/3394171.3413764
<Introduction>
주어지는 비디오에 대해 등장 물체와 그들 사이의 관계를 탐지하는 논문입니다.
[1]-[4] 논문과 동일하게 segment 접근 법을 사용하고 있습니다.
▶새로운 Relation association 방법 제안
=> Multiple Hypothesis Association
=> 짧은 비디오에만 효과가 있던 기존의 방법 개선
(a) Triplet의 클래스가 같고 가까울 때도 association가능
(b) 중간에 관계가 탐지되지 않은 경우에도 association가능
Relation association 방법에 대해서만 제안하며 물체 tracklet생성 및 관계 탐지는 기존의 다른 모델들을 사용하여 비교실험 진행합니다.
<Model>
association방법을 나타내는 구조도
Gating, Scoring, Pruning 3단계로 구성
1) Gating
Former track trees: 이전 segment까지 생성된 트리
Current observation: 현재 segment의 triple들(triple, tracklet, score 정보포함)
2) Scoring
연결된 경로들의 점수 계산
이전 노드와 연결 가능성 및 관계 유사성 파악
3) Pruning
가능성이 낮은 가지들은 제거
- 전체적인 과정을 나타내는 알고리즘 슈도 코드
<Result>
Dataset
- VidVRD
- VidOR
Metrics
- Relationship Detection : 등장 물체의 트랙 위치, 물체 클래스, 관계를 모두 맞춰야 정답으로 인정, Recall 사용
- Relationship Tagging : 탐지한 triple이 정답 triple에 포함되면 정답으로 인정, Precision 사용
<결론>
- 새로운 Relationship association 알고리즘인 MHA 제안
- tracklet을 탐지하고 관계를 예측할 때 부정확하거나 누락된 탐지 결과를 다루기위해 관계의 다중 가설을 추적하고 유지하기 위해 동적 관계 가설 트리를 이용