[리뷰] ByteTrack: Multi-Object Tracking by Associating Every Detection Box

이번에는 최근 MOT에서 SOTA를 달성한 ECCV 2022에 게재된 논문인 ByteTrack: Multi-Object Tracking by Associating Every Detection Box를 읽고, 리뷰해보고자 합니다.

Index
1. Background
    1.1. Kalman Filter
    1.2. Hungarian Algorithm
    1.3. Simple Online Realtime Tracking
    1.4. DeepSORT
2. Abstract
3. Introduction
4. Related Work
    4.1. Object Detection in MOT
    4.2. Data Association
5. Method
    5.1. Overview
    5.2. Algorithm
6. Experiment
7. Conclusion 

1. Background

1.1. Kalman Filter

Kalman Filter

1.2. Hungarian Algorithm

• kalman filter에서 이전 frame에서 발견된 object와 다음 frame에서 발견된 object가 동일하다는 것을 판별하기 위해 사용
• 최적의 매칭을 찾는 알고리즘으로 할당 문제의 해결 방법 중 하나
• 즉, tracker가 data를 association할 때 이용

1.3. SORT(Simple Online Realtime Tracking)

• 실시간 추적을 위해 object들을 효율적으로 연관지어줌
• online tracking은 미래 frame에 대한 정보 없이, 과거와 현재 frame의 detection 정보만을 사용하여 연관 관계에 대한 tracking을 수행하는 방식
• kalman filter는 occlusion과 IDSW 등에 불안정한 한계를 가짐

1.4. DeepSORT

• deep appearance descriptor으로 ReID모델을 적용하여 IDSW 문제 해결
• matching cascade로직으로 더 정확한 추적 가능

 

2. Abstract

• 대부분의 MOT는 detection을 기반으로하며, tracking algorithm은 detection box의 confidence score가 threshold보다 높을 때, tracking에 이용
  • occlusion이 발생하거나, 다양한 원인들로 인해 trajectory가 분리되어 성능이 하락
• 위의 문제를 해결하기 위해, confidence score가 낮은 detection box에 대해서도 고려할 수 있는 association method(= tracking algorithm) 제시

 

3. Introduction

• 기존의 SOTA MOT 방법들은 detection box로 인한 true positive / false positive 문제를 다룸
  • threshold를 기준으로 그보다 낮은 confidence score의 detection box를 제거하면서 발생하는 TP / FP
  • 그러나 이런 모든 box를 제거하는 것은 occlusion된 동일한 object였을 수 있으므로 옳지 않은 방법이며, 이러한 잘못된 제거 때문에 fragment trajectory 발생
• 본 논문에서는 tracklet의 similarity가 confidence score가 낮은 detetction box도 object랑 background를 구분하는 단서로 생각하고, tracking에 이용
• detector로 YOLOX를 이용

• 기존의 method는 \( t_{2} \), \( t_{3} \) 시점에 2번 object에 대해 tracking이 불가능
  • 4번 object는 애초에 tracking 하지 않음
• 그러나, ByteTrack은 \( t_{2} \), \( t_{3} \) 시점에 score가 낮은 2, 4번 object에 대해 similarity를 구하여 한 번 더 고려하는 과정을 통해 tracking 가능

 

4. Related Work

4.1. Object Detection in MOT

• 대부분의 tracking은 detection을 기반으로 수행
• tracking by detection
  • occlusion이나 motion blur가 발생하여 detection box의 confidence score가 낮아지는 문제가 발생하기 때문에, detection에 이전 frame의 정보를 활용
• detection by tracking
  • tracking 결과를 통해 다음 frame에서 tracklet의 위치를 예측하여, 이를 detection 성능 향상에 이용하기도 함

4.2. Data Association

• trajectory과 detection box의 similarity를 계산하여 tracklet 구성
• similarity metrics
  • location와 motion similarity는 short-range matching에서 정확함
  • appearance similarity는 장거리 매칭에 도움
• matching strategy
  • hungarian algorithm이나 greedy assignment에 의해 detection box에 대해 유사성 계산 후, object에 ID를 할당하는 과정 수행
• SORT, DeepSORT, MOTDT, QDTrack, Attention 등과 같은 다양한 방법 존재

 

5. Method

5.1. Overview

• 이전의 SOTA 방법들과 달리, 거의 모든 detection box를 보관하고 높은 점수와 낮은 점수로 분리
• 우선 motion이나 appearance similarity를 기반으로 score가 높은 detection box에 대해 tracklet과 일치시킴
• 다음으로  score가 낮은 detection box에 대해 motion similarity를 이용하여 일치하지 않는 tracklet을 연결

5.2. Algorithm

 

6. Experiment

• 사용된 similarity에 따른 성능 차이

• Data Association 방법에 따른 성능 차이

• SORT와의 성능 비교

• BYTE 알고리즘 적용 시 성능 변화

• MOT'YY' 데이터 셋에서 SOTA 달성

 

7. Conclusion 

• BYTE는 기존의 tracker에 쉽게 적용할 수 있는 알고리즘
• ByteTrack은 높은 detection 성능과 low score detection box를 association하는 robust한 tracker임
• MOT 성능의 향상을 위해 detection 결과를 최대한 활용

 

 

논문 링크

https://arxiv.org/abs/2110.06864

https://github.com/ifzhang/ByteTrack

 

참고 링크

https://gngsn.tistory.com/94

https://gazelle-and-cs.tistory.com/29