Tracking Evaluation Metrics

MT; Mostly Tracked trajectories↑ : 궤적의 수명(한 object의 궤적에 대해 동일한 ID를 가진 정도 혹은 시간)이 최소 80% 이상인 궤적의 수
PT; Partially Tracked trajectories : 궤적의 수명이 20~80% 인 궤적의 수
ML; Mostly Lost trajectories↓ : 궤적의 수명이 최대 20% 인 궤적의 수
FP; False Positive↓ : 검출되지 않아야 할 것이 검출된 것의 수
FN; False Negative↓ : 검출되어야 할 것이 검출되지 않은 것의 수
Pr; Precision↑ : 검출 결과가 실제 객체와 얼마나 일치하는가? 
$$Precision=\frac{TP}{TP+FP}$$
Re; Recall↑ : 실제 객체를 얼마나 정확히 검출하였는가?
$$Recall=\frac{TP}{TP+FN}$$
Frag; Fragmentations↓ : detection miss로 인해 track update가 중단되어 단편화된 것의 수
IDS; ID Switch↓ : object에 부여된 ID가 바뀌어서 나온 것의 수
MOTA; Multi-Object Tracking Accuracy↑ : FP, FN, ID Switch를 모두 반영한 전반적인 성능으로, 객체의 위치 예측 정확도와는 무관 
$$MOTA=1-\frac{FN+FP+IDS}{GT}$$
sMOTSA; soft Multi-Object Tracking and Segmentation Accuracy↑
MOTP; Multi-object Tracking Precision↓ : IoU를 이용한 distance $d$, GT와 매칭된 detection box $c$를 이용한 전반적인 성능으로, 객체의 인식과 궤적의 유지 능력과는 무관
$$MOTP=\frac{\sum_{i,t}{d^{i}_{t}}}{\sum_{t}{c_{t}}}$$
HOTA; High Order Tracking Accuracy↑ : detection score와 association score의 조합으로 accurate detection과 association의 균형을 맞춘 것으로, detection similarity threshold를 0.05 부터 0.95까지 0.05 intervals로 값을 바꿔가면서 측정
$$HOTA_{\alpha} = \sqrt{\frac{\sum _{c \in \{\text {TP}\}} \frac{|\text {TPA}(c)|}{|\text {TPA}(c)| + |\text {FNA}(c)| + |\text {FPA}(c)|} }{|\text {TP}| + |\text {FN}| + |\text {FP}|}}, \text{**A(c) is Association}$$
MODA; Multi-Object Detection Accuracy↑
MODP; Multi-Object Detection Precision↑
IDF1↑ : ID 부여에 대해 F1 score를 구한것으로, F1 score는 Precision과 Recall의 조화평균 
$$IDF1=\frac{2 \times Precision \times Recall}{Precision + Recall}=\frac{TP}{TP+0.5\times FN+0.5\times FP}$$
 

참고 링크

https://jhtechblog.tistory.com/entry/Object-tracking-metric-설명
https://jjeamin.github.io/posts/sort
https://arshren.medium.com/evaluation-metrics-for-multiple-object-tracking-7b26ef23ef5f
https://junha1125.github.io/blog/artificial-intelligence/2021-02-19-MOTS
https://arshren.medium.com/evaluation-metrics-for-multiple-object-tracking-7b26ef23ef5f