Deep Learning/Object Tracking

Tracking Evaluation Metrics

  • -
728x90
반응형

MT; Mostly Tracked trajectories↑ : 궤적의 수명(한 object의 궤적에 대해 동일한 ID를 가진 정도 혹은 시간)이 최소 80% 이상인 궤적의 수
PT; Partially Tracked trajectories : 궤적의 수명이 20~80% 인 궤적의 수
ML; Mostly Lost trajectories↓ : 궤적의 수명이 최대 20% 인 궤적의 수
FP; False Positive↓ : 검출되지 않아야 할 것이 검출된 것의 수
FN; False Negative↓ : 검출되어야 할 것이 검출되지 않은 것의 수
Pr; Precision↑ : 검출 결과가 실제 객체와 얼마나 일치하는가? 
$$ Precision=\frac{TP}{TP+FP} $$
Re; Recall↑ : 실제 객체를 얼마나 정확히 검출하였는가?
$$ Recall=\frac{TP}{TP+FN} $$
Frag; Fragmentations↓ : detection miss로 인해 track update가 중단되어 단편화된 것의 수
IDS; ID Switch↓ : object에 부여된 ID가 바뀌어서 나온 것의 수
MOTA; Multi-Object Tracking Accuracy↑ : FP, FN, ID Switch를 모두 반영한 전반적인 성능으로, 객체의 위치 예측 정확도와는 무관 
$$ MOTA=1-\frac{FN+FP+IDS}{GT} $$
sMOTSA; soft Multi-Object Tracking and Segmentation Accuracy↑
MOTP; Multi-object Tracking Precision↓ : IoU를 이용한 distance \( d \), GT와 매칭된 detection box \( c \)를 이용한 전반적인 성능으로, 객체의 인식과 궤적의 유지 능력과는 무관
$$ MOTP=\frac{\sum_{i,t}{d^{i}_{t}}}{\sum_{t}{c_{t}}} $$
HOTA; High Order Tracking Accuracy↑ : detection score와 association score의 조합으로 accurate detection과 association의 균형을 맞춘 것으로, detection similarity threshold를 0.05 부터 0.95까지 0.05 intervals로 값을 바꿔가면서 측정
$$ HOTA_{\alpha} = \sqrt{\frac{\sum _{c \in \{\text {TP}\}} \frac{|\text {TPA}(c)|}{|\text {TPA}(c)| + |\text {FNA}(c)| + |\text {FPA}(c)|} }{|\text {TP}| + |\text {FN}| + |\text {FP}|}}, \text{**A(c) is Association} $$
MODA; Multi-Object Detection Accuracy↑
MODP; Multi-Object Detection Precision↑
IDF1↑ : ID 부여에 대해 F1 score를 구한것으로, F1 score는 Precision과 Recall의 조화평균 
$$ IDF1=\frac{2 \times Precision \times Recall}{Precision + Recall}=\frac{TP}{TP+0.5\times FN+0.5\times FP} $$
 

참고 링크

https://jhtechblog.tistory.com/entry/Object-tracking-metric-설명
https://jjeamin.github.io/posts/sort
https://arshren.medium.com/evaluation-metrics-for-multiple-object-tracking-7b26ef23ef5f
https://junha1125.github.io/blog/artificial-intelligence/2021-02-19-MOTS
https://arshren.medium.com/evaluation-metrics-for-multiple-object-tracking-7b26ef23ef5f

728x90
반응형

'Deep Learning > Object Tracking' 카테고리의 다른 글

Seperate Detection and Embedding  (0) 2023.03.10
re-identification  (0) 2023.02.13
Object Tracking  (0) 2023.02.13
HOTA: High Order Tracking Accuracy  (0) 2023.02.07
Tracklet과 Trajectory  (0) 2022.07.30
Contents

포스팅 주소를 복사했습니다

이 글이 도움이 되었다면 공감 부탁드립니다.