Nuscenes Tracking Metric

MOTA(Multi-Object Tracking Accuracy)

$m_t$ : number of misses(놓친 객체 수) == FN

$fp_t$ : number of false positives(잘못 등록한 객체 수) == FP

$mme_t$ : number of ID switches(ID가 잘못 부여된 객체 수)

$g_t$ : number of objects(모든 객체 수)

범위 : -∞ ~ 1

threshold에 따른 MOTA를 평균을 취한 것 : AMOTA

 

추적 성능을 평가하는데 주로 사용

 

MOTP(Multi-Object Tracking Precision) 

$d^i_t$ : 추적된 객체와 실제 위치 간 거리

$c_t$ : 정확하게 추적된 객체 수

범위 : 0 ~ ∞

threshold에 따른 MOTP를 평균을 취한 것 : AMOTP

 

추적 정확도를 의미한다.

 

MOTAR(Multi-Object Tracking and Recognition)

 

P : 추적에 성공한 객체 수

 

분자에서 추적은 성공하였지만, 올바르게 인식하지 못 한 경우((1-r)*P)를 뺀다. 

객체의 추적 뿐 아니라, 인식까지 고려하는 지표로 볼 수 있다.

 

FAF(False Alarms per Frame)

프레임 당 False alarms의 수

 

MT(Mostly Tracked)

객체가 등장하는 프레임에서 일정 비율(ex. 80%)이상 추적에 성공한 객체의 수

 

ML(Mostly Lost)

객체가 등장하는 프레임에서 일정 비율(ex. 20%)이하로 추적에 성공한 객체의 수

 

IDS(ID Switch)

ID가 바뀐 수

 

FPS(Frame Per Second)

1초에 처리할 수 있는 프레임의 수

주로 실시간성을 확인할 때 사용하는 지표이다.

 

FRAG(number of track fragmentations)

trajectory 단절된 시간의 총합

 

TID (average track initialization duration in seconds)

추적 시스템이 작동을 시작한 후 처음으로 객체를 성공적으로 감지하고 추적하기 시작하는 데 걸리는 시간

 

LGD (average longest gap duration in seconds)

추적 시스템이 객체를 추적하지 못하고 놓친 가장 긴 지속 시간

 

Recall, TP, FP, FN

• True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답)
• False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답)
• False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답)
• True Negative(TN) : 실제 False인 정답을 False라고 예측 (정답)

실제 정답 중 정답으로 분류한 수