https://arxiv.org/abs/2110.06864
ByteTrack: Multi-Object Tracking by Associating Every Detection Box
Multi-object tracking (MOT) aims at estimating bounding boxes and identities of objects in videos. Most methods obtain identities by associating detection boxes whose scores are higher than a threshold. The objects with low detection scores, e.g. occluded
arxiv.org
이 논문은 data association 기법을 제안하는 논문으로, 점수가 낮은 bounding box를 무시하지 않고 이용하여 성능을 높였다.
Introduction
low score bounding box를 그냥 제거하지 않고, tracklet 정보와 비교하여 객체인지 배경인지 판단함으로써, occlusion에 해당하는 객체를 지속해서 추적할 수 있다. 이를 위해 association method인 BYTE를 제안한다.
Some tracklets get unmatched because they do not match to an appropriate high score detection box, which usually happens when occlusion, motion blur or size changing occurs.
1. 먼저 점수가 높은 bounding box에 대해 tracklet (칼만필터 사용) 과의 similarity를 계산한다. (motion, appearance)
2. unmatched tracklet에 대해 second matching을 수행한다.(motion similarity 기준)
Methods
1. high score detection box와 low score detection box를 분리한다.
2. tracklet에 대해 kalman filter를 적용하여 현재 프레임에서의 위치를 예측한다.
3. associate the high score detection boxes to the tracklets(motion/IoU, appearance/Re-ID features)
4. 헝가리안 알고리즘 적용하여 매칭 수행
5. associate the low score detection boxes and these unmatched tracklets(motion/IoU)
6. 헝가리안 알고리즘 적용하여 매칭 수행
7. delete unmatched detection(배경으로 간주)
두번째 매칭 단계에서 motion에 대한 similrity만 사용하는 것이 포인트.(occlusion의 경우 appearance정보는 고려하지 않고 motion 정보만 고려해야 하기 때문..)
Results
이 association algorithm은 여타 sota 모델에 적용할 수 있다.
