Which Framework is Suitable for Online 3D Multi-Object Tracking for Autonomous Driving with Automotive 4D Imaging Radar?

https://arxiv.org/abs/2309.06036

Which Framework is Suitable for Online 3D Multi-Object Tracking for Autonomous Driving with Automotive 4D Imaging Radar?

 

INTRODUCTION

 point object tracking(POT) 3D MOT frameworks는 주로 tracking-by-detection(TBD)를 사용하였다.

반면, extended object tracking(EOT) 3D MOT frameworks는 joint detection and tracking(JDT)를 사용하는데 최근에 연구되고 있다.

POT(point object tracking) - each object only generates at most one measurement per sensor scan

EOT(extended object tracking) - a object can generate multiple measurements per sensor scan

 

본 논문에서는 TBD-EOT framework를 제안하면서 4D imaging radar dataset(View-of-Delta, TJ4DRadSet)에서 TBD-POT framework, JDT-EOTframework와 비교한다.

이를 통해 TBD방식이 JDT에 비해 적합함을 보인다.

 

contributions은 다음과 같다.

• povided first benchmark for subsequent studies on 4D imaging radar-based online 3D MOT by comparing POT and EOT frameworks.
• proposed TBD-EOT framework, which leverages the strength of deep learning-based object detector.
• Experiment results indicate that the conventional TBDPOT framework remains preferable for online 3D MOT with 4D imaging radar due to its high tracking performance and computational efficiency. However, the TBD-EOT framework can outperform TBD-POT in certain situations.

 

METHODOLOGIES

본 논문에서는 3개의 framework를 소개한다.

1. TBD-POT

2. JDT-EOT

3. TBD-EOT

1. TBD-POT

가장 먼저 object detector를 거쳐 3D bounding box를 추출한다(object position, bounding box size, orientation, class, detection score, etc).

그 후, object position measurements를 사용하여 BEV plane에서 MOT를 수행한다. 

3D bounding box의 다른 정보들은 estimated position 정보와 함께 3D tracking results를 생성한다.

 

이 방식의 장점은 두 가지이다. 

1) POT algorithm can leverage the extra information such as object class and detection score to further improve tracking performance.

2) POT is typically less compute-intensive compared to EOT.

 

POT알고리즘의 경우 GNN-PMB filter를 사용하였다. 이는 시간에 걸쳐 PMB 밀도를 propagate함으로써 다중 객체 상태를 추정하는 방식으로 undetected object에 대해서는 Poisson point process를, detected object에 대해서는 multi-Bernoulli process를 사용한다.

매 time stamp마다 measurement가 tracklet과 associate되며 여러 개의 local hypothesis가 만들어지고 모여서 global hypothesis가 된다. 이 중 가장 작은 cost를 가지는 hypothesis, 즉 association 조합을 찾는다.

 

• GNN-PMB

따로 논문 review 예정.

https://arxiv.org/abs/2206.10255

GNN-PMB: A Simple but Effective Online 3D Multi-Object Tracker without Bells and Whistles

 

2. JDT-EOT

point cloud가 clustering process를 거쳐 measurement partition(clusters)을 생성한다. EOT알고리즘은 이 cluster를 사용하여 3D MOT를 수행한다.

point cloud가 pre-process된 3d box보다 많은 정보를 포함하고 있기에 더 정확한 estimation을 할 수 있다는 potential이 있다. 하지만, 정확한 measurement partition을 제작하는 것에 어려움이 있다. 이를 위해 different parameter를 사용하는 DBSCAN, k-means 같은 clustering 알고리즘을 사용하는데 이는 computational complexity를 증가시키고, 실시간성을 떨어트린다.

 

본 논문에서는 EOT 알고리즘으로 PMBM filter with its Gamma Gaussian inverse Wishart implementation (GGIW-PMBM)를 사용하였다. PMBM filter는 객체 measurement를 multi-Bernulli mixture(MBM) 밀도로 모델링하고 여러 개의 global hypothesis를 전파함으로 레이더 센서 측정값의 높은 불확실성을 처리한다.

각 객체는 역 위샤트 (IW) 밀도로 표현되는 타원 모양을 가지며, 타원의 장축과 단축축을 사용하여 직사각형 경계 상자를 형성.

 

• PMBM

따로 논문 review 예정

https://ieeexplore.ieee.org/abstract/document/8730493?casa_token=PZIezq7Td5wAAAAA:MCQT4k1QqOH8cWWg6HvIsn3BEPrReWS7TbnoGG6iXLCurLUGXaSElqhtQ2-xFYpeGf0nEBvA8Q

Poisson Multi-Bernoulli Mixture Conjugate Prior for Multiple Extended Target Filtering

 

3. TBD-EOT

검출된 3D bounding box 내의 point들을 measurement로 선택한다. JDT-EOT와 비교하여 TBD-EOT방식은 두 가지 장점을 가진다.

1) 계산 복잡성 감소

2) EOT 알고리즘은 탐지기에서 얻은 정보를 활용하여 추적 성능을 더욱 향상 가능

 

EXPERIMENTS AND ANALYSIS