기술 비교
기업 | 출처 | 활용 센서 | 특징 |
mobileye | 공식 홈페이지 | camera, Radar, LiDAR | [1]True redundancy로 인식 시스템을 둘로 나누어 서로 보완하게 설계(late fusion) camera / Radar+LiDAR [1]적은 양의 validation set으로 학습 가능 |
waymo | 논문 | camera, Radar | [2]인공지능 네트워크(cross-attention)를 사용하여 camera와 Radar 융합 [2]camera에 부족한 깊이 정보, Radar에 부족한 고도 정보를 상호 보완 *attention is all you need |
baidu | 공식 홈페이지 | Radar, LiDAR | [3]인공지능 네트워크(FC-DNN)를 사용하여 LiDAR 기반 장애물 인식을 수행하고, 알고리즘으로 Radar 기반 장애물 인식을 수행하여 장애물 결과를 융합(late fusion) [3]LiDAR에 추가로 Radar를 사용함으로써 장애물 인식을 보완하고, 속도 정보 이용 가능 *ImageNet Classification with Deep Convolutional Neural Networks |
motional | 논문 | camera, LiDAR | [4]인공지능 네트워크(DeepLabv3+)를 사용해 image에서 의미 정보를 추출하고 이를 LiDAR와 융합하여 객체를 인식 [4]LiDAR로 객체를 인식하는데 부족한 의미 정보를 camera로 보완 *Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation |
aurora | 논문 | camera, LiDAR | https://scholar.google.com/citations?view_op=view_citation&hl=ko&user=ykWqS0YAAAAJ&citation_for_view=ykWqS0YAAAAJ:dhFuZR0502QC |
zoox | 특허 | camera, LiDAR | [6]camera와 LiDAR 데이터를 정렬하여 캘리브레이션 [6]장애물 정보를 감지 |
tesla | 공식 홈페이지 | camera | [7]8대의 camera센서만 이용하여 전방향 정보 처리 [7]심층 신경망 구축하여 비전 처리 |
phantom ai | 논문 | camera + Radar, camera + LiDAR | [8]3 개의 카메라/3 개의 라이더를 하나의 DCU 로 처리 [8]레이더에서 나오는 Raw-Data를 카메라 Object 와 중간단에서 결합시켜 딥러닝 트레이닝 이후 처리하는 기술 |
uber | 논문 | camera + LiDAR | [9]camera와 LiDAR 데이터를 feature 수준에서 Dense fusion을 수행 [9]4개의 task를 end-to-end로 학습하여 객체 탐지를 수행 [10]camera와 LiDAR feature를 feature수준에서 multi-scale fusion 수행 *Deep continuous fusion for multi-sensor 3d object detection |
lyft | 논문 | camera + LiDAR | [11]two-stage-fusion과 end-to-end fusion(EEF) 방식을 비교하고, EEF사용 [11]휴리스틱과 파라미터를 감소시키고, capacity를 증가시키는 효과 [11]modality에 missing data가 있어도 학습 가능 |
luminar | 특허 | camera + LiDAR | [12]LiDAR의 voxel정보를 camera frame에 mapping(early fusion) |
gm | 특허 | camera + Radar | [13]camera : ResNet+RPN 으로 feature와 bbox를 추출하고 이를 Radar정보와 함께 융합하여 object detection수행 *Faster rcnn |
Aptive | 공식 홈페이지 + 특허 | camera + Radar(LiDAR) | [14]low-level sensor fusion사용(early-fusion) [14]Radar 정보가 RoI를 정의하는데 사용 |
현대차 | 공식 youtube 채널 |
camera + Radar + LiDAR | [15]camera, Radar데이터로 evidential grid map을 만들어 LiDAR 데이터 분류에 이용(도로 경계 분류) [15]고속도로 자율주행에 이용 *Fusing Laser Scanner and Stereo Camera in Evidential Grid Maps |
현대차 | 공식 홈페이지(개발자 컨퍼런스)-ppt자료 | camera + LiDAR | [16]3D Mesh 생성에 이용 [16]pointcloud에 RGB를 매칭하여 colored mesh생성 [16]화물 분류 및 운반에 센서 융합 사용 |
현대차 | 공식 홈페이지(개발자 컨퍼런스)-ppt자료 | camera + LiDAR | [17]mid-fusion semantic segmentation 기술(Fusion-Net) [17]sensor fusion 중 mid-fusion이 sensor fail에 대응할 수 있는 점을 강조 [17]DeepLabv3와 PCSCNet을 사용하여 각각의 센서에서 segmentation 정보를 뽑고 vision transformer encoder 사용하여 융합 |
[1]https://www.mobileye.com/technology/true-redundancy/
[3]https://developer.apollo.auto/platform/perception.html
[4]https://motional.com/news/pointpainting-sequential-fusion-3d-object-detection
[4]
[5]https://www.thinkautonomous.ai/blog/aurora-deep-learning-sensor-fusion-motion-prediction/
[7]https://www.tesla.com/ko_KR/autopilot%20
[8]https://calon-segur.tistory.com/m/1
[14]https://www.aptiv.com/en/insights/article/what-is-sensor-fusion
[14]https://patents.google.com/patent/EP3208635B1/en?q=(sensor+fusion)&assignee=Aptiv
[15]https://www.youtube.com/watch?v=P5UycydeCsM
[16]https://devcon.hyundaimotorgroup.com/online/55
[17]https://devcon.hyundaimotorgroup.com/online/46
Review Paper
Sensor and Sensor Fusion Technology in Autonomous Vehicles: A Review
Sensor and Sensor Fusion Technology in Autonomous Vehicles: A Review
With the significant advancement of sensor and communication technology and the reliable application of obstacle detection techniques and algorithms, automated driving is becoming a pivotal technology that can revolutionize the future of transportation and
www.mdpi.com
- camera, LiDAR, Radar 센서마다 회사 별 스펙 비교(table 2, 3, 4)
- 센서 calibration 방법 비교(table 5)
- 센서 융합(센서의 유무) 비교
c-R은 고해상도 이미지 정보와 거리 및 속도 정보를 이용할 수 있다는 장점이 있고, c-R-L은 더 먼 거리와 깊이 정보를 제공할 수 있다는 장점이 있다.
- 센서 융합 방식 비교(high, mid, low)
- 센서 융합 기법 비교(YOLO, SSD, VoxelNet, PointNet)
Overview of Multi-sensor fusion in Autonomous vehicle
https://ieeexplore.ieee.org/abstract/document/9788951
Overview of Multi-sensor fusion in Autonomous Vehicles
In this article, we give a brief overview of sensors and sensor fusion in autonomous vehicles field. We focus on sensor fusion of key sensors in autonomous vehicles: camera, radar and lidar. This article will introduce the latest sensor fusion algorithms d
ieeexplore.ieee.org
Sensor Data Fusion Methods for Driverless Vehicle System: A Review
https://link.springer.com/chapter/10.1007/978-981-19-2840-6_26
A comparative review on multi-modal sensors fusion based on deep learning
https://www.sciencedirect.com/science/article/pii/S0165168423002396
A comparative review on multi-modal sensors fusion based on deep learning
The wide deployment of multi-modal sensors in various areas generates vast amounts of data with characteristics of high volume, wide variety, and high…
www.sciencedirect.com
Deep Learning Sensor Fusion for Autonomous Vehicle Perception and Localization: A Review
https://www.mdpi.com/1424-8220/20/15/4220
Deep Learning Sensor Fusion for Autonomous Vehicle Perception and Localization: A Review
Autonomous vehicles (AV) are expected to improve, reshape, and revolutionize the future of ground transportation. It is anticipated that ordinary vehicles will one day be replaced with smart vehicles that are able to make decisions and perform driving task
www.mdpi.com
국내 기업 동향
현대
- 초기 융합(Early Fusion)
-장점 : 인지 처리를 한번만 수행하면 됨(계산량이 적음)
-단점 : 데이터의 분포가 확연히 다를 경우 융합에 의한 성능 이득이 낮음(예>카메라+라이다 조합) - 후기 융합(Late Fusion)
-장점 : 최종 단계에서 융합하기 때문에 센서 오작동에 대한 분석 가능(오작동 한 센서 인지 가능, 센서 인지 결과에 대한 신뢰도 파악)
-단점 : 모든 센서 데이터에 대해 인지 처리를 수행해야 함(계산량이 많음) - 중기 융합(Intermediate Fusion)
-초기융합+후기 융합
-최근 딥러닝 기술이 인지에 적용되면서 중기 융합 전략 선호됨 -> 더 좋은 성능 달성 가능
카메라, 레이더 센서 융합
- 카메라, 레이더 캘리브레이션 적용
- 카메라의 데이터 표현은 카메라 좌표계(2차원), 레이더의 데이터 표현은 3차원 좌표계(3차원) -> 데이터를 융합할 수 있는 방법 필요(변환 필요 -> 카메라, 레이더 캘리브레이션 적용, 2차원과 3차원이기 때문에 일대다 관계)
- 연구 개발 진행중
- 전략
- 레이더 검출 결과 또는 중간 단계 결과를 카메라 좌표계로 투영하여 병합
- 카메라 영상 기반 물체 검출 결과 또는 중간 단계 결과를 레이더의 3차원 좌표계로 변환하여 융합
-인공지능 기술을 사용하는 전략 필요
- 카메라, 레이더 센서 융합 전략
-카메라 센서 중심의 융합 방법
: 카메라로 2차원 물체 검출 결과를 생성해내고 레이더 센서 정보를 읽어서 가져와서 정밀한 거리 정보 제공
-레이더 센서 중심의 융합 방법
: 레이더 센서를 이용하여 조감도 영역에서 물체를 검출한후 카메라 정보를 이용하여 레이더 검출 결과의 오류 수정 - 카메라, 레이더 센서 융합 전략
-특징값 중심의 융합 전략
: 4D 이미지 레이더와 같은 고해상도 레이더의 경우에 주로 적용
: 레이더 데이터로부터 추출한 특징값을 카메라로 도출된 CNN 특징값과 융합하여 융합된 특징값을 이용하여 물체를 검출
: 카메라, 라이다 센서 융합 전략과 유사
- 카메라, 레이더 센서융합 딥러닝 기술 사례
- 2019년 'EuRAD'라는 학회에서 발표 : 카메라, 레이더 융합을 통한 3차원 물체 검출 방법
-딥러닝을 적용하여 카메라, 레이더 센서 융합 수행
-레이더 포인트 클라우드 데이터를 조감도 영역에서의 특징 지도로 변환후 조감도 영역에서 융합 수행
-융합된 특징값을 기반으로 추가적인 뉴럴네트워크 구조를 적용하여 3차원 물체 검출 수행
카메라, 라이다 센서 융합
- 카메라, 라이다 캘리브레이션 적용
- 카메라 중심 융합기술과 라이다 중심 융합기술 존재
- 라이다의 해상도에 따라 검출 성능 좌우
- 카메라의 데이터 표현은 카메라 좌표계(2차원), 라이더의 데이터 표현은 3차원 좌표계(3차원) -> 변환 필요!
- 라이다 데이터의 해상도가 높지 않은 경우 카메라가 메인! 라이다의 데이터를 카메라 좌표계로 투영
- 라이다 데이터의 해상도가 높은 경우 라이다가 메인! 카메라의 데이터를 3차원 좌표계로 변환
- 카메라 중심의 센서융합 기술
: 카메라를 주센서로 사용하고 라이다 정보를 부가적으로 융합하는 기법
-카메라 영상에 CNN 기반의 딥러닝 모델을 적용하여 물체에 대한 2차원 박스 검출
-카메라 영상의 2차원 박스에 해당하는 3차원 공간의 영역을 프러스텀이라고 부름
-검출된 2차원 박스에 해당하는 프러스텀에 존재하는 라이다 포인트들을 추출
-추출된 라이다 포인트들을 포인트넷으로 처리하여 3차원 검출 정보를 얻어냄 - 카메라 중심의 센서융합 기술 사례
-프러스텀 포인트넷 방법
--카메라 영상에 2D CNN 물체 검출 기법을 적용하여 2차원 영역 추출한 후 2차원 영역을 3차원으로 변환하여 프러스텀 안에 있는 포인트들에 대해 3차원 영역 분할 수행
--물체가 아닌 배경을 마스킹하고 물체 부분에 포인트넷을 적용하여 3차원 박스 추정
-카메라, 라이다 특징값 융합 기술
-카메라와 라이다 센서 각각으로부터 물체에 대한 특징값을 추출한 후 융합하여 물체 검출
-카메라 영상에 CNN을 적용하여 특징값 추출
-라이다 포인트 클라우드를 3차원 복셀 구조를 기반으로 인코딩
-앵커박스를 기반으로 융합하는 방법과, CNN으로 얻은 2차원 카메라 특징지도를 3차원 공간으로 투영하여 융합하는 방법이 있음
-예>AVOD(IROS 18), Cont-Fuse(ECCV 18), MMF(CVPR 19), 3D-CVF(ECCV 20) - 카메라, 라이다 특징값 융합 기술 사례
-3D-CVF 방법
--카메라 센서 데이터를 CNN을 적용하여 2차원 특징 지도 도출
--2차원 특징 지도를 3차원 복셀 구조로 투영하여 새로운 3차원 특징지도 구성
--라이다 데이터를 인코딩하여 얻은 특징지도와 융합 후 새로운 특징값으로 3차원 물체 인지 수행
카메라, 레이더, 라이다 센서융합
- 인지의 높은 신뢰성이 요구되는 레벨4 이상의 자율주행을 위해 필요
- 실시간 센서융합 처리를 위한 알고리즘, 하드웨어 구현 필요(계산량 많기 때문)
https://velog.io/tags/%ED%98%84%EB%8C%80-H-Mobility
#현대 H-Mobility - velog
velog.io
Idea
- 사용한 센서 각각의 장단점을 비교하고 센서 퓨전을 사용하면 가능하다는 것 보임 (센서 퓨전 자체를 강조할 필요가 있으면...)
- 센서 퓨전 방식 중 early fusion, mid fusion, late fusion을 비교하고 각각의 장단점 제시 (그래서 결국 뭐가 좋다를 보이면 의미가 있을지?)
- 센서 조합(c-R, c-L, c-R-L, ...)의 따른 장단점 비교하기 (결국 c-R-L이 좋다는 결론으로 귀결하면 되지 않을까)
- 센서 융합 방식 중 classic과 deep learning 비교? 근데 이 방법은 기업 정보가 충분하지 않아서 어려워 보임. 하면 그냥 o, x 정도로 구분하는 정도일 듯? https://www.mdpi.com/1424-8220/20/15/4220
-
'Paradigm' 카테고리의 다른 글
Trajectory Prediction using Radar Data (0) | 2023.12.15 |
---|---|
3D MOT에서 JDE 적용이 어려운 이유 (0) | 2023.11.26 |
3D MOT - Joint Detection and Tracking (0) | 2023.10.25 |