센서 융합 기술의 현 주소

기술 비교

기업	출처	활용 센서	특징
mobileye	공식 홈페이지	camera, Radar, LiDAR	[1]True redundancy로 인식 시스템을 둘로 나누어 서로 보완하게 설계(late fusion) camera / Radar+LiDAR [1]적은 양의 validation set으로 학습 가능
waymo	논문	camera, Radar	[2]인공지능 네트워크(cross-attention)를 사용하여 camera와 Radar 융합 [2]camera에 부족한 깊이 정보, Radar에 부족한 고도 정보를 상호 보완 *attention is all you need
baidu	공식 홈페이지	Radar, LiDAR	[3]인공지능 네트워크(FC-DNN)를 사용하여 LiDAR 기반 장애물 인식을 수행하고, 알고리즘으로 Radar 기반 장애물 인식을 수행하여 장애물 결과를 융합(late fusion) [3]LiDAR에 추가로 Radar를 사용함으로써 장애물 인식을 보완하고, 속도 정보 이용 가능 *ImageNet Classification with Deep Convolutional Neural Networks
motional	논문	camera, LiDAR	[4]인공지능 네트워크(DeepLabv3+)를 사용해 image에서 의미 정보를 추출하고 이를 LiDAR와 융합하여 객체를 인식 [4]LiDAR로 객체를 인식하는데 부족한 의미 정보를 camera로 보완 *Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
aurora	논문	camera, LiDAR	https://scholar.google.com/citations?view_op=view_citation&hl=ko&user=ykWqS0YAAAAJ&citation_for_view=ykWqS0YAAAAJ:dhFuZR0502QC
zoox	특허	camera, LiDAR	[6]camera와 LiDAR 데이터를 정렬하여 캘리브레이션 [6]장애물 정보를 감지
tesla	공식 홈페이지	camera	[7]8대의 camera센서만 이용하여 전방향 정보 처리 [7]심층 신경망 구축하여 비전 처리
phantom ai	논문	camera + Radar, camera + LiDAR	[8]3 개의 카메라/3 개의 라이더를 하나의 DCU 로 처리 [8]레이더에서 나오는 Raw-Data를 카메라 Object 와 중간단에서 결합시켜 딥러닝 트레이닝 이후 처리하는 기술
uber	논문	camera + LiDAR	[9]camera와 LiDAR 데이터를 feature 수준에서 Dense fusion을 수행 [9]4개의 task를 end-to-end로 학습하여 객체 탐지를 수행 [10]camera와 LiDAR feature를 feature수준에서 multi-scale fusion 수행 *Deep continuous fusion for multi-sensor 3d object detection
lyft	논문	camera + LiDAR	[11]two-stage-fusion과 end-to-end fusion(EEF) 방식을 비교하고, EEF사용 [11]휴리스틱과 파라미터를 감소시키고, capacity를 증가시키는 효과 [11]modality에 missing data가 있어도 학습 가능
luminar	특허	camera + LiDAR	[12]LiDAR의 voxel정보를 camera frame에 mapping(early fusion)
gm	특허	camera + Radar	[13]camera : ResNet+RPN 으로 feature와 bbox를 추출하고 이를 Radar정보와 함께 융합하여 object detection수행 *Faster rcnn
Aptive	공식 홈페이지 + 특허	camera + Radar(LiDAR)	[14]low-level sensor fusion사용(early-fusion) [14]Radar 정보가 RoI를 정의하는데 사용
현대차	공식 youtube 채널	camera + Radar + LiDAR	[15]camera, Radar데이터로 evidential grid map을 만들어 LiDAR 데이터 분류에 이용(도로 경계 분류) [15]고속도로 자율주행에 이용 *Fusing Laser Scanner and Stereo Camera in Evidential Grid Maps
현대차	공식 홈페이지(개발자 컨퍼런스)-ppt자료	camera + LiDAR	[16]3D Mesh 생성에 이용 [16]pointcloud에 RGB를 매칭하여 colored mesh생성 [16]화물 분류 및 운반에 센서 융합 사용
현대차	공식 홈페이지(개발자 컨퍼런스)-ppt자료	camera + LiDAR	[17]mid-fusion semantic segmentation 기술(Fusion-Net) [17]sensor fusion 중 mid-fusion이 sensor fail에 대응할 수 있는 점을 강조 [17]DeepLabv3와 PCSCNet을 사용하여 각각의 센서에서 segmentation 정보를 뽑고 vision transformer encoder 사용하여 융합

 

•  

[1]https://www.mobileye.com/technology/true-redundancy/

[2]https://waymo.com/research/cramnet-camera-radar-fusion-with-ray-constrained-cross-attention-for-robust/

[3]https://developer.apollo.auto/platform/perception.html

[4]https://motional.com/news/pointpainting-sequential-fusion-3d-object-detection

[4]

[5]https://www.thinkautonomous.ai/blog/aurora-deep-learning-sensor-fusion-motion-prediction/

[6]https://patents.google.com/patent/US10486485B1/en?q=(zooxs)+sensor+fusion&assignee=Zoox%2c+Inc.&oq=(zooxs)+assignee:(Zoox%2c+Inc.)+sensor+fusion

[7]https://www.tesla.com/ko_KR/autopilot%20

[8]https://calon-segur.tistory.com/m/1

[9]https://www.uber.com/blog/research/multi-task-multi-sensor-fusion-for-3d-object-detection/?uclick_id=7f216930-fbcf-47ba-8c8c-7871bb752b44

[10]https://www.uber.com/blog/research/deep-continuous-fusion-for-multi-sensor-3d-object-detection/?uclick_id=7f216930-fbcf-47ba-8c8c-7871bb752b44

[11]https://wandb.ai/justintenuto/use-cases/reports/Lyft-s-High-Capacity-End-to-End-Camera-Lidar-Fusion-for-3D-Detection--Vmlldzo2NjIxOTU

[11]https://www.sciencedirect.com/science/article/abs/pii/B9780323854986000034#:~:text=Self,Computer%20Vision%20and%20Pattern

[12]https://patents.google.com/patent/US10627512B1/en?q=(sensor+fusion)&assignee=Luminar+Technologies%2c+Inc.

[13]https://patents.google.com/patent/US11270170B2/en?q=(sensor+fusion)&assignee=GM&after=priority:20200101

[14]https://www.aptiv.com/en/insights/article/what-is-sensor-fusion

[14]https://patents.google.com/patent/EP3208635B1/en?q=(sensor+fusion)&assignee=Aptiv

[15]https://www.youtube.com/watch?v=P5UycydeCsM

[16]https://devcon.hyundaimotorgroup.com/online/55

[17]https://devcon.hyundaimotorgroup.com/online/46

 

 

---

Review Paper

Sensor and Sensor Fusion Technology in Autonomous Vehicles: A Review

https://www.mdpi.com/1424-8220/21/6/2140#:~:text=This%20paper%20evaluates%20the%20capabilities,sensors%20may%20operate%20in%20practice

Sensor and Sensor Fusion Technology in Autonomous Vehicles: A Review

- camera, LiDAR, Radar 센서마다 회사 별 스펙 비교(table 2, 3, 4)

- 센서 calibration 방법 비교(table 5)

- 센서 융합(센서의 유무) 비교

c-R은 고해상도 이미지 정보와 거리 및 속도 정보를 이용할 수 있다는 장점이 있고, c-R-L은 더 먼 거리와 깊이 정보를 제공할 수 있다는 장점이 있다.

- 센서 융합 방식 비교(high, mid, low)

 

- 센서 융합 기법 비교(YOLO, SSD, VoxelNet, PointNet)

 

 

Overview of Multi-sensor fusion in Autonomous vehicle

https://ieeexplore.ieee.org/abstract/document/9788951

Overview of Multi-sensor fusion in Autonomous Vehicles

 

 

Sensor Data Fusion Methods for Driverless Vehicle System: A Review

 

https://link.springer.com/chapter/10.1007/978-981-19-2840-6_26

 

A comparative review on multi-modal sensors fusion based on deep learning

https://www.sciencedirect.com/science/article/pii/S0165168423002396

A comparative review on multi-modal sensors fusion based on deep learning

 

Deep Learning Sensor Fusion for Autonomous Vehicle Perception and Localization: A Review

https://www.mdpi.com/1424-8220/20/15/4220

Deep Learning Sensor Fusion for Autonomous Vehicle Perception and Localization: A Review

 

 

---

국내 기업 동향

현대

• 초기 융합(Early Fusion)
  -장점 : 인지 처리를 한번만 수행하면 됨(계산량이 적음)
  -단점 : 데이터의 분포가 확연히 다를 경우 융합에 의한 성능 이득이 낮음(예>카메라+라이다 조합)
  

  

• 후기 융합(Late Fusion)
  -장점 : 최종 단계에서 융합하기 때문에 센서 오작동에 대한 분석 가능(오작동 한 센서 인지 가능, 센서 인지 결과에 대한 신뢰도 파악)
  -단점 : 모든 센서 데이터에 대해 인지 처리를 수행해야 함(계산량이 많음)
  

  

• 중기 융합(Intermediate Fusion)
  -초기융합+후기 융합
  -최근 딥러닝 기술이 인지에 적용되면서 중기 융합 전략 선호됨 -> 더 좋은 성능 달성 가능
  

  

카메라, 레이더 센서 융합

• 카메라, 레이더 캘리브레이션 적용
• 카메라의 데이터 표현은 카메라 좌표계(2차원), 레이더의 데이터 표현은 3차원 좌표계(3차원) -> 데이터를 융합할 수 있는 방법 필요(변환 필요 -> 카메라, 레이더 캘리브레이션 적용, 2차원과 3차원이기 때문에 일대다 관계)
• 연구 개발 진행중
• 전략

1. 레이더 검출 결과 또는 중간 단계 결과를 카메라 좌표계로 투영하여 병합
2. 카메라 영상 기반 물체 검출 결과 또는 중간 단계 결과를 레이더의 3차원 좌표계로 변환하여 융합
   -인공지능 기술을 사용하는 전략 필요

• 카메라, 레이더 센서 융합 전략
  -카메라 센서 중심의 융합 방법
  : 카메라로 2차원 물체 검출 결과를 생성해내고 레이더 센서 정보를 읽어서 가져와서 정밀한 거리 정보 제공
  -레이더 센서 중심의 융합 방법
  : 레이더 센서를 이용하여 조감도 영역에서 물체를 검출한후 카메라 정보를 이용하여 레이더 검출 결과의 오류 수정
• 카메라, 레이더 센서 융합 전략
  -특징값 중심의 융합 전략
  : 4D 이미지 레이더와 같은 고해상도 레이더의 경우에 주로 적용
  : 레이더 데이터로부터 추출한 특징값을 카메라로 도출된 CNN 특징값과 융합하여 융합된 특징값을 이용하여 물체를 검출
  : 카메라, 라이다 센서 융합 전략과 유사

1. 카메라, 레이더 센서융합 딥러닝 기술 사례

• 2019년 'EuRAD'라는 학회에서 발표 : 카메라, 레이더 융합을 통한 3차원 물체 검출 방법
  -딥러닝을 적용하여 카메라, 레이더 센서 융합 수행
  -레이더 포인트 클라우드 데이터를 조감도 영역에서의 특징 지도로 변환후 조감도 영역에서 융합 수행
  -융합된 특징값을 기반으로 추가적인 뉴럴네트워크 구조를 적용하여 3차원 물체 검출 수행

카메라, 라이다 센서 융합

• 카메라, 라이다 캘리브레이션 적용
• 카메라 중심 융합기술과 라이다 중심 융합기술 존재
• 라이다의 해상도에 따라 검출 성능 좌우
• 카메라의 데이터 표현은 카메라 좌표계(2차원), 라이더의 데이터 표현은 3차원 좌표계(3차원) -> 변환 필요!
• 라이다 데이터의 해상도가 높지 않은 경우 카메라가 메인! 라이다의 데이터를 카메라 좌표계로 투영
• 라이다 데이터의 해상도가 높은 경우 라이다가 메인! 카메라의 데이터를 3차원 좌표계로 변환

• 카메라 중심의 센서융합 기술
  : 카메라를 주센서로 사용하고 라이다 정보를 부가적으로 융합하는 기법
  -카메라 영상에 CNN 기반의 딥러닝 모델을 적용하여 물체에 대한 2차원 박스 검출
  -카메라 영상의 2차원 박스에 해당하는 3차원 공간의 영역을 프러스텀이라고 부름
  -검출된 2차원 박스에 해당하는 프러스텀에 존재하는 라이다 포인트들을 추출
  -추출된 라이다 포인트들을 포인트넷으로 처리하여 3차원 검출 정보를 얻어냄
• 카메라 중심의 센서융합 기술 사례
  -프러스텀 포인트넷 방법
  --카메라 영상에 2D CNN 물체 검출 기법을 적용하여 2차원 영역 추출한 후 2차원 영역을 3차원으로 변환하여 프러스텀 안에 있는 포인트들에 대해 3차원 영역 분할 수행
  --물체가 아닌 배경을 마스킹하고 물체 부분에 포인트넷을 적용하여 3차원 박스 추정
  -카메라, 라이다 특징값 융합 기술
  -카메라와 라이다 센서 각각으로부터 물체에 대한 특징값을 추출한 후 융합하여 물체 검출
  -카메라 영상에 CNN을 적용하여 특징값 추출
  -라이다 포인트 클라우드를 3차원 복셀 구조를 기반으로 인코딩
  -앵커박스를 기반으로 융합하는 방법과, CNN으로 얻은 2차원 카메라 특징지도를 3차원 공간으로 투영하여 융합하는 방법이 있음
  -예>AVOD(IROS 18), Cont-Fuse(ECCV 18), MMF(CVPR 19), 3D-CVF(ECCV 20)
• 카메라, 라이다 특징값 융합 기술 사례
  -3D-CVF 방법
  --카메라 센서 데이터를 CNN을 적용하여 2차원 특징 지도 도출
  --2차원 특징 지도를 3차원 복셀 구조로 투영하여 새로운 3차원 특징지도 구성
  --라이다 데이터를 인코딩하여 얻은 특징지도와 융합 후 새로운 특징값으로 3차원 물체 인지 수행

카메라, 레이더, 라이다 센서융합

• 인지의 높은 신뢰성이 요구되는 레벨4 이상의 자율주행을 위해 필요
• 실시간 센서융합 처리를 위한 알고리즘, 하드웨어 구현 필요(계산량 많기 때문)

https://velog.io/tags/%ED%98%84%EB%8C%80-H-Mobility

#현대 H-Mobility - velog

 

---

Idea

- 사용한 센서 각각의 장단점을 비교하고 센서 퓨전을 사용하면 가능하다는 것 보임 (센서 퓨전 자체를 강조할 필요가 있으면...)

- 센서 퓨전 방식 중 early fusion, mid fusion, late fusion을 비교하고 각각의 장단점 제시 (그래서 결국 뭐가 좋다를 보이면 의미가 있을지?)

- 센서 조합(c-R, c-L, c-R-L, ...)의 따른 장단점 비교하기 (결국 c-R-L이 좋다는 결론으로 귀결하면 되지 않을까)

- 센서 융합 방식 중 classic과 deep learning 비교? 근데 이 방법은 기업 정보가 충분하지 않아서 어려워 보임. 하면 그냥 o, x 정도로 구분하는 정도일 듯? https://www.mdpi.com/1424-8220/20/15/4220

-