KR20230115026A - 범퍼 설치형 듀얼 라이다를 이용한 차량용 slam 시스템 및 방법 - Google Patents

범퍼 설치형 듀얼 라이다를 이용한 차량용 slam 시스템 및 방법 Download PDF

Info

Publication number
KR20230115026A
KR20230115026A KR1020220011500A KR20220011500A KR20230115026A KR 20230115026 A KR20230115026 A KR 20230115026A KR 1020220011500 A KR1020220011500 A KR 1020220011500A KR 20220011500 A KR20220011500 A KR 20220011500A KR 20230115026 A KR20230115026 A KR 20230115026A
Authority
KR
South Korea
Prior art keywords
lidar
vehicle
data
bumper
odometry
Prior art date
Application number
KR1020220011500A
Other languages
English (en)
Other versions
KR102585103B1 (ko
Inventor
이경창
장재헌
강정호
김형준
김현희
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020220011500A priority Critical patent/KR102585103B1/ko
Priority to US18/085,147 priority patent/US20230236323A1/en
Publication of KR20230115026A publication Critical patent/KR20230115026A/ko
Application granted granted Critical
Publication of KR102585103B1 publication Critical patent/KR102585103B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R19/00—Wheel guards; Radiator guards, e.g. grilles; Obstruction removers; Fittings damping bouncing force in collisions
    • B60R19/02—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects
    • B60R19/48—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds
    • B60R19/483—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds with obstacle sensors of electric or electronic type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11—Pitch movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114—Yaw movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/16—Pitch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 범퍼 설치형 듀얼 라이다 및 차량 ECU의 관성 데이터를 이용하여 임베디드 보드에서의 정밀한 지도 작성 및 위치 인식이 가능하도록 한 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법에 관한 것으로, 차량 범퍼에 장착되어 지도 작성 및 위치 인식을 위한 데이터를 출력하는 제 1 라이다 및 제 2 라이다;제 1 라이다 및 제 2 라이다의 데이터를 수신하여 시간 동기화를 통해 라이다의 시간을 정렬한 후 포인트 클라우드 타입으로 변환하여 병합하는 라이다 데이터 머지부;라이다 데이터 머지부에서 병합된 데이터를 보정하기 위한 차량의 관성데이터를 제공하는 ECU;라이다 데이터 머지부에서 병합된 데이터를 ECU에서 받은 차량의 관성데이터를 이용하여 보정하여 차량의 이동을 추정하는 라이다 오도메트리(Lidar odometry)를 획득하고, 차량이 주행하는 도로의 3차원 지도를 생성하고 도로 내부에서 차량의 위치와 주행 경로를 추출하는 SLAM 부;를 포함하는 것이다.

Description

범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법{SLAM system and method for vehicles using bumper mounted dual lidar}
본 발명은 차량용 SLAM에 관한 것으로, 구체적으로 범퍼 설치형 듀얼 라이다 및 차량 ECU의 관성 데이터를 이용하여 임베디드 보드에서의 정밀한 지도 작성 및 위치 인식이 가능하도록 한 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법에 관한 것이다.
대부분의 자율주행 자동차는 자율주행 기능의 정도에 따라 미국 자동차 공학회(SAE international)에서 구분한 차량의 자동화 정도에 따른 단계를 기준으로 자율주행 자동차를 분류하고 있다.
자율주행 자동차 분류는 차량의 주행 자동화 기술의 수준에 따라 레벨 0인 수동 운전 단계부터 완전 운전 자동화 단계로 모든 상황에서 운전자의 개입 없이 차량이 직접 운전을 담당하는 레벨 5까지 총 6단계로 나누어져 있다.
현재 대부분 자율주행 차량은 부분적 운전 자동화 단계인 레벨 2 ~ 자율주행 단계인 레벨 3 수준이며, 가까운 미래에 시스템이 직접 판단하여 주행의 주체로 운전하는 단계인 레벨 4 ~ 레벨 5 자율주행을 위한 연구가 현재 세계 각국에서 진행되고 있다.
자율주행 차량의 핵심적인 기술은 첨단 운전자 보조 시스템(ADAS)이다.
ADAS는 인지, 판단, 제어로 나누어져 있으며, 이중 인지 부분에서는 대부분 레이더, 카메라, 라이다를 사용하고 있다.
인지는 각 센서를 이용해 차량이 주행하고 있는 환경을 인식하고 이를 데이터로 수집한 후 다음 단계인 판단을 위해 필터링, 마킹, 레이블링 등을 진행한다.
판단부는 각 센서가 수집한 정보를 가지고 차량 주변 교통의 흐름, 주변 장애물의 유무, 차량이 현재 주행하고 있는 차선 및 도로 등을 분석 및 분류하고 차량의 안전한 주행과 목적지를 향하기 위한 경로 생성과 같은 역할을 수행한다.
마지막 제어부는 차량의 실제 주행 및 제어를 수행하는 부분으로 인지와 판단을 거쳐 계산된 최적의 경로로의 주행, 장애물의 회피를 수행하는 부분으로 차량의 조향, 감-가속, 제동 등을 이용해 차량을 직접 제어하는 부분이다.
ADAS의 세 가지 부분 중 첫 번째 부분인 인지는 ADAS를 구성하는데 매우 중요한 역할을 수행한다. 문제의 인식은 문제 해결을 위한 첫 번째 단계이며 판단, 제어는 인지를 기반으로 수행되기 때문이다. 그렇기 때문에 정확한 인식을 위한 연구는 계속해서 중요한 연구 주제로 여겨지고 있으며 현재에도 계속해서 연구되고 있다.
이러한 자율주행을 위한 인지 기술 중 측위 즉 차량의 위치는 매우 중요한 부분이다. 차량이 안전하게 목적지를 향해 주행하거나, 인식한 장애물을 회피 또는 정지하기 위해서는 차량의 주위 환경과 차량의 위치에 대한 정확한 측위가 필수적이다.
기존에는 차량의 위치를 측정하기 위해 GPS를 가장 많이 사용하였다. GPS는 위성 신호를 이용하여 차량의 위치를 측위 하는 방식으로 하늘이 보이는 위치에서 어디든지 수신할 수 있고 현재 대부분 차량에 탑재되어 있다는 장점이 있다.
하지만 GPS는 일반적으로 10~15m 수준의 오차를 가지고 있고 DGPS를 이용해 정밀하게 위치를 측정할 수 있지만 이를 위해서는 큰 비용이 발생한다는 문제를 가지고 있다.
또한, GPS는 도심 고층 빌딩 밀집 지역에서 신호의 안정성이 떨어져 발생하는 멀티 패스 페이딩 현상과 터널이나 지하에서의 신호 단절 및 수신 성능의 저하 등 단점을 가지고 있다.
일반적으로 자율주행을 위해 사용되는 정밀 지도의 경우 도로 주변에 설치된 표지판, 도로 위의 신호등, 차선 및 중앙선과 같은 많은 데이터를 제공하는데 이때 10~ 15m의 오차를 가지는 GPS는 사용에 제약이 따른다.
이러한 문제를 해결하기 라이다, 카메라, 레이더와 같은 추가적인 센서를 차량에 탑재하여 실제 차량의 위치를 인식하는 위치 인식 기법 연구가 진행되고 있다.
이러한 센서를 설치하는 위치에 대해서도 고려해야 할 문제가 많다.
현재 대부분의 자율주행 자동차에 대한 센서 설치는 데이터를 습득하기 유리한 차량의 상단에 라이다와 카메라를 장착하고 있으며, 차량 외부에 많은 수의 추가적인 센서를 장착하고 있다.
이는 차량의 공기역학에 영향을 미쳐 차량의 연비에 악영향을 미치고, 사고나 진동으로 인해 센서가 고정 장치에서 탈락하여 2차 사고를 유발할 가능성도 크다.
또한, 차량의 공기역학적 특성으로 인해 차량의 공기는 앞 유리를 지나 차량의 지붕을 지나는데 이때 외부의 오염물이나 돌 같은 잔해들이 지붕을 향하므로 지붕에 설치된 라이다의 파손이나 오염 등의 문제를 가지고 있다.
지붕에 장착된 센서의 경우 탈락 시 뒤따라오는 차량의 앞쪽으로 떨어질 가능성이 크며 탈락 시 치명적인 결과로 이어질 수 있다.
한편, 종래 기술의 SLAM의 경우 2D 라이다를 이용한 slam인 Gmapping 이나 Hector SLAM, Karto SLAM, 등 2D 라이다를 이용하여 지도를 생성하였고, 이렇게 만들어진 지도를 통해 Navigation을 실시하였다.
이러한 2D SLAM과 네비게이션은 주위 환경 인식의 단순함 때문에 장애물 탐지에 있어 한계를 가지고 있었고, 장애물이나 동적 오브젝트를 탐지에도 한계를 가지고 있다.
다른 방법으로 2D 라이다의 포인트 클라우드 데이터를 통해 스캔 매칭 방식과 로컬 영역의 거칠기 판정 데이터를 통해 한정적인 데이터를 가지고도 루프 매칭을 구현하였고 지속적인 루프 클로저를 통한 누적오차를 지속해서 제거하여 야외 환경에서의 SLAM을 하는 방법이 있다.
SLAM이란 SLAM(Simultaneous Localization and Mapping)의 약자로 이름에서 알 수 있듯이 알 수 없는 환경에서 지속해서 위치를 추적하면서 지도를 생성하는 과정이다.
하지만 2D 지도는 차량의 자율주행에 필요한 충분한 정보를 제공하기에 어렵고 경로 인식뿐만 아니라 주위 환경에 대한 인식이 요구되는 차량용 SLAM 적용에는 한계가 있었다.
따라서 주위 환경과 장애물의 3차원 인식에 대한 필요가 꾸준히 요구되었다.
이러한 요구를 바탕으로 2.5D SLAM인 DL-SLAM 등의 개발이 이루어졌다. 이러한 2.5D SLAM의 경우 3D 포인트 클라우드보다 적은 수의 피처를 가지고 연산을 진행하기 때문에 비교적 적은 연산력으로 SLAM이 가능했고 세그먼트 특징 추출을 통한 루프 클로저를 통해 맵을 정밀하게 만들 수 있다는 장점이 있다.
하지만 DL-SLAM과 같은 2.5D SLAM에서 높이 불변성 문제로 인해 동적 환경에서 유효성이 떨어졌고 세그먼트 견고성 또한 향상의 여지가 있다는 한계를 가졌다.
자율주행 차량에서 라이다와 카메라를 이용한 SLAM은 GPS를 대체하여 차량의 정밀한 위치를 탐색하기 위해 연구가 진행되었다.
이를 위한 노력으로 처음에는 KF(Kalman Filter)같은 확률적 추정기반의 기술이 도입되었으나 이는 EKF(Extended Kalman Filters)로 확장되었고 선형적이지 않은 환경에서 적용을 위해 비선형 시스템용 Unscented Kalman Filters(UKF)로 확장되었다. 또한, 칼만 필터가 아닌 Rao-Blackwellized 및 Monte Carlo와 같은 입자 필터도 SLAM에 많은 영향을 미쳤다. 하지만 이러한 필터만을 이용한 방식에는 다양한 환경이 혼재하는 야외에서의 SLAM의 경우 일관된 성능을 보장하기 어렵다.
따라서 최근에는 머신러닝, 딥 러닝과 같은 기술이 발전함에 따라 새로운 차량용 자율주행에 대한 학습을 응용한 접근법인 CNN-SLAM과 같은 알고리즘이 등장했다. 이는 단안 카메라를 가지고 움직이는 차량에서 2장의 이미지만을 가지고 로봇의 포즈나 위치의 파악이 가능하다는 가능성을 보여주었다.
이러한 접근 방식은 매우 유망하긴 하지만 몇 가지 문제점을 가지고 있다.
딥 러닝을 기반으로 하는 SLAM의 경우 GPU가 필수적으로 필요하며, 이는 차량에서 사용할 경우 매우 큰 비용과 전력소모가 발생하기 때문이다.
또한, 딥 러닝 기반의 SLAM의 경우 현실의 환경이 매시간 매분 변화함으로 무한한 데이터에 대한 답을 구하는 것의 어려움이 여전히 남아 있다.
따라서, 루프 장착 라이다의 안전성 문제를 해결하고 범퍼 장착 라이다의 시야각 손실로 인한 정밀도 감소의 보완을 위한 새로운 기술의 개발 및 효율적인 SLAM 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2018-0100835호 대한민국 공개특허 제10-2020-0109116호 대한민국 공개특허 제10-2021-0015211호
본 발명은 종래 기술의 차량용 SLAM 기술의 문제점을 해결하기 위한 것으로, 범퍼 설치형 듀얼 라이다 및 차량 ECU의 관성 데이터를 이용하여 임베디드 보드에서의 정밀한 지도 작성 및 위치 인식이 가능하도록 한 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 차량 지붕에 장착된 라이다로 인해 발생하는 공기역학적 문제,탈락 문제를 해결하기 위하여 범퍼에 두 개의 라이다를 장착하여 SLAM을 통해 효율적으로 3차원 지도를 생성할 수 있도록 한 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 차량 범퍼에 장착된 2개의 라이다의 데이터를 통합하여 하나의 시간과 통일된 좌표계로 데이터를 처리하여 입력받아 차량의 주행경로에 대한 정보를 추출하고, 차량 내부 ECU에서 출력되는 차량의 관성데이터를 이용하여 보정하여 이동경로를 따라 라이다의 포인트 클라우드 데이터를 개시하여 센서의 추가없이 정밀한 지도를 생성할 수 있도록 한 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템은 차량 범퍼에 장착되어 지도 작성 및 위치 인식을 위한 데이터를 출력하는 제 1 라이다 및 제 2 라이다;제 1 라이다 및 제 2 라이다의 데이터를 수신하여 시간 동기화를 통해 라이다의 시간을 정렬한 후 포인트 클라우드 타입으로 변환하여 병합하는 라이다 데이터 머지부;라이다 데이터 머지부에서 병합된 데이터를 보정하기 위한 차량의 관성데이터를 제공하는 ECU;라이다 데이터 머지부에서 병합된 데이터를 ECU에서 받은 차량의 관성데이터를 이용하여 보정하여 차량의 이동을 추정하는 라이다 오도메트리(Lidar odometry)를 획득하고, 차량이 주행하는 도로의 3차원 지도를 생성하고 도로 내부에서 차량의 위치와 주행 경로를 추출하는 SLAM 부;를 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법은 차량 범퍼에 장착되는 제 1 라이다 및 제 2 라이다로부터 지도 작성 및 위치 인식을 위한 데이터를 입력받아 시간 동기화를 통해 라이다의 시간을 정렬한 후 포인트 클라우드 타입으로 변환하여 병합하는 단계;차량의 관성데이터를 제공받아 제 1 라이다 및 제 2 라이다에서 인식된 포인트 클라우드(Point cloud)를 이용해 차량의 이동을 추정하는 라이다 오도메트리(Lidar odometry)를 획득하는 단계;오도메트리(odometry)의 정밀도를 높이고 연산에 필요한 시간을 줄이기 위해 차량 내부 ECU에서 CAN 형식으로 출력되는 차량의 가속도 데이터를 사용하여 SLAM을 실시하여 구해진 odometry를 따라 라이다 Point Cloud를 글로벌 맵에 등록하여 3D Point Cloud 맵을 생성하는 단계;를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법은 다음과 같은 효과가 있다.
첫째, 범퍼 설치형 듀얼 라이다 및 차량 ECU의 관성 데이터를 이용하여 임베디드 보드에서의 정밀한 지도 작성 및 위치 인식이 가능하도록 한다.
둘째, 차량 지붕에 장착된 라이다로 인해 발생하는 공기역학적 문제,탈락 문제를 해결하기 위하여 범퍼에 두 개의 라이다를 장착하여 SLAM을 통해 효율적으로 3차원 지도를 생성할 수 있도록 한다.
셋째, 차량 범퍼에 장착된 2개의 라이다의 데이터를 통합하여 하나의 시간과 통일된 좌표계로 데이터를 처리하여 입력받아 차량의 주행경로에 대한 정보를 추출하고, 차량 내부 ECU에서 출력되는 차량의 관성데이터를 이용하여 보정하여 이동경로를 따라 라이다의 포인트 클라우드 데이터를 개시하여 센서의 추가없이 정밀한 지도를 생성할 수 있도록 한다.
도 1a와 도 1b는 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템의 구성도
도 2는 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법을 나타낸 플로우 차트
도 3은 라이다 데이터 정합 과정을 나타낸 구성도
도 4는 ECU 데이터 적용 과정을 나타낸 구성도
도 5는 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템에서의 전체 데이터 흐름을 나타낸 구성도
도 6a와 도 6b는 범퍼에 설치된 라이다에서 측정되는 라이다 범위 및 feature를 나타낸 구성도
도 7a와 도 7b는 지붕에 설치된 라이다에서 측정되는 라이다 범위 및 feature를 나타낸 구성도
도 8a와 도 8b는 범퍼에 설치된 듀얼 라이다에서 측정되는 라이다 범위 및 feature를 나타낸 구성도
도 9는 지붕의 싱글 라이다(좌)와 범퍼의 듀얼 라이다(우)의 odometry 차이를 나타낸 구성도
도 10은 지붕의 싱글 라이다 대비 듀얼 라이다의 오차를 나타낸 구성도
도 11은 feature 변경 확인을 위한 라이다 포인트 클라우드 Raw Data를 나타낸 구성도
도 12는 각 하위 이미지(60°)당 edge:1, planar:1(좌), edge:1, planar:2(우)
도 13은 ECU 데이터의 유무에 따른 차량 초기 경로 차이를 나타낸 구성도
도 14는 ECU 데이터 유무에 따른 초기값의 차이를 나타낸 구성도
도 15a와 도 15b는 본 발명을 적용한 제 1 실시 예에 따른 주행 경로 및 완성된 지도 구성도
도 16a와 도 16b는 본 발명을 적용한 제 2 실시 예에 따른 주행 경로 및 완성된 지도 구성도
도 17a와 도 17b는 본 발명을 적용한 제 3 실시 예에 따른 주행 경로 및 완성된 지도 구성도
이하, 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1a와 도 1b는 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템의 구성도이다.
본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법은 범퍼 설치형 듀얼 라이다 및 차량 ECU의 관성 데이터를 이용하여 임베디드 보드에서의 정밀한 지도 작성 및 위치 인식이 가능하도록 한 것이다.
이를 위하여, 본 발명은 차량 지붕에 장착된 라이다로 인해 발생하는 공기역학적 문제, 탈락 문제를 해결하기 위하여 범퍼에 두 개의 라이다를 장착하여 SLAM을 통해 효율적으로 3차원 지도를 생성할 수 있도록 하는 구성을 포함할 수 있다.
본 발명은 도 1a에서와 같이, 차량 범퍼에 장착된 2개의 라이다의 데이터를 통합하여 하나의 시간과 통일된 좌표계로 데이터를 처리하여 입력받아 차량의 주행경로에 대한 정보를 추출하고, 차량 내부 ECU에서 출력되는 차량의 관성데이터를 이용하여 보정하여 이동경로를 따라 라이다의 포인트 클라우드 데이터를 개시하여 센서의 추가없이 정밀한 지도를 생성할 수 있도록 하는 구성을 포함할 수 있다.
본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템은 도 1b에서와 같이, 차량 범퍼에 장착되어 지도 작성 및 위치 인식을 위한 데이터를 출력하는 제 1 라이다(10) 및 제 2 라이다(20)와, 제 1 라이다(10) 및 제 2 라이다(20)의 데이터를 수신하여 시간 동기화를 통해 라이다의 시간을 정렬한 후 포인트 클라우드 타입으로 변환하여 병합하는 라이다 데이터 머지부(30)와, 라이다 데이터 머지부(30)에서 병합된 데이터를 보정하기 위한 차량의 관성데이터를 제공하는 ECU(40)와, 라이다 데이터 머지부(30)에서 병합된 데이터를 ECU(40)에서 받은 차량의 관성데이터를 이용하여 보정하여 차량의 이동을 추정하는 라이다 오도메트리(Lidar odometry)를 획득하고, 차량이 주행하는 도로의 3차원 지도를 생성하고 도로 내부에서 차량의 위치와 주행 경로를 추출하는 SLAM 부(50)를 포함한다.
여기서, 제 1 라이다(10) 및 제 2 라이다(20) 각각의 Raw Data는 Point Cloud Merge를 통해 하나의 통합된 좌표로 표현된다. 통합된 좌표계 안에서 센서 간의 상대적 위치 차이를 구하고 이를 적용하여 보정된 좌표계에서의 센서를 원점으로 모든 포인트 클라우드를 정렬한다.
이때 라이다에서 생성된 Raw Data는 UDP를 통해 받아지며 2개의 라이다 각각의 데이터를 버퍼에 저장하여 시간 동기화를 통해 라이다의 시간을 정렬한 후 포인트 클라우드 타입으로 변환하여 병합한다.
여기서, 포인트 클라우드란 주로 라이다와 RGB-D센서(뎁스 카메라) 등에서 수집되는 데이터의 종류이다. 이러한 센서들은 물체에 빛이나 초음파, 레이저 등을 보내 반사돼서 돌아올 때까지의 시간을 측정하여 신호당 거리를 계산해 하나의 포인트를 생성한다. 이를 센서의 해상도에 따라 반복 혹은 동시적으로 수행하여 많은 수의 포인트를 생성한다. 생성된 포인트의 수는 센서의 정밀도에 따라 다르지만, 포인트 클라우드는 3차원 공간에 퍼진 수많은 점(Point)의 집합(set Cloud)을 의미한다.
이와 같은 포인트 클라우드의 경우 센서를 기준으로 3차원 배열로 정리되는데 이때 각각의 포인트가 데이터(깊이)를 가지고 있으므로 데이터를 활용하는 데 있어 포인트들의 Scale이나 Rotation을 고려하지 않아도 자동으로 센서를 기준으로 회전하거나 배치되므로 방대한 용량의 포인트 클라우드 데이터를 쉽게 이용할 수 있다.
본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템은 차량의 범퍼에 장착된 라이다와 차량 내부에서 출력되는 관성 정보를 가지고 지도와 위치를 출력할 수 있도록 한 것이다.
도로에서 주행하는 차량의 안전을 위해 라이다는 차량의 범퍼에 알루미늄 프로파일과 별도의 마운트를 통해 라이다를 장착하는 것이 바람직하다.
차량의 범퍼에서의 라이다의 인식 범위의 확장을 위해 2대의 라이다를 사용하여 각각의 라이다에서의 포인트 클라우드(Point cloud) 데이터를 병합하는 작업을 수행한다.
라이다에서 인식된 포인트 클라우드(Point cloud)를 이용해 차량의 이동을 추정하는 라이다 오도메트리(Lidar odometry)를 획득한다.
오도메트리(odometry)의 정밀도를 높이고 연산에 필요한 시간을 줄이기 위해 차량 내부 ECU에서 CAN 형식으로 출력되는 차량의 가속도 데이터를 사용하여 SLAM을 실시한다.
본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법을 구체적으로 설명하면 다음과 같다.
도 2는 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법을 나타낸 플로우 차트이다.
본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법은 크게, 차량 범퍼에 장착되는 제 1 라이다(10) 및 제 2 라이다(20)로부터 지도 작성 및 위치 인식을 위한 데이터를 입력받아 시간 동기화를 통해 라이다의 시간을 정렬한 후 포인트 클라우드 타입으로 변환하여 병합하는 단계와, 차량의 관성데이터를 제공받아 제 1 라이다(10) 및 제 2 라이다(20)에서 인식된 포인트 클라우드(Point cloud)를 이용해 차량의 이동을 추정하는 라이다 오도메트리(Lidar odometry)를 획득하는 단계와, 오도메트리(odometry)의 정밀도를 높이고 연산에 필요한 시간을 줄이기 위해 차량 내부 ECU에서 CAN 형식으로 출력되는 차량의 가속도 데이터를 사용하여 SLAM을 실시하여 구해진 odometry를 따라 라이다 Point Cloud를 글로벌 맵에 등록하여 3D Point Cloud 맵을 생성하는 단계를 포함한다.
차량의 안전한 주행을 염두에 두어 차량의 범퍼에 두 개의 라이다를 장착하였으며, 차량에서 실시하는 SLAM의 적용성을 높이고 범용성을 확보하기 위해 차량 ECU에서 출력되는 데이터를 가지고 SLAM을 실시한다.
듀얼라이다의 Point Cloud 데이터를 병합하는 라이다 병합 시스템의 출력과 차량의 ECU를 통해 주행 환경에서 차량의 Longitudinal Acceleration, Lateral Acceleration, Yaw Rate를 임베디드 제어보드로 입력하여 SLAM을 실시한다.
SLAM을 위한 odometry는 라이다 스캔간의 매칭을 통해 구해지며 이때의 초기값을 ECU 데이터를 통해 계산된다. 이 과정을 통해 구해진 odometry를 따라 라이다 Point Cloud를 글로벌 맵에 등록하여 3D Point Cloud 맵을 생성한다.
듀얼 라이다의 입력에 관하여 구체적으로 설명하면 다음과 같다.
차량은 모바일 로봇이나 AGV와는 다르게 고속에서 주행하므로 차량의 공기역학적 설계는 차량의 주행 안정성과 차량의 연비 양쪽 측면에서 매우 중요하다.
또한, 사고 발생 시 장착된 라이다의 위치에 따라 센서 탈락 시 인명 피해나 2차 사고를 유발할 수 있다. 따라서 차량의 라이다 설치는 대부분의 경우처럼 지붕이 아닌 차량의 범퍼에 장착되어야 한다.
하지만, 라이다를 범퍼에 장착할 경우 차량의 지붕에 설치한 것과는 다르게 많은 시야각의 제한이 발생한다. 따라서 범퍼에 2개의 라이다를 설치하여 범퍼에서의 시야각을 최대로 확보하였다.
각각의 라이다의 Raw Data는 Point Cloud Merge를 통해 하나의 통합된 좌표로 표현된다.
통합된 좌표계 안에서 센서 간의 상대적 위치 차이를 구하고 이를 적용하여 보정된 좌표계에서의 센서를 원점으로 모든 포인트 클라우드를 정렬한다.
이때 라이다에서 생성된 Raw Data는 UDP를 통해 받아지며 2개의 라이다 각각의 데이터를 버퍼에 저장하여 시간 동기화를 통해 라이다의 시간을 정렬한 후 포인트 클라우드 타입으로 변환하여 병합한다.
도 3은 라이다 데이터 정합 과정을 나타낸 구성도이다.
차량의 odometry는 라이다의 포인트 클라우드 데이터를 이용해 구해지며 라이다 스캔에서 검출된 feature를 이용하여 스캔 간의 매칭을 통해 odometry를 계산한다.
검출에 사용되는 포인트 클라우드의 수를 줄이고 임베디드 보드에서의 부하를 최소화하기 위해서 입력받은 포인트클라우드의 클러스터링을 진행한다.
클러스터링은 30개 미만의 포인트를 가지는 클러스터의 경우 신뢰하지 않고 등록하지도 않으며, 이러한 과정을 통해 나뭇잎과 같이 작은 물체, 바람에 흔들리는 종이 등의 비연속적인 노이즈와 같은 포인트를 걸러내고 나무의 줄기, 기둥과 같은 신뢰할 수 있는 포인트만 남겨둔다.
그 후 feature의 추출을 위해서 각 포인트의 smoothness를 계산하여 Edge와 Planar로 구분한다.
이렇게 계산된 feature를 균일하게 추출하기 위해서 스캔 영역을 6개의 하위영역으로 나누어 영역별로 Edge와 Planar의 추출을 시행한다.
그 후 odometry를 구하기 위해서 두 개의 연속되는 스캔 사이에서 feature들의 correspondence를 계산한다.
마지막으로 correspondence를 가지는 feature들 간의 transform matrix를 계산해서 odometry를 구하는데 이때 transform matrix를 최적화 문제로 풀기 위해서 correspondence의 거리가 가까워진다는 것은 제대로 registration을 실시했다는 의미이므로 Edge correspondence와 Planar correspondence를 cost로 하여 최적화를 진행한다.
ECU 데이터 적용 과정을 구체적으로 설명하면 다음과 같다.
도 4는 ECU 데이터 적용 과정을 나타낸 구성도이다.
본 발명에서는 SLAM의 odometry의 계산을 위해서 라이다의 스캔을 통해 얻어지는 feature의 거리를 cost로 하여 최적화 기법을 통해 계산한다.
지상을 주행하는 자동차의 경우 지면과 수직 방향인 z축의 경우 도로에 따라 고도의 변화만이 존재한다. 따라서 차량의 odometry에서 z축의 변화와 roll, pitch의 경우 라이다에서 측정한 스캔 간의 매칭을 통해 측정한다.
하지만 도로 위에서 차량의 x, y 방향의 이동을 계산할 때 차량 imu 데이터를 이용해 경로 추정값을 제공하면 odometry의 계산을 보완할 수 있다.
차량의 ECU에서는 Longitudinal Acceleration(), Lateral Acceleration(), Yaw Rate()에 대한 데이터가 출력되며 이를 통해 차량의 x, y축 이동과 yaw 회전인 를 보정할 수 있다.
본 발명은 도 4에서와 같이, 차량의 이동 경로의 추정에 차량 ECU 데이터를 이용한다.
차량에서의 임베디드 환경구축 및 센서 설치에 관하여 설명하면 다음과 같다.
도 5는 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템에서의 전체 데이터 흐름을 나타낸 구성도이다.
현재 연구되는 많은 라이다 데이터의 확인과 범위 설정, SLAM과 매핑, 맵의 등록은 대부분 PC 환경에서 ROS라는 미들웨어 위에서 시행되었다. 하지만 본 발명에서는 차량에서 직접 실행되는 SLAM의 구현을 위해 사용되는 라이다와 SLAM 모두 차량용 임베디드 보드에서 실행된다.
ROS의 경우 우분투와 같은 OS에서 실행되는 미들웨어로 각 프로그램의 노드 간의 통신과 ROS Time을 이용한 시간 동기화 등을 제공하지만 통신에서의 TCP/IP의 사용과 각종 시각화 및 시뮬레이션 툴은 차량에서 필요로 하지 않고 연산량의 증가만 일으키기 때문이다.
본 발명의 일 실시 예에서 사용되는 보드는 ARM 프로세서를 사용한 차량용 임베디드 보드로 이더넷(RJ45) 입력부와 CAN 입력부가 존재한다.
따라서 라이다의 입력은 이더넷 포트를 통해 UDP로 입력받으며, IMU의 경우 CANoe를 통해 ECU의 CAN 데이터를 변환해 원하는 단위 규격으로 변경한 후 UDP를 통해 다시 임베디드 보드로 전송한다. 이러한 구조를 임베디드 보드에서 구현하여 실제 맵과 차량의 경로를 출력하여 실제로 구동하고 차량에 적용할 수 있도록 한다.
도 6a와 도 6b는 범퍼에 설치된 라이다에서 측정되는 라이다 범위 및 feature를 나타낸 구성도이고, 도 7a와 도 7b는 지붕에 설치된 라이다에서 측정되는 라이다 범위 및 feature를 나타낸 구성도이다.
본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법의 성능 평가 결과를 설명하면 다음과 같다.
성능 평가를 위하여 사용되는 라이다의 경우 Velodyne社의 VLP-16모델을 사용하였다. VLP-16 모델의 경우 16개의 Z 방향 채널을 가지고 있으며 360°의 감지가 가능하다. 실험에서 10Hz로 라이다 스캔을 수행하였으며, 이때 각 포인트의 x축 해상도는 0.2°로 360°에 걸쳐 1800개의 포인트가 단일 채널에서 측정되었다.
라이다의 위치에 따른 시야각 차이의 결과는 표 1에서와 같다.
시야각의 비교를 위해 주위에 나무나 기둥, 건물의 벽과 같은 오브젝트가 충분한 위치에서 정지한 상태로 1초 동안 측정한 시야각을 비교하였다.
라이다에서 출력된 오브젝트의 수는 육안으로 구별할 수 있는 오브젝트만을 표시하였다. 시야각의 경우 지붕에서는 전방위에 대한 인식이 가능했지만, 범퍼에 장착된 경우 차량의 전면(178°)밖에 인식하지 못했다.
또한, 인식한 오브젝트의 경우에도 좁은 시야각의 제약으로 인해 오브젝트 인식율이 지붕 : 18개에서 범퍼 : 10개로 범퍼에서의 인식률이 낮은 것을 확인할 수 있다.
마지막으로 16개의 채널 중 지상과 수평을 이룰 수 때 바닥 면을 스캔하는 수는 범퍼 : 7개, 지붕 : 5개로 지붕이 범퍼에 비해 낮은 수를 가지는 것을 볼 수 있는데 이는 지붕에 설치할 시 범퍼에 설치하는 것보다 높은 위치에 설치되어 일부 채널이 너무 먼 곳을 스캔하고 있기 때문이다.
도 8a와 도 8b는 범퍼에 설치된 듀얼 라이다에서 측정되는 라이다 범위 및 feature를 나타낸 구성도이다.
범퍼에서 낮은 시야각을 보상하기 위해 2개의 라이다를 사용하여 1개의 라이다를 사용했을 때와 비교하면 다음과 같다.
2개의 라이다를 사용하는 경우 각 범퍼의 모서리 쪽에 각각 설치하여 범퍼의 유선형 디자인을 따라 중앙부는 겹치고 범퍼 끝쪽으로 일부 후방에 대한 인식이 가능하다.
따라서 1개의 라이다를 설치했을 때보다 시야각이 110° 증가하였다. 이로 인해 인식하는 오브젝트 또한 14개로 기존 단일 라이다 대비 4개 증가함을 알 수 있다.
이러한 추가적인 후측방 시야는 차량의 odometry를 추출할 때 스캔 간의 매칭에서 차량의 옆을 지나는 나무나 기둥, 건물의 모서리 등을 feature로 인식할 수 있는 범위를 넓혀 준다.
또한, 차량이 좌회전이나 우회전할 시 feature를 잃어버리기까지 상대적으로 긴 시간 동안 측정할 수 있고 코너를 탈출한 후에도 회전 방향의 feature를 유지할 수 있어 odometry에서 차량의 회전을 추적하는 데에 유리하다.
장착 높이의 차이로 인해 범퍼에 장착된 라이다의 경우 지붕에 설치된 라이다에 비해 차량 전방의 물체를 감지하기에 유리하다.
도 8b에서 지붕에 설치된 라이다에서는 검출되지 않던 전방의 화단의 블록이 검출된 것을 확인할 수 있다.
도 9는 지붕의 싱글 라이다(좌)와 범퍼의 듀얼 라이다(우)의 odometry 차이를 나타낸 구성도이고, 도 10은 지붕의 싱글 라이다 대비 듀얼 라이다의 오차를 나타낸 구성도이다.
단일 지붕 라이다 대비 범퍼에 설치한 듀얼 라이다의 성능의 차이를 확인하기 위해 루프를 만들며 주행하여 실험을 진행하였다.
실험은 차량을 이용해 동일한 경로를 주행하여 최종 생성된 지도와 차량의 주행 경로인 odometry를 비교하였다.
라이다가 지붕에 설치되는 것이 조금 더 나은 결과를 보인다는 것을 알 수 있다. 하지만 범퍼에 2개 설치된 라이다가 지붕에 설치된 라이다 대비 대략 22% 더 좁은 시야를 가지고 있다는 것을 생각해 보면 범퍼에 라이다를 2개 설치해 실시한 결과는 지붕에 설치한 라이다 대비 1개 코너에서 14.6° 틀어짐으로 상당히 높은 정밀도를 유지하는 것을 확인할 수 있다.
도 11은 feature 변경 확인을 위한 라이다 포인트 클라우드 Raw Data를 나타낸 구성도이고, 도 12는 각 하위 이미지(60°)당 edge:1, planar:1(좌), edge:1, planar:2(우)이다.
Feature의 선택에 따른 odometry 차이는 다음과 같다.
차량의 위치 추정에는 라이다의 시야각 및 포인트뿐 아니라 스캔에서 검출되는 feature 수의 변경에 따라 출력이 달라진다.
이에 따른 차이를 확인하기 위해 라이다를 차량의 지붕에 장착하여 검출되는 feature에 변화를 주어 feature 수에 따른 odometry의 변화 측정하였다. feature의 변경에 따른 실제 추출되는 feature의 수를 측정하였다.
모두 동일한 장소에서 실험하였으며 검출되는 edge와 planar의 차이만이 존재한다. 시각화를 위해 ROS의 Rviz라는 시각화 툴을 이용하여 아래에 표시하였다.
실험 결과 하위 이미지(60°) 당 edge 1개, planar 1개를 출력하는 경우와 edge 1개, planar 2개를 출력하는 경우 각각이 인식하는 planar의 수가 변화함을 확인할 수 있었다. 하위 이미지에서 인식하는 planar의 수가 1개에서 2개로 변화함에 따라 도 12에서 계산을 위해 입력되는 전체 이미지에서의 planar(노란색 점)의 수가 증가함도 확인하였다.
feature의 수를 가변시킴에 따라 odometry가 변화하는 것을 확인하기 위해 feature의 수를 변화시키며 동일한 bag파일을 통해 SLAM을 실시하였다.\
이때의 결과는 표 4에서와 같으며 feature의 수가 적은 것이 Loop-closer가 성공하여 더 나은 결과를 보이는 것을 확인할 수 있었다. 또한, 일정 수준 이상을 feature를 인식하는 경우 Loop-closer가 실행되지 않거나 다른 지점으로 closer가 되는 것을 확인하였다. 따라서 위치 추정에 사용되는 Edge와 Planar feature의 수를 하나의 하위영역(60°)당 2:6으로 유지하였다.
도 13은 ECU 데이터의 유무에 따른 차량 초기 경로 차이를 나타낸 구성도이고, 도 14는 ECU 데이터 유무에 따른 초기값의 차이를 나타낸 구성도이다.
ECU에서 출력되는 데이터를 이용해 차량의 이동 경로 추정을 위한 초기값의 제공이 실제 차량의 이동 경로 추정에 미치는 영향을 확인하기 위해 ECU 데이터의 유무에 따른 경로를 비교하였다.
사전에 정한 경로를 따라 주행한 후 비교한 실험의 결과를 보면 주행 전반에 걸쳐 라이다만을 사용해 초기 위치를 추정한 경우 평균 91m의 오차를 보였다.
발생하는 최대 오차는 207m이며 급격한 코너 부분에서 주로 오차가 발생하였다. 하지만 ECU와 라이다를 함께 사용해 초기 위치를 추정한 경우 평균 24m의 오차를 보였으며 최대 오차는 41m이다. 이러한 오차는 고속으로 주행할 경우 더 커지는 경향을 보였으며 주행 후 충분한 시간 동안 정차하여 계속해서 ICP 및 루프 클로저를 실시한 경우 수정된다. 하지만 초기 위치에서 너무 큰 오차가 발생했을 때는 ICP를 통한 루프 클로저가 불가능한 경우도 발생하였다.
ARM 보드를 통해 각종 센서의 입출력 및 알고리즘의 계산을 수행하여 차량의 위치 및 지도를 출력을 확인한다. 실험에서는 범퍼의 듀얼 라이다와 차량 ECU 데이터를 전부 사용하였다. 차량은 여러 환경에서 주행하였으며 실제 도로에서 실험되었다. 각각 0.9km, 4.8km, 4.1km 주행하였으며 주행 경로와 생성된 지도를 위성 지도와 비교 하였다.
도 15a와 도 15b는 본 발명을 적용한 제 1 실시 예에 따른 주행 경로 및 완성된 지도 구성도이고, 도 16a와 도 16b는 본 발명을 적용한 제 2 실시 예에 따른 주행 경로 및 완성된 지도 구성도이고, 도 17a와 도 17b는 본 발명을 적용한 제 3 실시 예에 따른 주행 경로 및 완성된 지도 구성도이다.
각각의 환경은 서로 다른 특징이 존재하며 제 1 실시 예에서는 경로상의 고저 차가 존재하고 급경사(1) 및 급회전(2)이 많은 경로를 포함한다.
또한, 일부 구간에서 한쪽이 벽으로 막혀 있어 아무런 feature를 출력하지 못하는 구간(3)도 있다.
제 2 실시 예의 경우 평지이며 90° 회전이 자주 일어난다. 또한, 중앙의 원형 로터리(1)에서 모든 경로가 겹쳐짐으로 각각의 회전에 따른 누적오차를 시험하기 위해 시행되었다. 주행 과정에서 중앙의 로터리와 일부 교차로에서 루프끼리 만나 루프 클로저가 이루어지므로 4개의 작은 루프로 이루어져 있는데 마지막의 경우 가장 긴 길이의 단일 주행으로 4.1km의 주행이 루프 클로저 없이 한 번에 이루어졌다. 경로 중 긴 직선주로(1)에서 오브젝트의 수가 매우 작은 지형을 포함하고 있다.
실험 결과 모든 지역에서 정상적으로 지도가 출력되는 것을 확인하였으며 루프 클로저를 통해 지도상의 누적오차 보정이 정상적으로 동작하는 것을 확인하였다.
이상에서 설명한 본 발명에 따른 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템 및 방법은 차량 범퍼에 장착된 2개의 라이다의 데이터를 통합하여 하나의 시간과 통일된 좌표계로 데이터를 처리하여 입력받아 차량의 주행경로에 대한 정보를 추출하고, 차량 내부 ECU에서 출력되는 차량의 관성데이터를 이용하여 보정하여 이동경로를 따라 라이다의 포인트 클라우드 데이터를 개시하여 센서의 추가없이 정밀한 지도를 생성할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10. 제 1 라이다 20. 제 2 라이다
30. 라이다 데이터 머지부 40. ECU
50. SLAM 부

Claims (14)

  1. 차량 범퍼에 장착되어 지도 작성 및 위치 인식을 위한 데이터를 출력하는 제 1 라이다 및 제 2 라이다;
    제 1 라이다 및 제 2 라이다의 데이터를 수신하여 시간 동기화를 통해 라이다의 시간을 정렬한 후 포인트 클라우드 타입으로 변환하여 병합하는 라이다 데이터 머지부;
    라이다 데이터 머지부에서 병합된 데이터를 보정하기 위한 차량의 관성데이터를 제공하는 ECU;
    라이다 데이터 머지부에서 병합된 데이터를 ECU에서 받은 차량의 관성데이터를 이용하여 보정하여 차량의 이동을 추정하는 라이다 오도메트리(Lidar odometry)를 획득하고, 차량이 주행하는 도로의 3차원 지도를 생성하고 도로 내부에서 차량의 위치와 주행 경로를 추출하는 SLAM 부;를 포함하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템.
  2. 제 1 항에 있어서, 제 1 라이다 및 제 2 라이다 각각의 Raw Data는 Point Cloud Merge를 통해 하나의 통합된 좌표로 표현되고,
    통합된 좌표계 안에서 센서 간의 상대적 위치 차이를 구하고 이를 적용하여 보정된 좌표계에서의 센서를 원점으로 모든 포인트 클라우드를 정렬하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템.
  3. 제 1 항에 있어서, 제 1 라이다 및 제 2 라이다에서 생성된 Raw Data는,
    UDP를 통해 받아지며 2개의 라이다 각각의 데이터를 버퍼에 저장하여 시간 동기화를 통해 라이다의 시간을 정렬한 후 포인트 클라우드 타입으로 변환하여 병합하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템.
  4. 제 1 항에 있어서, 라이다 오도메트리(Lidar odometry)는,
    제 1 라이다 및 제 2 라이다의 포인트 클라우드 데이터를 이용해 구해지며 라이다 스캔에서 검출된 feature를 이용하여 스캔 간의 매칭을 통해 odometry를 계산되고,
    검출에 사용되는 포인트 클라우드의 수를 줄이고 임베디드 보드에서의 부하를 최소화하기 위해서 입력받은 포인트클라우드의 클러스터링을 진행하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템.
  5. 제 4 항에 있어서, 클러스터링은,
    설정 갯수 미만의 포인트를 가지는 클러스터의 경우 신뢰하지 않아 등록하지도 않으며,
    이러한 과정을 통해 비연속적인 노이즈 포인트를 걸러내고 신뢰할 수 있는 포인트만 남기는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템.
  6. 제 4 항에 있어서, 입력받은 포인트클라우드의 클러스터링을 진행한 후에,
    feature의 추출을 위해서 각 포인트의 smoothness를 계산하여 Edge와 Planar로 구분하고,
    계산된 feature를 균일하게 추출하기 위해서 스캔 영역을 설정된 갯수의 하위영역으로 나누어 영역별로 Edge와 Planar의 추출을 시행하고,
    그 후 odometry를 구하기 위해서 두 개의 연속되는 스캔 사이에서 feature들의 correspondence를 계산하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템.
  7. 제 6 항에 있어서, correspondence를 가지는 feature들 간의 transform matrix를 계산해서 odometry를 구하고,
    이때 transform matrix를 최적화 문제로 풀기 위해서 Edge correspondence와 Planar correspondence를 cost로 하여 최적화를 진행하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템.
  8. 제 7 항에 있어서, 최적화 과정에서,
    차량의 odometry에서 z축의 변화와 roll, pitch의 경우 라이다에서 측정한 스캔 간의 매칭을 통해 측정하고,
    도로 위에서 차량의 x, y 방향의 이동을 계산할 때 차량 imu 데이터를 이용해 경로 추정값을 제공하여 odometry의 계산을 보완하고,
    차량의 ECU에서 Longitudinal Acceleration(), Lateral Acceleration(), Yaw Rate()에 대한 데이터가 출력되며 이를 통해 차량의 x, y축 이동과 yaw 회전인 를 보정하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 시스템.
  9. 차량 범퍼에 장착되는 제 1 라이다 및 제 2 라이다로부터 지도 작성 및 위치 인식을 위한 데이터를 입력받아 시간 동기화를 통해 라이다의 시간을 정렬한 후 포인트 클라우드 타입으로 변환하여 병합하는 단계;
    차량의 관성데이터를 제공받아 제 1 라이다 및 제 2 라이다에서 인식된 포인트 클라우드(Point cloud)를 이용해 차량의 이동을 추정하는 라이다 오도메트리(Lidar odometry)를 획득하는 단계;
    오도메트리(odometry)의 정밀도를 높이고 연산에 필요한 시간을 줄이기 위해 차량 내부 ECU에서 CAN 형식으로 출력되는 차량의 가속도 데이터를 사용하여 SLAM을 실시하여 구해진 odometry를 따라 라이다 Point Cloud를 글로벌 맵에 등록하여 3D Point Cloud 맵을 생성하는 단계;를 포함하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법.
  10. 제 9 항에 있어서, 라이다 오도메트리(Lidar odometry)는,
    제 1 라이다 및 제 2 라이다의 포인트 클라우드 데이터를 이용해 구해지며 라이다 스캔에서 검출된 feature를 이용하여 스캔 간의 매칭을 통해 odometry를 계산되고,
    검출에 사용되는 포인트 클라우드의 수를 줄이고 임베디드 보드에서의 부하를 최소화하기 위해서 입력받은 포인트클라우드의 클러스터링을 진행하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법.
  11. 제 10 항에 있어서, 클러스터링은,
    설정 갯수 미만의 포인트를 가지는 클러스터의 경우 신뢰하지 않아 등록하지도 않으며,
    이러한 과정을 통해 비연속적인 노이즈 포인트를 걸러내고 신뢰할 수 있는 포인트만 남기는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법.
  12. 제 10 항에 있어서, 입력받은 포인트클라우드의 클러스터링을 진행한 후에,
    feature의 추출을 위해서 각 포인트의 smoothness를 계산하여 Edge와 Planar로 구분하고,
    계산된 feature를 균일하게 추출하기 위해서 스캔 영역을 설정된 갯수의 하위영역으로 나누어 영역별로 Edge와 Planar의 추출을 시행하고,
    그 후 odometry를 구하기 위해서 두 개의 연속되는 스캔 사이에서 feature들의 correspondence를 계산하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법.
  13. 제 12 항에 있어서, correspondence를 가지는 feature들 간의 transform matrix를 계산해서 odometry를 구하고,
    이때 transform matrix를 최적화 문제로 풀기 위해서 Edge correspondence와 Planar correspondence를 cost로 하여 최적화를 진행하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법.
  14. 제 13 항에 있어서, 최적화 과정에서,
    차량의 odometry에서 z축의 변화와 roll, pitch의 경우 라이다에서 측정한 스캔 간의 매칭을 통해 측정하고,
    도로 위에서 차량의 x, y 방향의 이동을 계산할 때 차량 imu 데이터를 이용해 경로 추정값을 제공하여 odometry의 계산을 보완하고,
    차량의 ECU에서 Longitudinal Acceleration(), Lateral Acceleration(), Yaw Rate()에 대한 데이터가 출력되며 이를 통해 차량의 x, y축 이동과 yaw 회전인 를 보정하는 것을 특징으로 하는 범퍼 설치형 듀얼 라이다를 이용한 차량용 SLAM 방법.
KR1020220011500A 2022-01-26 2022-01-26 범퍼 설치형 듀얼 라이다를 이용한 차량용 slam 시스템 및 방법 KR102585103B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220011500A KR102585103B1 (ko) 2022-01-26 2022-01-26 범퍼 설치형 듀얼 라이다를 이용한 차량용 slam 시스템 및 방법
US18/085,147 US20230236323A1 (en) 2022-01-26 2022-12-20 Slam system and method for vehicles using bumper-mounted dual lidar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220011500A KR102585103B1 (ko) 2022-01-26 2022-01-26 범퍼 설치형 듀얼 라이다를 이용한 차량용 slam 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230115026A true KR20230115026A (ko) 2023-08-02
KR102585103B1 KR102585103B1 (ko) 2023-10-05

Family

ID=87313889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220011500A KR102585103B1 (ko) 2022-01-26 2022-01-26 범퍼 설치형 듀얼 라이다를 이용한 차량용 slam 시스템 및 방법

Country Status (2)

Country Link
US (1) US20230236323A1 (ko)
KR (1) KR102585103B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR20180100835A (ko) 2017-03-02 2018-09-12 충북대학교 산학협력단 듀얼 라이다 센서 캘리브레이션 방법 및 장치
KR20200109116A (ko) 2019-03-12 2020-09-22 한국과학기술원 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
KR20210015211A (ko) 2019-08-01 2021-02-10 엘지전자 주식회사 실시간으로 클라우드 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버
KR20210061875A (ko) * 2019-11-20 2021-05-28 국민대학교산학협력단 포인트 클라우드 데이터를 이용한 3d lidar 센서 결함 검출 방법
KR102325119B1 (ko) * 2021-04-27 2021-11-12 주식회사 모빌테크 라이다 좌표를 이용한 점군 지도 업데이트를 수행하는 차량

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR20180100835A (ko) 2017-03-02 2018-09-12 충북대학교 산학협력단 듀얼 라이다 센서 캘리브레이션 방법 및 장치
KR20200109116A (ko) 2019-03-12 2020-09-22 한국과학기술원 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
KR20210015211A (ko) 2019-08-01 2021-02-10 엘지전자 주식회사 실시간으로 클라우드 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버
KR20210061875A (ko) * 2019-11-20 2021-05-28 국민대학교산학협력단 포인트 클라우드 데이터를 이용한 3d lidar 센서 결함 검출 방법
KR102325119B1 (ko) * 2021-04-27 2021-11-12 주식회사 모빌테크 라이다 좌표를 이용한 점군 지도 업데이트를 수행하는 차량

Also Published As

Publication number Publication date
US20230236323A1 (en) 2023-07-27
KR102585103B1 (ko) 2023-10-05

Similar Documents

Publication Publication Date Title
US11024055B2 (en) Vehicle, vehicle positioning system, and vehicle positioning method
EP3692337B1 (en) Map information provision system
CN108801276B (zh) 高精度地图生成方法及装置
CN107246868B (zh) 一种协同导航定位系统及导航定位方法
JP7074438B2 (ja) 自車位置推定装置
Rose et al. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS
CN109946732A (zh) 一种基于多传感器数据融合的无人车定位方法
US8301374B2 (en) Position estimation for ground vehicle navigation based on landmark identification/yaw rate and perception of landmarks
US9836052B1 (en) Change detection using curve alignment
Lee et al. Development of a self-driving car that can handle the adverse weather
CN104848867B (zh) 基于视觉筛选的无人驾驶汽车组合导航方法
KR101454153B1 (ko) 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
CN104061899B (zh) 一种基于卡尔曼滤波的车辆侧倾角与俯仰角估计方法
CN111912419A (zh) 基于激光雷达的高精度语义导航地图构建方法和装置
KR102425735B1 (ko) 로드뷰 또는 항공뷰 맵 정보를 이용한 자율주행 방법 및 그 시스템
CN110388925A (zh) 用于与自动导航有关的车辆定位的系统和方法
EP3799618B1 (en) Method of navigating a vehicle and system thereof
US11754415B2 (en) Sensor localization from external source data
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
Jiménez et al. Improving the lane reference detection for autonomous road vehicle control
KR20210058640A (ko) 골프장 자동 운전차의 내비게이션 전환 설비
CN117234203A (zh) 一种多源里程融合slam井下导航方法
KR102585103B1 (ko) 범퍼 설치형 듀얼 라이다를 이용한 차량용 slam 시스템 및 방법
EP4113063A1 (en) Localization of autonomous vehicles using camera, gps, and imu
Hu et al. Fusion of vision, 3D gyro and GPS for camera dynamic registration

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant