KR20230036858A - 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템 - Google Patents

3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템 Download PDF

Info

Publication number
KR20230036858A
KR20230036858A KR1020210119872A KR20210119872A KR20230036858A KR 20230036858 A KR20230036858 A KR 20230036858A KR 1020210119872 A KR1020210119872 A KR 1020210119872A KR 20210119872 A KR20210119872 A KR 20210119872A KR 20230036858 A KR20230036858 A KR 20230036858A
Authority
KR
South Korea
Prior art keywords
lane
map
vehicle
point
coordinates
Prior art date
Application number
KR1020210119872A
Other languages
English (en)
Inventor
심현철
이대규
김현지
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020210119872A priority Critical patent/KR20230036858A/ko
Priority to US17/827,844 priority patent/US20230071794A1/en
Publication of KR20230036858A publication Critical patent/KR20230036858A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3819—Road shape data, e.g. outline of a route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/004—Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Navigation (AREA)
  • Computational Mathematics (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Electromagnetism (AREA)
  • Algebra (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

본 발명은 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템에 관한 것으로서, 더욱 상세하게는, 인공지능을 활용한 차선 인식 알고리즘과 라이다(LiDAR) 센서 기반의 오도메트리(odometry)를 활용하고, 또한 3차원 지도를 이용하여 2차원 차선 레벨(lane-level) 지도를 생성하는 방법 및 시스템에 관한 것이다.
본 발명에 의하면, 자동으로 3D 정밀지도를 구축하는 과정에서 차량의 위치 추정을 위한 스캔 매칭시, 타겟이 되는 3차원 지도의 크기를 축소함으로써 연산량을 줄이고, 이로써 빠르고 정확한 위치추정을 수행하는 방법을 제공한다. 또한 차량의 빠른 이동시, 스캔 매칭에 의한 위치추정이 실패하더라도, 병행하여 수행되는 라이다 오도메트리(LiDAR odometry)를 이용하여 차량의 위치를 추정함으로써 더욱 강건한(robust) 위치추정이 가능하게 한다. 본 발명은 이와 같은 강건한 차량 위치추정(robust localization)을 이용하여, 기 구축된 3D 포인트 클라우드 맵에 정밀한 차선 지도를 구축하여 병합시킴으로써 더욱 정밀한 3차원 정밀지도 및 차선 노드-링크 지도를 구축하도록 한다. 또한 이러한 3차원 정밀지도 및 차선에 노드-링크를 생성한 지도를 이용하여, 내비게이션 또는 자율주행 플랫폼에 사용될 수 있는 더욱 효과적인 경로 계획 알고리즘을 제공한다. 또한 기 구축된 위도-경도 좌표계와 같은 글로벌 좌표계를 기반으로 하는 주소 체계 고도화 데이터를 자율 주행 플랫폼이 활용할 수 있도록 하며, 기 구축된 주소 체계 고도화 데이터의 활용을 위한 정보를 생성된 링크별로 자동으로 부여함으로써, 자율 주행 플랫폼이 주소 체계 고도화 데이터를 효과적으로 활용할 수 있도록 한다.

Description

3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템{Method and system for building lane-level map by using 3D point cloud map}
본 발명은 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템에 관한 것으로서, 더욱 상세하게는, 인공지능을 활용한 차선 인식 알고리즘과 라이다(LiDAR) 센서 기반의 오도메트리(odometry)를 활용하고, 또한 3차원 지도를 이용하여 2차원 차선 레벨(lane-level) 지도를 생성하는 방법 및 시스템에 관한 것이다.
자율주행차량의 주행시, 차량에서 획득한 주변 환경에 대한 스캔 데이터(scan data)를 3D 정밀지도, 즉, 3D 포인트 클라우드 맵(3D point cloud map)에 매칭시킴에 의해 해당 차량의 위치를 추정하는데 사용하는 기법이 개시되어 왔다. 나아가 그러한 스캔 매칭에 의한 차량 위치 추정 기법을 3차원 포인트 클라우드 맵과 차선 지도를 포함하는 멀티레이어 정밀지도를 자동으로 구축하는데 사용하는 방법도 개시된 바 있다.
그러나 그러한 기존의 스캔 매칭 기법이 특히, 차량이 고속으로 운행하는 환경에서는 항상 정확한 차량의 위치 추정을 보장하지는 못하는 문제점이 있었다. 또한 타겟이 되는 3차원 지도의 규모가 확장될수록 매칭을 위한 연산량이 많아지며, 이로 인하여 위치추정의 성능이 크게 저하되는 문제점을 나타낸다.
또한 위치 추정에 실패할 경우, 구축된 지도 내에서 차량의 위치 정보를 알 수 없어 멀티레이어 정밀지도를 자동으로 구축하는데 있어 한계점을 갖게 된다. 이로 인해 지도 제작 시 사람이 수동으로 여러 번의 수정 및 확인이 필요한 경우가 빈번히 발생하며, 정밀 지도 구축 과정에 있어서의 이와 같은 시간 소모 및 비 효율성에 대한 개선이 필요한 실정이다.
본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 자동으로 3D 정밀지도를 구축하는 과정에서 차량의 위치 추정을 위한 스캔 매칭시, 타겟이 되는 3차원 지도의 크기를 축소함으로써 연산량을 줄이고, 이로써 빠르고 정확한 위치추정을 수행하는 방법을 제공한다. 또한 차량의 빠른 이동시, 스캔 매칭에 의한 위치추정이 실패하더라도, 병행하여 수행되는 라이다 오도메트리(LiDAR odometry)를 이용하여 차량의 위치를 추정함으로써 더욱 강건한(robust) 위치추정이 가능하게 한다. 본 발명은 이와 같은 강건한 차량 위치추정(robust localization)을 이용하여, 기 구축된 3D 포인트 클라우드 맵에 정밀한 차선 레벨 지도를 구축하여 병합시킴으로써 더욱 정밀한 3차원 정밀지도 및 차선 노드-링크 지도를 구축하도록 하는데 그 목적이 있다.
또한 이러한 3차원 정밀지도 및 차선에 노드-링크를 생성한 지도를 이용하여, 내비게이션 또는 자율주행 플랫폼에 사용될 수 있는 더욱 효과적인 경로 계획 알고리즘을 제공하는데 다른 목적이 있다.
또한 기 구축된 위도-경도 좌표계와 같은 글로벌 좌표계를 기반으로 하는 주소 체계 고도화 데이터를 자율 주행 플랫폼이 활용할 수 있도록 하며, 기 구축된 주소 체계 고도화 데이터의 활용을 위한 정보를 생성된 링크별로 자동으로 부여함으로써, 자율 주행 플랫폼이 주소 체계 고도화 데이터를 효과적으로 활용할 수 있도록 하는데 또 다른 목적이 있다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 3차원 지도를 이용한 차선 레벨 지도 구축 방법은, (a) 주행중인 차량에 부착된 라이다(LiDAR) 센서에서 스캔(scan)하여 수집한 데이터를 이용하여, 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차량의 위치를 결정하는 단계; (b) 상기 차량에 설치된 카메라가 캡쳐한 이미지로부터 차선(lane)을 감지하는 단계; (c) 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차선의 위치를 결정하는 단계; 및, (d) 상기 단계(c)에서 결정된 상기 차선의 위치를, 차선을 나타내는 포인트로 차선 레벨 지도에 누적시키는 단계를 포함한다.
상기 단계(a)는, (a1) 라이다(LiDAR)에서 스캔하여 수집한 차량 주변 사물에 대한 다수의 포인트(이하 '입력 라이다 포인트'라 한다)를 상기 3차원 포인트 클라우드 맵 상의 포인트 그룹(이하 '타겟 포인트 그룹'이라 한다)과 매칭시켜 일치하는 경우를 찾는 단계; (a2) 일치하는 경우를 찾으면, 상기 차량의 위치를 상기 3차원 포인트 클라우드 맵 상의 좌표로 결정하는 단계를 포함할 수 있다.
상기 타겟 포인트 그룹은, 상기 3차원 포인트 클라우드 맵 상에서, 상기 차량으로부터 일정 거리 내에 존재하는 포인트들의 그룹(이하 '슬라이딩 윈도우'라 한다)일 수 있다.
상기 단계(a1)에서,
Figure pat00001
인 경우 일치하는 것으로 판단할 수 있고, 여기서
Figure pat00002
는 정합 점수(fitness score),
Figure pat00003
은 기 설정된 오차 기준값이며,
Figure pat00004
로 산출될 수 있고, 여기서, t는 특정시점,
Figure pat00005
는 상기 입력 라이다 포인트의 좌표로서, 차량을 원점으로 한 바디좌표계(body coordinates)로 표시된 좌표,
Figure pat00006
는 상기 슬라이딩 윈도우 내 포인트의 좌표로서, 상기 3차원 포인트 클라우드 맵 상의 특정점을 원점으로 하는 제1 월드좌표계(world coordinates)로 표시된 좌표이며,
Figure pat00007
는 제1 월드좌표계의 원점에서 상기 차량의 현재 위치까지의 회전 행렬,
Figure pat00008
는 제1 월드좌표계의 원점에서 상기 차량의 현재 위치까지의 평행이동 행렬이고,
Figure pat00009
는 상기 입력 라이다 포인트
Figure pat00010
값을 제1 월드좌표계(world coordinates)로 변환한 포인트 좌표이며, 상기 단계(a1)에서 일치하는 것으로 판단되었으면, 상기 단계(a2)에서 상기 차량의 위치를, 그 시점의 상기
Figure pat00011
및 상기
Figure pat00012
로 업데이트 할 수 있다.
상기 단계(a2) 이전에, (a11) 상기 입력 라이다 포인트로부터, 상기 차량의 주행시작점을 원점으로 한 좌표계(이하 '제2 월드좌표계) 상의 차량의 위치 좌표(이하 '라이다 오도메트리'라 한다)를 구하는 단계; (a12)
Figure pat00013
를 산출하는 단계를 더 포함할 수 있고, (a3) 상기 단계(a1)에서 일치하지 않는 것으로 판단되었으면, 상기
Figure pat00014
를
Figure pat00015
로 변환한 후 상기
Figure pat00016
를 이용하여
Figure pat00017
및
Figure pat00018
를 예측하고, 이를 그 시점의
Figure pat00019
및
Figure pat00020
로 업데이트 하는 단계를 더 포함할 수 있으며, 여기서
Figure pat00021
는 t+△t 시점의 라이다 오도메트리,
Figure pat00022
는 t 시점의 라이다 오도메트리이고,
Figure pat00023
는 라이다 오도메트리로 예측된, 상기 차량의 위치 변화량을 바디좌표계로 나타낸 것,
Figure pat00024
는 상기
Figure pat00025
를 상기 제2 월드좌표계로 변환한 것이며, 상기
Figure pat00026
은 제2 월드좌표계의 좌표를 바디좌표계의 좌표로 변환하는 행렬이다.
상기 단계(b)에서 감지된 차선은, 캡쳐된 이미지에서, 픽셀좌표계(pixel coordinates) 상의 좌표일 수 있다.
상기 단계(c)는, (c1) 상기 차선의 좌표를, 차량을 원점으로 한 바디좌표계(body coordinates) 상의 좌표로 변환하는 단계; 및, (c2) 상기 바디좌표계 상의 차선의 좌표를 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 좌표로 변환하는 단계를 포함할 수 있다.
상기 단계(c1)에서, 바디좌표계 상에서의 좌표로의 변환은,
Figure pat00027
에 의해 이루어질 수 있고, 여기서
Figure pat00028
은, 픽셀좌표계로 표시된 차선의 좌표,
Figure pat00029
은, 바디좌표계로 표시된 차선의 좌표이고, 행렬 H-1은 IPM(inverse perspective mapping)로서, 이때 행렬 H은
Figure pat00030
를 만족하는 행렬이며, 여기서
Figure pat00031
은 회전변환 행렬,
Figure pat00032
은 평행이동 행렬이고, K는 카메라의 내부 파라미터와 관련된 고유 행렬(intrinsic matrix)이다.
상기 단계(c1)과 단계(c2) 사이에, (c11) 상기 단계(c1)에서 바디좌표계로 표현된 상기 차선의 점들에 대하여, 곡선 맞춤(curve fitting)을 수행하는 단계를 더 포함할 수 있다.
상기 단계(c2)에서 3차원 포인트 클라우드 맵(3D point cloud map) 상의 좌표로의 변환은, 상기 단계(a)에서 결정된 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차량의 위치 정보를 이용하여 이루어질 수 있다.
상기 3차원 지도를 이용한 차선 레벨 지도 구축 방법은, (e) 상기 단계(d)에서 지도에 누적 생성된 차선의 각 포인트에 해당하는 속성 정보를 연동시키는 단계를 더 포함할 수 있다.
상기 3차원 지도를 이용한 차선 레벨 지도 구축 방법은, (d1) 상기 단계(a)에서 결정된 상기 차량의 위치를, 중앙 라인(center line)을 나타내는 포인트로 차선 레벨(lane-level) 지도에 누적시키는 단계를 더 포함할 수 있다.
상기 3차원 지도를 이용한 차선 레벨 지도 구축 방법은, (e1) 상기 단계(d1)에서 지도에 누적 생성된 중앙 라인의 각 포인트에 해당하는 속성 정보를 연동시키는 단계를 더 포함할 수 있다.
상기 속성 정보의 연동은, 위도-경도 좌표계로 구성된 주소와 속성 정보가 매핑되어 저장된 데이터베이스와 연동시키기 위하여, 구축된 차선 레벨 지도 상의 각 지점을 나타내는 좌표를 위도-경도 좌표계로 통일시키는 방식으로 수행될 수 있다.
본 발명의 다른 측면에 따르면, 3차원 지도를 이용한 차선 레벨 지도를 구축하기 위한 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 주행중인 차량에 부착된 라이다(LiDAR) 센서에서 스캔(scan)하여 수집한 데이터를 이용하여, 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차량의 위치를 결정하는 단계; (b) 상기 차량에 설치된 카메라가 캡쳐한 이미지로부터 차선(lane)을 감지하는 단계; (c) 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차선의 위치를 결정하는 단계; 및, (d) 상기 단계(c)에서 결정된 상기 차선의 위치를, 차선을 나타내는 포인트로서 차선 레벨 지도에 누적시키는 단계가 실행되도록 하는 명령을 포함한다.
본 발명의 또 다른 측면에 따르면, 3차원 지도를 이용한 차선 지도를 구축하기 위한 시스템은, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 주행중인 차량에 부착된 라이다(LiDAR) 센서에서 스캔(scan)하여 수집한 데이터를 이용하여, 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차량의 위치를 결정하는 단계; (b) 상기 차량에 설치된 카메라가 캡쳐한 이미지로부터 차선(lane)을 감지하는 단계; (c) 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차선의 위치를 결정하는 단계; 및, (d) 상기 단계(c)에서 결정된 상기 차선의 위치를, 차선을 나타내는 포인트로서 차선 레벨 지도에 누적시키는 단계가 실행되도록 한다.
본 발명의 또 다른 측면에 따르면, 상기 방법으로 구축된 차선 레벨(lane-level) 지도(이하 '차선 레벨 지도'라 한다)를 이용하여 주행을 위한 노드-링크 기반의 경로 계획(route planning)을 생성하는 방법은, (a) 상기 차선 레벨 지도에서 일정 간격으로 노드(node) 및, 하나 이상의 노드를 포함하는 링크(link)를 생성하는 단계; (b) 생성된 전체 노드-링크에 대하여, 링크간 연결성을 갖는 아키텍쳐(architecture)인 로드 그래프(road-graph)를 생성하는 단계; (c) 주행의 목적지를 입력받는 단계; (d) 차량의 위치를 추정하고, 추정된 차량의 위치로부터 가장 가까운 노드를 결정하는 단계; (e) 상기 목적지로 수신된 위치로부터 가장 가까운 노드를 결정하는 단계; (f) 출발지 노드가 포함된 링크로부터 시작하여, 각 링크에서 연결된 다음 링크로 경로 계획을 위한 탐색(이하 '프로파게이트(propagate)'라 한다)을 수행하면서, 각 링크에 대한 비용 점수(cost score)를 산출하여 누적시키는 단계; (g) 상기 목적지로 수신된 위치로부터 가장 가까운 노드에 도달시 상기 프로파게이트를 중단하는 단계; (h) 상기 출발지에서 상기 목적지까지의 누적된 비용 점수가 가장 낮은 경로를 최종 경로로 결정하는 단계; 및, (i) 주행의 목적지 입력이 있는 경우, 상기 단계(c) 내지 단계(i)를 수행하는 단계를 포함한다.
상기 비용 점수에는, 해당 링크의 길이가 포함될 수 있다.
생성된 각 링크에는, 경로 계획에 사용될 속성정보가 자동으로 부여될 수 있고, 상기 비용 점수에는, 해당 링크의 속성정보에 따른 점수가 가산될 수 있다.
본 발명의 또 다른 측면에 따르면, 상기 방법으로 구축된 차선 레벨(lane-level) 지도(이하 '차선 레벨 지도'라 한다)를 이용하여 주행을 위한 노드-링크 기반의 경로 계획(route planning)을 생성하기 위한 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 상기 차선 레벨 지도에서 일정 간격으로 노드(node) 및, 하나 이상의 노드를 포함하는 링크(link)를 생성하는 단계; (b) 생성된 전체 노드-링크에 대하여, 링크간 연결성을 갖는 아키텍쳐(architecture)인 로드 그래프(road-graph)를 생성하는 단계; (c) 주행의 목적지를 입력받는 단계; (d) 차량의 위치를 추정하고, 추정된 차량의 위치로부터 가장 가까운 노드를 결정하는 단계; (e) 상기 목적지로 수신된 위치로부터 가장 가까운 노드를 결정하는 단계; (f) 출발지 노드가 포함된 링크로부터 시작하여, 각 링크에서 연결된 다음 링크로 경로 계획을 위한 탐색(이하 '프로파게이트(propagate)'라 한다)을 수행하면서, 각 링크에 대한 비용 점수(cost score)를 누적시키는 단계; (g) 상기 목적지로 수신된 위치로부터 가장 가까운 노드에 도착시 상기 프로파게이트를 중단하는 단계; (h) 상기 출발지에서 상기 목적지까지의 누적된 비용 점수가 가장 낮은 경로를 최종 경로로 결정하는 단계; 및, (i) 주행의 목적지 입력이 있는 경우, 상기 단계(c) 내지 단계(i)를 수행하는 단계가 실행되도록 하는 명령을 포함한다.
본 발명의 또 다른 측면에 따르면, 상기 방법으로 구축된 차선 레벨(lane-level) 지도(이하 '차선 레벨 지도'라 한다)를 이용하여 주행을 위한 노드-링크 기반의 경로 계획(route planning)을 생성하기 위한 장치는, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 상기 차선 레벨 지도에서 일정 간격으로 노드(node) 및, 하나 이상의 노드를 포함하는 링크(link)를 생성하는 단계; (b) 생성된 전체 노드-링크에 대하여, 링크간 연결성을 갖는 아키텍쳐(architecture)인 로드 그래프(road-graph)를 생성하는 단계; (c) 주행의 목적지를 입력받는 단계; (d) 차량의 위치를 추정하고, 추정된 차량의 위치로부터 가장 가까운 노드를 결정하는 단계; (e) 상기 목적지로 수신된 위치로부터 가장 가까운 노드를 결정하는 단계; (f) 출발지 노드가 포함된 링크로부터 시작하여, 각 링크에서 연결된 다음 링크로 경로 계획을 위한 탐색(이하 '프로파게이트(propagate)'라 한다)을 수행하면서, 각 링크에 대한 비용 점수(cost score)를 누적시키는 단계; (g) 상기 목적지로 수신된 위치로부터 가장 가까운 노드에 도착시 상기 프로파게이트를 중단하는 단계; (h) 상기 출발지에서 상기 목적지까지의 누적된 비용 점수가 가장 낮은 경로를 최종 경로로 결정하는 단계; 및, (i) 주행의 목적지 입력이 있는 경우, 상기 단계(c) 내지 단계(i)를 수행하는 단계가 실행되도록 한다.
본 발명에 의하면, 자동으로 3D 정밀지도를 구축하는 과정에서 차량의 위치 추정을 위한 스캔 매칭시, 타겟이 되는 3차원 지도의 크기를 축소함으로써 연산량을 줄이고, 이로써 빠르고 정확한 위치추정을 수행하는 방법을 제공한다. 또한 차량의 빠른 이동시, 스캔 매칭에 의한 위치추정이 실패하더라도, 병행하여 수행되는 라이다 오도메트리(LiDAR odometry)를 이용하여 차량의 위치를 추정함으로써 더욱 강건한(robust) 위치추정이 가능하게 한다. 본 발명은 이와 같은 강건한 차량 위치추정(robust localization)을 이용하여, 기 구축된 3D 포인트 클라우드 맵에 정밀한 차선 레벨 지도를 구축하여 병합시킴으로써 더욱 정밀한 3차원 정밀지도 및 차선 노드-링크 지도를 구축하도록 하는 효과가 있다.
또한 이러한 3차원 정밀지도 및 차선에 노드-링크를 생성한 지도를 이용하여, 내비게이션 또는 자율주행 플랫폼에 사용될 수 있는 더욱 효과적인 경로 계획 알고리즘을 제공하는 효과가 있다.
또한 기 구축된 위도-경도 좌표계와 같은 글로벌 좌표계를 기반으로 하는 주소 체계 고도화 데이터를 자율 주행 플랫폼이 활용할 수 있도록 하며, 기 구축된 주소 체계 고도화 데이터의 활용을 위한 정보를 생성된 링크별로 자동으로 부여함으로써, 자율 주행 플랫폼이 주소 체계 고도화 데이터를 효과적으로 활용할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 스캔 매칭 알고리즘을 이용한 위치추정 및, 심층신경망을 이용한 차선 감지에 의하여 3차원 정밀지도를 자동 구축하는 방법의 순서도.
도 2는 본 발명의 스캔 매칭 알고리즘과 라이다 오도메트리(LiDAR odometry)를 이용하여 차량의 위치추정(localization)을 수행하는 방법의 순서도.
도 3은 본 발명의 심층신경망을 이용한 차선 감지 및 3차원 정밀지도 매핑과정을 수행하는 방법의 순서도.
도 4는 도 3의 순서도에 따라 수행되는 과정을 나타내는 설명하기 위한 도면.
도 5는 본 발명의 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 시스템의 구성을 나타내는 도면.
도 6은 본 발명의 방법에 의해 구축된 차선 레벨의 정밀 지도의 일 실시예를 도시한 도면.
도 7은 노드와 링크의 연결로 구성된 차선 레벨(lane-level)의 로드(road) 모델 네트워크의 일 실시예를 도시한 도면.
도 8은 노드와 링크의 연결로 구성된 차선 레벨(lane-level)의 로드(road) 모델 네트워크를 이용한 경로 계획(route planning)을 생성하는 방법을 나타내는 순서도.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 스캔 매칭 알고리즘을 이용한 위치추정 및, 심층신경망을 이용한 차선 감지에 의하여 차선 레벨(lane-level) 지도를 자동 구축하는 방법의 순서도이다.
먼저, 주행중인 차량에 부착된 라이다(LiDAR) 센서에서 스캔(scan)하여 수집한(S100) 데이터를 이용하여, 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차량의 위치를 결정한다(S200).
즉, 주행중인 차량에 부착된 라이다는 주변의 사물에 대하여 레이저 펄스를 발사하고, 해당 사물의 포인트(이하 '라이다 포인트'라 한다)에서 반사되어 돌아오는 펄스를 받아 분석하여 해당 사물까지의 거리, 해당 사물의 형상 등을 감지한다.
본 발명에서는 이와 같은 라이다의 스캔(scan) 과정을 통해 얻은 라이다 포인트들을, 이미 구축되어 있는 3차원 포인트 클라우드 맵(3D point cloud map)에 매칭시켜 일치하는 경우를 찾는다. 이러한 기법을 '스캔 매칭(scan matching)' 기법이라 부르기로 한다. 스캔 매칭에서 일치되는 경우에는, 해당 사물이 3차원 포인트 클라우드 맵 상의 위치하는 좌표를 알게 되고, 이로부터 그와 상대적인 위치에 있는 해당 차량의 좌표를 3차원 포인트 클라우드 맵 상에서 정확히 파악할 수 있다.
이러한 라이다를 이용한 스캔 및, 스캔 매칭에 의한 차량의 위치추정(localization)에 대하여는 도 2를 참조하여 더욱 상세히 후술하기로 한다.
이후, 차량에 설치된 카메라가 전방 도로 상의 이미지를 캡쳐하고(S300), 캡쳐된 이미지에 나타난 차선을 감지하여, 3차원 포인트 클라우드 맵 상에서의 해당 차선의 위치를 결정한다(S400). 캡쳐된 이미지에서 차선을 감지하는데는 많은 데이터를 통하여 학습된 심층신경망(deep neural network, DNN) 모델을 이용한다. 또한 3차원 포인트 클라우드 맵 상에서의 해당 차선의 위치를 결정하는데는 위에서 구한 차량의 3차원 포인트 클라우드 맵 상에서의 위치정보를 이용하게 된다.
이러한 캡쳐된 이미지로부터 차선을 감지하고, 해당 차선의 3차원 포인트 클라우드 맵 상에서의 위치를 결정하는 과정에 대하여는 도 3을 참조하여 더욱 상세히 후술하기로 한다.
차량의 주행에 따라 단계 S200에서 지속적으로 구하는 차량의 위치는, 본 발명의 차선 레벨(lane-level) 지도 상에 중앙 라인(center line)을 나타내는 포인트로서 누적시켜 최종적으로 차선 레벨 지도에서 중앙 라인을 형성하게 된다. 여기서 중앙 라인은 도로상의 '중앙선'이 아니라, 각 차선에서의 중심선을 의미한다.
또한 단계 S400에서 지속적으로 구하는 차선의 위치는, 본 발명의 차선 레벨(lane-level) 지도 상에 차선(lane)을 나타내는 포인트로서 누적시켜 최종적으로 차선 레벨 지도에서 차선을 형성하게 된다. 본 발명에서는 주행하는 차량의 좌측 차선(left lane) 및 우측 차선(right lane)을 동일한 방법으로 동시에 구해나가도록 할 수 있다. 또한 본 발명의 차선 레벨 지도에서는 전술한 바와 같은 중앙 라인 및 좌측 차선과 우측 차선이, 도로상의 각 주행 차선별로 모두 표현되도록 하여, 향후, 이러한 차선 레벨 지도를 이용하여, 도로 레벨이 아닌, 차선 레벨의 세부적이고 효율적인 경로 계획(route planning)이 가능하도록 한다.
나아가 본 발명의 차선 레벨 지도에는, 지도에 누적 생성된 중앙 라인 및 좌우측 차선의 각 위치에 해당하는 속성 정보를 연동시킬 수 있다. 속성 정보란, 예를 들어 실선, 점선, 중앙선 등 차선의 형태, 해당 지점의 속도 제한, 인도 또는 차도의 구분, 정류장 위치 여부 등 다양한 정보가 포함될 수 있으며, 주행하는 차량에게 차선 레벨 지도와 함께 각 위치에 해당하는 정보를 표시해 줄 수 있게 된다.
속성 정보의 연동은 다음과 같은 방법으로 수행할 수도 있다.
즉, 구축된 차선 레벨 지도에서 각 지점을 나타내는 좌표를 위도-경도 좌표계로 통일시킨다. 또한 해당 지역의 각 지점을 위도-경도 좌표계로 나타내고, 해당 지점의 속성 정보가 그러한 위도 경도 좌표에 따라 매핑되어 있는 데이터베이스(이하 주소 체계 고도화 데이터베이스'라 한다)를 구비한다. 이로써 차선 레벨 지도와 주소 체계 고도화 데이터베이스가 위도-경도 좌표계로 통일됨으로써, 차선 레벨 지도 상에 나타나는 각 지점에 대한 속성 정보를, 이와 같이 연동된 주소 체계 고도화 데이터베이스로부터 즉시 지도상에 보여줄 수 있게 된다.
도 2는 본 발명의 스캔 매칭 알고리즘과 라이다 오도메트리(LiDAR odometry)를 이용하여 차량의 위치추정(localization)을 수행하는 방법의 순서도이다.
도 1을 참조하여 전술한 바와 같이, 본 발명에서는 이와 같은 라이다의 스캔(scan) 과정을 통해 얻은 라이다 포인트들을(S110), 이미 구축되어 있는 3차원 포인트 클라우드 맵(3D point cloud map)에 매칭시켜 일치하는 경우를 찾는 스캔 매칭(scan matching) 기법을 사용한다.
이를 위해, 라이다(LiDAR)에서 스캔하여 수집한 차량 주변 사물에 대한 다수의 포인트(이하 '입력 라이다 포인트'라 한다)를 3차원 포인트 클라우드 맵 상의 포인트 그룹(이하 '타겟 포인트 그룹'이라 한다)과 매칭시켜 일치하는 경우를 찾게 된다. 그러나 기존의 스캔 매칭 기법이 특히, 차량이 고속으로 운행하는 환경에서는 항상 정확한 차량의 위치 추정을 보장하지는 못하는 문제점이 있었다. 또한 타겟이 되는 3차원 지도의 규모가 확장될수록 매칭을 위한 연산량이 많아지며, 이로 인하여 위치추정의 성능이 크게 저하되는 문제점을 나타내었다.
이를 해결하기 위해 본 발명에서는 타겟 포인트 그룹으로서, 3차원 포인트 클라우드 맵 상에서, 차량으로부터 일정 거리 내에 존재하는 포인트들의 그룹(이하 '슬라이딩 윈도우'라 한다)을 사용한다. 즉, 3차원 지도 전체를 타겟 포인트 그룹으로 사용하는 것이 아니라, 전술한 슬라이딩 윈도우의 포인트 그룹만을, 매칭을 위한 타겟 포인트 그룹으로 선택하는 것이다. 물론 차선 레벨 지도의 구축을 수행하는 차량은 주행 중에 있으므로, 슬라이딩 윈도우 역시 지속적으로 이동하게 됨은 물론이다.
도 2를 참조하면, 스캔 매칭을 위해 3차원 포인트 클라우드 맵에서, 현 지점의 차량이 사용할 슬라이딩 윈도우를 불러온다(S211). 이를 수식으로 표현하면 다음과 같다. 즉,
Figure pat00033
여기서
Figure pat00034
는 t 시점에서의 차량의 위치,
Figure pat00035
는 3차원 포인트 클라우드 맵의 복셀화된(voxelized) 포인트이고,
Figure pat00036
는 차량으로부터 해당 포인트까지의 거리이다. 첨자 'W'는 3차원 포인트 클라우드 맵에서 특정 지점을 원점으로 하는 좌표계(이하 '제1 월드좌표계'라 한다)의 좌표인 것을 나타낸다.
슬라이딩 윈도우 내의 포인트 그룹을
Figure pat00037
라 할 때, 슬라이딩 윈도우 내의 각 포인트는,
Figure pat00038
를 만족하는 포인트, 즉 차량으로부터 일정 거리 내에 있는 포인트이다.
또한 전술한 입력 라이다 포인트들의 그룹을
Figure pat00039
라 한다. 여기서
Figure pat00040
는 차량을 원점으로 한 바디좌표계(body coordinates)로 표시된 좌표이다.
정합 점수(fitness score)를 수학식 1과 같이 산출한다(S212).
[수학식 1]
Figure pat00041
,
여기서, t는 특정시점,
Figure pat00042
는 상기 슬라이딩 윈도우 내 포인트의 좌표로서, 상기 3차원 포인트 클라우드 맵 상의 특정점을 원점으로 하는 제1 월드좌표계(world coordinates)로 표시된 좌표이다.
Figure pat00043
는 제1 월드좌표계의 원점에서 차량의 현재 위치까지의 회전 행렬,
Figure pat00044
는 제1 월드좌표계의 원점에서 상기 차량의 현재 위치까지의 평행이동 행렬이다. 이 경우, 수학식 1에서
Figure pat00045
는 상기 입력 라이다 포인트
Figure pat00046
값을 제1 월드좌표계(world coordinates)로 변환한 포인트 좌표이다.
정합 점수(fitness score)가 클수록 입력 라이다 포인트가 나타내는 사물의 형상과 슬라이딩 윈도우 내의 포인트 그룹이 가리키는 형상의 차이가 크다는 것을 나타내며, 해당 사물이 해당 슬라이딩 윈도우의 포인트 그룹과 일치할 가능성이 작다는 것을 나타낸다. 반대로 정합 점수(fitness score)가 작을수록 입력 라이다 포인트가 나타내는 사물의 형상과 슬라이딩 윈도우 내의 포인트 그룹이 가리키는 형상의 차이가 작다는 것을 나타내며, 해당 사물이 해당 슬라이딩 윈도우의 포인트 그룹과 일치할 가능성이 크다는 것을 나타낸다.
이로부터 오차 기준값(=S reliable )을 미리 설정하고,
Figure pat00047
인 경우(S213) 일치하는 것으로 판단하고, 아닌 경우는 일치하지 않는 것으로 판단한다.
즉,
Figure pat00048
인 경우 입력 라이다 포인트가 나타내는 사물의 형상과 슬라이딩 윈도우 내의 포인트 그룹이 가리키는 형상이 일치한다. 이때의 차량의 위치를, 그 시점의 상기
Figure pat00049
및 상기
Figure pat00050
로서 업데이트하여 결정할 수 있다(S214).
한편, 전술한 정합 점수(fitness score)에 의한 스캔 매칭 결과 판단이 실패하는 경우를 대비하여 본 발명은 라이다 오도메트리(LiDAR odometry)를 병행하여 수행할 수 있다. 라이다 오도메트리란, 입력 라이다 포인트로부터 구한, 차량의 주행시작점을 원점으로 한 좌표계(이하 '제2 월드좌표계) 상의 위치 좌표를 의미한다.
즉, 입력 라이다 포인트로부터, 차량의 주행시작점을 원점으로 한 제2 월드좌표계 상의 차량의 위치 좌표인 라이다 오도메트리
Figure pat00051
을 구한다(S221). 이로부터 라이다 오도메트리로 예측된, 차량의 위치 변화량을 바디좌표계로 나타낸 값인
Figure pat00052
를 산출한다(S222). 이를 수식으로 내면 수학식 2와 같다.
[수학식 2]
Figure pat00053
여기서
Figure pat00054
은 회전변환과 평행이동을 포함하는 행렬로서, 제2 월드좌표계의 좌표를 바디좌표계의 좌표로 변환하는 역할을 한다.
만약 단계 S213에서 정합 점수(fitness score)가 오차 기준값 이상이면, 스캔 매칭이 실패한 것으로 판단하고, 이 경우에는
Figure pat00055
를
Figure pat00056
(제2 월드좌표계)로 변환한 후,
Figure pat00057
를 이용하여
Figure pat00058
및
Figure pat00059
를 예측하고, 이때의 차량의 위치를, 그 예측된
Figure pat00060
및
Figure pat00061
로 업데이트하여 결정한다(S223).
도 3은 본 발명의 심층신경망을 이용한 차선 감지 및 3차원 정밀지도 매핑과정을 수행하는 방법의 순서도이고, 도 4는 도 3의 순서도에 따라 수행되는 과정을 나타내는 설명하기 위한 도면이다.
차량에 장착된 카메라에 의해 캡쳐(S310)된 이미지를 수신하여, 이로부터 차선을 감지한다(도 4(a)). 이러한 차선의 감지는 많은 데이터에 의하여 미리 학습된 심층신경망(deep neural network, DNN) 모델을 이용할 수 있다. 이렇게 감지된 차선은, 캡쳐된 이미지에서 픽셀좌표계(pixel coordinates) 상의 좌표들로서 나타내어 질 수 있다(S410).
이와 같이 픽셀좌표계로 나타내어진 차선의 좌표를, 차량을 원점으로 한 바디좌표계(body coordinates) 상의 좌표로 변환한다(S420)(도 4(b)). 도 4(a),(b)에서 붉은색은 차량의 왼쪽 차선, 파란색은 차량의 오른쪽 차선을 나타낸다.
바디좌표계 상에서의 좌표로의 변환은,
Figure pat00062
에 의해 이루어진다. 이 경우,
Figure pat00063
은, 픽셀좌표계로 표시된 차선의 좌표,
Figure pat00064
은, 바디좌표계로 표시된 차선의 좌표이고, 행렬 H-1은 IPM(inverse perspective mapping)로서, 이때 행렬 H은
Figure pat00065
를 만족하는 행렬이다, 여기서
Figure pat00066
은 회전변환 행렬,
Figure pat00067
은 평행이동 행렬이고, K는 카메라의 내부 파라미터와 관련된 고유 행렬(intrinsic matrix)이다.
기존의 라이다를이용하여 차선의 월드좌표계 좌표를 구하는 방법들은 projection matrix(3 X 4)를 이용하여 라이다 포인트 클라우드의 개수 n_pointcloud에 대해 O(12n_pointcloud)의 곱셈연산이 필요하였다. 본 발명은 차선이 평면이라는가정 하에 homography matrix H를 사용하여 차선의 point개수 n_lane에 대해 O(9n_lane)의 곱셈연산을 필요로 한다. n_pointcloud는 n_lane보다 훨씬 크기 때문에, 본 발명의 방법이 연산량이 훨씬 적게 되어 신속한 연산이 가능하게 되는 장점이 있다
바디좌표계로 표현된 차선의 점들에 대하여, 곡선 맞춤(curve fitting)을 수행하여 곡선을 형성하도록 한다(S430)(도 4(c)). 또한 부정확한 차선에 대하여는 필터링을 수행할 수 있다(S440).
이후, 상기 바디좌표계 상의 차선의 좌표를 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 좌표로 변환한다(S450)(도 4(d)). 3차원 포인트 클라우드 맵 상의 좌표로의 변환은, 도 2에서 결정된 3차원 포인트 클라우드 맵 상에서의 상기 차량의 위치 정보(S214, S223)를 이용하여 이루어진다. 즉, 차량의 제1 월드좌표계 상의 위치를 알고, 또한 차량을 원점으로한 바디좌표계로 나타내어진 차선의 좌표를 알므로, 이로부터 차선의 3차원 포인트 클라우드 맵 상에서의 제1 월드좌표계 좌표를 파악할 수 있다.
도 4(e)는 3차원 포인트 클라우드 맵에 표시한 본 발명의 차선 레벨 지도를 도시하고 있다. 평행하게 백색 점으로 표시된 것이 좌측 및 우측 차선을 의미하며, 그 중앙의 붉은 선이 차량의 위치, 즉, 중앙 라인(center)을 의미한다.
도 5는 본 발명의 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 시스템(100)의 구성을 나타내는 도면이다.
도 1 내지 도 4를 참조하여 본 발명의 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법에 대하여는 상세히 설명한 바 있으므로, 도 5를 참조하여서는 그러한 방법을 수행하는 시스템을 그 구성요소의 기능별로 간략히 정리하여 설명하기로 한다.
제어부(101)는 본 발명의 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 시스템(100)의 이하 각 구성요소를 제어하여, 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축과 관련된 일련의 처리를 수행한다.
라이다 데이터 수신부(102)는, 차량에 장착된 라이다(LiDAR)에 의해 스캔되어 수신된 펄스 신호를 수신하여 이로부터 스캔된 물체에 대한 거리 또는 좌표 등의 라이다 포인트 정보를 파악한다.
카메라 이미지 수신부(103)는, 차량에 장착된 카메라에 의해 캡쳐된 이미지를 수신한다.
차선 감지부(104)는, 카메라에 의해 캡쳐된 이미지로부터 차선을 감지하고 차선에 대한 픽셀좌표계에 따른 좌표를 파악한다. 차선 감지를 위해서는, 학습에 의하여 형성된 심층신경망(deep neural network, DNN) 모델을 사용할 수 있다.
차량 위치 결정부(105)는 수집된 라이다 포인트 정보와 3차원 포인트 클라우드 맵 데이터베이스(108)의 3차원 포인트 클라우드 맵으로부터, 차량의 현재 위치를 구한다. 차량의 위치는, 3차원 포인트 클라우드 맵 상에서, 특정점을 기준으로 하는 제1 월드좌표계에 따른 좌표값으로 구한다. 이러한 과정에 대하여는 도 1 및 도 2를 참조하여 상세히 설명한 바 있다.
차선 위치 결정부(106)는 감지된 차선 정보를 바디좌표계로 전환하고 최종적으로 제1 월드좌표계로 전환하여 차선의 위치를 결정한다. 이러한 과정에 대하여는 도 1 및 도 3을 참조하여 상세히 설명한 바 있다.
차선 레벨 지도 생성부(107)는 차량 위치 결정부(105)에 의하여 결정된 차량의 위치 정보 및, 차선 위치 결정부(106)에 의하여 결정된 차선의 위치 정보를, 차선 레벨 지도 상에 누적시키고, 이로써 최종 형성된 차선 레벨 지도를 차선 레벨 지도 데이터베이스(109)에 저장한다. 또한 차선 레벨 지도 생성부(107)는, 속성 정보 데이터베이스(110)에 저장된, 차선 레벨 지도의 각 지점에 해당하는 속성 정보를 차선 레벨 지도에 매핑시킬 수 있다. 이로써 향후 사용자에게 제공되는 차선 레벨 지도에, 각 지점에 대한 다양한 정보를 제공할 수 있다.
나아가 전술한 바와 같이, 속성 정보 데이터베이스(110)에는, 해당 지역의 각 지점에 대한 속성 정보가, 위도-경도 좌표계라는 글로벌 좌표계를 기반으로 매핑되어 저장될 수 있다. 이 경우, 차선 레벨 지도 생성부(107)는, 차선 레벨 지도 데이터베이스(109)에 저장되는 차선 레벨 지도의 각 지점의 좌표 역시 위도-경도 좌표계로 통일시켜 저장시키는 역할을 수행할 수 있다. 이 경우, 차선 레벨 지도와 속성 정보가 위도-경도 좌표계로 통일되어, 사용자에게 차선 레벨 지도를 제공할 때, 각 지점에 해당 하는 정보를, 속성 정보 데이터에서 해당 위도-경도 좌표에 해당하는 정보로 용이하게 제공할 수 있게 된다. 이 경우 속성 정보 데이터베이스(110)는, 도 1을 참조하여 전술한 바와 같은 '주소 체계 고도화 데이터베이스'로서의 역할을 하게 된다.
도 6은 본 발명의 방법에 의해 구축된 차선 레벨의 정밀 지도의 일 실시예를 도시한 도면이다.
붉은색 선이 차량의 좌측 차선, 푸른색 선이 차량의 우측 차선을 나타낸다.
도 7은 노드와 링크의 연결로 구성된 차선 레벨(lane-level)의 로드(road) 모델 네트워크의 일 실시예를 도시한 도면이고, 도 8은 노드와 링크의 연결로 구성된 차선 레벨(lane-level)의 로드(road) 모델 네트워크를 이용한 경로 계획(route planning)을 생성하는 방법을 나타내는 순서도이다.
먼저 향후 경로 계획을 수행하기 위한 노드 및 링크를 생성한다(S801). 즉, 도 1 내지 도 6을 참조하여 설명한 바와 같은 차선 레벨 지도에서, 일정 간격으로 노드(node) 및, 하나 이상의 노드를 포함하는 링크(link)를 생성한다. 노드는 차량 및 목적지에 해당하는 위치를 결정하기 위하여 사용되며, 링크는 향후 경로 계획시 기본 단위로서, 경로 계획은 링크간 연결에 의한 탐색(이하 '프로파게이트(propagate)'라 한다) 과정을 거쳐 이루어진다. 이에 대하여는 후술한다.
생성된 전체 노드-링크에 대하여, 링크간 연결성을 갖는 아키텍쳐(architecture)인 로드 그래프(road-graph)를 생성한다(S802). 즉, 로드 그래프란 모든 노드와 링크가 포함되되, 링크간 연결이 가능한지에 대한 구조가 포함된 그래프이다. 이때, 생성된 각 링크에는, 경로 계획에 사용될 속성정보가 자동으로 부여될 수 있다. 속성정보에는 예를 들어 차선변경이 가능한 링크인지 여부, 차량이 주행하는 방향성, 해당 지점의 주소 정보 등의 정보가 포함될 수 있다.
이후, 사용자가 입력하는 주행의 목적지를 입력받은 경우(S803), 해당 차량의 위치를 추정하고, 추정된 차량의 위치로부터 가장 가까운 노드를 차량의 노드로 결정한다(S804). 또한 입력된 목적지에 대하여도, 해당 목적지로 수신된 위치로부터 가장 가까운 노드를 목적지 노드로 결정한다(S805).
전술한 바와 같이 본 발명의 경로 계획은 링크 단위로 이루어지며, 출발지 노드가 포함된 링크로부터 시작하여, 각 링크에서 연결된 다음 링크로 나아가면서 경로 계획을 위한 프로파게이트를 수행한다(S806). 이때 각 링크에 대한 비용 점수(cost score)를 산출하고, 각 링크에서 산출된 비용 점수를 누적시킨다(S806). 이러한 프로파게이트는 출발지로부터 목적지까지 가능한 모든 링크에 대하여 이루어질 수도 있으나, 비용 점수에 가산될 페널티점수가 없이 최단 거리의 경로를 프로파게이트 완료했다면, 그 경로로서 최종결정하게 될 수도 있다.
이러한 비용 점수에는 기본적으로 해당 링크의 길이가 포함된다. 즉, 링크의 길이가 길수록 비용 점수는 커지고, 해당 경로 선택에 불리한 요소로 작용한다. 또한 상기 비용 점수에는, 해당 링크의 기 입력된 속성정보에 따른 점수도 가산될 수 있다. 즉, 예를 들어 차선변경이 가능한 링크라면 역시 페널티 점수로 비용 점수에 가산될 수도 있다. 또한 프로파게이트 과정에서 목적시와 다른 방향으로 움직이는 경우에도 페널티 점수로 비용 점수에 가산될 수 있다.
목적지로 수신된 위치로부터 가장 가까운 노드에 도달시 프로파게이트를 중단한다(S807). 이후, 출발지에서 목적지까지의 누적된 비용 점수가 가장 낮은 경로를 최종 경로로 결정한다(S808).
이후 다시 주행의 목적지 입력이 있는 경우, 상기 단계(S803) 내지 단계(S808)를 수행한다.
100: 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 시스템

Claims (21)

  1. 3차원 지도를 이용한 차선 레벨 지도 구축 방법으로서,
    (a) 주행중인 차량에 부착된 라이다(LiDAR) 센서에서 스캔(scan)하여 수집한 데이터를 이용하여, 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차량의 위치를 결정하는 단계;
    (b) 상기 차량에 설치된 카메라가 캡쳐한 이미지로부터 차선(lane)을 감지하는 단계;
    (c) 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차선의 위치를 결정하는 단계; 및,
    (d) 상기 단계(c)에서 결정된 상기 차선의 위치를, 차선을 나타내는 포인트로 차선 레벨 지도에 누적시키는 단계
    를 포함하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  2. 청구항 1에 있어서,
    상기 단계(a)는,
    (a1) 라이다(LiDAR)에서 스캔하여 수집한 차량 주변 사물에 대한 다수의 포인트(이하 '입력 라이다 포인트'라 한다)를 상기 3차원 포인트 클라우드 맵 상의 포인트 그룹(이하 '타겟 포인트 그룹'이라 한다)과 매칭시켜 일치하는 경우를 찾는 단계;
    (a2) 일치하는 경우를 찾으면, 상기 차량의 위치를 상기 3차원 포인트 클라우드 맵 상의 좌표로 결정하는 단계
    를 포함하는 것을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  3. 청구항 2에 있어서,
    상기 타겟 포인트 그룹은,
    상기 3차원 포인트 클라우드 맵 상에서, 상기 차량으로부터 일정 거리 내에 존재하는 포인트들의 그룹(이하 '슬라이딩 윈도우'라 한다)인 것
    을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  4. 청구항 3에 있어서,
    상기 단계(a1)에서,
    Figure pat00068
    인 경우 일치하는 것으로 판단하고,
    여기서
    Figure pat00069
    는 정합 점수(fitness score),
    Figure pat00070
    은 기 설정된 오차 기준값이며,
    Figure pat00071
    로 산출되고,
    여기서, t는 특정시점,
    Figure pat00072
    는 상기 입력 라이다 포인트의 좌표로서, 차량을 원점으로 한 바디좌표계(body coordinates)로 표시된 좌표,
    Figure pat00073
    는 상기 슬라이딩 윈도우 내 포인트의 좌표로서, 상기 3차원 포인트 클라우드 맵 상의 특정점을 원점으로 하는 제1 월드좌표계(world coordinates)로 표시된 좌표이며,
    Figure pat00074
    는 제1 월드좌표계의 원점에서 상기 차량의 현재 위치까지의 회전 행렬,
    Figure pat00075
    는 제1 월드좌표계의 원점에서 상기 차량의 현재 위치까지의 평행이동 행렬이고,
    Figure pat00076
    는 상기 입력 라이다 포인트
    Figure pat00077
    값을 제1 월드좌표계(world coordinates)로 변환한 포인트 좌표이며,
    상기 단계(a1)에서 일치하는 것으로 판단되었으면, 상기 단계(a2)에서 상기 차량의 위치를, 그 시점의 상기
    Figure pat00078
    및 상기
    Figure pat00079
    로 업데이트 하는 것
    을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  5. 청구항 4에 있어서,
    상기 단계(a2) 이전에,
    (a11) 상기 입력 라이다 포인트로부터, 상기 차량의 주행시작점을 원점으로 한 좌표계(이하 '제2 월드좌표계) 상의 차량의 위치 좌표(이하 '라이다 오도메트리'라 한다)를 구하는 단계;
    (a12)
    Figure pat00080
    를 산출하는 단계
    를 더 포함하고,
    (a3) 상기 단계(a1)에서 일치하지 않는 것으로 판단되었으면, 상기
    Figure pat00081
    를
    Figure pat00082
    로 변환한 후 상기
    Figure pat00083
    를 이용하여
    Figure pat00084
    및
    Figure pat00085
    를 예측하고, 이를 그 시점의
    Figure pat00086
    및
    Figure pat00087
    로 업데이트 하는 단계
    를 더 포함하며,
    여기서
    Figure pat00088
    는 t+△t 시점의 라이다 오도메트리,
    Figure pat00089
    는 t 시점의 라이다 오도메트리이고,
    Figure pat00090
    는 라이다 오도메트리로 예측된, 상기 차량의 위치 변화량을 바디좌표계로 나타낸 것,
    Figure pat00091
    는 상기
    Figure pat00092
    를 상기 제2 월드좌표계로 변환한 것이며,
    상기
    Figure pat00093
    은 제2 월드좌표계의 좌표를 바디좌표계의 좌표로 변환하는 행렬인 것
    을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  6. 청구항 1에 있어서,
    상기 단계(b)에서 감지된 차선은,
    캡쳐된 이미지에서, 픽셀좌표계(pixel coordinates) 상의 좌표인 것
    을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  7. 청구항 6에 있어서,
    상기 단계(c)는,
    (c1) 상기 차선의 좌표를, 차량을 원점으로 한 바디좌표계(body coordinates) 상의 좌표로 변환하는 단계; 및,
    (c2) 상기 바디좌표계 상의 차선의 좌표를 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 좌표로 변환하는 단계
    를 포함하는 것을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  8. 청구항 7에 있어서,
    상기 단계(c1)에서,
    바디좌표계 상에서의 좌표로의 변환은,
    Figure pat00094

    에 의해 이루어지고, 여기서
    Figure pat00095
    은, 픽셀좌표계로 표시된 차선의 좌표,
    Figure pat00096
    은, 바디좌표계로 표시된 차선의 좌표이고,
    행렬 H-1은 IPM(inverse perspective mapping)로서, 이때 행렬 H은
    Figure pat00097

    를 만족하는 행렬이며, 여기서
    Figure pat00098
    은 회전변환 행렬,
    Figure pat00099
    은 평행이동 행렬이고,
    K는 카메라의 내부 파라미터와 관련된 고유 행렬(intrinsic matrix)인 것
    을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  9. 청구항 7에 있어서,
    상기 단계(c1)과 단계(c2) 사이에,
    (c11) 상기 단계(c1)에서 바디좌표계로 표현된 상기 차선의 점들에 대하여, 곡선 맞춤(curve fitting)을 수행하는 단계
    를 더 포함하는 것을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  10. 청구항 7에 있어서,
    상기 단계(c2)에서 3차원 포인트 클라우드 맵(3D point cloud map) 상의 좌표로의 변환은,
    상기 단계(a)에서 결정된 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차량의 위치 정보를 이용하여 이루어지는 것
    을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  11. 청구항 1에 있어서,
    (e) 상기 단계(d)에서 지도에 누적 생성된 차선의 각 포인트에 해당하는 속성 정보를 연동시키는 단계
    를 더 포함하는 것을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  12. 청구항 1에 있어서,
    (d1) 상기 단계(a)에서 결정된 상기 차량의 위치를, 중앙 라인(center line)을 나타내는 포인트로 차선 레벨(lane-level) 지도에 누적시키는 단계
    를 더 포함하는 것을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  13. 청구항 12에 있어서,
    (e1) 상기 단계(d1)에서 지도에 누적 생성된 중앙 라인의 각 포인트에 해당하는 속성 정보를 연동시키는 단계
    를 더 포함하는 것을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  14. 청구항 11 또는 청구항 13에 있어서,
    상기 속성 정보의 연동은,
    위도-경도 좌표계로 구성된 주소와 속성 정보가 매핑되어 저장된 데이터베이스와 연동시키기 위하여, 구축된 차선 레벨 지도 상의 각 지점을 나타내는 좌표를 위도-경도 좌표계로 통일시키는 방식으로 수행되는 것
    를 포함하는 것을 특징으로 하는 3차원 지도를 이용한 차선 레벨 지도 구축 방법.
  15. 3차원 지도를 이용한 차선 레벨 지도를 구축하기 위한 컴퓨터 프로그램으로서,
    비일시적 저장 매체에 저장되며, 프로세서에 의하여,
    (a) 주행중인 차량에 부착된 라이다(LiDAR) 센서에서 스캔(scan)하여 수집한 데이터를 이용하여, 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차량의 위치를 결정하는 단계;
    (b) 상기 차량에 설치된 카메라가 캡쳐한 이미지로부터 차선(lane)을 감지하는 단계;
    (c) 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차선의 위치를 결정하는 단계; 및,
    (d) 상기 단계(c)에서 결정된 상기 차선의 위치를, 차선을 나타내는 포인트로서 차선 레벨 지도에 누적시키는 단계
    가 실행되도록 하는 명령을 포함하는, 3차원 지도를 이용한 차선 지도를 구축하기 위한 컴퓨터 프로그램.
  16. 3차원 지도를 이용한 차선 지도를 구축하기 위한 시스템으로서,
    적어도 하나의 프로세서; 및
    컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
    상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
    (a) 주행중인 차량에 부착된 라이다(LiDAR) 센서에서 스캔(scan)하여 수집한 데이터를 이용하여, 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차량의 위치를 결정하는 단계;
    (b) 상기 차량에 설치된 카메라가 캡쳐한 이미지로부터 차선(lane)을 감지하는 단계;
    (c) 3차원 포인트 클라우드 맵(3D point cloud map) 상에서의 상기 차선의 위치를 결정하는 단계; 및,
    (d) 상기 단계(c)에서 결정된 상기 차선의 위치를, 차선을 나타내는 포인트로서 차선 레벨 지도에 누적시키는 단계
    가 실행되도록 하는 3차원 지도를 이용한 차선 지도를 구축하기 위한 시스템.
  17. 청구항 1의 방법으로 구축된 차선 레벨(lane-level) 지도(이하 '차선 레벨 지도'라 한다)를 이용하여 주행을 위한 노드-링크 기반의 경로 계획(route planning)을 생성하는 방법으로서,
    (a) 상기 차선 레벨 지도에서 일정 간격으로 노드(node) 및, 하나 이상의 노드를 포함하는 링크(link)를 생성하는 단계;
    (b) 생성된 전체 노드-링크에 대하여, 링크간 연결성을 갖는 아키텍쳐(architecture)인 로드 그래프(road-graph)를 생성하는 단계;
    (c) 주행의 목적지를 입력받는 단계;
    (d) 차량의 위치를 추정하고, 추정된 차량의 위치로부터 가장 가까운 노드를 결정하는 단계;
    (e) 상기 목적지로 수신된 위치로부터 가장 가까운 노드를 결정하는 단계;
    (f) 출발지 노드가 포함된 링크로부터 시작하여, 각 링크에서 연결된 다음 링크로 경로 계획을 위한 탐색(이하 '프로파게이트(propagate)'라 한다)을 수행하면서, 각 링크에 대한 비용 점수(cost score)를 산출하여 누적시키는 단계;
    (g) 상기 목적지로 수신된 위치로부터 가장 가까운 노드에 도달시 상기 프로파게이트를 중단하는 단계;
    (h) 상기 출발지에서 상기 목적지까지의 누적된 비용 점수가 가장 낮은 경로를 최종 경로로 결정하는 단계; 및,
    (i) 주행의 목적지 입력이 있는 경우, 상기 단계(c) 내지 단계(i)를 수행하는 단계
    를 포함하는 노드-링크 기반 경로 계획(route planning) 생성 방법.
  18. 청구항 17에 있어서,
    상기 비용 점수에는,
    해당 링크의 길이가 포함되는 것
    을 특징으로 하는 노드-링크 기반 경로 계획(route planning) 생성 방법.
  19. 청구항 18에 있어서,
    생성된 각 링크에는, 경로 계획에 사용될 속성정보가 자동으로 부여되고,
    상기 비용 점수에는,
    해당 링크의 속성정보에 따른 점수가 가산되는 것
    을 특징으로 하는 노드-링크 기반 경로 계획(route planning) 생성 방법.
  20. 청구항 1의 방법으로 구축된 차선 레벨(lane-level) 지도(이하 '차선 레벨 지도'라 한다)를 이용하여 주행을 위한 노드-링크 기반의 경로 계획(route planning)을 생성하기 위한 컴퓨터 프로그램으로서,
    비일시적 저장 매체에 저장되며, 프로세서에 의하여,
    (a) 상기 차선 레벨 지도에서 일정 간격으로 노드(node) 및, 하나 이상의 노드를 포함하는 링크(link)를 생성하는 단계;
    (b) 생성된 전체 노드-링크에 대하여, 링크간 연결성을 갖는 아키텍쳐(architecture)인 로드 그래프(road-graph)를 생성하는 단계;
    (c) 주행의 목적지를 입력받는 단계;
    (d) 차량의 위치를 추정하고, 추정된 차량의 위치로부터 가장 가까운 노드를 결정하는 단계;
    (e) 상기 목적지로 수신된 위치로부터 가장 가까운 노드를 결정하는 단계;
    (f) 출발지 노드가 포함된 링크로부터 시작하여, 각 링크에서 연결된 다음 링크로 경로 계획을 위한 탐색(이하 '프로파게이트(propagate)'라 한다)을 수행하면서, 각 링크에 대한 비용 점수(cost score)를 누적시키는 단계;
    (g) 상기 목적지로 수신된 위치로부터 가장 가까운 노드에 도착시 상기 프로파게이트를 중단하는 단계;
    (h) 상기 출발지에서 상기 목적지까지의 누적된 비용 점수가 가장 낮은 경로를 최종 경로로 결정하는 단계; 및,
    (i) 주행의 목적지 입력이 있는 경우, 상기 단계(c) 내지 단계(i)를 수행하는 단계
    가 실행되도록 하는 명령을 포함하는, 차선 레벨 지도를 이용하여 주행을 위한 노드-링크 기반의 경로 계획(route planning)을 생성하기 위한 컴퓨터 프로그램.
  21. 청구항 1의 방법으로 구축된 차선 레벨(lane-level) 지도(이하 '차선 레벨 지도'라 한다)를 이용하여 주행을 위한 노드-링크 기반의 경로 계획(route planning)을 생성하기 위한 장치로서,
    적어도 하나의 프로세서; 및
    컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
    상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
    (a) 상기 차선 레벨 지도에서 일정 간격으로 노드(node) 및, 하나 이상의 노드를 포함하는 링크(link)를 생성하는 단계;
    (b) 생성된 전체 노드-링크에 대하여, 링크간 연결성을 갖는 아키텍쳐(architecture)인 로드 그래프(road-graph)를 생성하는 단계;
    (c) 주행의 목적지를 입력받는 단계;
    (d) 차량의 위치를 추정하고, 추정된 차량의 위치로부터 가장 가까운 노드를 결정하는 단계;
    (e) 상기 목적지로 수신된 위치로부터 가장 가까운 노드를 결정하는 단계;
    (f) 출발지 노드가 포함된 링크로부터 시작하여, 각 링크에서 연결된 다음 링크로 경로 계획을 위한 탐색(이하 '프로파게이트(propagate)'라 한다)을 수행하면서, 각 링크에 대한 비용 점수(cost score)를 누적시키는 단계;
    (g) 상기 목적지로 수신된 위치로부터 가장 가까운 노드에 도착시 상기 프로파게이트를 중단하는 단계;
    (h) 상기 출발지에서 상기 목적지까지의 누적된 비용 점수가 가장 낮은 경로를 최종 경로로 결정하는 단계; 및,
    (i) 주행의 목적지 입력이 있는 경우, 상기 단계(c) 내지 단계(i)를 수행하는 단계
    가 실행되도록 하는 차선 레벨 지도를 이용하여 주행을 위한 노드-링크 기반의 경로 계획(route planning)을 생성하기 위한 장치.
KR1020210119872A 2021-09-08 2021-09-08 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템 KR20230036858A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210119872A KR20230036858A (ko) 2021-09-08 2021-09-08 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템
US17/827,844 US20230071794A1 (en) 2021-09-08 2022-05-30 Method and system for building lane-level map by using 3D point cloud map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210119872A KR20230036858A (ko) 2021-09-08 2021-09-08 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20230036858A true KR20230036858A (ko) 2023-03-15

Family

ID=85385873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210119872A KR20230036858A (ko) 2021-09-08 2021-09-08 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템

Country Status (2)

Country Link
US (1) US20230071794A1 (ko)
KR (1) KR20230036858A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080088A1 (ja) * 2018-10-15 2020-04-23 三菱電機株式会社 情報処理装置
CN114061591B (zh) * 2021-11-18 2022-07-12 东南大学 一种基于滑动窗数据回溯的等值线匹配方法
CN117232548B (zh) * 2023-11-10 2024-03-01 北京赛目科技股份有限公司 一种路径规划方法、装置、电子设备及存储介质
CN117826843B (zh) * 2024-03-04 2024-05-03 湖北华中电力科技开发有限责任公司 基于三维点云的无人机智能避障方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100623653B1 (ko) 2004-07-06 2006-09-19 현대자동차주식회사 위성항법 보정시스템을 이용한 정밀지도 데이터 획득이동장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100623653B1 (ko) 2004-07-06 2006-09-19 현대자동차주식회사 위성항법 보정시스템을 이용한 정밀지도 데이터 획득이동장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"P. Biber and W. Strasser. The normal distributions transform: a new approach to laser scan matching. In Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003) (Cat. No.03CH37453), volume 3, pages 2743-2748, 2003."

Also Published As

Publication number Publication date
US20230071794A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
CN108983781B (zh) 一种无人车目标搜索系统中的环境探测方法
Badue et al. Self-driving cars: A survey
US10937178B1 (en) Image-based depth data and bounding boxes
KR20230036858A (ko) 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템
JP7086111B2 (ja) 自動運転車のｌｉｄａｒ測位に用いられるディープラーニングに基づく特徴抽出方法
US11748909B2 (en) Image-based depth data and localization
CN111771141B (zh) 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位
JP7256758B2 (ja) 自動運転車両においてｒｎｎとｌｓｔｍを用いて時間平滑化を行うｌｉｄａｒ測位
WO2019124001A1 (ja) 移動体挙動予測装置および移動体挙動予測方法
US10984543B1 (en) Image-based depth data and relative depth data
JP2022522132A (ja) 外観に基づく動きの予測
JP5782708B2 (ja) 走行支援装置
CN114270142A (zh) 非结构化的车辆路径规划器
CN111201448B (zh) 用于产生反演传感器模型的方法和设备以及用于识别障碍物的方法
US11657719B2 (en) System for sparsely representing and storing geographic and map data
KR101598385B1 (ko) 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇
KR20200010640A (ko) 모션 인식 모델을 이용한 자체 운동 추정 장치 및 방법, 모션 인식 모델 트레이닝 장치 및 방법
KR20210121595A (ko) 최적 경로 탐색 장치 및 이의 동작 방법
US11741720B2 (en) System and method for tracking objects using using expanded bounding box factors
JP2024071623A (ja) 速度および位置情報を使用するレーダ反射の認識
EP4237300A1 (en) Collision avoidance planning system
JP2009178782A (ja) 移動体、環境地図生成装置、及び環境地図生成方法
CN116338729A (zh) 一种基于多层地图的三维激光雷达导航方法
CN115690343A (zh) 一种基于视觉跟随的机器人激光雷达扫描建图方法
CN116448134B (zh) 基于风险场与不确定分析的车辆路径规划方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal