KR102233260B1 - 정밀 지도 업데이트 장치 및 방법 - Google Patents

정밀 지도 업데이트 장치 및 방법 Download PDF

Info

Publication number
KR102233260B1
KR102233260B1 KR1020180117864A KR20180117864A KR102233260B1 KR 102233260 B1 KR102233260 B1 KR 102233260B1 KR 1020180117864 A KR1020180117864 A KR 1020180117864A KR 20180117864 A KR20180117864 A KR 20180117864A KR 102233260 B1 KR102233260 B1 KR 102233260B1
Authority
KR
South Korea
Prior art keywords
landmark
map
local
precision
update
Prior art date
Application number
KR1020180117864A
Other languages
English (en)
Other versions
KR20200038140A (ko
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180117864A priority Critical patent/KR102233260B1/ko
Priority to US17/276,100 priority patent/US20220042823A1/en
Priority to PCT/KR2019/007987 priority patent/WO2020071619A1/ko
Priority to CN201980064467.3A priority patent/CN112805766B/zh
Publication of KR20200038140A publication Critical patent/KR20200038140A/ko
Application granted granted Critical
Publication of KR102233260B1 publication Critical patent/KR102233260B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3859—Differential updating map data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data

Abstract

일 실시예에 따른 정밀 지도 업데이트 방법은, 차량에 탑재된 카메라를 이용하여 서로 다른 복수의 위치에서 2차원 영상을 획득하는 단계; 상기 2차원 영상 내 랜드마크 중 차선 이외의 제 1 랜드마크를 이용하여 상기 카메라의 이동 궤적에 대응되는 3차원의 제 1 국부 랜드마크 지도를 생성하는 단계; 정밀 지도 상의 도로의 표면 정보를 기초로 상기 제 1 국부 랜드마크 지도 내 상기 차선에 대한 제 2 랜드마크의 3차원 위치를 추정하여 제 2 국부 랜드마크 지도를 생성하는 단계; 및 상기 제 2 국부 랜드마크 지도를 기초로 상기 정밀 지도를 업데이트 하는 단계를 포함한다.

Description

정밀 지도 업데이트 장치 및 방법{APPARATUS AND METHOD FOR UPDATING HIGH DEFINITION MAP}
본 발명은 차량의 주행을 위해 제공되는 정밀 지도를 업데이트하는 정밀 지도 업데이트 장치 및 방법에 관한 것이다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 지원 시스템은 운전자의 차량에 대한 제어권을 일부 또는 전부 이양받아 차량을 직접 제어하므로, 운전자의 안전을 고려한 정밀 제어가 요구된다. 이를 위해, 첨단 운전자 지원 시스템은 내비게이션 등에 사용되는 종래의 지도보다 정밀한 데이터가 누적된 정밀 지도를 이용하는 추세이다.
한국등록특허공보, 제 10-1584693호 (2016.01.14. 공고)
본 발명이 해결하고자 하는 과제는, 정밀 지도 상의 도로의 표면 정보를 기초로 추정된 차선의 위치를 이용하여 정밀 지도를 업데이트하는 정밀 지도 업데이트 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 정밀 지도 업데이트 방법은, 차량에 탑재된 카메라를 이용하여 서로 다른 복수의 위치에서 2차원 영상을 획득하는 단계; 상기 2차원 영상 내 랜드마크 중 차선 이외의 제 1 랜드마크를 이용하여 상기 카메라의 이동 궤적에 대응되는 3차원의 제 1 국부 랜드마크 지도를 생성하는 단계; 정밀 지도 상의 도로의 표면 정보를 기초로 상기 제 1 국부 랜드마크 지도 내 상기 차선에 대한 제 2 랜드마크의 3차원 위치를 추정하여 제 2 국부 랜드마크 지도를 생성하는 단계; 및 상기 제 2 국부 랜드마크 지도를 기초로 상기 정밀 지도를 업데이트 하는 단계를 포함한다.
일 실시예에 따른 정밀 지도 업데이트 장치는, 서로 다른 복수의 위치에서 2차원 영상을 획득하는 카메라; 상기 2차원 영상 내 랜드마크 중 차선 이외의 제 1 랜드마크를 이용하여 상기 카메라의 이동 궤적에 대응되는 3차원의 제 1 국부 랜드마크 지도를 생성하고, 정밀 지도 상의 도로의 표면 정보를 기초로 상기 제 1 국부 랜드마크 지도 내 상기 차선에 대한 제 2 랜드마크의 3차원 위치를 추정하여 제 2 국부 랜드마크 지도를 생성하는 국부 랜드마크 지도 생성부; 및 상기 제 2 국부 랜드마크 지도를 기초로 상기 정밀 지도를 업데이트 업데이트부를 포함한다.
일 실시예에 따른 정밀 지도 업데이트 장치 및 방법은, 정밀 지도의 업데이트를 위한 별도의 사전 작업 없이, 실 주행중인 차량에 탑재되어 실시간으로 정밀 지도의 업데이트를 수행할 수 있다. 이를 통해, 정밀 지도를 업데이트하는데 소요되는 비용 및 시간을 줄일 수 있다. 또한, 영상을 통한 특징점 정합이 용이하지 않은 차선에 대하여 도로의 표면 정보를 기초로 위치를 추정하므로, 정밀 지도 업데이트의 정확성을 높일 수 있다.
도 1a 및 1b는 본 발명의 여러 가지 실시예에 따른 정밀 지도 업데이트 장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라에 의해 획득되는 2차원 영상을 예시한 도면이다.
도 3은 두 개의 영상을 이용하여 랜드마크의 3차원 위치를 획득하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부가 구조물 객체에 대한 랜드마크의 3차원 위치를 추정하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부가 정밀 지도와 제 1 국부 랜드마크 지도를 정합하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부가 도로의 표면 정보를 기초로 제 2 국부 랜드마크 지도를 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부가 도로의 표면 정보를 기초로 생성한 제 2 국부 랜드마크 지도를 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부가 도 7의 제 2 국부 랜드마크 지도의 유효성을 판단하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 업데이트부가 제 2 랜드마크를 피팅하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 정밀 지도 업데이트 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a 및 1b는 본 발명의 여러 가지 실시예에 따른 정밀 지도 업데이트 장치의 기능 블록도이고, 도 2는 본 발명의 일 실시예에 따른 카메라에 의해 획득되는 2차원 영상을 예시한 도면이다.
본 발명의 일 실시예에 따른 정밀 지도 업데이트 장치는 전체 또는 일부가 차량에 탑재되어, 차량의 주행 중 획득한 차량 주변의 정보에 기초하여 정밀 지도를 업데이트하는 장치를 의미할 수 있다.
여기서, 정밀 지도란 여기서, 정밀 지도란 안전하고 정밀한 차량 제어를 위해 높은 정확도를 가지는 지도를 의미할 수 있다. 구체적으로, 정밀 지도는 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률, 차로 수 등에 대한 정보를 포함하고, 아울러 표지판, 신호등, 이정표, 가드레일과 같은 도로 시설물에 대한 정보를 더 포함하는 지도를 의미할 수 있다.
정밀 지도는 도로를 레이저 스캐너 등을 통해 스캔함으로써 획득되는 복수의 포인트의 집합인 포인트 클라우드(Point Cloud)로 이루어지며, 포인트 클라우드를 구성하는 각각의 포인트는 기준 좌표계 상의 3차원 공간 좌표를 가질 수 있다. 획득된 포인트 클라우드는 노이즈 필터를 통해 유의미한 데이터만을 필터링한 후, 각각의 포인트 클라우드에 랜드마크를 마킹함으로써 정밀 지도가 구축될 수 있다.
이렇게 마킹되는 랜드마크(Landmark)는 도로 주변의 표지판, 신호등, 이정표, 가드레일 등 다양한 종류의 도로 구조물에 대한 구조물 객체와 주행 도로 상의 정지선, 도로 경계(Road Edge)를 포함하는 차선을 포함할 수 있다. 특히, 구조물 객체에 대한 랜드마크는 점(點)의 형태로 정밀 지도에 표현되고, 차선에 대한 랜드마크는 선(線)의 형태로 표현될 수 있다.
또한, 정밀 지도 업데이트 장치가 탑재된 차량은 MMS 차량과 같이 정밀 지도 생성을 위해 특별히 마련된 차량이 아니라, 널리 보급되어 사용되는 일반적인 자가용 혹은 영업용의 차량일 수 있다.
도 1a를 참조하면, 본 발명의 일 실시예에 따른 정밀 지도 업데이트 장치(100)는 카메라(110); 랜드마크 검출부(120); 이동 궤적 확인부(130); 국부 랜드마크 지도 생성부(140); 및 업데이트를 포함하고, 모든 구성이 차량에 마련될 수 있다. 이와는 달리, 다른 실시예에 따른 정밀 지도 업데이트 장치(100)는 카메라(110)를 제외한 다른 구성 요소 중 전부 혹은 일부가 차량과 이격된 다른 장소에 설치되는 것 역시 가능하다. 도 1b를 참조하면, 다른 실시예에 따른 정밀 지도 업데이트 장치(100)는 카메라(110), 랜드마크 검출부(120), 이동 궤적 확인부(130), 및 국부 랜드마크 지도 생성부(140) 중 제 1 국부 랜드마크 지도 생성부(141)가 일체로서 복수의 차량 각각에 설치되고, 원격지의 정밀 지도 업데이트 서버(S)에 구현된 국부 랜드마크 지도 생성부(140) 중 제 2 국부 랜드마크 지도 생성부(142)와 업데이트부(150)가 각 차량의 정밀 지도 업데이트 장치(100)로부터 수신한 정보를 이용하여 정밀 지도의 업데이트를 수행하는 것도 가능하다. 이 때, 정밀 지도는 정밀 지도 업데이트 서버(S) 측에 저장될 수 있으나, 이에 한정되는 것은 아니다.
이 때, 정밀 지도 업데이트 장치(100)의 구성 요소 중 상호 이격된 구성 요소끼리는 무선 통신을 이용하여 데이터를 주고받는 것이 가능하며, 이 경우 정밀 지도 업데이트 장치(100)는 무선 통신을 위한 통신용 하드웨어를 더 포함할 수 있다. 일 실시예에 따른 정밀 지도 업데이트 장치(100)의 차량 측 구성과 서버(S) 측 구성 간에는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 거쳐 통신할 수 있다. 이와는 달리, 다른 실시예에 따른 정밀 지도 업데이트 장치(100)의 차량 측 구성과 서버(S) 측 구성은 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra Wide Band), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법을 채택하여 소정 거리 이내에서 통신할 수도 있다. 다만, 정밀 지도 업데이트 장치(100)의 각 구성이 통신하는 방법은 상술한 실시예에 한정되지 않는다.
도 1a 및 1b의 실시예에 정밀 지도 업데이트 장치(100)의 각 구성은 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU) 및 그래픽 처리 장치(Graphic Processing Unit, GPU) 중 적어도 하나로 구현될 수 있다. 이와는 달리, 정밀 지도 업데이트 장치(100)의 각 구성 중 적어도 두 개가 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.
카메라(110)는 차량의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 2차원 영상을 획득할 수 있다. 상술한 바와 같이, 정밀 지도 업데이트 장치(100)의 카메라(110)는 차량에 탑재되므로, 카메라(110)에 의해 획득된 2차원 영상은 주행 중인 차량 주변에 대한 주행 정보가 2차원으로 표현된 영상일 수 있다.
카메라(110)는 미리 정해진 시간 간격에 의해 정의되는 프레임마다 2차원 영상을 반복적으로 획득할 수 있다. 이하에서는 카메라(110)에 의해 연속하여 획득되는 두 개의 2차원 영상 중 먼저 획득된 영상을 제 1 프레임 영상이라 하고, 나중에 획득된 영상을 제 2 프레임 영상이라 한다.
랜드마크 검출부(120)는 카메라(110)에 의해 획득된 2차원 영상으로부터 랜드마크를 검출할 수 있다. 이 때, 랜드마크는 도로 주변의 구조물 객체와 도로 상의 차선에 대한 차선 객체를 포함할 수 있다.
이를 위해, 랜드마크 검출부(120)는 카메라(110)에 의해 획득된 2차원 영상 내 특징점(Feature Point)을 추출할 수 있다. 2차원 영상으로부터 특징점이 추출되면, 랜드마크 검출부(120)는 추출된 특징점을 랜드마크 식별 알고리즘에 입력함으로써 2차원 영상 내 랜드마크를 검출할 수 있다. 이 때, 랜드마크 식별 알고리즘은 딥러닝(Deep Learning)과 같은 기계 학습을 통해 생성되며, 특징점의 위치 등을 입력 값으로 하고, 입력된 특징점에 대응되는 랜드마크를 출력 값으로 하는 알고리즘을 의미할 수 있다.
도 2를 참조하면, 랜드마크 검출부(120)는 카메라(110)에 의해 획득된 2차원 영상 내에서 전방의 흰색 사각형 형상으로 표시되는 신호등, 회색 사각형 형상으로 표시되는 표지판, 및 도로 상의 흰색 직선으로 표시되는 차선 등을 랜드마크로서 검출할 수 있다.
만약, 카메라(110)가 매 프레임마다 2차원 영상을 획득하는 경우, 랜드마크 검출부(120)는 각각의 2차원 영상마다 특징점을 추출하여 랜드마크를 검출할 수 있다.
이동 궤적 확인부(130)는 카메라(110)가 매 프레임마다 2차원 영상을 획득하는 경우, 획득된 복수의 2차원 영상을 비교하여 차량, 구체적으로 차량에 탑재된 정밀 지도 업데이트 장치(100)의 카메라(110)의 이동 궤적을 획득할 수 있다.
이를 위해, 이동 궤적 확인부(130)는 카메라(110)에 의해 연속적으로 획득되는 복수의 2차원 영상 각각에 대하여 특징점을 추출하고, 서로 다른 2차원 영상 내 대응되는 특징점을 매칭 시킨 후, 카메라(110)의 이동 궤적을 확인할 수 있다. 이를 위해, 일 실시예에 따른 이동 궤적 확인부(130)는 동시적 위치 추정 및 지도 작성 방법인 SLAM (Simultaneous Localization and Mapping) 기술을 채택할 수 있다.
또한, 단일 카메라(110)의 위치에 따른 객체 크기의 모호성(Scale Ambiguity) 문제를 해결하기 위해, 이동 궤적 확인부(130)는 차량의 휠 속도, 요레이트(Yaw Rate), 및/또는 IMU(Inertial Measurement Unit)의 감지 결과 등을 참조하여 카메라(110)의 이동 궤적을 확인할 수도 있다.
국부 랜드마크 지도 생성부(140)는 정밀 지도 상의 업데이트 필요 영역에 대한 변경 정보가 포함되는 국부 랜드마크 지도를 생성할 수 있다. 구체적으로, 국부 랜드마크 지도 생성부(140)는 2차원 영상 내 랜드마크 중 구조물 객체에 대한 랜드마크를 이용하여 카메라(110)의 이동 궤적에 대응되는 3차원의 제 1 국부 랜드마크 지도를 생성하고, 정밀 지도 상의 도로 표면 정보를 기초로 제 1 국부 랜드마크 지도 내 차선에 대한 랜드마크의 3차원 위치를 추정하여 제 2 국부 랜드마크 지도를 생성할 수 있다. 도 1b의 실시예에 따른 국부 랜드마크 지도 생성부(140)는 제 1 국부 랜드마크 지도 생성부(141)에서 상술한 제 1 국부 랜드마크 지도를 생성하고, 제 2 국부 랜드마크 지도 생성부(142)에서 상술한 제 2 국부 랜드마크 지도를 생성할 수 있다.
이하에서는 도 3 및 4를 참조하여 제 1 국부 랜드마크 지도를 생성하는 방법을 설명하고, 도 5 내지 8을 참조하여 제 2 국부 랜드마크 지도를 생성하는 방법을 설명한다.
도 3은 두 개의 영상을 이용하여 랜드마크의 3차원 위치를 획득하는 방법을 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부가 구조물 객체에 대한 랜드마크의 3차원 위치를 추정하는 방법을 설명하기 위한 도면이다.
국부 랜드마크 지도 생성부(140)는 제 1 국부 랜드마크 지도를 생성하기 위해 2차원 영상 내 구조물 객체에 대한 랜드마크인 제 1 랜드마크의 위치를 추정할 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부(140)는 삼각 측량법(triangulation)을 이용할 수 있다. 구체적으로, 국부 랜드마크 지도 생성부(140)는 서로 다른 위치에서 촬영된 최소 2장의 영상에서 동일한 제 1 랜드마크를 인식하고, 인식 결과에 삼각 측량법을 적용함으로써 국부 랜드마크 지도 상에서 제 1 랜드마크의 3차원 위치를 추정할 수 있다.
도 3을 참조하면, 카메라(110)는 제 1 위치 L1에서 제 1 랜드마크를 촬영하여 제 1 영상 I1을 획득하고, 제 2 위치 L2에서 제 1 랜드마크를 촬영하여 제 2 영상 I2을 획득할 수 있다. 이 때, 국부 랜드마크 지도 생성부(140)는 제 1 위치로부터 제 1 영상 I1 내 제 1 랜드마크에 대응되는 픽셀 X1을 지나는 벡터 V1을 구하고, 제 2 위치 L2로부터 제 2 영상 I2 내 제 1 랜드마크에 대응되는 픽셀 X2를 지나는 벡터 V2를 구할 수 있다. 그 다음, 국부 랜드마크 지도 생성부(140)는 벡터 V1과 V2가 교차하는 점을 3차원 공간 상의 제 1 랜드마크 위치 P로 추정할 수 있다.
이러한 방법에 따라 제 1 랜드마크의 위치를 추정할 때, 결정되는 제 1 랜드마크 위치의 정확도는 제 1 랜드마크를 인식한 실제 영상의 수에 영향을 받을 수 있다. 상술한 바와 같이, 제 1 랜드마크의 3차원 공간 상의 위치를 추정하기 위해서는 최소 두 장의 2차원 영상이 이용되는 바, 복수의 2차원 영상으로부터 결정되는 복수의 3차원 위치의 평균을 3차원 공간 상의 제 1 랜드마크 위치로 추정함으로써 측정 오차를 줄일 수 있다.
또한, 카메라(110)에 의해 복수의 2차원 영상이 촬영되는 복수의 위치 간 거리가 멀수록 상기 방법에 따라 결정되는 제 1 랜드마크의 3차원 위치 정확도가 높아질 수 있다. 이는 촬영 위치 간 거리가 멀수록 2차원 영상 내에서 인식된 제 1 랜드마크의 픽셀 오차가 감소하여, 이를 기초로 결정되는 제 1 랜드마크의 3차원 위치 오차 역시 줄어들기 때문이다. 예를 들어, 1m만큼 이격된 두 위치에서 촬영된 두 장의 2차원 영상 내 제 1 랜드마크의 위치 오차가 1픽셀이고, 2m만큼 이격된 두 위치에서 촬영된 두 장의 2차원 영상 내 제 1 랜드마크의 위치 오차가 1픽셀인 경우, 각각을 기초로 결정되는 제 1 랜드마크의 3차원 위치는 후자의 경우가 정확도가 높다.
이를 고려하여, 국부 랜드마크 지도 생성부(140)는 제 1 랜드마크 위치의 정확도를 높일 수 있고, 정확도에 따라 제 1 국부 랜드마크 지도에 해당 제 1 랜드마크를 추가할지 여부를 결정할 수도 있다.
도 4를 참조하면, 2차원 영상은 복수의 위치(710, 720, 730)에서 각각 촬영될 수 있는데, 첫 번째 위치(710)에서 촬영된 2차원 영상에 의해 추정된 제 1 랜드마크의 위치의 오차 범위(711)는 비교적 크지만, 두 번째 위치(720)에서의 2차원 영상까지 고려하여 추정된 제 1 랜드마크 위치의 오차 범위(721)는 보다 작고, 세 번째 위치(730)에서의 2차원 영상까지 고려하여 추정된 제 1 랜드마크 위치의 오차 범위(731)는 더욱 작아지는 것을 확인할 수 있다.
이를 기초로, 국부 랜드마크 지도 생성부(140)는 오차 범위(예컨대, 확률변수의 형태로 표현된, 국부 랜드마크 지도 상에서의 랜드마크의 위치의 공분산)가 소정의 임계치 이하인 제 1 랜드마크를 유효한 제 1 랜드마크로 취급할 수 있으며, 후술할 업데이트부(150)에서는 유효한 제 1 랜드마크만을 이용하여 정밀 지도를 업데이트할 수 있다.
상술한 공분산이 주어지면, 일 실시예에 따른 국부 랜드마크 지도 생성부(140)는 칼만 필터(Kalman filter)를 이용하여 제 1 국부 랜드마크 지도 상에서의 제 1 랜드마크의 위치를 보다 정확하게 구할 수 있다. 이 과정에서 아래의 수학식 4가 이용될 수 있다.
Figure 112018097597516-pat00001
여기서, d는 촬영 장치(110)의 렌즈로부터 랜드마크의 위치로 향하는 3차원의 방향 벡터를 의미하고, λ는 d=(a, b, c)T를 단위 벡터로 만들어 주는 정규화 목적의 상수이며, R은 촬영 장치(110)의 오리엔테이션을 나타내는 3차원 회전 행렬이다. 또한, K는 핀홀(pin-hole) 모델을 가정한 카메라(110)의 내부 파라미터 관련 캘리브레이션(calibration) 행렬을 의미한다. 또한, 3차원 좌표로 표현되는 P*는 다음과 같은 수학식 2 내지 4에 따라 구해질 수 있다.
Figure 112018097597516-pat00002
Figure 112018097597516-pat00003
Figure 112018097597516-pat00004
여기서, (xi, yi, zi)는 카메라(110)의 복수의 위치 중에서 i번째의 위치를 의미한다. 상기 수학식을 기초로 추정되는 제 1 랜드마크의 3차원 위치 P의 공분산은 A-1이 되고, 이는 첫번째(i=1) 촬영 위치에서 촬영된 2차원 영상 내 제 1 랜드마크의 3차원 위치의 오차를 나타낸다.
한편, 카메라(110)의 좌표계 기준 제 1 랜드마크의 3차원 위치 P에 3차원 변환 행렬 T를 적용하면 정밀 지도의 좌표계 기준 제 1 랜드마크의 3차원 좌표 PL을 획득할 수 있다. 이 때, 변환 행렬 T는 카메라(110)의 위치 및 오리엔테이션에 따른 오차가 존재하므로, 국부 랜드마크 지도 생성부(140)는 PL에 오차 전파(Error Propagation) 개념이 적용된 PL의 공분산 CPL를 구할 수 있다. PL의 공분산 CPL는 수학식 5에 따라 구해질 수 있다.
Figure 112018097597516-pat00005
여기서, J1은 3차원 위치 P에 관한 함수 T×P의 편미분(Jacobian)이며, CT는 3차원 변환 행렬 T에 대한 공분산을 의미하고, J2는 3차원 변환 행렬 T에 관한 함수 T×P의 편미분을 의미한다.
지금까지는 제 1 국부 랜드마크 지도를 생성하는 방법을 설명하였으며, 이는 도 1a의 경우 국부 랜드마크 지도 생성부(140)에서 수행되고, 도 1b의 경우 국부 랜드마크 지도 생성부(140) 중 제 1 국부 랜드마크 지도 생성부(141)에 의해 수행될 수 있다. 또한, 도 1b의 경우, 생성된 제 1 국부 랜드마크 지도는 차량 측에서 정밀 지도 업데이트 서버(S) 측으로 전송될 수 있다.
상술한 방법에 따라 제 1 국부 랜드마크 지도가 생성되면, 국부 랜드마크 지도 생성부(140)는 제 1 국부 랜드마크 지도 내 차선에 대한 랜드마크의 3차원 위치를 추정하여 제 2 국부 랜드마크 지도를 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부가 정밀 지도와 제 1 국부 랜드마크 지도를 정합하는 방법을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부가 도로의 표면 정보를 기초로 제 2 국부 랜드마크 지도를 생성하는 방법을 설명하기 위한 도면이고, 도 7은 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부가 도로의 표면 정보를 기초로 생성한 제 2 국부 랜드마크 지도를 예시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부가 도 7의 제 2 국부 랜드마크 지도의 유효성을 판단하는 방법을 설명하기 위한 도면이다.
제 2 국부 랜드마크 지도를 생성하기 위해, 국부 랜드마크 지도 생성부(140)는 앞서 생성된 제 1 국부 랜드마크 지도를 정밀 지도와 정합할 수 있다. 정밀 지도와 제 1 국부 랜드마크 지도 모두 3차원 좌표계에 의해 정의되고, 두 좌표계 간의 관계는 회전(Rotation) 성분과 이동(Translation) 성분을 포함하는 변환 행렬에 의해 정될 수 있다. 따라서, 국부 랜드마크 지도 생성부(140)는 수학식 6을 이용하여 변환 행렬 T*를 구하여 정밀 지도와 제 1 국부 랜드마크 지도를 정합할 수 있다.
Figure 112018097597516-pat00006
여기서, Zk는 정밀 지도에서 제 1 랜드마크의 위치를 의미하고, Pk는 제 1 랜드마크 지도 상에서 제 1 랜드마크의 위치를 의미하고, T는 제 1 국부 랜드마크 지도의 제 1 랜드마크 위치 Pk를 정밀 지도의 좌표계의 값으로 변환하는 변환 행렬을 의미한다. Czk와 Cpk 각각은 Zk와 Pk의 분포 양상을 나타내는 공분산 행렬(Covariance Matrix)을 의미하고, J는 3차원 변환 행렬 T에 관한 함수 T×Pk의 편미분을 의미한다. 또한, k는 복수의 제 1 랜드마크 각각에 대한 인덱스(Index)를 의미한다.
수학식 6에서는 시그마(Σ) 기호 우측에 제 1 국부 랜드마크 지도에서의 각각의 제 1 랜드마크 Pk와 이에 대응되는 정밀 지도 상의 제 1 랜드마크 Zk에 대한 비용함수(Cost Function)을 정의한다. 국부 랜드마크 지도 생성부(140)는 이러한 비용함수에 대한 합이 최소가 되는 변환 행렬 T*를 구할 수 있다.
수학식 6의 해를 구하기 위해, 국부 랜드마크 지도 생성부(140)는 공지된 알고리즘 중 적어도 하나를 선택할 수 있으며, 예를 들어 Gauss Newton 알고리즘 또는 Levenberg-Marquardt 알고리즘을 이용할 수 있다.
일 실시예에 따른 국부 랜드마크 지도 생성부(140)는 정밀 지도와 제 1 국부 랜드마크 지도 상의 점들을 대응시키기 위해 ICP(Interactive Closest Point) 알고리즘을 채택할 수 있다. ICP 알고리즘에 따르면, 상호간의 정합을 수행하고자 하는 두 개의 포인트 클라우드 세트(Point Cloud Set)가 존재하고, 한 세트의 한 점을 다른 세트의 어느 한 점에 대응시킬 때, 서로 가장 가까운 유클리드 거리(Euclidean Distance)를 갖는 점들끼리 대응시킬 수 있다.
이 때, 일 실시예에 따른 국부 랜드마크 지도 생성부(140)는 제 1 랜드마크의 종류와 속성을 고려하여 점을 대응시킬 수 있다. 예를 들어, 제 1 랜드마크가 신호등인 경우, 국부 랜드마크 지도 생성부(140)는 제 1 랜드마크가 2색등 신호등, 3색등 신호등, 또는 4색등 신호등인지를 고려하여 정밀 지도와 제 1 국부 랜드마크 지도 상의 점들을 대응시킬 수 있다.
나아가, 일 실시예에 따른 국부 랜드마크 지도 생성부(140)는 적어도 세 개의 제 1 랜드마크에 대한 위치 관계, 즉 복수의 제 1 랜드마크 간의 기하학적 관계를 고려하여 양자의 점을 대응시킬 수도 있다.
도 5를 참조하면, 제 1 좌표계 C1을 따르는 제 1 국부 랜드마크 지도 상에 제 1 랜드마크 P1, P2, P3가 개시되고, 제 2 좌표계 C2를 따르는 정밀 지도 상에 상술한 P1, P2, P3에 대응되는 제 1 랜드마크 Q1, Q2, Q3가 개시된다. P1과 Q1의 대응 관계의 유효성을 파악하기 위해, 국부 랜드마크 지도 생성부(140)는 P1을 기준으로 벡터 VP12와 벡터 VP13을 구할 수 있고, Q1을 기준으로 벡터 VQ12와 벡터 VQ13을 구할 수 있다. 만약, 벡터 간의 내적이 임계치 이하(
Figure 112018097597516-pat00007
)이고, 벡터 길이 간의 차이가 임계치 이하(
Figure 112018097597516-pat00008
)라면, 국부 랜드마크 지도 생성부(140)는 해당 대응 관계를 유효하다고 판단할 수 있다. 이러한 기하학적인 제약조건을 설정함으로써, 국부 랜드마크 지도 생성부(140)는 ICP에 의해 대응점을 찾을 때 잘못된 대응점(Outlier)을 좀 더 용이하게 제거할 수 있고, 결과적으로 제 1 국부 랜드마크 지도와 정밀 지도 간의 정합 성능을 향상시킬 수 있다.
정밀 지도와 제 1 국부 랜드마크 지도의 정합이 이루어지면, 국부 랜드마크 지도 생성부(140)는 제 1 국부 랜드마크 지도 내 제 2 랜드마크의 3차원 위치를 추정할 수 있다.
카메라(110)의 이동 궤적을 정확히 알고 있다고 하더라도, 2차원 영상 내에서 도로에 대한 제 2 랜드마크의 대응점을 찾는 것은 거의 불가능하여 삼각 측량법에 의한 3차원 위치 추정 방법을 적용하기 어렵다. 따라서, 일 실시예에 따른 국부 랜드마크 지도 생성부(140)는 도로의 표면 정보를 이용하여 제 1 국부 랜드마크 지도 내 제 2 랜드마크의 3차원 위치를 추정할 수 있다. 여기서, 도로의 표면 정보란 도로 표면 상의 굴곡에 대한 정보를 포함할 수 있다.
도로의 표면 정보를 고려하기 위해, 국부 랜드마크 지도 생성부(140)는 먼저 카메라(110)의 이동 궤적에 대응되는 영역을 복수의 평면으로 격자화할 수 있다. 이 때, 카메라(110)의 이동 궤적에 대응되는 영역은 제 1 국부 랜드마크 지도가 나타내는 지리적 위치를 기초로 결정될 수 있다.
그 다음, 국부 랜드마크 지도 생성부(140)는 수학식 7에 따라 격자화된 복수의 평면 각각의 평면 방정식을 구할 수 있다.
Figure 112018097597516-pat00009
여기서, a, b, c, d는 평면 방정식의 계수를 의미할 수 있다. 국부 랜드마크 지도 생성부(140)는 각각의 평면 내에 존재하는 적어도 네 개의 위치 정보, 즉 포인트 클라우드를 구성하는 적어도 네 개의 포인트의 3차원 위치 좌표 (x, y, z)를 수학식 6에 대입하여 평면 방정식의 계수 a, b, c, d를 구할 수 있다.
만약, 격자화된 복수의 평면 중 세 개 이하의 위치 정보를 포함하는 평면이 존재하는 경우, 국부 랜드마크 지도 생성부(140)는 인접한 평면의 방정식을 해당 평면의 방적식으로 결정할 수 있다.
그 다음, 국부 랜드마크 지도 생성부(140)는 정밀 지도 좌표계 기준 카메라(110)의 오리엔테이션 및 위치를 나타내는 회전 행렬 R과 이동 행렬 T를 이용하여 카메라(110) 좌표계의 원점으로부터 2차원 영상 내의 제 2 랜드마크를 향하는 벡터를 획득할 수 있다. 구체적으로, 국부 랜드마크 지도 생성부(140)는 수학식 8에 따라 카메라(110) 좌표계의 원점으로부터 2차원 영상 내 제 2 랜드마크에 대응되는 픽셀을 지나는 Pray를 구할 수 있다.
Figure 112018097597516-pat00010
여기서, Pray는 행렬 [x,y,z]T로 정의되는 벡터를 의미하고, R과 T는 정밀 지도 기준 좌표계에서 카메라(110)의 오리엔테이션 및 위치를 나타내는 3차원 회전 행렬 및 이동 행렬을 의미하고, K는 카메라(110) 내부 파라미터 행렬(3X3)을 의미하고, m은 2차원 영상에서 제 2 랜드마크에 대응되는 픽셀의 좌표를 의미한다.
이렇게 구해지는 Pray는 도 6 에서 점선의 화살표로 나타날 수 있다.
도 7은 상술한 방법에 따라 구해진 결과를 예시한다. 구체적으로 도 7의 (a)는 정밀 지도를 탑-뷰(Top-View)로 도시한 도면이고, 도 7의 (b)는 정밀 지도 상의 도로의 표면 정보를 기초로 제 1 국부 랜드마크 지도 상에 제 2 랜드마크의 3차원 위치를 추정한 결과를 탑-뷰로 도시한 도면이다. 도 7의 (a)에 개시된 차선에 대한 제 2 랜드마크와 도 7의 (b)에 개시된 차선에 대한 제 2 랜드마크의 위치 및 형상이 상당히 유사함을 확인할 수 있다.
또한, 국부 랜드마크 지도 생성부(140)는 추정된 제 2 랜드마크의 위치의 유효성을 판단할 수 있다. 이를 위해, 일 실시예에 따른 국부 랜드마크 지도 생성부(140)는 서로 다른 카메라(110)에 의해 획득된 복수의 2차원 영상으로부터 추정된 제 2 랜드마크의 3차원 위치를 누적하여 유효성을 판단할 수 있다.
만약, 정밀 지도 업데이트 장치(100)가 도 1b와 같이 구현되는 경우, 복수의 차량 각각에 마련된 서로 다른 카메라(110)에 의해 복수의 2차원 영상이 획득될 수 있다. 이 경우, 각각의 차량에 탑재된 정밀 지도 업데이트 장치(100)의 제 1 국부 랜드마크 지도 생성부(141)는 서로 다른 2차원 영상에 기초하여 제 1 국부 랜드마크 지도를 생성할 수 있다. 제 2 랜드마크 지도 생성부(140)는 서로 다른 차량에 탑재된 제 1 국부 랜드마크 지도 생성부(141)에 의해 생성된 제 1 국부 랜드마크 지도 각각에 대하여 제 2 랜드마크의 3차원 위치를 추정할 수 있고, 그 결과를 누적할 수 있다.
이를 위해, 제 2 랜드마크 지도 생성부(140)는 제 1 국부 랜드마크 지도를 격자화 할 수 있다. 도 8을 참조하면, 도 7의 (b)에 도시된 제 1 국부 랜드마크 지도가 미리 정해진 간격에 따라 격자화될 수 있다. 제 2 국부 랜드마크 지도 생성부(142)는 서로 다른 카메라(110)에 기초하여 추정된 제 2 랜드마크의 3차원 위치를 격자 별로 누적하여 카운팅할 수 있다. 이를 통해, 제 2 국부 랜드마크 지도 생성부(142)는 각각의 격자에 대한 2차원 히스토그램을 생성할 수 있고, 미리 정해진 임계값 이상을 가지는 격자를 제 2 랜드마크의 유효한 3차원 위치로 결정할 수 있다. 이 때, 임계값은 해당 격자를 제 2 랜드마크의 3차원 위치로 결정할 수 있는 최소 누적 개수를 의미할 수 있다.
상술한 과정을 통해 제 2 랜드마크 3차원 위치의 유효성을 검토함으로써, 국부 랜드마크 지도 생성부(140)는 제 2 국부 랜드마크 지도를 생성할 수 있다.
지금까지는 제 1 국부 랜드마크 지도로부터 제 2 국부 랜드마크 지도를 생성하는 방법을 설명하였으며, 이는 도 1a의 경우 국부 랜드마크 지도 생성부(140)에서 수행되고, 도 1b의 경우 국부 랜드마크 지도 생성부(140) 중 제 2 국부 랜드마크 지도 생성부(142)에 의해 수행될 수 있다.
업데이트부(150)는 제 2 국부 랜드마크 지도를 이용하여 정밀 지도를 업데이트할 수 있다. 이러한 업데이트는 정밀 지도에 신규 랜드마크를 추가하는 것과, 정밀 지도로부터 삭제 랜드마크를 제거하는 것을 포함할 수 있다.
신규 랜드마크를 추가하기 위해, 업데이트부(150)는 수신된 랜드마크의 위치, 이의 공분산 및 속성을 포함하는 제 2 국부 랜드마크 지도에 기초하여 정밀 지도 상의 대응되는 랜드마크를 확인할 수 있다. 정밀 지도 상의 대응되는 랜드마크가 확인되면, 업데이트부(150)는 수신된 랜드마크의 위치와 정밀 지도 상의 대응되는 랜드마크 간의 거리를 기초로 동일 랜드마크인지 확인할 수 있다.
이 때, 일 실시예에 따른 업데이트부(150)는 수신된 랜드마크와 정밀 지도 상의 대응되는 랜드마크 간의 마할라노비스 거리(Mahalanobis Distance) 이론을 적용하여 확률에 기반한 거리를 구할 수 있다. 2개의 3차원 공간 상의 점 P1과 P2가 각각 공분산 C1과 C2를 가질 때, 마할라노비스 거리 Dm은 수학식 9를 따른다.
Figure 112018097597516-pat00011
업데이트부(150)는 구해진 마할라노비스 거리가 소정의 임계치 이하인 경우에 두 랜드마크가 동일한 것으로 판단할 수 있다. 반면, 정밀 지도 상에서 대응되는 랜드마크가 확인되지 않거나, 마할라노비스 거리가 소정의 임계치를 초과하는 경우, 업데이트부(150)는 수신된 랜드마크를 신규 랜드마크로 결정할 수 있다.
신규 랜드마크가 결정되면, 업데이트부(150)는 정밀 지도에 신규 랜드마크를 반영함으로써 정밀 지도의 업데이트를 수행할 수 있다. 일 실시예에 따른 업데이트부(150)는 결정된 신규 랜드마크 위치의 공분산이 소정의 임계치 이하일 때, 해당 신규 랜드마크의 가중 평균을 위치로 하여 정밀 지도에 추가할 수 있다. 이를 통해, 정밀 지도 업데이트의 신뢰도를 높일 수 있다.
한편, 도 1b의 실시예를 따를 때, 정밀 지도 업데이터 서버(S) 내에 마련된 업데이트부(150)는 서로 다른 차량에 탑재된 카메라(110)의 2차원 영상에 기초한 서로 다른 제 2 국부 랜드마크 지도를 수신할 수 있다. 이 경우, 업데이트부(150)는 공분산을 반영하여 수신된 복수의 신규 랜드마크 위치의 가중 평균(Weight Average)를 구할 수 있다. 일 실시예에 따른 업데이트부(150)는 수신된 신규 랜드마크 위치의 가중 평균을 구하기 위해 칼만 필터(Kalman Filter)를 이용할 수 있다. 칼만 필터를 사용하여 수신된 순서에 따라 순차적으로 신규 랜드마크 위치의 가중 평균을 구함으로써, 연산 속도를 높이고, 저장 공간을 보다 효율적으로 활용할 수 있다.
가중 평균을 구한 후, 업데이트부(150)는 구해진 가중 평균을 이용하여 정밀 지도에 신규 랜드마크를 추가할지 여부를 결정할 수 있다. 일 실시예에 따른 업데이트부(150)는 신규 랜드마크 중 소정의 임계치 이상의 2차원 영상에 의해 신규 랜드마크로 결정된 것만을 정밀 지도에 추가할 수 있다. 즉, 업데이트부(150)는 국부 랜드마크 지도 생성부(140)로부터 수신되어, 가중 평균을 구하는데 이용된 랜드마크 정보의 수가 소정의 임계치 이상인 경우, 해당 가중 평균을 위치로 하는 신규 랜드마크를 정밀 지도에 추가할 수 있다.
이와는 달리, 다른 실시예에 따른 업데이트부(150)는 칼만 필터에 의해 획득된 신규 랜드마크 위치의 공분산이 소정의 임계치 이하일 때, 앞서 구한 가중 평균을 위치로 하여 해당 신규 랜드마크를 정밀 지도에 추가할 수 있다. 상술한 실시예 들을 통해, 업데이트부(150)는 신뢰할 수 있는 랜드마크만을 정밀 지도에 신규로 추가함으로써, 정밀 지도 업데이트의 신뢰성을 높일 수 있다.
또한, 삭제 랜드마크를 삭제하기 위해, 업데이트부(150)는 국부 랜드마크 지도 생성부(140)로부터 특정 랜드마크가 삭제되었다는 정보를 포함하는 제 2 국부 랜드마크 지도를 수신할 수 있다.
삭제 랜드마크에 대한 정보가 수신되면, 업데이트부(150)는 이를 기초로 정밀 지도를 업데이트 할 수 있다. 구체적으로, 업데이트부(150)는 수신된 정보에 따라 정밀 지도 상에서 삭제 랜드마크를 삭제할 수 있다.
한편, 도 1b의 실시예를 따를 때, 정밀 지도 업데이터 서버(S) 내에 마련된 업데이트부(150)는 서로 다른 복수의 정밀 지도 업데이트 장치(100)로부터 삭제 랜드마크에 대한 정보를 포함하는 제 2 국부 랜드마크 지도를 복수 회 수신할 수 있다. 이 경우, 일 실시예에 따른 업데이트부(150)는 삭제 랜드마크 중 소정의 임계치 이상의 2차원 영상에 의해 삭제 랜드마크로 결정된 것만을 정밀 지도에서 삭제할 수 있다. 즉, 업데이트부(150)는 수신된 동일 삭제 랜드마크 정보의 수가 소정의 임계치 이상이면, 정밀 지도 상에서 삭제 랜드마크를 삭제할 수도 있다.
나아가, 제 2 랜드마크에 대한 추가 또는 삭제 업데이트를 수행하기 위해, 업데이트부(150)는 제 2 국부 랜드마크 지도 상의 제 2 랜드마크를 피팅(Fitting)할 수 있다. 이에 대하여 도 9를 참조하여 설명한다.
도 9는 본 발명의 일 실시예에 따른 업데이트부가 제 2 랜드마크를 피팅하는 방법을 설명하기 위한 도면이다.
도 9의 (a)를 참조하면, 업데이트부(150)는 먼저 제 2 국부 랜드마크 지도를 격자화할 수 있다. 도 9의 (a)에서 빗금 표시된 격자는 제 2 랜드마크의 3차원 위치에 해당하는 유효 격자를 나타낸다.
그 다음, 업데이트부(150)는 유효 격자 중 인접한 격자를 그룹화할 수 있다. 도 9의 (b)를 참조하면, 일 실시예에 따른 업데이트부(150)는 Connected component 알고리즘을 이용하여 유효 격자 중 인접한 격자를 동일한 숫자로 레이블링할 수 있다.
마지막으로, 업데이트부(150)는 그룹화된 격자들을 기초로 제 2 랜드마크를 피팅할 수 있다. 구체적으로, 업데이트부(150)는 먼저 동일 그룹의 격자 중 임의의 k개의 격자를 이용하여 제 2 랜드마크를 다항식으로 커브 피팅할 수 있다. 커브 피팅이 완료되면, 업데이트부(150)는 해당 곡선 상에 존재하는 모든 격자의 수를 연산할 수 있다. 그 후, 업데이트부(150)는 상술한 과정을 미리 정해진 횟수만큼 반복 수행할 수 있다. 최종적으로, 업데이트부(150)는 가장 많은 격자를 포함하는 곡선을 제 2 랜드마크의 피팅 결과로 결정할 수 있다.
도 9의 (c)를 참조하면, 업데이트부(150)는 1로 레이블링된 유효 격자와 2로 레이블링된 유효 격자 각각에 대한 커브 피팅을 수행할 수 있다. 그 결과, 원으로 표시되는 유효 격자가 커브 상에 존재하지 않아 제거됨을 확인할 수 있다. 이를 통해, 보다 정확한 제 2 랜드마크의 피팅이 가능할 수 있다.
이와 같은 방법에 따라 피팅된 제 2 랜드마크 역시 상술한 업데이트 방법에 따라 정밀 지도 상에 추가 또는 삭제될 수 있다. 또한, 일 실시예에 따른 업데이트부(150)는 정밀 지도 및 제 2 국부 랜드마크 지도를 동일 간격으로 격자화한 후, 대응 격자를 비교함으로써 정밀 지도 업데이트를 수행할 수도 있다. 구체적으로, 업데이트부(150)는 정밀 지도와 제 2 국부 랜드마크 지도 간 대응 격자 내 제 2 랜드마크 유/무를 비교할 수 있다. 만약, 임계치 이상의 확률로 대응 격자 간 제 2 랜드마크 유/무에 대한 비교 결과가 상이한 경우, 업데이트부(150)는 제 2 국부 랜드마크 지도가 나타내는 지리적 영역에 대해 정밀 지도를 업데이트 할 수 있다.
한편, 정밀 지도의 업데이트는 전술한 바와 같이 업데이트부(150)에 의해 자동으로 수행될 수도 있겠지만, 업데이트가 업데이트가 필요한 부분에 관한 정보(즉, 신규 랜드마크와 삭제 랜드마크에 대한 정보)를 관리자에게 제공하면 관리자가 이를 확인하여 최종적으로 업데이트를 승인하는 방식 역시 가능하다.
업데이트가 완료되면, 정밀 지도 업데이트 장치(100)는 업데이트된 정밀 지도를 기초로 추후 업데이트를 수행할 수 있다. 이를 위해, 도 1b의 실시예를 따른 업데이트부(150)는 정밀 지도 업데이트 서버(S)의 통신 수단을 통해 업데이트 완료된 정밀 지도를 정밀 지도 업데이트 장치(100)에 제공할 수 있다.
지금까지는 정밀 지도 업데이트 장치(100)의 구성 및 동작에 대하여 설명하였다. 이하에서는 도 10을 참조하여 상술한 정밀 지도 업데이트 장치(100)에 의해 수행되는 정밀 지도 업데이트 방법을 설명한다.
도 10은 본 발명의 일 실시예에 따른 정밀 지도 업데이트 방법의 흐름도이다.
먼저, 정밀 지도 업데이트 장치(100)는 서로 다른 복수의 위치에서 2차원 영상을 획득할 수 있다(S100). 구체적으로, 주행중인 차량에 탑재된 정밀 지도 업데이트 장치(100)의 카메라(110)는 차량의 위치 이동에 따라 서로 다른 복수의 위치에서 2차원 영상을 획득할 수 있다.
2차원 영상 획득 후, 정밀 지도 업데이트 장치(100)는 획득된 2차원 영상 내 랜드마크를 검출할 수 있다(S110). 이 때, 검출되는 랜드마크는 도로 주변의 구조물 객체에 대한 제 1 랜드마크와 도로 상의 차선에 대한 제 2 랜드마크를 포함할 수 있다.
이와 동시에, 정밀 지도 업데이트 장치(100)는 획득된 2차원 영상을 기초로 카메라(110)의 이동 궤적을 확인할 수 있다(S120). 이를 위해, 정밀 지도 업데이트 장치(100)는 SLAM 방법에 따라 복수의 2차원 영상의 특징점을 대응시킨 후, 카메라(110)의 이동 궤적을 확인할 수 있다.
그 다음, 정밀 지도 업데이트 장치(100)는 제 1 랜드마크를 이용하여 카메라(110)의 이동 궤적에 대응되는 3차원의 제 1 국부 랜드마크 지도를 생성할 수 있다(S130). 구체적으로, 정밀 지도 업데이트 장치(100)는 복수의 2차원 영상에 삼각 측량법을 적용하여 제 1 랜드마크의 3차원 위치가 포함된 제 1 국부 랜드마크 지도를 생성할 수 있다.
제 1 국부 랜드마크 지도가 생성되면, 정밀 지도 업데이트 장치(100)는 제 1 국부 랜드마크 지도를 정밀 지도와 정합할 수 있다(S140). 정밀 지도와의 정합을 위해, 정밀 지도 업데이트 장치(100)는 정밀 지도와 제 1 국부 랜드마크 지도 간의 적어도 세 개의 대응점의 위치 관계를 고려할 수 있다.
정합 완료 후, 정밀 지도 업데이트 장치(100)는 정합된 제 1 국부 랜드마크 지도 내 차선에 대한 제 2 랜드마크의 3차원 위치를 추정할 수 있다(S150). 이를 위해, 정밀 지도 업데이트 장치(100)는 정밀 지도 상의 도로의 표면 정보를 이용할 수 있다.
그 다음, 정밀 지도 업데이트 장치(100)는 추정된 제 2 랜드마크의 3차원 위치의 유효성을 판단하여 제 2 국부 랜드마크 지도를 생성할 수 있다(S160). 구체적으로, 정밀 지도 업데이트 장치(100)는 서로 다른 카메라(110)에 의해 획득된 2차원 영상에 기초한 제 2 랜드마크의 3차원 위치를 누적하여 히스토그램을 생성하고, 이를 기초로 제 2 랜드마크의 유효한 3차원 위치를 결정할 수 있다.
마지막으로, 정밀 지도 업데이트 장치(100)는 제 2 국부 랜드마크 지도를 기초로 정밀 지도를 업데이트 할 수 있다(S170). 정밀 지도 업데이트 장치(100)는 제 2 국부 랜드마크 지도에서 제 2 랜드마크를 피팅한 후, 정밀 지도와 제 2 국부 랜드마크 지도 간 대응 격자를 비교함으로써 정밀 지도를 업데이트 할 수 있다.
상술한 정밀 지도 업데이트 장치 및 방법은, 정밀 지도의 업데이트를 위한 별도의 사전 작업 없이, 실 주행중인 차량에 탑재되어 실시간으로 정밀 지도의 업데이트를 수행할 수 있다. 이를 통해, 정밀 지도를 업데이트하는데 소요되는 비용 및 시간을 줄일 수 있다. 또한, 영상을 통한 특징점 정합이 용이하지 않은 차선에 대하여 도로의 표면 정보를 기초로 위치를 추정하므로, 정밀 지도 업데이트의 정확성을 높일 수 있다.
한편, 상술한 일 실시예에 따른 정밀 지도 업데이트 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
한편, 상술한 일 실시예에 따른 정밀 지도 업데이트 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 정밀 지도 업데이트 장치, 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.
100: 정밀 지도 업데이트 장치
110: 카메라
120: 랜드마크 검출부
130: 이동 궤적 확인부
140: 국부 랜드마크 지도 생성부
150: 업데이트부

Claims (13)

  1. 차량에 탑재된 카메라를 이용하여 서로 다른 복수의 위치에서 2차원 영상을 획득하는 단계;
    상기 2차원 영상 내 랜드마크 중 차선 이외의 제 1 랜드마크를 이용하여 상기 카메라의 이동 궤적에 대응되는 3차원의 제 1 국부 랜드마크 지도를 생성하는 단계;
    정밀 지도 상의 도로의 표면에 대한 정보를 기초로 상기 제 1 국부 랜드마크 지도 내 상기 차선에 대응되는 제 2 랜드마크의 3차원 위치를 추정하는 단계;
    추정된 상기 제 2 랜드마크의 3차원 위치를 기초로, 상기 제 1 국부 랜드마크 지도에서 상기 3차원 위치에 상기 차선에 대응되는 상기 제 2 랜드마크를 표시한 제 2 국부 랜드마크 지도를 생성하는 단계; 및
    상기 3차원 위치에 상기 제 2 랜드마크가 표시된 상기 제 2 국부 랜드마크 지도를 이용하여 상기 정밀 지도를 업데이트 하는 단계를 포함하는
    정밀 지도 업데이트 방법.
  2. 제 1 항에 있어서,
    상기 제 2 국부 랜드마크 지도를 생성하는 단계는,
    상기 정밀 지도와 상기 제 1 국부 랜드마크 지도를 정합하는 단계; 및
    상기 정합된 제 1 국부 랜드마크 지도 내 상기 제 2 랜드마크의 3차원 위치를 추정하는 단계를 포함하는
    정밀 지도 업데이트 방법.
  3. 제 2 항에 있어서,
    상기 정밀 지도와 상기 제 1 국부 랜드마크 지도를 정합하는 단계는,
    상기 정밀 지도 및 상기 제 1 국부 랜드마크 지도 내 랜드마크 간 대응 관계를 탐색하는 단계; 및
    상호 대응되는 상기 정밀 지도 및 상기 제 1 국부 랜드마크 지도 각각의 적어도 세 개의 랜드마크에 대한 위치 관계를 기초로 상기 탐색된 대응 관계를 검증하는 단계를 포함하는
    정밀 지도 업데이트 방법.
  4. 제 2 항에 있어서,
    상기 제 2 랜드마크의 3차원 위치를 추정하는 단계는,
    상기 정밀 지도 내 상기 카메라 이동 궤적에 대응되는 영역을 복수의 평면으로 격자화하는 단계;
    카메라 좌표계의 원점으로부터 상기 2차원 영상 내의 상기 제 2 랜드마크에 대응되는 픽셀을 향하는 벡터를 획득하는 단계; 및
    상기 획득된 벡터로부터 결정되는 직선과 상기 격자화된 복수의 평면의 교점을 기초로 상기 제 2 랜드마크의 3차원 위치를 추정하는 단계를 포함하는
    정밀 지도 업데이트 방법.
  5. 제 4 항에 있어서,
    상기 카메라 이동 궤적에 대응되는 영역을 복수의 평면으로 격자화하는 단계는,
    상기 격자화된 복수의 평면 중 적어도 네 개의 위치 정보를 포함하는 제 1 평면에 대하여, 상기 적어도 네 개의 위치 정보를 기초로 상기 제 1 평면의 방정식을 구하는 단계; 및
    상기 격자화된 복수의 평면 중 세 개 이하의 위치 정보를 포함하는 제 2 평면에 대하여, 상기 제 2 평면에 인접한 상기 제 1 평면의 방정식을 상기 제 2 평면의 방정식으로 결정하는 단계를 포함하는
    정밀 지도 업데이트 방법.
  6. 제 2 항에 있어서,
    상기 제 2 랜드마크의 3차원 위치를 추정하는 단계는,
    서로 다른 카메라에 의해 획득된 복수의 2차원 영상으로부터 상기 제 2 랜드마크에 대한 복수의 3차원 위치를 추정하고,
    상기 제 2 국부 랜드마크 지도를 생성하는 단계는,
    상기 추정된 복수의 3차원 위치를 누적하여 유효성을 판단하는 단계를 더 포함하는
    정밀 지도 업데이트 방법.
  7. 제 6 항에 있어서,
    상기 유효성을 판단하는 단계는,
    격자화된 상기 제 1 국부 랜드마크 지도 상에 상기 제 2 랜드마크에 대한 상기 추정된 복수의 3차원 위치를 누적하는 단계;
    상기 복수의 격자 중 누적값이 미리 정해진 임계값 이상인 격자를 상기 제 2 랜드마크에 대한 유효한 3차원 위치로 결정하는 단계를 포함하는
    정밀 지도 업데이트 방법.
  8. 제 1 항에 있어서,
    상기 정밀 지도를 업데이트 하는 단계는,
    상기 제 2 랜드마크의 상기 추정된 3차원 위치를 기초로 상기 제 2 국부 랜드마크 지도 상에 상기 제 2 랜드마크를 피팅(Fitting)하는 단계; 및
    상기 제 2 랜드마크가 피팅된 상기 제 2 국부 랜드마크 지도를 기초로 상기 정밀 지도를 업데이트 하는 단계를 포함하는
    정밀 지도 업데이트 방법.
  9. 제 8 항에 있어서,
    상기 제 2 랜드마크를 피팅하는 단계는,
    상기 제 2 국부 랜드마크 지도를 격자화하는 단계;
    상기 추정된 위치에 대응되는 격자 중 인접한 격자를 이용하여 상기 제 2 랜드마크를 다항식으로 피팅하는 단계를 포함하는
    정밀 지도 업데이트 방법.
  10. 제 1 항에 있어서,
    상기 정밀 지도를 업데이트 하는 단계는,
    상기 제 2 국부 랜드마크 지도 및 상기 제 2 국부 랜드마크 지도에 대응되는 상기 정밀 지도 영역 각각을 격자화하는 단계;
    상기 제 2 국부 랜드마크 지도의 각각의 격자와 상기 정밀 지도 영역의 각각의 격자를 비교하는 단계;
    상기 비교 결과에 기초하여 상기 정밀 지도의 업데이트 여부를 결정하는 단계를 포함하는
    정밀 지도 업데이트 방법.
  11. 서로 다른 복수의 위치에서 2차원 영상을 획득하는 카메라;
    상기 2차원 영상 내 랜드마크 중 차선 이외의 제 1 랜드마크를 이용하여 상기 카메라의 이동 궤적에 대응되는 3차원의 제 1 국부 랜드마크 지도를 생성하고, 정밀 지도 상의 도로의 표면 정보에 대한 정보를 기초로 상기 제 1 국부 랜드마크 지도 내 상기 차선에 대응되는 제 2 랜드마크의 3차원 위치를 추정하고, 추정된 상기 제 2 랜드마크의 3차원 위치를 기초로, 상기 제1 국부 랜드마크 지도에서 상기 3차원 위치에 상기 차선에 대응되는 상기 제 2 랜드마크를 표시한 제 2 국부 랜드마크 지도를 생성하는 국부 랜드마크 지도 생성부; 및
    상기 3차원 위치에 상기 제 2 랜드마크가 표시된 상기 제 2 국부 랜드마크 지도를 이용하여 상기 정밀 지도를 업데이트 업데이트부를 포함하는
    정밀 지도 업데이트 장치.
  12. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램.
  13. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은,
    제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.
KR1020180117864A 2018-10-02 2018-10-02 정밀 지도 업데이트 장치 및 방법 KR102233260B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180117864A KR102233260B1 (ko) 2018-10-02 2018-10-02 정밀 지도 업데이트 장치 및 방법
US17/276,100 US20220042823A1 (en) 2018-10-02 2019-07-02 Apparatus and method for updating detailed map
PCT/KR2019/007987 WO2020071619A1 (ko) 2018-10-02 2019-07-02 정밀 지도 업데이트 장치 및 방법
CN201980064467.3A CN112805766B (zh) 2018-10-02 2019-07-02 用于更新详细地图的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180117864A KR102233260B1 (ko) 2018-10-02 2018-10-02 정밀 지도 업데이트 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200038140A KR20200038140A (ko) 2020-04-10
KR102233260B1 true KR102233260B1 (ko) 2021-03-29

Family

ID=70054646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180117864A KR102233260B1 (ko) 2018-10-02 2018-10-02 정밀 지도 업데이트 장치 및 방법

Country Status (4)

Country Link
US (1) US20220042823A1 (ko)
KR (1) KR102233260B1 (ko)
CN (1) CN112805766B (ko)
WO (1) WO2020071619A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531833B2 (en) * 2020-01-16 2022-12-20 Honeywell International Inc. Creating a ground control point file using an existing landmark shown in images
CN111508258B (zh) * 2020-04-17 2021-11-05 北京三快在线科技有限公司 一种定位方法及装置
KR102484511B1 (ko) * 2020-12-09 2023-01-05 주식회사 맵퍼스 2d 지도 정보를 3d 지도에 매칭하는 방법 및 시스템
US20230109164A1 (en) * 2021-10-05 2023-04-06 Transportation Ip Holdings, Llc System and method for vehicle-based localizing of offboard features
DE102022203264A1 (de) 2022-04-01 2023-10-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erstellen von Kartendaten

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717118B1 (ko) * 2016-10-20 2017-03-20 (주)그린공간정보 지형정보의 변화를 정확하게 업데이트하기 위한 수치지도 제작장치
WO2018104563A2 (en) 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
KR101871441B1 (ko) 2018-02-27 2018-06-27 뉴비전엔지니어링(주) 자율주행차량용 고정밀전자지도 제작을 위한 음성인식 현장조사와 도로선형 생성 시스템

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065772A (ja) * 2001-08-28 2003-03-05 Pioneer Electronic Corp 通信ナビゲーションシステムにおける地図データの更新方法、通信ナビゲーション端末装置および記録媒体
JP4370869B2 (ja) * 2003-09-25 2009-11-25 トヨタ自動車株式会社 地図データ更新方法および地図データ更新装置
JP4773794B2 (ja) * 2005-10-19 2011-09-14 株式会社岩根研究所 新旧映像座標統合装置
JP2009180631A (ja) * 2008-01-31 2009-08-13 Denso It Laboratory Inc ナビゲーション装置、ナビゲーション方法およびプログラム
GB201116958D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Use of synthetic overhead images for vehicle localisation
CN102829788A (zh) * 2012-08-27 2012-12-19 北京百度网讯科技有限公司 一种实景导航方法和实景导航装置
KR101617078B1 (ko) * 2014-02-24 2016-04-29 주식회사 한화 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
WO2017021778A2 (en) * 2015-08-03 2017-02-09 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data
US9630619B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
KR102113816B1 (ko) * 2016-01-05 2020-06-03 한국전자통신연구원 차량 자율주행 서비스 시스템 및 이를 위한 클라우드 서버 및 그 동작 방법
CN105719484A (zh) * 2016-04-22 2016-06-29 百度在线网络技术（北京）有限公司 行车路线的道路数据的获取方法、装置及系统
CN109641538A (zh) * 2016-07-21 2019-04-16 国际智能技术公司 使用车辆创建，更新地图的系统和方法
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成系统
US10584971B1 (en) * 2016-10-28 2020-03-10 Zoox, Inc. Verification and updating of map data
US10309777B2 (en) * 2016-12-30 2019-06-04 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
US10845820B2 (en) * 2016-12-30 2020-11-24 DeepMap Inc. Route generation using high definition maps for autonomous vehicles
DE102017105086A1 (de) * 2017-03-10 2018-09-13 Valeo Schalter Und Sensoren Gmbh Aktualisieren einer Landmarkenkarte
CN108337635A (zh) * 2017-07-27 2018-07-27 惠州市格农科技有限公司 基于共享设备的地图更新方法
CN107505644B (zh) * 2017-07-28 2020-05-05 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法
EP3707572B1 (en) * 2017-11-10 2023-08-23 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
KR102221695B1 (ko) * 2018-01-15 2021-03-02 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
KR102420476B1 (ko) * 2018-05-25 2022-07-13 에스케이텔레콤 주식회사 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
KR102604821B1 (ko) * 2018-11-09 2023-11-20 에스케이텔레콤 주식회사 차량의 위치 추정 장치 및 방법
CN113906414A (zh) * 2019-03-05 2022-01-07 辉达公司 用于生成导航自主车辆用的高清晰度地图的位姿图的分布式处理
US20200393265A1 (en) * 2019-06-11 2020-12-17 DeepMap Inc. Lane line determination for high definition maps
WO2021003452A1 (en) * 2019-07-02 2021-01-07 DeepMap Inc. Determination of lane connectivity at traffic intersections for high definition maps
US11593344B2 (en) * 2019-07-02 2023-02-28 Nvidia Corporation Updating high definition maps based on age of maps
US11713978B2 (en) * 2019-08-31 2023-08-01 Nvidia Corporation Map creation and localization for autonomous driving applications
US10816993B1 (en) * 2019-11-23 2020-10-27 Ha Q Tran Smart vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717118B1 (ko) * 2016-10-20 2017-03-20 (주)그린공간정보 지형정보의 변화를 정확하게 업데이트하기 위한 수치지도 제작장치
WO2018104563A2 (en) 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
KR101871441B1 (ko) 2018-02-27 2018-06-27 뉴비전엔지니어링(주) 자율주행차량용 고정밀전자지도 제작을 위한 음성인식 현장조사와 도로선형 생성 시스템

Also Published As

Publication number Publication date
WO2020071619A1 (ko) 2020-04-09
CN112805766B (zh) 2023-06-02
KR20200038140A (ko) 2020-04-10
US20220042823A1 (en) 2022-02-10
CN112805766A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
KR102233260B1 (ko) 정밀 지도 업데이트 장치 및 방법
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
US11593950B2 (en) System and method for movement detection
US20230054914A1 (en) Vehicle localization
CN111220993B (zh) 目标场景定位方法、装置、计算机设备和存储介质
US20180224863A1 (en) Data processing method, apparatus and terminal
US10086955B2 (en) Pattern-based camera pose estimation system
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
WO2019007263A1 (zh) 车载传感器的外部参数标定的方法和设备
KR20190134231A (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
US11321950B2 (en) Apparatus and method for detecting lane information, and computer-readable recording medium storing computer program programmed to execute same method
US10451403B2 (en) Structure-based camera pose estimation system
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
US9858669B2 (en) Optimized camera pose estimation system
EP3447729B1 (en) 2d vehicle localizing using geoarcs
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、系统及无人机
KR20200020465A (ko) 좌표계 변환 정보 획득 장치 및 방법
KR20200093271A (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
CN114549738A (zh) 无人车室内实时稠密点云重建方法、系统、设备及介质
WO2023070113A1 (en) Validating an sfm map using lidar point clouds
Tao et al. Automated processing of mobile mapping image sequences
US10445611B1 (en) Method for detecting pseudo-3D bounding box to be used for military purpose, smart phone or virtual driving based-on CNN capable of converting modes according to conditions of objects and device using the same
KR102604821B1 (ko) 차량의 위치 추정 장치 및 방법
Dodge et al. Convex vision-based negative obstacle detection framework for autonomous vehicles
KR20200120402A (ko) 차량의 추정 위치 획득 장치 및 방법

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant