KR102221695B1 - 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법 - Google Patents

자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법 Download PDF

Info

Publication number
KR102221695B1
KR102221695B1 KR1020180097468A KR20180097468A KR102221695B1 KR 102221695 B1 KR102221695 B1 KR 102221695B1 KR 1020180097468 A KR1020180097468 A KR 1020180097468A KR 20180097468 A KR20180097468 A KR 20180097468A KR 102221695 B1 KR102221695 B1 KR 102221695B1
Authority
KR
South Korea
Prior art keywords
landmark
map
precision map
image
precision
Prior art date
Application number
KR1020180097468A
Other languages
English (en)
Other versions
KR20190087266A (ko
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to PCT/KR2018/014005 priority Critical patent/WO2019139243A1/ko
Priority to CN201880068940.0A priority patent/CN111263960B/zh
Priority to US16/756,829 priority patent/US11530924B2/en
Publication of KR20190087266A publication Critical patent/KR20190087266A/ko
Application granted granted Critical
Publication of KR102221695B1 publication Critical patent/KR102221695B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Abstract

본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법은, 3차원의 고정밀 지도에 의해 표현된 실제의 영역 중 적어도 일부에 해당하는 대상 영역을 촬영한 영상인 2차원 영상을 획득하는 단계, 상기 2차원 영상을 촬영한 촬영 장치의 위치 및 오리엔테이션(orientation)에 기초하여, 상기 2차원 영상 내 랜드마크(landmark)의 위치 로부터 상기 대상 영역에 대한 3차원의 국부 랜드마크 지도를 생성하는 단계 및 상기 고정밀 지도의 대상 영역에 대응되는 상기 국부 랜드마크 지도를 참조하여, 상기 고정밀 지도를 업데이트하는 단계를 포함할 수 있다.

Description

자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법 {APPARATUS AND METHOD FOR UPDATING HIGH DEFINITION MAP FOR AUTONOMOUS DRIVING}
본 발명은 자율주행을 위한 3차원의 고정밀 지도를, 보다 효율적으로 업데이트하기 위한 장치 및 방법에 관한 것이다.
근래에 들어, 최신 자동차 기술로서 자율주행(autonomous driving) 기술이 각광받고 있다. 자율주행이란 운전자가 브레이크, 핸들, 가속 페달 등을 제어하지 않아도 차량이 스스로 도로의 상황을 파악하여 자동으로 주행하는 것을 가리키며, 이러한 자율주행 기술은 스마트 카 구현을 위한 핵심 기술이라 할 수 있다.
자율주행을 위해서는 이른바 고정밀 지도(high definition map, 약칭 HD map)라 불리는 3차원의 디지털 지도가 구비될 필요가 있다. 고정밀 지도에는 차량이 주행할 도로의 차선과 정지선, 표지판, 신호등, 가드레일 등 도로 주변의 모든 지형지물이 표현된다.
도 1은 고정밀 지도에 대해 예시적으로 설명하기 위한 도면이다. 고정밀 지도(1)는 일반적으로, 고성능 센서(RTK GPS, INS, LIDAR 등)을 장착한 MMS(mobile mapping system) 차량을 이용하여 실제의 도로를 주행하면서 획득한 3차원 포인트 클라우드(point cloud) 데이터를 이용하여 생성될 수 있다. 다만, 차선, 정지선, 표지판, 이정표 등과 같이 차량 주행을 위한 중요한 정보가 되는 부분의 경우, 벡터(vector) 이미지 형태로 보다 상세하게 표현될 수 있다. 도 1을 보면, 벡터 이미지 형태로 표현된 차선(2)과, 포인트 클라우드 형태로 표현된 도로의 주변부(3)의 모습을 확인할 수 있다.
자율주행 기술이 적용된 차량은 이와 같은 고정밀 지도로부터 현재 주행하고 있는 도로 및 그 주변에 관한 정보를 획득한다. 단, 도로 및 그 주변의 상태는 공사나 교통 정책의 변경 등으로 인해 수시로 변화할 수 있다. 자율주행 차량이 실제와 다른 정보를 참고함으로써 발생할 수 있는 사고를 막기 위해, 이와 같은 변화는 고정밀 지도에 신속하면서도 정확하게 반영될 필요가 있으므로, 고정밀 지도의 효과적인 업데이트는 매우 중요하다 할 수 있다.
하지만, 현재의 고정밀 지도 생성 방식에 의하면, 고정밀 지도에 의해 표현된 구역 중 어느 위치에 변화가 발생했는지를 알기 쉽지 않고, 변화가 발생한 위치를 알아냈다고 하더라도 상기 고성능 센서를 장착한 MMS 차량으로 해당 위치 주변을 주행하여 해당 위치 주변의 고정밀 지도를 생성하는 작업을 다시 수행해야 한다. 이러한 업데이트 방식은 시간 및 노력 측면에서 효율적이지 않다는 문제를 갖는다.
한국공개특허공보 제 10-2017-0112862 호 (2017.10.12. 공개)
본 발명이 해결하고자 하는 과제는, 고성능 장비를 사용하지 않고서도 적은 시간과 노력으로 효율적인 고정밀 지도 업데이트를 가능하게 하는 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법은, 3차원의 고정밀 지도에 의해 표현된 영역 중 적어도 일부에 해당하는 대상 영역을 촬영한 2차원 영상을 획득하는 단계, 상기 2차원 영상을 촬영한 촬영 장치의 위치 및 오리엔테이션(orientation)에 기초하여, 상기 2차원 영상 내 랜드마크(landmark)의 위치로부터 상기 대상 영역에 대한 3차원의 국부 랜드마크 지도를 생성하는 단계 및 상기 고정밀 지도의 대상 영역에 대응되는 상기 국부 랜드마크 지도를 참조하여, 상기 고정밀 지도를 업데이트하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 고정밀 지도 업데이트 장치는, 3차원의 고정밀 지도에 의해 표현된 영역 중 적어도 일부에 해당하는 대상 영역을 촬영한 2차원 영상을 획득하는 촬영 장치, 상기 2차원 영상을 촬영한 촬영 장치의 위치 및 오리엔테이션(orientation)에 기초하여, 상기 2차원 영상 내 랜드마크(landmark)의 위치로부터 상기 대상 영역에 대한 3차원의 국부 랜드마크 지도를 생성하는 국부 랜드마크 지도 생성부 및 상기 고정밀 지도의 대상 영역에 대응되는 상기 국부 랜드마크 지도를 참조하여, 상기 고정밀 지도를 업데이트하는 업데이트부를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 카메라와 같은 일반적인 영상 촬영 장치를 구비한 보통의 차량이 상기 영상 촬영 장치를 통해 획득한 2차원 영상을 이용하여 변화 발생의 감지 및 고정밀 지도의 업데이트를 손쉽게 수행할 수 있다. 이에 따라, 기존의 고정밀 지도의 업데이트를 위해 고가의 장비를 이용하여 다시 고정밀 지도를 생성하는 과정을 거칠 필요가 없어져, 고정밀 지도 업데이트의 효율이 비약적으로 증대될 수 있다.
아울러, 본 발명의 일 실시예에 따르면, 카메라를 구비한 일반적인 차량에 의해 손쉽게 고정밀 지도의 업데이트가 가능해짐에 따라, 도로를 주행하는 수많은 차량들에 의해 수집된 방대한 양의 데이터를 확보할 수 있으므로, 경제성뿐만 아니라 업데이트의 신뢰성 측면에서도 큰 효과를 달성할 수 있게 된다.
도 1은 고정밀 지도에 대해 예시적으로 설명하기 위한 도면이다.
도 2a 및 2b는 본 발명의 여러 가지 실시예에 따른 고정밀 지도 업데이트 장치의 구성에 대해 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법의 각 단계를 도시한 도면이다.
도 4 내지 6은 본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법에서, 고정밀 지도와 실제 영상을 비교하는 과정에 대해 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법에서, 변환 행렬을 보정하는 과정에 대해 설명하기 위한 도면이다.
도 8a는 두 개의 영상을 이용하여 랜드마크의 3차원 위치를 획득하는 방법을 설명하기 위한 도면이고, 도 8b는 본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법에서, 신규 랜드마크의 위치를 추정하는 과정에 대해 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법에서, 국부 랜드마크 지도와의 비교를 통해 고정밀 지도를 업데이트하는 과정에 대해 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2a 및 2b는 본 발명의 여러 가지 실시예에 따른 고정밀 지도 업데이트 장치의 구성에 대해 설명하기 위한 도면이다. 도 2a를 참조하면, 본 발명의 일 실시예에 따른 고정밀 지도 업데이트 장치(100)는 촬영 장치(110), 좌표계 변환부(120), 국부 랜드마크 지도 생성부(130) 및 업데이트부(140)를 포함할 수 있다. 단, 도 2a의 고정밀 지도 업데이트 장치(100)는 본 발명의 일 실시예에 불과하므로, 도 2a에 의해 본 발명의 사상이 제한 해석되는 것은 아니다.
고정밀 지도 업데이트 장치(100)는 도 2a에서 보는 바와 같이 도로(10)를 주행하는 차량(20)에 장착될 수 있으며, 경우에 따라서는 도 2a와 달리 촬영 장치(110)를 제외한 다른 구성 요소 중 전부 혹은 일부가 차량(20)과 이격된 다른 장소에 설치되는 것 역시 가능하다. 도 2b를 참조하면, 다른 실시예에 따른 고정밀 지도 업데이트 장치(100)는 촬영 장치(110), 좌표계 변환부(120), 국부 랜드마크 지도 생성부(130)가 일체로서 복수의 차량(20) 각각에 설치되고, 원격지의 고정밀 지도 업데이트 서버(S)에 구현된 업데이트부(140)가 각 차량(20)의 고정밀 지도 업데이트 장치(100)로부터 전송받은 정보를 이용하여 고정밀 지도의 업데이트를 수행하는 것도 가능할 것이다.
이 때, 고정밀 지도 업데이트 장치(100)의 구성 요소 중 상호 이격된 구성 요소끼리는 무선 통신을 이용하여 데이터를 주고받는 것이 가능할 것이며, 이 경우 고정밀 지도 업데이트 장치(100)는 무선 통신을 위한 통신용 하드웨어를 더 포함할 수 있다.
앞서 설명한 바와 같이, 촬영 장치(110)는 고정밀 지도를 생성하기 위한 고성능 장비가 아닌, 2차원 영상을 촬영할 수 있는 일반적인 카메라(camera) 등의 영상 촬영 장치일 수 있다. 아울러, 차량(20) 역시 MMS 차량과 같이 고정밀 지도 생성을 위해 특별히 마련된 차량이 아닌, 널리 보급되어 있는 일반적인 자가용 혹은 영업용의 차량일 수 있다.
촬영 장치(110)는 고정밀 지도에 의해 표현된 실제의 영역 중 적어도 일부에 해당하는 대상 영역을 촬영할 수 있다. 이하에서는 상기 촬영에 의해 획득된 2차원 영상을 "실제 영상"이라 칭하도록 한다. 도 2를 참조하면, 차량(20)에 장착된 촬영 장치(100)의 촬영 대상이 되는 도로(10) 및 그 주변 영역을 대상 영역으로서 촬영하여 실제 영상을 얻을 수 있음을 알 수 있다. 이와 같이 얻어진 실제 영상은, 3차원의 풍경을 평면에 담아낸 2차원 영상이 될 수 있다.
도로(10)의 노면 위에는 중앙선(11)을 비롯하여 정지선, 차선 등이 존재할 수 있으며, 도로(10)의 주변부에는 속도 표지판(12)을 비롯하여 신호등, 이정표 등 다양한 종류의 정보 표시 객체가 존재할 수 있다. 이와 같은 차량(20)의 주행에 필요한 제반 정보들을 랜드마크(landmark)라 칭할 수 있으며, 이러한 랜드마크는 도 1과 같은 고정밀 지도에서 벡터 이미지 형태로 표현될 수 있다. 한편, 상기 노면 위의 랜드마크들은 선(線)의 형태로, 정보 표시 객체인 랜드마크들은 점(點)의 형태로 고정밀 지도에 표현될 수 있다.
좌표계 변환부(120)는 기 생성되어 있는 고정밀 지도와 실제 영상 간의 정합 결과에 기초하여, 상기 실제 영상을 촬영한 시점에서의 촬영 장치(110)의 위치 및 오리엔테이션(orientation)을 연산할 수 있다. 즉, 좌표계 변환부(120)는 촬영 장치(110)가 어떠한 위치에서 어떠한 방향을 향하여 촬영을 수행했을 때 상기 실제 영상과 같은 영상이 생성되는지를 도출해낼 수 있으며, 이와 같은 작용을 위한 구체적인 원리에 대해서는 후술하도록 한다. 좌표계 변환부(120)는 마이크로프로세서(microprocessor)와 같은 연산 장치를 포함하여 구현될 수 있으며, 이는 후술할 국부 랜드마크 지도 생성부(130) 및 업데이트부(140)에 대해서도 같다.
국부 랜드마크 지도 생성부(130)는 촬영 장치(110)의 위치 및 오리엔테이션에 기초하여, 실제 영상에 포함된 시각적 정보로부터 대상 영역에 대한 3차원의 국부 랜드마크 지도를 생성할 수 있다. 여기서, 실제 영상에 포함된 시각적 정보란 실제 영상 내 랜드마크의 위치 정보를 포함할 수 있다. 즉, 국부 랜드마크 지도 생성부(130)는 2차원의 실제 영상으로부터, 고정밀 지도와 같은 형태의 3차원 지도를 상기 실제 영상의 촬영 대상이 된 대상 영역에 대해 생성할 수 있는 것이다.
업데이트부(140)는 상기 국부 랜드마크 지도와, 고정밀 지도 중 대상 영역 대응되는 부분 간의 비교를 통해 고정밀 지도를 업데이트할 수 있다. 이들 국부 랜드마크 지도 생성부(130) 및 업데이트부(140)의 상세한 동작에 대해서도 후술하도록 한다.
도 3은 본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법의 각 단계를 도시한 도면이다. 도 3의 방법은 도 2를 참조하여 설명한 고정밀 지도 업데이트 장치(100)를 이용하여 수행될 수 있으며, 도 2와 중복되는 부분에 대해서는 설명이 생략될 수 있다. 단, 도 3의 방법은 본 발명의 일 실시예에 불과하므로 도 3에 의해 본 발명의 사상이 제한 해석되는 것은 아니며, 도 3의 방법의 각 단계는 도 3에 제시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.
우선, 촬영 장치(110)는 고정밀 지도에 의해 표현된 영역의 적어도 일부인 대상 영역을 촬영하여 실제 영상을 획득할 수 있다(S110). 다음으로, 고정밀 지도와 실제 영상 간의 비교를 통해, 고정밀 지도의 좌표계와, 촬영 장치(110)를 기준으로 한 좌표계 간의 변환 관계를 연산할 수 있다(S120). 실제 영상과 비교하기 위한 고정밀 지도에서의 영역을 설정하기 위해, GPS(global positioning system)과 같은 측위 수단이 이용될 수 있다.
본 발명의 핵심적 특징 중 하나는, 전술한 바와 같이 3차원의 고정밀 지도 데이터와 2차원의 실제 영상 데이터 간의 정합을 통해 촬영 장치(110)의 위치 및 오리엔테이션을 검출하는 것에 있다. 본 단계 S120은 이와 같은 핵심적인 특징과 직접적인 관련이 있는 단계로서, 이하에서는 상기 단계 S120의 구체적인 과정에 대해 보다 상세히 설명하도록 한다.
고정밀 지도의 좌표계(이하에서는 "제 1 좌표계"라 칭함)와, 촬영 장치(110)를 기준으로 한 좌표계(이하에서는 "제 2 좌표계"라 칭함)는 모두 3차원 좌표계일 수 있으며, 상기 두 좌표계 간의 관계는 회전(rotation) 성분과 평행이동(translation) 성분을 포함하는 변환 행렬에 의해 정의될 수 있다. 이와 같은 변환 행렬을 구하기 위한 수식은 다음의 수학식 1과 같다. T는 3차원 변환 행렬을 의미하며, 시그마(Σ) 기호 오른편에는 실제 영상으로부터 검출된 복수의 랜드마크 각각의 비용 함수(cost function)가 정의된다. 즉, 수학식 1은 비용 함수들을 모두 더한 값을 최소로 하는 변환 행렬(T*)을 구하는 것을 목표로 한다.
Figure 112018082748417-pat00001
여기서, Zk는 실제 영상에서 검출한 차선, 정지선, 표지판, 이정표, 신호등, 노면 마커 등의 랜드마크(landmark)의 좌표 값을 의미한다. 점 형태의 랜드마크는 하나의 좌표 값을 가질 수 있겠지만, 선 형태의 랜드마크는 복수의 점의 집합의 형태로 표현될 수 있으므로 상기 복수의 점 각각에 대응되는 복수의 좌표 값을 가질 수 있을 것이다. Pk는 고정밀 지도에서의 랜드마크에 대한 좌표 값을 의미하며, Zk에 대응될 수 있다. 즉, 상기 좌표 값과 관련하여, k라는 변수는 각각의 랜드마크 별 도출되는 비용 함수를 구분짓기 위한 인덱스(index)를 의미한다.
함수 h는, 제 1 좌표계에 의해 기술된 Pk의 값을 변환 행렬(T)을 이용하여 제 2 좌표계의 값으로 변환한 후, 변환된 좌표 값을 촬영 장치(110)의 내부 파라미터 행렬을 이용하여 촬영 장치(110)의 시선에 의한 2차원 영상에 투영된 좌표 값으로 변환하는 함수를 의미한다. 이에 따르면, h(T, Pk)는 제 1 좌표계 상에서의 점인 Pk가 변환 행렬(T)에 의해 2차원의 실제 영상 내로 옮겨진 점을 의미하게 된다. CZk와 CPk는 각각 Zk와 Pk의 분포 양상을 나타내는 공분산 행렬(covariance matrix)을 의미하며. H는 함수 h에 대한 편미분(jacobian)을 의미한다. 일반적으로 수학식 1의 해 T*는 일반적으로 Gauss Newton 알고리즘 또는 Levenberg-Marquardt 알고리즘을 이용하여 구할 수 있다.
일반적으로 알려진 ICP(interactive closest point) 알고리즘에 의하면, 상호 간의 정합을 수행하고자 하는 2개의 포인트 클라우드 세트(point cloud set)이 존재하고, 한 세트의 한 점을 다른 세트의 어느 한 점에 대응시킬 때, 서로 가장 가까운 유클리드 거리(Euclidean distance)를 갖는 점들끼리 대응시키게 된다.
본 발명은 이를 발전시켜, 3차원 고정밀 지도의 차선 상의 점들의 좌표를, 상기 수학식 1을 통해 설명한 변환 행렬을 이용하여 2차원 실제 영상 기준의 좌표로 변환한 후, 상기 좌표 변환된 점들과 실제 영상 내의 점들 간의 대응 관계를 찾게 된다. 이와 같은 방법에 의해, 도 4의 위쪽의 실제 영상(200)의 점들(210, 220)과 아래쪽의 고정밀 지도(300)의 점들(310, 320) 간의 대응 관계가 성립될 수 있음을 볼 수 있다.
상기 대응 관계가 정해지면, 수학식 1을 이용하여 변환 행렬을 구할 수 있다. 수학식 1의 해를 구하기 위해, 우선은 GPS, IMU(inertial measurement unit) 등을 통해 대략적으로 추정된 변환 행렬의 초기값을 수학식 1에 입력하고, 수학식 1을 반복적으로 풀어서 변환 행렬을 갱신시키는 과정을, 변환 행렬의 값의 변화가 일정 수준 이하가 될 때까지 반복할 수 있다. 실질적으로는, 여러 개의 후보 변환 행렬 중에서, 고정밀 지도 내의 데이터에 대해 후보 변환 행렬을 적용한 결과를 2차원 평면에 투사(projection)하여 얻어진 영상과, 실제 영상 간의 차이가 최소가 되는 것을 상기 변환 행렬로 결정하는 것과 같은 의미를 가질 수 있다.
도 5는 본 발명에 있어서 차선과 같은 두 개의 선(410, 420)을 점 대 점으로 대응시키는 예시에 대해 보다 자세히 설명하기 위한 도면이다. 선(410) 위의 각 점은 또 다른 선(420) 위의 점 중 어느 하나에 각각 대응될 수 있다. 예컨대 선(410) 위의 점(411)은 선(420) 위의 점(421)에 대응될 수 있다.
이 때, 수학식 1의 공분산 성분을 구함에 있어서, 선 위의 모든 점의 좌표에 기초하여 공분산을 구하는 것이 아니라, 선 위에서 한 점으로부터 일정 거리 내에 있는 주변 점들의 좌표의 값만으로 공분산을 구함으로써, 공분산 연산을 보다 합리적으로 수행할 수 있다. 이 경우, 각 점에서의 공분산 행렬의 형상(412, 422)는 도 5에서 보는 바와 같이 장축의 방향이 선의 방향과 일치하는 타원 형상을 띠게 될 것이다. 이와 같은 공분산 연산 방법은 직선뿐 아니라 곡선에 대해서도 적용될 수 있다.
한편, 선 형태의 랜드마크의 경우, 그 형상의 특성상 선과 수직한 방향으로의 오차에는 강하지만, 선과 평행한 방향으로의 오차에는 취약할 수 있다. 이와 같은 문제는 이정표, 표지판 등과 같이 하나의 점으로 표현되는 점 형태의 랜드마크를 통해 보완될 수 있다. 하나의 선에서도 무수히 많은 수의 점이 나올 수 있는 선 형태의 랜드마크와 달리, 점 형태의 랜드마크는 그 수가 적기 때문에, 실제 영상에서의 점 랜드마크를 고정밀 지도의 점 랜드마크에 대응시키기 위한 대응 관계를 찾는 것이 보다 용이하다.
이에 본 발명의 일 실시예에서는, 점 형태의 랜드마크에 대해서, 실제 영상에서의 랜드마크를 고정밀 지도 내의 랜드마크에 일대일로 대응시키는 복수의 경우 중, 상기 수학식 1의 값이 최소가 되는(즉, 정합에 따른 오차가 최소가 되는) 경우에서의 대응 관계를 선택할 수 있다.
도 6을 보면, 실제 영상(500)과 고정밀 지도(600) 간의 정합을 수행함에 있어, 선 형태의 랜드마크와 점 형태의 랜드마크를 모두 사용하고 있음을 확인할 수 있다. 이에 따르면, 실제 영상(500)의 두 개의 선(510, 520)은 고정밀 지도(600)의 두 개의 선(610, 620)에 각각 대응될 수 있으며, 실제 영상(500)의 표지판(530)은 고정밀 지도의 표지판(630)에 대응될 수 있다.
이하에서는 지금까지 설명한 바와 같은 과정을 거쳐 구해진 변환 행렬의 정확도를 높이기 위해, 변환 행렬의 값을 보정하는 방법에 대해 설명한다. 우선, 추측 항법(dead reckoning)을 이용하여 변환 행렬을 보정할 수 있는데, 촬영 장치(110)가 장착된 차량의 주행 정보를 이용하여 변환 행렬을 보정하는 알고리즘을 설계할 수 있다. 상기 주행 정보로는, 휠 스피드(wheel speed), 요율(yaw rate), 조향각, 기어(gear) 신호 및 IMU 센서로부터의 신호 등이 이용될 수 있다. 앞의 수학식 1에서 이와 같은 추측 항법을 이용한 보정 성분이 추가된 수학식 2는 다음과 같다.
Figure 112018082748417-pat00002
수학식 1과 유사하게, 수학식 2 역시 시그마(Σ) 기호 오른편에 각각의 랜드마크에 대한 비용 함수를 정의하고, 모든 랜드마크들에 대한 비용 함수의 합에 "(TDR-T)T WDR (TDR-T)" 비용 함수를 추가로 더한 값을 최소로 하는 변환 행렬(T*)을 구하는 것을 목표로 한다. 수학식 1에 비해 추가된 부분인 "(TDR-T)T WDR (TDR-T)"라는 항이 상기 보정과 관련된 항이며, 여기서 여기서, TDR은 추측 항법에 의해 추정된 촬영 장치(110)의 위치 및 오리엔테이션을 나타내는 3차원의 변환 행렬을 의미하며, WDR은 가중치 부여를 위한 행렬을 의미한다.
다음으로, 주행 중인 차량에 있어서, 촬영 장치(110)의 위치 및 오리엔테이션을 구하기 위한 변환 행렬을 서로 다른 위치에서 적어도 세 번 구한 결과가 있을 경우, 변환 행렬의 값을 보다 정확히 보정하기 위한 방법인 루프 클로징 구속 조건(loop closing constraint)에 대해 설명한다. 즉, 이 경우에는 차량의 주행 중에 시간 순서대로 서로 다른 위치에서 촬영 장치(110)가 실제 영상을 세 번 이상 얻었고, 상기 각 실제 영상에 기초한 변환 행렬이 각각 산출되었을 것을 전제로 한다. 그러면 상기 세 개 이상의 변환 행렬 중에서, 시간적으로 가장 앞서는 변환 행렬과 가장 뒤에 있는 변환 행렬을 이용하여, 나머지 변환 행렬을 보정할 수 있다.
상기 보정 방법에 대해 도 7을 참조하여 보다 구체적으로 설명하도록 한다. 도 7의 예시에서는, 시간 순서대로 T0, T1, T2, T3, T4의 총 5개의 변환 행렬이 구해졌다고 가정한다. 그리고 여기서, Tij는 Ti와 Tj 간의 상대적인 변환 행렬(relative transformation)을 의미한다. 이 때, 맨 처음의 T0와 맨 끝의 T4의 값을 고정시킨 채로, 아래의 수학식 3을 만족하도록 나머지 변환 행렬의 값을 조절할 수 있다. 여기서, Cij는 Tij에 관한 편차를 나타내는 공분산 행렬이며, g는 Ti와 Tj를 입력으로 하여 Tij를 예측하기 위한 함수이다.
Figure 112018082748417-pat00003
다시 도 3으로 돌아가도록 한다. 지금까지 설명한 바와 같은 과정을 통해 변환 행렬이 확정되면, 좌표계 변환부(120)는 변환 행렬의 값에 기초하여 촬영 장치(110)의 위치 및 오리엔테이션을 결정할 수 있다(S130). 그러면 국부 랜드마크 지도 생성부(130)는 실제 영상에 포함된 정보로부터 대상 영역에 대한 3차원의 국부 랜드마크 지도를 생성할 수 있으며(S140), 업데이트부(140)는 국부 랜드마크 지도와, 고정밀 지도 중 대상 영역에 대응되는 부분 간의 비교를 통해, 고정밀 지도를 업데이트할 수 있다(S150).
이하에서는 상기 단계 S140 및 S150에 대해 보다 구체적으로 설명하도록 한다. 국부 랜드마크 지도와 고정밀 지도의 정합에는 일반적으로 알려진, 앞서 소개한 ICP 알고리즘이 이용될 수 있다. 기본적으로 국부 랜드마크 지도는 고정밀 지도 중 대상 영역에 대응되는 부분과 실질적으로 동일할 것이나, 고정밀 지도에는 존재하지 않고 국부 랜드마크 지도에만 존재하는 랜드마크가 있을 수 있다. 이러한 랜드마크는 고정밀 지도 생성 시점과 국부 랜드마크 지도 생성 시점 사이에 새로 생긴 신규 랜드마크로 생각할 수 있다. 반면에, 고정밀 지도에는 존재하나 국부 랜드마크 지도에는 존재하지 않는 랜드마크도 있을 수 있으며, 이는 고정밀 지도 생성 시점과 국부 랜드마크 지도 생성 시점 사이에 제거된 삭제 랜드마크로 생각할 수 있다.
실제 영상은 2차원 영상이기 때문에, 하나의 실제 영상만으로 신규 랜드마크를 국부 랜드마크 지도 상의 정확한 위치에 표시하기 어렵다. 이에, 촬영 장치(110)의 위치 및 오리엔테이션 중 적어도 하나가 서로 상이한 복수 개의 실제 영상을 획득하고, 각 실제 영상 내에서의 상기 신규 랜드마크의 위치를 이용하여, 국부 랜드마크 지도 상에서의 신규 랜드마크의 위치를 결정할 수 있다. 이와 관련하여 도 8a 및 8b를 참조하여 설명한다.
도 8a는 두 개의 영상을 이용하여 랜드마크의 3차원 위치를 추정하는 방법을 설명하기 위한 도면이고, 도 8b는 본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법에서, 랜드마크의 위치를 추정하는 과정에 대해 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 국부 랜드마크 지도 생성부(130)는 랜드마크의 위치를 추정하기 위해 삼각 측량법(triangulation)을 이용할 수 있다. 구체적으로, 국부 랜드마크 지도 생성부(130)는 서로 다른 위치에서 촬영된 최소 2장의 영상에서 동일한 랜드마크를 인식하고, 인식 결과에 삼각 측량법을 적용함으로써 국부 랜드마크 지도 상에서 랜드마크의 3차원 위치를 추정할 수 있다.
도 8a를 참조하면, 촬영 장치(110)는 제 1 위치 L1에서 랜드마크를 촬영하여 제 1 영상 I1을 획득하고, 제 2 위치 L2에서 랜드마크를 촬영하여 제 2 영상 I2을 획득할 수 있다. 이 때, 국부 랜드마크 지도 생성부(130)는 제 1 위치로부터 제 1 영상 I1 내 랜드마크에 대응되는 픽셀 X1을 지나는 벡터 V1을 구하고, 제 2 위치 L2로부터 제 2 영상 I2 내 랜드마크에 대응되는 픽셀 X2를 지나는 벡터 V2를 구할 수 있다. 그 다음, 국부 랜드마크 지도 생성부(130)는 벡터 V1과 V2가 교차하는 점을 3차원 공간 상의 랜드마크 위치 P로 추정할 수 있다.
이러한 방법에 따라 랜드마크의 위치를 추정할 때, 결정되는 랜드마크 위치의 정확도는 랜드마크를 인식한 실제 영상의 수에 영향을 받을 수 있다. 상술한 바와 같이, 랜드마크의 3차원 공간 상의 위치를 추정하기 위해서는 최소 두 장의 실제 영상이 이용되는 바, 복수의 실제 영상으로부터 결정되는 복수의 3차원 위치의 평균을 3차원 공간 상의 랜드마크 위치로 추정함으로써 측정 오차를 줄일 수 있다.
또한, 촬영 장치(110)에 의해 복수의 실제 영상이 촬영되는 복수의 위치 간 거리가 멀수록 상기 방법에 따라 결정되는 랜드마크의 3차원 위치 정확도가 높아질 수 있다. 이는 촬영 위치 간 거리가 멀수록 실제 영상 내에서 인식된 랜드마크의 픽셀 오차가 감소하여, 이를 기초로 결정되는 랜드마크의 3차원 위치 오차 역시 줄어들기 때문이다. 예를 들어, 1m 만큼 이격된 두 위치에서 촬영된 두 장의 실제 영상 내 랜드마크의 위치 오차가 1픽셀이고, 2m 만큼 이격된 두 위치에서 촬영된 두 장의 실제 영상 내 랜드마크의 위치 오차가 1픽셀인 경우, 각각을 기초로 결정되는 랜드마크의 3차원 위치는 후자의 경우가 정확도가 높다.
이를 고려하여, 국부 랜드마크 지도 생성부(130)는 랜드마크 위치의 정확도를 높일 수 있고, 정확도에 따라 업데이트부(140)에 제공할 랜드마크 위치를 결정할 수도 있다. 정확도, 즉 오차 범위에 기초하여 랜드마크 위치를 업데이트부(140)에 제공하는 것은 후술한다.
도 8b를 참조하면, 실제 영상은 복수의 위치(710, 720, 730)에서 각각 촬영될 수 있는데, 첫 번째 위치(710)에서 촬영된 실제 영상에 의해 추정된 랜드마크의 위치의 오차 범위(711)는 비교적 크지만, 두 번째 위치(720)에서의 실제 영상까지 고려하여 추정된 랜드마크 위치의 오차 범위(721)는 보다 작고, 세 번째 위치(730)에서의 실제 영상까지 고려하여 추정된 랜드마크 위치의 오차 범위(731)는 더욱 작아지는 것을 확인할 수 있다.
나중에 업데이트부(140)가 고정밀 지도의 업데이트를 수행할 때, 업데이트부(140)는 이와 같은 오차 범위(예컨대, 확률변수의 형태로 표현된, 국부 랜드마크 지도 상에서의 랜드마크의 위치의 공분산)가 소정의 임계치 이하인 랜드마크를 유효한 랜드마크로 취급할 수 있으며, 이와 같은 유효한 랜드마크만을 이용하여 고정밀 지도를 업데이트할 수 있다.
또는, 국부 랜드마크 지도 생성부(130)는 랜드마크 위치를 추정하고, 결정된 랜드마크 위치에 대한 오차 범위, 즉 랜드마크 위치의 공분산이 소정의 임계치 이하인 것만을 업데이트부(140)에 제공할 수 있다. 도 2a의 실시예를 따를 경우, 국부 랜드마크 지도 생성부(130)는 고정밀 지도 업데이트 장치(100) 내부에서 업데이트부(140)에 공분산이 소정의 임계치 이하인 랜드마크 위치만을 제공할 수 있다. 이와는 달리, 도 2b의 실시예를 따를 경우, 국부 랜드마크 지도 생성부(130)는 고정밀 지도 업데이트 장치(100) 내부의 통신 수단을 통해 외부의 고정밀 지도 업데이트 서버(S)로 공분산이 소정의 임계치 이하인 랜드마크 위치만을 제공할 수도 있다.
국부 랜드마크 지도 상에서의 랜드마크의 위치는, 상기 공분산이 주어지면 칼만 필터(Kalman filter)를 이용하여 보다 정확하게 구할 수 있다. 이 과정에서 아래의 수학식 4가 이용될 수 있다.
Figure 112018082748417-pat00004
여기서, d는 촬영 장치(110)의 렌즈로부터 랜드마크의 위치로 향하는 3차원의 방향 벡터를 의미하고, λ는 d=(a, b, c)T를 단위 벡터로 만들어 주는 정규화 목적의 상수이며, R은 촬영 장치(110)의 오리엔테이션을 나타내는 3차원 회전 행렬이다. 또한, K는 핀홀(pin-hole) 모델을 가정한 촬영 장치(110)의 내부 파라미터 관련 캘리브레이션(calibration) 행렬을 의미한다. 또한, 3차원 좌표로 표현되는 P*는 다음과 같은 수학식 5 내지 7에 따라 구해질 수 있다.
Figure 112018082748417-pat00005
Figure 112018082748417-pat00006
Figure 112018082748417-pat00007
여기서, (xi, yi, zi)는 촬영 장치(110)의 복수의 위치 중에서 i번째의 위치를 의미한다.
도 9는 본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법에서, 국부 랜드마크 지도와의 비교를 통해 고정밀 지도를 업데이트하는 과정에 대해 설명하기 위한 도면이다. 국부 랜드마크 지도 생성부(130)에 의해 생성된 국부 랜드마크 지도에 기초하여 신규 랜드마크 혹은 삭제 랜드마크가 감지되면, 국부 랜드마크 지도 생성부(130)는 업데이트부(140)로 관련 정보를 전송할 수 있다. 상기 전송은, 전송 데이터의 양을 줄이기 위한 일정 시간 간격(예를 들어, 1초)의 샘플링과 함께 수행될 수도 있다. 업데이트부(140)는 상기 전송된 정보를 이용하여 고정밀 지도를 업데이트할 수 있다. 이러한 업데이트는 고정밀 지도에 신규 랜드마크를 추가하는 것과, 고정밀 지도로부터 삭제 랜드마크를 제거하는 것일 수 있다.
앞서 언급한 바와 같이, 업데이트부(140)가 복수의 각 차량마다 장착된 국부 랜드마크 지도 생성부(130)로부터 신규 랜드마크 및 삭제 랜드마크에 대한 정보를 제공받여기서, (xi, yi, zi)는 촬영 장치(110)의 복수의 위치 중에서 i번째의 위치를 의미한다. 상기 수학식을 기초로 추정되는 랜드마크의 3차원 위치 P의 공분산은 A-1이 되고, 이는 첫번째(i=1) 촬영 위치에서 촬영된 실제 영상 내 랜드마크의 3차원 위치의 오차를 나타낸다.
한편, 촬영 장치(110)의 좌표계 기준 랜드마크의 3차원 위치 P에 3차원 변환 행렬 T를 적용하면 고정밀 지도의 좌표계 기준 랜드마크의 3차원 좌표 PW를 획득할 수 있다. 이 때, 변환 행렬 T는 촬영 장치(110)의 위치 및 오리엔테이션에 따른 오차가 존재하므로, 국부 랜드마크 지도 생성부(130)는 PW에 오차 전파(error propagation) 개념이 적용된 PW의 공분산 CPw를 구할 수 있다. PW의 공분산 CPw는 수학식 8에 따라 구해질 수 있다.
Figure 112018082748417-pat00008
여기서, R은 촬영 장치(110)의 오리엔테이션을 나타내는 3차원 회전 행렬을 의미하고, CT는 변환 행렬 T에 대한 공분산을 의미하고, J는 함수 T×P에 대한 편미분(jacobian)을 의미한다.
또한, 국부 랜드마크 지도 생성부(130)는 랜드마크 별 속성을 확인할 수 있다. 구체적으로, 국부 랜드마크 지도 생성부(130)는 촬영 장치(110)에 의해 촬영된 실제 영상 내 특징점을 추출하여 랜드마크의 속성을 확인하고, 속성이 확인된 랜드마크의 3차원 위치와 속성을 매칭시킬 수 있다. 랜드마크의 속성 확인을 위해, 국부 랜드마크 지도 생성부(130)는 딥러닝(Deep Learning)과 같은 기계 학습 방법을 이용할 수 있다.
국부 랜드마크 지도 생성부(130)는 주행 환경 내에 존재하는 다양한 오브젝트를 랜드마크로 하여, 이들의 여러 가지 속성을 확인할 수 있다. 예를 들어, 신호등을 랜드마크로 하는 경우, 국부 랜드마크 지도 생성부(130)는 신호등의 방향(가로 또는 세로)과 마련된 등의 개수(2색등, 3색등, 4색등 등)를 속성으로 확인할 수 있다. 또는, 표지판의 경우, 국부 랜드마크 지도 생성부(130)는 표지판의 모양, 종류, 목적 등을 속성으로 확인할 수도 있다.
상술한 과정에 따라 랜드마크의 3차원 위치와 이의 공분산 및 속성이 확인되면, 국부 랜드마크 지도 생성부(130)는 랜드마크의 3차원 위치, 이의 공분산 및 속성을 업데이트부(140)에 제공할 수 있다. 이 때, 도 2a의 국부 랜드마크 지도 생성부(130)는 고정밀 지도 업데이트 장치(100) 내부에서 업데이트부(140)에 랜드마크 위치, 이의 공분산 및 속성을 제공하고, 도 2b의 국부 랜드마크 지도 생성부(130)는 고정밀 지도 업데이트 장치(100) 내부의 통신 수단을 통해 외부의 고정밀 지도 업데이트 서버(S)의 업데이트부(140)로 랜드마크의 3차원 위치, 이의 공분산 및 속성을 제공할 수 있음은 상술한 바와 같다.도 9는 본 발명의 일 실시예에 따른 고정밀 지도 업데이트 방법에서, 국부 랜드마크 지도와의 비교를 통해 고정밀 지도를 업데이트하는 과정에 대해 설명하기 위한 도면이다. 업데이트부(140)는 국부 랜드마크 지도 생성부(130)로부터 랜드마크 위치, 이의 공분산 및 속성에 대한 정보를 수신할 수 있다. 상기 수신은, 전송 데이터의 양을 줄이기 위한 일정 시간 간격(예를 들어, 1초)의 샘플링과 함께 수행될 수도 있다. 업데이트부(140)는 상기 수신된 정보를 이용하여 고정밀 지도를 업데이트할 수 있다. 이러한 업데이트는 고정밀 지도에 신규 랜드마크를 추가하는 것과, 고정밀 지도로부터 삭제 랜드마크를 제거하는 것일 수 있다.
신규 랜드마크를 추가하기 위해, 업데이트부(140)는 수신된 랜드마크의 위치, 이의 공분산 및 속성에 기초하여 고정밀 지도 상의 대응되는 랜드마크를 확인할 수 있다. 고정밀 지도 상의 대응되는 랜드마크가 확인되면, 업데이트부(140)는 수신된 랜드마크의 위치와 고정밀 지도 상의 대응되는 랜드마크 간의 거리를 기초로 동일 랜드마크인지 확인할 수 있다.
이 때, 일 실시예에 따른 업데이트부(140)는 수신된 랜드마크와 고정밀 지도 상의 대응되는 랜드마크 간의 마할라노비스 거리(Mahalanobis Distance) 이론을 적용하여 확률에 기반한 거리를 구할 수 있다. 2개의 3차원 공간 상의 점 P1과 P2가 각각 공분산 C1과 C2를 가질 때, 마할라노비스 거리 Dm은 수학식 9를 따른다.
Figure 112018082748417-pat00009
업데이트부(140)는 구해진 마할라노비스 거리가 소정의 임계치 이하인 경우에 두 랜드마크가 동일한 것으로 판단할 수 있다. 반면, 고정밀 지도 상에서 대응되는 랜드마크가 확인되지 않거나, 마할라노비스 거리가 소정의 임계치를 초과하는 경우, 업데이트부(140)는 수신된 랜드마크를 신규 랜드마크로 결정할 수 있다.
신규 랜드마크가 결정되면, 업데이트부(140)는 고정밀 지도에 신규 랜드마크를 반영함으로써 고정밀 지도의 업데이트를 수행할 수 있다. 일 실시예에 따른 업데이트부(140)는 결정된 신규 랜드마크 위치의 공분산이 소정의 임계치 이하일 때, 해당 신규 랜드마크의 가중 평균을 위치로 하여 고정밀 지도에 추가할 수 있다. 이를 통해, 고정밀 지도 업데이트의 신뢰도를 높일 수 있다.
한편, 도 2b의 실시예를 따를 때, 고정밀 지도 업데이터 서버(S) 내에 마련된 업데이트부(140)는 서로 다른 복수의 고정밀 지도 업데이트 장치(100)로부터 동일 신규 랜드마크와 관련된 정보를 복수 회 수신할 수 있다. 이 경우, 업데이트부(140)는 공분산을 반영하여 수신된 복수의 신규 랜드마크 위치의 가중 평균(Weight Average)를 구할 수 있다. 일 실시예에 따른 업데이트부(140)는 수신된 신규 랜드마크 위치의 가중 평균을 구하기 위해 칼만 필터(Kalman Filter)를 이용할 수 있다. 칼만 필터를 사용하여 수신된 순서에 따라 순차적으로 신규 랜드마크 위치의 가중 평균을 구함으로써, 연산 속도를 높이고, 저장 공간을 보다 효율적으로 활용할 수 있다.
가중 평균을 구한 후, 업데이트부(140)는 구해진 가중 평균을 이용하여 고정밀 지도에 신규 랜드마크를 추가할지 여부를 결정할 수 있다. 일 실시예에 따른 업데이트부(140)는 신규 랜드마크 중 소정의 임계치 이상의 2차원 영상에 의해 신규 랜드마크로 결정된 것만을 고정밀 지도에 추가할 수 있다. 즉, 업데이트부(140)는 국부 랜드마크 지도 생성부(130)로부터 수신되어, 가중 평균을 구하는데 이용된 랜드마크 정보의 수가 소정의 임계치 이상인 경우, 해당 가중 평균을 위치로 하는 신규 랜드마크를 고정밀 지도에 추가할 수 있다.
이와는 달리, 다른 실시예에 따른 업데이트부(140)는 칼만 필터에 의해 획득된 신규 랜드마크 위치의 공분산이 소정의 임계치 이하일 때, 앞서 구한 가중 평균을 위치로 하여 해당 신규 랜드마크를 고정밀 지도에 추가할 수 있다. 상술한 실시예 들을 통해, 업데이트부(140)는 신뢰할 수 있는 랜드마크만을 고정밀 지도에 신규로 추가함으로써, 고정밀 지도 업데이트의 신뢰성을 높일 수 있다.
또한, 삭제 랜드마크를 삭제하기 위해, 업데이트부(140)는 국부 랜드마크 지도 생성부(130)로부터 특정 랜드마크가 삭제되었다는 정보를 수신할 수 있다. 예를 들어, 도 2a의 국부 랜드마크 지도 생성부(130)는 촬영 장치(110)에 의해 촬영되는 실제 영상과 고정밀 지도를 비교하여 인식되지 않는 랜드마크를 삭제 랜드마크라 판단하여, 이를 고정밀 지도 업데이트 장치(100) 내부에서 업데이트부(140)로 전송할 수 있다. 이와는 달리, 도 2b의 국부 랜드마크 지도 생성부(130)는 판단된 삭제 랜드마크에 대한 정보를 고정밀 지도 업데이트 장치(100) 내 통신 수단을 이용하여 고정밀 지도 업데이트 서버(S)에 마련된 업데이트부(140)로 전송할 수도 있다.
삭제 랜드마크에 대한 정보가 수신되면, 업데이트부(140)는 이를 기초로 고정밀 지도를 업데이트 할 수 있다. 구체적으로, 업데이트부(140)는 수신된 정보에 따라 고정밀 지도 상에서 삭제 랜드마크를 삭제할 수 있다.
한편, 도 2b의 실시예를 따를 때, 고정밀 지도 업데이터 서버(S) 내에 마련된 업데이트부(140)는 서로 다른 복수의 고정밀 지도 업데이트 장치(100)로부터 삭제 랜드마크에 대한 정보를 복수 회 수신할 수 있다. 이 경우, 일 실시예에 따른 업데이트부(140)는 삭제 랜드마크 중 소정의 임계치 이상의 2차원 영상에 의해 삭제 랜드마크로 결정된 것만을 고정밀 지도에서 삭제할 수 있다. 즉, 업데이트부(140)는 수신된 동일 삭제 랜드마크 정보의 수가 소정의 임계치 이상이면, 고정밀 지도 상에서 삭제 랜드마크를 삭제할 수도 있다.
한편, 고정밀 지도의 업데이트는 전술한 바와 같이 업데이트부(140)에 의해 자동으로 수행될 수도 있겠지만, 업데이트부(140)가 업데이트가 필요한 부분에 관한 정보(즉, 신규 랜드마크와 삭제 랜드마크에 대한 정보)를 관리자에게 제공하면 관리자가 이를 확인하여 최종적으로 업데이트를 승인하는 방식 역시 가능하다.
업데이트가 완료되면, 고정밀 지도 업데이트 장치는 업데이트된 고정밀 지도를 기초로 추후 업데이트를 수행할 수 있다. 이를 위해, 도 2b의 실시예를 따른 업데이트부(140)는 고정밀 지도 업데이트 서버(S)의 통신 수단을 통해 업데이트 완료된 고정밀 지도를 고정밀 지도 업데이트 장치(100)에 제공할 수 있다.
지금까지 설명한 본 발명의 일 실시예에 의하면, 고정밀 지도 업데이트의 효율이 비약적으로 증대될 수 있으며. 업데이트의 경제성 및 신뢰성 측면에서도 큰 효과를 달성할 수 있게 된다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 일 실시예에 따르면, 자율 주행 등에 이용되는 고정밀 지도를 업데이트함에 있어서, 고정밀 지도의 업데이트를 위해 고가의 장비를 이용하여 다시 고정밀 지도를 생성하는 기존 방식과 같은 과정을 거칠 필요가 없어져, 고정밀 지도 업데이트의 효율이 비약적으로 증대될 수 있다. 또한, 도로를 주행하는 수많은 일반적인 차량들에 의해 수집된 방대한 양의 데이터를 확보할 수 있으므로, 경제성뿐만 아니라 업데이트의 신뢰성 측면에서도 큰 효과를 달성할 수 있게 된다.
100: 고정밀 지도 업데이트 장치
110: 촬영 장치
120: 좌표계 변환부
130: 국부 랜드마크 지도 생성부
140: 업데이트부

Claims (16)

  1. 3차원의 고정밀 지도에 의해 표현된 영역 중 적어도 일부에 해당하는 대상 영역을 촬영한 2차원 영상을 획득하는 단계;
    상기 고정밀 지도의 제1 좌표계와 상기 촬영 장치를 기준으로 한 제2 좌표계 간의 변환을 위한 변환 행렬을 산출하는 단계;
    상기 변환 행렬을 이용하여, 상기 2차원 영상을 촬영한 촬영 장치의 위치 및 오리엔테이션(orientation)을 연산하는 단계;
    상기 촬영 장치의 위치 및 오리엔테이션에 기초하여, 상기 대상 영역에 대한 3차원의 국부 랜드마크 지도를 생성하는 단계; 및
    상기 고정밀 지도 상의 상기 대상 영역과 상기 국부 랜드마크 지도의 비교에 기초하여, 상기 고정밀 지도를 업데이트하는 단계를 포함하고,
    상기 변환 행렬을 산출하는 단계는,
    상기 고정밀 지도에 포함된 제1 랜드마크의 위치를 나타내는 3차원 좌표 값을 2차원 좌표 값으로 변환하는 단계; 및
    상기 2차원 좌표 값을 상기 2차원 영상에 포함된 제2 랜드마크의 위치를 나타내는 좌표 값과 대응시키는 단계를 포함하는
    고정밀 지도 업데이트 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 연산하는 단계는, 3차원 좌표계 간의 변환이 가능한 후보 변환 행렬 중에서, 상기 고정밀 지도 내의 데이터에 대해 상기 후보 변환 행렬을 적용한 결과를 2차원 평면에 투사(projection)하여 얻어진 영상과, 상기 2차원 영상 간의 차이가 최소가 되는 것을 상기 변환 행렬로 결정하는 단계를 포함하는
    고정밀 지도 업데이트 방법.
  5. 제 1 항에 있어서,
    상기 2차원 영상은 제3 랜드마크를 더 포함하고,
    상기 연산하는 단계는,
    상기 2차원 영상 내의 상기 제2 랜드마크 및 상기 제3 랜드마크 각각이, 상기 고정밀 지도 내의 상기 제1 랜드마크에 일대일로 대응되는 복수의 경우를 도출하는 단계; 및
    상기 복수의 경우 중, 상기 고정밀 지도와 상기 2차원 영상 간의 정합의 오차가 최소가 되는 경우에서 사용된 변환 행렬을 상기 변환 행렬로 결정하는 단계를 포함하는
    고정밀 지도 업데이트 방법.
  6. 제 1 항에 있어서,
    상기 연산하는 단계는, 상기 촬영 장치가 장착된 차량의 주행 정보에 기초하여 상기 변환 행렬을 보정하는 단계를 포함하는
    고정밀 지도 업데이트 방법.
  7. 제 1 항에 있어서,
    상기 2차원 영상은, 촬영 당시 상기 촬영 장치의 위치가 서로 상이하도록 세 개 이상 존재하고, 상기 세 개 이상의 2차원 영상은 상기 촬영 장치가 장착된 차량의 주행 중에 시간 순서대로 순차적으로 획득되며,
    상기 연산하는 단계는,
    상기 세 개 이상의 2차원 영상 각각에 대해 상기 변환 행렬을 각각 산출하는 단계; 및
    상기 세 개 이상의 2차원 영상 중에서, 시간적으로 가장 앞서는 2차원 영상의 변환 행렬과 시간적으로 가장 뒤에 있는 2차원 영상의 변환 행렬을 이용하여, 나머지 2차원 영상의 변환 행렬을 보정하는 단계를 포함하는
    고정밀 지도 업데이트 방법.
  8. 제 1 항에 있어서,
    상기 2차원 영상은, 촬영 당시 상기 촬영 장치의 위치 및 오리엔테이션 중 적어도 하나가 서로 상이하도록 복수 개 존재하며,
    상기 생성하는 단계는,
    상기 복수 개의 2차원 영상 각각에 대응되는 촬영 장치의 위치 및 오리엔테이션과, 상기 복수 개의 2차원 영상에서의 상기 랜드마크의 위치에 기초하여, 상기 랜드마크의 상기 고정밀 지도 내에서의 위치를 추정하는 단계를 포함하는
    고정밀 지도 업데이트 방법.
  9. 제 8 항에 있어서,
    상기 생성하는 단계는,
    서로 다른 촬영 위치에서 촬영된 각각의 2차원 영상 내에서 동일한 랜드마크를 인식하는 단계; 및
    상기 서로 다른 촬영 위치로부터 상기 각각의 2차원 영상 내 상기 인식된 랜드마크에 대응되는 픽셀을 지나는 벡터의 교점을 상기 인식된 랜드마크의 상기 고정밀 지도 내에서의 위치로 추정하는 단계를 포함하는
    고정밀 지도 업데이트 방법.
  10. 제 8 항에 있어서,
    상기 추정하는 단계는, 상기 랜드마크의 위치를 확률변수의 형태로 나타내는 단계를 포함하며,
    상기 업데이트하는 단계는,
    상기 위치가 추정된 랜드마크와 상기 고정밀 지도 상의 랜드마크 간의 상기 확률변수에 따른 거리에 기초하여, 상기 위치가 추정된 랜드마크가 상기 고정밀 지도 상에 존재하지 않는 신규 랜드마크인지 여부를 결정하는 단계; 및
    상기 결정된 신규 랜드마크 중, 상기 확률변수 형태의 위치의 공분산(covariance)이 소정의 임계치 이하인 신규 랜드마크만을 이용하여 상기 고정밀 지도를 업데이트하는 것인
    고정밀 지도 업데이트 방법.
  11. 제 1 항에 있어서,
    상기 업데이트하는 단계는, 상기 2차원 영상에는 포함되어 있지만 상기 고정밀 지도 내의 대응되는 위치에 대응되는 랜드마크가 존재하지 않는 랜드마크인 신규 랜드마크와, 상기 고정밀 지도 중 상기 대상 영역에 대응되는 부분 내에 존재하지만 상기 2차원 영상 내의 대응되는 위치에 대응되는 랜드마크가 존재하지 않는 랜드마크인 삭제 랜드마크를 이용하여 상기 고정밀 지도를 업데이트하는 것인
    고정밀 지도 업데이트 방법.
  12. 제 11 항에 있어서,
    상기 2차원 영상은, 서로 다른 복수의 촬영 장치 각각에 의해 복수 개 획득되며,
    상기 업데이트하는 단계는, 상기 신규 랜드마크 중 소정의 제 1 임계치 이상의 상기 2차원 영상에 의해 상기 신규 랜드마크로 판단된 것만을 상기 고정밀 지도에 추가하고, 상기 삭제 랜드마크 중 소정의 제 2 임계 개수 이상의 상기 2차원 영상에 의해 상기 삭제 랜드마크로 판단된 것만을 상기 고정밀 지도로부터 제거하는 단계를 포함하는
    고정밀 지도 업데이트 방법.
  13. 제 12 항에 있어서,
    상기 업데이트하는 단계는, 동일한 상기 신규 랜드마크에 대하여 서로 다른 상기 2차원 영상을 기초로 결정된 위치의 가중 평균(Weight Average)을 상기 신규 랜드마크의 위치로 하여 상기 고정밀 지도를 업데이트 하는
    고정밀 지도 업데이트 방법.
  14. 3차원의 고정밀 지도에 의해 표현된 영역 중 적어도 일부에 해당하는 대상 영역을 촬영한 2차원 영상을 획득하는 촬영 장치;
    상기 고정밀 지도의 제1 좌표계와 상기 촬영 장치를 기준으로 한 제2 좌표계 간의 변환을 위한 변환 행렬을 산출하고, 상기 변환 행렬을 이용하여, 상기 2차원 영상을 촬영한 촬영 장치의 위치 및 오리엔테이션(orientation)을 연산하는 좌표계 변환부;
    상기 촬영 장치의 위치 및 오리엔테이션에 기초하여, 상기 대상 영역에 대한 3차원의 국부 랜드마크 지도를 생성하는 국부 랜드마크 지도 생성부; 및
    상기 고정밀 지도 상의 상기 대상 영역과 상기 국부 랜드마크 지도의 비교에 기초하여, 상기 고정밀 지도를 업데이트하는 업데이트부를 포함하고,
    상기 변환 행렬은,
    상기 고정밀 지도에 포함된 제1 랜드마크의 위치를 나타내는 3차원 좌표 값을 2차원 좌표 값으로 변환하고, 상기 2차원 좌표 값을 상기 2차원 영상에 포함된 제2 랜드마크의 위치를 나타내는 좌표 값과 대응시킴으로써 산출되는
    고정밀 지도 업데이트 장치.
  15. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    제 1 항 및 제 4 항 내지 제 13 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는,
    컴퓨터 프로그램.
  16. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은,
    제 1 항 및 제 4 항 내지 제 13 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.
KR1020180097468A 2018-01-15 2018-08-21 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법 KR102221695B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2018/014005 WO2019139243A1 (ko) 2018-01-15 2018-11-15 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
CN201880068940.0A CN111263960B (zh) 2018-01-15 2018-11-15 用于更新高清晰度地图的设备和方法
US16/756,829 US11530924B2 (en) 2018-01-15 2018-11-15 Apparatus and method for updating high definition map for autonomous driving

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180005181 2018-01-15
KR1020180005181 2018-01-15

Publications (2)

Publication Number Publication Date
KR20190087266A KR20190087266A (ko) 2019-07-24
KR102221695B1 true KR102221695B1 (ko) 2021-03-02

Family

ID=67481092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180097468A KR102221695B1 (ko) 2018-01-15 2018-08-21 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법

Country Status (2)

Country Link
US (1) US11530924B2 (ko)
KR (1) KR102221695B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023215418A1 (en) * 2022-05-04 2023-11-09 Qualcomm Incorporated Estimating and transmitting objects captured by a camera

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018118215B4 (de) * 2018-07-27 2020-04-16 Man Truck & Bus Se Verfahren zur Aktualisierung einer Umgebungskarte, Vorrichtung für die fahrzeugseitige Durchführung von Verfahrensschritten des Verfahrens, Fahrzeug, Vorrichtung für die zentralrechnerseitige Durchführung von Verfahrensschritten des Verfahrens sowie computerlesbares Speichermedium
KR102233260B1 (ko) * 2018-10-02 2021-03-29 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
JP7035945B2 (ja) 2018-10-04 2022-03-15 トヨタ自動車株式会社 地図情報システム
KR20200046437A (ko) * 2018-10-24 2020-05-07 삼성전자주식회사 영상 및 맵 데이터 기반 측위 방법 및 장치
US11096026B2 (en) * 2019-03-13 2021-08-17 Here Global B.V. Road network change detection and local propagation of detected change
US11280622B2 (en) * 2019-03-13 2022-03-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11402220B2 (en) * 2019-03-13 2022-08-02 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11255680B2 (en) * 2019-03-13 2022-02-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11287267B2 (en) 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11287266B2 (en) * 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
KR20210022935A (ko) * 2019-08-21 2021-03-04 엘지전자 주식회사 Slam을 구현하는 방법 및 전자 장치
DE102019128253A1 (de) * 2019-10-18 2021-04-22 StreetScooter GmbH Verfahren zum Navigieren eines Flurförderzeugs
KR102314038B1 (ko) * 2019-12-18 2021-10-19 한국항공우주연구원 인공 신경망 기반으로 광학적 항법을 위하여 특이 영역을 결정하는 방법, 온보드 맵 생성 장치, 및 착륙선의 방향을 결정하는 방법
CN111651539B (zh) * 2020-05-22 2023-03-03 西北农林科技大学 一种利用近景遥感技术实现平面地图元素快速更新的方法
KR102414307B1 (ko) * 2020-06-29 2022-06-29 (주)뉴빌리티 3d 맵의 변경 구역 업데이트 시스템 및 그 방법
US11885639B2 (en) * 2020-08-10 2024-01-30 Waymo Llc Generating scouting objectives
CN112132896A (zh) * 2020-09-16 2020-12-25 北京埃福瑞科技有限公司 一种轨旁设备状态检测方法及系统
KR102428992B1 (ko) 2020-10-05 2022-08-03 세종대학교산학협력단 이동체를 위한 상보적 관계 기반 동시적 정밀 측위 및 랜드마크 검출 장치 및 방법
CN112220405A (zh) * 2020-10-29 2021-01-15 久瓴(江苏)数字智能科技有限公司 自移动工具清扫路线更新方法、装置、计算机设备和介质
KR102454552B1 (ko) * 2020-11-20 2022-10-14 주식회사 카카오모빌리티 Mms 원격 제어 시스템 및 방법
EP4258223A1 (en) * 2020-12-01 2023-10-11 LG Electronics Inc. Route guidance device and route guidance system
KR102484511B1 (ko) * 2020-12-09 2023-01-05 주식회사 맵퍼스 2d 지도 정보를 3d 지도에 매칭하는 방법 및 시스템
CN112698362A (zh) * 2020-12-15 2021-04-23 潍柴动力股份有限公司 一种三维地图地形更新方法和装置
CN112732313B (zh) * 2020-12-21 2021-12-21 南方电网电力科技股份有限公司 一种变电站巡检机器人地图增量更新方法及系统
KR102339625B1 (ko) * 2021-01-29 2021-12-16 주식회사 맥스트 공간 지도 갱신 장치 및 방법
TWI825468B (zh) * 2021-08-25 2023-12-11 財團法人資訊工業策進會 導航裝置及方法
US11922647B2 (en) * 2021-09-08 2024-03-05 Canon Medical Systems Corporation Image rendering method and apparatus
US20230221136A1 (en) * 2022-01-12 2023-07-13 Woven Alpha, Inc. Roadmap generation system and method of using
KR102495954B1 (ko) * 2022-07-08 2023-02-06 주식회사 네오스펙트라 2d 이미지를 이용한 3d 모델 생성 방법, 3d 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776215B1 (ko) * 2005-01-25 2007-11-16 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
JP5471626B2 (ja) 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
KR101459636B1 (ko) 2013-04-08 2014-11-07 현대엠엔소프트 주식회사 네비게이션 장치의 지도 표시방법 및 네비게이션 장치
KR101617078B1 (ko) * 2014-02-24 2016-04-29 주식회사 한화 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
KR102113816B1 (ko) * 2016-01-05 2020-06-03 한국전자통신연구원 차량 자율주행 서비스 시스템 및 이를 위한 클라우드 서버 및 그 동작 방법
KR101806029B1 (ko) 2016-03-28 2017-12-07 한양대학교 산학협력단 Gps 및 uwb 기술을 접목하여 차량의 위치를 감지하는 측위 시스템 및 방법
KR101954930B1 (ko) * 2016-04-15 2019-03-07 서울대학교산학협력단 와이파이 신호세기를 이용한 실내 지도 학습 방법 및 시스템
CN106097243A (zh) 2016-05-31 2016-11-09 上海美迪索科电子科技有限公司 一种利用摄像头拍摄的3d地图快速成型方法
US10429194B2 (en) * 2016-12-30 2019-10-01 DeepMap Inc. High definition map updates with vehicle data load balancing
CN107462226A (zh) 2017-02-28 2017-12-12 苏州迪美格智能科技有限公司 一种三维地图测绘系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023215418A1 (en) * 2022-05-04 2023-11-09 Qualcomm Incorporated Estimating and transmitting objects captured by a camera

Also Published As

Publication number Publication date
US20200249032A1 (en) 2020-08-06
US11530924B2 (en) 2022-12-20
KR20190087266A (ko) 2019-07-24

Similar Documents

Publication Publication Date Title
KR102221695B1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
US11593950B2 (en) System and method for movement detection
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
US20230054914A1 (en) Vehicle localization
US10976741B2 (en) Safety and comfort constraints for navigation
US20230274540A1 (en) Autonomous Vehicle Lane Boundary Detection Systems and Methods
US10991156B2 (en) Multi-modal data fusion for enhanced 3D perception for platforms
US11143514B2 (en) System and method for correcting high-definition map images
EP3710980A1 (en) Autonomous vehicle lane boundary detection systems and methods
WO2021046716A1 (zh) 目标对象的检测方法、系统、设备及存储介质
JP7421889B2 (ja) イメージ認識モデルのトレーニング装置及び方法並びにイメージ認識方法
CN112805766B (zh) 用于更新详细地图的装置和方法
US10796571B2 (en) Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
WO2020178639A1 (en) Aligning road information for navigation
KR20200046437A (ko) 영상 및 맵 데이터 기반 측위 방법 및 장치
KR102373492B1 (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
US11042759B2 (en) Roadside object recognition apparatus
CN111508222A (zh) 提供尖端行人辅助系统的方法及装置
US11652972B2 (en) Systems and methods for self-supervised depth estimation according to an arbitrary camera
CN115705780A (zh) 关联被感知和映射的车道边缘以进行定位
US20230245469A1 (en) Method and processor circuit for localizing a motor vehicle in an environment during a driving operation and accordingly equipped motor vehicle
CN113454692B (zh) 驾驶信息提供方法以及车辆地图提供服务器和方法
GB2615073A (en) A method for correcting a pose of a motor vehicle, a computer program product, as well as an assistance system
KR20240032142A (ko) 도로의 도로 라인 표시에 대해 객체의 위치를 결정하는 방법
JP2021163151A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant