KR20200071293A - 3차원 컬러 맵 기반의 측위 방법 및 장치 - Google Patents

3차원 컬러 맵 기반의 측위 방법 및 장치 Download PDF

Info

Publication number
KR20200071293A
KR20200071293A KR1020180158855A KR20180158855A KR20200071293A KR 20200071293 A KR20200071293 A KR 20200071293A KR 1020180158855 A KR1020180158855 A KR 1020180158855A KR 20180158855 A KR20180158855 A KR 20180158855A KR 20200071293 A KR20200071293 A KR 20200071293A
Authority
KR
South Korea
Prior art keywords
image
viewpoint
color
information
map
Prior art date
Application number
KR1020180158855A
Other languages
English (en)
Inventor
하인우
강나협
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180158855A priority Critical patent/KR20200071293A/ko
Priority to US16/508,513 priority patent/US10891795B2/en
Publication of KR20200071293A publication Critical patent/KR20200071293A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

일 실시예에 따른 측위 방법 및 장치는 제1 시점의 영상에 대응하는 3차원 컬러 맵 및 제2 시점의 위치 정보를 기초로, 제2 시점에 대응하는 합성 영상을 생성하고, 제2 시점에 대응하는 합성 영상 및 제2 시점의 영상에 기초하여 제2 시점의 최종 위치 정보를 결정한다.

Description

3차원 컬러 맵 기반의 측위 방법 및 장치{LOCALIZATION METHOD AND APPARATUS BASED ON 3D COLORED MAP}
아래의 실시예들은 3차원 컬러 맵 기반의 측위 방법 및 장치에 관한 것이다.
차량 및 기타 운송 수단의 주행 보조나 게임, 및 오락 등 다양한 분야에서 다양한 형태의 증강 현실(Augmentation Reality) 서비스가 제공되고 있다. 또한, 증강 현실을 보다 정확하고 실감나게 제공하기 위해 다양한 측위(localization) 방법들이 이용될 수 있다. 예를 들어, 2차원 영상에서 특징점(feature point)들을 추출한 후, 특징점들 간의 매칭(matching)을 통해 대응 관계를 찾음으로써 상대적인 포즈(pose)를 추정하는 측위 방식이 이용될 수 있다. 이와 같이 2차원 영상 간의 비교를 통해 3차원 공간 상에서의 상대적인 포즈를 추정하는 기술은 정확도에 한계가 있을 뿐만 아니라, 실제 맵(map)에서의 절대적인 위치를 찾기 어렵다. 또한, 자연스러운 증강 현실(Augmented Reality)의 렌더링을 위해서는 배경 영상에 대한 3차원 지오메트리(geometry) 정보와 이에 대한 텍스쳐(texture) 정보가 요구되지만, 지도 또는 고정밀 지도(High Density Map)는 텍스쳐 정보 및/또는 실제 컬러 정보를 포함하지 않는다.
일 측에 따르면, 측위 방법은 제1 시점의 영상에 대응하는 3차원 컬러 맵 및 제2 시점의 위치 정보를 기초로, 제2 시점에 대응하는 합성 영상(synthetic image) 을 생성하는 단계; 및 상기 제2 시점에 대응하는 합성 영상 및 상기 제2 시점의 영상에 기초하여 상기 제2 시점의 최종 위치 정보를 결정하는 단계를 포함한다.
상기 제2 시점에 대응하는 합성 영상을 생성하는 단계는 상기 제1 시점의 영상에 대응하는 3차원 컬러 맵을, 상기 제 2 시점의 위치 정보에 따라 3차원 시맨틱 맵에 투영하여 상기 합성 영상을 생성하는 단계를 포함할 수 있다.
상기 제2 시점의 최종 위치 정보를 결정하는 단계는 상기 제2 시점에 대응하는 합성 영상 및 상기 제2 시점의 영상을 이용하여 상대적인 포즈 정보를 산출하는 단계; 및 상기 상대적인 포즈 정보를 기초로 상기 제2 시점의 최종 위치 정보를 결정하는 단계를 포함할 수 있다.
상기 상대적인 포즈 정보를 산출하는 단계는 상기 제2 시점에 대응하는 합성 영상과 상기 제2 시점의 영상을 매칭(matching) 시키는 단계; 상기 매칭에 의해 상기 제2 시점에 대응하는 합성 영상에서의 제1 포즈 정보와 상기 제2 시점의 영상에서의 제2 포즈 정보를 비교하는 단계; 및 상기 비교 결과에 기초하여 상기 상대적인 포즈 정보를 산출하는 단계를 포함할 수 있다.
상기 제1 포즈 정보와 상기 제2 포즈 정보를 비교하는 단계는 상기 제2 시점에 대응하는 합성 영상의 색상과 상기 제2 시점의 영상의 색상을 비교하는 단계; 상기 제2 시점에 대응하는 합성 영상의 시맨틱 정보와 상기 제2 시점의 영상의 시맨틱 정보를 비교하는 단계; 및 상기 제2 시점에 대응하는 합성 영상의 깊이 정보와 상기 제2 시점의 영상의 깊이 정보를 비교하는 단계 중 적어도 하나를 포함할 수 있다.
상기 제2 시점의 최종 위치 정보를 결정하는 단계는 상기 상대적인 포즈 정보에 의해 상기 제2 시점의 위치 정보를 보정함으로써 상기 제2 시점의 최종 위치 정보를 결정하는 단계를 포함할 수 있다.
상기 측위 방법은 상기 제2 시점의 영상, 상기 제2 시점의 최종 위치 정보 및 3차원 시맨틱 맵에서 획득한 3차원 지오매트리(geometry)에 기초하여, 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는 단계를 더 포함할 수 있다.
상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는 단계는 상기 제2 시점의 최종 위치 정보를 기초로, 상기 제2 시점의 영상과 상기 제2 시점에 대응하는 합성 영상 간의 색상의 차이가 미리 설정된 기준을 벗어나지 않도록 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는 단계를 포함할 수 있다.
상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는 단계는 상기 3차원 시맨틱 맵을 상기 제2 시점의 최종 위치 정보에 대응하는 투영면에 투영함으로써, 투영 영상(projected image)을 생성하는 단계; 상기 제2 시점의 영상에 기초하여, 상기 투영 영상에 컬러를 부여하는 단계; 및 상기 컬러가 부여된 투영 영상을 상기 3차원 시맨틱 맵에 역투영(inverse projection) 함으로써, 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는 단계를 포함할 수 있다.
상기 투영 영상을 생성하는 단계는 상기 제2 시점의 영상을 촬영한 카메라의 파라미터를 이용하여, 상기 3차원 시맨틱 맵의 일부 영역을 추출하는 단계; 및 상기 일부 영역을 상기 투영면에 투영하는 단계를 포함할 수 있다.
상기 투영 영상에 컬러를 부여하는 단계는 상기 투영 영상과 상기 제2 시점의 영상 간의 맵핑 관계에 기초하여, 상기 투영 영상에 포함된 픽셀들의 컬러를 결정하는 단계를 포함할 수 있다.
상기 픽셀들은 도로의 표면에 해당하는 표면점들(surface points)에 대응할 수 있다.
상기 측위 방법은 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 이용하여, 상기 제2 시점의 가상 객체를 렌더링하는 단계를 더 포함할 수 있다.
상기 렌더링하는 단계는 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 이용하여 투명 디스플레이에 표시되는 배경 컬러를 획득하는 단계; 및 상기 가상 객체의 컬러와 상기 배경 컬러에 기초하여, 상기 가상 객체를 렌더링하는 단계를 포함할 수 있다.
상기 렌더링하는 단계는 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 이용하여, 상기 가상 객체의 그림자 성분 및 상기 가상 객체에 의한 상호 반사 성분을 렌더링하는 단계를 포함할 수 있다.
일 측에 따르면, 측위 장치는 제1 시점의 영상 및 제2 시점의 위치 정보를 획득하는 센서들; 및 상기 제1 시점의 영상에 대응하는 3차원 컬러 맵 및 상기 제2 시점의 위치 정보를 기초로, 제2 시점에 대응하는 합성 영상을 생성하고, 상기 제2 시점에 대응하는 합성 영상 및 상기 제2 시점의 영상에 기초하여 상기 제2 시점의 최종 위치 정보를 결정하는 프로세서를 포함한다.
상기 프로세서는 상기 제1 시점의 영상에 대응하는 3차원 컬러 맵을, 상기 제 2 시점의 위치 정보에 따라 3차원 시맨틱 맵에 투영하여 상기 합성 영상을 생성할 수 있다.
상기 프로세서는 상기 제2 시점에 대응하는 합성 영상 및 상기 제2 시점의 영상을 이용하여 상대적인 포즈 정보를 산출하고, 상기 상대적인 포즈 정보를 기초로 상기 제2 시점의 영상에 대응하는 제2 시점의 최종 위치 정보를 결정할 수 있다.
상기 프로세서는 상기 제2 시점의 영상, 상기 제2 시점의 최종 위치 정보 및 3차원 시맨틱 맵에 기초하여, 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성할 수 있다.
상기 프로세서는 상기 3차원 시맨틱 맵을 상기 제2 시점의 최종 위치 정보에 대응하는 투영면에 투영함으로써 투영 영상을 생성하고, 상기 제2 시점의 영상에 기초하여 상기 투영 영상에 컬러를 부여하며, 상기 컬러가 부여된 투영 영상을 상기 3차원 시맨틱 맵에 역투영 함으로써 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성할 수 있다.
도 1은 일 실시예에 따른 측위 방법을 설명하기 위한 도면.
도 2는 일 실시예에 따른 측위 방법을 나타낸 흐름도.
도 3 내지 도 5는 실시예들에 따라 최종 위치 정보를 결정하는 방법을 설명하기 위한 도면.
도 6은 일 실시예에 따른 신경망(pose CNN)의 동작을 설명하기 위한 도면.
도 7은 일 실시예에 따라 각 시점에 대응하는 3차원 컬러 맵이 생성되는 과정을 설명하기 위한 도면.
도 8은 일 실시예에 따른 컬러 모델링(Color Modeling) 과정을 설명하기 위한 도면.
도 9는 일 실시예에 따라 3차원 시맨틱 맵으로부터 3차원 컬러 맵의 컬러를 결정하는 과정을 설명하기 위한 도면.
도 10은 일 실시예에 따른 측위 장치의 블록도.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 측위 방법을 설명하기 위한 도면이다. 도 1을 참조하면, 일 실시예에 따른 측위 장치의 측위 과정(110) 및 컬러 모델링 과정(130)이 도시된다. 또한, 일 실시예에 따른 측위 장치는 컬러 모델링 과정(130)의 결과에 해당하는 실제 영상에 대응하는 3차원 컬러 맵을 이용하여 렌더링 과정(150) 을 수행할 수 있다. 일 실시예에 따른 측위 장치는 이하에서 설명하는 측위 과정(110), 컬러 모델링 과정(130) 및 렌더링 과정(150)을 수행하는 장치일 수 있다. 측위 장치는 예를 들어, 차량일 수도 있고, 내비게이션, 스마트 폰 등과 같은 사용자 장치일 수도 있다.
측위 과정(110)은 카메라(101)를 통해 촬영한 실제 영상(Real Image)에 대응하는 정확한 위치 정보(최종 위치 정보)를 결정하는 과정에 해당할 수 있다. 측위 과정(110)은 예를 들어, 3차원 시맨틱 맵(3D semantic map)(105)이 주어진 환경에서 카메라(101)를 통해 촬영한 실제 영상(Real Image), 측위 장치에서 생성된 합성 영상(Synthetic image), 및 GPS/IMU 센서(103)에 의해 감지된 위치 정보를 이용하여 수행될 수 있다. 일 실시예에서 GPS/IMU 센서(103)에 의해 감지된 위치 정보는 예를 들어, 10M의 오차를 가지는 GPS 센싱 신호에 기반한 것으로서 '개략적인 위치 정보(Rough R, T)'라고 부를 수 있다.
측위 과정(110)은 예를 들어, Pose CNN(Convolution Neural Network)에서 합성 영상과 실제 영상 간의 컬러 비교를 통해 수행될 수 있다.
일 실시예에서는 GPS/IMU 센서(103)를 이용한 측위를 통해 낮은 정밀도의 위치 정보(Rough R, T)를 획득하고, 카메라(101)를 통해 촬영한 실제 영상을 기반으로 낮은 정밀도의 위치 정보의 오차를 보정함으로써 최종 위치 정보(Refined R, T)를 결정할 수 있다.
여기서, '실제 영상'은 예를 들어, 차량에 장착된 촬영 장치를 이용하여 획득된 주행 영상일 수 있다. 촬영 장치는 카메라(101)에 해당될 수 있다. 주행 영상은 각 시점에 대응하는 하나 또는 복수 개의 주행 영상들을 포함할 수 있다. 주행 영상은 복수 개의 프레임들을 포함할 수 있다. 촬영 장치는 예를 들어, 차량의 윈드 실드(windshield), 대시 보드(dashboard), 백미러(rear-view mirror) 등과 같이 미리 정해진 위치에 고정되어 차량 전방의 주행 영상을 촬영할 수 있다. 촬영 장치는 예를 들어, 비전 센서, 이미지 센서, 또는 이와 유사한 기능을 수행하는 장치를 포함할 수 있다. 촬영 장치는 단일 영상을 촬영하거나, 경우에 따라 프레임 별 영상을 촬영할 수도 있다. 또는 실제 영상은 측위 장치 이외의 다른 장치에서 캡쳐된 영상일 수 있다. 실제 영상은 차후 증강 현실 서비스를 위해 가상 객체와 함께 표시되는 배경 영상 또는 기타의 영상으로 이용될 수 있다.
'합성 영상'은 GPS/IMU 센서(103)에 의해 감지된 위치 정보, 3차원 시맨틱 맵(105), 및 3차원 컬러 맵(3D Color map)(107)에 기초하여 생성될 수 있다. 3차원 시맨틱 맵(105)은 예를 들어, 도로, 차로 경계 등과 같은 도로의 각 클래스(class)에 대한 3차원 정보를 포함하는 맵으로서 3차원의 포인트 클라우드(point cloud)를 포함할 수 있다. 3차원 컬러 맵(107)은 3차원의 지오매트리(geometry)에 맵핑(또느 정렬) 되는 컬러 맵으로 이해될 수 있다. 3차원 컬러 맵(107)은 컬러 정보뿐만 아니라 시맨틱 정보 및/또는 깊이 정보 또한 포함할 수 있다. 3차원 컬러 맵(107)은 카메라(101)에 의해 촬영된 실제 영상의 이전 시점 영상('제1 시점의 영상')에 대응할 수 있다. 이때, GPS/IMU 센서(103)에 의해 감지된 위치 정보는 카메라(101)에서 실제 영상이 촬영된 시점의 위치 정보('제2 시점의 위치 정보')일 수 있다. 위치 정보는 회전(Rotation; R) 정보 및 이동 (Transition; T) 정보를 포함할 수 있다. 이동(T) 정보는 3차원 좌표(x, y, z)에 해당할 수 있다. 또한, 회전(R) 정보는 피치(Pitch), 요(Yaw), 및 롤(Roll)에 해당할 수 있다. 위치 정보는 GPS/IMU 센서(103) 이외에도, 예를 들어, 자이로 센서, 가속도 센서, 라이다, 레이더 등과 같은 다양한 센서들을 통해 감지될 수 있다. 이하에서, '제2 시점'은 현재 시점으로 이해되고, '제1 시점'은 제2 시점의 이전 시점으로 이해될 수 있다.
예를 들어, 그림자, 얼룩, 도로 마크 등과 같이 컬러 영상에 포함된 도로의 모든 텍스쳐(texture)는 해당 영상의 특징이 될 수 있다. 또한, 3차원 시맨틱 맵(105)에는 차선의 점선 간격, 횡단 보도, 정지선 등의 3차원의 좌표와 클래스 구분만이 표시되지만, 컬러 영상에서는 형태 및 그림자 등도 나타나므로 각 시점의 컬러 영상에 포함된 객체들 간의 비교를 통해 위치 정보를 보정할 수 있다.
일 실시예에 따른 측위 과정(110)은 아래의 도 2 내지 도 6을 참고하여 구체적으로 설명한다.
컬러 모델링 과정(130)은 현재 시점의 실제 영상에 대응하는 3차원 컬러 맵을 생성하는 과정에 해당할 수 있다. 컬러 모델링 과정(130)에서, 일 실시예에 따른 측위 장치는 3차원 시맨틱 맵(105)의 지오메트리(geometry)와 제2 시점의 최종 위치 정보를 기초로, 매 시점마다 카메라(101)를 통해 촬영되는 제2 시점의 영상에 대응하는 3차원 컬러 맵(107)을 생성할 수 있다. 측위 장치는 예를 들어, 제1 시점의 영상에 대응하는 3차원 컬러 맵, 3차원 시맨틱 맵, 및 제2 시점의 영상을 이용하여 제2 시점의 영상에 대응하는 3차원 컬러 맵의 컬러를 재구성(또는 복원)할 수 있다. 일 실시예에 따른 컬러 모델링 과정(130)은 아래의 도 7 내지 도 9를 참조하여 구체적으로 설명한다.
렌더링(150) 과정에서, 일 실시예에 따른 측위 장치는 전술한 측위 과정(110)을 거쳐 결정된 제2 시점의 최종 위치 정보와 컬러 모델링(130) 과정을 거쳐 생성된 제2 시점의 영상에 대응하는 3차원 컬러 맵을 이용하여, 제2 시점의 가상 객체(예를 들어, 경로를 안내하는 화살표, 또는 가상의 차량, 도로 등)를 렌더링할 수 있다. 측위 장치는 예를 들어, 차량의 HUD(Head Up Display) 또는 내비게이션의 디스플레이 등을 통해 렌더링한 가상 객체를 표시하여 증강 현실 서비스를 제공할 수 있다.
이하, 본 명세서에서 '차량(vehicle)'은 도로 위로 주행 중인 차량을 의미하는 것으로서, 예를 들어, 자율 주행 차량, 첨단 운전자 지원 시스템(Advanced Driver Assistance System; ADAS)을 구비한 지능형 차량 등을 포함할 수 있다. '도로(road)'는 차량들이 다니는 길을 의미하며, 예를 들어, 고속도로, 국도, 지방도, 고속 국도, 자동차 전용 도로 등과 같은 다양한 유형의 도로를 포함할 수 있다. 도로는 하나 또는 다수 개의 차로를 포함할 수 있다. '차로(lane)'는 도로 노면 상에 표시된 차선들(lines)을 통해 서로 구분되는 도로 공간에 해당할 수 있다. 차로는 해당 차로에 인접한 좌우의 차선(또는 차로 경계선)에 의해 구분될 수 있다. 또한, '차선(line)'은 도로 노면 상에 흰색, 파란색 또는 노랑색으로 표시된 실선, 점선, 곡선, 및 지그재그선 등 다양한 형태의 선으로 이해될 수 있다. 차선은 하나의 차로를 구분하는 일 측의 차선에 해당할 수도 있고, 하나의 차로를 구분하는 차선들의 쌍(pair), 다시 말해, 차로 경계선에 해당하는 좌측 차선 및 우측 차선일 수도 있다.
하기에서 설명될 실시예들은 스마트 차량 등의 증강 현실 내비게이션 (Augmented Reality Navigation) 시스템에서 경로를 안내하거나, 자율 주행 차량의 조향을 돕기 위한 시각 정보를 생성하거나, 또는 차량의 주행을 위한 다양한 제어 정보를 제공하는 데에 활용될 수 있다. 또한, 실시예들은 차량 내 주행 보조 또는 완전 자율 주행을 위해 설치된 HUD(Head Up Display) 등의 지능 시스템을 포함하는 기기에 시각 정보(visual information)를 제공하여 안전하고 쾌적한 주행을 돕는 데에 사용될 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 스마트 폰, 및 모바일 기기 등에 적용될 수 있다.
도 2는 일 실시예에 따른 측위 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 측위 장치는 제1 시점의 영상에 대응하는 3차원 컬러 맵 및 제2 시점의 위치 정보를 기초로, 제2 시점에 대응하는 합성 영상을 생성한다(210). 여기서, 제1 시점의 영상에 대응하는 3차원 컬러 맵은 제1 시점의 영상, 제1 시점의 위치 정보 및 3차원 시맨틱 맵에서 획득한 지오매트리에 기초하여 제1 시점에서 생성된 것일 수 있다. 제2 시점의 위치 정보는 예를 들어, IMU 센서, GPS 센서, 라이다, 및 레이더 등에 의해 감지될 수 있다. 제2 시점의 위치 정보는 예를 들어, GPS 센서에 의해 10M 정도의 오차를 가지는 개략적인 위치 정보에 해당할 수 있다. 이하에서, 제1 시점의 영상은 '이전 프레임 영상', 제2 시점의 영상은 '현재 프레임 영상'이라 부를 수 있다. 단계(210)에서, 측위 장치는 제1 시점의 영상에 대응하는 3차원 컬러 맵을, 제 2 시점의 위치 정보에 따라 3차원 시맨틱 맵, 보다 구체적으로는 3차원 시맨틱 맵에서 획득한 형상인 3차원 지오매트리(geometry)에 투영하여 제2 시점에 대응하는 합성 영상을 생성할 수 있다. 제2 시점에 대응하는 합성 영상은 컬러 영상일 수 있다.
일 실시예에서 제2 시점에 대응하는 합성 영상을 생성하는 이유는 다음과 같다. 일 실시예에서 위치 정보는 예를 들어, GPS 센서 및/또는 IMU 센서에 의해 감지된 위치 및 방향의 벡터 형태이고, 카메라를 통해 촬영된 실제 영상(제2 시점의 영상)은 색상을 가진다. 이때, 위치 및 방향의 벡터와 색상 간의 단순 비교는 불가능하다. 따라서, 일 실시예에서는 위치 정보를 기반으로 합성 영상을 생성하고, 합성 영상과 실제 영상 간의 포즈 차이를 이용하여 실제 영상의 최종 위치 정보를 결정할 수 있다.
측위 장치는 제2 시점에 대응하는 합성 영상 및 제2 시점의 영상에 기초하여 제2 시점의 최종 위치 정보를 결정한다(220). 측위 장치는 예를 들어, 제2 시점에 대응하는 합성 영상 및 제2 시점의 영상을 이용하여 상대적인 포즈 정보를 산출할 수 있다. 측위 장치는 예를 들어, 제2 시점에 대응하는 합성 영상과 제2 시점의 영상을 매칭(matching)할 수 있다. 측위 장치는 매칭에 의해 제2 시점에 대응하는 합성 영상에서의 제1 포즈 정보와 제2 시점의 영상에서의 제2 포즈 정보를 비교할 수 있다. 측위 장치는 비교 결과에 기초하여 상대적인 포즈 정보를 산출할 수 있다. 측위 장치는 상대적인 포즈 정보를 기초로 제2 시점의 최종 위치 정보를 결정할 수 있다.
측위 장치는 제1 포즈 정보와 제2 포즈 정보를 비교할 때, 예를 들어, 제2 시점에 대응하는 합성 영상의 색상과 제2 시점의 영상의 색상을 비교할 수 있다. 측위 장치는 합성 영상의 색상과 실제 영상(제2 시점의 영상)의 색상(RGB 값) 비교를 통해 영상 간의 포즈 차이를 파악할 수 있다. 또는 측위 장치는 제2 시점에 대응하는 합성 영상의 시맨틱 정보와 제2 시점의 영상의 시맨틱 정보를 비교할 수 있다. 또한, 측위 장치는 제2 시점에 대응하는 합성 영상의 깊이 정보와 제2 시점의 영상의 깊이 정보를 비교할 수 있다. 측위 장치는 색상의 비교 결과, 시맨틱 정보의 비교 결과, 및/또는 깊이 정보의 비교 결과를 이용하여 상대적인 포즈 정보를 산출할 수 있다.
단계(220)에서, 측위 장치는 상대적인 포즈 정보에 의해 제2 시점의 위치 정보를 보정함으로써 제2 시점의 최종 위치 정보를 결정할 수 있다.
도 3은 일 실시예에 따른 pose CNN이 최종 위치 정보를 결정하는 방법을 설명하기 위한 도면이다. 일 실시예에 따른 측위 장치는 GPS/IMU 센서가 감지한 위치 정보(제2 시점의 위치 정보)를 수신(또는 획득)할 수 있다(310). 이때, 제2 시점의 위치 정보는 예를 들어, 10M의 오차를 가지는 Noisy GPS 위치에 해당할 수 있다
측위 장치는 제2 시점에 대응하는 합성 영상을 생성할 수 있다(320). 이때, 측위 장치는 Noisy GPS 위치에 해당하는 제2 시점의 위치 정보와 제1 시점의 영상에 대응하는 3차원 컬러 맵을 기초로, 제2 시점에 대응하는 합성 영상을 생성할 수 있다.
측위 장치는 카메라를 통해 촬영된 제2 시점의 영상을 획득할 수 있다(330). 제2 시점의 영상은 카메라에 의해 실제(Ground Truth) 위치에서 촬영된 영상일 수 있다.
측위 장치는 제2 시점에 대응하는 합성 영상과 제2 시점의 (실제) 영상 간의 포즈 정보를 비교(Pose compare)하고(340), 비교 결과에 기초하여 상대적인 포즈(Relative Pose) 정보를 산출할 수 있다(350). 측위 정보는 포즈 정보의 비교를 통해 예를 들어, 제2 시점에 대응하는 합성 영상이 제2 시점의 (실제) 영상에 비해 얼마나 틀어져 있는지 또는 얼마나 이동해 있는지 등과 같은 상대적인 포즈 정보, 다시 말해 상대적인 포즈의 차이를 산출할 수 있다.
측위 장치는 단계(350)에서 산출한 상대적인 포즈의 차이에 의해 단계(310)에서 수신한 제2 시점의 위치 정보를 보정함으로써 최종적으로 정제된 제2 시점의 최종 위치 정보를 결정할 수 있다(360). 이때, 단계(360)에서 결정된 제2 시점의 최종 위치 정보는 단계(330)에서 획득한 제2 시점의 (실제) 영상과 같은 글로벌 위치(global position)를 가지는 것으로 기대할 수 있다.
도 4는 일 실시예에 따라 최종 위치 정보를 결정하는 방법을 순차적인 흐름을 통해 나타낸 도면이다. 도 4를 참조하면, 제1 시점(ti) 및 제2 시점(ti + 1)에서의 측위 장치의 동작이 도시된다. 이때, 3차원 시맨틱 맵(405)은 월드 좌표계에서의 지오메트리 맵(geometry map)에 해당할 수 있다. 3차원 시맨틱 맵(405)은 측위 장치의 메모리에 미리 저장되어 있거나, 또는 측위 장치의 외부로부터 수신될 수 있다. 3차원 시맨틱 맵(405)은 예를 들어, 라이다 등에 의해 주변을 촬영한 고정밀(High Density; HD) 지도일 수 있다. 고정밀 지도는 자율 주행을 위해 고정밀도(예를 들어, 센티미터 단위의 정밀도)를 갖춘 3차원 입체 지도에 해당할 수 있다. 고정밀 지도에는 예를 들어, 도로 중심선, 경계선 등 차선 정보는 물론 신호등, 표지판, 연석, 노면 도로 표지, 각종 구조물 등과 같은 객체의 정보가 3차원 디지털의 형태로 포함될 수 있다.
3차원 시맨틱 맵(405)에는 예를 들어, 차선, 도로, 신호등과 같은 각 객체의 클래스를 구분하는 일부 색상만이 표시될 뿐, 컬러 영상과 같이 모든 색상들이 표시되지는 않는다. 또한, 3차원 시맨틱 맵(405)에는 차선 이외의 클래스에 대한 정보가 부족하고, 차선은 특히 종방향의 정보(cue)를 포함하지 않는다. 3차원 시맨틱 맵(405)에서 종방향의 정보가 없는 경우, 영상만으로 정확도를 확인하기 어렵다. 따라서, 3차원 시맨틱 맵(405)만으로는 렌더링이 불가능하고, 3차원 시맨틱 맵(405)에 컬러를 부여함으로써 이후 렌더링이 가능하다.
측위 장치는 3차원 시맨틱 맵(405), 제1 시점(ti)에서 GPS 센서/IMU 센서를 통해 감지된 제1 시점(ti)의 위치 정보(410), 카메라를 통해 촬영된 제1 시점(ti)의 영상(415)을 기초로 제1 시점(ti)의 영상(415)에 대응하는 3차원 컬러 맵(420)을 생성할 수 있다. 일 실시예에 따른 측위 장치가 3차원 컬러 맵을 생성하는 방법은 아래의 도 7 내지 도 9를 참조하여 구체적으로 설명한다.
제2 시점(ti + 1)에서 측위 장치는 제1 시점(ti)의 영상(415)에 대응하는 3차원 컬러 맵(420) 및 제2 시점(ti+1)의 위치 정보(425)를 기초로, 제2 시점(ti+1)에 대응하는 합성 영상(430)을 생성할 수 있다.
측위 장치는 제2 시점(ti + 1)의 합성 영상(430) 및 제2 시점(ti + 1)의 영상(435)을 신경망(440)에 인가함으로써 상대적인 포즈 정보(Relative R, T)(445)를 산출할 수 있다. 측위 장치는 상대적인 포즈 정보(445)에 의해 제2 시점(ti + 1)의 위치 정보(425)를 보정하여 제2 시점의 최종 위치 정보(450)를 결정할 수 있다. 이때, 제2 시점의 최종 위치 정보(450)는 상대적인 포즈 정보(445)에 의해 정제된 글로벌 위치 정보에 해당할 수 있다.
전술한 바와 같이, 3차원 시맨틱 맵(405)은 실제 영상과 같이 모든 컬러를 표현하지 않는다. 그러므로, 3차원 시맨틱 맵(405)을 이용하여 제2 시점(ti + 1)에 대응하는 합성 영상(430)을 생성하면 제2 시점(ti + 1)에 대응하는 합성 영상(430) 또한 제대로 된 컬러를 표현할 수 없다. 이 경우, 제2 시점(ti + 1)에 대응하는 합성 영상(430)과 제2 시점(ti + 1)의 영상(435) 간의 컬러 비교를 통해 상대적인 위치 정보가 제대로 파악될 수 없다. 따라서, 일 실시예에 따른 측위 장치는 3차원 시맨틱 맵(405)에 제2 시점(ti + 1)의 영상(435)의 컬러를 부여하여 제2 시점(ti + 1)의 영상(435)에 대응하는 3차원 컬러맵을 생성할 수 있다. 측위 장치는 제2 시점(ti + 1)의 영상(435)에 대응하는 3차원 컬러맵에 기초하여 제2 시점(ti + 1)에 대응하는 합성 영상(430)을 생성함으로써 제2 시점(ti + 1)에 대응하는 합성 영상(430)과 제2 시점(ti + 1)의 영상(435) 간의 컬러 비교를 통한 위치 정보의 보정이 가능하도록 할 수 있다.
도 5는 일 실시예에 따라 합성 영상과 실제 영상 간의 비교를 통해 최종 위치 정보를 결정하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 이전 프레임 영상(510), HD map(520), 합성 영상(530), 현재 프레임으로 렌더링된 합성 영상(540), 현재 프레임 영상(550) 및 상대적인 포즈 정보가 표시된 영상(560)이 도시된다. HD map(520)은 3차원 시맨틱 맵에 해당할 수 있다.
일 실시예에 따른 측위 장치는 HD map(520)으로부터 획득한 지오매트리 정보에 이전 프레임 영상(510)의 컬러를 입힘으로써 컬러를 가진 합성 영상(530)을 생성할 수 있다. 측위 장치는 합성 영상(530)을 현재 프레임으로 렌더링(rendering)하여 렌더링된 합성 영상(540)을 생성할 수 있다. 이때, 측위 장치는 합성 영상(530)을 노이즈 없이 현재 프레임으로 렌더링할 수도 있고, 노이즈를 포함하도록 현재 프레임으로 렌더링할 수도 있다.
측위 장치는 예를 들어, 신경망(Pose CNN)(560)을 통해, 렌더링된 합성 영상(540)과 현재 프레임 영상(550)을 비교하여 현재 프레임 영상에 대응하는 최종 위치 정보(R,T)를 결정할 수 있다. 측위 장치는 예를 들어, 렌더링된 합성 영상(540)에 표시된 그림자(561)와 현재 프레임 영상(550)에 포함된 그림자(563) 간의 상대적인 포즈 정보(예를 들어, 위치 차이)를 산출할 수 있다. 측위 장치는 그림자(561)와 그림자(563) 간의 위치 차이를 현재 프레임 영상(550)에 대응하는 위치 정보에 반영하여 현재 프레임 영상(550)에 대응하는 글로벌 위치를 결정할 수 있다. 신경망(Pose CNN)(560)의 동작은 아래의 도 6을 참조하여 구체적으로 설명한다.
도 6은 일 실시예에 따른 신경망(pose CNN)의 동작을 설명하기 위한 도면이다. 도 6을 참조하면, 실제 영상(Real image)(610), 합성 영상(Synthetic image)(620) 및 신경망(630)이 도시된다.
신경망(630)은 실제 영상(610)과 합성 영상(620) 간의 포즈 차이(loss)를 최소화하도록 기 학습된 신경망일 수 있다. 이때, 실제 영상(610) 및 합성 영상(620)은 현재 시점에 대응하는 영상일 수 있다.
신경망(630)은 많은 수의 인공 뉴런(노드)들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 학습 모델을 나타낼 수 있다. 신경망(630)은 인공 뉴런들을 통해 인간의 인지 작용을 수행할 수 있다. 신경망(630)은 예를 들어, 예를 들어, CNN(convolutional neural network), DNN(Deep Neural Network), RNN(recurrent neural network), 또는 BLSTM(Bidirectional Long Short Term Memory) 등과 같이 다양한 구조로 구현될 수 있다.
신경망(630)은 실제 영상(610)과 합성 영상(620)을 입력 받고, 입력된 영상들을 기초로 최종 위치 정보(R,T)를 결정할 수 있다.
신경망(630)은 인코더 네트워크(Encoder network)(633) 및 디코더 네트워크(Decoder network)(636)를 포함할 수 있다. 인코더 네트워크(633)는 예를 들어, 입력 레이어(input layer), 히든 레이어(hidden layer) 및 출력 레이어(output layer)의 풀리-커넥티드 레이어들(fully-connected layers)을 포함할 수 있다. 디코더 네트워크(636)는 예를 들어, 소프트맥스 레이어(softmax layer)일 수 있다.
도 7은 일 실시예에 따라 각 시점에 대응하는 3차원 컬러 맵이 생성되는 과정을 설명하기 위한 도면이다. 도 7을 참조하면, 제1 시점(ti), 제2 시점(ti +1) 및 제3 시점(ti+2)의 영상에 대응하는 3차원 컬러 맵이 생성되는 과정이 도시된다.
예를 들어, 제1 시점(ti)이 측위 장치의 측위 초기라고 하자. 이때, 제1 시점(ti)에 생성된 3차원 컬러 맵(705)은 예를 들어, 제1 시점(ti)의 영상과 제1 시점(ti)의 위치 정보 및 3차원 시맨틱 맵에 기초하여 생성된 것일 수 있다. 제1 시점(ti)의 영상에 대응하여 생성된 3차원 컬러 맵(705)은 제2 시점(ti + 1)에 대응하는 합성 영상을 생성하는 데에 이용될 수 있다.
측위 장치는 제1 시점(ti)의 영상에 대응하여 생성된 3차원 컬러 맵(705) 및 제2 시점(ti + 1)의 위치 정보(710)를 기초로 제2 시점(ti + 1)에 대응하는 합성 영상(715)을 생성할 수 있다. 측위 장치는 제2 시점(ti + 1)에 대응하는 합성 영상(715)와 제2 시점(ti + 1)의 영상(720) 간의 상대적인 포즈 정보(예를 들어, 컬러)의 비교를 통해 제2 시점(ti + 1)의 최종 위치 정보(725)를 결정할 수 있다. 측위 장치는 제2 시점(ti+1)의 영상(720), 제2 시점(ti + 1)의 최종 위치 정보(725) 및 3차원 시맨틱 맵(730)에 기초하여, 제2 시점(ti + 1)의 영상에 대응하는 3차원 컬러 맵(735)을 생성할 수 있다. 측위 장치는 제2 시점(ti + 1)의 최종 위치 정보(725)를 기초로 3차원 시맨틱 맵(730)에 제2 시점(ti + 1)의 영상(720)의 컬러를 부여하여 제2 시점(ti + 1)의 영상(720)에 대응하는 3차원 컬러 맵(735)을 생성할 수 있다. 3차원 시맨틱 맵(730)에 제2 시점(ti + 1)의 영상(720)의 컬러를 부여하여 제2 시점(ti + 1)의 영상에 대응하는 3차원 컬러 맵(735)을 생성하는 방법은 아래의 도 8을 참조하여 구체적으로 설명한다.
제2 시점(ti + 1)의 영상에 대응하는 3차원 컬러 맵(735)은 전술한 것과 마찬가지의 방법으로 제3 시점(ti + 2)에 대응하는 합성 영상을 생성하는 데에 이용될 수 있다.
측위 장치는 제2 시점(ti + 1)의 영상에 대응하는 3차원 컬러 맵(735) 및 제3 시점(ti+2)의 위치 정보(740)를 기초로 제3 시점(ti + 2)에 대응하는 합성 영상(745)을 생성할 수 있다. 측위 장치는 제3 시점(ti + 2)에 대응하는 합성 영상(745)과 제3 시점(ti+2)의 영상(750) 간의 컬러 비교를 통해 제3 시점(ti + 2)의 최종 위치 정보(755)를 결정할 수 있다. 측위 장치는 제3 시점(ti + 2)의 최종 위치 정보(755)를 기초로 3차원 시맨틱 맵(730)에 제3 시점(ti + 2)의 영상(775)의 컬러를 부여하여 제3 시점(ti+2)의 영상(750)에 대응하는 3차원 컬러 맵(765)을 생성할 수 있다.
도 8은 일 실시예에 따른 컬러 모델링(Color Modeling) 과정을 설명하기 위한 도면이다. 도 8을 참조하면, 컬러 영상(Color image)(810) 및 투영 영상(projected image)(820), 및 3차원 컬러 맵(3D Color Map)(840)이 도시된다.
컬러 영상(810)은 현재 프레임, 다시 말해 제2 시점의 영상에 해당할 수 있다. 투영 영상(820)은 3차원 시맨틱 맵을, 전술한 측위 과정에서 결정된 지오매트리(제2 시점의 최종 위치 정보)에 대응하는 투영면에 투영함으로써 생성된 투영 영상에 해당할 수 있다. 투영 영상(820)은 2차원 영상에 해당할 수 있다. 측위 장치는 컬러 영상(810)에 기초하여 투영 영상(820)에 컬러를 부여할 수 있다. 측위 장치가 투영 영상(820)을 생성하는 방법 및 투영 영상(820)에 컬러를 부여하는 방법은 아래의 도 9를 참조하여 구체적으로 설명한다.
측위 장치는 컬러가 부여된 투영 영상을 3차원 시맨틱 맵에 역투영(inverse projection)(830) 함으로써, 컬러 영상(810)에 대응하는 3차원 컬러 맵(840)을 생성할 수 있다. 이때, 측위 장치는 제2 시점의 영상을 촬영한 카메라의 파라미터를 이용하여 컬러가 부여된 투영 영상을 3차원 시맨틱 맵에 역투영할 수 있다.
여기서, '카메라의 파라미터'는 내부 파라미터(intrinsic parameter) 및 외부 파라미터(extrinsic parameter)를 포함할 수 있다. 내부 파라미터는 예를 들어, 초점 거리(focal length), 주점(principal point) 및 비대칭 계수(skew coefficient)를 포함할 수 있다. 여기서, 초점 거리는 렌즈 중심과 이미지 센서와의 거리를 나타낸다. 주점은 카메라 렌즈의 중심, 다시 말해, 핀홀에서 이미지 센서에 내린 수선의 발의 영상 좌표(단위는 픽셀)를 나타낸다. 비대칭 계수는 이미지 센서의 셀 어레이의 y 축이 기울어진 정도를 나타낸다.
외부 파라미터는 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 설명하는 파라미터로서, 두 좌표계 사이의 회전(rotation) 및 변환(translation)(또는 이동)으로 표현될 수 있다. 외부 파라미터는 카메라 고유의 파라미터가 아니기 때문에 카메라를 어떤 위치에 어떤 방향으로 설치했는지에 따라 달라지고, 또한, 월드 좌표계를 어떻게 정의했는냐에 따라 달라질 수 있다. 예를 들어, 측위 장치는 캘리브레이션 툴 등을 이용하여 카메라 고유의 내부 파라미터들을 구할 수 있다. 또한, 측위 장치는 미리 알고 있는(또는 샘플로 뽑은) 3차원 월드 좌표와 2차원 영상 좌표의 매칭 쌍들에 의한 변환 행렬 또는 호모그래피 매트릭스(homography matrix)에 의해 3차원 공간 상의 점들을 2차원 이미지 평면에 투사(perspective projection)함으로써 외부 파라미터를 구할 수 있다. 호모그래피 매트릭스는 한 평면을 다른 평면에 투영(projection) 시켰을 때 투영된 대응점들 사이에서 성립하는 일정한 변환 관계를 나타낼 수 있다.
측위 장치는 예를 들어, 컬러 영상(810)을 촬영한 카메라의 파라미터를 이용하여 호모그래피 매트릭스(homography matrix)를 정의할 수 있다. 측위 장치는 호모그래피 매트릭스를 이용하여 컬러가 부여된 2차원의 투영 영상을 3차원 시맨틱 맵에 역투영함으로써 컬러 영상(810)에 대응하는 3차원 컬러 맵(840)을 생성할 수 있다. 3차원 컬러 맵(840)은 각 픽셀의 위치 정보(x,y,z) 및 색상 정보를 포함하는 컬러드 포인트 클라우드들(colored point cloud; PCD)를 포함할 수 있다.
실시예에 따라서, 측위 장치는 컬러 영상(810)에 대응하는 3차원 컬러 맵(840)을 이용하여 제2 시점의 가상 객체(예를 들어, 경로를 안내하는 화살표)를 렌더링할 수 있다. 예를 들어, 디스플레이가 투명 디스플레이(transparent display)의 경우, 측위 장치는 컬러 영상(810)에 대응하는 3차원 컬러 맵(840)을 이용하여 투명 디스플레이에 표시되는 배경 컬러를 획득할 수 있다. 측위 장치는 가상 객체의 컬러와 배경 컬러에 기초하여 가상 객체를 렌더링할 수 있다. 측위 장치는 원하는 가상 객체의 컬러에서 가상 객체가 놓일 위치에 해당하는 배경 컬러를 뺀 컬러를 렌더링할 수 있다.
또한, 측위 장치는 컬러 영상(810)에 대응하는 3차원 컬러 맵(840)을 이용하여, 가상 객체의 그림자(shadow) 성분 및 가상 객체에 의한 상호 반사(inter-reflection) 성분을 렌더링할 수 있다. 예를 들어, 디스플레이가 일반 디스플레이인 경우, 측위 장치는 그림자 및/또는 상호 반사 등을 표현하기 위해 배경 컬러와 가상 객체의 컬러를 합한 컬러를 렌더링할 수 있다.
이 밖에도, 측위 장치는 배경 분석을 통해 가상 객체가 놓일 위치 및/또는 외관(appearance) 계산을 위해 배경 컬러를 포함한 컬러를 렌더링할 수 있다. 측위 장치는 예를 들어, 도로 표지나 사인 위에서 가상 객체를 변경하여 표시하거나, 또는 빈 공간을 찾아서 가상 객체를 표시할 수 있다. 또는 측위 장치는 컬러 영상(810)에 대응하는 3차원 컬러 맵(840)의 컬러로부터 도로의 재질, 물리적 특성, 조명 환경 등을 추정할 수도 있다.
도 9는 일 실시예에 따라 3차원 시맨틱 맵으로부터 3차원 컬러 맵의 컬러를 결정하는 과정을 설명하기 위한 도면이다. 도 9를 참조하면, 3차원 시맨틱 맵(910), 투영면(920), 투영 영상(930) 및 컬러 영상(940)이 도시된다. 컬러 영상(940)은 현재 시점의 영상에 해당할 수 있다.
측위 장치는 3차원 시맨틱 맵(910)을, 컬러 영상(940)의 최종 위치 정보(R, T)에 대응하는 투영면(920)에 투영함으로써 투영 영상(930)을 생성할 수 있다. 이때, 측위 장치는 컬러 영상(940)을 촬영한 카메라의 파라미터를 이용하여 3차원 시맨틱 맵(910)의 일부 영역(예를 들어, 도로 영역)을 추출할 수 있다. 측위 장치는 3차원 시맨틱 맵(910)의 일부 영역을 컬러 영상(940)의 최종 위치 정보에 대응하는 2차원의 투영면(920)에 투영하여 투영 영상(930)을 생성할 수 있다.
측위 장치는 컬러 영상(940)에 기초하여, 투영 영상(930)에 컬러를 부여할 수 있다. 보다 구체적으로, 측위 장치는 투영 영상(930)과 컬러 영상(940) 간의 맵핑 관계에 기초하여 투영 영상(930)에 포함된 픽셀들의 컬러를 결정할 수 있다. 픽셀들은 예를 들어, 도로의 표면에 해당하는 표면점들(surface points)에 대응될 수 있다. 예를 들어, 측위 장치는 투영 영상(930)과 컬러 영상(940)을 맵핑시킨 후, 컬러 영상(940)의 A 위치의 컬러(노랑색)를 투영 영상(930)의 A 위치의 컬러로 결정할 수 있다. 측위 장치는 투영 영상(930)의 A 위치에 노랑색을 부여할 수 있다.
실시예에 따라서, 측위 장치는 하나의 컬러 영상(940)을 대신하여, 다수의 컬러 영상들의 컬러들을 최적화(또는 누적)할 수 있다. 측위 장치는 최적화(또는 누적)된 컬러에 의해 투영 영상(930)의 컬러를 결정함으로써 3차원 컬러 맵의 컬러 또한 결정할 수 있다. 또한, 측위 장치는 다수의 컬러 영상들로부터 최적화(또는 누적)된 컬러를 이용하여 비, 또는 조명 등에 의해 왜곡된 3차원 컬러 맵의 컬러를 복원할 수 있다. 측위 장치는 예를 들어, 나무, 건물 등과 같이 위치 정보가 없는 객체에 대하여는 정확한 측위 결과(최종 위치 정보)를 기초로 고정된 스테레오 카메라 기반의 디스패리티(disparity)를 산출하는 스테레오 방식으로 3차원 컬러 맵의 컬러를 모델링할 수도 있다.
도 10은 일 실시예에 따른 측위 장치의 블록도이다. 도 10을 참조하면, 일 실시예에 따른 측위 장치(1000)는 센서들(1010) 및 프로세서(1030)를 포함한다. 측위 장치(1000)는 메모리(1050), 통신 인터페이스(1070) 및 디스플레이(1090)를 더 포함할 수 있다. 센서들(1010), 프로세서(1030), 메모리(1050), 통신 인터페이스(1070) 및 디스플레이(1090)는 통신 버스(1005)를 통해 서로 통신할 수 있다.
센서(들)(1010)은 제1 시점의 영상, 제2 시점의 영상, 및 제2 시점의 위치 정보를 감지한다. 센서(들)(1010)은 예를 들어, 이미지 센서, 비전 센서, 가속도 센서, 자이로 센서, GPS(Global Positioning System) 센서, IMU(Inertial Measurement Unit) 센서, 레이더(Radar), 라이다(Lidar) 등을 포함할 수 있다.
센서(들)(1010)은 차량의 주행 영상을 포함하는 입력 영상을 획득(촬영)할 수 있다. 입력 영상은 복수의 시점의 복수의 영상들에 해당할 수 있다. 입력 영상은 하나의 프레임을 포함할 수도 있고, 복수의 프레임들을 포함할 수도 있다.
센서(들)(1010)은 예를 들어, 차량의 GPS 좌표, 위치, 자세 등과 같은 측위 정보 이외에도, 속도, 가속도, 주행 방향, 차량의 핸들 조향 각도, 및 차량의 속도 등의 센싱 정보를 감지할 수 있다. 센서들(1010)은 각 시점의 영상에 대응하는 위치 정보를 감지할 수 있다.
프로세서(1030)는 제1 시점의 영상에 대응하는 3차원 컬러 맵 및 제2 시점의 위치 정보를 기초로, 제2 시점에 대응하는 합성 영상을 생성한다. 프로세서(1030)는 제2 시점에 대응하는 합성 영상 및 제2 시점의 영상에 기초하여 제2 시점의 최종 위치 정보를 결정한다.
프로세서(1030)는 제1 시점의 영상에 대응하는 3차원 컬러 맵을, 제 2 시점의 위치 정보에 따라 3차원 시맨틱 맵에 투영하여 합성 영상을 생성할 수 있다.
프로세서(1030)는 제2 시점에 대응하는 합성 영상 및 제2 시점의 영상을 이용하여 상대적인 포즈 정보를 산출할 수 있다. 프로세서(1030)는 상대적인 포즈 정보를 기초로 제2 시점의 영상에 대응하는 제2 시점의 최종 위치 정보를 결정할 수 있다.
프로세서(1030)는 제2 시점의 영상, 제2 시점의 최종 위치 정보 및 3차원 시맨틱 맵에서 획득한 지오매트리에 기초하여, 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성할 수 있다.
프로세서(1030)는 3차원 시맨틱 맵을 제2 시점의 최종 위치 정보에 대응하는 투영면에 투영함으로써 투영 영상을 생성할 수 있다. 프로세서(1030)는 제2 시점의 영상에 기초하여 투영 영상에 컬러를 부여할 수 있다. 프로세서(1030)는 컬러가 부여된 투영 영상을 3차원 시맨틱 맵에 역투영 함으로써 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성할 수 있다.
또한, 프로세서(1030)는 제2 시점의 영상에 대응하는 3차원 컬러 맵을 이용하여, 제2 시점의 가상 객체를 렌더링할 수 있다.
메모리(1050)는 센서들(1010)이 감지하는 각 시점의 영상 및 각 시점의 위치 정보를 저장할 수 있다. 또한, 메모리(1050)는 프로세서(1030)에서 생성한 각 시점의 영상에 대응하는 3차원 컬러 맵 및/또는 합성 영상을 저장할 수 있다. 예를 들어, 3차원 컬러 맵은 많은 메모리 용량을 차지할 수 있다. 이 경우, 메모리(1050)는 3차원 컬러 맵을 일정 시간의 경과 후에 순차적으로 및/또는 한번에 삭제할 수 있다.
메모리(1050)는 전술한 프로세서(1030)에서의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(1050)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(1050)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1050)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
통신 인터페이스(1070)는 측위 장치(1000)의 외부에 존재하는 다른 센서들로부터 각 시점의 영상 및 각 시점의 영상에 대응하는 위치 정보를 포함하는 다양한 센싱 정보를 수신할 수 있다. 통신 인터페이스(1070)는 프로세서(1030)가 생성한 3차원 컬러 맵 및/또는 합성 영상을 측위 장치(1000) 외부로 출력할 수 있다. 또한, 통신 인터페이스(1070)는 프로세서(1030)가 결정한 각 시점의 영상에 대응하는 최종 위치 정보를 출력할 수 있다.
디스플레이(1090)는 프로세서(1030)가 결정한 각 시점의 영상에 대응하는 최종 위치 정보를 기초로 렌더링된 영상을 표시할 수 있다. 또한, 디스플레이(1090)는 프로세서(1030)가 제2 시점의 영상에 대응하는 3차원 컬러 맵을 이용하여, 제2 시점의 가상 객체를 렌더링한 결과를 디스플레이함으로써 증강 현실 서비스를 제공할 수 있다.
또한, 프로세서(1030)는 도 1 내지 도 9를 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1030)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(1030)는 프로그램을 실행하고, 측위 장치(1000)를 제어할 수 있다. 프로세서(1030)에 의하여 실행되는 프로그램 코드는 메모리(1050)에 저장될 수 있다.
일 실시예에 따른 측위 장치(1000)는 예를 들어, 헤드-업-디스플레이(HUD), 또는 증강 현실 글래스(AR Glasses) 등을 통해 자연스러운 증강 현실(Augmented Reality; AR)의 렌더링을 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (21)

  1. 제1 시점의 영상에 대응하는 3차원 컬러 맵 및 제2 시점의 위치 정보를 기초로, 제2 시점에 대응하는 합성 영상(synthetic image)을 생성하는 단계; 및
    상기 제2 시점에 대응하는 합성 영상 및 상기 제2 시점의 영상에 기초하여 상기 제2 시점의 최종 위치 정보를 결정하는 단계
    를 포함하는, 측위 방법.
  2. 제1항에 있어서,
    상기 제2 시점에 대응하는 합성 영상을 생성하는 단계는
    상기 제1 시점의 영상에 대응하는 3차원 컬러 맵을, 상기 제 2 시점의 위치 정보에 따라 3차원 시맨틱 맵에 투영하여 상기 합성 영상을 생성하는 단계
    를 포함하는, 측위 방법.
  3. 제1항에 있어서,
    상기 제2 시점의 최종 위치 정보를 결정하는 단계는
    상기 제2 시점에 대응하는 합성 영상 및 상기 제2 시점의 영상을 이용하여 상대적인 포즈 정보를 산출하는 단계; 및
    상기 상대적인 포즈 정보를 기초로 상기 제2 시점의 최종 위치 정보를 결정하는 단계
    를 포함하는, 측위 방법.
  4. 제3항에 있어서,
    상기 상대적인 포즈 정보를 산출하는 단계는
    상기 제2 시점에 대응하는 합성 영상과 상기 제2 시점의 영상을 매칭(matching)시키는 단계;
    상기 매칭에 의해 상기 제2 시점에 대응하는 합성 영상에서의 제1 포즈 정보와 상기 제2 시점의 영상에서의 제2 포즈 정보를 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 상대적인 포즈 정보를 산출하는 단계
    를 포함하는, 측위 방법.
  5. 제4항에 있어서,
    상기 제1 포즈 정보와 상기 제2 포즈 정보를 비교하는 단계는
    상기 제2 시점에 대응하는 합성 영상의 색상과 상기 제2 시점의 영상의 색상을 비교하는 단계;
    상기 제2 시점에 대응하는 합성 영상의 시맨틱 정보와 상기 제2 시점의 영상의 시맨틱 정보를 비교하는 단계; 및
    상기 제2 시점에 대응하는 합성 영상의 깊이 정보와 상기 제2 시점의 영상의 깊이 정보를 비교하는 단계
    중 적어도 하나를 포함하는, 측위 방법.
  6. 제3항에 있어서,
    상기 제2 시점의 최종 위치 정보를 결정하는 단계는
    상기 상대적인 포즈 정보에 의해 상기 제2 시점의 위치 정보를 보정함으로써 상기 제2 시점의 최종 위치 정보를 결정하는 단계
    를 포함하는, 측위 방법.
  7. 제1항에 있어서,
    상기 제2 시점의 영상, 상기 제2 시점의 최종 위치 정보 및 3차원 시맨틱 맵에서 획득한 3차원 지오매트리(geometry)에 기초하여, 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는 단계
    를 더 포함하는, 측위 방법.
  8. 제7항에 있어서,
    상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는 단계는
    상기 제2 시점의 최종 위치 정보를 기초로, 상기 제2 시점의 영상과 상기 제2 시점에 대응하는 합성 영상 간의 색상의 차이가 미리 설정된 기준을 벗어나지 않도록 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는 단계
    를 더 포함하는, 측위 방법.
  9. 제7항에 있어서,
    상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는 단계는
    상기 3차원 시맨틱 맵을 상기 제2 시점의 최종 위치 정보에 대응하는 투영면에 투영함으로써, 투영 영상(projected image)을 생성하는 단계;
    상기 제2 시점의 영상에 기초하여, 상기 투영 영상에 컬러를 부여하는 단계; 및
    상기 컬러가 부여된 투영 영상을 상기 3차원 시맨틱 맵에 역투영(inverse projection) 함으로써, 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는 단계
    를 포함하는, 측위 방법.
  10. 제9항에 있어서,
    상기 투영 영상을 생성하는 단계는
    상기 제2 시점의 영상을 촬영한 카메라의 파라미터를 이용하여, 상기 3차원 시맨틱 맵의 일부 영역을 추출하는 단계; 및
    상기 일부 영역을 상기 투영면에 투영하는 단계
    를 포함하는, 측위 방법.
  11. 제9항에 있어서,
    상기 투영 영상에 컬러를 부여하는 단계는
    상기 투영 영상과 상기 제2 시점의 영상 간의 맵핑 관계에 기초하여, 상기 투영 영상에 포함된 픽셀들의 컬러를 결정하는 단계
    를 포함하는, 측위 방법.
  12. 제11항에 있어서,
    상기 픽셀들은
    도로의 표면에 해당하는 표면점들(surface points)에 대응하는, 측위 방법.
  13. 제7항에 있어서,
    상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 이용하여, 상기 제2 시점의 가상 객체를 렌더링하는 단계
    를 더 포함하는, 측위 방법.
  14. 제13항에 있어서,
    상기 렌더링하는 단계는
    상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 이용하여 투명 디스플레이에 표시되는 배경 컬러를 획득하는 단계; 및
    상기 가상 객체의 컬러와 상기 배경 컬러에 기초하여, 상기 가상 객체를 렌더링하는 단계
    를 포함하는, 측위 방법.
  15. 제13항에 있어서,
    상기 렌더링하는 단계는
    상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 이용하여, 상기 가상 객체의 그림자 성분 및 상기 가상 객체에 의한 상호 반사 성분을 렌더링하는 단계
    를 포함하는, 측위 방법.
  16. 하드웨어와 결합되어 제1항 내지 제15항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  17. 제1 시점의 영상 및 제2 시점의 위치 정보를 획득하는 센서들; 및
    상기 제1 시점의 영상에 대응하는 3차원 컬러 맵 및 상기 제2 시점의 위치 정보를 기초로, 제2 시점에 대응하는 합성 영상을 생성하고, 상기 제2 시점에 대응하는 합성 영상 및 상기 제2 시점의 영상에 기초하여 상기 제2 시점의 최종 위치 정보를 결정하는 프로세서
    를 포함하는, 측위 장치.
  18. 제17항에 있어서,
    상기 프로세서는
    상기 제1 시점의 영상에 대응하는 3차원 컬러 맵을, 상기 제 2 시점의 위치 정보에 따라 3차원 시맨틱 맵에 투영하여 상기 합성 영상을 생성하는, 측위 장치.
  19. 제17항에 있어서,
    상기 프로세서는
    상기 제2 시점에 대응하는 합성 영상 및 상기 제2 시점의 영상을 이용하여 상대적인 포즈 정보를 산출하고, 상기 상대적인 포즈 정보를 기초로 상기 제2 시점의 영상에 대응하는 제2 시점의 최종 위치 정보를 결정하는, 측위 장치.
  20. 제17항에 있어서,
    상기 프로세서는
    상기 제2 시점의 영상, 상기 제2 시점의 최종 위치 정보 및 3차원 시맨틱 맵에서 획득한 3차원 지오매트리에 기초하여, 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는, 측위 장치.
  21. 제20항에 있어서,
    상기 프로세서는
    상기 3차원 시맨틱 맵을 상기 제2 시점의 최종 위치 정보에 대응하는 투영면에 투영함으로써 투영 영상을 생성하고, 상기 제2 시점의 영상에 기초하여 상기 투영 영상에 컬러를 부여하며, 상기 컬러가 부여된 투영 영상을 상기 3차원 시맨틱 맵에 역투영 함으로써 상기 제2 시점의 영상에 대응하는 3차원 컬러 맵을 생성하는, 측위 장치.
KR1020180158855A 2018-12-11 2018-12-11 3차원 컬러 맵 기반의 측위 방법 및 장치 KR20200071293A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180158855A KR20200071293A (ko) 2018-12-11 2018-12-11 3차원 컬러 맵 기반의 측위 방법 및 장치
US16/508,513 US10891795B2 (en) 2018-12-11 2019-07-11 Localization method and apparatus based on 3D color map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180158855A KR20200071293A (ko) 2018-12-11 2018-12-11 3차원 컬러 맵 기반의 측위 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200071293A true KR20200071293A (ko) 2020-06-19

Family

ID=70970240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180158855A KR20200071293A (ko) 2018-12-11 2018-12-11 3차원 컬러 맵 기반의 측위 방법 및 장치

Country Status (2)

Country Link
US (1) US10891795B2 (ko)
KR (1) KR20200071293A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210040005A (ko) * 2020-06-22 2021-04-12 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 포지셔닝 방법, 포지셔닝 장치 및 전자 기기
WO2022075607A1 (ko) * 2020-10-06 2022-04-14 광주과학기술원 도로 노면 감지가 가능한 라이다 시스템 및 데이터 처리방법
KR102540632B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113891975A (zh) * 2019-05-31 2022-01-04 卡姆斯企业有限公司 地面接合工具监测系统
US11244193B2 (en) * 2019-08-07 2022-02-08 Here Global B.V. Method, apparatus and computer program product for three dimensional feature extraction from a point cloud
US11568651B2 (en) * 2020-03-23 2023-01-31 Pony Ai Inc. System and method for localization of traffic signs
CN113971715A (zh) * 2020-07-22 2022-01-25 虹软科技股份有限公司 基于深度学习的三维脸部重建的系统
CN112732848B (zh) * 2020-11-03 2023-06-20 四川锐图威视科技有限公司 基于颜色识别的车辆定位方法、装置及计算机可读存储介质
JP2022151012A (ja) * 2021-03-26 2022-10-07 本田技研工業株式会社 地図生成装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
JP5811804B2 (ja) * 2011-11-24 2015-11-11 トヨタ自動車株式会社 車両用周辺監視装置
KR101826364B1 (ko) 2012-03-08 2018-02-06 현대엠엔소프트 주식회사 컬러 지상 라이다 측량 데이터를 이용하여 건물의 3차원 모델링 데이터를 자동으로 생성하기 위한 방법
US9989967B2 (en) 2014-03-04 2018-06-05 Cybernet Systems Corporation All weather autonomously driven vehicles
US10366289B2 (en) * 2016-03-15 2019-07-30 Solfice Research, Inc. Systems and methods for providing vehicle cognition
KR20180050823A (ko) 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
JP6558356B2 (ja) 2016-12-22 2019-08-14 トヨタ自動車株式会社 自動運転システム
JP6645418B2 (ja) 2016-12-27 2020-02-14 トヨタ自動車株式会社 自動運転装置
US10861176B2 (en) * 2018-11-27 2020-12-08 GM Global Technology Operations LLC Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210040005A (ko) * 2020-06-22 2021-04-12 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 포지셔닝 방법, 포지셔닝 장치 및 전자 기기
US11713970B2 (en) 2020-06-22 2023-08-01 Beijing Baidu Netcom Science Technology Co., Ltd. Positioning method, electronic device and computer readable storage medium
WO2022075607A1 (ko) * 2020-10-06 2022-04-14 광주과학기술원 도로 노면 감지가 가능한 라이다 시스템 및 데이터 처리방법
KR102540632B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20200184727A1 (en) 2020-06-11
US10891795B2 (en) 2021-01-12

Similar Documents

Publication Publication Date Title
KR20200071293A (ko) 3차원 컬러 맵 기반의 측위 방법 및 장치
CN110060297B (zh) 信息处理装置、系统、信息处理方法和存储介质
CN111126269B (zh) 三维目标检测方法、装置以及存储介质
JP7269082B2 (ja) 拡張現実で仮想オブジェクトを表示するための測位方法及び装置
CN112419494B (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
JP2021508027A (ja) 不十分な照明条件下で車両を測位するシステムおよび方法
JP2020525809A (ja) 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法
US11282164B2 (en) Depth-guided video inpainting for autonomous driving
CN116485870A (zh) 用于跟踪移动设备的方法和系统
CN114254696A (zh) 基于深度学习的可见光、红外和雷达融合目标检测方法
CN111089597A (zh) 基于图像和地图数据来定位的方法和装置
US11652972B2 (en) Systems and methods for self-supervised depth estimation according to an arbitrary camera
WO2021110497A1 (en) Estimating a three-dimensional position of an object
CN109115232A (zh) 导航的方法和装置
US20230351687A1 (en) Method for detecting and modeling of object on surface of road
JP7337617B2 (ja) 推定装置、推定方法及びプログラム
KR20200142315A (ko) 도로 네트워크를 갱신하는 방법 및 장치
JP5557036B2 (ja) 退出判定装置、退出判定プログラム及び退出判定方法
CN113030960A (zh) 一种基于单目视觉slam的车辆定位方法
WO2020223868A1 (zh) 地面信息处理方法、装置和无人驾驶车辆
JP7423500B2 (ja) 情報処理装置、情報処理方法、プログラムおよび車両制御システム
CN116222592B (zh) 一种基于多源数据的高精地图生成方法及系统
CN117576199A (zh) 一种驾驶场景视觉重建方法、装置、设备及介质
Guo Definitions of perspective diminution factor and foreshortening factor: Applications in the analysis of perspective distortion
CN117271687A (zh) 轨迹回放方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal