KR20210147855A - 시각 특징 맵 생성 방법 및 시스템 - Google Patents

시각 특징 맵 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20210147855A
KR20210147855A KR1020210004235A KR20210004235A KR20210147855A KR 20210147855 A KR20210147855 A KR 20210147855A KR 1020210004235 A KR1020210004235 A KR 1020210004235A KR 20210004235 A KR20210004235 A KR 20210004235A KR 20210147855 A KR20210147855 A KR 20210147855A
Authority
KR
South Korea
Prior art keywords
feature
image
feature points
visual
map
Prior art date
Application number
KR1020210004235A
Other languages
English (en)
Other versions
KR102383499B1 (ko
Inventor
전준호
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Priority to KR1020210004235A priority Critical patent/KR102383499B1/ko
Publication of KR20210147855A publication Critical patent/KR20210147855A/ko
Application granted granted Critical
Publication of KR102383499B1 publication Critical patent/KR102383499B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 개시는 시각 특징 맵 생성 방법에 관한 것이다. 일 예의 시각 특징 맵 생성 방법은, 제1 이미지를 수신하는 단계, 제1 이미지로부터 제1 세트의 특징점을 검출하는 단계, 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계, 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하는 단계 및 제1 세트의 3차원 점군 데이터를 이용하여 제1 세트의 특징점 각각의 3차원 좌표값을 결정하는 단계를 포함한다.

Description

시각 특징 맵 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING VISUAL FEATURE MAP}
본 개시는 시각 특징 맵 생성 방법 및 시스템에 관한 것으로, 구체적으로 시각 정보와 기하 정보를 포함하는 시각 특징 맵 생성 방법 및 시스템에 관한 것이다.
최근 차량의 위치에 기반하여 서비스를 제공하는 사업 모델이 늘어나고 있다. 대표적으로, 차량 네비게이션 서비스가 제공되고 있으며, 서비스 사용자가 꾸준히 증가하고 있다. 이러한 서비스에서 차량의 위치를 정확하게 파악하는 것이 중요하다. 특히, 자율 주행 자동차의 도입으로 차량의 위치 추정 기술의 정확도를 높이기 위한 연구가 활발히 진행되고 있다.
이러한 환경에서 정밀한 위치 추정은 주로 라이다(LiDAR) 센서, 레이더(RADAR) 센서, 고정밀 GPS 모듈, IMU 센서 등의 고가의 장비가 요구되는 문제가 있다. 이러한 고가의 센서는 자율 주행 자동차의 대중화에 걸림돌이 되고 있다. 따라서, 고가의 센서에 대한 의존도를 낮추고, 차량의 위치를 높은 정확도로 추정할 수 있는 기술이 요구된다.
본 개시는 상기와 같은 문제점을 해결하기 위한 시각 특징 맵 생성 방법, 기록 매체에 저장된 컴퓨터 프로그램 및 장치(시스템)를 제공한다. 또한, 카메라로 촬영한 이미지를 이용하여 차량의 위치 및 자세를 인식할 수 있는 위치 추정 방법 및 장치(시스템)가 제공된다.
본 개시는 방법, 장치(시스템) 또는 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 포함한 다양한 방식으로 구현될 수 있다.
본 개시의 일 실시예에 따르면, 적어도 하나의 프로세서에 의해 수행되는 시각 특징 맵 생성 방법은 제1 이미지를 수신하는 단계, 제1 이미지로부터 제1 세트의 특징점을 검출하는 단계, 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계, 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하는 단계 및 제1 세트의 3차원 점군 데이터를 이용하여 제1 세트의 특징점 각각의 3차원 좌표값을 결정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 상술한 시각 특징 맵 생성 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공된다.
본 개시의 일 실시예에 따른 시각 특징 맵 생성 시스템은, 메모리 및 메모리와 연결되고, 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로그램은, 제1 이미지를 수신하고, 제1 이미지로부터 제1 세트의 특징점을 검출하고, 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하고, 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하고, 제1 세트의 3차원 점군 데이터를 이용하여 제1 세트의 특징점 각각의 3차원 좌표값을 결정하기 위한 명령어들을 포함한다.
본 개시의 일 실시예에 따르면, 적어도 하나의 프로세서에 의해 수행되는 위치 추정 방법은 이미지를 수신하는 단계, 이미지로부터 제1 세트의 특징점을 검출하는 단계, 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계, 미리 저장된 제2 세트의 특징점을 수신하는 단계 - 제2 세트의 특징점 각각은 연관된 시각 특징 기술자 및 3차원 좌표값을 포함하거나, 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함함 -, 제1 세트의 특징점의 시각 특징 기술자들과 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭을 수행하는 단계 및 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값, 또는 3차원 좌표값과 촬영 방향 정보에 기초하여 이미지가 촬영된 정밀한 위치 정보 및 이미지의 정밀한 촬영 방향 정보를 추정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 상술한 위치 추정 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공된다.
본 개시의 일 실시예에 따른 컴퓨팅 장치는, 메모리 및 메모리와 연결되고, 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로그램은, 이미지를 수신하고, 이미지로부터 제1 세트의 특징점을 검출하고, 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하고, 미리 저장된 제2 세트의 특징점을 수신하고 - 제2 세트의 특징점 각각은 연관된 시각 특징 기술자 및 3차원 좌표값을 포함하거나, 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함함 -, 제1 세트의 특징점의 시각 특징 기술자들과 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭을 수행하고, 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값, 또는 3차원 좌표값과 촬영 방향 정보에 기초하여 이미지가 촬영된 정밀한 위치 정보 및 이미지의 정밀한 촬영 방향 정보를 추정하기 위한 명령어들을 포함한다.
본 개시의 다양한 실시예에서는 추후 차량 위치 추정 과정에서 쓰이지 않고 방해가 되는 정보를 제거하고 시각 특징 맵을 생성할 수 있다.
본 개시의 다양한 실시예에서는 위치 추정에 불필요한 대부분의 정보를 제거하고, 위치 인식에 필요한 최소한의 시각 정보(시각 특징 기술자)와 기하 정보(3차원 좌표값)를 가진 시각 특징 맵을 생성함으로써, 매우 적은 용량으로 대규모 공간의 맵을 표현할 수 있다.
본 개시의 다양한 실시예에서는 시각 특징 맵이 기하 정보 맵에 비해 상대적으로 저용량의 데이터를 포함하므로, 도시 단위의 넓은 공간의 맵을 별도의 통신 없이 자율 주행 차량 등에 저장할 수 있다. 또한, 차량에 미리 저장된 시각 특징 맵을 이용하여, 차량에서 촬영한 이미지만을 이용하여 차량의 정확한 위치와 자세를 추정할 수 있기 때문에 상대적으로 저렴한 자율주행 플랫폼 개발에 기여할 수 있다.
본 개시의 다양한 실시예에서는 이미지에서 추출되는 시각 특징 기술자는 이미지 촬영 방향에 따라 달라지므로, 시각 특징 기술자와 촬영 방향 정보를 연관시켜 국소 맵에 저장함으로써, 추후 차량 위치 추정 과정에서 차량의 자세(또는 이미지 촬영 방향)와 일치하는 특징점들만 이용해 위치/자세 추정을 수행하여 처리 속도와 정확도를 크게 높일 수 있다.
본 개시의 다양한 실시예에서는 차량은 고가의 고정밀 GPS 모듈 없이, 저가의 이미지 센서, 저가 GPS 모듈 등을 이용하여 차량의 현재 위치와 자세를 높은 정확도로 신속하게 추정할 수 있다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따라 MMS 차량이 LiDAR 센서를 이용하여 3차원 점군 데이터를 획득하는 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따라 MMS 차량, 정보 처리 시스템 및 차량 사이에서 지도 생성 및 위치/자세 추정이 수행되는 방법을 나타내는 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 컴퓨팅 장치 및 정보 처리 시스템의 내부 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따라 이미지에서 특징점들을 검출하는 예시를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 국소 맵 생성 방법의 예시를 나타내는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 국소 맵을 업데이트하는 방법을 나타내는 흐름도이다.
도 7은 본 개시의 일 실시예에 따라 특징 매칭을 수행하여 전역 맵을 생성하는 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따라 생성된 3차원 점군 맵 및 시각 특징 맵을 시각적으로 표시한 예시를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따라 차량의 위치 및 자세를 추정하는 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 예시적인 위치/자세 추정 방법을 나타내는 흐름도이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. 본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만, '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면, '모듈' 또는 '부'는 프로세서 및 메모리로 구현될 수 있다. '프로세서'는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서, '프로세서'는 주문형 반도체(ASIC), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 등을 지칭할 수도 있다. '프로세서'는, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 또한, '메모리'는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. '메모리'는 임의 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 임의 액세스 메모리(NVRAM), 프로그램가능 판독-전용 메모리(PROM), 소거-프로그램가능 판독 전용 메모리(EPROM), 전기적으로 소거가능 PROM(EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
본 개시에서 '3차원 점군 데이터(3D point cloud data)'는 라이다(LiDAR) 센서 등을 이용하여 객체의 표면으로부터 획득된 3차원 데이터일 수 있다. 일 실시예에서, 3차원 점군 데이터 내의 각 점은 연관된 3차원 좌표값을 가질 수 있다. 예를 들어, 3차원 좌표값은 UTM 좌표계로 표현될 수 있다.
본 개시에서 '식별성 점수(distinctiveness score)'는 특징점(keypoint)의 시각 특징 기술자가 다른 특징점과 차별화되는 정도를 나타내는 대한 점수일 수 있다. 일 실시예에서, 미리 생성된 딥러닝 모델을 이용하여 특징점의 식별성 점수를 산출할 수 있다. 예를 들어, 도로 표면, 하늘 등과 같이 도로 주행 중에 등장 빈도가 높은 객체에 낮은 식별성 점수가 부여되고, 도로 표지판, 도로 레이아웃 등과 같이 도로 주행 중에 등장 빈도가 낮은 객체에 높은 식별성 점수가 부여될 수 있다.
본 개시에서 '국소 맵(local map)'은 MMS 차량이 촬영한 이미지들로부터 추출된 특징점들 중 특징 매칭에 성공한 특징점들에 기초하여 생성되는 시각 특징 맵을 지칭할 수 있다. 일 실시예에서, 국소 맵은 MMS 차량이 연속적으로 촬영하는 이미지들로부터 추출되는 특징점들에 기초하여 업데이트될 수 있다.
본 개시에서 '전역 맵'은 국소 맵에 포함된 특징점 중 미리 정해진 횟수 이상 특징 매칭에 성공한 특징점들에 기초하여 생성되는 시각 특징 맵을 지칭할 수 있다. 일 실시예에서, 전역 맵은 국소 맵에 포함된 특징점 중 미리 정해진 비율 이상 특징 매칭에 성공한 특징점들에 기초하여 생성될 수 있다.
도 1은 본 개시의 일 실시예에 따라 MMS(Mobile Mapping System) 차량(110)이 LiDAR(Light Detection And Ranging) 센서(120)를 이용하여 3차원 점군 데이터(3D point cloud data)를 획득하는 예시를 나타내는 도면이다. 일 실시예에서, MMS 차량(110)은 지도 생성이 필요한 영역을 주행하며 라이다 센서(120)를 이용하여 차량 주변(전방, 후방, 측면 등)의 기하 정보(예를 들어, 3차원 점군 데이터)를 획득할 수 있다. 이 경우, MMS 차량(110)은 고가의 고정밀 GPS 모듈(미도시), IMU(Inertial Measurement Unit) 센서(미도시) 등을 이용하여 MMS 차량(110)의 정밀한 위치 정보(fine location information)를 수신하고, 3차원 점군 데이터 내의 각 점에 3차원 좌표값을 부여할 수 있다. 예를 들어, 3차원 점군 데이터 내의 점들의 3차원 좌표값은 UTM(Universal Transverse Mercator) 좌표계로 표현될 수 있다.
일 실시예에서, 라이다(LiDAR) 센서(120)는 다양한 종류의 라이다 센서를 포함할 수 있다. 예를 들어, MMS 차량(110)은 2D 라이다 센서(들)를 이용하여 도로 표면(130)의 기하 정보를 획득하고, 3D 라이다 센서(들)를 이용하여 도로 표지판(140), 건물(150), 식물(160) 등의 비도로 영역(즉, 도로 이외의 영역)의 기하 정보를 획득할 수 있다. 이를 위해, MMS 차량(110)은 미리 저장된 도로 정보를 이용하여 주위의 도로 영역과 비도로 영역을 구분할 수 있다. 예를 들어, 도로 정보는 항공 사진에서 추출된 정보일 수 있다.
추가적으로, MMS 차량(110)은 지도 생성이 필요한 영역을 주행하며 이미지 센서(미도시)를 이용하여 이미지를 연속적으로 촬영할 수 있다. MMS 차량(110)은 촬영되는 각 이미지로부터 특징점들을 검출하고, 검출된 각 특징점의 시각 특징 기술자(visual feature descriptor)를 추출할 수 있다. 예를 들어, 특징점은 촬영된 이미지에 포함된 픽셀들의 밝기 정보, 밝기 정보의 그라디언트(gradient), 에지(edge) 정보, 코너(corner) 정보, 블랍(blob) 정보, 색 정보 등과 같은 로우 레벨(low-level) 정보에 기초하여 검출될 수 있다. 이 경우, 특징점의 주위 영역 내의 로우 레벨 이미지 정보에 기초하여 해당 특징점의 시각 특징 기술자를 추출할 수 있다. 특징점의 위치는 3차원 좌표로 표현될 수 있고, 시각 특징 기술자는 3차원 이상의 벡터로 표현될 수 있다. 예컨대 시각 특징 기술자는 64차원이나 128차원의 벡터로 표현될 수 있다.
일 실시예에서, MMS 차량(110)은 딥러닝 모델을 이용하여 미리 설정된 임계치 이상의 식별성 점수(distinctiveness score)를 가지는 특징점만 사용하도록 구성될 수 있다. 여기서, 식별성 점수는 해당 특징점의 시각 특징 기술자가 다른 특징점과 차별화되는 정도에 대한 점수를 딥러닝 모델이 입력 이미지로부터 예측한 값이다. 예를 들어, 도로 표면(130), 건물(150), 하늘(170) 등과 같이 도로 주행 중에 등장 빈도가 높은 객체에 낮은 식별성 점수가 부여되고, 도로 표지판(140), 도로 레이아웃 등과 같이 도로 주행 중에 등장 빈도가 낮은 객체에 높은 식별성 점수가 부여될 수 있다. 이와 같은 구성에 의해, 다른 특징점들과 특징 매칭을 수행하지 않고도 특징점이 유용한지 알 수 있고, 추후 차량 위치 추정 과정(예, localization)에서 쓰이지 않고 방해가 되는 정보를 제거할 수 있다.
촬영된 이미지로부터 특징점을 검출한 후, MMS 차량(110)은 라이다 센서(120) 등을 이용하여 획득된 3차원 점군 데이터에 기초하여 추출된 특징점들의 3차원 좌표값을 결정할 수 있다. 일 실시예에서, MMS 차량(110)은 미리 설정된 거리 이내(예를 들어, 150 m 이내)에 위치하는 특징점만 사용하도록 구성될 수 있다. MMS 차량(110)과의 거리가 멀면 3차원 좌표값의 오차가 크고, 영상의 해상력이 떨어지며, 추출된 시각 특징 기술자가 너무 넓은 영역을 기술하게 되어 정확도가 떨어질 수 있다. 따라서, MMS 차량(110)은 이미지 센서와 추출된 특징점 사이의 거리를 산출하고, 먼 거리의 특징점을 제외할 수 있다.
일 실시예에서, MMS 차량(110)은 이미지를 촬영한 시점의 차량의 자세를 인식할 수 있다. 예를 들어, 고가의 고정밀 GPS 모듈(미도시), IMU 센서(미도시) 등을 이용하여 MMS 차량(110)의 자세를 인식하고, 인식된 자세 정보를 해당 이미지 촬영 방향 정보로 사용할 수 있다. 이 경우, MMS 차량(110)의 자세 정보(또는 촬영 방향 정보)는 롤(Roll), 피치(pitch), 요(yaw) 값으로 표현될 수 있다. 이미지에서 추출되는 시각 특징 기술자는 이미지가 촬영되는 시점에 따라 달라지기 때문에 이미지 촬영 방향 정보를 시각 특징 기술자와 함께 저장하고, 추후 차량 위치 추정 과정에서 차량의 자세(또는 이미지 촬영 방향)와 일치하는 특징점만 이용해 위치 추정을 수행함으로써 처리 속도와 정확도를 크게 높일 수 있다.
각 이미지 별로 추출되는 특징점들은 각각 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보와 함께 저장될 수 있다. 일 실시예에서, MMS 차량(110)이 주행하며 촬영한 이미지들로부터 추출된 특징점들(시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보 포함)에 기초하여 시각 특징 맵(visual feature map)을 생성할 수 있다. 시각 특징 맵을 생성하는 자세한 방식은 후술된다.
위에서는 MMS 차량(110)이 시각 특징 맵을 생성하는 것으로 설명되었으나 이에 한정되지 않는다. 예를 들어, MMS 차량(110)은 촬영된 이미지, 획득한 3차원 점군 데이터, GPS로부터 수신한 위치 정보, 촬영 방향 정보 등을 외부 장치(예를 들어, 서버)로 전송하고, 외부 장치가 수신한 데이터에 기초하여 시각 특징 맵을 생성할 수 있다. 또한, 도 1에서는 하나의 MMS 차량(110)이 도시되었으나, 외부 장치는 복수의 MMS 차량(110)으로부터 데이터를 수신하여 시각 특징 맵을 생성할 수도 있다.
도 2는 본 개시의 일 실시예에 따라 MMS 차량(210), 정보 처리 시스템(220) 및 차량(230) 사이에서 지도 생성 및 위치/자세 추정이 수행되는 방법을 나타내는 흐름도이다. 도시된 바와 같이, MMS 차량(210)은 지도 생성이 필요한 영역을 주행(예를 들어, 자율 주행)하며 데이터를 수집할 수 있다(212). 일 실시예에서, 수집된 데이터(214)는 MMS 차량(210)이 도로를 주행하며 획득한 3차원 점군 데이터, 촬영한 이미지, 시간에 따른 MMS 차량(210)의 위치/자세 정보 등을 포함할 수 있다. 다른 실시예에서, 수집된 데이터(214)는 촬영 이미지로부터 검출된 특징점들을 포함할 수 있다. 이 경우, 각 특징점은 연관된 시각 특징 기술자, 3차원 좌표값 및 이미지 촬영 방향 정보를 가질 수 있다. MMS 차량(210)은 수집된 데이터(214)를 실시간으로 또는 주기적으로 정보 처리 시스템(220)으로 전송할 수 있다.
MMS 차량(210)으로부터 수신한 데이터(214)에 기초하여, 정보 처리 시스템(220)은 시각 특징 맵을 생성할 수 있다(222). MMS 차량(210)으로부터 3차원 점군 데이터, 촬영 이미지 및 위치 정보를 수신하는 경우, 정보 처리 시스템(220)은 수신된 이미지로부터 특징점을 검출하고, 각 특징점과 연관된 시각 특징 기술자, 3차원 좌표값, 그리고 이미지 촬영 방향 정보를 추출하여 시각 특징 맵을 생성할 수 있다(222). 대안적으로, MMS 차량(210)으로부터 시각 특징 기술자, 3차원 점군 데이터 및 이미지 촬영 방향 정보를 포함하는 특징점의 세트를 수신하는 경우, 정보 처리 시스템(220)은 수신된 데이터(214)에 기초하여 시각 특징 맵을 생성할 수 있다(222).
일 실시예에서, 차량(230)은 도로 주행 시 현재 위치/자세를 추정하기 위하여 정보 처리 시스템(220)에 맵 요청(232)을 전송할 수 있다. 차량(230)은 MMS 차량(210)에 장착되는 고가의 고정밀 GPS 모듈을 장착하지 않은 일반적인 승용차일 수 있다. 예를 들어, 차량(230)은 이미지 촬영을 위한 이미지 센서를 장착한 임의의 차량(230)일 수 있으며, 저가의 GPS 모듈을 선택적으로 포함할 수 있다.
맵 요청(232)을 수신하는 것에 응답하여, 정보 처리 시스템(220)은 맵 데이터(234)를 차량(230)으로 전송할 수 있다. 일 실시예에서, 정보 처리 시스템(220)은 저장된 전체 맵 데이터(234)를 차량(230)으로 전송할 수 있다. 다른 실시예에서, 맵 요청(232)이 위치 정보를 포함하고, 정보 처리 시스템(220)이 맵 요청(232)에 포함된 위치 정보에 기초하여 전체 맵 데이터(234) 중 일부를 차량(230)으로 전송할 수 있다. 예를 들어, 정보 처리 시스템(220)이 차량(230)의 현재 위치(대략적인 위치) 반경 150 m 내의 맵 데이터(234)를 차량(230)으로 전송할 수 있다.
차량(230)은 도로를 주행하면서 이미지 센서를 이용하여 전방, 후방 등의 주변 이미지를 촬영할 수 있다(236). 이 후, 차량(230)은 시각 특징 맵을 생성할 때 사용된 것과 동일한 방법을 사용하여 촬영된 이미지로부터 특징점들을 검출하고, 검출된 각 특징점의 시각 특징 기술자를 추출할 수 있다. 추출된 시각 특징 기술자를 수신된 맵 데이터(234)에 포함된 특징점들의 시각 특징 기술자들과 비교함으로써, 차량(230)은 정밀한 위치 및 자세를 추정할 수 있다(238). 예를 들어, 차량(230)은 촬영 이미지로부터 추출된 시각 특징 기술자들과 유사한 맵 데이터(234) 내의 시각 특징 기술자들을 식별하고, 식별된 시각 특징 기술자들과 연관된 3차원 좌표값 및 이미지 촬영 방향 정보에 기초하여 차량(230)의 정밀한 위치와 자세를 추정할 수 있다(238).
도 2에서는 차량(230)이 정보 처리 시스템(220)으로부터 맵 데이터(234)를 수신하여 위치/자세 추정을 수행하는 것으로 도시되었으나, 이에 한정되지 않는다. 예를 들어, 차량(230)이 촬영한 이미지를 정보 처리 시스템(220)으로 전송하고, 정보 처리 시스템(220)이 수신한 이미지에 기초하여 차량(230)의 위치/자세를 추정할 수 있다. 이 경우, 정보 처리 시스템(220)은 추정된 위치/자세 정보를 차량(230)으로 전송할 수 있다. 대안적으로, 차량(230)은 정보 처리 시스템(220)으로 맵 요청(232)을 전송하지 않고, 차량(230)에 미리 저장된 맵을 이용하여 현재 위치 및 자세를 추정할 수 있다(238). 상술한 구성에 의해, 차량(230)은 고가의 고정밀 GPS 모듈 없이, 저가의 이미지 센서, 저가 GPS 모듈 등을 이용하여 차량(230)의 현재 위치와 자세를 높은 정확도로 신속하게 추정할 수 있다.
도 3은 본 개시의 일 실시예에 따른 컴퓨팅 장치(310) 및 정보 처리 시스템(220)의 내부 구성을 나타내는 블록도이다. 컴퓨팅 장치(310)는 이미지 처리가 가능하고 유/무선 통신이 가능한 임의의 장치를 지칭할 수 있으며, 예를 들어, 도 2의 MMS 차량(210), 차량(230) 등을 포함할 수 있다. 도시된 바와 같이, 컴퓨팅 장치(310)는 메모리(3 12), 프로세서(314), 통신 모듈(316) 및 입출력 인터페이스(318)를 포함할 수 있다. 이와 유사하게, 정보 처리 시스템(220)은 메모리(342), 프로세서(344), 통신 모듈(346) 및 입출력 인터페이스(348)를 포함할 수 있다. 도 3에 도시된 바와 같이, 컴퓨팅 장치(310) 및 정보 처리 시스템(220)은 각각의 통신 모듈(316, 346)을 이용하여 네트워크(330)를 통해 정보 및/또는 데이터를 통신할 수 있도록 구성될 수 있다. 또한, 입출력 장치(320)는 입출력 인터페이스(318)를 통해 컴퓨팅 장치(310)에 정보 및/또는 데이터를 입력하거나 컴퓨팅 장치(310)로부터 생성된 정보 및/또는 데이터를 출력하도록 구성될 수 있다.
메모리(312, 342)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 실시예에 따르면, 메모리(312, 342)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리(312, 342)와는 구분되는 별도의 영구 저장 장치로서 컴퓨팅 장치(310) 또는 정보 처리 시스템(220)에 포함될 수 있다. 또한, 메모리(312, 342)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다.
이러한 소프트웨어 구성요소들은 메모리(312, 342)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독가능한 기록매체는 이러한 컴퓨팅 장치(310) 및 정보 처리 시스템(220)에 직접 연결가능한 기록 매체를 포함할 수 있는데, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 예로서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(316, 346)을 통해 메모리(312, 342)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크(330)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 메모리(312, 342)에 로딩될 수 있다.
프로세서(314, 344)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(312, 342) 또는 통신 모듈(316, 346)에 의해 프로세서(314, 344)로 제공될 수 있다. 예를 들어, 프로세서(314, 344)는 메모리(312, 342)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(316, 346)은 네트워크(330)를 통해 컴퓨팅 장치(310)와 정보 처리 시스템(220)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있으며, 컴퓨팅 장치(310) 및/또는 정보 처리 시스템(220)이 다른 컴퓨팅 장치(310) 또는 다른 시스템(일례로 별도의 클라우드 시스템 등)과 통신하기 위한 구성 또는 기능을 제공할 수 있다. 일례로, 컴퓨팅 장치(310)의 프로세서(314)가 메모리(312) 등과 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청 또는 데이터는 통신 모듈(316)의 제어에 따라 네트워크(330)를 통해 정보 처리 시스템(220)으로 전달될 수 있다. 역으로, 정보 처리 시스템(220)의 프로세서(344)의 제어에 따라 제공되는 제어 신호나 명령이 통신 모듈(346)과 네트워크(330)를 거쳐 컴퓨팅 장치(310)의 통신 모듈(316)을 통해 컴퓨팅 장치(310)에 수신될 수 있다.
입출력 인터페이스(318)는 입출력 장치(320)와의 인터페이스를 위한 수단일 수 있다. 일 예로서, 입력 장치는 오디오 센서 및/또는 이미지 센서를 포함한 카메라, 키보드, 마이크로폰, 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다. 다른 예로, 입출력 인터페이스(318)는 터치스크린 등과 같이 입력과 출력을 수행하기 위한 구성 또는 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 컴퓨팅 장치(310)의 프로세서(314)가 메모리(312)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 정보 처리 시스템(220)이나 다른 컴퓨팅 장치가 제공하는 정보 및/또는 데이터를 이용하여 구성되는 서비스 화면 등이 입출력 인터페이스(318)를 통해 디스플레이에 표시될 수 있다. 도 3에서는 입출력 장치(320)가 컴퓨팅 장치(310)에 포함되지 않도록 도시되어 있으나, 이에 한정되지 않으며, 컴퓨팅 장치(310)와 하나의 장치로 구성될 수 있다. 또한, 정보 처리 시스템(220)의 입출력 인터페이스(348)는 정보 처리 시스템(220)과 연결되거나 정보 처리 시스템(220)이 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 도 3에서는 입출력 인터페이스(318, 348)가 프로세서(314, 344)와 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(318, 348)가 프로세서(314, 344)에 포함되도록 구성될 수 있다.
컴퓨팅 장치(310) 및 정보 처리 시스템(220)은 도 3의 구성요소들보다 더 많은 구성요소들을 포함할 수 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 일 실시예에 따르면, 컴퓨팅 장치(310)는 상술된 입출력 장치(320) 중 적어도 일부를 포함하도록 구현될 수 있다. 또한, 컴퓨팅 장치(310)는 GPS(Global Positioning system) 모듈, 2D 및 3D 라이다(LiDAR) 센서, 휠 인코더(Wheel Encoder), IMU(Inertial Measurement Unit), 트랜시버(transceiver), 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수 있다.
일 실시예에 따르면, 컴퓨팅 장치(310)의 프로세서(314)는 이미지로부터 특징점을 검출하고, 검출된 특징점의 시각 특징 기술자를 추출하도록 구성될 수 있다. 이 때, 이와 연관된 프로그램 코드가 컴퓨팅 장치(310)의 메모리(312)에 로딩될 수 있다. 프로그램 코드가 동작되는 동안에, 컴퓨팅 장치(310)의 프로세서(314)는 입출력 장치(320)로부터 제공된 정보 및/또는 데이터를 입출력 인터페이스(318)를 통해 수신하거나 통신 모듈(316)을 통해 정보 처리 시스템(220)으로부터 정보 및/또는 데이터를 수신할 수 있으며, 수신된 정보 및/또는 데이터를 처리하여 메모리(312)에 저장할 수 있다. 또한, 이러한 정보 및/또는 데이터는 통신 모듈(316)을 통해 정보 처리 시스템(220)에 제공할 수 있다.
프로세서(314)는 입출력 인터페이스(318)와 연결된 이미지 센서, 라이다 센서, GPS 모듈, IMU 센서, 터치 스크린, 키보드, 오디오 센서 등의 입력 장치를 통해 이미지, 영상, 입력되거나 선택된 텍스트 등을 수신할 수 있으며, 수신된 이미지, 3차원 점군 데이터, 위치 정보, 차량 자세 정보(또는 이미지 촬영 방향 정보), 텍스트 등을 메모리(312)에 저장하거나 통신 모듈(316) 및 네트워크(330)를 통해 정보 처리 시스템(220)에 제공할 수 있다. 일 실시예에서, 프로세서(314)는 입력 장치를 통해 수신한 촬영 이미지, 3차원 점군 데이터, 위치 정보, 차량 자세 정보(또는 이미지 촬영 방향 정보)를 네트워크(330) 및 통신 모듈(316)을 통해 정보 처리 시스템(220)에 제공할 수 있다. 대안적으로, 프로세서(314)는 촬영 이미지로부터 특징점을 검출하고, 검출된 특징점과 연관된 시각 특징 기술자, 3차원 좌표값, 이미지 촬영 방향 정보 등을 추출하여 정보 처리 시스템(220)에 제공할 수 있다.
정보 처리 시스템(220)의 프로세서(344)는 복수의 컴퓨팅 장치 및/또는 복수의 외부 시스템으로부터 수신된 정보 및/또는 데이터를 관리, 처리 및/또는 저장하도록 구성될 수 있다. 일 실시예에서, 프로세서(344)는 컴퓨팅 장치(310)로부터 수신한 데이터에 기초하여, 지도 데이터베이스(예를 들어, 시각 특징 맵)를 생성할 수 있다. 추가적으로 또는 대안적으로, 프로세서(344)는 지도 데이터베이스 등을 컴퓨팅 장치(310)로 전송할 수 있다.
도 4는 본 개시의 일 실시예에 따라 이미지(400)에서 특징점들을 검출하는 예시를 나타내는 도면이다. 이미지(400)는 MMS 차량(예를 들어, 도 2의 210) 또는 차량(예를 들어, 도 2의 230)이 도로를 주행하며 전방 방향을 촬영한 이미지(400)일 수 있다. MMS 차량 또는 차량의 프로세서는 이미지(400)로부터 특징점들을 검출할 수 있다. 도시된 바와 같이, 특징점들은 이미지(400) 상에 점으로 표시될 수 있다. 특징점들이 검출된 후, 프로세서는 각 특징점의 시각 특징 기술자를 추출할 수 있다. 예를 들어, 시각 특징 기술자는 특징점 주위의 시각 정보(예를 들어, 로우 레벨 정보)를 나타내는 128차원의 벡터일 수 있다.
일 실시예에서, 프로세서는 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점만 검출할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 미리 설정된 거리 이내에 위치하는 특징점만 검출할 수 있다. 맵을 생성하기 위한 데이터를 수집하는 MMS 차량과 위치/자세 추정이 필요한 차량은 동일, 유사한 방식으로 특징점들을 검출하고, 특징점들의 시각 특징 기술자들을 추출하도록 구성될 수 있다. 예를 들어, MMS 차량은 미리 설정된 임계치 이상의 식별성 점수를 가지면서 미리 설정된 거리 이내에 위치하는 특징점들을 검출할 수 있다. 반면, 위치/자세 추정이 필요한 차량은 라이다 센서 등과 같은 고가의 센서가 장착되어 있지 않으므로, 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점을 검출할 수 있다. 위와 같은 방식에 의해 특징점들을 검출함으로써, 다른 특징점들과 구분되는 유용한 특징점들만 맵 생성 및/또는 차량 위치/자세 추정시에 사용할 수 있다.
도 5는 본 개시의 일 실시예에 따른 국소 맵 생성 방법(500)의 예시를 나타내는 흐름도이다. 일 실시예에서, 국소 맵 생성 방법(500)은 MMS 차량(예를 들어, MMS 차량의 프로세서)에 의해 수행될 수 있다. 다른 실시예에서, 국소 맵 생성 방법(500)은 정보 처리 시스템(예를 들어, 정보 처리 시스템의 프로세서)에 의해 수행될 수 있다. 또 다른 실시예에서, 정보 처리 시스템과 MMS 차량이 국소 맵 생성 방법(500)의 단계들을 나누어 수행할 수 있다.
도시된 바와 같이, 국소 맵 생성 방법(500)은 프로세서가 제1 이미지 및 제2 이미지를 수신함으로써 개시될 수 있다(S510). 예를 들어, 프로세서는 이미지 센서로부터 이미지를 수신할 수 있다. 대안적으로, 프로세서는 통신 모듈을 통해 외부 장치로부터 이미지를 수신할 수 있다. 제1 이미지 및 제2 이미지는 MMS 차량이 주행하며 순차적으로 촬영한 이미지일 수 있다. 일 실시예에서, 프로세서는 각 이미지의 촬영 방향 정보도 함께 수신할 수 있다. 예를 들어, 이미지의 촬영 방향 정보는 차량의 자세 정보로서, 롤(Roll), 피치(pitch), 요(yaw) 값으로 표현될 수 있다.
이미지를 수신하는 것에 응답하여, 프로세서는 제1 이미지 및 제2 이미지로부터 제1 세트의 특징점과 제2 세트의 특징점을 각각 검출할 수 있다(S520). 일 실시예에서, 프로세서는 제1 이미지로부터 복수의 특징점을 검출하고, 검출된 복수의 특징점 중 미리 설정된 거리 이내에 위치하는 특징점들을 식별할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 제1 이미지로부터 복수의 특징점을 검출하고, 검출된 복수의 특징점 각각의 식별성 점수를 산출하고, 복수의 특징점 중 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점들을 식별할 수 있다. 제2 세트의 특징점은 제1 세트의 특징점을 검출한 것과 동일한 방식으로 검출될 수 있다. 이미지로부터 특징점을 검출한 후, 프로세서는 제1 세트의 특징점 각각의 시각 특징 기술자와 제2 세트의 특징점 각각의 시각 특징 기술자를 추출할 수 있다(S530).
또한, 프로세서는 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하고, 제2 이미지가 촬영된 위치와 연관된 제2 세트의 3차원 점군 데이터를 수신할 수 있다(S540). 예를 들어, 제1 세트 및 제2 세트의 3차원 점군 데이터는 각각 제1 이미지 및 제2 이미지가 촬영된 위치 주변 사물 표면의 3차원 좌표값을 포함할 수 있다. 일 실시예에서, 프로세서는 2D LiDAR 센서를 이용하여 각 이미지가 촬영된 위치 주변의 도로 표면의 기하 정보를 획득하고, 3D LiDAR 센서를 이용하여 각 이미지가 촬영된 위치 주변의 비도로 영역의 기하 정보를 획득할 수 있다.
제1 세트 및 제2 세트의 3차원 점군 데이터를 이용하여, 프로세서는 제1 세트 및 제2 세트의 특징점 각각의 3차원 좌표값을 결정할 수 있다(S550). 예를 들어, 프로세서는 제1 세트의 특징점이 검출된 제1 이미지 상에 제1 이미지와 연관된 제1 세트의 3차원 점군 데이터를 투사(projection)하여, 제1 세트의 특징점 각각의 3차원 좌표값을 결정할 수 있다. 예를 들어, 프로세서는 각 특징점 상에 투사된 점군 데이터의 좌표값에 기초하여, 각 특징점의 좌표값을 결정할 수 있다. 예를 들어, 제1 특징점 상에 점군 데이터 중 제1 포인트가 투사되었다면, 프로세서는 제1 특징점의 좌표값을 제1 포인트의 좌표값으로 결정할 수 있다. 프로세서는 제2 세트의 특징점 각각의 3차원 좌표값을 제1 세트의 특징점과 동일한 방식으로 결정할 수 있다.
그 후, 프로세서는 제1 세트의 특징점의 시각 특징 기술자들과 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭(feature matching)을 수행할 수 있다(S560). 여기서 특징 매칭에 성공하기 위해 두 특징점의 시각 특징 기술자들이 가장 높은 유사도를 가지고, 그 유사도가 다른 특징점과의 유사도에 비해 미리 정해진 차이 이상 높아야 한다. 예를 들어, 특징점 A와 특징점 B의 시각 특징 기술자들의 유사도가 0.9로 가장 높고, 특징점 A와 특징점 C의 시각 특징 기술자들의 유사도가 0.4로 두번째로 높은 경우, 특징점 A와 특징점 B의 유사도가 가장 높으면서 다른 특징점과의 유사도에 비해 미리 정해진 차이(예를 들어, 0.4) 이상 높으므로, 프로세서는 특징점 A와 특징점 B가 특징 매칭에 성공하였다고 판단할 수 있다. 반면, 특징점 A와 특징점 B의 시각 특징 기술자들의 유사도가 0.9로 가장 높고, 특징점 A와 특징점 C의 시각 특징 기술자들의 유사도가 0.7로 두번째로 높은 경우, 특징점 A와 특징점 B의 유사도가 가장 높지만 다른 특징점과의 유사도에 비해 미리 정해진 차이(예를 들어, 0.4) 이상 높지 않으므로, 프로세서는 특징점 A와 특징점 B가 특징 매칭에 실패하였다고 판단할 수 있다.
특징 매칭 수행 후, 프로세서는 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들을 포함하는 국소 맵(예를 들어, 초기 국소 맵)을 생성할 수 있다(S570). 구체적으로, 프로세서는 제2 이미지의 촬영 방향 정보를 수신하고, 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들 각각에 대해서 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 연관시켜 국소 맵에 저장할 수 있다. 이미지에서 추출되는 시각 특징 기술자는 이미지 촬영 방향에 따라 달라지므로, 시각 특징 기술자와 촬영 방향 정보를 연관시켜 국소 맵에 저장함으로써, 추후 차량 위치/자세 추정의 정확도를 높일 수 있다.
도 5에서는 프로세서가 제1 이미지와 제2 이미지를 수신한 후에, 각 이미지의 특징점들을 검출하고, 특징점들의 시각 특징 기술자들을 추출하고, 각 특징점의 3차원 좌표값을 결정하는 것으로 도시되었으나, 이에 한정되지 않는다. 예를 들어, 프로세서가 제1 이미지를 수신하고, 제1 이미지로부터 특징점들을 검출하고, 특징점들의 시각 특징 기술자들을 추출하고, 각 특징점의 3차원 좌표값을 결정한 후에, 제2 이미지를 수신하고, 제2 이미지로부터 특징점들을 검출하고, 특징점들의 시각 특징 기술자들을 추출하고, 각 특징점의 3차원 좌표값을 결정할 수 있다.
도 6은 본 개시의 일 실시예에 따른 국소 맵을 업데이트하는 방법(600)을 나타내는 흐름도이다. 도시된 바와 같이, 국소 맵을 업데이트하는 방법(600)은 프로세서가 제3 이미지를 수신함으로써 개시될 수 있다(S610). 제3 이미지는 제1 이미지 및 제2 이미지의 후속 이미지일 수 있다. 일 실시예에서, 프로세서는 제3 이미지의 촬영 방향 정보도 함께 수신할 수 있다.
프로세서는 제3 이미지로부터 제3 세트의 특징점을 검출할 수 있다(S620). 또한, 프로세서는 제3 세트의 특징점 각각의 시각 특징 기술자를 추출할 수 있다(S630). 이 경우, 프로세서는 제1 및 제2 이미지로부터 특징점들을 검출하고 시각 특징 기술자들을 추출한 것과 동일한 방식으로 제3 이미지로부터 제3 세트의 특징점을 검출하고, 제3 세트의 특징점 각각의 시각 특징 기술자를 추출할 수 있다.
또한, 프로세서는 제3 이미지가 촬영된 위치와 연관된 제3 세트의 3차원 점군 데이터를 수신할 수 있다(S640). 예를 들어, 제3 세트의 3차원 점군 데이터는 제3 이미지가 촬영된 위치 주변 사물 표면의 3차원 좌표값을 포함할 수 있다. 제3 세트의 점군 데이터를 이용하여, 프로세서는 제3 세트의 특징점 각각의 3차원 좌표값을 결정할 수 있다(S650). 예를 들어, 프로세서는 제3 세트의 특징점이 검출된 제3 이미지 상에 제3 이미지와 연관된 제3 세트의 3차원 점군 데이터를 투사(projection)하여, 제3 세트의 특징점 각각의 3차원 좌표값을 결정할 수 있다.
그 후, 프로세서는 제3 세트의 특징점의 시각 특징 기술자들과 미리 생성된 국소 맵(예를 들어, 도 5의 초기 국소 맵) 내의 특징점들의 시각 특징 기술자들을 비교하여 특징 매칭을 수행할 수 있다. 특징 매칭 수행 결과에 기초하여, 프로세서는 제3 세트의 특징점 각각이 국소 맵 내의 특징점들과 특징 매칭에 성공했는지 여부를 판정할 수 있다(S660). 프로세서는 제3 세트의 특징점 중 특징 매칭에 성공한 특징점들에 기초하여, 국소 맵 내의 특징점을 업데이트할 수 있다(S670). 여기서 국소 맵 내의 특징점을 업데이트한다는 것은, 국소 맵에 저장된 특징점과 연관된 정보를 업데이트하는 것일 수 있다. 예를 들어, 프로세서는 특징 매칭에 성공한 특징점 쌍의 시각 특징 기술자들의 평균값을 산출하여, 국소 맵을 업데이트할 수 있다. 추가적으로, 프로세서는 특징 매칭에 성공한 특징점 쌍의 촬영 방향 정보의 평균값을 산출하여, 국소 맵을 업데이트할 수 있다. 대안적으로, 프로세서는 특징 매칭에 성공한 특징점 쌍의 촬영 방향 정보를 연관시켜 국소 맵에 함께 저장할 수 있다.
추가적으로, 프로세서는 제3 세트의 특징점 중 국소 맵 내의 특징점과 특징 매칭에 실패한 특징점들의 시각 특징 기술자들과 직전 이미지의 시각 특징 기술자들(예를 들어, 제2 이미지의 제2 세트의 특징점의 시각 특징 기술자들)을 비교하여 특징 매칭을 수행하고, 특징 매칭 성공 여부를 판정할 수 있다(S680). 특징 매칭을 수행한 결과, 프로세서는 특징 매칭에 성공한 특징점들을 국소 맵에 추가할 수 있다(S690). 구체적으로, 특징 매칭에 성공한 특징점들 각각에 대해서 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 연관시켜 국소 맵에 저장할 수 있다. 특징 매칭을 통하여 국소 맵에 새롭게 추가된 특징점들은 후속 이미지와의 특징 매칭 시 사용될 수 있다.
도 7은 본 개시의 일 실시예에 따라 특징 매칭(722, 724)을 수행하여 전역 맵(740)을 생성하는 예시를 나타내는 도면이다. 일 실시예에서, 프로세서는 MMS 차량이 지도 생성이 필요한 영역을 주행하며 촬영한 이미지들을 순차적으로 수신하고 처리할 수 있다. 구체적으로, 프로세서는 수신되는 현재 이미지(720)와 국소 맵(730) 사이의 특징 매칭(722), 그리고 현재 이미지(720)와 직전 이미지(710) 사이의 특징 매칭(724)에 기초하여 국소 맵(730)을 업데이트하거나 국소 맵(730)에 새로운 특징점을 추가할 수 있다. 또한, 국소 맵(730)에 포함된 특징점 중 추적 가능한 특징점(732)을 이용하여 전역 맵(740)을 생성할 수 있다.
일 실시예에서, 프로세서는 현재 이미지(720)로부터 특징점들을 검출하고, 각 특징점의 시각 특징 기술자를 추출하고, 각 특징점의 3차원 좌표값을 결정할 수 있다. 또한, 프로세서는 현재 이미지(720)의 촬영 방향 정보를 수신할 수 있다. 그 후, 프로세서는 현재 이미지(720)의 특징점들의 시각 특징 기술자들과 국소 맵(730)에 포함된 특징점들의 시각 특징 기술자들을 비교하여 특징 매칭(722)을 수행할 수 있다.
프로세서는 현재 이미지(720)의 특징점 중 특징 매칭(722)에 성공한 특징점들에 기초하여 국소 맵(730)을 업데이트할 수 있다. 예를 들어, 현재 이미지(720)의 특징점 A와 국소 맵(730) 내의 특징점 B가 특징 매칭(722)에 성공한 경우, 프로세서는 특징 매칭(722)에 성공한 특징점 쌍(특징점 A와 특징점 B)의 시각 특징 기술자들의 평균값을 산출하고, 국소 맵(730) 내의 특징점 B의 시각 특징 기술자를 산출된 평균값으로 업데이트 할 수 있다. 추가적으로, 프로세서는 특징 매칭(722)에 성공한 특징점 쌍(특징점 A와 특징점 B)의 촬영 방향 정보의 평균값을 산출하고, 국소 맵(730) 내의 특징점 B의 촬영 방향 정보를 산출된 평균값으로 업데이트 할 수 있다. 대안적으로, 프로세서는 특징 매칭(722)에 성공한 현재 이미지(720)의 특징점 A의 촬영 방향 정보를 국소 맵(730) 내의 특징점 B의 촬영 방향 정보와 연관시켜 저장할 수 있다.
그 후, 프로세서는 현재 이미지(720)의 특징점들 중 특징 매칭(722)에 실패한 특징점들과 직전 이미지(710)의 특징점들 사이의 특징 매칭(724)을 수행할 수 있다. 예를 들어, 프로세서는 현재 이미지(720)의 특징점들 중 특징 매칭(722)에 실패한 특징점들의 시각 특징 기술자들과 직전 이미지(710)의 특징점들의 시각 특징 기술자들을 비교할 수 있다. 이 때, 프로세서는 특징 매칭(724)에 성공한 특징점들을 국소 맵(730)에 추가할 수 있다. 구체적으로, 현재 이미지(720)의 특징점들 중 특징 매칭(724)에 성공한 하나 이상의 특징점들을, 각각의 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보와 연관시켜, 국소 맵(730)에 저장할 수 있다.
프로세서는 연속하여 수신되는 이미지들에 대해 상술한 처리를 반복적으로 수행할 수 있다. 이에 따라 국소 맵(730)에 포함된 특징점은 계속해서 업데이트 되거나, 새로운 특징점이 국소 맵(730)에 추가될 수 있다. 이 과정에서, 프로세서는 국소 맵(730)에 포함된 특징점들 중 미리 정해진 횟수(예를 들어, 10회) 이상 특징 매칭에 실패한 특징점을 국소 맵(730)에서 제거할 수 있다. 예를 들어, 수신되는 이미지 10장에 대해서 특징 매칭에 실패한 국소 맵(730) 내의 특징점은 제거될 수 있다.
반면, 프로세서는 국소 맵(730)에 포함된 특징점들 중 미리 정해진 횟수(예를 들어, 10회) 이상 특징 매칭에 성공한 특징점에 기초하여 전역 맵(740)을 생성할 수 있다. 예를 들어, 수신되는 이미지 10장에 대해서 특징 매칭에 성공한 국소 맵(730) 내의 특징점은 추적 가능한 특징점(732)으로서 전역 맵(740)에 추가될 수 있다. 특징 매칭에 성공하거나 실패한 횟수는 연속적 또는 비연속적으로 카운팅될 수 있다. 다른 실시예에서, 프로세서는 미리 정해진 횟수가 아닌 미리 정해진 비율(예를 들어, 20개의 이미지 중 50% 이상)에 기초하여 국소 맵(730) 내의 특징점을 제거하거나 전역 맵(740)에 추가할 수 있다.
최종적으로 생성되는 전역 맵(740)은 시각 특징 맵으로써 사용될 수 있다. 위와 같은 구성에 의해, 국소 맵(730)은 특징 매칭에 적합한 특징점만을 포함할 수 있고, 국소 맵(730)에서 추적 가능한 특징점만을 전역 맵(740)에 추가함으로써, 매우 적은 용량으로 시각 특징 맵을 생성할 수 있다. 즉, 위치 추정에 불필요한 대부분의 정보를 제거하고, 위치 추정에 필요한 최소한의 시각 정보(시각 특징 기술자)와 기하 정보(3차원 좌표값)를 가진 시각 특징 맵을 생성함으로써, 매우 적은 용량으로 대규모 공간의 맵을 표현할 수 있다.
도 8은 본 개시의 일 실시예에 따라 생성된 3차원 점군 맵(810) 및 시각 특징 맵(820)을 시각적으로 나타낸 예시이다. 일 실시예에서, 프로세서는 라이다 센서를 이용하여 MMS 차량이 주행하는 주변의 3차원 점군 데이터를 획득할 수 있다. 또한, 프로세서는 고가의 고정밀 GPS 모듈, IMU 센서 등을 이용하여 MMS 차량의 정밀한 위치 정보를 수신하고, 라이다 센서를 이용하여 획득되는 3차원 점군 데이터에 3차원 좌표값을 부여할 수 있다. 3차원 점군 맵(810)은 MMS 차량이 주행한 지역의 3차원 점군 데이터 내의 점들의 3차원 좌표값을 UTM 좌표계로 표현한 예시이다. 예를 들어, 3차원 점군 맵(810)은 MMS 차량 주변의 도로 영역 및 비도로 영역으로부터 추출된 모든 3차원 점군 데이터를 포함할 수 있다.
시각 특징 맵(820)은 도 5 내지 도 7의 방식에 따라 생성된 전역 맵의 예시이다. 즉, MMS 차량이 도로를 주행하면서 순차적으로 촬영한 이미지로부터 특징점들을 검출하고, 검출된 특징점들 중 추적 가능한 특징점들의 3차원 좌표값을 UTM 좌표계로 표시한 예시이다. 시각 특징 맵(820)이 아무리 많은 3차원 점군 데이터 및 시각 특징 기술자를 포함하더라도, 특징 매칭 시 유니크(unique)하게 매칭되지 않으면 정확한 차량의 위치 추정이 불가능하다. 따라서, 식별성이 있으면서 시점 변화에 강인한 추적 가능한 특징점들만을 이용하여 시각 특징 맵(820)을 생성하는 것이 바람직하다. 시각 특징 맵(820) 내의 각 점은 연관된 시각 특징 기술자, 3차원 좌표값, 그리고 촬영 방향 정보를 포함할 수 있다.
도시된 바와 같이, 3차원 점군 맵(810)에 포함된 3차원 점군 데이터 중 일부(추적 가능한 특징점들)를 이용하여 시각 특징 맵(820)을 생성함으로써, 최소한의 정보로 대규모 공간을 나타내는 맵을 생성할 수 있다. 이와 같이 생성된 시각 특징 맵(820)은 기하 정보 맵에 비해 상대적으로 저용량의 데이터를 가지므로, 도시 단위의 넓은 공간의 맵을 별도의 통신 없이 자율 주행 차량 등에 저장할 수 있다. 또한 차량에 미리 저장된 시각 특징 맵(820)을 이용하여, 차량에서 촬영한 이미지에 기초하여 차량의 정확한 위치와 자세를 추정할 수 있기 때문에 상대적으로 저렴한 자율주행 플랫폼을 제공할 수 있다.
도 9는 본 개시의 일 실시예에 따라 차량(910)의 위치 및 자세를 추정하는 예시를 나타내는 도면이다. 차량(910)은 MMS 차량(예를 들어, 도 2의 210)에 장착되는 고가의 고정밀 GPS 모듈을 장착하지 않은 일반적인 승용차일 수 있다. 예를 들어, 차량(910)은 이미지 촬영을 위한 이미지 센서를 장착한 임의의 차량(910)일 수 있으며, 저가의 GPS 모듈을 선택적으로 포함할 수 있다.
일 실시예에서, 차량(910)은 외부 장치(예를 들어, 맵 서버)로부터 시각 특징 맵을 수신할 수 있다. 이때, 차량(910)은 저가의 GPS 모듈로부터 수신한 차량(910)의 대략적인 위치 정보에 기초하여, 시각 특징 맵 중 일부(예를 들어, 차량(910) 주변의 맵 데이터)를 수신할 수 있다. 예를 들어, 시각 특징 맵이 20 m * 20 m 범위를 나타내는 맵 데이터의 집합인 경우, 차량(910)은 대략적인 위치 정보에 기초하여 주변 반경 약 150 m 내의 맵 데이터를 수신할 수 있다. 따라서, 차량(910)의 위치 추정에 필요한 시각 특징 기술자의 검색 범위를 쉽게 줄일 수 있고, 맵 데이터를 수신한 후에는 외부 장치와 추가적인 통신을 필요로 하지 않으므로, 외부 장치와의 통신을 최소화할 수 있다. 대안적으로, 차량(910)은 내부 메모리에 미리 저장된 시각 특징 맵을 이용할 수 있다. 이 경우, 차량(910)은 저가의 GPS 모듈로부터 수신한 차량(910)의 대략적인 위치 정보에 기초하여, 미리 저장된 시각 특징 맵 중 일부를 위치/자세 추정을 위해 사용할 수 있다.
차량(910)의 위치 및 자세 추정을 위해, 차량(910)은 도로를 주행하며 이미지를 촬영할 수 있다. 그 후, 차량(910)은 촬영된 이미지로부터 특징점들을 검출하고, 검출된 특징점들의 시각 특징 기술자들을 추출할 수 있다. 이 경우, 차량(910)은 시각 특징 맵을 생성하는데 사용된 것과 동일한 방식을 사용하여 특징점을 검출하고, 시각 특징 기술자를 추출할 수 있다.
차량(910)은 시각 특징 맵에 포함된 특징점들의 시각 특징 기술자들과 이미지로부터 검출된 특징점들의 시각 특징 기술자들을 비교하여, 차량(910)의 현재 위치 및 자세를 추정할 수 있다. 일 실시예에서, 차량(910)은 시각 특징 맵에 포함된 시각 특징 기술자들과 촬영 이미지로부터 추출된 시각 특징 기술자들 중 유사한 시각 특징 기술자들의 쌍을 식별하고, 충분한 수의 쌍이 식별되면 EPnP(Efficient Perspective-n-Point) 알고리즘 등을 이용하여 차량(910)의 위치와 자세를 추정할 수 있다. 이 때, 유사한 시각 특징 기술자들의 쌍과 연관된 시각 특징 맵 내의 3차원 좌표값, 촬영 방향 정보 등이 이용될 수 있다.
추가적으로 또는 대안적으로, 차량(910)은 시각 특징 맵에 포함된 특징점 중 차량(910)의 현재 이미지 촬영 방향과 유사한 방향에서 촬영된 이미지로부터 검출된 특징점만을 이용하여, 위치/자세 추정을 수행할 수 있다. 예를 들어, 차량(910)은 저가의 GPS 모듈로부터 수신되는 대략적인 위치 정보의 변화에 기초하여 현재 이미지 촬영 방향 정보를 추정하고, 해당 촬영 방향 정보와 동일/유사한 촬영 방향 정보를 가지는 특징점들을 시각 특징 맵에서 식별하여, 식별된 특징점들을 이용하여 촬영된 이미지와 특징 매칭을 수행할 수 있다. 여기서, 차량(910)의 이미지 촬영 방향 정보는 차량(910)이 물리 법칙에 따라 이동한다는 전제 하에, 차량(910)의 기존 이동 정보에 기초하여 추정될 수 있다. 이와 같은 구성을 통해, 차량(910)의 위치 및 자세 추정의 정확도를 크게 향상시킬 수 있다.
앞에서는 차량(910)이 촬영 이미지로부터 특징점들을 검출하고, 검출된 특징점들의 시각 특징 기술자들을 추출하여, 시각 특징 맵 내의 시각 특징 기술자들과 비교하는 것으로 설명되었으나, 이에 한정되지 않는다. 예를 들어, 차량(910)은 촬영한 이미지를 외부 장치(예를 들어, 도2의 220와 같은 정보 처리 시스템)로 전송하고, 외부 장치가 수신된 이미지에서 특징점들을 검출하고, 검출된 특징점들의 시각 특징 기술자들을 추출하여 차량(910)의 위치 및 자세를 추정할 수 있다. 또한, 차량(910)은 주행하면서 이미지를 연속적으로 촬영하고, 위치/자세 추정을 계속적으로 수행할 수 있다.
도 10은 본 개시의 일 실시예에 따른 예시적인 위치/자세 추정 방법(1000)을 나타내는 흐름도이다. 일 실시예에서, 위치/자세 추정 방법(1000)은 차량(예를 들어, 차량의 프로세서)에 의해 수행될 수 있다. 다른 실시예에서, 위치/자세 추정 방법(1000)은 정보 처리 시스템(예를 들어, 정보 처리 시스템의 프로세서)에 의해 수행될 수 있다. 또 다른 실시예에서, 정보 처리 시스템과 차량이 위치/자세 추정 방법(1000)의 단계들을 나누어 수행할 수 있다.
도시된 바와 같이, 위치/자세 추정 방법(1000)은 프로세서가 이미지를 수신함으로써 개시될 수 있다(S1010). 예를 들어, 프로세서는 이미지 센서로부터 이미지를 수신할 수 있다. 이미지는 차량이 주행하며 촬영한 이미지일 수 있다.
이미지를 수신하는 것에 응답하여, 프로세서는 이미지로부터 제1 세트의 특징점을 검출할 수 있다(S1020). 일 실시예에서, 프로세서는 이미지로부터 복수의 특징점을 검출하고, 검출된 복수의 특징점 각각의 식별성 점수를 산출한 후, 복수의 특징점 중 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점들을 식별함으로써 제1 세트의 특징점을 검출할 수 있다. 또한, 프로세서는 제1 세트의 특징점 각각의 시각 특징 기술자를 추출할 수 있다(S1030). 이 때, 프로세서는 시각 특징 맵을 생성하는데 사용된 것과 동일한 방식으로 이미지에서 특징점들을 검출하고, 특징점들의 시각 특징 기술자들을 추출할 수 있다.
그 후, 프로세서는 미리 저장된 제2 세트의 특징점(예를 들어, 미리 저장된 시각 특징 맵 내의 특징점들)을 수신할 수 있다(S1040). 여기서, 제2 세트의 특징점 각각은 연관된 시각 특징 기술자, 3차원 좌표값, 촬영 방향 정보 등을 포함할 수 있다. 일 실시예에서, 프로세서는 이미지가 촬영된 대략적인 위치 정보(coarse location information)를 수신하고, 대략적인 이미지 촬영 방향 정보를 추정할 수 있다. 대략적인 이미지 촬영 방향 정보는 이미지를 촬영하기 이전의 미리 정해진 시간 구간 동안 GPS 모듈로부터 수신되는 대략적인 위치 정보의 변화에 기초하여 추정될 수 있다. 이 경우, 프로세서는 대략적인 위치 정보 및 대략적인 촬영 방향 정보에 기초하여 제3 세트의 특징점을 포함하는 시각 특징 맵으로부터 제2 세트의 특징점을 추출할 수 있다. 여기서, 제3 세트의 특징점 각각은 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함할 수 있다.
프로세서는 제1 세트의 특징점의 시각 특징 기술자들과 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭을 수행할 수 있다(S1050). 특징 매칭 결과, 프로세서는 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값에 기초하여 이미지가 촬영된 정밀한 위치 정보(fine location information) 및 이미지의 정밀한 촬영 방향 정보를 추정할 수 있다(S1060). 다른 실시예에서, 프로세서는 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값 및 촬영 방향 정보에 기초하여 이미지가 촬영된 정밀한 위치 정보 및 이미지의 정밀한 촬영 방향 정보를 추정할 수 있다.
상술한 시각 특징 맵 생성 방법과 위치/자세 추정 방법은 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램으로 제공될 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
본 개시의 방법, 동작 또는 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본원의 개시와 연계하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 통상의 기술자들은 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 대체를 명확하게 설명하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능적 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 요구사항들에 따라 달라진다. 통상의 기술자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.
하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들(digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들(programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들(field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 개시에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.
따라서, 본 개시와 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 구성의 조합으로서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리(random access memory; RAM), 판독 전용 메모리(read-only memory; ROM), 비휘발성 RAM(non-volatile random access memory; NVRAM), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable PROM), 플래시 메모리, 컴팩트 디스크(compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로서 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행 가능할 수도 있고, 프로세서(들)로 하여금 본 개시에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.
이상 설명된 실시예들이 하나 이상의 독립형 컴퓨터 시스템에서 현재 개시된 주제의 양태들을 활용하는 것으로 기술되었으나, 본 개시는 이에 한정되지 않고, 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 본 개시에서 주제의 양상들은 복수의 프로세싱 칩들이나 장치들에서 구현될 수도 있고, 스토리지는 복수의 장치들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 장치들은 PC들, 네트워크 서버들, 및 휴대용 장치들을 포함할 수도 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 개시의 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.
110: MMS 차량 120: 라이다 센서
130: 도로 표면 140: 도로 표지판
150: 건물 160: 식물
170: 하늘

Claims (18)

  1. 적어도 하나의 프로세서에 의해 수행되는 시각 특징 맵(visual feature map) 생성 방법으로서,
    제1 이미지를 수신하는 단계;
    상기 제1 이미지로부터 제1 세트의 특징점을 검출하는 단계;
    상기 제1 세트의 특징점 각각의 시각 특징 기술자(visual feature descriptor)를 추출하는 단계;
    상기 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터(3D point cloud data)를 수신하는 단계;
    상기 제1 세트의 3차원 점군 데이터를 이용하여 상기 제1 세트의 특징점 각각의 3차원 좌표값을 결정하는 단계;
    제2 이미지를 수신하는 단계;
    상기 제2 이미지로부터 제2 세트의 특징점을 검출하는 단계;
    상기 제2 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계;
    상기 제2 이미지가 촬영된 위치와 연관된 제2 세트의 3차원 점군 데이터를 수신하는 단계;
    상기 제2 세트의 3차원 점군 데이터를 이용하여 상기 제2 세트의 특징점 각각의 3차원 좌표값을 결정하는 단계;
    상기 제1 세트의 특징점의 시각 특징 기술자들과 상기 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 제1 특징 매칭(feature matching)을 수행하는 단계; 및
    상기 제2 세트의 특징점 중 상기 제1 특징 매칭에 성공한 특징점들을 포함하는 국소 맵을 생성하는 단계를 포함하고,
    상기 제2 세트의 특징점 중 상기 제1 특징 매칭에 성공한 특징점들을 포함하는 국소 맵을 생성하는 단계는,
    상기 제2 이미지의 촬영 방향 정보를 수신하는 단계; 및
    상기 제2 세트의 특징점 중 상기 제1 특징 매칭에 성공한 특징점들 각각에 대해서 시각 특징 기술자, 3차원 좌표값 및 상기 촬영 방향 정보를 연관시키는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  2. 제1항에 있어서,
    상기 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하는 단계는,
    2D LiDAR(Light Detection And Ranging) 센서를 이용하여 상기 제1 이미지가 촬영된 위치 주변의 도로 표면의 기하 정보를 획득하는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  3. 제2항에 있어서,
    상기 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하는 단계는,
    3D LiDAR 센서를 이용하여 상기 제1 이미지가 촬영된 위치 주변의 비도로 영역의 기하 정보를 획득하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  4. 제1항에 있어서,
    상기 제1 이미지로부터 제1 세트의 특징점을 검출하는 단계는,
    상기 제1 이미지로부터 복수의 특징점을 검출하는 단계;
    상기 제1 세트의 3차원 점군 데이터에 기초하여 상기 복수의 특징점 중 상기 제1 이미지를 촬영한 이미지 센서와의 거리가 미리 설정된 거리 이내에 위치하는 특징점들을 식별하는 단계; 및
    상기 식별된 특징점들을 상기 제1 세트의 특징점으로 검출하는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  5. 제1항에 있어서,
    상기 제1 이미지로부터 제1 세트의 특징점을 검출하는 단계는,
    상기 제1 이미지로부터 복수의 특징점을 검출하는 단계;
    상기 복수의 특징점 각각의 식별성 점수(distinctiveness score)를 산출하는 단계;
    상기 복수의 특징점 중 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점들을 식별하는 단계; 및
    상기 식별된 특징점들을 상기 제1 세트의 특징점으로 검출하는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  6. 제1항에 있어서,
    제3 이미지를 수신하는 단계;
    상기 제3 이미지로부터 제3 세트의 특징점을 검출하는 단계;
    상기 제3 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계;
    상기 제3 이미지가 촬영된 위치와 연관된 제3 세트의 3차원 점군 데이터를 수신하는 단계;
    상기 제3 세트의 3차원 점군 데이터를 이용하여 상기 제3 세트의 특징점 각각의 3차원 좌표값을 결정하는 단계;
    상기 제3 세트의 특징점의 시각 특징 기술자들과 상기 국소 맵 내의 특징점들의 시각 특징 기술자들을 비교하여 제2 특징 매칭을 수행하는 단계; 및
    상기 제3 세트의 특징점 중 상기 제2 특징 매칭에 성공한 특징점들에 기초하여 상기 국소 맵을 업데이트하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  7. 제6항에 있어서,
    상기 제3 세트의 특징점 중 상기 제2 특징 매칭에 성공한 특징점들에 기초하여 상기 국소 맵을 업데이트하는 단계는,
    상기 제2 특징 매칭에 성공한 특징점 쌍의 시각 특징 기술자들의 평균값을 산출하는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  8. 제6항에 있어서,
    상기 제3 세트의 특징점 중 상기 제2 특징 매칭에 실패한 특징점들의 시각 특징 기술자들과 상기 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 제3 특징 매칭을 수행하는 단계; 및
    상기 제3 특징 매칭에 성공한 특징점들을 상기 국소 맵에 추가하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  9. 제6항에 있어서,
    상기 국소 맵에 포함된 특징점들 중 미리 정해진 횟수 이상 특징 매칭에 실패한 특징점을 상기 국소 맵에서 제거하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  10. 제6항에 있어서,
    상기 국소 맵에 포함된 특징점들 중 미리 정해진 횟수 이상 특징 매칭에 성공한 특징점에 기초하여 전역 맵을 생성하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 따른 시각 특징 맵 생성 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  12. 시각 특징 맵 생성 시스템으로서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로그램은,
    제1 이미지를 수신하고,
    상기 제1 이미지로부터 제1 세트의 특징점을 검출하고,
    상기 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하고,
    상기 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하고,
    상기 제1 세트의 3차원 점군 데이터를 이용하여 상기 제1 세트의 특징점 각각의 3차원 좌표값을 결정하고,
    제2 이미지를 수신하고,
    상기 제2 이미지로부터 제2 세트의 특징점을 검출하고,
    상기 제2 세트의 특징점 각각의 시각 특징 기술자를 추출하고,
    상기 제2 이미지가 촬영된 위치와 연관된 제2 세트의 3차원 점군 데이터를 수신하고,
    상기 제2 세트의 3차원 점군 데이터를 이용하여 상기 제2 세트의 특징점 각각의 3차원 좌표값을 결정하고,
    상기 제1 세트의 특징점의 시각 특징 기술자들과 상기 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 제1 특징 매칭을 수행하고,
    상기 제2 세트의 특징점 중 상기 제1 특징 매칭에 성공한 특징점들을 포함하는 국소 맵을 생성하기 위한 명령어들을 포함하고,
    상기 제2 세트의 특징점 중 상기 제1 특징 매칭에 성공한 특징점들을 포함하는 국소 맵을 생성하는 것은,
    상기 제2 이미지의 촬영 방향 정보를 수신하고,
    상기 제2 세트의 특징점 중 상기 제1 특징 매칭에 성공한 특징점들 각각에 대해서 시각 특징 기술자, 3차원 좌표값 및 상기 촬영 방향 정보를 연관시키는 것을 포함하는,
    시각 특징 맵 생성 시스템.
  13. 적어도 하나의 프로세서에 의해 수행되는 위치 추정 방법으로서,
    이미지를 수신하는 단계;
    상기 이미지로부터 제1 세트의 특징점을 검출하는 단계;
    상기 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계;
    시각 특징 맵에 미리 저장된 제2 세트의 특징점을 수신하는 단계 - 상기 제2 세트의 특징점 각각은 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함함 -;
    상기 제1 세트의 특징점의 시각 특징 기술자들과 상기 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭을 수행하는 단계; 및
    상기 제2 세트의 특징점 중 상기 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값과 촬영 방향 정보에 기초하여 상기 이미지가 촬영된 정밀한 위치 정보(fine location information) 및 상기 이미지의 정밀한 촬영 방향 정보를 추정하는 단계
    를 포함하는, 위치 추정 방법.
  14. 제13항에 있어서,
    상기 시각 특징 맵에 미리 저장된 제2 세트의 특징점을 수신하는 단계는,
    상기 이미지가 촬영된 대략적인 위치 정보(coarse location information)를 수신하는 단계;
    상기 이미지의 대략적인 촬영 방향 정보를 추정하는 단계; 및
    상기 대략적인 위치 정보 및 상기 대략적인 촬영 방향 정보에 기초하여 제3 세트의 특징점을 포함하는 상기 시각 특징 맵으로부터 상기 제2 세트의 특징점을 추출하는 단계 - 상기 제3 세트의 특징점 각각은 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함함 -
    를 포함하는, 위치 추정 방법.
  15. 제14항에 있어서,
    상기 이미지의 대략적인 촬영 방향 정보를 추정하는 단계는,
    상기 이미지를 촬영하기 이전의 미리 정해진 시간 구간 동안 GPS 모듈로부터 수신되는 대략적인 위치 정보의 변화에 기초하여 상기 이미지의 대략적인 촬영 방향 정보를 추정하는 단계
    를 포함하는, 위치 추정 방법.
  16. 제13항에 있어서,
    상기 이미지로부터 제1 세트의 특징점을 검출하는 단계는,
    상기 이미지로부터 복수의 특징점을 검출하는 단계;
    상기 복수의 특징점 각각의 식별성 점수를 산출하는 단계;
    상기 복수의 특징점 중 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점들을 식별하는 단계; 및
    상기 식별된 특징점들을 상기 제1 세트의 특징점으로 검출하는 단계
    를 더 포함하는, 위치 추정 방법.
  17. 제13항 내지 제16항 중 어느 한 항에 따른 위치 추정 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  18. 컴퓨팅 장치로서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로그램은,
    이미지를 수신하고,
    상기 이미지로부터 제1 세트의 특징점을 검출하고,
    상기 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하고,
    시각 특징 맵에 미리 저장된 제2 세트의 특징점을 수신하고 - 상기 제2 세트의 특징점 각각은 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함함 -,
    상기 제1 세트의 특징점의 시각 특징 기술자들과 상기 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭을 수행하고,
    상기 제2 세트의 특징점 중 상기 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값과 촬영 방향 정보에 기초하여 상기 이미지가 촬영된 정밀한 위치 정보 및 상기 이미지의 정밀한 촬영 방향 정보를 추정하기 위한 명령어들을 포함하는, 컴퓨팅 장치.
KR1020210004235A 2020-05-28 2021-01-12 시각 특징 맵 생성 방법 및 시스템 KR102383499B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210004235A KR102383499B1 (ko) 2020-05-28 2021-01-12 시각 특징 맵 생성 방법 및 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200064244 2020-05-28
KR1020210004235A KR102383499B1 (ko) 2020-05-28 2021-01-12 시각 특징 맵 생성 방법 및 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200064244 Division 2020-05-28 2020-05-28

Publications (2)

Publication Number Publication Date
KR20210147855A true KR20210147855A (ko) 2021-12-07
KR102383499B1 KR102383499B1 (ko) 2022-04-08

Family

ID=78745006

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210004235A KR102383499B1 (ko) 2020-05-28 2021-01-12 시각 특징 맵 생성 방법 및 시스템

Country Status (3)

Country Link
US (1) US20230108621A1 (ko)
KR (1) KR102383499B1 (ko)
WO (1) WO2021241847A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102536364B1 (ko) * 2022-08-01 2023-05-30 주식회사 플로틱 로케이션 코드 맵핑 방법
WO2024085573A1 (ko) * 2022-10-17 2024-04-25 주식회사 브이알크루 크라우드 소싱 기반 3차원 지도 갱신 방법 및 장치
WO2024096717A1 (ko) * 2022-11-04 2024-05-10 네이버랩스 주식회사 3차원 모델을 이용한 거리뷰 영상 사이의 특징점 매칭쌍 자동 취득 방법 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264028B2 (ja) * 2019-12-05 2023-04-25 トヨタ自動車株式会社 情報提供システム、情報提供方法、情報端末及び情報表示方法
WO2024101833A1 (ko) * 2022-11-08 2024-05-16 네이버랩스 주식회사 3차원 모델 및 거리뷰 영상을 이용한 시각 특징맵 생성 방법 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4273119B2 (ja) * 2003-10-21 2009-06-03 和郎 岩根 ナビゲーション装置
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR20150047950A (ko) * 2013-10-25 2015-05-06 한국전자통신연구원 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템
US20160104289A1 (en) * 2014-10-09 2016-04-14 Caterpillar Inc. Real-time range map generation
US9349180B1 (en) * 2013-05-17 2016-05-24 Amazon Technologies, Inc. Viewpoint invariant object recognition
WO2019073795A1 (ja) * 2017-10-10 2019-04-18 ソニー株式会社 情報処理装置、自己位置推定方法、プログラム、及び、移動体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4273119B2 (ja) * 2003-10-21 2009-06-03 和郎 岩根 ナビゲーション装置
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
US9349180B1 (en) * 2013-05-17 2016-05-24 Amazon Technologies, Inc. Viewpoint invariant object recognition
KR20150047950A (ko) * 2013-10-25 2015-05-06 한국전자통신연구원 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템
US20160104289A1 (en) * 2014-10-09 2016-04-14 Caterpillar Inc. Real-time range map generation
WO2019073795A1 (ja) * 2017-10-10 2019-04-18 ソニー株式会社 情報処理装置、自己位置推定方法、プログラム、及び、移動体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102536364B1 (ko) * 2022-08-01 2023-05-30 주식회사 플로틱 로케이션 코드 맵핑 방법
WO2024085573A1 (ko) * 2022-10-17 2024-04-25 주식회사 브이알크루 크라우드 소싱 기반 3차원 지도 갱신 방법 및 장치
WO2024096717A1 (ko) * 2022-11-04 2024-05-10 네이버랩스 주식회사 3차원 모델을 이용한 거리뷰 영상 사이의 특징점 매칭쌍 자동 취득 방법 및 시스템

Also Published As

Publication number Publication date
WO2021241847A1 (ko) 2021-12-02
KR102383499B1 (ko) 2022-04-08
US20230108621A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
KR102383499B1 (ko) 시각 특징 맵 생성 방법 및 시스템
US11308322B2 (en) Locating a client device using ground truth image rendering
JP7240367B2 (ja) 車両の位置特定に用いられる方法、装置、電子デバイス及び記憶媒体
WO2021017212A1 (zh) 一种多场景高精度车辆定位方法、装置及车载终端
EP2450667B1 (en) Vision system and method of analyzing an image
CN102208012B (zh) 风景匹配参考数据生成系统及位置测量系统
EP3418947A1 (en) Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
US20210097103A1 (en) Method and system for automatically collecting and updating information about point of interest in real space
JP2015148601A (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
KR102096926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
US20220194412A1 (en) Validating Vehicle Sensor Calibration
CN108140313A (zh) 停车辅助装置及停车辅助方法
CN110967018B (zh) 停车场定位方法、装置、电子设备及计算机可读介质
JP2020038632A (ja) 標示物認識システム及び標示物認識方法
CN108286973B (zh) 一种行驶数据校验方法及装置、及混合导航系统
KR102189926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
JP2020003463A (ja) 自車位置推定装置
KR102106029B1 (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
CN113887391A (zh) 用于识别路面标识的方法、装置以及自动驾驶车辆
CN112304322B (zh) 一种视觉定位失效后的重启方法及车载终端
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
CN113677580A (zh) 用于辅助车辆驾驶的电子设备和方法
KR20130041698A (ko) 무인 차량의 주행 정보 생성 장치, 이를 구비하는 무인 차량 및 그것의 제어 방법
RU2681346C2 (ru) Способ и система точной локализации слабовидящего или слепого человека
CN112507857B (zh) 一种车道线更新方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right