KR102577907B1 - 3차원 맵 생성 방법 및 시스템 - Google Patents

3차원 맵 생성 방법 및 시스템 Download PDF

Info

Publication number
KR102577907B1
KR102577907B1 KR1020210027774A KR20210027774A KR102577907B1 KR 102577907 B1 KR102577907 B1 KR 102577907B1 KR 1020210027774 A KR1020210027774 A KR 1020210027774A KR 20210027774 A KR20210027774 A KR 20210027774A KR 102577907 B1 KR102577907 B1 KR 102577907B1
Authority
KR
South Korea
Prior art keywords
data
map
trajectory
movement trajectory
image data
Prior art date
Application number
KR1020210027774A
Other languages
English (en)
Other versions
KR20220124051A (ko
Inventor
이용한
연수용
유수현
김덕화
이동환
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Priority to KR1020210027774A priority Critical patent/KR102577907B1/ko
Priority to JP2022030728A priority patent/JP7266128B2/ja
Priority to US17/684,763 priority patent/US12025708B2/en
Publication of KR20220124051A publication Critical patent/KR20220124051A/ko
Application granted granted Critical
Publication of KR102577907B1 publication Critical patent/KR102577907B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 3차원 맵 생성 방법 및 시스템에 관한 것이다. 본 발명에 따른 3차원 맵 생성 방법은, 수집 장치에 구비되는 라이다(Lidar) 센서와 카메라 센서를 이용하여 특정 공간의 공간데이터와 이미지 데이터를 각각 수집하는 단계와, 상기 공간 데이터를 이용하여 상기 라이다 센서의 이동 궤적을 추정하는 단계, 및 상기 이미지 데이터와 상기 이동 궤적을 입력 데이터로 이용하여 SFM(Structure-From-Motion) 기반으로 상기 특정 공간에 대한 3차원 구조 데이터를 생성하는 단계를 포함한다.

Description

3차원 맵 생성 방법 및 시스템{METHOD AND SYSTEM OF GENERATING 3D MAP}
본 발명은 3차원 맵 생성 방법 및 시스템에 대한 것으로서, 특정 공간내에서 측위에 활용가능한 3차원 맵을 생성하는 방법 및 시스템에 관한 것이다.
측위 기술은, GPS 기반, 관성 센서 기반, 이미지 기반, SLAM(Simultaneous localization and mapping), VLC(Visible light communication) 등 다양한 방식의 시스템이 서로 밀접한 관계를 가지고 발전해오고 있다.
이러한 측위 기술 중, 이미지 기반 측위(Visual Localization)는, 촬영한 사진을 통해 위치를 찾는 기술로서, GPS와 비교하였을 때, 오차가 적고, 사용자가 바라보는 방향까지도 정확하게 측정할 수 있는 장점이 있다. 이러한, 이미지 기반 측위를 위하여, 촬영한 사진과 비교하여 위치를 특정하기 위한 맵이 구축되어야 한다.
한편, 맵의 구축 대상이 실내 공간인지, 실외 환경인지에 따라 고려하여 할 점이 달라진다. 예를 들어, 실내 공간은 일반적으로 실외 환경보다 작은 공간이므로, 카메라의 작은 움직임에도 시점의 큰 변화를 가져올 수 있다. 또한, 대형 쇼핑몰이나 지하철 등, 대규모 실내 공간의 실제 환경에서는 시간 경과에 따라 혼잡도가 달라지거나 텍스처(질감)이 없는 공간 등에 의하여 카메라 포즈를 정확하게 추정하는 것이 어렵게 된다.
이러한 문제로 인하여, SFM(Structure-From-Motion)이 효과적인 도구로 사용되는 실외 환경과 달리, 실내 공간에서는 대규모로 SFM 을 적용하는 것이 어렵다. 이에 반해, 실내 공간에서는 RGBD 카메라 및 레이저 스캐너 등을 이용하여 맵을 구축하는 방법이 많이 이용되고 있으나, 이는 상대적으로 작은 실내 공간에 적합하다. RGBD 카메라는 측정거리가 짧고, 레이저 스캐너는 색상 정보가 부재하고 움직이는 물체가 많은 경우에 취약하여 대규모 실내 공간에서는 많이 사용되지 않는다.
따라서, 대규모 실내 공간에서 이미지 기반 측위용 맵을 생성하기 위하여, 새로운 형태의 파이프 라인을 이용하는 방안이 고려될 수 있다.
본 발명은, 대규모 실내 공간에 적용 가능한 이미지 기반 측위용 3차원 맵을 생성하는 방법 및 시스템을 제공하는 것이다.
보다 구체적으로, 본 발명은, 새로운 형태의 파이프 라인을 활용하여 이미지 기반 측위에 활용가능한 3차원 특징점 맵을 생성하는 방법을 제공한다.
또한, 본 발명은, 일정기간 동안에 시간 간격을 가지고 획득한 데이터를 이용하여 대규모 실내 공간의 보다 정확한 맵을 생성하는 방법을 제공한다.
위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 3차원 맵 생성 방법 및 시스템은, 대규모의 특정 공간에 대하여 일정 기간 동안에 수집한 시퀀스 데이터를 기반으로 라이다(LiDAR) 센서의 궤적을 활용한 비주얼 매핑(Visual Mapping)을 수행하여 3차원 맵을 구축한다. 예를 들어, 본 발명은 라이다 SLAM(Simultaneous localization and mapping)에서 SFM(Structure-From-Motion)까지의 파이프라인을 통해 특정공간에 대한 3차원 맵을 생성하는 프로세스를 이용한다.
구체적으로, 본 발명의 3차원 맵 생성 방법은, 수집 장치에 구비되는 라이다(Lidar) 센서와 카메라 센서를 이용하여 특정 공간의 공간데이터와 이미지 데이터를 각각 수집하는 단계와, 상기 공간 데이터를 이용하여 상기 라이다 센서의 이동 궤적을 추정하는 단계, 및 상기 이미지 데이터와 상기 이동 궤적을 입력 데이터로 이용하여 SFM(Structure-From-Motion) 기반으로 상기 특정 공간에 대한 3차원 구조 데이터를 생성하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 수집하는 단계에서는 상기 라이다 센서를 이용한 라이다 SLAM(Simultaneous Localization and Mapping)을 통하여 상기 공간데이터와 이미지 데이터가 수집될 수 있다.
상기 라이다 SLAM(Simultaneous Localization and Mapping)의 출력 데이터는 상기 이미지 데이터와 상기 이동 궤적을 구비하고, 상기 라이다 SLAM과 상기 SFM 이 파이프라인을 형성하도록 상기 출력 데이터가 상기 입력 데이터로 이용될 수 있다.
본 발명의 다른 일 실시예에 있어서, 상기 3차원 구조 데이터를 생성하는 단계는, 상기 이미지 데이터로부터 특징점들을 추출하고, 이미지들 사이에서 상기 특징점들을 매칭하는 단계와, 상기 이동 궤적을 연속적인 궤적(Continuous Trajectory)으로 변환하는 단계와, 상기 연속적인 궤적을 기반으로 상기 이미지 데이터의 포즈 정보를 산출하는 단계를 포함한다.
상기 이미지 데이터의 포즈 정보가 상기 연속적인 궤적에 정합되도록 상기 이동 궤적은 연속 시간 궤적(Continuous-Time Trajectory)으로 모델링될 수 있다. 상기 생성된 3차원 구조 데이터는 상기 SFM의 출력 데이터로서 상기 포즈 정보가 산출된 이미지들과 포인트 클라우드 데이터를 구비할 수 있다.
본 발명의 다른 일 실시예에 있어서, 상기 3차원 구조 데이터를 생성하는 단계에서는, 상기 이동 궤적을 연속 스플라인(continuous Spline)으로 표현하여 포즈 오류를 정의함에 따라 지도 최적화가 수행될 수 있다.
본 발명의 다른 일 실시예에 있어서, 상기 3차원 맵 생성 방법은 상기 생성된 3차원 구조 데이터를 이용하여 이미지의 깊이 정보를 추정하여 깊이 맵을 생성하는 단계를 포함할 수 있다.
본 발명의 다른 일 실시예에 있어서, 상기 3차원 맵 생성 방법은 상기 추정된 이동 궤적은 단일 지역에서 복수의 데이터로 산출되고, 상기 복수의 데이터에 대한 정합을 수행하는 단계를 포함할 수 있다. 상기 복수의 데이터에 대한 정합이 수행되도록 상기 이동 궤적들 사이에서 좌표계 변환이 추정되거나, 상기 이동 궤적들 사이의 상대 포즈가 추정될 수 있다.
나아가, 본 발명은, 라이다(Lidar) 센서와 카메라 센서를 이용하여 특정 공간의 공간데이터와 이미지 데이터를 각각 수집하고, 상기 라이다 센서의 이동 궤적을 추정하는 단계와, 상기 이미지 데이터로부터 특징점들을 추출하고, 이미지들 사이에서 상기 특징점들을 매칭하는 단계, 및 상기 이동 궤적을 연속적인 궤적(Continuous Trajectory)으로 변환하고, 상기 연속적인 궤적을 기반으로 상기 특징점과 상기 이미지 데이터의 포즈 정보를 최적화하여 상기 특정 공간에 대한 3차원 특징점 맵을 생성하는 단계를 포함하는 3차원 맵 생성 방법을 개시한다.
또한, 본 발명은, 라이다 센서 및 카메라 센서를 구비하는 수집 장치, 및 상기 수집 장치를 이용하여 특정 공간에 대한 3차원 특징점 맵을 생성하는 매핑 장치를 포함하고, 상기 수집 장치는, 상기 라이다 센서와 카메라 센서를 이용하여 상기 특정 공간의 공간데이터와 이미지 데이터를 각각 수집하고, 상기 매핑 장치는 상기 공간 데이터를 이용하여 상기 라이다 센서의 이동 궤적을 추정하고, 상기 이미지 데이터와 상기 이동 궤적을 입력 데이터로 이용하여 SFM(Structure-From-Motion) 기반으로 상기 특정 공간에 대한 3차원 구조 데이터를 생성하는 것을 특징으로 하는 맵 생성 시스템을 개시한다.
본 발명에 따른 3차원 맵 생성 방법 및 시스템은, 라이다 SLAM에서 SFM까지의 파이프라인을 통하여, 대규모의 공간에서 일정 기간 동안 수집한 데이터를 이용하는 경우에도 보다 정확한 실내 매핑을 수행할 수 있다.
이와 같이, 새로운 파이프라인을 통하여 정확한 3차원 맵을 생성하기에, 대규모의 실내 공간, 예를 들어 백화점이나 지하철역에서 쿼리 이미지를 사용한 이미지 기반 측위(Visual Localization)가 가능하게 된다.
또한, 본 발명은 라이다(LiDAR) 센서의 궤적을 활용한 비주얼 매핑(Visual Mapping)을 수행하므로, 실외 환경에 적합한 SFM 기반 알고리즘을 이용하여 대규모 실내 공간의 정확한 매핑을 구현할 수 있다.
특히, 라이다 센서(또는 수집장치, 플랫폼, 매핑 로봇)의 궤적을 연속 시간 궤적(Continous-Time Trajectory)으로 표현하여, 카메라 센서에서 획득한 이미지들의 포즈 정보가 해당하는 연속 궤적(Continuous Trajectory)과 보다 정교하게 정합될 수 있다.
도 1a은 본 발명에 따른 3차원 맵을 구축하는 동작을 설명하기 위한 개념도이다.
도 1b는 도 1a의 개념에서 제시하는 3차원 맵의 일 예를 도시한 것이다.
도 2는 본 발명에 따른 3차원 맵 생성 시스템을 나타내는 개념도이다.
도 3은 도 2의 수집장치를 나타내는 개념도이다.
도 4는 본 발명의 3차원 맵 생성 방법을 설명하기 위한 흐름도이고, 도 5 및 도 6은 도 4의 흐름도의 일 실시예를 나타내는 상세 흐름도들이다.
도 7은 라이다 SLAM에서 데이터 정합을 수행하는 방법의 예시를 나타내는 개념도이고, 도 8은 SFM에서 데이터 정합을 수행하는 방법의 예시를 나타내는 흐름도이다.
도 9 및 도 10은 본 발명의 3차원 맵 생성 방법에 의하여 생성된 3차원 맵의 실제 구축 결과를 나타내는 그림들이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 3차원 맵 생성 방법 및 시스템에 대한 것으로서, 구체적으로 건물, 시설물, 도로 및 보도 등에서 측위를 수행하는 경우에 활용가능한 3차원 맵을 생성하는 방법 및 시스템에 관한 것이다.
여기에서, 측위는 위치를 결정하거나 위치에 관한 정보를 획득하는 것으로서, GPS나 무선 네트워크의 기지국 위치를 활용하거나, 또는 여러가지 센서 정보를 이용하여 모바일 기기의 정확한 위치를 파악하는 기술이 될 수 있다. 여기서 정확한 위치는, 절대적 위치, 상대적 위치, 개념적 위치 등 여러가지 형태로 존재할 수 있다. 특히, 본 발명의 측위에는 GPS 신호를 받지 못하는 실내에서 위치를 획득하는, 실내 위치 확인 기술이 적용될 수 있다.
또한, 본 명세서에서 모바일 기기는 손에 들거나 몸에 간편하게 지니고 다닐 수 있는 이동 단말기와, 스스로가 이동 가능하도록 이루어지는 자율주행 기기를 모두 포함하는 용어로 이용된다.
예를 들어, 상기 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display) 등이 포함될 수 있다. 다른 예로서, 상기 자율주행 기기는 청소로봇, 안내로봇, 배달로봇 등 이동하면서 위치기반 서비스를 제공하는 로봇이 되거나, 건물 내에서 자율적으로 이동하는 드론 등이 될 수 있다.
한편, 본 발명의 실시예에서는 특정 공간에서 위치를 획득하거나, 특정 공간을 이동하면서 위치를 획득하는 새로운 방식의 측위 방법 및 시스템에 대하여 상기 이동 단말기나 자율 주행기기의 위치를 기준으로 설명하나, 본 발명은 반드시 이에 한정되는 것은 아니다. 상기 이동 단말기나 자율 주행기기는 사용자의 위치를 측정하는 하나의 수단으로 이해되며, 다른 기기도 본 발명에 적용될 수 있다.
이 경우에, 상기 측위에는 모바일 기기가 위치하는 존(zone)을 검출하거나, 모바일 기기의 실시간 위치를 검출하는 등 여러가지 방식이 적용될 수 있다. 또한, 본 발명의 측위는 로컬라이제이션(Localization), 위치결정(Location Determination), 또는 포지셔닝(Positioning) 등으로 지칭될 수 있다.
이러한 실내 공간의 측위 기술 중, 이미지 기반 측위(Visual Localization)는, 촬영한 사진을 통해 위치를 찾는 기술로서, 주어진 쿼리 이미지의 카메라 포즈 정보를 추정하여 모바일 기기의 위치를 측정한다.
본 발명에서, 이미지는 카메라 센서를 이용하여 촬영한 사진이나 영상 등을 포함하는 의미로 지칭될 수 있다. 예를 들어, 특정 공간을 상기 모바일 기기가 이동하면서 상기 카메라 센서를 통하여 촬영 이미지를 획득한 후, 3차원 맵 데이터와 비교하는 프로세스를 통하여 상기 모바일 기기의 위치가 실시간으로 추적될 수 있다.
이와 같이, 본 발명에 따른 이미지 기반 측위는 사용자에게 현재의 위치 정보를 제공하며, 이를 위하여 이미지를 이용하여 생성된 3차원 맵을 사용한다.
도 1a은 본 발명에 따른 3차원 맵을 구축하는 동작을 설명하기 위한 개념도이고, 도 1b는 도 1a의 개념에서 제시하는 3차원 맵의 일 예를 도시한 것이다.
도 1a를 참조하면, 데이터를 수집하는 수집 장치로서 로봇(R)이 실내 공간(11)에 위치한다. 상기 로봇(R)은 3차원 맵 데이터를 구축하기 위하여 데이터를 수집하는 매핑 로봇이 될 수 있다. 다만, 로봇(R)이 주행하는 공간의 종류에는 제한이 없으며, 필요에 따라 실내 공간 및 실외 공간 중 적어도 하나를 주행하도록 이루어 질 수 있다. 본 예시에서는, 상기 로봇(R)은 대형 쇼핑몰이나 대형 지하철역 등, 대규모의 실내 공간(11)에서 3차원 맵을 생성하기 위하여 카메라 센서를 이용하여 데이터를 수집하면서 자율 주행하도록 이루어질 수 있다.
하지만, 대규모 실내 공간(11)의 실제 환경에서는 시간 경과에 따라 큰 변화가 존재하므로, 카메라 센서의 정확한 포즈 정보를 추정하는 것은 매우 어려운 문제이다. 예를 들어, 텍스처(질감)이 없는 공간(textureless areas, 12), 사이니지(13)에서 콘텐츠의 변화 등에 의하여 발생하는 외관 변화(changing appearance), 시간에 따른 혼잡도(crowdedness)나 가리는 정도(occlusions)의 변화, 동적 환경 변화(dynamic environment) 등에 의하여, 이미지에 대한 카메라 포즈 추정이 어렵게 된다.
본 발명에서는 대규모 실내 공간에 대응하기 위하여, 100일 이상 동안 수집한 데이터를 이용하여 3차원 특징점 맵을 생성하며, 이를 위하여 새로운 형태의 3차원 맵 생성 방법을 제시한다.
도 1b에 도시된 바와 같이, 본 발명의 3차원 맵 생성 방법에 의하여, 이미지와 포인트 클라우드를 포함하는 3차원 맵의 데이터 세트(datasets)가 구축될 수 있다. 상기 데이터 세트는 잘 정렬된 3차원 모델(3D models)과 카메라 포즈 정보를 포함하는 고밀도 이미지 샘플링을 제공할 수 있다.
이 경우에, 상기 3차원 맵은 3차원의 특징점에 대한 데이터를 가지는 맵으로서, 피쳐 맵, 특징점 맵 또는 3차원 특징점 맵으로도 지칭될 수 있다. 또한, 본 예시에서는 상기 특정 공간에 대하여 실내 공간을 예시하나, 본 발명은 반드시 이에 한정되는 것은 아니며, 실내 공간과 실외 공간, 실외 공간 등에도 적용될 수 있다.
이하에서는, 상기 특정 공간에 대하여 상기 3차원 맵의 데이터 세트를 구축하는 시스템에 대하여 먼저 설명하고, 이후에 상기 3차원 맵을 생성하는 방법과 함께 구축된 데이터의 실제예를 도면을 참조하여 보다 상세히 설명한다.
도 2는 본 발명에 따른 3차원 맵 생성 시스템을 나타내는 개념도이고, 도 3은 도 2의 수집 장치를 나타내는 개념도이다.
상기 3차원 맵의 데이터 세트는 도 2를 통하여 예시한 3차원 맵 생성 시스템(100)을 통하여 구현될 수 있다.
상기 3차원 맵 생성 시스템(100)은 수집 장치(110) 및 매핑 장치(120)를 구비할 수 있다.
이 때에, 상기 수집 장치(110)는 데이터를 수집하는 장치로서, 모바일 플랫폼이 될 수 있다. 상기 수집 장치(110)는, 라이다 센서와 카메라 센서를 이용하여 특정 공간의 공간데이터와 이미지 데이터를 각각 수집할 수 있다.
도시에 의하면, 상기 수집 장치(110)는 구동부(111), 센싱부(112) 및 통신부(113) 중 적어도 하나를 구비할 수 있다.
상기 구동부(111)는 상기 수집 장치(100)가 특정 공간 내를 이동할 수 있는 수단을 제공한다. 이를 위하여, 상기 구동부(111)는 모터 및 복수의 바퀴를 포함할 수 있다. 예를 들면, 도 3에 도시된 바와 같이, 상기 구동부(111)는 모터 및 복수의 바퀴가 조합되어, 상기 수집 장치(100)를 주행, 방향 전환, 회전시키는 기능을 수행한다.
이러한, 구동부(111)의 실시예로서, 본 발명에서는 2개의 바퀴와 4개의 캐스터로 구성된 차동 드라이브를 예시한다. 이 때에, 상기 바퀴에는 주행 거리 측정 데이터를 획득하기 위하여 인코더가 구비될 수 있다.
상기 센싱부(112)는 라이다 센서(112a) 및 카메라 센서(112d)를 포함한다.
상기 라이다 센서(112a)는 원격탐지 방식으로 주변 공간에 대한 3차원 정보를 획득하는 센서로 레이저를 조사하는 레이저 스캐너가 될 수 있다.
상기 레이저 스캐너는 레이저 펄스를 발사하고 발사된 레이저 펄스가 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 장치가 될 수 있다.
본 실시예에서는 상기 라이다 센서로 3차원 스캐닝 라이다를 예시하며, 이를 통하여 3차원 공간 데이터를 생성한다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 예를 들어 상기 라이다 센서는 2차원 레이저 스캐너나 레이저를 조사하지 않는 센서가 되는 것도 가능하다.
도 3을 참조하면, 상기 라이다 센서(112a)는 복수의 라이다 센서를 구비할 수 있다. 제1라이다 센서(112b)는 상기 수집 장치(110)의 상단에 수직으로 배치되고, 제2라이다 센서(112c)는 상기 수집 장치(110)의 상단과 하단 사이(예를 들어, 중앙부분)에서 수평으로 배치될 수 있다. 이 경우에, 수직방향의 제1라이다 센서(112b)는 push-broom scanning 기법을 통하여 고밀도의 3차원 포인트 클라우드를 구성하고, 수평방향의 제2라이다 센서(112c)는 실내 공간에서 포즈를 추정하는데 필요한 정보를 수평방향을 따라 최대화한다.
상기 카메라 센서(112d)는 6자유도(6DoF)를 가지는 카메라가 될 수 있으며, 여러가지 유형의 장치를 포함할 수 있다. 이러한 예로서, 상기 카메라 센서(112d)는 산업용 카메라와 스마트폰 카메라를 포함할 수 있다. 도시된 카메라 센서(112d)는 산업용 카메라이며, 스마트폰 카메라(미도시)의 거치를 위하여 수집 장치(110)의 상단에 거치대(112e)가 구비될 수 있다.
본 예시에서는, 복수의 산업용 카메라가 상기 수집 장치(110)의 외주를 따라 특정 간격으로 배열되며, 이를 통하여 이미지는 수평방향으로 360도의 전방위에서 촬영될 수 있다. 이 경우에, 이미지 내에서 지면의 그래픽을 저감하도록 각 카메라는 특정 각도로 상측을 바라보도록 배치될 수 있다. 한편, 쿼리 시간에서의 실제 환경을 보다 정확히 반영하기 위하여, 복수의 스마트폰 카메라가 상기 산업용 카메라보다 상측에 배치되어 주변을 촬영할 수 있다. 이 때에, 상기 수집 장치(110)와 센싱부(112)는, 예를 들어 NTP(network time protocol) 서버를 이용하여 서로 동기화될 수 있다.
한편, 상기 센싱부(112)는 상기 라이다 센서(112a)와 카메라 센서(112d) 외에도, 여러가지 데이터를 수집할 수 있는 센서들을 구비할 수 있다. 이러한 예로서, 상기 센싱부(112)는 장애물을 인식하기 위하여, 적외선 센서, 초음파 센서, 자세 센서, 충돌 센서 및 광 센서 등을 구비할 수 있다. 다른 예로서, 상기 센싱부(112)는 특정 공간 내의 다른 위치들에서 무선 신호들(예컨대, WiFi 신호, 블루투스 신호, 지그비 신호 등)을 측정하는 센서들을 구비할 수 있다.
이 경우에, 상기 센싱부(112)에서 획득한 데이터들은 통신부(113)에 의하여 상기 매핑 장치(120)로 전송될 수 있다. 상기 통신부(113)는 상기 수집 장치(110)와 상기 매핑 장치(120)의 사이에서 무선 통신을 수행한다. 이 경우에, 상기 매핑 장치(120)에는 상기 수집 장치(110)의 통신부(113)와 무선 통신을 위하여 통신부(122)가 구비될 수 있다. 다만, 본 발명은 반드시 무선 통신에만 한정되는 것은 아니며, 상기 통신부들(113, 122)은 유선 통신에 의하여 서로 통신할 수 있다. 또한, 상기 통신부(113)는 상기 수집 장치(110)와 다른 수집 장치의 사이, 상기 수집 장치(110)와 모바일 기기의 사이, 또는 상기 수집 장치(110)와 통신 네트워크 사이에서 무선 통신을 수행할 수 있다. 이러한 무선통신의 수행을 위하여, 상기 통신부(113)는 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 등을 구비할 수 있다.
또한, 본 발명에서는 상기 수집 장치(110)와 매핑 장치(120)가 서로 별도의 장치인 것을 기준으로 예시하나, 상기 수집 장치(110)와 매핑 장치(120)는 단일 기기에 구비될 수 있다. 이러한 경우에, 상기 데이터들은 내부의 데이터 전송경로를 통하여 송수신될 수 있다.
상기 매핑 장치(120)는 상기 수집 장치(110)를 이용하여 특정 공간에 대한 3차원 특징점 맵을 생성한다. 이 경우에, 상기 매핑 장치(120)는 상기 공간 데이터를 이용하여 상기 (112a)의 이동 궤적을 추정하고, 상기 이미지 데이터와 상기 이동 궤적을 입력 데이터로 이용하여 SFM(Structure-From-Motion) 기반으로 상기 특정 공간에 대한 3차원 구조 데이터를 생성할 수 있다.
한편, 상기 수집 장치(110)는 상기 센싱부(112)를 이용하여 데이터를 수집하는 경우에, SLAM을 수행하도록 이루어진다. 즉, 상기 수집 장치(110)는 현재시간 동안 자신의 위치를 계측(측정)하면서 동시에 주변환경의 지도를 작성하도록 이루어진다. 상기 SLAM은 상기 수집 장치(110)의 프로세서에서 수행되거나, 상기 매핑 장치(120)의 제어부(121)에서 수행될 수 있다.
상기 SLAM이 상기 제어부(121)에서 수행되는 경우에, 상기 매핑 장치(120)는 맵 클라우드 서버가 될 수 있다. 이 경우에, 상기 수집 장치(110)와 상기 맵 클라우드 서버가 하나의 데이터 수집 장치를 구성할 수 있다.
한편, 상기 제어부(121)는 무선통신을 제어하고, 수집 장치(110)의 센싱부(112)를 이용하여 이미지를 촬영하고, 구동부(111)를 제어하는 동작과 더불어, 통상적으로 상기 수집 장치(110)의 전반적인 동작을 제어한다.
SLAM을 위한 데이터 처리의 예로서, 상기 제어부(121)가 센서 데이터를 기초로 동시 위치 추정 및 지도 작성 기능을 수행할 수 있으며, 상기 수집 장치(110)가 이동한 경로를 추정할 수 있다. 예를 들어, 상기 수집 장치(110)에서 센싱된 데이터를 기초로 루프 클로져(loop closure)를 검출하고, 루프 클로져가 검출되면 위치 데이터를 생성하고, 위치 데이터를 기초로 이동 경로 정보 및 타겟 건물의 실내 지도 정보를 생성할 수 있다.
이 경우에 상기 제어부(121)는 상기 저장부(123)와 연계하여, 전술한 데이터 세트를 생성, 저장 및 업데이트하는 일련의 프로세스를 제어한다.
상기 저장부(123)에는 상기 데이터 세트가 3차원 맵의 데이터로서 저장되며, 상기 3차원 맵에는 좌표정보, 포인트 클라우드 정보, 이미지 정보, 포즈 정보 등이 구비될 수 있다.
이러한 데이터 세트를 구축하기 위하여, 본 발명에 따른 3차원 맵 생성 방법은, 대규모의 특정 공간에 대하여 일정 기간 동안에 수집한 시퀀스 데이터를 기반으로 라이다 SLAM(Simultaneous localization and mapping, 이하 'SLAM' 이라 약칭한다)에서 SFM(Structure-From-Motion, 이하 'SFM' 이라 약칭한다)까지의 파이프라인을 통해 상기 특정 공간에 대한 3차원 맵을 생성하는 프로세스를 이용한다.
이하에서는, 이러한 3차원 맵 생성 방법을 생성하는 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다.
도 4는 본 발명의 3차원 맵 생성 방법을 설명하기 위한 흐름도이다.
본 발명의 3차원 맵 생성 방법에서는, 라이다 SLAM(131)의 출력값을 SFM(132)의 입력값으로 이용하여, 라이다 SLAM에서 SFM으로 이어지는 새로운 파이프라인을 제시한다.
이 경우에, 상기 파이프라인은 라이다 SLAM 파이프라인 및 SFM 파이프라인을 구비할 수 있다. 상기 라이다 SLAM 파이프라인은 통합 좌표계를 기반으로 카메라의　포즈를 추정하는 포즈 그래프 최적화(pose-graph optimization)를 기반으로 구축될 수 있다.
또한, 상기 SFM 파이프라인은 상기 라이다 SLAM(131)의 초기 이미지 포즈(또는 카메라 포즈)를 개선하고, 라이다 포인트 클라우드에 정렬된 3차원 특징점 맵을 재건한다.
이 경우에, 모든 이미지에 대한 실제 자료(실제 사진, Ground Truth)의 포즈가 라이다 SLAM(131)과 SFM(132)에 의하여 생성될 수 있다. 라이다 SLAM(131)에서는 제어부(121, 도 2 참조)가 각 시퀀스에 수집 장치의　포즈를 생성하며, 다음으로 동일한 공간의 시퀀스를 병합하여 상기 시퀀스들이 통합된 좌표계를 가지도록 데이터를 처리한다. 상기 수집 장치는 플랫폼으로 지칭될 수 있으며, 이하 설명의 편의를 위하여 플랫폼으로 통일하여 설명한다.
이 경우에, 포인트 클라우드 및 카메라의 포즈 정보는 플랫폼 포즈　및 보정 매개 변수를　기반으로 산출될 수 있다. 이후에, 상기 SFM(132)가 상기 카메라 포즈 정보를 개선(refine)하기 위하여 이용될 수 있다. 상기에서 설명한 프로세스에 의하면, 별도의 수동적인 카메라 캘리브레이션이 없어도 상기 카메라 센서의 외부 변수에 대한 카메라 캘리브레이션이 가능하게 된다.
이 때에, 상기 카메라의 포즈는 위치(position)를 나타내는 좌표와 오리엔테이션(orientation)을 나타내는 자세를 포함할 수 있다. 이 경우에, 상기 좌표는 지면의 좌표에서 일정 높이, 예를 들어 로봇의 높이나 사람의 눈높이 등을 더한 좌표로 특정될 수 있다. 또한, 상기 자세는 임의로 특정될 수 있으나, 로봇이나 사람이 이미지 기반 측위를 이용하는 경우에, 실제 쿼리 이미지를 전송하는 상황을 가정하여 그와 유사한 자세로 특정될 수 있다. 이러한 예로서, 상기 자세는 지면에 수평한 방향, 간판을 바라보는 방향, 도보의 진행방향 등을 기준으로 특정될 수 있다.
보다 구체적인 예로서, 본 발명의 라이다 SLAM 파이프라인에서는, 플랫폼에 구비되는 라이다(Lidar) 센서와 카메라 센서를 이용하여 특정 공간의 공간데이터와 이미지 데이터를 각각 수집하는 단계(S111)가 먼저 진행될 수 있다.
이 때에, 상기 라이다 센서와 카메라 센서는 도 3을 참조하여 전술한 플랫폼의 라이다 센서(112a)와 카메라 센서(112d)를 구비할 수 있다.
상기 공간 데이터는 점군 데이터 또는 스캔 데이터가 될 수 있다. 이 경우에 상기 점군 데이터 또는 스캔 데이터가 수집되어, 라이다 SLAM이 그 다음 단계에서 점군 데이터를 이용하여 다른 공간 데이터나 이동 궤적을 도출할 수 있다.
이 때에, 상기 공간데이터는 3차원 포인트 클라우드, 각 시퀀스에 대한 플랫폼의 포즈 등을 구비할 수 있다. 또한, 상기 이미지 데이터는 상기 카메라 센서를 통하여 촬영한 촬영 이미지가 될 수 있다.
이와 같이, 상기 수집하는 단계(S111)에서는 상기 라이다 센서를 이용한 라이다 SLAM(Simultaneous Localization and Mapping)을 통하여 상기 공간데이터와 이미지 데이터를 수집한다.
다음으로, 상기 라이다 SLAM(131)에서는 상기 공간 데이터를 이용하여 상기 라이다 센서의 이동 궤적을 추정하는 단계(S112)가 진행될 수 있다.
예를 들어, 상기 플랫폼의 궤적(또는, 라이다 센서나 카메라 센서의 궤적)이 라이다 기반 포즈 그래프 SLAM을 적용하여 추정될 수 있다. 이 경우에, 상기 라이다 SLAM 포즈는 동일한 공간 내의 여러 궤적에 대한 카메라 포즈를 산출하는 SFM 프로세스의 사전 정보로 이용될 수 있다.
또한, 본 예시에서는 라이다에 의한 공간데이터 도출(Mapping)과 이동궤적 추정(Localization)이 차례대로 수행되거나, 동시에 수행하는 라이다 SLAM 알고리즘들이 모두 이용될 수 있다.
상기에서 설명한 바와 같이, 본 발명의 3차원 맵 생성 방법은, 라이다(Lidar) 센서와 카메라 센서를 이용하여 특정 공간의 공간데이터와 이미지 데이터를 각각 수집하고, 상기 라이다 센서의 이동 궤적을 추정하는 단계(S111, S112)를 포함한다.
다음으로, 라이다 SLAM(131)에서 SFM(132)으로 이어지는 새로운 파이프라인을 형성하기 위하여, 상기 이미지 데이터와 상기 이동 궤적을 입력 데이터로 이용하여 SFM 기반으로 상기 특정 공간에 대한 3차원 구조 데이터를 생성하는 단계(S113)가 진행될 수 있다. 이와 같이, 라이다 SLAM 파이프라인에서 획득한 이미지 데이터와 이동 궤적을 입력데이터로 이용하는 SFM 파이프라인을 통하여, 대규모의 실내 공간에 대한 매핑이 가능하게 된다.
상기에서 설명한 바와 같이, 본 발명에서는 라이다 SLAM 및 SFM 알고리즘을 사용하여, 대규모 실내 공간의 환경 변화에도 불구하고, 정확한 카메라 포즈를 추정할 수 있다.
이하에서는, 본 발명의 3차원 맵 생성 방법의 각 단계에 대하여 예시와 함께 보다 상세히 설명한다.
도 5 및 도 6은 도 4의 흐름도의 일 실시예를 나타내는 상세 흐름도들이고, 도 7은 라이다 SLAM에서 데이터 정합을 수행하는 방법의 예시를 나타내는 개념도이고, 도 8은 SFM에서 데이터 정합을 수행하는 방법의 예시를 나타내는 흐름도이며, 도 9 및 도 10은 본 발명의 3차원 맵 생성 방법에 의하여 생성된 3차원 맵의 실제 구축 결과를 나타내는 그림들이다.
먼저, 도 5 및 도 6을 참조하면, 상기 라이다 SLAM(131)에서는 스캔 데이터(Scan data)를 이용하여 중간 데이터(Intermediate data)를 산출할 수 있다.
상기 스캔 데이터는 전술한 데이터를 수집하는 단계(S111)를 통하여 수집되며, 상기 중간 데이터는 전술한 이동 궤적을 추정하는 단계(S112)를 통하여 산출될 수 있다.
상기 스캔 데이터는 단일의 스캔 궤적(Scan Trajectory)을 통해 연속적으로 획득한 데이터가 될 수 있다. 이 때에, 상기 스캔 데이터는 라이다 스캔의 로우 데이터(LiDAR raw scan)과 카메라 센서의 이미지 데이터(Camera images)를 구비할 수 있다. 라이다 SLAM(131)에서는 상기 로우 데이터를 처리하여 스캔 데이터의 궤적을 복원한다. 이 경우에, 상기 중간 데이터는 상기 이미지 데이터와 함께 복원된 라이다 센서의 궤적(LiDAR sensor trajectory)을 구비할 수 있다.
한편, 상기 라이다 SLMA에서는 포인트 클라우드 생성, 포즈 그래프 및 그래프 병합의 과정을 통하여 상기 플랫폼의 포즈 정보를 획득할 수 있다.
왜곡되지 않은 포인트 클라우드　생성(Undistorted point cloud generation)
포인트 클라우드의 생성에서, 하나의 노드에서 사용되는 포인트 클라우드 데이터의 양을 증대하기 위하여, 복수의, 예를 들어 2개의 라이다 센서에서 수집된 포인트 클라우드가 병합될 수 있다. 이 때에, 다른 라이다 좌표계로 표현된 포인트 클라우드들은 플랫폼 좌표계로 변환되어 서로 연관된다.
또한, 플랫폼의 이동 속도가 빨라질수록 움직이는 동안 포인트 클라우드의 왜곡이 유발될 수 있으며, 이를 보완하기 위하여 오드메트리(wheel odometry) 기술이 적용된다. 이를 통하여, 초기 궤적 추정 및 움직임에 의한 LiDAR 데이터의 왜곡이 보정될 수 있다. 이 경우에, 플랫폼 좌표계의 포인트 클라우드에서 포인트의 위치는 다음 식(1)에 의하여 산출될 수 있다.
where Lp is the position of a point in the point cloud given in the LiDAR coordinate system,
[Rodom, todom] is the relative platform pose between base time of the point cloud and the point acquisition time and calculated from the wheel odometry,
[RRL, tRL] is the relative pose from the platform to a LiDAR sensor.
포즈 그래프 SLAM(Pose-graph SLAM)
왜곡되지 않은 순차적 포인트　클라우드를　사용하여, 추정된 상대　포즈(relative pose)로서 그래프의 에지가 설정될 수 있다. 하지만, 순차적 노드들 사이의 정보　만으로　누적된 포즈 오류를 보상하기는 어려우므로, 시간적으로 거리가 있으나, 공간적으로 인접한 노드들의 사이에 추가적인 에지가 산출되어 포즈 그래프에 추가될 수 있다.
한편, 이 경우에 상기 추정된 이동 궤적은 단일 지역에서 복수의 데이터로 산출될 수 있다. 상기 복수의 데이터에 대한 정합을 위하여, 본 발명의 3차원 맵을 생성하는 방법은 복수의 데이터에 대한 정합을 수행하는 단계를 포함할 수 있다.
상기 정합을 수행하는 단계는, 상기 복수의 데이터에 대한 정합이 수행되도록 상기 이동 궤적들 사이에서 좌표계 변환을 추정하거나, 상기 이동 궤적들 사이의 상대 포즈를 추정할 수 있다. 상기 이동 궤적들 사이에서 좌표계 변환을 추정하는 것은 라이다 SLAM(131)에서 수행되고, 상기 이동 궤적들 사이의 상대 포즈를 추정하는 것은 SFM(132)에서 수행될 수 있다. 이하에서는, 상기 이동 궤적들 사이에서 좌표계 변환을 추정하는 정합 과정에 대하여 먼저 설명하고, 상대 포즈를 추정하는 방법은 SFM(132)에 대한 설명에서 후술한다.
궤적간 정합
상기에서 설명한 절차에 의하여, 추정된 플랫폼의 포즈는 각 시퀀스에 대해 독립적인 좌표계로 표현된다. 예를 들어, 도 7의 (a)을 참조하면, 제1시퀀스의 데이터 세트(141)과 제2시퀀스의 데이터 세트(142)는 각각 독립적인 좌표계로 표현된다. 이 경우에, 도 7의 (b)와 같이, registration 기술을 이용해 공간적으로 인접한 key frame간 정합이 수행될 수 있다. 보다 구체적으로, 다른 시퀀스에서 ICP(iterative closest point) 알고리즘을 이용하여 상대 포즈를 산출하도록, 시간적으로 거리가 있으나 공간적으로 인접한 노드가 다시 검색될 수 있다. 기존의 그래프와 산출된 상대 포즈가 새로운 그래프를 형성하며, 그래프 최적화를 통하여 단일 좌표계로 표현된 플랫폼 포즈가 획득될 수 있다.
이 경우에, 상기 라이다 센서는 전술한 바와 같이, 2개의 라이다 센서가 이용될 수 있다. 2개의 라이다 센서 사이의 보정을 위해 기하학적 특징을　사용하여 ICP(iterative closest point) 알고리즘을 이용하여 상대 포즈가 추정될 수 있다. 또한, 플랫폼의 베이스와 카메라 사이의 보정을 위하여 SFM을 통한 온라인 보정이 이용될 수 있다.
이와 같이, 서로 다른 좌표계를 하나의 좌표계로 통합하기 위하여 데이터 세트 간의 정합이 수행되며, 이를 통하여 도 7의 (c)와 같이 궤적 좌표계가 정합된 중간 데이터가 산출된다.
상기에서 설명한 바와 같이, 상기 라이다 SLAM(Simultaneous Localization and Mapping)의 출력 데이터는 중간 데이터로서, 상기 이미지 데이터와 상기 이동 궤적을 구비할 수 있다. 이 후에, 상기 라이다 SLAM과 상기 SFM 이 파이프라인을 형성하도록 상기 출력 데이터가 상기 SFM(132)의 입력 데이터로 이용된다.
상기 SFM(132)은 비주얼 매핑과 최적화를 수행하는 단계이며, 상기 중간 데이터를 입력받아 SFM 데이터를 출력한다.
상기 생성된 3차원 구조 데이터는 상기 SFM의 출력 데이터로서 상기 포즈 정보가 산출된 이미지들과 포인트 클라우드 데이터를 구비할 수 있다. 예를 들어, 상기 SFM 데이터는 포즈 정보를 가지는 이미지와, 포인트 클라우드 데이터(PCD) 맵을 구비할 수 있다.
다시, 도 5 및 도 6을 참조하면, 상기 3차원 구조 데이터를 생성하는 단계(S113)는 특징점들을 매칭하는 단계(S114), 연속적인 궤적으로 변환하는 단계(S115) 및 포즈 정보를 산출하는 단계(S116)를 포함할 수 있다.
상기 특징점들을 매칭하는 단계(S114)에서는 상기 이미지 데이터로부터 특징점들을 추출하고, 이미지들 사이에서 상기 특징점들을 매칭한다. 예를 들어, 각각의 이미지에 대해 영상의 특징점을 추출하고, Guided Feature Matching을 통하여 위치 및 각도가 가까운 이미지 쌍(Image Pair)들에 대해 특징점 사이의 매칭을 수행한다.
다음으로, 상기 이동 궤적을 연속적인 궤적(Continuous Trajectory)으로 변환하고, 상기 연속적인 궤적을 기반으로 상기 특징점과 상기 이미지 데이터의 포즈 정보를 최적화하여 상기 특정 공간에 대한 3차원 특징점 맵이 생성된다.
이하에서는, 특징점 매칭과 맵 최적화에 대하여 보다 구체적으로 설명한다.
특징점 매칭(Local feature matching)
예를 들어, 각 이미지마다 반복 가능하고 신뢰할 수 있는 R2D2(Reliable and Repeatable Detectors and Descriptors) 특징점이 추출될 수 있다. 이후에, 거리가 가까운 이미지 쌍들을 이용하여 특징점 매칭이 수행된다. 가까운 이미지 쌍들을 선택하기 위하여, 두 이미지 사이의 거리와 시야각 차이가 임계값으로 설정될 수 있다.
이 경우에, 상기 매칭된 특징점은 트라이앵글레이션(triangulation) 기법에 의하여 3차원 포인트를 생성할 수 있다.
다음으로, 상기 이동 궤적을 연속적인 궤적(Continuous Trajectory)으로 변환하는 단계(S115)가 진행될 수 있다.
이 경우에, 상기 이미지 데이터의 포즈 정보가 상기 연속적인 궤적에 정합되도록 상기 이동 궤적은 연속 시간 궤적(Continuous-Time Trajectory)으로 모델링될 수 있다. 또한, 상기 포즈 정보를 산출하는 단계(S116)에서는 상기 연속적인 궤적을 기반으로 상기 이미지 데이터의 포즈 정보가 산출될 수 있다.
이와 같은 연속적인 궤적으로 변환하는 단계와 포즈 정보를 산출하는 단계는 맵 최적화를 통하여 수행될 수 있다. 상기 맵 최적화는 라이다 궤적을 연속 시간 궤적(Continuous-Time Trajectory)으로 표현 또는 모델링하여, 이미지들의 포즈 정보가 해당 연속 궤적(Continuous Trajectory)과 정합되도록 최적화하는 단계가 될 수 있다. 이 경우에, 상기 SFM(132)은 기존의 Visual Mapping(기존의 SFM)과 다르게, 사전에 획득한 이동 궤적을 연속 형태(Continuous Form)로 표현해서 활용하므로 정교한 최적화를 수행하게 된다. 즉, 사전의 라이다 SLAM에서 획득한 포즈를 연속적인 궤적인 스플라인(spline)으로 표현한 후에, 이를 제약 조건으로 Visual Map의 최적화를 수행한다.
맵 최적화(Map optimization)
먼저, 센서들 사이의 타임스탬프 차이를 설명하기 위하여, SE(3)에서 각 플랫폼 궤적은 연속 입방　스플라인(continuous cubic Spline)으로 표현될 수 있다. 구체적으로, 상기 이동 궤적을 연속 입방　스플라인(continuous cubic Spline)으로 표현하여 포즈 오류를 정의함에 따라 지도 최적화가 수행된다.
플랫폼 궤적 스플라인,　TWR(t) 및 카메라에 대한 외부 포즈, Ci, TRCi 를 사용하면, 포즈　오류 espline　은 다음 식 (2)와 같이 표현될 수 있다.
Here, denotes generalized minus defined in SE(3) manifold,
TWCi is the image pose and ti the corresponding timestamp.
플랫폼　궤적의 연속적인 표현을 통하여 라이다 SLAM(131)에서 오는 비동기식의 사전 포즈가 SFM(132)에서 사용될 수 있다. 스플라인을 통한 제안된 포즈 오류는 식(3)과 같이 특징점 재투영 에러로 최적화될 수 있다.
이와 같이, 수정된 번들 조정 방법에 의하여, 이미지들의 포즈 정보와 특징점들이 재건될 수 있다.
이 때에, SFM 모델은 번들 조정과 트라이앵글레이션(triangulation) 기법을 반복함에 따라 생성될 수 있다. 이와 같은 SFM 파이프라인은　라이다 SLAM에서 출력되는 데이터를 통합하여　시각적으로 눈에 잘　띄지 않거나 사람이 많은　이미지라도 정확하게 등록하도록 한다.
또한, 카메라 보정　매개 변수는　SFM　파이프라인을　통해 각 데이터 세트의 3차원 모델을 재구성하는　동안 자동으로 추정될 수 있다.
한편, 본 발명의 3차원 맵 생성 방법에서는 밀도가 높은 맵을 생성하기 위하여 Multi-View Stereo 기법(MVS)을 적용하는 것도 가능하다. 이러한 예로서, 도 5 및 도 6에 도시된 바와 같이, 본 발명의 3차원 맵 생성 방법은 MVS(133)가 적용되어, 깊이 맵(depthmap)을 생성하는 단계(S117)를 포함할 수 있다.
상기 깊이 맵을 생성하는 단계(S117)에서는 상기 생성된 3차원 구조 데이터를 이용하여 이미지의 깊이 정보를 추정하여 깊이 맵이 생성될 수 있다.
상기 MVS(133)는 상기 SFM(132)에서 산출되는 SFM Data로부터 Dense Visual Map을 생성하는 MVS 알고리즘이 될 수 있다. 상기 MVS(133)의 깊이 맵을 생성하는 과정을 통하여, MVS Data는 색이 있을 수 있고 밀도가 높은 포인트 클라우드 맵을 구비할 수 있다.
도 9및 도 10은 실제 구축한 SFM Data의 저밀도로 재건(Sparse Reconstruction)된 특징점 맵과 MVS Data의 고밀도로 재건(Dense Reconstructio)된 특징점 맵을 각각 나타낸 사진들이다. 도 9의 (a)에서는 강남역 지하1층에 대한 3차원 맵의 실제 사례를 보여주고, 도 9의 (b)에서는 현대백화점 4층에 대한 3차원 맵의 실제 사례를 보여준다. 도 10에서는 MVS(133)의 결과로서 밀도가 높아지고, 색이 보다 명확하게 나타나는 3차원 맵을 볼 수 있다.
상기에서 설명한 3차원 맵 생성 방법에 의하면, 새로운 파이프라인을 통하여 정확한 3차원 맵을 생성하여, 대규모의 실내 공간, 예를 들어 백화점이나 지하철역에서 쿼리 이미지를 사용한 이미지 기반 측위(Visual Localization)가 가능하게 된다.
전술한 바와 같이, 본 발명에서 데이터의 정합은 상대 포즈를 추정하는 방법으로 SFM(132)에서 수행하는 것도 가능하다. 도 8을 참조하면, 이를 위하여 특징점들을 매칭한 단계(S114)의 다음으로 상대 포즈를 추정하는 단계(S118)가 진행될 수 있다.
스캔 데이터(또는 중간 데이터)의 궤적이 각각 처리되면 라이다 SLAM이 정확하더라도 데이터 사이에서 좌표계가 다르게 나타날 수 있다. 단일 지역에 대해 데이터들을 정합하기 위하여 궤적들 사이의 좌표계 변환을 추정해야 한다. 이 경우에, 좌표계 변환은 데이터 사이의 6-DOF Relative Pose (3-DOF positon + 3-DOF orientation)을 구하는 문제로 표현될 수 있다.
이 때에, 최적화 프로세스 중에서 플랫폼에서 라이다 센서 및 카메라 센서들 사이의 배치(즉, 상대 포즈, Relative Pose)를 같이 풀어내는 것이 가능하다. 또한, 최적화 중에 중간 데이터에 포함된 라이다 센서 궤적(Trajectory)들 사이의 좌표계 변환을 같이 풀어서, 중간 데이터들을 서로 정합하는 것도 가능하다.
보다 구체적으로, 좌표계 변환의 초기값 계산으로, 라이다 SLAM이 산출하는 각각의 데이터 마다의 포인트 클라우드 데이터 맵을 ICP(Iterative closest point) 알고리즘으로 서로 정합해 좌표계 변환을 산출할 수 있다. 이 때에, SFM에서 중간 데이터들 포함된 이미지들 사이의 매칭을 수행하므로, 이를 통해 상대 포즈(Relative Pose)가 추정될 수 있다.
좌표계 변환의 최적화에서, 초기값이 주어지면 최적화가 가능하게 된다. SFM(132)에서 이미지의 포즈 정보와 맵의 포인트의 최적화를 수행할 때 궤적 사이의 상대 포즈(Relative Pose)를 추가적인 변수로 설정하면 동시에 최적화가 수행될 수 있다. 이 때에, 궤적 간의 상대 포즈(Relative Pose)가 실제와 다르면 사전에 획득한 궤적(Prior Trajectory)이 틀리게 되므로 최적화 비용(Cost)에 영향을 주게 된다. 따라서 상대 포즈(Relative Pose)에 대한 최적화 비용의 자코비안(Jacobian)을 최적화 프레임워크(Framework)가 계산하여 정확한 상대 포즈(Relative Pose)가 산출될 수 있다.
상기에서 설명한 라이다(LiDAR) 센서의 궤적을 활용한 비주얼 매핑(Visual Mapping)을 통하여, 실외 환경에 적합한 SFM 기반 알고리즘을 이용하여 대규모 실내 공간의 정확한 매핑이 가능하게 된다.
특히, 라이다 센서(또는 수집장치, 플랫폼, 매핑 로봇)의 궤적을 연속 시간 궤적(Continous-Time Trajectory)으로 표현하여, 카메라 센서에서 획득한 이미지들의 포즈 정보가 해당하는 연속 궤적(Continuous Trajectory)과 보다 정교하게 정합될 수 있다.
또한, 상기에서 설명한 방법에 의하여 구축된 3차원 맵은 사용자의 모바일 기기에서 이미지 기반 측위 서비스에서 활용될 수 있다. 예를 들어, 사용자는 특정 공간에서 도보로 이동 중에 자신의 위치를 확인하기 위하여 스마트 폰에서 이미지 기반 측위 서비스와 관련된 애플리케이션을 실행하고, 주변의 거리를 촬영할 수 있다. 상기 애플리케이션은 촬영된 사진의 특징점과 3차원 맵의 특징점을 비교하여, 상기 모바일 기기의 3차원 위치 및 포즈를 추정하게 된다.
이러한 3차원 위치 및 추정된 포즈를 이용하여 상기 모바일 기기의 정확한 위치가 추정될 수 있다. 이 경우에, 상기 스마트 폰에서는 상기 위치를 기반으로 한 여러가지 서비스가 실행될 수 있다.
상기와 같이 설명된 3차원 맵 생성 방법 및 시스템은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

  1. 수집 장치에 구비되는 라이다(Lidar) 센서와 카메라 센서를 이용하여 특정 공간의 공간데이터와 이미지 데이터를 각각 수집하는 단계;
    상기 공간 데이터를 이용하여 상기 라이다 센서의 이동 궤적을 추정하는 단계; 및
    상기 이미지 데이터와 상기 이동 궤적을 입력 데이터로 이용하여 SFM(Structure-From-Motion) 기반으로 상기 특정 공간에 대한 3차원 구조 데이터를 생성하는 단계를 포함하고,
    상기 3차원 구조 데이터를 생성하는 단계에서는,
    상기 이동 궤적을 연속적인 궤적(Continuous Trajectory)으로 변환하여 포즈 오류를 정의함에 따라 지도 최적화를 수행하는 것을 특징으로 하는 3차원 맵 생성 방법.
  2. 제1항에 있어서,　
    상기 수집하는 단계에서는 상기 라이다 센서를 이용한 라이다 SLAM(Simultaneous Localization and Mapping)을 통하여 상기 공간데이터와 이미지 데이터를 수집하는 것을 특징으로 하는 3차원 맵 생성 방법.
  3. 제2항에 있어서,　
    상기 라이다 SLAM(Simultaneous Localization and Mapping)의 출력 데이터는 상기 이미지 데이터와 상기 이동 궤적을 구비하고,
    상기 라이다 SLAM과 상기 SFM 이 파이프라인을 형성하도록 상기 출력 데이터가 상기 입력 데이터로 이용되는 것을 특징으로 하는 3차원 맵 생성 방법.
  4. 제1항에 있어서,　
    상기 3차원 구조 데이터를 생성하는 단계는,
    상기 이미지 데이터로부터 특징점들을 추출하고, 이미지들 사이에서 상기 특징점들을 매칭하는 단계;
    상기 이동 궤적을 연속적인 궤적(Continuous Trajectory)으로 변환하는 단계;
    상기 연속적인 궤적을 기반으로 상기 이미지 데이터의 포즈 정보를 산출하는 단계를 포함하는 3차원 맵 생성 방법.
  5. 제4항에 있어서,　
    상기 이미지 데이터의 포즈 정보가 상기 연속적인 궤적에 정합되도록 상기 이동 궤적은 연속 시간 궤적(Continuous-Time Trajectory)으로 모델링되는 것을 특징으로 하는 3차원 맵 생성 방법.
  6. 제4항에 있어서,　
    상기 생성된 3차원 구조 데이터는 상기 SFM의 출력 데이터로서 상기 포즈 정보가 산출된 이미지들과 포인트 클라우드 데이터를 구비하는 것을 특징으로 하는 3차원 맵 생성 방법.
  7. 삭제
  8. 제1항에 있어서,　
    상기 생성된 3차원 구조 데이터를 이용하여 이미지의 깊이 정보를 추정하여 깊이 맵을 생성하는 단계를 더 포함하는 3차원 맵 생성 방법.
  9. 제1항에 있어서,　
    상기 추정된 이동 궤적은 단일 지역에서 복수의 데이터로 산출되고, 상기 복수의 데이터에 대한 정합을 수행하는 단계를 더 포함하는 3차원 맵 생성 방법.
  10. 제9항에 있어서,　
    상기 복수의 데이터에 대한 정합이 수행되도록 상기 이동 궤적들 사이에서 좌표계 변환을 추정하거나, 상기 이동 궤적들 사이의 상대 포즈를 추정하는 것을 특징으로 하는 3차원 맵 생성 방법.
  11. 라이다(Lidar) 센서와 카메라 센서를 이용하여 특정 공간의 공간데이터와 이미지 데이터를 각각 수집하고, 상기 라이다 센서의 이동 궤적을 추정하는 단계;
    상기 이미지 데이터로부터 특징점들을 추출하고, 이미지들 사이에서 상기 특징점들을 매칭하는 단계; 및
    상기 이동 궤적을 연속적인 궤적(Continuous Trajectory)으로 변환하고, 상기 연속적인 궤적을 기반으로 상기 특징점과 상기 이미지 데이터의 포즈 정보를 최적화하여 상기 특정 공간에 대한 3차원 특징점 맵을 생성하는 단계를 포함하는 3차원 맵 생성 방법.
  12. 제11항에 있어서,
    상기 3차원 특징점 맵을 생성하는 단계에서는,
    상기 이동 궤적을 연속 스플라인(continuous Spline)으로 표현하여 포즈 오류를 정의함에 따라 지도 최적화를 수행하는 것을 특징으로 하는 3차원 맵 생성 방법.
  13. 제11항에 있어서,
    상기 이미지 데이터와 상기 이동 궤적은 라이다 SLAM(Simultaneous Localization and Mapping)의 출력 데이터로서 출력되고,
    상기 3차원 특징점 맵은 상기 이미지 데이터와 상기 이동 궤적을 입력 데이터로 이용하여 SFM(Structure-From-Motion) 기반으로 생성되는 것을 특징으로 하는 3차원 맵 생성 방법.
  14. 라이다 센서 및 카메라 센서를 구비하는 수집 장치; 및
    상기 수집 장치를 이용하여 특정 공간에 대한 3차원 특징점 맵을 생성하는 매핑 장치를 포함하고,
    상기 수집 장치는, 상기 라이다 센서와 카메라 센서를 이용하여 상기 특정 공간의 공간데이터와 이미지 데이터를 각각 수집하고,
    상기 매핑 장치는 상기 공간 데이터를 이용하여 상기 라이다 센서의 이동 궤적을 추정하고, 상기 이미지 데이터와 상기 이동 궤적을 입력 데이터로 이용하여 SFM(Structure-From-Motion) 기반으로 상기 특정 공간에 대한 3차원 구조 데이터를 생성하고,
    상기 3차원 구조 데이터는,
    상기 이동 궤적을 연속적인 궤적(Continuous Trajectory)으로 변환하여 포즈 오류를 정의함에 따라 지도 최적화를 수행하여 생성되는 것을 특징으로 하는 맵 생성 시스템.
  15. 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램으로서,
    상기 프로그램은,
    수집 장치에 구비되는 라이다(Lidar) 센서와 카메라 센서를 이용하여 특정 공간의 공간데이터와 이미지 데이터를 각각 수집하는 단계;
    상기 공간 데이터를 이용하여 상기 라이다 센서의 이동 궤적을 추정하는 단계; 및
    상기 이미지 데이터와 상기 이동 궤적을 입력 데이터로 이용하여 SFM(Structure-From-Motion) 기반으로 상기 특정 공간에 대한 3차원 구조 데이터를 생성하는 단계:를 수행하고,
    상기 3차원 구조 데이터를 생성하는 단계에서는,
    상기 이동 궤적을 연속적인 궤적(Continuous Trajectory)으로 변환하여 포즈 오류를 정의함에 따라 지도 최적화를 수행하도록 하는 명령어들을 포함하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램.
KR1020210027774A 2021-03-02 2021-03-02 3차원 맵 생성 방법 및 시스템 KR102577907B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210027774A KR102577907B1 (ko) 2021-03-02 2021-03-02 3차원 맵 생성 방법 및 시스템
JP2022030728A JP7266128B2 (ja) 2021-03-02 2022-03-01 ３次元マップ生成方法及びシステム
US17/684,763 US12025708B2 (en) 2021-03-02 2022-03-02 Method and system of generating 3D map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210027774A KR102577907B1 (ko) 2021-03-02 2021-03-02 3차원 맵 생성 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220124051A KR20220124051A (ko) 2022-09-13
KR102577907B1 true KR102577907B1 (ko) 2023-09-14

Family

ID=83116063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210027774A KR102577907B1 (ko) 2021-03-02 2021-03-02 3차원 맵 생성 방법 및 시스템

Country Status (3)

Country Link
US (1) US12025708B2 (ko)
JP (1) JP7266128B2 (ko)
KR (1) KR102577907B1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4985516B2 (ja) * 2008-03-27 2012-07-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
WO2018131165A1 (ja) * 2017-01-16 2018-07-19 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
KR102095842B1 (ko) * 2017-12-13 2020-04-28 연세대학교 산학협력단 격자지도 생성 장치 및 방법
KR102297496B1 (ko) * 2019-07-11 2021-09-02 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR20210015516A (ko) * 2019-08-02 2021-02-10 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템

Also Published As

Publication number Publication date
US20220283310A1 (en) 2022-09-08
JP2022134119A (ja) 2022-09-14
JP7266128B2 (ja) 2023-04-27
US12025708B2 (en) 2024-07-02
KR20220124051A (ko) 2022-09-13

Similar Documents

Publication Publication Date Title
Ramezani et al. The newer college dataset: Handheld lidar, inertial and vision with ground truth
CN102622762B (zh) 使用深度图的实时相机跟踪
US9886774B2 (en) Photogrammetric methods and devices related thereto
US20190121361A1 (en) Method for constructing a map while performing work
US9020301B2 (en) Method and system for three dimensional mapping of an environment
JP7273927B2 (ja) 画像ベースの測位方法及びシステム
Pirker et al. GPSlam: Marrying Sparse Geometric and Dense Probabilistic Visual Mapping.
JP2021103168A (ja) 拡張現実装置及び位置決め方法
KR101319526B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법
CN116349222A (zh) 利用集成图像帧渲染基于深度的三维模型
US11941755B2 (en) Method of generating map and visual localization system using the map
Tao et al. Automated processing of mobile mapping image sequences
WO2022127572A9 (zh) 机器人三维地图位姿显示方法、装置、设备及存储介质
Hsu et al. Application of multisensor fusion to develop a personal location and 3D mapping system
EP4332631A1 (en) Global optimization methods for mobile coordinate scanners
Shacklock et al. Visual guidance for autonomous vehicles: capability and challenges
Lobo et al. World feature detection and mapping using stereovision and inertial sensors
KR102577907B1 (ko) 3차원 맵 생성 방법 및 시스템
WO2023159668A1 (en) System and method of capturing large scale scenes using wearable inertial measurement devices and light detection and ranging sensors
US11741631B2 (en) Real-time alignment of multiple point clouds to video capture
CN117042927A (zh) 用于优化单目视觉-惯性定位系统的方法和装置
Haala et al. Pedestrian mobile mapping system for indoor environments based on MEMS IMU and range camera
Liu et al. A low-cost and scalable framework to build large-scale localization benchmark for augmented reality
KR20220050386A (ko) 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템
US20240118091A1 (en) Method for constructing a map while performing work

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right