KR102314228B1 - 지도 구축 방법, 장치, 기기 및 판독가능 저장 매체 - Google Patents
지도 구축 방법, 장치, 기기 및 판독가능 저장 매체 Download PDFInfo
- Publication number
- KR102314228B1 KR102314228B1 KR1020200029275A KR20200029275A KR102314228B1 KR 102314228 B1 KR102314228 B1 KR 102314228B1 KR 1020200029275 A KR1020200029275 A KR 1020200029275A KR 20200029275 A KR20200029275 A KR 20200029275A KR 102314228 B1 KR102314228 B1 KR 102314228B1
- Authority
- KR
- South Korea
- Prior art keywords
- feature
- point cloud
- parameter
- cloud data
- target frame
- Prior art date
Links
- 238000010276 construction Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 6
- 238000000265 homogenisation Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
- G09B29/004—Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
Abstract
지도 구축 방법, 장치, 기기 및 판독가능 저장 매체를 개시한다. 상기 지도 구축 방법은, 현재 목표 프레임 데이터에서 관측된 물체에 대응되는 3차원 점구름 데이터를 획득하는 단계-상기 관측된 물체에는 특징 물체 및 비특징 물체가 포함됨-; 상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 단계-상기 특징 파라미터는 상기 특징 물체의 위치와 크기를 나타냄-; 및 상기 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하여, 상기 특징 파라미터 및 조정된 3차원 점구름 데이터에 의해 지도를 구축하는 단계를 포함한다. 이로써, 데이터에 대한 균질화 처리를 구현할 수 있으므로, 구축되는 지도가 센서의 유형에 제한되지 않고, 상이한 센서를 위한 포지셔닝 방안을 제공할 수 있다.
Description
본 출원은 지도 구축 기술 분야에 관한 것으로서, 특히 지도 구축 방법, 장치, 기기 및 판독가능 저장 매체에 관한 것이다.
과학 기술의 발전에 따라, 자동 내비게이션 기능을 가지는 무인운전 자동차, 로봇 등과 같은 모바일 기기는 연구 핫스팟이 되었다. 이들 모바일 기기는 낯선 작업 환경에 진입할 때, 기기에 설치된 센서에 의해 수집된 환경 데이터에 기초하여, 주변 환경에 대해 지도를 구축하여, 자신의 공간에서의 위치를 획득할 수 있다. 따라서, 자동 내비게이션을 실현하기 위해서는 지도 구축이 매우 중요하다. 그러나, 종래의 기술에서는 지도 구축 방법을 센서의 유형에 맞추어 구축해야 하며, 즉 하나의 지도 구축 방법은 특정 유형의 센서만에 적용되며, 적용성이 비교적 낯다.
상기 기술 문제를 해결하기 위해 본 출원을 제안한다. 본 출원의 실시예는, 특징 물체의 특징 파라미터를 추출하고 비특징 물체의 점구름 (Point Cloud) 밀도를 조정함으로써, 데이터의 균질화 처리를 실현하여, 구축된 지도가 센서 유형에 제한되지 않고 상이한 센서에 대해 포지셔닝 방안을 제공할 수 있는, 지도 구축 방법, 장치, 기기 및 판독가능 저장 매체를 제공한다.
본 출원의 일 측면에 따라, 현재 목표 프레임 데이터에서 관측된 물체에 대응되는 3차원 점구름 데이터를 획득하는 단계-상기 관측된 물체에는 특징 물체 및 비특징 물체가 포함됨-; 상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 단계-상기 특징 파라미터는 상기 특징 물체의 위치와 크기를 나타냄-; 및 상기 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하여, 상기 특징 파라미터 및 조정된 3차원 점구름 데이터에 의해 지도를 구축하는 단계를 포함하는 지도 구축 방법을 제공한다.
본 출원의 다른 측면에 따라, 현재 목표 프레임 데이터에서 관측된 물체에 대응되는 3차원 점구름 데이터를 획득하도록 구성된 획득 모듈-상기 관측된 물체에는 특징 물체 및 비특징 물체가 포함됨-; 상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하도록 구성된 파라미터 확정 모듈-상기 특징 파라미터는 상기 특징 물체의 위치와 크기를 나타냄-; 및 상기 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하여, 상기 특징 파라미터 및 조정된 3차원 점구름 데이터에 의해 지도를 구축하도록 구성된 조정 모듈을 포함하는 지도 구축 장치를 제공한다.
본 출원의 또 다른 측면에 따라, 프로세서; 및 컴퓨터 프로그램 지령이 저장된 메모리를 포함하는 전자 기기를 제공하며, 상기 컴퓨터 프로그램 지령이 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기 지도 구축 방법을 수행하게 한다.
본 출원의 또 다른 측면에 따라, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기 지도 구축 방법을 수행하게 하는 컴퓨터 프로그램 지령이 저장된 컴퓨터 판독가능 저장 매체를 제공한다.
종래 기술에 비해 본 출원에 따른 지도 구축 방법, 장치, 전자 기기 및 판독가능 저장 매체는, 현재 목표 프레임 데이터에서 특징 물체 및 비특징 물체에 대응되는 3차원 점구름 데이터를 획득한 후, 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여 특징 물체에 대응되는 특징 파라미터를 획득하고, 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하여, 특징 파라미터 및 조정된 3차원 점구름 데이터에 의해 지도를 구축할 수 있다.
이러한 방식으로, 본 출원의 지도 구축 방법, 장치, 전자 기기 및 판독가능 저장 매체는 특징 파라미터 및 균일한 밀도의 3차원 점구름 데이터를 통해 데이터의 균질화 처리를 실현한다. 균질화 처리된 데이터에 의해 구축된 지도는, 센서 유형에 제한되지 않고, 상이한 센서를 위해 포지셔닝 방안을 제공할 수 있다.
본 출원의 실시예를 첨부 도면을 참조하여 보다 상세하게 설명함으로써 본 출원의 상기 및 기타 목적, 특징 및 장점은 보다 뚜렷해질 것이다. 첨부 도면은, 본 출원의 실시예가 잘 이해되기 위한 것이며, 명세서의 일부를 구성하여 본 출원의 실시예와 함께 본 출원을 설명하나, 본 출원에 대한 제한이 아니다. 첨부된 도면에서, 동일한 참조부호는 일반적으로 동일한 구성 요소 또는 단계를 표시한다.
도 1은 본 출원의 일 예시적인 실시예에 의해 제공되는 지도 구축 방법의 흐름도이다.
도 2는 본 출원의 일 예시적인 실시예에 의해 제공되는 특징 파라미터 획득 과정의 개략적인 흐름도이다.
도 3은 본 출원의 일 예시적인 실시예에 의해 제공되는 지도 구축 장치의 블록도이다.
도 4는 본 출원의 실시예에 의해 제공되는 지도 구축 장치의 파라미터 확정 모듈의 일 예시적인 블록도이다.
도 5는 본 출원의 일 예시적인 실시예에 의해 제공되는 전자 기기의 구성 예시도이다.
도 1은 본 출원의 일 예시적인 실시예에 의해 제공되는 지도 구축 방법의 흐름도이다.
도 2는 본 출원의 일 예시적인 실시예에 의해 제공되는 특징 파라미터 획득 과정의 개략적인 흐름도이다.
도 3은 본 출원의 일 예시적인 실시예에 의해 제공되는 지도 구축 장치의 블록도이다.
도 4는 본 출원의 실시예에 의해 제공되는 지도 구축 장치의 파라미터 확정 모듈의 일 예시적인 블록도이다.
도 5는 본 출원의 일 예시적인 실시예에 의해 제공되는 전자 기기의 구성 예시도이다.
이하, 첨부 도면을 참조하여 본 출원에 따른 예시적인 실시예를 상세히 설명하도록 한다. 자명한 점이라면, 설명될 실시예는 본 발명의 전부 실시예가 아닌 일부 실시예에 불과하며, 본 출원은 여기에 설명되는 예시적인 실시예에 의해 제한되지 않는다.
출원 개술
상기와 같이, 지도 구축 방법에서는, 자동 내비게이션 기능을 가진 무인운전 자동차, 로봇 등과 같은 모바일 기기에 설치된 센서에 의해 수집된 환경 데이터에 기초하여 주변 환경에 대해 지도를 구축해야 한다.
기존의 지도 구축 방안은 주로 두 가지로 나누어진다. 하나는 vSLAM (Visual Simultaneous Localization and Mapping, 비전 기반 동시적 위치추정 및 지도작성)으로서, 카메라와 같은 비전 센서에 의해 수집된 환경 데이터를 사용하여 지도를 구축하는 것이며; 다른 하나는 레이더 기반 SLAM으로서, 라이다(LiDAR)에 의해 수집된 환경 데이터를 사용하여 지도를 구축하는 것이다. 사용된 센서가 다르기 때문에 획득된 원시 데이터가 다르므로, 구성된 지도를 상호 교환하여 사용하기가 어렵고, 특정 유형의 센서에만 적용될 수 있으며, 적용성이 비교적으로 낮다.
상기 기술적 문제에 대해, 본 출원의 기본 개념은 센서에 의해 수집된 목표 프레임 데이터에 대해 전처리를 수행하는 것이다. 한편으로는 특징 물체의 특징 파라미터를 추출함으로써 목표 프레임 데이터에서의 특징 물체를 더 높은 레벨로 표현하며, 다른 한편으로는 특징 파라미터로 표현될 수 없는 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 통일시키고, 소스가 상이한 데이터에 대한 균질화를 실현한다.
구체적으로, 본 출원에 의해 제공되는 지도 구축 방법, 장치, 기기 및 판독가능 저장 매체는, 먼저 현재 목표 프레임 데이터에서 관측된 물체에 대응되는 3차원 점구름 데이터를 획득한다. 여기서, 관측된 물체에는 특징 물체 및 비특징 물체가 포함된다. 다음으로, 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여 특징 물체에 대응되는 특징 파라미터를 획득한다. 여기서, 특징 파라미터는 상기 특징 물체의 위치와 크기를 나타낸다. 마지막으로, 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정한다.
이로써, 특징 물체의 특징 파라미터를 추출하고 비특징 물체의 점구름 데이터의 점구름 밀도를 조정함으로써, 각종 유형의 센서에 의해 수집된 이질 데이터에 대한 균질화를 구현할 수 있다. 따라서 본 방법은, 센서 유형에 제한되지 않으며, 상이한 센서에 의한 지도 구축 및 포지셔닝에 적용될 수 있다.
본 출원의 기본 원리를 소개한 후, 이하에서는 본 출원의 여러 가지 비제한적인 실시예를 첨부 도면을 참조하여 구체적으로 설명하기로 한다.
예시적인 방법
도 1은 본 출원의 일 예시적인 실시예에 의해 제공되는 지도 구축 방법의 개략적인 흐름도이다. 본 실시예는 모바일 기기에 적용될 수 있으며, 도 1에 도시된 바와 같이 아래와 같은 단계를 포함한다.
단계 S101: 현재 목표 프레임 데이터에서 관측된 물체에 대응되는 3차원 점구름 데이터를 획득하며, 여기서 상기 관측된 물체에는 특징 물체 및 비특징 물체가 포함된다.
무인운전 자동차, 로봇 등과 같은 모바일 기기에는, 지도 구축을 위한 감지 데이터를 수집하기 위한 라이다, 밀리미터파 레이더, 또는 카메라와 같은 감지 센서가 설치된다. 모바일 기기의 이동 과정에서, 감지 센서는 지속적으로 감지 데이터를 수집한다. 본 실시예에서는, 감지 센서에 의해 수집된 감지 데이터로부터 목표 프레임 데이터를 추출하고, 순차적으로 추출된 목표 프레임 데이터를 현재 목표 프레임 데이터로서 순차적으로 사용하여, 현재 목표 프레임 데이터에 대해 단계 S101 내지 단계 S103의 처리를 수행하여 환경 지도를 구축한다.
본 실시예에서, 목표 프레임 데이터는 실제 수요에 따라 추출될 수 있다. 예를 들어, 감지 센서에 의해 연속적으로 수집된 감지 데이터에서, 미리 설정된 수량의 프레임 간격마다 하나의 프레임을 목표 프레임 데이터로서 선택할 수 있다. 여기서, 미리 설정된 수량의 프레임 간격은 실제 수요에 따라 설정될 수 있다. 또는, 감지 센서에 의해 수집된 각 프레임 데이터를 모두 목표 프레임 데이터로 사용할 수 있다.
이해해야 할 점이라면, 현재 목표 프레임 데이터의 데이터 소스 유형은, 실제 응용 시나리오에서 모바일 기기에 의해 사용되는 감지 센서에 의해 결정된다. 예를 들어, 모바일 기기에서의 지도 구축 및 포지셔닝을 위한 감지 센서가 카메라인 경우에는, 카메라에 의해 현재 수집된 목표 이미지 프레임 데이터를 순차적으로 현재 목표 프레임 데이터로 사용하며; 모바일 기기에서의 지도 구축 및 포지셔닝을 위한 감지 센서가 라이다인 경우에는, 라이다에 의해 현재 수집된 목표 프레임 레이저 점구름 데이터를 현재 목표 프레임 데이터로 사용하며; 모바일 기기에서의 지도 구축 및 포지셔닝을 위한 감지 센서가 카메라및 라이다인 경우에는, 카메라에 의해 현재 수집된 목표 이미지 프레임 데이터 및 라이다에 의해 현재 수집된 목표 프레임 레이저 점구름 데이터를 함께 현재 목표 프레임 데이터로 사용한다.
현재 목표 프레임 데이터에는, 주변 환경에서 모바일 기기의 감지 센서에 의해 관측되는 물체의 정보가 포함된다. 본 실시예에서, 환경에서 관측될 수 있는 물체, 즉 관찰된 물체는, 특징 물체와 비특징 물체로 나누어질 수 있다. 그 중에서, 특징 물체는 환경에서 형상이 규칙적이고 구조화될 수 있는 차선, 기둥 및 형상이 규칙적인 도로 표지 등과 같은 물체이며, 비특징 물체는 형상이 다양하고 불규칙하여 구조화될 수 없는 고층 건물, 나무, 행인 등과 같은 물체이다.
단계 S102: 상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하며, 상기 특징 파라미터는 상기 특징 물체의 위치와 크기를 나타낸다.
3차원 점구름 데이터와 달리, 특징 파라미터는 특징 물체의 위치와 구조에 대한 더 높은 차원에서의 표현이며, 특징 파라미터를 통해서는 환경에서의 특징 물체의 위치와 구조 크기를 복원할 수 있다. 예를 들어, 특징 물체가 기둥과 같은 원통형 물체인 경우, 시작점 좌표, 바닥면 반경 및 높이와 같은 원통형 물체의 특징점 좌표를 원통형 물체의 특징 파라미터로 사용할 수 있으며, 여기서 특징점 좌표는 특징 물체의 위치를 정의하는데 사용되며, 바닥면 반경 및 높이는 특징 물체의 크기를 정의하는데 사용된다. 다른 예를 들어, 특징 물체는 사각형 신호 표지판과 같은 사각형 물체인 경우, 이 사각형 물체의 정점 좌표를 이 사각형 물체의 특징 파라미터로 사용할 수 있다.
본 실시예에서는, 현재 목표 프레임 데이터의 특징 물체를 특징 파라미터에 의해 표현함으로써, 상이한 유형의 센서에 의해 수집된 이질 데이터에 대한 균질화를 구현할 뿐만 아니라, 지도 구축 데이터의 데이터 량을 또한 효과적으로 줄일 수 있다.
단계 S103: 상기 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하여, 상기 특징 파라미터 및 조정된 3차원 점구름 데이터에 의해 지도를 구축한다.
이해해야 할 점이라면, 현재 목표 프레임 데이터에서, 형상이 규칙적이고 특징 파라미터에 의해 표현될 수 있는 특징 물체 이외에, 특징 파라미터에 의해 표현될 수 없는 꽃, 집 등과 같은 비특징 물체가 있을 수도 있다. 상이한 감지 센서에 의해 수집된 데이터의 밀도는 불일치하며, 예를 들면, 이미지 데이터가 가장 밀집하고, 레이저 점구름 데이터는 그 라인 수에 따라 획득된 점구름 밀도가 다르다. 따라서, 본 실시예에서 또한 현재 목표 프레임 데이터에서 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 조정하며, 즉 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하도록 하여, 현재 목표 프레임 데이터가 어느 감지 센서로부터 획득되었든지, 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 최대한 균일하게 보장할 수 있어, 해당 부분의 데이터의 균질화를 구현한다. 이로써, 구축된 지도가 적용되는 포지셔닝 방안은 센서 유형에 의해 제한되지 않게 될 수 있다.
구체적으로, 상기 단계 S103에서, 미리 설정된 값은 실제 응용에서 다양한 유형의 감지 센서에 의해 수집된 데이터에 대응되는 3차원 점구름 데이터의 점구름 밀도에 따라 설정될 수 있고, 예를 들어 3차원 공간에서 1cm3/포인트, 3cm3/포인트, 또는 5cm3/포인트 등으로 설정될 수 있다. 본 실시예에서는, 현재 목표 프레임 데이터에서 비특징 물체에 대응되는 3차원 점구름 데이터에 대해 다운샘플링(Downsampling) 처리를 진행하여, 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정할 수 있다.
선택적인 실시방식으로서, 본 실시예에서, 다운샘플링 처리를 수행하기 전에, 3차원 점구름 데이터에 대해 먼저 노이즈 제거를 진행하여, 점구름 데이터에서의 노이즈 포인트 및 이상 포인트를 제거하여 처리 결과의 신뢰성을 향상시킬 수 있다.
현재 목표 프레임 데이터에 대해, 상기 단계 S101 내지 단계 S103을 수행한 후, 현재 목표 프레임 데이터에서 특징 물체에 대응되는 특징 파라미터 및 비특징 물체에 대응되는 해상도가 통일된 3차원 점구름 데이터를 획득할 수 있다. 그 후에, 획득된 특징 파라미터와 3차원 점구름 데이터를 사용하여 지도를 구축할 수 있다. 이해해야 할 점이라면, 현재 목표 프레임 데이터에 대응되는 특징 파라미터 및 해상도가 통일된 3차원 점구름 데이터에 기초하여 현재 목표 프레임 데이터에 대응되는 국부적인 지도를 구축할 수 있으나, 모바일 기기의 이동 과정 전체에 대응되는 전체 지도를 구축하려면, 모바일 기기의 이동 과정에서 감지 센서에 의해 수집된 모든 목표 프레임 데이터에 대응되는 특징 파라미터 및 해상도가 통일된 3차원 점구름 데이터를 병합해야 한다.
구체적으로, 도 1에 도시된 실시예에 기초하여, 현재 목표 프레임 데이터에서 관찰된 물체에 대응되는 3차원 점구름 데이터를 획득하는 방식을 현재 목표 프레임 데이터의 데이터 유형에 따라 설정할 수 있다. 예를 들어, 이미지 데이터의 경우에는, 이미지에 대응되는 실제 스케일을 갖는 3차원 점구름 데이터를 깊이 추정 또는 스테레오 매칭에 의해 획득할 수 있다. 또한, 이미지 내의 각 물체에 대응되는 3차원 점구름 데이터를 구별하기 위해, 각 포인트에 대응되는 라벨 정보, 즉 차선 및 기둥과 같은 각 포인트에 대응되는 물체 유형을 획득할 필요가 있다. 하나의 실시방식으로서, 이미지에 대해 시맨틱 분할(Semantic Segmentation)을 진행하여 각 픽셀 포인트에 대응되는 라벨 정보를 획득하고, 획득된 라벨 정보를 3차원 점구름에 매핑할 수 있다. 이러한 방식으로, 이미지 데이터에 대응되는 라벨 정보를 갖는 3차원 점구름 데이터를 획득할 수 있다. 라이다 데이터의 경우에는, 점구름을 랜덤 포레스트 분류기에 의해 분류할 수 있거나, 또는 현재 목표 프레임 데이터가 이미지 데이터 및 라이다 데이터를 모두 포함할 때에 레이저 점구름을 시맨틱 정보가 획득된 이미지에 투영하여, 라벨 정보를 라이다 데이터에 대응되는 3차원 점구름 데이터에 표시할 수 있다.
이에 기초하여, 3차원 점구름 데이터 중의 각 포인트에 대응되는 라벨 정보에 따라 3차원 점구름 데이터를 분류하여, 상이한 종류의 물체에 대응되는 점구름 집합을 획득하며, 예를 들어, 차선에 대응되는 점구름 집합, 나무에 대응되는 점구름 집합 및 기둥에 대응되는 점구름 집합 등을 각각 획득할 수 있다. 동일한 유형의 물체에 대응되는 점구름 집합에는 다수의 물체가 포함될 수 있으며, 예를 들어, 유형이 기둥인 점구름 집합에는 복수의 기둥의 점구름 집합이 포함될 수 있다. 따라서, 단일 물체에 대응되는 점구름 집합을 획득하기 위해, 동일한 유형의 물체에 대응되는 점구름 집합에 대해 추가로 클러스터링 분석을 수행해야 한다. 예를 들어, 유클리드 거리에 의한 클러스터링 방법을 사용할 수 있는 바, 동일한 유형의 물체에 대응되는 점구름 집합에서 각 포인트의 3차원 좌표 정보에 따라, 동일한 유형의 물체에 대응되는 점구름 집합에 대해 클러스터링 처리를 수행하여, 해당 유형의 단일 물체에 대응되는 점구름 집합을 획득한다. 이로써, 각 유형의 물체에 대응되는 점구름 집합의 클러스터링 처리를 완성한 후, 현재 목표 프레임 데이터에서의 각 물체의 유형 및 해당 점구름 집합을 획득할 수 있다. 나아가, 현재 목표 프레임 데이터에서의 각 물체의 유형에 기초하여 현재 목표 프레임 데이터에서의 특징 물체 및 비특징 물체를 식별할 수 있다.
구체적으로, 현재 목표 프레임 데이터에서의 특징 물체 및 비특징 물체를 식별하는 과정은, 현재 목표 프레임 데이터에서 각 물체의 유형을 확정하는 단계; 및 상기 물체의 유형을 미리 설정된 유형 정보 베이스에서의 물체 유형과 매칭하여, 매칭 성공한 물체를 특징 물체로 확정하고, 매칭 실패한 물체를 비특징 물체로 확정하는 단계를 포함한다. 여기서, 유형 정보 베이스에는 복수의 물체 유형이 저장되어 있으며, 구체적으로는 환경에서 구조화될 수 있는 기존 물체에 따라 설정할 수 있다. 다시 말하자면, 현재 목표 프레임 데이터에서의 각 물체에 대해, 상기 물체가 속하는 유형이 유형 정보 베이스에 저장된 유형인 경우, 물체가 특징 물체이고, 물체가 속하는 유형이 유형 정보 베이스에 저장되지 않은 유형인 경우, 물체가 비특징 물체이다.
또는, 하나의 유형 테이블을 미리 설정할 수 있으며, 유형 테이블에는 차선, 기둥, 간판, 고층 건물, 나무, 행인 등과 같은 환경 중의 흔한 물체 유형이 포함된다. 유형 테이블에서 차선, 기둥, 간판과 같은 구조화될 수 있는 물체를 미리 태깅하며. 현재 목표 프레임 데이터에서 각 물체의 유형을 확정한 후, 유형 테이블에서 조회하여 상기 유형이 태깅되어 있는지 여부를 확인할 수 있다. 태깅되어 있는 경우, 물체가 특징 물체로 판단되며, 유형 테이블에서 상기 유형을 찾지 못하거나 상기 유형이 있지만 태깅되지 않는 경우, 상기 물체를 비특징 물체로 판단된다. 물론, 상술한 실시방식 이외에, 현재 목표 프레임 데이터에서의 특징 물체 및 비특징 물체를 다른 방식으로 식별할 수도 있으며, 본 출원은 이에 대해 제한하지 않는다.
현재 목표 프레임 데이터에 대응되는 특징 물체 및 비특징 물체를 식별한 후, 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여 특징 파라미터를 추출할 수 있고, 비특징 물체에 대응되는 3차원 점구름 데이터에 대해 점구름 밀도를 조정할 수 있다.
도 2에 도시된 바와 같이, 도 1에 도시된 실시예에 기초하여, 본 실시예의 하나의 선택적인 실시방식으로서, 상기 단계 S102는 하기 단계를 포함할 수 있다.
단계 S201: 미리 설정된 규칙 정보 베이스에 기초하여, 상기 특징 물체에 대응되는 파라미터 추출 규칙을 확정하며, 여기서 상기 규칙 정보 베이스에는, 복수의 유형의 특징 물체와 해당 파라미터 추출 규칙과의 매핑 관계 정보가 저장되어 있다.
구체적으로, 상이한 유형의 특징 물체에 대응되는 파라미터 추출 규칙은 상이할 수 있다. 파라미터 추출 규칙은, 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여 상기 특징 물체에 대응되는 특징 파라미터를 획득하기 위한 것이다. 환경에 존재 가능성이 있는 특징 물체에 기초하여, 기존 특징 물체에 대해 파라미터 추출 규칙을 미리 확립하고, 특징 물체의 유형 식별자, 확립된 파라미터 추출 규칙, 및 특징 물체의 유형 식별자와 해당 파라미터 추출 규칙 사이의 매핑 관계 정보를 미리 설정된 규칙 정보 베이스에 저장한다. 구체적으로, 특징 물체의 유형 식별자는 특징 물체의 명칭이거나 또는 특징 물체 유형을 나타내기 위한 미리 정의된 유일한 식별 코드일 수 있다.
단계 S202: 상기 특징 물체에 대응되는 3차원 점구름 데이터 및 파라미터 추출 규칙에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득한다.
하나의 선택적인 실시방식으로서, 점구름 배열이 특정 규칙을 갖는 특징 물체에 대해서는, 대응되는 구조화 표현식에 의해 표현할 수 있으며, 그에 대응되는 파라미터 추출 규칙은, 상기 특징 물체에 대응되는 구조화 표현식을 확정하는 것; 및 상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 구조화 표현식에 대해 파라미터 적합을 진행하여, 상기 특징 물체에 대응되는 구조화 파라미터를 획득하는 것; 및 획득된 구조화 파라미터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 것을 포함한다. 물론, 점구름 배열이 상이한 규칙을 따른 특징 물체에 대응되는 구조화 표현식도 상이하므로, 특징 물체의 유형에 따라 특징 물체에 대응되는 구조화 표현식을 확정할 수 있다.
구체적으로, 획득된 구조화 파라미터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 단계는, 특징 물체에 대응되는 3차원 점구름 데이터에 의해, 특징 물체의 위치 파라미터를 획득하는 단계-위치 파라미터는 상기 특징 물체의 위치를 나타냄-; 및 구조화 파라미터 및 위치 파라미터를 상기 특징 물체에 대응되는 특징 파라미터로 하는 단계를 포함한다.
차선을 예로 들어, 3차 곡선 방정식으로 표현하여, 차선에 대응되는 점구름 집합에서, 시작점이 P1(x1, y1, z1)이고, 종료점이 P2(x2, y2, z2)이라고 가정할 수 있다. P(x, y, z)가 P1과P2 사이의 임의의 점이고, P에서 P1까지의 아크 길이가 arc이면, x=fx1(arc), y=fx2(arc) 및 z=fx3(arc). 여기서 fxi(arc)의 표현식은 Aiarc3+Biarc2+Ciarc+Di이며, 차선에 대응되는 3차원 점구름 데이터에 의해 상기 표현식에 대해 파라미터 적합을 진행하면, 차선에 대응되는 구조화 파라미터 Ai、Bi、Ci 및 Di를 획득할 수 있으며, 여기서 i가 1, 2 및 3이다. 차선의 위치 및 구조를 나타내기 위해, 차선의 시작점 좌표, 종료점 좌표 및 구조화 파라미터, 즉 {x1, y1, z1, x2, y2, z2, Ai, Bi, Ci, Di}를 함께 상기 차선에 대응되는 특징 파라미터로 정 할 수 있다.
하나의 선택적인 구현 방식으로서, 규칙적인 형상의 특징 물체에 대해, 특정 구조로 표현할 수 있으며, 그에 대응되는 파라미터 추출 규칙은, 상기 특징 물체를 나타내기 위한 구조 유형을 확정하는 것-예를 들어, 구조 유형은 원통형, 구체, 직육면체, 정사각형 등을 포함할 수 있지만, 이에 제한되지 않음-; 상기 특징 물체에 대응되는 3차원 점구름 데이터 및 구조 유형에 기초하여, 상기 특징 물체에 대응되는 구조 특징 값을 획득하는 것-원통형을 특징으로 하는 특징 물체에 대응되는 구조 특징 값은 원통형의 바닥면 반경 및 높이일 수 있으며, 구체를 특징으로 하는 특징 물체에 대응되는 구조 특징 값은 구체 반경일 수 있음-; 및 상기 특징 물체에 대응되는 구조 특징 값에 의해 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 것을 포함할 수 있다.
예를 들어, 기둥을 예로 들면, 원통형으로 표현할 수 있으며, 기둥에 대응되는 3차원 점구름 데이터에 기초하여 기둥의 시작점의 6개의 자유도 좌표(x0, y0, z0, r, p, q)를 획득하여, 그 위치와 방향을 표현하고, 시작점의 6개의 자유도 좌표를 상기 기둥에 대응되는 위치 파라미터로 할 수 있다. 또한, 기둥에 대응되는 3차원 점구름 데이터에 기초하여, 상기 기둥을 나타내기 위한 원통형의 구조 특징 값, 즉 상기 원통형의 높이(h) 및 바닥면 반경(r)을 획득하여, 시작점의 좌표 및 구조 특징 값(x0, y0, z0, r, p, q, h, r)을 함께 상기 기둥에 대응되는 특징 파라미터로 한다.
도 1에 도시된 실시예에 기초하여, 상기 현재 목표 프레임 데이터에서 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하는 단계는, 미리 설정된 복셀 그리드를 통해 상기 현재 목표 프레임 데이터에서의 비특징 물체에 대응되는 3차원 점구름 데이터에 대해 다운샘플링을 진행하여, 상기 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정함으로써, 비특징 물체에 대응되는 3차원 점구름 데이터의 해상도를 통일시키는 단계를 포함한다. 복셀 그리드 방식을 통해서는, 조정된 3차원 점구름 데이터의 분포를 보다 균일하게 할 수 있어, 보다 정확한 지도 구축 결과를 획득함에 도움이 된다.
구체적으로, 점구름 데이터에 따라 하나의 3차원 복셀 그리드를 생성하며, 미리 설정된 분할되어야 하는 작은 스테레오 그리드의 변의 길이(l)에 따라 3차원 복셀 그리드를 m×n×l개의 작은 그리드로 분해할 수 있다. 그리드 분할 완료 후, 점구름 데이터를 대응되는 작은 그리드에 넣고, 데이터 포인트가 없는 작은 그리드를 삭제하고, 작은 그리드에서의 점구름 데이터의 분포를 통계하며, 각각의 작은 그리드에 있는 데이터 포인트와 대응되는 작은 그리드의 무게 중심 사이의 위치 관계를 획득한 후, 이 위치 관계에 따라 보류해야 할 데이터 포인트를 선택한다. 예를 들어, 작은 그리드에 있는 데이터 포인트 전체의 무게 중심으로 작은 그리드에서의 다른 데이터 포인트를 근사화할 수 있는바, 즉 작은 그리드 내의 모든 포인트를 하나의 무게 중심 포인트로 표시하며, 이러한 처리를 모든 작은 그리드에서 수행한 후, 다운샘플링된 점구름 데이터를 획득할 수 있다. 또는, 각 작은 그리드에서 무게 중심에 가장 가까운 데이터 포인트를 보류하고, 나머지 데이터 포인트를 삭제할 수 있다. 상기 과정에서, 작은 스테레오 그리드의 변의 길이(l)는 실제 수요에 따라 설정될 수 있는바, 작은 스테레오 그리드의 변의 길이(l)가 다운샘플링된 점구름 데이터의 점구름 밀도에 반비례하고, 변의 길이(l)가 클수록 다운샘플링된 점구름 데이터의 점구름 밀도가 작아지다.
설명해야 할 점이라면, 본 실시예에서는, 복셀 그리드 이외에, 비특징 물체에 대응되는 3차원 점구름 데이터를 다른 다운샘플링 방법으로 다운샘플링할 수도 있으며, 여기에서 제한하지 않는다.
이해해야 할 점이라면, 본 실시예에서, 현재 목표 프레임 데이터에는 하나 또는 2개 이상의 목표 프레임 데이터가 포함될 수 있으며, 상이한 목표 프레임 데이터는 상이한 유형의 감지 센서로부터 획득된 것일 수도 있다. 예를 들어, 하나의 구체적인 응용 시나리오에서, 현재 목표 프레임 데이터에는 두개의 목표 프레임 데이터가 포함될 수 있으며, 그 중에서 하나의 목표 프레임 데이터는 카메라와 같은 이미지 수집 센서로부터 획득된 것이고, 다른 하나의 목표 프레임 데이터는 라이다로부터 획득된 것이다.
구체적으로, 도 1에 도시된 상기 실시예에 기초하여, 현재 목표 프레임 데이터에 2개 이상의 목표 프레임 데이터가 포함되며, 2개 이상의 목표 프레임 데이터가 상이한 유형의 감지 센서로부터 획득된 것이면, 하나의 실시방식으로서, 2개 이상의 목표 프레임 데이터를 병합함으로써, 복수의 유형의 센서의 장점을 결합하여 고정밀 지도를 함께 구축할 수 있다. 이때, 상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 과정은, 2개 이상의 목표 프레임 데이터에서 동일한 특징 물체에 대응되는 3차원 점구름 데이터를 병합하는 단계; 및 병합된 2개 이상의 목표 프레임 데이터에서 각 특징 물체에 대응되는 3차원 점구름 데이터에 의해, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 단계를 포함할 수 있다.
예를 들어, 현재 목표 프레임 데이터가 이미지 데이터 및 라이다 데이터를 포함하는 경우, 이미지 데이터에 대응되는 물체 A 및 라이다 데이터에 대응되는 물체 A'는 환경에서의 동일한 물체이다. 상기 물체가 특징 물체에 속하는 경우, 먼저 이미지 데이터에 의해 획득된 물체 A에 대응되는 3차원 점구름 데이터와 라이다 데이터에 의해 획득된 물체 A'에 대응되는 3차원 점구름 데이터를 병합하고, 병합된 3차원 점구름 데이터를 상기 물체에 대응되는 3차원 점구름 데이터로 사용한다. 유사하게, 현재 목표 프레임 데이터가 유형이 상이한 3개의 감지 센서로부터의 목표 프레임 데이터를 포함할 때, 그 중의 임의의 2개의 목표 프레임 데이터 또는 3개의 목표 프레임 데이터가 동일한 물체에 대응할 경우, 병합된 3차원 점구름 데이터를 상기 물체에 대응되는 3차원 점구름 데이터로 사용한다.
설명해야 할 점이라면, 상기 2개 이상의 목표 프레임 데이터 중 하나의 목표 프레임 데이터만에 존재하고 다른 목표 프레임 데이터에 존재하지 않는 물체인 경우, 2개 이상의 목표 프레임 데이터를 병합한 후, 상기 물체에 대응되는 3차원 점구름 데이터는 변경되지 않는다.
물론, 다른 하나의 실시방식으로서, 각각의 목표 프레임 데이터에 기초하여, 각 목표 프레임 데이터에서 특징 물체에 대응되는 특징 파라미터를 획득할 수도 있다. 그 다음으로, 상이한 목표 프레임 데이터에서 동일한 특징 물체에 대응되는 특징 파라미터를 융합하여, 상기 특징 물체의 최적화된 특징 파라미터를 획득할 수 있다. 설명해야 할 점이라면, 동일한 특징 물체에 대응되는 파라미터 추출 규칙이 동일하기 때문에, 상이한 목표 프레임 데이터에서 동일한 특징 물체에 대응되는 특징 파라미터는 유형이 동일하나, 값은 다를 수 있다.
하나의 실시방식에서, 상이한 목표 프레임 데이터에서 동일한 특징 물체에 대응되는 특징 파라미터를 융합하는 방법은, 상이한 목표 프레임 데이터에서 동일한 특징 물체에 대응되는 특징 파라미터의 평균값을 획득하고, 평균값을 상기 특징 물체의 최적화된 특징 파라미터로 하는 것일 수 있다. 물론, 평균값을 획득하는 것 이외에, 다른 특징 파라미터 융합 방법을 이용하여 최적화된 특징 파라미터를 획득할 수도 있으며, 이에 대해 제한하지 않는다. 예를 들어, 실제 응용에 따라 각 목표 프레임 데이터에 대응되는 가중치 계수를 미리 설정하고, 각 목표 프레임 데이터에 대응되는 가중치 계수의 합은 1이며, 동일한 특징 물체에 대해, 해당 목표 프레임 데이터에 의해 획득된 특징 파라미터 및 해당 가중치 계수의 곱을 누적하고, 누적된 결과를 최적화된 특징 파라미터로 사용할 수도 있다.
이에 대응하여, 상기 현재 목표 프레임 데이터에서 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하는 단계는, 2개 이상의 목표 프레임 데이터에서 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하고, 상기 2개 이상의 목표 프레임 데이터에서의 동일한 비특징 물체에 대응되는 3차원 점구름 데이터를 병합하는 단계를 포함할 수 있다. 물론, 본 출원의 다른 실시예에서는, 먼저 2개 이상의 목표 프레임 데이터에서의 동일한 비특징 물체에 대응되는 3차원 점구름 데이터를 병합한 후, 병합된 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정할 수도 있다.
복수의 유형의 센서에 의해 수집된 데이터를 융합함으로써, 복수의 유형의 센서의 장점을 결합하여 고정밀 지도를 함께 구축할 수 있어, 지도 정보가 더욱 풍부해지고, 포지셔닝 기능이 더욱 안정해진다.
도 1에 도시된 실시예에 기초하여, 본 출원의 일 실시예에 의해 제공되는 지도 구축 방법은, 상기 특징 물체에 대응되는 특징 파라미터 및 조정된 상기 비특징 물체에 대응되는 3차원 점구름 데이터를 저장하여, 저장된 특징 파라미터 및 3차원 점구름 데이터에 의해 지도를 구축하는 단계를 더 포함할 수 있다. 예를 들어, 지도 병합에 사용되는 데이터를 저장하기 위해, 지도 데이터베이스를 미리 구축할 수 있으며, 현재 목표 프레임 데이터에 대응되는 지도 데이터, 즉 특징 파라미터 및 조정된 비특징 물체에 대응되는 3차원 점구름 데이터를 획득한 후, 현재 목표 프레임 데이터에 대응되는 지도 데이터를 상기 지도 데이터베이스에 추가함으로써, 후속에 지도 데이터베이스에 저장된 지도 데이터에 기초하여 지도를 용이하게 구축하도록 한다.
본 실시예에서, 지도 병합 방식은 실시간 병합 방식을 이용할 수 있거나, 또는 전체 병합 방식을 이용할 수도 있으며, 구체적으로는 실제 수요에 따라 설정할 수 있다.
실시간 병합 방식은, 현재 목표 프레임 데이터에 대응되는 지도 데이터, 즉 특징 파라미터 및 해상도가 통일된 3차원 점구름 데이터를 획득한 후, 즉시 현재 목표 프레임 데이터에 대응되는 지도 데이터 및 현재 목표 프레임 데이터 이전의 목표 프레임 데이터에 대응되는 지도 데이터를 병합하여 목표 지도를 획득하고, 모바일 기기의 전체 이동 과정에서 마지막으로 획득된 목표 프레임 데이터를 현재 목표 프레임 데이터로 하여 획득된 지도 데이터까지 병합을 완성하면, 전체 이동 과정에 대응되는 전체 지도를 획득할 수 있다.
이때, 도 1에 도시된 실시예에 기초하여, 본 출원의 일 실시예에 의해 제공되는 지도 구축 방법은, 현재 목표 프레임 데이터에 대응되는 특징 파라미터 및 3차원 점구름 데이터를 미리 획득된 데이터와 병합하여 목표 지도를 획득하는 단계를 더 포함할 수 있다. 여기서, 미리 획득된 데이터는 목표 기간 내에 획득된 특징 파라미터 및 3차원 점구름 데이터이며, 목표 기간은 작업 시작 시각과 현재 목표 프레임 데이터의 획득 시각 사이의 기간이다. 이해해야 할 점이라면, 작업 시작 시각은 모바일 기기의 이동 과정에서 감지 센서가 감지 데이터 수집을 시작하는 시각이며, 미리 획득된 데이터에는 현재 지도 구축 과정에서 현재 목표 프레임 데이터 이전의 모든 목표 프레임 데이터에 대응되는 지도 데이터가 포함된다.
전체 병합 방식은, 모바일 기기의 전체 이동 과정에서 감지 센서에 의해 수집된 각 목표 프레임 데이터를 먼저 처리하여, 각 목표 프레임 데이터에 대응되는 지도 데이터를 획득한 후, 각 목표 프레임 데이터에 대응되는 지도 데이터를 병합하여 전체 이동 과정에 대응되는 전체 지도를 획득하는 것이다. 예를 들어, 하나의 구체적인 응용 시나리오에서, 모바일 기기는 복수의 도로 세그먼트가 포함되는 하나의 목표 영역에 대해 지고를 구축해야 할 경우, 모바일 기기가 목표 영역의 모든 도로 세그먼트를 통과해야 하고, 이 과정에서 감지 센서에 의해 수집된 각 목표 프레임 데이터에 대응되는 지도 데이터를 모두 획득한 후, 이들 지도 데이터를 병합하여 목표 영역의 지도를 획득한다.
설명해야 할 점이라면, 지도 병합 과정에서, 지도 구축 정확도를 더욱 향상시키기 위해, 상이한 시각에 상이한 감지 센서에 의해 관측된 동일한 물체에 대응되는 특징 파라미터 또는 조정된 3차원 점구름 데이터에 대해 BA(Bundle Adjustment, 번들 조정) 최적화를 수행하여 재투영 오류(Reprojection Error)를 최소화할 수 있다.
본 출원의 실시예에 의해 제공되는 기술 방안을 보다 명확하게 설명하기 위해, 하나의 구체적인 응용 시나리오를 예로 하여 설명한다.
하나의 구체적인 응용 시나리오에서, 무인운전 자동차, 로봇 등과 같은 모바일 기기의 센서는 기능적으로 주로 스케일 센서와 감지 센서로 나누어질 수 있다. 그 중에서, 스케일 센서에는 RTK(Real-time kinematic，실시간 이동측위), GPS(Global Positioning System, 글로벌 포지셔닝 시스템), IMU(Inertial Measurement Unit, 관성 측정 장치), 바퀴속도 센서 등과 같은 센서가 포함되며, 여기서 GPS과 RTK는 모바일 기기가 절대 위치 정보를 획득하는 데 도움이 되며, IMU와 바퀴속도 센서는 위치 및 자세 정보를 수정하기 위해 상대적 위치 정보를 획득한다. 감지 센서에는 라이다, 밀리미터파 레이더 또는 카메라기 등이 포함된다. 물론, 시스템의 견고성을 향상시키기 위해 다중 센서 융합 방식을 실행할 수 있다. 설명해야 할 점이라면, 다중 센서를 융합하기 위해서는, 상이한 센서에 대해 시간 동기화 및 공간 동기화를 수행해야 하며, 즉 이들 센서에 대해 캘리브레이션 및 하드웨어 동기화를 미리 수행햐야 한다.
모바일 기기의 각 센서에 대해 캘리브레이션 및 하드웨어 동기화를 수행한 후, 획득된 절대 위치 정보 및 상대적 위치 정보를 통해, 감지 센서가 각 목표 프레임 데이터를 획득 시에 미리 설정한 기준점의 세계 좌표계에서의 위치, 즉 좌표 정보를 획득할 수 있다. 여기서, 상대적 위치 정보는 라이다에 의해 획득될 수 있고, 시각적 VO(Visual Odometry)에 의해 획득될 수 있고, 라이다가 IMU 또는 바퀴속도 센서와의 조합에 의해 EKF(칼만 필터)를 통해 획득될 수도 있으며, 구체적인 획득 방식은 제한되지 않는다. 기준점은 실제 시나리오에 따라 설정되며, 예를 들어 무인운전 자동차의 경우, 미리 설정된 차체의 중심점을 기준점으로 사용할 수 있다.
현재 목표 프레임 데이터에서 관측된 물체에 대응되는 3차원 점구름 데이터를 획득한 후, 지도를 용이하게 구축할 수 있게 하기 위해, 현재 목표 프레임 데이터에 대응되는 3차원 점구름 데이터를 기준점 좌표계에 통합해야 하고, 따라서 현재 목표 프레임 데이터에 대응되는 감지 센서의 캘리브레이션 파라미터에 기초하여, 현재 목표 프레임 데이터에 대응되는 3차원 점구름 데이터에 대한 좌표 변환을 수행해야 한다.
이해해야 할 점이라면, 캘리브레이션을 통해 상이한 센서 사이의 상대적 위치 T_sensorm_sensorn, 즉 캘리브레이션 파라미터, 및 기준점(base)에 대한 각 센서의 외부 파라미터 T_base_sensorm를 획득할 수 있다. 여기서, base는 모든 감지 센서에 의해 획득된 감지 데이터를 모두 하나의 상대적 좌표계에서 통합하는 데 사용된다. 외부 파라미터 또는 캘리브레이션 파라미터와 외부 파라미터의 조합을 통해 각 감지 센서에 의해 획득된 감지 데이터를 회전 및 평이를 통해 기준점 좌표계에 통합할 수 있다. 예를 들어, 라이다 센서에 의해 획득된 점구름 데이터에 대해, pointcloud_base=T_base_lidar * pointcloud_lidar 와 같은 전환을 수행하여, 라이다 센서에 의해 획득된 점구름 데이터를 기준점의 좌표계로 변환할 수 있다. 여기서, T_base_lidar는 기준점에 대한 라이다 센서의 외부 파라미터를 나타내고, pointcloud_lidar는 라이다 센서에 의해 획득된 점구름 데이터를 나타낸다. 다른 예를 들어, 카메라에 의해 획득된 점구름 데이터에 대해, pointcloud_base=T_base_camera * pointcloud_camera와 같은 전환을 수행하여, 카메라에 의해 수집된 이미지 데이터에 대응되는 점구름 데이터를 기준점 좌표계로 변환할 수 있다. 여기서, T_base_camera는 기준점에 대한 카메라의 외부 파라미터를 나타내고, pointcloud_camera는 카메라에 의해 수집된 이미지 데이터에 대응되는 점구름 데이터를 나타낸다. 이러한 방식으로, 각 감지 센서에 의해 수집된 데이터를 모두 기준점 좌표계에 통합할 수 있다.
이후, 세계 좌표계에서 현재 목표 프레임 데이터에 대응되는 기준점 좌표계의 위치 자세(pose)에 따라, 현재 목표 프레임 데이터에 대응되는 3차원 점구름 데이터에 세계 좌표계에서의 현재 목표 프레임 데이터에 대응되는 기준점 좌표계의 위치 자세(pose)를 곱해서, 세계 좌표계에서 현재 목표 프레임 데이터에 대응되는 3차원 점구름 데이터의 좌표 정보를 획득할 수 있다.
따라서, 세계 좌표계에서 현재 목표 프레임 데이터에서 특징 물체에 대응되는 3차원 점구름 데이터의 좌표 정보에 기초하여, 특징 물체에 대응되는 특징 파라미터를 획득하고, 현재 목표 프레임 데이터에서 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하여, 세계 좌표계에서 조정된 3차원 점구름 데이터의 좌표 정보를 획득할 수 있으며; 세계 좌표계에서 현재 목표 프레임 데이터에서 특징 물체에 대응되는 특징 파라미터 및 점구름 밀도가 조정된 3차원 점구름 데이터의 좌표 정보를 획득하여, 지도를 구축할 수 있다.
요약하면, 본 출원의 실시예에 의해 제공되는 지도 구축 방법은, 특징 물체의 특징 파라미터를 추출하고 비특징 물체의 점구름 데이터의 점구름 밀도를 조정함으로써, 상이한 유형의 센서에 의해 수집된 이질 데이터의 균질화를 구현할 수 있다. 따라서 본 방법은 센서 유형에 제한되지 않으며, 상이한 센서에 의한 지도 구축 및 포지셔닝에 적용될 수 있다.
예시적인 장치
도 3은 본 출원의 실시예에 따른 지도 구축 장치의 블록도를 도시한다.
도 3에 도시된 바와 같이, 본 출원의 실시예의 지도 구축 장치(300)는, 현재 목표 프레임 데이터에서 관측된 물체에 대응되는 3차원 점구름 데이터를 획득하도록 구성되는 획득 모듈(310)-상기 관측된 물체에는 특징 물체 및 비특징 물체가 포함됨-; 상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하도록 구성되는 파라미터 확정 모듈(320)-상기 특징 파라미터는 상기 특징 물체의 위치와 크기를 나타냄-; 및 상기 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하여, 상기 특징 파라미터 및 조정된 3차원 점구름 데이터에 의해 지도를 구축하도록 구성되는 조정 모듈(330)을 포함한다.
도 4는 본 출원의 실시예의 지도 구축 장치의 파라미터 확정 모듈의 하나의 예시적인 블록도를 도시한다. 도 4에 도시된 바와 같이, 하나의 예에서, 상기 파라미터 확정 모듈(320)은, 미리 설정된 규칙 정보 베이스에 기초하여, 상기 특징 물체에 대응되는 파라미터 추출 규칙을 확정하도록 구성되는 규칙 확정 유닛(410)-상기 규칙 정보 베이스에는 다종의 특징 물체와 해당 파라미터 추출 규칙과의 매핑 관계 정보가 저장되어 있음-; 및 상기 특징 물체에 대응되는 3차원 점구름 데이터 및 파라미터 추출 규칙에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하도록 구성되는 추출 유닛(420)을 포함할 수 있다.
하나의 예에서, 추출 유닛(420)은, 상기 특징 물체에 대응되는 구조화 표현식을 확정하도록 구성되는 표현식 확정 서브 유닛; 상기 특징 물체에 대응되는 3차원 점구름 데이터에 의해, 상기 특징 물체에 대응되는 구조화 표현식에 대해 파라미터 적합을 진행하여, 상기 특징 물체에 대응되는 구조화 파라미터를 획득하도록 구성되는 파라미터 적합 서브 유닛; 및 상기 구조화 파라미터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하도록 구성되는 파라미터 획득 서브 유닛을 포함한다.
하나의 예에서, 파라미터 획득 서브 유닛은, 상기 특징 물체에 대응되는 3차원 점구름 데이터에 의해, 상기 특징 물체에 대응되는 위치 파라미터를 획득하며-상기 위치 파라미터는 상기 특징 물체의 위치를 나타냄-; 및 상기 구조화 파라미터 및 상기 위치 파라미터를 상기 특징 물체에 대응되는 특징 파라미터로 하도록 구성된다.
하나의 예에서, 현재 목표 프레임 데이터에는 2개 이상의 목표 프레임 데이터가 포함되며, 상기 2개 이상의 목표 프레임 데이터는 상이한 유형의 감지 센서로부터 획득된 것이다. 이때, 상기 파라미터 확정 모듈(320)은, 상기 2개 이상의 목표 프레임 데이터에서 동일한 특징 물체에 대응되는 3차원 점구름 데이터를 병합하며; 및 병합된 상기 2개 이상의 목표 프레임 데이터에서 각 특징 물체에 대응되는 3차원 점구름 데이터에 의해, 상기 특징 물체에 대응되는 특징 파라미터를 획득하도록 구성된다.
이에 대응하여, 상기 파라미터 확정 모듈(320)은, 상기 2개 이상의 목표 프레임 데이터에서 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하고, 상기 2개 이상의 목표 프레임 데이터에서 동일한 비특징 물체에 대응되는 3차원 점구름 데이터를 병합하도록 구성된다.
하나의 예에서, 본 출원의 실시예의 지도 구축 장치(300)는, 상기 현재 목표 프레임 데이터에서 각 물체의 유형을 확정하도록 구성되는 유형 확정 모듈; 및 상기 물체의 유형을 미리 설정된 유형 정보 베이스에서의 물체 유형과 매칭하여, 매칭 성공한 물체를 특징 물체로 확정하고 매칭 실패한 물체를 비특징 물체로 확정하도록 구성되는 식별 모듈-상기 유형 정보 베이스에는 복수의 물체 유형이 저장되어 있음-을 더 포함한다.
하나의 예에서, 상기 조정 모듈(330)은, 미리 설정된 복셀 그리드를 통해 상기 현재 목표 프레임 데이터에서 비특징 물체에 대응되는 3차원 점구름 데이터에 대해 다운샘플링을 진행하여, 상기 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하도록 구성된다.
하나의 예에서, 본 출원의 실시예의 지도 구축 장치(300)는, 상기 특징 물체에 대응되는 특징 파라미터 및 상기 비특징 물체에 대응되는 조정된 3차원 점구름 데이터를 저장하여, 저장된 특징 파라미터 및 3차원 점구름 데이터에 의해 지도를 구축하도록 구성되는 저장 모듈을 더 포함한다.
하나의 예에서, 본 출원의 실시예의 지도 구축 장치(300)는, 현재 목표 프레임 데이터에 대응되는 특징 파라미터 및 3차원 점구름 데이터를 미리 획득된 데이터와 병합하여 목표 지도를 획득하도록 구성되는 지도 병합 모듈-상기 미리 획득된 데이터는 목표 기간 내에 획득된 특징 파라미터 및 3차원 점구름 데이터이며, 상기 목표 기간은 작업 시작 시각과 상기 현재 목표 프레임 데이터의 획득 시각 사이의 기간임-을 더 포함한다.
여기서, 해당 분야의 통상적인 기술자라면, 상기 지도 구축 장치(300)에서의 각 모듈의 구체적인 기능 및 동작은 도 1 내지 도 2에 도시된 지도 구축 방법에 대한 설명에서 이미 상세히 설명된 점을 이해할 수 있다. 따라서 중복 설명을 생략하도록 한다.
상술한 바와 같이, 본 출원의 실시예에 따른 지도 구축 장치(300)는, 다양한 모바일 기기의 단말에서 구현될 수 있으며, 예를 들어 무인운전 자동차, 로봇 등의 컴퓨터 또는 마이크로 프로세서에 사용될 수 있다. 하나의 예에서, 본 출원의 실시예에 따른 지도 구축 장치(300)는 하나의 소프트웨어 모듈 및/또는 하드웨어 모듈로서 모바일 기기의 단말에 결합될 수 있다. 예를 들어, 상기 지도 구축 장치(300)는 상기 기기 단말의 운영 체제에서의 하나의 소프트웨어 모듈일 수 있거나, 또는 상기 기기 단말에 대해 개발된 하나의 응용 프로그램일 수도 있으며, 물론, 상기 지도 구축 장치(300)는 상기 기기 단말의 수많은 하드웨어 모듈 중의 하나일 수도 있다.
대안적으로, 다른 예에서, 상기 지도 구축 장치(300)와 모바일 기기의 기기 단말은 독립적인 기기일 수도 있고, 또한 상기 지도 구축 장치(300)는 유선 및/또는 무선 네트워크를 통해 상기 기기 단말에 연결될 수 있고, 합의된 데이터 포맷에 따라 상호작용 정보를 전송한다.
예시적인 전자 기기
이하, 도 5를 참조하여 본 출원의 실시예에 따른 전자 기기에 대해 설명한다.
도 5는 본 출원의 실시예에 따른 전자 기기의 블록도를 도시한다.
도 5에 도시된 바와 같이, 전자 기기(500)는 하나 또는 복수의 프로세서(501) 및 메모리(502)를 포함한다.
프로세서(501)는 중앙 처리 유닛(CPU), 또는 데이터 처리 기능 및/또는 지령 실행 기능을 갖는 다른 형태의 처리 유닛일 수 있으며, 전자 기기(500)의 다른 구성 요소를 제어하여 원하는 기능을 수행할 수 있다.
메모리(502)는 하나 또는 복수의 컴퓨터 프로그램 제품을 포함할 수 있으며, 상기 컴퓨터 프로그램 제품은 휘발성 메모리 및/또는 비휘발성 메모리와 같은 다양한 형태의 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 상기 휘발성 메모리는 예를 들어, 랜덤 액세스 메모리(RAM) 및/또는 캐시 메모리(cache) 등을 포함할 수 있다. 상기 비휘발성 메모리는, 예를 들어 리드 온리 메모리(ROM), 하드 디스크, 플래시 메모리 등을 포함할 수 있다. 상기 컴퓨터 판독 가능 저장 매체에는 하나 또는 복수의 컴퓨터 프로그램 지령이 저장될 수 있고, 프로세서(501)는 상기 프로그램 지령을 수행하여 상술한 본 출원의 각 실시예에 의한 지도 구축 방법 및/또는 다른 원하는 기능을 구현할 수 있다. 상기 컴퓨터 판독 가능 저장 매체에는, 예를 들어 입력 신호, 신호 성분 및 노이즈 성분과 같은 다양한 내용이 저장될 수도 있다.
하나의 예에서, 전자 기기(500)는 버스 시스템 및/또는 다른 형태의 연결 메커니즘(도시되지 않음)에 의해 상호 연결된 입력 장치(503) 및 출력 장치(504)를 더 포함할 수도 있다.
상기 입력 장치(503)는 예를 들어 키보드, 마우스 등을 포함할 수도 있다.
상기 출력 장치(504)는 확정된 거리 정보, 방향 정보 등이 포함된 다양한 정보를 외부에 출력할 수 있다. 상기 출력 장치(504)는, 예를 들어, 디스플레이, 스피커, 프린터, 및 통신 네트워크와 그에 연결된 원격 출력 장치 등을 포함할 수 있다.
물론, 간략화를 위해, 도 5에서는 전자 기기(500) 에서의 본 출원과 관련되는 일부 구성 요소 만을 도시하였으며, 버스, 입출력 인터페이스 등과 같은 구성 요소는 생략되어 있다. 또한, 특정한 응용 시나리오에 따라, 전자 기기(500)는 임의의 다른 적합한 구성 요소를 포함할 수도 있다.
예시적인 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 저장 매체
상술한 방법 및 기기 외에도, 본 출원의 실시예는 컴퓨터 프로그램 지령을 포함하는 컴퓨터 프로그램 제품일 수도 있으며, 상기 컴퓨터 프로그램 지령은 프로세서에 의해 실행될 때 상기 프로세서로 하여금 본 명세서에서 전술한 "예시적인 방법"에서 설명된 본 출원의 각 실시예에 따른 지도 구축 방법의 단계를 실행하도록 한다.
상기 컴퓨터 프로그램 제품은 하나 또는 복수의 프로그래밍 언어의 임의의 조합으로 본 출원의 실시예의 동작을 수행하기 위한 프로그램 코드를 프로그래밍할 수 있으며, 상기 프로그래밍 언어는 Java, C++ 등과 같은 객체 지향 프로그래밍 언어를 포함하며, "C"언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차적 프로그래밍 언어도 포함한다. 프로그램 코드는 완전히 사용자의 컴퓨팅 기기에서 실행되거나, 부분적으로 사용자의 기기에서 실행되거나, 하나의 독립적인 소프트웨어 패키지로서 실행되거나, 일부가 사용자의 컴퓨팅 기기에서 실행되고 다른 일부가 원격 컴퓨팅 기기에서 실행되거나, 또는 완전히 원격 컴퓨팅 기기 또는 서버에서 실행될 수 있다.
또한, 본 출원의 실시예는 컴퓨터 프로그램 지령이 저장된 컴퓨터 판독 가능 저장 매체일 수도 있으며, 상기 컴퓨터 프로그램 지령은 프로세서에 의해 실행될 때 상기 프로세서로 하여금 본 명세서에서 전술한 "예시적인 방법"에서 설명된 본 출원의 각 실시예에 따른 지도 구축 방법의 단계를 실행하도록 한다.
상기 컴퓨터 판독 가능 저장 매체는 하나 또는 복수의 판독 가능 매체의 임의의 조합을 사용할 수 있다. 판독 가능 매체는 판독 가능 신호 매체 또는 판독 가능 저장 매체일 수 있다. 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광, 전자기, 적외선 또는 반도체의 시스템, 장치 또는 소자, 또는 이들의 임의의 조합을 포함할 수 있으나, 이에 제한되지 않는다. 판독 가능 저장 매체의 보다 구체적인 예(비전면 방식의 리스트)는 하나 또는 복수의 버스를 구비하는 전기적 연결, 휴대용 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 소거 및 프로그밍 가능한 리드 온리 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트디스크(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 임의의 적절한 조합을 포함한다.
상기 특정 실시예를 통해 본 출원의 기본 원리를 설명하였으나, 설명해야된 점으라면 본 출원에서 언급된 장점, 이점, 효과 등은 단지 예일 뿐이고 본 출원에 대한 제한이 아니므로, 이러한 장점, 이점, 효과 등을 본 출원의 모든 실시예에 반드시 구비해야 하는 것으로 간주할 수 없다. 또한, 상기 개시의 특정 세부 사항은 단지 예시 및 이해를 위한 것이고 제한적이지 않으며, 본 출원은 상기 특정 세부 사항에 의해 실현되어야 하는 것으로 제한되지 않는다.
본 출원에서 언급된 소자, 장치, 기기 및 시스템의 블록도는 단지 예시적인 예일 뿐이고, 블록도에 도시된 방식으로 연결, 배치 및 구성되어야 함을 요구하거나 암시하지 않는다. 당업자라면 이해할 수 있는 바와 같이, 상기 소자, 장치, 기기, 시스템은 임의의 방식으로 연결, 배치, 구성될 수 있다. "포함", "구비", "포괄" 등과 같은 용어는 개방형이며, "포함하지만 이에 제한되지 않음"을 의미하며, 이와 상호 교환하여 사용될 수 있다. 여기서 사용되는 "또는" 및 "및"이라는 용어는 "및/또는"을 의미하는 것으로, 문맥 상 명백하게 달리 나타내지 않는 한, 이와 상호 교환하여 사용될 수 있다.
더 설명해야 할 점이라면, 본 출원의 장치, 기기 및 방법에서, 각 구성 요소 또는 각 단계는 분해 및/또는 재조합될 수 있다. 이들 분해 및/또는 재조합은 본 출원의 동등한 방안으로 간주되어야 한다.
개시된 측면의 상기 설명은 당업자가 본 출원을 실현하거나 또는 사용할 수 있도록 하기 위해 제공된다. 이들 측면에 대한 다양한 변형은 당업자에게 자명한 것이며, 여기에 정의된 일반적인 원리는 본 출원의 범위를 벗어나지 않고 다른 측면에 적용될 수 있다. 따라서, 본 출원은 여기에 나타낸 측면에 한정되는 것이 아니라 여기에 공개된 원리 및 신규한 특징에 일치하는 가장 넓은 범위를 가진다.
상기 설명은 예시 및 설명의 목적으로 제공된다. 또한, 이 설명은 본 출원의 실시예를 여기에 개시된 형태로 제한하려는 것이 아니다. 복수의 예시적인 측면 및 실시예가 위에서 논의되었지만, 당업자는 이의 특정 변형, 수정, 변경, 추가 및 서브조합을 인식할 것이다.
Claims (8)
- 현재 목표 프레임 데이터에서 관측된 물체에 대응되는 3차원 점구름 데이터를 획득하는 단계-상기 관측된 물체에는 특징 물체 및 비특징 물체가 포함됨-;
상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 단계-상기 특징 파라미터는 상기 특징 물체의 위치와 크기를 나타냄-; 및
상기 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하여, 상기 특징 파라미터 및 조정된 3차원 점구름 데이터에 의해 지도를 구축하는 단계를 포함하며,
상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 상기 단계는,
미리 설정된 규칙 정보 베이스에 기초하여, 상기 특징 물체에 대응되는 파라미터 추출 규칙을 확정하는 단계-상기 규칙 정보 베이스에는 복수의 유형의 특징 물체와 해당 파라미터 추출 규칙과의 매핑 관계 정보가 저장되어 있음-; 및
상기 특징 물체에 대응되는 3차원 점구름 데이터 및 파라미터 추출 규칙에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 단계를 포함하는 것을 특징으로 하는 지도 구축 방법. - 청구항 1에 있어서,
상기 특징 물체에 대응되는 3차원 점구름 데이터 및 파라미터 추출 규칙에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 상기 단계는,
상기 특징 물체에 대응되는 구조화 표현식을 확정하는 단계;
상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 구조화 표현식에 대해 파라미터 적합을 진행하여, 상기 특징 물체에 대응되는 구조화 파라미터를 획득하는 단계; 및
상기 구조화 파라미터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 단계를 포함하는 것을 특징으로 하는 지도 구축 방법. - 청구항 1에 있어서,
상기 현재 목표 프레임 데이터에는 2개 이상의 목표 프레임 데이터가 포함되며, 상기 2개 이상의 목표 프레임 데이터는 상이한 유형의 감지 센서로부터 획득된 것이며,
현재 목표 프레임 데이터에에서 관측된 물체에 대응되는 3차원 점구름 데이터를 획득하는 상기 단계는,
상기 2개 이상의 목표 프레임 데이터에서 동일한 특징 물체에 대응되는 3차원 점구름 데이터를 병합하고,
병합된 상기 2개 이상의 목표 프레임 데이터에서 각 특징 물체에 대응되는 3차원 점구름 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 지도 구축 방법. - 청구항 1에 있어서,
상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하는 상기 단계 전에,
상기 현재 목표 프레임 데이터에서 각 물체의 유형을 확정하는 단계; 및
상기 물체의 유형을 미리 설정된 유형 정보 베이스에서의 물체 유형과 매칭하여, 매칭 성공한 물체를 특징 물체로 확정하고, 매칭 실패한 물체를 비특징 물체로 확정하는 단계-상기 유형 정보 베이스에는 복수의 물체 유형이 저장되어 있음-를 더 포함하는 것을 특징으로 하는 지도 구축 방법. - 현재 목표 프레임 데이터에서 관측된 물체에 대응되는 3차원 점구름 데이터를 획득하도록 구성된 획득 모듈-상기 관측된 물체에는 특징 물체 및 비특징 물체가 포함됨-;
상기 특징 물체에 대응되는 3차원 점구름 데이터에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하도록 구성된 파라미터 확정 모듈-상기 특징 파라미터는 상기 특징 물체의 위치와 크기를 나타냄-; 및
상기 비특징 물체에 대응되는 3차원 점구름 데이터의 점구름 밀도를 미리 설정된 값으로 조정하여, 상기 특징 파라미터 및 조정된 3차원 점구름 데이터에 의해 지도를 구축하도록 구성된 조정 모듈을 포함하며,
상기 파라미터 확정 모듈은,
미리 설정된 규칙 정보 베이스에 기초하여, 상기 특징 물체에 대응되는 파라미터 추출 규칙을 확정하도록 구성되는 규칙 확정 유닛-상기 규칙 정보 베이스에는 다종의 특징 물체와 해당 파라미터 추출 규칙과의 매핑 관계 정보가 저장되어 있음-; 및
상기 특징 물체에 대응되는 3차원 점구름 데이터 및 파라미터 추출 규칙에 기초하여, 상기 특징 물체에 대응되는 특징 파라미터를 획득하도록 구성되는 추출 유닛을 포함하는 것을 특징으로 하는 지도 구축 장치. - 프로세서; 및
컴퓨터 프로그램 지령이 저장된 메모리를 포함하며,
상기 컴퓨터 프로그램 지령은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 청구항 1 내지 4 중의 어느 한 항에 따른 지도 구축 방법을 수행하게 하는 것을 특징으로 하는 전자 기기. - 청구항 1 내지 4 중의 어느 한 항에 따른 지도 구축 방법을 수행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체.
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910182305.1 | 2019-03-11 | ||
| CN201910182305.1A CN111694903B (zh) | 2019-03-11 | 2019-03-11 | 地图构建方法、装置、设备以及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200109260A KR20200109260A (ko) | 2020-09-22 |
| KR102314228B1 true KR102314228B1 (ko) | 2021-10-19 |
Family
ID=69784111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200029275A KR102314228B1 (ko) | 2019-03-11 | 2020-03-09 | 지도 구축 방법, 장치, 기기 및 판독가능 저장 매체 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11328521B2 (ko) |
| KR (1) | KR102314228B1 (ko) |
| CN (1) | CN111694903B (ko) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DK201970115A1 (en) | 2018-11-08 | 2020-06-09 | Aptiv Technologies Limited | DEEP LEARNING FOR OBJECT DETECTION USING PILLARS |
| CN111694903B (zh) * | 2019-03-11 | 2023-09-12 | 北京地平线机器人技术研发有限公司 | 地图构建方法、装置、设备以及可读存储介质 |
| GB2621701A (en) * | 2019-11-14 | 2024-02-21 | Motional Ad Llc | Sequential fusion for 3D object detection |
| US11698458B2 (en) * | 2020-02-04 | 2023-07-11 | Caterpillar Inc. | Method and system for performing dynamic LIDAR scanning |
| WO2022089723A1 (en) * | 2020-10-27 | 2022-05-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Mapping server and device communicating with mapping server |
| CN112598780B (zh) * | 2020-12-04 | 2024-04-05 | Oppo广东移动通信有限公司 | 实例对象模型构建方法及装置、可读介质和电子设备 |
| WO2022126522A1 (zh) * | 2020-12-17 | 2022-06-23 | 深圳市大疆创新科技有限公司 | 物体识别方法、装置、可移动平台以及存储介质 |
| CN112964263B (zh) * | 2021-02-01 | 2022-11-01 | 杭州荷尖科技合伙企业(有限合伙) | 自动建图方法、装置、移动机器人及可读存储介质 |
| CN112837410B (zh) * | 2021-02-19 | 2023-07-18 | 北京三快在线科技有限公司 | 一种训练模型和点云的处理方法及装置 |
| CN112733817B (zh) * | 2021-03-30 | 2021-06-04 | 湖北亿咖通科技有限公司 | 一种高精度地图中点云图层精度的测量方法及电子设备 |
| CN113269874A (zh) * | 2021-04-20 | 2021-08-17 | 达闼机器人有限公司 | 一种三维地图的建立方法及装置 |
| CN115546237A (zh) * | 2021-06-29 | 2022-12-30 | 富泰华工业（深圳）有限公司 | 点云密度调整方法、电子设备及存储介质 |
| CN113671460B (zh) * | 2021-08-20 | 2024-03-22 | 上海商汤临港智能科技有限公司 | 一种地图生成方法、装置、计算机设备及存储介质 |
| CN114331977A (zh) * | 2021-12-16 | 2022-04-12 | 深圳市鹰眼在线电子科技有限公司 | 多阵列三维测量系统的拼接标定系统、方法及装置 |
| CN114419250B (zh) * | 2021-12-27 | 2023-03-10 | 广州极飞科技股份有限公司 | 点云数据矢量化方法及装置、矢量地图生成方法及装置 |
| CN114494629A (zh) * | 2022-01-27 | 2022-05-13 | 广东电网有限责任公司 | 一种三维地图的构建方法、装置、设备及存储介质 |
| CN114581621B (zh) * | 2022-03-07 | 2024-10-01 | 北京百度网讯科技有限公司 | 地图数据处理方法、装置、电子设备和介质 |
| CN115164918B (zh) * | 2022-09-06 | 2023-02-03 | 联友智连科技有限公司 | 语义点云地图构建方法、装置及电子设备 |
| KR102540636B1 (ko) * | 2022-10-27 | 2023-06-13 | 주식회사 모빌테크 | 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
| CN116358439B (zh) * | 2023-06-02 | 2023-08-25 | 山东省地质科学研究院 | 一种岩石有限应变测量方法、系统、电子设备及存储介质 |
| CN117523021B (zh) * | 2023-11-20 | 2024-05-28 | 友上智能科技(苏州)有限公司 | 基于agv控制系统的快速扫描地图方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012103144A (ja) | 2010-11-11 | 2012-05-31 | Univ Of Tokyo | ３次元環境復元装置、３次元環境復元方法、及びロボット |
| JP2018132925A (ja) * | 2017-02-15 | 2018-08-23 | 東洋電機製造株式会社 | フィルタ処理装置及びプログラム |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8855405B2 (en) * | 2003-04-30 | 2014-10-07 | Deere & Company | System and method for detecting and analyzing features in an agricultural field for vehicle guidance |
| US8737720B2 (en) * | 2003-04-30 | 2014-05-27 | Deere & Company | System and method for detecting and analyzing features in an agricultural field |
| KR101085390B1 (ko) * | 2008-04-30 | 2011-11-21 | 주식회사 코아로직 | 3ｄ 네비게이션을 위한 영상표현 방법, 장치 및 그 장치를포함한 모바일 장치 |
| CA2787646C (en) * | 2010-02-05 | 2016-12-13 | Trimble Navigation Limited | Systems and methods for processing mapping and modeling data |
| CN101975951B (zh) * | 2010-06-09 | 2013-03-20 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
| JP5206752B2 (ja) * | 2010-08-30 | 2013-06-12 | 株式会社デンソー | 走行環境認識装置 |
| US9383753B1 (en) * | 2012-09-26 | 2016-07-05 | Google Inc. | Wide-view LIDAR with areas of special attention |
| CN104298971B (zh) * | 2014-09-28 | 2017-09-19 | 北京理工大学 | 一种3d点云数据中的目标识别方法 |
| WO2016138567A1 (en) * | 2015-03-05 | 2016-09-09 | Commonwealth Scientific And Industrial Research Organisation | Structure modelling |
| CN105184852B (zh) * | 2015-08-04 | 2018-01-30 | 百度在线网络技术（北京）有限公司 | 一种基于激光点云的城市道路识别方法及装置 |
| CN105260988B (zh) | 2015-09-09 | 2019-04-05 | 百度在线网络技术（北京）有限公司 | 一种高精地图数据的处理方法和装置 |
| CN105843223B (zh) * | 2016-03-23 | 2018-11-20 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
| CN107278262B (zh) * | 2016-11-14 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 飞行轨迹的生成方法、控制装置及无人飞行器 |
| CN106796728A (zh) * | 2016-11-16 | 2017-05-31 | 深圳市大疆创新科技有限公司 | 生成三维点云的方法、装置、计算机系统和移动设备 |
| US10223829B2 (en) * | 2016-12-01 | 2019-03-05 | Here Global B.V. | Method and apparatus for generating a cleaned object model for an object in a mapping database |
| IL250382B (en) * | 2017-01-31 | 2021-01-31 | Arbe Robotics Ltd | A radar-based system and method for real-time simultaneous positioning and mapping |
| CN107301654B (zh) * | 2017-06-12 | 2020-04-03 | 西北工业大学 | 一种多传感器的高精度即时定位与建图方法 |
| CN108171780A (zh) * | 2017-12-28 | 2018-06-15 | 电子科技大学 | 一种基于激光雷达构建室内真实三维地图的方法 |
| CN108225348B (zh) * | 2017-12-29 | 2021-08-24 | 百度在线网络技术（北京）有限公司 | 地图创建以及运动实体定位的方法和装置 |
| US10854011B2 (en) * | 2018-04-09 | 2020-12-01 | Direct Current Capital LLC | Method for rendering 2D and 3D data within a 3D virtual environment |
| CN108734654A (zh) * | 2018-05-28 | 2018-11-02 | 深圳市易成自动驾驶技术有限公司 | 绘图与定位方法、系统及计算机可读存储介质 |
| CN109064506B (zh) * | 2018-07-04 | 2020-03-13 | 百度在线网络技术（北京）有限公司 | 高精度地图生成方法、装置及存储介质 |
| WO2020009826A1 (en) * | 2018-07-05 | 2020-01-09 | Kaarta, Inc. | Methods and systems for auto-leveling of point clouds and 3d models |
| CN109084786B (zh) * | 2018-08-09 | 2020-12-25 | 北京智行者科技有限公司 | 一种地图数据的处理方法 |
| CN108955679B (zh) * | 2018-08-16 | 2022-03-15 | 电子科技大学 | 一种变电站智能巡检机器人高精度定位方法 |
| CN109285220B (zh) * | 2018-08-30 | 2022-11-15 | 阿波罗智能技术(北京)有限公司 | 一种三维场景地图的生成方法、装置、设备及存储介质 |
| CN109146938B (zh) * | 2018-08-30 | 2020-09-15 | 百度在线网络技术（北京）有限公司 | 动态障碍物的位置校准方法、装置、设备及存储介质 |
| CN109190573B (zh) * | 2018-09-12 | 2021-11-12 | 阿波罗智能技术(北京)有限公司 | 应用于无人驾驶车辆的地面检测方法、电子设备、车辆 |
| US10809073B2 (en) * | 2018-12-05 | 2020-10-20 | Here Global B.V. | Local window-based 2D occupancy grids for localization of autonomous vehicles |
| CN111694903B (zh) * | 2019-03-11 | 2023-09-12 | 北京地平线机器人技术研发有限公司 | 地图构建方法、装置、设备以及可读存储介质 |
-
2019
- 2019-03-11 CN CN201910182305.1A patent/CN111694903B/zh active Active
-
2020
- 2020-03-04 US US16/808,780 patent/US11328521B2/en active Active
- 2020-03-09 KR KR1020200029275A patent/KR102314228B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012103144A (ja) | 2010-11-11 | 2012-05-31 | Univ Of Tokyo | ３次元環境復元装置、３次元環境復元方法、及びロボット |
| JP2018132925A (ja) * | 2017-02-15 | 2018-08-23 | 東洋電機製造株式会社 | フィルタ処理装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111694903A (zh) | 2020-09-22 |
| KR20200109260A (ko) | 2020-09-22 |
| CN111694903B (zh) | 2023-09-12 |
| US20200293751A1 (en) | 2020-09-17 |
| US11328521B2 (en) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102314228B1 (ko) | 지도 구축 방법, 장치, 기기 및 판독가능 저장 매체 | |
| JP6918885B2 (ja) | 相対的位置姿勢の標定方法、相対的位置姿勢の標定装置、機器及び媒体 | |
| CN111108342B (zh) | 用于高清地图创建的视觉测程法和成对对准 | |
| EP3759562B1 (en) | Camera based localization for autonomous vehicles | |
| JP6862409B2 (ja) | 地図生成及び移動主体の位置決めの方法及び装置 | |
| CN110914777B (zh) | 用于自主车辆的高清地图以及路线存储管理系统 | |
| CN110869981B (zh) | 用于自主车辆的高清晰度地图数据的向量数据编码 | |
| EP3506212A1 (en) | Method and apparatus for generating raster map | |
| WO2020098316A1 (zh) | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 | |
| US11367208B2 (en) | Image-based keypoint generation | |
| JP2022509302A (ja) | 地図生成方法、運転制御方法、装置、電子機器及びシステム | |
| KR102130687B1 (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
| KR102118357B1 (ko) | 모바일 맵핑 또는 자율 주행용 플랫폼과 관측 데이터의 구조화를 위한 시스템 | |
| CN111982133B (zh) | 基于高精地图对车辆进行定位的方法、装置及电子设备 | |
| CN115494533A (zh) | 车辆定位方法、装置、存储介质及定位系统 | |
| CN114187357A (zh) | 一种高精地图的生产方法、装置、电子设备及存储介质 | |
| CN116539053A (zh) | 一种实时全局点云地图构建方法、系统、设备及存储介质 | |
| CN112651991B (zh) | 视觉定位方法、装置及计算机系统 | |
| CN117213515A (zh) | 视觉slam路径规划方法、装置、电子设备及存储介质 | |
| CN111060114A (zh) | 用于生成高精度地图的特征图的方法和装置 | |
| CN117387644A (zh) | 定位方法、装置、电子设备、存储介质及程序产品 | |
| Bulatov et al. | Very fast road database verification using textured 3D city models obtained from airborne imagery | |
| CN117351161A (zh) | 基于视觉语义的建图方法、装置、存储介质及电子设备 | |
| CN115909262A (zh) | 车位检测方法、装置、电子设备以及存储介质 | |
| CN115752430A (zh) | 一种全局点云地图构建方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20200309 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20210428 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20210829 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20211012 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20211013 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |