KR20190082068A - 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치 - Google Patents

포인트 클라우드 데이터를 융합하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20190082068A
KR20190082068A KR1020180130694A KR20180130694A KR20190082068A KR 20190082068 A KR20190082068 A KR 20190082068A KR 1020180130694 A KR1020180130694 A KR 1020180130694A KR 20180130694 A KR20180130694 A KR 20180130694A KR 20190082068 A KR20190082068 A KR 20190082068A
Authority
KR
South Korea
Prior art keywords
point cloud
cloud data
frame
image
transformation matrix
Prior art date
Application number
KR1020180130694A
Other languages
English (en)
Other versions
KR102125958B1 (ko
Inventor
왕 조우
미아오 얀
이페이 잔
슝 두안
창지에 마
시안펭 랑
용강 진
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20190082068A publication Critical patent/KR20190082068A/ko
Application granted granted Critical
Publication of KR102125958B1 publication Critical patent/KR102125958B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

본 개시의 예시적 실시예들에 의하면, 포인트 클라우드 데이터를 융합하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체를 제공한다. 해당 방법은, 각기 동일한 정경을 상대로 하여 수집한 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 관련된 제1 이미지와 제2 이미지를 획득하는 단계와, 해당 제1 이미지와 제2 이미지를 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하는 단계와, 해당 포인트 클라우드 변환 행렬을 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행하는 단계를 포함한다.

Description

포인트 클라우드 데이터를 융합하기 위한 방법 및 장치 {METHOD AND APPARATUS FOR FUSING POINT CLOUD DATA}
본 개시의 실시예들은 주로 포인트 클라우드 데이터를 융합하는 방법 및 장치에 관한 것으로, 보다 구체적으로는 고정밀 지도의 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치에 관한 것이다.
포인트 클라우드 융합 기술은 정경의 3차원 재구축에 대해 지극히 중요하다. 특히, 고정밀 지도의 3차원 모델 구축 과정에 있어서, 포인트 클라우드 융합은 3차원 모델 구축의 성공 여부를 결정하는 제일 관건적인 기술 중의 하나이다. 포인트 클라우드 데이터를 융합하는 기술은 통상적으로 각기 상이한 시각들로부터 수집 객체에 대해 측정한 포인트 클라우드 데이터가 하나의 전역 좌표계에 통일되도록 이에 대해 포즈 포지셔닝을 진행하고, 후속적인 정경의 3차원 재구축이 편리할 수 있도록 데이터 융합을 진행한다.
종래의 포인트 클라우드 데이터를 융합하는 방안은 일반적으로 포인트 클라우드 특징을 추출하고, 포인트 클라우드 매칭을 진행하고, 포인트 클라우드 융합을 실현하는 몇가지 주요한 단계들을 포함한다. 그러나, 일부의 특수 경우들에 있어서, 예를 들어 터널과 같은 비구조적 정경에 있어서, 충분한 포인트 클라우드 특징을 추출하지 못할 뿐만 아니라, 위치 정보(예컨대, GPS 정보가 존재하지 않음)가 누락되므로, 획득한 포인트 클라우드 데이터에 대해 포즈 포지셔닝을 진행하지 못하게 되며, 이로써 포인트 클라우드 융합을 성공적으로 진행하기 어려우며, 나아가 효과적으로 포인트 클라우드 융합을 기반으로 정경의 3차원 재구축을 진일보로 실현하지 못하게 된다.
본 개시의 예시적 실시예들에 의하면, 비구조적 정경 및 위치 신호 또는 관성 항법 신호의 품질이 좋지 않은 환경에
서도, 여전히 포인트 클라우드 융합을 성공적으로 진행할 수 있도록, 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치를 제공한다.
본 개시의 제1 양태에 있어서, 포인트 클라우드 데이터를 융합하기 위한 방법을 제공한다. 해당 방법은, 각기 동일한 정경을 상대로 하여 수집한 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 관련된 제1 이미지와 제2 이미지를 획득하는 단계와, 해당 제1 이미지와 해당 제2 이미지를 기반으로, 해당 제1 프레임의 포인트 클라우드 데이터와 해당 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하는 단계와, 해당 포인트 클라우드 변환 행렬을 기반으로, 해당 제1 프레임의 포인트 클라우드 데이터와 해당 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행하는 단계를 포함한다.
본 개시의 제2 양태에 있어서, 포인트 클라우드 데이터를 융합하기 위한 장치를 제공한다. 해당 장치는, 각기 동일한 정경을 상대로 하여 수집한 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 관련된 제1 이미지와 제2 이미지를 획득하기 위한 이미지 획득 모듈과, 해당 제1 이미지와 해당 제2 이미지를 기반으로, 해당 제1 프레임의 포인트 클라우드 데이터와 해당 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하기 위한 변환 행렬 확정 모듈과, 해당 포인트 클라우드 변환 행렬을 기반으로, 해당 제1 프레임의 포인트 클라우드 데이터와 해당 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행하는 포인트 클라우드 융합 모듈을 포함한다.
본 개시의 제3 양태에 있어서, 하나 또는 다수의 프로세서과 하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되, 해당 하나 또는 다수의 프로그램이 해당 하나 또는 다수의 프로세서에 의해 실행될 경우, 해당 하나 또는 다수의 프로세서가 본 개시의 제1 양태에 따른 방법을 구현하도록 하는 기기를 제공한다.
본 개시의 제4 양태에 있어서, 컴퓨터 프로그램이 저장되되, 해당 프로그램은 프로세서에 의해 실행될 경우 본 개시의 제1 양태에 따른 방법을 구현하는 컴퓨터 판독 가능한 저장 매체를 제공한다.
발명의 내용 부분에서 설명한 내용은 본 개시의 실시예들의 관건적이거나 중요한 특징을 한정하고자 하는 것이 아니며, 본 개시의 범위를 한정하기 위한 것이 아님을 이해하여야 한다. 본 개시의 기타 특징들은 아래의 설명을 통해 용이하게 이해할 수 있을 것이다.
본 개시의 각 실시예의 전술한 및 기타의 특징, 이점 및 방면들은 첨부된 도면들을 결부하고 아래의 상세한 설명을 참조함으로써 더욱 명확해질 것이다. 첨부된 도면들에 있어서, 동일하거나 유사한 도면 부호는 동일하거나 유사한 요소를 표시하며, 첨부된 도면들에 있어서:
도1은 본 개시의 다수의 실시예들이 구현될 수 있는 예시적 환경(100)의 개략도를 나타낸다.
도2는 본 개시의 일부의 실시예들에 따른 포인트 클라우드 데이터를 융합하는 방법(200)의 흐름도를 나타낸다.
도3은 본 개시의 실시예에 따른 이미지 보조를 기반으로 포인트 클라우드 데이터를 융합시키는 처리 과정(300)의 개략도를 나타낸다.
도4는 본 개시의 실시예에 따른 관성 항법 보조를 기반으로 포인트 클라우드 데이터를 융합시키는 처리 과정(400)의 개략도를 나타낸다.
도5는 본 개시의 실시예에 따른 포인트 클라우드 매칭을 기반으로 포인트 클라우드 데이터를 융합시키는 처리 과정(500)의 개략도를 나타낸다.
도6은 본 개시의 실시예에 따른 포인트 클라우드 데이터를 융합하기 위한 방법(600)의 흐름도를 나타낸다.
도7은 본 개시의 실시예를 기반으로 포인트 클라우드 데이터를 융합하는 방법으로 구축한 터널의 3차원 모델 효과도를 나타낸다.
도8은 본 개시의 실시예에 따른 포인트 클라우드 데이터를 융합하기 위한 장치(800)의 개략적 블록도를 나타낸다.
도9는 본 개시의 실시예들을 실시할 수 있는 예시적 기기(900)의 개략적 블록도를 나타낸다.
아래에 첨부된 도면들을 참조하여 본 개시의 실시예들에 대한 보다 상세한 설명을 진행하기로 한다. 첨부된 도면들에는 본 개시의 일부의 실시예들이 표시되나, 본 개시는 각종의 형식으로 실현될 수 있음을 이해하여야 하고, 본 개시가 본원에 진술된 실시예들에 한정되는 것으로 해석하여서는 아니된다. 반대로, 이러한 실시예들은 본 개시의 더욱 명확하고 완정한 이해를 위해 제공된다. 본 개시의 첨부된 도면들과 실시예들은 단지 예시적인 작용으로 이용될 뿐, 본 개시의 보호 범위를 한정하기 위한 것이 아님을 이해하여야 한다.
본 개시의 실시예들을 설명함에 있어서, 용어 "포함” 및 이와 유사한 용어는 개방적인 포함으로 이해하여야 하며, 즉, "... 포함하나, 이에 한정되지 않는다”로 이해하여야 한다. 용어 "기반으로”는 "적어도 부분적으로 ... 기반으로”로 이해하여야 한다. 용어 "일 실시예” 또는 "해당 실시예는” "적어도 하나의 실시예”로 이해하어야 한다. 용어 "제1", "제2" 등은 상이하거나 동일한 대상물을 지시할 수 있다. 아래에는 기타의 명확한 정의 및 함축적인 정의가 포함될 수 있다.
본원에 이용되는 바와 같은 용어 "정경"은 운동하는 것일 수 있으며, 정지된 것인 것일 수도 있고, 실내의 것일 수 있으며, 실외의 것일 수도 있다. 용어 "수집 객체"는 주행 시스템일 수 있으나, 이에 한정되지 않는다. 주행 시스템은 자율 주행 시스템 및/또는 비자율 주행 시스템 시스템을 포함할 수 있다. 아래에, 수집 차량을 예로 들어 본 개시의 실시예들에 대해 토론을 진행하나, 본 개시의 방안은 유사하게 기타 유형의 수집 객체에 적용될 수도 있음을 이해하여야 한다.
앞서 언급한 바와 같이, 기존의 포인트 클라우드 데이터를 융합하는 방안들은, 직접적으로 라이다의 포인트 클라우드 특징 매칭의 방식을 기반으로 포인트 클라우드 융합을 진행하는 방안과, 값비싼 관성 측정 유닛(IMU) 또는 글로벌 포지셔닝 시스템(GPS)을 적용하여 포인트 클라우드 융합을 진행하는 방안과, 직접적으로 kinect 카메라를 이용하여 포인트 클라우드 융합을 진행하는 방안 등을 포함한다. 연구에 따르면, 상술한 방안들에는 모두 현저한 결함이 존재한다.
구체적으로, 종래의 직접적인 포인트 클라우드 특징 매칭을 기반의 융합 방식에 대해, 풍부한 포인트 클라우드 특징들의 획득은 구조화 환경에서만 용이할 뿐, 비구조적 환경(예컨대, 고속도로)에서 그의 포인트 클라우드 특징들이 아주 적으므로, 인접한 몇 프레임의 포인트 클라우드 데이터가 포인트 클라우드 특징에 의존하여 매칭을 진행하지 못하게 되기 용이하며, 이에 따라 포인트 클라우드 데이터의 포지셔닝을 성공적으로 진행하기 어렵게 되고, 나아가 포인트 클라우드 융합을 성공적으로 진행하지 못하게 된다.
종래의 IMU, GPS 기반의 포인트 클라우드 융합 방식은 다수의 경우들에 모두 아주 양호한 포인트 클라우드 융합 효과를 취득할 수 있으나, 차단물이 존재하는 일부의 특수 정경들(예컨대, 고층 건물들이 즐비한 도시 환경, 나무가 우거진 환경)에 대해, GPS 신호의 품질이 좋지 않고, 심지어 일부의 정경들(예컨대, 터널 및 건축물 내부)에서는 GPS 신호가 없는 경우가 발생하게 된다. 상기 GPS 신호의 품질이 좋지 않은 정경에서, 출력된 포즈 결과가 정확하지 않게 되고, 나아가 포인트 클라우드 융합의 실패를 초래하게 된다.
종래의 직접적으로 kinect 카메라 이미지를 이용하는 포인트 클라우드 융합 방식에 있어서, kinect 카메라로 수집한 포인트 클라우드 데이터가 희소하고 정밀도가 충분하지 않으므로, 융합 효과가 양호하지 못하다.
이로부터 알 수 있는 바, 수집한 위치 신호 품질이 좋지 않고 비구조적 환경에 위치하게 될 경우, IMU에 의존하든 아니면 포인트 클라우드 매칭을 적용하여 2 프레임의 포인트 클라우드 데이터의 포즈를 구해내든, 모두 고정밀도의 포인트 클라우드 융합의 요구를 만족시키지 못한다.
본 개시의 실시예들에 의하면, 포인트 클라우드 데이터를 융합하는 방안을 제출한다. 해당 방안에 의하면, 위치 신호 또는 관성 항법 신호의 품질이 상대적으로 좋지 않고 위치하는 정경이 비구조적 환경일 경우, 정경을 상대로 하여 전후 수집 시점에 획득한 이미지의 특징 매칭을 기반으로, 관련된 시점에 수집한 전후 프레임의 포인트 클라우드 데이터 사이의 변환 행렬(아래에, "포인트 클라우드 변환 행렬”로 지칭됨)을 구해내어, 해당 전후 프레임의 포인트 클라우드 데이터에 대해 포인트 클라우드 융합을 진행한다. 구체적으로, 위치 신호 또는 관성 항법 신호 품질이 좋지 않은 경우에, 카메라로 수집한 이미지 중의 비교적 선명한 텍스처 특징 또는 색상 특징을 이용하여 이미지의 특징 매칭을 진행할 수 있다. 이로써, 전후 2개의 이미지 사이의 변환 행렬(아래에, "이미지 변환 행렬”로 지칭됨)을 확정할 수 있으며, 이로써 관련된 전후 2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정할 수 있고, 이어서 포인트 클라우드 융합을 진행할 수 있다. 상술한 이미지 보조 기반의 포인트 클라우드 융합 방안을 이용하여, 예컨대 터널 등과 같은 위치 신호 품질이 좋지 않고 비구조적 환경일 경우에도, 포인트 클라우드 융합을 성공적으로 완료할 수 있다. 이러한 방식을 통해, 포인트 클라우드 융합의 실패를 효과적으로 피면하여 처리 성공의 확률을 향상시킨다.
제공한 포인트 클라우드 데이터를 융합하는 방안은, 위치 신호, 관성 항법 신호의 품질이 기정값보다 높거나 위치한 정경이 구조적 환경일 경우, 관성 항법 신호를 기반으로 전후 프레임의 포인트 클라우드 데이터의 포인트 클라우드 변환 행렬을 확정하거나, 각각 관성 항법 신호를 기반으로 전후 프레임의 포인트 클라우드 데이터의 포인트 클라우드 변환 행렬을 확정하거나, 직접적으로 전후 프레임의 포인트 클라우드 데이터의 특징 매칭을 기반으로 전후 프레임의 포인트 클라우드 데이터의 포인트 클라우드 변환 행렬을 확정하고, 이어서 포인트 클라우드 융합을 진행하는 것을 더 포함한다. 상술한 방안을 이용하여, 위치 신호의 품질이 회복되고 구조적 환경으로 다시 돌아갈 경우, 관성 항법 보조 포인트 클라우드 융합을 이용하거나 직접적으로 포인트 클라우드 매칭을 기반으로 하는 융합 방식을 이용하여, 위치 신호와 환경이 기정 조건을 만족하는 경우에 관성 항법 및 라이다의 고정밀도의 측정 수치를 충분히 이용하여 포인트 클라우드 데이터의 포즈를 확정함으로써, 포인트 클라우드 융합의 효과를 향상시킬 수 있다.
아래에 첨부된 도면들을 참조하여 본 개시의 실시예들에 대한 구체적인 설명을 진행하기로 한다.
도1은 본 개시의 다수의 실시예들이 구현될 수 있는 예시적 환경(100)의 개략도를 나타낸다. 해당 예시적 환경(100)에서, 컴퓨팅 기기(120)로 포인트 클라우드 데이터를 융합시켜 정경의 3차원 재구축을 구현한다.
본 개시의 실시예들에 있어서, 포인트 클라우드 데이터를 수집하기 위한 수집 객체는 포인트 클라우드 수집 능력을 구비하는 임의의 객체(예컨대, 이동형 장치, 교통 수단 등)일 수 있다. 아울러, 수집 객체는 포인트 클라우드 수집 능력을 구비하는 장치가 집적되거나 탑재된 각종의 객체일 수도 있다. 수집 객체는 예컨대 유선 또는 무선 데이터 전송 등과 같은 임의의 데이터 전송 형식으로 포인트 클라우드 데이터를 컴퓨팅 기기(120)에 전송할 수 있음을 이해하여야 한다. 이러한 전송은 실시간 전송일 필요가 없다. 컴퓨팅 기기(120)가 포인트 클라우드 데이터에 대한 후속적인 처리는 언제 또는 어떠한 형식으로 포인트 클라우드 데이터를 컴퓨팅 기기(120)에 전송함에 관계없이 모두 영향을 받지 않는다. 도1의 실시예에 있어서, 수집 객체는 수집 차량(110)으로 예를 든다. 이는 단지 설명의 목적으로 이용될 뿐, 어떠한 한정도 진행하고자 하는 것이 아님을 이해하여야 한다.
컴퓨팅 기기(120)는 획득한 다중 프레임의 포인트 클라우드 데이터를 기반으로 포인트 클라우드 융합을 진행할 수 있고, 컴퓨팅 기기(120)는 수집 장치(110) 상에 설치될 수 있으며, 차량 밖에 설치되어 무선 통신의 방식을 통해 수집 차량(110)과 신호의 상호 작용을 진행할 수도 있다.
수집 차량(110) 상에는 각각 라이다(102), 스테레오 카메라(104), 관성 항법 측정 유닛(106) 및 GPS 신호 수신 장치(108)가 설치된다. 라이다(102)는 일정한 수집 주파수에 따라 정경(130)의 포인트 클라우드 데이터를 수집하며, 예를 들어, 일부의 실시예들에 있어서, 라이다(102)의 수집 주파수는 10Hz이고, 즉, 매 1 초마다 10 프레임의 포인트 클라우드 데이터를 수집한다. 스테레오 카메라(104)는 일정한 주파수(예컨대, 8Hz)로 정경(130)의 스테레오 이미지를 수집한다. 관성 항법 측정 유닛(106)은 수집 차량(110)의 3축 포즈 각도( 또는 각속도) 및 가속도를 측정한다. 관성 항법 측정 유닛(106)은 일반적으로 3개의 단일 축의 가속도계와 3개의 단일 축의 자이로 스코프를 포함하며, 이의 출력 신호의 주파수는 예컨대 20Hz - 50Hz이다. GPS 신호 수신 장치(108)는 글로벌 포지셔닝 시스템 위성 신호를 수신하고 수집 차량(110)의 공간 위치를 확정한다. 일부의 실시예들에 있어서, 라이다(102), 스테레오 카메라(104) 및 관성 항법 측정 유닛(106)의 3자는 상대적으로 고정적인 방식을 이용하여 수집 차량(110) 상에 설치되므로, 상술한 3가지 센서들의 양자들 간의 변환 행렬(아래에, "포즈 변환 행렬"로 지칭될 수도 있음)은 사전에 설정될 수 있다. 그 중의 임의의 하나의 센서의 임의의 시각에서의 포즈가 획득될 경우, 모두 양자들 사이의 포즈 변환 행렬을 통해 기타 2개의 센서들이 관련된 시각에서의 대응되는 포즈를 구해낼 수 있다. 일부의 실시예들에 있어서, 수집 차량(110)이 수집을 시작하기 전에, 라이다(102), 스테레오 카메라(104) 및 관성 항법 측정 유닛(106)이 월드 좌표계에서의 초기 위치를 사전에 표기할 수 있다. 예를 들어, 스테레오 카메라(104)에서 라이다(102)로의 포즈 변환 행렬은
Figure pat00001
(해당 포즈 변환 행렬
Figure pat00002
은 사전에 인위적으로 표기될 수 있으며, 테스트 과정을 통해 확정될 수도 있음)이다. 임의의 프레임의 라이다에 대응되는 카메라의 포즈는 예컨대
Figure pat00003
이고, 이러할 경우, 라이다의 관련된 시각에서의 포즈를
Figure pat00004
로 확정할 수 있다. 일부의 실시예들에 있어서, GPS 수집 장치와 관성 항법 측정 유닛이 결합된 조합형 관성 항법 장치(예컨대, SPAN-CPT 조합형 항법 포지셔닝 시스템)를 이용하여 분리형 GPS 수집 장치와 관성 항법 측정 유닛을 대체할 수 있다.
라이다(102), 스테레오 카메라(104), 관성 항법 측정 유닛(106) 및 GPS 신호 수신 장치(108)로 수집하거나 출력하는 신호들은 유선, 무선의 방식을 통해 컴퓨팅 기기(120)에 제공될 수 있다. 컴퓨팅 기기(120)의 컴퓨팅 결과(예컨대, 포인트 클라우드 융합 결과 또는 포인트 클라우드 융합 기반의 3차원 정경 또는 고정밀 지도)는 저장 장치(122)에 저장될 수 있다.
정경(130)은 건축물 내부(예컨대, 지하 차고)일 수 있으며, 임의의 개방된 공간(예컨대, 고속도로, 도시 거리 구역, 육교 및 터널 등)일 수도 있으며, 도1에 도시된 것은 터널이다.
도2는 본 개시의 일부의 실시예들에 따른 포인트 클라우드 데이터를 융합하는 방법(200)의 흐름도를 나타낸다. 방법(200)은 컴퓨팅 기기(120)에 의해 구현될 수 있다. 도3은 본 개시의 실시예에 따른 이미지 보조를 기반으로 포인트 클라우드 데이터를 융합시키는 처리 과정(300)의 개략도를 나타낸다. 명확성을 위해, 아래에 도3을 결부하여 방법(200)의 내용에 대한 구체적인 소개를 진행하기로 한다. 단계(202)에서, 컴퓨팅 기기는 각기 동일한 정경(130)을 상대로 하여 수집한 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 관련된 제1 이미지(302)와 제2 이미지(304)를 획득한다. 일부의 실시예들에 있어서, 해당의 관련은 예컨대 제1 이미지(302)와 제2 이미지(304)의 수집 시점과 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터의 수집 시점이 제일 근접한 것이다. 이로써, 제1 이미지(302)와 제2 이미지(304)의 수집 시점의 카메라 포즈를 기반으로 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터의 수집 시점의 포즈(306와 308)를 산출할 수 있다.
일부의 실시예들에 있어서, 해당 제1 이미지와 제2 이미지를 획득하는 단계는, 포지셔닝 신호, 관성 항법 신호 및 역사적 포인트 클라우드 데이터 매칭 품질 중의 적어도 하나를 포함하는 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 관련된 정보를 획득하는 단계와, 해당 정보가 기정 조건을 만족하지 않음에 대응하여, 제1 이미지와 해당 제2 이미지를 획득하는 단계를 포함한다. 일부의 실시예들에 있어서, 획득한 포지셔닝 신호 품질이 제1 역치보다 낮고 및/또는 관성 항법 신호의 품질이 제2 역치 품질보다 낮고 역사적 포인트 클라우드 데이터의 매칭 품질이 제3 역치 품질보다 낮을 경우, 제1 이미지와 제2 이미지를 획득한다.
일부의 실시예들에 있어서, 획득한 포지셔닝 신호 및/또는 관성 항법 신호의 품질이 제1 역치 품질보다 낮음은, 예컨대, GPS 신호의 품질 표지가 일 설정값보다 낮을 경우, 해당 GPS 신호의 품질이 좋지 않은 것으로 간주하고, 상응한 측정 위치 정보가 충분히 정확하지 않으며, GPS 신호와 관성 항법 신호로 구해낸 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터의 포즈를 기반으로 효과적인 포인트 클라우드 융합을 진행하지 못하게 되는 것을 포함한다. 일부의 실시예들에 있어서, 예를 들어, SPAN-CPT 조합형 항법 포지셔닝 시스템을 이용하며, 여기서, Q값은 GPS 신호 품질의 표지를 표징하기 위한 것이며, 이는 수신된 위성 신호의 수량, 신호 강도, 신호 대 잡음비 등의 GPS 신호에 영향을 미치는 일부의 요소들을 융합시켜, 하나의 값을 구해낸다. 해당 값은 1 내지 6의 값을 취할 수 있으며, 각 값은 상이한 GPS 신호 품질 레벨을 표시한다. 예를 들어, 해당 값이 1이면 GPS 신호가 제일 좋음을 표시하고, 해당 값이 6이면 GPS 신호가 제일 나쁨을 표시한다. 예를 들어, 실내, 협곡, 숲속 및 터널 등의 정경에서 GPS 신호은 차단되고 쇠약해지며, 이때, Q값은 사전에 설정된 제1 역치보다 작으며, 예컨대 2이다. 일부의 실시예들에 있어서, Q값이 1 또는 2이면 상대적으로 이상적인 포인트 클라우드 융합 효과를 획득할 수 있다.
일부의 실시예들에 있어서, 역사적 포인트 클라우드 데이터의 융합 품질이 제3 역치 품질보다 낮음은, 예컨대, 사전에 2 프레임의 포인트 클라우드 데이터를 획득하여 일부의 특징들(예컨대, 각 포인트, 특수한 곡률을 구비하는 특징)을 추출하고, 이어서, 추출된 특징들을 기반으로 2 프레임의 포인트 클라우드 데이터 사이에서 매칭을 진행하고, 매칭 품질을 기반으로 평가를 진행하며, 포인트 클라우드 데이터의 매칭 품질이 사전에 설정된 제3 역치 품질보다 낮을 경우, 역사적 포인트 클라우드 데이터 매칭 품질이 기정 조건을 만족하지 않는 것으로 확정하며, 즉, 이때, 위치하는 정경을 비구조적 정경으로 확정하는 것을 포함한다. 일부의 실시예들에 있어서, 예컨대, 2 프레임의 포인트 클라우드 데이터 각각에서 일부의 평면 특징들을 추출하고, 일 프레임 상의 평면 상의 다수의 포인트들에서 다른 일 프레임 중의 평면까지의 거리를 산출하고, 해당 거리에 대해 누가를 진행하고, 해당 거리의 누가값을 설정값보다 작을 경우, 2 프레임의 포인트 클라우드 데이터의 매칭 품질이 요구에 부합되는 것으로 간주한다. 전후 프레임의 포인트 클라우드 데이터의 매칭을 기반으로 포인트 클라우드 변환 행렬을 구해낸다. 예를 들어, 터널에 있어서, 터널에 충분한 포인트 클라우드 특징들이 존재하지 않으므로, 포인트 클라우드 데이터의 매칭 품질이 좋지 않게 되기 용이하며, 이러한 경우, 직접적으로 2 프레임의 포인트 클라우드 데이터 사이의 특징 매칭을 기반으로 포인트 클라우드 변환 행렬을 구해내는 것에 적합하지 않게 된다.
단계(204)에서, 컴퓨팅 기기(120)는 제1 이미지(302)와 제2 이미지(304)를 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정한다. 일부의 실시예들에 있어서, 먼저 제1 이미지(302)와 제2 이미지(304) 사이의 이미지 변환 행렬을 확정하고, 이어서, 이미지와 포인트 클라우드 데이터 사이의 포즈 변환 행렬을 획득하고, 이어서, 이미지 변환 행렬과 포즈 변환 행렬을 기반으로, 해당 포인트 클라우드 변환 행렬을 확정한다.
일부의 실시예들에 있어서, 앞서 언급한 제1 이미지(302)와 제2 이미지(304) 사이의 이미지 변환 행렬을 확정하는 단계는, 해당 제1 이미지와 제2 이미지 중의 매칭되는 특징들(예컨대, 텍스처 특징, 색상 특징 또는 에지 특징)을 추출하는 단계와, 해당 매칭되는 특징들을 기반으로, 해당 이미지 변환 행렬을 확정하는 단계를 포함한다. 일부의 실시예들에 있어서, ICP 알고리즘을 이용하여 제1 이미지(302)와 제2 이미지(304)의 특징에 대해 매칭을 진행하며, 구체적으로, 먼저 대응되는 포인트 집합을 확정하고, 이어서, 대응되는 포인트 집합에 따라 포인트 클라우드 사이의 좌표 변환 행렬을 확정한다. 이어서, 오차 함수가 사전에 설정된 정밀도 요구를 만족할 때까지 상술한 2개의 단계를 반복적으로 진행한다.
앞서 언급한 포인트 클라우드 변환 행렬에 대한 확정에 관하여, 일부의 실시예들에 있어서, 예를 들어, 카메라의 초기 포즈가
Figure pat00005
임이 주어지고, 제1 이미지(302)와 제2 이미지(304)에 대한 특징 매칭 이후, 제1 이미지에서 제2 이미지로의 이미지 변환 행렬이
Figure pat00006
인 것이 획득될 경우, 제2 이미지를 수집하는 시점에서의 카메라의 포즈가
Figure pat00007
임을 유추할 수 있다. 일부의 실시예들에 있어서, 스테레오 카메라로 이미지를 수집하는 주파수는 예컨대 8Hz이고, 라이다의 수집 주파수는 예컨대 10Hz이다. 제1 이미지(302)와 제2 이미지(304)의 대응되는 포지 및 대응되는 포즈를 수집하는 시점이 알려진 전제 하에서, 수집 시점 사이의 관계에 따라 선형 차이값 연산을 진행하고, 이미지와 포인트 클라우드 데이터 사이의 포즈 변환 행렬을 기반으로, 제1 이미지 내지 제2 이미지의 수집 시점에서 수집을 진행하는 제1 프레임의 포인트 클라우드 데이터의 포즈(320)를 확정할 수 있다. 이러한 방식으로 유추하여, 제2 프레임의 포인트 클라우드 데이터의 포즈(322) 내지 제M 프레임의 포인트 클라우드 데이터의 포즈(324)를 획득할 수 있으며, 여기서, M는 자연수이다.
앞서 언급한 포즈 변환 행렬의 획득에 관하여, 일부의 실시예들에 있어서, 전술한 바와 같이, 사전에 인위적으로 표기할 수 있으며, 테스트 과정에서 확정할 수도 있다. 예를 들어, 수집 객체 상에 설치된 포인트 클라우드 데이터를 획득하기 위한 라이다의 위치와 이미지를 획득하기 위한 카메라의 위치를 확정하고, 해당 라이다의 위치 및 해당 카메라의 위치를 기반으로, 해당 포즈 변환 행렬을 확정한다.
단계(206)에서, 포인트 클라우드 변환 행렬을 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행한다. 일부의 실시예들에 있어서, 전술한 바와 같이, 제1 프레임의 포인트 클라우드 데이터의 포즈(320) 내지 제M 프레임의 포인트 클라우드 데이터의 포즈(324)를 획득한 이후, 또는 각 2 프레임의 인접한 포인트 클라우드 데이터의 포인트 클라우드 변환 행렬을 획득한 이후, 각 프레임의 포인트 클라우드 데이터 포즈에 따라, 제1 프레임의 포인트 클라우드 데이터(330), 제2 프레임의 포인트 클라우드 데이터(332) 내지 제M 프레임의 포인트 클라우드 데이터(334)를 동일한 좌표계에 위치시켜 포인트 클라우드 데이터 정합을 진행하고, 이어서, 포인트 클라우드 데이터를 융합시켜 스티칭한다.
일부의 실시예들에 있어서, 각종의 방식을 통해 포인트 클라우드 변환 행렬을 기반으로 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행할 수 있다. 예를 들어, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터가 월드 좌표계에서의 포인트 클라우드 프레임 포즈를 확정할 수 있다. 이어서, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터 중의 포인트들이 포인트 클라우드 데이터 국부 좌표계에서의 위치 및 포인트 클라우드 프레임 포즈를 기반으로, 해당 포인트들이 월드 좌표계에서의 포인트 포즈를 확정하고, 포인트 포즈를 기반으로 상기 융합을 진행한다. 구체적으로, 각 프레임의 포인트 클라우드 데이터의 포인트들이 라이다의 국부 좌표계에서의 위치임을 기반으로, 각 프레임의 포인트 클라우드 데이터가 월드 좌표계에서의 포인트 클라우드 프레임 포즈를 기반으로, 각 프레임의 포인트 클라우드 데이터 상의 포인트들을 라이다의 국부 좌표계에서 월드 좌표계로 변환시킴으로써, 포인트 클라우드의 융합을 실현한다. 일부의 실시예들에 있어서, 고해상도 지도에 이용되도록, 정경(130)의 전체적 3차원 모델이 구축될 때까지, 수집 차량(110)이 정경(130)에서 운동하는 과정에 수집한 각 프레임의 포인트 클라우드 데이터와 정경(130)의 국부적 3차원 정경의 모델을 스티칭하고 융합시킨다.
상술한 포인트 클라우드 데이터를 융합하는 방법(200)을 이용하여, 즉, 정경을 상대로 하여 전후 수집 시점에 획득한 이미지의 특징 매칭을 기반으로, 관련된 시점에 수집한 전후 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬 또는 포인트 클라우드 데이터의 포즈 데이터를 구해내어, 해당 전후 프레임의 포인트 클라우드 데이터에 대해 포인트 클라우드 융합을 진행한다. 이로써, 위치 신호 또는 관성 항법 신호 품질이 좋지 않고 위치하는 정경이 비구조적 환경일 경우에도, 포인트 클라우드 융합을 성공적으로 진행할 수 있도록 구현된다.
일부의 실시예들에 있어서, 포지셔닝 신호, 관성 항법 신호 또는 역사적 포인트 클라우드 데이터 매칭 품질이 기정 조건을 만족할 경우, 예컨대, 포지셔닝 신호 또는 관성 항법 신호 품질이 상대적으로 양호하거나, 역사적 포인트 클라우드 데이터 매칭 품질이 상대적으로 양호할 경우, 해당 관성 항법 신호를 기반으로 또는 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터의 매칭을 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정할 수 있다. 이어서, 해당 포인트 클라우드 변환 행렬을 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행할 수 있다.
선택 가능하게, 일부의 실시예들에 있어서, 해당 관성 항법 신호 및 포인트 클라우드 변환 행렬을 기반으로, 대응되는 시점에서의 카메라의 포즈 데이터를 업데이트할 수도 있다.
일부의 실시예들에 있어서, 도4에 도시된 바와 같이, 도4는 본 개시의 실시예에 따른 관성 항법 보조를 기반으로 포인트 클라우드 데이터를 융합시키는 처리 과정(400)의 개략도를 나타낸다. 여기서, GPS 신호와 관성 항법 신호의 품질이 아주 양호할 경우, 예컨대, 제4 역치 품질보다 클 경우, 직접적으로 관성 항법 신호를 이용하여 제1 프레임의 포인트 클라우드 데이터(422)와 제2 프레임의 포인트 클라우드 데이터(424) 각자의 포즈(412와 414) 또는 양자 사이의 포인트 클라우드 변환 행렬(미도시)을 확정하고, 이로써 포인트 클라우드 융합을 진행할 수 있다. 일부의 실시예들에 있어서, 관성 항법 장치의 출력 신호의 주파수는 예컨대 50Hz이고, 라이다의 수집 주파수는 예컨대 10Hz이다. 제1 프레임의 포인트 클라우드 데이터(422)의 수집 시점이 알려진 전제 하에서, 해당 수집 시점 이전의 최근의 관성 항법 신호 출력 시점에서의 포즈 데이터 및 출력 신호의 시점(예컨대, 제1 위치 데이터(402)), 제1 프레임의 포인트 클라우드 데이터(422)의 수집 시점 이후의 최근의 관성 항법 신호 출력 시점의 위치 데이터 및 출력 신호의 시점(예컨대, 제2 위치 데이터(404))을 진일보로 알게된다. 라이다의 수집 시점과 관성 항법 신호 출력 시점 사이의 관계에 따라, 선형 차이값 연산을 진행하고, 관성 항법 신호와 포인트 클라우드 데이터 사이의 포즈 변환 행렬을 기반으로, 제1 프레임의 포인트 클라우드 데이터의 포즈(412)를 확정할 수 있다. 이러한 방식으로 유추하여, 제2 프레임의 포인트 클라우드 데이터의 포즈(414) 내지 제M 프레임의 포인트 클라우드 데이터의 포즈(416)를 획득할 수 있다. 이어서, 획득한 포인트 클라우드 데이터의 포즈를 기반으로 제1 프레임의 포인트 클라우드 데이터(422) 내지 제M 프레임의 포인트 클라우드 데이터(426)에 대해 융합을 진행한다.
일부의 실시예들에 있어서, 포인트 클라우드 변환 행렬을 산출하기 위해, 직접적으로 라이다로 수집한 다중 프레임의 포인트 클라우드 데이터 중의 전후 프레임의 포인트 클라우드 데이터를 기반으로 매칭을 진행할 수 있다. 도5에 도시된 바와 같이, 도5는 본 개시의 실시예에 따른 포인트 클라우드 매칭을 기반으로 포인트 클라우드 데이터를 융합시키는 처리 과정(500)의 개략도를 나타낸다. 여기서, GPS 신호와 관성 항법 신호의 품질이 좋지 않으나, 역사적 포인트 클라우드 데이터 매칭 품질은 기정 조건을 만족할 경우, 즉, 구조적 정경에 위치할 경우, 직접적으로 라이다(502)로 수집한 전후 프레임의 포인트 클라우드 데이터의 매칭을 기반으로, 예컨대, 제1 프레임의 포인트 클라우드 데이터(506)와 제2 프레임의 포인트 클라우드 데이터(508)의 특징 매칭을 통해, 제1, 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬(512)을 확정할 수 있으며, 이러한 방식으로 유추하여, 순차적으로 제M-1 프레임 내지 제M 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬(514)을 확정할 수 있으며, 상술한 포인트 클라우드 변환 행렬을 기반으로 제1 프레임 내지 제M 프레임의 포인트 클라우드 데이터에 대해 포인트 클라우드 융합을 진행할 수 있으며, 여기서, M는 자연수이다. 상술한 방식을 통해, 수집 차량(110)이 터널 등 이미지 보조 포인트 클라우드 융합을 의존하는 환경을 떠난 이후, 위치 신호 품질의 회복에 대응하여, 제때에 관성 항법 데이터 및 레이저 포인트 클라우드 데이터와 같은 고정밀도의 포즈 데이터에 의존하여 포인트 클라우드 융합을 보조하여 진행하는 것으로 전환됨으로써, 융합의 정밀도와 효과를 향상시킨다.
도6은 본 개시의 실시예에 따른 포인트 클라우드 데이터를 융합하기 위한 방법(600)의 흐름도를 나타낸다. 도6에 도시된 바와 같이, 단계(602)에서, 포지셔닝 신호, 관성 항법 신호 및 역사적 포인트 클라우드 데이터 매칭 품질을 획득한다. 단계(604)에서, 포지셔닝 신호가 제1 역치 품질보다 낮은지 및/또는 관성 항법 신호의 품질이 제2 역치 품질보다 낮고 역사적 포인트 클라우드 데이터의 매칭 품질이 제3 역치 품질보다 낮은지를 판단하고, 단계(606)에서, 낮을 경우, 제1 이미지와 제2 이미지를 획득한다. 단계(608)에서, 텍스처 및/또는 색상 특징을 기반으로 제1 이미지와 제2 이미지에 대해 특징 매칭을 진행하고, 제1 이미지와 제2 이미지 사이의 이미지 변환 행렬을 확정한다. 단계(610)에서, 이미지와 포인트 클라우드 데이터 사이의 포즈 변환 행렬을 획득한다. 단계(612)에서, 이미지 변환 행렬과 포즈 변환 행렬을 기반으로, 선형 차이값 연산을 통해 관련된 2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정한다. 단계(614)에서, 포인트 클라우드 변환 행렬을 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행한다. 단계(620)에서, 포지셔닝 신호 품질이 제4 역치 품질보다 높은지를 판단하고, 단계(622)에서, 포지셔닝 신호 품질이 제4 역치 품질보다 높은지에 대응하여, 관성 항법 신호를 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하고, 여기서, 제4 역치 품질은 제1 역치 품질보다 높으며, 단계(624)에서, 포인트 클라우드 변환 행렬을 이용하여 카메라 포즈를 업데이트하고, 단계(626)에서, 확정한 포인트 클라우드 변환 행렬을 기반으로 제1 프레임과 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행한다. 단계(630)에서, 포지셔닝 신호가 제1 역치품질보다 높고 역사적 포인트 클라우드 데이터의 매칭 품질이 제3 역치 품질보다 높은지를 판단하고, 단계(632)에서, 높을 경우, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터의 매칭을 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정한다. 단계(634)에서, 포인트 클라우드 변환 행렬을 이용하여 카메라 포즈를 업데이트하고, 단계(636)에서, 확정한 포인트 클라우드 변환 행렬을 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행한다.
상술한 방법(600)을 이용하여, 위치 신호 품질(예컨대, GPS 신호 품질)이 아주 양호할 경우, 관성 항법 데이터를 기반으로 각 프레임의 포인트 클라우드 데이터의 포즈를 정확하게 포지셔닝함으로써, 고정밀도의 포인트 클라우드 융합을 실현하고, 아울러, GPS 신호 품질이 보통이나 구조적 정경에 위치할 경우, 직접적으로 전후 프레임의 포인트 클라우드 데이터 사이의 특징 매칭을 기반으로 포인트 클라우드 변환 행렬을 확정함으로써, “GPS 신호 또는 관성 항법 신호 품질이 보통”이므로 인해 포인트 클라우드 융합 효과에 대해 영향을 미치는 것을 피면하며, 또한, GPS 신호 품질이 상대적으로 좋지 않고 비구조적 정경에 위치할 경우, 전후 프레임의 이미지 사이의 특징 매칭을 기반으로 대응되는 프레임의 포인트 클라우드 데이터의 포인트 클라우드 변환 행렬 또는 포즈를 확정함으로써, GPS 신호 품질이 좋지 않고 심지어 GPS 신호가 존재하지 않는 경우 및 포인트 클라우드 특징이 명확하지 않는 비구조적 정경에서도, 여전히 포인트 클라우드 융합을 성공적으로 진행할 수 있다.
도7은 본 개시의 실시예를 기반으로 포인트 클라우드 데이터를 융합하는 방법으로 구축한 터널의 3차원 모델 효과도를 나타낸다. 3차원 모델의 융합 효과로부터 알 수 있는 바, 터널의 환경에서도 포인트 클라우드 데이터를 성공적으로 융합시킨다.
도8은 본 개시의 실시예에 따른 포인트 클라우드 데이터를 융합하기 위한 장치(800)의 개략적 블록도를 나타낸다. 도8에 도시된 바와 같이, 장치(800)는, 각기 동일한 정경을 상대로 하여 수집한 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 관련된 제1 이미지와 제2 이미지를 획득하기 위한 이미지 획득 모듈(802)과, 제1 이미지와 제2 이미지를 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하기 위한 변환 행렬 확정 모듈(804)과, 포인트 클라우드 변환 행렬을 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행하기 위한 포인트 클라우드 융합 모듈(806)을 포함한다.
일부의 실시예들에 있어서, 이미지 획득 모듈은, 포지셔닝 신호, 관성 항법 신호 및 역사적 포인트 클라우드 데이터 매칭 품질 중의 적어도 하나를 포함하는 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 관련된 정보를 획득하도록 구축된 관련 신호 획득 모듈과, 정보가 기정 조건을 만족하지 않음에 대응하여, 제1 이미지와 제2 이미지를 획득하도록 구축된 조건 모듈을 포함한다.
일부의 실시예들에 있어서, 조건 모듈은, 포지셔닝 신호의 품질이 제1 역치 품질보다 낮거나 관성 항법 신호의 품질이 제2 역치 품질보다 낮고, 역사적 포인트 클라우드 데이터 매칭 품질이 제3 역치 품질보다 낮음에 대응하여, 제1 이미지와 제2 이미지를 획득하도록 구축된 역치 모듈을 포함한다.
일부의 실시예들에 있어서, 장치(800)는, 정보가 기정 조건을 만족함에 대응하여, 관성 항법 신호 및 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터의 매칭 중의 적어도 하나를 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하도록 구축된 관성 항법 또는 포인트 클라우드 매칭 조건 모듈과, 포인트 클라우드 변환 행렬을 기반으로, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행하도록 구축된 포인트 클라우드 데이터 융합 모듈을 더 포함한다.
일부의 실시예들에 있어서, 변환 행렬 확정 모듈은, 제1 이미지와 제2 이미지 사이의 이미지 변환 행렬을 확정하도록 구축된 이미지 변환 행렬 확정 모듈과, 이미지와 포인트 클라우드 데이터 사이의 포즈 변환 행렬을 획득하도록 구축된 포즈 변환 행렬 획득 모듈과, 이미지 변환 행렬과 포즈 변환 행렬을 기반으로, 포인트 클라우드 변환 행렬을 확정하도록 구축된 포인트 클라우드 변환 행렬 확정 모듈을 포함한다.
일부의 실시예들에 있어서, 이미지 변환 행렬 확정 모듈은, 제1 이미지와 제2 이미지 중의 매칭되는 특징들을 추출하도록 구축된 특징 추출 모듈과, 매칭되는 특징들을 기반으로, 이미지 변환 행렬을 확정하도록 구축된 이미지 변환 행렬 모듈을 포함한다.
일부의 실시예들에 있어서, 포즈 변환 행렬 획득 모듈은, 수집 객체 상에 설치된 포인트 클라우드 데이터를 획득하기 위한 라이다의 위치와 이미지를 획득하기 위한 카메라의 위치를 확정하도록 구축된 위치 확정 모듈과, 라이다의 위치와 카메라의 위치를 기반으로, 포즈 변환 행렬을 확정하도록 구축된 포즈 변환 행렬 확정 모듈을 포함한다.
일부의 실시예들에 있어서, 포인트 클라우드 융합 모듈은, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터가 월드 좌표계에서의 포인트 클라우드 프레임 포즈를 확정하도록 구축된 포인트 클라우드 프레임 포즈 확정 모듈과, 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터 중의 포인트들이 포인트 클라우드 데이터 국부 좌표계에서의 위치 및 포인트 클라우드 프레임 포즈를 기반으로, 포인트들이 월드 좌표계에서의 포인트 포즈를 확정하도록 구축된 포인트 포즈 확정 모듈과, 포인트 포즈를 기반으로 융합을 진행하도록 구축된 융합 모듈을 포함한다.
도9는 본 개시의 실시예들을 실시할 수 있는 예시적 기기(900)의 개략적 블록도를 나타낸다. 기기(900)는 도1의 컴퓨팅 기기(120)를 구현하도록 이용될 수 있다. 도시된 바와 같이, 기기(900)는, 중앙 처리 유닛(901; CPU)을 포함하되, CPU(901)는 읽기 전용 메모리(902; ROM)에 저장된 컴퓨터 프로그램 명령 또는 저장 유닛(908)으로부터 랜덤 액세스 메모리(903; RAM)에 로딩된 컴퓨터 프로그램 명령에 따라 각종의 적당한 동작과 처리를 실행할 수 있다. RAM(903)에는 기기(900)의 작동에 필요한 각종의 프로그램 및 데이터가 더 저장될 수 있다. CPU(901), ROM(902) 및 RAM(903)은 버스(904)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(905)도 버스(904)에 연결된다.
기기(900) 중의 I/O 인터페이스(905)에 연결되는 다수의 부재들로서, 키보드, 마우스 등과 같은 입력 유닛(906)과, 각종 유형의 표시 장치, 스피커 등과 같은 출력 유닛(907)과, 자기 디스크, 콤팩트 디스크 등과 같은 저장 유닛(908)과, 랜카드, 모뎀, 무선 통신 송수신기 등과 같은 통신 유닛(909)이 포함된다. 통신 유닛(909)은 기기(900)가 인터넷과 같은 컴퓨터 네트워크 및/또는 각종의 전기 통신망을 통해 기타의 기기와 정보/데이터를 교환하는 것을 허용한다.
중앙 처리 유닛(901)은 전술한 각 방법과 처리, 예컨대 방법(200 및/또는 600)，과정(300, 400) 및/또는 과정(500)을 실행한다. 예를 들어, 일부의 실시예들에 있어서, 방법(200 및 600), 과정(300, 400 및 500)은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있으며, 이는 기계 판독 가능한 매체(예컨대 저장 유닛(908))에 유형적으로 포함된다. 일부의 실시예들에 있어서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(902) 및/또는 통신 유닛(909)을 경유하여 기기(900) 상에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(903)에 로딩되고 CPU(901)에 의해 실행될 경우, 전술한 방법(200 및 600), 과정(300, 400 및 500)의 하나 또는 다수의 단계를 실행할 수 있다. 선택 가능하게, 기타의 실시예에 있어서, CPU(901)는 기타의 임의의 적당한 방식을 통해 (예컨대, 펌웨어의 도움으로) 방법(200 및 600), 과정(300, 400 및 500)을 실행하도록 구축될 수 있다.
본원에 설명된 이상의 기능들은 적어도 부분적으로 하나 또는 다수의 하드웨어 로직 부재로 실행될 수 있다. 예를 들어, 사용 가능한 모범적인 유형의 하드웨어 로직 부재는, 필드 프로그래머블 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 주문형 표준 제품(ASSP), 시스템-온-칩 시스템(SOC), 복합프로그래머블 로직 소자(CPLD) 등을 포함하나, 이에 한정되지 않는다.
본 개시의 방법을 실시하기 위한 프로그램 코드는 하나 또는 다수의 프로그래머블 언어들의 임의의 조합을 이용하여 프로그래밍될 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 주문형 컴퓨터 또는 기타의 프로그래머블 데이터 처리 장치의 프로세서 또는 제어 장치에 제공될 수 있으며, 프로그램 코드가 프로세서 또는 제어 장치에 의해 실행될 경우, 흐름도 및/또는 블록도에 규정된 기능/조작들이 실시되도록 한다. 프로그램 코드는 완전히 기계 상에서 실행되거나, 부분적으로 기계 상에서 실행되거나, 독립적인 소프트웨어 패키지로서 부분적으로 기계 상에서 실행되고 부분적으로 원격 기계 상에서 실행되거나, 또는 완전히 원격 기계 또는 서비스 상에서 실행될 수 있다.
본 개시의 맥락에 있어서, 기계 판독 가능한 매체는 유형의 매체일 수 있으며, 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나, 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용되는 프로그램을 포함하거나 저장할 수 있다. 기계 판독 가능한 매체는 기계 판독 가능한 신호 매체 또는 기계 판독 가능한 저장 매체일 수 있다. 기계 판독 가능한 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다. 기계 판독 가능한 저장 매체의 보다 구체적인 예시는 하나 또는 다수의 와이어 기반의 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 특정된 순서를 이용하여 각 조작을 설명하였으나, 이는 이러한 조작들이 도시된 특정된 순서 또는 순차 순서로 실행되는 것을 요구하거나, 원하는 결과를 실현하기 위해 도시된 모든 조작들이 실행되어야 하는 것을 요구하는 것으로 이해하여서는 아니된다. 일정한 환경에 있어서, 멀티 태스킹과 병렬 처리는 유리할 수 있다. 마찬가지로, 앞선 토론에는 여러가지 구체적인 구현들의 세부사항들이 포함되나, 이들은 본 개시의 범위에 대한 한정으로 해석하여서는 아니된다. 별도의 실시예의 맥락에 설명된 일부의 특징들은 조합의 방식으로 단일의 구현에 구현될 수 있다. 반대로, 단일의 구현의 맥락에 설명된 각종의 특징들도 별도로 또는 임의의 적당한 서브 조합의 방식으로 다수의 구현들에 구현될 수도 있다.
구조 특징 및/또는 방법 로직 동작에 특정된 언어를 이용하여 본 주제를 설명하였으나, 특허청구범위에 한정된 주제는 반드시 전술한 특정된 특징 또는 동작들에 한정되어야 하는 것이 아님을 이해하여야 한다. 반대로, 전술한 특정된 특징 또는 동작들은 단지 특허청구범위를 구현하는 예시적 형식이다.

Claims (18)

  1. 각기 동일한 정경을 상대로 하여 수집한 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 관련된 제1 이미지와 제2 이미지를 획득하는 단계와,
    상기 제1 이미지와 상기 제2 이미지를 기반으로, 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하는 단계와,
    상기 포인트 클라우드 변환 행렬을 기반으로, 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행하는 단계를 포함하는 포인트 클라우드 데이터를 융합하기 위한 방법.
  2. 제1항에 있어서,
    상기 제1 이미지와 상기 제2 이미지를 획득하는 단계는,
    포지셔닝 신호, 관성 항법 신호 및 역사적 포인트 클라우드 데이터 매칭 품질 중의 적어도 하나를 포함하는 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터에 관련된 정보를 획득하는 단계와,
    상기 정보가 기정 조건을 만족하지 않음에 대응하여, 상기 제1 이미지와 상기 제2 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 방법.
  3. 제2항에 있어서,
    상기 정보가 기정 조건을 만족하지 않음이 확정됨에 대응하여, 상기 제1 이미지와 상기 제2 이미지를 획득하는 단계는,
    상기 포지셔닝 신호의 품질이 제1 역치 품질보다 낮거나 상기 관성 항법 신호의 품질이 제2 역치 품질보다 낮고, 역사적 포인트 클라우드 데이터 매칭 품질이 제3 역치 품질보다 낮음에 대응하여, 상기 제1 이미지와 상기 제2 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 방법.
  4. 제2항에 있어서,
    상기 정보가 기정 조건을 만족함에 대응하여, 상기 관성 항법 신호 및 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터의 매칭 중의 적어도 하나를 기반으로, 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하는 단계와,
    상기 포인트 클라우드 변환 행렬을 기반으로, 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행하는 단계를 더 포함하는 포인트 클라우드 데이터를 융합하기 위한 방법.
  5. 제1항에 있어서,
    상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하는 단계는,
    상기 제1 이미지와 상기 제2 이미지 사이의 이미지 변환 행렬을 확정하는 단계와,
    이미지와 포인트 클라우드 데이터 사이의 포즈 변환 행렬을 획득하는 단계와,
    상기 이미지 변환 행렬과 상기 포즈 변환 행렬을 기반으로, 상기 포인트 클라우드 변환 행렬을 확정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 방법.
  6. 제5항에 있어서,
    상기 제1 이미지와 상기 제2 이미지 사이의 이미지 변환 행렬을 확정하는 단계는,
    상기 제1 이미지와 상기 제2 이미지 중의 매칭되는 특징들을 추출하는 단계와,
    상기 매칭되는 특징들을 기반으로, 상기 이미지 변환 행렬을 확정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 방법.
  7. 제5항에 있어서,
    상기 포즈 변환 행렬을 획득하는 단계는,
    수집 객체 상에 설치된 포인트 클라우드 데이터를 획득하기 위한 라이다의 위치와 이미지를 획득하기 위한 카메라의 위치를 확정하는 단계와,
    상기 라이다의 위치와 상기 카메라의 위치를 기반으로, 상기 포즈 변환 행렬을 확정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 방법.
  8. 제1항에 있어서,
    상기 포인트 클라우드 변환 행렬을 기반으로 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행하는 단계는,
    상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터가 월드 좌표계에서의 포인트 클라우드 프레임 포즈를 확정하는 단계와,
    상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터 중의 포인트들이 포인트 클라우드 데이터 국부 좌표계에서의 위치 및 상기 포인트 클라우드 프레임 포즈를 기반으로, 상기 포인트들이 월드 좌표계에서의 포인트 포즈를 확정하는 단계와,
    상기 포인트 포즈를 기반으로 상기 융합을 진행하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 방법.
  9. 각기 동일한 정경을 상대로 하여 수집한 제1 프레임의 포인트 클라우드 데이터와 제2 프레임의 포인트 클라우드 데이터에 관련된 제1 이미지와 제2 이미지를 획득하도록 구축된 이미지 획득 모듈과,
    상기 제1 이미지와 상기 제2 이미지를 기반으로, 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하도록 구축된 변환 행렬 확정 모듈과,
    상기 포인트 클라우드 변환 행렬을 기반으로, 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행하도록 구축된 포인트 클라우드 융합 모듈을 포함하는 포인트 클라우드 데이터를 융합하기 위한 장치.
  10. 제9항에 있어서,
    상기 이미지 획득 모듈은,
    포지셔닝 신호, 관성 항법 신호 및 역사적 포인트 클라우드 데이터 매칭 품질 중의 적어도 하나를 포함하는 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터에 관련된 정보를 획득하도록 구축된 관련 신호 획득 모듈과,
    상기 정보가 기정 조건을 만족하지 않음에 대응하여, 상기 제1 이미지와 상기 제2 이미지를 획득하도록 구축된 조건 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 장치.
  11. 제10항에 있어서,
    상기 조건 모듈은,
    상기 포지셔닝 신호의 품질이 제1 역치 품질보다 낮거나 상기 관성 항법 신호의 품질이 제2 역치 품질보다 낮고, 역사적 포인트 클라우드 데이터 매칭 품질이 제3 역치 품질보다 낮음에 대응하여, 상기 제1 이미지와 상기 제2 이미지를 획득하도록 구축된 역치 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 장치.
  12. 제9항에 있어서,
    상기 정보가 기정 조건을 만족함에 대응하여, 상기 관성 항법 신호 및 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터의 매칭 중의 적어도 하나를 기반으로, 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터 사이의 포인트 클라우드 변환 행렬을 확정하도록 구축된 관성 항법 또는 포인트 클라우드 매칭 조건 모듈과,
    상기 포인트 클라우드 변환 행렬을 기반으로, 상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터에 대해 융합을 진행하도록 구축된 포인트 클라우드 데이터 융합 모듈을 더 포함하는 포인트 클라우드 데이터를 융합하기 위한 장치.
  13. 제9항에 있어서,
    상기 변환 행렬 확정 모듈은,
    상기 제1 이미지와 상기 제2 이미지 사이의 이미지 변환 행렬을 확정하도록 구축된 이미지 변환 행렬 확정 모듈과,
    이미지와 포인트 클라우드 데이터 사이의 포즈 변환 행렬을 획득하도록 구축된 포즈 변환 행렬 획득 모듈과,
    상기 이미지 변환 행렬과 상기 포즈 변환 행렬을 기반으로, 상기 포인트 클라우드 변환 행렬을 확정하도록 구축된 포인트 클라우드 변환 행렬 확정 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 장치.
  14. 제13항에 있어서,
    상기 이미지 변환 행렬 확정 모듈은,
    상기 제1 이미지와 상기 제2 이미지 중의 매칭되는 특징들을 추출하도록 구축된 특징 추출 모듈과,
    상기 매칭되는 특징들을 기반으로, 상기 이미지 변환 행렬을 확정하도록 구축된 이미지 변환 행렬 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 장치.
  15. 제13항에 있어서,
    상기 포즈 변환 행렬 획득 모듈은,
    수집 객체 상에 설치된 포인트 클라우드 데이터를 획득하기 위한 라이다의 위치와 이미지를 획득하기 위한 카메라의 위치를 확정하도록 구축된 위치 확정 모듈과,
    상기 라이다의 위치와 상기 카메라의 위치를 기반으로, 상기 포즈 변환 행렬을 확정하도록 구축된 포즈 변환 행렬 확정 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 장치.
  16. 제9항에 있어서,
    상기 포인트 클라우드 융합 모듈은,
    상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터가 월드 좌표계에서의 포인트 클라우드 프레임 포즈를 확정하도록 구축된 포인트 클라우드 프레임 포즈 확정 모듈과,
    상기 제1 프레임의 포인트 클라우드 데이터와 상기 제2 프레임의 포인트 클라우드 데이터 중의 포인트들이 포인트 클라우드 데이터 국부 좌표계에서의 위치 및 상기 포인트 클라우드 프레임 포즈를 기반으로, 상기 포인트들이 월드 좌표계에서의 포인트 포즈를 확정하도록 구축된 포인트 포즈 확정 모듈과,
    상기 포인트 포즈를 기반으로 상기 융합을 진행하도록 구축된 융합 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 융합하기 위한 장치.
  17. 하나 또는 다수의 프로세서와,
    하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되,
    상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 제1항 내지 제8항 중의 임의의 한 항의 방법을 구현하도록 하는 기기.
  18. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 프로그램은 프로세서에 의해 실행될 경우 제1항 내지 제8항 중의 임의의 한 항의 방법를 구현하는 컴퓨터 판독 가능한 저장 매체.
KR1020180130694A 2017-12-29 2018-10-30 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치 KR102125958B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711483869.6 2017-12-29
CN201711483869.6A CN108230379B (zh) 2017-12-29 2017-12-29 用于融合点云数据的方法和装置

Publications (2)

Publication Number Publication Date
KR20190082068A true KR20190082068A (ko) 2019-07-09
KR102125958B1 KR102125958B1 (ko) 2020-06-24

Family

ID=62647167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180130694A KR102125958B1 (ko) 2017-12-29 2018-10-30 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US10789771B2 (ko)
EP (1) EP3506203A1 (ko)
JP (1) JP6812404B2 (ko)
KR (1) KR102125958B1 (ko)
CN (1) CN108230379B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025364A1 (ko) * 2019-08-02 2021-02-11 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR20210093351A (ko) * 2019-10-31 2021-07-27 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품
KR20210120816A (ko) * 2020-03-27 2021-10-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기
US11828604B2 (en) 2020-07-20 2023-11-28 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for positioning vehicle, electronic device, and storage medium

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108847121A (zh) * 2018-07-04 2018-11-20 深圳地平线机器人科技有限公司 构建高精度地图的方法和装置
CN110163047B (zh) * 2018-07-05 2023-04-07 腾讯大地通途（北京）科技有限公司 一种检测车道线的方法及装置
CN108921947B (zh) * 2018-07-23 2022-06-21 百度在线网络技术（北京）有限公司 生成电子地图的方法、装置、设备、存储介质以及采集实体
CN109581324B (zh) * 2018-10-31 2023-07-25 歌尔股份有限公司 异常帧数据的处理方法及装置
CN109598670B (zh) * 2018-11-14 2022-11-18 广州广电研究院有限公司 地图信息采集的内存管理方法、装置、存储介质和系统
CN111220992B (zh) * 2018-11-26 2022-05-20 长沙智能驾驶研究院有限公司 雷达数据融合方法、装置及系统
CN109540142B (zh) * 2018-11-27 2021-04-06 达闼科技（北京）有限公司 一种机器人定位导航的方法、装置、计算设备
CN109613543B (zh) * 2018-12-06 2020-09-25 深圳前海达闼云端智能科技有限公司 激光点云数据的修正方法、装置、存储介质和电子设备
CN109901138B (zh) * 2018-12-28 2023-07-04 文远知行有限公司 激光雷达标定方法、装置、设备和存储介质
CN109859613A (zh) * 2019-01-18 2019-06-07 驭势（上海）汽车科技有限公司 一种基于投影坐标系的高精地图制作方法及车载设备
CN109870706A (zh) * 2019-01-31 2019-06-11 深兰科技（上海）有限公司 一种路面标识的检测方法、装置、设备及介质
CN109839112B (zh) * 2019-03-11 2023-04-07 中南大学 地下作业设备定位方法、装置、系统及存储介质
CN111724472A (zh) * 2019-03-19 2020-09-29 北京四维图新科技股份有限公司 地图要素空间位置的确定方法和装置
CN110018491B (zh) * 2019-04-16 2021-06-22 广州大学 激光扫描方法、装置及激光雷达
CN110196441B (zh) * 2019-04-26 2021-08-06 达闼机器人有限公司 终端的定位方法、装置、存储介质与设备
WO2020232709A1 (en) * 2019-05-23 2020-11-26 Beijing Didi Infinity Technology And Development Co., Ltd. Method and system for evaluating quality of a point cloud map
CN110146865B (zh) * 2019-05-31 2023-07-14 创新先进技术有限公司 用于雷达图像的目标识别方法及装置
CN110322553B (zh) * 2019-07-10 2024-04-02 广州建通测绘地理信息技术股份有限公司 激光雷达点云混合现实场景实施放样的方法和系统
CN110361010B (zh) * 2019-08-13 2022-11-22 中山大学 一种基于占据栅格地图且结合imu的移动机器人定位方法
CN112393720B (zh) * 2019-08-15 2023-05-30 纳恩博（北京）科技有限公司 目标设备的定位方法及装置、存储介质、电子装置
CN110673115B (zh) * 2019-09-25 2021-11-23 杭州飞步科技有限公司 雷达与组合导航系统的联合标定方法、装置、设备及介质
CN112154356B (zh) * 2019-09-27 2024-03-15 深圳市大疆创新科技有限公司 点云数据处理方法及其装置、激光雷达、可移动平台
CN114503044A (zh) * 2019-09-30 2022-05-13 北京航迹科技有限公司 用于在3d点云中自动标记对象的系统和方法
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN110991526B (zh) * 2019-11-29 2023-11-28 上海有个机器人有限公司 一种非迭代式点云匹配方法、介质、终端和装置
WO2021114984A1 (zh) * 2019-12-09 2021-06-17 苏州宝时得电动工具有限公司 一种地图数据发送、显示方法、装置、设备及存储介质
CN111145267B (zh) * 2019-12-25 2023-09-05 重庆自行者科技有限公司 基于imu辅助的360度全景视图多相机标定方法
CN111060888B (zh) * 2019-12-31 2023-04-07 芜湖哈特机器人产业技术研究院有限公司 一种融合icp和似然域模型的移动机器人重定位方法
CN111339394B (zh) * 2020-02-19 2023-08-22 北京百度网讯科技有限公司 用于获取信息的方法及装置
CN111340834B (zh) * 2020-03-10 2023-05-12 山东大学 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN111462176B (zh) * 2020-03-13 2024-04-05 深圳市人工智能与机器人研究院 一种目标追踪方法、目标追踪装置及终端设备
CN111311743B (zh) * 2020-03-27 2023-04-07 北京百度网讯科技有限公司 三维重建精度测试方法、测试装置和电子设备
CN111681163A (zh) * 2020-04-23 2020-09-18 北京三快在线科技有限公司 构建点云地图的方法、装置、电子设备和存储介质
CN111540015A (zh) * 2020-04-27 2020-08-14 深圳南方德尔汽车电子有限公司 基于点云匹配的位姿计算方法、装置、计算机设备及存储介质
CN111709988B (zh) * 2020-04-28 2024-01-23 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111553985B (zh) * 2020-04-30 2023-06-13 四川大学 邻图配对式的欧式三维重建方法及装置
CN111649739B (zh) * 2020-06-02 2023-09-01 阿波罗智能技术(北京)有限公司 定位方法和装置、自动驾驶车辆、电子设备和存储介质
CN113763231B (zh) 2020-06-08 2024-02-09 北京京东乾石科技有限公司 模型生成方法、图像透视图确定方法、装置、设备及介质
CN111999752B (zh) * 2020-08-25 2024-03-26 阿波罗智能技术(北京)有限公司 确定道路信息数据的方法、装置和计算机存储介质
CN112051591B (zh) * 2020-08-31 2022-11-29 广州文远知行科技有限公司 一种激光雷达与惯性测量单元的检测方法及相关装置
CN112000130B (zh) * 2020-09-07 2023-04-25 哈尔滨工业大学 一种无人机的多机协同高精度建图定位系统
CN112767458B (zh) * 2020-11-13 2022-07-29 武汉中海庭数据技术有限公司 激光点云与图像的配准的方法及系统
WO2022133770A1 (zh) * 2020-12-23 2022-06-30 深圳元戎启行科技有限公司 点云法向量的生成方法、装置、计算机设备和存储介质
WO2022227096A1 (zh) * 2021-04-30 2022-11-03 深圳市大疆创新科技有限公司 点云数据的处理方法、设备及存储介质
CN113362444B (zh) * 2021-05-21 2023-06-16 北京百度网讯科技有限公司 点云数据的生成方法、装置、电子设备及存储介质
KR102451797B1 (ko) * 2021-06-01 2022-10-12 씨드로닉스(주) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113920258A (zh) * 2021-09-26 2022-01-11 北京三快在线科技有限公司 地图生成方法、装置、介质及电子设备
KR102618951B1 (ko) * 2023-06-20 2023-12-29 주식회사 모빌테크 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110043A (ja) * 2012-12-04 2014-06-12 Fuji Xerox Co Ltd 複数の３次元モデルをつなぎ合わせる装置、方法及びプログラム
US9086481B1 (en) * 2013-01-18 2015-07-21 Google Inc. Methods and systems for estimating vehicle speed
KR20160026989A (ko) * 2013-06-14 2016-03-09 우버 테크놀로지스, 인크. 객체 움직임의 라이더 기반 분류 기법
JP2017056935A (ja) * 2015-09-14 2017-03-23 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド ３ｄセンサにより検出されたオブジェクトの分類

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084064A (ja) 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP5593177B2 (ja) 2010-09-14 2014-09-17 株式会社トプコン 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
CN102003938B (zh) * 2010-10-11 2013-07-10 中国人民解放军信息工程大学 大型高温锻件热态在位检测方法
US9128185B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
CN103711050B (zh) * 2013-12-31 2016-04-06 中交第二公路勘察设计研究院有限公司 一种激光雷达道路改扩建勘测设计方法
US9286538B1 (en) * 2014-05-01 2016-03-15 Hrl Laboratories, Llc Adaptive 3D to 2D projection for different height slices and extraction of robust morphological features for 3D object recognition
JP2016004486A (ja) 2014-06-18 2016-01-12 株式会社リコー 情報処理装置、情報処理プログラム、および情報処理システム
CN105513128A (zh) * 2016-01-13 2016-04-20 中国空气动力研究与发展中心低速空气动力研究所 基于Kinect的三维数据融合处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110043A (ja) * 2012-12-04 2014-06-12 Fuji Xerox Co Ltd 複数の３次元モデルをつなぎ合わせる装置、方法及びプログラム
US9086481B1 (en) * 2013-01-18 2015-07-21 Google Inc. Methods and systems for estimating vehicle speed
KR20160026989A (ko) * 2013-06-14 2016-03-09 우버 테크놀로지스, 인크. 객체 움직임의 라이더 기반 분류 기법
JP2017056935A (ja) * 2015-09-14 2017-03-23 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド ３ｄセンサにより検出されたオブジェクトの分類

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yashar Balazadegan Sarvrood ET AL:"Visual-LiDAR Odometry Aided by Reduced IMU", ISPRS Int. J. Geo-Inf. 2016, 5(1), 3, 7 January 2016(2016.01.07.) 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025364A1 (ko) * 2019-08-02 2021-02-11 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR20210093351A (ko) * 2019-10-31 2021-07-27 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품
KR20210120816A (ko) * 2020-03-27 2021-10-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기
US11828604B2 (en) 2020-07-20 2023-11-28 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for positioning vehicle, electronic device, and storage medium

Also Published As

Publication number Publication date
US10789771B2 (en) 2020-09-29
JP6812404B2 (ja) 2021-01-13
EP3506203A1 (en) 2019-07-03
KR102125958B1 (ko) 2020-06-24
CN108230379A (zh) 2018-06-29
US20190206123A1 (en) 2019-07-04
CN108230379B (zh) 2020-12-04
JP2019145089A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
KR20190082068A (ko) 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치
KR102273559B1 (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
CN111174799A (zh) 地图构建方法及装置、计算机可读介质、终端设备
CN110617821B (zh) 定位方法、装置及存储介质
JP6656886B2 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
US11880931B2 (en) High-definition city mapping
CN112378411B (zh) 利用3d点云和6d相机姿态进行建图和定位的方法
CN113406682A (zh) 一种定位方法、装置、电子设备及存储介质
KR102622585B1 (ko) 실내 길안내 장치 및 그 방법
CN114119886A (zh) 高精地图点云重建方法、装置、车辆、设备和存储介质
CN110515110B (zh) 数据评估的方法、装置、设备和计算机可读存储介质
KR102463698B1 (ko) 도로표지판의 위치정보 데이터베이스 구축 시스템 및 그 방법과 이를 이용한 차량의 위치 추정 장치 및 그 방법
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
WO2022193193A1 (zh) 数据处理方法和设备
KR20200032776A (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
Verentsov et al. Bayesian framework for vehicle localization using crowdsourced data
CN116793340B (zh) 一种无人机自动着陆导航方法、装置及电子设备
JP2019174675A (ja) データ構造、地図データ生成装置、制御方法、プログラム及び記憶媒体
KR102136924B1 (ko) 피테스트 카메라 모듈의 상대 위치 산출 정확도를 평가하기 위한 평가 방법 및 시스템
EP3792719A1 (en) Deduction system, deduction device, deduction method, and computer program
Liu Vehicle Self-positioning system based on KITTI Database
CN117029853A (zh) 多传感器融合定位方法、系统、车辆、设备及介质
CN104252624A (zh) 一种星载区域点目标图像的定位和提取方法
CN117870650A (zh) 一种ar定位地图更新的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant