KR20190082066A - 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치 - Google Patents

포인트 클라우드 데이터를 복구하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20190082066A
KR20190082066A KR1020180130585A KR20180130585A KR20190082066A KR 20190082066 A KR20190082066 A KR 20190082066A KR 1020180130585 A KR1020180130585 A KR 1020180130585A KR 20180130585 A KR20180130585 A KR 20180130585A KR 20190082066 A KR20190082066 A KR 20190082066A
Authority
KR
South Korea
Prior art keywords
point cloud
cloud data
image
data frame
frame
Prior art date
Application number
KR1020180130585A
Other languages
English (en)
Other versions
KR102126724B1 (ko
Inventor
미아오 얀
위페이 즈한
왕 즈호우
시옹 두안
시안펭 랑
창지에 마
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20190082066A publication Critical patent/KR20190082066A/ko
Application granted granted Critical
Publication of KR102126724B1 publication Critical patent/KR102126724B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 출원은 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치에 관한 것이다. 포인트 클라우드 데이터 복구 모델을 생성하는 방법은, 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2D 이미지를 획득하는 단계와, 2D 이미지 중의 물체들의 속성들에 따라 제1 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하는 단계와, 각 포인트 클라우드 데이터 집합을 상대로 하여: 2D 이미지로부터 제1 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하며, 매칭 이미지는 데이터 수집 위치 및/또는 시간 상에서 제1 포인트 클라우드 데이터 프레임과 매칭되고, 제1 포인트 클라우드 데이터 프레임과 이에 관련된 적어도 하나의 제2 포인트 클라우드 데이터 프레임에 따라, 매칭 이미지 중 픽셀 포인트의 3D 위치 데이터를 확정하고, 매칭 이미지 중 대응되는 픽셀 포인트들의 2D 위치와 3D 위치 데이터를 트레이닝 모델의 트레이닝 입력 및 출력 데이터로 하여, 심층 학습 네트워크를 통해 해당 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 생성하는 단계를 포함한다. 포인트 클라우드 데이터의 복구는 구축된 모델을 이용하여 구현할 수 있으며, 이로써 정확성과 보편성을 향상시킨다.

Description

포인트 클라우드 데이터를 복구하기 위한 방법 및 장치{METHOD AND APPARATUS FOR RESTORING POINT CLOUD DATA}
본 개시의 실시예들은 포인트 클라우드 데이터 처리 기술 분야에 관한 것으로, 보다 구체적으로는 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치에 관한 것이다
포인트 클라우드 데이터(Point Cloud)는 각종의 업계 중의 3차원(3D) 재구축 응용에 광범위하게 이용된다. 포인트 클라우드 데이터는 3D 정경의 3D 좌표계 중의 포인트 데이터를 설명하는 집합이다. 통상적으로, 포인트 클라우드 데이터 중의 포인트 데이터는 물체의 외부 표면을 특성화시킨다. 레이저 측정 또는 촬상 측정의 원리에 따라 물체 표면의 각 샘플링 포인트의 공간적 좌표를 수집함으로써, 포인트 데이터의 집합("포인트 클라우드 데이터"로 지칭됨)을 획득할 수 있다.
그러나, 수집 과정에서 차단되거나 거리가 먼 것으로 인해, 포인트 클라우드 데이터에는 홀(hole)이 나타나거나 지나치게 희박하게 되며, 이는 목표 물체의 추출 및 분할에 불리하게 된다. 따라서, 시급히 해결해야 할 하나의 문제로서, 포인트 클라우드 데이터에 대한 복구가 요구된다.
본 개시의 예시적 실시예들에 의하면, 포인트 클라우드 데이터를 복구하기 위한 방안이 제공된다.
본 개시의 제1 양태에 있어서, 포인트 클라우드 데이터 복구 모델을 생성하기 위한 방법이 제공된다. 해당 방법은, 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2차원(2D) 이미지를 획득하는 단계와, 상기 2D 이미지 중의 물체들의 속성들에 따라 상기 제1 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하는 단계와, 각 포인트 클라우드 데이터 집합을 상대로 하여: 상기 적어도 하나의 2D 이미지로부터 상기 제1 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하되, 상기 매칭 이미지는 데이터 수집 위치 및/또는 시간상에서 상기 제1 포인트 클라우드 데이터 프레임과 매칭되고, 상기 제1 포인트 클라우드 데이터 프레임 및 상기 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 제2 포인트 클라우드 데이터 프레임에 따라, 상기 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정하고, 상기 매칭 이미지 중 대응되는 픽셀 포인트들의 2D 위치 데이터와 3D 위치 데이터를 트레이닝 모델의 트레이닝 입력 데이터와 트레이닝 출력 데이터로 하여, 심층 학습 네트워크를 통해 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 생성하는 단계를 포함한다.
본 개시의 제2 양태에 있어서, 포인트 클라우드 데이터를 복구하기 위한 방법이 제공된다. 해당 방법은, 복구하고자 하는 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2D 이미지를 획득하는 단계와, 상기 2D 이미지 중의 물체들의 속성들에 따라 상기 복구하고자 하는 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하는 단계와, 각 포인트 클라우드 데이터 집합을 상대로 하여: 상기 적어도 하나의 2D 이미지에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하되, 상기 매칭 이미지는 데이터 수집 위치 및/또는 시간상에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임에 매칭되고, 상기 매칭 이미지 중의 대응되는 픽셀 포인트들의 2D 위치 데이터를 기반으로, 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 통해 상기 포인트 클라우드 데이터 집합 중의 포인트 클라우드 데이터에 대해 복구를 각각 진행하는 단계를 포함한다.
본 개시의 제3 양태에 있어서, 포인트 클라우드 데이터 복구 모델을 생성하기 위한 장치가 제공된다. 해당 장치는, 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2D 이미지를 획득하도록 구축된 이미지 획득 모듈과, 상기 2D 이미지 중의 물체들의 속성들에 따라 상기 제1 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하도록 구축된 포인트 클라우드 분할 모듈과, 각 포인트 클라우드 데이터 집합을 상대로 하여, 상기 적어도 하나의 2D 이미지로부터 상기 제1 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하도록 구축되되, 상기 매칭 이미지는 데이터 수집 위치 및/또는 시간 상에서 상기 제1 포인트 클라우드 데이터 프레임과 매칭되는 이미지 확정 모듈과, 각 포인트 클라우드 데이터 집합을 상대로 하여, 상기 제1 포인트 클라우드 데이터 프레임 및 상기 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 제2 포인트 클라우드 데이터 프레임에 따라, 상기 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정하도록 구축된 위치 확정 모듈과, 각 포인트 클라우드 데이터 집합을 상대로 하여, 상기 매칭 이미지 중 대응되는 픽셀 포인트들의 2D 위치 데이터와 3D 위치 데이터를 트레이닝 모델의 트레이닝 입력 데이터와 트레이닝 출력 데이터로 하여, 심층 학습 네트워크를 통해 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 생성하도록 구축된 모델 생성 모듈을 포함한다.
본 개시의 제4 양태에 있어서, 포인트 클라우드 데이터를 복구하기 위한 장치가 제공된다. 해당 장치는, 복구하고자 하는 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2D 이미지를 획득하도록 구축된 이미지 획득 모듈과, 상기 2D 이미지 중의 물체들의 속성들에 따라 상기 복구하고자 하는 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하도록 구축된 포인트 클라우드 분할 모듈과, 각 포인트 클라우드 데이터 집합을 상대로 하여, 상기 적어도 하나의 2D 이미지에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하도록 구축되되, 상기 매칭 이미지는 데이터 수집 위치 및/또는 시간상에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임에 매칭되는 이미지 확정 모듈과, 각 포인트 클라우드 데이터 집합을 상대로 하여, 상기 매칭 이미지 중의 대응되는 픽셀 포인트들의 2D 위치 데이터를 기반으로, 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 통해 상기 포인트 클라우드 데이터 집합 중의 포인트 클라우드 데이터에 대해 복구를 각각 진행하도록 구축된 포인트 클라우드 복구 모듈을 포함한다.
본 개시의 제5 양태에 있어서, 하나 또는 다수의 프로세서와, 하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하며, 상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 본 개시의 제1 양태에 따른 방법을 구현하도록 하는 기기를 제공한다.
본 개시의 제6 양태에 있어서, 하나 또는 다수의 프로세서와, 하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하며, 상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 본 개시의 제2 양태에 따른 방법을 구현하도록 하는 기기를 제공한다.
본 개시의 제7 양태에 있어서, 컴퓨터 프로그램이 저장되며, 해당 프로그램은 프로세서에 의해 실행될 경우 본 개시의 제1 양태에 따른 방법을 구현하는 컴퓨터 판독 가능한 매체를 제공한다.
본 개시의 제8 양태에 있어서, 컴퓨터 프로그램이 저장되며, 해당 프로그램은 프로세서에 의해 실행될 경우 본 개시의 제2 양태에 따른 방법을 구현하는 컴퓨터 판독 가능한 매체를 제공한다.
발명의 내용 부분에서 설명한 내용은 본 개시의 실시예들의 관건적이거나 중요한 특징을 한정하고자 하는 것이 아니며, 본 개시의 범위를 한정하기 위한 것이 아님을 이해하여야 한다. 본 개시의 기타 특징들은 아래의 설명을 통해 용이하게 이해할 수 있을 것이다.
본 개시의 각 실시예의 전술한 및 기타의 특징, 이점 및 방면들은 첨부된 도면들을 결부하고 아래의 상세한 설명을 참조함으로써 더욱 명확해질 것이다. 첨부된 도면들에 있어서, 동일하거나 유사한 도면 부호는 동일하거나 유사한 요소를 표시하며, 첨부된 도면들에 있어서,
도 1은 본 개시의 실시예들이 실시될 수 있는 예시적 환경의 개략도를 나타낸다.
도 2는 본 개시의 실시예에 따른 포인트 클라우드 데이터 복구 모델을 생성하기 위한 방법의 흐름도를 나타낸다.
도 3은 본 개시의 실시예에 따른 포인트 클라우드 데이터를 분할하기 위한 방법의 흐름도를 나타낸다.
도 4는 본 개시의 실시예에 따른 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정하기 위한 방법의 흐름도를 나타낸다.
도 5는 본 개시의 실시예에 따른 포인트 클라우드 데이터를 복구하기 위한 방법의 흐름도를 나타낸다.
도 6은 본 개시의 실시예에 따른 포인트 클라우드 데이터 복구 모델을 생성하기 위한 장치의 개략적 블록도를 나타낸다.
도 7은 본 개시의 실시예에 따른 포인트 클라우드 데이터를 복구하기 위한 장치의 개략적 블록도를 나타낸다.
도 8은 본 개시의 실시예들을 실시할 수 있는 컴퓨팅 기기의 블록도를 나타낸다.
아래에 첨부된 도면들을 참조하여 본 개시의 실시예들에 대한 보다 상세한 설명을 진행한다. 첨부된 도면들에는 본 개시의 일부의 실시예들이 표시되나, 본 개시는 각종의 형식으로 실현될 수 있음을 이해하여야 하고, 본 개시가 본원에 진술된 실시예들에 한정되는 것으로 해석하여서는 아니 된다. 반대로, 이러한 실시예들은 본 개시의 더욱 명확하고 완정한 이해를 위해 제공된다. 본 개시의 첨부된 도면들과 실시예들은 단지 예시적인 작용으로 이용될 뿐, 본 개시의 보호 범위를 한정하기 위한 것이 아님을 이해하여야 한다.
본 개시의 실시예들을 설명함에 있어서, 용어 "포함" 및 이와 유사한 용어는 개방적인 포함으로 이해하여야 하며, 즉,"…포함하나, 이에 한정되지 않는다"로 이해하여야 한다. 용어 "기반으로"는 "적어도 부분적으로…기반으로"로 이해하여야 한다. 용어 "일 실시예" 또는 "해당 실시예"는 "적어도 하나의 실시예"로 이해하여야 한다. 용어 "제1", "제2" 등은 상이하거나 동일한 대상물을 지시할 수 있다. 아래에는 기타의 명확한 정의 및 함축적인 정의가 포함될 수 있다.
상술한 바와 같이, 수집 과정에서 차단되거나 거리가 먼 것으로 인해, 포인트 클라우드 데이터에는 빈 공간이 나타나거나 지나치게 희박하게 되며, 이는 목표 물체의 추출 및 분할에 불리하게 된다. 이미 알려진 종래의 방안에 있어서, 통상적으로, 포인트 클라우드 데이터 자체를 기반으로 일정한 범위 내의 선형 보간을 진행하여 포인트 클라우드 데이터의 복구를 구현한다. 일부의 기술에 있어서, 2D 이미지와 포인트 클라우드 데이터의 관계에 따라, 2D 이미지 중의 픽셀 포인트의 2D 좌표에 대해 기하적 관계를 통해 픽셀 포인트의 3D 위치를 추정해낸다. 그러나, 이러한 기존의 기술들에 있어서, 이들은 모두 포인트 클라우드 데이터 상에서 피팅, 보간 등을 직접적으로 진행하는 방법을 이용하므로, 정확성과 보편성을 확보하지 못한다.
본 개시의 실시예들의 기본적인 사상은, 동일한 정경을 상대로 하는 대량의 이미지 데이터와 포인트 클라우드 데이터의 도움으로, 심층 학습 네트워크에 대해 트레이닝을 진행하여 포인트 클라우드 데이터 복구 모델을 생성하고, 포인트 클라우드 데이터 복구 모델을 이용하여 포인트 클라우드 데이터의 복구를 구현한다. 포인트 클라우드 데이터 복구는 모델링 방식을 통해 구현되므로, 방법의 보편성을 확보한다. 또한, 대량의 데이터를 이용하므로, 포인트 클라우드 데이터 복구의 정확성을 향상시킨다. 본 개시의 실시예들에 의하면, 동일한 정경 중의 상이한 물체 속성들을 상대로 하여 모델을 각각 구축함으로써, 포인트 클라우드 데이터 중의 대응되는 상이한 물체 속성들을 상대로 하는 각 부분에 대해 복구를 진행할 수 있다. 이로써, 포인트 클라우드 데이터 복구의 정확성을 진일보로 향상시킬 수 있다.
본원에 이용된 바와 같이, 용어 "모델"은 트레이닝 데이터로부터 대응되는 입력과 출력 사이의 관련성을 습득할 수 있으며, 이로써 트레이닝을 완료한 이후 주어진 입력을 상대로 하여 대응되는 출력을 생성할 수 있다. "모델"은 "신경망", "학습 모델", "학습 네트워크" 또는 "심층 학습 네트워크" 등으로 지칭될 수도 있음을 이해하여야 한다.
이하, 첨부된 도면들을 참조하여 본 개시의 실시예들에 대한 구체적인 설명을 진행한다.
도 1은 본 개시의 실시예들이 실시될 수 있는 예시적 환경(100)의 개략도를 나타낸다. 해당 예시적 환경(100)에서, 수집 작업 차량(110)으로 그에 설치된 데이터 수집 장치(111)를 통해 각종의 정경들을 상대로 하여 대량의 정경 데이터(112)를 획득한다. 본 개시의 실시예들에 있어서, 정경 데이터(112)는 동일한 정경을 상대로 하는 포인트 클라우드 데이터 및 이미지 데이터 양자를 포함할 수 있다. 본 개시의 실시예들에 있어서, 정경 데이터(112)는 포인트 클라우드 데이터 및 이미지 데이터의 수집 위치 및/또는 시간 정보를 더 포함할 수 있다.
예시적으로, 일부의 실시예들에 있어서, 데이터 수집 장치(111)는 예컨대 레이저 레이더(LIDAR) 시스템, 스테레오 카메라 시스템, 모바일 레이저 이미징 시스템 등과 같은 정경을 상대로 하는 포인트 클라우드 데이터를 획득하기 위한 센서 시스템을 포함할 수 있다. 예를 들어, 포인트 클라우드 데이터는 3D 좌표(XYZ), 레이저 반사 강도 및/또는 색상 정보(RGB) 등을 포함할 수 있다. 본 개시의 실시예들에 있어서, 데이터 수집 장치(111)는 예컨대 카메라, 비디오카메라와 같은 정경을 상대로 하는 이미지 데이터를 획득하기 위한 이미지 획득 유닛을 더 포함할 수 있다. 예를 들어, 이미지 데이터는 2D 좌표(XY), 그레이 스케일 등을 포함할 수 있다.
도 1에 도시된 바와 같이, 정경 데이터(112)는 획득된 이후, 후속적으로 컴퓨팅 기기(130)에 의해 처리되거나 이용되기 위해 저장 장치(120)에 저장될 수 있다. 본 개시의 실시예들에 있어서, 저장 장치(120)는 수집 작업 차량(110)의 로컬 저장 장치 또는 수집 작업 차량(110)에 의해 액세스 가능한 외부 저장 장치일 수 있다. 기타 실시예에 있어서, 저장 장치(120)는 컴퓨팅 기기(130)의 로컬 저장 장치 또는 컴퓨팅 기기(130) 에 의해 액세스 가능한 외부 저장 장치일 수 있다.
본 개시의 실시예들에 있어서, 컴퓨팅 기기(130)는 정경 데이터(112)를 기반으로 포인트 클라우드 데이터 복구 모델(131)을 구축할 수 있다. 본 개시의 실시예들에 있어서, 컴퓨팅 기기(130)는 구축된 포인트 클라우드 데이터 복구 모델(131)을 기반으로 정경 데이터(112) 중의 포인트 클라우드 데이터에 대해 복구를 진행할 수도 있다. 기타 실시예에 있어서, 컴퓨팅 기기(130)는 복구된 포인트 클라우드 데이터를 기반으로 3D 정경을 재구축할 수도 있다.
상술한 환경(100)은 단지 예시적인 설명일 뿐, 본 개시의 실시예들은 상술한 응용 환경에 한정되지 않으며, 예컨대 깊이 카메라의 홀 필링(Hole-filling), 제조 업계에서 레이저 레이더를 이용하여 부속품들에 대해 검출을 진행하는 등의 포인트 클라우드 데이터 처리 또는 복구를 위한 임의의 환경일 수 있음을 이해하여야 한다. 이하에서 도 2 내지 도 5를 참조하여, 본 개시의 실시예에 따른 포인트 클라우드 데이터를 복구하기 위한 방안의 예시적 실시에 대한 상세한 설명을 진행하기로 한다.
도 2는 본 개시의 실시예에 따른 포인트 클라우드 데이터 복구 모델을 생성하기 위한 방법(200)의 흐름도를 나타낸다. 해당 방법(200)은 예컨대 도 1 중의 컴퓨팅 기기(130)에서 실시될 수 있으며, 이로써 포인트 클라우드 데이터 복구 모델(131)을 구축할 수 있다. 본 개시의 실시예들에 있어서, 포인트 클라우드 데이터는 프레임 단위로 처리되는 것이다.
도 2에 도시된 바와 같이, 블록(205)에서, 처리하고자 하는 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2D 이미지를 획득한다. 설명의 편의를 위하여, 본원에서는 포인트 클라우드 데이터 프레임을 "제1 포인트 클라우드 데이터 프레임"으로 지칭할 수도 있다. 상술한 바와 같이, 컴퓨팅 기기(130)는 정경 데이터(112)로부터 제1 포인트 클라우드 데이터 프레임과, 수집 위치 및/또는 시간상에서 포인트 클라우드 데이터 프레임에 관련된 이미지 데이터를 획득할 수 있다. 이러한 방면의 예시적 실시예에 대한 상세한 설명은 다음에서 도 3의 블록(310)을 결부하여 진행한다.
블록(210)에서, 블록(205)에서 획득한 적어도 하나의 2D 이미지 중의 물체들의 속성들에 따라, 제1 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할한다. 본 개시의 실시예들에 의하면, 적어도 하나의 2D 이미지는 데이터 수집 위치 및/또는 시간상에서 해당 포인트 클라우드 데이터 프레임에 관련되는 것일 수 있다.
예를 들어, 일 실시예에 있어서, 하나 또는 다수의 2D 이미지는 수집 위치가 포인트 클라우드 데이터 프레임의 수집 위치의 소정의 거리 내에 위치하는 2D 이미지의 집합일 수 있다. 대안으로 또는 부가적으로, 일부의 실시예들에 있어서, 하나 또는 다수의 2D 이미지는 수집 시간이 제1 포인트 클라우드 데이터 프레임의 수집 시간을 둘러싸는 소정의 구간 내에 위치하는 2D 이미지의 집합일 수 있다.
본 개시의 실시예들에 의하면, 컴퓨팅 기기(130)는, 각 포인트 클라우드 데이터 집합이 서로 다른 물체들에 대응되도록, 대응되는 이미지 중의 물체들의 상이한 속성들(예컨대, 지면, 건축물, 동물, 인물 등)을 기반으로 제1 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 하나 또는 다수의 포인트 클라우드 데이터 집합으로 분할할 수 있다. 이로써, 하나 또는 다수의 2D 이미지를 이용하여 일 프레임의 포인트 클라우드 데이터 중의 각 포인트의 물체 속성에 값을 부여할 수 있다.
이하에서 도 3을 결부하여 블록(210)의 예시적 실시에 대한 보다 상세한 설명을 진행한다. 도 3은 본 개시의 실시예에 따른 포인트 클라우드 데이터를 분할하기 위한 방법(300)의 흐름도를 나타낸다. 해당 방법(300)은 마찬가지로 예컨대 도 1의 컴퓨팅 기기(130)에서 실시될 수 있다.
도시된 바와 같이, 블록(310)에서, 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2D 이미지를 획득한다. 상술한 바와 같이, 컴퓨팅 기기(130)는 정경 데이터(112)로부터 제1 포인트 클라우드 데이터 프레임 및 수집 위치 및/또는 시간 상에서 해당 제1 포인트 클라우드 데이터 프레임에 관련된 이미지 데이터를 획득할 수 있다.
일 예시를 감안하면, 예컨대 현재 처리하고자 하는 제1 포인트 클라우드 데이터 프레임이 오늘 10:00에 수집한 것이면, 이미지와 포인트 클라우드 데이터는 동시에 수집된 것이므로, 타임스탬프를 통해 제1 포인트 클라우드 데이터 프레임에 관련된 이미지로서 예컨대 9:50 내지 10:10 사이의 이미지들을 선택할 수 있다. 다른 일 예에 있어서, 예컨대 제1 포인트 클라우드 데이터 프레임의 세계 좌표에서의 수집 위치가 (100, 100, 3)이면, 제1 포인트 클라우드 데이터 프레임에 관련된 이미지로서, 이와 예컨대 100 미터 범위 내의 거리에 위치한 모든 수집 위치의 이미지들을 선택할 수 있다. 해당 기술 분야에서 이미 알려진 또는 미래에 개발될 임의의 적당한 방식을 통해 제1 포인트 클라우드 데이터 프레임에 관련된 이미지를 획득 할 수 있음을 이해하여야 한다.
블록(320)에서, 적어도 하나의 2D 이미지 중의 픽셀 포인트들이 대응되는 물체들을 확정하기 위해 적어도 하나의 2D 이미지에 대해 시맨틱 세분화를 진행한다. 본 개시의 실시예들에 있어서, 해당 기술 분야에서 이미 알려진 또는 미래에 개발될 임의의 적당한 이미지 시맨틱 세분화 기술을 통해 해당 단계를 실행할 수 있으며, 본 개시의 사상을 흐리는 것을 피면하기 위하여, 본원에서는 이에 대한 중복된 설명을 생략하기로 한다. 시맨틱 세분화를 통해, 적어도 하나의 2D 이미지 중의 각 물체(예를 들어, 지면, 건축물, 동물, 인물 등)에 대응되는 픽셀 범위를 구분할 수 있으며, 이로써 적어도 하나의 2D 이미지 중의 각 픽셀 포인트가 대응되는 물체들을 확정할 수 있다.
블록(330)에서, 제1 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 적어도 하나의 2D 이미지의 좌표 공간에 매핑시킨다. 이는 3D로부터 2D로의 좌표 변환에 관한 것이며, 이로써 포인트 클라우드 데이터와 픽셀 포인트 사이의 대응 관계를 획득할 수 있다. 해당 기술 분야에서 이미 알려진 또는 미래에 개발될 임의의 적당한 방식을 통해 해당 매핑을 구현할 수 있음을 이해하여야 한다. 본 개시의 일 실시예에 있어서, 먼저 포인트 클라우드 데이터를 이미지 좌표로 변환시키고, 이어서, 이미지 좌표를 픽셀 좌표로 변환시킬 수 있다. 일 예시에 있어서, 예를 들어, 수집 작업 차량(110)은 LIDAR를 통해 포인트 클라우드 데이터를 획득하고, 카메라를 통해 이미지 데이터를 획득한다. LIDAR와 카메라의 회전 행렬[R, T]은 LIDAR와 카메라의 상대적 위치 관계를 측정함으로써 획득된다. 포인트 클라우드 데이터를 카메라를 원점으로 하는 좌표계로 변환시키면, 즉:
[R, T] * P_lidar = P_camera (1)이고,
여기서, P_lidar는 LIDAR의 좌표계 하의 포인트들이고, P_camera는 카메라의 좌표계 하의 포인트들이다. 이어서, 카메라를 원점으로 하는 포인트 클라우드 데이터를 이미지 좌표에 매핑시키면, 즉:
X_film = fx * X/Z­x_center; Y_film = fy * Y/Z­y_center (2)이고,
여기서, X_film은 포인트 클라우드 데이터가 이미지에서의 X 방향에서의 위치(픽셀 레벨)이고, fx는 X 방향에서의 초점 거리이고, x_center는 이미지 중심점의 X 방향에서의 위치(픽셀 레벨)이고, Y_film은 포인트 클라우드 데이터가 이미지에서의 Y 방향에서의 위치(픽셀 레벨)이고, fy는 Y 방향에서의 초점 거리이며, y_center는 이미지 중심점의 Y 방향에서의 위치(픽셀 레벨)이다. 이어서, 이미지 좌표를 픽셀 좌표로 변환시킨다. 이로써, 포인트 클라우드 데이터와 픽셀 포인트 사이의 대응 관계를 획득할 수 있다.
블록(340)에서, 적어도 하나의 포인트 클라우드 데이터 집합을 형성하도록, 픽셀 포인트들이 대응되는 물체들과 상기 매핑을 기반으로 제1 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터에 대해 클러스터링을 진행한다. 본 개시의 실시예들에 의하면, 블록(320)에서 확정한 각 픽셀 포인트가 대응되는 물체 정보와 블록(330)에서 획득한 포인트 클라우드 데이터 중의 포인트와 픽셀 포인트의 대응 관계를 기반으로, 포인트 클라우드 데이터 중의 각 포인트에 대해 상응한 물체 속성을 부여함으로써, 물체 속성을 기반으로 포인트 클라우드 데이터에 대해 클러스터링을 진행하고, 상응한 포인트 클라우드 데이터 집합을 형성할 수 있다.
앞서 도3을 결부하여 설명한 포인트 클라우드 데이터에 대한 분할은 후속적으로 상이한 물체 속성들을 기반으로 상응한 포인트 클라우드 데이터에 대해 각각 복구를 진행하기 위한 것이다. 포인트 클라우드 데이터에 대한 분할을 기반으로 하고 분할된 포인트 클라우드 데이터를 상대로 하여 각각 복구를 진행함으로써, 포인트 클라우드 데이터 복구의 정확성을 향상시킬 수 있으며, 아울러, 포인트 클라우드 데이터 복구의 효율을 향상시킬 수도 있다. 상술한 도 3의 방법은 단지 예시일 뿐, 본 개시의 실시예들은 이에 한정되지 않으며, 기타 적당한 방식을 이용하여 포인트 클라우드 데이터에 대해 분할을 진행하여 분할된 포인트 클라우드 데이터를 상대로 하여 각각 복구를 실행할 수도 있음을 이해하여야 한다.
다시 도 2를 참조하면, 블록(220)에서, 적어도 하나의 2D 이미지로부터 상기 제1 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하며, 여기서 상기 매칭 이미지는 데이터 수집 위치 및/또는 시간상에서 상기 제1 포인트 클라우드 데이터 프레임과 매칭된다. 본 개시의 실시예들에 의하면, 컴퓨팅 기기(130)는 상술한 적어도 하나의 2D 이미지로부터 제1 포인트 클라우드 데이터 프레임의 매칭 이미지로서 수집 위치 및/또는 시간이 제1 포인트 클라우드 데이터 프레임과 일치하거나 거의 일치한 이미지를 찾아낼 수 있다.
블록(230)에서, 제1 포인트 클라우드 데이터 프레임과 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 기준 포인트 클라우드 데이터 프레임에 따라, 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정한다. 설명의 편의를 위하여, 본원에서는 기준 포인트 클라우드 데이터 프레임을 "제2 포인트 클라우드 데이터 프레임"으로 지칭할 수도 있다.
본 개시의 실시예들에 의하면, 컴퓨팅 기기(130)는, 기준 포인트 클라우드 데이터 프레임(즉, 제2 포인트 클라우드 데이터 프레임)로서, 제1 포인트 클라우드 데이터 프레임 이전 및/또는 이후의 하나 또는 다수의 프레임을 획득할 수 있다. 본 개시의 실시예들에 의하면, 다중 프레임의 포인트 클라우드 데이터를 통해 하나의 이미지 중의 모든 픽셀 포인트들을 모두 3D 공간에 환원시켜 픽셀 포인트와 포인트 클라우드 데이터의 일대일 대응 관계를 획득할 수 있다.
이하, 도 4를 결부하여 블록(230)의 예시적 실시에 대한 보다 상세한 설명을 진행한다. 도 4는 본 개시의 실시예에 따른 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정하기 위한 방법(400)의 흐름도를 나타낸다. 해당 방법(400)은 마찬가지로 예컨대 도 1의 컴퓨팅 기기(130)에서 실시될 수 있다.
도 4에 도시된 바와 같이, 블록(410)에서, 제1 포인트 클라우드 데이터 프레임에 인접한 하나 또는 다수의 제2 포인트 클라우드 데이터 프레임을 획득한다. 본 개시의 실시예들에 의하면, 제2 포인트 클라우드 데이터 프레임의 수량으로부터 매칭 이미지 중의 각 픽셀 포인트가 대응하는 포인트 클라우드 데이터를 확정하도록, 즉, 픽셀 포인트의 3D 위치 데이터를 확정하도록, 수요에 따라 제2 포인트 클라우드 데이터 프레임의 수량을 확정할 수 있다.
블록(420)에서, 제1 포인트 클라우드 데이터 프레임과 제2 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 매칭 이미지의 좌표 공간에 매핑시킨다. 이는 마찬가지로 3D로부터 2D로의 좌표 변환에 관한 것이며, 이로써 포인트 클라우드 데이터와 픽셀 포인트 사이의 대응 관계를 획득할 수 있다. 블록(420)의 조작은 블록(330)에서 설명한 조작과 유사하게 실시될 수 있으며, 이에 대한 중복된 설명을 생략한다.
블록(430)에서, 블록(420)에서 실행한 매핑을 기반으로, 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정한다. 본 개시의 실시예들에 의하면, 블록(420)에서의 매핑을 기반으로, 포인트 클라우드 데이터와 픽셀 포인트 사이의 대응 관계를 획득할 수 있으며, 이로써 매칭 이미지 중의 모든 픽셀 포인트들이 대응하는 포인트 클라우드 데이터(즉, 3D 위치 데이터)를 확정할 수 있다.
도 4를 결부하여 설명한 방법에 있어서, 다중 프레임의 포인트 클라우드 데이터를 기반으로 하나의 매칭 이미지 중의 모든 픽셀 포인트들의 3D 위치 데이터의 진리 값을 확정할 수 있으며, 이로써 후속 모델의 트레이닝을 위해 상응한 트레이닝 출력 데이터를 제공하고자 한다. 상술한 도4의 방법은 예시일 뿐, 본 개시의 실시예들은 이에 한정되지 않으며, 기타의 적당한 방식을 이용하여 모델 트레이닝의 트레이닝 출력 데이터로서 픽셀 포인트의 3D 위치 데이터의 진리값을 확정할 수도 있음을 이해하여야 한다.
다시 도 2를 참조하면, 블록(240)에서, 포인트 클라우드 데이터 집합 중의 각각을 상대로 하여, 포인트 클라우드 데이터 집합 중의 각각을 상대로 하여, 매칭 이미지 중의 대응되는 픽셀 포인트들의 2D 위치 데이터와 3D 위치 데이터를 각각 트레이닝 입력 데이터와 트레이닝 출력 데이터로 하여, 심층 학습 네트워크를 통해 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 생성한다.
본 개시의 실시예들에 의하면, 컴퓨팅 기기(130)는, 동일한 물체에 대응되는 포인트 클라우드 데이터 집합 중의 포인트 클라우드 데이터와 매칭 이미지 중의 대응되는 동일한 물체의 픽셀 포인트의 2D 위치 데이터를 심층 학습 네트워크의 입력층으로 하고, 대응되는 동일한 물체의 픽셀 포인트의 3D 위치 데이터를 심층 학습 네트워크의 출력층으로 함으로써, 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 트레이닝하고 생성할 수 있다. 즉, 포인트 클라우드 데이터 복구 모델은 이미지 중의 물체들에 특정된 것이며, 단지 전체적인 이미지에 특정된 것은 아니다. 이는 예컨대 포인트 클라우드 복구 모델이 맞춤성을 구비하게 하고 정밀도가 향상되도록 포인트 클라우드 복구 모델을 정확하게 트레이닝하기에 유익하다.
본 개시의 실시예들에 의하면, 해당 기술 분야에서 이미 알려진 또는 미래에 개발될 임의의 적당한 심층 학습 네트워크를 통해 모델(예컨대, 회선 신경망, 순환 신경망, 심층 신경망 등)의 구축을 구현할 수 있다. 현재에 유행되는 심층 학습 네트워크 층은 입력층, 회선층, 풀링층(max pooling), 완전 연결층, 출력층 등을 포함한다. 구체적인 수요에 따라 이러한 층들을 조합시키고, 각 층에 일부의 초기 값을 부여하고, 이어서 트레이닝 세트의 진리 값을 통해 이러한 초기 값들을 수정할 수 있으며, 이로써 획득한 예측 정확률 결과가 점점 개선되게 한다. 출력층은 예측 값을 제공하게 된다. 트레이닝 모드에서, 예측 값과 진리 값 사이의 차이를 비교하여 네트워크 중의 값을 조정한다.
본 개시의 실시예들에 의하면, 상이한 물체들이 대응되는 포인트 클라우드 데이터를 상대로 하여, 대응되는 심층 학습 네트워크를 트레이닝하여 대응되는 물체의 포인트 클라우드 데이터를 복구할 수 있다. 동일한 네트워크를 이용하여 모든 포인트 클라우드 데이터를 복구하는 것에 비해, 정확률이 더욱 높다.
지금까지 도 2 내지 도 4를 결부하여 본 개시의 실시예에 따른 포인트 클라우드 데이터 복구 모델을 생성하는 과정에 대한 설명을 진행하였다. 이하에서 도 5는 본 개시의 실시예에 따른 포인트 클라우드 데이터 복구 모델을 사용하는 과정을 설명한다. 도 5는 본 개시의 실시예들에 따른 포인트 클라우드 데이터를 복구하기 위한 방법(500)의 흐름도를 나타낸다. 해당 방법(500)은 도 1에 도시된 바와 같은 컴퓨팅 기기(130)에서 실시될 수 있다. 앞서 설명한 방법(200)은 포인트 클라우드 데이터 복구 모델의 트레이닝 과정으로 간주될 수 있으며, 아래에 설명되는 방법(500)은 해당 모델의 사용 과정임을 이해할 것이다.
도 5에 도시된 바와 같이, 블록(505)에서, 복구하고자 하는 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2D 이미지를 획득한다. 해당 단계의 처리는 블록(205)의 처리와 유사하며, 기타 세부 사항들은 앞서 블록(205)을 결부하여 진행한 설명을 참조할 수 있다.
블록(510)에서, 블록(505)에서 획득한 적어도 하나의 2D 이미지중의 물체들의 속성들에 따라 복구하고자 하는 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할한다. 본 개시의 실시예들에 의하면, 컴퓨팅 기기(130)는 수집 위치 및/또는 시간상에서 복구하고자 하는 포인트 클라우드 데이터 프레임에 관련되는 하나 또는 다수의 2D 이미지를 획득하고, 후속적으로 상이한 물체 속성들을 상대로 하여 각각 복구를 실행하도록, 복구하고자 하는 포인트 클라우드 데이터 프레임 중의 포인트 데이터가 대응되는 2D 이미지 중의 물체들의 속성들에 따라 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할할 수 있다. 해당 단계의 처리는 블록(210)의 처리와 유사하며, 기타 세부 사항들은 앞서 블록(210)을 결부하여 진행한 설명을 참조할 수 있다.
블록(520)에서, 적어도 하나의 2D 이미지로부터 상기 복구하고자 하는 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하되, 상기 매칭 이미지는 데이터 수집 위치 및/또는 시간상에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임에 매칭된다. 본 개시의 실시예들에 의하면, 컴퓨팅 기기(130)는, 포인트 클라우드 데이터 프레임의 매칭 이미지로서, 상술한 적어도 하나의 2D 이미지로부터 수집 위치 및/또는 시간상에서 포인트 클라우드 데이터 프레임과 일치하거나 거의 일치한 이미지를 찾아낼 수 있다. 해당 단계의 처리는 블록(220)의 처리와 유사하다.
블록(530)에서, 포인트 클라우드 데이터 집합 중의 각각을 상대로 하여, 매칭 이미지 중의 대응되는 픽셀 포인트들의 2D 위치 데이터를 기반으로, 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 통해 포인트 클라우드 데이터 집합 중의 포인트 클라우드 데이터에 대해 각각 복구를 진행한다. 모델 구축 시의 트레이닝 입력 데이터와 유사하게, 본 개시의 실시예들에 있어서, 대응되는 동일한 물체 속성의 포인트 클라우드 데이터 집합 중의 포인트 클라우드 데이터 및 매칭 이미지 중의 대응되는 동일한 물체 속성의 픽셀 포인트의 2D 위치 데이터를 포인트 클라우드 데이터 복구 모델의 입력 데이터로 한다. 따라서, 포인트 클라우드 데이터 복구 모델의 출력 데이터는 즉 복구된 대응되는 동일한 물체 속성의 포인트 클라우드 데이터, 즉, 매칭 이미지 중의 대응되는 동일한 물체 속성의 모든 픽셀 포인트의 3D 위치 데이터이다. 여기서 설명되는 복구는 포인트 클라우드 데이터 중의 포인트 데이터에 대한 필링(filling)을 가리킨다.
본 개시의 실시예들에 의하면, 대향의 데이터를 이용하여 모델링을 진행하는 방식을 통해 포인트 클라우드 데이터의 복구를 구현함으로써, 방법의 정확성 및 보편성을 확보한다. 또한, 본 개시의 실시예들에 있어서, 상이한 물체들이 대응되는 포인트 클라우드 데이터를 상대로 하여, 사전에 트레이닝된 대응되는 물체의 포인트 클라우드 데이터 복구 모델을 통해 대응되는 물체의 포인트 클라우드 데이터를 복구할 수 있다. 동일한 모델을 이용하여 모든 포인트 클라우드 데이터를 복구하는 것에 비해, 정확률이 더욱 높다.
본 개시의 실시예들은 상술한 방법 또는 과정을 구현하기 위한 상응한 장치를 더 제공한다. 도 6은 본 개시의 실시예에 따른 포인트 클라우드 데이터 복구 모델을 생성하기 위한 장치(600)의 개략적 블록도를 나타낸다. 해당 장치(600)는 예컨대 도 1의 컴퓨팅 기기(130)에서 실시될 수 있다. 도 6에 도시된 바와 같이, 장치(600)는 이미지 획득 모듈(605), 포인트 클라우드 분할 모듈(610), 이미지 확정 모듈(620), 위치 확정 모듈(630) 및 모델 생성 모듈(640)을 포함할 수 있다.
본 개시의 실시예들에 의하면, 이미지 획득 모듈(605)은 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2D 이미지를 획득하도록 구축될 수 있다. 이미지 획득 모듈(605)의 조작은 도 2의 블록(205)의 조작과 유사하며, 이의 세부 사항에 대한 중복된 설명은 생략한다.
본 개시의 실시예들에 의하면, 포인트 클라우드 분할 모듈(610)은 2D 이미지 중의 물체들의 속성들을 기반으로 제1 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하도록 구축될 수 있다. 포인트 클라우드 분할 모듈(610)의 조작은 도 2의 블록(210)의 조작과 유사하며, 이의 세부 사항에 대한 중복된 설명은 생략한다.
본 개시의 실시예들에 있어서, 포인트 클라우드 분할 모듈(610)은, 적어도 하나의 2D 이미지 중의 픽셀 포인트들이 대응되는 물체들을 확정하기 위해 적어도 하나의 2D 이미지에 대해 시맨틱 세분화를 진행하도록 구축된 시맨틱 세분화 유닛과, 제1 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 적어도 하나의 2D 이미지의 좌표 공간에 매핑시키도록 구축된 제1 매핑 유닛과, 적어도 하나의 포인트 클라우드 데이터 집합을 형성하도록, 픽셀 포인트들이 대응되는 물체들과 상기 매핑을 기반으로 제1 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터에 대해 클러스터링을 진행하도록 구축된 데어터 클러스터링 유닛을 포함(도면에 도시되지 않음)할 수 있다. 이러한 유닛들의 조작들은 앞서 도 3을 참조하여 진행한 조작들과 유사하며, 이의 세부 사항에 대한 중복된 설명은 생략한다.
본 개시의 실시예들에 의하면, 이미지 확정 모듈(620)은 적어도 하나의 2D 이미지로부터 데이터 수집 위치 및/또는 시간상에서 제1 포인트 클라우드 데이터 프레임과 매칭되는 매칭 이미지를 확정하도록 구축될 수 있다. 이미지 확정 모듈(620)의 조작은 도 2의 블록(220)의 조작과 유사하며, 본원에서는 중복된 설명을 생략한다.
본 개시의 실시예들에 의하면, 위치 확정 모듈(630)은 제1 포인트 클라우드 데이터 프레임과 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 기준 포인트 클라우드 데이터 프레임(본원에서 제2 포인트 클라우드 데이터 프레임으로 지칭되기도 함)을 기반으로 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정하도록 구축될 수 있다. 위치 확정 모듈(630)의 조작은 도 2의 블록(230)의 조작과 유사하며, 이의 세부 사항에 대한 중복된 설명은 생략한다.
본 개시의 실시예들에 있어서, 위치 확정 모듈(630)은, 기준 포인트 클라우드 데이터 프레임로서, 제1 포인트 클라우드 데이터 프레임에 인접한 하나 또는 다수의 포인트 클라우드 데이터 프레임을 획득하도록 구축된 데이터 획득 유닛과, 제1 포인트 클라우드 데이터 프레임과 제2 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 매칭 이미지의 좌표 공간에 매핑시키도록 구축된 제2 매핑 유닛과, 상기 매핑을 기반으로 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정하도록 구축된 위치 확정 유닛을 포함(도면에 도시되지 않음)할 수 있다. 이러한 유닛들의 조작들은 앞서 도 4를 참조하여 진행한 조작들과 유사하며, 이의 세부 사항에 대한 중복된 설명은 생략한다.
본 개시의 실시예들에 의하면, 모델 생성 모듈(640)은 포인트 클라우드 데이터 집합 중의 각각을 상대로 하여, 매칭 이미지 중의 대응되는 픽셀 포인트들의 2D 위치 데이터와 3D 위치 데이터를 각각 트레이닝 입력 데이터와 트레이닝 출력 데이터로 하여, 심층 학습 네트워크를 통해 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 생성하도록 구축될 수 있다. 모델 생성 모듈(640)의 조작은 도 2의 블록(240)의 조작과 유사하며, 이의 세부 사항에 대한 중복된 설명은 생략한다.
도 7은 본 개시의 실시예에 따른 포인트 클라우드 데이터를 복구하기 위한 장치(700)의 개략적 블록도를 나타낸다. 해당 장치(700)는 마찬가지로 예컨대 도 1의 컴퓨팅 기기(130)에서 실시될 수 있다. 장치(700)는 이미지 획득 모듈(705), 포인트 클라우드 분할 모듈(710), 이미지 확정 모듈(720) 및 포인트 클라우드 복구 모듈(730)을 포함할 수 있다.
본 개시의 실시예들에 의하면, 이미지 획득 모듈(705)은 복구하고자 하는 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2D 이미지를 획득하도록 구축될 수 있다. 이미지 획득 모듈(705)의 조작은 도 5의 블록(505)의 조작과 유사하며, 이의 세부 사항에 대한 중복된 설명은 생략한다.
본 개시의 실시예들에 의하면, 포인트 클라우드 분할 모듈(710)은 2D 이미지 중의 물체들의 속성들을 기반으로 복구하고자 하는 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하도록 구축될 수 있다. 포인트 클라우드 분할 모듈(710)의 조작은 도 5의 블록(510)의 조작과 유사하며, 이의 세부 사항에 대한 중복된 설명은 생략한다.
본 개시의 실시예들에 있어서, 포인트 클라우드 분할 모듈(710)은, 적어도 하나의 2D 이미지 중의 픽셀 포인트들이 대응되는 물체들을 확정하기 위해 적어도 하나의 2D 이미지에 대해 시맨틱 세분화를 진행하도록 구축된 시맨틱 세분화 유닛과, 복구하고자 하는 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 적어도 하나의 2D 이미지의 좌표 공간에 매핑시키도록 구축된 제1 매핑 유닛과, 적어도 하나의 포인트 클라우드 데이터 집합을 형성하도록, 픽셀 포인트들이 대응되는 물체들과 상기 매핑을 기반으로 복구하고자 하는 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터에 대해 클러스터링을 진행하도록 구축된 데어터 클러스터링 유닛을 포함(도면에 도시되지 않음)할 수 있다. 이러한 유닛들의 조작들은 앞서 도 3을 참조하여 진행한 조작들과 유사하며, 이의 세부 사항에 대한 중복된 설명은 생략한다.
본 개시의 실시예들에 의하면, 이미지 확정 모듈(720)은 상기 적어도 하나의 2D 이미지로부터 데이터 수집 위치 및/또는 시간상에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임과 매칭되는 매칭 이미지를 확정하도록 구축될 수 있다. 이미지 확정 모듈(720)의 조작은 도 5의 블록(520)의 조작과 유사하며, 본원에서는 중복된 설명을 생략한다.
본 개시의 실시예들에 의하면, 포인트 클라우드 복구 모듈(730)은 포인트 클라우드 데이터 집합 중의 각각을 상대로 하여, 매칭 이미지 중의 대응되는 픽셀 포인트들의 2D 위치 데이터를 기반으로, 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 통해 포인트 클라우드 데이터 집합 중의 포인트 클라우드 데이터에 대해 각각 복구를 진행하도록 구축될 수 있다. 포인트 클라우드 복구 모듈(730)의 조작은 도5의 블록(530)의 조작과 유사하며, 본원에서는 중복된 설명을 생략한다.
장치(600)와 장치(700)에 기재된 각 유닛은 각각 도 2 및 도 5를 참조하여 설명한 방법(200 및 500) 중의 각 단계에 대응됨을 이해하여야 한다. 또한, 장치(600)와 장치(700) 및 이들 중에 포함된 유닛들의 조작 및 특징들은 모두 앞서 도 2 내지 도 5를 결부하여 설명한 조작 및 특징들에 대응되고 동일한 효과를 구비하며, 이의 세부 사항들에 대한 중복된 설명은 생략한다.
장치(600)와 장치(700)에 포함된 유닛들은 소프트웨어, 하드웨어 또는 이들의 임의의 조합을 포함하여 각종의 방식을 이용하여 구현될 수 있다. 일 실시예에 있어서, 하나 또는 다수의 유닛들은 소프트웨어 및/또는 펌웨어를 이용하여 구현될 수 있으며, 예컨대 저장 매체 상에 저장된 기계 실행 가능한 명령으로 구현될 수 있다. 기계 실행 가능한 명령 이외에, 또는 대안으로, 장치(600)와 장치(700) 중의 일부 또는 전부의 유닛들은 적어도 부분적으로 하나 또는 다수의 하드웨어 로직 어셈블리들로 구현될 수 있다. 예시적이나 비한정적으로, 사용 가능한 시범적인 유형의 하드웨어 로직 어셈블리는 필드 프로그래머블 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 주문형 표준 제품(ASSP), 시스템-온-칩(SOC), 복합 프로그래머블 로직 소자(CPLD) 등을 포함한다.
도 6 및 도 7에 도시된 이러한 유닛들은 부분적 또는 전체적으로 하드웨어 모듈, 소프트웨어 모듈, 펌웨어 모듈 또는 이들의 임의의 조합으로 구현될 수 있다. 특히, 일부의 실시예들에 있어서, 앞서 설명한 흐름, 방법 또는 과정은 저장 시스템 또는 저장 시스템에 대응되는 호스트 또는 저장 시스템에 독립적인 기타의 컴퓨팅 기기 중의 하드웨어로 구현될 수 있다.
도 8은 본 개시의 실시예들을 실시할 수 있는 예시적 컴퓨팅 기기(800)의 블록도를 나타낸다. 기기(800)는 도1의 컴퓨팅 기기(130)를 구현하도록 이용될 수 있다. 도시된 바와 같이, 기기(800)는, 중앙 처리 유닛(CPU)(801)을 포함하며, CPU(801)는 읽기 전용 메모리(ROM)(802)에 저장된 컴퓨터 프로그램 명령 또는 저장 유닛(808)으로부터 랜덤 액세스 메모리(RAM)(803)에 로딩된 컴퓨터 프로그램 명령에 따라 각종의 적당한 동작과 처리를 실행할 수 있다. RAM(803)에는 기기(800)의 작동에 필요한 각종의 프로그램 및 데이터가 더 저장될 수 있다. CPU(801), ROM(802) 및 RAM(803)은 버스(804)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(805)도 버스(804)에 연결된다.
기기(800) 중의 I/O 인터페이스(805)에 연결되는 다수의 부재들로서, 키보드, 마우스 등과 같은 입력 유닛(806)과, 각종 유형의 표시 장치, 스피커 등과 같은 출력 유닛(807)과, 자기 디스크, 콤팩트디스크 등과 같은 저장 유닛(808)과, 랜카드, 모뎀, 무선 통신 송수신기 등과 같은 통신 유닛(809)이 포함된다. 통신 유닛(809)은 기기(800)가 인터넷과 같은 컴퓨터 네트워크 및/또는 각종의 전기 통신망을 통해 기타의 기기와 정보/데이터를 교환하는 것을 허용한다.
중앙 처리 유닛(801)은 전술한 각 방법과 처리, 예컨대 방법(200) 및/또는 방법(500)을 실행한다. 예를 들어, 일부의 실시예들에 있어서, 방법(200) 및/또는 방법(500)은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있으며, 이는 기계 판독 가능한 매체(예컨대 저장 유닛(808))에 유형적으로 포함된다. 일부의 실시예들에 있어서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(802) 및/또는 통신 유닛(809)을 경유하여 기기(800) 상에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(803)에 로딩되고 CPU(801)에 의해 실행될 경우, 전술한 방법(200) 및/또는 방법(500)의 하나 또는 다수의 단계를 실행할 수 있다. 선택 가능하게, 기타의 실시예에 있어서, CPU(801)는 기타의 임의의 적당한 방식을 통해 (예컨대, 펌웨어의 도움으로) 방법(200) 및/또는 방법(500)을 실행하도록 구축될 수 있다.
본 개시의 방법을 실시하기 위한 프로그램 코드는 하나 또는 다수의 프로그래머블 언어들의 임의의 조합을 이용하여 프로그래밍될 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 주문형 컴퓨터 또는 기타의 프로그래머블 데이터 처리 장치의 프로세서 또는 제어 장치에 제공될 수 있으며, 프로그램 코드가 프로세서 또는 제어 장치에 의해 실행될 경우, 흐름도 및/또는 블록도에 규정된 기능/조작들이 실시되도록 한다. 프로그램 코드는 완전히 기계 상에서 실행되거나, 부분적으로 기계 상에서 실행되거나, 독립적인 소프트웨어 패키지로서 부분적으로 기계 상에서 실행되고 부분적으로 원격 기계 상에서 실행되거나, 또는 완전히 원격 기계 또는 서비스 상에서 실행될 수 있다.
본 개시의 맥락에 있어서, 기계 판독 가능한 매체는 유형의 매체일 수 있으며, 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나, 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용되는 프로그램을 포함하거나 저장할 수 있다. 기계 판독 가능한 매체는 기계 판독 가능한 신호 매체 또는 기계 판독 가능한 저장 매체일 수 있다. 기계 판독 가능한 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다. 기계 판독 가능한 저장 매체의 보다 구체적인 예시는 하나 또는 다수의 와이어 기반의 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 특정된 순서를 이용하여 각 조작을 설명하였으나, 이는 이러한 조작들이 도시된 특정된 순서 또는 순차 순서로 실행되는 것을 요구하거나, 원하는 결과를 실현하기 위해 도시된 모든 조작들이 실행되어야 하는 것을 요구하는 것으로 이해하여서는 아니 된다. 일정한 환경에 있어서, 멀티태스킹과 병렬 처리는 유리할 수 있다. 마찬가지로, 앞선 토론에는 여러 가지 구체적인 구현들의 세부사항들이 포함되나, 이들은 본 개시의 범위에 대한 한정으로 해석하여서는 아니 된다. 별도의 실시예의 맥락에 설명된 일부의 특징들은 조합의 방식으로 단일의 구현에 구현될 수 있다. 반대로, 단일의 구현의 맥락에 설명된 각종의 특징들도 별도로 또는 임의의 적당한 서브 조합의 방식으로 다수의 구현들에 구현될 수도 있다.
구조 특징 및/또는 방법 로직 동작에 특정된 언어를 이용하여 본 주제를 설명하였으나, 특허청구범위에 한정된 주제는 반드시 전술한 특정된 특징 또는 동작들에 한정되어야 하는 것이 아님을 이해하여야 한다. 반대로, 전술한 특정된 특징 또는 동작들은 단지 특허청구범위를 구현하는 예시적 형식이다.
110：수집 작업 차량 111：수집 장치
112：정경 데이터 120：저장 장치
130：컴퓨팅 기기
131：포인트 클라우드 데이터 복구 모델
605：이미지 획득 모듈 610：포인트 클라우드 분할 모듈
620：이미지 확정 모듈 630：위치 확정 모듈
640：모델 생성 모듈 705：이미지 획득 모듈
710：포인트 클라우드 분할 모듈 720：이미지 확정 모듈
730：포인트 클라우드 복구 모듈

Claims (18)

  1. 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2차원(2D) 이미지를 획득하는 단계와,
    상기 2D 이미지 중의 물체들의 속성들에 따라 상기 제1 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하는 단계와,
    각 포인트 클라우드 데이터 집합을 상대로 하여:
    상기 적어도 하나의 2D 이미지로부터 상기 제1 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하되, 상기 매칭 이미지는 데이터 수집 위치 및/또는 시간 상에서 상기 제1 포인트 클라우드 데이터 프레임과 매칭되고,
    상기 제1 포인트 클라우드 데이터 프레임 및 상기 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 제2 포인트 클라우드 데이터 프레임에 따라, 상기 매칭 이미지 중의 픽셀 포인트들의 3차원(3D) 위치 데이터를 확정하고,
    상기 매칭 이미지 중 대응되는 픽셀 포인트들의 2D 위치 데이터와 3D 위치 데이터를 트레이닝 모델의 트레이닝 입력 데이터와 트레이닝 출력 데이터로 하여, 심층 학습 네트워크를 통해 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 생성하는 단계를 포함하는 포인트 클라우드 데이터 복구 모델을 생성하기 위한 방법.
  2. 제1항에 있어서,
    상기 분할은,
    상기 적어도 하나의 2D 이미지 중의 픽셀 포인트들이 대응되는 물체들을 확정하기 위해 상기 적어도 하나의 2D 이미지에 대해 시맨틱 세분화를 진행하는 단계와,
    상기 제1 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 상기 적어도 하나의 2D 이미지의 좌표 공간에 매핑시키는 단계와,
    상기 적어도 하나의 포인트 클라우드 데이터 집합을 형성하도록, 상기 픽셀 포인트들이 대응되는 물체들과 상기 매핑을 기반으로 상기 제1 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터에 대해 클러스터링을 진행하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 복구 모델을 생성하기 위한 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 적어도 하나의 2D 이미지는 데이터 수집 위치 및/또는 시간 상에서 상기 제1 포인트 클라우드 데이터 프레임에 관련되는 것을 특징으로 하는 포인트 클라우드 데이터 복구 모델을 생성하기 위한 방법.
  4. 제1항에 있어서,
    상기 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정하는 단계는,
    상기 제2 포인트 클라우드 데이터 프레임로서, 상기 제1 포인트 클라우드 데이터 프레임에 인접한 하나 또는 다수의 포인트 클라우드 데이터 프레임을 획득하는 단계와,
    상기 제1 포인트 클라우드 데이터 프레임과 상기 제2 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 상기 매칭 이미지의 좌표 공간에 매핑시키는 단계와,
    상기 매핑을 기반으로 상기 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 복구 모델을 생성하기 위한 방법.
  5. 복구하고자 하는 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2차원(2D) 이미지를 획득하는 단계와,
    상기 2D 이미지 중의 물체들의 속성들에 따라 상기 복구하고자 하는 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하는 단계와,
    각 포인트 클라우드 데이터 집합을 상대로 하여:
    상기 적어도 하나의 2D 이미지에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하되, 상기 매칭 이미지는 데이터 수집 위치 및/또는 시간상에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임과 매칭되고,
    상기 매칭 이미지 중의 대응되는 픽셀 포인트들의 2D 위치 데이터를 기반으로, 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 통해 상기 포인트 클라우드 데이터 집합 중의 포인트 클라우드 데이터에 대해 각각 복구를 진행하는 단계를 포함하는 포인트 클라우드 데이터를 복구하기 위한 방법.
  6. 제5항에 있어서,
    상기 분할은,
    상기 적어도 하나의 2D 이미지 중의 픽셀 포인트들이 대응되는 물체들을 확정하기 위해 상기 적어도 하나의 2D 이미지에 대해 시맨틱 세분화를 진행하는 단계와,
    상기 복구하고자 하는 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 상기 적어도 하나의 2D 이미지의 좌표 공간에 매핑시키는 단계와,
    상기 적어도 하나의 포인트 클라우드 데이터 집합을 형성하도록, 상기 픽셀 포인트들이 대응되는 물체들과 상기 매핑을 기반으로 상기 복구하고자 하는 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터에 대해 클러스터링을 진행하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 복구하기 위한 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 적어도 하나의 2D 이미지는 데이터 수집 위치 및/또는 시간 상에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임에 관련되는 것을 특징으로 하는 포인트 클라우드 데이터를 복구하기 위한 방법.
  8. 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2차원(2D) 이미지를 획득하도록 구축된 이미지 획득 모듈과,
    상기 2D 이미지 중의 물체들의 속성들에 따라 상기 제1 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하도록 구축된 포인트 클라우드 분할 모듈과,
    각 포인트 클라우드 데이터 집합을 상대로 하여, 상기 적어도 하나의 2D 이미지로부터 상기 제1 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하도록 구축되며, 상기 매칭 이미지는 데이터 수집 위치 및/또는 시간상에서 상기 제1 포인트 클라우드 데이터 프레임과 매칭되는 이미지 확정 모듈과,
    각 포인트 클라우드 데이터 집합을 상대로 하여, 상기 제1 포인트 클라우드 데이터 프레임 및 상기 제1 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 제2 포인트 클라우드 데이터 프레임에 따라, 상기 매칭 이미지 중의 픽셀 포인트들의 3차원(3D) 위치 데이터를 확정하도록 구축된 위치 확정 모듈과,
    각 포인트 클라우드 데이터 집합을 상대로 하여, 상기 매칭 이미지 중 대응되는 픽셀 포인트들의 2D 위치 데이터와 3D 위치 데이터를 트레이닝 모델의 트레이닝 입력 데이터와 트레이닝 출력 데이터로 하여, 심층 학습 네트워크를 통해 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 생성하도록 구축된 모델 생성 모듈을 포함하는 포인트 클라우드 데이터 복구 모델을 생성하기 위한 장치.
  9. 제8항에 있어서,
    상기 포인트 클라우드 분할 모듈은,
    상기 적어도 하나의 2D 이미지 중의 픽셀 포인트들이 대응되는 물체들을 확정하기 위해 상기 적어도 하나의 2D 이미지에 대해 시맨틱 세분화를 진행하도록 구축된 시맨틱 세분화 유닛과,
    상기 제1 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 상기 적어도 하나의 2D 이미지의 좌표 공간에 매핑시키도록 구축된 제1 매핑 유닛과,
    상기 적어도 하나의 포인트 클라우드 데이터 집합을 형성하도록, 상기 픽셀 포인트들이 대응되는 물체들과 상기 매핑을 기반으로 상기 제1 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터에 대해 클러스터링을 진행하도록 구축된 데어터 클러스터링 유닛을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 복구 모델을 생성하기 위한 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 적어도 하나의 2D 이미지는 데이터 수집 위치 및/또는 시간 상에서 상기 제1 포인트 클라우드 데이터 프레임에 관련되는 것을 특징으로 하는 포인트 클라우드 데이터 복구 모델을 생성하기 위한 장치.
  11. 제8항에 있어서,
    상기 위치 확정 모듈은,
    상기 제2 포인트 클라우드 데이터 프레임로서 상기 제1 포인트 클라우드 데이터 프레임에 인접한 하나 또는 다수의 포인트 클라우드 데이터 프레임을 획득하도록 구축된 데이터 획득 유닛과,
    상기 제1 포인트 클라우드 데이터 프레임과 상기 제2 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 상기 매칭 이미지의 좌표 공간에 매핑시키도록 구축된 제2 매핑 유닛과,
    상기 매핑을 기반으로 상기 매칭 이미지 중의 픽셀 포인트들의 3D 위치 데이터를 확정하도록 구축된 위치 확정 유닛을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 복구 모델을 생성하기 위한 장치.
  12. 복구하고자 하는 포인트 클라우드 데이터 프레임에 관련된 적어도 하나의 2차원(2D) 이미지를 획득하도록 구축된 이미지 획득 모듈과,
    상기 2D 이미지 중의 물체들의 속성들에 따라 상기 복구하고자 하는 포인트 클라우드 데이터 프레임을 적어도 하나의 포인트 클라우드 데이터 집합으로 분할하도록 구축된 포인트 클라우드 분할 모듈과,
    각 포인트 클라우드 데이터 집합을 상대로 하여, 상기 적어도 하나의 2D 이미지에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임과의 매칭 이미지를 확정하도록 구축되되, 상기 매칭 이미지는 데이터 수집 위치 및/또는 시간 상에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임에 매칭되는 이미지 확정 모듈과,
    각 포인트 클라우드 데이터 집합을 상대로 하여, 상기 매칭 이미지 중의 대응되는 픽셀 포인트들의 2D 위치 데이터를 기반으로, 상기 포인트 클라우드 데이터 집합이 대응되는 물체들을 위한 포인트 클라우드 데이터 복구 모델을 통해 상기 포인트 클라우드 데이터 집합 중의 포인트 클라우드 데이터에 대해 각각 복구를 진행하도록 구축된 포인트 클라우드 복구 모듈을 포함하는 포인트 클라우드 데이터를 복구하기 위한 장치.
  13. 제12항에 있어서,
    상기 포인트 클라우드 분할 모듈은,
    상기 적어도 하나의 2D 이미지 중의 픽셀 포인트들이 대응되는 물체들을 확정하기 위해 상기 적어도 하나의 2D 이미지에 대해 시맨틱 세분화를 진행하도록 구축된 시맨틱 세분화 유닛과,
    상기 복구하고자 하는 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터를 상기 적어도 하나의 2D 이미지의 좌표 공간에 매핑하도록 구축된 제1 매핑 유닛과,
    상기 적어도 하나의 포인트 클라우드 데이터 집합을 형성하도록, 상기 픽셀 포인트들이 대응되는 물체들과 상기 매핑을 기반으로 상기 복구하고자 하는 포인트 클라우드 데이터 프레임 중의 포인트 클라우드 데이터에 대해 클러스터링을 진행하도록 구축된 데이터 클러스터링 유닛을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터를 복구하기 위한 장치.
  14. 제12항 또는 제13항에 있어서,
    상기 적어도 하나의 2D 이미지는 데이터 수집 위치 및/또는 시간상에서 상기 복구하고자 하는 포인트 클라우드 데이터 프레임에 관련되는 것을 특징으로 하는 포인트 클라우드 데이터를 복구하기 위한 장치.
  15. 하나 또는 다수의 프로세서와,
    하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하며,
    상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 제1항 내지 제4항 중 어느 한 항의 방법을 구현하도록 하는 기기.
  16. 하나 또는 다수의 프로세서와,
    하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하며,
    상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 제5항 내지 제7항 중 어느 한 항의 방법을 구현하도록 하는 기기.
  17. 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 프로그램은 프로세서에 의해 실행될 경우 제1항 내지 제4항 중 어느 한 항의 방법을 구현하는 컴퓨터 판독 가능한 저장 매체.
  18. 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 프로그램은 프로세서에 의해 실행될 경우 제5항 내지 제7항 중 어느 한 항의 방법을 구현하는 컴퓨터 판독 가능한 저장 매체.
KR1020180130585A 2017-12-29 2018-10-30 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치 KR102126724B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711480175.7A CN108198145B (zh) 2017-12-29 2017-12-29 用于点云数据修复的方法和装置
CN201711480175.7 2017-12-29

Publications (2)

Publication Number Publication Date
KR20190082066A true KR20190082066A (ko) 2019-07-09
KR102126724B1 KR102126724B1 (ko) 2020-06-25

Family

ID=62586701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180130585A KR102126724B1 (ko) 2017-12-29 2018-10-30 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US10970864B2 (ko)
EP (1) EP3506161A1 (ko)
JP (1) JP6745328B2 (ko)
KR (1) KR102126724B1 (ko)
CN (1) CN108198145B (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210037633A (ko) * 2020-03-17 2021-04-06 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 장애물 속도를 결정하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
WO2021067935A1 (en) * 2019-10-04 2021-04-08 Waymo Llc Spatio-temporal embeddings
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统
CN113424220A (zh) * 2021-03-30 2021-09-21 商汤国际私人有限公司 生成点云补全网络及点云数据的处理
KR102428740B1 (ko) * 2021-03-30 2022-08-02 센스타임 인터내셔널 피티이. 리미티드. 포인트 클라우드 완성 네트워크 생성 및 포인트 클라우드 데이터 처리

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201704373D0 (en) * 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection
KR102061408B1 (ko) * 2017-03-24 2019-12-31 (주)제이엘케이인스펙션 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
CN109191553B (zh) * 2018-08-29 2023-07-25 百度在线网络技术（北京）有限公司 点云渲染方法、装置、终端及存储介质
WO2020071703A1 (ko) * 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
US10915793B2 (en) * 2018-11-08 2021-02-09 Huawei Technologies Co., Ltd. Method and system for converting point cloud data for use with 2D convolutional neural networks
CN109493407B (zh) * 2018-11-19 2022-03-25 腾讯科技（深圳）有限公司 实现激光点云稠密化的方法、装置及计算机设备
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
CN109859114B (zh) * 2018-12-27 2020-10-16 北京大学 基于局域平滑性和非局域相似性的三维点云修复方法
CN111626288B (zh) * 2019-02-28 2023-12-01 深圳市速腾聚创科技有限公司 数据处理方法、装置、计算机设备和存储介质
GB2582266B (en) 2019-03-05 2022-11-30 Geoslam Ltd Three-dimensional dataset and two-dimensional image localisation
JP7103506B2 (ja) * 2019-03-14 2022-07-20 日本電気株式会社 情報提示方法、情報提示装置及びプログラム
US11159811B2 (en) * 2019-03-15 2021-10-26 Tencent America LLC Partitioning of coded point cloud data
CN111935642B (zh) * 2019-05-13 2022-10-21 北京地平线机器人技术研发有限公司 一种可移动设备的定位方法及装置
CN110148099B (zh) * 2019-05-29 2021-09-10 北京百度网讯科技有限公司 投影关系的修正方法及装置、电子设备、计算机可读介质
GB2584469B (en) 2019-06-05 2023-10-18 Sony Interactive Entertainment Inc Digital model repair system and method
US11195064B2 (en) 2019-07-11 2021-12-07 Waymo Llc Cross-modal sensor data alignment
CN112445929B (zh) * 2019-08-30 2022-05-17 浙江商汤科技开发有限公司 视觉定位方法及相关装置
JP6819758B1 (ja) * 2019-09-30 2021-01-27 ダイキン工業株式会社 点群データ同一性推定装置及び点群データ同一性推定システム
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN110852949B (zh) * 2019-11-07 2020-11-24 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质
WO2021093718A1 (zh) * 2019-11-15 2021-05-20 北京金山云网络技术有限公司 视频处理方法、视频修复方法、装置及设备
CN111079545A (zh) * 2019-11-21 2020-04-28 上海工程技术大学 一种基于图像修复的三维目标检测方法和系统
WO2021114030A1 (zh) * 2019-12-09 2021-06-17 深圳市大疆创新科技有限公司 点云孔洞填充方法、装置和存储介质
CN111191582B (zh) * 2019-12-27 2022-11-01 深圳市越疆科技有限公司 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN111223101B (zh) * 2020-01-17 2023-08-11 湖南视比特机器人有限公司 点云处理方法、点云处理系统和存储介质
CN113538552B (zh) * 2020-02-17 2024-03-22 天目爱视（北京）科技有限公司 一种基于图像排序的3d信息合成图像匹配的方法
CN111401194B (zh) * 2020-03-10 2023-09-22 北京百度网讯科技有限公司 用于自动驾驶车辆的数据处理方法和装置
CN111402332B (zh) * 2020-03-10 2023-08-18 兰剑智能科技股份有限公司 基于slam的agv复合建图与导航定位方法及系统
CN111414953B (zh) * 2020-03-17 2023-04-18 集美大学 点云分类方法和装置
CN111667563B (zh) * 2020-06-19 2023-04-07 抖音视界有限公司 图像处理方法、装置、设备和存储介质
CN111722245B (zh) 2020-06-22 2023-03-10 阿波罗智能技术(北京)有限公司 定位方法、定位装置和电子设备
CN112150595A (zh) * 2020-09-21 2020-12-29 广东博智林机器人有限公司 一种点云数据处理方法、装置、设备及介质
CN112530027A (zh) * 2020-12-11 2021-03-19 北京奇艺世纪科技有限公司 一种三维点云修复方法、装置及电子设备
CN112835007B (zh) * 2021-01-07 2023-04-18 北京百度网讯科技有限公司 点云数据转换方法、装置、电子设备和存储介质
CN112945205B (zh) * 2021-01-27 2022-09-23 西北核技术研究所 一种超快多幅二维图像探测方法及装置
CN112785611B (zh) * 2021-01-29 2021-10-12 昆明理工大学 一种3d点云弱监督语义分割方法及系统
CN113128405B (zh) * 2021-04-20 2022-11-22 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法
KR102313918B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 3d 데이터와 2d 이미지의 동기화 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113281780B (zh) * 2021-05-27 2024-04-30 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
TW202305740A (zh) 2021-06-17 2023-02-01 日商新唐科技日本股份有限公司 物體檢測裝置、物體檢測方法及程式
CN113658195B (zh) * 2021-08-16 2024-03-19 金地（集团）股份有限公司 图像分割方法、装置及电子设备
CN113674421B (zh) * 2021-08-25 2023-10-13 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
CN114333418B (zh) * 2021-12-30 2022-11-01 深兰人工智能(深圳)有限公司 用于自动驾驶的数据处理方法及相关装置
CN117274116B (zh) * 2023-11-22 2024-03-05 广州中望龙腾软件股份有限公司 点云修补方法、装置、存储介质及计算机设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4978615B2 (ja) * 2008-11-27 2012-07-18 三菱電機株式会社 対象特定装置
JP5620200B2 (ja) * 2010-09-06 2014-11-05 株式会社トプコン 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
CN103236043B (zh) * 2013-04-28 2015-10-28 北京农业信息技术研究中心 一种植物器官点云修复方法
JP6426968B2 (ja) * 2014-10-08 2018-11-21 キヤノン株式会社 情報処理装置およびその方法
US20160159011A1 (en) * 2014-12-04 2016-06-09 Caterpillar Inc. Vision System for Selective Tridimensional Repair Using Additive Manufacturing
US9618459B2 (en) * 2015-05-18 2017-04-11 Flightware, Inc. Systems and methods for automated composite layup quality assurance
CN105405162B (zh) * 2015-10-16 2017-12-05 北京师范大学 基于局部结构和方向感知的树点云三维重建方法
US9984499B1 (en) * 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
EP3179407B1 (en) * 2015-12-07 2022-07-13 Dassault Systèmes Recognition of a 3d modeled object from a 2d image
US11060853B2 (en) * 2016-09-14 2021-07-13 Scantech (Hangzhou) Co., Ltd. Three-dimensional sensor system and three-dimensional data acquisition method
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
GB2559157A (en) * 2017-01-27 2018-08-01 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
US10726558B2 (en) * 2017-02-27 2020-07-28 Dolphin AI, Inc. Machine learning-based image recognition of weather damage
KR20200038943A (ko) * 2017-08-22 2020-04-14 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 이미지 인코더, 이미지 디코더, 이미지 인코딩 방법 및 이미지 디코딩 방법
CN110999306B (zh) * 2017-08-22 2022-09-16 松下电器（美国）知识产权公司 图像编码器和图像解码器
US10699135B2 (en) * 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Cheng Zhao ET AL:"A fully end-to-end deep learning approach for real-time simultaneous 3D reconstruction and material recognition", Computer Vision and Pattern Recognition, 2017(2017.03.14.) 1부.* *
Chen-Hsuan Lin ET AL:"Learning Efficient Point Cloud Generation for Dense 3D Object Reconstruction", Computer Vision and Pattern Recognition, 2017(2017.06.21.) 1부.* *
Yu Xiang ET AL:"ObjectNet3D: A Large Scale Database for 3D Object Recognition", ECCV 2016: Computer Vision - ECCV 2016, pp.160-176(2016.09.17.) 1부.* *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021067935A1 (en) * 2019-10-04 2021-04-08 Waymo Llc Spatio-temporal embeddings
US11657291B2 (en) 2019-10-04 2023-05-23 Waymo Llc Spatio-temporal embeddings
KR20210037633A (ko) * 2020-03-17 2021-04-06 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 장애물 속도를 결정하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统
CN112967219B (zh) * 2021-03-17 2023-12-05 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统
CN113424220A (zh) * 2021-03-30 2021-09-21 商汤国际私人有限公司 生成点云补全网络及点云数据的处理
KR102428740B1 (ko) * 2021-03-30 2022-08-02 센스타임 인터내셔널 피티이. 리미티드. 포인트 클라우드 완성 네트워크 생성 및 포인트 클라우드 데이터 처리
CN113424220B (zh) * 2021-03-30 2024-03-01 商汤国际私人有限公司 生成点云补全网络及点云数据的处理

Also Published As

Publication number Publication date
JP6745328B2 (ja) 2020-08-26
CN108198145A (zh) 2018-06-22
CN108198145B (zh) 2020-08-28
US10970864B2 (en) 2021-04-06
KR102126724B1 (ko) 2020-06-25
US20190206071A1 (en) 2019-07-04
EP3506161A1 (en) 2019-07-03
JP2019149149A (ja) 2019-09-05

Similar Documents

Publication Publication Date Title
KR102126724B1 (ko) 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
KR102145109B1 (ko) 지도 생성 및 운동 객체 위치 결정 방법 및 장치
US11030803B2 (en) Method and apparatus for generating raster map
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US20220270323A1 (en) Computer Vision Systems and Methods for Supplying Missing Point Data in Point Clouds Derived from Stereoscopic Image Pairs
JP2023510198A (ja) 車両姿勢を検出するための方法及び装置
WO2022133770A1 (zh) 点云法向量的生成方法、装置、计算机设备和存储介质
CN111709984B (zh) 位姿深度预测方法、视觉里程计方法、装置、设备及介质
CN114663598A (zh) 三维建模方法、装置和存储介质
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
CN113514053B (zh) 生成样本图像对的方法、装置和更新高精地图的方法
Tu et al. Method of Using RealSense Camera to Estimate the Depth Map of Any Monocular Camera
CN113870412A (zh) 一种航空场景图像的处理方法、装置以及电子设备
CN113763468A (zh) 一种定位方法、装置、系统及存储介质
JP2017162024A (ja) ステレオマッチングの処理方法、処理プログラムおよび処理装置
KR100782152B1 (ko) 3차원 수치지도를 제작하기 위하여 항공사진 ｄｂ로부터건물의 3차원 데이터를 획득하는 방법
CN115965673B (zh) 基于双目视觉的集中式多机器人定位方法
CN115829898B (zh) 数据处理方法、装置、电子设备、介质以及自动驾驶车辆
KR20190113669A (ko) 3차원 객체 표면 복원을 위한 데이터 관리 장치 및 그 방법
US11783501B2 (en) Method and apparatus for determining image depth information, electronic device, and media
Bethmann et al. Multi-image semi-global matching in object space
Jung et al. Visual Positioning System based on Voxel Labeling using Object Simultaneous Localization And Mapping
KR20230006628A (ko) 이미지 처리 방법과 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
CN115471609A (zh) 一种三维人脸模型的重建方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right