KR20220012972A - 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램 - Google Patents

3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램 Download PDF

Info

Publication number
KR20220012972A
KR20220012972A KR1020220006980A KR20220006980A KR20220012972A KR 20220012972 A KR20220012972 A KR 20220012972A KR 1020220006980 A KR1020220006980 A KR 1020220006980A KR 20220006980 A KR20220006980 A KR 20220006980A KR 20220012972 A KR20220012972 A KR 20220012972A
Authority
KR
South Korea
Prior art keywords
point
data
point cloud
cloud data
ground surface
Prior art date
Application number
KR1020220006980A
Other languages
English (en)
Inventor
김지웅
박중희
윤호
정하욱
Original Assignee
주식회사 라이드플럭스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라이드플럭스 filed Critical 주식회사 라이드플럭스
Priority to KR1020220006980A priority Critical patent/KR20220012972A/ko
Publication of KR20220012972A publication Critical patent/KR20220012972A/ko
Priority to KR1020230065712A priority patent/KR20230079318A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)

Abstract

3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 지표면 데이터 생성 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 2D 형태의 데이터 상에서 지표면을 가리키는 적어도 하나의 사용자 입력을 얻는 단계, 상기 적어도 하나의 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출하는 단계, 상기 추출된 3D 포인트 클라우드 데이터의 포인트로부터 상기 지표면의 좌표 값을 산출하는 단계 및 상기 산출된 지표면의 좌표 값을 포함하는 지표면 데이터를 생성하는 단계를 포함한다.

Description

3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR GENERATING EARTH SURFACE DATA FROM 3-DIMENSIONAL POINT CLOUD DATA}
본 발명의 다양한 실시예는 자율주행 차량의 사전정보로써 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램에 관한 것이다.
차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 구비되고 있는 추세이며, 특히, 차량의 자율 주행 시스템(Autonomous driving System)에 대한 기술 개발이 활발하게 이루어지고 있다.
여기서, 자율 주행 시스템이란 운전자의 개입 없이 주변 환경을 인식하고, 인식된 주변 환경에 따라 스스로 주어진 목적지까지 자동으로 주행하는 차량을 말한다.
일반적으로 자율 주행 시스템의 경우, 자율 주행 차량에 경로를 제공하는 등 다양한 목적을 수행하기 위하여, 다양한 사전 정보들이 필요하다. 특히, 지표면 데이터는 자율 주행 시스템에 포함된 다양한 모듈에서 활용가능한 사전 정보라는 점에서 필수적인 데이터이기 때문에, 지표면 데이터를 정확하게 추출(예: 3D 포인트 클라우드 데이터로부터 지표면 데이터를 추출)하는 과정이 필요하다.
그러나, 종래에는 지표면 데이터를 포함하는 원시 데이터에서 지표면에 해당하는 영역을 일괄적으로 선택하고, 선택한 영역을 지표면 데이터로써 추출하기 때문에, 지표면 정보 외에 다양한 노이즈 데이터들을 포함하거나, 지표면 정보를 정확하게 선택하지 못한다는 점에서, 정확성이 떨어진다는 문제가 있다.
한국공개특허 제10-2012-0138606호(2012.12.26)
본 발명이 해결하고자 하는 과제는 자율주행 차량의 사전정보로써 활용할 수 있는 지표면 데이터를 생성하기 위한 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 지표면 데이터 생성 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 2D 형태의 데이터 상에서 지표면을 가리키는 적어도 하나의 사용자 입력을 얻는 단계, 상기 적어도 하나의 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출하는 단계, 상기 추출된 3D 포인트 클라우드 데이터의 포인트로부터 상기 지표면의 좌표 값을 산출하는 단계 및 상기 산출된 지표면의 좌표 값을 포함하는 지표면 데이터를 생성하는 단계를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 지표면 데이터 생성 장치는 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 2D 형태의 데이터 상에서 지표면을 가리키는 적어도 하나의 사용자 입력을 얻는 단계, 상기 적어도 하나의 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출하는 단계, 상기 추출된 3D 포인트 클라우드 데이터의 포인트로부터 상기 지표면의 좌표 값을 산출하는 단계 및 상기 산출된 지표면의 좌표 값을 포함하는 지표면 데이터를 생성하는 단계를 포함하는 지표면 데이터 생성 방법을 수행할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 지표면 데이터 생성 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어, 2D 형태의 데이터 상에서 지표면을 가리키는 적어도 하나의 사용자 입력을 얻는 단계, 상기 적어도 하나의 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출하는 단계, 상기 추출된 3D 포인트 클라우드 데이터의 포인트로부터 상기 지표면의 좌표 값을 산출하는 단계 및 상기 산출된 지표면의 좌표 값을 포함하는 지표면 데이터를 생성하는 단계를 포함하는 지표면 데이터 생성 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 다양한 실시예에 따르면, 지표면 데이터를 생성할 수 있는 사용자 인터페이스(User interface, UI)를 통해 간단한 동작(예: 마우스 또는 키보드 조작)만으로 3차원 포인트 클라우드 데이터로부터 지표면 정보를 추출하여 지표면 데이터를 생성할 수 있다는 이점이 있다.
또한, 본 발명의 다양한 실시예에 따르면, 사용자 입력에 대응하는 포인트가 지표면을 가리키는 포인트가 맞는지를 검증하고, 이에 따라 위치를 보정하거나 위치를 보정하도록 안내함으로써, 보다 정확한 지표면 데이터를 생성할 수 있다는 이점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 지표면 데이터 생성 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 지표면 데이터 생성 장치의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 지표면 데이터 생성 방법의 순서도이다.
도 4는 다양한 실시예에서, 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트인지 여부에 따라 UI상에 서로 다른 형태로 표시하는 방법의 순서도이다.
도 5는 다양한 실시예에서, 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트인지 여부에 따라 포인트의 위치를 보정하는 방법의 순서도이다.
도 6은 다양한 실시예에서, 지표면 데이터 생성 장치가 제공하는 UI를 도시한 도면이다.
도 7은 다양한 실시예에서, UI 상에서 3D 포인트 클라우드 데이터의 포인트의 위치가 보정되는 형태를 도시한 도면이다.
도 8 및 9는 다양한 실시예에서, 지표면 데이터 생성 장치가 생성한 지표면 데이터를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 지표면 데이터 생성 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 지표면 데이터 생성 시스템은 지표면 데이터 생성 장치(100), 사용자 단말(200) 및 외부 서버(300)를 포함할 수 있다.
여기서, 도 1에 도시된 지표면 데이터 생성 시스템은 일 실시예에 따른 것이고, 그 구성요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 지표면 데이터 생성 장치(100)는 사용자 단말(200)로 2D 형태의 데이터(예: 3D 포인트 클라우드 데이터를 조감도(Brid-eye-view, BEV) 형태로 X-Y평면상에 출력되도록 변환하여 생성된 2D 형태의 데이터 및 3D 포인트 클라우드 데이터를 2D 격자 지도(Grid map) 상에 양자화하여 생성된 2D 형태의 데이터), 3D 포인트 클라우드 데이터를 출력하는 UI(예: 도 6 및 8의 UI(10))를 제공할 수 있다.
컴퓨팅 장치(100)는 2D 형태의 데이터를 출력할 수 있고, 2D 형태의 데이터 상에 입력된 사용자 입력을 가리키는 인디케이터(indicator)(예: 도 6의 21)를 표시하는 제1 UI(예: 도 6 및 7의 20)를 제공할 수 있다. 또한, 컴퓨팅 장치(100)는 3D 포인트 클라우드 데이터를 출력할 수 있고, 3D 포인트 클라우드 데이터 상에 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 가리키는 인디케이터(예: 도 6의 31)를 표시하는 제2 UI(예: 도 6의 30)를 제공할 수 있다. 그러나, 이에 한정되지 않고 지표면 데이터 생성 장치(100)는 UI를 통해 다양한 데이터를 제공하는 UI(예: 기 생성된 지표면에 대한 정보를 설정하는 제3 UI(예: 도 8 및 9의 40), 기 생성된 지표면 데이터를 제공하는 제4 UI(도 8 및 9의 50)를 제공할 수 있다. 도면에 표시된 UI의 형태는 일반적인 UI의 예시를 도시한 것으로, 그 구체적인 내용이나 기능이 이에 한정되는 것은 아니다.
일 실시예에서, 지표면 데이터 생성 장치(100)는 UI를 통해 사용자로부터 지표면을 가리키는 사용자 입력(예: 키보드 입력, 마우스 입력 및 터치 입력 등)을 얻을 수 있다. 예를 들어, 지표면 데이터 생성 장치(100)는 UI를 통해 2D 형태의 데이터를 사용자 단말(200)의 화면상에 출력할 수 있고, 사용자 단말(200)로부터 지표면을 가리키는 다양한 형태의 사용자 입력을 얻을 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, 지표면 데이터 생성 장치(100)는 UI를 통해 얻은 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출할 수 있고, 3D 포인트 클라우드 데이터의 포인트로부터 지표면의 좌표 값을 산출할 수 있으며, 지표면의 좌표 값을 포함하는 지표면 데이터를 생성할 수 있다.
또한, 지표면 데이터 생성 장치(100)는 생성된 지표면 데이터를 자율 주행 시스템에 포함된 다양한 모듈(예: 자율주행 차량의 경로 생성 모듈) 및 외부 서버(300)에 제공할 수 있다.
일 실시예에서, 사용자 단말(200)은 사용자 단말(200)의 적어도 일부분에 디스플레이를 포함할 수 있으며, 디스플레이를 통해 지표면 데이터 생성 장치(100)로부터 제공되는 UI를 출력할 수 있다. 예를 들어, 사용자 단말(200)은 스마트폰, 태블릿 PC, 노트북 및 데스크탑 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 사용자 단말(200)은 지표면 데이터 생성 장치(100)와 유무선으로 연결되어 지표면 데이터 생성 장치(100)로부터 UI를 제공받을 수 있고, UI를 통해 입력한 지표면을 가리키는 사용자 입력을 지표면 데이터 생성 장치(100)로 제공할 수 있다. 예를 들어, 사용자는 자신의 스마트폰에 포함된 통신 모듈을 이용하여 지표면 데이터 생성 장치(100)와 무선 연결될 수 있다. 사용자 단말(200)은 통신 모듈을 통해 지표면 데이터 생성 장치(100)로부터 제공된 UI를 스마트폰 화면에 출력할 수 있다. 또한, 사용자 단말(200)은 스마트폰에 출력된 UI를 통해 제공되는 2D 형태의 데이터 상에서 지표면에 해당하는 포인트를 터치 입력할 수 있고, 통신 모듈을 통해 지표면을 가리키는 터치 입력에 대한 정보(예: 터치된 형태, 터치된 위치 등)를 송신할 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, 외부 서버(300)는 소정의 지역에 대하여, 복수의 센서로부터 감지된 각종 센서 데이터(예: 레이저 스캔 센서로부터 획득되는 레이저 스캔 데이터) 및 3D 포인트 클라우드 데이터를 저장할 수 있다. 예를 들어, 외부 서버(300)는 복수의 센서를 구비한 정보 제공 차량이 소정의 지역을 이동하면서 감지한 센서 데이터를 수신하여 저장할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 지표면 데이터 생성 장치(100)와 데이터 송수신이 가능하며, 지표면 데이터 생성 장치(100)로 3D 포인트 클라우드 데이터 및 2D 형태의 데이터를 제공할 수 있다. 또한, 외부 서버(300)는 지표면 데이터 생성 장치(100)로부터 생성된 지표면 데이터를 수신하여 저장할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 지표면 데이터 생성 장치의 하드웨어 구성도이다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 지표면 데이터 생성 장치(100)(이하, “컴퓨팅 장치(100)”는 프로세서(110) 및 메모리(120)를 포함할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 네트워크 인터페이스(또는 통신 인터페이스)(미도시), 스토리지(미도시), 버스(bus)(미도시)를 더 포함할 수 있다.
일 실시예에서, 프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어할 수 있다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
다양한 실시예에서, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 다양한 실시예에서, 프로세서(110)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예: 버스(bus) 등)를 포함할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
일 실시예에서, 프로세서(110)는 메모리(120)에 저장된 하나 이상의 인스트럭션(instruction)을 실행함으로써, 도 3 내지 8과 관련하여 설명될 방법(예: 지표면 데이터 생성 방법)을 수행할 수 있다. 예를 들어, 프로세서(110)는 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 2D 형태의 데이터 상에서 지표면을 가리키는 적어도 하나의 사용자 입력을 얻는 동작, 적어도 하나의 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출하는 동작, 추출된 3D 포인트 클라우드 데이터의 포인트로부터 지표면의 좌표 값을 산출하는 동작 및 산출된 지표면의 좌표 값을 포함하는 지표면 데이터를 생성하는 동작을 포함하는 지표면 데이터 생성 방법을 수행할 수 있다.
일 실시예에서, 메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(120)에는 프로세서(110)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(120)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
다양한 실시예에서, 본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3 내지 8을 참조하여, 컴퓨팅 장치(100)가 수행하는 데이터 레이블링 방법에 대하여 설명하도록 한다.
도 3은 본 발명의 또 다른 실시예에 따른 지표면 데이터 생성 방법의 순서도이다.
도 3을 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 사용자 단말(200)로부터 지표면을 가리키는 적어도 하나의 사용자 입력(예: 마우스 클릭 입력, 마우스 드래그 입력, 키보드 입력 및 화면을 직접 터치하는 입력)을 얻을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자 단말(200)로 2D 형태의 데이터 및 3D 포인트 클라우드 데이터를 출력하고, 적어도 하나의 사용자 입력을 가리키는 인디케이터와 3D 포인트 클라우드 데이터의 포인트를 가리키는 인디케이터를 2D 형태의 데이터 및 3D 포인트 클라우드 데이터 상에 각각 표시하는 UI(예: 도 6 및 9의 UI(10))를 제공할 수 있으며, 컴퓨팅 장치(100)가 제공하는 UI 내에서 2D 형태의 데이터를 출력하는 UI(예: 도 6 내지 8의 제1 UI(20))를 통해 적어도 하나의 사용자 입력(예: 마우스 입력, 키보드 입력 및 터치 입력)을 얻을 수 있다. 그러나, 이에 한정되지 않고, 컴퓨팅 장치(100)가 제공하는 UI 내에서 3D 포인트 클라우드 데이터를 출력하는 UI(예: 도 6및 8의 제2 UI(30)) 통해 적어도 하나의 사용자 입력을 직접 얻을 수 있다.
S120 단계에서, 컴퓨팅 장치(100)는 S110 단계에서 얻은 적어도 하나의 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S120 단계를 수행하기에 앞서 2D 형태의 데이터의 좌표 값과 3D 포인트 클라우드 데이터의 좌표 값을 매칭할 수 있다. 컴퓨팅 장치(100)는 적어도 하나의 사용자 입력의 좌표 값과 매칭되는 3D 포인트 클라우드 데이터의 좌표 값을 선택하고, 선택한 3D 포인트 클라우드 데이터의 좌표 값을 사용자 입력에 대응되는 포인트로 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 학습 모델을 이용하여 적어도 하나의 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출할 수 있다.
여기서, 기 학습된 학습 모델은 지표면으로 레이블링(labeling)된 2D 형태의 데이터의 좌표 값과 지표면으로 레이블링된 2D 형태의 데이터의 좌표 값에 대응되는 3D 포인트 클라우드 데이터의 포인트를 학습 데이터로써 지도 학습(Supervised learning)한 인공지능 모델을 의미할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 S110 단계에서 얻은 사용자 입력을 기 학습된 학습 모델의 입력 값으로 설정함으로써 출력된 결과 값을 이용하여 3D 포인트 클라우드 데이터의 포인트를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 3D 포인트 클라우드 데이터 상에서 사용자 입력을 직접 입력받는 경우, 사용자 입력을 얻은 위치 또는 사용자 입력을 얻은 위치에 인접한 위치의 3D 포인트 클라우드 데이터를 후보로 선정하고, 선정된 후보 중 어느 하나의 3D 포인트 클라우드 데이터를 사용자로부터 선택 받을 수 있다. 즉, 각종 노이즈나 모델의 오류발생으로 인해 정확한 3D 포인트 클라우드 데이터를 추출하지 못하는 경우, 사용자로부터 직접 3D 포인트 클라우드 데이터를 입력 받음으로써, 정확한 3D 포인트 클라우드 데이터를 추출할 수 있다. 그러나, 이에 한정되지 않고, 사용자 입력에 대응되는 포인트를 추출하는 어떠한 방식이든 적용이 가능하다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 설정된 조건(예: 기하학적 조건 및 통계적 조건)에 기초하여 적어도 하나의 사용자 입력에 따른 3D 포인트 클라우드 데이터의 포인트를 자동으로 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 2D 형태의 데이터 상에서 사용자 입력이 입력된 위치 주변의 3D 포인트 클라우드 데이터의 포인트들이 하나의 평면상에 존재한다는 점을 이용하여 오류(error)를 최소화하는 평면의 식을 산출할 수 있으며, 오류의 크기 및 아웃라이어(outlier)의 개수 등을 활용하여 지표면에 속하는 3D 포인트 클라우드 데이터의 포인트를 추출할 수 있다. 또한, 컴퓨팅 장치(100)는 통계적인 기준을 이용하여 사용자 입력에 따른 복수의 3D 포인트 클라우드 데이터의 포인트 높이 평균 값(예: z좌표 평균 값)을 산출할 수 있고, 평균 값을 이용하여 3D 포인트 클라우드 데이터의 포인트를 필터링할 수 있다.
또한, 각종 노이즈나 지면 위를 움직이는 물체 등으로 인해 복수의 포인트가 각각 서로 동일한 x, y좌표 값을 가지더라도 다양한 높이 값(z 좌표 값)을 가질 수 있다. 이때, 컴퓨팅 장치(100)는 상기와 같은 방식으로 노이즈를 제거하고, 가장 아래에 속한 포인트가 지표면에 속한다고 판단할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S120 단계에서 추출한 3D 포인트 클라우드 데이터의 포인트와 가우시안 프로세스(Gaussian process, GP) 모델을 이용하여 지표면을 가리키는 포인트를 예측할 수 있다. 예를 들어, S120 단계에서 추출한 3D 포인트 클라우드 데이터의 포인트가 제1 포인트 및 제2 포인트(예: 제1 포인트와 인접한 위치에 배치되는 포인트)를 포함하는 경우, GP 모델을 이용하여 제1 포인트와 제2 포인트를 연결하는 제3 포인트를 예측할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 포인트 간의 거리 값을 산출하고, GP 모델을 이용하여 포인트 간의 거리 값이 기 설정된 거리 값을 초과하는 포인트 사이에 지표면을 가리키는 신규 포인트를 예측할 수 있다. 예를 들어, 제1 포인트와 제2 포인트 간의 거리가 기 설정된 거리 값 이하이고, 제2 포인트와 제3 포인트 간의 거리가 기 설정된 거리 값 초과이며, 제1 포인트와 제3 포인트 간의 거리가 기 설정된 거리 값 이하인 경우, 컴퓨팅 장치(100)는 GP 모델을 이용하여 제2 포인트와 제3 포인트 사이에 위치하며, 제2 포인트와 제3 포인트를 연결하는 제4 포인트를 예측할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S120 단계에서 추출한 3D 포인트 클라우드 데이터의 포인트(예: 제1 포인트 및 제2 포인트)와 GP 모델을 이용하여 예측한 포인트(예: 제3 포인트)를 포함하는 지표면 포인트 목록(Surface point list, SPL)을 생성할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 지표면 포인트 목록과 통계적 조건(예: 지표면 높이의 평균, 분산 표준 편차 값)에 기초하여 신규 포인트를 예측할 수 있다. 예를 들어 컴퓨팅 장치(100)는 지표면 포인트 목록에 포함된 복수의 포인트(예: 제1 포인트 및 제2 포인트)와 제1 포인트 및 제2 포인트와 인접한 영역에 위치하는 포인트를 이용하여 지표면 높이의 통계 값(예: 평균 값, 분산 값 표준 편차 값)을 예측할 수 있고(예: GP 모델의 평균 및 분산 파라미터를 이용하여 통계 값 예측), 예측한 지표면의 높이의 통계 값과 대응되는 포인트를 신규 포인트로써 예측할 수 있다. 이후, 컴퓨팅 장치(100)는 예측한 신규 포인트를 자동으로 지표면 포인트 목록에 추가하거나, 신규 포인트를 지표면 포인트 목록에 추가할 것을 안내하는 UI를 제공할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 지표면 포인트 목록과 기하학적 조건에 기초하여 신규 포인트를 예측할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 지표면 포인트 목록에 포함된 제1 포인트 및 제2 포인트로부터 기하학적 특징(예: 지표면과 이루는 각도)을 추출하고, 제1 포인트 및 제2 포인트와 인접한 복수의 포인트 중 제1 포인트 및 제2 포인트로부터 추출된 기하학적 특징을 가지는 포인트(예: 지표면과 이루는 각도가 특정 임계치 이하인 포인트)를 예측할 수 있다. 이후, 컴퓨팅 장치(100)는 예측한 신규 포인트를 자동으로 지표면 포인트 목록에 추가하거나, 신규 포인트를 지표면 포인트 목록에 추가할 것을 안내하는 UI를 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 지표면 포인트 목록, 통계적 조건 및 기하학적 조건을 모두 고려하여 신규 포인트를 예측할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 지표면 포인트 목록 및 통계적 조건을 이용하여 예측한 복수의 신규 포인트를 기하학적 조건에 의해 필터링할 수 있다. 또한, 컴퓨팅 장치(100)는 지표면 포인트 목록 및 기하학적 조건을 이용하여 예측한 복수의 신규 포인트를 통계적 조건에 의해 필터링할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S120 단계에서, 추출한 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트가 맞는지 여부를 검증할 수 있다. 이하, 도 4 및 5를 참조하여 컴퓨팅 장치(100)가 포인트를 검증하는 방법에 대하여 설명하도록 한다.
도 4는 다양한 실시예에서, 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트인지 여부에 따라 UI상에 서로 다른 형태로 표시하는 방법의 순서도이다.
도 4를 참조하면, S210 단계에서, 컴퓨팅 장치(100)는 사용자 입력에 대응하는 3D 포인트 클라우드 데이터의 포인트를 추출하는 동작(도 3의 S110 및 S120 단계)를 반복적으로 수행함으로써 얻은 복수의 포인트를 분석하여, 지표면에 대한 제1 특징 값을 추출할 수 있다.
여기서, 제1 특징 값은 지표면을 가리키는 포인트들이 공통적으로 가지는 속성 값을 의미할 수 있다. 그러나, 이에 한정되지 않고, 제1 특징 값은 지표면을 가리키는 포인트들의 패턴을 의미할 수 있다.
S220 단계에서, 컴퓨팅 장치(100)는 신규 사용자 입력에 대응되는 신규 3D 포인트 클라우드 데이터의 포인트에 대한 검증을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 대응되는 신규 3D 포인트 클라우드 데이터의 포인트의 속성을 분석하여 대응되는 신규 3D 포인트 클라우드 데이터의 포인트가 제1 특징 값을 가지는지 여부를 판단함으로써, 대응되는 신규 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트인지를 판단할 수 있다. 그러나, 이에 한정되지 않는다.
S230 단계에서, 컴퓨팅 장치(100)는 신규 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트인 것으로 판단되는 경우(예: 신규 3D 포인트 클라우드 데이터의 포인트가 제1 특징 값을 가지는 경우), 신규 3D 포인트 클라우드 데이터의 포인트의 인디케이터를 지표면을 가리키는 인디케이터인 제1 인디케이터로 설정하여 컴퓨팅 장치(100)에서 제공하는 UI 상에 표시할 수 있다.
S240 단계에서, 컴퓨팅 장치(100)는 신규 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트가 아닌 것으로 판단되는 경우(신규 3D 포인트 클라우드 데이터의 포인트가 제1 특징 값과 다른 제2 특징 값을 가지는 경우), 신규 3D 포인트 클라우드 데이터의 포인트의 인디케이터를 위치의 보정이 필요한 포인트를 가리키며 제1 인디케이터와 다른 형태(예: 크기, 모양, 색상 등)를 가지는 인디케이터인 제2 인디케이터로 설정하여 컴퓨팅 장치(100)에서 제공하는 UI 상에 표시할 수 있다.
즉, 컴퓨팅 장치(100)는 지표면을 가리키는지 여부에 따라 신규 3D 포인트 클라우드 데이터의 포인트를 가리키는 인디케이터의 형태를 서로 상이하게 표시함으로써, 사용자가 UI를 통해 위치 보정이 필요한 포인트(또는 잘못 입력된 포인트)를 확인할 수 있도록 한다는 이점이 있다.
도 5는 다양한 실시예에서, 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트인지 여부에 따라 포인트의 위치를 보정하는 방법의 순서도이다.
도 5를 참조하면, S310 단계에서, 컴퓨팅 장치(100)는 사용자 입력에 대응하는 3D 포인트 클라우드 데이터의 포인트를 추출하는 동작(도 3의 S110 및 S120 단계)를 반복적으로 수행함으로써 얻은 복수의 포인트를 분석하여, 지표면에 대한 제1 특징 값을 추출할 수 있다(예: 도 4의 S210 단계).
S320 단계에서, 컴퓨팅 장치(100)는 신규 사용자 입력에 대응되는 신규 3D 포인트 클라우드 데이터의 포인트에 대한 검증을 수행할 수 있다(예: 도 4의 S220 단계).
S330 단계에서, 컴퓨팅 장치(100)는 신규 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트가 아닌 것으로 판단되는 경우(예: 신규 3D 포인트 클라우드 데이터의 포인트가 제1 특징 값과 다른 제2 특징 값을 가지는 경우), 신규 3D 포인트 클라우드 데이터의 포인트가 제1 특징 값을 가지도록 신규 3D 포인트 클라우드 데이터의 포인트의 위치를 보정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 신규 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트가 아닌 것으로 판단되는 경우, 신규 3D 포인트 클라우드 데이터의 포인트가 제1 특징 값을 가지도록 신규 3D 포인트 클라우드 데이터의 포인트의 위치를 자동으로 보정할 수 있다. 예를 들어, 신규 3D 포인트 클라우드 데이터의 포인트의 위치가 포인트가 아닌 것으로 판단되는 경우, 제1 특징 값을 가지도록 복수의 후보 포인트 위치 중 신규 3D 포인트 클라우드 데이터의 포인트와 인접한 후보 포인트의 위치로 신규 3D 포인트 클라우드 데이터의 포인트의 위치를 자동으로 변경할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 신규 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트가 아닌 것으로 판단되는 경우, 신규 3D 포인트 클라우드 데이터의 포인트가 제1 특징 값을 가지도록 하는 추천 위치를 UI상에 표시하여 사용자 단말(200)로 제공할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 신규 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트가 아닌 것으로 판단되는 경우, 신규 3D 포인트 클라우드 데이터의 포인트의 위치를 제1 특징 값을 가지도록 하는 위치로 변경할 것을 안내할 수 있다. 그러나, 이에 한정되지 않는다.
S340 단계에서, 컴퓨팅 장치(100)는 신규 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트인 것으로 판단되는 경우(예: 신규 3D 포인트 클라우드 데이터의 포인트가 제1 특징 값을 가지는 경우 또는 제1 특징 값을 가지도록 신규 3D 포인트 클라우드 데이터의 포인트의 위치를 보정한 경우), 신규 3D 포인트 클라우드 데이터의 포인트를 가리키는 인디케이터(예: 제1 인디케이터)를 컴퓨팅 장치(100)에서 제공하는 UI 상에 표시할 수 있다. 그러나, 이에 한정되지 않는다.
즉, 컴퓨팅 장치(100)는 사용자 입력에 대응하는 클라우드 데이터의 포인트가 지표면을 가리키는 포인트인지 검증하는 절차를 수행하여 지표면을 가리키는 포인트만을 반영하거나 정확하게 지표면을 가리킬 수 있도록 위치를 보정함으로써, 정확한 지표면 데이터를 생성할 수 있다는 이점이 있다.
다시 도 3을 참조하면, S130 단계에서, 컴퓨팅 장치(100)는 S120 단계에서 추출된 3D 포인트 클라우드 데이터의 포인트로부터 지표면의 좌표 값을 산출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 지표면 포인트 목록에 포함된 복수의 3D 포인트 클라우드 데이터의 포인트와 GP 모델을 회귀 분석(regression analysis)하여 상기 지표면의 높이 값을 나타내는 z좌표 값을 산출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 복수의 3D 포인트 클라우드 데이터의 포인트와 GP 모델을 회귀 분석하여 임의의 포인트에 대한 x좌표 값 및 y좌표 값으로부터 지표면의 높이 값을 나타내는 z좌표 값을 예측할 수 있다. 그러나, 이에 한정되지 않는다.
S140 단계에서, 컴퓨팅 장치(100)는 S130 단계에서 산출된 지표면의 좌표 값을 포함하는 지표면 데이터를 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 지표면의 z좌표 값을 포함하는 격자 지도 형태의 지표면 데이터(예: 도 8 및 9)를 생성할 수 있다. 그러나, 이에 한정되지 않는다.
전술한 지표면 데이터 생성 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 지표면 데이터 생성 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다. 이하, 도 6 내지 8을 참조하며, 컴퓨팅 장치(100)가 제공하는 UI에 대하여 설명하도록 한다.
도 6은 다양한 실시예에서, 지표면 데이터 생성 장치가 제공하는 UI를 도시한 도면이다.
도 6을 참조하면, 컴퓨팅 장치(100)는 사용자 단말(200)로 지표면 데이터 생성을 위한 UI(10)를 제공할 수 있다.
UI(10)는 2D 형태의 데이터를 출력하는 제1 UI(20) 및 3D 포인트 클라우드 데이터를 출력하는 제2 UI(30)를 포함할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 2D 형태의 데이터를 출력하는 제1 UI(20) 상의 적어도 일부분에 지표면을 가리키는 사용자 입력을 얻을 수 있으며, 사용자 입력을 얻은 위치에 사용자 입력을 가리키는 인디케이터(21)를 표시할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 UI(20) 상에 입력된 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출할 수 있고, 추출된 3D 포인트 클라우드 데이터의 포인트를 가리키는 인디케이터(31)를 제2 UI(30)에 출력된 3D 포인트 클라우드 데이터 상에 표시할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 UI(20) 상에 사용자 입력에 대응되는 3D 포인트 클라우드 데이터가 추출되는 경우, 포인트가 추출된 시점을 기준으로 이전에 입력된 사용자 입력에 따라 생성된 지표면 포인트 목록과 GP 모델을 기반으로 추출된 3D 포인트 클라우드 데이터 주위의 지표면의 높이와 표준 편차를 추정하여 제2 UI(30)에 출력할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제2 UI를 통해 복수의 포인트 클라우드 데이터를 출력할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 UI(20)에 출력되는 2D 형태의 데이터와 대응되는 제1 포인트 클라우드 데이터와 상기의 방법으로 추출된 3D 포인트 클라우드 데이터 주위의 지표면의 높이와 표준 편차가 출력되는 제2 포인트 클라우드 데이터를 함께 출력할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 3D 포인트 클라우드 데이터의 포인트의 표준 편차(불확실도)에 따라 추출된 3D 포인트 클라우드 데이터의 포인트를 가리키는 인디케이터(31)의 속성을 설정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 3D 포인트 클라우드 데이터의 포인트의 불확실도에 따라 인티케이터(31)의 색상을 서로 상이하게 설정할 수 있다(예: 불확실도가 가장 낮은 포인트부터 가장 높은 포인트까지 순차적으로 인디케이터(31)의 색상을 빨강색, 주황색, 노랑색, 초록색, 파랑색, 남색 및 보라색으로 설정할 수 있다).
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 UI(20)를 통해 사용자 입력을 얻는 경우, 사용자 입력에 대응하는 3D 포인트 클라우드 데이터의 포인트를 실시간으로 추출하여 제2 UI(30)에 표시함으로써, 사용자가 사용자 입력의 위치에 따른 포인트의 위치를 실시간으로 모니터링할 수 있도록 한다는 이점이 있다.
도 7은 다양한 실시예에서, UI 상에서 3D 포인트 클라우드 데이터의 포인트의 위치가 보정되는 형태를 도시한 도면이다.
도 7을 참조하면, 컴퓨팅 장치(100)는 사용자 단말(200)로 지표면 데이터 생성을 위한 UI(10)를 제공하되, 사용자 입력에 따른 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트가 아닌 것으로 판단되는 경우, 3D 포인트 클라우드 데이터의 포인트를 가리키는 인디케이터(21a)의 속성을 변경하여 표시할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트가 아닌 것으로 판단되는 경우, 3D 포인트 클라우드 데이터의 포인트를 가리키는 인디케이터(21a)의 색상을 변경하여 표시할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 3D 포인트 클라우드 데이터의 포인트가 지표면을 가리키는 포인트가 아닌 것으로 판단되는 경우, 포인트를 가키리는 인디케이터(21a)의 위치를 지표면을 가리키는 포인트의 위치(예: 지표면을 가리키는 포인트의 인디케이터(21b)의 위치)로 변경할 수 있다. 이때, 컴퓨팅 장치(100)는 지표면을 가리키는 포인트의 위치로 자동적으로 변경하거나 사용자가 포인트를 가리키는 인디케이터(21a)의 위치를 지표면을 가리키는 포인트의 위치로 변경할 것을 안내할 수 있다. 그러나, 이에 한정되지 않는다.
도 8 및 9는 다양한 실시예에서, 지표면 데이터 생성 장치가 생성한 지표면 데이터를 도시한 도면이다.
도 8 및 9를 참조하면, 컴퓨팅 장치(100)가 제공하는 UI(10)는 지표면 데이터의 목록을 출력하고, 지표면 데이터의 속성을 설정하는 제3 UI(40) 및 지표면 데이터를 출력하는 제4 UI(50)를 더 포함할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 도 8에 도시된 바와 같이, 사용자 단말(200)에 출력된 제3 UI(40)를 통해 소정의 지역에 대한 지표면 데이터 출력 요청을 수신할 수 있으며, 지표면 데이터 출력 요청에 따라 제4 UI(50)에 기 생성된 복수의 지표면 데이터 중 지표면 데이터 출력 요청에 대응하는 지표면 데이터를 출력할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 도 9에 도시된 바와 같이 제3 UI(40)를 통해 소정의 지역에 대한 지표면 데이터 출력 요청과 함께 주변 환경에 대한 3D 포인트 클라우드 데이터 출력 요청을 수신할 수 있으며, 지표면 데이터 출력 요청 및 3D 포인트 클라우드 데이터 출력 요청에 따라 지표면 데이터와 3D 포인트 클라우드 데이터를 결합하여 제4 UI(50)에 출력할 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 지표면 데이터 생성 장치(또는 컴퓨팅 장치)
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크

Claims (4)

  1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
    2D 형태의 데이터 상에서 지표면을 가리키는 적어도 하나의 사용자 입력을 얻는 단계;
    상기 적어도 하나의 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출하는 단계;
    상기 추출된 3D 포인트 클라우드 데이터의 포인트로부터 상기 지표면의 좌표 값을 산출하는 단계; 및
    상기 산출된 지표면의 좌표 값을 포함하는 지표면 데이터를 생성하는 단계를 포함하며,
    상기 3D 포인트 클라우드 데이터의 포인트를 추출하는 단계는,
    기 설정된 조건에 기초하여 상기 3D 포인트 클라우드 데이터의 포인트를 자동으로 추출하는 방식 및 상기 적어도 하나의 사용자 입력의 위치에 기초하여 선택된 복수의 후보 포인트 중 어느 하나 이상의 포인트를 상기 3D 포인트 클라우드 데이터의 포인트로써 선택 받는 방식 중 어느 하나의 방식을 이용하여 상기 적어도 하나의 사용자 입력에 대응되는 3D 포인트 클라우드 데이터의 포인트를 추출하는 단계를 포함하는, 지표면 데이터 생성 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 사용자 입력을 얻는 단계는,
    상기 2D 형태의 데이터 및 상기 3D 포인트 클라우드 데이터를 출력하고, 상기 적어도 하나의 사용자 입력을 가리키는 인디케이터(indicator)와 상기 3D 포인트 클라우드 데이터의 포인트를 가리키는 인디케이터를 상기 2D 형태의 데이터 및 상기 3D 포인트 클라우드 데이터 상에 각각 표시하는 사용자 인터페이스(User interface, UI)를 제공하는 단계를 포함하는, 지표면 데이터 생성 방법.
  3. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 항의 방법을 수행하는, 장치.
  4. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
KR1020220006980A 2019-12-10 2022-01-18 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램 KR20220012972A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220006980A KR20220012972A (ko) 2019-12-10 2022-01-18 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램
KR1020230065712A KR20230079318A (ko) 2019-12-10 2023-05-22 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190163780A KR102363501B1 (ko) 2019-12-10 2019-12-10 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램
KR1020220006980A KR20220012972A (ko) 2019-12-10 2022-01-18 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190163780A Division KR102363501B1 (ko) 2019-12-10 2019-12-10 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230065712A Division KR20230079318A (ko) 2019-12-10 2023-05-22 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램

Publications (1)

Publication Number Publication Date
KR20220012972A true KR20220012972A (ko) 2022-02-04

Family

ID=76623637

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020190163780A KR102363501B1 (ko) 2019-12-10 2019-12-10 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램
KR1020220006980A KR20220012972A (ko) 2019-12-10 2022-01-18 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램
KR1020230065712A KR20230079318A (ko) 2019-12-10 2023-05-22 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190163780A KR102363501B1 (ko) 2019-12-10 2019-12-10 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230065712A KR20230079318A (ko) 2019-12-10 2023-05-22 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램

Country Status (1)

Country Link
KR (3) KR102363501B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116878488A (zh) * 2023-09-07 2023-10-13 湘江实验室 一种建图方法、装置、存储介质及电子装置
KR102621781B1 (ko) * 2023-05-16 2024-01-09 주식회사 라이드플럭스 포인트 클라우드 데이터에서의 지표면 데이터 추출 방법, 장치 및 컴퓨터프로그램
KR102621780B1 (ko) * 2022-12-02 2024-01-09 주식회사 라이드플럭스 복수의 측위 기술 퓨전을 통한 자율주행 차량의 측위 방법, 장치 및 컴퓨터프로그램

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102481367B1 (ko) * 2022-05-27 2023-01-03 주식회사 라이드플럭스 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램
KR102526720B1 (ko) 2022-07-25 2023-04-27 (주)이노시뮬레이션 포인트 클라우드 데이터를 이용한 3차원 가상 환경 모델링 방법 및 이를 실행하는 서버
CN117606470B (zh) * 2024-01-24 2024-04-16 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120138606A (ko) 2011-11-23 2012-12-26 (주)에스지원정보기술 지면데이터의 연속성 검색을 이용하여 도로 레이어를 취득하는 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2438716A1 (en) * 2001-12-12 2003-06-19 Kokusai Kogyo Co., Ltd. Electronic information burying method and extracting method, electronic information burying apparatus and extracting apparatus, and programs therefor
JP6614796B2 (ja) 2015-05-11 2019-12-04 株式会社パスコ 地表面含水情報取得方法、地表面含水情報取得装置及びプログラム
CN107025642B (zh) * 2016-01-27 2018-06-22 百度在线网络技术（北京）有限公司 基于点云数据的车辆轮廓检测方法和装置
JP6789017B2 (ja) * 2016-07-08 2020-11-25 株式会社パスコ 地形可視化装置、地形可視化方法、及びプログラム
KR102647351B1 (ko) * 2017-01-26 2024-03-13 삼성전자주식회사 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
JP6621445B2 (ja) 2017-06-19 2019-12-18 日本電信電話株式会社 特徴抽出装置、物体検出装置、方法、及びプログラム
US10657388B2 (en) 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
JP6962263B2 (ja) * 2018-04-17 2021-11-05 日本電信電話株式会社 ３次元点群ラベル学習装置、３次元点群ラベル推定装置、３次元点群ラベル学習方法、３次元点群ラベル推定方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120138606A (ko) 2011-11-23 2012-12-26 (주)에스지원정보기술 지면데이터의 연속성 검색을 이용하여 도로 레이어를 취득하는 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102621780B1 (ko) * 2022-12-02 2024-01-09 주식회사 라이드플럭스 복수의 측위 기술 퓨전을 통한 자율주행 차량의 측위 방법, 장치 및 컴퓨터프로그램
KR102621781B1 (ko) * 2023-05-16 2024-01-09 주식회사 라이드플럭스 포인트 클라우드 데이터에서의 지표면 데이터 추출 방법, 장치 및 컴퓨터프로그램
CN116878488A (zh) * 2023-09-07 2023-10-13 湘江实验室 一种建图方法、装置、存储介质及电子装置
CN116878488B (zh) * 2023-09-07 2023-11-28 湘江实验室 一种建图方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
KR20210073205A (ko) 2021-06-18
KR20230079318A (ko) 2023-06-07
KR102363501B1 (ko) 2022-02-16

Similar Documents

Publication Publication Date Title
KR102363501B1 (ko) 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램
US10360473B2 (en) User interface creation from screenshots
KR102325367B1 (ko) 자율 주행 데이터의 데이터 레이블링 방법, 장치 및 컴퓨터프로그램
US20190066333A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
US20230085732A1 (en) Image processing
US11928856B2 (en) Computer vision and speech algorithm design service
US20210348927A1 (en) Information processing apparatus, information processing method, and recording medium
EP3725217A1 (en) Electronic device and method for measuring heart rate
KR102562994B1 (ko) 차량 주행 경로 지도 생성 방법, 장치 및 컴퓨터프로그램
JP2023038178A (ja) ライダー基盤客体探知のための人工知能モデルの入力特徴マップ生成方法、装置およびコンピュータプログラム
KR20220001152A (ko) 자율주행 차량을 위한 로드 네트워크 데이터 생성 방법, 장치 및 컴퓨터프로그램
US11430137B2 (en) Electronic device and control method therefor
US20200209876A1 (en) Positioning method and apparatus with the same
US10885684B2 (en) Estimation results display system, estimation results display method, and estimation results display program
JP2017033556A (ja) 画像処理方法及び電子機器
CN111316283A (zh) 姿势识别方法及装置
US11915370B2 (en) Method and system for 3D modeling based on irregular-shaped sketch
US20220227374A1 (en) Data processing
US10922043B2 (en) Information processing device and information processing method for acquiring information associated with a target
US10467759B2 (en) Intelligent contouring of anatomy with structured user click points
KR102230814B1 (ko) 차량 주행 경로 지도 생성 방법, 장치 및 컴퓨터프로그램
KR102640618B1 (ko) 3d 스캐너 기반 시공 오차 검증 방법, 장치 및 시스템
US9858364B2 (en) Computing device and method for processing point clouds
KR102311718B1 (ko) 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램
CN115019048B (zh) 三维场景分割方法、模型训练方法、装置和电子设备

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment