KR102359250B1 - 포인트 클라우드 추론 장치 및 그 방법 - Google Patents

포인트 클라우드 추론 장치 및 그 방법 Download PDF

Info

Publication number
KR102359250B1
KR102359250B1 KR1020210056031A KR20210056031A KR102359250B1 KR 102359250 B1 KR102359250 B1 KR 102359250B1 KR 1020210056031 A KR1020210056031 A KR 1020210056031A KR 20210056031 A KR20210056031 A KR 20210056031A KR 102359250 B1 KR102359250 B1 KR 102359250B1
Authority
KR
South Korea
Prior art keywords
point
tile
point cloud
coordinate
cloud
Prior art date
Application number
KR1020210056031A
Other languages
English (en)
Inventor
신승수
이현규
고원지
Original Assignee
주식회사 메이사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메이사 filed Critical 주식회사 메이사
Priority to KR1020210056031A priority Critical patent/KR102359250B1/ko
Application granted granted Critical
Publication of KR102359250B1 publication Critical patent/KR102359250B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 포인트 클라우드 추론 장치 및 그 방법을 개시한다. 상기 포인트 클라우드 추론 장치는, 대상 객체의 형상을 기초로, 서로 다른 제1 및 제2 시점 각각에 대한 제1 및 제2 포인트 클라우드를 수집하는 수집 모듈로서,상기 제1 포인트 클라우드는 각각 제1 3차원 좌표를 가지는 적어도 하나의 제1 포인트를 포함하고, 상기 제2 포인트 클라우드는 각각 제2 3차원 좌표를 가지는 적어도 하나의 제2 포인트를 포함하는 수집 모듈, 상기 적어도 하나의 제2 포인트에서, 상기 적어도 하나의 제1 포인트와 각각 대응되는 적어도 하나의 대응 제2 포인트를 선정하는 선정 모듈 및 상기 적어도 하나의 제1 포인트와 상기 대응 제2 포인트를 비교하여 상기 제1 및 제2 시점과 다른 제3 시점에 대응하는 적어도 하나의 제3 포인트를 생성하여 상기 대상 객체의 형상에 대한 상기 적어도 하나의 제3 포인트를 포함하는 제3 포인트 클라우드를 생성하는 포인트 클라우드 생성 모듈을 포함한다.

Description

포인트 클라우드 추론 장치 및 그 방법{Point cloud inference device and method thereof}
본 발명은 포인트 클라우드 추론 장치 및 그 방법에 관한 것이다. 구체적으로, 본 발명은 서로 다른 시점에 생성된 포인트 클라우드를 이용하여 새로운 포인트 클라우드를 추론하는 기술에 관한 것이다.
드론 또는 라이다(LiDAR) 센서를 이용하여 촬영된 2차원 항공 이미지를 바탕으로 3차원 포인트 클라우드 데이터(3D point cloud data)를 생성하고 이를 이용하여 3차원 모델을 구축하는 3차원 재구성(3D Reconstruction) 기술이 일부 상용화되어 있다.
3차원 재구성 기술은 의학, 영화 산업, 로봇 공학, 도시 계획, 가상 환경, 지구 관측, 고고학, 증강 현실, 인간 컴퓨터 상호 작용 등의 다양한 분야에서 활용되고 있다.
이러한 3차원 포인트 클라우드의 생성은 촬영을 위해서 여러 장비가 필요할 수 있다. 따라서, 빈번한 촬영을 수행하는 경우 많은 비용이 소요될 수 있다. 따라서, 포인트 클라우드의 생성을 위한 촬영을 최소화하면서 포인트 클라우드를 다양하게 활용할 수 있는 방안으로 가상의 포인트 클라우드를 생성하는 방안을 고려해볼 수 있다.
공개특허공보 제10-2021-0009198호
본 발명의 과제는, 복수의 시점의 포인트 클라우드를 이용하여 가상의 포인트 클라우드를 생성할 수 있는 포인트 클라우드 추론 장치를 제공하는 것이다.
또한, 본 발명의 다른 과제는, 복수의 시점의 포인트 클라우드를 이용하여 가상의 포인트 클라우드를 생성할 수 있는 포인트 클라우드 추론 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 포인트 클라우드 추론 장치는, 대상 객체의 형상을 기초로, 서로 다른 제1 및 제2 시점 각각에 대한 제1 및 제2 포인트 클라우드를 수집하는 수집 모듈로서,상기 제1 포인트 클라우드는 각각 제1 3차원 좌표를 가지는 적어도 하나의 제1 포인트를 포함하고, 상기 제2 포인트 클라우드는 각각 제2 3차원 좌표를 가지는 적어도 하나의 제2 포인트를 포함하는 수집 모듈, 상기 적어도 하나의 제2 포인트에서, 상기 적어도 하나의 제1 포인트와 각각 대응되는 적어도 하나의 대응 제2 포인트를 선정하는 선정 모듈 및 상기 적어도 하나의 제1 포인트와 상기 대응 제2 포인트를 비교하여 상기 제1 및 제2 시점과 다른 제3 시점에 대응하는 적어도 하나의 제3 포인트를 생성하여 상기 대상 객체의 형상에 대한 상기 적어도 하나의 제3 포인트를 포함하는 제3 포인트 클라우드를 생성하는 포인트 클라우드 생성 모듈을 포함한다.
또한, 상기 적어도 하나의 제1 포인트는 제1 수평 좌표와 제1 수직 좌표를 포함하고, 상기 적어도 하나의 제2 포인트는 제2 수평 좌표와 제2 수직 좌표를 포함하고, 서로 인접한 제1 수평 좌표를 가지는 상기 적어도 하나의 제1 포인트를 하나 이상 포함하는 적어도 하나의 제1 포인트 타일을 설정하고, 서로 인접한 제2 수평 좌표를 가지는 상기 적어도 하나의 제2 포인트를 하나 이상 포함하는 적어도 하나의 제2 포인트 타일을 설정하는 타일 설정 모듈을 더 포함하고, 상기 선정 모듈은 상기 적어도 하나의 제2 포인트 타일에서 상기 적어도 하나의 제1 포인트 타일과 각각 대응되는 적어도 하나의 대응 제2 포인트 타일을 선정하고, 상기 적어도 하나의 제1 포인트 타일을 구성하는 하나 이상의 제1 포인트는 각각 상기 대응 제2 포인트 타일을 구성하는 하나 이상의 제2 포인트 중 어느 하나를 상기 대응 제2 포인트로 한다.
또한, 상기 적어도 하나의 제1 포인트 타일은 포함하는 하나 이상의 제1 포인트의 제1 수직 좌표의 대표값을 가지는 제1 타일 수직 좌표를 포함하고, 상기 적어도 하나의 제2 포인트 타일은 포함하는 하나 이상의 제2 포인트의 제2 수직 좌표의 대표값을 가지는 제2 타일 수직 좌표를 포함할 수 있다.
또한, 상기 적어도 하나의 제1 포인트 타일은 포함하는 하나 이상의 제1 포인트의 제1 수직 좌표의 대표값을 가지는 제1 타일 수직 좌표를 포함하고, 상기 적어도 하나의 제2 포인트 타일은 포함하는 하나 이상의 제2 포인트의 제2 수직 좌표의 대표값을 가지는 제2 타일 수직 좌표를 포함할 수 있다.
또한, 상기 선정 모듈은 상기 적어도 하나의 제2 포인트에서, 상기 적어도 하나의 제1 포인트와 가장 가까운 제2 포인트를 상기 대응 제2 포인트로 선정할 수 있다.
또한, 상기 선정 모듈은, 상기 적어도 하나의 제2 포인트에서, 상기 적어도 하나의 제1 포인트와 가장 가까운 제2 포인트를 중심으로 인터폴레이션 면을 생성하고, 상기 인터폴레이션 면에 상기 적어도 하나의 제1 포인트로부터 수선의 발을 내려 접하는 점을 상기 대응 제2 포인트로 선정할 수 있다.
또한, 상기 인터폴레이션 면은 최소자승법(Least square), 2.5D 삼각측량법(2.5D Triangulation), 높이 함수법(Height function) 중 적어도 하나의 방법으로 생성될 수 있다.
또한, 상기 적어도 하나의 제1 포인트는 제1 수평 좌표와 제1 수직 좌표를 포함하고, 상기 적어도 하나의 제2 포인트는 제2 수평 좌표와 제2 수직 좌표를 포함하고, 상기 적어도 하나의 제3 포인트는 제3 수평 좌표와 제3 수직 좌표를 포함하고, 상기 제3 수직 좌표는 상기 제1 내지 제3 시점을 기초로 상기 제1 및 제2 수직 좌표의 가중 평균(Weighted Mean) 값을 가질 수 있다.
또한, 상기 수집 모듈은 제4 시점에 대한 제4 포인트 클라우드를 더 수집하고, 상기 제4 포인트 클라우드는 각각 제4 3차원 좌표를 가지는 적어도 하나의 제4 포인트를 포함하고, 상기 선정 모듈은 적어도 하나의 제4 포인트에서, 상기 적어도 하나의 제1 포인트와 각각 대응되는 적어도 하나의 대응 제4 포인트를 선정하고, 상기 포인트 클라우드 생성 모듈은, 상기 적어도 하나의 제1 포인트와 상기 대응 제2 포인트 및 상기 대응 제4 포인트를 비교하여 상기 제1, 제2 및 제4 시점과 다른 상기 제3 시점에 대응하는 상기 적어도 하나의 제3 포인트를 생성하여 상기 적어도 하나의 제3 포인트를 포함하는 상기 제3 포인트 클라우드를 생성할 수 있다.
또한, 상기 적어도 하나의 제1 포인트는 제1 수평 좌표와 제1 수직 좌표를 포함하고, 상기 적어도 하나의 제2 포인트는 제2 수평 좌표와 제2 수직 좌표를 포함하고, 상기 적어도 하나의 제3 포인트는 제3 수평 좌표와 제3 수직 좌표를 포함하고, 상기 적어도 하나의 제4 포인트는 제4 수평 좌표와 제4 수직 좌표를 포함하고, 상기 제3 수직 좌표는 상기 제1 내지 제4 시점을 기초로 상기 제1, 제2 및 제4 수직 좌표의 거리 반비례 가중(inverse distance weighting) 평균 값을 가질 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 지상기준점 포지셔닝 장치는 메모리 및 상기 메모리와 연결되는 프로세서를 포함하는 포인트 클라우드 추론 장치의 포인트 클라우드 추론 방법에 있어서, 상기 메모리에 대상 객체의 형상을 기초로, 서로 다른 제1 및 제2 시점 각각에 대한 제1 및 제2 포인트 클라우드를 수집하여 저장하고, 상기 제1 포인트 클라우드는 각각 제1 3차원 좌표를 가지는 적어도 하나의 제1 포인트를 포함하고, 상기 제2 포인트 클라우드는 각각 제2 3차원 좌표를 가지는 적어도 하나의 제2 포인트를 포함하는 단계, 상기 프로세서에 의해서 상기 적어도 하나의 제2 포인트에서, 상기 적어도 하나의 제1 포인트와 각각 대응되는 적어도 하나의 대응 제2 포인트를 선정하는 단계 및 상기 적어도 하나의 제1 포인트와 상기 대응 제2 포인트를 비교하여 상기 제1 및 제2 시점과 다른 제3 시점에 대응하는 적어도 하나의 제3 포인트를 생성하여 상기 적어도 하나의 제3 포인트를 포함하는 제3 포인트 클라우드를 생성하는 단계를 포함한다.
본 발명의 포인트 클라우드 추론 장치는, 실제로 장비를 사용하여 새로운 포인트 클라우드를 생성하는 대신 기존에 생성된 포인트 클라우드를 이용하여 가상의 포인트 클라우드를 생성할 수 있어 포인트 클라우드 생성 비용 및 기간을 대폭 축소시킬 수 있다.
또한, 가상의 포인트 클라우드의 생성은 기존의 포인트 클라우드의 데이터를 기반으로 생성되므로 실제 촬영에 의해서 생성된 포인트 클라우드와의 오차가 크지 않을 수 있다.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치를 설명하기 위한 개념도이다.
도 2는 도 1의 포인트 클라우드 추론 장치의 구조를 세부적으로 설명하기 위한 블록도이다.
도 3a는 제1 포인트 클라우드를 설명하기 위한 예시적인 개념도이다.
도 3b는 제1 포인트 클라우드의 예시적인 실제 이미지이다.
도 4a는 제2 포인트 클라우드를 설명하기 위한 예시적인 개념도이다.
도 4b는 제1 포인트 클라우드의 예시적인 실제 이미지이다.
도 5는 도 1의 포인트 클라우드 추론 장치가 대응 제2 포인트를 선정하는 방식을 설명하기 위한 개념도이다.
도 6은 도 1의 포인트 클라우드 추론 장치가 제3 포인트 클라우드를 생성하기 위한 가중치를 설명하기 위한 도면이다.
도 7은 제3 포인트 클라우드의 예시적인 실제 이미지이다.
도 8은 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치를 설명하기 위한 블록도이다.
도 9는 제1 포인트 타일을 포함하는 제1 포인트 클라우드를 설명하기 위한 예시적인 개념도이다.
도 10은 제2 포인트 타일을 포함하는 제2 포인트 클라우드를 설명하기 위한 예시적인 개념도이다.
도 11은 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치의 대응 제2 포인트를 설명하기 위한 개념도이다.
도 12는 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치가 제3 포인트 클라우드를 생성하기 위한 가중치를 설명하기 위한 도면이다.
도 13은 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 방법을 설명하기 위한 개념도이다.
도 14는 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 방법을 설명하기 위한 개념도이다.
도 15는 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치의 하드웨어 구현을 설명하기 위한 도면이다.
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.
이하, 도 1 내지 도 6을 참조하여, 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치를 설명한다.
도 1은 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치를 설명하기 위한 개념도이다.
도 1을 참조하면, 본 발명의 몇몇 실시예들에 따른 제1 포인트 클라우드 추론 장치(100)는 드론(10)으로부터 제1 포인트 클라우드(PC1), 제2 포인트 클라우드(PC2), 제1 시점(T1) 및 제2 시점(T2)을 수신할 수 있다. 또한, 제1 포인트 클라우드 추론 장치(100)는 사용자(20)로부터 제3 시점(T3)을 수신하고, 그에 따른 제3 포인트 클라우드(PC3)를 전송할 수 있다. 제1 포인트 클라우드 추론 장치(100)는 제1 포인트 클라우드(PC1), 제2 포인트 클라우드(PC2), 제1 시점(T1) 및 제2 시점(T2)을 기초로 제3 포인트 클라우드(PC3)를 추론하여 생성할 수 있다. 즉, 제3 포인트 클라우드(PC3)는 제3 시점(T3)에 존재할 것으로 추론되는 가상의 포인트 클라우드일 수 있다.
도 1에서는 제1 포인트 클라우드(PC1), 제2 포인트 클라우드(PC2), 제1 시점(T1) 및 제2 시점(T2)이 드론(10)으로부터 직접 수신된 것으로 도시하였지만, 본 실시예가 이에 제한되는 것은 아니다. 즉, 드론(10)은 대상 객체의 항공 사진을 촬영하고, 촬영된 항공 사진이 다른 장치에서 포인트 클라우드로 변환되어 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)가 생성될 수 있다.
또한, 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)의 생성은 드론이 아닌 라이다(LiDAR) 센서를 통해서 대상 객체가 스캐닝되어 생성될 수도 있다. 또는 드론(10)에 라이다 센서가 결합되어 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)를 생성할 수 있다.
제1 시점(T1)은 제1 포인트 클라우드(PC1)가 생성되는 항공 사진이 촬영된 시점일 수 있다. 제2 시점(T2)은 제2 포인트 클라우드(PC2)가 생성되는 항공 사진이 촬영된 시점일 수 있다. 제1 시점(T1)은 제2 시점(T2)과 서로 다른 시점일 수 있다.
제3 시점(T3)은 제1 시점(T1) 및 제2 시점(T2)과 다른 시점일 수 있다. 예를 들어, 제3 시점(T3)은 제1 시점(T1) 및 제2 시점(T2) 사이에 위치한 시점일 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
결과적으로, 제1 포인트 클라우드(PC1)는 제1 시점(T1)에서 대상 객체가 촬영된 이미지의 포인트 클라우드이고, 제2 포인트 클라우드(PC2)는 제2 시점(T2)에서 대상 객체가 촬영된 이미지의 포인트 클라우드일 수 있다.
제3 포인트 클라우드(PC3)는 대상 객체의 제3 시점(T3)에 대한 가상의 포인트 클라우드일 수 있다. 제3 포인트 클라우드(PC3)는 실제로 촬영된 이미지를 기반으로 하지 않고, 실제로 측정된 데이터도 아닐 수 있다. 제3 포인트 클라우드(PC3)는 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)를 기초로 가상으로 추론된 포인트 클라우드일 수 있다.
사용자(20)는 원하는 시점인 제3 시점(T3)을 제1 포인트 클라우드 추론 장치(100)로 전달하고, 제3 시점(T3)에 대한 제3 포인트 클라우드(PC3)를 수신할 수 있다. 사용자(20)는 소지하고 있는 전자 장치를 통해서 제3 시점(T3)을 제1 포인트 클라우드 추론 장치(100)로 입력하고, 제3 포인트 클라우드(PC3)를 수신할 수 있다.
제1 포인트 클라우드 추론 장치(100)는 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템 및 RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템 중 적어도 하나로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다.
제1 포인트 클라우드 추론 장치(100)는 사용자(20) 또는 사용자(20)가 소지하고 있는 전자 장치로 네트워크를 통해서 데이터를 전송할 수 있다. 또한, 제1 포인트 클라우드 추론 장치(100)는 드론(10)으로부터 네트워크를 통해서 데이터를 수신할 수 있다. 이때, 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.
무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
네트워크를 통해서 통신하는 드론(10), 제1 포인트 클라우드 추론 장치(100) 및 사용자(20) 또는 사용자(20)가 소지한 전자 장치는 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
사용자(20)가 소지한 전자 장치는 예를 들어, 퍼스널 컴퓨터(Personal Computer), 워크스테이션(workstation), 개인 휴대용 정보 단말기(PDA, personal digital assistant), 포터블 컴퓨터(portable computer), 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 디지털 뮤직 플레이어(digital music player), 메모리 카드(memory card), 또는 정보를 무선환경에서 송신 및/또는 수신할 수 있는 모든 전자 제품에 적용될 수 있다.
도 2는 도 1의 포인트 클라우드 추론 장치의 구조를 세부적으로 설명하기 위한 블록도이고, 도 3a는 제1 포인트 클라우드를 설명하기 위한 예시적인 개념도이다. 도 3b는 제1 포인트 클라우드의 예시적인 실제 이미지이고, 도 4a는 제2 포인트 클라우드를 설명하기 위한 예시적인 개념도이다. 도 4b는 제1 포인트 클라우드의 예시적인 실제 이미지이고, 도 5는 도 1의 포인트 클라우드 추론 장치가 대응 제2 포인트를 선정하는 방식을 설명하기 위한 개념도이다. 도 6은 도 1의 포인트 클라우드 추론 장치가 제3 포인트 클라우드를 생성하기 위한 가중치를 설명하기 위한 도면이고, 도 7은 제3 포인트 클라우드의 예시적인 실제 이미지이다.
도 1 및 도 2를 참조하면, 제1 포인트 클라우드 추론 장치(100)는 수집 모듈(110), 제1 선정 모듈(120) 및 포인트 클라우드 생성 모듈(130)을 포함할 수 있다.
수집 모듈(110)은 외부로부터 네트워크를 통해서 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)를 획득할 수 있다. 도면에서는 수집 모듈(110)이 2개의 포인트 클라우드를 수신하는 것으로 도시되었지만, 본 실시예가 이에 제한되는 것은 아니다. 즉, 수집 모듈(110)은 3개 이상의 포인트 클라우드를 수집할 수도 있다.
도 3a 및 도 3b를 참조하면, 제1 포인트 클라우드(PC1)는 적어도 하나의 제1 포인트(P1)의 집합으로 구성될 수 있다. 제1 포인트(P1)는 각각 제1 수평 좌표 및 제1 수직 좌표를 가질 수 있다. 예를 들어, 제1 수평 좌표는 x좌표와 y좌표를 포함할 수 있다. 제1 수직 좌표는 z좌표를 포함할 수 있다. 제1 수평 좌표와 제1 수직 좌표는 제1 포인트의 현재 3차원 위치를 의미할 수 있다. 즉, 제1 포인트(P1)는 이미지에서 감지된 객체의 3차원 위치에 대한 정보를 가질 수 있다. 제1 포인트(P1)는 객체의 가장 높은 포인트가 감지된 것이므로 제1 수직 좌표는 제1 수평 좌표에 위치한 객체의 최상부의 위치를 의미할 수 있다.
제1 포인트(P1)는 빛에 대한 반사강도에 대한 정보도 포함할 수 있다. 반사강도 정보는 x, y 및 z 좌표에 대해서 각각 존재할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
제1 포인트(P1)는 또한 컬러 정보도 포함할 수 있다. 컬러 정보는 RGB 형식일 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 컬러 정보는 YUV와 같은 다른 형식으로 제공될 수도 있다.
도 4a 및 도 4b를 참조하면, 제2 포인트 클라우드(PC2)는 적어도 하나의 제2 포인트(P2)의 집합으로 구성될 수 있다. 제2 포인트(P2)는 각각 제2 수평 좌표 및 제2 수직 좌표를 가질 수 있다. 예를 들어, 제2 수평 좌표는 x좌표와 y좌표를 포함할 수 있다. 제2 수직 좌표는 z좌표를 포함할 수 있다. 제2 수평 좌표와 제2 수직 좌표는 제2 포인트의 현재 3차원 위치를 의미할 수 있다. 제2 포인트(P2)는 객체의 가장 높은 포인트가 감지된 것이므로 제2 수직 좌표는 제2 수평 좌표에 위치한 객체의 최상부의 위치를 의미할 수 있다.
제2 포인트(P2)는 빛에 대한 반사강도에 대한 정보도 포함할 수 있다. 반사강도 정보는 x, y 및 z 좌표에 대해서 각각 존재할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
제2 포인트(P2)는 또한 컬러 정보도 포함할 수 있다. 컬러 정보는 RGB 형식일 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 컬러 정보는 YUV와 같은 다른 형식으로 제공될 수도 있다.
다시 도 2, 도 3a, 도 3b, 도 4a, 도 4b 및 도 5를 참조하면, 제1 선정 모듈(120)은 수집 모듈(110)로부터 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)를 수신할 수 있다. 제1 선정 모듈(120)은 제1 포인트 클라우드(PC1)의 제1 포인트(P1)와 제2 포인트 클라우드(PC2)의 제2 포인트(P2)를 서로 매칭시킬 수 있다. 이렇게 제1 포인트(P1)와 제2 포인트(P2)가 매칭된 정보는 매칭 정보(MI)로 제1 선정 모듈(120)에 의해서 생성될 수 있다.
도 2 및 도 5를 참조하면, 제1 선정 모듈(120)은 제1 포인트(P1)와 가장 가까운 최인접 제2 포인트(MP2)를 대응 제2 포인트로 선정할 수 있다. 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)는 동일한 객체를 대상으로 생성되지만, 촬영 이미지가 시점에 따라 동일한 위치로 생성되지 않으므로 포인트 간에 수평 좌표가 정확히 일치하지 않을 수 있다. 따라서, 제1 포인트(P1)와 대응하는 제2 포인트(P2)를 대응 제2 포인트로 선정하는 절차가 필요할 수 있다. 제1 선정 모듈(120)은 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)가 중첩된 상황에서 제1 포인트(P1)와 가장 가까운 최인접 제2 포인트(MP2)를 대응 제2 포인트로 선정할 수 있다. 이를 통해서, 제1 포인트(P1) 각각이 자신과 대응되는 제2 포인트(P2)와 매칭될 수 있다. 제1 선정 모듈(120)은 제1 포인트(P1)와 제2 포인트(P2)가 서로 어떻게 매칭되는지에 대한 매칭 정보(MI)를 생성할 수 있다.
도 2, 도 6 및 도 7을 참조하면, 포인트 클라우드 생성 모듈(130)은 제1 선정 모듈(120)로부터 제1 포인트 클라우드(PC1), 제2 포인트 클라우드(PC2) 및 매칭 정보(MI)를 수신할 수 있다. 또는, 포인트 클라우드 생성 모듈(130)은 수집 모듈(110)이나 외부로부터 직접 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)를 수신할 수도 있다.
포인트 클라우드 생성 모듈(130)은 제1 시점(T1), 제2 시점(T2) 및 제3 시점(T3)을 수신할 수 있다. 상술하였듯이, 제1 시점(T1)은 제1 포인트 클라우드(PC1)에 대응되고, 제2 시점(T2)은 제2 포인트 클라우드(PC2)에 대응될 수 있다. 제3 시점(T3)은 제3 포인트 클라우드(PC3)가 추론되어야 하는 시점일 수 있다.
포인트 클라우드 생성 모듈(130)은 대표값을 이용하여 제3 포인트 클라우드(PC3)를 생성할 수 있다. 대표값은 예를 들어, 산술평균값, 기하평균값, 중간값 및 중앙값 중 적어도 하나일 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
포인트 클라우드 생성 모듈(130)은 예를 들어, 가중 평균(Weighted Mean)을 이용하여 제3 포인트 클라우드(PC3)를 생성할 수 있다. 포인트 클라우드 생성 모듈(130)은 제1 시점(T1)과 제3 시점(T3) 사이의 거리인 제1 거리(Ra)와 제3 시점(T3)과 제2 시점(T2) 사이의 거리인 제2 거리(Rb)를 산출할 수 있다.
포인트 클라우드 생성 모듈(130)은 제1 거리(Ra) 및 제2 거리(Rb)의 역수를 가중치로 선정할 수 있다. 즉, 포인트 클라우드 생성 모듈(130)은 제1 포인트(P1)와 제1 포인트(P1)에 대응되는 제2 포인트(P2) 즉, 대응 제2 포인트의 수직 좌표의 가중치를 각각 제1 거리(Ra) 및 제2 거리(Rb)의 역수로 지정하여 가중 평균을 통해서 제3 포인트의 수직 좌표가 도출될 수 있다. 이에 따라서, 제3 시점(T3)과 가까운 거리의 시점에 대응하는 포인트 클라우드의 수직 좌표가 더 큰 가중치를 가질 수 있다.
포인트 클라우드 생성 모듈(130)은 제3 포인트의 수직 좌표뿐만 아니라 수평 좌표도 제1 거리(Ra) 및 제2 거리(Rb)에 따른 가중치를 통한 가중 평균으로 도출할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
또한, 포인트 클라우드 생성 모듈(130)은 제3 포인트의 컬러 정보도 제1 거리(Ra) 및 제2 거리(Rb)에 따른 가중치를 통한 가중 평균으로 도출할 수 있다. 이때, 컬러정보가 RGB 형식인 경우 RGB값이 각각 별도로 산출될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
또한, 포인트 클라우드 생성 모듈(130)은 제3 포인트의 반사 강도도 제1 거리(Ra) 및 제2 거리(Rb)에 따른 가중치를 통한 가중 평균으로 도출할 수 있다. 이때, 반사 강도가 x, y, z 좌표로 나누어진 형식인 경우 x, y, z값이 각각 별도로 산출될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
도 7을 참조하면, 새로 추론된 제3 포인트 클라우드는 도 3b의 제1 포인트 클라우드와, 도 4b의 제2 포인트 클라우드의 값을 기초로 제1 시점과 제2 시점 사이의 제3 시점의 포인트 클라우드를 나타낼 수 있다.
본 실시예는 원하는 시점에 새로 포인트 클라우드를 생성하기 위해서 드론 등의 장비를 이용하여 새로 촬영을 할 필요가 없이 기존의 포인트 클라우드를 이용하여 생성할 수 있다. 이를 통해서, 포인트 클라우드 생성에 소요되는 비용, 노력 및 기간을 대폭 줄일 수 있다. 나아가, 2개의 시점 사이의 변화모습을 추론된 포인트 클라우드를 통해서 시각화할 수 있어 사용자(20)가 직관적으로 공사 현장 등의 변화를 용이하게 판단할 수 있다.
이하, 도 8 내지 도 10을 참조하여 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치를 설명한다. 상술한 실시예와 중복되는 부분은 간략히 하거나 생략한다.
도 8은 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치를 설명하기 위한 블록도이고, 도 9는 제1 포인트 타일을 포함하는 제1 포인트 클라우드를 설명하기 위한 예시적인 개념도이다. 도 10은 제2 포인트 타일을 포함하는 제2 포인트 클라우드를 설명하기 위한 예시적인 개념도이다.
도 8을 참조하면, 제2 포인트 클라우드 추론 장치(101)는 타일 설정 모듈(140) 및 제2 선정 모듈(121)을 더 포함할 수 있다.
타일 설정 모듈(140)은 수집 모듈(110)로부터 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)를 수신할 수 있다. 타일 설정 모듈(140)은 제1 포인트 클라우드(PC1)를 타일화하여 제1 포인트 타일(PT1)을 생성할 수 있다. 또한, 타일 설정 모듈(140)은 제2 포인트 클라우드(PC2)를 타일화하여 제2 포인트 타일(PT2)을 생성할 수 있다.
도 9 및 도 10을 참조하면, 제1 포인트 타일(PT1)은 하나 이상의 제1 포인트(P1)를 포함할 수 있다. 제1 포인트 타일(PT1)은 인접한 하나 이상의 제1 포인트(P1)를 포함할 수 있다. 제1 포인트 타일(PT1)은 제1 포인트 클라우드(PC1)에서 복수일 수 있고, 각각의 크기는 모두 동일할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
제1 포인트 타일(PT1)은 제1 타일 수평 좌표와 제1 타일 수직 좌표를 가질 수 있다. 이때, 제1 타일 수직 좌표는 제1 포인트 타일을 구성하는 제1 포인트(P1)의 수직 좌표들의 대표값일 수 있다. 이때, 대표값은 산술평균값, 기하평균값, 중간값 및 중앙값 중 적어도 하나일 수 있다.
제2 포인트 타일(PT2)은 하나 이상의 제2 포인트(P2)를 포함할 수 있다. 제2 포인트 타일(PT2)은 인접한 하나 이상의 제2 포인트(P2)를 포함할 수 있다. 제2 포인트 타일(PT2)은 제2 포인트 클라우드(PC2)에서 복수일 수 있고, 각각의 크기는 모두 동일할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
제2 포인트 타일(PT2)은 제2 타일 수평 좌표와 제2 타일 수직 좌표를 가질 수 있다. 이때, 제2 타일 수직 좌표는 제2 포인트 타일을 구성하는 제2 포인트(P2)의 수직 좌표들의 대표값일 수 있다.
제1 포인트 타일(PT1)과 제2 포인트 타일(PT2)의 크기는 서로 동일할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
제2 선정 모듈(121)은 타일 설정 모듈(140)로부터 제1 포인트 타일(PT1), 제2 포인트 타일(PT2), 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)를 수신할 수 있다. 제2 선정 모듈(121)은 제1 포인트 타일(PT1)과 제2 포인트 타일(PT2)과의 매칭 정보(MI)를 생성할 수 있다. 제2 선정 모듈(121)은 제1 포인트 타일(PT1) 각각에 대해서, 제2 포인트 타일(PT2) 중 매칭되는 대응 제2 포인트 타일을 선정할 수 있다.
본 실시예는 포인트 클라우드에서 포인트를 타일화하여 서로 인접한 포인트들을 같은 포인트 타일로 스무딩(smoothing)할 수 있다. 이를 통해서, 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)의 수평 좌표가 정확히 일치하지 않는 경우에도 쉽게 매칭 정보(MI)를 생성할 수 있다.
즉, 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)는 매번 다른 시점에서 촬영된 이미지를 이용하므로 구성하는 제1 포인트(P1) 및 제2 포인트(P2)의 수평 좌표 및 수직 좌표가 정확하게 일치하지 않을 수 있다. 이 경우, 제1 포인트(P1) 및 제2 포인트(P2)의 매칭 정보(MI) 즉, 어떤 제1 포인트(P1)와 제2 포인트(P2)가 서로 대응하는 지의 판단 여부가 더 용이하게 어떤 제1 포인트 타일(PT1)과 제2 포인트 타일(PT2)이 서로 대응하는 지로 치환될 수 있다. 이를 통해서, 본 실시예는 정렬에 따른 오차를 최소화하고 빠르게 제3 포인트 클라우드(PC3)를 생성할 수 있다.
이하, 도 2 및 도 11을 참조하여 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치를 설명한다. 상술한 실시예와 중복되는 부분은 간략히 하거나 생략한다.
도 11은 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치의 대응 제2 포인트를 설명하기 위한 개념도이다.
도 2 및 도 11을 참조하면, 제1 선정 모듈(120)은 제1 포인트(P1)와 가장 가까운 최인접 제2 포인트(MP2)를 지정할 수 있다. 제1 선정 모듈(120)은 최인접 제2 포인트(MP2)를 중심으로 제2 인터폴레이션 면(IP2)을 생성할 수 있다. 이때, 제2 인터폴레이션 면(IP2)은 최소자승법(Least square), 2.5D 삼각측량법(2.5D Triangulation), 높이 함수법(Height function) 중 적어도 하나의 방법으로 생성될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
제1 선정 모듈(120)은 제1 포인트(P1)에서 제2 인터폴레이션 면(IP2)으로 수선의 발을 내려 접하는 최인접 수선 제2 포인트(MP2a)를 찾을 수 있다. 제1 선정 모듈(120)은 최인접 수선 제2 포인트(MP2a)를 대응 제2 포인트로 선정할 수 있다.
또는, 제1 선정 모듈(120)은 제1 포인트(P1)를 중심으로 제1 인터폴레이션 면(IP1)을 생성할 수 있다. 위와 반대로 제1 선정 모듈(120)은 최인접 제2 포인트(MP2)가 제1 인터폴레이션 면(IP1)에 수선의 발을 내려 접하는 포인트를 찾고, 그 포인트와 최인접 제2 포인트(MP2)를 서로 매칭시킬 수도 있다.
본 실시예는 단순히 현재 존재하는 포인트 중 가장 가까운 포인트끼리 매칭시키는 것이 아닌 인터폴레이션 면을 통해서 더 가깝게 형성될 수 있는 포인트를 생성할 수 있다. 이를 통해서, 2개의 포인트 클라우드의 비교가 더욱 정확하고 효과적으로 수행될 수 있다.
이하, 도 2 및 도 12를 참조하여 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치를 설명한다. 상술한 실시예와 중복되는 부분은 간략히 하거나 생략한다.
도 12는 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 장치가 제3 포인트 클라우드를 생성하기 위한 가중치를 설명하기 위한 도면이다.
도 2 및 도 12를 참조하면, 포인트 클라우드 생성 모듈(130)은 예를 들어, 거리 반비례 가중(inverse distance weighting) 평균을 이용하여 제3 포인트 클라우드(PC3)를 생성할 수 있다. 예를 들어, 수집 모듈(110)이 제4 시점(T4)에 대한 제4 포인트를 포함하는 제4 포인트 클라우드를 수집하고, 제1 선정 모듈(120)이 제1 포인트(P1)에 대응하는 제4 포인트를 선정한 경우, 제1 시점(T1), 제2 시점(T2), 제3 시점(T3) 및 제4 시점(T4)을 모두 고려하여 가중치를 결정할 수 있다.
포인트 클라우드 생성 모듈(130)은 제1 시점(T1)과 제3 시점(T3) 사이의 거리인 제1 거리(Ra)와 제3 시점(T3)과 제2 시점(T2) 사이의 거리인 제2 거리(Rb)를 산출할 수 있다. 또한, 포인트 클라우드 생성 모듈(130)은 제4 시점(T4)과 제3 시점(T3) 사이의 거리인 제3 거리(Rc)를 산출할 수 있다.
포인트 클라우드 생성 모듈(130)은 제1 거리(Ra), 제2 거리(Rb) 및 제3 거리(Rc)의 역수를 가중치로 선정할 수 있다. 즉, 제1 포인트(P1)와 제1 포인트(P1)에 대응되는 제2 포인트(P2),즉, 대응 제2 포인트, 그리고, 제1 포인트(P1) 및 제2 포인트(P2)에 대응되는 제4 포인트의 수직 좌표의 가중치를 각각 제1 거리(Ra) 및 제2 거리(Rb)의 역수로 지정하여 가중 평균을 통해서 제3 포인트의 수직 좌표가 도출될 수 있다. 이에 따라서, 제3 시점(T3)과 가까운 거리의 시점에 대응하는 포인트 클라우드의 수직 좌표가 더 큰 가중치를 가질 수 있다.
포인트 클라우드 생성 모듈(130)은 제3 포인트의 수직 좌표뿐만 아니라 수평 좌표도 제1 거리(Ra), 제2 거리(Rb) 및 제3 거리(Rc)에 따른 가중치를 통한 가중 평균으로 도출할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
또한, 포인트 클라우드 생성 모듈(130)은 제3 포인트의 컬러 정보도 제1 거리(Ra), 제2 거리(Rb) 및 제3 거리(Rc)에 따른 가중치를 통한 가중 평균으로 도출할 수 있다. 이때, 컬러정보가 RGB 형식인 경우 RGB값이 각각 별도로 산출될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
또한, 포인트 클라우드 생성 모듈(130)은 제3 포인트의 반사 강도도 제1 거리(Ra), 제2 거리(Rb) 및 제3 거리(Rc)에 따른 가중치를 통한 거리 반비례 가중 평균으로 도출할 수 있다. 이때, 반사 강도가 x, y, z 좌표로 나누어진 형식인 경우 x, y, z값이 각각 별도로 산출될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
도 12에서는 3개의 시점에 대한 포인트 클라우드를 기초로 제3 포인트 클라우드(PC3)를 추론하는 것을 설명하였지만, 본 실시예가 이에 제한되는 것은 아니다. 즉, 제3 포인트 클라우드(PC3)를 추론하기 위해서 필요한 포인트 클라우드는 4개 이상의 시점에서 수집된 포인트 클라우드일 수도 있다. 본 실시예는 더 많은 수의 포인트 클라우드를 이용하여 제3 포인트 클라우드(PC3)를 추론하므로 더욱 정확한 추론이 가능할 수 있다.
이하, 도 2 및 도 13을 참조하여 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 방법을 설명한다. 상술한 실시예와 중복되는 부분은 간략히 하거나 생략한다.
도 13은 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 방법을 설명하기 위한 개념도이다.
도 13을 참조하면, 본 발명의 몇몇 실시예에 따른 포인트 클라우드 추론 방법은 제1 및 제2 포인트 클라우드를 수집한다(S100).
구제적으로 도 2를 참조하면, 수집 모듈(110)은 외부로부터 네트워크를 통해서 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)를 획득할 수 있다. 도면에서는 수집 모듈(110)이 2개의 포인트 클라우드를 수신하는 것으로 도시되었지만, 본 실시예가 이에 제한되는 것은 아니다. 즉, 수집 모듈(110)은 3개 이상의 포인트 클라우드를 수집할 수도 있다.
다시, 도 13을 참조하면, 포인트 매칭 정보를 생성한다(S200).
구제적으로 도 2를 참조하면, 제1 선정 모듈(120)은 제1 포인트(P1)와 가장 가까운 최인접 제2 포인트(MP2)를 대응 제2 포인트로 선정할 수 있다. 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)는 동일한 객체를 대상으로 생성되지만, 촬영 이미지가 시점에 따라 동일한 위치로 생성되지 않으므로 포인트 간에 수평 좌표가 정확히 일치하지 않을 수 있다. 따라서, 제1 포인트(P1)와 대응하는 제2 포인트(P2)를 대응 제2 포인트로 선정하는 절차가 필요할 수 있다. 제1 선정 모듈(120)은 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)가 중첩된 상황에서 제1 포인트(P1)와 가장 가까운 최인접 제2 포인트(MP2)를 대응 제2 포인트로 선정할 수 있다. 이를 통해서, 제1 포인트(P1) 각각이 자신과 대응되는 제2 포인트(P2)와 매칭될 수 있다. 제1 선정 모듈(120)은 제1 포인트(P1)와 제2 포인트(P2)가 서로 어떻게 매칭되는지에 대한 매칭 정보(MI)를 생성할 수 있다.
다시, 도 13을 참조하면, 제3 포인트 클라우드를 생성한다(S300).
구제적으로 도 2를 참조하면, 포인트 클라우드 생성 모듈(130)은 제1 선정 모듈(120)로부터 제1 포인트 클라우드(PC1), 제2 포인트 클라우드(PC2) 및 매칭 정보(MI)를 수신할 수 있다. 포인트 클라우드 생성 모듈(130)은 제1 시점(T1), 제2 시점(T2) 및 제3 시점(T3)을 수신할 수 있다. 포인트 클라우드 생성 모듈(130)은 예를 들어, 가중 평균(Weighted Mean)을 이용하여 제3 포인트 클라우드(PC3)를 생성할 수 있다.
포인트 클라우드 생성 모듈(130)은 제3 포인트의 수직 좌표, 수평 좌표, 컬러 정보 및 반사 강도 중 적어도 하나를 제1 거리(Ra) 및 제2 거리(Rb)에 따른 가중치를 통한 가중 평균으로 도출할 수 있다.
본 실시예는 드론으로 항공 사진을 촬영하는 등의 포인트 클라우드 생성 절차를 거치지 않고 기존에 생성된 포인트 클라우드를 기반으로 가상의 포인트 클라우드를 추론하므로 비용 및 시간의 소모를 최소화할 수 있다. 또한, 2개의 시점의 사이의 포인트 클라우드를 추론한 경우에는 변화모습을 시각적으로 확인할 수 있어 사용자가 직관적으로 정보를 확인할 수 있다.
이하, 도 8 및 도 14를 참조하여 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 방법을 설명한다. 상술한 실시예와 중복되는 부분은 간략히 하거나 생략한다.
도 14는 본 발명의 몇몇 실시예들에 따른 포인트 클라우드 추론 방법을 설명하기 위한 개념도이다.
도 14를 참조하면, 본 실시예에 따른 포인트 클라우드 추론 방법은 제1 및 제2 포인트 타일을 설정하는 단계(S150)를 더 포함한다. S100, S200 및 S300 단계는 상술한 실시예의 설명과 동일할 수 있다.
구체적으로 도 8 및 도 14를 참조하면, 타일 설정 모듈(140)은 수집 모듈(110)로부터 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)를 수신할 수 있다. 타일 설정 모듈(140)은 제1 포인트 클라우드(PC1)를 타일화하여 제1 포인트 타일(PT1)을 생성할 수 있다. 또한, 타일 설정 모듈(140)은 제2 포인트 클라우드(PC2)를 타일화하여 제2 포인트 타일(PT2)을 생성할 수 있다.
본 실시예는 포인트 클라우드에서 포인트를 타일화하여 서로 인접한 포인트들을 같은 포인트 타일로 스무딩할 수 있다. 이를 통해서, 제1 포인트 클라우드(PC1) 및 제2 포인트 클라우드(PC2)의 수평 좌표가 정확히 일치하지 않는 경우에도 쉽게 매칭 정보(MI)를 생성할 수 있다.
도 15는 본 발명의 몇몇 실시예들에 따른 제1 및 제2 포인트 클라우드 추론 장치(100, 101)의 하드웨어 구현을 설명하기 위한 도면이다.
도 1, 도 2 및 도 10을 참조하면, 제1 및 제2 포인트 클라우드 추론 장치(100, 101)는 전자 장치(1000)로 구현될 수 있다. 전자 장치(1000)는 컨트롤러(1010), 입출력 장치(1020, I/O), 메모리 장치(1030, memory device), 인터페이스(1040) 및 버스(1050, bus)를 포함할 수 있다. 컨트롤러(1010), 입출력 장치(1020), 메모리 장치(1030) 및/또는 인터페이스(1040)는 버스(1050)를 통하여 서로 결합될 수 있다. 버스(1050)는 데이터들이 이동되는 통로(path)에 해당한다.
컨트롤러(1010)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit), 마이크로프로세서, 디지털 신호 프로세스, 마이크로컨트롤러, 어플리케이션 프로세서(AP, application processor) 및 이들과 유사한 기능을 수행할 수 있는 논리 소자들 중에서 적어도 하나를 포함할 수 있다.
입출력 장치(1020)는 키패드(keypad), 키보드, 터치스크린 및 디스플레이 장치 중 적어도 하나를 포함할 수 있다. 메모리 장치(1030)는 데이터 및/또는 프로그램 등을 저장할 수 있다.
인터페이스(1040)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스(1040)는 유선 또는 무선 형태일 수 있다. 예컨대, 인터페이스(1040)는 안테나 또는 유무선 트랜시버 등을 포함할 수 있다. 도시하지 않았지만, 메모리 장치(1030)는 컨트롤러(1010)의 동작을 향상시키기 위한 동작 메모리로서, 고속의 디램 및/또는 에스램 등을 더 포함할 수도 있다. 메모리 장치(1030)는 내부에 프로그램 또는 어플리케이션을 저장할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 고정된 대상 객체의 형상을 기초로, 서로 다른 제1 및 제2 시점 각각에 대한 제1 및 제2 포인트 클라우드를 수집하는 수집 모듈로서, 상기 제1 포인트 클라우드는 각각 제1 3차원 좌표를 가지는 적어도 하나의 제1 포인트를 포함하고, 상기 제2 포인트 클라우드는 각각 제2 3차원 좌표를 가지는 적어도 하나의 제2 포인트를 포함하는 수집 모듈;
    상기 적어도 하나의 제2 포인트에서, 상기 적어도 하나의 제1 포인트와 각각 대응되는 적어도 하나의 대응 제2 포인트를 선정하는 선정 모듈; 및
    상기 적어도 하나의 제1 포인트와 상기 대응 제2 포인트를 비교하여 상기 제1 및 제2 시점과 다른 제3 시점에 대응하는 적어도 하나의 제3 포인트를 생성하여 상기 대상 객체의 형상에 대한 상기 적어도 하나의 제3 포인트를 포함하는 제3 포인트 클라우드를 생성하는 포인트 클라우드 생성 모듈을 포함하되,
    상기 제1 및 제2 포인트 클라우드는 드론을 통해서 촬영되어 상기 대상 객체의 평면 이미지를 나타내는 항공 사진에 의해서 생성되고,
    상기 적어도 하나의 제1 포인트는 제1 수평 좌표와 제1 수직 좌표를 포함하고,
    상기 적어도 하나의 제2 포인트는 제2 수평 좌표와 제2 수직 좌표를 포함하고,
    서로 인접한 제1 수평 좌표를 가지는 상기 적어도 하나의 제1 포인트를 하나 이상 포함하는 적어도 하나의 제1 포인트 타일을 설정하고, 서로 인접한 제2 수평 좌표를 가지는 상기 적어도 하나의 제2 포인트를 하나 이상 포함하는 적어도 하나의 제2 포인트 타일을 설정하는 타일 설정 모듈을 더 포함하고,
    상기 제1 포인트 타일의 설정은 상기 제1 포인트 타일에 포함되는 상기 제1 포인트의 제1 수직 좌표를 고려하지 않고,
    상기 제2 포인트 타일의 설정은 상기 제2 포인트 타일에 포함되는 상기 제2 포인트의 제2 수직 좌표를 고려하지 않고,
    상기 선정 모듈은 상기 적어도 하나의 제2 포인트 타일에서 상기 적어도 하나의 제1 포인트 타일과 각각 대응되는 적어도 하나의 대응 제2 포인트 타일을 선정하고,
    상기 적어도 하나의 제1 포인트 타일을 구성하는 하나 이상의 제1 포인트는 각각 상기 대응 제2 포인트 타일을 구성하는 하나 이상의 제2 포인트 중 어느 하나를 상기 대응 제2 포인트로 하는 포인트 클라우드 추론 장치.
  2. 삭제
  3. 제1 항에 있어서,
    상기 적어도 하나의 제1 포인트 타일은 포함하는 하나 이상의 제1 포인트의 제1 수직 좌표의 대표값을 가지는 제1 타일 수직 좌표를 포함하고,
    상기 적어도 하나의 제2 포인트 타일은 포함하는 하나 이상의 제2 포인트의 제2 수직 좌표의 대표값을 가지는 제2 타일 수직 좌표를 포함하는 포인트 클라우드 추론 장치.
  4. 제1 항에 있어서,
    상기 선정 모듈은 상기 적어도 하나의 제2 포인트에서, 상기 적어도 하나의 제1 포인트와 가장 가까운 제2 포인트를 상기 대응 제2 포인트로 선정하는 포인트 클라우드 추론 장치.
  5. 제1 항에 있어서,
    상기 선정 모듈은,
    상기 적어도 하나의 제2 포인트에서, 상기 적어도 하나의 제1 포인트와 가장 가까운 제2 포인트를 중심으로 인터폴레이션 면을 생성하고,
    상기 인터폴레이션 면에 상기 적어도 하나의 제1 포인트로부터 수선의 발을 내려 접하는 점을 상기 대응 제2 포인트로 선정하는 포인트 클라우드 추론 장치.
  6. 제5 항에 있어서,
    상기 인터폴레이션 면은 최소자승법(Least square), 2.5D 삼각측량법(2.5D Triangulation), 높이 함수법(Height function) 중 적어도 하나의 방법으로 생성되는 포인트 클라우드 추론 장치.
  7. 제1 항에 있어서,
    상기 적어도 하나의 제1 포인트는 제1 수평 좌표와 제1 수직 좌표를 포함하고,
    상기 적어도 하나의 제2 포인트는 제2 수평 좌표와 제2 수직 좌표를 포함하고,
    상기 적어도 하나의 제3 포인트는 제3 수평 좌표와 제3 수직 좌표를 포함하고,
    상기 제3 수직 좌표는 상기 제1 내지 제3 시점을 기초로 상기 제1 및 제2 수직 좌표의 가중 평균(Weighted Mean) 값을 가지는 포인트 클라우드 추론 장치.
  8. 제1 항에 있어서,
    상기 수집 모듈은 제4 시점에 대한 제4 포인트 클라우드를 더 수집하고,
    상기 제4 포인트 클라우드는 각각 제4 3차원 좌표를 가지는 적어도 하나의 제4 포인트를 포함하고,
    상기 선정 모듈은 적어도 하나의 제4 포인트에서, 상기 적어도 하나의 제1 포인트와 각각 대응되는 적어도 하나의 대응 제4 포인트를 선정하고,
    상기 포인트 클라우드 생성 모듈은, 상기 적어도 하나의 제1 포인트와 상기 대응 제2 포인트 및 상기 대응 제4 포인트를 비교하여 상기 제1, 제2 및 제4 시점과 다른 상기 제3 시점에 대응하는 상기 적어도 하나의 제3 포인트를 생성하여 상기 적어도 하나의 제3 포인트를 포함하는 상기 제3 포인트 클라우드를 생성하는 포인트 클라우드 추론 장치.
  9. 제8 항에 있어서,
    상기 적어도 하나의 제1 포인트는 제1 수평 좌표와 제1 수직 좌표를 포함하고,
    상기 적어도 하나의 제2 포인트는 제2 수평 좌표와 제2 수직 좌표를 포함하고,
    상기 적어도 하나의 제3 포인트는 제3 수평 좌표와 제3 수직 좌표를 포함하고,
    상기 적어도 하나의 제4 포인트는 제4 수평 좌표와 제4 수직 좌표를 포함하고,
    상기 제3 수직 좌표는 상기 제1 내지 제4 시점을 기초로 상기 제1, 제2 및 제4 수직 좌표의 거리 반비례 가중(inverse distance weighting) 평균 값을 가지는 포인트 클라우드 추론 장치.
  10. 메모리 및 상기 메모리와 연결되는 프로세서를 포함하는 포인트 클라우드 추론 장치의 포인트 클라우드 추론 방법에 있어서,
    상기 메모리에 고정된 대상 객체의 형상을 기초로, 서로 다른 제1 및 제2 시점 각각에 대한 제1 및 제2 포인트 클라우드를 수집하여 저장하고, 상기 제1 포인트 클라우드는 각각 제1 3차원 좌표를 가지는 적어도 하나의 제1 포인트를 포함하고, 상기 제2 포인트 클라우드는 각각 제2 3차원 좌표를 가지는 적어도 하나의 제2 포인트를 포함하는 단계;
    상기 프로세서에 의해서 상기 적어도 하나의 제2 포인트에서, 상기 적어도 하나의 제1 포인트와 각각 대응되는 적어도 하나의 대응 제2 포인트를 선정하는 단계; 및
    상기 적어도 하나의 제1 포인트와 상기 대응 제2 포인트를 비교하여 상기 제1 및 제2 시점과 다른 제3 시점에 대응하는 적어도 하나의 제3 포인트를 생성하여 상기 적어도 하나의 제3 포인트를 포함하는 제3 포인트 클라우드를 생성하는 단계를 포함하되,
    상기 제1 및 제2 포인트 클라우드는 드론을 통해서 촬영되어 상기 대상 객체의 평면 이미지를 나타내는 항공 사진에 의해서 생성되고,
    상기 적어도 하나의 제1 포인트는 제1 수평 좌표와 제1 수직 좌표를 포함하고,
    상기 적어도 하나의 제2 포인트는 제2 수평 좌표와 제2 수직 좌표를 포함하고,
    서로 인접한 제1 수평 좌표를 가지는 상기 적어도 하나의 제1 포인트를 하나 이상 포함하는 적어도 하나의 제1 포인트 타일을 설정하고, 서로 인접한 제2 수평 좌표를 가지는 상기 적어도 하나의 제2 포인트를 하나 이상 포함하는 적어도 하나의 제2 포인트 타일을 설정하는 단계를 더 포함하고,
    상기 제1 포인트 타일의 설정은 상기 제1 포인트 타일에 포함되는 상기 제1 포인트의 제1 수직 좌표를 고려하지 않고,
    상기 제2 포인트 타일의 설정은 상기 제2 포인트 타일에 포함되는 상기 제2 포인트의 제2 수직 좌표를 고려하지 않고,
    상기 선정하는 단계는 상기 적어도 하나의 제2 포인트 타일에서 상기 적어도 하나의 제1 포인트 타일과 각각 대응되는 적어도 하나의 대응 제2 포인트 타일을 선정하는 것을 포함하고,
    상기 적어도 하나의 제1 포인트 타일을 구성하는 하나 이상의 제1 포인트는 각각 상기 대응 제2 포인트 타일을 구성하는 하나 이상의 제2 포인트 중 어느 하나를 상기 대응 제2 포인트로 하는 포인트 클라우드 추론 방법.
KR1020210056031A 2021-04-29 2021-04-29 포인트 클라우드 추론 장치 및 그 방법 KR102359250B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210056031A KR102359250B1 (ko) 2021-04-29 2021-04-29 포인트 클라우드 추론 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210056031A KR102359250B1 (ko) 2021-04-29 2021-04-29 포인트 클라우드 추론 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102359250B1 true KR102359250B1 (ko) 2022-02-08

Family

ID=80252634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210056031A KR102359250B1 (ko) 2021-04-29 2021-04-29 포인트 클라우드 추론 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102359250B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190055419A (ko) * 2017-11-15 2019-05-23 한양대학교 산학협력단 3차원 정보 생성을 위한 카메라 자세 벡터 보정 방법
KR20190082062A (ko) * 2017-12-29 2019-07-09 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터 사이의 매칭 관계를 확정하는 방법 및 장치
KR20190082298A (ko) * 2016-11-18 2019-07-09 디보틱스 차륜 차량용 자기-교정 센서 시스템
KR20200141477A (ko) * 2019-01-31 2020-12-18 모셔널 에이디 엘엘씨 다수의 lidar 디바이스로부터의 데이터의 병합
KR20210009198A (ko) 2019-07-16 2021-01-26 연세대학교 산학협력단 이미지로부터 획득한 객체의 특징을 이용한 포인트 클라우드 생성 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082298A (ko) * 2016-11-18 2019-07-09 디보틱스 차륜 차량용 자기-교정 센서 시스템
KR20190055419A (ko) * 2017-11-15 2019-05-23 한양대학교 산학협력단 3차원 정보 생성을 위한 카메라 자세 벡터 보정 방법
KR20190082062A (ko) * 2017-12-29 2019-07-09 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터 사이의 매칭 관계를 확정하는 방법 및 장치
KR20200141477A (ko) * 2019-01-31 2020-12-18 모셔널 에이디 엘엘씨 다수의 lidar 디바이스로부터의 데이터의 병합
KR20210009198A (ko) 2019-07-16 2021-01-26 연세대학교 산학협력단 이미지로부터 획득한 객체의 특징을 이용한 포인트 클라우드 생성 장치 및 방법

Similar Documents

Publication Publication Date Title
US20180218510A1 (en) Method and System for Completing Point Clouds Using Planar Segments
TWI505709B (zh) 擴增實境場景中決定個體化深度資訊的系統和方法
KR102096673B1 (ko) 포인트 클라우드에서의 포인트 백필링
JP5799521B2 (ja) 情報処理装置、オーサリング方法及びプログラム
US20140218354A1 (en) View image providing device and method using omnidirectional image and 3-dimensional data
CN107393017A (zh) 图像处理方法、装置、电子设备及存储介质
US11321929B2 (en) System and method for spatially registering multiple augmented reality devices
US20180182163A1 (en) 3d model generating system, 3d model generating method, and program
US10451403B2 (en) Structure-based camera pose estimation system
US9235927B2 (en) Shading CG representations of materials
JP6863596B6 (ja) データ処理装置及びデータ処理方法
US20170116735A1 (en) Optimized camera pose estimation system
JP2018133059A (ja) 情報処理装置及び三次元モデルの生成方法
JP2020052719A (ja) データ生成方法、装置およびプログラム
JP2021523488A (ja) 関心領域の空間座標を算出する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
US20210055409A1 (en) Topological model generation
KR102359250B1 (ko) 포인트 클라우드 추론 장치 및 그 방법
KR102347232B1 (ko) 실외 3차원 지도 정보를 기반으로 비주얼 로컬리제이션을 제공하기 위한 전자 장치 및 그의 동작 방법
Hirt et al. Preliminary environment mapping for redirected walking
KR102277974B1 (ko) 이미지 기반 실내 측위 서비스 시스템 및 방법
CN115375847B (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
KR102299902B1 (ko) 증강현실을 제공하기 위한 장치 및 이를 위한 방법
WO2023218855A1 (ja) 情報処理装置、情報処理方法及び情報生成方法
KR102669839B1 (ko) 3차원 가상모델 생성을 위한 전처리 방법 및 그를 위한 컴퓨팅 장치
KR102551097B1 (ko) 3차원 가상모델 제공을 위한 홀 필링 방법 및 그를 위한 컴퓨팅 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant