KR102158316B1 - 점군 정보 가공 장치 및 방법 - Google Patents

점군 정보 가공 장치 및 방법 Download PDF

Info

Publication number
KR102158316B1
KR102158316B1 KR1020200045137A KR20200045137A KR102158316B1 KR 102158316 B1 KR102158316 B1 KR 102158316B1 KR 1020200045137 A KR1020200045137 A KR 1020200045137A KR 20200045137 A KR20200045137 A KR 20200045137A KR 102158316 B1 KR102158316 B1 KR 102158316B1
Authority
KR
South Korea
Prior art keywords
information
coordinate system
point group
group information
additional
Prior art date
Application number
KR1020200045137A
Other languages
English (en)
Inventor
이형민
조규성
박재완
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020200045137A priority Critical patent/KR102158316B1/ko
Priority to PCT/KR2020/007969 priority patent/WO2021210725A1/ko
Application granted granted Critical
Publication of KR102158316B1 publication Critical patent/KR102158316B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

점군 정보 가공 장치 및 방법이 개시된다. 개시되는 일 실시예에 따른 점군 정보 가공 장치는 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하는 점군 정보 획득부, 3차원 공간의 적어도 일부를 촬영한 하나 이상의 추가 이미지 및 하나 이상의 추가 이미지가 촬영된 좌표계 상에서 중력 방향을 나타내는 방향 정보를 획득하는 추가 정보 획득부 및 하나 이상의 추가 이미지 및 방향 정보에 기초하여 3차원 점군 정보의 좌표계의 한 축이 중력 방향과 일치되도록 변환하고, 변환된 3차원 점군 정보의 좌표계를 이용하여 3차원 점군 정보를 나타내는 가공부를 포함한다.

Description

점군 정보 가공 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING POINT CLOUD}
개시되는 실시예들은 3차원 공간에 대한 점군(Point Cloud) 정보를 가공하는 기술에 관한 것이다.
넓은 실내 공간이나 실외 공간 등의 영역을 촬영한 2차원 영상으로부터 해당 영역의 3차원 구조를 복원하기 위한 방법의 하나로서 SfM(Structure from Motion) 알고리즘이 이용된다. SfM 알고리즘은 이미지들의 특징점을 추출하는 과정, 이미지들 간의 특징점을 매칭하는 과정, 매칭된 특징점들을 삼각측량으로 계산하여 3차원 점군(Point Cloud)을 복원하는 과정을 가진다. 그리고, 각 과정에서의 세부적인 차이에 따라 다양한 방식의 SfM 알고리즘이 존재한다.
하지만 상술한 SfM 알고리즘의 결과로서 복원되는 3차원 점군 내 각 점의 좌표들은 서로 간의 상대적인 위치에 관한 정보만을 제공할 뿐이어서, 각 점들이 실제 공간 상에서 어느 위치를 가리키는 것인지 명확하게 나타내지 못하는 문제점이 있다.
대한민국 공개특허공보 제10-2019-0122479호 (2019.10.30. 공개)
개시되는 실시예들은 기존에 생성된 3차원 점군 정보가 중력 방향에 따른 실제 공간 상의 위치를 나타낼 수 있도록 3차원 점군 정보를 가공하기 위한 것이다.
일 실시예에 따른 점군 정보 가공 장치는, 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하는 점군 정보 획득부, 상기 3차원 공간의 적어도 일부를 촬영한 하나 이상의 추가 이미지 및 상기 하나 이상의 추가 이미지가 촬영된 좌표계 상에서 중력 방향을 나타내는 방향 정보를 획득하는 추가 정보 획득부 및 상기 하나 이상의 추가 이미지 및 상기 방향 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환하고, 상기 변환된 3차원 점군 정보의 좌표계를 이용하여 상기 3차원 점군 정보를 나타내는 가공부를 포함한다.
상기 추가 정보 획득부는, 상기 중력 방향이 검출된 센싱 정보를 획득할 수 있고, 상기 센싱 정보를 상기 하나 이상의 추가 이미지가 촬영된 좌표계에 반영함으로써 상기 방향 정보를 획득할 수 있다.
상기 가공부는, 상기 하나 이상의 추가 이미지에서 복수의 특징점을 추출할 수 있고, 상기 복수의 특징점 각각과 상기 3차원 점군 정보 내의 각 점들을 매핑할 수 있고, 상기 매핑 결과로부터 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 상기 3차원 점군 정보의 좌표계 사이의 변환 관계 정보를 산출할 수 있고, 상기 변환 관계 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환할 수 있다.
상기 변환 관계 정보는, 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 상기 3차원 점군 정보의 좌표계 사이의 회전 관계를 포함할 수 있다. 회전 관계는 3차원 회전 행렬(Rotation matrix) 혹은 쿼터니언 (Quaternion), 혹은 오일러 각 (Euler angle), 혹은 축 각 (Axis-angle), 혹은 그 이외의 방법으로 표현될 수 있다.
일 실시예에 따른 점군 정보 가공 방법은, 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하는 단계, 상기 3차원 공간의 적어도 일부를 촬영한 하나 이상의 추가 이미지 및 상기 하나 이상의 추가 이미지가 촬영된 좌표계 상에서 중력 방향을 나타내는 방향 정보를 획득하는 단계, 상기 하나 이상의 추가 이미지 및 상기 방향 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환하는 단계 및 상기 변환된 3차원 점군 정보의 좌표계를 이용하여 상기 3차원 점군 정보를 나타내는 단계를 포함한다.
상기 추가 이미지 및 상기 방향 정보를 획득하는 단계는, 상기 중력 방향이 검출된 센싱 정보를 획득할 수 있고, 상기 센싱 정보를 상기 하나 이상의 추가 이미지가 촬영된 좌표계에 반영함으로써 상기 방향 정보를 획득할 수 있다.
상기 변환하는 단계는, 상기 하나 이상의 추가 이미지에서 복수의 특징점을 추출하는 단계, 상기 복수의 특징점 각각과 상기 3차원 점군 정보 내의 각 점들을 매핑하는 단계, 상기 매핑 결과로부터 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 상기 3차원 점군 정보의 좌표계 사이의 변환 관계 정보를 산출하는 단계 및 상기 변환 관계 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환하는 단계를 포함할 수 있다.
상기 변환 관계 정보는, 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 상기 3차원 점군 정보의 좌표계 사이의 회전 관계를 포함할 수 있다. 회전 관계는 3차원 회전 행렬(Rotation matrix) 혹은 쿼터니언 (Quaternion), 혹은 오일러 각 (Euler angle), 혹은 축 각 (Axis-angle), 혹은 그 이외의 방법으로 표현될 수 있다.
일 실시예에 따른 비일시적 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하고, 상기 3차원 공간의 적어도 일부를 촬영한 하나 이상의 추가 이미지 및 상기 하나 이상의 추가 이미지가 촬영된 좌표계 상에서 중력 방향을 나타내는 방향 정보를 획득하고, 상기 하나 이상의 추가 이미지 및 상기 방향 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환하고, 상기 변환된 3차원 점군 정보의 좌표계를 이용하여 상기 3차원 점군 정보를 나타내도록 하는 하나 이상의 명령어들을 포함할 수 있다.
개시되는 실시예들에 따르면, 대상 영역에서 촬영된 이미지와 해당 이미지가 촬영된 좌표계 상의 중력 방향 정보를 이용하여 해당 영역의 3차원 공간에 대한 점군(Point Cloud) 정보를 가공함으로써, 중력 방향을 한 축으로 삼는 좌표계를 통해 3차원 공간에 대한 점군 정보를 표현할 수 있고, 이에 따라 3차원 공간에 대한 점군 정보가 다양한 애플리케이션에 확장성 있게 활용되도록 할 수 있다.
도 1은 일 실시예에 따른 점군 정보 가공 장치를 설명하기 위한 블록도
도 2는 일 실시예에 따른 점군 정보 가공 방법을 설명하기 위한 흐름도
도 3은 일 실시예에 따른 단계 206을 보다 상세하게 설명하기 위한 흐름도
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 점군 정보 가공 장치(100)를 설명하기 위한 블록도이다. 도 1을 참조하면, 일 실시예에 따른 점군 정보 가공 장치(100)는 점군 정보 획득부(102), 추가 정보 획득부(104) 및 가공부(106)를 포함한다.
점군 정보 획득부(102)는 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득한다.
개시되는 실시예들에서, '3차원 공간'은 실외 또는 실내 환경에서의 임의의 범위를 갖는 영역을 의미할 수 있다. 또한, '3차원 점군 정보'는 상술한 3차원 공간을 촬영한 2차원 이미지에 기반하여 해당 3차원 공간을 복원한 정보를 의미한다.
이때 상기 3차원 점군 정보는 상술한 3차원 공간 상의 건물, 사물, 생물 등의 구조에 대응되는 복수의 점(point) 및 각각의 점에 해당하는 설명자(descriptor)를 포함할 수 있다. 구체적으로, 설명자는 3차원 공간 상에서 각각의 점의 주변 특성을 표현하기 위한 벡터(vector)일 수 있다.
일 실시예에서, 점군 정보 획득부(102)는 소정의 점군 정보 생성 알고리즘, 예를 들어 전술한 SfM 알고리즘 등을 이용하여 상기 3차원 공간에 대한 3차원 점군 정보를 획득할 수 있다. 다른 실시예에서, 점군 정보 획득부(102)는 다른 컴퓨팅 장치에서 계산된 3차원 점군 정보를 유선 또는 무선 통신 수단 등을 이용하여 수신함으로써 상기 3차원 점군 정보를 획득할 수도 있다.
점군 정보 획득부(102)에서 획득한 3차원 점군 정보는 실제 중력 방향과 일치하는 방향이 아닌, 임의의 방향에 대한 좌표계를 이용하여 표현된다. 즉, 상기 3차원 점군 정보에 포함된 각 점들의 좌표는 서로 상대적인 의미만을 가질 뿐, 각 점들의 좌표로부터 각 점들이 현실 공간에서 어느 위치를 가리키는지 파악하는 것은 불가능하다.
추가 정보 획득부(104)는 3차원 공간의 적어도 일부를 촬영한 하나 이상의 추가 이미지 및 상기 하나 이상의 추가 이미지가 촬영된 좌표계 상에서 중력 방향을 나타내는 방향 정보를 획득한다.
이때, '추가 이미지가 촬영된 좌표계'는 추가 이미지를 촬영한 영상 촬영 수단이 촬영 시 어느 위치, 어떤 기울기(방향)에서 촬영했는지에 따라 결정될 수 있으며, 원점은 곧 이미지가 촬영된 위치를 의미할 수 있다.
일 실시예에서, 추가 정보 획득부(104)는 상술한 3차원 공간의 적어도 일부를 카메라 등의 영상 촬영 수단으로 촬영하거나, 웹 사이트(web site)에 기 업로드된 이미지를 다운로드하거나, 웹 크롤링(web crawling)을 통해 이미지를 추출하거나, 웹 사이트에서 제공하는 위성 지도 서비스(예를 들어, 구글의 스트리트 뷰)를 통해 이미지를 획득함으로써 추가 이미지를 획득할 수 있다. 즉, 상술한 3차원 공간을 직접 촬영하지 않고도 웹 상에서 획득한 이미지를 이용할 수 있는 것이다.
일 실시예에서, 추가 정보 획득부(104)는 중력 방향이 검출된 센싱 정보를 획득하고, 상기 센싱 정보를 상기 하나 이상의 추가 이미지가 촬영된 좌표계에 반영함으로써 상기 방향 정보를 획득할 수 있다.
이때, '센싱 정보'는 추가 이미지가 획득될 때 별도의 소프트웨어 또는 별도의 센서를 이용하여 중력 방향이 어느 방향인지 검출한 정보로서, 중력 방향에 대한 정보를 포함하는 가상의 좌표계일 수 있다. 예시적으로, 센싱 정보는 아래의 (1) 또는 (2) 방식을 통해 생성될 수 있으나, 반드시 이에 한정되는 것은 아니며 소프트웨어 또는 센서에 따라 센싱 정보가 생성되는 방식은 변경될 수 있다.
(1) 3차원 공간에 대해 바닥을 검출하는 소프트웨어(예를 들어, 애플의 ARKit, 구글의 ARCore 등)를 이용하여 바닥을 검출한다. 이후, 소프트웨어가 검출한 바닥을 기준으로 하는 좌표계를 형성하면, 형성된 좌표계의 일 축은 중력 방향과 일치하게 된다.
(2) 영상 촬영 수단에 내장되어 있는 가속도계(accelerometer), 자이로스코프 센서(gyroscope sensor) 또는 지자기 센서(geomagnetic sensor)를 이용하여 3차원 공간 상에서 중력 방향을 검출한다. 이후, 센서는 검출된 중력 방향과 한 축의 방향이 일치하도록 좌표계를 형성하거나, 검출된 중력 방향의 단위 벡터를 좌표 공간 내에 포함하는 임의의 좌표계를 형성할 수 있다.
상술한 '추가 이미지가 촬영된 좌표계' 및 '센싱 정보'에 관한 설명을 참조할 때, 추가 정보 획득부(104)가 센싱 정보를 추가 이미지가 촬영된 좌표계에 반영하는 원리는 다음과 같다.
상기 (1) 또는 (2) 방식을 통해 생성되는 센싱 정보는 일 축이 중력 방향과 일치하는 좌표계 또는 중력 방향의 단위 벡터를 좌표 공간 내에 포함하는 임의의 좌표계가 된다. 이러한 좌표계를 '센싱된 좌표계'라 지칭하자.
'센싱된 좌표계'가 일 축이 중력 방향과 일치하는 좌표계인 경우, 추가 정보 획득부(104)는 '추가 이미지가 촬영된 좌표계'의 일 축이 '센싱된 좌표계'의 중력 방향과 일치하는 일 축과 같은 방향이 되도록 변환한다.
한편, '센싱된 좌표계'가 중력 방향의 단위 벡터를 좌표 공간 내에 포함하는 임의의 좌표계인 경우, 추가 정보 획득부(104)는 '추가 이미지가 촬영된 좌표계'의 일 축이 상기 단위 벡터가 가리키는 방향이 되도록 변환한다.
가공부(106)는 추가 정보 획득부(104)를 통해 획득된 상기 하나 이상의 추가 이미지 및 상기 방향 정보에 기초하여 3차원 점군 정보의 좌표계의 한 축이 중력 방향과 일치되도록 변환한다.
일 실시예에서, 가공부(106)는 상기 하나 이상의 추가 이미지에서 복수의 특징점을 추출할 수 있다.
구체적으로, 가공부(106)는 추가 이미지의 특징을 나타내는 선분의 끝점, 다각형의 꼭지점(corner) 등을 특징점으로서 추출할 수 있다. 이때, 가공부(106)는 특징점을 추출하기 위해 SIFT(Scale-Invariant Feature Transform), SURF(Speeded-Up Robust Features), FAST(Features from Accelerated Segment Test), ORB(Oriented fast and Rotated Brief) 등의 특징점 추출 알고리즘 중 어느 하나를 이용할 수 있으나, 반드시 이에 한정되는 것은 아니다.
또한, 가공부(106)는 상기 하나 이상의 추가 이미지에서 추출된 복수의 특징점 각각과 3차원 점군 정보 내의 각 점들을 매핑할 수 있다. 일 실시예에서, 가공부(106)는 추출된 복수의 특징점 각각의 설명자(descriptor)와 3차원 점군 정보 내의 각 점들의 설명자를 매칭함으로써, 상기 매핑을 수행할 수 있다.
이어서, 가공부(106)는 상기 매핑 결과로부터 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 3차원 점군 정보의 좌표계 사이의 변환 관계 정보를 산출할 수 있다.
구체적으로, 변환 관계 정보는 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 3차원 점군 정보의 좌표계 사이의 좌표축 방향에 대한 관계 정보를 포함할 수 있으나, 반드시 이에 한정되는 것은 아니며, 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 3차원 점군 정보의 좌표계 각각의 원점의 위치에 대한 관계 정보를 더 포함할 수도 있다.
더욱 상세하게, 변환 관계 정보는 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 3차원 점군 정보의 좌표계 사이의 회전 관계를 포함할 수 있다.
이때, 회전 관계는 3차원 회전 행렬(Rotation matrix) 혹은 쿼터니언 (Quaternion), 혹은 오일러 각 (Euler angle), 혹은 축 각 (Axis-angle), 혹은 그 이외의 방법으로 표현될 수 있으며, 특히 '3차원 회전 행렬'이란 자신의 원소 값에 기초하여 하나의 좌표계를 원점을 중심으로 3차원 공간 내에서 회전시키는 행렬을 의미한다.
예를 들어 상기 회전 관계가 3차원 회전 행렬인 경우, 가공부(106)는 상기 매핑 결과로서 생성된 상기 하나 이상의 추가 이미지 내 특징점과 3차원 점군 정보 내 각 점의 매핑 쌍을 이용하여 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 3차원 점군 정보의 좌표계 사이의 회전 행렬을 산출할 수 있다.
일 실시예에서, 가공부(106)는 상기 매핑 결과로부터 상기 변환 관계 정보를 산출하기 위해 다양한 Perspective-n-Point(PnP) 알고리즘을 이용할 수 있다. 예시적으로, 적용 가능한 PnP 알고리즘에는 P3P 알고리즘, Efficient PnP(EPnP) 알고리즘 등이 있으나, 반드시 이에 한정되지는 않으며, 상기 매핑 결과로부터 상기 변환 관계 정보를 산출할 수 있다면 임의의 알고리즘들이 이용될 수 있다.
이어서, 가공부(106)는 상기 변환 관계 정보에 기초하여 3차원 점군 정보의 좌표계의 한 축이 중력 방향과 일치되도록 변환할 수 있다.
일 실시예에서 가공부(106)는 상기 회전 관계에 기초하여 3차원 점군 정보의 좌표계를 회전시켜 3차원 점군 정보의 좌표계의 일 축을 추가 이미지가 촬영된 좌표계의 중력 방향과 일치시킬 수 있다.
상기 변환을 수행한 후, 가공부(106)는 상기 변환된 3차원 점군 정보의 좌표계를 이용하여 3차원 점군 정보를 나타냄으로써 3차원 점군 정보 내의 각 점의 좌표들이 실제 공간 상에서 어느 위치를 나타내는 것인지 명확히 할 수 있다. 이에 따라 자연스럽게, 3차원 점군 정보가 가상현실, 자율주행 등의 실제 산업 분야에서 용이하게 활용될 수 있게 될 것이다.
도 2는 일 실시예에 따른 점군 정보 가공 방법을 설명하기 위한 흐름도(200)이다. 도 2에 도시된 방법은 예를 들어, 상술한 점군 정보 가공 장치(100)에 의해 수행될 수 있다.
도 2를 참조하면 우선, 단계 202에서, 점군 정보 획득부(102)는 3차원 공간에 대한 3차원 점군 정보를 획득한다.
이후 단계 204에서, 추가 정보 획득부(104)는 3차원 공간의 적어도 일부를 촬영한 하나 이상의 추가 이미지 및 상기 하나 이상의 추가 이미지가 촬영된 좌표계 상에서 중력 방향을 나타내는 방향 정보를 획득한다.
이후 단계 206에서, 가공부(106)는 단계 204를 통해 획득된 추가 이미지 및 센서 정보에 기초하여 3차원 점군 정보의 좌표계의 한 축이 중력 방향과 일치되도록 변환한다.
이후 단계 208에서, 가공부(106)는 변환된 3차원 점군 정보의 좌표계를 이용하여 3차원 점군 정보를 나타낸다.
도시된 흐름도에서는 상기 방법을 복수 개의 단계 202 내지 208로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 3은 일 실시예에 따른 단계 206을 보다 상세하게 설명하기 위한 흐름도(300)이다. 도 3에 도시된 방법은 예를 들어, 상술한 가공부(106)에 의해 수행될 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 3을 참조하면 우선, 단계 302에서, 가공부(106)는 추가 정보 획득부(104)가 획득한 상기 하나 이상의 추가 이미지에서 복수의 특징점을 추출할 수 있다.
이후 단계 304에서, 가공부(106)는 추출된 상기 복수의 특징점 각각과 3차원 점군 정보 내의 각 점들을 매핑할 수 있다.
이후 단계 306에서, 가공부(106)는 상기 매핑 결과로부터 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 3차원 점군 정보의 좌표계 사이의 변환 관계 정보를 산출할 수 있다.
이후 단계 308에서, 가공부(106)는 상기 변환 관계 정보에 기초하여 3차원 점군 정보의 좌표계의 한 축이 중력 방향과 일치되도록 변환할 수 있다.
도시된 흐름도에서는 상기 방법을 복수 개의 단계 302 내지 308로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 점군 정보 가공 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 점군 정보 가공 장치
102: 점군 정보 획득부
104: 추가 정보 획득부
106: 가공부

Claims (9)

  1. 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하는 점군 정보 획득부;
    상기 3차원 공간의 적어도 일부를 촬영한 하나 이상의 추가 이미지 및 상기 하나 이상의 추가 이미지가 촬영된 좌표계 상에서 중력 방향을 나타내는 방향 정보를 획득하는 추가 정보 획득부; 및
    상기 하나 이상의 추가 이미지 및 상기 방향 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환하고, 상기 변환된 3차원 점군 정보의 좌표계를 이용하여 상기 3차원 점군 정보를 나타내는 가공부를 포함하고,
    상기 추가 정보 획득부는, 웹 상에서 상기 하나 이상의 추가 이미지를 획득하고,
    상기 가공부는,
    상기 하나 이상의 추가 이미지에서 복수의 특징점을 추출하고, 상기 복수의 특징점 각각과 상기 3차원 점군 정보 내의 각 점들을 매핑하고, 상기 매핑 결과로부터 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 상기 3차원 점군 정보의 좌표계 사이의 변환 관계 정보를 산출하고, 상기 변환 관계 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환하는, 점군 정보 가공 장치.
  2. 청구항 1에 있어서,
    상기 추가 정보 획득부는,
    상기 중력 방향이 검출된 센싱 정보를 획득하고, 상기 센싱 정보를 상기 하나 이상의 추가 이미지가 촬영된 좌표계에 반영함으로써 상기 방향 정보를 획득하는, 점군 정보 가공 장치.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 변환 관계 정보는,
    상기 하나 이상의 추가 이미지가 촬영된 좌표계와 상기 3차원 점군 정보의 좌표계 사이의 회전 관계를 포함하는, 점군 정보 가공 장치.
  5. 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하는 단계;
    상기 3차원 공간의 적어도 일부를 촬영한 하나 이상의 추가 이미지 및 상기 하나 이상의 추가 이미지가 촬영된 좌표계 상에서 중력 방향을 나타내는 방향 정보를 획득하는 단계;
    상기 하나 이상의 추가 이미지 및 상기 방향 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환하는 단계; 및
    상기 변환된 3차원 점군 정보의 좌표계를 이용하여 상기 3차원 점군 정보를 나타내는 단계를 포함하고,
    상기 추가 이미지 및 상기 방향 정보를 획득하는 단계는, 웹 상에서 상기 하나 이상의 추가 이미지를 획득하고,
    상기 변환하는 단계는,
    상기 하나 이상의 추가 이미지에서 복수의 특징점을 추출하는 단계;
    상기 복수의 특징점 각각과 상기 3차원 점군 정보 내의 각 점들을 매핑하는 단계;
    상기 매핑 결과로부터 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 상기 3차원 점군 정보의 좌표계 사이의 변환 관계 정보를 산출하는 단계; 및
    상기 변환 관계 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환하는 단계를 포함하는, 점군 정보 가공 방법.
  6. 청구항 5에 있어서,
    상기 추가 이미지 및 상기 방향 정보를 획득하는 단계는,
    상기 중력 방향이 검출된 센싱 정보를 획득하고, 상기 센싱 정보를 상기 하나 이상의 추가 이미지가 촬영된 좌표계에 반영함으로써 상기 방향 정보를 획득하는, 점군 정보 가공 방법.
  7. 삭제
  8. 청구항 5에 있어서,
    상기 변환 관계 정보는,
    상기 하나 이상의 추가 이미지가 촬영된 좌표계와 상기 3차원 점군 정보의 좌표계 사이의 회전 관계를 포함하는, 점군 정보 가공 방법.
  9. 비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
    3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하고,
    상기 3차원 공간의 적어도 일부를 촬영한 하나 이상의 추가 이미지 및 상기 하나 이상의 추가 이미지가 촬영된 좌표계 상에서 중력 방향을 나타내는 방향 정보를 획득하고,
    상기 하나 이상의 추가 이미지 및 상기 방향 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환하되, 상기 하나 이상의 추가 이미지에서 복수의 특징점을 추출하고, 상기 복수의 특징점 각각과 상기 3차원 점군 정보 내의 각 점들을 매핑하고, 상기 매핑 결과로부터 상기 하나 이상의 추가 이미지가 촬영된 좌표계와 상기 3차원 점군 정보의 좌표계 사이의 변환 관계 정보를 산출하고, 상기 변환 관계 정보에 기초하여 상기 3차원 점군 정보의 좌표계의 한 축이 상기 중력 방향과 일치되도록 변환하고,
    상기 변환된 3차원 점군 정보의 좌표계를 이용하여 상기 3차원 점군 정보를 나타내도록 하되,
    상기 하나 이상의 추가 이미지는, 웹 상에서 획득되는, 비일시적 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.
KR1020200045137A 2020-04-14 2020-04-14 점군 정보 가공 장치 및 방법 KR102158316B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200045137A KR102158316B1 (ko) 2020-04-14 2020-04-14 점군 정보 가공 장치 및 방법
PCT/KR2020/007969 WO2021210725A1 (ko) 2020-04-14 2020-06-19 점군 정보 가공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200045137A KR102158316B1 (ko) 2020-04-14 2020-04-14 점군 정보 가공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102158316B1 true KR102158316B1 (ko) 2020-09-21

Family

ID=72707886

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200045137A KR102158316B1 (ko) 2020-04-14 2020-04-14 점군 정보 가공 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102158316B1 (ko)
WO (1) WO2021210725A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102339625B1 (ko) * 2021-01-29 2021-12-16 주식회사 맥스트 공간 지도 갱신 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031345A (ko) * 2012-01-13 2014-03-12 소프트키네틱 소프트웨어 자동 장면 교정
KR20150082358A (ko) * 2012-11-02 2015-07-15 퀄컴 인코포레이티드 기준 좌표계 결정
KR20190122479A (ko) 2018-04-20 2019-10-30 삼성전자주식회사 3차원 데이터를 프로세싱하기 위한 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6030549B2 (ja) * 2011-04-13 2016-11-24 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
JP6080640B2 (ja) * 2013-03-25 2017-02-15 株式会社ジオ技術研究所 ３次元点群解析方法
JP6185385B2 (ja) * 2013-12-27 2017-08-23 Kddi株式会社 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031345A (ko) * 2012-01-13 2014-03-12 소프트키네틱 소프트웨어 자동 장면 교정
KR20150082358A (ko) * 2012-11-02 2015-07-15 퀄컴 인코포레이티드 기준 좌표계 결정
KR20190122479A (ko) 2018-04-20 2019-10-30 삼성전자주식회사 3차원 데이터를 프로세싱하기 위한 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102339625B1 (ko) * 2021-01-29 2021-12-16 주식회사 맥스트 공간 지도 갱신 장치 및 방법

Also Published As

Publication number Publication date
WO2021210725A1 (ko) 2021-10-21

Similar Documents

Publication Publication Date Title
US10600150B2 (en) Utilizing an inertial measurement device to adjust orientation of panorama digital images
US11222471B2 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
KR20150082358A (ko) 기준 좌표계 결정
KR20210097145A (ko) 느슨하게 결합된 재국소화 서비스 및 자산 관리 서비스를 통해 인공 환경들 내에서 디지털 자산들을 제공하기 위한 시스템들 및 방법들
CN112154486B (zh) 用于多用户增强现实购物的系统和方法
US11094079B2 (en) Determining a pose of an object from RGB-D images
US11276201B1 (en) Localizing an augmented reality device
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
KR102383567B1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
US10600202B2 (en) Information processing device and method, and program
WO2019229301A1 (en) Solution for generating virtual reality representation
KR20220085142A (ko) 확장현실 기반 지능형 건설현장 관리 지원 시스템 및 방법
KR102158316B1 (ko) 점군 정보 가공 장치 및 방법
KR102347232B1 (ko) 실외 3차원 지도 정보를 기반으로 비주얼 로컬리제이션을 제공하기 위한 전자 장치 및 그의 동작 방법
KR102473165B1 (ko) 3d 환경 모델을 이용하여 피사체의 실제 크기를 측정 가능한 cctv 관제 시스템
CN106919260B (zh) 网页操作方法和装置
CN113610702A (zh) 一种建图方法、装置、电子设备及存储介质
KR102150954B1 (ko) 점군 정보 가공 장치 및 방법
KR20210057586A (ko) 블라인드 워터마킹 기술을 이용한 카메라 기반 측위 방법 및 시스템
JP6818968B2 (ja) オーサリング装置、オーサリング方法、及びオーサリングプログラム
US11562538B2 (en) Method and system for providing a user interface for a 3D environment
KR20210050997A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR102310958B1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
JP6859763B2 (ja) プログラム、情報処理装置
KR20210051002A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant