KR102026903B1 - 평면 기반의 ３차원 공간 표현 방법 및 장치 - Google Patents

평면 기반의 ３차원 공간 표현 방법 및 장치 Download PDF

Info

Publication number
KR102026903B1
KR102026903B1 KR1020120041035A KR20120041035A KR102026903B1 KR 102026903 B1 KR102026903 B1 KR 102026903B1 KR 1020120041035 A KR1020120041035 A KR 1020120041035A KR 20120041035 A KR20120041035 A KR 20120041035A KR 102026903 B1 KR102026903 B1 KR 102026903B1
Authority
KR
South Korea
Prior art keywords
planar
patch regions
patch
regions
effective
Prior art date
Application number
KR1020120041035A
Other languages
English (en)
Other versions
KR20130118105A (ko
Inventor
안민수
이선민
이영범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120041035A priority Critical patent/KR102026903B1/ko
Publication of KR20130118105A publication Critical patent/KR20130118105A/ko
Application granted granted Critical
Publication of KR102026903B1 publication Critical patent/KR102026903B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

평면 기반의 3차원 공간 표현 방법 및 장치가 개시된다. 3차원 공간 표현 방법은 실제 세계에 대응하는 컬러 영상 또는 깊이 영상을 공간 분할하여 적어도 하나의 영역들을 추출하는 단계; 상기 추출된 영역들 각각의 평면 구조를 생성하는 단계; 및 상기 생성된 평면 구조를 표현하는 단계를 포함할 수 있다.

Description

평면 기반의 ３차원 공간 표현 방법 및 장치 {METHOD AND APPARATUS FOR REPRESENTATION 3D SPACE BASED PLANE}
본 발명은 3차원 공간 표현 방법 및 장치에 관한 것으로, 보다 구체적으로는 실제 세계에 대응하는 평면 구조를 평면 모델을 통해 표현하는 방법 및 장치에 관한 것이다.
가상 세계와 실제 세계의 정보를 동시에 이용하고, 가상 세계와 실제 세계 간의 상호 작용이 필요한 증강 현실 분야 또는 혼합 현실 분야에서는 가상 세계를 표현하는 것뿐만 아니라, 실제 세계로부터 3D 공간 정보를 추출하여 표현하는 것이 필요하다.
종래의 경우, 가상 세계와 동일한 방식으로 실제 세계를 삼각형의 모임인 메쉬를 통해 표현한다. 그러나 실제 세계를 삼각형으로 표현하는 경우, 많은 정보 용량을 요구하기 때문에 실시간을 목적으로 하는 어플리케이션 또는 서비스에 적용하기에는 어려움이 있다. 이와 같은 문제 때문에 실제 세계를 간단한 표현 방식이 요구되고 있다.
본 발명의 일실시예에 따른 3차원 공간 표현 방법은 실제 세계에 대응하는 컬러 영상 또는 깊이 영상을 공간 분할하여 적어도 하나의 영역들을 추출하는 단계; 상기 추출된 영역들 각각의 평면 구조를 생성하는 단계; 및 상기 생성된 평면 구조를 표현하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 3차원 공간 표현 방법은 실제 세계의 3차원 공간에 대응하는 평면 구조를 식별하는 단계; 및 상기 평면 구조를 평면 모델로 표현하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 3차원 공간 표현 방법은 실제 세계의 3차원 공간에 대응하는 평면 구조를 표현하는 단계; 및 상기 표현된 평면 구조와 가상 객체를 연동시키는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 공간 표현 장치는 실제 세계에 대응하는 컬러 영상 또는 깊이 영상을 공간 분할하여 적어도 하나의 영역들을 추출하는 추출부; 상기 추출된 영역들 각각의 평면 구조를 생성하는 생성부; 및 상기 생성된 평면 구조를 평면 모델로 표현하는 표현부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 3차원 공간 표현 장치는 실제 세계의 3차원 공간에 대응하는 평면 구조를 식별하는 식별부; 및 상기 평면 구조를 평면 모델로 표현하는 표현부를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 3차원 공간 표현 장치는 실제 세계의 3차원 공간에 대응하는 평면 구조를 표현하는 표현부; 및 상기 표현된 평면 구조와 가상 객체를 연동시키는 연동부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 실제 세계를 간단한 방식으로 표현할 수 있다.
본 발명의 일실시예에 따르면, 제한된 네트워크 환경에서 실제 세계에 대한 3차원 공간 정보를 용이하게 표현할 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 공간 표현 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 평면 구조를 평면 모델로 표현하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 3차원 공간 표현 장치의 동작을 도시한 플로우차트이다.
도 4는 본 발명의 일실시예에 따른 실제 세계에 대한 평면 구조를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 실제 세계에 대한 평면 구조를 생성하는 단계를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 깊이 영상을 분할하는 과정을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따라 노이즈 픽셀을 판별하는 과정을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 평면 패치를 선택하고, 패치를 병합하는 과정을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 도 2의 실제 예시를 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 3차원 공간 표현 장치를 도시한 도면이다.
도 1을 참고하면, 3차원 공간 표현 장치(100)는 실제 세계의 3차원 공간을 평면 모델로 표현할 수 있다. 이 때, 평면 모델은 평면 방정식을 의미한다. 평면 방정식은 계수가 a, b, c, 및 d로 구성될 수 있다.
본 발명의 일실시예에 따른 3차원 공간 표현 방법은 실제 세계에 대응하는 컬러 영상 또는 깊이 영상을 공간 분할하여 적어도 하나의 영역들을 추출하는 단계; 상기 추출된 영역들 각각의 평면 구조를 생성하는 단계; 및 상기 생성된 평면 구조를 표현하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 3차원 공간 표현 방법은 실제 세계의 3차원 공간에 대응하는 평면 구조를 식별하는 단계; 및 상기 평면 구조를 평면 모델로 표현하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 3차원 공간 표현 방법은 실제 세계의 3차원 공간에 대응하는 평면 구조를 표현하는 단계; 및 상기 표현된 평면 구조와 가상 객체를 연동시키는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 공간 표현 장치는 실제 세계에 대응하는 컬러 영상 또는 깊이 영상을 공간 분할하여 적어도 하나의 영역들을 추출하는 추출부; 상기 추출된 영역들 각각의 평면 구조를 생성하는 생성부; 및 상기 생성된 평면 구조를 평면 모델로 표현하는 표현부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 3차원 공간 표현 장치는 실제 세계의 3차원 공간에 대응하는 평면 구조를 식별하는 식별부; 및 상기 평면 구조를 평면 모델로 표현하는 표현부를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 3차원 공간 표현 장치는 실제 세계의 3차원 공간에 대응하는 평면 구조를 표현하는 표현부; 및 상기 표현된 평면 구조와 가상 객체를 연동시키는 연동부를 포함할 수 있다.
3차원 공간 표현 장치를 구성하는 각 구성 요소에 대해서는 도면을 통해 도시하지 않았으며, 이하에서는 3차원 공간 표현 장치를 중심으로 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 평면 구조를 평면 모델로 표현하는 과정을 설명하기 위한 도면이다.
도 2를 참고하면, 3차원 공간 표현 장치(100)는 실제 세계(201)로부터 깊이 영상(202)을 추출할 수 있다. 본 발명의 일실시예에 따르면, 깊이 영상(202)이 아닌 컬러 영상이 사용될 수도 있다. 3차원 공간 표현 장치(100)는 깊이 영상을 이용하여 실제 세계(201)에 대한 평면 구조(203)를 생성할 수 있다. 그런 후, 3차원 공간 표현 장치(100)는 평면 구조(203)를 평면 모델(204)로 표현할 수 있다. 앞서 설명하였듯이, 평면 모델(204)은 4개의 계수로 구성된 평면 방정식을 포함할 수 있다.
이와 같은 평면 모델(204)은 증강 현실(205)이나 혼합 현실(206)과 같이 가상 세계의 객체와 연동하여 활용될 수 있다.
도 3은 본 발명의 일실시예에 따른 3차원 공간 표현 장치의 동작을 도시한 플로우차트이다.
단계(301)에서, 3차원 공간 표현 장치는 실제 세계의 3차원 공간에 대응하는 평면 구조를 생성할 수 있다. 구체적으로, 3차원 공간 표현 장치는 실제 세계에 대응하는 컬러 영상 또는 깊이 영상을 공간 분할하여 적어도 하나의 영역들을 추출할 수 있다. 그런 다음, 3차원 공간 표현 장치는 추출된 영역들 각각의 평면 구조를 생성할 수 있다. 평면 구조를 생성하는 구체적인 과정에 대해서는 도 5에서 구체적으로 설명하기로 한다.
단계(302)에서, 3차원 공간 표현 장치는 평면 구조를 표현할 수 있다. 일례로, 3차원 공간 표현 장치는 평면 구조를 파라미터 모델인 평면 방정식으로 표현할 수 있다. 구체적으로, 3차원 공간 표현 장치는 평면 구조를 계수가 a, b, c, d인 ax+by+cz+d=0의 평면 방정식으로 표현할 수 있다.
단계(303)에서, 3차원 공간 표현 장치는 표현된 평면 구조에 가상 객체를 연동시킬 수 있다. 일례로, 3차원 공간 표현 장치는 표현된 평면 구조에 가상 객체를 현실감있게 렌더링함으로써 증강 현실시킬 수 있다. 또한, 3차원 공간 표현 장치는 사용자와의 상호 작용에 기초하여 표현된 평면 구조에 가상 객체를 상호 작용시킬 수 있다.
도 4는 본 발명의 일실시예에 따른 실제 세계에 대한 평면 구조를 도시한 도면이다.
실제 세계에 대응하는 3차원 공간을 이해하기 위해서는 복잡한 공간을 기본 프리미티브(primitive)로 분해하는 방식이 활용될 수 있다. 일례로, 실내 공간은 벽, 천장, 바닥, 책상 등 다수의 평면으로 이루어진 영역이 많다. 그래서, 실제 세계를 3차원 공간으로 표현하기 위해서는 공간 상에 존재하는 다수의 평면을 검출하는 방법이 활용될 수 있다.
본 발명의 일실시예에 따르면, 3차원 공간 표현 장치는 노이즈를 포함하는 깊이 영상으로부터 평면 영역을 추정할 수 있다. 구체적으로, 3차원 공간 표현 장치는 평면 상에 존재하는 다수의 포인트를 획득함으로서 평면 구조를 생성할 수 있다. 이 때, 3차원 공간 표현 장치는 다수의 포인트를 획득하기 위해서 깊이 영상을 작은 패치 단위로 분할하고, 분할된 패치들을 점진적으로 병합할 수 있다.
도 5는 본 발명의 일실시예에 따른 실제 세계에 대한 평면 구조를 생성하는 단계를 도시한 도면이다.
단계(501)에서, 3차원 공간 표현 장치는 깊이 영상을 분할할 수 있다.
3차원 공간 표현 장치는 다음과 같은 과정을 통해 깊이 영상을 분할 수 있다. 먼저, 3차원 공간 표현 장치는 이미지 센서로부터 신호를 입력 받아 깊이 영상을 처리할 수 있다. 예를 들어, 깊이 영상은 레이저 스캐너, 레인지 센서, 깊이 센서/카메라 등으로부터 수집될 수 있다. 다른 예로, 깊이 영상은 복수의 컬러 카메라로부터 3차원 공간 상의 깊이 정보를 추출함으로써 획득될 수 있다.
그리고, 3차원 공간 표현 장치는 입력된 깊이 영상을 레귤러한 작은 패치 단위로 분할 수 있다. 하나의 패치는 깊이 영상을 구성하는 픽셀들 중 N*N 개의 픽셀로 구성된 작은 영역을 의미한다. 패치의 일례는 도 6을 참고할 수 있다.
이후, 3차원 공간 표현 장치는 깊이 영상에 포함된 깊이 노이즈를 제거할 수 있다. 일반적으로, 깊이 영상은 다양한 원인에 기초한 깊이 노이즈를 포함할 수 있다. 이 때, 깊이 영상 내에 존재하는 잡음을 제거함으로써 추정된 평면 모델의 정확도를 높일 수 있다.
깊이 노이즈를 제거하는 한가지 예로, 인접 픽셀들 간의 거리 정보를 활용할 수 있다. 도 7을 참고하면, 깊이 노이즈에 대응하는 픽셀은 인접 픽셀들에 비해 상대적으로 멀리 떨어져 있는 것을 알 수 있다. 따라서, 3차원 공간 표현 장치는 패치 내에 속하는 모든 점들에 대해 K개의 인접 픽셀을 선별하고, 선별된 인접 픽셀의 평균 거리를 계산할 수 있다. 패치 내에 속하는 인접 픽셀들 간의 거리와 계산된 평균 거리를 비교함으로써, 깊이 노이즈에 대응하는 픽셀을 제거할 수 있다.
단계(502)에서, 3차원 공간 표현 장치는 패치에 속하는 포인트들을 이용하여 평면 모델을 추정할 수 있다.
구체적으로, 3차원 공간 표현 장치는 패치에서 깊이 노이즈에 대응하는 포인트인 픽셀을 제거하고, 각 패치에 속하는 픽셀들을 이용하여 평면 모델을 추정할 수 있다. 일례로, 패치에 속하는 픽셀들은 평면 상에 존재한다고 가정한다.
깊이 노이즈가 아닌 픽셀들의 집합을 Xi 라 할 때,
Figure 112012031244630-pat00001
을 이용하여 평면 가설(Plane Hypothesis)을 계산한다. 평면 가설을 계산하기 위해, 하기 수학식 1과 같은 least square fitting 방식이 활용될 수 있다.
Figure 112012031244630-pat00002
이 때,
Figure 112012031244630-pat00003
는
Figure 112012031244630-pat00004
(깊이 노이즈에 대응하는 픽셀이 제거된 patch i의 픽셀 집합)내 존재하는 원소의 개수이다. A i, b i에 대한 선형방정식 A ix=b i 의 해 가 평면 방정식의 f(x,y) = n ax = n by + n c의 계수가 될 수 있다.
이 후, 3차원 공간 표현 장치는 실제 평면에 존재하는 유효한 평면 패치를 선정할 수 있다. 일례로, 3차원 공간 표현 장치는 R2검사(R-squared Test 혹은 Coefficient of determination)를 이용하여 유효한 평면 패치를 선정할 수 있다. R2 검사는 관측된 데이터를 해당 모델이 얼마나 잘 반영하는가를 판별하기 위한 방법이다. 즉, 패치를 구성하는 포인트인 픽셀들을 평면에 속한다고 가정하고, 추정된 평면 모델이 모델이 실제 관측 데이터를 잘 설명하는가를 판별하여 유효 패치(실제 평면 구조)를 결정할 수 있다.
R2 검사는 하기 수학식 2를 통해 수행될 수 있다.
Figure 112012031244630-pat00005
이 때,
Figure 112012031244630-pat00006
이며,
Figure 112012031244630-pat00007
는 평면 가설에 의해 계산된 값이며,
Figure 112012031244630-pat00008
(관측값) 이다. 관측된 데이터가 추정된 평면 모델에 정확하게 매칭되면 R2 은 1의 값을 나타낸다. R2가 미리 설정된 임계치보다 큰 경우에만, 해당 패치가 실제 평면 구조에 존재하는 유효한 패치로 판단될 수 있으며, 임계치보다 작은 패치들은 무효한 패치로 판단될 수 있다.
단계(503)에서, 3차원 공간 표현 장치는 유사한 패치들을 병합할 수 있다.
도 8의 (a) 내지 (d)를 참고하면, 3차원 공간 표현 장치는 동일 평면 공간 상에 존재하는 패치들을 판별하여 더 이상의 유사 패치가 존재하지 않을 때까지 반복적으로 유사한 평면 패치들을 병합할 수 있다.
일례로, 3차원 공간 표현 장치는 평면 패치에 대한 병합 처리를 반복 수행할지 여부를 판단한다. 이 때, 판단의 기준은 이전 단계에서의 평면 가설의 개수와 현재 단계에서의 평면 가설의 개수가 동일한지 여부를 확인하는 것이다. 만약, 이전 단계에서의 평면 가설의 개수와 현재 단계에서의 평면 가설의 개수가 동일한 경우에, 병합 가능한 유사 패치가 더 이상 존재하지 않는다고 판단하여 병합 처리에 대한 반복 수행이 중단될 수 있다. 그리고, 이전 단계에서의 평면 가설의 개수와 현재 단계에서의 평면 가설의 개수가 동일하지 않은 경우에, 병합 가능한 유사 패치가 존재하는 것으로 판단하여 이후에도 병합 처리가 반복적으로 수행될 수 있다.
단계(504)에서, 3차원 공간 표현 장치는 패치들을 병합함으로써 최종적인 평면 구조를 생성할 수 있다.
3차원 공간 표현 장치는 평면 패치 간의 유사성을 판단하여, 동일한 평면 구조에 속하는 패치들을 병합할 수 있다. 일례로, 3차원 표현 장치는 유사한 평면 패치들을 다음과 같은 과정을 통해 병합할 수 있다.
i번째 평면 패치의 평면 가설을
Figure 112012031244630-pat00009
라 표현한다. 그러면,
Figure 112012031244630-pat00010
은 평면의 법선 벡터,
Figure 112012031244630-pat00011
는 평면에서 원점까지의 거리로 정의될 수 있다. 평면 패치 i, j 간 비교는 법선 벡터간의 방향 차이,
Figure 112012031244630-pat00012
, 원점으로부터의 거리 차이
Figure 112012031244630-pat00013
를 계산함으로써 수행될 수 있다. d이 때, 법선 벡터간의 방향 차이와 원점으로부터의 거리 차이가 각각 미리 설정된 임계 값보다 작으면 평면 패치 i와 j가 동일한 평면 구조 상에 존재하는 평면 패치로 판단되며, 이러한 평면 페치들은 병합될 수 있다.
이후에, 3차원 공간 표현 장치는 병합된 평면 패치 상에서 깊이 노이즈가 아닌 픽셀들을 이용하여 평면 가설을 정교화(refine)할 수 있다. 이 때, 3차원 공간 표현 장치는 상기 수학식 1을 활용하여 평면 가설을 정교화할 수 있다. 이 때,
Figure 112012031244630-pat00014
는 병합된 Patch 내 non-noisy 픽셀들이며,
Figure 112012031244630-pat00015
는 non-noisy 픽셀의 개수로 대치될 수 있다.
그러면, 3차원 공간 표현 장치는 정교화된 평면 가설을 만족시키는 점 집합(consensus set)을 구할 수 있다. 이 과정은 깊이 영상에 포함된 모든 포인트 클라우드를 대상으로 한다. 점 집합은 해당 평면 가설과 해당 점 간의 거리가 일정 임계치보다 작은 경우로 구성된다.
3차원 공간 표현 장치는 결정된 점 집합을 이용하여 평면 모델을 정교화할 수 있다. 이 때, 3차원 공간 표현 장치는 수학식 1을 이용하여 평면 모델을 정교화할 수 있다. 이 때,
Figure 112012031244630-pat00016
는 병합된 consensus set 내 non-noisy 픽셀들이며,
Figure 112012031244630-pat00017
는 non-noisy 픽셀의 개수로 대치된다.
앞서 설명한 평면 패치의 병합 과정에서 더 이상 병합할 평면 패치가 없다고 판단되는 경우, 3차원 공간 표현 장치는 현재까지 구해진 평면 가설 중에서 최종적으로 평면 구조를 선택할 수 있다.
일례로, 3차원 공간 표현 장치는 장면 상에 존재하는 평면의 크기를 조정할 수 있다. 구체적으로, 3차원 공간 표현 장치는 현재 평면 가설을 구성하는 평면 패치의 개수에 따라 최종적으로 선택할 평면 구조를 결정할 수 있다. 이 때, 작은 영역의 평면 구조를 생성하기 위해서는 작은 임계값을 선택하고, 벽면이나 책상 면과 같이 큰 평면 영역에 대응하는 평면 구조를 생성하기 위해서는 큰 임계값을 선택할 수 있다.
도 9는 본 발명의 일실시예에 따른 도 2의 실제 예시를 도시한 도면이다.
3차원 공간 표현 장치는 실제 세계를 촬영한 깊이 영상을 통해 평면 구조(plane structure)를 생성할 수 있다. 본 발명의 일실시예에 따른 3차원 공간 표현 장치는 생성된 평면 구조를 평면 모델로 표현할 수 있다.
이 때, 평면 모델은 하기 수학식 4로 표현될 수 있다.
Figure 112012031244630-pat00018
일례로, 평면 모델은 계수가 a, b, c, d인 평면 방정식 ax+by+cz+d=0로 구성될 수 있다. 실제 세계에 대응하는 각 공간에 대해 평면이 생성될 수 있으며, 3차원 공간 표현 장치는 계수를 이용하여 생성된 평면 각각을 평면 방정식으로 표현할 수 있다. 평면 모델로 표현되는 평면 구조는 증강 현실이나 혼합 현실에 사용될 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
201: 실제 세계
202: 깊이 영상
203: 평면 구조
204: 평면 모델
205: 증강 현실
206: 혼합 현실

Claims (23)

  1. 실제 세계에 대응하는 컬러 영상 또는 깊이 영상을 각각 미리 정해진 수의 픽셀을 포함하는 규칙적인 패치 단위로 분할하여 패치 영역들을 결정하는 단계;
    상기 패치 영역들 각각에 포함된 픽셀들의 깊이 정보에 기초하여 상기 패치 영역들 각각에서 노이즈를 제거하는 단계;
    상기 노이즈가 제거된 상기 패치 영역들 각각에 대응하는 평면 가설을 추정하는 단계;
    상기 평면 가설에 기초하여 상기 노이즈가 제거된 상기 패치 영역들 중에 실제 세계에 존재하는 유효 패치 영역들을 식별하는 단계;
    상기 유효 패치 영역들에 대응하는 평면들의 법선 벡터들 간의 방향 차이 및 상기 평면들에서 원점까지의 거리에 기초하여 상기 유효 패치 영역들 간의 유사도를 판단하는 단계;
    상기 유효 패치 영역들 간의 상기 유사도에 기초하여 이전 반복에 대응하는 평면 가설의 수와 현재 반복에 대응하는 평면 가설의 수가 동일할 때까지 상기 유효 패치 영역들을 반복적으로 병합하는 단계;
    상기 유효 패치 영역들의 반복적인 병합에 따라 형성되는 적어도 하나의 영역에 기초하여 적어도 하나의 평면 구조를 생성하는 단계; 및
    상기 생성된 평면 구조를 표현하는 단계
    를 포함하는 3차원 공간 표현 방법.
  2. 제1항에 있어서,
    상기 생성된 평면 구조를 표현하는 단계는,
    상기 평면 구조를 파라미터 모델인 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 방법.
  3. 제1항에 있어서,
    상기 생성된 평면 구조를 표현하는 단계는,
    상기 평면 구조를 계수가 a, b, c, d인 ax+by+cz+d=0의 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 유효 패치 영역들을 반복적으로 병합하는 단계는
    상기 이전 반복에 대응하는 상기 유효 패치 영역들의 수 및 상기 현재 반복에 대응하는 상기 유효 패치 영역들의 수에 기초하여 추가 반복 여부를 결정하는 단계를 포함하는,
    3차원 공간 표현 방법.
  6. 삭제
  7. 삭제
  8. 실제 세계의 3차원 공간에 대응하는 컬러 영상 또는 깊이 영상을 각각 미리 정해진 수의 픽셀을 포함하는 규칙적인 패치 단위로 분할하여 패치 영역들을 결정하는 단계;
    상기 패치 영역들 각각에 포함된 픽셀들의 깊이 정보에 기초하여 상기 패치 영역들 각각에서 노이즈를 제거하는 단계;
    상기 노이즈가 제거된 상기 패치 영역들 각각에 대응하는 평면 가설을 추정하는 단계;
    상기 평면 가설에 기초하여 상기 노이즈가 제거된 상기 패치 영역들 중에 실제 세계에 존재하는 유효 패치 영역들을 식별하는 단계;
    상기 유효 패치 영역들에 대응하는 평면들의 법선 벡터들 간의 방향 차이 및 상기 평면들에서 원점까지의 거리에 기초하여 상기 유효 패치 영역들 간의 유사도를 판단하는 단계;
    상기 유효 패치 영역들 간의 상기 유사도에 기초하여 이전 반복에 대응하는 평면 가설의 수와 현재 반복에 대응하는 평면 가설의 수가 동일할 때까지 상기 유효 패치 영역들을 반복적으로 병합하는 단계;
    상기 유효 패치 영역들의 반복적인 병합에 따라 형성되는 적어도 하나의 영역에 기초하여 적어도 하나의 평면 구조를 식별하는 단계;
    상기 평면 구조를 평면 모델로 표현하는 단계
    를 포함하는 3차원 공간 표현 방법.
  9. 제8항에 있어서,
    상기 평면 구조는,
    상기 실제 세계를 촬영한 컬러 영상 또는 깊이 영상을 공간 분할한 결과에 기초하여 생성되는 것을 특징으로 하는 3차원 공간 표현 방법.
  10. 제8항에 있어서,
    상기 평면 구조를 평면 모델로 표현하는 단계는,
    상기 평면 구조를 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 방법.
  11. 제8항에 있어서,
    상기 평면 구조를 평면 모델로 표현하는 단계는,
    상기 평면 구조를 계수가 a, b, c, d인 ax+by+cz+d=0의 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 방법.
  12. 실제 세계의 3차원 공간에 대응하는 컬러 영상 또는 깊이 영상을 각각 미리 정해진 수의 픽셀을 포함하는 규칙적인 패치 단위로 분할하여 패치 영역들을 결정하는 단계;
    상기 패치 영역들 각각에 포함된 픽셀들의 깊이 정보에 기초하여 상기 패치 영역들 각각에서 노이즈를 제거하는 단계;
    상기 노이즈가 제거된 상기 패치 영역들 각각에 대응하는 평면 가설을 추정하는 단계;
    상기 평면 가설에 기초하여 상기 노이즈가 제거된 상기 패치 영역들 중에 실제 세계에 존재하는 유효 패치 영역들을 식별하는 단계;
    상기 유효 패치 영역들에 대응하는 평면들의 법선 벡터들 간의 방향 차이 및 상기 평면들에서 원점까지의 거리에 기초하여 상기 유효 패치 영역들 간의 유사도를 판단하는 단계;
    상기 유효 패치 영역들 간의 상기 유사도에 기초하여 이전 반복에 대응하는 평면 가설의 수와 현재 반복에 대응하는 평면 가설의 수가 동일할 때까지 상기 유효 패치 영역들을 반복적으로 병합하는 단계;
    상기 유효 패치 영역들의 반복적인 병합에 따라 형성되는 적어도 하나의 영역에 기초하여 적어도 하나의 평면 구조를 표현하는 단계; 및
    상기 표현된 평면 구조와 가상 객체를 연동시키는 단계
    를 포함하는 3차원 공간 표현 방법.
  13. 제12항에 있어서,
    상기 3차원 공간을 평면으로 표현하는 단계는,
    상기 실제 세계로부터 추출한 영상을 분할하여 평면 구조를 생성하고, 생성된 평면 구조를 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 방법.
  14. 제12항에 있어서,
    상기 3차원 공간을 평면으로 표현하는 단계는,
    상기 실제 세계의 3차원 공간에 대응하는 평면 구조를 계수가 a, b, c, d인 ax+by+cz+d=0의 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 방법.
  15. 제1항 내지 제3항, 제5항, 제8항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  16. 실제 세계에 대응하는 컬러 영상 또는 깊이 영상을 각각 미리 정해진 수의 픽셀을 포함하는 규칙적인 패치 단위로 분할하여 패치 영역들을 결정하고, 상기 패치 영역들 각각에 포함된 픽셀들의 깊이 정보에 기초하여 상기 패치 영역들 각각에서 노이즈를 제거하고, 상기 노이즈가 제거된 상기 패치 영역들 각각에 대응하는 평면 가설을 추정하고, 상기 평면 가설에 기초하여 상기 노이즈가 제거된 상기 패치 영역들 중에 실제 세계에 존재하는 유효 패치 영역들을 식별하고, 상기 유효 패치 영역들에 대응하는 평면들의 법선 벡터들 간의 방향 차이 및 상기 평면들에서 원점까지의 거리에 기초하여 상기 유효 패치 영역들 간의 유사도를 판단하고, 상기 유효 패치 영역들 간의 상기 유사도에 기초하여 이전 반복에 대응하는 평면 가설의 수와 현재 반복에 대응하는 평면 가설의 수가 동일할 때까지 상기 유효 패치 영역들을 반복적으로 병합하고, 상기 유효 패치 영역들의 반복적인 병합에 따라 형성되는 적어도 하나의 영역에 기초하여 적어도 하나의 평면 구조를 생성하는 생성부; 및
    상기 생성된 평면 구조를 평면 모델로 표현하는 표현부
    를 포함하는 3차원 공간 표현 장치.
  17. 제16항에 있어서,
    상기 표현부는,
    상기 평면 구조를 파라미터 모델인 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 장치.
  18. 제16항에 있어서,
    상기 표현부는,
    상기 평면 구조를 계수가 a, b, c, d인 ax+by+cz+d=0의 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 장치.
  19. 실제 세계의 3차원 공간에 대응하는 컬러 영상 또는 깊이 영상을 각각 미리 정해진 수의 픽셀을 포함하는 규칙적인 패치 단위로 분할하여 패치 영역들을 결정하고, 상기 패치 영역들 각각에 포함된 픽셀들의 깊이 정보에 기초하여 상기 패치 영역들 각각에서 노이즈를 제거하고, 상기 노이즈가 제거된 상기 패치 영역들 각각에 대응하는 평면 가설을 추정하고, 상기 평면 가설에 기초하여 상기 노이즈가 제거된 상기 패치 영역들 중에 실제 세계에 존재하는 유효 패치 영역들을 식별하고, 상기 유효 패치 영역들에 대응하는 평면들의 법선 벡터들 간의 방향 차이 및 상기 평면들에서 원점까지의 거리에 기초하여 상기 유효 패치 영역들 간의 유사도를 판단하고, 상기 유효 패치 영역들 간의 상기 유사도에 기초하여 이전 반복에 대응하는 평면 가설의 수와 현재 반복에 대응하는 평면 가설의 수가 동일할 때까지 상기 유효 패치 영역들을 반복적으로 병합하고, 상기 유효 패치 영역들의 반복적인 병합에 따라 형성되는 적어도 하나의 영역에 기초하여 적어도 하나의 평면 구조를 식별하는 식별부; 및
    상기 평면 구조를 평면 모델로 표현하는 표현부
    를 포함하는 3차원 공간 표현 장치.
  20. 제19항에 있어서,
    상기 표현부는,
    상기 평면 구조를 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 장치.
  21. 제19항에 있어서,
    상기 표현부는,
    상기 평면 구조를 계수가 a, b, c, d인 ax+by+cz+d=0의 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 장치.
  22. 실제 세계의 3차원 공간에 대응하는 컬러 영상 또는 깊이 영상을 각각 미리 정해진 수의 픽셀을 포함하는 규칙적인 패치 단위로 분할하여 패치 영역들을 결정하고, 상기 패치 영역들 각각에 포함된 픽셀들의 깊이 정보에 기초하여 상기 패치 영역들 각각에서 노이즈를 제거하고, 상기 노이즈가 제거된 상기 패치 영역들 각각에 대응하는 평면 가설을 추정하고, 상기 평면 가설에 기초하여 상기 노이즈가 제거된 상기 패치 영역들 중에 실제 세계에 존재하는 유효 패치 영역들을 식별하고, 상기 유효 패치 영역들에 대응하는 평면들의 법선 벡터들 간의 방향 차이 및 상기 평면들에서 원점까지의 거리에 기초하여 상기 유효 패치 영역들 간의 유사도를 판단하고, 상기 유효 패치 영역들 간의 상기 유사도에 기초하여 이전 반복에 대응하는 평면 가설의 수와 현재 반복에 대응하는 평면 가설의 수가 동일할 때까지 상기 유효 패치 영역들을 반복적으로 병합하고, 상기 유효 패치 영역들의 반복적인 병합에 따라 형성되는 적어도 하나의 영역에 기초하여 적어도 하나의 평면 구조를 표현하는 표현부; 및
    상기 표현된 평면 구조와 가상 객체를 연동시키는 연동부
    를 포함하는 3차원 공간 표현 장치.
  23. 제22항에 있어서,
    상기 표현부는,
    상기 실제 세계의 3차원 공간에 대응하는 평면 구조를 계수가 a, b, c, d인 ax+by+cz+d=0의 평면 방정식으로 표현하는 것을 특징으로 하는 3차원 공간 표현 장치.
KR1020120041035A 2012-04-19 2012-04-19 평면 기반의 ３차원 공간 표현 방법 및 장치 KR102026903B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120041035A KR102026903B1 (ko) 2012-04-19 2012-04-19 평면 기반의 ３차원 공간 표현 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120041035A KR102026903B1 (ko) 2012-04-19 2012-04-19 평면 기반의 ３차원 공간 표현 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130118105A KR20130118105A (ko) 2013-10-29
KR102026903B1 true KR102026903B1 (ko) 2019-09-30

Family

ID=49636586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120041035A KR102026903B1 (ko) 2012-04-19 2012-04-19 평면 기반의 ３차원 공간 표현 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102026903B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869605B1 (ko) * 2016-09-29 2018-06-21 전자부품연구원 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법
CN108629800A (zh) * 2017-03-20 2018-10-09 北京三星通信技术研究有限公司 平面确定方法及增强现实显示信息的显示方法、相应装置
KR102321704B1 (ko) * 2020-12-29 2021-11-05 고려대학교 산학협력단 인접 평면 정보를 이용한 3차원 공간 모델 생성 방법 및 장치
WO2022158834A1 (ko) * 2021-01-21 2022-07-28 삼성전자 주식회사 타겟 평면 검출 및 공간 추정을 위한 장치 및 방법
US11741676B2 (en) 2021-01-21 2023-08-29 Samsung Electronics Co., Ltd. System and method for target plane detection and space estimation
KR20220107596A (ko) 2021-01-25 2022-08-02 주식회사 케이티 공간 구조를 조정하는 장치, 방법 및 컴퓨터 프로그램
KR102495861B1 (ko) * 2021-10-27 2023-02-06 주식회사 스탠스 가상 객체를 처리하는 장치, 방법 및 컴퓨터 프로그램
KR102621781B1 (ko) * 2023-05-16 2024-01-09 주식회사 라이드플럭스 포인트 클라우드 데이터에서의 지표면 데이터 추출 방법, 장치 및 컴퓨터프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086266A (ja) * 2002-08-23 2004-03-18 Nippon Telegr & Teleph Corp <Ntt> 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101092250B1 (ko) * 2010-02-18 2011-12-12 중앙대학교 산학협력단 레인지 영상으로부터의 객체 분할 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086266A (ja) * 2002-08-23 2004-03-18 Nippon Telegr & Teleph Corp <Ntt> 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
이영진 외 3명, "LiDAR 데이터의 3D Hough 변환을 이용한 건물 지붕 평면의 세그멘테이션 및 정밀 평면방정식 추출", 한국측량학회지 26(5),2008.*
현대환 외 3명, "평면 방정식을 이용한 물체의 면 특징 추출", 한국멀티미디어학회, 1999.*

Also Published As

Publication number Publication date
KR20130118105A (ko) 2013-10-29

Similar Documents

Publication Publication Date Title
KR102026903B1 (ko) 평면 기반의 ３차원 공간 표현 방법 및 장치
KR102653808B1 (ko) 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들
EP2080167B1 (en) System and method for recovering three-dimensional particle systems from two-dimensional images
KR101870902B1 (ko) 영상 처리 장치 및 영상 처리 방법
US9189862B2 (en) Outline approximation for point cloud of building
JP4493679B2 (ja) 対象領域抽出方法および装置ならびにプログラム
KR101392804B1 (ko) 지상 라이다에서 취득된 포인트 클라우드 기반의 실내공간 3차원 모델 추출 방법 및 이를 구현하기 위한 프로그램이 기록된 기록매체
KR101896301B1 (ko) 깊이 영상 처리 장치 및 방법
EP3048579B1 (en) Structure analysis method for recovering missing structures in an image after object removal
Truong-Hong et al. Octree-based, automatic building facade generation from LiDAR data
EP3841554A1 (en) Method and system for reconstructing colour and depth information of a scene
KR20130060150A (ko) 깊이 영상을 고해상도로 변환하는 방법 및 장치
CN110346808B (zh) 一种激光雷达的点云数据处理方法和系统
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
KR20170091496A (ko) 양안 시차 영상의 처리 방법 및 장치
KR20130085199A (ko) 평면 검출 장치 및 방법
JP2017535884A (ja) ノイズの多い奥行きまたは視差画像のリアルタイム適応的フィルタリングを行う方法および装置
KR102223484B1 (ko) 식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 3차원 모델 생성 방법
JPWO2019244944A1 (ja) 三次元再構成方法および三次元再構成装置
US20130071008A1 (en) Image conversion system using edge information
KR102144198B1 (ko) 보로노이 테셀레이션 및 k-최근접 이웃 알고리즘을 이용한 포인트 클라우드 재추출 방법 및 시스템
JP2008310724A (ja) ３次元形状復元装置，３次元形状復元方法，３次元形状復元プログラム及びそのプログラムを格納した記録媒体
KR101927861B1 (ko) 형태론적 연산에 기반한 공간 기하 정보의 노이즈 제거 방법 및 장치
KR102060758B1 (ko) 포인트 클라우드를 이용한 프리미티브 피팅 장치 및 방법
US8526760B2 (en) Multi-scale representation of an out of focus image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant