KR101420237B1 - 이웃 포인트의 탐색이 용이한 3ｄ 영상 처리 방법 - Google Patents

Abstract

본 발명은 포인트 기반의 3Ｄ 데이터 표현 방법에서 리프 셀에 저장되는 포인트 간에 서로 이웃한 포인트를 검색하는 과정을 효율적으로 수행할 수 있는 데이터 저장 및 처리 방법에 관한 것으로, 복수 개의 포인트의 각각을 공간 트리 구조의 리프 셀에 연관시키는 단계, 상기 복수 개의 포인트의 각각에 대응하여 볼을 할당하는 단계, 및 상기 볼을 상기 볼이 교차하는 리프 셀과 연관시키는 단계를 포함한다.

Octree, Quad tree, accelerated data structure

Description

이웃 포인트의 탐색이 용이한 3Ｄ 영상 처리 방법{3D Image Processing Method and Apparatus for Enabling Efficient Retrieval of Neighbor Point}

본 발명은 3D 영상 처리 방법에 관한 것으로, 보다 구체적으로, 포인트 기반의 3D 데이터 표현 방법에서 리프 셀에 저장되는 포인트 간에 서로 이웃한 포인트를 검색하는 과정을 효율적으로 수행할 수 있는 데이터 저장 및 처리 방법(또는 장치)에 관한 것이다.

최근에 깊이 카메라(depth camera)를 이용하여 깊이 영상(depth image)을 취득하고, 일반 CCD/CMOS 카메라를 이용하여 칼라 영상(color image)을 취득한 후, 영상 정합을 통하여 3D 정보를 얻을 수 있는 방법이 연구되고 있다.

이와 같이 얻어진 3D 정보를 표현하는 방법으로는 삼각형 메쉬(triangular mesh)를 이용하는 것과 포인트 군(point cloud)을 이용하는 것 등 여러 가지가 있다. 취득된 3D 정보는 적절한 모델링(modeling) 과정을 거쳐 효율적인 표현 구조로 변환되는데, 이러한 변환이나 변환 후의 다양한 프로세싱(processing) 및 렌더링(rendering)은 3D 정보를 표현하는 데이터 구조의 효율성에 따라 그 성능이 많이 좌우된다.

메쉬 기반 표현은 영상의 규칙성을 이용하여 인접하는 픽셀을 연결하고 메쉬 연결 정보를 생성하여 영상을 프로세싱하는 방법이다. 이러한 메쉬 기반 표현은 깊이 영상 취득 시 발생하는 노이즈(noise)나 홀(hole) 등의 제거가 상대적으로 용이하다. 그러나 메시 기반 표현의 경우, 한 장이 아닌 여러 장의 영상으로부터 하나의 3차원 메쉬 모델을 생성하기 위해서는 서로 중첩하는 부분에 대해 적절한 스티칭(stiching) 작업이 필요하며, 일반적으로 이 과정이 매우 복잡하다.

한편 포인트 기반 표현은 여러 장의 영상으로부터 얻어지는 3차원 포인트들을 공간상에서 단순히 합치면 되기 때문에 메쉬에 비해 보다 효율적인 3D 모델을 생성할 수 있다. 이러한 포인트 데이터는 kd-트리(kd-tree)나 팔진트리(octree)와 같은 공간 데이터 구조에 저장된다. 종래의 포인트 기반 표현에서 이용되는 팔진트리 등의 공간 데이터 구조는 폴리곤 메쉬(polygon mesh) 방식과 같이 포인트 간의 연결 정보를 가지고 있지는 않기 때문에, 여러 가지 프로세싱(processing)을 위해 필요한 이웃한 포인트의 검색에 많은 계산 시간을 필요로 한다.

본 발명은 포인트 기반 3D 데이터 저장 및 프로세싱의 효율성 향상을 위해 안출된 것으로서, 객체에서 깊이 카메라에 의해 얻어진 3D 데이터를 개선된 방법으로 저장하는 방법을 제공하기 위한 것이다.

본 발명의 또 다른 목적은, 상기 포인트 기반 3D 데이터 구조에 저장된 포인트들 간에 서로 이웃하는 포인트의 정보를 효율적으로 검색할 수 있는 3D 영상 처리 방법 및 장치를 제공하는 것이다.

본 발명의 또 다른 목적은, 상기 개선된 방법에 의한 데이터 구조를 이용하여 kNN(k Nearest neighbors) 쿼리, SBN(Spatial ball neighbors) 쿼리, 및 리프 셀(Leaf Cell) 분할 등의 데이터 처리 방법을 제공하는 것이다.

상기 목적을 이루기 위하여, 본 발명은 복수 개의 포인트 각각을 공간 트리 구조의 리프 셀에 연관시키는 단계, 상기 복수 개의 포인트 각각에 대응하여 볼(ball)을 할당하는 단계, 및 상기 볼을 상기 볼이 교차하는 리프 셀과 연관시키는 단계를 포함하는 3D 데이터 처리 방법을 제공한다.

본 발명의 일측에 따르면, 상기 3D 데이터 처리 방법은, 상기 공간 트리 구조에서 상기 복수 개의 포인트 중 제1 포인트와 연관된 제1 리프셀을 탐색하는 단계, 상기 제1 리프 셀과 교차하는 제2 볼을 탐색하는 단계 및 상기 제2 볼에 대응하는 제2 포인트를 탐색하는 단계를 더 포함한다.

본 발명의 또 다른 일측에 따르면, 상기 3D 데이터 처리 방법은, 상기 제1 포인트 및 상기 제2 포인트에 기초하여 MLS 표면(Moving Least Square Surface)을 생성하는 단계를 더 포함한다.

본 발명의 또 다른 일측에 따르면, 상기 복수 개의 포인트 각각에 대응하여 할당되는 상기 볼은, 상기 복수 개의 포인트 각각에 연관된 상기 리프 셀에 연관된 포인트의 밀도에 따라 적응적 반지름(Adaptive Radius)을 가지도록 결정된다.

본 발명의 또 다른 일측에 따르는 데이터 처리 방법은, 복수 개의 포인트 각각에 대응하여 원을 할당하는 단계, 상기 복수 개의 포인트 각각을 4진트리(quad tree) 구조의 적어도 하나의 리프 셀에 연관시키는 단계, 및 상기 원을 상기 원이 교차하는 리프 셀과 연관시키는 단계를 포함한다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따라 영상을 구성하는 포인트들의 위치 정보를 공간 트리 구조로 저장하는 방법을 도시한 흐름도이다.

단계(110)에서, 영상 처리 장치는 포인트의 위치 정보를 삽입할 셀을 탐색한다. 본 발명의 일실시예에 따르면, 객체의 영상을 구성하는 포인트들의 위치 정보는 공간 트리 구조로 저장된다. 공간 트리 구조는 객체를 구성하는 포인트의 위치 정보를 표현하는, 계층적 구조를 가지는 데이터 구조로, 예를 들어 케이디트리(kd-tree), 팔진트리(octree)일 수 있다. 상기 공간 트리 구조의 예로 아래에서는 팔진트리를 이용하는 경우를 설명하지만 본 발명은 이에 제한되지 않는다. 객체의 3D 영상을 구성하는 포인트들의 3D 위치 정보는 컴퓨터 비전을 이용한 영상 기반 방법, 깊이 취득 장비를 이용하는 방법 등 다양한 방법으로 얻을 수 있다. 일례로 깊이 카메라를 이용하여 획득할 수 있다. 하나의 객체에 대하여 깊이 카메라를 복수 개의 시점에 위치시켜, 시점에 따른 복수 개의 깊이 영상을 획득할 수도 있다. 영상 처리 장치는 객체의 영상을 구성하는 포인트들의 위치 정보를 팔진트리에 저장할 수 있다. 이 경우, 영상 처리 장치는 단계(110)에서 포인트의 위치 정보를 삽입할 팔진트리의 셀을 탐색한다. 팔진트리는 공간 상의 정육면체(Cube)를 8 분할 하여 저장하고자 하는 포인트를 하위 단계의 자손(Decendant)에 배정해 나아가는 공간 트리 구조이다.

단계(120)에서, 영상 처리 장치는 복수 개의 포인트의 각각을 공간 트리 구조의 리프 셀에 연관시킨다. 포인트 기반의 3D 데이터를 저장하기 위해 복수 개의 포인트 각각에 셀이 할당된다. 본 단계는, 공간 트리 구조 내에서 셀을 분할하여 포인트를 서브 셀(Sub cell)에 저장하는 작업으로 구현될 수 있다. 상기 서브 셀은 리프 셀(leaf)일 수 있다. 예를 들어, 객체의 영상을 구성하는 포인트들의 위치 정보를 팔진트리에 저장하는 경우, 영상 처리 장치는 상기 포인트들의 각각의 위치 정보를 저장할 팔진트리의 리프 셀을 탐색한다. 그리고, 탐색된 리프 셀에 상기 포인트의 위치 정보를 저장한다. 도 2를 참조하면, 포인트(210) 및 포인 트(230)의 각각에 대하여 리프 셀이 연관되어 있다.

단계(130)에서, 영상 처리 장치는 상기 복수 개의 포인트의 각각에 대응하여 볼(ball)을 할당한다. 볼은 구(sphere)이다. 볼은 포인트의 각각에 대응하여 하나씩 할당된다. 예를 들어, 제1 포인트에 대하여 제1 볼이 할당되고, 제2 포인트에 대하여 제2 볼이 할당된다. 볼은 반지름을 가진다.

본 발명의 일실시예에 따르면, 볼은 대응하는 포인트를 중심으로 한 구(sphere)이다. 본 발명의 일실시예에 따르면, 각각의 포인트에 대응하여 할당되는 상기 볼은 미리 정해진 반지름을 가진다. 예를 들어, 모든 포인트에 대하여 동일한 반지름의 볼이 할당될 수 있다. 본 발명의 또 다른 실시예에 따르면, 각각의 포인트에 대응하여 할당되는 상기 볼은 적응적 반지름(adaptive radius)을 가진다. 이 경우, 각각의 포인트에 대응하여 할당되는 상기 볼의 반지름은 고정적이지 않고 가변적이다. 또한, 포인트의 각각에 대응하는 볼의 반지름은 서로 다를 수 있다. 예를 들어, 상기 볼의 반지름은, 상기 복수 개의 포인트의 각각에 연관된 리프 셀에 연관된 포인트의 밀도에 따라 결정될 수 있다. 상기 밀도는 인접한 포인트가 얼마나 많은 지를 나타내는 지표이다. 상기 밀도를 결정하는 방법에는 여러 가지가 있을 수 있다. 본 발명의 또 다른 실시예에 따르면, 상기 제1 포인트로부터 k번째 가까운 점과의 거리를 상기 볼의 반지름(radius)으로 결정한다. 상기 k는 1 이상의 자연수이다. 이 경우, 상기 제1 포인트로부터 가까운 점들의 수가 증가할수록, 상기 제1 포인트로부터 k번째 가까운 점과의 거리는 작아지게 되므로, 상기 제1 포인트에 할당된 볼의 반지름은 작아지게 된다. 도 2를 참조하면, 포인 트(210)에 대응하여 볼(220), 포인트(230)에 대응하여 볼(240)이 할당되어 있다.

단계(140)에서, 영상 처리 장치는, 상기 포인트에 할당된 볼과 교차하는 셀을 검색한다. 영상 처리 장치는 (1) 상기 포인트에 할당된 볼의 반지름과 (2) 상기 포인트로부터 상기 포인트가 속한 셀의 이웃 셀까지의 거리를 비교함으로써, 상기 포인트에 할당된 볼과 교차하는 셀을 검색할 수 있다.

단계(150)에서, 볼을 상기 볼이 교차하는 리프 셀과 연관시킨다. 볼은 포인트에 대하여 할당되는데, 우선 상기 볼은 상기 포인트와 연관된 셀에 연관된다. 예를 들어, 제1 포인트가 제1 셀에 저장되어 있고, 상기 제1 포인트에 대하여 제1 볼이 할당되었으면, 상기 제1 볼은 상기 제1 셀과 연관된다. 구체적으로, 상기 제1 볼의 참조 정보가 상기 제1 셀에 저장된다. 또한, 상기 볼과 교차하는 다른 셀이 있는 경우, 상기 볼은 상기 다른 셀들과도 연관된다. 예를 들어, 상기 다른 셀들도 상기 볼의 참조 정보(reference information)를 저장한다. 따라서, 본 발명에 따르면, 셀을 참조하면, 상기 셀과 교차되는 볼들에 관한 정보를 얻을 수 있다.

본 실시예에 따르면, 객체의 영상을 구성하는 포인트들 중 하나의 제1 포인트로부터 상기 포인트가 저장된 리프 셀을 정보를 얻고, 상기 리프 셀로부터 상기 리프 셀과 교차되는 볼들에 대응하는 포인트들의 정보를 쉽게 구할 수 있다. 상기 구해진 포인트들은 상기 제1 포인트와 가까이 위치한 포인트들이다. 따라서, 본 실시예에 따르면, 객체의 영상을 구성하는 포인트들 중 임의의 포인트와 가까이 위치한 다른 포인트들에 대한 정보를 용이하게 얻을 수 있다.

단계(160)에서, 본 발명의 일실시예에 따르면, 영상 처리 장치는, 상기 볼이 교차하는 리프 셀의 분할 여부를 결정한다. 본 발명의 일실시예에 따른 공간 트리 구조는 반복적으로 셀을 나눔(split)으로써 계층적인 트리 구조를 형성한다. 이 경우, (1) 미리 정해진 최대 트리 깊이(tree depth)에 도달한 경우, 및 (2) 셀이 미리 정해진 최소 개수의 포인트를 가지고, 셀의 대각선의 길이가 평균 볼의 크기보다 작은 경우 중 하나의 조건을 만족하는 경우 셀 분할을 멈추고, 리프 셀을 결정한다. 예를 들어, 상기 리프 셀의 대각선의 길이가 상기 복수 개의 포인트의 각각에 대응한 볼들의 평균 지름보다 큰 경우, 상기 볼이 교차하는 리프 셀을 분할한다. 이와 같이, 리프 셀을 분할함으로써, 포인트의 밀도가 높을수록 상기 포인트를 저장할 수 있는 리프 셀을 확보할 수 있다.

본 발명의 일실시예에 따르면, 구멍 채우기(hole filling) 등의 과정을 위해 상기 공간 트리 구조 내에 포인트를 삽입할 수 있다. 상기 포인트 삽입은 포인트 위치 정보 삽입의 과정과 볼 정보 삽입의 과정으로 나누어질 수 있다. 상기 포인트 위치 정보 삽입 과정은 주어진 포인트를 포함하는 목표 셀의 위치 코드를 계산하는 단계, 루트 셀(Root cell)로부터 리프 셀이 나올 때까지 트리 검색(tree traversal)을 수행하여 목표 셀을 탐색하는 단계, 및 목표 셀에 포인트의 위치 정보 삽입 후 목표 셀을 더 나눌 지 판단하는 단계를 포함할 수 있다.

한편 상기 볼 정보의 삽입 과정은 볼의 바운딩 박스(bounding box)를 계산하는 단계, 상기 바운딩 박스를 포함하는 제1 셀의 위치 코드를 계산하는 단계, 루트 셀로부터 리프 셀이나 상기 제1 셀이 나올 때까지 트리 검색을 수행하는 단계, 상기 제1 셀의 서브트리의 모든 셀에 대하여 볼과의 교차(intersection) 여부를 판단 한 후 교차가 일어나는 셀에만 상기 볼의 참조 정보를 저장하는 단계 및 상기 정보가 추가된 셀을 더 나눌 지 판단하는 단계를 포함할 수 있다. 본 발명의 일실시예에 따르면, 상기 포인트 위치 정보 삽입 과정 또는 상기 볼 정보 삽입 과정 내에서 셀을 더 나눌 지 판단하는 단계는 새로운 포인트가 저장되는 상기 리프 셀의 대각선의 길이가 공간 트리 구조 내에서 복수 개의 포인트들 각각에 대응하는 상기 볼의 평균 지름보다 큰 경우 상기 볼이 교차하는 상기 리프 셀을 분할하는 방법에 의해 수행될 수 있다.

도 2는 본 발명의 일실시예에 따라 포인트들의 위치 정보를 팔진트리로 저장하는 경우를 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 본 실시예에 따르면, 객체의 영상을 구성하는 포인트들의 3D 위치 정보는 팔진트리 구조로 저장된다. 팔진트리는 공간 상의 정육면체(Cube)를 8 분할 하여 저장하고자 하는 포인트를 하위 단계의 자손(Decendant)에 배정해 나아가는 공간 트리 구조이다. 예를 들어, 도 2에서, 더 많은 포인트들의 위치 정보를 저장하여야 하는 경우, 셀(235)은 8등분되어 추가의 포인트들의 위치 정보를 저장할 수 있게 된다.

도 2에서, 포인트(210) 및 포인트(230)는 각각의 셀에 저장되어 있다. 또한, 포인트(210) 및 포인트(230)의 각각에 대응하여 볼(220) 및 볼(240)이 할당되어 있다. 볼(220) 및 볼(240)은 구(sphere) 형태이다. 도 2에서 볼(240)은 셀들(231, 232, 233, 234, 245, 236, 237) 등과 교차한다. 이 경우, 볼(240)과 교차하는 셀들(231, 232, 233, 234, 245, 236, 237)은 볼(240)에 대한 참조 정보를 저 장한다. 볼(240)에 대한 참조 정보는 볼(240)에 관한 정보를 저장하고 있는 메모리 공간에 대한 포인터(pointer)일 수 있다.

본 발명의 일실시예에 따르면, 복수 개의 포인트 각각에 할당된 볼은 일정한 크기를 갖지 아니하고, 적응적 반지름(Adaptive Radius)을 가질 수 있다. 예를 들어, 상기 볼의 반지름은 상기 볼과 연관된 포인트가 속한 리프 셀과 연관된 포인트들의 밀도에 따라 결정될 수 있다.

도 3은 본 발명의 일실시예에 따라 근접한 포인트를 검색하여 MLS 표면을 생성하는 방법을 도시한 흐름도이다.

단계(310)에서, 영상 처리 장치는, 상기 공간 트리 구조에서 상기 복수 개의 포인트 중 제1 포인트와 연관된 제1 리프 셀을 탐색한다. 영상 처리 장치는 객체의 영상을 구성하는 복수 개의 포인트들 중 제1 포인트의 위치 정보가 저장된 제1 리프 셀을 탐색한다. 공간 트리 구조로 팔진트리를 사용하는 경우, 영상 처리 장치는 상기 팔진트리를 트리 검색(tree traversal)함으로써, 상기 제1 포인트가 저장된 제1 리프 셀을 탐색할 수 있다.

단계(320)에서, 영상 처리 장치는, 상기 제1 리프 셀과 교차하는 제2 볼을 탐색한다. 도 1의 단계(140) 및 단계(150)를 통하여, 제1 리프 셀과 교차하는 볼의 참조 정보는 제1 리프 셀에 저장되어 있다. 따라서, 영상 처리 장치는, 단계(320)에서 제1 리프 셀에 저장되어 있는, 제1 리프 셀과 교차하는 볼의 참조 정보를 판독함으로써, 제1 리프 셀과 교차하는 제2 볼에 관한 정보를 얻을 수 있다. 경우에 따라, 제1 리프 셀과 교차하는 볼은 복수 개일 수 있다. 이 경우, 상기 제 1 리프 셀과 교차하는 복수 개의 볼에 관한 정보가 제1 리프 셀에 저장된다.

단계(330)에서, 영상 처리 장치는, 상기 제2 볼에 대응하는 제2 포인트를 탐색한다. 도 1의 단계(130)에서, 공간 트리 구조에 저장되는 포인트들의 각각에 대응하여 볼이 할당되었다. 단계(330)은, 단계(130)에서의 포인트 및 볼의 대응 관계를 이용하여, 상기 제2 볼에 대응하는 제2 포인트를 탐색한다. 예를 들어, 볼의 각각은 자신에 대응하는 포인트의 참조 정보를 저장하고 있을 수 있다. 이 경우, 영상 처리 장치는 볼에 저장된 포인트의 참조 정보를 이용하여 상기 볼에 대응하는 포인트의 정보를 얻을 수 있다.

단계(340)에서, 영상 처리 장치는, 상기 제1 리프 셀과 교차하는 볼이 더 이상 없는지 결정한다. 제1 리프 셀과 교차하는 볼이 복수 개인 경우에는, 상기 복수 개의 볼의 각각에 대응하여, 복수 개의 포인트들의 정보가 얻어진다. 예를 들어, 제1 리프 셀과 교차하는 볼이 볼_A, 볼_B의 2개인 경우, 단계(320)에서 먼저 볼_A가 탐색되고, 단계(330)에서 볼_A에 대응하는 포인트_A가 탐색된다. 그 다음 단계(340)에서 제1 리프 셀과 교차하는 볼이 더 있으므로, 다시 단계(320)로 돌아가서 볼_B가 탐색된다. 그 다음, 단계(330)에서 볼_B에 대응하는 포인트_B가 탐색된다. 제1 리프 셀과 교차하는 모든 볼에 대응하는 포인트의 정보가 얻어지면, 영상 처리 장치는 단계(350)로 진행한다.

단계(350)에서, 영상 처리 장치는, 상기 제1 포인트 및 상기 제2 포인트에 기초하여 MLS 표면(MLS surface)을 생성한다. MLS 표면은 이산적(discrete)으로 분포된 포인트들로부터, MLS(Moving Least Squares) 오퍼레이터(MLS operator)를 사용하여 생성된 연속적이고 부드러운(continuous and smooth) 표면이다. 단계(310) 내지 단계(340)을 통하여, 영상 처리 장치는 객체의 영상을 구성하는 하나의 포인트와 상기 포인트의 주위에 있는 포인트들의 정보를 얻게 된다. 영상 처리 장치는 상기 포인트에게 MLS오퍼레이터를 적용하여 MLS 표면을 생성한다. MLS 표면의 생성 과정에서 이웃한 포인트들을 검색하고, 각 포인트들과의 거리를 계산하는 것이 요구되는데, 본 실시예에 따르면 상기 계산의 효율성을 높아진다. 본 실시예에 따르면, 객체의 영상을 구성하는 포인트들 중 임의의 포인트와 가까이 위치한 다른 포인트들에 대한 정보를 용이하게 얻고, 이를 이용하여 3D 영상을 용이하게 얻을 수 있다. 또한, MLS 오퍼레이터 외에 다른 프로젝터 오퍼레이터를 사용하여 프로젝터 표면을 생성할 수 있는데, 이는 본 실시예의 균등 범위에 속한다.

도 4에는 본 발명의 일실시예에 따라 MLS 표면을 이용하여 만들어진 3D 영상의 일례가 도시되어 있다.

도 5는 본 발명의 일실시예에 따라 각 포인트에 대응하는 볼을 결정하는 방법을 도시한 흐름도이다.

단계(510)에서, 영상 처리 장치는, 상기 복수 개의 포인트 중 제1 포인트와 연관된 제1 리프 셀을 탐색한다. 영상 처리 장치는 객체의 영상을 구성하는 복수 개의 포인트들 중 제1 포인트의 위치 정보가 저장된 제1 리프 셀을 탐색한다. 공간 트리 구조로 팔진트리를 사용하는 경우, 영상 처리 장치는 상기 팔진트리를 트리 검색(tree traversal)함으로써, 상기 제1 포인트가 저장된 제1 리프 셀을 탐색할 수 있다.

단계(520)에서, 영상 처리 장치는, 상기 제1 리프 셀에 연관된 포인트들 중에서 k개의 근접 포인트를 선택한다. 본 발명의 일실시예에 따르면, k는 미리 정해진 자연수(예를 들어, k=3)이다. 본 발명의 또 다른 실시예에 따르면, k는 상기 제1 리프 셀에 포함된 포인트의 개수이다. 상기 제1 리프 셀 내에 복수 개의 포인트가 포함되어 있을 수 있고, 이 경우, 상기 포인트의 개수가 k가 된다.

단계(530)에서, 영상 처리 장치는, 상기 k개의 근접 포인트 중 상기 제1 포인트와 가장 먼 포인트와의 제1 거리를 결정한다. 예를 들어, 제1 포인트에 대해 k=3개의 근접 포인트가 선택되었다면, 상기 3개의 근접 포인트들 중에서 상기 제1 포인트와 가장 먼 포인트를 선택하고, 상기 제1 포인트와 가장 먼 포인트로부터 상기 제1 포인트까지의 거리를 상기 제1 거리로 결정한다.

단계(540)에서, 영상 처리 장치는, (1) 상기 제1 포인트와 상기 공간 트리 구조의 제2 셀의 바운딩 박스(bounding box)까지의 거리와 (2) 상기 제1 거리를 비교한다.

단계(540)의 비교 결과, 상기 제1 포인트와 상기 공간 트리 구조의 제2 셀의 바운딩 박스(bounding box)까지의 거리가 상기 제1 거리보다 작은 경우, 영상 처리 장치는, 단계(550)에서, 상기 제2 셀의 서브트리의 리프 셀과 연관된 포인트와 상기 제1 포인트 사이의 거리에 따라 상기 k개의 근접 포인트를 갱신한다. 상기 제1 리프 셀과 이웃하는 6개의 이웃 셀의 경계 면과의 거리를 각각 계산하여 상기 제1 거리와 비교한다. 상기 제1 거리 보다 더 가까이 위치하는 경계면이 존재하는 경우 상기 경계면에 대응되는 제2 셀 내에는 상기 제1 거리보다 더 가까운 포인트가 있을 수 있다. 따라서 상기 제1 포인트로부터 상기 제2 셀 내의 포인트 각각과의 제2 거리를 계산하여 상기 제1 거리보다 더 작은 경우 상기 k개의 근접 포인트를 갱신한다.

단계(550)에서, 영상 처리 장치는, 상기 k개의 근접 포인트에 기초하여 상기 제1 포인트에 대응하는 상기 볼을 결정한다. 본 실시예에 따르는 경우, 포인트의 각각에 할당되는 볼의 크기는 서로 다르게 된다. 이렇게 함으로써, 포인트와 인접한 포인트들을 탐색할 때, 각 포인트들에 대해, 크게 차이가 나지 않고, 어느 정도 비슷한 정도의 계산 복잡도를 가질 수 있다.

도 6은 본 발명의 일실시예에 따라 리프 셀에 상기 리프 셀과 교차하는 볼(ball)의 정보를 삽입하는 방법을 도시한 흐름도이다.

단계(610)에서 영상 처리 장치는, 상기 볼의 바운딩 박스를 결정한다. 상기 볼의 바운딩 박스(bounding box)는, 상기 볼에 대응하는 포인트를 중심(center)로 하고 상기 볼을 포함하는 최소 크기의 정육면체이다. 예를 들어, 제1 포인트에 대응하여 제1 볼이 할당된 경우, 상기 제1 포인트를 중심으로 하고, 상기 제1 볼을 포함하는 최소 크기의 정육면체가 상기 제1 볼의 바운딩 박스이다.

단계(620)에서 영상 처리 장치는, 상기 공간 트리 구조에서 상기 바운딩 박스를 포함하는 제1 셀을 결정한다. 상기 바운딩 박스를 포함하는 제1 셀은, 상기 바운딩 박스의 어느 일부분도 제외시키지 않고 모두 포함할 수 있는 최 하위 단계의 셀이다. 상기 제1 셀은 복수 개의 서브트리(subtree)의 리프 셀을 포함할 수 있다.

단계(630)에서 영상 처리 장치는, 상기 제1 셀의 서브트리의 리프 셀에 대하여 상기 볼과의 교차 여부를 결정한다.

단계(640)에서 영상 처리 장치는, 상기 볼과 교차하는 상기 리프 셀을 연관시킨다. 상기 서브트리의 리프 셀 중 상기 제1 볼과 교차하는 리프 셀에 상기 제1 볼의 참조 정보를 저장한다. 상기 리프 셀 중 상기 제1 볼과 교차하지 않는 리프 셀에는 상기 제1 볼의 참조 정보를 저장하지 않는다.

단계(650)에서 영상 처리 장치는, 상기 바운딩 박스에 포함되는 추가의 리프 셀이 있는지 판단한다. 예를 들어, 상기 제1 셀의 복수 개의 서브트리의 리프 셀 중 단계(630)에서 교차 여부를 판단하지 않은 셀이 있는 경우, 영상 처리 장치는 단계(630)으로 진행한다.

도 7은 본 발명의 일실시예에 따라 영상을 구성하는 포인트들의 위치 정보를 쿼드 트리 구조로 저장하는 방법을 도시한 흐름도이다.

단계(710)에서, 영상 처리 장치는 포인트의 위치 정보를 삽입할 셀을 탐색한다. 본 실시예에 따르면, 객체의 영상을 구성하는 포인트들의 위치 정보는 쿼드트리(quad tree) 구조로 저장된다. 영상 처리 장치는 단계(110)에서 포인트의 위치 정보를 삽입할 쿼드트리의 셀을 탐색한다. 쿼드트리는 각 노드들이 최대 4개의 자식 노드(children node)를 가질 수 있는 트리 데이터 구조이다.

단계(720)에서, 영상 처리 장치는 복수 개의 포인트의 각각을 쿼드트리 구조의 리프 셀에 연관시킨다. 포인트 기반의 3D 데이터를 저장하기 위해 복수 개의 포인트 각각에 셀이 할당된다. 영상 처리 장치는 단계(710)에서 탐색된 쿼드트리 의 리프 셀에 상기 포인트의 위치 정보를 저장한다.

단계(730)에서, 영상 처리 장치는 상기 복수 개의 포인트의 각각에 대응하여 원(circle)을 할당한다. 원은 포인트의 각각에 대응하여 하나씩 할당된다. 예를 들어, 제1 포인트에 대하여 제1 원이 할당되고, 제2 포인트에 대하여 제2 원이 할당된다. 볼은 반지름을 가진다.

본 발명의 일실시예에 따르면, 각각의 포인트에 대응하여 할당되는 상기 원은 미리 정해진 반지름을 가진다. 예를 들어, 모든 포인트에 대하여 동일한 반지름의 원이 할당될 수 있다. 본 발명의 또 다른 실시예에 따르면, 각각의 포인트에 대응하여 할당되는 상기 원은 적응적 반지름(adaptive radius)을 가진다. 이 경우, 각각의 포인트에 대응하여 할당되는 상기 원의 반지름은 고정적이지 않고 가변적이다. 또한, 포인트의 각각에 대응하는 원의 반지름은 서로 다를 수 있다. 예를 들어, 상기 원의 반지름은, 상기 복수 개의 포인트의 각각에 연관된 리프 셀에 연관된 포인트의 밀도에 따라 결정될 수 있다. 본 발명의 또 다른 실시예에 따르면, 상기 제1 포인트로부터 k번째 가까운 점과의 거리를 상기 원의 반지름(radius)으로 결정한다. 상기 k는 1 이상의 자연수이다. 이 경우, 상기 제1 포인트로부터 가까운 점들의 수가 증가할수록, 상기 제1 포인트로부터 k번째 가까운 점과의 거리는 작아지게 되므로, 상기 제1 포인트에 할당된 원의 반지름은 작아지게 된다.

단계(740)에서, 영상 처리 장치는, 상기 포인트에 할당된 원과 교차하는 셀을 검색한다. 영상 처리 장치는 (1) 상기 포인트에 할당된 원의 반지름과 (2) 상기 포인트로부터 상기 포인트가 속한 셀의 이웃 셀까지의 거리를 비교함으로써, 상 기 포인트에 할당된 원과 교차하는 셀을 검색할 수 있다.

단계(750)에서, 원을 상기 원이 교차하는 리프 셀과 연관시킨다. 원은 포인트에 대하여 할당되는데, 우선 상기 원은 상기 포인트와 연관된 셀에 연관된다. 예를 들어, 제1 포인트가 제1 셀에 저장되어 있고, 상기 제1 포인트에 대하여 제1 원이 할당되었으면, 상기 제1 원은 상기 제1 셀과 연관된다. 구체적으로, 상기 제1 원의 참조 정보가 상기 제1 셀에 저장된다. 또한, 상기 원과 교차하는 다른 셀이 있는 경우, 상기 원은 상기 다른 셀들과도 연관된다. 예를 들어, 상기 다른 셀들도 상기 원의 참조 정보(reference information)를 저장한다. 따라서, 본 발명에 따르면, 셀을 참조하면, 상기 셀과 교차되는 원들에 관한 정보를 얻을 수 있다.

본 실시예에 따르면, 객체의 영상을 구성하는 포인트들 중 하나의 제1 포인트로부터 상기 포인트가 저장된 리프 셀을 정보를 얻고, 상기 리프 셀로부터 상기 리프 셀과 교차되는 원들에 대응하는 포인트들의 정보를 쉽게 구할 수 있다. 상기 구해진 포인트들은 상기 제1 포인트와 가까이 위치한 포인트들이다. 따라서, 본 실시예에 따르면, 객체의 영상을 구성하는 포인트들 중 임의의 포인트와 가까이 위치한 다른 포인트들에 대한 정보를 용이하게 얻을 수 있다.

단계(760)에서, 본 발명의 일실시예에 따르면, 영상 처리 장치는, 상기 원이 교차하는 리프 셀의 분할 여부를 결정한다. 본 발명의 일실시예에 따른 쿼드 트리 구조는 반복적으로 셀을 나눔(split)으로써 계층적인 트리 구조를 형성한다. 이 경우, (1) 미리 정해진 최대 트리 깊이(tree depth)에 도달한 경우, 및 (2) 셀이 미리 정해진 최소 개수의 포인트를 가지고, 셀의 대각선의 길이가 평균 원의 크기 보다 작은 경우 중 하나의 조건을 만족하는 경우 셀 분할을 멈추고, 리프 셀을 결정한다.

도 8은 본 발명의 일실시예에 따라 포인트들의 위치 정보를 쿼드 트리로 저장하는 경우를 설명하기 위한 도면이다.

도 8에 도시된 바와 같이, 본 실시예에 따르면, 객체의 영상을 구성하는 포인트들의 위치 정보는 쿼드트리 구조로 저장된다. 도 8에서, 포인트(830)에 대응하여 원이 할당되어 있다. 도 8에서 상기 원은 셀들(831, 832, 833, 834, 845, 836, 837) 등과 교차한다. 이 경우, 상기 원과 교차하는 셀들(831, 832, 833, 834, 845, 836, 837)은 상기 원에 대한 참조 정보를 저장한다. 원에 대한 참조 정보는 상기 볼에 관한 정보를 저장하고 있는 메모리 공간에 대한 포인터(pointer)일 수 있다.

도 9는 본 발명의 일실시예에 따라 쿼드트리에서 근접한 포인트를 검색하여 MLS 표면을 생성하는 방법을 도시한 흐름도이다.

단계(910)에서, 영상 처리 장치는, 상기 쿼드트리 구조에서 상기 복수 개의 포인트 중 제1 포인트와 연관된 제1 리프 셀을 탐색한다. 영상 처리 장치는 객체의 영상을 구성하는 복수 개의 포인트들 중 제1 포인트의 위치 정보가 저장된 제1 리프 셀을 탐색한다. 영상 처리 장치는 상기 쿼드트리를 트리 검색(tree traversal)함으로써, 상기 제1 포인트가 저장된 제1 리프 셀을 탐색할 수 있다.

단계(920)에서, 영상 처리 장치는, 상기 제1 리프 셀과 교차하는 제2 원을 탐색한다. 도 7의 단계(740) 및 단계(750)를 통하여, 제1 리프 셀과 교차하는 원 의 참조 정보는 제1 리프 셀에 저장되어 있다. 따라서, 영상 처리 장치는, 단계(920)에서 제1 리프 셀에 저장되어 있는, 제1 리프 셀과 교차하는 원의 참조 정보를 판독함으로써, 제1 리프 셀과 교차하는 제2 원에 관한 정보를 얻을 수 있다. 경우에 따라, 제1 리프 셀과 교차하는 원은 복수 개일 수 있다. 이 경우, 상기 제1 리프 셀과 교차하는 복수 개의 원에 관한 정보가 제1 리프 셀에 저장된다.

단계(930)에서, 영상 처리 장치는, 상기 제2 원에 대응하는 제2 포인트를 탐색한다. 도 7의 단계(730)에서, 쿼드트리 구조에 저장되는 포인트들의 각각에 대응하여 원이 할당되었다. 단계(930)은, 단계(730)에서의 포인트 및 원의 대응 관계를 이용하여, 상기 제2 원에 대응하는 제2 포인트를 탐색한다. 예를 들어, 원의 각각은 자신에 대응하는 포인트의 참조 정보를 저장하고 있을 수 있다. 이 경우, 영상 처리 장치는 원에 저장된 포인트의 참조 정보를 이용하여 상기 원에 대응하는 포인트의 정보를 얻을 수 있다.

단계(940)에서, 영상 처리 장치는, 상기 제1 리프 셀과 교차하는 원이 더 이상 없는지 결정한다. 제1 리프 셀과 교차하는 원이 복수 개인 경우에는, 상기 복수 개의 원의 각각에 대응하여, 복수 개의 포인트들의 정보가 얻어진다. 예를 들어, 제1 리프 셀과 교차하는 원이 원_A, 원_B의 2개인 경우, 단계(920)에서 먼저 원_A가 탐색되고, 단계(930)에서 원_A에 대응하는 포인트_A가 탐색된다. 그 다음 단계(940)에서 제1 리프 셀과 교차하는 원이 더 있으므로, 다시 단계(920)로 돌아가서 원_B가 탐색된다. 그 다음, 단계(930)에서 원_B에 대응하는 포인트_B가 탐색된다. 제1 리프 셀과 교차하는 모든 원에 대응하는 포인트의 정보가 얻어지면, 영 상 처리 장치는 단계(950)로 진행한다.

단계(950)에서, 영상 처리 장치는, 상기 제1 포인트 및 상기 제2 포인트에 기초하여 MLS 표면(MLS surface)을 생성한다. 단계(910) 내지 단계(940)을 통하여, 영상 처리 장치는 객체의 영상을 구성하는 하나의 포인트와 상기 포인트의 주위에 있는 포인트들의 정보를 얻게 된다. 영상 처리 장치는 상기 포인트에게 MLS오퍼레이터를 적용하여 MLS 표면을 생성한다. 또한, MLS 오퍼레이터 외에 다른 프로젝터 오퍼레이터를 사용하여 프로젝터 표면을 생성할 수 있는데, 이는 본 실시예의 균등 범위에 속한다.

본 발명에 따른 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 일실시예에 따라 영상을 구성하는 포인트들의 위치 정보를 공간 트리 구조로 저장하는 방법을 도시한 흐름도이다.

도 2는 본 발명의 일실시예에 따라 포인트들의 위치 정보를 팔진트리로 저장하는 경우를 설명하기 위한 도면이다.

도 3은 본 발명의 일실시예에 따라 근접한 포인트를 검색하여 MLS 표면을 생성하는 방법을 도시한 흐름도이다.

도 4는 본 발명의 일실시예에 따라 MLS 표면을 이용하여 만들어진 3D 영상의 일례를 도시한 도면이다.

도 5는 본 발명의 일실시예에 따라 각 포인트에 대응하는 볼을 결정하는 방법을 도시한 흐름도이다.

도 6은 본 발명의 일실시예에 따라 리프 셀에 상기 리프 셀과 교차하는 볼(ball)의 정보를 삽입하는 방법을 도시한 흐름도이다.

도 7은 본 발명의 일실시예에 따라 영상을 구성하는 포인트들의 위치 정보를 쿼드 트리 구조로 저장하는 방법을 도시한 흐름도이다.

도 8은 본 발명의 일실시예에 따라 포인트들의 위치 정보를 쿼드 트리로 저장하는 경우를 설명하기 위한 도면이다.

도 9는 본 발명의 일실시예에 따라 쿼드 트리에서 근접한 포인트를 검색하여 MLS 표면을 생성하는 방법을 도시한 흐름도이다.

Claims (13)

1. 포인트 군(point cloud) 기반의 3D 데이터 처리 방법에 있어서,

   복수 개의 포인트의 각각과 공간 트리 구조의 리프 셀 간의 연관을 결정하는 단계;

   상기 복수 개의 포인트의 각각에 대응하여 볼을 할당하는 단계; 및

   상기 볼을 상기 볼이 교차하는 리프 셀과 연관시키는 단계 -상기 볼이 교차하는 리프 셀은 연관된 상기 볼의 참조 정보를 저장함-

   를 포함하는 것을 특징으로 하는 3D 데이터 처리 방법.
2. 제1항에 있어서,

   상기 공간 트리 구조에서 상기 복수 개의 포인트 중 제1 포인트와 연관된 제1 리프 셀을 탐색하는 단계;

   상기 제1 리프 셀과 교차하는 제2 볼을 탐색하는 단계; 및

   상기 제2 볼에 대응하는 제2 포인트를 탐색하는 단계

   를 더 포함하는 것을 특징으로 하는 3D 데이터 처리 방법.
3. 제2항에 있어서,

   상기 제1 포인트 및 상기 제2 포인트에 기초하여 MLS 표면을 생성하는 단계

   를 더 포함하는 것을 특징으로 하는 3D 데이터 처리 방법.
4. 제1항에 있어서, 상기 복수 개의 포인트의 각각에 대응하여 볼을 할당하는 단계는,

   상기 복수 개의 포인트의 각각에 대응하여 적응적 반지름을 가지는 볼을 할당하는 것을 특징으로 하는 3D 데이터 처리 방법.
5. 제4항에 있어서, 상기 복수 개의 포인트의 각각에 대응하여 할당되는 상기 볼은,

   상기 복수 개의 포인트의 각각에 연관된 상기 리프 셀에 연관된 포인트의 밀도에 따라 상기 볼의 반지름이 결정되는 것을 특징으로 하는 3D 데이터 처리 방법.
6. 제1항에 있어서, 상기 복수 개의 포인트의 각각에 대응하여 볼을 할당하는 단계는,

   상기 복수 개의 포인트 중 제1 포인트와 연관된 제1 리프 셀을 탐색하는 단계;

   상기 제1 리프 셀에 연관된 포인트들 중에서 k개의 근접 포인트를 선택하는 단계 -상기 k는 자연수-;

   상기 k개의 근접 포인트 중 상기 제1 포인트와 가장 먼 포인트와의 제1 거리를 결정하는 단계;

   상기 제1 포인트와 상기 공간 트리 구조의 제2 셀의 바운딩 박스(bounding box)까지의 거리가 상기 제1 거리보다 작은 경우, 상기 제2 셀의 서브트리의 리프 셀과 연관된 포인트와 상기 제1 포인트 사이의 거리에 따라 상기 k개의 근접 포인트를 갱신하는 단계; 및

   상기 k개의 근접 포인트에 기초하여 상기 제1 포인트에 대응하는 상기 볼을 결정하는 단계

   를 포함하는 것을 특징으로 하는 3D 데이터 처리 방법.
7. 제1항에 있어서, 상기 볼을 상기 볼이 교차하는 리프 셀과 연관시키는 단계는,

   상기 볼의 바운딩 박스를 결정하는 단계;

   상기 공간 트리 구조에서 상기 바운딩 박스를 포함하는 제1 셀을 결정하는 단계;

   상기 제1 셀의 서브트리의 리프 셀에 대하여 상기 볼과의 교차 여부를 결정하는 단계; 및

   상기 볼과 교차하는 상기 리프 셀을 연관시키는 단계

   를 포함하는 것을 특징으로 하는 3D 데이터 처리 방법.
8. 제1항에 있어서,

   상기 볼이 교차하는 리프 셀의 분할 여부를 결정하는 단계

   를 더 포함하는 것을 특징으로 하는 3D 데이터 처리 방법.
9. 제8항에 있어서, 상기 볼이 교차하는 리프 셀의 분할 여부를 결정하는 단계는,

   상기 리프 셀의 대각선의 길이가 상기 복수 개의 포인트의 각각에 대응한 상기 볼의 평균 지름보다 큰 경우, 상기 볼이 교차하는 상기 리프 셀을 분할하는 것을 특징으로 하는 3D 데이터 처리 방법.
10. 제1항에 있어서,

    상기 공간 트리 구조는 팔진트리(octree) 또는 kdtree인 것을 특징으로 하는 3D 데이터 처리 방법.
11. 포인트 군(point cloud) 기반의 3D 데이터 처리 방법에 있어서,

    복수 개의 포인트의 각각과 쿼드 트리 구조의 적어도 하나의 리프 셀 간의 연관을 결정하는 단계;

    상기 복수 개의 포인트의 각각에 대응하여 볼을 할당하는 단계; 및

    상기 볼을 상기 볼이 교차하는 리프 셀과 연관시키는 단계 -상기 볼이 교차하는 리프 셀은 연관된 상기 볼의 참조 정보를 저장함-

    를 포함하는 것을 특징으로 하는 3D 데이터 처리 방법.
12. 제11항에 있어서,

    상기 쿼드 트리 구조에서 상기 복수 개의 포인트 중 제1 포인트와 연관된 제1 리프 셀을 탐색하는 단계;

    상기 제1 리프 셀과 교차하는 제2 볼을 탐색하는 단계; 및

    상기 제2 볼에 대응하는 제2 포인트를 탐색하는 단계

    를 더 포함하는 것을 특징으로 하는 3D 데이터 처리 방법.
13. 제1항 내지 제12항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.

Images