KR20130085199A

KR20130085199A - 평면 검출 장치 및 방법

Info

Publication number: KR20130085199A
Application number: KR1020120006183A
Authority: KR
Inventors: 이선민; 김도균; 이영범; 이태현
Original assignee: 삼성전자주식회사
Priority date: 2012-01-19
Filing date: 2012-01-19
Publication date: 2013-07-29
Also published as: KR101909544B1; US20130188861A1; US9449393B2

Abstract

입력 깊이 영상으로부터 적어도 하나의 평면 모델을 검출하는 평면 검출 장치가 제공된다. 상기 평면 검출 장치는 상기 입력 깊이 영상을 복수 개의 패치로 분할하는 영상 분할부, 상기 복수 개의 패치들 각각에 대한 평면 모델을 계산하는 평면 모델 추정부, 및 상기 복수 개의 패치들 각각에 대한 평면 모델을 서로 비교하여, 평면 모델의 유사도가 제1 임계치 이상인 패치들을 반복적으로 병합해 나아가는 패치 병합부를 포함할 수 있다. 이 경우, 상기 평면 검출 장치는 상기 패치 병합부가 더 이상 평면 모델의 유사도가 제1 임계치 이상인 패치들이 존재하지 않는 경우에, 이전에 병합된 패치들을 이용하여 상기 입력 깊이 영상에 대한 적어도 하나의 최종 평면 모델을 결정할 수 있다.

Description

평면 검출 장치 및 방법{APPARATUS AND METHOD FOR PLANE DETECTION}

오브젝트에 대한 공간 정보로부터 평면 모델을 검출하는 장치 및 방법에 연관되며, 보다 특정하게는 오브젝트를 촬영한 깊이 영상이나 상기 오브젝트에 연관된 3D(3-Dimensional) 포인트 군(point cloud)으로부터 상기 오브젝트에 연관된 평면 모델을 검출하는 장치 및 방법에 연관된다.

3D 공간에 대한 모델링 및 그 응용에 대한 관심이 높아지고 있다. 3D 공간을 이해하기 위해서는 복잡한 공간을 기본 프리미티브(primitive)로 분해하는 방식을 활용한다.

이를테면, 실내 공간에는 벽, 천장, 바닥, 책상 등 평면으로 이루어진 영역이 많기 때문에 공간 상에 존재하는 다수의 평면을 검출하여 활용하는 방식이 유용하다.

이러한 방식의 종래 기술로는 RANSAC (Random sample consensus)이 소개되었는데, 이는 관측된 3D 공간 데이터를 설명할 수 있는 모델을 추정하기 위한 일반적인(general) 프레임 워크로, 깊이 영상에서 평면을 추정하기 위하여도 사용될 수 있다.

이 방식에서는 모델 추정에 필요한 최소 점(평면의 경우 3개)을 임의로 선택하여 평면 모델을 추정하고, 이 모델에 부합하는(supported)하는 점들의 개수가 일정 임계치 이상인 경우 최종 평면 모델로 확정한다.

그러나, 이러한 RANSAC 방식의 경우, 3D 공간 내의 평면이 복수 개가 아닌 단일의 평면일 때 유효하며, 복수 개의 평면을 포함하는 3D 공간의 평면 모델에서는 유효하지 못하다.

복수 개의 평면을 추정할 수 있는 변형 기법들(variation), 이를테면 시퀀셜 RANSAC(Sequential RANSAC), 멀티 RANSAC 등이 소개되어 있으나, 여전히 최적의 솔루션을 제공하지 못하거나, 평면의 개수를 사용자가 미리 지정해주어야 하는 불편이 있고, 특히 노이즈가 많이 포함된 3D 정보에서는 신뢰하지 못한다.

깊이 영상이나 포인트 클라우드로부터 3D 공간의 평면 모델을 효율적이고 정확하게 추정하는 평면 검출 장치 및 방법이 제공된다.

또한 깊이 영상이나 포인트 클라우드에 노이즈가 많이 포함된 경우에도, 신뢰할 수 있는 평면 모델을 빠르게 추정할 수 있는 평면 검출 장치 및 방법이 제공된다.

본 발명의 일측에 따르면, 입력 깊이 영상을 복수 개의 패치로 분할하는 영상 분할부, 상기 복수 개의 패치 각각에 대한 평면 모델을 계산하는 평면 모델 추정부, 및 상기 복수 개의 패치 각각에 대한 평면 모델을 서로 비교하여 제1 패치를 상기 제1 패치와 상이한 적어도 하나의 제2 패치와 병합하는 패치 병합부를 포함하는 평면 검출 장치가 제공된다.

본 발명의 일실시예에 따르면, 상기 평면 검출 장치는, 상기 입력 깊이 영상 또는 상기 복수 개의 패치 각각으로부터, 노이즈 픽셀을 제거하는 노이즈 제거부를 더 포함한다.

본 발명의 일실시예에 따르면, 상기 패치 병합부는, 상기 제1 패치와 상기 제2 패치 각각의 노말 벡터를 계산하여, 계산된 노말 벡터들의 내적이 제1 임계치 이상인 경우에 상기 제1 패치와 상기 제2 패치를 병합한다.

이 경우, 상기 패치 병합부는, 상기 제1 패치와 상기 제2 패치 각각의 픽셀의 깊이 값 평균을 더 비교하여, 상기 제1 패치와 상기 제2 패치의 픽셀 값 평균의 차가 제2 임계치 이하인 경우에 상기 제1 패치와 상기 제2 패치를 병합할 수 있다.

또한, 상기 패치 병합부는, 상기 입력 깊이 영상 내에서 상기 제1 패치의 위치와 상기 제2 패치의 위치가 제3 임계치 이하인 경우에 상기 제1 패치와 상기 제2 패치를 병합할 수 있다.

본 발명의 일실시예에 따르면, 상기 평면 검출 장치는, 상기 복수 개의 패치 중 제3 패치에 속한 픽셀들이 상기 제3 패치에 대한 평면 모델과 일치하는 정도가 제4 임계치 이하인 경우, 상기 제3 패치를 비평면 패치인 유효하지 않은 패치로 분류하는 유효 패치 선별부를 더 포함한다.

이 경우, 상기 제3 패치에 속한 픽셀들이 상기 제3 패치에 대한 평면 모델과 일치하는 정도는 R² 테스트(R-squared Test)에 의해 결정될 수 있다.

한편, 상기 평면 모델 추정부는, 상기 병합된 결과 생성되는 수퍼 패치에 대한 새로운 평면 모델을 계산할 수 있다.

여기서, 상기 평면 검출 장치는 상기 입력 깊이 영상의 전체 픽셀들 중 상기 수퍼 패치에 대한 새로운 평면 모델을 만족하는 픽셀들의 집합인 컨센서스 세트를 구성하는 컨센서스 세트 구성부를 더 포함할 수 있다.

이 경우, 상기 평면 모델 추정부는, 상기 수퍼 패치에 대응하여 구성된 컨센서스 세트에 포함된 전체 픽셀들을 이용하여 상기 수퍼 패치에 대한 새로운 평면 모델을 재조정할 수 있다.

본 발명의 다른 일측에 따르면, 입력 깊이 영상을 복수 개의 패치로 분할하는 영상 분할부, 상기 복수 개의 패치들 각각에 대한 평면 모델을 계산하는 평면 모델 추정부, 및 상기 복수 개의 패치들 각각에 대한 평면 모델을 서로 비교하여, 평면 모델의 유사도가 제1 임계치 이상인 패치들을 반복적으로 병합해 나아가는 패치 병합부를 포함하고, 상기 패치 병합부가 더 이상 평면 모델의 유사도가 제1 임계치 이상인 패치들이 존재하지 않는 경우에, 이전에 병합된 패치들을 이용하여 상기 입력 깊이 영상에 대한 적어도 하나의 최종 평면 모델을 결정하는 평면 검출 장치가 제공된다.

본 발명의 또 다른 일측에 따르면, 평면 검출 장치가 입력 깊이 영상에 대한 적어도 하나의 평면 모델을 검출하는 방법에 있어서, 상기 평면 검출 장치의 영상 분할부가 상기 입력 깊이 영상을 복수 개의 패치로 분할하는 영상 분할 단계, 상기 평면 검출 장치의 평면 모델 추정부가 상기 복수 개의 패치 각각에 대한 평면 모델을 계산하는 평면 모델 추정 단계, 및 상기 평면 검출 장치의 패치 병합부가 상기 복수 개의 패치 각각에 대한 평면 모델을 서로 비교하여 제1 패치를 상기 제1 패치와 상이한 적어도 하나의 제2 패치와 병합하는 패치 병합 단계를 포함하는 평면 검출 방법이 제공된다.

깊이 영상이나 포인트 클라우드로부터 3D 공간의 평면 모델이 빠르고 정확하게 추정될 수 있다.

특히, 깊이 영상이나 포인트 클라우드에 노이즈가 많이 포함된 경우에도, 신뢰할 수 있는 평면 모델이 추정될 수 있다.

도 1은 본 발명의 일실시예에 따른 평면 검출 장치를 도시하는 블록도이다.
도 2는 본 발명의 일실시예에 따라 평면 검출 장치가 예시적 깊이 영상을 분할하는 과정을 설명하기 위한 개념도이다.
도 3은 본 발명의 일실시예에 따라 평면 검출 장치의 노이즈 제거부가 패치 내의 노이즈 픽셀을 제거하는 과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 일실시예에 따라 평면 검출 장치의 유효 패치 선별부가 비평면 패치들을 제거하는 과정을 설명하기 위한 개념도이다.
도 5 내지 도 6은 본 발명의 일실시예에 따라 평면 검출 장치의 패치 병합부가 패치들을 병합하고 컨센서스 세트 구성부가 컨센서스 세트를 구성하는 과정을 설명하기 위한 개념도이다.
도 7은 본 발명의 일실시예에 따라 도 2의 예시적 깊이 영상에 대한 최종 평면 검출이 수행된 결과를 설명하기 위한 개념도이다.
도 8은 본 발명의 일실시예에 따른 평면 검출 방법의 흐름도이다.

이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 평면 검출 장치(100)를 도시하는 블록도이다.

본 발명의 일실시예에 따르면 평면 검출 장치(100)의 영상 분할부(110)는 입력 깊이 영상(depth image)을 복수 개의 패치(patch)들로 분할한다.

상기 패치는 입력 깊이 영상을 분할하여 생성되는 단위 영역으로 이해될 수 있으며, 표현에 따라서는 블록(block), 타일(tile) 등으로 이해될 수도 있다. 또한, 패치들의 크기는 동일할 수 있으며, 다른 실시예에서는 패치들의 크기가 서로 상이할 수도 있다.

그러므로, 본 발명의 실시예들을 설명하는 과정에서, '패치'라는 용어에 의해 본 발명의 범위가 한정적으로 해석되어서는 안 되며, 패치들의 크기가 모두 동일한 경우만으로 해석되지 않는다.

따라서 본 명세서 및 청구범위를 통해 이 기술 분야의 통상의 지식을 가진 자가 이해할 수 있는 다른 어떤 용어나 변형도 본 발명에서 제외되어 해석되지 아니한다.

한편, 상기 입력되는 깊이 영상은 여하간의 방법으로 입력되는 3D 공간의 포인트 클라우드(point cloud)의 일 예이며, 3D 공간의 기하(geometry) 정보를 포함하는 데이터는 본 발명의 실시예들에 따른 평면 검출 장치(100)에 입력되어, 후술하는 과정을 통한 평면 검출이 가능하다.

따라서, 이하에서는 평면 검출 장치(100)에 깊이 영상이 입력되어 평면 검출을 수행하는 내용을 예시적으로 설명하지만, 이하에서 별다른 언급이 없더라도 평면 검출 장치(100)에 입력되는 데이터에는 상기 깊이 영상뿐만 아니라, 여하간의 3D 공간의 기하 정보가 포함되는 것으로 해석되어야 한다.

입력되는 데이터가 깊이 영상인 경우에, 깊이 영상은 이를 테면 레이저 스캐너(laser scanner), 범위 센서(range sensor), 깊이 센서나 깊이 카메라(depth sensor or depth camera) 등으로부터 획득되는 것일 수 있다. 나아가, 깊이 영상은 동일한 3D 공간을 서로 다른 시점(point of view)에서 촬영한 복수 개의 칼라 영상(color image)로부터 간접적으로 획득되는 것일 수도 있다.

깊이 영상의 분할 과정에 대해서는 도 2를 참조하여 보다 상세히 후술한다.

한편, 영상 분할부(110)가 입력 깊이 영상을 복수 개의 패치들로 분할하면, 노이즈 제거부(120)는 각 패치들에 포함된 깊이 영상의 픽셀들에 대해 노이즈 제거를 수행할 수 있다. 노이즈 제거 과정에 대해서는 도 3을 참조하여 보다 상세히 후술한다.

그러면, 평면 모델 추정부(130)는 먼저 각각의 패치들에 대해 평면 모델을 추정하여, 각각의 패치들에 대응하는 개별 평면 모델을 검출한다. 따라서, 이 과정에서는, 영상 분할부(110)가 깊이 영상을 분할하여 생성한 패치들의 수만큼의 평면 모델들이 검출된다. 각각의 패치들에 대한 평면 모델 검출에 대해서는 도 4를 참조하여 보다 상세히 후술한다.

상기한 패치들 중 일부는 실제 평면 형태인(planar) 부분에 대응하고, 다른 일부는 평면과 평면이 만나는 모서리(edge or valley)이거나, 곡면과 같은 비 평면 형태(non-planar) 부분에 대응한다.

이 경우, 유효 패치 선별부(140)는 비 평면 형태의 패치들은 평면 검출을 수행하지 않고 평면 검출 과정에서 제거한다. 비 평면 검출에 대한 자세한 내용은 도 4를 참조하여 후술한다.

유효 패치 선별부(140)가 평면 형태의 패치들만을 선별한 상태에서, 패치 병합부(150)는 각각의 개별 패치들의 평면 모델을 비교하여, 유사한 평면으로 판단되는 패치들은 하나의 수퍼 패치(super patch)로 병합해 나아간다.

이 과정에서 개별 패치들의 평면 모델에 대한 노말 벡터(normal vector)의 내적 계산에 의해 평면 모델의 유사성을 비교할 수 있다. 노말 벡터는 크기가 1이며, 평면 모델의 노말 방향 정보를 제공하는 벡터이다. 병합 여부를 판단하는 대상인 두 패치들(이는 최초의 패치일 수도 있고, 이미 몇 개의 패치들이 병합된 수퍼 패치일 수도 있음) 사이의 내적이 일정 임계치, 이를테면 0.8 이상이면 동일한 평면으로 판단될 수도 있다.

한편, 본 발명의 일실시예에 따르면, 두 패치들의 병합 여부의 판단에 있어서 대상 패치들 사이의 거리가 고려된다. 서로 멀리 떨어져 있는 패치들은 노말 벡터 방향이 유사하더라도, 서로 다른 평면일 수도 있기 때문이다.

또한, 본 발명의 다른 일실시예에 따르면, 두 패치들의 병합에 있어서, 패치들 내의 깊이 값(후술할 Z축 방향의 값) 평균이 비교될 수도 있다. 노이즈는 미리 제거되었기 때문에, 패치들 내의 픽셀들의 평균 값에 따라, 패치들이 동일한 평면에 속하는 것인지의 여부를 판단할 수 있다.

그리고, 상기한 패치 병합 과정을 통해 패치들이 병합되어 수퍼 패치가 된 경우, 평면 모델 추정부(130)는 병합된 수퍼 패치에 포함된 전체 픽셀들을 반영하여 다시 상기 수퍼 패치의 평면 모델을 추정한다.

그러면 컨센서스 세트 구성부(160)는 상기 수퍼 패치의 평면 모델과 상기 입력 깊이 영상 전체에 대해 컨센서스 세트를 구성하며, 평면 모델 추정부(130)는 상기 컨센서스 세트를 이용하여 상기 수퍼 패치의 평면 모델을 재조정할 수 있다.

이러한 과정이, 더 이상 병합될 패치 쌍이 존재하지 않을 때까지 회귀적으로(recursively) 반복되며, 병합이 모두 완료되면 평면 모델 추정부(130)는 병합 완료 후에 남아 있는 수퍼 패치들 각각에 대한 최종 평면 모델을 확정한다.

상기 컨센서스 세트 구성 및 이를 이용한 평면 모델의 추정 및 조정 등의 과정은 도 5 내지 도 6을 참조하여 보다 상세히 후술한다.

도 2는 본 발명의 일실시예에 따라 평면 검출 장치(100)의 영상 분할부(110)가 예시적 깊이 영상을 분할하는 과정을 설명하기 위한 개념도이다.

예시적 깊이 영상(200)이 입력되면, 영상 분할부(110)는 깊이 영상(200)을 복수 개의 패치들로 분할한다.

이렇게 분할된 패치들, 이를테면 패치(210)은 예를 들어 가로 세로 각각 n 개의 픽셀들(220)을 포함할 수 있다. 여기서 n은 자연수이다.

도 3은 본 발명의 일실시예에 따라 평면 검출 장치의 노이즈 제거부(120)가 패치 내의 노이즈 픽셀을 제거하는 과정을 설명하기 위한 개념도이다.

일반적으로 깊이 영상에는 다양한 원인들에 의한 노이즈 픽셀이 존재한다. 이러한 노이즈의 원인에는 깊이 영상 획득에 사용되는 적외선의 광학적 특성, 자연에 존재하는 적외선에 따른 센서의 반응, 깊이 접힘(depth folding) 등이 있다.

따라서, 노이즈 제거부(120)는 이렇게 깊이 영상에 존재하는 노이즈 픽셀들을 미리 제거하여 평면 모델 추정에 있어서의 정확성을 높인다. 한편, 노이즈 제거부(120)는 상기한 바와 같이 영상 분할부(110)의 패치 분할 후에 노이즈를 제거할 수 있지만, 실시예에 따라서는 패치 분할 전에라도 깊이 영상 노이즈 제거를 수행할 수도 있다.

노이즈 제거부(120)의 노이즈 제거 과정은 도 3에 도시된 바와 같이, 패치 내에 존재하는 픽셀들(310)로부터 아웃라이어(outlier) 픽셀(311)을 제거하는 일반적인 과정으로 이해될 수 있다.

X-Y 평면(plane)과 직교하는 Z축 방향의 값이 픽셀들(310)의 깊이 값인데, 아웃라이어 픽셀(311)은 다른 픽셀들과 깊이 값이 크게 차이가 난다. 따라서, 전체 픽셀들(310)의 깊이 값 평균에서, 미리 지정된 크기 이상 벗어나는 픽셀은 노이즈로서 제거할 수 있다.

이러한 노이즈 제거는 해당 아웃라이어 픽셀(311)의 깊이 값을 전체 픽셀들(310)의 깊이 값 평균 수준으로 보정하는 등의 방법에 의해 수행될 수 있다.

또는, 다른 실시예에서는 아웃라이어 픽셀(311)은 이후의 모든 평면 모델 추정과정 등에서 반영하지 않고 제거하는 방법도 가능하다.

이러한 노이즈 제거 과정이 수행된 이후에, 평면 모델 추정부(130)는 아직 병합되지 않은 개별 패치들 각각의 평면 모델을 추정할 수 있다.

이 과정에서는 어느 한 개별 패치 내에 존재하는 픽셀들은 동일한 평면에 있다고 가정하고 해당 패치를 대표할 수 있는 평면 모델이 추정된다.

보다 구체적으로, 노이즈 제거가 완료된 어느 특정한 패치 내의 픽셀들의 집합을

라 할 때,

의 식을 이용하여 평면 모델의 추정 값(Plane Hypothesis)를 계산한다. 상기 평면 모델의 추정 값을 계산하기 위한 한 실시 예로는 아래 수학식에 포함된 LSF(least square fitting) 방식이 가능하다.

상기 수학식 1에서

는

(i 번째 패치의 노이즈가 아닌 픽셀들의 집합) 내에 존재하는 원소의 개수이다. 주어진

,

에 대한 선형 방정식은 아래와 같다.

상기 수학식 2를 만족하는 해(solution) X가 평면 방정식인 아래 수학식 3의 계수(coefficient)가 될 수 있다.

이러한 과정에서 각각의 패치들에 대한 평면 모델들이 추정되었다. 그러면, 이하에서는 상기 도 1을 참조해서 설명한 바와 같이, 유효 패치 선별 내지 패치 병합, 그리고 컨센서스 세트 구성 등의 과정이 반복적으로 수행될 수 있다.

도 4는 본 발명의 일실시예에 따라 평면 검출 장치(100)의 유효 패치 선별부(140)가 비평면(non-Planar) 패치들을 제거하는 과정을 설명하기 위한 개념도이다.

상기한 개별 패치들 각각의 평면 모델 추정에 있어서는, 어느 단일의 패치는 하나의 평면에 대응한다는 가정에서 평면 모델 추정 값(Plane Hypothesis)을 계산하였다.

그러나, 실제 3D 공간에서 평면과 평면이 만나는 모서리 부분 등에 대응하는 패치의 경우에는, 해당 패치 내에 복수 개의 평면이 존재할 수도 있고, 평면이 존재하지 않을 수도 있다.

따라서, 유효 패치 선별부(140)는 상기 전체 패치 중에 평면(Planar) 패치만을 유효 패치로서 선별한다. 비평면(non-Planar) 패치들은 유효하지 않은 패치로 분류하여 이후의 패치 병합 및 평면 모델 추정 과정에서 제거한다.

본 발명의 일실시예에 따르면, 유효 패치 선별부(140)는 R²테스트(R-squared Test) 또는 결정 계수법(Coefficient of determination) 등의 방법을 이용하여 비평면 패치들을 제거할 수 있다.

상기 R² 테스트는 관측된 데이터인 특정 패치 내의 (노이즈 제거 후) 픽셀들의 깊이 값들이 해당 특정 패치에 대해 추정된 평면 모델에 얼마나 부합하는 지의 여부를 판별하기 위한 방법이다.

이 방법에서는, 어느 특정 패치에 포함된 픽셀들의 포인트 클라우드들이 하나의 평면을 이루는 것이라 가정하고 추정된 평면 모델이 실제 관측 데이터들인 픽셀 값이 값들을 반영하는 정도가 일정한 수준 이상인지를 판별하여, 테스트를 통과한 패치만을 평면 패치인 유효 패치로 선별한다. R² 테스트는 아래 수학식과 같이 수행될 수 있다.

상기 수학식 4에 포함된

는 어느 한 패치에 대해 계산된 평면 모델 추정 값에 따른 깊이 값이다. 그리고, 상기 수학식 4에서 아래의 관계도 성립한다.

그리고,

의 관계도 성립되며, 관측된 데이터가 모델에 정확하게 부합(fitting)할 경우 상기 수학식 4에서 R²은 1이 된다. R²이 1에 가까울수록 해당 패치는 실제 평면인 3D 공간의 부분을 잘 모델링한 것으로 이해될 수 있다. 이 R² 테스트에서 테스트 통과 조건을 R²이 1에 가까운 어느 임계치, 이를테면 0.9 이상인 경우만 테스트를 통과한 것으로 볼 수 있다.

그리고, 테스트를 통과하지 못한 패치는 유효하지 않은(invalid) 비평면 패치로 분류하여, 이후의 프로세스에서 제거한다.

도 4에 도시된 패치들(400) 중 패치(420)은 상기 테스트를 통과한 유효 패치이고, 패치(410) 등의 검은색 패치들은 상기 테스트를 통과하지 못한 패치들이다.

이렇게 유효 패치 선별이 완료되면, 패치들 간의 병합을 통한 수퍼 패치 생성이 시작된다. 다만, 상기 유효 패치 선별 과정은 이후의 과정에서 절대로 수행될 수 없는 것이 아니므로, 경우에 따라서는 비평면 패치들이 추가로 제거될 수도 있다.

도 5 내지 도 6은 본 발명의 일실시예에 따라 평면 검출 장치의 패치 병합부(150)가 패치들을 병합하고 컨센서스 세트 구성부(160)가 컨센서스 세트를 구성하는 과정을 설명하기 위한 개념도이다.

패치 병합부(150)는 동일 또는 유사 평면 공간 상에 존재하는 패치들을 판별하여 더 이상 병합할 패치가 존재하지 않을 때까지 반복적으로 유사 평면 패치들을 병합한다.

패치 병합부(150)가 더 이상 병합할 패치들이 존재하는 지의 여부를 판단하는 방법은 아래와 같다.

패치 병합이 반복적(iteratively)으로 수행되는 어느 단계에서, 패치 병합부(150)는 이전 반복 단계에서의 패치 평면 모델 추정 값(plane hypothesis)의 개수와 이번 단계에서의 평면 모델 추정 값의 개수가 동일한지 여부를 확인한다.

그래서, 상기 개수가 동일한 경우에는 병합 가능한 유사 패치가 더 이상 존재하지 않는다고 판단하여 반복(iteration)을 중단하고, 상기 개수가 다른 경우에는 아직 병합할 패치가 존재한다고 판단하여 다음 번 반복(iteration)을 수행하게 된다.

패치 병합부(150)는 패치의 평면 모델 간의 유사성을 판단하여 동일하거나, 유사도가 일정 수준 이상인 패치들을 병합하여 수퍼 패치를 생성한다. 수퍼 패치(510)은 이러한 과정에 의해 몇 개의 패치들이 이미 병합된 것이다.

평면 모델의 유사성 판단에 있어서, i 번째 패치의 평면 모델 추정 값(plane hypothesis)이

일때,

은 평면의 법선 벡터이고,

는 평면에서 원점까지의 거리로 정의될 수 있다.

그러면, 패치 i 번째 패치와 j 번째 패치 간의 비교는, 노말 벡터간의 방향 차이를 벡터 내적 값 계산에 의해 판단하거나(

), 원점으로부터의 거리 차이(

)를 계산하여, 각각의 값이 일정한 임계치보다 작은 경우인지를 판단하는 과정으로 이해될 수 있다.

이상의 과정은 도 1을 참조하여 상술한 패치 들 간의 병합 여부에 대한 실시예와 같으며, 또한 이 과정에서 패치 간의 거리가 고려될 수도 있음은 이미 상술하였다.

도 5의 분할 패치들(500) 중 패치(520)이 패치(520)의 수퍼 패치와 병합되어 도 6의 분할 패치들(600)에서는 수퍼 패치(610)에 포함되었다.

그러면, 평면 모델 추정부(130)는 병합된 수퍼 패치들 상의 노이즈 픽셀이 아닌 픽셀들을 이용하여, 해당 수퍼 패치 전체를 대표할 새로운 평면 모델을 다시 추정한다. 이러한 과정은 병합 전의 패치들 각각의 평면 모델을 재조정(refine)하는 것으로도 이해될 수 있으며, 이 과정에서는 상기 수학식 1 이하의 평면 모델 계산 과정이 수행될 수 있다. 상기 수학식 1 이하를 적용함에 있어서는,

는 병합된 수퍼 패치 내의 노이즈가 아닌 픽셀들이며,

는 수퍼 패치 내의 노이즈가 아닌 픽셀의 개수로 대치될 수 있다.

한편, 본 발명의 일실시예에 따르면, 컨센서스 세트 구성부(160)는 상기 재조정된 수퍼 패치의 평면 모델을 만족시키는 포인트 집합인 컨센서스 세트(consensus set)를 구한다.

이 과정에서는 특정한 패치 또는 특정한 수퍼 패치 내의 포인트만을 대상으로 하지 않으며, 전체 깊이 영상 내의 노이즈가 아닌 깊이 픽셀들 전체인 포인트 클라우드(point cloud)가 컨센서스 세트 구성의 대상이 된다.

컨센서스 세트는 특정한 패치 또는 특정한 수퍼 패치의 평면 모델 추정 값에 의한 평면으로부터, 깊이 영상 전체의 노이즈가 아닌 픽셀들의 수직 거리가 일정한 임계치 이하인 경우에 해당 컨센서스들을 모두 반영하는 집합으로 이해될 수 있다.

이러한 과정은, 특정한 패치나 특정한 수퍼 패치의 평면 모델이 실제의 3D 공간의 평면을 반영하지 못할 수 있다는 가정에서 수행되는 평면 모델의 재조정 과정이다.

이는, 컨센서스 세트 구성의 대상이 되는 특정한 패치나 특정한 수퍼 패치 외의 다른 패치(또는 다른 수퍼 패치)에도 상기 특정한 패치나 특정한 수퍼 패치와 동일한 평면에 존재하는 픽셀들이 존재할 것이라는 점을 이용하는 것이다.

따라서, 깊이 영상 전체 픽셀들 중 현재의 평면 모델 추정 값에 따른 평면과 수직 거리가 가까운 픽셀들 전체를 컨센서스 세트로 구성하고, 그 컨센서스 세트 전체의 픽셀들을 이용하여, 상기 특정한 패치나 특정한 수퍼 패치의 평면 모델을 다시 한 번 구하는 것이다.

컨센서스 세트 구성 이후의 평면 모델의 재조정 과정 역시, 평면 모델 추정을 위한 상기 수학식 1 이하의 수식이 그대로 이용될 수 있으며,

4.5 Consensus Set을 이용한 평면 모델 추정

상기 단계에서 찾은 consensus set을 이용하여 평면 모델을 refine 한다. 이 때, 수학식 (1)을 사용할 수 있다. 이 때,

는 컨센서스 세트 내의 노이즈가 아닌 전체 픽셀들이며,

는 컨센서스 세트 내의 노이즈가 아닌 픽셀의 개수로 대치될 수 있다.

상기한 바와 같이, 이상의 과정이 더 이상 병합할 패치 및 수퍼 패치가 없다고 판단될 때까지 반복된 이후에, 패치 병합 내지 컨센서스 구성에 따른 평면 모델 재조정이 완전히 종료되고, 최종 평면 모델들이 결정된다.

도 7은 본 발명의 일실시예에 따라 도 2의 예시적 깊이 영상에 대한 최종 평면 검출이 수행된 결과를 설명하기 위한 개념도이다.

깊이 영상(200)에 부합되는 평면(710), 평면(720) 및 평면(730)만이 최종 평면으로 남아 있으며, 평면 모델 추정부(130)는 이러한 최종 평면 모델들(710 내지 730) 각각에 대해 다시 한 번 평면 모델을 계산할 수 있다.

이상의 과정에서 설명한 임계치들은 설정에 따라 얼마든지 변경할 수 있는 값이며, 본 발명의 기술 분야의 통상의 지식을 가진 자라면, 이러한 임계치들은 간단한 반복 실험을 통해 얼마든지 예상할 수 있다.

도 8은 본 발명의 일실시예에 따른 평면 검출 방법의 흐름도이다.

단계(810)에서 깊이 영상이 수신된다.

그러면 단계(820)에서 평면 검출 장치(100)의 영상 분할부(110)는 입력 깊이 영상을 복수 개의 패치들로 분할한다. 깊이 영상의 분할 과정에 대해서는 도 1 내지 도 2를 참조하여 상술한 바와 같다.

그리고 단계(830)에서 노이즈 제거부(120)는 각 패치들에 포함된 깊이 영상의 픽셀들에 대해 노이즈 제거를 수행한다. 노이즈 제거 과정에 대해서는 도 1 및 도 3을 참조하여 상술한 바와 같다.

단계(840)에서는 평면 모델 추정부(130)가 상기 분할로 생성된 각각의 패치들에 대해 평면 모델을 추정하며, 이 과정은 도 1 및 도 4를 참조하여 상술한 바와 같다.

그러면 단계(850)에서는 유효 패치 선별부(140)가 비 평면 패치들을 제거하고, 평면 패치들만을 유효 패치로서 선별한다. 이 과정 역시 도 1 및 도 4를 참조하여 상술한 바와 같다.

그리고 단계(860)에서, 패치 병합부(150)가 패치 병합 가능 여부를 판단하여, 병합될 수 있는 동일 또는 유사 평면에 대응하는 패치들이 있는 경우에는 단계(861) 내지 단계(864)의 과정을 수행한다.

패치 병합부(150)는 단계(861)에서 유사한 패치를 병합하며, 패치들이 병합되어 수퍼 패치가 생성되면, 단계(862)에서 병합된 수퍼 패치의 새로운 평면 모델이 추정되고, 단계(823)에서 컨센서스 구성이 수행된 다음 다시 컨센서스 세트를 이용한 평면 모델의 추정(재조정)이 수행된다(864).

이러한 유사 패치 병합, 컨센서스 세트 구성 및 평면 모델의 재조정 과정은 도 1, 도 5 및 도 6을 참조하여 상술한 바와 같다.

그리고, 단계(860)에서 더 이상 병합될 패치가 없다고 판단되면, 단계(870)에서는 최종 평면 모델들이 도 7을 참조하여 상술한 바와 같이 결정된다. 본 발명의 일실시예에 따르면, 이 과정에서 최종 평면 모델들에 대한 각각의 평면 모델들이 다시 조정될 수 있다.

본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 평면 검출 장치
110: 영상 분할부
120: 노이즈 제거부
130: 평면 모델 추정부
140: 유효 패치 선별부
150: 패치 병합부
160: 컨센서스 세트 구성부

Claims

입력 깊이 영상을 복수 개의 패치로 분할하는 영상 분할부;
상기 복수 개의 패치 각각에 대한 평면 모델을 계산하는 평면 모델 추정부; 및
상기 복수 개의 패치 각각에 대한 평면 모델을 서로 비교하여 제1 패치를 상기 제1 패치와 상이한 적어도 하나의 제2 패치와 병합하는 패치 병합부
를 포함하는 평면 검출 장치.
제1항에 있어서,
상기 입력 깊이 영상 또는 상기 복수 개의 패치 각각으로부터, 노이즈 픽셀을 제거하는 노이즈 제거부
를 더 포함하는 평면 검출 장치.
제1항에 있어서,
상기 패치 병합부는, 상기 제1 패치와 상기 제2 패치 각각의 노말 벡터를 계산하여, 계산된 노말 벡터들의 내적이 제1 임계치 이상인 경우에 상기 제1 패치와 상기 제2 패치를 병합하는 평면 검출 장치.
제3항에 있어서,
상기 패치 병합부는, 상기 제1 패치와 상기 제2 패치 각각의 픽셀의 깊이 값 평균을 더 비교하여, 상기 제1 패치와 상기 제2 패치의 픽셀 값 평균의 차가 제2 임계치 이하인 경우에 상기 제1 패치와 상기 제2 패치를 병합하는 평면 검출 장치.
제3항에 있어서,
상기 패치 병합부는, 상기 입력 깊이 영상 내에서 상기 제1 패치의 위치와 상기 제2 패치의 위치가 제3 임계치 이하인 경우에 상기 제1 패치와 상기 제2 패치를 병합하는 평면 검출 장치.
제1항에 있어서,
상기 복수 개의 패치 중 제3 패치에 속한 픽셀들이 상기 제3 패치에 대한 평면 모델과 일치하는 정도가 제4 임계치 이하인 경우, 상기 제3 패치를 비평면 패치인 유효하지 않은 패치로 분류하는 유효 패치 선별부
를 더 포함하는 평면 검출 장치.
제6항에 있어서,
상기 제3 패치에 속한 픽셀들이 상기 제3 패치에 대한 평면 모델과 일치하는 정도는 R² 테스트(R-squared Test)에 의해 결정되는 평면 검출 장치.
제1항에 있어서,
상기 평면 모델 추정부는, 상기 병합된 결과 생성되는 수퍼 패치에 대한 새로운 평면 모델을 계산하는 평면 검출 장치.
제8항에 있어서,
상기 입력 깊이 영상의 전체 픽셀들 중 상기 수퍼 패치에 대한 새로운 평면 모델을 만족하는 픽셀들의 집합인 컨센서스 세트를 구성하는 컨센서스 세트 구성부
를 더 포함하는 평면 검출 장치.
제9항에 있어서,
상기 평면 모델 추정부는, 상기 수퍼 패치에 대응하여 구성된 컨센서스 세트에 포함된 전체 픽셀들을 이용하여 상기 수퍼 패치에 대한 새로운 평면 모델을 재조정하는 평면 검출 장치.
입력 깊이 영상을 복수 개의 패치로 분할하는 영상 분할부;
상기 복수 개의 패치들 각각에 대한 평면 모델을 계산하는 평면 모델 추정부; 및
상기 복수 개의 패치들 각각에 대한 평면 모델을 서로 비교하여, 평면 모델의 유사도가 제1 임계치 이상인 패치들을 반복적으로 병합해 나아가는 패치 병합부
를 포함하고, 상기 패치 병합부가 더 이상 평면 모델의 유사도가 제1 임계치 이상인 패치들이 존재하지 않는 경우에, 이전에 병합된 패치들을 이용하여 상기 입력 깊이 영상에 대한 적어도 하나의 최종 평면 모델을 결정하는 평면 검출 장치.
평면 검출 장치가 입력 깊이 영상에 대한 적어도 하나의 평면 모델을 검출하는 방법에 있어서,
상기 평면 검출 장치의 영상 분할부가 상기 입력 깊이 영상을 복수 개의 패치로 분할하는 영상 분할 단계;
상기 평면 검출 장치의 평면 모델 추정부가 상기 복수 개의 패치 각각에 대한 평면 모델을 계산하는 평면 모델 추정 단계; 및
상기 평면 검출 장치의 패치 병합부가 상기 복수 개의 패치 각각에 대한 평면 모델을 서로 비교하여 제1 패치를 상기 제1 패치와 상이한 적어도 하나의 제2 패치와 병합하는 패치 병합 단계
를 포함하는 평면 검출 방법.
제12항에 있어서,
상기 평면 검출 장치의 노이즈 제거부가 상기 입력 깊이 영상 또는 상기 복수 개의 패치 각각으로부터, 노이즈 픽셀을 제거하는 노이즈 제거 단계
를 더 포함하는 평면 검출 방법.
제12항에 있어서,
상기 패치 병합 단계는, 상기 제1 패치와 상기 제2 패치 각각의 노말 벡터를 계산하여, 계산된 노말 벡터들의 내적이 제1 임계치 이상인 경우에 상기 제1 패치와 상기 제2 패치를 병합하는 평면 검출 방법.
제12항에 있어서,
상기 평면 검출 장치의 유효 패치 선별부가 상기 복수 개의 패치 중 제3 패치에 속한 픽셀들이 상기 제3 패치에 대한 평면 모델과 일치하는 정도가 미리 지정된 수준 이하인 경우, 상기 제3 패치를 비평면 패치인 유효하지 않은 패치로 분류하는 유효 패치 선별 단계
를 더 포함하는 평면 검출 방법.
제12항에 있어서,
상기 평면 모델 추정부가 상기 병합된 결과 생성되는 수퍼 패치에 대한 새로운 평면 모델을 계산하는 수퍼 패치 평면 모델 계산 단계;
상기 평면 검출 장치의 컨센서스 세트 구성부가 상기 입력 깊이 영상의 전체 픽셀들 중 상기 수퍼 패치에 대한 새로운 평면 모델을 만족하는 픽셀들의 집합인 컨센서스 세트를 구성하는 컨센서스 세트 구성 단계; 및
상기 평면 모델 추정부가 상기 수퍼 패치에 대응하여 구성된 컨센서스 세트에 포함된 전체 픽셀들을 이용하여 상기 수퍼 패치에 대한 새로운 평면 모델을 재조정하는 수퍼 패치 평면 모델 재조정 단계
를 더 포함하는 평면 검출 방법.
제12항 내지 제16항 중 어느 한 항의 평면 검출 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.