KR20140027468A - 깊이 측정치 품질 향상 - Google Patents

Abstract

깊이 맵 이미지에서의 결함성 깊이 값을 보정하는 방법을 개시한다. 결함성 값은 연속적인 평탄한 표면 상에 위치된 "노이지 픽셀" 및 포그라운드 오브젝트와 백그라운드 오브젝트 간의 에지를 따라 위치된 보간된 "플라잉 픽셀"에 해당한다. 본 방법은, 포그라운드 오브젝트 및 백그라운드 오브젝트를 포함하는 장면의 깊이 맵을 액세스하는 단계와, 방법을 이용하여 깊이 맵 내에 노이지 및 보간된 깊이 측정치를 검출하고 식별하는 단계와, 특별하게 정해진 가중된 보정 계수를 이용하여 검출된 결함성 노이지 및 보간된 깊이 측정치의 각각에 대한 보정을 정하여 적용하는 단계를 포함한다. 깊이 맵 이미지에 보정된 결함성 깊이 값을 제공함으로써, 에지가 깊이에 있어서 선면하게 되고, 연속하는 표면이 평탄화되어, 더 높은 효율 및 견고성(robustness)의 추가의 이미지 처리를 가능하게 한다.

Description

깊이 측정치 품질 향상{DEPTH MEASUREMENT QUALITY ENHANCEMENT}

본 발명은 "3차원 포인트 클라우드(three-dimensional point cloud)" 데이터 정보를 포함하는 깊이 맵 또는 이미지와 같은 범위 탐지 측정치(range finding measurement)의 품질 향상에 관한 것으로, 보다 구체적으로는 깊이 측정치의 디노이징(de-noising) 및 이미징된 3차원 장면에서의 포그라운드 오브젝트와 백그라운드 오브젝트 간의 에지에 대응하는 픽셀에 연관된 문제 있는 보간 깊이 값(problematic interpolated depth value)의 교정에 관한 것이다.

깊이 측정 카메라 시스템(depth measurement camera system)은 소비자 전자장치 시스템 및 콘솔 게임에서의 자세 인식(gesture recognition) 및 인체 골격 트랙킹을 위해 사용되는 기술로 인해 더욱 대중화되고 있는 최근의 범위 탐지 측정 장치이다.

주로, 이러한 어플리케이션에 적합한 2가지 타입의 주변 조명 무관 깊이 감지(environment lighting independent depth sensing) 또는 3차원(3D) 카메라 기술이 있다. 한 가지 타입의 3D 카메라 기술은 Xbox 360(키넥트로 알려진) 비디오 게임 콘솔용의 마이크로소프트의 Kinect에서의 자세 인식을 위해 사용되는 예컨대 PrimeSense에 의해 제공된 구조 광 3D 카메라(structured light 3D camera)이다(Microsoft, Kinect, 및 Kinect for Xbox 360는 마이크로소프트사의 상표이다). 두 번째 타입의 3D 감지 카메라 기술은, 여러 개의 독립 회사에 의해 개발 및 제조되고, 예컨대 자동차 산업에서 사용되거나 또는 비디오 게임, 로봇, 홈 오토메이션 등과 같은 인간 대 기기 상호작용(human to machine interaction)을 포함한 다양한 환경에서의 자세 인식 및 인체 골격 트랙킹에서 사용되는 타임-오브-플라이트(time-of-flight, ToF) 카메라이다.

그러나, 3D 감지 카메라의 타입에 상관없이, 복수의 픽셀을 포함하는 장면의 이미지가 제공되고, 이미지의 각각의 픽셀은 적어도 카메라까지의 이미징된 오브젝트의 거리에 관한 정보를 포함하며, 이러한 정보가 측정된 깊이 값이다. 적어도 깊이 측정 정보를 임베드하는 이러한 이미지는 "깊이 맵"으로 지칭된다. 다른 타입의 이미지 또한 예컨대 "3D 포인트 클라우드" 데이터 행렬과 같은 임베드된 데이터 깊이 정보를 포함할 수 있으며, 여기서 이미지는 카메라 좌표계에 대한 또는 가상 환경 좌표계에 대한 임베드된 정보를 포함한다. 이러한 이미지에서, x 및 y는 각각 수평축 및 수직축에 대응하고, z-축이 깊이 축에 대응한다. 카메라 좌표계로부터 가상 환경 좌표계로의 변환은 투영의 문제이고, 이러한 변환은 일반적으로 "장면 교정(scene calibration)으로 지칭된다.

깊이 측정치를 제공하는 이미지를 이용하는 임의의 어플리케이션 또는 시스템은 해상도, 노이즈, 정확도, 견고성(robustness) 및 반복 가능성의 면에서 측정 품질에 좌우된다. 구체적으로, 주로 3D ToF 카메라 기술을 고려할 때, 장면 오브젝트 에지 주위의 깊이 측정치는 콘볼루션(convolution) 및/또는 인터폴레이션 아티팩트(interpolation artifact)를 나타내는 것으로 알려져 있으며, 이러한 아티팩트는 단일의 자연 발생적으로 선명한 에지(single naturally sharp edge)에 대해서는 적어도 1-픽셀 반경에서의 깊이 데이터에 영향을 줄 수도 있는 "플라잉 픽셀(flying pixel)"로 지칭된다. 이러한 "플라잉 픽셀"은 오브젝트의 에지의 위치에서 발생하는 임의의 가능한 모션 블러(motion blur)와는 상관없는 공간적인 아티팩트이며, 제거될 필요가 있거나, 및/또는 새롭게 계산된 깊이 값에 대응하는 장면에서의 정확한 위치로 복원될 필요가 있으며, 새롭게 계산된 깊이 값은 포그라운드 오브젝트 또는 백그라운드 오브젝트 중의 하나에 "플라잉 픽셀"을 적절하게 할당한다. 이러한 복원의 목적은 후속 오브젝트 검출 신뢰도를 크게 향상시키고 3D 장면 내의 오브젝트의 깊이 정보 품질을 향상시키는 것이다.

따라서, 본 발명의 목적은, 깊이 맵 형태 또는 3D 포인트 클라우드 형태로 제공되는 범위 탐지 측정치의 품질을, 예컨대 노이지 픽셀 값(noisy pixels value)의 형태 및/또는 보간된 "플라잉 픽셀" 값의 형태로 있을 수도 있는 결함성 픽셀(defective pixel)을 검출함으로써 향상시키는 방법 및 시스템을 제공하는 것이다. 특히, 노이지 픽셀 값은 전체적인 깊이 맵에 관련된다. 그러나, 노이지 픽셀 값은 평탄하고 연속적인 표면의 품질을 감소시키는 경향이 있다. "플라잉 픽셀"값은 깊이 맵 또는 대응하는 3D 포인트 클라우드에 표현되는 3D 오브젝트의 에지에 관련되며, 이들 에지는 상이한 깊이에 위치된 포그라운드 오브젝트와 백그라운드 오브젝트 사이에 있는 리미트(limit)로서 정의된다.

본 발명의 일특징에 따라, 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법이 제공되며, 상기 방법은,

a) 장면에 관한 깊이 측정치 데이터를 결정하는 단계;

b) 상기 깊이 측정치 데이터 내의 결함성 픽셀을 검출하는 단계;

c) 각각의 검출된 결함성 픽셀에 대한 깊이 보정(depth correction)을 정하는 단계; 및

d) 각각의 검출된 결함성 픽셀의 깊이 측정치 데이터에 상기 깊이 보정을 적용하는 단계를 포함한다.

본 발명의 방법을 이용함으로써, 깊이 측정치 노이즈가 크게 감소될 수 있기 때문에, 깊이 맵 또는 3D 포인트 클라우드 이미지 품질의 커다란 향상이 획득될 수 있다. 구체적으로, 오브젝트의 에지에 위치된 보간된 "플라잉 픽셀"에 포함된 정보가 복원되며, 이들 에지가 그 결과 선명하게 되어, 이들 에지를 추가의 신호 처리 방법에 관련되게 하고 유용하게 되게 한다.

이에 부가하여, 본 발명의 한 가지 결과는, 3차원 장면 내의 대상으로 하는 오브젝트에 대해 수행된 자세 인식과 같은 움직임 관련 데이터 분석뿐만 아니라 사용자 및 오브젝트 검출, 식별, 및 트랙킹이 크게 향상된다는 점이며, 그 이유는 이러한 방법들이 깊이 맵 깊이 데이터 값 품질에 의존하기 때문이다. 또 다른 결과로서, 장면 내의 오브젝트 형상 및 사용자 형상에 관한 이미지의 추출이 더 우수한 신뢰도 및 정확도로 더욱 용이하게 수행될 수 있다.

이에 부가하여, 향상된 오브젝트 검출은 또한 3D 장면 내에서의 오브젝트 및 사용자의 더욱 우수한 모델링을 제공하며, 특히 사용자의 인체 부위를 오브젝트 또는 사용자 자신과 병합하는 것이 최소화되고, 사용자의 인체 형상이 더욱 정확하게 모델링될 수 있기 때문에, 인체 골격 피팅(fitting) 및 트랙킹 또한 크게 향상된다.

본 발명의 바람직한 실시예에서, 상기 단계 b)는 각각의 픽셀에 대하여 적어도 하나의 방향에서의 깊이 관련 방향 도함수(depth related directional derivative)를 결정하는 단계를 포함한다.

상기 단계 c)는, 각각의 식별된 결함성 픽셀에 대해,

c1) 깊이 방향 도함수에 관련하여 벡터를 결정하는 단계;

c2) 결정된 벡터에 대한 노멀(normal)을 결정하는 단계;

c3) 적어도 상기 결정된 벡터와 상기 결정된 벡터에 대한 상기 노멀 중의 하나의 것의 결과를, 그 값이 픽셀 폭에 의해 표현된 실제 공간에서의 메트릭 사이즈(metric size)에 관련되어 있는 데이터 파라미터와 함께 이용하여, 가중 계수 파라미터를 결정하는 단계; 및

c4) 상기 가중 계수 파라미터와 이웃 픽셀에 관한 정보 중의 적어도 하나를 이용하여 보정 계수를 결정하는 단계를 포함한다.

일실시예에서, 상기 단계 c4)는 이웃 픽셀의 깊이 값, 가중 계수 및 보정 계수 중의 적어도 하나를 이용하는 단계를 포함할 수 있다. 이와 달리 또는 이에 부가하여, 상기 단계 c4)는 이웃 픽셀에 관한 정보의 통계 모드를 이용하는 단계를 더 포함할 수 있다.

상기 단계 c4)는 단지 유효한 이웃 픽셀만을 이용하는 것이 이롭다.

상기 단계 c4)는 이웃 픽셀을 통해 결정된 회귀 평면(regressive plane)으로부터 추출된 깊이 정보를 이용하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에서, 상기 결함성 픽셀은 3차원 이미지에서의 포그라운드 오브젝트와 백그라운드 오브젝트 간의 에지에 위치된 보간된 픽셀 데이터 값을 포함할 수 있다. 이 경우, 상기 단계 b)는, 픽셀의 적어도 하나의 깊이 방향 도함수가 사전에 결정된 임계치보다 클 때에, 그리고 적어도 2개의 연속되는 방향 도함수가 동일한 부호를 갖는다면, 에지에서의 픽셀의 결함성 깊이 측정치를 식별하기 위해 상기 깊이 관련 방향 도함수를 이용하는 단계를 더 포함할 수 있다. 이것은 위에서 설명한 바와 같은 "플라잉 픽셀"에 대한 시험을 제공한다.

"플라잉 픽셀"에 대한 보정에 추가하여, 본 발명의 방법은 또한 "노이지 픽셀"을 보정한다. 이 경우, 상기 단계 b)는 3차원 이미지 내의 연속 표면 상의 픽셀의 결함성 측정치를 결정하는 단계를 포함한다.

이 경우, 상기 단계 b)는, 픽셀의 적어도 하나의 깊이 방향 도함수가 사전에 결정된 임계치보다 크고, 그 픽셀의 또 다른 깊이 방향 도함수 또한 사전에 결정된 임계치보다 클 때에, 연속 표면 상의 픽셀의 결함성 깊이 측정치를 식별하기 위해 상기 깊이 관련 방향 도함수를 이용하는 단계를 더 포함할 수 있으며, 이들 2개의 방향 도함수가 반대 부호를 갖는다.

결함성 픽셀이 "노이지 픽셀"인 경우, 상기 단계 c)는, 각각의 식별된 결함성 픽셀에 대해,

c5) 2개의 직교축을 이용하여 상기 깊이 방향 도함수 데이터 값에 관련하여 벡터를 결정하는 단계;

c6) 결정된 벡터의 반경 값(radius value), 결정된 벡터에 대한 노멀 정보(normal information), 및 픽셀에 의해 표현된 장면에서의 실제 폭 중의 적어도 하나를 이용하여 가중 계수 파라미터를 결정하는 단계; 및

c7) 결정된 상기 가중 계수 파라미터를 이웃 픽셀에 관한 정보와 조합하여 이용하여 보정 계수를 적용하는 단계를 더 포함할 수 있다.

일실시예에서, 상기 깊이 관련 방향 도함수는 적어도 2개의 직교축을 이용하여 결정된다. 또 다른 실시예에서, 상기 깊이 관련 방향 도함수는 노멀 맵(normal map)을 이용하여 결정된다. 또 다른 바람직한 실시예에서, 상기 깊이 관련 방향 도함수는 노멀 맵을 결정하기 위해 이용될 수 있다.

본 발명의 일실시예에서, 상기 방법은 "플라잉 픽셀" 및 "노이지 픽셀" 중의 적어도 하나를 보정하기 위해 이용되며, 바람직한 실시예에서, 본 방법은 "플라잉 픽셀" 및 "노이지 픽셀"을 보정한다.

상기 단계 a)는 3D 감지 장치 또는 카메라에 의해 제공되거나, 또는 깊이 맵의 형태, 3D 포인트 클라우드의 형태, 또는 임의의 다른 형태의 기억 매체로부터의 깊이 측정 데이터를 액세스하는 단계를 포함할 수 있다.

본 발명을 더욱 명확하게 이해하기 위해, 일례로서 첨부 도면에 대한 참조가 이루어질 것이다.
도 1은 3차원 장면의 개략적인 2차원 평면도이다.
도 2는 도 1의 3차원 장면의 개략적인 2차원 전방 카메라 뷰를 도시하는 도면이다.
도 3은 도 1의 2차원 평면도에 대한 3차원 데이터 측정의 개략적인 표현을 도시하는 도면이다.
도 4는 깊이 값 신호의 개략적인 표현을 픽셀 위치와 함께 도시하는 도면이다.
도 5는 도 4와 유사하지만 본 발명에 따른 보정 후의 깊이 값 신호 및 픽셀 위치를 도시하는 도면이다.
도 6은 본 발명에 따른 깊이 맵 디노이징 및 에지 보정 방법에서의 단계들에 대한 흐름도를 도시하는 도면이다.
도 7은 2개의 직교 축에 인접 픽셀을 갖는 "플라잉 픽셀"을 중심으로 하는 3×3 커널을 도시하는 도면이다.
도 8은 유효한 픽셀로서 결정되고 포그라운드 또는 백그라운드 오브젝트 이미지를 형성하는 이웃 픽셀을 갖는 "플라잉 픽셀"을 중심으로 하는 3×3 커널을 도시하는 도면이다.

본 발명은 특정한 실시예에 대하여 특정한 도면을 참조하여 설명될 것이지만, 본 발명은 이러한 것으로 한정되지 않는다. 도시된 도면은 단지 개략도이며, 이러한 것으로 제한하려는 것은 아니다. 도면에서, 구성요소의 몇몇에 대한 크기는 예시를 목적으로 과장되어 실척으로 도시되어 있지 않을 수도 있다.

"수직" 및 "수평"이라는 표현은 본 명세서에서는 도면의 특정 지향방향을 지칭하도록 사용되며, 이들 표현은 본 명세서에 설명되는 특정 실시예에 대한 제한요소가 아니다.

전형적인 타임-오브-플라이트(ToF) 3D 카메라에 대해, TOF 원리를 이용하여 거리 또는 깊이 데이터를 계산하는 프로세스는 광학 및 전자 장치와 아날로그 및 디지털 처리 유닛의 조합을 수반한다. 전형적으로, 진폭 변조(AM) 적외선(IR) 신호가 ToF 카메라 장치에 임베딩된 조명 시스템에 의해 장면에 보내진다. 전용의 센서가 장면 내의 오브젝트로부터 반사된 IR 세기를 위상의 함수로서 동기식으로 등록한다. 센서로부터의 신호는 시간이 경과한 후에 통합되며, 각각의 픽셀에 대한 깊이 값 측정치를 근사(estimate)하기 위해 위상 지연 계산에 이용된다. ToF 3D 이미지는 센서 해상도 및 렌즈의 시계(field of view)에 따라 결정되는 자신의 해상도, 광의 변조 주파수에 따라 결정되는 깊이 측정치 정확도, 장면에 의해 반사되는 광의 양, 및 이미징 시스템에 연관된 파라미터, 예컨대 광 엔진 품질, 근본적으로 측정치 및 보다 문제시 되게는 깊이 맵에서 근본적으로 "퍼지(fuzzy)" 에지를 야기하는 몇몇 통합된 깊이 측정치에서 몇몇 양자화 아티팩트 및 노이즈를 생성하는 광학 처리 장치, 전자 처리 장치 및 신호 처리 장치의 조합에 의해 제한될 수 있다. "퍼지" 에지에서의 이러한 픽셀을 "플라잉 픽셀"로 지칭한다.

본 발명은, 깊이 맵에서의 픽셀의 깊이 측정치 값이 장면에 존재하는 사항(matter)에 되도록 많이 대응하게 보정되도록, "결함성 픽셀"로 통칭되는 "노이지" 및 플라잉 픽셀"을 해소하는 방법 및 시스템에 관련된다. 이 방법 및 시스템은 3D 감지 카메라, 매체 저장 장치 또는 인터넷을 통한 매체에 의해 제공되는 위상 맵, 깊이 맵, 또는 3D 포인트 클라우드 형태로 이미지 임베딩 깊이 관련 측정치를 포함하는 입력을 갖는다. 몇몇 특정한 깊이 변화도 측정치(depth gradient measurement), 벡터 및 지리적 제약 계산(geometrical constrained computation), 임계치, 및 더욱 특별하게 가중된 콘볼루션에 대해 "노이지" 및 보간된 "플라잉 픽셀" 둘 다를 보정하기 위해 3D 이미지의 입력 깊이 데이터에 특정한 신호 처리가 적용된다. 그 결과의 출력은, 더 적은 노이즈, 및 z-축 또는 깊이 축을 따라 에지를 갖는 장면 오브젝트 주위의 상당히 더 적은 보간된 "플라잉 픽셀"을 포함하는 재구성된 깊이 맵 이미지를 제공한다. 향상된 및/또는 보정된 이미지는 3D 카메라 장치 또는 다른 3D 이미징 시스템에 의해 제공된 원본의 입력 3D 이미지 대신에 3D 이미징 어플리케이션에 의해 사용되도록 되어, 이러한 어플리케이션의 조작성(operability) 및 효율을 더 좋게 할 수 있다.

먼저 도 1을 참조하면, 장면의 2차원(2D) 평면도가 x-y 평면으로 도시되어 있다. 카메라(10)는 점선(12, 14)에 의해 정해지는 시계를 가지며, 이 시계에는 포그라운드 오브젝트(16) 및 백그라운드 오브젝트(18)가 나타내어져 있다. 포그라운드 오브젝트(16)의 에지(20)는 도 3을 참조하여 설명될 것인 바와 같은 백그라운드 오브젝트(18)에 대하여 "플라잉 픽셀"을 발생할 수 있다.

도 2는 x-y 평면에 포그라운드 오브젝트(16) 및 백그라운드 오브젝트(18)를 갖는 도 1에서 정해진 3D 장면의 2D 전방 카메라 뷰이다. 이 뷰에서, 에지(20)는 포그라운드 오브젝트(16) 및 백그라운드 오브젝트(18) 간에 우수하게 정해지고 선명하다. 에지(20) 만이 도시되어 있지만, 포그라운드 오브젝트(16)가 백그라운드 오브젝트(18)에 중첩하고 있는 상단 에지(22)와 하단 에지(24)에도 "플라잉 픽셀"이 나타나게 될 수 있다는 것을 이해할 것이다. 이에 부가하여, 오브젝트(16, 18)의 평탄한 연속 표면 또한 카메라 센서 성능으로 인해 몇몇의 노이지 픽셀(noisy pixel)을 나타낼 수 있다는 것을 이해할 것이다.

도 3은 도 1에 도시된 이미지에 대응하는 픽셀의 면에서 포그라운드 오브젝트(32) 및 백그라운드 오브젝트(34)를 도시하고 있다. 도시된 바와 같이, 2개의 "플라잉 픽셀"(36, 38)이 포그라운드 오브젝트(32)와 백그라운드 오브젝트(34) 사이의 에지 상에 위치되어 있다. 이들 "플라잉 픽셀" 둘 모두는 포그라운드 오브젝트(32) 또는 백그라운드 오브젝트(34) 중의 어느 하나에 속하거나, 또는 하나의 플라잉 픽셀이 포그라운드 오브젝트(32)에 속하고, 다른 하나의 플라잉 픽셀이 백그라운드 오브젝트(34)에 속할 수 있다. 포그라운드 오브젝트(32)는 연속하는 평탄한 표면 오브젝트이고, 이 오브젝트의 측정치가 적어도 하나의 노이지 픽셀(37)을 보여주고 있다.

도 4는 도 3과 유사하지만 깊이 맵에 관한 신호(40)를 보여주는 도면이다. 도시된 바와 같이, 신호(40)에서, 하위 라인은 픽셀 42로 나타낸 포그라운 오브젝트에 속하고, 상위 라인은 픽셀 44로 나타낸 백그라운드 오브젝트에 속하며, 하위 라인과 상위 라인 간의 경사는 "플라잉 픽셀"(46, 48)에 대응한다. 하위 라인에서의 블립(blip)은 픽셀 42로 나타낸 포그라운드 오브젝트에서의 "노이지 픽셀"(43)에 해당한다.

본 발명에 따른 처리 후에는, "노이즈 픽셀"(43) 및 "플라잉 픽셀"(46, 48)이 도 5에 나타낸 바와 같이 보정된다. 도 5에 도시된 바와 같이, 신호(50)는 더 우수하게 정의되어 픽셀 52에 대응하는 직선의 하위 라인 및 픽셀 54에 대응하는 직선의 상위 라인을 갖는다. 도 4에서 도면부호 43으로 나타낸 "노이지 픽셀"은 픽셀 53으로 나타낸 바와 같이 보정되며, "플라잉 픽셀"(46, 48)은 포그라운드 오브젝트(픽셀 56)에 대응하는 픽셀(52) 및 백그라운드 오브젝트(픽셀 58)에 대응하는 픽셀(54)로 정확하게 지정된다.

도 6에는, 본 발명의 방법의 일실시예의 주요 단계를 예시하는 흐름도가 도시되어 있다. 단계 60에서, 입력 깊이 맵 또는 3D 포인트 클라우드가 획득된다. 깊이 맵 또는 3D 포인트 클라우드는 3D 카메라, 매체 저장 장치 또는 인터넷으로부터 직접 획득될 수 있다. 단계 62에서, "결함성 픽셀"로 통칭되는 "노이지 픽셀" 및 보간된 "플라잉 픽셀"이 검출된다. 단계 64에서, "노이지 픽셀"인 것으로 판정된 각각의 픽셀에 대해 디노이징 보정 계수가 결정되고, 이 보정 계수가 이웃 픽셀에 대해 적용된다. "결함성 픽셀"인 것으로 판정된 각각의 픽셀에 대한 보정 계수의 결정이 단계 66에서 수행되고 적용된다. 단계 66에서, 포그라운드 오브젝트 및 백그라운드 오브젝트 깊이 값에 대하여 보정이 수행된다. 단계 64 및 66에서, 보정 계수의 이러한 결정은 통계 모드(statistical mode)를 이용하는 것을 포함할 수 있으며, 이 모드에서는, 보정되고 있는 픽셀에 할당된 값이 이웃 픽셀의 평균, 중간, 및/또는 모드 값 중의 적어도 하나에 따라 결정된다. 그리고나서, 복원된 깊이 맵 또는 3D 포인트 클라우드가 출력된다(단계 68). 단계 68로부터의 출력은 정확하고 신뢰할 수 있는 깊이 맵이 요구되거나 바람직하게 되는 어떠한 어플리케이션에도 사용될 수 있다.

본 발명의 방법은 2개의 주요 단계, 즉 "노이지 픽셀" 및 보간된 "플라잉 픽셀"을 검출하는 단계와, 검출된 "노이지 픽셀" 및 "플라잉 픽셀" 둘 모두를 보정하는 단계를 포함할 수 있다. "노이지 픽셀" 및 보간된 "플라잉 픽셀" 둘 모두의 검출을 위해, 제1 단계는 픽셀이 "노이지 픽셀"인지의 여부 또는 "플라잉 픽셀"인지의 여부를 결정하기 위한 포인트 주위의 방향 도함수(directional derivative)를 이용하며, 이 포인트는 평가되고 있는 픽셀에 대응한다. 바람직하게는, 깊이 이미지 픽셀의 전부가 평가된다. 이들 방향 도함수는 다방향성(multi-directional)이지만, 설명의 편의를 위해 아래에서는 단지 수직 및 수평 방향만이 설명된다. 그러나, 다른 방향에도 동일한 원리가 적용된다는 것을 이해할 것이다. 이에 부가하여, 방향 도함수를 이용하지 않고 다른 방법이 적용될 수도 있다.

"P"가 깊이 맵에서 평가되고 있는 픽셀이고, "a"가 평면에서의 선택된 방향이면, da(P)는 방향 "a"에서의 픽셀 "P"에서의 도함수의 값이 될 것이다. 방향 도함수의 절대값

및

가 방향 "a"에서의 사전에 정해진 임계치를 초과하고, da(P)와

의 부호가 동일하면, 픽셀은 "플라잉"인 것으로 선언된다. 픽셀이 모든 이웃 픽셀과는 크게 상이한 깊이 값을 가지면, 구체적으로 적어도 하나의 방향 도함수가 사전에 정해진 임계치를 초과하고, 적어도 2개의 방향 도함수가 반대 부호를 갖는다면, 이 픽셀은 "노이지"인 것으로 선언된다. "노이지 픽셀" 시험 또는 "플라잉 픽셀" 시험 중의 어느 하나가 각각의 픽셀에 대한 임의의 개수의 방향에 대해 수행될 수 있다. 이상적으로는, 방향은 단위 원(unit circle), 즉 하나의 픽셀 반경의 원을 커버해야만 한다. 전형적으로, 방향의 세트 {a_i} 가 다음으로 이용될 수 있으며, 여기서 i=1∼n이다:

방향 도함수는 유한 차분법(finite difference)에 의해 간략하게 근사될 수 있다. 도 7에서, 픽셀 70은 평가되고 있는 픽셀 "P"이며, 픽셀 72, 74, 76 및 78은 픽셀 "P"의 상단 픽셀 "T", 좌측 픽셀 "L", 우측 픽셀 "R" 및 하단 픽셀 B"에 대응한다. 픽셀 72, 74, 76 및 78의 값은 2개의 방향, 즉 0°와

의 각도(수평 방향과 수직 방향)에서 픽셀이 "플라잉"인지의 여부 및 픽셀이 "노이지"인지의 여부를 판정하기 위해 이용될 수 있다.

이들 2개의 방향에 대해, "노이지 픽셀" 시험은

또는

및

sign(R - P) ≠sign(P - L) 또는 sign(T - P) ≠sign(P - B)

로 감소시킨다.

"플라잉 픽셀" 시험은

또는

및

sign(R - P) = sign(P - L) 또는 sign(T - P) = sign(P - B)

로 감소시키며, 여기서 Th는 적용되는 임계값이고, k는 사전에 결정된 가중 계수이다. 예컨대, 0.08m의 Th 값이 이용될 수 있지만, 임의의 다른 적합한 값도 이용될 수 있다는 것을 이해할 것이다. 위에 제공된 "플라잉 픽셀" 시험 및 "노이지 픽셀" 시험에 대한 대안으로서, 아래의 것이 대신 이용될 수 있다.

이 후자의 경우, 임계치의 값은 평가되고 있는 픽셀 주위의 2개의 픽셀들 사이의 값을 이용하기 때문에 이전의 시험에서 제공된 것보다 클 수도 있다.

"노이지 픽셀" 및 "플라잉 픽셀"이 식별된 후, 제2 단계는 각각의 식별된 "노이지 픽셀" 또는 "플라잉 픽셀"에 개별적인 보정을 적용하기 위한 새로운 깊이 값을 근사한다. 보정은 단일 프로세스 내에서 단일 패스(single pass)로 수행될 수 있다. 더욱 명확한 이해를 위해, 보정 단계는 시간에 대해 순차적인 것으로서 설명되어 있다.

모든 "플라잉 픽셀" 및 "노이지 픽셀"은 먼저 유효하지 않은 것으로 플래그된다. 구체적으로, ToF 카메라를 이용할 때, 예컨대 좋지 않은 신뢰(bad confidence), 낮은 IR 조사(illumination)와 같은 다른 이유로 신뢰할 수 없는 것으로 판단(즉, 쓰레솔딩(thresholding)을 이용하여)될 수도 있는 다른 픽셀 또한 유효하지 않은 것으로서 플래그될 수 있으며, 이들의 깊이 또한 본 발명의 방법을 이용하여 다시 근사될 수 있다.

원리는 유효하지 않은 픽셀의 새로운 깊이를 근사하기 위해 유효하지 않은 픽셀의 유효한 주변 픽셀을 이용하는 것이다. 이것은 픽셀 80이 픽셀 쌍(82, 84)으로 도시된 바와 같은 주변의 유효한 픽셀에 관련하여 평가되고 있는 도 8에 도시되어 있다. 평가를 위해 픽셀의 쌍이 도시되어 있지만, 판정을 위해 어떠한 적합한 수의 유효 픽셀도 이용될 수 있다는 것을 이해할 것이다.

도 8에서, 유효하지 않은 "플라잉 픽셀" P를 둘러싸는 유효 픽셀은 "V"로 나타내어져 있다. 그러나, 이 근사를 위해, 도면부호 82로 나타낸 포그라운드의 유효 픽셀 또는 도면부호 84로 나타낸 백그라운드의 유효 픽셀의 둘 중 어느 하나만이 사용되며, 포그라운드와 백그라운드 둘 모두로부터의 유효 픽셀의 조합이 이용되지는 않는다. 픽셀 82는 "P"보다 작은 깊이 값을 가질 것이며, 픽셀 84는 "P"보다 큰 깊이 값을 가질 것이다.

픽셀이 유효하지만 "노이지"인 것으로서 식별되는 "노이지 픽셀"에 대해, "플라잉 픽셀"에 대해 위에서 설명한 것과 동일한 프로세스가 "노이지 픽셀"에 대해 수행된다.

근사를 위해 유효 픽셀들 중의 어느 것을 이용할지에 대한 선택은 포그라운드 오브젝트 또는 백그라운드 오브젝트의 둘 중 어느 하나에 있는 유효하지 않은 포인트에 대한 선호(preference)를 평가한다. 선호 모드(preference mode)는 예컨대 "플라잉 픽셀"을 이들의 깊이 값에 요구되는 최소량의 보정에 따라 맵핑함으로써, 카메라로부터의 거리가 사전에 결정된 임계치를 초과하는 경우에는 포그라운드 오브젝트에 대해 "플라잉 픽셀"을 설정함으로써, 또는 카메라까지의 거리가 사전에 결정된 임계치 미만인 경우에는 백그라운드 오브젝트에 대해 "플라잉 픽셀"을 설정함으로써 결정될 수 있다. 포그라운드 오브젝트에 대한 선호가 이용되고, 유효한 포그라운드 오브젝트 픽셀의 세트가 비어있지 않으면, "P"의 새로운 깊이 값은 단지 이들 유효한 포그라운드 오브젝트 픽셀에 기초하여 근사될 것이다. 유효한 포그라운드 오브젝트 픽셀의 세트가 비어 있고, 유효한 백그라운드 오브젝트 픽셀의 세트가 비어있지 않으면, "P"의 새로운 깊이 값은 단지 유효한 백그라운드 오브젝트 픽셀에 기초하여 근사될 것이다. 유효한 포그라운드 오브젝트 픽셀에 관한 세트 및 유효한 백그라운드 오브젝트 픽셀에 관한 세트 둘 모두가 비어있으면, 픽셀이 보정될 수 없으며, 유효하지 않은 것으로 유지된다. 마찬가지로, 백그라운드 오브젝트에 대한 선호가 이용되는 경우에는, 유효한 백그라운드 오브젝트 픽셀의 세트가 비어있지 않으면, "P"의 새로운 깊이 값은 단지 이들 유효한 백그라운드 오브젝트 픽셀에 기초하여 근사될 것이다. 유효한 백그라운드 오브젝트 픽셀의 세트가 비어 있고, 유효한 포그라운드 오브젝트 픽셀의 세트가 비어있지 않으면, "P"의 새로운 깊이 값은 단지 유효한 포그라운드 오브젝트 픽셀의 세트에 기초하여 근사될 것이다. 유효한 백그라운드 오브젝트 픽셀에 관한 세트 및 유효한 포그라운드 오브젝트 픽셀에 관한 세트 둘 모두가 비어있으면, 픽셀이 보정될 수 없으며, 유효하지 않은 것으로 유지된다.

주변 픽셀(포그라운드 오브젝트 또는 백그라운드 오브젝트의 둘 중 어느 하나로부터의)의 세트로부터 "P"의 깊이 값의 근사는, 가중 계수를 적용하거나, 회귀 평면(regression plane)을 이용하거나 통계적 결정을 이용하는 임의의 보간 방법을 포함한 다양한 수단에 의해 이루어질 수 있다.

본 발명의 일실시예에서, 유효 포그라운드 픽셀에 기초한 회귀 평면이 활용된다. 포인트 p에서의 회귀 평면의 깊이 값은 픽셀 "P"에 대한 새로운 깊이 값으로서 할당된다.

또 다른 실시예에서, 포그라운드 오브젝트에서의 유효 픽셀의 평균 깊이 값이 결정되고, 픽셀 "P"에 대한 새로운 깊이 값으로서 할당된다. 대안으로서, 유효 포그라운드 오브젝트 픽셀 및/또는 유효 백그라운드 오브젝트 픽셀의 깊이 값의 최소치, 최대치, 중간치, 또는 모드가 이용될 수 있다. 유효 포그라운드 오브젝트 픽셀의 세트 및 유효 백그라운드 오브젝트 픽셀의 세트에 대해 상이한 근사 방법이 이용될 수 있다. 예컨대, 근사가 유효 포그라운드 오브젝트 픽셀에 의존하면, 세트에서의 유효 픽셀의 최대 깊이 값이 이용될 수 있고, 근사가 유효 백그라운드 픽셀에 의존하면, 세트에서의 유효 픽셀의 최소 깊이 값이 이용될 수 있다.

깊이 값이 이 방법에 의해 성공적으로 근사된 유효하지 않은 모든 픽셀, 즉 적어도 하나의 유효한 이웃 픽셀을 갖는 유효하지 않은 모든 픽셀은 유효한 것으로서 플래그된다. 이 방법은, 프로세스의 개시 시에 적어도 하나의 픽셀이 유효한 것으로 플래그되면, 깊이 맵에서의 유효하지 않은 모든 픽셀이 재구축되도록 반복적으로 되풀이 될 수 있다.

그러나, "플라잉 픽셀" 식별 및 보정의 신뢰도를 향상시키기 위해, 카메라에 의해 발생된 깊이 맵으로부터 노이즈가 제거될 필요가 있다. 이것은 먼저 각각의 픽셀에 대한 ω_i를 결정하고, 그리고나서 각각의 픽셀에 대해 3×3 가중된 ω_i 커넬을 이용함으로써 달성될 수 있다. 다중 패스(multiple pass)가 커널 ω_i 파라미터를 다시 계산(re-computing)하여 적용되거나 또는 다시 계산하지 않고서도 적용될 수 있다.

다시 도 8을 참조하면, 깊이 필드로부터 노멀 각도(normal angle)를 결정하기 위해 이하의 수식이 이용될 수 있다:

(1)

(2)

(3)

(4)

(5)

(6)

식 (1) 및 (2)는 기울기 ðz(x) 및 ðz(y)에 관한 것이며, 식 (3)은 기울기의 항에서의 반경을 제공한다. 식 (4)는 설명된 바와 같은 픽셀 "P"의 폭을 제공하고, 식 (5) 및 (6)은 각각 노멀 반경(normal radius) 및 노멀 각도를 제공한다.

예컨대 이용 가능한 경우에는 카메라로부터 노멀 각도를 계산하거나, 근사하거나, 또는 검색(retrieve)하기 위해 다른 방법이 이용될 수 있으며, 또한 카메라, 신호 및 플랫폼 특성에 좌우되어 다른 방법이 이용될 수 있다.

예컨대, 계산 효율(computation efficiency)을 위해, 깊이 맵으로부터의 ω_i가 다음과 같이 결정될 수 있다:

일반적으로, 함수 ω_i=Fw(dz)는 윈도우 함수(window function)로 지칭된다.

노이즈 제거를 거친 후, 필드 기울기(field gradient)가 계산되며, 2차 도함수 d²z의 부호가 로컬 디스정션 파라미터(local disjunction parameter)로서 이용된다. 부분 2차 도함수 d²z는 투영된 공간에서의 기울기 벡터의 맨 끝(extremity) 둘 모두에서의 도함수 간의 차로서 계산된다.

가중된 ω_i 3×3 바이폴라 커널이 n개의 패스에 적용되며, 여기서 n≥1이다. 디스정션 파라미터는 커널 내에서의 그룹 식별(group identification )로서 작용하며, 반대 부호를 갖는 픽셀을 무시하면서 동일한 부호의 픽셀 값이 함께 평균화될 것이다.

이 원리는 이들 포인트가 둘 모두의 부호로 평균화될 수 있도록 디스정션 파라미터에 대해 부호가 없는(즉, 0과 동일한) 값을 허용하도록 개선된다. 이러한 개선은 디스정션에 의해 출력 신호에 도입되는 노이지를 감소시키기 위한 노력으로 예컨대 ð²z 또는 IR 파워와 같은 기타 데이터를 이용하여 임계값이 정션 파라미터에 적용될 수 있도록 한다.

이 커널은 요구된 효과를 발생하기 위해 복수 회 적용될 수 있다. 전형적으로, 현재의 TOF 신호는 2-패스 처리로부터 가장 큰 이점을 갖는다.

이 디스정션을 가속화하고 및/또는 다중-패스 처리를 방지하기 위해, 기울기 방향에서의 변위 맵(displacement map)이 로컬 확장(local expansion)을 생성하도록 구축될 수 있다. 개별 깊이 값뿐만 아니라 로컬 최소값 및/또는 최대값이 이용될 수 있다. 그러나, 출력 신호에서의 노이즈와 요구된 디스정션 레이트가 어느 확장 방법을 사용할지를 결정할 것이다.

Claims (15)

1. 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법에 있어서,
   a) 장면에 관한 깊이 측정치 데이터를 결정하는 단계;
   b) 상기 깊이 측정치 데이터 내의 결함성 픽셀을 검출하는 단계;
   c) 각각의 검출된 결함성 픽셀에 대한 깊이 보정(depth correction)을 정하는 단계; 및
   d) 각각의 검출된 결함성 픽셀의 깊이 측정치 데이터에 상기 깊이 보정을 적용하는 단계
   를 포함하는 깊이 맵 품질 향상 방법.
2. 제1항에 있어서,
   상기 단계 b)는 각각의 픽셀에 대하여 적어도 하나의 방향에서의 깊이 관련 방향 도함수(depth related directional derivative)를 결정하고 이용하는 단계를 포함하는, 깊이 맵 품질 향상 방법.
3. 제2항에 있어서,
   상기 단계 c)는, 각각의 식별된 결함성 픽셀에 대해,
   c1) 깊이 방향 도함수에 관련하여 벡터를 결정하는 단계;
   c2) 결정된 벡터에 대한 노멀(normal)을 결정하는 단계;
   c3) 적어도 상기 결정된 벡터와 상기 결정된 벡터에 대한 상기 노멀 중의 하나의 결과를, 그 값이 픽셀 폭에 의해 표현된 실제 공간에서의 메트릭 사이즈(metric size)에 관련되어 있는 데이터 파라미터와 함께 이용하여, 가중 계수 파라미터를 결정하는 단계; 및
   c4) 상기 가중 계수 파라미터와 이웃 픽셀에 관한 정보 중의 적어도 하나를 이용하여 보정 계수를 결정하는 단계
   를 포함하는, 깊이 맵 품질 향상 방법.
4. 제3항에 있어서,
   상기 단계 c4)는 단지 유효한 이웃 픽셀의 데이터값만을 이용하는, 깊이 맵 품질 향상 방법.
5. 제3항 또는 제4항에 있어서,
   상기 단계 c4)는 이웃 픽셀의 깊이 값, 가중 계수 및 보정 계수 중의 적어도 하나를 이용하는 단계를 포함하는, 깊이 맵 품질 향상 방법.
6. 제3항 내지 제5항 중 어느 한 항에 있어서,
   상기 단계 c4)는 이웃 픽셀에 관한 정보의 통계 모드를 이용하는 단계를 더 포함하는, 깊이 맵 품질 향상 방법.
7. 제3항 내지 제6항 중 어느 한 항에 있어서,
   상기 단계 c4)는 이웃 픽셀을 통해 결정된 회귀 평면(regressive plane)으로부터 추출된 깊이 정보를 이용하는 단계를 더 포함하는, 깊이 맵 품질 향상 방법.
8. 제3항 내지 제7항 중 어느 한 항에 있어서,
   상기 결함성 픽셀은 3차원 이미지에서의 포그라운드 오브젝트와 백그라운드 오브젝트 간의 에지에 위치된 보간된 픽셀 데이터 값을 포함하는, 깊이 맵 품질 향상 방법.
9. 제8항에 있어서,
   상기 단계 b)는, 픽셀의 적어도 하나의 깊이 방향 도함수가 사전에 결정된 임계치보다 클 때에, 그리고 적어도 2개의 연속되는 방향 도함수가 동일한 부호를 갖는다면, 에지에서의 픽셀의 결함성 깊이 측정치를 식별하기 위해 상기 깊이 관련 방향 도함수를 이용하는 단계를 더 포함하는, 깊이 맵 품질 향상 방법.
10. 제3항 내지 제7항 중 어느 한 항에 있어서,
    상기 결함성 픽셀은 3차원 이미지의 연속 표면에 위치된 노이지 픽셀 데이터 값(noisy pixel data value)을 포함하는, 깊이 맵 품질 향상 방법.
11. 제10항에 있어서,
    상기 단계 b)는, 픽셀의 적어도 하나의 깊이 방향 도함수가 또 다른 사전에 결정된 임계치보다 크고, 그 픽셀의 또 다른 깊이 방향 도함수 역시 또 다른 사전에 결정된 임계치보다 클 때에, 연속 표면 상의 픽셀의 결함성 깊이 측정치를 식별하기 위해 상기 깊이 관련 방향 도함수를 이용하는 단계를 더 포함하며, 이들 2개의 방향 도함수가 반대 부호를 갖는, 깊이 맵 품질 향상 방법.
12. 제11항에 있어서,
    상기 단계 c)는, 각각의 식별된 결함성 픽셀에 대해,
    c5) 2개의 직교축을 이용하여 상기 깊이 방향 도함수 데이터 값에 관련하여 벡터를 결정하는 단계;
    c6) 결정된 벡터의 반경 값(radius value), 결정된 벡터에 대한 노멀 정보(normal information), 및 픽셀에 의해 표현된 장면에서의 실제 폭 중의 적어도 하나를 이용하여 가중 계수 파라미터를 결정하는 단계; 및
    c7) 결정된 상기 가중 계수 파라미터를 이웃 픽셀에 관한 정보와 조합하여 이용하여 보정 계수를 적용하는 단계
    를 더 포함하는, 깊이 맵 품질 향상 방법.
13. 제2항 내지 제12항 중 어느 한 항에 있어서,
    상기 깊이 관련 방향 도함수는 적어도 2개의 직교축을 이용하여 결정되는, 깊이 맵 품질 향상 방법.
14. 제2항 내지 제12항 중 어느 한 항에 있어서,
    상기 깊이 관련 방향 도함수는 노멀 맵(normal map)을 이용하여 결정되는, 깊이 맵 품질 향상 방법.
15. 제2항 내지 제13항 중 어느 한 항에 있어서,
    상기 깊이 관련 방향 도함수는 노멀 맵을 결정하기 위해 이용되는, 깊이 맵 품질 향상 방법.

Images