KR101526866B1

KR101526866B1 - 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치

Info

Publication number: KR101526866B1
Application number: KR1020090005090A
Authority: KR
Inventors: 강병민; 임화섭
Original assignee: 삼성전자주식회사
Priority date: 2009-01-21
Filing date: 2009-01-21
Publication date: 2015-06-10
Also published as: KR20100085675A; EP2211555B1; EP2541496B1; JP5519258B2; EP2211555A3; US20140241644A1; CN101783024B; JP2010171949A; US8744167B2; EP2541496A3; EP2211555A2; CN101783024A; US9471963B2; US20100183236A1; EP2541496A2

Abstract

깊이 노이즈 필터링 방법 및 장치가 개시된다. 깊이 노이즈 필터링 방법은 깊이 정보에 따라 공간적 필터링을 수행하거나 또는 시간적 필터링을 수행할 수 있다. 공간적 필터링을 수행하기 위해 깊이 노이즈 필터링 방법은 깊이 정보에 따라 공간 필터의 특성을 결정할 수 있다. 또한, 시간적 필터링을 수행하기 위해 깊이 노이즈 필터링 방법은 깊이 정보에 따라 참조 프레임의 개수를 결정할 수 있다. 깊이 노이즈 필터링 방법은 깊이 정보에 따라 적응적으로 깊이 노이즈를 제거함으로써, 노이즈 필터링의 성능을 향상시킬 수 있다.

깊이 영상, 필터 사이즈, 필터 계수, 깊이 노이즈, 공간 필터링, 시간 필터링

Description

깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치{METHOD OF FILTERING DEPTH NOISE USING DEPTH INFORMATION AND APPARATUS FOR ENABLING THE METHOD}

본 발명의 일실시예는 3D 영상을 처리하는 영상 처리에 관한 것으로, 깊이에 따라 발생하는 깊이 노이즈를 필터링하는 깊이 노이즈 필터링 방법 및 장치에 관한 것이다.

3D 영상의 수요가 증가하면서, 3D 영상을 수집할 수 있는 3D 카메라가 나타나고 있다. 3D 카메라는 물체의 컬러 정보와 깊이 정보를 취득하여 2D 영상에 입체감을 제공할 수 있다. 이 때, 깊이 정보는 물체와 카메라 간의 거리를 통해 결정될 수 있다.

3D 카메라의 영상 수집 특성상 물체의 거리에 따라 깊이 정보에 포함된 깊이 노이즈의 특성은 다르게 나타날 수 있다. 깊이 노이즈가 많은 깊이 정보를 통해 3D 영상을 구성하는 경우, 3D 영상의 품질은 저하될 수 있다.

따라서, 물체와 카메라 간의 거리에 따른 깊이 노이즈를 제거할 수 있는 방법이 요구된다.

본 발명의 일실시예에 따른 깊이 노이즈 필터링 방법은 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계, 상기 깊이 정보를 이용하여 상기 영역에 대한 공간 필터를 생성하는 단계 및 상기 영역의 깊이 정보에 공간 필터를 적용하여 상기 입체 영상의 깊이 노이즈 필터링을 수행하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 깊이 노이즈 필터링 방법은 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계, 상기 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계 및 상기 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 깊이 노이즈 필터링 방법은 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계, 상기 깊이 정보에 따라 상기 영역에 대한 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계, 상기 공간 필터가 적용된 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계 및 상기 개수에 대응하는 참조 프레임들을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 깊이 노이즈 필터링 방법은 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계, 상기 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 단계, 상기 결정된 깊이 정보에 따라 상기 영역에 대한 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 공간 필터 생성 방법은 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계, 상기 깊이 정보를 이용하여 상기 영역에 대한 공간 필터의 특징을 결정하는 단계 및 상기 공간 필터의 특징에 기초하여 상기 영역에 적용할 공간 필터를 생성하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 깊이 노이즈 필터링 장치는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대한 공간 필터를 생성하는 공간 필터 생성부 및 상기 영역의 깊이 정보에 상기 공간 필터를 적용하여 상기 입체 영상의 깊이 노이즈 필터링을 수행하는 필터링 수행부를 포함할 수 있다.

본 발명의 일실시예에 따른 깊이 노이즈 필터링 장치는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 프레임 개수 계산부 및 상기 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 깊이 정보 결정부를 포함할 수 있다.

본 발명의 일실시예에 따르면, 깊이 정보에 따라 공간적 필터링을 수행함으로써 적응적으로 깊이 노이즈를 제거하는 깊이 노이즈 필터링 방법 및 장치가 제공된다.

본 발명의 일실시예에 따르면, 깊이 정보에 따라 시간적 필터링을 수행함으로써 적응적으로 깊이 노이즈를 제거하는 깊이 노이즈 필터링 방법 및 장치가 제공된다.

본 발명의 일실시예에 따르면, 공간적 필터링을 수행하기 위해 깊이 정보에 따라 공간 필터의 사이즈 또는 계수를 계산함으로써, 깊이 정보에 따른 깊이 노이즈를 효과적으로 제거하는 깊이 노이즈 필터링 방법 및 장치가 제공된다.

본 발명의 일실시예에 따르면, 시간적 필터링을 수행하기 위해 깊이 정보에 따라 참조 프레임의 개수를 결정함으로써, 깊이 정보에 따른 깊이 노이즈를 효과적으로 제거하는 깊이 노이즈 필터링 방법 및 장치가 제공된다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 깊이 노이즈 필터링 방법은 깊이 노이즈 필터링 장치에 의해 수행될 수 있다.

도 1은 본 발명의 일실시예 따른 깊이 노이즈 필터링 장치를 이용하여 3D 영상을 재구성하는 과정을 설명하기 위한 도면이다.

도 1에서, 영상 수집 장치(102)는 오브젝트(101)를 촬영하여 영상을 수집할 수 있다. 또한, 영상 수집 장치(102)는 오브젝트(101)로부터 3D 영상을 수집할 수 있으며, 구체적으로, 영상 수집 장치(102)는 오브젝트(101)의 컬러 정보와 깊이 정보를 수집할 수 있다. 여기서, 컬러 정보는 영상 수집 장치(102)의 CCD 또는 CMOS 이미지 센서를 통해 수집되는 정보를 의미할 수 있다. 그리고, 깊이 정보는 영상 수집 장치(102)로부터 오브젝트(101)의 각 포인트까지의 거리를 의미할 수 있다.

일례로, 영상 수집 장치(102)는 오브젝트(101)에 광을 비추고 되돌아오는 시간을 측정한 후, 광의 속도를 이용하여 영상 수집 장치(102)와 오브젝트(101)와의 거리를 측정할 수 있다. 이렇게 측정된 거리를 통해 영상 수집 장치(102)는 깊이 정보를 수집할 수 있다. 이 때, 영상 수집 장치(102)가 수집하는 깊이 정보는 오브젝트(101)와의 거리에 따른 깊이 노이즈가 발생할 수 있으며, 깊이 노이즈 필터링 장치(103)는 필터링을 수행하여 이러한 깊이 노이즈를 제거할 수 있다. 즉, 깊이 노이즈 필터링 장치(103)는 로우-패스 필터(LPF)를 통해 필터링을 수행하여 깊이 노이즈를 제거할 수 있다.

일례로, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 공간적(spatial) 필터링을 수행할 수 있다. 또한, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 시간적(temporal) 필터링을 수행할 수 있다. 그리고, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 공간적 필터링과 시간적 필터링을 함께 수행할 수 있다. 또는, 깊이 노이즈 필터링 장치(103)는 공간적 필터링과 시간적 필터링을 순차적으로 수행할 수 있다.

이 때, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 필터의 사이즈 또는 계수를 계산하여 필터를 생성하고, 필터를 적용하여 공간적 필터링을 수행할 수 있다. 그리고, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 참조 프레임의 개수를 계산하여 시간적 필터링을 수행할 수 있다.

결국, 필터링 된 깊이 정보와 컬러 정보를 재구성하여 품질이 향상된 3D 영상(104)이 생성될 수 있다.

도 2는 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 공간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.

단계(S201)에서, 깊이 노이즈 필터링 장치(103)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득할 수 있다. 이 때, 영역은 필터링 대상 프레임을 구성하는 픽셀 또는 블록일 수 있다. 즉, 깊이 노이즈 필터링 장치(103)는 픽셀 단위 또는 블록 단위에 따라 필터링을 수행할 수 있다. 그리고, 깊이 정보는 영역에 대해 영상 수집 장치(102)와 오브젝트(101)와의 거리를 의미할 수 있다.

이 때, 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)를 통해 영상 수집장치(102)와 오브젝트(101)와의 거리인 깊이 정보를 획득할 수 있다.

단계(S202)에서, 깊이 노이즈 필터링 장치(103)는 깊이 정보를 이용하여 영역에 대한 공간 필터를 생성할 수 있다. 일례로, 깊이 노이즈 필터링 장치(103)는 깊이 정보를 이용하여 영역에 적용할 공간 필터의 사이즈 또는 계수 중 적어도 하나를 결정할 수 있다.

이 때, 깊이 노이즈 필터링 장치(103)는 깊이 정보, 영상 수집 장치(102)의 측정 최대 거리, 측정 최소 거리 및 측정 최대 거리일 때 공간 필터의 최대 사이즈를 이용하여 깊이 정보에 따른 공간 필터의 사이즈를 결정할 수 있다. 일례로, 깊이 노이즈 필터링 장치(103)는 하기 수학식 1에 따라 공간 필터의 사이즈를 결정할 수 있다.

여기서, depth는 깊이 정보를 의미하고, size는 깊이 정보에 따른 공간 필터의 사이즈를 의미한다. 그리고, min Distance는 영상 수집 장치(102)의 측정 최소 거리를 의미하고, max Distance는 영상 수집 장치(102)의 측정 최대 거리를 의미한다. 또한, max filtersize는 영상 수집 장치(102)의 측정 최대 거리일 때 공간 필터의 사이즈를 의미한다.

예를 들어, 영상 수집 장치(102)의 측정 최대 거리는 3.5m이고, 측정 최소 거리는 0.5m이며, 측정 최대 거리일 때 공간 필터의 사이즈가 9라고 가정한다. 그리고, 실제 깊이 영상이 1.5m에서 3.0m 사이라고 가정한다. 만약, 깊이 정보가 1.5m인 경우, 공간 필터의 사이즈는 정수인 3으로 결정된다. 그러면, 공간 필터는 3*3의 필터일 수 있다. 이 때, 공간 필터의 각 계수는 1/9로 결정될 수 있다. 그리고, 깊이 정보가 1.9m인 경우, 공간 필터의 사이즈는 4.2로 결정되고, 공간 필터는 4*4의 필터일 수 있다. 이 때, 공간 필터의 각 계수는 1/16로 결정될 수 있다. 여기서, 공간 필터의 계수는 입체 영상의 필터링 대상 프레임에 적용될 가중치의 계수를 의미할 수 있다.

수학식 1에 따르면, 깊이 노이즈 필터링 장치(103)는 깊이 정보가 근거리일수록 공간 필터의 사이즈를 감소시키고, 깊이 정보가 원거리일수록 상기 공간 필터의 사이즈를 증가시킬 수 있다.

일례로, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 공간 필터의 계수를 결정할 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 필터의 사이즈가 동일한 경우, 깊이 정보에 따라 공간 필터의 계수를 다르게 결정할 수 있다.

여기서, 공간 필터의 계수는 공간 필터의 중심에서 주변으로 갈수록 감소될 수 있다. 다만, 공간 필터의 중심에서 주변까지 공간 필터의 계수에 대한 감소율은 깊이 정보에 따라 다르게 결정될 수 있다. 구체적으로, 깊이 정보가 근거리일수록, 깊이 노이즈 필터링 장치(103)는 공간 필터의 계수에 대한 감소율을 크게 결정할 수 있다. 그리고, 깊이 정보가 원거리일수록, 깊이 노이즈 필터링 장치(103)는 공간 필터의 계수에 대한 감소율을 작게 결정할 수 있다.

일례로, 공간 필터의 계수에 대한 감소율은 가우시안 함수(Gaussian Function)로 표현될 수 있다. 이 때, 가우시안 함수의 폭은 시그마 값에 따라 결정되며, 깊이 정보가 근거리일수록 시그마 값은 작게 설정되고, 깊이 정보가 원거리일수록, 시그마 값은 크게 설정될 수 있다.

깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 공간 필터의 사이즈와 계수를 동시에 결정할 수 있다. 깊이 정보에 따른 공간 필터의 사이즈와 계수는 상기 언급한 설명에 따라 결정될 수 있다.

즉, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 연산 과정을 수행하여 공간 필터를 실시간으로 생성할 수 있다. 또한, 일례로, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 미리 설정된(predetermined) 공간 필터의 사이즈 또는 미리 설정된 공간 필터의 계수 중 적어도 하나의 공간 필터의 정보가 저장된 테이블을 참조하여 깊이 정보에 대응하는 공간 필터를 생성할 수 있다. 다시 말해서, 깊이 노이즈 필터링 장치(103)는 특정 깊이 정보에 대해 공간 필터의 특징을 미리 연산한 후, 입력된 깊이 정보에 맞는 공간 필터를 즉시 생성할 수 있다.

이 때, 공간 필터를 생성하려는 깊이 정보(D1)가 테이블에 설정되지 않는 경우, 깊이 노이즈 필터링 장치(103)는 상기 테이블을 통해 미리 설정한 깊이 정보를 조합하여 공간 필터를 생성할 수 있다. 구체적으로, 깊이 노이즈 필터링 장치(103)는 테이블에 미리 설정한 깊이 정보 중 깊이 정보(D1)를 포함할 수 있는 2개의 깊이 정보(D2, D3)를 결정할 수 있다. 그리고, 깊이 정보(D2, D3) 각각의 공간 필터를 깊이 정보(D1)과의 차이에 따라 가중치를 적용하여 깊이 정보(D1)의 공간 필터를 생성할 수 있다.

단계(S203)에서, 깊이 노이즈 필터링 장치(103)는 영역의 깊이 정보에 공간 필터를 적용하여 입체 영상의 깊이 노이즈 필터링을 수행할 수 있다. 앞에서 이미 언급했듯이, 영역은 필터링 대상 프레임을 구성하는 픽셀 또는 블록일 수 있다. 공간 필터를 적용함으로써, 고주파수 성분인 깊이 노이즈는 제거될 수 있다. 특히, 깊이 정보가 원거리일수록 고주파수 성분이 깊이 노이즈로 나타나기 때문에, 깊이 노이즈 필터링 장치(103)는 깊이 노이즈 필터링 강도를 강하게 조절하여 깊이 노이즈를 제거할 수 있다. 공간 필터를 적용하는 일례는 도 9에서 구체적으로 설명된다.

결국, 공간적 필터링은 입체 영상을 구성하는 1개의 필터링 대상 프레임에 있어서, 필터링 대상 프레임을 구성하는 영역에 대해 공간 필터를 적용하여 깊이 노이즈를 제거하는 것을 의미할 수 있다. 또한, 오브젝트(101)와의 거리가 멀수록 깊이 노이즈가 많이 발생하기 때문에, 깊이 노이즈 필터링 장치(103)는 오브젝트(101)와의 거리가 멀수록 필터링의 강도를 높여 깊이 노이즈를 제거하는 효과를 높일 수 있다.

도 3은 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 시간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.

단계(S301)에서, 깊이 노이즈 필터링 장치(103)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득할 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)로부터 깊이 정보를 획득할 수 있다. 영역과 깊이 정보는 도 2에서 이미 설명한 바와 동일하다.

단계(S302)에서, 깊이 노이즈 필터링 장치(103)는 깊이 정보를 이용하여 영역에 대해 참조 프레임의 개수를 계산할 수 있다. 영역마다 깊이 정보는 다르기 때문에, 영역마다 계산되는 참조 프레임의 개수도 달라질 수 있다. 이 때, 참조 프레임은 필터링 대상 프레임에 대해 깊이 노이즈를 제거하기 위해 참조하는 시간적으로 이전 또는 이후에 존재하는 프레임을 의미할 수 있다.

깊이 노이즈 필터링 장치(103)는 깊이 정보, 영상 수집 장치(102)의 측정 최소 거리, 측정 최대 거리 및 측정 최대 거리일 때의 프레임의 개수를 이용하여 깊이 정보에 기초한 참조 프레임의 개수를 계산할 수 있다. 일례로, 깊이 노이즈 필터링 장치(103)는 하기 수학식 2에 따라 참조 프레임의 개수를 계산할 수 있다.

여기서, depth는 깊이 정보를 의미하고, Num²은 참조 프레임의 개수를 의미한다. 그리고, min Distance는 영상 수집 장치(102)의 측정 최소 거리를 의미하고, max Distance는 영상 수집 장치(102)의 측정 최대 거리를 의미한다. 또한, max Num of frames는 영상 수집 장치(102)의 측정 최대 거리일 때 참조 프레임의 최대 개수를 의미한다.

예를 들어, 영상 수집 장치(102)의 측정 최대 거리는 3.5m이고, 측정 최소 거리는 0.5m이며, 측정 최대 거리일 때 참조 프레임의 최대 개수를 25라고 가정한다. 그리고, 실제 깊이 영상이 1.5m에서 3.0m 사이라고 가정한다. 만약, 깊이 정보가 1.5m인 경우, Num은 정수인 3으로 결정되어 참조 프레임의 개수는 9개가 된다. 그리고, 깊이 정보가 1.9m인 경우, Num은 4.2로 결정되어 참조 프레임의 개수는 16개가 된다.

이 때, 참조 프레임의 개수에 따라 참조 프레임의 영역에 적용되는 가중치는 반비례하여 결정된다. 즉, 참조 프레임의 개수가 9개인 경우, 9개의 참조 프레 임에서 해당 영역 각각의 깊이 정보에 가중치 1/9가 적용될 수 있다.

수학식 2에 따르면, 깊이 노이즈 필터링 장치(103)는 깊이 정보가 근거리일수록 참조 프레임의 개수를 감소시키고, 깊이 정보가 원거리일수록 참조 프레임의 개수를 증가시킬 수 있다.

단계(S303)에서, 깊이 노이즈 필터링 장치(103)는 참조 프레임의 개수에 대응하는 참조 프레임을 이용하여 필터링 대상 프레임에서 영역의 깊이 정보를 결정할 수 있다. 일례로, 깊이 노이즈 필터링 장치(103)는 참조 프레임의 깊이 정보를 평균하여 필터링 대상 프레임에서 영역의 깊이 정보를 결정할 수 있다.

예를 들어, 참조 프레임의 개수가 9개인 경우, 깊이 노이즈 필터링 장치(103)는 필터링 대상 프레임의 영역에 대응하는 9개의 참조 프레임의 영역 각각에 깊이 정보에 가중치 1/9를 적용한 후, 이를 산술 평균하여 필터링 대상 프레임의 영역의 깊이 정보를 결정할 수 있다.

도 4는 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 공간적 필터링과 시간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.

단계(S401)에서, 깊이 노이즈 필터링 장치(103)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득할 수 있다. 영역과 깊이 정보에 대한 설명은 도 2를 참고할 수 있다.

단계(S402)에서, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 상기 영역에 대한 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용할 수 있다. 단계(S401)와 단계(S402)는 공간적 필터링을 의미한다. 단계(S401)와 단계(S402)에 대한 구체적인 설명은 도 2를 참고할 수 있다.

단계(S403)에서, 깊이 노이즈 필터링 장치(103)는 공간 필터가 적용된 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산할 수 있다.

단계(S404)에서, 깊이 노이즈 필터링 장치(103)는 개수에 대응하는 참조 프레임들을 이용하여 필터링 대상 프레임에서 영역의 깊이 정보를 결정할 수 있다. 단계(S403)와 단계(S404)는 시간적 필터링을 의미할 수 있다. 단계(S403)와 단계(S404)에 대한 설명은 도 3를 참고할 수 있다.

즉, 도 4는 입체 영상에 대해 공간적 필터링(spatial filtering)을 적용한 후, 시간적 필터링(temporal filtering)을 적용한 것을 의미할 수 있다.

도 5는 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 시간적 필터링과 공간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.

단계(S501)에서, 깊이 노이즈 필터링 장치(103)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득할 수 있다. 영역과 깊이 정보에 대한 설명은 도 2를 참고할 수 있다.

단계(S502)에서, 깊이 노이즈 필터링 장치(103)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산할 수 있다.

단계(S503)에서, 깊이 노이즈 필터링 장치(103)는 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정할 수 있다.

단계(S502)와 단계(S503)는 시간적 필터링을 적용하는 과정에 관한 것으로, 구체적인 설명은 도 3을 참고할 수 있다.

단계(S504)에서, 깊이 노이즈 필터링 장치(103)는 결정된 깊이 정보에 따라 영역에 대한 공간 필터를 생성하여 영역의 깊이 정보에 적용할 수 있다.

단계(S504)는 공간적 필터링을 적용하는 과정에 관한 것으로, 구체적인 설명은 도 2를 참고할 수 있다.

즉, 도 5는 입체 영상에 대해 시간적 필터링(temporal filtering)을 적용한 후, 공간적 필터링(spatial filtering)을 적용한 것을 의미할 수 있다.

도 6은 본 발명의 일실시예에 따라 깊이 정보에 따른 깊이 노이즈의 차이를 나타내는 일례를 도시한 플로우차트이다.

도 6을 참고하면, 영상 수집 장치(102)와 오브젝트(101)와의 거리인 깊이 정보에 따른 깊이 노이즈의 정도를 확인할 수 있다. 도 1에서 이미 언급했듯이, 깊이 정보는 영상 수집 장치(102)가 방출한 광이 오브젝트(101)에 반사되어 되돌아 오는 시간을 빛의 속도로 나눔으로써 결정될 수 있다. 이 때, 영상 수집 장치(102)와 가깝게 위치한 오브젝트(101)에서 반사되어 되돌아오는 광의 세기는 강하기 때문에, 깊이 정보의 정확도는 높다. 따라서, 오브젝트(101)와의 거리가 가까울수록 깊이 노이즈는 적을 수 있다. 반대로, 영상 수집 장치(102)와 멀리 떨어진 오브젝트(101)의 경우, 반사되어 되돌아오는 광의 세기가 적어 깊이 정보의 정확도가 낮아질 수 있다. 이 경우, 깊이 정보에 대한 깊이 노이즈는 크게 발생할 수 있다.

결국, 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록 깊이 노이즈는 증가하고, 영상 수집 장치(102)와 오브젝트(101)의 거리가 가까울수록 깊이 노이즈는 감소할 수 있다. 이에 따라, 본 발명의 일실시예에 따른 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록 깊이 노이즈에 대한 필터링의 강도를 증가시킬 수 있다.

구체적으로, 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록 공간적 필터링을 위한 공간 필터의 크기를 증가시킬 수 있다. 또는, 깊이 노이즈 필터링 장치(103)는 중심에서 주변으로 갈수록 계수가 감소하도록 공간 필터를 생성할 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 계수의 감소율을 깊이 정보에 따라 다르게 결정할 수 있다. 예를 들어, 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록 공간 필터의 계수에 대한 감소율을 감소시킬 수 있다. 그리고, 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록 시간적 필터링을 위한 참조 프레임의 개수를 증가시킬 수 있다.

도 7은 본 발명의 일실시예에 따라 깊이 정보에 따라 공간 필터의 사이즈를 계산하는 과정을 설명하기 위한 도면이다.

도 6에서 설명했듯이, 깊이 노이즈 필터링 장치(103)는 오브젝트(101)와 영상 수집 장치(102) 간의 거리가 멀수록 공간적 필터링을 위한 공간 필터의 사이즈를 증가시킬 수 있다. 즉, 영상 수집 장치(102)와 오브젝트(101)의 거리가 원거리 인 경우, 5*5사이즈의 공간 필터(701)가 결정될 수 있다. 그리고, 영상 수집 장치(102)와 오브젝트(101)의 거리가 중간 거리인 경우, 4*4 사이즈의 공간 필터(702)가 결정될 수 있다. 또한, 영상 수집 장치(102)와 오브젝트(101)의 거리가 근거리인 경우, 3*3사이즈의 공간 필터(703)가 결정될 수 있다.

구체적으로 공간 필터의 사이즈를 결정하는 과정은 상기 수학식 1을 참고할 수 있다.

도 8은 본 발명의 일실시예에 따라 깊이 정보에 따라 공간 필터의 계수를 계산하는 과정을 설명하기 위한 도면이다.

도 8에서 공간 필터(801, 802, 803, 804)의 사이즈는 동일하다고 가정한다. 그리고, 공간 필터가 적용된 결과가 공간 필터 옆에 도시되어 있다.

도 6에서 설명했듯이, 깊이 노이즈 필터링 장치(103)는 오브젝트(101)와 영상 수집 장치(102) 간의 거리가 멀수록 공간적 필터링을 위한 공간 필터의 계수에 대한 감소율을 감소시킬 수 있다. 구체적으로, 깊이 노이즈 필터링 장치(103)는 공간 필터의 중심에서 주변으로 갈수록 공간 필터의 계수는 감소될 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 공간 필터의 계수에 대한 감소율을 다르게 결정할 수 있다.

깊이 노이즈 필터링 장치(103)는 깊이 정보가 근거리일수록 공간 필터의 계수에 대한 감소율을 증가시킬 수 있다. 즉, 공간적 필터링을 수행할 때, 공간 필터가 적용될 영역은 주변 영역의 깊이 정보의 영향을 적게 받을 수 있다. 그리고, 깊이 노이즈 필터링 장치(103)는 깊이 정보가 원거리일수록 공간 필터의 계수에 대 한 감소율을 감소시킬 수 있다. 즉, 공간적 필터링을 수행할 때, 공간 필터가 적용될 영역은 주변 영역의 깊이 정보의 영향을 크게 받을 수 있다.

도 8에서 볼 수 있듯이, 공간 필터의 계수에 대한 감소율은 가우시안 함수로 표현될 수 있다. 여기서, 가우시안 함수의 폭을 결정하는 시그마 값은 공간 필터의 계수에 대한 감소율을 의미하며, 깊이 정보에 따라 다르게 설정될 수 있다. 일례로, 깊이 정보가 근거리인 경우, 가우시안 함수의 시그마 값은 작게 설정되고, 깊이 정보가 원거리인 경우, 가우시안 함수의 시그마 값은 크게 설정될 수 있다.

도 8에서 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록, 깊이 노이즈가 강하기 때문에 깊이 노이즈 필터링 장치(103)는 필터링 강도를 높일 수 있다. 즉, 필터링 강도가 높을수록 깊이 정보의 고주파수 성분이 많이 제거될 수 있다. 반대로, 영상 수집 장치(102)와 오브젝트(101)의 거리가 가까울수록, 깊이 노이즈는 약하기 때문에 깊이 노이즈 필터링 장치(103)는 필터링 강도를 약하게 할 수 있다. 일례로, 깊이 정보가 원거리인 경우, 입체 영상의 고주파수 성분은 노이즈 성분일 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 필터링 강도를 조절하여 입체 영상의 노이즈 성분인 고주파수 성분을 제거할 수 있다. 반면에, 깊이 정보가 근거리인 경우, 입체 영상의 고주파수 성분은 노이즈 성분이 아닌 입체 영상의 원래 성분일 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 필터링 강도를 조절하여 입체 영상의 원래 성분인 고주파수 성분을 그대로 둘 수 있다.

도 9는 본 발명의 일실시예에 따라 깊이 정보에 공간 필터를 적용하는 일례를 도시한 도면이다.

도면부호(901)는 깊이 노이즈 필터링 장치(103)에 의해 생성된 공간 필터를 나타낸다. 그리고, 도면부호(902)는 공간 필터가 적용될 영역의 깊이 정보를 의미한다. 이 때, 공간필터는 영역 e에 적용되는 것을 의미한다. 영역 e는 픽셀이거나 또는 픽셀로 구성된 블록일 수 있다.

그리고, 도면부호(903)는 공간 필터가 적용된 영역의 깊이 정보를 의미하다. 즉, 도면부호(903)는 공간적 필터링이 수행된 결과를 나타낸다. e'는 공간적 필터링이 수행된 깊이 정보를 의미한다.

일례로, 공간적 필터링이 수행된 깊이 정보는 하기 수학식 3에 따라 결정될 수 있다.

e'=(A*a)+(B*b)+(C*c)+(D*d)+(E*e)+(F*f)+(G*g)+(H*h)+(I*i)

수학식 3을 살펴보면, 공간적 필터링은 공간 필터가 적용될 영역의 주변 영역의 깊이 정보를 통해 수행될 수 있다. 이와 같은 필터링 과정을 마스크 기반의 필터링이라고 할 수 있다. 본 발명의 일실시예에 따르면, 필터링이 수행될 영역(e)의 깊이 정보에 따라 공간 필터의 사이즈 또는 계수가 결정될 수 있다.

도 10은 본 발명의 일실시예에 따라 깊이 정보에 따라 참조 프레임의 개수를 결정하여 시간적 필터링을 수행하는 일례를 도시한 도면이다.

도 10을 참고하면, 입체 영상을 구성하는 복수의 프레임이 도시된다. 이 때, 복수의 프레임은 시간적 필터링을 수행하기 위한 참조 프레임을 의미할 수 있다. 그리고, 도면부호(1001)는 필터링 대상 프레임이라고 가정한다. 여기서, 필 터링 대상 프레임(1001)은 영역(1002, 1003, 1004)으로 구성될 수 있다.

필터링 대상 프레임(1001)에서 영역(1002)의 깊이 정보는 영상 수집 장치(102)로부터 원거리에 위치한 오브젝트(101)로부터 획득한 것이라고 가정한다. 그리고, 영역(1003)의 깊이 정보는 영상 수집 장치(102)로부터 중간 거리에 위치한 오브젝트(101)로부터 획득한 것이고, 영역(1004)의 깊이 정보는 영상 수집 장치(102)로부터 근거리에 위치한 오브젝트(101)로부터 획득한 것이라고 가정한다.

본 발명의 일실시예에 따른 깊이 노이즈 필터링 장치(103)는 깊이 정보를 이용하여 영역에 대한 참조 프레임의 개수를 계산할 수 있다. 일례로, 깊이 노이즈 필터링 장치(103)는 영역에 대한 깊이 정보가 원거리일수록 참조 프레임 개수를 증가시키고, 영역에 대한 깊이 정보가 근거리일수록 참조 프레임 개수를 감소시킬 수 있다.

도 10을 참고하면, 영역(1004)의 경우, 깊이 정보가 근거리이므로 참조 프레임의 개수(1007)가 결정될 수 있다. 그리고, 영역(1003)의 경우, 깊이 정보가 중간 거리이므로, 참조 프레임의 개수(1006)는 참조 프레임의 개수(1007)보다 많음을 알 수 있다. 그리고, 영역(1002)의 경우, 깊이 정보가 원거리이므로 참조 프레임의 개수(1005)가 결정될 수 있다. 이 때, 참조 프레임의 개수(1005)는 참조 프레임의 개수(1006, 1007)보다 큰 것을 알 수 있다.

즉, 깊이 노이즈 필터링 장치(103)는 필터링 대상 프레임(1001)에서 깊이 정보가 근거리일수록 참조 프레임의 개수를 감소시키고, 원거리일수록 참조 프레임의 개수를 증가시킬 수 있다. 참고로, 영역(1003)에 대해 시간적 필터링을 수행하 는 경우, 깊이 노이즈 필터링 장치(103)는 참조 프레임의 개수(1006)에 대응하는 참조 프레임에서 영역(1003)의 깊이 정보를 평균하여 영역(1003)의 깊이 정보를 갱신할 수 있다.

도 11은 본 발명의 일실시예에 따라 공간적 필터링을 수행하기 위한 깊이 노이즈 필터링 장치의 전체 구성을 도시한 블록 다이어그램이다.

도 11을 참고하면, 깊이 노이즈 필터링 장치(103)는 공간 필터 생성부(1101) 및 필터링 수행부(1102)를 포함할 수 있다.

공간 필터 생성부(1101)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대한 공간 필터를 생성할 수 있다. 일례로, 공간 필터 생성부(1101)는 깊이 정보에 따라 공간 필터의 사이즈 또는 계수 중 적어도 하나를 계산할 수 있다. 또한, 공간 필터 생성부(1101)는 공간 필터의 사이즈 및 계수를 동시에 계산할 수도 있다. 도 1에서 언급했듯이, 영역은 필터링 대상 프레임을 구성하는 픽셀 또는 블록일 수 있다. 그리고, 깊이 정보는 영상 수집 장치와 오브젝트와의 거리를 의미할 수 있다.

이 때, 공간 필터 생성부(1101)는 깊이 정보, 영상 수집 장치의 측정 최대 거리, 측정 최소 거리 및 상기 측정 최대 거리일 때 공간 필터의 최대 사이즈를 이용하여 상기 깊이 정보에 따른 공간 필터의 사이즈를 결정할 수 있다.

그리고, 공간 필터 생성부(1101)는 깊이 정보가 근거리일수록 공간 필터의 사이즈를 감소시키고, 깊이 정보가 원거리일수록 공간 필터의 사이즈를 증가시킬 수 있다. 또한, 공간 필터 생성부(1101)는 공간 필터의 중심에서 주변으로 갈수록 계수가 감소하도록 공간 필터를 생성할 수 있다. 일례로, 공간 필터 생성부(1101)는 깊이 정보에 따라 감소율을 다르게 결정할 수 있다. 예를 들면, 공간 필터 생성부(1101)는 깊이 정보가 근거리일수록 상기 공간 필터의 계수에 대한 감소율을 증가시키고,, 깊이 정보가 원거리일수록 공간 필터의 계수에 대한 감소율을 감소시킬 수 있다.

즉, 공간 필터 생성부(1101)는 깊이 정보에 따라 연산 과정을 수행하여 공간 필터를 실시간으로 생성할 수 있다. 또한, 일례로, 공간 필터 생성부(1101)는 깊이 정보에 따라 미리 설정된(predetermined) 공간 필터의 사이즈 또는 미리 설정된 공간 필터의 계수 중 적어도 하나의 공간 필터의 정보가 저장된 테이블을 참조하여 깊이 정보에 대응하는 공간 필터를 생성할 수 있다. 다시 말해서, 공간 필터 생성부(1101)는 특정 깊이 정보에 대해 공간 필터의 특징을 미리 연산한 후, 입력된 깊이 정보에 맞는 공간 필터를 즉시 생성할 수 있다.

이 때, 테이블에 공간 필터를 생성하려는 깊이 정보(D1)가 존재하지 않는 경우, 공간 필터 생성부(1101)는 상기 테이블 상에 존재하는 깊이 정보를 조합하여 공간 필터를 생성할 수 있다. 구체적으로, 공간 필터 생성부(1101)는 공간 필터를 생성하려는 깊이 정보(D1)를 포함하는 2개의 깊이 정보(D2, D3)에 해당하는 공간 필터를 깊이 정보에 따라 가중치를 적용하여 상기 공간 필터를 생성하려는 깊이 정보(D1)에 따른 공간 필터를 생성할 수 있다.

필터링 수행부(1102)는 영역의 깊이 정보에 공간 필터를 적용하여 상기 입체 영상의 깊이 노이즈 필터링을 수행할 수 있다. 이 때, 깊이 노이즈 필터링은 마스크 기반의 공간 필터를 적용하여 상기 영역의 주변 영역의 깊이 정보를 통해 수행될 수 있다.

도 12는 본 발명의 일실시예에 따라 시간적 필터링을 수행하기 위한 깊이 노이즈 필터링 장치의 전체 구성을 도시한 블록 다이어그램이다.

도 12를 참고하면, 깊이 노이즈 필터링 장치(103)는 프레임 개수 계산부(1201) 및 깊이 정보 결정부(1202)를 포함할 수 있다.

프레임 개수 계산부(1201)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산할 수 있다. 일례로, 프레임 개수 계산부(1201)는 깊이 정보, 영상 수집 장치의 측정 최소 거리, 측정 최대 거리 및 상기 측정 최대 거리일 때의 프레임의 개수를 이용하여 상기 깊이 정보에 기초한 참조 프레임의 개수를 계산할 수 있다. 여기서, 프레임 개수 계산부(1201)는 영역에 대해 깊이 정보가 원거리일수록 참조 프레임 개수를 증가시키고, 영역에 대해 깊이 정보가 근거리일수록 참조 프레임 개수를 감소시킬 수 있다.

깊이 정보 결정부(1202)는 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정할 수 있다. 일례로, 깊이 정보 결정부(1202)는 참조 프레임의 영역에 대한 깊이 정보를 평균하여 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정할 수 있다.

도 11 및 도 12에서 설명되지 않은 부분은 도 1 내지 도 10의 설명을 참고할 수 있다.

또한 본 발명의 일실시예에 따른 깊이 노이즈 필터링 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

도 10은 본 발명의 일실시예에 따라 깊이 정보에 따라 참조 프레임의 개수 를 결정하여 시간적 필터링을 수행하는 일례를 도시한 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

101: 오브젝트

102: 영상 수집 장치

103: 깊이 노이즈 필터링 장치

104: 3D 영상

Claims

영상에 포함된 영역의 깊이 정보를 획득하는 단계;

상기 깊이 정보를 이용하여 상기 영역에 대한 공간 필터를 생성하는 단계; 및

상기 영역의 깊이 정보에 상기 공간 필터를 적용하는 단계를 포함하고,

상기 영역에 대한 상기 공간 필터를 생성하는 단계는,

상기 깊이 정보에 나타난 영상 수집 장치와 오브젝트 간의 거리에 기초하여 상기 영역에 적용할 상기 공간 필터의 사이즈 및 상기 공간 필터의 계수 중 적어도 하나를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
삭제
제1항에 있어서,

상기 영역에 대한 상기 공간 필터를 생성하는 단계는,

상기 깊이 정보, 상기 영상 수집 장치의 측정 최대 거리, 측정 최소 거리 및 상기 측정 최대 거리일 때 상기 공간 필터의 최대 사이즈 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 따른 상기 공간 필터의 사이즈를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제1항에 있어서,

상기 영역에 대한 상기 공간 필터를 생성하는 단계는,

상기 깊이 정보에 따라 미리 설정된(predetermined) 상기 공간 필터의 사이즈 및 미리 설정된 상기 공간 필터의 계수 중 적어도 하나의 상기 공간 필터의 정보가 저장된 테이블을 참조하여, 상기 깊이 정보에 대응하는 상기 공간 필터를 생성하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제1항에 있어서,

상기 영역에 대한 상기 공간 필터를 생성하는 단계는,

상기 깊이 정보가 근거리일수록 상기 공간 필터의 사이즈를 감소시키는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제1항에 있어서,

상기 영역에 대한 상기 공간 필터를 생성하는 단계는,

상기 깊이 정보가 근거리일수록 상기 공간 필터의 계수에 대한 감소율을 증가시키고,

상기 공간 필터의 계수는,

상기 공간 필터의 중심에서 주변으로 갈수록 감소하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제1항에 있어서,

상기 영역은,

상기 영상에 포함된 픽셀 또는 블록 중 어느 하나인 것을 특징으로 하는 깊이 노이즈 필터링 방법.
영상에 포함된 영역의 깊이 정보를 획득하는 단계;

상기 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계; 및

상기 개수에 대응하는 참조 프레임을 이용하여 상기 영역의 깊이 정보를 결정하는 단계를 포함하고,

상기 참조 프레임의 개수를 계산하는 단계는,

상기 깊이 정보에 나타난 영상 수집 장치와 오브젝트 간의 거리에 기초하여 시간적 필터링을 수행하기 위한 상기 참조 프레임의 개수를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제8항에 있어서,

상기 참조 프레임의 개수를 계산하는 단계는,

상기 깊이 정보, 상기 영상 수집 장치의 측정 최소 거리, 측정 최대 거리 및 상기 측정 최대 거리일 때의 프레임의 개수 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 기초한 참조 프레임의 개수를 계산하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제8항에 있어서,

상기 참조 프레임의 개수를 계산하는 단계는,

상기 영역에 대해 깊이 정보가 근거리일수록 상기 참조 프레임 개수를 감소시키는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제8항에 있어서,

상기 영역의 깊이 정보를 결정하는 단계는,

상기 참조 프레임의 영역에 대한 깊이 정보를 평균하여 상기 영역의 깊이 정보를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
영상에 포함된 영역의 깊이 정보를 획득하는 단계;

상기 깊이 정보에 따라 상기 영역에 대한 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계;

상기 공간 필터가 적용된 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계; 및

상기 개수에 대응하는 참조 프레임들을 이용하여 상기 영역의 깊이 정보를 결정하는 단계를 포함하고,

상기 영역에 대한 상기 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계는,

상기 깊이 정보에 나타난 영상 수집 장치와 오브젝트 간의 거리에 기초하여 상기 영역에 적용할 상기 공간 필터의 사이즈 또는 상기 공간 필터의 계수 중 적어도 하나를 결정하고,

상기 영역에 대해 참조 프레임의 개수를 계산하는 단계는,

상기 깊이 정보에 나타난 상기 영상 수집 장치와 상기 오브젝트 간의 거리에 기초하여 시간적 필터링을 수행하기 위한 상기 참조 프레임의 개수를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
삭제
제12항에 있어서,

상기 영역에 대한 상기 공간 필터를 생성하는 단계는,

상기 깊이 정보에 따라 미리 설정된(predetermined) 상기 공간 필터의 사이즈 및 미리 설정된 상기 공간 필터의 계수 중 적어도 하나의 상기 공간 필터의 정보가 저장된 테이블을 참조하여, 상기 깊이 정보에 대응하는 상기 공간 필터를 생성하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제12항에 있어서,

상기 영역에 대한 상기 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계는,

상기 깊이 정보, 상기 영상 수집 장치의 측정 최대 거리, 측정 최소 거리 및 상기 측정 최대 거리일 때 상기 공간 필터의 최대 사이즈 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 따른 상기 공간 필터의 사이즈를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제12항에 있어서,

상기 영역에 대해 참조 프레임의 개수를 계산하는 단계는,

상기 깊이 정보, 상기 영상 수집 장치의 측정 최소 거리, 측정 최대 거리 및 상기 측정 최대 거리일 때 프레임의 개수 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 따른 상기 참조 프레임의 개수를 계산하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제12항에 있어서,

상기 영역의 깊이 정보를 결정하는 단계는,

상기 참조 프레임의 영역에 대한 깊이 정보를 평균하여 상기 영역의 깊이 정보를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
영상에 포함된 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계;

상기 개수에 대응하는 참조 프레임을 이용하여 상기 영역의 깊이 정보를 결정하는 단계; 및

상기 결정된 깊이 정보에 따라 상기 영역에 대한 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계를 포함하고,

상기 영역에 대해 참조 프레임의 개수를 계산하는 단계는,

상기 깊이 정보에 나타난 영상 수집 장치와 오브젝트 간의 거리에 기초하여 시간적 필터링을 수행하기 위한 상기 참조 프레임의 개수를 결정하고,

상기 영역에 대한 상기 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계는,

상기 깊이 정보에 나타난 상기 영상 수집 장치와 상기 오브젝트 간의 거리에 기초하여 상기 영역에 적용할 상기 공간 필터의 사이즈 또는 상기 공간 필터의 계수 중 적어도 하나를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제18항에 있어서,

상기 참조 프레임의 개수를 계산하는 단계는,

상기 깊이 정보, 상기 영상 수집 장치의 측정 최소 거리, 측정 최대 거리 및 상기 측정 최대 거리일 때의 프레임의 개수 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 기초한 참조 프레임의 개수를 계산하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제18항에 있어서,

상기 영역의 깊이 정보를 결정하는 단계는,

상기 참조 프레임의 영역에 대한 깊이 정보를 평균하여 상기 영역의 깊이 정보를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
삭제
제18항에 있어서,

상기 영역에 대한 상기 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계는,

상기 깊이 정보에 따라 미리 설정된(predetermined) 상기 공간 필터의 사이즈 및 미리 설정된 상기 공간 필터의 계수 중 적어도 하나의 상기 공간 필터의 정보가 저장된 테이블을 참조하여, 상기 깊이 정보에 대응하는 상기 공간 필터를 생성하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
제18항에 있어서,

상기 영역에 대한 상기 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계는,

상기 깊이 정보, 상기 영상 수집 장치의 측정 최대 거리, 측정 최소 거리 및 상기 측정 최대 거리일 때 상기 공간 필터의 최대 사이즈 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 따른 상기 공간 필터의 사이즈를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
영상에 포함된 영역의 깊이 정보를 획득하는 단계;

상기 깊이 정보를 이용하여 상기 영역에 대한 공간 필터의 특징을 결정하는 단계; 및

상기 공간 필터의 특징에 기초하여 상기 영역에 적용할 상기 공간 필터를 생성하는 단계를 포함하고,

상기 영역에 대한 공간 필터의 특징을 결정하는 단계는,

상기 깊이 정보에 나타난 영상 수집 장치와 오브젝트 간의 거리에 기초하여 상기 영역에 적용할 상기 공간 필터의 사이즈 또는 상기 공간 필터의 계수 중 적어도 하나를 결정하는 것을 특징으로 하는 공간 필터 생성 방법.
삭제
제24항에 있어서,

상기 영역에 적용할 상기 공간 필터를 생성하는 단계는,

상기 깊이 정보에 따라 미리 설정된(predetermined) 상기 공간 필터의 사이즈 및 미리 설정된 상기 공간 필터의 계수 중 적어도 하나의 상기 공간 필터의 정보가 저장된 테이블을 참조하여, 상기 깊이 정보에 대응하는 상기 공간 필터를 생성하는 것을 특징으로 하는 공간 필터 생성 방법.
제24항에 있어서,

상기 영역에 대한 상기 공간 필터의 특징을 결정하는 단계는,

상기 깊이 정보, 상기 영상 수집 장치의 측정 최대 거리, 측정 최소 거리 및 상기 측정 최대 거리일 때 상기 공간 필터의 최대 사이즈 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 따른 상기 공간 필터의 사이즈를 결정하는 것을 특징으로 하는 공간 필터 생성 방법.
제24항에 있어서,

상기 영역에 대한 상기 공간 필터의 특징을 결정하는 단계는,

상기 깊이 정보가 근거리일수록 상기 공간 필터의 사이즈를 감소시키는 것을 특징으로 하는 공간 필터 생성 방법.
제24항에 있어서,

상기 영역에 대한 상기 공간 필터의 특징을 결정하는 단계는,

상기 깊이 정보가 근거리일수록 상기 공간 필터의 계수에 대한 감소율을 증가시키고,

상기 공간 필터의 계수는,

상기 공간 필터의 중심에서 주변으로 갈수록 감소하는 것을 특징으로 하는 공간 필터 생성 방법.
제1항, 제3항 내지 제12항, 제14항 내지 제20항, 제22항 내지 제24항, 및 제 26항 내지 29항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
영상에 포함된 영역의 깊이 정보를 이용하여 상기 영역에 대한 공간 필터를 생성하는 공간 필터 생성부; 및

상기 영역의 깊이 정보에 상기 공간 필터를 적용하여 상기 영상의 깊이 노이즈 필터링을 수행하는 필터링 수행부를 포함하고,

상기 공간 필터 생성부는,

상기 깊이 정보에 나타난 영상 수집 장치와 오브젝트 간의 거리에 기초하여 상기 영역에 적용할 상기 공간 필터의 사이즈 또는 상기 공간 필터의 계수 중 적어도 하나를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 장치.
삭제
제31항에 있어서,

상기 공간 필터 생성부는,

상기 깊이 정보에 따라 미리 설정된(predetermined) 상기 공간 필터의 사이즈 및 미리 설정된 상기 공간 필터의 계수 중 적어도 하나의 상기 공간 필터의 정보가 저장된 테이블을 참조하여, 상기 깊이 정보에 대응하는 상기 공간 필터를 생성하는 것을 특징으로 하는 깊이 노이즈 필터링 장치.
영상에 포함된 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 프레임 개수 계산부; 및

상기 개수에 대응하는 참조 프레임을 이용하여 상기 영역의 깊이 정보를 결정하는 깊이 정보 결정부를 포함하고,

상기 프레임 개수 계산부는,

상기 깊이 정보에 나타난 영상 수집 장치와 오브젝트 간의 거리에 기초하여 시간적 필터링을 수행하기 위한 상기 참조 프레임의 개수를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 장치.
제34항에 있어서,

상기 깊이 정보 결정부는,

상기 참조 프레임의 영역에 대한 깊이 정보를 평균하여 상기 영역의 깊이 정보를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 장치.