KR20100085675A - 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치 - Google Patents

깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치 Download PDF

Info

Publication number
KR20100085675A
KR20100085675A KR1020090005090A KR20090005090A KR20100085675A KR 20100085675 A KR20100085675 A KR 20100085675A KR 1020090005090 A KR1020090005090 A KR 1020090005090A KR 20090005090 A KR20090005090 A KR 20090005090A KR 20100085675 A KR20100085675 A KR 20100085675A
Authority
KR
South Korea
Prior art keywords
depth information
spatial filter
region
depth
filtering
Prior art date
Application number
KR1020090005090A
Other languages
English (en)
Other versions
KR101526866B1 (ko
Inventor
강병민
임화섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090005090A priority Critical patent/KR101526866B1/ko
Priority to JP2009281523A priority patent/JP5519258B2/ja
Priority to US12/654,208 priority patent/US8744167B2/en
Priority to CN201010003916.4A priority patent/CN101783024B/zh
Priority to EP10151259.8A priority patent/EP2211555B1/en
Priority to EP12178575.2A priority patent/EP2541496B1/en
Publication of KR20100085675A publication Critical patent/KR20100085675A/ko
Priority to US14/272,041 priority patent/US9471963B2/en
Application granted granted Critical
Publication of KR101526866B1 publication Critical patent/KR101526866B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

깊이 노이즈 필터링 방법 및 장치가 개시된다. 깊이 노이즈 필터링 방법은 깊이 정보에 따라 공간적 필터링을 수행하거나 또는 시간적 필터링을 수행할 수 있다. 공간적 필터링을 수행하기 위해 깊이 노이즈 필터링 방법은 깊이 정보에 따라 공간 필터의 특성을 결정할 수 있다. 또한, 시간적 필터링을 수행하기 위해 깊이 노이즈 필터링 방법은 깊이 정보에 따라 참조 프레임의 개수를 결정할 수 있다. 깊이 노이즈 필터링 방법은 깊이 정보에 따라 적응적으로 깊이 노이즈를 제거함으로써, 노이즈 필터링의 성능을 향상시킬 수 있다.
깊이 영상, 필터 사이즈, 필터 계수, 깊이 노이즈, 공간 필터링, 시간 필터링

Description

깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치{METHOD OF FILTERING DEPTH NOISE USING DEPTH INFORMATION AND APPARATUS FOR ENABLING THE METHOD}
본 발명의 일실시예는 3D 영상을 처리하는 영상 처리에 관한 것으로, 깊이에 따라 발생하는 깊이 노이즈를 필터링하는 깊이 노이즈 필터링 방법 및 장치에 관한 것이다.
3D 영상의 수요가 증가하면서, 3D 영상을 수집할 수 있는 3D 카메라가 나타나고 있다. 3D 카메라는 물체의 컬러 정보와 깊이 정보를 취득하여 2D 영상에 입체감을 제공할 수 있다. 이 때, 깊이 정보는 물체와 카메라 간의 거리를 통해 결정될 수 있다.
3D 카메라의 영상 수집 특성상 물체의 거리에 따라 깊이 정보에 포함된 깊이 노이즈의 특성은 다르게 나타날 수 있다. 깊이 노이즈가 많은 깊이 정보를 통해 3D 영상을 구성하는 경우, 3D 영상의 품질은 저하될 수 있다.
따라서, 물체와 카메라 간의 거리에 따른 깊이 노이즈를 제거할 수 있는 방법이 요구된다.
본 발명의 일실시예에 따른 깊이 노이즈 필터링 방법은 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계, 상기 깊이 정보를 이용하여 상기 영역에 대한 공간 필터를 생성하는 단계 및 상기 영역의 깊이 정보에 공간 필터를 적용하여 상기 입체 영상의 깊이 노이즈 필터링을 수행하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 깊이 노이즈 필터링 방법은 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계, 상기 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계 및 상기 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 깊이 노이즈 필터링 방법은 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계, 상기 깊이 정보에 따라 상기 영역에 대한 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계, 상기 공간 필터가 적용된 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계 및 상기 개수에 대응하는 참조 프레임들을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 깊이 노이즈 필터링 방법은 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계, 상기 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 단계, 상기 결정된 깊이 정보에 따라 상기 영역에 대한 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 공간 필터 생성 방법은 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계, 상기 깊이 정보를 이용하여 상기 영역에 대한 공간 필터의 특징을 결정하는 단계 및 상기 공간 필터의 특징에 기초하여 상기 영역에 적용할 공간 필터를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 깊이 노이즈 필터링 장치는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대한 공간 필터를 생성하는 공간 필터 생성부 및 상기 영역의 깊이 정보에 상기 공간 필터를 적용하여 상기 입체 영상의 깊이 노이즈 필터링을 수행하는 필터링 수행부를 포함할 수 있다.
본 발명의 일실시예에 따른 깊이 노이즈 필터링 장치는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 프레임 개수 계산부 및 상기 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 깊이 정보 결정부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 깊이 정보에 따라 공간적 필터링을 수행함으로써 적응적으로 깊이 노이즈를 제거하는 깊이 노이즈 필터링 방법 및 장치가 제공된다.
본 발명의 일실시예에 따르면, 깊이 정보에 따라 시간적 필터링을 수행함으로써 적응적으로 깊이 노이즈를 제거하는 깊이 노이즈 필터링 방법 및 장치가 제공된다.
본 발명의 일실시예에 따르면, 공간적 필터링을 수행하기 위해 깊이 정보에 따라 공간 필터의 사이즈 또는 계수를 계산함으로써, 깊이 정보에 따른 깊이 노이즈를 효과적으로 제거하는 깊이 노이즈 필터링 방법 및 장치가 제공된다.
본 발명의 일실시예에 따르면, 시간적 필터링을 수행하기 위해 깊이 정보에 따라 참조 프레임의 개수를 결정함으로써, 깊이 정보에 따른 깊이 노이즈를 효과적으로 제거하는 깊이 노이즈 필터링 방법 및 장치가 제공된다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 깊이 노이즈 필터링 방법은 깊이 노이즈 필터링 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예 따른 깊이 노이즈 필터링 장치를 이용하여 3D 영상을 재구성하는 과정을 설명하기 위한 도면이다.
도 1에서, 영상 수집 장치(102)는 오브젝트(101)를 촬영하여 영상을 수집할 수 있다. 또한, 영상 수집 장치(102)는 오브젝트(101)로부터 3D 영상을 수집할 수 있으며, 구체적으로, 영상 수집 장치(102)는 오브젝트(101)의 컬러 정보와 깊이 정보를 수집할 수 있다. 여기서, 컬러 정보는 영상 수집 장치(102)의 CCD 또는 CMOS 이미지 센서를 통해 수집되는 정보를 의미할 수 있다. 그리고, 깊이 정보는 영상 수집 장치(102)로부터 오브젝트(101)의 각 포인트까지의 거리를 의미할 수 있다.
일례로, 영상 수집 장치(102)는 오브젝트(101)에 광을 비추고 되돌아오는 시간을 측정한 후, 광의 속도를 이용하여 영상 수집 장치(102)와 오브젝트(101)와의 거리를 측정할 수 있다. 이렇게 측정된 거리를 통해 영상 수집 장치(102)는 깊이 정보를 수집할 수 있다. 이 때, 영상 수집 장치(102)가 수집하는 깊이 정보는 오브젝트(101)와의 거리에 따른 깊이 노이즈가 발생할 수 있으며, 깊이 노이즈 필터링 장치(103)는 필터링을 수행하여 이러한 깊이 노이즈를 제거할 수 있다. 즉, 깊이 노이즈 필터링 장치(103)는 로우-패스 필터(LPF)를 통해 필터링을 수행하여 깊이 노이즈를 제거할 수 있다.
일례로, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 공간적(spatial) 필터링을 수행할 수 있다. 또한, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 시간적(temporal) 필터링을 수행할 수 있다. 그리고, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 공간적 필터링과 시간적 필터링을 함께 수행할 수 있다. 또는, 깊이 노이즈 필터링 장치(103)는 공간적 필터링과 시간적 필터링을 순차적으로 수행할 수 있다.
이 때, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 필터의 사이즈 또는 계수를 계산하여 필터를 생성하고, 필터를 적용하여 공간적 필터링을 수행할 수 있다. 그리고, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 참조 프레임의 개수를 계산하여 시간적 필터링을 수행할 수 있다.
결국, 필터링 된 깊이 정보와 컬러 정보를 재구성하여 품질이 향상된 3D 영상(104)이 생성될 수 있다.
도 2는 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 공간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.
단계(S201)에서, 깊이 노이즈 필터링 장치(103)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득할 수 있다. 이 때, 영역은 필터링 대상 프레임을 구성하는 픽셀 또는 블록일 수 있다. 즉, 깊이 노이즈 필터링 장치(103)는 픽셀 단위 또는 블록 단위에 따라 필터링을 수행할 수 있다. 그리고, 깊이 정보는 영역에 대해 영상 수집 장치(102)와 오브젝트(101)와의 거리를 의미할 수 있다.
이 때, 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)를 통해 영상 수집장치(102)와 오브젝트(101)와의 거리인 깊이 정보를 획득할 수 있다.
단계(S202)에서, 깊이 노이즈 필터링 장치(103)는 깊이 정보를 이용하여 영역에 대한 공간 필터를 생성할 수 있다. 일례로, 깊이 노이즈 필터링 장치(103)는 깊이 정보를 이용하여 영역에 적용할 공간 필터의 사이즈 또는 계수 중 적어도 하나를 결정할 수 있다.
이 때, 깊이 노이즈 필터링 장치(103)는 깊이 정보, 영상 수집 장치(102)의 측정 최대 거리, 측정 최소 거리 및 측정 최대 거리일 때 공간 필터의 최대 사이즈를 이용하여 깊이 정보에 따른 공간 필터의 사이즈를 결정할 수 있다. 일례로, 깊이 노이즈 필터링 장치(103)는 하기 수학식 1에 따라 공간 필터의 사이즈를 결정할 수 있다.
Figure 112009003994345-PAT00001
여기서, depth는 깊이 정보를 의미하고, size는 깊이 정보에 따른 공간 필터의 사이즈를 의미한다. 그리고, min Distance는 영상 수집 장치(102)의 측정 최소 거리를 의미하고, max Distance는 영상 수집 장치(102)의 측정 최대 거리를 의미한다. 또한, max filtersize는 영상 수집 장치(102)의 측정 최대 거리일 때 공간 필터의 사이즈를 의미한다.
예를 들어, 영상 수집 장치(102)의 측정 최대 거리는 3.5m이고, 측정 최소 거리는 0.5m이며, 측정 최대 거리일 때 공간 필터의 사이즈가 9라고 가정한다. 그리고, 실제 깊이 영상이 1.5m에서 3.0m 사이라고 가정한다. 만약, 깊이 정보가 1.5m인 경우, 공간 필터의 사이즈는 정수인 3으로 결정된다. 그러면, 공간 필터는 3*3의 필터일 수 있다. 이 때, 공간 필터의 각 계수는 1/9로 결정될 수 있다. 그리고, 깊이 정보가 1.9m인 경우, 공간 필터의 사이즈는 4.2로 결정되고, 공간 필터는 4*4의 필터일 수 있다. 이 때, 공간 필터의 각 계수는 1/16로 결정될 수 있다. 여기서, 공간 필터의 계수는 입체 영상의 필터링 대상 프레임에 적용될 가중치의 계수를 의미할 수 있다.
수학식 1에 따르면, 깊이 노이즈 필터링 장치(103)는 깊이 정보가 근거리일수록 공간 필터의 사이즈를 감소시키고, 깊이 정보가 원거리일수록 상기 공간 필터의 사이즈를 증가시킬 수 있다.
일례로, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 공간 필터의 계수를 결정할 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 필터의 사이즈가 동일한 경우, 깊이 정보에 따라 공간 필터의 계수를 다르게 결정할 수 있다.
여기서, 공간 필터의 계수는 공간 필터의 중심에서 주변으로 갈수록 감소될 수 있다. 다만, 공간 필터의 중심에서 주변까지 공간 필터의 계수에 대한 감소율은 깊이 정보에 따라 다르게 결정될 수 있다. 구체적으로, 깊이 정보가 근거리일수록, 깊이 노이즈 필터링 장치(103)는 공간 필터의 계수에 대한 감소율을 크게 결정할 수 있다. 그리고, 깊이 정보가 원거리일수록, 깊이 노이즈 필터링 장치(103)는 공간 필터의 계수에 대한 감소율을 작게 결정할 수 있다.
일례로, 공간 필터의 계수에 대한 감소율은 가우시안 함수(Gaussian Function)로 표현될 수 있다. 이 때, 가우시안 함수의 폭은 시그마 값에 따라 결정되며, 깊이 정보가 근거리일수록 시그마 값은 작게 설정되고, 깊이 정보가 원거리일수록, 시그마 값은 크게 설정될 수 있다.
깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 공간 필터의 사이즈와 계수를 동시에 결정할 수 있다. 깊이 정보에 따른 공간 필터의 사이즈와 계수는 상기 언급한 설명에 따라 결정될 수 있다.
즉, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 연산 과정을 수행하여 공간 필터를 실시간으로 생성할 수 있다. 또한, 일례로, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 미리 설정된(predetermined) 공간 필터의 사이즈 또는 미리 설정된 공간 필터의 계수 중 적어도 하나의 공간 필터의 정보가 저장된 테이블을 참조하여 깊이 정보에 대응하는 공간 필터를 생성할 수 있다. 다시 말해서, 깊이 노이즈 필터링 장치(103)는 특정 깊이 정보에 대해 공간 필터의 특징을 미리 연산한 후, 입력된 깊이 정보에 맞는 공간 필터를 즉시 생성할 수 있다.
이 때, 공간 필터를 생성하려는 깊이 정보(D1)가 테이블에 설정되지 않는 경우, 깊이 노이즈 필터링 장치(103)는 상기 테이블을 통해 미리 설정한 깊이 정보를 조합하여 공간 필터를 생성할 수 있다. 구체적으로, 깊이 노이즈 필터링 장치(103)는 테이블에 미리 설정한 깊이 정보 중 깊이 정보(D1)를 포함할 수 있는 2개의 깊이 정보(D2, D3)를 결정할 수 있다. 그리고, 깊이 정보(D2, D3) 각각의 공간 필터를 깊이 정보(D1)과의 차이에 따라 가중치를 적용하여 깊이 정보(D1)의 공간 필터를 생성할 수 있다.
단계(S203)에서, 깊이 노이즈 필터링 장치(103)는 영역의 깊이 정보에 공간 필터를 적용하여 입체 영상의 깊이 노이즈 필터링을 수행할 수 있다. 앞에서 이미 언급했듯이, 영역은 필터링 대상 프레임을 구성하는 픽셀 또는 블록일 수 있다. 공간 필터를 적용함으로써, 고주파수 성분인 깊이 노이즈는 제거될 수 있다. 특히, 깊이 정보가 원거리일수록 고주파수 성분이 깊이 노이즈로 나타나기 때문에, 깊이 노이즈 필터링 장치(103)는 깊이 노이즈 필터링 강도를 강하게 조절하여 깊이 노이즈를 제거할 수 있다. 공간 필터를 적용하는 일례는 도 9에서 구체적으로 설명된다.
결국, 공간적 필터링은 입체 영상을 구성하는 1개의 필터링 대상 프레임에 있어서, 필터링 대상 프레임을 구성하는 영역에 대해 공간 필터를 적용하여 깊이 노이즈를 제거하는 것을 의미할 수 있다. 또한, 오브젝트(101)와의 거리가 멀수록 깊이 노이즈가 많이 발생하기 때문에, 깊이 노이즈 필터링 장치(103)는 오브젝트(101)와의 거리가 멀수록 필터링의 강도를 높여 깊이 노이즈를 제거하는 효과를 높일 수 있다.
도 3은 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 시간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.
단계(S301)에서, 깊이 노이즈 필터링 장치(103)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득할 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)로부터 깊이 정보를 획득할 수 있다. 영역과 깊이 정보는 도 2에서 이미 설명한 바와 동일하다.
단계(S302)에서, 깊이 노이즈 필터링 장치(103)는 깊이 정보를 이용하여 영역에 대해 참조 프레임의 개수를 계산할 수 있다. 영역마다 깊이 정보는 다르기 때문에, 영역마다 계산되는 참조 프레임의 개수도 달라질 수 있다. 이 때, 참조 프레임은 필터링 대상 프레임에 대해 깊이 노이즈를 제거하기 위해 참조하는 시간적으로 이전 또는 이후에 존재하는 프레임을 의미할 수 있다.
깊이 노이즈 필터링 장치(103)는 깊이 정보, 영상 수집 장치(102)의 측정 최소 거리, 측정 최대 거리 및 측정 최대 거리일 때의 프레임의 개수를 이용하여 깊이 정보에 기초한 참조 프레임의 개수를 계산할 수 있다. 일례로, 깊이 노이즈 필터링 장치(103)는 하기 수학식 2에 따라 참조 프레임의 개수를 계산할 수 있다.
Figure 112009003994345-PAT00002
여기서, depth는 깊이 정보를 의미하고, Num2은 참조 프레임의 개수를 의미한다. 그리고, min Distance는 영상 수집 장치(102)의 측정 최소 거리를 의미하고, max Distance는 영상 수집 장치(102)의 측정 최대 거리를 의미한다. 또한, max Num of frames는 영상 수집 장치(102)의 측정 최대 거리일 때 참조 프레임의 최대 개수를 의미한다.
예를 들어, 영상 수집 장치(102)의 측정 최대 거리는 3.5m이고, 측정 최소 거리는 0.5m이며, 측정 최대 거리일 때 참조 프레임의 최대 개수를 25라고 가정한다. 그리고, 실제 깊이 영상이 1.5m에서 3.0m 사이라고 가정한다. 만약, 깊이 정보가 1.5m인 경우, Num은 정수인 3으로 결정되어 참조 프레임의 개수는 9개가 된다. 그리고, 깊이 정보가 1.9m인 경우, Num은 4.2로 결정되어 참조 프레임의 개수는 16개가 된다.
이 때, 참조 프레임의 개수에 따라 참조 프레임의 영역에 적용되는 가중치는 반비례하여 결정된다. 즉, 참조 프레임의 개수가 9개인 경우, 9개의 참조 프레 임에서 해당 영역 각각의 깊이 정보에 가중치 1/9가 적용될 수 있다.
수학식 2에 따르면, 깊이 노이즈 필터링 장치(103)는 깊이 정보가 근거리일수록 참조 프레임의 개수를 감소시키고, 깊이 정보가 원거리일수록 참조 프레임의 개수를 증가시킬 수 있다.
단계(S303)에서, 깊이 노이즈 필터링 장치(103)는 참조 프레임의 개수에 대응하는 참조 프레임을 이용하여 필터링 대상 프레임에서 영역의 깊이 정보를 결정할 수 있다. 일례로, 깊이 노이즈 필터링 장치(103)는 참조 프레임의 깊이 정보를 평균하여 필터링 대상 프레임에서 영역의 깊이 정보를 결정할 수 있다.
예를 들어, 참조 프레임의 개수가 9개인 경우, 깊이 노이즈 필터링 장치(103)는 필터링 대상 프레임의 영역에 대응하는 9개의 참조 프레임의 영역 각각에 깊이 정보에 가중치 1/9를 적용한 후, 이를 산술 평균하여 필터링 대상 프레임의 영역의 깊이 정보를 결정할 수 있다.
도 4는 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 공간적 필터링과 시간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.
단계(S401)에서, 깊이 노이즈 필터링 장치(103)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득할 수 있다. 영역과 깊이 정보에 대한 설명은 도 2를 참고할 수 있다.
단계(S402)에서, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 상기 영역에 대한 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용할 수 있다. 단계(S401)와 단계(S402)는 공간적 필터링을 의미한다. 단계(S401)와 단계(S402)에 대한 구체적인 설명은 도 2를 참고할 수 있다.
단계(S403)에서, 깊이 노이즈 필터링 장치(103)는 공간 필터가 적용된 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산할 수 있다.
단계(S404)에서, 깊이 노이즈 필터링 장치(103)는 개수에 대응하는 참조 프레임들을 이용하여 필터링 대상 프레임에서 영역의 깊이 정보를 결정할 수 있다. 단계(S403)와 단계(S404)는 시간적 필터링을 의미할 수 있다. 단계(S403)와 단계(S404)에 대한 설명은 도 3를 참고할 수 있다.
즉, 도 4는 입체 영상에 대해 공간적 필터링(spatial filtering)을 적용한 후, 시간적 필터링(temporal filtering)을 적용한 것을 의미할 수 있다.
도 5는 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 시간적 필터링과 공간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.
단계(S501)에서, 깊이 노이즈 필터링 장치(103)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득할 수 있다. 영역과 깊이 정보에 대한 설명은 도 2를 참고할 수 있다.
단계(S502)에서, 깊이 노이즈 필터링 장치(103)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산할 수 있다.
단계(S503)에서, 깊이 노이즈 필터링 장치(103)는 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정할 수 있다.
단계(S502)와 단계(S503)는 시간적 필터링을 적용하는 과정에 관한 것으로, 구체적인 설명은 도 3을 참고할 수 있다.
단계(S504)에서, 깊이 노이즈 필터링 장치(103)는 결정된 깊이 정보에 따라 영역에 대한 공간 필터를 생성하여 영역의 깊이 정보에 적용할 수 있다.
단계(S504)는 공간적 필터링을 적용하는 과정에 관한 것으로, 구체적인 설명은 도 2를 참고할 수 있다.
즉, 도 5는 입체 영상에 대해 시간적 필터링(temporal filtering)을 적용한 후, 공간적 필터링(spatial filtering)을 적용한 것을 의미할 수 있다.
도 6은 본 발명의 일실시예에 따라 깊이 정보에 따른 깊이 노이즈의 차이를 나타내는 일례를 도시한 플로우차트이다.
도 6을 참고하면, 영상 수집 장치(102)와 오브젝트(101)와의 거리인 깊이 정보에 따른 깊이 노이즈의 정도를 확인할 수 있다. 도 1에서 이미 언급했듯이, 깊이 정보는 영상 수집 장치(102)가 방출한 광이 오브젝트(101)에 반사되어 되돌아 오는 시간을 빛의 속도로 나눔으로써 결정될 수 있다. 이 때, 영상 수집 장치(102)와 가깝게 위치한 오브젝트(101)에서 반사되어 되돌아오는 광의 세기는 강하기 때문에, 깊이 정보의 정확도는 높다. 따라서, 오브젝트(101)와의 거리가 가까울수록 깊이 노이즈는 적을 수 있다. 반대로, 영상 수집 장치(102)와 멀리 떨어진 오브젝트(101)의 경우, 반사되어 되돌아오는 광의 세기가 적어 깊이 정보의 정확도가 낮아질 수 있다. 이 경우, 깊이 정보에 대한 깊이 노이즈는 크게 발생할 수 있다.
결국, 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록 깊이 노이즈는 증가하고, 영상 수집 장치(102)와 오브젝트(101)의 거리가 가까울수록 깊이 노이즈는 감소할 수 있다. 이에 따라, 본 발명의 일실시예에 따른 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록 깊이 노이즈에 대한 필터링의 강도를 증가시킬 수 있다.
구체적으로, 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록 공간적 필터링을 위한 공간 필터의 크기를 증가시킬 수 있다. 또는, 깊이 노이즈 필터링 장치(103)는 중심에서 주변으로 갈수록 계수가 감소하도록 공간 필터를 생성할 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 계수의 감소율을 깊이 정보에 따라 다르게 결정할 수 있다. 예를 들어, 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록 공간 필터의 계수에 대한 감소율을 감소시킬 수 있다. 그리고, 깊이 노이즈 필터링 장치(103)는 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록 시간적 필터링을 위한 참조 프레임의 개수를 증가시킬 수 있다.
도 7은 본 발명의 일실시예에 따라 깊이 정보에 따라 공간 필터의 사이즈를 계산하는 과정을 설명하기 위한 도면이다.
도 6에서 설명했듯이, 깊이 노이즈 필터링 장치(103)는 오브젝트(101)와 영상 수집 장치(102) 간의 거리가 멀수록 공간적 필터링을 위한 공간 필터의 사이즈를 증가시킬 수 있다. 즉, 영상 수집 장치(102)와 오브젝트(101)의 거리가 원거리 인 경우, 5*5사이즈의 공간 필터(701)가 결정될 수 있다. 그리고, 영상 수집 장치(102)와 오브젝트(101)의 거리가 중간 거리인 경우, 4*4 사이즈의 공간 필터(702)가 결정될 수 있다. 또한, 영상 수집 장치(102)와 오브젝트(101)의 거리가 근거리인 경우, 3*3사이즈의 공간 필터(703)가 결정될 수 있다.
구체적으로 공간 필터의 사이즈를 결정하는 과정은 상기 수학식 1을 참고할 수 있다.
도 8은 본 발명의 일실시예에 따라 깊이 정보에 따라 공간 필터의 계수를 계산하는 과정을 설명하기 위한 도면이다.
도 8에서 공간 필터(801, 802, 803, 804)의 사이즈는 동일하다고 가정한다. 그리고, 공간 필터가 적용된 결과가 공간 필터 옆에 도시되어 있다.
도 6에서 설명했듯이, 깊이 노이즈 필터링 장치(103)는 오브젝트(101)와 영상 수집 장치(102) 간의 거리가 멀수록 공간적 필터링을 위한 공간 필터의 계수에 대한 감소율을 감소시킬 수 있다. 구체적으로, 깊이 노이즈 필터링 장치(103)는 공간 필터의 중심에서 주변으로 갈수록 공간 필터의 계수는 감소될 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 깊이 정보에 따라 공간 필터의 계수에 대한 감소율을 다르게 결정할 수 있다.
깊이 노이즈 필터링 장치(103)는 깊이 정보가 근거리일수록 공간 필터의 계수에 대한 감소율을 증가시킬 수 있다. 즉, 공간적 필터링을 수행할 때, 공간 필터가 적용될 영역은 주변 영역의 깊이 정보의 영향을 적게 받을 수 있다. 그리고, 깊이 노이즈 필터링 장치(103)는 깊이 정보가 원거리일수록 공간 필터의 계수에 대 한 감소율을 감소시킬 수 있다. 즉, 공간적 필터링을 수행할 때, 공간 필터가 적용될 영역은 주변 영역의 깊이 정보의 영향을 크게 받을 수 있다.
도 8에서 볼 수 있듯이, 공간 필터의 계수에 대한 감소율은 가우시안 함수로 표현될 수 있다. 여기서, 가우시안 함수의 폭을 결정하는 시그마 값은 공간 필터의 계수에 대한 감소율을 의미하며, 깊이 정보에 따라 다르게 설정될 수 있다. 일례로, 깊이 정보가 근거리인 경우, 가우시안 함수의 시그마 값은 작게 설정되고, 깊이 정보가 원거리인 경우, 가우시안 함수의 시그마 값은 크게 설정될 수 있다.
도 8에서 영상 수집 장치(102)와 오브젝트(101)의 거리가 멀수록, 깊이 노이즈가 강하기 때문에 깊이 노이즈 필터링 장치(103)는 필터링 강도를 높일 수 있다. 즉, 필터링 강도가 높을수록 깊이 정보의 고주파수 성분이 많이 제거될 수 있다. 반대로, 영상 수집 장치(102)와 오브젝트(101)의 거리가 가까울수록, 깊이 노이즈는 약하기 때문에 깊이 노이즈 필터링 장치(103)는 필터링 강도를 약하게 할 수 있다. 일례로, 깊이 정보가 원거리인 경우, 입체 영상의 고주파수 성분은 노이즈 성분일 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 필터링 강도를 조절하여 입체 영상의 노이즈 성분인 고주파수 성분을 제거할 수 있다. 반면에, 깊이 정보가 근거리인 경우, 입체 영상의 고주파수 성분은 노이즈 성분이 아닌 입체 영상의 원래 성분일 수 있다. 이 때, 깊이 노이즈 필터링 장치(103)는 필터링 강도를 조절하여 입체 영상의 원래 성분인 고주파수 성분을 그대로 둘 수 있다.
도 9는 본 발명의 일실시예에 따라 깊이 정보에 공간 필터를 적용하는 일례를 도시한 도면이다.
도면부호(901)는 깊이 노이즈 필터링 장치(103)에 의해 생성된 공간 필터를 나타낸다. 그리고, 도면부호(902)는 공간 필터가 적용될 영역의 깊이 정보를 의미한다. 이 때, 공간필터는 영역 e에 적용되는 것을 의미한다. 영역 e는 픽셀이거나 또는 픽셀로 구성된 블록일 수 있다.
그리고, 도면부호(903)는 공간 필터가 적용된 영역의 깊이 정보를 의미하다. 즉, 도면부호(903)는 공간적 필터링이 수행된 결과를 나타낸다. e'는 공간적 필터링이 수행된 깊이 정보를 의미한다.
일례로, 공간적 필터링이 수행된 깊이 정보는 하기 수학식 3에 따라 결정될 수 있다.
e'=(A*a)+(B*b)+(C*c)+(D*d)+(E*e)+(F*f)+(G*g)+(H*h)+(I*i)
수학식 3을 살펴보면, 공간적 필터링은 공간 필터가 적용될 영역의 주변 영역의 깊이 정보를 통해 수행될 수 있다. 이와 같은 필터링 과정을 마스크 기반의 필터링이라고 할 수 있다. 본 발명의 일실시예에 따르면, 필터링이 수행될 영역(e)의 깊이 정보에 따라 공간 필터의 사이즈 또는 계수가 결정될 수 있다.
도 10은 본 발명의 일실시예에 따라 깊이 정보에 따라 참조 프레임의 개수를 결정하여 시간적 필터링을 수행하는 일례를 도시한 도면이다.
도 10을 참고하면, 입체 영상을 구성하는 복수의 프레임이 도시된다. 이 때, 복수의 프레임은 시간적 필터링을 수행하기 위한 참조 프레임을 의미할 수 있다. 그리고, 도면부호(1001)는 필터링 대상 프레임이라고 가정한다. 여기서, 필 터링 대상 프레임(1001)은 영역(1002, 1003, 1004)으로 구성될 수 있다.
필터링 대상 프레임(1001)에서 영역(1002)의 깊이 정보는 영상 수집 장치(102)로부터 원거리에 위치한 오브젝트(101)로부터 획득한 것이라고 가정한다. 그리고, 영역(1003)의 깊이 정보는 영상 수집 장치(102)로부터 중간 거리에 위치한 오브젝트(101)로부터 획득한 것이고, 영역(1004)의 깊이 정보는 영상 수집 장치(102)로부터 근거리에 위치한 오브젝트(101)로부터 획득한 것이라고 가정한다.
본 발명의 일실시예에 따른 깊이 노이즈 필터링 장치(103)는 깊이 정보를 이용하여 영역에 대한 참조 프레임의 개수를 계산할 수 있다. 일례로, 깊이 노이즈 필터링 장치(103)는 영역에 대한 깊이 정보가 원거리일수록 참조 프레임 개수를 증가시키고, 영역에 대한 깊이 정보가 근거리일수록 참조 프레임 개수를 감소시킬 수 있다.
도 10을 참고하면, 영역(1004)의 경우, 깊이 정보가 근거리이므로 참조 프레임의 개수(1007)가 결정될 수 있다. 그리고, 영역(1003)의 경우, 깊이 정보가 중간 거리이므로, 참조 프레임의 개수(1006)는 참조 프레임의 개수(1007)보다 많음을 알 수 있다. 그리고, 영역(1002)의 경우, 깊이 정보가 원거리이므로 참조 프레임의 개수(1005)가 결정될 수 있다. 이 때, 참조 프레임의 개수(1005)는 참조 프레임의 개수(1006, 1007)보다 큰 것을 알 수 있다.
즉, 깊이 노이즈 필터링 장치(103)는 필터링 대상 프레임(1001)에서 깊이 정보가 근거리일수록 참조 프레임의 개수를 감소시키고, 원거리일수록 참조 프레임의 개수를 증가시킬 수 있다. 참고로, 영역(1003)에 대해 시간적 필터링을 수행하 는 경우, 깊이 노이즈 필터링 장치(103)는 참조 프레임의 개수(1006)에 대응하는 참조 프레임에서 영역(1003)의 깊이 정보를 평균하여 영역(1003)의 깊이 정보를 갱신할 수 있다.
도 11은 본 발명의 일실시예에 따라 공간적 필터링을 수행하기 위한 깊이 노이즈 필터링 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 11을 참고하면, 깊이 노이즈 필터링 장치(103)는 공간 필터 생성부(1101) 및 필터링 수행부(1102)를 포함할 수 있다.
공간 필터 생성부(1101)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대한 공간 필터를 생성할 수 있다. 일례로, 공간 필터 생성부(1101)는 깊이 정보에 따라 공간 필터의 사이즈 또는 계수 중 적어도 하나를 계산할 수 있다. 또한, 공간 필터 생성부(1101)는 공간 필터의 사이즈 및 계수를 동시에 계산할 수도 있다. 도 1에서 언급했듯이, 영역은 필터링 대상 프레임을 구성하는 픽셀 또는 블록일 수 있다. 그리고, 깊이 정보는 영상 수집 장치와 오브젝트와의 거리를 의미할 수 있다.
이 때, 공간 필터 생성부(1101)는 깊이 정보, 영상 수집 장치의 측정 최대 거리, 측정 최소 거리 및 상기 측정 최대 거리일 때 공간 필터의 최대 사이즈를 이용하여 상기 깊이 정보에 따른 공간 필터의 사이즈를 결정할 수 있다.
그리고, 공간 필터 생성부(1101)는 깊이 정보가 근거리일수록 공간 필터의 사이즈를 감소시키고, 깊이 정보가 원거리일수록 공간 필터의 사이즈를 증가시킬 수 있다. 또한, 공간 필터 생성부(1101)는 공간 필터의 중심에서 주변으로 갈수록 계수가 감소하도록 공간 필터를 생성할 수 있다. 일례로, 공간 필터 생성부(1101)는 깊이 정보에 따라 감소율을 다르게 결정할 수 있다. 예를 들면, 공간 필터 생성부(1101)는 깊이 정보가 근거리일수록 상기 공간 필터의 계수에 대한 감소율을 증가시키고,, 깊이 정보가 원거리일수록 공간 필터의 계수에 대한 감소율을 감소시킬 수 있다.
즉, 공간 필터 생성부(1101)는 깊이 정보에 따라 연산 과정을 수행하여 공간 필터를 실시간으로 생성할 수 있다. 또한, 일례로, 공간 필터 생성부(1101)는 깊이 정보에 따라 미리 설정된(predetermined) 공간 필터의 사이즈 또는 미리 설정된 공간 필터의 계수 중 적어도 하나의 공간 필터의 정보가 저장된 테이블을 참조하여 깊이 정보에 대응하는 공간 필터를 생성할 수 있다. 다시 말해서, 공간 필터 생성부(1101)는 특정 깊이 정보에 대해 공간 필터의 특징을 미리 연산한 후, 입력된 깊이 정보에 맞는 공간 필터를 즉시 생성할 수 있다.
이 때, 테이블에 공간 필터를 생성하려는 깊이 정보(D1)가 존재하지 않는 경우, 공간 필터 생성부(1101)는 상기 테이블 상에 존재하는 깊이 정보를 조합하여 공간 필터를 생성할 수 있다. 구체적으로, 공간 필터 생성부(1101)는 공간 필터를 생성하려는 깊이 정보(D1)를 포함하는 2개의 깊이 정보(D2, D3)에 해당하는 공간 필터를 깊이 정보에 따라 가중치를 적용하여 상기 공간 필터를 생성하려는 깊이 정보(D1)에 따른 공간 필터를 생성할 수 있다.
필터링 수행부(1102)는 영역의 깊이 정보에 공간 필터를 적용하여 상기 입체 영상의 깊이 노이즈 필터링을 수행할 수 있다. 이 때, 깊이 노이즈 필터링은 마스크 기반의 공간 필터를 적용하여 상기 영역의 주변 영역의 깊이 정보를 통해 수행될 수 있다.
도 12는 본 발명의 일실시예에 따라 시간적 필터링을 수행하기 위한 깊이 노이즈 필터링 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 12를 참고하면, 깊이 노이즈 필터링 장치(103)는 프레임 개수 계산부(1201) 및 깊이 정보 결정부(1202)를 포함할 수 있다.
프레임 개수 계산부(1201)는 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산할 수 있다. 일례로, 프레임 개수 계산부(1201)는 깊이 정보, 영상 수집 장치의 측정 최소 거리, 측정 최대 거리 및 상기 측정 최대 거리일 때의 프레임의 개수를 이용하여 상기 깊이 정보에 기초한 참조 프레임의 개수를 계산할 수 있다. 여기서, 프레임 개수 계산부(1201)는 영역에 대해 깊이 정보가 원거리일수록 참조 프레임 개수를 증가시키고, 영역에 대해 깊이 정보가 근거리일수록 참조 프레임 개수를 감소시킬 수 있다.
깊이 정보 결정부(1202)는 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정할 수 있다. 일례로, 깊이 정보 결정부(1202)는 참조 프레임의 영역에 대한 깊이 정보를 평균하여 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정할 수 있다.
도 11 및 도 12에서 설명되지 않은 부분은 도 1 내지 도 10의 설명을 참고할 수 있다.
또한 본 발명의 일실시예에 따른 깊이 노이즈 필터링 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예 따른 깊이 노이즈 필터링 장치를 이용하여 3D 영상을 재구성하는 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 공간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.
도 3은 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 시간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.
도 4는 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 공간적 필터링과 시간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.
도 5는 본 발명의 일실시예에 따라 깊이 노이즈를 제거하기 위해 시간적 필터링과 공간적 필터링을 수행하는 전체 과정을 도시한 플로우차트이다.
도 6은 본 발명의 일실시예에 따라 깊이 정보에 따른 깊이 노이즈의 차이를 나타내는 일례를 도시한 플로우차트이다.
도 7은 본 발명의 일실시예에 따라 깊이 정보에 따라 공간 필터의 사이즈를 계산하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따라 깊이 정보에 따라 공간 필터의 계수를 계산하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따라 깊이 정보에 공간 필터를 적용하는 일례를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따라 깊이 정보에 따라 참조 프레임의 개수 를 결정하여 시간적 필터링을 수행하는 일례를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따라 공간적 필터링을 수행하기 위한 깊이 노이즈 필터링 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 12는 본 발명의 일실시예에 따라 시간적 필터링을 수행하기 위한 깊이 노이즈 필터링 장치의 전체 구성을 도시한 블록 다이어그램이다.
<도면의 주요 부분에 대한 부호의 설명>
101: 오브젝트
102: 영상 수집 장치
103: 깊이 노이즈 필터링 장치
104: 3D 영상

Claims (35)

  1. 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계;
    상기 깊이 정보를 이용하여 상기 영역에 대한 공간 필터를 생성하는 단계; 및
    상기 영역의 깊이 정보에 상기 공간 필터를 적용하여 상기 입체 영상의 깊이 노이즈 필터링을 수행하는 단계
    를 포함하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  2. 제1항에 있어서,
    상기 깊이 정보는,
    상기 영역에 대한 영상 수집 장치와 오브젝트와의 거리이고,
    상기 영역에 대한 상기 공간 필터를 생성하는 단계는,
    상기 깊이 정보를 이용하여 상기 영역에 적용할 상기 공간 필터의 사이즈 또는 상기 공간 필터의 계수 중 적어도 하나를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  3. 제2항에 있어서,
    상기 영역에 대한 상기 공간 필터를 생성하는 단계는,
    상기 깊이 정보, 상기 영상 수집 장치의 측정 최대 거리, 측정 최소 거리 또는 상기 측정 최대 거리일 때 상기 공간 필터의 최대 사이즈 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 따른 상기 공간 필터의 사이즈를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  4. 제2항에 있어서,
    상기 영역에 대한 상기 공간 필터를 생성하는 단계는,
    상기 깊이 정보에 따라 미리 설정된(predetermined) 상기 공간 필터의 사이즈 또는 미리 설정된 상기 공간 필터의 계수 중 적어도 하나의 상기 공간 필터의 정보가 저장된 테이블을 참조하여, 상기 깊이 정보에 대응하는 상기 공간 필터를 생성하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  5. 제2항에 있어서,
    상기 영역에 대한 상기 공간 필터를 생성하는 단계는,
    상기 깊이 정보가 근거리일수록 상기 공간 필터의 사이즈를 감소시키는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  6. 제2항에 있어서,
    상기 영역에 대한 상기 공간 필터를 생성하는 단계는,
    상기 깊이 정보가 근거리일수록 상기 공간 필터의 계수에 대한 감소율을 증 가시키고,
    상기 공간 필터의 계수는,
    상기 공간 필터의 중심에서 주변으로 갈수록 감소하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  7. 제1항에 있어서,
    상기 영역은,
    상기 필터링 대상 프레임을 구성하는 픽셀 또는 블록 중 어느 하나인 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  8. 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계;
    상기 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계; 및
    상기 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 단계
    를 포함하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  9. 제8항에 있어서,
    상기 깊이 정보는,
    상기 영역에 대해 영상 수집 장치와 오브젝트와의 거리이고,
    상기 참조 프레임의 개수를 계산하는 단계는,
    상기 깊이 정보, 상기 영상 수집 장치의 측정 최소 거리, 측정 최대 거리 또는 상기 측정 최대 거리일 때의 프레임의 개수 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 기초한 참조 프레임의 개수를 계산하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  10. 제9항에 있어서,
    상기 참조 프레임의 개수를 계산하는 단계는,
    상기 영역에 대해 깊이 정보가 근거리일수록 상기 참조 프레임 개수를 감소시키는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  11. 제8항에 있어서,
    상기 필터링 대상 프레임에서 영역의 깊이 정보를 결정하는 단계는,
    상기 참조 프레임의 영역에 대한 깊이 정보를 평균하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  12. 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계;
    상기 깊이 정보에 따라 상기 영역에 대한 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계;
    상기 공간 필터가 적용된 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계; 및
    상기 개수에 대응하는 참조 프레임들을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 단계
    를 포함하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  13. 제12항에 있어서,
    상기 깊이 정보는,
    상기 영역에 대해 영상 수집 장치와 오브젝트와의 거리이고,
    상기 영역에 대한 상기 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계는,
    상기 깊이 정보를 이용하여 상기 영역에 적용할 상기 공간 필터의 사이즈 또는 계수 중 적어도 하나를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  14. 제13항에 있어서,
    상기 영역에 대한 상기 공간 필터를 생성하는 단계는,
    상기 깊이 정보에 따라 미리 설정된(predetermined) 상기 공간 필터의 사이 즈 또는 미리 설정된 상기 공간 필터의 계수 중 적어도 하나의 상기 공간 필터의 정보가 저장된 테이블을 참조하여, 상기 깊이 정보에 대응하는 상기 공간 필터를 생성하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  15. 제13항에 있어서,
    상기 영역에 대한 상기 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계는,
    상기 깊이 정보, 상기 영상 수집 장치의 측정 최대 거리, 측정 최소 거리 또는 상기 측정 최대 거리일 때 상기 공간 필터의 최대 사이즈 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 따른 상기 공간 필터의 사이즈를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  16. 제12항에 있어서,
    상기 깊이 정보는,
    상기 영역에 대해 영상 수집 장치와 오브젝트와의 거리이고,
    상기 영역에 대해 참조 프레임의 개수를 계산하는 단계는,
    상기 깊이 정보, 상기 영상 수집 장치의 측정 최소 거리, 측정 최대 거리 또는 상기 측정 최대 거리일 때 프레임의 개수 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 따른 프레임의 개수를 계산하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  17. 제12항에 있어서,
    상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 단계는,
    상기 참조 프레임의 영역에 대한 깊이 정보를 평균하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  18. 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 단계;
    상기 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 단계; 및
    상기 결정된 깊이 정보에 따라 상기 영역에 대한 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계
    를 포함하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  19. 제18항에 있어서,
    상기 깊이 정보는,
    상기 영역에 대해 영상 수집 장치와 오브젝트와의 거리이고,
    상기 참조 프레임의 개수를 계산하는 단계는,
    상기 깊이 정보, 상기 영상 수집 장치의 측정 최소 거리, 측정 최대 거리 또는 상기 측정 최대 거리일 때의 프레임의 개수 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 기초한 참조 프레임의 개수를 계산하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  20. 제18항에 있어서,
    상기 필터링 대상 프레임에서 영역의 깊이 정보를 결정하는 단계는,
    상기 참조 프레임의 영역에 대한 깊이 정보를 평균하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  21. 제18항에 있어서,
    상기 깊이 정보는,
    상기 영역에 대해 영상 수집 장치와 오브젝트와의 거리이고,
    상기 영역에 대한 상기 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계는,
    상기 깊이 정보를 이용하여 상기 영역에 적용할 상기 공간 필터의 사이즈 또는 상기 공간 필터의 계수 중 적어도 하나를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  22. 제21항에 있어서,
    상기 영역에 대한 상기 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계는,
    상기 깊이 정보에 따라 미리 설정된(predetermined) 상기 공간 필터의 사이즈 또는 미리 설정된 상기 공간 필터의 계수 중 적어도 하나의 상기 공간 필터의 정보가 저장된 테이블을 참조하여, 상기 깊이 정보에 대응하는 상기 공간 필터를 생성하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  23. 제21항에 있어서,
    상기 영역에 대한 상기 공간 필터를 생성하여 상기 영역의 깊이 정보에 적용하는 단계는,
    상기 깊이 정보, 상기 영상 수집 장치의 측정 최대 거리, 측정 최소 거리 또는 상기 측정 최대 거리일 때 상기 공간 필터의 최대 사이즈 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 따른 상기 공간 필터의 사이즈를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 방법.
  24. 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 획득하는 단계;
    상기 깊이 정보를 이용하여 상기 영역에 대한 공간 필터의 특징을 결정하는 단계; 및
    상기 공간 필터의 특징에 기초하여 상기 영역에 적용할 상기 공간 필터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 공간 필터 생성 방법.
  25. 제24항에 있어서,
    상기 깊이 정보는,
    상기 영역에 대해 영상 수집 장치와 오브젝트와의 거리이고,
    상기 영역에 대한 공간 필터의 특징을 결정하는 단계는,
    상기 깊이 정보를 이용하여 상기 영역에 적용할 상기 공간 필터의 사이즈 또는 상기 공간 필터의 계수 중 적어도 하나를 결정하는 것을 특징으로 하는 공간 필터 생성 방법.
  26. 제25항에 있어서,
    상기 영역에 적용할 상기 공간 필터를 생성하는 단계는,
    상기 깊이 정보에 따라 미리 설정된(predetermined) 상기 공간 필터의 사이즈 또는 미리 설정된 상기 공간 필터의 계수 중 적어도 하나의 상기 공간 필터의 정보가 저장된 테이블을 참조하여, 상기 깊이 정보에 대응하는 상기 공간 필터를 생성하는 것을 특징으로 하는 공간 필터 생성 방법.
  27. 제25항에 있어서,
    상기 영역에 대한 상기 공간 필터의 특징을 결정하는 단계는,
    상기 깊이 정보, 상기 영상 수집 장치의 측정 최대 거리, 측정 최소 거리 또는 상기 측정 최대 거리일 때 상기 공간 필터의 최대 사이즈 중 적어도 하나의 정보를 이용하여 상기 깊이 정보에 따른 상기 공간 필터의 사이즈를 결정하는 것을 특징으로 하는 공간 필터 생성 방법.
  28. 제25항에 있어서,
    상기 영역에 대한 상기 공간 필터의 특징을 결정하는 단계는,
    상기 깊이 정보가 근거리일수록 상기 공간 필터의 사이즈를 감소시키는 것을 특징으로 하는 공간 필터 생성 방법.
  29. 제25항에 있어서,
    상기 영역에 대한 상기 공간 필터의 특징을 결정하는 단계는,
    상기 깊이 정보가 근거리일수록 상기 공간 필터의 계수에 대한 감소율을 증가시키고,
    상기 공간 필터의 계수는,
    상기 공간 필터의 중심에서 주변으로 갈수록 감소하는 것을 특징으로 하는 공간 필터 생성 방법.
  30. 제1항 내지 29항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
  31. 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대한 공간 필터를 생성하는 공간 필터 생성부; 및
    상기 영역의 깊이 정보에 상기 공간 필터를 적용하여 상기 입체 영상의 깊이 노이즈 필터링을 수행하는 필터링 수행부
    를 포함하는 것을 특징으로 하는 깊이 노이즈 필터링 장치.
  32. 제31항에 있어서,
    상기 깊이 정보는,
    상기 영역에 대해 영상 수집 장치와 오브젝트와의 거리이고,
    상기 공간 필터 생성부는,
    상기 깊이 정보를 이용하여 상기 영역에 적용할 상기 공간 필터의 사이즈 또는 상기 공간 필터의 계수 중 적어도 하나를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 장치.
  33. 제32항에 있어서,
    상기 공간 필터 생성부는,
    상기 깊이 정보에 따라 미리 설정된(predetermined) 상기 공간 필터의 사이즈 또는 미리 설정된 상기 공간 필터의 계수 중 적어도 하나의 상기 공간 필터의 정보가 저장된 테이블을 참조하여, 상기 깊이 정보에 대응하는 상기 공간 필터를 생성하는 것을 특징으로 하는 깊이 노이즈 필터링 장치.
  34. 입체 영상의 필터링 대상 프레임을 구성하는 영역의 깊이 정보를 이용하여 상기 영역에 대해 참조 프레임의 개수를 계산하는 프레임 개수 계산부; 및
    상기 개수에 대응하는 참조 프레임을 이용하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 깊이 정보 결정부
    를 포함하는 것을 특징으로 하는 깊이 노이즈 필터링 장치.
  35. 제34항에 있어서,
    상기 깊이 정보 결정부는,
    상기 참조 프레임의 영역에 대한 깊이 정보를 평균하여 상기 필터링 대상 프레임에서 상기 영역의 깊이 정보를 결정하는 것을 특징으로 하는 깊이 노이즈 필터링 장치.
KR1020090005090A 2009-01-21 2009-01-21 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치 KR101526866B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020090005090A KR101526866B1 (ko) 2009-01-21 2009-01-21 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
JP2009281523A JP5519258B2 (ja) 2009-01-21 2009-12-11 深さ情報を用いた深さノイズフィルタリング方法および装置
US12/654,208 US8744167B2 (en) 2009-01-21 2009-12-14 Method, medium, and apparatus of filtering depth noise using depth information
CN201010003916.4A CN101783024B (zh) 2009-01-21 2010-01-13 利用深度信息对深度噪声进行滤波的方法及设备
EP10151259.8A EP2211555B1 (en) 2009-01-21 2010-01-21 Method, medium, and apparatus of filtering depth noise using depth information
EP12178575.2A EP2541496B1 (en) 2009-01-21 2010-01-21 Method, medium, and apparatus of filtering depth noise using depth information
US14/272,041 US9471963B2 (en) 2009-01-21 2014-05-07 Method, medium, and apparatus of filtering depth noise using depth information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090005090A KR101526866B1 (ko) 2009-01-21 2009-01-21 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100085675A true KR20100085675A (ko) 2010-07-29
KR101526866B1 KR101526866B1 (ko) 2015-06-10

Family

ID=42115482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090005090A KR101526866B1 (ko) 2009-01-21 2009-01-21 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치

Country Status (5)

Country Link
US (2) US8744167B2 (ko)
EP (2) EP2211555B1 (ko)
JP (1) JP5519258B2 (ko)
KR (1) KR101526866B1 (ko)
CN (1) CN101783024B (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010060649A1 (de) 2010-09-01 2012-03-01 Hyundai Motor Co. Variable Ventilhubvorrichtung
KR20120050678A (ko) * 2010-11-11 2012-05-21 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
KR101362183B1 (ko) * 2012-11-29 2014-02-13 한국과학기술연구원 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법
KR20140030635A (ko) * 2012-09-03 2014-03-12 엘지이노텍 주식회사 스테레오 영상 정합 장치 및 이의 정합 방법
KR20140110586A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
US9350925B2 (en) 2011-11-02 2016-05-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
US9589326B2 (en) 2012-11-29 2017-03-07 Korea Institute Of Science And Technology Depth image processing apparatus and method based on camera pose conversion
US9819879B2 (en) 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
KR20180113043A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 깊이 영상 보정 방법 및 장치
US10607317B2 (en) 2016-11-09 2020-03-31 Electronics And Telecommunications Research Institute Apparatus and method of removing noise from sparse depth map
KR20230077143A (ko) * 2021-11-25 2023-06-01 광운대학교 산학협력단 카메라에 의해 생성된 그래픽스 데이터의 품질 개선 방법
US11823351B2 (en) 2020-12-15 2023-11-21 Samsung Electronics Co., Ltd. Image processing method and image processing apparatus

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526866B1 (ko) * 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
US8256169B2 (en) 2009-03-20 2012-09-04 Northern States Metals Company Support system for solar panels
US8316590B2 (en) 2009-03-20 2012-11-27 Northern States Metals Company Support system for solar panels
US8240109B2 (en) 2009-03-20 2012-08-14 Northern States Metals Company Support system for solar panels
BR112012027770A2 (pt) * 2010-05-11 2017-08-08 Thomson Licensing processamento de granulação de filme e ruído de conforto para vídeo 3 dimensional
KR20120057216A (ko) * 2010-11-26 2012-06-05 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 노이즈 감소 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
JP5593243B2 (ja) * 2011-01-28 2014-09-17 株式会社日立ソリューションズ 立体画像処理システム、立体画像処理装置および立体画像処理方法
US8842931B2 (en) * 2011-02-18 2014-09-23 Nvidia Corporation System, method, and computer program product for reducing noise in an image using depth-based sweeping over image samples
US8824821B2 (en) * 2011-03-28 2014-09-02 Sony Corporation Method and apparatus for performing user inspired visual effects rendering on an image
JP6024110B2 (ja) * 2012-01-26 2016-11-09 ソニー株式会社 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム
US9031356B2 (en) 2012-03-20 2015-05-12 Dolby Laboratories Licensing Corporation Applying perceptually correct 3D film noise
KR20140117640A (ko) * 2012-05-16 2014-10-07 가부시키가이샤 히다치 하이테크놀로지즈 검사 장치
RU2639686C2 (ru) * 2012-07-20 2017-12-21 Конинклейке Филипс Н.В. Метаданные для фильтрации глубины
JP2014048714A (ja) * 2012-08-29 2014-03-17 Canon Inc 画像処理装置及び画像処理方法
CN103679641B (zh) * 2012-09-26 2016-12-21 株式会社理光 深度图像增强方法和装置
KR101941907B1 (ko) * 2013-01-03 2019-01-24 삼성전자주식회사 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법
KR20140096532A (ko) * 2013-01-28 2014-08-06 한국전자통신연구원 디지털 홀로그램 생성 장치 및 그 방법
CN103974055B (zh) * 2013-02-06 2016-06-08 城市图像科技有限公司 3d照片生成系统及方法
US9303663B2 (en) 2013-04-11 2016-04-05 Northern States Metals Company Locking rail alignment system
US9329272B2 (en) * 2013-05-02 2016-05-03 Infineon Technologies Ag 3D camera and method of image processing 3D images
US20140363097A1 (en) * 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
CN104574342B (zh) * 2013-10-14 2017-06-23 株式会社理光 视差深度图像的噪声识别方法和噪声识别装置
FR3028988B1 (fr) * 2014-11-20 2018-01-19 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees
PL412832A1 (pl) * 2015-06-24 2017-01-02 Politechnika Poznańska Sposób renderowania w oparciu o obraz głębi i system do renderowania w oparciu o obraz głębi
US9940701B2 (en) * 2015-09-25 2018-04-10 Intel Corporation Device and method for depth image dequantization
US9726830B1 (en) 2016-06-28 2017-08-08 Senko Advanced Components, Inc. Connector and adapter system for two-fiber mechanical transfer type ferrule
CN106355611B (zh) * 2016-09-13 2019-03-22 江苏奥斯汀光电科技股份有限公司 一种基于时空间关联的裸眼3d超解像滤波方法
CN106485678A (zh) * 2016-10-11 2017-03-08 东南大学 一种基于时空滤波的景深时空一致性及精度增强的方法
US10444444B2 (en) 2017-01-30 2019-10-15 Senko Advanced Components, Inc. Remote release tab connector assembly
CN109242782B (zh) * 2017-07-11 2022-09-09 深圳市道通智能航空技术股份有限公司 噪点处理方法及装置
US10281668B2 (en) 2017-07-14 2019-05-07 Senko Advanced Components, Inc. Ultra-small form factor optical connectors
US10718911B2 (en) 2017-08-24 2020-07-21 Senko Advanced Components, Inc. Ultra-small form factor optical connectors using a push-pull boot receptacle release
US11822133B2 (en) 2017-07-14 2023-11-21 Senko Advanced Components, Inc. Ultra-small form factor optical connector and adapter
US12001064B2 (en) 2017-07-14 2024-06-04 Senko Advanced Components, Inc. Small form factor fiber optic connector with multi-purpose boot
US11002923B2 (en) 2017-11-21 2021-05-11 Senko Advanced Components, Inc. Fiber optic connector with cable boot release having a two-piece clip assembly
CN111492284B (zh) * 2017-12-19 2022-08-26 美国康涅克有限公司 具有推拉极性机构和载体的微型双工连接器
CN112292230A (zh) 2018-03-19 2021-01-29 扇港元器件股份有限公司 用于从适配器接口移除多个微型光学连接器的移除工具
WO2019191522A1 (en) 2018-03-28 2019-10-03 Senko Advanced Components Inc Small form factor fiber optic connector with multi-purpose boot
CN112088327A (zh) 2018-07-15 2020-12-15 扇港元器件股份有限公司 超小型光学连接器和适配器
WO2020018931A1 (en) 2018-07-19 2020-01-23 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
WO2020036992A1 (en) 2018-08-13 2020-02-20 Senko Advanced Components, Inc A cable boot assembly for releasing fiber optic connector from a receptacle
WO2020055440A1 (en) 2018-09-12 2020-03-19 Senko Advanced Componetns, Inc. Lc type connector with clip-on push/pull tab for releasing connector from a receptacle using a cable boot
US10921530B2 (en) 2018-09-12 2021-02-16 Senko Advanced Components, Inc. LC type connector with push/pull assembly for releasing connector from a receptacle using a cable boot
US10921531B2 (en) 2018-09-12 2021-02-16 Senko Advanced Components, Inc. LC type connector with push/pull assembly for releasing connector from a receptacle using a cable boot
US11806831B2 (en) 2018-11-21 2023-11-07 Senko Advanced Components, Inc. Fixture and method for polishing fiber optic connector ferrules
US11175464B2 (en) 2018-11-25 2021-11-16 Senko Advanced Components, Inc. Open ended spring body for use in an optical fiber connector
WO2020140044A1 (en) * 2018-12-28 2020-07-02 Activ Surgical, Inc. Generation of synthetic three-dimensional imaging from partial depth maps
WO2020198755A1 (en) 2019-03-28 2020-10-01 Senko Advanced Components, Inc Fiber optic adapter assembly
US11340406B2 (en) 2019-04-19 2022-05-24 Senko Advanced Components, Inc. Small form factor fiber optic connector with resilient latching mechanism for securing within a hook-less receptacle
WO2020252355A1 (en) 2019-06-13 2020-12-17 Senko Advanced Components, Inc Lever actuated latch arm for releasing a fiber optic connector from a receptacle port and method of use
KR20200143818A (ko) 2019-06-17 2020-12-28 한국전자통신연구원 희소 깊이 지도에서 깊이 노이즈를 제거하는 장치 및 방법
US11467354B2 (en) 2019-07-23 2022-10-11 Senko Advanced Components, Inc. Ultra-small form factor receptacle for receiving a fiber optic connector opposing a ferrule assembly
KR102665543B1 (ko) 2021-02-22 2024-05-16 한국전자통신연구원 다시점 영상으로부터의 깊이지도 생성 장치 및 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818852A (ja) 1994-07-01 1996-01-19 Sony Corp ビデオカメラのノイズ除去装置
GB9422089D0 (en) * 1994-11-02 1994-12-21 Philips Electronics Uk Ltd Blurring for computer graphics
EP1243141B1 (en) * 1999-12-14 2011-10-19 Scientific-Atlanta, LLC System and method for adaptive decoding of a video signal with coordinated resource allocation
JP2001189944A (ja) 1999-12-28 2001-07-10 Sony Corp 撮像装置
JP2001189878A (ja) 1999-12-28 2001-07-10 Sony Corp 撮像装置
US6975329B2 (en) * 2002-12-09 2005-12-13 Nvidia Corporation Depth-of-field effects using texture lookup
CN100339869C (zh) * 2002-12-20 2007-09-26 Lm爱立信电话有限公司 使用最小深度遮挡剔除和z字形遍历的图形处理设备及方法
JP4617726B2 (ja) * 2004-06-07 2011-01-26 ソニー株式会社 画像処理システム、画像処理装置および画像処理方法、並びにプログラム
JP2007004318A (ja) * 2005-06-22 2007-01-11 Sega Corp 画像処理方法、画像処理を実行するためのプログラム、及び、当該プログラムが記憶された記憶媒体
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US7546026B2 (en) 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US8624964B2 (en) * 2005-12-02 2014-01-07 Koninklijke Philips N.V. Depth dependent filtering of image signal
JP2007264503A (ja) 2006-03-29 2007-10-11 Toshiba Corp 音声合成装置及びその方法
US8090210B2 (en) * 2006-03-30 2012-01-03 Samsung Electronics Co., Ltd. Recursive 3D super precision method for smoothly changing area
EP2064675B1 (en) * 2006-09-04 2012-11-21 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
KR100806201B1 (ko) 2006-10-30 2008-02-22 광주과학기술원 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
WO2008062351A1 (en) * 2006-11-21 2008-05-29 Koninklijke Philips Electronics N.V. Generation of depth map for an image
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
US8248410B2 (en) * 2008-12-09 2012-08-21 Seiko Epson Corporation Synthesizing detailed depth maps from images
KR101526866B1 (ko) * 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US8406548B2 (en) * 2011-02-28 2013-03-26 Sony Corporation Method and apparatus for performing a blur rendering process on an image

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010060649A1 (de) 2010-09-01 2012-03-01 Hyundai Motor Co. Variable Ventilhubvorrichtung
KR20120050678A (ko) * 2010-11-11 2012-05-21 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
US9819879B2 (en) 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
US9350925B2 (en) 2011-11-02 2016-05-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR20140030635A (ko) * 2012-09-03 2014-03-12 엘지이노텍 주식회사 스테레오 영상 정합 장치 및 이의 정합 방법
US9002132B2 (en) 2012-11-29 2015-04-07 Korea Insitute Of Science And Technology Depth image noise removal apparatus and method based on camera pose
US9589326B2 (en) 2012-11-29 2017-03-07 Korea Institute Of Science And Technology Depth image processing apparatus and method based on camera pose conversion
KR101362183B1 (ko) * 2012-11-29 2014-02-13 한국과학기술연구원 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법
KR20140110586A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
US10607317B2 (en) 2016-11-09 2020-03-31 Electronics And Telecommunications Research Institute Apparatus and method of removing noise from sparse depth map
KR20180113043A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 깊이 영상 보정 방법 및 장치
US10991111B2 (en) 2017-04-05 2021-04-27 Samsung Electronics Co., Ltd. Method and apparatus for refining depth image
US11823351B2 (en) 2020-12-15 2023-11-21 Samsung Electronics Co., Ltd. Image processing method and image processing apparatus
KR20230077143A (ko) * 2021-11-25 2023-06-01 광운대학교 산학협력단 카메라에 의해 생성된 그래픽스 데이터의 품질 개선 방법

Also Published As

Publication number Publication date
EP2211555B1 (en) 2019-12-11
CN101783024A (zh) 2010-07-21
EP2211555A2 (en) 2010-07-28
US20100183236A1 (en) 2010-07-22
US8744167B2 (en) 2014-06-03
JP2010171949A (ja) 2010-08-05
US9471963B2 (en) 2016-10-18
EP2541496A2 (en) 2013-01-02
KR101526866B1 (ko) 2015-06-10
EP2211555A3 (en) 2012-08-22
EP2541496B1 (en) 2015-08-12
EP2541496A3 (en) 2013-02-27
CN101783024B (zh) 2015-01-07
JP5519258B2 (ja) 2014-06-11
US20140241644A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
KR20100085675A (ko) 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
EP2698766B1 (en) Motion estimation device, depth estimation device, and motion estimation method
JP6646667B2 (ja) ノイズの多い奥行きまたは視差画像のリアルタイム適応的フィルタリングを行う方法および装置
TWI441095B (zh) 距離估算方法及其距離估算裝置，及其機器可讀取媒體
KR101298642B1 (ko) 영상 잡음 제거 방법 및 장치
KR101248808B1 (ko) 경계 영역의 잡음 제거 장치 및 방법
KR20150037369A (ko) 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
KR102049080B1 (ko) 영상 처리 장치 및 방법
WO2018168539A1 (ja) 学習方法およびプログラム
KR20170027301A (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
KR101828814B1 (ko) 깊이 영상 변환 장치 및 방법
JP2013127759A (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
KR101976801B1 (ko) 최적화 압축 3d 데이터 제공 시스템
JP6682184B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
KR101526465B1 (ko) 그래픽 프로세서 기반 깊이 영상 화질 개선 방법
US9077963B2 (en) Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
Wang et al. Depth estimation from a single defocused image using multi-scale kernels
CN117346656A (zh) 车轮踏面和不圆度的测量方法、装置、终端及存储介质
CN104871181B (zh) 用户定位系统
CN112862726A (zh) 图像处理方法、装置及计算机可读存储介质
Mahmoudpour et al. A Fast 2D-to-3D Image Conversion System based on Depth from Defocus.
JP2020003885A (ja) 画像処理装置および画像処理方法、プログラム
Mahmoudpour et al. A Depth Estimation Using Infocused and Defocused Images
Wellner et al. Optimizing depth-of-field based on a range map and a wavelet transform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 5