KR20130105969A - 깊이 영상 필터링 방법 및 그 장치 - Google Patents

깊이 영상 필터링 방법 및 그 장치 Download PDF

Info

Publication number
KR20130105969A
KR20130105969A KR1020120027509A KR20120027509A KR20130105969A KR 20130105969 A KR20130105969 A KR 20130105969A KR 1020120027509 A KR1020120027509 A KR 1020120027509A KR 20120027509 A KR20120027509 A KR 20120027509A KR 20130105969 A KR20130105969 A KR 20130105969A
Authority
KR
South Korea
Prior art keywords
image
depth
picture
filtering
color
Prior art date
Application number
KR1020120027509A
Other languages
English (en)
Other versions
KR101938205B1 (ko
Inventor
양승준
차지훈
김진웅
이상범
호요성
Original Assignee
한국전자통신연구원
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 광주과학기술원 filed Critical 한국전자통신연구원
Priority to KR1020120027509A priority Critical patent/KR101938205B1/ko
Priority to US13/660,953 priority patent/US9313473B2/en
Publication of KR20130105969A publication Critical patent/KR20130105969A/ko
Application granted granted Critical
Publication of KR101938205B1 publication Critical patent/KR101938205B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명에 따른 영상 합성 방법은, 서로 다른 시점(view)에서 획득된 복수의 색상 영상을 이용하여 깊이 정보를 탐색함으로써, 현재 픽쳐 내의 깊이 영상을 생성하는 단계, 3차원 결합형 양방향 필터(joint bilateral filter)를 이용하여, 깊이 영상에 대한 필터링을 수행하는 단계 및 복수의 색상 영상 및 필터링된 깊이 영상을 이용하여 합성 영상을 생성하는 단계를 포함한다. 본 발명에 의하면, 영상 처리 성능이 향상될 수 있다.

Description

깊이 영상 필터링 방법 및 그 장치 {METHOD FOR DEPTH VIDEO FILTERING AND APPARATUS THEREOF}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 깊이 영상 필터링 방법 및 그 장치에 관한 것이다.
다차원 비디오 시스템에서 자연스러운 영상 합성 기술은, 사용자가 원하는 임의의 시점(view)의 영상을 제공하기 위한 필수적인 요소이다. 이를 위해서는 깊이 정보를 정확하게 탐색하는 기술이 필수적이다.
그러나, 기존의 깊이 정보 탐색 기술은 깊이 값의 오차 발생, 깊이 영상과 색상 영상 간의 경계 불일치 및 시간적 상관도 저하 등의 문제점을 발생시킬 수 있다. 따라서, 상술한 문제점을 해결할 수 있는 깊이 영상 필터링 방법이 요구된다.
본 발명의 기술적 과제는 영상 처리 성능을 향상시킬 수 있는 깊이 영상 필터링 방법을 제공함에 있다.
본 발명의 기술적 과제는 영상 처리 성능을 향상시킬 수 있는 영상 합성 방법을 제공함에 있다.
본 발명의 기술적 과제는 영상 처리 효율을 향상시킬 수 있는 다차원 비디오 시스템을 제공함에 있다.
본 발명의 일 실시 형태는 영상 합성 방법이다. 상기 방법은, 서로 다른 시점(view)에서 획득된 복수의 색상 영상을 이용하여 깊이 정보를 탐색함으로써, 현재 픽쳐 내의 깊이 영상을 생성하는 단계, 3차원 결합형 양방향 필터(joint bilateral filter)를 이용하여, 상기 깊이 영상에 대한 필터링을 수행하는 단계 및 상기 복수의 색상 영상 및 상기 필터링된 깊이 영상을 이용하여 합성 영상을 생성하는 단계를 포함하되, 상기 3차원 결합형 양방향 필터는 이전 픽쳐, 상기 현재 픽쳐 및 이후 픽쳐 중 적어도 하나에 대한 색상 영상 정보를 이용하여 상기 생성된 깊이 영상에 대한 필터링을 수행하고, 상기 색상 영상 정보는 색상 영상 내 객체의 경계에 관한 정보 및 상기 색상 영상의 색상 정보를 포함한다.
상기 방법은, 상기 복수의 색상 영상 및 상기 생성된 깊이 영상을 영상 버퍼에 저장하는 단계를 더 포함할 수 있고, 상기 필터링 수행 단계에서는, 상기 영상 버퍼에 저장된 색상 영상 및 깊이 영상을 이용하여 필터링을 수행할 수 있다.
상기 필터링 수행 단계에서는, 상기 현재 픽쳐 내의 임의의 위치의 픽셀(pixel) 값과 동일 위치 픽셀 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행할 수 있고, 상기 동일 위치 픽셀 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 픽셀 값일 수 있다.
상기 필터링 수행 단계에서는, 상기 현재 픽쳐 내의 임의의 위치의 깊이(depth) 값과 동일 위치 깊이 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행할 수 있고, 상기 동일 위치 깊이 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 깊이 값일 수 있다.
본 발명의 다른 실시 형태는 깊이 영상 필터링 방법이다. 상기 방법은, 서로 다른 시점(view)에서 획득된 복수의 색상 영상을 이용하여 깊이 정보를 탐색함으로써, 현재 픽쳐 내의 깊이 영상을 생성하는 단계 및 3차원 결합형 양방향 필터(joint bilateral filter)를 이용하여, 상기 깊이 영상에 대한 필터링을 수행하는 단계를 포함하되, 상기 3차원 결합형 양방향 필터는 이전 픽쳐, 상기 현재 픽쳐 및 이후 픽쳐 중 적어도 하나에 대한 색상 영상 정보를 이용하여 상기 생성된 깊이 영상에 대한 필터링을 수행하고, 상기 색상 영상 정보는 색상 영상 내 객체의 경계에 관한 정보 및 상기 색상 영상의 색상 정보를 포함한다.
상기 방법은, 상기 복수의 색상 영상 및 상기 생성된 깊이 영상을 영상 버퍼에 저장하는 단계를 더 포함할 수 있고, 상기 필터링 수행 단계에서는, 상기 영상 버퍼에 저장된 색상 영상 및 깊이 영상을 이용하여 필터링을 수행할 수 있다.
상기 필터링 수행 단계에서는, 상기 현재 픽쳐 내의 임의의 위치의 픽셀(pixel) 값과 동일 위치 픽셀 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행할 수 있고, 상기 동일 위치 픽셀 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 픽셀 값일 수 있다.
상기 필터링 수행 단계에서는, 상기 현재 픽쳐 내의 임의의 위치의 깊이(depth) 값과 동일 위치 깊이 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행할 수 있고, 상기 동일 위치 깊이 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 깊이 값일 수 있다.
본 발명의 또 다른 실시 형태는 다차원 비디오 시스템이다. 상기 시스템은 서로 다른 시점(view)에서 획득된 복수의 색상 영상을 이용하여 깊이 정보를 탐색함으로써, 현재 픽쳐 내의 깊이 영상을 생성하는 깊이 정보 탐색부, 3차원 결합형 양방향 필터(joint bilateral filter)를 이용하여, 상기 깊이 영상에 대한 필터링을 수행하는 필터부 및 상기 복수의 색상 영상 및 상기 필터링된 깊이 영상을 이용하여 합성 영상을 생성하는 영상 합성부를 포함하되, 상기 3차원 결합형 양방향 필터는 이전 픽쳐, 상기 현재 픽쳐 및 이후 픽쳐 중 적어도 하나에 대한 색상 영상 정보를 이용하여 상기 생성된 깊이 영상에 대한 필터링을 수행하고, 상기 색상 영상 정보는 색상 영상 내 객체의 경계에 관한 정보 및 상기 색상 영상의 색상 정보를 포함한다.
상기 시스템은 상기 복수의 색상 영상 및 상기 생성된 깊이 영상을 저장하는 영상 버퍼를 더 포함할 수 있고, 상기 필터부는, 상기 영상 버퍼에 저장된 색상 영상 및 깊이 영상을 이용하여 필터링을 수행할 수 있다.
상기 필터부는, 상기 현재 픽쳐 내의 임의의 위치의 픽셀(pixel) 값과 동일 위치 픽셀 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행할 수 있고, 상기 동일 위치 픽셀 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 픽셀 값일 수 있다.
상기 필터부는, 상기 현재 픽쳐 내의 임의의 위치의 깊이(depth) 값과 동일 위치 깊이 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행할 수 있고, 상기 동일 위치 깊이 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 깊이 값일 수 있다.
본 발명에 따른 깊이 영상 필터링 방법에 의하면, 영상 처리 성능이 향상될 수 있다.
본 발명에 따른 영상 합성 방법에 의하면, 영상 처리 성능이 향상될 수 있다.
본 발명에 따른 다차원 비디오 시스템에 의하면, 영상 처리 성능이 향상될 수 있다.
도 1은 본 발명에 따른 다차원 비디오 시스템에서의 영상 합성 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 2는 본 발명에 따른 다차원 비디오 시스템의 일 실시예를 개략적으로 나타내는 블록도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명에 따른 다차원 비디오 시스템에서의 영상 합성 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
종래의 비디오 압축 표준 대상인 색상 영상과 달리, 깊이 영상은 화면 내 객체들로부터 카메라까지의 거리에 관한 정보, 즉 깊이 정보(예를 들어, 깊이 값)를 포함할 수 있다. 다차원 비디오의 경우, 입체감 또는 다차원 정보는 깊이 정보에 의해 나타내어질 수 있다. 예를 들어, 입체감을 제공하는 3D 비디오에는 양안식 3D 비디오, 다시점(multi-view) 3D 비디오 등이 있을 수 있다.
다차원 비디오 시스템에서는 사용자가 원하는 임의의 시점(view)의 영상을 제공하기 위해, 깊이 영상 및 복수의 시점의 색상 영상을 이용한 영상 합성 기술이 요구된다. 자연스러운 영상 합성을 위해서는, 깊이 정보를 정확하게 탐색하는 기술이 필수적이다. 그러나, 깊이 정보 탐색 과정에서는, 복수의 시점(예를 들어, 좌시점 및 우시점)의 색상 영상에 동시에 존재하는 픽셀이 정확하게 정합되지 않을 수 있다. 이 경우, 상기 깊이 정보 탐색 과정에서 도출된 깊이 영상의 깊이 값에 오차가 발생할 수 있다. 또한, 깊이 값의 오차로 인해, 깊이 영상과 색상 영상의 경계가 서로 일치하지 않는 문제점이 발생할 수 있다.
상술한 문제점을 해결하고 깊이 영상의 정확도를 향상시키기 위해, 다차원 비디오 시스템은 결합형 양방향 필터(joint bilateral filter)를 이용한 깊이 영상 후처리 기술을 사용할 수 있다. 여기서, 결합형 양방향 필터는 색상 영상의 경계 정보 및 색상 영상의 색상 정보를 이용하여 깊이 영상에 대한 필터링을 수행하는 필터를 의미한다. 상기 색상 영상의 경계 정보는 색상 영상 내의 객체의 경계를 나타내는 정보를 의미할 수 있다. 결합형 양방향 필터를 이용한 깊이 영상 후처리 기술은, 깊이 영상과 색상 영상 간의 객체 경계 불일치 문제를 효과적으로 해결할 수 있다.
그러나, 상기 깊이 영상 후처리 기술은, 합성 영상의 화질을 저하시키는 요인 중 하나인 시간적 상관도 저하 문제를 해결할 수 없다. 여기서, 시간적 상관도는 서로 다른 시간적 위치에 존재하는 픽쳐 간의 상관도를 의미할 수 있다. 시간적 상관도가 저하되면, 각 픽쳐마다 독립적으로 깊이 정보가 탐색되는 과정에서, 오차가 발생하는 위치가 계속 변화할 수 있다. 따라서, 시간적 상관도 저하는, 합성 영상의 객체 경계가 떨리거나 배경 부분이 깜박거리는 현상을 유발할 수 있다.
시간적 상관도 저하 문제를 해결하기 위해, 다차원 비디오 시스템은 깊이 정보 탐색 과정에서 움직임 예측을 수행할 수 있다. 즉, 부호화기는 이전 픽쳐 및/또는 이후 픽쳐의 깊이 값을 참조함으로써, 시간적 상관도를 향상시킬 수 있다. 여기서, 이전 픽쳐는 시간적으로 현재 픽쳐보다 과거의 시간을 나타내는 픽쳐를 의미하고, 이후 픽쳐는 시간적으로 현재 픽쳐보다 미래의 시간을 나타내는 픽쳐를 의미할 수 있다. 그러나, 상술한 움직임 예측 방법은 상당한 계산 시간을 필요로 하고, 상기 움직임 예측의 결과는 움직임 예측의 성능에 매우 의존적일 수 있다.
따라서, 시간적 상관도 저하를 방지하여, 합성 영상의 객체 경계 영역에서 발생되는 깜빡임 현상을 최소화할 수 있는 영상 합성 방법이 제공될 수 있다.
도 1을 참조하면, 다차원 비디오 시스템은 서로 다른 시점(view)에서 획득된 복수의 색상 영상을 입력 받을 수 있다(S110). 이하, 복수 시점의 색상 영상, 즉 서로 다른 시점에서 획득된 복수의 색상 영상을 총칭하여 스테레오 색상 영상이라 하며, 설명의 편의를 위해 스테레오 색상 영상은 색상 영상으로 지칭될 수도 있다.
복수 시점의 색상 영상 각각은 서로 다른 카메라에 의해 획득될 수 있으므로, 상기 스테레오 색상 영상의 처리를 위해서는 카메라 매개 변수 및 카메라 교정이 요구될 수 있다. 여기서, 스테레오 색상 영상의 전처리 과정, 예를 들어 카메라 매개 변수 획득 과정 및 카메라 교정 과정 등은 이미 완료된 상태라 가정한다.
스테레오 색상 영상이 입력되면, 다차원 비디오 시스템은 상기 스테레오 색상 영상을 이용하여 상기 스테레오 색상 영상에 대한 깊이 정보를 탐색할 수 있다(S120). 이 때, 다차원 비디오 시스템은 깊이 정보를 탐색하기 위해 스테레오 정합 알고리즘을 이용할 수 있다. 다차원 비디오 시스템은 깊이 정보를 탐색함으로써 상기 스테레오 색상 영상에 대한 깊이 영상을 도출할 수 있다.
다차원 비디오 시스템은 상기 S120 단계에서 도출된 깊이 영상 및 색상 영상을 영상 버퍼에 저장할 수 있다(S130). 후술되는 바와 같이, 본 발명에 따른 다차원 비디오 시스템은 시간축으로 확장된 결합 양방향 필터를 이용하여 깊이 영상에 대한 필터링을 수행할 수 있다. 즉, 다차원 비디오 시스템은 현재 픽쳐 내의 깊이 영상에 대한 필터링을 수행함에 있어, 이전 픽쳐 및/또는 이후 픽쳐에 포함된 정보를 사용할 수 있다. 따라서, 다차원 비디오 시스템은 깊이 영상 및 색상 영상을 영상 버퍼에 저장한 후, 필터링 과정에서 이를 사용할 수 있다.
다시 도 1을 참조하면, 다차원 비디오 시스템은 영상 버퍼에 저장된 색상 영상 및/또는 깊이 영상을 이용하여, 현재 픽쳐 내의 깊이 영상에 대한 필터링을 수행할 수 있다(S140).
다차원 비디오 시스템은 색상 영상의 경계 정보 및 색상 정보를 깊이 영상 필터링에 이용할 수 있다. 여기서, 경계 정보는 색상 영상 내의 객체의 경계를 나타내는 정보를 의미할 수 있다. 상술한 바와 같이, 색상 영상의 경계 정보 및 색상 정보를 이용하여 깊이 영상에 대한 필터링을 수행하는 필터는 결합형 양방향 필터로 불릴 수 있다. 결합형 양방향 필터에 의한 깊이 영상 필터링 과정은, 깊이 영상의 후처리 과정에 해당될 수 있다.
또한, 다차원 비디오 시스템은 시간축으로 확장된 결합형 양방향 필터를 깊이 영상에 적용할 수 있다. 즉, 결합형 양방향 필터의 적용 범위는 시간축으로 확장될 수 있다. 이 경우, 다차원 비디오 시스템은 현재 픽쳐 내의 깊이 영상에 대한 필터링을 수행함에 있어, 현재 픽쳐 내의 정보뿐만 아니라, 이전 픽쳐 및/또는 이후 픽쳐에 포함된 정보를 이용할 수 있다. 상기 이전 픽쳐 및/또는 이후 픽쳐에 포함된 정보에는, 색상 영상의 경계 정보, 색상 영상의 색상 정보 및/또는 깊이 영상 정보 등이 있을 수 있다.
시간축으로 확장된 결합형 양방향 필터가 사용되는 경우, 다차원 비디오 시스템은 현재 픽쳐 내에서 공간 축으로 필터링을 적용할 뿐만 아니라, 시간 축으로도 필터링을 적용할 수 있다. 따라서, 시간축으로 확장된 결합형 양방향 필터는 3차원 양방향 필터로도 불릴 수 있다. 즉, 본 발명에서는 필터링 적용 범위가 3차원으로 확장될 수 있다.
3차원 양방향 필터가 사용되는 경우, 깊이 영상 내의 대부분의 영역에 대해 시간적 상관도가 향상될 수 있다. 그러나, 움직임이 있는 영역에서는 오히려 필터링 이후에 깊이 값의 오차가 크게 발생할 수 있다. 따라서, 움직임이 있는 영역에서의 필터링 오차를 제거하기 위해, 다차원 비디오 시스템은 외곽 오차 제거 기술을 필터링에 적용할 수 있다. 즉, 다차원 비디오 시스템은 외곽 오차 제거 기술을 이용하여, 깊이 영상에 대한 필터링을 수행할 수 있다.
일례로, 다차원 비디오 시스템은 현재 픽쳐(또는 현재 깊이 영상) 내의 임의의 위치(x,y)의 깊이 값(이하, 현재 깊이 값이라 함.)을 동일 위치 깊이 값과 비교할 수 있다. 여기서, 상기 동일 위치 깊이 값은 이전 픽쳐 및/또는 이후 픽쳐 내에서, 상기 임의의 위치(x,y)와 공간적으로 동일한 위치에 존재하는 깊이 값을 의미할 수 있다. 상기 현재 깊이 값과 동일 위치 깊이 값의 차이(이하, 동일 위치 깊이 값 차이라 함.)가 특정 임계값 이상인 경우, 상기 동일 위치 깊이 값을 갖는 픽쳐는 외곽 오차가 포함된 픽쳐일 수 있다. 따라서, 이 때 다차원 비디오 시스템은 깊이 영상에 대한 필터링을 수행함에 있어, 이전 픽쳐 및 이후 픽쳐 중에서 동일 위치 깊이 값 차이가 특정 임계값 이상인 픽쳐를 사용하지 않을 수 있다. 즉, 다차원 비디오 시스템은 이전 픽쳐 및 이후 픽쳐 중에서 동일 위치 깊이 값 차이가 특정 임계값 이상인 픽쳐를 제거한 후, 동일 위치 깊이 값 차이가 특정 임계값 미만인 픽쳐만을 이용하여 깊이 영상에 대한 필터링을 수행할 수 있다.
또한, 다차원 비디오 시스템은 현재 픽쳐(또는 현재 깊이 영상) 내의 임의의 위치(x,y)의 픽셀 값(이하, 현재 픽셀 값이라 함.)을 동일 위치 픽셀 값과 비교할 수 있다. 여기서, 상기 동일 위치 픽셀 값은 이전 픽쳐 및/또는 이후 픽쳐 내에서, 상기 임의의 위치(x,y)와 공간적으로 동일한 위치에 존재하는 픽셀 값을 의미할 수 있다. 상기 현재 픽셀 값과 동일 위치 픽셀 값의 차이(이하, 동일 위치 픽셀 값 차이라 함.)가 특정 임계값 이상인 경우, 상기 동일 위치 픽셀 값을 갖는 픽쳐는 외곽 오차가 포함된 픽쳐일 수 있다. 따라서, 이 때 다차원 비디오 시스템은 깊이 영상에 대한 필터링을 수행함에 있어, 이전 픽쳐 및 이후 픽쳐 중에서 동일 위치 픽셀 값 차이가 특정 임계값 이상인 픽쳐를 사용하지 않을 수 있다. 즉, 다차원 비디오 시스템은 동일 위치 픽셀 값 차이가 특정 임계값 이상인 픽쳐를 제거한 후, 동일 위치 픽셀 값 차이가 특정 임계값 미만인 픽쳐만을 이용하여 깊이 영상에 대한 필터링을 수행할 수 있다.
다시 도 1을 참조하면, 다차원 비디오 시스템은 색상 영상 및 필터링된 깊이 영상을 이용하여 합성 영상을 생성할 수 있다(S150). 즉, 다차원 비디오 시스템은 필터링된 깊이 영상을 이용하여 스테레오 색상 영상을 합성함으로써, 합성 영상을 생성할 수 있다. 이 때, 상기 합성 영상은 사용자의 필요에 따른 임의의 시점의 영상일 수 있다.
스테레오 색상 영상은 복수의 시점의 색상 영상을 포함할 수 있다. 상기 복수의 시점의 색상 영상 중에서 하나는 기준 영상에 해당되고, 나머지는 보조 영상에 해당될 수 있다. 다차원 비디오 시스템은 기준 영상을 이용하여 합성 영상의 일정 영역을 채우고, 보조 영상을 이용하여 합성 영상의 나머지 영역을 채울 수 있다. 또한, 기준 영상 및 보조 영상에 의해 채워지지 않는 합성 영상의 영역들은 선형 보간 방법을 이용하여 채워질 수 있다.
도 2는 본 발명에 따른 다차원 비디오 시스템의 일 실시예를 개략적으로 나타내는 블록도이다. 도 2의 실시예에 따른 다차원 비디오 시스템은 영상 입력부(210), 깊이 정보 탐색부(220), 영상 버퍼(230), 필터부(240) 및 영상 합성부(250)를 포함할 수 있다.
도 2를 참조하면, 영상 입력부(210)는 서로 다른 복수의 시점에서 획득된 복수의 색상 영상(스테레오 색상 영상)을 깊이 정보 탐색부(220) 및 영상 버퍼(230)에 입력할 수 있다. 복수 시점의 색상 영상 각각은 서로 다른 카메라에 의해 획득될 수 있으므로, 상기 스테레오 색상 영상의 처리를 위해서는 카메라 매개 변수 및 카메라 교정이 요구될 수 있다. 여기서, 스테레오 색상 영상의 전처리 과정, 예를 들어 카메라 매개 변수 획득 과정 및 카메라 교정 과정 등은 이미 완료된 상태라 가정한다.
깊이 정보 탐색부(220)는 입력받은 스테레오 색상 영상을 이용하여 상기 스테레오 색상 영상에 대한 깊이 정보를 탐색할 수 있다. 이 때, 깊이 정보 탐색부(220)는 깊이 정보를 탐색하기 위해 스테레오 정합 알고리즘을 이용할 수 있다. 깊이 정보 탐색부(220)는 깊이 정보를 탐색함으로써 스테레오 색상 영상에 대한 깊이 영상을 도출할 수 있다.
영상 버퍼(230)에는, 깊이 정보 탐색부(220)에서 도출된 깊이 영상 및 색상 영상이 저장될 수 있다. 후술되는 바와 같이, 필터부(240)는 시간축으로 확장된 결합 양방향 필터를 이용하여 깊이 영상에 대한 필터링을 수행할 수 있다. 즉, 필터부(240)는 현재 픽쳐 내의 깊이 영상에 대한 필터링을 수행함에 있어, 이전 픽쳐 및/또는 이후 픽쳐에 포함된 정보를 사용할 수 있다. 따라서, 다차원 비디오 시스템은 깊이 영상 및 색상 영상을 영상 버퍼에 저장한 후, 필터링 과정에서 이를 사용할 수 있다.
다시 도 2를 참조하면, 필터부(240)는 영상 버퍼에 저장된 색상 영상 및/또는 깊이 영상을 이용하여, 현재 픽쳐 내의 깊이 영상에 대한 필터링을 수행할 수 있다. 필터링된 깊이 영상은 영상 합성부(250)에 입력될 수 있다.
필터부(240)는 색상 영상의 경계 정보 및 색상 정보를 깊이 영상 필터링에 이용할 수 있다. 여기서, 경계 정보는 색상 영상 내의 객체의 경계를 나타내는 정보를 의미할 수 있다. 상술한 바와 같이, 색상 영상의 경계 정보 및 색상 정보를 이용하여 깊이 영상에 대한 필터링을 수행하는 필터는 결합형 양방향 필터로 불릴 수 있다. 결합형 양방향 필터에 의한 깊이 영상 필터링 과정은, 깊이 영상의 후처리 과정에 해당될 수 있다.
또한, 필터부(240)는 시간축으로 확장된 결합형 양방향 필터를 깊이 영상에 적용할 수 있다. 즉, 결합형 양방향 필터의 적용 범위는 시간축으로 확장될 수 있다. 이 경우, 필터부(240)는 현재 픽쳐 내의 깊이 영상에 대한 필터링을 수행함에 있어, 현재 픽쳐 내의 정보뿐만 아니라, 이전 픽쳐 및/또는 이후 픽쳐에 포함된 정보를 이용할 수 있다. 상기 이전 픽쳐 및/또는 이후 픽쳐에 포함된 정보에는, 색상 영상의 경계 정보, 색상 영상의 색상 정보 및/또는 깊이 영상 정보 등이 있을 수 있다.
시간축으로 확장된 결합형 양방향 필터가 사용되는 경우, 필터부(240)는 현재 픽쳐 내에서 공간 축으로 필터링을 적용할 뿐만 아니라, 시간 축으로도 필터링을 적용할 수 있다. 따라서, 시간축으로 확장된 결합형 양방향 필터는 3차원 양방향 필터로도 불릴 수 있다. 즉, 본 발명에서는 필터링 적용 범위가 3차원으로 확장될 수 있다.
3차원 양방향 필터가 사용되는 경우, 깊이 영상 내의 대부분의 영역에 대해 시간적 상관도가 향상될 수 있다. 그러나, 움직임이 있는 영역에서는 오히려 필터링 이후에 깊이 값의 오차가 크게 발생할 수 있다. 따라서, 움직임이 있는 영역에서의 필터링 오차를 제거하기 위해, 필터부(240)는 외곽 오차 제거 기술을 필터링에 적용할 수 있다. 즉, 필터부(240)는 외곽 오차 제거 기술을 이용하여, 깊이 영상에 대한 필터링을 수행할 수 있다. 외곽 오차 제거 기술의 구체적인 실시예는 상술한 바 있으므로, 생략하기로 한다.
다시 도 2를 참조하면, 영상 합성부(250)는 색상 영상 및 필터링된 깊이 영상을 이용하여 합성 영상을 생성할 수 있다.
상기 색상 영상은 영상 입력부(210)로부터 입력되거나 영상 버퍼(230)로부터 입력될 수 있다. 또한, 상기 필터링된 깊이 영상은 필터부(240)로부터 입력될 수 있다. 색상 영상 및 필터링된 깊이 영상이 입력되면, 영상 합성부(250)는 필터링된 깊이 영상을 이용하여 스테레오 색상 영상을 합성함으로써, 합성 영상을 생성할 수 있다. 여기서, 상기 합성 영상은 사용자의 필요에 따른 임의의 시점의 영상일 수 있다. 합성 영상 생성 방법의 구체적인 실시예는 상술한 바 있으므로, 생략하기로 한다.
본 발명에 의하면, 영상 합성 시에 깊이 영상의 정확도 및 시간적 상관도가 증가될 수 있으므로, 자연스러운 합성 영상이 생성될 수 있다. 따라서, 다차원 비디오 시스템의 영상 합성 과정에서 발생할 수 있는, 색상 영상과 깊이 영상 간의 객체 경계 불일치, 객체 경계 떨림 및 배경 부분의 깜박임 등의 문제가 해결될 수 있다. 또한 본 발명에 의하면, 사용자의 시각적 피로도도 감소될 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (12)

  1. 서로 다른 시점(view)에서 획득된 복수의 색상 영상을 이용하여 깊이 정보를 탐색함으로써, 현재 픽쳐 내의 깊이 영상을 생성하는 단계;
    3차원 결합형 양방향 필터(joint bilateral filter)를 이용하여, 상기 깊이 영상에 대한 필터링을 수행하는 단계; 및
    상기 복수의 색상 영상 및 상기 필터링된 깊이 영상을 이용하여 합성 영상을 생성하는 단계를 포함하되,
    상기 3차원 결합형 양방향 필터는 이전 픽쳐, 상기 현재 픽쳐 및 이후 픽쳐 중 적어도 하나에 대한 색상 영상 정보를 이용하여 상기 생성된 깊이 영상에 대한 필터링을 수행하고, 상기 색상 영상 정보는 색상 영상 내 객체의 경계에 관한 정보 및 상기 색상 영상의 색상 정보를 포함하는 것을 특징으로 하는 영상 합성 방법.
  2. 청구항 1에 있어서,
    상기 복수의 색상 영상 및 상기 생성된 깊이 영상을 영상 버퍼에 저장하는 단계를 더 포함하고,
    상기 필터링 수행 단계에서는,
    상기 영상 버퍼에 저장된 색상 영상 및 깊이 영상을 이용하여 필터링을 수행하는 것을 특징으로 하는 영상 합성 방법.
  3. 청구항 1에 있어서,
    상기 필터링 수행 단계에서는,
    상기 현재 픽쳐 내의 임의의 위치의 픽셀(pixel) 값과 동일 위치 픽셀 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행하고,
    상기 동일 위치 픽셀 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 픽셀 값인 것을 특징으로 하는 영상 합성 방법.
  4. 청구항 1에 있어서,
    상기 필터링 수행 단계에서는,
    상기 현재 픽쳐 내의 임의의 위치의 깊이(depth) 값과 동일 위치 깊이 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행하고,
    상기 동일 위치 깊이 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 깊이 값인 것을 특징으로 하는 영상 합성 방법.
  5. 서로 다른 시점(view)에서 획득된 복수의 색상 영상을 이용하여 깊이 정보를 탐색함으로써, 현재 픽쳐 내의 깊이 영상을 생성하는 단계; 및
    3차원 결합형 양방향 필터(joint bilateral filter)를 이용하여, 상기 깊이 영상에 대한 필터링을 수행하는 단계를 포함하되,
    상기 3차원 결합형 양방향 필터는 이전 픽쳐, 상기 현재 픽쳐 및 이후 픽쳐 중 적어도 하나에 대한 색상 영상 정보를 이용하여 상기 생성된 깊이 영상에 대한 필터링을 수행하고, 상기 색상 영상 정보는 색상 영상 내 객체의 경계에 관한 정보 및 상기 색상 영상의 색상 정보를 포함하는 것을 특징으로 하는 깊이 영상 필터링 방법.
  6. 청구항 5에 있어서,
    상기 복수의 색상 영상 및 상기 생성된 깊이 영상을 영상 버퍼에 저장하는 단계를 더 포함하고,
    상기 필터링 수행 단계에서는,
    상기 영상 버퍼에 저장된 색상 영상 및 깊이 영상을 이용하여 필터링을 수행하는 것을 특징으로 하는 깊이 영상 필터링 방법.
  7. 청구항 5에 있어서,
    상기 필터링 수행 단계에서는,
    상기 현재 픽쳐 내의 임의의 위치의 픽셀(pixel) 값과 동일 위치 픽셀 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행하고,
    상기 동일 위치 픽셀 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 픽셀 값인 것을 특징으로 하는 깊이 영상 필터링 방법.
  8. 청구항 5에 있어서,
    상기 필터링 수행 단계에서는,
    상기 현재 픽쳐 내의 임의의 위치의 깊이(depth) 값과 동일 위치 깊이 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행하고,
    상기 동일 위치 깊이 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 깊이 값인 것을 특징으로 하는 깊이 영상 필터링 방법.
  9. 서로 다른 시점(view)에서 획득된 복수의 색상 영상을 이용하여 깊이 정보를 탐색함으로써, 현재 픽쳐 내의 깊이 영상을 생성하는 깊이 정보 탐색부;
    3차원 결합형 양방향 필터(joint bilateral filter)를 이용하여, 상기 깊이 영상에 대한 필터링을 수행하는 필터부; 및
    상기 복수의 색상 영상 및 상기 필터링된 깊이 영상을 이용하여 합성 영상을 생성하는 영상 합성부를 포함하되,
    상기 3차원 결합형 양방향 필터는 이전 픽쳐, 상기 현재 픽쳐 및 이후 픽쳐 중 적어도 하나에 대한 색상 영상 정보를 이용하여 상기 생성된 깊이 영상에 대한 필터링을 수행하고, 상기 색상 영상 정보는 색상 영상 내 객체의 경계에 관한 정보 및 상기 색상 영상의 색상 정보를 포함하는 것을 특징으로 하는 다차원 비디오 시스템.
  10. 청구항 9에 있어서,
    상기 복수의 색상 영상 및 상기 생성된 깊이 영상을 저장하는 영상 버퍼를 더 포함하고,
    상기 필터부는,
    상기 영상 버퍼에 저장된 색상 영상 및 깊이 영상을 이용하여 필터링을 수행하는 것을 특징으로 하는 다차원 비디오 시스템.
  11. 청구항 9에 있어서,
    상기 필터부는,
    상기 현재 픽쳐 내의 임의의 위치의 픽셀(pixel) 값과 동일 위치 픽셀 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행하고,
    상기 동일 위치 픽셀 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 픽셀 값인 것을 특징으로 하는 다차원 비디오 시스템.
  12. 청구항 9에 있어서,
    상기 필터부는,
    상기 현재 픽쳐 내의 임의의 위치의 깊이(depth) 값과 동일 위치 깊이 값 간의 차이 값이 임계값 이상인 픽쳐를 제외한, 나머지 픽쳐의 색상 영상 정보만을 이용하여 필터링을 수행하고,
    상기 동일 위치 깊이 값은 상기 이전 픽쳐 또는 상기 이후 픽쳐 내에서 상기 임의의 위치와 공간적으로 동일한 위치의 깊이 값인 것을 특징으로 하는 다차원 비디오 시스템.
KR1020120027509A 2012-03-19 2012-03-19 깊이 영상 필터링 방법 및 그 장치 KR101938205B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120027509A KR101938205B1 (ko) 2012-03-19 2012-03-19 깊이 영상 필터링 방법 및 그 장치
US13/660,953 US9313473B2 (en) 2012-03-19 2012-10-25 Depth video filtering method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120027509A KR101938205B1 (ko) 2012-03-19 2012-03-19 깊이 영상 필터링 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20130105969A true KR20130105969A (ko) 2013-09-27
KR101938205B1 KR101938205B1 (ko) 2019-01-14

Family

ID=49157225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120027509A KR101938205B1 (ko) 2012-03-19 2012-03-19 깊이 영상 필터링 방법 및 그 장치

Country Status (2)

Country Link
US (1) US9313473B2 (ko)
KR (1) KR101938205B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526465B1 (ko) * 2014-01-15 2015-06-09 광운대학교 산학협력단 그래픽 프로세서 기반 깊이 영상 화질 개선 방법
KR101532686B1 (ko) * 2013-12-30 2015-07-09 재단법인대구경북과학기술원 경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법
KR20230077143A (ko) * 2021-11-25 2023-06-01 광운대학교 산학협력단 카메라에 의해 생성된 그래픽스 데이터의 품질 개선 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102076494B1 (ko) 2014-01-20 2020-02-14 한국전자통신연구원 3차원 데이터 처리 장치 및 방법
CN106228608A (zh) * 2016-08-24 2016-12-14 集美大学 一种基于双目的用于物体快速重构的手持装置和方法
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
CN109377456B (zh) * 2018-09-28 2022-04-12 北京空间机电研究所 一种光学遥感太赫兹图像数据增强方法
CN110400344B (zh) 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110400273B (zh) * 2019-07-11 2022-03-22 Oppo广东移动通信有限公司 深度数据的滤波方法、装置、电子设备和可读存储介质
CN113096024B (zh) * 2020-01-09 2023-05-09 舜宇光学（浙江）研究院有限公司 用于深度数据的去飞点方法及其系统和电子设备
CN112581389A (zh) * 2020-12-04 2021-03-30 北京大学深圳研究生院 虚拟视点深度图处理方法、设备、装置及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847728B2 (en) 2002-12-09 2005-01-25 Sarnoff Corporation Dynamic depth recovery from multiple synchronized video streams
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
KR101483660B1 (ko) * 2007-07-26 2015-01-16 코닌클리케 필립스 엔.브이. 깊이－관련 정보 전파를 위한 방법 및 장치
KR101502365B1 (ko) 2008-11-06 2015-03-13 삼성전자주식회사 삼차원 영상 생성기 및 그 제어 방법
JP5792632B2 (ja) 2009-01-30 2015-10-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ デプスマップの符号化
KR101807886B1 (ko) * 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
KR20110124473A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US20120194642A1 (en) * 2011-02-01 2012-08-02 Wen-Nung Lie Motion picture depth information processing system and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101532686B1 (ko) * 2013-12-30 2015-07-09 재단법인대구경북과학기술원 경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법
KR101526465B1 (ko) * 2014-01-15 2015-06-09 광운대학교 산학협력단 그래픽 프로세서 기반 깊이 영상 화질 개선 방법
KR20230077143A (ko) * 2021-11-25 2023-06-01 광운대학교 산학협력단 카메라에 의해 생성된 그래픽스 데이터의 품질 개선 방법

Also Published As

Publication number Publication date
US20130242043A1 (en) 2013-09-19
US9313473B2 (en) 2016-04-12
KR101938205B1 (ko) 2019-01-14

Similar Documents

Publication Publication Date Title
KR101938205B1 (ko) 깊이 영상 필터링 방법 및 그 장치
US20200374461A1 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
Battisti et al. Objective image quality assessment of 3D synthesized views
US10789765B2 (en) Three-dimensional reconstruction method
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
US20130070049A1 (en) System and method for converting two dimensional to three dimensional video
US20150269737A1 (en) Multi-View Synthesis in Real-Time With Fallback to 2D from 3D to Reduce Flicker in Low or Unstable Stereo-Matching Image Regions
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
Cheng et al. Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays
EP2811457B1 (en) Image processing method and apparatus
KR20100087685A (ko) 깊이 영상의 품질 개선 방법 및 장치
CN104574331B (zh) 一种数据处理方法、装置、计算机存储介质及用户终端
WO2012071356A1 (en) Depth estimation based on global motion
US9451233B2 (en) Methods and arrangements for 3D scene representation
KR101666019B1 (ko) 외삽 뷰 생성을 위한 장치 및 방법
WO2014183787A1 (en) Method and apparatus for computing a synthesized picture
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
US20140192163A1 (en) Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
JP2015019346A (ja) 視差画像生成装置
JP2015087851A (ja) 画像処理装置及び画像処理プログラム
CN109712230B (zh) 三维模型补充方法、装置、存储介质及处理器
US9973745B2 (en) Stereoscopic focus point adjustment
Li et al. Joint view filtering for multiview depth map sequences
US9591290B2 (en) Stereoscopic video generation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant