KR20120137295A - 영상 처리를 위한 방법 및 장치 - Google Patents

영상 처리를 위한 방법 및 장치 Download PDF

Info

Publication number
KR20120137295A
KR20120137295A KR1020120061606A KR20120061606A KR20120137295A KR 20120137295 A KR20120137295 A KR 20120137295A KR 1020120061606 A KR1020120061606 A KR 1020120061606A KR 20120061606 A KR20120061606 A KR 20120061606A KR 20120137295 A KR20120137295 A KR 20120137295A
Authority
KR
South Korea
Prior art keywords
image
view
hole
reference layer
parallax
Prior art date
Application number
KR1020120061606A
Other languages
English (en)
Inventor
이호영
황규영
박두식
백아론
조양호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20120137295A publication Critical patent/KR20120137295A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Abstract

영상 처리 방법 및 장치는 참조 시점에 대한 참조 레이어를 생성할 수 있다. 참조 레이어는 출력 영상들의 홀을 복원할 수 있는 정보일 수 있다. 참조 레이어를 출력 영상의 시점에 맞춰 와핑함으로써, 출력 영상 내의 홀을 복원할 수 있는 정보가 생성될 수 있다.

Description

영상 처리를 위한 방법 및 장치{METHOD AND APPARATUS FOR IMAGE PROCESSING}
아래의 실시예들은 영상을 처리하기 위한 방법 및 장치에 관한 것이다.
참조 레이어를 사용하여 출력 영상 내의 홀에 대한 홀 복원을 수행하는 방법 및 장치가 개시된다.
3D(Dimension) 디스플레이(display) 장치는 시청자가 느끼는 현장감 및 몰입감을 증가시키기 위해 입체 영상을 출력할 수 있다.
다양한 시점에서 영상을 시청하는 시청자에게 3D 효과를 제공하기 위해서는 다양한 시점에 대한 출력 뷰 영상을 생성하여야 할 수 있다. 출력 뷰 영상은 몇몇 입력 뷰 영상들을 내삽(interpolate)하거나, 단일한 입력 뷰 영상을 외삽(extrapolate)함으로써 생성될 수 있다. 이 때, 소수의 입력 뷰 영상들을 사용함으로써 다수의 출력 뷰 영상들을 생성할 경우, 입력 뷰의 영상에서는 보이지 않지만, 출력 뷰 영상에는 필요한 영역(즉, 출력 뷰 영상에서는 가시인 영역)을 처리할 방법이 필요하다. 이러한 영역을 홀(hole)이라고 하며, 종래 기술은 이러한 홀 영역의 채움(hole-filling)을 모든 가용한 영상 데이터에 대한 고려 없이 출력 뷰 영상 각각에 대해 독립적으로 수행할 수 있다. 즉, 종래 기술의 홀 복원은, 각 출력 영상에 대해 독립적으로 수행될 수 있으며, 다중의(multiple) 홀 복원 처리 과정(procedures)을 필요하게 만들 수 있다.
일 실시예는 참조 시점에 대한 참조 레이어를 생성하는 장치 및 방법을 제공할 수 있다.
일 실시예는 참조 시점에 대한 참조 레이어를 사용하여 출력 영상 내의 홀에 대한 홀 복원을 수행하는 장치 및 방법을 제공할 수 있다.
일 측에 따르면, 프로세서를 사용하여, 하나 이상의 입력 뷰들을 사용하여 참조 시점에 대한 참조 레이어를 생성하는 단계, 상기 하나 이상의 입력 뷰들을 사용하여 출력 시점의 영상을 생성하는 단계 및 상기 참조 레이어를 사용하여 상기 출력 시점의 영상 내의 홀에 대한 홀 복원을 수행하는 단계를 포함하는, 영상 처리 방법이 제공될 수 있다.
각 입력 뷰는 영상 및 시차 정보를 포함할 수 있다.
상기 참조 레이어는 상기 참조 레이어의 영상 및 상기 참조 레이어의 시차 정보를 포함할 수 있다.
상기 하나 이상의 입력 뷰들은 좌 입력 뷰 및 우 입력 뷰를 포함할 수 있다.
상기 참조 시점은 상기 좌 입력 뷰의 시점 및 상기 우 입력 뷰의 시점의 사이의 시점을 포함할 수 있다.
상기 참조 시점은 상기 하나 이상의 입력 뷰들 중 중심 입력 뷰의 시점을 포함할 수 있다.
상기 참조 레이어를 생성하는 단계는, 상기 하나 이상의 입력 뷰들을 사용하여 참조 시점 영상 및 참조 시점 시차 정보를 생성하는 단계, 각 출력 시점에서의 영상 내에서 발생하는 홀에 대한 정보를 모은 상기 참조 시점에 대한 홀 맵을 생성하는 단계, 상기 홀 맵, 상기 참조 시점 영상 및 상기 참조 시점 시차 정보를 사용하여 초기 참조 레이어를 생성하는 단계 및 상기 초기 참조 레이어 내의 홀에 대한 홀 복원을 수행함으로써 상기 참조 레이어를 생성하는 단계를 포함할 수 있다.
상기 홀 맵은 상기 참조 시점 영상 내의 픽셀들의 시차들 간의 차분에 기반하여 생성될 수 있다.
상기 초기 참조 레이어의 영상은 상기 참조 시점 영상 및 상기 홀 맵 간의 논리곱 연산을 수행함에 의해 생성될 수 있다.
상기 초기 참조 레이어 내의 홀에 대한 홀 복원은 상기 홀에 인접한 배경을 사용하여 수행될 수 있다.
제1 픽셀의 제1 시차가 상기 제1 픽셀에 좌측으로 인접한 제2 픽셀의 제2 시차보다 제1 임계 값 이상으로 클 경우, 상기 제1 픽셀로부터 우측으로 상기 제1 시차 및 상기 제2 시차 간의 차에 비례하는 개수만큼의 픽셀들이 홀로 설정될 수 있다.
제1 픽셀의 제1 시차가 상기 제1 픽셀에 우측으로 인접한 제3 픽셀의 제3 시차보다 제2 임계 값 이상으로 클 경우, 상기 제1 픽셀로부터 좌측으로 상기 제1 시차 및 상기 제3 시차 간의 차에 비례하는 개수만큼의 픽셀들이 홀로 설정될 수 있다.
상기 출력 시점의 영상을 생성하는 단계는, 상기 하나 이상의 입력 뷰들 중 하나 이상의 참조 뷰들을 선택하는 단계 및 상기 참조 뷰들의 시차 정보를 사용하여 상기 참조 뷰들의 영상을 상기 출력 시점으로 와핑함으로써 상기 출력 시점의 영상을 생성하는 단계를 포함할 수 있다.
상기 홀에 대한 홀 복원을 수행하는 단계는, 상기 참조 레이어의 상기 시차 정보를 사용하여 상기 참조 레이어 영상을 상기 출력 시점으로 와핑함으로써 상기 출력 시점의 참조 레이어 영상을 생성하는 단계 및 상기 출력 시점의 참조 레이어 영상 중 상기 홀에 대응하는 영역을 상기 홀로 복사하는 단계를 포함할 수 있다,
상기 출력 시점의 영상은 복수 개일 수 있다.
다른 일 측에 따르면, 하나 이상의 입력 뷰들을 사용하여 참조 시점에 대한 참조 레이어를 생성하는 참조 레이어 생성부, 상기 하나 이상의 입력 뷰들을 사용하여 출력 시점의 영상을 생성하는 출력 시점 영상 생성부 및 상기 참조 레이어를 사용하여 상기 출력 시점의 영상 내의 홀에 대한 홀 복원을 수행하는 홀 복원부를 포함하는, 영상 처리 장치가 제공될 수 있다.
상기 참조 레이어 생성부는, 상기 하나 이상의 입력 뷰들을 사용하여 참조 시점 영상 및 참조 시점 시차 정보를 생성하는 참조 시점 영상/시차 정보 생성부. 각 출력 시점에서의 영상 내에서 발생하는 홀에 대한 정보를 모은 상기 참조 시점에 대한 홀 맵을 생성하는 홀 맵 생성부, 상기 홀 맵, 상기 참조 시점 영상 및 상기 참조 시점 시차 정보를 사용하여 초기 참조 레이어를 생성하는 초기 참조 레이어 생성부 및 상기 초기 참조 레이어 내의 홀에 대한 홀 복원을 수행함으로써 상기 참조 레이어를 생성하는 참조 레이어 생성부를 포함할 수 있다.
상기 초기 참조 레이어의 영상은 상기 참조 시점 영상 및 상기 홀 맵 간의 논리곱 연산을 수행함에 의해 생성될 수 있다.
상기 초기 참조 레이어 내의 홀에 대한 복원은 상기 홀에 인접한 배경을 사용하여 수행될 수 있다.
상기 출력 시점 영상 생성부는, 상기 하나 이상의 입력 뷰들 중 하나 이상의 참조 뷰들을 선택하는 참조 뷰 선택부 및 상기 참조 뷰들의 시차 정보를 사용하여 상기 참조 뷰 영상을 상기 출력 시점으로 와핑함으로써 상기 출력 시점의 영상을 생성하는 참조 뷰 와핑부를 포함할 수 있다.
상기 홀 복원부는, 상기 참조 레이어의 상기 시차 정보를 사용하여 상기 참조 레이어 영상을 상기 출력 시점으로 와핑함으로써 상기 출력 시점의 참조 레이어 영상을 생성하는 참조 레이어 와핑부 및 상기 출력 시점의 참조 레이어 영상 중 상기 홀에 대응하는 영역을 상기 홀로 복사하는 홀 영역 복사부를 포함할 수 있다.
다른 일 측에 따르면, 적어도 하나의 입력 뷰 영상 및 입력 시차에 기반하여 참조 시점 영상 및 참조 시점 시차를 계산하는 단계, 상기 참조 시점 시차에 기반하여 상기 참조 시점에 대응하는 홀 맵을 구성하는 단계, 상기 홀 맵 및 상기 참조 시점 영상을 사용하여 상기 참조 시점에서의 초기 참조 레이어를 생성하는 단계, 프로세서를 사용하여, 상기 초기 참조 레이어 내의 홀에 대한 홀 복원을 수행함으로써 참조 레이어를 생성하는 단계 및 상기 참조 레이어로부터 각 출력 시점 영상의 홀 위치로 복원된 홀 정보를 전파하는 단계를 포함하는, 영상 처리 방법이 제공될 수 있다.
또 다른 일 측에 따르면, 멀티-뷰 영상 데이터를 위한 홀 맵을 구성하는 방법에 있어서, 단일한 참조 시점으로, 복수 개의 상이한 시점들 각각에서 획득된 홀 정보를 종합(aggregate)하는 단계 및 프로세서를 사용하여, 상기 단일한 참조 시점에서의 종합된 홀 정보를 포함하는 상기 홀 맵을 생성하는 단계를 포함하는, 멀티-뷰 영상 데이터를 위한 홀 맵을 구성하는 방법이 제공될 수 있다.
또 다른 일 측에 따르면, 영상 처리 장치를 포함하는 멀티-뷰 디스플레이 기기에 있어서, 적어도 하나의 입력 뷰 영상 및 입력 시차에 기반하여 참조 시점 영상 및 참조 시점 시차를 계산하는 참조 시점 영상/시차 정보 생성부, 상기 참조 시점 시차에 기반하여 상기 참조 시점에서의 홀 맵을 구성하는 홀 맵 생성부, 상기 홀 맵, 상기 참조 시점 영상 및 상기 참조 시점 시차를 사용하여 상기 참조 시점에서의 초기 참조 레이어를 생성하는 초기 참조 레이어 생성부, 상기 생성된 초기 참조 레이어 내의 홀에 대한 홀 복원을 수행함으로써 참조 레이어를 생성하는 참조 레이어 생성부 및 상기 참조 레이어로부타 각 출력 시점 영상의 홀 위치로 복원된 홀 정보를 전파하는 홀 복원부를 포함하는, 멀티-뷰 디스플레이 기기가 제공될 수 있다.
참조 시점에 대한 참조 레이어를 생성하는 장치 및 방법이 제공된다.
참조 시점에 대한 참조 레이어를 사용하여 출력 영상 내의 홀에 대한 홀 복원을 수행하는 장치 및 방법이 제공된다.
도 1은 일 실시예에 따른 영상 처리 방법의 흐름도이다.
도 2는 일 예에 따른 2 개의 입력 뷰들에 기반하여 참조 시점을 결정하고, 참조 시점에 대한 영상 및 시차를 생성하는 방법을 설명한다.
도 3은 일 예에 따른 2n-1 개의 입력 뷰들에 기반하여 참조 시점을 결정하고, 참조 시점에 대한 영상 및 시차를 생성하는 방법을 설명한다.
도 4는 일 예에 따른 참조 시점 영상 및 참조 시점 시차 정보를 사용하여 참조 레이어 및 참조 레이어의 시차 정보가 생성되는 과정을 설명한다.
도 5는 일 예에 따른 홀 맵의 생성 원리를 설명한다.
도 6은 일 예에 따른 홀 맵의 생성 방법을 설명한다.
도 7은 일 예에 따른 홀로 설정되는 픽셀들의 개수를 결정하는 방법을 설명한다.
도 8은 일 예에 따른 홀 맵 생성 방법의 흐름도이다.
도 9는 일 예에 따른 출력 시점의 영상을 생성하고, 생성된 출력 시점의 영상의 홀에 대한 홀 복원을 수행하는 원리를 설명한다.
도 10은 일 예에 따른 출력 시점의 영상을 생성하고, 생성된 출력 시점의 영상의 홀에 대한 홀 복원을 수행하는 방법의 흐름도이다.
도 11은 일 실시예에 따른 영상 처리 장치의 구조도이다.
도 12는 일 실시예에 따른 영상 처리 장치를 포함하는 멀티-뷰 디스플레이(display) 기기(device)의 블록도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 발명의 범위가 설명된 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
하기에서, 용어 "뷰"는 영상 및 상기 영상에 연관된 시차 정보를 포함할 수 있다. 뷰는 시차 정보를 갖는 영상을 의미할 수 있다.
뷰의 영상은 (예컨대, 2 차원의) 픽셀들로 구성될 수 있다. 시차 정보는 픽셀들 각각의 시차(또는, 시차 값)를 포함할 수 있다. 시차 정보는 영상 내의 픽셀들의 시차들을 의미할 수 있다.
입력 뷰는 입력 정보로 사용되는 뷰를 의미할 수 있다. 출력 뷰는 입력 뷰들에 기반하여 생성된 뷰를 의미할 수 있다. 입력 뷰들 중 특정한 출력 뷰를 생성하기 위해 사용되는 뷰를 참조 뷰로 명명할 수 있다.
내삽(interpolation)은 참조 뷰들 사이의 영상을 생성하는 것을 의미할 수 있으며, 외삽(extrapolation)은 참조 뷰들의 바깥 쪽의 영상을 생성하는 것을 의미할 수 있다.
참조 뷰의 영상을 상기 영상의 시차(disparity) 정보를 사용하여 출력 뷰의 시점(view point)에 따라 와핑(warping)함으로써 출력 뷰 영상이 생성될 수 있다.
여기서, 와핑은 영상 내의 픽셀들 각각의 좌표를, 상기 영상의 시차 정보를 사용하여 쉬프트(shift)하는 것을 의미할 수 있다. 시차가 큰 픽셀일수록 시차가 작은 픽셀에 비해 더 많이 쉬프트될 수 있다.
깊이(depth) 및 시차(disparity)는, 서로 간에 상수항(constant term)을 통해 역 상관될 수 있다. 따라서, 하기의 실시예들에서, 용어 "깊이" 및 "시차"는 상호교환되어(interchangeably) 사용될 수 있다.
또한, 깊이를 시차로 변환하거나 시차를 깊이로 변환하는 단계 또는 동작이 하기의 실시예들에 부가될 수 있다.
용어 "홀 복원" 및 "홀 채움"은, 영상 또는 시차 정보 내에서 홀을 제거하는 의미로서, 상호 교환되어 사용될 수 있다.
도 1은 일 실시예에 따른 영상 처리 방법의 흐름도이다.
단계(110)에서, 참조(standard) 시점이 결정될 수 있다.
참조 시점은 후술될 참조 시점 영상, 참조 시점 시차 정보, 홀 맵 및 참조 레이어의 시점일 수 있다. 즉, 참조 시점은 홀 맵 및 참조 레이어를 생성하는 참조가 되는 시점일 수 있다.
참조 시점을 결정하는 방법의 일 예가 도 2 및 도 3을 참조하여 하기에서 상세히 설명된다.
단계들(122 내지 128)에서, 하나 이상의 입력 뷰들을 사용하여 참조 시점에 대한 참조 레이어(즉, 참조 레이어의 영상 및 참조 레이어의 시차 정보)가 생성될 수 있다. 하나 이상의 입력 뷰들 각각은 영상 및 상기 영상에 연관된 시차 정보를 포함할 수 있다.
단계(122)에서, 하나 이상의 입력 뷰들을 사용하여 참조 시점 영상 및 참조 시점 시차 정보가 생성될 수 있다.
참조 시점 영상 및 참조 시점 시차 정보는 후술될 홀 맵 및 참조 레이어를 생성하기 위해 사용될 수 있다.
하나 이상의 입력 뷰들 각각의 시점들 중, 중간의 시점이 참조 시점으로 선택될 수 있다. 즉, 적어도 하나의 입력 뷰 중 다른 입력 뷰들 사이에 위치한 시점이 참조 시점으로서 선택될 수 있다.
단계(124)에서, 참조 시점에 대한 홀 맵이 생성될 수 있다.
홀 맵은 각 시점에서의 영상 내에서 발생하는 홀에 대한 정보를 참조 시점 영상으로 모은 것일 수 있다. 복수 개의 상이한 시점들 각각에서 획득된 홀 정보가 참조 시점 영상으로 종합(aggregate)될 수 있다. 여기서, 각 시점에서의 영상은 후술될 출력 영상을 의미할 수 있다.
단계(126)에서, 홀 맵, 참조 시점 영상 및 참조 시점 시차 정보를 사용하여 초기 참조 레이어가 생성될 수 있다. 즉, 복수 개의 상이한 시점들 각각에서 획득된 홀 정보가 참조 시점 영상으로 종합될 수 있다.
초기 참조 레이어는 참조 시점 영상(또는, 참조 시점 영상 및 참조 시점 시차 정보) 내에 홀 성분이 생성된 것일 수 있다..
단계(128)에서, 초기 참조 레이어 내의 홀에 대한 홀 복원을 수행함으로써 참조 레이어(즉, 참조 레이어의 영상 및 참조 레이어의 시차 정보)가 생성될 수 있다. 즉, 초기 참조 레이어의 홀은 참조 레이어를 생성함으로써 복원될 수 있다.
참조 시점 영상 및 참조 시점 시차 정보를 사용하여 참조 레이어가 생성되는 과정이 도 4를 참조하여 하기에서 상세히 설명된다.
단계들(126 및 128)에 의해, 홀 맵, 참조 시점 영상 및 참조 시점 시차 정보를 이용하여 각 출력 영상 내의 홀에 대한 홀 복원을 수행하는데 필요한 정보가 복원(또는, 생성)될 수 있다..
단계(130)에서, 하나 이상의 입력 뷰들을 사용하여 출력 시점(또는, 목적(target) 시점)의 영상이 생성될 수 있다.
출력 시점은, 시청자에게 제공되기 위한 타겟(target) 시점을 의미할 수 있다.
출력 시점의 영상은 홀을 포함할 수 있다.
단계(140)에서, 참조 레이어 및 참조 레이어의 시차 정보를 사용하여 출력 시점의 영상 내의 홀에 대한 홀 복원이 수행될 수 있다.
단계(150)에서, 홀 복원이 수행된 후의 출력 시점의 영상이 출력될 수 있다.
홀들이 복원된 복수 개의 출력 시점 영상들이 제공될 수 있다.
도 2는 일 예에 따른 2 개의 입력 뷰들에 기반하여 참조 시점을 결정하고, 참조 시점에 대한 영상 및 시차를 생성하는 방법을 설명한다.
도 2의 입력 뷰는 제1 입력 뷰(210) 및 제2 입력 뷰(220)이다.
제1 입력 뷰(210) 및 제2 입력 뷰(220)는 각각 스테레오(stereo)(즉, 2-웨이(way)) 뷰 입력의 좌 입력 뷰 및 우 입력 뷰일 수 있다.
제1 입력 뷰(210) 및 제2 입력 뷰(220)는 각각 멀티-뷰 기기(device)의 2n 개의 입력 뷰들 중 n 번째 입력 뷰 및 n+1 번째 입력 뷰일 수 있다. 여기서, n은 "1" 이상의 정수일 수 있다. 제1 입력 뷰(210) 및 제2 입력 뷰(220)는 하나 이상의 입력 뷰들 중 중심에 위치한 2 개의 입력 뷰들일 수 있다. 즉, 제1 입력 뷰(210) 및 제2 입력 뷰(220)은 다른 입력 뷰들 사이에 위치할 수 있다.
제1 입력 뷰(210)는 영상(212) 및 시차 정보(214)를 포함할 수 있다.
제2 입력 뷰(220)는 영상(222) 및 시차 정보(224)를 포함할 수 있다.
참조 시점은 제1 입력 뷰(210)의 시점 및 제2 입력 뷰(220)의 시점의 중심(center)일 수 있다. 참조 시점은 모든 하나 이상의 입력 뷰들 중 2 개의 선택된 입력 뷰들의 시점들의 중심일 수 있다.
참조 시점 뷰(230)(즉, 참조 시점 영상(232) 및 참조 시점 시차 정보(234))는 좌측의 제1 입력 뷰(210) 및 우측의 제2 입력 뷰(220)에 기반하여 생성될 수 있다.
예컨대, 참조 시점 뷰(230)(즉, 참조 시점 영상(232) 및 참조 시점 시차 정보(234))는 제1 입력 뷰(210) 및 제2 입력 뷰(220)의 컬러/시차(color/disparity) 내삽에 의해 생성될 수 있다.
예컨대, 참조 시점 뷰(230)(즉, 참조 시점 영상(232) 및 참조 시점 시차 정보(234))는 제1 입력 뷰(210)의 영상(212), 제1 입력 뷰(210)의 시차 정보(214), 제2 입력 뷰(220)의 영상(222) 및 제2 입력 뷰(220)의 시차 정보(224)를 사용하는 와핑을 수행함으로써 생성될 수 있다.
도 3은 일 예에 따른 2n-1 개의 입력 뷰들에 기반하여 참조 시점을 결정하고, 참조 시점에 대한 영상 및 시차를 생성하는 방법을 설명한다.
도 3의 입력 뷰는 홀수 개의 입력 뷰들(310, 320, 330)이다.
하나 이상의 입력 뷰들은 2n-1 개일 수 있다. 여기서, n은 "1" 이상의 정수일 수 있다.
중심 입력 뷰(320)(즉, n 번째 입력 뷰)는 영상(322) 및 시차 정보(324)를 포함할 수 있다.
참조 시점은 하나 이상의 입력 뷰들 중 가운데에 위치한 입력 뷰의 시점일 수 있다. 2n-1 개의 입력 뷰들 중에서, n 번째의 중심 입력 뷰(320)의 시점이 참조 시점이 될 수 있다.
참조 시점이 하나 이상의 입력 뷰들 중 특정한 뷰의 시점과 동일한 경우, 상기 특정한 뷰가 참조 시점 뷰(340)로 설정(또는, 사용)될 수 있다. 또한, 상기 특정한 뷰의 영상이 참조 시점 영상(342)으로 설정될 수 있고, 상기 특정한 뷰의 시차 정보가 참조 시점 시차 정보(344)로 설정될 수 있다.
예컨대, 참조 시점이 중심 입력 뷰(320)의 시점인 경우, 중심 입력 뷰(320)가 참조 시점 뷰(340)로 설정될 수 있다.
하나 이상의 입력 뷰들이 홀수 개(즉, 2n-1 개)인 경우, 중심(즉, n 번째의) 입력 뷰(320)의 영상(322)이 참조 시점 영상(342)으로 설정될 수 있고, 중심 입력 뷰(320)의 시차 정보(324)가 참조 시점 시차 정보(344)로 설정될 수 있다.
도 4는 일 예에 따른 참조 시점 영상 및 참조 시점 시차 정보를 사용하여 초기 참조 레이어, 초기 참조 레이어의 시차 정보, 참조 레이어 및 참조 레이어의 시차 정보가 생성되는 과정을 설명한다. 도 4의 과정은 다중 뷰들의 생성에도 사용될 수 있다.
도 1 내지 도 3을 참조하여 전술된 것과 같이, 하나 이상의 입력 뷰들(410 및 415)에 기반하여 참조 시점 영상(430) 및 참조 시점 시차 정보(435)가 생성될 수 있다.
참조 시점 뷰(420)는 참조 시점 영상(430) 및 참조 시점 시차 정보(435)을 포함할 수 있다.
참조 시점 영상(430)은 전경(432) 및 배경(434)을 포함할 수 있다. 일반적으로, 전경(432)은 배경(434)에 비해 더 큰 시차(즉, 더 작은 깊이)를 갖는다.
참조 시점 시차 정보(435)는 전경(432)에 연관된 전경 시차 정보(436) 및 배경(434)에 연관된 배경 시차 정보(438)를 포함할 수 있다.
홀 맵(440)은 각 멀티-뷰 영상 내에서 생성된 홀을 참조 시점으로 종합함으로써 획득된 데이터에 대응할 수 있다. 홀 맵(440)은 홀 부분들(442 및 444) 및 비-홀 부분(446)을 포함할 수 있다.
홀 맵(400)은 홀 부분들(442 및 444)은 "0"으로 표현되고, 비-홀 부분(446)은 "1"로 표현되는 이진(binary) 맵일 수 있다.
홀 맵(440)을 생성하는 구체적인 방법의 일 예가 도 5 내지 도 8을 참조하여 하기에서 상세히 설명된다.
초기 참조 레이어(450)는 홀 맵(440) 상의 홀로서 가리켜지는 영역을 처리함으로써 획득되는 이미지에 대응할 수 있다. 초기 참조 레이어(450)는 영상(460) 및 시차 정보(470)를 포함할 수 있다.
초기 참조 레이어(450)의 영상(460)은 전경(462), 배경(464) 및 홀(466 및 468)을 포함할 수 있다.
초기 참조 레이어(450)의 영상(460)은 참조 시점 영상(430) 및 홀 맵(440)에 기반하여 생성될 수 있다. 예컨대, 참조 시점 영상(430) 중 홀 부분들(442 및 444)에 대응하는 부분은 홀들(466 및 468)이 될 수 있다. 참조 시점 영상(430) 중 비-홀 부분(446)에 대응하는 부분은 전경(462) 또는 배경(464)이 될 수 있다.
초기 참조 레이어(450)의 시차 정보(470)는 참조 시점 시차 정보(435)일 수 있다. 또는, 초기 참조 레이어(450)의 시차 정보(470)는 참조 시점 시차 정보(435) 및 홀 맵(440)에 기반하여 생성될 수 있다. 예컨대, 시차 정보(470)는 전경(462)에 대응하는 전경 시차 정보(472), 배경(464)에 대응하는 배경 시차 정보(474) 및 홀(476 및 478)을 포함할 수 있다.
초기 참조 레이어(450)의 영상(460)은 참조 시점 영상(430) 및 홀 맵(440) 간의 논리곱(AND) 연산(operation)을 수행함으로써 생성될 수 있다. 참조 시점 영상(430) 중 홀 맵(440)의 '0'(즉, 홀 부분(442 및 444))에 대응하는 부분은 AND 연산을 수행함으로써 홀들(466 및 468)이 될 수 있다. 참조 시점 영상(430) 중 홀 맵(440)의 "1"(즉, 비-홀 부분(446))에 대응하는 부분은 AND 연산에 의해 영향을 받지 않는다. 따라서, 상기 부분은, AND 연산이 수행된 후에도, 전경(462) 또는 배경(464)으로 계속 유지될 수 있다.
즉, 참조 시점 영상(430)은 초기 참조 레이어(450)의 영상(460) 내의 비-홀 부분(446)에 대응하는 전경(462) 및 배경(464)에 대해서는 그대로 사용될 수 있다. 반면, 영상 내의 홀들(466 및 468)은 홀 부분들(442 및 444)에 대응할 수 있다. 또한, 참조 시점 시차 정보(435)는 초기 참조 레이어(450)의 시차 정보(470) 내의 비-홀 영역(446)에 대응하는 전경 시차 정보(472) 및 배경 시차 정보(474)에 대해서는 그대로 사용될 수 있다. 홀 부분들(442 및 444)에 대응하는 시차 정보(470) 내의 영역은 홀들(476 및 478)일 수 있다.
초기 참조 레이어(450)의 영상(460)에 대한 홀 복원 과정을 통해, 홀이 모두 채워진 참조 레이어(480)가 생성될 수 있다. 참조 레이어(480)는 영상(490) 및 시차 정보(495)를 포함할 수 있다. 일반적으로, 홀 복원 과정을 통해 홀들이 채워질 수 있기 때문에, 영상(490) 및 시차 정보(495)는 홀을 갖지 않을 수 있다.
초기 참조 레이어(450) 내의 홀은, 예컨대 인페인팅(inpainting)과 같은, 다양한 홀 채움(hole filling) 방법을 사용하여 채워질 수 있다.
예컨대, 초기 참조 레이어(450) 내의 홀에 대한 홀 복원은 상기 홀에 인접한 배경 일부를 사용하여 수행될 수 있다. 초기 참조 레이어(450)의 영상(460) 내의 홀(466 또는 468)은 배경(464) 중 홀(466 또는 468)에 인접한 부분의 정보(예컨대, 컬러)를 사용하여 채워질 수 있다. 초기 참조 레이어(450)의 시차 정보(470) 내의 홀(476 또는 478)은 배경 시차 정보(474) 중 상기 홀(476 또는 478)에 인접한 부분의 시차를 사용하여 채워질 수 있다.
예컨대, 초기 참조 레이어(450) 내의 홀에 대한 홀 복원은 다른 시점의 입력 뷰(즉, 다른 입력 뷰의 영상 및 시차 정보)를 사용하어 수행될 수 있다.
참조 레이어는 연속적으로 저장(save)되기 때문에, 초기 참조 레이어(450) 내의 홀에 대한 복원은 시간적으로 선행하는 참조 레이어(예컨대, 시간적으로 선행하는 참조 레이어의 영상 및 시차 정보)를 사용하여 수행될 수 있다. 예컨대, 시간적으로 선행하는 참조 레이어는 영상 데이터의 이전 프레임에 대응할 수 있다.
초기 참조 레이어(450)의 시차 정보(495) 내의 홀에 대한 홀 복원은 상기 홀 영역 주위의 배경의 시차를 확산시킴으로써 수행될 수 있다.
도 5는 일 예에 따른 홀 맵의 생성 원리를 설명한다.
출력 영상 내의 홀은 참조 시점 영상 내의 인접한 영역들(예컨대, 서로 인접한 좌측 픽셀 및 우측 픽셀)의 시차들 간의 차이(difference)에 의해 발생할 수 있다.
픽셀이 자신의 좌측 픽셀에 비해 더 큰 시차를 갖는 경우(즉, 픽셀의 시차로부터 상기 픽셀의 좌측 픽셀의 시차를 뺀 값인 ΔdL이 "0"보다 클 경우), 참조 시점에서 좌측 방향으로 와핑된 출력 영상 내에서, 상기 픽셀의 좌측에 홀이 발생할 수 있다.
픽셀의 자신의 우측 픽셀에 비해 더 큰 시차를 갖는 경우(즉, 픽셀의 시차로부터 상기 픽셀의 우측 픽셀의 시차를 뺀 값인 ΔdR이 "0"보다 클 경우), 참조 시점에서 우측 방향으로 와핑된 출력 영상 내에서, 상기 픽셀의 우측에 홀이 발생할 수 있다.
제1 출력 영상(510)은 참조 시점 뷰(420)(또는, 참조 시점 영상(430))가 좌측 방향으로 와핑됨으로써 생성될 수 있다. 제1 출력 영상(510) 내에서는 전경(512)의 좌측에 ΔdL(예컨대, 20 픽셀들)만큼의 홀(516)이 발생할 수 있다. 제2 출력 영상(520)은 참조 시점 뷰(420)가 우측 방향으로 와핑됨으로써 생성될 수 있다. 제2 출력 영상(520) 내에서는 전경(522)의 우측에 ΔdR(예컨대, 20 픽셀들)만큼의 홀(526)이 발생할 수 있다.
따라서, 참조 시점 뷰(420) 내의 인접한 픽셀들 간의 시차 차이를 분석함으로써, 특정한 시점의 출력 영상 내에서 발생하는 홀 영역이 예측될 수 있다.
홀 맵(440)은, 참조 시점 뷰(420)를 특정한 시점으로 와핑함에 따라 생성되는 홀들을 참조 시점 영상으로 모으거나(collecting) 종합시킨 것으로 간주될 수 있다.
도 6은 일 예에 따른 홀 맵의 생성 방법을 설명한다.
예컨대 멀티-뷰 영상 내에서의, 하나 이상의 출력 뷰들이 생성될 때 발생할 수 있는 홀 영역을 예측하기 위해 참조 시점 뷰(420) 내의 각 픽셀의 시차의 차분(difference)이 계산될 수 있다.
시차의 차분은 좌측 차분 ΔdL 및 우측 차분 ΔdR을 포함할 수 있다. 좌측 차분은 상기 픽셀의 좌측에 인접한 픽셀(이하, 좌측 픽셀)에 대한 차분일 수 있다. 우측 차분은 상기 픽셀의 우측에 인접한 픽셀(이하, 우측 픽셀)에 대한 차분일 수 있다..
참조 시점 시차 정보(435) 내의 특정한 수평선(610)의 시차가 그래프(620)로 도시되었다.
그래프(620)에 나타난 것과 같은 시차의 차이를 이용하여, 참조 시점 영상(430) 내의 전경(432)에 의해 가려진 영역이 홀 영역으로 판단될 수 있다.
전경(432)에 의해 가려진 영역은, 1) 시차의 좌측 차분, 2) 시차의 우측 차분, 3) 입력 뷰들 간의 입력 베이스라인 및 4) 최외각 출력 뷰들의 시점들 간의 거리에 기반하여 계산될 수 있다.
홀 맵(440)은 참조 시점 영상(430) 내의 픽셀들의 시차들 간의 차분(즉, ΔdL 및 ΔdR)에 기반하여 생성될 수 있다.
전경에 의해 가려진 영역(즉, 홀로 설정되는 픽셀들)을 판단하는 방법의 일 예가 하기에서 설명된다.
제1 픽셀의 제1 시차가 제1 픽셀에 좌측으로 인접한 제2 픽셀의 제2 시차보다 임계 값 이상으로 클 경우(즉, 제1 픽셀의 ΔdL이 임계 값보다 클 경우), 제1 픽셀로부터 우측으로 α-ΔdL 개만큼의 픽셀들이 홀로 설정될 수 있다. 홀로 설정되는 픽셀들의 개수는 제1 시차 및 제2 시차 간의 차에 비례할 수 있다. α는 상수일 수 있다.
제1 픽셀의 제1 시차가 제1 픽셀에 우측으로 인접한 제3 픽셀의 제3 시차보다 임계 값 이상으로 클 경우(즉, 제1 픽셀의 ΔdR이 임계 값보다 클 경우), 제1 픽셀로부터 좌측으로 α-ΔdR 개만큼의 픽셀들이 홀로 설정될 수 있다. 홀로 설정되는 픽셀들의 개수는 제1 시차 및 제3 시차 간의 차에 비례할 수 있다.
제1 영역(630) 및 제2 영역(640)은 픽셀들의 시차들 간의 차분에 기반하여 생성되는 홀 영역(즉, 전경(432)에 의해 가려지는 것으로 판단된 영역)을 나타낼 수 있다.
제2 그래프(650)는 차분(ΔdL 또는 ΔdR) 및 α에 비례하여 제1 영역(630) 및 제2 영역(640)이 설정되는(또는, 계산되는) 방법을 나타낼 수 있다.
α를 계산하는 방법의 일 예가 도 7을 참조하여 하기에서 상세히 설명된다.
하나 이상의 픽셀들에 의해 중복되어 홀로 설정된 영역은, 하나의 홀 영역으로 저장될 수 있다.
도 7은 일 예에 따른 홀로 설정되는 픽셀들의 개수를 결정하는 방법을 설명한다.
입력 베이스라인은, 하나 이상의 입력 뷰들 중 최좌측 입력 뷰(710)의 시점 및 최우측 입력 뷰(720)의 시점 간의 거리일 수 있다.
최좌측 출력 뷰(730)는 하나 이상의 입력 뷰들에 기반하여 생성된 출력 뷰들 중 가장 좌측의 시점을 갖는 출력 뷰일 수 있다. 최우측 출력 뷰(740)는 가장 우측의 시점을 갖는 출력 뷰일 수 있다.
하기의 수학식 1은 α를 계산하는 방법의 일 예일 수 있다.
Figure pat00001
예컨대, 입력 뷰들의 시점들 간의 최대 거리에 비해, 출력 뷰들의 시점들 간의 최대 거리가 2 배이면, α는 2가 될 수 있다.
도 8은 일 예에 따른 홀 맵 생성 방법의 흐름도이다.
도 1의 단계(124)는 하기의 홀 맵 생성 방법의 단계들(810 및 830)을 포함할 수 있다.
도 4 내지 6에서 설명한 바와 같이 홀 맵(440)은 참조 시점 시차 정보를 사용하여 생성될 수 있다.
단계(810)에서, 하나 이상의 출력 영상들이 생성될 때 발생할 수 있는 홀 영역을 예측하기 위해 참조 시점 뷰(420) 내의 각 픽셀의 시차의 차분(difference)(예컨대, 좌측 차분 ΔdL 및 우측 차분 ΔdR)이 계산 및 저장될 수 있다.
즉, 단계(810)에서, 픽셀들 간의 시차 차이가 계산 및 저장될 수 있다.
단계(820)에서, 계산된 시차의 차분을 이용하여 전경에 의해 가려진 영역이 홀 영역으로 판단될 수 있다.
단계(830)에서, 홀 영역으로 판단된 영역을 사용하여 홀 맵(440)이 구성될 수 있다.
도 9는 일 예에 따른 출력 시점의 영상을 생성하고, 생성된 출력 시점의 영상의 홀에 대한 홀 복원을 수행하는 원리를 설명한다.
제1 출력 영상(910) 및 제2 출력 영상(920)은 하나 이상의 참조 뷰들를 사용하여 생성될 수 있다.
참조 뷰들은 하나 이상의 입력 뷰들 중 특정한 출력 영상을 생성하기 위해 선택된 뷰들일 수 있다. 예컨대, 내삽에 의해 출력 영상이 생성될 경우, 출력 영상의 시점에 좌/우로 가장 근접한 2 개의 입력 뷰들이 참조 뷰들로서 선택될 수 있다. 외삽에 의해 출력 영상이 생성될 경우, 출력 영상의 시점에 가장 근접한 1 개의 입력 뷰(즉, 최외각 뷰)가 참조 뷰로서 선택될 수 있다.
예컨대, 제1 출력 영상(910)의 참조 뷰는 도 4의 입력 뷰(410)일 수 있다. 제2 출력 영상(920)의 참조 뷰는 도 4의 입력 뷰(415)일 수 있다.
제1 출력 영상(910)은, 참조 뷰(들)의 시차 정보를 사용하여 참조 뷰(들)의 영상을 제1 출력 영상(910)의 시점으로 와핑함으로써 생성될 수 있다. 제2 출력 영상(920)은 참조 뷰(들)의 시차 정보를 사용하여 참조 뷰(들)의 영상을 제2 출력 영상의 시점으로 와핑함으로써 생성될 수 있다.
하나 이상의 입력 뷰들(410 및 415)의 시점 및 출력 영상(910 또는 920)의 시점 간의 차이로 인해, 출력 시점의 영상 내에서 홀(912) 또는 홀(922)과 같은 홀이 발생할 수 있다.
또한, 출력 시점의 참조 레이어 영상들(930 및 940)이 각 출력 영상(910 또는 920)을 위해 생성될 수 있다.
출력 시점의 참조 레이어 영상들(930 및 940)은 참조 레이어(480)의 시차 정보(495)를 사용하여 참조 레이어(480)의 영상(490)을 와핑함으로써 생성될 수 있다.
참조 레이어(480)의 와핑은, 참조 레이어(480) 내의 홀 복원에 필요한 정보를 각 출력 시점으로 전파하는 방식으로서 간주될 수 있다.
제1 출력 영상(910) 내의 홀(912)에 대한 복원은, 제1 출력 영상(910)의 시점으로 와핑된 제1 참조 레이어 영상(930)을 사용하여 수행될 수 있다. 제1 참조 레이어 영상(930) 중 홀(912)에 대응하는 영역(932)이 홀(912)에 대한 홀 복원을 수행하기 위해 사용될 수 있다.
또한, 제2 출력 영상(920)의 시점으로 와핑된 제2 참조 레이어 영상(940) 중 홀(922)에 대응하는 영역(942)이 홀(922)에 대한 홀 복원을 수행하기 위해 사용될 수 있다.
홀 복원이 수행된 출력 영상(950 또는 960)은 출력 영상(910 또는 920) 및 상기 출력 영상(910 또는 920)의 시점으로 와핑된 출력 시점의 참조 레이어 영상(930 또는 940)이 합성됨으로써 생성될 수 있다.
와핑된 참조 레이어 영상(930 또는 940)은 출력 영상(950 또는 960)의 시점에서의 배경 정보로 간주될 수 있다. 즉, 참조 레이어(480)의 영상(490)은 와핑에 의해 출력 영상(950 또는 960)의 배경으로서 사용될 수 있다. 이러한 특징에 의해, 참조 레이어(480)는 참조 배경 레이어로 명명될 수 있다. 초기 참조 레이어(450)는 초기 참조 배경 레이어로 명명될 수 있다.
도 10은 일 예에 따른 출력 시점의 영상을 생성하고, 생성된 출력 시점의 영상의 홀에 대한 홀 복원을 수행하는 방법의 흐름도이다.
도 10의 단계들(1010 내지 1050)는 특정한 출력 시점에서의 최종 출력 영상을 생성하기 위해 수행될 수 있다.
단계(130)는 하기의 단계들(1010 및 1020)을 포함할 수 있다.
단계(1010)에서, 하나 이상의 입력 뷰들(410 및 415) 중 하나 이상의 참조 뷰들이 선택될 수 있다.
하나 이상의 참조 뷰들은 하나 이상의 입력 뷰들(410 및 415) 중 특정한 출력 영상을 생성하기 위해 선택된 뷰들이다. 출력 영상이 외삽에 의해 생성될 경우 하나의 입력 뷰가, 출력 영상이 내삽에 의해 생성될 경우 2 개의 입력 뷰들이 참조 뷰(들)로서 선택될 수 있다.
단계(1020)에서, 선택된 참조 뷰들의 시차 정보를 사용하여 참조 뷰들의 영상을 출력 뷰의 출력 시점으로 와핑함으로써 출력 시점의 영상(910 또는 920)이 생성될 수 있다.
도 1의 단계(140)는 하기의 단계들(1030, 1040 및 1050)을 포함할 수 있다.
단계(1030)에서, 단계(1020)에서 생성된 출력 영상(910 또는 920) 내의 홀(912 또는 922)이 검출될 수 있다.
단계(1040)에서, 참조 레이어(480)의 시차 정보(495)를 사용하여 참조 레이어(480)의 영상(490)을 출력 시점으로 와핑함으로써 출력 시점의 참조 레이어 영상(930 또는 940)이 생성될 수 있다.
단계(1050)에서, 출력 시점의 참조 레이어 영상(930 및 940) 중 출력 시점의 영상(910 또는 920)의 홀(912 또는 922)에 대응하는 영역(932 및 942)이 상기 홀(912 또는 922)로 복사될 수 있다. 즉, 영역(932 및 942)의 정보(즉, 컬러)가 홀(912 또는 922)로 복사됨으로써 상기 홀(912 또는 922)에 대한 홀 복원이 수행될 수 있다.
2 개의 생성된 출력 영상(910 또는 920)의 홀(912 또는 922)에 대한 홀 복원은 참조 레이어(480)의 정보를 사용하여 수행될 수 있다. 즉, 홀(912 또는 922)에 대한 홀 복원은 각 시점 별로 독립적으로 이루어지지 않을 수 있다. 홀을 갖지 않는 참조 레이어(480)의 영상(490) 및 시차(495)의 정보를 각 출력 영상(910 또는 920) 내의 홀(912 또는 922)로 전파함으로써 홀(912 또는 922)에 대한 홀 복원이 수행될 수 있다.
참조 시점에서의 뷰 정보에 기반하여 모든 출력 영상 내의 홀들에 대한 홀 복원이 수행됨으로써, 출력 영상들 간의 시각적인 불일치성이 해결될 수 있다. 또한, 생성된 출력 시점의 영상들의 개수에 대응하는 횟수만큼의 홀 복원 과정이 반복되는 대신, 초기 참조 레이어(450)에 기반하여 참조 레이어(480)를 생성하는 단계(128)와 같은, 단지 1회만 홀 복원이 수행되기 때문에 연산의 반복이 감소될 수 있다.
도 11은 일 실시예에 따른 영상 처리 장치의 구조도이다.
영상 처리 장치(1100)는 참조 시점 결정부(1110), 참조 레이어 생성부(1120), 출력 시점 영상 생성부(1170), 홀 복원부(1180) 및 출력부(1190)를 포함할 수 있다.
영상 처리 장치(1100)의 입력은 하나 이상의 입력 뷰들(410 및 415)일 수 있다. 영상 처리 장치(1100)는 하나 이상의 출력 뷰(또는, 하나 이상의 출력 시점의 영상들)를 출력 할 수 있다.
참조 시점 결정부(1110)는 단계(110)를 수행할 수 있다. 참조 시점 결정부(1110)는 참조 시점을 결정할 수 있다. 참조 시점 결정부(110)의 입력은 하나 이상의 입력 뷰들(410 및 415)을 포함할 수 있다.
참조 레이어 생성부(1120)는 단계들(122 내지 128)를 수행할 수 있다. 참조 레이어 생성부(1120)는 하나 이상의 입력 뷰들(410 및 415)을 사용하여 참조 시점에 대한 참조 레이어(480)를 생성할 수 있다.
출력 시점 영상 생성부(1170)는 단계(130)를 수행할 수 있다. 출력 시점 영상 생성부(1170)는 하나 이상의 입력 뷰들(410 및 415)을 사용하여 출력 시점의 영상(910 또는 920)을 생성할 수 있다.
홀 복원 부(1180)는 단계(140)를 수행할 수 있다. 홀 복원 부(1180)는 참조 레이어(480)를 사용하여 출력 시점의 영상(910 또는 920) 내의 홀(912 또는 922)에 대한 홀 복원을 수행할 수 있다.
참조 레이어 생성부(1120)는 참조 시점 영상/시차 정보 생성부(1130), 홀 맵 생성부(1140), 초기 참조 레이어 생성부(1150) 및 참조 레이어 생성부(1160)를 포함할 수 있다.
참조 시점 영상/시차 정보 생성부(1130)는 단계(122)를 수행할 수 있다. 참조 시점 영상/시차 정보 생성부(1130)는 하나 이상의 입력 뷰들(410 및 415)을 사용하여 참조 시점 영상(430) 및 참조 시점 시차 정보(435)를 생성할 수 있다.
홀 맵 생성부(1140)는 단계(124)를 수행할 수 있다. 홀 맵 생성부(1140)는 참조 시점에 대한 홀 맵(440)을 생성할 수 있다. 홀 맵 생성부(1140)의 입력은 참조 시점 시차 정보(435)일 수 있다. 홀 맵 생성부(1140)는 홀 맵(440)을 출력할 수 있다.
초기 참조 레이어 생성부(1150)는 단계(126)를 수행할 수 있다. 초기 참조 레이어 생성부(1150)는 홀 맵(440), 참조 시점 영상(430) 및 참조 시점 시차 정보(435)를 사용하여 초기 참조 레이어(450)를 생성할 수 있다.
참조 레이어 생성부(1160)는 단계(128)를 수행할 수 있다. 참조 레이어 생성부(1160)는 초기 참조 레이어(450) 내의 홀(466, 468, 476 또는 478)을 복원함으로써 참조 레이어(480)를 생성할 수 있다.
홀 맵 생성부(1140)는 차분 계산부(1142), 홀 영역 계산부(1144) 및 홀 맵 구성부(1146)를 포함할 수 있다.
차분 계산부(1142)는 단계(810)을 수행할 수 있다. 차분 계산부(1142)는 하나 이상의 출력 영상들(예컨대, 제1 출력 영상(910) 및 제2 출력 영상(920))이 생성될 때 발생할 수 있는 홀 영역을 예측하기 위해 참조 시점 뷰(420) 내의 각 픽셀의 시차의 차분(difference)(예컨대, 좌측 차분 ΔdL 및 우측 차분 ΔdR)을 계산 및 저장할 수 있다.
홀 영역 계산부(1144)는 단계(820)를 수행할 수 있다. 홀 영역 계산부(1144)는 계산된 시차의 차분을 이용하여 전경에 의해 가려진 영역을 홀 영역으로 판단할 수 있다.
홀 맵 구성부(1146)는 단계(830)를 수행할 수 있다. 홀 맵 구성부(1146)는 홀 영역으로 판단된 영역을 사용하여 홀 맵(440)을 구성할 수 있다.
출력 시점 영상 생성부(1170)는 참조 뷰 선택부(1172) 및 참조 뷰 와핑부(1174)를 포함할 수 있다.
참조 뷰 선택부(1172)는 단계(1010)를 수행할 수 있다. 참조 뷰 선택부(1172)는 하나 이상의 입력 뷰들(410 및 415) 중 하나 이상의 참조 뷰들을 선택할 수 있다.
참조 뷰 와핑부(1174)는 선택된 참조 뷰들의 시차 정보를 사용하여 참조 뷰들의 영상을 출력 뷰의 출력 시점으로 와핑함으로써 출력 시점의 영상(910 또는 920)을 생성할 수 있다. 참조 뷰 와핑부(1174)의 입력은 참조 뷰(또는, 하나 이상의 입력 뷰들의 전부 또는 일부)를 포함할 수 있다. 참조 뷰 와핑부(1174)는 출력 시점의 영상(910 또는 920)을 출력할 수 있다.
홀 복원부(1180)는 참조 레이어 와핑부(1182), 홀 영역 검출부(1184) 및 홀 영역 복사부(1186)를 포함할 수 있다.
참조 레이어 와핑부(1182)는 단계(1040)를 수행할 수 있다. 참조 레이어 와핑부(1182)는 참조 레이어(480)의 시차 정보(495)를 사용하여 참조 레이어(480)의 영상(495)을 출력 시점으로 와핑함으로써 출력 시점의 참조 레이어 영상(930 또는 940)을 생성할 수 있다. 참조 레이어 와핑부(1182)의 입력은 참조 레이어(480)를 포함할 수 있다. 참조 레이어 와핑부(1182)는 출력 시점의 참조 레이어 영상(930 또는 940)을 출력할 수 있다.
홀 영역 검출부(1184)는 단계(1030)를 수행할 수 있다. 홀 영역 검출부(1184)는 참조 뷰 와핑부(1174)에 의해 생성된 출력 영상(910 또는 920) 내의 홀(912 또는 922)을 검출할 수 있다. 홀 영역 검출부(1184)의 입력은 출력 시점의 영상(910 또는 920) 및 출력 시점의 참조 레이어 영상(930 및 940)일 수 있다.
홀 영역 복사부(1186)는 단계(1050)를 수행할 수 있다. 홀 영역 복사부(1186)는 출력 시점의 참조 레이어 영상(930 및 940) 중 출력 시점의 영상(910 또는 920)의 홀(912 또는 922)에 대응하는 영역(932 및 942)을 상기 홀(912 또는 922)로 복사할 수 있다. 홀 영역 복사부(1184)의 입력은 출력 시점의 영상(910 또는 920) 및 출력 시점의 참조 레이어 영상(930 및 940)일 수 있다. 홀 영역 복사부(1184)는 홀이 복원된 출력 영상(950 또는 960)을 출력 시점의 최종 영상으로서 출력할 수 있다.
전술된 구성요소들(1110 내지 1190)의 포함관계는 단지 예시적인 것이다. 예컨대, 참조 시점 영상/시차 정보 생성부(1130)는 참조 시점 결정부(1110) 내에 포함될 수 있다. 참조 레이어 와핑부(1182)는 출력 시점 영상 생성부(1170) 내에 포함될 수 있다.
상기의 구성요소(1110 내지 1190)의 기능은 단일한 제어부(도시되지 않음)에서 수행될 수 있다. 이때, 상기 제어부는 단일(single) 또는 복수(multi) 칩(chip), 프로세서(processor) 또는 코어(core)를 나타낼 수 있다. 상기 구성요소들(1110 내지 1190) 각각은 상기 제어부에서 수행되는 함수(function), 라이브러리(library), 서비스(service), 프로세스(process), 쓰레드(thread) 또는 모듈(module)을 나타낼 수 있다.
앞서 도 1 내지 도 10을 참조하여 설명된 기술적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
전술한 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술된 하나 이상의 소프트웨어 모듈들은 모듈 또는 유닛에 고유한 전용(dedicated) 프로세서(processor) 또는 하나 이상의 모듈들에게 공통된 프로세서와 같은 제어기(controller)에 의해 실행될(execute) 수 있다. 전술된 방법들은 범용(general purpose) 컴퓨터 또는 상술된 영상 처리 장치와 같은 특정한(particular) 기계(machine)에서 실행될 수 있다.
도 12는 일 실시예에 따른 영상 처리 장치를 포함하는 멀티-뷰 디스플레이 기기를 설명한다.
도 12에 따르면, 멀티-뷰 디스플레이 기기(1200)는 제어기(1201) 및 영상 처리 장치(1205)를 포함할 수 있다.
멀티-뷰 디스플레이 기기(1200)는 3D 영상을 디스플레이하기 위한 3D 디스플레이의 형태(form)를 가질 수 있고, 2 개 이상의 상이한 시점들로의 멀티-뷰 스킴(scheme)을 채용(employ)할 수 있다. 3D 디스플레이의 예들은, 테블릿(tablet) 컴퓨팅 기기, 이동가능한(portable) 게임용(gaming) 기기, 3D 텔레비전 디스플레이 또는 랩탑(laptop) 컴퓨터와 같은 이동가능한 3D 모니터를 포함할 수 있다.
제어기(1201)는 제어 신호들을 생성할 수 있다. 제어 신호들은 멀티-뷰 디스플레이 기기(1200)를 제어할 수 있다. 제어 신호들은 멀티-뷰 디스플레이 기기(1200)에 의해 디스플레이될 수 있다. 제어기(1201)은 하나 이상의 프로세서들을 포함할 수 있다.
영상 처리 장치(1205)는 멀티-뷰 디스플레이 장치(1200)를 위한 멀티-뷰 영상을 생성하기 위해 사용될 수 있으며, 예컨대, 도 11에서 도시된 영상 처리 장치(1100)에 대응할 수 있다. 따라서, 영상 처리 장치(1205)는, 예컨대 참조 시점 결정부(1110), 참조 레이어 생성부(1120), 출력 시점 영상 생성부(1170), 홀 복원 부(1180) 및 출력부(1190)를 포함할 수 있다. 도 12에서 도시되지 않았음에도 불구하고, 이러한 부들 각각은 도 11 등에서 전술된 유사하게 이름지어진 부들에 대응할 수 있다. 따라서, 더 이상의 상세한 설명은 생략한다.
영상 처리 장치(1205)는 멀티-뷰 디스플레이 기기(1200) 내에 내부적으로 설치(install)될 수 있고, 멀티-뷰 디스플레이 기기(1200)에 부착(attach)될 수 있으며, 또는 멀티-뷰 디스플레이 기기(1200)와는 분리되어(separately) 실장(embody)될 수 있다. 영상 처리 장치(1205)의 물리적인 구성에 무관하게, 영상 처리 장치(1205)는 전술된 모든 가능한 기능(capability)을 구비할 수 있다. 영상 처리 장치(1205)는 하나 이상의 내부의(internal) 프로세서들을 포함할 수 있고, 예컨대 제어기(1201)의 하나 이상의 프로세서들과 같은, 멀티-뷰 디스플레이 장치(1200) 내에 포함되는 하나 이상의 프로세서들에 의해 제어될 수 있다.
이상과 같이 비록 한정된 실시예와 도면에 의해 설명되었으나, 발명의 범위는 상기의 실시예에 한정되는 것은 아니며, 해당 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
1100: 영상 처리 장치
1110: 참조 시점 결정부
1120: 참조 레이어 생성부
1170: 출력 시점 영상 생성부
1180: 홀 복원부
1190: 출력부

Claims (26)

  1. 프로세서를 사용하여, 하나 이상의 입력 뷰들을 사용하여 참조 시점에 대한 참조 레이어를 생성하는 단계;
    상기 하나 이상의 입력 뷰들을 사용하여 출력 시점의 영상을 생성하는 단계; 및
    상기 참조 레이어를 사용하여 상기 출력 시점의 영상 내의 홀에 대한 홀 복원을 수행하는 단계
    를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    각 입력 뷰는 영상 및 시차 정보를 포함하고, 상기 참조 레이어는 상기 참조 레이어의 영상 및 상기 참조 레이어의 시차 정보를 포함하는, 영상 처리 방법.
  3. 제1항에 있어서,
    상기 하나 이상의 입력 뷰들은 좌 입력 뷰 및 우 입력 뷰를 포함하며,
    상기 참조 시점은 상기 좌 입력 뷰의 시점 및 상기 우 입력 뷰의 시점의 사이의 시점을 포함하는, 영상 처리 방법.
  4. 제1항에 있어서,
    상기 참조 시점은 상기 하나 이상의 입력 뷰들 중 중심 입력 뷰의 시점을 포함하는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 참조 레이어를 생성하는 단계는,
    상기 하나 이상의 입력 뷰들을 사용하여 참조 시점 영상 및 참조 시점 시차 정보를 생성하는 단계;
    각 출력 시점에서의 영상 내에서 발생하는 홀에 대한 정보를 모은 상기 참조 시점에 대한 홀 맵을 생성하는 단계;
    상기 홀 맵, 상기 참조 시점 영상 및 상기 참조 시점 시차 정보를 사용하여 초기 참조 레이어를 생성하는 단계; 및
    상기 초기 참조 레이어 내의 홀에 대한 홀 복원을 수행함으로써 상기 참조 레이어를 생성하는 단계
    를 포함하는, 영상 처리 방법.
  6. 제5항에 있어서,
    상기 홀 맵은 상기 참조 시점 영상 내의 픽셀들의 시차들 간의 차분에 기반하여 생성되는, 영상 처리 방법.
  7. 제5항에 있어서,
    상기 초기 참조 레이어의 영상은 상기 참조 시점 영상 및 상기 홀 맵 간의 논리곱 연산을 수행함에 의해 생성되는, 영상 처리 방법.
  8. 제5항에 있어서,
    상기 초기 참조 레이어 내의 홀에 대한 홀 복원은 상기 홀에 인접한 배경을 사용하여 수행되는, 영상 처리 방법.
  9. 제5항에 있어서,
    제1 픽셀의 제1 시차가 상기 제1 픽셀에 좌측으로 인접한 제2 픽셀의 제2 시차보다 제1 임계 값 이상으로 클 경우, 상기 제1 픽셀로부터 우측으로 상기 제1 시차 및 상기 제2 시차 간의 차에 비례하는 개수만큼의 픽셀들이 홀로 설정되고,
    제1 픽셀의 제1 시차가 상기 제1 픽셀에 우측으로 인접한 제3 픽셀의 제3 시차보다 제2 임계 값 이상으로 클 경우, 상기 제1 픽셀로부터 좌측으로 상기 제1 시차 및 상기 제3 시차 간의 차에 비례하는 개수만큼의 픽셀들이 홀로 설정되는, 영상 처리 방법.
  10. 제2항에 있어서,
    상기 출력 시점의 영상을 생성하는 단계는,
    상기 하나 이상의 입력 뷰들 중 하나 이상의 참조 뷰들을 선택하는 단계: 및
    상기 참조 뷰들의 시차 정보를 사용하여 상기 참조 뷰들의 영상을 상기 출력 시점으로 와핑함으로써 상기 출력 시점의 영상을 생성하는 단계
    를 포함하고,
    상기 홀에 대한 홀 복원을 수행하는 단계는,
    상기 참조 레이어의 상기 시차 정보를 사용하여 상기 참조 레이어 영상을 상기 출력 시점으로 와핑함으로써 상기 출력 시점의 참조 레이어 영상을 생성하는 단계; 및
    상기 출력 시점의 참조 레이어 영상 중 상기 홀에 대응하는 영역을 상기 홀로 복사하는 단계
    를 포함하는, 영상 처리 방법.
  11. 제1항에 있어서,
    상기 출력 시점의 영상은 복수 개인, 영상 처리 방법.
  12. 제1항 내지 제10항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
  13. 하나 이상의 입력 뷰들을 사용하여 참조 시점에 대한 참조 레이어를 생성하는 참조 레이어 생성부;
    상기 하나 이상의 입력 뷰들을 사용하여 출력 시점의 영상을 생성하는 출력 시점 영상 생성부; 및
    상기 참조 레이어를 사용하여 상기 출력 시점의 영상 내의 홀에 대한 홀 복원을 수행하는 홀 복원부
    를 포함하는, 영상 처리 장치.
  14. 제13항에 있어서,
    각 입력 뷰는 영상 및 시차 정보를 포함하고, 상기 참조 레이어는 상기 참조 레이어의 영상 및 상기 참조 레이어의 시차 정보를 포함하는, 영상 처리 장치.
  15. 제13항에 있어서,
    상기 하나 이상의 입력 뷰들은 좌 입력 뷰 및 우 입력 뷰를 포함하며,
    상기 참조 시점은 상기 좌 입력 뷰의 시점 및 상기 우 입력 뷰의 시점의 사이의 시점을 포함하는, 영상 처리 장치.
  16. 제13항에 있어서,
    상기 참조 시점은 상기 하나 이상의 입력 뷰들 중 중심 입력 뷰의 시점을 포함하는, 영상 처리 장치.
  17. 제13항에 있어서,
    상기 참조 레이어 생성부는,
    상기 하나 이상의 입력 뷰들을 사용하여 참조 시점 영상 및 참조 시점 시차 정보를 생성하는 참조 시점 영상/시차 정보 생성부;
    각 출력 시점에서의 영상 내에서 발생하는 홀에 대한 정보를 모은 상기 참조 시점에 대한 홀 맵을 생성하는 홀 맵 생성부;
    상기 홀 맵, 상기 참조 시점 영상 및 상기 참조 시점 시차 정보를 사용하여 초기 참조 레이어를 생성하는 초기 참조 레이어 생성부; 및
    상기 초기 참조 레이어 내의 홀에 대한 홀 복원을 수행함으로써 상기 참조 레이어를 생성하는 참조 레이어 생성부
    를 포함하는, 영상 처리 장치.
  18. 제17항에 있어서,
    상기 홀 맵은 상기 참조 시점 영상 내의 픽셀들의 시차들 간의 차분에 기반하여 생성되는, 영상 처리 장치.
  19. 제17항에 있어서,
    상기 초기 참조 레이어의 영상은 상기 참조 시점 영상 및 상기 홀 맵 간의 논리곱 연산을 수행함에 의해 생성되는, 영상 처리 장치.
  20. 제17항에 있어서,
    상기 초기 참조 레이어 내의 홀에 대한 복원은 상기 홀에 인접한 배경을 사용하여 수행되는, 영상 처리 장치.
  21. 제17항에 있어서,
    제1 픽셀의 제1 시차가 상기 제1 픽셀에 좌측으로 인접한 제2 픽셀의 제2 시차보다 제1 임계 값 이상으로 클 경우, 상기 제1 픽셀로부터 우측으로 상기 제1 시차 및 상기 제2 시차 간의 차에 비례하는 개수만큼의 픽셀들이 홀로 설정되고,
    제1 픽셀의 제1 시차가 상기 제1 픽셀에 우측으로 인접한 제3 픽셀의 제3 시차보다 제2 임계 값 이상으로 클 경우, 상기 제1 픽셀로부터 좌측으로 상기 제1 시차 및 상기 제3 시차 간의 차에 비례하는 개수만큼의 픽셀들이 홀로 설정되는 영상 처리 장치.
  22. 제14항에 있어서,
    상기 출력 시점 영상 생성부는,
    상기 하나 이상의 입력 뷰들 중 하나 이상의 참조 뷰들을 선택하는 참조 뷰 선택부: 및
    상기 참조 뷰들의 시차 정보를 사용하여 상기 참조 뷰 영상을 상기 출력 시점으로 와핑함으로써 상기 출력 시점의 영상을 생성하는 참조 뷰 와핑부
    를 포함하고,
    상기 홀 복원부는,
    상기 참조 레이어의 상기 시차 정보를 사용하여 상기 참조 레이어 영상을 상기 출력 시점으로 와핑함으로써 상기 출력 시점의 참조 레이어 영상을 생성하는 참조 레이어 와핑부; 및
    상기 출력 시점의 참조 레이어 영상 중 상기 홀에 대응하는 영역을 상기 홀로 복사하는 홀 영역 복사부
    를 포함하는, 영상 처리 장치.
  23. 제13항에 있어서,
    상기 출력 시점의 영상은 복수 개인, 영상 처리 장치.
  24. 적어도 하나의 입력 뷰 영상 및 입력 시차에 기반하여 참조 시점 영상 및 참조 시점 시차를 계산하는 단계;
    상기 참조 시점 시차에 기반하여 상기 참조 시점에 대응하는 홀 맵을 구성하는 단계;
    상기 홀 맵 및 상기 참조 시점 영상을 사용하여 상기 참조 시점에서의 초기 참조 레이어를 생성하는 단계;
    프로세서를 사용하여, 상기 초기 참조 레이어 내의 홀에 대한 홀 복원을 수행함으로써 참조 레이어를 생성하는 단계; 및
    상기 참조 레이어로부터 각 출력 시점 영상의 홀 위치로 복원된 홀 정보를 전파하는 단계
    를 포함하는, 영상 처리 방법.
  25. 멀티-뷰 영상 데이터를 위한 홀 맵을 구성하는 방법에 있어서,
    단일한 참조 시점으로, 복수 개의 상이한 시점들 각각에서 획득된 홀 정보를 종합(aggregate)하는 단계; 및
    프로세서를 사용하여, 상기 단일한 참조 시점에서의 종합된 홀 정보를 포함하는 상기 홀 맵을 생성하는 단계
    를 포함하는, 멀티-뷰 영상 데이터를 위한 홀 맵을 구성하는 방법.
  26. 영상 처리 장치를 포함하는 멀티-뷰 디스플레이 기기에 있어서,
    적어도 하나의 입력 뷰 영상 및 입력 시차에 기반하여 참조 시점 영상 및 참조 시점 시차를 계산하는 참조 시점 영상/시차 정보 생성부;
    상기 참조 시점 시차에 기반하여 상기 참조 시점에서의 홀 맵을 구성하는 홀 맵 생성부;
    상기 홀 맵, 상기 참조 시점 영상 및 상기 참조 시점 시차를 사용하여 상기 참조 시점에서의 초기 참조 레이어를 생성하는 초기 참조 레이어 생성부;
    상기 생성된 초기 참조 레이어 내의 홀에 대한 홀 복원을 수행함으로써 참조 레이어를 생성하는 참조 레이어 생성부; 및
    상기 참조 레이어로부타 각 출력 시점 영상의 홀 위치로 복원된 홀 정보를 전파하는 홀 복원부
    를 포함하는, 멀티-뷰 디스플레이 기기.
KR1020120061606A 2011-06-10 2012-06-08 영상 처리를 위한 방법 및 장치 KR20120137295A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161495436P 2011-06-10 2011-06-10
US61/495,436 2011-06-10
KR1020110118334 2011-11-14
KR1020110118334A KR20120137205A (ko) 2011-06-10 2011-11-14 영상 처리를 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20120137295A true KR20120137295A (ko) 2012-12-20

Family

ID=47904432

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020110118334A KR20120137205A (ko) 2011-06-10 2011-11-14 영상 처리를 위한 방법 및 장치
KR1020120061606A KR20120137295A (ko) 2011-06-10 2012-06-08 영상 처리를 위한 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020110118334A KR20120137205A (ko) 2011-06-10 2011-11-14 영상 처리를 위한 방법 및 장치

Country Status (1)

Country Link
KR (2) KR20120137205A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190126517A (ko) * 2018-05-02 2019-11-12 한국항공대학교산학협력단 프레임율 변환 장치 및 방법
KR20200102507A (ko) * 2018-01-05 2020-08-31 코닌클리케 필립스 엔.브이. 이미지 데이터 비트스트림을 생성하기 위한 장치 및 방법
KR20210024218A (ko) * 2016-03-25 2021-03-04 아웃워드, 인코포레이티드 임의의 뷰 생성
US11024076B2 (en) 2016-03-25 2021-06-01 Outward, Inc. Arbitrary view generation
US11222461B2 (en) 2016-03-25 2022-01-11 Outward, Inc. Arbitrary view generation
US11232627B2 (en) 2016-03-25 2022-01-25 Outward, Inc. Arbitrary view generation
US11676332B2 (en) 2016-03-25 2023-06-13 Outward, Inc. Arbitrary view generation
US11875451B2 (en) 2016-03-25 2024-01-16 Outward, Inc. Arbitrary view generation
US11972522B2 (en) 2016-03-25 2024-04-30 Outward, Inc. Arbitrary view generation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927969A (ja) * 1995-05-08 1997-01-28 Matsushita Electric Ind Co Ltd 複数画像の中間像生成方法及び視差推定方法および装置
JP2000227960A (ja) * 1998-09-21 2000-08-15 Xerox Corp 表面の画像のカラ―正規化方法及びそれに適したシステム
JP2012009864A (ja) * 2010-06-24 2012-01-12 Theleds Co Ltd 半導体発光素子

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927969A (ja) * 1995-05-08 1997-01-28 Matsushita Electric Ind Co Ltd 複数画像の中間像生成方法及び視差推定方法および装置
JP2000227960A (ja) * 1998-09-21 2000-08-15 Xerox Corp 表面の画像のカラ―正規化方法及びそれに適したシステム
JP2012009864A (ja) * 2010-06-24 2012-01-12 Theleds Co Ltd 半導体発光素子

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IEEE Transactions on Broadcasting 57.2(05 April 2011): pp.477-490 *
Liang Wang et al., Stereoscopic Inpainting: Joint Color and Depth Completion from Stereo Images, Center for Visualization and Virtual Environments, University of Kentucky, USA, 8P, June 2008 *
논문:Liang Wang et al., *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210024218A (ko) * 2016-03-25 2021-03-04 아웃워드, 인코포레이티드 임의의 뷰 생성
US11024076B2 (en) 2016-03-25 2021-06-01 Outward, Inc. Arbitrary view generation
KR20210137235A (ko) * 2016-03-25 2021-11-17 아웃워드, 인코포레이티드 임의의 뷰 생성
US11222461B2 (en) 2016-03-25 2022-01-11 Outward, Inc. Arbitrary view generation
US11232627B2 (en) 2016-03-25 2022-01-25 Outward, Inc. Arbitrary view generation
US11544829B2 (en) 2016-03-25 2023-01-03 Outward, Inc. Arbitrary view generation
US11676332B2 (en) 2016-03-25 2023-06-13 Outward, Inc. Arbitrary view generation
US11875451B2 (en) 2016-03-25 2024-01-16 Outward, Inc. Arbitrary view generation
US11972522B2 (en) 2016-03-25 2024-04-30 Outward, Inc. Arbitrary view generation
KR20200102507A (ko) * 2018-01-05 2020-08-31 코닌클리케 필립스 엔.브이. 이미지 데이터 비트스트림을 생성하기 위한 장치 및 방법
KR20190126517A (ko) * 2018-05-02 2019-11-12 한국항공대학교산학협력단 프레임율 변환 장치 및 방법

Also Published As

Publication number Publication date
KR20120137205A (ko) 2012-12-20

Similar Documents

Publication Publication Date Title
KR20120137295A (ko) 영상 처리를 위한 방법 및 장치
US20130162634A1 (en) Image processing method and apparatus using multi-layer representation
JP6184062B2 (ja) 映像処理のための方法及び装置
US9582928B2 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
KR20100040593A (ko) 영상처리 장치 및 방법
KR102156402B1 (ko) 영상 처리 방법 및 장치
JP5784729B2 (ja) マルチビュー生成のためのレンダリング装置およびその方法
KR20100062360A (ko) 깊이 추정 장치 및 방법
KR20120041464A (ko) 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
CN109644280B (zh) 生成场景的分层深度数据的方法
WO2012094076A9 (en) Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image
EP2781099B1 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
KR101918030B1 (ko) 하이브리드 멀티-뷰 랜더링 방법 및 장치
KR20160009487A (ko) 3d 영상 디스플레이 장치 및 방법
US20120176367A1 (en) Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image
EP2981080B1 (en) Apparatus and method for rendering image
US20170116777A1 (en) Image processing method and apparatus
US8988424B2 (en) Image processing apparatus, image processing method, and program for generating multi-viewpoint images
CN106028022A (zh) 一种立体图像制作方法和设备
EP2541494A1 (en) Method and apparatus for restoring resolution of multi-view image
KR20120059955A (ko) 중간 시점 영상 생성 장치 및 방법
KR20120073804A (ko) 영상 처리 장치 및 방법
Tian et al. A trellis-based approach for robust view synthesis
KR101526868B1 (ko) 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법
KR20180105428A (ko) 가상 시점 영상 생성 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application