KR101953130B1

KR101953130B1 - 홀 렌더링을 사용하는 멀티-뷰 영상 처리 방법 및 장치

Info

Publication number: KR101953130B1
Application number: KR1020110102374A
Authority: KR
Inventors: 조양호; 이호영; 황규영; 박두식
Original assignee: 삼성전자주식회사
Priority date: 2011-07-12
Filing date: 2011-10-07
Publication date: 2019-03-04
Also published as: KR20130008435A

Abstract

멀티-뷰 영상을 처리하기 위한 방법 및 장치가 제공된다. 출력 뷰를 생성할 때 발생하는 홀 영역 내의 홀 화소들에게 우선 순위가 부여된다. 홀 화소의 우선 순위는 구조 우선 순위, 확신 우선 순위 및 시차 우선 순위를 조합함으로써 생성될 수 있다. 가장 높은 우선 순위를 갖는 홀 화소를 포함하는 타겟 패치에게 홀 렌더링이 적용된다. 타겟 패치의 배경과 가장 유사한 소스 패치가 탐색되며, 탐색된 소스 패치의 화소가 타겟 패치의 홀 화소로 복사됨으로써 상기의 홀 화소가 복원된다.

Description

홀 렌더링을 사용하는 멀티-뷰 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR MULTI-VIEW IMAGE PROCESSING USING HOLE RENDERING}

아래의 실시예들은 멀티-뷰 영상을 처리하기 위한 방법 및 장치에 관한 것이다.

우선 순위에 기반한 홀 렌더링을 사용하여 멀티-뷰 영상을 생성하는 방법 및 장치가 개시된다.

멀티-뷰(multi-view) 영상(image) 장치는 상이한 시점에서의 다수의 동영상들을 출력한다. 모든 멀티-뷰 동영상들에 대한 정보가 실시간으로 영상 장치에 전송 및 저장될 경우, 고 사양의 저장 장치(storage), 고 사양의 전송 선로 및 높은 대역폭(bandwidth)이 요구된다. 즉, 멀티-뷰 구조의 영상들을 생성하고, 생성된 영상을 공중파 망 또는 유선 네트워크 망을 통해 각 가정의 텔레비전(television)으로 전송하는 것은 높은 비용을 요구한다.

따라서, 소수(예컨대 1 내지 3개)의 입력 뷰들만이 생성되고, 입력 뷰들을 전달받은 영상 처리 장치(예컨대, 텔레비전)가 상기의 입력 뷰들을 사용하여 멀티-뷰 영상들을 생성하는 방식이 사용될 필요가 있다.

제한된 개수의 입력 뷰들를 사용하여 멀티-뷰 영상들을 생성할 경우, 입력 뷰에서는 전경(foreground) 객체(object)에 의해 가려진 배경(background)의 패색(occlusion) 영역(region)이, 멀티-뷰 영상 내에서는 홀(hole) 영역으로 나타날 수 있다.

본 발명의 일 실시예는 홀 영역 내의 화소들에게 우선 순위를 부여하고, 우선 순위의 내림차순으로 홀 영역 내의 화소들을 복원하는 장치 및 방법을 제공할 수 있다.

본 발명의 일 실시예는 타겟 패치 내의 배경에 대한 정보를 사용하여 유사한 소스 패치를 탐색하고, 탐색된 소스 패치를 사용하여 타겟 패치를 복원하는 장치 및 방법을 제공할 수 있다.

본 발명의 일 측에 따르면, 적어도 하나의 입력 뷰 및 상기 입력 뷰에 대응하는 시차 정보를 사용하여 출력 뷰 및 상기 출력 뷰에 대응하는 시차 정보를 생성하는 단계, 상기 출력 뷰에 대응하는 시차 정보를 사용하여 상기 출력 뷰 내의 홀을 나타내는 각 홀 화소에 대한 우선 순위를 생성하는 단계 및 상기 우선 순위의 내림차순으로 상기 각 홀 화소에 홀 렌더링을 적용하는 단계를 포함하는, 영상 처리 방법이 제공된다.

본 발명의 다른 일 측에 따르면, 적어도 하나의 입력 뷰 및 상기 입력 뷰에 대응하는 시차 정보를 사용하여 출력 뷰 및 상기 출력 뷰에 대응하는 시차 정보를 생성하는 출력 뷰 생성부, 상기 출력 뷰에 대응하는 시차 정보를 사용하여 상기 출력 뷰 내의 홀을 나타내는 각 홀 화소에 대한 우선 순위를 생성하는 우선 순위 생성부 및 상기 우선 순위의 내림차순으로 상기 각 홀 화소에 홀 렌더링을 적용하는 홀 렌더링부를 포함하는, 영상 처리 장치가 제공된다.

홀 영역 내의 화소들에게 우선 순위를 부여하고, 우선 순위의 내림차순으로 홀 영역 내의 화소들을 복원하는 장치 및 방법이 제공된다.

타겟 패치 내의 배경에 대한 정보를 사용하여 유사한 소스 패치를 탐색하고, 탐색된 소스 패치를 사용하여 타겟 패치를 복원하는 장치 및 방법이 제공된다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구조도이다.
도 2는 본 발명의 일 예에 따른 우선 순위 생성부의 구조도이다.
도 3은 본 발명의 일 예에 따른 배경 인접 홀 경계를 설명한다.
도 4는 본 발명의 일 예에 따른 구조 우선 순위의 계산을 설명한다.
도 5는 본 발명의 일 예에 따른 좌측 방향으로 생성된 출력 뷰의 구조체를 판별한 결과를 설명한다.
도 6은 본 발명의 일 예에 따른 우측 방향으로 생성된 출력 뷰의 구조체를 판별한 결과를 설명한다.
도 7은 본 발명의 일 예에 따른 확신 우선 순위의 결정 방법을 설명한다.
도 8은 본 발명의 일 예에 따른 시차 우선 순위의 결정 방법을 설명한다.
도 9는 본 발명의 일 예에 따른 홀 렌더링부의 구조도이다.
도 10은 본 발명의 일 예에 따른 최적 소스 패치 탐색 방법을 설명한다.
도 11은 본 발명의 일 실시예에 따른 영상 처리 방법의 흐름도이다.

이하에서, 본 발명의 일 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

하기의 실시예들에서, 모든 입력 이미지들 및 상기 이미지들에 대응하는 입력 깊이 맵은 정류(rectifiy)된 것일 수 있다.

여기서, "정류"는 입력 이미지들 간의 모든 대응(correspondence)이 동일한 스켄 라인(scan line) 상에서 검출(find)된다는 것을 의미할 수 있다. 2 개의 이미지들 내에 있는 2 개의 화소(pixel)들이 서로 대응할 경우, 상기의 2 개의 화소들은 동일한 y 좌표 값을 가질 수 있다.

"깊이(depth)" 및 "시차(disparity)"는, 서로 간에 상수항(constant term)을 통해 역 상관될 수 있다. 따라서, 하기의 실시예들에서, 용어 "깊이" 및 "시차"는 상호교환되어(interchangeably) 사용될 수 있다.

하기의 실시예들은, 출력 뷰가 수평 패럴랙스(horizontal parallex) 만을 갖는 것을 기준으로 설명될 수 있다. 즉, 하기의 실시예들은 수평 뷰 내삽(interpolation) 및 외삽(extrapolation)을 기준으로 설명될 수 있다. 그러나, 하기의 실시예들은 출력 뷰가 수직 패럴랙스를 갖는 경우에도 적용될 수 있다. 즉, 하기의 실시예들은 수직 뷰 내삽 및 외삽에도 적용될 수 있다. 또한, 하기의 실시예들은 단지 단일 뷰(즉, 단일한 이미지 및 깊이 맵)이 입력으로 주어진 경우에도 유효(valid)할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구조도이다.

영상 처리 장치(100)는 출력 뷰 생성부(110), 우선 순위(priority) 생성부(120) 및 홀 렌더링부(130)를 포함한다.

출력 뷰 생성부(110)는 적어도 하나의 입력 뷰 및 상기의 입력 뷰에 대응하는 시차(disparity) 정보를 사용하여 출력 뷰 및 상기의 출력 뷰에 대응하는 시차 정보를 생성한다. 입력 뷰는 x 좌표 값 및 y 좌표 값을 갖는 화소(pixel)들을 포함할 수 있다. 입력 뷰의 시차 정보는 입력 뷰 내의 각 화소의 시차 값을 나타낼 수 있다. 입력 뷰들은 동일한 에피폴라(epipolar) 선(line) 상에서 촬영된 영상들일 수 있다.

출력 뷰는 임의의 시점에서의 뷰일 수 있다. 출력 뷰 생성부(110)는 시차 정보를 사용하여 입력 뷰를 투영함으로써 출력 뷰를 생성할 수 있다. 출력 뷰 생성부(110)는 N 개의 입력 뷰로부터 M 개의 출력 뷰들을 생성할 수 있다. 여기서, N < M이다.

출력 뷰는 홀을 포함할 수 있다. 홀에 대응하는 화소를 홀 화소로 명명한다.

우선 순위 생성부(120)는 출력 뷰에 대응하는 시차 정보를 사용하여 출력 뷰 내의 홀을 나타내는 각 홀 화소에 대한 우선 순위를 생성한다. 우선 순위 생성부(120)는 정량화된 우선 순위를 출력 뷰 내의 홀을 나타내는 각 홀 화소에게 할당할 수 있다.

홀 렌더링부(130)는 우선 순위의 내림차순으로 각 홀 화소에 홀 렌더링을 적용할 수 있다. 홀 렌더링부(130)는 우선 순위가 가장 높은 홀 화소부터 순차적으로 각 홀 화소에게 홀 렌더링을 적용할 수 있다. 홀 렌더링부(130)는 홀 렌더링이 적용된 렌더링된 출력 뷰를 생성한다.

패치(patch)는 일정한 범위를 갖는 영역을 나타내며, 사각형 등의 형태를 가질 수 있다. 홀 화소의 패치는 상기 홀 화소를 포함하는 패치를 의미한다. 즉, 홀 화소의 패치는 상기 홀 화소를 중심으로 갖는 블록을 의미할 수 있다.

홀 화소에 대한 홀 렌더링은, 패치 단위로 적용될 수 있다. 즉, 홀 렌더링부(130)는 홀 화소에 홀 렌더링을 적용할 때, 상기 홀 화소를 포함하는 패치 전체에 홀 렌더링을 적용할 수 있다. 패치는 하나 이상의 홀 화소들을 포함할 수 있다. 따라서, 홀 렌더링의 대상이 되는, 홀 화소를 포함하는 패치를 타겟 패치(target patch)로 명명한다. 타겟 패치를 렌더링하기 위해 사용되는 패치를 소스 패치(source patch)로 명명한다. 즉, 홀 렌더링부(130)는 소스 패치를 홀 화소를 포함하는 타겟 패치로 복사함으로써 상기 홀 화소에 홀 렌더링을 적용할 수 있다.

영상 처리 장치(100)는 깊이-시차 변환부(140)를 더 포함할 수 있다.

깊이-시차 변환부(140)는 적어도 하나의 입력 뷰에 대응하는 깊이 정보를 시차 정보로 변환한다. 따라서, 출력 뷰 생성부(110)는 적어도 하나의 입력 뷰 및 상기의 입력 뷰에 대응하는 깊이 정보를 사용하여 출력 뷰 및 상기의 출력 뷰에 대응하는 깊이 정보(또는, 시차 정보)를 생성할 수 있다.

하기에서 설명될 본 발명의 실시예들 및 예들에서 시차 정보(또는, 시차) 및 깊이 정보(또는, 깊이)는 상호교환되어 사용될 수 있다.

도 2는 본 발명의 일 예에 따른 우선 순위 생성부의 구조도이다.

우선 순위 생성부(120)는 배경 인접 홀 경계(boundary) 결정부(210), 구조 우선 순위 연산부(220), 확신(confidence) 우선 순위 연산부(230), 시차 할당부(240) 및 시차 우선 순위 연산부(250)를 포함할 수 있다.

배경 인접 홀 경계 결정부(210)는 출력 뷰 생성부(110)가 출력 뷰를 생성하기 위해 적용한 투영의 방향에 기반하여 출력 뷰 내의 전경에 인접한 홀 화소보다 배경에 인접한 홀 화소에게 높은 우선 순위를 부여한다. 배경 인접 홀 경계 결정부(210)는 출력 뷰 생성부(110)가 출력 뷰를 생성하기 위해 적용한 투영의 방향에 기반하여 출력 뷰 내의 전경에 인접한 홀 화소보다 배경에 인접한 홀 화소가 우선적으로 처리되도록 각 홀 화소에게 우선 순위를 부여할 수 있다.

구조 우선 순위 연산부(220)는 출력 뷰 내의 시각적으로 강한 구조체(structure) 내에 있는 홀 화소에게 높은 우선 순위를 부여할 수 있다. 즉, 구조 우선 순위 연산부(220)는 시각적으로 강한 구조체 내의 홀 화소가 우선적으로 처리되도록 각 홀 화소에게 우선 순위를 부여할 수 있다. 여기서, 시각적으로 강한 구조체는, 코너(corner), 텍스쳐(texture) 및 에지(edge) 중 하나 이상을 포함할 수 있다.

구조 우선 순위 연산부(220)는 홀 화소와 인접한 영역 내에 상기의 홀 화소를 포함하는 패치(patch)와 동일한 패턴(pattern)을 갖는 패치들의 개수가 적은 홀 화소에게 높은 우선 순위를 부여할 수 있다. 구조 우선 순위 연산부(220)는 제1 동일 패턴 패치들의 개수가 제2 동일 패턴 패치들의 개수보다 더 적을 경우, 제1 홀 화소에게 제2 홀 화소보다 더 높은 우선 순위를 부여할 수 있다. 여기서, 제1 동일 패턴 패치는 제1 홀 화소를 포함하는 제1 패치와 동일한 패턴을 갖는 제1 홀 화소와 인접한 영역 내의 패치들을 의미하며, 제2 동일 패턴 패치는 제2 홀 화소를 포함하는 제2 패치와 동일한 패턴을 갖는 제2 홀 화소와 인접한 영역 내의 패치를 의미한다. 인접한 영역은 출력 뷰 전체일 수 있다.

홀 화소의 패치는 상기 홀 화소를 포함하는 사각형의 영역을 의미할 수 있다. 홀 화소의 패치는 상기 홀 화소가 중심에 놓여진 사각형의 영역일 수 있다.

확신 우선 순위 연산부(230)는 홀 화소를 포함하는 패치 내에 홀이 아닌 화소들의 개수가 많을수록 상기 홀 화소에게 높은 우선 순위를 부여할 수 있다.

출력 뷰 생성부(110)에 의해 생성된 시차 정보는 홀 화소에 대응하는 시차 값을 갖지 않을 수 있다. 시차 할당부(240)는 홀 화소의 시차를 계산할 수 있다. 시차 할당부(240)는 홀 화소에 인접한 화소들의 시차들에 기반하여 상기 홀 화소의 시차를 계산할 수 있다.

시차 우선 순위 연산부(250)는 시차 할당부(240)에 의해 할당된 홀 화소의 시차에 기반하여 홀 화소에게 우선 순위를 부여할 수 있다. 시차 할당부(240)는 큰 시차를 갖는 홀 화소보다 작은 시차를 갖는 홀 화소에게 더 높은 우선 순위를 부여할 수 있다.

즉, 홀 화소의 우선 순위는 1) 뷰 투영 방향에 따른 배경 인접 홀 경계에 인접한지 여부를 나타내는 배경 인접 홀 경계 우선 순위, 2) 홀 화소가 강한 구조체 내에 있는지 여부를 나타내는 구조체 우선 순위, 3) 홀 화소를 포함하는 타겟(target) 패치 내의 비-홀 화소들의 개수에 따라 결정되는 확신 우선 순위 및 4) 홀 화소의 시차에 따라 결정되는 시차 우선 순위 중 하나 이상에 의해 결정될 수 있다.

도 2에서 도시된 것처럼, 홀 화소의 우선 순위를 결정하는 구성요소들(210 내지 250) 간의 우선 순위가 적용될 수 있다.

예컨대, 배경 인접 홀 경계 결정부(210)에 의해 홀 화소의 1차 우선 순위가 결정될 수 있고, 동일한 1차 우선 순위를 갖는 홀 화소들 간의 2차 우선 순위가 구조 우선 순위 연산부(220), 확신 우선 순위 연산부(230), 시차 할당부(240) 및 시차 우선 순위 연산부(250)가 결정될 수 있다. 도 2에서, 구조 우선 순위 연산부(220), 확신 우선 순위 연산부(230) 및 시차 우선 순위 연산부(250)에 의해 결정된 값들이 결합하여 홀 화소의 2차 우선 순위가 계산될 수 있다.

또는, 배경 인접 홀 경계 결정부(210)는 임의의 시점으로 와핑됨으로써 생성된 초기 출력 뷰 내의 홀 경계들 중, 투영의 방향에 따른 배경 인접 홀 경계를 먼저 결정할 수 있다. 배경 인접 홀 경계 결정부(210)는 배경 인접 홀 경계 내의 홀 화소들을 최우선적으로 렌더링될 홀 화소들로서 결정할 수 있다. 다음으로, 배경 인접 홀 경계 내의 홀 화소들 간의 정량화된 우선 순위가 구조 우선 순위 연산부(220), 확신 우선 순위 연산부(230) 및 시차 우선 순위 연산부(250)가 생성한 우선 순위들을 조합함으로써 계산될 수 있다.

도 3은 본 발명의 일 예에 따른 배경 인접 홀 경계를 설명한다.

도 3은 입력 뷰(310) 및 입력 뷰(310)의 시차 정보(320)를 사용하여 생성된 멀티-뷰 출력 영상들(330 및 340)를 도시한다.

입력 뷰(310)는 전경(312) 및 배경(314)를 포함한다. 시차 정보(320) 또한 전경(322) 및 배경(324)를 포함한다. 입력 뷰(310) 및 시차 정보(320)에 기반하여 하나 이상의 출력 뷰들(330 및 340)이 생성된다. 제1 출력 뷰(330)의 시점은 입력 뷰(310)의 시점보다 좌측에 있다. 제2 출력 뷰(340)의 시점은 입력 뷰(310)의 시점보다 우측에 있다. 출력 뷰 생성부(110)는 입력 뷰(310)를 사용하는 외삽(extrapolation)을 통해 제1 출력 뷰(330) 및 제2 출력 뷰(340)를 생성할 수 있다. 즉, 제1 출력 뷰(330) 및 제2 출력 뷰(340)는 외삽 뷰(extrapolated view)이다.

관측 위치(즉, 시점)에 따라, 상대적으로 시차가 큰 전경(312)(즉, 전경(312)을 나타내는 객체)는 상대적으로 시차가 작은 배경(314)에 비해 많이 움직인다. 이러한 움직임의 차이에 의해, 입력 뷰(310) 내에서는 전경(312)에 의해 가려졌었던 배경의 영역은, 출력 뷰 영상(330 또는 340) 내에서 홀(332 또는 342)로서 나타난다. 출력 뷰(330 또는 340) 내에서 발생하는 홀(332 또는 342)은, 시차 정보(320) 내의 시차 경계(즉, 시차 값이 변하는 지점)에서의 시차 값의 차이로 인해 입력 뷰가 투영되는 위치에 차이가 생김으로써 발생한다.

홀 영역 및 비-홀 영역 간의 경계들(이하, 홀 경계로 명명한다.) 중 뷰 투영의 방향에 따른 배경 인접 홀 경계들(334 및 344)이 표시되었다.

홀(332 또는 342)은 입력 뷰(310) 내에서는 전경(312)에 의해 가려졌었던 배경 영역이다. 따라서, 홀(332 또는 342)의 영역은 상기 홀(332 또는 342)의 영역에 인접한 배경(314 또는 324)의 영역만을 사용하여 복원될 필요가 있다. 따라서, 홀 경계에 해당하는 화소들 중 배경(314 또는 324)에 인접한 화소부터 순차적으로 홀 복원이 수행되어야 홀(332 또는 342)의 영역에 전경(312 또는 322)의 정보가 확산되는 오류가 방지될 수 있다.

제1 출력 뷰(330)처럼, 입력 뷰(310)의 좌측 방향으로 임의의 시점에서의 뷰가 생성되면, 홀 경계들 중 좌측 편의 홀 경계가 배경이 인접한다. 제2 출력 뷰(340)처럼, 입력 뷰(310)의 우측 방향으로 임의의 시점에서의 뷰가 생성되면, 홀 경계들 중 우측 편의 홀 경계가 배경에 인접한다.

따라서, 출력 뷰 생성부(110)가 입력 뷰의 시점에서 수평 방향으로 이동한 임의의 시점에서의 출력 뷰를 생성한 경우, 배경 인접 홀 경계 결정부(210)는 출력 뷰의 시점이 입력 뷰의 시점보다 좌측이면 특정한 수평 라인 내의 홀 화소들 중 홀 경계의 좌측으로 최 외곽에 위치한 화소를 배경에 인접한 홀 경계로 설정할 수 있고, 출력 뷰의 시점이 입력 뷰의 시점보다 우측이면 특정한 수평 라인 내의 홀 화소들 중 홀 경계의 우측으로 최 외곽에 위치한 화소를 배경에 인접한 홀 경계로 설정할 수 있다.

또한, 출력 뷰 생성부(110)가 입력 뷰의 시점에서 수직 방향으로 이동한 임의의 시점에서의 출력 뷰를 생성한 경우, 배경 인접 홀 경계 결정부(210)는 출력 뷰의 시점이 입력 뷰의 시점보다 위측이면 특정한 수직 라인 내의 홀 화소들 중 홀 경계의 위측으로 최 외곽에 위치한 화소를 배경에 인접한 홀 경계 화소로 설정할 수 있고, 출력 뷰의 시점이 입력 뷰의 시점보다 아래측이면 특정한 수직 라인 내의 홀 화소들 중 홀 경계의 아래측으로 최 외곽에 위치한 화소를 배경에 인접한 홀 경계 화소로 설정할 수 있다.

우선 순위 생성부(120)는 출력 뷰 내에서 설정된 모든 홀 경계 화소들의 홀 우선 순위들를 계산할 수 있다. 우선 순위 생성부(120)는 출력 뷰 내에서 설정된 각 홀 경계 화소에 대해 구조 우선 순위 값, 확신 우선 순위 값 및 시차 우선 순위 값을 계산하고, 상기의 구조 우선 순위 값, 확신 우선 순위 값 및 시차 우선 순위 값을 조합함으로써 홀 경계 화소의 우선 순위를 결정할 수 있다.

도 4는 본 발명의 일 예에 따른 구조 우선 순위의 계산을 설명한다.

구조 우선 순위 연산부(220)는 각 홀 경계 화소에 대해 상기 홀 경계 화소가 시각적으로 강한 구조체 내에 있는 화소인지 여부를 분석하고, 상기의 분석의 결과를 정량화하며, 정량화된 분석의 결과를 사용하여 상기 홀 경계 화소의 구조체 우선 순위를 계산할 수 있다. 홀 경계에 인접한 다수의 홀 경계 화소들 중, 주요한 구조체를 나타내는 홀 경계 화소를 우선적으로 복원함으로써, 홀 렌더링부(130)는 출력 뷰 내의 주요한 구조체를 유지하면서 홀 렌더링을 수행할 수 있다.

하기에서, 구조체 성분을 분석하기 위한 예들이 설명된다.

홀을 포함하는 타겟 패치와 동일한 패턴을 갖는 패치들의 개수에 기반하여 구조체를 판별하는 방법.

도 4에서, 코너를 나타내는 제1 출력 뷰(410), 에지를 나타내는 제2 출력 뷰(420) 및 균일한 영상을 나타내는 제3 출력 뷰(430)가 도시되었다. 또한, 출력 뷰들(410, 420 및 430)의 타겟 패치들(416, 426 및 436)이 도시되었다.

코너 영역을 포함하는 제1 출력 뷰(410)는 상이한 색상 또는 시차를 갖는 2 개의 영역들(412 및 414)로 구성되었다. 에지 영역을 포함하는 제2 출력 뷰(420)는 상이한 색상 또는 시차를 갖는 2 개의 영역들(422 및 424)로 구성되었다. 균일한 영역만을 나타내는 제3 출력 뷰(430)는 단일한 영역(434)으로 구성되었다.

구조 우선 순위 연산부(220)는 홀 화소와 인접한 영역 내에 상기 홀 화소가 나타내는 구조체와 동일한 구조체들을 개수가 적을수록 상기 홀 화소에게 높은 우선 순위를 부여할 수 있다. 구조 우선 순위 연산부(220)는 홀 화소와 인접한 영역 내에 상기 홀 화소를 포함하는 타겟 패치와 동일한 패턴을 갖는 패치들의 개수가 적을수록 상기 홀 화소에게 높은 우선 순위를 부여할 수 있다.

각 출력 뷰(410, 420 또는 430)의 하단에는 패치 검색 결과를 나타내는 영상(440, 450 또는 460)이 도시되었다. 각 영상(440, 450 또는 460)에서, 백색 부분은 타겟 패치(416, 426 또는 436)와 동일한 패턴을 갖는 패치의 중심을 나타낸다. 제1 출력 뷰(410) 내에서(또는, 타겟 패치(416)와 인접한 영역 내에서), 타겟 패치(416)와 동일한 패턴을 갖는 패치는 타겟 패치(416) 자신 뿐이다. 따라서, 제1 영상(440) 내에서 백색 부분은 단지 하나의 점뿐이다.

제2 출력 뷰(420) 내에서, 타겟 패치(426)와 동일한 패턴을 갖는 패치는 제1 영역(424) 및 제2 영역(426) 간의 경계를 이루는 사선을 따라(즉, 엣지의 방향을 따라) 존재한다. 따라서, 제2 영상(450) 내에서 백색 부분은 상기의 사선이다.

제3 출력 뷰(430) 내의 모든 패치들은 타겟 패치(426)와 동일한 패턴을 갖는다. 따라서, 제3 영상(460) 내에서 백색 부분은 제3 영상(460) 전체이다.

타겟 패치가 임의의(random) 형태를 갖는 임의 텍스쳐(texture)일 경우, 상기의 타겟 패치는 코너 영역을 나타내는 타겟 패치와 유사한 특성을 갖는다. 타겟 패치가 동일한 형태가 반복되는 반복 텍스쳐일 경우, 상기의 타겟 패치는 에지 영역을 나타내는 타겟 패치와 유사한 특성을 갖는다.

따라서, 구조 우선 순위 연산부(220)는, 1) 코너를 나타내는 홀 화소, 2) 임의 텍스쳐를 나타내는 홀 화소, 3) 에지를 나타내는 홀 화소, 4) 반복 텍스쳐를 나타내는 홀 화소, 5) 균일한 영역을 나타내는 홀 화소의 순서로, 높은 우선 순위를 부여할 수 있다.

2 개의 패치들의 패턴들이 동일한지 여부는, 2 개의 패치들의 대응하는 화소들 간의 적녹청(Red Green Blue, RGB) 값의 차이에 의해 결정될 수 있다. 즉, 구조 우선 순위 연산부(220)는 타겟 패치 및 특정한 패치에 대해, 양 패치들의 대응하는 화소들 간의 RGB 값의 차이를 계산할 수 있다. 구조 우선 순위 연산부(220)는 양 패치들의 모든 대응하는 화소들의 RGB 값의 차이들를 합하여, 상기의 합이 기준치 이하일 경우 상기 특정한 패치가 상기 타겟 패치와 동일한 패턴을 갖는 패치인 것으로 결정할 수 있다.

구조 우선 순위 연산부(220)는 탐색 영역 내에서 홀 화소를 포함하는 패치와의 화소 별 RGB 값의 차이의 평균(또는, 총 합)이 기준치 이하인 지점(즉, 패치의 위치)들의 개수의 역수를 상기 홀 화소의 구조체 우선 순위로서 사용할 수 있다. 여기서, 탐색 영역은 동일한 패턴을 갖는 패치들을 탐색하는 영역이다. 예컨대, 제1 출력 뷰(410)의 홀 화소의 구조체 우선 순위는 1/1이다. 제3 출력 뷰(410)의 홀 화소의 구조체 우선 순위는 1/(탐색 영역 내의 화소들의 개수)이다.

전술된 방식을 통해, 홀 렌더링부(130)는 홀 영역 주변의 주요한(main) 구조체가 존재하는 지점(즉, 홀 화소)에 대해, 우선적으로 홀 렌더링을 적용할 수 있다.

홀 경계 화소의 밝기 값의 변화분의 크기에 기반하여 구조체를 판별하는 방법.

구조 우선 순위 연산부(220)는, 하기의 수학식 1에서 설명된 것처럼, 홀 경계 화소의 밝기 값의 수평 방향으로의 변화분(예컨대, 미분(gradient) 값) 및 수직 방향으로의 변화분을 계산하여, 상기 수평 방향으로의 변화분 및 상기 수직 방향으로의 변화분의 기하 평균에 기반하여 상기 홀 경계 화소의 우선 순위를 결정할 수 있다.

여기서, x 및 y는 홀 경계 화소의 좌표를 나타낸다. I(x, y)는 홀 경계 화소의 밝기 값을 나타낸다. I _x 는 홀 경계 화소의 밝기 값의 수평 방향으로의 변화분을 나타낸다. I _y 는 홀 경계 화소의 밝기 값의 수직 방향으로의 변화분을 나타낸다. G(I)는 홀 경계 화소의 밝기 값의 미분 값을 나타낸다.

홀 경계 화소의 밝기 값의 변화분의 크기를 사용함으로써, 구조 우선 순위 연산부(220)는 홀 경계 화소의 우선 순위를 결정할 수 있다. 즉, 구조 우선 순위 연산부(220)는 상기의 변화분의 크기를 0 이상 1 이하의 값으로 정규화할 수 있고, 정규화된 값을 홀 화소의 구조체 우선 순위의 정량화된 값으로서 사용할 수 있다. 따라서, 구조 우선 순위 연산부(220)는 상대적으로 밝기 값의 차이가 큰 에지 성분(즉, 에지를 나타내는 홀 경계 화소)부터 우선적으로 홀 렌더링이 적용되도록 구조체 우선 순위를 설정할 수 있다.

도 5는 본 발명의 일 예에 따른 좌측 방향으로 생성된 출력 뷰의 구조체를 판별한 결과를 설명한다.

제1 출력 뷰(330) 및 배경 인접 홀 경계(334)가 도시되었다. 제1 출력 뷰(330)의 우측에 구조체 판별의 결과(510)가 도시되었다. 배경 인접 홀 경계(334) 내의 홀 화소들 중 구조체에 해당하는 화소들(512 및 514)가 도시되었다. 구조체를 나타내는 화소들(512 및 514)은 다른 화소들에 비해 더 높은 구조체 우선 순위를 갖는다.

도 6은 본 발명의 일 예에 따른 우측 방향으로 생성된 출력 뷰의 구조체를 판별한 결과를 설명한다.

제2 출력 뷰(340) 및 배경 인접 홀 경계(344)가 도시되었다. 제1 출력 뷰(340)의 우측에 구조체 판별의 결과(610)가 도시되었다. 배경 인접 홀 경계(344)는 균등한 형태를 갖는다. 배경 인접 홀 경계(344) 내의 홀 화소들 중에는, 구조체를 나타내는 화소가 없다. 따라서, 배경 인접 홀 경계(344) 내의 홀 화소들은 모두 동일한 낮은 구조체 우선 순위를 갖는다.

도 7은 본 발명의 일 예에 따른 확신 우선 순위의 결정 방법을 설명한다.

타겟 패치 내에 홀이 아닌 화소들의 개수가 적을수록, 상기의 홀 화소의 값(예컨대, 색상 값)의 추정 및 상기의 홀 화소의 복원이 용이하게 수행될 수 있다. 따라서, 확신 우선 순위 연산부(230)는 홀 화소를 포함하는 패치 내에 홀이 아닌 화소들의 개수가 많을수록 상기 홀 화소에게 높은 우선 순위를 부여할 수 있다.

멀티-뷰 합성(synthesis) 과정에서 발생하는 홀 영역은 배경을 사용하여 복원되어야 한다. 타겟 패치가 전경을 포함하는 경우, 상기의 전경에 대한 정보는 상기 타겟 패치에 대응하는 최적의 패치를 탐색함에 있어서 오류를 발생시킬 수 있다. 따라서, 타겟 패치 내에 전경(즉, 전경을 나타내는 화소들) 및 배경(즉, 배경을 나타내는 화소들)이 혼재된 경우, 확신 우선 순위 연산부(230)는 전경을 홀 영역으로 간주할 수 있다. 즉, 확신 우선 순위 연산부(230)는 홀 화소를 포함하는 패치 내에 홀이 아닌 배경 화소들의 개수가 많을수록 상기 홀 화소에게 높은 우선 순위를 부여할 수 있다.

출력 뷰(710) 내의 2 개의 홀 화소들(722 및 732)이 도시되었고, 홀 화소들(722 및 732)의 타겟 패치들(720 및 730)이 도시되었다.

제1 타겟 패치(720)는 배경(724) 및 홀 영역(726)을 포함한다. 제1 타겟 패치(720)의 배경 영역(724) 내에는 16 개의 화소들이 있다. 제2 타겟 패치(730)는 배경(734) 및 홀 영역(736)을 포함한다. 제2 타겟 패치(730)의 배경 영역(734) 내에는 10 개의 화소들이 있다. 따라서, 제1 홀 화소(722)는 제2 홀 화소(732)에 비해 더 높은 확신 우선 순위를 갖는다.

확신 우선 순위는 하기의 수학식 2에 따라서 결정될 수 있다.

여기서, C(p)는 홀 화소 p의 확신 우선 순위를 나타낸다.

도 8은 본 발명의 일 예에 따른 시차 우선 순위의 결정 방법을 설명한다.

도 8에서, 홀 화소(810) 및 상기 홀 화소(810)에 인접한 화소들(812, 814, 816 및 818)이 도시되었다. 인접한 화소들(812, 814, 816 또는 818)은 각각 시차를 가질 수 있다. 인접한 화소들(812, 814, 816 또는 818) 중 홀 화소는 시차를 가지지 않을 수 있으며, 이 경우, 시차를 가지지 않는 인접한 화소는 홀 화소(810)의 시차 우선 순위를 결정함에 있어서 제외될 수 있다.

출력 뷰 생성부(110)에 의해 출력 뷰가 생성되었을 때, 출력 뷰 내의 홀 화소(810)는 시차를 갖지 않는다. 시차 할당부(240)는 홀 화소와 인접한 화소들(812, 814, 816 및 818)의 시차들을 참조하여, 인접한 화소(812, 814, 816 또는 818)의 시차를 홀 화소(810)의 시차로서 사용할 수 있다. 인접한 화소들(812, 814, 816 및 818)의 시차들이 서로 상이한 경우, 시차 할당부(240)는 홀 화소(810)와 인접한 화소들(812, 814, 816 및 818)의 시차들 중 최대의 시차를 홀 화소(810)의 시차로서 사용할 수 있다. 즉, 시차 할당부(240)는 홀 화소(810)가 배경 및 전경의 경계에 있는 경우, 전경을 나타내는 인접한 화소의 시차를 홀 화소(810)의 시차로서 사용함으로써, 홀 화소의 우선 순위를 낮게 설정할 수 있다.

시차 할당부(240)는, 하기의 수학식 3에서 나타난 것처럼, 홀 화소(810)에 인접한 화소들(812, 814, 816 및 818)의 시차들 중 최대값의 역수를 상기 홀 화소(810)의 시차로서 사용할 수 있다.

여기서, p는 홀 화소(810)를 나타낸다. D(p)는 홀 화소의 시차 우선 순위를 나타낸다. 시차(p _n ), 시차(p _w ), 시차(p _e ) 및 시차(p _s )는 각각 홀 화소(810)의 위에 위치한 화소(812)의 시차, 홀 화소(810)의 좌측에 위치한 화소(814)의 시차, 홀 화소(810)의 우측에 위치한 화소(816)의 시차 및 홀 화소(810)의 아래에 위치한 화소(818)의 시차를 나타낸다. Max 함수는 인자들 중 최대의 인자를 반환한다.

우선 순위 생성부(120)는, 하기의 수학식 4에서 나타난 것처럼, 구조 우선 순위 값, 확신 우선 순위 값 및 시차 우선 순위 값을 조합함으로써 홀 경계 화소의 우선 순위를 결정할 수 있다.

여기서, P(p)는 홀 화소 p의 우선 순위를 나타낸다. S(p), C(p) 및 D(p)는 각각 홀 화소 p의 구조 우선 순위, 확신 우선 순위 및 시차 우선 순위를 나타낸다. α, β 및 γ는 각각 S(p)의 가중치, C(p)의 가중치 및 D(p) 및 가중치를 나타낸다.

전술된 것과 같은 홀 경계 화소의 우선 순위 방법에 의해, 홀 렌더링부(130)는 1) 구조체 내에 있고, 2) 패치 내에 홀이 아닌 화소들의 개수가 많고, 3) 시차가 적은 배경 홀 화소에 대해 우선적으로 홀 복원을 적용할 수 있다. 이러한 홀 복원은 배경의 구조를 잘 유지할 수 있다.

도 9는 본 발명의 일 예에 따른 홀 렌더링부의 구조도이다.

홀 렌더링부(130)는 정렬부(910), 타겟 패치 생성부(920) 및 최적 소스 패치 탐색부(930) 및 복사부(940)를 포함한다.

정렬부(910)는 홀 화소들의 우선 순위들을 정렬한다. 정렬부(910)는 가장 높은 우선 순위를 갖는 홀 화소를 식별할 수 있다.

타겟 패치 생성부(920)는 타겟 패치를 결정한다. 여기서, 타겟 패치는 가장 높은 우선 순위를 갖는 홀 화소를 중심으로 갖는 블록일 수 있다.

최적 소스 패치 탐색부(930)는 출력 뷰 내에서 타겟 패치와 가장 유사한 블록인 소스 패치를 탐색한다.

최적 소스 패치 탐색부(930)는 하기의 기준 1 내지 기준 3을 사용하여 타겟 패치 및 소스 패치 간의 유사도를 계산할 수 있다.

기준 1 : 타겟 패치의 화소 및 상기 타겟 패치의 화소에 대응하는 소스 패치의 화소 간의 RGB 값의 차.

기준 2 : 타겟 패치의 블록 구조 및 소스 패치의 블록 구조 간의 차. 여기서, 블록 구조는 패치 내의 화소들 중 밝기 값이 기준치보다 큰 화소들은 1로, 밝기 값이 기준치 이하인 화소들은 0으로 설정한 것을 나타낼 수 있다. 최적 소스 패치 탐색부(930)는 타겟 패치의 블록 구조 및 소스 패치의 불록 구조 간의 비트와이즈(bitwise) 차이 값을 계산할 수 있다.

기준 3 : 타겟 패치의 공간 좌표 및 소스 패치의 공간 좌표 간의 차.

최적 소스 패치 탐색부(930)는 전술된 기준 1 내지 기준 3의 결과 값들의 가중 평균치가 가장 작은 패치를 소스 패치로서 결정할 수 있다.

복사부(940)는 탐색된 소스 패치 내의 화소를 타겟 패치 내의 홀 화소로 복사함으로써 가장 높은 우선 순위를 갖는 홀 화소를 복원한다.

도 10은 본 발명의 일 예에 따른 최적 소스 패치 탐색 방법을 설명한다.

도 10에서, 출력 뷰(1050) 및 출력 뷰(1050)의 시차 정보(1010)가 도시되었다.

타겟 패치(1060)는 전경(1062), 배경(1064) 및 홀 영역(1066)을 갖는다. 즉, 타겟 패치(1060) 내에는 전경(1062) 및 배경(1064)가 혼재되었다. 타겟 패치(1060)의 시차 정보(1020) 또한 전경(1022), 배경(1024) 및 홀 영역(1026)을 갖는다.

타겟 패치 내에 전경이 없을 경우, 최적 소스 패치 탐색부(930)는 출력 뷰 내에서 가장 유사한 배경을 탐색할 수 있다. 그러나, 도 10에서 도시된 것처럼, 타겟 패치(1060) 내에 전경(1062) 및 배경(1064)이 함께 있는 경우, 타겟 패치(1060) 내에서 전경(1062)이 분리되지 않으면, 최적 소스 패치 탐색부(930)는 전경(1062)과 유사한 패치를 소스 패치로서 선택할 수 있다. 이때, 최적 소스 패치 탐색부(930)가 전경을 나타내는 정보를 사용하여 홀 영역을 복원하는 오류가 발생할 수 있다. 이러한 오류는 전경이 홀 영역으로 확산되는 것을 의미한다.

최적 소스 패치 탐색부(930)는 타겟 패치(1060) 내의 화소들의 시차들을 분석하여 상기의 화소들을 전경 화소 및 배경 화소로 분류할 수 있다.

최적 소스 패치 탐색부(930)는 타겟 패치 내의 화소들의 시차들이 단일한 군으로 분류되는 경우, 모든 화소들을 배경으로 간주할 수 있다. 최적 소스 패치 탐색부(930)는 타겟 패치 내의 화소들의 시차들이 2 개의 군들로 분류될 경우, 낮은 시차를 갖는 군에 해당하는 화소들을 배경으로 간주하고, 높은 시차를 갖는 군에 해당하는 화소들을 전경으로 간주할 수 있다. 최적 소스 패치 탐색부(930)는 타겟 패치 내의 화소들의 시차들이 3 개 이상의 군들로 분류될 경우, 가장 낮은 시차를 갖는 군에 해당하는 화소들 만을 배경으로 간주하고, 다른 갖는 군에 해당하는 화소들은 전경으로 간주할 수 있다.

최적 소스 패치 탐색부(930)는 타겟 패치 내의 화소들의 시차들에 따라, 타겟 패치 내의 화소들 중 배경 화소들만을 선택할 수 있고, 타겟 패치에 인접한 배경 화소들 중에서 선택된 배경 화소들과 가장 유사한 화소들을 소스 패치로 결정할 수 있다. 즉, 최적 소스 패치 탐색부(930)는 타겟 패치 내의 화소들 중 배경 화소들만을 사용하여 소스 패치를 결정할 수 있다.

도 10에서, 배경 화소들만이 선택된 타겟 패치(1070)가 도시되었다. 배경 화소들만이 선택된 타겟 패치(1070)는 배경(1074) 및 홀 영역(1076)만을 갖는다. 타겟 패치(1060)에서 전경(1062)이었던 영역은 배경 화소들만이 선택된 타겟 패치(1070)에서는 홀 영역(1076)의 일부가 된다.

외삽에 의해 출력 뷰가 생성될 경우, 입력 뷰에서는 전경에 의해 가려졌었던 배경이 관측될 수 있다. 이러한 가려졌었던 영역은 출력 뷰에서는 홀 영역으로 나타난다. 따라서, 홀 영역은 전경에 대한 정보는 배제하고, 배경에 대한 정보만을 사용하여 복원될 수 있다. 배경의 구조를 유지한 채 홀 영역을 복원함으로써 시각적으로 자연스러운 결과가 도출될 수 있다. 따라서, 최적 소스 패치 탐색부(930)는 타겟 패치 내에서 전경을 제외하고, 배경을 기준으로 최적의 소스 패치를 탐색할 수 있다.

도 11은 본 발명의 일 실시예에 따른 영상 처리 방법의 흐름도이다.

단계(1110)에서, 적어도 하나의 입력 뷰 및 상기의 입력 뷰에 대응하는 시차 정보를 사용하여 출력 뷰 및 상기 출력 뷰에 대응하는 시차 정보가 생성된다.

단계들(1120 내지 1130)에서, 출력 뷰에 대응하는 시차 정보를 사용하여 출력 뷰 내의 홀을 나타내는 각 홀 화소에 대한 우선 순위가 생성된다.

단계(1120)에서, 단계(1110)에서 출력 뷰를 생성하기 위해 적용한 투영의 방향에 기반하여, 출력 뷰 내의 전경에 인접한 홀 화소보다 배경에 인접한 홀 화소에게 높은 우선 순위가 부여된다.

단계(1122)에서, 시각적으로 강한 구조체 내에 있는 홀 화소에게 높은 구조 우선 순위가 부여될 수 있다. 또는, 홀 화소와 인접한 영역 내에 상기의 홀 화소를 포함하는 패치와 동일한 패턴을 갖는 패치들의 개수가 적을수록 상기의 홀 화소에게 높은 구조 우선 순위가 부여될 수 있다.

단계(1124)에서, 홀 화소를 포함하는 패치 내에 홀이 아닌 화소들의 개수가 많을수록 상기 홀 화소에게 높은 확신 우선 순위가 부여된다.

단계(1126)에서, 홀 화소와 인접한 화소들의 시차들에 기반하여 홀 화소의 시차가 계산된다.

단계(1128)에서, 계산된 시차에 기반하여 홀 화소에게 시차 우선 순위가 부여된다.

단계(1130)에서, 구조 우선 순위, 확신 우선 순위 및 시차 우선 순위를 조합함으로써 홀 화소의 우선 순위가 계산되고, 계산된 우선 순위가 홀 화소에게 부여된다.

단계들(1140 내지 1170)에 의해 우선 순위의 내림차순으로 각 홀 화소에 홀 렌더링이 적용된다.

단계(1140)에서, 홀 화소들의 우선 순위들이 정렬된다.

단계(1150)에서, 가장 높은 우선 순위를 갖는 홀 화소를 중심으로 갖는 블록인 타겟 패치가 결정된다.

단계(1160)에서, 출력 뷰 내에서 상기 타겟 패치와 가장 유사한 블록인 소스 패치가 탐색된다.

단계(1160)는 1) 타겟 패치 내의 화소들의 시차들에 따라 타겟 패치 내의 화소들 중 배경 화소들을 선택하는 단계 및 2) 타겟 패치에 인접한 배경 화소들 중 선택된 배경 화소들과 가장 유사한 화소들을 소스 패치로 결정하는 단계를 포함할 수 있다.

단계(1170)에서, 소스 패치 내의 화소가 상기 타겟 패치 내의 홀 화소로 복사된다.

앞서 도 1 내지 도 10을 참조하여 설명된 본 발명의 일 실시예에 따른 기술적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 영상 처리 장치
110: 출력 뷰 생성부
120: 우선 순위 생성부
130: 홀 렌더링부

Claims

적어도 하나의 입력 뷰 및 상기 입력 뷰에 대응하는 시차 정보를 사용하여 출력 뷰 및 상기 출력 뷰에 대응하는 시차 정보를 생성하는 단계;
상기 출력 뷰에 대응하는 시차 정보를 사용하여 상기 출력 뷰 내의 홀을 나타내는 각 홀 화소에 대한 우선 순위를 생성하는 단계; 및
상기 우선 순위의 내림차순으로 상기 각 홀 화소에 홀 렌더링을 적용하는 단계
를 포함하고,
상기 우선 순위를 생성하는 단계는,
상기 홀 화소의 인접 화소에 대한 시차 정보에 기초하여 상기 홀 화소에 대한 우선 순위를 생성하는, 영상 처리 방법.
제1항에 있어서,
상기 우선 순위를 생성하는 단계는,
상기 시차 정보를 생성하는 단계에서 상기 출력 뷰를 생성하기 위해 적용한 투영의 방향에 기반하여 상기 출력 뷰 내의 전경에 인접한 홀 화소보다 배경에 인접한 홀 화소에게 높은 우선 순위를 부여하는 단계
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 우선 순위를 생성하는 단계는,
시각적으로 강한 구조체 내에 있는 홀 화소에게 높은 우선 순위를 부여하는 단계
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 우선 순위를 생성하는 단계는,
홀 화소와 인접한 영역 내에 상기 홀 화소를 포함하는 패치와 동일한 패턴을 갖는 패치들의 개수가 적을수록 상기 홀 화소에게 높은 우선 순위를 부여하는 단계
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 우선 순위를 생성하는 단계는,
홀 화소를 포함하는 패치 내에 홀이 아닌 화소들의 개수가 많을수록 상기 홀 화소에게 높은 우선 순위를 부여하는 단계
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 우선 순위를 생성하는 단계는,
홀 화소와 인접한 화소들의 시차들에 기반하여 상기 홀 화소의 시차를 계산하는 단계
를 포함하는, 영상 처리 방법.
제6항에 있어서,
상기 우선 순위를 생성하는 단계는,
상기 계산된 시차에 기반하여 상기 홀 화소에게 우선 순위를 부여하는 단계
를 더 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 각 홀 화소에 홀 렌더링을 적용하는 단계는,
가장 높은 우선 순위를 갖는 홀 화소를 중심으로 갖는 블록인 타겟 패치를 결정하는 단계;
상기 출력 뷰 내에서 상기 타겟 패치와 가장 유사한 블록인 소스 패치를 탐색하는 단계; 및
상기 소스 패치 내의 화소를 상기 타겟 패치 내의 홀 화소로 복사하는 단계
를 포함하는, 영상 처리 방법.
제8항에 있어서,
상기 소스 패치를 탐색하는 단계는,
상기 타겟 패치 내의 화소들의 시차들에 따라 상기 타겟 패치 내의 화소들 중 배경 화소들을 선택하는 단계; 및
상기 타겟 패치에 인접한 배경 화소들 중 상기 선택된 배경 화소들과 화소의 RGB 값, 블록 구조 및 공간 좌표가 가장 유사한 화소들을 상기 소스 패치로 결정하는 단계
를 포함하는, 영상 처리 방법.
제1항 내지 제9항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
적어도 하나의 입력 뷰 및 상기 입력 뷰에 대응하는 시차 정보를 사용하여 출력 뷰 및 상기 출력 뷰에 대응하는 시차 정보를 생성하는 출력 뷰 생성부;
상기 출력 뷰에 대응하는 시차 정보를 사용하여 상기 출력 뷰 내의 홀을 나타내는 각 홀 화소에 대한 우선 순위를 생성하는 우선 순위 생성부; 및
상기 우선 순위의 내림차순으로 상기 각 홀 화소에 홀 렌더링을 적용하는 홀 렌더링부
를 포함하고,
상기 우선 순위 생성부는,
상기 홀 화소의 인접 화소에 대한 시차 정보에 기초하여 상기 홀 화소에 대한 우선 순위를 생성하는, 영상 처리 장치.
제11항에 있어서,
상기 우선 순위 생성부는,
상기 출력 뷰 생성부가 상기 출력 뷰를 생성하기 위해 적용한 투영의 방향에 기반하여 상기 출력 뷰 내의 전경에 인접한 홀 화소보다 배경에 인접한 홀 화소에게 높은 우선 순위를 부여하는, 배경 인접 홀 경계 결정부
를 포함하는, 영상 처리 장치.
제11항에 있어서,
상기 우선 순위 생성부는,
시각적으로 강한 구조체 내에 있는 홀 화소에게 높은 우선 순위를 부여하는 구조 우선 순위 연산부
를 포함하는, 영상 처리 장치.
제11항에 있어서,
상기 우선 순위 생성부는,
홀 화소와 인접한 영역 내에 상기 홀 화소를 포함하는 패치와 동일한 패턴을 갖는 패치들의 개수가 적을수록 상기 홀 화소에게 높은 우선 순위를 부여하는 구조 우선 순위 연산부
를 포함하는, 영상 처리 장치.
제11항에 있어서,
상기 우선 순위 생성부는,
홀 화소를 포함하는 패치 내에 홀이 아닌 화소들의 개수가 많을수록 상기 홀 화소에게 높은 우선 순위를 부여하는 확신 우선 순위 연산부
를 포함하는, 영상 처리 장치.
제11항에 있어서,
상기 우선 순위 생성부는,
홀 화소와 인접한 화소들의 시차들에 기반하여 상기 홀 화소의 시차를 계산하는 시차 할당부
를 포함하는, 영상 처리 장치.
제16항에 있어서,
상기 우선 순위 생성부는,
상기 계산된 시차에 기반하여 상기 홀 화소에게 우선 순위를 부여하는 시차 우선 순위 연산부
를 더 포함하는, 영상 처리 장치.
제11항에 있어서,
상기 홀 렌더링부는,
가장 높은 우선 순위를 갖는 홀 화소를 중심으로 갖는 블록인 타겟 패치를 결정하는 타겟 패치 생성부; 및
상기 출력 뷰 내에서 상기 타겟 패치와 가장 유사한 블록인 소스 패치를 탐색하는 최적 소스 패치 탐색부
상기 소스 패치 내의 화소를 상기 타겟 패치 내의 홀 화소로 복사하는 복사부
를 포함하는, 영상 처리 장치.
제18항에 있어서,
상기 최적 소스 패치 탐색부는, 상기 타겟 패치 내의 화소들의 시차들에 따라 상기 타겟 패치 내의 화소들 중 배경 화소들을 선택하고, 상기 타겟 패치에 인접한 배경 화소들 중 상기 선택된 배경 화소들과 화소의 RGB 값, 블록 구조 및 공간 좌표가 가장 유사한 화소들을 상기 소스 패치로 결정하는, 영상 처리 장치.