KR101415147B1 - 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법 - Google Patents

가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법 Download PDF

Info

Publication number
KR101415147B1
KR101415147B1 KR1020120087676A KR20120087676A KR101415147B1 KR 101415147 B1 KR101415147 B1 KR 101415147B1 KR 1020120087676 A KR1020120087676 A KR 1020120087676A KR 20120087676 A KR20120087676 A KR 20120087676A KR 101415147 B1 KR101415147 B1 KR 101415147B1
Authority
KR
South Korea
Prior art keywords
hole
pixel
image
virtual viewpoint
value
Prior art date
Application number
KR1020120087676A
Other languages
English (en)
Other versions
KR20140021766A (ko
Inventor
고민수
유지상
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020120087676A priority Critical patent/KR101415147B1/ko
Publication of KR20140021766A publication Critical patent/KR20140021766A/ko
Application granted granted Critical
Publication of KR101415147B1 publication Critical patent/KR101415147B1/ko

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

기준시점 깊이영상으로부터 가상시점의 깊이영상을 생성할 때, 가상시점 깊이영상에 나타나는 경계 잡음을 홀 영역으로 확장하고, 홀 영역의 화소값들을 나선형 가중 평균 방법 및 기울기 탐색 방법을 통해 각각 구하고 가중치로 조합하여 채우는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 관한 것으로서, (a) 3D 워핑 방법을 통해 상기 기준시점 깊이영상으로부터 가상시점 영상을 생성하는 단계; (b) 홀의 인접 지역에서 경계 잡음 영역을 검출하여, 상기 경계 잡음 영역의 화소를 홀 영역으로 확장하는 단계; (c) 상기 홀 영역에 대하여 나선형 가중 평균 방법에 의하여 각 홀의 화소를채워 제1 채움 영역을 구하는 단계; (e) 상기 홀 영역에 대하여 기울기 탐색 방법에 의하여 각 홀의 화소를 채워 제2 채움 영역을 구하는 단계; (f) 상기 제1 및 제2 채움 영역들을 가중치로 조합하여 최종 채움 영역을 생성하는 단계; 및, (g) 상기 가상시점 영상의 홀 영역을 상기 최종 채움 영역으로 채워서 최종 가상시점 영상을 생성하는 단계를 포함하는 구성을 마련한다.
상기와 같은 경계 잡음 제거 및 홀 채움 방법에 의하여, 깊이 정보를 사용함으로 객체 정보를 최소로 사용하지만 결과 영상이 번지는 나선형 가중 평균 방법과, 영상의 기울기를 이용하여 세밀한 부분을 보존할 수 있는 기울기 탐색 방법을 모두 사용함으로써, 두 방법의 단점을 보완하고 장점을 동시에 적용하여 자연스럽고 좋은 화질의 영상을 얻을 수 있다.

Description

가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법 { A Boundary Noise Removal and Hole Filling Method for Virtual Viewpoint Image Generation }
본 발명은 기준시점 깊이영상으로부터 가상시점의 깊이영상을 생성할 때 가상시점 깊이영상에서 나타나는 경계 잡음을 제거하고 홀 영역을 채우는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 관한 것이다.
특히, 본 발명은 가상시점 깊이영상에 나타나는 경계 잡음을 홀 영역으로 확장하고, 홀 영역의 화소값들을 나선형 가중 평균 방법(spiral weighted average) 및 기울기 탐색 방법(gradient searching)을 통해 각각 구하고 가중치로 조합하여 채우는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 관한 것이다.
2009년 3D 아바타 영화의 흥행 성공으로 3차원(3D) 미디어에 대한 관심 증가하고, 3D 산업은 영화, 게임, 방송에 이르기 까지 다양한 분야에서 새로운 미디어 서비스로 자리 잡고 있다. 그러나 최근에는 안경착용에 따른 불편함, 시각적 피로, 다양한 콘텐츠의 부족 등으로 기대만큼 3D 산업이 활성화되고 있지 않다는 평가도 나오고 있는 상황이다.
따라서 3D 산업의 지속적인 활성화를 위해서는 2D 콘텐츠와 같이 쉽게 3D 콘텐츠를 획득할 수 있고, 안경 없이 고화질로 3D 영상을 즐길 수 있어야 하며, 피로가 최소화되어야 한다. 이러한 조건을 만족하기 위해서는 무안경식 다시점 3D 영상을 이용한 3차원 미디어 서비스 기술 개발이 필요하다[문헌 1].
일반적으로 스테레오 3D 영상을 얻기 위해서는 두 대의 카메라를 이용한다. 하지만 스테레오의 양안 방식은 반드시 안경을 착용하여야 하며, 스테레오 무안경 방식의 경우에는 입체감을 느낄 수 있는 시점이 하나로 제한되어 시청자가 제한된 시역을 벗어나면 입체감을 느낄 수 없거나 어지러움을 느낄 수 있다.
다시점 무안경 디스플레이는 스테레오 디스플레이보다 시점의 개수가 증가하기 때문에 관찰자의 시역이 확대되어 보다 자연스러운 입체 디스플레이 구현이 가능하다. 그러나 시점의 개수가 증가함에 따라 데이터양도 증가하기 때문에 실시간 처리가 힘들고 초고속, 광대역의 전송채널이 요구된다.
이러한 문제를 해결하기 위해 수신단에서 스테레오 영상으로부터 원하는 시점 수만큼의 다시점 영상을 합성하기 위한 연구가 활발히 진행되고 있다. 무안경 다시점 3D 디스플레이는 시점 수에 맞는 다시점 영상을 만들어 정해진 포맷으로 다중화 하여 입력하거나, 한 장의 영상과 깊이 영상을 입력하여 렌더링 엔진에 의해 다시점 영상을 생성하는 방식이 대부분이었다.
하지만 최근에는 보다 쉽게 다시점 3차원 영상을 제공하기 위해 2차원 영상으로부터 다시점 영상을 생성하거나, 좌우 스테레오 영상으로부터 다시점 영상을 생성하는 기능을 채택하는 경우가 늘어나고 있는 추세이다[문헌 2].
최근에 MPEG에서도 새로운 3D 부호화 기술의 요구에 따라 다시점 비디오 기반의 MVC(multi-view video coding) 기술과 FTV(freeview-point TV) 기술에 대한 연구가 진행되었다. MVC 기술은 다시점 영상을 보다 효과적으로 부호화하기 위한 기법으로 개발되었다. FTV 기술은 사용자가 기존의 다시점 영상 사이의 임의 시점을 선택하여 시청할 수 있는 기술로 논의되었으나, 2007년 4월에 열린 JVT 회의 이후에 그 범위를 3DTV 응용을 위한 FTV/3DV 표준 시스템 모델로 확장하여 개발되고 있다.
먼저, 수신단에서 다시점 색상 영상과 각 색상 영상에 대응하는 깊이 데이터(MVD: multi-view video plus depth)를 획득하고, 이를 부호화해 전송한다. 전송된 MVD 데이터는 복호화 과정을 거쳐 수신단에서 중간 영상 생성을 통해 다시점 3D 비디오를 구성하는 방식이다. 따라서 고화질의 중간 영상 생성을 위해 정확한 깊이 정보를 확보하고 중간 영상을 합성하는 방법에 대한 연구가 필요하게 되었다. 이를 위해 MPEG에서는 깊이 추정 소프트웨어(DERS;depth estimation reference software)와 가상 시점 영상 생성 소프트웨어(VSRS;view synthesis reference software)를 이용한 결과에 대한 평가를 실시하고 있다[문헌 3,4].
가상시점(virtual viewpoint) 영상 합성을 위한 방법에는 크게 스테레오 영상의 변이정보를 이용하는 양방향 선형 보간법(bidirectional linear interpolation)과 깊이 정보를 이용하는 3D 워핑(3D warping) 기법 등이 있다. 양방향 선형 보간법은 변이(disparity) 정보를 이용하여 기준 시점(reference view) 영상 사이의 제한된 시점의 중간 시점 영상을 생성하는 방법이다. 3D 워핑은 기준 영상의 깊이 정보와 카메라 파라미터를 이용하여 가상 시점에 해당하는 가상 카메라의 파라미터를 정의하고, 영상의 실제 3D 좌표를 산출한 뒤 가상 카메라의 위치에 재투영하는 방법으로, 정의한 카메라 파라미터를 통해 기준 영상 사이의 중간시점 영상뿐만 아니라 임의 가상 시점 영상을 생성하는 등 보다 자유로운 시점을 제공할 수 있다.
고화질의 가상 시점 영상을 생성하기 위해 3D 워핑 기법을 보다 구체적으로 설명한다. 먼저 기준 영상 화소들을 실세계 좌표(world coordinate)로 산출하고 원하는 가상 시점으로 재투영 하게 된다.
이때 가상시점 영상 생성 시 객체의 이동으로 생기는 가려짐 영역(occlusion)에 의해 홀(hole)이 발생한다. 그리고 기준 시점 영상과 깊이 영상 내 객체의 경계 위치가 일치하지 않아 경계 잡음(boundary noise)이 발생할 수 있다.
특히, 공통 홀(common-hole) 영역은 기준 시점 영상에는 정보가 없어서 참조 할 수 없는 영역이다. 따라서 홀 영역 주변의 화소를 통해 그 값을 예측하여야 한다. 기존에는 이러한 공통 홀(common-hole)을 채우기 위해 선형 보간법과 인페인팅(in-painting) 기법이 많이 사용 되었다.
선형 보간법은 공통 홀의 끝단에 존재하는 화소 값을 홀 영역의 구간 길이로 나누어 선형적으로 값을 더하거나 빼는 과정을 통해 선형 보간을 수행하는 방법이다. 이 방법은 수행속도가 빠르지만 채워진 공통 홀의 품질이 좋지 못한 단점이 있다.
인페인팅 기법은 영상의 손상된 영역을 복원하기 위해 고안된 기법으로 손상된 영역의 주위의 색상정보로부터 추측하여 최대한 자연스럽게 복원하는 방법이다. 현재 인페인팅은 화소 단위의 복원 방법 및 질감 합성 방법 등 다양한 방법들이 연구되고 있다. 하지만 인페인팅 기법은 주변 화소의 색상 정보만을 이용하기 때문에 객체와 배경 영역을 구분하지 못하고, 따라서 채워진 영역이 부자연스럽게 보이는 단점이 있다[문헌 5,6].
따라서 상기와 같은 홀과 경계 잡음은 생성된 가상시점 영상의 화질을 저하시키는 요인이 되므로 이러한 요소를 제거하여 가상 시점 영상의 화질을 개선하기 위한 후처리 기술이 절실하다.
엄기문, 정광희, 정원식, 허남호, "다시점 3D 및 자유시점 비디오 기술 개발 및 표준화 동향", 전자공학회지, 제38권 제2호, pp.18-23, 2월, 2011년. 엄기문, 방건, 허남호, 김진웅, "3D 비디오 MPEG 표준화 동향", [문헌 ETRI]전자통신동향분석 전자통신동향분석 24권 3호, 6월, 2009년. ISO/IEC JTC1/SC29/WG11 "Introduction to 3D Video", M9784, May 2008. [문헌 4] Y. Mori, N. Fukushimaa, T. Yendoa, T. Fujii and M. Tanimotoa, "View generation with 3D warping using depth information for FTV", ELSEVIER, Signal P rocessing : Image Communication, vol. 24, issue. 1-2, pp.65-72, Jan. 2009. A. Telea, "An image in-painting technique based on the fast marching method", J. Graphics Tools, vol.9, no.1, pp.25-36, 2004. A. Criminisi, P. Perez and K. Toyama, "Region Filling and Object Removal by Exemplar-Based Image In-painting", IEEE Trans. Image Processing, vol.13, no.9, pp.1200-1212, Sept. 2004. 박세환, 송혁, 장은영, 허남호, 김진웅, 김진수, 이상훈, 유지상, "다시점 동영상에서 임의 시점 영상 생성을 위한 가려진 영역 보상기법", 한국통신학회 논문지, 제33권 제12호, pp.1029-1038, 12월, 2008년. 김태준, 장은영, 허남호, 장진웅, 유지상, "다시점 카메라 모델의 기하학적 특성을 이용한 가상 시점 영상 생성 기법", 한국통신학회 논문지, 제34권, 제12호, pp.1154-1166, 12월, 2009년. ISO/IEC JTC1/SC29/WG11 "Improved common-hole filling for extrapolation view synthesis", M21318, July 2011. Min Soo Ko, Gun Bang, Won-Sik Cheong, Namho Hur, Jisang Yoo, "A New Post Processing Algorithm for Generated Arbitrary View", 3rd International conference of 3D systems and applications, pp.183-187, June 2011. ISO/IEC JTC1/SC29/WG11 "Boundary noise removal and hole filling for VSRS 3.5 alpha", M19992, March 2011. [문헌 12] ISO/IEC JTC1/SC29/WG11 "Implementation of Hole Filling Methods for VSRS 3.5.alpha", M20005, March 2011.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 기준시점 깊이영상으로부터 가상시점의 깊이영상을 생성할 때, 가상시점 깊이영상에 나타나는 홀 영역의 화소값들을 나선형 가중 평균 방법(spiral weighted average) 및 기울기 탐색 방법(gradient searching)을 통해 각각 구하고 가중치로 조합하여 채우는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법을 제공하는 것이다.
특히, 본 발명에서는 깊이 정보를 이용하여 효율적으로 공통 홀을 채우는 나선형 가중 평균 방법(spiral weighted average algorithm)을 이용한다. 하지만 나선형 가중 평균 방법은 일종의 평균 필터이므로 홀 채움 후에 번짐(blur) 현상이 발생한다. 본 발명에서는 채워진 홀의 번짐 현상을 줄이고 영상의 연속성을 유지하기 위해 기울기 탐색 방법(gradient searching algorithm)을 적용한다. 결국 최종 홀 채움 방법은 나선형 가중 평균 방법과 기울기 탐색 방법을 최적의 가중치로 조합하여 두 방법의 장점을 모두 갖도록 설계한다.
또한, 본 발명의 목적은 가상시점의 깊이영상 생성시 홀에 근접하여 생기는 경계 잡음을 제거하기 위해, 배경 화소들의 평균을 구하고 절대 값 비교를 통해 경계 잡음 화소를 검출하고, 검출된 화소를 홀 영역으로 확장하여 홀 채움 방법을 통해 홀과 함께 채우는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 기준시점 깊이영상으로부터 가상시점의 깊이영상을 구하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 관한 것으로서, (a) 3D 워핑 방법을 통해 상기 기준시점 깊이영상으로부터 가상시점 영상을 생성하는 단계; (b) 홀의 인접 지역에서 경계 잡음 영역을 검출하여, 상기 경계 잡음 영역의 화소를 홀 영역으로 확장하는 단계; (c) 상기 홀 영역에 대하여 나선형 가중 평균 방법에 의하여 각 홀의 화소를채워 제1 채움 영역을 구하는 단계; (e) 상기 홀 영역에 대하여 기울기 탐색 방법에 의하여 각 홀의 화소를 채워 제2 채움 영역을 구하는 단계; (f) 상기 제1 및 제2 채움 영역들을 가중치로 조합하여 최종 채움 영역을 생성하는 단계; 및, (g) 상기 가상시점 영상의 홀 영역을 상기 최종 채움 영역으로 채워서 최종 가상시점 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 있어서, 상기 (b)단계에서, 배경 영역에서 수평방향으로 사전에 정해진 크기의 영역(이하 인접 영역)의 평균을 구하고 상기 인접 영역의 평균을 홀 인접 지역 화소부터 비교하여 절대값 차이가 사전에 정해진 임계치보다 크면 경계 잡음으로 판단하는 것을 특징으로 한다.
또, 본 발명은 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 있어서, 처음 화소가 경계 잡음으로 판단되면 다음 화소까지 비교를 하여 연속된 경계 잡음을 검출하는 것을 특징으로 한다.
또, 본 발명은 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 있어서, 상기 (c)단계 또는 (d)단계에서, 가상시점 영상과 기준시점 영상과의 위치를 고려하여 배경에서 가까운 부분부터 채우는 것을 특징으로 한다.
또, 본 발명은 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 있어서, 상기 기준시점 영상의 시점 위치에 대비하여 상기 가상시점 영상의 시점 위치 방향에 있는 화소부터 채우는 것을 특징으로 한다.
또, 본 발명은 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 있어서, 상기 (c)단계는, (c1) 상기 홀 영역의 화소(이하 홀 화소)를 하나 선택하는 단계; (c2) 상기 홀 화소에 이웃하는 화소 중에서 가장 작은 깊이 값을 초기 깊이값으로 결정하고, 상기 초기 깊이값의 화소를 기준 화소로 결정하는 단계; (c3) 상기 기준 화소를 중심으로 나선형으로 탐색하되, 상기 초기 깊이 값과 탐색한 화소간의 깊이 값의 차이가 사전에 정해진 임계치 이하인 화소를 검출하는 단계; (c4) 검출된 화소들의 색상과 깊이 값에 기준 화소와의 거리 차이에 따른 가중치를 곱하고, 곱한 값들의 평균값 구하여, 기준 화소의 색상 값과 깊이 값으로 할당하는 단계; 및, (c5) 상기 (c1)단계 내지 (c4)단계를 상기 홀 영역의 모든 화소에 적용하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 있어서, 상기 검출된 화소의 색상 값 ST(x,y)와 깊이 값 SD(x,y)를 [수식 1]에 의해 구하는 것을 특징으로 한다.
[수식 1]
Figure 112012064076167-pat00001
단, W(p,q)는 (p,q)에서의 유클리디언 거리에 따른 가중치,
D(p,q)는 (x,y)좌표와 (p,q)좌표에서의 깊이 값 차이에 의한 가중치,
T(p,q)와 d(p,q)는 (p,q)에서의 색상 값과 깊이 값임.
또, 본 발명은 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 있어서, 상기 (d)단계는, (d1) 홀 화소 주변 방향에 존재하는 화소들의 색상 값 차이로 기울기 값을 구하고, 최대 기울기를 갖는 방향의 화소(이하 최초 화소)를 찾는 단계; (d2) 상기 최초 화소의 방향과 같은 방향 내의 주변 화소 중에서 색상 값이 가장 비슷한 화소(이하 선택 화소)를 찾는 단계; (d3) 상기 선택 화소로 이동하여, 탐색 범위 내에서 (d2)의 단계를 반복하여 선택 화소를 찾는 단계; (d4) (d1)부터(d3)의 과정에 찾은 모든 선택 화소들의 평균을 구하여 공통 홀의 화소 값으로 할당하는 단계; 및, (d5) 상기 공통 홀의 화소 값으로 상기 홀 영역의 공통 홀을 채워 상기 제2 채움 영역을 구하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 있어서, 상기 (e)단계에서, 상기 최종 채움 영역의 홀 화소의 색상값 FT(x,y)는 다음 [수식 2]에 의해 계산되는 것을 특징으로 한다.
[수식 2]
Figure 112012064076167-pat00002
단, GT(x,y)와 ST(x,y)는 각각 기울기 탐색 방법과 나선형 가중 평균 방법으로 구한 홀의 색상값이고, α는 가중치임.
상술한 바와 같이, 본 발명에 따른 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 의하면, 깊이 정보를 사용함으로 객체 정보를 최소로 사용하지만 결과 영상이 번지는 나선형 가중 평균 방법과, 영상의 기울기를 이용하여 세밀한 부분을 보존할 수 있는 기울기 탐색 방법을 모두 사용함으로써, 두 방법의 단점을 보완하고 장점을 동시에 적용하여 자연스럽고 좋은 화질의 영상을 얻을 수 있는 효과가 얻어진다.
특히, 실험을 통해 기존의 방법들과 비교를 통하여 본 발명에 따른 방법의 성능이 우수하다는 것을 확인하였다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법을 설명하는 흐름도이다.
도 3은 본 발명에 따라 3D 워핑을 이용한 가상 시점 영상을 생성한 일례로서, (a) 기준시점 영상, (b) 깊이영상, 및, (c) 가상 시점 영상의 일례이다.
도 4는 본 발명에 따른 핀홀카메라의 기하학적 구조로서, (a) 3D 구조 및, (b) 2D 구조를 도시한 것이다.
도 5는 본 발명에 따른 (a) 경계 잡음, (b) 경계 잡음 제거 없이 홀 채움을 한 결과, 및, (c) 본 발명으로 경계 잡음을 제거하고 홀 채움을 한 결과를 도시한 것이다.
도 6은 본 발명에 따른 경계 잡음 제거 방법을 도시한 것이다.
도 7은 본 발명에 따른 (a) 홀을 외곽 화소부터 채우는 방법의 일례, 및, (b) 그 결과 영상의 일례를 도시한 것이다.
도 8은 본 발명에 따른 (a) 홀 채움 순서 및, (b) 결과 영상의 일례를 도시한 것이다.
도 9는 본 발명의 일실시예에 따른 나선형 가중 평균 방법을 설명하는 흐름도이다.
도 10은 본 발명에 따른 나선형 가중 평균 기법을 이용한 홀 채움 과정의 일례를 도시한 것이다.
도 11은 본 발명의 일실시예에 따른 기울기 탐색 방법을 설명하는 흐름도이다.
도 12는 본 발명에 따른 기울기 탐색 방법의 일례로서, (a) 1 단계 및, (b) 2 단계의 일례를 도시한 것이다.
도 13은 본 발명에 따른 홀 채움 결과로서, (a) 홀 영상, (b) α = 0.1 인 경우 최종 영상, 및, (c) α = 0.6 인 경우 최종 영상의 일례를 도시한 것이다.
도 14는 본 발명의 실험결과에 따른 가상 시점 생성 결과 ("Book_Arrival" 6번 시점, 0번 프레임)를 비교한 일례로서, (a) 3D 워핑 결과, (b) 선형보간법 , (c) 인페인팅 기법, (d) VSRS 1, (e) VSRS 2, (f) 본 발명에 의한 결과의 일례를 도시한 것이다.
도 15는 본 발명의 실험결과에 따른 가상 시점 생성 결과 ("Cafe" 5번 시점, 0번째 프레임)를 비교한 일례로서, (a) 3D 워핑 결과, (b) 선형보간법 , (c) 인페인팅 기법, (d) VSRS 1, (e) VSRS 2, (f) 본 발명에 의한 결과의 일례를 도시한 것이다.
도 16은 본 발명의 실험결과에 따른 성능 비교 표이다.
도 17은 본 발명의 일실시예에 따른 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 장치의 구성에 대한 블록도이다.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법은 깊이 카메라(20)에 의해 촬영된 깊이영상(60)을 입력받아 가상시점의 깊이영상을 생성할 때, 발생되는 경계 잡음을 제거하고 홀을 채우는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 경계 잡음 제거 및 홀 채움 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 경계 잡음 제거 및 홀 채움 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 깊이영상으로부터 가상시점 깊이영상을 생성할 때, 나타나는 잡음 경계를 제거하고 홀 영역을 채우는 것만을 전용으로 처리하는 전용 컴퓨터 단말(30)로 개발될 수도 있다. 이를 경계 잡음 제거 및 홀 채움 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
깊이 카메라(20)는 사물(10)의 깊이를 측정하는 카메라로서, 깊이정보를 측정하여 깊이영상을 출력한다. 촬영된 영상(60)은 깊이 카메라(20)로 촬영된 다수 시점의 깊이영상이다. 즉, 각 카메라 시점에 따라 해당 시점의 깊이영상으로서, 이를 기준시점 깊이영상이라 부르기로 한다.
깊이영상(60)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 경계 잡음 제거 및 홀 채움 장치(40)에 의해 처리된다. 또는, 깊이영상(60)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 경계 잡음 제거 및 홀 채움 장치(40)에 의해 저장된 깊이영상(60)을 읽어 입력될 수도 있다.
깊이영상(60)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(60)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(60)은 하나의 이미지인 경우에도 해당된다.
기준시점 깊이영상에서 가상시점의 깊이영상을 합성하는 것은, 곧 기준시점 프레임(또는 이미지)에서 가상시점의 프레임(또는 이미지)을 생성하는 것을 의미하나, 이하에서 특별한 구별의 필요성이 없는 한, 영상이란 용어를 사용하기로 한다.
한편, 경계 잡음 제거 및 홀 채움 장치(40)는 깊이영상(60)을 입력받아 상기 영상(60)으로부터 임의의 가상시점의 깊이영상을 생성하고, 생성된 가상시점 깊이영상에 나타나는 경계 잡음을 홀 영역으로 확대하고 홀 영역을 채운다.
즉, 경계 잡음 제거 및 홀 채움 장치(40)는 3D 워핑(warping) 방법을 이용하여 가상시점 영상생성 시 화질 개선을 위하여 경계 잡음(boundary noise)을 제거하고 홀(hole) 채움을 수행한다.
경계 잡음은 가상시점 영상 합성 시 기준 시점 영상과 깊이 영상 내 객체의 경계 불일치로 발생되며 홀은 기준시점 영상에서 보상할 수 없는 가려짐 영역(occlusion)으로 정의된다. 경계 잡음 제거 및 홀 채움 장치(40)는 경계 잡음 제거를 위해 먼저 배경 화소들의 평균과 절대 값 비교를 통해 경계 잡음에 해당되는 화소를 검출하고 검출된 화소를 홀 영역으로 확장한다.
또한, 경계 잡음 제거 및 홀 채움 장치(40)는 경계 잡음 영역이 포함된 확장된 홀 영역을 나선형 가중 평균(spiral weighted average) 방법과 기울기 탐색(gradient searching) 방법을 혼용하여 채운다. 나선형 가중 평균 방법은 깊이 정보를 사용함으로 객체 정보를 최소로 사용하지만 결과 영상이 번지는 단점이 있다. 기울기 탐색 방법은 영상의 기울기를 이용하여 세밀한 부분을 보존할 수 있는 장점이 있다. 따라서 각각의 결과를 α 가중치로 조합하여 생성된 가상 시점은 두 방법의 장점을 동시에 적용하기 때문에 좋은 화질을 얻을 수 있다.
다음으로, 본 발명의 일실시예에 따른 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법을 도 2를 참조하여 보다 구체적으로 설명한다.
도 2에서 보는 바와 같이, 본 발명에 따른 경계 잡음 제거 및 홀 채움 방법은 (a) 가상시점 깊이영상을 생성하는 단계(S10); (b) 경계잡음 영역을 검출하여 홀 영역으로 확장하는 단계(S20); (c) 나선형 가중 평균 방법에 의하여 제1 채움영역을 구하는 단계(S30); (d) 기울기 탐색 방법에 의하여 제2 채움 영역을 구하는 단계(S40); (e) 제1 및 제2 채움영역을 가중치로 조합하여 최종 채움영역을 생성하는 단계(S50); 및, (f) 홀 영역을 최종 채움영역으로 채워서 최종 가상시점 깊이영상을 생성하는 단계(S60)로 구성된다.
즉, 본 발명에 따른 계 잡음 제거 및 홀 채움 방법은 먼저 3D 워핑 기법을 통해 원하는 가상 시점 영상을 생성한다. 이때 발생하는 홀의 인접 지역에서 경계 잡음 영역을 검출한다. 경계 잡음으로 판단된 영역은 홀 영역으로 포함하여 확장하게 되고 확장된 홀 영역은 나선형 가중 평균(spiral weighted average) 기법과 기울기 탐색(gradient searching) 기법을 적절하게 조합하여 채운다[문헌 9,10].
즉, 도 3(c)와 같이 기준 시점 영상을 3D 워핑 기법을 통해 가상 시점 영상을 생성하게 되면 가려짐 영역(occlusion)이 발생한다. 가려짐 영역은 기준 시점 영상에는 존재하지 않기 때문에 발생하며 홀(hole)의 형태로 나타나게 된다.
좌, 우 영상을 기준시점으로 하고 가상시점 영상의 위치가 두 기준시점 영상의 사이에 위치할 경우에는 가려짐 영역은 기준시점 영상을 서로 참조하여 대부분 채울 수 있다. 하지만 가상시점 영상이 두 기준 시점 영상의 밖에 존재하거나 기준 시점 영상이 하나뿐일 경우 가려짐 영역은 대부분 홀의 형태로 잔존하게 된다. 본 발명에서는 두 번째 경우와 같이 홀로 남는 영역이 많은 경우에 효과적으로 이 홀들을 채울 수 있는 후처리 방법에 관한 것이다.
이하에서, 본 발명의 각 단계를 보다 구체적으로 설명한다.
먼저, 3D 워핑 방법을 통해 상기 기준시점 깊이영상으로부터 가상시점 영상을 생성한다(S10).
3D 워핑(3D warping)이란 카메라의 기하학적 구조에 기반을 두고 영상의 깊이 정보와 카메라의 내, 외부 파라미터를 이용하여 영상의 실제 좌표(세계 좌표계;world coordinate)를 산출한 후, 가상 시점을 위한 카메라의 위치로 재 투영하여 원하는 가상 시점 영상을 생성하는 과정이다.
도 4(a)는 핀홀 카메라(pin-hole camera) 모델을 3D 구조로, 도 4(b)는 2D 구조로 각각 표현한 것이다. 일반적으로 핀홀 카메라의 상은 Z축의 -f 위치에 역상으로 생긴다. 하지만 이 경우 3D 좌표 상에서 해석하는 것이 쉽지 않기 때문에 영상이 맺히는 평면을 Z축 상의 카메라 초점 거리(focal length) f로 옮겨 해석한다. 실제로 카메라 좌표계(camera coordinate)에서 물체의 3D 좌표가 영상 평면(image plane)에 투영되는 관계는 도 4(b)와 같이 삼각 비례 법으로 해석이 가능하다.
3D 실세계 좌표계(세계 좌표계; world coordinate)를 카메라 좌표계(camera coordinate)로 변환하기 위해서는 좌표계의 회전(rotation)과 이동(translation) 변환이 필요하다. 이 두 가지 변환은 카메라의 외부 파라미터(extrinsic parameter)로 정의된다. 카메라 좌표계로 변환된 물체의 좌표는 영상 평면(image plane)의 좌표로 다시 변환된다.
이 변환 관계는 도 4(b)와 같이 초점 거리 f를 포함하는 카메라의 내부 파라미터(intrinsic parameter)로 정의될 수 있다. 결국 카메라의 외부 파라미터와 내부 파라미터를 이용한 변환 관계에 의하여 [수학식 1]과 같이 실세계 좌표계에 존재하는 객체의 좌표가 영상 평면상의 좌표로 변환되는 것이다.
[수학식 1]
Figure 112012064076167-pat00003
여기서 x, y는 영상 평면에 투영된 물체의 2D 좌표를 나타내며, K는 카메라 내부 파라미터, R은 카메라의 회전 행렬, T는 카메라의 이동 벡터를 나타내며, X, Y, Z는 세계좌표계의 좌표를 의미한다. K[R|T]를 투영 행렬(projection matrix)이라고 정의한다.
[수학식 1]은 간단한 행렬 연산을 통해 [수학식 2]와 같이 이미지 좌표를 실세계 좌표로 역변환 하는데 사용될 수 있다. 이 때 실제 깊이 값 Z을 구하기 위해서는 [수학식 3]과 같이 시차(disparity) 정보 D를 이용하게 된다.
[수학식 2]
Figure 112012064076167-pat00004
[수학식 3]
Figure 112012064076167-pat00005
여기서 Z(i, j)와 D(i, j)는 각각 영상 내 (i, j) 좌표에서의 깊이값과 시차값이고, MinZ와 MaxZ는 Z값이 가지는 최소, 최대값을 의미한다.
그리고 가상 시점을 생성하기 위해 가상 시점 카메라의 카메라 파라미터를 정의한다. 그리고 변환된 실세계 좌표와 가상 시점 카메라의 파라미터를 [수학식 1]을 적용하면 [수학식 4]와 같이 나타낼 수 있다. [수학식 4]를 통해 실세계 좌표가 가상시점 영상의 좌표로 변환 되게 되고 이를 통해 가상 시점 영상을 생성 할 수 있다.
[수학식 4]
Figure 112012064076167-pat00006
여기서 xv, yv는 생성된 가상 시점 영상 평면상의 좌표를 의미하며, KV, RV, TV는 각각 가상 시점 카메라의 내부 파라미터, 회전 행렬, 이동 벡터를 나타낸다.
따라서 가상 시점 영상을 생성하기 위해서는 해당 위치의 가상 카메라의 내, 외부 파라미터를 먼저 구해야 한다. [수학식 5]는 좌, 우 시점 간의 카메라 거리를 1로 하고 가상 시점의 카메라와 두 기준시점 사이의 거리 비율인 Ratio에 따라 선형적으로 보간하는 방법을 나타내었다.
[수학식 5]
Figure 112012064076167-pat00007
여기서 K, R, T는 각각 카메라의 내부 파라미터, 회전 행렬, 이동 벡터를 나타내고, 아래 첨자 V는 가상 시점, L은 좌 시점, R은 우 시점 카메라를 각각 의미한다[문헌 7,8].
다음으로, 홀의 인접 지역에서 경계 잡음 영역을 검출하여, 상기 경계 잡음 영역의 화소를 홀 영역으로 확장한다(S20). 특히, 배경 영역에서 수평방향으로 사전에 정해진 크기의 영역(이하 인접 영역)의 평균을 구하고 상기 인접 영역의 평균을 홀 인접 지역 화소부터 비교하여 절대값 차이가 사전에 정해진 임계치보다 크면 경계 잡음으로 판단한다.
여기서 배경영역이란 깊이 값이 낮은 영역을 말한다. 또한, 바람직하게는, 하나의 수평라인마다 평균을 구하고 경계잡음을 추출하는 동작을 반복한다.
경계 잡음(boundary noise)은 기준시점 영상에 존재하는 객체의 경계와 이에 대응하는 깊이 영상 객체의 경계가 일치하지 않기 때문에 발생하는 잡음이다.
경계 잡음은 도 5(a)와 같이 객체의 잔상과 유사한 형태로 나타나게 되는데 이 잡음을 제거하지 않고 홀을 채우게 되면 도 5(b)와 같이 경계 잡음의 색상이 홀을 채울 때 사용하게 되어 채워진 홀의 품질이 저하된다.
본 발명에서는 먼저 도 6과 같이 배경 영역에서 수평방향으로 일정 영역의 평균을 구하고 이를 홀 인접 지역 화소부터 비교하여 절대값 차이가 일정 임계치보다 크면 경계 잡음으로 판단한다.
홀에는 화소 값이 없기 때문에 홀에 인접한 배경영역의 화소들만을 이용하여 평균을 구하고 홀에 가장 인접한 화소(홀 바로 옆)부터 구한 평균 값과 차이 값을 구해 일정한 값보다 차이가 크면 경계 잡음으로 판단한다.
또, 경계 잡음이 연속으로 생길 경우를 생각하여 처음 화소가 경계 잡음으로 판단되면 다음 화소까지 비교를 하여 연속된 경계 잡음까지 검출한다. 검출된 경계 잡음은 홀 영역으로 포함시켜 제거한다.
경계 잡음은 홀의 최인접 화소부터 나타날 가능성이 크다. 그리고 몇 화소 연속으로 나타나는 지는 깊이영상의 품질에 따라 달라진다. 따라서 홀에 가장 인접한 화소(홀 바로 옆)부터 구한 평균 값과 차이 값을 구해 경계 잡음으로 판단한다. 가까운 화소가 경계 잡음으로 판단되면 그 다음 가까운 화소도 경계잡음으로 판단한다. 가까운 화소가 경계잡음이 아니라고 판단되는 경우는 그 다음 화소부터는 반복동작을 하지 않는다.
도 5(c)는 제안하는 기법을 통해 경계 잡음을 제거하고 홀을 채운 영상이다. 제거하지 않고 채운 영상과 비교하여 비교적 깨끗하게 홀이 채워진 것을 확인할 수 있다.
다음으로, 상기 홀 영역에 대하여 나선형 가중 평균 방법 또는 기울기 탐색 방법에 의하여 각 홀의 화소를 채워 제1 및 제2 채움 영역을 구한다(S30, S40).
도 7은 기존의 홀 채움 방법으로 홀의 최 외곽 화소부터 시작하여 홀의 중심이 마지막에 채워지게 된다. 도 7(a)와 같이 홀의 최 외곽끼리 맨 처음 순서로 채워지게 되며 중심으로 갈수록 나중에 채워지게 된다. 이 경우 홀 영역에 인접해 있는 객체의 색상 정보를 이용할 가능성이 커지게 되며 도 7(b)와 같이 홀 채움 결과의 품질이 저하된다.
따라서 본 발명에서는 가상시점 영상과 기준시점 영상과의 위치를 고려하여 배경에서 가까운 부분부터 채우는 방법을 사용한다. 특히, 상기 기준시점 영상의 시점 위치에 대비하여 상기 가상시점 영상의 시점 위치 방향에 있는 화소부터 채운다. 즉, 가상시점 위치가 기준시점 위치 대비 우측에 있으면 우측부터 채우고, 좌측에 있으면 좌측부터 채운다.
도 8은 가상 시점 영상이 기준 시점보다 우측에 있을 경우에 홀을 채우는 순서를 나타낸다. 이 경우 가상 시점이 기준 시점 보다 우측에 있으므로 객체의 우측에 홀이 생긴다. 따라서 홀의 우측이 배경과 가까운 영역이 되며 이 부분부터 홀을 채우게 된다. 도 8(a)와 같이 배경에 인접한 홀 화소부터 먼저 채워지게 되고 객체에 가까운 홀 화소일수록 나중에 채워지게 된다. 도 8(b)의 결과를 통해 제안하는 방법이 기존 방법보다 외부 객체의 영향을 덜 받는 것을 확인 할 수 있다.
바람직하게는, 배경에서 객체 방향 쪽으로 채워 나간다. 이미 경계 잡음 판단에서 배경쪽이 어느 쪽인지 알고 있기 때문에 배경에서 객체 방향으로 채워 나갈 수 있다. 본 발명에 따르면, 홀 주변의 색상정보를 이용하기 때문에 객체 방향부터 색을 채우면 객체의 색을 사용할 가능성이 크다. 따라서 배경에서부터 채워 나가서 좋은 결과를 얻을 수 있다.
상기와 같은 채우는 순서(또는 방법)는 나선형 가중 평균 방법이나 기울기 방법 모두에 적용된다.
본 발명에 따른 나선형 가중 평균 방법에 대하여 구체적으로 설명한다.
상기 홀 영역에 대하여 나선형 가중 평균 방법에 의하여 각 홀의 화소를 채워 제1 채움 영역을 구한다(S30). 제1 채움 영역이란 홀 영역에서 각 홀의 화소를 채운 것을 말한다.
가려짐 영역에서 채울 수 없는 영역은 공통 홀(common-hole)의 형태로 잔존하는데 기준시점에서 참조할 수 있는 더 이상 정보가 없으므로, 생성된 가상시점 내에서 홀의 주변 화소정보를 이용하여 해당 화소의 값을 예측하여야 한다.
기존에는 이러한 공통 홀(common-hole)을 채우기 위해 인페인팅(in-painting) 기법이 많이 사용 되었다. 하지만 인페인팅 기법은 주변 화소의 색상 정보만을 이용하기 때문에 객체와 배경 영역을 구분하지 못하고, 따라서 채워진 영역이 부자연스럽게 보이는 단점이 있다.
본 발명에서는 이 문제를 해결하기 위해 깊이 정보를 이용하여 효율적으로 공통 홀을 채우는 나선형 가중 평균 방법(spiral weighted average algorithm)을 새로이 제안한다. 상기 나선형 가중 평균 방법에서는 앞서 도 8에서 설명한 홀 채움 순서를 적용하여 성능을 개선하고 정확도를 높이도록 한다.
본 발명에 따른 나선형 가중 평균 방법에서는 나선형 탐색 기법을 사용하여 홀 화소와 가장 근접한 화소들을 후보로 사용할 수 있도록 한다.
도 9는 본 발명의 일실시예에 따른 나선형 가중 평균 방법을 설명하는 흐름도이다.
도 9에서 보는 바와 같이, 본 발명에 따른 나선형 가중 평균 방법은, (c1) 홀 영역의 화소(이하 홀 화소)를 하나 선택하는 단계(S31); (c2) 상기 홀 화소에 이웃하는 화소 중에서 가장 작은 깊이 값을 초기 깊이값으로 결정하고, 상기 초기 깊이값의 화소를 기준 화소로 결정하는 단계(S32); (c3) 상기 기준 화소를 중심으로 나선형으로 탐색하되, 상기 초기 깊이 값과 탐색한 화소간의 깊이 값의 차이가 사전에 정해진 임계치 이하인 화소를 검출하는 단계(S33); (c4) 검출된 화소들의 색상과 깊이 값에 기준 화소와의 거리 차이에 따른 가중치를 곱하고, 곱한 값들의 평균값 구하여, 기준 화소의 색상 값과 깊이 값으로 할당하는 단계(S34); 및, (c5) 상기 (c1)단계 내지 (c4)단계를 상기 홀 영역의 모든 화소에 적용하는 단계(S35)로 구성된다.
즉, 먼저 홀의 한 화소를 기준 화소로 하여(S31), 이웃(8-neighbor) 화소가 갖는 가장 작은 깊이 값을 초기 깊이 값(initial depth)으로 결정한다(S32).
그런 후, 도 10과 같이 기준 화소를 중심으로 나선형으로 탐색을 수행하며 초기 깊이 값과 탐색 화소간의 깊이 값의 변화가 일정 임계치 이하인 화소들을 검출한다(S33).
검출된 화소들의 색상과 깊이 값에 기준 화소와이 거리 차이에 따른 가중치를 곱하고 이 값들의 평균값 구하여 기준 화소의 색상 값과 깊이 값으로 할당하게 된다(S34). 위와 같은 과정을 제안한 홀 채움 순서대로 모두 적용하여 공통 홀을 채우게 된다. 현재 순서의 홀이 모두 채워지면 처음부터 같은 과정을 반복한다(S35).
보다 구체적으로 설명하면 다음과 같다.
하나의 기준 홀 화소를 채우기 위해 기준 홀 화소에서 부터 나선형 탐색을 하게 된다. 탐색을 하는 동안 홀인 위치를 탐색하게 되면 당연히 화소값이 없기 때문에 사용하지 않게 되고 홀이 아닌 영역들의 값들 중에서도 본 발명의 조건(깊이값차이가 일정 문턱치보다 작을 경우)이 만족되는 화소들 만을 이용하여 기준 홀 화소의 색상값과 깊이값을 계산하고 채운다.
그리고 기준 홀 화소에는 색상값과 깊이값이 채워졌기 때문에 다음 홀 화소의 값을 구할 때에는 기준 홀 화소도 후보로 사용될 수 있다. 도 10에 있는 숫자는 채워지는 순서를 나타내는 것이다. 도 10은 배경이 오른쪽에 있을 경우를 나타낸 것이다. 숫자가 작을수록 먼저 채워지는 것이고 같은 숫자끼리는 화소가 채워져도 후보로 사용하지 않는다.
[수학식 6]은 위의 과정에 설명한 공통 홀의 화소에 할당되는 새로운 색상 값과 깊이 값을 구하는 식이다.
[수학식 6]
Figure 112012064076167-pat00008
여기서 ST(x,y)와 SD(x,y)는 (x,y) 좌표에서의 보상할 홀의 색상 값과 깊이 값이고, W(p,q)는 (p,q)에서의 유클리디언 거리에 따른 가중치를 나타내며, D(p,q)는 (x,y)좌표와 (p,q)좌표에서의 깊이 값 차이에 의한 가중치이다. T(p,q)와 d(p,q)는 (p,q)에서의 색상 값과 깊이 값을 나타낸다[문헌 11].
(x,y)는 채워질 홀의 좌표이다. (p,q) 나선형 탐색을 통해 탐색되는 화소의 위치를 나타낸다. e는 거리의 가중치(거리가 짧을수록 커져야 하므로 역수로 표현)와 깊이의 가중치를 포함한 가중치를 나타낸 것이다. E는 평균을 구하기 위한 가중치들의 합을 나타낸다. m은 탐색을 통해 후보로 사용된 화소의 수를 말한다. i, j는 특별한 의미없이 시그마 계산을 위해 사용된 첨자이다. 마지막으로 th는 깊이 가중치를 계산하기 위한 문턱치 값이다.
[수학식 6]은 거리의 가중치와 색상의 가중치를 사용하는 양방향 필터(Bilateral filter)와 유사하다. 하지만 색상 정보 대신 깊이 정보를 사용하여 홀 채움에 더 적합하다. 이는 거리의 가중치와 깊이 정보의 가중치를 사용하면 홀 화소에 근접하고 깊이 정보가 비슷한 화소일수록 높은 가중치 부여하여 배경과 비슷한 색상을 가지면서 객체의 색상 침범이 적어지도록 하기 때문이다.
다음으로, 본 발명에 따른 기울기 탐색 방법에 대하여 구체적으로 설명한다.
상기 홀 영역에 대하여 기울기 탐색 방법에 의하여 각 홀의 화소를 채워 제2 채움 영역을 구한다(S30).
나선형 가중 평균 기법은 일종의 평균 필터이므로 홀 채움 후 번짐(blur) 현상이 발생할 수 있다. 본 발명에서는 채워진 홀의 번짐 현상을 줄이면서 영상의 연속성을 유지하기 위해 기울기 탐색 방법(gradient searching algorithm)도 적용한다.
기울기 탐색 방법은 홀 화소 주변의 화소 중 기울기가 가장 큰 화소를 찾는 기법이다. 따라서 홀이 기울기가 큰 방향의 색으로 채워지게 되어 영상 연속성을 유지할 수 있다.
도 11에서 보는 바와 같이, 본 발명에 따른 기울기 탐색 방법은 상기 (d)단계는, (d1) 홀 화소 주변 방향에 존재하는 화소들의 색상 값 차이로 기울기 값을 구하고, 최대 기울기를 갖는 방향의 화소(이하 최초 화소)를 찾는 단계(S41); (d2) 상기 최초 화소의 방향과 같은 방향 내의 주변 화소 중에서 색상 값이 가장 비슷한 화소(이하 선택 화소)를 찾는 단계(S42); (d3) 상기 선택 화소로 이동하여, 탐색 범위 내에서 (d2)의 단계를 반복하여 선택 화소를 찾는 단계(S43); (d4) (d1)부터(d3)의 과정에 찾은 모든 선택 화소들의 평균을 구하여 공통 홀의 화소 값으로 할당하는 단계(S44); 및, (d5) 상기 공통 홀의 화소 값으로 상기 홀 영역의 공통 홀을 채워 상기 제2 채움 영역을 구하는 단계(S45)로 구성된다.
즉, 본 발명에 따른 기울기 탐색 방법은 다음과 같은 단계로 구성된다[문헌 9,10].
(d1) 도 12(a)와 같이, 홀 화소 주변의 12 방향에 존재하는 화소들의 색상 값 차이로 기울기 값을 구하고, 최대 기울기를 갖는 방향의 화소를 찾는다.
(d2) 도 12(b)와 같이 (d1)에서 찾은 화소 주변의 최대 기울기 방향과 같은 세 방향 내에서 색상 값이 가장 비슷한 화소를 찾고 그 위치로 이동한다.
(d3) 탐색 범위 내에서 (d2)의 단계를 반복한다.
(d4) (d1)부터(d3)의 과정에 찾은 모든 화소들의 평균을 구하여 공통 홀의 화소 값으로 할당한다.
홀 화소 주변의 12 방향이란 홀 화소의 상하좌우 방향에서 이웃하는 화소들로 세분화된 방향을 말한다.
3D 워핑 후에 생기는 가려짐영역 때문에 홀이 발생한다. 보통 기준시점 카메라가 여러대일 경우에는 다른 기준시점에서 가려짐 영역이 있다면 찾아서 보상할 수 있다. 하지만 다른 기준시점에도 보상 영역이 없거나 또는 기준시점이 하나이기 때문에 보상할 영역을 찾을 수가 없을 경우 홀채움 방법을 사용한다. 따라서 보상 후에도 남는 홀들은 공통의 홀 이라고 하여 공통홀이라고 부른다.
즉, 공통홀은 채워야 될 홀들을 말한다. 따라서 기울기 탐색 방법도 기준 홀 하나의 화소의 값을 구하는 방법이다. 그리고 홀의 어느 화소부터 계산할지를 정하는 것이 앞서 설명한 배경부터 채워나가는 방법을 적용하는 것이다. 꼭 우측에서 채우는 것이 아니라 배경이 우측일 경우에는 우측부터 홀을 채워나간다는 것을 보여주고 있다.
한편, (d4)단계에서 찾은 화소는 (d1), (d2) 단계에서 찾은 모든 화소를 말한다. 모든화소를 이용하여 평균을 구하여 홀의 화소값을 결정한다.
다음으로, 제1 및 제2 채움 영역들을 가중치로 조합하여 최종 채움 영역을 생성한다(S50). 앞서 설명한 바와 같이, 제1 채움 영역은 나선형 가중 평균 방법에 의하여 홀의 화소를 채운 홀 영역이고, 제2 채움 영역은 기울기 탐색 방법에 의하여 홀의 화소를 채운 홀 영역이다. 따라서 최종 채움 영역은 나선형 가중 평균 방법에 의하여 홀의 화소와 기울기 탐색 방법에 의하여 홀의 화소를 가중치로 조합하여 홀의 화소를 채운 홀 영역이다.
나선형 가중 평균 방법은 깊이 정보만을 이용하기 때문에 홀 채움 후에 번짐(blur) 현상이 나타나는 단점이 있다. 이러한 단점은 기울기 탐색 기법을 이용하여 영상의 연속성을 유지하도록 하여 보상할 수 있다. 따라서 나선형 가중 평균 방법과 기울기 탐색 기법으로 구한 각각의 화소 값을 [수학식 7]과 같이 α 가중치를 적용하여 공통 홀의 최종 화소 값으로 결정하게 된다.
[수학식 7]
Figure 112012064076167-pat00009
여기서 GT(x,y)와 ST(x,y)는 각각 기울기 탐색 기법과 나선형 가중 평균 기법으로 구한 홀의 색상값이고, FT(x,y)는 두 결과의 가중치 합을 취한 최종적으로 할당된 홀의 색상 값이다.
도 13은 각 α 가중치를 달리하여 공통 홀을 채운 결과 영상이다. α 가중치가 0.1일 경우에 기울기 탐색 기법의 영향이 적어지므로 색이 번지는 현상이 나타나는 반면 α 가중치가 0.6일 경우 기울기 탐색 기법의 결과와 나선형 가중 평균 기법의 결과가 적절히 조합되어 번짐 현상이 줄면서 객체의 연속성이 유지되는 것을 확인할 수 있다[문헌 9,10].
마지막으로, 상기 가상시점 영상의 홀 영역을 상기 최종 채움 영역으로 채워서 최종 가상시점 영상을 생성한다(S60).
다음으로, 본 발명의 효과를 실험결과를 통해 설명한다.
본 발명에서는 MPEG에서 제공하는 다시점 영상 시퀀스인 Cafe, Book_Arrival, Lovebird1, Mobile 시퀀스를 실험 영상으로 사용한다. 객관적인 화질평가를 위해서 n번 카메라의 영상을 사용하여 (n+1)번 카메라 영상을 생성하고 주어진 원본 (n+1)번째 영상과 PSNR을 비교하였다. 그리고 본 발명에 따른 방법의 α 값은 실험을 통해 가장 좋은 결과가 나온 0.6을 사용하였다.
본 발명에 따른 방법의 성능을 기존의 선형보간법, Telea의 인페인팅 기법, VSRS 3.5 alpha에 구현된 2가지 방법의 성능과 비교하였다.
선형보간법은 홀의 수평방향의 양끝의 화소값을 이용하여 그 사이의 값들을 선형 적으로 보간하는 방법이다. Telea의 인페인팅 기법은 영상의 기울기를 고려하여 평활화 예측을 통해 이를 채우는 방법이다. VSRS 1번 방법은 나선형 가중평균 기법만을 사용한 기법이고 VSRS 2번 방법은 bilateral filter를 사용한 기법이다.
도 14와 도 15는 홀을 채운 후 생성된 가상시점 영상이다. 본 발명에서 본 발명에 따른 방법과 달리 결과 영상을 보면 기존 기법들은 경계 잡음을 제거하지 않고 홀 채움을 하므로 홀 주변에서 번지는 현상이 나타나는 것을 알 수 있다.
도 16은 기존의 방법들과 본 발명에 따른 방법을 이용하여 생성한 가상시점 영상을 주어진 원본 영상과 프레임별 PSNR을 구하여 평균을 구한 결과이다. 도 16에서 보면 본 발명에 따른 방법을 이용할 경우 기존의 방법을 이용하는 경우보다 대부분 PSNR이 향상 되는 것을 확인할 수 있다.
이러한 결과를 얻을 수 있는 이유는 본 발명에 따른 방법에서는 경계 잡음을 먼저 제거를 하고 홀 채움을 했고, 색상 정보 뿐 아니라 깊이 정보까지 활용하여 홀 주변의 객체로 인한 영향을 효과적으로 제거 할 수 있었고, 또한 영상의 기울기 정보를 이용하여 영상의 연속성을 유지할 수 있었기 때문인 것으로 판단된다.
다음으로, 본 발명의 일실시예에 따른 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 장치(40)를 도 17을 참조하여 설명한다.
도 17에서 보는 바와 같이, 본 발명에 따른 경계 잡음 제거 및 홀 채움 장치(40)는 가상시점 생성부(41), 경계잡음 제거부(42), 제1 홀채움부(43), 제2 홀채움부(44), 채움영역 조합부(45), 최종영상 생성부(46)으로 구성된다. 추가적으로 데이터를 저장하기 위한 메모리(47)가 있다.
가상시점 생성부(41)는 3D 워핑 방법을 통해 상기 기준시점 깊이영상으로부터 가상시점 영상을 생성한다.
경계잡음 제거부(42)는 홀의 인접 지역에서 경계 잡음 영역을 검출하여, 상기 경계 잡음 영역의 화소를 홀 영역으로 확장한다.
제1 홀채움부(43)는 상기 홀 영역에 대하여 나선형 가중 평균 방법에 의하여 각 홀의 화소를채워 제1 채움 영역을 구한다.
제2 홀채움부(44)는 상기 홀 영역에 대하여 기울기 탐색 방법에 의하여 각 홀의 화소를 채워 제2 채움 영역을 구한다.
채움영역 조합부(45)는 상기 제1 및 제2 채움 영역들을 가중치로 조합하여 최종 채움 영역을 생성한다.
최종영상 생성부(46)는 상기 가상시점 영상의 홀 영역을 상기 최종 채움 영역으로 채워서 최종 가상시점 영상을 생성한다.
본 발명에서는 가상시점 영상을 생성하는 과정에서 발생하는 공통 홀을 효과적으로 채우기 위한 새로운 홀 채움 방법을 제안하였다. 본 발명에 따른 방법에서는 먼저 기준 시점과 깊이지도 내의 객체 경계부분 불일치로 발생하는 경계 잡음을 검출하고 검출된 경계 잡음을 홀 영역으로 포함시킨다.
경계 잡음이 포함된 공통 홀 영역은 나선형 가중 평균(spiral weighted average) 방법과 기울기 탐색(gradient searching) 방법을 적절히 적용하여 채우게 된다. 나선형 가중 평균 방법은 깊이 정보를 사용함으로 객체 정보를 최소로 사용하지만 결과 영상이 번지는 단점이 있다. 기울기 탐색 방법은 영상의 기울기를 이용하여 세밀한 부분을 보존할 수 있는 장점이 있다. 두 방법의 장점을 최대한도로 반영하기 위하여 각 방법의 결과를 α 가중치로 조합하여 홀 채움을 하였다.
실험을 통해 본 발명에 따른 방법의 성능이 기존의 다른 방법보다 우수하다는 것을 확인하였다. 이러한 결과를 얻을 수 있었던 이유는 본 발명에 따른 방법에서는 경계 잡음을 먼저 제거를 하고 홀 채움을 했고, 색상 정보 뿐 아니라 깊이 정보까지 활용하여 홀 주변의 객체로 인한 영향을 효과적으로 제거 하면서 동시에 영상의 기울기 정보를 이용하여 영상의 연속성을 유지할 수 있었기 때문인 것으로 판단된다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 사물 20 : 깊이 카메라
30 : 컴퓨터 단말
40 : 경계 잡음 제거 및 홀 채움 장치
41 : 가상시점 생성부 42 : 경계잡음 제거부
43 : 제1 홀채움부 44 : 제2 홀채움부
45 : 채움영역 조합부 46 : 최종영상 생성부
47 : 메모리 60 : 깊이영상

Claims (9)

  1. 기준시점 깊이영상으로부터 가상시점의 깊이영상을 생성하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법에 있어서,
    (a) 3D 워핑 방법을 통해 상기 기준시점 깊이영상으로부터 가상시점 영상을 생성하되, 상기 가상시점 영상에서 가려짐 영역(occlusion)이 홀의 형태로 나타나는 단계;
    (b) 홀의 인접 지역에서 경계 잡음 영역을 검출하여, 상기 경계 잡음 영역의 화소를 홀 영역으로 확장하는 단계;
    (c) 상기 홀 영역에 대응하는 제1 채움 영역을 구하되, 나선형 가중 평균 방법에 의하여 각 홀의 화소를 채울 수 있는 제1 채움 영역을 구하는 단계;
    (d) 상기 홀 영역에 대응하는 제2 채움 영역을 구하되, 기울기 탐색 방법에 의하여 각 홀의 화소를 채울 수 있는 제2 채움 영역을 구하는 단계;
    (e) 상기 제1 및 제2 채움 영역들을 가중치로 조합하여 최종 채움 영역을 생성하는 단계; 및,
    (f) 상기 가상시점 영상의 홀 영역을 상기 최종 채움 영역으로 채워서 최종 가상시점 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법.
  2. 제1항에 있어서,
    상기 (b)단계에서, 배경 영역에서 수평방향으로 사전에 정해진 크기의 영역(이하 인접 영역)의 평균을 구하고 상기 인접 영역의 평균을 홀 인접 지역 화소부터 비교하여 절대값 차이가 사전에 정해진 임계치보다 크면 경계 잡음으로 판단하는 것을 특징으로 하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법.
  3. 제2항에 있어서,
    상기 (b)단계에서, 상기 인접 영역의 화소(이하 제1 화소)가 경계 잡음으로 판단되면 상기 제1 화소의 위치에 연속된 화소까지 비교를 하여 연속된 경계 잡음을 검출하는 것을 특징으로 하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법.
  4. 제1항에 있어서,
    상기 (c)단계 또는 (d)단계에서, 가상시점 영상과 기준시점 영상과의 위치를 고려하여 배경에서 가까운 부분부터 채우는 것을 특징으로 하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법.
  5. 제4항에 있어서,
    상기 기준시점 영상의 시점 위치에 대비하여 상기 가상시점 영상의 시점 위치 방향에 있는 화소부터 채우는 것을 특징으로 하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법.
  6. 제1항에 있어서, 상기 (c)단계는,
    (c1) 상기 홀 영역의 화소(이하 홀 화소)를 하나 선택하는 단계;
    (c2) 상기 홀 화소에 이웃하는 화소 중에서 가장 작은 깊이 값을 초기 깊이값으로 결정하고, 상기 초기 깊이값의 화소를 기준 화소로 결정하는 단계;
    (c3) 상기 기준 화소를 중심으로 나선형으로 탐색하되, 상기 초기 깊이 값과 탐색한 화소간의 깊이 값의 차이가 사전에 정해진 임계치 이하인 화소를 검출하는 단계;
    (c4) 검출된 화소들의 색상과 깊이 값에 기준 화소와의 거리 차이에 따른 가중치를 곱하고, 곱한 값들의 평균값 구하여, 기준 화소의 색상 값과 깊이 값으로 할당하는 단계; 및,
    (c5) 상기 (c1)단계 내지 (c4)단계를 상기 홀 영역의 모든 화소에 적용하는 단계를 포함하는 것을 특징으로 하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법.
  7. 제6항에 있어서,
    상기 검출된 화소의 색상 값 ST(x,y)와 깊이 값 SD(x,y)를 [수식 1]에 의해 구하는 것을 특징으로 하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법.
    [수식 1]
    Figure 112013100124130-pat00010

    단, W(p,q)는 (p,q)에서의 유클리디언 거리에 따른 가중치,
    D(p,q)는 (x,y)좌표와 (p,q)좌표에서의 깊이 값 차이에 의한 가중치,
    T(p,q)와 d(p,q)는 (p,q)에서의 색상 값과 깊이 값이고,
    m은 탐색되는 화소의 수이고,
    ei, ej는 탐색되는 화소 i 또는 j의 e를 나타내고,
    Tj는 탐색되는 화소 j의 T(p,q)를 나타내고
    dj는 탐색되는 화소 j의 d(p,q)를 나타내고,
    th는 깊이 가중치를 계산하기 위한 문턱치값임.
  8. 제1항에 있어서, 상기 (d)단계는,
    (d1) 홀 화소에서 상기 홀 화소의 주변에 있는 화소로의 방향에 존재하는 화소들의 색상 값 차이로 기울기 값을 구하고, 최대 기울기를 갖는 방향의 화소(이하 최초 화소)를 찾는 단계;
    (d2) 상기 최초 화소의 방향과 같은 방향 내의 주변 화소 중에서 상기 최초 화소와 색상 값의 차이가 최소인 화소(이하 선택 화소)를 찾는 단계;
    (d3) 상기 선택 화소로 이동하여, 탐색 범위 내에서 (d2)의 단계를 반복하여 선택 화소를 찾는 단계;
    (d4) (d1)부터(d3)의 과정에 찾은 모든 선택 화소들의 평균을 구하여 공통 홀의 화소 값으로 할당하는 단계; 및,
    (d5) 상기 공통 홀의 화소 값으로 상기 홀 영역의 공통 홀을 채울 수 있는 상기 제2 채움 영역을 구하는 단계를 포함하는 것을 특징으로 하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법.
  9. 제1항에 있어서,
    상기 (e)단계에서, 상기 최종 채움 영역의 홀 화소의 색상값 FT(x,y)는 다음 [수식 2]에 의해 계산되는 것을 특징으로 하는 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법.
    [수식 2]
    Figure 112012064076167-pat00011

    단, GT(x,y)와 ST(x,y)는 각각 기울기 탐색 방법과 나선형 가중 평균 방법으로 구한 홀의 색상값이고, α는 가중치임.
KR1020120087676A 2012-08-10 2012-08-10 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법 KR101415147B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120087676A KR101415147B1 (ko) 2012-08-10 2012-08-10 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120087676A KR101415147B1 (ko) 2012-08-10 2012-08-10 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법

Publications (2)

Publication Number Publication Date
KR20140021766A KR20140021766A (ko) 2014-02-20
KR101415147B1 true KR101415147B1 (ko) 2014-07-08

Family

ID=50268007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120087676A KR101415147B1 (ko) 2012-08-10 2012-08-10 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법

Country Status (1)

Country Link
KR (1) KR101415147B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915927A (zh) * 2014-03-11 2015-09-16 株式会社理光 视差图像优化方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102380862B1 (ko) 2015-09-01 2022-03-31 삼성전자주식회사 영상 처리 방법 및 장치
US10163251B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US10163249B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US11972522B2 (en) 2016-03-25 2024-04-30 Outward, Inc. Arbitrary view generation
US9996914B2 (en) 2016-03-25 2018-06-12 Outward, Inc. Arbitrary view generation
JP7237538B2 (ja) * 2018-11-14 2023-03-13 キヤノン株式会社 情報処理装置、それを含むシステム、情報処理方法、およびプログラム
CN110227264B (zh) * 2019-06-06 2023-07-11 腾讯科技(成都)有限公司 虚拟对象控制方法、装置、可读存储介质和计算机设备
KR102454167B1 (ko) * 2019-06-27 2022-10-14 한국전자통신연구원 가상 시점 영상 생성 방법 및 장치
CN111986124A (zh) * 2020-09-07 2020-11-24 北京凌云光技术集团有限责任公司 一种深度图像缺失像素的填充方法及装置
CN117253050B (zh) * 2023-11-20 2024-03-22 华南农业大学 一种基于自适应特征提取的茶芽叶检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ISO/IEC JTC1/SC29/WG11 "Introduction to 3D Video", M9784, May 2008 *
Y. Mori, T. Yendoa, T. Fujii and M. Tanimotoa, "View generation with 3D warping using depth information for FTV", ELSEVIER, Signal P rocessing : Image Communication, vol. 24, 2009 *
엄기문, 방건, 허남호, 김진웅, "3D 비디오 MPEG 표준화 동향", [문헌 ETRI]전자통신동향분석 전자통신동향분석 24권 3호,2009년 *
엄기문, 정광희, 정원식, 허남호, "다시점 3D 및 자유시점 비디오 기술 개발 및 표준화 동향", 전자공학회지, 제38권 제2호, pp.18-23, 2월, 2011년 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915927A (zh) * 2014-03-11 2015-09-16 株式会社理光 视差图像优化方法及装置
CN104915927B (zh) * 2014-03-11 2018-08-07 株式会社理光 视差图像优化方法及装置

Also Published As

Publication number Publication date
KR20140021766A (ko) 2014-02-20

Similar Documents

Publication Publication Date Title
KR101415147B1 (ko) 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법
JP7036599B2 (ja) 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
JP6158929B2 (ja) 画像処理装置、方法及びコンピュータプログラム
JP5575908B2 (ja) ２ｄビデオデータの３ｄビデオデータへの変換のための深度マップ生成技法
KR100793076B1 (ko) 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
US20090129667A1 (en) Device and method for estimatiming depth map, and method for generating intermediate image and method for encoding multi-view video using the same
WO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
EP2327224A2 (en) View synthesis with heuristic view blending
EP2761878A1 (en) Representation and coding of multi-view images using tapestry encoding
Do et al. Quality improving techniques for free-viewpoint DIBR
Farid et al. Depth image based rendering with inverse mapping
US20120170832A1 (en) Depth map generation module for foreground object and method thereof
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
JP2012170067A (ja) トレリス構造を用いてシーンの仮想画像を生成する方法とシステム
KR101458986B1 (ko) 키넥트 기반 실시간 다시점 영상 생성 방법
Iyer et al. Multiview video coding using depth based 3D warping
Amado Assuncao et al. Spatial error concealment for intra-coded depth maps in multiview video-plus-depth
US20120206442A1 (en) Method for Generating Virtual Images of Scenes Using Trellis Structures
US9787980B2 (en) Auxiliary information map upsampling
JP2014014034A (ja) 視差画像生成装置及び視差画像生成方法
Çığla et al. An efficient hole filling for depth image based rendering
Lie et al. Intermediate view synthesis from binocular images for stereoscopic applications
Lin et al. Sprite generation for hole filling in depth image-based rendering
Sebai et al. Piece-wise linear function estimation for platelet-based depth maps coding using edge detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180604

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 6