KR20170140187A

KR20170140187A - 깊이 정보를 이용한 완전 시차 압축 광 필드 합성을 위한 방법

Info

Publication number: KR20170140187A
Application number: KR1020177028643A
Authority: KR
Inventors: 다닐로 브라코 그라지오시; 자히르 와이 알파슬란; 허쎄인 에스 엘-고루리
Original assignee: 오스텐도 테크놀로지스 인코포레이티드
Priority date: 2015-04-23
Filing date: 2016-04-21
Publication date: 2017-12-20
Also published as: JP7036599B2; TW201703518A; CN107430782B; CN107430782A; US20160360177A1; TWI748949B; EP3286737A1; JP2018519697A; WO2016172385A1; US10070115B2

Abstract

압축된 광 필드의 합성에 대한 혁신적인 방법이 설명된다. 압축된 광 필드는 통상적으로 광 필드 뷰들을 서브 샘플링함에 의해 생성된다. 압축된 뷰들은 압축된 광 필드로부터의 정보를 이용하여, 디스플레이에서 합성되어야 한다. 본 발명은 부재 뷰들을 재구성하기 위해 장면의 깊이 정보를 이용하는 뷰 합성을 위한 방법을 설명한다. 효율적인 홀 충진 절차와 결합된 혁신적인 뷰 머징 방법은 깊이 오기(misregistration) 및 부정확성을 보상하여, 완전 시차 광 필드 디스플레이를 위한 실감나는 합성 뷰들을 생성한다.

Description

깊이 정보를 이용한 완전 시차 압축 광 필드 합성을 위한 방법

본 출원은 2015년 4월 23일자 출원된 미국 가출원번호 제62/151,616호의 이익을 주장한다.

본 발명은 일반적으로 이미지 및 비디오 합성에 관한 것으로, 보다 구체적으로는 광 필드 3D 촬상 시스템에 대한 입력으로서 이용되는 광 필드 이미지 데이터의 합성에 관한 것이다. 용어 "광 필드"는 방향, 진폭, 주파수 및 위상을 포함하는 광의 전송 및 변조를 나타내며, 따라서, 홀로그래피(holography), 집적 촬상(integral imaging), 스테레오스코피(stereoscopy), 멀티-뷰 촬상(multi-view imaging), FTV(Free-viewpoint TV) 등과 같은 기술을 이용하는 촬상 시스템을 캡슐화한다.

광 필드 디스플레이는, 뷰잉(viewing)을 위한 전용 안경을 요구함이 없이 장면의 3D 객체들을 재구성하기 위해 광의 세기 및 방향을 변조한다. 이를 달성하기 위해, 광 필드 디스플레이들은 통상적으로 상당 수의 뷰(view)들을 이용함으로써, 3D 프로세싱 체인(processing chain)의 획득 및 전송 단계에서 여러 도전들을 부과한다.

압축은 수반된 거대한 데이터 크기를 처리하는데 필요한 툴이며, 통상적으로 시스템들은 생성 단계에서 그 뷰들을 서브-샘플링하고 디스플레이에서 부재 뷰(absent view)를 재구성한다. 예를 들어, Yan 등에 의한, "Integral image compression based on optical characteristic", Computer Vision, IET, vol.5, no.3, pp.164, 168 (May 2011)과, Yan Piao등에 의한, "Sub-sampling elemental images for integral imaging compression", 2010 International Conference on Audio Language and Image Processing (ICALIP), pp.1164, 1168 (23-25 Nov. 2010)에서, 저자들은 디스플레이 시스템의 광학적 특성들에 기초하여 요소 이미지(elemental image)의 서브 샘플링을 실행한다. Jin-Xiang Chai 등에 의한 저작물인, (2000) Plenoptic sampling, in Proceedings of the 27th annual conference on Computer graphics and interactive techniques (SIGGRPAH'00)과, Gilliam, C등에 의한 "Adaptive plenoptic sampling", 2011 18th IEEE International Conference on Image Processing (ICIP), pp.2581, 2584 (11-14 Sept. 2011)에서, 광 필드 샘플링에 대한 보다 정리된 방식이 발견될 수 있다. 디스플레이측에서 뷰들을 재구성하기 위해, 컴퓨터 그래픽 방법들에서부터 이미지 기반 랜더링까지 여러 다른 방법들이 이용될 수 있다.

컴퓨터 그래픽에서는, 장면을 생성하거나 장면의 뷰를 생성하는 것을 뷰 랜더링(view rendering)이라 한다. 통상적으로, 카메라 뷰 포인트(camera point of view)로부터의 조명 및 표면 성질들을 합체한 복합 3D 기하학적 모델(complex 3D geometrical model)이 이용된다. 이러한 뷰 랜더링은, 통상적으로, 다수의 복잡한 작용들과 장면 기하학적 구조의 세부적 지식을 요구한다. 대안적으로, 이미지 기반 랜더링(Image-Based Rendering: IBR)은 복합 3D 기하학적 모델들의 이용을 다수의 주변 뷰포인트들(surrounding viewpoints)의 이용으로 대체하여, 광 필드를 오버 샘플링(oversampling)한 입력 이미지들로부터 직접 뷰들을 합성한다. IBR이 보다 실감나는 뷰들을 생성하지만, 그것은 광 필드에 있어서 보다 강력한 데이터 획득 프로세스, 데이터 저장 및 중복성을 요구한다. 데이터 취급 페널티(data handling penalty)를 줄이기 위해, DIBR(Depth Image-Based Rendering)은 3D 기하학적 모델로부터의 깊이 정보를 이용하여, 필요한 IBR 뷰들의 개수를 줄인다. (미국 특허 번호 8,284,237호, "View Synthesis Reference Software (VSRS) 3.5," wg 11.sc29.0rg, March 2010과, C. Fehn에 의한 "3D-TV Using Depth Image-Based Rendering (DIBR)," in Proceedings of Picture Coding Symposium, San Francisco, CA, USA, Dec.2004 참조). 각각의 뷰는 깊이 맵(depth map)으로 알려진, 각 픽셀 위치와 연관된 깊이를 가지는데, 이것은 부재 뷰를 합성하는데 이용된다.

도 1에 도시된 것과 유사한 DIBR 방법은, 통상적으로, 3개의 뚜렷한 단계들, 즉, 뷰 워핑(view warping)(또는 뷰 투사), 뷰 머징(view merging)(105) 및 홀 충진(hole filling)(107)을 가진다. 뷰 워핑은 한 카메라에 의해 포착된 장면을 다른 카메라의 이미지 평면에 재투사(reprojection)하는 것이다. 이 프로세스는. 포착 디바이스의 특성들, 즉, 카메라의 내적(초점 길이, 주점(principal point)) 및 외적(회전, 3D 위치) 파라메타들(C. Fehn에 의한, "3D-TV Using Depth Image-Based Rendering (DIBR)," in Proceedings of Picture Coding Symposium, San Francisco, CA, USA, Dec.2004)과 참조 뷰(reference view)내의 픽셀당 깊이 정보(per-pixel depth information)에 의해 제공되는, 장면의 기하학적 구조를 이용한다. 투사는 2개의 개별적인 단계, 즉, 디스패리티 값들(disparity values)만을 투사하는 순방향 워핑 (103) 단계와, 참조들로부터 컬러 값을 페치(fetch)하는 역방향 워핑 단계(106)로 실행될 수 있다. 디스패리티 워핑이 라운딩(rounding) 및 깊이 양자화에 의해 영향을 받을 수 있기 때문에, 잘못 워핑된 디스패리티 값들을 교정하기 위해 시스템에 선택적인 디스패리티 필터링(104) 블럭이 추가될 수 있다.

하나의 참조 뷰가 워핑된 후에도, 목표 이미지의 일부분들을 여전히 알지 못할 수 있다. 서로 다른 깊이에 있는 객체들이 서로 다른 겉보기 속도(apparent speed)로 이동하기 때문에, 참조 뷰에서 하나의 객체에 의해 가려진 장면의 일부가 목표 뷰에서 비폐색(disocclusion)될 수 있는 반면, 목표 뷰의 이 부분의 컬러 정보는 참조로부터 입수하지 못할 수 있다. 전형적으로, 다수의 뷰 포인트들로부터의 장면을 커버하기 위해 다수의 참조들을 이용하며, 그럼으로써, 한 참조의 비폐색 부분(disoccluded part)들이 다른 참조 이미지로부터 획득될 수 있게 된다. 다수의 뷰들로 인해, 그 장면의 비폐색 부분들이 다른 참조들로부터 도래할 수 있게 되며, 다수의 참조들에 의해 장면의 일부분들을 동시에 볼 수 있게 된다. 따라서, 참조들의 워핑된 뷰들은 상보적이며 동시에 서로 중복된 것일 수 있다. 뷰 머징(105)은 이들 다수의 뷰들이 함께 하나의 단일 뷰로 되게 하는 작용이다. 다른 뷰들로부터의 픽셀들이 동일 위치에 매핑되면, 여러 뷰들의 보간 또는 가장 가까운 뷰에 의해 주어질 도미넌트 뷰(dominant view)를 결정하기 위해 깊이 값이 이용된다.

다수 개의 뷰들이 있음에도, 목표 뷰에서 볼 수 있는 장면의 일부는 참조 뷰들에 있어서 임의 컬러 정보에 대응하지 않을 수 있다. 이들 컬러 정보가 없는 위치들을 홀(hole)이라 하며, 주변 픽셀 값들로부터의 컬러 정보로 이들 홀들을 충진하기 위한 여러가지의 홀 충진(107) 방법들이 제안되었다. 통상적으로, 홀들은 객체 비폐색으로부터 생성되고, 누락된 컬러는 배경 컬러와 높은 상관 관계를 가진다. 배경 정보에 따라 홀내를 충진하기 위한 여러 가지 방법들이 제안되었다 (Kwan-Jung Oh 등에 의한 "Hole filling method using depth based inpainting for view synthesis in free viewpoint television and 3-D video", Picture Coding Symposium, 2009. PCS 2009, pp. 1,4,6-8, May 2009).

디스플레이 디바이스 해상도의 제한으로 인해, DIBR 방법들은 완전 시차 광 필드 이미지들에 충분히 적용되지 않았다. 그러나, 매우 작은 픽셀 피치(미국 특허 번호 제8,567,960호)를 가진 고 해상도 디스플레이 디바이스의 도래에 따라, DIBR 기술을 이용한 완전 시차 광 필드들의 뷰 합성이 실현 가능하다.

Levoy 등은 광 필드를 포착하고 그의 뷰 포인트들을 재구성하기 위해 2개의 병렬 평면들간에 광선 보간(light ray interpolation)을 이용하였다 (1996년도 Marc Levoy 등에 의한, "Light field rendering" in Proceedings of the 23rd annual conference on Computer graphics and interactive techniques (SIGGRAPH '96)). 그러나, 실감있는 결과를 달성하기 위하여, 이 방식은 생성되고 프로세싱될 수많은 양의 데이터를 필요로 한다. 장면의 기하학적 구조, 특히, 깊이가 고려될 경우, 데이터 생성 및 프로세싱에 있어서 상당한 감소가 실현될 수 있다.

1996년도 Steven J. Gortler 등에 의한 "The lumigraph" in Proceedings of the 23rd annual conference on Computer graphics and interactive techniques (SIGGRAPH' 96)의 저자들은 광선 보간을 교정하기 위해 깊이의 이용을 제안하며, 2000년 Jin-Xiang Chai 등에 의한 "Plenoptic sampling" in Proceedings on the 27th annual conference on Computer graphics and interactive techniques (SIGGRAPH '00)에서는, 랜더링 품질이 뷰들의 개수 및 이용 가능한 깊이에 비례함을 보여주었다. 보다 많은 깊이 정보가 이용되면, 보다 적은 참조들이 요구된다. 불리하게도, 그러나, 깊이 이미지 기반 랜더링 방법들은 합성 방법들의 정밀도 제한 및 부정확한 깊이 값들로 인해 오류가 쉽게 발생하였다.

깊이 획득은 그 자체로 복잡한 문제이다. 통상적으로, 시스템들은 카메라들의 어레이를 이용하며, 객체의 깊이는 서로 다른 카메라 위치들에 있는 대응하는 객체 특성들에 의해 추정될 수 있다. 이 방식은 비폐색 또는 평활 표면(smooth surface)들로 인해 오류가 발생하기 쉽다. 마지막으로, 깊이 카메라 및 비과 카메라(time-of-flight camera)와 같이 깊이 획득을 위한 여러가지 활성 방법들이 이용되었다. 그럼에도 불구하고, 포착된 깊이 맵들은 낮은 진폭임에도 뷰 합성 절차에 악영향을 주는 노이즈 레벨들을 야기한다.

부정확한 기하학적 정보에 대처하기 위하여, 많은 방법들이 전치 프로세싱 단계를 적용하여 획득된 깊이 맵들을 필터링한다. 예를 들어, Kwan-Jung Oh등에 의한 "Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video", Signal Processing Letters, IEEE, vol. 16, no.9, pp.747, 750(Sept. 2009)에, 에지를 강화하면서 깊이 맵을 평활시키는 필터링 방법이 제안되었다. Shujie Liu 등에 의한, "New Depth Coding Techniques With Utilization of Corresponding Video", IEEE Transaction on Broadcasting, vol.57, no.2, pp.551, 561, (June 2011)의 저자들은, 컬러와 깊이간의 매칭을 개선하기 위해 종래의 양방향 필터에 대응하는 컬러 정보를 추가하는 삼방향 필터(trilateral filter)를 제안한다. 그럼에도, 깊이 정보의 전치 프로세싱은 합성 아티팩트를 제거하지 못하며, 저지연 시스템에 대해 계산적으로 집약적이면서 비실용적일 수 있다.

뷰 머징에 대한 문제는 뷰들간의 컬러 부정합이다. 2010년, Yang L 등에 의한 "Artifact reduction using reliability reasoning for image generation of FTV", J Vis Commun Image Represent, vol 21, pp 542-560 (Jul-Aug 2010)의 저자들은 2개의 참조들간의 대응성을 입증하기 위해 참조 뷰에서 또 다른 참조 뷰 위치로의 워핑을 제안한다. 신뢰할 수 없는 픽셀들, 즉, 2개의 참조들에 있어서 다른 컬러 값을 가진 픽셀들은 워핑 동안에 이용되지 않는다. 참조 픽셀들의 개수를 줄이지 않기 위하여, "Novel view synthesis with residual error feedback for FTV," in Proc. Stereoscopic Displays and Applications XXI, vol. 7524, Jan. 2010, pp. 75240L-1-12 (H. Furihata 등)의 저자들은 2개의 참조 뷰들에 있어서의 대응 픽셀들간의 차이로부터 획득한 컬러 정정 계수의 이용을 제안한다. 제안된 방법이 랜더링 품질을 개선하였지만, 그 개선은 픽셀 컬러 및 깊이를 검사하기 위해 증가된 계산 시간 및 메모리 리소스들이란 대가를 치르게 하였다.

종래 기술의 합성 방법들이 서로 가까운 참조 뷰들에 대해 최적화된 것이기 때문에, DIBR 방법들은 광 필드 서브-샘플링에 대한 효과가 떨어지며, 참조 뷰들은 서로 더 멀어진다. 또한, 데이터 처리 부하를 줄이기 위해, 뷰 합성을 위한 종래 기술의 방법들은 통상적으로 수평 시차 뷰들만을 목표로 하며, 수직 시차 정보는 프로세싱되지 않는 채로 남겨진다.

3D 코딩 표준화(ISO/IEC JTC1/SC29/WG11, Call for Proposals on 3D Video Coding Technology, Geneva, Switzerland, March 2011)의 프로세스에 있어서, 3D 디스플레이 프로세싱 체인(processing chain)의 일부로서 뷰 합성이 고려되고 있는 중인데, 이는 그것이 디스플레이 단계들 및 포착의 분리(decoupling)를 허용하기 때문이다. 디스플레이 측에서 뷰 합성을 합체함에 의해, 포착될 필요가 있는 뷰들이 거의 없게 된다. 합성 절차가 표준의 일부는 아니지만, MPEG 그룹은 3D 비디오 시스템의 평가에 이용될 뷰 합성 기준 소프트웨어(VSRS(View Synthesis Reference Software), U.S 특허 번호 제8,284,237호)를 제공한다. VSRS 소프트웨어는 뷰 워핑, 뷰 머징 및 홀 충진과 같은 3 단계 모두를 포함하는, 뷰 합성을 위한 최신 기술들을 구현한다. VSRS가 (컴퓨터 그래픽 모델들로부터 획득한 실지 검증 깊이 맵(ground-truth depth maps)에서부터, 스테레오 페어 이미지들(stereo pair images)로부터의 추정된 깊이 맵들까지를 포함하는) 임의 유형의 깊이와 함께 이용될 수 있기 때문에, 깊이 맵 불완전성 및 합성 부정확성을 적응적으로 다루기 위해 많은 정교한 기술들이 합체되었다. 예를 들어, 도 2에는 VSRS에 의해 채택된 적응적 머징 동작의 흐름도가 도시된다. 합성의 경우, 출력(201)을 결정하기 위해, 단지 2개의 뷰, 즉 좌측 뷰와 우측 뷰만이 이용된다. 먼저, 좌측 깊이와 우측 깊이간의 차이의 절대값이 사전 결정된 임계치(202)와 비교된다. 이러한 차이가 사전 정의된 임계치보다 더 크면 (깊이 값들이 서로 매우 다르며, 다른 깊이 층들내의 객체들과 관련 가능성이 있음을 나타냄), 최소 깊이 값(203)은 카메라에 보다 가까운 객체를 결정하고, 그 뷰는 좌측 뷰(207) 또는 우측 뷰(208) 중 어느 하나인 것으로 간주된다. 깊이 값들이 서로 가까우면, 출력 뷰들을 결정하기 위해 홀들의 개수가 이용된다. 좌측 뷰와 우측 뷰에 있어서의 홀들의 개수간의 절대 차는 사전 결정된 임계치와 비교된다(205). 두 뷰들이 유사한 홀들의 개수를 가지고 있는 경우, 두 뷰들로부터 도래하는 픽셀들의 평균(209)이 이용된다. 그렇지 않을 경우, 보다 소수의 홀(206)을 가진 뷰가 출력 뷰로서 선택된다. 이 절차는 신뢰할 수 없는 워핑된 픽셀들에 대해 유효하며, 잘못된 값들을 검출하여 그들을 거부하지만, 그와 동시에 높은 계산적인 대가를 요구하는데, 그 이유는, 각 픽셀마다 개별적으로 복잡한 뷰 분석(깊이 비교 및 홀 카운트)이 실행되기 때문이다.

VSRS는 수평 카메라 배열을 이용하고, 단지 2개의 참조만을 이용한다. 그것은, 작은 베이스라인(baseline)들을 가진 뷰들(즉, 서로 가까운 뷰들)의 합성에 최적이다. 그것은 수직 카메라 정보를 이용하지 않으며, 광 필드 합성에 이용되기에 적합하지 않다. Graziosi등에 의한 "Depth assisted compression of full parallax light fields", IS&T/SPIE Electronic Imaging, International Society for Optics and Photonics (March 17, 2015)에, 광 필드를 목표로 하고 수평 및 수직 정보를 이용하는 합성 방법이 소개되었다. MR-DIBR(Multiple Reference Depth-Image Based Rendering)이라고 하는 방법이 도 3에 도시되며, 그 방법에서는 광 필드를 랜더링하기 위해 연관된 디스패리티들(301,302 및 303)을 가진 다수의 참조들(321,322 및 323)을 이용한다. 먼저, 디스패리티들은, 목표 위치로 순방향 워핑된다(305). 다음, 필터링 방법(310)이 워핑된 디스패리티들에 적용되어 부정확한 픽셀 변위(pixel displacement)에 의해 유발되는 크랙(crack)과 같은 아티팩트를 완화시킨다. 이하의 단계는 필터링되고 워핑된 디스패리티들 모두를 머징하기 위한 것이다(315). 보다 작은 깊이를 가진(뷰어에 가장 가까운) 픽셀들이 선택된다. VSRS는 유사한 깊이 값을 가진 2개의 뷰들로부터 컬러 정보를 혼합하고, 블러링된(blurred) 합성 뷰를 획득한다. 이와 대조적으로, Graziosi등에 의한, "Depth assisted compression of full parallax light fields", IS&T/SPIE Electronic Imaging, International Society for Optics and Photonics (March 17, 2015)의 발명은 참조 뷰의 고 해상도를 유지하기 위해 머징후 단지 하나의 뷰만을 이용한다. 또한, 여러 참조들을 보간하는 것 보다 단지 하나의 참조로부터 컬러 정보를 단순히 복제함으로 인해 랜더링 시간이 줄어든다. 마지막으로, 참조들의 컬러들(321, 322 또는 323)로부터 컬러를 역방향 워핑(320)하고, 머징된 요소 이미지 디스패리티(308)가 이용되어, 최종 합성 요소 이미지(326)를 생성한다.

뷰 머징 알고리즘은, 참조 뷰들로부터의 깊이 값이 부정확할 때, 품질 열화를 드러낸다. 깊이 값들을 필터링하는 방법이, 미국특허번호 제8,284,237호와, C. Fehn에 의한 "3D-TV Using Depth-Image-Based Rendering (DIBR)," in Proceedings of Picture Coding Symposium, San Francisco, CA, USA, (Dec. 2004) 및 Kwan-Jung Oh등에 의한, "Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video", Signal Processing Letters, IEEE, vol. 16, no. 9, pp. 747, 750, (Sept. 2009)에 제안되었다. 그러나 그들은 시스템의 계산적 요건을 증가시키고 디스플레이 시스템의 대기 시간을 증가시킬 수 있다.

본 발명의 목적은 깊이 부정확성을 처리할 수 있고 보다 적은 계산적 리소스들을 가진 고 품질 합성 뷰를 획득할 수 있는 뷰 머징 방법을 개시하는 것이다.

본 발명은 종래 기술의 단점을 극복하기 위해 광 필드 합성을 위한 혁신적인 뷰 머징 방법을 도입한다.

본 발명의 추가적인 목적 및 장점은 이하의 상세한 설명으로부터 명백해질 것이다.

이하의 설명에서는, 유사한 소자에 대해 도면이 다를 지라도 유사한 도면 참조 번호가 이용된다. 또한, 본 분야에 잘 알려진 기능들은 불필요한 설명으로 인해 본 발명을 모호하게 할 수 있기 땜문에, 그 기능들은 상세하게 설명하지 않겠다.
도 1은 압축 광 필드 디스플레이 시스템에 대한 깊이-이미지 기반 랜더링의 3가지 주요 단계들을 도시한 도면이다.
도 2는 종래 기술에 이용된 적응적 머징 절차의 흐름도이다.
도 3은 Graziosi등에 의한, "Depth assisted compression of full parallax light fields", IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics (March 17, 2015)에 설명되고, 본 발명의 기초가 되는 방법의 흐름도이다.
도 4는 본 발명의 MR-DIBR(multiple reference depth-image based rendering) 방법의 흐름도이다.
도 5는 본 발명의 픽셀 당 뷰 선택 방법의 실시 예를 도시한 도면이다.
도 6은 본 발명의 뷰 머징 방법의 실시 예를 도시한 도면이다.
도 7은 블럭 프로세싱에 적용된 본 발명의 뷰 머징 방법의 실시 예를 도시한 도면이다.
도 8은 본 발명의 홀 충진 방법의 실시 예를 도시한 도면이다.
도 9는 본 발명의 홀 충진 방법의 다른 선택을 도시한 도면이다.

본 발명에서는, "요소 이미지"라고 하는 카메라 뷰들의 2D 매트릭스에 광 필드가 배열된다. 카메라 뷰들은 서로 동일하며, 수평 및 수직 변위만을 가진 동일 깊이 평면에 배열된다. 수평 및 수직 정렬된 뷰들의 경우, 수평 및 수직 픽셀 편이(pixel shifting)에 의해 뷰 워핑(투사)이 행해질 수 있다. 요소 이미지는 통상적으로 디스플레이 아키텍처내에 통합된다. 예를 들어, 렌즈 기반 촬상 시스템에 있어서, 요소 이미지들은 요소 이미지를 지향성 변조하는 렌즈셋(lenset) 또는 마이크로-렌즈(micro-lens) 아래에 배치된다.

MR-DIBR에 이용되는 머지 동작은 부정확한 깊이 값에 의해 악영향을 받으며, 결과적으로 워핑된(재투사된) 뷰들이 정합되지 않게 된다. 머징이 실행되면, 카메라에 보다 가까운 뷰들이 이용되지만, 깊이 값이 잘못되었기 때문에, 머징된 결과는 잘못된 컬러 값을 가지게 될 것이다. 또 다른 문제는, 가장 가까운 카메라들이 항상 승리하기 때문에, 깊이 값이 서로 유사하되 잡음에 의해 달라지면, 참조 뷰 선택이 변경된다는 것이다. 참조 뷰 컬러 이미지들이 다른 밝기를 가지면, 한 참조에서 다른 참조로의 변경으로부터 머징된 컬러에 아티팩트가 생성된다. 또한, 머징 동작 후 홀들을 여전히 볼 수 있게 된다. 그러므로, 본 발명의 목적은, 도 4에 도시된 바와 같이 뷰 머징(415)을 수정하고, 효율적인 홀 충진 절차(325)를 포함시킴에 의해, Graziosi등에 의한, "Depth assisted compression of full parallax light fields", IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics (March 17, 2015)에 개시된 방법을 개선하는 것이다.

본 발명의 일 실시 예에서, 뷰 머징을 위한 방법이 설명된다. 그 절차의 흐름도가 도 5 및 도 6에 도시된다. 각 픽셀에 대해, 참조 뷰들이 테스트될 것이고, 단지 하나의 뷰만이 출력 뷰로서 결정될 것이다(601). 서로 다른 뷰들로부터의 값들을 비교하기 위하여, 그들은 워핑된 뷰의 깊이 히스토그램을 계산하고, 수학식 (1)에 나타난 바와 같이, 가중 계수들로서 빈도(frequency)를 이용하여 N 개의 가장 높은 값들을 평균화함에 의해 객관적으로 정량화된 신뢰성 스코어(602)에 따라 순서화된다. 여기서, N은 경험적으로 정의된 이미지 종속 시스템 파라메타이다.

뷰 신뢰성 스코어 =

(1)

각 픽셀 마다(603), 최고 뷰(500)를 선택하는 프로세스가 실행되는데, 이 프로세스는 더 이상 프로세싱될 픽셀이 없을 때까지(604) 실행된다. 뷰 선택 프로세스는 도 5에 도시된다. 그 절차의 시작은 머징 동작의 출력을 초기화하기 위해 가장 높은 스코어를 가진 뷰를 선택하는 것이다. 순서화된 리스트로부터 다음 뷰가 선택되고, 그의 디스패리티가, 현재 출력 디스패리티 값과 비교될 후보 디스패리티로서 선택된다. 현재 디스패리티 값이 홀 위치를 나타내면(502), 그 출력은 현재 뷰의 디스패리티 값을 할당받으며, 그 위치에 새로운 디스패리티가 저장될 것이다(505). 현재 위치가 이미 디스패리티 값을 가지면, 현재 디스패리티와 후보 디스패리티 간의 절대 차가 주어진 임계치와 비교되는데(503), 그 임계치는 머징 동작의 안정성을 제어하는 경험적으로 정의된 참조 뷰 종속적인 시스템 파라메타(empirically defined, reference view dependent, system parameter)이다. 디스패리티 체크를 추가하고, 임계치를 조정하고 가장 신뢰성있는 뷰의 이용을 우선시함으로써, 머징 동작에 있어서 뷰 선택이 보다 안정적으로 된다. 그 차이가 주어진 임계치보다 크면, 어느 디스패리티가 더 큰지를 체크하기 위해 제 2 테스트(504)가 실행된다. 후보 디스패리티가 현재 디스패리티보다 큰 경우, 출력 디스패리티 값 및 출력 뷰(505)가 갱신된다. 모든 참조 뷰들이 유사하게 테스트된다(506).

도 7에 도시된 머징 동작은 알고리즘(600)의 실행 전에 입력 워핑된 이미지들을 픽셀들의 M×N 블럭들로 분할한다(702). 각 블럭의 프로세싱이 서로 독립적이기 때문에, 그것은 병렬 프로세스들로 디스플레이상에서 편리하게 실행될 수 있다. 그렇지 않을 경우, 단일 프로세서 상에서, 모든 블럭들이 프로세싱될 때 까지 이 절차가 반복된다(704). 단일 프로세서 동작의 경우, 이미지를 가로질러 블럭간 신뢰성이 가변할 경우 이미지를 블럭들로 분할하는 것이 유용한데, 그 이유는 보다 정확한 신뢰성 추정을 갖게 되기 때문이다.

신뢰성 스코어는 블럭내의 홀 카운트에 의해 결정될 수 있다. 그 머지 결과는 H.264/AVC 비디오 압축 표준 블럭 분리(deblock) 필터(ISO/IEC 14496-10:2003, "Coding of Audiovisual Objects―Part 10: Advanced Video Coding," 2003, also ITU-T Recommendation H.264 "Advanced video coding for generic audiovisual services")와 같은 포스트-필터(post-filter)에 의해 추가로 개선될 수 있다. 컬러 부정합들은 블럭 레벨로 조정될 수 있는데, 거기에서는, 이웃하는 블럭들의 블럭 루미넌스가 비교되고, 컬러 레벨들은 이웃하는 컬러 레벨들에 따라 조정된다. 추가로, 합성 동작은 이웃하는 블럭들로부터의 정보를 이용하여 머지 동작에 있어서의 뷰 일관성(view consistency)을 유지하고 뷰 스위칭으로 인해 발생할 수 있는 아티팩트를 피할 수 있다. 보다 정확한 뷰 평가를 달성하기 위해, 본 발명의 또 다른 가능한 실시 예는, 예를 들어, 블럭 당 홀의 개수를 고려하여 적응적인 블럭 크기를 이용한다.

홀 충진에 대한 많은 방법들이 있지만, 큰 관심은 홀 충진 알고리즘의 복잡성이다. 본 발명에서는 수평 배경 연장에 기초한 단순한 홀 충진 절차를 채택한다. 도 8 및 도 9에는 본 발명의 실시 예에 의해 채택된 기술이 도시된다. 역방향 워핑 동안, 홀과 조우하면(903), 홀의 좌측 경계(901)에서의 깊이와 우측 경계(902)에서의 깊이가 획득된다. 2개의 깊이들이 비교되며(802), 좌측상의 깊이가 배경 깊이(즉, 카메라로부터 보다 먼 깊이 값)를 나타내면, 홀의 좌측 경계에 있는 픽셀에 의해 표시된 참조의 컬러 값이 홀(904) 전체에 걸쳐 복제된다(804). 반대 현상이 나타나서 우측 값이 배경과 관련되면, 홀의 우측 경계로부터의 참조의 컬러 값이 홀(905) 전체에 걸쳐 복제된다(805). 컬러 확장이 패턴 또는 수직 컬러 변경을 무시하기 때문에, 이 절차는 배경 아티팩트를 이끌 수 있다. 그러나, 이들 아티팩트들은 인지된 이미지 품질에 대한 영향이 덜한데, 그 이유는 광 필드들의 경우에, 뷰어 이미지들이 단지 하나의 단일 요소 이미지로부터가 아니라 다수의 요소 이미지들부터의 다수의 픽셀들에 의해 생성되기 때문이다. 잘못된 홀 충진은 인지된 이미지 품질보다도 디스플레이의 움직임 시차에 대해 보다 크게 영향을 미치며, 통상적으로 중앙 뷰잉 각도보다 급격한 뷰잉 각도에 영향을 미친다. 따라서, 잘못된 홀 충진에 의해 유발된 아티팩트는 뷰어 경험에 대한 영향이 낮다.

본 개시에 있어서 깊이 및 디스패리티가 참조되었음을 알아야 한다. 깊이 및 디스패리티는 관련된 파라메타로서, 일반적으로 본 개시에서 다른 것으로 대체될 수 있으며, 청구범위에서는 이하의 수학식에 따른다.

Z = fB/d

여기에서, Z는 깊이 값이고, f는 초점 거리이며, B는 베이스 라인(즉, 카메라가 투사되고 있는 위치와 참조 카메라의 위치간의 거리)이고, d는 디스패리티이다.

당업자라면 첨부된 청구범위에 정의되고 그에 의해 정의된 범주를 벗어나지 않고도 본 발명의 실시 예들에 다양한 수정 및 변경이 적용될 수 있음을 쉽게 알 것이다. 예를 들어, 뷰 신뢰성 스코어를 획득하기 위해 대안적인 방법들이 이용될 수 있다. 본 발명의 상술한 예시들은 단지 예시적인 것이며, 본 발명은 그의 사상 또는 필수적 특성으로부터 벗어나지 않고서 다른 특정 형태로 구현될 수 있음을 알아야 한다.

Claims

다수의 사전 결정된 뷰(view)들과 각 디스패리티 값들(disparity values)을 나타내는 데이터 세트로부터 광 필드(light field)의 합성을 위한 방법으로서,
a) 사전 결정된 뷰들의 개수와 동일한 단일 뷰 위치에 다수의 사전 결정된 뷰들을 제공하기 위해, 각 디스패리티 값들을 이용하여 다수의 사전 결정된 뷰들을 단일 뷰 위치에 투사하고;
b) 머징된 뷰(merged view)를 정의하기 위해 다수의 사전 결정된 뷰들을 머징(merging)하고,
c) 디스플레이를 위한 합성된 광 필드를 정의하기 위해 머징된 뷰에 대해 홀-충진(hole-filling) 동작을 수행하는 것을 구비하되,
상기 머징은,
ⅰ) 각각의 사전 결정된 뷰의 명백한 신뢰성(apparent reliability)을 결정하기 위해 다수의 사전 결정된 뷰들의 각각을 평가하고;
ⅱ) 각각의 픽셀에 대하여, 이전에 선택되지 않은 가장 명백하게 신뢰성있는 뷰를 선택하고 각 디스패리티 값을 이용하거나 홀의 위치를 노우팅(noting)하며;
ⅲ) 이전에 선택되지 않은 가장 명백하게 신뢰성있는 뷰를 다시 선택하고, 홀 충진 픽셀들이 존재하면, ⅱ) 단계에서 발견된 홀을 충진하며;
ⅳ) 모든 사전 결정된 뷰들이 프로세싱될 때까지 추가적인 사전 결정된 뷰들에 대해 ⅱ) 단계와 ⅲ) 단계를 반복하는 것을 포함하는
광 필드의 합성을 위한 방법.
제 1 항에 있어서,
각 디스패리티 값들을 이용하여 다수의 사전 결정된 뷰들을 단일 뷰 위치에 투사하는 것은, 다수의 사전 결정된 뷰들 중 임의 뷰의 위치와는 다른 위치에 투사하는
광 필드의 합성을 위한 방법.
제 1 항에 있어서,
b)의 ⅱ)단계에서 디스패리티 값이 이용되었던 각 픽셀에 대하여, 홀을 충진하는 것처럼 b)의 ⅲ) 단계의 일부로서 그 디스패리티 값을 대체하되, 이러한 대체는, 그 대체 디스패리티가 b)의 ⅱ)단계에서 이용된 디스패리티 값보다 더 크면 수행되는
광 필드의 합성을 위한 방법.
제 1 항에 있어서,
각 디스패리티 값들의 노이즈에 기초하여 임계치를 결정하는 것을 더 구비하고,
b)의 ⅱ)단계에서 선택된 가장 신뢰성 있는 뷰에 있어서의 각 픽셀에 대하여, 다음번째로 가장 신뢰성있는 뷰의 각 픽셀에 대한 디스패리티와 각 디스패리티간의 차이의 절대 값이 임계치보다 낮은 경우에만 임의 각 픽셀에 대한 각 디스패리티 값이 이용되고, 그렇지 않으면, 2개의 디스패리티들 중 보다 큰 것이 각 픽셀의 디스패리티로서 이용되는
광 필드의 합성을 위한 방법.
제 1 항에 있어서,
다수의 사전 결정된 뷰들은 사전 결정된 다수의 뷰들보다 더 많은 다수의 뷰들로부터 선택되는
광 필드의 합성을 위한 방법.
제 1 항에 있어서,
다수의 사전 결정된 뷰들을 나타내는 데이터 세트는 사전 결정된 뷰들의 각각의 위치의 식별을 포함하며, 사전 결정된 뷰들 중 적어도 하나의 뷰의 위치는 뷰의 분석에 의해 판정되는
광 필드의 합성을 위한 방법.
제 1 항에 있어서,
b)의 ⅱ) 단계에서, 각 뷰에 있어서의 각 디스패리티의 발생 빈도를 발견하고, N개의 가장 빈번한 디스패리티들의 가중 합에 응답하는 명백한 신뢰성을 수립함에 의해 각 사전 결정된 뷰의 명백한 신뢰성이 결정되고, 각 뷰에 있어서의 디스패리티의 반복의 값들로서 가중치가 제공되고, 모든 사전 결정된 뷰에 대해 N과 동일한 값이 이용되고, N은 워핑된 뷰에 있어서의 다수의 서로 다른 디스패리티 값들에 응답하여 선택되는
광 필드의 합성을 위한 방법.
제 1 항에 있어서,
c)의 홀 충진 동작은, 홀의 반대되는 경계들에 있는 픽셀들을 비교하고, 반대측 경계에 관한 배경을 나타내는 경계의 픽셀을 반복함으로써 홀을 충진하는 것을 구비하는
광 필드의 합성을 위한 방법.
제 8 항에 있어서,
반대측 경계들은 머징된 뷰에 있어서 수평 라인을 따르는 반대측 경계들인
광 필드의 합성을 위한 방법.
제 1 항에 있어서,
상기 방법은, a)와 b) 사이에, 투사된 다수의 사전 결정된 뷰들을 픽셀들의 M×N 블럭들로 분할하고, 블럭 단위로 b)와 c)를 완료하는 것을 더 구비하는
광 필드의 합성을 위한 방법.
제 10 항에 있어서,
M×N 블록의 크기는 블럭 단위로 b)와 c)를 완료한 후 블럭들내의 홀들의 개수에 기초하여 적응적인
광 필드의 합성을 위한 방법.
제 10 항에 있어서,
c) 이후, 합성된 광 필드가 추가 프로세싱되는
광 필드의 합성을 위한 방법.
제 12 항에 있어서,
추가 프로세싱은 이웃 블럭들의 블럭 루미넌스를 비교하고, 이웃 컬러 레벨들에 따라 컬러 레벨을 조정하는 것을 포함하는
광 필드의 합성을 위한 방법.
제 12 항에 있어서,
추가 프로세싱은 필터링을 포함하는
광 필드의 합성을 위한 방법.
제 14 항에 있어서,
추가 프로세싱은 필터링을 블럭 분리하는 것을 포함하는
광 필드의 합성을 위한 방법.