KR20110073474A - 휴리스틱 뷰 병합을 사용하는 뷰 합성 - Google Patents

휴리스틱 뷰 병합을 사용하는 뷰 합성 Download PDF

Info

Publication number
KR20110073474A
KR20110073474A KR1020117006765A KR20117006765A KR20110073474A KR 20110073474 A KR20110073474 A KR 20110073474A KR 1020117006765 A KR1020117006765 A KR 1020117006765A KR 20117006765 A KR20117006765 A KR 20117006765A KR 20110073474 A KR20110073474 A KR 20110073474A
Authority
KR
South Korea
Prior art keywords
candidate pixel
pixel
view
candidate
hole
Prior art date
Application number
KR1020117006765A
Other languages
English (en)
Inventor
쯔펑 니
동 티안
시타람 바가바티
조안 야크
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110073474A publication Critical patent/KR20110073474A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 명세서의 수개의 실시예들은 3D 비디오(3DV) 애플리케이션들을 위한 휴리스틱 뷰 병합을 사용하는 뷰 합성에 관한 것이다. 일 실시형태에 따르면, 제1의 워핑된 참조 뷰로부터의 제 1 후보 픽셀 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀이, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀의 품질을 평가하기 위한 백워드 합성 프로세스, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 홀 분포 중 적어도 하나에 근거하여 혹은 특정 주파수 이상의 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 에너지의 양에 근거하여, 평가된다. 상기 평가는 적어도 상기 제1의 워핑된 참조 뷰 및 상기 제2의 워핑된 참조 뷰를 신호 합성된 뷰로 병합하는 것의 일부로서 일어난다. 상기 평가에 근거하여, 단일의 합성된 뷰에서의 소정의 타겟 픽셀에 대한 결과가 결정된다. 상기 결과는 상기 소정의 타겟 픽셀에 대한 값을 결정하는 것 혹은 상기 소정의 타겟 픽셀을 홀로서 마킹하는 것일 수 있다.

Description

휴리스틱 뷰 병합을 사용하는 뷰 합성{VIEW SYNTHESIS WITH HEURISTIC VIEW MERGING}
관련 출원들에 대한 상호 참조
본 출원은 (1) 미국 가출원 번호 제61/192,612호(2008년 9월 19일 출원, 발명의 명칭: "View Synthesis with Boundary-Splatting and Heuristic View Merging for 3DV Applications") 및 (2) 미국 가출원 번호 제61/092,967호(2008년 8월 29일 출원, 발명의 명칭: "View Synthesis with Adaptive Splatting for 3D Video (3DV) Applications") 모두에 대해 우선권을 주장한다. 상기 미국 가출원들 모두는 사실상 그 전체가 참조로 본 명세서에 통합된다.
코딩 시스템(coding system)들에 관한 실시예들이 설명된다. 다양한 특정 실시예들은 3D 비디오(3D Video)(3DV) 애플리케이션들을 위한 휴리스틱 뷰 병합(heuristic view merging)을 사용하는 뷰 합성(view synthesis)에 관한 것이다.
삼차원 비디오(3DV)는 복수 뷰 비디오(multiple view video)의 코딩된 표현 및 깊이 정보(depth information)를 포함함과 아울러 예를 들어 수신기에서의 고품질 3D 렌더링의 발생을 목표로 하는 새로운 프레임워크(framework)다. 이것은 오토-스테레오스코픽 디스플레이(auto-stereoscopic display)들, 프리-뷰 포인트 애플리케이션(free-view point application)들, 및 스테레오스코픽 디스플레이(stereoscopic display)들로 3D 시각 경험을 가능하게 한다. 부가적인 뷰들을 발생시키기 위한 또 다른 기술들을 갖는 것이 바람직하다.
전반적 실시형태에 따르면, 제1의 워핑된 참조 뷰(warped reference view)로부터의 제 1 후보 픽셀(candidate pixel) 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀이, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀의 품질을 평가하기 위한 백워드 합성 프로세스(backward synthesis process), 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 홀 분포(hole distribution) 중 적어도 하나에 근거하여 혹은 특정 주파수 이상의 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 에너지의 양에 근거하여, 평가된다, 상기 평가는 적어도 상기 제1의 워핑된 참조 뷰 및 상기 제2의 워핑된 참조 뷰를 신호 합성된 뷰로 병합하는 것의 일부로서 일어난다. 상기 평가에 근거하여, 단일의 합성된 뷰에서의 소정의 타겟 픽셀(target pixel)에 대한 결과가 결정된다.
하나 이상의 실시예들의 세부적 내용이, 첨부 도면 및 아래의 설명에서 제시된다. 비록 하나의 특정된 방식으로 설명되지만. 실시예들은 다양한 방식으로 구성 혹은 구현될 수 있음을 명백히 하는 바이다. 예를 들어, 실시예는 방법으로서 수행될 수 있거나, 또는 예를 들어, 연산들의 세트를 수행하도록 구성된 장치 혹은 연산들의 세트를 수행하기 위한 명령들을 저장하는 장치와 같은 그러한 장치로서 구현될 수 있거나, 또는 신호로서 구현될 수 있다. 다른 실시형태 및 특징은 첨부되는 도면과 연계하여 고려되는 다음의 상세한 설명 및 특허청구범위로부터 명백하게 될 것이다.
도 1a는 비교정된 뷰 합성의 구현을 나타낸 도면이다.
도 1b는 교정된 뷰 합성의 구현을 나타낸 도면이다.
도 2a는 뷰 합성기(view synthesizer)의 구현을 나타낸 도면이다.
도 2b는 이미지 합성기(image synthesizer)의 구현을 나타낸 도면이다.
도 3은 비디오 전송 시스템의 구현을 나타낸 도면이다.
도 4는 비디오 수신 시스템의 구현을 나타낸 도면이다.
도 5는 비디오 프로세싱 디바이스의 구현을 나타낸 도면이다.
도 6은 깊이 정보를 갖는 복수 뷰 비디오를 전송 및 수신하는 시스템의 구현을 나타낸 도면이다.
도 7은 뷰 합성 및 병합 프로세스의 구현을 나타낸 도면이다.
도 8은 깊이, 홀 분포(hole distribution), 및 카메라 파라미터들을 사용하는 병합 프로세스의 구현을 나타낸 도면이다.
도 9는 깊이, 백워드 합성 에러(backward synthesis error), 및 카메라 파라미터들을 사용하는 병합 프로세스의 구현을 나타낸 도면이다.
도 10은 깊이, 백워드 합성 에러, 및 카메라 파라미터들을 사용하는 병합 프로세스의 또 다른 구현을 나타낸 도면이다.
도 11은 고주파수 에너지를 사용하는 병합 프로세스의 구현을 나타낸 도면이다.
일부 3DTV 애플리케이션들은 입력 뷰들에 엄격한 제한을 둔다. 픽셀이 하나의 뷰로부터 또 다른 뷰로 어떻게 변위되었는 지가 일차원(1D) 시차(disparity)에 의해 설명될 수 있도록, 입력 뷰들은 전형적으로 잘 교정돼야만 한다.
깊이 이미지 기반의 렌더링(Depth-Image-Based Rendering, DIBR)은 복수의 조정된 카메라들로터 캡처된 다수의 이미지 및 관련 픽셀당 깊이 정보를 사용하는 뷰 합성 기술이다. 개념적으로, 이러한 뷰 생성 방법은 두 단계 프로세스, 즉 (1) 3D 이미지 워핑(image warping)과 (2) 재구성(reconstruction) 및 리샘플링(re-sampling)으로서 이해될 수 있다. 3D 이미지 워핑에 관하여, 깊이 데이터 및 관련 카메라 파라미터들은 참조 이미지들(reference images)로부터의 픽셀들을 적절한 3D 위치에 언프로젝제트(un-project)하고 이들을 새로운 이미지 공간에 리프로젝트(re-project)하는 데 사용된다. 재구성 및 리샘플링에 관하여, 이는 합성된 뷰에서의 픽셀 값들의 결정을 포함한다.
렌더링 방법은 픽셀-기반(스플랫팅(splatting)) 혹은 메쉬(mesh)-기반(삼각법(triangular))일 수 있다. 3DV에 있어서, 픽셀당 깊이는 전형적으로, 레이저 레인지 스캐닝(laser range scanning) 혹은 컴퓨터 그래픽 모델들로부터 발생된 것이 아닌 스테레오(stereo)와 같은 패시브 컴퓨터 비전 기술(passive computer vision techniques)로 추정된다. 따라서, 3DV에서의 실시간 프로세싱에 있어서, 단지 노이즈가 있는 깊이 정보만이 주어지는 경우, 복잡하고 연산 비용이 많이 드는 메쉬 발생을 피하기 위해 픽셀-기반의 방법이 선호돼야하는 데, 왜냐하면 로버스트 3D 삼각화(robust 3D triangulation)(표면 재구성)는 어려운 기하학 문제이기 때문이다.
기존 스플랫팅 알고리즘은 일부 매우 인상적인 결과들을 달성한다. 그러나, 이들은 고정밀 깊이로 동작하도록 설계되어 있고 저품질 깊이에 대해서는 적합하지 않을 수 있다. 추가적으로, 많은 기존 알고리즘들이 당연시하는 애스팩트(aspect)들이 존재하는바, 예를 들어 3D에서의 포인트-클라우드(point-cloud) 혹은 픽셀당 노멀 표면(per-pixel normal surface)이 있으며, 이는 3DV에서 존재하지 않는다. 이처럼, 이러한 특정 문제들에 대처하기 위해서 새로운 합성 알고리즘들이 요구된다.
깊이 정보 및 카메라 파라미터들이 주어지면, 합성된 뷰 상으로 참조 픽셀들을 워핑하는 것은 간단하다. 가장 중요한 문제는 워핑된 참조 뷰 픽셀들로부터 타겟 뷰에서의 픽셀 값들을 어떻게 추정할 것인가 이다. 도 1a 및 도 1b는 이러한 기본적인 문제를 나타내고 있다. 도 1a는 비교정된 뷰 합성(100)을 도시한다. 도 1b는 교정된 뷰 합성(150)을 도시한다. 도 1a 및 도 1b에서, 문자 "X"는 추정돼야할 타겟 뷰에서의 픽셀을 나타내고, 원형 표시들 및 사각형 표시들은 서로 다른 참조 뷰들로부터 워핑된 픽셀들을 나타내며, 여기서 상위 형상(difference shape)들은 상위 참조 뷰(difference reference view)들을 나타낸다.
간단한 방법은 워핑된 샘플들을 목적지 뷰에서의 자신의 가장 가까운 픽셀 위치로 라운딩(rounding)시키는 것이다. 복수의 픽셀들이, 합성된 뷰에서 동일한 위치로 맵핑될 때, Z-버퍼링(Z-buffering)이 전형적인 해법인바, 즉 카메라에 가장 가까운 픽셀이 선택된다. 이러한 방식(가장 가까운 픽셀 위치 라운딩)은, 특히 오브젝트 바운더리(object boundary)들을 따라 약간 언더-샘플링(under-sampling)된 임의의 표면에서 핀홀(pinhole)들을 종종 발생시킬 수 있다. 이러한 핀홀 문제에 대처하는 가장 일반적인 방법은 참조 뷰에서의 하나의 픽셀을 타겟 뷰에서의 수개의 픽셀들로 맵핑시키는 것이다. 이러한 프로세스는 스플랫팅으로 불리운다.
만약 참조 픽셀이 타겟 뷰에서의 복수의 주변 타겟 픽셀들로 맵핑된다면, 대부분의 핀홀들은 제거될 수 있다. 그러나, 일부 이미지 디테일(image detail)이 손실될 것이다. 투명한 스플랫-타입의 재구성 커널(transparent splat-type reconstruction kernel)을 사용하는 경우, 핀홀 제거와 디테일의 손실 간에 동일한 상충관계(trade-off)가 일어난다. 문제는 "스플랫팅의 정도를 어떻게 제어할 것인가?"이다. 예를 들어, 각각의 워핑된 픽셀에 있어서, 이 워핑된 픽셀을 자신의 주변 타겟 픽셀들 모두에 맵핑할 것인가? 또는 단지 자신에게 가장 가까운 것에만 맵핑할 것인가? 이 문제는 여러 문헌들에서 대부분 다루어지고 있지 않다.
복수의 참조 뷰들이 사용되는 경우, 일반적인 방법은 각각의 참조 뷰로부터의 합성을 개별적으로 프로세싱하고, 그 다음에 복수의 합성된 뷰들을 함께 병합하는 것이다. 문제는 이들을 어떻게 병합하는가인데, 예를 들어 어떤 특정의 가중치 부여 방식이 사용될 수 있다. 예를 들어, 서로 다른 가중치들이, 각거리(angular distance), 이미지 해상도(image resolution) 등에 근거하여, 서로 다른 참조 뷰들에 적용될 수 있다. 이러한 문제들이, 노이즈가 있는 깊이 정보에 강한 방식으로 처리돼야만 함에 주목해야 한다.
DIBR을 사용하여, 본 명세서에서 참조 뷰들로 또한 언급되는, 캡처된 뷰들로부터 가상 뷰가 발생될 수 있다. 특히, 입력 깊이 정보가 노이즈가 있고 다른 장면 정보(scene information)(예를 들어, 장면의 3D 표면 특성)가 알려져 있지 않은 경우에, 가상 뷰의 발생을 위한 작업은 해 볼만 한 작업이다.
가장 어려운 문제들 중 하나는 종종, 참조 뷰들에서의 샘플 픽셀들이 워핑된 이후에, 합성된 뷰에서의 각각의 픽셀의 값을 어떻게 추정할 것인 가이다. 예를 들어, 각각의 타겟 합성 픽셀에 대해, 어떤 참조 픽셀들이 사용돼야만 하는가?, 그리고 이들을 어떻게 결합할 것인가?
적어도 일 실시예에서, 본 명세서는 3DV 애플리케이션들을 위한 바운더리-스플랫팅(boundary-splatting)을 사용하는 뷰 합성을 위한 프레임워크를 제안한다. 본원의 발명자들은, 가상 뷰의 발생을 포함하는 (예를 들어, DIBR을 사용하는) 3DV 애플리케이션들에서, 이러한 발생은, 특히 입력 깊이 정보가 노이즈가 있고 다른 장면 정보(예를 들어, 장면의 3D 표면 특성)가 알려져 있지 않은 경우에, 해 볼만 한 작업임을 주목하고 있다.
본원의 발명자들은 또한, 참조 픽셀이 타겟 뷰에서의 복수의 주변 타겟 픽셀들로 맵핑되고, 대부분의 핀홀들이 제거될 수 있는 경우에, 불행하게도 일부 이미지 디테일이 손실될 수 있음을 주목하고 있다. 투명한 스플랫-타입의 재구성 커널을 사용하는 경우, 핀홀 제거와 디테일의 손실 간에 동일한 상충관계가 일어난다. 문제는 "스플랫팅의 정도를 어떻게 제어할 것인가?"이다. 예를 들어, 각각의 워핑된 픽셀에 있어서, 이 워핑된 픽셀을 자신의 주변 타겟 픽셀들 모두에 맵핑할 것인가? 혹은 단지 자신에게 가장 가까운 것에만 맵핑할 것인가?
적어도 일 실시예에서, 본 명세서는 (1) 바운더리 층들 주변의 픽셀들에만 스플랫팅을 적용하는 것, 즉 약간의 깊이 불연속을 갖는 영역들에서의 픽셀들을 단지 가장 가까이 있는 이웃 픽셀에만 맵핑시키는 것과, 그리고 (2) 복수의 참조 뷰들로부터의 합성된 이미지들을 병합하는 경우 Z-버퍼와 함께 홀 분포 혹은 백워드 합성 에러를 사용하는 두 개의 새로운 휴리스틱 병합 방식을 제안한다.
추가적으로, 본원의 발명자들이 주목하고 있는 것은, 참조 뷰들로부터 가상 뷰를 합성하기 위해서는 일반적으로 세 개의 단계들이 필요한데, 즉 (1) 포워드 워핑(forward warping), (2) 블렌딩(blending)(단일 뷰 합성 및 복수 뷰 병합), (3) 홀-필링(hole-filling)이 필요하다는 것이다. 적어도 일 실시예는 노이즈가 있는 깊이 정보에 의해 야기되는 문제들에 대처하기 위해 블렌딩을 개선하는 몇 가지 알고리즘들에 기여한다. 시뮬레이션은 3DV에서의 일부 기존 방식들과 비교하는 경우 월등한 품질을 보여주었다.
참조 뷰들로부터 가상 뷰를 합성하는 것에 관한 앞서 언급된 세 개의 단계들 중 워핑 단계에 대해, 기본적으로 두 개의 옵션들은 워핑 결과들을 어떻게 프로세싱할 것인가, 즉 병합 및 블렌딩에 관해 존재하는 것으로 고려될 수 있다.
병합에 대하여, 각각의 뷰는 완전히 워핑되어 각각의 참조에 대한 최종 워핑된 뷰가 형성될 수 있다. 그 다음에 이러한 최종 워핑된 뷰들이 "병합"되어 단일의 실제 최종 합성된 뷰가 획득될 수 있다. "병합"은 예를 들어 N개의 후보들(N개의 최종 워핑된 뷰들이 존재한다고 가정) 간의 선택을 포함하거나, 혹은 어떤 방식으로 이들을 결합하는 것을 포함한다. 물론, 타겟 픽셀 값을 결정하는데 사용되는 후보들의 수가 워핑된 뷰들의 수와 동일할 필요는 없음을 이해해야 한다. 즉, 복수의 후보들(혹은 전혀 없는 것)이 단일 뷰로부터 발생할 수 있다.
블렌딩에 관하여, 각각의 뷰는 여전히 워핑되지만 각각의 참조에 대해 최종 워핑된 뷰가 형성되지 않는다. 최종적인 것이 아니기 때문에, 블렌딩에 따라 더 많은 옵션들이 유지된다. 이것은 이로울 수 있는데, 왜냐하면 일부 경우에 있어 서로 다른 뷰들은 합성된 타겟 뷰의 서로 다른 부분들에 대해 최상의 정보를 제공할 수 있기 때문이다. 따라서, 블렌딩은 각각의 픽셀에서 서로 다른 뷰들로부터의 정보의 올바른 결합을 선택할 수 있도록 하는 융통성을 제공한다. 따라서, 병합은 두 단계 블렌딩의 특별한 경우로서 고려될 수 있다(여기서 각각의 뷰로부터의 후보들이 먼저 개별적으로 프로세싱되고, 그 다음에 결과들이 결합됨).
다시 도 1a를 참조하면, 도 1a는 전형적인 블렌딩 동작에 대한 입력을 도시한 것으로 고려될 수 있는데, 왜냐하면 도 1a는 서로 다른 참조 뷰들로부터 워핑된 픽셀들(각각 원형 표시들 및 사각형 표시들)을 포함하고 있기 때문이다. 이와는 대조적으로, 전형적인 병합 애플리케이션에 있어서, 원형 표시들 혹은 사각형 표시들 중 단지 어느 하나만을 볼 수 있을 것으로 예측되는데, 왜냐하면 전형적으로 각각의 참조 뷰는, 개별적으로 워핑되고, 그 다음에 각각의 참조에 대해 최종 워핑된 뷰를 형성하기 위해 프로세싱되기 때문이다. 복수의 참조들에 대해 최종 워핑된 뷰들은 그 다음에 전형적인 병합 애플리케이션에서 결합된다.
다시 블렌딩으로 돌아가서, 이에 관한 한 가지 가능한 옵션/고려사항으로서, 홀들 모두의 필링(filling)을 원하지 않아, 스플랫팅을 수행하지 않는 것이다. 이런 옵션들 및 다른 옵션들은, 본 발명의 원리의 사상을 유지하면서, 본 발명의 기술 분야 및 관련 기술 분야에서 통상의 기술을 가진자에 의해 쉽게 결정된다.
따라서, 본 발명의 원리의 하나 이상의 실시예들은 병합에 관한 것일 수 있으며, 본 발명의 원리의 다른 실시예들은 블렌딩에 관한 것일 수 있음을 이해해야 한다. 물론, 추가적 실시예들은 병합과 블렌딩의 결합을 포함할 수 있다. 본 명세서에서 설명되는 특징 및 개념은 일반적으로 블렌딩 및 병합 양쪽 모두에 적용될 수 있는바, 비록 블렌딩 혹은 병합 중 단지 어느 하나의 맥락에서만 설명될지라도 그러하다. 본 명세서에서 제공되는 본 발명의 원리들의 가르침이 주어지는 경우, 본 발명의 기술분야 및 관련 기술분야에서 통상의 기술을 가진자는, 본 발명의 원리의 사상을 유지하면서, 병합 및/또는 블렌딩에 관한 다양한 애플리케이션들을 쉽게 고려할 수 있을 것이다.
본 발명의 원리는 일반적으로 통신 시스템에 관한 것이고, 특히 무선 시스템, 예를 들어, 지상파 방송, 셀률러, 무선-충실도(Wireless-Fidelity, Wi-Fi), 인공위성 등에 관한 것임을 이해해야 한다. 본 발명의 원리가 예를 들어, 인코더, 디코더, 전처리 프로세서(pre-processor), 후처리 프로세서(post processor), 및 수신기(이것은 앞서 나열된 것 중 하나 또는 그 이상의 것을 포함할 수 있음)로 구현될 수 있음을 또한 이해해야 한다. 예를 들어, 인코딩 목적으로 사용하기 위해 가상 이미지를 발생시킬 것이 요구되는 애플리케이션에서, 본 발명의 원리는 인코더로 구현될 수 있다. 인코더에 관한 추가적 예로서, 이러한 인코더는 가상 뷰를 합성하는데 사용될 수 있는바, 이 가상 뷰는 해당하는 가상 뷰 위치로부터 실제 픽쳐들을 인코딩하는 데 사용하기 위한 것이거나 혹은 그 가상 뷰 위치에 가까운 뷰 위치로부터 픽쳐들을 인코딩하는데 사용하기 위한 것이다. 두 개의 참조 픽쳐들을 포함하는 실시예들에서, 양쪽 모두는 가상 뷰에 대응하는 가상 픽쳐와 함께 인코딩될 수 있다. 물론, 본 명세서에서 제공되는 본 발명의 원리들의 가르침이 주어지는 경우, 본 발명의 기술분야 및 관련 기술분야에서 통상의 기술을 가진자는, 본 발명의 원리의 사상을 유지하면서, 이러한 애플리케이션 및 다양한 다른 애플리케이션을 고려할 수 있을 뿐만 아니라 앞서 설명된 애플리케이션에 대한 변형물(여기에 본 발명의 원리가 적용될 수 있음)을 고려할 수 있을 것이다.
추가적으로, 본 명세서에 하나 이상의 실시예들이 H.264/MPEG-4 AVC (AVC) 표준에 관해 설명되고 있지만, 본 발명의 원리가 오로지 이것에만 한정되는 것은 아니며, 따라서 본 명세서에서 제공되는 본 발명의 원리들의 가르침이 주어지는 경우, 본 발명의 원리의 사상을 유지하면서, 복수 뷰 비디오 코딩(Multi-view Video Coding, MVC), 현재 및 장래의 3DV 표준에 쉽게 적용될 수 있을 뿐만 아니라 다른 비디오 코딩 표준, 사양, 및/또는 권고안에 적용될 수 있음을 이해해야만 한다.
"스플랫팅(splatting)"은 참조 뷰로부터의 하나의 워핑된 픽셀을 타겟 뷰에서의 수개의 픽셀들에 맵핑시키는 프로세스를 말하는 것임에 유의해야 한다.
"깊이 정보(depth information)"는 깊이에 대한 다양한 종류의 정보를 말하는 일반적인 용어임에 유의해야 한다. 일 타입의 깊이 정보는 "깊이 맵(depth map)"이고, 이는 일반적으로 픽셀당 깊이 이미지를 말한다. 다른 타입의 깊이 정보는 예를 들어, 각각의 코딩된 픽셀에 대한 것이 아닌 각각의 코딩된 블록에 대한 단일의 깊이 값을 사용하는 것을 포함한다.
도 2a는 본 발명의 원리의 실시예에 따른, 본 발명의 원리가 적용될 수 있는 예시적인 뷰 합성기(200)를 나타낸다. 뷰 합성기(200)는 포워드 워퍼(forward warper)들(210-1 내지 210-K), 뷰 병합기(220) 및 홀 필러(hole filler)(230)를 포함한다. 포워드 워퍼들(210-1 내지 210-K)의 각각의 출력은 이미지 합성기들(215-1 내지 215-K)의 각각의 입력과 신호 통신으로 연결된다. 이미지 합성기들(215-1 내지 215-K)의 각각의 출력은 뷰 병합기(220)의 제1의 입력과 신호 통신으로 연결된다. 뷰 병합기(220)의 출력은 홀 필러(230)와 신호 통신으로 연결된다. 포워드 워퍼들(210-1 내지 210-K)의 제1의 각각의 입력들은, 각각의 참조 뷰 1 내지 참조 뷰 K를 수신하기 위한, 뷰 합성기(200)의 입력들로서 이용가능하다. 포워드 워퍼들(210-1 내지 210-K)의 제2의 각각의 입력들 및 이미지 합성기들(215-1 내지 215-K)의 제2의 각각의 입력들은, 뷰 1 및 타겟 뷰 깊이 맵들 및 이에 대응하는 카메라 파라미터들, 내지 뷰 K 및 타겟 뷰 깊이 맵들 및 이에 대응하는 카메라 파라미터들을 각각 수신하기 위한, 뷰 합성기(200)의 입력들로서 이용가능하다. 뷰 병합기(220)의 제2의 입력은, 모든 뷰들의 카메라 파라미터들 및 깊이 맵들을 수신하기 위한, 뷰 합성기의 입력으로서 이용가능하다. 홀 필러(230)의 제2의 입력(선택적 입력)은, 모든 뷰들의 카메라 파라미터들 및 깊이 맵들을 수신하기 위한, 뷰 합성기(200)의 입력으로서 이용가능하다. 홀 필러(230)의 출력은, 타겟 뷰를 출력하기 위한, 뷰 합성기(200)의 출력으로서 이용가능하다.
도 2b는 본 발명의 원리의 실시예에 따른 본 발명의 원리가 적용될 수 있는 예시적인 이미지 합성기(250)를 나타낸다. 이미지 합성기(250)는 스플랫터(splatter)(255)를 포함하고, 스플랫터(255)는 타겟 픽셀들 계산기(target pixels evaluator)(260)의 입력과 신호 통신으로 연결되는 출력을 갖는다. 타겟 픽셀들 계산기(260)의 출력은 홀 마커(hole marker)(265)의 입력과 신호 통신으로 연결된다. 스플랫터(255)의 입력은, 참조 뷰로부터의 워핑된 픽셀들을 수신하기 위한, 이미지 합성기(250)의 입력으로서 이용가능하다. 홀 마커(265)의 출력은, 합성된 이미지를 출력하기 위한, 이미지 합성기(250)의 출력으로서 이용가능하다. 홀 마커(265)는 선택적인 것이며, 홀 마킹(hole marking)이 필요하지 않고 타겟 픽셀 계산만으로 충분한 일부 실시예에서 생략될 수 있음을 이해해야 한다.
스플랫터(255)는 다양한 방식으로 구현될 수 있다. 예를 들어, 스플랫팅의 기능을 수행하는 소프트웨어 알고리즘이 범용 컴퓨터 혹은 특정 용도의 머신(예를 들어, 비디오 인코더와 같은 것)을 통해 실행될 수 있다. 스플랫팅의 일반적인 기능들은 본 발명의 기술분야에서 통상의 기술을 가진자에게 잘 알려져 있다. 이러한 구현은 본 명세서에서 설명되는 바와 같이 수정될 수 있어, 예를 들어, 워핑된 참조에서의 픽셀이 하나 이상의 깊이 바운더리들로부터 특정 거리 내에 있는지 여부를 근거로 스플랫팅 기능을 수행할 수 있다. 본 명세서에서 설명되는 구현들에 의해 수정되는 바와 같은 스플랫팅 기능들은 대안적으로, 특수 목적 집적 회로(예를 들어, 애플리케이션 특정 집적 회로(Application-Specific Integrated Circuit, ASIC)) 혹은 다른 하드웨어에서 구현될 수 있다. 구현들은 또한 소프트웨어, 하드웨어 및 펌웨어의 결합을 사용할 수 있다.
예를 들어, 포워드 워퍼들(210), 홀 마커(265), 및 타겟 픽셀들 계산기(260)와 같은 도 2a 및 도 2b의 다른 구성요소들이 스플랫터(255)에서와 마찬가지로 구현될 수 있다. 예를 들어, 포워드 워퍼(210)의 구현들은, 범용 컴퓨터 혹은 애플리케이션 특정 디바이스 또는 애플리케이션 특정 집적 회로를 통해 워핑의 공지된 기능들을 수행하기 위해, 소프트웨어, 하드웨어 및/또는 펌웨어를 사용할 수 있다. 추가적으로, 홀 마커(265)의 구현들은 홀을 마킹하기 위해 다양한 실시예에서 설명되는 기능들을 수행하도록, 예를 들어 소프트웨어, 하드웨어 및/또는 펌웨어를 사용할 수 있고, 그리고 이러한 기능들은 예를 들어, 범용 컴퓨터 혹은 애플리케이션 특정 디바이스 또는 애플리케이션 특정 집적 회로를 통해 수행될 수 있다. 더욱이, 타겟 픽셀 계산기(260)의 구현들은, 타겟 픽셀을 계산하기 위해 다양한 실시예에서 설명되는 기능들을 수행하도록, 예를 들어 소프트웨어, 하드웨어 및/또는 펌웨어를 사용할 수 있고, 그리고 이러한 기능들은 예를 들어, 범용 컴퓨터 혹은 애플리케이션 특정 디바이스 또는 애플리케이션 특정 집적 회로를 통해 수행될 수 있다.
더욱이, 뷰 병합기(220)는 또한, 예를 들어, 홀 마커(265) 혹은 홀 마커(265)의 변형물과 같은 그러한 홀 마커를 포함할 수 있다. 이러한 구현들에서, 뷰 병합기(220)는 또한, 예를 들어, 실시예 2 및 실시예 3 그리고 도 8 및 도 10에서 제시되어 설명되는 바와 같이, 홀들을 마킹할 수 있다.
추가적으로, 뷰 병합기(220)는 다양한 방식으로 구현될 수 있다. 예를 들어, 뷰 병합의 기능을 수행하는 소프트웨어 알고리즘이 범용 컴퓨터 혹은 특정 용도의 머신(예를 들어, 비디오 인코더와 같은 것)을 통해 구현될 수 있다. 뷰 병합의 일반적인 기능들은 본 발명의 기술분야에서 통상의 기술을 가진자에게 잘 알려져 있다. 그러나, 이러한 구현은 본 명세서에서 설명되는 바와 같이 수정될 수 있어, 예를 들어, 본 명세서의 하나 이상의 구현들을 위해 설명된 뷰 병합 기술들을 수행할 수 있다. 본 명세서에서 설명되는 구현들에 의해 수정되는 바와 같은 뷰 병합 기능들은 대안적으로, 특수 목적 집적 회로(예를 들어, 애플리케이션 특정 집적 회로(ASIC)) 혹은 다른 하드웨어에서 구현될 수 있다. 구현들은 또한, 소프트웨어, 하드웨어 및 펌웨어의 결합을 사용할 수 있다.
뷰 병합기(220)의 일부 구현들은, 제1의 워핑된 참조 뷰로부터의 제 1 후보 픽셀 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀을, 제 1 후보 픽셀 및 제 2 후보 픽셀의 품질을 평가하기 위한 백워드 합성 프로세스, 제 1 후보 픽셀 및 제 2 후보 픽셀 주변의 홀 분포 중 적어도 하나에 근거하여 혹은 특정 주파수 이상의 제 1 후보 픽셀 및 제 2 후보 픽셀 주변의 에너지의 양에 근거하여, 평가하는 기능을 포함한다. 뷰 병합기(220)의 일부 구현들은 또한, 이러한 평가에 근거하여, 단일의 합성된 뷰에서의 소정의 타겟 픽셀에 대한 결과를 결정하는 기능을 포함한다. 이러한 기능들 모두는 예를 들어 도 10 및 본 명세서의 다른 부분에 제시되어 설명된다. 이러한 구현들은, 예를 들어, 이러한 기능들 각각을 수행하기 위한, 명령들의 단일의 세트, 혹은 명령들의 서로 다른(오버랩핑을 포함함) 세트들을 포함할 수 있고, 그리고 이러한 명령들은, 예를 들어 범용 컴퓨터, 특수 목적 머신(예를 들어, 비디오 인코더와 같은 것), 또는 애플리케이션 특정 집적 회로를 통해 구현될 수 있다. 더욱이, 이러한 기능은 소프트웨어, 하드웨어 혹은 펌웨어의 다양한 결합을 사용하여 구현될 수 있다.
도 3은 본 발명의 원리의 구현에 따른 본 발명의 원리가 적용될 수 있는 예시적인 비디오 전송 시스템(300)을 나타낸다. 비디오 전송 시스템(300)은, 예를 들어 위성, 케이블, 전화선, 혹은 지상파 방송과 같은 다양한 매체들 중 어느 하나를 사용하여 신호를 전송하기 위한 헤드-엔드(head-end) 혹은 전송 시스템일 수 있다. 이러한 전송은 인터넷 혹은 어떤 다른 네트워크를 통해 제공될 수 있다.
비디오 전송 시스템(300)은 깊이를 갖는 인터-뷰 스킵 모드(inter-view skip mode)를 사용하여 인코딩된 비디오 콘텐츠를 발생시켜 전달할 수 있다. 이것은, 예를 들어 디코더를 가질 수 있는 수신기에서 깊이 정보를 합성하는데 사용될 수 있는 정보 혹은 깊이 정보를 포함하는 인코딩된 신호(들)를 발생시킴으로써 달성된다.
비디오 전송 시스템(300)은 인코더와, 그리고 인코딩된 신호를 전송할 수 있는 송신기(320)를 포함한다. 인코더(310)는 비디오 정보를 수신하고, 깊이를 갖는 인터-뷰 스킵 모드를 사용하여 이로부터 인코딩된 신호(들)를 발생시킨다. 인코더(310)는 예를 들어, AVC 인코더일 수 있다. 인코더(310)는 서브모듈(sub-module)들을 포함할 수 있으며, 이 서브 모듈들은, 예를 들어, 다양한 정보를 수신하여 저장 혹은 전송을 위한 구조화된 포맷으로 조립하는 조립 유닛(assembly unit)을 포함할 수 있다. 다양한 정보로는, 예를 들어, 코딩된 혹은 언코딩된 비디오, 코딩된 혹은 언코딩된 깊이 정보, 및 코딩된 혹은 언코딩된 요소들(예를 들어, 모션 벡터(motion vector)들, 코딩 모드 표시자(coding mode indicator)들, 및 신택스 요소(syntax element)들과 같은 것)을 포함할 수 있다.
송신기(320)는, 예를 들어, 인코딩된 픽쳐들 및/또는 이와 관련된 정보를 나타내는 하나 이상의 비트스트림(bitstream)들을 가진 프로그램 신호를 전송하도록 구성될 수 있다. 전형적인 송신기들은, 예를 들어, 에러 정정 코딩을 제공하는 것, 신호에 데이터를 인터리브(interleave)하는 것, 신호 내의 에너지 랜덤화(randomizing)하는 것 및 신호를 하나 이상의 캐리어들 상에 변조하는 것 중 하나 이상의 기능과 같은 그러한 기능들을 수행한다. 송신기는 안테나를 포함할 수 있거나, 혹은 안테나와 인터페이스할 수 있다(미도시). 따라서, 송신기(320)의 구현은 변조기를 포함할 수 있지만, 이러한 것에만 한정되는 것은 아니다.
도 4는 본 발명의 원리의 실시예에 따른, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 수신 시스템(400)을 나타낸다. 비디오 수신 시스템(400)은, 예를 들어, 위성, 케이블, 전화선, 혹은 지상파 방송과 같은 다양한 매체들을 통해 신호들을 수신하도록 구성될 수 있다. 신호들은 인터넷 혹은 어떤 다른 네트워크를 통해 수신될 수 있다.
비디오 수신 시스템(400)은, 예를 들어, 셀폰(cell-phone), 컴퓨터, 셋탑 박스, 텔레비젼일 수 있거나 혹은 인코딩된 비디오를 수신하고 예를 들어 디코딩된 비디오를 사용자에게 디스플레이하기 위해 제공 혹은 저장용으로 제공하는 다른 디바이스일 수 있다. 따라서, 비디오 수신 시스템(400)은 그 출력을 예를 들어 텔레비젼의 스크린, 컴퓨터 모니터, (저장, 프로세싱 혹은 디스플레이를 위한) 컴퓨터, 또는 어떤 다른 저장, 프로세싱, 혹은 디스플레이 디바이스에 제공할 수 있다.
비디오 수신 시스템(400)은 비디오 정보를 포함하는 비디오 콘텐츠를 수신 및 프로세싱할 수 있다. 비디오 수신 시스템(400)은, 예를 들어, 본 명세서의 구현들에서 설명되는 신호들과 같은 그러한 인코딩된 신호를 수신할 수 있는 수신기(410)와, 그리고 수신된 신호를 디코딩할 수 있는 디코더(420)를 포함한다.
수신기(410)는, 예를 들어, 인코딩된 픽쳐들을 나타내는 복수의 비트스트림들을 갖는 프로그램 신호를 수신하도록 구성될 수 있다. 전형적인 수신기들은, 변조 및 인코딩된 데이터 신호를 수신하는 것, 하나 이상의 캐리어들로부터 데이터 신호를 복조하는 것, 신호 내의 에너지 역랜덤화(de-randomizing)하는 것, 신호 내의 데이터를 디인터리브(de-interleave)하는 것, 및 신호를 에러 정정 디코딩하는 것 중 하나 이상 기능과 같은 그러한 기능들을 수행한다. 수신기(410)는 안테나를 포함할 수 있거나, 혹은 안테나와 인터페이스할 수 있다(미도시). 수신기(410)의 구현은 복조기를 포함할 수 있지만, 이러한 것에만 한정되는 것은 아니다.
디코더(420)는 비디오 정보 및 깊이 정보를 포함하는 비디오 신호들을 출력한다. 디코더(420)는 예를 들어 AVC 디코더일 수 있다.
도 5는 본 발명의 원리의 실시예에 따른, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 프로세싱 디바이스(500)를 나타낸다. 비디오 프로세싱 디바이스(500)는, 예를 들어, 셋탑 박스일 수 있거나, 또는 인코딩된 비디오를 수신하고 예를 들어 디코딩된 비디오를 사용자에게 디스플레이하기 위해 혹은 저장을 위해 제공하는 다른 디바이스일 수 있다. 따라서, 비디오 프로세싱 디바이스(500)는 그 출력을 텔레비젼, 컴퓨터 모니터, 또는 컴퓨터 혹은 다른 프로세싱 디바이스에 제공할 수 있다.
비디오 프로세싱 디바이스(500)는 프런트-엔드(Front-End, FE) 디바이스(505) 및 디코더(510)를 포함한다. 프런트-엔드 디바이스(505)는, 예를 들어, 인코딩된 픽쳐들을 나타내는 복수의 비트스트림들을 갖는 프로그램 신호를 수신하도록 구성됨과 아울러 복수의 비트스트림들로부터 디코딩을 위한 하나 이상의 비트스트림들을 선택하도록 구성될 수 있다. 전형적인 수신기들은, 예를 들어, 변조 및 인코딩된 데이터 신호를 수신하는 것, 데이터 신호를 복조하는 것, 데이터 신호의 하나 이사의 인코딩들(예를 들어, 채널 코딩 및/또는 소스 코딩)을 디코딩하는 것, 및/또는 데이터 신호를 에러 정정하는 것 중 하나 이상의 기능과 같은 그러한 기능들을 수행한다. 프런트-엔드 디바이스(505)는 예를 들어, 안테나(미도시)로부터 프로그램 신호를 수신할 수 있다. 프런트-엔드 디바이스(505)는 수신된 데이터 신호를 디코더(510)에 제공한다.
디코더(510)는 데이터 신호(520)를 수신한다. 데이터 신호(520)는, 예를 들어, 하나 이상의 고급 비디오 코딩(Advanced Video Coding, AVC), 스케일링가능 비디오 코딩(Scalable Video Coding, SVC), 혹은 복수 뷰 비디오 코딩(Multi-view Video Coding, MVC) 호환가능 스트림들을 포함할 수 있다.
AVC는, 보다 구체적으로는, 기존의 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) 파트(Part) 10 AVC(Advanced Video Coding) 표준(standard)/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안(Recommendation)(이하에서는 "H.264/MPEG-4 AVC 표준" 혹은 그 변형물, 예를 들어 "AVC 표준" 혹은 간단히 "AVC")을 말한다.
MVC는, 보다 구체적으로는, AVC 표준의 복수-뷰 비디오 코딩(Multi-view Video Coding)("MVC") 확장(extension) (애넥스(Annex) H)를 말하며, 이는 H.264/MPEG-4 AVC, MVC 확장("MVC 확장" 혹은 간단히 "MVC")으로 언급된다.
SVC는, 보다 구체적으로는, AVC 표준의 스케일링가능 비디오 코딩(Scalable Video Coding)("SVC") 확장 (애넥스 G)를 말하며, 이는 H.264/MPEG-4 AVC, SVC 확장("SVC 확장" 혹은 간단히 "SVC")으로 언급된다.
디코더(510)는 수신된 신호(520)의 일부 혹은 모두를 디코딩하고 디코딩된 비디오 신호를 출력으로서 제공한다. 디코딩된 비디오(530)는 선택기(550)에 제공된다. 디바이스(500)는 또한 사용자 입력(570)을 수신하는 사용자 인터페이스(560)를 포함한다. 사용자 인터페이스(560)는 사용자 입력(570)에 근거하여 픽쳐 선택 신호(580)를 선택기(550)에 제공한다. 픽쳐 선택 신호(580) 및 사용자 입력(570)은, 복수의 픽쳐들, 시퀀스들, 스케일링가능 버전들, 뷰들, 혹은 이용가능한 디코딩 데이터의 다른 선택들 중 어느 것을 사용자가 디스플레이하기 원하는지 표시한다. 선택기(550)는 선택된 픽쳐(들)를 출력(590)으로서 제공한다. 선택기(550)는, 디코딩된 비디오(530)에서의 픽쳐들 중 어느 것을 출력(590)으로서 제공하기 위해 선택할지를 결정하기 위해 픽쳐 선택 정보(580)를 사용한다.
다양한 구현들에서, 선택기(550)는 사용자 인터페이스(560)를 포함하고, 그리고 다른 구현들에서는, 개별적 인터페이스 기능이 수행됨이 없이 선택기(550)가 직접적으로 사용자 입력(570)을 수신하기 때문에 사용자 인터페이스(560)가 필요 없다. 선택기(550)는 예를 들어, 소프트웨어로 구현될 수 있거나 혹은 집적 회로로서 구현될 수 있다. 일 구현에서, 선택기(550)는 디코더(510)와 통합되고, 그리고 다른 구현에서는 디코더(510), 선택기(550), 및 사용자 인터페이스(560)가 모두 통합된다.
일 애플리케이션에서, 프런트-엔드(505)는 다양한 텔레비젼 쇼들의 방송을 수신하고, 프로세싱을 위해 하나를 선택한다. 하나의 쇼의 선택은 시청을 원하는 채널의 사용자 입력에 근거한다. 프런트-엔드 디바이스(505)로의 사용자 입력이 도 5에서는 도시되지 않았지만, 프런트-엔드 디바이스(505)는 사용자 입력(570)을 수신한다. 프런트-엔드(505)는 방송을 수신하고, 그리고 방송 스펙트럼의 관련 부분을 복조하고 복조된 쇼의 임의의 외부 인코딩(outer encoding)을 디코딩함으로써, 원하는 쇼를 프로세싱한다. 프런트-엔드(505)는 디코딩된 쇼를 디코더(510)에 제공한다. 디코더(510)는 디바이스들(560 및 550)을 포함하는 통합 유닛이다. 따라서, 디코더(510)는 사용자 입력을 수신하는바, 사용자 입력은 쇼에서 시청을 원하는 뷰의 사용자에 의해 제공되는 표시이다. 디코더(510)는 선택된 뷰를 디코딩하고, 뿐만 아니라 다른 뷰들로부터 임의의 원하는 참조 픽쳐들을 디코딩하며, 그리고 디코딩된 뷰(590)를 디스플레이를 위해 텔레비젼(미도시)에 제공한다.
앞서의 애플리케이션을 계속 진행시키면서, 사용자는 디스플레이되는 뷰를 스위칭하여 새로운 입력을 디코더(510)에 제공하기를 원할 수 있다. 사용자로부터 "뷰 변경(view change)"을 수신한 이후, 디코더(510)는 오래된 뷰와 새로운 뷰 양쪽 모두를 디코딩할 뿐만 아니라, 오래된 뷰와 새로운 뷰 사이에 있는 임의의 뷰들도 디코딩한다. 즉, 디코더(510)는 오래된 뷰를 촬영한 카메라와 새로운 뷰를 촬영한 카메라 사이에 물리적으로 위치하고 있는 카메라들로부터 촬영된 임의의 뷰들을 디코딩한다. 프런트-엔드 디바이스(505)는 또한 오래된 뷰, 새로운 뷰, 및 그 사이에 있는 뷰들을 식별하는 정보를 수신한다. 이러한 정보는 예를 들어, 이러한 뷰들의 위치에 대한 정보를 가지고 있는 제어기(도 5에서는 미도시)에 의해 또는 디코더(510)에 의해 제공될 수 있다. 다른 구현들은 프런트-엔드 디바이스와 통합된 제어기를 갖는 프런트-엔드 디바이스를 사용할 수 있다.
디코더(510)는 이러한 디코딩된 뷰들을 출력(590)으로서 제공한다. 후처리 프로세서(도 5에서는 미도시)는 오래된 뷰로부터 새로운 뷰로의 완만한 변이를 제공하기 위해 이러한 뷰들 간의 인터폴레이트(interpolate)를 수행하고, 그리고 이러한 변이를 사용자에게 디스플레이한다. 새로운 뷰로의 전이 이후에, 후처리 프로세서는 (하나 이상의 통신 링크(미도시)를 통해) 디코더(510) 및 프런트-엔드 디바이스(505)에게 단지 새로운 뷰만이 요구됨을 알려준다. 이후에, 디코더(510)는 출력(590)으로서 단지 새로운 뷰만을 제공한다.
시스템(500)은 이미지들의 시퀀스의 복수의 뷰들을 수신하고, 디스플레이를 위한 단일 뷰를 제공하고, 그리고 완만한 방식으로 다양한 뷰들 간의 스위칭을 행하는 데 사용될 수 있다. 완만한 방식은 또 다른 뷰로의 이동을 위해 뷰들 간에 인터폴레이트를 행하는 것을 포함할 수 있다. 추가적으로, 시스템(500)은 사용자가 오브젝트 혹은 장면을 회전시킬 수 있게 하거나, 또는 만약 그렇지 않다면 오브젝트 혹은 장면의 3차원 표현을 볼 수 있게 한다. 예를 들어, 오브젝트의 회전은 뷰로부터 뷰로의 이동에 대응할 수 있고, 그리고 뷰들 간의 완만한 변이를 얻기 위한 혹은 간단히 3차원 표현을 얻기 위한 뷰들 간의 인터폴레이트에 대응할 수 있다. 즉, 사용자는 인터폴레이트된 뷰를 디스플레이될 "뷰"로서 "선택"할 수 있다.
도 2a 및 도 2b의 구성요소들은 도 3 내지 도 5에서 다양한 위치에 통합될 수 있다. 예를 들어, 도 2a 및 도 2b의 하나 이상의 구성요소들은 인코더(310) 및 디코더(420)에 위치할 수 있다. 또 다른 예로서, 비디오 프로세싱 디바이스(500)의 구현들은 도 2a 및 도 2b의 하나 이상의 구성요소들을 디코더(510)에 포함할 수 있거나, 혹은 수신된 뷰들 간의 인터폴레이트 행하는 도 5의 설명에서 언급된 후처리-프로세서에 포함할 수 있다.
본 발명의 원리의 설명 및 본 발명의 원리가 적용될 수 있는 환경을 고려하여 볼 때, 본 발명의 원리는 3D 비디오(3DV)에 유리하게 적용될 수 있음을 이해해야 한다. 3D 비디오는 복수의 뷰 비디오에 대한 코딩된 표현 및 깊이 정보를 포함함과 아울러 수신기에서의 고품질 3D 렌더링의 발생을 목표로 하는 새로운 프레임워크다. 이것은 오토-멀티스코픽 디스플레이(auto-multiscopic display)들로 3D 시각 경험을 가능하게 한다.
도 6은 본 발명의 원리의 실시예에 따른, 본 발명의 원리가 적용될 수 있는, 깊이 정보를 갖는 복수 뷰 비디오를 전송 및 수신하기 위한 예시적 시스템(600)을 나타낸다. 도 6에서, 비디오 데이터는 실선으로 표시되었고, 깊이 데이터는 파선으로 표시되었으며, 그리고 메타 데이터(meta data)는 점선으로 표시되었다. 시스템(600)은 예를 들어 프리-뷰포인트 텔레비젼 시스템(free-viewpoint television system)일 수 있지만, 이러한 것에만 한정되는 것은 아니다. 송신기 사이드(610)에서, 시스템(600)은, 각각의 복수의 소스들로부터 비디오, 깊이, 및 메타 데이터 중 하나 이상을 수신하기 위한 복수의 입력들을 갖는, 3차원(3D) 콘텐츠 생산기(content producer)(620)를 포함한다. 이러한 소스들에는 스테레오 카메라(611), 깊이 카메라(612), 복수 카메라 셋업(multi-camera setup)(613), 2차원/3차원(2D/3D) 변환 프로세스들(614)이 있지만 이러한 것에만 한정되는 것은 아니다. 하나 이상의 네트워크들(630)이 복수-뷰 비디오 코딩(Multi-view Video Coding, MVC) 및 디지털 비디오 방송(Digital Video Broadcasting, DVB)에 관한 비디오, 깊이, 및 메타 데이터 중 하나 이상을 전송하는데 사용될 수 있다.
수신기 사이드(640)에서, 깊이 이미지 기반의 렌더러(depth image-based renderer)(650)가 신호를 다양한 타입의 디스플레이에 프로젝트하기 위해 깊이 이미지 기반의 렌더링을 수행한다. 본 애플리케이션의 예에는 협각 획득(narrow angle acquisition)(< 20도)과 같은 특정 제약이 부가할 수 있다. 깊이 이미지 기반의 렌더러(650)는 디스플레이 구성 정보(display configuration information) 및 사용자 환경설정(user preferences)을 수신할 수 있다. 깊이 이미지 기반의 렌더러(650)의 출력은 2D 디스플레이(661), M-뷰 3D 디스플레이(662), 및/또는 헤드-트랙킹된 스테레오 디스플레이(head-tracked stereo display)(663) 중 하나 이상에 제공될 수 있다.
포워드 워핑( Forward Warping )
뷰 합성을 수행함에 있어서의 제 1 단계는 포워드 워핑이고, 이것은 참조 뷰(들)에서의 각각의 픽셀에 대해 타겟 뷰에서의 그 대응하는 위치를 찾는 것을 포함한다. 3D 이미지 워핑은 컴퓨터 그래픽에서 공지되어 있다. 입력 뷰들의 교정 여부에 따라, 다른 방정식들이 사용될 수 있다.
(a) 비교정된 뷰(Non-rectified view)
만약 3D 포인트를 그 동차 좌표(homogeneous coordinates) P=[x, y, z, l]T에 의해 정의하고, 참조 이미지 평면에서의 그 원근 프로젝션(perspective projection)(즉, 2D 이미지 위치)이 p r =[u r , v r , l]T라고 하면, 다음과 같은 방정식을 얻을 수 있다.
Figure pct00001
여기서 w r 은 깊이 팩터(depth factor)이고, PPM r 은, 카메라 파라미터들로부터 알 수 있는 3×4의 원근 프로젝션 매트릭스(perspective projection matrix)이다. 이에 상응하여, 합성된 뷰(타겟 뷰)에 대한 방정식을 다음과 같이 얻을 수 있다.
Figure pct00002
PPM r 의 12개의 원소들이
Figure pct00003
로서 표시되며, 여기서, i = 1, 2, 3이고 j = 1, 2, 3, 4이다. 이미지 포인트 p r 및 그 깊이 z로부터 3D 포인트 P의 다른 두 개의 성분이 다음과 같은 일차방정식에 의해 추정될 수 있다.
Figure pct00004
여기서,
Figure pct00005
참조 뷰들에서의 각각의 픽셀의 입력 깊이 레벨이 3DV에서 8비트로 양자화됨에 유의해야 한다(즉, 256개의 레벨을 가지게 되며, 여기서 더 큰 값들은 카메라에 더 가깝게 있음을 의미함). 워핑 동안 사용되는 깊이 팩터 z는 그 입력 깊이 레벨 Y에 직접 관련되며 다음과 같은 방정식을 만족시킨다.
Figure pct00006
여기서,
Figure pct00007
및
Figure pct00008
는 각각 해당 장면에서의 가장 가까운 픽셀과 가장 먼 픽셀의 깊이 팩터에 대응한다. 8비트보다 큰(혹은 작은) 비트가 깊이 정보를 양자화하는데 사용되는 경우, 방정식 (4)에서의 값 255는 2 B -1(여기서 B는 비트 깊이)로 대체돼야만 한다.
P의 3D 위치가 알려져 있고, 합성된 이미지 평명 상으로 이것이 방정식 (2)에 의해 리프로젝트될 때, 타겟 뷰 p s 에서의 그 위치(즉, 워핑된 픽셀 위치)가 획득된다.
(b) 교정된 뷰(Rectified view)
교정된 뷰에 있어서, 1-D 시차(1-D disparity)(전형적으로는 수평선을 따라)는 픽셀이 하나의 뷰로부터 또 다른 뷰로 어떻게 변위되는 지를 설명한다. 다음과 같은 카메라 파라미터들이 주어진다고 가정한다.
(ⅰ)
Figure pct00009
는 카메라 렌즈의 초점 거리.
(ⅱ)
Figure pct00010
는 베이스라인 간격(baseline spacing)이고, 이것은 카메라 거리(camera distance)로도 알려져 있음.
(ⅲ)
Figure pct00011
는 주 포인트 오프셋(principal point offset)에서의 차이.
입력 뷰들이 잘 교정되었다고 고려하면, 참조 뷰에서의 픽셀 p r =[u r , v r , l]T로부터 타겟 뷰에서의 워핑된 위치 p s =[u s , v s , l]T를 계산하는데 다음과 같은 방정식이 사용될 수 있다.
Figure pct00012

참조 뷰들 및 합성된 뷰에서의 서브픽셀 정밀( Sub - pixel precision at reference views and synthesized view )
합성된 뷰에서의 이미지 품질을 개선하기 위해, 참조 뷰들은 업샘플링(up-sampling)될 수 있는바, 즉 새로운 서브픽셀(sub-pixel)들이 하프픽셀 위치(half-pixel position)들에 삽입될 수 있고, 대게는 쿼터픽셀 위치(quarter-pixel position)들에 삽입되거나, 혹은 훨씬 더 세밀한 해상도로 삽입된다. 깊이 이미지가 이에 대응하여 업샘플링될 수 있다. 참조 뷰들에서의 서브픽셀들이 정수 참조 픽셀들(즉, 풀 픽셀 위치(full-pixel position)들로 워핑된 픽셀들)과 동일한 방식으로 워핑된다. 마찬가지로, 합성된 뷰에서, 새로운 타겟 픽셀들이 서브픽셀 위치들에서 삽입될 수 있다.
하나 이상의 구현들이 하프픽셀들 및 하프픽셀 위치들에 관해 설명되었지만, 본 발명의 원리는 또한, 본 발명의 원리의 사상을 유지하면서, 임의 크기의 서브픽셀들(및 이에 따른 대응하는 서브픽셀 위치들)에 쉽게 적용될 수도 있음을 이해해야 한다.
제안된 방법: 뷰 블렌딩( Proposed method : View blending )
뷰 워핑의 결과가 도 1a 및 도 1b에서 예시된다. 여기서 타겟 뷰에서의 픽셀 값들을 그 주변의 워핑된 참조 뷰들로부터 어떻게 추정할 것인가의 문제가 처리될 것이다. 도 7은 본 발명의 원리의 실시예에 따른, 뷰 합성 및 병합 프로세스(700)를 나타낸다. 이 프로세스(700)는 워핑 이후에 수행되고, 단일 뷰 합성을 위한 바운더리 층 스플랫팅 및 새로운 뷰 병합 방식을 포함한다. 단계(702)에서, 참조 뷰 1이 프로세스(700)에 입력된다. 단계(704)에서, 참조 뷰 2가 프로세스(700)에 입력된다. 단계(705)에서, (업샘플링으로 인해, 삽입된 서브픽셀들을 포함하는) 각각의 참조 픽셀이 워핑된다. 단계(710)에서, 바운더리가 깊이 이미지에 근거하여 검출된다. 단계(715)에서, 워핑된 픽셀이 바운더리에 가까운지 여부가 결정된다. 만약 그렇다면, 제어권은 단계(720)로 넘어간다. 만약 그렇지 않다면, 제어권은 단계(735)로 넘어간다.
단계(720)에서, 워핑된 픽셀이 자신의 좌측과 우측 상에서의 가장 가까운 타겟 픽셀들로 맵핑된다.
단계(725)에서, 복수의 픽셀들이 동일한 타겟 픽셀로 맵핑되는 경우 Z-버퍼링이 수행된다.
단계(730)에서, 참조 1로부터 합성된 이미지가 이전 프로세싱으로부터 입력/획득된다. 단계(740)에서, 참조 뷰 1에 대해 수행된 프로세싱과 유사한 프로세싱이 참조 뷰 2에 관해 수행된다. 단계(745)에서, 참조 2로부터 합성된 이미지가 이전 프로세싱으로부터 입력/획득된다.
단계(750)에서, 참조 1로부터 합성된 이미지와 참조 2로부터 합성된 이미지를 병합하는 뷰 병합이 수행된다.
실시예 1: 바운더리 -층 스플랫팅 ( Embodiment 1: Boundary - layer splatting )
앞서 설명된 바와 같이, 핀홀들을 감소시키기 위해, 워핑된 픽셀은 복수의 이웃하는 타겟 픽셀들로 맵핑된다. 교정된 뷰의 경우, 전형적으로 좌측 및 우측에서의 타겟 픽셀들로 맵핑된다. 간결한 설명을 위해, 앞서 제안된 방법은 교정된 뷰들(도 1b)의 경우에 대해서 설명될 것이다. 예를 들어, 도 1b에서, 워핑된 픽셀 W1은 타겟 픽셀들 S1 및 S2로 맵핑된다. 그러나, 이것은, 특히 서브픽셀 정밀이 사용되는 경우에 이미지 품질에 악영향을 미칠 수 있다(즉, 고주파수 디테일들이 스플랫팅으로 인해 손실됨). 핀홀들이 대부분, 전경(foreground)과 배경(background) 간의 바운더리(즉 큰 깊이 불연속을 갖는 바운더리) 주변에서 일어나는 점에 유의하여, 단지 바운더리에 가까운 픽셀들에 대해서만 스플랫팅을 적용하는 것이 제안된다. 도 1b의 경우에, 만약 픽셀 W1이, 바운더리에 가까이 있지 않다면(예를 들어, 바운더리로부터 50 픽셀보다 더 먼 거리에 있다면), 가장 가까운 타겟 픽셀 S1로만 맵핑된다. 물론, 앞서의 50 픽셀 거리는 단지 예시적인 것이며, 따라서 본 발명의 원리의 사상을 유지하면서 본 발명의 기술분야 및 관련 기술분야에서 통상의 기술을 가진자가 용이하게 고려할 수 있는 바와 같이, 다른 픽셀 거리가 또한 사용될 수 있다.
여기서 "바운더리(boundary)"는 단지 깊이 연속성이 큰 이미지의 부분(들)을 말하는 것으로, 따라서 참조 뷰의 깊이 이미지로부터의 검출이 용이하다. 바운더리들로서 고려되는 이러한 픽셀들에 대해, 스플랫팅이 포워드 워핑에서 수행된다. 반면, 바운더리들로부터 훨씬 멀리 있는 픽셀들에 대한 스플랫팅은 디스에이블되는바, 이는 특히 서브픽셀 정밀이 합성된 이미지에서 사용되는 경우 많은 깊이 변화 없이 오브젝트의 안쪽에 고주파수 디테일들을 보유하는 것을 돕는다. 또 다른 실시예에서, 참조 뷰들의 깊이 이미지는 가상 위치로 포워드 워핑되고, 그 다음에, 합성된 깊이 이미지에서의 바운더리 층 추출이 행해진다. 픽셀이 바운더리 영역으로 워핑되는 경우 스플랫팅이 수행된다.
복수의 워핑된 픽셀들이, 합성된 뷰에서 동일한 타겟 픽셀로 맵핑될 때, 용이한 Z-버퍼링 방식(카메라에 더 가까운 픽셀을 선택하는 것)이 깊이 레벨들을 비교함으로써 적용될 수 있다. 물론, 본 발명의 원리의 사상을 유지하면서, 이들을 평균화하기 위한 임의의 다른 가중치부여 방식이 또한 사용될 수 있다.
실시예 2( Embodiment 2)
Z-버퍼링, 홀 분포, 및 카메라 위치들에 근거하는 병합( Merging based on Z-buffering, hole distribution , and camera positions )
하나 이상의 참조 뷰가 이용가능한 경우, 두 개의 뷰들의 경우에 대해 도 7에서 설명된 바와 같이, 합성된 이미지가 각각의 뷰로부터 개별적으로 발생될 때, 일반적으로 병합 프로세스가 필요하다. 문제는 이들을 어떻게 결합할 것인가?, 즉 p1(참조 뷰 1로부터의 합성된 이미지 상에서의 배열(collocate)된 픽셀) 및 p2(참조 뷰 2로부터의 합성된 이미지 상에서의 배열된 픽셀)로부터의 병합된 이미지에서 타겟 픽셀 p의 값을 어떻게 얻을 것인가?이다.
합성된 이미지에서의 일부 픽셀들은 블렌딩 단계 동안 전혀 값을 할당받지 못한다. 이러한 위치들은 홀들로 불리며, 이 홀들은 종종 디스어쿨루젼(dis-occlusion)들(뷰포인트(viewpoint)에서의 차이로 인해, 합성된 뷰에서의 언커버(uncover)된 참조 뷰들에서의 이전의 비가시적 장면 포인트들)에 의해 발생되거나 혹은 입력 깊이 에러로 인해 발생된다.
p1 혹은 p2가 홀인 경우, 홀이 아닌 픽셀의 픽셀 값이, 최종 병합된 이미지에서 p에 할당될 것이다. p1 및 p2가 모두 홀들이 아닐 경우 충돌이 발생한다. 만약 p1 및 p2가 모두 홀들이라면, 홀 필링 방법(hole filling method)이 사용되고, 그리고 다양한 이러한 방법들이 본 발명의 기술분야에서 공지되어 있다. 가장 간단한 방식은 다시 Z-버퍼링을 적용하는 것인바, 즉 이들의 깊이 레벨들을 비교함으로써 카메라에 더 가까운 픽셀을 선택하는 것이다. 그러나, 입력 깊이 이미지들은 노이즈가 있고, p1 및 p2가 두 개의 서로 다른 참조 뷰들(이들의 깊이 이미지들은 일관되지 않을 것임)로부터 존재하는 것이기 때문에, 단순히 Z-버퍼링을 적용하는 것은 최종 병합된 이미지 상에 많은 아티팩트(artifact)들을 발생시킬 수 있다. 이러한 경우에, p1과 p2의 다음과 같은 평균화는 아티팩트들을 감소시킬 수 있다.
Figure pct00013
여기서, w1 및 w2는 뷰 가중치부여 팩터들이다. 일 구현에서, 이들은 간단히 일(1)로 설정될 수 있다. 교정된 뷰들에 있어서, 이들은 베이스라인 간격 l i (뷰 i와 합성된 뷰 간의 카메라 거리)에 근거하여 설정될 것이 권고된다(예를 들어, wi=1/l i ). 다시 말하지만, 임의의 다른 기존의 가중치부여 방식이, 하나 혹은 수개의 파라미터들을 결합하여, 적용될 수도 있다.
도 8은, 본 발명의 원리의 실시예에 따른, 깊이, 홀 분포, 및 카메라 파라미터들을 이용하는 병합 프로세스를 나타낸다. 단계(805)에서, p1, p2(p를 갖는 동일한 이미지 위치)가 프로세스(800)에 입력된다. 단계(810)에서, |깊이(p1)-깊이(p2)| > 깊이임계치(depthThreshold) 여부가 결정된다. 만약 그렇다면, 제어권은 단계(815)로 넘어간다. 만약 그렇지 않다면, 제어권은 단계(830)로 넘어간다.
단계(815)에서, p에 대해 카메라에 더 가까운 것(p1 또는 p2)이 선택된다(즉, Z-버퍼링).
단계(830)에서, 각각의 합성된 이미지에서의 p1 및 p2 주변에 얼마나 많은 홀들이 존재하는가의 카운트(count)가 수행된다(즉, 홀카운트1(holeCount1) 및 홀카운트2(holeCount2)를 구한다).
단계(820)에서, |홀카운트1-홀카운트2| > 홀임계치(holeThreshold) 여부가 결정된다. 만약 그렇다면, 제어권은 단계(825)로 넘어간다. 만약 그렇지 않다면, 제어권은 단계(835)로 넘어간다.
단계(825)에서, p에 대해 주변에 더 적은 홀들을 갖는 것(p1 또는, p2)이 선택된다.
단계(835)에서, p1과 p2는 방정식 (6)을 사용하여 평균화된다.
프로세스(800)에 관하여, 기본적 아이디어는, 깊이들이 많이 다를 때(예를 들어, |깊이(p1)-깊이(p2)| > 깊이임계치)는 언제나 Z-버퍼링을 적용하는 것이다. 앞서 사용된 깊이 양은 단지 예시적인 것이고 따라서, 본 발명의 원리의 사상을 유지하면서, 다른 양이 또한 사용될 수 있음을 이해해야 한다. 깊이 레벨들이 유사한 경우에는, p1 및 p2 주변의 홀 분포가 점검된다. 일 예에서, p1 및 p2 주변의 홀 픽셀들의 수가 카운트되는바, 즉 홀카운트1 및 홀카운트2가 구해진다. 만약 이들이 많이 다르다면(예를 들어, |홀카운트1-홀카운트2| > 홀임계치), 그 주변에 더 적은 홀들을 가진 것이 선택된다. 앞서 사용된 홀 카운트 양은 단지 예시적인 것이고 따라서, 본 발명의 원리의 사상을 유지하면서, 다른 양이 또한 사용될 수 있음을 이해해야 한다. 만약 그렇지 않으면, 평균화를 위해 방정식 (6)이 적용된다. 예를 들어, 이미지 크기 혹은 연산 제약들에 근거하여, 다른 근처(neighborhoods)가 홀들의 수를 카운트하기 위해 사용될 수 있음에 유의해야 한다. 홀 카운트들이 뷰 가중치부여 팩터들을 계산하기 위해 사용될 수도 있음에 또한 유의해야 한다.
간단히 홀을 카운트하는 것에 추가하여, 홀 위치들이 또한 고려될 수 있다. 예를 들어, 홀들이 주변에 산재되어 있는 픽셀은, 대부분의 홀들이 일 사이드(수평 카메라 정렬에서 좌측 사이드 또는 우측 사이드) 상에 위치하고 있는 픽셀과 비교하여 덜 바람직하다.
다른 구현에서, p1 및 p2 양쪽 모두는, 만약 이들 중 어떤 것도 충분히 양호한 것으로 고려되지 않는다면, 버려질 것이다. 결과적으로, p는 홀로서 마킹될 것이고, 그 값은 홀 필링 알고리즘에 근거하여 획득된다. 예를 들어, p1 및 p2는, 만약 그 각각의 홀 카운트들이 모두, 임계치인 홀임계치2보다 크다면, 버려진다.
"주변 홀(surrounding hole)들"은 일 구현에서 특정 타겟 픽셀에 대해 인접한 픽셀들만을 포함할 수 있고, 혹은 특정 타겟 픽셀로부터 사전에 결정된 수의 픽셀 거리 내에 있는 픽셀들을 포함할 수 있음을 이해해야 한다. 이러한 변형 및 다른 변형은, 본 발명의 원리의 사상을 유지하면서, 본 발명의 기술분야 및 관련 기술분야에서 통상의 기술을 가진자에 의해 용이하게 고려된다.
실시예 3: 백워드 합성 에러 사용( Embodiment 3: Using backward synthesis error )
실시예 2에서, 노이즈가 있는 깊이 이미지들을 병합 프로세스가 처리하기 위해, 주변 홀 분포가 Z 버퍼링과 함께 사용되었다. 여기서, 도 9에 제시된 바와 같은 뷰 병합에 도움을 주는 또 다른 방법이 제안된다. 도 9는, 본 발명의 원리의 실시예에 따른, 깊이, 백워드 합성 에러, 및 카메라 파라미터들을 사용하는 병합 프로세스를 나타낸다. 단계(902)에서, 참조 뷰 1로부터의 합성된 이미지가 프로세스(900)에 입력된다. 단계(904)에서, 참조 뷰 2로부터의 합성된 이미지가 프로세스(900)에 입력된다. 단계(903)에서, p1, p2(p를 갖는 동일한 이미지 위치)가 프로세스에 입력된다. 단계(905)에서, 참조 뷰 1이 백워드 합성되고, 재합성된 참조 뷰 1이 입력 참조 뷰 1과 비교된다. 단계(910)에서, 입력 참조 뷰와의 차이(에러) D1이 프로세스(900)에 입력된다. 단계(915)에서, D1 및 D2가 p 주변 작은 근처에서 비교되고, 이들이 유사한지 여부가 결정된다. 만약 그렇다면, 제어권은 기능 블록(930)으로 넘어간다. 만약 그렇지 않다면, 제어권은 기능 블록(935)으로 넘어간다.
단계(930)에서, p1과 p2는 방정식 (6)을 사용하여 평균화된다.
단계(935)에서, p에 대해 더 적은 에러를 갖는 것(p1 또는, p2)이 선택된다.
단계(920)에서, |깊이(p1)-깊이(p2)| > 깊이임계치 여부가 결정된다. 만약 그렇다면, 제어권은 단계(925)로 넘어간다. 만약 그렇지 않다면, 제어권은 단계(915)로 넘어간다.
단계(925)에서, p에 대해 카메라에 더 가까운 것(p1 또는 p2)이 선택된다(즉, Z-버퍼링).
단계(950)에서, 참조 뷰 2가 백워드 합성되고, 재합성된 참조 뷰 2가 입력 참조 뷰 2와 비교된다. 단계(955)에서, 입력 참조 뷰 와의 차이(에러) D2가 프로세스(900)에 입력된다.
(합성된 깊이와 함께) 각각의 합성된 이미지로부터, 본래 참조 뷰가 재합성되고, 그리고 백워드 합성된 이미지와 입력 참조 뷰 간의 에러가 구해진다. 이것은 백워드 합성 에러 이미지 D로 언급될 것이다. 이 프로세스를 참조 이미지 1과 참조 이미지 2에 적용하여, D1 및 D2를 얻는다. 병합 단계 동안, p1 및 p2가 유사한 깊이를 가질 때, 만약 p1 주변 근처에서의 백워드 합성 에러 D1(예를 들어, 5×5 픽셀 범위 내에서의 에러들의 합)이 p2 주변에서 계산된 D2보다 훨씬 더 크다면, p2가 선택될 것이다. 마찬가지로 D2가 D1보다 더 크다면, p1이 선택된다. 이 아이디어는 큰 백워드 합성 에러가 큰 입력 깊이 이미지 노이즈와 밀접하게 관련되어 있다는 가정에 근거하고 있다. 만약, 에러들 D1 및 D2가 유사하다면, 방정식 (6)이 사용될 수 있다.
실시예 2와 유사하게, 다른 구현에서, p1 및 p2 양쪽 모두는, 만약 이들 중 어떤 것도 충분히 양호하지 않다면, 버려질 것이다. 예를 들어, 도 10에 예시된 바와 같이, p1(p2)은, 만약 대응하는 백워드 합성 에러 D1(D2)가 소정의 임계치보다 크다면, 버려질 수 있다.
도 10은, 본 발명의 원리의 실시예에 따른, 깊이, 백워드 합성 에러, 및 카메라 파라미터들을 사용하는 또 다른 병합 프로세스를 나타낸다. 단계(1002)에서, 참조 뷰 1로부터의 합성된 이미지가 프로세스(1000)에 입력된다. 단계(1005)에서, 참조 뷰 1이 백워드 합성되고, 재합성된 참조 뷰 1이 입력 참조 뷰 1과 비교된다. 단계(1010)에서, 입력 참조 뷰와의 차이(에러) D1이 프로세스(1000)에 입력된다.
단계(1004)에서, 참조 뷰 2로부터의 합성된 이미지가 프로세스(1000)에 입력된다. 단계(1050)에서, 참조 뷰 2가 백워드 합성되고, 재합성된 참조 뷰 2가 입력 참조 뷰 2와 비교된다. 단계(1055)에서, 입력 참조 뷰와의 차이(에러) D2가 프로세스(1000)에 입력된다. D1과 D2가 적어도 단계(1040) 및 단계(1040) 이후의 후속 단계들에서 사용됨에 유의해야 한다.
단계(1003)에서, p1, p2(p를 갖는 동일한 이미지 위치)가 프로세스에 입력된다. 단계(1020)에서, |깊이(p1)-깊이(p2)| > 깊이임계치 여부가 결정된다. 만약 그렇다면, 제어권은 단계(1025)로 넘어간다. 만약 그렇지 않다면, 제어권은 단계(1040)로 넘어간다.
단계(1025)에서, p에 대해 카메라에 더 가까운 것(p1 또는 p2)이 선택된다(즉, Z-버퍼링).
단계(1040)에서, D1 및 D2 양쪽 모두가 p 주변 작은 근처에서의 임계치보다 더 작은지 여부가 결정된다. 만약 그렇다면, 제어권은 단계(1015)로 넘어간다. 만약 그렇지 않다면, 제어권은 단계(1060)로 넘어간다.
단계(1015)에서, D1 및 D2이 p 주변 작은 근처에서의 비교되고, 이들이 유사한지 여부가 결정된다. 만약 그렇다면, 제어권은 기능 블록(1030)으로 넘어간다. 만약 그렇지 않다면, 제어권은 기능 블록(1035)으로 넘어간다.
단계(1030)에서, p1과 p2는 방정식 (6)을 사용하여 평균화된다.
단계(1035)에서, p에 대해 더 적은 에러를 갖는 것(p1 또는, p2)이 선택된다.
단계(1060)에서, D1이 p 주변 작은 근처에서의 임계치보다 더 작은지 여부가 결정된다. 만약 그렇다면, 제어권은 기능 블록(1065)으로 넘어간다. 만약 그렇지 않다면, 제어권은 단계(1070)로 넘어간다.
단계(1065)에서, p에 대해 p1이 선택된다.
단계(1070)에서, D2가 p 주변 작은 근처에서의 임계치보다 더 작은지 여부가 결정된다. 만약 그렇다면, 제어권은 단계(1075)로 넘어간다. 만약 그렇지 않다면, 제어권은 단계(1080)로 넘어간다.
단계(1075)에서, p에 대해 p2가 선택된다.
단계(1080)에서, p가 홀로서 마킹된다.
실시예 4: 고주파수 에너지 사용( Embodiment 4: Using high frequency energy )
이 실시예에서, 워핑된 픽셀들의 품질을 계산하기 위한 메트릭(metric)으로서 고주파수 에너지가 제안된다. 포워드 워핑 이후에 공간 움직임(spatial activity)에서의 상당량의 증가는 워핑 프로세스 동안 (예를 들어, 불량한 깊이 정보로 인해) 에러가 존재함을 표시하는 것일 것이다. 더 높은 공간 움직임은 고주파수에서의 더 많은 에너지로 해석되기 때문에, 이미지 패치(image patch)들(예를 들어, M×N 픽셀들의 블록들과 같은 것, 하지만 이러한 것에만 한정되는 것은 아님)에 관해 계산된 고주파수 에너지 정보를 사용하는 것을 제안한다. 특정 구현에서, 만약 모든 참조 뷰들로부터의 픽셀 주변에 많은 홀들이 존재하지 않는다면, 임의의 고주파수 필터를 사용하여 픽셀 주변의 블록을 프로세싱하고 고주파수에서 더 낮은 에너지를 갖는 것을 선택할 것을 제안한다. 결국에는, 만약 모두가 고주파수에서 높은 에너지를 갖는다면 어떠한 픽셀도 선택될 수 없다. 이 실시예는 실시예 3에 대한 대안적 실시예 혹은 보완적 실시예일 수 있다.
도 11은, 본 발명의 원리의 실시예에 따른, 고주파수 에너지를 이용하는 병합 프로세스를 나타낸다. 단계(1105)에서, p1, p2(p를 갖는 동일한 이미지 위치)가 프로세스(1100)에 입력된다. 단계(1110)에서, 각각의 합성된 이미지에서의 p1 및 p2 주변의 고주파수 에너지가 계산된다(즉, hf에너지1(hfenergy1) 및 hf 에너지2(hfenergy2)를 구한다). 단계(1115)에서, |hf에너지1 - hf에너지2| > hf 에너지임계치(hfenergyThreshold) 여부가 결정된다. 만약 그렇다면, 제어권은 단계(1120)로 넘어간다. 만약 그렇지 않다면, 제어권은 단계(1125)로 넘어간다.
단계(1120)에서, p에 대해 주변에 더 작은 고주파수 에너지를 갖는 것(p1 또는, p2)이 선택된다. 단계(1125)에서, p1과 p2는, 예를 들어, 방정식 (6)을 사용하여 평균화된다.
다른 구현들에서, 합성된 이미지에서의 고주파수 에너지는, 워핑 전에, 참조 이미지의 고주파수 에너지와 비교된다. 이러한 비교에서 임의의 임계치가 사용될 수 있는바, 이 경우 임계치는 워핑 전 참조 뷰의 고주파수 에너지에 근거하는 것이다.
후처리-프로세싱: 홀-필링( Post - processing : Hole - filling )
병합된 합성 이미지에서의 일부 픽셀들은 여전히 홀들일 수 있다. 이러한 홀들을 처리하는 가장 간단한 방법은 홀들에 접하고 있는 픽셀들을 검사하고 일부를 이러한 홀들을 필링하는데 사용하는 것이다. 그러나, 임의의 기존 홀 필링 방식이 적용될 수 있다.
따라서, 요약하면, 적어도 일 구현에서, 제안하고자 하는 바는, (1) 바운더리 층들 주변의 픽셀들에 대해서만 스플랫팅을 적용하는 것, 그리고 (2) Z 버퍼링과 함께 홀 분포 혹은 백워드 합성 에러를 사용하는 두 개의 병합 방식들이다. 휴리스틱인 이러한 방법 및 구현에 대해, 가능한 변형들이 많이 존재할 수 있다.
이러한 변형들의 일부는, 이들이 본 명세서에서 설명되는 다양한 실시예들과 관련되어 있기 때문에, 다음과 같다. 그러나, 본 명세서에서 제공되는 본 발명의 원리의 가르침이 주어지는 경우, 본 발명의 기술분야 및 관련 기술분야에서 통상의 기술을 가진자가, 본 발명의 원리의 사상을 유지하면서, 본 발명의 원리의 이러한 변형 및 다른 변형을 고려할 수 있음을 이해해야 한다.
실시예 1을 설명하는 동안, 사용된 예는 교정된 뷰 합성이다. 동일한 바운더리 층 스플랫팅 방식이 비교정된 뷰들에도 적용될 수 있다. 이 경우, 각각의 워핑된 픽셀은 종종 네 개의 그 이웃하는 타겟 픽셀로 맵핑된다. 실시예 1에서, 비비운더리 부분에서의 각각의 워핑된 픽셀에 대해, 이것을 단지 하나 혹은 두 개의 가장 가까운 이웃 타겟 픽셀들로 맵핑할 수 있고, 혹은 다른 이웃하는 타겟 픽셀들에 훨씬 더 작은 가중치를 부여할 수 있다.
실시예 2 및 실시예 3에서, p1 및 p2 주변의 홀들의 수 혹은 p1 및 p2 주변의 백워드 합성 에러는, 병합 이미지에서의 픽셀 p에 대한 최종 값으로서 이들 중 하나를 선택하는 것을 돕는데 사용된다. 이러한 바이너리 가중치부여 방식(0 또는 1)은 비바이너리 가중치부여 방식으로 확장될 수 있다. 실시예 2의 경우에, 만약 픽셀이 그 주변에 더 많은 홀들을 갖는다면 (도 8에서와 같은 0 대신에) 더 작은 가중치가 부여될 수 있다. 실시예 3에 대해서도 마찬가지로, 만약 픽셀의 근처가 더 높은 백워드 합성 에러를 갖는다면 (도 9에서와 같은 0 대신에) 더 작은 가중치가 부여될 수 있다.
실시예 2 및 실시예 3에서, 후보 픽셀들 p1 및 p2는, 만약 이들이 충분히 양호하지 않다면, p의 계산에 대해 완전히 버려질 수 있다. 후보 픽셀의 양호 여부를 결정하기 위해, 홀들의 수, 백워드 합성 에러 혹은 팩터들의 결합과 같은, 다른 기준이 사용될 수 있다. 이것은, 두 개 이상의 참조 뷰들이 사용될 때에도 동일하게 적용된다.
실시예 2, 실시예 3, 및 실시예 4에서는 두 개의 참조 뷰들이 가정되었다. 홀들의 수, 합성된 이미지들 간의 백워드 합성 에러, 혹은 각각의 참조 뷰로부터의 고주파수 에너지를 비교하기 때문에, 이러한 실시예들은 임의 개수의 참조 뷰들에 대한 비교를 포함하도록 쉽게 확장될 수 있다. 이러한 경우에, 비바이너리 가중치부여 방식이 더 적합하게 사용될 수 있다.
실시예 2에서, 후보 픽셀의 근처에서의 홀들의 수는 블렌딩 프로세스에서의 그 사용을 결정하는데 사용된다. 홀들의 수에 추가하여, 홀들의 크기, 그 밀도, 등이 고려될 수 있다. 일반적으로, 본 발명의 원리의 사상을 유지하면서, 후보 픽셀들의 근처에서의 홀들에 근거하는 임의의 메트릭이 사용될 수 있다.
실시예 2 및 실시예 3에서, 홀 카운트 및 백워드 합성 에러는 각각의 후보 픽셀의 근처에서의 깊이 맵들의 노이즈를 평가하기 위한 메트릭으로서 사용된다. 그 이론적 근거는 그 근처에서의 깊이 맵의 노이즈가 더 클수록, 후보 픽셀의 신뢰가능성은 더 작아진다는 것이다. 일반적으로, 본 발명의 원리의 사상을 유지하면서, 깊이 맵의 로컬 노이즈의 추정치를 얻기 위해 임의의 메트릭이 사용될 수 있다.
이에 따라, 다양한 구현들이 설명되었다. 하나 이상의 이러한 구현들은 제1의 워핑된 참조 뷰로부터의 제 1 후보 픽셀 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀을 평가한다. 이 평가는, 제 1 후보 픽셀 및 제 2 후보 픽셀의 품질을 평가하기 위한 백워드 합성 프로세스, 제 1 후보 픽셀 및 제 2 후보 픽셀 주변의 홀 분포 중 적어도 하나에 근거를 두거나 혹은 특정 주파수 이상의 제 1 후보 픽셀 및 제 2 후보 픽셀 주변의 에너지의 양에 근거를 두고 있다. 이 평가는 적어도 제1의 워핑된 참조 뷰 및 제2의 워핑된 참조 뷰를 신호 합성된 뷰로 병합하는 것의 일부로서 일어난다. 품질은, 예를 들어, 홀 분포, 고주파수 에너지 콘텐츠, 및/또는 백워드 합성된 뷰와 입력 참조 뷰 간의 에러에 근거하여 표시될 수 있다(예를 들어, 도 10, 단계(1055) 참조). 품질은 또한, (대안적으로 혹은 추가적으로) 두 개의 서로 다른 참조 뷰들에 대한 이러한 에러들의 비교, 및/또는 이러한 에러들(혹은 이러한 에러들 간의 차이)과 하나 이상의 임계치들과의 비교에 의해 표시될 수 있다. 더욱이, 다양한 구현들은 또한, 단일의 합성된 뷰에서의 소정의 타겟 픽셀에 대한 결과를 이러한 평가에 근거하여 결정한다. 이러한 결과는 예를 들어, 소정의 타겟 픽셀에 대한 값을 결정하는 것, 혹은 소정의 타겟 픽셀을 홀로서 마킹하는 것일 수 있다.
앞서의 설명을 고려하는 경우, 앞서의 설명은 단지 본 발명의 원리를 예시하는 것이고, 따라서 본 발명의 기술분야에서 숙련된 자들이 수많은 대안적 구성을 고안해 낼 수 있음을 이해해야 할 것이며, 이러한 구성이 비록 본 명세서에서 명시적으로 설명되고 있지 않을지라도 본 발명의 원리를 구현함과 아울러 그 사상 및 범위 내에 있는 것임을 이해해야 할 것이다. 따라서, 특정된 특징 및 실시형태를 갖는 하나 이상의 구현들이 제공된다. 그러나, 설명된 구현들의 특징 및 실시형태는 또한 다른 구현을 위해 조정될 수 있다. 따라서, 비록 본 명세서 설명된 구현들이 특정된 내용으로 설명되었지만, 이러한 설명이 이러한 구현들 혹은 내용에 대한 특징 및 개념을 한정하는 것으로 고려돼서는 안 된다.
본 명세서에서, 본 발명의 원리의 "일 실시예" 혹은 "실시예" 혹은 "일 구현" 혹은 "구현" 그리고 그 다른 변형들로 언급되는 것은, 실시예들과 연계되어 설명되는 특정된 특징, 구조, 특성 등이 본 발명의 원리의 적어도 일 실시예에 포함됨을 의미하는 것이다. 따라서, 본 명세서 전반에 걸쳐 다양한 곳에서 나오는 어구 "일 실시예에서" 혹은 "실시예에서" 혹은 "일 구현에서" 혹은 "구현에서" 그리고 임의의 다른 변형들로 표현된 것은 모두 반드시 동일한 실시예를 말하는 것은 아니다.
다음과 같은 것, "/", "및/또는" 그리고 "중 적어도 하나" 가운데 어느 하나를 사용하는 것(예를 들어, "A/B", "A 및/또는 B" 그리고 "A와 B 중 적어도 하나")은, 단지 첫 번째 나열된 옵션(A)만을 선택하는 것, 또는 단지 두 번째 나열된 옵션(B)만을 선택하는 것, 또는 양쪽 옵션들(A 및 B) 모두를 선택하는 것을 포괄하도록 의도되었음을 이해해야 한다. 추가적 예로서, 어구 "A, B, 및/또는 C" 그리고 A, B, 및 C 중 적어도 하나"의 경우에, 이러한 어구는, 단지 첫 번째 나열된 옵션(A)만을 선택하는 것, 또는 단지 두 번째 나열된 옵션(B)만을 선택하는 것, 또는 단지 세 번째 나열된 옵션(C)만을 선택하는 것, 또는 단지 첫 번째와 두 번째 나열된 옵션들(A 및 B)만을 선택하는 것, 또는 단지 첫 번째와 세 번째 나열된 옵션들(A 및 C)만을 선택하는 것, 또는 단지 두 번째와 세 번째 나열된 옵션들(B 및 C)만을 선택하는 것(B 및 C), 또는 세 개의 옵션들(A 및 B 및 C) 모두를 선택하는 것을 포괄하도록 의도되었다. 이것은, 본 발명의 기술분야 및 관련 기술분야에서 통상의 기술을 가진자에게 용이하게 명백한 것이기 때문에, 나열되는 아이템이 많은 경우에도 확장될 수 있다.
구현들은 다양한 기술들을 사용하여 정보를 시그널링할 수 있다(대역내 정보(in-band information), 대역외 정보(out-of-band information), 데이터스트림 데이터(datastream data), 암시적 시그널링(implicit signaling), 및 명시적 시그널링(explicit signaling)을 포함하지만 이러한 것에만 한정되는 것은 아님). 대역내 정보 및 명시적 시그널링은, 다양한 구현들 및/또는 표준에 있어서, 슬라이스 헤더(slice header)들, SEI 메세지들, 다른 고레벨 신택스(high level syntax), 및 비-고레벨 신택스(non-high-level syntax)를 포함할 수 있다. 따라서, 비록 본 명세서에서 설명되는 구현들이 특정 내용으로 설명될 수 있지만, 이러한 설명이 이러한 구현들 혹은 내용에 대한 특징 및 개념을 한정하는 것으로 고려돼서는 안 된다.
본 명세서에서 설명되는 구현들 및 특징들은 MPEG-4 AVC 표준, 혹은 MVC 확장을 갖는 MPEG-4 AVC 표준, 혹은 SVC 확장을 갖는 MPEG-4 AVC 표준의 맥락에서 사용될 수 있다. 그러나, 이러한 구현 및 특징은 (기존의 혹은 장래의) 또 다른 표준 및/또는 권고안의 맥락에서 사용될 수 있고, 또는 임의의 표준 및/또는 권고안을 포함하지 않는 맥락에서 사용될 수 있다.
본 명세서에서 설명되는 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단지 단일 구현 형태의 맥락에서만 설명될지라도(예를 들어, 단지 방법으로만 설명될지라도), 설명되는 특징들의 구현은 또한, 다른 형태(예를 들어, 장치 혹은 프로그램)로도 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법은 예를 들어 장치(예를 들어, 프로세서와 같은 것, 이것은, 일반적으로, 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 혹은 프로그래밍가능 로직 디바이스를 포함하는 프로세싱 디바이스를 말함)에서 구현될 수 있다. 프로세서는 또한, 예를 들어, 컴퓨터, 셀폰, 휴대가능/개인용 정보 단말기(Portable/Personal Digital Assistant)("PDA"), 및 최종 사용자들 간의 정보의 통신을 용이하게 하는 다른 디바이스와 같은, 그러한 통신 디바이스를 포함한다.
본 명세서에서 설명되는 다양한 프로세스 및 특징의 구현은 다양한 다른 장비 또는 애플리케이션에서 구현될 수 있는바, 예를 들어 데이터 인코딩 및 디코딩과 관련된 장비 또는 애플리케이션에서 구현될 수 있다. 이러한 장비의 예로는, 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 후처리 프로세서, 인코더에 입력을 제공하는 전처리 프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋탑 박스, 랩탑, 개인용 컴퓨터, 셀폰, PDA, 및 다른 통신 디바이스가 있다. 당연히 명백해지는 바와 같이, 이러한 장비는 모바일 장비일 수 있고, 차량에 설치될 수도 있다.
추가적으로, 본 방법들은 프로세서에 의해 수행되는 명령들로 구현될 수 있고, 그리고 이러한 명령들 (및/또는 실행에 의해 생성되는 데이터 값들)은, 예를 들어, 집적 회로, 소프트웨어 캐리어 혹은 다른 저장 디바이스(예를 들어, 하드 디스크, 컴팩트 디스켓, 랜덤 액세스 메모리(Random Access Memory)("RAM"), 또는 판독 전용 메모리(Read-Only Memory)("ROM")와 같은 것)와 같은 프로세서 판독가능 매체에 저장될 수 있다. 이 명령들은 프로세서 판독가능 매체에 실체적으로 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명령들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 혹은 이들의 결합에 존재할 수 있다. 명령들은 예를 들어, 운영 체계, 개별 애플리케이션, 혹은 이 둘의 결합에 존재할 수 있다. 따라서, 프로세서는 예를 들어, 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 수행하는 명령들이 수록된 프로세서 판독가능 매체(예를 들어, 저장 디바이스)를 포함하는 디바이스 양쪽 모두로서의 특징을 가질 수 있다. 더욱이, 프로세서 판독가능 매체는 명령에 추가하여 혹은 명령 대신에, 실행에 의해 생성되는 데이터 값들을 저장할 수 있다.
관련 기술분야에서 숙련된 자에게 명백해지는 바와 같이, 실시예들은, 예를 들어 저장 혹은 전송될 수 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 이 정보는 예를 들어, 방법을 수행하기 위한 명령들을 포함할 수 있거나 혹은 앞서 설명된 실시예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 블렌딩 혹은 병합된 워핑된-참조-뷰들을 데이터로서 운반하도록 포맷팅될 수 있거나 혹은 워핑된 참조 뷰들을 블렌딩 혹은 병합하기 위한 알고리즘을 운반하도록 포맷팅될 수 있다. 이러한 신호는 예를 들어, 전자기파(예를 들어, 스펙트럼의 무선 주파수 부분을 사용하는 전자기파)로서 포맷팅될 수 있거나, 혹은 기저대역 신호로서 포맷팅될 수 있다. 이러한 포맷팅은 예를 들어 데이터 스트림을 인코딩하는 것, 및 이 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반할 수 있는 정보는 예를 들어, 아날로그 정보 또는 디지털 정보일 수 있다. 이 신호는, 알려진 바와 같은, 다양한 서로 다른 유선 혹은 무선 링크들을 통해 전송될 수 있다. 이 신호는 프로세서 판독가능 매체에 저장될 수 있다.
다수의 실시예들이 설명되었다. 그럼에도 불구하고, 다양하게 수정될 수 있음을 이해할 수 있을 것이다. 예를 들어, 서로 다른 실시예들의 구성요소들이 결합되거나, 보완되거나, 수정되거나, 혹은 제거되어 다른 실시예들이 만들어질 수 있다. 추가적으로, 통상의 기술을 가진자는, 본 명세서에서 개시되는 구조 및 프로세스가 다른 구조 및 프로세서로 대체될 수 있고, 그 결과물인 실시예들은 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행하여 본 명세서에서 개시되는 실시예들과 적어도 실질적으로 동일한 결과(들)를 달성할 수 있음을 이해할 것이다. 따라서, 이러한 실시예들 및 다른 실시예들이 그 응용시 고려될 수 있고, 이들은 다음의 특허청구범위 내에 있는 것이다.

Claims (36)

  1. 제1의 워핑된 참조 뷰(warped reference view)로부터의 제 1 후보 픽셀(candidate pixel) 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀을, 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀의 품질(quality)을 평가하기 위한 백워드 합성 프로세스(backward synthesis process), 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀 주변의 홀 분포(hole distribution) 중 적어도 하나에 근거하여 혹은 특정 주파수 이상의 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀 주변의 에너지의 양에 근거하여, 평가하는 단계(1010, 1055)로서, 상기 평가 단계는 적어도 상기 제1 및 제 2의 워핑된 참조 뷰를 신호 합성된 뷰(signal synthesized view)로 병합하는 것의 일부로서 일어나는, 단계; 및
    상기 평가에 근거하여, 단일의 합성된 뷰에서의 소정의 타겟 픽셀(target pixel)에 대한 결과를 결정하는 단계(1075, 1080)를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 결과를 결정하는 단계는 상기 소정의 타겟 픽셀에 대한 값을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 결과를 결정하는 단계는 상기 소정의 타겟 픽셀이 홀이라고 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제2항에 있어서,
    상기 홀 분포는 상기 제 1 후보 픽셀 주변의 홀들의 수를 나타내는 제 1 홀 카운트(hole count) 및 상기 제 2 후보 픽셀 주변의 홀들의 수를 나타내는 제 2 홀 카운트를 포함하고,
    상기 소정의 타겟 픽셀의 값을 결정하는 단계는, 상기 소정의 타겟 픽셀에 대한 값으로서, 상기 제 1 후보 픽셀 혹은 상기 제 2 후보 픽셀 중 어느 것이든 상기 제 1 홀 카운트 및 상기 제 2 홀 카운트 중에서 가장 낮은 홀 카운트 값을 갖는 것을 선택하는 단계(825)를 포함하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 소정의 타겟 픽셀에 대한 값으로서, 상기 제 1 후보 픽셀 혹은 상기 제 2 후보 픽셀 중 어느 것이든 상기 가장 낮은 홀 카운트 값을 갖는 것을 선택하는 단계(825)는, 상기 제 1 홀 카운트와 상기 제 2 홀 카운트 간의 차이가 사전에 결정된 임계차(threshold difference)보다 더 클 때(820)만 수행되는 것을 특징으로 하는 방법.
  6. 제4항에 있어서,
    상기 소정의 타겟 픽셀에 대한 값으로서, 상기 제 1 후보 픽셀 혹은 상기 제 2 후보 픽셀 중 어느 것이든 상기 가장 낮은 홀 카운트 값을 갖는 것을 선택하는 단계(825)는, 상기 제 1 홀 카운트와 상기 제 2 홀 카운트 간의 차이가 사전에 결정된 임계차보다 더 크고(820) 그리고 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀의 깊이 간의 차이가 사전에 결정된 임계 깊이(threshold depth)보다 크지 않을 때(810)만 수행되는 것을 특징으로 하는 방법.
  7. 제4항에 있어서,
    상기 소정의 타겟 픽셀의 값을 결정하는 단계는, 상기 제 1 홀 카운트와 상기 제 2 홀 카운트 간의 차이가 상기 사전에 결정된 임계차보다 더 크지 않을 때(820), 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀의 값을 평균화하는 단계(835)를 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀의 값을 평균화하는 단계(835)는, 상기 제 1 홀 카운트와 상기 제 2 홀 카운트 간의 차이가 사전에 결정된 임계차보다 더 크지 않고(820) 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀의 깊이 간의 차이가 사전에 결정된 임계 깊이보다 더 크지 않을 때(810)만 수행되는 것을 특징으로 하는 방법.
  9. 제7항에 있어서,
    상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀의 값을 평균화하는 단계(835)는, 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀의 각각에 대한 가중치 팩터(weight factor)들을 사용하는 단계(835)를 포함하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    상기 가중치 팩터들은, 상기 제1의 워핑된 참조 뷰와 상기 단일의 합성된 뷰 간의 차이 및 상기 제2의 워핑된 참조 뷰와 상기 단일의 합성된 뷰 간의 차이 중 적어도 하나에 근거하여 결정되는 것을 특징으로 하는 방법.
  11. 제8항에 있어서,
    상기 가중치 팩터들은, 상기 제 1 홀 카운트 및 상기 제 2 홀 카운트에 근거하여 결정되는 것을 특징으로 하는 방법.
  12. 제8항에 있어서,
    상기 가중치 팩터들은, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 홀들의 위치에 근거하여 결정되는 것을 특징으로 하는 방법.
  13. 제11항에 있어서,
    상기 홀 분포는 또한 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 홀들의 위치에 근거하고, 그리고
    상기 소정의 타겟 픽셀의 값을 결정하는 단계는, 상기 소정의 타겟 픽셀에 대한 값으로서, 상기 제 1 후보 픽셀 혹은 상기 제 2 후보 픽셀 중 어느 것이든 소정의 측면(given side)에 가장 많이 위치하고 있는 홀들을 갖는 것을 선택하는 단계를 포함하거나, 또는 상기 제 1 후보 픽셀 혹은 상기 제 2 후보 픽셀 중 어느 것이든 소정의 측면에 가장 많이 위치하고 있는 홀들을 갖는 것에 더 높은 가중치 팩터를 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 제2항에 있어서,
    상기 홀 분포는 또한 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 홀들의 위치를 포함하고, 그리고
    상기 소정의 타겟 픽셀의 값을 결정하는 단계는, 상기 소정의 타겟 픽셀에 대한 값으로서, 상기 제 1 후보 픽셀 혹은 상기 제 2 후보 픽셀 중 어느 것이든 소정의 측면에 가장 많이 위치하고 있는 홀들을 갖는 것을 선택하는 단계를 포함하거나, 또는 상기 제 1 후보 픽셀 혹은 상기 제 2 후보 픽셀 중 어느 것이든 소정의 측면에 가장 많이 위치하고 있는 홀들을 갖는 것에 더 높은 가중치 팩터를 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 제4항에 있어서,
    상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 양쪽 모두는, 상기 제 1 홀 카운트 및 상기 제 2 홀 카운트 양쪽 모두가 사전에 결정된 임계 홀 카운트 값(threshold hole count value)보다 클 때, 상기 소정의 타겟 픽셀에 대한 값을 결정할 때의 사용으로부터 폐기되는 것을 특징으로 하는 방법.
  16. 제2항에 있어서,
    상기 백워드 합성 프로세스는,
    재합성된 제1의 워핑된 참조 뷰 및 재합성된 제2의 워핑된 참조 뷰를 각각 제공하기 위하여 상기 제1의 참조 뷰 및 상기 제2의 참조 뷰를 재합성하는 단계(905, 950);
    상기 재합성된 제1의 참조 뷰와 제 1 참조 뷰 간의 제 1 차이를 계산하는 단계(910)로서, 상기 제 1 참조 뷰로부터는 상기 제1의 워핑된 참조 뷰가 획득된, 단계(910);
    상기 재합성된 제2의 참조 뷰와 제 2 참조 뷰 간의 제 2 차이를 계산하는 단계(955)로서, 상기 제 2 참조 뷰로부터는 상기 제2의 워핑된 참조 뷰가 획득된, 단계(955);
    상기 제 1 후보 픽셀 주변의 이웃에 적용되는 상기 제 1 차이에 대한 제1의 합을 계산하는 단계(915); 및
    상기 제 2 후보 픽셀 주변의 이웃에 적용되는 상기 제 2 차이에 대한 제2의 합을 계산하는 단계(915)를 포함하고,
    상기 방법은 상기 제1의 합과 상기 제2의 합 중 적어도 하나에 근거하여 상기 소정의 타겟 픽셀에 대한 값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  17. 제16항에 있어서,
    상기 제1의 합과 상기 제2의 합 중 적어도 하나에 근거하여 상기 소정의 타겟 픽셀의 값을 결정하는 단계는,
    상기 소정의 타겟 픽셀에 대한 값으로서,
    상기 제1의 합이 상기 제2의 합보다 더 작고(935) 상기 제1의 합과 상기 제2의 합 간의 차이가 사전에 특정된 임계차보다 더 큰(920) 경우에는 상기 제 1 후보 픽셀을 선택하고,
    상기 제2의 합이 상기 제1의 합보다 더 작고(935) 상기 제1의 합과 상기 제2의 합 간의 차이가 사전에 특정된 임계차보다 더 큰(920) 경우에는 상기 제 2 후보 픽셀을 선택하는 단계; 및
    상기 제1의 합과 상기 제2의 합 간의 차이가 사전에 특정된 임계차보다 더 크지 않을 때(920)에는 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀의 값을 평균화하는 단계(930)를 포함하는 것을 특징으로 하는 방법.
  18. 제17항에 있어서,
    상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀의 값을 평균화하는 단계(930)는 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 각각에 대한 가중치 팩터들을 사용하는 단계(930)를 포함하는 것을 특징으로 하는 방법.
  19. 제16항에 있어서,
    상기 제1의 합과 상기 제2의 합 중 적어도 하나가 사전에 특정된 임계합(threshold sum)보다 더 클 때 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 중 적어도 하나를 폐기하는 단계(1080)를 더 포함하는 것을 특징으로 하는 방법.
  20. 제19항에 있어서,
    상기 제1의 합과 상기 제2의 합이 상기 사전에 특정된 임계합보다 더 클 때 상기 소정의 타겟 픽셀을 홀로서 마킹(marking)하는 단계(1080)를 더 포함하는 것을 특징으로 하는 방법.
  21. 제2항에 있어서,
    상기 홀 분포는 상기 제 1 후보 픽셀 주변의 홀들의 수를 표시(830)하는 제 1 홀 카운트 및 상기 제 2 후보 픽셀 주변의 홀들의 수를 표시(830)하는 제 2 홀 카운트를 포함하고,
    상기 단일의 합성된 뷰에서의 상기 소정의 타겟 픽셀에 대해 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀을 선택하는 단계는, 상기 제 1 홀 카운트 및 상기 제 2 홀 카운트가 소정의 임계 홀 카운트보다 작을 때, 상기 제 1 후보 픽셀 혹은 상기 제 2 후보 픽셀 중 어느 것이든 상기 에너지의 양에 대해 더 낮은 값을 갖는 것을 선택하는 단계(1120)를 포함하는 것을 특징으로 하는 방법.
  22. 제2항에 있어서,
    상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀 중 소정의 임계치보다 큰 상기 에너지의 양을 갖는 것을 폐기하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  23. 제2항에 있어서,
    상기 단일의 합성된 뷰에서의 상기 소정의 타겟 픽셀의 값을 결정하는 단계는,
    제1의 양을 획득하기 위하여 상기 제 1 후보 픽셀 주변의 상기 에너지의 양을 결정하는 단계(1110);
    제2의 양을 획득하기 위하여 상기 제 2 후보 픽셀 주변의 상기 에너지의 양을 결정하는 단계(1110); 및
    상기 제1의 양과 상기 제2의 양 중 적어도 하나에 근거하여, 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀 중 하나를 선택(1120)하거나, 또는 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀 중 하나를 폐기하거나, 또는 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀을 결합(1125)하는 단계를 포함하는 것을 특징으로 하는 방법.
  24. 제23항에 있어서,
    상기 홀 분포는 상기 제 1 후보 픽셀 주변의 홀들의 수를 표시하는 제 1 홀 카운트 및 상기 제 2 후보 픽셀 주변의 홀들의 수를 표시하는 제 2 홀 카운트를 포함하고,
    상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀 중 하나를 선택(1120)하거나, 또는 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀 중 하나를 폐기하거나, 또는 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀을 결합(1125)하는 단계는 또한 상기 제 1 홀 카운트 및 상기 제 2 홀 카운트 중 적어도 하나에 근거하는 것을 특징으로 하는 방법.
  25. 제24항에 있어서,
    상기 홀 분포는 또한 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 홀들의 위치에 근거하고,
    상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀 중 하나를 선택(1120)하거나, 또는 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀 중 하나를 폐기하거나, 또는 상기 제 1 후보 픽셀과 상기 제 2 후보 픽셀을 결합(1125)하는 단계는 또한 상기 제 1 후보 픽셀 주변의 홀들의 위치 및 상기 제 2 후보 픽셀 주변의 홀들의 위치 중 적어도 하나에 근거하는 것을 특징으로 하는 방법.
  26. 제1의 워핑된 참조 뷰로부터의 제 1 후보 픽셀 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀을, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀의 품질을 평가하기 위한 백워드 합성 프로세스, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 홀 분포 중 적어도 하나에 근거하여 혹은 특정 주파수 이상의 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 에너지의 양에 근거하여, 평가하는 수단(220)으로서, 상기 평가는 적어도 상기 제1 및 제2의 워핑된 참조 뷰를 신호 합성된 뷰로 병합하는 것의 일부로서 일어나는, 수단(220); 및
    상기 평가에 근거하여, 단일의 합성된 뷰에서의 소정의 타겟 픽셀에 대한 결과를 결정하는 수단(220)을 포함하는 것을 특징으로 하는 장치.
  27. 명령들이 저장되어 있는 프로세서 판독가능 매체로서,
    상기 명령들은 프로세서로 하여금 적어도,
    제1의 워핑된 참조 뷰로부터의 제 1 후보 픽셀 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀을, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀의 품질을 평가하기 위한 백워드 합성 프로세스, 상기 제 1 및 제 2 후보 픽셀 주변의 홀 분포 중 적어도 하나에 근거하여 혹은 특정 주파수 이상의 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 에너지의 양에 근거하여, 평가하는 단계(1010, 1055)로서, 상기 평가는 적어도 상기 제1 및 제2의 워핑된 참조 뷰를 신호 합성된 뷰로 병합하는 것의 일부로서 일어나는, 단계(1010, 1055); 및
    상기 평가에 근거하여, 단일의 합성된 뷰에서의 소정의 타겟 픽셀에 대한 결과를 결정하는 단계(1075, 1080)를
    수행하도록 하는 것을 특징으로 하는 프로세서 판독가능 매체.
  28. 프로세서를 포함하는 장치로서,
    상기 프로세서는 적어도,
    제1의 워핑된 참조 뷰로부터의 제 1 후보 픽셀 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀을, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀의 품질을 평가하기 위한 백워드 합성 프로세스, 상기 제 1 및 제 2 후보 픽셀 주변의 홀 분포 중 적어도 하나에 근거하여 혹은 특정 주파수 이상의 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 에너지의 양에 근거하여, 평가하는 단계(1010, 1055)로서, 상기 평가는 적어도 상기 제1 및 제2의 워핑된 참조 뷰를 신호 합성된 뷰로 병합하는 것의 일부로서 일어나는, 단계(1010, 1055); 및
    상기 평가에 근거하여, 단일의 합성된 뷰에서의 소정의 타겟 픽셀에 대한 결과를 결정하는 단계(1075, 1080)를
    수행하도록 구성되는 것을 특징으로 하는 장치.
  29. 뷰 병합기(view merger, 220)를 포함하는 장치로서,
    상기 뷰 병합기는,
    제1의 워핑된 참조 뷰로부터의 제 1 후보 픽셀 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀을, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀의 품질을 평가하기 위한 백워드 합성 프로세스, 상기 제 1 및 제 2 후보 픽셀 주변의 홀 분포 중 적어도 하나에 근거하여 혹은 특정 주파수 이상의 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 에너지의 양에 근거하여, 평가하는 단계(1010, 1055)로서, 상기 평가는 적어도 상기 제1 및 제2의 워핑된 참조 뷰를 신호 합성된 뷰로 병합하는 것의 일부로서 일어나는, 단계(1010, 1055); 및
    상기 평가에 근거하여, 단일의 합성된 뷰에서의 소정의 타겟 픽셀에 대한 결과를 결정하는 단계(1075, 1080)를
    수행하도록 구성되어 있는 것을 특징으로 하는 장치.
  30. 제29항에 있어서,
    상기 장치는 인코더(310)를 포함하는 것을 특징으로 하는 장치.
  31. 제29항에 있어서,
    상기 장치는 디코더(420)를 포함하는 것을 특징으로 하는 장치.
  32. 제29항에 있어서,
    상기 뷰 병합기는 상기 소정의 타겟 픽셀을 홀로서 마킹하기 위한 홀 마커(hole marker)를 포함하는 것을 특징으로 하는 장치.
  33. 뷰 병합기(220) 및 변조기(320)를 포함하는 장치로서,
    상기 뷰 병합기는,
    제1의 워핑된 참조 뷰로부터의 제 1 후보 픽셀 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀을, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀의 품질을 평가하기 위한 백워드 합성 프로세스, 상기 제 1 및 제 2 후보 픽셀 주변의 홀 분포 중 적어도 하나에 근거하여 혹은 특정 주파수 이상의 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 에너지의 양에 근거하여, 평가하는 단계(1010, 1055)로서, 상기 평가는 적어도 상기 제1 및 제2의 워핑된 참조 뷰를 신호 합성된 뷰로 병합하는 것의 일부로서 일어나는, 단계(1010, 1055); 및
    상기 평가에 근거하여, 단일의 합성된 뷰에서의 소정의 타겟 픽셀에 대한 결과를 결정하는 단계(1075, 1080)를 수행하도록 구성되어 있고;
    상기 변조기는 상기 단일의 합성된 뷰를 포함하는 신호를 변조하기 위한 것임을 특징으로 하는 장치.
  34. 제33항에 있어서,
    상기 장치는 인코더(310)를 포함하는 것을 특징으로 하는 장치.
  35. 제33항에 있어서,
    상기 장치는 디코더(420)를 포함하는 것을 특징으로 하는 장치.
  36. 복조기(420) 및 뷰 병합기(220)를 포함하는 장치로서,
    상기 복조기(420)는 적어도 제1의 워핑된 참조 뷰 및 제2의 워핑된 참조 뷰를 포함하는 신호를 복조하고;
    상기 뷰 병합기(220)는,
    제1의 워핑된 참조 뷰로부터의 제 1 후보 픽셀 및 제2의 워핑된 참조 뷰로부터의 제 2 후보 픽셀을, 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀의 품질을 평가하기 위한 백워드 합성 프로세스, 상기 제 1 및 제 2 후보 픽셀 주변의 홀 분포 중 적어도 하나에 근거하여 혹은 특정 주파수 이상의 상기 제 1 후보 픽셀 및 상기 제 2 후보 픽셀 주변의 에너지의 양에 근거하여, 평가하는 단계(1010, 1055)로서, 상기 평가는 적어도 상기 제1 및 제2의 워핑된 참조 뷰를 신호 합성된 뷰로 병합하는 것의 일부로서 일어나는, 단계(1010, 1055); 및
    상기 평가에 근거하여, 단일의 합성된 뷰에서의 소정의 타겟 픽셀에 대한 결과를 결정하는 단계(1075, 1080)를 수행하도록 구성되어 있는 것을 특징으로 하는 장치.
KR1020117006765A 2008-08-29 2009-08-28 휴리스틱 뷰 병합을 사용하는 뷰 합성 KR20110073474A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US9296708P 2008-08-29 2008-08-29
US61/092,967 2008-08-29
US19261208P 2008-09-19 2008-09-19
US61/192,612 2008-09-19

Publications (1)

Publication Number Publication Date
KR20110073474A true KR20110073474A (ko) 2011-06-29

Family

ID=41226021

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020117006916A KR20110063778A (ko) 2008-08-29 2009-08-28 발견적 뷰 블렌딩을 이용한 뷰 합성
KR1020117006765A KR20110073474A (ko) 2008-08-29 2009-08-28 휴리스틱 뷰 병합을 사용하는 뷰 합성

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020117006916A KR20110063778A (ko) 2008-08-29 2009-08-28 발견적 뷰 블렌딩을 이용한 뷰 합성

Country Status (8)

Country Link
US (2) US20110148858A1 (ko)
EP (2) EP2321974A1 (ko)
JP (2) JP5551166B2 (ko)
KR (2) KR20110063778A (ko)
CN (2) CN102138333B (ko)
BR (2) BRPI0916902A2 (ko)
TW (2) TWI463864B (ko)
WO (3) WO2010024938A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140114002A (ko) * 2012-01-18 2014-09-25 인텔 코오퍼레이션 지능형 계산 촬영 시스템

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010071531A1 (en) * 2008-12-19 2010-06-24 Saab Ab System and method for mixing a scene with a virtual scenario
JP5249114B2 (ja) * 2009-04-03 2013-07-31 Ｋｄｄｉ株式会社 画像生成装置、方法及びプログラム
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
WO2011033668A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 視差画像生成装置
JP2011151773A (ja) * 2009-12-21 2011-08-04 Canon Inc 映像処理装置及び制御方法
TWI434227B (zh) * 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
CN101895752B (zh) * 2010-07-07 2012-12-19 清华大学 基于图像视觉质量的视频传输方法、系统及装置
CN101895753B (zh) * 2010-07-07 2013-01-16 清华大学 基于网络拥塞程度的视频传输方法、系统及装置
JP5627498B2 (ja) * 2010-07-08 2014-11-19 株式会社東芝 立体画像生成装置及び方法
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
JP5858380B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 仮想視点画像合成方法及び仮想視点画像合成システム
EP2658734B1 (en) 2010-12-30 2016-06-29 MICHELIN Recherche et Technique S.A. Piezoelectric based system and method for determining tire load
US20120262542A1 (en) * 2011-04-15 2012-10-18 Qualcomm Incorporated Devices and methods for warping and hole filling during view synthesis
US8988558B2 (en) 2011-04-26 2015-03-24 Omnivision Technologies, Inc. Image overlay in a mobile device
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
WO2013012227A2 (ko) * 2011-07-15 2013-01-24 엘지전자 주식회사 3d 서비스 처리 방법 및 장치
WO2013022401A2 (en) * 2011-08-10 2013-02-14 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for creating a disocclusion map used for coding a three-dimensional video
CN102325259A (zh) 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
CN103828359B (zh) * 2011-09-29 2016-06-22 杜比实验室特许公司 用于产生场景的视图的方法、编码系统以及解码系统
FR2982448A1 (fr) * 2011-11-07 2013-05-10 Thomson Licensing Procede de traitement d'image stereoscopique comprenant un objet incruste et dispositif correspondant
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
JP5911166B2 (ja) * 2012-01-10 2016-04-27 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置
TWI478095B (zh) 2012-02-07 2015-03-21 Nat Univ Chung Cheng Check the depth of mismatch and compensation depth error of the perspective synthesis method
US10447990B2 (en) * 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
KR101318552B1 (ko) * 2012-03-12 2013-10-16 가톨릭대학교 산학협력단 3차원 영상에 대한 인지 왜곡을 측정하는 측정 방법
CN102663741B (zh) * 2012-03-22 2014-09-24 侯克杰 对彩色数字图像进行视觉立体感知增强的方法及系统
US20130314401A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
CN103716641B (zh) 2012-09-29 2018-11-09 浙江大学 预测图像生成方法和装置
WO2014083752A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 別視点画像生成装置および別視点画像生成方法
EP2765774A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
KR102039741B1 (ko) * 2013-02-15 2019-11-01 한국전자통신연구원 영상 워핑을 위한 장치 및 방법
US9426451B2 (en) * 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
CN104065972B (zh) * 2013-03-21 2018-09-28 乐金电子(中国)研究开发中心有限公司 一种深度图像编码方法、装置及编码器
EP2983358A4 (en) * 2013-04-05 2017-01-04 Samsung Electronics Co., Ltd. Interlayer video encoding method and apparatus for using view synthesis prediction, and video decoding method and apparatus for using same
US20140375663A1 (en) * 2013-06-24 2014-12-25 Alexander Pfaffe Interleaved tiled rendering of stereoscopic scenes
US10477189B2 (en) * 2014-04-30 2019-11-12 Intel Corporation System and method of multi-view reconstruction with user-selectable novel views
TWI517096B (zh) * 2015-01-12 2016-01-11 國立交通大學 用於立體影像合成之逆向深度映射方法
CN104683788B (zh) * 2015-03-16 2017-01-04 四川虹微技术有限公司 基于图像重投影的空洞填充方法
EP3286737A1 (en) * 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
KR102465969B1 (ko) * 2015-06-23 2022-11-10 삼성전자주식회사 그래픽스 파이프라인을 수행하는 방법 및 장치
US9773302B2 (en) * 2015-10-08 2017-09-26 Hewlett-Packard Development Company, L.P. Three-dimensional object model tagging
CN105488792B (zh) * 2015-11-26 2017-11-28 浙江科技学院 基于字典学习和机器学习的无参考立体图像质量评价方法
EP3496388A1 (en) 2017-12-05 2019-06-12 Thomson Licensing A method and apparatus for encoding a point cloud representing three-dimensional objects
KR102133090B1 (ko) * 2018-08-28 2020-07-13 한국과학기술원 실시간 3차원 360 영상 복원 방법 및 그 장치
US11528461B2 (en) * 2018-11-16 2022-12-13 Electronics And Telecommunications Research Institute Method and apparatus for generating virtual viewpoint image
KR102491674B1 (ko) * 2018-11-16 2023-01-26 한국전자통신연구원 가상시점 영상을 생성하는 방법 및 장치
US11393113B2 (en) 2019-02-28 2022-07-19 Dolby Laboratories Licensing Corporation Hole filling for depth image based rendering
US11670039B2 (en) 2019-03-04 2023-06-06 Dolby Laboratories Licensing Corporation Temporal hole filling for depth image based video rendering
KR102192347B1 (ko) * 2019-03-12 2020-12-17 한국과학기술원 실시간 폴리곤 기반 360 영상 복원 방법 및 그 장치
WO2020200236A1 (en) 2019-04-01 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Using interpolation filters for history based motion vector prediction
US10930054B2 (en) * 2019-06-18 2021-02-23 Intel Corporation Method and system of robust virtual view generation between camera views
CN112291549B (zh) * 2020-09-23 2021-07-09 广西壮族自治区地图院 一种基于dem的光栅地形图立体序列帧图像的获取方法
US11570418B2 (en) 2021-06-17 2023-01-31 Creal Sa Techniques for generating light field data by combining multiple synthesized viewpoints
KR20230103198A (ko) * 2021-12-31 2023-07-07 주식회사 쓰리아이 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3826236B2 (ja) * 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
JP3769850B2 (ja) * 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
EP1264281A4 (en) * 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
US7079157B2 (en) * 2000-03-17 2006-07-18 Sun Microsystems, Inc. Matching the edges of multiple overlapping screen images
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US20020158873A1 (en) * 2001-01-26 2002-10-31 Todd Williamson Real-time virtual viewpoint in simulated reality environment
US6965379B2 (en) * 2001-05-08 2005-11-15 Koninklijke Philips Electronics N.V. N-view synthesis from monocular video of certain broadcast and stored mass media content
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
EP1542167A1 (en) * 2003-12-09 2005-06-15 Koninklijke Philips Electronics N.V. Computer graphics processor and method for rendering 3D scenes on a 3D image display screen
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US7364306B2 (en) * 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US7471292B2 (en) * 2005-11-15 2008-12-30 Sharp Laboratories Of America, Inc. Virtual view specification and synthesis in free viewpoint

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140114002A (ko) * 2012-01-18 2014-09-25 인텔 코오퍼레이션 지능형 계산 촬영 시스템
US9313420B2 (en) 2012-01-18 2016-04-12 Intel Corporation Intelligent computational imaging system

Also Published As

Publication number Publication date
JP5551166B2 (ja) 2014-07-16
WO2010024925A1 (en) 2010-03-04
US20110157229A1 (en) 2011-06-30
WO2010024938A3 (en) 2010-07-15
BRPI0916902A2 (pt) 2015-11-24
TWI463864B (zh) 2014-12-01
WO2010024938A2 (en) 2010-03-04
KR20110063778A (ko) 2011-06-14
EP2327224A2 (en) 2011-06-01
JP2012501494A (ja) 2012-01-19
EP2321974A1 (en) 2011-05-18
TW201029442A (en) 2010-08-01
BRPI0916882A2 (pt) 2016-02-10
WO2010024919A1 (en) 2010-03-04
CN102138333A (zh) 2011-07-27
JP2012501580A (ja) 2012-01-19
TW201023618A (en) 2010-06-16
CN102138333B (zh) 2014-09-24
CN102138334A (zh) 2011-07-27
US20110148858A1 (en) 2011-06-23

Similar Documents

Publication Publication Date Title
KR20110073474A (ko) 휴리스틱 뷰 병합을 사용하는 뷰 합성
US8913105B2 (en) Joint depth estimation
US9569819B2 (en) Coding of depth maps
JP5858380B2 (ja) 仮想視点画像合成方法及び仮想視点画像合成システム
EP2761878B1 (en) Representation and coding of multi-view images using tapestry encoding
EP2201784B1 (en) Method and device for processing a depth-map
US10158838B2 (en) Methods and arrangements for supporting view synthesis
CN106131531B (zh) 视频处理方法和装置
KR101415147B1 (ko) 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법
US9497435B2 (en) Encoder, method in an encoder, decoder and method in a decoder for providing information concerning a spatial validity range
KR20120071407A (ko) 2ｄ 비디오 데이터의 3ｄ 비디오 데이터로의 컨버전을 위한 깊이 맵 생성 기술들
Song et al. Down-/up-sampling based depth coding by utilizing interview correlation

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid