KR101498535B1

KR101498535B1 - 스테레오스코픽 및 멀티-뷰 이미지들의 송신, 프로세싱 및 렌더링을 위한 시스템 및 방법

Info

Publication number: KR101498535B1
Application number: KR1020137003159A
Authority: KR
Inventors: 윌리엄 엘. 가디; 비드야 세란
Original assignee: 스피넬라 아이피 홀딩스, 인코포레이티드
Priority date: 2010-07-07
Filing date: 2011-06-22
Publication date: 2015-03-04
Also published as: US20140267607A1; WO2012005947A2; US20120008672A1; JP2015201870A; JP2014503134A; JP6029583B2; US8774267B2; WO2012005947A3; US20140269935A1; EP2591608A2; CA2803583A1; KR20130091323A; US8988502B2

Abstract

디지털 이미지 프로세싱 시스템은 컬러 더하기 Z 채널 데이터를 입력으로서 취하고, 인코딩 및 송신 이전에 컬러 데이터 내에 내장되는 디지털 워터마크 데이터로서 대역-내 Z 채널을 예비프로세싱하고, 데시메이팅하고, 코딩한다. 제2 디지털 이미지 프로세싱 시스템은 깊이-이미지-기반 렌더링 이전에 완전-해상도 Z 채널을 복원하기 위하여 통계적 규격화를 적용하기 전에 데시메이팅된 Z 채널 데이터를 수신하고, 디코딩하며, 추출한다.

Description

스테레오스코픽 및 멀티-뷰 이미지들의 송신, 프로세싱 및 렌더링을 위한 시스템 및 방법 {SYSTEM AND METHOD FOR TRANSMISSION, PROCESSING, AND RENDERING OF STEREOSCOPIC AND MULTI-VIEW IMAGES}

이 출원은 2010년 7월 7일자로 출원된 미국 가 특허 출원 번호 제61/362,134호를 우선권으로 주장하며, 상기 가 특허 출원의 개시내용은 전체가 인용에 의해 본원에 포함된다.

본 발명은 일반적으로 컬러 정보(예를 들어, RGB 데이터)와 함께 깊이 정보의 송신 및 수신을 위한 디지털 이미지-프로세싱 시스템들에 관한 것이고, 더욱 상세하게는, 하나 또는 그 초과의 3-차원(3D) 뷰(view)들(예를 들어, 스테레오스코픽(stereoscopic) 또는 오토-스테레오스코픽 뷰들)을 렌더링하기 위하여 제1 디지털 이미지-프로세싱 시스템에 의하여 송신되는 깊이 정보 및 컬러 정보를 수신하고 사용하기 위한 방법 및 디지털 이미지-프로세싱 시스템에 관한 것이다.

3-차원(3D) 비디오 및 이미지 송신 시스템들 및 3D 텔레비전(3D-TV)은 특히 최근 몇 년간 시장 수용력(market acceptance)이 증가하였다. 종래 기술 시스템들에 따라 3D 스테레오스코픽 이미지를 시청자(viewer)에게 표현하기 위하여, 적어도 2개의 개별적인 뷰(view)들을 생성하는 것이 필수적이며, 하나의 뷰는 시청자의 좌측 아이(eye)에 대해 의도되고, 다른 하나의 뷰는 시청자의 우측 아이에 대해 의도된다. 특정한 종래 기술의 3D-TV 시스템들 및 방법들은 현존하는 텔레비전 송신 표준들에 대한 호환성을 제공하도록 설계되었다. 예들은 프레임-호환성 팩킹 방법들을 포함하며, 상기 프레임-호환성 팩킹 방법들 중 하나는 2010년 8월 11일자의 http://www.mpegif.org/m4if/bod/Working%20Groups/WP_MPEG_Standards_for_3DTV.pdf로부터 획득된 Motorola Corporation, 2010의 "Overview of MPEG Standards for 3DTV"에 설명되며, 그 전체가 인용에 의해 본원에 포함된다. 직접적으로 진술되지 않는다면, 명세서에 참조된 모든 문헌들/논문들/문서들은 그 전체가 인용에 의해 본원에 포함된다.

본질적으로, 프레임-호환성 팩킹 방법은 사이드-바이-사이드(side-by-side) 또는 오버-언더(over-under) 구성과 같이, 노말(normal)-해상도 프레임으로 2개의 스테레오스코픽 뷰들(즉, 우측-아이 뷰(eye view) 및 좌측-아이 뷰)을 팩킹함으로써 작동한다. 이 방법은 분명히 현존하는 채널들을 통해 3D TV 콘텐츠의 송신을 허용하지만, 불행히도, 오래된 2D 텔레비전을 가진 시청자는 3D-TV, 또는 적어도 3D-인식 셋-탑 박스 또는 TV 없이는 시청 불가능한 팩킹된 프레임을 보게될 것이다. 부가적으로, 이 종래 기술의 방법은 2개의 스테레오스코픽 프레임들(즉, 좌측-눈 및 우측-눈)을 하나로 합치기(squeeze into) 위하여 프레임 당 해상도의 절반이 희생됨에 따라, 상당한 해상도 저하를 겪는다. 해상도 저하에 부가하여, 이 종래의 시스템/방법을 이용하는 방송국들, 케이블 및 위성 오퍼레이터들과 같은 텔레비전 시스템 오퍼레이터들은 3D-TV를 방송하기 위해 새로운 세트의 트랜스폰더들, 증가된 대역폭, 또는 이러한 방식으로 부가적인 채널을 배치시키도록 요구되어, 상당한 비용들을 초래한다.

프레임-호환성 팩킹 송신 방법에 대한 다른 단점은 각각의 아이 간의 불일치(disparity)의 양이 송신 시에 고정되어, 수신기 시스템에서의 변화하는 사이즈들의 디스플레이들로 하여금 엄청나게 변화하는 불일치들을 나타내게 한다는 점이다. 최종 사용자는 이들 문제점들을 보상하기 위하여 실제 불일치를 조정할 기회를 거의 갖지 못한다. 기껏해야, 기준선(baseline) 불일치는 이론상으로는, 이미지들이 3D-TV 상에 보여지는 바에 따라 우측 아이의 표현(presentation)에 관해 좌측 아이의 표현을 변위시킴으로써(displaceing) 조정될 수 있다. 불행히도, 객체-간 불일치는 조정될 수 없다.

기술분야에 알려진 다른 방법들은 멀티뷰 비디오 코딩(즉, "ISO/JEC 14496-10, Advanced Video Coding, Annex H: Multiview Video Coding")에 대한 H.264/AVC 비디오 압축 표준에 대한 개정안에 설명되는 바와 같이, 대역-외(out-of-band) 뷰-투-뷰(view-to-view) 예측을 인코딩함으로써 전술한 문제점들 중 다수를 처리한다. 다수의 호환성 문제점들은 더 오래된 코덱이 여분의 데이터를 폐기하고, 따라서 단일 2D 뷰를 렌더링하는 방식으로 비트스트림의 제2(또는 다른) 뷰를 인코딩함으로써 개선되었다. 이러한 방식으로 인코딩된 브로드캐스트들은 새로운 채널들이 할당되도록 요구하지 않음으로써 이익을 얻는다; 동일한 채널은 2D 및 3D 브로드캐스트들을 송신하는데 사용될 수 있다. 그러나 프레임-팩킹 방법들처럼, 최종 사용자는 시청 시점에서 불일치에 대한 입상 제어(granular control)를 갖지 않는다. 전과 마찬가지로, 기껏해야, 시청자는 이론상 기준선 불일치를 제어할 수 있지만, 실제 객체-간 불일치들(inter-object disparities)은 제어할 수 없다.

더욱이, 스테레오 브로드캐스트에 대한 그러한 코딩 방식들과 연관되는 오버헤드는 25 내지 35 퍼센트이고, 따라서 오퍼레이터들에 대한 상당한 대역폭 업그레이드들을 필요로 한다. 그러므로 이 종류의 비디오 분배에서의 현재 대역폭 할당은 그에 따라 증가할 것이다. 부가적으로, 그러한 오버헤드 비용들은 백홀에 대해 증가된 비용들을 부과한다 - 예를 들어, 동일한 비디오 채널들이 동일한 개수의 위성 트랜스폰더들을 사용할 수 없다. H.264/AVC에 기반한 방법들을 이용하는 다른 주요한 문제점은 전체 인프라구조가 H.264/AVC에 대하여 구축되는 것으로 가정하는 것이며, 이것은 그렇지 않다. 대부분의 미국 가정 내 비디오 분배 인프라구조는 여전히 MPEG2에 기반한다. 이로써, H.264/AVC 비디오의 송신은 여전히 MPEG2를 사용하는 것들에 대한 분배 인코딩 인프라구조 및 브로드캐스트에 대한 주요한 업그레이드를 필요로 하며, 이는 매우 돈이 많이 드는 계획(proposition)이다. 더욱이, 이것은 3D-TV 브로드캐스트들을 수신하기를 원하는 누군가에 대해 새로운 표준을 지원하기 위한 업그레이딩 가입자-구내 장비(customer-premise equipment)와 연관되는 상당한 비용들을 오퍼레이터들이 흡수하도록 요구하여, 프레임-호환성 방법들이 부과하지 않는 부가적인 자본 비용(capital expense)을 초래한다.

그에 따라, 아직 제공되지 않았으나, 증분 대역폭 비용이 낮거나 전혀 없고, MPEG2 인코딩 및 디코딩을 포함하는(그러나 이에 제한되는 것은 아님) 현존하는 송신 체인들과의 완전한 하위 호환성(backward compatibility)을 갖는, 스테레오스코픽 이미지 데이터를 송신하기 위한 시스템 및 방법, 그리고 수신기 시스템에서 송신된 스테레오스코픽 이미지 데이터의 고품질 복원을 위한 방법을 제공하는 것이 바람직할 것이다.

상기 설명된 문제들이 다뤄지며, 기술적 해법은, 적어도 하나의 3D 이미지로부터 깊이 맵(즉, Z 채널) 및 컬러 데이터를 추출하는 단계; 감소된 대역폭 깊이 맵을 제작하기 위하여 깊이 맵의 대역폭을 감소시키는 단계; 감소된 대역폭 3D 이미지를 제작하기 위하여 감소된 대역폭 깊이 맵을 컬러 데이터에 삽입하는 단계; 및 디스플레이로의 전달을 위해 감소된 대역폭 3D 이미지를 송신 채널에 송신하는 단계를 포함하는, 3차원(3D) 화상(imagery)을 송신하도록 구성되는 컴퓨터 구현 방법 및 송신기를 제공함으로써, 본 기술분야에서 달성된다. 본 명세서에 사용되는 바와 같이, 용어 "Z 채널"은 이미지 데이터의 단일 채널의 깊이 맵을 설명하고, 데이터의 각각의 픽셀은 대응 컬러 이미지의 각각의 픽셀의 거리 또는 범위를 나타낸다.

본 발명의 일 실시예에 따라, 깊이 맵의 대역폭을 감소시키는 단계는, 컬러 데이터의 적어도 하나의 객체 경계선(object boundary)에 대응하는 적어도 하나의 불연속부(discontinuity)를 포함하는 깊이 맵의 적어도 하나의 영역을 보유하는 단계를 포함한다. 깊이 맵의 대역폭을 감소시키는 단계는, 깊이 맵의 깊이 값들을 나타내는 분배에서 모달리티(modality)와 연관되는 깊이 값들을 제거하는 단계를 더 포함할 수 있다. 본 발명의 일 실시예에 따라, 방법은, 깊이 맵의 깊이 값들의 히스토그램을 생성하는 단계 및 히스토그램에 대해 모달 분석을 수행하는 단계에 의하여, 모달리티를 식별하는 단계를 더 포함할 수 있다. 방법은 0.0 또는 1.0 깊이 값들을 제거하기 위하여 히스토그램에 대해 그레이스케일 모폴로지컬 클로징 연산(grayscale morphological closing operation)을 적용하는 단계를 더 포함할 수 있다. 용어 "모달리티"는 깊이 값들의 빈도 히스토그램에서와 같이, 값의 발생의 빈도에서의 주 성분(principal component)을 지칭하도록 의도된다. 그러한 모달리티는 빈도 분배(들)의 큰 로컬 맥시마(local maxima)에 의하여 표시될 것이다. 0.0 또는 1.0 깊이(Z) 값들을 지칭할 때, 정규화된 깊이 맵 또는 0.0 내지 1.0 범위를 갖는 깊이 맵이 의도되며, 여기서 0.0은 무한대의 거리를 표시하고, 1.0은 카메라에 대해 임의적 가까운 지점을 나타내며, 0.5 는 카메라 시스템의 자연적 수렴점(convergence point)을 나타낸다.

본 발명의 일 실시예에 따라, 방법은 미디언(median) 이미지 프로세싱 필터로 깊이 맵을 필터링하는 단계를 더 포함할 수 있다. 미디언 이미지 프로세싱 필터는 5x5 미디언 필터일 수 있다.

본 발명의 일 실시예에 따라, 방법은, 깊이 맵에 대해 공간 데시메이션 연산을 수행하는 단계 및 깊이 맵에 대해 무손실(lossless) 통계적 코딩 방법을 적용하는 단계를 더 포함할 수 있다. 깊이 맵에 대해 공간 데시메이션 연산을 수행하는 단계는, 깊이 맵에 큐빅(cubic) 감소 필터를 적용하는 단계 및 되풀이되는 연속적(succession of) 1-옥타브 바이큐빅(bicubic) 감소들을 수행하는 단계 중 적어도 하나를 포함할 수 있다. 깊이 맵에 대해 무손실 통계적 코딩 방법을 적용하는 단계는, 깊이 맵을 7 bpp(bit-per-pixel) 표현으로 변환하고 허프만(Huffmann) 인코딩 방식으로 통계적으로 인코딩하는 단계, 깊이 맵에 산술 코딩을 적용하는 단계, 및 깊이 맵에 2-차원 코드북 인코딩 방식을 적용하는 단계 중 적어도 하나를 더 포함할 수 있다.

본 발명의 일 실시예에 따라, 감소된 대역폭 깊이 맵을 컬러 데이터에 삽입하는 단계는 워터마크로서 컬러 데이터에 깊이 맵을 부가하는 단계를 더 포함할 수 있다.

상기 설명된 문제들이 다뤄지고, 기술적 해법은, 감소된 대역폭 깊이 맵 및 컬러 데이터를 포함하는 감소된 대역폭 3D 이미지를 수신하는 단계; 및 감소된 대역폭 깊이 맵의 대역폭을 복원하기 위하여 컬러 데이터의 통계적 도메인을 이용하는 필터를 적용하는 단계를 포함하는, 3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법 및 수신기를 또한 제공함으로써, 기술분야에서 달성된다. 필터는 적어도 하나의 객체 경계선을 포함하는 컬러 데이터의 불연속부들을 매칭시킴으로써 감소된 대역폭 깊이 맵의 불연속부들을 복원하도록 구성된다. 방법은 스테레오스코픽 또는 오토-스테레오스코픽 3D 디스플레이들에 적합한 적어도 하나의 뷰를 구성하기 위해 컬러 이미지 및 복원된 깊이 맵을 워핑(warp)하기 위하여 깊이-이미지-기반 렌더링(DIBR) 방법을 적용하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따라, 적어도 하나의 필터는 RGBZO 필터이다. RGBZO 필터는, 제1 도메인으로서 감소된 대역폭 깊이 맵에 의해, 제2 도메인으로서 컬러 데이터에 의하여 제공되는 2개의 라디오도시(radiosity) 가중 함수들, 및 공간 가중 함수를 이용한다.

본 발명의 일 실시예에 따라, 방법은 제1 옥타브 업-스케일링된 깊이 맵이 제작될 때까지, 감소된 대역폭 깊이 맵을 RGBZO 필터의 적용이 후속되는 1-옥타브 바이큐빅 업-스케일링의 반복들로 반복적으로 처리하는 단계를 더 포함할 수 있다. 감소된 대역폭 깊이 맵을 RGBZO 필터의 적용이 후속되는 1-옥타브 바이큐빅 업-스케일링의 반복들로 반복적으로 처리하는 단계는, 업-스케일링된 깊이 맵의 출력을 규격화하기 위하여 컬러 데이터의 컬러 에지 그래디언트와 깊이 맵의 에지 그래디언트 간의 차를 포함하는 에러 함수를 최소화할 수 있다.

본 발명의 일 실시예에 따라, 방법은, 감소된 대역폭 깊이 맵을 RGBZO 필터의 적용이 후속되는 1-옥타브 바이큐빅 업-스케일링의 반복들로 반복적으로 처리하는 상기 단계 이전에, 감소된 대역폭 깊이 맵에 무손실 디코딩 방법을 적용하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따라, DIBR 방법을 적용하는 단계는, 컬러 데이터에 광학 흐름 방법을 적용하는 단계; 움직임 보정 픽셀들의 테이블을 제작하기 위하여 움직임 보정 및 이미지 워핑을 컬러에 적용하는 단계; 움직임 보정 픽셀들의 테이블로부터 후보 어클루디드 픽셀(candidate occluded pixel)들의 공간 예측들 및 일시적 예측들 중 하나를 적용하는 단계; 통계적 인-페인팅 프로시져를 후보 어클루디드 픽셀들에 적용하는 단계; 및 디스플레이를 위한 이미지들의 좌측 아이 뷰 및 우측 아이 뷰를 획득하기 위하여 통계적 인-페인팅 프로시져로부터 획득되는 픽셀들을 워핑하는 단계를 더 포함할 수 있다. 방법은, 후보 어클루디드 픽셀들의 공간 예측들을 분별(inform)하기 위하여 깊이 맵으로부터 디스어클루젼(disocclusion)들을 분류하는 단계; 및 프로세싱된 깊이 맵을 제작하기 위하여 깊이 맵에 Z 스무딩 방법을 적용하는 단계를 더 포함할 수 있다. 워핑하는 단계는 프로세싱된 깊이 맵에 의하여 분별된다.

본 발명의 일 실시예에 따라, 송신기 및/또는 수신기는 주문형 집적 회로(ASIC)를 사용하여 구현될 수 있다.

본 발명은 첨부된 도면들과 함께 고려된, 하기에 제시된 예시적 실시예들의 상세한 설명으로부터 더욱 용이하게 이해될 것이며, 첨부 도면들에서 동일한 참조 번호들은 동일한 엘리먼트들을 지칭한다.

도 1은 본 발명의 일 실시예에 따른, 예시적인 3D 디지털 프로세싱 시스템의 블록도를 도시한다.
도 2a는 본 발명의 일 실시예에 따른, 스테레오스코픽 디스플레이들에 대한 도 1의 예시적인 송신기의 하드웨어 블록도이다.
도 2b는 본 발명의 일 실시예에 따른, 스테레오스코픽 디스플레이들에 대한 도 1의 예시적인 수신기의 하드웨어 블록도이다.
도 3a는 본 발명의 일 실시예에 따른, RGB 더하기 Z 변환 및 송신 방법의 예시적 단계들을 예시하는 블록도이다.
도 3b는 본 발명의 일 실시예에 따른, 도 3a의 더욱 상세한 블록도이다.
도 4는 본 발명의 일 실시예에 따른, 스테레오스코픽 디스플레이들에 대한 수신 및 변환 방법의 예시적인 단계들을 예시하는 블록도이다.
도 5는 본 발명의 일 실시예에 따른, 멀티-뷰 오토-스테레오스코픽 디스플레이들에 대한 수신 및 변환 방법의 예시적 단계들을 예시하는 블록도이다.
도 6은 본 발명의 일 실시예에 따른, 도 2b의 수신기 시스템에 의하여 이용되는 예시적인 깊이-이미지-기반 렌더링(DIBR) 방법의 예시적인 단계들을 예시하는 블록도이다.
도 7은 좌측 및 우측 아이 스테레오스코픽 이미지 쌍의 일예를 도시한다.
도 8은 도 7의 스테레오스코픽 이미지 쌍에 대응하는 RGB 더하기 Z 쌍을 도시한다.
도 9는 본 발명의 예비프로세싱 단계에 의한 처리 이후의 Z 채널을 도시한다.
도 10은 본 발명의 데시메이션(decimation) 단계에 의한 처리 이후의 Z 채널의 확대된 뷰를 도시한다.
도 11은 나이브한(naive) 타원형 스무딩 함수(elliptical smoothing function)가 적용된 이후의 Z 채널을 도시한다.
도 12는 도메인으로서 RGB 데이터를 이용하는 통계적 프로세싱 및 복원 이후의 Z 채널을 도시한다.
도 13은 본 발명의 일 실시예에 따른, 예시적인 깊이-이미지-기반 렌더링 방법을 통한 업-스케일링 이후의 데시메이팅된 Z 채널을 이용하는 나이브한 복원된 좌측 및 우측 아이 스테레오스코픽 이미지 쌍을 도시한다.
도 14는 본 발명의 일 실시예에 따른, 업-스케일링 이후의 데시메이팅된 Z 채널을 이용하고 예시적인 깊이-이미지-기반 렌더링 방법을 통해 스무딩 함수에 의해 프로세싱되는, 나이브한 복원된 좌측 및 우측 아이 스테레오스코픽 이미지 쌍을 도시한다.
도 15는 예시적인 깊이-이미지-기반 렌더링 방법을 통한, 바람직한 실시예에 따른 복원된 Z 채널을 이용하는 복원된 좌측 및 우측 아이 스테레오스코픽 이미지 쌍을 도시한다.

첨부된 도면들은 본 발명의 개념들을 예시하기 위한 것이며, 축적에 따라 도시되지 않을 수도 있음이 이해될 것이다.

본 발명은 3-차원(3D) 이미지들을 송신하고 수신하기 위한 컴퓨터 구현된 이미지 프로세싱 방법 및 시스템에 관한 것이다. 도 1은 본 발명의 일 실시예에 따른 예시적인 3D 디지털 프로세싱 시스템(100)의 블록도를 도시한다. 시스템(100)은 컴퓨터 구현된 수신기(106), 컴퓨터 구현된 송신기(102), 하기에 설명될 선택적 깊이-이미지-기반 렌더링(DIBR) 모듈(108) 및 선택적 디스플레이(110)를 포함한다. 시스템(100)은 송신기(102) 및 수신기(106)에 통신가능하게 연결되는 네트워크(104)를 포함하지 않으나, 상기 네트워크(104)를 이용한다. 송신기(102)는 송신 체인(101)으로부터 컬러 데이터(예를 들어, RGB, YUV 등)를 포함하는 3D 스테레오스코픽 이미지 데이터를 수신하거나, 또는 송신기(102) 내의 3D 스테레오스코픽 이미지 데이터를 생성한다. 송신기(102)는 증분 대역폭 비용이 낮거나 전혀 없고, MPEG2 인코딩 및 디코딩을 포함하는(그러나 이에 제한되는 것은 아님) 현존하는 송신 체인(101)과의 완전한 하위 호환성을 갖는, 3D 스테레오스코픽 이미지 데이터의 대역폭 깊이 정보(즉, Z 채널)를 감소시킨다.

컬러 데이터 및 감소된 대역폭 Z 채널은 하기에 설명될 본 발명의 일 실시예에 따른 필터를 사용하여, 감소된 대역폭 Z 채널 및 컬러 데이터로부터 스테레오스코픽 이미지들을 복원하는 컴퓨터-구현된 수신기(106)로 통신가능하게 연결된 네트워크(104)를 통해 송신기(102)에 의하여 송신된다. 하기에 설명될 선택적 깊이-이미지-기반 렌더링(DIBR) 모듈(108)은 스테레오스코픽 또는 오토-스테레오스코픽 3D 디스플레이들(110)에 대하여 적합한 적어도 하나의 뷰(예를 들어, 좌측-눈 이미지 또는 우측-눈 이미지)를 구성하기 위하여 복원된 Z 채널 및 컬러 데이터를 워핑하도록 구성된다. 용어 "깊이-이미지-기반 렌더링"은 깊이 맵 및 이미지의 입력으로부터의 신규한 뷰를 생성하기 위한 기법을 지칭한다. 기술분야에 공지된 다수의 깊이-이미지-기반 렌더링 방법들이 존재한다 -- 통상적인 프로세스는 입력 이미지의 각각의 픽셀에 대한 수평 픽셀 오프셋을 이용한다. 추정된 수렴점과 협력하여, 깊이 맵 픽셀 값에 비례하도록 오프셋의 크기가 계산되며, 여기서 주어진 깊이 맵 값(가령(say), 0.5)은 제로 오프셋을 제시하는 것으로 가정된다. 이 수렴점 값보다 크거나 더 작은 깊이 값들에는 각각 좌측 방향 또는 우측 방향 픽셀 오프셋들이 할당된다.

본 발명의 일 실시예에 따라, 수신기(106)는 복원된 스테레오스코픽 이미지들을 다시 송신 체인(101)을 통해 추가로 송신할 수 있다.

용어 "컴퓨터" 또는 "컴퓨터 플랫폼"은 데스크탑 컴퓨터, 랩탑 컴퓨터, 메인프레임 컴퓨터, 서버, 핸드헬드(handheld) 디바이스, 디지털 신호 프로세서(DSP), 임베디드 프로세서(하기에서 도 2a 및 2b와 함께 설명되는 예), 또는 데이터를 프로세싱할 수 있는 임의의 다른 디바이스와 같은, 임의의 데이터 프로세싱 디바이스를 포함하도록 의도된다. 용어 "통신가능하게 연결된"은 유선 또는 무선이든 간에, 데이터가 통신될 수 있는 임의의 타입의 접속을 포함하도록 의도된다. 용어 "통신가능하게 연결된"은 단일 컴퓨터 내의 프로그램들 및/또는 디바이스들 사이의, 또는 네트워크 상의 개별 컴퓨터들 및/또는 디바이스들 사이의 연결을 포함하도록(그러나 이에 제한되는 것은 아님) 의도된다. 용어 "네트워크"는 OTA(오버-디-에어(over-the-air) 송신, ATSC, DVB-T), 패킷-교환 네트워크들(TCP/IP, 예를 들어, 인터넷)을 통한 비디오, 위성(마이크로파, MPEG 송신 스트림 또는 IP), 직접 방송 위성, 아날로그 케이블 송신 시스템들(RF), 디지털 비디오 송신 시스템들(ATSC, HD-SDI, HDMI, DVI, VGA), 등을 포함하도록(그러나 이에 제한되는 것은 아님) 의도된다.

송신기(102)는 예를 들어, 송신 기능들이 내장된 카메라들, 카메라 트랜시버 시스템들, 비디오 인코딩 기기, 비디오 통계적 멀티플렉싱 기기(statmux), 비디오 포착 카드들을 갖는 컴퓨터들, 비디오 파일들을 스풀링(spooling)/스트리밍하는 카메라들 미디어 서버들이 부착된 컴퓨터들, 비디오 파일들을 스풀링/스트리밍하는 PC들 등과 같은, 임의의 적절한 비디오 송신 디바이스를 포함할 수 있다. 수신기(106)는 선택적으로, DIBR 모듈(108) 및 디스플레이(110)를 포함하는, 임의의 적절한 3D 비디오 수신 디바이스를 포함할 수 있다. 적절한 3D 비디오 수신 디바이스들은, 예를 들어, PC들, 태블릿들, 이동 전화들, PDA들, 비디오 디코딩 기기들, 비디오 디멀티플렉싱 기기들, 텔레비전들, 텔레비전 분배 디바이스들(예를 들어, AppleTV™), 텔레비전 셋-탑 박스들, 및 DVR들을 포함할 수 있다.

예를 들어, 스테가노그래픽(steganographic) 방법을 사용하여, Z 채널 데이터가 대역-내(즉, 송신될 3D 컬러 이미지 내에) 내장되는 경우, 시스템(100)의 특정 실시예들은 완전한 하위-호환성 및 상위-호환성 2D 및 3D 비디오 시그널링 및 송신을 제공한다. 용어 "스테가노그래픽"은 일반적으로 이미지들의 정보를 숨기는 것을 지칭한다. 송신 시스템(102)의 문맥 내에서, 용어 "스테가노그래픽"은 인간 시청자에게 가시적이거나 명백하지 않은 방식으로 컬러 이미지 데이터 내에 Z 채널을 내장하거나 숨기는 수단을 지칭한다.

또한, 추가로, 디스플레이(110)가 오토스테레오스코픽 디스플레이라면, 디스플레이(110) 상의 3D 화상을 보는데 안경들은 필요치 않다.

도 2a는 본 발명의 일 실시예에 따른 예시적인 송신기(102)의 블록도를 도시한다. 비-제한적 예로서, 송신기(102)는 하나 또는 그 초과의 데이터 저장 시스템들(111) 및/또는 하나 또는 그 초과의 이미지 포착 디바이스들(112)(예를 들어, 하나 또는 그 초과의 스틸 또는 비디오 카메라들, 쉐이프(shape) 카메라들, LIDAR 또는 IR 사진측량법-생성 범위 디바이스들)로부터의, 및/또는 현존하는 송신 체인(101)으로부터의 깊이 맵(즉, Z 채널) 및 컬러 데이터(총체적으로 "3D 이미지"로서 지칭됨)를 포함하는 디지털화된 3D 비디오 또는 스틸 이미지들을 수신한다. 본 발명의 일 실시예에 따라, 하나 또는 그 초과의 3D 이미지들은 합성으로(synthetically) 추정되거나, 또는 도 7에 도시된 예와 같이, 스테레오 이미지 쌍 불일치 값들로부터 계산될 수 있다. 선택적으로, 디지털화된 비디오 또는 스틸 이미지들은 인터넷과 같은 네트워크(113)를 통해 수신될 수 있다. 본 발명의 일 실시예에 따라, 송신기 시스템(102)은 컴퓨팅 플랫폼(116)을 포함하며, 또한 선택적으로 디지털 비디오 포착 시스템(114)을 포함할 수 있다. 디지털 비디오 포착 시스템(114)은 디지털 비디오의 스트림들을 프로세싱하거나, 또는 아날로그 비디오를 디지털 비디오로, 컴퓨팅 플랫폼(116)에 의하여 프로세싱될 수 있는 형태로 변환한다. 디지털 비디오 포착 시스템(114)은 독립형 하드웨어, 또는 컴퓨팅 플랫폼(116)으로 직접 플러깅될 수 있는 파이어와이어(Firewire) 카드들과 같은 카드들일 수 있다. 본 발명의 일 실시예에 따라, 이미지 포착 디바이스들(112)은 라디오 링크(예를 들어, 위성과 지상국 사이의) 및 디지털 데이터 링크(예를 들어, 지상국과 컴퓨팅 플랫폼(116) 사이의 이더넷)과 같은, 이질 데이터 링크를 통해 비디오 포착 시스템(114)/컴퓨팅 플랫폼(116)과 인터페이싱할 수 있다. 컴퓨팅 플랫폼(116)은 비디오 데이터 스트림들(124)에 의하여 하나 또는 그 초과의 프로세서들(120)을 통해 또는 컴퓨터-판독가능 매체(126)에 직접 공급되는 버스 시스템(122)을 포함하는 하나 또는 그 초과의 프로세서들(120)을 포함하는 개인용 컴퓨터 또는 워크-스테이션(예를 들어, 펜티엄-M 1.8 GHz PC-104 또는 그 상위)을 포함할 수 있다. 대안적으로, 컴퓨팅 플랫폼(116)은 필드-프로그램가능 게이트 어레이(FPGA) 또는 주문형 집적 회로(ASIC)에서 구현되는 그래픽 프로세싱 유닛(GPU) 또는 디지털 신호 프로세서(DSP)와 같은 집적 회로로서 구현되거나 또는 집적 회로의 일부일 수 있다.

컴퓨터-판독가능 매체(126)는 윈도우 또는 리눅스 운영 체제와 같은 선택적 운영 체제를 포함하는, 하나 또는 그 초과의 프로세서들(120)에 의하여 실행될 송신기 시스템(102)의 명령들을 저장하기 위하여 또한 사용될 수 있다. 컴퓨터-판독가능 매체(126)는 하나 또는 그 초과의 데이터베이스들에서 본 발명의 비디오 클립들을 저장하고 리트리브(retrieve)하기 위하여 추가로 사용될 수 있다. 컴퓨터-판독가능 매체(126)는 RAM 메모리와 같은 휘발성 메모리, 플래시 메모리와 같은 비휘발성 메모리, 광학 디스크(들) 및/또는 하드 디스크(들)의 조합을 포함할 수 있다. 프로세싱된 비디오 데이터 스트림(128)의 부분들은 인터넷과 같은 네트워크(104)로의 및/또는 송신 체인(101)으로의 추후의 출력을 위해 컴퓨터-판독가능 매체(126)에 일시적으로 저장될 수 있다.

도 2b는 본 발명의 일 실시예에 따른 예시적인 3D 수신기(106)의 블록도이다. 비-제한적 예로서, 수신기(106)는 인터넷과 같은 네트워크(104)를 통해 송신기로부터 및/또는 현존하는 송신 체인(101)으로부터, 컬러 데이터 및 감소된 대역폭 Z 채널을 포함하는, 디지털화되고 프로세싱된 3D 비디오 또는 스틸 이미지들(총체적으로 "감소된 대역폭 3D 이미지"로서 지칭됨)을 수신한다. 수신기(106)는 또한 컴퓨팅 플랫폼(216)을 포함할 수 있다. 컴퓨팅 플랫폼(216)은 비디오 데이터 스트림들(224)에 의하여 하나 또는 그 초과의 프로세서들(220)을 통해 또는 컴퓨터-판독가능 매체(226)로 직접 공급되는 버스 시스템(222)을 포함하는, 하나 또는 그 초과의 프로세서들(220)을 포함하는 개인용 컴퓨터 또는 워크-스테이션(예를 들어, 펜티엄-M 1.8 GHz PC-104 또는 그 상위)을 포함할 수 있다. 대안적으로, 컴퓨팅 플랫폼(216)은 FPGA 또는 ASIC에서 구현되는 그래픽 프로세싱 유닛(GPU) 또는 디지털 신호 프로세서(DSP)와 같은 집적 회로로서 구현되거나 집적 회로의 일부일 수 있다.

컴퓨터-판독가능 매체(226)는 또한 윈도우즈 또는 리눅스 운영 체제와 같은 선택적 운영 체제를 포함하는, 하나 또는 그 초과의 프로세서들(220)에 의하여 실행될 수신기(106)의 명령들을 저장하기 위하여 사용될 수 있다. 컴퓨터-판독가능 매체(226)는 하나 또는 그 초과의 데이터베이스들에서 본 발명의 프로세싱된 비디오를 저장하고 리트리브하기 위하여 추가로 사용될 수 있다. 컴퓨터-판독가능 매체(226)는 RAM 메모리와 같은 휘발성 메모리, 플래시 메모리와 같은 비휘발성 메모리, 광학 디스크(들) 및/또는 하드 디스크(들)의 조합을 포함할 수 있다. "복원된" 깊이 맵(즉, 복원된 Z 채널) 및 컬러 데이터(총체적으로 "복원된 3D 이미지"로서 지칭됨)를 포함하는 프로세싱된 비디오 데이터 스트림(228)의 부분들은 복원된 3D 이미지들을 디스플레이하도록 구성되는 모니터(230)에 대한 추후의 출력을 위해 컴퓨터-판독가능 매체(226)에 일시적으로 저장된다. 선택적으로, 모니터(230)는 키보드(232) 및/또는 마우스(234), 또는 분석가 또는 시청자가 관심 객체들을 선택하기 위한 다른 유사한 주변 디바이스(들)(예를 들어, 수신기(106)로의 입력 파라미터들의 제어를 허용하는 사용자-인터페이스 엘리먼트들)을 구비할 수 있다. 대안적으로, 복원된 3D 이미지들은 송신 체인(101)으로 넘겨질 수 있다.

본 발명의 실시예들은 깊이 정보를 경제적으로 송신하기 위하여 스테레오 또는 멀티뷰 화상과 연관되는 깊이 맵들을 이용함으로써 종래 기술의 문제점들을 해결하는 것과 관련된다. 본 출원의 설명의 범위를 벗어난 스테레오 또는 멀티뷰 화상으로부터 깊이 맵들을 생성하기 위한 다양한 방법들이 존재한다; 그러나, 컴퓨터 비전 및 패턴 인식 워크샵에서의 2004년 컨퍼런스의 회의록(proceeding)들(CVPRW'04) 3권(2004년)의 "Improved Real-Time Stereo on Commodity Graphics Hardware" 라는 제목의 Yang 등에 의한 논문의, 그리고 IEEE 트랜스 이미지 프로세스 2007 1월;16(1):280-5의 Diaz 등에 의한 "Real-Time System for High-Image Resolution Disparity Estimation"라는 제목의 논문의 교시들은 유익하며(instructive), 그 전체가 인용에 의해 본 발명에 포함된다. 깊이 맵들은 적절한 인코딩 프로세스에 의하여 바람직하게 이용될 수 있는 특수한 통계적 특성들을 갖는다. SPIE의 회의록들, 6055권, pp. 177-188(2006)의 Woods, Andrew J. 등에 의해 편집된 스테레오스코픽 디스플레이들 및 가상 현실 시스템들 ⅩⅢ에서의, "Platelel-hased coding of depth maps for the transmission of multiview images"라는 제목의 Morvan 등에 의한 논문에서, 통계적 특성들이 더욱 상세히 탐구된다. 예시적인 통계적 특성들은 극도로 강한 구분적(piece-wise) 선형성 특징들의 경향을 포함한다. 다시 말해, 깊이 이미지들은 컬러 이미지에서 객체 경계선들과 일치하는 날카로운 불연속부들에 의하여 경계가 이루어지는, 점진적인 선형적 변화들의 큰 영역들을 포함한다.

이들 특성들에 대한 지식으로, 본 발명의 일 실시예에 따라, 송신기(102)는 깊이 맵들(즉, Z 채널)의 대역폭을 대략 500 내지 1로 감소시키도록 구성된다. 더욱이, 수신기(106)는 디스플레이를 위한 복원된 3D 이미지를 제작하기 위하여 본 발명의 일 실시예에 따라 구성된다. 이것은 스테레오스코픽 또는 멀티뷰 오토-스테레오스코픽 디스플레이를 위한 고품질로 하나 또는 그 초과의 뷰들을 합성하는 깊이-이미지-기반 렌더링 방법을 초래한다. 본 발명의 실시예들에 따라 설계되는 시스템들의 특정 장점은, 심지어 MPEG2와 같은 코덱들을 이용한 공격적인 낮은 비트 레이트 압축에도 불구하고, 디지털 워터마킹의 미가공 방법들이 강건하게 뷰 이미지들 자신의 RGB 데이터 내에 깊이 데이터(즉, Z 채널 데이터)를 내장하는데 이용되도록 허용하는, 대역폭의 결과적인 감소가 달성된다는 점이다.

본 발명의 실시예들의 주요 목적은 RGB 품질에 영향을 미치지 않고, RGB 데이터 내의, 대역-내, 디지털 워터마킹을 통해 그것이 송신될 수 있는 정도로 Z 채널의 대역폭을 감소시키는 것이다. 더욱이, Z 채널의 대역폭의 적절히 큰 감소는 MPEG2 또는 H.264과 비교하여, RGB 데이터의 지각(perceptual) 코딩에 더욱 잘 따르는 대역-내 송신의 문제점을 렌더링한다. 이것은 결국 주요한 문제점을 해결한다 - 비트스트림 및 송신 방법으로부터 Z 채널을 디커플링함으로써, 송신 체인 및 현존하는 브로드캐스트와의 완전한 하위 호환성이 달성된다. 이것은 Z 채널의 전체 송신 대역폭의 급격한 감소로만 가능하다. 보조 오디오 채널 데이터와 같은, Z 채널 데이터의 대역-내 및 대역-외 송신의 다른 방법들이 이용될 수 있음이 본 기술분야의 당업자들에 의하여 인식될 것이다.

도 3a는 본 발명의 일 실시예에 따른, RGB 더하기 Z(즉, 컬러 더하기 Z 채널) 변환 및 송신 방법의 예시적인 단계들을 예시하는 블록도를 도시한다. 도 3b는 도 3a의 단계들/블록들을 더욱 상세히 나타낸다.

도 3a 및 3b에 예시된 단계들에 대해, RGB 데이터 및 Z 채널 데이터는 상기 도 2a 및 2b에서 설명되고 도 8에서 추가로 예시되는 바와 같이, 송신기(102) 및/또는 수신기(106)에 대한 입력들인 것으로 가정된다. 이제 도 3a 및 3b를 참고하여, 단계(302)에서, Z 채널 데이터에 대하여 예비프로세싱 단계가 수행된다. 바람직한 실시예에서, 예비프로세싱 단계(302)는, 깊이 값들의 히스토그램이 생성되는 서브-단계(302a) 및 0.0 또는 1.0 깊이 Z 값들 주위의 분배에 있어 상당한 모달리티가 존재하는지 여부를 식별하기 위해 생성된 히스토그램의 모드 분석이 수행되는 서브-단계(302b)를 포함한다. 서브-단계(302b)가 그러한 모달리티가 존재하는 것으로 표시하면, 서브-단계(302c)에서, 0.0 및 1.0 클램핑된 가외치(outlier)들을 제거하기 위하여 잘 알려진 그레이스케일 모폴로지컬 클로징 연산이 수행된다(그렇지 않으면, 방법은 하기의 단계(320d)로 넘어간다). 서브-단계(302d)에서, 필터링된 데이터는 미디언 이미지 프로세싱 필터에 의하여 한번 또는 여러 번 연속하여 프로세싱되고, 예를 들어, 상기 5x5 미디언 필터가 두 번 내지 세 번 반복될 수 있다. 예비프로세싱된 깊이 맵의 일 예가 도 9에 도시된다. 예비프로세싱 서브-단계들(302a-302d)은 IR 사진측량법 및 불일치-추정된 깊이 맵들에서 공통되는 어클루전/디스어클루전 아티팩트(artifact)들 및 수치적 특이성들(numerical singularities)과 연관되는 가외치들 및 잡음을 제거한다. 바람직하게, 예비프로세싱 단계(302)는 유용한 범위/깊이 데이터를 파괴하지 않고, 구분적-선형성 추정을 더욱 완전히 매칭시키기 위하여 Z 채널을 변경한다.

단계(304)에서, 공간 데시메이션 연산은 Z 채널 단계(302)에 대해 수행된다. 본 발명의 일 실시예에 따라, 단계(304)는 큐빅 감소 필터의 적용과 같은 단일 단계에서 구현될 수 있다. 본 발명의 다른 실시예에 따라, 바람직한, 그러나 살짝 더 비용이 많이 드는 동작은 즉, 서브-단계들(304e-304h)에서, 되풀이되는 연속적 1-옥타브 바이큐빅 감소들(예를 들어, Z 채널과 연관되는 데이터를 256분의 1로 감소시키는 4번의 감소의 성능)을 수행하기 위하여, 더 많은 중간-스케일 세부사항들을 보존한다. 도 10은 그러한 데시메이팅된 Z 채널을 도시한다. 본 기술분야의 당업자는 Z 채널의 대역폭이 급격히 감소되어, 미세-구조 정보의 일부 또는 전부를 갖는 한편, 가장 중요하게는, 객체 에지들의 배치 및 배향이 손실되었음을 인식할 것이다. 본 발명의 실시예들의 주요 목적은 수신단에서 이 정보를 복원하는 것이다.

단계(306)에서, 무손실 통계적 코딩 방법이 후속되는 동적 범위의 부가적인 감소는 데이터세트를 추가로 감소시킬 수 있다. 바람직한 일 실시예에서, Z 채널은 7-bpp 표현으로 변환되고, 허프만 방식으로 통계적으로 인코딩된다. 전체 데이터 감소 비율은 통상적인 Z 채널 비디오 시퀀스들에 대해 500 내지 1에 접근한다. 본 발명의 다른 실시예들에 따라, 단계(306)에서 무손실 방법의 적용은 산술 코딩과 같은 다른 통계적 코딩 방식들 및 2-차원적 코드북 방식들을 포함할 수 있다(그러나 이에 제한되는 것은 아님). 바람직한 일 실시예에 따라, 추가적인 감소들이 일시적 예측 및 데시메이팅된 동적-범위 감소되는 Z 채널 데이터의 DCT-도메인 양자화를 이용하여 가능하다.

단계(308)에서, 감소된 Z 채널 데이터는 워터마크로서 RGB 데이터에 스테가노그래픽적으로 부가될 수 있다. 원본 RGB보다 대략 500배 더 작은 대역폭을 갖는 표현으로 변환된 Z 채널 데이터로, 이제 디지털 워터마크로서 RGB 데이터 내의 Z 채널 데이터를 송신하기 위한 표준 워터마킹 기법들을 사용하는 것이 가능하다. 그러한 표준 워터마킹 기법들은 MPEG2와 같은 낮은-비트레이트 지각 코딩에 대해 매우 강건할 수 있다. 바람직한 실시예는 제4-옥타브 Z 값의 연관된 16x16 RGB 블록의 색차 내에 주어진 데시메이팅된 깊이 맵 값의 7개 비트들 각각을 인코딩한다. 특정 조건들이 충족되기만 하면, 즉, 워터마크 데이터 그 자신의 대역폭이 캐리어 데이터보다 현저히 더 작은 대역폭이기만 하면, 매우 강건한 다수의 현존하는 워터마킹 내장 방법들이 이용될 수 있으며, 그렇지 않으면 캐리어 데이터가 시각적 방식으로 영향을 받을 것임이 본 기술분야의 당업자들에 의해 이해될 것이다. 부가적으로, 캐리어에 관한 워터마크 페이로드의 높은 대역폭은, 지각 인코딩, 크롭핑(cropping), 스케일링 및 색공간 재-맵핑과 같은, 다운스트림 변환들이 적용될 때의 손실들에 워터마크를 노출시킬 수 있다. 본 발명의 실시예들은 임의의 동시발생적 워터마킹 방법이 성공적으로 이용되는 것을 허용하도록 충분한 감소를 가지고 Z 채널 데이터를 처리하는 것과 관련된다.

단계(310)에서, 워터마크 데이터가 내장된 베이스밴드 비디오 또는 이미지 RGB 데이터는 그 후 송신 체인의 나머지를 통해 송신될 수 있는 노말 RGB 이미지 또는 비디오 신호로서 처리된다.

본 기술분야의 당업자는 복원의 일부 정렬 없이, 데시메이팅된 Z 채널과 같은, 송신된, 대역-내 워터마킹된 RGB 데이터 신호의 수신기에서의 직접 이용이 문제가 됨을 인식할 것이다. 깊이-이미지-기반 렌더링 프레임워크에서 직접 깊이 맵으로서 그러한 Z 채널을 이용하는 것은 도 13에 도시된 바와 같이, 상당한 아티팩트들을 초래할 수 있다. 뚜렷한 블록킹 아티팩트들이 합성된 뷰들에서 보이게 된다. 복원의 한 방법은 예를 들어, 오카노, 푸미오, SPIE의 회의록들, 5599권, pp. 173-183(2004년)의, Javidi, Bahram에 의하여 편집된, 3-차원 TV, 비디오 및 디스플레이 Ⅲ에서의 "Non-Uniform Smoothing of Depth Maps Before Image-Based Rendering"라는 제목의 Tam 등에 의한 논문에 설명된 기법과 같은, 임의의 적절한 기법에 따른 업-스케일링 이후에, 우선적으로 수평 축을 따라 데시메이팅된 Z 채널을 간단히 스무딩할 수 있다. 도 14에 이러한 방식의 결과들이 도시되고, 이는 전경(foreground) 객체들의 현저한 기하학적 왜곡들이 가시적이라는 것을 증명한다. 이들 왜곡들은 주로 Z 채널 데이터가 실제 객체 경계선들을 교차할 때 야기된다. 사실상, 차단 아티팩트들을 완전히 제거하기 위하여 충분한 스무딩이 적용된다면, Z 채널과 RGB 채널 간의 모든 공간적 가간섭성은 손실되어, 심각한 기하학적 워핑을 야기한다. 이 종류의 좌측 아이 뷰와 우측 아이 뷰 간의 날카로운 전위(dislocation)들 및 기하학적 불일치들은 B. Javidi 등에 의하여 편집된 3-차원 이미징, 시각화 및 디스플레이 (Springer-Verlag, New York, 2008) pp. 417-466의 "Working Towards Developing Human Harmonic Stereoscopic Systems"라는 제목의 Emoto 등에 의한 논문에서 교시되는 바와 같이 시청자들의 심각한 고통을 야기하는 것으로 발견되었다.

깊이 맵들의 특수한 공간적 특징들, 즉, 구분적 선형성의 경향을 기억해내면, 원본 깊이 맵의 날카로운 경계선들이 도 3a 및 3b와 함께 상기 설명된 실시예에 따라 송신된, 대응 RGB 이미지의 객체 경계선들에 강하게 상관되는 것을 관찰할 수 있다. 본 발명의 일 실시예에 따라, 1-옥타브 업-스케일링이 후속되는 ("RGBZO"로 표시되고, 하기에서 더욱 상세하게 설명되는) 2-도메인 양방향(bilateral) 필터는 객체들 내에 Z 그래디언트들을 스무딩하기 위하여 워터마킹된 RGB 신호에 반복적으로 적용될 수 있는 한편, Z 채널의 원본 에지 불연속부들을 보존하고 재생성한다.

도 4는 스테레오스코픽 디스플레이들에 대한 수신 및 변환 방법의 예시적인 단계들을 예시하는 블록도인 한편, 도 5는 본 발명의 실시예들에 따른 멀티-뷰 오토-스테레오스코픽 디스플레이들에 대해 변형된 도 4의 방법을 도시한다. 이제 도 4 및 5를 참고하여, 송신 채널의 수신단에서, 단계(402)에서, 데시메이팅된 Z 채널 워터마크는 수신된 RGB 데이터로부터 스테가노그래픽적으로 추출된다. 단계(404)에서, 추출된 Z 워터마크는 무손실 디코딩 방법으로 처리된다. 단계(406)에서, 디코딩된 Z 채널 데이터는 Z 채널 데이터를 처리하기 위해 RGB 데이터의 통계적 도메인을 이용하는 2 인자 5-시그마/양방향 필터(2 factor 5-sigma/bilateral filter)로 처리된다. 단계들(408, 410)에서, 한번의 RGBZO 연산이 제1 옥타브 업-스케일링된 Z 채널 상에서 구동할 때까지, Z 채널 데이터는 RGBZO 연산의 구동이 후속되는, 1-옥타브 바이큐빅 업-스케일링의 연속적인 턴(turn)들로 반복적으로 처리된다. 마지막 RGBZO의 출력은 "복원된" Z 채널을 구성하고, 이는 추출된 RGB 데이터와 함께 깊이-이미지-기반 렌더링(DIBR) 방법(412)으로 처리되고, 이에 의하여 "복원된" Z 채널 데이터가 스테레오스코픽(도 4) 또는 오토-스테레오스코픽(도 5) 3D 디스플레이들에 적합한 하나 또는 그 초과의 부가적인 뷰들을 구성하도록 현재 RGB 이미지를 워핑하기 위하여 사용된다.

본 발명의 RGBZO 양방향 필터는 여러 중요한 방식들에서 종래 기술의 양방향 필터들과 상이하다. 하기의 공식들 1 및 2에서 정의된 바와 같은 노말 양방향 필터는 범위를 구성하는 공간적 거리 및 구동 가중(drive weighting)에 대한 분석 하에서 이미지 내의 도메인을 구성하는 라디오시티 거리에 의해 적응식으로(adaptively) 필터 가중치들을 계산한다. 더욱 상세하게는, 입력 이미지 Z, 출력 이미지 Z' 및 지원 윈도우 Ω에 대해, 통상적인 양방향 필터는 뒤따르는 공식 1과 같이 정의된다:

공식 (1)

여기서 g는 가우시안 공간 가중 함수이고, r은 라디오시티 가중 함수이다. 라디오시티에 대한 통상적인 값들은 구성 픽셀 샘플들의 루미넌스(luminance) 또는 세기(intensity)를 포함한다. 시스템 입력은 통상적으로 공식 2 및 3에서와 같이 g 및 r 함수들을 변형하는 상수 인자들

및

에 의하여 공급된다:

공식 (2)

공식 (3)

Z 도메인에 대한 라디오시티 함수 r은 상기 공식 3에 의하여 정의된다. 공식 2는 함수 g의 공간 가중을 정의한다. 라디오시티 가중은 공식들 4-7 및 이하의 그것의 첨부되는 설명에 의하여 정의된다.

인자들

및

의 더 작은 값들은 각각 공간 및 라디오시티 가중 기여(contribution)들의 집약성(locality) 및 유사성을 증가시킨다. 라디오시티 함수 r의 지수의 분모에서 L2 거리 측정치(즉, 유클리드 거리)는 대략 이미지들에 대한 것이며, 이미지들에서 단지 광도(luminosity) 또는 세기가 충분히 에지들 및 경계선 집약성을 구분하기에 충분하다.

바람직한 실시예에서, 제2 이미지 라디오시티 도메인이 공식 4의 함수 d와 같이, RGB 데이터의 제2 입력에 의하여 제공된다:

공식 (4)

여기서 새로운 제2 도메인 라디오시티 함수 d는 공식 5에 의해 정의된다:

공식 (5)

그리고 함수 d는 광도차 뿐 아니라, HSV 색공간에서의 색상 차 측정치를 측정한다. 먼저, 색조 값(HSV 공간에서와 같은)이 공식 6에서와 같이 RGB 색상 값들로부터 계산된다:

공식 (6)

함수 δ는 공식 7에서와 같이 정의된다:

공식 (7)

인자들

및

과 유사하게, 새로운 인자

는 RGB 데이터에 대한 유사성 측정치의 집약성에 영향을 미친다. 라디오시티 가중은 Z 채널에 의해서만 제공되는 것이 아니라, 마찬가지로 RGB 채널들에 의해서도 제공된다. 이 조합된 계산된 라디오시티 가중은 결국 Z 채널 출력에 적용된다. 이 타입의 필터링 연산의 되풀이되는 반복은 업-스케일링된 Z 채널의 출력의 규격화(regularizing)에 대한 영향력을 가져, Z 채널의 에지 그래디언트 대 RGB 채널들의 색상 에지 그래디언트 사이의 차를 포함하는 에러 함수를 최소화시킨다. RGB 채널들 및 Z 채널 양자 모두가 0.0 내지 1.0 범위인 것으로 가정하면, 그러한 RGBZO 필터들에 대한 파라미터들의 예시적인 세트는 다음과 같다:

공식 (8)

Z 채널을 "복원"하기 위한 이 규격화 단계는 본 발명의 일 실시예에 따라, 완전 해상도 Z 채널에 대한 RGBZO 연산의 되풀이되는 반복으로, 제4 옥타브로부터 제1 옥타브로의 단일 업-스케일링 단계에 의하여 수행될 수 있다. 이것은 수렴까지 되풀이되는되풀이되는로 그래디언트 하강 연산으로서 생각될 수 있다. 훨씬 더 적은 복잡성을 갖는 동일한 품질의 결과는 본 발명의 일 실시예에 따라, 도 4 및 5에서 상기 예시된 바와 같이 한번의 RGBZO 연산이 제1 옥타브 업-스케일링된 Z 채널 상에서 구동할 때까지, RGBZO 연산의 구동이 후속되는 1-옥타브 바이큐빅 업-스케일링의 연속적인 턴들에 의해 달성될 수 있다. 이 방법의 적용의 결과들이 도 12에서 관찰될 수 있으며, 상기 도 12에서 Z 채널은 상기 설명된 방법을 통해 복원되었다. 명백히, Z 채널은 이제 공간적으로 상관되고, 송신에서의 데시메이션 프로세스에서 손실된 많은 양의 정보가 복원되었다.

본 발명의 일 실시예에 따라, 상기 설명된 프로세스가 완전한 복원을 초래하지 않는 경우에 - 여기서 조합된 송신 및 수신 방법들은 손실 압축의 방법에 비유될 수 있음 - , 평균 관찰자 스코어들이 제안하는 스테레오스코픽 복원들을 제작하는 재생된 Z 채널 데이터는 대체로 원본 Z 채널 데이터를 사용하는 복원들로부터 구분이 안 된다. 도 15는 그러한 예시적인 복원을 도시한다.

본 발명의 방법의 실시예들에 따라, 깊이 맵들의 임의의 추정은 더 낮은 해상도에서 수행되고, 송신 체인(101)의 임의의 지점에서 수신기(106)의 도 4에 예시된 단계들에 의하여 "처리"될 수 있거나, 또는 도 4에 교시된 수신기(106)의 방법은 상관된 RGB 이미지를 고려할 때 더 낮은 해상도의 더 낮은 정확도 깊이 맵으로부터 고도로 공간적으로 상관된, 객체-코히런트적인, 완전-해상도 깊이 맵을 생성하는데 이용될 수 있다는 것이 기술 분야의 당업자들에 의하여 인식될 것이다. 이것은 그들의 궁극적 소스와 상관없이, 깊이 맵들의 코오스(coarse) 근사들이 계산되고 사용되도록 허용한다. 다른 바람직한 실시예의 일 예는 저해상도로 수신기에서 운동 또는 블러(blur)와 같은 다른 큐(cue)들로부터 깊이를 추정하고, 깊이-이미지-기반 렌더링을 위해 그들을 사용하기 전에 그러한 깊이 맵들을 처리하기 위하여 도 4의 본 발명의 방법을 사용하기 위하여, B. Javidi 등에 의해 편집된 3차원 이미징, 시각화 및 디스플레이 (Springer-Verlag, New York, 2008) pp. 153-182의, Tam 등에 의한 "Depth Map Generation for 3-D TV: Importance of Edge and Boundary Information"이라는 제목의 논문에 교시된 것들과 같은 낮은 복잡성 방법을 사용할 것이다.

깊이 맵으로서 사용하기 위해 수중에 있는(in-hand) 적절히 복원된 Z-채널을 이용하여, 남아 있는 것은 디스플레이에 의하여 요구되는 바와 같이 다수의 합성 뷰들로서 생성하기 위해 Z 채널을 이용하는 것이다. 스테레오스코픽 디스플레이의 경우에, 2개의 뷰들이 필요하다. 본 발명의 일 실시예에 따라, 예시적인 DIBR 방법이 도 6에 도시된다. 임의의 DIBR 방법이 처리할 필요가 있는 일차적 문제는 어클루젼들이다. 전경 객체가 좌측에 또는 우측에 배치될 때, 그러한 배치는 명시적인 재배치가 없는 배경 픽셀 데이터를 나타낼 수 있다. 어클루디드 데이터는 공간적으로, 일시적으로, 또는 공간적이고 일시적으로 예측될 필요가 있다.

"System and Method for Determination of Optical Flow"라는 제목으로 2009년 9월 8일자로 출원된, 공동 계류중인 미국 특허 출원 번호 제12/555,472호에 교시된 바와 같은 정확한 광학적 흐름 방법으로(블록(602))(상기 미국 특허 출원의 전체는 인용에 의해 본 발명에 포함됨), 어클루디드 픽셀들을 충진하기 위한 가능한 움직임-보정 후보들(블록(606))을 포함하는 각각의 픽셀들에 대한 확률 테이블은 움직임-보정 이미지 워핑을 통해 형성될 수 있다(블록(604)). 부가적으로, "통계적 인-페인팅"으로서 알려진 예측 알고리즘들의 종류를 이용하는 공간적 예측(블록(608))은 적절한 일시적 예측들이 이용가능하지 않은 경우(블록(610)) 사용될 수 있다. 용어 "인-페인팅"은 이미지들 및 비디오들의 손실된 또는 저하된 부분들을 복원하기 위한 프로세스를 지칭한다. 그렇지만, 제3의 선택은 깊이 맵 자신을 공간적으로 블러링하는 것이고(블록(612)), 이는 그러한 디스어클루젼들을 커버하기 위하여 전경 객체들을 기하학적으로 왜곡시키는 효과를 갖는다.

실제로, 예시적인 DIBR 방법은 이미지 폭의 1% 미만의 작은 등급의 어클루젼들에 대한 기하학적 왜곡을 사용하며, 일시적 예측 확률 테이블의 이용가능성 및 신뢰도 측정들에 기반하여, 일시적 예측과 공간적 예측 사이에서 선택한다. 이를 수행하기 위하여, 중간 스테이지는 디스어클루젼들을 Z 채널 자신의 데이터 매니페스트(manifest)에 기반하여 좌측 배치, 우측 배치, 풀(full)-Z-후방, 풀-Z-전방의 4개 카테고리들 중 하나로 분류하도록 시도한다(블록(614)). 부가적으로, 디스어클루젼의 수평 범위가 추정된다. 수평 범위는 깊이 맵의 국부적인 방향성 블러링이 현저한 기하학적 왜곡 아티팩트들 없이 디스어클루젼들을 커버하는지 결정하는데 사용된다. 그게 안 되면, 일시적 예측 후보들의 존재는 제2의 선택이고, 일시적 예측 후보들이 이용가능하지 않은 경우에, 디스어클루젼 타입의 분류(블록(614))는 보간(interpolating) 시에 어느 방향(들)을 사용할지에 관해 인-페인트 프로시져에 의해 사용되는 공간적 예측을 분별하는데 사용된다.

블록들(618 및 620)에서, 좌측 아이 뷰 및 우측 아이 뷰는 블록들(608, 610 및 612)에서 이전에 획득된 인-페인트 후보들 혼합에 기반하여 이미지 워핑을 통해 획득될 수 있다(블록(616)).

도 6에 예시된 것과 같은 DIBR 방법을 이용하는 장점은 변화하는 디스플레이 사이즈들이 사전 설정된 또는 사용자 공급된 파라미터들에 의해 수용될 수 있다는 점이다. 예시적인 시스템에서, 가상 뷰들은 2개의 가상 카메라들에 의하여 시뮬레이팅될 수 있다. 3개의 사용자 입력 파라미터들이 특정될 수 있다 - 시뮬레이팅된 축간 거리, 각각의 가상 카메라에 대한 시뮬레이팅된 초점 거리, 및 시뮬레이팅된 수렴점.

도 6의 예시적인 DIBR 방법은 우측-아이 뷰를 따르는 좌측-아이 뷰를 재생하나, 좌측-아이 뷰로서 원본 RGB를 이용하고, 양쪽 아이 뷰들에 대해 +0.5X 및 -0.5X 초점 거리들 대신 1X 초점 거리에서 우측 아이만을 합성함으로써, 경제성(economy)이 달성될 수 있음이 본 기술분야의 당업자들에 의해 인식될 것이다.

도 4와 유사한 방식으로, 도 5는 8-뷰 오토-스테레오스코픽 출력을 생성하는데 사용되는 동일한 예시적인 DIBR 방법을 이용하는 동일한 바람직한 실시예를 도시한다(블록(412)).

예시적인 실시예들은 단지 발명의 예시이며, 상기 설명된 실시예들의 다수의 변형들이 본 발명의 범위를 벗어나지 않고 기술분야의 당업자에 의해 고안될 수 있음이 이해될 것이다. 그러므로 하기의 청구항들 및 그들의 동등물들의 범위 내에 그러한 모든 변형들이 포함되는 것으로 고려된다.

Claims

3-차원(3D) 화상(imagery)을 송신하기 위한 컴퓨터 구현 방법으로서,
적어도 하나의 3D 이미지로부터 깊이 맵(depth map) 및 컬러 데이터를 추출하는 단계;
상기 깊이 맵에서 깊이 값들의 히스토그램을 생성함으로써 그리고 상기 히스토그램에 대해 모달 분석(modal analysis)을 수행함으로써 모달리티를 식별하는 단계;
감소된 대역폭 깊이 맵을 제작하기 위하여 상기 깊이 맵의 대역폭을 감소시키는 단계 ―상기 깊이 맵의 대역폭을 감소시키는 단계는, 상기 깊이 맵의 깊이 값들을 나타내는 분포(distribution)의 모달리티(modality)와 연관된 깊이 값들을 제거하는 단계를 포함함―;
감소된 대역폭 3D 이미지를 제작하기 위하여 상기 컬러 데이터에 상기 감소된 대역폭 깊이 맵을 삽입하는 단계; 및
디스플레이로의 전달을 위한 송신 채널로 상기 감소된 대역폭 3D 이미지를 송신하는 단계
를 포함하는,
3-차원(3D) 화상을 송신하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
상기 깊이 맵의 대역폭을 감소시키는 단계는, 상기 컬러 데이터의 적어도 하나의 객체 경계선(object boundary)에 대응하는 적어도 하나의 불연속부를 포함하는 상기 깊이 맵의 적어도 하나의 영역을 보유하는(retaining) 단계를 포함하는, 3-차원(3D) 화상을 송신하기 위한 컴퓨터 구현 방법.
삭제
삭제
제1항에 있어서,
0.0 또는 1.0 깊이 값들을 제거하기 위하여 상기 히스토그램에 대해 그레이스케일 모폴로지컬 클로징 연산(grayscale morphological closing operation)을 적용하는 단계를 더 포함하는, 3-차원(3D) 화상을 송신하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
미디언(median) 이미지 프로세싱 필터로 상기 깊이 맵을 필터링하는 단계를 더 포함하는, 3-차원(3D) 화상을 송신하기 위한 컴퓨터 구현 방법.
제6항에 있어서,
상기 미디언 이미지 프로세싱 필터는 5x5 미디언 필터인, 3-차원(3D) 화상을 송신하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
상기 깊이 맵에 대해 공간 데시메이션 연산(spatial decimation operation)을 수행하는 단계; 및
상기 깊이 맵에 대해 무손실(lossless) 통계적 코딩 방법을 적용하는 단계
를 더 포함하는, 3-차원(3D) 화상을 송신하기 위한 컴퓨터 구현 방법.
제8항에 있어서,
상기 깊이 맵에 대해 공간 데시메이션 연산을 수행하는 단계는, 상기 깊이 맵에 큐빅 감소 필터(cubic reduction filter)를 적용하는 단계 및 반복되는 연속적 1-옥타브 바이큐빅(bicubic) 감소들을 수행하는 단계 중 적어도 하나를 포함하는, 3-차원(3D) 화상을 송신하기 위한 컴퓨터 구현 방법.
제8항에 있어서,
상기 깊이 맵에 대해 무손실 통계적 코딩 방법을 적용하는 단계는,
상기 깊이 맵을 7 bpp(bit-per-pixel) 표현으로 변환하고, 허프만(Huffmann) 인코딩 방식을 이용하여 통계적으로 인코딩하는 단계;
상기 깊이 맵에 산술 코딩을 적용하는 단계; 및
상기 깊이 맵에 2-차원 코드북 인코딩 방식을 적용하는 단계
중 적어도 하나를 더 포함하는, 3-차원(3D) 화상을 송신하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
상기 컬러 데이터에 상기 감소된 대역폭 깊이 맵을 삽입하는 단계는, 워터마크로서 컬러 데이터에 상기 깊이 맵을 부가하는 단계를 포함하는, 3-차원(3D) 화상을 송신하기 위한 컴퓨터 구현 방법.
3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법으로서,
감소된 대역폭 깊이 맵 및 컬러 데이터를 포함하는 감소된 대역폭 3D 이미지를 수신하는 단계;
상기 감소된 대역폭 깊이 맵의 대역폭을 복원(restore)하기 위하여 상기 컬러 데이터의 통계적 도메인을 이용하는 필터를 적용하는 단계; 및
제1 옥타브 업-스케일링된 깊이 맵이 제작될 때까지, 상기 감소된 대역폭 깊이 맵을 상기 필터의 적용이 후속되는 1-옥타브 바이큐빅 업-스케일링의 반복(iteration)들로 반복적으로 처리하는 단계
를 포함하는, 3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법.
제12항에 있어서,
상기 필터는 적어도 하나의 객체 경계선을 포함하는 상기 컬러 데이터의 불연속부들을 매칭시킴으로써 상기 감소된 대역폭 깊이 맵의 불연속부들을 복원하도록 구성되는, 3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법.
제12항에 있어서,
스테레오스코픽(stereoscopic) 또는 오토-스테레오스코픽 3D 디스플레이들에 대한 적어도 하나의 뷰(view)를 구성하기 위하여, 복원된 깊이 맵 및 상기 컬러 이미지를 워핑(warp)하기 위해 깊이-이미지-기반 렌더링(DIBR: depth-image-based rendering) 방법을 적용하는 단계를 더 포함하는, 3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법.
삭제
제12항에 있어서,
상기 필터는, 제1 도메인으로서 상기 감소된 대역폭 깊이 맵과, 제2 도메인으로서 상기 컬러 데이터에 의해 제공되는 2개의 라디오시티 가중(radiosity weighting) 함수들, 및 공간 가중(spatial weighting) 함수를 이용하는, 3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법.
삭제
제12항에 있어서,
상기 감소된 대역폭 깊이 맵을 상기 필터의 적용이 후속되는 1-옥타브 바이큐빅 업-스케일링의 반복들로 반복적으로 처리하는 단계는, 상기 업-스케일링된 깊이 맵의 출력을 규격화하기(regularize) 위하여 상기 컬러 데이터의 컬러 에지 그래디언트(gradient)와 상기 깊이 맵의 에지 그래디언트 간의 차를 포함하는 에러 함수를 최소화하는, 3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법.
제12항에 있어서,
상기 감소된 대역폭 깊이 맵을 상기 필터의 적용이 후속되는 1-옥타브 바이큐빅 업-스케일링의 반복들로 반복적으로 처리하는 단계 이전에, 상기 감소된 대역폭 깊이 맵에 무손실 디코딩 방법을 적용하는 단계를 더 포함하는, 3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법.
제14항에 있어서,
상기 DIBR 방법을 적용하는 단계는,
상기 컬러 데이터에 광학 흐름(optical flow) 방법을 적용하는 단계;
움직임 보정(motion compensated) 픽셀들의 테이블을 제작하기 위하여 상기 컬러에 움직임 보정 및 이미지 워핑을 적용하는 단계;
상기 움직임 보정 픽셀들의 테이블로부터 후보 어클루디드 픽셀(occluded pixel)들의 일시적 예측들 및 공간 예측들 중 하나를 적용하는 단계;
상기 후보 어클루디드 픽셀들에 통계적 인-페인팅(in-painting) 프로시져를 적용하는 단계; 및
디스플레이를 위한 이미지들의 좌측 아이 뷰(eye view) 및 우측 아이 뷰를 획득하기 위하여 상기 통계적 인-페인팅 프로시져로부터 획득되는 픽셀들을 워핑하는 단계
를 더 포함하는, 3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법.
제20항에 있어서,
후보 어클루디드 픽셀들의 공간 예측들을 분별(inform)하기 위하여 상기 깊이 맵으로부터 디스어클루젼(disocclusion)들을 분류하는 단계; 및
프로세싱된 깊이 맵을 제작하기 위하여 상기 깊이 맵에 Z 스무딩 방법을 적용하는 단계
를 더 포함하는, 3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법.
제21항에 있어서,
상기 워핑하는 단계는 상기 프로세싱된 깊이 맵에 의하여 분별되는, 3-차원(3D) 화상을 수신하기 위한 컴퓨터 구현 방법.
3-차원(3D) 화상을 프로세싱하기 위한 컴퓨터-실행가능 명령들을 포함하는 컴퓨터-판독가능 매체로서,
상기 명령들은:
감소된 대역폭 깊이 맵 및 컬러 데이터를 포함하는 감소된 대역폭 3D 이미지를 수신하며;
상기 감소된 대역폭 깊이 맵의 대역폭을 복원하기 위하여 상기 컬러 데이터의 통계적 도메인을 이용하는 필터를 적용하고; 그리고
제1 옥타브 업-스케일링된 깊이 맵이 제작될 때까지, 상기 감소된 대역폭 깊이 맵을 상기 필터의 적용이 후속되는 1-옥타브 바이큐빅 업-스케일링의 반복들로 반복적으로 처리하도록
구성되는, 컴퓨터-판독가능 매체.
제23항에 있어서,
상기 명령들은, 스테레오스코픽 또는 오토-스테레오스코픽 3D 디스플레이들에 대한 적어도 하나의 뷰를 구성하기 위하여 복원된 깊이 맵 및 상기 컬러 이미지를 워핑하기 위해 깊이-이미지-기반 렌더링(DIBR) 방법을 적용하도록 추가로 구성되는, 컴퓨터-판독가능 매체.
제23항에 있어서,
적어도 하나의 필터가 상기 감소된 대역폭 깊이 맵의 상기 대역폭을 복원하기 위하여 상기 컬러 데이터의 통계적 도메인을 이용하도록 동작가능한, 컴퓨터-판독가능 매체.
삭제
제23항에 있어서,
상기 필터는 제1 도메인으로서 상기 감소된 대역폭 깊이 맵과, 제2 도메인으로서 상기 컬러 데이터에 의해 제공되는 2개의 라디오시티 가중 함수들 및 공간 가중 함수를 이용하는, 컴퓨터-판독가능 매체.
삭제
제23항에 있어서,
상기 감소된 대역폭 깊이 맵을 상기 필터의 적용이 후속되는 1-옥타브 바이큐빅 업-스케일링의 반복들로 반복적으로 처리하는 단계는, 상기 업-스케일링된 깊이 맵의 출력을 규격화하기 위하여 상기 컬러 데이터의 컬러 에지 그래디언트와 상기 깊이 맵의 에지 그래디언트 간의 차를 포함하는 에러 함수를 최소화하는, 컴퓨터-판독가능 매체.
감소된 대역폭 깊이 맵을 포함하는 적어도 하나의 감소된 대역폭 이미지를 수신하고 복원하기 위한 수신기로서, 상기 수신기는
감소된 대역폭 깊이 맵 및 컬러 데이터를 포함하는 감소된 대역폭 3D 이미지를 수신하며;
상기 감소된 대역폭 깊이 맵의 대역폭을 복원하기 위하여 상기 컬러 데이터의 통계적 도메인을 이용하는 필터를 적용하고; 그리고
제1 옥타브 업-스케일링된 깊이 맵이 제작될 때까지, 상기 감소된 대역폭 깊이 맵을 상기 필터의 적용이 후속되는 1-옥타브 바이큐빅 업-스케일링의 반복들로 반복적으로 처리하도록
구성되는, 적어도 하나의 감소된 대역폭 이미지를 수신하고 복원하기 위한 수신기.
제30항에 있어서,
상기 감소된 대역폭 깊이 맵의 대역폭을 복원하는 것은, 적어도 하나의 객체 경계선을 포함하는 상기 컬러 데이터의 불연속부들을 매칭시킴으로써 상기 감소된 대역폭 깊이 맵의 불연속부들을 복원하는 것에 기반하는, 적어도 하나의 감소된 대역폭 이미지를 수신하고 복원하기 위한 수신기.
제30항에 있어서,
스테레오스코픽 또는 오토-스테레오스코픽 3D 디스플레이들에 대한 적어도 하나의 뷰를 구성하기 위하여 복원된 깊이 맵 및 상기 컬러 데이터를 워핑하기 위한 깊이-이미지-기반 렌더링(DIBR) 모듈을 더 포함하는, 적어도 하나의 감소된 대역폭 이미지를 수신하고 복원하기 위한 수신기.
삭제
제30항에 있어서,
상기 필터는 제1 도메인으로서 상기 깊이 맵과, 제2 도메인으로서 상기 컬러 데이터에 의해 제공되는 2개의 라디오시티 가중 함수들, 및 공간 가중 함수를 이용하는, 적어도 하나의 감소된 대역폭 이미지를 수신하고 복원하기 위한 수신기.
삭제
제30항에 있어서,
상기 깊이 맵을 상기 필터의 적용이 후속되는 1-옥타브 바이큐빅 업-스케일링의 반복들로 반복적으로 처리하기 위한 모듈은, 상기 업-스케일링된 깊이 맵의 출력을 정규화하기 위하여 상기 컬러 데이터의 컬러 에지 그래디언트와 상기 깊이 맵의 에지 그래디언트 간의 차를 포함하는 에러 함수를 최소화하는, 적어도 하나의 감소된 대역폭 이미지를 수신하고 복원하기 위한 수신기.
제30항에 있어서,
상기 수신기는 주문형 집적 회로(ASIC)를 사용하여 구현되는, 적어도 하나의 감소된 대역폭 이미지를 수신하고 복원하기 위한 수신기.
3D 화상을 송신하고, 수신하며, 렌더링(rendering)하기 위한 시스템으로서,
송신기 및 수신기를 포함하고,
상기 송신기는:
적어도 하나의 3D 이미지로부터 깊이 맵 및 컬러 데이터를 추출하고,
상기 깊이 맵에서 깊이 값들의 히스토그램을 생성함으로써 그리고 상기 히스토그램에 대해 모달 분석(modal analysis)을 수행함으로써 모달리티를 식별하고,
감소된 대역폭 깊이 맵을 제작하기 위하여 상기 깊이 맵의 대역폭을 감소시키고 ―상기 깊이 맵의 대역폭을 감소시키는 것은, 상기 깊이 맵의 깊이 값들을 나타내는 분포의 모달리티와 연관된 깊이 값들을 제거하는 것을 포함함―,
감소된 대역폭 3D 이미지를 제작하기 위하여 상기 컬러 데이터에 상기 감소된 대역폭 깊이 맵을 삽입하며, 그리고
상기 감소된 대역폭 3D 이미지를 송신 채널로 송신하기 위한 것이며,
상기 수신기는:
상기 송신 채널로부터 컬러 데이터 및 감소된 대역폭 깊이 맵을 포함하는 감소된 대역폭 3D 이미지를 수신하고,
상기 감소된 대역폭 깊이 맵의 대역폭을 복원하기 위하여 상기 컬러 데이터의 통계적 도메인을 이용하는 필터를 적용하며, 그리고
디스플레이 상에 복원된 깊이 맵 및 컬러 데이터를 렌더링하기 위한 것인,
3D 화상을 송신하고, 수신하며, 렌더링하기 위한 시스템.
제38항에 있어서,
상기 깊이 맵의 대역폭을 감소시키는 것은, 상기 컬러 데이터의 적어도 하나의 객체 경계선에 대응하는 적어도 하나의 불연속부를 포함하는 상기 깊이 맵의 적어도 하나의 영역을 보유하는 것을 포함하는, 3D 화상을 송신하고, 수신하며, 렌더링하기 위한 시스템.
제38항에 있어서,
상기 필터는 적어도 하나의 객체 경계선을 포함하는 상기 컬러 데이터의 불연속부들을 매칭시킴으로써 상기 감소된 대역폭 깊이 맵의 불연속부들을 복원하도록 구성되는, 3D 화상을 송신하고, 수신하며, 렌더링하기 위한 시스템.
RGBZO필터로서,
감소된 대역폭 깊이 맵의 대역폭을 복원하기 위하여 컬러 데이터의 통계적 도메인을 이용하도록 구성되고,
상기 RGBZO 필터는, 제1 도메인으로서 상기 감소된 대역폭 깊이 맵과, 제2 도메인으로서 상기 컬러 데이터에 의해 제공되는 2개의 라디오시티 가중 함수들, 및 공간 가중 함수를 이용하는,
RGBZO 필터.
삭제