KR20100103848A - 그래픽 오브젝트를 중첩하기 위한 이미지 프로세서 - Google Patents

Abstract

이미지 프로세서는 기본 이미지 및 그래픽 오브젝트를 규정하는 데이터의 어셈블리(DDS)를 프로세싱한다. 데이터의 어셈블리(DDS)는, 출력 이미지에서 그래픽 오브젝트의 주어진 외형을 규정하는 구성 데이터(CS)를 포함하고, 그래픽 오브젝트는 기본 이미지의 일부와 중첩한다. 이미지 프로세서는 구성 데이터(CS)에 기초하여 차폐 표시(OCS)를 확립하는 차폐 분석기(OCA)를 포함한다. 차폐 표시(OCS)는, 그래픽 오브젝트가 출력 이미지에서 차폐하지만 출력 이미지의 입체 렌더링에서 차폐되지 않는 기본 이미지 내의 영역을 지정한다. 차폐 데이터 생성기(ODG)는 차폐 표시(OCS) 및 기본 이미지에 기초하여 차폐 이미지를 구성한다. 차폐 이미지는 차폐 표시(OCS)에 의해 지정된 영역에 대응하는 기본 이미지의 부분을 나타낸다.

Description

그래픽 오브젝트를 중첩하기 위한 이미지 프로세서{Image processor for overlaying a graphics object}

본 발명은 주로 기본 이미지 상에 그래픽 오브젝트를 중첩할 수 있는 이미지 프로세서에 관한 것이다. 이미지 프로세서는, 예를 들면, 입체 비디오 출력 데이터를 제공할 수 있는 블루-레이 디스크 재생 장치(Blu-ray disk playback device)의 형태일 수 있다. 본 발명의 다른 특징들은 입체 비디오 렌더링 시스템(stereoscopic video rendering system), 기본 이미지 및 그래픽 오브젝트를 규정하는 데이터의 어셈블리를 프로세싱하는 방법, 및 프로그래밍 가능한 프로세서를 위한 컴퓨터 프로그램 제품에 관한 것이다.

기본 이미지, 또는 비디오를 구성하는 기본 이미지들의 시퀀스 상에 그래픽 오브젝트를 중첩함으로써 개선된 비디오 경험이 획득될 수 있다. 서브타이틀을 부가하는 것은, 그래픽 오브젝트들이 텍스트의 형태인 기본 예이다. 더욱 개선된 애플리케이션들에서, 하나 이상의 그래픽 오브젝트는, 기본 이미지와의 개념적인 관계를 가질 수 있는 도면을 나타낼 수 있다. 하나 이상의 그래픽 오브젝트들에 기초하여 애니메이션을 비디오에 부가하는 것이 또한 가능하다.

소위 블루 레이 디스크 애플리케이션에 대한 표준이 개발되어 왔고, 이는 개선된 비디오 경험들을 제공할 수 있다. 상기 표준은 소위 그래픽 오브젝트 세그먼트들(graphic object segments)을 지정하고, 이는 인코딩된 형태로 그래픽 오브젝트의 기본 표현을 제공한다. 상기 표준은 또한 소위 구성 세그먼트들(composition segments)을 지정한다. 구성 세그먼트는 구성 세그먼트가 관련된 그래픽 오브젝트의 주어진 외형을 기술한다. 그래픽 오브젝트의 기본 표현은 이러한 주어진 외형을 성취하도록 프로세싱될 필요가 있다. 이러한 프로세싱은, 예를 들면, 크로핑(cropping), 포지셔닝(positioning), 컬러 맵핑(color mapping)과 같은 동작들을 포함할 수 있다. 그래픽 제어기는 통상적으로 관련된 구성 세그먼트에 기초하여 이러한 동작들을 규정한다. 그래픽 오브젝트의 기본 표현의 프로세싱으로 인해 발생한 그래픽 오브젝트는 통상적으로 소위 그래픽 평면에 배치된다. 그래픽 평면은 비디오 평면 상에서 중첩되고, 비디오 평면은 비디오의 이미지에 대응한다. 따라서, 비디오 평면은 그래픽 오브젝트가 중첩되는 기본 이미지로서 간주될 수 있다.

US 2006/0294543 호로 공개된 미국 특허 출원은, 재생 장치가 비디오 스트림 및 그래픽 스트림을 개별적으로 디코딩하고 재생 이미지를 생성하기 위해 결과적인 비디오 및 그래픽들을 중첩하는 것에 따른 배경 기술들을 기재하고 있다. 그래픽 스트림은 소위 PES 패킷들의 배열이고, 이러한 패킷들은 두 개의 형태들, 즉 제어 정보를 전달하는 PES 패킷들 및 그래픽을 나타내는 그래픽 데이터를 전달하는 PES 패킷들로 분류될 수 있다. 제어 정보 및 그래픽 데이터의 하나의 쌍은 하나의 그래픽 디스플레이를 생성한다. 재생 장치는 제어 정보 및 그래픽 데이터를 순차적으로 판독하고, 제어 정보를 디코딩하고, 또한 비압축된 그래픽을 생성하기 위해 그래픽 데이터를 디코딩한다. 재생 장치는 제어 정보의 디코딩 결과에 따라 비압축된 그래픽들을 원하는 표시 타이밍으로 디스플레이한다.

본 발명의 목적은, 그래픽 오브젝트가 기본 이미지와 중첩하는 이미지의 만족스러운 입체 이미지 렌더링을 상대적으로 저가로 허용하는 해결책을 제공하는 것이다. 독립항들은 본 발명의 다양한 특징들을 규정한다. 종속항들은 본 발명을 유리하게 구현하기 위한 부가적인 특징들을 규정한다.

본 발명은 다음의 포인트들을 고려한다. 그래픽 오브젝트를 기본 이미지 상에 중첩함으로써 획득된 이미지가 입체 방식으로 렌더링될 때, 차폐 문제점(occlusion problem)이 발생할 수 있다. 이미지를 입체 방식으로 렌더링하기 위해, 깊이 정보(depth information)가 요구된다. 가상의 관측자에 대해 각각의 오브젝트들이 갖는 각각의 거리들을 나타내는 이러한 깊이 정보는 프로세서에 의해 다중 뷰들을 생성하는데 사용될 수 있다. 각각의 뷰는, 다른 뷰잉 위치와 약간 상이한 특정 뷰잉 위치에 대응한다. 그래픽 오브젝트는 기본 이미지들의 일부를 차폐할 것이다. 차폐된 부분의 적어도 일부는 하나 이상의 뷰들에서 차폐되지 않을 수 있고, 이는 입체 렌더링에서 생성된다. 프로세서가 상술된 이미지에 기초하여 다중 뷰들을 생성할 필요가 있는 경우에, 이것은 문제점을 내포한다. 정보가 분실된다.

차폐 문제점에 대한 기본 해결책은 다음과 같다. 입체 렌더링에서 다중 뷰들을 생성하는 프로세서에는, 그래픽 오브젝트가 기본 이미지와 중첩하는 이미지 대신에, 기본 이미지가 전체로서 제공된다. 즉, 프로세서는 기본 이미지 및 그래픽 오브젝트뿐만 아니라 관련된 깊이 정보를 수신한다. 따라서, 프로세서는 다중 뷰들을 정확하게 생성하기 위한 모든 필요한 정보를 갖는다.

그러나, 상술된 기본 해결책은 구현하기에 상대적으로 고가일 수 있다. 관련된 프로세서는 바람직하게 입체 디스플레이 장치의 일부를 형성하고, 입체 디스플레이 장치는 많은 상이한 형태들의 비디오 장치들에 결합될 수 있다. 이것은, 입체 디스플레이 장치와 그에 결합된 비디오 장치 간의 접속이 기본 이미지뿐만 아니라 그래픽 오브젝트 및, 만약 있다면, 렌더링되어야 하는 다른 시각 정보를 전달할 필요가 있다는 것을 의미한다. 상기 접속은 모든 이러한 정보를 전달하기 위해 상대적으로 큰 대역폭을 필요로 할 것이다. 관련된 형태의 접속들이 표준화되어 있다. 표준화된 접속은 주어진 최대 대역폭을 갖는다. 주어진 최대 대역폭을 초과하는 대역폭이 요구되는 경우에, 다중 접속들이 요구된다. 이것은 상대적으로 고가이고 또한 다루기 힘들 수 있다.

차폐 문제점은 또한 소위 홀-필링 기술들(hole-filling techniques)에 의해 해결될 수 있다. 홀 필링 기술은, 이미지 내의 이용 가능한 시각 정보가 이미지 내의 분실된 시각 정보를 재구성하는데 사용되는 외삽법(extrapolation)에 기초할 수 있다. 또 다른 예로서, 그래픽 오브젝트들이 차폐하는 기본 이미지의 일부는 동일한 비디오의 이전 이미지들 또는 후속 이미지들, 또는 양자에 기초하여 재구성될 수 있다. 비디오는 일반적으로 움직이는 오브젝트들을 포함한다. 따라서, 주어진 이미지에서 차폐되는 기본 이미지의 부분은, 주어진 이미지에 앞서거나 주어진 이미지에 뒤따르는 이미지, 또는 양자의 이미지에서 적어도 부분적으로 볼 수 있다. 그러나, 그러한 홀-필링 기술들은 통상적으로 복잡한 프로세싱을 요구하고, 따라서, 구현하기에 고가이다.

본 발명에 따라, 이미지 프로세서는 기본 이미지 및 그래픽 오브젝트를 규정하는 데이터의 어셈블리를 프로세싱한다. 데이터의 어셈블리는, 출력 이미지 내의 그래픽 오브젝트의 주어진 외형을 규정하는 구성 데이터(composition data)를 포함하고, 그래픽 오브젝트는 기본 이미지의 일부와 중첩한다. 이미지 프로세서는 구성 데이터에 기초하여 차폐 표시를 확립하는 차폐 분석기(occlusion analyzer)를 포함한다. 차폐 표시는, 그래픽 오브젝트가 출력 이미지 내에서 차폐하지만 출력 이미지의 입체 렌더링 시에 차폐하지 않는 기본 이미지 내의 영역을 지정한다. 차폐 데이터 생성기는 차폐 표시 및 기본 이미지에 기초하여 차폐 이미지를 구성한다. 차폐 이미지는, 차폐 표시에 의해 지정된 영역에 대응하는 기본 이미지의 부분을 나타낸다.

예를 들면, 블루-레이 디스크 애플리케이션에서, 구성 데이터는 상술된 구성 세그먼트들의 형태로 이용 가능하다. 구성 세그먼트들은 차폐가 발생하는 곳을 결정하도록 허용한다. 그러한 목적을 위해 또한 우선 생성될 필요가 있는 관련된 그래픽 오브젝트를 분석할 필요가 없다. 상대적으로 간단할 수 있는 상대적으로 적은 동작들이 차폐가 발생하는 장소를 나타내는 표시를 제공하기에 충분하다. 이러한 표시는, 프로세서가 임의의 홀 필링 기술들을 사용하지 않고 다중 뷰들을 생성하도록 허용하는 기본 이미지에서 상호 보완적인 시각 정보를 식별하는데 사용될 수 있다. 이러한 상호 보완적인 시각 정보는 관련된 이미지와 함께 디스플레이 장치에 전송될 수 있고, 여기서, 그래픽 오브젝트는 기본 이미지와 중첩한다. 상호 보완적인 시각 정보는 통상적으로 기본 이미지의 상대적으로 작은 부분만을 나타낼 것이다. 이것은, 기본 이미지들이 그래픽 오브젝트들과 중첩되는 디스플레이 장치와 비디오 장치 간의 접속의 대역폭에 대한 요건들을 완화한다. 이러한 이유들로, 본 발명은 그래픽 오브젝트가 기본 이미지와 중첩하는 이미지의 만족스러운 입체 렌더링을 상대적으로 저가로 허용한다.

본 발명의 구현은 이롭게도 하나 이상의 다음의 부가적인 특징들을 포함하고, 이는 개별적인 종속항들에 대응하는 개별적인 단락들에 기재되어 있다. 이러한 부가적인 특징들 각각은 상대적으로 저가로 만족스러운 입체 이미지 렌더링을 성취하는데 기여한다.

차폐 분석기는 바람직하게 구성 데이터의 적응으로서 차폐 표시를 제공한다. 이미지 프로세서는 구성 데이터 및 차폐 표시를 유사한 방식으로 프로세싱하는 그래픽 제어기를 포함한다. 차폐 표시의 프로세싱은 차폐 데이터 생성기에 대한 차폐 데이터 생성 제어 파라미터들을 제공한다. 따라서, 그래픽 제어기는 2 개의 목적들: 그래픽 구성 및 차폐 데이터 생성을 위해 사용된다. 이것은 매우 효과적이고 따라서 비용 효율이 높은 구현들을 허용하고, 이는, 예를 들면, 블루-레이 디스크 애플리케이션에서 기존 그래픽 제어기에 기초할 수 있다.

차폐 분석기는 바람직하게, 그래픽 오브젝트가 차폐하는 기본 이미지 내의 영역을 고정된 크기의 그래픽 오브젝트의 경계 부분으로서 규정한다.

차폐 분석기는 또한, 그래픽 오브젝트가 차폐하는 기본 이미지 내의 영역을 크기가 가변하는 그래픽 오브젝트의 경계 부분으로서 지정할 수 있다. 경계 부분은 깊이 표시에 의존하는 크기를 갖고, 깊이 표시는 그래픽 오브젝트가 차폐하는 영역과 그래픽 오브젝트 간의 깊이 차이를 나타낸다.

차폐 데이터 생성기는 바람직하게 차폐 깊이 맵 구성기(occlusion depth map composor)를 포함하고, 이는 기본 이미지와 연관된 깊이 맵 및 차폐 표시에 기초하여 차폐 깊이 맵을 구성한다. 차폐 깊이 맵은, 차폐 표시에 의해 규정된 영역에 대응하는 깊이 맵의 부분을 나타낸다.

이미지 프로세서는, 출력 이미지에 차폐 이미지를 포함시키기 위한 백-엔드 모듈(backend module)을 포함할 수 있다.

백엔드 모듈은 헤더를 출력 이미지 내에 임베딩할 수 있다. 헤더는 차폐 이미지가 포함되는 출력 이미지 내의 영역을 나타낼 수 있다.

본 발명은, 그래픽 오브젝트가 기본 이미지와 중첩하는 이미지의 만족스러운 입체 이미지 렌더링을 상대적으로 저가로 허용하는 해결책을 제공한다.

도 1은 입체 비디오 시스템을 예시하는 블록도.
도 2는 입체 비디오 시스템에서 발생하는, 시각 이미지 및 그와 연관된 깊이 맵을 예시하는 도식도.
도 3은 입체 비디오 시스템 내에서 생성된 9 개의 상이한 뷰들을 예시하는 도식도.
도 4는 입체 비디오 시스템의 일부를 형성하는 재생 프로세서를 예시하는 블록도.
도 5는 디스플레이 장치로의 전송을 위해 재생 프로세서가 생성할 수 있는 출력 이미지를 예시하는 도식도.

도면들을 참조하여, 상세한 설명은 이후에 요약된 본 발명뿐만 아니라 부가적인 특징들을 예시한다.

도 1은, 재생 장치 PLY 및 디스플레이 장치 DPL를 포함하는 입체 비디오 시스템 VSY를 예시한다. 재생 장치 PLY는, 예를 들면, 블루-레이 디스크 재생기일 수 있다. 재생 장치 PLY는, 예를 들면, 디지털 가상 인터페이스(DVI) 또는 고해상도 멀티미디어 인터페이스(HDMI)(양자는 도시되지 않음)와 같은 표준화된 접속을 통해 디스플레이 장치 DPL와 통신한다. 디스플레이 장치 DPL는 자동 입체 형태일 수 있다. 입체 비디오 시스템 VSY는, 사용자가 재생 장치 PLY뿐만 아니라 디스플레이 장치 DPL를 제어하도록 허용하는 원격 제어 장치 RCD를 더 포함할 수 있다. 예를 들면, 사용자는, 그 또는 그녀가 원격 제어 장치 RCD에 의해 아이템을 선택하는 메뉴를 입체 비디오 시스템 VSY로 하여금 디스플레이하도록 할 수 있다.

재생 장치 PLY는 광 디스크 판독기 ODR, 재생 프로세서 PRP, 디스플레이 인터페이스 DIP, 및 메인 제어기 CTM를 포함한다. 재생 장치 PLY는 네트워크 NW를 통해 원격 서버 SRV와 통신하기 위한 네트워크 인터페이스 NIF를 더 포함할 수 있다. 재생 프로세서 PRP는, 적절한 소프트웨어 프로그램으로 로딩되는 프로그래밍 가능한 프로세서의 형태일 수 있다. 메인 제어기 및 디스플레이 인터페이스 DIP와 네트워크 인터페이스 NIF 중 적어도 일부에 동일하게 적용된다. 예를 들면, 재생 프로세서 PRP 및 메인 제어기 CTM와 같은 다양한 기능적 엔터티들은 단일의 프로그래밍 가능한 프로세서에 의해 구현될 수 있다.

디스플레이 장치 DPL는 디스플레이 인터페이스 DID, 디스플레이 프로세서 PRD, 디스플레이 제어기 CTD, 및 입체 비디오 렌더링을 허용하는 스크린 SCR을 포함한다. 디스플레이 프로세서 PRD는, 적절한 소프트웨어 프로그램이 로딩되는 프로그래밍 가능한 프로세서의 형태일 수 있다. 디스플레이 제어기 CTD 및 디스플레이 인터페이스 DID의 적어도 일부에 동일하게 적용된다.

스크린 SCR은 액정(LCD) 디스플레이 및 렌티큘라 렌즈(lenticular lens)의 시트를 포함할 수 있다. 렌티큘라 렌즈는, 뷰어의 좌측 눈 및 우측 눈이 상이한 픽셀들로부터 광을 수신하도록 디스플레이로부터 발산하는 광을 회절시킨다. 따라서, 픽셀들의 세트에 의해 디스플레이되는 뷰는 좌측 눈으로 향할 수 있다. 상이한 픽셀들의 세트에 의해 동시에 디스플레이되는 또 다른 뷰는 우측 눈으로 향할 수 있다. 그러한 자동 입체 스크린은, 특별한 안경을 쓰지 않고 3 차원 뷰잉 경험을 제공하는 입체 비디오를 사용자가 보도록 허용한다. 그러나, 다중 뷰들을 렌더링하기 위해 해상도가 희생된다. 따라서, 입체 이미지는, 예를 들면, 960 X 540 픽셀들과 같이 상대적으로 보통의 해상도를 가질 수 있다.

입체 비디오 시스템 VSY은 기본적으로 다음과 같이 동작한다. 사용자가 입체 비디오 데이터를 포함하는 블루-레이 디스크를 재생 장치 PLY에 삽입한다고 가정하자. 초기 단계에서, 메인 제어기 CTM는 광 디스크 판독기 ODR로 하여금 광 디스크에 저장된 애플리케이션 데이터를 판독하도록 한다. 메인 제어기 CTM는 디스플레이 장치 DPL에 의해 메뉴를 사용자에게 제시하기 위해 애플리케이션 데이터를 사용한다. 메뉴는, 예를 들면, 임의의 그래픽 애니메이션이 없는 기본 입체 모드, 또는 그래픽 애니메이션들을 갖는 개선된 입체 모드로, 주어진 타이틀의 재생을 제안한다.

사용자가 광 디스크 상에 제시된 멀티미디어 콘텐츠의 특별 렌더링인 개선된 입체 모드를 선택한다고 가정하자. 응답하여, 메인 제어기 CTM는, 애플리케이션 데이터에 포함되고 개선된 입체 모드와 연관된 하나 이상의 규정들에 기초하여 재생 프로세서 PRP를 적절히 구성한다. 메인 제어기 CTM은 사용자가 선택한 특별한 렌더링을 보장하기 위해 부가적인 동작들을 수행할 수 있다.

초기 단계가 완료되면, 광 디스크 판독기 ODR는, 관심있는 멀티미디어 콘텐츠를 포함하는 디스크 데이터 스트림 DDS을 제공한다. 초기 단계에서 적절히 구성되는 재생 프로세서 PRP는, 사용자가 선택한 특별한 렌더링에 대응하는 시청각 데이터 스트림 AVD를 획득하기 위해 디스크 데이터 스트림 DDS을 프로세싱한다. 시청각 데이터 스트림 AVD은, 예를 들면, 비디오 및 그래픽과 같은 다양하고 상이한 형태들의 콘텐츠의 구성들일 수 있는 출력 이미지들을 포함한다. 또한, 재생 프로세서 PRP는, 이러한 데이터 스트림을 정확하게 변환할 때에 디스플레이 장치 DPL를 돕기 위해 시청각 데이터 스트림 AVD 내에 부가적인 정보를 포함할 수 있다. 시청각 데이터 스트림 AVD은 상술된 디스플레이 인터페이스들 DIP, DID, 및 재생 장치 PLY 및 디스플레이 장치 DPL 각각의 상기 인터페이스들 DIP, DID 간의 접속 CX을 통해 디스플레이 장치 DPL의 디스플레이 프로세서 PRD에 도달한다.

디스플레이 프로세서 PRD는 스크린 SCR에 구동기 신호 DRS를 생성하기 위해 시청각 데이터 스트림 AVD를 프로세싱한다. 더욱 상세하게, 디스플레이 프로세서 PRD는 시청각 데이터 스트림 AVD으로부터 시각 이미지들의 시퀀스 및 깊이 맵들의 시퀀스를 검색한다. 시각 이미지들은 2 차원이다. 깊이 맵은 특별한 시각 이미지와 연관되고, 가상 관측자에 대해 시각 이미지 내의 각각의 오브젝트들이 갖는 각각의 거리들에 관한 정보를 제공한다. 즉, 깊이 맵은 시각 이미지 내의 각각의 영역들에 대한 깊이 정보를 제공한다. 깊이 맵들의 시퀀스는 관련된 장면의 입체 렌더링을 허용하고, 이는 또한 3 차원 렌더링으로 지칭될 수 있다.

깊이 맵들은 값들의 매트릭스 형태일 수 있고, 각각의 값은 시각 이미지에서 특정 픽셀, 또는 특정 픽셀들의 클러스터와 연관된다. 픽셀, 또는 픽셀들의 클러스터는 통상적으로 특정 오브젝트의 특정 부분을 나타낸다. 따라서, 관련된 픽셀, 또는 관련된 픽셀들의 클러스터와 연관된 깊이 맵으로부터의 값은 가상의 관측자에 대해 관련된 오브젝트의 관련된 부분이 갖는 거리를 나타낸다. 값이 거리를 표시할 수 있는 다양하고 상이한 방식들이 존재한다. 예를 들면, 값은 관련된 거리를 직접적으로 나타낼 수 있다. 또 다른 예로서, 값은 좌측 눈 뷰 및 우측 눈 뷰에서 관련된 픽셀에 대한 각도 시프트(angular shift)의 양을 나타낼 수 있다. 그러한 값들은 일반적으로 시차 값들(parallax values) 또는 상이 값들(disparity values)로서 지칭된다.

깊이 맵은 흑색 및 백색 이미지로서 표시될 수 있고, 이는 그레이스케일 값들(grayscale values)의 매트릭스이다. 그레이스케일 값은, 예를 들면, 8 비트에 의해 표현될 수 있다. 보통 표기법에서, 이것은 그레이스케일 값이 0 내지 255 사이의 범위 내에 포함된다는 것을 의미한다. 0의 그레이스케일 값은 가상의 관측자로부터의 가능한 최장 거리를 나타낸다. 이것은, 깊이 맵을 나타내는 흑색 및 백색 이미지에서 가능한 가장 어두운 픽셀에 대응한다. 정반대로, 255의 그레이스케일 값은 가상의 관측자로부터의 가능한 최단 거리를 나타낸다. 이것은, 깊이 맵을 나타내는 흑색 및 백색 이미지에서 가능한 가장 밝은 픽셀에 대응한다.

도 2는, 디스플레이 프로세서 PRD는 시청각 데이터 스트림 AVD로부터 검색될 수 있는 시각 이미지 VI 및 그와 연관된 깊이 맵 DM을 예시한다. 시각 이미지 VI는 그 앞에 나무가 존재하는 집을 나타낸다. 집 및 나무는 또한 깊이 맵 DM에서 식별될 수 있다. 더욱 정확하게, 나무는 백색 표면을 둘러싸는 윤곽을 갖고, 이는 나무가 가상의 관측자에 상대적으로 근접한다는 것을 나타낸다. 집은 회색 표면을 둘러싸는 윤곽을 갖고, 이는 집이 나무보다 가상의 관측자로부터 더 멀리 위치된다는 것을 나타낸다. 깊이 맵 DM 내의 어두운 영역은 시각 이미지에서 배경에 대응한다. 임의의 배경 오브젝트는 가상의 관측자로부터 상대적으로 멀리 위치된다.

도 3은, 디스플레이 프로세서 PRD가 도 2에 예시된 시각 이미지 VI 및 깊이 맵 DM에 기초하여 생성할 수 있는 9 개의 상이한 뷰들 MVS의 세트를 예시한다. 각각의 뷰는 특정 뷰잉 위치에서 보여지는 집 및 그 앞의 나무를 나타낸다. 즉, 약간 상이한 9 개의 뷰잉 위치들이 존재한다. 뷰잉 위치에서 약간의 변화는, 나무와 가상의 관측자 간의 상대적으로 작은 거리로 인해 상대적으로 큰 나무의 변위(displacement)를 야기한다. 대조적으로, 집이 가상의 관측자로부터 더 멀리 위치되기 때문에, 집은 뷰들에 걸쳐 상대적으로 작은 범위로 움직인다. 일반적으로, 디스플레이 프로세서 PRD는 깊이 맵에 기초하여 2 개의 상이한 뷰들 간에 오브젝트의 적절한 변위를 결정한다. 오브젝트가 가상의 관측자에 더 근접하면, 변위가 더 커진다. 말하자면, 시각 이미지에서 깊게 위치된 오브젝트는 상대적으로 작은 변위를 받거나 동일한 위치에 여전히 남아있을 수 있다. 따라서, 3 차원 경험은 깊이 맵에 기초하여 생성될 수 있다.

스크린 SCR은 상술된 바와 같이 자동 입체 형태일 수 있고, 렌티큘라 렌즈의 시트를 포함한다. 그러한 경우에, 디스플레이 프로세서 PRD는, 렌티큘라 렌즈의 시트에 대해 특정 위치를 갖는 스크린 SCR 상의 특정 픽셀들의 세트에 특정 뷰가 적용되는 것을 보장한다. 따라서, 디스플레이 프로세서 PRD는, 말하자면, 각각의 뷰가 적절한 방향으로 비추어지는 것을 보장한다. 이것은, 뷰어가 써야하는 임의의 특정 안경을 요구하지 않는 입체 뷰잉 경험을 허용한다.

도 2에 도시된 시각 이미지 VI에서, 나무는 집의 일부를 차폐한다. 도 3에 도시된 9 개의 뷰들의 세트 MVS에서, 도 2에 도시된 시각 이미지에 대응하는 중앙 뷰를 제외하고, 차폐되는 집의 일부가 부분적으로 가시화된다. 즉, 입체 렌더링을 위해 생성된 뷰는, 입체 렌더링이 기초하는 시각 이미지 내에 존재하지 않는 부분들을 포함할 수 있다. 시각 이미지에 존재하는 정보에 기초하여 이러한 분실 부분들을 소위 홀-필링 기술들에 의해 대략적으로 재구성하는 것이 가능하다. 그러나, 홀-필링 기술들은, 부분적으로 차폐되는 오브젝트가 가상의 관측자로부터 상대적으로 먼 경우에 충분하지 않을 수 있다.

도 4는, 블루-레이 디스크 표준에 따라 동작할 수 있는 재생 프로세서 PRP를 예시한다. 재생 프로세서 PRP는 다양한 메인 기능적 엔터티들: 프론트-엔드 모듈 FEM, 그래픽 프로세서 GPR, 입체 비디오 디코더 SVD, 차폐 데이터 생성기 ODG, 평면 조합기 PLC, 및 백-엔드 모듈 BEM을 포함한다. 재생 프로세서 PRP는, 도 1에 예시된 메인 제어기 CTM와 협력하는 내부 제어기를 더 포함할 수 있다. 그래픽 프로세서 GPR는 적절한 소프트웨어 프로그램으로 로딩되는 프로그래밍 가능한 프로세서의 형태일 수 있다. 다른 기능적 엔터티들에 동일하게 적용된다. 모든 기능적 엔터티들은 적절히 프로그래밍된 단일의 프로세서 상에서 조합될 수 있다.

그래픽 프로세서 GPR는 다양한 기능적 엔터티들: 그래픽 스트림 프로세서 GSP, 그래픽 오브젝트 구성기 GOC, 구성 버퍼 CB1, 및 그래픽 제어기 GCT를 포함한다. 이러한 기능적 엔터티들, 또는 그의 동등물들은 종래의 블루-레이 디스크 재생 장치에서 발견될 수 있다. 도 4에 예시된 그래픽 프로세서 GPR는 다음의 기능적 엔터티들: 차폐 분석기 OCA, 및 보충 구성 버퍼 CB2를 더 포함한다. 이러한 기능적 엔터티들은 종래의 블루-레이 디스크 그래픽 프로세서에 이미 존재하는 것에 부가되는 것으로 간주될 수 있다. 차폐 데이터 생성기 ODG는 2 개의 기능적 엔터티들: 차폐 이미지 구성기 OIC 및 차폐 깊이 맵 구성기 ODC를 포함한다.

상술된 기능적 엔터티들 중 임의의 엔터티는, 프로그래밍 가능한 프로세서로 로딩되는 소프트웨어 프로그램에 의해 구현될 수 있다. 그러한 소프트웨어 기반 구현에서, 소프트웨어 프로그램은 관련된 기능적 엔터티에 속하는 특정 동작들을 프로그래밍 가능한 프로세서로 하여금 수행하도록 한다. 예를 들면, 적절히 프로그래밍된 단일의 프로그래밍 가능한 프로세서는 그래픽 프로세서 GPR 및 차폐 데이터 생성기 ODG를 구현할 수 있다. 임의의 기능적 엔터티가 프로세싱 단계 또는 일련의 프로세싱 단계들로서 동일하게 간주될 수 있다는 것을 유의하라. 예를 들면, 차폐 분석기 OCA는 차폐 분석 단계를 나타낼 수 있다. 기능적 엔터티들은, 기재의 편의의 이유로 단계들이라기 보다는 물리적 엔터티들인 것처럼 단지 기재된다.

재생 프로세서 PRP는 기본적으로 다음과 같이 동작한다. 프론트-엔드 모듈 FEM은, 디스크 데이터 스트림 DDS에 다중화된 형태로 존재하는 다양한 상이한 데이터 스트림들을 검색하기 위해 광 디스크 판독기 ODR로부터의 디스크 데이터 스트림 DDS를 프로세싱한다. 이를 위해, 프론트-엔드 모듈 FEM은, 에러 디코딩 및 디멀티플렉싱을 포함할 수 있는 다양한 동작들을 수행한다. 따라서, 프론트-엔드 모듈 FEM은 블루-레이 디스크 표준을 따르는 그래픽 데이터 스트림 GDS, 및 입체 비디오 데이터 스트림 SVDS을 검색한다. 입체 비디오 데이터 스트림 SVDS은, 예를 들면, 시각 정보를 전달하는 데이터 스트림 및 깊이 정보를 전달하는 또 다른 데이터 스트림을 포함하는 데이터 스트림들의 멀티플렉스일 수 있다.

그래픽 데이터 스트림 GDS은 소위 그래픽 오브젝트 세그먼트 및 소위 구성 세그먼트들을 포함한다. 그래픽 오브젝트 세그먼트들은 그래픽 오브젝트들을 인코딩된 형태로 전달한다. 블루-레이 디스크 표준에서, 통상적으로 그래픽 오브젝트들에 대해 런-렝스 인코딩(run-length encoding)이 사용된다. 구성 세그먼트들은, 그래픽 오브젝트가 렌더링을 위해 재생 장치 PLY에서 프로세싱되는 방법에 대한 정보를 포함한다. 즉, 구성 세그먼트들은 그래픽 오브젝트가 소위 그래픽 평면 상에 나타나는 방법을 규정한다. 렌더링을 위한 이러한 그래픽 프로세싱은, 예를 들면, 크로핑, 오브젝트 배치, 및 컬러 맵핑과 같은 동작들을 포함할 수 있다. 따라서, 구성 세그먼트들은 그래픽 오브젝트 세그먼트들에 대한 메타데이터를 구성한다. 메타데이터는, 상술된 데이터를 해석 또는 처리, 또는 해석 및 처리하는데 사용될 수 있는 데이터에 관한 정보를 제공하는 데이터이다. 블루-레이 디스크에서 그래픽에 대한 부가 정보는 국제 특허 공개 번호 WO 2005/006747 및 WO 2005/004478에서 알 수 있다.

그래픽 스트림 프로세서 GSP는 그래픽 데이터 스트림 GDS로부터 그래픽 오브젝트 세그먼트들을 검색하고, 이러한 그래픽 오브젝트 세그먼트들을 디코딩한다. 따라서, 그래픽 스트림 프로세서 GSP는, 통상적으로 버퍼에 일시적으로 저장되는 디코딩된 그래픽 오브젝트들을 생성한다. 그래픽 오브젝트 구성기 GOC는, 통상적으로 소위 타임스탬프에 의해 규정되는 적절한 순간에서 이러한 버퍼로부터 디코딩된 그래픽 오브젝트를 수신한다. 따라서, 그래픽 스트림 프로세서 GSP는, 도 4에 예시된 바와 같이, 그래픽 오브젝트들의 시퀀스 GOS를 그래픽 오브젝트 구성기 GOC에 적용한다.

그래픽 스트림 프로세서 GSP는 또한, 그래픽 데이터 스트림 GDS에 존재하는 구성 세그먼트들 CS를 검색한다. 이러한 구성 세그먼트들 CS은 도 4에 예시된 구성 버퍼 CB1에 일시적으로 저장된다. 구성 세그먼트들 CS은 또한 차폐 분석기 OCA에 전송된다.

그래픽 제어기 GCT는, 타임스탬프들에 의해 규정된 타이밍 방식에 따라 구성 버퍼 CB1로부터 구성 세그먼트들 CS를 페칭(fetch)한다. 그래픽 오브젝트 구성기 GOC가 특정 디코딩된 그래픽 오브젝트를 수신하고자 한다고 가정하자. 특정 구성 세그먼트는 디코딩된 그래픽 오브젝트와 연관된다. 그래픽 제어기 GCT는, 그래픽 오브젝트 구성기 GOC가 관련된 디코딩된 그래픽 오브젝트를 프로세싱하기 시작하기 전에 구성 버퍼 CB1로부터의 이러한 구성 세그먼트를 페칭한다. 그래픽 제어기 GCT는, 그래픽 오브젝트 구성기 GOC에 대한 그래픽 구성 제어 파라미터들 PG의 세트를 확립하기 위해 관련된 구성 세그먼트를 변환한다.

그래픽 오브젝트 구성기 GOC는 그래픽 구성 제어 파라미터들 PG의 세트에 따라 디코딩된 그래픽 오브젝트를 프로세싱한다. 그래픽 오브젝트 구성기 GOC는 컬러 룩업 테이블에 기초하여, 예를 들면, 크로핑 또는 스케일링, 오브젝트 배치 및 컬러 맵핑과 같은 다양한 상이한 동작들을 수행할 수 있다. 이러한 동작들은 디코딩된 그래픽 오브젝트가 그래픽 평면 상에서 주어진 외형을 갖도록 한다. 그래픽 제어기 GCT가 그래픽 구성 제어 파라미터들 PG의 세트로 변환되는 구성 세그먼트는 이러한 외형을 규정한다. 그래픽 평면은, 디스플레이를 위한 출력 이미지를 획득하기 위해 다른 기본 이미지들과 조합될 수 있는 기본 이미지로서 간주될 수 있다. 이것은 이후에 더욱 상세하게 기재될 것이다.

입체 비디오 디코더 SVD는 비디오 평면들의 시퀀스 VPS 및 깊이 맵들의 시퀀스 DMS를 획득하기 위해 입체 비디오 데이터 스트림 SVDS을 디코딩한다. 비디오 평면은, 광 디스크 상에 기록된 비디오에 속하는 기본 이미지로서 간주될 수 있다. 따라서, 비디오 평면들의 시퀀스 VPS는 관련된 비디오를 나타낸다. 깊이 맵은 특정 비디오 평면과 연관되고, 상술된 바와 같이, 비디오 평면에 존재하는 오브젝트들에 관한 깊이 정보를 제공한다. 즉, 깊이 맵에서의 값은 관련된 비디오 평면 내의 특정 영역에 관련되고, 이러한 특정 영역이 가상의 관측자에 대해 갖는 거리를 나타낸다. 관련된 영역은, 예를 들면, 단일의 픽셀 또는 픽셀들의 클러스터를 포함할 수 있다.

평면 조합기 PLC는 입체 비디오 디코더 SVD로부터 비디오 평면들의 시퀀스 VPS 및 그래픽 프로세서 GPR로부터 그래픽 평면들의 시퀀스 GPS를 수신한다. 그래픽 평면은 특정 비디오 평면과 연관된다. 평면 조합기 PLC는 그래픽 평면 및 그와 연관된 비디오 평면을 조합한다. 그래픽 평면은 통상적으로, 그래픽 오브젝트가 전경 위치를 갖도록 비디오 평면 상에 중첩된다. 전경 위치는, 그래픽 오브젝트와 연관되고 가상의 관측자에 대한 거리를 나타내는 깊이 표시에 의해 지정될 수 있다. 또한, 그래픽 오브젝트는 미리 규정된 고정 깊이를 가질 수 있다. 임의의 오브젝트를 포함하지 않는 그래픽 평면 내의 영역들은 투명한 것으로 간주될 수 있다. 따라서, 관련된 비디오의 이미지에 대응하는 시각 이미지가 획득되고, 하나 이상의 그래픽 오브젝트들은 이러한 이미지 상에서 중첩된다. 따라서, 평면 조합기 PLC는 비디오 평면들의 시퀀스 VPS 및 그래픽 평면들의 시퀀스 GPS에 응답하여 시각 이미지들의 시퀀스 VIS를 제공한다.

시각 이미지에서 전경 위치를 갖는 그래픽 오브젝트는 통상적으로, 시각 이미지들이 기초하는 비디오 평면에 존재하는 하나 이상의 오브젝트들을 차폐할 것이다. 예를 들면, 도 2에 예시된 집은 비디오 평면에 포함된 오브젝트일 수 있다. 동일한 도면에 예시된 나무는, 비디오 평면 상에 중첩되는 그래픽 평면에 포함되는 그래픽 오브젝트일 수 있다. 나무는 집의 일부를 차폐하고, 이는 도 2 및 도 3을 참조하여 상술된 입체 렌더링에서 아티팩트들(artifacts)을 일으킬 수 있다.

그래픽 오브젝트가 비디오 평면의 일부를 차폐할 때, 입체 렌더링 아티팩트들은 상대적으로 높은 가시성 정도를 잠재적으로 가질 수 있고, 따라서, 상대적으로 높은 폐단(nuisance) 정도를 가질 수 있다. 이것은, 그래픽 오브젝트가 통상적으로 가상의 관측자에 상대적으로 근접하기 때문이고, 비디오 평면 내의 하나 이상의 차폐된 오브젝트들은 통상적으로 가상의 관측자로부터 상대적으로 멀리 떨어져 있을 것이다. 즉, 깊이에서 상대적으로 큰 차이가 존재할 것이다. 그러한 경우들에서, 상술된 홀-필링 기술들에 의해 상기 아티팩트들을 완화하는 것은 일반적으로 어려울 것이다. 차폐 분석기 OCA, 보충 구성 버퍼 CB2, 및 차폐 데이터 생성기 ODG를 수반하는, 아티팩트들을 방지하는 세련된 기술이 이후에 제시된다.

차폐 분석기 OCA는, 그래픽 데이터 스트림 GDS에 존재하는 구성 세그먼트들 CS에 기초하여 차폐 구성 세그먼트들 OCS을 생성한다. 상술된 바와 같이, 구성 세그먼트는 특정 그래픽 오브젝트에 적용된다. 구성 세그먼트는, 그래픽 오브젝트가 시각 이미지에서 차지하는 영역을 나타낸다. 그래픽 오브젝트가 전경 위치를 갖는다고 가정하고, 이는 통상적인 경우이다. 그래픽 오브젝트에 의해 차지된 영역은 차폐의 영역을 구성한다. 구성 세그먼트는 이러한 차폐의 영역을 나타낸다. 차폐 분석기 OCA는, 관련된 그래픽 오브젝트가 나타나는 시각 이미지에 관련된 차폐 구성 세그먼트를 생성하기 위해 이러한 정보를 사용한다. 선택적으로, 차폐 분석기 OCA는 또한, 이용 가능하다면, 차폐 구성 세그먼트를 생성하기 위해 깊이 정보를 사용할 수 있다. 차폐 구성 세그먼트들 OCS은 일시적으로 보충 구성 버퍼 CB2에 저장된다.

차폐 구성 세그먼트는 구성 세그먼트의 적응된 버전으로서 간주될 수 있다. 차폐 구성 세그먼트는 시각 이미지 내의 차폐 영역을 나타낸다. 차폐 영역은 또한 관련된 그래픽 오브젝트가 차지하는 영역에 대응할 수 있다. 차폐 영역은 또한 관련된 그래픽 오브젝트가 차지하는 영역의 경계 부분에 대응할 수 있다. 개념적으로, 경계 부분은 다음과 같이 확립될 수 있다. 말하자면, 그래픽 오브젝트의 윤곽으로부터 주어진 거리에서 관련된 영역 내에 커터(cutter)가 배치된다. 커터는 주어진 거리를 유지하면서 윤곽을 따른다. 경계 부분은 그래픽 오브젝트의 윤곽 및 커터가 따르는 경로 사이에 포함된다. 그러나, 경계 부분을 확립하기 위해 상이한 기술들이 사용될 수 있다. 예를 들면, 경계 부분은 고정된 크기 블록들에 대해 규정될 수 있고, 이는 차폐를 보상하는데 요구되는 실제 경계 부분의 라운딩 오프에 대응한다.

경계 부분은 고정된 크기를 가질 수 있다. 즉, 상술된 커터가 배치되는 주어진 거리가 고정될 수 있거나, 경계 부분을 규정하는 블록들의 수가 고정될 수 있다. 경계 부분은 또한, 관련된 그래픽 오브젝트와 하나 이상의 차폐된 오브젝트들 간의 깊이 차이를 나타내는 깊이 정보에 의존하는 크기를 가질 수 있다. 이러한 깊이 차이가 더 크다면, 경계 부분의 크기가 더 커야한다. 이러한 최종 접근법은, 경계 부분이 고정된 크기를 갖는 접근법과 비교하여 더 많은 계산 노력을 요구한다.

실제로, 고정된 크기의 경계 부분은 일반적으로 만족스러운 결과들을 제공할 것이다. 이것은, 입체 디스플레이들이 일반적으로 단지 상대적으로 많지 않은 깊이의 양을 생성할 수 있기 때문이다. 또한, 뷰어는 통상적으로 상대적으로 많지 않은 깊이의 양만을 수월한 방식으로 경험할 수 있다. 상대적으로 큰 깊이 변동들을 갖는 입체 렌더링은 뷰어에게 두통을 줄 수 있다. 따라서, 경계 부분은, 디스플레이 기술 또는 인간의 생리학, 또는 양자에 의해 규정된 최대 깊이 변동에 대응하는 고정된 크기가 주어질 수 있다.

그래픽 제어기 GCT는 차폐 구성 세그먼트들 OCS을 페칭하고, 이는 적용 가능한 타이밍 방식에 따라 보충 구성 버퍼 CB2에 일시적으로 저장된다. 예를 들면, 그래픽 제어기 GCT는 각각의 그래픽 오브젝트에 대해 다음의 방식을 적용할 수 있다. 그래픽 제어기 GCT는 우선, 그래픽-구성 제어 파라미터들 PG의 세트를 그래픽 오브젝트 구성기 GOC에 적용하기 위해 관련된 그래픽 오브젝트에 속하는 구성 세그먼트를 페칭 및 프로세싱한다. 그래픽 제어기 GCT는 후속으로, 차폐 분석기 OCA가 관련된 구성 세그먼트에 기초하여 생성한 차폐 구성 세그먼트를 페칭한다. 그래픽 제어기 GCT는, 구성 세그먼트가 프로세싱되는 방식과 유사한 방식으로 차폐 구성 세그먼트를 프로세싱한다. 따라서, 그래픽 제어기 GCT는 차폐 데이터 생성 제어 파라미터들 PO의 세트를 확립한다. 차폐 데이터 생성 제어 파라미터들 PO의 세트는 특정 시각 이미지, 즉, 관련된 그래픽 오브젝트가 나타날 시각 이미지에 관련된다.

차폐 데이터 생성기 ODG는 차폐 데이터 생성 제어 파라미터들 PO의 세트를 수신한다. 차폐 데이터 생성 제어 파라미터들 PO의 세트는 비디오 평면들의 시퀀스 VPS 내의 특정 비디오 평면, 즉, 관련된 그래픽 오브젝트가 나타날 시각 이미지를 형성하는데 사용되는 비디오 평면에 관련된다. 차폐 데이터 생성 제어 파라미터들 PO의 세트는 또한 특정 깊이 맵, 즉, 관련된 비디오 평면과 연관된 깊이 맵에 관련된다. 차폐 이미지 구성기 OIC는 입체 비디오 디코더 SVD로부터 관련된 비디오 평면을 획득할 수 있다. 버퍼는 관련된 비디오 평면을 일시적으로 저장하는데 사용될 수 있다. 유사한 방식으로, 차폐 깊이 맵 구성기 ODC는 입체 비디오 디코더 SVD로부터 관련된 깊이 맵을 획득할 수 있다.

차폐 이미지 구성기 OIC는 관심있는 비디오 평면, 그래픽 제어기 GCT가 제공하는 차폐 데이터 생성 제어 파라미터들 PO의 세트에 기초하여 차폐 이미지를 형성한다. 차폐 이미지는 관심있는 비디오 평면의 선택된 부분을 포함한다. 선택된 부분은 관심있는 차폐 구성 세그먼트가 나타내는 차폐 영역에 대응한다. 상술된 바와 같이, 차폐 영역은 관련된 그래픽 오브젝트가 관련된 시각 이미지에서 차지하는 영역의 경계 부분에 대응할 수 있다. 즉, 이러한 경계 부분은 관심있는 비디오 평면의 선택된 부분을 구성할 수 있다. 차폐 이미지 구성기 OIC는, 말하자면, 관심있는 비디오 평면으로부터 선택된 부분을 절단하고, 차폐 이미지를 획득하기 위해 선택된 부분을 빈 이미지에 붙일 수 있다.

유사한 방식으로, 차폐 깊이 맵 구성기 ODC는 관심있는 깊이 맵 및 차폐 데이터 생성 제어 파라미터들 PO의 세트에 기초하여 차폐 깊이 맵을 형성한다. 차폐 깊이 이미지는, 비디오 평면의 선택된 부분에 대응하는 깊이 맵의 선택된 부분을 포함한다. 차폐 깊이 맵 구성기 ODC는, 말하자면, 관심있는 깊이 맵으로부터 선택된 부분을 절단하고, 차폐 깊이 맵을 획득하기 위해 선택된 부분을 빈 깊이 맵에 붙일 수 있다. 차폐 구성 세그먼트 및 그로부터 유도된 차폐 데이터 생성 제어 파라미터들 PO의 세트는 개념적으로, 관련된 비디오 평면 및 관련된 깊이 맵의 특정 부분을 규정하는 스텐실(stencil)로서 간주될 수 있고, 이러한 특정 부분은 차폐 이미지 및 차폐 깊이 맵을 각각 구성한다.

차폐 데이터 생성기 ODG는 차폐 이미지들의 시퀀스 OIS 및 차폐 깊이 맵들의 시퀀스 ODS를 제공한다. 이러한 시퀀스들은, 예를 들면, 도 2 및 도 3에 기초하여 이해될 수 있는 아티팩트가 없는 입체 뷰잉 경험을 제공할 때에 디스플레이 장치 DPL를 도울 수 있다. 차폐 이미지는, 시각 이미지에서 분실되었지만 입체 렌더링을 위해 상이한 뷰들의 적절한 세트를 생성하는데 요구될 수 있는 부분들을 포함한다. 차폐 이미지는, 상술된 바와 같이, 시각 이미지 내의 차폐된 영역의 관련 경계 부분만을 포함하는 것이 바람직하다. 차폐 깊이 맵은, 그와 연관된 차폐 이미지에서 표시되는 분실된 부분들에 관한 깊이 정보를 제공한다.

백-엔드 모듈 BEM은 시각 이미지들의 시퀀스 VIS, 깊이 맵들의 시퀀스 DMS, 차폐 이미지들의 시퀀스 OIS, 및 차폐 깊이 맵들의 시퀀스 ODS에 기초하여 시청각 데이터 스트림 AVD을 제공한다. 시청각 데이터 스트림 AVD는, 도 1에 예시된 접속 CX을 통해 디스플레이 장치 DPL로 전송되는 출력 이미지들의 시퀀스를 포함한다. 출력 이미지는 시각 이미지, 깊이 맵, 차폐 이미지, 및 깊이 차폐 이미지를 포함한다. 출력 이미지가 정보에서 시각 정보, 및 차폐 정보를 전달할 수 있는 많은 상이한 방법들이 존재한다.

도 5는 시청각 데이터 스트림 AVD 내의 출력 이미지 OI를 예시한다. 출력 이미지 OI는 4 개의 사분면들: 상부 좌측 사분면, 상부 우측 사분면, 하부 좌측 사분면, 및 하부 우측 사분면을 갖는 모자이크 이미지이다. 상부 좌측 사분면은 비디오 평면 및 그래픽 평면의 조합인 시각 이미지를 포함한다. 비디오 평면은 성을 나타낸다. 그래픽 평면은 유리잔을 채우는 병을 나타낸다. 병 및 유리잔은 개별적인 그래픽 오브젝트들일 수 있거나 단일의 그래픽 오브젝트에 의해 표현될 수 있다. 임의의 경우에, 그래픽 평면은 비디오 평면 위에 중첩되어, 유리잔을 채우는 병이 성의 일부를 차폐한다.

상부 우측 사분면은 깊이 맵을 포함한다. 깊이 맵은, 유리 잔을 채우는 병에 대응하는 백색 영역을 포함한다. 이러한 백색 영역은, 상술된 오브젝트들이 가상의 관측자에 상대적으로 근접하다는 것을 나타낸다. 깊이 맵의 나머지는 회색의 어두운 외형을 갖고, 이는 성과 같은 비디오 평면 내의 오브젝트들이 가상의 관측자로부터 상대적으로 멀리 있다는 것을 나타낸다.

하부 좌측 사분면은 차폐 이미지를 포함한다. 간략하고 명확히 하기 위해, 차폐 이미지는 실질적으로, 시각 이미지에서 유리잔을 채우는 병에 의해 차폐된 비디오 평면의 부분에 대응한다. 중요한 것은, 차폐 이미지가 비디오 평면 전체 대신에 비디오 평면의 특정 부분만을 포함한다는 것이다. 이것은 대역폭을 절약한다. 유사한 관찰들은, 차폐 깊이 맵을 포함하는 하부 우측 사분면에 적용된다. 차폐 깊이 맵은, 시각 이미지에서 차폐된 오브젝트들에 관한 깊이 정보를 제공하는 깊이 맵의 특정 부분만을 포함한다.

시각 이미지는 수평 및 수직 방향으로 출력 이미지의 해상도의 절반인 해상도를 갖는다는 것을 유의하라. 예를 들면, 출력 이미지 OI는, 예를 들면, 1920 X 1080 픽셀들의 매트릭스의 형태일 수 있다. 즉, 출력 이미지 OI는 각각 1920 개의 픽셀들의 1080 라인들을 포함할 수 있다. 그러한 경우에, 시각 이미지는 각각 960 개의 픽셀들의 540 개의 라인들을 포함한다. 따라서, 시각 이미지는 상대적으로 낮은 해상도를 갖는다. 그러나, 입체 디스플레이 장치가 비슷한 낮은 해상도를 갖기 때문에, 이것은 문제가 되지 않는다. 상술된 바와 같이, 자동 입체 디스플레이 장치들은, 깊이의 표현을 성취하도록 다중 뷰 크기를 렌더링하기 위해 해상도를 효과적으로 희생한다. 입체 디스플레이 장치 DPL의 해상도를 초과하지 않는 해상도를 갖는 시각 이미지에 대한 필요성이 없다.

도 4에 예시된 백-엔드 모듈 BEM은 헤더를 출력 이미지에 임베딩할 수 있다. 비트들의 시퀀스 또는 바이트들의 시퀀스의 형태일 수 있는 헤더는, 특정 형태의 정보가 출력 이미지 내에 존재하는지를 나타내는 표시를 제공한다. 예를 들면, 헤더는, 상부 좌측 사분면이 깊이 맵을 포함하고, 상기 좌측 사분면이 차폐 이미지를 포함하고, 하부 우측 사분면이 차폐 깊이 맵을 포함한다는 것을 나타낼 수 있다. 헤더는, 출력 이미지를 적절히 렌더링하는데 유용할 수 있거나, 더 정확히 말하면, 시각 이미지를 그 안에 포함하는 부가적인 표시들을 제공할 수 있다.

헤더는 다음의 방식으로 출력 이미지에 임베딩될 수 있다. 픽셀들의 세트는 헤더로부터의 비트들의 캐리어들로서 지정된다. 픽셀들의 세트는, 상기 세트에 속하는 임의의 주어진 픽셀들의 쌍 사이에서 지정되는 것이 바람직하고, 상기 세트에 속하지 않는 출력 이미지 내의 적어도 하나의 픽셀이 존재한다. 다시 말해서, 출력 이미지 내의 2 개의 이웃하는 픽셀들이 헤더 비트 캐리어들로서 기능을 하는 것이 방지된다. 상기 세트의 일부를 형성하는 각각의 픽셀에 대해, 주어진 픽셀 구성요소에 헤더로부터의 하나 이상의 비트들에 대응하는 값이 할당된다. 바람직하게, 주어진 픽셀 구성요소의 각각의 비트에 고유한 값이 할당되고, 이는 헤더로부터의 특정 비트를 나타낸다. 그러한 리던던시(redundancy)는 밝기, 콘트라스트 설정, 및 잡음에서의 변화들에 대해 헤더를 더욱 강인하게 한다.

끝맺음 말

도면들을 참조한 이전의 상세한 설명은 단지, 특허청구범위에서 규정되는 본 발명 및 부가적인 특징들의 예시이다. 본 발명은 많은 상이한 방법들로 구현될 수 있다. 이것을 예시하기 위해, 일부 대안들이 간략하게 표시된다.

본 발명은, 입체 이미지 렌더링을 수반하는 임의의 형태의 제품 또는 방법에 유리하게 적용될 수 있다. 도 5에 예시된 바와 같이, 광 디스크 재생기를 포함하는 입체 렌더링 시스템은 단지 예일 뿐이다. 본 발명은 동일하게, 예를 들면, 블루-레이 디스크 표준에 따라 데이터 스트림을 수신 및 프로세싱하도록 구성된 수신기에 이롭게 적용될 수 있다. 그러한 데이터 스트림은, 예를 들면, 인터넷과 같은 네트워크를 통해 수신기에 도달할 수 있다. 데이터 캐리어는 반드시 광 디스크의 형태일 필요는 없다. 예를 들면, 집적 회로의 형태일 수 있는 기록 가능한 메모리는, 본 발명에 따라 하나 이상의 이미지들을 인코딩함으로써 획득되는 데이터 어셈블리를 포함할 수 있다. 본 발명은 임의의 특정 형태의 입체 디스플레이 장치를 요구하지 않는다. 상세한 설명에 언급된 자동-입체 디스플레이는 단지 예일 뿐이다. 입체 디스플레이 장치는 또한, 사용자가 안경을 써야하는 형태일 수 있고, 안경 중 한 쪽은 좌측 눈 뷰 또는 그의 시퀀스를 좌측 눈에 전달하고, 다른 쪽은 우측 눈 뷰 또는 그의 시퀀스를 우측 눈에 전달한다. 그러한 입체 디스플레이 장치는 좌측 눈 뷰들 및 우측 눈 뷰들을 교대로 디스플레이한다.

본 발명은 많은 상이한 형태들의 애플리케이션들에 이롭게 적용될 수 있다. 이전의 상세한 설명은 블루-레이 디스크 애플리케이션들을 언급한다. 그러나, 본 발명은 또한 DVD 애플리케이션들에 적용될 수 있다(DVD는 Digital Versatile Disk의 머리 글자이다). DVD 애플리케이션들은 애니메이션, 메뉴, 및 서브타이틀들에 대한 그래픽들의 중첩을 위해 서브-픽쳐를 지원한다. 이러한 서브-픽쳐들은 런-렝스(run-length) 인코딩된 비트맵들이다. DVD 재생기는 이러한 런-렝스 인코딩된 비트맵들을 디코딩하고, 따라서 비디오 배경 위에 획득된 서브-픽쳐들을 중첩할 수 있다. 이러한 중첩은 소위 서브-픽쳐 제어 명령들로 지정된 정보에 따라 실행되고, 상기 명령들은 서브-픽쳐가 중첩되는 방법을 기재한다. 하나의 서브-픽쳐 제어 명령은, 서브-픽쳐가 중첩되는 비디오 배경 상의 영역을 지정하는 직사각형을 기술한다. 이러한 정보는 블루-레이 디스크 애플리케이션들 내의 구성 세그먼트들에 포함된 정보와 유사하다.

재생 장치에서 이용 가능한 그래픽 데이터를 제조하는 많은 상이한 방법들이 존재한다. 도 5를 참조하여 기재된 예에서, 그래픽 데이터는 시각 데이터와 함께 광 디스크 상에 기록된다. 그러나, 재생 장치 PLY는 네트워크 NW 및 네트워크 인터페이스 NIF를 통해 원격 서버 SRV로부터 그래픽 데이터를 검색할 수 있다. 따라서, 재생 프로세서 PRP는 네트워크 인터페이스 NIF로부터 네트워크 데이터 스트림 NDS의 형태로 그래픽 데이터를 수신할 수 있다. 광 디스크 상에 존재하는 콘텐츠에 대한 입체 렌더링 모드를 선택하는 사용자는, 관련된 콘텐츠와 연관된 그래픽 데이터의 그러한 검색을 트리거링할 수 있다. 또한 광 디스크 상에 존재하는 애플리케이션 데이터는 특정 인터넷 어드레스, 또는 그러한 어드레스들의 세트, 스테레오 인에이블링 데이터가 검색될 수 있는 장소를 나타낼 수 있다. 검색은 지불되어야 할 수 있다.

차폐 관련 정보가 디스플레이 장치에 전송될 수 있는 많은 상이한 방법들이 존재한다. 도 5는 차폐 관련 정보가 출력 이미지에 포함된 구현을 예시한다. 즉, 모든 관련 정보를 디스플레이 장치 DPL에 전송하기 위해 접속 CX의 형태로 단일의 채널이 사용된다. 또 다른 구현에서, 차폐 관련 정보는 개별적인 채널을 통해 디스플레이 장치에 전송될 수 있다. 그러한 개별적인 채널은, 차폐 관련 정보가 통상적으로 많지 않은 양의 데이터를 요구하기 때문에, 상대적으로 많지 않은 대역폭을 가질 수 있다. 이것은, 본 발명 덕분에, 차폐 관련 정보가 아티팩트가 없는 입체 렌더링을 위해 실제 필요한 것으로 제한되기 때문이다. 임의의 오버헤드가 회피될 수 있다. 또한, 압축 기술들이 사용될 수 있어, 차폐 관련 정보가, 말하자면 훨씬 더 작은 양의 데이터로 맞추어질 수 있다. 개별적인 채널을 통해 차폐 관련 정보를 전송하는 것이 이롭고, 이는 상대적으로 낮은 대역폭을 가질 수 있고, 따라서, 본 발명 덕분에 상대적으로 저가일 수 있다. 이점은, 비디오 전송 채널이 대역폭에 대해 완전히 사용될 수 있다는 것이고, 이는 비디오의 고해상도 입체 렌더링을 허용한다. 이러한 관점에서, 입체 디스플레이 장치들이 가까운 미래에 더 높은 해상도를 제공할 것으로 예상된다는 것을 유의하라.

차폐 관련 정보가 출력 이미지에 포함되는 경우에, 그러할 많은 방법들이 존재한다. 도 5는 출력 이미지가 4 개의 사분면들로 효과적으로 분할되는 예를 예시하며, 사분면들 각각은 상이한 유형의 정보를 전달한다. 또 다른 구현에서, 차폐 관련 정보는 상부 라인들의 세트 및 하부 라인들의 세트에 포함될 수 있다. 압축 기술들은 차폐 관련 정보를 상대적으로 작은 수의 라인들, 또는 출력 이미지 내의 상대적으로 작은 영역으로 맞추는데 사용될 수 있다. 깊이 관련 정보에 동일하게 적용된다. 또한, 시각 정보 이외의 출력 이미지 내의 정보는, 말하자면 랜덤화될 수 있다. 출력 이미지가 잘못된 사용으로 인해 "있는 그대로" 디스플레이되는 경우에, 랜덤화는 이러한 다른 정보를 덜 뚜렷하게 만든다.

디스플레이 프로세서가 출력 이미지의 특정 포맷을 검출할 수 있는 많은 상이한 방법들이 존재한다. 출력 이미지 내의 헤더가 요구되지 않는다. 예를 들면, 디스플레이 프로세서는 특정 포맷에 따라 출력 이미지를 해석 및 프로세싱하도록 미리 프로그래밍될 수 있다. 또 다른 구현에서, 디스플레이 프로세서는, 입체-인에이블링 데이터가 존재할 수 있는 하나 이상의 특정 영역들을 식별하기 위해 출력 이미지, 또는 일련의 출력 이미지들을 분석할 수 있다. 그러한 자동 검출은 통계적 분석에 기초할 수 있고, 시각 데이터를 포함하는 영역과 입체-인에이블 데이터를 포함하는 영역 간에 불연속성이 존재할 것이다. 또한, 각각의 이미지에서 불연속성이 발생할 것이다.

도 1 및 도 4에 예시된 예들 중 임의의 예는 방법의 형태로 구현될 수 있다. 즉, 이러한 도면들에서 발생하는 임의의 블록은 방법의 하나 이상의 특정 단계를 나타낼 수 있다. 예를 들면, 도 4에서 GSP로 지정된 블록은 그래픽 스트림 프로세싱 단계뿐만 아니라 그래픽 스트림 프로세서를 나타낸다. 도 1에서 GCT로 지정된 블록은 그래픽 구성을 위한 제어 단계뿐만 아니라 그래픽 제어기를 나타낸다. 도 1에서 OIC로 지정된 블록은 차폐 이미지 구성 단계뿐만 아니라 차폐 이미지 구성기를 나타내고, 상술된 도면들 각각에서 각각의 블록은 흐름도로서 변환될 수 있다.

하드웨어 또는 소프트웨어, 또는 양자의 아이템들에 의해 기능들을 구현하는 많은 방법들이 존재한다. 이러한 관점에서, 도면들은 매우 도식적이고, 이들 각각은 본 발명의 단지 하나의 가능한 실시예를 나타낸다. 따라서, 도면이 상이한 기능들을 상이한 블록들로서 도시하지만, 이것은 하드웨어 또는 소프트웨어의 단일의 아이템이 몇몇의 기능들을 수행한다는 것을 결코 배제하지 않는다. 또한, 이는, 하드웨어 또는 소프트웨어 또는 양자의 아이템들의 어셈블리가 기능을 수행한다는 것을 배제하지 않는다. 도 2에 예시된 기능적 엔터티들 중 임의의 엔터티가 소프트웨어 또는 하드웨어, 또는 소프트웨어와 하드웨어의 조합에 의해 구현될 수 있다는 것을 유의하라. 예를 들면, 임의의 기능적 엔터티는, 소프트웨어 기반 구현인 프로그래밍 가능한 프로세서를 적절히 프로그래밍함으로써 구현될 수 있고, 하드웨어 기반 구현인 전용 회로의 형태로 구현될 수 있다. 하이브리드 구현들은 하나 이상의 적절히 프로그래밍된 프로세서들 및 하나 이상의 전용 회로들을 수반할 수 있다.

상술된 의견들은, 도면들을 참조한 상세한 설명이 본 발명의 제한하기보다는 예시한다는 것을 보여준다. 첨부한 특허청구범위 내에 들어가는 많은 대안들이 존재한다. 특허청구범위에서 임의의 참조 부호는 청구항을 제한하는 것으로 구성되어서는 안 된다. 단어 "포함"은 청구항에 나열된 것 이외의 다른 요소들 또는 단계들의 존재를 배제하지 않는다. 요소 또는 단계 이전의 단어 "한" 또는 "하나"는 복수의 그러한 요소들 또는 단계들의 존재를 배제하지 않는다.

SRV: 원격 서버 NW: 네트워크
PLY: 재생 장치 NIF: 네트워크 인터페이스
ODR: 광 디스크 판독기 PRP: 재생 프로세서
NDS: 네트워크 데이터 스트림 DDS: 디스크 데이터 스트림
AVD: 시청각 데이터 스트림 SCR: 스크린
DIP, DID: 디스플레이 인터페이스 CTM: 메인 제어기
CX: 접속 RCD: 원제 제어 장치
DRS: 구동기 신호 PRD: 디스플레이 프로세서
CTD: 디스플레이 제어기 DPL: 디스플레이 장치
VSY: 입체 비디오 시스템 VI: 시각 이미지
DM: 깊이 맵 MVS: 뷰들의 세트
FEM: 프론트-엔드 모듈 GPR: 그래픽 프로세서
GSP: 그래픽 스트림 프로세서 GOC: 그래픽 오브젝트 구성기
GOS: 그래픽 오브젝트들의 시퀀스 CS: 구성 세그먼트
GPS: 그래픽 평면들의 시퀀스 OCA: 차폐 분석기
CB1: 구성 버퍼 CB2: 보충 구성 버퍼
OCS: 차폐 구성 세그먼트 GCT: 그래픽 제어기
VIS: 시각 이미지들의 시퀀스 PLC: 평면 조합기
PO: 차폐 데이터 생성 제어 파라미터 BEM: 백-엔드 모듈
OIC: 차폐 이미지 구성기 ODC: 차폐 깊이 맵 구성기
OIS: 차폐 이미지들의 시퀀스 ODS: 차폐 깊이 맵들의 시퀀스
AVD: 시청각 데이터 스트림 ODG: 차폐 데이터 생성기
SVD: 입체 비디오 디코더 SVDS: 입체 비디오 데이터 스트림
VPS: 비디오 평면들의 시퀀스 DMS: 깊이 맵들의 시퀀스

Claims (11)

1. 기본 이미지(elementary image) 및 그래픽 오브젝트(graphics object)를 규정하는 데이터의 어셈블리(DDS)를 프로세싱하기 위한 이미지 프로세서(PLY)로서, 상기 데이터의 어셈블리는, 출력 이미지(OI)에서 상기 그래픽 오브젝트의 주어진 외형을 규정하는 구성 데이터(composition data)(CS)를 포함하고, 상기 그래픽 오브젝트는 상기 기본 이미지의 일부와 중첩하는, 상기 이미지 프로세서에 있어서:
   상기 구성 데이터(CS)에 기초하여 차폐 표시(OCS)를 확립하기 위한 차폐 분석기(occlusion analyzer)(OCA)로서, 상기 차폐 표시는, 상기 그래픽 오브젝트가 상기 출력 이미지(OI)에서 차폐하지만 상기 출력 이미지의 입체 렌더링에서 차폐되지 않을 수 있는 상기 기본 이미지 내의 영역을 지정하는, 상기 차폐 분석기(OCA);
   상기 차폐 표시(OCS) 및 상기 기본 이미지에 기초하여 차폐 이미지를 구성하기 위한 차폐 데이터 생성기(ODG)로서, 상기 차폐 이미지는 상기 차폐 표시에 의해 지정된 상기 영역에 대응하는 상기 기본 이미지의 부분을 나타내는, 상기 차폐 데이터 생성기(ODG)를 포함하는, 이미지 프로세서.
2. 제 1 항에 있어서, 상기 차폐 분석기(OCA)는 상기 구성 데이터(CS)의 적응으로서 상기 차폐 표시(OCS)를 제공하도록 구성되고, 상기 이미지 프로세서는,
   상기 구성 데이터(CS) 및 상기 차폐 표시(OCS)를 유사한 방식으로 프로세싱하기 위한 그래픽 제어기(GCT)를 포함하고, 상기 차폐 표시의 상기 프로세싱은 상기 차폐 데이터 생성기(ODG)에 차폐 데이터 생성 제어 파라미터들을 제공하는, 이미지 프로세서.
3. 제 1 항에 있어서, 상기 차폐 분석기(OCA)는, 상기 그래픽 오브젝트가 차폐할 상기 기본 이미지 내의 상기 영역을 상기 그래픽 오브젝트의 고정된 크기의 경계 부분으로서 규정하도록 구성되는, 이미지 프로세서.
4. 제 1 항에 있어서, 상기 차폐 분석기(OCA)는, 상기 그래픽 오브젝트가 차폐할 상기 기본 이미지 내의 상기 영역을 상기 그래픽 오브젝트의 가변 크기의 경계 부분으로서 규정하도록 구성되고, 상기 경계 부분은 상기 그래픽 오브젝트 및 상기 그래픽 오브젝트가 차폐할 상기 영역 간의 깊이 차이를 나타내는 깊이 표시에 의존하는 크기를 갖는, 이미지 프로세서.
5. 제 1 항에 있어서, 상기 차폐 데이터 생성기(ODG)는, 상기 차폐 표시(OCS) 및 상기 기본 이미지와 연관된 깊이 맵에 기초하여 차폐 깊이 맵을 구성하기 위한 차폐 깊이 맵 구성기(occlusion depth map composer)(ODC)를 포함하고, 상기 차폐 깊이 맵은 상기 차폐 표시에 의해 규정된 상기 영역에 대응하는 상기 깊이 맵의 부분을 나타내는, 이미지 프로세서.
6. 제 1 항에 있어서,
   상기 차폐 이미지를 상기 출력 이미지(OI)에 포함시키기 위한 백-엔드 모듈(back-end module)(BEM)을 포함하는, 이미지 프로세서.
7. 제 6 항에 있어서, 상기 백-엔드 모듈(BEM)은 헤더를 상기 출력 이미지(OI)에 임베딩하도록 구성되고, 상기 헤더는 상기 차폐 이미지가 포함되는 상기 출력 이미지 내의 영역을 나타내는, 이미지 프로세서.
8. 제 1 항에 있어서, 상기 이미지 프로세서는 블루-레이 디스크 표준(Blu-ray disk standard)에 따라 동작하도록 구성되고, 상기 데이터의 어셈블리(DDS)는, 상기 그래픽 오브젝트를 나타내는 적어도 하나의 그래픽 오브젝트 세그먼트, 및 상기 구성 데이터(CS)를 포함하는 적어도 하나의 구성 세그먼트를 포함하는, 이미지 프로세서.
9. 제 1 항에 따른 이미지 프로세서(PLY), 및 상기 이미지 프로세서가 제공하는 출력 이미지(OI)를 디스플레이하기 위한 입체 디스플레이 장치(DPL)를 포함하는 입체 비디오 렌더링 시스템(VSY).
10. 기본 이미지 및 그래픽 오브젝트를 규정하는 데이터의 어셈블리(DDS)를 프로세싱하는 방법으로서, 상기 데이터의 어셈블리는, 출력 이미지(OI)에서 상기 그래픽 오브젝트의 주어진 외형을 규정하는 구성 데이터(CS)를 포함하고, 상기 그래픽 오브젝트는 상기 기본 이미지의 일부와 중첩하는, 상기 데이터의 어셈블리 프로세싱 방법에 있어서:
    차폐 표시(OCS)가 상기 구성 데이터(CS)에 기초하여 확립되는 차폐 분석 단계로서, 상기 차폐 표시는, 상기 그래픽 오브젝트가 상기 출력 이미지(OI)에서 차폐하지만 상기 출력 이미지의 입체 렌더링에서 차폐되지 않을 수 있는 상기 기본 이미지 내의 영역을 규정하는, 상기 차폐 분석 단계;
    차폐 이미지가 상기 차폐 표시(OCS) 및 상기 기본 이미지에 기초하여 구성되는 차폐 데이터 생성 단계로서, 상기 차폐 이미지는 상기 차폐 표시에 의해 규정된 상기 영역에 대응하는 상기 기본 이미지의 부분을 나타내는, 상기 차폐 데이터 생성 단계를 포함하는, 데이터의 어셈블리 프로세싱 방법.
11. 프로그래밍 가능한 프로세서로 로딩될 때, 상기 프로그래밍 가능한 프로세서로 하여금 제 10 항에 따른 방법을 수행하도록 하는 명령들의 세트를 포함하는 컴퓨터 프로그램 제품.

Images