KR101634569B1 - 3ｄ 이미지 데이터의 전송 - Google Patents

Abstract

3차원(3D) 이미지 데이터를 전송하는 시스템이 기술된다. 3D 소스 디바이스(10)는 HDMI와 같은 고속 디지털 인터페이스를 통해 3D 디스플레이 신호(56)를 디스플레이(13)에 제공한다. 3D 디스플레이 신호는 프레임들의 시퀀스를 포함한다. 프레임들의 시퀀스는 유닛들을 포함하고, 각 유닛은 합성되어 3D 이미지로서 디스플레이되도록 하는 비디오 정보를 포함하는 프레임들에 대응한다. 3D 소스 디바이스는 유닛에서 적어도 비디오 프레임들에 관한 정보를 포함하는 3D 전송 정보를 포함한다. 디스플레이는 3D 전송 정보를 검출하고, 3D 전송 정보에 기초하여 디스플레이 제어 신호들을 발생시킨다. 부가적인 인포 프레임 패킷에서의 3D 전송 정보는 프레임들을 3D 디스플레이 신호로 멀티플렉싱하기 위한 멀티플렉싱 방식에 관한 정보를 포함하고, 멀티플렉싱 방식은 프레임 교호 멀티플렉싱을 포함한 멀티플렉싱 방식들의 그룹에서 선택되고, 프레임 교호는 상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 순차적으로 배열되는 것을 나타낸다.

Description

3Ｄ 이미지 데이터의 전송{TRANSFERRING OF 3D IMAGE DATA}

본 발명은 3차원[3D] 이미지 데이터의 전송을 위한 3D 디스플레이 신호를 3D 디스플레이 디바이스로 송신하는 방법에 관한 것으로, 3D 디스플레이 신호는 3D 비디오 전송 포맷에 따라 3D 이미지 데이터를 구성하는 프레임들의 시퀀스를 포함하고, 프레임들의 시퀀스는 유닛들을 포함하고, 각 유닛은 합성되어 3D 이미지로서 디스플레이되도록 하는 비디오 정보를 포함하는 프레임들에 대응한다.

본 발명은 또한 상기 언급된 3D 소스 디바이스, 3D 디스플레이 신호 및 3D 디스플레이 디바이스에 관한 것이다.

본 발명은 고속 디지털 인터페이스, 예를 들어, HDMI를 통해, 디스플레이를 위한 3차원 이미지 데이터, 예를 들어, 3D 비디오를 3D 디스플레이 디바이스로 전송하는 분야에 관한 것이다.

2D 비디오 데이터의 소스인 디바이스들, 예를 들어, 디지털 비디오 신호들을 제공하는 DVD 플레이어들 또는 셋톱 박스들과 같은 비디오 플레이어들이 공지되어 있다. 소스 디바이스는 TV 세트 또는 모니터와 같은 디스플레이 디바이스에 연결된다. 이미지 데이터는 적절한 인터페이스, 바람직하게는 HDMI와 같은 고속 디지털 인터페이스를 통해 소스 디바이스로부터 전송된다. 현재, 3차원(3D) 이미지 데이터를 소싱(sourcing)하는 3D 강화 디바이스들이 제안되고 있다. 유사하게, 3D 이미지 데이터를 디스플레이하기 위한 디바이스들이 제안되고 있다. 3D 비디오 신호들을 소스 디바이스로부터 디스플레이 디바이스로 전송하기 위해서, 예를 들어, 기존의 HDMI 표준에 기초하여 그것과 호환될 수 있는, 새로운 고 데이터 레이트 디지털 인터페이스 표준들이 개발되고 있다. 2D 디지털 이미지 신호들을 디스플레이 디바이스로 전송하는 것은 대개 프레임별로 비디오 화소 데이터를 전송하는 것을 포함하고, 그 프레임들은 순차적으로 디스플레이된다. 이러한 프레임들은 프로그레시브 비디오 신호의 비디오 프레임들(풀 프레임들)을 나타낼 수도 있거나 인터레이스된 비디오 신호의 비디오 프레임들(공지되어 있는 라인 인터레이싱(line interlacing)에 기초하여, 한 프레임은 홀수 라인들을 제공하고 다음 프레임은 순차적으로 디스플레이될 짝수 라인들을 제공한다)을 나타낼 수도 있다.

미국 특허 제 4,979,033 호는 인터레이스된 포맷을 갖는 전통적인 비디오 신호의 예를 기술하고 있다. 전통적인 신호는 홀수 및 짝수 프레임들의 라인들 및 프레임들을 전통적인 텔레비전에 디스플레이하기 위한 수평 및 수직 동기화 신호들을 포함한다. 셔터 안경을 사용하는 디스플레이와 스테레오스코픽 비디오의 동기화를 가능하게 하는 스테레오스코픽 비디오 시스템 및 방법이 제안되어 있다. 홀수 및 짝수 프레임들은 스테레오스코픽 비디오 신호의 각각의 왼쪽 및 오른쪽 이미지들을 전송하기 위해 사용된다. 제안된 3D 디스플레이 디바이스는 전통적인 홀수/짝수 프레임들을 검출하기 위한 전통적인 포락선 검출기를 포함하는 것이 아니라, 왼쪽 및 오른쪽 LCD 디스플레이 유닛들에 대한 디스플레이 신호들을 발생시킨다. 특히, 전통적인 인터레이스된 아날로그 비디오 신호에서 홀수 및 짝수 프레임들에 대해 상이한, 수직 블랭킹 간격 동안 발생하는 균등화 펄스들이 각각의 왼쪽 또는 오른쪽 필드를 식별하기 위해 카운트된다. 시스템은 한 쌍의 셔터 안경을 동기화하기 위해 이 정보를 사용하여, 셔터 안경이 스테레오 비디오와 동기하여 교대로 개방 및 폐쇄되도록 한다.

스테레오 이미지들이 포매팅될 수 있는 많은 상이한 방식들이 있으며, 3D 이미지 포맷이라고 한다. 몇몇 포맷들은 또한 스테레오 정보를 전달하기 위해 2D 채널을 사용하는 것에 기초한다. 예를 들어, 왼쪽 및 오른쪽 뷰가 인터레이스될 수 있거나, 또는 나란히 및 위 아래로 배치될 수 있다. 이들 방법들은 스테레오 정보를 전달하기 위해 해상도를 희생시킨다. 또 다른 옵션은 색상을 희생시키는 것으로, 이 방식은 애너그리프 스테레오(anaglyphic stereo)라고 한다.

3D 정보를 디스플레이에 송신하기 위한 새로운 포맷들이 개발되고 있다. MPEG에서 표준화되어 있는 MVD는 M개의 뷰들에 대한 {비디오+깊이}를 송신하는 것을 필요로 하여, 더 큰 뷰 콘 그래픽 오버레이들(예를 들어, BED-플레이어들 또는 STB들에서의 메뉴들 또는 부제목들)이 디스플레이에 송신되도록 하는 것을 가능하게 한다.

본 발명의 목적은 3D 비디오 신호들을 디스플레이 디바이스에 전송하기 위한 보다 유연하고 신뢰할 수 있는 시스템을 제공하는 것이다.

이 목적을 위해서, 본 발명의 제 1 양태에 따르면, 서두 부분에 기술된 것과 같은 방법에서, 3D 비디오 포맷은 액티브 비디오의 화소들이 송신되는 동안의 비디오 데이터 기간 및 일련의 패킷들을 사용하여 오디오 및 보조 데이터가 송신되는 동안의 데이터 아일랜드 기간을 포함하고, 패킷들은 인포 프레임 패킷을 포함하고, 3D 디스플레이 신호를 출력하는 단계를 포함하고; 3D 디스플레이 디바이스에서, 3D 디스플레이 신호를 수신하는 단계, 및 3D 이미지 데이터를 3D 디스플레이 상에 렌더링하도록 디스플레이 제어 신호들을 발생시키기 위한 3D 디스플레이 신호를 처리하는 단계를 포함하고, 프레임들의 시퀀스는 유닛들을 포함하고, 유닛은 하나의 수직 동기화 신호로부터 다음 수직 동기화 신호까지의 기간이고, 각 유닛은 멀티플렉싱 방식에 따라 배열되는 다수의 프레임들에 대응하고, 다수의 프레임들은 합성되어 3D 이미지로서 디스플레이되도록 하는 비디오 정보를 포함하고; 유닛에서의 각 프레임은 디지털 이미지 화소 데이터의 시퀀스를 나타내기 위한 데이터 구조체를 갖고, 각 프레임 종류는 부분적 3D 데이터 구조체를 나타내고, 상기 방법은, 3D 소스 디바이스에서, 부가적인 인포 프레임 패킷에 3D 전송 정보를 포함하는 단계로서, 3D 전송 정보는 3D 디스플레이 신호에서 단일 3D 이미지로 구성되는 유닛에 다수의 비디오 프레임들을 포함하는 적어도 멀티플렉싱 방식에 관한 정보를 포함하고, 멀티플렉싱 방식은 적어도 프레임 교호 멀티플렉싱(frame alternating multiflexing)을 포함하는 멀티플렉싱 방법들의 그룹에서 선택되고, 프레임 교호(frame alternating)는 상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 순차적으로 배열되는 것을 나타내는, 상기 3D 전송 정보를 포함하는 단계; 및 상기 디스플레이 제어 신호들을 발생시키는 단계는 3D 전송 정보에 의존하여 수행되는 단계를 포함한다.

이 목적을 위해서, 본 발명의 제 2 양태에 따르면, 3D 이미지 데이터를 서두 부분에 기술된 것과 같은 3D 디스플레이 디바이스에 전송하기 위한 3D 소스 디바이스가 제공되고, 3D 소스 디바이스는, 3D 디스플레이 신호를 발생시키기 위해 소스 이미지 데이터를 처리하기 위한 발생 수단으로서, 3D 디스플레이 신호는 3D 비디오 전송 포맷에 따라 3D 이미지 데이터를 구성하는 프레임들의 시퀀스를 포함하고, 3D 비디오 포맷은 액티브 비디오의 화소들이 송신되는 동안의 비디오 데이터 기간 및 일련의 패킷들을 사용하여 오디오 및 보조 데이터가 송신되는 동안의 데이터 아일랜드 기간을 포함하고, 패킷들은 인포 프레임 패킷들 포함하는, 상기 발생 수단, 및 3D 디스플레이 신호를 출력하기 위한 출력 인터페이스 수단으로서, 각 프레임은 디지털 이미지 화소 데이터의 시퀀스를 나타내기 위한 데이터 구조체를 갖고, 각 프레임 종류는 부분적 3D 데이터 구조체를 나타내는, 상기 출력 인터페이스 수단을 포함하고, 프레임들의 시퀀스는 유닛들을 포함하고, 유닛은 하나의 수직 동기화 신호로부터 다음 수직 동기화 신호까지의 기간이고, 각 유닛은 멀티플렉싱 방식에 따라 배열되는 다수의 프레임들에 대응하고, 다수의 프레임들은 합성되어 3D 이미지로서 디스플레이되도록 하는 비디오 정보에 대한 비디오 정보를 포함하고; 출력 인터페이스 수단은 부가적인 인포 프레임 패킷에서 3D 전송 정보를 송신하도록 적응되고, 3D 전송 정보는 3D 디스플레이 신호에서 단일 3D 이미지로 구성되는 유닛에 상기 다수의 비디오 프레임들을 포함하는 적어도 멀티플렉싱 방식에 관한 정보를 포함하고, 멀티플렉싱 방식은 적어도 프레임 교호 멀티플렉싱을 포함하는 멀티플렉싱 방식들의 그룹에서 선택되고, 프레임 교호는 상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 순차적으로 배열되는 것을 나타내고; 디스플레이 디바이스에서, 3D 전송 정보에 의존하여 디스플레이 제어 신호들을 발생시킨다.

이 목적을 위해서, 본 발명의 또 다른 양태에 따르면, 서두 부분에 기술된 것과 같은 3D 디스플레이 디바이스는, 3D 이미지 데이터를 디스플레이하기 위한 3D 디스플레이, 3D 디스플레이 신호를 수신하기 위한 입력 인터페이스 수단으로서, 3D 디스플레이 신호는 3D 비디오 전송 포맷에 따라 3D 이미지 데이터를 구성하는 프레임들을 포함하고, 3D 비디오 포맷은 액티브 비디오의 화소들이 송신되는 동안의 비디오 데이터 기간 및 일련의 패킷들을 사용하여 오디오 및 보조 데이터가 송신되는 동안의 데이터 아일랜드 기간을 포함하고, 패킷들은 인포 프레임 패킷을 포함하는, 상기 입력 인터페이스 수단, 및 3D 이미지 데이터를 3D 디스플레이 상에 렌더링하기 위한 디스플레이 제어 신호들을 발생시키기 위한 처리 수단을 포함하고, 각 프레임은 디지털 이미지 화소 데이터의 시퀀스를 나타내기 위한 데이터 구조체를 갖고, 각 프레임 종류는 부분적 3D 데이터 구조체를 나타내고, 프레임들의 시퀀스는 유닛들을 포함하고, 유닛은 하나의 수직 동기화 신호로부터 다음 수직 동기화 신호까지의 기간이고, 각 유닛은 멀티플렉싱 방식에 따라 배열되는 다수의 프레임들에 대응하고, 다수의 프레임들은 합성되어 3D 이미지로서 디스플레이되도록 하는 비디오 정보를 포함하고; 부가적인 인포 프레임 패킷에서의 3D 전송 정보는 3D 디스플레이 신호에서 단일 3D 이미지로 구성되는 유닛에 상기 다수의 비디오 프레임들을 포함하는 적어도 멀티플렉싱 방식에 관한 정보를 포함하고, 멀티플렉싱 방식은 적어도 프레임 교호 멀티플렉싱을 포함하는 멀티플렉싱 방식들의 그룹에서 선택되고, 프레임 교호는 상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 순차적으로 배열되는 것을 나타내고; 처리 수단은 3D 전송 정보에 의존하여 디스플레이 제어 신호들을 발생시키도록 구성된다.

본 발명은 또한 다음의 인식에 기초한다. 2D 비디오 정보와는 달리, 3D 비디오 데이터를 포매팅하기 위한 많은 가능성들, 예를 들어, 스테레오스코픽, 가능하게는 폐색(occlusion)과 투명도를 포함한 이미지+깊이, 다중 뷰가 있다. 또한, 다중 3D 비디오 데이터 층들이 디스플레이 전 합성을 위해 인터페이스 상에 송신될 수도 있다는 것을 생각하였다. 이 많은 옵션은, 소스 디바이스에서 이용 가능한 데이터의 포맷 및 디스플레이에 의해 용인된 3D 비디오 포맷에 의존하여, 많은 비디오 포맷 옵션을 유발한다. 이들 포맷의 대부분은 디스플레이될 3D 이미지의 각각에 대해 복잡한 구조체가 송신되어야 한다는 점에서 대량의 정보를 특징으로 한다. 본 발명에 따르면, 데이터가 유닛들에서 전송되고 유닛들에 관한 정보가 3D 디스플레이 신호에서 이용 가능할 때, 송신 시스템은 다양한 3D 데이터 포맷들을 처리하는데 있어서 더욱 유연하고, 이는 더욱 많은 데이터가 유닛에 포함될 수 있기 때문이다. 현대의 고속 인터페이스들은 3D 이미지들의 실제 주파수보다 훨씬 높은 주파수, 일반적으로는 영화 산업에서 사용되는 것과 같은 24㎐로 프레임들을 전송하는 것을 가능하게 한다.프레임의 유닛들을 사용함으로써, 유연한 포맷으로 각 3D 이미지에 대한 대량의 데이터가 인터페이스를 통해 전송될 수 있다.

일 실시예에서, 멀티플렉싱 방식들의 그룹은 또한 필드 교호 멀티플렉싱; 라인 교호 멀티플렉싱(line alternating multiplexing); 사이드-바이-사이드 프레임 멀티플렉싱(side by side frame multiplexing)으로서, 사이드-바이-사이드 프레임 멀티플렉싱은 상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 나란히 배열되는 것을 나타내는, 상기 사이드-바이-사이드 프레임 멀티플렉싱; 2D 및 깊이 프레임 멀티플렉싱; 2D, 깊이, 그래픽 및 그래픽 깊이 프레임 멀티플렉싱 중 적어도 하나를 포함한다.

일반적으로, 3D 비디오 데이터의 송신은 다음 3개의 파라미터들을 특징으로 할 수 있다:

- 화소 반복 레이트,

- 단일 3D 이미지의 프레임들의 유닛들에 있는 프레임들의 수,

- 포맷: 채널들을 멀티플렉싱하는 방법.

본 발명의 바람직한 실시예에서, 모든 이들 파라미터들에 대한 정보는 3D 전송 정보에 포함된다. 최대 유연성을 위해서, 본 발명에 따르면, 이들은 3개의 개별 필드들에서 송신되어야 한다.

본 발명의 실시예에 있어서, HDMI가 인터페이스로서 사용되고, 3D 전송 정보가 AVI 인포 프레임들 및/또는 HDMI 벤더 고유 인포 프레임들을 통해 전송된다. 최대 유연성을 가능하게 하는 가장 바람직한 실시예에 있어서, 3D 전송 정보는 개별 인포 프레임에서 전송된다.

본 발명에 따른 방법, 3D 디바이스들 및 신호의 더욱 바람직한 실시예들은 첨부된 청구항들에서 제공되고, 이 청구항들의 개시는 본원에 참조로서 합체된다.

본 발명은 3D 비디오 신호들을 디스플레이 디바이스에 전송하기 위한 보다 유연하고 신뢰할 수 있는 시스템을 제공한다.

도 1은 3차원(3D) 이미지 데이터를 전송하기 위한 시스템을 도시하는 도면.
도 2는 3D 이미지 데이터의 예를 도시하는 도면.
도 3은 재생 디바이스 및 디스플레이 디바이스 조합을 도시하는 도면.
도 4는 2D+스테레오+DOT에 대응하는 3D 이미지 데이터에 대한 비디오 인터페이스를 통해 전송되는 프레임들의 가능한 유닛들을 개략적으로 도시하는 도면.
도 5는 2D+스테레오+DOT에 대응하는 3D 이미지 데이터에 대한 비디오 인터페이스를 통해 전송되는 프레임들의 가능한 유닛들의 다른 상세들을 개략적으로 도시하는 도면.
도 6은 2D+스테레오+DOT에 대응하는 3D 이미지 데이터에 대한 비디오 인터페이스를 통한 프레임들의 시간 출력을 개략적으로 도시하는 도면.
도 7은 스테레오 신호에 대한 프레임들의 배치의 가능한 유닛들을 개략적으로 도시하는 도면.
도 8은 3D + DOT 포맷 @ 1920 화소들에 대한 수평 및 수직 블랭킹 및 시그널링을 도시하는 도면.
도 9는 1920 프로그레시브 @ 30㎐로서 전송되는 3D + DOT 포맷 720 화소들에 대한 수평 및 수직 블랭킹 및 시그널링을 도시하는 도면.
도 10은 스테레오 3D 이미지 데이터에 대한 프레임 종류 동기화 표시자에 의해 확장된 AVI-인포 프레임의 표를 도시하는 도면.
도 11은 3D 비디오 포맷들의 표를 도시하는 도면.
도 12는 프레임 동기화 신호를 도시하는 도면.
도 13은 부가적인 비디오 층들에 대한 값들을 도시하는 도면.

본 발명의 이들 및 다른 양태들은 다음 상세한 설명에서 예시적인 방식으로 설명된 실시예들 및 첨부 도면들로부터 명백해질 것이며 이들을 참조하여 설명될 것이다.

도면들에서, 이미 기술된 요소들에 대응하는 요소들은 동일한 참조 부호들을 갖는다.

도 1은 비디오, 그래픽 또는 다른 비주얼 정보와 같은 3차원(3D) 이미지 데이터를 전송하기 위한 시스템을 도시한다. 3D 소스 디바이스(10)는 3D 디스플레이 신호(56)를 전송하기 위한 3D 디스플레이 디바이스(13)에 연결된다. 3D 소스 디바이스는 이미지 정보를 수신하기 위한 입력 유닛(51)을 갖는다. 예를 들어, 입력 유닛 디바이스는 DVD 또는 블루레이 디스크와 같은 광학 기록 캐리어(54)로부터 다양한 종류들의 이미지 정보를 검색하기 위한 광학 디스크 유닛(58)을 포함할 수 있다. 대안적으로, 입력 유닛은 네트워크(55), 예를 들어, 인터넷 또는 방송 네트워크에 연결하기 위한 네트워크 인터페이스 유닛(59)을 포함할 수도 있고, 이러한 디바이스는 일반적으로 셋톱 박스라고 한다. 이미지 데이터는 원격 매체 서버(57)로부터 검색될 수도 있다. 소스 디바이스는 또한 위성 수신기, 또는 디스플레이 신호들을 직접 제공하는 매체 서버, 즉, 디스플레이 유닛에 직접 연결되는 3D 디스플레이 신호를 출력하는 임의의 적절한 디바이스일 수도 있다.

3D 소스 디바이스는 출력 인터페이스 유닛(12)을 통해 디스플레이 디바이스로 전송되는 3D 디스플레이 신호(56)를 발생시키기 위한 이미지 정보를 처리하도록 하는 입력 유닛(51)에 연결된 처리 유닛(52)을 갖는다. 처리 유닛(52)은 디스플레이 디바이스(13) 상에 디스플레이하기 위한 3D 디스플레이 신호(56)에 포함된 이미지 데이터를 발생시키도록 배열된다. 소스 디바이스에는 콘트라스트 또는 색상 파라미터와 같은 이미지 데이터의 디스플레이 파라미터들을 제어하기 위한 사용자 제어 소자들(15)이 제공된다. 이와 같은 사용자 제어 소자들은 공지되어 있으며, 재생 및 기록 기능들과 같이 3D 소스 디바이스의 다양한 기능들을 제어하고, 예를 들어, 그래픽 사용자 인터페이스 및/또는 메뉴들을 통해 상기 디스플레이 파라미터들을 설정하기 위한 다양한 버튼들 및/또는 커서 제어 기능들을 갖는 원격 제어 유닛을 포함할 수도 있다.

소스 디바이스는 3D 디스플레이 신호에 적어도 하나의 프레임 종류 동기화 표시자를 제공하기 위한 송신 동기화 유닛(11)을 갖고, 이 표시자는 출력 인터페이스 유닛(12)에서 3D 디스플레이 신호에 포함되고, 출력 인터페이스 유닛(12)은 또한 3D 디스플레이 신호(56)로서 소스 디바이스로부터 디스플레이 디바이스로 이미지 데이터를 갖는 3D 디스플레이 신호 및 프레임 종류 동기화 표시자들을 전송하도록 구성된다. 3D 디스플레이 신호는 프레임들의 시퀀스를 포함하고, 이 프레임들은 프레임들의 그룹으로 구조화됨으로써, 3D 비디오 전송 포맷에 따라 3D 이미지 데이터를 구성하고, 그 포맷에서 프레임들은 적어도 2개의 상이한 프레임 종류들을 포함한다. 각 프레임은 디지털 이미지 화소 데이터의 시퀀스를 나타내기 위한 데이터 구조체를 갖고, 일반적으로 미리 결정된 해상도에 따라 다수의 화소들의 수평 라인들의 시퀀스로서 배열된다. 각 프레임 종류는 부분적 3D 데이터 구조체를 나타낸다. 예를 들어, 3D 비디오 전송 포맷의 프레임 종류들에서 3D 부분적 데이터 구조체들은 왼쪽 및 오른쪽 이미지들, 또는 2D 이미지 및 부가적인 깊이, 및/또는 이하 논의되는 바와 같이 폐색 또는 투명도 정보와 같은 추가적인 3D 데이터일 수도 있다. 프레임 종류는 또한 상기 프레임 종류들의 서브-프레임들의 조합, 예를 들어, 단일 풀 해상도 프레임에 위치된 저해상도를 갖는 4개의 서브-프레임들을 나타내는 조합 프레임 종류일 수도 있다는 것을 유념해야 한다. 또한, 동시에 디스플레이될 프레임들의 비디오 스트림들에서 다수의 멀티-뷰 이미지들이 인코딩될 수도 있다.

소스 디바이스는 3D 디스플레이 신호에서 단일 3D 이미지로 합성될 유닛에서 적어도 다수의 비디오 프레임들에 관한 정보를 포함하는 3D 전송 정보를 포함하도록 적응된다. 이것은 대응하는 기능을 동기화 유닛(11)에 부가함으로써 달성될 수 있다.

3D 디스플레이 디바이스(13)는 3D 이미지 데이터를 디스플레이하기 위한 것이다. 디바이스는 프레임들에서의 3D 이미지 데이터 및 소스 디바이스(10)로부터 전송된 프레임 종류 동기화 표시자들을 포함하는 3D 디스플레이 신호(56)를 수신하기 위한 입력 인터페이스 유닛(14)을 갖는다. 각 프레임은 디지털 이미지 화소 데이터의 시퀀스를 나타내기 위한 데이터 구조체를 갖고, 각 프레임 종류는 부분적 3D 데이터 구조체를 나타낸다. 디스플레이 디바이스에는 콘트라스트, 색상 또는 깊이 파라미터들과 같은 디스플레이의 디스플레이 파라미터들을 설정하기 위한 추가적인 사용자 제어 소자들(16)이 제공된다. 전송된 이미지 데이터는, 사용자 제어 소자들로부터의 설정 명령들에 따라, 상이한 프레임 종류들에 기초하여 3D 이미지 데이터를 3D 디스플레이 상에 렌더링하기 위한 디스플레이 제어 신호들을 발생시키는 처리 유닛(18)에서 처리된다. 디바이스는 처리된 이미지 데이터를 디스플레이하기 위한 디스플레이 제어 신호들을 수신하는 3D 디스플레이(17), 예를 들어, 듀얼 LCD를 갖는다. 디스플레이 디바이스(13)는 화살표(44)로 나타낸 디스플레이 깊이 범위를 갖는, 3D 디스플레이라고도 하는 스테레오스코픽 디스플레이이다. 3D 이미지 데이터의 디스플레이는 각각의 부분적 3D 이미지 데이터 구조체를 각각 제공하는 상이한 프레임들에 의존하여 수행된다.

디스플레이 디바이스는 또한 3D 디스플레이 신호로부터 프레임 종류 동기화 표시자를 검색하고 수신된 3D 디스플레이 신호에서 상이한 프레임 종류들을 검출하기 위한, 처리 유닛(18)에 연결된 검출 유닛(19)을 포함한다. 처리 유닛(18)은 각각의 3D 비디오 포맷, 예를 들어, 2D 이미지 및 깊이 프레임의 부분적 3D 데이터 구조체들에 의해 규정된 것과 같은 다양한 종류들의 이미지 데이터에 기초하여 디스플레이 제어 신호들을 발생시키도록 구성된다. 각각의 프레임들은 각각의 프레임 종류 동기화 표시자들에 의해 표시되는 것과 같이 인식되어 알맞은 때에 동기화된다.

디스플레이 디바이스는 3D 디스플레이 신호에서 단일 3D 이미지로 구성될 유닛에서의 적어도 다수의 비디오 프레임들에 관한 정보를 포함하는 3D 전송 정보를 검출하고; 3D 전송 정보에 의존하여 디스플레이 제어 신호들을 발생시키기 위한 3D 전송 정보를 사용하도록 적응된다. 이것은, 예를 들어, 검출 유닛(19)이 3D 전송 정보를 검출하도록 적응시킴으로써, 및 3D 전송 정보에 의존하여 처리 수단(18)이 디스플레이 제어 신호들을 발생시키도록 적응시킴으로써 달성될 수 있다.

프레임 종류 동기화 표시자들은 프레임들 중 어느 프레임이 동시에 디스플레이되도록 조합되어야 하는지를 검출하는 것을 가능하게 하고, 또한 각각의 부분적 3D 데이터가 검색되어 처리될 수 있도록 프레임 종류를 나타낸다. 3D 디스플레이 신호는 공지되어 있는 HDMI 인터페이스와 같은 적절한 고속 디지털 비디오 인터페이스를 통해 전송될 수도 있다(예를 들어, 2006년 11월 10일, 고선명도 멀티미디어 인터페이스 명세 버전 1.3a 참조).

도 1은 또한 3D 이미지 데이터의 캐리어로서 기록 캐리어(record carrier; 54)를 도시한다. 기록 캐리어는 디스크-형상이고, 트랙과 중심 홀을 갖고 있다. 물리적으로 검출 가능한 일련의 마크들로 구성되는 트랙은 정보층 상에 실질적으로 평행한 트랙들을 구성하는 턴들의 나선형 또는 동심원 패턴에 따라 배열된다. 레코드 캐리어는 광학적으로 판독 가능할 수도 있고, 광학 디스크라고도 하며, 예를 들어, CD, DVD 또는 BD(블루-레이 디스크)가 있다. 정보는 트랙을 따라 광학적으로 검출 가능한 마크들, 예를 들어, 피트들 및 랜드들에 의해 정보층 상에 표시된다. 트랙 구조는 또한 정보의 유닛들의 위치를 표시하기 위한 위치 정보, 예를 들어, 헤더들 및 주소들을 포함하고, 일반적으로는 정보 블록들이라고 한다. 기록 캐리어(54)는 DVD 또는 BD 포맷과 같은 미리 규정된 기록 포맷으로, 예를 들어, MPEG2 또는 MPEG4 인코딩 시스템에 따라 인코딩된 비디오와 같은 디지털로 인코딩된 이미지 데이터를 나타내는 정보를 전달한다.

플레이어는 다양한 포맷들을 재생하도록 지원할 수도 있지만, 비디오 포맷들을 트랜스코딩할 수는 없으며, 디스플레이 디바이스는 제한된 세트의 비디오 포맷들을 재생할 수도 있다는 것을 유념해야 한다. 이것은 재생될 수 있는 공통 디바이더(common divider)가 존재한다는 것을 의미한다. 디스크 또는 콘텐트에 의존하여, 포맷은 시스템의 재생/동작 동안 변경될 수도 있다는 것을 유념해야 한다. 포맷의 실시간 동기화가 이루어져야 하고, 프레임 종류 동기화 표시자에 의해 포맷들의 실시간 전환이 제공된다.

다음 섹션은 3차원 디스플레이들 및 인간들에 의한 깊이 지각의 개요를 제공한다. 3D 디스플레이들은 보다 선명한 깊이 지각을 제공할 수 있다는 점에서 2D 디스플레이들과는 다르다. 이것은 단안 깊이 큐들(monocular depth cues) 및 움직임에 기초한 큐들만을 보여줄 수 있는 2D 디스플레이들보다 더 많은 깊이 큐들을 제공할 수 있기 때문에 달성된다.

단안(또는 정적) 깊이 큐들은 하나의 눈을 사용하여 정적 이미지로부터 얻어질 수 있다. 화가들은 종종 그들의 그림들에서 깊이 장면을 만들기 위해서 단안 큐들을 사용한다. 이들 큐들은 상대적 크기, 수평선에 대한 높이, 폐색, 원근법, 텍스처 구배들, 및 조명/음영들을 포함한다. 안구 운동 큐들(oclomotor cues)은 시청자들의 눈들의 근육들에서의 장력으로부터 유도된 깊이 큐들이다. 눈들은 눈들을 회전시킬 뿐만 아니라 수정체를 신장시키기 위한 근육들을 갖는다. 수정체를 신장시키고 이완시키는 것은 원근 조절(accommodation)이라고 하고, 이미지 상에 초점을 맞출 때 행해진다. 수정체 근육들의 신장 및 이완의 양은 객체가 얼마나 멀리 있는지 아니면 가까이 있는지에 대한 큐를 제공한다. 눈들의 회전은 두 눈들이 동일한 객체 상에 초점을 맞추도록 행해지며, 이는 수렴 현상이라고 한다. 마지막으로, 움직임 시차는 시청자와 가까운 객체들이 더 멀리 떨어져 있는 객체들보다 빠르게 움직이는 것으로 보이는 효과이다.

양안 디스패리티(binocular disparity)는 우리의 두 눈들이 약간 상이한 이미지를 본다는 사실로부터 유도되는 깊이 큐이다. 단안 깊이 큐들은 임의의 2D 비주얼 디스플레이 종류에 사용될 수 있고 또한 사용된다. 디스플레이에서 양안 디스패리티를 재-생성하는 것은, 뷰를 왼쪽 및 오른쪽 눈에 대하여 분할할 수 있도록 하여, 각각이 디스플레이 상에서 약간 상이한 이미지를 볼 수 있도록 하는 것을 요구한다. 양안 부등을 재-생성할 수 있는 디스플레이들은 우리가 3D 또는 스테레오스코픽 디스플레이들이라고 하는 특별한 디스플레이들이다. 3D 디스플레이들은 인간 눈들에 의해 실제로 지각되는 깊이 차원을 따라 이미지들을 디스플레이할 수 있으며, 이는 본원에서 디스플레이 깊이 범위를 갖는 3D 디스플레이라고 한다. 따라서, 3D 디스플레이들은 상이한 뷰를 왼쪽 및 오른쪽 눈에 제공한다.

2개의 상이한 뷰들을 제공할 수 있는 3D 디스플레이들은 장시간 동안 동작한다. 이들 중 대부분은 왼쪽 눈 뷰 및 오른쪽 눈 뷰를 분리하기 위한 안경을 사용하는 것을 기본으로 한다. 현재, 디스플레이 기술의 발달과 함께, 안경을 사용하지 않고 스테레오 뷰를 제공할 수 있는 새로운 디스플레이들이 시장에 나오고 있다. 이들 디스플레이들은 오토-스테레오스코픽 디스플레이들이라고 한다.

첫 번째 방식은 사용자가 안경 없이 스테레오 비디오를 볼 수 있도록 하는 LCD 디스플레이들에 기반한다. 이들은 두 가지 기술들, 즉, 렌티큘러 스크린 및 배리어 디스플레이들 중 하나에 기반한다. 렌티큘러 디스플레이에 있어서, LCD는 렌티큘러 렌즈들의 시트로 덮여 있다. 이들 렌즈들은 디스플레이로부터의 광을 분산(diffract)시켜, 왼쪽 및 오른쪽 눈이 상이한 화소들로부터 수광하도록 한다. 이것은 2개의 상이한 이미지들, 즉, 왼쪽 눈 뷰에 대한 이미지 및 오른쪽 눈 뷰에 대한 이미지가 디스플레이되는 것을 가능하게 한다.

렌티큘러 스크린의 대안은, LCD에서 화소들로부터의 광을 분리시키기 위해 LCD의 뒤 및 역광 앞에서 시차 배리어(parallax barrier)를 사용하는 배리어 디스플레이이다. 배리어는, 스크린의 앞의 설정된 위치로부터, 왼쪽 눈이 오른쪽 눈과는 상이한 화소들을 보도록 한다. 배리어는 또한 디스플레이의 행에 있는 화소들이 왼쪽 눈과 오른쪽 눈에 의해 교대로 보일 수 있도록 LCD와 인간 시청자 사이에 있을 수도 있다. 배리어 디스플레이가 갖는 문제점은 휘도 및 해상도의 손실뿐만 아니라 매우 좁은 시야각이다. 이것은, 예를 들어, 9개의 뷰들과 다수의 시청 구역들을 갖는 렌티큘러 스크린에 비해 거실의 TV로서는 덜 매력적이 되게 한다.

또 다른 방식은 여전히 높은 리프레시 레이트(예를 들어, 120㎐)로 프레임들을 디스플레이할 수 있는 고해상도 비머들(beamers)과 함께 셔터-안경을 사용하는 것에 기반한다. 셔터 안경 방법에 의하면 왼쪽 눈 뷰 및 오른쪽 눈 뷰는 교대로 디스플레이 되기 때문에, 높은 리프레시 레이트가 요구된다. 시청자가 안경을 끼고 있을 경우에, 안경은 60㎐에서 스테레오 비디오를 지각한다. 셔터-안경 방법은 고품질 비디오 및 큰 레벨의 깊이를 가능하게 한다.

오토 스테레오스코픽 디스플레이들 및 셔터 안경 방법은 모두 원근 조절-수렴 현상 부조화를 겪는다. 이것은 깊이 양 및 이들 디바이스들을 사용하여 편안하게 볼 수 있는 시간을 제한한다. 이러한 문제를 겪지 않는 홀로그램형 및 체적 측정형 디스플레이들과 같은 다른 디스플레이 기술들이 있다. 본 발명은 깊이 범위를 갖는 임의의 종류의 3D 디스플레이에 사용될 수도 있다는 것을 유념해야 한다.

3D 디스플레이들에 대한 이미지 데이터는 전자, 일반적으로는 디지털, 데이터로서 이용 가능한 것으로 여겨진다. 본 발명은 이러한 이미지 데이터와 관련되고, 디지털 도메인에서 이미지 데이터를 처리한다. 소스로부터 전송될 때 이미지 데이터는, 예를 들어, 듀얼 카메라들을 사용함으로써 3D 정보를 이미 포함할 수도 있거나, 또는 2D 이미지들로부터 3D 정보를 (재)생성하기 위해 전용 전처리 시스템이 관여될 수도 있다. 이미지 데이터는 스태틱형 슬라이드들일 수도 있거나, 또는 움직이는 비디오형 영화들을 포함할 수도 있다. 일반적으로 그래픽 데이터라고 하는 다른 이미지 데이터는 저장된 객체들로서 이용할 수도 있거나 또는 본원에서 요구되는 것과 같이 플라이(fly) 상에서 발생될 수도 있다. 예를 들어, 메뉴, 네비게이션 항목들이나 텍스트 및 도움말 주석들과 같은 사용자 제어 정보가 다른 이미지 데이터에 부가될 수도 있다.

스테레오 이미지들이 포매팅될 수도 있는 많은 상이한 방법들이 있으며, 이는 3D 이미지 포맷이라고 한다. 몇몇 포맷들은 스테레오 정보를 또한 전달하기 위해 2D 채널을 사용하는 것에 기반한다. 예를 들어, 왼쪽 뷰 및 오른쪽 뷰는 인터레이스될 수 있거나, 또는 나란히 및 위 아래에 위치될 수 있다. 이들 방법들은 스테레오 정보를 전달하기 위해 해상도를 희생시킨다. 또 다른 옵션은 색상을 희생시키는 것으로, 이 방식은 애너그리프 스테리오(anaglyphic stereo)라고 한다. 애너그리프 스테레오는 2개의 별개의 오버레이된 이미지들을 보색들로 디스플레이하는 것에 기초하는 스펙트럼 멀티플렉싱을 사용한다. 채색된 필터들을 갖는 안경을 사용함으로써, 각 눈은 그 눈의 앞에 있는 필터와 동일한 색상의 이미지만을 보게 된다. 따라서, 예를 들어, 오른쪽 눈은 빨간색 이미지만을 보게 되고, 왼쪽 눈은 초록색 이미지만을 보게 된다.

상이한 3D 포맷은 2D 이미지 및 2D 이미지에서 객체들의 깊이에 관한 정보를 전달하는 소위 깊이 맵이라고 하는 부가적인 깊이 이미지에 기초한다. 이미지+깊이라고 하는 포맷은 소위 "깊이" 또는 디스패리티 맵을 갖는 2D 이미지의 조합과는 다르다. 이것은 그레이 스케일 이미지이고, 그로써, 화소의 그레이 스케일 값은 연관된 2D 이미지에서 대응하는 화소에 대한 디스패리티량(또는 깊이 맵의 경우에는 깊이)을 나타낸다. 디스플레이 디바이스는 입력으로서 2D 이미지를 취하는 부가적인 뷰들을 계산하기 위해 디스패리티, 깊이 또는 시차 맵을 사용한다. 이것은 다양한 방식들로 행해질 수도 있으며, 가장 간단한 형태에서는, 그의 화소들과 연관된 디스패리티 값에 따라 화소들을 왼쪽 또는 오른쪽으로 이동시킨다. 크리스토프 펜에 의한 제목이 "3D TV에 관한 새로운 방식에 대한 깊이 이미지 기반 렌더링, 압축 및 송신"인 논문은 이 기술의 우수한 개요를 제공한다(http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf 참조).

도 2는 3D 이미지 데이터의 예를 도시한다. 이미지 데이터의 왼쪽 부분은 일반적으로 색상 면에서 2D 이미지(21)이고, 이미지 데이터의 오른쪽 부분은 깊이 맵(22)이다. 2D 이미지 정보는 임의의 적절한 이미지 포맷으로 표현될 수도 있다. 깊이 맵 정보는 가능하게는 2D 이미지에 비해 감소된 해상도로 각 화소에 대한 깊이 값을 갖는 부가적인 데이터 스트림일 수도 있다. 깊이 맵에서, 그레이 스케일 값들은 2D 이미지에서의 연관된 화소의 깊이를 나타낸다. 하얀색은 시청자와 가까운 것을 나타내고, 검정색은 시청자로부터 멀리 있는 큰 깊이를 나타낸다. 3D 디스플레이는 깊이 맵으로부터의 깊이 값을 사용함으로써 및 필요한 화소 변환들을 계산함으로써 스테레오에 필요한 부가적인 뷰를 계산할 수 있다. 폐색들은 추정 또는 홀 필터링 기술들을 사용하여 해결될 수도 있다. 예를 들어, 배경의 앞에서 움직이는 투명한 객체들에 대한 폐색 맵, 시차 맵 및/또는 투명도 맵과 같이 이미지 및 깊이 맵 포맷에 더 부가되는 부가적인 프레임들이 데이터 스트림에 포함될 수도 있다.

비디오에 스테레오를 부가하는 것은 또한 블루-레이 디스크 플레이어와 같은 플레이어 디바이스로부터 스테레오 디스플레이로 전송될 때 비디오의 포맷에 영향을 준다. 2D의 경우에는 2D 비디오 스트림만이 전송된다(디코딩된 화상 데이터). 스테레오 비디오에 있어서, 이것은 제 2 스트림이 이제 (스테레오에 대한) 제 2 뷰 또는 깊이 맵을 포함하여 전송되어야 함에 따라 증가한다. 이것은 전기적 인터페이스에 관한 필요한 비트레이트를 두배로 할 수 있다. 상이한 방식은, 제 2 뷰 또는 깊이 맵이 2D 비디오와 함께 나란히 인터레이스되거나 위치되도록 해상도를 희생시키고 스트림을 포매팅하는 것이다.

도 2는 2D 데이터 및 깊이 맵의 예를 도시한다. 디스플레이에 전송되는 깊이 디스플레이 파라미터들은 디스플레이가 깊이 정보를 정확하게 해석할 수 있도록 한다. 비디오에 부가적인 정보를 포함시키는 예들은 ISO 표준 23002-3 "보조 비디오 및 추가 정보의 표현"(예를 들어, 2007년 7월, ISO/IEC JTC1/SC29/WG11 N8259 참조)에 기술되어 있다. 보조 스트림의 종류에 따라서, 부가적인 이미지 데이터는 4개 또는 2개의 파라미터들로 이루어진다. 프레임 종류 동기화 표시자는 3D 디스플레이 신호의 후속하는 섹션에서 각각의 3D 비디오 전송 포맷을 나타내는 3D 비디오 포맷 표시자를 포함할 수도 있다. 이것은 3D 비디오 전송 포맷을 나타내거나 변경하거나, 또는 전송 시퀀스를 리셋하거나 추가적인 동기화 파라미터들을 설정하거나 리셋하는 것을 가능하게 한다.

일 실시예에서, 프레임 종류 동기화 표시자는 적어도 하나의 프레임 종류의 주파수를 나타내는 프레임 시퀀스 표시자를 포함한다. 몇몇 프레임 종류들은 지각된 3D 이미지, 예를 들어, 폐색 데이터의 상당한 열화 없이 낮은 주파수의 송신을 가능하게 한다는 것을 유념해야 한다. 또한, 상이한 프레임 종류들의 순서는 반복될 상이한 프레임 종류들의 시퀀스로서 나타낼 수도 있다.

일 실시예에서, 프레임 종류 동기화 표시자 및 3D 전송 정보는 프레임 시퀀스 번호를 포함한다. 개별 프레임들에는 또한 프레임 시퀀스 번호가 제공될 수도 있다. 시퀀스 번호는, 예를 들어, 단일 3D 이미지를 구성하는 모든 프레임들이 전송되고 이어지는 프레임들이 다음 3D 이미지에 속할 때, 규칙적으로 증가된다. 따라서, 번호는 동기화 사이클마다 다르거나, 또는 더 큰 섹션에 대해서만 변경될 수도 있다. 따라서, 점프가 수행될 때, 동일한 각각의 시퀀스 번호를 갖는 프레임들의 세트는 이미지 디스플레이가 재개될 수 있기 전에 전송되어야 한다. 디스플레이 디바이스는 일탈된 프레임 시퀀스 번호를 검출할 것이며, 프레임들의 완벽한 세트만을 결합할 것이다. 이것은 새로운 위치로 점프한 후에 잘못된 프레임들의 조합이 사용되는 것을 방지한다.

비디오에 그래픽을 부가할 때, 디스플레이 유닛에서 부가적인 층들을 오버레이하기 위해 추가적인 별개의 데이터 스트림들이 사용될 수도 있다. 이러한 층 데이터는 이하 상세히 논의되는 바와 같이 3D 디스플레이 신호에 각각의 프레임 종류 동기화 표시자들을 부가함으로써 별도로 마크되는 상이한 프레임 종류들에 포함된다. 3D 비디오 전송 포맷은 주 비디오 및 각각의 프레임 종류들을 통해 전송되는 적어도 하나의 부가적인 비디오 층을 포함하고, 프레임 종류 동기화 표시자는 주 프레임 종류 표시자 및 부가 층 프레임 종류 표시자 중 적어도 하나를 포함한다. 부가적인 비디오 층은, 예를 들어, 메뉴 또는 임의의 다른 온 스크린 데이터(OSD)와 같이 부제목들이나 다른 그래픽 정보일 수도 있다.

프레임들의 유닛들에 대한 가능한 포맷은 도 4 내지 도 7을 참조하여 기술될 것이다. 이 포맷은 또한 우선권으로 청구되어 있고 참조로서 본원에 포함되는 유럽 특허 출원 제 09150947.1 호(출원인 명세 번호 제 PH 012841 호)에 기술되어 있다.

수신된 압축된 스트림은 스테레오스코픽 디스플레이 및 자동 스테레오스코픽 디스플레이 모두에서 합성되어 렌더링될 수 있도록 하는 3D 정보를 포함하며, 즉, 압축된 스트림은 왼쪽 및 오른쪽 비디오 프레임, 및 2D + 깊이 정보에 기초한 렌더링을 가능하게 하기 위한 깊이(D), 투명도(T) 및 폐색(O) 정보를 포함한다. 다음에서, 깊이(D), 투명도(T) 및 폐색(O) 정보는 간단히 DOT라고 명명될 것이다.

스트림들을 압축할 때 스테레오 및 DOT 모두가 존재하는 것은, 합성이 콘텐트 저자에 의해 제어되는 동안 디스플레이의 종류 및 크기에 따라서, 디스플레이에 의해 최적화되는 합성 및 렌더링을 가능하게 한다.

다음 성분들은 디스플레이 인터페이스를 통해 송신된다:

- 디코딩된 비디오 데이터(PG 및 IG/BD-J와 혼합되지 않음)

- 프리젠테이션 그래픽(PG) 데이터

- 대화형 그래픽(IG) 또는 BD-자바 생성(BD-J) 그래픽 데이터

- 디코딩된 비디오 DOT

- 프리젠테이션 그래픽(PG) DOT

- 대화형 그래픽(IG) 또는 BD-자바 생성(BD-J) 그래픽

도 4 및 도 5는 비디오 인터페이스를 통해 전송되는 프레임들의 유닛들을 개략적으로 도시한다.

출력단은 다음과 같이 구조화된 6개의 프레임들의 인터페이스(바람직하게는 HDMI) 유닛들을 통해 전송한다:

프레임 1: 왼쪽(L) 비디오 및 DOT 비디오의 YUV 성분들은, 도 9의 상부에 도시되어 있는 것과 같이, 하나의 24㎐ RGB 출력 프레임 성분들에 조합된다. YUV는 보통 비디오 처리의 분야에서 표준 휘도(Y) 및 채도(UV) 성분들을 나타낸다.

프레임 2: 오른쪽(R) 비디오는, 도 9의 하부에 도시되어 있는 것과 같이, 바람직하게는 24㎐에서 변경되지 않은 채로 전송된다.

프레임 3: PC 색상(PG-C)은 바람직하게는 24㎐에서 RGB 성분들과 같이 변경되지 않은 채로 전송된다.

프레임 4: PG-색상의 투명도는, 도 10의 상부에 도시되어 있는 바와 같이, 별개의 그래픽 DOT 출력 플레인으로 복사되고 깊이와 960x540 폐색 및 다양한 플레인들에 대한 폐색 깊이(OD) 성분들과 조합된다.

프레임 5: BD-J/IG 색상(C)은 바람직하게는 24㎐에서 변경되지 않은 채로 전송된다.

프레임 6: BD-J/IG 색상의 투명도는, 도 10의 하부에 도시되어 있는 바와 같이, 별개의 그래픽 DOT 출력 플레인에 복사되고 깊이와 960x540 폐색 및 폐색 깊이(OD) 성분들과 조합된다.

도 6은 본 발명의 바람직한 실시예에 따라 비디오 인터페이스를 통한 프레임들의 시간 출력을 개략적으로 도시한다. 여기서, 성분들은 144㎐의 인터페이스 주파수에서 HDMI 인터페이스를 통해 적기에 인터리브된 24㎐ 성분들에서 디스플레이로 전송된다.

이 3D 비디오 포맷의 이점들은 다음과 같다:

- 풀 해상도 플렉시블 3D 스테레오 + DOT 포맷 및 3D HDMI 출력은 3D 비디오를 강화할 수 있고(디스플레이 크기 의존성에 대한 가변 베이스라인), 다양한 3D 디스플레이들(스테레오 및 오토-스테레오스코픽)에 대한 3D 그래픽(낮은 그래픽 제한들, 3D TV OSD) 가능성들을 강화할 수 있다.

- 품질, 저작 유연성 및 플레이어 하드웨어에 대한 최소 비용과 타협하지 않는다. 합성 및 렌더링은 3D 디스플레이에서 행해진다.

- 요구되는 더 높은 비디오 인터페이스 속도가 4k2k 포맷들에 대한 HDMI에서 규정되고 이미 듀얼 링크 HDMI와 함께 구현될 수 있다. 듀얼 링크 HDMI는 또한 30㎐ 등과 같은 높은 프레임 레이트들을 지원한다.

3D 전송 정보 표시자는 부가적인 비디오 층에 대해 층 시그널링 파라미터들을 포함할 수도 있다. 파라미터들은 다음 중 적어도 하나를 나타낼 수도 있다:

- 부가적인 층의 종류 및/또는 포맷;

- 주 비디오의 디스플레이와 관련된 부가적인 층의 디스플레이의 위치;

- 부가적인 층의 디스플레이의 크기;

- 부가적인 층의 디스플레이의 출현 시간, 소멸 및/또는 디스플레이 지속기간;

- 부가적인 3D 디스플레이 설정들 또는 3D 디스플레이 파라미터들.

더욱 상세한 예들이 이하 논의된다.

도 3은 재생 디바이스 및 디스플레이 디바이스 조합을 도시한다. 플레이어(10)는 디스플레이(13)의 능력들을 알아내고, 디스플레이가 처리될 수 있는 공간적 및 시간적으로 최고의 해상도 비디오를 전송하기 위해 비디오의 포맷 및 타이밍 파라미터들을 조절한다. 실제로, 표준은 소위 EDID가 사용된다. 확장된 디스플레이 식별 데이터(EDID)는 이미지 소스, 예를 들어, 그래픽 카드에 대한 그의 능력들을 기술하기 위해 디스플레이 디바이스에 의해 제공되는 데이터 구조체이다. 현대의 개인용 컴퓨터는 어떤 종류의 모니터가 접속되어 있는지를 알 수 있다. EDID는 비디오 전자 표준 협회(VESA)에 의해 발표된 표준에 의해 규정된다. 또한, http://www.vesa.org/에서 이용 가능한 2008년 1월 11일, VESA 디스플레이포트 표준 버전 1, 리비전 1a를 참조하자.

EDID는 제조자명, 제품 종류, 인 또는 필터 종류, 디스플레이에 의해 지원되는 타이밍들, 디스플레이 크기, 휘도 데이터 및 (디지털 디스플레이들에 대해서만) 화소 매핑 데이터를 포함한다. 디스플레이로부터 그래픽 카드로 EDID를 송신하기 위한 채널은 일반적으로 소위

버스이다. EDID 및

의 조합은 디스플레이 데이터 채널 버전 2 또는 DDC2라고 한다. 버전 2는 상이한 직렬 포맷을 사용하는 VESA의 원래 DDC와는 구별된다. EDID는 종종

버스와 호환될 수 있는 직렬 PROM(프로그램 가능한 판독-전용 메모리) 또는 EEPROM(전기적으로 소거 가능한 PROM)이라고 하는 메모리 디바이스에 있는 모니터에 저장된다.

재생 디바이스는 E-EDID 요청을 DDC2 채널을 통해 디스플레이에 전송한다. 디스플레이는 E-EDID 정보를 전송함으로써 응답한다. 플레이어는 최상의 포맷을 결정하고 비디오 채널을 통해 송신하기 시작한다. 이전 종류들의 디스플레이들에 있어서, 디스플레이는 E-EDID 정보를 DDC 채널 상에 연속적으로 전송한다. 요청은 전송되지 않는다. 인터페이스에서 사용하기 위한 비디오 포맷을 또한 정의하기 위해서, 또 다른 단체(소비자 전자장치 협회; CEA)는 E-EDID를 TV 종류의 디스플레이들과 사용하기에 더욱 적합하게 만들기 위해서 여러 개의 부가적인 제약들 및 확장들을 정의하였다. 특정 E-EDID 요건들 외에 (상기 언급된) HDMI 표준은 많은 상이한 비디오 포맷들에 대한 식별 코드들 및 관련 타이밍 정보를 지원한다. 예를 들어, CEA 861-D 표준이 인터페이스 표준 HDMI에 채택된다. HDMI는 물리 링크들을 정의하고, 고 레벨 시그널링을 처리하기 위해 CEA 861-D 및 VESA E-EDID 표준들을 지원한다. VESA E-EDID 표준은 디스플레이가 스테레오스코픽 비디오 송신을 지원하는지 및 어떤 포맷인지를 나타낼 수 있도록 한다. 디스플레이의 능력들에 관한 이러한 정보는 소스 디바이스 쪽으로 다시 전달된다는 것을 유념해야 한다. 공지된 VESA 표준들은 디스플레이에서 3D 처리를 제어하는 임의의 포워드 3D 정보를 규정하지 않는다.

일 실시예에서, 3D 디스플레이 신호에서의 3D 전송 정보는, 예를 들어, 관련된 각각의 프레임을 식별하는 동안 데이터 스트림에서 별개의 패킷으로서 비동기적으로 전송된다. 패킷은 비디오와 정확히 동기화되는 프레임에 대한 추가적인 데이터를 포함할 수도 있고, 연속하는 비디오 프레임들 간의 블랭킹 간격들에서 적절한 시간에 삽입될 수도 있다. 실제적인 실시예에 있어서, 3D 전송 정보는 HDMI 데이터 아일랜드들 내에서 패킷들에 삽입된다.

오디오 비디오 데이터(AV) 스트림에서 HDMI에서 규정되어 있는 바와 같이 보조 비디오 정보(AVI)에 3D 전송 정보를 포함하는 예는 다음과 같다. AVI는 인포 프레임으로서 소스 디바이스로부터 디지털 텔레비전(DTV) 모니터로 AV-스트림에서 전달된다. 소스 디바이스가 보조 비디오 정보(AVI)의 송신을 지원하고 DTV 모니터가 그 정보를 수신할 수 있다고 결정하면, AVI를 VSYNC 기간마다 DTV 모니터에 전송해야 한다. 데이터는 비디오 데이터의 다음 풀 프레임에 해당된다.

다음에서, HMDI 시그널링의 짧은 설명이 제시될 것이다. HDMI에서, HDMI 출력을 갖는 디바이스는 소스로서 공지되어 있고, HDMI 입력을 갖는 디바이스는 싱크로서 공지되어 있다. 인포 프레임은 오디오나 비디오 스트림들 또는 소스 디바이스에 관한 다양한 보조 데이터 항목들을 전달하기 위해 지정되는 CEA-861-D에 정의된 데이터 구조체이고, HDMI를 통해 소스로부터 싱크로 전달된다. 비디오 필드는 하나의 VSYNC 액티브 에지로부터 다음 VSYNC 액티브 에지까지의 기간이다. 비디오 포맷은, 모니터에서 수신될 때 모니터가 비디오를 사용자에게 적절히 디스플레이하기에 충분한 정보를 갖도록 충분히 정의되어 있다. 각 포맷의 정의는 비디오 포맷 타이밍, 화상 애스팩트비, 및 비색 공간(colorimetric space)을 포함한다. 비디오 포맷 타이밍 파형은 비디오 포맷과 연관된다. 특정 비디오 포맷 타이밍은 하나 이상의 비디오 포맷(예를 들어, 720X480p@4:3 및 720X480p@16:9)과 연관될 수도 있다는 것을 유념해야 한다.

HDMI는 3개의 별개의 통신 채널들, 즉, TMDS, DDC 및 선택적인 CEC를 포함한다. TMDS는 모든 오디오 및 비디오 데이터뿐만 아니라 액티브 오디오 및 비디오 스트림들을 기술하는 AVI 및 오디오 인포 프레임들을 포함한 보조 데이터를 전달하기 위해 사용된다. DDC 채널은 E-EDID 데이터 구조체를 판독함으로써 싱크의 능력들 및 특성들을 결정하기 위해 HDMI 소스에 의해 사용된다.

HDMI 소스들은 싱크의 E-EDID를 판독하여 싱크에 의해 지원되는 오디오 및 비디오 포맷들만을 전달할 것을 요구한다. 또한, HDMI 싱크들은 인포 프레임들을 검출하여 수신된 오디오 및 비디오 데이터를 적절히 처리할 것을 요구한다.

CEC 채널은 자동 셋업 작업들 또는 일반적으로 적외전 원격 제어 사용과 연관된 작업들과 같은 고-레벨 사용자 기능들에 대해 선택적으로 사용된다.

HDMI 링크는 다음 세 가지 모드들 중 하나에서 동작한다: 비디오 데이터 기간, 데이터 아일랜드 기간, 및 제어 기간. 비디오 데이터 기간 동안에는, 액티브 비디오 라인의 액티브 화소들이 송신된다. 데이터 아일랜드 기간 동안에는, 오디오 및 보조 데이터가 일련의 패킷들을 사용하여 송신된다. 제어 기간은 비디오, 오디오, 또는 보조 데이터가 송신될 필요가 없을 때 사용된다. 제어 기간은 제어 기간들이 아닌 임의의 두 기간들 사이에 필요하다.

표 1

현재의 인포프레임 패킷, AVI 인포프레임 등은 3D 비디오 데이터의 송신을 처리하기에 적절하지 않다는 것이 발명자들에 의해 확인되었다.

일반적으로, 3D 비디오 데이터의 송신은 다음 세 가지 파라미터들을 특징으로 될 수 있다:

- HDMI 명세의 표 8.7에서의 VIC(화소 반복 레이트), 예를 들어, 1920x1080p@60㎐

- 단일 3D 이미지의 프레임들의 유닛들에서의 프레임들의 수

N=1 모노스코픽

N=2 스테레오 및 비디오+깊이

N=3 비디오+깊이+그래픽

N=4 MVD @ M=2 등

N=6 도 4 내지 도 6을 참조하여 정의된 유닛

- 포맷: 채널들을 멀티플렉싱하는 방법

- 프레임 교호

- 필드 교호

- 라인 교호

- 사이드 바이 사이드

- 체커 보드 등

도 8은 3D + DOT 포맷 @ 1920 화소들에 대한 수평 및 수직 블랭킹 및 시그널링을 도시한다. 도 8은 프레임 교호 멀티플렉싱의 멀티플렉싱 방식을 도시한다. 예에서는 Vactive/5로 표시된 5개의 프레임들이 3D+DOT 포맷의 3D 이미지를 구성하고, 그 프레임들은 Vfreq라고 표시된 3D 신호의 수직 동기화가 펄스들(VSYNC) 사이에서 유닛에 순차적으로 배열된다. 수직 동기화 펄스들은 수직 블랭킹(Vblank) 이후에 시작되는 비디오 데이터 기간(Vactive)을 나타내고, 이 기간에 프레임들은 순차적으로 배열된다. 유사하게, 수평 블랭킹 펄스들(HSYNC)은 수평 블랭킹(Hblank) 이후에 시작되는 라인 기간(Hactive)을 나타낸다. 따라서, 프레임 교호 멀티플렉싱 방법은 상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 순차적으로 배열되는 것을 나타낸다.

도 9는 1920 프로그래시브 @30㎐으로서 전송되는 3D + DOT 포맷 720 화소들에 대한 수평 및 수직 블랭킹 및 시그널링을 도시한다. 도 9는 사이드 바이 사이드 프레임 멀티플렉싱의 멀티플렉싱 방식을 도시한다. 예에서, Hactive/5로 나타낸 5개의 프레임들은 3D+DOT 포맷의 3D 이미지를 구성하고, 이 프레임들은 Vfreq라고 나타낸 3D 신호의 수직 동기화 펄스들(VSYNC) 사이에서 유닛에 나란히 배열된다. 수직 동기화 펄스들은 수직 블랭킹(Vblank) 이후에 시작되는 비디오 데이터 기간(Vactive)을 나타내고, 이 기간에 프레임들은 나란히 배열된다. 유사하게, 수평 블랭킹 펄스들(HSYNC)은 수평 블랭킹(Hblank) 이후에 시작되는 라인 기간(Hactive)을 나타낸다. 따라서, 사이드 바이 사이드 프레임 멀티플렉싱 방식은 상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 순차적으로 배열되는 것을 나타낸다.

최대 유연성을 위해서, 본 발명에 따르면, 멀티플렉싱 방식의 상기 파라미터들은 3개의 별개의 필드들에서 송신되어야 한다.

본 발명의 실시예에서, 이들은 AVI 인포 프레임들 및/또는 HDMI 벤더 고유의 인포프레임들을 통해 전송된다.

다음에서는 HDMI 인터페이스들의 경우에서의 상세한 실시예가 제시될 것이다.

표 2는 본 발명의 바람직한 실시예에 따른 인포프레임 패킷의 관련 바이트를 기술한다.

여기서, HDMI_VIC0 내지 HDMI_VIC7은 비디오 포맷 식별 코드를 기술한다. 이 섹션에서 규정된 임의의 비디오 포맷을 송신할 때, HDMI 소스는 HDMI_VIC 필드를 그 포맷에 대한 비디오 코드로 설정해야 한다.

여기서, HDMI_3D_FMT0 내지 HDMI_3D_FMT는 3D 포맷 코드를 기술한다. 이 섹션에서 규정된 임의의 비디오 포맷을 송신할 때, HDMI 소스는 HDMI_3D_Format 필드를 그 포맷에 대한 비디오 코드로 설정해야 한다.

표 2

본 발명에 따르면, HDMI_VIC 번호들로 식별되는 부가적인 비디오 타이밍 포맷 값들은 3D(스테레오스코픽) 송신을 위해 규정된다.

다음 비디오 포맷들은 3D 송신을 위해 사용된다. 시청자의 각 눈들에 대한 왼쪽 및 오른쪽 화상은 이 섹션의 비디오 포맷 정의를 사용하여 고유하게 구별될 수 있으며, 따라서, 임의의 다른 부가적인 정보 패킷이 필요하지 않다. 표 3은 관련된 EDID 및 인포프레임에서 기술되는 HDMI_VIC의 값을 나타낸다.

표 3

본 발명에 따르면, 3D 채널들의 HDMI 독점 멀티플렉싱의 포맷은 HDMI_3D_FMT 번호들에 의해 식별되고, 그 예가 표 4에 정의되어 있다.

3D(입체) 송신을 위해서, 다음 3D 포맷들이 3D 송신을 위해 사용된다. 3D 송신의 채널들에서의 정보의 멀티플렉싱의 포맷은 이 섹션의 3D 포맷 정의를 사용하여 고유하게 구별될 수 있고, 따라서, 임의의 다른 부가적인 정보 패킷이 필요하지 않다. 표 4는 EDID 및 관련된 인포프레임에서 기술되는 HDMI_3D_Format의 값을 나타낸다.

표 4

표 5

본 발명에 따르면, 플레이어 디바이스는 (다음 중에서) 소스로부터 싱크쪽으로 3D 메타데이터를 전송할 수 있다:

- 콘텐트 포맷

- 실시간 2D/3D 시그널링

- 동기화

- 권고된 필드-오브-뷰

- 부제목 정보

본 발명에 따르면, 부가적인 3D 콘텐트 메타데이터가 송신될 3D 비디오 데이터에 포함될 수도 있고, 메타데이터는 바람직하게 SMPTE 3D 마스터 포맷에 맞게 조정된다.

여러 개의 옵션들이 나열되어 있으며; 메타데이터는 다음 중 하나에 포함될 수도 있다:

- 3D 인포프레임 종류(CEA)

- AVI 인포프레임

- 벤더 고유의 인포프레임(VSIF), CEC

다음 섹션에서, 스테레오 정보를 전송하거나 유닛들이 2개의 프레임들을 포함하는 경우에 대한 특정 실시예들이 설명된다.

예를 들어, 왼쪽-오른쪽 시그널링을 위한 프레임 종류 동기화 표시자 및 3D 비디오를 디스플레이에서 적절히 렌더링하기 위한 부가적인 정보를 수용하기 위해 AVI-인포 프레임들에서 블랙 바 정보를 사용하는 것이 제안된다. AVI-인포 프레임은 적어도 2개의 필드들마다 전송되는 데이터 블록이다. 이 이유 때문에, 그것은 입체 비디오 신호의 동기화를 위해 사용될 경우 요구되는 프레임 단위로 시그널링을 전송할 수 있는 인포 프레임이다. 상대적 시그널링에 따른 또는 벤더 고유의 인포-프레임들에 따른 다른 해결책들과 비교하여 이 해결책의 이점은, HDMI에 대한 현재 칩셋들과 호환될 수 있고 정확한 프레임 동기화 및 시그널링을 위한 충분한 공간(8바이트)을 제공한다는 것이다.

대안적인 실시예에서, 이어지는 것들이 왼쪽 또는 오른쪽 비디오 프레임인 비디오 데이터를 시그널링하기 위해 HDMI에서 정의된 것과 같은 프리앰블 비트들을 사용하는 것이 제안된다. HDMI 챕터 5.2.1.1은 각 비디오 데이터 기간 또는 데이터 아일랜드 기간 바로 앞에 프리앰블이 있는 것을 규정한다. 이것은 다가오는 데이터 기간이 비디오 데이터 기간인지 데이터 아일랜드 기간인지를 나타내는 8개의 동일한 제어 문자들의 시퀀스이다. CTL0, CTL1, CTL2 및 CTL3의 값들은 이어지는 데이터 기간의 종류를 나타낸다. 나머지 제어 신호들인 HSYNC 및 VSYNC는 이 시퀀스동안 변경될 수도 있다. 프리앰블은 현재 4비트, 즉, CTL0, CTL1, CTL3 및 CTL4이다. 이때, 값들로서 1000 및 1010이 사용된다. 예를 들어, 값들 1100 또는 1001은 비디오 데이터가 왼쪽 비디오 프레임 또는 오른쪽 비디오 프레임 중 어느 하나 또는 대안적으로는 이미지 및/또는 깊이 정보를 포함하는 프레임들을 포함하는 것을 나타내기 위해 정의될 수도 있다. 또한, 프리앰블 비트들은 3D 프레임 종류 또는 시퀀스의 첫 번째 3D 프레임만을 나타낼 수도 있는 한편, 프레임 종류들의 또 다른 식별은 추가의 데이터 프레임에 의해 정의된 프레임 종류 동기화 시퀀스에 따를 수도 있다. 또한, HSYNC 및 VSYNC 시그널링은 프레임 종류 동기화의 적어도 일부, 예를 들어, 프레임이 왼쪽 비디오 프레임인지 오른쪽 비디오 프레임인지를 전달하도록 적응될 수도 있다. HSYNC는 왼쪽 프레임의 비디오 데이터를 선행하도록 배열되고, VSYNC는 비디오 정보의 오른쪽 프레임을 선행하도록 배열된다. 동일한 원리가 2D 이미지 및 깊이 정보와 같은 다른 프레임 종류들에 적용될 수도 있다.

도 10은 프레임 종류 동기화 표시자로 확장된 AVI-인포 프레임의 표를 도시한다. AVI-인포 프레임은 CEA에 의해 정의되고, 스캔 또는 애스팩트비를 통해 및 그것에 의해 색상 및 채도 샘플링에 관한 프레임 시그널링을 제공하도록 HDMI 및 다른 비디오 송신 표준들에 의해 채택된다. 다음과 같이, 프레임 종류 동기화 표시자를 구체화하기 위해 부가적인 정보가 부가된다.

데이터 바이트 1의 마지막 비트인 F17 및 데이터 바이트 4의 마지막 비트인 F47은 표준 AVI-인포 프레임에서 예약되어 있다. 프레임 종류 동기화 표시자의 실시예에서, 이들은 블랙-바 정보에 스테레오스코픽 시그널링이 존재함을 나타내기 위해 사용된다. 블랙 바 정보는 일반적으로 데이터 바이트 6 내지 13에 포함된다. 바이트 14 내지 바이트 27은 일반적으로 HDMI에 예약되어 있고, 따라서, 현재 하드웨어에 의해 정확히 송신되지 않을 수도 있다. 따라서, 이들 필드들은 덜 중요한 OSD 위치 정보를 제공하기 위해 사용된다. 표의 구문은 다음과 같다. F17이 (=1)로 설정되면, 13까지의 데이터 바이트는 3D 파라미터 정보를 포함한다. 디폴트 경우는 F17이 3D 파라미터 정보가 없는 것을 의미하는 (=0)으로 설정되지 않을 때이다.

데이터 바이트 12 내지 19는 OSD/부제목 오버레이의 위치를 나타낸다. 부가적인 층은 주 비디오 층보다 작을 수도 있고, 바이트 12 내지 19의 위치 데이터에 기초하여 위치된다. 이것은 3D 디스플레이가 프레임 종류 동기화 표시자에 의해 표시된 스크린의 영역 상에서 특정 렌더링을 수행할 수 있도록 한다. 프레임 종류 동기화 표시자는 또한 부제목들/OSD 정보가, 예를 들어, 도 10에서 렌더링 파라미터들이라고 하는 데이터 바이트들 20 내지 27에 언제 나타나야 하고 및/또는 사라져야 하는지를 나타내기 위한 동기화 타이밍 정보를 포함할 수도 있다.

도 11은 3D 비디오 포맷들의 표를 도시한다. 왼쪽 열에 있는 값들 각각은 각각의 상이한 프레임 종류들을 갖는 특정 비디오 포맷을 나타낸다. 선택된 값은, 예를 들어, 도 10의 표에서 데이터 바이트 7인 프레임 동기화 표시자에 포함된다. 데이터 바이트 7은 소스(플레이어)가 전송중인 입체 비디오 포맷을 기술한다. 도 11의 표는 가능한 값들의 일부를 열거한다. 값 0은 연관된 프레임이 2D라는 것을 나타내고, 이것은 3D 제목 동안 2D 비디오의 세그먼트들을 송신할 때 유용하다. 디스플레이 디바이스(3D-TV)는 3D 비디오 포맷의 이러한 변경, 예를 들어, 프레임 순차적 포맷의 경우에서의 시간적 업-컨버전의 스위치 오프에 대한 그의 내부 이미지 처리를 적응시킬 수도 있다.

도 12는 프레임 동기화 신호를 도시한다. 동기화 신호는 프레임 동기화 표시자, 예를 들어, 도 10의 데이터 바이트 8에 포함될 수도 있다. 데이터 바이트 8은 스테레오 동기 신호를 전달하고, 도 12는 싱크 신호의 포맷을 도시한다. 싱크 신호는 비디오 프레임의 콘텐트를 비디오 포맷과 함께 표시한다.

도 10의 데이터 바이트 9 및 10의 값들은 비디오 포맷에 따른다. 예를 들어, (오토-) 스테레오스코픽 비디오에 있어서, 그들은 비디오 콘텐트의 최대 및 최소 시차를 나타낸다. 대안적으로, 그들은 "깊이" 정보의 오프셋 및 스케일링 인자를 나타낼 수도 있다. 비트 정확도 요건이 더 높은 경우에(즉, 10-비트 깊이), 하위 비트들을 저장하기 위해 부가적인 레지스터들이 사용될 수 있다.

도 13은 부가적인 비디오 층들에 대한 값들을 도시한다. 비디오 포맷은 3D 비디오 신호에서 부제목들 또는 메뉴들(온 스크린 데이터, OSD)와 같은 부가적인 층들에 대한 프레임들을 개별적으로 포함할 수 있도록 함으로써 확장될 수도 있다. 도 4에서, 데이터 바이트 11은 부제목들 또는 OSD 오버레이가 존재하는 것을 나타낼 수도 있다. 도 13은 부가적인 층들을 나타내기 위한 다수의 비디오 포맷 파라미터 값들을 나타낸다. 도 10의 나머지 바이트들 20 내지 27은 3D 디스플레이들과 관련된 스케일링된 깊이에 대한 정보 및 폐색 정보를 나타내도록 특정 파라미터들을 제공하기 위해 사용될 수도 있다.

본 발명은 프로그램 가능한 구성요소들을 사용하여 하드웨어 및/또는 소프트웨어로 구현될 수도 있다는 것을 유념해야 한다. 본 발명을 구현하기 위한 방법은 도 1을 참조하여 설명된 3D 이미지 데이터의 전송에 대응하는 처리 단계들을 포함한다. 본 발명은 광학 기록 캐리어들 또는 인터넷을 사용하는 실시예들에 의해 주로 설명되었지만, 본 발명은 또한 3D 개인용 컴퓨터[PC] 디스플레이 인터페이스, 또는 무선 3D 디스플레이 디바이스에 연결된 3D 매체 센터 PC와 같은 임의의 이미지 인터페이싱 환경에도 적합하다.

본 발명은 다음과 같이 요약될 수 있다: 3차원(3D) 이미지 데이터를 전송하는 시스템이 기술된다. 3D 소스 디바이스는 HDMI와 같은 고속 디지털 인터페이스를 통해 3D 디스플레이 신호를 디스플레이에 제공한다. 3D 디스플레이 신호는 3D 비디오 전송 포맷에 따라 3D 이미지 데이터를 구성하는 프레임들의 시퀀스를 포함한다. 프레임들의 시퀀스는 유닛들을 포함하고, 각 유닛은 합성되어 3D 이미지로서 디스플레이되도록 하는 비디오 정보를 포함하는 프레임들에 대응하고; 각 프레임은 디지털 이미지 화소 데이터의 시퀀스를 나타내기 위한 데이터 구조체를 갖고 부분적 3D 데이터 구조체를 나타낸다. 3D 소스 디바이스는 3D 디스플레이 신호에서 단일 3D 이미지로 구성될 유닛들에서 적어도 다수의 비디오 프레임들에 관한 정보를 포함하는 3D 전송 정보를 포함한다. 디스플레이는 3D 전송 정보를 검출하고, 3D 전송 정보에 기초하여 디스플레이 제어 신호들을 발생시킨다. 3D 전송 정보는 바람직하게 프레임들을 3D 디스플레이 신호로 멀티플렉싱하기 위한 멀티플렉싱 방식에 관한 정보를 더 포함하고, 가장 바람직하게는 프레임들에 대한 화소 크기 및 주파수 레이트에 관한 정보를 포함한다.

본원에서, 단어 "포함하는"은 열거된 것 이외의 다른 요소들이나 단계들의 존재를 배제하지 않고, 요소 앞에 오는 단어 "한" 또는 "하나의"는 이러한 요소들이 복수 존재하는 것을 배제하지 않고, 임의의 참조 부호들은 청구항들의 범위를 제한하지 않고, 본 발명은 하드웨어 및 소프트웨어 모두에 의해 구현될 수도 있고, 여러 개의 "수단들" 또는 "유닛들"은 하드웨어 또는 소프트웨어의 동일한 항목으로 표현될 수도 있고, 처리기는 바람직하게 하드웨어 요소들과 함께 하나 이상의 유닛들의 기능을 수행할 수도 있다는 것을 유념해야 한다. 또한, 본 발명은 실시예들로 제한되지 않고, 새로운 특징 또는 상기 기술된 특징들의 조합 모두에 포함된다.

10 : 3D 소스 디바이스 11 : 송신 동기화 유닛
12 : 출력 인터페이스 수단 13 : 3D 디스플레이 디바이스
14 : 입력 인터페이스 유닛 15, 16 : 사용자 제어 소자
17 : 3D 디스플레이 18 : 처리 유닛
19 : 검출 유닛 51 : 입력 유닛
52 : 발생 수단 54 : 광학 기록 캐리어
55 : 네트워크 56 : 3D 디스플레이 신호
57 : 원격 매체 서버 58 : 광학 디스크 유닛
59 : 네트워크 인터페이스 유닛

Claims (15)

1. 3차원[3D] 이미지 데이터의 전송 방법에 있어서:
   3D 소스 디바이스에서,
   3D 디스플레이 신호를 발생시키기 위해 소스 이미지 데이터를 처리하는 단계로서, 상기 3D 디스플레이 신호는 3D 비디오 전송 포맷에 따라 상기 3D 이미지 데이터를 구성하는 프레임들의 시퀀스를 포함하고, 상기 3D 비디오 포맷은 액티브 비디오의 화소들이 송신되는 동안의 비디오 데이터 기간 및 일련의 패킷들을 사용하여 오디오 및 보조 데이터가 송신되는 동안의 데이터 아일랜드 기간(data island period)을 포함하고, 상기 패킷들은 인포 프레임 패킷을 포함하고, 비디오 데이터 기간 및 데이터 아일랜드 기간은 HDMI에 따르는, 상기 소스 이미지 데이터를 처리하는 단계, 및
   상기 3D 디스플레이 신호를 출력하는 단계를 포함하고,
   3D 디스플레이 디바이스에서,
   상기 3D 디스플레이 신호를 수신하는 단계, 및
   상기 3D 이미지 데이터를 3D 디스플레이 상에 렌더링하기 위한 디스플레이 제어 신호들을 발생시키기 위한 3D 디스플레이 신호를 처리하는 단계를 포함하고,
   상기 프레임들의 시퀀스는 유닛들을 포함하고, 상기 유닛은 하나의 수직 동기화 신호로부터 다음 수직 동기화 신호까지의 기간이고, 각 유닛은 멀티플렉싱 방식에 따라 배열된 다수의 프레임들에 대응하고, 상기 다수의 프레임들은 합성되어 3D 이미지로서 디스플레이되도록 하는 비디오 정보를 포함하고,
   상기 유닛에서의 각 프레임은 디지털 이미지 화소 데이터의 시퀀스를 나타내기 위한 데이터 구조체를 갖고, 각 프레임은 부분적 3D 데이터 구조체를 나타내고,
   상기 방법은, 상기 3D 소스 디바이스에서,
   부가적인 인포 프레임 패킷에 3D 전송 정보를 포함하는 단계로서, 상기 3D 전송 정보는 상기 3D 디스플레이 신호에서 단일 3D 이미지로 구성되는 유닛에 상기 다수의 비디오 프레임들을 포함하는 적어도 상기 멀티플렉싱 방식에 관한 정보를 포함하고, 상기 멀티플렉싱 방식은 적어도 프레임 교호 멀티플렉싱을 포함하는 멀티플렉싱 방식들의 그룹에서 선택되고, 상기 프레임 교호는 상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 순차적으로 배열되는 것을 나타내는, 상기 3D 전송 정보를 포함하는 단계를 포함하고;
   적어도 하나의 멀티플렉싱 방식을 위한 3D 이미지로 구성되고 디스플레이될 상기 다수의 프레임들은 적어도 하나의 그래픽 정보의 프레임을 포함하고;
   상기 디스플레이 제어 신호들을 발생시키는 것은 상기 3D 전송 정보에 의존하여 수행되는, 3차원 이미지 데이터의 전송 방법.
2. 제 1 항에 있어서,
   상기 멀티플렉싱 방식에 관한 상기 정보에서, 상기 멀티플렉싱 방식들의 그룹은:
   필드 교호 멀티플렉싱;
   라인 교호 멀티플렉싱;
   상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 나란히 배열되는 것을 나타내는 사이드 바이 사이드 프레임 멀티플렉싱;
   2D 및 깊이 프레임 멀티플렉싱; 및
   2D, 깊이, 그래픽 및 그래픽 깊이 프레임 멀티플렉싱 중 적어도 하나를 추가로 포함하는, 3차원 이미지 데이터의 전송 방법.
3. 제 1 항에 있어서,
   상기 3D 전송 정보는 프레임들에 대한 화소 크기 및 주파수 레이트에 대한 정보를 포함하는, 3차원 이미지 데이터의 전송 방법.
4. 제 3 항에 있어서,
   상기 비디오 전송 포맷은 HDMI인, 3차원 이미지 데이터의 전송 방법.
5. 제 4 항에 있어서,
   상기 3D 전송 정보는 AVI 인포프레임에 포함되는, 3차원 이미지 데이터의 전송 방법.
6. 제 4 항에 있어서,
   상기 3D 전송 정보는 벤더 고유의 인포프레임에 포함되는, 3차원 이미지 데이터의 전송 방법.
7. 3차원[3D] 이미지 데이터를 3D 디스플레이 디바이스에 전송하기 위한 3D 소스 디바이스에 있어서:
   3D 디스플레이 신호(56)를 발생시키기 위해 소스 이미지 데이터를 처리하기 위한 발생 수단(52)으로서, 상기 3D 디스플레이 신호는 3D 비디오 전송 포맷에 따라 상기 3D 이미지 데이터를 구성하는 프레임들의 시퀀스를 포함하고, 상기 3D 비디오 포맷은 액티브 비디오의 화소들이 송신되는 동안의 비디오 데이터 기간 및 일련의 패킷들을 사용하여 오디오 및 보조 데이터가 송신되는 동안의 데이터 아일랜드 기간을 포함하고, 상기 패킷들은 인포 프레임 패킷들들 포함하고, 비디오 데이터 기간 및 데이터 아일랜드 기간은 HDMI에 따르는, 상기 발생 수단(52), 및
   상기 3D 디스플레이 신호를 출력하기 위한 출력 인터페이스 수단(12)으로서, 각 프레임은 디지털 이미지 화소 데이터의 시퀀스를 나타내기 위한 데이터 구조체를 갖고, 각 프레임은 부분적 3D 데이터 구조체를 나타내는, 상기 출력 인터페이스 수단(12)을 포함하고,
   상기 프레임들의 시퀀스는 유닛들을 포함하고, 상기 유닛은 하나의 수직 동기화 신호로부터 다음 수직 동기화 신호까지의 기간이고, 각 유닛은 멀티플렉싱 방식에 따라 배열된 다수의 프레임들에 대응하고, 상기 다수의 프레임들은 합성되어 3D 이미지로서 디스플레이되도록 하는 비디오 정보에 대한 비디오 정보를 포함하고,
   상기 출력 인터페이스 수단은 부가적인 인포 프레임 패킷에서 3D 전송 정보를 송신하도록 적응되고, 상기 3D 전송 정보는 상기 3D 디스플레이 신호에서 단일 3D 이미지로 구성되는 유닛에서 상기 다수의 비디오 프레임들을 포함하는 적어도 상기 멀티플렉싱 방식에 관한 정보를 포함하고, 상기 멀티플렉싱 방식은 적어도 프레임 교호 멀티플렉싱을 포함하는 멀티플렉싱 방식들의 그룹에서 선택되고, 상기 프레임 교호는 상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 순차적으로 배열되는 것을 나타내고,
   적어도 하나의 멀티플렉싱 방식을 위한 3D 이미지로 구성되고 디스플레이될 상기 다수의 프레임들은 적어도 하나의 그래픽 정보의 프레임을 포함하고,
   상기 디스플레이 디바이스에서, 상기 3D 전송 정보에 의존하여 디스플레이 제어 신호들을 발생시키는, 3D 소스 디바이스.
8. 제 7 항에 있어서,
   상기 출력 인터페이스 수단은:
   필드 교호 멀티플렉싱;
   라인 교호 멀티플렉싱;
   상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 나란히 배열되는 것을 나타내는 사이드 바이 사이드 프레임 멀티플렉싱;
   2D 및 깊이 프레임 멀티플렉싱; 및
   2D, 깊이, 그래픽 및 그래픽 깊이 프레임 멀티플렉싱 중 적어도 하나를 추가로 포함하는 상기 멀티플렉싱 방식들의 그룹에 의한 상기 멀티플렉싱 방법에 관한 정보를 추가로 제공하도록 적응되는, 3D 소스 디바이스.
9. 3D 디스플레이 디바이스에 있어서:
   3D 이미지 데이터를 디스플레이하기 위한 3D 디스플레이(17),
   3D 디스플레이 신호를 수신하기 위한 입력 인터페이스 수단(14)으로서, 상기 3D 디스플레이 신호는 3D 비디오 전송 포맷에 따라 상기 3D 이미지 데이터를 구성하는 프레임들을 포함하고, 상기 3D 비디오 포맷은 액티브 비디오의 화소들이 송신되는 동안의 비디오 데이터 기간 및 일련의 패킷들을 사용하여 오디오 및 보조 데이터가 송신되는 동안의 데이터 아일랜드 기간을 포함하고, 상기 패킷들을 인포 프레임 패킷을 포함하고, 비디오 데이터 기간 및 데이터 아일랜드 기간은 HDMI에 따르는, 상기 입력 인터페이스 수단(14), 및
   상기 3D 이미지 데이터를 상기 3D 디스플레이 상에 렌더링하기 위한 디스플레이 제어 신호들을 발생시키기 위한 처리 수단(18)을 포함하고,
   각 프레임은 디지털 이미지 화소 데이터의 시퀀스를 나타내기 위한 데이터 구조체를 갖고, 각 프레임은 부분적 3D 데이터 구조체를 나타내고,
   상기 프레임들의 시퀀스는 유닛들을 포함하고, 상기 유닛은 하나의 수직 동기화 신호로부터 다음 수직 동기화 신호까지의 기간이고, 각 유닛은 멀티플렉싱 방식에 따라 배열된 다수의 프레임들에 대응하고, 상기 다수의 프레임들은 합성되어 3D 이미지로서 디스플레이되도록 하는 비디오 정보를 포함하고,
   부가적인 인포 프레임 패킷에서의 3D 전송 정보는 상기 3D 디스플레이 신호에서 단일 3D 이미지로 구성되는 유닛에 상기 다수의 비디오 프레임들을 포함하는 적어도 상기 멀티플렉싱 방식에 관한 정보를 포함하고, 상기 멀티플렉싱 방식은 적어도 프레임 교호 멀티플렉싱을 포함하는 멀티플렉싱 방식들의 그룹에서 선택되고, 상기 프레임 교호는 상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 순차적으로 배열되는 것을 나타내고,
   적어도 하나의 멀티플렉싱 방식을 위한 3D 이미지로 구성되고 디스플레이될 상기 다수의 프레임들은 적어도 하나의 그래픽 정보의 프레임을 포함하고,
   상기 처리 수단(18)은 상기 3D 전송 정보에 의존하여 상기 디스플레이 제어 신호들을 발생시키도록 배열되는, 3D 디스플레이 디바이스.
10. 제 9 항에 있어서,
    상기 처리 수단(18)은:
    필드 교호 멀티플렉싱;
    라인 교호 멀티플렉싱;
    상기 다수의 프레임들이 상기 비디오 데이터 기간 내에 나란히 배열되는 것을 나타내는 사이드 바이 사이드 프레임 멀티플렉싱;
    2D 및 깊이 프레임 멀티플렉싱; 및
    2D, 깊이, 그래픽 및 그래픽 깊이 프레임 멀티플렉싱 중 적어도 하나를 더 포함하는 상기 멀티플렉싱 방식들의 그룹에 의한 상기 멀티플렉싱 방식에 관한 추가적인 정보에 의존하여 상기 디스플레이 제어 신호들을 발생시키도록 구성되는, 3D 디스플레이 디바이스.
11. 제 10 항에 있어서,
    상기 비디오 전송 포맷은 HDMI인, 3D 디스플레이 디바이스.
12. 제 11 항에 있어서,
    상기 3D 전송 정보는 AVI 인포프레임에 포함되는, 3D 디스플레이 디바이스.
13. 제 11 항에 있어서,
    상기 3D 전송 정보는 벤더 고유의 인포프레임에 포함되는, 3D 디스플레이 디바이스.
14. 삭제
15. 삭제

Images