KR20140022716A

KR20140022716A - 화상 데이터 송신 장치, 화상 데이터 송신 방법 및 화상 데이터 수신 장치

Info

Publication number: KR20140022716A
Application number: KR1020127032065A
Authority: KR
Inventors: 이쿠오 츠카고시
Original assignee: 소니 주식회사
Priority date: 2011-05-19
Filing date: 2012-04-18
Publication date: 2014-02-25
Also published as: BR112013000810A2; TW201301864A; US20120293618A1; JP2012244411A; WO2012157394A1; EP2574064A4; CN103004215A; EP2574064A1

Abstract

동기 표시하여야 할 복수의 화상 데이터의 각각을 포함하는 복수의 비디오 스트림을 별개의 방송 스트림으로 송신할 때에, 수신측에서의 동기 표시를 보증한다.
송신측부터, 제 1의 화상 데이터를 포함하는 제 1의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 송신한다. 이 제 1의 비디오 스트림에, 스트림 동기 정보를 삽입한다. 이 스트림 동기 정보는, 제 1의 비디오 스트림과, 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터를 포함하는 제 2의 비디오 스트림을, 프레임 단위로 동기시키기 위한 정보이다. 수신측에서, 이 스트림 동기 정보에 의거하여, 제 1의 비디오 스트림과 제 2의 비디오 스트림을 프레임 단위로 동기시킬 수 있다.

Description

화상 데이터 송신 장치, 화상 데이터 송신 방법 및 화상 데이터 수신 장치{IMAGE DATA TRANSMITTING DEVICE, IMAGE DATA TRANSMITTING METHOD AND IMAGE DATA RECEIVING DEVICE}

본 기술은, 화상 데이터 송신 장치, 화상 데이터 송신 방법 및 화상 데이터 수신 장치에 관한 것으로, 특히, 스테레오 입체 화상 표시 등의 서비스를 위한 복수의 비디오 스트림을 별개의 방송 스트림으로 송신하는 경우에 적용할 수 있는 화상 데이터 송신 장치, 화상 데이터 송신 방법 및 화상 데이터 수신 장치에 관한 것이다.

예를 들면, 특허 문헌 1에는, 입체 화상 데이터의 텔레비전 방송 전파를 이용한 전송 방식에 관해 제안되어 있다. 이 경우, 좌안 화상 데이터 및 우안 화상 데이터를 포함하는 입체 화상 데이터가 송신되고, 텔레비전 수신기에서, 양안 시차를 이용한 입체 화상 표시가 행하여진다.

도 35는, 양안 시차를 이용한 스테레오 입체 화상 표시에서, 스크린상에서의 오브젝트(물체)의 좌우상의 표시 위치와, 그 입체 화상(3D 화상)의 재생 위치와의 관계를 도시하고 있다. 예를 들면, 스크린상에 도시하는 바와 같이 좌상(La)이 우측에 우상(Ra)이 좌측에 어긋나서 표시되어 있는 오브젝트(A)에 관해서는, 좌우의 시선이 스크린면보다 앞에서 교차하기 때문에, 그 입체 화상의 재생 위치는 스크린면보다 앞이 된다.

또한, 예를 들면, 스크린상에 도시하는 바와 같이 좌상(Lb) 및 우상(Rb)이 동일 위치에 표시되어 있는 오브젝트(B)에 관해서는, 좌우의 시선이 스크린면에서 교차하기 때문에, 그 입체 화상의 재생 위치는 스크린면상이 된다. 또한, 예를 들면, 스크린상에 도시하는 바와 같이 좌상(Lc)이 좌측에 우상(Rc)이 우측에 어긋나서 표시되어 있는 오브젝트(C)에 관해서는, 좌우의 시선이 스크린면보다 뒤에서 교차하기 때문에, 그 입체 화상의 재생 위치는 스크린면보다 뒤가 된다.

특허 문헌 1 : 일본 특개2005-6114호 공보

예를 들면, 지상 방송 등의 대역이 한정되어 있는 방송에서는, 풀 HD 해상도(1920*1080)의 좌안 화상 데이터 및 우안 화상 데이터를 병행하여 보내는 것이 곤란하다. 이 경우, 좌안 화상 데이터 및 우안 화상 데이터가 각각 포함되는 비디오 스트림을 별개의 방송 스트림으로 송신하는 것이 생각되지만, 수신측에서 동기 표시를 보증할 필요가 있다.

또한, 이런 종류의 문제는, 4K2K, 8K4K 등의 초고정밀한 화상 데이터를 분할하여, 각각의 분할 화상 데이터가 포함되는 비디오 스트림을 별개의 방송 스트림으로 송신하는 경우에도 생긴다. 또한, 이런 종류의 문제는, 중첩 표시를 위한 2개의 화상 데이터가 각각 포함되는 비디오 스트림을 별개의 방송 스트림으로 송신하는 경우에도 생긴다.

본 기술의 목적은, 동기(同期) 표시하여야 할 복수의 화상 데이터의 각각을 포함하는 복수의 비디오 스트림을 별개의 방송 스트림으로 송신할 때에, 수신측에서의 동기 표시를 보증하는 것에 있다.

본 기술의 개념은,

제 1의 화상 데이터를 포함하는 제 1의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 송신하는 송신부를 구비하고,

상기 제 1의 비디오 스트림에, 그 제 1의 비디오 스트림과, 상기 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터가 포함되는 제 2의 비디오 스트림을 프레임 단위로 동기시키기 위한 스트림 동기 정보가 삽입되어 있는

화상 데이터 송신 장치에 있다.

본 기술에서, 송신부에 의해, 제 1의 화상 데이터를 포함하는 제 1의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림이 송신된다. 이 제 1의 비디오 스트림에, 스트림 동기 정보가 삽입되어 있다. 이 스트림 동기 정보는, 제 1의 비디오 스트림에, 이 제 1의 비디오 스트림과, 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터가 포함되는 제 2의 비디오 스트림을 프레임 단위로 동기시키기 위한 정보이다.

이와 같이 본 기술에서는, 제 1의 비디오 스트림에 스트림 동기 정보가 삽입되어 있다. 그 때문에, 수신측에서, 이 스트림 동기 정보에 의거하여, 제 1의 비디오 스트림과 제 2의 비디오 스트림을 프레임 단위로 동기시킬 수 있다. 따라서 수신측에서, 제 1의 화상 데이터와 제 2의 화상 데이터와의 동기 표시가 보증된다.

또한, 본 기술은, 예를 들면, 스트림 동기 정보는, 제 1 또는 제 2의 비디오 스트림의 픽처 레이어에 삽입되고, 이 스트림 동기 정보에는, 당해 프레임의 표시 스킵을 행하는지의 여부를 나타내는 정보, 및 당해 프레임의 표시 타이밍의 보정치가 포함되도록 되어도 좋다.

또한, 본 기술은, 예를 들면, 이 스트림 동기 정보에, 스트림의 초기 프레임으로부터의 프레임 수를 나타내는 정보, 제 2의 비디오 스트림의 존재를 나타내는 플래그 정보, 동기 표시의 타입을 나타내는 정보 등이 부가되어 있어도 좋다. 동기 표시의 타입으로서는, 예를 들면, 스테레오 입체 화상 표시, 고정밀 화상 표시, 중첩 표시 등이 있다.

또한, 본 기술은, 예를 들면, 소정 컨테이너 포맷의 스트림에, 제 1의 비디오 스트림 및 제 2의 비디오 스트림중 기본 비디오 스트림의 초기 타임 스탬프 정보가 삽입되어 있어도 좋다. 이와 같이, 초기 타임 스탬프 정보가 삽입됨으로써, 수신측에서, 랜덤 액세스로 기본 비디오 스트림의 도중부터 재생하는 경우에도, 제 1의 비디오 스트림과 제 2의 비디오 스트림을 프레임 단위로 동기시킬 수 있다.

또한, 본 기술은, 소정 컨테이너 포맷의 스트림에, 제 2의 화상 데이터가 포함되는 제 2의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림의 수를 나타내는 정보가 삽입되어 있어도 좋다.

또한, 본 기술은, 소정 컨테이너 포맷의 스트림에, 제 1의 비디오 스트림 및 제 2의 비디오 스트림중 기본 비디오 스트림에 스트림 동기 정보가 삽입되어 있는지의 여부를 나타내는 정보가 삽입되어 있어도 좋다.

또한, 본 기술의 다른 개념은,

제 1의 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 수신하는 제 1의 수신부와,

상기 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터를 포함하는 추가 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 수신하는 제 2의 수신부를 구비하고,

상기 추가 비디오 스트림에는, 프레임마다, 상기 기본 비디오 스트림과 상기 추가 비디오 스트림을 프레임 단위로 동기시키기 위한 프레임 동기 정보가 삽입되어 있고,

상기 제 1의 수신부에서 수신된 스트림이 갖는 상기 기본 비디오 스트림에 포함되는 상기 제 1의 화상 데이터를 취득하는 제 1의 데이터 취득부와,

상기 제 2의 수신부에서 수신된 스트림이 갖는 상기 추가 비디오 스트림에 포함되는 상기 제 2의 화상 데이터를 취득하는 제 2의 데이터 취득부와,

상기 제 2의 데이터 취득부에서 취득된 제 2의 화상 데이터를, 상기 프레임 동기 정보에 의거하여, 상기 제 1의 데이터 취득부에서 취득된 제 1의 화상 데이터에 프레임 단위로 동기시키는 동기 관리부를 또한 구비하는

화상 데이터 수신 장치에 있다.

본 기술에서, 제 1의 수신부에 의해, 제 1의 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림이 수신되고, 제 2의 수신부에 의해, 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터를 포함하는 추가 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림이 수신된다. 여기서, 추가 비디오 스트림에는, 프레임마다, 기본 비디오 스트림과 추가 비디오 스트림을 프레임 단위로 동기시키기 위한 프레임 동기 정보가 삽입되어 있다.

제 1의 데이터 취득부에 의해, 기본 비디오 스트림에 포함되는 제 1의 화상 데이터가 취득되고, 제 2의 데이터 취득부에 의해, 추가 비디오 스트림에 포함되는 제 2의 화상 데이터가 취득된다. 이 경우, 추가 비디오 스트림으로서는, 하나 또는 복수의 비디오 스트림이 생각된다. 그리고, 동기 관리부에 의해, 제 2의 화상 데이터는, 프레임 동기 정보에 의거하여, 제 1의 화상 데이터에 프레임 단위로 동기하도록, 시간축이 조정된다. 이에 의해, 제 1의 화상 데이터와 제 2의 화상 데이터와의 동기 표시가 보증된다.

또한, 본 기술의 또다른 개념은,

상기 제 2의 데이터 취득부에서 취득된 제 2의 화상 데이터를, 타임 스탬프 정보에 의거하여, 상기 제 1의 데이터 취득부에서 취득된 제 1의 화상 데이터에 프레임 단위로 동기시키는 동기 관리부를 또한 구비하는

화상 데이터 수신 장치에 있다.

본 기술에서는, 동기 관리부에 의해, 제 2의 화상 데이터는, 타임 스탬프 정보에 의거하여, 제 1의 화상 데이터에 프레임 단위로 동기하도록, 시간축이 조정된다. 이에 의해, 상술한 기본 비디오 스트림과 추가 비디오 스트림을 프레임 단위로 동기시키기 위한 프레임 동기 정보가 없는 경우라도, 제 1의 화상 데이터와 제 2의 화상 데이터와의 동기 표시가 보증된다.

본 기술에 의하면, 동기 표시하여야 할 복수의 화상 데이터의 각각을 포함하는 복수의 비디오 스트림을 별개의 방송 스트림으로 송신할 때에, 수신측에서의 동기 표시를 보증할 수 있다.

도 1은 본 기술의 실시의 형태로서의 방송 시스템의 구성례를 도시하는 블록도.
도 2는 기본이 되는 방송 스트림(Basic stream)과, 추가의 방송 스트림(Extended stream)과의 조합례를 설명하기 위한 도면.
도 3은 기본이 되는 방송 스트림과 추가의 방송 스트림의 송신을 스테레오 입체(3D) 화상 표시에 응용하는 것을 설명하기 위한 도면.
도 4는 방송 시스템에서의 스테레오 입체 화상 데이터의 전송례를 개략적으로 도시하는 도면.
도 5는 방송 시스템에서의 하나의 방송프로그램 서비스를 구성하는 스트림의 요소의 한 예를 개략적으로 도시하는 도면.
도 6은 기본이 되는 방송 스트림(Basic Stream1 : TS_B1)과, 추가의 방송 스트림(Extended_Stream1 : TS_E1)의 "Transport_Stream_id" 등의 설정례를 도시하는 도면.
도 7은 방송 시스템에서의 하나의 방송프로그램 서비스를 구성하는 스트림의 요소의 다른 예를 개략적으로 도시하는 도면.
도 8은 스트림 매핑 정보를 설명하기 위한 도면.
도 9는 방송 시스템을 구성하는 방송국 내의 송신 장치의 구성례를 도시하는 블록도.
도 10은 송신 장치를 구성하는 인코더의 상세 구성례를 도시하는 블록도.
도 11은 방송 시스템을 구성하는 유저댁 내의 수신 장치의 구성례를 도시하는 블록도.
도 12는 EPG 화면상에서 재생 예약 방송프로그램의 선택을 행하는 양상을 도시하는 도면.
도 13은 송신측인 송신국(A)(채널(1)), 송신국(B)(채널(2)), 송신국(C)(채널(3))과 수신측과의 사이의 IP 네트워크의 구성례를 도시하는 도면.
도 14는 수신 장치에서의 추가의 방송 스트림을 포함하는 동적 스트림 전환의 한 예를 도시하는 도면.
도 15는 수신 장치에서의 추가의 방송 스트림을 포함하는 동적 스트림 전환에 있어서, 추가 스트림은, 스트림 매핑 정보에 의거하여, IP 네트워크를 통하여서의 스트리밍 수신, 또는 스토리지로부터의 판독에 의해 취득되는 것을 도시하는 도면.
도 16은 스트림 동기 정보(Stream_Synchronization_Information)의 구조예(Syntax)를 도시하는 도면(1/2).
도 17은 스트림 동기 정보의 구조예(Syntax)를 도시하는 도면(2/2).
도 18은 스트림 동기 정보의 구조예에서의 주요한 정보의 내용(Semantics)을 도시하는 도면(1/2).
도 19는 스트림 동기 정보의 구조예에서의 주요한 정보의 내용(Semantics)을 도시하는 도면(2/2).
도 20은 스트림 동기 정보 디스크립터(Stream_Synchronization_Information_descriptor)의 구조예(Syntax)를 도시하는 도면.
도 21은 스트림 동기 정보 디스크립터의 구조예에서의 주요한 정보의 내용(Semantics)을 도시하는 도면.
도 22는 동기 표시시키는 기간에서의 기본 스트림의 초기 타임 스탬프의 값을 동기용 오프셋의 리퍼런스로서 전송하는 것을 설명하기 위한 도면.
도 23은 수신측에서, 기본 스트림의 표시 타임 스탬프와, 초기 타임 스탬프값의 차분을 프레임 주기로 환산한 프레임 오프셋분을 고려한 버퍼 판독을 행하여 표시하는 것을 설명하기 위한 도면.
도 24는 좌안 화상 데이터를 포함하는 기본 스트림(Video1)과, 우안 화상 데이터를 포함하는 추가 스트림(Video2)의 편집의 한 예를 도시하는 도면.
도 25는 송신측에서의 재동기용 보정 오프셋과 재동기용 표시 스킵 플래그의 설정례를 도시하는 도면.
도 26은 송신측(인코더측)에서 재동기용 보정 오프셋 및 재동기용 표시 스킵 플래그가 설정된 경우의 수신측에서의 표시 타이밍의 보정례를 도시하는 도면.
도 27은 비디오의 랜덤 액세스시에 있어서의 표시 타이밍의 보정례를 도시하는 도면.
도 28은 수신 장치의 CPU에서의 동기 처리 제어의 순서의 한 예를 도시하는 플로 차트(1/3).
도 29는 수신 장치의 CPU에서의 동기 처리 제어의 순서의 한 예를 도시하는 플로 차트(2/3).
도 30은 수신 장치의 CPU에서의 동기 처리 제어의 순서의 한 예를 도시하는 플로 차트(3/3).
도 31은 기본이 되는 방송 스트림과 추가의 방송 스트림의 송신을 초고정밀 화상의 표시에 응용하는 것을 설명하기 위한 도면.
도 32는 방송 시스템에서의 초고정밀 화상 데이터의 전송례를 개략적으로 도시하는 도면.
도 33은 기본이 되는 방송 스트림과 추가의 방송 스트림의 송신을 중첩 화상의 표시에 응용하는 한 예를 설명하기 위한 도면.
도 34는 기본이 되는 방송 스트림과 추가의 방송 스트림의 송신을 중첩 화상의 표시에 응용하는 다른 예를 설명하기 위한 도면.
도 35는 양안 시차를 이용한 스테레오 입체 화상 표시에서, 스크린상에서의 오브젝트(물체)의 좌우상의 표시 위치와, 그 입체 화상(3D 화상)의 재생 위치와의 관계를 도시하는 도면.

이하, 본 기술을 실시하기 위한 형태(이하, 「실시의 형태」라고 한다)에 관해 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 실시의 형태

2. 변형례

<1. 실시의 형태>

[방송 시스템]

도 1은, 실시의 형태로서의 방송 시스템(10)의 구성례를 도시하고 있다. 이 방송 시스템(10)은, 방송국(11)에 설치된 송신 장치(100)와, 유저댁(宅)(12)에 설치된 수신 장치(200)에 의해 구성되어 있다. 또한, 실제로는, 복수의 유저댁(12)의 각각에 수신 장치(200)가 설치되어 있다.

방송국(11)은, RF 전파(방송파)에 의한 방송과, IP 네트워크를 통하여서의 방송(IPTV 방송)을 행할 수 있다. 이 방송 시스템(10)에서는, 도 2에 도시하는 바와 같이, 기본이 되는 방송 스트림(Basic stream)과, 추가의 방송 스트림(Extended stream)을 송신 가능하게 되어 있다. 여기서, RF 전파로 송신되는 방송 스트림의 컨테이너 포맷은, 예를 들면 MPEG2TS(MPEG2 Transport Stream)이다. 또한, IPTV 방송으로 송신되는 방송 스트림의 컨테이너 포맷은, 예를 들면 MPEG2TS 또는 MP4이다.

기본이 되는 방송 스트림의 송신 형태로서는, 예를 들면, RF 전파에 의한 리니어 방송, IPTV에 의한 방송(스트리밍) 및 IPTV에 의한 방송(다운로드) 등이 생각된다. 한편, 추가의 방송 스트림의 송신 형태로서는, 예를 들면, RF 전파에 의한 리니어 방송, RF 전파에 의한 축적형 방송, IPTV에 의한 방송(스트리밍) 및 IPTV에 의한 방송(다운로드) 등이 생각된다.

여기서, 기본이 되는 방송 스트림은, 제 1의 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 방송 스트림이다. 또한, 추가의 방송 스트림은, 제 1의 화상 데이터와 동기 표시하여야 할 제 2의 화상 데이터를 포함하는 추가 비디오 스트림을 갖는 방송 스트림이다. 또한, 제 2의 화상 데이터는 복수의 경우도 생각된다. 그 경우, 추가의 방송 스트림은 복수가 된다.

이 실시의 형태에서는, 기본의 방송 스트림이 RF 전파에 의한 리니어 방송이고, 추가의 방송 스트림이 IPTV에 의한 방송(스트리밍, 다운로드)인 경우에 관해 설명한다. 또한, 이 실시의 형태에서는, 도 3에 도시하는 바와 같이, 기본이 되는 방송 스트림과 추가의 방송 스트림의 송신을 스테레오 입체(3D) 화상 표시에 응용하는 경우에 관해 설명한다. 이 경우, 제 1의 화상 데이터가 스테레오 입체 화상 데이터를 구성하는 좌안 화상 데이터이고, 제 2의 화상 데이터가 스테레오 입체 화상 데이터를 구성하는 우안 화상 데이터이다.

도 4는, 방송 시스템(10)에서의 스테레오 입체 화상 데이터의 전송례를 개략적으로 도시하고 있다. 송신측(송신 장치(100))는, 예를 들면, 3D 카메라(111) 및 인코더(112)를 갖고 있다. 3D 카메라(111)에서 얻어진 좌안 화상 데이터 및 우안 화상 데이터가 인코더(112)에 공급된다. 인코더(112)에서는, 각각의 화상 데이터가 MPEG2 비디오 또는 AVC 등의 부호화 포맷으로 부호화되어, 기본 비디오 스트림 및 추가 비디오 스트림이 생성된다.

송신측부터 수신측에는, 인코더(112)에서 생성된 기본 비디오 스트림(좌안 화상 데이터를 포함한다)을 갖는 기본이 되는 방송 스트림(left view stream)이 RF 전파에 의해 보내진다. 또한, 송신측부터 수신측에는, 인코더(112)에서 생성된 추가 비디오 스트림(우안 화상 데이터를 포함한다)을 갖는 추가의 방송 스트림(right view stream)이 IP 네트워크를 통하여 보내진다.

수신측(수신 장치(200))은, 예를 들면, 디코더(241) 및 3D 모니터(242)를 갖고 있다. 디코더(241)에서는, 기본이 되는 방송 스트림(left view stream)이 갖는 기본 비디오 스트림에 대해 복호화 처리가 행하여져서 좌안 화상 데이터가 얻어진다. 또한, 디코더(241)에서는, 추가의 방송 스트림(right view stream)이 갖는 추가 비디오 스트림에 대해 복호화 처리가 행하여져서 우안 화상 데이터가 얻어진다. 그리고, 이들 좌안 화상 데이터 및 우안 화상 데이터가 3D 모니터(242)에 공급되어 스테레오 입체 화상 표시가 행하여진다.

도 1로 되돌아와, 송신 장치(100)는, 기본 비디오 스트림 및 추가 비디오 스트림에, 스트림 동기 정보(Stream_Synchronization_Information)를 삽입한다. 이 스트림 동기 정보는, 수신측에서, 기본 비디오 스트림 및 추가 비디오 스트림을 프레임 단위로 동기시키기 위한 정보를 포함하고 있다. 이 스트림 동기 정보는, 비디오 스트림의 픽처 레이어, 예를 들면 픽처 헤더의 유저 데이터 영역 또는 그에 상당하는 영역에 삽입된다. 이 스트림 동기 정보에는, 스트림의 초기 프레임으로부터의 프레임 수를 나타내는 정보, 동기 관계에 있는 다른 방송 스트림의 존재를 나타내는 정보, 동기 표시의 타입을 나타내는 정보 등도 포함되어 있다. 이 스트림 동기 정보의 상세에 관해서는 후술한다.

또한, 송신 장치(100)는, 기본이 되는 방송 스트림 및 추가의 방송 스트림에, 스트림 동기 정보 디스크립터(Stream_Synchronization_Information_descriptor)를 삽입한다. 이 스트림 동기 정보 디스크립터는, 기본 비디오 스트림의 초기 타임 스탬프 정보 등을 포함하고 있다. 이 스트림 동기 정보 디스크립터에는, 동기 관계에 있는 다른 방송 스트림의 수를 나타내는 정보, 기본 비디오 스트림에 상술한 스트림 동기 정보가 포함되어 있는지의 여부를 나타내는 정보 등도 포함되어 있다. 이 스트림 동기 정보 디스크립터의 상세에 관해서는 후술한다.

도 5는, 도 1의 방송 시스템(10)에서의 하나의 방송프로그램 서비스를 구성하는 스트림의 요소의 한 예를 개략적으로 도시하고 있다. 이 예에서는, 기본이 되는 방송 스트림 및 추가의 방송 스트림의 컨테이너 포맷이 쌍방 함께 MPEG2TS인 경우를 나타내고 있다. 여기서, 「Transport Stream1」은, 좌안 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 기본이 되는 방송 스트림을 나타내고 있다. 또한, 「Transport Stream2」는 우안 화상 데이터를 포함하는 추가 비디오 스트림을 갖는 추가의 방송 스트림을 나타내고 있다.

이 경우, 「Transport Stream1」 및 「Transport Stream2」의 쌍방의 "Transport_Stream_id"가 같은 값이 된다. 즉, NIT(Network Information Table), SDT(Service Description Table), PMT(Program Map Table) 및 EIT(Event Information Table)의 "Transport_Stream_id"는, 쌍방의 스트림에서 같은 값이 된다. 또한, PMT의 "Program_number"는, 쌍방의 스트림에서 같은 값이 된다. 이들에 의해, 쌍방의 방송 스트림이 관계부여가 행하여지고 있다.

도 6은, 기본이 되는 방송 스트림(Basic Stream1 : TS_B1)인 「Transport Stream1」과, 추가의 방송 스트림(Extended_Stream1 : TS_E1)인 「Transport Stream2」의 각 값의 설정례를 도시하고 있다. 기본이 되는 방송 스트림(TS_B1)에서는, "transport_stream_id=0x1110"이 되고, "program_number=0x1000"이 되고, "elementary_PID=0x1FF0"으로 되어 있다. 이에 대해, 추가의 방송 스트림(TS_E1)에서는, "transport_stream_id=0x1110"이 되고, "program_number=0x1000"이 되고, "elementary_PID=0x1FF1" 되어 있다.

이와 같이, "transport_stream_id", "program_number"의 값이 기본이 되는 방송 스트림과 추가의 방송 스트림에서 같음으로써, 쌍방이 동일 서비스에 의한 스트림인 것이 나타난다. 또한, "elementary_PID"의 값이 기본이 되는 방송 스트림과 추가의 방송 스트림에서 다름으로써, 쌍방이 갖는 기본 비디오 스트림과 추가 비디오 스트림은 다른 비디오 엘리멘터리 스트림인 것이 나타난다.

「Transport Stream1」의 PMT에는, 비디오 엘리멘터리 스트림(기본 비디오 스트림)에 관련된 정보를 갖는 비디오 엘리멘터리 루프가 존재한다. 이 비디오 엘리멘터리 루프에는, 기본 비디오 스트림의 패킷 식별자(PID), 스트림 타입(Stream_Type) 등의 정보가 배치되고, 또한, 상술한 스트림 동기 정보 디스크립터가 배치되어 있다.

마찬가지로, 「Transport Stream2」의 PMT에는, 비디오 엘리멘터리 스트림(추가 비디오 스트림)에 관련된 정보를 갖는 비디오 엘리멘터리 루프가 존재한다. 이 비디오 엘리멘터리 루프에는, 추가 비디오 스트림의 패킷 식별자(PID), 스트림 타입(Stream_Type) 등의 정보가 배치되고, 또한, 상술한 스트림 동기 정보 디스크립터가 배치되다. 또한, 「Transport Stream1」, 「Transport Stream2」에서, 스트림 동기 정보 디스크립터는, 도 5에 파선으로 도시하는 바와 같이, EIT의 배하에 배치하는 것도 생각된다.

또한, 「Transport Stream1」에는, 기본 비디오 스트림을 패킷화하여 얻어진 PES 패킷「Video PES1」이 포함되어 있다. 이 기본 비디오 스트림에, 상술한 스트림 동기 정보가 삽입되어 있다. 이 스트림 동기 정보는, 픽처 헤더의 유저 데이터 영역, 또는 그에 상당하는 영역에 삽입되어 있다. 마찬가지로, 「Transport Stream2」에는, 추가 비디오 스트림을 패킷화하여 얻어진 PES 패킷「VideoPES2」가 포함되어 있다. 이 추가 비디오 스트림에, 상술한 스트림 동기 정보가 삽입되어 있다. 이 스트림 동기 정보는, 픽처 헤더의 유저 데이터 영역, 또는 그에 상당하는 영역에 삽입되어 있다.

도 7은, 도 1의 방송 시스템(10)에서의 하나의 방송프로그램 서비스를 구성하는 스트림의 요소의 다른 예를 개략적으로 도시하고 있다. 이 예에서는, 기본이 되는 방송 스트림의 컨테이너 포맷이 MPEG2TS이고, 추가의 방송 스트림의 컨테이너 포맷이 MP4인 경우를 도시하고 있다. 여기서, 「Transport Stream1」은, 좌안 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 기본이 되는 방송 스트림을 나타내고, 「MP4Stream」은 우안 화상 데이터를 포함하는 추가 비디오 스트림을 갖는 추가의 방송 스트림을 나타내고 있다. 상세 설명은 생략하지만, 「Transport Stream1」에 관해서는, 도 5에서 「Transport Stream1」과 마찬가지이다.

「MP4Stream」은, 박스 구조로 되어 있고, MOOV 박스, Mdat 박스, Moof 박스 등을 포함하고 있다. MOOV 박스는, 모든 메타 데이터를 포함하는 컨테이너이고, 파일 중에 하나만 포함된다. Mdat 박스는, 데이터 본체의 컨테이너이고, 파일중에 임의의 수만큼 포함할 수 있다. 추가 비디오 스트림「VideoES2」는, Mdat 박스 내에 배치된다.

상술한 스트림 동기 정보 디스크립터는, MOOV 박스 또는 Moof 박스에 격납되는 uuid(private extension)에 메타 데이터로서 삽입된다. 또한, Mdat 박스에 배치되는 추가 비디오 스트림에, 상술한 스트림 동기 정보가 삽입되어 있다. 이 스트림 동기 정보는, 픽처 헤더의 유저 데이터 영역, 또는 그에 상당하는 영역에 삽입되어 있다.

또한, 「Transport Stream1」과 「MP4Stream」의 관련지움은, 수신 장치(200)에 미리 설정된 스트림 매핑 정보(SMI : Stream Mapping Information)에 의거하여 행하여진다. 이 스트림 매핑 정보는, 예를 들면, 방송프로그램 식별자(Program number)와, 파일 네임(File name)과, TS의 스트림 ID(Transport_Stream_id)의 대응 관계를 나타내는 것이다. 방송프로그램 식별자(Program number)는, 방송국의 방송프로그램마다 결정되는 번호로, 방송프로그램 구성을 나타내는 PMT라고 링크하는 것이다. 도 8에 도시하는 바와 같이, 파일 네임(File name)은, MPEG2TS와 MP4 파일의 별종(別種) 포맷의 컨테이너가 하나의 방송프로그램 서비스를 구성하는 것을 나타내기 위한 것이다.

[송신 장치의 구성례]

도 9는, 송신 장치(100)의 구성례를 도시하고 있다. 이 송신 장치(100)는, 3D 카메라(111)와, 인코더(112)와, 송신부(113)와, IPTV 방송의 배신 서버(114)를 갖고 있다. 3D 카메라(111)는, 피사체를 촬상하여, 스테레오 입체 화상 데이터로서의 좌안 화상 데이터 및 우안 화상 데이터를 출력한다. 인코더(112)는, 각각의 화상 데이터를 MPEG2 비디오 또는 AVC 등의 부호화 포맷으로 부호화하고, 좌안 화상 데이터를 포함하는 기본 비디오 스트림, 및 우안 화상 데이터를 포함하는 추가 비디오 스트림을 생성한다. 도 10은, 인코더(112)의 상세 구성례를 도시하고 있다. 인코더(112)는, 전체의 동작을 제어하는 CPU120 외에, 비디오 인코더(121L) 121R), 다중화부(122L, 122R)를 구비한 구성으로 되어 있다.

인코더(112)는, 좌안 화상 데이터(left view video)를 포함하는 기본 비디오 스트림을 갖는 기본이 되는 방송 스트림(left view stream : Basic stream)을 생성한다. 이 경우, 인코더(112)는, 도 10에 도시하는 바와 같이, 다중화부(122L)에서, 기본 비디오 스트림(비디오 엘리멘터리 스트림)에, 필요에 응하여, 그래픽스 스트림, 오디오 스트림 등의 그 밖의 엘리멘터리 스트림을 다중화하는 것도 행한다.

또한, 인코더(112)는, 비디오 인코더(121L)에서, 좌안 화상 데이터(left view video)를 부호화하여 기본 비디오 스트림을 생성한다. 인코더(112)는, 이 비디오 인코더(121L)에서, 기본 비디오 스트림에, 상술한 스트림 동기 정보(Stream_Synchronization_Information)를 삽입한다. 또한, 인코더(112)는, 기본이 되는 방송 스트림(left view stream)에, 상술한 스트림 동기 정보 디스크립터(Stream_Synchronization_Information_descriptor)를 삽입한다. 또한, 이 방송 스트림(left view stream)의 컨테이너 포맷은 MPEG2TS가 된다.

또한, 인코더(112)는, 우안 화상 데이터를 포함하는 추가 비디오 스트림을 갖는 추가의 방송 스트림(Right view stream : Extended stream)을 생성한다. 이 경우, 인코더(112)는, 도 10에 도시하는 바와 같이, 다중화부(122R)에서, 추가 비디오 스트림(비디오 엘리멘터리 스트림)에 , 필요에 응하여, 그래픽스 스트림, 오디오 스트림 등의 그 밖의 엘리멘터리 스트림을 다중화하는 것도 행한다.

또한, 인코더(112)는, 비디오 인코더(121R)에서, 우안 화상 데이터(right view video)를 부호화하여 추가 비디오 스트림을 생성한다. 인코더(112)는, 이 비디오 인코더(121R)에서, 추가 비디오 스트림에, 상술한 스트림 동기 정보(Stream_Synchronization_Information)를 삽입한다. 또한, 인코더(112)는, 추가의 방송 스트림(right view stream)에, 상술한 스트림 동기 정보 디스크립터(Stream_Synchronization_Information_descriptor)를 삽입한다. 또한, 이 방송 스트림(right view stream)의 컨테이너 포맷은 MPEG2TS 또는 MP4가 된다.

송신부(113)는, 인코더(112)에서 생성되는 기본이 되는 방송 스트림(left view stream)을 RF 변조하여 소정의 주파수대역의 신호로 하여, 안테나로부터 방송 전파로서 출력시킨다. 배신 서버(114)는, 인코더(112)에서 생성되는 추가의 방송 스트림(right view stream)을 축적하고, 수신측에서의 송신 요구에 응하여, IP 네트워크를 통하여, 스트리밍 송신 또는 다운로드 송신을 행한다.

도 9에 도시하는 송신 장치(100)의 동작을 설명한다. 3D 카메라(111)에서는, 피사체가 촬상되어, 스테레오 입체 화상 데이터로서의 좌안 화상 데이터 및 우안 화상 데이터가 얻어진다. 이 좌안 화상 데이터 및 우안 화상 데이터는, 인코더(112)에 공급된다. 인코더(112)에서는, 좌안 화상 데이터 및 우안 화상 데이터의 각각이 MPEG2 비디오 또는 AVC 등의 부호화 포맷으로 부호화되어, 좌안 화상 데이터를 포함하는 기본 비디오 스트림, 및 우안 화상 데이터를 포함하는 추가 비디오 스트림이 생성된다.

또한, 인코더(112)에서는, 좌안 화상 데이터를 포함하는 기본 비디오 스트림을 가지며, 컨테이너 포맷이 MPEG2TS인, 기본이 되는 방송 스트림(left view stream)이 생성된다. 그 때, 인코더(112)에서는, 기본 비디오 스트림(비디오 엘리멘터리 스트림)에, 필요에 응하여, 그래픽스 스트림, 오디오 스트림 등의 그 밖의 엘리멘터리 스트림을 다중화하는 것도 행하여진다.

또한, 인코더(112)에서는, 기본 비디오 스트림에, 스트림 동기 정보(Stream_Synchronization_Information)가 삽입된다. 이 경우, 이 스트림 동기 정보는, 픽처 헤더의 유저 데이터 영역, 또는 그에 상당하는 영역에 삽입된다. 또한, 인코더(112)에서는, 기본이 되는 방송 스트림(left view stream)에, 스트림 동기 정보 디스크립터(Stream_Synchronization_Information_descriptor)가 삽입된다. 이 경우, 이 스트림 동기 정보 디스크립터는, 비디오 엘리멘터리 루프의 배하, 또는 EIT의 배하에 삽입된다.

이와 같이 인코더(112)에서 생성된 기본이 되는 방송 스트림(left view stream)은, 송신부(113)에 공급된다. 송신부(113)에서는, 이 방송 스트림(left view stream)이 RF 변조되어 소정의 주파수대역의 신호가 되어, 안테나로부터 방송 전파로서 출력된다.

또한, 인코더(112)에서는, 우안 화상 데이터를 포함하는 추가 비디오 스트림을 가지며, 컨테이너 포맷이 MPEG2TS 또는 MP4인, 추가의 방송 스트림(Right view stream : Extended stream)이 생성된다. 그 때, 인코더(112)에서는, 추가 비디오 스트림(비디오 엘리멘터리 스트림)에, 필요에 응하여, 그래픽스 스트림, 오디오 스트림 등의 그 밖의 엘리멘터리 스트림을 다중화하는 것도 행하여진다.

또한, 인코더(112)에서는, 추가 비디오 스트림에, 스트림 동기 정보(Stream_Synchronization_Information)가 삽입된다. 이 경우, 이 스트림 동기 정보는, 픽처 헤더의 유저 데이터 영역, 또는 그에 상당하는 영역에 삽입된다. 또한, 인코더(112)에서는, 추가의 방송 스트림(right view stream)에, 스트림 동기 정보 디스크립터(Stream_Synchronization_Information_descriptor)가 삽입된다.

이 스트림 동기 정보 디스크립터는, 컨테이너 포맷이 MPEG2TS인 경우에는, 비디오 엘리멘터리 루프의 배하에 삽입된다. 또는, 이 스트림 동기 정보 디스크립터는, 컨테이너 포맷이 MP4인 경우에는, MOOV 박스 또는 Moof 박스에 격납되는 uuid(private extension)에 메타 데이터로서 삽입된다.

이와 같이 인코더(112)에서 생성되는 추가의 방송 스트림(right view stream)은, 배신 서버(114)에 축적된다. 배신 서버(114)에서는, 이 추가의 방송 스트림이, 수신측에서의 송신 요구에 응하여, IP 네트워크를 통하여, 스트리밍 송신 또는 다운로드 송신된다.

[수신 장치의 구성례]

도 11은, 수신 장치(200)의 구성례를 도시하고 있다. 또한, 이 수신 장치(200)는, 설명의 간단화를 위해, 오디오계에 관해서는 생략하고 있다. 이 수신 장치(200)는, CPU(201)와, 플래시 ROM(202)과, DRAM(203)과, 내부 버스(204)와, 리모콘 수신부(205)와, 리모콘 송신기(206)를 갖고 있다. 또한, 이 수신 장치(200)는, 안테나 단자(210)와, 디지털 튜너(211)와, 스트림 버퍼(212)와, 디멀티플렉서(213)와, 비디오 디코더(214)와, 뷰 버퍼(215)와, 비디오 중첩부(216)를 갖고 있다.

또한, 이 수신 장치(200)는, 네트워크 단자(221)와, 통신 인터페이스(통신 I/F)(222)와, 하드 디스크 드라이브 또는 반도체 메모리 등으로 구성되는 스토리지(223)를 갖고 있다. 또한, 이 수신 장치(200)는, 스트림 버퍼(224)와, 디멀티플렉서(225)와, 비디오 디코더(226)와, 뷰 버퍼(227)와, 비디오 중첩부(228)를 갖고 있다. 또한, 이 수신 장치(200)는, 그래픽스 디코더(231)와, 그래픽스 발생부(232)와, 그래픽스 버퍼(233, 234)를 갖고 있다.

CPU(201)는, 수신 장치(200)의 각 부분의 동작을 제어한다. 플래시 ROM(202)은, 제어 소프트웨어의 격납 및 데이터의 보관을 행한다. DRAM(203)은, CPU(201)의 워크 에어리어를 구성한다. CPU(201)는, 플래시 ROM(202)으로부터 판독한 소프트웨어나 데이터를 DRAM(203)상에 전개하여 소프트웨어를 기동시켜서, 수신 장치(200)의 각 부분을 제어한다. 리모콘 수신부(205)는, 리모콘 송신기(206)로부터 송신되는 리모콘토롤 신호(리모콘 코드)를 수신하고, CPU(201)에 공급한다. CPU(201)는, 이 리모콘 코드에 의거하여, 수신 장치(200)의 각 부분을 제어한다. CPU(201), 플래시 ROM(202) 및 DRAM(203)은 내부 버스(204)에 접속되어 있다.

안테나 단자(210)는, 수신 안테나(도시 생략)에서 수신된 방송 신호(RF 신호)를 입력하는 단자이다. 디지털 튜너(211)는, 안테나 단자(210)에 입력된 방송 신호를 처리하여, 유저의 선택 채널에 대응한, 기본이 되는 방송 스트림(left view stream)을 출력한다. 상술한 바와 같이, 이 방송 스트림(left view stream)의 컨테이너 포맷은 MPEG2TS이다. 스트림 버퍼(212)는, 디지털 튜너(211)로부터 출력된 기본이 되는 방송 스트림(left view stream)을 일시적으로 축적한다.

이 방송 스트림(left view stream)에는, 상술한 바와 같이, 기본 비디오 스트림(비디오 엘리멘터리 스트림)이 포함되어 있다. 또한, 이 방송 스트림(left view stream)에는, 상술한 바와 같이, 필요에 응하여, 그래픽스 스트림, 오디오 스트림 등의 그 밖의 엘리멘터리 스트림도 다중화되어 있다. 또한, 이 방송 스트림(left view stream)에는, 상술한 바와 같이, 스트림 동기 정보 디스크립터(Stream_Synchronization_Information_descriptor)가 삽입되어 있다. 이 스트림 동기 정보 디스크립터에는, 기본 비디오 스트림의 초기 타임 스탬프 정보, 동기 관계에 있는 다른 방송 스트림의 수를 나타내는 정보, 기본 비디오 스트림에 스트림 동기 정보가 포함되어 있는지의 여부를 나타내는 정보 등이 포함되어 있다.

디멀티플렉서(213)는, 스트림 버퍼(212)에 일시적으로 축적된 기본이 되는 방송 스트림(left view stream)으로부터, 비디오, 그래픽스, 오디오 등의 각 엘리멘터리 스트림을 추출한다. 여기서, 비디오 엘리멘터리 스트림은, 좌안 화상 데이터를 포함하는 기본 비디오 스트림이다. 또한, 디멀티플렉서(213)는, 이 방송 스트림(left view stream)으로부터 스트림 동기 정보 디스크립터를 추출하여, CPU(201)에 보낸다.

비디오 디코더(214)는, 디멀티플렉서(213)에서 추출된 기본 비디오 스트림에 대해 복호화 처리를 행하여 복호화된 좌안 화상 데이터를 얻는다. 또한, 비디오 디코더(214)는, 기본 비디오 스트림의 픽처 헤더의 유저 데이터 영역 등에 삽입되어 있는 스트림 동기 정보(Stream_Synchronization_Information)를 추출하여, CPU(201)에 보낸다. 이 스트림 동기 정보에는, 스트림의 초기 프레임으로부터의 프레임 수를 나타내는 정보, 동기 관계에 있는 다른 방송 스트림의 존재를 나타내는 정보, 동기 표시의 타입을 나타내는 정보 등도 포함되어 있다.

뷰 버퍼(215)는, 비디오 디코더(214)에서 얻어지는 좌안 화상 데이터를 일시적으로 축적한다. 비디오 중첩부(디스플레이 버퍼)(216)는, 뷰 버퍼(215)에 축적된 좌안 화상 데이터에, 그래픽스 버퍼(233)에 축적된 그래픽스 정보의 데이터를 중첩하여, 표시용의 좌안 화상 데이터(SL)를 출력한다.

통신 인터페이스(222)는, 네트워크 단자(221)를 통하여, IP 네트워크에 접속되어 있다. 통신 인터페이스(222)는, IP 네트워크를 통하여, 송신 장치(100)의 배신 서버(114)로부터, 추가의 방송 스트림(right view stream)을 수신한다. 상술한 바와 같이, 이 추가의 방송 스트림의 컨테이너 포맷은 MPEG2TS 또는 MP4이다. 또한, 이 수신 형태에는, 스트리밍 수신과, 다운로드 수신이 있다.

예를 들면, 통신 인터페이스(222)는, 3D 표시 선택을 수반하는 3D 방송프로그램의 재생 예약이 있을 때, 사전에, 그 방송프로그램의 추가의 방송 스트림(right view stream)의 다운로드 요구를 배신 서버(114)에 보내여, 다운로드 수신을 행한다. 또한, 예를 들면, 통신 인터페이스(222)는, 현재 방송중의 3D 방송프로그램에서 3D 표시 선택이 행하여질 때, 그 방송프로그램의 추가의 방송 스트림(right view stream)의 스트리밍 요구를 배신 서버(114)에 보내여, 스트리밍 수신을 행한다.

또한, 통신 인터페이스(222)는, 상술한 재생 예약일 때, 그 방송프로그램의 방송 시간에 대응한 규정 시간에 스트리밍이 행하여지도록 배신 서버(114)에 스트리밍 요구를 보내여, 스트리밍 수신을 행하는 것도 가능하다.

도 12는, EPG 화면상에서 재생 예약 방송프로그램의 선택을 행하는 양상을 도시하고 있다. 이 경우, 유저는, EPG 화면상에서 재생 예약을 행하는 방송프로그램으로서 3D 방송프로그램을 선택하면, 3D 표시 선택 버튼이 표시된다. 유저는, 이 버튼에 의해 3D 표시 선택을 행하는 것이 가능해진다. 도시의 예에서는, 채널(CH1)의 9 : 00으로부터의 3D 방송프로그램이 선택되고, 3D 표시 선택 버튼이 표시되어 있는 상태를 나타내고 있다.

통신 인터페이스(222)는, 배신 서버(114)에 다운로드 요구 또는 스트리밍 요구를 행할 때에, 스트림 매핑 정보(SMI : Stream Mapping Information)를, IP 네트워크에 송신한다. 이 스트림 매핑 정보는, 기본이 되는 방송 스트림(left view stream)과, 추가의 방송 스트림(right view stream)과의 결부를 나타낸다. 상술한 도 8에 도시하는 바와 같이, 이 스트림 매핑 정보에는, 방송프로그램 식별자(Program number), 파일 네임(File name), TS의 스트림 ID(Transport_Stream_id) 등이 포함되어 있다.

IP 네트워크중에서, 추가의 방송 스트림(right view stream)의 공급 상태에 따라서는, 루터로부터 수신측울 향하여 추가 스트림이 공급된다. 이 경우, 수신측부터 발하여지는 스트림 매핑 정보가, 네트워크 내의 어느 루터까지 도달한 단계에서, 추가의 방송 스트림의 국소적인 존재가 검지되고, 그 루터로부터 수신측울 향하여 추가의 방송 스트림이 공급된다.

도 13은, 송신측인 송신국(A)(채널(1)), 송신국(B)(채널(2)), 송신국(C)(채널(3))과 수신측과의 사이의 IP 네트워크의 구성례를 도시하고 있다. 예를 들면, 이 구성례에 있어서, 수신측부터 방송국(A)의 추가의 방송 스트림의 서비스 요구를 구하는 경우, 수신측부터 스트림 매핑 정보(SMI)(SMI_1)가 루터(1)에 보내진다. 루터(1)에서는, 추가의 방송 스트림의 존재를 확인하면, 그것을 수신측울 향하여 공급한 처리를 행한다.

루터(1)에서 추가의 방송 스트림의 존재가 검지되지 않은 경우, 스트림 매핑 정보(SMI)(SMI_1)가 루터(2)에 보내진다. 이 루터(2)에서도, 상술한 루터(1)와 같은 처리가 행하여진다. 방송국(A)까지의 경로상의 루터에서 추가의 방송 스트림의 존재가 확인되지 않은 경우, 스트림 매핑 정보(SMI)(SMI_1)가 최종적으로 방송국(A)의 배신 서버까지 보내진다, 이 배신 서버로부터 수신측을 향하여 추가의 방송 스트림의 공급이 행하여진다.

또한, 수신측부터 방송국(B) 또는 방송국(C)의 추가의 방송 스트림의 서비스 요구를 구하는 경우도, 마찬가지 순서에 의해, 경로상의 루터 또는 배신 서버로부터 수신측을 향하여 추가의 방송 스트림의 공급이 행하여진다. 또한, 수신측부터 발하여지는 스트림 매핑 정보의 내용은, TS 스트림 ID, 또는 방송프로그램 식별자, 또는 파일 네임뿐이라도 좋다.

도 11로 되돌아와, 스토리지(223)는, 통신 인터페이스(222)에서 다운로드 수신된 추가의 방송 스트림(right view stream)을 기록하여 유지하고, 대응하는 방송프로그램의 방송 시간에 맞추어서 그 추가의 방송 스트림을 판독하여 출력한다. 스트림 버퍼(224)는, 통신 인터페이스(222)에서 스트리밍 수신된, 또는 스토리지(223)로부터 판독된 추가의 방송 스트림(right view stream)을 일시적으로 축적한다.

디멀티플렉서(225)는, 스트림 버퍼(224)에 일시적으로 축적된 추가의 방송 스트림(right view stream)으로부터, 비디오, 그래픽스, 오디오 등의 각 엘리멘터리 스트림을 추출한다. 여기서, 비디오 엘리멘터리 스트림은, 우안 화상 데이터를 포함하는 추가 비디오 스트림이다. 또한, 디멀티플렉서(225)는, 상술한 디멀티플렉서(213)와 마찬가지로, 이 방송 스트림(right view stream)으로부터 스트림 동기 정보 디스크립터를 추출하여, CPU(201)에 보낸다.

비디오 디코더(226)는, 디멀티플렉서(225)에서 추출된 추가 비디오 스트림에 대해 복호화 처리를 행하여 복호화된 우안 화상 데이터를 얻는다. 또한, 비디오 디코더(226)는, 상술한 비디오 디코더(214)와 마찬가지로, 추가 비디오 스트림의 픽처 헤더의 유저 데이터 영역 등에 삽입되어 있는 스트림 동기 정보를 추출하여, CPU(201)에 보낸다.

뷰 버퍼(227)는, 비디오 디코더(226)에서 얻어지는 우안 화상 데이터를 일시적으로 축적한다. 비디오 중첩부(디스플레이 버퍼)(228)는, 뷰 버퍼(227)에 축적된 우안 화상 데이터에, 그래픽스 버퍼(234)에 축적된 그래픽스 정보의 데이터를 중첩하여, 표시용의 우안 화상 데이터(SR)를 출력한다. 이 경우, 비디오 중첩부(디스플레이 버퍼)(228)는, 상술한 비디오 중첩부(216)로부터 출력된 좌안 화상 데이터(SL)에 프레임 단위로 동기하도록, 적절히, 스킵 처리, 출력 타이밍의 보정 처리를 행한다.

비디오 중첩부(디스플레이 버퍼)(228)는, 이 처리를, CPU(201)로부터 공급되는 동기 맞춤을 위한 재동기(再同期) 정보(표시 스킵 정보, 표시 타이밍 보정치)에 의거하여 행한다. 여기서, 비디오 중첩부(228) 및 CPU(201)는, 동기 관리부를 구성하고 있다. 기본 스트림과 추가 스트림의 동기 방법의 상세에 관해서는 후술한다.

그래픽스 디코더(231)는, 디멀티플렉서(213, 225)에서 추출된 그래픽스 스트림에 포함되는 부호화 그래픽스 데이터에 대해 복호화 처리를 행하여 그래픽스 데이터(서브타이틀 데이터를 포함한다)를 얻는다. 그래픽스 발생부(232)는, 그래픽스 디코더(231)에서 얻어진 그래픽스 데이터에 의거하여, 좌안 화상, 우안 화상에 각각 중첩하는 그래픽스 정보의 데이터를 발생한다. 그래픽스 버퍼(233, 234)는, 각각, 좌안 화상, 우안 화상에 각각 중첩하는 그래픽스 정보의 데이터를, 일시적으로 축적한다

수신 장치(200)의 동작을 간단히 설명한다. 안테나 단자(210)에 입력된 방송 신호는 디지털 튜너(211)에 공급된다. 이 디지털 튜너(211)에서는, 방송 신호가 처리되어, 유저의 선택 채널에 대응한, 컨테이너 포맷이 MPEG2TS인, 기본이 되는 방송 스트림(left view stream)이 얻어진다. 이 방송 스트림은, 스트림 버퍼(212)에 일시적으로 축적된다.

디멀티플렉서(213)에서는, 스트림 버퍼(212)에 일시적으로 축적된 기본이 되는 방송 스트림(left view stream)으로부터, 비디오, 그래픽스 등의 엘리멘터리 스트림이 추출된다. 또한, 이 디멀티플렉서(213)에서는, 이 방송 스트림(left view stream)으로부터, 스트림 동기 정보 디스크립터가 추출되어, CPU(201)에 공급된다.

디멀티플렉서(213)에서 추출되는 기본 비디오 스트림(비디오 엘리멘터리 스트림)은, 비디오 디코더(214)에 공급된다. 이 비디오 디코더(214)에서는, 기본 비디오 스트림에 포함되는 부호화 화상 데이터에 대해 복호화 처리가 행하여져서, 복호화된 좌안 화상 데이터가 얻어진다. 이 좌안 화상 데이터는 뷰 버퍼(215)에 일시적으로 축적된다. 또한, 비디오 디코더(214)에서는, 기본 비디오 스트림의 픽처 헤더의 유저 데이터 영역 등에 삽입되어 있는 스트림 동기 정보가 추출되어, CPU(201)에 공급된다.

또한, 디멀티플렉서(213)에서 추출되는 그래픽스 스트림은, 그래픽스 디코더(231)에 공급된다. 이 그래픽스 디코더(231)에서는, 그래픽스 스트림에 포함되는 부호화 그래픽스 데이터에 대해 복호화 처리가 행하여져서, 복호화된 그래픽스 데이터(서브타이틀 데이터를 포함한다)가 얻어진다. 이 그래픽스 데이터는, 그래픽스 발생부(232)에 공급된다.

그래픽스 발생부(232)에서는, 그래픽스 디코더(231)에서 얻어진 그래픽스 데이터에 의거하여, 좌안 화상에 중첩하는 그래픽스 정보의 데이터가 발생된다. 이 그래픽스 정보의 데이터는, 그래픽스 버퍼(233)에 일시적으로 축적된다. 그리고, 비디오 중첩부(216)에서는, 뷰 버퍼(215)에 축적된 좌안 화상 데이터에, 그래픽스 버퍼(233)에 축적된 그래픽스 정보의 데이터가 중첩되어, 표시용의 좌안 화상 데이터(SL)가 생성되어, 출력된다.

또한, 통신 인터페이스(222)에서는, IP 네트워크를 통하여, 송신 장치(100)의 배신 서버(114)로부터, 컨테이너 포맷이 MPEG2TS 또는 MP4인, 추가의 방송 스트림(right view stream)이 수신된다. 이 추가의 방송 스트림의 수신 형태는, 다운로드 수신 또는 스트리밍 수신이다.

예를 들면, 유저 조작으로 3D 표시 선택을 수반하는 3D 방송프로그램의 재생 예약이 있을 때, 다운로드 수신으로 된다. 이 경우, 통신 인터페이스(222)에서 수신된 방송 스트림은, 스토리지(223)에 기록되고, 대응한 방송프로그램의 방송 시간까지 유지된다. 또한, 이 추가의 방송 스트림의 수신 형태는, 예를 들면, 유저 조작으로 현재 방송중의 3D 방송프로그램에서 3D 표시 선택이 행하여질 때, 스트리밍 수신으로 된다.

통신 인터페이스(222)에서 스트리밍 수신된, 또는 스토리지(223)로부터 대응하는 방송프로그램의 방송 시간에 맞추어서 판독된 추가의 방송 스트림(right view stream)은, 스트림 버퍼(224)에 일차적으로 축적된다.

디멀티플렉서(225)에서는, 스트림 버퍼(224)에 일시적으로 축적된 추가의 방송 스트림(right view stream)으로부터, 비디오, 그래픽스 등의 엘리멘터리 스트림이 추출된다. 또한, 이 디멀티플렉서(225)에서는, 이 방송 스트림(right view stream)으로부터, 스트림 동기 정보 디스크립터가 추출되어, CPU(201)에 공급된다.

디멀티플렉서(225)에서 추출된 추가 비디오 스트림(비디오 엘리멘터리 스트림)은, 비디오 디코더(226)에 공급된다. 이 비디오 디코더(226)에서는, 추가 비디오 스트림에 포함되는 부호화 화상 데이터에 대해 복호화 처리가 행하여져서, 복호화된 우안 화상 데이터가 얻어진다. 이 우안 화상 데이터는 뷰 버퍼(227)에 일시적으로 축적된다. 또한, 비디오 디코더(226)에서는, 추가 비디오 스트림의 픽처 헤더의 유저 데이터 영역 등에 삽입되어 있는 스트림 동기 정보(Stream_Synchronization_Information)가 추출되어, CPU(201)에 공급된다.

또한, 디멀티플렉서(225)에서 추출된 그래픽스 스트림은, 그래픽스 디코더(231)에 공급된다. 이 그래픽스 디코더(231)에서는, 그래픽스 스트림에 포함되는 부호화 그래픽스 데이터에 대해 복호화 처리가 행하여져서, 복호화된 그래픽스 데이터(서브타이틀 데이터를 포함한다)가 얻어진다. 이 그래픽스 데이터는, 그래픽스 발생부(232)에 공급된다.

그래픽스 발생부(232)에서는, 그래픽스 디코더(231)에서 얻어진 그래픽스 데이터에 의거하여, 우안 화상에 중첩하는 그래픽스 정보의 데이터가 발생된다. 이 그래픽스 정보의 데이터는, 그래픽스 버퍼(234)에 일시적으로 축적된다. 그리고, 비디오 중첩부(228)에서는, 뷰 버퍼(227)에 축적된 우안 화상 데이터에, 그래픽스 버퍼(234)에 축적된 그래픽스 정보의 데이터가 중첩되어, 표시용의 우안 화상 데이터(SR)가 생성되어, 출력된다.

이 경우, 비디오 중첩부(228)에서는, 상술한 비디오 중첩부(216)로부터 출력되는 좌안 화상 데이터(SL)에 프레임 단위로 동기하도록, CPU(201)로부터 공급되는 재동기 정보에 의거하여, 적절히, 스킵 처리, 출력 타이밍의 보정 처리가 행하여진다. 이에 의해, 비디오 중첩부(216, 228)로부터 출력되는 표시용의 화상 신호(SL, SR)는, 프레임 단위로 동기한 것으로 된다.

[추가의 방송 스트림을 포함하는 동적 스트림의 전환]

도 11에 도시하는 수신 장치(200)에서는, 상술한 바와 같이, 기본이 되는 방송 스트림과 추가의 방송 스트림이, 상술한 스트림 매핑 정보로 대응지어져 있다. 그 때문에, 추가의 방송 스트림을 포함하는 동적 스트림의 전환이 가능해진다.

도 14는, 동적 스트림 전환의 한 예를 도시하고 있다. 이 예에서는, 초기 채널 선택으로 채널1이 선택된다. 이 경우, 기본이 되는 방송 스트림(left view stream)이 「Basic Stream1」이고, 추가의 방송 스트림(right view stream)이 「Extended_Stream1」인 3D 방송프로그램의 재생이 행하여지고 있다. 이 경우, 「Basic Stream1」은 RF 전파로 수신되어 있다. 또한, 「Extended_Stream1」은, 도 15에 도시하는 바와 같이, 스트림 매핑 정보에 의거하여, IP 네트워크를 통하여서의 스트리밍 수신, 또는 스토리지(223)로부터의 판독에 의해 취득되어 있다.

이 상태에서, 채널2로 채널 변경이 행하여지면, 기본이 되는 방송 스트림(left view stream)으로서 「Basic Stream2」가 수신된다. 이에 맞추어서, 스트림 매핑 정보(Stream Mapping Information)에 의거하여, 추가의 방송 스트림(right view stream)으로서 「Extended_Stream2」가 취득된다. 이 취득은, 스트리밍 수신, 또는 스토리지(223)로부터의 판독에 의해 행하여진다. 설명은 생략하지만, 이후의 채널 변경에서도, 마찬가지로, 추가의 방송 스트림을 포함하는 동적 스트림의 전환이 행하여진다.

[스트림 동기 정보의 구조]

다음에, 스트림 동기 정보(Stream_Synchronization_Information)의 구조에 관해 설명한다. 도 16, 도 17은, 스트림 동기 정보의 구조예(Syntax)를 도시하고 있다. 또한, 도 18, 도 19는, 그 구조예에서의 주요한 정보의 내용(Semantics)을 도시하고 있다.

「stream_synchronization_information_length」의 8비트 필드는, 이 필드 이후의 전체의 바이트 사이즈를 나타낸다. 「stream_id」의 4비트 필드는, 스트림 식별자를 나타낸다. 기본 스트림의 「stream_id」는 0이 되고, 추가 스트림의 「stream_id」는 0 이외가 된다.

「synchronization_set_flag」의 1비트 필드는, 복수의 스트림이 서로 동기 관계에 있는 것을 나타내는 플래그 정보이다. 「synchronization_type」의 2비트 필드는, 복수의 스트림이 구성하는 서비스의 타입(동기 표시 타입)을 나타낸다. 예를 들면, "01"은 스테레오 입체 화상(Stereoscopic video), "10"은 초고정밀 화상(Super Highresolution video), "00"은 중첩 화상(Paint Overlay video)을 나타낸다.

「rendering_attribute」의 2비트 필드는, 동기 표시 타입에 의한 동기 스트림 사이의 속성을 나타낸다. 예를 들면, 「synchronization_type=01」인 경우, "01"은 우안 화상(Rightview), "10"은 좌안 화상(Leftview)을 나타낸다. 또한, 예를 들면, 「synchronization_type=10」인 경우, "01"은 기본 해상도 화상(Base resolution), "10"은 확장 해상도 화상(Enhanced resolution)을 나타낸다. 또한, 예를 들면, 「synchronization_type=00」인 경우, "01"은 중첩처(overlay target)의 화상이 기본 스트림 화상(Basevideo)이고, "10"은 중첩처(overlay target)의 화상이 기본 스트림 화상(Basevideo)의 카피인 것을 나타낸다.

「offset_frames_indication_flag」는, 스트림의 초기 프레임으로부터의 시간적 거리를 나타내는 「offset_frames_to_initial_sync_point」가 부호화되어 있는 것을 나타내는 플래그 정보이다. 「resync_adjust_flag」의 1비트 필드는, 재동기시키기 위한 프레임 시프트를 행하는 것을 나타내는 플래그 정보이다. 「frame_skip_flag」의 1비트 필드는, 재동기시키기 위한 당해 프레임을 표시하지 않고 스킵하는 것을 나타내는 플래그 정보이다. 「position_control_flag」의 1비트 필드는, 기본 스트림상에 공간적인 위치를 지정하여 추가 스트림을 중첩(오버레이)시키기 위한 정보를 부호화한 것을 나타내는 플래그 정보이다.

「offset_frames_to_initial_sync_point」의 24비트 필드는, 상술한 바와 같이, 스트림의 초기 프레임으로부터의 시간적 거리를 나타낸다. 이 정보는, 「stream_id」가 0, 즉 스트림이 기본 스트림이고, 또한 「offset_frames_indication_flag」가 1인 때에 존재한다.

「resync_adjust_offset」의 16비트 필드는, 다음 동기 표시가 요구되어 있는 프레임의 표시 타이밍의 보정치를 나타낸다. 스트림에 부호화되어 있는 표시 타임 스탬프에 대해, 현재의 표시 타이밍을 기준으로 하고, 보정치분의 프레임 수분만큼 시간적으로 전후시켜서 표시한다. 또한, 당해 프레임의 후속 프레임은 순차적으로 표시된다. 이 정보는, 「stream_id」가 0이 아니고, 즉 스트림이 추가 스트림이고, 또한 「resync_adjust_flag」가 1인 때에 존재한다.

「horizontal_position_offset」의 12비트 필드는, 추가 스트림을 중첩(오버레이)시키는 수평 위치를 나타낸다. 이 정보는, 프레임의 좌상 (0, 0)화소로부터의 화소 정밀도 오프셋값이다. 「vertical_position_offset」의 12비트 필드는, 추가 스트림을 중첩(오버레이)시키는 수직 위치를 나타낸다. 이 정보는, 프레임의 좌상 (0, 0)화소로부터의 화소 정밀도 오프셋값이다.

「scale_ratio」의 8비트 필드는, 추가 스트림 화상을 기본 스트림 화상에 중첩시킬 때에, 디코드된 추가 스트림 화상에 적용하는 확대 또는 축소의 비율(Horizontal, Vertical은 같은 비율)을 나타낸다. 상위 4비트가 확대·축소비를 나타내는 분자, 하위 4비트가 확대·축소를 나타내는 분모를 나타낸다. 상위·하위의 4비트 함께, "0000"은 「1」, "0001"은 「2」, …, "1111"은 「16」을 나타낸다. 따라서, "00100011"은 확대·축소비가 3/4인 것을 나타낸다.

「blending_ratio」의 8비트 필드는, 추가 스트림 화상을 기본 스트림 화상에 중첩시킬 때에, 디코드된 추가 스트림 화상에 적용하는, 기본 스트림 화상과의 혼합비를 나타낸다. 예를 들면, "255"은 혼합비 100%, "0"은 혼합비 0%이고, 중간치는 혼합비가 비례로 적용된다. 이 경우, 중첩처(overlay target)인 기본 스트림 화상측의 혼합비는 100%의 보수(補數)가 된다.

상술한 「horizontal_position_offset」, 「vertical_position_offset」, 「scale_ratio」, 「blending_ratio」의 각 정보는, 「position_control_flag」가 1인 때에 존재한다.

[스트림 동기 정보 디스크립터의 구조]

다음에, 스트림 동기 정보 디스크립터(Stream_Synchronization_Information_descriptor)의 구조에 관해 설명한다. 도 20은, 스트림 동기 정보 디스크립터의 구조예(Syntax)를 도시하고 있다. 또한, 도 21은, 그 구조예에서의 주요한 정보의 내용(Semantics)을 도시하고 있다.

「stream_synchronization_information_descriptor_tag」의 8비트 필드는, 이 디스크립터가 「Stream_Synchronization_Information_descriptor」인 것을 나타낸다. 「stream_synchronization_information_descriptor_length」의 8비트 필드는, 이 필드 이후의 전체의 바이트 사이즈를 나타낸다. 「stream_id」의 4비트 필드는, 스트림 식별자를 나타낸다. 기본 스트림의 「stream_id」는 0이 되고, 추가 스트림의 「stream_id」는 0 이외가 된다.

「stream_count_for_synchronization」의 4비트 필드는, 동기 관계를 갖는 스트림의 수를 나타낸다. 「synchronization_type」의 2비트 필드는, 복수의 스트림이 구성하는 서비스의 타입(동기 표시 타입)을 나타낸다. 예를 들면, "01"은 스테레오 입체 화상(Stereoscopic video), "10"은 초고정밀 화상(Super Highresolution video), "00"은 중첩 화상(Paint Overlay video)을 나타낸다.

「existence_of_stream_synchronization_information」는, 스트림 동기 정보가, 대상이 되는 엘리멘터리 스트림(Elementary stream)에 존재하는 것을 나타내는 플래그 정보이다. "1"은 존재를 나타내고, "0"은 존재하지 않음을 나타낸다.

「carriage_of_initial_timestamp」의 1비트 필드는, 동기 관계에 있는 마스터 스트림의 표시 타임 스탬프 초기치의 존재를 나타내는 플래그 정보이다. "1"은 존재를 나타내고, "0"은 불존재를 나타낸다. 「initial_timestamp」의 32비트 필드는, 동기 관계에 있는 마스터 스트림의 90kHz 정밀도의 표시 타임 스탬프 초기치를 나타낸다. 이 정보는, 「carriage_of_initial_timestamp」가 1인 때에 존재한다.

[기본 스트림과 추가 스트림의 동기 방법]

다음에, 기본 스트림과 추가 스트림의 동기 방법의 상세를 설명한다. 본 기술에서의 동기 방법의 기본은, 이하와 같다. 즉, 동기 기간에서의 관리가 기본 스트림의 리니어 방송의 정보를 참조하고, 기본 스트림과 추가 스트림이 프레임 단위로 동기 표시되는 것을 가능하게 한다. 또한, 기본 스트림, 추가 스트림으로, 원래의 콘텐츠에 대해 각각 다른 삽입 편집이 행하여지는 경우, 2개의 스트림의 표시의 동기가 재생측에서 제어할 수 있도록 한다.

또한, 동기의 단위와 수단은, 이하와 같다. (1) 복수의 스트림의 동기 방법의 기본은 종래형의 타임 스탬프에 의한다. (2) 각 프레임에 타임 스탬프가 붙여져 있지 않은 경우는, 수신측에서 일정 프레임 주기의 값으로부터 2개의 타임 스탬프 사이의 값을 보간함으로써, 타임 스탬프마다 프레임 검사할 수 있도록 한다. (3) 재생시에 동기 마스터(통상(通常) 기본 스트림)를 인식하고, 복수의 픽처(picture)의 동기 표시의 참조원(參照元)으로 한다.

(4) 동기 표시를 행하게 하는 기간의 기본 스트림의 초기 시각 정보와, 추가 스트림의 초기 시각 정보가 동일한 값이 아닌 경우는, 추가 스트림측의 타임 스탬프에 초기 시각 정보의 차분(差分)을 재생시에 오프셋으로서 계산한 다음, 동기 관리를 행한다. 또한, 상술한 초기 시각 정보는, PCR(Program Clock Reference)이 존재하는 스트림이라면, 동 구간의 PCR 초기치이다.

다음에, 본 기술에서의 동기를 위한 시각 정보의 초기치의 전송에 관해 설명한다. 본 기술에서는, 동기 서비스를 행하는 방송프로그램에서의, 기본 스트림의 타임 스탬프 초기치를 전송한다(도 20의 「initial_timestamp」 참조). 이 경우, 송신측에서는, 도 22에 도시하는 바와 같이, 동기 표시시키는 기간에서의 기본 스트림의 초기 타임 스탬프의 값을 동기용 오프셋의 리퍼런스로서 전송한다. 또한, 도 22에서, 「동기 플래그」는, 도 16에 도시하는 스트림 동기 정보(stream_synchronization_information)에서의 「synchronization_set_flag」에 상당한다.

수신측에서는, 임의의 타이밍으로부터의 기본 스트림의 재생시에, 그 해당 프레임의 표시 시각을 나타내는 타임 스탬프(PTS)와, 초기 타임 스탬프와의 차를 계산함으로써, 동기 대상 기간의 시간 경과를 아는 것이 가능해진다. 그리고, 그 초기 타임 스탬프값으로부터의 오프셋 시간에 상당하는 분만큼, 추가 스트림을, 적절히, 초기 판독 오프셋값의 분만큼 스킵하여 판독하고, 해당하는 프레임을 표시함으로써, 기본 스트림과 추가 스트림의 동기 표시를 행하는 것이 가능해진다.

초기 타임 스탬프값은, 상술한 바와 같이, 기존의 PES 헤더(PES header)와는 다른 스트림상치에, 시스템 레이어의 디스크립터(descriptor)로서, PTS의 포맷으로 전송되도록 하여도 좋다. 본 실시의 형태에서는, 상술한 바와 같이, 비디오 엘리멘터리 루프 등에, 초기 타임 스탬프값을 갖는 스트림 동기 정보 디스크립터(Stream_Synchronization_Information_descriptor)가 삽입된다.

또한, 비디오의 랜덤 액세스에 대응하는 위치에, 비디오의 픽처(picture)을 단위로 한 초기치로부터의 프레임 오프셋값을 전송하도록 하여도 좋다. 이 프레임 오프셋값은, 도 16에 도시하는 스트림 동기 정보(stream_synchronization_information)에서의 「offset_frames_to_initial_sync_point」에 상당한다.

수신측에서의 추가 스트림의 오프셋 판독에 관해 설명한다. (1) 추가 스트림이 스트리밍으로 공급된 경우를 설명한다. 이 경우, 재생측(수신측)은, 송신측 서버(배신 서버)에, 소정의 네트워크 프로토콜에 의한, 판독 오프셋값을 포함하는 리퀘스트 신호를 보낸다. 이에 대해, 송신측 서버는, 판독 오프셋분을 비켜놓은 픽처(picture)에 해당하는 개소로부터 스트리밍 송신을 시작한다.

(2) 추가 스트림이 다운로드에 의해 사전에 공급되는 경우를 설명한다. 이 경우, 수신측에 미리 파일로서 추가 스트림이 존재한다. 그 때문에, 도 23에 도시하는 바와 같이, 기본 스트림의 표시 타임 스탬프와, 초기 타임 스탬프값의 차분을 프레임 주기로 환산한 프레임 오프셋분을 고려한 버퍼 판독을 행하여 표시하다. 또한, 도 23에서, 「(PTS(007) - ITS(004))/frame_rate = 3frames」는 환산식의 한 예를 나타내고 있다. 또한, 이 도 23에서, 「추가 스트림 버퍼」는, 도 11의 수신 장치(200)에서의 스토리지(223)에 상당한다.

추가 스트림의 다운로드 또는 스트리밍에 있어서는, 스토리지(223)로부터가 판독부터 디코드, 그리고 표시 화상을 얻을 때까지, 또는 네트워크상의 서버로부터 수신 디코드 그리고 표시 화상을 얻기 까지의 지연 시간에 상당하는 시간 맞춤을 기본 스트림의 표시에 관해 적절히 행함으로써, 기본 스트림과 추가 스트림과의 표시 동기를 보증한다.

다음에, 본 기술에서의 동기 보정 정보의 전송에 관해 설명한다. 스테레오 입체 화상의 뷰를 구성하는 오리지널의 좌우의 비디오 콘텐츠중, 한쪽을 리니어 방송파로, 또한쪽을 IP 배신으로 공급하는 경우, 각각의 공급 방법에 의존하여 스트림이 별개로 편집되는 경우가 있다.

도 24는, 좌안 화상 데이터를 포함하는 기본 스트림(Video1)과, 우안 화상 데이터를 포함하는 추가 스트림(Video2)의 편집의 한 예를 도시하고 있다. 이 예의 경우, 기본 프레임(Video1)에서는, 편집 전에는 인접한 프레임 「VL005」, 「VL006」의 사이에, 편집 후에는, 프레임 「V_I001」 내지 「V_I003」의 3프레임이 삽입되어 있다. 또한, 이 기본 프레임(Video1)에서는, 편집 전에는 인접한 프레임 「VL009」, 「VL010」의 사이에, 편집 후에는, 프레임 「V_I004」 내지 「V_I006」의 3프레임이 삽입되어 있다.

또한, 이 예의 경우, 추가 프레임(Video2)에서는, 편집 전에는 인접한 프레임 「VR005」, 「VR006」의 사이에, 편집 후에는, 프레임 「V_J001」 내지 「V_J004」의 4프레임이 삽입되어 있다. 또한, 이 추가 프레임(Video2)에서는, 편집 전에는 인접한 프레임 「VR009」, 「VR010」의 사이에, 편집 후에는, 프레임 「V_J005」 내지 「V_J008」의 4프레임이 삽입되어 있다.

수신측에서, 방송파만을 시청하는 경우, 또는 IP 배신만을 시청하는 경우에서는, 각각의 스트림을 단독으로 시청하는 범위에서는 지장이 없다. 그러나, 방송파의 스트림과 IP 배신에 의한 스트림을 동시에 표시시켜서, 3D 시청을 행하는 경우, 각각의 스트림이 프레임 단위로 동기 표시될 것이 필요해진다.

송신측(인코더측)에서는, 기본 스트림과 추가 스트림의 편집에 의한 동기 어긋남을 스트림 재생측에서 보정시키기 위해, 추가 스트림에 관해, 재동기용 보정 오프셋과, 재동기용 표시 스킵 플래그가, 재동기용 정보로서 설정된다. 여기서, 재동기용 보정 오프셋은, 편집부분의 프레임 수가, 기본 스트림과 추가 스트림에서 다른 경우에, 그 쌍방의 차분이 된다.

도 25는, 상술한 도 24의 편집례에 대응한, 재동기용 보정 오프셋과, 재동기용 표시 스킵 플래그의 설정례를 도시하고 있다. 이 경우, 기본 프레임(Video1)에서는, 「VL005」, 「VL006」의 사이에 「V_I001」 내지 「V_I003」의 3프레임이 삽입되어 있다. 이에 대해, 추가 스트림(Video2)에서는, 「VR005」, 「VR006」의 사이에 「V_J001」 내지 「V_J004」의 4프레임이 삽입되어 있다. 그 때문에, 이 편집에 관련하여, 추가 프레임에서의 재동기용 보정 오프셋이, "0+(3-4)=-1"와 같이 구하여지고, 「V_J004」 이후의 프레임에 설정된다.

그리고, 재동기용 보정 오프셋의 값이 "-1"이기 때문에, 재동기 시작 프레임인 「VR006」은, 1프레임 앞당긴 표시순이 된다. 그 때문에, 「VR006」의 1프레임 전의 「V_J004」는 표시를 스킵하도록, 추가 프레임에서의, 대응하는 재동기용 스킵 플래그는 "1"로 설정된다.

또한, 이 경우, 기본 프레임(Video1)에서는, 「VL009」, 「VL010」의 사이에 「V_I004」 내지 「V_I006」의 3프레임이 삽입되어 있다. 이에 대해, 추가 스트림(Video2)에서는, 「VR009」, 「VR010」의 사이에 「V_J005」 내지 「V_J008」의 4프레임이 삽입되어 있다. 그 때문에, 이 편집에 관련하여, 추가 프레임에서의 재동기용 보정 오프셋이, "-1+(3-4)=-2"와 같이 구하여지고, 「V_J008」 이후의 프레임에 설정된다.

그리고, 재동기용 보정 오프셋의 값이 "-2"이기 때문에, 재동기 시작 프레임인 「VR010」은, 2프레임 앞당긴 표시순이 된다. 「V_J007」부터 「V_J008」에서, 재동기용 보정 오프셋값이 "-1"로부터 "-2"로 변화하기 때문에, 그 변화의 값「1」은 재동기용으로 스킵을 행하는 프레임 수를 나타낸다. 여기서는 1프레임분에 해당하는 「V_J008」를 프레임 스킵할 필요가 있음을 나타낸다. 그 때문에, 「VR010」의 1프레임 전의 「V_J008」은 표시를 스킵하도록, 추가 프레임에서의, 대응하는 재동기용 스킵 플래그는 "1"로 설정된다.

또한, 재동기용 보정 오프셋은, 도 16에 도시하는 스트림 동기 정보(stream_synchronization_information)에서의 「resync_adjust_offset」에 상당한다. 또한, 재동기용 스킵 플래그는, 도 16에 도시하는 스트림 동기 정보(stream_synchronization_information)에서의 「frame_skip_flag」에 상당한다.

수신측(디코더 측)에서는, 재동기용 스킵 플래그, 재동기용 보정 오프셋에 의해, 추가 스트림 내의 동기 표시를 행하지 않는 프레임의 표시 스킵과, 동기 표시를 행하는 프레임의 표시 타이밍의 보정이 행하여진다. 이 보정은, 예를 들면, 상술한 바와 같이, 도 11의 수신 장치(200)의 비디오 중첩부(228)에서 행하여진다.

도 26은, 상술한 도 25와 같이 송신측(인코더측)에서 재동기용 보정 오프셋 및 재동기용 표시 스킵 플래그가 설정된 경우에 대응한, 수신측(디코더측)에서의 표시 타이밍의 보정례를 도시하고 있다. 이 경우, 추가 스트림의 「V_J004」의 프레임에서 재동기용 스킵 플래그가 "1"이기 때문에, 이 프레임의 표시가 스킵된다. 또한, 「V_J006」 이후의 프레임의 재동기용 보정 오프셋이 "-1"이기 때문에, 이 프레임 이후의 표시는 1프레임 앞당겨진다.

또한, 이 경우, 추가 스트림의 「V_J008」의 프레임에서 재동기용 스킵 플래그가 "1"이기 때문에, 이 프레임의 표시가 스킵된다. 또한, 「V_J010」 이후의 프레임의 재동기용 보정 오프셋이 "-2"이기 때문에, 이 프레임 이후의 표시는 2프레임 앞당겨진다. 따라서 기본 스트림(좌안 화상 데이터)과 추가 스트림(우안 화상 데이터)의 동기 표시가 양호하게 행하여진다.

도 27은, 비디오의 랜덤 액세스시에 있어서의 표시 타이밍의 보정례를 도시하고 있다. 이 경우, 추가 스트림의 재생(표시) 시작 프레임은, 상술한 바와 같이, 예를 들면, 기본 스트림의 표시 타임 스탬프와, 초기 타임 스탬프값의 차분에 의거하여 판별된다. 그 때문에, 도시하는 바와 같이, 기본 스트림의 랜덤 액세스 엔트리점(点)이 「L006」인 때, 추가 스트림의 재생(표시) 시작 프레임이 「V_J004」인 것을 알 수 있다.

이 비디오의 랜덤 액세스시에 있어서도, 표시 타이밍의 보정은, 상술한 바와 마찬가지로 행하여진다. 예를 들면, 추가 스트림의 「V_J004」의 프레임에서 재동기용 스킵 플래그가 "1"이기 때문에, 이 프레임의 표시가 스킵된다. 또한, 「V_J006」 이후의 프레임의 재동기용 보정 오프셋이 "-1"이기 때문에, 이 프레임 이후의 표시는 1프레임 앞당겨진다. 따라서 기본 스트림(좌안 화상 데이터)과 추가 스트림(우안 화상 데이터)의 동기 표시가 양호하게 행하여진다.

또한, 상술한 기본 스트림과 추가 스트림의 동기 방법의 설명에서는, 추가 스트림의 컨테이너 포맷이 MPEG2TS인 경우를 상정하여 설명을 행하였다. 상세 설명은 생략하지만, 추가 스트림의 컨테이너 포맷이 MP4인 경우도 마찬가지이다.

단, MP4의 헤더 정보의 덩어리(塊)인 MOOV중에서, 시각(時刻) 정보로서, STTS (Decoding Time To Sample) 및 CTTS(Composition Time To Sample)가 부호화되어 있다. 여기서, STTS는, 디코드 시각(MP4 파일의 초기치와의 차분치)을 나타낸다. CTTS는, STTS로 나타나는 디코드 시각을 나타내는 값에 대한 표시 타이밍의 오프셋을 나타낸다. 또한, MP4에는 PCR(Program Clock Reference)은 존재하지 않지만, 파일의 시작 시점을 0으로 하여 시작할뿐이다.

또한, 상술한 수신 장치(200)의 설명에서는, 스트림 동기 정보 디스크립터(SSI descriptor) 및 스트림 동기 정보(SSI)가 존재하는 것으로 하여 동기 처리의 설명을 행하였지만, 이들의 정보가 존재하지 않는 때, 수신 장치(200)는, 타임 스탬프를 참조한 동기 처리를 행한다.

도 28 내지 도 30의 플로 차트는, CPU(201)에서의 동기 처리 제어의 순서의 한 예를 도시하고 있다. 또한, 이 예는, 동기 표시의 타입이 스테레오 입체 화상(Stereoscopic video)뿐만 아니라, 고정밀 화상(Super Highresolution video), 중첩 화상(Paint Overlay video) 등의 그 밖의 동기 표시의 경우에도 들어맞도록 일반화된 것을 나타내고 있다.

CPU(201)는, 스텝 ST1에서, 동기 처리 제어를 시작한다. 다음에, CPU(201)는, 스텝 ST2에서, 스트림 동기 정보 디스크립터(SSIdescriptor : 도 20 참조)가 존재하는지의 여부를 판단한다.

스트림 동기 정보 디스크립터가 존재할 때, CPU(201)는, 스텝 ST3에서, 동기 표시의 타입 「synchronization_type」과, 스트림 수 「stream_count_for_synchronization」를 본다. 그리고, CPU(201)는, 스텝 ST4에서, 「stream_id」의 정보로부터 기본 스트림인지의 여부를 판단한다. 기본 스트림일 때, CPU(201)는, 스텝 ST5에서, 「carriage_of_initial_timestamp」에 의거하여, 표시 타임 스탬프 초기치(초기 타임 스탬프값) 「initial_timestamp」가 있는지의 여부를 판단한다.

표시 타임 스탬프 초기치가 있을 때, CPU(201)는, 스텝 ST6에서, 추가 스트림의 초기 판독 오프셋을 계산하고, 당해 개소로부터 판독하도록 제어한다. 그 후, CPU(201)는, 스텝 ST7의 처리로 이동한다. 스텝 ST4에서 기본 스트림이 아닐 때, 또는, 스텝 ST5에서 표시 타임 스탬프 초기치가 없을 때, CPU(201)는, 곧바로, 스텝 ST7의 처리로 이동한다.

이 스텝 ST7에서, CPU(201)는, 스트림 동기 정보(SSI : 도 16, 도 17 참조)가 존재하는지의 여부를 판단한다. 스트림 동기 정보가 존재할 때, CPU(201)는, 스텝 ST8의 처리로 이동한다. 이 스텝 ST8에서, CPU(201)는, 동기 표시의 타입 「synchronization_type」과, 표시의 속성 「rendering_attribute」를 본다. 그리고, CPU(201)는, 스텝 ST9에서, 「stream_id」의 정보로부터 기본 스트림인지의 여부를 판단한다.

기본 스트림일 때, CPU(201)는, 스텝 ST10에서, 「offset_frames_indication_flag」의 정보로부터 초기 동기 오프셋점 「offset_frames_to_initial_sync_point」가 있는지의 여부를 판단한다. 초기 동기 오프셋점이 있을 때, CPU(201)는, 스텝 ST11에서, 초기 동기 오프셋점을 판독하고, 추가 스트림에 액세스한다. 그 후, CPU(201)는, 스텝 ST12의 처리로 이동한다. 스텝 ST9에서 기본 스트림이 아닐 때, 또는, 스텝 ST10에서 초기 동기 오프셋점이 없을 때, CPU(201)는, 곧바로, 스텝 ST12의 처리로 이동한다.

이 스텝 ST12에서, CPU(201)는, 「resync_adjust_flag」의 정보에 의거하여, 재동기 보정치(재동기용 보정 오프셋) 「resync_adjust_offset」이 있는지의 여부를 판단한다. 재동기 보정치가 있을 때, CPU(201)는, 스텝 ST13에서, 재동기 보정치를 판독하고, 추가 스트림의 표시 타이밍을 수정하도록 제어한다. 그 후, CPU(201)는, 스텝 ST14의 처리로 이동한다. 스텝 ST12에서 재동기 보정치가 없을 때, CPU(201)는, 곧바로, 스텝 ST14의 처리로 이동한다.

이 스텝 14에서, CPU(201)는, 「frame_skip_flag」의 정보로부터 프레임 스킵이 있는지의 여부를 판별한다. 프레임 스킵이 있을 때, CPU(201)는, 스텝 ST15에서, 당해 프레임을 표시 스킵하도록 제어한다. 그 후, CPU(201)는, 스텝 ST16의 처리로 이동한다. 스텝 ST14에서 프레임 스킵이 없을 때, CPU(201)는, 곧바로, 스텝 ST16의 처리로 이동한다.

이 스텝 ST16에서, CPU(201)는, 「position_control_flag」의 정보로부터 포지션 오프셋 정보 「horizontal_position_offset」, 「vertical_position_offset」가 있는지의 여부를 판별한다. 포지션 오프셋 정보가 있을 때, CPU(201)는, 스텝 ST17에서, 수평, 수직의 포지션 오프셋 정보를 판독하고, 추가 스트림 화상을 기본 스트림, 또는 기본 스트림의 카피의 화상에 대해, 「scale_ratio」, 「blending_ratio」에 의거한 처리를 행하여 중첩하도록 제어한다.

그 후, CPU(201)는, 스텝 ST18에서, 동기 처리 제어를 종료한다. 스텝 ST16에서 포지션 오프셋 정보가 없을 때, CPU(201)는, 곧바로, 스텝 ST18에서, 동기 처리 제어를 종료한다.

또한, 상술한 스텝 ST2에서 스트림 동기 정보 디스크립터(SSIdescriptor)가 없을 때, 또는, 스텝 ST7에서, 스트림 동기 정보(SSI)가 없을 때, CPU(201)는, 스텝 ST19에서, 타임 스탬프를 참조한 동기 처리가 행하여지도록 제어한다.

즉, CPU(201)는, 이 스텝 ST19에서, 기본 스트림, 추가 스트림의 PCR(존재하는 경우)의 차만큼 추가 스트림의 타임 스탬프에 오프셋을 걸어서 표시 타이밍으로 한다. 또한 타임 스탬프가 없는 픽처(picture)는 오프셋 된 타임 스탬프로 보간을 행하여 표시 타이밍의 조정을 행한다. 그 후, CPU(201)는, 스텝 ST18에서, 동기 처리 제어를 종료한다.

이상 설명한 바와 같이, 도 1에 도시하는 방송 시스템(10)에서는, 송신측부터 수신측에, RF 전파에 의해 기본이 되는 방송 스트림을 송신할 수 있고, IP 네트워크를 통하여 추가의 방송 스트림을 송신할 수 있다. 그 때문에, 수신측에서, 좌안 화상 데이터 및 우안 화상 데이터에 의한, 스테레오 입체 화상의, 고해상도 표시가 가능해진다.

또한, 도 1에 도시하는 방송 시스템(10)에서는, 송신측부터 수신측에 보내지는 비디오 스트림에, 스트림 동기 정보(Stream_Synchronization_Information)가 삽입된다. 이 스트림 동기 정보에는, 수신측에서 이들의 비디오 스트림을 프레임 단위로 동기시키기 위한 정보가 포함되어 있다. 그 때문에, 수신측에서, 좌안 화상 데이터 및 우안 화상 데이터에 의한 동기 표시가 가능해져서, 좌안 화상 데이터 및 우안 화상 데이터가 별도 경로의 방송 스트림으로 송신되어도, 스테레오 입체 화상의 표시를 양호하게 행할 수 있다.

또한, 도 1에 도시하는 방송 시스템(10)에서, 송신측부터 수신측에 보내지는 방송 스트림에, 스트림 동기 정보 디스크립터(Stream_Synchronization_Information_descriptor)가 삽입된다. 이 스트림 동기 정보 디스크립터에는, 기본 비디오 스트림의 초기 타임 스탬프 정보가 포함되어 있다. 그 때문에, 수신측에서는, 임의의 타이밍부터의 기본 스트림의 재생시에, 추가 프레임의 해당하는 프레임을 용이하게 표시시킬 수 있다.

또한, 도 1에 도시하는 방송 시스템(10)에서, 송신측부터 수신측에 보내지는 비디오 스트림에, 스트림 동기 정보(Stream_Synchronization_Information)가 삽입된다. 예를 들면, 기본 비디오 스트림에 삽입되는 스트림 동기 정보에는, 동기 관계에 있는 다른 비디오 스트림의 존재를 나타내는 정보가 포함되어 있다. 그 때문에, 수신측에서는, 이 정보에 의거하여, 추가의 비디오 스트림을 수신하는 것이 가능해지고, 3D 방송프로그램에서, 스테레오 입체 화상의 표시를 양호하게 행할 수 있다.

<2. 변형례>

또한, 상술한 실시의 형태에서는, 기본이 되는 방송 스트림과 추가의 방송 스트림의 송신을 스테레오 입체 화상(Stereoscopic video)의 표시에 응용하는 경우에 관해 설명하였다. 그러나, 본 기술은, 그 밖의 동기 표시에도, 응용할 수 있음은 물론이다. 예를 들면, 본 기술을, 초고정밀 화상(Super High esolution video)의 표시에 응용할 수 있다. 이 경우, 도 31에 도시하는 바와 같이, 제 1의 화상 데이터가 기본 해상도 화상 데이터(Base resolution)이고, 제 2의 화상 데이터가 확장 해상도 화상 데이터(Enhanced resolution)이다.

도 32는, 방송 시스템(10)에서의 초고정밀 화상 데이터의 전송례를 개략적으로 도시하고 있다. 송신측(송신 장치(100))은, 예를 들면, 초고정밀 카메라(111A) 및 인코더(112)를 갖고 있다. 초고정밀 카메라(111A)에서 얻어진 초고정밀 화상 데이터가 인코더(112)에 공급된다. 인코더(112)에서는, 초고정밀 화상 데이터가, 기본 및 확장의 해상도 화상 데이터로분리되고, 각각의 화상 데이터가 MPEG2 비디오 또는 AVC 등의 부호화 포맷으로 부호화되어, 기본 비디오 스트림 및 추가 비디오 스트림이 생성된다.

송신측부터 수신측에는, 인코더(112)에서 생성된 기본 비디오 스트림(기본 해상도 화상 데이터를 포함한다)를 갖는 기본이 되는 방송 스트림(HDresolution stream)이 RF 전파에 의해 보내진다. 또한, 송신측부터 수신측에는, 인코더(112)에서 생성된 추가 비디오 스트림(확장 해상도 화상 데이터를 포함한다)을 갖는 추가의 방송 스트림(Resolution enhancement stream)이 IP 네트워크를 통하여 보내진다.

수신측(수신 장치(200))은, 예를 들면, 디코더(241) 및 고정밀 모니터(242A)를 갖고 있다. 디코더(241)에서는, 기본이 되는 방송 스트림(HDre solution stream)이 갖는 기본 비디오 스트림에 대해 복호화 처리가 행하여져서 기본 해상도 화상 데이터가 얻어진다. 또한, 디코더(241)에서는, 추가의 방송 스트림(Resolution enhancement stream)이 갖는 기본 비디오 스트림에 대해 복호화 처리가 행하여져서 확장 해상도 화상 데이터가 얻어진다. 그리고, 이들 기본 해상도 화상 데이터 및 확장 해상도 화상 데이터가 합성된 고정밀 화상 데이터가 초고정밀 모니터(242A)에 공급되어 정밀 화상 표시가 행하여진다.

또한, 예를 들면, 본 기술을, 중첩 화상(Paint Overlay video)의 표시에 응용할 수 있다. 이 경우, 도 33에 도시하는 바와 같이, 제 1의 화상 데이터가 기본 화상 데이터(Basic video)이고, 제 2의 화상 데이터가 중첩 화상 데이터(Overlay video)이다. 또한, 이 경우, (a) 중첩 화상(추가 스트림 화상)에 스케일링이 시행된 후에 기본 화상(기본 스트림 화상)에 중첩되는 경우(Overlay with scaling)와, (b) 중첩 화상(추가 스트림 화상)이 그대로의 사이즈로 기본 화상(기본 스트림 화상)에 중첩되는 경우(Overlay with repositioning) 등이 생각된다. 이 경우, 「scale_ratio」, 「blending_ratio」에 의거한 처리가 행하여져서 중첩된다.

상술한 도 33에 도시하는 예는, 「position_control_flag」에 의해, 표시 위치 지정으로 중첩(오버레이)하는 한 예이고, 기본 스트림 화상의 위에 추가 스트림에 의한 화상을 「scale_ratio」, 「blending_ratio」에 따라 표시 위치에 덮어쓰는 것이다. 이와 같은 중첩례는, 2D(2차원) 표시에서의 특수 효과 등에 적용 가능해진다.

도 34에 도시하는 예는, 「position_control_flag」에 의해, 표시 위치 지정으로 중첩(오버레이)하는 다른 예를 도시하고 있다. 이 예에서는, 기본 스트림 화상을 좌안 화상(left view)으로 하고, 그것을 우안 화상(right view)에 카피한다. 그리고, 이 예에서는, 카피된 우안 화상(right view)에 대해, 추가 스트림을 디코드하여 얻은 화상을 「scale_ratio」와 「blending_ratio」에 따라 표시 위치에 덮어쓰는 것이다. 이와 같이 하여, 스테레오 입체(3D) 화상이 전송 효율적으로 재현 가능해진다.

또한, 이 도 34에 도시하는 예에서도, 도 33에 도시하는 예와 마찬가지로, (a) 중첩 화상에 스케일링이 시행된 후에 중첩되는 경우(Overlaywithscaling)와, (b) 중첩 화상이 그대로의 사이즈로 중첩되는 경우(Overlay with repositioning) 등이 생각된다.

또한, 상술한 실시의 형태에서는, 기본 스트림, 추가 스트림이 다른 컨테이너로 송수신되는 경우로 설명하였다. 그러나, 양자가 동일한 컨테이너중에서 보내지는 경우에도, 본 기술의 내용은 마찬가지 메커니즘으로 적용할 수 있다.

또한, 본 기술에 관해서는, 기본 스트림, 추가 스트림 함께 동종의 코덱에 의한 경우라도 좋고, 또는, 기본 스트림, 추가 스트림이 별종의 코덱에 의한 경우라도 마찬가지로 적용할 수 있다. 예를 들면, 기본 스트림이 MPEG2 비디오, 추가 스트림이 H.264, 또는 그 반대인 경우 등이 생각된다.

또한, 본 기술은, 이하와 같은 구성도 취할 수 있다.

(1) 제 1의 화상 데이터를 포함하는 제 1의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 송신하는 송신부를 구비하고,

화상 데이터 송신 장치.

(2) 상기 스트림 동기 정보는, 상기 제 1의 비디오 스트림의 픽처 레이어에 삽입되고,

상기 스트림 동기 정보에는, 당해 프레임의 표시 스킵을 행하는지의 여부를 나타내는 정보, 및 당해 프레임의 표시 타이밍의 보정치가 포함되는

상기 (1)에 기재된 화상 데이터 송신 장치.

(3) 상기 스트림 동기 정보에, 스트림의 초기 프레임으로부터의 프레임 수를 나타내는 정보가 부가되어 있는

상기 (2)에 기재된 화상 데이터 송신 장치.

(4) 상기 스트림 동기 정보에, 상기 제 2의 비디오 스트림의 존재를 나타내는 플래그 정보가 부가되어 있는

상기 (2) 또는 (3)에 기재된 화상 데이터 송신 장치.

(5) 상기 스트림 동기 정보에, 상기 동기 표시의 타입을 나타내는 정보가 부가되어 있는

상기 (2)부터 (4)의 어느 하나에 기재된 화상 데이터 송신 장치.

(6) 상기 소정 컨테이너 포맷의 스트림에, 상기 제 1의 비디오 스트림 및 상기 제 2의 비디오 스트림중 기본 비디오 스트림의 초기 타임 스탬프 정보가 삽입되어 있는

상기 (1)부터 (5)의 어느 하나에 기재된 화상 데이터 송신 장치.

(7) 상기 소정 컨테이너 포맷의 스트림에, 상기 제 2의 화상 데이터가 포함되는 상기 제 2의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림의 수를 나타내는 정보가 또한 삽입되어 있는

상기 (1)부터 (6)의 어느 하나에 기재된 화상 데이터 송신 장치.

(8) 상기 소정 컨테이너 포맷의 스트림에, 상기 제 1의 비디오 스트림 및 상기 제 2의 비디오 스트림중 기본 비디오 스트림에 상기 스트림 동기 정보가 존재하는지의 여부를 나타내는 정보가 또한 삽입되어 있는

상기 (1)부터 (7)의 어느 하나에 기재된 화상 데이터 송신 장치.

(9) 제 1의 화상 데이터를 포함하는 제 1의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 송신할 때에,

상기 제 1의 비디오 스트림에, 상기 제 1의 비디오 스트림과, 상기 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터가 포함되는 제 2의 비디오 스트림을 프레임 단위로 동기시키기 위한 스트림 동기 정보를 삽입하는

화상 데이터 송신 방법.

(10) 스테레오 입체 화상 데이터를 구성하는 제 1의 뷰의 화상 데이터를 포함하는 제 1의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 송신하는 송신부를 구비하고,

상기 제 1의 비디오 스트림의 소정 프레임에, 상기 제 1의 비디오 스트림과, 상기 제 1의 뷰의 화상 데이터와 동기 표시되는 상기 스테레오 입체 화상 데이터를 구성하는 제 2의 뷰의 화상 데이터가 포함되는 제 2의 비디오 스트림을 프레임 단위로 동기시키기 위한 스트림 동기 정보가 삽입되어 있는

화상 데이터 송신 장치.

(11) 제 1의 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 소정 컨테이너 포맷의 제 1의 스트림을 송신하는 제 1의 송신부와,

상기 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터가 포함되는 추가 비디오 스트림을 갖는 소정 컨테이너 포맷의 제 2의 스트림을 송신하는 제 2의 송신부를 구비하고,

적어도, 상기 추가 비디오 스트림에, 그 추가 비디오 스트림과 상기 기본 비디오 스트림을 프레임 단위로 동기시키기 위한 정보를 포함하는 스트림 동기 정보가 삽입되어 있는

화상 데이터 송신 장치.

(12) 제 1의 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 수신하는 제 1의 수신부와,

적어도, 상기 추가 비디오 스트림에는, 프레임마다, 상기 기본 비디오 스트림과 상기 추가 비디오 스트림을 프레임 단위로 동기시키기 위한 프레임 동기 정보가 삽입되어 있고,

화상 데이터 수신 장치.

(13) 제 1의 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 수신하는 제 1의 수신부와,

화상 데이터 수신 장치.

10 : 방송 시스템 11 : 방송국
12 : 유저댁 100 : 송신 장치
111 : 3D 카메라 111A : 초고정밀 카메라
112 : 인코더 113 : 송신부
114 : 배신 서버 200 : 수신 장치
201 : CPU 210 : 안테나 단자
211 : 디지털 튜너 212 : 스트림 버퍼
213 : 디멀티플렉서 214 : 비디오 디코더
215 : 뷰 버퍼 216 : 비디오 중첩부
221 : 네트워크 단자 222 : 통신 인터페이스(통신 I/F)
223 : 스토리지 224 : 스트림 버퍼
225 : 디멀티플렉서 226 : 비디오 디코더
227 : 뷰 버퍼 228 : 비디오 중첩부
241 : 디코더 242 : 3D 모니터
242A : 초고정밀 모니터

Claims

제 1의 화상 데이터를 포함하는 제 1의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 송신하는 송신부를 구비하고,
상기 제 1의 비디오 스트림에, 그 제 1의 비디오 스트림과, 상기 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터가 포함되는 제 2의 비디오 스트림을 프레임 단위로 동기시키기 위한 스트림 동기 정보가 삽입되어 있는 것을 특징으로 하는 화상 데이터 송신 장치.
제 1항에 있어서,
상기 스트림 동기 정보는, 상기 제 1의 비디오 스트림의 픽처 레이어에 삽입되고,
상기 스트림 동기 정보에는, 당해 프레임의 표시 스킵을 행하는지의 여부를 나타내는 정보, 및 당해 프레임의 표시 타이밍의 보정치가 포함되는 것을 특징으로 하는 화상 데이터 송신 장치.
제 2항에 있어서,
상기 스트림 동기 정보에, 스트림의 초기 프레임으로부터의 프레임 수를 나타내는 정보가 부가되어 있는 것을 특징으로 하는 화상 데이터 송신 장치.
제 2항에 있어서,
상기 스트림 동기 정보에, 상기 제 2의 비디오 스트림의 존재를 나타내는 플래그 정보가 부가되어 있는 것을 특징으로 하는 화상 데이터 송신 장치.
제 2항에 있어서,
상기 스트림 동기 정보에, 상기 동기 표시의 타입을 나타내는 정보가 부가되어 있는 것을 특징으로 하는 화상 데이터 송신 장치.
제 1항에 있어서,
상기 소정 컨테이너 포맷의 스트림에, 상기 제 1의 비디오 스트림 및 상기 제 2의 비디오 스트림중 기본 비디오 스트림의 초기 타임 스탬프 정보가 삽입되어 있는 것을 특징으로 하는 화상 데이터 송신 장치.
제 1항에 있어서,
상기 소정 컨테이너 포맷의 스트림에, 상기 제 2의 화상 데이터가 포함되는 상기 제 2의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림의 수를 나타내는 정보가 또한 삽입되어 있는 것을 특징으로 하는 화상 데이터 송신 장치.
제 1항에 있어서,
상기 소정 컨테이너 포맷의 스트림에, 상기 제 1의 비디오 스트림 및 상기 제 2의 비디오 스트림중 기본 비디오 스트림에 상기 스트림 동기 정보가 존재하는지의 여부를 나타내는 정보가 또한 삽입되어 있는 것을 특징으로 하는 화상 데이터 송신 장치.
제 1의 화상 데이터를 포함하는 제 1의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 송신할 때에,
상기 제 1의 비디오 스트림에, 그 제 1의 비디오 스트림과, 상기 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터가 포함되는 제 2의 비디오 스트림을 프레임 단위로 동기시키기 위한 스트림 동기 정보를 삽입하는 것을 특징으로 하는 화상 데이터 송신 방법.
스테레오 입체 화상 데이터를 구성하는 제 1의 뷰의 화상 데이터를 포함하는 제 1의 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 송신하는 송신부를 구비하고,
상기 제 1의 비디오 스트림에, 그 제 1의 비디오 스트림과, 상기 제 1의 뷰의 화상 데이터와 동기 표시되는 상기 스테레오 입체 화상 데이터를 구성하는 제 2의 뷰의 화상 데이터가 포함되는 제 2의 비디오 스트림을 프레임 단위로 동기시키기 위한 스트림 동기 정보가 삽입되어 있는 것을 특징으로 하는 화상 데이터 송신 장치.
제 1의 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 소정 컨테이너 포맷의 제 1의 스트림을 송신하는 제 1의 송신부와,
상기 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터가 포함되는 추가 비디오 스트림을 갖는 소정 컨테이너 포맷의 제 2의 스트림을 송신하는 제 2의 송신부를 구비하고,
상기 추가 비디오 스트림에, 프레임마다, 그 추가 비디오 스트림과 상기 기본 비디오 스트림을 프레임 단위로 동기시키기 위한 정보를 포함하는 스트림 동기 정보가 삽입되어 있는 것을 특징으로 하는 화상 데이터 송신 장치.
제 1의 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 수신하는 제 1의 수신부와,
상기 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터를 포함하는 추가 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 수신하는 제 2의 수신부를 구비하고,
상기 추가 비디오 스트림에는, 프레임마다, 상기 기본 비디오 스트림과 상기 추가 비디오 스트림을 프레임 단위로 동기시키기 위한 프레임 동기 정보가 삽입되어 있고,
상기 제 1의 수신부에서 수신된 스트림이 갖는 상기 기본 비디오 스트림에 포함되는 상기 제 1의 화상 데이터를 취득하는 제 1의 데이터 취득부와,
상기 제 2의 수신부에서 수신된 스트림이 갖는 상기 추가 비디오 스트림에 포함되는 상기 제 2의 화상 데이터를 취득하는 제 2의 데이터 취득부와,
상기 제 2의 데이터 취득부에서 취득된 제 2의 화상 데이터를, 상기 프레임 동기 정보에 의거하여, 상기 제 1의 데이터 취득부에서 취득된 제 1의 화상 데이터에 프레임 단위로 동기시키는 동기 관리부를 또한 구비하는 것을 특징으로 하는 화상 데이터 수신 장치.
제 1의 화상 데이터를 포함하는 기본 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 수신하는 제 1의 수신부와,
상기 제 1의 화상 데이터와 동기 표시되는 제 2의 화상 데이터를 포함하는 추가 비디오 스트림을 갖는 소정 컨테이너 포맷의 스트림을 수신하는 제 2의 수신부를 구비하고,
상기 제 1의 수신부에서 수신된 스트림이 갖는 상기 기본 비디오 스트림에 포함되는 상기 제 1의 화상 데이터를 취득하는 제 1의 데이터 취득부와,
상기 제 2의 수신부에서 수신된 스트림이 갖는 상기 추가 비디오 스트림에 포함되는 상기 제 2의 화상 데이터를 취득하는 제 2의 데이터 취득부와,
상기 제 2의 데이터 취득부에서 취득된 제 2의 화상 데이터를, 타임 스탬프 정보에 의거하여, 상기 제 1의 데이터 취득부에서 취득된 제 1의 화상 데이터에 프레임 단위로 동기시키는 동기 관리부를 또한 구비하는 것을 특징으로 하는 화상 데이터 수신 장치.