KR20140105367A

KR20140105367A - 재생장치, 송신장치, 재생방법 및 송신방법

Info

Publication number: KR20140105367A
Application number: KR1020137025692A
Authority: KR
Inventors: 도모키 오가와; 히로시 야하타
Original assignee: 파나소닉 주식회사
Priority date: 2011-12-28
Filing date: 2012-12-28
Publication date: 2014-09-01
Also published as: WO2013099289A1; JPWO2013099289A1; US20140078256A1

Abstract

2D 표시되는 영상에 대해 용장한 처리를 실행하지 않고 2D 표시하는 재생장치를 제공한다. 재생장치는 부호화된 제 1 타입의 영상과 제 2 타입의 영상을 포함하는 제 1 스트림을 수신해서 복호하고, 복호한 영상을 제 1 버퍼에 저장하는 동시에, 복호되는 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 판별하여, 상기 제 1 타입의 영상의 시점과는 다른 시점의 영상이며, 부호화된 제 3 타입의 영상을 포함하는 제 2 스트림을 수신해서 복호하여, 복호한 영상을 제 2 버퍼에 저장하고, 제 1 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 1 타입의 영상과 상기 제 2 버퍼에 저장된 제 3 타입의 영상을 이용해서 3D 재생을 실행하고, 제 2 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 2 타입의 영상을 이용해서 2D 재생을 실행한다.

Description

재생장치, 송신장치, 재생방법 및 송신방법{PLAYBACK DEVICE, TRANSMISSION DEVICE, PLAYBACK METHOD AND TRANSMISSION METHOD}

본 발명은 3D 영상의 재생 및 2D 영상의 재생의 기술에 관한 것이다.

근년, 3D 영상의 표시를 행하기 위한 영상을 송수신하는 방법이 여러 가지 제안되고 있다. 여기서, 이하에서는 3D 영상의 표시를 하는 것을 3D 재생, 2D 영상의 표시를 하는 것을 2D 재생이라고도 한다.

예를 들어 특허문헌 1에서는 좌측 눈 영상을 포함하는 트랜스포트 스트림 및 우측 눈 영상을 포함하는 트랜스포트 스트림을 개별적으로 생성하여 각각을 다른 송신경로로 송신하는 방법이 제안되어 있다. 이방법에서는 수신 측인 재생장치는 개별적으로 수신한 영상에 대해 좌측 눈 영상을 하나의 프레임 버퍼에, 우측 눈 영상을 다른 프레임 버퍼에 저장하고, 표시주기(예를 들어 1/120초)에 따라서 표시 대상의 영상의 판독처로서 하나의 프레임 버퍼 및 다른 프레임 버퍼를 교대로 전환함으로써 3D 영상의 재생이 가능해진다.

특허문헌 1 : WO2010/053246호 공보

그러나 현상의 3D 프로그램의 방송에서는 당해 프로그램의 본편을 나타내는 영상은 입체 표시(3D 표시라고도 한다)되나, 당해 프로그램의 본편 이외의 영상, 예를 들어 광고방송의 영상은 평면 표시(2D 표시라고도 한다)된다. 즉, 현상의 3D 프로그램의 방송에서는 2D 표시와 3D 표시가 혼재하고 있다. 그러므로 특허문헌 1에 개시된 기술을 이용한 경우, 3D 프로그램의 본편 이외의 영상은 2개의 송신경로 쌍방에서 송신될 필요가 있고, 재생장치는 동일한 영상(본편 이외의 영상)임에도 불구하고 프레임 버퍼를 교대로 전환하여 표시하게 된다. 동일한 영상을 2개의 프레임 버퍼 각각 저장하고, 프레임 버퍼에 저장된 동일한 영상을 교대로 전환하여 표시하는 것은 용장(redundant)한 처리라고 할 수 있다.

그래서, 본 발명은 3D 프로그램에서의 본편 이외의 영상으로 2D 표시되는 영상에 대해서는 장황한 처리를 하지 않고 2D 표시하는 재생장치, 송신장치, 재생방법 및 송신방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해서 본 발명은, 재생장치로, 3D 재생에 이용하는 부호화된 제 1 타입의 영상과 2D 재생에 이용하는 부호화된 제 2 타입의 영상을 포함하고, 당해 제 1 타입의 영상과 제 2 타입의 영상이 연결되어 구성되는 제 1 전송용 스트림을 수신하는 제 1 수신수단과, 상기 제 1 타입의 영상의 시점과는 다른 시점의 영상으로 상기 제 1 타입의 영상과 함께 이용하여 입체 표시에 제공하는 부호화된 제 3 타입의 영상을 포함하는 제 2 전송용 스트림을 수신하는 제 2 수신수단과, 상기 제 1 전송용 스트림에 포함되는 부호화된 제 1 타입 및 제 2 타입의 영상을 복호하여 제 1 버퍼에 저장하는 제 1 복호수단과, 상기 제 2 전송용 스트림에 포함되는 부호화된 제 3 타입의 영상을 복호하여 제 2 버퍼에 저장하는 제 2 복호수단과, 상기 제 1 복호수단에서 복호되는 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 판별하는 판별수단과, 상기 판별수단에서 제 1 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 1 타입의 영상과 상기 제 2 버퍼에 저장된 제 3 타입의 영상을 이용하여 3D 재생을 실행하고, 상기 판별수단에서 제 2 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 2 타입의 영상을 이용해서 2D 재생을 실행하는 재생처리수단을 구비하는 것을 특징으로 한다.

상기 구성에 의하면 재생장치는 제 2 타입의 영상을 표시하는 경우에는 제 1 버퍼에 저장된 당해 제 2 타입의 영상을 이용한 2D 재생을 실행하므로 각 프레임 버퍼를 교대로 전환할 필요가 없다. 그 때문에 재생장치는 2D 표시되는 영상에 대해서는 용장한 처리를 실행하지 않고 당해 영상을 재생(표시)할 수 있다.

도 1은 2D 영상과 깊이 맵으로부터 좌측 눈 영상과 우측 눈 영상의 시차 화상을 생성하는 예를 설명하는 도면이다.
도 2는 재생장치(디지털 텔레비전, 10)의 사용행위를 설명하는 도면이다.
도 3은 트랜스포트 스트림 형식의 디지털 스트림의 구성을 나타내는 도면이다.
도 4는 PMT의 데이터구조를 설명하는 도면이다.
도 5의 (a)는 비디오 스트림을 구성하는 GOP의 구조를 설명하는 도면이고, (b)는 비디오 액세스유닛의 데이터구조를 설명하는 도면이다.
도 6은 PES 패킷의 구성을 설명하는 도면이다.
도 7의 (a)는 트랜스포트 스트림을 구성하는 TS 패킷의 데이터구조를 설명하는 도면이며, (b)는 TS헤더의 데이터구조를 설명하는 도면이다.
도 8은 입체 시 화상의 표시의 일례를 나타내는 도면이다
도 9는 Side-by-Side 방식을 설명하는 도면이다.
도 10은 멀티 뷰 부호화방식에 의한 입체 시 방식을 설명하는 도면이다.
도 11은 베이스 뷰 비디오 스트림의 각 픽처와 우측 눈 영상 비디오 스트림의 각 픽처의 비디오 액세스유닛의 구성을 설명하는 도면이다.
도 12는 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 각 비디오 액세스유닛에 할당하는 PTS와 DTS의 관계를 설명하는 도면이다.
도 13은 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 GOP 구성을 나타내는 도면이다.
도 14는 디펜던트 GOP에 포함되는 비디오 액세스유닛의 구성을 설명하는 도면이다.
도 15는 영상 송수신시스템(1000)의 구성을 나타내는 도면이다.
도 16은 송신장치(200)의 구성을 나타내는 블록도이다.
도 17은 재생장치(10)의 구성을 나타내는 블록도이다.
도 18은 송신장치(200)에서 이루어지는 송신처리를 나타내는 흐름도이다.
도 19는 재생장치(10)에서 이루어지는 재생처리를 나타내는 흐름도이다.
도 20은 송신장치(200a)의 구성을 나타내는 블록도이다.
도 21은 재생장치(10a)의 구성을 나타내는 블록도이다.
도 22는 재생장치(10a)에서 이루어지는 재생처리를 나타내는 흐름도이다.
도 23은 송신장치(200b)의 구성을 나타내는 블록도이다.
도 24는 재생장치(10b)의 구성을 나타내는 블록도이다.
도 25는 재생장치(10b)에서 이루어지는 재생처리를 나타내는 흐름도이다.
도 26은 종래의 송신장치(400)의 구성을 나타내는 블록도이다.

1. 개요

도 26에 일례로서 종래의 방송에서의 송신장치(400)를 나타낸다. 도 26에서 나타내는 것과 같이 송신장치(400)는 영상저장부(401)에 저장된 2D 프로그램의 영상을 비디오 부호화부(405)에서 방송 규격에 대응한 비디오 형식으로 압축된 비디오 스트림을 생성하여 비디오 스트림 저장부(406)에 저장한다. 여기서, 방송 규격에 대응한 비디오 형식이란, 예를 들어 MPEG(Moving　Picture　Experts　Group) 2 Video, MPEG-4 AVC(Advanced　Video　Coding) 및 VC1 등과 같은 형식이다. 송신장치(400)는 비디오 스트림 저장부(406)에 저장된 비디오 스트림을 스트림 관리정보 저장부(402)에 저장된 정보(EIT(Event　Information　Table) 등의 2D 프로그램과 관련되는 정보), 자막 스트림 저장부에 저장된 자막데이터, 오디오 스트림 저장부에 저장된 오디오 데이터와 함께 다중화 처리부(407)에서 다중화하여 트랜스포트 스트림을 생성하고, 생성한 트랜스포트 스트림을 트랜스포트 스트림 저장부(408)에 저장한다. 송신장치(400)는 트랜스포트 스트림 저장부(408)에 저장되어 있는 트랜스포트 스트림을 송신부(409)에서 방송파에 적절한 형식으로 변조하여 방송파로서 송출한다. 이때, 방송파로서 송출되는 트랜스포트 스트림의 비트 레이트(bit rate)는 송신부(409)에서 송출 시에 사용할 수 있는 전파대역이나 변조방식에 따라서 다르나, 예를 들어 일본의 지상파방송에서는 17Mbps 정도, 위성방송에서는 24Mbps 정도의 비트 레이트의 트랜스포트 스트림을 방송파로 송출하는 것이 가능하다.

종래의 2D 방송에 있어서, 일본이나 북미에서 규정되어 있는 지상파방송의 경우 비디오의 압축방식으로 MPEG2 Video가 사용되고 있고, 앞에서 설명한 트랜스포트 스트림에서 확보하고 있는 비트 레이트 대역의 대부분이 MPEG2 Video의 저장에 사용되고 있다. 또, 지상파방송의 규정은 일본에서는 ARIB(Association　of　Radio Industries　and　Businesses)에서, 북미에서는 ATSC(Advanced　Television　System　Co㎜ittee)에서 하고 있다.

근년, 3D 프로그램을 방송하는 방송국이 많아지고 있으나, 이 상황에서 종래의 트랜스포트 스트림에서 방송을 3D화 하기 위해서는 이하와 같은 3개의 방법이 생각할 수 있다.

1번째의 방법은 좌우의 영상을 Side-by-Side 형식(우측 눈 용 영상신호의 1 프레임과 좌측 눈 용 영상신호의 1 프레임의 2개의 프레임을 각각 수평방향으로 1/2에 압축하고, 그것들을 횡으로 배열하여 1매의 프레임으로 송신하는 방식)으로 방송하는 방법이다. 이 경우, 종래의 2D 방송과 비교해서 횡 방향의 해상도가 1/2이 된다고 하는 결점이 있다. 그러나 도 26에서 설명한 종래의 2D 방송의 송신 측에 있어서 2D 영상을 Side-by-Side의 영상으로 바꾸어 넣는 것만으로 실현될 수 있으므로, 이미 몇 개의 방송국은 이 형식에서의 3D 방송을 하고 있다.

2번째의 방법은 MPEG2 Video 대신에 MPEG-4 MVC(Multiview　Video　Coding)를 사용해 3D 영상을 송출하는 방법이다. 이 경우, 종래의 MPEG2 Video 밖에 복호 할 수 없는 텔레비전에서는 3D는 고사하고 2D에서의 표시도 할 수 없게 된다. 즉, 기존의 텔레비전에서 전혀 표시를 할 수 없게 되므로 종래의 방송파를 사용하여 이 방식의 영상을 송출하는 것은 상업적으로 곤란하다.

3번째의 방법은 종래의 2D 영상의 비트 레이트를 떨어뜨려서(예를 들어 15Mbps에서 10Mbps까지 떨어뜨려서) 이 2D 영상을 좌측 눈 용 영상으로 하고, 남은 대역에 MPEG2 Video나 MPEG-4 AVC 등으로 압축된 우측 눈 용 영상을 추가한다. 이 경우, 종래의 TV에서는 MPEG2 Video를 복호하여 2D 표시가 가능해지고, 추가된 우측 눈 용 영상도 복호 할 수 있는 텔레비전에서는 3D 표시가 가능해진다. 그러나 우측 눈 영상을 추가하는 대역을 확보하기 위해 MPEG2 Video의 비트 레이트를 떨어뜨리고 있으므로 종래의 2D 방송에 비해 화질이 나빠진다.

그래서, 상술한 것과 같이 좌측 눈 영상을 포함하는 트랜스포트 스트림과 우측 눈 영상을 포함하는 트랜스포트 스트림을 개별적으로 생성하여 각각을 다른 송신경로로 송신하는 방법을 생각할 수 있다.

이 방법을 이용하면, 수신 측의 장치인 텔레비전(재생장치)은 개별적으로 수신한 영상에 대해 좌측 눈 영상을 하나의 프레임 버퍼에, 우측 눈 영상을 다른 프레임 버퍼에 저장하고, 표시주기(예를 들어 1/120초)에 따라서 표시 대상의 영상의 판독 처로 하나의 프레임 버퍼 및 다른 프레임 버퍼를 전환함으로써 3D 표시가 가능해진다. 또, 좌측 눈 영상과 우측 눈 영상을 다른 송신경로에서 송신하므로, 종래의 텔레비전은 좌측 눈 영상만을 수신함으로써 2D 표시는 가능해지며, 비트 레이트를 떨어뜨릴 필요도 없다.

그러나 상술한 것과 같이 현상의 3D 프로그램의 방송을 고려한 경우, 3D 프로그램에 포함되는 CM 등이 같은 본편에 관계가 없는 영상을 2D 표시할 때에는 불필요한 처리를 하고 있다는 문제를 발명자는 알았다.

그래서, 발명자 등이 예의 검토하여 본 발명에 이르렀다.

본 발명의 일 형태에 의하면, 재생장치는 3D 재생에 이용하는 부호화된 제 1 타입의 영상과 2D 재생에 이용하는 부호화된 제 2 타입의 영상을 포함하고, 당해 제 1 타입의 영상과 제 2 타입의 영상이 연결되어 구성되는 제 1 전송용 스트림을 수신하는 제 1 수신수단과, 상기 제 1 타입의 영상의 시점과는 다른 시점의 영상으로서 상기 제 1 타입의 영상과 함께 이용하여 입체 표시에 제공하는 부호화된 제 3 타입의 영상을 포함하는 제 2 전송용 스트림을 수신하는 제 2 수신수단과, 상기 제 1 전송용 스트림에 포함되는 부호화된 제 1 타입 및 제 2 타입의 영상을 복호하여 제 1 버퍼에 저장하는 제 1 복호수단과, 상기 제 2 전송용 스트림에 포함되는 부호화된 제 3 타입의 영상을 복호하여 제 2 버퍼에 저장하는 제 2 복호수단과, 상기 제 1 복호수단에서 복호되는 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 판별하는 판별수단과, 상기 판별수단에서 제 1 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 1 타입의 영상과 상기 제 2 버퍼에 저장된 제 3 타입의 영상을 이용해서 3D 재생을 실행하고, 상기 판별수단에서 제 2 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 2 타입의 영상을 이용해서 2D 재생을 실행하는 재생처리수단을 구비하는 것을 특징으로 한다.

2. 실시형태 1

이하, 본 발명에 관한 실시형태 1에 대해 도면을 참조하면서 설명한다.

2. 1　준비

먼저, 입체 시(stereoscopic vision)의 원리에 대해 간단하게 설명한다. 입체 시의 실현법으로는 홀로그래피 기술 등을 이용하는 광선재생방식과 시차 화상을 이용하는 방식이 있다.

우선, 1번째의 홀로그래피 기술을 이용하는 방식의 특징으로는 인간이 통상 물체를 인식하는 것과 완전히 똑같이 물체를 입체로서 재현할 수 있으나, 동영상 생성에 관해서는 기술적인 이론은 확립하고 있으나, 홀로그래피용의 동영상을 리얼 타임으로 생성하는 방대한 연산량을 수반하는 컴퓨터 및 1㎜의 사이에 수천 본의 선을 그을 수 있을 만큼의 해상도를 가진 표시장치가 필요하지만, 현재의 기술에서의 실현은 매우 어렵고, 상용으로 실용화되고 있는 예는 거의 없다.

다음에, 2번째의 시차 화상을 이용하는 방식에 대해 설명한다. 일반적으로 우측 눈과 좌측 눈은 그 위치의 차이에 기인하여 우측 눈에서 보이는 상과 좌측 눈에서 보이는 상에는 보이는 방법에 약간의 차이가 있다. 이 차이를 이용해 인간은 눈에 보이는 상을 입체로서 인식할 수 있는 것이다. 시차 화상을 이용해 입체 표시를 하는 경우에는 인간의 시차(視差)를 이용해 평면의 화상이 마치 입체로 보이도록 하고 있다.

이 방식의 메리트는 고작 우측 눈 용과 좌측 눈 용의 2개의 시점의 영상을 준비하는 것만으로 입체 시를 실현할 수 있다는 것에 있으며, 기술적으로는 좌우의 각각의 눈에 대응한 그림을 어떻게 대응한 눈에만 보일 수 있는가의 관점에서 계시 분리방식을 비롯한 몇 개의 기술이 실용화되어 있다.

계시 분리방식이란, 좌측 눈 용 영상 및 우측 눈 용 영상을 시간 축 방향으로 교대로 표시시켜서, 눈의 잔상반응에 의해 좌우의 신(scene)을 뇌 내에서 중첩시켜서 입체영상으로서 인식시키는 방법이다.

또, 시차 화상을 이용한 입체 시에 있어서는 오른쪽 눈에 들어오는 영상과 왼쪽 눈에 들어오는 영상을 각각 준비하는 방식 외에, 2D 영상에 대해서 화소 단위로 깊이 값이 주어진 깊이 맵을 별도 준비하여, 2D 영상과 깊이 맵에 의거하여 좌측 눈 영상과 우측 눈 영상의 시차 화상을 플레이어나 디스플레이에서 생성하는 방법이 있다. 도 1은 2D 영상과 깊이 맵으로부터 좌측 눈 영상과 우측 눈 영상의 시차 화상을 생성하는 예를 모식적으로 나타내고 있다. 깊이 맵은 2D 영상 내의 각각의 화소에 대응하여 깊이 값을 가지고 있고, 도 1의 예에서는 2D 영상의 원형의 물체는 깊이 맵에서는 깊이가 깊은 것을 나타내는 정보가 할당되어 있고 그 이외의 영역은 깊이가 얕은 것을 나타내는 정보가 할당되어 있다. 이 정보는 화소별 비트 열로 저장해도 좋고, 화상이미지(예를 들어 「흑」을 깊이가 얕은 것을 나타내고, 「백」을 깊이가 깊은 것을 나타내는 화상 이미지)로서 저장해도 좋다. 시차 화상은 깊이 맵의 깊이 값으로부터, 2D 영상의 시차 양을 조정함으로써 작성할 수 있다. 도 1의 예에서는 2D 영상 내의 원형의 물체의 깊이 값은 크므로 시차 화상을 작성할 경우에는 원형의 물체의 화소의 시차 양을 크게 하고, 원형 물체 이외의 영역은 깊이 값이 작으므로 원형의 물체의 화소의 시차 양을 적게 하여 좌측 눈 영상, 우측 눈 영상을 작성한다. 이 좌측 눈 영상과 우측 눈 영상을 계시 분리방식 등을 사용해서 표시하면 입체 시가 가능해진다.

이상이 입체 시의 원리에 대한 설명이다.

다음에, 본 실시형태에서의 재생장치(10)의 사용형태에 대해 설명한다.

본 실시형태에서의 재생장치(10)는 예를 들어 2D 영상 및 3D 영상의 시청이 가능한 디지털 텔레비전이다. 도 2 (a)는 당해 수신장치(디지털 텔레비전, 10)의 사용행위에 대한 형태를 나타내는 도면이다. 본 도면에 나타내는 것과 같이 재생장치(디지털 텔레비전, 10)와 3D 안경(20)으로 구성되어 사용자에 의한 사용이 가능해진다.

재생장치(10)는 2D 영상 및 3D 영상을 표시할 수 있는 것이며, 수신한 방송파에 포함되는 스트림을 재생함으로써 영상을 표시한다.

본 실시형태의 재생장치(10)는 3D 안경(20)을 사용자가 착용함으로써 입체 시를 실현하는 것이다. 3D 안경(20)은 액정셔터를 구비하며, 계시 분리방식에 의한 시차 화상을 사용자가 시청하도록 한다. 시차 화상이란, 오른쪽 눈에 들어오는 영상과 왼쪽 눈에 들어오는 영상으로 구성되는 1조의 영상이며, 각각의 눈에 대응한 픽처만이 사용자가 눈에 들어오도록 하여 입체 시를 실시하게 한다. 도 2 (b)는 좌측 눈 용 영상의 표시 시를 나타낸다. 화면상에 좌측 눈 용의 영상이 표시되고 있는 순간에 있어서 앞에서 설명한 3D 안경(20)은 좌측 눈에 대응하는 액정셔터를 투과로 하고 우측 눈에 대응하는 액정셔터는 차광한다. 동 도면 (c)는 우측 눈 용 영상의 표시 시를 나타낸다. 화면상에 우측 눈 용의 영상이 표시되고 있는 순간에 있어서 방금 전과 반대로 우측 눈에 대응하는 액정셔터를 투광으로 하고 좌측 눈에 대응하는 액정셔터를 차광한다.

또, 2D 영상 및 3D 영상을 표시할 수 있는 다른 방법의 재생장치로는 앞의 계시 분리방식에서는 좌우의 픽처를 시간 축 방향으로 교대로 출력하고 있던 것에 대해, 한 화면 중의 세로방향에 좌측 눈 용의 픽처와 우측 눈 용의 픽처를 동시에 교대로 배열하고, 디스플레이 표면에 렌티큘라 렌즈라고 불리는 반원 기둥형 렌즈를 통해 좌측 눈 용의 픽처를 구성하는 화소는 좌측 눈 만에 결상하고 우측 눈 용의 픽처를 구성하는 화소는 우측 눈 만에 결상하도록 함으로써 좌우의 눈에 시차가 있는 픽처를 보여서 3D로서 볼 수 있는 방식이 있다. 또, 렌티큘라 렌즈뿐만 아니라 동일 기능을 갖게 한 디바이스, 예를 들어 액정소자를 이용해도 좋다. 또 좌측 눈 용의 화소에는 세로 편광의 필터, 우측 눈 용의 화소에는 가로 편광의 필터를 설치하고, 시청자는 좌측 눈 용으로는 세로 편광, 우측 눈 용으로는 가로 편광의 필터를 설치한 편광안경을 이용해 디스플레이를 봄으로써 입체 시가 가능해지는 편광방식이 있다.

시차 화상을 이용한 입체 시를 위한 방법은 이 그 밖에도 2색 분리방식 등 다양한 기술이 제안되고 있고, 본 실시의 예에 있어서는 계시 분리방식을 예로서 이용하여 설명하나, 시차 화상을 이용하는 한 이 방식으로 한정하는 것은 아니다.

이상이, 재생장치의 사용형태에 대한 설명이다.

다음에, 디지털 텔레비전의 방송파 등으로 전송되는 일반적인 스트림의 구조에 대해 설명한다.

디지털 텔레비전의 방송파 등에서의 전송에서는 MPEG-2 트랜스포트 스트림(Transport　Stream：TS) 형식의 디지털 스트림이 사용되고 있다. MPEG-2 트랜스포트 스트림이란, 비디오나 오디오 등 여러 가지 스트림을 다중화해 전송하기 위한 규격이며, ISO/IEC13818-1 및 ITU-T 권고 H222.0에 대해 표준화되어 있다.

도 3은 MPEG-2 트랜스포트 스트림 형식의 디지털 스트림의 구성을 나타내는 도면이다. 본 도면에 나타내는 것과 같이 트랜스포트 스트림은 비디오 스트림, 오디오 스트림, 자막 스트림 및 스트림 관리정보 등을 다중화함으로써 얻을 수 있다. 비디오 스트림은 프로그램의 주 영상을, 오디오 스트림은 프로그램의 주 음성부분이나 부 음성을, 자막 스트림은 프로그램의 자막정보를 저장하고 있다. 비디오 스트림은 MPEG-2, MPEG-4　AVC 등의 방식을 사용해 부호화되어 있다. 오디오 스트림은 돌비 AC-3, MPEG-2　AAC, MPEG-4　AAC, HE-AAC 등의 방식으로 압축·부호화되어 있다.

비디오 스트림은 도 3에 나타내는 것과 같이, 먼저 비디오 프레임 열(31)이 PES 패킷 열(32)에 변환되고, 그 후 TS 패킷 열(33)로 변환됨으로써 얻을 수 있다.

오디오 스트림은 도 3에 나타내는 것과 같이 오디오신호가 양자화·샘플링을 거쳐 오디오 프레임 열(34)로 변환되고, 그 후 오디오 프레임 열(34)이 PES 패킷 열(35)로 변환되고, 그리고 TS 패킷 열(36)로 변환됨으로써 얻을 수 있다.

자막 스트림은 도 3에 나타내는 것과 같이 Page　Composition　Segment (PCS), Region　Composition　Segment(RCS), Pallet　Define　Segment(PDS), Object　Define　Segment(ODS)라고 하는 복수 종별로 이루어지는 기능 세그먼트 열(38)을 TS 패킷 열(39)로 변환됨으로써 얻을 수 있다.

스트림 관리정보는 PSI(Program　Specification　Information)로 불리는 시스템 패킷에 저장되며, 트랜스포트 스트림에 다중화되어 있는 비디오 스트림, 오디오 스트림, 자막 스트림을 1개의 방송프로그램으로 관리하는 정보이다. 스트림 관리정보에는 도 4에 나타내는 것과 같이 PAT(Program　Association　Table), PMT(Program　Map　Table), 이벤트정보 테이블 EIT 및 서비스정보 테이블 SIT(Service　Information　Table)라고 하는 정보로 구성되어 있다. PAT는 트랜스포트 스트림 중에 이용되는 PMT의 PID가 무엇인가를 나타내며, PAT 자신의 PID 배열로 등록된다. PMT는 트랜스포트 스트림 중에 포함되는 영상·음성·자막 등의 각 스트림의 PID와 각 PID에 대응하는 스트림의 속성정보를 가지며, 또 트랜스포트 스트림에 관한 각종 디스크립터를 갖는다. 디스크립터에는 AV 스트림의 카피를 허가·불허가를 지시하는 카피컨트롤정보 등이 있다. SIT는 MPEG-2　TS 표준에서 사용자가 정의 가능한 영역을 이용해 각 방송파의 표준에 따라 정의한 정보이다. EIT는 프로그램의 명칭이나 방송 일시, 방송 내용 등 프로그램에 관련하는 정보를 갖는다. 상술한 정보의 구체적인 포맷에 대해서는 “http：www.arib.or.jp/english/html/overview/doc/4-TR-B14v4_4-2p3.pdf”에 저장된 ARIB(Association　of　Radio　Industries　and　Businesses)의 공개자료를 참조하기 바란다.

도 4는 PMT의 데이터구조를 상세하게 설명하는 도면이다. PMT(50)의 선두에는 그 PMT에 포함되는 데이터의 길이 등을 기재한 PMT 헤더(51)가 배치된다. 그 뒤에는 트랜스포트 스트림에 관한 복수의 디스크립터(52, …, 53)가 배치된다. 디스크립터(52, …, 53)에는 앞에서 설명한 카피컨트롤정보 등이 기재된다. 디스크립터(52, …, 53)의 뒤에는 트랜스포트 스트림에 포함되는 각 스트림에 관한 복수의 스트림 정보(54, …, 55)가 배치된다. 각 스트림 정보는 스트림의 압축 코덱 등을 식별하기 위해 스트림 타입(56), 스트림의 PID(57), 스트림의 속성정보(프레임 ㄹ레이트, 어스펙트 비 등)가 기재된 스트림 디스크립터(58, …, 59)로 구성된다.

이상이 트랜스포트 스트림과 그 스트림 관리정보에 대한 설명이다. 이어서, 비디오 스트림의 상세에 대하여 설명한다.

실시형태 1의 부호화방식에서 생성되는 비디오 스트림은 MPEG-2, MPEG-4　AVC, SMPTE(Society　of　Motion　Picture　and　Television　Engineers)　VC1 등의 동영상 압축 부호화방식에 의한 압축 부호화가 되어 있다. 이들 압축 부호화방식에 있어서는 동화상의 공간방향 및 시간방향의 용장성을 이용해 데이터량의 압축을 한다. 시간방향의 용장성을 이용하는 방법으로 픽처 간 예측부호화가 이용된다. 픽처 간 예측부호화에서는 어느 픽처를 부호화할 때에 표시시간 순으로 전방 또는 후방에 있는 픽처를 참조 픽처로 한다. 그리고, 그 참조 픽처로부터의 움직임 양을 검출하여 움직임 보상을 한 픽처와 부호화 대상의 픽처와의 차분치에 대해서 공간방향의 용장도를 제거함으로써 데이터량의 압축을 한다.

상술한 것과 같은 각 부호화방식의 비디오 스트림은 도 5 (a)에 나타내는 것 같은 GOP(Group　of　Pictures) 구조를 가지는 점에서 공통되고 있다. 비디오 스트림은 복수의 GOP로 구성되어 있고, GOP를 부호화 처리의 기본 단위로 함으로써 동화상의 편집이나 랜덤 액세스가 가능하게 되어 있다. GOP는 1개 이상의 비디오 액세스유닛에 의해 구성되어 있다. 도 5 (a)는 GOP의 일례이다.

도 5 (a)에 나타내는 것과 같이 GOP는 I픽처, P픽처, B픽처, Br픽처라고 하는 복수 종별의 픽처 데이터로 구성된다.

GOP 구조에서의 개개의 픽처 데이터 중 참조 픽처를 갖지 않고 부호화 대상 픽처만을 이용해 픽처 내 예측부호화를 실시하는 픽처를 Intra(I) 픽처라고 부른다. 픽처란 프레임 및 필드의 양자를 포함하는 1개의 부호화의 단위이다. 또, 이미 처리된 1매의 픽처를 참조해 픽처 간 예측부호화하는 픽처를 P픽처라고 부르고, 이미 처리된 2매의 픽처를 동시에 참조해 픽처 간 예측부호화하는 픽처를 B픽처라고 부르며, B픽처 중에서 다른 픽처로부터 참조되는 픽처를 Br픽처라고 부른다. 또, 프레임 구조의 경우의 프레임, 필드 구조의 경우의 필드를 여기에서는“비디오 액세스유닛”이라고 부른다.

비디오 액세스유닛은 픽처의 부호화데이터를 저장하는 단위이며, 프레임 구조의 경우는 1 프레임, 필드 구조의 경우는 1 필드의 데이터가 저장된다. GOP의 선두는 I픽처가 된다. MPEG-4　AVC, MPEG-2의 쌍방에 대해 설명하려고 하면 설명이 장황해지므로, 이후의 설명에서는 특별히 한정하지 않는 한은 비디오 스트림의 압축 부호화형식은 MPEG-4　AVC이라는 전제로 설명을 진행한다.

도 5 (b)는 GOP의 선두에 위치하는 I픽처 데이터에 해당하는 비디오 액세스유닛의 내부 구성을 나타낸다. GOP 선두에 해당하는 비디오 액세스유닛은 복수의 네트워크 추상화 레이어(Network　Abstraction　Layer：NAL) 유닛으로 구성된다. GOP의 선두에 해당하는 비디오 액세스유닛은 도 5 (b)에 나타내는 것과 같이 AU(Access　Unit) 식별코드(61), 시퀀스 헤더(62), 픽처 헤더(63), 보충데이터(64), 압축 픽처 데이터(65) 및 패딩 데이터(66)를 포함하는 NAL 유닛으로 구성된다.

AU 식별코드(61)는 비디오 액세스유닛의 선두를 나타내는 개시부호이다. 시퀀스 헤더(62)는 복수 비디오 액세스유닛으로 구성되는 재생 시퀀스에서의 공통의 정보를 저장하고 있다. 공통의 정보로는 해상도, 프레임 레이트, 어스펙트 비, 비트 레이트 등이 있다. 픽처 헤더(63)는 픽처 전체의 부호화의 방식 등의 정보를 저장하고 있다. 보충데이터(64)는 압축 데이터의 복호화에 필수가 아닌 부가 데이터이며, 예를 들어 영상과 동기하여 TV에 표시하는 자막방송의 문자정보나 GOP 구조 정보 등을 저장하고 있다. 압축 픽처 데이터(65)에는 압축 부호화된 픽처의 데이터가 저장된다. 패딩 데이터(66)에는 형식을 정렬하기 위한 의미가 없는 데이터가 저장된다. 예를 들어 정해진 비트 레이트를 유지하기 위한 스태핑 데이터로서 이용한다.

AU 식별코드(61), 시퀀스 헤더(62), 픽처 헤더(63), 보충데이터(64), 압축 픽처 데이터(65), 패딩 데이터(66)의 내부 구성은 비디오의 부호화방식에 따라서 다르다.

예를 들어 MPEG-4　AVC의 경우이면, AU 식별코드(61)는 AU 딜리미터(Access　Unit　Delimiter)에, 시퀀스 헤더(62)는 SPS(Sequence　Parameter　Set)에, 픽처 헤더(63)는 PPS(Picture　Parameter　Set)에, 보충데이터(64)는 SEI(Supplemental　Enhancement　Information)에, 압축 픽처 데이터(65)는 복수 개의 슬라이스(slice)에, 패딩 데이터(66)는 FillerData에 대응한다.

예를 들어 MPEG-2인 경우이면, 시퀀스 헤더(62)는 sequence_Header, sequence_extension, group_of_picture_header에, 픽처 헤더(63)는 picture_header, picture_coding_extension에, 보충데이터(64)는 user_data에, 압축 픽처 데이터(65)는 복수 개의 슬라이스에 대응한다. AU 식별코드(61)는 존재하지 않으나, 각각의 헤더의 스타트코드를 사용하면 비디오 액세스유닛의 사이를 판단할 수 있다. 트랜스포트 스트림에 포함되는 각 스트림은 PID라고 불리는 스트림 식별 ID에 의해 식별된다. 이 PID의 패킷을 추출함으로써 디코더는 대상의 스트림을 추출할 수 있다. PID와 스트림의 대응은 이하에서 설명하는 PMT 패킷의 디스크립터에 저장된다.

개개의 픽처 데이터는 도 6의 변환의 과정을 거쳐서 PES(Packetized　Elementary　Stream) 패킷의 페이로드에 배치된다. 도 6은 개개의 픽처 데이터가 PES 패킷으로 변환되는 과정을 나타내는 도면이다.

도 6에서의 제 1단째는 비디오 스트림의 비디오 프레임 열(70)을 나타낸다. 제 2단째는 PES 패킷 열(71)을 나타낸다. 도 6의 화살표 yy1, yy2, yy3, yy4에 나타내는 것과 같이 비디오 스트림에서의 복수의 Video　Presentation　Unit인 I픽처, B픽처, P픽처는 픽처마다 분할되어 PES 패킷의 페이로드에 저장된다. 각 PES 패킷은 PES 헤더를 가지며, PES 헤더에는 픽처의 표시시각인 PTS(Presentation　Time-Stamp)나 픽처의 복호화 시각인 DTS(Decoding　Time-Stamp)가 저장된다.

개개의 픽처 데이터를 변환함으로써 얻어진 PES 패킷은 복수로 분할되고, 개개의 분할부분은 TS 패킷의 페이로드에 배치된다. 도 7 (a)는 트랜스포트 스트림을 구성하는 TS 패킷(81a, 81b, 81c, 81d)의 데이터구조를 나타내고 있다. TS 패킷(81a, 81b, 81c, 81d)의 데이터구조는 동일하므로, TS 패킷(81a)의 데이터구조에 대해 설명한다. TS 패킷(81a)은 4Byte의 TS 헤더(82)와 어뎁테이션 필드(83)와 TS페이로드(84)로 구성되는 188Byte 고정 길이의 패킷이다. TS 헤더(82)는 도 7 (b)에 나타내는 것과 같이 transport-priority(85), PID(86), adaptation_field_control(87) 등으로 구성된다.

PID(86)는 전술한 것과 같이 트랜스포트 스트림에 다중화되어 있는 스트림을 식별하기 위한 ID이다.

transport_priority(85)는 동일 PID의 TS 패킷안의 패킷의 종별을 식별하기 위한 정보이다.

또, 이상의 각부는 모두 구비할 필요가 있는 부분은 아니며, 어뎁테이션 필드와 TS 페이로드는 어느 한쪽만이 존재하는 경우와 양쪽 모두가 존재하는 경우가 있다. 여기서, adaptation_field_control(87)은 어뎁테이션 필드(83)와 TS 페이로드(84)가 존재하는가를 나타내는 것이다. adaptation_field_control(87)이 나타내는 값이 “1”인 경우는 TS페이로드(84) 만이 존재하고, adaptation_field_control(87)이 나타내는 값이 “2”인 경우는 어뎁테이션 필드(83) 만이 존재하며, adaptation_field_control(87)이 나타내는 값이 “3”인 경우는 어뎁테이션 필드(83)와 TS 페이로드(84)의 양쪽 모두가 존재하는 것을 나타낸다.

어뎁테이션 필드(83)는 PCR 등의 정보나 TS 패킷을 188 바이트 고정 길이로 하기 위해 스태핑하는 데이터의 저장영역이다. TS 페이로드(84)에는 PES 패킷이 분할되어 저장된다.

이상과 같이 개개의 픽처 데이터는 PES 패킷화, TS 패킷화의 과정을 거쳐 트랜스포트 스트림으로 되고 있고, 또, 픽처 데이터를 구성하는 개개의 파라미터는 NAL 유닛으로 변환되어 있는 것을 알 수 있다.

또, 트랜스포트 스트림에 포함되는 TS 패킷에는 영상·음성·자막 등의 각 스트림 이외에도 PAT, PMT, PCR(Program　Clock　Reference) 등이 있다. 이들 패킷이 상술한 PSI라고 불리고 있다. 이때, PAT가 포함되는 TS 패킷의 PID는 0이다. PCR은 TS 패킷의 디코더에 도착하는 도착시각과 PTS·DTS의 시간 축인 STC(System　Time　Clock)의 동기를 취하기 위해 그 PCR 패킷이 디코더에 전송되는 타이밍에 대응하는 STC 시간의 정보를 갖는다.

이상이 디지털 텔레비전의 방송파 등으로 전송되는 일반적인 스트림 구조의 설명이다.

다음에, 입체 시에 사용하는 시차 화상을 실현하기 위한 일반적인 영상 포맷에 대해 설명한다.

시차 화상을 사용한 입체 시의 방식으로는 오른쪽 눈에 들어오는 영상과 왼쪽 눈에 들어오는 영상을 각각 준비하고, 각각의 눈에 대응하는 픽처만이 들어가도록 하여 입체 시를 실시한다. 도 8은 사용자의 얼굴을 좌측으로 묘사하고, 우측에는 대상물인 공룡의 골격을 좌측 눈으로 본 경우의 예와 대상물인 공룡의 골격을 우측 눈으로 본 경우의 예를 나타내고 있다. 우측 눈 및 좌측 눈의 투광, 차광이 반복되면 사용자의 뇌 내에서는 눈의 잔상 반응에 의해 좌우의 신의 중첩이 이루어져서 얼굴의 중앙의 연장선상에 입체영상이 존재한다고 인식할 수 있다.

시차 화상 중 왼쪽 눈에 들어오는 화상을 좌측 눈 화상(L화상)이라고 하고, 오른쪽 눈에 들어오는 화상을 우측 눈 화상(R화상)이라고 한다. 그리고, 각각의 픽처가 L화상으로 되어 있는 동화상을 레프트 뷰 비디오라고 하고 각각의 픽처가 R화상으로 되어 있는 동화상을 라이트 뷰 비디오라고 한다.

레프트 뷰 비디오와 라이트 뷰 비디오를 합성해서 압축 부호화하는 3D의 영상 방식에는 프레임 호환방식과 멀티 뷰 부호화방식이 있다.

우선, 1번째의 프레임 호환방식은 레프트 뷰 비디오와 라이트 뷰 비디오의 대응하는 각 픽처를 각각 솎아내거나 또는 축소한 다음에 하나의 픽처에 합성하여 통상의 동화상 압축 부호화를 실시하는 방식이다. 일례로는 도 9에 나타내는 것 같은 Side-by-Side 방식이 있다. Side-by-Side 방식에서는 레프트 뷰 비디오와 라이트 뷰 비디오의 대응하는 각 픽처를 각각 수평방향으로 1/2에 압축한 다음에 좌우로 배열함으로써 하나의 픽처에 합성한다. 합성된 픽처에 의한 동화상은 통상의 동화상 압축 부호화를 하여 스트림화 된다. 한편 재생시는 스트림을 통상의 동화상 압축 부호화방식에 의거해 동화상으로 복호화된다. 복호화된 동화상의 각 픽처는 좌우 화상으로 분할되어, 각각 수평방향으로 2배로 신장됨으로써 레프트 뷰 비디오와 라이트 뷰 비디오의 대응하는 각 픽처를 얻을 수 있다. 얻을 수 있던 레프트 뷰 비디오의 픽처(L화상)와 라이트 뷰 비디오의 픽처(R화상)를 교대로 표시함으로써 도 8에 나타내는 것 같은 입체 시 화상을 얻을 수 있다. 프레임 호환방식에는 Side-by-Side 방식 외에, 좌우 화상을 상하로 배열하는 Top　and　Bottom 방식이나, 픽처내의 1 라인마다 좌우 화상을 교대로 배치하는 Line　Alternative방식 등이 있다.

다음에, 2번째의 멀티 뷰 부호화방식에 대해 설명한다. 멀티 뷰 부호화방식의 예로 3D 영상을 고효율로 압축하는 부호화방식인 MPEG-4　MVC(Multiview　Video　Coding)로 불리는 MPEG-4　AVC/H. 264의 수정규격을 들 수 있다. ISO/IEC　MPEG와 ITU-T　VCEG의 공동 프로젝트인 Joint　Video　Team(JVT)는 2008년 7월에 Multiview　Video　Coding(MVC)이라고 불리는 MPEG-4　AVC/H. 264의 수정 규격의 책정을 완료했다.

멀티 뷰 부호화방식에서는 레프트 뷰 비디오, 라이트 뷰 비디오를 디지털화하여 압축 부호화함으로써 얻어지는 비디오 스트림이다.

도 10은 멀티 뷰 부호화방식에 의한 입체 시를 위한 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림의 내부 구성의 일례를 나타내는 도면이다.

본 도면의 제 2단째는 레프트 뷰 비디오 스트림의 내부 구성을 나타낸다. 이 스트림에는 픽처 데이터 I1, P2, Br3, Br4, P5, Br6, Br7, P9라고 하는 픽처 데이터가 포함되어 있다. 이들 픽처 데이터는 DTS에 따라 디코드 된다. 제 1단째는 좌측 눈 화상을 나타낸다. 그렇게 하여 디코드 된 픽처 데이터 I1, P2, Br3, Br4, P5, Br6, Br7, P9를 PTS에 따라 I1, Br3, Br4, P2, Br6, Br7, P5의 순서로 재생함으로써 좌측 눈 화상이 재생되게 된다. 본 도면에 있어서 참조 픽처를 가지지 않고 부호화 대상 픽처만을 이용해 픽처 내 예측부호화를 실시하는 픽처를 I픽처라고 부른다. 픽처란 프레임 및 필드의 양자를 포함하는 1개의 부호화의 단위이다. 또, 이미 처리된 1매의 픽처를 참조해 픽처 간 예측부호화하는 픽처를 P픽처라고 하고, 이미 처리된 2매의 픽처를 동시에 참조해 픽처 간 예측부호화하는 픽처를 B픽처와 B픽처 중에서 다른 픽처로부터 참조되는 픽처를 Br픽처라고 각각 불린다.

제 4단째는 라이트 뷰 비디오 스트림의 내부 구성을 나타낸다. 이 레프트 뷰 비디오 스트림은 P1, P2, B3, B4, P5, B6, B7, P8라고 하는 픽처 데이터가 포함되어 있다. 이들 픽처 데이터는 DTS에 따라 디코드 된다. 제 3단째는 우측 눈 화상을 나타낸다. 그렇게 해서 디코드 된 픽처 데이터 P1, P2, B3, B4, P5, B6, B7, P8를 PTS에 따라서 P1, B3, B4, P2, B6, B7, P5의 순서로 재생함으로써 우측 눈 화상이 재생되게 된다. 다만, 계시 분리방식의 입체 시 재생에서는 동일 PTS가 부여된 좌측 눈 화상과 우측 눈 화상과의 쌍 중 일방의 표시를 PTS의 간격의 절반의 시간(이하, 「3D 표시지연」이라고 한다)분만큼 지연해서 표시한다.

제 5단째는 3D 안경(20)의 상태를 어떻게 변화시키는가를 나타낸다. 이 제 5단째에 나타내는 것과 같이 좌측 눈 화상의 시청시에는 우측 눈의 셔터를 닫고, 우측 눈 화상의 시청시에는 좌측 눈의 셔터를 닫고 있는 것을 알 수 있다.

이들 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림은 시간방향의 상관특성을 이용한 픽처 간 예측부호화에 더하여, 시점 간의 상관특성을 이용한 픽처 간 예측부호화에 의해 압축되어 있다. 라이트 뷰 비디오 스트림의 픽처는 레프트 뷰 비디오 스트림의 같은 표시시각의 픽처를 참조해 압축되어 있다.

예를 들어 라이트 뷰 비디오 스트림의 선두 P픽처는 레프트 뷰 비디오 스트림의 I픽처를 참조하고, 라이트 뷰 비디오 스트림의 B픽처는 레프트 뷰 비디오 스트림의 Br픽처를 참조하며, 라이트 뷰 비디오 스트림의 2번째의 P픽처는 레프트 뷰 비디오 스트림의 P픽처를 참조하고 있다.

그리고, 압축 부호화된 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림 중 단일체로 복호화가 가능해지는 것을“베이스 뷰 비디오 스트림”이라고 한다. 또, 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림 중 베이스 뷰 비디오 스트림을 구성하는 개개의 픽처 데이터와의 뷰 사이에서의 프레임 간 상관특성에 의거해 압축 부호화되어 있고, 베이스 뷰 비디오 스트림이 복호된 다음 복호 가능해지는 비디오 스트림을 “디펜던트 뷰 비디오 스트림”이라고 한다. 또, 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림을 합쳐서 "멀티 뷰 비디오 스트림"이라고 부른다. 또한 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림은 각각 다른 스트림로서 저장이나 전송되어도 좋고, 예를 들어 MPEG2-TS 등의 동일한 스트림에 다중화되어도 좋다.

다음에, 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 액세스 유닛의 관계에 대해 설명한다. 도 11은 베이스 뷰 비디오 스트림의 각 픽처와 우측 눈 영상 비디오 스트림의 각 픽처의 비디오 액세스유닛의 구성을 나타내고 있다. 전술한 것과 같이, 도 11 상단과 같이 베이스 뷰 비디오 스트림은 각 픽처가 1개의 비디오 액세스유닛으로서 구성된다. 도 11 하단과 같이 디펜던트 뷰 비디오 스트림도 마찬가지로 각 픽처가 1개의 비디오 액세스유닛을 구성하지만, 베이스 뷰 비디오 스트림의 비디오 액세스유닛과는 데이터구조가 다르다. 또, 도 11 하단과 같이 베이스 뷰 비디오 스트림의 비디오 액세스유닛은 표시시각에 대응하는 디펜던트 뷰 비디오 스트림의 비디오 액세스유닛에 의해 3D 비디오 액세스유닛 90을 구성하며, 후술하는 비디오 디코더는 이 3D 비디오 액세스유닛 단위로 디코드 및 표시를 실행한다. 덧붙여서, MPEG-4　MVC의 비디오 코덱에서는 1개의 뷰에서의 각 픽처(여기서 말하는 비디오 액세스유닛)를 「뷰 컴포넌트」라고 정의하며, 멀티 뷰에서의 동일 시각의 픽처군(여기서 말하는 3D 비디오 액세스유닛)을 「액세스 유닛」라고 정의하고 있으나, 본 실시형태에서는 도 11에서 설명한 정의로 설명을 한다.

도 12는 AV 스트림 중에서의 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 각 비디오 액세스유닛에 할당하는 표시시각(PTS), 디코드 시각(DTS)의 관계의 예를 나타내고 있다.

동 시각의 시차 화상을 저장하는 베이스 뷰 비디오 스트림의 픽처와 디펜던트 뷰 비디오 스트림의 픽처는 동일한 DTS/PTS가 되도록 설정된다. 이는 픽처 간 예측 부호화의 참조 관계에 있는 베이스 뷰 픽처와 디펜던트 뷰 픽처의 디코드/표시 순을 동일하게 설정함으로써 실현될 수 있다. 이와 같이 구성함으로써 베이스 뷰 비디오 스트림의 픽처와 디펜던트 뷰 비디오 스트림의 픽처를 디코드하는 비데오 디코더는 3D 비디오 액세스유닛 단위로 디코드 및 표시를 실행할 수 있다.

도 13은 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 GOP 구성을 나타내고 있다. 베이스 뷰 비디오 스트림의 GOP 구조는 종래의 비디오 스트림의 구성과 같고, 복수의 비디오 액세스유닛으로 구성된다. 또, 디펜던트 뷰 비디오 스트림은 종래의 비디오 스트림과 같이 복수의 디펜던트 GOP(100, 101, …)로 구성된다. 또, 각 디펜던트 GOP는 복수의 비디오 액세스유닛(U100, U101, U102, …)으로 구성된다. 각 디펜던트 GOP의 선두 픽처는 3D 영상을 재생할 때에 베이스 뷰 비디오 스트림의 GOP 선두의 I픽처와 쌍으로 표시되는 픽처이며, 베이스 뷰 비디오 스트림의 GOP 선두의 I픽처의 PTS와 같은 PTS가 부여된 픽처이다.

도 14 (a), (b)는 디펜던트 GOP에 포함되는 비디오 액세스유닛의 구성을 나타내고 있다. 비디오 액세스유닛은 도 14 (a), (b)에 나타내는 것과 같이 AU 식별코드(111), 시퀀스 헤더(112), 픽처 헤더(113), 보충데이터(114), 압축 픽처 데이터(115), 패딩 데이터(116), 시퀀스 종단코드(117) 및 스트림 종단코드(118)로 구성되어 있다. AU 식별코드(111)는 도 4에 나타내는 AU 식별코드(61)와 마찬가지로 액세스 유닛의 선두를 나타내는 개시부호가 저장된다. 시퀀스 헤더(112), 픽처 헤더(113), 보충데이터(114), 압축 픽처 데이터(115), 패딩 데이터(116)의 각각은 도 4에 나타내는 시퀀스 헤더(62), 픽처 헤더(63), 보충데이터(64), 압축 픽처 데이터(65), 패딩 데이터(66)와 동일하므로 여기에서는 설명은 생략한다. 시퀀스 종단코드(117)에는 재생 시퀀스의 종단을 나타내는 데이터가 저장된다. 스트림 종단코드(118)에는 비트 스트림의 종단을 나타내는 데이터가 저장된다.

도 14 (a)에 나타내는 디펜던트 GOP 선두의 비디오 액세스유닛은 압축 픽처 데이터(115)로서 베이스 뷰 비디오 스트림의 GOP 선두의 I픽처와 동일 시각에 표시되는 픽처의 데이터가 반드시 저장되며, AU 식별코드(111), 시퀀스 헤더(112) 및 픽처 헤더(113)에도 데이터가 반드시 저장된다. 보충데이터(114), 패딩 데이터(116), 시퀀스 종단코드(117) 및 스트림 종단코드(118)에는 데이터가 저장되어 있어도 좋고 저장되지 않아도 좋다. 시퀀스 헤더(112)의 프레임 레이트, 해상도, 어스펙트 비의 값은 대응하는 베이스 뷰 비디오 스트림의 GOP 선두의 비디오 액세스유닛에 포함되는 시퀀스 헤더의 프레임 레이트, 해상도, 어스펙트 비와 같다. 도 14 (b)에 나타내는 것과 같이 GOP 선두 이외의 비디오 액세스유닛은 AU 식별코드(111), 압축 픽처 데이터(115)에는 데이터가 반드시 저장되며, 픽처 헤더(113), 보충데이터(114), 패딩 데이터(116), 시퀀스 종단코드(117), 스트림 종단코드(118)에는 데이터는 저장되어 있어도 좋고 저장되지 않아도 좋다.

이상이 입체 시에 사용하는 시차 화상을 실현하기 위한 일반적인 영상 포맷에 대한 설명이다.

2. 2　구성

2. 2. 1　영상 송수신시스템(1000)에 대해서

영상 송수신시스템(1000)은 도 15에 나타내는 것과 같이 디지털 텔레비전(재생장치, 10)와 송신장치(200)로 구성되어 있다.

송신장치(200)는 3D 영상과 2D 영상이 혼재하는 3D 프로그램을 송신하는 장치이다. 3D 프로그램 중의 3D 영상이란 당해 프로그램의 본편을 나타내는 영상으로, 예를 들어 3D 프로그램이 드라마이면 그 드라마의 영상이고, 좌측 눈 영상과 우측 눈 영상에 의해 실현된다. 3D 프로그램 중의 2D 영상이란 당해 프로그램의 본편 이외의 영상으로, 예를 들어 광고 방송의 영상이며, 입체 시(3D 재생)에 이용되지 않는 2D 영상이다. 이하에 있어서 입체 시(3D 재생)에 이용되지 않는 2D 영상을 평면 시 전용영상이라고 한다.

송신장치(200)는 3D 영상을 실현하기 위한 좌측 눈 영상과 평면 시 전용영상을 각각 부호화하여 트랜스포트 스트림을 생성하고, 이들 트랜스포트 스트림을 다중화해 방송파로서 재생장치(10)에 송신한다.

또, 송신장치(200)는 3D 영상을 실현하기 위한 우측 눈 영상을 부호화하여 트랜스포트 스트림을 생성하고, 생성한 우측 눈 영상의 트랜스포트 스트림을 인터넷과 같은 IP 네트워크를 개재하여 재생장치(10)에 송신한다.

재생장치(10)는 부호화된 좌측 눈 영상 및 평면 시 전용영상을 방송파로서 수신하여 복호한다. 또, 재생장치(10)는 부호화된 우측 눈 영상을 IP 네트워크를 개재하여 수신해서 복호한다. 재생장치(10)는 복호한 좌측 눈 영상과 우측 눈 영상을 교대로 재생함으로써 시청자에게 입체 시를 표시한다. 또, 재생장치(10)는 복호한 평면 시 전용영상을 종래와 마찬가지로 평면 영상으로 재생한다.

이하, 각 장치의 구성에 대해 구체적에서 설명한다.

2. 2. 2　송신장치(200)에 대해서

송신장치(200)는 도 16에 나타내는 것과 같이 영상저장부(201), 스트림 관리정보 저장부(202), 자막 스트림 저장부(203), 오디오 스트림 저장부(204), 제 1 비디오 부호화부(205), 제 2 비디오 부호화부(206), 비디오 스트림 저장부(207), 제 1 다중화 처리부(208), 제 2 다중화 처리부(209), 제 1 트랜스포트 스트림 저장부(210), 제 2 트랜스포트 스트림 저장부(211), 제 1 송신부(212) 및 제 2 송신부(213)로 구성되어 있다.

(1) 영상저장부(201)

영상저장부(201)는 방송 대상(송신 대상)이 되는 3D 프로그램을 구성하는 복수의 영상(좌측 눈 영상, 우측 눈 영상 및 평면 시 전용영상)을 저장하고 있는 기억영역이다.

영상저장부(201)에 저장되는 각 영상에는 당해 영상이 3D 영상인가 평면 시 전용영상인가를 구별하는 영상 식별자가 대응되어 있다.

또, 영상저장부(201)에는 각 영상은 좌측 눈 영상과 평면 시 전용영상으로 이루어지는 그룹(좌측 눈 용 그룹)과 우측 눈 영상과 평면 시 전용영상으로 이루어지는 그룹(우측 눈 용 그룹)으로 나눌 수 있고, 또한, 각 그룹에서는 재생 순이 되도록 저장되어 있다. 이 시점에서는 평면 시 전용영상은 어느 그룹에도 속하게 된다.

(2) 스트림 관리정보 저장부(202)

스트림 관리정보 저장부(202)는 좌측 눈 영상 및 평면 시 전용영상과 함께 방송파로서 송신되는 SI(Service　Information)/PSI (Program　Specific Information)를 저장하고 있는 기억영역이다.

SI/PSI에는 방송국, 채널(서비스)의 상세정보 및 프로그램 상세정보 등이 기재되어 있고, 이들의 기재 내용에 대해서는 이미 알려져 있으므로 여기에서의 설명은 생략한다.

(3) 자막 스트림 저장부(203)

자막 스트림 저장부(203)는 영상에 중첩하여 재생되는 자막에 관한 자막데이터를 저장하고 있는 기억영역이다.

자막데이터는 이미 자막에 대해서 MPEG-1, MPEG-2 등의 방식을 사용해 부호화되어 자막 스트림 저장부(203)에 저장되어 있다.

(4) 오디오 스트림 저장부(204)

오디오 스트림 저장부(204)는 리니어 PCM 등의 방식으로 압축·부호화된 오디오 데이터를 저장하고 있는 기억영역이다.

(5) 제 1 비디오 부호화부(205)

제 1 비디오 부호화부(205)는 영상저장부(201)에 저장되어 있는 좌측 눈 영상 및 평면 시 전용영상을 MPEG2　Video 방식에 의한 부호화를 실시하는 것이다.

구체적으로는, 제 1 비디오 부호화부(205)는 미리 정해진 부호화 순서에 의거하여 좌측 눈 용 그룹으로부터 좌측 눈 영상 또는 평면 시 전용영상을 영상저장부(201)로부터 판독한다.

제 1 비디오 부호화부(205)는 판독한 영상에 대응된 영상 식별자를 이용하여 당해 영상이 3D 영상(이 경우, 좌측 눈 영상)인가 평면 시 전용영상인가를 식별한다.

제 1 비디오 부호화부(205)는 판독한 영상을 압축·부호화에 의해 영상(픽처) 단위의 비디오 액세스유닛을 생성할 때에 보충데이터에는 영상 식별자를 이용한 판별 결과에 따라서 압축·부호화한 영상이 평면 시 전용영상인가 아닌가를 나타내는 2D 영상 플래그를 저장한다.

제 1 비디오 부호화부(205)는 압축·부호화된 좌측 눈 영상 및 평면 시 전용영상을 비디오 스트림 저장부(207)에 저장한다.

또, 제 1 비디오 부호화부(205)에서 압축·부호화된 좌측 눈 영상 및 평면 시 전용영상이 혼재하는 비디오 스트림을 이하에서는 좌측 눈 용 비디오 스트림이라고 한다. 좌측 눈 용 비디오 스트림이 Elementary　Stream(ES)에 해당한다.

또, MPEG2　Video 방식에 의한 부호화는 이미 알려진 기술이므로 여기에서의 설명은 생략한다.

(6) 제 2 비디오 부호화부(206)

제 2 비디오 부호화부(206)는 영상저장부(201)에 저장되어 있는 우측 눈 영상을 MPEG2　Video 방식에 의한 부호화를 실시하는 것이다.

구체적으로는, 제 2 비디오 부호화부(206)는 미리 정해진 부호화 순서에 의거하여 우측 눈 용 그룹으로부터 우측 눈 영상 또는 평면 시 전용영상을 영상저장부(201)에서 판독한다.

제 2 비디오 부호화부(206)는 판독한 영상에 대응된 영상 식별자를 이용하여 당해 영상이 3D 영상(이 경우, 우측 눈 영상)인가 평면 시 전용영상인가를 식별한다.

제 2 비디오 부호화부(206)는 식별 결과에 의해 판독한 영상이 3D 영상이라고 판별한 경우에는 당해 영상(우측 눈 영상)의 압축·부호화를 실시한다.　제 2 비디오 부호화부(206)는 식별 결과에 의해 판독한 영상이 평면 시 전용영상이라고 판별한 경우에는 당해 영상(평면 시 전용영상)의 압축·부호화 대신에 흑 화면의 압축·부호화를 실시한다. 혹은 당해 영상(평면 시 전용영상)의 압축시의 비트 레이트를 3D 영상(이 경우 우측 눈 영상)의 경우에 비교하여 낮게 설정해서 압축·부호화를 해도 좋다.

또, 제 2 비디오 부호화부(206)에서 압축·부호화된 우측 눈 영상 및 흑 화면이 혼재하는 비디오 스트림을 이하에서는 우측 눈 용 비디오 스트림이라고 한다. 우측 눈 용 비디오 스트림이 ES에 해당한다.

(7) 비디오 스트림 저장부(207)

비디오 스트림 저장부(207)는 제 1 비디오 부호화부(205)에 의해 압축·부호화된 좌측 눈 영상 및 평면 시 전용영상을 저장하기 위한 기억영역이다.

(8) 제 1 다중화 처리부(208)

제 1 다중화 처리부(208)는 스트림 관리정보 저장부(202), 자막 스트림 저장부(203), 오디오 스트림 저장부(204) 및 비디오 스트림 저장부(207)에 저장된 각종 정보(SI/PSI, 자막데이터, 압축·부호화된 오디오 데이터 및 압축·부호화된 영상)에 대해서 필요에 따라서 패킷화 한 후 다중화하여 MPEG2-TS 형식의 하나 이상의 TS(Transport　Stream)를 생성하고, 생성한 TS를 제 1 트랜스포트 스트림 저장부(210)에 저장한다.

또, 이하에서는 제 1 다중화 처리부(208)에서 생성된 TS를 좌측 눈 용 TS라고 한다.

(9) 제 2 다중화 처리부(209)

제 2 다중화 처리부(209)는 제 2 비디오 부호화부(206)에서 압축·부호화된 영상에 대해서 필요에 따라서 패킷화 한 후 다중화하여 MPEG2-TS 형식의 하나 이상의 TS를 생성하고, 생성한 TS를 제 2 트랜스포트 스트림 저장부(211)에 저장한다.

또, 이하에서는 제 2 다중화 처리부(209)에서 생성된 TS를 우측 눈 용 TS라고 한다.

(10) 제 1 트랜스포트 스트림 저장부(210)

제 1 트랜스포트 스트림 저장부(210)는 제 1 다중화 처리부(208)에서 생성된 좌측 눈 용 TS를 저장하기 위한 기억영역이다.

(11) 제 2 트랜스포트 스트림 저장부(211)

제 2 트랜스포트 스트림 저장부(211)는 제 2 다중화 처리부(209)에서 생성된 우측 눈 용 TS를 저장하기 위한 기억영역이다.

(12) 제 1 송신부(212)

　제 1 송신부(212)는 제 1 트랜스포트 스트림 저장부(210)에 저장된 좌측 눈 용 TS를 방송파로서 송신한다.

(13) 제 2 송신부(213)

제 2 송신부(213)는 제 2 트랜스포트 스트림 저장부(211)에 저장된 우측 눈 용 TS를 IP 네트워크를 개재하여 외부에 송신한다.

2. 2. 3　재생장치(10)에 대해서

재생장치(10)는 도 17에 나타내는 것과 같이 튜너(301), NIC(Network　Interface　Card)(302), 사용자 인터페이스부(303), 제 1 다중 분리부(304), 제 2 다중 분리부(305), 제 1 비디오 복호부(306), 제 2 비디오 복호부(307), 자막 복호부(308), OSD(On-screen　display) 작성부(309), 오디오 복호부(310), 판정부(311), 재생처리부(312) 및 스피커(313)로 구성되어 있다.

(1) 튜너(301)

튜너(301)는 디지털 방송파(여기에서는 좌측 눈 용 TS)를 수신하여, 수신한 방송파의 신호를 복조하는 것이다.

튜너(301)는 복조한 좌측 눈 용 TS를 제 1 다중 분리부(304)에 출력한다.

(2) NIC(302)

NIC(302)는 IP 네트워크와 접속되어 있고, 외부로부터 출력된 스트림(여기에서는 우측 눈 용 TS)을 수신하는 것이다.

NIC(302)는 수신한 우측 눈 용 TS를 제 2 다중 분리부(305)에 출력한다.

(3) 사용자 인터페이스부(303)

사용자 인터페이스부(303)는 사용자에 의한 선국의 지시나 전원 오프의 지시를 리모컨(330)으로부터 접수한다.

사용자 인터페이스부(303)가 사용자로부터 선국 지시(채널 변경의 지시)를 접수하면 튜너(301)에 의해 설정되어 있는 채널을 사용자로부터 지시받은 채널로 변경한다. 이에 의해 튜너(301)는 사용자로부터 선국된 방송파를 수신하게 된다.

사용자 인터페이스부(303)는 사용자로부터 전원 오프의 지시를 접수하면 재생장치(10)는 전원이 오프 된다.

(4) 제 1 다중 분리부(304)

제 1 다중 분리부(304)는 튜너(301)에 의해 수신·복조된 좌측 눈 용 TS를 평면 시 전용영상과 좌측 눈 영상이 혼재하는 좌측 눈 용 비디오 스트림, SI/PSI, 자막데이터의 스트림 및 오디오 데이터의 스트림으로 분리하고, 분리한 좌측 눈 용 비디오 스트림을 제 1 비디오 복호부(306)에, 자막데이터의 스트림을 자막 복호부(308)에, 오디오 데이터의 스트림을 오디오 복호부(310)에 각각 출력한다.

(5) 제 2 다중 분리부(305)

제 2 다중 분리부(305)는 NIC(302)에서 수신된 우측 눈 용 TS로부터 흑 화면과 우측 눈 영상이 혼재하는 우측 눈 용 비디오 스트림을 분리하고, 분리한 우측 눈 용 비디오 스트림을 제 2 비디오 복호부(307)에 출력한다.

(6) 제 1 비디오 복호부(306)

제 1 비디오 복호부(306)는 제 1 다중 분리부(304)로부터 수신한 좌측 눈 용 비디오 스트림을 복호하여 복호된 각 영상을 재생 시퀀스에 따라서 순차 재생처리부(312)에 출력한다. 또, 2D 영상을 표시만을 행하는 재생장치에서의 재생을 가능으로 하기 위해 영상의 출력 주기는 종래의 재생장치의 표시주기(예를 들어 1/60초)와 같은 주기이다.

또, 제 1 비디오 복호부(306)는 복호한 각 영상에 대응하는 보충데이터에 포함되는 영상 식별자를 판정부(311)에 출력한다.

(7) 제 2 비디오 복호부(307)

제 2 비디오 복호부(307)는 제 2 다중 분리부(305)로부터 수신한 우측 눈 용 비디오 스트림을 복호하여 복호된 각 영상을 재생 시퀀스에 따라서 순차 재생처리부(312)에 출력한다.

또, 영상의 출력 주기는 제 1 비디오 복호부(306)에서의 출력 주기와 같다.

(8) 자막 복호부(308)

자막 복호부(308)는 제 1 다중 분리부(304)로부터 수신한 자막데이터의 스트림을 복호하여 자막을 생성하고, 생성한 자막을 재생처리부(312)에 출력한다.

(9) OSD 작성부(309)

OSD 작성부(309)는 현재 수신중의 프로그램과 함께 채널 번호, 방송국명 등을 표시하기 위해 이들 정보를 생성하고, 생성한 정보(채널 번호, 방송국명 등)를 재생처리부(312)에 출력한다.

(10) 오디오 복호부(310)

오디오 복호부(310)는 제 1 다중 분리부(304)로부터 순차 수신한 오디오 데이터의 스트림을 복호하여 오디오 데이터를 생성하고, 생성한 오디오 데이터를 음성으로 스피커(313)를 개재하여 출력한다.

(11) 판정부(311)

판정부(311)는 제 1 비디오 복호부(306)로부터 수신한 영상 식별자가 평면 시 전용영상을 나타내는가 여부를 판단하고, 즉 영상 식별자에 대응하는 복호된 영상(재생 대상의 영상)이 평면 시 전용영상인가 3D 영상(좌측 눈 영상)인가를 판정하고, 그 결과를 재생처리부(312)에 출력한다.

(12) 재생처리부(312)

재생처리부(312)는 도 17에 나타내는 것과 같이 제 1 프레임 버퍼(321), 제 2 프레임 버퍼(322), 프레임 버퍼 전환부(323), 전환제어부(324), 중첩부(325) 및 표시부(326)로 구성되어 있다.

제 1 프레임 버퍼(321)는 제 1 비디오 복호부(306)에서 복호된 각 영상을 영상 단위(프레임 단위)로 저장하기 위한 기억영역이다.

제 2 프레임 버퍼(322)는 제 2 비디오 복호부(307)에서 복호된 각 영상을 영상 단위(프레임 단위)에 저장하기 위한 기억영역이다.

프레임 버퍼 전환부(323)는 재생 대상(출력 대상)의 영상을 전환하기 위해 중첩부(325)의 접속처를 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322)의 어느 하나로 전환한다. 구체적으로는, 3D 재생을 실행하는 경우에는 프레임 버퍼 전환부(323)는 중첩부(325)의 접속처로 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322)를 교대로 전환함으로써 좌측 눈 영상 및 우측 눈 영상을 교대로 재생할 수 있으므로 입체 시가 가능해진다. 변환의 주기는 예를 들어 1/120초이다.

전환제어부(324)는 프레임 버퍼 전환부(323)의 전환처를 제어하는 것이다. 구체적으로는, 전환제어부(324)는 판정부(311)로부터 수신한 판정결과가 재생 대상의 영상이 2D인 것을 나타내는 경우에는 이후의 판정결과에 있어서 재생 대상의 영상이 2D가 아니라는 것이 판정될 때까지는 프레임 버퍼 전환부(323)의 접속처를 제 1 프레임 버퍼(321)로 유지한다. 전환제어부(324)는 판정부(311)로부터 수신한 판정결과가 재생 대상의 영상이 2D가 아닌 것으로, 즉 재생 대상이 3D 영상인 것을 나타내는 경우에는 영상의 표시주기(예를 들어 1/120초)로 프레임 버퍼 전환부(323)의 접속처로 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322)를 교대로 전환한다.

중첩부(325)는 표시주기(1/120초)에 의거하여 프레임 버퍼 전환부(323)의 접속처의 프레임 버퍼로부터 영상을 판독하고, 판독한 영상에 대해서 필요에 따라서 자막 복호부(308)에서 복호된 자막데이터 및 OSD 작성부(309)에서 작성된 정보를 중첩하여 표시부(326)에 출력한다. 중첩부(325)는 좌측 눈 영상(PL1)을 판독하고, 1/120초 경과 후 우측 눈 영상을 판독한다. 또, 1/120초 경과하면 좌측 눈 영상을 판독하나, 좌측 눈 영상(PL1)을 판독하고 나서 1/60초 경과하고 있으므로 제 1 프레임 버퍼(321)로부터는 다른 좌측 눈 영상(PL2)이 판독된다. 즉, 3D 표시로서 쌍이 되는 좌측 눈 영상과 우측 눈 영상은 1/60초 사이에 각각 1회씩 각 프레임 버퍼로부터 판독되게 된다. 한편, 평면 시 전용영상이 제 1 프레임 버퍼(321)에 저장되어 있는 경우에는 제 1 프레임 버퍼(321)의 갱신 주기, 즉 제 1 비디오 복호부(306)로부터 평면 시 전용영상이 출력되고 나서 다음의 영상이 출력될 때까지의 사이(1/60초간)에는 중첩부(325)는 평면 시 전용영상을 2회 판독하는 타이밍이 있는 것을 알 수 있다. 또, 1/120초의 표시주기로 2D 재생을 실행해도 동일한 영상을 2회 표시하는 것만으로 시차는 발생하지 않으므로 영상이 입체적으로 보이는 경우는 없으며, 평면 시에 의한 시청이 가능하다.

표시부(326)는 중첩부(325)로부터 수신한 영상을 디스플레이(도시하지 않음)에 표시한다.

(13) 스피커(313)

스피커(313)는 오디오 복호부(310)에서 복호된 오디오 데이터를 음성으로 출력한다.

2. 3　동작

여기에서는 송신장치(200) 및 재생장치(10) 각각의 동작에 대해 설명한다.

2. 3. 1　송신장치(200)의 동작

여기에서는 송신장치(200)가 실행하는 송신처리에 대해 도 18에 나타내는 흐름도를 이용하여 설명한다.

송신장치(200)의 제 1 비디오 부호화부(205)는 영상저장부(201)에 저장되어 있는 좌측 눈 용 그룹에 포함되는 좌측 눈 영상 및 평면 시 전용영상에 대해 부호화를 실시하여 좌측 눈 용 비디오 스트림을 생성하고, 비디오 스트림 저장부(207)에 저장한다(스텝 S5).

제 2 비디오 부호화부(206)는 영상저장부(201)에 저장되어 있는 우측 눈 용 그룹에 포함되는 우측 눈 영상 및 흑 화면에 대해 부호화를 실시하여 우측 눈 용 비디오 스트림을 생성한다(스텝 S10).

제 1 다중화 처리부(208)는 스트림 관리정보 저장부(202), 자막 스트림 저장부(203), 오디오 스트림 저장부(204) 및 비디오 스트림 저장부(207)에 저장된 각종 정보를 다중화하여 MPEG2-TS 형식의 하나 이상의 TS를 생성하고, 생성한 TS를 제 1 트랜스포트 스트림 저장부(210)에 저장한다(스텝 S15).

제 2 다중화 처리부(209)는 스텝 S10에서 생성된 우측 눈 용 비디오 스트림을 다중화하여 MPEG2-TS 형식의 하나 이상의 TS를 생성하고, 생성한 TS를 제 2 트랜스포트 스트림 저장부(211)에 저장한다(스텝 S20).

제 1 송신부(212)는 제 1 트랜스포트 스트림 저장부(210)에 저장된 좌측 눈 용 TS를 방송파로서 송신한다(스텝 S25).

제 2 송신부(213)는 제 2 트랜스포트 스트림 저장부(211)에 저장된 우측 눈 용 TS를 IP 네트워크를 개재하여 외부에 송신한다(스텝 S30).

2. 3. 2　재생장치(10)의 동작

여기에서는 재생장치(10)가 실시하는 송신처리에 대해 도 19에 나타내는 흐름도를 이용하여 설명한다.

재생장치(10)의 튜너(301)는 좌측 눈 용 트랜스포트 스트림을 수신한다(스텝 S100).

NIC(302)는 우측 눈 용 트랜스포트 스트림을 수신한다(스텝 S105).

제 1 다중 분리부(304)는 튜너(301)에서 수신한 좌측 눈 용 트랜스포트 스트림으로부터 좌측 눈 용 비디오 스트림, 자막데이터의 스트림 및 오디오 데이터의 스트림을 분리한다(스텝 S110). 제 1 다중 분리부(304)는 분리한 좌측 눈 용 비디오 스트림을 제 1 비디오 복호부(306)에, 자막데이터의 스트림을 자막 복호부(308)에, 오디오 데이터의 스트림을 오디오 복호부(310)에 각각 출력한다.

제 2 다중 분리부(305)는 NIC(302)에서 수신한 우측 눈 용 트랜스포트 스트림으로부터 우측 눈 용 비디오 스트림을 분리한다(스텝 S115). 제 2 다중 분리부(305)는 분리한 우측 눈 용 비디오 스트림을 제 2 비디오 복호부(307)에 출력한다.

제 1 비디오 복호부(306)는 좌측 눈 용 비디오 스트림을 복호하여 복호한 각 영상을 제 1 프레임 버퍼(321)에 저장한다(스텝 S120).

제 1 비디오 복호부(306)는 복호한 각 영상에 대응하는 영상 식별자를 판정부(311)에 출력한다(스텝 S125).

제 2 비디오 복호부(307)는 우측 눈 용 비디오 스트림을 복호하여 복호한 각 영상을 제 2 프레임 버퍼(322)에 저장한다(스텝 S130).

판정부(311)는 재생 대상의 영상에 대응하는 영상 식별자가 당해 영상이 평면 시 전용영상인 것을 나타내는가 여부를 판정한다(스텝 S135).

판정부(311)에서 재생 대상의 영상이 평면 시 전용영상이 아니라고 판정되는 경우에는(스텝 S135에서의 「No」) 재생처리부(312)는 전환제어부(324)에 의해 프레임 버퍼 전환부(323)의 접속처로 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322)를 교대로 전환하여 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322) 각각에 저장된 영상을 이용한 재생(3D 재생)을 실시한다(스텝 S140).

판정부(311)에서 재생 대상의 영상이 평면 시 전용영상이라고 판정되는 경우에는(스텝 S135에서의 「Yes」) 재생처리부(312)는 전환제어부(324)에 의해 프레임 버퍼 전환부(323)의 접속처를 제 1 프레임 버퍼(321)로 하여, 제 1 프레임 버퍼(321)에 저장된 영상을 이용한 재생(2D 재생)을 실시한다(스텝 S145).

2. 4　변형 예

　이상, 실시형태에 의거하여 설명하였으나, 본 발명은 상기 실시형태에 한정되지는 않는다. 예를 들어 이하와 같은 변형 예가 생각할 수 있다.

(1) 상기 실시형태에서는 좌측 눈 용 비디오 스트림과 우측 눈 용 비디오 스트림은 동일한 부호화방식(MPEG2　Video)으로 생성되는 것으로 하였으나, 이에 한정되지는 않는다.

좌측 눈 용 비디오 스트림과 우측 눈 용 비디오 스트림은 다른 부호화방식으로 부호화되어도 좋다. 예를 들어 좌측 눈 용 비디오 스트림은 MPEG2　Video 방식에 의해 부호화되고, 우측 눈 용 비디오 스트림은 MPEG-4　AVC 방식에 의해 부호화되어도 좋다.

(2) 상기 실시형태에서 송신장치(200)는 영상 식별자를 좌측 눈 용 비디오 스트림에 포함되는 영상 각각에 대응하는 보충데이터에 저장하였으나, 이에 한정되지는 않는다. 송신장치(200)는 영상 식별자를 우측 눈 용 비디오 스트림에 포함되는 영상 각각에 대응하는 보충데이터에 저장해도 좋다.

이 경우, 송신장치(200)는 흑 화면에 대응하는 보충데이터에 대해서는 평면 시 전용영상이라는 취지를 나타내는 영상 식별자를, 우측 눈 영상에 대응하는 보충데이터에 대해서는 평면 시 전용영상이 아니라는 취지, 즉 3D 영상(우측 눈 영상)이라는 취지를 나타내는 영상 식별자를 저장한다.

재생장치(10)는 우측 눈 용 비디오 스트림의 복호 시에 복호한 영상에 대응하는 보충데이터에 포함되는 영상 식별자가 평면 시 전용영상이라는 것을 나타내는 것인지, 3D 영상인 것을 나타내는 것인지를 판정한다. 영상 식별자가 평면 시 전용영상인 것을 나타낸다고 판정하는 경우에는 프레임 버퍼 전환부(323)의 접속처를 제 1 프레임 버퍼(321)로 하여 제 1 프레임 버퍼(321)에만 저장된 영상(평면 시 전용영상)을 이용한 재생(2D 재생)을 실시한다.

이때, 2D 재생에서는 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상이 재생된다. 이하, 그 이유를 설명한다. 도 11에 나타내는 것과 같이, 재생시간 축 상(표시 순)에 있어서 좌측 눈 영상과 당해 좌측 눈 영상에 대응하는 우측 눈 시점의 우측 눈 영상과는 쌍을 이루고 있다. 쌍을 이루지 않으면 3D 표시를 할 수 없기 때문이다. 그렇다면, 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상에는 우측 눈 용 비디오 스트림의 흑 화면과 쌍으로 되어 있음을 알 수 있다. 그러므로 우측 눈 용 비디오 스트림의 복호 시에 복호한 영상에 대응하는 영상 식별자가 평면 시 전용영상인 것을 나타내고 있으면 대응하는 좌측 눈 용 비디오 스트림에 포함되는 영상은 평면 시 전용영상이 되므로, 상기와 같은 구조로 2D 재생이 가능해진다.

또, 예를 들어 우측 눈 용 비디오 스트림이 MPEG-4　AVC 방식에 의해 부호화되어 있는 경우에 있어서 영상 식별자를 포함하는 보충데이터가 도 14에 나타내는 것과 같이 압축 픽처 데이터보다 앞에 들어가 있을 때에는 압축·부호화된 영상의 복호 처리(즉, 도 14에 나타내는 압축 픽처 데이터(115)의 복호 처리)를 정지시킬 수 있다. 이것은 처리의 대부분을 차지하는 처리를 회피할 수 있게 되므로 복호 처리에 사용되는 LSI나 CPU의 소비전력을 경감하는 등의 효과가 있다.

이와 같이, 우측 눈 용 비디오 스트림에 영상 식별자를 포함함으로써 종래의 방송파에 의해 송신되는 신호 내에 신규의 정보(여기에서는 영상 식별자)를 추가할 필요가 없으므로, 이것을 수신하는 종래의 기기(IP 네트워크를 개재하여 영상을 수신하지 않는 기기)가 영상 식별자를 상정 외의 데이터로서 취급하는 것에 의해 발생할 수도 있는 호환성 문제 등의 회피가 가능해진다.

(3) 상기 실시형태에서 우측 눈 용 비디오 스트림에서는 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상과 동일한 영상을 포함하는 대신에 흑 화면을 포함하는 것으로 하였으나, 이에 한정되지는 않는다.

좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상이 표시되고 있는 동안은 우측 눈 용 비디오 스트림에 포함되고 또한 재생 시간이 좌측 눈 용 비디오 스트림의 2D 영상과 같은 영상은 표시되지 않는다. 그래서, 흑 화면 대신에 예를 들어 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상의 비트 레이트보다 낮은 비트 레이트의 평면 시 전용영상을 포함해도 좋다.

(4) 상기 실시형태에서 재생장치(10)는 재생 대상의 영상이 2D 영상이라고 판정한 경우에는 IP 네트워크로부터 우측 눈 용 트랜스포트 스트림의 수신을 중지해도 좋다.

이 경우, IP 네트워크로부터 우측 눈 용 트랜스포트 스트림의 수신을 재개하는 타이밍은 재생장치(10)가 좌측 눈 용 비디오 스트림에 포함되어 복호된 영상이 평면 시 전용영상에서 3D 영상으로 변경된 타이밍이다.

이와 같은 제어를 함으로써 재생장치(10)는 소비 전력의 절감을 도모할 수 있다.

(5) 상기 실시형태 1 및 상기 변형 예를 각각 조합하는 것으로 해도 좋다.

3. 실시형태 2

　상기 실시형태 1에서는 좌측 눈 용 비디오 스트림에만 평면 시 전용영상을 포함하는 것으로 하였으나, 본 실시형태에서는 우측 눈 용 비디오 스트림에도 평면 시 전용영상이 포함되는 경우에 대해 설명한다.

3. 1　구성

　실시형태 2에서의 영상 송수신시스템은 디지털 텔레비전(재생장치, 10a)와 송신장치(200a)로 구성되어 있다.

이하, 재생장치(10a)와 송신장치(200a)의 구성에 대해 실시형태 1의 재생장치(10)와 송신장치(200)의 구성과 다른 점을 중심에서 설명한다.

또, 실시형태 1과 변경이 없는 구성요소에 대해서는 실시형태 1과 동일한 부호를 부여하고, 본 실시형태에서의 설명은 생략한다.

3. 1. 1　송신장치(200a)에 대해서

　송신장치(200a)는 도 20에 나타내는 것과 같이 영상저장부(201), 스트림 관리정보 저장부(202), 자막 스트림 저장부(203), 오디오 스트림 저장부(204), 제 1 비디오 부호화부(205a), 제 2 비디오 부호화부(206a), 비디오 스트림 저장부(207), 제 1 다중화 처리부(208), 제 2 다중화 처리부(209), 제 1 트랜스포트 스트림 저장부(210), 제 2 트랜스포트 스트림 저장부(211), 제 1 송신부(212) 및 제 2 송신부(213)로 구성되어 있다.

이하, 제 1 비디오 부호화부(205a), 제 2 비디오 부호화부(206a)에 대해 설명한다.

(1) 제 2 비디오 부호화부(206a)

제 2 비디오 부호화부(206a)는 영상저장부(201)에 저장되어 있는 우측 눈 영상 및 평면 시 전용영상을 MPEG-4　AVC 방식에 의한 부호화를 실시하는 것이다.

구체적으로는, 제 2 비디오 부호화부(206a)는 미리 정해진 부호화 순서에 의거하여 우측 눈 용 그룹으로부터 우측 눈 영상 또는 평면 시 전용영상을 영상저장부(201)으로부터 판독한다.

제 2 비디오 부호화부(206a)는 판독한 영상을 압축·부호화하고, 압축·부호화 한 우측 눈 영상 및 평면 시 전용영상을 제 2 다중화 처리부(209)에 출력한다.

(2) 제 1 비디오 부호화부(205a)

제 1 비디오 부호화부(205a)는 영상저장부(201)에 저장되어 있는 좌측 눈 영상 및 평면 시 전용영상을 MPEG2　Video 방식에 의한 부호화를 실시하는 것이다.

구체적으로는, 제 1 비디오 부호화부(205a)는 실시형태 1에 나타내는 제 1 비디오 부호화부(205)와 동일한 기능을 가지고, 또한 이하의 기능도 갖는다.

제 1 비디오 부호화부(205a)는 평면 시 전용영상에 대해 압축·부호화 하면, 제 2 비디오 부호화부(206a)에서 압축·부호화된 동일한 평면 시 전용영상과 화질을 비교하여, 자신이 압축·부호화한 평면 시 전용영상의 화질이 타방에서 압축·부호화된 평면 시 전용영상의 화질보다 좋은 것인가 여부를 나타내는 2D 화질 플래그를 생성하고, 생성한 2D 화질 플래그를 대응하는 보충데이터에 저장한다.

여기서, 화질 판정의 일례에 대해 설명한다.

화질의 우열에 대해서는 영상의 비트 레이트를 이용한 판정 및 블록 노이즈의 유무를 이용한 판정 등이 있다. 여기에서는 영상의 비트 레이트를 이용한 판정에 대해 설명한다.

일반적으로 MPEG-4 AVC의 압축효율은 MPEG2 Video의 2배 정도라고 얘기되고 있으므로, MPEG2 Video의 비트 레이트와 MPEG-4 AVC의 비트 레이트를 비교하여 MPEG2 Video의 비트 레이트의 1/2보다 MPEG-4 AVC의 비트 레이트가 높으면 MPEG-4 AVC가 고화질로 판정할 수 있다.

3. 1. 2　재생장치(10a)에 대해서

재생장치(10a)는 도 21에 나타내는 것과 같이 튜너(301), NIC(302), 사용자 인터페이스부(303), 제 1 다중 분리부(304), 제 2 다중 분리부(305), 제 1 비디오 복호부(306a), 제 2 비디오 복호부(307), 자막 복호부(308), OSD 작성부(309), 오디오 복호부(310), 판정부(311a), 재생처리부(312a) 및 스피커(313)로 구성되어 있다.

이하, 제 1 비디오 복호부(306a), 판정부(311a) 및 재생처리부(312a)에 대해 설명한다.

(1) 제 1 비디오 복호부(306a)

제 1 비디오 복호부(306a)는 제 1 다중 분리부(304)로부터 수신한 좌측 눈 용 비디오 스트림을 복호하여 복호한 각 영상을 재생 시퀀스에 따라서 순차 재생처리부(312)에 출력한다.

또, 제 1 비디오 복호부(306a)는 복호한 각 영상에 대응하는 보충데이터에 포함되는 영상 식별자 및 2D화질 플래그를 판정부(311a)에 출력한다.

(2) 판정부(311a)

판정부(311a)는 제 1 비디오 복호부(306a)로부터 수신한 영상 식별자가 평면 시 전용영상을 나타내는가 여부의 판단, 즉 영상 식별자에 대응하는 재생 대상의 영상이 평면 시 전용영상인가 3D 영상인가를 판정한다.

판정부(311a)는 재생 대상의 영상이 평면 시 전용영상이라고 판정하는 경우, 제 1 비디오 복호부(306a)로부터 수신한 2D화질 플래그를 이용하여 제 1 비디오 복호부(306a)에서 복호된 평면 시 전용영상이 타방에서 복호된 평면 시 전용영상보다 고화질인가 여부를 판정한다.

판정부(311a)는 재생 대상의 영상이 평면 시 전용영상인가 3D 영상인가의 판정결과를 재생처리부(312a)에 출력하고, 또한 평면 시 전용영상의 화질의 판정을 실행한 경우에는 화질의 판정결과를 재생처리부(312a)에 출력한다.

(3) 재생처리부(312a)

재생처리부(312a)는 도 21에 나타내는 것과 같이 제 1 프레임 버퍼(321), 제 2 프레임 버퍼(322), 프레임 버퍼 전환부(323), 전환제어부(324a), 중첩부(325) 및 표시부(326)로 구성되어 있다.

제 1 프레임 버퍼(321), 제 2 프레임 버퍼(322), 프레임 버퍼 전환부(323), 중첩부(325) 및 표시부(326)는 실시형태 1에서 설명하고 있으므로, 여기에서의 설명은 생략하고, 전환제어부(324a)에 대해서만 설명한다.

전환제어부(324a)는 프레임 버퍼 전환부(323)의 전환 처를 제어하는 것이다. 구체적으로는, 전환제어부(324a)는 판정부(311a)로부터 수신한 영상의 판정결과가 평면 시 전용영상인 취지의 경우로서, 평면 시 전용영상의 화질 판정의 판정결과가 제 1 비디오 복호부(306a)에서 복호된 평면 시 전용영상이 타방에서 복호된 평면 시 전용영상보다 고화질인 취지를 나타내는 경우에는 프레임 버퍼 전환부(323)의 접속처를 제 1 프레임 버퍼(321)로 한다. 판정부(311)로부터 수신한 영상의 판정결과가 평면 시 전용영상인 취지의 경우로서, 평면 시 전용영상의 화질 판정의 판정결과가 고화질이 아닌 취지를 나타내는 경우에는 전환제어부(324a)는 프레임 버퍼 전환부(323)의 접속처를 제 2 프레임 버퍼(321)로 한다.

전환제어부(324a)는 영상의 판정결과가 재생 대상의 영상은 평면 시 전용영상이 아닌, 즉 3D 영상인 취지를 나타내는 경우에는 120㎐의 주기로 접속처로 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322)를 교대로 전환한다.

3. 2　동작

3. 2. 1　송신장치(200a)의 동작

송신장치(200a)에서 이루어지는 송신처리의 동작에 대해서 실시형태 1과의 변경부분을 도 18에 나타내는 흐름도를 이용하여 설명한다.

실시형태 1과의 변경부분은 도 18에 나타내는 스텝 S5의 동작과 스텝 S10의 동작을 대체한다. 그리고, 스텝 S5의 동작에 있어서, 화질 판정을 실행하고 그 결과를 좌측 눈 용 비디오 스트림에 포함되는 각 영상에 대응하는 보충데이터에 저장한다.

스텝 S15 이후의 동작 순서에는 변경은 없다.

3. 2. 2　재생장치(10a)의 동작

여기에서는 재생장치(10a)가 실시하는 송신처리에 대해 도 22에 나타내는 흐름도를 이용하여 설명한다.

도 22에 나타내는 스텝 S200에서부터 스텝 S220은 도 19에 나타내는 스텝 S100에서부터 스텝 S120과 동일하므로 여기에서의 설명은 생략한다.

스텝 S220가 실행된 후, 제 1 비디오 복호부(306a)는 복호한 각 영상에 대응하는 영상 식별자 및 2D화질 플래그를 판정부(311a)에 출력한다(스텝 S225).

제 2 비디오 복호부(307)는 우측 눈 용 비디오 스트림을 복호하여 복호한 각 영상을 제 2 프레임 버퍼(322)에 저장한다(스텝 S230).

판정부(311a)는 재생 대상의 영상에 대응하는 영상 식별자가 당해 영상이 평면 시 전용영상인 것을 나타내는가 여부를 판정한다(스텝 S235).

판정부(311a)에서 재생 대상의 영상이 평면 시 전용영상이 아니라고 판정되는 경우에는(스텝 S235에서의 「No」) 재생처리부(312a)는 전환제어부(324a)에 의해 프레임 버퍼 전환부(323)의 접속처로 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322)를 교대로 전환하여 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322)의 각각에 저장된 영상을 이용한 재생(3D 재생)을 실시한다(스텝 S240).

재생 대상의 영상이 평면 시 전용영상이라고 판정되는 경우에는(스텝 S235에서의 「Yes」), 판정부(311a)는 2D화질 플래그를 이용하여 제 1 비디오 복호부(306a)에서 복호된 평면 시 전용영상은 타방에서 복호된 평면 시 전용영상보다 고화질인가 여부를 판정한다(스텝 S245).

판정부(311a)에서 고화질이라고 판정된 경우에는(스텝 S245에서의 「Yes」), 재생처리부(312a)는 전환제어부(324a)에 의해 프레임 버퍼 전환부(323)의 접속처를 제 1 프레임 버퍼(321)로 하여 제 1 프레임 버퍼(321)에 저장된 영상을 이용한 재생(2D 재생)을 실시한다(스텝 S250).

판정부(311a)에서 고화질이 아니라고 판정된 경우에는(스텝 S245에서의 「No」), 재생처리부(312a)는 전환제어부(324a)에 의해 프레임 버퍼 전환부(323)의 접속처를 제 2 프레임 버퍼(322)로 하여 제 2 프레임 버퍼(321)에 저장된 영상을 이용한 재생(2D 재생)을 실시한다(스텝 S255).

3. 3　변형 예 1

상기 실시형태 2에서는 평면 시 전용영상에 대해 화질 판정을 실행하여 고화질의 평면 시 전용영상을 우선해서 재생하는 것으로 했다. 그러나 시청자는 3D 영상을 시청하고 있을 때에, 눈의 피로 등에 의해 3D 영상을 평면 시로 시청하려고 하는, 즉 3D 영상을 2D 재생에 의해 시청하고 싶다고 생각할 수 있다.

그래서, 변형 예 1에서는 시청자의 지시에 의해 3D 재생에서 2D 재생으로 전환하는 기능에 대해 설명한다.

변형 예 1에서의 영상 송수신시스템은 디지털 텔레비전(재생장치, 10b)과 송신장치(200b)로 구성되어 있다.

이하, 재생장치(10b)와 송신장치(200b)의 구성에 대해서 실시형태 1 및 실시형태 2에서의 각 장치의 구성과 다른 점을 중심으로 설명한다.

또, 실시형태 1 및 실시형태 2와 변경이 없는 구성요소에 대해서는 실시형태 1 및 실시형태 2와 동일한 부호를 부여하고 본 변형 예에서의 설명은 생략한다.

3. 3. 1　송신장치(200b)에 대해서

송신장치(200b)는 도 23에 나타내는 것과 같이 영상저장부(201), 스트림 관리정보 저장부(202), 자막 스트림 저장부(203), 오디오 스트림 저장부(204), 제 1 비디오 부호화부(205b)), 제 2 비디오 부호화부(206a), 비디오 스트림 저장부(207), 제 1 다중화 처리부(208), 제 2 다중화 처리부(209), 제 1 트랜스포트 스트림 저장부(210), 제 2 트랜스포트 스트림 저장부(211), 제 1 송신부(212) 및 제 2 송신부(213)로 구성되어 있다.

이하, 제 1 비디오 부호화부(205b))에 대해 설명한다.

(1) 제 1 비디오 부호화부(205b))

제 1 비디오 부호화부(205b))는 영상저장부(201)에 저장되어 있는 좌측 눈 영상 및 평면 시 전용영상을 MPEG2　Video 방식에 의한 부호화를 실시하는 것이다.

구체적으로는, 제 1 비디오 부호화부(205b))는 실시형태 2에서 설명한 제 1 비디오 부호화부(205a)와 동일한 기능을 가지며, 이하의 기능을 더 가지고 있다.

제 1 비디오 부호화부(205b))는 3D 영상(좌측 눈 영상)에 대해서 압축·부호화를 하면, 제 2 비디오 부호화부(206a)에서 압축·부호화된 동일한 3D 영상(우측 눈 영상)과 화질을 비교하여, 자신이 압축·부호화 한 3D 영상의 화질이 타방에서 압축·부호화된 3D 영상의 화질보다 좋은 것인가 여부를 나타내는 3D화질 플래그를 생성하고, 생성한 3D화질 플래그를 대응하는 보충데이터에 저장한다.

여기서, 3D 영상의 화질 판정에 대해서는 실시형태 2에서 설명한 평면 시 전용영상의 화질 판정과 동일하므로 여기에서의 설명은 생략한다.

3. 3. 2　재생장치(10a)에 대해서

재생장치(10a)는 도 21에 나타내는 것과 같이 튜너(301), NIC(302), 사용자 인터페이스부(303b), 제 1 다중 분리부(304), 제 2 다중 분리부(305), 제 1 비디오 복호부(306b), 제 2 비디오 복호부(307), 자막 복호부(308), OSD 작성부(309), 오디오 복호부(310), 판정부(311b), 재생처리부(312b) 및 스피커(313)로 구성되어 있다.

이하, 사용자 인터페이스부(303b), 제 1 비디오 복호부(306b), 판정부(311b) 및 재생처리부(312b)에 대해 설명한다.

(1) 사용자 인터페이스부(303b)

사용자 인터페이스부(303b)는 실시형태 1에서 설명한 사용자 인터페이스부(303)와 동일한 기능을 가지며, 이하의 기능을 더 가지고 있다.

사용자 인터페이스부(303b)는 사용자로부터 3D 영상의 시청형태를 3D 재생에서 2D 재생으로의 변경을 나타내거나, 또는 2D 재생에서 3D 재생으로의 변경을 나타내는 시청형태 변경지시를 접수한다. 사용자 인터페이스부(303b)는 접수한 시청형태 변경지시를 판정부(311b)에 통지한다.

(2) 제 1 비디오 복호부(306b)

제 1 비디오 복호부(306b)는 제 1 다중 분리부(304)로부터 수신한 좌측 눈 용 비디오 스트림을 복호하여 복호한 각 영상을 재생 시퀀스에 따라서 순차 재생처리부(312)에 출력한다.

또, 제 1 비디오 복호부(306b)는 복호한 각 영상에 대응하는 보충데이터에 포함되는 영상 식별자, 2D화질 플래그 및 3D화질 플래그를 판정부(311b)에 출력한다.

(3) 판정부(311b)

판정부(311b)는 실시형태 2에 나타내는 판정부(311a)와 동일한 기능을 가지며, 이하의 기능을 더 갖는다.

판정부(311b)는 사용자 인터페이스부(303b)로부터 시청형태 변경지시를 접수한다. 접수한 시청형태 변경지시가 3D 재생에서 2D 재생으로의 변경을 나타내는 취지인 경우에는 판정부(311b)는 재생 대상의 영상이 3D 영상일 때는 제 1 비디오 복호부(306b)로부터 수신한 3D화질 플래그를 이용하여 제 1 비디오 복호부(306b)에서 복호된 3D 영상(좌측 눈 영상)이, 타방에서 복호된 3D 영상(우측 눈 영상)보다 고화질인가 여부를 판정한다.

판정부(311b)는 3D 영상의 화질의 판정을 실행한 경우에는 화질의 판정결과를 재생처리부(312b)에 출력한다.

판정부(311b)는 사용자 인터페이스부(303b)로부터 수신한 시청형태 변경지시가 2D 재생에서 3D 재생으로의 변경을 나타내는 취지인 경우에는 3D 영상의 화질 판정은 실시하지 않는다.

(3) 재생처리부(312b)

재생처리부(312b)는 도 24에 나타내는 것과 같이 제 1 프레임 버퍼(321), 제 2 프레임 버퍼(322), 프레임 버퍼 전환부(323), 전환제어부(324b), 중첩부(325) 및 표시부(326)로 구성되어 있다.

제 1 프레임 버퍼(321), 제 2 프레임 버퍼(322), 프레임 버퍼 전환부(323), 중첩부(325) 및 표시부(326)는 실시형태 1에서 설명하고 있으므로, 여기에서의 설명은 생략하고, 전환제어부(324b)에 대해서만 설명한다.

전환제어부(324b)는 프레임 버퍼 전환부(323)의 전환처를 제어하는 것으로, 실시형태 2에서 설명한 전환제어부(324a)와 동일한 기능을 가지며, 이하의 기능을 더 갖는다.

전환제어부(324b)는 판정부(311b)로부터 수신한 영상의 판정결과가 3D 영상인 취지의 경우로서, 3D 영상의 화질 판정의 판정결과가 제 1 비디오 복호부(306b)에서 복호된 3D 영상(좌측 눈 영상)이 타방에서 복호된 3D 영상(우측 눈 영상)보다 고화질인 취지를 나타내는 경우에는 프레임 버퍼 전환부(323)의 접속처를 제 1 프레임 버퍼(321)로 한다. 판정부(311b)로부터 수신한 영상의 판정결과가 3D 영상인 취지의 경우로서, 3D 영상의 화질 판정의 판정결과가 고화질이 아닌 취지를 나타내는 경우에는 전환제어부(324b)는 프레임 버퍼 전환부(323)의 접속처를 제 2 프레임 버퍼(321)로 한다.

전환제어부(324a)는 영상의 판정결과가 재생 대상의 영상은 평면 시 전용영상이 아닌, 즉 3D 영상인 취지를 나타내는 경우로서, 3D 영상의 화질 판정의 판정결과가 통지되지 않는 경우에는 120㎐의 주기로 접속처로 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322)를 교대로 전환한다.

3. 3. 3　동작

(1) 송신장치(200b)의 동작

송신장치(200b)에서 이루어지는 송신처리의 동작에 대해 실시형태 1 및 실시형태 2와 변경부분을 도 18에 나타내는 흐름도를 이용하여 설명한다.

실시형태 1 및 실시형태 2와의 변경부분은 도 18에 나타내는 스텝 S5의 동작과 스텝 S10의 동작을 대체한다. 그리고, 스텝 S5의 동작에 있어서 평면 시 전용영상 및 3D 영상 각각의 화질 판정을 실행하고 그 결과를 2D화질 플래그 및 3D화질 플래그로서 좌측 눈 용 비디오 스트림에 포함되는 각 영상에 대응하는 보충데이터에 저장한다.

또, 스텝 S15 이후의 동작 순서에는 변경은 없다.

(2) 재생장치(10b)의 동작

여기에서는 재생장치(10b)가 실시하는 송신처리에 대해 도 25에 나타내는 흐름도를 이용하여 설명한다.

재생장치(10b)는 도 19에 나타내는 스텝 S100에서 스텝 S115를 실행한다.

재생장치(10b)의 제 1 비디오 복호부(306b)는 좌측 눈 용 비디오 스트림을 복호하여 복호한 각 영상을 제 1 프레임 버퍼(321)에 저장한다(스텝 S320).

제 1 비디오 복호부(306b)는 복호한 각 영상에 대응하는 영상 식별자, 2D화질 플래그 및 3D화질 플래그를 판정부(311b)에 출력한다(스텝 S325).

제 2 비디오 복호부(307)는 우측 눈 용 비디오 스트림을 복호하여 복호한 각 영상을 제 2 프레임 버퍼(322)에 저장한다(스텝 S330).

판정부(311b)는 재생 대상의 영상에 대응하는 영상 식별자가 당해 영상이 평면 시 전용영상인 것을 나타내는가 여부를 판정한다(스텝 S335).

재생 대상의 영상이 평면 시 전용영상이 아니라고 판정하는 경우에는(스텝 S335에서의 「No」), 판정부(311b)는 사용자 인터페이스부(303b)로부터 수신한 시청형태 변경지시가 3D 재생에서 2D 재생으로의 변경을 나타내는 것인가 여부, 즉 현재의 시청형태가 3D 재생인가 여부를 판단한다(스텝 S340).

현재의 시청형태가 3D 재생이라고 판단되는 경우(스텝 S340에서의 「Yes」), 재생처리부(312a)는 전환제어부(324a)에 의해 프레임 버퍼 전환부(323)의 접속처로 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322)를 교대로 전환하여 제 1 프레임 버퍼(321) 및 제 2 프레임 버퍼(322)의 각각에 저장된 영상을 이용한 재생(3D 재생)을 실시한다(스텝 S345).

재생 대상의 영상이 평면 시 전용영상이라고 판정되는 경우에는(스텝 S335에서의 「Yes」), 판정부(311b)는 2D화질 플래그를 이용해서 제 1 비디오 복호부(306a)에서 복호된 평면 시 전용영상은 타방에서 복호된 평면 시 전용영상보다 고화질인가 여부를 더 판정한다(스텝 S350).

판정부(311b)에서 고화질이라고 판정된 경우에는(스텝 S350에서의 「Yes」), 재생처리부(312b)는 전환제어부(324b)에 의해 프레임 버퍼 전환부(323)의 접속처를 제 1 프레임 버퍼(321)로 하여 제 1 프레임 버퍼(321)에 저장된 영상(평면 시 전용영상)을 이용한 재생(2D 재생)을 실시한다(스텝 S250).

판정부(311b)에서 고화질이 아니라고 판정된 경우에는(스텝 S350에서의 「No」), 재생처리부(312b)는 전환제어부(324b)에 의해 프레임 버퍼 전환부(323)의 접속처를 제 2 프레임 버퍼(322)로 하여 제 2 프레임 버퍼(321)에 저장된 영상(평면 시 전용영상)을 이용한 재생(2D 재생)을 실시한다(스텝 S360).

현재의 시청형태가 3D 재생이 아닌, 즉 2D 재생이라고 판단되는 경우(스텝 S340에서의 「No」), 판정부(311b)는 3D화질 플래그를 이용하여 제 1 비디오 복호부(306a)에서 복호된 3D 영상(좌측 눈 영상)은 타방에서 복호된 3D 영상(우측 눈 영상)보다 고화질인가 여부를 더 판정한다(스텝 S365).

판정부(311b)에서 고화질이라고 판정된 경우에는(스텝 S365에서의 「Yes」), 재생처리부(312b)는 전환제어부(324b)에 의해 프레임 버퍼 전환부(323)의 접속처를 제 1 프레임 버퍼(321)로 하여 제 1 프레임 버퍼(321)에 저장된 영상(좌측 눈 영상)을 이용한 재생(2D 재생)을 실시한다(스텝 S370).

판정부(311b)에서 고화질이 아니라고 판정된 경우에는(스텝 S365에서의 「No」), 재생처리부(312b)는 전환제어부(324b)에 의해 프레임 버퍼 전환부(323)의 접속처를 제 2 프레임 버퍼(322)로 하여 제 2 프레임 버퍼(321)에 저장된 영상(우측 눈 영상)을 이용한 재생(2D 재생)을 실시한다(스텝 S375).

3. 4　그 외의 변형 예

이상, 실시형태 및 변형 예 1에 의거하여 설명하였으나, 본 발명은 상기의 실시형태 및 변형 예 1에 한정되지는 않는다. 예를 들어 이하와 같은 변형 예를 생각할 수 있다.

(1) 상기 실시형태 2에 있어서 송신장치(200a)는 2D화질 플래그를 좌측 눈 용 비디오 스트림에 포함되는 영상 각각에 대응하는 보충데이터에 저장하였으나, 이에 한정되지는 않는다. 송신장치(200a)는 2D화질 플래그를 우측 눈 용 비디오 스트림에 포함되는 영상 각각에 대응하는 보충데이터에 저장해도 좋다. 우측 눈 비디오 스트림을 MPEG-4　AVC 방식으로 생성하는 경우에서의 보충데이터는 SEI(Supplemental　Enhancement　Information)의 사용자 데이터이다.

재생장치(10a)는 우측 눈 용 비디오 스트림의 복호 시에 복호한 평면 시 전용영상에 대응하는 보충데이터에 포함되는 2D화질 플래그가 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상보다 고화질인 것을 나타내는 것인가 여부를 판정한다. 고화질이라고 판정하는 경우에는 프레임 버퍼 전환부(323)의 접속처를 제 2 프레임 버퍼(322)로 하여 제 2 프레임 버퍼(322)에 저장된 영상만을 이용한 재생(2D 재생)을 실시한다. 고화질이 아니라고 판정하는 경우에는 프레임 버퍼 전환부(323)의 접속처를 제 1 프레임 버퍼(321)로 하여 제 1 프레임 버퍼(321)에 저장된 영상만을 이용한 재생(2D 재생)을 실시한다.

또는, 2D화질 플래그를 좌측 눈 용 비디오 스트림 및 우측 눈 용 비디오 스트림의 쌍방의 영상 각각에 대응하는 보충데이터에 저장해도 좋다.

또, 3D화질 플래그에 있어서도 마찬가지로 우측 눈 용 비디오 스트림에 포함되는 영상 각각에 대응하는 보충데이터에 저장해도 좋다.

이 경우, 재생장치(10b)는 우측 눈 용 비디오 스트림의 복호 시에 복호한 3D 영상(우측 눈 영상)에 대응하는 보충데이터에 포함되는 3D화질 플래그가 좌측 눈 용 비디오 스트림에 포함되는 3D 영상(좌측 눈 영상)보다 고화질인 것을 나타내는 것인가 여부를 판정한다. 고화질이라고 판정하는 경우에는 프레임 버퍼 전환부(323)의 접속처를 제 2 프레임 버퍼(322)로 하여 제 2 프레임 버퍼(322)에 저장된 영상(우측 눈 영상)을 이용한 재생(2D 재생)을 실시한다. 고화질이 아니라고 판정하는 경우에는 프레임 버퍼 전환부(323)의 접속처를 제 1 프레임 버퍼(321)로 하여 제 1 프레임 버퍼(321)에 저장된 영상(좌측 눈 영상)을 이용한 재생(2D 재생)을 실시한다.

또는, 3D화질 플래그를 좌측 눈 용 비디오 스트림 및 우측 눈 용 비디오 스트림의 쌍방의 영상 각각에 대응하는 보충데이터에 저장해도 좋다.

(2) 상기 실시형태 2에 있어서 2D화질 플래그는 평면 시 전용영상의 화질의 우열을 식별하기 위해서 영상 단위로 대응시켰으나, 이에 한정되지는 않는다.

2D화질 플래그 대신에, 평면 시 전용영상의 화질의 우열에 관계없이 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상 및 우측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상의 어느 하나를 이용해 2D 재생을 실행하는가를 나타내는 평면 시 전용영상용의 재생정보(이하, 「2D 재생정보」라고 한다)를 예를 들어 MPEG2　Video 방식에서 규정되는 PMT(Program　Map　Tables)에 포함해도 좋다. 이에 의하면 재생장치는 영상 단위로 변환을 실행할 필요는 없으며, 소정의 시간간격(예를 들어 100msec)으로 변환을 할 수 있다.

또는, 2D 재생정보를 MPEG2　Video 방식에서 규정되는 EIT에 포함해도 좋다. 이에 의하면 프로그램 단위로 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상 및 우측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상의 어느 하나를 이용하는가를 지정할 수 있다.

또는, ATSC 규격에 의거하여 방송파를 송신하는 경우에는 ATSC에서 정의되어 있는 VCT(Virtual　Channel　Table)나 EIT(Event　Information　Table)에 재생정보를 포함해도 좋다. 여기서, VCT는 ATSC의 규격 a-65c의 섹션 6.3에, EIT는 섹션 6.5에 각각 규정되어 있다. VCT는 현재 방송중의 프로그램에 관해서 프로그램을 방송하고 있는 채널번호의 정보와 가상 채널(major num. 및 minor num)과 1 대 1로 관련지워지는 source　id를 포함하고 있다. EIT는 현재 방송 중 및 향후 방송 예정의 프로그램에 관해서 프로그램 명, 프로그램의 방송개시 및 종료시간 등의 프로그램 정보와 source id를 포함하고 있다.

2D 재생정보를 VCT에 포함하는 경우에는 예를 들어 “num_channels_in_section” 내의 reserved 필드에 해당 2D 재생정보를 정의한다. 또는 “num_channels_in_section” 내에 descriptor()로서 2D 재생정보를 정의한다.

2D 재생정보를 EIT에 포함하는 경우에는 예를 들어 “num_events_in_section” 내의 reserved 필드에 해당 2D 재생정보를 정의한다. 또는 “num_events_in_section” 내에 descriptor()로서 2D 재생정보를 정의한다.

(3) 상기 변형 예 1에 있어서 3D화질 플래그는 좌측 눈 화상과 우측 눈 화상의 화질의 우열을 식별하기 위해서 영상 단위에 대응시켰으나, 이에 한정되지는 않는다.

3D화질 플래그 대신에, 좌측 눈 화상과 우측 눈 화상의 화질의 우열에 관계없이 좌측 눈 용 비디오 스트림에 포함되는 좌측 눈 영상 및 우측 눈 용 비디오 스트림에 포함되는 우측 눈 영상의 어느 한쪽을 이용해 2D 재생을 실행하는가를 나타내는 3D 영상용의 재생정보(이하, 「3D 재생정보」라고 한다)를 좌측 눈 용 비디오 스트림에 포함되는 좌측 눈 영상 각각 에 대해 당해 좌측 눈 영상에 대응하는 보충데이터에 저장해도 좋다.

예를 들어 3D 영상이 영화 등인 경우에 있어서 3D 영상의 제작자(영화 작성자)가 좌측 눈 용 영상과 우측 눈 용 영상의 어느 것으로 2D 재생시킬 것인가를 미리 결정하고 있는 케이스가 있다. 예를 들어 어느 영화제작자는 좌측 눈 영상을 2D 재생시킨다고 생각하고, 다른 영화제작자는 우측 눈 영상을 2D 재생시킨다고 생각할 수 있다. 이러한 경우에 3D 재생정보를 이용함으로써 영화제작자에게 의도를 반영한 2D 재생이 가능해진다.

이 경우 프레임 단위로, 방송파 경유와 IP 경유의 어느 쪽 영상을 2D로서 출력할 것인가 전환이 가능해진다는 이점이 있으나, 하이브리드(hybrid) 3D 방송의 수신기로서 생각하면, 프레임(영상) 단위에서의 전환은 프레임 버퍼 전환부가 빈번하게 전환을 실행하므로 실장 부담이 될 염려가 있다. 따라서, 빈번하게 일어나는 전환동작을 억제하기 위해, 예를 들어 10프레임 이상은 연속해서 동일한 경로(즉 10프레임 이상은 연속해서 방송파로부터만, 혹은 10프레임 이상은 연속해서 IP 경유로만)만으로 한정해도 좋다. 이와 같이 함으로써 재생장치 측에서의 빈번한 전환이 억제되는 동시에, 프로그램과 구성으로서도 어느 프로그램의 코너 A에서는 좌측 눈 영상을 2D 표시에 이용하고, 동일한 프로그램 내의 코너 B에서는 우측 눈 영상을 2D 표시에 이용하는 등 유연한 전환이 가능해진다.

이하, 빈번하게 일어나는 전환동작을 억제하기 위한 3D 재생정보의 저장처의 구체적인 예에 대해서 설명한다.

3D 재생정보는 MPEG2　Video 방식에서 규정되는 PMT에 포함해도 좋다. 이 경우 재생장치는 PMT에 포함되는 3D 재생정보를 판독하여, 판독한 3D 재생정보에 의거하여 좌측 눈 영상 및 우측 눈 영상의 어느 쪽을 이용해서 2D 재생을 실행하는가를 판정하고, 판정결과에 따라서 프레임 버퍼 전환부의 접속처를 전환하여 2D 재생을 실행한다. 이에 의하면 재생장치는 영상 단위로 프레임 버퍼 전환부의 접속처의 변환을 실행할 필요는 없으며, 소정의 시간 간격(예를 들어 100msec)으로 변환을 실행할 수 있다.

또는, 3D 재생정보를 MPEG2　Video 방식에서 규정되는 EIT에 포함해도 좋다. 이에 의하면 프로그램 단위로 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상 및 우측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상의 어느 쪽을 이용하는가를 지정할 수 있다.

또는, ATSC 규격에서 정의되어 있는 VCT나 EIT에 3D 재생정보를 포함해도 좋다.

3D 재생정보를 VCT에 포함하는 경우에는 예를 들어 “num_channels_in_section” 내의 reserved 필드에 당해 3D 재생정보를 정의한다. 또는 “num_channels_in_section” 내에 descriptor()로서 3D 재생정보를 정의한다.

3D 재생정보를 EIT에 포함하는 경우에는 예를 들어 “num_events_in_section” 내의 reserved 필드에 당해 3D 재생정보를 정의한다. 또는 “num_events_in_section” 내에 descriptor()로서 3D 재생정보를 정의한다.

또, 3D 재생정보의 저장처가 MPEG2　Video 방식에서 규정되는 EIT, ATSC 규격에서 정의되어 있는 VCT나 EIT인 경우의 재생장치의 동작의 설명에 대해서는 생략한다. 왜냐하면, PMT로부터 3D 재생정보를 판독하는 재생장치의 동작과 판독처가 PMT로부터 MPEG2　Video 방식에서 규정되는 EIT, ATSC 규격에서 정의되어 있는 VCT나 EIT로 변경될 뿐이며, 동작의 개념 자체에는 아무런 변화는 없기 때문이다.

(4) 상기 2D 재생정보 및 3D 재생정보는 방송파로서 송신되는 트랜스포트 스트림에 포함되는 것을 전제로 하고 있으나, 이에 한정되지는 않는다.

2D 재생정보 및 3D 재생정보는 IP 네트워크를 개재하여 송신되는 트랜스포트 스트림에 포함해도 좋다.

또는, 송신장치는 IP 네트워크를 개재하여 송신되는 트랜스포트 스트림(우측 눈 비디오 스트림)의 송신에 앞서 2D 재생정보 및 3D 재생정보를 포함하는 재생제어파일을 IP 네트워크를 개재하여 송신해도 좋다.

또, 2D화질 플래그 및 3D화질 플래그에 대해서도 마찬가지로 송신장치는 IP 네트워크를 개재하여 송신되는 트랜스포트 스트림(우측 눈 비디오 스트림)의 송신에 앞서 2D화질 플래그 및 3D화질 플래그를 포함하는 재생제어파일을 IP 네트워크를 개재하여 송신해도 좋다.

(5) 상기 실시형태 1에서는 재생장치(10a)는 2D화질 플래그를 이용해 평면 시 전용영상의 화질 판정을 하였으나, 이에 한정되지는 않는다.

재생장치(10a)는 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상의 비트 레이트와 우측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상의 비트 레이트를 비교하여 어느 쪽의 평면 시 전용영상이 고화질인가를 판정해도 좋다. 즉, 송신장치(200a)에서 행한 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상과 우측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상의 화질 판정을 재생장치(10a)에서 실행해도 좋다.

또, 변형 예 1에서는 재생장치(10b)는 3D화질 플래그를 이용해 좌측 눈 영상과 우측 눈 영상의 화질 판정을 실행하였으나, 이에 한정되지는 않는다.

재생장치(10b)는 좌측 눈 영상의 비트 레이트와 우측 눈 영상의 비트 레이트를 비교하여 어느 쪽의 영상이 고화질인지를 판정해도 좋다. 즉, 송신장치(200b)에서 행한 좌측 눈 영상과 우측 눈 영상의 화질 판정을 재생장치(10b)에서 실행해도 좋다.

(6) IP 네트워크 경유로 송신되는 트랜스포트 스트림(TS)은 1개로는 한정되지 않으며, 우측 눈 영상에 대해 네트워크의 대역에 따른 비트 레이트가 다른 복수의 TS가 준비되어 있을 가능성이 있다.

예를 들어 IP 네트워크 경유로 비트 레이트가 다른 TS가 2개 준비되어 있는 경우에 대해 설명한다(여기에서는 TS1 및 TS2로 한다). 비교적 비트 레이트의 높은 TS1이 방송파보다 고화질인 경우에는 TS1 중의 SEI에 TS1에 포함되는 우측 눈 영상을 2D 재생에서 사용된다는 것을 나타내는 3D화질 플래그를 저장한다. 또한, 비교적 비트 레이트가 낮은 TS2가 방송파보다 화질이 낮다는 것을 알고 있는 경우에는 TS2 중의 SEI에 방송파로 송신되는 좌측 눈 영상을 2D 재생에서 이용한다는 것을 나타내는 3D화질 플래그를 저장하면 좋다.

또, 재생장치는 방송파로서 송신되는 TS에서는 IP 경유로 수신되는 우측 눈 영상이 방송파 경유로 수신되는 좌측 눈 영상보다 고화질의 영상인가 저화질의 영상인가를 알지 못할 가능성이 있다. 그래서, 방송파 경유의 영상(MPEG2 Video)의 보충데이터 내에 「2D 재생에서 방송파의 영상을 사용하는가, IP 경유의 영상을 사용하는가의 판단은 IP 경유의 영상의 정보를 기초로 판단한다」는 것을 나타내는 취지의 정보를 넣어 두면 좋다.

또는, 송신장치는 TS1, TS2 각각의 비트 레이트 및 방송파로서 송신되는 TS의 비트 레이트를 기재한 테이블을 방송파로서 송신되는 TS에 포함해서 송신해도 좋다. 이에 의해 재생장치는 IP 네트워크 경유로 수신하고 있는 TS(TS1 또는 TS2)를 이용하지 않고 방송파로서 송신되는 TS만을 이용해서 IP 경유로 수신되는 우측 눈 영상이 방송파 경유로 수신되는 좌측 눈 영상보다 고화질의 영상인가 저화질의 영상인가를 판단할 수 있다.

(7) 상기 실시형태 2에 있어서 재생장치(10a)는 평면 시 전용영상을 재생할 때에 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상 및 우측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상 중 고화질의 평면 시 전용영상을 재생한다고 하였으나, 이에 한정되지는 않는다.

재생장치(10a)는 평면 시 전용영상을 재생할 때에 좌측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상 및 우측 눈 용 비디오 스트림에 포함되는 평면 시 전용영상 중 저화질의 평면 시 전용영상을 재생해도 좋다.

또, 변형 예 1에서는 재생장치(10b)는 3D 재생에서 2D 재생으로 3D 프로그램의 시청형태가 변경된 경우에 재생장치는 좌측 눈 영상 및 우측 눈 영상 중 고질의 영상을 재생하였으나, 이에 한정되지는 않는다.

재생장치(10b)는 좌측 눈 영상 및 우측 눈 영상 중 저화질의 영상을 이용해서 2D 재생을 해도 좋다.

(8) 상기 실시형태 2 및 상기 변형 예를 각각 조합하는 것으로 해도 좋다.

4.　변형 예

　또, 상기 실시형태 등에 한정하지 않고, 예를 들어 이하와 같은 변형 예를 생각할 수 있다.

(1) 상기 실시형태 등에 있어서 좌측 눈 영상은 방송파로서 송신되고 우측 눈 영상은 IP 네트워크를 개재하여 송신되었으나, 이에 한정되지는 않는다.

좌측 눈 영상이 IP 네트워크를 개재하여 송신되고 우측 눈 영상이 방송파로서 송신되어도 좋다.

또는, 좌측 눈 영상을 포함하는 트랜스포트 스트림과 우측 눈 영상을 포함하는 트랜스포트 스트림을 방송파로서 각각 다른 채널로 송신해도 좋다.

또는, 좌측 눈 영상을 포함하는 트랜스포트 스트림과 우측 눈 영상을 포함하는 트랜스포트 스트림을 개별적으로 IP 네트워크를 개재하여 송신해도 좋다.

(2) 상기 실시형태 등에 있어서 2D 재생을 실행할 때의 표시주기는 3D 재생과 같은 주기로 하였으나, 이에 한정되지는 않는다. 2D 재생을 실행할 때의 표시주기는 종래의 재생장치와 같은 표시주기(예를 들어 1/60초)로 해도 좋다.

(3) 상기 실시형태 등에 있어서 IP 네트워크를 개재하여 송수신 되는 우측 눈 영상은 MPEG2　Video 형식 또는 MPEG-4　AVC 형식의 트랜스 포트스트림으로 하였으나, 이에 한정되지는 않는다.

우측 눈 영상은 MP4 형식의 파일에서 IP 네트워크를 개재하여 송수신 되어도 좋고, 그 외의 다른 파일 형식에 의해 송수신 되어도 좋다.

(4) 상기의 각 장치는 구체적으로는 마이크로 프로세서, ROM, RAM, 하드디스크 유닛, 디스플레이 유닛, 키보드, 마우스 등으로 구성되는 컴퓨터시스템이다. 상기 RAM 또는 하드 디스크 유닛에는 컴퓨터 프로그램이 기억되어 있다. 상기 마이크로 프로세서가 상기 컴퓨터 프로그램에 따라 동작함으로써 각 장치는 그 기능을 달성한다. 여기서 컴퓨터 프로그램은 소정의 기능을 달성하기 위해 컴퓨터에 대한 지령을 나타내는 명령 코드가 복수 개 조합되어 구성된 것이다.

(5) 상기 각 장치를 구성하는 구성요소의 일부 또는 전부는 1개의 집적회로로 구성되어 있어도 좋다.

(6) 상기 각 장치를 구성하는 구성요소의 일부 또는 전부는 각 장치에 탈착 가능한 IC카드 또는 단일체의 모듈로 구성되어 있어도 좋다. 상기 IC카드 또는 상기 모듈은 마이크로 프로세서, ROM, RAM 등으로 구성되는 컴퓨터시스템이다. 상기 IC카드 또는 상기 모듈은 상기 초 다기능 LSI를 포함하는 것으로 해도 좋다. 마이크로 프로세서가 컴퓨터 프로그램에 따라 동작함으로써 상기 IC카드 또는 상기 모듈은 그 기능을 달성한다.

(7) 상기 실시형태 및 변형 예에서 설명한 수법의 순서를 기술한 프로그램을 메모리에 기억해 두고, CPU(Central　Processing　Unit) 등이 메모리로부터 프로그램을 판독하여, 판독한 프로그램을 실행함으로써 상기 수법이 실현되도록 해도 좋다.

또, 당해 수법의 순서를 기술한 프로그램을 기록매체에 저장하여 반포하도록 해도 좋다. 또, 상기 프로그램을 기억하는 매체로는 예를 들어 IC카드, 하드디스크, 광디스크, 플랙시블 디스트, ROM, 플래시메모리 등이 있다.

(8) 상기 실시형태 및 상기 변형 예를 각각 조합해도 좋다.

5. 정리

여기에서는 상기 각 실시형태 및 변형 예에 대해 보충 설명한다.

송신장치(200)에서는 실시형태 1에서 설명한 것과 같이 3D 프로그램을 구성하는 각종 영상(좌측 눈 영상, 우측 눈 영상 및 평면 시 전용영상)이 영상저장부(201)에 저장되어 있다.

여기서 저장되어 있는 각종 영상은 종래의 2D 방송과 동일 해상도(예를 들어 1920×1080)를 가지는 영상이다. 좌측 눈 영상 및 평면 시 전용영상은 제 1 비디오 부호화부(205)에서 종래의 2D 방송과 같은 비트 레이트로 압축된 후, 제 1 다중화 처리부(208)에서 종래의 2D 방송과 같은 계(系)로 다중화된 후 제 1 송신부(212)를 거쳐서 방송파로서 송출된다.

우측 눈 영상은 제 2 비디오 부호화부(206)에서 압축된 후, 제 2 다중화 처리부(209)에서 다중화된 후 제 2 송신부(213)로부터 IP 네트워크 경유로 송출된다.

이 방식의 이점은 2D 표시로서 사용되는 좌측 눈 영상의 송출은 종래의 방송 시스템을 변경하지 않고 사용할 수 있다는 점, 우측 눈 영상은 방송파와는 독립한 트랜스포트 스트림으로서 송출되므로 좌측 눈 영상에 사용할 수 있는 비트 레이트는 변함이 없다는(즉 화질 열화가 없다) 점이다.

또, 종래의 방송이 MPEG2 Video 등과 같이 고전적인 압축기술을 이용하지 않을 수 없는데 반해, IP 네트워크 경유로 송신되는 우측 눈 용 영상은 MPEG-4　AVC 등의 압축효율이 좋은 새로운 압축기술을 사용할 수 있다. 따라서, CM 등과 같은 평면 시 전용영상을 방송파와 IP 네트워크 경유의 쌍방에서 송신한 경우에 있어서 IP 네트워크 경유로 송신하는 평면 시 전용영상의 비트 레이트에 따라서는 방송파로서 송신되는 평면 시 전용영상의 화질보다 IP 네트워크 경유로 송신되는 평면 시 전용영상이 고화질이 되는 케이스도 생각할 수 있다.

이러한 경우에는 예를 들어 실시형태 2에서 설명한 제 1 비디오 복호부(306a)에서 복호한 평면 시 전용영상을 2D 표시에 사용하는 대신에, IP 네트워크 경유로 전송되어 온 평면 시 전용영상(즉 제 2 비디오 복호부(307)에서 복호된 영상)으로 2D 재생을 실행함으로써 CM 등을 고화질의 영상으로 시청할 수 있다.

6. 보충

(1) 본 발명의 한 형태는 재생장치이며, 3D 재생에 이용하는 부호화된 제 1 타입의 영상과 2D 재생에 이용하는 부호화된 제 2 타입의 영상을 포함하고, 당해 제 1 타입의 영상과 제 2 타입의 영상이 연결되어 구성되는 제 1 전송용 스트림을 수신하는 제 1 수신수단과, 상기 제 1 타입의 영상의 시점과는 다른 시점의 영상으로서, 상기 제 1 타입의 영상과 함께 이용하여 입체 표시에 제공하는 부호화된 제 3 타입의 영상을 포함하는 제 2 전송용 스트림을 수신하는 제 2 수신수단과, 상기 제 1 전송용 스트림에 포함되는 부호화된 제 1 타입 및 제 2 타입의 영상을 복호하여 제 1 버퍼에 저장하는 제 1 복호수단과, 상기 제 2 전송용 스트림에 포함되는 부호화된 제 3 타입의 영상을 복호하여 제 2 버퍼에 저장하는 제 2 복호수단과, 상기 제 1 복호수단에서 복호되는 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 판별하는 판별수단과, 상기 판별수단에서 제 1 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 1 타입의 영상과 상기 제 2 버퍼에 저장된 제 3 타입의 영상을 이용해서 3D 재생을 실행하고, 상기 판별수단에서 제 2 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 2 타입의 영상을 이용해서 2D 재생을 실행하는 재생처리수단을 구비하는 것을 특징으로 한다.

이 구성에 의하면, 재생장치는 제 2 타입의 영상을 표시하는 경우에는 제 1 버퍼에 저장된 당해 제 2 타입의 영상을 이용해서 2D 재생을 실행하므로 각 프레임 버퍼를 교대로 전환할 필요가 없다. 그러므로 재생장치는 2D 표시되는 영상에 대해서는 용장한 처리를 실행하지 않고도 당해 영상을 재생(표시)할 수 있다.

(2) 여기서, 상기 제 1 전송용 스트림에 포함되는 각 영상에는 당해 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 나타내는 식별정보가 대응되어 있고, 상기 판별수단은 복호되는 영상에 대응된 식별정보를 이용하여 당해 영상이 상기 제 1 타입의 영상인가 상기 제 2 타입의 영상인가를 판별하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 제 1 전송용 스트림에 포함되는 영상 각각에 대응된 식별정보를 이용하여 제 1 전송용 스트림에 포함되는 영상마다 당해 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 판별할 수 있다.

(3) 여기서, 상기 제 2 전송용 스트림은 상기 제 1 전송용 스트림에 포함되는 상기 제 2 타입의 영상과 동일시점의 영상인 동일시점 영상을 더 포함하고, 상기 판별수단은 복호되는 영상이 상기 제 2 타입의 영상이라고 판별한 경우에 있어서 당해 영상의 화질과 상기 동일시점 영상의 화질을 더 비교하며, 상기 재생처리수단은 상기 판별수단에서 상기 제 2 타입의 영상의 화질이 낮다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 제 2 타입의 영상에 의한 2D 재생 대신에 상기 제 2 버퍼에 저장된 상기 동일시점 영상을 이용해서 2D 재생을 실행하고, 상기 제 2 타입의 영상의 화질이 높다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상을 이용해서 2D 재생을 실행하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 제 1 전송용 스트림에 포함되는 제 2 타입의 영상과 제 2 전송용 스트림에 포함되는 동일시점 영상의 화질을 비교하여 고화질의 영상을 이용해서 2D 재생을 실행한다. 그러므로 시청자는 제 2 타입의 영상 또는 당해 영상과 동일시점의 영상인 동일시점 영상인 고화질의 영상의 시청을 즐길 수 있다.

(4) 여기서, 상기 제 2 타입의 영상에 대해서, 당해 영상의 화질이 상기 동일시점 영상의 화질보다 높은가 여부를 식별하는 화질정보가 대응되고, 상기 판별수단은 상기 화질정보를 이용한 상기 비교를 실행하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 화질정보를 이용하여 화질 비교를 할 수 있다.

(5) 여기서, 상기 제 2 전송용 스트림은 상기 제 1 전송용 스트림에 포함되는 상기 제 2 타입의 영상과 동일시점의 영상인 동일시점 영상을 더 포함하고, 상기 제 1 전송용 스트림과 상기 제 2 전송용 스트림으로 3D 프로그램이 구성되며, 상기 제 1 전송용 스트림에는 상기 3D 프로그램에 대해서 제 2 타입의 영상 및 상기 동일시점 영상의 어느 쪽의 영상을 이용해서 재생을 실행하는가를 나타내는 재생정보가 더 포함되며, 상기 판별수단은 복호되는 영상이 상기 제 2 타입의 영상이라고 판별한 경우에 있어서 상기 재생정보를 이용해 상기 제 2 타입의 영상 및 상기 동일시점 영상의 어느 쪽의 영상을 이용해서 2D 재생을 실행하는가를 더 판별하며, 상기 재생처리수단은 상기 판별수단에서 상기 제 2 타입의 영상을 이용한다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상을 이용해서 2D 재생을 실행하고, 상기 동일시점 영상을 이용한다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상에 의한 2D 재생 대신에 상기 제 2 버퍼에 저장된 상기 동일시점 영상을 이용해서 2D 재생을 실행하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 제 1 전송용 스트림에 포함되는 제 2 타입의 영상과 제 2 전송용 스트림에 포함되는 동일시점 영상 중 재생정보에 지정되는 영상을 이용해서 2D 재생을 실행할 수 있다. 예를 들어 3D 프로그램의 제공자는 재생정보를 이용함으로써 제 2 타입의 영상 및 동일시점 영상 중 시청자에게 보여 주고 싶은 영상을 지정할 수 있다.

(6) 여기서, 상기 제 2 전송용 스트림은 상기 제 1 전송용 스트림에 포함되는 상기 제 2 타입의 영상과 동일시점의 영상인 동일시점 영상을 포함하고, 상기 제 1 전송용 스트림과 상기 제 2 전송용 스트림으로 3D 프로그램이 구성되며, 상기 제 1 전송용 스트림은 PMT(Program　Map　Table) 또는 VCT(Virtual　Channel　Table)를 더 포함하고, 상기 PMT 또는 상기 VCT에는 상기 3D 프로그램에 대해서 제 2 타입의 영상 및 상기 동일시점 영상의 어느 쪽의 영상을 이용해서 재생을 실행하는가를 나타내는 재생정보가 더 포함되며, 상기 판별수단은 복호되는 영상이 상기 제 2 타입의 영상이라고 판별한 경우에는 상기 PMT 또는 상기 VCT에 포함되는 상기 재생정보를 이용하여 당해 제 2 타입의 영상 및 상기 동일시점 영상의 어느 쪽의 영상을 이용해서 재생을 실행하는가를 더 판별하며, 상기 재생처리수단은 상기 판별수단에서 상기 제 2 타입의 영상을 이용해서 재생을 실행한다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상을 이용해서 2D 재생을 실행하고, 상기 동일시점 영상을 이용해서 재생을 실행한다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상에 의한 2D 재생 대신에 상기 제 2 버퍼에 저장된 상기 동일시점 영상을 이용해서 2D 재생을 실행하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 PMT 또는 VCT에서 지정되는 구간마다 제 1 전송용 스트림에 포함되는 제 2 타입의 영상과 제 2 전송용 스트림에 포함되는 동일시점 영상 중 재생정보에 지정되는 영상을 이용해서 2D 재생을 실행할 수 있다.

(7) 여기서, 상기 재생장치는 상기 제 1 타입의 영상과 상기 제 3 타입의 영상을 이용한 3D 재생에서 1의 타입의 영상을 이용한 2D 재생으로 전환지시를 접수하는 접수수단을 더 구비하고, 상기 판별수단은 상기 접수수단이 상기 전환지시를 접수한 경우에 상기 제 1 타입의 영상 및 상기 제 3 타입의 영상의 어느 쪽을 이용해 2D 재생을 실행하는가를 더 판별하며, 상기 재생처리수단은 상기 접수수단이 상기 전환지시를 접수한 경우에 상기 판별수단의 판별 결과에 따른 2D 재생을 실행하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 전환지시를 접수하면 제 1 타입의 영상 및 제 3 타입의 영상 중 하나의 영상을 이용해서 2D 재생을 실행할 수 있다.

(8) 여기서, 상기 제 1 전송용 스트림에 포함되는 각 제 1 타입의 영상에는 제 1 타입의 영상의 화질이 당해 제 1 타입의 영상에 대응하는 제 3 타입의 영상의 화질보다 높은가 여부를 식별하는 화질정보가 대응되어 있고, 상기 판별수단은 제 1 타입의 영상에 대응된 화질정보가 대응하는 상기 제 1 타입의 영상의 화질이 상기 제 3 타입의 영상의 화질보다 높은 것을 나타내는 경우에는 상기 제 1 타입의 영상을 이용해서 2D 재생을 실행한다고 판별하고, 대응하는 상기 제 1 타입의 영상의 화질이 상기 제 3 타입의 영상의 화질보다 낮은 것을 나타내는 경우에는 상기 제 3 타입의 영상을 이용해서 2D 재생을 실행한다고 판별하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 전환지시를 접수한 경우에 화질정보에 의거하여 제 1 타입의 영상 및 제 3 타입의 영상 중 고화질의 영상을 이용해서 2D 재생을 실행할 수 있다. 그러므로 시청자는 제 1 타입의 영상 및 제 3 타입의 영상 중 고화질의 영상의 2D 재생에 의한 시청을 즐길 수 있다.

(9) 여기서, 상기 판별수단은 상기 제 1 타입의 영상의 화질과 상기 제 3 타입의 영상의 화질을 비교하여, 상기 제 1 타입의 영상의 화질이 높다고 판단하는 경우에는 상기 제 1 타입의 영상을 이용해서 2D 재생을 실행한다고 판별하고, 상기 제 3 타입의 영상의 화질이 높다고 판단하는 경우에는 상기 제 3 타입의 영상을 이용해서 2D 재생을 실행한다고 판별하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 전환지시를 접수한 경우 제 1 타입의 영상 및 제 3 타입의 영상의 화질을 비교해 고화질의 영상의 2D 재생을 실행할 수 있다.

(10) 여기서, 상기 제 1 전송용 스트림으로부터 얻어지는 복수의 상기 제 1 타입의 영상 및 상기 제 2 전송용 스트림으로부터 얻어지는 복수의 상기 제 3 타입의 영상으로부터 3D 프로그램이 구성되고, 상기 제 1 전송용 스트림은 상기 3D 프로그램에 대해서 3D 재생 대신에 2D 재생을 실행할 때에 상기 제 1 타입의 영상 및 상기 제 3 타입의 영상의 어느 쪽을 이용해 재생하는가를 식별하는 재생정보를 포함하고, 상기 판별수단은 상기 접수수단이 상기 프로그램에 대한 상기 전환지시를 접수하면 상기 재생정보를 이용해서 상기 제 1 타입의 영상 및 상기 제 3 타입의 영상의 어느 쪽을 이용해 2D 재생을 실행하는가를 판별하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 제 1 전송용 스트림에 포함되는 제 1 타입의 영상과 제 2 전송용 스트림에 포함되는 제 3 타입의 영상 중 재생정보에서 지정되는 영상을 이용해서 2D 재생을 실행할 수 있다. 예를 들어 3D 프로그램의 제공자는 하나의 3D 프로그램에 대해서 재생정보를 이용함으로써 제 1 타입의 영상 및 제 3 타입의 영상 중 시청자에게 보여 주고 싶은 영상을 지정할 수 있다.

(11) 여기서, 상기 제 1 전송용 스트림으로부터 얻어지는 복수의 상기 제 1 타입의 영상 및 상기 제 2 전송용 스트림으로부터 얻어지는 복수의 상기 제 3 타입의 영상으로 3D 프로그램이 구성되고, 상기 제 1 전송용 스트림은 PMT 또는 VCT를 더 포함하며, 상기 PMT 또는 상기 VCT에는 상기 3D 프로그램에 대해서 제 1 타입의 영상 및 상기 제 3 타입의 영상의 어느 쪽의 영상을 이용해서 2D 재생을 실행하는가를 나타내는 재생정보가 더 포함되고, 상기 판별수단은 상기 접수수단이 상기 프로그램에 대한 상기 전환지시를 접수하면 상기 PMT 또는 상기 VCT에 포함되는 상기 재생정보를 이용해서 상기 제 1 타입의 영상 및 상기 제 3 타입의 영상의 어느 쪽을 이용해 2D 재생을 실행하는가를 더 판별하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 PMT 또는 VCT에서 지정되는 구간마다 제 1 전송용 스트림에 포함되는 제 1 타입의 영상과 제 2 전송용 스트림에 포함되는 제 3 타입의 영상 중 재생정보에 지정되는 영상을 이용해서 2D 재생을 실행할 수 있다.

(12) 여기서, 상기 재생처리수단은 상기 3D 재생을 실행할 때에는 소정 기간 내에 상기 제 1 버퍼에 저장된 당해 제 1 타입의 영상과 상기 제 2 버퍼에 저장된 제 3 타입의 영상을 다른 타이밍으로 1회씩 판독하여 표시하고, 상기 2D 재생을 실행할 때에는 상기 소정 기간 내에 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상을 다른 타이밍으로 2회 판독하여 표시하는 것으로 해도 좋다.

이 구성에 의하면, 재생장치는 제 2 타입의 영상을 2D 재생할 때에는 제 1 버퍼에 저장된 당해 제 2 타입의 영상을 2회 판독함으로써 2D 재생을 실행할 수 있다.

(13) 또, 본 발명의 한 형태는 송신장치이며, 3D 재생에 이용하는 부호화된 제 1 타입의 영상과 2D 재생에 이용하는 제 2 타입의 영상과 제 1 타입의 영상 및 상기 제 2 타입의 영상 각각 대해서 당해 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 식별하는 영상 식별자를 포함하는 제 1 전송용 스트림을 보유하는 제 1 보유수단과, 상기 제 1 타입의 영상의 시점과는 다른 시점의 영상이며, 3D 재생시에 상기 제 1 타입의 영상으로부터 입체 시를 가능하게 하는 부호화된 제 3 타입의 영상을 포함하는 제 2 전송용 스트림을 보유하는 제 2 보유수단과, 상기 제 1 전송용 스트림을 송신하는 제 1 송신수단과, 상기 제 2 전송용 스트림을 송신하는 제 2 송신수단을 구비하는 것을 특징으로 한다.

이 구성에 의하면, 송신장치는 제 1 전송용 스트림에 포함되는 영상마다 영상 식별자를 대응시켜서 송신하므로, 수신 측의 장치는 제 1 전송용 스트림에 포함되는 영상마다 대응된 영상 식별자를 이용함으로써 당해 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 판별할 수 있다.

(14) 여기서, 상기 제 2 전송용 스트림은 상기 제 1 전송용 스트림에 포함되는 상기 제 2 타입의 영상과 동일시점의 영상인 동일시점 영상을 더 포함하고, 상기 제 1 전송용 스트림은 각 제 2 타입의 영상 각각에 대응된 정보로서 당해 영상의 화질이 상기 동일시점 영상의 화질보다 높은가 여부를 식별하는 화질정보를 더 포함하는 것으로 해도 좋다.

이 구성에 의하면, 송신장치는 제 2 타입의 영상마다 화질정보를 대응시켜서 송신하므로, 수신 측의 장치는 제 2 타입의 영상마다 대응된 화질정보를 이용함으로써 제 2 타입의 영상 및 제 2 전송용 스트림에 포함되며, 당해 영상과 동일시점인 동일시점 영상 중 고화질의 영상을 판별할 수 있다.

(15) 여기서, 상기 제 1 전송용 스트림은 각 제 1 타입의 영상 각각에 대응된 정보로서, 당해 영상의 화질이 당해 제 1 타입의 영상에 대응하는 제 3 타입의 영상의 화질보다 높은가 여부를 식별하는 화질정보를 더 포함하는 것으로 해도 좋다.

이 구성에 의하면, 송신장치는 제 1 타입의 영상마다 화질정보를 대응시켜서송신하므로, 수신 측의 장치는 제 1 타입의 영상마다 대응된 화질정보를 이용함으로써 제 1 타입의 영상 및 제 2 전송용 스트림에 포함되는 제 3 타입의 영상 중 고화질의 영상을 판별하여 고화질의 영상을 이용한 2D 재생을 실행할 수 있다.

본 발명의 송신장치 및 재생장치는 2개의 독립한 트랜스포트 스트림을 이용해 3D 프로그램을 송신하는 장치 및 수신하여 재생하는 장치에 적용하는 것이 가능하다.

10, 10a, 10b 재생장치
200, 200a, 200b 송신장치
201 영상저장부
202 스트림 관리정보 저장부
203 자막 스트림 저장부
204 오디오 스트림 저장부
205, 205a, 205b 제 1 비디오 부호화부
206, 206a 제 2 비디오 부호화부
207 비디오 스트림 저장부
208 제 1 다중화 처리부
209 제 2 다중화 처리부
210 제 1 트랜스포트 스트림 저장부
211 제 2 트랜스포트 스트림 저장부
212 제 1 송신부
213 제 2 송신부
301 튜너
302 NIC
303, 303b 사용자 인터페이스부
304 제 1 다중 분리부
305 제 2 다중 분리부
306, 306a, 306b 제 1 비디오 복호부
307 제 2 비디오 복호부
308 자막 복호부
309 OSD 작성부
310 오디오 복호부
311, 311a, 311b 판정부
312, 312a, 312b 재생처리부
313 스피커
321 제 1 프레임 버퍼
322 제 2 프레임 버퍼
323 프레임 버퍼 전환부
324, 324a, 324b 전환제어부
325 중첩부
326 표시부
1000 영상 송수신시스템

Claims

3D 재생에 이용하는 부호화된 제 1 타입의 영상과 2D 재생에 이용하는 부호화된 제 2 타입의 영상을 포함하고, 당해 제 1 타입의 영상과 제 2 타입의 영상이 연결되어 구성되는 제 1 전송용 스트림을 수신하는 제 1 수신수단과,
상기 제 1 타입의 영상의 시점과는 다른 시점의 영상이며, 상기 제 1 타입의 영상과 함께 이용하여 입체 표시에 제공하는 부호화된 제 3 타입의 영상을 포함하는 제 2 전송용 스트림을 수신하는 제 2 수신수단과,
상기 제 1 전송용 스트림에 포함되는 부호화된 제 1 타입 및 제 2 타입의 영상을 복호하여 제 1 버퍼에 저장하는 제 1 복호수단과,
상기 제 2 전송용 스트림에 포함되는 부호화된 제 3 타입의 영상을 복호하여 제 2 버퍼에 저장하는 제 2 복호수단과,
상기 제 1 복호수단에서 복호되는 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 판별하는 판별수단과,
상기 판별수단에서 제 1 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 1 타입의 영상과 상기 제 2 버퍼에 저장된 제 3 타입의 영상을 이용해서 3D 재생을 실행하고, 상기 판별수단에서 제 2 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 2 타입의 영상을 이용해서 2D 재생을 실행하는 재생처리수단을 구비하는 것을 특징으로 하는 재생장치.
청구항 1에 있어서,
상기 제 1 전송용 스트림에 포함되는 각 영상에는 당해 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 나타내는 식별정보가 대응되어 있고,
상기 판별수단은 복호되는 영상에 대응된 식별정보를 이용하여 당해 영상이 상기 제 1 타입의 영상인가 상기 제 2 타입의 영상인가를 판별하는 것을 특징으로 하는 재생장치.
청구항 2에 있어서,
상기 제 2 전송용 스트림은 상기 제 1 전송용 스트림에 포함되는 상기 제 2 타입의 영상과 동일시점의 영상인 동일시점 영상을 더 포함하고,
상기 판별수단은 복호되는 영상이 상기 제 2 타입의 영상이라고 판별한 경우에 있어서 당해 영상의 화질과 상기 동일시점 영상과의 화질을 더 비교하며,
상기 재생처리수단은, 상기 판별수단에서 상기 제 2 타입의 영상의 화질이 낮다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 제 2 타입의 영상에 의한 2D 재생 대신에 상기 제 2 버퍼에 저장된 상기 동일시점 영상을 이용해서 2D 재생을 실행하고, 상기 제 2 타입의 영상의 화질이 높다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상을 이용해서 2D 재생을 실행하는 것을 특징으로 하는 재생장치.
청구항 3에 있어서,
상기 제 2 타입의 영상에 대해서 당해 영상의 화질이 상기 동일시점 영상의 화질보다 높은가 여부를 식별하는 화질정보가 대응되고,
상기 판별수단은 상기 화질정보를 이용한 상기 비교를 실행하는 것을 특징으로 하는 재생장치.
청구항 2에 있어서,
상기 제 2 전송용 스트림은 상기 제 1 전송용 스트림에 포함되는 상기 제 2 타입의 영상과 동일시점의 영상인 동일시점 영상을 더 포함하고,
상기 제 1 전송용 스트림과 상기 제 2 전송용 스트림으로 3D 프로그램이 구성되며,
상기 제 1 전송용 스트림에는 상기 3D 프로그램에 대해서 제 2 타입의 영상 및 상기 동일시점 영상의 어느 쪽의 영상을 이용해서 재생을 실행하는가를 나타내는 재생정보가 더 포함되고,
상기 판별수단은 복호되는 영상이 상기 제 2 타입의 영상이라고 판별한 경우에 있어서 상기 재생정보를 이용해 상기 제 2 타입의 영상 및 상기 동일시점 영상의 어느 쪽의 영상을 이용해서 2D 재생을 실행하는가를 더 판별하며,
상기 재생처리수단은, 상기 판별수단에서 상기 제 2 타입의 영상을 이용한다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상을 이용해서 2D 재생을 실행하고, 상기 동일시점 영상을 이용한다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상에 의한 2D 재생 대신에 상기 제 2 버퍼에 저장된 상기 동일시점 영상을 이용해서 2D 재생을 실행하는 것을 특징으로 하는 재생장치.
청구항 2에 있어서,
상기 제 2 전송용 스트림은 상기 제 1 전송용 스트림에 포함되는 상기 제 2 타입의 영상과 동일시점의 영상인 동일시점 영상을 포함하고,
상기 제 1 전송용 스트림과 상기 제 2 전송용 스트림으로 3D 프로그램이 구성되며,
상기 제 1 전송용 스트림은 PMT(Program　Map　Table) 또는 VCT(Virtual　Channel　Table)를 더 포함하고,
상기 PMT 또는 상기 VCT에는 상기 3D 프로그램에 대해서 제 2 타입의 영상 및 상기 동일시점 영상의 어느 쪽의 영상을 이용해서 재생을 실행하는가를 나타내는 재생정보가 더 포함되며,
상기 판별수단은 복호되는 영상이 상기 제 2 타입의 영상이라고 판별한 경우에 상기 PMT 또는 상기 VCT에 포함되는 상기 재생정보를 이용하여 당해 제 2 타입의 영상 및 상기 동일시점 영상의 어느 쪽의 영상을 이용해서 재생을 실행하는가를 더 판별하고,
상기 재생처리수단은,　상기 판별수단에서 상기 제 2 타입의 영상을 이용해서 재생을 실행한다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상을 이용해서 2D 재생을 실행하고, 상기 동일시점 영상을 이용해서 재생을 실행한다고 판단되는 경우에는 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상에 의한 2D 재생 대신에 상기 제 2 버퍼에 저장된 상기 동일시점 영상을 이용해서 2D 재생을 실행하는 것을 특징으로 하는 재생장치.
청구항 1에 있어서,
상기 재생장치는 상기 제 1 타입의 영상과 상기 제 3 타입의 영상을 이용한 3D 재생에서 하나의 타입의 영상을 이용한 2D 재생으로 전환지시를 접수하는 접수수단을 더 구비하고,
상기 판별수단은 상기 접수수단이 상기 전환지시를 접수한 경우에는 상기 제 1 타입의 영상 및 상기 제 3 타입의 영상의 어느 쪽을 이용해서 2D 재생을 실행하는가를 더 판별하며,
상기 재생처리수단은 상기 접수수단이 상기 전환지시를 접수한 경우 상기 판별수단의 판별 결과에 따른 2D 재생을 실행하는 것을 특징으로 하는 재생장치.
청구항 7에 있어서,
상기 제 1 전송용 스트림에 포함되는 각 제 1 타입의 영상에는 제 1 타입의 영상의 화질이 당해 제 1 타입의 영상에 대응하는 제 3 타입의 영상의 화질보다 높은가 여부를 식별하는 화질정보가 대응되어 있고,
상기 판별수단은 제 1 타입의 영상에 대응된 화질정보가 대응하는 상기 제 1 타입의 영상의 화질이 상기 제 3 타입의 영상의 화질보다 높은 것을 나타내는 경우에는 상기 제 1 타입의 영상을 이용해서 2D 재생을 실행한다고 판별하고, 대응하는 상기 제 1 타입의 영상의 화질이 상기 제 3 타입의 영상의 화질보다 낮은 것을 나타내는 경우에는 상기 제 3 타입의 영상을 이용해서 2D 재생을 실행한다고 판별하는 것을 특징으로 하는 재생장치.
청구항 7에 있어서,
상기 판별수단은, 상기 제 1 타입의 영상의 화질과 상기 제 3 타입의 영상의 화질을 비교하여, 상기 제 1 타입의 영상의 화질이 높다고 판단하는 경우에는 상기 제 1 타입의 영상을 이용해서 2D 재생을 실행한다고 판별하고, 상기 제 3 타입의 영상의 화질이 높다고 판단하는 경우에는 상기 제 3 타입의 영상을 이용해서 2D 재생을 실행한다고 판별하는 것을 특징으로 하는 재생장치.
청구항 7에 있어서,
상기 제 1 전송용 스트림으로부터 얻어지는 복수의 상기 제 1 타입의 영상 및 상기 제 2 전송용 스트림으로부터 얻어지는 복수의 상기 제 3 타입의 영상으로 3D 프로그램이 구성되고,
상기 제 1 전송용 스트림은 상기 3D 프로그램에 대해서, 3D 재생 대신에 2D 재생을 실행할 때에 상기 제 1 타입의 영상 및 상기 제 3 타입의 영상의 어느 쪽을 이용해 재생하는가를 식별하는 재생정보를 포함하고,
상기 판별수단은 상기 접수수단이 상기 프로그램에 대한 상기 전환지시를 접수하면 상기 재생정보를 이용해서 상기 제 1 타입의 영상 및 상기 제 3 타입의 영상의 어느 쪽을 이용해 2D 재생을 실행하는가를 판별하는 것을 특징으로 하는 재생장치.
청구항 7에 있어서,
상기 제 1 전송용 스트림으로부터 얻어지는 복수의 상기 제 1 타입의 영상 및 상기 제 2 전송용 스트림으로부터 얻어지는 복수의 상기 제 3 타입의 영상으로 3D 프로그램이 구성되고,
상기 제 1 전송용 스트림은 PMT 또는 VCT를 더 포함하며,
상기 PMT 또는 상기 VCT에는 상기 3D 프로그램에 대해서 제 1 타입의 영상 및 상기 제 3 타입의 영상의 어느 쪽의 영상을 이용해서 2D 재생을 실행하는가를 나타내는 재생정보가 포함되고,
상기 판별수단은 상기 접수수단이 상기 프로그램에 대한 상기 전환지시를 접수하면 상기 PMT 또는 상기 VCT에 포함되는 상기 재생정보를 이용해서 상기 제 1 타입의 영상 및 상기 제 3 타입의 영상의 어느 쪽을 이용해 2D 재생을 실행하는가를 더 판별하는 것을 특징으로 하는 재생장치.
청구항 1에 있어서,
상기 재생처리수단은,
상기 3D 재생을 실행할 대에는 소정 기간 내에 상기 제 1 버퍼에 저장된 당해 제 1 타입의 영상과 상기 제 2 버퍼에 저장된 제 3 타입의 영상을 다른 타이밍에 1회씩 판독하여 표시하고,
상기 2D 재생을 실행할 때에는 상기 소정 기간 내에 상기 제 1 버퍼에 저장된 상기 제 2 타입의 영상을 다른 타이밍에 2회 판독하여 표시하는 것을 특징으로 하는 재생장치.
3D 재생에 이용하는 부호화된 제 1 타입의 영상과, 2D 재생에 이용하는 제 2 타입의 영상과, 제 1 타입의 영상 및 상기 제 2 타입의 영상 각각에 대해 당해 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 식별하는 영상 식별자를 포함하는 제 1 전송용 스트림을 보유하는 제 1 보유수단과,
상기 제 1 타입의 영상의 시점과는 다른 시점의 영상이며, 3D 재생시에 상기 제 1 타입의 영상과 함께 입체 시를 가능하게 하는 부호화된 제 3 타입의 영상을 포함하는 제 2 전송용 스트림을 보유하는 제 2 보유수단과,
상기 제 1 전송용 스트림을 송신하는 제 1 송신수단과,
상기 제 2 전송용 스트림을 송신하는 제 2 송신수단을 구비하는 것을 특징으로 하는 송신장치.
청구항 13에 있어서,
상기 제 2 전송용 스트림은 상기 제 1 전송용 스트림에 포함되는 상기 제 2 타입의 영상과 동일시점의 영상인 동일시점 영상을 더 포함하고,
상기 제 1 전송용 스트림은 각 제 2 타입의 영상 각각에 대응된 정보로서, 당해 영상의 화질이 상기 동일시점 영상의 화질보다 높은가 여부를 식별하는 화질정보를 더 포함하는 것을 특징으로 하는 송신장치.
청구항 13에 있어서,
상기 제 1 전송용 스트림은 각 제 1 타입의 영상 각각에 대응된 정보로서, 당해 영상의 화질이 당해 제 1 타입의 영상에 대응하는 제 3 타입의 영상의 화질보다 높은가 여부를 식별하는 화질정보를 더 포함하는 것을 특징으로 하는 송신장치.
재생장치에서 이용되는 재생방법으로,
3D 재생에 이용하는 부호화된 제 1 타입의 영상과 2D 재생에 이용하는 부호화된 제 2 타입의 영상을 포함하고, 당해 제 1 타입의 영상과 제 2 타입의 영상이 연결되어 구성되는 제 1 전송용 스트림을 수신하는 제 1 수신스텝과,
상기 제 1 타입의 영상의 시점과는 다른 시점의 영상이며, 상기 제 1 타입의 영상과 함께 이용하여 입체 표시에 제공하는 부호화된 제 3 타입의 영상을 포함하는 제 2 전송용 스트림을 수신하는 제 2 수신스텝과,
상기 제 1 전송용 스트림에 포함되는 부호화된 제 1 타입 및 제 2 타입의 영상을 복호하여 제 1 버퍼에 저장하는 제 1 복호스텝과,
상기 제 2 전송용 스트림에 포함되는 부호화된 제 3 타입의 영상을 복호하여 제 2 버퍼에 저장하는 제 2 복호스텝과,
상기 제 1 복호 스텝에서 복호되는 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 판별하는 판별스텝과,
상기 판별 스텝에서 제 1 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 1 타입의 영상과 상기 제 2 버퍼에 저장된 제 3 타입의 영상을 이용해서 3D 재생을 실행하고, 상기 판별 스텝에서 제 2 타입의 영상이라고 판별된 영상에 대해서는 상기 제 1 버퍼에 저장된 당해 제 2 타입의 영상을 이용해서 2D 재생을 실행하는 재생처리스텝을 포함하는 것을 특징으로 하는 재생방법.
3D 재생에 이용하는 부호화된 제 1 타입의 영상과, 2D 재생에 이용하는 제 2 타입의 영상과, 제 1 타입의 영상 및 상기 제 2 타입의 영상 각각 대해 당해 영상이 제 1 타입의 영상인가 제 2 타입의 영상인가를 식별하는 영상 식별자를 포함하는 제 1 전송용 스트림을 보유하는 제 1 보유수단과, 상기 제 1 타입의 영상의 시점과는 다른 시점의 영상이며, 3D 재생시에 상기 제 1 타입의 영상과 함께 입체 시를 가능으로 하는 부호화된 제 3 타입의 영상을 포함하는 제 2 전송용 스트림을 보유하는 제 2 보유수단을 구비하는 송신장치에서 이용되는 송신방법으로,
상기 제 1 전송용 스트림을 송신하는 제 1 송신스텝과,
상기 제 2 전송용 스트림을 송신하는 제 2 송신스텝을 포함하는 것을 특징으로 하는 송신방법.