KR20140109793A - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR20140109793A
KR20140109793A KR1020137020175A KR20137020175A KR20140109793A KR 20140109793 A KR20140109793 A KR 20140109793A KR 1020137020175 A KR1020137020175 A KR 1020137020175A KR 20137020175 A KR20137020175 A KR 20137020175A KR 20140109793 A KR20140109793 A KR 20140109793A
Authority
KR
South Korea
Prior art keywords
view
stream
streams
data
time stamp
Prior art date
Application number
KR1020137020175A
Other languages
English (en)
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140109793A publication Critical patent/KR20140109793A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

멀티 뷰·서비스를 위한 복수의 뷰 스트림의 전송을 양호하게 행한다. 송신부에 의해 복수의 뷰 스트림이 다중화된 다중화 스트림을 송신한다. 이 경우, 타임 스탬프 할당부에 의해 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프를 할당한다. 예를 들어, 복수의 뷰 스트림은 입체 화상 표시를 위한 스트림 등이다. 다중화 스트림 내의 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되므로, 뷰간의 디코드순과 참조 관계가 보증되어 수신측에 있어서 디코드 처리를 파탄없이 원활하게 행할 수 있게 된다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법{TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE, AND RECEPTION METHOD}
본 기술은 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것으로, 특히, 멀티 뷰·서비스에 있어서 각 뷰의 스트림을 다중화하여 전송하는 송신 장치 등에 관한 것이다.
종래, 멀티 뷰·서비스로서 다양한 것이 제안되어 있다. 예를 들어, 멀티 뷰·서비스로서 입체 화상 표시의 서비스가 있다. 이 입체 화상 표시에는, 예를 들어 나안으로 입체시가 가능한 다시점(多視點) 입체 화상 표시(특허문헌 1 참조), 또는 셔터 안경 등의 특수한 안경의 장착이 필요한 스테레오 입체 화상 표시(특허문헌 2 참조) 등이 있다. 또한, 멀티 뷰·서비스로서 멀티앵글의 뷰를 동시에 표시하는 서비스, 나아가서는 유저에 따른 뷰를 제공하는 서비스 등이 있다.
일본 특허 공개 제2011-135458호 공보 일본 특허 공개 제2005-006114호 공보
상술한 멀티 뷰·서비스를 위해서 송신측으로부터 수신측으로 복수의 뷰 스트림이 다중화되어서 다중화 스트림을 전송하는 일이 행해진다. 스트림을 디코드하는 타이밍과 표시하는 타이밍은 통상 타임 스탬프(time stamp)로 제어된다.
어떤 서비스에 있어서 복수의 스트림이 공급되고, 그들이 유기적으로 결합되어 표시에 이를 때, 참조 관계에 있는 복수의 스트림의 디코드, 표시 타이밍은 파탄이 없도록 픽처마다 제어되지 않으면 안된다. 또한, 라이브 배신의 경우에 시각의 추이에 따라서 실시간으로 다중화를 행할 때, 어떤 일정한 결정에 따라서 복수의 스트림에 타임 스탬프를 붙여서 다중화를 행할 필요가 있다.
멀티 뷰·서비스에 있어서, 각 뷰가 하나의 스트림으로 부호화될 경우, 뷰간의 디코드순과 참조 관계를 보증하는 다중화 방법, 그리고 각 뷰의 표시 관계를 제어하는 다중화 방법이 요망된다.
본 기술의 목적은 멀티 뷰·서비스를 위한 복수의 뷰 스트림의 전송을 양호하게 행하는 데 있다.
본 기술의 개념은,
복수의 뷰 스트림이 다중화된 다중화 스트림을 송신하는 송신부와,
상기 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프를 할당하는 타임 스탬프 할당부를 구비하는
송신 장치에 있다.
본 기술에 있어서, 송신부에 의해 복수의 뷰 스트림이 다중화된 다중화 스트림이 송신된다. 이 경우, 타임 스탬프 할당부에 의해 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당된다.
예를 들어, 복수의 뷰 스트림은 다시점 입체 화상 표시를 위한 복수의 뷰로부터 선택된 소정수의 뷰의 스트림이어도 된다. 또한, 예를 들어 복수의 뷰 스트림은 스테레오 입체 화상 표시를 위한 2개의 뷰의 스트림이어도 된다. 또한, 예를 들어 복수의 뷰 스트림에 시차 정보의 스트림이 추가의 뷰 스트림으로서 포함되어 있어도 된다.
예를 들어, 다중화 스트림은 복수의 뷰 스트림을 포함하는 엘리멘터리 스트림을 갖고 있어도 된다. 즉, 다중화 스트림은 복수의 뷰 스트림을 포함하는 엘리멘터리 스트림 및 단일의 뷰 스트림을 포함하는 엘리멘터리 스트림 중 어느 한쪽, 또는 양쪽을 포함하게 된다. 복수의 뷰 스트림을 포함하는 엘리멘터리 스트림에 있어서는, 예를 들어 각 뷰 스트림의 사이에 뷰간 경계를 나타내는 정보가 배치되도록 해도 된다. 이 경우, 각 뷰 스트림의 선두에 순시(瞬時)에 액세스하는 것이 가능하게 된다.
이와 같이 본 기술에 있어서는, 다중화 스트림 내의 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당된다. 그로 인해, 뷰간의 디코드순과 참조 관계가 보증되는 점에서, 수신측에 있어서 디코드 처리를 파탄없이 원활하게 행할 수 있게 된다.
또한, 본 기술에 있어서, 송신부는 다중화 스트림을 포함하는 소정 포맷의 컨테이너를 송신하고, 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보를, 이 컨테이너의 레이어에 삽입하는 정보 삽입부를 더 구비하도록 되어도 된다. 예를 들어, 컨테이너는 트랜스포트 스트림이며, 정보 삽입부는 할당 정보를 프로그램·맵·테이블의 관리 하에 삽입해도 된다. 예를 들어, 이 할당 정보에는 대응하는 엘리멘터리 스트림이 복수의 뷰 스트림을 가지는지 여부를 나타내는 정보가 포함되어 있어도 된다.
이 경우, 수신측에서는 이 할당 정보에 기초하여 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 인식할 수 있다. 이에 의해, 수신측에서는 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 의한 타임 스탬프 관리로 빠르게 이동할 수 있다.
또한, 본 기술의 다른 개념은,
복수의 뷰 스트림이 다중화된 다중화 스트림을 수신하는 수신부와,
상기 다중화 스트림 내의 상기 복수의 뷰 스트림을 디코드하는 디코드부를 구비하고,
상기 복수의 뷰 스트림에는 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있고,
상기 디코드부는 복수의 뷰 스트림을 상기 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 기초하여 순차 디코드하는
수신 장치에 있다.
본 기술에 있어서, 수신부에 의해 복수의 뷰 스트림이 다중화된 다중화 스트림이 수신된다. 그리고, 디코드부에 의해 다중화 스트림 내의 복수의 뷰 스트림이 디코드된다. 여기서, 복수의 뷰 스트림에는 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있다. 그리고, 디코드부에서는 복수의 뷰 스트림이 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 기초하여 순차 디코드된다.
이와 같이 본 기술에 있어서는, 복수의 뷰 스트림이 각 뷰 스트림에 할당되어 있는 표시 주기를 세분화한 간격의 디코드 타임 스탬프에 기초하여 순차 디코드된다. 그로 인해, 디코드 처리를 파탄없이 원활하게 행하는 것이 가능해진다.
또한, 본 기술에 있어서, 예를 들어 수신부는 다중화 스트림을 포함하는 소정 포맷의 컨테이너를 수신하고, 컨테이너의 레이어에는 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보가 삽입되어 있고, 디코드부는 할당 정보가 존재할 때, 복수의 뷰 스트림을 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 기초하여 순차 디코드 하도록 되어도 된다. 이 경우, 할당 정보에 기초하여 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 의한 타임 스탬프 관리로 빠르게 이행하게 된다.
본 기술에 의하면, 멀티 뷰·서비스를 위한 복수의 뷰 스트림의 전송을 양호하게 행할 수 있다.
도 1은 실시 형태로서의 화상 송수신 시스템의 구성예를 도시하는 블록도이다.
도 2는 트랜스포트 스트림(TS)에 포함되는 뷰 스트림의 일례를 도시하는 도면이다.
도 3은 트랜스포트 스트림(TS)에 중앙(Center), 좌측 단부(Left) 및 우측 단부(Right)의 3개의 뷰 스트림이 포함되는 경우를 도시하는 도면이다.
도 4는 트랜스포트 스트림(TS)에 중앙(Center), 좌측 단부(Left) 및 우측 단부(Right)의 3개의 뷰 스트림과 함께, 1개의 시차 데이터 스트림이 추가의 뷰 스트림으로서 포함되는 경우를 도시하는 도면이다.
도 5는 트랜스포트 스트림(TS)에 좌안(Left) 및 우안(Right)의 2개의 뷰 스트림이 포함되는 경우를 도시하는 도면이다.
도 6은 각 표시 타이밍에서 표시되는 각 뷰의 픽처와, 그 데이터(PES 패킷)의 다중화 스트림 내에 있어서의 배치 위치, 나아가, 각 PES 패킷의 헤더에의 DTS, PTS의 삽입예를 도시하는 도면이다.
도 7은 다중화 스트림을 수신했을 때의 각 뷰의 픽처 데이터(PES 패킷)의 디코드 타이밍과, 각 뷰의 픽처의 표시 타이밍의 일례를 도시하는 도면이다.
도 8은 송신측(방송국(100))에 있어서의 다중화 인코드의 회로예를 도시하는 도면이다.
도 9는 1-pid의 경우에 있어서의 엘리멘터리 스트림의 구성예를 도시하는 도면이다.
도 10은 다중화 인코드의 회로예에 대응한 수신측(수신기(200))에 있어서의 다중화 디코드의 회로예를 도시하는 도면이다.
도 11은 송신측(방송국(100))에 있어서의 다중화 인코드의 회로예를 도시하는 도면이다.
도 12는 2-pid의 경우에 있어서의 2개의 엘리멘터리 스트림의 구성예를 도시하는 도면이다.
도 13은 다중화 인코드의 회로예에 대응한 수신측(수신기(200))에 있어서의 다중화 디코드의 회로예를 도시하는 도면이다.
도 14는 복수의 뷰 스트림을 포함하는 엘리멘터리 스트림의 일례를 도시하는 도면이다.
도 15는 1개의 엘리멘터리 스트림에 3개의 뷰 스트림이 포함되는 경우의 예를 도시하는 도면이다.
도 16은 할당 정보로서의 멀티플·스트림·디스크립터(multiple_stream_descriptor)의 구조예(Syntax)를 도시하는 도면이다.
도 17은 멀티플·스트림·디스크립터의 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하는 도면이다.
도 18은 트랜스포트 스트림(TS)의 구성예를 도시하는 도면이다.
도 19는 트랜스포트 스트림(TS)의 다른 구성예를 도시하는 도면이다.
도 20은 트랜스포트 스트림(TS)의 또 다른 구성예를 도시하는 도면이다.
도 21은 송신 데이터 생성부(110)의 구성예를 도시하는 블록도이다.
도 22는 수신기(200)의 구성예를 도시하는 블록도이다.
도 23은 송신 데이터 생성부(110A)의 구성예를 도시하는 블록도이다.
도 24는 수신기(200A)의 구성예를 도시하는 블록도이다.
도 25는 송신 데이터 생성부(110B)의 구성예를 도시하는 블록도이다.
도 26은 수신기(200B)의 구성예를 도시하는 블록도이다.
이하, 발명을 실시하기 위한 구체적인 내용(이하, 「실시 형태」라고 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[화상 송수신 시스템]
도 1은 실시 형태로서의 화상 송수신 시스템(10)의 구성예를 도시하고 있다. 이 화상 송수신 시스템(10)은 방송국(100) 및 수신기(200)에 의해 구성되어 있다. 방송국(100)은 컨테이너로서의 트랜스포트 스트림(TS)를 방송파에 실어서 송신한다.
이 트랜스포트 스트림(TS)에는 멀티 뷰·서비스를 위한 복수의 뷰 스트림이 다중화된 다중화 스트림이 포함된다. 상술한 바와 같이, 멀티 뷰·서비스에는 입체 화상 표시 서비스의 이외에 멀티앵글 뷰의 동시 표시 서비스, 유저에 따른 뷰의 제공 서비스 등도 있지만, 여기에서는 입체 화상 표시 서비스의 예로 한다.
도 2는 트랜스포트 스트림(TS)에 포함되는 뷰 스트림의 일례를 도시하고 있다. 도시한 예에서는, 각 뷰의 픽처 데이터는 1920*1080의 풀HD의 크기로 되어 있다.
도 2의 (a)는 나안(裸眼)으로 입체시가 가능한 다시점 입체 화상 표시의 서비스에 있어서의 예이다. 이 경우, 트랜스포트 스트림(TS)에, 예를 들어 중앙(Center)의 뷰, 좌측 단부(Left)의 뷰 및 우측 단부(Right)의 뷰의 화상 데이터가 부호화되어서 얻어진 뷰 스트림(비디오 스트림)이 포함된다. 이 경우, 중앙(Center), 좌측 단부(Left) 및 우측 단부(Right)의 뷰 스트림의 사이에는 참조 관계(의존 관계)가 있다.
도 2의 (b)도 나안으로 입체시가 가능한 다시점 입체 화상 표시의 서비스에 있어서의 예이다. 이 경우, 중앙(Center), 좌측 단부(Left) 및 우측 단부(Right)의 뷰 스트림의 이외에 시차 데이터(Disparity data)의 스트림이 포함된다. 이 시차 데이터 스트림은 추가의 뷰 스트림으로서 포함된다. 이 경우, 중앙(Center), 좌측 단부(Left) 및 우측 단부(Right)의 뷰 스트림, 나아가 시차 데이터 스트림의 사이에는 참조 관계(의존 관계)가 있다. 또한, 시차 데이터 대신에 이 시차 데이터에 대응한 깊이 데이터(Depth data)이어도 된다.
도 2의 (c)는 셔터 안경 등의 특수한 안경의 장착이 필요한 스테레오 입체 화상 표시에 있어서의 예이다. 이 경우, 좌안(Left)의 뷰 및 우안(Right)의 뷰의 화상 데이터가 부호화되어서 얻어진 뷰 스트림(비디오 스트림)이 포함된다. 이 경우, 좌안(Left) 및 우안(Right)의 뷰 스트림의 사이에는 참조 관계(의존 관계)가 있다.
트랜스포트 스트림(TS)에 포함되는 각 뷰 스트림에는 표시 주기를 세분화한 간격으로 디코드 타임 스탬프(DTS: Decoding Time Stamp)가 할당된다. 도 3은 트랜스포트 스트림(TS)에 중앙(Center), 좌측 단부(Left) 및 우측 단부(Right)의 3개의 뷰 스트림이 포함되는 경우를 도시하고 있다. 도 3의 (a)는 각 표시 타이밍에서 표시되는 각 뷰의 픽처를 도시하고 있다. 여기서, P1-1, P2-1, P3-1은 어느 타이밍에서 표시되는 각 뷰의 픽처를 나타내고, P1-2, P2-2, P3-2는 그 다음 타이밍에서 표시되는 각 뷰의 픽처를 나타내고 있다.
도 3의 (b)에 도시한 바와 같이, 뷰1(예를 들어, Left)의 픽처 데이터를 포함하는 PES 패킷에 할당되는 디코드 타임 스탬프가 DTS(view1)일 때, 뷰2(예를 들어, Right)의 픽처 데이터를 포함하는 PES 패킷에 할당되는 디코드 타임 스탬프 DTS(view2)는 DTS(view1)에 고정값의 오프셋((1/3)*F)이 부가된 것이 된다. 마찬가지로, 뷰3(예를 들어, Center)의 픽처 데이터를 포함하는 PES 패킷에 할당되는 디코드 타임 스탬프 DTS(view3)는 DTS(view2)에 고정값의 오프셋((1/3)*F)이 부가된 것이 된다. 여기서, F는 픽처의 표시 주기를 나타내고 있다.
여기서, 일반 정식화하면, 뷰의 총 수를 N, 뷰의 순서를 K, 표시 주기를 F로 할 때, DTS(view (K+1))는 DTS(view K)를 사용하여 이하의 (1)식과 같이 나타낼 수 있다. 이 관계는 후술하는 도 4, 도 5의 예에 있어서도 마찬가지이다.
DTS(view (K+1))=DTS(view K)+(1/3)*F ···(1)
도 4는 트랜스포트 스트림(TS)에 중앙(Center), 좌측 단부(Left) 및 우측 단부(Right)의 3개의 뷰 스트림과 함께, 1개의 시차 데이터 스트림이 추가의 뷰 스트림으로서 포함되는 경우를 도시하고 있다. 도 4의 (a)는 각 표시 타이밍에서 표시되는 각 뷰의 픽처를 도시하고 있다. 여기서, P1-1, P2-1, P3-1, P4-1은 어느 타이밍에서 표시되는 각 뷰의 픽처를 나타내고, P1-2, P2-2, P3-2, P4-2는 그 다음 타이밍에서 표시되는 각 뷰의 픽처를 나타내고 있다.
도 4의 (b)에 도시한 바와 같이, 뷰1(예를 들어, Left)의 픽처 데이터를 포함하는 PES 패킷에 할당되는 디코드 타임 스탬프가 DTS(view1)일 때, 뷰2(예를 들어, Right)의 픽처 데이터를 포함하는 PES 패킷에 할당되는 디코드 타임 스탬프 DTS(view2)는 DTS(view1)에 고정값의 오프셋((1/4)*F)이 부가된 것이 된다.
마찬가지로, 뷰3(예를 들어, Center)의 픽처 데이터를 포함하는 PES 패킷에 할당되는 디코드 타임 스탬프 DTS(view3)는 DTS(view2)에 고정값의 오프셋((1/4)*F)이 부가된 것이 된다. 또한, 시차 데이터를 포함하는 PES 패킷에 할당되는 디코드 타임 스탬프 DTS(Disparity)는 DTS(view3)에 고정값의 오프셋((1/4)*F)이 부가된 것이 된다.
도 5는 트랜스포트 스트림(TS)에 좌안(Left) 및 우안(Right)의 2개의 뷰 스트림이 포함되는 경우를 도시하고 있다. 도 5의 (a)는 각 표시 타이밍에서 표시되는 각 뷰의 픽처를 도시하고 있다. 여기서, P1-1, P2-1은 어느 타이밍에서 표시되는 각 뷰의 픽처를 나타내고, P1-2, P2-2는 그 다음 타이밍에서 표시되는 각 뷰의 픽처를 나타내고 있다.
도 5의 (b)에 도시한 바와 같이, 뷰1(예를 들어, Left)의 픽처 데이터를 포함하는 PES 패킷에 할당되는 디코드 타임 스탬프가 DTS(view1)일 때, 뷰2(예를 들어, Right)의 픽처 데이터를 포함하는 PES 패킷에 할당되는 디코드 타임 스탬프 DTS(view2)는 DTS(view1)에 고정값의 오프셋((1/2)*F)이 부가된 것이 된다.
도 6은 각 표시 타이밍에서 표시되는 각 뷰의 픽처와, 그 데이터(PES 패킷)의 다중화 스트림 내에 있어서의 배치 위치, 나아가, 각 PES 패킷의 헤더에의 DTS, PTS의 삽입예를 도시하고 있다. 또한, 도시한 예는 트랜스포트 스트림(TS)에 중앙(Center), 좌측 단부(Left) 및 우측 단부(Right)의 3개의 뷰 스트림이 포함되는 경우를 도시하고 있다.
우선, 도시한 바와 같이, 인코더측의 클록을 디코더측에 전달하기 위한 PCR이 붙여진다. 또한, PCR의 데이터는 PES의 데이터와는 별개로 송신되는 경우도 있다. 다중화 스트림 내에는 P1-1, P2-1, P3-1, P1-2, P2-2, P3-2, ···의 픽처순으로 데이터(PES 패킷)가 배치된다.
이 경우, P1-1, P2-1, P3-1의 픽처는 동일한 표시 타이밍에서 표시되는 것이며, 그들의 데이터가 포함되는 PES 패킷의 헤더에는 동일한 표시 타임 스탬프(PTS1)가 삽입된다. 단, 디코드 타임 스탬프에 대해서는 DTS1, DTS2, DTS3이라는 상이한 타임 스탬프가 삽입된다. 상세 설명은 생략하지만, P1-2, P2-2, P3-2 이행의 픽처에 대해서도 마찬가지이다.
트랜스포트 스트림(TS)의 레이어, 즉 컨테이너의 레이어에, 상술한 바와 같이, 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보가 삽입된다. 이 할당 정보는, 예를 들어 트랜스포트 스트림(TS)에 포함되는 프로그램·맵·테이블(PMT: Program Map Table)의 비디오 엘리멘터리·루프(Video ES loop)의 관리 하 등에 삽입된다. 이 할당 정보에 의해 수신측에서는 이 할당 정보에 기초하여 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 인식하는 것이 가능해진다. 이 할당 정보의 상세에 대해서는 후술한다.
도 1로 되돌아가, 수신기(200)는 방송국(100)으로부터 방송파에 실어서 보내져 오는 트랜스포트 스트림(TS)을 수신한다. 또한, 수신기(200)는 이 트랜스포트 스트림(TS)에 포함되는 각 뷰 스트림을 디코드하여 각 뷰의 픽처 데이터를 순차 취득하고, 입체 화상 표시(다시점 입체 화상 표시 또는 스테레오 입체 화상 표시)를 위해서 사용한다.
상술한 바와 같이, 각 뷰 스트림에는 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있다. 그로 인해, 수신기(200)에서는 각 뷰 스트림을 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 기초하여 순차 디코드한다.
상술한 바와 같이, 트랜스포트 스트림(TS)의 레이어에 할당 정보가 삽입된다. 수신기(200)에서는 이 할당 정보에 기초하여 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 인식할 수 있다. 이에 의해 수신기(200)에서는 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 의한 타임 스탬프 관리로 빠르게 이동할 수 있다.
도 7은 도 6에 도시하는 다중화 스트림을 수신했을 때의 각 뷰의 픽처 데이터(PES 패킷)의 디코드 타이밍과, 각 뷰의 픽처의 표시 타이밍의 일례를 도시하고 있다. 도시한 바와 같이, PCR이 부여되어 있는 경우에는 이 PCR에 기초하여 디코더 클록이 세트된다.
다중화 스트림 내에는 P1-1, P2-1, P3-1, P1-2, P2-2, P3-2, ···의 픽처순으로 데이터(PES 패킷)가 배치되어 있다. P1-1, P2-1, P3-1의 픽처에 대해서는 각각 PES 헤더에 삽입되어 있는 디코드 타임 스탬프 DTS1, DTS2, DTS3의 타이밍에서 순서대로 그 데이터의 디코드가 행해진다. 그리고, PES 헤더가 삽입되어 있는 표시 타임 스탬프(PTS1)의 타이밍에서 동시 표시된다. 상세 설명은 생략하지만, P1-2, P2-2, P3-2 이행의 픽처에 대해서도 마찬가지이다.
다중화 스트림은 복수의 뷰 스트림을 포함하는 엘리멘터리 스트림 및 단일의 뷰 스트림을 포함하는 엘리멘터리 스트림 중 어느 한쪽, 또는 양쪽을 포함하는 것이 된다. 즉, 다중화 스트림은 복수의 뷰 스트림을 포함하는 엘리멘터리 스트림을 가질 수 있다.
도 8은 송신측(방송국(100))에 있어서의 다중화 인코드의 회로예를 도시하고 있다. 이 예는 다중화 스트림이 갖는 1개의 엘리멘터리 스트림에 뷰1 및 뷰2의 2개의 뷰 스트림이 포함되는 소위 1-pid의 경우의 예이다.
뷰1의 화상 데이터(V1)는 인코더(11-1)로 인코드되고, 부호화 후의 비디오 스트림은 cpb(coded picture buffer) 버퍼(12)에 일시적으로 기억된다. 또한, 뷰2의 화상 데이터(V2)는 인코더(11-2)로 인코드되고, 부호화 후의 비디오 스트림은 cpb 버퍼(12)에 일시적으로 기억된다.
cpb 버퍼(12)는 비디오에 관한 디코드측의 버퍼링을 규정하기 위한 인코드측의 버퍼이다. 이 cpb 버퍼(12)에서 발생한 비트량이 디코드측의 버퍼에서 파탄하지 않도록 관리된다. 이 cpb 버퍼(12)에 입력된 2개의 비디오 스트림은 이 cpb 버퍼(12)로부터 1개의 엘리멘터리 스트림으로서 나간다. 이 1개의 엘리멘터리 스트림은 컨테이너 버퍼(14)에 일시적으로 기억되고, 그 후에 멀티플렉서(13)에 의해 다중화 스트림에 포함되어서 송신된다.
도 9는 상술한 1-pid의 경우에 있어서의 엘리멘터리 스트림의 구성예를 도시하고 있다. 이 1개의 엘리멘터리 스트림에는 뷰1 및 뷰2의 2개의 뷰 스트림이 포함된다. 이 경우, 각 뷰의 픽처는 각각 액세스 유닛이 되고, 그 픽처 데이터를 페이로드 부분에 갖는 PES 패킷이 순차 연속한 것이 된다. 이 경우, DTS2=DTS1+(1/2)*F로 함으로써 다중화의 버퍼에 들어가는 액세스 유닛(Access Unit) 타이밍이 인코더측의 클록을 멈추지 않고 다중화 처리를 행하는 것이 가능해진다.
도 10은 도 8의 다중화 인코드의 회로예에 대응한 수신측(수신기(200))에 있어서의 다중화 디코드의 회로예를 도시하고 있다. 송신측으로부터 보내져 온 다중화 스트림은 컨테이너 버퍼(22)에 일시적으로 기억되고, 그 후에 디멀티플렉서(21)에 의해 1개의 엘리멘터리 스트림이 추출되고, cpb(coded picture buffer) 버퍼(23)에 일시적으로 기억된다.
cpb 버퍼(23)에 기억되어 있는 1개의 엘리멘터리 스트림 중 뷰1의 픽처 데이터(액세스 유닛)는 대응하는 DTS의 타이밍에 의해 디코더(24-1)로 디코드된다. 그리고, 뷰1의 화상 데이터(V1)가 얻어지고, 일시적으로 dpb(decoded picture buffer) 버퍼(25-1)에 기억된다.
또한, cpb 버퍼(23)에 기억되어 있는 1개의 엘리멘터리 스트림 중 뷰2의 픽처 데이터(액세스 유닛)는 대응하는 DTS의 타이밍에 의해 디코더(24-2)로 디코드된다. 그리고, 뷰2의 화상 데이터(V2)가 얻어지고, 일시적으로 dpb 버퍼(25-2)에 기억된다. 렌더링부(26-1, 26-2)에 의해 PTS의 타이밍에서 화상 데이터(V1, V2)에 의한 표시가 행해진다.
도 11은 송신측(방송국(100))에 있어서의 다중화 인코드의 회로예를 도시하고 있다. 이 예는 다중화 스트림이 갖는 2개의 엘리멘터리 스트림에 각각 뷰1, 뷰2의 뷰 스트림이 포함되는 소위 2-pid의 경우의 예이다.
뷰1의 화상 데이터(V1)는 인코더(11-1)로 인코드되고, 부호화 후의 비디오 스트림은 cpb(coded picture buffer) 버퍼(12-1)에 일시적으로 기억된다. 또한, 뷰2의 화상 데이터(V2)는 인코더(11-2)로 인코드되고, 부호화 후의 비디오 스트림은 cpb 버퍼(12-2)에 일시적으로 기억된다.
cpb 버퍼(12-1, 12-2)는 비디오에 관한 디코드측의 버퍼링을 규정하기 위한 인코드측의 버퍼이다. 이 cpb 버퍼(12-1, 12-2)에서 발생한 비트량이 디코드측의 버퍼에서 파탄하지 않도록 관리된다. 이 cpb 버퍼(12-1, 12-2)에 각각 입력된 비디오 스트림은 이 cpb 버퍼(12-1, 12-2)로부터 각각 1개의 엘리멘터리 스트림으로서 나간다. 이 2개의 엘리멘터리 스트림은 컨테이너 버퍼(14)에 일시적으로 기억되고, 그 후에 멀티플렉서(13)에 의해 다중화 스트림에 포함되어서 송신된다.
도 12는 상술한 2-pid의 경우에 있어서의 2개의 엘리멘터리 스트림의 구성예를 도시하고 있다. 제1 엘리멘터리 스트림에는 뷰1의 뷰 스트림이 포함된다. 이 경우, 뷰1의 픽처는 액세스 유닛이 되고, 그 픽처 데이터를 페이로드 부분에 갖는 PES 패킷이 존재하는 것이 된다. 제2 엘리멘터리 스트림에는 뷰2의 뷰 스트림이 포함된다. 이 경우, 뷰2의 픽처는 액세스 유닛이 되고, 그 픽처 데이터를 페이로드 부분에 갖는 PES 패킷이 존재하는 것이 된다.
이 경우, DTS2=DTS1+(1/2)*F로 함으로써 다중화의 버퍼에 들어가는 액세스 유닛(Access Unit) 타이밍이 인코더측의 클록을 멈추지 않고 다중화 처리를 행하는 것이 가능해진다. 스트림 타입(Stream_type)에서 2개의 PES 패킷의 관련이 기재된다.
도 13은 도 11의 다중화 인코드의 회로예에 대응한 수신측(수신기(200))에 있어서의 다중화 디코드의 회로예를 도시하고 있다. 송신측으로부터 보내져 온 다중화 스트림은 컨테이너 버퍼(22)에 일시적으로 기억되고, 그 후에 디멀티플렉서(21)에 의해 제1, 제2의 엘리멘터리 스트림이 추출되고, 각각 cpb(coded picture buffer) 버퍼(23-1, 23-2)에 일시적으로 기억된다.
cpb 버퍼(23-1)에 기억되어 있는 엘리멘터리 스트림에 포함되는 뷰1의 픽처 데이터(액세스 유닛)는 대응하는 DTS의 타이밍에 의해 디코더(24-1)로 디코드된다. 그리고, 뷰1의 화상 데이터(V1)가 얻어지고, 일시적으로 dpb(decoded picture buffer) 버퍼(25-1)에 기억된다.
또한, cpb 버퍼(23-2)에 기억되어 있는 엘리멘터리 스트림에 포함되는 뷰1의 픽처 데이터(액세스 유닛)는 대응하는 DTS의 타이밍에 의해 디코더(24-2)로 디코드된다. 그리고, 뷰2의 화상 데이터(V2)가 얻어지고, 일시적으로 dpb(decoded picture buffer) 버퍼(25-3)에 기억된다. 렌더링부(26-1, 26-2)에 의해 PTS의 타이밍에서 화상 데이터(V1, V2)에 의한 표시가 행해진다.
도 14의 (a), (b)는 복수의 뷰 스트림을 포함하는 엘리멘터리 스트림의 일례를 도시하고 있다. 각 액세스 유닛에 각 뷰의 픽처의 부호화 데이터가 순차 배치된다. 이 경우, 최초의 픽처의 부호화 데이터는 "SPS 내지 Coded Slice"로 구성되고, 2번째 이후의 픽처의 부호화 데이터는 "Subset SPS 내지 Coded Slice"로 구성된다. 또한, 이 예는 MPEG4-AVC의 부호화가 되어 있는 예이지만, 다른 부호화 방식에서도 적용 가능하다. 또한, 도면 중의 16진 숫자는 「NAL unit type」을 나타내고 있다.
1개의 엘리멘터리 스트림에 복수의 뷰 스트림이 포함되는 경우, 각 뷰 스트림의 경계가 순시에 식별 가능한 것이 요구된다. 따라서, 도 14의 (b)에 도시한 바와 같이, 각 픽처의 부호화 데이터의 사이에 「View Separation Marker」라는 뷰간 경계를 나타내는 새로운 "NALunit"을 정의하여 배치하는 것을 생각할 수 있다. 이에 의해, 각 뷰 스트림의 선두 데이터에 순시에 액세스하는 것이 가능해진다. 또한, 도 14의 (a)는 각 뷰 스트림의 사이에 「View Separation Marker」가 배치되어 있지 않은 예를 도시하고 있다.
도 15의 (a), (b)는 1개의 엘리멘터리 스트림에 3개의 뷰 스트림이 포함되는 경우의 예를 도시하고 있다. 여기에서는 각 뷰의 픽처의 부호화 데이터를 서브 스트림(sub stream)으로서 나타내고 있다. 도 15의 (a)는 랜덤 액세스 시의 선두 액세스 유닛을 도시하고 있고, 도 15의 (b)는 랜덤 액세스 시의 비선두 액세스 유닛을 도시하고 있다.
[할당 정보의 구조와 TS 구성]
상술한 바와 같이, 트랜스포트 스트림(TS)의 레이어에 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보가 삽입된다. 도 16은 이 할당 정보로서의 멀티플·스트림·디스크립터(multiple_stream_descriptor)의 구조예(Syntax)를 도시하고 있다. 또한, 도 17은 도 16에 도시하는 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하고 있다.
「multiple_stream_tag」는 디스크립터 타입을 나타내는 8비트의 데이터이며, 여기에서는 멀티플·스트림·디스크립터인 것을 나타낸다. 「multiple_stream_length」는 디스크립터의 길이(크기)를 나타내는 8비트의 데이터이다. 이 데이터는 디스크립터의 길이로서 이후의 바이트수를 나타낸다.
「multiple_stream_flag」의 1비트 필드는 해당하는 스트림이 복수의 뷰의 스트림을 갖는지 여부를 나타낸다. "1"은 복수의 뷰 스트림이 있는 것을 나타내고, "0"은 복수의 뷰 스트림이 없는 것을 나타낸다. 「multiple_stream_flag=1」일 때, 「view ordering」 및 「1st_view_left」 등의 정보가 또한 존재한다. 「view ordering」의 4비트 필드는 표시의 기준이 되는 뷰의 최초를 "1"로 하고, 1 내지 15까지의 값을 취한다.
「1st_view_left」의 1비트 필드는 「view_ordering」의 "1"이 「left」인지 「right」인지를 나타낸다. "1"은 view_ordering(1)은 「left」인 것을 나타내고, 다른 뷰의 경우, view_ordering순으로 right에 접근한다. "0"은 view_ordering(1)은 「right」인 것을 나타내고, 다른 뷰의 경우, view_ordering순으로 left에 접근한다.
도 18은 트랜스포트 스트림(TS)의 구성예를 도시하고 있다. 또한, 이 구성예에서는 도면의 간단화를 위해서 오디오 등에 대해서는 그 도시를 생략하고 있다. 이 구성예는 트랜스포트 스트림(TS)이 복수의 뷰 스트림을 포함하는 1개의 엘리멘터리 스트림을 갖는 경우를 나타내고 있다. 이 도 18의 구성예에서는 1개의 엘리멘터리 스트림의 PES 패킷 「video PES1」이 포함되어 있다.
또한, 트랜스포트 스트림(TS)에는 PSI(Program Specific Information)로서 PMT(Program Map Table)가 포함되어 있다. PMT에는 각 엘리멘터리 스트림에 관련된 정보를 갖는 엘리멘터리·루프가 존재한다. 이 구성예에서는 비디오 엘리멘터리·루프(Video ES loop)가 존재한다. 이 엘리멘터리·루프에는 스트림마다 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 엘리멘터리 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다.
이 구성예에서는 PMT의 비디오 엘리멘터리·루프(Video ES loop)의 관리 하에 각 비디오 스트림에 관련하여 멀티플·스트림·디스크립터(multiple_stream_descriptor)가 삽입되어 있다. 이 디스크립터에서 「multiple_stream_flag=1」이 되고, 해당하는 스트림이 복수의 뷰 스트림을 갖는 것이 나타나 있다.
도 19는 트랜스포트 스트림(TS)의 다른 구성예를 도시하고 있다. 또한, 이 구성예에서는 도면의 간단화를 위해서 오디오 등에 대해서는 그 도시를 생략하고 있다. 이 구성예는 트랜스포트 스트림(TS)이 1개의 뷰 스트림을 포함하는 2개의 엘리멘터리 스트림을 갖는 경우를 나타내고 있다. 이 도 19의 구성예에서는 2개의 엘리멘터리 스트림의 PES 패킷 「video PES1」, 「video PES2」가 포함되어 있다.
또한, 이 구성예에서는 PMT의 비디오 엘리멘터리·루프(Video ES loop)의 관리 하에 각 엘리멘터리 스트림에 관련하여 멀티플·스트림·디스크립터(multiple_stream_descriptor)가 삽입되어 있다. PES 패킷 「videoPES1」에 대응한 디스크립터에서는 「multiple_stream_flag=0」이 되고, 해당하는 스트림이 복수의 뷰 스트림을 갖고 있지 않은 것이 나타나 있다. 또한, 이 디스크립터에서는 「view_ordering=1」이 되고, 표시의 기준이 되는 뷰인 것이 나타나 있다.
또한, PES 패킷 「video PES2」에 대응한 디스크립터에서는 「multiple_stream_flag=0」이 되고, 해당하는 스트림이 복수의 뷰 스트림을 갖고 있지 않은 것이 나타나 있다. 또한, 이 디스크립터에서는 「view_ordering=2」가 되고, 표시의 기준이 되는 뷰에 인접한 2번째의 뷰인 것이 나타나 있다.
도 20은 트랜스포트 스트림(TS)의 또 다른 구성예를 도시하고 있다. 또한, 이 구성예에서는 도면의 간단화를 위해서 오디오 등에 대해서는 그 도시를 생략하고 있다. 이 구성예는 트랜스포트 스트림(TS)가 1개의 뷰 스트림을 포함하는 3개의 엘리멘터리 스트림을 갖는 경우를 나타내고 있다. 이 도 20의 구성예에서는 3개의 엘리멘터리 스트림의 PES 패킷 「video PES1」, 「video PES2」, 「video PES3」이 포함되어 있다.
또한, 이 구성예에서는 PMT의 비디오 엘리멘터리·루프(Video ES loop)의 관리 하에 각 엘리멘터리 스트림에 관련하여 멀티플·스트림·디스크립터(multiple_stream_descriptor)가 삽입되어 있다. PES 패킷 「video PES1」에 대응한 디스크립터에서는 「multiple_stream_flag=0」이 되고, 해당하는 스트림이 복수의 뷰 스트림을 갖고 있지 않은 것이 나타나 있다. 또한, 이 디스크립터에서는 「view_ordering=1」이 되고, 표시의 기준이 되는 뷰인 것이 나타나 있다.
또한, PES 패킷 「video PES2」에 대응한 디스크립터에서는 「multiple_stream_flag=0」이 되고, 해당하는 스트림이 복수의 뷰 스트림을 갖고 있지 않은 것이 나타나 있다. 또한, 이 디스크립터에서는 「view_ordering=2」가 되고, 표시의 기준이 되는 뷰에 인접한 2번째의 뷰인 것이 나타나 있다. 또한, PES 패킷 「video PES3」에 대응한 디스크립터에서는 「multiple_stream_flag=0」이 되고, 해당하는 스트림이 복수의 뷰 스트림을 갖고 있지 않은 것이 나타나 있다. 또한, 이 디스크립터에서는 「view_ordering=3」이 되고, 2번째의 뷰에 인접한 3번째의 뷰인 것이 나타나 있다.
[송신 데이터 생성부, 수신기의 구성예]
방송국(100)에 있어서의 송신 데이터 생성부(110)와 수신기(200)의 구성예에 대하여 설명한다.
「송신 데이터 생성부의 구성예」
도 21은 송신 데이터 생성부(110)의 구성예를 도시하고 있다. 이 송신 데이터 생성부(110)는 N개의 화상 데이터 출력부(111-1 내지 111-N)와 뷰 셀렉터(112)와 스케일러(113-1, 113-2, 113-3)와 비디오 인코더(114-1, 114-2, 114-3)와 멀티플렉서(115)와 컨테이너 버퍼(120)를 갖고 있다. 또한, 이 송신 데이터 생성부(110)는 시차 데이터 생성부(116)와 시차 인코더(117)와 음성 데이터 출력부(118)와 오디오 인코더(119)를 갖고 있다.
화상 데이터 출력부(111-1 내지 111-N)는 다시점 입체 화상 표시를 위한 N개의 뷰(View 1… View N)의 화상 데이터를 출력한다. 이 화상 데이터 출력부는, 예를 들어 피사체를 촬상하여 화상 데이터를 출력하는 카메라, 또는 스토리지(기억 매체)로부터 화상 데이터를 판독하여 출력하는 화상 데이터 판독부 등에 의해 구성된다. 또한, 전송되지 않는 뷰의 화상 데이터는 실제로는 없어도 된다.
또한, 뷰 셀렉터(112)는 N개의 뷰(View 1… View N)의 화상 데이터로부터 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부 및 우측 단부의 사이에 위치하는 중간의 뷰(1개 또는 2개 이상)의 화상 데이터를 선택적으로 추출한다. 이 실시 형태에 있어서, 뷰 셀렉터(112)는 좌측 단부의 뷰의 화상 데이터(VL) 및 우측 단부의 뷰의 화상 데이터(VR)를 추출함과 함께, 중앙의 뷰의 화상 데이터(VC)를 추출한다.
또한, 스케일러(113-1, 113-2, 113-3)는 각각 화상 데이터(VC, VL, VR)에 대하여 스케일링 처리를 실시해서, 예를 들어 1920*1080의 풀HD의 크기의 화상 데이터(VC′, VL′, VR′)를 얻는다. 이 경우, 화상 데이터(VC, VL, VR)가 1920*1080의 풀HD의 크기일 때는 그대로 출력한다. 또한, 화상 데이터(VC, VL, VR)가 1920*1080의 크기보다 클 때는 스케일다운 하여 출력한다.
비디오 인코더(114-1)는 중앙의 뷰의 화상 데이터(VC′)에 대하여, 예를 들어 MPEG4-AVC(MVC), MPEG2video 등의 부호화를 실시하여 부호화 비디오 데이터를 얻는다. 그리고, 이 비디오 인코더(114-1)는 후단에 구비하는 스트림 포매터(도시하지 않음)에 의해 이 부호화 데이터를 포함하는 뷰 스트림을 생성한다.
또한, 비디오 인코더(114-2)는 좌측 단부의 뷰의 화상 데이터(VL′)에 대하여, 예를 들어 MPEG4-AVC(MVC), MPEG2video 등의 부호화를 실시하여 부호화 비디오 데이터를 얻는다. 그리고, 이 비디오 인코더(114-2)는 후단에 구비하는 스트림 포매터(도시하지 않음)에 의해 이 부호화 데이터를 포함하는 뷰 스트림을 생성한다.
또한, 비디오 인코더(114-3)는 우측 단부의 뷰의 화상 데이터(VR′)에 대하여, 예를 들어 MPEG4-AVC(MVC), MPEG2video 등의 부호화를 실시하여 부호화 비디오 데이터를 얻는다. 그리고, 이 비디오 인코더(114-3)는 후단에 구비하는 스트림 포매터(도시하지 않음)에 의해 이 부호화 데이터를 포함하는 뷰 스트림을 생성한다.
시차 데이터 생성부(116)는 뷰 셀렉터(112)로부터 출력되는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터에 기초하여 시차 데이터(Disparity data)를 생성한다. 이 시차 데이터에는, 예를 들어 중앙의 뷰 및 좌측 단부의 뷰의 사이의 시차 데이터와, 중앙의 뷰 및 우측 단부의 뷰의 사이의 시차 데이터가 포함되어 있다. 이 경우, 화소 단위, 또는 블록(Block) 단위로 시차 데이터가 생성된다.
시차 인코더(117)는 시차 데이터 생성부(116)에서 생성된 시차 데이터에 부호화를 실시하여 시차 데이터 스트림을 생성한다. 이 시차 데이터 스트림에는 화소 단위 또는 블록 단위의 시차 데이터가 포함되게 된다. 시차 데이터가 화소 단위인 경우에는 화소 데이터와 마찬가지로 압축 부호화하여 전송할 수 있다.
또한, 이 시차 데이터 스트림에 블록 단위의 시차 데이터가 포함되는 경우에는 수신측에서 상술한 변환 처리를 행함으로써 화소 단위로 변환하는 것도 가능하다. 또한, 이러한 시차 데이터 스트림의 송신이 없는 경우, 수신측에서 상술한 바와 같이 각 뷰간에 있어서의 블록 단위의 시차 데이터를 구하고, 또한 화소 단위로 변환하는 것이 가능하다.
음성 데이터 출력부(118)는 화상 데이터에 대응한 음성 데이터를 출력한다. 이 음성 데이터 출력부(118)는, 예를 들어 마이크로폰, 또는 기억 매체로부터 음성 데이터를 판독하여 출력하는 음성 데이터 판독부 등에 의해 구성된다. 오디오 인코더(119)는 음성 데이터 출력부(118)로부터 출력되는 음성 데이터에 대하여 MPEG-2Audio, AAC 등의 부호화를 실시하여 오디오 스트림을 생성한다.
컨테이너 버퍼(120)는 인코드 후의 각 스트림을 일시적으로 기억한다. 멀티플렉서(115)는 비디오 인코더(114-1, 114-2, 114-3), 시차 데이터 인코더(117) 및 오디오 인코더(119)로 생성된 각 스트림을 패킷화하여 다중하고, 다중화 스트림을 생성한다. 이 경우, 각각의 PES(Packetized Elementary Stream)의 헤더에는 수신측에 있어서의 동기 재생을 위해서 DTS(Decoding Time Stamp), PTS(Presentation Time Stamp)가 삽입된다.
멀티플렉서(115)는 트랜스포트 스트림(TS)의 레이어에 할당 정보로서의 멀티플·스트림·디스크립터(multiple_stream_descriptor)(도 16 참조)를 삽입한다. 이 디스크립터는 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 정보를 갖고 있다. 이 디스크립터는, 예를 들어 트랜스포트 스트림(TS)에 포함되는 프로그램·맵·테이블(PMT: Program Map Table)의 관리 하 등에 삽입된다.
도 21에 도시하는 송신 데이터 생성부(110)의 동작을 간단하게 설명한다. N개의 화상 데이터 출력부(111-1 내지 111-N)로부터 출력되는 다시점 입체 화상 표시를 위한 N개의 뷰(View 1… View N)의 화상 데이터는 뷰 셀렉터(112)에 공급된다. 뷰 셀렉터(112)에서는 N개의 뷰의 화상 데이터로부터 중앙의 뷰의 화상 데이터(VC), 좌측 단부의 뷰의 화상 데이터(VL) 및 우측 단부의 뷰의 화상 데이터(VR)가 추출된다.
뷰 셀렉터(112)에서 추출된 중앙의 뷰의 화상 데이터(VC)는 스케일러(113-1)에 공급되고, 예를 들어 1920*1080의 풀HD의 크기로 스케일링 처리된다. 스케일링 처리 후의 화상 데이터(VC′)는 비디오 인코더(114-1)에 공급된다. 비디오 인코더(114-1)에서는 이 화상 데이터(VC′)에 대하여 부호화가 실시되어서 부호화 비디오 데이터가 얻어지고, 이 부호화 비디오 데이터를 포함하는 뷰 스트림이 얻어진다. 이 뷰 스트림은 컨테이너 버퍼(120)에 공급되어서 일시적으로 기억된다.
또한, 뷰 셀렉터(112)에서 추출된 좌측 단부의 뷰의 화상 데이터(VL)는 스케일러(113-2)에 공급되고, 예를 들어 1920*1080의 풀HD의 크기로 스케일링 처리된다. 스케일링 처리 후의 화상 데이터(VL′)는 비디오 인코더(114-2)에 공급된다. 비디오 인코더(114-2)에서는 이 화상 데이터(VL′)에 대하여 부호화가 실시되어서 부호화 비디오 데이터가 얻어지고, 이 부호화 비디오 데이터를 포함하는 뷰 스트림이 생성된다. 이 뷰 스트림은 컨테이너 버퍼(120)에 공급되어서 일시적으로 기억된다.
또한, 뷰 셀렉터(112)에서 추출된 우측 단부의 뷰의 화상 데이터(VR)는 스케일러(113-3)에 공급되고, 예를 들어 1920*1080의 풀HD의 크기로 스케일링 처리된다. 스케일링 처리 후의 화상 데이터(VR′)는 비디오 인코더(114-3)에 공급된다. 비디오 인코더(114-3)에서는 이 화상 데이터(VR′)에 대하여 부호화가 실시되어서 부호화 비디오 데이터가 얻어지고, 이 부호화 비디오 데이터를 포함하는 뷰 스트림이 생성된다. 이 뷰 스트림은 컨테이너 버퍼(120)에 공급되어서 일시적으로 기억된다.
또한, 뷰 셀렉터(112)로부터 출력되는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터는 시차 데이터 생성부(116)에 공급된다. 이 시차 데이터 생성부(116)에서는 각 뷰의 화상 데이터에 기초하여 시차 데이터(Disparity data)가 생성된다. 이 시차 데이터에는 중앙의 뷰 및 좌측 단부의 뷰의 사이의 시차 데이터와, 중앙의 뷰 및 우측 단부의 뷰의 사이의 시차 데이터가 포함된다. 이 경우, 화소 단위, 또는 블록(Block) 단위로 시차 데이터가 생성된다.
시차 데이터 생성부(116)에서 생성된 시차 데이터는 시차 인코더(117)에 공급된다. 이 시차 인코더(117)에서는 시차 데이터에 부호화 처리가 실시되어서 시차 데이터 스트림이 생성된다. 이 시차 데이터 스트림은 컨테이너 버퍼(120)에 공급되어서 일시적으로 기억된다.
또한, 음성 데이터 출력부(118)로부터 출력되는 음성 데이터는 오디오 인코더(119)에 공급된다. 이 오디오 인코더(119)에서는 음성 데이터에 대하여 MPEG-2Audio, AAC 등의 부호화가 실시되어 오디오 스트림이 생성된다. 이 오디오 스트림은 컨테이너 버퍼(120)에 공급되어서 일시적으로 기억된다.
멀티플렉서(115)에서는 컨테이너 버퍼(120)에 기억되어 있는 각 인코더로부터의 스트림이 패킷화되어서 다중되고, 트랜스포트 스트림(TS)이 생성된다. 이 경우, 각각의 PES 헤더에는 수신측에 있어서의 동기 재생을 위해서 DTS, PTS가 삽입된다. 또한, 멀티플렉서(115)에서는 PMT의 관리 하 등에 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보인 멀티플·스트림·디스크립터가 삽입된다.
「수신기의 구성예」
도 22는 상술한 도 21에 도시하는 송신 데이터 생성부(110)에 대응한 수신기(200)의 구성예를 도시하고 있다. 이 수신기(200)는 컨테이너 버퍼(213)와 디멀티플렉서(214)와 코디드 버퍼(215-1, 215-2, 215-3)와 비디오 디코더(216-1, 216-2, 216-3)와 디코디드 버퍼(217-1, 217-2, 217-3)와 스케일러(218-1, 218-2, 218-3)를 갖고 있다.
또한, 수신기(200)는 뷰 보간부(219)와 픽셀 인터리버(220)를 갖고 있다. 또한, 수신기(200)는 코디드 버퍼(221)와 시차 디코더(222)와 시차 버퍼(223)와 시차 데이터 변환부(224)를 갖고 있다. 또한, 수신기(200)는 코디드 버퍼(225)와 오디오 디코더(226)와 채널 믹싱부(227)를 갖고 있다.
컨테이너 버퍼(213)는 디지털 튜너 등에서 수신된 트랜스포트 스트림(TS)을 일시적으로 기억한다. 이 트랜스포트 스트림(TS)에는 다시점 입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부 및 우측 단부의 사이에 위치하는 중간의 뷰로서의 중앙의 뷰의 화상 데이터가 부호화되어서 얻어진 뷰 스트림이 포함되어 있다.
이 트랜스포트 스트림(TS)에는, 상술한 바와 같이, PMT의 관리 하 등에 할당 정보인 멀티플·스트림·디스크립터가 삽입되어 있다. 이 디스크립터는 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타낸다.
디멀티플렉서(214)는 컨테이너 버퍼(213)에 일시적으로 축적된 트랜스포트 스트림(TS)으로부터 비디오, 시차 및 오디오의 각 스트림을 추출한다. 또한, 디멀티플렉서(214)는 이 트랜스포트 스트림(TS)으로부터 상술한 멀티플·스트림·디스크립터를 추출하고, 도시하지 않은 제어부(CPU)에 보낸다.
제어부는 이 디스크립터에 의해 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 인식할 수 있다. 이에 의해, 수신기(200)에서는 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 의한 타임 스탬프 관리로 빠르게 이동할 수 있다.
코디드 버퍼(215-1, 215-2, 215-3)는 각각 디멀티플렉서(214)로 추출되는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 뷰 스트림을 일시적으로 기억한다. 비디오 디코더(216-1, 216-2, 216-3)는 각각 코디드 버퍼(215-1, 215-2, 215-3)에 기억되어 있는 뷰 스트림에 디코드 처리를 행하여 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터를 취득한다.
상술한 디멀티플렉서(214)는 각 뷰의 뷰 스트림(시차 데이터 스트림도 포함함)에 할당되어 있는 DTS, PTS를 추출한다. 코디드 버퍼(215-1, 215-2, 215-3)로부터의 각 뷰의 뷰 스트림의 추출은 각각 대응하는 DTS의 타이밍에서 행해진다. 따라서, 각 뷰의 뷰 스트림에 대한 디코드 처리는 각각 대응하는 DTS의 타이밍에서 개시된다.
여기서, 비디오 디코더(216-1)는 중앙 뷰(center view)의 화상 데이터를 취득한다. 또한, 비디오 디코더(216-2)는 좌측 단부 뷰(left view)의 화상 데이터를 취득한다. 또한, 비디오 디코더(216-3)는 우측 단부 뷰(right view)의 화상 데이터를 취득한다.
디코디드 버퍼(217-1, 217-2, 217-3)는 각각 비디오 디코더(216-1, 216-2, 216-3)에서 취득된 각 뷰의 화상 데이터를 일시적으로 기억한다. 스케일러(218-1, 218-2, 218-3)는 각각 디코디드 버퍼(217-1, 217-2, 217-3)로부터 출력되는 각 뷰의 화상 데이터의 출력 해상도가 소정의 해상도가 되도록 조정한다.
코디드 버퍼(221)는 디멀티플렉서(214)로 추출되는 시차 데이터 스트림을 일시적으로 기억한다. 시차 디코더(222)는 상술한 송신 데이터 생성부(110)의 시차 인코더(117)(도 21 참조)와는 역의 처리를 행한다. 즉, 시차 디코더(222)는 코디드 버퍼(221)에 기억되어 있는 시차 데이터 스트림의 디코드 처리를 행하여 시차 데이터를 얻는다.
이 시차 데이터에는 중앙 뷰와 좌측 단부 뷰의 사이의 시차 데이터와, 중앙 뷰와 우측 단부 뷰의 사이의 시차 데이터가 포함되어 있다. 또한, 이 시차 데이터는 화소 단위, 또는 블록 단위의 시차 데이터이다. 시차 버퍼(223)는 시차 디코더(222)에서 취득된 시차 데이터를 일시적으로 기억한다.
여기서, 코디드 버퍼(221)로부터의 시차 데이터 스트림의 추출은 디멀티플렉서(214)로 추출된 대응하는 DTS가 타이밍에서 행해진다. 따라서, 시차 데이터 스트림에 대한 디코드 처리는 대응하는 DTS의 타이밍에서 개시된다.
시차 데이터 변환부(224)는 시차 버퍼(223)에 축적되어 있는 시차 데이터에 기초하여 스케일링 후의 화상 데이터의 크기에 맞는 화소 단위의 시차 데이터를 생성한다. 예를 들어, 생성된 시차 데이터가 블록 단위인 경우에는 화소 단위의 시차 데이터로 변환한다. 또한, 예를 들어 생성된 시차 데이터가 화소 단위이지만, 스케일링 후의 화상 데이터의 크기에 맞지 않은 경우에는 적절히 스케일링된다.
뷰 보간부(219)는 스케일링 후의 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터로부터, 시차 데이터 변환부(224)에서 얻어진 각 뷰간의 시차 데이터에 기초하여 전송되어 오지 않는 소정수의 뷰의 화상 데이터를 보간 합성한다. 즉, 뷰 보간부(219)는 중앙 뷰와 좌측 단부 뷰의 사이에 위치하는 각 뷰의 화상 데이터를 보간 합성하여 출력한다. 또한, 뷰 보간부(219)는 중앙 뷰와 우측 단부 뷰의 사이에 위치하는 각 뷰의 화상 데이터를 보간 합성하여 출력한다.
픽셀 인터리버(220)는 뷰 보간부(219)로부터 출력되는 N개의 뷰(View 1, View 2, …, View N)의 화상 데이터에 대하여 픽셀 인터리브 처리를 행하여 3차원 화상(입체 화상)의 나안 관상을 위한 표시용 화상 데이터를 생성한다.
코디드 버퍼(225)는 디멀티플렉서(214)로 추출되는 오디오 스트림을 일시적으로 기억한다. 오디오 디코더(226)는 상술한 송신 데이터 생성부(110)의 오디오 인코더(119)(도 21 참조)와는 역의 처리를 행한다. 즉, 오디오 디코더(226)는 코디드 버퍼(225)에 기억되어 있는 오디오 스트림의 복호화 처리를 행하여 복호화된 음성 데이터를 얻는다. 채널 믹싱부(227)는 오디오 디코더(226)에서 얻어지는 음성 데이터에 대하여, 예를 들어 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터를 생성하여 출력한다.
또한, 디코디드 버퍼(217-1, 217-2, 217-3)로부터의 각 뷰의 화상 데이터의 판독과 시차 버퍼(223)로부터의 시차 데이터의 판독은 PTS에 기초하여 행해지고, 전송 동기가 취해진다.
수신기(200)의 동작을 간단하게 설명한다. 디지털 튜너 등에서 수신된 트랜스포트 스트림(TS)은 컨테이너 버퍼(213)에 일시적으로 기억된다. 이 트랜스포트 스트림(TS)에는 다시점 입체 화상 표시를 위한 복수의 뷰 중 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부 및 우측 단부의 사이에 위치하는 중간의 뷰로서의 중앙의 뷰의 화상 데이터가 부호화되어서 얻어진 뷰 스트림이 포함되어 있다.
디멀티플렉서(214)에서는 컨테이너 버퍼(213)에 일시적으로 기억된 트랜스포트 스트림(TS)으로부터 비디오, 시차 및 오디오의 각 스트림이 추출된다. 또한, 디멀티플렉서(214)에서는 이 트랜스포트 스트림(TS)으로부터 할당 정보로서의 멀티플·스트림·디스크립터가 추출되고, 제어부(CPU)에 보내진다. 제어부에서는 이 디스크립터에 의해 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것이 인식된다. 제어부에서는 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 의한 타임 스탬프 관리로 빠르게 이동할 수 있다.
디멀티플렉서(214)로 추출되는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 뷰 스트림은 각각 코디드 버퍼(215-1, 215-2, 215-3)에 공급되어서 일시적으로 기억된다. 그리고, 비디오 디코더(216-1, 216-2, 216-3)에서는 각각 코디드 버퍼(215-1, 215-2, 215-3)에 기억되어 있는 뷰 스트림의 복호화 처리가 행해져서 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터가 취득된다.
비디오 디코더(216-1, 216-2, 216-3)에서 취득된 각 뷰의 화상 데이터는 각각 디코디드 버퍼(217-1, 217-2, 217-3)에 공급되어서 일시적으로 기억된다. 스케일러(218-1, 218-2, 218-3)에서는 각각 디코디드 버퍼(217-1, 217-2, 217-3)로부터 출력되는 각 뷰의 화상 데이터의 출력 해상도가 소정의 해상도가 되도록 조정된다.
또한, 디멀티플렉서(214)로 추출되는 시차 데이터 스트림은 코디드 버퍼(221)에 공급되어서 일시적으로 기억된다. 시차 디코더(222)에서는 코디드 버퍼(221)에 기억되어 있는 시차 데이터 스트림의 디코드 처리가 행해져서 시차 데이터가 얻어진다. 이 시차 데이터에는 중앙 뷰와 좌측 단부 뷰의 사이의 시차 데이터와, 중앙 뷰와 우측 단부 뷰의 사이의 시차 데이터가 포함되어 있다. 또한, 이 시차 데이터는 화소 단위, 또는 블록 단위의 시차 데이터이다.
시차 디코더(222)에서 취득된 시차 데이터는 시차 버퍼(223)에 공급되어서 일시적으로 기억된다. 시차 데이터 변환부(224)는 시차 버퍼(223)에 축적되어 있는 시차 데이터에 기초하여 스케일링 후의 화상 데이터의 크기에 맞는 화소 단위의 시차 데이터가 생성된다. 이 경우, 생성된 시차 데이터가 블록 단위인 경우에는 화소 단위의 시차 데이터로 변환된다. 또한, 이 경우, 생성된 시차 데이터가 화소 단위이지만, 스케일링 후의 화상 데이터의 크기에 맞지 않은 경우에는 적절히 스케일링된다.
뷰 보간부(219)에서는 스케일링 후의 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터로부터, 시차 데이터 변환부(224)에서 얻어진 각 뷰간의 시차 데이터에 기초하여 전송되어 오지 않는 소정수의 뷰의 화상 데이터가 보간 합성된다. 이 뷰 보간부(219)로부터는 3차원 화상(입체 화상)을 나안 관상하기 위한 N개의 뷰(View 1, View 2, …, View N)의 화상 데이터가 얻어진다. 또한, 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터도 포함된다.
픽셀 인터리버(220)에서는 N개의 뷰(View 1, View 2, …, View N)의 화상 데이터에 대하여 픽셀 인터리브 처리가 행해져서 3차원 화상(입체 화상)의 나안 관상을 위한 표시용 화상 데이터가 생성된다. 이 표시용 화상 데이터가 디스플레이에 공급됨으로써 3차원 화상(입체 화상)의 나안 관상을 위한 화상 표시가 행해진다.
또한, 디멀티플렉서(214)로 추출되는 오디오 스트림은 코디드 버퍼(225)에 공급되어서 일시적으로 기억된다. 오디오 디코더(226)에서는 코디드 버퍼(225)에 기억되어 있는 오디오 스트림의 복호화 처리가 행해져서 복호화된 음성 데이터가 얻어지고, 이 음성 데이터는 채널 믹싱부(227)에 공급된다. 채널 믹싱부(227)에서는 음성 데이터에 대하여, 예를 들어 5.1ch서라운드 등을 실현하기 위한 각 채널의 음성 데이터가 생성된다. 이 음성 데이터는, 예를 들어 스피커에 공급되어 화상 표시에 맞춘 음성 출력이 이루어진다.
[송신 데이터 생성부, 수신기의 다른 구성예]
상술한 도 21에 도시하는 송신 데이터 생성부(110) 및 도 22에 도시하는 수신기(200)는 트랜스포트 스트림(TS)에 시차 데이터가 부호화되어서 얻어진 시차 데이터 스트림이 포함되는 경우의 구성예이다. 트랜스포트 스트림(TS)에 시차 데이터 스트림이 포함되지 않은 경우도 생각할 수 있다.
도 23은 그 경우에 있어서의 송신 데이터 생성부(110A)의 구성예를 도시하고 있다. 이 도 23에 있어서, 도 21과 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다. 이 송신 데이터 생성부(110A)는 도 21에 도시하는 송신 데이터 생성부(110)에 있어서의 시차 데이터 생성부(116) 및 시차 인코더(117)가 제외된 구성이 된다. 이 경우, 멀티플렉서(115)는 비디오 인코더(114-1, 114-2, 114-3) 및 오디오 인코더(119)로 생성된 각 스트림을 패킷화하여 다중하고, 다중화 스트림을 생성한다. 이 도 23에 도시하는 송신 데이터 생성부(110A)에 있어서의 그 밖의 구성은 도 21에 도시하는 송신 데이터 생성부(110)의 구성과 동일하게 된다.
또한, 도 24는 그 경우에 있어서의 수신기(200A)의 구성예를 도시하고 있다. 이 도 24에 있어서, 도 22와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다. 이 수신기(200A)는 시차 데이터 생성부(228)를 갖고 있다. 이 시차 데이터 생성부(228)는 스케일링 처리된 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터에 기초하여 시차 데이터를 생성한다.
상세 설명은 생략하지만, 이 경우에 있어서의 시차 데이터의 생성 방법은 상술한 송신 데이터 생성부(110)(도 21 참조)에 있어서의 시차 데이터 생성부(116)에 있어서의 시차 데이터 생성 방법과 동일하다. 또한, 이 시차 데이터 생성부(228)는 도 22에 도시하는 수신기(200)의 시차 데이터 변환부(224)에서 생성되는 화소 단위의 시차 데이터와 동일한 시차 데이터를 생성하여 출력한다. 시차 데이터 생성부(228)에서 생성된 시차 데이터는 뷰 보간부(219)에 공급된다.
또한, 도 24에 도시하는 수신기(200A)에 있어서는, 도 22에 도시하는 수신기(200)에 있어서의 코디드 버퍼(221), 시차 디코더(222), 시차 버퍼(223) 및 시차 데이터 변환부(224)는 생략된다. 이 도 24에 도시하는 수신기(200A)에 있어서의 그 밖의 구성은 도 22에 도시하는 수신기(200)의 구성과 동일하게 된다.
[송신 데이터 생성부, 수신기의 또 다른 구성예]
상술한 도 21, 도 23에 도시하는 송신 데이터 생성부(110, 110A) 및 도 22, 도 24에 도시하는 수신기(200, 200A)는 트랜스포트 스트림(TS)에 다시점 입체 화상 표시용의 뷰 스트림이 포함되는 경우의 구성예이다. 트랜스포트 스트림(TS)에 스테레오 입체 화상 표시용의 뷰 스트림이 포함되는 경우의 구성예에 대하여 설명한다.
「송신 데이터 생성부의 구성예」
도 25는 그 경우에 있어서의 송신 데이터 생성부(110B)의 구성예를 도시하고 있다. 이 도 25에 있어서, 도 21과 대응하는 부분에는 동일 부호를 붙여서 도시하고 있다. 이 송신 데이터 생성부(110B)는 2개의 화상 데이터 출력부(111-1, 111-2)와 스케일러(113-1, 113-2)와 비디오 인코더(114-1, 114-2)와 멀티플렉서(115)와 컨테이너 버퍼(120)를 갖고 있다. 또한, 이 송신 데이터 생성부(110B)는 음성 데이터 출력부(118)와 오디오 인코더(119)를 갖고 있다.
화상 데이터 출력부(111-1, 111-2)는 각각 스테레오 입체 화상 표시를 위한 좌안(View 1) 화상 데이터(VL), 우안(View 2) 화상 데이터(VR)를 출력한다. 이 화상 데이터 출력부는, 예를 들어 피사체를 촬상하여 화상 데이터를 출력하는 카메라, 또는 스토리지(기억 매체)로부터 화상 데이터를 판독하여 출력하는 화상 데이터 판독부 등에 의해 구성된다.
또한, 스케일러(113-1, 113-2)는 각각 화상 데이터(VL, VR)에 대하여 스케일링 처리를 실시해서, 예를 들어 1920*1080의 풀HD의 크기의 화상 데이터(VL′, VR′)를 얻는다. 이 경우, 화상 데이터(VL, VR)가 1920*1080의 풀HD의 크기일 때는 그대로 출력한다. 또한, 화상 데이터(VL, VR)가 1920*1080의 크기보다 클 때는 스케일다운 하여 출력한다.
비디오 인코더(114-1)는 좌안 화상 데이터(VL′)에 대하여, 예를 들어 MPEG4-AVC(MVC), MPEG2video 등의 부호화를 실시하여 부호화 비디오 데이터를 얻는다. 그리고, 이 비디오 인코더(114-1)는 후단에 구비하는 스트림 포매터(도시하지 않음)에 의해 이 부호화 데이터를 포함하는 뷰 스트림을 생성한다.
또한, 비디오 인코더(114-2)는 우안 화상 데이터(VR′)에 대하여, 예를 들어 MPEG4-AVC(MVC), MPEG2video 등의 부호화를 실시하여 부호화 비디오 데이터를 얻는다. 그리고, 이 비디오 인코더(114-2)는 후단에 구비하는 스트림 포매터(도시하지 않음)에 의해 이 부호화 데이터를 포함하는 뷰 스트림을 생성한다.
음성 데이터 출력부(118)는 화상 데이터에 대응한 음성 데이터를 출력한다. 이 음성 데이터 출력부(118)는, 예를 들어 마이크로폰, 또는 기억 매체로부터 음성 데이터를 판독하여 출력하는 음성 데이터 판독부 등에 의해 구성된다. 오디오 인코더(119)는 음성 데이터 출력부(118)로부터 출력되는 음성 데이터에 대하여 MPEG-2Audio, AAC 등의 부호화를 실시하여 오디오 스트림을 생성한다.
컨테이너 버퍼(120)은 인코드 후의 각 스트림을 일시적으로 기억한다. 멀티플렉서(115)는 비디오 인코더(114-1, 114-2) 및 오디오 인코더(119)로 생성된 각 스트림을 패킷화하여 다중하고, 다중화 스트림을 포함하는 트랜스포트 스트림(TS)을 생성한다. 이 경우, 각각의 PES(Packetized Elementary Stream)의 헤더에는 수신측에 있어서의 동기 재생을 위해서 DTS(Decoding Time Stamp), PTS(Presentation Time Stamp)가 삽입된다.
멀티플렉서(115)는 트랜스포트 스트림(TS)의 레이어에 할당 정보로서의 멀티플·스트림·디스크립터(multiple_stream_descriptor)(도 16 참조)를 삽입한다. 이 디스크립터는 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 정보를 갖고 있다. 이 디스크립터는, 예를 들어 트랜스포트 스트림(TS)에 포함되는 프로그램·맵·테이블(PMT: Program Map Table)의 관리 하 등에 삽입된다.
도 25에 도시하는 송신 데이터 생성부(110B)의 동작을 간단하게 설명한다. 2개의 화상 데이터 출력부(111-1, 111-2)로부터 출력되는 스테레오 입체 화상 표시를 위한 좌안 화상 데이터(VL), 우안 화상 데이터(VR)는 스케일러(113-1, 113-2)에 공급되고, 예를 들어 1920*1080의 풀HD의 크기로 스케일링 처리된다.
스케일링 처리 후의 화상 데이터(VL′)는 비디오 인코더(114-1)에 공급된다. 비디오 인코더(114-1)에서는 이 화상 데이터(VL′)에 대하여 부호화가 실시되어서 부호화 비디오 데이터가 얻어지고, 이 부호화 비디오 데이터를 포함하는 뷰 스트림이 생성된다. 이 뷰 스트림은 컨테이너 버퍼(120)에 공급되어서 일시적으로 기억된다.
또한, 스케일링 처리 후의 화상 데이터(VR′)는 비디오 인코더(114-2)에 공급된다. 비디오 인코더(114-2)에서는 이 화상 데이터(VR′)에 대하여 부호화가 실시되어서 부호화 비디오 데이터가 얻어지고, 이 부호화 비디오 데이터를 포함하는 뷰 스트림이 생성된다. 이 뷰 스트림은 컨테이너 버퍼(120)에 공급되어서 일시적으로 기억된다.
또한, 음성 데이터 출력부(118)로부터 출력되는 음성 데이터는 오디오 인코더(119)에 공급된다. 이 오디오 인코더(119)에서는 음성 데이터에 대하여 MPEG-2Audio, AAC 등의 부호화가 실시되어 오디오 스트림이 생성된다. 이 오디오 스트림은 컨테이너 버퍼(120)에 공급되어서 일시적으로 기억된다.
멀티플렉서(115)에서는 컨테이너 버퍼(120)에 기억되어 있는 각 인코더로부터의 스트림이 패킷화되어서 다중되고, 트랜스포트 스트림(TS)이 생성된다. 이 경우, 각각의 PES 헤더에는 수신측에 있어서의 동기 재생을 위해서 DTS, PTS가 삽입된다. 또한, 멀티플렉서(115)에서는 PMT의 관리 하 등에 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보인 멀티플·스트림·디스크립터가 삽입된다.
「수신기의 구성예」
도 26은 상술한 도 25에 도시하는 송신 데이터 생성부(110B)에 대응한 수신기(200B)의 구성예를 도시하고 있다. 이 수신기(200B)는 컨테이너 버퍼(213)와 디멀티플렉서(214)와 코디드 버퍼(215-1, 215-2)와 비디오 디코더(216-1, 216-2)와 디코디드 버퍼(217-1, 217-2)와 스케일러(218-1, 218-2)와 렌더링부(229)를 갖고 있다. 또한, 이 수신기(200B)는 코디드 버퍼(225)와 오디오 디코더(226)와 채널 믹싱부(227)를 갖고 있다.
컨테이너 버퍼(213)는 디지털 튜너 등에서 수신된 트랜스포트 스트림(TS)을 일시적으로 기억한다. 이 트랜스포트 스트림(TS)에는 스테레오 입체 화상 표시를 위한 좌안, 우안의 화상 데이터가 각각 부호화되어서 얻어진 뷰 스트림이 포함되어 있다.
이 트랜스포트 스트림(TS)에는, 상술한 바와 같이, PMT의 관리 하 등에 할당 정보인 멀티플·스트림·디스크립터가 삽입되어 있다. 이 디스크립터는 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타낸다.
디멀티플렉서(214)는 컨테이너 버퍼(213)에 일시적으로 기억된 트랜스포트 스트림(TS)으로부터 비디오 및 오디오의 각 스트림을 추출한다. 또한, 디멀티플렉서(214)는 이 트랜스포트 스트림(TS)으로부터 상술한 멀티플·스트림·디스크립터를 추출하고, 도시하지 않은 제어부(CPU)에 보낸다.
제어부는 이 디스크립터에 의해 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 인식할 수 있다. 이에 의해, 수신기(200)에서는 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 의한 타임 스탬프 관리로 빠르게 이동할 수 있다.
코디드 버퍼(215-1, 215-2)는 각각 디멀티플렉서(214)로 추출되는 좌안, 우안의 각 뷰의 뷰 스트림을 일시적으로 기억한다. 비디오 디코더(216-1, 216-2)는 각각 코디드 버퍼(215-1, 215-2)에 기억되어 있는 뷰 스트림에 디코드 처리를 행하여 좌안 화상 데이터, 우안 화상 데이터를 취득한다.
상술한 디멀티플렉서(214)는 각 뷰의 뷰 스트림에 할당되어 있는 DTS, PTS를 추출한다. 코디드 버퍼(215-1, 215-2)로부터의 각 뷰의 뷰 스트림의 추출은 각각 대응하는 DTS의 타이밍에서 행해진다. 따라서, 각 뷰의 뷰 스트림에 대한 디코드 처리는 각각 대응하는 DTS의 타이밍에서 개시된다. 여기서, 비디오 디코더(216-1)는 좌안 화상 데이터를 취득하고, 비디오 디코더(216-2)는 우안 화상 데이터를 취득한다.
디코디드 버퍼(217-1, 217-2)는 각각 비디오 디코더(216-1, 216-2)에서 취득된 좌안, 우안의 화상 데이터를 일시적으로 기억한다. 스케일러(218-1, 218-2)는 각각 디코디드 버퍼(217-1, 217-2)로부터 출력되는 좌안, 우안의 화상 데이터의 출력 해상도가 소정의 해상도가 되도록 조정한다. 렌더링부(229)는 좌안, 우안의 화상 데이터에 대하여 스테레오 입체 화상 표시를 위한 처리를 행하여 디스플레이에 공급한다.
코디드 버퍼(225)는 디멀티플렉서(214)로 추출되는 오디오 스트림을 일시적으로 기억한다. 오디오 디코더(226)는 상술한 송신 데이터 생성부(110B)의 오디오 인코더(119)(도 25 참조)와는 역의 처리를 행한다. 즉, 오디오 디코더(226)는 코디드 버퍼(225)에 기억되어 있는 오디오 스트림의 복호화 처리를 행하여 복호화된 음성 데이터를 얻는다. 채널 믹싱부(227)는 오디오 디코더(226)에서 얻어지는 음성 데이터에 대하여, 예를 들어 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터를 생성하여 출력한다.
또한, 디코디드 버퍼(217-1, 217-2)로부터의 각 뷰의 화상 데이터의 판독은 PTS에 기초하여 행해지고, 전송 동기가 취해진다.
수신기(200B)의 동작을 간단하게 설명한다. 디지털 튜너 등에서 수신된 트랜스포트 스트림(TS)은 컨테이너 버퍼(213)에 일시적으로 기억된다. 이 트랜스포트 스트림(TS)에는 스테레오 입체 화상 표시를 위한 좌안 화상 데이터와 우안 화상 데이터가 부호화되어서 얻어진 뷰 스트림이 포함되어 있다.
디멀티플렉서(214)에서는 컨테이너 버퍼(213)에 일시적으로 기억된 트랜스포트 스트림(TS)으로부터 비디오 및 오디오의 각 스트림이 추출된다. 또한, 디멀티플렉서(214)에서는 이 트랜스포트 스트림(TS)으로부터 할당 정보로서의 멀티플·스트림·디스크립터가 추출되어 제어부(CPU)에 보내진다. 제어부에서는 이 디스크립터에 의해 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것이 인식된다. 제어부에서는 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 의한 타임 스탬프 관리로 빠르게 이동할 수 있다.
디멀티플렉서(214)로 추출되는 좌안, 우안의 각 뷰의 뷰 스트림은 각각 코디드 버퍼(215-1, 215-2)에 공급되어서 일시적으로 기억된다. 그리고, 비디오 디코더(216-1, 216-2)에서는 각각 코디드 버퍼(215-1, 215-2)에 기억되어 있는 뷰 스트림의 복호화 처리가 행해져서 좌안 화상 데이터 및 우안 화상 데이터가 취득된다.
비디오 디코더(216-1, 216-2)에서 취득된 좌안, 우안의 화상 데이터는 각각 디코디드 버퍼(217-1, 217-2)에 공급되어서 일시적으로 기억된다. 스케일러(218-1, 218-2)에서는 각각 디코디드 버퍼(217-1, 217-2)로부터 출력되는 좌안, 우안의 화상 데이터의 출력 해상도가 소정의 해상도가 되도록 조정된다. 해상도 조정된 좌안, 우안의 화상 데이터는 렌더링부(229)에 공급된다. 그리고, 이 렌더링부(229)에서는 좌안, 우안의 화상 데이터에 대하여 스테레오 입체 화상 표시를 위한 처리가 행해져서 디스플레이에 공급된다. 이에 의해, 스테레오 입체 화상 표시를 위한 화상 표시, 예를 들어 좌안 화상 및 우안 화상의 시분할 표시 등이 행해진다.
상술한 바와 같이, 도 1에 도시하는 화상 송수신 시스템(10)에 있어서는, 다중화 스트림 내의 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당된다. 그로 인해, 뷰간의 디코드순과 참조 관계가 보증되는 점에서, 수신측에 있어서 디코드 처리를 파탄없이 원활하게 행하는 것이 가능해진다.
또한, 도 1에 도시하는 화상 송수신 시스템(10)에 있어서는, 트랜스포트 스트림(TS)의 레이어, 예를 들어 PMT의 관리 하에 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보가 삽입된다. 그로 인해, 수신측에서는 이 할당 정보에 기초하여 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 인식할 수 있다. 이에 의해, 수신측에서는 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 의한 타임 스탬프 관리로 빠르게 이동할 수 있다.
<2. 변형예>
또한, 상술한 실시 형태에 있어서는, 멀티 뷰·서비스로서 입체 화상 표시 서비스에 착안한 것이지만, 본 기술은 그 밖의 멀티 뷰·서비스, 예를 들어 멀티앵글 뷰의 동시 표시 서비스, 유저에 따른 뷰의 제공 서비스 등에도 동일하게 적용할 수 있다.
또한, 상술한 실시 형태에 있어서는, 방송국(100)과 수신기(200)로 이루어지는 화상 송수신 시스템(10)을 나타냈지만, 본 기술을 적용할 수 있는 화상 송수신 시스템의 구성은 이것에 한정되지는 않는다. 예를 들어, 수신기(200)의 부분이, 예를 들어 HDMI(High-Definition Multimedia Interface) 등의 디지털 인터페이스에서 접속된 셋톱 박스 및 모니터의 구성 등이어도 된다.
또한, 상술한 실시 형태에 있어서는, 컨테이너가 트랜스포트 스트림(MPEG-2TS)인 예를 나타냈다. 그러나, 본 기술은 인터넷 등의 네트워크를 이용하여 수신 단말기에 배신되는 구성의 시스템에도 동일하게 적용할 수 있다. 인터넷의 배신에서는 MP4나 그 이외의 포맷의 컨테이너로 배신되는 경우가 많다. 즉, 컨테이너로서는 디지털 방송 규격에서 채용되어 있는 트랜스포트 스트림(MPEG-2TS), 인터넷 배신에서 사용되고 있는 MP4 등의 다양한 포맷의 컨테이너가 해당한다.
또한, 본 기술은 이하와 같은 구성을 취할 수도 있다.
(1)복수의 뷰 스트림이 다중화된 다중화 스트림을 송신하는 송신부와,
상기 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프를 할당하는 타임 스탬프 할당부를 구비하는
송신 장치.
(2)상기 송신부는 상기 다중화 스트림을 포함하는 소정 포맷의 컨테이너를 송신하고,
상기 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보를 상기 컨테이너의 레이어에 삽입하는 정보 삽입부를 더 구비하는
상기 (1)에 기재된 송신 장치.
(3)상기 컨테이너는 트랜스포트 스트림이며,
상기 정보 삽입부는 상기 할당 정보를 프로그램·맵·테이블의 관리 하에 삽입하는
상기 (2)에 기재된 송신 장치.
(4)상기 할당 정보에는 대응하는 엘리멘터리 스트림이 복수의 뷰 스트림을 갖는지 여부를 나타내는 정보가 포함되어 있는
상기 (3)에 기재된 송신 장치.
(5)상기 다중화 스트림은 복수의 뷰 스트림을 포함하는 엘리멘터리 스트림을 갖는
상기 (1) 내지 (4) 중 어느 하나에 기재된 송신 장치.
(6)각 뷰 스트림의 사이에 뷰간 경계를 나타내는 정보가 배치되는
상기 (5)에 기재된 송신 장치.
(7)상기 복수의 뷰 스트림은 다시점 입체 화상 표시를 위한 복수의 뷰로부터 선택된 소정수의 뷰의 스트림인
상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(8)상기 복수의 뷰 스트림은 스테레오 입체 화상 표시를 위한 2개의 뷰의 스트림인
상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(9)상기 복수의 뷰 스트림에 시차 정보의 스트림이 추가의 뷰 스트림으로서 포함되는
상기 (1) 내지 (8) 중 어느 하나에 기재된 송신 장치.
(10)복수의 뷰 스트림이 다중화된 다중화 스트림을 송신하는 송신 스텝과,
상기 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프를 할당하는 타임 스탬프 할당 스텝을 구비하는
송신 방법.
(11)복수의 뷰 스트림이 다중화된 다중화 스트림을 수신하는 수신부와,
상기 다중화 스트림 내의 상기 복수의 뷰 스트림을 디코드하는 디코드부를 구비하고,
상기 복수의 뷰 스트림에는 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있고,
상기 디코드부는 복수의 뷰 스트림을 상기 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 기초하여 순차 디코드하는
수신 장치.
(12)상기 수신부는 상기 다중화 스트림을 포함하는 소정 포맷의 컨테이너를 수신하고,
상기 컨테이너의 레이어에는 상기 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보가 삽입되어 있고,
상기 디코드부는 상기 할당 정보가 존재할 때, 복수의 뷰 스트림을 상기 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 기초하여 순차 디코드하는
상기 (11)에 기재된 수신 장치.
(13)복수의 뷰 스트림이 다중화된 다중화 스트림을 수신하는 수신 스텝과,
상기 다중화 스트림 내의 상기 복수의 뷰 스트림을 디코드하는 디코드 스텝을 구비하고,
상기 복수의 뷰 스트림에는 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있고,
상기 디코드 스텝에서는 복수의 뷰 스트림을 상기 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 기초하여 순차 디코드하는
수신 방법.
(14)복수의 뷰 스트림이 다중화된 다중화 스트림을 송신하는 송신부와,
상기 복수의 뷰 스트림에 스트림간의 의존 관계를 고려하여 타임 스탬프를 할당하는 타임 스탬프 할당부를 구비하는
송신 장치.
본 기술의 주된 특징은, 동시 표시에 관한 N개의 뷰 스트림을 다중화하여 전송할 때, 각 뷰 스트림에 할당되는 디코드 타임 스탬프에 순차 (1/N)*F(F는 표시 주기)의 고정 오프셋을 부가하도록 한 것으로, 뷰간의 디코드순과 참조 관계를 보증하여 행할 수 있도록 한 것이다(도 3 참조).
10 : 화상 송수신 시스템
100 : 방송국
110, 110A, 110B : 송신 데이터 생성부
111-1 내지 111-N : 화상 데이터 출력부
112 : 뷰 셀렉터
113-1, 113-2, 113-3 : 스케일러
114-1, 114-2, 114-3 : 비디오 인코더
115 : 멀티플렉서
116 : 시차 데이터 생성부
117 : 시차 인코더
118 : 음성 데이터 출력부
119 : 오디오 인코더
120 : 컨테이너 버퍼
200, 200A, 200B : 수신기
213 : 컨테이너 버퍼
214 : 디멀티플렉서
215-1, 215-2, 215-3, 221, 225 : 코디드 버퍼
216-1, 216-2, 216-3 : 비디오 디코더
217-1, 217-2, 217-3 : 디코디드 버퍼
218-1, 218-2, 218-3 : 스케일러
219 : 뷰 보간부
220 : 픽셀 인터리버
222 : 시차 디코더
223 : 시차 버퍼
224 : 시차 데이터 변환부
226 : 오디오 디코더
227 : 채널 믹싱부
228 : 시차 데이터 생성부
229 : 렌더링부

Claims (14)

  1. 송신 장치로서,
    복수의 뷰 스트림이 다중화된 다중화 스트림을 송신하는 송신부와,
    상기 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프(time stamp)를 할당하는 타임 스탬프 할당부를 구비하는, 송신 장치.
  2. 제1항에 있어서,
    상기 송신부는 상기 다중화 스트림을 포함하는 소정 포맷의 컨테이너를 송신하고,
    상기 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보를 상기 컨테이너의 레이어에 삽입하는 정보 삽입부를 더 구비하는, 송신 장치.
  3. 제2항에 있어서,
    상기 컨테이너는 트랜스포트 스트림이며,
    상기 정보 삽입부는 상기 할당 정보를 프로그램·맵·테이블의 관리 하에 삽입하는, 송신 장치.
  4. 제3항에 있어서, 상기 할당 정보에는 대응하는 엘리멘터리 스트림이 복수의 뷰 스트림을 갖는지 여부를 나타내는 정보가 포함되어 있는, 송신 장치.
  5. 제1항에 있어서, 상기 다중화 스트림은 복수의 뷰 스트림을 포함하는 엘리멘터리 스트림을 갖는, 송신 장치.
  6. 제5항에 있어서, 각 뷰 스트림의 사이에 뷰간 경계를 나타내는 정보가 배치되는, 송신 장치.
  7. 제1항에 있어서, 상기 복수의 뷰 스트림은 다시점(多視點) 입체 화상 표시를 위한 복수의 뷰로부터 선택된 소정수의 뷰의 스트림인, 송신 장치.
  8. 제1항에 있어서, 상기 복수의 뷰 스트림은 스테레오 입체 화상 표시를 위한 2개의 뷰의 스트림인, 송신 장치.
  9. 제1항에 있어서, 상기 복수의 뷰 스트림에 시차 정보의 스트림이 추가의 뷰 스트림으로서 포함되는, 송신 장치.
  10. 송신 방법으로서,
    복수의 뷰 스트림이 다중화된 다중화 스트림을 송신하는 송신 스텝과,
    상기 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프를 할당하는 타임 스탬프 할당 스텝을 구비하는, 송신 방법.
  11. 수신 장치로서,
    복수의 뷰 스트림이 다중화된 다중화 스트림을 수신하는 수신부와,
    상기 다중화 스트림 내의 상기 복수의 뷰 스트림을 디코드하는 디코드부를 구비하고,
    상기 복수의 뷰 스트림에는 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있고,
    상기 디코드부는 복수의 뷰 스트림을 상기 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 기초하여 순차 디코드하는, 수신 장치.
  12. 제11항에 있어서,
    상기 수신부는 상기 다중화 스트림을 포함하는 소정 포맷의 컨테이너를 수신하고,
    상기 컨테이너의 레이어에는 상기 복수의 뷰 스트림에 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있는 것을 나타내는 할당 정보가 삽입되어 있고,
    상기 디코드부는 상기 할당 정보가 존재할 때, 복수의 뷰 스트림을 상기 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 기초하여 순차 디코드하는, 수신 장치.
  13. 수신 방법으로서,
    복수의 뷰 스트림이 다중화된 다중화 스트림을 수신하는 수신 스텝과,
    상기 다중화 스트림 내의 상기 복수의 뷰 스트림을 디코드하는 디코드 스텝을 구비하고,
    상기 복수의 뷰 스트림에는 표시 주기를 세분화한 간격으로 디코드 타임 스탬프가 할당되어 있고,
    상기 디코드 스텝에서는 복수의 뷰 스트림을 상기 각 뷰 스트림에 할당되어 있는 디코드 타임 스탬프에 기초하여 순차 디코드하는, 수신 방법.
  14. 송신 장치로서,
    복수의 뷰 스트림이 다중화된 다중화 스트림을 송신하는 송신부와,
    상기 복수의 뷰 스트림에 스트림간의 의존 관계를 고려하여 타임 스탬프를 할당하는 타임 스탬프 할당부를 구비하는, 송신 장치.
KR1020137020175A 2011-12-13 2012-12-07 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR20140109793A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-272821 2011-12-13
JP2011272821A JP2013126048A (ja) 2011-12-13 2011-12-13 送信装置、送信方法、受信装置および受信方法
PCT/JP2012/081745 WO2013089024A1 (ja) 2011-12-13 2012-12-07 送信装置、送信方法、受信装置および受信方法

Publications (1)

Publication Number Publication Date
KR20140109793A true KR20140109793A (ko) 2014-09-16

Family

ID=48612476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137020175A KR20140109793A (ko) 2011-12-13 2012-12-07 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (7)

Country Link
US (1) US20140125762A1 (ko)
EP (1) EP2658267A4 (ko)
JP (1) JP2013126048A (ko)
KR (1) KR20140109793A (ko)
CN (1) CN103348683A (ko)
BR (1) BR112013020027A2 (ko)
WO (1) WO2013089024A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103621075A (zh) * 2012-04-24 2014-03-05 索尼公司 图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法
JP5947269B2 (ja) 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
WO2015064287A1 (ja) * 2013-11-01 2015-05-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9398330B2 (en) * 2014-08-22 2016-07-19 Sony Corporation Information processing device, information recording medium, information processing method, and program
CN109691113B (zh) * 2016-07-15 2022-02-08 皇家Kpn公司 流式传输虚拟现实视频
WO2018083211A1 (en) 2016-11-04 2018-05-11 Koninklijke Kpn N.V. Streaming virtual reality video
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6157674A (en) * 1996-03-21 2000-12-05 Sony Corporation Audio and video data transmitting apparatus, system, and method thereof
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US8072487B2 (en) * 2007-04-25 2011-12-06 Fujifilm Corporation Picture processing apparatus, picture recording apparatus, method and program thereof
CN102510465A (zh) * 2008-09-17 2012-06-20 松下电器产业株式会社 记录媒体、再现装置和集成电路
CN101911713B (zh) * 2008-09-30 2014-01-08 松下电器产业株式会社 再现装置、集成电路、再现方法、记录方法、记录介质再现系统
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
JP5407968B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
KR101372376B1 (ko) * 2009-07-07 2014-03-14 경희대학교 산학협력단 디지털 방송 시스템의 스테레오스코픽 비디오 수신 방법
JP5577823B2 (ja) * 2010-04-27 2014-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN103202021B (zh) * 2011-09-13 2017-06-13 松下知识产权经营株式会社 编码装置、解码装置、再现装置、编码方法及解码方法

Also Published As

Publication number Publication date
EP2658267A1 (en) 2013-10-30
JP2013126048A (ja) 2013-06-24
BR112013020027A2 (pt) 2016-10-18
CN103348683A (zh) 2013-10-09
EP2658267A4 (en) 2014-12-10
WO2013089024A1 (ja) 2013-06-20
US20140125762A1 (en) 2014-05-08

Similar Documents

Publication Publication Date Title
KR100488804B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
US9055280B2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
EP2353299B1 (en) Apparatus and method for synchronizing stereoscopic image, and apparatus and method for providing stereoscopic image based on the same
JP5575949B2 (ja) 放送データ送信方法およびその装置
KR20140109793A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6192902B2 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
EP1739979A2 (en) Method and apparatus for encoding/decoding video data to implement local three-dimensional video
EP2574064A1 (en) Image data transmitting device, image data transmitting method and image data receiving device
MX2012008816A (es) Metodo y aparato para generar flujo de datos para proporcionar servicio multimedia tridimensional, y metodo y aparato para recibir el flujo de datos.
JP2015136141A (ja) ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置
KR20120013974A (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US8953019B2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
CN101690200A (zh) 用于在数字多媒体广播系统中提供高质量多媒体服务的方法和设备
JP7200329B2 (ja) 送信方法、受信方法、送信装置及び受信装置
EP2725804A1 (en) Image data transmission device, image data transmission method, image data reception device, and image data reception method
US9270972B2 (en) Method for 3DTV multiplexing and apparatus thereof
KR100874226B1 (ko) 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법
KR20140000128A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
KR102009049B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US9723259B2 (en) Apparatus and method for adding synchronization information to an auxiliary data space in a video signal and synchronizing a video
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP5928118B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR101591703B1 (ko) 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치
JP2024052907A (ja) 送信方法、受信方法、送信装置及び受信装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid