KR20140095011A - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR20140095011A
KR20140095011A KR1020137016903A KR20137016903A KR20140095011A KR 20140095011 A KR20140095011 A KR 20140095011A KR 1020137016903 A KR1020137016903 A KR 1020137016903A KR 20137016903 A KR20137016903 A KR 20137016903A KR 20140095011 A KR20140095011 A KR 20140095011A
Authority
KR
South Korea
Prior art keywords
view
data
image data
video stream
views
Prior art date
Application number
KR1020137016903A
Other languages
English (en)
Other versions
KR102009049B1 (ko
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140095011A publication Critical patent/KR20140095011A/ko
Application granted granted Critical
Publication of KR102009049B1 publication Critical patent/KR102009049B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

멀티 뷰 구성에 의한 입체 화상의 육안 관상을 행하기 위한 화상 데이터의 효과적인 전송(전송 대역의 억제, 재생 화상 품질의 향상)을 가능하게 한다. 입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰, 예를 들어 중앙의 뷰의 화상 데이터를 취득한다. 각 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신한다. 예를 들어, 비디오 스트림의 레이어에 이 비디오 스트림 내의 화상 데이터에 관한 뷰 구성 정보를 삽입한다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법{TRANSMITTING APPARATUS, TRANSMITTING METHOD, RECEIVING APPARATUS AND RECEIVING METHOD}
본 기술은 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것으로, 특히, 수신측에서 입체 화상(3차원 화상)의 육안 관상을 양호하게 행하기 위한 송신 장치 등에 관한 것이다.
종래, 3차원 화상(입체 화상)을 표시하는 시스템으로서 여러가지 것이 알려져 있다. 예를 들어, 특허문헌 1에 기재되어 있는 바와 같이, 시차를 갖는 좌안 화상 및 우안 화상을 소정 주기로 교대로 디스플레이에 표시하고, 이들 좌안 화상 및 우안 화상을, 그 표시에 동기해서 구동되는 액정 셔터를 구비하는 셔터 안경으로 관찰하는 방법이 알려져 있다.
일본 특허 공개 평9-138384호 공보
3차원 화상(입체 화상)의 육안 관상을 가능하게 하는 방식으로 N개의 뷰(view)를 갖는 멀티 뷰 구성에 의한 방법을 생각할 수 있다. 그 경우, 모든 뷰의 화상 데이터를 전송하면, 전송 대역이 증대될 우려가 있다. 따라서, 모든 뷰의 화상 데이터를 전송하는 대신에 1개의 뷰 이상, 예를 들어 2개의 뷰의 화상 데이터를 전송하고, 수신측에서 전송된 뷰 이외의 뷰의 화상 데이터를 보간 처리로 생성하는 것도 생각할 수 있다.
도 31은 그 경우에 있어서의 화상 송수신 시스템(50)의 구성예를 도시하고 있다. 송신측에 있어서는, N개의 카메라(51-1 내지 51-N)로 촬상되어서 얻어진 N개의 뷰(View 1… View N)의 화상 데이터로부터 뷰 셀렉터(52)로, 예를 들어 2개의 뷰의 화상 데이터가 선택된다. 그리고, 이 2개의 뷰의 화상 데이터를 인코더(53)에 의해 부호화해서 얻어지는, 예를 들어 2개의 비디오 스트림(1st video, 2nd video)이 수신측을 향해서 송신된다.
또한, 수신측에 있어서, 송신측으로부터 보내져 오는 2개의 비디오 스트림이 디코더(54)에 의해 디코드되어 2개의 뷰의 화상 데이터가 얻어진다. 그리고, 이 2개의 뷰의 화상 데이터에 기초하여 보간 처리부(55)에서 보간 처리가 행해져서 전송되지 않은 그 밖의 뷰의 화상 데이터가 생성되고, 결과적으로 N개의 뷰(View 1… View N)의 화상 데이터가 얻어진다. 이에 의해, 수신측에서는 N개의 뷰의 화상 데이터에 의한 3차원 화상(입체 화상)의 육안 관상이 가능해진다.
예를 들어, 2개의 뷰의 화상 데이터를 전송하는 방법으로서, (1) N개의 뷰 중 양단의 2개의 뷰의 화상 데이터를 전송하는 방법, (2) N개의 뷰 중 내측의 2개의 뷰의 화상 데이터를 전송하는 방법의 2가지를 생각할 수 있다.
(1)의 전송 방법에 대해서는, 멀티 뷰의 뷰 수가 증가하면, 전송되는 양단의 2개의 뷰간의 상대 시차가 커진다. 그로 인해, 전송되지 않는 뷰의 화상 데이터를 보간할 때의 세심한 부분의 처리에 수반되는 오클루젼(occlusion) 주변의 보간이 곤란해져서 재생 화상의 품질이 문제가 되는 경우가 있다.
도 32는 이 전송 방법에 있어서 뷰 수를 5로 한 경우의 수신측의 표시부를 개략적으로 도시하고 있다. 여기서, 「View_0」은 중앙의 뷰, 「View_1」은 중앙으로부터 1개 우측의 뷰, 「View_2」는 중앙으로부터 1개 좌측의 뷰, 「View_3」은 중앙으로부터 2개 우측, 즉 우측 단부의 뷰, 「View_4」는 중앙으로부터 2개 좌측, 즉 좌측 단부의 뷰를 나타내고 있다. 이 경우, 송신측으로부터 「View_3」, 「View_4」의 뷰의 화상 데이터만이 송신되고, 수신측에서는 「View_3」, 「View_4」의 뷰의 화상 데이터가 수신되고, 그 밖의 「View_0」, 「View_1」, 「View_2」의 뷰의 화상 데이터는 보간 처리로 구해진다. 그리고, 수신측에서는 3차원 화상(입체 화상)의 육안 관상을 위해서 이들 5개의 뷰의 화상이 표시부에 합성 표시된다. 또한, 도 32에는 렌티큘러 렌즈를 도시하고 있지만, 이 대신에 패럴랙스 배리어 등이어도 된다. 이것은 이하의 도 33에 있어서도 마찬가지이다.
(2)의 전송 방법에 대해서는, 소위 종래의 스테레오 뷰(stereo view)의 화상 데이터를 전송하고, 전송되지 않는 뷰의 화상 데이터를 수신측에서 보간하게 된다. 그 때, 스테레오 뷰를 구성하는 2개의 뷰의 내측의 뷰의 화상 데이터의 보간은 내삽(內揷) 처리에 의해 합성할 수 있다. 그러나, 스테레오 뷰의 외측의 뷰의 화상 데이터의 보간은 외삽(外揷) 처리에 의해 합성하게 된다. 외삽 처리에 의한 합성은 오클루젼(occlusion) 등의 단부점 처리에 대해서 고화질을 유지하는 것이 곤란해서 화질 열화의 요인이 된다.
도 33은 이 전송 방법에 있어서 뷰 수를 5로 한 경우의 수신측의 표시부를 개략적으로 도시하고 있다. 여기서, 「View_0」은 중앙의 뷰, 「View_1」은 중앙으로부터 1개 우측의 뷰, 「View_2」는 중앙으로부터 1개 좌측의 뷰, 「View_3」은 중앙으로부터 2개 우측, 즉 우측 단부의 뷰, 「View_4」는 중앙으로부터 2개 좌측, 즉 좌측 단부의 뷰를 나타내고 있다. 이 경우, 송신측으로부터 「View_1」, 「View_2」의 뷰의 화상 데이터만이 송신되고, 수신측에서는 「View_1」, 「View_2」의 뷰의 화상 데이터가 수신되고, 그 밖의 「View_0」, 「View_3」, 「View_4」의 뷰의 화상 데이터는 보간 처리로 구해진다. 그리고, 수신측에서는 3차원 화상(입체 화상)의 육안 관상을 위해서 이들 5개의 뷰의 화상이 표시부에 합성 표시된다.
본 기술의 목적은 멀티 뷰 구성에 의한 입체 화상의 육안 관상을 행하기 위한 화상 데이터 전송을 효과적으로 행하는 데 있다.
본 기술의 개념은,
입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 상기 좌측 단부와 상기 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터를 취득하는 화상 데이터 취득부와,
취득된 상기 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는 송신 장치에 있다.
본 기술에 있어서, 화상 데이터 취득부에 의해, 입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰, 예를 들어 중앙의 뷰의 화상 데이터가 취득된다. 이 경우의 화상 데이터는, 예를 들어 카메라로 촬상되어서 얻어진 것, 또는 기억 매체로부터 판독되어서 얻어진 것 등이다.
화상 데이터 송신부에 의해, 취득된 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너가 송신된다. 예를 들어, 컨테이너는 디지털 방송 규격에서 채용되고 있는 트랜스포트 스트림(MPEG-2TS)이어도 된다. 또한, 예를 들어, 컨테이너는 인터넷의 배신(配信) 등에서 사용되는 MP4, 또는 그 이외의 포맷의 컨테이너이어도 된다.
예를 들어, 컨테이너가 포함하는 비디오 스트림에 있어서, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터는 각각 1개의 픽처의 데이터로서 부호화되어 있어도 된다. 또한, 예를 들어 컨테이너가 포함하는 비디오 스트림에 있어서, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터는 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있어도 된다.
또한, 예를 들어 컨테이너가 포함하는 비디오 스트림은, 1개 또는 복수의 픽처의 데이터를 포함하도록 되어도 된다. 이 경우, 예를 들어 컨테이너가 포함하는 비디오 스트림이 복수의 픽처의 부호화 데이터를 포함할 때, 각 픽처의 부호화 데이터 사이에 경계를 나타내는 정보가 배치되어 있어도 된다. 이와 같이 경계를 나타내는 정보가 배치됨으로써 각 픽처의 선두 데이터에 순간적으로 액세스하는 것이 가능해진다.
이와 같이 본 기술에 있어서는, 입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터가 송신된다. 그로 인해, 멀티 뷰 구성에 의한 입체 화상의 육안 관상을 행하기 위한 화상 데이터 전송을 효과적으로 행할 수 있다.
즉, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터뿐만 아니라 중간의 뷰의 화상 데이터도 송신되므로, 뷰간의 상대 시차가 작고, 그 밖의 뷰의 화상 데이터를 보간할 때의 세심한 부분의 처리에 수반되는 오클루젼 주변의 보간이 용이해져서 재생 화상의 품질 향상을 도모할 수 있다. 또한, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 송신되므로, 전송되지 않는 뷰의 화상 데이터의 보간은 모두 내삽 처리에 의해 합성할 수 있고, 오클루젼 등의 단부점 처리에 대해서 고화질을 유지하는 것이 용이해진다.
또한, 본 기술에 있어서, 예를 들어 비디오 스트림의 레이어에, 이 비디오 스트림 내의 화상 데이터에 관한 뷰 구성 정보를 삽입하는 뷰 구성 정보 삽입부를 더 구비하도록 되어도 된다. 이 뷰 구성 정보에 의해, 수신측에서는 복수의 뷰의 화상 데이터에 의한 3차원 화상(입체 화상)의 육안 관상을 행하기 위한 적절하고도 효율적인 처리가 가능해진다.
이 경우, 예를 들어 컨테이너의 레이어에, 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 식별하기 위한 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하도록 되어도 된다. 이 식별 정보에 의해, 수신측에서는 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부가 용이하게 식별 가능해진다.
예를 들어, 컨테이너가 포함하는 비디오 스트림에 있어서, 소정의 뷰의 화상 데이터가 1개의 픽처의 데이터로서 부호화되어 있을 때, 이 비디오 스트림의 레이어에 삽입되는 뷰 구성 정보에는 소정의 뷰의 위치를 나타내는 정보가 포함되어 있어도 된다.
또한, 예를 들어 컨테이너가 포함하는 비디오 스트림에 있어서, 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있을 때, 이 비디오 스트림의 레이어에 삽입되는 뷰 구성 정보에는 이 2개의 뷰의 위치를 나타내는 정보가 포함되어 있어도 된다. 이 경우, 예를 들어 뷰 구성 정보에는 2개의 뷰의 화상 데이터에 대하여 행해지는 인터리브의 타입을 나타내는 정보가 더 포함되어 있어도 된다.
또한, 예를 들어 비디오 스트림의 레이어에 삽입되는 뷰 구성 정보에는, 이 비디오 스트림의 1액세스 유닛 내에 복수의 픽처의 데이터가 부호화되어 있는지 여부를 나타내는 정보가 포함되어 있어도 된다. 또한, 예를 들어 비디오 스트림의 레이어에 삽입되는 뷰 구성 정보에는 화상 표시에 필수적인 뷰의 화상 데이터가 부호화되어 있는 비디오 스트림인지 여부를 나타내는 정보가 포함되어 있어도 된다. 또한, 예를 들어 비디오 스트림의 레이어에 삽입되는 뷰 구성 정보에는 수평 및/또는 수직의 소정의 해상도에 대한 화소 비율 정보가 포함되어 있어도 된다.
또한, 본 기술에 있어서, 예를 들어 각 뷰 사이의 시차 데이터를 취득하는 시차 데이터 취득부를 더 구비하고, 화상 데이터 송신부는 취득된 화상 데이터가 부호화되어서 얻어진 비디오 스트림의 이외에, 취득된 시차 데이터가 부호화되어서 얻어진 시차 스트림을 포함하는 소정 포맷의 컨테이너를 송신하도록 되어도 된다. 이 경우, 수신측에서는 수신된 각 뷰의 화상 데이터로부터 시차 데이터를 생성하는 처리를 행하지 않고, 보내져 오는 시차 데이터에 기초하여 전송되지 않는 각 뷰의 화상 데이터를 용이하게 보간 합성하는 것이 가능해진다.
또한, 본 기술의 다른 개념은,
입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 상기 좌측 단부와 상기 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부와,
상기 컨테이너에 포함되는 비디오 스트림을 디코드하여 상기 각 뷰의 화상 데이터를 얻는 화상 데이터 취득부와,
상기 각 뷰의 시차 데이터에 기초하여 상기 각 뷰 사이에 위치하는 소정수의 뷰의 화상 데이터를 보간 처리로 취득하는 보간 처리부를 구비하는 수신 장치에 있다.
본 기술에 있어서, 화상 데이터 수신부에 의해, 입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 스트림이 수신된다. 화상 데이터 취득부에 의해, 스트림에 포함되는 비디오 스트림이 디코드되어서 각 뷰의 화상 데이터가 얻어진다. 그리고, 보간 처리부에 의해, 각 뷰 사이의 시차 데이터에 기초하여 각 뷰 사이에 위치하는 소정수의 뷰의 화상 데이터가 보간 처리로 취득된다.
예를 들어, 컨테이너는, 시차 데이터가 부호화되어서 얻어진 시차 스트림을 포함하여, 컨테이너에 포함되는 시차 스트림을 디코드해서 시차 데이터를 얻는 시차 데이터 취득부를 더 구비하도록 되어도 된다. 또한, 예를 들어 화상 데이터 취득부에서 얻어진 각 뷰의 화상 데이터에 기초하여 시차 데이터를 생성하는 시차 데이터 생성부를 더 구비하도록 되어도 된다.
이와 같이 본 기술에 있어서는, 입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터가 수신되고, 그 밖의 뷰는 시차 데이터에 기초하여 보간 처리로 얻는 것이다. 그로 인해, 멀티 뷰 구성에 의한 입체 화상의 육안 관상을 양호하게 행할 수 있다.
즉, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터뿐만 아니라 그들 뷰의 중간의 뷰의 화상 데이터도 수신되므로, 뷰간의 상대 시차가 작고, 전송되지 않는 뷰의 화상 데이터를 보간할 때의 세심한 부분의 처리에 수반되는 오클루젼 주변의 보간이 용이해져서 재생 화상의 품질 향상을 도모할 수 있다. 또한, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 수신되므로, 전송되지 않는 뷰의 화상 데이터의 보간은 모두 내삽 처리에 의해 합성할 수 있고, 오클루젼 등의 단부점 처리에 대해서 고화질을 유지하는 것이 용이해진다.
본 기술에 의하면, 멀티 뷰 구성에 의한 입체 화상의 육안 관상을 행하기 위한 화상 데이터 전송을 효과적으로 행할 수 있다.
도 1은 실시 형태로서의 화상 송수신 시스템의 구성예를 도시하는 블록도이다.
도 2는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터가 각각 1개의 픽처의 데이터로서 부호화되는 예를 설명하기 위한 도면이다.
도 3은 중앙의 뷰의 화상 데이터는 1개의 픽처의 데이터로서 부호화되고, 좌측 단부 및 우측 단부의 2개의 뷰의 화상 데이터는 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되는 예를 설명하기 위한 도면이다.
도 4는 복수의 픽처의 부호화 데이터를 포함하는 비디오 스트림의 일례를 도시하는 도면이다.
도 5는 3개의 픽처의 부호화 데이터가 1개의 비디오 스트림에 공존하는 경우의 예를 도시하는 도면이다.
도 6은 N개의 뷰 중 좌측 단부 및 우측 단부의 뷰와, 그들 사이에 위치하는 중앙의 뷰의 화상 데이터를 전송하는 방법에 있어서, 뷰 수를 5로 한 경우의 수신기의 표시부를 개략적으로 도시하는 도면이다.
도 7은 트랜스포트 스트림을 생성하는 송신 데이터 생성부의 구성예를 도시하는 블록도다.
도 8은 송신 데이터 생성부 내의 뷰 셀렉터에 있어서의 뷰 선택 상태를 도시하는 도면이다.
도 9는 블록(Block)마다의 시차 데이터(시차 벡터)의 일례를 도시하는 도면이다.
도 10은 블록 단위의 시차 데이터의 생성 방법의 일례를 설명하기 위한 도면이다.
도 11은 블록 단위에서 화소 단위로의 변환 처리에 의해 화소 단위의 시차 데이터를 생성하는 방법을 설명하기 위한 도면이다.
도 12는 식별 정보로서의 멀티 뷰 스트림 컨피규레이션 디스크립터의 구조예를 도시하는 도면이다.
도 13은 멀티 뷰 스트림 컨피규레이션 디스크립터의 구조예에 있어서의 주요한 정보의 내용을 도시하는 도면이다.
도 14는 뷰 구성 정보로서의 멀티 뷰 스트림 컨피규레이션 인포의 구조예를 도시하는 도면이다.
도 15는 멀티 뷰 스트림 컨피규레이션 인포의 구조예에 있어서의 주요한 정보의 내용을 도시하는 도면이다.
도 16은 멀티 뷰 스트림 컨피규레이션 인포의 구조예에 있어서의 주요한 정보의 내용을 도시하는 도면이다.
도 17은 멀티 뷰 스트림 컨피규레이션 인포의 구조예에 있어서의 주요한 정보의 내용을 도시하는 도면이다.
도 18은 「view_count」가 나타내는 뷰 수와, 「view_pair_position_id」가 나타내는 2개의 뷰의 위치의 관계의 일례를 도시하는 도면이다.
도 19는 양단의 2개의 뷰 페어의 화상 데이터와 함께, 양단보다도 내측의 2개의 뷰 페어의 화상 데이터를 송신하는 경우에 있어서, 송신측 또는 수신측에 있어서의 시차 데이터의 생성예를 설명하기 위한 도면이다.
도 20은 시차 데이터에 기초하여 수신측에서 각 뷰 사이에 위치하는 뷰의 화상 데이터를 보간 합성하는 예를 설명하기 위한 도면이다.
도 21은 멀티 뷰 스트림 컨피규레이션 인포가 액세스 유닛의 "SELs"의 부분에 「Multiview stream configuration SEI message」로서 삽입되는 것을 설명하기 위한 도면이다.
도 22는 「Multiview stream configuration SEI message」 및 「userdata_for_multiview_stream_configuration()」의 구조예를 도시하는 도면이다.
도 23은 「user_data()」의 구조예를 도시하는 도면이다.
도 24는 트랜스포트 스트림(TS)에 3개의 비디오 스트림이 포함되는 경우의 구성예를 도시하는 도면이다.
도 25는 트랜스포트 스트림(TS)에 2개의 비디오 스트림이 포함되는 경우의 구성예를 도시하는 도면이다.
도 26은 트랜스포트 스트림(TS)에 1개의 비디오 스트림이 포함되는 경우의 구성예를 도시하는 도면이다.
도 27은 화상 송수신 시스템을 구성하는 수신기의 구성예를 도시하는 블록도이다.
도 28은 스케일링비의 산출예를 도시하는 도면이다.
도 29는 뷰 보간부에 있어서의 보간 합성 처리의 일례를 개략적으로 도시하는 도면이다.
도 30은 화상 송수신 시스템을 구성하는 수신기의 다른 구성예를 도시하는 블록도이다.
도 31은 3차원 화상(입체 화상)의 육안 관상을 가능하게 하는 화상 송수신 시스템의 구성예를 도시하는 도면이다.
도 32는 N개의 뷰 중 양단의 2개의 뷰의 화상 데이터를 전송하는 방법에 있어서, 뷰 수를 5로 한 경우의 수신측의 표시부를 개략적으로 도시하는 도면이다.
도 33은 N개의 뷰 중 내측의 2개의 뷰의 화상 데이터를 전송하는 방법에 있어서, 뷰 수를 5로 한 경우의 수신측의 표시부를 개략적으로 도시하는 도면이다.
이하, 발명을 실시하기 위한 구체적인 내용(이하, 「실시 형태」라고 함)에 대해서 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[화상 송수신 시스템]
도 1은 실시 형태로서의 화상 송수신 시스템(10)의 구성예를 도시하고 있다. 이 화상 송수신 시스템(10)은 방송국(100) 및 수신기(200)에 의해 구성되어 있다. 방송국(100)은 컨테이너로서의 트랜스포트 스트림(TS)을 방송파에 실어서 송신한다.
이 트랜스포트 스트림(TS)에는, 입체 화상 표시를 위한 복수의 뷰 중 적어도 중앙의 뷰, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림이 포함된다. 이 경우, 중앙의 뷰는 좌측 단부 뷰 및 우측 단부 뷰 사이에 위치하는 중간 뷰를 구성하고 있다.
트랜스포트 스트림(TS)이 포함하는 비디오 스트림에 있어서, 도 2에 도시한 바와 같이, 중앙(Center)의 뷰, 좌측 단부(Left)의 뷰 및 우측 단부(Right)의 뷰의 화상 데이터는 각각 1개의 픽처의 데이터로서 부호화된다. 도시한 예에서는, 각 픽처의 데이터는 1920*1080의 풀HD의 크기가 된다.
또는, 트랜스포트 스트림(TS)이 포함하는 비디오 스트림에 있어서, 도 3의 (a)에 도시한 바와 같이, 중앙(Center)의 뷰의 화상 데이터는 1개의 픽처의 데이터로서 부호화되고, 좌측 단부(Left)의 뷰 및 우측 단부(Right)의 뷰의 화상 데이터는 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화된다. 도시한 예에서는, 각 픽처의 데이터는 1920*1080의 풀HD의 크기가 된다.
또한, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되는 경우, 각 뷰의 화상 데이터는 수평 방향 또는 수직 방향으로 1/2로 씨닝된 상태가 된다. 도시한 예에서는, 인터리브의 타입이 사이드 바이 사이드이며, 각 뷰의 크기는 960*1080이 된다. 도시하고 있지는 않지만, 인터리브의 타입으로서 톱 앤드 보텀도 생각할 수 있고, 그 경우에는 각 뷰의 크기는 1920*540이 된다.
이와 같이 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되는 경우, 수신측에 있어서는, 도 3의 (b)에 도시한 바와 같이, 스케일링 처리되고, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터의 크기는 1920*1080의 풀HD의 크기로 복귀된다.
트랜스포트 스트림(TS)이 포함하는 비디오 스트림은 1개 또는 복수의 픽처의 데이터를 포함하는 것이 된다. 예를 들어, 트랜스포트 스트림(TS)에는 이하의 3개의 비디오 스트림(비디오 엘리멘터리 스트림)이 포함된다. 즉, 중앙의 뷰, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 각각 1개의 픽처로서 부호화되어서 얻어진 비디오 스트림이다.
또한, 예를 들어 트랜스포트 스트림(TS)에는 이하의 2개의 비디오 스트림(비디오 엘리멘터리 스트림)이 포함된다. 즉, 중앙의 뷰의 화상 데이터가 1개의 픽처로서 부호화되어서 얻어진 비디오 스트림과, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처로서 부호화되어서 얻어진 비디오 스트림이다.
또한, 예를 들어 트랜스포트 스트림(TS)에는 이하의 1개의 비디오 스트림(비디오 엘리멘터리 스트림)이 포함된다. 즉, 이 1개의 비디오 스트림에는 중앙의 뷰, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 각각 1개의 픽처의 데이터로서 부호화된 데이터가 포함된다.
도 4의 (a), (b)는 복수의 픽처의 부호화 데이터를 포함하는 비디오 스트림의 일례를 도시하고 있다. 각 액세스 유닛에 각 픽처의 부호화 데이터가 순차 배치된다. 이 경우, 최초의 픽처의 부호화 데이터는 "SPS 내지 Coded Slice"로 구성되고, 2번째 이후의 픽처의 부호화 데이터는 "Subset SPS 내지 Coded Slice"로 구성된다. 또한, 이 예는 MPEG4-AVC의 부호화가 되어 있는 예이지만, 다른 부호화 방식에서도 적용 가능하다. 또한, 도면 중의 16진 숫자는 「NAL unit type」을 나타내고 있다.
각 픽처의 부호화 데이터가 1개의 비디오 스트림에 공존하는 경우, 각 픽처의 경계가 순간적으로 식별 가능한 것이 요구된다. 그러나, AUD(access unit delimiter)는 하나의 액세스 유닛의 선두에만 붙이는 것이 가능하다. 따라서, 도 4의 (b)에 도시한 바와 같이, 각 픽처의 부호화 데이터 사이에 「View Separation Marker」라고 하는 경계를 나타내는 새로운 "NAL unit"을 정의해서 배치하는 것을 생각할 수 있다. 이에 의해, 각 픽처의 선두 데이터에 순간적으로 액세스하는 것이 가능해진다. 또한, 도 4의 (a)는 2개의 뷰의 데이터 사이에 「View Separation Marker」가 배치되어 있지 않은 예를 도시하고 있다.
도 5의 (a), (b)는 3개의 픽처의 부호화 데이터가 1개의 비디오 스트림에 공존하는 경우의 예를 도시하고 있다. 여기에서는 각 픽처의 부호화 데이터를 서브 스트림(sub stream)으로서 나타내고 있다. 도 5의 (a)는 GOP(Group Of Pictures)의 선두의 액세스 유닛을 도시하고 있고, 도 5의 (b)는 GOP의 선두 이외의 액세스 유닛을 도시하고 있다.
비디오 스트림의 레이어(픽처 레이어, 시퀀스 레이어 등)에, 이 비디오 스트림 내의 화상 데이터에 관한 뷰 구성 정보가 삽입된다. 이 뷰 구성 정보에는, 당해 비디오 스트림에 포함되는 화상 데이터가 어느 뷰의 화상 데이터인지를 나타내는 정보, 당해 비디오 스트림의 1액세스 유닛 내에 복수의 픽처의 데이터가 부호화되어 있는지를 나타내는 정보 등이 포함되어 있다. 이 뷰 구성 정보는, 예를 들어 비디오 스트림의 픽처 헤더 또는 시퀀스 헤더의 유저 데이터 영역 등에 삽입된다. 이 뷰 구성 정보에 의해, 수신측에서는 복수의 뷰의 화상 데이터에 의한 3차원 화상(입체 화상)의 육안 관상을 행하기 위한 적절하고도 효율적인 처리가 가능해진다. 이 뷰 구성 정보의 상세에 대해서는 후술한다.
또한, 트랜스포트 스트림(TS)의 레이어에, 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 식별하기 위한 식별 정보가 삽입된다. 이 식별 정보는, 예를 들어 트랜스포트 스트림(TS)에 포함되는 프로그램 맵 테이블(PMT: Program Map Table)의 비디오 엘리멘터리 루프(Video ESloop)의 배하(配下), 또는 이벤트 인포메이션 테이블(EIT: Event Information Table)의 배하 등에 삽입된다. 이 식별 정보에 의해, 수신측에서는 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 용이하게 식별 가능해진다. 이 식별 정보의 상세에 대해서는 후술한다.
수신기(200)는 방송국(100)으로부터 방송파에 실어서 보내져 오는 트랜스포트 스트림(TS)을 수신한다. 또한, 수신기(200)는 이 트랜스포트 스트림(TS)에 포함되는 비디오 스트림을 디코드해서, 예를 들어 중앙의 뷰, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터를 취득한다. 이 때, 수신기(200)는 비디오 스트림의 레이어에 포함되는 뷰 구성 정보에 의해, 각 비디오 스트림에 포함되는 화상 데이터가 어느 뷰 위치의 화상 데이터인지를 알 수 있다.
또한, 수신기(200)는 중앙의 뷰 및 좌측 단부 뷰 사이의 시차 데이터와 중앙의 뷰 및 우측 단부 뷰 사이의 시차 데이터에 기초하여, 중앙의 뷰 및 좌측 단부 뷰 사이와 중앙의 뷰 및 우측 단부 뷰 사이에 위치하는 소정수의 뷰의 화상 데이터를 보간 처리로 취득한다. 이 때, 수신기(200)는 비디오 스트림의 레이어에 포함되는 뷰 구성 정보에 의해 뷰 수를 알 수 있으며, 어느 위치의 뷰가 전송되지 않았는지를 용이하게 파악할 수 있다.
수신기(200)는 방송국(100)으로부터 비디오 스트림과 함께 보내져 오는 시차 데이터 스트림을 디코드하여 상술한 시차 데이터를 취득한다. 또는, 수신기(200)는 취득된 중앙의 뷰, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터에 기초하여 상술한 시차 데이터를 생성한다.
수신기(200)는 방송국(100)으로부터 보내져 오는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터와, 상술한 보간 처리로 취득되는 각 뷰의 화상 데이터에 기초하여, 3차원 화상(입체 화상)의 육안 관상을 위해서 각 뷰의 화상을 표시부에 합성 표시한다.
도 6은 뷰 수를 5로 한 경우의 수신기(200)의 표시부를 개략적으로 도시하고 있다. 여기서, 「View_0」은 중앙의 뷰, 「View_1」은 중앙으로부터 1개 우측의 뷰, 「View_2」는 중앙으로부터 1개 좌측의 뷰, 「View_3」은 중앙으로부터 2개 우측, 즉 우측 단부의 뷰, 「View_4」는 중앙으로부터 2개 좌측, 즉 좌측 단부의 뷰를 나타내고 있다. 이 경우, 방송국(100)으로부터 「View_0」, 「View_3」, 「View_4」의 뷰의 화상 데이터만이 송신되고, 수신기(200)에서는 「View_0」, 「View_3」, 「View_4」의 뷰의 화상 데이터가 수신되고, 그 밖의 「View_1」, 「View_2」의 뷰의 화상 데이터는 보간 처리로 구해진다. 그리고, 수신기(200)에서는 3차원 화상(입체 화상)의 육안 관상을 위해서 이들 5개의 뷰의 화상이 표시부에 합성 표시된다. 또한, 도 6에는 렌티큘러 렌즈를 도시하고 있지만, 이 대신에 패럴랙스 배리어 등이어도 된다.
「송신 데이터 생성부의 구성예」
도 7은 방송국(100)에 있어서 상술한 트랜스포트 스트림(TS)을 생성하는 송신 데이터 생성부(110)의 구성예를 도시하고 있다. 이 송신 데이터 생성부(110)는 N개의 화상 데이터 출력부(111-1 내지 111-N)와, 뷰 셀렉터(112)와, 스케일러(113-1, 113-2, 113-3)와, 비디오 인코더(114-1, 114-2, 114-3)와, 멀티플렉서(115)를 갖고 있다. 또한, 이 송신 데이터 생성부(110)는 시차 데이터 생성부(116)와, 시차 인코더(117)와, 그래픽스 데이터 출력부(118)와, 그래픽스 인코더(119)와, 음성 데이터 출력부(120)와, 오디오 인코더(121)를 갖고 있다.
화상 데이터 출력부(111-1 내지 111-N)는 입체 화상 표시를 위한 N개의 뷰(View 1… View N)의 화상 데이터를 출력한다. 이 화상 데이터 출력부는, 예를 들어 피사체를 촬상해서 화상 데이터를 출력하는 카메라, 또는 기억 매체로부터 화상 데이터를 판독해서 출력하는 화상 데이터 판독부 등에 의해 구성된다. 또한, 전송되지 않는 뷰의 화상 데이터는 실제로는 없어도 된다.
또한, 뷰 셀렉터(112)는 N개의 뷰(View 1… View N)의 화상 데이터로부터 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰(1개 또는 2개 이상)의 화상 데이터를 선택적으로 취출한다. 이 실시 형태에 있어서, 뷰 셀렉터(112)는 좌측 단부의 뷰의 화상 데이터(VL) 및 우측 단부의 뷰의 화상 데이터(VR)를 취출함과 함께, 중앙의 뷰의 화상 데이터(VC)를 취출한다. 도 8은 뷰 셀렉터(112)에 있어서의 뷰 선택 상태를 도시하고 있다.
또한, 스케일러(113-1, 113-2, 113-3)는 각각 화상 데이터(VC, VL, VR)에 대하여 스케일링 처리를 실시해서, 예를 들어 1920*1080의 풀HD의 크기의 화상 데이터(VC′, VL′, VR′)를 얻는다. 이 경우, 화상 데이터(VC, VL, VR)가 1920*1080의 풀HD의 크기일 때는 그대로 출력한다. 또한, 화상 데이터(VC, VL, VR)가 1920*1080의 크기보다 클 때는 스케일다운해서 출력한다.
비디오 인코더(114-1)는 중앙의 뷰의 화상 데이터(VC′)에 대하여, 예를 들어 MPEG4-AVC(MVC), MPEG2video 등의 부호화를 실시하여 부호화 비디오 데이터를 얻는다. 그리고, 이 비디오 인코더(114-1)는, 후단에 구비하는 스트림 포매터(도시하지 않음)에 의해, 이 부호화 데이터를 서브 스트림(sub stream 1)으로서 포함하는 비디오 스트림을 생성한다.
또한, 비디오 인코더(114-2)는 좌측 단부의 뷰의 화상 데이터(VL′)에 대하여, 예를 들어 MPEG4-AVC(MVC), MPEG2video 등의 부호화를 실시하여 부호화 비디오 데이터를 얻는다. 그리고, 이 비디오 인코더(114-2)는, 후단에 구비하는 스트림 포매터(도시하지 않음)에 의해, 이 부호화 데이터를 서브 스트림(sub stream 2)으로서 포함하는 비디오 스트림을 생성한다.
또한, 비디오 인코더(114-3)는 우측 단부의 뷰의 화상 데이터(VR′)에 대하여, 예를 들어 MPEG4-AVC(MVC), MPEG2video 등의 부호화를 실시하여 부호화 비디오 데이터를 얻는다. 그리고, 이 비디오 인코더(114-3)는, 후단에 구비하는 스트림 포매터(도시하지 않음)에 의해, 이 부호화 데이터를 서브 스트림(sub stream 3)으로서 포함하는 비디오 스트림을 생성한다.
비디오 인코더(114-1, 114-2, 114-3)는 비디오 스트림의 레이어에 상술한 뷰 구성 정보를 삽입한다. 이 뷰 구성 정보는, 상술한 바와 같이, 당해 비디오 스트림에 포함되는 화상 데이터가 어느 뷰의 화상 데이터인지를 나타내는 정보, 당해 비디오 스트림의 1액세스 유닛 내에 복수의 픽처의 데이터가 부호화되어 있는지를 나타내는 정보 등을 포함하는 것이다. 이 뷰 구성 정보는, 예를 들어 비디오 스트림의 픽처 헤더 또는 시퀀스 헤더의 유저 데이터 영역 등에 삽입된다.
시차 데이터 생성부(116)는 뷰 셀렉터(112)로부터 출력되는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터에 기초하여 시차 데이터(disparity data)를 생성한다. 이 시차 데이터에는, 예를 들어 중앙의 뷰 및 좌측 단부의 뷰 사이의 시차 데이터와, 중앙의 뷰 및 우측 단부의 뷰 사이의 시차 데이터가 포함되어 있다. 이 경우, 화소 단위, 또는 블록(Block) 단위로 시차 데이터가 생성된다. 도 9는 블록(Block)마다의 시차 데이터(시차 벡터)의 일례를 도시하고 있다.
도 10은 블록 단위의 시차 데이터의 생성 방법의 일례를 도시하고 있다. 이 예는, i번째의 뷰부터 j번째의 뷰를 지시하는 시차 데이터를 구하는 예이다. 이 경우, i번째의 뷰의 픽처에, 예를 들어 4*4, 8*8 또는 16*16 등의 화소 블록(시차 검출 블록)이 설정된다.
도시한 바와 같이, i번째의 뷰의 픽처가 검출 화상이 되고, j번째의 뷰의 픽처가 참조 화상이 되어서 i번째의 뷰의 픽처의 블록마다 화소간의 차분 절대값의 합이 최소가 되도록 j번째의 뷰의 픽처의 블록 탐색이 되어서 시차 데이터가 구해진다.
즉, N번째의 블록의 시차 데이터(DPn)는, 예를 들어 이하의 (1)식에 나타낸 바와 같이, 당해 N번째의 블록에 있어서의 차분 절대값의 합이 최소가 되도록 블록 탐색되어서 구해진다. 또한, 이 (1)식에 있어서, Dj는 j번째의 뷰의 픽처에 있어서의 화소값, Di는 i번째의 뷰의 픽처에 있어서의 화소값을 나타내고 있다.
DPn=min(Σabs(differ(Dj-Di))) …(1)
도 11은 화소 단위의 시차 데이터의 생성 방법의 일례를 도시하고 있다. 이 예는 블록 단위에서 화소 단위로의 변환 처리에 의해 화소 단위의 시차 데이터를 생성하는 방법이다. 도 11의 (a)에 있어서의 "A", "B", "C", "D", "X"는 각각 블록의 영역을 나타내고 있다.
이들 블록의 시차 데이터로부터, 도 11의 (b)에 도시한 바와 같이, "X"의 블록을 4분할한 각 영역의 시차 데이터는 이하의 (2)식으로 구해진다. 예를 들어, "A", "B"에 인접하는 분할 영역의 시차 데이터(X(A, B))는 "A", "B", "X"의 블록의 시차 데이터의 중앙값이 된다. 그 밖의 분할 영역에서도 마찬가지로 하여 시차 데이터가 구해진다.
X(A, B)=median(X, A, B)
X(A, C)=median(X, A, C)
X(B, D)=median(X, B, D)
X(C, D)=median(X, C, D) …(2)
상술한 한번의 변환에서 시차 데이터가 차지하는 영역은 원래의 종횡 크기의 1/2 크기로 좁아진다. 블록 사이즈에 따라 이 변환을 소정 횟수 반복함으로써 화소 단위의 시차 데이터가 구해진다. 또한, 텍스처에 에지를 포함하고 있거나 해서 화면 내 오브젝트의 복잡도가 다른 부분보다도 높은 경우 등에는 적절히 블록 사이즈를 작게 하여 초기의 블록 단위의 시차 데이터 자체의 텍스처 추종성을 향상시키는 것도 가능하다.
시차 인코더(117)는 시차 데이터 생성부(116)에서 생성된 시차 데이터에 부호화를 실시해서 시차 스트림(시차 데이터 엘리멘터리 스트림)을 생성한다. 이 시차 스트림에는 화소 단위 또는 블록 단위의 시차 데이터가 포함되게 된다. 시차 데이터가 화소 단위인 경우에는 화소 데이터와 마찬가지로 압축 부호화해서 전송할 수 있다.
또한, 이 시차 스트림에 블록 단위의 시차 데이터가 포함되는 경우에는, 수신측에서 상술한 변환 처리를 행함으로써 화소 단위로 변환하는 것도 가능하다. 또한, 이러한 시차 스트림의 송신이 없는 경우, 수신측에서 상술한 바와 같이 각 뷰간에 있어서의 블록 단위의 시차 데이터를 구하고, 또한 화소 단위로 변환하는 것이 가능하다.
그래픽스 데이터 출력부(118)는 화상에 중첩하는 그래픽스(자막으로서의 서브타이틀도 포함함)의 데이터를 출력한다. 그래픽스 인코더(119)는 그래픽스 데이터 출력부(118)로부터 출력된 그래픽스 데이터를 포함하는 그래픽스 스트림(그래픽스 엘리멘터리 스트림)을 생성한다. 여기서 그래픽스는 중첩 정보를 구성하고, 예를 들어 로고, 자막 등이다.
또한, 그래픽스 데이터 출력부(118)로부터 출력되는 그래픽스 데이터는, 예를 들어 중앙의 뷰의 화상에 중첩하는 그래픽스의 데이터이다. 그래픽스 인코더(119)는 시차 데이터 생성부(116)에서 생성된 시차 데이터에 기초하여 좌측 단부 및 우측 단부의 뷰에 중첩하는 그래픽스의 데이터를 제작하여 이들 그래픽스 데이터를 포함하는 그래픽스 스트림을 생성해도 된다. 이 경우에는, 수신측에 있어서 좌측 단부 및 우측 단부의 뷰에 중첩하는 그래픽스의 데이터를 제작하는 것이 불필요해진다.
그래픽스 데이터는 주로는 비트맵 데이터이다. 이 그래픽스 데이터에는 화상 상의 중첩 위치를 나타내는 오프셋 정보가 부가되어 있다. 이 오프셋 정보는, 예를 들어 화상의 좌측 상단의 원점부터 그래픽스의 중첩 위치의 좌측 상단의 화소까지의 수직 방향, 수평 방향의 오프셋값을 나타낸다. 또한, 자막 데이터를 비트맵 데이터로서 전송하는 규격은, 예를 들어 유럽의 디지털 방송 규격인 DVB에서 「DVB_Subtitling」으로서 규격화되어 운용되고 있다.
음성 데이터 출력부(120)는 화상 데이터에 대응한 음성 데이터를 출력한다. 이 음성 데이터 출력부(120)는, 예를 들어 마이크로폰, 또는 기억 매체로부터 음성 데이터를 판독해서 출력하는 음성 데이터 판독부 등에 의해 구성된다. 오디오 인코더(121)는 음성 데이터 출력부(120)로부터 출력되는 음성 데이터에 대하여 MPEG-2Audio, AAC 등의 부호화를 실시하여 오디오 스트림(오디오 엘리멘터리 스트림)을 생성한다.
멀티플렉서(115)는 비디오 인코더(114-1, 114-2, 114-3), 시차 인코더(117), 그래픽스 인코더(119) 및 오디오 인코더(121)에서 생성된 각 엘리멘터리 스트림을 패킷화해서 다중하여 트랜스포트 스트림(TS)을 생성한다. 이 경우, 각각의 PES(Packetized Elementary Stream)의 헤더에는 수신측에 있어서의 동기 재생을 위해서 PTS(Presentation Time Stamp)가 삽입된다.
멀티플렉서(115)는 트랜스포트 스트림(TS)의 레이어에 상술한 식별 정보를 삽입한다. 이 식별 정보는 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 식별하기 위한 정보이다. 이 식별 정보는, 예를 들어 트랜스포트 스트림(TS)에 포함되는 프로그램 맵 테이블(PMT: Program Map Table)의 비디오 엘리멘터리 루프(Video ESloop)의 배하, 또는 이벤트 인포메이션 테이블(EIT: Event Information Table)의 배하 등에 삽입된다.
도 7에 도시하는 송신 데이터 생성부(110)의 동작을 간단하게 설명한다. N개의 화상 데이터 출력부(111-1 내지 111-N)로부터 출력되는 입체 화상 표시를 위한 N개의 뷰(View 1… View N)의 화상 데이터는 뷰 셀렉터(112)에 공급된다. 뷰 셀렉터(112)에서는 N개의 뷰의 화상 데이터로부터 중앙의 뷰의 화상 데이터(VC), 좌측 단부의 뷰의 화상 데이터(VL) 및 우측 단부의 뷰의 화상 데이터(VR)가 취출된다.
뷰 셀렉터(112)에서 취출된 중앙의 뷰의 화상 데이터(VC)는 스케일러(113-1)에 공급되고, 예를 들어 1920*1080의 풀HD의 크기로 스케일링 처리된다. 스케일링 처리 후의 화상 데이터(VC′)는 비디오 인코더(114-1)에 공급된다.
비디오 인코더(114-1)에서는 이 화상 데이터(VC′)에 대하여 부호화가 실시되어서 부호화 비디오 데이터가 얻어지고, 이 부호화 데이터를 서브 스트림(sub stream 1)으로서 포함하는 비디오 스트림이 생성된다. 또한, 이 비디오 인코더(114-1)에서는 비디오 스트림의 픽처 헤더 또는 시퀀스 헤더의 유저 데이터 영역 등에 당해 비디오 스트림에 포함되는 화상 데이터가 어느 뷰의 화상 데이터인지를 나타내는 정보 등을 갖는 뷰 구성 정보가 삽입된다. 이 비디오 스트림은 멀티플렉서(115)에 공급된다.
또한, 뷰 셀렉터(112)에서 취출된 좌측 단부의 뷰의 화상 데이터(VL)는 스케일러(113-2)에 공급되고, 예를 들어 1920*1080의 풀HD의 크기로 스케일링 처리된다. 스케일링 처리 후의 화상 데이터(VL′)는 비디오 인코더(114-2)에 공급된다.
비디오 인코더(114-2)에서는 이 화상 데이터(VL′)에 대하여 부호화가 실시되어서 부호화 비디오 데이터가 얻어지고, 이 부호화 데이터를 서브 스트림(sub stream 2)으로서 포함하는 비디오 스트림이 생성된다. 또한, 이 비디오 인코더(114-2)에서는 비디오 스트림의 픽처 헤더 또는 시퀀스 헤더의 유저 데이터 영역 등에 당해 비디오 스트림에 포함되는 화상 데이터가 어느 뷰의 화상 데이터인지를 나타내는 정보 등을 갖는 뷰 구성 정보가 삽입된다. 이 비디오 스트림은 멀티플렉서(115)에 공급된다.
또한, 뷰 셀렉터(112)에서 취출된 우측 단부의 뷰의 화상 데이터(VR)는 스케일러(113-3)에 공급되고, 예를 들어 1920*1080의 풀HD의 크기로 스케일링 처리된다. 스케일링 처리 후의 화상 데이터(VR′)는 비디오 인코더(114-3)에 공급된다.
비디오 인코더(114-3)에서는 이 화상 데이터(VR′)에 대하여 부호화가 실시되어서 부호화 비디오 데이터가 얻어지고, 이 부호화 데이터를 서브 스트림(sub stream 3)으로서 포함하는 비디오 스트림이 생성된다. 또한, 이 비디오 인코더(114-3)에서는 비디오 스트림의 픽처 헤더 또는 시퀀스 헤더의 유저 데이터 영역 등에 당해 비디오 스트림에 포함되는 화상 데이터가 어느 뷰의 화상 데이터인지를 나타내는 정보 등을 갖는 뷰 구성 정보가 삽입된다. 이 비디오 스트림은 멀티플렉서(115)에 공급된다.
또한, 뷰 셀렉터(112)로부터 출력되는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터는 시차 데이터 생성부(116)에 공급된다. 이 시차 데이터 생성부(116)에서는 각 뷰의 화상 데이터에 기초하여 시차 데이터(disparity data)가 생성된다. 이 시차 데이터에는 중앙의 뷰 및 좌측 단부의 뷰 사이의 시차 데이터와, 중앙의 뷰 및 우측 단부의 뷰 사이의 시차 데이터가 포함된다. 이 경우, 화소 단위, 또는 블록(Block) 단위로 시차 데이터가 생성된다.
시차 데이터 생성부(116)에서 생성된 시차 데이터는 시차 인코더(117)에 공급된다. 이 시차 인코더(117)에서는 시차 데이터에 부호화 처리가 실시되어서 시차 스트림이 생성된다. 이 시차 스트림은 멀티플렉서(115)에 공급된다.
또한, 그래픽스 데이터 출력부(118)로부터 출력되는 그래픽스 데이터(서브타이틀 데이터도 포함함)는 그래픽스 인코더(119)에 공급된다. 이 그래픽스 인코더(119)에서는 그래픽스 데이터를 포함하는 그래픽스 스트림이 생성된다. 이 그래픽스 스트림은 멀티플렉서(115)에 공급된다.
또한, 음성 데이터 출력부(120)로부터 출력되는 음성 데이터는 오디오 인코더(121)에 공급된다. 이 오디오 인코더(121)에서는 음성 데이터에 대하여 MPEG-2Audio, AAC 등의 부호화가 실시되어 오디오 스트림이 생성된다. 이 오디오 스트림은 멀티플렉서(115)에 공급된다.
멀티플렉서(115)에서는 각 인코더로부터 공급되는 엘리멘터리 스트림이 패킷화되어서 다중되어 트랜스포트 스트림(TS)이 생성된다. 이 경우, 각각의 PES 헤더에는 수신측에 있어서의 동기 재생을 위해서 PTS가 삽입된다. 또한, 멀티플렉서(115)에서는 PMT의 배하, 또는 EIT의 배하 등에 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 식별하기 위한 식별 정보가 삽입된다.
또한, 도 7에 도시하는 송신 데이터 생성부(110)는 트랜스포트 스트림(TS)에 3개의 비디오 스트림이 포함되는 경우를 도시하고 있다. 즉, 트랜스포트 스트림(TS)에는, 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터가 각각1개의 픽처로서 부호화되어서 얻어진 3개의 비디오 스트림이 포함된다.
상세한 설명은 생략하지만, 상술한 바와 같이, 트랜스포트 스트림(TS)에 2개, 또는 1개의 비디오 스트림이 포함되는 경우도 동일하게 구성할 수 있다. 트랜스포트 스트림(TS)에 2개의 비디오 스트림이 포함되는 경우에는, 예를 들어 이하의 비디오 스트림이 포함된다. 즉, 중앙의 뷰의 화상 데이터가 1개의 픽처로서 부호화되어서 얻어진 비디오 스트림과, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처로서 부호화되어서 얻어진 비디오 스트림이 포함된다.
또한, 트랜스포트 스트림(TS)에 1개의 비디오 스트림이 포함되는 경우에는, 예를 들어 이하의 비디오 스트림이 포함된다. 즉, 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터가 각각 1개의 픽처의 데이터로서 부호화된 데이터를 포함하는 비디오 스트림이 포함된다.
[식별 정보 및 뷰 구성 정보의 구조와 TS 구성]
상술한 바와 같이, 트랜스포트 스트림(TS)의 레이어에 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 식별하기 위한 식별 정보가 삽입된다. 도 12는 이 식별 정보로서의 멀티 뷰 스트림 컨피규레이션 디스크립터(multiview_stream_configuration_descriptor)의 구조예(Syntax)를 도시하고 있다. 또한, 도 13은 도 12에 도시하는 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하고 있다.
「multiview_stream_configuration_tag」는 디스크립터 타입을 나타내는 8비트의 데이터이며, 여기에서는 멀티 뷰 스트림 컨피규레이션 디스크립터인 것을 나타낸다. 「multiview_stream_configuration_length」는 디스크립터의 길이(크기)를 나타내는 8비트의 데이터이다. 이 데이터는 디스크립터의 길이로서 이후의 바이트 수를 나타낸다.
「multiview_stream_check flag」의 1비트 필드는 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 나타낸다. "1"은 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는 것을 나타내고, "0"은 그 삽입이 없는 것을 나타낸다. "1"일 때, 수신측(디코더)에서는 유저 데이터 영역에 존재하는 뷰 구성 정보를 체크하게 된다.
또한, 상술한 바와 같이, 비디오 스트림의 레이어에 당해 비디오 스트림에 포함되는 화상 데이터가 어느 뷰의 화상 데이터인지를 나타내는 정보 등을 갖는 뷰 구성 정보가 삽입된다. 도 14는 이 뷰 구성 정보로서의 멀티 뷰 스트림 컨피규레이션 인포(multiview_stream_configuration_info())의 구조예(Syntax)를 도시하고 있다. 또한, 도 15, 도 16, 도 17은 도 14에 도시하는 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하고 있다.
「3D_flag」의 1비트 필드는 부호화되는 비디오 스트림에 포함되는 화상 데이터가 3D를 구성하는 일부의 뷰의 화상 데이터인지 여부를 나타낸다. "1"은 일부의 뷰의 화상 데이터인 것을 나타내고, "0"은 일부의 뷰의 화상 데이터가 아닌 것을 나타낸다.
「3D_flag=1」일 때, 「view_count」, 「single_view_es_flag」, 「view_interleaving_flag」의 각 정보가 존재한다. 「view_count」의 4비트 필드는 3D 서비스를 구성하는 뷰 수를 나타낸다. 최소값은 1이며, 최대값은 15이다. 「single_view_es_flag」의 1비트 필드는 당해 비디오 스트림의 1액세스 유닛 내에 복수의 픽처의 데이터가 부호화되어 있는지 여부를 나타낸다. "1"은 1개의 픽처의 데이터만이 부호화되어 있는 것을 나타내고, "0"은 2개 이상의 픽처의 데이터가 부호화되어 있는 것을 나타낸다.
「view_interleaving_flag」의 1비트 필드는, 당해 비디오 스트림에 있어서, 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있는지 여부를 나타낸다. "1"은 인터리브 처리되어 있어서 화면 스플릿의 구성인 것을 나타내고, "0"은 인터리브 처리되어 있지 않은 것을 나타낸다.
「view_interleaving_flag=0」일 때, 「view_allocation」의 정보가 존재한다. 「view_allocation」의 4비트 필드는 당해 비디오 스트림에 포함되는 화상 데이터가 어느 뷰의 화상 데이터인지, 즉 뷰 할당을 나타낸다. 예를 들어, "0000"은 중앙의 뷰(center view)인 것을 나타낸다. 또한, 예를 들어 "0001"은 중앙으로부터 좌측으로 1개 옆의 뷰(1st left view next to center)인 것을 나타낸다. 또한, 예를 들어 "0010"은 중앙으로부터 우측으로 1개 옆의 뷰(1st right view next to center)인 것을 나타낸다.
「view_interleaving_flag=1」일 때, 「view_pair_position_id」, 「view_interleaving_type」의 정보가 존재한다. 「view_pair_position_id」의 3비트 필드는 전체 뷰에 있어서의 2개의 뷰의 상대적인 뷰 위치를 나타낸다. 이 경우, 예를 들어 스캔 순서로 빠른 위치가 좌(left), 늦은 위치가 우(right)라 한다. 예를 들어, "000"은 양단의 2개의 뷰 페어인 것을 나타낸다. 또한, 예를 들어, "001"은 양단으로부터 1개 내측의 2개의 뷰 페어인 것을 나타낸다. 또한, 예를 들어, "010"은 양단으로부터 1개 내측의 2개의 뷰 페어인 것을 나타낸다.
「view_interleaving_type」의 1비트 필드는 인터리브의 타입(type)을 나타내고 있다. "1"은 인터리브의 타입이 사이드 바이 사이드(Side-by-Side)인 것을 나타내고, "0"은 인터리브의 타입이 톱 앤드 보텀(Top & Bottom)인 것을 나타낸다.
또한, 「3D_flag=1」일 때, 「display_flag」, 「indication_of_picture_size_scaling_horizontal」, 「indication_of_picture_size_scaling_vertical」의 각 정보가 존재한다. 「display_flag」의 1비트 필드는, 당해 뷰는 화상 표시를 행하게 할 때에 표시 필수인지 여부를 나타낸다. "1"은 표시 필수인 것을 나타낸다. 한편, "0"은 표시 필수가 아닌 것을 나타낸다.
「indication_of_picture_size_scaling_horizontal」의 4비트 필드는 풀HD (1920)에 대한 디코드화의 수평 화소 비율을 나타내고 있다. "0000"은 100％, "0001"은 80％, "0010"은 75％, "0011"은 66％, "0100"은 50％, "0101"은 33％, "0110"은 25％, "0111"은 20％를 각각 나타낸다.
「indication_of_picture_size_scaling_vertical」의 4비트 필드는 풀HD (1080)에 대한 디코드화의 수직 화소 비율을 나타내고 있다. 0000"은 100％, "0001"은 80％, "0010"은 75％, "0011"은 66％, "0100"은 50％, "0101"은 33％, "0110"은 25％, "0111"은 20％를 각각 나타낸다.
도 18은 「view_count」가 나타내는 뷰 수와, 「view_pair_position_id」가 나타내는 2개의 뷰(여기서는, "View 1", "View 2"라고 하고 있음)의 위치의 관계의 일례를 도시하고 있다. (1)의 예는 「view_count」가 나타내는 뷰 수가 2이며, 「view_pair_position_id=000」으로서 양단의 2개의 뷰인 것을 나타내고 있는 경우이다. 또한, (2)의 예는 「view_count」가 나타내는 뷰 수가 4이며, 「view_pair_position_id=000」으로 양단의 2개의 뷰인 것을 나타내고 있는 경우이다.
또한, (3)의 예는 「view_count」가 나타내는 뷰 수가 4이며, 「view_pair_position_id=001」으로 양단으로부터 1개 내측의 2개의 뷰인 것을 나타내고 있는 경우이다. 또한, (4)의 예는 「view_count」가 나타내는 뷰 수가 5이며, 「view_pair_position_id=000」으로 양단의 2개의 뷰인 것을 나타내고 있는 경우이다.
또한, (5)의 예는 「view_count」가 나타내는 뷰 수가 9이며, 「view_pair_position_id=000」으로 양단의 2개의 뷰인 것을 나타내고 있는 경우이다. 또한, (6)의 예는 「view_count」가 나타내는 뷰 수가 9이며, 「view_pair_position_id=010」으로 양단으로부터 2개 내측의 2개의 뷰인 것을 나타내고 있는 경우이다.
양단보다도 내측의 뷰 페어는, 수신측에서 뷰 합성을 행할 때에 양단의 2개의 뷰에서는 충분히 화질을 만족할 수 없는 경우에 보간 합성의 성능을 향상시키기 위해서 양단의 뷰 페어에 추가로 전송되는 것이 가능하다. 그 때, 추가로 전송되는 뷰 페어의 부호화 비디오 데이터는 양단의 뷰 페어의 스트림 중에 액세스 유닛(Access Unit)을 공유하도록 부호화되어도 되고, 또는, 다른 스트림으로서 부호화되어도 된다.
도 19는 상술한 바와 같이 양단의 2개의 뷰 페어의 화상 데이터와 함께 양단보다도 내측의 2개의 뷰 페어의 화상 데이터를 송신하는 경우에 있어서, 송신측 또는 수신측에 있어서의 시차 데이터(disparity data)의 생성예를 도시하고 있다. 도시한 예에서는 「view_count」가 나타내는 뷰 수가 9가 되어 있다. 그리고, 양단의 2개의 뷰(View 1, View 2)의 화상 데이터가 포함되는 서브 스트림(substream1)과, 그것보다도 내측의 2개의 뷰(View 3, View 4)의 화상 데이터가 포함되는 서브 스트림(substream 2)이 존재하는 것으로 하고 있다.
이 경우, 처음에 「View 1」과 「View 3」으로 시차 데이터를 계산한다. 이어서, 「View 2」와 「View 4」로 시차 데이터를 계산한다. 마지막으로 「View 3」과 「View 4」로 시차 데이터를 계산한다. 또한, 서브 스트림간에서 뷰의 해상도가 상이한 경우에는 어느 한쪽 해상도에 맞춘 후에 시차 데이터의 계산을 행한다.
도 20은 상술한 바와 같이 계산된 시차 데이터에 기초하여 수신측에서 각 뷰 사이에 위치하는 뷰의 화상 데이터를 보간 합성하는 예를 도시하고 있다. 이 경우, 처음에 「View 1」과 「View 3」 사이의 시차 데이터를 사용하여 「View 1」과 「View 3」 사이에 위치하는 「View_A」를 보간 합성한다.
이어서, 「View 2」와 「View 4」 사이의 시차 데이터를 사용하여 「View 2」와 「View 4」 사이에 위치하는 「View_B」를 보간 합성한다. 마지막으로 「View 3」과 「View 4」 사이의 시차 데이터를 사용하여 「View 3」과 「View 4」 사이에 위치하는 「View_C」, 「View_D」, 「View_E」를 보간 합성한다.
이어서, 뷰 구성 정보로서의 멀티 뷰 스트림 컨피규레이션 인포(multiview_stream_configuration_info())를 비디오 스트림(비디오 엘리멘터리 스트림)의 유저 데이터 영역에 삽입하는 경우에 대해서 설명한다. 이 경우, 멀티 뷰 스트림 컨피규레이션 인포는 유저 데이터 영역을 이용해서, 예를 들어 픽처 단위 또는 GOP 단위로 삽입된다.
예를 들어, 부호화 방식이 AVC인 경우, 멀티 뷰 스트림 컨피규레이션 인포는 액세스 유닛의 "SELs"의 부분에 「Multiview stream configuration SEI message」로서 삽입된다. 도 21의 (a)는 GOP(Group Of Pictures)의 선두의 액세스 유닛을 도시하고 있고, 도 21의 (b)는 GOP의 선두 이외의 액세스 유닛을 도시하고 있다. 멀티 뷰 스트림 컨피규레이션 인포가 GOP 단위로 삽입되는 경우, GOP의 선두의 액세스 유닛에만 「Multiview stream configuration SEI message」가 삽입된다.
도 22의 (a)는 「Multiview stream configuration SEI message」의 구조예(Syntax)를 도시하고 있다. 「uuid_iso_iec_11578」은 "ISO/IEC 11578: 1996AnnexA."로 나타내는 UUID값을 갖는다. 「user_data_payload_byte」의 필드에 「userdata_for_multiview_stream_configuration()」이 삽입된다. 도 22의 (b)는 「userdata_for_multiview_stream_configuration()」의 구조예(Syntax)를 도시하고 있다. 이 중에 멀티 뷰 스트림 컨피규레이션 인포(multiview_stream_configuration_info())가 삽입된다(도 14 참조). 「userdata_id」는 부호 없는 16비트로 나타내는 멀티 뷰 스트림 컨피규레이션 인포의 식별자이다.
또한, 예를 들어 부호화 방식이 MPEG2video인 경우, 멀티 뷰 스트림 컨피규레이션 인포는 픽처 헤더부의 유저 데이터 영역에 유저 데이터 「user_data()」로서 삽입된다. 도 23의 (a)는 「user_data()」의 구조예(Syntax)를 도시하고 있다. 「user_data_start_code」의 32비트 필드는 유저 데이터(user_data)의 개시 코드이며, "0x000001B2"의 고정값이 된다.
이 개시 코드에 이어지는 32비트 필드는 유저 데이터의 내용을 식별하는 식별자이다. 여기에서는 「Stereo_Video_Format_Signaling_identifier」가 되어, 유저 데이터가 멀티 뷰 스트림 컨피규레이션 인포인 것을 식별 가능하게 한다. 이 식별자의 후의 데이터 본체로서, 스트림 관련된 정보로서의 「Multiview_stream_configuration()」이 삽입된다. 도 23의 (b)는 「Multiview_stream_configuration()」의 구조예(Syntax)를 도시하고 있다. 이 중에 멀티 뷰 스트림 컨피규레이션 인포(multiview_stream_configuration_info())가 삽입된다(도 14 참조).
상술한 도 12에 도시하는 식별 정보로서의 멀티 뷰 스트림 컨피규레이션 디스크립터(multiview_stream_configuration_descriptor)는 트랜스포트 스트림(TS)의 레이어, 예를 들어 PMT의 배하, 또는 EIT의 배하 등에 삽입된다. 즉, 이 디스크립터는 이벤트 단위 또는 시간적으로 정적 또는 동적인 유스 케이스에 두어서 최적인 위치에 배치된다.
도 24는 트랜스포트 스트림(TS)의 구성예를 도시하고 있다. 또한, 이 구성예에서는 도면의 간단화를 위해서 시차 데이터, 오디오 및 그래픽스 등에 대해서는 그 도시를 생략하고 있다. 이 구성예는 트랜스포트 스트림(TS)에 3개의 비디오 스트림이 포함되는 경우를 나타내고 있다. 즉, 트랜스포트 스트림(TS)에는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터가 각각 1개의 픽처로서 부호화되어서 얻어진 3개의 비디오 스트림이 포함되어 있다. 또한, 이 구성예는 뷰 수가 5인 경우를 나타내고 있다.
이 도 24의 구성예에서는 중앙 뷰의 화상 데이터(VC′)가 1개의 픽처로서 부호화되어 있는 비디오 스트림의 PES 패킷 「video PES1」이 포함되어 있다. 이 비디오 스트림의 유저 데이터 영역에 삽입되는 멀티 뷰 스트림 컨피규레이션 인포에 있어서는 「View_count」가 나타내는 뷰 수가 5인 것이 나타나 있다.
또한, 이 인포에 있어서는 「single_view_es_flag=1」이 되고, 이 비디오 스트림에 있어서 1액세스 유닛 내의 1개의 픽처의 데이터만이 부호화되어 있는 것이 나타나 있다. 또한, 이 인포에 있어서는 「View_interleaving_flag=0」이 되고, 이 비디오 스트림에 있어서 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있지 않은 것이 나타나 있다. 또한, 「view_allocation=0000」이 되고, 이 비디오 스트림에 포함되는 화상 데이터가 중앙의 뷰의 화상 데이터인 것이 나타나 있다.
또한, 이 도 24의 구성예에서는 좌측 단부 뷰의 화상 데이터(VL′)가 1개의 픽처로서 부호화되어 있는 비디오 스트림의 PES 패킷 「video PES2」가 포함되어 있다. 이 비디오 스트림의 유저 데이터 영역에 삽입되는 멀티 뷰 스트림 컨피규레이션 인포에 있어서는 「View_count」가 나타내는 뷰 수가 5인 것이 나타나 있다.
또한, 이 인포에 있어서는 「single_view_es_flag=1」이 되고, 이 비디오 스트림에 있어서 1액세스 유닛 내의 1개의 픽처의 데이터만이 부호화되어 있는 것이 나타나 있다. 또한, 이 인포에 있어서는 「View_interleaving_flag=0」이 되고, 이 비디오 스트림에 있어서 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있지 않은 것이 나타나 있다. 또한, 「view_allocation=0011」이 되고, 이 비디오 스트림에 포함되는 화상 데이터가 중앙으로부터 좌측으로 2개 옆의 뷰, 즉 좌측 단부 뷰의 화상 데이터인 것이 나타나 있다.
또한, 이 도 24의 구성예에서는 좌측 단부 뷰의 화상 데이터(VR′)가 1개의 픽처로서 부호화되어 있는 비디오 스트림의 PES 패킷 「video PES3」이 포함되어 있다. 이 비디오 스트림의 유저 데이터 영역에 삽입되는 멀티 뷰 스트림 컨피규레이션 인포에 있어서는 「View_count」가 나타내는 뷰 수가 5인 것이 나타나 있다.
또한, 이 인포에 있어서는 「single_view_es_flag=1」이 되고, 이 비디오 스트림에 있어서 1액세스 유닛 내의 1개의 픽처의 데이터만이 부호화되어 있는 것이 나타나 있다. 또한, 이 인포에 있어서는 「View_interleaving_flag=0」이 되고, 이 비디오 스트림에 있어서 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있지 않은 것이 나타나 있다. 또한, 「view_allocation=0100」이 되고, 이 비디오 스트림에 포함되는 화상 데이터가 중앙으로부터 우측으로 2개 옆의 뷰, 즉 우측 단부 뷰의 화상 데이터인 것이 나타나 있다.
또한, 트랜스포트 스트림(TS)에는 PSI(Program Specific Information)로서 PMT(Program Map Table)가 포함되어 있다. 이 PSI는 트랜스포트 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다. 또한, 트랜스포트 스트림에는 이벤트 단위의 관리를 행하는 SI(Serviced Information)로서의 EIT(Event Information Table)가 포함되어 있다.
PMT에는 각 엘리멘터리 스트림에 관련된 정보를 갖는 엘리멘터리 루프가 존재한다. 이 구성예에서는 비디오 엘리멘터리 루프(Video ES loop)가 존재한다. 이 엘리멘터리 루프에는 스트림마다 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 엘리멘터리 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다.
이 구성예에서는 PMT의 비디오 엘리멘터리 루프(Video ES loop)의 배하에 각 비디오 스트림에 관련하여 멀티 뷰 스트림 컨피규레이션 디스크립터(multiview_stream_configuration_descriptor)가 삽입되어 있다. 이 디스크립터에서 「multiview_stream_checkflag=1」이 되고, 비디오 스트림의 유저 영역에서의 뷰 구성 정보로서의 멀티 뷰 스트림 컨피규레이션 인포의 존재가 나타나 있다. 또한, 이 디스크립터를 파선으로 도시한 바와 같이 EIT의 배하에 삽입하는 것도 생각할 수 있다.
또한, 도 25도 트랜스포트 스트림(TS)의 구성예를 도시하고 있다. 또한, 이 구성예에서도 도면의 간단화를 위해서 시차 데이터, 오디오 및 그래픽스 등에 대해서는 그 도시를 생략하고 있다. 이 구성예는 트랜스포트 스트림(TS)에 2개의 비디오 스트림이 포함되는 경우를 나타내고 있다. 즉, 트랜스포트 스트림(TS)에는 중앙의 뷰의 화상 데이터가 1개의 픽처로서 부호화되어서 얻어진 비디오 스트림이 포함되어 있다. 또한, 이 트랜스포트 스트림(TS)에는 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처로서 부호화되어서 얻어진 비디오 스트림이 포함되어 있다. 또한, 이 구성예도 뷰 수가 5인 경우를 나타내고 있다.
이 도 25의 구성예에서는 중앙 뷰의 화상 데이터(VC′)가 1개의 픽처로서 부호화되어 있는 비디오 스트림의 PES 패킷 「video PES1」이 포함되어 있다. 이 비디오 스트림의 유저 데이터 영역에 삽입되는 멀티 뷰 스트림 컨피규레이션 인포에 있어서는 「View_count」가 나타내는 뷰 수가 5인 것이 나타나 있다.
또한, 이 인포에 있어서는 「single_view_es_flag=1」이 되고, 이 비디오 스트림에 있어서 1액세스 유닛 내의 1개의 픽처의 데이터만이 부호화되어 있는 것이 나타나 있다. 또한, 이 인포에 있어서는 「View_interleaving_flag=0」이 되고, 이 비디오 스트림에 있어서 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있는 것이 아닌 것이 나타나 있다. 또한, 「view_allocation=0000」이 되고, 이 비디오 스트림에 포함되는 화상 데이터가 중앙의 뷰의 화상 데이터인 것이 나타나 있다.
또한, 이 도 25의 구성예에서는 좌측 단부 뷰의 화상 데이터(VL′) 및 우측 단부 뷰의 화상 데이터(VR′)가 1개의 픽처로서 부호화되어 있는 비디오 스트림의 PES 패킷 「video PES2」가 포함되어 있다. 이 비디오 스트림의 유저 데이터 영역에 삽입되는 멀티 뷰 스트림 컨피규레이션 인포에 있어서는 「View_count」가 나타내는 뷰 수가 5인 것이 나타나 있다.
또한, 이 인포에 있어서는 「single_view_es_flag=1」이 되고, 이 비디오 스트림에 있어서 1액세스 유닛 내의 1개의 픽처의 데이터만이 부호화되어 있는 것이 나타나 있다. 또한, 이 인포에 있어서는 「View_interleaving_flag=1」이 되고, 이 비디오 스트림에 있어서 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있는 것이 나타나 있다. 또한, 「view_pair_position_id=000」이 되고, 양단의 2개의 뷰 페어인 것이 나타나 있다. 또한, 「view_interleaving_type=1」이 되고, 인터리브의 타입이 사이드 바이 사이드(Side-by-Side)인 것이 나타나 있다.
또한, 이 구성예에서는 PMT의 비디오 엘리멘터리 루프(Video ES loop)의 배하에 각 비디오 스트림에 관련하여 멀티 뷰 스트림 컨피규레이션 디스크립터(multiview_stream_configuration_descriptor)가 삽입되어 있다. 이 디스크립터에서 「multiview_stream_checkflag=1」이 되고, 비디오 스트림의 유저 영역에서의 뷰 구성 정보로서의 멀티 뷰 스트림 컨피규레이션 인포의 존재가 나타나 있다. 또한, 이 디스크립터를 파선으로 도시한 바와 같이 EIT의 배하에 삽입하는 것도 생각할 수 있다.
또한, 도 26도 트랜스포트 스트림(TS)의 구성예를 도시하고 있다. 또한, 이 구성예에서도 도면의 간단화를 위해서 시차 데이터, 오디오 및 그래픽스 등에 대해서는 그 도시를 생략하고 있다. 이 구성예는 트랜스포트 스트림(TS)에 1개의 비디오 스트림이 포함되는 경우를 나타내고 있다. 즉, 트랜스포트 스트림(TS)에는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터가 각각 1개의 픽처의 데이터로서 부호화된 데이터를 포함하는 비디오 스트림이 포함되어 있다. 또한, 이 구성예도 뷰 수가 5인 경우를 나타내고 있다.
이 도 26의 구성예에서는 1개의 비디오 스트림의 PES 패킷 「video PES1」이 포함되어 있다. 이 비디오 스트림에는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터가 각각 1액세스 유닛 내의 1개의 픽처의 데이터로서 부호화된 데이터가 포함되어 있고, 각 픽처에 대응해서 유저 데이터 영역이 존재한다. 그리고, 각각에 멀티 뷰 스트림 컨피규레이션 인포가 삽입되어 있다.
중앙 뷰의 화상 데이터가 부호화된 픽처 데이터에 대응하는 인포에 있어서는 「View_count」가 나타내는 뷰 수가 5인 것이 나타나 있다. 또한, 이 인포에 있어서는 「single_view_es_flag=0」이 되고, 이 비디오 스트림에 있어서 1액세스 유닛 내에 복수의 픽처의 데이터가 부호화되어 있는 것이 나타나 있다. 또한, 이 인포에 있어서는 「View_interleaving_flag=0」이 되고, 이 픽처 데이터가 2개의 뷰의 화상 데이터가 인터리브 처리되어서 부호화된 것이 아닌 것이 나타나 있다. 또한, 「view_allocation=0000」이 되고, 이 픽처 데이터에 포함되는 화상 데이터가 중앙의 뷰의 화상 데이터인 것이 나타나 있다.
또한, 좌측 단부 뷰의 화상 데이터가 부호화된 픽처 데이터에 대응하는 인포에 있어서는 「View_count」가 나타내는 뷰 수가 5인 것이 나타나 있다. 또한, 이 인포에 있어서는 「single_view_es_flag=0」이 되고, 이 비디오 스트림에 있어서 1액세스 유닛 내에 복수의 픽처의 데이터가 부호화되어 있는 것이 나타나 있다. 또한, 이 인포에 있어서는 「View_interleaving_flag=0」이 되고, 이 픽처 데이터가 2개의 뷰의 화상 데이터가 인터리브 처리되어서 부호화된 것이 아닌 것이 나타나 있다. 또한, 「view_allocation=0011」이 되고, 이 픽처 데이터에 포함되는 화상 데이터가 중앙으로부터 좌측으로 2개 옆의 뷰, 즉 좌측 단부 뷰의 화상 데이터인 것이 나타나 있다.
또한, 우측 단부 뷰의 화상 데이터가 부호화된 픽처 데이터에 대응하는 인포에 있어서는 「View_count」가 나타내는 뷰 수가 5인 것이 나타나 있다. 또한, 이 인포에 있어서는 「single_view_es_flag=0」이 되고, 이 비디오 스트림에 있어서 1액세스 유닛 내에 복수의 픽처의 데이터가 부호화되어 있는 것이 나타나 있다. 또한, 이 인포에 있어서는 「View_interleaving_flag=0」이 되고, 이 픽처 데이터가 2개의 뷰의 화상 데이터가 인터리브 처리되어서 부호화된 것이 아닌 것이 나타나 있다. 또한, 「view_allocation=0100」이 되고, 이 픽처 데이터에 포함되는 화상 데이터가 중앙으로부터 우측으로 2개 옆의 뷰, 즉 우측 단부 뷰의 화상 데이터인 것이 나타나 있다.
또한, 이 구성예에서는 PMT의 비디오 엘리멘터리 루프(Video ES loop)의 배하에 1개의 비디오 스트림에 관련하여 멀티 뷰 스트림 컨피규레이션 디스크립터(multiview_stream_configuration_descriptor)가 삽입되어 있다. 이 디스크립터에서 「multiview_stream_checkflag=1」가 되고, 비디오 스트림의 유저 영역에서의 뷰 구성 정보로서의 멀티 뷰 스트림 컨피규레이션 인포의 존재가 나타나 있다. 또한, 이 디스크립터를 파선으로 도시한 바와 같이 EIT의 배하에 삽입하는 것도 생각할 수 있다.
상술한 바와 같이, 도 7에 도시하는 송신 데이터 생성부(110)에 있어서는, 입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 트랜스포트 스트림(TS)이 생성된다. 그로 인해, 멀티 뷰 구성에 의한 입체 화상의 육안 관상을 행하기 위한 화상 데이터 전송을 효과적으로 행할 수 있다.
즉, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터뿐만 아니라 중간의 뷰의 화상 데이터도 송신되므로, 뷰간의 상대 시차가 작고, 그 밖의 뷰의 화상 데이터를 보간할 때의 세심한 부분의 처리에 수반되는 오클루젼 주변의 보간이 용이해져서 재생 화상의 품질 향상을 도모할 수 있다. 또한, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 송신되므로, 전송되지 않는 뷰의 화상 데이터의 보간은 모두 내삽 처리에 의해 합성할 수 있고, 오클루젼 등의 단부점 처리에 대해서 고화질을 유지하는 것이 용이해진다.
또한, 도 7에 도시하는 송신 데이터 생성부(110)에 있어서는, 비디오 스트림의 레이어에 뷰 구성 정보로서의 멀티 뷰 스트림 컨피규레이션 인포(multiview_stream_configuration_info())가 삽입된다. 그로 인해, 수신측에서는, 이 뷰 구성 정보에 의해, 복수의 뷰의 화상 데이터에 의한 3차원 화상(입체 화상)의 육안 관상을 행하기 위한 적절하고도 효율적인 처리가 가능해진다.
또한, 도 7에 도시하는 송신 데이터 생성부(110)에 있어서는, 트랜스포트 스트림(TS)의 레이어에 멀티 뷰 스트림 컨피규레이션 디스크립터(multiview_stream_configuration_descriptor)가 삽입된다. 이 디스크립터는 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 식별하기 위한 식별 정보를 구성하고 있다. 이 식별 정보에 의해, 수신측에서는 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 용이하게 식별 가능해진다. 그로 인해, 비디오 스트림의 유저 데이터 영역으로부터의 뷰 구성 정보의 효율적인 추출이 가능해진다.
또한, 도 7에 도시하는 송신 데이터 생성부(110)에 있어서는 시차 데이터 생성부(116)에서 각 뷰간의 시차 데이터가 생성되고, 이 시차 데이터가 부호화되어서 얻어진 시차 스트림이 비디오 스트림과 함께 트랜스포트 스트림(TS)에 포함된다. 그로 인해, 수신측에서는 수신된 각 뷰의 화상 데이터로부터 시차 데이터를 생성하는 처리를 행하지 않고, 보내져 오는 시차 데이터에 기초하여 전송되지 않는 각 뷰의 화상 데이터를 용이하게 보간 합성하는 것이 가능해진다.
「수신기의 구성예」
도 27은 수신기(200)의 구성예를 도시하고 있다. 이 수신기(200)는 CPU(201)와, 플래시 ROM(202)과, DRAM(203)과, 내부 버스(204)와, 리모트 컨트롤 수신부(RC 수신부)(205)와, 리모트 컨트롤 송신기(RC 송신기)(206)를 갖고 있다. 또한, 이 수신기(200)는 안테나 단자(211)와, 디지털 튜너(212)와, 트랜스포트 스트림(TS 버퍼)(213)과, 디멀티플렉서(214)를 갖고 있다.
또한, 수신기(200)는 코디드 버퍼(215-1, 215-2, 215-3)와, 비디오 디코더(216-1, 216-2, 216-3)와, 디코디드 버퍼(217-1, 217-2, 217-3)와, 스케일러(218-1, 218-2, 218-3)를 갖고 있다. 또한, 수신기(200)는 뷰 보간부(219)와 픽셀 인터리브/중첩부(220)를 갖고 있다. 또한, 수신기(200)는 코디드 버퍼(221)와, 시차 디코더(222)와, 시차 버퍼(223)와, 시차 데이터 변환부(224)를 갖고 있다.
또한, 수신기(200)는 코디드 버퍼(225)와, 그래픽스 디코더(226)와, 픽셀 버퍼(227)와, 스케일러(228)와, 그래픽스 시프터(229)를 갖고 있다. 또한, 수신기(200)는 코디드 버퍼(230)와, 오디오 디코더(231)와, 채널 믹싱부(232)를 갖고 있다.
CPU(201)는 수신기(200)의 각 부의 동작을 제어한다. 플래시 ROM(202)은 제어 소프트웨어의 저장 및 데이터의 보관을 행한다. DRAM(203)은 CPU(201)의 워크에리어를 구성한다. CPU(201)는 플래시 ROM(202)으로부터 판독한 소프트웨어나 데이터를 DRAM(203) 상에 전개해서 소프트웨어를 기동시켜서 수신기(200)의 각 부를 제어한다. RC 수신부(205)는 RC 송신기(206)로부터 송신된 리모트 컨트롤 신호(리모콘 코드)를 수신하여 CPU(201)에 공급한다. CPU(201)는 이 리모콘 코드에 기초하여 수신기(200)의 각 부를 제어한다. CPU(201), 플래시 ROM(202) 및 DRAM(203)은 내부 버스(204)에 접속되어 있다.
안테나 단자(211)는 수신 안테나(도시하지 않음)에서 수신된 텔레비전 방송 신호를 입력하는 단자이다. 디지털 튜너(212)는 안테나 단자(211)에 입력된 텔레비전 방송 신호를 처리하여 유저의 선택 채널에 대응한 소정의 트랜스포트 스트림(비트 스트림 데이터)(TS)을 출력한다. 트랜스포트 스트림(TS 버퍼)(213)은 디지털 튜너(212)로부터 출력된 트랜스포트 스트림(TS)을 일시적으로 축적한다.
이 트랜스포트 스트림(TS)에는 입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰로서의 중앙의 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림이 포함되어 있다.
이 경우, 트랜스포트 스트림(TS)에 3개, 2개, 또는 1개의 비디오 스트림이 포함되는 경우 등이 있다(도 24, 도 25, 도 26 참조). 여기에서는 설명을 간단하게 하기 위해서, 트랜스포트 스트림(TS)에 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터가 각각 1개의 픽처로서 부호화되어서 얻어진 3개의 비디오 스트림이 포함되는 것으로서 설명을 행하기로 한다.
이 트랜스포트 스트림(TS)에는, 상술한 바와 같이, PMT의 배하, 또는 EIT의 배하 등에 멀티 뷰 스트림 컨피규레이션 디스크립터(multiview_stream_configuration_descriptor)가 삽입되어 있다. 이 디스크립터는 비디오 스트림의 레이어에 뷰 구성 정보, 즉 멀티 뷰 스트림 컨피규레이션 인포(multiview_stream_configuration_info())의 삽입이 있는지 여부를 식별하기 위한 식별 정보이다.
디멀티플렉서(214)는 TS 버퍼(213)에 일시적으로 축적된 트랜스포트 스트림(TS)으로부터 비디오, 시차, 그래픽스 및 오디오의 각 엘리멘터리 스트림을 추출한다. 또한, 디멀티플렉서(214)는 이 트랜스포트 스트림(TS)으로부터 상술한 멀티 뷰 스트림 컨피규레이션 디스크립터를 추출하여 CPU(201)에 보낸다. CPU(201)는 이 디스크립터의 「multiview_stream_check flag」의 1비트 필드에 의해, 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 용이하게 판단할 수 있다.
코디드 버퍼(215-1, 215-2, 215-3)는 각각 디멀티플렉서(214)에서 추출되는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터가 각각 1개의 픽처로서 부호화되어서 얻어진 비디오 스트림을 일시적으로 축적한다. 비디오 디코더(216-1, 216-2, 216-3)는 CPU(201)의 제어 하에, 각각 코디드 버퍼(215-1, 215-2, 215-3)에 기억되어 있는 비디오 스트림의 복호화 처리를 행하여 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터를 취득한다.
여기서, 비디오 디코더(216-1)는 중앙 뷰(center view)의 화상 데이터를 취득한다. 또한, 비디오 디코더(216-2)는 좌측 단부 뷰(left view)의 화상 데이터를 취득한다. 또한, 비디오 디코더(216-3)는 우측 단부 뷰(right view)의 화상 데이터를 취득한다. 또한, 2개 이상의 뷰가 인터리브되어서 부호화되어 있는 경우에는 스트림 단위로 코디드 버퍼, 비디오 디코더, 디코디드 버퍼, 스케일러가 할당되게 된다.
각 비디오 디코더는 비디오 스트림의 픽처 헤더 또는 시퀀스 헤더의 유저 데이터 영역 등에 삽입되어 있는 뷰 구성 정보로 해서의 멀티 뷰 스트림 컨피규레이션 인포(multiview_stream_configuration_info())를 추출하여 CPU(201)에 보낸다. CPU(201)는 이 뷰 구성 정보에 의해 복수의 뷰의 화상 데이터에 의한 3차원 화상(입체 화상)의 육안 관상을 행하기 위한 적절하고도 효율적인 처리를 행한다.
즉, CPU(201)는 이 뷰 구성 정보에 기초하여 픽처 단위 또는 GOP 단위로 디멀티플렉서(214), 비디오 디코더(216-1, 216-2, 216-3), 스케일러(218-1, 218-2, 218-3), 뷰 보간부(219) 등의 동작을 제어한다. 예를 들어, CPU(201)는 「3D_flag」의 1비트 필드에 의해, 비디오 스트림에 포함되는 화상 데이터가 3D를 구성하는 일부의 뷰의 화상 데이터인지 여부를 식별할 수 있다. 또한, 예를 들어 CPU(201)는 「view_count」의 4비트 필드에 의해, 3D 서비스를 구성하는 뷰 수를 인식할 수 있다.
또한, 예를 들어 CPU(201)는 「single_view_es_flag」의 1비트 필드에 의해, 비디오 스트림의 1액세스 유닛 내에 복수의 픽처의 데이터가 부호화되어 있는지 여부를 식별할 수 있다. 또한, 예를 들어 CPU(201)는 「view_interleaving_flag」의 1비트 필드에 의해, 비디오 스트림에 있어서 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있는지 여부를 식별할 수 있다.
또한, 예를 들어 CPU(201)는 비디오 스트림에 있어서 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있지 않을 때, 「view_allocation」의 4비트 필드에 의해, 비디오 스트림에 포함되는 화상 데이터가 어느 뷰의 화상 데이터인지를 인식할 수 있다.
또한, 예를 들어 CPU(201)는 비디오 스트림에 있어서 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있을 때, 「view_pair_position_id」의 3비트 필드에 의해, 전체 뷰에 있어서의 2개의 뷰의 상대적인 뷰 위치를 인식할 수 있다. 또한, 이 때, CPU(201)는 「view_interleaving_type」의 1비트 필드에 의해 인터리브의 타입(type)을 알 수 있다.
또한, 예를 들어 CPU(201)는 「indication_of_picture_size_scaling _horizontal」의 4비트 필드 및 「indication_of_picture_size_scaling _vertical」의 4비트 필드에 의해, 풀HD에 대한 디코드화의 수평 화소 비율 및 수직 화소 비율을 인식할 수 있다.
디코디드 버퍼(217-1, 217-2, 217-3)는 각각 비디오 디코더(216-1, 216-2, 216-3)에서 취득된 각 뷰의 화상 데이터를 일시적으로 축적한다. 스케일러(218-1, 218-2, 218-3)는 각각 디코디드 버퍼(217-1, 217-2, 217-3)로부터 출력되는 각 뷰의 화상 데이터의 출력 해상도가 소정의 해상도가 되도록 조정한다.
멀티 뷰 스트림 컨피규레이션 인포에는 디코드화의 수평 화소 비율을 나타내는 「indication_of_picture_size_scaling _horizontal」의 4비트 필드 및 디코드화의 수직 화소 비율을 나타내는 「indication_of_picture_size_scaling _vertical」의 4비트 필드가 존재한다. CPU(201)는 이 화소 비율 정보에 기초하여 스케일러(218-1, 218-2, 218-3)에 있어서의 스케일링 비율을 제어하여 소정의 해상도를 얻을 수 있도록 한다.
이 경우, CPU(201)는 디코드한 화상 데이터의 해상도, 모니터의 해상도 및 뷰(view)의 수에 기초하여 디코디드 버퍼에 축적되어 있는 화상 데이터에 대한 스케일링비를 산출하고, 스케일러(218-1, 218-2, 218-3)에 지시를 행한다. 도 28은 스케일링비의 산출예를 도시하고 있다.
예를 들어, 디코드한 화상 데이터의 해상도가 960*1080이며, 모니터 해상도가 1920*1080으로, 표시하는 뷰의 수가 4인 경우에는 스케일링비는 1/2이 된다. 또한, 예를 들어 디코드한 화상 데이터의 해상도가 1920*1080이며, 모니터 해상도가 1920*1080으로, 표시하는 뷰의 수가 4인 경우에는 스케일링비는 1/4이 된다. 또한, 예를 들어 디코드한 화상 데이터의 해상도가 1920*2160이며, 모니터 해상도가 3840*2160으로, 표시하는 뷰의 수가 8인 경우에는 스케일링비는 1/4이 된다.
코디드 버퍼(221)는 디멀티플렉서(214)에서 추출되는 시차 스트림을 일시적으로 축적한다. 시차 디코더(222)는 상술한 송신 데이터 생성부(110)의 시차 인코더(117)(도 7 참조)와는 역의 처리를 행한다. 즉, 시차 디코더(222)는 코디드 버퍼(221)에 기억되어 있는 시차 스트림의 복호화 처리를 행하여 시차 데이터를 얻는다. 이 시차 데이터에는 중앙 뷰와 좌측 단부 뷰 사이의 시차 데이터와, 중앙 뷰와 우측 단부 뷰 사이의 시차 데이터가 포함되어 있다. 또한, 이 시차 데이터는 화소 단위, 또는 블록 단위의 시차 데이터이다. 시차 버퍼(223)는 시차 디코더(222)에서 취득된 시차 데이터를 일시적으로 축적한다.
시차 데이터 변환부(224)는 시차 버퍼(223)에 축적되어 있는 시차 데이터에 기초하여 스케일링 후의 화상 데이터의 크기에 맞는 화소 단위의 시차 데이터를 생성한다. 예를 들어, 송신되어 오는 시차 데이터가 블록 단위인 경우에는 화소 단위의 시차 데이터로 변환한다(도 11 참조). 또한, 예를 들어 송신되어 오는 시차 데이터가 화소 단위이지만, 스케일링 후의 화상 데이터의 크기에 맞지 않을 경우에는 적절히 스케일링된다.
뷰 보간부(219)는 스케일링 후의 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터로부터 시차 데이터 변환부(224)에서 얻어진 각 뷰간의 시차 데이터에 기초하여 전송되어 오지 않는 소정수의 뷰의 화상 데이터를 보간 합성한다. 즉, 뷰 보간부(219)는 중앙 뷰와 좌측 단부 뷰 사이에 위치하는 각 뷰의 화상 데이터를 보간 합성해서 출력한다. 또한, 뷰 보간부(219)는 중앙 뷰와 우측 단부 뷰 사이에 위치하는 각 뷰의 화상 데이터를 보간 합성해서 출력한다.
도 29는 뷰 보간부(219)에 있어서의 보간 합성 처리의 일례를 개략적으로 도시하고 있다. 도시한 예에 있어서, 예를 들어 커런트 뷰(Current view)는 상술한 중앙 뷰에 상당하고, 타겟 뷰(1)(TargetView 1)는 상술한 좌측 단부 뷰에 상당하고, 타겟 뷰(2)(Target View 2)는 상술한 우측 단부 뷰에 상당한다.
커런트 뷰와 타겟 뷰(1) 사이에 위치하는 뷰의 보간 합성과, 커런트 뷰와 타겟 뷰(2) 사이에 위치하는 뷰의 보간 합성은 동일하게 행해진다. 이하에서는 커런트 뷰와 타겟 뷰(1) 사이에 위치하는 뷰의 보간 합성에 대해서 설명한다.
커런트 뷰와 타겟 뷰(1) 사이에 위치하는 보간 합성하는 뷰의 화소는 이하와 같이 할당된다. 이 경우, 커런트 뷰로부터 타겟 뷰(1)를 지시하는 시차 데이터와, 반대로 타겟 뷰(1)로부터 커런트 뷰를 지시하는 시차 데이터의 2방향의 시차 데이터가 사용된다. 우선, 보간 합성하는 뷰의 화소로서 커런트 뷰의 화소를, 시차 데이터를 벡터로서 어긋나게 함으로써 할당한다(커런트 뷰에서 타겟 뷰(1)를 향한 실선 화살표 및 파선 화살표와, 검정색 동그라미를 참조).
이 때, 타겟 뷰(1)에 있어서 타겟 오클루디드(target occluded)가 되는 부분에서는 이하의 화소 할당을 행한다. 즉, 보간 합성하는 뷰의 화소로서 타겟 뷰(1)의 화소를, 시차 데이터를 벡터로서 어긋나게 함으로써 할당한다(타겟 뷰(1)에서 커런트 뷰를 향한 일점 쇄선 화살표와, 흰색 동그라미를 참조).
이와 같이, 타겟 오클루디드가 되는 부분에서는 쌍방향의 시차 데이터를 가짐으로써 보간 합성되는 뷰의 화소를 백그라운드(background)로 간주할 수 있는 뷰로부터의 화소로 충당할 수 있다. 또한, 쌍방향에서 대응할 수 없는 오클루젼(Occlusion) 영역은 포스트(Post) 처리로 값을 충당한다.
또한, 도시한 화살표의 선단이 겹쳐져 있는 타겟 오버랩드(target overlapped)가 되는 부분은 타겟 뷰(1)에 있어서 시차(disparity)에 의한 시프트가 겹치는 부분이다. 이 부분에 있어서는 2개의 시차 중 어느 쪽이 커런트 뷰의 포어 그라운드(fore ground)에 상당하는지를 시차 데이터의 값으로 판단하여 선택한다. 이 경우에는 주로 값이 작은 쪽이 선택된다.
도 27로 되돌아가서, 코디드 버퍼(225)는 디멀티플렉서(214)에서 추출되는 그래픽스 스트림을 일시적으로 축적한다. 그래픽스 디코더(226)는 상술한 송신 데이터 생성부(110)의 그래픽스 인코더(119)(도 7 참조)와는 역의 처리를 행한다. 즉, 그래픽스 디코더(226)는 코디드 버퍼(225)에 기억되어 있는 그래픽스 스트림의 복호화 처리를 행하여 복호화된 그래픽스 데이터(서브타이틀 데이터를 포함함)를 얻는다. 또한, 그래픽스 디코더(226)는 이 그래픽스 데이터에 기초하여 뷰(화상)에 중첩하는 그래픽스의 비트맵 데이터를 발생한다.
픽셀 버퍼(227)는 그래픽스 디코더(226)에서 발생되는 그래픽스의 비트맵 데이터를 일시적으로 축적한다. 스케일러(228)는 픽셀 버퍼(227)에 축적되어 있는 그래픽스의 비트맵 데이터의 크기를 스케일링 후의 화상 데이터의 크기에 대응하도록 조정한다. 그래픽스 시프터(229)는 크기 조정 후의 그래픽스의 비트맵 데이터에 대하여 시차 데이터 변환부(224)에서 얻어지는 시차 데이터에 기초하여 시프트 처리를 실시한다. 그리고, 그래픽스 시프터(229)는 뷰 보간부(219)로부터 출력되는 N개의 뷰(View1, View2, …, ViewN)의 화상 데이터에 각각 중첩하는 N개의 그래픽스의 비트맵 데이터를 생성한다.
픽셀 인터리브/중첩부(220)는 뷰 보간부(219)로부터 출력되는 N개의 뷰(View1, View2, …, ViewN)의 화상 데이터에 각각 대응하는 그래픽스의 비트맵 데이터를 중첩한다. 또한, 픽셀 인터리브/중첩부(220)는 N개의 뷰(View1, View2, …, ViewN)의 화상 데이터에 대하여 픽셀 인터리브 처리를 행하여 3차원 화상(입체 화상)의 육안 관상을 위한 표시용 화상 데이터를 생성한다.
코디드 버퍼(230)는 디멀티플렉서(214)에서 추출되는 오디오 스트림을 일시적으로 축적한다. 오디오 디코더(231)는 상술한 송신 데이터 생성부(110)의 오디오 인코더(121)(도 7 참조)와는 역의 처리를 행한다. 즉, 오디오 디코더(231)는 코디드 버퍼(230)에 기억되어 있는 오디오 스트림의 복호화 처리를 행하여 복호화된 음성 데이터를 얻는다. 채널 믹싱부(232)는 오디오 디코더(231)에서 얻어지는 음성 데이터에 대하여, 예를 들어 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터를 생성해서 출력한다.
또한, 디코디드 버퍼(217-1, 217-2, 217-2)로부터의 각 뷰의 화상 데이터의 판독과, 시차 버퍼(223)로부터의 시차 데이터의 판독과, 픽셀 버퍼(227)로부터의 그래픽스의 비트맵 데이터의 판독은 PTS에 기초해서 행해져서 전송 동기가 취해진다.
수신기(200)의 동작을 간단하게 설명한다. 안테나 단자(211)에 입력된 텔레비전 방송 신호는 디지털 튜너(212)에 공급된다. 이 디지털 튜너(212)에서는 텔레비전 방송 신호가 처리되어서 유저의 선택 채널에 대응한 소정의 트랜스포트 스트림(TS)이 출력된다. 이 트랜스포트 스트림(TS)은 TS 버퍼(213)에 일시적으로 축적된다.
이 트랜스포트 스트림(TS)에는 입체 화상 표시를 위한 복수의 뷰 중 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰로서의 중앙의 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림이 포함되어 있다.
디멀티플렉서(214)에서는 TS 버퍼(213)에 일시적으로 축적된 트랜스포트 스트림(TS)으로부터 비디오, 시차, 그래픽스 및 오디오의 각 엘리멘터리 스트림이 추출된다. 또한, 디멀티플렉서(214)에서는 이 트랜스포트 스트림(TS)으로부터 식별 정보로서의 멀티 뷰 스트림 컨피규레이션 디스크립터가 추출되어 CPU(201)에 보내진다. CPU(201)에서는 이 디스크립터의 「multiview_stream_check flag」의 1비트 필드에 의해, 비디오 스트림의 레이어에 뷰 구성 정보의 삽입이 있는지 여부를 용이하게 판단할 수 있다
디멀티플렉서(214)에서 추출되는 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터는 각각 코디드 버퍼(215-1, 215-2, 215-3)에 공급되어서 일시적으로 축적한다. 그리고, 비디오 디코더(216-1, 216-2, 216-3)에서는 CPU(201)의 제어 하에 각각 코디드 버퍼(215-1, 215-2, 215-3)에 기억되어 있는 비디오 스트림의 복호화 처리가 행해져서 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터가 취득된다.
또한, 각 비디오 디코더에서는 비디오 스트림의 픽처 헤더 또는 시퀀스 헤더의 유저 데이터 영역 등에 삽입되어 있는 뷰 구성 정보로서의 멀티 뷰 스트림 컨피규레이션 인포(multiview_stream_configuration_info())가 추출되어 CPU(201)에 보내진다. CPU(201)는 이 뷰 구성 정보에 기초하여 픽처 단위 또는 GOP 단위로 디멀티플렉서(214), 비디오 디코더(216-1, 216-2, 216-3), 스케일러(218-1, 218-2, 218-3), 뷰 보간부(219) 등의 동작을 제어한다.
비디오 디코더(216-1, 216-2, 216-3)에서 취득된 각 뷰의 화상 데이터는 각각 디코디드 버퍼(217-1, 217-2, 217-3)에 공급되어서 일시적으로 축적된다. 스케일러(218-1, 218-2, 218-3)에서는 각각 디코디드 버퍼(217-1, 217-2, 217-3)로부터 출력되는 각 뷰의 화상 데이터의 출력 해상도가 소정의 해상도가 되도록 조정된다.
또한, 디멀티플렉서(214)에서 추출되는 시차 스트림은 코디드 버퍼(221)에 공급되어서 일시적으로 축적된다. 시차 디코더(222)에서는 코디드 버퍼(221)에 기억되어 있는 시차 스트림의 복호화 처리가 행해져서 시차 데이터가 얻어진다. 이 시차 데이터에는 중앙 뷰와 좌측 단부 뷰 사이의 시차 데이터와, 중앙 뷰와 우측 단부 뷰 사이의 시차 데이터가 포함되어 있다. 또한, 이 시차 데이터는 화소 단위, 또는 블록 단위의 시차 데이터이다.
시차 디코더(222)에서 취득된 시차 데이터는 시차 버퍼(223)에 공급되어서 일시적으로 축적된다. 시차 데이터 변환부(224)는 시차 버퍼(223)에 축적되어 있는 시차 데이터에 기초하여 스케일링 후의 화상 데이터의 크기에 맞는 화소 단위의 시차 데이터가 생성된다. 이 경우, 송신되어 오는 시차 데이터가 블록 단위인 경우에는 화소 단위의 시차 데이터로 변환된다. 또한, 이 경우, 송신되어 오는 시차 데이터가 화소 단위이지만, 스케일링 후의 화상 데이터의 크기에 맞지 않을 경우에는 적절히 스케일링된다.
뷰 보간부(219)에서는 스케일링 후의 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터로부터 시차 데이터 변환부(224)에서 얻어진 각 뷰간의 시차 데이터에 기초하여 전송되어 오지 않는 소정수의 뷰의 화상 데이터가 보간 합성된다. 이 뷰 보간부(219)로부터는 3차원 화상(입체 화상)을 육안 관상하기 위한 N개의 뷰(View1, View2, …, ViewN)의 화상 데이터가 얻어진다. 또한, 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터도 포함된다.
또한, 디멀티플렉서(214)에서 추출되는 그래픽스 스트림은 코디드 버퍼(225)에 공급되어서 일시적으로 축적된다. 그래픽스 디코더(226)에서는 코디드 버퍼(225)에 기억되어 있는 그래픽스 스트림의 복호화 처리가 행해져서 복호화된 그래픽스 데이터(서브타이틀 데이터를 포함함)가 얻어진다. 또한, 이 그래픽스 디코더(226)에서는 이 그래픽스 데이터에 기초하여 뷰(화상)에 중첩하는 그래픽스의 비트맵 데이터가 발생된다.
그래픽스 디코더(226)에서 발생되는 그래픽스의 비트맵 데이터는 픽셀 버퍼(227)에 공급되어서 일시적으로 축적된다. 스케일러(228)에서는 픽셀 버퍼(227)에 축적되어 있는 그래픽스의 비트맵 데이터의 크기가 스케일링 후의 화상 데이터의 크기에 대응하도록 조정된다.
그래픽스 시프터(229)에서는 크기 조정 후의 그래픽스의 비트맵 데이터에 대하여 시차 데이터 변환부(224)에서 얻어지는 시차 데이터에 기초하여 시프트 처리가 실시된다. 그리고, 그래픽스 시프터(229)에서는 뷰 보간부(219)로부터 출력되는 N개의 뷰(View1, View2, …, ViewN)의 화상 데이터에 각각 중첩하는 N개의 그래픽스의 비트맵 데이터가 생성되어 픽셀 인터리브/중첩부(220)에 공급된다.
픽셀 인터리브/중첩부(220)에서는 N개의 뷰(View1, View2, …, ViewN)의 화상 데이터에 각각 대응하는 그래픽스의 비트맵 데이터가 중첩된다. 또한, 픽셀 인터리브/중첩부(220)에서는 N개의 뷰(View1, View2, …, ViewN)의 화상 데이터에 대하여 픽셀 인터리브 처리가 행해져서 3차원 화상(입체 화상)의 육안 관상을 위한 표시용 화상 데이터가 생성된다. 이 표시용 화상 데이터가 디스플레이에 공급됨으로써 3차원 화상(입체 화상)의 육안 관상을 위한 화상 표시가 행해진다.
또한, 디멀티플렉서(214)에서 추출되는 오디오 스트림은 코디드 버퍼(230)에 공급되어서 일시적으로 축적된다. 오디오 디코더(231)에서는 코디드 버퍼(230)에 기억되어 있는 오디오 스트림의 복호화 처리가 행해져서 복호화된 음성 데이터가 얻어진다. 이 음성 데이터는 채널 믹싱부(232)에 공급된다. 채널 믹싱부(232)에서는 음성 데이터에 대하여, 예를 들어 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터가 생성된다. 이 음성 데이터는, 예를 들어 스피커에 공급되어 화상 표시에 맞춘 음성 출력이 이루어진다.
상술한 바와 같이, 도 27에 도시하는 수신기(200)에 있어서는, 입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터가 수신되는 것이다. 그리고, 이 수신기(200)에 있어서 그 밖의 뷰는 시차 데이터에 기초하여 보간 처리로 얻는 것이다. 그로 인해, 멀티 뷰 구성에 의한 입체 화상의 육안 관상을 양호하게 행할 수 있다.
즉, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터뿐만 아니라 중앙의 뷰의 화상 데이터도 수신된다. 그로 인해, 뷰간의 상대 시차가 작고, 전송되지 않는 뷰의 화상 데이터를 보간할 때의 세심한 부분의 처리에 수반되는 오클루젼 주변의 보간이 용이해져서 재생 화상의 품질 향상을 도모할 수 있다. 또한, 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터가 수신되므로, 전송되지 않는 뷰의 화상 데이터의 보간은 모두 내삽 처리에 의해 합성할 수 있고, 오클루젼 등의 단부점 처리에 대해서 고화질을 유지하는 것이 용이해진다.
또한, 도 27에 도시하는 수신기(200)는 트랜스포트 스트림(TS)에 시차 데이터가 부호화되어서 얻어진 시차 스트림이 포함되는 경우의 구성예를 도시하고 있다. 트랜스포트 스트림(TS)에 시차 스트림이 포함되어 있지 않은 경우에는 수신된 각 뷰의 화상 데이터로부터 시차 데이터를 생성해서 사용하게 된다.
도 30은 그 경우에 있어서의 수신기(200A)의 구성예를 도시하고 있다. 이 도 30에 있어서, 도 27과 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다. 이 수신기(200A)는 시차 데이터 생성부(233)를 갖고 있다. 이 시차 데이터 생성부(233)는 스케일링 처리된 중앙, 좌측 단부 및 우측 단부의 각 뷰의 화상 데이터에 기초하여 시차 데이터를 생성한다.
상세 설명은 생략하지만, 이 경우에 있어서의 시차 데이터의 생성 방법은, 상술한 송신 데이터 생성부(110)에 있어서의 시차 데이터 생성부(116)에 있어서의 시차 데이터 생성 방법과 동일하다. 또한, 이 시차 데이터 생성부(233)는 도 27에 도시하는 수신기(200)의 시차 데이터 변환부(224)에서 생성되는 화소 단위의 시차 데이터와 동일한 시차 데이터를 생성해서 출력한다. 시차 데이터 생성부(233)에서 생성된 시차 데이터는 뷰 보간부(219)에 공급됨과 함께 그래픽스 시프터(229)에 공급되어서 사용된다.
또한, 도 30에 도시하는 수신기(200A)에 있어서는, 도 27에 도시하는 수신기(200)에 있어서의 코디드 버퍼(221), 시차 디코더(222), 시차 버퍼(223) 및 시차 데이터 변환부(224)는 생략된다. 이 도 30에 도시하는 수신기(200A)에 있어서의 그 밖의 구성은 도 27에 도시하는 수신기(200)의 구성과 동일해진다.
<2. 변형예>
또한, 상술한 실시 형태에 있어서는, 방송국(100)과 수신기(200)를 포함하여 이루어지는 화상 송수신 시스템(10)을 나타냈지만, 본 기술을 적용할 수 있는 화상 송수신 시스템의 구성은 이것에 한정되지는 않는다. 예를 들어, 수신기(200)의 부분이, 예를 들어(HDMI(High-Definition Multimedia Interface) 등의 디지털 인터페이스로 접속된 셋톱 박스 및 모니터의 구성 등이어도 된다.
또한, 상술한 실시 형태에 있어서는, 컨테이너가 트랜스포트 스트림(MPEG-2TS)인 예를 나타냈다. 그러나, 본 기술은 인터넷 등의 네트워크를 이용해서 수신 단말기에 배신되는 구성의 시스템에도 동일하게 적용할 수 있다. 인터넷의 배신에서는 MP4나 그 이외의 포맷의 컨테이너로 배신되는 경우가 많다. 즉, 컨테이너로서는 디지털 방송 규격에서 채용되고 있는 트랜스포트 스트림(MPEG-2TS), 인터넷 배신에서 사용되고 있는 MP4 등의 다양한 포맷의 컨테이너가 해당한다.
또한, 본 기술은 이하와 같은 구성을 취할 수도 있다.
(1)입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 상기 좌측 단부와 상기 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터를 취득하는 화상 데이터 취득부와,
취득된 상기 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는 송신 장치.
(2)상기 비디오 스트림의 레이어에 상기 비디오 스트림 내의 화상 데이터에 관한 뷰 구성 정보를 삽입하는 뷰 구성 정보 삽입부를 더 구비하는 상기 (1)에 기재된 송신 장치.
(3)상기 컨테이너의 레이어에, 상기 비디오 스트림의 레이어에 상기 뷰 구성 정보의 삽입이 있는지 여부를 식별하기 위한 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하는 상기 (2)에 기재된 송신 장치.
(4)상기 컨테이너가 포함하는 비디오 스트림에 있어서, 상기 좌측 단부의 뷰 및 상기 우측 단부의 뷰의 화상 데이터는 각각 1개의 픽처의 데이터로서 부호화되어 있는 상기 (1) 내지 (3) 중 어느 하나에 기재된 송신 장치.
(5)상기 컨테이너가 포함하는 비디오 스트림에 있어서, 상기 좌측 단부의 뷰 및 상기 우측 단부의 뷰의 화상 데이터는 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있는 상기 (1) 내지 (3) 중 어느 하나에 기재된 송신 장치.
(6)상기 컨테이너가 포함하는 비디오 스트림은 1개 또는 복수의 픽처의 데이터를 포함하는 상기 (1) 내지 (5) 중 어느 하나에 기재된 송신 장치.
(7)상기 컨테이너가 포함하는 비디오 스트림이 복수의 픽처의 부호화 데이터를 포함할 때, 각 픽처의 부호화 데이터 사이에 경계를 나타내는 정보가 배치되는 상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(8)상기 컨테이너가 포함하는 비디오 스트림에 있어서, 소정의 뷰의 화상 데이터가 1개의 픽처의 데이터로서 부호화되어 있을 때, 상기 비디오 스트림의 레이어에 삽입되는 상기 뷰 구성 정보에는 상기 소정의 뷰의 위치를 나타내는 정보가 포함되는 상기 (2)에 기재된 송신 장치.
(9)상기 컨테이너가 포함하는 비디오 스트림에 있어서, 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있을 때, 상기 비디오 스트림의 레이어에 삽입되는 상기 뷰 구성 정보에는 상기 2개의 뷰의 위치를 나타내는 정보가 포함되는 상기 (2) 또는 (8)에 기재된 송신 장치.
(10)상기 뷰 구성 정보에는 상기 2개의 뷰의 화상 데이터에 대하여 행해지는 인터리브의 타입을 나타내는 정보가 더 포함되는 상기 (9)에 기재된 송신 장치.
(11)상기 비디오 스트림의 레이어에 삽입되는 상기 뷰 구성 정보에는 상기 비디오 스트림의 1액세스 유닛 내에 복수의 픽처의 데이터가 부호화되어 있는지 여부를 나타내는 정보가 포함되어 있는 상기 (2), (8) 내지 (10) 중 어느 하나에 기재된 송신 장치.
(12)상기 비디오 스트림의 레이어에 삽입되는 상기 뷰 구성 정보에는 화상 표시에 필수적인 뷰의 화상 데이터가 부호화되어 있는 비디오 스트림인지 여부를 나타내는 정보가 포함되어 있는 상기 (2), (8) 내지 (11) 중 어느 하나에 기재된 송신 장치.
(13)상기 비디오 스트림의 레이어에 삽입되는 상기 뷰 구성 정보에는 수평 및/또는 수직의 소정의 해상도에 대한 화소 비율 정보가 포함되어 있는 상기 (2), (8) 내지 (12) 중 어느 하나에 기재된 송신 장치.
(14)상기 각 뷰 사이의 시차 데이터를 취득하는 시차 데이터 취득부를 더 구비하고,
상기 화상 데이터 송신부는,
상기 취득된 화상 데이터가 부호화되어서 얻어진 비디오 스트림의 이외에, 취득된 상기 시차 데이터가 부호화되어서 얻어진 시차 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 상기 (1) 내지 (13) 중 어느 하나에 기재된 송신 장치.
(15)상기 컨테이너는 트랜스포트 스트림인 상기 (1) 내지 (14) 중 어느 하나에 기재된 송신 장치.
(16)입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 상기 좌측 단부와 상기 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터를 취득하는 화상 데이터 취득 스텝과,
취득된 상기 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신 스텝을 구비하는 송신 방법.
(17)입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 상기 좌측 단부와 상기 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부와,
상기 컨테이너에 포함되는 비디오 스트림을 디코드하고, 상기 각 뷰의 화상 데이터를 얻는 화상 데이터 취득부와,
상기 각 뷰 사이의 시차 데이터에 기초하여 상기 각 뷰 사이에 위치하는 소정수의 뷰의 화상 데이터를 보간 처리로 취득하는 보간 처리부를 구비하는 수신 장치.
(18)상기 컨테이너는 상기 시차 데이터가 부호화되어서 얻어진 시차 스트림을 포함하고,
상기 컨테이너에 포함되는 상기 시차 스트림을 디코드해서 상기 시차 데이터를 얻는 시차 데이터 취득부를 더 구비하는 상기 (17)에 기재된 수신 장치.
(19)상기 화상 데이터 취득부에서 얻어진 상기 각 뷰의 화상 데이터에 기초하여 상기 시차 데이터를 생성하는 시차 데이터 생성부를 더 구비하는 상기 (17)에 기재된 수신 장치.
(20)입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부 뷰 및 우측 단부의 뷰의 화상 데이터와, 상기 좌측 단부와 상기 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신 스텝과,
상기 컨테이너에 포함되는 비디오 스트림을 디코드하여 상기 각 뷰의 화상 데이터를 얻는 화상 데이터 취득 스텝과,
상기 각 뷰 사이의 시차 데이터에 기초하여 상기 각 뷰 사이에 위치하는 소정수의 뷰의 화상 데이터를 보간 처리로 취득하는 보간 처리 스텝을 구비하는 수신 방법.
본 기술의 주된 특징은, 3차원 화상(입체 화상)의 육안 관상을 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 좌측 단부와 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터를 송신하도록 한 것으로, 전송 대역을 억제하면서 재생 화상 품질의 향상을 도모할 수 있다는 화상 데이터의 효과적인 전송을 가능하게 한 것이다(도 6 참조).
10 : 화상 송수신 시스템
100 : 방송국
110 : 송신 데이터 생성부
111-1 내지 111-N : 화상 데이터 출력부
112 : 뷰 셀렉터
113-1, 113-2, 113-3 : 스케일러
114-1, 114-2, 114-3 : 비디오 인코더
115 : 멀티플렉서
116 : 시차 데이터 생성부
117 : 시차 인코더
118 : 그래픽스 데이터 출력부
119 : 그래픽스 인코더
120 : 음성 데이터 출력부
121 : 오디오 인코더
200, 200A : 수신기
201 : CPU
211 : 안테나 단자
212 : 디지털 튜너
213 : 트랜스포트 스트림(TS 버퍼)
214 : 디멀티플렉서
215-1, 215-2, 215-3, 221, 225, 230 : 코디드 버퍼
216-1, 216-2, 216-3 : 비디오 디코더
217-1, 217-2, 217-3 : 뷰 버퍼
218-1, 218-2, 218-3, 228 : 스케일러
219 : 뷰 보간부
220 : 픽셀 인터리브/중첩부
222 : 시차 디코더
223 : 시차 버퍼
224 : 시차 데이터 변환부
226 : 그래픽스 디코더
227 : 픽셀 버퍼
229 : 그래픽스 시프터
231 : 오디오 디코더
232 : 채널 믹싱부
233 : 시차 데이터 생성부

Claims (20)

  1. 송신 장치로서,
    입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 상기 좌측 단부와 상기 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터를 취득하는 화상 데이터 취득부와,
    취득된 상기 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는, 송신 장치.
  2. 제1항에 있어서,
    상기 비디오 스트림의 레이어에 상기 비디오 스트림 내의 화상 데이터에 관한 뷰 구성 정보를 삽입하는 뷰 구성 정보 삽입부를 더 구비하는, 송신 장치.
  3. 제2항에 있어서,
    상기 컨테이너의 레이어에, 상기 비디오 스트림의 레이어에 상기 뷰 구성 정보의 삽입이 있는지 여부를 식별하기 위한 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하는, 송신 장치.
  4. 제1항에 있어서,
    상기 컨테이너가 포함하는 비디오 스트림에 있어서, 상기 좌측 단부의 뷰 및 상기 우측 단부의 뷰의 화상 데이터는 각각 1개의 픽처의 데이터로서 부호화되어 있는, 송신 장치.
  5. 제1항에 있어서,
    상기 컨테이너가 포함하는 비디오 스트림에 있어서, 상기 좌측 단부의 뷰 및 상기 우측 단부의 뷰의 화상 데이터는 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있는, 송신 장치.
  6. 제1항에 있어서,
    상기 컨테이너가 포함하는 비디오 스트림은 1개 또는 복수의 픽처의 데이터를 포함하는, 송신 장치.
  7. 제1항에 있어서,
    상기 컨테이너가 포함하는 비디오 스트림이 복수의 픽처의 부호화 데이터를 포함할 때, 각 픽처의 부호화 데이터 사이에 경계를 나타내는 정보가 배치되는, 송신 장치.
  8. 제2항에 있어서,
    상기 컨테이너가 포함하는 비디오 스트림에 있어서, 소정의 뷰의 화상 데이터가 1개의 픽처의 데이터로서 부호화되어 있을 때, 상기 비디오 스트림의 레이어에 삽입되는 상기 뷰 구성 정보에는 상기 소정의 뷰의 위치를 나타내는 정보가 포함되는, 송신 장치.
  9. 제2항에 있어서,
    상기 컨테이너가 포함하는 비디오 스트림에 있어서, 2개의 뷰의 화상 데이터가 인터리브 처리되어서 1개의 픽처의 데이터로서 부호화되어 있을 때, 상기 비디오 스트림의 레이어에 삽입되는 상기 뷰 구성 정보에는 상기 2개의 뷰의 위치를 나타내는 정보가 포함되는, 송신 장치.
  10. 제9항에 있어서,
    상기 뷰 구성 정보에는 상기 2개의 뷰의 화상 데이터에 대하여 행해지는 인터리브의 타입을 나타내는 정보가 더 포함되는, 송신 장치.
  11. 제2항에 있어서,
    상기 비디오 스트림의 레이어에 삽입되는 상기 뷰 구성 정보에는 상기 비디오 스트림의 1액세스 유닛 내에 복수의 픽처의 데이터가 부호되어 있는지 여부를 나타내는 정보가 포함되어 있는, 송신 장치.
  12. 제2항에 있어서,
    상기 비디오 스트림의 레이어에 삽입되는 상기 뷰 구성 정보에는 화상 표시에 필수적인 뷰의 화상 데이터가 부호화되어 있는 비디오 스트림인지 여부를 나타내는 정보가 포함되어 있는, 송신 장치.
  13. 제2항에 있어서,
    상기 비디오 스트림의 레이어에 삽입되는 상기 뷰 구성 정보에는 수평 및/또는 수직의 소정의 해상도에 대한 화소 비율 정보가 포함되어 있는, 송신 장치.
  14. 제1항에 있어서,
    상기 각 뷰 사이의 시차 데이터를 취득하는 시차 데이터 취득부를 더 구비하고,
    상기 화상 데이터 송신부는,
    상기 취득된 화상 데이터가 부호화되어서 얻어진 비디오 스트림의 이외에, 취득된 상기 시차 데이터가 부호화되어서 얻어진 시차 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는, 송신 장치.
  15. 제1항에 있어서,
    상기 컨테이너는 트랜스포트 스트림인, 송신 장치.
  16. 송신 방법으로서,
    입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 상기 좌측 단부와 상기 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터를 취득하는 화상 데이터 취득 스텝과,
    취득된 상기 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신 스텝을 구비하는, 송신 방법.
  17. 수신 장치로서,
    입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부의 뷰 및 우측 단부의 뷰의 화상 데이터와, 상기 좌측 단부와 상기 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부와,
    상기 컨테이너에 포함되는 비디오 스트림을 디코드하여 상기 각 뷰의 화상 데이터를 얻는 화상 데이터 취득부와,
    상기 각 뷰 사이의 시차 데이터에 기초하여 상기 각 뷰 사이에 위치하는 소정수의 뷰의 화상 데이터를 보간 처리로 취득하는 보간 처리부를 구비하는, 수신 장치.
  18. 제17항에 있어서
    상기 컨테이너는 상기 시차 데이터가 부호화되어서 얻어진 시차 스트림을 포함하고,
    상기 컨테이너에 포함되는 상기 시차 스트림을 디코드해서 상기 시차 데이터를 얻는 시차 데이터 취득부를 더 구비하는, 수신 장치.
  19. 제17항에 있어서,
    상기 화상 데이터 취득부에서 얻어진 상기 각 뷰의 화상 데이터에 기초하여 상기 시차 데이터를 생성하는 시차 데이터 생성부를 더 구비하는, 수신 장치.
  20. 수신 방법으로서,
    입체 화상 표시를 위한 복수의 뷰 중 적어도 좌측 단부 뷰 및 우측 단부의 뷰의 화상 데이터와, 상기 좌측 단부와 상기 우측 단부 사이에 위치하는 중간의 뷰의 화상 데이터가 부호화되어서 얻어진 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신 스텝과,
    상기 컨테이너에 포함되는 비디오 스트림을 디코드하여 상기 각 뷰의 화상 데이터를 얻는 화상 데이터 취득 스텝과,
    상기 각 뷰 사이의 시차 데이터에 기초하여 상기 각 뷰 사이에 위치하는 소정수의 뷰의 화상 데이터를 보간 처리로 취득하는 보간 처리 스텝을 구비하는, 수신 방법.
KR1020137016903A 2011-11-11 2012-11-05 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR102009049B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011248114 2011-11-11
JPJP-P-2011-248114 2011-11-11
PCT/JP2012/078637 WO2013069608A1 (ja) 2011-11-11 2012-11-05 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
KR20140095011A true KR20140095011A (ko) 2014-07-31
KR102009049B1 KR102009049B1 (ko) 2019-08-08

Family

ID=48289982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137016903A KR102009049B1 (ko) 2011-11-11 2012-11-05 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (5)

Country Link
US (1) US9693033B2 (ko)
EP (1) EP2645724A4 (ko)
KR (1) KR102009049B1 (ko)
BR (1) BR112013017322A2 (ko)
WO (1) WO2013069608A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
CN103391448B (zh) * 2013-07-12 2015-12-23 上海环鼎影视科技有限公司 多视区裸眼3d播放系统及其播放方法
US9348495B2 (en) 2014-03-07 2016-05-24 Sony Corporation Control of large screen display using wireless portable computer and facilitating selection of audio on a headphone
FI20165256A (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
CN112925109A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示屏、裸眼3d显示终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138384A (ja) 1995-11-15 1997-05-27 Sanyo Electric Co Ltd 立体画像観察用眼鏡の制御方法
JP2004048725A (ja) * 1996-04-05 2004-02-12 Matsushita Electric Ind Co Ltd 画像伝送装置、送信装置及び受信装置
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
KR20090100189A (ko) * 2008-03-19 2009-09-23 삼성전자주식회사 스케일링 정보를 포함하는 스테레오스코픽 영상데이터스트림 부호화 방법 및 장치, 그리고 그 복호화 방법및 그 장치
JP2010245766A (ja) * 2009-04-03 2010-10-28 Sony Corp 画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3157384B2 (ja) * 1994-06-20 2001-04-16 三洋電機株式会社 立体映像装置
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
WO2003092303A1 (en) 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP4251907B2 (ja) 2003-04-17 2009-04-08 シャープ株式会社 画像データ作成装置
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100636785B1 (ko) 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100747550B1 (ko) 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
US20080043832A1 (en) 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US8274551B2 (en) 2007-06-11 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image data
EP2168384A4 (en) 2007-06-19 2013-11-06 Korea Electronics Telecomm METADATA STRUCTURE FOR STORING AND REPRODUCING STEREOSCOPIC DATA, AND METHOD FOR STEREOSCOPIC CONTENT FILE STORAGE USING SUCH METADATA
KR100993428B1 (ko) 2007-12-12 2010-11-09 한국전자통신연구원 Ｄｍｂ 연동형 스테레오스코픽 데이터 처리방법 및스테레오스코픽 데이터 처리장치
EP2232885A1 (en) 2007-12-14 2010-09-29 Koninklijke Philips Electronics N.V. 3d mode selection mechanism for video playback
KR101506219B1 (ko) 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
WO2010037512A1 (en) * 2008-10-02 2010-04-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
CA2767794A1 (en) * 2008-10-07 2010-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Multi-view media data
WO2010048632A1 (en) * 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
RU2513912C2 (ru) 2008-12-09 2014-04-20 Сони Корпорейшн Устройство и способ обработки изображений
JP4984183B2 (ja) 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
EP2421264B1 (en) * 2009-04-17 2016-05-25 LG Electronics Inc. Method and apparatus for processing a multiview video signal
US20110012993A1 (en) 2009-07-14 2011-01-20 Panasonic Corporation Image reproducing apparatus
JP5663857B2 (ja) * 2009-10-08 2015-02-04 株式会社ニコン 画像表示装置および画像表示方法
JP2011010255A (ja) 2009-10-29 2011-01-13 Sony Corp 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP4823349B2 (ja) 2009-11-11 2011-11-24 パナソニック株式会社 三次元映像復号装置及び三次元映像復号方法
CN102334339A (zh) 2009-12-28 2012-01-25 松下电器产业株式会社 显示装置和方法、记录介质、发送装置和方法、以及再现装置和方法
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
DE102010009291A1 (de) * 2010-02-25 2011-08-25 Expert Treuhand GmbH, 20459 Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display
JP5577823B2 (ja) 2010-04-27 2014-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
MX2013002135A (es) * 2010-09-03 2013-04-03 Sony Corp Dispositivo de codificacion y metodo de codificacion, asi como dispositivo de decodificacion y metodo de decodificacion.
WO2012111320A1 (ja) * 2011-02-16 2012-08-23 パナソニック株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
WO2013006115A2 (en) * 2011-07-06 2013-01-10 Telefonaktiebolaget L M Ericsson (Publ) Depth or disparity map upscaling
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
JP6192902B2 (ja) 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138384A (ja) 1995-11-15 1997-05-27 Sanyo Electric Co Ltd 立体画像観察用眼鏡の制御方法
JP2004048725A (ja) * 1996-04-05 2004-02-12 Matsushita Electric Ind Co Ltd 画像伝送装置、送信装置及び受信装置
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
KR20090100189A (ko) * 2008-03-19 2009-09-23 삼성전자주식회사 스케일링 정보를 포함하는 스테레오스코픽 영상데이터스트림 부호화 방법 및 장치, 그리고 그 복호화 방법및 그 장치
JP2010245766A (ja) * 2009-04-03 2010-10-28 Sony Corp 画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラム

Also Published As

Publication number Publication date
KR102009049B1 (ko) 2019-08-08
US9693033B2 (en) 2017-06-27
US20140055561A1 (en) 2014-02-27
WO2013069608A1 (ja) 2013-05-16
EP2645724A4 (en) 2014-08-06
BR112013017322A2 (pt) 2017-03-01
EP2645724A1 (en) 2013-10-02

Similar Documents

Publication Publication Date Title
JP6034420B2 (ja) ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置
JP6192902B2 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR101648455B1 (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
CA2760100C (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
US9019343B2 (en) Image data transmission device, image data transmission method, and image data reception device
US20140078248A1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
CA2772927C (en) Cable broadcast receiver and 3d video data processing method thereof
US8953019B2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
WO2013161442A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR102009049B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR20140000128A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
US20140049606A1 (en) Image data transmission device, image data transmission method, image data reception device, and image data reception method
JP5928118B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP2012235308A (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right