JP6003901B2 - 送信装置、送信方法および受信装置 - Google Patents

送信装置、送信方法および受信装置 Download PDF

Info

Publication number
JP6003901B2
JP6003901B2 JP2013542275A JP2013542275A JP6003901B2 JP 6003901 B2 JP6003901 B2 JP 6003901B2 JP 2013542275 A JP2013542275 A JP 2013542275A JP 2013542275 A JP2013542275 A JP 2013542275A JP 6003901 B2 JP6003901 B2 JP 6003901B2
Authority
JP
Japan
Prior art keywords
information
disparity
image data
data
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013542275A
Other languages
English (en)
Other versions
JPWO2013129158A1 (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2013129158A1 publication Critical patent/JPWO2013129158A1/ja
Application granted granted Critical
Publication of JP6003901B2 publication Critical patent/JP6003901B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

本技術は、送信装置、送信方法および受信装置に関し、特に視差情報等の画像データに関連した関連情報の送信を良好に行い得る送信装置等に関する。
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、立体画像を構成する左眼画像データおよび右眼画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
図６４は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。
特開２００５−６１１４号公報
上述したように、立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知する。ここで、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が、視聴上健康を害さないように所定の範囲内にある必要がある。つまり、受信機側で、視差角をチェックし、この視差角が所定の範囲内に収まっていない場合には、所定の範囲内に収まるように左眼画像および右眼画像を再構成することが期待される。
また、受信機（セットトップボックス、テレビ受信機など）において画像に重畳表示されるＯＳＤ（On-Screen Display）あるいはアプリケーションなどのグラフィクスに関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。受信機においてグラフィクスを画像に重畳表示する場合、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
本技術の目的は、視差情報等の画像データの関連情報の送信を良好に行い得るようにすることにある。
本技術の概念は、
ヘッダ部とコンテンツ部からなるデータパケットを生成するデータパケット生成部と、
上記データパケットを、画像データに対応付けて、外部機器に送信する送信部とを備え、
上記データパケット生成部は、上記コンテンツ部に上記画像データの関連情報を挿入し、上記ヘッダ部に上記関連情報の種別を識別するための識別情報を挿入する
送信装置にある。
本技術において、データパケット生成部により、ヘッダ部とコンテンツ部からなるデータパケットが生成される。そして、送信部により、このデータパケットは、画像データに対応付けされて、外部機器に送信される。データパケット生成部では、コンテンツ部に画像データの関連情報が挿入され、ヘッダ部に関連情報の種別を識別するための識別情報が挿入される。
例えば、データパケット生成部では、コンテンツ部に挿入される関連情報のデータ量に応じてコンテンツ部のサイズが決定され、ヘッダ部に、この決定されたサイズを示すサイズ情報が挿入されてもよい。例えば、パケット生成部では、データパケットが、画像データの所定数のピクチャ毎に生成されてもよい。ここで、所定数が１である場合、全てのピクチャに対応してデータパケットが生成される。
例えば、画像データは、立体画像を構成する左眼画像データおよび右眼画像データであり、関連情報は、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域毎の代表視差情報とされる。例えば、この場合、所定領域毎の代表視差情報には、所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報が含まれる。また、例えば、この場合、所定領域毎の代表視差情報には、所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が含まれる。
このように本技術においては、画像データの関連情報、例えば視差情報等がデータパケットのコンテンツ部に挿入されると共に、このデータパケットのヘッダ部に関連情報の種別を識別するための識別情報が挿入されて、外部機器に送信される。そのため、視差情報等の画像データの関連情報を、効率的に、外部機器に送信することが可能となる。
なお、本技術において、例えば、データパケット生成部では、代表視差情報をコンテンツ部に絶対値データとして挿入する、ようにされてもよい。この場合、正負の符号ビットを不要とでき、その分だけ、視差情報のダイナミックレンジを拡張することが可能となる。
例えば、送信部では、データパケットを、画像データのブランキング期間に挿入して、外部機器に送信する、ようにされてもよい。また、例えば、送信部は、垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間、および主映像領域および補助映像領域を有するアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成して、外部機器に送信し、主映像領域に画像データが配され、補助映像領域にデータパケットが配されてもよい。
また、本技術の概念は、
立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の分割パターンに対応した各分割領域における代表視差情報を取得する視差情報取得部と、
上記画像データが符号化されて得られたビデオストリームに、上記各分割領域における代表視差情報を挿入する視差情報挿入部と、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備える
送信装置にある。
本技術において、画像データ取得部により、立体画像を構成する左眼画像データおよび右眼画像データが取得される。視差情報取得部により、画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の分割パターンに対応した各分割領域における代表視差情報が取得される。そして、視差情報挿入部により、画像データが符号化されて得られたビデオストリームに、各分割領域における代表視差情報が挿入される。
例えば、複数の分割パターンから所定の分割パターンを選択するパターン選択部をさらに備え、視差情報取得部は、ピクチャ表示画面の選択された所定の分割パターンに対応した各分割領域における代表視差情報を取得する、ようにされてもよい。この場合、ユーザ（使用者）は、分割パターンの選択で、所望の分割パターンによる各分割領域の代表視差情報が取得される状態とすることができる。
また、例えば、各分割領域における代表視差情報には、分割領域における最も手前のオブジェクト再生位置に対応した第１の視差情報が含まれてもよい。また、例えば、各分割領域における代表視差情報には、分割領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、分割領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が含まれてもよい。
また、例えば、視差情報挿入部は、代表視差情報を、ビデオストリームに、絶対値データとして挿入する、ようにされてもよい。この場合、正負の符号ビットを不要とでき、その分だけ、視差情報のダイナミックレンジを拡張することが可能となる。
また、本技術のさらに他の概念は、
ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
上記ビデオストリームには、上記画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の分割パターンに対応した各分割領域における代表視差情報が挿入されており、
上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の代表視差情報を取得する情報取得部と、
上記各ピクチャの分割領域毎の代表視差情報に対して時間軸方向に平滑化の処理を行う情報平滑化部と、
画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生部と、
上記取得された上記画像データおよび上記平滑化された視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
受信装置にある。
本技術において、画像データ受信部により、ビデオストリームを含む所定フォーマットのコンテナが受信される。このビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものである。また、このビデオストリームには、画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の分割パターンに対応した各分割領域における代表視差情報が挿入されている。
情報取得部により、コンテナに含まれるビデオストリームから、左眼画像データおよび右眼画像データが取得されると共に、この画像データの各ピクチャの分割領域毎の代表視差情報が取得される。そして、情報平滑部により、各ピクチャの分割領域毎の代表視差情報に対して時間軸方向に平滑化の処理が行われる。また、グラフィクスデータ発生部により、画像上にグラフィクスを表示するためのグラフィクスデータが発生される。このグラフィクスは、例えば、ＯＳＤあるいはアプリケーションなどのグラフィクス、あるいは、サービス内容を示すＥＰＧ情報である。
画像データ処理部により、取得された画像データおよび平滑化された視差情報と、発生されたグラフィクスデータとが用いられて、グラフィクスが重畳された左眼画像および右眼画像のデータが得られる。この場合、左眼画像および右眼画像に重畳されるグラフィクスに、ピクチャ毎に、このグラフィクスの表示位置に対応した視差が付与されることで、グラフィクスが重畳された左眼画像のデータおよびグラフィクスが重畳された右眼画像のデータが得られる。例えば、画像データ処理部では、グラフィクスの表示位置に対応した所定数の分割領域の視差情報から選択された視差情報、例えば最小値などの最適な視差情報が使用されて、このグラフィクスへの視差付与が行われる。
このように本技術においては、送信側から送られてくるビデオストリームに挿入されている視差情報に基づいて、立体画像に重畳表示されるグラフィクスの奥行き制御が行われる。この場合、ビデオストリームには画像データのピクチャ毎に取得された各分割領域の代表視差情報が挿入されており、グラフィクスの奥行き制御をピクチャ（フレーム）精度で良好に行うことができる。また、この場合、各ピクチャの分割領域毎の代表視差情報に対して時間軸方向の平滑化処理が施されて使用されるので、視差情報の急激な変化にたいしても、視聴違和感の発生を軽減できる。
本技術によれば、視差情報等の画像データの関連情報の送信を良好に行うことができる。
実施の形態としての画像送受信システムの構成例を示すブロック図である。 ブロック（Block）毎の視差情報（視差ベクトル）の一例を示す図である。 ブロック単位の視差情報の生成方法の一例を説明するための図である。 ブロック毎の視差情報から所定の分割領域の視差情報を得るためのダウンサイジング処理の一例を説明するための図である。 符号化ブロック境界を跨がないようにピクチャ表示画面が分割されることを説明するための図である。 ピクチャ毎の各分割領域の視差情報の推移例を模式的に示す図である。 画像データのピクチャ毎に取得された視差情報のビデオストリームへの挿入タイミングを説明するための図である。 放送局においてトランスポートストリームを生成する送信データ生成部の構成例を示すブロック図である。 トランスポートストリームの構成例を示す図である。 ＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）の構造例（Syntax）および主要な規定内容（semantics）を示す図である。 ＭＶＣ・エクステンション・デスクリプタ（MVC extension descriptor）の構造例（Syntax）および主要な規定内容（semantics）を示す図である。 グラフィクス・デプス・インフォ・デスクリプタ（graphics_depth_info_descriptor）の構造例（Syntax）および主要な規定内容（semantics）を示す図である。 符号化方式がＡＶＣである場合におけるＧＯＰの先頭のアクセスユニットおよびＧＯＰの先頭以外のアクセスユニットの一例を示している。 「depth_information SEI message」の構造例(Syntax)および「depth_information_data()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information()」の構造例(Syntax)を示す図である。 「depth_information()」の構造例(Syntax)における主要な情報の内容（Semantics）を示す図である。 ピクチャ表示画面の分割例を示す図である。 ピクチャ毎の視差情報を複数のピクチャをまとめて符号化する場合における、「depth_information()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報を複数のピクチャをまとめて符号化する場合における、「depth_information()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報を複数のピクチャをまとめて符号化する場合における、「depth_information()」の構造例(Syntax)を示す図である。 「user_data()」の構造例(Syntax)および「depth_information_data()」の構造例(Syntax)を示す図である。 視差情報によるグラフィクスの奥行き制御の概念を示す図である。 ビデオストリームにピクチャ単位で視差情報が挿入されている場合に画像データのピクチャタイミングで順次視差情報が取得されることを示す図である。 ビデオストリームにＧＯＰ単位で視差情報が挿入されている場合に画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報がまとめて取得されることを示す図である。 画像上における字幕（サブタイトル）およびＯＳＤグラフィクスの表示例を示す図である。 セットトップボックスの構成例を示すブロック図である。 視差角のチェックおよび画像データの再構成を説明するための図である。 視差情報制御部の構成例を示すブロック図である。 奥行き制御部の制御を説明するためのブロック図である。 時間方向に平滑化するフィルタリング処理の一例を説明するための図である。 時間方向に平滑化するフィルタリング処理の他の例を説明するための図である。 奥行き制御部の制御処理の手順の一例を示すフローチャート（１／２）である。 奥行き制御部の制御処理の手順の一例を示すフローチャート（２／２）である。 セットトップボックスにおけるグラフィクスの奥行き制御例を示す図である。 セットトップボックスにおけるグラフィクスの他の奥行き制御例を示す図である。 テレビ受信機（ＨＤＭＩ入力系）の構成例を示すブロック図である。 奥行き制御部の制御を説明するためのブロック図である。 奥行き制御部の制御処理の手順の一例を示すフローチャートである。 テレビ受信機におけるグラフィクスの奥行き制御例を示す図である。 ソース機器のＨＤＭＩ送信部とシンク機器のＨＤＭＩ受信部の構成例を示すブロック図である。 ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。 視差情報の送信にＨＤＭＩ Vendor Specific InfoFrame を利用する場合における、ＨＤＭＩVendor Specific InfoFrame のパケット構造例を示す図である。 ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例における主要な情報の内容を示す図である。 シングルピクチャのモードであり、分割領域が「１６」である場合における VS_Info の構造例を示す図である。 ピクチャ単位受信かつシングルピクチャモード送信を行う場合を概略的に示す図である。 ピクチャ単位受信かつダブルピクチャモード送信を行う場合を概略的に示す図である。 ＧＯＰ単位（複数ピクチャ単位）受信かつシングルピクチャモード送信を行う場合を概略的に示す図である。 ＧＯＰ単位（複数ピクチャ単位）受信かつダブルピクチャモード送信を行う場合を概略的に示す図である。 VS_Info（ＨＤＭＩ Vendor Specific InfoFrame）の他のパケット構造例を示す図である。 VS_Info（ＨＤＭＩ Vendor Specific InfoFrame）の他のパケット構造例を示す図である。 ＮピクチャとＮ＋１ピクチャの順番決定を行うための構成例を示すブロック図である。 ｜Ｄ（N+1）−Ｄ（N）｜≦Ｔｈとなる場合の視差情報（Disparity値）の時間推移例を示す図である。 ｜Ｄ（N+1）−Ｄ（N）｜＞Ｔｈとなる場合の視差情報（Disparity値）の時間推移例を示す図である。 新規定義されるデータパケットとしての３Ｄ・ディスプレイング・サポート・パケット(3D Displaying Supprt Packet )のパケットヘッダ（packetheader）の構造例を示す図である。 パケットコンテンツ（packet contents）の構造例を示す図である。 パケットコンテンツ（packet contents）の他の構造例を示す図である。 パケットコンテンツ（packet contents）の他の構造例を示す図である。 立体画像データのＴＭＤＳ伝送データ構造の一つであるフレームパッキング（Frame packing）方式の３Ｄビデオフォーマット（3D Video Format）を示す図である。 アクティブスペース領域（Active Space）を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造の一例を示す図である。 画像送受信システムの他の構成例を示すブロック図である。 テレビ受信機の構成例を示すブロック図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、モニタとしてのテレビ受信機３００を有している。セットトップボックス２００およびテレビ受信機（ＴＶ）３００は、ＨＤＭＩ(High Definition Multimedia Interface)ケーブル４００を介して接続されている。
「放送局の説明」
放送局１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたビデオストリームが含まれる。例えば、左眼画像データおよび右眼画像データは、１つのビデオストリームにより伝送される。この場合、例えば、左眼画像データおよび右眼画像データは、インターリーブ処理され、サイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データとして構成され、１つのビデオストリームに含まれる。
また、例えば、左眼画像データおよび右眼画像データは、それぞれ、別個のビデオストリームにより伝送される。この場合、例えば、左眼画像データはＭＶＣのベースビュー(base view)のストリームに含まれ、右眼画像データはＭＶＣのノンベースビュー（Nonbase view）のストリームに含まれる。
ビデオストリームには、画像データの所定のピクチャ毎に取得された、左眼画像および右眼画像の一方に対する他方の視差情報（Disparity data）が挿入される。この場合、視差情報の取得は、少なくとも視差情報を送信すべきピクチャで行われることを前提とする。
ここで、ピクチャ毎の視差情報は、ピクチャ表示画面の所定領域における代表視差情報からなっている。この実施の形態において、この代表視差情報として、第１の視差情報および第２の視差情報が含まれているが、第１の視差情報のみが含まれることも考えられる。第１の視差情報は、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した視差情報である。また、第２の視差情報は、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した視差情報である。
スクリーン位置を視差ゼロとすると、オブジェクト再生位置がスクリーンより手前にある場合、この視差情報はマイナス値で得られる（図６４のＤＰａ参照）。一方、オブジェクトの再生位置がスクリーンより奥にある場合、この視差情報はプラス値で得られる（図６４のＤＰｃ参照）。そのため、第１の視差情報として、例えば、所定領域における視差情報のうち、最小値の視差情報が用いられる。また、第２の視差情報として、例えば、所定領域における視差情報のうち、最大値の視差情報が用いられる。
この場合、第１の視差情報および第２の視差情報として、例えば、以下のような取得方法が考えられる。
（１）分割パターン情報に基づいて、ピクチャ表示画面を複数に分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面全体における第２の視差情報を取得する。
（２）分割パターン情報に基づいて、ピクチャ表示画面を複数に分割して得られた各分割領域における第１の視差情報および第２の視差情報を取得する。
（３）分割パターン情報に基づいて、ピクチャ表示画面を第１の分割情報で分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面を第２の分割情報で分割して得られた各分割領域における第２の視差情報を取得する。
（４）分割パターン情報に基づいて、ピクチャ表示画面全体における第１の視差情報を取得し、ピクチャ表示画面全体における第２の視差情報を取得する。
ピクチャ表示画面全体、あるいは各分割領域の視差情報は、ブロック（Block）毎の視差情報に対して、ダウンサイジング処理を施すことで、取得される。図２は、ブロック（Block）毎の視差情報（視差ベクトル）の一例を示している。
図３は、ブロック単位の視差情報の生成方法の一例を示している。この例は、左眼ビュー（Left-View）から右眼ビュー（Right-View）を指し示す視差情報を求める例である。この場合、左眼ビューのピクチャに、例えば４＊４、８＊８あるいは１６＊１６などの画素ブロック（視差検出ブロック）が設定される。
図示のように、左眼ビューのピクチャが検出画像とされ、右眼ビューのピクチャが参照画像とされて、左眼ビューのピクチャのブロック毎に、画素間の差分絶対値和が最小となるように、右眼ビューのピクチャのブロック探索がされて、視差データが求められる。
すなわち、Ｎ番目のブロックの視差情報ＤＰｎは、例えば、以下の（１）式に示すように、このＮ番目のブロックにおける差分絶対値和が最小となるようにブロック探索されて求められる。なお、この（１）式において、Ｄｊは右眼ビューのピクチャにおける画素値、Ｄｉは左眼ビューのピクチャにおける画素値を示している。
ＤＰｎ ＝ min ( Σ abs( differ (Dj - Di))) ・・・（１）
図４は、ダウンサイジング処理の一例を示している。図４（ａ）は、上述したように求められたブロック毎の視差情報を示している。このブロック毎の視差情報に基づいて、図４（ｂ）に示すように、グループ（Group Of Block）毎の第１の視差情報および第２の視差情報が求められる。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図４（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの第１の視差情報は、例えば、そのグループ内の全ブロックの視差情報から最小の値の視差情報が選択されることで得られる。また、各グループの第２の視差情報は、例えば、そのグループ内の全ブロックの視差情報から最大の値の視差情報が選択されることで得られる。
次に、このグループ毎の視差ベクトルに基づいて、図４（ｃ）に示すように、パーティション(partition)毎の第１の視差情報および第２の視差情報が求められる。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図４（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの第１の視差情報は、例えば、そのパーティション内の全グループの第１の視差情報から、最小の値の第１の視差情報が選択されることで得られる。また、各パーティションの第２の視差情報は、例えば、そのパーティション内の全グループの第２の視差情報から、最大の値の第２の視差情報が選択されることで得られる。
次に、このパーティション毎の視差情報に基づいて、図４（ｄ）に示すように、最上位層に位置するピクチャ全体（ピクチャ表示画面全体）の第１の視差情報および第２の視差情報が求められる。図４（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の第１の視差情報は、例えば、ピクチャ全体に含まれる全パーティションの第１の視差情報から、最小の値の第１の視差情報が選択されることで得られる。また、ピクチャ全体の第２の視差情報は、例えば、ピクチャ全体に含まれる全パーティションの第２の視差情報から、最大の値の第２の視差情報が選択されることで得られる。
ピクチャ表示画面は分割情報に基づいて分割され、上述したように各分割領域の視差情報が取得される。この場合、符号化ブロック境界を跨がないようにピクチャ表示画面が分割される。図５は、ピクチャ表示画面の分割詳細例を示している。この例は、１９２０＊１０８０のピクセルフォーマットの例であって、水平、垂直にそれぞれ２分割され、Partition A，Partition B，Partition C，Partition Dの４つの分割領域が得られる例である。送信側では、１６×１６のブロック毎に符号化が行われるために、ブランクデータからなる８ラインが付加されて、１９２０画素＊１０８８ラインの画像データとして符号化が行われる。そこで、垂直方向に関しては、１０８８ラインを元に２分割されている。
上述したように、ビデオストリームには、画像データの所定のピクチャ（フレーム）毎に取得された、ピクチャ表示画面全体あるいは各分割領域（Partition）の視差情報（第１の視差情報、第２の視差情報）が挿入される。図６は、各分割領域の視差情報の推移例を模式的に示している。この例は、水平、垂直にそれぞれ４分割され、Partition 0 〜 Partition 15 までの１６個の分割領域が存在する例である。この例では、図面の簡単化のため、Partition 0，Partition 3，Partition 9，Partition 15の視差情報Ｄ0，Ｄ3，Ｄ9，Ｄ15の推移のみを示している。各視差情報の値は、時間と共に値が変化する場合（Ｄ0，Ｄ3，Ｄ9）と固定である場合（Ｄ15）とがある。
画像データの所定のピクチャ毎に取得された視差情報は、ビデオストリームに、ピクチャ単位、あるいはＧＯＰ単位などの単位で挿入される。図７（ａ）は、ピクチャの符号化に同期させる例、つまりビデオストリームに視差情報をピクチャ単位で挿入する例を示している。この例においては、画像データを送信する際の遅延が少なくて済み、カメラで撮像した画像データを送信するライブ放送に適するものとなる。
図７（ｂ）は、符号化ビデオのＩピクチャ(Intra picture)、またはＧＯＰ（Group Of Pictures）に同期させる例、つまりビデオストリームに視差情報をＧＯＰ単位で挿入する例を示している。この例においては、図７（ａ）の例に比べて、画像データを送信する際の遅延が大きくなるが、複数のピクチャ（フレーム）の視差情報がまとめて送信されるので、受信側における視差情報の取得処理の回数を低減できる。図７（ｃ）は、ビデオのシーンに同期させる例、つまりビデオストリームに視差情報をシーン単位で挿入する例を示している。なお、図７（ａ）〜（ｃ）は一例であって、その他の単位で挿入することも考えられる。
また、トランスポートストリームＴＳのレイヤに、ビデオストリームに視差情報（第１の視差情報、第２の視差情報）の挿入があるか否かを識別するための識別情報が挿入されるようにしてもよい。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event Information Table）の配下に挿入される。この識別情報により、受信側では、ビデオストリームに視差情報の挿入があるか否かを容易に識別可能となる。この識別情報の詳細については後述する。
「送信データ生成部の構成例」
図８は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、画像データ出力部１１１Ｌ，１１１Ｒと、スケーラ１１２Ｌ，１１２Ｒと、ビデオエンコーダ１１３と、マルチプレクサ１１４と、視差データ生成部１１５を有している。また、この送信データ生成部１１０は、サブタイトルデータ出力部１１６と、サブタイトルエンコーダ１１７と、音声データ出力部１１８と、オーディオエンコーダ１１９と、分割パターン選択部１２０を有している。
画像データ出力部１１１Ｌ，１１１Ｒは、それぞれ、立体画像を構成する、左眼画像データＶＬおよび右眼画像データＶＲを出力する。画像データ出力部１１１Ｌ，１１１Ｒは、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。画像データＶＬ，ＶＲは、例えば、１９２０＊１０８０のフルＨＤのサイズの画像データである。
スケーラ１１２Ｌ，１１２Ｒは、それぞれ、画像データＶＬ，ＶＲに対して、必要に応じて、水平方向や垂直方向のスケーリング処理を行う。例えば、画像データＶＬ，ＶＲを１つのビデオストリームで伝送するために、サイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データを構成する場合には、水平方向あるいは垂直方向に１／２にスケールダウンして出力する。また、例えば、画像データＶＬ，ＶＲを、ＭＶＣのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで伝送する場合には、スケーリング処理を行うことなく、画像データＶＬ，ＶＲをそのまま出力する。
ビデオエンコーダ１１３は、スケーラ１１２Ｌ，１１２Ｒから出力される左眼画像データ、右眼画像データに対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣ（High Efficiency Video Coding）などの符号化を施して、符号化ビデオデータを得る。また、このビデオエンコーダ１１３は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データを含むビデオストリームを生成する。この場合、ビデオエンコーダ１１３は、左眼画像データ、右眼画像データの符号化ビデオデータを含む１つあるいは２つのビデオストリーム（ビデオエレメンタリストリーム）を生成する。
視差データ生成部１１５は、画像データ出力部１１１Ｌ，１１１Ｒから出力される左眼画像データＶＬ、右眼画像データＶＲに基づいて、ピクチャ（フレーム）毎に、視差情報を生成する。この場合、視差データ生成部１１５は、例えば、ユーザ操作に応じて分割パターン選択部１２０で選択された分割パターンの情報に基づき、第１の視差情報および第２の視差情報を取得する処理を行う。
まず、視差データ生成部１１５は、ピクチャ毎に、上述したようにブロック（Block）毎の視差情報を取得する。なお、視差データ生成部１１５は、画像データ出力部１１１Ｌ，１１１Ｒが記憶媒体を有する画像データ読み出し部である場合、ブロック（Block）毎の視差情報を、画像データと共に記憶媒体から読み出して取得する構成も考えられる。また、ビデオエンコーダ１１３の中の右眼画像データと左眼画像データとの間で行われるブロックマッチングの結果を利用して視差情報を検出する方法も考えられる。
その後、視差情報生成部１１５は、ブロック（Block）毎の視差情報に対してダウンサイジング処理を行って、ピクチャ表示画面全体、あるいはピクチャ表示画面を分割して得られる各分割領域（Partition）の第１の視差情報および第２の視差情報を生成する。この際、上述の分割パターン情報が用いられる。この分割パターン情報により、視差データ生成部１１５には、ピクチャ表示画面全体における視差情報を生成する、あるいはピクチャ表示画面を所定数に分割して得られた各分割領域における視差情報を生成する、などの情報が与えられる。
ビデオエンコーダ１１３は、視差データ生成部１１５で生成されたピクチャ毎の第１の視差情報および第２の視差情報を、ビデオストリームに挿入する。この場合、例えば、ピクチャ毎の視差情報は、ビデオストリームに、ピクチャ単位、あるいはＧＯＰ単位で挿入される（図７参照）。なお、左眼画像データおよび右眼画像データがそれぞれ別個のビデオデータで伝送される場合には、いずれかのビデオストリームにのみ挿入されてもよい。
サブタイトルデータ出力部１１６は、画像に重畳するサブタイトル（字幕）のデータを出力する。このサブタイトルデータ出力部１１６は、例えば、パーソナルコンピュータなどにより構成される。サブタイトルエンコーダ１１７は、サブタイトルデータ出力部１１６から出力されたサブタイトルデータを含むサブタイトルストリーム（サブタイトルエレメンタリストリーム）を生成する。なお、サブタイトルエンコーダ１１７は、視差データ生成部１１５で生成されるブロック毎の視差情報を参照し、サブタイトルデータに、サブタイトルの表示位置に対応した視差情報を付加する。すなわち、サブタイトルストリームに含まれるサブタイトルデータは、サブタイトルの表示位置に対応した視差情報を持つものとなる。
音声データ出力部１１８は、画像データに対応した音声データを出力する。この音声データ出力部１１８は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ１１９は、音声データ出力部１１８から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。
マルチプレクサ１１４は、ビデオエンコーダ１１３、サブタイトルエンコーダ１１７およびオーディオエンコーダ１１９で生成された各エレメンタリストリームをＰＥＳパケット化して多重し、トランスポートストリームＴＳを生成する。この場合、それぞれのＰＥＳ(Packetized Elementary Stream)パケットのヘッダには、受信側における同期再生のために、ＰＴＳ（Presentation Time Stamp）が挿入される。
マルチプレクサ１１４は、トランスポートストリームＴＳのレイヤに、上述した識別情報を挿入する。この識別情報は、ビデオストリームに視差情報（第１の視差情報、第２の視差情報）の挿入があるか否かを識別するための情報である。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event Information Table）の配下などに挿入される。
図８に示す送信データ生成部１１０の動作を簡単に説明する。画像データ出力部１１１Ｌ，１１１Ｒから出力される立体画像を構成する左眼画像データＶＬ、右眼画像データＶＲは、それぞれ、スケーラ１１２Ｌ，１１２Ｒに供給される。スケーラ１１２Ｌ，１１２Ｒでは、それぞれ、画像データＶＬ，ＶＲに対して、必要に応じて、水平方向や垂直方向のスケーリング処理が行われる。スケーラ１１２Ｌ，１１２Ｒから出力される左眼画像データ、右眼画像データは、ビデオエンコーダ１１３に供給される。
ビデオエンコーダ１１３では、左眼画像データ、右眼画像データに対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣなどの符号化が施されて、符号化ビデオデータが得られる。また、このビデオエンコーダ１１３では、後段に備えるストリームフォーマッタにより、この符号化データを含むビデオストリームが生成される。この場合、左眼画像データ、右眼画像データの符号化ビデオデータを含む１つあるいは２つのビデオストリームが生成される。
また、画像データ出力部１１１Ｌ，１１１Ｒから出力される立体画像を構成する左眼画像データＶＬ、右眼画像データＶＲは、視差データ生成部１１５に供給される。この視差データ生成部１１５では、ピクチャ毎に、ブロック（Block）毎の視差情報が取得される。そして、この視差データ生成部１１５では、さらに、ブロック（Block）毎の視差情報に対してダウンサイジング処理が行われて、分割パターン情報に基づいて、ピクチャ表示画面全体、あるいはピクチャ表示画面を分割して得られた各分割領域における第１の視差情報および第２の視差情報が生成される。
視差データ生成部１１５で生成されるピクチャ毎の第１の視差情報および第２の視差情報は、ビデオエンコーダ１１３に供給される。ビデオエンコーダ１１３では、ビデオストリームに、ピクチャ毎の第１の視差情報および第２の視差情報が、ピクチャ単位、あるいはＧＯＰ単位で挿入される。
また、サブタイトルデータ出力部１１６では、画像に重畳するサブタイトル（字幕）のデータが出力される。このサブタイトルデータは、サブタイトルエンコーダ１１７に供給される。サブタイトルエンコーダ１１７では、サブタイトルデータを含むサブタイトルストリームが生成される。この場合、サブタイトルエンコーダ１１７では、視差データ生成部１１５で生成されるブロック毎の視差情報が参照され、サブタイトルデータに、表示位置に対応した視差情報が付加される。
また、音声データ出力部１１８では、画像データに対応した音声データが出力される。この音声データは、オーディオエンコーダ１１９に供給される。このオーディオエンコーダ１１９では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリームが生成される。
ビデオエンコーダ１１３で得られるビデオストリーム、サブタイトルエンコーダ１１７で得られるサブタイトルストリームおよびオーディオエンコーダ１１９で得られるオーディオストリームは、それぞれ、マルチプレクサ１１４に供給される。マルチプレクサ１１４では、各エンコーダから供給されるエレメンタリストリームがＰＥＳパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、それぞれのＰＥＳヘッダには、受信側における同期再生のために、ＰＴＳが挿入される。また、マルチプレクサ１１４では、ＰＭＴの配下、あるいはＥＩＴの配下などに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。
［識別情報、視差情報の構造、ＴＳ構成］
図９は、トランスポートストリームＴＳの構成例を示している。この構成例では、左眼画像データおよび右眼画像データがそれぞれ別個のビデオストリームで伝送される例を示している。すなわち、左眼画像データが符号化されているビデオストリームのＰＥＳパケット「video PES1」および右眼画像データが符号化されているビデオストリームのＰＥＳパケット「video PES2」が含まれている。また、この構成例では、サブタイトルデータ（視差情報を含む）が符号化されているサブタイトルストリームのＰＥＳパケット「subtitle PES3」および音声データが符号化されているオーディオストリームのＰＥＳパケット「audio PES4」が含まれている。
ビデオストリームのユーザデータ領域には、ピクチャ毎の第１の視差情報および第２の視差情報を含むデプス・インフォメーション・ＳＥＩ（depth_information()）が挿入されている。例えば、ピクチャ毎の視差情報がピクチャ単位で挿入される場合、このデプス・インフォメーション・ＳＥＩは、ビデオストリームの各ピクチャのユーザデータ領域に挿入される。また、例えば、ピクチャ毎の視差情報がＧＯＰ単位で挿入される場合、このデプス・インフォメーション・ＳＥＩは、ビデオストリームのＧＯＰの先頭あるいはシーケンス・パラメータ情報が挿入される位置に相当するピクチャのユーザデータ領域に挿入される。なお、この構成例では、２つのビデオストリームの双方にデプス・インフォメーション・ＳＥＩが挿入されるように示しているが、一方のビデオストリームのみに挿入されてもよい。
トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームＴＳに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームＴＳには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(Event Information Table)が含まれている。
ＰＭＴの配下に、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）などの情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
上述したビデオストリームに視差情報（第１の視差情報、第２の視差情報）が挿入されているか否かを示す識別情報を挿入する場合、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に記述される。このデスクリプタは、例えば、既存のＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）あるいはＭＶＣ・エクステンション・デスクリプタ（MVC_extension_descriptor）、または、新規に定義されるデプス・インフォ・デスクリプタ（Depth_info_descriptor）である。なお、デプス・インフォ・デスクリプタに関しては、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
図１０（ａ）は、識別情報が記述されたＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）の構造例（Syntax）を示している。このデスクリプタは、ビデオがＭＰＥＧ４−ＡＶＣ Frame compatible フォーマットの場合に適用できる。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「depth_info_not_existed_flag[0]」の１ビットのフラグ情報が、新たに、定義される。
このフラグ情報は、図１０（ｂ）の規定内容（semantics）に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・ＳＥＩ（depth_information_sei()）が挿入されているか否かを示す。このフラグ情報が“０”であるときは挿入されていることを示す。一方、このフラグ情報が“１”であるときは挿入されていないことを示す。
図１１（ａ）は、識別情報が記述されたＭＶＣ・エクステンション・デスクリプタ（MVC extension descriptor）の構造例（Syntax）を示している。このデスクリプタは、ビデオがＭＰＥＧ４−ＡＶＣＡｎｎｅｘ Ｈ ＭＶＣ フォーマットの場合に適用できる。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「depth_info_not_existed_flag」の１ビットのフラグ情報が、新たに、定義される。
このフラグ情報は、図１１（ｂ）の規定内容（semantics）に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・ＳＥＩ（depth_information()）が挿入されているか否かを示す。このフラグ情報が“０”であるときは挿入されていることを示す。一方、このフラグ情報が“１”であるときは挿入されていないことを示す。
図１２（ａ）は、デプス・インフォ・デスクリプタ（depth_info_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタが「depth_info_descriptor」であることを示す。「descriptor_length」の８ビットフィールドは、以降のデータバイト数を示す。そして、このデスクリプタに、「depth_info_not_existed_flag」の１ビットのフラグ情報が記述されている。
このフラグ情報は、図１２（ｂ）の規定内容（semantics）に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・ＳＥＩ（depth_information()）が挿入されているか否かを示す。このフラグ情報が“０”であるときは挿入されていることを示す。一方、このフラグ情報が“１”であるときは挿入されていないことを示す。
次に、ピクチャ毎の視差情報を含むデプス・インフォメーション・ＳＥＩ（depth_information()）を、ビデオストリームのユーザデータ領域に挿入する場合について説明する。
例えば、符号化方式がＡＶＣである場合、「depth_information()」は、アクセスユニットの“ＳＥIｓ”の部分に、「depth_information SEI message」として、挿入される。図１３（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図１３（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。ピクチャ毎の視差情報がＧＯＰ単位で挿入される場合には、ＧＯＰの先頭のアクセスユニットにのみ「depth_information SEI message」が挿入される。
図１４（ａ）は、「depth_information SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「depth_information_data()」が挿入される。図１４（ｂ）は、「depth_information_data()」の構造例(Syntax)を示している。この中に、デプス・インフォメーション・ＳＥＩ（depth_information()）が挿入される。「userdata_id」は、符号なし１６ビットで示される「depth_information()」の識別子である。
図１５（ａ）、図１６および図１７は、それぞれ、ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information()」の構造例(Syntax)を示している。図１８には、これらの構造例における主要な情報の内容（Semantics）が示されている。
図１５（ａ）は、上述の（１）「分割パターン情報に基づいて、ピクチャ表示画面を複数に分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面全体における第２の視差情報を取得する」という取得方法に対応した構造例(Syntax)を示している。
「partition_type」の３ビットフィールドは、ピクチャ表示画面の分割タイプを示す。“０００”は、図１９（ａ）示すような、分割タイプ「type000」を示す。“００１”は、図１９（ｂ）示すような、分割タイプ「type001」を示す。“０１０”は、図１９（ｃ）示すような、分割タイプ「type010」を示す。“０１１”は、図１９（ｄ）示すような、分割タイプ「type011」を示す。“１００”は、図１９（ｅ）示すような、分割タイプ「type100」を示す。“１０１”は、図１９（ｆ）示すような、分割タイプ「type101」を示す。
「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示し、上述の「partition_type」に依存した値となる。例えば、「partition_type=000」であるとき、図１９（ａ）に示すように、分割領域（Partition）の総数は「１」である。また、例えば、「partition_type=001」であるとき、図１９（ｂ）に示すように、分割領域（Partition）の総数は「４」である。また、例えば、「partition_type=010」であるとき、図１９（ｃ）に示すように、分割領域（Partition）の総数は「８」である。
「max_disparity_in_picture」の８ビットフィールドは、ピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）を示す。「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
ここで、第１の視差情報である「min_disparity_in_partition」および第２の視差情報である「max_disparity_in_picture」は、絶対値データとされる。「min_disparity_in_partition」は、モニタ位置よりも手前側に限定することにより、符号ビットを示さずとも、受信側では、図１５（ｂ）に示すように、伝送される視差情報（disparity）の値（絶対値）を負の符号の値に変換して用いることができる。同様に、「max_disparity_in_picture」は、モニタ位置よりも奥側に限定することにより、符号ビットを示さずとも、受信側では、図１５（ｂ）に示すように、伝送される視差情報（disparity）の値（絶対値）を正の符号の値に変換して用いることができる。
このようにすることで、８ビットで表される視差情報（disparity）の値の範囲は（−２５５，＋２５５）となり、超高画質、例えば水平画素数が４Ｋレベルの解像度においても、８ビットで、必要な視差表現が可能となる。また、従来の、水平画素数が２Ｋレベルの解像度に対しては、この８ビットを「７ビット」プラス「１ビット」と区分けし、（−１２７．５，＋１２７．５）の視差表現が適用できる。この場合、小数部分はハーフ画素を表し、重畳（overlay）させるグラフィクスオブジェクトを適宜補間することで、よりスムーズな奥行き（depth）方向の動的アップデートが実現できる。
図１６は、上述の（２）「分割パターン情報に基づいて、ピクチャ表示画面を複数に分割して得られた各分割領域における第１の視差情報および第２の視差情報を取得する」という取得方法に対応した構造例(Syntax)を示している。この図１６において、図１５と対応する部分は、適宜、その説明を省略する。
「partition_type」の３ビットフィールドは、ピクチャ表示画面の分割タイプを示す。「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示し、上述の「partition_type」に依存した値となる。「max_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第２の視差情報、つまり各分割領域における最大の視差情報（disparity値）を示す。「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。ここで、第１の視差情報である「min_disparity_in_partition」および第２の視差情報である「max_disparity_in_partition」は、絶対値データとされる。
図１７は、上述の（３）「分割パターン情報に基づいて、ピクチャ表示画面を第１の分割情報で分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面を第２の分割情報で分割して得られた各分割領域における第２の視差情報を取得する」という取得方法に対応した構造例(Syntax)を示している。この図１７において、図１５、図１６と対応する部分は、適宜、その説明を省略する。
「min_partition_type」の３ビットフィールドは、第１の視差情報の取得に係るピクチャ表示画面の分割タイプを示す。「min_partition_count」の４ビットフィールドは、第１の視差情報が取得される分割領域（Partition）の総数を示し、上述の「min_partition_type」に依存した値となる。「max_partition_type」の３ビットフィールドは、第２の視差情報の取得に係るピクチャ表示画面の分割タイプを示す。「max_partition_count」の４ビットフィールドは、第２の視差情報が取得される分割領域（Partition）の総数を示し、上述の「max_partition_type」に依存した値となる。
「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。「max_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第２の視差情報、つまり各分割領域における最大の視差情報（disparity値）を示す。ここで、第１の視差情報である「min_disparity_in_partition」および第２の視差情報である「max_disparity_in_partition」は、絶対値データとされる。
図２０、図２１および図２２は、それぞれ、ピクチャ毎の視差情報をＧＯＰ単位で挿入する場合のように、複数のピクチャをまとめて符号化する場合における、「depth_information()」の構造例(Syntax)を示している。図１８には、これらの構造例における主要な情報の内容（Semantics）が示されている。
図２０は、上述の（１）「分割パターン情報に基づいて、ピクチャ表示画面を複数に分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面全体における第２の視差情報を取得する」という取得方法に対応した構造例(Syntax)を示している。この図２０において、上述の図１５と対応する部分は、適宜、その詳細説明を省略する。
「picture_count」の６ビットフィールドは、ピクチャ数を示す。この「depth_information()」には、ピクチャ数分の第１の視差情報および第２の視差情報が含まれる。「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示す。「max_disparity_in_picture」の８ビットフィールドは、ピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）を示す。「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。詳細説明は省略するが、図２０の構造例のその他は、図１５に示す構造例と同様である。
図２１は、上述の（２）「分割パターン情報に基づいて、ピクチャ表示画面を複数に分割して得られた各分割領域における第１の視差情報および第２の視差情報を取得する」という取得方法に対応した構造例(Syntax)を示している。この図２１において、図１６、図２０と対応する部分は、適宜、その説明を省略する。
「picture_count」の６ビットフィールドは、ピクチャ数を示す。この「depth_information()」には、ピクチャ数分の第１の視差情報および第２の視差情報が含まれる。「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示す。「max_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第２の視差情報、つまり各分割領域における最大の視差情報（disparity値）を示す。「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。詳細説明は省略するが、図２１の構造例のその他は、図１６に示す構造例と同様である。
図２２は、上述の（３）「分割パターン情報に基づいて、ピクチャ表示画面を第１の分割情報で分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面を第２の分割情報で分割して得られた各分割領域における第２の視差情報を取得する」という取得方法に対応した構造例(Syntax)を示している。この図２２において、図１７、図２０、図２１と対応する部分は、適宜、その説明を省略する。
「picture_count」の６ビットフィールドは、ピクチャ数を示す。この「depth_information()」には、ピクチャ数分の第１の視差情報および第２の視差情報が含まれる。「min_partition_type」の３ビットフィールドは、第１の視差情報の取得に係るピクチャ表示画面の分割タイプを示す。「max_partition_type」の３ビットフィールドは、第２の視差情報の取得に係るピクチャ表示画面の分割タイプを示す。「min_partition_count」の４ビットフィールドは、第１の視差情報が取得される分割領域（Partition）の総数を示し、「max_partition_count」の４ビットフィールドは、第２の視差情報が取得される分割領域（Partition）の総数を示す。
「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。「max_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第２の視差情報、つまり各分割領域における最大の視差情報（disparity値）を示す。詳細説明は省略するが、図２２の構造例のその他は、図１７に示す構造例と同様である。
なお、上述では符号化方式がＡＶＣである場合について説明した。例えば、符号化方式がＭＰＥＧ２ｖｉｄｅｏである場合、「depth_information()」は、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図２３（ａ）は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。
この開始コードに続く３２ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「depth_information_data_identifier」とされ、ユーザデータが、「depth_information_data」であることを識別可能とする。この識別子の後のデータ本体として、「depth_information_data()」が挿入される。図２３（ｂ）は、「depth_information__data()」の構造例(Syntax)を示している。この中に、「depth_information()」が挿入される（図１５〜図１７、図２０〜図２２参照）。
なお、符号化方式がＡＶＣあるいはＭＰＥＧ２ｖｉｄｅｏである場合におけるビデオストリームへの視差情報の挿入例について説明した。詳細説明は省略するが、その他の同様の構造の符号化方式、例えばＨＥＶＣなどにあっても、ビデオストリームへの視差情報の挿入を同様の構造で行うことができる。
「セットトップボックスの説明」
セットトップボックス２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。また、セットトップボックス２００は、このトランスポートストリームＴＳに含まれるビデオストリームをデコードして、立体画像を構成する左眼画像データおよび右眼画像データを生成する。また、セットトップボックス２００は、ビデオストリームに挿入されている、画像データのピクチャ毎の視差情報（第１の視差情報、第２の視差情報）を抽出する。
セットトップボックス２００は、第１の視差情報および第２の視差情報に基づいて、例えば、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない所定の範囲内にあるか否かをチェックする。そして、セットトップボックス２００は、所定の範囲内に収まっていない場合には、収まるように左眼画像データおよび右眼画像データを再構成すると共に、第１の視差情報および第２の視差情報を修正する。
また、セットトップボックス２００は、画像にグラフィクス（ＳＴＢグラフィクス）を重畳表示する際には、画像データおよび視差情報（第１の視差情報）と、グラフィクスデータとを用いて、グラフィクスが重畳された左眼画像および右眼画像のデータを得る。この場合、セットトップボックス２００は、左眼画像および右眼画像に重畳されるグラフィクスに、ピクチャ毎に、このグラフィクスの表示位置に対応した視差を付与し、グラフィクスが重畳された左眼画像のデータおよびグラフィクスが重畳された右眼画像のデータを得る。
上述のようにグラフィクスに視差を付与することで、立体画像に重畳表示されるグラフィクス（ＳＴＢグラフィクス）を、その表示位置における立体画像のオブジェクトよりも手前に表示させることができる。これにより、ＯＳＤあるいはアプリケーションあるいは番組情報のＥＰＧなどのグラフィクスを画像に重畳表示する場合に、画像内の各オブジェクトに対する遠近感の整合性を維持できる。
図２４は、視差情報によるグラフィクスの奥行き制御の概念を示している。視差情報がマイナス値である場合、スクリーン上において左眼表示用のグラフィクスが右側に、右眼表示用のグラフィクスが左側にずれるように視差が付与される。この場合、グラフィクスの表示位置はスクリーンよりも手前となる。また、視差情報がプラス値である場合、スクリーン上において左眼表示用のグラフィクスが左側に、右眼表示用のグラフィクスが右側にずれるように視差が付与される。この場合、グラフィクスの表示位置はスクリーンよりも奥となる。
上述したように、ビデオストリームには、画像データのピクチャ毎に取得された視差情報が挿入されている。そのため、セットトップボックス２００は、視差情報によるグラフィクスの奥行き制御を、グラフィクスの表示タイミングに合った視差情報を用いて精度よく行うことができる。
また、図２４は、同側方向の視差角（θ0−θ2）と、交差方向の視差角（θ0−θ1）を示している。セットトップボックス２００においては、ビデオストリームに挿入されてくるピクチャ毎の第１の視差情報および第２の視差情報に基づいて、これらの視差角が視聴上健康を害さない所定の範囲内にあるか否かがチェックされる。
図２５は、ビデオストリームにピクチャ単位で視差情報が挿入されている場合の例であって、セットトップボックス２００では、画像データのピクチャタイミングで順次視差情報が取得される。グラフィクスの表示に当たっては、グラフィクスの表示タイミングに合った視差情報（第１の視差情報）が使用され、グラフィクスに適切な視差が付与される。また、図２６は、例えば、ビデオストリームにＧＯＰ単位で視差情報が挿入されている場合の例であって、セットトップボックス２００では、画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報（視差情報セット）がまとめて取得される。グラフィクス（ＳＴＢグラフィクス）の表示に当たっては、グラフィクスの表示タイミングに合った視差情報（第１の視差情報）が使用され、グラフィクスに適切な視差が付与される。
図２７（ａ）の「Side View」は、画像上における字幕（サブタイトル）およびＯＳＤグラフィクスの表示例を示している。この表示例では、背景、中景オブジェクトおよび近景オブジェクトとからなる画像上に、字幕およびグラフィクスが重畳された例である。図２７（ｂ）の「Top View」は、背景、中景オブジェクト、近景オブジェクト、字幕およびグラフィクスの遠近感を示している。字幕およびグラフィクスは、表示位置に対応するオブジェクトよりも手前にあるように認識されることを示している。なお、図示していないが、字幕とグラフィクスの表示位置が重なる場合には、例えば、グラフィクスが字幕よりも手前に認識されるように、グラフィクスに適切な視差が付与される。
「セットトップボックスの構成例」
図２８は、セットトップボックス２００の構成例を示している。セットトップボックス２００は、コンテナバッファ２１１と、デマルチプレクサ２１２と、コーデッドバッファ２１３と、ビデオデコーダ２１４と、デコーデッドバッファ２１５と、スケーラ２１６と、Ｌ／Ｒ再構成部２６３と、重畳部２１７を有している。また、セットトップボックス２００は、視差情報バッファ２１８と、視差情報制御部２６２と、セットトップボックス（ＳＴＢ）グラフィクス発生部２１９と、奥行き制御部２２０と、グラフィクスバッファ２２１を有している。
また、セットトップボックス２００は、コーデッドバッファ２３１と、サブタイトルデコーダ２３２と、ピクセルバッファ２３３と、サブタイトル視差情報バッファ２３４と、サブタイトル表示制御部２３５を有している。さらに、セットトップボックス２００は、コーデッドバッファ２４１と、オーディオデコーダ２４２と、オーディオバッファ２４３と、チャネルミキシング部２４４と、ＨＤＭＩ送信部２５１を有している。
コンテナバッファ２１１は、図示しないデジタルチューナ等で受信されたトランスポートストリームＴＳを一時的に記憶する。このトランスポートストリームＴＳには、ビデオストリーム、サブタイトルストリームおよびオーディオストリームが含まれている。ビデオストリームとして、左眼画像データおよび右眼画像データが符号化されて得られた１つあるいは２つのビデオストリームが含まれている。
例えば、左眼画像データおよび右眼画像データによりサイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データが構成されて１つのビデオストリームで送られてくることがある。また、例えば、左眼画像データおよび右眼画像データが、ＭＶＣのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで送られてくることがある。
デマルチプレクサ２１２は、コンテナバッファ２１１に一時的に記憶されたトランスポートストリームＴＳから、ビデオ、サブタイトルおよびオーディオの各ストリームを抽出する。また、デマルチプレクサ２１２は、このトランスポートストリームＴＳから、ビデオストリームに視差情報が挿入されているか否かを示す識別情報（「graphics_depth_info_not_existed_flag[0]」のフラグ情報）を抽出し、図示しない制御部（ＣＰＵ）に送る。ビデオデコーダ２１４は、制御部（ＣＰＵ）の制御のもと、識別情報が視差情報の挿入を示すとき、後述するように、ビデオストリームから視差情報（第１の視差情報、第２の視差情報）を取得する。
コーデッドバッファ２１３は、デマルチプレクサ２１２で抽出されるビデオストリームを一時的に記憶する。ビデオデコーダ２１４は、コーデッドバッファ２１３に記憶されているビデオストリームにデコード処理を行って、左眼画像データおよび右眼画像データを取得する。また、ビデオデコーダ２１４は、ビデオストリームに挿入されている画像データのピクチャ毎の視差情報（第１の視差情報、第２の視差情報）を取得する。デコーデッドバッファ２１５は、ビデオデコーダ２１４で取得された左眼画像データおよび右眼画像データを一時的に記憶する。
視差情報バッファ２１８は、ビデオデコーダ２１４で取得された画像データのピクチャ毎の視差情報（第１の視差情報、第２の視差情報）を、一時的に記憶する。視差情報制御部２６２は、視差情報バッファ２１８に記憶されているピクチャ毎の第１の視差情報および第２の視差情報に基づいて、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない所定の範囲内にあるか否かをチェックする。
また、この視差情報制御部２６２は、視差角が所定の範囲内に収まっていない場合には、視差角が所定の範囲内に収まるように、Ｌ／Ｒ再構成部２６３に左眼画像データおよび右眼画像データの再構成を指示する。また、視差情報制御部２６２は、再構成される左眼画像データおよび右眼画像データに合わせて第１の視差情報および／または第２の視差情報を修正して出力する。なお、視差情報制御部２６２は、視差角が所定の範囲内に収まっている場合には、Ｌ／Ｒ再構成部２６３に左眼画像データおよび右眼画像データの再構成を指示することはなく、また、第１の視差情報および第２の視差情報を修正することなくそのまま出力する。
図２９の上部は、受信データ（左眼画像データおよび右眼画像データ）における手前（near）側と奥（far）側の視差角の時間推移の一例を示している。範囲ｄは、視聴上健康に害を及ばさない視差角の範囲を示している。この例では、奥（far）側の視差角に範囲ｄに収まらない区間がある。
図２９の下部は、再構成後のデータ（左眼画像データおよび右眼画像データ）における手前（near）側と奥（far）側の視差角の時間推移の一例を示している。（ａ）は、範囲ｄを越えた際にリミット制御をした場合の例である。（ｂ）は、範囲ｄを越えないように、全体の奥行き量（depth volume）を低減した場合の例である。
図３０は、視差情報制御部２６２の構成例を示している。この視差情報制御部２６２は、最大値取得部２７１と、最小値取得部２７２と、視差角チェック部２７２と、視差情報補正部２７４を有している。最大値取得部２７１は、受信された第２の視差情報（Max disparity）から最大値のものを選択して、視差角チェック部２７３に供給する。受信された第２の視差情報は、ピクチャ画面全体のものである場合には一個であり、複数の分割領域毎のものであれば複数個となる。最小値取得部２７２は、受信された第１の視差情報（Min disparity）から最小値のものを選択して、視差角チェック部２７３に供給する。受信された第１の視差情報は、ピクチャ画面全体のものである場合には一個であり、複数の分割領域毎のものであれば複数個となる。
視差角チェック部２７３は、第１の視差情報および第２の視差情報に基づいて、手前側の視差角と奥側の視差角が、視聴上健康に害を及ばさない視差角の範囲ｄ（図２９参照）に収まっているか否かをチェックし、そのチェック結果を視差情報補正部２７４に供給する。視差情報補正部２７４は、視差角が範囲ｄに収まっていないとき、視差角が範囲ｄに収まるように、Ｌ／Ｒ再構成部２６３に、受信された左眼画像データおよび右眼画像データの再構成を指示する。
また、視差情報補正部２７４には、受信された第１の視差情報（Min disparity）および第２の視差情報（Max disparity）が供給されている。視差情報補正部２７４は、上述の左眼画像データおよび右眼画像データの再構成指示に合わせて第１の視差情報および第２の視差情報に対して修正処理を行って、修正後の第１の視差情報（Corrected Min disparity）および第２の視差情報(Corrected Max disparity）を出力する。なお、視差情報補正部２７４は、視差角が範囲ｄに収まっているときには、Ｌ／Ｒ再構成部２６３に左眼画像データおよび右眼画像データの再構成を指示することはなく、また、第１の視差情報および第２の視差情報を修正することなくそのまま出力する。
図２８に戻って、スケーラ２１６は、デコーデッドバッファ２１５から出力される左眼画像データおよび右眼画像データに対して、必要に応じて、水平方向や垂直方向のスケーリング処理を行う。例えば、左眼画像データおよび右眼画像データがサイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データとして１つのビデオストリームで送られてくる場合には、水平方向あるいは垂直方向に２倍にスケールアップして出力する。また、例えば、左眼画像データおよび右眼画像データがＭＶＣのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで送られてくる場合には、スケーリング処理を行うことなく、左眼画像データおよび右眼画像データをそのまま出力する。
Ｌ／Ｒ再構成部２６３は、左眼画像データおよび右眼画像データを再構成する。すなわち、Ｌ／Ｒ再構成部２６３は、少なくとも同側方向または交差方向の視差角のいずれかが視聴上健康を害さない所定の範囲内からはみ出るとき、上述の視差情報制御部２６２からの再構成指示に基づいて、所定の範囲内に収まるように左眼画像データおよび右眼画像データを再構成する。
コーデッドバッファ２３１は、デマルチプレクサ２１４で抽出されるサブタイトルストリームを一時的に記憶する。サブタイトルデコーダ２３２は、上述の送信データ生成部１１０のサブタイトルエンコーダ１１７（図８参照）とは逆の処理を行う。すなわち、サブタイトルデコーダ２３２は、コーデッドバッファ２３１に記憶されているサブタイトルストリームのデコード処理を行って、サブタイトルデータを得る。
このサブタイトルデータには、サブタイトル（字幕）のビットマップデータと、このサブタイトルの表示位置情報「Subtitle rendering position (x2,y2）」と、サブタイトル（字幕）の視差情報「Subtitle disparity」が含まれている。ピクセルバッファ２３３は、サブタイトルデコーダ２３２で得られるサブタイトル（字幕）のビットマップデータおよびサブタイトル（字幕）の表示位置情報「Subtitle rendering position (x2,y2）」を一時的に記憶する。サブタイトル視差情報バッファ２３４は、サブタイトルデコーダ２３２で得られるサブタイトル（字幕）の視差情報「Subtitle disparity」を一時的に記憶する。
サブタイトル表示制御部２３５は、サブタイトル（字幕）のビットマップデータと、このサブタイトル（字幕）の表示位置情報および視差情報に基づいて、視差が付与された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」を生成する。セットトップボックス（ＳＴＢ）グラフィクス発生部２１９は、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータを発生する。このグラフィクスデータには、グラフィクスビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」が含まれている。
グラフィクスバッファ２２１は、セットトップボックスグラフィクス発生部２１９で発生されたグラフィクスビットマップデータ「Graphics data」を一時的に記憶する。重畳部２１７は、左眼画像データおよび右眼画像データに、それぞれ、サブタイトル表示制御部２３５で生成された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」を重畳する。
また、重畳部２１７は、左眼画像データおよび右眼画像データに、それぞれ、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」を重畳する。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、後述する奥行き制御部２２０により、視差が付与される。ここで、グラフィクスビットマップデータ「Graphics data」がサブタイトルのビットマップデータ「Subtitle data」と同一画素を共有する場合、重畳部２１７は、サブタイトルデータの上にグラフィクスデータを上書きする。
奥行き制御部２２０は、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」に視差を付与する。そのため、奥行き制御部２２０は、画像データのピクチャ毎に、左眼表示用および右眼表示用のグラフィクスの表示位置情報「Rendering position」を生成し、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」の左眼画像データおよび右眼画像データへの重畳位置のシフト制御を行う。
奥行き制御部２２０は、図３１に示すように、以下の情報を用いて、表示位置情報「Rendering position」を生成する。すなわち、奥行き制御部２２０は、視差情報制御部２６２から出力されるピクチャ毎の第１の視差情報（Min disparity）を用いる。また、奥行き制御部２２０は、ピクセルバッファ２３３に記憶されているサブタイトル（字幕）の表示位置情報「Subtitle rendering position (x2,y2）」を用いる。
なお、動的な奥行き（depth）更新で、分割領域（partition）毎の奥行き変化に注目すると、背景の立体画像の中のオブジェクトが空間的な位置を変える際に、奥行きの変化量が瞬間的に顕著となり、それをそのままグラフィクスの重畳（overlay）に用いると、視聴者側に奥行きの違和感が生じかねない。そのため、奥行き制御部２２０は、そのような違和感を抑制するために、ピクチャ毎の各分割領域の第１の視差情報（Min disparity）に対し、例えば、以下のような、時間方向に平滑化する処理（フィルタリング処理）を行って、急激な変化を抑制してスムーズな変化にする。ここで、第１の視差情報は、受信された絶対値を負の符号の値に変換したものである。
図３２は、フィルタリング処理の一例を示している。この例は、Ｔ０のタイミングにおける視差情報（Disprity）値がＡであり、Ｔ１のタイミングにおける視差情報（Disprity）値がＢとなって、急激に変化する場合の例である。この場合、Ｔ１のタイミングにおける視差情報（Disprity）値は、Ｂそのものではなく、（Ａ−α１）とされる。同様にして、Ｔ２のタイミングでは（Ａ−α１＊２）、Ｔ３のタイミングでは（Ａ−α１＊３）とされる。ここで、α１＝（Ａ−Ｂ）／Ｎである。このように、（Ａ−Ｂ）の視差情報差をＮビデオフレームの時間をかけて徐々に変化するように、フィルタリング処理が行われ、最終的に視差情報（Disprity）値はＢに落ち着く。
なお、（Ａ−Ｂ）の視差情報差が例えばＮ画素である場合には、１フレームに１画素の変化量で、Ｎビデオフレームの期間をかけて変化させることになる。また、（Ａ−Ｂ）の視差情報差がＮ画素の整数倍でない場合には、１フレーム毎の変化量に小数値が発生するが、画像に重畳させるグラフィクスを補間・拡大縮小等を行う、いわゆるサブピクセル制御を施すことも可能である。
図３３には、フィルタリング処理の他の例を示している。この例は、Ｔ０のタイミングにおける視差情報（Disprity）値がＡであり、Ｔ１，Ｔ２，Ｔ３の各タイミングにおける視差情報（Disprity）値がＢ，Ｃ，Ｄとなって、急激に変化していく場合の例である。この場合、Ｔ１のタイミングにおける視差情報（Disprity）値は、Ｂそのものではなく、（Ａ−α１）とされる。ここで、α１＝（Ａ−Ｂ）／Ｎ である。この場合、（Ａ−Ｂ）の視差情報差をＮビデオフレームの時間をかけて徐々に変化するように、フィルタリング処理が行われる。
また、Ｔ２のタイミングにおける視差情報（Disprity）値は、Ｃそのものではなく、（Ａ−α１）−α２とされる。ここで、α２＝（（Ａ−α１）−Ｃ）／Ｐ である。この場合、（（Ａ−α１）−Ｃ）の視差情報差をＰビデオフレームの時間をかけて徐々に変化するように、フィルタリング処理が行われる。
さらに、Ｔ２のタイミングにおける視差情報（Disprity）値は、Ｄそのものではなく、（（Ａ−α１）−α２）−α３）とされる。ここで、α３＝（（（Ａ−α１）−α２）−Ｄ）／Ｑである。（（（Ａ−α１）−α２）−Ｄ）の視差情報差をＱビデオフレームの時間をかけて徐々に変化するように、フィルタリング処理が行われ、最終的に視差情報（Disprity）値はＤに落ち着く。
なお、時間方向に平滑化する処理（フィルタリング処理）は、上述の例に限定されるものではなく、その他の方法であってもよい。要は、このフィルタリング処理により、視差情報の急激な変化が抑制されればよい。
図３１に戻って、また、奥行き制御部２２０は、サブタイトル視差情報バッファ２３４に記憶されているサブタイトル（字幕）の視差情報「Subtitle disparity」を用いる。また、奥行き制御部２２０は、セットトップボックスグラフィクス発生部２１９で発生されるグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」を用いる。また、奥行き制御部２２０は、ビデオストリームに視差情報が挿入されているか否かを示す識別情報を用いる。
また、奥行き制御部２２０は、視差情報制御部２６２から出力されるピクチャ毎の第１の視差情報（Min disparity）を、字幕あるいはグラフィクスの画像への重畳に応じて更新する。この場合、奥行き制御部２２０は、サブタイトル（字幕）の表示位置およびグラフィクスの表示位置に対応した分割領域（Partition）の視差情報（Disparity）の値を、例えば、サブタイトル（字幕）あるいはグラフィクスの視差付与に用いられた視差情報（Disparity）の値に更新する。
図３４、図３５のフローチャートは、奥行き制御部２２０の制御処理の手順の一例を示している。奥行き制御部２２０は、この制御処理を、グラフィクス表示を行う各ピクチャ（フレーム）で実行する。奥行き制御部２２０は、ステップＳＴ１において、制御処理を開始する。その後に、ステップＳＴ２において、識別情報に基づいて、ビデオストリームにグラフィクス向けの視差情報の挿入があるか否かを判断する。
ビデオストリームに視差情報の挿入があるとき、奥行き制御部２２０は、ステップＳＴ３の処理に移る。このステップＳＴ３において、グラフィクスを重畳表示（overlay）する座標が含まれる分割領域（partition）を全て検査する。そして、奥行き制御部２２０は、ステップＳＴ４において、対象となる分割領域（partition）の視差情報（disparity）を比較し、最適な値、例えば最小値を選択して、グラフィクス視差情報（disparity）の値（graphics_disparity）とする。
次に、奥行き制御部２２０は、ステップＳＴ５の処理に移る。上述のステップＳＴ２でビデオストリームに視差情報の挿入がないとき、奥行き制御部２２０は、直ちに、ステップＳＴ５の処理に移る。このステップＳＴ５において、奥行き制御部２２０は、視差情報（disparity）を持ったサブタイトルストリーム（Subtitle stream）があるか否かを判断する。
視差情報（disparity）を持ったサブタイトルストリーム（Subtitle stream）があるとき、奥行き制御部２２０は、ステップＳＴ６において、サブタイトル用の視差情報（disparity）の値（subtitle_disparity）と、グラフィクス用の視差情報の値（graphics_disparity）とを比較する。なお、グラフィクス用の視差情報の値（graphics_disparity）は、ビデオストリームにグラフィクス用の視差情報（disparity）の挿入がないときは、例えば、「０」とされる。
次に、奥行き制御部２２０は、ステップＳＴ７において、「subtitle_disparity＞（graphics_disparity）の条件を満足するか否かを判断する。この条件を満足するとき、奥行き制御部２２０は、ステップＳＴ８において、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、グラフィクス用の視差情報（disparity）の値（graphics_disparity）と同等の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。
次に、奥行き制御部２２０は、ステップＳＴ９において、サブタイトルあるいはグラフィクスを重畳させた画面位置に相当する分割領域（Partition）の視差情報（disparity）の値を更新する。奥行き制御部２２０は、ステップＳＴ９の処理の後、ステップＳＴ１０において、制御処理を終了する。
一方、ステップＳＴ７で条件を満足しないとき、奥行き制御部２２０は、ステップＳＴ１０において、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、サブタイトル用の視差情報（disparity）よりも小さい値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部２２０は、ステップＳＴ１１の処理の後、ステップＳＴ９の処理を経て、ステップＳＴ１０において、制御処理を終了する。
また、ステップＳＴ５で視差情報（disparity）を持ったサブタイトルストリーム（Subtitle stream）がないとき、奥行き制御部２２０は、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、奥行き制御部２２０は、ステップＳＴ４において得られるグラフィクス用の視差情報の値（graphics_disparity）を用いるか、あるいはセットトップボックス２００で算出される視差情報（disparity）の値を用いて、グラフィクスの奥行き制御を行う。
すなわち、奥行き制御部２２０は、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、グラフィクス用の視差情報の値（graphics_disparity）あるいは算出される視差情報（disparity）の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部２２０は、ステップＳＴ１２の処理の後、ステップＳＴ９の処理を経て、ステップＳＴ１０において、制御処理を終了する。
図３６は、セットトップボックス２００におけるグラフィクスの奥行き制御例を示している。この例において、グラフィクス（ＳＴＢグラフィクス）は、右側の８つの分割領域（Partition 2,3,6,7,10,11,14,15）の視差情報のうち最小の値の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。その結果、グラフィクスは、これら８つの分割領域の画像（ビデオ）オブジェクトより手前に表示されるようになる。
図３７も、セットトップボックス２００におけるグラフィクスの奥行き制御例を示している。この例において、グラフィクス（ＳＴＢグラフィクス）は、右側の８つの分割領域（Partition 2,3,6,7,10,11,14,15）の視差情報のうち最小の値の視差情報、さらにはサブタイトル（字幕）の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。
その結果、グラフィクスは、これら８つの分割領域の画像（ビデオ）オブジェクトより手前で、さらに、サブタイトル（字幕）よりも手前に表示されるようになる。なお、この場合、サブタイトル（字幕）も、サブタイトル（字幕）の視差情報に基づいて、サブタイトルの表示位置に対応した４つの分割領域（Partition 8,9,10,11）の画像（ビデオ）オブジェクトより手前に表示されるようになる。
なお、この図３７の奥行き制御例の場合の視差情報の更新処理は、例えば、以下のように行われる。すなわち、最初に、サブタイトルの表示位置に対応した４つの分割領域（Partition 8,9,10,11）の視差情報（Disparity）の値が、サブタイトルへの視差付与に使用された視差情報値（subtitle_disparity）で更新される。その後、８つの分割領域（Partition 2,3,6,7,10,11,14,15）の視差情報（Disparity）の値が、グラフィクスへの視差付与に使用された視差情報値（graphics_disparity）で更新される。
図２８に戻って、コーデッドバッファ２４１は、デマルチプレクサ２１２で抽出されるオーディオストリームを一時的に記憶する。オーディオデコーダ２４２は、上述の送信データ生成部１１０のオーディオエンコーダ１１９（図８参照）とは逆の処理を行う。すなわち、オーディオデコーダ２４２は、コーデッドバッファ２４１に記憶されているオーディオストリームの復号化処理を行って、復号化された音声データを得る。オーディオバッファ２４３は、オーディオデコーダ２４２で得られる音声データを一時的に記憶する。チャネルミキシング部２４４は、オーディオバッファ２４３に記憶されている音声データに対して、例えば５．１ｃｈサラウンド等を実現するための各チャネルの音声データを生成して出力する。
なお、デコーデッドバッファ２１５、視差情報バッファ２１８、ピクセルバッファ２３３、サブタイトル視差情報バッファ２３４およびオーディオバッファ２４３からの情報（データ）の読み出しは、ＰＴＳに基づいて行われ、転送同期が取られる。
ＨＤＭＩ送信部２５１は、ＨＤＭＩに準拠した通信により、重畳部２１７でサブタイトルおよびグラフィクスの重畳処理がされて得られた左眼画像データおよび右眼画像データと、チャネルミキシング部２４４で得られた各チャネルの音声データを、ＨＤＭＩのシンク機器、この実施の形態ではテレビ受信機３００に送信する。ここで、重畳部２１７で得られる左眼画像データは、左眼表示用のサブタイトル（字幕）およびＳＴＢグラフィクスが重畳された左眼画像のデータである。また、重畳部２１７で得られる右眼画像データは、右眼表示用のサブタイトル（字幕）およびＳＴＢグラフィクスが重畳された右眼画像のデータである。
また、このＨＤＭＩ送信部２５１は、奥行き制御部２２０で更新された各ピクチャの第１の視差情報（Min disparity）、および視差情報制御部２６２から出力される各ピクチャの第２の視差情報（Max disparity）を、ＨＤＭＩインタフェースで、テレビ受信機３００に送信する。この実施の形態において、これら第１の視差情報および第２の視差情報は、画像データのブランキング期間、あるいはアクティブスペース領域（Active space）に挿入されて、送信される。このＨＤＭＩ送信部２５１の詳細は後述する。
図２８に示すセットトップボックス２００の動作を簡単に説明する。デジタルチューナ等で受信されたトランスポートストリームＴＳは、コンテナバッファ２１１に一時的に記憶される。このトランスポートストリームＴＳには、ビデオストリーム、サブタイトルストリームおよびオーディオストリームが含まれている。ビデオストリームとしては、左眼画像データおよび右眼画像データが符号化されて得られた１つあるいは２つのビデオストリームが含まれている。
デマルチプレクサ２１２では、コンテナバッファ２１１に一時的に記憶されたトランスポートストリームＴＳから、ビデオ、サブタイトルおよびオーディオの各ストリームが抽出される。また、デマルチプレクサ２１２では、このトランスポートストリームＴＳから、ビデオストリームに視差情報が挿入されているか否かを示す識別情報（「graphics_depth_info_not_existed_flag[0]」のフラグ情報）が抽出され、図示しない制御部（ＣＰＵ）に送られる。
デマルチプレクサ２１２で抽出されるビデオストリームはコーデッドバッファ２１３に供給されて一時的に記憶される。そして、ビデオデコーダ２１４では、コーデッドバッファ２１３に記憶されているビデオストリームのデコード処理が行われて、左眼画像データおよび右眼画像データが取得される。この左眼画像データおよび右眼画像データは、デコーデッドバッファ２１５に一時的に記憶される。
また、ビデオデコーダ２１４では、ビデオストリームに挿入されている、画像データのピクチャ毎の視差情報（第１の視差情報、第２の視差情報）が取得される。この視差情報は、視差情報バッファ２１８に一時的に記憶される。視差情報制御部２６２では、視差情報バッファ２１８に記憶されているピクチャ毎の第１の視差情報および第２の視差情報に基づいて、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない範囲ｄ（図２９参照）に収まっているか否かがチェックされる。
そして、この視差情報制御部２６２では、視差角が所定の範囲内に収まっていない場合、視差角が範囲ｄに収まるように、Ｌ／Ｒ再構成部２６３に左眼画像データおよび右眼画像データの再構成を指示することが行われる。また、その場合、この視差情報制御部２６２では、再構成される左眼画像データおよび右眼画像データに合わせて、第１の視差情報および／または第２の視差情報を修正して出力することが行われる。なお、視差情報制御部２６２では、視差角が所定の範囲ｄに収まっている場合には、Ｌ／Ｒ再構成部２６３に左眼画像データおよび右眼画像データの再構成を指示することは行われず、また、第１の視差情報および第２の視差情報は修正されずに出力される。
スケーラ２１６では、デコーデッドバッファ２１５から出力される左眼画像データおよび右眼画像データに対して、必要に応じて、水平方向や垂直方向のスケーリング処理が行われる。このスケーラ２１６からは、例えば、１９２０＊１０８０のフルＨＤのサイズの左眼画像データおよび右眼画像データが得られる。この左眼画像データおよび右眼画像データは、Ｌ／Ｒ再構成部２６３を介して、重畳部２１７に供給される。
Ｌ／Ｒ再構成部２６３では、必要に応じて、左眼画像データおよび右眼画像データの再構成を行う。すなわち、Ｌ／Ｒ再構成部２６３では、同側方向または交差方向の視差角のいずれかが視聴上健康を害さない範囲ｄ（図２９参照）に収まっていないとき、視差情報制御部２６２からの再構成指示に基づいて、その視差角が所定の範囲内に収まるように左眼画像データおよび右眼画像データを再構成することが行われる。
また、デマルチプレクサ２１２で抽出されるサブタイトルストリームは、コーデッドバッファ２３１に供給されて一時的に記憶される。サブタイトルデコーダ２３２では、コーデッドバッファ２３１に記憶されているサブタイトルストリームのデコード処理が行われて、サブタイトルデータが得られる。このサブタイトルデータには、サブタイトル（字幕）のビットマップデータと、このサブタイトルの表示位置情報「Subtitle rendering position (x2,y2）」と、サブタイトル（字幕）の視差情報「Subtitle disparity」が含まれている。
サブタイトルデコーダ２３２で得られるサブタイトル（字幕）のビットマップデータおよびサブタイトル（字幕）の表示位置情報「Subtitle rendering position (x2,y2）」は、ピクセルバッファ２３３に一時的に記憶される。また、サブタイトルデコーダ２３２で得られるサブタイトル（字幕）の視差情報「Subtitle disparity」はサブタイトル視差情報バッファ２３４に一時的に記憶される。
サブタイトル表示制御部２３５では、サブタイトル（字幕）のビットマップデータと、このサブタイトル（字幕）の表示位置情報および視差情報に基づいて、視差が付与された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」が生成される。このように生成された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」は、重畳部２１７に供給され、それぞれ、左眼画像データおよび右眼画像データに重畳される。
セットトップボックス（ＳＴＢ）グラフィクス発生部２１９では、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータが発生される。このグラフィクスデータには、グラフィクスのビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」が含まれている。グラフィクスバッファ２２１には、セットトップボックス（ＳＴＢ）グラフィクス発生部２１９で発生されたグラフィクスデータが一時的に記憶される。
重畳部２１７では、左眼画像データおよび右眼画像データにグラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」が重畳される。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、奥行き制御部２２０により、視差情報制御部２６２から出力される画像データの各ピクチャの分割領域毎の第１の視差情報のうち、グラフィクスの表示位置に対応した視差情報に基づいて視差が付与される。
この場合、グラフィクスビットマップデータ「Graphics data」がサブタイトルのビットマップデータ「Subtitle data」と同一画素を共有する場合、重畳部２１７では、サブタイトルデータの上にグラフィクスデータが上書きされる。また、この場合、奥行き制御部２２０では、上述したように、第１の視差情報がそのまま使用されるのではなく、グラフィクスの重畳の奥行き違和感を防止するために、時間方向に平滑化されて使用される。
重畳部２１７からは、左眼表示用のサブタイトル（字幕）およびグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のサブタイトル（字幕）およびグラフィクスが重畳された右眼画像のデータが得られる。この左眼画像データおよび右眼画像データは、ＨＤＭＩ送信部２５１に供給される。
また、デマルチプレクサ２１２で抽出されるオーディオストリームは、コーデッドバッファ２４１に供給されて一時的に記憶される。オーディオデコーダ２４２では、コーデッドバッファ２４１に記憶されているオーディオスストリームのデコード処理が行われて、復号化された音声データが得られる。この音声データはオーディオバッファ２４３を介してチャネルミキシング部２４４に供給される。チャネルミキシング部２４４では、音声データに対して、例えば５．１ｃｈサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは、ＨＤＭＩ送信部２５１に供給される。
また、奥行き制御部２２０では、視差情報制御部２６２から出力される画像データの各ピクチャの分割領域毎の第１の視差情報が、字幕あるいはグラフィクスの画像への重畳に応じて更新される。この場合、サブタイトル（字幕）の表示位置およびグラフィクスの表示位置に対応した分割領域（Partition）の視差情報（Disparity）の値が、例えば、サブタイトル（字幕）あるいはグラフィクスの視差付与に用いられた視差情報（Disparity）の値に更新される。この更新された視差情報は、ＨＤＭＩ送信部２５１に供給される。また、視差情報制御部２６２から出力される画像データの各ピクチャの第２の視差情報も、ＨＤＭＩ送信部２５１に供給される。
ＨＤＭＩ送信部２５１により、ＨＤＭＩに準拠した通信により、左眼画像データおよび右眼画像データ、音声データ、さらには、画像データの各ピクチャの視差情報（第１の視差情報、第２の視差情報）が、テレビ受信機３００に送信される。このＨＤＭＩ送信部２５１の詳細は後述する。
視差情報は、画像データのブランキング期間、あるいはアクティブビデオ区間(Active Video Space)に挿入されて、送信される。具体的には、例えば、画像データのブランキング期間に配置される情報パケットとしてのＨＤＭＩ・ベンダー・スペシフィック・インフォフレーム（HDMI Vendor Specific InfoFrame）が利用される。また、例えば、新規定義されるデータアイランド期間に配置されるデータパケットが利用される。また、例えば、アクティブビデオ区間に存在するアクティブスペース領域（Active space）が利用される。
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる左眼画像データおよび右眼画像データ、音声データ、さらには画像データの各ピクチャの視差情報（第１の視差情報、第２の視差情報）を受信する。
テレビ受信機３００は、例えば、画像にグラフィクス（ＴＶグラフィクス）を重畳表示する際には、画像データおよび第１の視差情報と、グラフィクスデータとを用いて、グラフィクスが重畳された左眼画像および右眼画像のデータを得る。この場合、テレビ受信機３００は、左眼画像および右眼画像に重畳されるグラフィクスに、ピクチャ毎に、このグラフィクスの表示位置に対応した視差を付与し、グラフィクスが重畳された左眼画像のデータおよびグラフィクスが重畳された右眼画像のデータを得る。
上述のようにグラフィクスに視差を付与することで、立体画像に重畳表示されるグラフィクス（ＴＶグラフィクス）を、その表示位置における立体画像のオブジェクトよりも手前に表示させることができる。これにより、ＯＳＤあるいはアプリケーションあるいは番組情報のＥＰＧなどのグラフィクスを画像に重畳表示する場合に、画像内の各オブジェクトに対する遠近感の整合性を維持できる。
また、テレビ受信機３００は、第１の視差情報および第２の視差情報に基づいて、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない範囲ｄ（図４７参照）に収まっているか否かをチェックでき、収まっていない場合は、左眼画像データおよび右眼画像データを再構成できる。
［テレビ受信機の構成例］
図３８は、テレビ受信機３００のＨＤＭＩ入力系の構成例を示している。なお、視差角のチェック系に関しては省略している。テレビ受信機３００は、ＨＤＭＩ受信部３１１と、スケーラ３１２と、重畳部３１３と、奥行き制御部３１４と、グラフィクスバッファ３１５と、テレビ（ＴＶ）グラフィクス発生部３１６と、オーディオ処理部３１７を有している。
ＨＤＭＩ受信部３１１は、ＨＤＭＩに準拠した通信により、ＨＤＭＩのソース機器、この実施の形態ではセットトップボックス２００から、立体画像を構成する左眼画像データおよび右眼画像データと、音声データを受信する。また、このＨＤＭＩ受信部３１１は、画像データの各ピクチャの視差情報（第１の視差情報、第２の視差情報）を、ＨＤＭＩインタフェースで、セットトップボックス２００から受信する。このＨＤＭＩ受信部３１１の詳細は後述する。
スケーラ３１２は、ＨＤＭＩ受信部３１１で受信された左眼画像データおよび右眼画像データを、必要に応じてスケーリング処理を行う。例えば、スケーラ３１２は、左眼画像データおよび右眼画像データのサイズを表示サイズに合致させる。テレビ（ＴＶ）グラフィクス発生部３１６は、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータを発生する。このグラフィクスデータには、グラフィクスビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1)」が含まれている。
グラフィクスバッファ３１５は、テレビグラフィクス発生部３１６で発生されたグラフィクスビットマップデータ「Graphics data」を一時的に記憶する。重畳部３１３は、左眼画像データおよび右眼画像データに、それぞれ、グラフィクスバッファ３１５に記憶されているグラフィクスビットマップデータ「Graphics data」を重畳する。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、後述する奥行き制御部３１４により、視差が付与される。
奥行き制御部３１４は、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」に視差を付与する。そのため、奥行き制御部３１４は、画像データのピクチャ毎に、左眼表示用および右眼表示用のグラフィクスの表示位置情報「Rendering position」を生成し、グラフィクスバッファ３１５に記憶されているグラフィクスビットマップデータ「Graphics data」の左眼画像データおよび右眼画像データへの重畳位置のシフト制御を行う。
奥行き制御部３１４は、図３９に示すように、以下の情報を用いて、表示位置情報「Rendering position」を生成する。すなわち、奥行き制御部３１４は、ＨＤＭＩ受信部３１１で受信された、画像データのピクチャ毎の各分割領域（Partition）の第１の視差情報（Min disparity）を用いる。また、奥行き制御部３１４は、テレビグラフィクス発生部３１６で発生されるグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」を用いる。また、奥行き制御部３１４は、ＨＤＭＩ受信部３１１で視差情報が受信されているか否かを示す受信情報を用いる。
図４０のフローチャートは、奥行き制御部３１４の制御処理の手順の一例を示している。奥行き制御部３１４は、この制御処理を、グラフィクス表示を行う各ピクチャ（フレーム）で実行する。奥行き制御部３１４は、ステップＳＴ２１において、制御処理を開始する。その後に、ステップＳＴ２２において、受信情報に基づいて、ＨＤＭＩ受信部３１１でグラフィクス向けの視差情報の受信があるか否かを判断する。なお、ＨＤＭＩ受信部３１１は、後述するHDMI Vendor Specific InfoFrame のパケットの「PRTY」の識別情報が、参照すべき情報としての視差情報の存在を示すとき、当該パケットから視差情報を抽出し、使用に備える。この場合、受信情報は、「受信あり」となる。
視差情報（disparity）の受信があるとき、奥行き制御部３１４は、ステップＳＴ２３の処理に移る。このステップＳＴ２３において、グラフィクスを重畳表示（overlay）する座標が含まれる分割領域（partition）を全て検査する。そして、奥行き制御部３１４は、ステップＳＴ２４において、対象となる分割領域（partition）の第１の視差情報（Min disparity）を比較し、最適な値、例えば最小値を選択して、グラフィクス視差情報（disparity）の値（graphics_disparity）とする。
次に、奥行き制御部３１４は、ステップＳＴ２５において、グラフィクスバッファ３１５に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、グラフィクス用の視差情報（disparity）の値（graphics_disparity）と同等の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部３１４は、ステップＳＴ２５の処理の後、ステップＳＴ２６において、制御処理を終了する。
また、ステップＳＴ２２で視差情報（disparity）の受信がないとき、奥行き制御部３１４は、ステップＳＴ２７において、グラフィクスバッファ３１５に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、テレビ受信機３００で算出される視差情報（disparity）の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部３１４は、ステップＳＴ２７の処理の後、ステップＳＴ２６において、制御処理を終了する。
図４１は、テレビ受信機３００におけるグラフィクスの奥行き制御例を示している。この例において、ＴＶグラフィクスに関しては、右側の４つの分割領域（Partition 10,11,14,15）の第１の視差情報のうち最小の値の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。その結果、ＴＶグラフィクスは、これら４つの分割領域の画像（ビデオ）オブジェクトより手前に表示される。なお、この場合、サブタイトル（字幕）、さらには、ＳＴＢグラフィクスは、セットトップボックス２００において既に画像（ビデオ）に重畳されている。
図３８に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３１１により、ＨＤＭＩに準拠した通信により、左眼画像データおよび右眼画像データ、音声データ、さらには、画像データの各ピクチャの視差情報（第１の視差情報、第２の視差情報）が、セットトップボックス２００から受信される。
ＨＤＭＩ受信部３１１で受信された左眼画像データおよび右眼画像データは、スケーラ３１２で必要に応じてスケーリング処理が施された後に、重畳部３１３に供給される。テレビＴＶ）グラフィクス発生部３１６では、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータが発生される。このグラフィクスデータには、グラフィクスのビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」が含まれている。グラフィクスバッファ３１５には、テレビグラフィクス発生部３１５で発生されたグラフィクスデータが一時的に記憶される。
重畳部３１３では、左眼画像データおよび右眼画像データにグラフィクスバッファ３１５に記憶されているグラフィクスビットマップデータ「Graphics data」が重畳される。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、奥行き制御部３１４により、グラフィクスの表示位置に対応した第１の視差情報（Min disparity）に基づいて視差が付与される。
奥行き制御部３１４では、その制御のために、ＨＤＭＩ受信部３１１で受信された、画像データのピクチャ毎の各分割領域（Partition）の第１の視差情報と、テレビグラフィクス発生部３１６で発生されるグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」とが用いられる。
重畳部３１３からは、左眼表示用のＴＶグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のＴＶグラフィクスが重畳された右眼画像のデータが得られる。これらの画像データは、立体画像表示のための処理部に送られ、立体画像表示が行われる
また、ＨＤＭＩ受信部３１１で受信された各チャネルの音声データは、音質や音量の調整を行うオーディオ処理部３１７を介してスピーカに供給され、立体画像表示に合わせた音声出力がなされる。
［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
図４２は、図１の画像送受信システム１０における、セットトップボックス２００のＨＤＭＩ送信部２５１と、テレビ受信機３００のＨＤＭＩ受信部３１１の構成例を示している。
ＨＤＭＩ送信部２５１は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３１１に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２５１は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３１１に一方向に送信する。
ＨＤＭＩ送信部２５１とＨＤＭＩ受信部３１１とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２５１からＨＤＭＩ受信部３１１に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
ＨＤＭＩ送信部２５１は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３１１に、一方向にシリアル伝送する。
また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３１１に、一方向にシリアル伝送する。
さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３１１に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
ＨＤＭＩ受信部３１１は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２５１から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３１１は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２５１から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、ＨＤＭＩ受信部３１１は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２５１から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２５１からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
ＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。ＤＤＣ８３は、ＨＤＭＩ送信部２５１が、ＨＤＭＩ受信部３１１から、Ｅ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
すなわち、ＨＤＭＩ受信部３１１は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ−ＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ(Read Only Memory)８５を有している。ＨＤＭＩ送信部２５１は、例えば、図示しない制御部（ＣＰＵ）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３１１から、Ｅ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。
ＨＤＭＩ送信部２５１は、読み出したＥ−ＥＤＩＤを制御部（ＣＰＵ）に送る。制御部（ＣＰＵ）は、このＥ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３１１の性能の設定を認識できる。例えば、制御部（ＣＰＵ）は、ＨＤＭＩ受信部３１１を有するテレビ受信機３００が立体画像データの取り扱いが可能か否か、可能である場合はさらにいかなるＴＭＤＳ伝送データ構造に対応可能であるか等を認識する。
ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２５１とＨＤＭＩ受信部３１１との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
また、ＨＤＭＩケーブル４００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。なお、このＨＰＤライン８６は双方向通信路を構成するＨＥＡＣ−ラインとしても使用される。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン（電源ライン）８７が含まれている。さらに、ＨＤＭＩケーブル４００には、ユーティリティライン８８が含まれている。このユーティリティライン８８は双方向通信路を構成するＨＥＡＣ＋ラインとしても使用される。
図４３は、ＴＭＤＳ伝送データの構造例を示している。この図４３は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Island period）、およびコントロール区間（Control period）である。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（active edge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（vertical blanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である。
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）＊１０８０ライン分の有効画素（Active pixel）のデータが伝送される。
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
［ＨＤＭＩでの視差情報の送受信方法］
画像データのピクチャ毎の各分割領域（Partition）の視差情報（Disparity）を、ＨＤＭＩインタフェースで送受信する方法について説明する。
「（１）HDMI Vendor Specific InfoFrameを利用する例」
画像データのピクチャ毎の各分割領域（Partition）における視差情報（Disparity）の送信を、ＨＤＭＩ・ベンダー・スペシフィック・インフォフレーム（VS_Info：HDMI Vendor Specific InfoFrame）を利用して行う方法を説明する。
この方法では、VS_Info において、「HDMI_Video_Format＝“０１０”」、かつ「3D_Meta_present＝１」とされて、「Vendor Specific InfoFrame extension」が指定される。その場合、「3D_Metadata_type」は、未使用の、例えば、“００１”と定義され、各分割領域（Partition）の視差情報（Disparity）が指定される。
図４４は、VS_Infoのパケット構造例を示している。このVS_Info については、CEA-861-Dに定義されているので、詳細説明は省略する。図４５には、図４４に示すパケット構造例における主要な情報の内容が示されている。
第４バイト（ＰＢ４）の第７ビットから第５ビットに、画像データの種類を示す３ビットの情報「HDMI_Video_Format」が配置されている。画像データが３Ｄ画像データである場合、この３ビットの情報は「０１０」とされる。また、画像データが３Ｄ画像データである場合、第５バイト（ＰＢ５）の第７ビットから第４ビットに、ＴＭＤＳ伝送データ構造を示す４ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式の場合、この４ビットの情報は、「００００」とされる。
また、第５バイト（ＰＢ５）の第３ビットに、「3D_Meta_present」が配置され、Vendor Specific InfoFrame extensionを指定する場合、この１ビットは「１」とされる。また、第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。各分割領域（Partition）の視差情報（Disparity）を指定する場合、この３ビットの情報は、未使用の、例えば、“００１”とされる。
また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報は、各分割領域（Partition）の視差情報（Disparity）のサイズを示す。
また、第６バイト（ＰＢ６）の第０ビットに、「PRTY」の１ビットの識別情報が配置される。この識別情報は、この VS_Info に、ＨＤＭＩシンク側が参照すべき情報、ここでは視差情報（Disparity）が含まれているか否かを示す。“１”は、ＨＤＭＩシンクが参照すべき情報が必ず含まれていることを示す。“０”は、ＨＤＭＩシンクが参照すべき情報が必ず含まれているわけではないことを示す。
この「PRTY」の１ビットの識別情報が配置されていることで、ＨＤＭＩシンク、この実施の形態においてテレビ受信機３００は、「3D_Metadata_type」以下を検査しなくても、VS_Info の中に、参照すべき情報が含まれているか否かを判定できる。したがって、ＨＤＭＩシンクでは、この識別情報により、 VS_Info から参照すべき情報の抽出処理を無駄なく行うことができ、処理負荷を軽減することが可能となる。
また、第８バイト（ＰＢ８）の第７ビットから第５ビットに、「partition_type」が配置されている。この３ビットの情報は、対象ピクチャの表示画面の分割タイプを示す。“０００”は、図１９（ａ）示すような、分割タイプ「type000」を示す。“００１”は、図１９（ｂ）示すような、分割タイプ「type001」を示す。“０１０”は、図１９（ｃ）示すような、分割タイプ「type010」を示す。“０１１”は、図１９（ｄ）示すような、分割タイプ「type011」を示す。“１００”は、図１９（ｅ）示すような、分割タイプ「type100」を示す。“１０１”は、図１９（ｆ）示すような、分割タイプ「type101」を示す。
また、第８バイト（ＰＢ８）の第４ビットに、「d_picture」の１ビットの識別情報が配置される。この識別情報は、シングルピクチャかダブルピクチャかを示す。“０”は、シングルピクチャであること、つまり、各分割領域（Partition）の視差情報（Disparity）として、１ピクチャ分を送信するモードであることを示す。“１”は、ダブルピクチャであること、つまり、各分割領域（Partition）の視差情報（Disparity）として、２ピクチャ分を送信するモードであることを示す。
また、第８バイト（ＰＢ８）の第３ビットから第０ビットに、「partition_count」が配置される。この４ビットの情報は、分割領域（Partition）の総数を示し、上述の「partition_type」に依存した値となる。例えば、“００００”は１、“００１１”は４、“０１１１”は８、“１０００”は９、“１１００”は１３、“１１１１”は１６を示す。
そして、第８＋１バイト（ＰＢ８＋１）以降に、１ピクチャ分あるいは２ピクチャ分の、視差情報（第１の視差情報、第２の視差情報）が順次配置される。「Max_disparity_in_picture」の８ビット情報は、ピクチャ表示画面全体（ピクチャ全体）の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）を示す。「Min_disparity_in_partition」の８ビット情報は、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
図４６は、「d_picture＝０」であってシングルピクチャのモードであり、「partition_type＝０１０」であって分割領域が「１６」である場合における VS_Info の構造例を示している。この場合、第８＋１バイト（ＰＢ８＋１）以降に、１ピクチャ分の各分割領域の視差情報が配置されている。
上述したように、セットトップボックス２００は、ビデオストリームにピクチャ単位で視差情報が挿入されている場合、画像データの各ピクチャのタイミングで１ピクチャ分の視差情報を取得する（図２５参照）。また、上述したように、セットトップボックス２００は、ビデオストリームにＧＯＰ単位で視差情報が挿入されている場合、画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報（視差情報セット）をまとめて取得する（図２６参照）。
セットトップボックス２００は、いずれの場合にあっても、例えば、テレビ受信機３００との間のＣＥＣライン８４を使用したネゴシエーション、あるいはＥＤＩＤＲＯＭ ８５での設定などに基づいて、シングルピクチャまたはダブルピクチャのいずれかのモードを任意に選択可能なようにする。この場合、セットトップボックス２００は、ピクチャ毎の視差情報を送信するための伝送帯域、あるいは、セットトップボックス２００やテレビ受信機３００における処理能力などに応じて、モードを選択でき、テレビ受信機３００への視差情報の送信を良好に行うことが可能となる。
テレビ受信機３００においては、 VS_Info に配置された「d_picture」のモード識別情報と、上述した「PRTY」の参照情報の有無の識別情報に基づいて、いずれのモードの送信にあっても、全てのピクチャの視差情報（Disparity）を、的確に受信できる。
図４７は、セットトップボックス２００が、画像データの各ピクチャのタイミングで１ピクチャ分の視差情報を取得し、テレビ受信機３００に、シングルピクチャのモードにより、各ピクチャの視差情報を順次送信する場合を、概略的に示している。また、図４８は、セットトップボックス２００が、画像データの各ピクチャのタイミングで１ピクチャ分の視差情報を取得し、テレビ受信機３００に、ダブルピクチャのモードにより、各ピクチャの視差情報を順次送信する場合を、概略的に示している。
また、図４９は、セットトップボックス２００が、画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報をまとめて取得し、テレビ受信機３００に、シングルピクチャのモードにより、各ピクチャの視差情報を順次送信する場合を、概略的に示している。さらに、図５０は、セットトップボックス２００が、画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報をまとめて取得し、テレビ受信機３００に、ダブルピクチャのモードにより、各ピクチャの視差情報を順次送信する場合を、概略的に示している。
なお、上述ではセットトップボックス２００がシングルピクチャあるいはダブルピクチャのモードを任意に選択し得るように説明した。しかし、例えば、画像データのＧＯＰの先頭タイミングでＧＯＰ内の各ピクチャの視差情報をまとめて取得するときには、シングルピクチャのモードで送信する、ようにされてもよい。この場合、ＧＯＰ内の各ピクチャの視差情報は単一のピクチャ分ずつに振り分けられ、各単一ピクチャ分の視差情報がピクチャ単位で順次送信される（図４９参照）。この場合、ピクチャ毎の視差情報を送信するための伝送帯域が小さい場合であっても、各ピクチャの視差情報を、テレビ受信機３００に良好に送信できる。
一方、セットトップボックス２００が２ビデオフレーム周期に１度の割合でしかVS_Infoを送れない場合、あるいはテレビ受信機３００が２ビデオフレーム周期に１度の割合でしかVS_Infoを受け取れない場合には、図４８のように２ビデオフレーム分の視差情報を続けて一つのVS_Infoで送ることも考えられる。
なお、ダブルピクチャモードにおいては、第１のピクチャまたは第２のピクチャの視差情報を、１つ前のピクチャの視差情報との間の差分データとすることで、伝送データ量を低減できる。
図５１、図５２は、VS_Info（HDMI Vendor Specific InfoFrame）の他のパケット構造例を示している。詳細説明は省略するが、第０バイト（ＰＢ０）〜第６バイト（ＰＢ６）に関しては、上述の図４４に示すパケット構造例と同様である。図４５には、図５１、図５２に示すパケット構造例における主要な情報の内容を示している。
第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。各分割領域（Partition）の視差情報（Disparity）を指定する場合、この３ビットの情報は、未使用の、例えば、“００１”とされる。
また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報は、各分割領域（Partition）の視差情報（Disparity）のサイズを示す。この「3D_Metadata_length」の値は、０ｘ００〜０ｘ１６の値をとる。例えば、“０００１１”は３（１０進数で）を表し、“１１０１０”は２６（10進数で）を表す。
第８バイト（ＰＢ８）の第７ビットに、「d_picture」の１ビットの識別情報が配置される。この識別情報は、シングルピクチャかダブルピクチャかを示す。“０”は、シングルピクチャであること、つまり、各分割領域（Partition）の視差情報（Disparity）として、１ピクチャ分を送信するモードであることを示す。“１”は、ダブルピクチャであること、つまり、各分割領域（Partition）の視差情報（Disparity）として、２ピクチャ分を送信するモードであることを示す。
第８バイト（ＰＢ８）の第５ビットに、「partition_enable」の１ビットの識別情報が配置される。この識別情報は、対象ピクチャが各分割領域（Partition）の視差情報（Disparity）を持つかどうかを示す。“１”は、水平、垂直方向に分割領域が指定されていて、各々が視差情報（Disparity）を持つことを示す。“０”は、画面全体が一つの視差情報（Disparity）を持つことを示す。
第８バイト（ＰＢ８）の第６ビットに、「Picture_reorder」の１ビットの識別情報が配置される。ダブルピクチャを伝送する場合、２つのピクチャ（Ｎ，Ｎ＋１）の伝送が、時間的にＮが先でＮ＋１が後か、あるいはＮ＋１が先でＮが後かを示す。“１”は、（Ｎ＋１）ピクチャが先で視差情報（Disparity）の値を８ｂｉｔで表し、Ｎピクチャが後で、（Ｎ−１）ピクチャの視差情報（Disparity）からの差分値を４ｂｉｔで表すことを示す。“０”は、Ｎピクチャが先で視差情報（Disparity）の値を８ｂｉｔで表し、（Ｎ＋１）ピクチャが後で、Ｎピクチャの視差情報（Disparity）からの差分値を４ｂｉｔで表すことを示す。
また、第８バイト（ＰＢ８）の第３ビットから第０ビットに、「partition_count」が配置される。この４ビットの情報は、分割領域（Partition）の総数を示す。例えば、“００００”は１、“００１１”は４、“０１１１”は８、“１０００”は９、“１１００”は１３、“１１１１”は１６を示す。
そして、第８＋１バイト（ＰＢ８＋１）以降に、１ピクチャ分あるいは２ピクチャ分の、視差情報（第１の視差情報、第２の視差情報）が順次配置される。「max_disparity_in_picture」の８ビット情報は、ピクチャ表示画面全体（ピクチャ全体）の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）を示す。「Min_disparity_in_partition」の８ビット情報は、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
図５１のVS_Info の構造例は、「d_picture＝１」であってダブルピクチャのモードであり、「picture_reorder＝０」であって時間的にＮピクチャが先でＮ＋１ピクチャが後である場合におけるVS_Info の構造例を示している。なお、この例は、「partition_count＝１１１１」であって、分割領域が「１６」である場合を示している。
この場合、第８＋１バイト（ＰＢ８＋１）に、Ｎピクチャにおけるピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）である「Max_disparity_in_picture」が配置される。そして、第８＋２バイト（ＰＢ８＋２）から第８＋１６バイト（ＰＢ８＋１６）に、Ｎピクチャにおける各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）である「Min_disparity_in_partition」が配置される。
また、この場合、第８＋１７バイト（ＰＢ８＋１７）の第３ビットから第０ビットに、Ｎ＋１ピクチャにおけるピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）の差分データである「Differential_max_disparity_in_picture」が配置される。第８＋１８バイト（ＰＢ８＋１８）から第８＋２５バイト（ＰＢ８＋２５）に、Ｎ＋１ピクチャにおける各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）の差分値である「Differential_min_disparity_in_partition」が配置される。
図５２のVS_Info の構造例は、「d_picture＝１」であってダブルピクチャのモードであり、「picture_reorder＝１」であって時間的にＮ＋１ピクチャが先でＮピクチャが後である場合におけるVS_Info の構造例を示している。なお、この例は、「partition_count＝１１１１」であって、分割領域が「１６」である場合を示している。
この場合、第８＋１バイト（ＰＢ８＋１）に、Ｎ＋１ピクチャにおけるピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）である「Max_disparity_in_picture」が配置される。そして、第８＋２バイト（ＰＢ８＋２）から第８＋１６バイト（ＰＢ８＋１６）に、Ｎ＋１ピクチャにおける各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）である「Min_disparity_in_partition」が配置される。
また、この場合、第８＋１７バイト（ＰＢ８＋１７）の第３ビットから第０ビットに、Ｎピクチャにおけるピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）の差分データである「Differential_max_disparity_in_picture」が配置される。第８＋１８バイト（ＰＢ８＋１８）から第８＋２５バイト（ＰＢ８＋２５）に、Ｎピクチャにおける各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）の差分値である「Differential_min_disparity_in_partition」が配置される。
［Ｎピクチャと、Ｎ＋１ピクチャの順番決定］
ここで、ＮピクチャとＮ＋１ピクチャの順番決定、つまり「picture_reorder」を“０”とするか“１”とするかの決定は、例えば、以下のように行われる。ＮピクチャとＮ＋１ピクチャの順番決定は、例えば、図５３に示すような構成で行われる。視差情報は、フレームメモリ２８１に供給され、１フレームだけ遅延される。減算器２８２では、Ｎ＋１ピクチャの視差情報Ｄ（N+1）とＮピクチャの視差情報Ｄ（N）との差分データ「Ｄ（N）−Ｄ（N+1）」が算出され、この差分データが順番決定部２８３に送られる。
順番決定部２８３では、差分データの絶対値｜Ｄ（N）−Ｄ（N+1）｜と閾値Ｔｈが比較されて、ＮピクチャとＮ＋１ピクチャの順番決定が行われる。｜Ｄ（N）−Ｄ（N+1）｜≦Ｔｈであるとき、順番決定部２８３は、「Ｎピクチャが先、Ｎ＋１ピクチャが後」に決定し、VS_Info の「picture_reorder」を“０”にセットし、このVS_Infoに、ＮピクチャおよびＮ＋１ピクチャの視差情報を、上述の図５１に示すように配置する。この場合、Ｎ＋１ピクチャの視差情報は、Ｎピクチャの視差情報との間の差分データとされる。
図５４は、｜Ｄ（N）−Ｄ（N+1）｜≦Ｔｈとなる場合の視差情報（Disparity値）の時間推移例を示している。この例では、Ｎ−１ピクチャとＮピクチャとの間で視差情報が大きく変化している。しかし、ＮピクチャとＮ＋１ピクチャとの間で視差情報の変化は小さい。そのため、｜Ｄ（N）−Ｄ（N+1）｜≦Ｔｈを満たすこととなる。この場合、Ｎ＋１ピクチャの視差情報は、Ｎピクチャの視差情報との間の差分データとなるので、その値は比較的小さくなる。
一方、｜Ｄ（N）−Ｄ（N+1）｜＞Ｔｈであるとき、順番決定部２８３は、「Ｎ＋１ピクチャが先、Ｎピクチャが後」に決定し、VS_Info の「picture_reorder」を“１”にセットし、このVS_Infoに、Ｎ＋１ピクチャおよびＮピクチャの視差情報を、上述の図５２に示すように配置する。この場合、Ｎピクチャの視差情報は、Ｎ−１ピクチャの視差情報との間の差分データとされる。
図５５は、｜Ｄ（N）−Ｄ（N+1）｜＞Ｔｈとなる場合の視差情報（Disparity値）の時間推移例を示している。この例では、Ｎ−１ピクチャとＮピクチャとの間で視差情報の変化は小さいが、ＮピクチャとＮ＋１ピクチャとの間で視差情報の変化は大きい。そのため、｜Ｄ（N）−Ｄ（N+1）｜＞Ｔｈを満たすこととなる。この場合、Ｎピクチャの視差情報は、Ｎ−１ピクチャの視差情報との間の差分データとなるので、その値は比較的小さくなる。
ここで、「Min_disparity_in_partition」に関しては、Ｄ（N+1），Ｄ（N）として、それぞれ、以下の数式（２），（３）に示すように、各分割領域（Partition）の「Min_disparity_in_partition」の最小値Min_disparity(N+1),Min_disparity(N)が用いられる。
Ｄ（N+1）＝Min_disparity (N+1)
＝Minimum (Min_disparity_partition (N+1_0, N+1_1, - - , N+1_15) )
・・・（２）
Ｄ（N） ＝Min_disparity (N)
＝Minimum (Min_disparity_partition (N_0, N_1, - - , N_15) )
・・・（３）
なお、Ｄ（N）に関しては、上述の数式（３）で求める代わりに、上述の数式（２）でＤ(N+1)として採用された、Min_disparity (N+1)となった「Min_disparity_partition」と同じ分割領域（Partition）のＮピクチャの「Min_disparity_partition」とすることも可能である。
一方、「Max_disparity_in_picture」に関しては、Ｄ（N+1）として、Ｎ＋１ピクチャの「Max_disparity_in_picture」が用いられ、Ｄ（N）として、Ｎピクチャの「Max_disparity_in_picture」が用いられる。なお、｜Ｄ（N）−Ｄ（N+1）｜とＴｈとの比較判定結果について、「Min_disparity_in_partition」に関する結果と、「Max_disparity_in_picture」に関する結果とが一致しない場合は、「Min_disparity_in_partition」に関する結果を優先させるなどすることが可能である。
なお、上述の図５２のVS_Info の構造例では、時間的にＮ＋１ピクチャが先でＮピクチャが後に配置されている。このようにすることで、第８＋１バイト（ＰＢ８＋１）から第８＋２５バイト（ＰＢ＋２５）までの構造が、時間的にＮピクチャが先でＮ＋１ピクチャが後に配置されている図６９のVS_Info の構造例と同じくなるので、受信側での読み取りの安定化が図られる。しかし、図５２に示すVS_Info の構造例において、Ｎ＋１ピクチャの視差情報とＮピクチャの視差情報との配置位置を逆にすることも考えられる。
「（２）新規データパケットを定義して利用する例」
画像データのピクチャ毎の各分割領域（Partition）における視差情報（Disparity）の送信を、データアイランド期間に新規定義されたデータパケットを利用して行う方法を説明する。
図５６は、新規定義されるデータパケットとしての３Ｄ・ディスプレイング・サポート・パケット(3D Displaying Supprt Packet )のパケットヘッダ（packet header）の構造例を示している。以下、このパケットを、「３ＤＤＳパケット」と呼ぶことにする。図４５には、この図５６に示す構造例における主要な情報の内容が示されている。
この３ＤＤＳパケットのパケットヘッダは、３バイト構成となっている。第０バイト（ＨＢ０）の第７ビットから第０ビットに、パケットタイプ情報が配置されている。ここでは、３ＤＤＳパケットであることを示す「０ｘ０Ｂ」とされる。
第１バイト（ＨＢ１）の第７ビットから第５ビットの３ビットフィールドに、「3D_support_ID」が配置されている。この３ビットの情報は、３ＤＤＳパケットで伝送されるデータ種別（パケットコンテンツ）を識別するための識別情報である。“００１”は、ピクチャ表示画面の各分割領域（Partition）の視差情報（Disparity）であることを示す。
第２バイト（ＨＢ２）の第４ビットから第０ビットに、「Payload length」が配置されている。この５ビット情報は、このパケットヘッダ（packet header）に続く、ペイロード（payload）であるパケットコンテンツ（packet contents）のサイズをバイト長で示す。
図５７は、パケットコンテンツ（packet contents）の構造例を示している。この構造例は、シングルピクチャモードの例である。図４５には、この図５７に示す構造例における主要な情報の内容が示されている。
第０バイト（ＰＢ０）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。“００１”は、ピクチャ表示画面の各分割領域（Partition）の視差情報（Disparity）であることを示す。第０バイト（ＰＢ０）の第４ビットから第０ビットに、「3D_Metadata_length」が配置されている。この５ビットの情報は、各分割領域（Partition）の視差情報（Disparity）のサイズを示す。
第１バイト（ＰＢ１）の第６ビットから第４ビットに、「partition_type」が配置されている。この３ビットの情報は、対象ピクチャの表示画面の分割タイプを示す。“０００”は、図１９（ａ）示すような、分割タイプ「type000」を示す。“００１”は、図１９（ｂ）示すような、分割タイプ「type001」を示す。“０１０”は、図１９（ｃ）示すような、分割タイプ「type010」を示す。“０１１”は、図１９（ｄ）示すような、分割タイプ「type011」を示す。“１００”は、図１９（ｅ）示すような、分割タイプ「type100」を示す。“１０１”は、図１９（ｆ）示すような、分割タイプ「type101」を示す。
第１バイト（ＰＢ１）の第３ビットから第０ビットに、「partition_count」が配置される。この４ビットの情報は、分割領域（Partition）の総数を示し、上述の「partition_type」に依存した値となる。例えば、“００００”は１、“００１１”は４、“０１１１”は８、“１０００”は９、“１１００”は１３、“１１１１”は１６を示す。
そして、第３バイト（ＰＢ３）以降に、１ピクチャ分の視差情報（第１の視差情報、第２の視差情報）が配置される。「Max_disparity_in_picture」の８ビット情報は、ピクチャ表示画面全体（ピクチャ全体）の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）を示す。「Min_disparity_in_partition」の８ビット情報は、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
ここで、第１の視差情報である「Min_disparity_in_partition」および第２の視差情報である「Max_disparity_in_picture」は、絶対値データとされる。「Min_disparity_in_partition」は、モニタ位置よりも手前側に限定することにより、符号ビットを示さずとも、受信側では、伝送される視差情報（disparity）の値（絶対値）を負値化して用いることができる。同様に、「Max_disparity_in_picture」は、モニタ位置よりも奥側に限定することにより、符号ビットを示さずとも、受信側では、伝送される視差情報（disparity）の値（絶対値）を正値化して用いることができる。
このように視差情報（第１の視差情報、第２の視差情報）が絶対値データとされることで、８ビットで表される視差情報（disparity）のダイナミックレンジを０〜２５５画素までの範囲に拡張できる。そして、上述の制約を付すことにより、−２５５〜＋２５５までの奥行き（depth）表現が可能となる。そのため、解像度が超高画質とされる、４Ｋ＊２Ｋのモニタにおいても、現状の伝送帯域での奥行き（depth）制御が可能となる。
なお、図５７に示す構造例は、「3D_Metadata_length＝11010」、「partition_type＝101」、「partition_count＝1111」である場合の例である（図１９（ｆ）参照）。
図５８は、パケットコンテンツ（packet content）の他の構造例を示している。この構造例は、ダブルピクチャモードの例である。図４５には、この図５８に示す構造例における主要な情報の内容が示されている。
第０バイト（ＰＢ０）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。“００１”は、ピクチャ表示画面の各分割領域（Partition）の視差情報（Disparity）であることを示す。第０バイト（ＰＢ０）の第４ビットから第０ビットに、「3D_Metadata_length」が配置されている。この５ビットの情報は、各分割領域（Partition）の視差情報（Disparity）のサイズを示す。
第１バイト（ＰＢ１）の第７ビットに、「d_picture」の１ビットの識別情報が配置される。この識別情報は、シングルピクチャかダブルピクチャかを示す。“０”は、シングルピクチャであること、つまり、各分割領域（Partition）の視差情報（Disparity）として、１ピクチャ分を送信するモードであることを示す。“１”は、ダブルピクチャであること、つまり、各分割領域（Partition）の視差情報（Disparity）として、２ピクチャ分を送信するモードであることを示す。
第１バイト（ＰＢ１）の第５ビットに、「partition_enable」の１ビットの識別情報が配置される。この識別情報は、対象ピクチャが各分割領域（Partition）の視差情報（Disparity）を持つかどうかを示す。“１”は、水平、垂直方向に分割領域が指定されていて、各々が視差情報（Disparity）を持つことを示す。“０”は、画面全体が一つの視差情報（Disparity）を持つことを示す。
第１バイト（ＰＢ１）の第６ビットに、「Picture_reorder」の１ビットの識別情報が配置される。ダブルピクチャを伝送する場合、２つのピクチャ（Ｎ，Ｎ＋１）の伝送が、時間的にＮが先でＮ＋１が後か、あるいはＮ＋１が先でＮが後かを示す。“１”は、（Ｎ＋１）ピクチャが先で視差情報（Disparity）の値を８ｂｉｔで表し、Ｎピクチャが後で、（Ｎ−１）ピクチャの視差情報（Disparity）からの差分値を４ｂｉｔで表すことを示す。“０”は、Ｎピクチャが先で視差情報（Disparity）の値を８ｂｉｔで表し、（Ｎ＋１）ピクチャが後で、Ｎピクチャの視差情報（Disparity）からの差分値を４ｂｉｔで表すことを示す。
また、第１バイト（ＰＢ１）の第３ビットから第０ビットに、「partition_count」が配置される。この４ビットの情報は、分割領域（Partition）の総数を示す。例えば、“００００”は１、“００１１”は４、“０１１１”は８、“１０００”は９、“１１００”は１３、“１１１１”は１６を示す。
そして、第２バイト（ＰＢ２）以降に、１ピクチャ分あるいは２ピクチャ分の、視差情報（第１の視差情報、第２の視差情報）が順次配置される。「Max_disparity_in_picture」の８ビット情報は、ピクチャ表示画面全体（ピクチャ全体）の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）を示す。「Min_disparity_in_partition」の８ビット情報は、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
ここで、第１の視差情報である「Min_disparity_in_partition」および第２の視差情報である「Max_disparity_in_picture」は、上述の図５７の構造例におけると同様に、絶対値データとされる。
図５８のパケットコンテンツ（Packet Contents）の構造例は、「d_picture＝１」であってダブルピクチャのモードであり、「picture_reorder＝０」であって時間的にＮピクチャが先でＮ＋１ピクチャが後である場合におけるパケットコンテンツ（Packt Contents）の構造例を示している。なお、この例は、「partition_count＝１１１１」であって、分割領域が「１６」である場合を示している。
この場合、第２バイト（ＰＢ２）に、Ｎピクチャにおけるピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）である「Max_disparity_in_picture」が配置される。そして、第３バイト（ＰＢ３）から第１８バイト（ＰＢ１８）に、Ｎピクチャにおける各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）である「Min_disparity_in_partition」が配置される。
また、この場合、第１９バイト（ＰＢ１９）の第３ビットから第０ビットに、Ｎ＋１ピクチャにおけるピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）の差分データである「Differential_max_disparity_in_picture」が配置される。第２０バイト（ＰＢ２０）から第２７バイト（ＰＢ２７）に、Ｎ＋１ピクチャにおける各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）の差分値である「Differential_min_disparity_in_partition」が配置される。
なお、図示および詳細説明は省略するが、「d_picture＝１」であってダブルピクチャのモードであり、「picture_reorder＝１」であって時間的にＮ＋１ピクチャが先でＮピクチャが後である場合におけるパケットコンテンツ（Packet Contents）の構造例は、上述の図５２の構造例に対応したものとなる。
なお、この新規定義される３ＤＤＳパケットでは、パケットヘッダ（Packet header）の「Payload length」のビット幅を５ビットよりも多くとって、このパケットヘッダ（packet header）に続く、パケットコンテンツ（packet contents）のサイズをより大きくすることも可能である。
図５９は、その場合における、パケットコンテンツ（packet contents）の構造例を示している。第０バイト（ＰＢ０）の第４ビットから第０ビットに、「3D_Metadata_length」の上位５ビットが配置されている。また、第１バイト（ＰＢ０）の第７ビットから第０ビットに、「3D_Metadata_length」の下位８ビットが配置されている。
また、第２バイト（ＰＢ２）の第２ビットから第０ビットに、「partition_type」が配置されている。また、第３バイトの第７ビットから第０ビットに、「partition_count」が配置される。そして、第４バイト（ＰＢ４）以降に、視差情報（第１の視差情報、第２の視差情報）が配置される。
「（３）アクティブスペース領域（Active space）を利用する例」
画像データのピクチャ毎の各分割領域（Partition）における視差情報（Disparity）の送信を、アクティブスペース領域（Active space）を利用して行う方法を説明する。
図６０は、立体画像データのＴＭＤＳ伝送データ構造の一つであるフレームパッキング（Frame packing）方式の３Ｄビデオフォーマット（3D Video Format）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。
この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐ、１０８０×７２０ｐのピクセルフォーマットの画像データの伝送が行われる。なお、図６０には、左眼（Ｌ）画像データおよび右眼（Ｒ）画像データが、それぞれ、１９２０ライン＊１０８０ピクセルである例を示している。
この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（Hblank）、垂直ブランキング期間（Vblank）およびアクティブビデオ区間（Hactive×Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間は、２つのアクティブビデオ領域（Active video）と、それらの間に１つのアクティブスペース領域（Activespace）を有している。第１のアクティブビデオ領域に左眼（Ｌ）画像データが配され、第２のアクティブビデオ領域に右眼（Ｒ）画像データが配される。アクティブビデオ区間は、２つの主映像領域としてのアクティブビデオ領域（Active video）と、それらの間に補助映像領域としての１つのアクティブスペース領域（Active space）を有している。
図６１は、アクティブスペース領域（Active Space）を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造の一例を示している。現状ではリザーブ（Reservedbit）となっている第５バイト（ＰＢ５）の第２ビットに、「Active Space Enable」が定義され、この１ビットの情報が“１”とされる。その上で、現状ではリザーブ（Reserved）とされているアクティブスペース領域（Active Space）に、画像データのピクチャ毎の各分割領域（Partition）における視差情報（Disparity）が挿入される。
この場合、アクティブスペース領域には、例えば、上述の新規定義される３ＤＤＳパケットのパケットコンテンツ（Packet Contents）の部分をそのまま挿入することが考えられる（図５７、図５８参照）。しかし、その他の形式で挿入することも可能である。
アクティブスペース領域は、左眼画像データおよび右眼画像データが配置されるアクティブビデオ領域と共に、アクティブビデオ区間を構成している（図６０参照）。ここで、アクティブビデオ領域は主映像領域を構成し、アクティブスペース領域は補助映像領域を構成している。アクティブスペース領域は、ビデオの画サイズにより変動するが、１９２０＊１０８０の画サイズの場合には、１フレームあたり４５ライン分（８６４００バイト）の容量を持つ。
なお、上述では、セットトップボックス２００がシングルピクチャあるいはダブルピクチャのモードを選択可能な例を示した。しかし、ダブルピクチャのモードの代わりに複数ピクチャのモードとし、ピクチャ数を任意に選択可能とすることも考えられる。また、選択し得るモード数が３つ以上の場合も考えられる。その場合は、与えられた帯域で送信可能なように、ＨＤＭＩソース（HDMI Source）側において、分割領域（partition）の数を適切な数に変更することも可能である。
以上説明したように、図１に示す画像送受信システム１０において、放送局１００は、画像データの所定のピクチャ毎に取得された第１の視差情報および第２の視差情報を、ビデオストリームに挿入して送信する。ここで、第１の視差情報はピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した視差情報であり、第２の視差情報はピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した視差情報である。そのため、受信側のセットトップボックス２００では、例えば、これら第１の視差情報および第２の視差情報に基づいて、視差角が視聴上健康を害さない所定の範囲内にあるか否かをチェックし、必要に応じて左眼画像データおよび右眼画像データを再構成できる。
また、図１に示す画像送受信システム１０において、セットトップボックス２００からテレビ受信機３００に各分割領域の視差情報を送信する際に、例えば、新規定義された３ＤＤＳパケットが使用される。この場合、視差情報が３ＤＤＳパケットのコンテンツ部に挿入されると共に、この３ＤＤＳパケットのヘッダ部に視差情報であることを識別するための識別情報が挿入されて、テレビ受信機３００に送信される。そのため、視差情報をテレビ受信機３００に、効率的に送信できる。
＜２．変形例＞
なお、上述実施の形態においては、画像送受信システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、図６２に示すように、放送局１００およびテレビ受信機３００Ａで構成される画像送受信システム１０Ａも考えられる。
図６３は、テレビ受信機３００Ａの構成例を示している。この図６３において、図２８と対応する部分には同一符号を付し、その詳細説明は省略する。テレビ（ＴＶ）グラフィクス発生部２１９Ａは、図２８のセットトップボックス２００のセットトップボックス（ＳＴＢ）グラフィクス発生部２１９と同様のものであり、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータを発生する。
重畳部２１７からは、左眼表示用のサブタイトル（字幕）およびグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のサブタイトル（字幕）およびグラフィクスが重畳された右眼画像のデータが得られる。これらの画像データは、立体画像表示のための処理部に送られ、立体画像表示が行われる。また、チャネルミキシング部２４４では、音声データに対して、例えば５．１ｃｈサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、立体画像表示に合わせた音声出力がなされる。
詳細説明は省略るすが、図６３に示すテレビ受信機３００Ａのその他は、図２８のセットトップボックス２００と同様に構成され、同様に動作する。
また、上述実施の形態においては、新規定義される３ＤＤＳパケット（図５６−図５８参照）で画像データの関連情報としてピクチャ表示画面の各分割領域における水平方向の視差情報（Disprity）を送信する例を示した。しかし、３ＤＤＳパケットを用いることで、その他の画像データ関連情報を送信することもできる。
例えば、従来の水平方向のminimum_disparity値に加え、垂直方向のminimum_disparity値を送ることで、テレビ受信機側での３Ｄ視差の補正制御を行うことができる。この機能は、ピクチャ（picture）単位のhorizontal_minimum_disparity、ピクチャ（picture）単位のvetical_minimum_disparityを、別の３ＤＤＳパケットで伝送することで可能となる。
また、例えば、視差情報（disparity）の値が動的にアップデート（update）される場合、ある大きさのグラフィクスが奥行き（depth）方向で手前に表示されると、その大きさは手前にあるのに、小さく感じられる。一方、同じ大きさのグラフィクスが奥行き（depth）方向で遠くに表示されると、その大きさは遠くにあるのに大きく感じられる。
このような、奥行き矛盾（depth paradox）を解消するために、奥行きダイナミックレンジ（depth dynamic range）のスケールをとり、それに従ってグラフィクスを重畳するテレビ受信機側で、グラフィクスをスケーリングしてから画像へ重畳する。この機能は、ピクチャ（piture）内のローカライズされた各部分でのminimum_disparityとmaximum_disparity との間の奥行きダイナミックレンジ（depth dynamic range）をリニア、あるいはノンリニアにスケーリングした値を、別の３ＤＤＳパケットで伝送することで可能となる。
また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、本技術を同様に適用できることは勿論である。
また、上述実施の形態においては、セットトップボックス２００からテレビ受信機３００に視差情報を送信する方法として、ＨＤＭＩ Vendor Specific InfoFrame を利用する方法を説明した。その他に、アクティブスペース（Active Space）を利用する方法、さらには、ＨＰＤライン８６（ＨＥＡＣ−ライン）およびユーティリティライン８８（ＨＥＡＣ＋ライン）で構成される双方向通信路を通じて送信することも考えられる。
また、上述実施の形態においては、セットトップボックス２００からテレビ受信機３００に、視差情報を、ＨＤＭＩインタフェースにより送信する例を示した。しかし、このようにＨＤＭＩインタフェースを通じて視差情報を送信する技術に関しては、その他のソース機器およびシンク機器の組み合わせにも応用できることは勿論である。例えば、ソース機器としてはＢＤやＤＶＤ等のディスクプレーヤ、さらにはゲーム機なども考えられ、シンク機器としてはモニタ装置、プロジェクタ装置なども考えられる。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。
つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。また、一つのサービス内容を供給する方法が複数に分割されていて、各々が別の伝送形態で行われるような応用、即ち、片方のビュー（view）が電波による伝送で、もう片方のビュー（view）がインターネットによる伝送であるような場合にも該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）ヘッダ部とコンテンツ部からなるデータパケットを生成するデータパケット生成部と、
上記データパケットを、画像データに対応付けて、外部機器に送信する送信部とを備え、
上記データパケット生成部は、上記コンテンツ部に上記画像データの関連情報を挿入し、上記ヘッダ部に上記関連情報の種別を識別するための識別情報を挿入する
送信装置。
（２）上記データパケット生成部は、上記コンテンツ部に挿入される上記関連情報のデータ量に応じて上記コンテンツ部のサイズを決定し、上記ヘッダ部に該決定されたサイズを示すサイズ情報を挿入する
前記（１）に記載の送信装置。
（３）上記データパケット生成部は、上記データパケットを、上記画像データの所定数のピクチャ毎に生成する
前記（１）または（２）に記載の送信装置。
（４）上記画像データは、立体画像を構成する左眼画像データおよび右眼画像データであり、
上記関連情報は、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域毎の代表視差情報である
前記（３）に記載の送信装置。
（５）上記所定領域毎の代表視差情報には、所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報が含まれる
前記（４）に記載の送信装置。
（６）上記所定領域毎の代表視差情報には、所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が含まれる
前記（４）に記載の送信装置。
（７）上記データパケット生成部は、上記代表視差情報を、上記コンテンツ部に、絶対値データとして挿入する
前記（４）から（６）のいずれかに記載の送信装置。
（８）上記送信部は、上記データパケットを、上記画像データのブランキング期間に挿入して、上記外部機器に送信する
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記送信部は、垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間、および主映像領域および補助映像領域を有するアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成して、上記外部機器に送信し、
上記主映像領域に上記画像データが配され、上記補助映像領域に上記データパケットが配されている
前記（１）から（７）のいずれかに項１に記載の送信装置。
（１０）ヘッダ部とコンテンツ部からなるデータパケットを生成するデータパケット生成ステップと、
上記データパケットを、画像データに対応付けて、外部機器に送信する送信ステップとを備え、
上記データパケット生成ステップでは、上記コンテンツ部に上記画像データの関連情報を挿入し、上記ヘッダ部に上記関連情報の種別を識別するための識別情報を挿入する
送信方法。
（１１）立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の分割パターンに対応した各分割領域における代表視差情報を取得する視差情報取得部と、
上記画像データが符号化されて得られたビデオストリームに、上記各分割領域における代表視差情報を挿入する視差情報挿入部と、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備える
送信装置。
（１２）複数の分割パターンから所定の分割パターンを選択するパターン選択部をさらに備え、
上記視差情報取得部は、ピクチャ表示画面の上記選択された所定の分割パターンに対応した各分割領域における代表視差情報を取得する
前記（１１）に記載の送信装置。
（１３）上記各分割領域における代表視差情報には、分割領域における最も手前のオブジェクト再生位置に対応した第１の視差情報が含まれる
前記（１１）に記載の送信装置。
（１４）上記各分割領域における代表視差情報には、分割領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、分割領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が含まれる
前記（１１）に記載の送信装置。
（１５）上記視差情報挿入部は、上記代表視差情報を、上記ビデオストリームに、絶対値データとして挿入する
前記（１１）から（１４）のいずれかに記載の送信装置。
（１６）立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得ステップと、
上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の分割パターンに対応した各分割領域における代表視差情報を取得する視差情報取得ステップと、
上記画像データが符号化されて得られたビデオストリームに、上記各分割領域における代表視差情報を挿入する視差情報挿入ステップと、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップとを備える
送信方法。
（１７）ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
上記ビデオストリームには、上記画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の分割パターンに対応した各分割領域における代表視差情報が挿入されており、
上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の代表視差情報を取得する情報取得部と、
上記各ピクチャの分割領域毎の代表視差情報に対して時間軸方向に平滑化の処理を行う情報平滑化部と、
画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生部と、
上記取得された上記画像データおよび上記平滑化された視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
受信装置。
本技術の主な特徴は、画像データの関連情報、例えば視差情報等をデータパケットのコンテンツ部に挿入すると共に、このデータパケットのヘッダ部に関連情報の種別を識別するための識別情報を挿入して、外部機器に送信するようにしたことで、視差情報等の画像データの関連情報の効率的な送信を可能にしたことである（図５６−図５７参照）。また、視差情報（Disprity）を絶対値データとして送信することで、正負の符号ビットを不要として視差情報のダイナミックレンジの拡張を可能にしたことである(図１５−図１７参照)。
１０，１０Ａ・・・画像送受信システム
１００・・・放送局
１１０，１１０Ａ・・・送信データ生成部
１１１Ｌ，１１１Ｒ・・・画像データ出力部
１１２Ｌ，１１２・・・スケーラ
１１３・・・ビデオエンコーダ
１１４・・・マルチプレクサ
１１５・・・視差データ生成部
１１６・・・サブタイトルデータ出力部
１１７・・・サブタイトルエンコーダ
１１８・・・音声データ出力部
１１９・・・オーディオエンコーダ
１２０・・・分割パターン選択部
２００・・・セットトップボックス
２１１・・・コンテナバッファ
２１２・・・デマルチプレクサ
２１３・・・コーデッドバッファ
２１４・・・ビデオデコーダ
２１５・・・デコーデッドバッファ
２１６・・・スケーラ
２１７・・・重畳部
２１８・・・視差情報バッファ
２１９・・・セットトップボックス（ＳＴＢ）グラフィクスバッファ
２１９Ａ・・・テレビ（ＴＶ）グラフィクスバッファ
２２０・・・奥行き制御部
２２１・・・グラフィクスバッファ
２３１・・・コーデッドバッファ
２３２・・・サブタイトルデコーダ
２３３・・・ピクセルバッファ
２３４・・・サブタイトル視差情報バッファ
２３５・・・サブタイトル表示制御部
２４１・・・コーデッドバッファ
２４２・・・オーディオデコーダ
２４３・・・オーディオバッファ
２４４・・・チャネルミキシング部
２５１・・・ＨＤＭＩ送信部
２６２・・・視差情報制御部
２６３・・・Ｌ／Ｒ再構成部
２７１・・・最大値取得部
２７２・・・最小値取得部
２７３・・・視差角チェック部
２７４・・・視差情報補正部
２８１・・・フレームメモリ
２８２・・・減算器
２８３・・・順番決定部
３００，３００Ａ・・・テレビ受信機
３１１・・・ＨＤＭＩ受信部
３１２・・・スケーラ
３１３・・・重畳部
３１４・・・奥行き制御部
３１５・・・グラフィクスバッファ
３１６・・・テレビ（ＴＶ）グラフィクス発生部
３１７・・・オーディオ処理部
４００・・・ＨＤＭＩケーブル

Claims (11)

  1. ヘッダ部とコンテンツ部からなるデータパケットを生成するデータパケット生成部と、
    上記データパケットを、画像データに対応付けて、外部機器に送信する送信部とを備え、
    上記データパケット生成部は、上記コンテンツ部に上記画像データの関連情報を挿入し、上記ヘッダ部に上記関連情報の種別を識別するための識別情報を挿入し、
    上記データパケット生成部は、上記データパケットを、上記画像データの所定数のピクチャ毎に生成し、
    上記画像データは立体画像を構成する左眼画像データおよび右眼画像データであり、上記関連情報は左眼画像および右眼画像の一方に対する他方の視差情報であってピクチャ表示画面の所定領域毎の代表視差情報であり、
    上記所定領域毎の代表視差情報には、所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が含まれる
    送信装置。
  2. 上記データパケット生成部は、上記コンテンツ部に挿入される上記関連情報のデータ量に応じて上記コンテンツ部のサイズを決定し、上記ヘッダ部に該決定されたサイズを示すサイズ情報を挿入する
    請求項１に記載の送信装置。
  3. 上記データパケット生成部は、上記代表視差情報を、上記コンテンツ部に、絶対値データとして挿入する
    請求項１に記載の送信装置。
  4. 上記送信部は、上記データパケットを、上記画像データのブランキング期間に挿入して、上記外部機器に送信する
    請求項１に記載の送信装置。
  5. 上記送信部は、垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間、および主映像領域および補助映像領域を有するアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成して、上記外部機器に送信し、
    上記主映像領域に上記画像データが配され、上記補助映像領域に上記データパケットが配されている
    請求項１に記載の送信装置。
  6. ヘッダ部とコンテンツ部からなるデータパケットを生成するデータパケット生成ステップと、
    上記データパケットを、画像データに対応付けて、外部機器に送信する送信ステップとを有し、
    上記データパケット生成ステップでは、上記コンテンツ部に上記画像データの関連情報を挿入し、上記ヘッダ部に上記関連情報の種別を識別するための識別情報を挿入し、
    上記データパケット生成ステップでは、上記データパケットを、上記画像データの所定数のピクチャ毎に生成し、
    上記画像データは立体画像を構成する左眼画像データおよび右眼画像データであり、上記関連情報は左眼画像および右眼画像の一方に対する他方の視差情報であってピクチャ表示画面の所定領域毎の代表視差情報であり、
    上記所定領域毎の代表視差情報には、所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が含まれる
    送信方法。
  7. 立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
    上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の分割パターンに対応した各分割領域における代表視差情報を取得する視差情報取得部と、
    上記画像データが符号化されて得られたビデオストリームに、上記各分割領域における代表視差情報を挿入する視差情報挿入部と、
    上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備え、
    上記各分割領域における代表視差情報には、分割領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、分割領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が含まれる
    送信装置。
  8. 複数の分割パターンから所定の分割パターンを選択するパターン選択部をさらに備え、 上記視差情報取得部は、ピクチャ表示画面の上記選択された所定の分割パターンに対応した各分割領域における代表視差情報を取得する
    請求項７に記載の送信装置。
  9. 上記視差情報挿入部は、上記代表視差情報を、上記ビデオストリームに、絶対値データとして挿入する
    請求項７に記載の送信装置。
  10. 立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得ステップと、
    上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の分割パターンに対応した各分割領域における代表視差情報を取得する視差情報取得ステップと、
    上記画像データが符号化されて得られたビデオストリームに、上記各分割領域における代表視差情報を挿入する視差情報挿入ステップと、
    上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップとを有し、
    上記各分割領域における代表視差情報には、分割領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、分割領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が含まれる
    送信方法。
  11. ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
    上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
    上記ビデオストリームには、上記画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の分割パターンに対応した各分割領域における代表視差情報が挿入されており、
    上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の代表視差情報を取得する情報取得部と、
    上記各ピクチャの分割領域毎の代表視差情報に対して時間軸方向に平滑化の処理を行う情報平滑化部と、
    画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生部と、
    上記取得された上記画像データおよび上記平滑化された視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
    受信装置。
JP2013542275A 2012-03-01 2013-02-18 送信装置、送信方法および受信装置 Expired - Fee Related JP6003901B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012045912 2012-03-01
JP2012045912 2012-03-01
PCT/JP2013/053852 WO2013129158A1 (ja) 2012-03-01 2013-02-18 送信装置、送信方法および受信装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016173353A Division JP6406327B2 (ja) 2012-03-01 2016-09-06 受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2013129158A1 JPWO2013129158A1 (ja) 2015-07-30
JP6003901B2 true JP6003901B2 (ja) 2016-10-05

Family

ID=49082359

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013542275A Expired - Fee Related JP6003901B2 (ja) 2012-03-01 2013-02-18 送信装置、送信方法および受信装置
JP2016173353A Expired - Fee Related JP6406327B2 (ja) 2012-03-01 2016-09-06 受信装置および受信方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016173353A Expired - Fee Related JP6406327B2 (ja) 2012-03-01 2016-09-06 受信装置および受信方法

Country Status (6)

Country Link
US (2) US9451234B2 (ja)
EP (1) EP2688304B1 (ja)
JP (2) JP6003901B2 (ja)
KR (1) KR101998892B1 (ja)
CN (1) CN103503446B (ja)
WO (1) WO2013129158A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538081B1 (en) 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
GB2516223A (en) * 2013-07-09 2015-01-21 Nokia Corp Method and apparatus for video coding and decoding
JP6531759B2 (ja) * 2014-06-13 2019-06-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN106464856B (zh) * 2014-06-24 2019-01-15 谷歌有限责任公司 用于分析和确定虚拟环境的特性的计算机化系统和方法
CN106489270B (zh) * 2014-07-01 2020-03-03 索尼公司 信息处理装置和方法
MX367005B (es) * 2014-07-18 2019-08-02 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion, y metodo de recepcion.
WO2016108268A1 (ja) * 2014-12-29 2016-07-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6516480B2 (ja) * 2015-01-19 2019-05-22 キヤノン株式会社 表示装置、表示システム及び表示方法
KR102485250B1 (ko) * 2015-05-28 2023-01-06 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US20160366479A1 (en) * 2015-06-12 2016-12-15 At&T Intellectual Property I, L.P. Selective information control for broadcast content and methods for use therewith
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
CN105049381B (zh) * 2015-07-31 2018-03-02 南京南瑞集团公司 一种电力多媒体通信系统的实时性的测试方法
KR20170024860A (ko) * 2015-08-26 2017-03-08 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
US9894342B2 (en) * 2015-11-25 2018-02-13 Red Hat Israel, Ltd. Flicker-free remoting support for server-rendered stereoscopic imaging
WO2018011054A1 (en) * 2016-07-15 2018-01-18 Koninklijke Kpn N.V. Streaming virtual reality video
US10313763B2 (en) * 2016-07-29 2019-06-04 Mediatek, Inc. Method and apparatus for requesting and receiving selected segment streams based on projection information
EP3535644B1 (en) 2016-11-04 2023-02-22 Koninklijke KPN N.V. Streaming virtual reality video
GB2558881B (en) * 2017-01-09 2021-11-17 Nokia Technologies Oy Method and apparatus for video depth map coding and decoding
JP7026450B2 (ja) 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) * 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
US10319114B2 (en) * 2017-07-13 2019-06-11 Google Llc Foveated compression of display streams
CN111971955A (zh) * 2018-04-19 2020-11-20 索尼公司 接收装置、接收方法、发送装置和发送方法
US20210398352A1 (en) * 2018-09-28 2021-12-23 Sharp Kabushiki Kaisha 3d data generation apparatus, 3d data reconstruction apparatus, control program, and recording medium
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
CN114302195B (zh) * 2021-01-14 2023-04-14 海信视像科技股份有限公司 一种显示设备、外接设备以及播放控制方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
JP4262137B2 (ja) * 2004-05-28 2009-05-13 キヤノン株式会社 記録装置、撮像装置及びそれらの制御方法
KR100621584B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더
JP4755565B2 (ja) 2006-10-17 2011-08-24 シャープ株式会社 立体画像処理装置
JP5050637B2 (ja) * 2007-05-11 2012-10-17 ソニー株式会社 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体
KR101366250B1 (ko) * 2007-06-19 2014-02-25 삼성전자주식회사 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
WO2009104850A1 (en) * 2008-02-20 2009-08-27 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for encoding and decoding image
KR101488199B1 (ko) 2008-03-12 2015-01-30 삼성전자주식회사 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체
KR101506219B1 (ko) 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
KR101472332B1 (ko) * 2008-04-15 2014-12-15 삼성전자주식회사 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
KR101500440B1 (ko) * 2008-10-17 2015-03-09 삼성전자 주식회사 영상처리장치 및 영상처리방법
US20110316848A1 (en) 2008-12-19 2011-12-29 Koninklijke Philips Electronics N.V. Controlling of display parameter settings
KR101671021B1 (ko) * 2009-04-30 2016-11-10 삼성전자주식회사 스테레오스코픽 영상 데이터 전송 장치 및 방법
JP2011030182A (ja) 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
JP5407968B2 (ja) 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP5446913B2 (ja) * 2009-06-29 2014-03-19 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP5647242B2 (ja) 2009-07-27 2014-12-24 コーニンクレッカ フィリップス エヌ ヴェ ３ｄビデオ及び補助データの結合
EP2312849A1 (en) * 2009-10-01 2011-04-20 Nxp B.V. Methods, systems and devices for compression of data and transmission thereof using video transmisssion standards
KR20110043503A (ko) * 2009-10-20 2011-04-27 삼성전자주식회사 스트림 생성 방법 및 장치와, 스트림 처리 방법 및 장치
KR20110057629A (ko) * 2009-11-24 2011-06-01 엘지전자 주식회사 Ｕｉ 제공 방법 및 디지털 방송 수신기
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
KR101206132B1 (ko) * 2010-02-16 2012-11-28 인하대학교 산학협력단 영상 합성 방법 및 장치
KR20110111335A (ko) * 2010-04-02 2011-10-11 삼성전자주식회사 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치
KR20110115087A (ko) * 2010-04-14 2011-10-20 삼성전자주식회사 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
US9055281B2 (en) * 2010-05-20 2015-06-09 Samsung Electronics Co., Ltd. Source device and sink device and method of transmitting and receiving multimedia service and related data
JP2011249945A (ja) 2010-05-24 2011-12-08 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
KR101750047B1 (ko) * 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
US9516086B2 (en) * 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof
WO2013154397A1 (en) * 2012-04-13 2013-10-17 Samsung Electronics Co., Ltd. Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
KR20130128266A (ko) * 2012-05-16 2013-11-26 삼성전자주식회사 컨텐츠 수신 장치, 디스플레이 장치 및 그 방법
EP2717562A3 (en) * 2012-10-04 2014-10-01 Samsung Electronics Co., Ltd Apparatus for reproducing recording medium and method thereof

Also Published As

Publication number Publication date
JP6406327B2 (ja) 2018-10-17
CN103503446B (zh) 2017-04-26
US9451234B2 (en) 2016-09-20
WO2013129158A1 (ja) 2013-09-06
US9924151B2 (en) 2018-03-20
JP2017022741A (ja) 2017-01-26
EP2688304A1 (en) 2014-01-22
EP2688304A4 (en) 2015-11-04
KR101998892B1 (ko) 2019-07-10
US20140071236A1 (en) 2014-03-13
JPWO2013129158A1 (ja) 2015-07-30
US20160360178A1 (en) 2016-12-08
KR20140138527A (ko) 2014-12-04
CN103503446A (zh) 2014-01-08
EP2688304B1 (en) 2019-09-25

Similar Documents

Publication Publication Date Title
JP6406327B2 (ja) 受信装置および受信方法
JP6365697B2 (ja) 受信装置および受信方法
WO2013108531A1 (ja) 受信装置、受信方法および電子機器
EP2451170A1 (en) Stereoscopic image data transmitter and method for transmitting stereoscopic image data
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP5633259B2 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
US20110141238A1 (en) Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving data receiving method
JP5682149B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2012063675A1 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160822

R151 Written notification of patent or utility model registration

Ref document number: 6003901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees