WO2012147596A1

WO2012147596A1 - 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Info

Publication number: WO2012147596A1
Application number: PCT/JP2012/060516
Authority: WO
Inventors: 塚越　郁夫
Original assignee: ソニー株式会社
Priority date: 2011-04-28
Filing date: 2012-04-18
Publication date: 2012-11-01
Also published as: EP2574053A1; EP2574053A4; CN103026725A; JP2012235308A; BR112012033102A2; US20130088572A1; KR20140003319A

Abstract

　受信側において、エレメンタリストリームの構成変化に的確に対応可能とする。　トランスポートストリーム（ＴＳ）に含まれる各エレメンタリストリーム（ＥＳ）の関連を示すストリーム関連付け情報を、ＥＳに挿入する。このストリーム関連付け情報は、第１の画像データを含む第１のＥＳと、第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のＥＳとの関連を示す。ストリーム関連付け情報は、例えば、各ＥＳを識別するための識別子を用いて、各ＥＳの関連を示す。例えば、ＴＳに、各ＥＳの識別子と、各ＥＳのパケット識別子またはコンポーネント・タグとの対応関係を示す記述子を挿入し、各ＥＳのＴＳレイヤでの登録状態と、ストリーム関連付け情報との連携を図る。

Description

画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

　本技術は、画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法に関し、特に、立体画像データ、スケーラブル符号化画像データ等を送信する画像データ送信装置等に関する。

　従来、動画像の符号化方式として、Ｈ．２６４／ＡＶＣ（Advanced VideoCoding）が知られている（非特許文献１参照）。また、このＨ．２６４／ＡＶＣの拡張方式として、Ｈ．２６４／ＭＶＣ（Multi-view Video Coding）が知られている（非特許文献２参照）。ＭＶＣでは、マルチビューの画像データをまとめて符号化する仕組みが採用されている。ＭＶＣでは、マルチビュー画像データを、１個のベースビュー(base view)の画像データと、１個以上のノンベースビュー (non-baseview)の画像データとして符号化する。

　なお、このＨ．２６４／ＡＶＣの拡張方式として、Ｈ．２６４／ＳＶＣ（Scalable
Video Coding）も知られている（非特許文献３参照）。ＳＶＣは、画像を階層的に符号化する技術である。ＳＶＣでは、動画像を最低限の品質で復号化するのに必要な画像データを有する基本階層（最下位階層）と、この基本階層に付加することによって動画像の品質を高める画像データを有する拡張階層（上位階層）に分けられている。

「Draft Errata List withRevision-Marked Corrections for H.264/AVC」, JVT-1050,Thomas Wiegand et al., Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG,2003 Joint Draft 4.0 on MultiviewVideo Coding, Joint Video Team of ISO/IEC MPEG & ITU-T VCEG,JVT-X209, July2007 Heiko Schwarz, Detlev Marpe, andThomas Wiegand,"Overview of the Scalable Video CodingExtension of the H.264/AVC Standard ", IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.17, NO.9,SEPTEMBER 2007, pp.1103-1120.

　ＡＶＣストリームとＭＶＣストリームとが、動的に切り替わる配信環境において、ＭＶＣに対応した受信機は、「Stream_Type=0x1B」のみのストリームか、「Stream_Type=0x1B」と「Stream_Type=0x20」の両方があるストリームかを判断して、受信モードの切換えを行うことが期待される。

　通常のＡＶＣ（２Ｄ）のビデオエレメンタリストリームは、ＰＭＴ（Program MapTable）の「Stream_Type=0x1B」で送られる。また、ＭＶＣのベースビュー（Base view）のビデオエレメンタリストリーム（Base viewsub-bitstream）は、ＰＭＴの「Stream_Type=0x1B」で送られる場合がある。ＭＶＣの場合、ベースビューの画像データと、ノンベースビュー（Non base view）の画像データとがまとめて送られる場合がある。つまり、ベースビューの画像データと、ノンベースビューの画像データとが分かれて送られる場合には、ＭＶＣのベースビューのビデオエレメンタリストリーム（Base view sub-bitstream）は、ＰＭＴの「Stream_Type=0x1B」で送られることがある。

　トランスポートストリーム（Transport Stream）の中のセクション（Section）部分には、ＰＳＩ（Program SpecificInformation）としてのＰＭＴのレベルで、ＡＶＣストリームであるかＭＶＣストリームであるかが分かる仕組みが提供されている。すなわち、ビデオエレメンタリストリームが「Stream_Type=0x1B」のみのときは、２ＤＡＶＣストリームであることが分かる。また、ビデオエレメンタリストリームが「Stream_Type=0x1B」と「Stream_Type=0x20」の両方があるときは、ＭＶＣストリームであることが分かる。

　しかし、ＰＭＴというのは、送信側設備によっては、必ずしも動的に更新されない場合がある。その場合には、配信内容が立体（３Ｄ）画像から二次元（２Ｄ）画像に切り替わる際に、以下の不都合が考えられる。すなわち、受信機は、ストリームタイプ（Stream_Type）が「0x1B」のエレメンタリストリームと共に、ストリームタイプ（Stream_Type）が「0x20」のストリームも継続受信するものとして、そのデータを待ち続けることが考えられる。

　配信内容が二次元（２Ｄ）画像に切り替わった後には、「0x20」のエレメンタリストリームは受信されないわけだが、受信機内部では、「0x20」のエレメンタリストリームがくるものとして、待ち続ける。その結果、正しいデコードに至らず、正常な表示ができなくなるおそれがある。このように、受信機が、ＰＭＴの［Stream_type］の種類のみを当てにして自らのモードを決定した場合、そのモードが正しくなく、正しいストリーム受信でない可能性が出てくる。

　図２７は、トランスポートストリーム内におけるビデオエレメンタリストリームとＰＭＴ（ProgramMap Table）の構成例を示している。ビデオエレメンタリストリームＥＳ１，ＥＳ２の「００１」～「００９」のアクセスユニット（ＡＵ：Access Unit）の期間は、２本のビデオエレメンタリストリームが存在する期間である。この期間は、例えば３Ｄ番組の本体期間であり、この２本のストリームは立体（３Ｄ）画像データのストリームを構成している。

　それに続く、ビデオエレメンタリストリームＥＳ１の「０１０」～「０１４」のアクセスユニットの期間は、１本のビデオエレメンタリストリームのみ存在する期間である。この期間は、例えば、３Ｄ番組の本体期間の間に挿入されているＣＭ期間であり、この１本のストリームは２次元画像データのストリームを構成している。

　さらに、それに続く、ビデオエレメンタリストリームＥＳ１，ＥＳ２の「００１５」～「０１６」のアクセスユニットの期間は、２本のビデオエレメンタリストリームが存在する期間である。この期間は、例えば３Ｄ番組の本体期間であり、この２本のストリームは立体（３Ｄ）画像データのストリームを構成している。

　ＰＭＴにおけるビデオエレメンタリストリームの登録をアップデートする周期（例えば、１００ｍｓｅｃ）は、ビデオのフレーム周期（例えば、３３．３ｍｓｅｃ）に追従できない。トランスポートストリームを構成するエレメンタリストリームの動的変化をＰＭＴによって知らせる方法では、エレメンタリストリームとＰＭＴのトランスポートストリーム内の構成が非同期なため、受信機に対して正しい動作を約束させるものにはならない。

　また、既存の信号規格(ＭＰＥＧ)では、「Stream_Type=0x1B」のＭＶＣのベースビューのビデオエレメンタリストリーム（Baseview sub-bitstream）には、ＰＭＴの記述子として、「MVC_extensiondescriptor」のデスクリプタを挿入することが必須とされている。このデスクリプタが存在すれば、ノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）の存在が分かる。

　しかし、「Stream_Type=0x1B」が指す「Elementary PID」のビデオエレメンタリストリームは、上述のＭＶＣのベースビュー（Base view）のビデオエレメンタリストリーム
（Base view sub-bitstream）であるとは限らない。従来のＡＶＣ（この場合、多くはHigh Profile)のストリームである場合も考えられる。特に、既存の２Ｄ受信機との互換性を保証するために、立体（３Ｄ）画像データであるが、ベースビューのビデオエレメンタリストリームが、従来のＡＶＣ（２Ｄ）のビデオエレメンタリストリームそのままであることが推奨される場合がある。

　この場合、立体画像データのストリームは、ＡＶＣ（２Ｄ）のビデオエレメンタリストリームと、ノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）とで構成される。その場合、「Stream_Type=0x1B」のビデオエレメンタリストリームには、「MVC_extension descriptor」の記述子は関連付けされない。そのため、ベースビューのビデオエレメンタリストリームに相当するＡＶＣ（２Ｄ）のビデオエレメンタリストリーム以外に、ノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）の存在が分からないことになる。

　また、上述したように、ＡＶＣ（２Ｄ）ストリームとＭＶＣストリームとが、動的に切り替わる配信環境において、ＭＶＣに対応した受信機は、「Stream_Type=0x1B」のみのストリームか、「Stream_Type=0x1B」と「Stream_Type=0x20」の両方あるストリームかを判断して、受信モードの切換えを行うことが期待される。通常のＡＶＣ（２Ｄ）のビデオエレメンタリストリームは、ＰＭＴ（Program Map Table）の「Stream_Type=0x1B」で送られる。また、ＭＶＣのベースビュー（Base view）のビデオエレメンタリストリーム（Base viewsub-bitstream）は、ＰＭＴの「Stream_Type=0x1B」で送られる場合がある。

　その際、１つのトランスポートストリーム（ＴＳ：Tranport Stream）の中に、複数のビデオエレメンタリストリームを多重化することが可能である。そして、そのうちの幾つかのビデオエレメンタリストリームで、立体画像データのストリームが構成される場合がある。例えば、１つのトランスポートストリームに、以下のようなビデオストリームが多重されている場合を考える。

　　PID0　(AVC 2D)　stream_type =0x1B
　　PID1　(AVC 3D FrameCompatible)　stream_type = 0x1B
　　PID2　(MVC non-base substream)stream_type = 0x20

　「PID0」のビデオエレメンタリストリームは、これ自体は従来の２次元（２Ｄ）画像データのストリームそのものである。このビデオエレメンタリストリームが、「PID2」のノンベースビューのビデオエレメンタリストリーム（Non-Base viewsub-bitstream）と共に、立体（３Ｄ）画像データのストリームを構成する。しかし、単に、「stream_type」だけで３Ｄ構成要素としてのビデオストリームを関連付けできるわけではない。すなわち、「stream_type=0x1B」は、「PID1」のビデオエレメンタリストリームにも当てはまるからである。なお、「AVC 3D Frame Compatible」は、サイドバイサイド方式やトップアンドボトム方式等の立体（３Ｄ）画像データを示している。

　なお、上述では、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式がＭＰＥＧ４－ＡＶＣである例を示した。しかし、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式がＭＰＥＧ２ｖｉｄｅｏ方式等の他の符号化方式である場合、さらには、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式が同一ではなく、異なる場合も考えられる。

　また、上述では、トランスポートストリームに含まれるエレメンタリストリームが立体（３Ｄ）画像データを構成しているか否かの判断が困難であること、さらには、トランスポートストリームに含まれるエレメンタリストリームのうち、立体（３Ｄ）画像データを構成するエレメンタリストリームがどれであるかの特定が困難であること等を説明した。詳細説明は省略するが、これらの不都合は、ＡＶＣストリームと上述のＳＶＣストリームとを時分割的に送信する場合にも生じる。

　本技術の目的は、例えば、ＭＶＣあるいはＳＶＣ等に対応する受信機が、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得るようにすることにある。

　本技術の概念は、
　第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとを生成するエンコード部と、
　上記エンコード部で生成された上記各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームを送信する送信部を備え、
　上記エンコード部は、少なくとも、上記第１のエレメンタリストリームに、上記各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入する
　画像データ送信装置にある。

　本技術において、エンコード部により、第１の画像データを含む第１のエレメンタリストリームと、第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとが生成される。そして、送信部により、エンコード部で生成された各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームが送信される。この場合、所定数の第２の画像データのみが存在する状態、所定数のメタデータのみが存在する状態、さらには、第２の画像データおよびメタデータを合わせて所定数存在する状態などがある。

　例えば、第１のエレメンタリストリームに含まれる第１の画像データの符号化方式と、所定数の第２のエレメンタリストリームに含まれる第２の画像データの符号化方式として、任意の符号化方式の組み合わせが可能とされる。例えば、符号化方式がＭＰＥＧ４－ＡＶＣのみである場合、符号化方式がＭＰＥＧ２ｖｉｄｅｏのみである場合、さらには、それらの符号化方式の組み合わせが考えられる。なお、符号化方式は、これらＭＰＥＧ４－ＡＶＣ、ＭＰＥＧ２ｖｉｄｅｏに限定されない。

　例えば、第１の画像データは、立体（３Ｄ）画像データを構成するベースビューの画像データであり、第２の画像データは、立体画像（３Ｄ）データを構成するベースビュー以外のビュー（ノンベースビュー）の画像データである。この場合、例えば、第１の画像データは、ステレオ立体画像を得るための左眼および右眼の一方の画像データであり、第２の画像データは、ステレオ立体画像を得るための左眼および右眼の他方の画像データである。

　また、例えば、メタデータは、立体画像データに対応した視差情報（視差ベクトル、奥行きデータなど）である。例えば、受信側においては、この視差情報を用い、受信画像データに補間処理（ポスト処理）を施して、所定数のビューの表示画像データを得ることが可能となる。また、例えば、第１の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、第２の画像データは、スケーラブル符号化画像データを構成する最下位層以外の階層の符号化画像データである。

　例えば、ストリーム関連付け情報は、このストリーム関連付け情報が挿入されたエレメンタリストリームに含まれる画像データによるビューが、立体表示の際に、マルチビューイング中のいずれのビューとして表示されるべきかを示すポジション情報を含む、ようにされてもよい。

　エンコード部により、少なくとも、第１のエレメンタリストリームに、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入される。例えば、ストリーム関連付け情報は、各エレメンタリストリームを識別するための識別子を用いて、各エレメンタリストリームの関連を示すようにされる。

　例えば、トランスポートストリームに、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネント・タグとの対応関係を示す記述子（デスクリプタ）が挿入される。例えば、この記述子は、プログラム・マップ・テーブルの配下に挿入される。なお、この対応関係が予め定義されていてもよい。これにより、各エレメンタリストリームのトランスポートストリームレイヤでの登録状態と、ストリーム関連付け情報との連携がとられる。

　このように、本技術においては、少なくとも、第１のエレメンタリストリームに、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入される。そのため、受信側では、このストリーム関連付け情報に基づいて、このトランスポートストリームに、第１のエレメンタリストリームと関連する第２のエレメンタリストリームが含まれるか否かを容易に判断できる。また、エレメンタリストリーム自体にストリーム関連付け情報が挿入されることから、受信側では、このストリーム関連付け情報に基づいて、エレメンタリストリームの構成変化、つまり、配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行い得る。

　なお、本技術において、例えば、ストリーム関連付け情報は、各エレメンタリストリームの関連の変化が実際に起きる前に、この変化が起きることを知らせる前触れ情報を含む、ようにされてもよい。この前触れ情報に基づいて、受信側では、デコーダバッファからの読み出し制御を手際よく動的に変えることが可能となる。

　また、本技術において、例えば、エンコード部は、エレメンタリストリームに、ストリーム関連付け情報をピクチャ単位あるいはＧＯＰ単位で挿入する、ようにされてもよい。これにより、受信側では、エレメンタリストリームの構成、例えば、立体画像データのビュー数の変化、あるいはスケーラブル符号化画像データの階層数の変化等を、ピクチャ単位あるいはＧＯＰ単位で管理可能となる。

　また、本技術において、送信部は、トランスポートストリームに、エレメンタリストリームにストリーム関連付け情報が挿入されているか否か、あるいは、エレメンタリストリームに挿入されているストリーム関連付け情報に変更があるか否かを示す記述子を挿入する、ようにされてもよい。この記述子により、エレメンタリストリームに挿入されているストリーム関連付け情報の参照を促すことができ、受信側において安定した受信動作が可能となる。

　また、本技術において、例えば、ストリーム関連付け情報は、第１の画像データおよび第２の画像データの出力解像度の制御情報をさらに含む、ようにされてもよい。これにより、受信側においては、この制御情報に基づいて、第１の画像データおよび第２の画像データの出力解像度を所定解像度に調整することが可能となる。

　また、本技術において、例えば、ストリーム関連付け情報は、所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報をさらに含む、ようにされてもよい。これにより、受信側においては、この制御情報に基づいて、所定数の第２の画像データのどれが表示必須であるかを知ることができ、ユーザによる画像表示態様の選択を制限可能となる。

　また、本技術の他の概念は、
　第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとをパケット化して得られた各パケットを有するトランスポートストリームを受信する受信部を備え、
　上記第１のエレメンタリストリームには、上記各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されており、
　上記ストリーム関連付け情報に基づいて、上記受信部で受信された上記第１のエレメンタリストリームから上記第１の画像データを取得し、上記受信部で受信された上記所定数の第２のエレメンタリストリームから上記第１の画像データに関連した上記第２の画像データおよび／またはメタデータを取得するデータ取得部をさらに備える
　画像データ受信装置にある。

　本技術において、受信部により、トランスポートストリームが受信される。このトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームおよびこの第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。この場合、第１のエレメンタリストリームには、各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入されている。

　データ取得部により、受信部で受信されたトランスポートストリームから画像データおよび／またはメタデータが取得される。この場合、ストリーム関連付け情報に基づいて、第１のエレメンタリストリームから第１の画像データが取得され、さらに、所定数の第２のエレメンタリストリームから第２の画像データおよび／またはメタデータが取得される。

　本技術においては、トランスポートストリームに、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されている。そのため、このストリーム関連付け情報に基づいて、このトランスポートストリームに、第１のエレメンタリストリームと関連する第２のエレメンタリストリームが含まれるか否かを容易に判断できる。また、エレメンタリストリーム自体にストリーム関連付け情報が挿入されていることから、このストリーム関連付け情報に基づいて、エレメンタリストリームの構成変化、つまり、配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行い得る。

　なお、本技術において、例えば、データ取得部で取得された第１の画像データおよび第２の画像データの解像度を調整して出力する解像度調整部をさらに備え、ストリーム関連付け情報は、第１の画像データおよび第２の画像データの出力解像度の制御情報を含み、解像度調整部は、出力解像度の制御情報に基づいて、第１の画像データおよび第２の画像データの解像度を調整する、ようにされてもよい。この場合、第１の画像データおよび所定数の第２の画像データの解像度が異なる場合であっても、解像度調整部によりそれらの出力解像度を合わせることが可能となる。

　また、本技術において、例えば、データ取得部で取得された第１の画像データおよび第２の画像データに基づく画像表示態様を選択する画像表示態様選択部をさらに備え、ストリーム関連付け情報は、所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報を含み、画像表示態様選択部は、この制御情報に基づいて画像表示態様の選択が制限される、ようにされてもよい。

　また、本技術において、例えば、データ取得部で取得されたメタデータは、立体画像データに対応した視差情報であり、この視差情報を用い、データ取得部で取得された第１の画像データおよび第２の画像データに補間処理を施して、所定数のビューの表示画像データを得るポスト処理部をさらに備える、ようにされてもよい。

　本技術によれば、受信側では、エレメンタリストリームの構成変化、つまり、配信内容の動的な変化に的確に対応でき、ストリーム受信を良好に行うことができる。

この発明の第１の実施の形態としての画像送受信システムの構成例を示すブロック図である。番組が２本のビデオエレメンタリストリームにより構成される例を示す図である。画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。ビデオエレメンタリストリーム、グラフィクスエレメンタリストリーム、オーディオエレメンタリストリーム等を含む一般的なトランスポートストリームの構成例を示す図である。エレメンタリストリームにストリーム関連付け情報を挿入し、トランスポートストリームに、ＥＳ_ＩＤデスクリプタおよびＥＳ_associationデスクリプタを挿入する場合におけるトランスポートストリームの構成例を示す図である。ＥＳ_ＩＤデスクリプタの構造例（Syntax）を示す図である。ＥＳ_associationデスクリプタの構造例（Syntax）を示す図である。エレメンタリストリームに挿入されているストリーム関連付け情報と、トランスポートストリームに挿入されているＥＳ_associationデスクリプタとの関係の一例を示す図である。符号化方式がＭＰＥＧ４－ＡＶＣである場合、ストリーム関連付け情報がアクセスユニットの“ＳＥＬｓ”の部分に挿入されることを説明するための図である。 Stream Association Information SEImessage」および「userdata_for_stream_association()」の構造例(Syntax)を示す図である。「user_data()」の構造例(Syntax)を示す図である。ストリーム関連付け情報「stream_association()」の構造例（Syntax）を示す図である。ストリーム関連付け情報「stream_association()」の構造例（Syntax）における各情報の内容（Semantics）を示す図である。トランスポートストリームが、ＭＶＣのベースビュー(base view)のストリームとＭＶＣのノンベースビュー（Non base view）のストリームを有する場合の例を示す図である。受信側における立体（３Ｄ）表示の際のビュー表示例を示す図である。「indication_of_selected_stream_display」の挿入例を示す図である。画像送受信システムを構成する受信機の構成例を示すブロック図である。トランスポートストリームＴＳに、ＭＶＣのベースビューのストリームＥＳ１と、ＭＶＣのノンベースビューのストリームＥＳ２が含まれる場合の例を示す図である。トランスポートストリームＴＳに、ＭＰＥＧ２ｖｉｄｅｏストリームＥＳ１，ＥＳ２が含まれる場合の例を示す図である。トランスポートストリームＴＳに、ＭＰＥＧ２ｖｉｄｅｏストリームＥＳ１と、ＡＶＣストリームＥＳ２が含まれる場合の例を示す図である。トランスポートストリームＴＳに、ＭＶＣのベースビューのストリームＥＳ１と、ＭＶＣのノンベースビューのストリームＥＳ２が含まれる場合の他の例を示す図である。トランスポートストリームＴＳに、ＭＶＣのベースビューのストリームＥＳ１と、ＭＶＣのノンベースビューのストリームＥＳ２が含まれる場合のさらに他の例を示す図である。トランスポートストリームＴＳに、ＭＶＣのベースビューのストリームＥＳ１と、ＭＶＣのノンベースビューのストリームＥＳ２，ＥＳ３が含まれる場合の例を示す図である。トランスポートストリームＴＳに、ＭＶＣのベースビューのストリームＥＳ１と、ＭＶＣのノンベースビューのストリームＥＳ２，ＥＳ３が含まれる場合の他の例を示す図である。トランスポートストリームＴＳに、ＭＶＣのベースビューのストリームＥＳ１と、ＭＶＣのノンベースビューのストリームＥＳ２と、メタデータストリームＥＳ３が含まれる場合の例を示している。画像送受信システムを構成する受信機の他の構成例を示すブロック図である。トランスポートストリーム内におけるビデオエレメンタリストリームとＰＭＴ（ProgramMap Table）の構成例を示す図である。

　以下、本技術を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例

　＜１．実施の形態＞
　［画像送受信システム］
　図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、トランスポートストリームを、放送波にのせて送信する。トランスポートストリームは、番組を構成する画像データやメタデータを含んでいる。

　すなわち、このトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームと、この第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。このパケットは、ＰＥＳ（Packetized Elementary Stream）パケットである。

　この場合、所定数の第２の画像データのみが存在する状態、所定数のメタデータのみが存在する状態、さらには、第２の画像データおよびメタデータを合わせて所定数存在する状態などがある。なお、所定数には０が含まれる。その場合、第１の画像データに関連する第２の画像データやメタデータは存在せず、トランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームをパケット化して得られたパケットのみを有することとなる。

　第１の画像データを含む第１のエレメンタリストリームのみが存在する場合、この第１の画像データは２次元（２Ｄ）画像データを構成する。一方、第１の画像データを含む第１のエレメンタリストリームの他に、第２の画像データを含む単数あるいは複数の第２のエレメンタリストリームが存在する場合、これら第１の画像データおよび所定数の第２の画像データは立体（３Ｄ）画像データを構成する。ここで、第１の画像データはベースビューの画像データであり、所定数の第２の画像データはノンベースビューの画像データを構成している。

　なお、ステレオ立体（３Ｄ）画像データの場合、立体画像データを構成するノンベースビューの画像データは単数である。すなわち、所定数は１である。この場合、ベースビューの画像データは左眼および右眼の一方の画像データであり、ノンベースビューの画像データは左眼および右眼の他方の画像データである。

　図２は、番組が複数本、例えば２本のビデオエレメンタリストリームにより構成される例を示している。図２（ａ）は、ＰＭＴの「Stream_Type=0x1B」で送られるＭＶＣのベースビュー(base view)のストリームと、ＰＭＴの「Stream_Type=0x20」で送られるＭＶＣのノンベースビュー（Non baseview）のストリームから構成されている。また、図２（ｂ）は、ＰＭＴの「Stream_Type=0x20」で送られるＭＰＥＧ２ｖｉｄｅｏストリームと、ＰＭＴの「Stream_Type=0x1B」で送られるＡＶＣストリームとから構成されている。さらに、図２（ｃ）は、ＰＭＴの「Stream_Type=0x20」で送られるＭＰＥＧ２ｖｉｄｅｏストリームが２本で構成されている。

　少なくとも、第１のエレメンタリストリームには、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されている。このストリーム関連付け情報は、ピクチャ単位あるいは予測画像を含めた表示アクセス単位であるＧＯＰ（Group of Picture）単位で挿入されている。このストリーム関連付け情報の詳細説明は後述する。

　受信機２００は、放送局１００から放送波にのせて送られてくるトランスポートストリームを受信する。このトランスポートストリームは、上述したように、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。第１のエレメンタリストリームには、第１の画像データが含まれている。また、所定数の第２のエレメンタリストリームには、この第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータがそれぞれ含まれている。

　少なくとも、第１のエレメンタリストリームには、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されている。受信機２００は、このストリーム関連付け情報に基づいて、第１のエレメンタリストリームから第１の画像データを取得し、所定数の第２のエレメンタリストリームから画像データやメタデータを取得する。

　「送信データ生成部の構成例」
　図３は、放送局１００において、上述したトランスポートストリームを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、視差情報エンコーダ１１３と、オーディオエンコーダ１１４を有している。また、この送信データ生成部１１０は、グラフィクス発生部１１５と、グラフィクスエンコーダ１１６と、マルチプレクサ１１７を有している。

　データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。このデータ記録媒体１１１ａには、送信すべき番組の画像データと共に、この画像データに対応した音声データが記録されている。例えば、画像データは、番組に応じて、立体（３Ｄ）画像データあるいは二次元（２Ｄ）画像データに切り替わる。また、例えば、画像データは、番組内においても、本編やコマーシャルなどの内容に応じて、立体画像データあるいは二次元画像データに切り替わる。立体画像データは、上述したように、ベースビューの画像データと、所定数のノンベースビューの画像データとからなっている。

　画像データが立体画像データである場合、データ記録媒体１１１ａには、この立体画像データに対応して、視差情報も記録されている。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ピクセル（画素）毎の視差情報、あるいはビュー（画像）を所定数に分割して得られた各分割領域の視差情報などである。

　例えば、この視差情報は、受信側において、ベースビューおよび各ノンベースビューの画像にそれぞれ重畳する同一の重畳情報（グラフィクス情報等）の位置を調整して視差を付与するために用いられる。また、例えば、この視差情報は、受信側において、ベースビューおよび各ノンベースビューの画像データに補間処理（ポスト処理）を施して所定数のビューの表示画像データを得るために用いられる。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。データ取り出し部１１１は、データ記録媒体１１１ａから、画像データ、音声データ、視差情報等を取り出して出力する。

　ビデオエンコーダ１１２は、データ取り出し部１１１から出力される画像データに対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、ビデオエレメンタリストリームを生成する。

　すなわち、このビデオエンコーダ１１２は、画像データが２次元画像データであるとき、この２次元画像データ（第１の画像データ）を含むビデオエレメンタリストリームを生成する。また、このビデオエンコーダ１１２は、画像データが立体画像データであるとき、ベースビューの画像データ（第１の画像データ）を含むビデオエレメンタリストリームおよび所定数のノンベースビューの画像データ（第２の画像データ）を含むビデオエレメンタリストリームを生成する。

　また、このビデオエンコーダ１１２は、少なくとも、第１の画像データを含むビデオエレメンタリストリーム（第１のエレメンタリストリーム）に、ストリーム関連付け情報を挿入する。このストリーム関連付け情報は、各エレメンタリストリームの関連を示す情報である。第２のエレメンタリストリームには、上述した第２の画像データおよび／またはメタデータが含まれる。ビデオエンコーダ１１２は、このストリーム関連付け情報を、ピクチャ単位あるいは予測画像を含めた表示アクセス単位であるＧＯＰ単位で挿入する。

　オーディオエンコーダ１１４は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ２ＡｕｄｉｏＡＡＣ等の符号化を施し、オーディオのエレメンタリストリームを生成する。

　視差情報エンコーダ１１３は、データ取り出し部１１１から出力される視差情報に対して所定の符号化を施し、視差情報のエレメンタリストリームを生成する。なお、視差情報が、上述したようにピクセル（画素）毎の視差情報である場合、この視差情報を画素データのように取り扱うことができる。この場合、視差情報エンコーダ１１３は、視差情報に対して、上述した画像データと同様の符号化方式で符号化を施し、視差情報エレメンタリストリームを生成できる。なお、この場合、データ取り出し部１１１から出力される視差情報の符号化をビデオエンコーダ１１２で行う構成も考えられ、その場合には、視差情報エンコーダ１１３は不要となる。

　グラフィクス発生部１１５は、画像に重畳するグラフィクス情報（サブタイトル情報も含む）のデータ（グラフィクスデータ）を発生する。グラフィクスエンコーダ１１６は、グラフィクス発生部１１５で発生されたグラフィクスデータを含むグラフィクスエレメンタリストリームを生成する。ここで、グラフィクス情報は、重畳情報を構成している。

　グラフィクス情報は、例えば、ロゴなどである。サブタイトル情報は、例えば、字幕である。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。

　マルチプレクサ１１７は、ビデオエンコーダ１１２、視差情報エンコーダ１１３、オーディオエンコーダ１１４およびグラフィクスエンコーダ１１６で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。

　図３に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から出力される画像データ（立体画像データあるいは２次元画像データ）は、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データに対して、例えばＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成され、マルチプレクサ１１７に供給される。

　すなわち、このビデオエンコーダ１１２では、画像データが２次元画像データであるとき、この２次元画像データ（第１の画像データ）を含むビデオエレメンタリストリームが生成される。また、このビデオエンコーダ１１２では、画像データが立体（３Ｄ）画像データであるとき、ベースビューの画像データ（第１の画像データ）を含むビデオエレメンタリストリームおよび所定数のノンベースビューの画像データ（第２の画像データ）を含むビデオエレメンタリストリームが生成される。

　なお、このビデオエンコーダ１１２では、ピクチャ単位あるいは予測画像を含めた表示アクセス単位であるＧＯＰ単位で、少なくとも、第１の画像データを含むビデオエレメンタリストリーム（第１のビデオエレメンタリストリーム）に、ストリーム関連付け情報が挿入される。これにより、第１の画像データが含まれる第１のエレメンタリストリームに対して、第２の画像データが含まれる第２のエレメンタリストリームの有無などを示す情報が受信側に送信されることになる。

　また、データ取り出し部１１１から立体画像データが出力されるとき、このデータ取り出し部１１１からその立体画像データに対応した視差情報も出力される。この視差情報は、視差情報エンコーダ１１３に供給される。視差情報エンコーダ１１３では、視差情報に対して所定の符号化が施され、符号化データを含む視差情報エレメンタリストリームが生成される。この視差情報エレメンタリストリームはマルチプレクサ１１７に供給される。

　また、データ取り出し部１１１から画像データが出力されるとき、このデータ取り出し部１１１からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１４に供給される。このオーディオエンコーダ１１４では、音声データに対して、ＭＰＥＧ２ＡｕｄｉｏＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１１７に供給される。

　また、データ取り出し部１１１から出力される画像データに対応してグラフィクス発生部１１５では、画像（ビュー）に重畳するグラフィクス情報（サブタイトル情報を含む）のデータ（グラフィクスデータ）が発生される。このグラフィクスデータは、グラフィクスエンコーダ１１６に供給される。グラフィクスエンコーダ１１６では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むグラフィクスエレメンタリストリームが生成される。このグラフィクスエレメンタリストリームはマルチプレクサ１１７に供給される。

　マルチプレクサ１１７では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。このトランスポートストリームＴＳは、データ取り出し部１１１から立体（３Ｄ）画像データが出力される期間は、ベースビューのビデオエレメンタリストリームと、所定数のノンベースビューのビデオエレメンタリストリームとを有するものとなる。また、このトランスポートストリームＴＳは、データ取り出し部１１１から二次元（２Ｄ）画像データが出力される期間は、この二次元画像データを含むビデオエレメンタリストリームを有するものとなる。

　図４は、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム等を含む一般的なトランスポートストリームの構成例を示している。トランスポートストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、２つのビデオエレメンタリストリームのＰＥＳパケット「Video PES1」、「Video PES2」が含まれている。また、この構成例では、グラフィクスエレメンタリストリームのＰＥＳパケット「Graphics PES」およびプライベートエレメンタリストリームのＰＥＳパケット「DisparityData PES」が含まれている。さらに、この構成例では、オーディオエレメンタリストリームのＰＥＳパケット「AudioPES」が含まれている。

　また、トランスポートストリームには、ＰＳＩ（Program SpecificInformation）として、（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。

　ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（ProgramDescriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、グラフィクスエレメンタリ・ループ、プライベートエレメンタリ・ループおよびオーディオエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。

　［ストリーム関連付け情報］
　上述したように、ビデオエンコーダ１１２は、少なくとも、第１の画像データを含むビデオエレメンタリストリーム（第１のエレメンタリストリーム）に、ストリーム関連付け情報を、ピクチャ単位あるいはＧＯＰ単位で挿入する。このストリーム関連付け情報は、各エレメンタリストリームの関連を示す情報である。

　このストリーム関連付け情報は、各エレメンタリストリームを識別するための識別子を用いて、各エレメンタリストリームの関連を示すものとされる。この場合、各エレメンタリストリームのトランスポートストリームレイヤでの登録状態と、ストリーム関連付け情報との連携をとる必要がある。例えば、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネント・タグとの対応関係を予め定義することが考えられる。

　この実施の形態において、マルチプレクサ１１７は、トランスポートストリームに、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネント・タグとの対応関係を示す記述子、つまりＥＳ_ＩＤデスクリプタを挿入する。マルチプレクサ１１７は、このＥＳ_ＩＤデスクリプタを、例えば、ＰＭＴの配下に挿入する。

　また、この実施の形態において、マルチプレクサ１１７は、トランスポートストリームに、ストリーム関連付け情報の存在などを示す記述子、つまりＥＳ_associationデスクリプタを挿入する。この記述子は、エレメンタリストリームに上述のストリーム関連付け情報が挿入されているか否か、あるいは、エレメンタリストリームに挿入されている上述のストリーム関連付け情報に変更があるか否かを示す。マルチプレクサ１１７は、このＥＳ_associationデスクリプタを、ＰＭＴの配下、あるいはＥＩＴの配下に挿入する。

　図５は、第１のエレメンタリストリームにストリーム関連付け情報を挿入し、さらに、トランスポートストリームに、ＥＳ_ＩＤデスクリプタおよびＥＳ_associationデスクリプタを挿入する場合におけるトランスポートストリームの構成例を示している。

　この構成例では、トランスポートストリームに、ベースビューのビデオエレメンタリストリーム（Stream_Type video1）のＰＥＳパケット「Video PES1」が含まれている。また、この構成例では、トランスポートストリームに、ノンベースビューのビデオエレメンタリストリーム（Stream_Type video2）のＰＥＳパケット「Video PES2」が含まれている。なお、この構成例では、図面の簡単化のために、その他のＰＥＳパケットに関しては、図示を省略している。

　この構成例では、ビデオエレメンタリ・ループに、各エレメンタリストリームの識別子ＥＳ_ＩＤと、各エレメンタリストリームのパケット識別子ＰＩＤまたはコンポーネント・タグとの対応関係を示すＥＳ_ＩＤデスクリプタが挿入されている。

　図６は、ＥＳ_ＩＤデスクリプタの構造例（Syntax）を示している。「descriptor_tag」は、デスクリプタタイプを示す８ビットのデータであり、ここでは、ＥＳ_ＩＤデスクリプタであることを示す。「descriptor _length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、「descriptor _length」以降のバイト数を示す。

　「stream_count_for_association」は、ストリームの本数を示す４ビットのデータである。このストリームの本数分だけ、forループを繰り返す。「stream_Association_ID 」の４ビットフィールドは、各エレメンタリストリームの識別子（ＥＳ_ＩＤ）を示す。また、「Associated_stream_Elementary_PID」の１３ビットフィールドは、各エレメンタリストリームのパケット識別子ＰＩＤを示す。なお、各エレメンタリストリームの識別子と、各エレメンタリストリームのコンポーネント・タグとの対応関係を示す場合には、「Associated_stream_Elementary_PID」の代わりに、「Component_tag」が配されることとなる。

　図７（ａ）は、ＥＳ_associationデスクリプタの構造例（Syntax）を示している。「descriptor_tag」は、デスクリプタタイプを示す８ビットのデータであり、ここでは、ＥＳ_associationデスクリプタであることを示す。「descriptor_length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、「descriptor _length」以降のバイト数を示す。

　「existence_of_stream_association_info」の１ビットフィールドは、図７（ｂ）に示すように、エレメンタリストリームに、ストリーム関連付け情報が存在するかなどを示すフラグである。“１”はエレメンタリストリーム内にストリーム関連付け情報が存在することを示し、“０”は、エレメンタリストリーム内にストリーム関連付け情報が存在しないことを示す。あるいは、“１”はエレメンタリストリーム内に挿入されているストリーム関連付け情報に変更があることを示し、“０”はエレメンタリストリーム内に挿入されているストリーム関連付け情報に変更がないことを示す。

　図８は、エレメンタリストリームに挿入されているストリーム関連付け情報と、トランスポートストリームに挿入されているＥＳ_associationデスクリプタとの関係の一例を示している。ストリーム関連付け情報がエレメンタリストリームに存在するので、受信側においてその参照を促すように、トランスポートストリームの例えばＰＭＴの配下にＥＳ_associationデスクリプタを挿入して伝送する。

　受信側のデコーダは、ＥＳ_associationデスクリプタを参照し、次のＧＯＰから各エレメンタリストリームの関連付け構成が変わることを事前に検知できるので、安定した受信動作が可能となる。なお、番組単位に固定的に配置する際には、ＥＳ_associationデスクリプタは、ＥＩＴ配下に置かれる。

　また、図４の構成例では、ベースビューのエレメンタリストリームに、このベースビューのエレメンタリストリームと、ノンベースビューのビデオエレメンタリストリームとの関連を示すストリーム関連付け情報が挿入される。このストリーム関連付け情報は、ユーザデータ領域を利用して、ピクチャ単位あるいはＧＯＰ単位で挿入される。

　例えば、符号化方式がＭＰＥＧ４－ＡＶＣである場合、ストリーム関連付け情報は、アクセスユニットの“ＳＥＬｓ”の部分に、「Stream Association Information SEI message」として、挿入される。図９（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図９（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。ストリーム関連付け情報がＧＯＰ単位で挿入される場合、ＧＯＰの先頭のアクセスユニットにのみ「Stream Association Information SEI message」が挿入される。

　図１０（ａ）は、「Stream Association InformationSEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「userdata_for_stream_association()」が挿入される。図１０（ｂ）は、「userdata_for_stream_association()」の構造例(Syntax)を示しており、この中に、ストリーム関連付け情報としての「stream_association()」が挿入される。「stream_association_id」は、符号なし１６ビットで示されるストリーム関連付け情報の識別子である。

　また、例えば、符号化方式がＭＰＥＧ２ｖｉｄｅｏである場合、ストリーム関連付け情報は、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図１１は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。この開始コードに続く１６ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stream_Association_identifier」とされ、ユーザデータが、ストリーム関連付け情報であることを識別可能とする。この識別子の後のデータ本体として、ストリーム関連付け情報としての「stream_association()」が挿入される。

　図１２は、ストリーム関連付け情報「stream_association()」の構造例（Syntax）を示している。図１３は、図１２に示す構造例における各情報の内容（Semantics）を示している。「stream_association_length」の８ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。「stream_count_for_association」の４ビットフィールドは、関連付けされるエレメンタリストリームの数を示し、０～１５の値をとる。

　「self_ES_id」の４ビットフィールドは、本ストリーム関連付け情報が配置されるエレメンタリストリーム（本エレメンタリストリーム）自身の関連付け識別子を示す。例えば、基本となるエレメンタリストリーム（第１の画像データを含む第１のエレメンタリストリーム）の識別子を“０”とする。

　「indication_of_selected_stream_display」の１ビットフィールドは、本エレメンタリストリーム以外にデコーダ出力を表示させる、表示必須のエレメンタリストリームが存在するか否かを指示するフラグである。“１”は、本エレメンタリストリーム以外に表示必須のエレメンタリストリームがあることを示す。“０”は、本エレメンタリストリーム以外に表示必須のエレメンタリストリームがないことを示す。“１”の場合、後述の「display_mandatory_flag」でセットされたノンベースビューのエレメンタリストリームは、ベースビューのビデオエレメンタリストリームと共に表示必須となる。

　「indication_of_other_resolution_master」の１ビットフィールドは、本エレメンタリストリームではなく、他のエレメンタリストリームが解像度あるいはサンプリング周波数の表示基準であるか否かを示すフラグである。“１”は、他のエレメンタリストリームが表示基準になることを示す。“０”は、本エレメンタリストリームが表示基準になることを示す。

　「terminating_current_association_flag」の１ビットフィールドは、エレメンタリストリームの構成が次のアクセスユニット（ＡＵ：Access Unit）から変更になるかを示す。 “１”は、次のアクセスユニットからエレメンタリストリームの構成が変更になることを示す。“０”は、次のアクセスユニットも現在のアクセスユニットとエレメンタリストリームの構成が同じであることを示す。このフラグ情報は、前触れ情報を構成している。

　「display_position」の４ビットフィールドは、本エレメンタリストリームに含まれる画像データによるビューが、立体（３Ｄ）表示の際に、マルチビューイングの中のいずれのビューとして表示されるべきかを示し、０～１５の値をとる。

　例えば、図１４に示すように、トランスポートストリームが、ＰＭＴの「Stream_Type=0x1B」で送られるＭＶＣのベースビュー(base view)のストリームと、ＰＭＴの「Stream_Type=0x20」で送られるＭＶＣのノンベースビュー（Non base view）のストリームを有する場合の例を考える。この場合、ベースビューストリーム内のストリーム関連付け情報では「display_position＝０」であり、ノンベースビューストリーム内のストリーム関連付け情報では「display_position＝１５」であるとする。

　図１５は、その場合における、受信側における立体（３Ｄ）表示の際のビュー表示例を示している。すなわち、ベースビューストリームに含まれる画像データによるビューは表示ポジション「０」のビューとして表示される。また、ノンベースビューストリームに含まれる画像データによるビューは表示ポジション「１５」のビューとして表示される。

　図１２に戻って、「associated_ES_id」の４ビットフィールドは、本エレメンタリストリームと関連するエレメンタリストリームの識別子（関連付け識別子）を示し、０～１５の値をとる。「display_mandatory_flag」の１ビットフィールドは、「associated_ES_id」のエレメンタリストリームが表示必須であるか否かを示す。“１”は、該当エレメンタリストリームは表示必須であることを示す。“０”は、該当エレメンタリストリームは表示必須でないことを示す。

　「resolution_master_flag」の１ビットフィールドは、「associated_ES_id」のエレメンタリストリームが解像度あるいはサンプリング周波数の表示基準であるか否かを示す。“１”は、該当エレメンタリストリームは表示基準であることを示す。“０”は、該当エレメンタリストリームは表示基準でないことを示す。

　図１６は、「indication_of_selected_stream_display」の挿入例を示している。この例は、ベースビューのエレメンタリストリームは左眼（Ｌ）画像データを含み、右眼（Ｒ）画像データおよび中央（Ｃ）画像データをそれぞれ含む２つのノンベースビューのエレメンタリストリームが存在する例である。なお、この図１６においては、「indication_of_selected_stream_display」を「indication_display」に、「display_mandatory_flag」を「mandatory_flag」に、略記している。

　ベースビューの他に２つのノンベースビューのエレメンタリストリームを表示必須とする場合を考える。この場合、「indication_of_selected_stream_display＝１」とされ、さらに、２つのノンベースビューのエレメンタリストリームについて「display_mandatory_flag＝１」とされる。この設定により、受信機における表示必須は、左眼（Ｌ）、右眼（Ｒ）および中央（Ｃ）の画像となる。

　また、ベースビューの他に右眼（Ｒ）画像データを含むノンベースビューのエレメンタリストリームを表示必須とする場合を考える。この場合、「indication_of_selected_stream_display＝１」とされ、さらに、右眼（Ｒ）画像データを含むノンベースビューのエレメンタリストリームについてのみ「display_mandatory_flag＝１」とされる。この設定により、受信機における表示必須は、左眼（Ｌ）および右眼（Ｒ）の画像となる。

　また、ベースビューのエレメンタリストリームのみを表示必須とする場合を考える。この場合、「indication_of_selected_stream_display＝０」とされる。この設定により、受信機における表示必須は、左眼（Ｌ）の画像のみとなる。

　「受信機の構成例」
　図１７は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。

　また、受信機２００は、ビデオデコーダ２１５と、ビューバッファ２１６，２１６-1～２１６-Nと、スケーラ２２４，２２４-1～２２４-Nと、ビデオ重畳部２１７，２１７-1～２１７-Nを有している。さらに、受信機２００は、グラフィクスデコーダ２１８と、グラフィクス発生部２１９と、視差情報デコーダ２２０と、グラフィクスバッファ２２１，２２１-1～２２１-Nと、オーディオデコーダ２２２と、チャネル処理部２２３を有している。

　ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。リモコン受信部２０５は、リモコン送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。

　アンテナ端子２１１は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１２は、アンテナ端子２１１に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１３は、デジタルチューナ２１２から出力されたトランスポートストリームＴＳを一時的に蓄積する。

　このトランスポートストリームＴＳは、上述したように、ビデオ、視差情報、グラフィクス、オーディオなどのエレメンタリストリームをパケット化して得られた各パケットを有している。そして、この場合、このトランスポートストリームＴＳは、第１の画像データを含む第１のエレメンタリストリームを有している。また、このトランスポートストリームＴＳは、この第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームを有している。

　ここで、第１の画像データを含む第１のエレメンタリストリームのみが存在する場合、この第１の画像データは２次元（２Ｄ）画像データを構成する。一方、第１の画像データを含む第１のエレメンタリストリームの他に、第２の画像データを含む単数あるいは複数の第２のエレメンタリストリームが存在する場合、これら第１の画像データおよび所定数の第２の画像データは立体（３Ｄ）画像データを構成する。ここで、第１の画像データはベースビューの画像データを構成し、所定数の第２の画像データはノンベースビューの画像データを構成している。

　上述したように、トランスポートストリームＴＳのビデオエレメンタリストリーム、少なくとも第１の画像データを含む第１のエレメンタリストリームには、ピクチャ単位あるいはＧＯＰ単位で、ユーザデータ領域を利用して、ストリーム関連付け情報（図１２参照）が挿入されている。

　また、上述したように、トランスポートストリームＴＳには、例えばＰＭＴの配下に、ＥＳ_ＩＤデスクリプタ（図６参照）が挿入されている。このＥＳ_ＩＤデスクリプタは、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネント・タグとの対応関係を示すものである。ストリーム関連付け情報は、各エレメンタリストリームを識別するための識別子を用いて各エレメンタリストリームの関連を示す。従って、ＥＳ_ＩＤデスクリプタにより、各エレメンタリストリームのトランスポートストリームレイヤでの登録状態と、ストリーム関連付け情報との連携がとられる。

　また、上述したように、トランスポートストリームＴＳには、例えばＰＭＴあるいはＥＩＴの配下に、ＥＳ_associationデスクリプタ（図７（ａ）参照）が挿入されている。このＥＳ_associationデスクリプタは、エレメンタリストリームにストリーム関連付け情報が挿入されているか否か、あるいは、エレメンタリストリームに挿入されているストリーム関連付け情報に変更があるか否かを示すものである。従って、このＥＳ_associationデスクリプタにより、ストリーム関連付け情報の参照が促される。

　デマルチプレクサ２１４は、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。視差情報エレメンタリストリームは、トランスポートストリームＴＳに立体（３Ｄ）画像データのビデオエレメンタリストリームが含まれている場合のみ抽出される。

　また、デマルチプレクサ２１４は、トランスポートストリームＴＳに含まれるＥＳ_ＩＤデスクリプタおよびＥＳ_associationデスクリプタを抽出し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、ＥＳ_ＩＤデスクリプタにより、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネント・タグとの対応関係を認識する。また、ＣＰＵ２０１は、ＥＳ_associationデスクリプタにより、ビデオエレメンタリストリーム、例えば第１の画像データを含むビデオエレメンタリストリームにストリーム関連付け情報が挿入されているか否か、あるいは、その情報に変更があるか否かを認識する。

　ビデオデコーダ２１５は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、このビデオデコーダ２１５は、デマルチプレクサ２１４で抽出された各ビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理を行って復号化された画像データを得る。

　ここで、第１の画像データを含む第１のエレメンタリストリームのみが存在する場合、ビデオデコーダ２１５は、この第１の画像データを２次元（２Ｄ）画像データとして得る。また、第１の画像データを含む第１のエレメンタリストリームの他に、第２の画像データを含む単数あるいは複数の第２のエレメンタリストリームが存在する場合、ビデオデコーダ２１５は、立体（３Ｄ）画像データを得る。すなわち、第１の画像データをベースビューの画像データとして得ると共に、所定数の第２の画像データをノンベースビューの画像データとして得る。

　また、ビデオデコーダ２１５は、ビデオエレメンタリストリーム、例えば第１の画像データを含む第１のエレメンタリストリームからストリーム関連付け情報を抽出し、ＣＰＵ２０１に供給する。ビデオデコーダ２１５は、この抽出処理を、ＣＰＵ２０１の制御のもと行う。ＣＰＵ２０１は、上述したように、ＥＳ_associationデスクリプタにより、ストリーム関連付け情報が存在するか否か、あるいは、その情報に変更があるか否かを認識できることから、必要に応じて、ビデオデコーダ２１５に抽出処理を行わせることができる。

　ＣＰＵ２０１は、ビデオデコーダ２１５で抽出されるストリーム関連付け情報により、第１の画像データを含む第１のエレメンタリストリームに関連する所定数の第２のエレメンタリストリームの存在を認識できる。ＣＰＵ２０１は、この認識に基づいて、第１のエレメンタリストリームと共に、この第１のエレメンタリストリームに関連する所定数の第２のエレメンタリストリームが抽出されるように、デマルチプレクサ２１４を制御する。

　ビューバッファ（ビデオバッファ）２１６は、ＣＰＵ２０１の制御により、ビデオデコーダ２１５で取得される第１の画像データを一時的に蓄積する。この第１の画像データは、二次元画像データ、あるいは立体画像データを構成するベースビューの画像データである。また、ビューバッファ（ビデオバッファ）２１６-1～２１６-Nは、ＣＰＵ２０１の制御により、ビデオデコーダ２１５で取得される立体画像データを構成するＮ個のノンベースビューの画像データをそれぞれ一時的に蓄積する。

　ＣＰＵ２０１は、ビューバッファ２１６，２１６-1～２１６-Nの読み出し制御を行う。ＣＰＵ２０１は、ストリーム関連付け情報に含まれる「terminating_current_association_flag」のフラグにより、エレメンタリストリームの構成が次のアクセスユニット（ピクチャ）から変更されるか否かを予め知ることができる。そのため、これらビューバッファ２１６，２１６-1～２１６-Nからの読み出し制御を手際よく動的に変えることが可能となる。

　スケーラ２２４，２２４-1～２２４-Nは、ＣＰＵ２０１の制御のもと、ビューバッファ２１６，２１６-1～２１６-Nから出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整する。スケーラ２２４，２２４-1～２２４-Nは、解像度調整部を構成している。ビデオ重畳部２１７，２１７-1～２１７-Nには、解像度調整された各ビューの画像データが送られる。

　この場合、ＣＰＵ２０１は、ビデオデコーダ２１５から、各ビューの画像データの解像度情報を取得する。ＣＰＵ２０１は、各ビューの画像データの出力解像度が目標解像度となるように、各ビューの解像度情報に基づいて、スケーラ２２４，２２４-1～２２４-Nのフィルタ設定を実行する。スケーラ２２４，２２４-1～２２４-Nでは、入力画像データの解像度が目標解像度と異なるとき、補間処理により解像度変換が行われて、目標解像度の出力画像データが得られる。

　ＣＰＵ２０１は、ストリーム関連付け情報に含まれる「indication_of_other_resolution_master」および「resolution_master_flag」のフラグに基づいて、目標解像度の設定を行う。すなわち、これららフラグで解像度基準とされているエレメンタリストリームに含まれる画像データの解像度を目標解像度に設定する。

　グラフィクスデコーダ２１８は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１６とは逆の処理を行う。すなわち、グラフィクスデコーダ２１８は、デマルチプレクサ２１４で抽出されたグラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理を行って復号化されたグラフィクスデータ（サブタイトルデータを含む）を得る。

　視差情報デコーダ２２０は、上述の送信データ生成部１１０の視差情報エンコーダ１１３とは逆の処理を行う。すなわち、視差情報デコーダ２２０は、デマルチプレクサ２１４で抽出された視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理を行って復号化された視差情報を得る。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ピクセル（画素）毎の視差情報、あるいはビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。

　グラフィクス発生部２１９は、ＣＰＵ２０１の制御により、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータを発生する。グラフィクス発生部２１９は、ビデオデコーダ２１５から二次元画像データ（第１の画像データ）のみが出力されるときは、この２次元画像データに重畳するグラフィクス情報のデータを発生する。また、グラフィクス発生部２１９は、ビデオデコーダ２１５から立体（３Ｄ）画像データを構成する各ビューの画像データが出力されるときは、各ビューの画像データに重畳するグラフィクス情報のデータを発生する。

　グラフィクスバッファ２２１は、ＣＰＵ２０１の制御により、グラフィクス発生部２１９で発生される、第１の画像データに重畳すべきグラフィクス情報のデータを蓄積する。この第１の画像データは、二次元画像データ、あるいは立体画像データを構成するベースビューの画像データである。また、グラフィクスバッファ２２１-1～２２１-Nは、グラフィクス発生部２１９で発生される、Ｎ個のノンベースビューの画像データに重畳すべきグラフィクス情報のデータを蓄積する。

　ビデオ重畳部（ディスプレイバッファ）２１７は、ＣＰＵ２０１の制御により、グラフィクス情報が重畳された第１の画像データを出力する。この第１の画像データは、二次元画像データＳＶ、あるいは立体画像データを構成するベースビューの画像データＢＮである。このとき、ビデオ重畳部２１７は、スケーラ２２４で解像度調整された第１の画像データに、グラフィクスバッファ２２１に蓄積されたグラフィクス情報のデータを重畳する。

　また、ビデオ重畳部（ディスプレイバッファ）２１７-1～２１７-Nは、ＣＰＵ２０１の制御により、グラフィクス情報が重畳されたＮ個のノンベースビューの画像データＮＢ-1～ＮＢ-Nを出力する。このとき、ビデオ重畳部２１７-1～２１７-Nは、スケーラ２２４-1～２２４-Nで解像度調整されたベースビューの画像データに、それぞれグラフィクスバッファ２２１-1～２２１-Nに蓄積されたグラフィクス情報のデータを重畳する。

　なお、ビデオデコーダ２１５から立体（３Ｄ）画像データを構成する各ビューの画像データが出力されるとき、基本的には、上述したように、ビデオ重畳部２１７，２１７-1～２１７-Nからそれらの画像データが出力される。しかし、ユーザの選択操作に応じて、ＣＰＵ２０１は、ノンベースビューの画像データの出力を制御する。

　ただし、ＣＰＵ２０１は、表示必須とされているノンベースビューの画像データに関しては、ユーザの選択操作に拘わらず、必ず出力されるように制御する。ＣＰＵ２０１は、ストリーム関連付け情報に含まれる「indication_of_selected_stream_display」および「display_mandatory_flag」のフラグに基づいて、表示必須とされているノンベースビューの画像データを認識できる。

　例えば、左眼画像データを含むベースビューのビデオエレメンタリストリームに対して、右眼画像データを含むノンベースビューのビデオエレメンタリストリームが関連付けられている場合を考える。この場合、「indication_of_selected_stream_display」が“１”で、ノンベースビューの「display_mandatory_flag」が“１”であるときは、ユーザの選択操作に拘わらず、左眼画像データおよび右眼画像データの双方を表示画像データとして出力させる。一方、「indication_of_selected_stream_display」が“０”であるときは、ユーザの選択操作に応じて、左眼画像データのみ、あるいは左眼画像データおよび右眼画像データの双方を、表示画像データとして出力させる。

　オーディオデコーダ２２２は、上述の送信データ生成部１１０のオーディオエンコーダ１１４とは逆の処理を行う。すなわち、このオーディオデコーダ２２２は、デマルチプレクサ２１４で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部２２３は、オーディオデコーダ２２２で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡを生成して出力する。

　受信機２００の動作を簡単に説明する。アンテナ端子２１１に入力されたテレビ放送信号はデジタルチューナ２１２に供給される。このデジタルチューナ２１２では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１３に一時的に蓄積される。

　デマルチプレクサ２１４では、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。視差情報エレメンタリストリームは、トランスポートストリームＴＳに立体（３Ｄ）画像データのビデオエレメンタリストリームが含まれている場合のみ抽出される。

　また、デマルチプレクサ２１４では、トランスポートストリームＴＳに含まれるＥＳ_ＩＤデスクリプタおよびＥＳ_associationデスクリプタが抽出され、ＣＰＵ２０１に供給される。ＣＰＵ２０１では、ＥＳ_ＩＤデスクリプタにより、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネント・タグとの対応関係が認識される。また、ＣＰＵ２０１では、ＥＳ_associationデスクリプタにより、ビデオエレメンタリストリーム、例えば第１の画像データを含むビデオエレメンタリストリームにストリーム関連付け情報が挿入されているか否か、あるいは、その情報に変更があるか否かが認識される。

　ビデオデコーダ２１５では、デマルチプレクサ２１４で抽出された各ビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理が行われ、復号化された画像データが得られる。ここで、第１の画像データを含む第１のエレメンタリストリームのみが存在する場合、ビデオデコーダ２１５では、この第１の画像データが２次元（２Ｄ）画像データとして得られる。また、第１の画像データを含む第１のエレメンタリストリームの他に、第２の画像データを含む単数あるいは複数の第２のエレメンタリストリームが存在する場合、ビデオデコーダ２１５では、立体（３Ｄ）画像データが得られる。すなわち、第１の画像データがベースビューの画像データとして得られると共に、所定数の第２の画像データがノンベースビューの画像データとして得られる。

　また、ビデオデコーダ２１５では、ビデオエレメンタリストリーム、例えば第１の画像データを含む第１のエレメンタリストリームからストリーム関連付け情報が抽出され、ＣＰＵ２０１に供給される。ビデオデコーダ２１５では、この抽出処理が、ＣＰＵ２０１の制御のもと行われる。ＣＰＵ２０１は、上述したように、ＥＳ_associationデスクリプタにより、ストリーム関連付け情報が存在するか否か、あるいは、その情報に変更があるか否かを認識できることから、必要に応じて、ビデオデコーダ２１５に抽出処理を行わせることができる。

　ＣＰＵ２０１では、ビデオデコーダ２１５で抽出されるストリーム関連付け情報により、第１の画像データを含む第１のエレメンタリストリームに関連する所定数の第２のエレメンタリストリームの存在が認識される。ＣＰＵ２０１では、この認識に基づいて、第１のエレメンタリストリームと共に、この第１のエレメンタリストリームに関連する所定数の第２のエレメンタリストリームが抽出されるように、デマルチプレクサ２１４の制御が行われる。

　ビューバッファ（ビデオバッファ）２１６では、ＣＰＵ２０１の制御により、ビデオデコーダ２１５で取得される第１の画像データが一時的に蓄積される。この第１の画像データは、二次元画像データ、あるいは立体画像データを構成するベースビューの画像データである。また、ビューバッファ（ビデオバッファ）２１６-1～２１６-Nでは、ＣＰＵ２０１の制御により、ビデオデコーダ２１５で取得される立体画像データを構成するＮ個のノンベースビューの画像データがそれぞれ一時的に蓄積される。

　ＣＰＵ２０１では、ビューバッファ２１６，２１６-1～２１６-Nの読み出し制御が行われる。ＣＰＵ２０１では、ストリーム関連付け情報に含まれる「terminating_current_association_flag」のフラグにより、エレメンタリストリームの構成が次のアクセスユニット（ピクチャ）から変更されるか否かが予め認識される。そのため、これらビューバッファ２１６，２１６-1～２１６-Nからの読み出し制御を、手際よく動的に変えることが可能となる。

　スケーラ２２４，２２４-1～２２４-Nでは、ＣＰＵ２０１の制御のもと、ビューバッファ２１６，２１６-1～２１６-Nから出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整される。そして、ビデオ重畳部２１７，２１７-1～２１７-Nには、解像度調整された各ビューの画像データが送られる。この場合、ＣＰＵ２０１では、ビデオデコーダ２１５から、各ビューの画像データの解像度情報が取得される。

　そして、ＣＰＵ２０１では、各ビューの画像データの出力解像度が目標解像度となるように、各ビューの解像度情報に基づいて、スケーラ２２４，２２４-1～２２４-Nのフィルタ設定が行われる。そのため、スケーラ２２４，２２４-1～２２４-Nでは、入力画像データの解像度が目標解像度と異なるとき、補間処理により解像度変換が行われて、目標解像度の出力画像データが得られる。

　ＣＰＵ２０１では、ストリーム関連付け情報に含まれる「indication_of_other_resolution_master」および「resolution_master_flag」のフラグに基づいて、目標解像度の設定が行われる。この場合、これらのフラグによって解像度基準とされているエレメンタリストリームに含まれる画像データの解像度が目標解像度とされる。

　グラフィクスデコーダ２１８では、デマルチプレクサ２１４で抽出されたグラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われ、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。

　視差情報デコーダ２２０では、デマルチプレクサ２１４で抽出された視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理が行われ、復号化された視差情報が得られる。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。

　グラフィクス発生部２１９では、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。グラフィクス発生部２１９では、ビデオデコーダ２１５から二次元画像データ（第１の画像データ）のみが出力されるときは、この２次元画像データに重畳するグラフィクス情報のデータが発生される。また、グラフィクス発生部２１９では、ビデオデコーダ２１５から立体（３Ｄ）画像データを構成する各ビューの画像データが出力されるときは、各ビューの画像データに重畳するグラフィクス情報のデータが発生される。

　グラフィクスバッファ２２１では、グラフィクス発生部２１９で発生される、第１の画像データに重畳すべきグラフィクス情報のデータが蓄積される。この第１の画像データは、二次元画像データ、あるいは立体画像データを構成するベースビューの画像データである。また、グラフィクスバッファ２２１-1～２２１-Nでは、グラフィクス発生部２１９で発生される、Ｎ個のノンベースビューの画像データに重畳すべきグラフィクス情報のデータが蓄積される。

　ビデオ重畳部（ディスプレイバッファ）２１７では、スケーラ２２４で解像度調整された第１の画像データに、グラフィクスバッファ２２１に蓄積されたグラフィクス情報のデータが重畳される。そして、このビデオ重畳部２１７からは、グラフィクス情報が重畳された第１の画像データが出力すされる。この第１の画像データは、二次元画像データＳＶ、あるいは立体画像データを構成するベースビューの画像データＢＮである。

　また、ビデオ重畳部（ディスプレイバッファ）２１７-1～２１７-Nでは、スケーラ２２４-1～２２４-Nで解像度調整されたベースビューの画像データに、それぞれグラフィクスバッファ２２１-1～２２１-Nに蓄積されたグラフィクス情報のデータが重畳される。そして、ビデオ重畳部２１７-1～２１７-Nからは、グラフィクス情報が重畳されたＮ個のノンベースビューの画像データＮＢ-1～ＮＢ-Nが出力される。

　オーディオデコーダ２２２では、デマルチプレクサ２１４で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理が行われ、復号化された音声データが得られる。チャネル処理部２２３では、オーディオデコーダ２２２で得られる音声データに対して処理が行われ、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成されて出力される。

　以上説明したように、図１に示す画像送受信システム１０において、放送局１００から受信機２００に送信されるトランスポートストリームＴＳが有するエレメンタリストリームに、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入される（図１２参照）。このストリーム関連付け情報は、第１の画像データ（二次元画像データあるいはベースビューの画像データ）を含む第１のエレメンタリストリームと、所定数の第２の画像データおよび／メタデータを含む第２のエレメンタリストリームとの関連を示すものである。そのため、受信機２００では、ストリーム関連付け情報に基づいて、エレメンタリストリームの構成の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。

　図１８は、トランスポートストリームＴＳに、「Stream_Type=0x1B」で、「ＰＩＤ＝01」であるＭＶＣのベースビューのストリームＥＳ１が連続して含まれ、「Stream_Type=0x20」で、「ＰＩＤ＝11」であるＭＶＣのノンベースビューのストリームＥＳ２が間欠的に含まれる場合の例を示している。この場合、ストリームＥＳ１に、ストリーム関連付け情報が挿入されている。なお、ストリームＥＳ１の識別子ＥＳ_ｉｄは０であり、ストリームＥＳ２の識別子ＥＳ_ｉｄは１であるとする。

　ｔn-1，ｔn+1の期間には、ストリームＥＳ１と共に、ストリームＥＳ２が存在する。そのため、ストリーム関連付け情報において、「Stream_count_for_association＝１」とされてストリームＥＳ１に関連するストリームがひとつ存在し、そのストリームの識別子ＥＳ_ｉｄが１であることが示される。つまり、ストリーム関連付け情報において、ストリームＥＳ１とストリームＥＳ２とが関連付けされている。そのため、ストリームＥＳ１，ＥＳ２の双方が抽出されてデコードされ、ベースビューの画像データ、例えば左眼画像データと、ノンベースビューの画像データ、例えば右眼画像データが表示画像データとして出力され、立体（３Ｄ）表示が行われる。

　また、ｔnの期間には、ストリームＥＳ１のみが存在する。そのため、ストリーム関連付け情報において、「Stream_count_for_association＝０」とされてストリームＥＳ１に関連するストリームが存在しないことが示される。そのため、ストリームＥＳ１のみが抽出されてデコードされて二次元画像データとして出力され、二次元（２Ｄ）表示が行われる。

　図１９は、トランスポートストリームＴＳに、「Stream_Type=0x02」で、「ＰＩＤ＝01」であるＭＰＥＧ２ｖｉｄｅｏストリームＥＳ１が連続して含まれ、「Stream_Type=0x02」で、「ＰＩＤ＝11」であるＭＰＥＧ２ｖｉｄｅｏストリームＥＳ２が間欠的に含まれる場合の例を示している。この場合、ストリームＥＳ１に、ストリーム関連付け情報が挿入されている。なお、ストリームＥＳ１の識別子ＥＳ_ｉｄは０であり、ストリームＥＳ２の識別子ＥＳ_ｉｄは１であるとする。

　ｔn-1，ｔn+1の期間には、ストリームＥＳ１と共に、ストリームＥＳ２が存在する。そのため、ストリーム関連付け情報において、「Stream_count_for_association＝１」とされてストリームＥＳ１に関連するストリームがひとつ存在し、そのストリームの識別子ＥＳ_ｉｄが１であることが示される。つまり、ストリーム関連付け情報において、ストリームＥＳ１とストリームＥＳ２とが関連付けされている。そのため、ストリームＥＳ１，ＥＳ２の双方が抽出されてデコードされ、第１の画像データ、例えば左眼画像データと、第２の画像データ、例えば右眼画像データが表示画像データとして出力され、立体（３Ｄ）表示が行われる。

　また、ｔnの期間には、ストリームＥＳ１のみが存在する。そのため、ストリーム関連付け情報において、「Stream_count_for_association＝０」とされてストリームＥＳ１に関連するストリームが存在しないことが示される。そのため、ストリームＥＳ１のみが抽出されてデコードされて二次元画像データが出力され、二次元（２Ｄ）表示が行われる。

　図２０は、トランスポートストリームＴＳに、「Stream_Type=0x02」で、「ＰＩＤ＝01」であるＭＰＥＧ２ｖｉｄｅｏストリームＥＳ１が連続して含まれ、「Stream_Type=0x1B」で、「ＰＩＤ＝11」であるＡＶＣストリームＥＳ２が間欠的に含まれる場合の例を示している。この場合、ストリームＥＳ１に、ストリーム関連付け情報が挿入されている。なお、ストリームＥＳ１の識別子ＥＳ_ｉｄは０であり、ストリームＥＳ２の識別子ＥＳ_ｉｄは１であるとする。

　また、図１に示す画像送受信システム１０において、エレメンタリストリームに挿入されるストリーム関連付け情報には、所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報が含まれている。つまり、このストリーム関連付け情報には、「indication_of_selected_stream_display」、「display_mandatory_flag」が含まれている（図１２参照）。そのため、受信機２００においては、この制御情報に基づいて、所定数の第２の画像データのどれが表示必須であるかを知ることができ、ユーザによる画像表示態様の選択を制限することが可能となる。

　図２１は、トランスポートストリームＴＳに、「Stream_Type=0x1B」で、「ＰＩＤ＝01」であるＭＶＣのベースビューのストリームＥＳ１と、「Stream_Type=0x20」で、「ＰＩＤ＝11」であるＭＶＣのノンベースビューのストリームＥＳ２が、連続的に含まれる場合の例を示している。この場合、ストリームＥＳ１に、ストリーム関連付け情報が挿入されている。なお、ストリームＥＳ１の識別子ＥＳ_ｉｄは０であり、ストリームＥＳ２の識別子ＥＳ_ｉｄは１であるとする。

　ｔn-1，ｔn+1の期間には、ストリームＥＳ１と共に、ストリームＥＳ２が存在する。そのため、ストリーム関連付け情報において、「Stream_count_for_association＝１」とされてストリームＥＳ１に関連するストリームがひとつ存在し、そのストリームの識別子ＥＳ_ｉｄが１であることが示される。つまり、ストリーム関連付け情報において、ストリームＥＳ１とストリームＥＳ２とが関連付けされている。

　この期間、ストリーム関連付け情報において、「indication_of_selected_stream_display
＝１」とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。また、このストリーム関連付け情報において、ストリームの識別子ＥＳ_ＩＤが１であるストリームでは、「display_mandatory_flag＝１」とされ、ストリームＥＳ２が表示必須であることが示されている。なお、図２１では、「indication_of_selected_stream_display
」が「Selected_display」と略記されている。

　そのため、この期間においては、ストリームＥＳ１，ＥＳ２の双方が抽出されてデコードされ、ベースビューの画像データ、例えば左眼画像データと、ノンベースビューの画像データ、例えば右眼画像データが表示画像データとして出力され、立体（３Ｄ）表示が行われる。

　また、ｔnの期間にも、ｔn-1の期間と同様に、ストリームＥＳ１と共に、ストリームＥＳ２が存在する。そのため、ストリーム関連付け情報において、「Stream_count_for_association＝１」とされてストリームＥＳ１に関連するストリームがひとつ存在し、そのストリームの識別子ＥＳ_ｉｄが１であることが示される。つまり、ストリーム関連付け情報において、ストリームＥＳ１とストリームＥＳ２とが関連付けされている。

　この期間、ストリーム関連付け情報において、「indication_of_selected_stream_display
＝０」とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。また、このストリーム関連付け情報において、ストリームの識別子ＥＳ_ｉｄが１であるストリームでは、「display_mandatory_flag＝０」とされ、ストリームＥＳ２が表示必須でないことが示されている。

　そのため、この期間においては、ストリームＥＳ１，ＥＳ２の双方が抽出されてデコードされる。この場合、ストリームＥＳ２が表示必須ではないので、立体（３Ｄ）表示の他に、ユーザの選択操作により、二次元（２Ｄ）表示も許可される。立体（３Ｄ）表示の場合には、ベースビューの画像データ、例えば左眼画像データと、ノンベースビューの画像データ、例えば右眼画像データが表示画像データとして出力される。一方、二次元（２Ｄ）表示の場合には、ベースビューの画像データのみが表示画像データとして出力される。

　また、図１に示す画像送受信システム１０において、エレメンタリストリームに挿入されるストリーム関連付け情報には、各エレメンタリストリームの関連の変化が実際に起きる前に、この変化が起きることを知らせる前触れ情報を含まれている。つまり、このストリーム関連付け情報には、「terminating_current_association_flag」が含まれている（図１２参照）。そのため、受信機２００においては、この前触れ情報に基づいて、デコーダバッファからの読み出し制御を手際よく動的に変えることが可能となる。

　図２２は、トランスポートストリームＴＳに、「Stream_Type=0x1B」で、「ＰＩＤ＝01」であるＭＶＣのベースビューのストリームＥＳ１が連続的に含まれると共に、「Stream_Type=0x20」で、「ＰＩＤ＝11」であるＭＶＣのノンベースビューのストリームＥＳ２が間欠的に含まれる場合の例を示している。この場合、ストリームＥＳ１に、ストリーム関連付け情報が挿入されている。なお、ストリームＥＳ１の識別子ＥＳ_ｉｄは０であり、ストリームＥＳ２の識別子ＥＳ_ｉｄは１であるとする。

　ｔn-1の期間には、ストリームＥＳ１と共に、ストリームＥＳ２が存在する。そのため、ストリーム関連付け情報において、「Stream_count_for_association＝１」とされてストリームＥＳ１に関連するストリームがひとつ存在し、そのストリームの識別子ＥＳ_ｉｄが１であることが示される。つまり、ストリーム関連付け情報において、ストリームＥＳ１とストリームＥＳ２とが関連付けされている。そのため、ストリームＥＳ１，ＥＳ２の双方が抽出されてデコードされ、ベースビューの画像データ、例えば左眼画像データと、ノンベースビューの画像データ、例えば右眼画像データが表示画像データとして出力され、立体（３Ｄ）表示が行われる。

　このｔn-1の期間の最後のアクセスユニットに配置されるストリーム関連付け情報において、「terminating_current_association_flag＝１」とされ、次のアクセスユニットからエレメンタリストリームの構成が変更になることが示される。なお、図２２において、「terminating_current_association_flag」は、「Terminating_flg」と略記されている。

　また、ｔn-1の期間に続くｔnの期間には、ストリームＥＳ１のみが存在する。そのため、ストリーム関連付け情報において、「Stream_count_for_association＝０」とされてストリームＥＳ１に関連するストリームが存在しないことが示される。そのため、ストリームＥＳ１のみが抽出されてデコードされて二次元画像データとして出力され、二次元（２Ｄ）表示が行われる。

　このｔnの期間の最後のアクセスユニットに配置されるストリーム関連付け情報において、「terminating_current_association_flag＝１」とされ、次のアクセスユニットからエレメンタリストリームの構成が変更になることが示される。

　さらに、ｔnの期間に続くｔn+1期間には、ｔn-1期間と同様の状態となる。この期間におけるストリーム関連付け情報の内容は、上述のｔn-1の期間と同様となる。そのため、ストリームＥＳ１，ＥＳ２の双方が抽出されてデコードされ、ベースビューの画像データ、例えば左眼画像データと、ノンベースビューの画像データ、例えば右眼画像データが表示画像データとして出力され、立体（３Ｄ）表示が行われる。

　また、図１に示す画像送受信システム１０において、エレメンタリストリームには、ストリーム関連付け情報が、ピクチャ単位あるいはＧＯＰ単位で挿入される。そのため、受信機２００では、エレメンタリストリームの構成、例えば、立体画像データのビュー数の変化等を、ピクチャ単位あるいはＧＯＰ単位で管理可能となる。

　また、図１に示す画像送受信システム１０において、放送局１００から受信機２００に送信されるトランスポートストリームＴＳには、エレメンタリストリームにストリーム関連付け情報が挿入されているか否か、あるいは、エレメンタリストリームに挿入されているストリーム関連付け情報に変更があるか否かを示す記述子が挿入される。つまり、トランスポートストリームＴＳに、ＥＳ_associationデスクリプタが挿入される。このＥＳ_associationデスクリプタにより、エレメンタリストリームに挿入されているストリーム関連付け情報の参照を促すことができ、受信機２００において安定した受信動作が可能となる。

　また、図１に示す画像送受信システム１０において、エレメンタリストリームに挿入されるストリーム関連付け情報には、第１の画像データおよび第２の画像データの出力解像度の制御情報が含まれる。つまり、このストリーム関連付け情報には、「indication_of_other_resolution_master」、「resolution_master_flag」が含まれている。そのため、受信機２００においては、この制御情報に基づいて、第１の画像データおよび第２の画像データの出力解像度を表示基準の解像度に調整することが可能となる。

　なお、上述の説明では、第１の画像データ（二次元画像データあるいはベースビューの画像データ）を含む第１のエレメンタリストリームにのみストリーム関連付け情報が挿入されている例を示した（図１８等参照）。しかし、第２の画像データ（ノンベースビューの画像データ）を含む第２のエレメンタリストリームにストリーム関連付け情報をさらに挿入することも考えられる。

　図２３は、トランスポートストリームＴＳに、「Stream_Type=0x1B」で、「ＰＩＤ＝01」であるＭＶＣのベースビューのストリームＥＳ１が含まれ、「Stream_Type=0x20」で、「ＰＩＤ＝11」、「ＰＩＤ＝21」であるＭＶＣのノンベースビューのストリームＥＳ２，ＥＳ３が含まれる場合の例を示している。この場合、ストリームＥＳ１に、ストリーム関連付け情報が挿入される他、ストリームＥＳ２，ＥＳ３にもストリーム関連付け情報が挿入されている。なお、ストリームＥＳ１の識別子ＥＳ_ｉｄは０であり、ストリームＥＳ２の識別子ＥＳ_ｉｄは１であり、さらに、ストリームＥＳ３の識別子ＥＳ_ｉｄは２であるとする。

　ストリームＥＳ１に挿入されているストリーム関連付け情報においては、「Stream_count_for_association＝２」とされ、このストリームＥＳ１に関連するストリームが２つ存在し、そのストリームの識別子ＥＳ_ｉｄが１，２であることが示されている。ストリームＥＳ２に挿入されているストリーム関連付け情報においては、「Stream_count_for_association＝１」とされ、このストリームＥＳ２に関連するストリームがひとつ存在し、そのストリームの識別子ＥＳ_ｉｄが０であることが示されている。また、ストリームＥＳ３に挿入されているストリーム関連付け情報においては、「Stream_count_for_association＝１」とされ、このストリームＥＳ３に関連するストリームがひとつ存在し、そのストリームの識別子ＥＳ_ｉｄが０であることが示されている。

　ｔn-1，ｔn+1の期間で、ストリームＥＳ１に挿入されているストリーム関連付け情報において、「indication_of_selected_stream_display＝１」とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。そして、ストリームの識別子ＥＳ_ｉｄが１，２であるストリームでは、「display_mandatory_flag＝１」とされ、ストリームＥＳ２，ＥＳ３の双方が表示必須であることが示されている。

　また、ｔnの期間で、ストリームＥＳ１に挿入されているストリーム関連付け情報において、「indication_of_selected_stream_display＝０」とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。そして、ストリームの識別子ＥＳ_ｉｄが１，２であるストリームでは、「display_mandatory_flag＝０」とされ、ストリにームＥＳ２，ＥＳ３の双方とも表示必須でないことが示されている。

　図２４は、図２３と同様に、トランスポートストリームＴＳに、「Stream_Type=0x1B」で、「ＰＩＤ＝01」であるＭＶＣのベースビューのストリームＥＳ１が含まれ、「Stream_Type=0x20」で、「ＰＩＤ＝11」、「ＰＩＤ＝21であるＭＶＣのノンベースビューのストリームＥＳ２，ＥＳ３が含まれる場合の例を示している。この場合、ストリームＥＳ１に、ストリーム関連付け情報が挿入される他、ストリームＥＳ２，ＥＳ３にもストリーム関連付け情報が挿入されている。なお、ストリームＥＳ１の識別子ＥＳ_ｉｄは０であり、ストリームＥＳ２の識別子ＥＳ_ｉｄは１であり、さらに、ストリームＥＳ３の識別子ＥＳ_ｉｄは２であるとする。

　ストリームＥＳ１に挿入されているストリーム関連付け情報においては、「Stream_count_for_association＝２」とされ、このストリームＥＳ１に関連するストリームが２つ存在し、そのストリームの識別子ＥＳ_ｉｄが１，２であることが示されている。ストリームＥＳ２に挿入されているストリーム関連付け情報においては、「Stream_count_for_association＝２」とされ、このストリームＥＳ２に関連するストリームが２つ存在し、そのストリームの識別子ＥＳ_ｉｄが０，２であることが示されている。また、ストリームＥＳ３に挿入されているストリーム関連付け情報においては、「Stream_count_for_association＝２」とされ、このストリームＥＳ３に関連するストリームが２つ存在し、そのストリームの識別子ＥＳ_ｉｄが０，１であることが示されている。

　ｔn-1，ｔnの期間で、ストリームＥＳ１に挿入されているストリーム関連付け情報において、「indication_of_selected_stream_display＝１」とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。そして、ストリームの識別子ＥＳ_ｉｄが１，２であるストリームでは、「display_mandatory_flag＝１」とされ、ストリームＥＳ２，ＥＳ３の双方が表示必須であることが示されている。

　また、ｔn-1，ｔnの期間で、ストリームＥＳ２に挿入されているストリーム関連付け情報において、「indication_of_selected_stream_display＝１」とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。そして、ストリームの識別子ＥＳ_ｉｄが０，２であるストリームでは、「display_mandatory_flag＝１」とされ、ストリームＥＳ１，ＥＳ３の双方が表示必須であることが示されている。

　さらに、ｔn-1，ｔnの期間で、ストリームＥＳ３に挿入されているストリーム関連付け情報において、「indication_of_selected_stream_display＝１」とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。そして、ストリームの識別子ＥＳ_ｉｄが０，１であるストリームでは、「display_mandatory_flag＝１」とされ、ストリームＥＳ１，ＥＳ２の双方が表示必須であることが示されている。

　また、このｔnの期間で、ストリームＥＳ２，ＥＳ３に挿入されているストリーム関連付け情報において、「indication_of_selected_stream_display＝０」とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。しかし、上述したように、ストリームＥＳ１に挿入されているストリーム関連付け情報において、「indication_of_selected_stream_display＝０」とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。そのため、ストリームＥＳ２，ＥＳ３に挿入されているストリーム関連付け情報における表示必須の情報は無視される。

　＜２．変形例＞
　なお、上述実施の形態においては、画像データの符号化方式として、ＭＰＥＧ４－ＡＶＣおよびＭＰＥＧ２ｖｉｄｅｏの符号化をあげている。しかし、画像データに施される符号化はこれらに限定されない。

　また、上述実施の形態においては、主に、ストリーム関連付け情報により、ベースビューおよび所定数のノンベースビューのストリームを関連付けする例を示した。しかし、このストリーム関連付け情報により、例えば、ベースビューの画像データに関連するメタデータをも関連付けすることが考えられる。メタデータとしては、例えば視差情報（視差ベクトルあるいは奥行きデータ）などが考えられる。

　図２５は、トランスポートストリームＴＳに、「Stream_Type=0x1B」で、「ＰＩＤ＝01」であるＭＶＣのベースビューのストリームＥＳ１が含まれ、「Stream_Type=0x20」で、「ＰＩＤ＝11」であるＭＶＣのノンベースビューのストリームＥＳ２が含まれ、さらに、「Stream_Type=0xAB」で、「ＰＩＤ＝21」であるメタデータストリームＥＳ３が含まれている。なお、ストリームＥＳ１の識別子ＥＳ_ｉｄは０であり、ストリームＥＳ２の識別子ＥＳ_ｉｄは１であり、さらに、ストリームＥＳ３の識別子ＥＳ_ｉｄは２であるとする。

　ストリームＥＳ１に挿入されているストリーム関連付け情報においては、「Stream_count_for_association＝２」とされ、このストリームＥＳ１に関連するストリームが２つ存在し、そのストリームの識別子ＥＳ_ｉｄが１，２であることが示されている。なお、この例では、ストリームＥＳ２，ＥＳ３に、ストリーム関連付け情報は、挿入されていない。

　ｔn-1，ｔn+1の期間で、ストリームＥＳ１に挿入されているストリーム関連付け情報において、「indication_of_selected_stream_display＝１」とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。そして、ストリームの識別子ＥＳ_ｉｄが１であるストリームでは、「display_mandatory_flag＝１」とされ、ストリームＥＳ２が表示必須であることが示されている。また、ｔnの期間で、ストリームＥＳ１に挿入されているストリーム関連付け情報において、「indication_of_selected_stream_display＝０」とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。

　図２６は、ポスト処理部を備える受信機２００Ａの構成例を示している。この図２６において、図１７と対応する部分には同一符号を付し、その詳細説明は省略する。なお、この受信機２００Ａにおいては、スケーラ２２４，２２４-1～２２４-Nを除いたものとしている。この受信機２００Ａは、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。

　また、受信機２００Ａは、ビデオデコーダ２１５と、ビューバッファ２１６，２１６-1～２１６-Nと、ビデオ重畳部２１７，２１７-1～２１７-Nと、メタデータバッファ２２５と、ポスト処理部２２６を有している。さらに、受信機２００は、グラフィクスデコーダ２１８と、グラフィクス発生部２１９と、視差情報デコーダ２２０と、グラフィクスバッファ２２１，２２１-1～２２１-Nと、オーディオデコーダ２２２と、チャネル処理部２２３を有している。

　メタデータバッファ２２５は、ビデオデコーダ２１５で取得されるピクセル（画素）毎の視差情報を一時的に蓄積する。なお、視差情報がピクセル（画素）毎の視差情報である場合、この視差情報を画素データのように取り扱うことができる。ビデオデコーダ２１５でピクセル（画素）毎の視差情報が取得されるものにあっては、送信側において、視差情報に対して画像データと同様の符号化方式で符号化が施されて視差情報エレメンタリストリームが生成されている。

　ポスト処理部２２６は、メタデータバッファ２２５に蓄積されているピクセル（画素）毎の視差情報を用い、ビューバッファ２１６，２１６-1～２１６-Nから出力される各ビューの画像データに補間処理（ポスト処理）を施して、所定数のビューの表示画像データDisplay View 1～Display View Pを得る。

　図２６に示す受信機２００Ａにおけるその他は、詳細説明は省略するが、図１７に示す受信機２００と同様に構成され、同様に動作する。

　また、上述実施の形態においては、立体（３Ｄ）表示のためのベースビューとノンベースビューの画像データを含む複数のエレメンタリストリームを、ストリーム関連付け情報によって関連付ける例をあげている。しかし、本技術は、ＳＶＣストリームにも同様に適用できる。

　ＳＶＣストリームには、スケーラブル符号化画像データを構成する最下位層の符号化画像データのビデオエレメンタリストリームが含まれる。さらに、このＳＶＣストリームには、スケーラブル符号化画像データを構成する最下位層以外の所定数の上位階層の符号化画像データのビデオエレメンタリストリームが含まれる。このＳＶＣストリームに、上述のストリーム関連付け情報と同様の情報を挿入することで、受信側では、ＳＶＣストリームの動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことが可能となる。

　また、上述実施の形態においては、トランスポートストリームＴＳを放送波にのせて配信する例を示したが、この発明は、このトランスポートストリームＴＳを、インターネット等のネットワークを通じて配信する場合にも同様に適用できる。一方で、トランスポートストリームＴＳ以外のコンテナファイルフォーマットにおけるインターネット配信の場合にも、上述の関連付けデータの構成を適用できることは勿論である。

　なお、本技術は、以下のような構成も取ることができる。
　（１）第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとを生成するエンコード部と、
　上記エンコード部で生成された上記各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームを送信する送信部を備え、
　上記エンコード部は、少なくとも、上記第１のエレメンタリストリームに、上記各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入する
　画像データ送信装置。
　（２）上記ストリーム関連付け情報は、上記各エレメンタリストリームの関連の変化が実際に起きる前に、該変化が起きることを知らせる前触れ情報を含む
　前記（１）に記載の画像データ送信装置。
　（３）上記エンコード部は、上記エレメンタリストリームに、上記ストリーム関連付け情報をピクチャ単位あるいはＧＯＰ単位で挿入する
　前記（１）または（２）に記載の画像データ送信装置。
　（４）上記ストリーム関連付け情報は、上記各エレメンタリストリームを識別するための識別子を用いて、上記各エレメンタリストリームの関連を示す
　前記（１）から（３）のいずれかに記載の画像データ送信装置。
　（５）上記送信部は、上記トランスポートストリームに、上記各エレメンタリストリームの識別子と、該各エレメンタリストリームのパケット識別子またはコンポーネント・タグとの対応関係を示す記述子を挿入する
　前記（４）に記載の画像データ送信装置。
　（６）上記送信部は、上記トランスポートストリームに、上記エレメンタリストリームに上記ストリーム関連付け情報が挿入されているか否か、あるいは、上記エレメンタリストリームに挿入されている上記ストリーム関連付け情報に変更があるか否かを示す記述子を挿入する
　前記（１）から（５）のいずれかに記載の画像データ送信装置。
　（７）上記第１のエレメンタリストリームに含まれる第１の画像データの符号化方式と、上記所定数の第２のエレメンタリストリームに含まれる第２の画像データの符号化方式として、任意の符号化方式の組み合わせが可能とされている
　前記（１）から（６）のいずれかに記載の画像データ送信装置。
　（８）上記第１の画像データは、立体画像データを構成するベースビューの画像データであり、
　上記第２の画像データは、上記立体画像データを構成する上記ベースビュー以外のビューの画像データである
　前記（１）から（７）に記載の画像データ送信装置。
　（９）上記第１の画像データは、ステレオ立体画像を得るための左眼および右眼の一方の画像データであり、
　上記第２の画像データは、上記ステレオ立体画像を得るための左眼および右眼の他方の画像データである
　前記（８）に記載の画像データ送信装置。
　（１０）上記メタデータは、上記立体画像データに対応した視差情報である
　前記（８）または（９）に記載の画像データ送信装置。
　（１１）上記ストリーム関連付け情報は、該ストリーム関連付け情報が挿入されたエレメンタリストリームに含まれる画像データによるビューが、立体表示の際に、マルチビューイングの中のいずれのビューとして表示されるべきかを示すポジション情報を含む
　前記（８）から（１０）のいずれかに記載の画像データ送信装置。
　（１２）上記第１の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、
　上記第２の画像データは、上記スケーラブル符号化画像データを構成する上記最下位層以外の階層の符号化画像データである
　前記（１）から（１１）に記載の画像データ送信装置。
　（１３）上記ストリーム関連付け情報は、上記第１の画像データおよび上記第２の画像データの出力解像度の制御情報をさらに含む
　前記（１）から（１２）に記載の画像データ送信装置。
　（１４）上記ストリーム関連付け情報は、上記所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報をさらに含む
　前記（１）から（１３）に記載の画像データ送信装置。
　（１５）第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとを生成するエンコードステップと、
　上記エンコードステップで生成された上記各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームを送信する送信ステップを備え、
　上記エンコードステップでは、少なくとも、上記第１のエレメンタリストリームに、上記各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入する
　画像データ送信方法。
　（１６）第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとをパケット化して得られた各パケットを有するトランスポートストリームを受信する受信部を備え、
　少なくとも、上記第１のエレメンタリストリームには、上記各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されており、
　上記ストリーム関連付け情報に基づいて、上記受信部で受信された上記第１のエレメンタリストリームから上記第１の画像データを取得し、上記受信部で受信された上記所定数の第２のエレメンタリストリームから上記第１の画像データに関連した上記第２の画像データおよび／またはメタデータを取得するデータ取得部をさらに備える
　画像データ受信装置。
　（１７）上記データ取得部で取得された上記第１の画像データおよび上記第２の画像データの解像度を調整して出力する解像度調整部をさらに備え、
　上記ストリーム関連付け情報は、上記第１の画像データおよび上記第２の画像データの出力解像度の制御情報を含み、
　上記解像度調整部は、上記出力解像度の制御情報に基づいて、上記第１の画像データおよび上記第２の画像データの解像度を調整する
　前記（１６）に記載の画像データ受信装置。
　（１８）上記データ取得部で取得された上記第１の画像データおよび上記第２の画像データに基づく画像表示態様を選択する画像表示態様選択部をさらに備え、
　上記ストリーム関連付け情報は、上記所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報を含み、
　上記画像表示態様選択部は、上記制御情報に基づいて画像表示態様の選択が制限される
　前記（１６）または（１７）に記載の画像データ受信装置。
　（１９）上記データ取得部で取得された上記メタデータは、上記立体画像データに対応した視差情報であり、
　該視差情報を用い、上記データ取得部で取得された上記第１の画像データおよび上記第２の画像データに補間処理を施して、所定数のビューの表示画像データを得るポスト処理部をさらに備える
　前記（１６）から（１８）のいずれかに記載の画像データ受信装置。
　（２０）第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとをパケット化して得られた各パケットを有するトランスポートストリームを受信する受信ステップを備え、
　少なくとも、上記第１のエレメンタリストリームには、上記各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されており、
　上記ストリーム関連付け情報に基づいて、上記受信ステップで受信された上記第１のエレメンタリストリームから上記第１の画像データを取得し、上記受信ステップで受信された上記所定数の第２のエレメンタリストリームから上記第１の画像データに関連した上記第２の画像データおよび／またはメタデータを取得するデータ取得ステップをさらに備える
　画像データ受信方法。

　１０・・・画像送受信システム
　１００・・・放送局
　１１０・・・送信データ生成部
　１１１・・・データ取り出し部
　１１１ａ・・・データ記録媒体
　１１２・・・ビデオエンコーダ
　１１３・・・視差情報エンコーダ
　１１４・・・オーディオエンコーダ
　１１５・・・グラフィクス発生部
　１１６・・・グラフィクスエンコーダ
　１１７・・・マルチプレクサ
　２００，２００Ａ・・・受信機
　２０１・・・ＣＰＵ
　２１２・・・デジタルチューナ
　２１３・・・トランスポートストリームバッファ（ＴＳバッファ）
　２１４・・・デマルチプレクサ
　２１５・・・ビデオデコーダ
　２１６，２１６-1～２１６-N・・・ビューバッファ
　２１７，２１７-1～２１７-N・・・ビデオ重畳部
　２１８・・・グラフィクスデコーダ
　２１９・・・グラフィクス発生部
　２２０・・・視差情報デコーダ
　２２１，２２１-1～２２１-N・・・グラフィクスバッファ
　２２２・・・オーディオデコーダ
　２２３・・・チャネル処理部
　２２４，２２４-1～２２４-N・・・スケーラ
　２２５・・・メタデータバッファ
　２２６・・・ポスト処理部

Claims

　第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとを生成するエンコード部と、
　上記エンコード部で生成された上記各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームを送信する送信部を備え、
　上記エンコード部は、少なくとも、上記第１のエレメンタリストリームに、上記各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入する
　画像データ送信装置。
　上記ストリーム関連付け情報は、上記各エレメンタリストリームの関連の変化が実際に起きる前に、該変化が起きることを知らせる前触れ情報を含む
　請求項１に記載の画像データ送信装置。
　上記エンコード部は、上記エレメンタリストリームに、上記ストリーム関連付け情報をピクチャ単位あるいはＧＯＰ単位で挿入する
　請求項１に記載の画像データ送信装置。
　上記ストリーム関連付け情報は、上記各エレメンタリストリームを識別するための識別子を用いて、上記各エレメンタリストリームの関連を示す
　請求項１に記載の画像データ送信装置。
　上記送信部は、上記トランスポートストリームに、上記各エレメンタリストリームの識別子と、該各エレメンタリストリームのパケット識別子またはコンポーネント・タグとの対応関係を示す記述子を挿入する
　請求項４に記載の画像データ送信装置。
　上記送信部は、上記トランスポートストリームに、上記エレメンタリストリームに上記ストリーム関連付け情報が挿入されているか否か、あるいは、上記エレメンタリストリームに挿入されている上記ストリーム関連付け情報に変更があるか否かを示す記述子を挿入する
　請求項１に記載の画像データ送信装置。
　上記第１のエレメンタリストリームに含まれる第１の画像データの符号化方式と、上記所定数の第２のエレメンタリストリームに含まれる第２の画像データの符号化方式として、任意の符号化方式の組み合わせが可能とされている
　請求項１に記載の画像データ送信装置。
　上記第１の画像データは、立体画像データを構成するベースビューの画像データであり、
　上記第２の画像データは、上記立体画像データを構成する上記ベースビュー以外のビューの画像データである
　請求項１に記載の画像データ送信装置。
　上記第１の画像データは、ステレオ立体画像を得るための左眼および右眼の一方の画像データであり、
　上記第２の画像データは、上記ステレオ立体画像を得るための左眼および右眼の他方の画像データである
　請求項８に記載の画像データ送信装置。
　上記メタデータは、上記立体画像データに対応した視差情報である
　請求項８に記載の画像データ送信装置。
　上記ストリーム関連付け情報は、該ストリーム関連付け情報が挿入されたエレメンタリストリームに含まれる画像データによるビューが、立体表示の際に、マルチビューイングの中のいずれのビューとして表示されるべきかを示すポジション情報を含む
　請求項８に記載の画像データ送信装置。
　上記第１の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、
　上記第２の画像データは、上記スケーラブル符号化画像データを構成する上記最下位層以外の階層の符号化画像データである
　請求項１に記載の画像データ送信装置。
　上記ストリーム関連付け情報は、上記第１の画像データおよび上記第２の画像データの出力解像度の制御情報をさらに含む
　請求項１に記載の画像データ送信装置。
　上記ストリーム関連付け情報は、上記所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報をさらに含む
　請求項１に記載の画像データ送信装置。
　第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとを生成するエンコードステップと、
　上記エンコードステップで生成された上記各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームを送信する送信ステップを備え、
　上記エンコードステップでは、少なくとも、上記第１のエレメンタリストリームに、上記各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入する
　画像データ送信方法。
　第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとをパケット化して得られた各パケットを有するトランスポートストリームを受信する受信部を備え、
　少なくとも、上記第１のエレメンタリストリームには、上記各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されており、
　上記ストリーム関連付け情報に基づいて、上記受信部で受信された上記第１のエレメンタリストリームから上記第１の画像データを取得し、上記受信部で受信された上記所定数の第２のエレメンタリストリームから上記第１の画像データに関連した上記第２の画像データおよび／またはメタデータを取得するデータ取得部をさらに備える
　画像データ受信装置。
　上記データ取得部で取得された上記第１の画像データおよび上記第２の画像データの解像度を調整して出力する解像度調整部をさらに備え、
　上記ストリーム関連付け情報は、上記第１の画像データおよび上記第２の画像データの出力解像度の制御情報を含み、
　上記解像度調整部は、上記出力解像度の制御情報に基づいて、上記第１の画像データおよび上記第２の画像データの解像度を調整する
　請求項１６に記載の画像データ受信装置。
　上記データ取得部で取得された上記第１の画像データおよび上記第２の画像データに基づく画像表示態様を選択する画像表示態様選択部をさらに備え、
　上記ストリーム関連付け情報は、上記所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報を含み、
　上記画像表示態様選択部は、上記制御情報に基づいて画像表示態様の選択が制限される
　請求項１６に記載の画像データ受信装置。
　上記データ取得部で取得された上記メタデータは、上記立体画像データに対応した視差情報であり、
　該視差情報を用い、上記データ取得部で取得された上記第１の画像データおよび上記第２の画像データに補間処理を施して、所定数のビューの表示画像データを得るポスト処理部をさらに備える
　請求項１６に記載の画像データ受信装置。
　第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームとをパケット化して得られた各パケットを有するトランスポートストリームを受信する受信ステップを備え、
　少なくとも、上記第１のエレメンタリストリームには、上記各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されており、
　上記ストリーム関連付け情報に基づいて、上記受信ステップで受信された上記第１のエレメンタリストリームから上記第１の画像データを取得し、上記受信ステップで受信された上記所定数の第２のエレメンタリストリームから上記第１の画像データに関連した上記第２の画像データおよび／またはメタデータを取得するデータ取得ステップをさらに備える
　画像データ受信方法。