JP5577823B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Description

この発明は、送信装置、送信方法、受信装置および受信方法に関し、特に、２次元画像データが挿入されたビデオストリームおよび３次元画像データが挿入されたビデオストリームを時分割的に含むトランスポートストリームを送信する送信装置等に関する。

従来、立体映像を表示するシステムとして、様々なものが知られている。例えば、特許文献１〜３に記載されているように、視差を有する左眼画像および右眼画像を所定周期で交互にディスプレイに表示し、これら左眼画像および右眼画像を、その表示に同期して駆動される液晶シャッタを備えるシャッタメガネで観察する方法が知られている。

特開平９−１３８３８４号公報 特開２０００−３６９６９号公報 特開２００３−４５３４３号公報

テレビ番組などのコンテンツを放送局からユーザのテレビ受像機に送信することを想定した場合、画像データとして、３次元（３Ｄ）画像データと、２次元（２Ｄ）画像データを切り換えながら送信することが考えられる。例えば、番組本編については３次元画像データを送信し、ＣＭ（commercial message）については２次元画像データを送信するような場合が考えられる。この場合、放送局からは、２次元画像データが挿入されたビデオストリームおよび３次元画像データが挿入されたビデオストリームを時分割的に含むトランスポートストリームが送信されることになる。

この場合、ユーザ側のテレビ受像機において、トランスポートストリームに含まれているビデオストリームが、２次元画像データが挿入されたビデオストリームであるか、３次元画像データが挿入されたビデオストリームであるかを識別可能とすることが望まれる。すなわち、識別可能であれば、受信画像データに対して常に適切な処理を行うことが可能となる。

この発明の目的は、２次元画像データが挿入されたビデオストリームおよび３次元画像データが挿入されたビデオストリームが時分割的に含まれるトランスポートストリームを受信する受信側において、適切かつ効率的な処理を行い得るようにすることにある。

この発明の概念は、
２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームを時分割的に含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナに、含まれているビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報を挿入する第１の識別情報挿入部と、
上記コンテナに、上記第１の識別情報の挿入があるか否かを識別する第２の識別情報を挿入する第２の識別情報挿入部と
を備える送信装置にある。

この発明において、送信部により、２次元（２Ｄ）画像データが挿入された第１のビデオストリームおよび３次元（３Ｄ）画像データが挿入された第２のビデオストリームを時分割的に含む所定フォーマットのコンテナが送信される。コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。ビデオストリームとしては、ＭＰＥＧ２ｖｉｄｅｏの符号化方式の他に、例えば、ＶＣ−１やＭＰＥＧ４−ｖｉｓｕａｌ、その他の符号化方式によるビデオストリームが該当する。

第１の識別情報挿入部により、コンテナに、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する第１の識別情報が挿入される。なお、第１の識別情報は、例えば、３次元画像データが挿入された第２のビデオストリームが含まれていることを示す場合には、３次元画像データのフォーマット情報をさらに含む、ようにされる。また、第２の識別情報挿入部により、コンテナに、第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入される。

この発明において、例えば、第１の識別情報挿入部は、第１の識別情報をコンテナの第１のレイヤに挿入し、第２の識別情報挿入部は、第２の識別情報をコンテナの第１のレイヤより上位の第２のレイヤに挿入する、ようにされる。例えば、第１のレイヤはビデオのレイヤであり、第２のレイヤはビデオのレイヤよりも上位のレイヤである。

ここで、例えば、コンテナがトランスポートストリームであるとき、第１のレイヤはピクチャレイヤまたはシーケンスレイヤであり、第２のレイヤはトランスポートレイヤである。この場合、第１の識別情報は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に挿入される。また、この場合、第２の識別情報は、例えば、トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下の記述子に挿入される。あるいは、第２の識別情報は、例えば、トランスポートストリームに含まれるサービス・デスクリプション・テーブルまたはイベント・インフォメーション・テーブルの配下の記述子に挿入される。

このように、この発明においては、コンテナに、このコンテナに含まれているビデオストリームが、２次元画像データが挿入されたビデオストリームであるか、３次元画像データが挿入されたビデオストリームであるかを識別する第１の識別情報が挿入される。そのため、受信側において、この第１の識別情報に基づいて、受信画像データが２次元画像データであるか３次元画像データであるかを容易に把握でき、受信画像データが２次元画像データから３次元画像データ、あるいはこの逆に時分割的に切り替わる場合であっても常に適切な処理を行うことができる。

また、この発明においては、コンテナに、第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入される。そのため、受信側においては、この第２の識別情報が第１の識別情報の挿入があることを示す場合のみ、第１の識別情報を取得して、受信画像データに対する処理を、この第１の識別情報に基づいて適切な処理に切り換えることが可能となる。つまり、受信側においては、第２の識別情報が第１の識別情報の挿入がないことを示す場合には、第１の識別情報を取得してその内容を監視する処理を省略でき、効率的な処理が可能となる。

また、この発明において、例えば、３次元画像データは左眼画像データおよび右眼画像データにより構成され、左眼画像データおよび右眼画像データによる画像に重畳する同一の重畳情報に視差を付与するための視差情報を出力する視差情報出力部をさらに備え、送信部は、第２のビデオストリームを含むコンテナを送信する際に、このコンテナに、視差情報出力部から出力される視差情報をさらに含める、ようにされる。

この場合、３次元画像データと共に、この３次元画像データに対応した視差情報が送信されるので、受信側において、左眼画像データおよび右眼画像データに重畳される重畳情報のデータは、それぞれ、視差情報に基づいて重畳位置が調整されたものとなる。そのため、重畳情報の表示において、立体画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、この発明の他の概念は、
２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームが時分割的に含まれ、さらに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報と、該第１の識別情報の挿入があるか否かを識別する第２の識別情報とが挿入されている所定フォーマットのコンテナを受信する受信部と、
上記受信部で受信されたコンテナから画像データを取得する画像データ取得部と、
上記受信部で受信されたコンテナから上記第２の識別情報を取得する第１の識別情報取得部と、
上記第１の識別情報取得部で取得された上記第２の識別情報が上記第１の識別情報の挿入があることを示すとき、上記コンテナから上記第１の情報を取得する第２の識別情報取得部と、
上記画像データ取得部で取得された画像データに対して、上記第２の識別情報取得部で取得された上記第１の識別情報に基づいて、２次元画像処理または３次元画像処理を選択的に行う画像データ処理部と
を備える受信装置にある。

この発明において、受信部により、２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームが時分割的に含まれる所定フォーマットのコンテナが受信される。このコンテナには、さらに、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する第１の識別情報と、この第１の識別情報の挿入があるか否かを識別する第２の識別情報とが挿入されている。コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。ビデオストリームとしては、ＭＰＥＧ２ｖｉｄｅｏの符号化方式の他に、例えば、ＶＣ−１やＭＰＥＧ４−ｖｉｓｕａｌ、その他の符号化方式によるビデオストリームが該当する。

画像データ取得部により、受信部で受信されたコンテナから画像データが取得される。この場合、コンテナに第１のビデオストリームが含まれているとき、この取得画像データは２次元画像データとなる。また、コンテナに第２のビデオストリームが含まれているとき、この取得画像データは３次元画像データとなる。

第１の識別情報取得部により、受信部で受信されたコンテナから第２の識別情報が取得される。また、この第２の識別情報が第１の識別情報の挿入があることを示すとき、第１の識別情報取得部により、第１の識別情報が取得される。そして、画像データ処理部により、画像データ取得部で取得された画像データに対して、第１の識別情報に基づいて、２次元画像処理または３次元画像処理が選択的に行われる。

上述したように、第１の識別情報は、コンテナに含まれているビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別するための識別情報である。そのため、画像データ処理部では、第１の識別情報が第１のビデオストリームであることを示すとき、画像データ取得部で取得された２次元画像データに対して２次元画像処理が行われる。また、画像データ処理部では、第１の識別情報が第２のビデオストリームであることを示すとき、画像データ取得部で取得された３次元画像データに対して３次元画像処理が行われる。

このように、この発明においては、コンテナから、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別するための第１の識別情報が取得される。そして、画像データ処理部では、受信画像データに対して、この第１の情報に基づいて、２次元画像処理または３次元画像処理が選択的に行われる。そのため、受信画像データが２次元画像データから３次元画像データ、あるいはこの逆に時分割的に切り替わる場合であっても、常に適切な処理を行うことができる。

また、この発明においては、コンテナから第１の識別情報の挿入があるか否かを識別する第２の識別情報が取得され、この第２の識別情報が第１の識別情報の挿入があることを示す場合のみ、第１の識別情報が取得され、データ処理部では、この第１の識別情報に基づいて、受信画像データに対して適切な処理が行われる。つまり、第２の識別情報が第１の識別情報の挿入がないことを示す場合は、第１の識別情報を取得してその内容を監視する処理を省略でき、効率的な処理が可能となる。

また、この発明において、例えば、画像データ処理部は、第１の識別情報取得部で取得される第２の識別情報が第１の識別情報の挿入がないことを示すとき、受信部で受信された画像データに対して、２次元画像処理を行う、ようにされる。

また、この発明において、例えば、重畳情報のデータを出力する重畳情報データ出力部と、画像データ処理部から出力される画像データに、重畳情報出力部から出力される重畳情報のデータを重畳するデータ重畳部をさらに備え、データ重畳部は、画像データ処理部で３次元画像処理が行われて３次元画像データを構成する左眼画像データおよび右眼画像データが出力されるとき、左眼画像データによる左眼画像と右眼画像データによる右眼画像との間の視差情報に基づいて、重畳情報データ出力部から出力される重畳情報のデータの重畳位置を調整し、この重畳位置が調整された重畳情報のデータを上記左眼画像データおよび上記右眼画像データに重畳し、画像データ処理部で２次元画像処理が行われて２次元画像データが出力されるとき、この２次元画像データに、重畳情報データ出力部から出力される重畳情報のデータをそのまま重畳する、ようにされる。

この場合、立体画像データを構成する左眼画像データおよび右眼画像データに重畳される重畳情報のデータは、それぞれ、視差情報に基づいて重畳位置が調整されたものとなる。そのため、重畳情報の表示において、立体画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

そして、この発明において、例えば、コンテナには、第２のビデオストリームが含まれる場合、３次元画像データを構成する左眼画像データおよび右眼画像データによる画像に重畳する同一の重畳情報に視差を付与するための視差情報が挿入されており、コンテナから視差情報を取得する視差情報取得部をさらに備え、データ重畳部は、画像データ処理部で３次元画像処理が行われて３次元画像データを構成する左眼画像データおよび右眼画像データが出力されるとき、視差情報取得部で取得された視差情報に基づいて、重畳情報データ出力部から出力される重畳情報のデータの重畳位置を調整し、この重畳位置が調整された重畳情報のデータを左眼画像データおよび右眼画像データに重畳する、ようにされる。この場合、受信側で、例えば、左眼画像データおよび右眼画像データを処理して視差情報を得る必要がなく、重畳情報のデータの重畳位置の調整を簡単かつ適切に行うことができる。

この発明によれば、コンテナに、２次元画像データが挿入された第１のビデオストリームが含まれているか３次元画像データが挿入された第２のビデオストリームが含まれているかを識別する第１の識別情報と、この第１の識別情報の挿入があるか否かを識別する第２の識別情報とが挿入される。そのため、このコンテナを受信する受信側において、適切かつ効率的な処理を行うことができる。

この発明の第１の実施の形態としての画像送受信システムの構成例を示すブロック図である。 画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。 第１の識別情報および第２の識別情報が挿入されたトランスポートストリームＴＳの構成例を示す図である。 ビデオエレメンタリストリーム（ビデオストリーム）の構造を概略的に示した図である。 ３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））を含むユーザデータ（userdata）の構造（syntax）の一例を示す図である。 ３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））の構造例（syntax）を示す図である。 ３Ｄシグナリング情報と、この３Ｄシグナリング情報を含むユーザデータのデータ規定内容（semantics）を示す図である。 サイド・バイ・サイド（Side by Side）およびトップ・アンド・ボトム（Top & Bottom）の具体的な画面分割方法の一例を示す図である。 ビデオ・ストリーム・デスクリプタ（Video_stream_descriptor）の構造例（syntax）を示す図である。 ビデオストリームのピクチャヘッダのユーザデータ領域に、３Ｄシグナリング情報が挿入されている状態、つまりピクチャ単位で３Ｄシグナリング情報が挿入されている状態の一例を示す図である。 ビデオストリームのシーケンスヘッダのユーザデータ領域に、３Ｄシグナリング情報が挿入されている状態、つまりシーケンス単位で３Ｄシグナリング情報が挿入されている状態の一例を示す図である。 画像送受信システムを構成する受信機の構成例を示すブロック図である。 第１の識別情報および第２の識別情報に基づくＣＰＵの制御処理の手順の一例を示すフローチャートである。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、第１のビデオストリーム（エレメンタリストリーム）および第２のビデオストリーム（エレメンタリストリーム）を時分割的に含むトランスポートストリーム（ビットストリームデータ）ＴＳを、放送波に載せて送信する。ここで、トランスポートストリームはコンテナを構成している。第１のビデオストリームには、２次元（２Ｄ）画像データが挿入されている。また、第２のビデオストリームには、３次元（３Ｄ）画像データが挿入されている。ここで、ビデオストリームは、ＭＰＥＧ２（Moving Picture Experts Group phase 2）ビデオストリームである。

トランスポートストリームＴＳには、第１の識別情報および第２の識別情報が挿入されている。第１の識別情報は、トランスポートストリームＴＳに含まれているビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する識別情報である。第２の識別情報は、第１の識別情報の挿入があるか否かを識別する識別情報である。ここで、第１の識別情報はトランスポートストリームＴＳの第１のレイヤに挿入され、第２の識別情報はトランスポートストリームＴＳの第２のレイヤに挿入される。

第２のレイヤは、第１のレイヤより上位のレイヤである。例えば、第１のレイヤはピクチャレイヤまたはシーケンスレイヤとされ、第２のレイヤはトランスポートレイヤとされる。この実施の形態において、第１の識別情報は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に挿入される。また、第２の識別情報は、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下に挿入される。

受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。受信機２００は、受信されたトラスポートストリームＴＳから、画像データを取得する。また、受信機２００は、受信されたトランスポートストリームＴＳから、第２の識別情報を取得する。さらに、受信機２００は、第２の識別情報が第１の識別情報の挿入があることを示すとき、トランスポートストリームＴＳから第１の識別情報を取得する。

この第１の識別情報は、上述したように、トランスポートストリームＴＳに含まれているビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する識別情報である。受信機２００は、この第１の識別情報に基づいて、受信画像データに対して、２次元画像処理または３次元画像処理を、選択的に行う。

すなわち、受信機２００は、第１の識別情報が第１のビデオストリームであることを示すとき、受信画像データ（２次元画像データ）に対して２次元画像処理を行って、２次元画像データを得る。また、受信機２００は、第１の識別情報が第２のビデオストリームであることを示すとき、受信画像データ（３次元画像データ）に対して３次元画像処理を行って、立体画像を表示するための左眼画像データおよび右眼画像データを得る。

なお、受信機２００は、第２の識別情報が第１の識別情報の挿入がないことを示すとき、トランスポートストリームＴＳから第１の識別情報を取得する処理を行わない。このとき、受信機２００は、受信画像データ（２次元画像データ）に対して２次元画像処理を行って、２次元画像データを得る。

「送信データ生成部の構成例」
図２は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、視差情報エンコーダ１１３と、オーディオエンコーダ１１４を有している。また、この送信データ生成部１１０は、グラフィクス発生部１１５と、グラフィクスエンコーダ１１６と、マルチプレクサ１１７を有している。

データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。このデータ記録媒体１１１ａには、トランスポートストリームＴＳで送信する所定番組の画像データと共に、この画像データに対応した音声データが記録されている。例えば、画像データは、番組に応じて、３次元（３Ｄ）画像データあるいは２次元（２Ｄ）画像データに切り替わる。また、例えば、画像データは、番組内においても、本編やコマーシャルなどの内容に応じて、３次元画像データあるいは２次元画像データに切り替わる。

３次元画像データは、左眼画像データおよび右眼画像データにより構成されている。３次元画像データの伝送フォーマットは、例えば、サイド・バイ・サイド（Side By Side）あるいはトップ・アンド・ボトム（Top &Bottom）とされる。サイド・バイ・サイドの伝送フォーマットでは、例えば、水平方向の前半では左眼画像データのピクセルデータが伝送され、水平方向の後半では右眼画像データのピクセルデータが伝送される。また、トップ・アンド・ボトムの伝送フォーマットでは、例えば、垂直方向の前半では左眼画像データの各ラインのデータが伝送され、垂直方向の後半では右眼画像データの各ラインのデータが伝送される。

画像データが３次元画像データである場合、このデータ記録媒体１１１ａには、この３次元画像データに対応付けて、視差情報も記録されている。この視差情報は、左眼画像と右眼画像との間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。この視差情報は、受信側において、左眼画像および右眼画像にそれぞれ重畳する同一の重畳情報（グラフィクス情報等）の位置を調整して視差を付与するために用いられる。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。データ取り出し部１１１は、データ記録媒体１１１ａから、画像データ、音声データ、視差情報等を取り出して出力する。

ビデオエンコーダ１１２は、データ取り出し部１１１から出力される画像データに対して、ＭＰＥＧ２の符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、画像データが２次元画像データであるときは、この２次元画像データが挿入されたビデオエレメンタリストリーム（第１のビデオストリーム）を生成する。また、画像データが３次元画像データであるときは、この３次元画像データが挿入されたビデオエレメンタリストリーム（第２のビデオストリーム）を生成する。

視差情報エンコーダ１１３は、データ取り出し部１１１から出力される視差情報を含む視差情報エレメンタリストリームを生成する。オーディオエンコーダ１１４は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリストリームを生成する。

グラフィクス発生部１１５は、画像に重畳するグラフィクス情報（サブタイトル情報も含む）のデータ（グラフィクスデータ）を発生する。グラフィクスエンコーダ１１６は、グラフィクス発生部１１５で発生されたグラフィクスデータを含むグラフィクスエレメンタリストリームを生成する。ここで、グラフィクス情報は、重畳情報を構成している。

グラフィクス情報は、例えば、ロゴなどである。サブタイトル情報は、例えば、字幕である。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。

マルチプレクサ１１７は、ビデオエンコーダ１１２、視差情報エンコーダ１１３、オーディオエンコーダ１１４およびグラフィクスエンコーダ１１６で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。

このトランスポートストリームＴＳは、データ取り出し部１１１から２次元画像データが出力される所定番組の期間、あるいは番組内の所定期間は、この２次元画像データが挿入されたビデオエレメンタリストリーム（第１のビデオストリーム）を含むものとなる。また、このトランスポートストリームＴＳは、データ取り出し部１１１から３次元画像データが出力される所定番組の期間、あるいは番組内の所定期間は、この３次元画像データが挿入されたビデオエレメンタリストリーム（第２のビデオストリーム）を含むものとなる。

マルチプレクサ１１７は、このトランスポートストリームＴＳに、上述した、第１の識別情報および第２の識別情報を挿入する。これにより、このトランスポートストリームＴＳは、第１、第２の識別情報を有するものとなる。第１の識別情報は、上述したように、トランスポートストリームＴＳに含まれているビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する識別情報である。また、第２の識別情報は、第１の識別情報の挿入があるか否かを識別する識別情報である。マルチプレクサ１１７における第１、第２の識別情報の挿入の詳細説明は後述する。

図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から出力される画像データ（３次元画像データあるいは２次元画像データ）は、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データに対してＭＰＥＧ２の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリーム（ＭＰＥＧ２ビデオストリーム）が生成される。

この場合、画像データが２次元画像データであるときは、この２次元画像データが挿入されたビデオエレメンタリストリーム（第１のビデオストリーム）が生成される。また、画像データが３次元画像データであるときは、この３次元画像データが挿入されたビデオエレメンタリストリーム（第２のビデオストリーム）が生成される。このようにビデオエンコーダ１１２で生成されたビデオエレメンタリストリームは、マルチプレクサ１１７に供給される。

また、データ取り出し部１１１から３次元画像データが出力されるとき、このデータ取り出し部１１１からその３次元画像データに対応した視差情報も出力される。この視差情報は、視差情報エンコーダ１１３に供給される。視差情報エンコーダ１１３では、視差情報に対して所定の符号化が施され、符号化データを含む視差情報エレメンタリストリームが生成される。この視差情報エレメンタリストリームはマルチプレクサ１１７に供給される。

また、データ取り出し部１１１から画像データが出力されるとき、このデータ取り出し部１１１からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１４に供給される。このオーディオエンコーダ１１４では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１１７に供給される。

また、データ取り出し部１１１から出力される画像データに対応してグラフィクス発生部１１５では、画像（ビュー）に重畳するグラフィクス情報（サブタイトル情報を含む）のデータ（グラフィクスデータ）が発生される。このグラフィクスデータは、グラフィクスエンコーダ１１６に供給される。グラフィクスエンコーダ１１６では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むグラフィクスエレメンタリストリームが生成される。このグラフィクスエレメンタリストリームはマルチプレクサ１１７に供給される。

マルチプレクサ１１７では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。このストリームＴＳには、データ取り出し部１１１から２次元画像データが出力される所定番組の期間、あるいは番組内の所定期間、この２次元画像データが挿入されたビデオエレメンタリストリーム（第１のビデオストリーム）が含まれる。また、このストリームＴＳには、データ取り出し部１１１から３次元画像データが出力される所定番組の期間、あるいは番組内の所定期間、この３次元画像データが挿入されたビデオエレメンタリストリーム（第２のビデオストリーム）が含まれる。

また、マルチプレクサ１１７では、トランスポートストリームＴＳに、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する第１の識別情報が挿入される。また、マルチプレクサ１１７では、トランスポートストリームＴＳに、第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入される。

［第１、第２の識別情報とその挿入］
上述したように、マルチプレクサ１１７は、トランスポートストリームＴＳに、第１、第２の識別情報を挿入する。マルチプレクサ１１７は、第１の識別情報を、ピクチャレイヤまたはシーケンスレイヤに挿入する。すなわち、この実施の形態において、マルチプレクサ１１７は、ビデオエレメンタリストリーム（ビデオストリーム）のピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、第１の識別情報を挿入する。具体的には、マルチプレクサ１１７は、そのユーザデータ領域に、第１の識別情報を含む３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））を挿入する。

また、マルチプレクサ１１７は、第２の識別情報を、トランスポートレイヤに挿入する。すなわち、この実施の形態において、マルチプレクサ１１７は、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下に、第２の識別情報を挿入する。具体的には、マルチプレクサ１１７は、ビデオエレメンタリ・ループの配下に、第２の識別情報を含むビデオ・ストリーム・デスクリプタ（Video_stream_descriptor()）を挿入する。

図３は、トランスポートストリームＴＳの構成例を示している。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」が含まれている。また、トランスポートストリームＴＳには、ＰＳＩ（ProgramSpecific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。なお、この構成例では、図面の簡単化のために、視差情報、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。

この構成例では、ビデオエレメンタリストリームのユーザデータ領域に、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））が挿入されている。また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）に、ビデオエレメンタリストリームに関連する情報を記述するデスクリプタとして、ビデオ・ストリーム・デスクリプタ（Video_stream_descriptor）が挿入されている。

図４は、ビデオエレメンタリストリーム（Video Elementary Stream）の構造例を概略的に示している。ビデオエレメンタリストリームには、先頭に、シーケンス単位（ＧＯＰ単位）のパラメータを含むシーケンスヘッダ部が配置されている。このシーケンスヘッダ部に続いて、ピクチャ単位のパラメータおよびユーザデータを含むピクチャヘッダが配置されている。このピクチャヘッダ部に続いてピクチャーデータを含むペイロード部が配置される。以下、ピクチャヘッダ部およびペイロード部が繰り返し配置されている。

上述したように、第１の識別情報を含む３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））は、ビデオエレメンタリストリーム（ビデオストリーム）のピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に挿入される。図５は、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））を含むユーザデータ（userdata）の構造（syntax）の一例を示している。開始コード（user_data_start_code）の後のデータ識別子が、３Ｄシグナリング情報識別子（Stereo_Video_Format_Signaling_identifier）であるとき、その後のデータ本体として、３Ｄシグナリング情報が配置される。

図６は、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））の構造例（syntax）を示している。図７は、３Ｄシグナリング情報と、この３Ｄシグナリング情報を含むユーザデータのデータ規定内容（semantics）を示している。「Stereo_Video_Format_Signaling_identifier」として、４バイト（３２ビット）のユニークな識別子が割り当てられる。「Stereo_Video_Format_Signaling_Length」は、３Ｄシグナリング情報の長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、このデータ以降のバイト数を示す。

「Stereo_Video_Format_Signaling_type」は、第１の識別情報を構成する７ビットのデータである。７ビットのデータが“０００００１１”であるとき、ビデオストリームに挿入されている画像データが３次元（３Ｄ）画像データであり、その伝送フォーマットがサイド・バイ・サイドであることを示す。また、７ビットのデータが“００００１００”であるとき、ビデオストリームに挿入されている画像データが３次元画像データであり、その伝送フォーマットがトップ・アンド・ボトムであることを示す。さらに、７ビットのデータが“０００１０００”であるとき、ビデオストリームに挿入されている画像データが２次元（２Ｄ）画像データであることを示す。

ここで、サイド・バイ・サイド（Side by Side）とは、左眼用および右眼用の画像を水平方向にのみ１／２に縮小して、１画面の左右に配置した方式のことを指す。この場合、例えば、２画面画像は、視聴者から見て左側の画像が左眼用、右側の画像が右眼用であるとする。また、例えば、２画面画像の境界は、１走査線当たりの有効標本化数の１／２の標本位置であるとする。図８に、具体的な画面分割方法の一例を示している。例えば、２画面間で縮小時の標本化位置は同一のものとし、走査線間で固定とする運用を主眼とする。

また、トップ・アンド・ボトム（Top & Bottom）とは、左眼用および右眼用の画像を垂直方向にのみ１／２に縮小して、１画面の上下に配置した方式のことを指す。この場合、例えば、２画面画像は、視聴者から見て上側の画像が左眼用、下側の画像が右眼用であるとする。また、例えば、２画面画像の境界は、１有効画面の垂直方向ライン数の１／２の位置であるとする。図８に、具体的な画面分割方法の一例を示している。

上述したように、「Stereo_Video_Format_Signaling_type」の７ビットのデータにより、ビデオストリームに挿入されている画像データが３次元画像データであるか２次元画像データであるかを識別できる。したがって、この７ビットのデータにより、トランスポートストリームＴＳに含まれるビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別することが可能となる。

なお、２次元画像と３次元画像との切り換えを行う場合、ピクチャデータ（Picture data()）が切り替わるフレームと、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））が切り替わるフレームとを一致させることとする。

図９は、ビデオ・ストリーム・デスクリプタ（Video_stream_descriptor()）の構造例（syntax）を示している。このデスクリプタ自体は、既にＭＰＥＧ２の規格に入っている。ここでは、このビデオ・ストリーム・デスクリプタに、「3DFormat_Signaling_existed」の１ビットのフラグデータを新たに定義する。このフラグデータは、第２の識別情報を構成している。“１”は、ビデオストリームのユーザデータ領域に３Ｄシグナリング情報が挿入されていることを示す。また、“０”は、ビデオストリームのユーザデータ領域に３Ｄシグナリング情報が挿入されていないことを示す。

図１０は、ビデオストリームのピクチャヘッダのユーザデータ領域に、３Ｄシグナリング情報が挿入されている状態、つまりピクチャ単位で３Ｄシグナリング情報が挿入されている状態の一例を示している。この例では、番組本編については３次元（３Ｄ）画像データが送信され、ＣＭ（commercial message）については２次元（２Ｄ）画像データが送信されている。そして、このピクチャヘッダのユーザデータ領域へのシグナリング情報の挿入に対応して、「3DFormat_Signaling_existed」の１ビットのフラグデータは“１”とされている。

図１１は、ビデオストリームのシーケンスヘッダのユーザデータ領域に、３Ｄシグナリング情報が挿入されている状態、つまりシーケンス単位で３Ｄシグナリング情報が挿入されている状態の一例を示している。この例では、このシーケンスヘッダのユーザデータ領域へのシグナリング情報の挿入に対応して、「3DFormat_Signaling_existed」の１ビットのフラグデータは“１”とされている。

「受信機の構成例」
図１２は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１０と、デジタルチューナ２１１と、トランスポートストリームバッファ（ＴＳバッファ）２１２と、デマルチプレクサ２１３を有している。

また、受信機２００は、ビデオデコーダ２１４と、３Ｄ信号処理部２１５と、ビューバッファ２１６Ｌ，２１６Ｒと、ビデオ重畳部２１７Ｌ，２１７Ｒを有している。さらに、受信機２００は、グラフィクスデコーダ２１８と、グラフィクス発生部２１９と、視差情報デコーダ２２０と、グラフィクスバッファ２２１Ｌ，２２１Ｒと、オーディオデコーダ２２２と、チャネル処理部２２３を有している。

ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。リモコン受信部２０５は、リモコン送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。

アンテナ端子２１０は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１１は、アンテナ端子２１０に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１２は、デジタルチューナ２１１から出力されたトランスポートストリームＴＳを一時的に蓄積する。

このトランスポートストリームＴＳには、上述したように、２次元画像データが挿入された第１のビデオストリーム（エレメンタリストリーム）および３次元画像データが挿入された第２のビデオストリーム（エレメンタリストリーム）が時分割的に含まれている。また、このトランスポートストリームＴＳには、第１の識別情報および第２の識別情報が挿入されている（図３参照）。第１の識別情報は、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する識別情報である。第２の識別情報は、第１の識別情報の挿入があるか否かを識別する識別情報である。

トランスポートストリームＴＳに含まれる第１のビデオストリームおよび第２のビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））が挿入されている。この３Ｄシグナリング情報には、第１の識別情報としての、「Stereo_Video_Format_Signaling_type」の７ビットのデータが含まれている（図６参照）。

また、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下に、ビデオ・ストリーム・デスクリプタ（Video_stream_descriptor()）が挿入されている。このデスクリプタには、第２の識別情報としての、「3DFormat_Signaling_existed」の１ビットのフラグデータが含まれている（図９参照）。

デマルチプレクサ２１３は、ＴＳバッファ２１２に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。視差情報エレメンタリストリームは、トランスポートストリームＴＳに含まれるビデオストリーム（ビデオエレメンタリストリーム）が、３次元（３Ｄ）画像データが挿入された第２のビデオストリームである場合のみ抽出される。

また、デマルチプレクサ２１３は、トランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）を抽出し、このテーブルの情報をＣＰＵ２０１に供給する。上述したように、このテーブルには、第２の識別情報としての「3DFormat_Signaling_existed」の１ビットのフラグデータを有するビデオ・ストリーム・デスクリプタ（Video_stream_descriptor()）も含まれている。ＣＰＵ２０１は、この「3DFormat_Signaling_existed」の１ビットのフラグデータに基づいて、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））の挿入があるか否かを識別する。

ビデオデコーダ２１４は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、このビデオデコーダ２１４は、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリーム（ビデオストリーム）に含まれる符号化画像データに対して復号化処理を行って復号化された画像データを得る。

また、このビデオデコーダ２１４は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に含まれているユーザデータ（userdata）を抽出し、このユーザデータをＣＰＵ２０１に供給する。上述したように、このユーザデータには、第１の識別情報としての「Stereo_Video_Format_Signaling_type」の７ビットのデータを有する３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））も含まれている。

第２の識別情報としての「3DFormat_Signaling_existed」の１ビットのフラグデータが“１”であるとき、第１の識別情報としての「Stereo_Video_Format_Signaling_type」の７ビットのデータが存在する。ＣＰＵ２０１は、「3DFormat_Signaling_existed」の１ビットのフラグデータが“１”であるとき、「Stereo_Video_Format_Signaling_type」の７ビットのデータに基づいて、ビデオストリームが、２次元画像データが挿入された第１のビデオストリームであるか、３次元画像データが挿入された第２のビデオストリームであるかを識別する。

ＣＰＵ１０１は、７ビットのデータが“０００１０００”であって、２次元画像データが挿入された第１のビデオストリームであると識別するとき、受信機２００の各部を、２次元画像処理を行う状態とする。また、ＣＰＵ１０１は、７ビットのデータが“０００００１１”あるいは“００００１００”であって、３次元画像データが挿入された第２のビデオストリームであると識別するとき、受信機２００の各部を、３次元画像処理を行う状態とする。

図１３のフローチャートは、ＣＰＵ２０１の制御処理の手順を示している。ＣＰＵ２０１は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ＣＰＵ２０１は、「3DFormat_Signaling_existed」の１ビットのフラグデータが“１”であるか否かを判断する。「3DFormat_Signaling_existed=1」であるとき、ＣＰＵ２０１は、ステップＳＴ３の処理に移る。

このステップＳＴ３において、ＣＰＵ２０１は、「Stereo_Video_Format_Signaling_type」が、ビデオストリームに挿入されている画像データが２次元（２Ｄ）画像データであることを示しているか３次元（３Ｄ）画像データであることを示しているかを判断する。「Stereo_Video_Format_Signaling_type」が３次元画像データであることを示しているとき、ＣＰＵ２０１は、ステップＳＴ４の処理に移る。このステップＳＴ４において、ＣＰＵ２０１は、受信機２００の各部を、３次元画像処理を行う状態とし、その後に、ステップＳＴ２の処理に戻る。

また、ステップＳＴ２で「3DFormat_Signaling_existed=0」であるとき、ＣＰＵ２０１は、ステップＳＴ５の処理に移る。また、ステップＳＴ３で「Stereo_Video_Format_Signaling_type」が２次元画像データであることを示しているときも、ＣＰＵ２０１は、ステップＳＴ５の処理に移る。このステップＳＴ５において、ＣＰＵ２０１は、受信機２００の各部を、２次元画像処理を行う状態とし、その後に、ステップＳＴ２の処理に戻る。

図１２に戻って、３Ｄ信号処理部２１５は、ビデオデコーダ２１４の出力画像データが３次元画像データであるとき、伝送フォーマットに対応した処理を行って左眼画像データＳＬおよび右眼画像データＳＲを生成する。なお、３Ｄ信号処理部２１５は、ビデオデコーダ２１４の出力画像データが２次元画像データであるとき、この２次元画像データをそのまま出力する。

ビューバッファ２１６Ｌは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、３Ｄ信号処理部２１５で生成された左眼画像データＳＬを一時的に蓄積する。また、ビューバッファ２１６Ｌは、ＣＰＵ２０１の制御により、２次元画像処理状態とされるとき、３Ｄ信号処理部２１５から出力される２次元画像データＳＶを一時的に蓄積する。また、ビューバッファ２１６Ｒは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、３Ｄ信号処理部２１５で生成された右眼画像データＳＲを一時的に蓄積する。

グラフィクスデコーダ２１８は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１６とは逆の処理を行う。すなわち、グラフィクスデコーダ２１８は、デマルチプレクサ２１３で抽出されたグラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理を行って復号化されたグラフィクスデータ（サブタイトルデータを含む）を得る。

視差情報デコーダ２２０は、上述の送信データ生成部１１０の視差情報エンコーダ１１３とは逆の処理を行う。すなわち、視差情報デコーダ２２０は、デマルチプレクサ２１３で抽出された視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理を行って復号化された視差情報を得る。この視差情報は、左眼画像と右眼画像との間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。

グラフィクス発生部２１９は、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータを発生する。グラフィクス発生部２１９は、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、左眼画像データおよび右眼画像データにそれぞれ重畳するグラフィクス情報のデータを発生する。この場合、グラフィクス発生部２１９は、視差情報デコーダ２２０で得られる視差情報に基づいて、各画像に重畳するグラフィクス情報の重畳位置を調整し、それぞれに視差を付与する。また、グラフィクス発生部２１９は、ＣＰＵ２０１の制御により、２次元画像処理状態とされるとき、２次元画像データに重畳するグラフィクス情報のデータを発生する。

グラフィクスバッファ２２１Ｌは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、グラフィクス発生部２１９で発生される、左眼画像データに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２１Ｌは、ＣＰＵ２０１の制御により、２次元画像処理状態とされるとき、グラフィクス発生部２１９で発生される、２次元画像データに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２１Ｒは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、右眼画像データに重畳するグラフィクス情報のデータを一時的に蓄積する。

ビデオ重畳部２１７Ｌは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、グラフィクス情報が重畳された左眼画像を表示するための画像データＳＬ′を出力する。このとき、ビデオ重畳部２１７Ｌは、ビューバッファ２１６Ｌに蓄積された左眼画像データＳＬに、グラフィクスバッファ２２１Ｌに蓄積されたグラフィクス情報のデータを重畳して、左眼画像データＳＬ′を得る。また、ビデオ重畳部２１７Ｌは、ＣＰＵ２０１の制御により、２次元画像処理状態とされるとき、グラフィクス情報が重畳された２次元画像を表示するための２次元画像データＳＶ′を出力する。このとき、ビデオ重畳部２１７Ｌは、ビューバッファ２１６Ｌに蓄積された２次元画像データＳＶに、グラフィクスバッファ２２１Ｌに蓄積されたグラフィクス情報のデータを重畳して、２次元画像データＳＶ′を得る。

また、ビデオ重畳部２１７Ｒは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、グラフィクス情報が重畳された右眼画像を表示するための右眼画像データＳＲ′を出力する。このとき、ビデオ重畳部２１７Ｒは、ビューバッファ２１６Ｒに蓄積された右眼画像データＳＲに、グラフィクスバッファ２２１Ｒに蓄積されたグラフィクス情報のデータを重畳する。

オーディオデコーダ２２２は、上述の送信データ生成部１１０のオーディオエンコーダ１１４とは逆の処理を行う。すなわち、このオーディオデコーダ２２２は、デマルチプレクサ２１３で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部２２３は、オーディオデコーダ２２２で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡを生成して出力する。

受信機２００の動作を簡単に説明する。アンテナ端子２１０に入力されたテレビ放送信号はデジタルチューナ２１１に供給される。このデジタルチューナ２１１では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１２に一時的に蓄積される。

デマルチプレクサ２１３では、ＴＳバッファ２１２に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。視差情報エレメンタリストリームは、トランスポートストリームＴＳに３次元画像データが挿入されたビデオストリーム（第２のビデオストリーム）が含まれている場合のみ抽出される。

また、デマルチプレクサ２１３では、トランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）が抽出される。このテーブルの情報はＣＰＵ２０１に供給される。このテーブルには、上述したように、第２の識別情報としての「3DFormat_Signaling_existed」の１ビットのフラグデータを有するビデオ・ストリーム・デスクリプタ（Video_stream_descriptor()）が含まれている（図９参照）。ＣＰＵ２０１では、この「3DFormat_Signaling_existed」の１ビットのフラグデータに基づいて、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））の挿入があるか否かが識別される。

デマルチプレクサ２１３で抽出されるビデオエレメンタリストリーム（ビデオストリーム）は、ビデオデコーダ２１４に供給される。このビデオデコーダ２１４では、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理が行われ、復号化された画像データが得られる。この場合、ビデオエレメンタリストリームに３次元画像データが挿入されているとき、３次元画像データが得られる。また、この場合、ビデオエレメンタリストリームに２次元画像データが挿入されているとき、２次元画像データが得られる。

また、ビデオデコーダ２１４では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に含まれているユーザデータが抽出される。このユーザデータはＣＰＵ２０１に供給される。上述したように、このユーザデータには、第１の識別情報としての「Stereo_Video_Format_Signaling_type」の７ビットのデータを有する３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））が含まれている（図６参照）。

ＣＰＵ２０１では、「3DFormat_Signaling_existed」の１ビットのフラグデータが“１”であるとき、「Stereo_Video_Format_Signaling_type」の７ビットのデータに基づいて、ビデオストリームの識別が行われる。ＣＰＵ２０１では、この７ビットのデータに基づいて、ビデオストリームが、２次元画像データが挿入された第１のビデオストリームであるか、３次元画像データが挿入された第２のビデオストリームであるかが識別される。

７ビットのデータが“０００１０００”であって、２次元画像データが挿入された第１のビデオストリームであると識別されるとき、ＣＰＵ１０１により、受信機２００の各部は、２次元画像処理を行う状態とされる。また、７ビットのデータが“０００００１１”あるいは“００００１００”であって、３次元画像データが挿入された第２のビデオストリームであると識別されるとき、ＣＰＵ１０１により、受信機２００の各部は、３次元画像処理を行う状態とされる。

以下、最初に、受信機２００の各部が３次元（３Ｄ）画像処理状態とされる場合について説明する。ビデオデコーダ２１４で得られる３次元画像データは、３Ｄ信号処理部２１５に供給される。３Ｄ信号処理部２１５では、ビデオデコーダ２１４の出力画像データが３次元画像データであるとき、伝送フォーマットに対応した処理が行われて、左眼画像データＳＬおよび右眼画像データＳＲが生成される。左眼画像データＳＬはビューバッファ２１６Ｌに一時的に蓄積され、右眼画像データＳＲはビューバッファ２１６Ｒに一時的に蓄積される。

また、デマルチプレクサ２１３で抽出されたグラフィクスエレメンタリストリームは、グラフィクスデコーダ２１８に供給される。このグラフィクスデコーダ２１８では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２１９に供給される。

また、デマルチプレクサ２１３で抽出された視差情報エレメンタリストリームは、視差情報デコーダ２２０に供給される。この視差情報デコーダ２２０では、視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理が行われて、復号化された視差情報が得られる。この視差情報は、グラフィクス発生部２１９に供給される。

このグラフィクス発生部２１９では、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。この場合、グラフィクス発生部２１９では、視差情報デコーダ２２０で得られる視差情報に基づいて、左眼画像および右眼画像の各画像に重畳するグラフィクス情報の重畳位置が調整されて、それぞれに視差が付与される。

このグラフィクス発生部２１９で発生される、左眼画像データに重畳するグラフィクス情報のデータは、グラフィクスバッファ２２１Ｌに一時的に蓄積される。また、グラフィクス発生部２１９で発生される、右眼画像データに重畳するグラフィクス情報のデータは、グラフィクスバッファ２２１Ｒに一時的に蓄積される。

ビデオ重畳部２１７Ｌでは、ビューバッファ２１６Ｌに蓄積された左眼画像データＳＬに、グラフィクスバッファ２２１Ｌに蓄積されたグラフィクス情報のデータが重畳されて、左眼画像データＳＬ′が得られる。この左眼画像データＳＬ′は、グラフィクス情報が重畳された左眼画像を表示するための画像データとして出力される。また、ビデオ重畳部２１７Ｒでは、ビューバッファ２１６Ｒに蓄積された右眼画像データＳＲに、グラフィクスバッファ２２１Ｒに蓄積されたグラフィクス情報のデータが重畳されて、右眼画像データＳＲ′が得られる。この右眼画像データＳＲ′は、グラフィクス情報が重畳された右眼画像を表示するための画像データとして出力される。

次に、受信機２００の各部が２次元（２Ｄ）画像処理状態とされる場合について説明する。ビデオデコーダ２１４で得られる２次元画像データＳＶは、３Ｄ信号処理部２１５からそのまま出力される。この２次元画像データＳＶはビューバッファ２１６Ｌに一時的に蓄積される。

また、デマルチプレクサ２１３で抽出されたグラフィクスエレメンタリストリームは、グラフィクスデコーダ２１８に供給される。このグラフィクスデコーダ２１８では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２１９に供給される。

このグラフィクス発生部２１９では、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。このグラフィクス情報のデータは、グラフィクスバッファ２２１Ｌに一時的に蓄積される。

ビデオ重畳部２１７Ｌでは、ビューバッファ２１６Ｌに蓄積された２次元画像データＳＶに、グラフィクスバッファ２２１Ｌに蓄積されたグラフィクス情報のデータが重畳されて、２次元画像データＳＶ′が得られる。この２次元画像データＳＶ′は、グラフィクス情報が重畳された２次元画像を表示するための画像データとして出力される。

また、デマルチプレクサ２１３で抽出されたオーディオエレメンタリストリームは、オーディオデコーダ２２２に供給される。このオーディオデコーダ２２２では、オーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部２２３に供給される。チャネル処理部２２３では、その音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成されて出力される。

以上説明したように、図１に示す画像送受信システム１０において、放送局１００から送信されるトランスポートストリームＴＳに、第１の識別情報が挿入される。この第１の識別情報は、ビデオストリームが、２次元画像データが挿入された第１のビデオストリームであるか、３次元画像データが挿入された第２のビデオストリームであるかを識別する識別情報である。

具体的には、トランスポートストリームＴＳに含まれるビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、第１の識別情報としての「Stereo_Video_Format_Signaling_type」の７ビットのデータを含む３Ｄシグナリング情報が挿入される。そのため、受信側において、この第１の識別情報に基づいて、受信画像データが２次元画像データであるか３次元画像データであるかを容易に把握でき、受信画像データが２次元画像データから３次元画像データ、あるいはこの逆に時分割的に切り替わる場合であっても常に適切な処理を行うことができる。

また、図１に示す画像送受信システム１０において、放送局１００から送信されるトランスポートストリームＴＳに、第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入される。具体的には、ＰＭＴのビデオエレメンタリ・ループの配下に、第２の識別情報としての「3DFormat_Signaling_existed」の１ビットのフラグデータを含むビデオ・ストリーム・デスクリプタが挿入される。

そのため、受信側においては、この第２の識別情報が第１の識別情報の挿入があることを示す場合のみ、第１の識別情報を取得して、受信画像データに対する処理を、この第１の識別情報に基づいて適切な処理に切り換えることが可能となる。つまり、受信側においては、第２の識別情報が第１の識別情報の挿入がないことを示す場合には、第１の識別情報を取得してその内容を監視する処理を省略でき、効率的な処理が可能となる。

また、図１に示す画像送受信システム１０において、放送局１００から送信されるトランスポートストリームＴＳが３次元画像データを挿入したビデオストリームを含む場合、このトランスポートストリームＴＳにさらに視差情報も含められる。この視差情報は、３次元画像データを構成する左眼画像データおよび右眼画像データによる画像に重畳する同一の重畳情報に視差を付与するためのものである。

この場合、受信側には、３次元画像データと共に、この３次元画像データに対応した視差情報が送信される。そのため、受信側において、左眼画像データおよび右眼画像データに重畳される重畳情報のデータは、それぞれ、視差情報に基づいて重畳位置が調整されたものとなる。したがって、重畳情報の表示において、立体画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、図１に示す画像送受信システム１０において、受信機２００では、トランスポートストリームＴＳから、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別するための第１の識別情報が取得される。そして、受信画像データに対して、この第１の情報に基づいて、２次元画像処理または３次元画像処理が選択的に行われる。そのため、受信機２００では、受信画像データが２次元画像データから３次元画像データ、あるいはこの逆に時分割的に切り替わる場合であっても、常に適切な処理を行うことができる。

また、図１に示す画像送受信システム１０において、受信機２００では、トランスポートストリームＴＳから第１の識別情報の挿入があるか否かを識別する第２の識別情報が取得され、この第２の識別情報が第１の識別情報の挿入があることを示す場合のみ、第１の識別情報を取得してその内容を監視する処理が行われる。したがって、第２の識別情報が第１の識別情報の挿入がないことを示す場合、受信機２００では、第１の識別情報を取得してその内容を監視する処理を省略でき、効率的な処理が可能となる。

また、図１に示す画像送受信システム１０において、受信機２００では、３次元（３Ｄ）画像データを挿入したビデオストリーム（第２のビデオストリーム）を含むトランスポートストリームＴＳ１が送られてくるとき、３次元画像データの処理状態とされる。そして、グラフィクス発生部２１９では、視差情報デコーダ２２０で得られる視差情報に基づいて、左眼画像および右眼画像の各画像に重畳するグラフィクス情報の重畳位置が調整され、それぞれに視差が付与される。そのため、グラフィクス情報の表示において、立体画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、図１に示す画像送受信システム１０において、受信機２００では、左眼画像および右眼画像の各画像に重畳するグラフィクス情報の重畳位置を調整する際に、トランスポートストリームＴＳに挿入されている視差情報が抽出されて使用される。そのため、受信機２００では、例えば、左眼画像データおよび右眼画像データを処理して視差情報を得る必要がなく、重畳情報のデータの重畳位置の調整を簡単かつ適切に行うことができる。

＜２．変形例＞
なお、上述実施の形態においては、トランスポートストリームＴＳに含まれるビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、第１の識別情報を挿入する例を示した。しかし、この第１の識別情報を挿入する場所は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダに限定されない。

また、上述実施の形態においては、第１の識別情報が、３Ｄシグナリング情報に含まれる「Stereo_Video_Format_Signaling_type」の７ビットのデータである例を示した。しかし、この第１の識別情報は、「Stereo_Video_Format_Signaling_type」の７ビットのデータに限定されない。要は、トランスポートストリームＴＳに含まれるビデオストリームが、２次元画像データが挿入された第１のビデオストリームであるか、３次元画像データが挿入された第２のビデオストリームであるかを識別可能な情報であればよい。

また、上述実施の形態においては、ＰＭＴのビデオエレメンタリ・ループの配下の記述子に、第２の識別情報を挿入する例を示した。しかし、この第２の識別情報を挿入する場所は、この場所に限定されない。すなわち、この第２の識別情報は、番組単位で送られるＳＩ（Service Information）で送られる可能性もある。例えば、第２の識別情報を、トランスポートストリームＴＳに含まれるサービス・デスクリプション・テーブル（SDT：Service Description Table)の配下の記述子に挿入することも考えられる。また、例えば、第２の識別情報を、トランスポートストリームＴＳに含まれるイベント・インフォメーション・テーブル（EIT：Event Information Table)の配下の記述子に挿入することも考えられる。

また、上述実施の形態においては、第２の識別情報が、ビデオ・ストリーム・デスクリプタに含まれる「3DFormat_Signaling_existed」の１ビットのフラグデータである例を示した。しかし、この第２の識別情報は、「3DFormat_Signaling_existed」の１ビットのフラグデータに限定されない。要は、トランスポートストリームＴＳに第１の識別情報の挿入があるか否かを識別可能な情報であればよい。

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、この発明は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。

また、上述実施の形態においては、ビデオストリームがＭＰＥＧ２ビデオストリームである例を示した。しかし、このビデオストリームは、ＭＰＥＧ２ビデオストリームに限定されるものではなく、例えば、ＶＣ−１やＭＰＥＧ４−ｖｉｓｕａｌ、その他の符号化方式によるビデオストリームであることも考えられる。

また、上述実施の形態においては、重畳情報がグラフィクスである例を示したが、クローズド・キャプションなどのその他の重畳情報の場合も同様に考えることができる。また、上述実施の形態においては、送信側から、画像データと共にグラフィクスのデータを送信する例を示したが、重畳情報のデータは、受信側において発生されるＯＳＤ表示などの場合も考えられる。

この発明は、立体画像データを放送波に載せて送信する、あるいは立体画像データをインターネット等のネットワークを介して配信する立体画像データ送受信システムに適用できる。

１０・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１・・・データ取り出し部
１１１ａ・・・データ記録媒体
１１２・・・ビデオエンコーダ
１１３・・・視差情報エンコーダ
１１４・・・オーディオエンコーダ
１１５・・・グラフィクス発生部
１１６・・・グラフィクスエンコーダ
１１７・・・マルチプレクサ
２００・・・受信機
２０１・・・ＣＰＵ
２０２・・・フラッシュＲＯＭ
２０３・・・ＤＲＡＭ
２０４・・・内部バス
２０５・・・リモコン受信機
２０６・・・リモコン送信機
２１０・・・アンテナ端子
２１１・・・デジタルチューナ
２１２・・・トランスポートストリームバッファ（ＴＳバッファ）
２１３・・・デマルチプレクサ
２１４・・・ビデオデコーダ
２１５・・・３Ｄ信号処理部
２１６Ｌ，２１６Ｒ・・・ビューバッファ
２１７Ｌ，２１７Ｒ・・・ビデオ重畳部
２１８・・・グラフィクスデコーダ
２１９・・・グラフィクス発生部
２２０・・・視差情報デコーダ
２２１Ｌ，２２１Ｒ・・・グラフィクスバッファ
２２２・・・オーディオデコーダ
２２３・・・チャネル処理部

Claims (16)

1. ２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームを時分割的に含む所定フォーマットのコンテナを送信する送信部と、
   上記コンテナに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報を挿入する第１の識別情報挿入部と、
   上記コンテナに、上記第１の識別情報の挿入があるか否かを識別する第２の識別情報を挿入する第２の識別情報挿入部と
   を備える送信装置。
2. 上記第１の識別情報挿入部は、上記第１の識別情報を、上記コンテナの第１のレイヤに挿入し、
   上記第２の識別情報挿入部は、上記第２の識別情報を、上記コンテナの上記第１のレイヤより上位の第２のレイヤに挿入する
   請求項１に記載の送信装置。
3. 上記第１のレイヤは、上記ビデオのレイヤであり、
   上記第２のレイヤは、上記ビデオのレイヤよりも上位のレイヤである
   請求項２に記載の送信装置。
4. 上記コンテナはトランスポートストリームであり、
   上記第１のレイヤは、ピクチャレイヤまたはシーケンスレイヤであり、
   上記第２のレイヤは、トランスポートレイヤである
   請求項３に記載の送信装置。
5. 上記第１の識別情報挿入部は、上記第１の識別情報を、上記ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に挿入する
   請求項４に記載の送信装置。
6. 上記ビデオストリームは、ＭＰＥＧ２ビデオストリームである
   請求項４に記載の送信装置。
7. 上記第２の識別情報挿入部は、上記第２の識別情報を、上記トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下の記述子に挿入する
   請求項４に記載の送信装置。
8. 上記第２の識別情報挿入部は、上記第２の識別情報を、上記トランスポートストリームに含まれるサービス・デスクリプション・テーブルまたはイベント・インフォメーション・テーブルの配下の記述子に挿入する
   請求項４に記載の送信装置。
9. 上記第１の識別情報は、上記３次元画像データが挿入された上記第２のビデオストリームが含まれていることを示す場合には、上記３次元画像データのフォーマット情報をさらに含む
   請求項１に記載の送信装置。
10. 上記３次元画像データは左眼画像データおよび右眼画像データにより構成され、
    上記左眼画像データおよび上記右眼画像データによる画像に重畳する同一の重畳情報に視差を付与するための視差情報を出力する視差情報出力部をさらに備え、
    上記送信部は、上記第２のビデオストリームを含む上記コンテナを送信する際に、該コンテナに、上記視差情報出力部から出力される視差情報をさらに含める
    請求項１に記載の送信装置。
11. ２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームを時分割的に含む所定フォーマットのコンテナを送信する送信ステップと、
    上記コンテナに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報を挿入する第１の識別情報挿入ステップと、
    上記コンテナに、上記第１の識別情報の挿入があるか否かを識別する第２の識別情報を挿入する第２の識別情報挿入ステップと
    を有する送信方法。
12. ２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームが時分割的に含まれ、さらに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報と、該第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入されている所定フォーマットのコンテナを受信する受信部と、
    上記受信部で受信されたコンテナから画像データを取得する画像データ取得部と、
    上記受信部で受信されたコンテナから上記第２の識別情報を取得する第１の識別情報取得部と、
    上記第１の識別情報取得部で取得された上記第２の識別情報が上記第１の識別情報の挿入があることを示すとき、上記コンテナから上記第１の識別情報を取得する第２の識別情報取得部と、
    上記画像データ取得部で取得された画像データに対して、上記第２の識別情報取得部で取得された上記第１の識別情報に基づいて、２次元画像処理または３次元画像処理を選択的に行う画像データ処理部と
    を備える受信装置。
13. 上記画像データ処理部は、上記第１の識別情報取得部で取得される上記第２の識別情報が上記第１の識別情報の挿入がないことを示すとき、上記受信部で受信された画像データに対して、２次元画像処理を行う
    請求項１２に記載の受信装置。
14. 重畳情報のデータを出力する重畳情報データ出力部と、
    上記画像データ処理部から出力される画像データに、上記重畳情報出力部から出力される重畳情報のデータを重畳するデータ重畳部をさらに備え、
    上記データ重畳部は、
    上記画像データ処理部で３次元画像処理が行われて上記３次元画像データを構成する左眼画像データおよび右眼画像データが出力されるとき、上記左眼画像データによる左眼画像と上記右眼画像データによる右眼画像との間の視差情報に基づいて、上記重畳情報データ出力部から出力される上記重畳情報のデータの重畳位置を調整し、該重畳位置が調整された重畳情報のデータを上記左眼画像データおよび上記右眼画像データに重畳し、
    上記画像データ処理部で２次元画像処理が行われて上記２次元画像データが出力されるとき、該２次元画像データに、上記重畳情報データ出力部から出力される上記重畳情報のデータをそのまま重畳する
    請求項１２に記載の受信装置。
15. 上記コンテナには、上記第２のビデオストリームが含まれる場合、上記３次元画像データを構成する左眼画像データおよび右眼画像データによる画像に重畳する同一の重畳情報に視差を付与するための視差情報が挿入されており、
    上記コンテナから上記視差情報を取得する視差情報取得部をさらに備え、
    上記データ重畳部は、上記画像データ処理部で３次元画像処理が行われて上記３次元画像データを構成する左眼画像データおよび右眼画像データが出力されるとき、視差情報取得部で取得された視差情報に基づいて、上記重畳情報データ出力部から出力される上記重畳情報のデータの重畳位置を調整し、該重畳位置が調整された重畳情報のデータを上記左眼画像データおよび上記右眼画像データに重畳する
    請求項１４に記載の受信装置。
16. ２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームが時分割的に含まれ、さらに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報と、該第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入されている所定フォーマットのコンテナを受信する受信ステップと、
    上記受信ステップで受信されたコンテナから画像データを取得する画像データ取得ステップと、
    上記受信ステップで受信されたコンテナから上記第２の識別情報を取得する第１の識別情報取得ステップと、
    上記第１の識別情報取得ステップで取得された上記第２の識別情報が上記第１の識別情報の挿入があることを示すとき、上記コンテナから上記第１の識別情報を取得する第２の識別情報取得ステップと、
    上記画像データ取得ステップで取得された画像データに対して、上記第２の識別情報取得ステップで取得された上記第１の識別情報に基づいて、２次元画像処理または３次元画像処理を選択的に行う画像データ処理ステップと
    を有する受信方法。

Images