JP5482254B2 - 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造 - Google Patents

Description

本発明は、受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造に関する。

従来から、立体映像を表示するシステムとして様々なものが知られている。例えば下記の特許文献１〜３に記載されているように、視差を有する左目用画像及び右目用画像を所定周期で交互にディスプレイに供給し、この画像を所定周期に同期して駆動される液晶シャッターを備える眼鏡で観察する方法が知られている。

特開平９−１３８３８４号公報 特開２０００−３６９６９号公報 特開２００３−４５３４３号公報 米国特許出願公開第２００９／０９２３３５号公報 米国特許出願公開第２００９／０９６８６４号公報

テレビ番組などのコンテンツを放送局からユーザのテレビ受像機に送信することを想定した場合、映像データとして３Ｄの映像と２Ｄの映像を切り換えながら送信することが考えられる。例えば、番組本編については３Ｄ映像で送信し、ＣＭについては２Ｄ映像で送信するような場合が考えられる。

また、３Ｄ映像の方式としては、サイドバイサイド方式、トップアンドボトム方式、フィールドシーケンシャル方式などの各種方式がある。このため、放送局側から送られる映像データが、映像のコンテンツ等に合わせて、各種方式の間で動的に切り換えて送られることが想定される。

このような場合、ユーザ側のテレビ受像機では、切り換え直後に画像を適正に表示でいなくなる事態が想定される。これは、切り換えの前後で映像に関する各種パラメータ（画サイズ、周波数等）が変化するため、テレビ受像機側で表示のための処理を換える必要が生じるためである。そして、切り換え直後から画像を適正に表示するためには、フォーマットの切り換えについてそのタイミングを含めて受信装置に詳細に伝える必要があるが、上記従来技術の特許文献４，５は、このような仕組みを想定したものではない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、立体映像を含む映像信号が切り換わった場合に、切り換えの直後から適正な表示を実現することが可能な受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造を提供することにある。

上記課題を解決するために、本発明のある観点によれば、外部から受信した映像信号を復号する復号処理部と、前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得する識別情報取得部と、前記識別信号に基づいて、前記映像信号による画像表示のための処理を行う処理部と、を備える、受信装置が提供される。

また、前記処理部は、前記識別信号に基づいて前記映像信号による映像データの空間的または時間的なスケーリングを行い、映像のフォーマットが切り換わった場合は、切り換わりのタイミングに合わせて前記スケーリングのためのパラメータを切り換えるスケーリング部を含むものであってもよい。

また、前記識別情報は、映像の３次元フォーマットの切り換わりが生じるタイミング、又は３次元映像と２次元映像の切り換わりが生じるタイミングを示すオフセット情報を含み、前記スケーリング部は、前記オフセット情報に基づいて、前記切り換わりが生じるタイミングの前に前記パラメータを切り換えるための処理を開始するものであってもよい。

また、前記識別情報は、映像の３次元フォーマットの切り換わりが生じるタイミング、又は３次元映像と２次元映像の切り換わりが生じるタイミングを示すオフセット情報を含み、前記スケーリング部は、前記オフセット情報に基づいて、前記切り換わりが生じるタイミングの前に、復号された映像信号を保持する一時バッファの設定を切り換える処理を開始するものであってもよい。

また、前記識別情報は、前記３次元フォーマットとして、サイドバイサイド方式、トップアンドボトム方式及びフレームシーケンシャル方式の少なくとも１つを表す情報を含むものであってもよい。

また、前記識別情報は、前記３次元フォーマットによる左目用と右眼用の２つのビューのそれぞれについて、空間的又は時間的な位相が同位相であるか別位相であるかを示す情報を含むものであってもよい。

また、前記スケーリング部は、前記空間的なスケーリングとして、前記復号処理部により復号された映像を画面垂直方向又は画面水平方向に伸張する処理を行うものであってもよい。

また、前記スケーリング部は、前記時間的なスケーリングとして、時系列に配置される映像フレームのコピー又は補間処理を行うものであってもよい。

また、前記識別情報は、映像のフォーマットの変換を禁止するための情報を含むものであってもよい。

また、上記課題を解決するために、本発明のある観点によれば、映像信号を符号化する符号化処理部と、映像信号の各フレームに対応するレイヤーに、少なくとも映像の２次元または３次元に関するフォーマットを含む識別情報を挿入する識別情報挿入部と、前記識別情報が挿入された映像信号を送信する送信部と、を備える送信装置が提供される。

また、上記課題を解決するために、本発明のある観点によれば、映像信号を符号化する符号化処理部と、映像信号の各フレームに対応するレイヤーに映像の２次元または３次元に関するフォーマットを含む識別情報を挿入する識別情報挿入部と、前記識別情報が挿入された映像信号を送信する送信部と、を有する送信装置と、前記送信装置から受信した映像信号を復号する復号処理部と、前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得する識別情報取得部と、前記識別信号に基づいて、前記映像信号による画像表示のための処理を行う処理部と、を有する受信装置と、を備える、通信システムが提供される。

また、上記課題を解決するために、本発明のある観点によれば、外部から受信した映像信号を復号するステップと、前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得するステップと、前記識別信号に基づいて、前記映像信号による画像表示のための処理を行うステップと、を備える、画像表示方法が提供される。

また、上記課題を解決するために、本発明のある観点によれば、外部から受信した映像信号を復号する手段、前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得する手段、前記識別信号に基づいて、前記映像信号による画像表示のための処理を行う手段、としてコンピュータを機能させるためのプログラムが提供される。

また、上記課題を解決するために、本発明のある観点によれば、放送するコンテンツに係る映像信号を含むデジタル放送信号のデータ構造であって、前記映像信号の各フレームに対応するレイヤーには映像の２次元または３次元に関するフォーマットを含む識別情報が挿入され、前記識別情報に基づいて、前記映像信号による画像表示のための処理を行う手段として受信装置を機能させるためのデジタル放送信号のデータ構造が提供される。

本発明によれば、立体映像を含む映像信号が切り換わった場合に、切り換えの直後から適正な表示を実現することが可能となる。

本発明の一実施形態にかかる受信装置の構成例を示す模式図である。 ３Ｄ＿Ｔｙｐｅの切り換わり(Switching)が発生する例を示す模式図である。 各フレームのコーデックレイヤーのストリームシンクタクスに付加される情報の概略を示す模式図である。 各フレームのコーデックレイヤーのストリームシンクタクスに付加される情報の詳細を示す模式図である。 ３Ｄタイプを詳細に説明するための模式図である。 ３Ｄタイプを詳細に説明するための模式図である。 シンクタクスに付加される他の情報を示す模式図である。 映像が３Ｄから２Ｄに切り換わる場合を示す模式図である。 映像が３Ｄから２Ｄに切り換わり、その後、２Ｄから３Ｄに切り換わる場合を示す模式図である。 バックエンドプロセッサーにおける切り換えの前後のパラメータを示す模式図である。 ビューコピーの概念を説明するための模式図である。 メモリの設定変更を説明するための模式図である。 本実施形態に係る送信装置の構成を示す模式図である。 ３Ｄデータがフレームベースのフィールドシーケンシャル方式のインターレースの場合に、３Ｄタイプに対応するフレームを示す模式図である。 ３Ｄデータがフィールドシーケンシャル方式のインターレースの場合に、３Ｄタイプに対応するフレームを示す模式図である。 ３Ｄデータがサイドバイサイド方式の場合に、３Ｄタイプに対応するフレームを示す模式図である。 ３Ｄデータがトップアンドボトム方式の場合に、３Ｄタイプに対応するフレームを示す模式図である。 変換禁止フラグに基づく受信装置の動作を示す模式図である。 変換禁止フラグに基づく受信装置の動作を示す模式図である。 変換禁止フラグに基づく受信装置の動作を示す模式図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
（１）受信装置の構成例
（２）３Ｄタイプが切り換わる例
（３）コーデックレイヤーに付加される情報について
（４）３Ｄタイプの切り換えについて
（５）バックエンドプロセッサーにおける切り換えの前後のパラメータ
（６）ビューコピーの概念
（７）メモリの設定変更について
（８）送信装置の構成例

［（１）受信装置の概略構成］
まず、図面に基づいて、本実施形態に係る受信装置１００の概略構成について説明する。図１は、受信装置１００の構成例を示す模式図である。一例として、受信装置１００は、地上デジタル放送などを受信するテレビ受像機であり、例えば左目用映像と右目用映像とから構成される立体映像（３Ｄ映像）のビットストリームを受信し、これ復号化して表示パネルに表示させるものである。また、受信装置１００は、通常の２次元の映像（２Ｄ映像）のビットストリームを受信して複合化し、表示パネルに表示させる。

本実施形態に係る送信装置は、映像のソースに応じて、３Ｄと２Ｄの映像を適宜切り換えて送信する。例えば、番組の本編については３Ｄ映像で送信し、本編の間に挿入されるＣＭについては２Ｄ映像で送信される。また、送信装置は、３Ｄ映像を送信する場合に、フォーマット（方式）の異なる３Ｄ映像を適宜切り換えて送信する場合がある。ここで、３Ｄ映像のフォーマットとしては、例えばサイドバイサイド方式、トップアンドボトム方式、フレームシーケンシャル方式等が挙げられる。

このため、受信装置１００側では、送信装置からの映像の切り換えに応じて、受信処理を静的または動的に切り換える必要が生じる。このため、本実施形態では、３Ｄのフォーマット同士、あるいは３Ｄと２Ｄとの動的な切り替えを行う際に、コーデックのレイヤーのストリームシンタクスに切り換えのフォーマットを挿入し、また、切り換えまでの時間オフセットのパラメータを挿入する。これにより、受信装置１００側の画像プロセッサの処理系の切換えがターゲットタイミングに向けて、十分な時間的準備を確保することが可能となる。

例えば、３Ｄと２Ｄとの間で動的な切換えがあると、余分にメモリが必要となる。また、切り換えが生じると、メモリを開放する必要が生じる場合がある。後述するが、メモリの開放、初期化には１秒単位の時間を要する場合がある。

この場合において、タイムスタンプ（ＴＳ）などのコンテナレイヤで切り替えまでの時間情報を入れると、その時間情報はタイムスタンプに依存してしまうため、ビデオのＶ同期との直接的な時間関係を直接関連付けることができなかった。また、タイムスタンプは全てのピクチャに付されているとは限らないため、映像のフレームと同期して切り換えを精度良く制御することは困難である。

このため、本実施形態では、切り換えまでの時間オフセットのパラメータを、コーデックのレイヤーにおいて、ピクチャーのヘッダーに相当する位置に挿入することを基本とする。これにより、映像信号のフレーム毎にパラメータが挿入されるため、各フレーム毎に映像信号のタイミングを処理することが可能となる。また、他のパラメータとして、左目用画像Ｌ、右目用画像Ｒのタイミング、位置（Ｐｏｓｉｔｉｏｎ）を挿入する。これにより、デコードされたピクチャを正しい順番で表示することができる。以下の説明では、ＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ）の規格において、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ；ユーザデータ）として定義し、ピクチャー単位相当の箇所に挿入するものとする。これにより、フレーム毎に識別情報が挿入されるため、３Ｄのビデオフォーマットとの直接的な関連性がとられ、ビデオ周期での切換えタイミング管理を容易に行うことができる。なお、これらの情報は、ビットストリームのピクチャヘッダに挿入されるが、例えばＭＰＥＧ−４ ＡＶＣの場合、シーケンスのパラメータ（シーケンスヘッダー）、ＧＯＰ単位に相当するピクチャー・パラメータなどに付加的に挿入しても良い。これにより、より上位のレイヤーの情報を見ることなく時間オフセット等のパラメータを取得することができる。以上は、コーデックがMPEG4 AVCのみならず、MPEG2 video、VC-1、MPEG4 Visualの際にも同様の内容になる。

また、後述するが、本実施形態では、２Ｄと３Ｄのコンテンツが一本のストリームに混在しており、２Ｄを３Ｄフォーマットに変換して送る場合に、表示側で返還前のフォーマットが２Ｄなのか３Ｄなのか違いが識別できるようにするフラグを設ける。

図１に示すように、受信装置１００は、ヘッダーパーサ（Header Parser）１０２、エレメンタリーデコーダ(Elementary Decoder)１０４、バックエンドプロセッサー(Back End Processor)１０６、制御部(System Control)１１０を備える。図１に示す構成は、回路（ハードウェア）または、ＣＰＵ（中央演算処理装置）とこれを機能されるためのプログラム（ソフトウェア）によって構成されることができる。この場合に、プログラムは、受信装置１００が備えるメモリ、または外部の記憶媒体に記憶されることができる。

図１において、ヘッダーパーサ１０２は、送信装置から受信したストリーム中に３Ｄが含まれることを検知し、制御部１１０へ通知する。エレメンタリーデコーダ１０４は、送信装置から受信したストリームのビデオデータを復号して、バックエンドプロセッサー１０６へ出力する。また、エレメンタリーデコーダ１０４は、ビオオストリーム中の３Ｄ＿Ｔｙｐｅの情報を検知し、画サイズ、フレーム構造、フレーム周波数をＰｉｃｔｕｒｅ＿ｔｙｐｅ情報とともに制御部１１０へ通知する。また、エレメンタリーデコーダ１０４は、ビデオデータにタイムスタンプがある場合は、上記の情報にタイムスタンプを付加して制御部１１０へ通知する。

制御部１１０では、タイムスタンプ順、あるいはＰｉｃｔｕｒｅ＿Ｔｙｐｅに応じて、デコーダの出力バッファから表示すべきピクチャを指定し、バックエンドプロセッサー１０６へ通知する。バックエンドプロセッサー１０６は、制御部１１０からの通知に応じて、デコードされたデータを蓄積したバッファから取り出された各ピクチャの出力順を定めて後段に出力する。例えばＭＰＥＧ−４ ＡＶＣのＢピクチャがデコードされるとリオーダが発生するため、バックエンドプロセッサー１０６は、制御部１１０の指示により各フレームの出力順序を指定する。

この際、制御部１１０は、該当するビデオデータの３Ｄ＿Ｔｙｐｅ、画サイズ、フレーム構造の情報をバックエンドプロセッサー１０６へ通知し、必要な空間スケーリング、あるいは、デインターレーシング(Deinterlacing)などの時間的な処理の指定をする。そして、フレームカウントダウン(FrameCountDown)によるカウントダウン中には、その値に応じて、切り換えまでの時間（フレーム数）と新たに切り換わる３Ｄ＿Ｔｙｐｅを指定する。

バックエンドプロセッサー１０６の内部では、３Ｄ＿Ｔｙｐｅの切り替わりが発生するタイミングでスムーズな処理の切換えが可能なように準備し、切り替わり時点に同期して処理系を切り替える。後で詳細に説明するが、バックエンドプロセッサー１０６は、スムーズな処理の切り換えが可能となるように、主として３Ｄ＿Ｔｙｐｅ、２Ｄ＿Ｔｙｐｅに応じた空間的、時間的なスケーリング処理と、メモリの構成を準備する。

また、バックエンドプロセッサー１０６は、３Ｄ映像に特有の処理として、デコード後の左目用画像Ｌと右目用画像Ｒの画像データを時間方向にインターリーブ（interleave）し、３Ｄ表示系に適するように処理を行う。あるいは、バックエンドプロセッサー１０６は、画面垂直方向に左目用画像Ｌと右目用画像Ｒとをラインごとにインターリーブし、３Ｄ表示系に適するように処理を行う。なお、この両者の表示方式は、いずれも３Ｄメガネを必要とするものだが、既に公知のように裸眼での表示デバイスも存在する。

［（２）３Ｄタイプが切り換わる例］
図２は、３Ｄ＿Ｔｙｐｅの切り換わり(Switching)が発生する例を示す模式図であって、３Ｄ＿Ｔｙｐｅがトップアンドボトム方式からフレームシーケンシャル方式に切り換わる場合を示している。また、図２は、フレームが＃１から＃７へ時系列に推移する様子を示している。各フレームには、フレームカウントダウン値(FrameCountDown)、３Ｄタイプリセットフラグ(3D_Type_Reset_flag)、３Ｄタイプ（３Ｄ＿Ｔｙｐｅ）、切り換わった後の次の３Ｄタイプ（Next_3D_type_after_reset）の情報が、コーデックレイヤーのストリームシンクタクスに付加されている。従って、受信装置１００は各フレーム毎にこれらの情報を取得する。

フレームカウントダウン値は、切り換えまでのフレーム数を示す値である。図２の例では、＃１のフレームでは切り換えが指定されておらず、＃１のフレームのフレームカウントダウン値は０ｘＦＦとされている。従って、＃１のデータを受け取った時点では、切り換えが行われることは認識されない。次の＃２のフレームでは、カウントダウン値が２とされている。これにより、＃２のフレームからから２フレームが経過すると切り換えが行われることが示される。フレームカウントダウン値は、以降のフレーム＃３，＃４で１ずつ減少し、切り換えの直前のフレーム＃４で０となる。

３Ｄタイプリセットフラグは、３Ｄタイプのリセットが行われることを示すフラグである。３Ｄタイプリセットフラグが０に設定されている場合は、３Ｄタイプのリセットは行われず、次のフレームでも同じ３Ｄタイプであることが示される。一方、３Ｄタイプリセットフラグが１に設定されている場合は、そのフレームで３Ｄタイプのリセットが行われ、現フレームまでの３Ｄタイプは終了し、次のフレームでは異なる３Ｄタイプとなる。

３Ｄタイプは、現フレームの３Ｄタイプを表す情報である。フレーム＃１では、３Ｄタイプが０００１００であり、後述するが、この３Ｄタイプにより現フレームの３Ｄ方式がトップアンドボトム方式であることが示されている。また、３Ｄタイプが切り換えられた後のフレーム＃５では、３Ｄタイプが００００００であり、この３Ｄタイプにより現フレームの３Ｄ方式が従来の２Ｄ方式であることが示されている。

ネクストフレームタイプは、リセット後のフレームタイプを示す情報である。３Ｄタイプのリセットが行われる場合は、ネクストフレームタイプに切り換え後の３Ｄタイプが示される。例えば、フレーム＃２でフレームカウントダウン値が２に設定されると、２フレーム後にフレームリセットが行われるため、ネクストフレームタイプとして従来の２Ｄを表す００００００が指定される。なお、フレーム＃１の段階では、フレームカウントダウン値が０ｘ００であり、以後に３Ｄタイプの切り換えが生じることは示されていないため、ネクストフレームタイプはｘｘｘｘとされる。

従って、図２の例では、フレーム＃１では、３Ｄタイプの切り換えが行われることは示されていない状態で、トップアンドボトム方式によりデータが送られる。フレーム＃２では、フレームカウントダウン値が２に設定されているため、２フレーム後に現在の３Ｄタイプ（トップアンドボトム方式）がリセットされて、ネクストフレームタイプであるフレームシーケンシャル方式に切り換わることが示される。フレーム＃３では、フレームカウントダウン値が１に設定されているため、次のフレームで現在の３Ｄタイプがリセットされて、ネクストフレームタイプである従来の２Ｄに切り換わることが示される。そして、フレーム＃４では、フレームカウントダウン値が０に設定され、３Ｄタイプリセットフラグが１に設定されているため、現フレームで現在の３Ｄタイプがリセットされて、次のフレームからはネクストフレームタイプである従来の２Ｄ方式に切り換わることが示される。

フレーム＃５では、３Ｄタイプが００００００に指定されており、現フレームの３Ｄデータが従来の２Ｄ方式であることが示される。また、フレームカウントダウン値が０ｘＦＦに設定され、３Ｄタイプリセットフラグが０に設定されているため、以後に３Ｄタイプの切り換えが生じることは示されていない。そして、次に切り換えが発生することが示されていないため、ネクストフレームタイプはｘｘｘｘｘｘとされる。

以上のように、図２の例では、フレームカウントダウン値、３Ｄタイプリセットフラグ、３Ｄタイプ、ネクスト３Ｄタイプの情報が各フレームのコーデックレイヤーのストリームシンクタクスに付加される。従って、受信装置１００において、現フレームの３Ｄタイプを取得することができ、次に３Ｄタイプの切り換えが行われるか否か、および３Ｄタイプの切り換えまでのタイミングを予め取得することができる。これにより、切り換えに応じてスケーラの処理の準備と、メモリの構成変更の準備を事前に行うことができる。

［（３）コーデックレイヤーに付加される識別情報について］
図３は、各フレームのコーデックレイヤーのストリームシンクタクスに付加される識別情報の概略を示す模式図である。図３に示すように、ストリームシンクタクスには、ユーザデータとして、８ビットの３ＤフォーマットシグナリングＩＤが付加され、３Ｄタイプリセットフラグ（１ｂｉｔ）、変換禁止フラグ（１ｂｉｔ）、リザーブド（６ｂｉｔｓ）、フレームカウントダウン値（Frame_Countdown_to_reset; ８ｂｉｔｓ）、３Ｄタイプ（６ｂｉｔｓ）、ビューコピー（View_copy； １ｂｉｔ）、Ｌ＿Ｆｉｒｓｔ＿ｆｌａｇ（１ｂｉｔ）、ネクスト３Ｄタイプ（６ｂｉｔｓ）、Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙ（２ｂｉｔ）が付加される。

なお、３ＤフォーマットシグナリングＩＤは、一般的にはユーザデータであり、ＭＰＥＧ４−ＡＶＣではＳＥＩでのユーザ定義に該当する。上記各データは、ＭＰＥＧで規定されたバッファリングピリオドＳＥＩ、ピクチャタイミングＳＥＩなどと同様な扱いで付加することができ、全フレームのそれぞれに付加されるものである。以下、これらの情報について詳細に説明する。

図４、図５、図６及び図７は、各フレームのコーデックレイヤーのストリームシンクタクスに付加される情報の詳細を示す模式図である。図４に示すように、３Ｄタイプリセットフラグが１の場合は、現フレームにて現在の３Ｄタイプがリセットされ、３Ｄタイプリセットフラグが０の場合は、現在の３Ｄタイプが維持される。また、フレームカウントダウン値は、３Ｄタイプのリセットまでのタイムオフセット値を示しており、その値が０ｘ００になると、３Ｄタイプリセットフラグが１にセットされる。また、直近にフレームリセットが行われず、フレームカウントダウン値が使用されない場合は、その値は０ｘＦＦとされる。

図５及び図６は、３Ｄタイプを詳細に説明するための模式図である。図５及び図６に示すように、３Ｄタイプの情報としては、図２に示したサイドバイサイド方式、フレームシーケンシャル方式の他にも様々な方式が指定される。以下に説明すると、１０００００，１００００１は、３Ｄデータがフィールドシーケンシャル方式のプログレッシブの場合を示しており、１０００００は１ｓｔビュー、１００００１は２ｎｄビューであることを示している。基本的に１ｓｔビュー、２ｎｄビューの一方は左目用画像Ｌであり、他方は右目用画像Ｒである。なお、１ｓｔビューおよび２ｎｄビューが左目用画像Ｌ、右用画像Ｒのいずれであるかは、後述するＬ＿Ｆｉｒｓｔ＿Ｆｌａｇによって指定される。

また、１１００００，１１０００１，１１００１０，１１００１１は、３Ｄデータがフレームベースのフィールドシーケンシャル方式のインターレースの場合を示している。１１０００は、トップフィールドがフレームペアの第１フィールドの第１ビューであり、ボトムフィールドが第１フィールドの第２ビューであることを示している。１１００００は、図１４（Ａ）に対応する。また、１１０００１は、トップフィールドがフレームペアの第２フィールドの第１ビューであり、ボトムフィールドが第２フィールドの第２ビューであることを示している。１１０００１は、図１４（Ｂ）に対応する。また、１１００１０は、トップフィールドがフレームペアの第１フィールドの第１ビューであり、ボトムフィールドが第２フィールドの第２ビューであることを示している。１１００１０は、図１４（Ｃ）に対応する。また、１１００１１は、トップフィールドがフレームペアの第２フィールドの第１ビューであり、ボトムフィールドが第１フィールドの第２ビューであることを示している。１１００１１は、図１４（Ｄ）に対応する。

また、０１００００，０１０００１は、３Ｄデータがフィールドシーケンシャル方式の場合であり、０１００００は１ｓｔフィールドの１ｓｔビューであることを示している。また、０１０００１は１ｓｔフィールドの２ｎｄビューであることを示している。

また、０１００１０，０１００１１は、３Ｄデータがフィールドシーケンシャル方式の場合であり、０１００００は２ｎｄフィールドの１ｓｔビューであることを示している。また、０１００１１は２ｎｄフィールドの２ｎｄビューであることを示している。０１００００，０１０００１，０１００１０，０１００１１は、それぞれ図１５（Ａ）、図１５（Ｂ）、図１５（Ｃ）、図１５（Ｄ）にそれぞれ対応する。

このように、フィールドシーケンシャル（Field Sequential）の場合は、トップフィールド（Top Field）／ボトムフィールド（Bottom Field）への１ｓｔビュー（1st view）／２ｎｄビュー（2nd view）のアロケートの方法において、１ｓｔビュー（1st view）／２ｎｄビュー（2nd view）のそれぞれのソース画像に対して、2つのビュー（２ view）の双方で同じタイミングのfieldをとるか、あるいは異なるタイミングのfieldをとるかを指定できるようにする。このことで、ソース画の視差特性に応じて適応的な構成が可能となる。ここで、１ｓｔビューは、ソース画のトップフィールドを採り、２ｎｄビューもソース画のトップフィールドを採るケースと、１ｓｔビューはソース画のトップフィールドを採り、２ｎｄビューはソース画のボトムフィールドを採るケースがある。

また、００１０００，００１００１は、サイドバイサイド方式を示しており、レフトサイドが１ｓｔビューであり、ライトサイドが２ｎｄビューであることを示している。このうち、００１０００は、レフトサイドとライトサイドが同じサンプリングポジション（same sampling position）であり、サンプリングポジションが偶数行のピクセル（even pixels）であることを示している。００１００１は、レフトサイドとライトサイドが同じサンプリングポジションであり、サンプリングポジションが奇数行のピクセル（odd pixels）であることを示している。００１０００，００１００１は、図１６（Ａ）、図１６（Ｂ）にそれぞれ対応する。また、００１０１０，００１０１１は、サイドバイサイド方式を示しており、レフトサイドが１ｓｔビューであり、ライトサイドが２ｎｄビューであることを示している。このうち、００１０１０は、レフトサイドとライトサイドが異なるサンプリングポジション（alternative sampling position）であり、１ｓｔビューが偶数行のピクセルであり、２ｎｄビューが奇数行のピクセルであることを示している。００１０１１は、レフトサイドとライトサイドが異なるサンプリングポジションであり、１ｓｔビューが奇数行のピクセルであり、２ｎｄビューが偶数行のピクセルであることを示している。００１０００，００１００１は、図１６（Ｃ）、図１６（Ｄ）にそれぞれ対応する。

また、０００１００，０００１０１は、トップアンドボトム方式を示しており、アッパーサイドが１ｓｔビューであり、ロワーサイドが２ｎｄビューであることを示している。このうち、０００１００は、アッパーサイドとロワーサイドが同じサンプリングポジション（same sampling position）であり、１ｓｔビューと２ｎｄビューが共に偶数行（even lines）でサンプリングされたものである。０００１０１は、アッパーサイドとロワーサイドが別のサンプリングポジション（alternative sampling position）であることを示しており、１ｓｔビューが偶数行でサンプリングされ、２ｎｄビューが奇数行（odd lines）でサンプリングされたものである。０００１００，０００１０１は、図１７（Ａ）、図１７（Ｂ）にそれぞれ対応する。

また、０００１１０，０００１１１は、トップアンドボトム方式を示しており、アッパーサイドが１ｓｔビューであり、ロワーサイドが２ｎｄビューであることを示している。このうち、０００１１０は、アッパーサイドとロワーサイドが異なるサンプリングポジション（alternative sampling position）であり、１ｓｔビューが奇数行でサンプリングされ、２ｎｄビューが偶数行でサンプリングされたものである。０００１１１は、アッパーサイドとロワーサイドが別のサンプリングポジションであることを示しており、１ｓｔビューと２ｎｄビューが共に奇数行でサンプリングされたものである。０００１１０，０００１１１は、図１７（Ｃ）、図１７（Ｄ）にそれぞれ対応する。

以上のように３Ｄタイプを決定することで、１ｓｔビュー、２ｎｄビューをインタリーブする際に、２つのビューに関して、時間的な位相を同一とするか、あるいは別位相として割り当てるかを明示することができる。時間的な位相を別位相とすることにより、フレームシーケンシャル、あるいはフィールドシーケンシャル方式で時系列的にインターリーブする際に、別位相とすることで視差に応じた画質の時間精度を高めることが可能となる。

また、空間的な位相、特に水平方向のサブサンプルにおいて、サンプル位相を同一とするかあるいは別位相として割り当てるかを明示することができる。これにより、例えばサイドバイサイド方式で空間的に二つのビューをインターリーブする際に、空間的な位相を別位相とすることで、視差が少ない部分の水平空間解像度を高めることが可能となる。また、垂直方向のサブサンプルにおいて、サンプル位相を同一とするかあるいは別位相として割り当てるかを明示することができる。これにより、トップアンドボトム方式で空間的に二つのviewをインターリーブする際に、空間的な位相を別位相とすることで、視差が少ない部分の垂直空間解像度を高めることが可能となる。以上のような３Ｄタイプの設定によれば、各フォーマット伝送時に３Ｄタイプを選択的に指定、符号化することでより画質改善効果を実現することが可能となる。

また、３Ｄタイプが００００００の場合、３Ｄフォーマットが指定されておらず、映像データが２Ｄであることが示される。なお、図４に示す３Ｄタイプ（６ ｂｉｔｓ）の情報が付加されていない場合は、受信装置１００側では２Ｄのデータとして扱う。

以上のような３Ｄタイプの情報によれば、６ビットのうち、最初に”1”が立つビットを見れば、３Dフォーマットとしてフレームシーケンシャル（Frame Sequential）か、フィールドシーケンシャル（Field
Sequential）か、サイドバイサイド（SideBySide）か、あるいはトップアンドボトム（Top&Bottom）か、２Ｄなのかを判断することが可能である。なお、受信側において上記以外の３Ｄタイプは受け付けないようにしても良い。

図４に示すビューコピーの情報は、３Ｄのフレームペア（１ｓｔビュー、２ｎｄビュー）がコピーにより作成されたものであるか否かを示す情報である。ビューコピーが１の場合、２ｎｄビューは１ｓｔビューをコピーしたものであることが示される。この場合、１ｓｔビューと２ｎｄビューが同一であるため、受信装置１００側で２Ｄのデータとして扱われる。また、ビューコピーが０の場合、１ｓｔビューと２ｎｄビューが独立したデータであることが示され、この場合、受信装置側では３Ｄのデータであることを認識できる。

図７は、シンクタクスに付加される他の情報を示す模式図である。Ｌ＿Ｆｉｒｓｔ＿Ｆｌａｇは、１ｓｔビュー、２ｎｄビューのいずれが左目用画像Ｌ、右目用画像Ｒのいずれかであるかを示すフラグである。Ｌ＿Ｆｉｒｓｔ＿Ｆｌａｇが１の場合、１ｓｔビューが左目用画像Ｌであることが示され、Ｌ＿Ｆｉｒｓｔ＿Ｆｌａｇが０の場合、１ｓｔビューが右目用画像Ｒであることが示される。ネクスト３Ｄタイプは、上述したように切り換え後の３Ｄタイプを示す情報であり、３Ｄタイプと同様に指定される。

Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙは、ＭＰＥＧ等による動き補償の参照データがフレーム間に跨っているか否かを示すデータである。Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙが１０の場合、１ｓｔビューのフレームは他の１ｓｔビューのフレームのみを参照データとし、１ｓｔビューのフレームは２ｎｄビューのフレームを参照データとしない。この場合、２ｎｄビューについては制約がなく、２ｎｄビューのフレームは、１ｓｔビュー、または他の２ｎｄビューのフレームを参照データとすることができる。

Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙが０１の場合、２ｎｄビューは、他の２ｎｄビューのみを参照データとし、１ｓｔビューを参照しない。この場合、１ｓｔビューについては制約がなく、１ｓｔビューのフレームは、他の１ｓｔビュー、または２ｎｄビューのフレームを参照データとすることができる。

また、Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙが１１の場合、１ｓｔビューは他の１ｓｔビューのみを参照データとし、２ｎｄビューは他の２ｎｄビューのみを参照データとする。Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙが００の場合は、いずれのビューにおいても参照データの制限はない。

以上のようなＲｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙの取り決めにより、例えば左目用画像Ｌである１ｓｔビューは左目用画像のみを参照することにより、受信した左右の画像のうち、左目用画像Ｌのみで２Ｄ画像を表示する場合は、１ｓｔビューのみをデコードすればよく、処理の効率化を図ることができる。

なお、本実施形態では、図３〜図７の情報をＭＰＥＧ４ ＡＶＣのＳＥＩに挿入する。一方、他のコーデック規格においても同様に映像信号の各フレーム単位に対応する箇所に挿入することができる。例えば、ＭＰＥＧ２ビデオ、ＶＣ１、MPEG4 Visual等においても、映像信号のレイヤーおいて各フレーム単位で情報を挿入することにより映像信号と同期した切り換えが可能である。

例えばMPEG2 video(H.262 ISO/IEC IS 13818.2 Information Technology−Generic Coding of Moving Picture and Associated Audio Information: Video)の場合、同フォーマットで定義されるpicture headerのUser dataエリアに入れることができる。この場合においても、シーケンスヘッダ、スライスヘッダ、またはマクロブロックヘッダに更にデータを挿入しても良い。

［（４）３Ｄタイプの切り換えについて］
次に、３Ｄタイプの切り換えについて詳細に説明する。図８は、映像が３Ｄから２Ｄに切り換わる場合を示す模式図である。図８の上段は、受信装置が受信したフレーム毎のデータを模式的に示したものであり、＃１〜＃６のフレームは、３Ｄタイプとして１０００００及び１００００１が交互に指定され、フレームシーケンシャル方式によるプログレッシブのデータが６０［Ｈｚ］の周波数で送られる。そして、＃７のフレームで２Ｄのデータに切り換わると、３０Ｈｚの周波数で２Ｄのデータが送られる。＃７以降のフレームでは、３Ｄタイプが００００００（Ｎｏｎ−３Ｄ ｆｏｒｍａｔ）に指定される。

図８の下段では、デコーダ１０４から出力された各フレームのデータ（Ｄｅｃｏｄｅｄ Ｆｒａｍｅｓ）と、バックエンドプロセッサー１０６から出力されたフレームのデータ（ＢａｃｋＥｎｄ Ｐｒｏｃ ｏｕｔ）を模式的に示している。なお、図８の下段は、フレームの上側から見た状態を模式的に示している。デコーダ１０４からは、＃６のフレームまでは６０［Ｈｚ］の周波数で各フレームのデータが出力され、＃７以降のフレームは３０［Ｈｚ］の周波数で出力される。

バックエンドプロセッサー１０６は、デコーダ１０４の出力を受けて、＃１〜＃６のフレームは１２０［Ｈｚ］の周波数で表示パネルへ出力する。また、バックエンドプロセッサー１０８は、＃７以降のフレームについては、時間的なスケーリングを行い、１２０［Ｈｚ］のデータに変換して表示パネルへ出力する。具体的には、例えば＃７と＃８のフレーム間で補間処理を行うことにより、＃７−８のフレームを生成し、＃８と＃９のフレーム間で補間処理を行うことにより、＃８−９のフレームを生成する。また、他の方法として、＃７−８のフレームは＃７のフレームをコピーし、＃８−９のフレームは＃８のフレームをコピーしても良い。なお、ビューコピーにより＃７−８，＃８−９のフレームが送信装置１００側で予め生成されている場合は、受信装置１００は受信した２Ｄのデータをそのまま表示することができる。ビューコピーの場合、２Ｄのデータは１２０［Ｈｚ］の周波数で送信される。

図８の例において、受信装置１００は、各フレームに付加されたフレームカウントダウン値に基づいて、３Ｄから２Ｄへの切り換えタイミングを取得することができる。従って、バックエンドプロセッサー１０８では、＃７のフレームにおける切り換えタイミングを予め認識することができ、２Ｄデータのスケーリングに必要な準備を予め行うことができる。従って、３Ｄから２Ｄに映像が切り換わった場合に、タイムラグを生じさせることなく、表示を連続して行うことが可能となる。

図９は、映像が３Ｄから２Ｄに切り換わり、その後、２Ｄから３Ｄに切り換わる場合を示す模式図である。図９の上段に示すように、＃１〜＃４のフレームは、１９２０×１０８０ピクセルの６０［Ｈｚ］のインターレース（６０ｉ）のデータであり、各フレームの３Ｄフラグは“３Ｄ”を示すものとなっている。そして、＃５のフレームで２Ｄのデータに切り換わると、６０Ｈｚの１９２０×１０８０ピクセルのインターレース（６０ｉ）のデータが受信される。その後、＃１１のフレームで再び３Ｄのデータに切り換わり、１９２０×１０８０ピクセルの６０［Ｈｚ］のインターレース（６０ｉ）のデータとなる。

図９の下段では、デコーダ１０６から出力された各フレームのデータ（Ｄｅｃｏｄｅｄ Ｆｒａｍｅｓ）と、バックエンドプロセッサー１０６から出力されたフレームのデータ（ＢａｃｋＥｎｄ Ｐｒｏｃ ｏｕｔ）を模式的に示している。なお、図９の下段は、フレームの上側から見た状態を模式的に示しており、３Ｄのデータについては、サイドバイサイド方式であるため、Ｌ，Ｒのデータが画面水平方向に並べて配置されている。デコーダ１０４からは、＃４のフレームまでは６０［Ｈｚ］の周波数でサイドバイサイド方式の各フレームのデータが出力され、＃５〜＃１０のフレームでは２Ｄのデータが６０［Ｈｚ］の周波数で出力される。また、＃１１以降のフレームでは、６０［Ｈｚ］の周波数でサイドバイサイド方式の各フレームのデータが出力される。

バックエンドプロセッサー１０６は、デコーダ１０４の出力を受けて、＃１〜＃４及び＃１０〜＃１４のフレームでは、サイドバイサイド方式のＬ，Ｒのデータ（それぞれ９６０×１０８０ピクセル）を画面水平方向にそれぞれフィルタ処理（補完処理）して１９２０×１０８０ピクセルのデータに引き伸ばし、時間軸方向にスケーリングして１２０［Ｈｚ］のデータとして表示パネルへ送る。また、バックエンドプロセッサー１０８は、＃５〜＃１０の２Ｄのフレームについては、時間軸方向にスケーリング（補間処理）して１２０［Ｈｚ］に変換し、表示パネルへ出力する。

図９の例においても、受信装置１００は、各フレームに付加されたフレームカウントダウン値から３Ｄ⇔２Ｄの切り換えタイミングを取得することができる。従って、バックエンドプロセッサー１０８は、＃４のフレームにおける切り換えタイミングを予め認識することができ、２Ｄの補間処理に必要な準備を予め行うことができる。また、バックエンドプロセッサー１０８は、＃１０のフレームにおける切り換えタイミングを予め認識することができ、３Ｄの処理に必要な準備を予め行うことができる。従って、３Ｄと２Ｄの間で映像が切り換わった場合に、タイムラグを生じさせることなく、表示を連続して行うことが可能となる。

図８において、フレームシーケンシャルによる左目用画像Ｌ、右目用画像Ｒ、または２Ｄの画像のデータは、デコード後にメモリの異なる領域に記憶される。同様に、図９において、サイドバイサイドの１フレームの左目用画像Ｌ、右目用画像Ｒ、または２Ｄの画像のデータは、デコード後にメモリの異なる領域に記憶される。従って、切り換えの前後でメモリの領域が異なるため、切り換えのタイミングでは予め初期化を行う必要がある。本実施形態では、切り換えまでのタイムオフセットが予めタイムオフセット値により判るため、メモリ初期化のための準備を切り換え前から行うことができる。

また、図９の例では、バックエンドプロセッサー１０６の処理において、３Ｄの場合と２Ｄの場合とで補間処理のアルゴリズムが相違する。この場合においても、切り換えまでのタイムオフセットが予めタイムオフセット値により判るため、アルゴリズム切り換えの準備を事前に行うことができる。

［（５）バックエンドプロセッサーにおける切り換えの前後のパラメータ］
図１０は、上述した切り換えが行われる際に、バックエンドプロセッサー１０８における切り換えの前後のパラメータを示す模式図である。ここで、図１０の１列目は、映像データがフィールドシーケンシャル（ＦＳ）方式で送られてきた場合に、３Ｄと２Ｄの間で映像が切り換わる場合のパラメータの変化を示している。この例では、３Ｄのデータが１２８０×７２０ピクセルであり、左右映像の周波数が３０×２＝６０［Ｈｚ］とされている。すなわち、Ｌ，Ｒのデータはそれぞれ３０Ｈｚの周波数でデコーダ１０４から出力され、左右映像の周波数は３０×２＝６０［Ｈｚ］である。一方、２Ｄのデータも１２８０×７２０ピクセルであるが、３０［Ｈｚ］の周波数でデコーダ１０４から出力される。従って、バックエンドプロセッサー１０８は３Ｄと２Ｄの間で切り換えが発生した場合は、時間方向のスケーリングを行い、２Ｄのデータを補完処理して６０［Ｈｚ］の周波数で出力する。これにより、３Ｄと２Ｄの間で映像が切り換わる場合に、双方の映像の周波数を同一にすることができ、表示パネルの処理は同一に行うことができるとともに、切り換わりの際にユーザに違和感を与えることを抑止できる。

図１０の２列目は、３Ｄのデータがサイドバイサイド方式（ＳＢＳ）で送られてきた場合に、３Ｄと２Ｄの間で映像が切り換わる場合のパラメータの変化を示している。この例では、３ＤのデータがＬ、Ｒのそれぞれで９６０×５４０ピクセルであり、Ｌ、Ｒが画面水平方向に並べて配置された１フレームが６０［Ｈｚ］の周波数でデコーダ１０４から出力される。一方、２Ｄのデータは１９２０×５４０ピクセルであり、６０［Ｈｚ］の周波数でデコーダ１０４から出力される。従って、バックエンドプロセッサー１０８は、３Ｄ映像については、Ｌ，Ｒのそれぞれについて空間方向のスケーリングを行って、１９２０×５４０ピクセルのデータとして出力する。具体的には、フレームの画面水平方向の画素数を９６０×２＝１９２０とするフィルタリング（補完処理）を行う。一方、周波数については３Ｄ、２Ｄのいずれもデコーダ１０４の出力は６０［Ｈｚ］であるため、スケーリングは行わない。これにより、３Ｄと２Ｄの間で映像が切り換わる場合に、双方の画素数を同一にすることができる。

図１０の３列目は、３Ｄのデータがトップアンドボトム方式（ＴＡＢ）で送られてきた場合に、３Ｄと２Ｄの間で映像が切り換わる場合のパラメータの変化を示している。この例では、３ＤのデータがＬ、Ｒのそれぞれで１９２０×２７０ピクセルであり、Ｌ、Ｒが画面水平方向に並べて配置された１フレームが６０［Ｈｚ］の周波数でデコーダ１０４から出力される。一方、２Ｄのデータは１９２０×５４０ピクセルであり、６０［Ｈｚ］の周波数でデコーダ１０４から出力される。従って、バックエンドプロセッサー１０８は、３Ｄ映像については、Ｌ，Ｒのそれぞれについて空間方向のスケーリングを行って、１９２０×５４０ピクセルのデータとして出力する。具体的には、フレームの画面垂直方向の画素数を２７０×２＝５４０とする補完処理を行う。一方、フレーム周波数については３Ｄ、２Ｄのいずれもデコーダ１０４の出力は６０［Ｈｚ］であるため、スケーリングは行わない。これにより、３Ｄと２Ｄの間で映像が切り換わる場合に、双方の画素数を同一にすることができる。

以上のような画像データの空間的および時間的なスケーリングは、予め変換後のパラメータが判っていないと、切り換え直後からスケーリングされた適正な画像を表示することはできない。このため、本実施形態では、変換前にフレームカウントダウン値と、変換後のネクスト３Ｄタイプを取得できるため、切り換えのタイミングまでの間に空間的および時間的なスケーリングの切り換えの準備を行うことができる。従って、切り換え直後から、スケーリングが適正に行われた画像を表示することが可能である。

図１１は、ビューコピーの概念を説明するための模式図である。ビューコピーは、送信装置側で３Ｄ映像のＬ，Ｒの一方を他方にコピーすることで、Ｌ，Ｒを同一の映像データとし、２Ｄデータとして受信側に送るものである。図１１に示すように、元のフレームのデータ（Ｏｒｉｇｉｎａｌ Ｆｒａｍｅ）に対して、トップアンドボトムの場合は、垂直方向にデータが圧縮され（Ｓｃａｌｉｎｇ Ｖｅｒｔｉｃａｌｌｙ）、トップアンドボトムの上下のＬ，Ｒのそれぞれの領域に圧縮後の同一データが配置される。例えば元のフレームが左目用画像Ｌであり、ビューコピーにより左目用画像Ｌのみで２Ｄ表示を行う場合、垂直方向に圧縮された左目用画像Ｌのデータがトップアンドボトムの左目用画像Ｌの領域に配置され、右目用画像Ｒの領域（下側の領域）には左目用画像Ｌがコピーされる。

また、サイドバイサイド方式の場合は、元のフレームのデータに対して、水平方向にデータが圧縮され（Ｓｃａｌｉｎｇ Ｈｏｒｉｚｏｎｔａｌｌｙ）、サイドバイサイドの左右のＬ，Ｒのそれぞれの領域に圧縮後の同一データが配置される。例えば元のフレームが左目用画像Ｌであり、ビューコピーにより左目用画像Ｌのみで２Ｄ表示を行う場合、水平方向に圧縮された左目用画像Ｌのデータがサイドバイサイドの左目用画像Ｌの領域に配置され、右目用画像Ｒの領域（右側の領域）には左目用画像Ｌがコピーされる。

また、フレームシーケンシャル方式の場合は、元のフレームのデータに対して、所定のスケーリング（圧縮）が行われた後、左目用画像ＬであるフレームＮのデータが時間軸方向の次のフレームＮ＋１にコピーされる。これにより、３Ｄの場合の本来のフレームＮ＋１は右目用画像Ｒのデータであるが、左目用画像Ｌをコピーすることにより、左右の映像が同一となり、左目用画像Ｌのみで２Ｄ映像を表示することができる。

図４で説明したビューコピー（Ｖｉｅｗ＿Ｃｏｐｙ）が１の場合、２ｎｄビューは１ｓｔビューのコピーであり、図１１に示すようなビューコピーが行われている。従って、受信装置１００は、ビューコピー（Ｖｉｅｗ＿Ｃｏｐｙ）のデータを参照することにより、２Ｄのデータが送られてきた場合に、２Ｄのデータが元々３Ｄのデータであり、元のデータのＬ，Ｒの一方を他方にコピーしたものであることを認識することができる。

［（７）メモリの設定変更について］
図１２は、メモリの設定変更を説明するための模式図である。図１２の上段に示すように、デコーダ１０４の後段には、デインターレーサー１０６ａ、スケーラ１０６ｂ、フレームインターリーバ１０６ｃが配置され、これらの機能ブロックは主にバックエンドプロセッサー１０６によって構成される。図１２の下段は、デコーダ１０４からの出力を示しており、映像データがインターレースのフレームの場合と、プログレッシブのフレームの場合をそれぞれ示している。インターレースの場合、（Ｎ−１）番目のフレーム、Ｎ番目のフレームのそれぞれは、Ｅｖｅｎ ＦｉｅｌｄとＯｄｄ Ｆｉｅｌｄのフレームペアから構成され、１フレームのＬ，Ｒのデータはフレームペアにより構成される。一方、プログレッシブの場合、フレーム数はインターレースの２倍となり、２＊Ｎ番目のフレームと２＊Ｎ＋１番目のフレームのそれぞれは、Ｌ，Ｒのデータが１フレームに配置されて構成される。

これらのデータを保持するために必要なメモリは、制御部１１０によってメモリ空間にアロケートされる。ここで、３Ｄ＿ｔｙｐｅによって必要なメモリ構成は異なり、３Ｄ＿Ｔｙｐｅの切換え時点でコントローラはメモリのアロケートを初期化する。このメモリの初期化は、オペレーティング・システムに依存したタイミングで行われることが多く、初期化に要するタイミングは十ミリ秒〜数十ミリ秒単位の間隔となる場合がある。また、一方で、デインターレーサー１０６ａやスケーラ１０６ｂでのフィルタの切換えは、通常の処理を一旦停止させた上で行われる。

これらの要因から、３Ｄ＿Ｔｙｐｅの切換えを行うには、複数のビデオフレーム数あるいは複数のビデオ垂直期間から、数秒単位の期間までの間の切換え準備期間が必要となる。このため、切換え後の新たな３Ｄ＿Ｔｙｐｅを最初のビデオフレームから表示させるためには、送信側から受信側へ、３Ｄ＿Ｔｙｐｅの切換えタイミングまでの時間差の情報を伝送する必要がある。

本実施形態では、上述のように、切り換えが行われる場合は、切り換えタイミングよりも以前から、フレームカウントダウン値によって切り換えのタイミングが事前に示される。従って、受信装置１００側では、予めメモリの初期化に係る準備を行うことで、切換え後の新たな３Ｄ＿Ｔｙｐｅを切り換え直後のビデオフレームから表示させることが可能である。

［（８）変換禁止フラグに基づく変換禁止の動作について］
次に、変換禁止フラグによる変換禁止の動作について説明する。図３で説明したように、各フレームのコーデックレイヤーのストリームシンクタクスに付加される識別情報には、変換禁止フラグ（Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ）が含まれる。変換禁止フラグは、送信側から送られたコンテンツについて、送信側の意図により変換を禁止する場合に“１”に設定される。一方、送信側の意図により変換が許可される場合、変換禁止フラグは“０”に設定される。

例えば、送信されたコンテンツがプレミアムな３Ｄ映像である場合のように、送信側で２Ｄ映像としての映像表示を想定していないコンテンツが配信される場合がある。このような場合、送信側で変換禁止フラグを“１”に設定しておくことで、受信装置１００による２Ｄへの変換を禁止する。同様に、送信側されたコンテンツが２Ｄ映像であり、送信側では３Ｄ映像への変換を想定していない場合、送信側で変換禁止フラグを“１”に設定しておくことで、受信装置１００による３Ｄへの変換を禁止する。

図１８、図１９及び図２０は、変換禁止フラグに基づく受信装置１００の動作を示す模式図である。ここで、図１８及び図１９は、送信側から送信されたコンテンツが３Ｄ映像の場合を示しており、図１８はフレームシーケンシャル方式の場合を、図１９はサイドバイサイド方式の場合を示している。また、図２０は、送信されたコンテンツが２Ｄ映像の場合を示している。

図１８に示すフィールドシーケンシャル方式の場合、図８と同様に、デコーダ１０６からはフレームシーケンシャルによる左目用画像Ｌのフレームと右眼用画像Ｒのフレームが交互に出力される。図１８に示すように、変換禁止フラグが“０”の場合（［ｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝０）、変換が許可されているため、受信装置１００では、受信したコンテンツを通常に３Ｄ再生（Ｎｏｒｍａｌ ３Ｄ再生）することができる。また、変換禁止フラグが“０”の場合、受信装置１００では、３Ｄ映像を２Ｄ映像に変換して２Ｄ変換再生（２Ｄ Ｃｏｎｖｅｒｔ再生）することもできる。Ｎｏｒｍａｌ ３Ｄ再生の場合、デコーダ１０４から出力されたデータ（図１８に示すＤｅｃｏｄｅｄ Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて所定の３Ｄ処理がなされ、図１８に示す３Ｄ Ｐｒｏｃ ｏｕｔのデータとして出力される。この場合、バックエンドプロセッサー１０６では、空間方向、時間方向のスケーリングを行うことなく出力することもできる。また、２Ｄ Ｃｏｎｖｅｒｔ再生の場合、デコーダ１０４から出力されたデータ（図１８に示すＤｅｃｏｄｅｄ Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて左目用画像Ｌのフレームのみが抽出されて出力される。従って、３Ｄ映像を左目用画像Ｌのみによる２Ｄ映像に変換して再生することができる。なお、２Ｄ Ｃｏｎｖｅｒｔ再生の場合、右目用画像Ｒのフレームのみを抽出して、３Ｄ映像を右目用画像Ｒのみによる２Ｄ映像に変換して再生しても良い。

一方、図１８において、変換禁止フラグが“１” の場合（［ｉｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝１）、変換が禁止されているため、受信装置１００では、受信したコンテンツを通常に３Ｄ再生（Ｎｏｒｍａｌ ３Ｄ再生）することはできるが、２Ｄ映像に変換することはできない。このため、受信装置１００では、３Ｄ映像から２Ｄ映像への変換は機能しない。３Ｄ再生については、変換禁止フラグが“０”の場合と同様に行われる。

また、図１９に示すサイドバイサイド方式の場合、デコーダ１０４から左目用画像Ｌ及び右眼用画像Ｒが１フレームに集約された画像データが出力される。図１９に示すように、変換禁止フラグが“０”の場合（［ｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝０）、変換が許可されているため、受信装置１００では、受信したコンテンツを通常に３Ｄ再生（Ｎｏｒｍａｌ ３Ｄ再生）することができる。また、変換禁止フラグが“０”の場合、受信装置１００では、３Ｄ映像を２Ｄ映像に変換して２Ｄ変換再生（２Ｄ Ｃｏｎｖｅｒｔ再生）することもできる。Ｎｏｒｍａｌ ３Ｄ再生の場合、デコーダ１０４から出力されたデータ（図１９に示すＤｅｃｏｄｅｄ Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて左右の画像が水平方向にスケーリング処理（補間処理）されて、図１９に示す３Ｄ Ｐｒｏｃ ｏｕｔのデータとして、時系列に左目用画像Ｌと右眼用画像Ｒがフレーム毎に交互に出力される。また、２Ｄ Ｃｏｎｖｅｒｔ再生の場合、デコーダ１０４から出力されたデータ（図１９に示すＤｅｃｏｄｅｄ Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて左目用画像Ｌのみが水平方向にスケーリング処理されて、左目用画像Ｌのみがフレーム毎に出力される。従って、３Ｄ映像を左目用画像Ｌのみによる２Ｄ映像に変換して再生することができる。なお、２Ｄ Ｃｏｎｖｅｒｔ再生の場合、右目用画像Ｒのみを水平方向にスケーリング処理して、３Ｄ映像を右目用画像Ｒのみによる２Ｄ映像に変換して再生しても良い。

一方、図１９において、変換禁止フラグが“１” の場合（［ｉｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝１）、変換が禁止されているため、受信装置１００では、受信したコンテンツを通常に３Ｄ再生（Ｎｏｒｍａｌ ３Ｄ再生）することはできるが、２Ｄ映像に変換することはできない。このため、受信装置１００における３Ｄ映像から２Ｄ映像への変換は機能しない。３Ｄ再生については、変換禁止フラグが“０”
の場合と同様に行われる。

また、図２０に示すように、送信されたコンテンツが２Ｄ映像であり、変換禁止フラグが“０”の場合（［ｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝０）、変換が許可されているため、受信装置１００では、受信したコンテンツを通常に２Ｄ再生（Ｎｏｒｍａｌ ２Ｄ再生）することができる。また、変換禁止フラグが“０”の場合、受信装置１００では、２Ｄ映像を３Ｄ映像に変換して３Ｄ変換再生（３Ｄ Ｃｏｎｖｅｒｔ再生）することもできる。Ｎｏｒｍａｌ ２Ｄ再生の場合、デコーダ１０４から出力された左目用画像Ｌのデータ（図２０に示すＤｅｃｏｄｅｄ Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて３Ｄの処理は行われずに、２Ｄのデータフレームとして出力される。これにより、左目用画像Ｌによる２Ｄの映像を表示することができる。なお、送信側から右眼用画像Ｒのデータにより２Ｄ映像が送られている場合、右眼用画像Ｒによる２Ｄの映像を表示できる。

また、図２０において、２Ｄ Ｃｏｎｖｅｒｔ再生を行う場合、デコーダ１０４から出力された左目用画像Ｌのデータ（図２０に示すＤｅｃｏｄｅｄ Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて視差分だけ映像をずらす処理が行われる。この処理によって、元の左目用画像Ｌと対になる右目用画像Ｒが生成されて、左目用画像Ｌと右眼用画像Ｒが交互に出力される。なお、左目用画像Ｌを視差分だけずらす処理を行う際には、左目用画像Ｌに含まれるオブジェクト毎に視差量を相違させることにより、よりリアルな３Ｄ映像を生成することができる。この場合において、オブジェクトの検出は、輪郭のエッジを検出する方法、輝度あるいはコントラストの相違を検出する方法など、様々な手法を用いることができる。

一方、図２０において、変換禁止フラグが“１” の場合（［ｉｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝１）、変換が禁止されているため、受信装置１００では、受信したコンテンツを通常に２Ｄ再生（Ｎｏｒｍａｌ ２Ｄ再生）することはできるが、３Ｄ映像に変換することはできない。このため、受信装置１００における２Ｄ映像から３Ｄ映像への変換は機能しない。２Ｄ再生については、変換禁止フラグが“０”の場合と同様に行われる。

［（８）送信装置の構成例］
図１３は、本実施形態に係る送信装置２００の構成を示す模式図である。送信装置２００は、３Ｄ映像または２Ｄ映像をエンコードして、有線または無線の伝送路を介して受信装置１００へ送信するものである。

図１３に示すように、送信装置２００は、ＣＰＵ２０２、カウンタ２０４、スイッチ２０６、ビデオエンコーダ２０８を備える。スイッチ２０６には、データベース２１０、及びデータベース２１２が接続されている。データベース２１０、及びデータベース２１２は、送信装置２００と一体に構成されていても良いし、別体に構成されていても良い。図１３に示す構成は、回路（ハードウェア）または、ＣＰＵ（中央演算処理装置）とこれを機能されるためのプログラム（ソフトウェア）によって構成されることができる。この場合に、プログラムは、受信装置１００が備えるメモリ、または外部の記憶媒体に記憶されることができる。

データベース２１０には、３Ｄの映像Ａのデータが格納されている。また、データベース２１２には、２Ｄの映像Ｂのデータが格納されている。データベース２１０に格納された映像Ａのデータと、データベース２１２に格納された映像Ｂのデータは、スイッチ２０６へ送られる。スイッチ２０６は、映像Ａと映像Ｂのいずれか一方を選択してビデオエンコーダ２０８へ送る。スイッチ２０６は、カウンタ２０４でのフレームのカウント数に応じて、映像Ａと映像Ｂのいずれか一方のデータをビデオエンコーダ２０８へ送る。

カウンタ２０４は、ＣＰＵ２０２からの指令に基づいて、ビデオエンコーダ２０８へ送られる映像データのフレーム数をカウントし、切り換えまでのカウント数をスイッチ２０６へ送る。例えば、３Ｄの映像Ａが番組本編のデータであり、２Ｄの映像ＢがＣＭのデータである場合、ＣＰＵ２０２は、番組本編の映像ＡからＣＭの映像Ｂに切り換えるまでのタイムオフセットに相当するフレームのカウント数をスイッチ２０６へ送る。

スイッチ２０６は、カウンタ２０４から送られた切り換えまでのカウント数に基づいて、切り換えが発生するタイミングでビデオエンコーダ２０８へ送る映像を切り換える。これにより、番組本編の映像ＡとＣＭの映像Ｂとの間で相互に映像を切り換えることができる。

ビデオエンコーダ２０８は、スイッチ２０６から送られた映像Ａまたは映像Ｂのデータに対して、例えばＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２ Ｖｉｄｅｏ、VC-1、MPEG4 Visuaなどのビットストリームで受信装置１００に送信するため、エンコードする。

また、カウンタ２０４は、切り換えまでのカウント数をビデオエンコーダ２０８へ送る。ビデオエンコーダ２０８は、カウンタ２０４から送られたカウント数を、エンコードした各フレームのコーデックレイヤーのストリームシンクタクスに対して、フレームカウントダウン値として付加する。また、ビデオエンコーダ２０８は、ＣＰＵ２０２からの指令に基づいて、映像Ａまたは映像Ｂのデータに対して、図３〜図７で説明した各種データを付加する。ビデオエンコーダ２０８でエンコードされたビットストリームは、送信部２１４から受信装置１００へ送信される。

以上のような構成によれば、送信装置２００は、ＣＰＵ２０２の指示に基づいて、３Ｄの映像Ａと２Ｄの映像Ｂとを切り換えることができる。また、送信装置２００は、ＣＰＵ２０２の指示に基づいて、切り換えまでのフレーム数を示すカウントダウン値をビデオデータに付加することができる。また、送信装置２００は、図３〜図７の各種情報をビデオデータに付加することができる。従って、受信装置１００側では、送信装置２００で付加されたこれらの情報に基づいて、切り換え前後の処理を行うことができ、切り換えに関する各種処理を事前に準備することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ 受信装置
１０４ デコーダ
１０６ バックエンドプロセッサー
２００ 送信装置
２０２ ＣＰＵ
２０８ ビデオエンコーダ
２０６ フレーミング部

Claims (15)

1. 外部から受信した映像信号を復号する復号処理部と、
   前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報であって、３次元の映像から２次元の映像への切り換えを示すフラグを含む識別情報を取得する識別情報取得部と、
   前記識別情報に基づいて、前記映像信号による画像表示のための処理を行う処理部と、
   を備える、受信装置。
2. 前記処理部は、前記識別情報に基づいて前記映像信号による映像データの空間的または時間的なスケーリングを行い、映像のフォーマットが切り換わった場合は、切り換わりのタイミングに合わせて前記スケーリングのためのパラメータを切り換えるスケーリング部を含む、請求項１に記載の受信装置。
3. 前記識別情報は、映像の３次元フォーマットの切り換わりが生じるタイミング、又は３次元映像と２次元映像の切り換わりが生じるタイミングを示すオフセット情報を含み、
   前記スケーリング部は、前記オフセット情報に基づいて、前記切り換わりが生じるタイミングの前に前記パラメータを切り換えるための処理を開始する、請求項２に記載の受信装置。
4. 前記識別情報は、映像の３次元フォーマットの切り換わりが生じるタイミング、又は３次元映像と２次元映像の切り換わりが生じるタイミングを示すオフセット情報を含み、
   前記スケーリング部は、前記オフセット情報に基づいて、前記切り換わりが生じるタイミングの前に、復号された映像信号を保持する一時バッファの設定を切り換える処理を開始する、請求項２に記載の受信装置。
5. 前記識別情報は、前記３次元フォーマットとして、サイドバイサイド方式、トップアンドボトム方式及びフレームシーケンシャル方式の少なくとも１つを表す情報を含む、請求項２に記載の受信装置。
6. 前記識別情報は、前記３次元フォーマットによる左目用と右眼用の２つのビューのそれぞれについて、空間的又は時間的な位相が同位相であるか別位相であるかを示す情報を含む、請求項２に記載の受信装置。
7. 前記識別情報は、映像信号が３次元の左右映像の一方を他方にコピーすることにより２次元の映像とされている旨を示す信号を含む、請求項２に記載の受信装置。
8. 前記スケーリング部は、前記空間的なスケーリングとして、前記復号処理部により復号された映像を画面垂直方向又は画面水平方向に伸張する処理を行う、請求項２に記載の受信装置。
9. 前記スケーリング部は、前記時間的なスケーリングとして、時系列に配置される映像フレームのコピー又は補間処理を行う、請求項２に記載の受信装置。
10. 前記識別情報は、映像のフォーマットの変換を禁止するための情報を含む、請求項１に記載の受信装置。
11. 映像信号を符号化する符号化処理部と、
    映像信号の各フレームに対応するレイヤーに、少なくとも映像の２次元または３次元に関するフォーマットを含む識別情報であって、３次元の映像から２次元の映像への切り換えを示すフラグを含む識別情報を挿入する識別情報挿入部と、
    前記識別情報が挿入された映像信号を送信する送信部と、
    を備える送信装置。
12. 映像信号を符号化する符号化処理部と、映像信号の各フレームに対応するレイヤーに映像の２次元または３次元に関するフォーマットを含む識別情報であって、３次元の映像から２次元の映像への切り換えを示すフラグを含む識別情報を挿入する識別情報挿入部と、前記識別情報が挿入された映像信号を送信する送信部と、を有する送信装置と、
    前記送信装置から受信した映像信号を復号する復号処理部と、
    前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報であって、３次元の映像から２次元の映像への切り換えを示すフラグを含む識別情報を取得する識別情報取得部と、前記識別情報に基づいて、前記映像信号による画像表示のための処理を行う処理部と、を有する受信装置と、
    を備える、通信システム。
13. 外部から受信した映像信号を復号するステップと、
    前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報であって、３次元の映像から２次元の映像への切り換えを示すフラグを含む識別情報を取得するステップと、
    前記識別情報に基づいて、前記映像信号による画像表示のための処理を行うステップと、
    を備える、画像表示方法。
14. 外部から受信した映像信号を復号する手段、
    前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報であって、３次元の映像から２次元の映像への切り換えを示すフラグを含む識別情報を取得する手段、
    前記識別情報に基づいて、前記映像信号による画像表示のための処理を行う手段、
    としてコンピュータを機能させるためのプログラム。
15. 放送するコンテンツに係る映像信号を含むデジタル放送信号のデータ構造であって、
    前記映像信号の各フレームに対応するレイヤーには映像の２次元または３次元に関するフォーマットを含む識別情報であって、３次元の映像から２次元の映像への切り換えを示すフラグを含む識別情報が挿入され、
    前記識別情報に基づいて、前記映像信号による画像表示のための処理を行う手段として受信装置を機能させるためのデジタル放送信号のデータ構造。

Images