JP4733764B2 - 三次元映像処理装置及び三次元映像処理方法 - Google Patents

Description

本発明は、三次元映像処理装置に関し、特に、三次元の主映像にオブジェクト画像を重畳する三次元映像処理装置に関する。

従来、視聴者が立体的に感じるように映像を三次元表示させる技術が知られている。例えば、三次元映像表示装置は、視差を有する２枚の画像（左眼用画像と右眼用画像）を表示する。三次元映像表示装置は、視聴者の左眼には左眼用画像が、右眼には右眼用画像が入射されるように表示方法を制御することで、視聴者は、画像を立体的に感じることができる。

また、映画などの主映像に字幕などのオブジェクト画像を重畳表示させる技術も知られている。また、重畳表示の技術の発展に伴い、字幕データが伝送エラーなどにより破損してしまった場合に、文字の補正を行う技術も開発されている（例えば、特許文献１参照）。

以上のことから、三次元表示の技術とオブジェクト画像の重畳表示の技術とを組み合わせることで、主映像だけでなく、字幕も三次元表示させる技術が考えられる。

特開２００５−２３６９２５号公報

しかしながら、上記従来技術には、所定の出画時刻までに出画すべき画像が準備されていない場合に、三次元映像を視聴している視聴者に不快感を与えるという課題がある。具体的には以下の通りである。

オブジェクト画像の復号が間に合わない場合、又は、ストリームにエラーが生じたために正しく復号ができない場合には、所定の出画時刻までに出画すべき画像が準備されない。従来の三次元映像処理装置では、左眼用オブジェクト画像及び右眼用オブジェクト画像のいずれか一方の出画準備ができておらず、他方のみの出画準備が完了している場合、出画準備が完了している一方の画像のみを出画していた。このため、出画すべきオブジェクト画像が二次元で表示されてしまう。

例えば、特許文献１に記載の技術では、オブジェクト画像が文字で構成されている場合はデータの破損があっても補正することができるが、オブジェクト画像がビットマップなどのグラフィックスで構成されている場合、オブジェクト画像の管理情報を補正することができない。したがって、補正できないデータは破棄されてしまう。この場合も、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方のみのデータが破棄されてしまうと、破棄されなかったデータに対応するオブジェクト画像のみが二次元表示されてしまう。

このように、主映像は三次元表示され、オブジェクト画像が二次元表示されると、視聴者は不快に感じてしまうことがある。

そこで、本発明は、上記課題を解決するためになされたものであって、三次元映像の途中で表示が二次元になるという、視聴者に与える不快感を軽減する三次元映像処理装置及び三次元映像処理方法を提供することを目的とする。

上記目的を達成するため、本発明に係る三次元映像処理装置は、視差を有する、主映像に重畳される左眼用オブジェクト画像と右眼用オブジェクト画像とを出画する三次元映像処理装置であって、前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の一方である第１画像の出画準備を行って出画する第１画像処理部と、前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の他方である第２画像の出画準備を行って出画する第２画像処理部と、前記第１画像と前記第２画像とを同期させて出画するように、前記第１画像処理部と前記第２画像処理部とを制御する出画制御部とを備え、前記第１画像処理部は、前記第１画像の出画準備が完了しているか否かを判定する第１判定部を備え、前記第２画像処理部は、前記第２画像の出画準備が完了しているか否かを判定する第２判定部を備え、前記出画制御部は、前記第１判定部及び前記第２判定部の一方によって、前記第１画像及び前記第２画像の一方の出画準備が完了していないと判定された場合、前記第１画像及び前記第２画像の双方の出画をスキップさせる。

本発明に係る三次元映像処理装置及び三次元映像処理方法によれば、視聴者に与える不快感を軽減することができる。

実施の形態１に係る三次元映像処理装置の構成を示すブロック図である。 三次元映像処理装置を備えるデジタルビデオレコーダ及びデジタルテレビの外観を示す模式図である。 実施の形態１に係るオブジェクト処理部の構成を示すブロック図である。 実施の形態１に係るオブジェクト処理部のエラー検出に関わる動作を示すフローチャートである。 実施の形態１に係るエラー発生時の出画される画像を模式的に示す図である。 実施の形態１に係るエラー発生時の出画される画像を模式的に示す図である。 実施の形態２に係るオブジェクト処理部の構成を示すブロック図である。 実施の形態２に係るオブジェクト処理部のエラー検出に関わる動作を示すフローチャートである。 実施の形態２に係るエラー発生時の出画される画像を模式的に示す図である。 実施の形態３に係るオブジェクト処理部の構成を示すブロック図である。 実施の形態３に係るオブジェクト処理部の出画に関わる動作を示すフローチャートである。 実施の形態４に係るオブジェクト処理部の構成を示すブロック図である。 実施の形態４に係るオブジェクト処理部の出画に関わる動作を示すフローチャートである。 実施の形態４に係る出画準備が完了していない場合の出画される画像を模式的に示す図である。 実施の形態５に係るオブジェクト処理部の構成を示すブロック図である。 実施の形態５に係るオブジェクト処理部の出画に関わる動作を示すフローチャートである。 実施の形態５に係る出画準備が完了していない場合の出画される画像を模式的に示す図である。 実施の形態６に係るオブジェクト処理部の構成を示すブロック図である。 実施の形態６に係るオブジェクト処理部の出画に関わる動作を示すフローチャートである。 実施の形態６に係る出画準備が完了していない場合の出画される画像を模式的に示す図である。

以下では、本発明に係る三次元映像処理装置及び三次元映像処理方法について、実施の形態に基づいて図面を参照しながら詳細に説明する。

（実施の形態１）
実施の形態１に係る映像信号処理装置は、視差を有する、主映像に重畳される左眼用オブジェクト画像と右眼用オブジェクト画像とを出画する三次元映像処理装置であって、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方である第１画像の出画準備を行って出画する第１画像処理部と、左眼用オブジェクト画像及び右眼用オブジェクト画像の他方である第２画像の出画準備を行って出画する第２画像処理部と、第１画像と第２画像とを同期させて出画するように、第１画像処理部と第２画像処理部とを制御する出画制御部とを備える。第１画像処理部は、第１画像の出画準備が完了しているか否かを判定する第１判定部を備え、第２画像処理部は、第２画像の出画準備が完了しているか否かを判定する第２判定部を備え、出画制御部は、第１判定部及び第２判定部の一方によって、第１画像及び第２画像の一方の出画準備が完了していないと判定された場合、第１画像及び第２画像の双方の出画をスキップさせることを特徴とする。

まず、実施の形態１に係る三次元映像処理装置の構成について説明する。

図１は、実施の形態１に係る三次元映像処理装置１００の構成を示すブロック図である。実施の形態１に係る三次元映像処理装置１００は、符号化された三次元映像を示す符号化ストリームを取得し、取得した符号化ストリームを復号することで三次元映像を生成して出力する。なお、符号化ストリームは、映画などの主映像と、主映像に重畳する字幕などのオブジェクト画像とが符号化されて生成されたストリームである。

図１に示すように、三次元映像処理装置１００は、入力部１１０と、分離部１２０と、主映像処理部１３０と、オブジェクト処理部１４０と、合成部１５０とを備える。

入力部１１０は、符号化ストリームを取得する。例えば、入力部１１０は、符号化ストリームが記録されている記録媒体１６０から符号化ストリームを取得する。取得した符号化ストリームは、例えば、バッファ（図示せず）などに格納される。

符号化ストリームは、主映像とオブジェクト画像とがそれぞれ符号化され、符号化された主映像を示す符号化主映像ストリームと、符号化されたオブジェクト画像を示す符号化オブジェクトストリームとが多重化されて生成されたストリームである。主映像は、視聴者の左眼に入射されるべき左眼用主画像と、視聴者の右眼に入射されるべき右眼用主画像とから構成される。主映像は、例えば、映画、ＴＶ番組などの映像である。

オブジェクト画像は、視聴者の左眼に入射されるべき左眼用オブジェクト画像と、視聴者の右眼に入射されるべき右眼用オブジェクト画像とから構成される。オブジェクト画像は、例えば、映画の字幕、記号、図形、又は、メニュー画像である。メニュー画像は、選択ボタンなどを示す画像である。

なお、記録媒体１６０は、例えば、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）などの光ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気ディスク、又は、不揮発性メモリなどである。

また、入力部１１０は、記録媒体１６０から符号化ストリームを取得するのではなく、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブルなどで接続された映像記録再生装置（例えば、デジタルビデオレコーダ）などから、ＨＤＭＩケーブルを介して符号化ストリームを取得してもよい。あるいは、入力部１１０は、地上デジタルテレビ放送及び衛星デジタルテレビ放送などの放送波、又はインターネットを介して符号化ストリームを取得してもよい。

分離部１２０は、入力部１１０によって取得された符号化ストリームを、左眼用主映像と、右眼用主映像と、左眼用オブジェクト画像と、右眼用オブジェクト画像とに分離する。具体的には、左眼用オブジェクト画像と右眼用オブジェクト画像とは、それぞれ独立のストリーム（左眼用オブジェクトストリームと右眼用オブジェクトストリーム）に分離される。なお、以下では、左眼用オブジェクトストリームと右眼用オブジェクトストリームとをそれぞれ、単に、左眼用ストリームと右眼用ストリームと記載する。

また、左眼用主映像と右眼用主映像とも同様に、それぞれ独立のストリーム（左眼用主映像ストリームと右眼用主映像ストリーム）に分離される。ただし、左眼用主映像ストリームと右眼用主映像ストリームとは、参照関係を有していてもよい。例えば、右眼用主映像ストリームに含まれる画像は、左眼用主映像ストリームに含まれる画像を参照して符号化されていてもよい。

左眼用主映像（左眼用主映像ストリーム）と右眼用主映像（右眼用主映像ストリーム）とは、主映像処理部１３０へ出力される。左眼用オブジェクト画像（左眼用ストリーム）と右眼用オブジェクト画像（右眼用ストリーム）とは、オブジェクト処理部１４０へ出力される。

なお、左眼用ストリームと右眼用ストリームとは、それぞれ独立して復号することが可能であり、かつ、同じ構成となるように定義されている。なお、同じ構成となるとは、左眼用ストリームと右眼用ストリームとのそれぞれに含まれるヘッダのうち複数の情報は、互いに同じ情報であることである。

また、左眼用主映像ストリーム、右眼用主映像ストリーム、左眼用ストリーム及び右眼用ストリームはそれぞれ、別々に入力されてもよい。例えば、左眼用主映像ストリームと右眼用主映像ストリームとは、記録媒体１６０から入力され、左眼用ストリームと右眼用ストリームとはインターネット経由で入力されてもよい。このとき、分離部１２０は、入力されたストリームの種別に応じて、主映像処理部１３０及びオブジェクト処理部１４０のいずれかへ、入力されたストリームを出力する。

主映像処理部１３０は、左眼用主映像と右眼用主映像とを処理することで、三次元表示される主映像を生成する。図１に示すように、主映像処理部１３０は、左眼用主映像処理部１３１と、右眼用主映像処理部１３２と、選択部１３３とを備える。

左眼用主映像処理部１３１は、符号化された左眼用主映像を示す左眼用主映像ストリームを復号することで、左眼用主映像を生成する。なお、生成した左眼用主映像は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリに格納される。さらに、左眼用主映像処理部１３１は、生成した左眼用主映像の画像サイズ、フレームレート、及び走査方式を変更してもよい。

右眼用主映像処理部１３２は、符号化された右眼用主映像を示す右眼用主映像ストリームを復号することで、右眼用主映像を生成する。なお、生成した右眼用主映像は、例えば、ＤＲＡＭなどのメモリに格納される。さらに、右眼用主映像処理部１３２は、生成した右眼用主映像の画像サイズ、フレームレート、及び走査方式を変更してもよい。

選択部１３３は、左眼用主映像と右眼用主映像とを１ピクチャ毎に交互に選択して、選択した画像を合成部１５０へ出画する。なお、これは、三次元表示の技術として、左眼用主映像と右眼用主映像とを１ピクチャ毎に交互に表示させる技術を利用したものである。１枚のピクチャに左眼用主映像と右眼用主映像とを空間的に異なる画素毎に配置させて表示する技術を用いてもよい。その場合、主映像処理部１３０は、選択部１３３の代わりに、画素毎に左眼用主映像と右眼用主映像とを配置させる映像合成部を備えればよい。

オブジェクト処理部１４０は、左眼用ストリームと右眼用ストリームとをそれぞれ復号することで、左眼用オブジェクト画像と右眼用オブジェクト画像とを生成する。オブジェクト処理部１４０の詳細な構成及び動作については、後で説明する。

合成部１５０は、主映像処理部１３０から出力される主映像とオブジェクト処理部１４０から出力されるオブジェクト画像とをピクチャ毎に重畳することで合成画像を生成する。生成した合成画像は、表示パネルなどの表示装置に出力されて表示される。

なお、実施の形態１に係る三次元映像処理装置１００は、例えば、図２に示すようなデジタルテレビ１０又はデジタルビデオレコーダ２０に備えられる。デジタルビデオレコーダ２０が三次元映像処理装置１００を備える場合、合成部１５０によって生成された合成画像は、例えば、ＨＤＭＩケーブルなどを介してデジタルテレビ１０に出力される。

続いて、実施の形態１に係るオブジェクト処理部１４０の詳細な構成について説明する。

図３は、実施の形態１に係るオブジェクト処理部１４０の構成を示すブロック図である。オブジェクト処理部１４０は、主映像に重畳される画像であり、視差を有する左眼用オブジェクト画像と右眼用オブジェクト画像とを生成して出画する。左眼用オブジェクト画像及び右眼用オブジェクト画像は、字幕、記号、図形又はメニュー画像である。

図３に示すように、オブジェクト処理部１４０は、左眼用オブジェクト処理部２１０と、右眼用オブジェクト処理部２２０と、出画制御部２３０と、選択部２４０とを備える。

左眼用オブジェクト処理部２１０は、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方である第１画像の出画準備を行って出画する第１画像処理部の一例である。左眼用オブジェクト処理部２１０は、符号化された左眼用オブジェクト画像を含む左眼用ストリームを復号することで、左眼用オブジェクト画像を生成する。そして、左眼用オブジェクト処理部２１０は、第１プレーンメモリを有し、出画準備として、生成した左眼用オブジェクト画像を第１プレーンメモリにヘッダを用いて描画し、所定の出画予定時刻に出画する。

図３に示すように、左眼用オブジェクト処理部２１０は、ストリームバッファ２１１と、デコーダ２１２と、オブジェクトバッファ２１３と、属性情報バッファ２１４と、出画処理部２１５と、グラフィックスプレーン２１６と、色変換部２１７とを備える。

ストリームバッファ２１１は、分離部１２０から出力された左眼用ストリームを格納するバッファメモリである。

デコーダ２１２は、ストリームバッファ２１１から左眼用ストリームを読み出し、読み出した左眼用ストリームを復号することで、左眼用オブジェクト画像とヘッダとを生成する。左眼用オブジェクト画像は、オブジェクトバッファ２１３に格納され、ヘッダは、属性情報バッファ２１４に格納される。

なお、ヘッダは、左眼用オブジェクト画像の属性情報を含み、例えば、左眼用オブジェクトの描画及び出画を制御するために用いられる情報を含んでいる。例えば、ヘッダは、主映像の画像サイズ及びフレームレートを示すビデオ情報、ウインドウの識別子及びウインドウサイズを示すウインドウ情報、並びに、オブジェクト画像の識別子及び切り出しサイズを示すオブジェクト制御情報などを含んでいる。また、ヘッダは、オブジェクト画像の表示位置を示す情報などを含んでいる。

なお、以上に示すヘッダが示す情報のうち、ビデオ情報、ウインドウ情報及びオブジェクト制御情報は、左眼用オブジェクト画像と右眼用オブジェクト画像とで同じである。

オブジェクトバッファ２１３は、左眼用オブジェクト画像を保持するバッファメモリである。なお、左眼用オブジェクト画像は、例えば、ビットマップ形式の画像である。

属性情報バッファ２１４は、上記のヘッダを保持するバッファメモリである。

出画処理部２１５は、属性情報バッファ２１４に格納されたヘッダを用いて、左眼用オブジェクト画像の出画準備を行う。具体的には、出画処理部２１５は、ヘッダに含まれる属性情報に従って、オブジェクトバッファ２１３に格納された左眼用オブジェクト画像をグラフィックスプレーン２１６に描画することで出画準備を行う。出画準備が完了すると、出画処理部２１５は、出画準備が完了したことを示す準備完了通知を出画制御部２３０に通知する。準備完了通知には、出画準備が完了した左眼用オブジェクト画像の出画予定時刻、例えば、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を含んでいる。

そして、出画処理部２１５は、出画制御部２３０から通知される出画指示に従って、左眼用オブジェクト画像を出画する時刻である出画予定時刻に、左眼用オブジェクト画像を出画するようにグラフィックスプレーン２１６及び色変換部２１７を制御する。さらに、出画処理部２１５は、第１判定部の一例であり、左眼用オブジェクト画像の出画準備が完了しているか否かを判定する。

具体的には、出画処理部２１５は、属性情報バッファ２１４に格納されているヘッダを解析する。解析の結果、ヘッダにエラーが発生している場合、出画処理部２１５は、左眼用オブジェクト画像の出画準備が完了していないと判定し、エラーが発生したことを示すエラー通知を出画制御部２３０に通知する。エラー通知は、対象となる左眼用オブジェクト画像の出画予定時刻、具体的には、対象となる左眼用オブジェクト画像のＰＴＳを含む。

なお、ヘッダにエラーが発生している場合とは、例えば、ヘッダが予め定められた規格に従っていない場合、すなわち、ヘッダが規格外の値となっている場合である。あるいは、ヘッダが欠落しており、対象の左眼用オブジェクト画像のヘッダが属性情報バッファ２１４に格納されていない場合である。

また、出画処理部２１５は、出画制御部２３０から出画スキップ指示を受け取った場合、出画スキップ指示が示す時刻に対応する左眼用オブジェクト画像の出画をスキップする。具体的には、出画処理部２１５は、グラフィックスプレーン２１６の出画処理を行わないことで、左眼用オブジェクト画像の出画をスキップする。なお、グラフィックスプレーン２１６に書き込まれたデータは、次のオブジェクト画像の出画準備に備えてクリアされる。

グラフィックスプレーン２１６は、第１プレーンメモリの一例であり、左眼用オブジェクト画像を描画するために用いられる描画用のプレーンメモリである。

色変換部２１７は、ＣＬＵＴ（Ｃｏｌｏｒ Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を有し、左眼用オブジェクト画像をカラー表示させる。

なお、符号化されていない左眼用オブジェクト画像が左眼用オブジェクト処理部２１０に入力される場合は、左眼用オブジェクト処理部２１０は、ストリームバッファ２１１及びデコーダ２１２を備えていなくてもよい。

右眼用オブジェクト処理部２２０は、左眼用オブジェクト画像及び右眼用オブジェクト画像の他方である第２画像の出画準備を行って出画する第２画像処理部の一例である。右眼用オブジェクト処理部２２０は、符号化された右眼用オブジェクト画像を含む右眼用ストリームを復号することで、右眼用オブジェクト画像を生成する。そして、右眼用オブジェクト処理部２２０は、第２プレーンメモリを有し、出画準備として、生成した右眼用オブジェクト画像を第２プレーンメモリにヘッダを用いて描画し、所定の出画予定時刻に出画する。

図３に示すように、右眼用オブジェクト処理部２２０は、ストリームバッファ２２１と、デコーダ２２２と、オブジェクトバッファ２２３と、属性情報バッファ２２４と、出画処理部２２５と、グラフィックスプレーン２２６と、色変換部２２７とを備える。

ストリームバッファ２２１は、分離部１２０から出力された右眼用ストリームを格納するバッファメモリである。

デコーダ２２２は、ストリームバッファ２２１から右眼用ストリームを読み出し、読み出した右眼用ストリームを復号することで、右眼用オブジェクト画像とヘッダとを生成する。右眼用オブジェクト画像は、オブジェクトバッファ２２３に格納され、ヘッダは、属性情報バッファ２２４に格納される。

なお、ヘッダは、右眼用オブジェクト画像の属性情報を含み、例えば、右眼用オブジェクトの描画及び出画を制御するために用いられる情報を含んでいる。例えば、ヘッダは、主映像の画像サイズ及びフレームレートを示すビデオ情報、ウインドウの識別子及びウインドウサイズを示すウインドウ情報、並びに、オブジェクト画像の識別子及び切り出しサイズを示すオブジェクト制御情報などを含んでいる。また、ヘッダは、オブジェクト画像の表示位置を示す情報、及び、左眼用オブジェクト画像と右眼用オブジェクト画像とが有する視差を示す情報を含んでいる。

なお、以上に示すヘッダが示す情報のうち、ビデオ情報、ウインドウ情報及びオブジェクト制御情報は、左眼用オブジェクト画像と右眼用オブジェクト画像とで同じである。

オブジェクトバッファ２２３は、右眼用オブジェクト画像を保持するバッファメモリである。なお、右眼用オブジェクト画像は、例えば、ビットマップ形式の画像である。

属性情報バッファ２２４は、上記のヘッダを保持するバッファメモリである。

出画処理部２２５は、属性情報バッファ２２４に格納されたヘッダを用いて、右眼用オブジェクト画像の出画準備を行う。具体的には、出画処理部２２５は、ヘッダに含まれる属性情報に従って、オブジェクトバッファ２２３に格納された右眼用オブジェクト画像をグラフィックスプレーン２２６に描画することで出画準備を行う。出画準備が完了すると、出画処理部２２５は、出画準備が完了したことを示す準備完了通知を出画制御部２３０に通知する。準備完了通知は、出画準備が完了した右眼用オブジェクト画像の出画予定時刻、例えば、ＰＴＳを含んでいる。

そして、出画処理部２２５は、出画制御部２３０から通知される出画指示に従って、右眼用オブジェクト画像を出画する時刻である出画予定時刻に、右眼用オブジェクト画像を出画するようにグラフィックスプレーン２２６及び色変換部２２７を制御する。さらに、出画処理部２２５は、第２判定部の一例であり、右眼用オブジェクト画像の出画準備が完了しているか否かを判定する。

具体的には、出画処理部２２５は、属性情報バッファ２２４に格納されているヘッダを解析する。解析の結果、ヘッダにエラーが発生している場合、出画処理部２２５は、右眼用オブジェクト画像の出画準備が完了していないと判定し、エラーが発生したことを示すエラー通知を出画制御部２３０に通知する。エラー通知は、対象となる右眼用オブジェクト画像の出画予定時刻、具体的には、対象となる右眼用オブジェクト画像のＰＴＳを含んでいる。

なお、ヘッダにエラーが発生している場合とは、例えば、ヘッダが予め定められた規格に従っていない場合、すなわち、ヘッダが規格外の値となっている場合である。あるいは、ヘッダが欠落しており、対象の右眼用オブジェクト画像のヘッダが属性情報バッファ２２４に格納されていない場合である。

また、出画処理部２２５は、出画制御部２３０から出画スキップ指示を受け取った場合、出画スキップ指示が示す時刻に対応する右眼用オブジェクト画像の出画をスキップする。具体的には、出画処理部２２５は、グラフィックスプレーン２２６の出画処理を行わないことで、右眼用オブジェクト画像の出画をスキップする。なお、グラフィックスプレーン２２６に書き込まれたデータは、次のオブジェクト画像の出画準備に備えてクリアされる。

グラフィックスプレーン２２６は、第２プレーンメモリの一例であり、右眼用オブジェクト画像を描画するために用いられる描画用のプレーンメモリである。

色変換部２２７は、ＣＬＵＴ（Ｃｏｌｏｒ Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を有し、右眼用オブジェクト画像をカラー表示させる。

なお、符号化されていない右眼用オブジェクト画像が右眼用オブジェクト処理部２２０に入力される場合は、右眼用オブジェクト処理部２２０は、ストリームバッファ２２１及びデコーダ２２２を備えていなくてもよい。

出画制御部２３０は、左眼用オブジェクト画像と右眼用オブジェクト画像とを同期させて出画するように、左眼用オブジェクト処理部２１０と右眼用オブジェクト処理部２２０とを制御する。図３に示すように、出画制御部２３０は、出画同期部２３１と、デコーダ制御部２３２とを備える。

出画同期部２３１は、左眼用オブジェクト画像と右眼用オブジェクト画像とを同期させる。具体的には、出画同期部２３１は、出画処理部２１５及び２２５から通知されるＰＴＳに基づいて、同じＰＴＳを有する左眼用オブジェクト画像と右眼用オブジェクト画像とを、ＰＴＳが示す同じ時刻に出画されるように、出画処理部２１５及び２２５にそれぞれ出画指示を通知する。

デコーダ制御部２３２は、出画処理部２１５及び出画処理部２２５の一方によって、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が完了していないと判定された場合、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップさせる。具体的には、出画処理部２１５及び２２５の一方からエラー通知を受け取った場合、デコーダ制御部２３２は、出画処理部２１５及び２２５の双方に出画スキップ指示を通知する。

出画スキップ指示は、出画をスキップさせるための指示であり、スキップさせる画像のＰＴＳを含んでいる。つまり、デコーダ制御部２３２は、出画処理部２１５及び２２５の一方からエラー通知とともに通知されたＰＴＳを、出画処理部２１５及び２２５の双方に出画スキップ指示として通知する。

選択部２４０は、左眼用オブジェクト処理部２１０から出画された左眼用オブジェクト画像と、右眼用オブジェクト処理部２２０から出画された右眼用オブジェクト画像とを１ピクチャ毎に交互に選択して、選択した画像を合成部１５０へ出画する。

なお、選択部２４０は、選択部１３３と同様に、三次元表示の技術として、左眼用オブジェクト画像と右眼用オブジェクト画像とを１ピクチャ毎に交互に表示させる技術を利用したものである。１枚のピクチャに左眼用オブジェクト画像と右眼用オブジェクト画像とを空間的に異なる画素毎に配置させて表示する技術を用いてもよい。その場合、オブジェクト処理部１４０は、選択部２４０の代わりに、画素毎に左眼用オブジェクト画像と右眼用オブジェクト画像とを配置させるオブジェクト画像合成部を備えればよい。

以上の構成に示すように、実施の形態１に係る三次元映像処理装置１００は、主映像の復号などを行う主映像処理部１３０と、主映像に重畳される画像であるオブジェクト画像の復号などを行うオブジェクト処理部１４０とを備える。オブジェクト処理部１４０では、左眼用オブジェクト処理部２１０が左眼用ストリームを復号することで、左眼用オブジェクト画像を生成して出画し、右眼用オブジェクト処理部２２０が右眼用ストリームを復号することで、右眼用オブジェクト画像を生成して出画する。

また、出画制御部２３０は、左眼用オブジェクト画像と右眼用オブジェクト画像とを同期させて出画させる。さらに、出画制御部２３０は、左眼用オブジェクト画像と右眼用オブジェクト画像との一方の出画準備が完了していない場合に、具体的には、一方のヘッダにエラーが発生した場合に、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップさせる。

これにより、実施の形態１に係る三次元映像処理装置１００は、出画をスキップすることで三次元表示が継続されるので、ヘッダにエラーが発生したためにオブジェクト画像が二次元表示されてしまうという、視聴者に与える不快感を軽減することができる。

続いて、実施の形態１に係るオブジェクト処理部１４０の動作のうち、特にエラー検出に関わる動作について説明する。なお、以下では、簡単のため、左眼用オブジェクト画像のヘッダにエラーが発生する場合について説明する。右眼用オブジェクト画像のヘッダにエラーが発生する場合については同様であるため、説明を省略する。また、ヘッダにエラーが発生する場合として、ヘッダが規格外である場合を例に説明する。

図４は、実施の形態１に係るオブジェクト処理部１４０のエラー検出に関わる動作を示すフローチャートである。

まず、出画処理部２１５は、属性情報バッファ２１４に格納されているヘッダを解析する（Ｓ１０１）。解析の結果、ヘッダが規格外であると判定した場合（Ｓ１０２でＹｅｓ）、出画処理部２１５は、デコーダ制御部２３２に、規格外と判定されたヘッダに対応する左眼用オブジェクト画像の出画予定時刻（ＰＴＳ）を含むエラー通知を通知する（Ｓ１０３）。デコーダ制御部２３２は、エラー通知を受けた場合、エラー通知が示す出画予定時刻を含む出画スキップ指示を出画処理部２１５及び２２５の双方に通知する（Ｓ１０４）。

出画スキップ指示を受け取った出画処理部２１５及び２２５はそれぞれ、出画予定時刻に対応する左眼用オブジェクト画像及び右眼用オブジェクト画像の出画をスキップする（Ｓ１０５）。そして、出画処理部２１５及び２２５はそれぞれ、グラフィックスプレーン２１６及び２２６のデータをクリアする。

なお、解析の結果、ヘッダが規格に従っていると判定した場合（Ｓ１０２でＮｏ）、出画処理部２１５は、出画同期部２３１からの出画指示に従って、左眼用オブジェクト画像を出画する（Ｓ１０６）。出画処理部２２５も同様に、出画同期部２３１からの出画指示に従って、右眼用オブジェクト画像を出画する。

以上の処理（Ｓ１０１〜Ｓ１０６）を出画すべき次の画像がなくなるまで繰り返す（Ｓ１０７）。

以上のようにして、実施の形態１に係るオブジェクト処理部１４０は、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が完了していないことを、ヘッダを解析することで検出する。具体的には、オブジェクト処理部１４０は、左眼用オブジェクト画像のヘッダ及び右眼用オブジェクト画像のヘッダの一方が規格に従っているか否かを判定する。

解析（判定）の結果、ヘッダが規格外である場合は、オブジェクト処理部１４０は、規格外と判定した出画予定時刻の左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップする。すなわち、オブジェクト処理部１４０は、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方を出画せず、次のオブジェクト画像の処理を実行する。

なお、図４の説明では、左眼用オブジェクト画像にエラーが発生する場合について、特に、左眼用オブジェクト処理部２１０の動作について説明したが、右眼用オブジェクト処理部２２０も左眼用オブジェクト処理部２１０と同様に動作する。

上述したように、左眼用ストリームと右眼用ストリームとは独立して復号可能であるため、左眼用オブジェクト処理部２１０と右眼用オブジェクト処理部２２０とは、出画のタイミングを除いては同期させる必要はない。したがって、出画制御部２３０は、左眼用オブジェクト処理部２１０と右眼用オブジェクト処理部２２０とのいずれか一方からエラー通知を受け取った時点で、他方に出画スキップ指示を通知すればよい。

図５Ａは、実施の形態１に係るエラー発生時に出画される画像を模式的に示す図である。

図５Ａに示すように、三次元のオブジェクト画像は、左眼用オブジェクト画像（Ｌ１、Ｌ２、Ｌ３…）と右眼用オブジェクト画像（Ｒ１、Ｒ２、Ｒ３…）とから構成される。左眼用オブジェクト画像と右眼用オブジェクト画像とに視差を持たせることによって、視聴者が画像を見た際に、画像を立体的に感じることができる。

なお、一般的に、左眼用画像と右眼用画像とを三次元表示する方法には、例えば、左眼用画像と右眼用画像とを１ピクチャ毎に交互に表示する方法がある。このとき、視聴者は、左眼用液晶シャッタと右眼用液晶シャッタとを備えるシャッタメガネを装着し、シャッタの開閉を表示と同期させればよい。

具体的には、表示装置からの制御により、左眼用画像が表示されている期間は、左眼用液晶シャッタのみを開け、右眼用画像が表示されている期間は、右眼用液晶シャッタのみを開ける。これにより、視聴者は、選択的に左眼用画像を左眼で、右眼用画像を右眼で見ることができ、画像を立体的に感じることができる。

あるいは、表示装置は、左眼用画像と右眼用画像とを画素毎に１ピクチャ内に市松状に配置し、左眼用画像と右眼用画像とで異なる偏光をかけて表示させてもよい。このとき、視聴者は、左眼用偏光フィルタと右眼用偏光フィルタとを備える偏光メガネを装着すればよい。これにより、視聴者は、選択的に左眼用画像を左眼で、右眼用画像を右眼で見ることができ、画像を立体的に感じることができる。

ここで、図５Ａに示すように、右眼用オブジェクト画像Ｒ２のヘッダが規格外であり、出画処理部２２５がエラー通知をデコーダ制御部２３２に通知した場合について説明する。このとき、デコーダ制御部２３２は、出画スキップ指示を出画処理部２１５及び２２５の双方に通知するので、右眼用オブジェクト画像Ｒ２だけではなく、左眼用オブジェクト画像Ｌ２も出画されない。

したがって、本来、左眼用オブジェクト画像Ｌ２と右眼用オブジェクト画像Ｒ２とが表示されるべき期間には、左眼用オブジェクト画像Ｌ１と右眼用オブジェクト画像Ｒ１とが三次元表示されたままとなる。

これに対して、従来であれば、エラーとなった画像の対になっている画像（ここでは、左眼用オブジェクト画像Ｌ２）が二次元表示されていたため、視聴者に不快感を与える結果となっていた。しかしながら、実施の形態１に係る三次元映像処理装置１００では、三次元表示が継続されるため、視聴者の不快感を軽減することができる。

なお、図５Ｂに示すように、左眼用オブジェクト画像Ｌ２と右眼用オブジェクト画像Ｒ２との出画をスキップさせるだけでなく、代わりに、以前に表示された画像を消去するための消去用データを出画してもよい。

具体的には、出画処理部２１５及び２２５は、グラフィックスプレーン２１６及び２２６に消去用データを書き込む。消去用データは、グラフィックスプレーン２１６又は２２６に描画されたままの左眼用オブジェクト画像又は右眼用オブジェクト画像を消去するためのデータであり、具体的には、重畳対象の画像（例えば、左眼用主映像及び右眼用主映像）を透過させる透過画像である。したがって、本来、左眼用オブジェクト画像Ｌ２及び右眼用オブジェクト画像Ｒ２が表示されるべき期間には、何も表示されない（主映像のみが三次元表示される）。

これにより、エラーとなった画像が二次元表示されないだけでなく、１つ前の画像が継続して表示されることを防止することができる。例えば、主映像が映画であり、オブジェクト画像が字幕である場合においては、主映像が次のセリフを話す映像を表示している期間に、１つ前のセリフの字幕が表示されることを防止することができる。したがって、より視聴者の不快感を軽減することができる。

このように、消去用データを出画することで、以前に表示されていた画像を消去することができる。したがって、例えば、１つ前の字幕を消去することができるので、主映像と字幕とが一致しない場合を防ぐことができる。

以上のように、実施の形態１に係る三次元映像処理装置１００では、出画制御部２３０は、左眼用オブジェクト画像と右眼用オブジェクト画像との一方の出画準備が完了していない場合に、具体的には、一方のヘッダにエラーが発生した場合に、言い換えると、正しく画像が表示できない場合に、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップさせる。

これにより、実施の形態１に係る三次元映像処理装置１００は、エラーが発生した画像の出画をスキップすることで三次元表示が継続されるので、ヘッダにエラーが発生したためにオブジェクト画像が二次元表示されてしまうという、視聴者に与える不快感を軽減することができる。

具体的には、ヘッダが規格に従っているか否かを判定し、ヘッダが規格に従っていないと判定した場合に、双方の出画をスキップさせるので、オブジェクト画像を表示する際には三次元表示が継続される。したがって、ヘッダが規格に従っていない場合にオブジェクト画像が二次元表示されてしまうという不快感を軽減することができる。

（実施の形態２）
実施の形態２に係る三次元映像処理装置は、視差を有する、主映像に重畳される左眼用オブジェクト画像と右眼用オブジェクト画像とを出画する三次元映像処理装置であって、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方である第１画像の出画準備を行って出画する第１画像処理部と、左眼用オブジェクト画像及び右眼用オブジェクト画像の他方である第２画像の出画準備を行って出画する第２画像処理部と、第１画像と第２画像とを同期させて出画するように、第１画像処理部と第２画像処理部とを制御する出画制御部とを備え、第１画像処理部は、第１画像の出画準備が完了しているか否かを判定する第１判定部を備え、第２画像処理部は、第２画像の出画準備が完了しているか否かを判定する第２判定部を備え、出画制御部は、第１判定部によって、第１画像の出画準備が完了していないと判定され、かつ、第２判定部によって、第２画像の出画準備が完了していると判定された場合、所定の補完画像を第１画像として出画させることを特徴とする。

これにより、第１画像の出画準備が完了していない場合に補完画像を出画するので、補完画像と第２画像とで三次元表示を継続することができる。したがって、オブジェクト画像が二次元表示されてしまうという不快感を軽減することができる。

具体的には、実施の形態２に係る三次元映像処理装置は、ヘッダにエラーが発生しているか否かを判定し、ヘッダにエラーが発生していると判定した場合に、当該ヘッダに対応する画像の出画準備が完了していないと判定する。そして、ヘッダにエラーが発生している場合、エラーが発生していると判定された他方のヘッダの属性情報を用いて補完画像を生成することを特徴とする。

つまり、実施の形態２に係る三次元映像処理装置は、実施の形態１に係る三次元映像処理装置と比べて、ヘッダにエラーが発生していると判定された場合に、左眼用オブジェクト画像と右眼用オブジェクト画像との双方の出画をスキップさせるのではなく、補完画像を生成して、生成した補完画像を、エラーが発生したヘッダに対応する画像の代わりに出画する点が異なっている。

以下では、実施の形態１と同じ点は説明を省略し、異なる点を中心に説明する。具体的には、符号化ストリームの分離、及び主映像の処理については、実施の形態１と同様であるので、説明を省略し、オブジェクト画像の処理を中心に説明する。

図６は、実施の形態２に係るオブジェクト処理部１４０ａの構成を示すブロック図である。なお、オブジェクト処理部１４０ａは、図１に示すオブジェクト処理部１４０に相当する。

図６に示すオブジェクト処理部１４０ａは、図３に示すオブジェクト処理部１４０と比較して、左眼用オブジェクト処理部２１０、右眼用オブジェクト処理部２２０及び出画制御部２３０の代わりに、左眼用オブジェクト処理部３１０、右眼用オブジェクト処理部３２０及び出画制御部３３０を備える点が異なっている。

具体的には、左眼用オブジェクト処理部３１０は、図３に示す左眼用オブジェクト処理部２１０と比較して、出画処理部２１５の代わりに出画処理部３１５を備える点が異なっている。右眼用オブジェクト処理部３２０は、図３に示す右眼用オブジェクト処理部２２０と比較して、出画処理部２２５の代わりに出画処理部３２５を備える点が異なっている。出画制御部３３０は、図３に示す出画制御部２３０と比較して、デコーダ制御部２３２の代わりにヘッダ補完部３３２を備える点が異なっている。

出画処理部３１５は、出画処理部２１５の動作に加えて、さらに、エラー通知を出画制御部３３０に通知する際に、エラーとなったヘッダに含まれる属性情報を識別する識別子をヘッダ補完部３３２に通知する。具体的には、出画処理部３１５は、属性情報毎に規格外か否かを判定し、規格外であると判定した属性情報を示す識別子を通知する。

なお、このとき、出画処理部３１５は、右眼用オブジェクト画像のヘッダに含まれる属性情報と、置き換え可能な属性情報、すなわち、同じ属性情報を示す識別子を通知する。具体的には、上述したビデオ情報、ウインドウ情報及びオブジェクト制御情報などである。

また、出画処理部３１５は、ヘッダ補完部３３２からヘッダ取得要求を受け取った場合、ヘッダ取得要求が示すヘッダの属性情報をヘッダ補完部３３２に返す。なお、ヘッダ取得要求は、エラーとなったヘッダに含まれる属性情報の識別子を含んでいる。

さらに、出画処理部３１５は、エラー通知を通知した後に、ヘッダ補完部３３２からヘッダを受け取った場合は、受け取ったヘッダの属性情報を用いて補完画像を生成し、生成した補完画像を、エラーとなったヘッダに対応する左眼用オブジェクト画像の出画予定時刻に出画する。なお、このとき、出画処理部３１５は、ヘッダ補完部３３２から受け取ったヘッダの解析を行う。具体的には、出画処理部３１５は、オブジェクトバッファ２１３から左眼用オブジェクト画像を読み出し、読み出した左眼用オブジェクト画像をグラフィックスプレーン２１６に、ヘッダの属性情報を用いて描画することにより、補完画像を生成する。

出画処理部３２５は、出画処理部２２５の動作に加えて、さらに、エラー通知を出画制御部３３０に通知する際に、エラーとなったヘッダに含まれる属性情報を識別する識別子をヘッダ補完部３３２に通知する。具体的には、出画処理部３１５は、属性情報毎に規格外か否かを判定し、規格外であると判定した属性情報を示す識別子を通知する。

なお、このとき、出画処理部３２５は、左眼用オブジェクト画像のヘッダに含まれる属性情報と、置き換え可能な属性情報、すなわち、同じ属性情報を示す識別子を通知する。具体的には、上述したビデオ情報、ウインドウ情報及びオブジェクト制御情報などである。

また、出画処理部３２５は、ヘッダ補完部３３２からヘッダ取得要求を受け取った場合、ヘッダ取得要求が示すヘッダの属性情報をヘッダ補完部３３２に返す。なお、ヘッダ取得要求は、エラーとなったヘッダに含まれる属性情報の識別子を含んでいる。

さらに、出画処理部３２５は、エラー通知を通知した後に、ヘッダ補完部３３２からヘッダを受け取った場合は、受け取ったヘッダの属性情報を用いて補完画像を生成し、生成した補完画像を、エラーとなったヘッダに対応する右眼用オブジェクト画像の出画予定時刻に出画する。なお、このとき、出画処理部３２５は、ヘッダ補完部３３２から受け取ったヘッダの解析を行う。具体的には、出画処理部３２５は、オブジェクトバッファ２２３から右眼用オブジェクト画像を読み出し、読み出した右眼用オブジェクト画像をグラフィックスプレーン２２６に、ヘッダの属性情報を用いて描画することにより、補完画像を生成する。

ヘッダ補完部３３２は、左眼用オブジェクト画像及び右眼用オブジェクト画像のいずれか一方のヘッダが規格に従っていない場合に、当該ヘッダが含む属性情報と同じ属性情報を含む他方のヘッダを取得する。具体的には、出画処理部３１５及び３２５のいずれか一方からエラー通知を受け取った場合、ヘッダ補完部３３２は、受け取ったエラー通知に含まれる属性情報の識別子を含むヘッダ取得要求を、出画処理部３１５及び３２５の他方へ通知する。そして、ヘッダ補完部３３２は、ヘッダ取得要求を受け取った出画処理部３１５及び３２５の他方から属性情報を取得し、取得した属性情報を出画処理部３１５及び３２５の一方へ返す。

以上の構成に示すように、実施の形態２に係るオブジェクト処理部１４０ａは、ヘッダ補完部３３２を備え、左眼用オブジェクト処理部２１０及び右眼用オブジェクト処理部２２０のいずれか一方においてヘッダがエラーと判定された場合に、他方からヘッダの属性情報を取得し、取得したヘッダの属性情報を、エラーを検出した一方の処理部に出力する。新たにヘッダの属性情報を取得した一方の処理部は、取得した属性情報を用いて補完画像を生成し、生成した補完画像を出画する。

これにより、実施の形態２に係るオブジェクト処理部１４０ａは、エラーが発生した画像を出画する代わりに補完画像を出画するので、ヘッダが規格外であるためにオブジェクト画像が二次元表示されてしまうという、視聴者に与える不快感を軽減することができる。さらに、エラーが発生しなければ得られていたはずの情報も補完されるので、得られていたはずの情報が得られないという不快感も軽減することができる。

続いて、実施の形態２に係るオブジェクト処理部１４０ａの動作のうち、特にエラー検出に関わる動作について説明する。なお、以下では、簡単のため、左眼用オブジェクト画像のヘッダにエラーが発生する場合について説明する。右眼用オブジェクト画像のヘッダにエラーが発生する場合については同様であるため、説明を省略する。また、ヘッダにエラーが発生する場合として、ヘッダが規格外である場合を例に説明する。

図７は、実施の形態２に係るオブジェクト処理部１４０ａのエラー検出に関わる動作を示すフローチャートである。

まず、出画処理部３１５は、属性情報バッファ２１４に格納されているヘッダを解析する（Ｓ２０１）。解析の結果、ヘッダが規格外であると判定した場合（Ｓ２０２でＹｅｓ）、出画処理部３１５は、ヘッダ補完部３３２に、規格外と判定されたヘッダに対応する左眼用オブジェクト画像の出画予定時刻（ＰＴＳ）と、エラーが発生した属性情報の識別子とを含むエラー通知を通知する（Ｓ２０３）。

ヘッダ補完部３３２は、エラー通知を受け取ると、ヘッダ取得要求を出画処理部３２５に通知する（Ｓ２０４）。出画処理部３２５は、ヘッダ取得要求が示す識別子に対応する属性情報をヘッダ補完部３３２に返す。さらに、ヘッダ補完部３３２は、出画処理部３２５から受け取った属性情報を出画処理部３１５に返す（Ｓ２０５）。出画処理部３１５は、再度、受け取った属性情報の解析を行う（Ｓ２０１）。

なお、解析の結果、ヘッダが規格に従っていると判定した場合（Ｓ２０２でＮｏ）、出画処理部３１５は、出画同期部２３１からの出画指示に従って、左眼用オブジェクト画像を出画する（Ｓ２０６）。また、出画処理部３２５も同様に、出画同期部２３１からの出画指示に従って、右眼用オブジェクト画像を出画する。

このとき、ヘッダ補完部３３２から属性情報を受け取った場合は、出画処理部３１５は、受け取った属性情報に従って補完画像を生成し、生成した補完画像を左眼用オブジェクト画像として出画する。

以上の処理（Ｓ２０１〜Ｓ２０６）を出画すべき次の画像がなくなるまで繰り返す（Ｓ２０７）。

なお、出画処理部３２５が、ヘッダ補完部３３２から受け取った属性情報を解析した結果、再度、規格に従っていないと判定された場合は、例えば、実施の形態１のように、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップしてもよい。

以上のようにして、実施の形態２に係るオブジェクト処理部１４０ａは、左眼用オブジェクト画像及び右眼用オブジェクト画像のいずれか一方の出画準備が完了していないことを、ヘッダを解析することで検出する。つまり、オブジェクト処理部１４０ａは、左眼用オブジェクト画像のヘッダ及び右眼用オブジェクト画像のヘッダのいずれか一方が規格に従っているか否かを判定する。

解析（判定）の結果、ヘッダが規格外である場合は、オブジェクト処理部１４０ａは、規格外と判定した出画予定時刻の左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の代わりに、左眼用オブジェクト画像及び右眼用オブジェクト画像の他方のヘッダの属性情報を用いて生成した補完画像を出画する。

なお、図７の説明では、左眼用オブジェクト画像にエラーが発生する場合について、特に、左眼用オブジェクト処理部３１０の動作について説明したが、右眼用オブジェクト処理部３２０も左眼用オブジェクト処理部３１０と同様に動作する。

上述したように、左眼用ストリームと右眼用ストリームとは独立して復号可能であるため、左眼用オブジェクト処理部３１０と右眼用オブジェクト処理部３２０とは、出画のタイミングを除いては同期させる必要はない。したがって、出画制御部３３０は、左眼用オブジェクト処理部３１０と右眼用オブジェクト処理部３２０とのいずれか一方からエラー通知を受け取った時点で、他方にエラー取得要求を通知すればよい。左眼用オブジェクト処理部３１０及び右眼用オブジェクト処理部３２０の他方がエラー取得要求を受け取った時点で、該当するヘッダがまだ属性情報バッファ２１４又は２２４に格納されていない場合は、デコーダ２１２又は２２２によって生成されるのを待って、ヘッダ補完部３３２に返せばよい。

図８は、実施の形態２に係るエラー発生時の出画される画像を模式的に示す図である。

図８に示すように、右眼用オブジェクト画像Ｒ２のヘッダが規格外であり、出画処理部３２５がエラー通知をヘッダ補完部３３２に通知した場合について説明する。このとき、ヘッダ補完部３３２は、ヘッダ取得要求を出画処理部３１５に通知し、出画処理部３１５からヘッダの属性情報を取得する。

そして、ヘッダ補完部３３２は、取得した属性情報を出画処理部３２５に返す。出画処理部３２５は、ヘッダ補完部３３２から受け取った属性情報に基づいて、補完画像を生成し、生成した補完画像を右眼用オブジェクト画像Ｒ２として、左眼用オブジェクト画像Ｌ２と同じ出画予定時刻に出画する。

これにより、図８に示すように、左眼用オブジェクト画像Ｌ２と右眼用オブジェクト画像Ｒ２とが表示されるべき期間において、左眼用オブジェクト画像Ｌ２と補完画像とが三次元表示される。したがって、三次元表示が継続されるので、視聴者の不快感を軽減することができる。

以上のように、実施の形態２に係る三次元映像処理装置１００は、左眼用オブジェクト画像と右眼用オブジェクト画像とのいずれか一方の出画準備が完了していない場合に、具体的には、いずれか一方のヘッダが規格外である場合に、左眼用オブジェクト画像及び右眼用オブジェクト画像の他方のヘッダを利用して補完画像を生成し、生成した補完画像を、ヘッダが規格外と判定された画像の代わりに出画する。

これにより、実施の形態２に係る三次元映像処理装置１００は、ヘッダが規格外であるためにオブジェクト画像が二次元表示されてしまうという不快感、及び、得られていたはずの情報が得られないという不快感の双方とも軽減することができる。

このように、左眼用オブジェクト画像のヘッダと右眼用オブジェクト画像のヘッダとでは共通の属性情報を含んでいるので、一方のヘッダの属性情報がエラーにより利用できない場合は、他方のヘッダの属性情報を利用することで補完画像を生成することができる。したがって、補完画像とエラーが発生していない画像とで三次元表示を継続することができるので、オブジェクト画像が二次元表示されてしまうという不快感を軽減することができる。さらに、補完画像を生成し出画することで、エラーにより表示できなかった可能性のあるオブジェクト画像を出画することができるので、視聴者により多くの情報を提供することができる。

（実施の形態３）
実施の形態３に係る三次元映像処理装置は、出画予定時刻までに左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画準備が完了しているか否かを判定する出画同期部を備え、一方の出画準備が完了していない場合、双方の出画をスキップさせることを特徴とする。

つまり、実施の形態３に係る三次元映像処理装置は、実施の形態１に係る三次元映像処理装置と比べて、ヘッダが規格外であるか否かを判定したのに対して、所定時刻までに出画準備が完了しているか否かを判定することで、出画をスキップするか否かを決定する点が異なっている。

以下では、実施の形態１と同じ点は説明を省略し、異なる点を中心に説明する。具体的には、符号化ストリームの分離、及び主映像の処理については、実施の形態１と同様であるので、説明を省略し、オブジェクト画像の処理を中心に説明する。

図９は、実施の形態３に係るオブジェクト処理部１４０ｂの構成を示すブロック図である。なお、オブジェクト処理部１４０ｂは、図１に示すオブジェクト処理部１４０に相当する。

図９に示すオブジェクト処理部１４０ｂは、図３に示すオブジェクト処理部１４０と比較して、出画制御部２３０の代わりに出画制御部４３０を備える点が異なっている。具体的には、出画制御部４３０は、出画同期部４３１と、クロック供給部４３２とを備える。

出画同期部４３１は、左眼用オブジェクト画像と右眼用オブジェクト画像とを同期させる。具体的には、出画同期部４３１は、出画処理部２１５及び２２５から通知される準備完了通知に含まれるＰＴＳに基づいて、同じＰＴＳを有する左眼用オブジェクト画像と右眼用オブジェクト画像とを、ＰＴＳが示す同じ時刻に出画されるように、出画処理部２１５及び２２５にそれぞれ出画指示を通知する。

具体的には、出画同期部４３１は、出画処理部２１５及び２２５のいずれか一方から準備完了通知を受け取った場合、受け取った準備完了通知に含まれるＰＴＳが示す時刻と、クロック供給部４３２から供給される基準クロックとを比較することで、出画予定時刻を判断する。そして、出画同期部４３１は、出画処理部２１５及び２２５の他方から、同じＰＴＳを有する画像の準備完了通知を出画予定時刻までに受け取った場合は、出画予定時刻に出画指示を出画処理部２１５及び２２５の双方に通知する。

出画処理部２１５及び２２５の他方から、同じＰＴＳを有する画像の準備完了通知を受け取らなかった場合、すなわち、左眼用オブジェクト画像及び右眼用オブジェクト画像の他方の出画準備が完了しなかった場合、出画同期部４３１は、出画スキップ指示を出画処理部２１５及び２２５の双方に通知する。

クロック供給部４３２は、基準クロックを出画同期部４３１に供給する。基準クロックは、所定の周波数のクロック信号である。

以上の構成に示すように、実施の形態３に係るオブジェクト処理部１４０ｂは、左眼用オブジェクト画像と右眼用オブジェクト画像との一方の出画準備が所定の出画予定時刻までに完了していない場合に、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップする。具体的には、出画同期部４３１は、左眼用オブジェクト画像と右眼用オブジェクト画像とのいずれか一方から準備完了通知が通知された場合に、準備完了通知に含まれるＰＴＳが示す時刻までに、他方から準備完了通知が通知されなかった場合に、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップさせる。

これにより、実施の形態３に係る三次元映像処理装置１００によれば、出画をスキップすることで三次元表示が継続されるので、出画準備が完了した一方のオブジェクト画像が二次元表示されてしまうという、視聴者に与える不快感を軽減することができる。

続いて、実施の形態３に係るオブジェクト処理部１４０ｂの動作のうち、特に出画に関わる動作について説明する。なお、以下では、簡単のため、右眼用オブジェクト画像の出画準備が、出画予定時刻までに完了しなかった場合について説明する。左眼用オブジェクト画像の出画準備が完了しなかった場合については同様であるため、説明を省略する。

図１０は、実施の形態３に係るオブジェクト処理部１４０ｂの出画に関わる動作を示すフローチャートである。

まず、出画同期部４３１は、出画処理部２１５及び２２５のいずれか一方から、準備完了通知を受け取るのを待機する（Ｓ３０１）。例えば、出画同期部４３１が、出画処理部２１５から左眼用オブジェクト画像の準備完了通知を受け取った場合（Ｓ３０１でＹｅｓ）、クロック供給部４３２から供給される基準クロックと準備完了通知に含まれるＰＴＳとを比較することで、出画予定時刻を判断する。そして、出画同期部４３１は、時刻が出画予定時刻に達するまでの期間、出画処理部２２５から右眼用オブジェクト画像の準備完了通知を受け取るのを待機する（Ｓ３０２）。

時刻が出画予定時刻に達した場合であり（Ｓ３０２でＹｅｓ）、かつ、出画処理部２１５及び２２５の他方（ここでは、出画処理部２２５）から準備完了通知を受け取っていた場合（Ｓ３０３でＹｅｓ）、出画同期部４３１は、出画指示を出画処理部２１５及び２２５に通知する。そして、出画処理部２１５及び２２５はそれぞれ、左眼用オブジェクト画像と右眼用オブジェクト画像とを、出画予定時刻に出画する（Ｓ３０４）。

時刻が出画予定時刻に達した場合であり（Ｓ３０２でＹｅｓ）、かつ、出画処理部２２５から準備完了通知を受け取らなかった場合（Ｓ３０３でＮｏ）、出画同期部４３１は、出画スキップ指示を出画処理部２１５及び２２５の双方に通知する（Ｓ３０５）。出画スキップ指示を受け取った出画処理部２１５及び２２５はそれぞれ、出画予定時刻に対応する左眼用オブジェクト画像及び右眼用オブジェクト画像の出画をスキップする（Ｓ３０６）。そして、出画処理部２１５及び２２５はそれぞれ、グラフィックスプレーン２１６及び２２６のデータをクリアする。

以上の処理（Ｓ３０１〜Ｓ３０６）を出画すべき次の画像がなくなるまで繰り返す（Ｓ３０７）。

以上のようにして、実施の形態３に係るオブジェクト処理部１４０ｂは、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が所定の出画予定時刻までに完了しているか否かを、基準クロックとの比較により判定する。

判定の結果、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が所定の出画予定時刻までに完了していないと判定された場合、オブジェクト処理部１４０ｂは、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップする。すなわち、オブジェクト処理部１４０ｂは、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方を出画せず、次のオブジェクト画像の処理を実行する。

なお、上述したように、左眼用ストリームと右眼用ストリームとは独立して復号可能であるため、左眼用オブジェクト処理部２１０と右眼用オブジェクト処理部２２０とは、出画のタイミングを除いては同期させる必要はない。したがって、出画制御部４３０は、左眼用オブジェクト処理部２１０と右眼用オブジェクト処理部２２０とのいずれが先に出画の準備が完了するのかを予測するのは困難であるため、上記のように、出画同期部４３１は、いずれかからの準備完了通知を待ってから出画予定時刻の判定を行うことが好ましい。

なお、実施の形態３に係るオブジェクト処理部１４０ｂによって処理されたオブジェクト画像の表示は、図５Ａ及び図５Ｂと同様になる。

以上のように、実施の形態３に係る三次元映像処理装置１００は、左眼用オブジェクト画像と右眼用オブジェクト画像との一方の出画準備が所定の出画予定時刻までに完了していない場合に、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップする。

これにより、実施の形態３に係る三次元映像処理装置１００によれば、出画準備が完了しなかった画像の出画をスキップすることで三次元表示が継続されるので、準備が完了した画像が二次元表示されてしまうという、視聴者に与える不快感を軽減することができる。

（実施の形態４）
実施の形態４に係る三次元映像処理装置は、出画予定時刻までに左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画準備が完了しているか否かを判定する出画同期部を備え、出画予定時刻までにいずれか一方の出画準備が完了しており、かつ、他方の出画準備が完了していない場合、出画準備が完了している第１画像を出画準備が完了していない第２画像として出力することを特徴とする。

つまり、実施の形態４に係る三次元映像処理装置は、実施の形態３に係る三次元映像処理装置と比較して、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップさせるのではなく、準備が完了している一方の画像を準備が完了していない他方の画像として出画する点が異なっている。なお、これにより、対応する出画予定時刻の表示のみ一時的に二次元表示となる。

以下では、実施の形態３と同じ点は説明を省略し、異なる点を中心に説明する。具体的には、符号化ストリームの分離、及び主映像の処理については、実施の形態３と同様であるので、説明を省略し、オブジェクト画像の処理を中心に説明する。

図１１は、実施の形態４に係るオブジェクト処理部１４０ｃの構成を示すブロック図である。なお、オブジェクト処理部１４０ｃは、図１に示すオブジェクト処理部１４０に相当する。

図１１に示すオブジェクト処理部１４０ｃは、図９に示すオブジェクト処理部１４０ｂと比較して、左眼用オブジェクト処理部２１０、右眼用オブジェクト処理部２２０及び出画制御部４３０の代わりに、左眼用オブジェクト処理部５１０、右眼用オブジェクト処理部５２０及び出画制御部５３０を備える点が異なっている。

具体的には、左眼用オブジェクト処理部５１０は、左眼用オブジェクト処理部２１０と比較して、新たに出画セレクタ５１８を備える点が異なっている。右眼用オブジェクト処理部５２０は、右眼用オブジェクト処理部２２０と比較して、新たに出画セレクタ５２８を備える点が異なっている。出画制御部５３０は、出画制御部４３０と比較して、出画同期部４３１の代わりに出画同期部５３１を備える点が異なっている。

出画セレクタ５１８及び５２８は、色変換部２１７から出画される左眼用オブジェクト画像と、色変換部２２７から出画される右眼用オブジェクト画像とを、出画制御部５３０による制御に従って選択し、選択部２４０に出力する。例えば、出画セレクタ５１８及び５２８は、出画制御部５３０から通知される、選択すべき左眼用オブジェクト画像又は右眼用オブジェクト画像を示す画像選択指示に従って、画像選択指示が示す画像を選択する。

出画同期部５３１は、実施の形態３に係る出画同期部４３１と同じ動作を行う。ただし、出画同期部５３１は、出画予定時刻までに左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画準備が完了しなかった場合には、以下のような処理を行う。

出画予定時刻までに左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画準備が完了しなかった場合、すなわち、出画処理部２１５及び２２５のいずれか一方から準備完了通知を受け取らなかった場合、出画同期部５３１は、左眼用オブジェクト処理部５１０及び右眼用オブジェクト処理部５２０の双方から同一の画像が出画されるように、出画セレクタ５１８及び５２８を制御する。

例えば、出画処理部２１５から準備完了通知を受け取ったのに対して、出画処理部２２５から準備完了通知を受け取らなかった場合、出画同期部５３１は、出画セレクタ５１８及び５２８に、色変換部２１７から出画される左眼用オブジェクト画像を選択させる。つまり、出画同期部５３１は、左眼用オブジェクト画像を示す画像選択指示を出画セレクタ５１８及び５２８に通知する。

なお、出画セレクタ５１８は通常、左眼用オブジェクト画像を選択し、出画セレクタ５２８は通常、右眼用オブジェクト画像を選択し、出画同期部５３１からの選択切替指示を受けた場合にのみ、出画セレクタ５１８は右眼用オブジェクト画像を、出画セレクタ５２８は左眼用オブジェクト画像を選択してもよい。選択切替指示は、通常選択している画像とは異なる画像を選択させるための指示である。この場合、出画同期部５３１は、出画セレクタ５１８及び５２８のうち、出画準備が完了しなかったオブジェクト処理部が備える出画セレクタのみに選択切替指示を出力する。

以上の構成に示すように、実施の形態４に係るオブジェクト処理部１４０ｃは、左眼用オブジェクト画像と右眼用オブジェクト画像とのいずれか一方の出画準備が所定の出画予定時刻までに完了していない場合に、出画準備が完了している他方の画像を、出画準備が完了していない一方の画像として出画する。具体的には、右眼用オブジェクト画像の代わりに左眼用オブジェクト画像が、あるいは、左眼用オブジェクト画像の代わりに右眼用オブジェクト画像が出画される。つまり、当該出画予定時刻に対応するオブジェクト画像は、二次元表示される。

これにより、実施の形態４に係る三次元映像処理装置１００によれば、二次元表示されてしまうというデメリットはあるが、視聴者が必要とする情報は例え二次元表示であっても表示させることができる。したがって、得られるはずだった情報が得られないという不快感を軽減することができる。

続いて、実施の形態４に係るオブジェクト処理部１４０ｃの動作のうち、特に出画に関わる動作について説明する。なお、以下では、簡単のため、右眼用オブジェクト画像の出画準備が、出画予定時刻までに完了しなかった場合について説明する。左眼用オブジェクト画像の出画準備が完了しなかった場合については同様であるため、説明を省略する。

図１２は、実施の形態４に係るオブジェクト処理部１４０ｃの出画に関わる動作を示すフローチャートである。

まず、出画同期部５３１は、出画処理部２１５及び２２５のいずれか一方から、準備完了通知を受け取るのを待機する（Ｓ４０１）。例えば、出画同期部５３１が、出画処理部２１５から左眼用オブジェクト画像の準備完了通知を受け取った場合（Ｓ４０１でＹｅｓ）、クロック供給部４３２から供給される基準クロックと準備完了通知に含まれるＰＴＳとを比較することで、出画予定時刻を判断する。そして、出画同期部５３１は、時刻が出画予定時刻に達するまでの期間、出画処理部２２５から右眼用オブジェクト画像の準備完了通知を受け取るのを待機する（Ｓ４０２）。

時刻が出画予定時刻に達した場合であり（Ｓ４０２でＹｅｓ）、かつ、出画処理部２１５及び２２５の他方（ここでは、出画処理部２２５）から準備完了通知を受け取っていた場合（Ｓ４０３でＹｅｓ）、出画同期部５３１は、出画指示を出画処理部２１５及び２２５に通知する。そして、出画処理部２１５及び２２５はそれぞれ、左眼用オブジェクト画像と右眼用オブジェクト画像とを、出画予定時刻に出画する（Ｓ４０５）。

時刻が出画予定時刻に達した場合であり（Ｓ４０２でＹｅｓ）、かつ、出画処理部２２５から準備完了通知を受け取らなかった場合（Ｓ４０３でＮｏ）、出画同期部５３１は、準備が完了している左眼用オブジェクト画像を選択するように、出画セレクタ５１８及び５２８を制御する（Ｓ４０４）。そして、出画セレクタ５１８及び５２８は双方とも、準備が完了している左眼用オブジェクト画像を出画する（Ｓ４０５）。

以上の処理（Ｓ４０１〜Ｓ４０５）を出画すべき次の画像がなくなるまで繰り返す（Ｓ４０６）。

以上のようにして、実施の形態４に係るオブジェクト処理部１４０ｃは、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が所定の出画予定時刻までに完了しているか否かを、基準クロックとの比較により判定する。

判定の結果、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が所定の出画予定時刻までに完了していないと判定された場合、オブジェクト処理部１４０ｃは、準備が完了している左眼用オブジェクト画像及び右眼用オブジェクト画像の他方を、出画準備が完了していない一方の画像として出画する。

なお、上述したように、左眼用ストリームと右眼用ストリームとは独立して復号可能であるため、左眼用オブジェクト処理部５１０と右眼用オブジェクト処理部５２０とは、出画のタイミングを除いては同期させる必要はない。したがって、出画制御部５３０は、左眼用オブジェクト処理部５１０と右眼用オブジェクト処理部５２０とのいずれが先に出画の準備が完了するのかを予測するのは困難であるため、上記のように、出画同期部５３１は、いずれかからの準備完了通知を待ってから出画予定時刻の判定を行うことが好ましい。

図１３は、実施の形態４に係る出画準備が完了していない場合の出画される画像を模式的に示す図である。

図１３に示すように、右眼用オブジェクト画像Ｒ２の出画準備が完了していない場合について説明する。このとき、出画同期部５３１は、出画セレクタ５１８及び５２８を制御することで、出画準備が完了している左眼用オブジェクト画像Ｌ２を選択させる。これにより、図１３に示すように、右眼用オブジェクト画像Ｒ２の代わりに左眼用オブジェクト画像Ｌ２が表示されるので、左眼用オブジェクト画像Ｌ２と右眼用オブジェクト画像Ｒ２とが表示されるべき期間において、左眼用オブジェクト画像が二次元表示される。

これにより、表示は二次元となることで、視聴者に多少の不快感を与えるかもしれないが、視聴者に提供すべき情報は表示させることができる。したがって、視聴者は、必要とする情報が失われることなく全ての情報を見ることができるので、情報が失われることで生じる不快感を軽減することができる。

以上のように、実施の形態４に係る三次元映像処理装置１００は、左眼用オブジェクト画像と右眼用オブジェクト画像との一方の出画準備が所定の出画予定時刻までに完了していない場合に、出画準備が完了している他方の画像を、出画準備が完了していない一方の画像として出画する。

これにより、実施の形態４に係る三次元映像処理装置１００によれば、二次元表示されてしまうというデメリットはあるが、視聴者が必要とする情報は例え二次元表示であっても表示させることができる。したがって、得られるはずだった情報が得られないという不快感を軽減することができる。

（実施の形態５）
実施の形態５に係る三次元映像処理装置は、左眼用オブジェクト画像又は右眼用オブジェクト画像が以前に表示された画像を消去するための消去用データであるか否かを判定する。そして、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方である第１画像の出画準備が完了していないと判定し、かつ、左眼用オブジェクト画像及び右眼用オブジェクト画像の他方である第２画像の出画準備が完了していると判定し、さらに、第１画像又は第２画像が消去用データであると判定した場合に、第２画像を第１画像として出画することを特徴とする。

つまり、実施の形態５に係る三次元映像処理装置は、実施の形態４に係る三次元映像処理装置と比べて、出画準備が完了している画像が消去用データであるか否かを判定し、消去用データである場合に、当該消去用データを左眼用オブジェクト画像及び右眼用オブジェクト画像として出画する点が異なっている。

以下では、実施の形態４と同じ点は説明を省略し、異なる点を中心に説明する。具体的には、符号化ストリームの分離、及び主映像の処理については、実施の形態４と同様であるので説明を省略し、オブジェクト画像の処理を中心に説明する。

図１４は、実施の形態５に係るオブジェクト処理部１４０ｄの構成を示すブロック図である。なお、オブジェクト処理部１４０ｄは、図１に示すオブジェクト処理部１４０に相当する。

図１４に示すオブジェクト処理部１４０ｄは、図１１に示すオブジェクト処理部１４０ｃと比較して、出画制御部５３０の代わりに出画制御部６３０を備える点が異なっている。具体的には、出画制御部６３０は、図１０に示す出画制御部５３０と比較して、出画同期部５３１の代わりに出画同期部６３１を備え、さらに、新たに消去用データ判別部６３３を備える点が異なっている。

出画同期部６３１は、実施の形態５に係る出画同期部５３１と同じ動作を行う。さらに、出画同期部６３１は、時刻が出画予定時刻になった場合であって、かつ、左眼用オブジェクト画像及び右眼用オブジェクト画像の他方の出画準備が完了していない場合に、消去用データ判別部６３３に同期遅れ通知を通知する。

同期遅れ通知は、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備は完了しているが、他方の出画準備は完了していないことを示す通知である。同期遅れ通知は、出画準備が完了していない画像と、出画準備が完了している画像とを示す情報を含んでいる。

消去用データ判別部６３３は、出画準備が完了している画像が、以前に表示された画像を消去するための消去用データであるか否かを判定する。具体的には、消去用データ判別部６３３は、出画同期部６３１から同期遅れ通知を受け取った場合に、グラフィックスプレーン２１６及び２２６の一方と、色変換部２１７及び２２７の一方とから、出画準備が完了している画像が消去用データであるか否かを判定する。なお、消去用データは、具体的には、重畳対象の画像（例えば、左眼用主映像及び右眼用主映像）を透過させる透過画像である。

なお、消去用データの判定には、出画処理部２１５及び２２５が、グラフィックスプレーン２１６及び２２６に描画を行ったか否かを判定してもよい。グラフィックスプレーン２１６及び２２６に描画を行っていない場合が、出画準備が完了している画像が消去用データである場合である。

消去用データ判別部６３３は、出画準備が完了している画像が消去用データであると判定した場合、消去用データを選択するように出画セレクタ５１８及び５２８を制御する。出画準備が完了している画像が消去用データではないと判定した場合、消去用データ判別部６３３は、出画処理部２１５及び２２５の双方に出画スキップ指示を通知する。

以上の構成に示すように、実施の形態５に係るオブジェクト処理部１４０ｄは、所定の出画予定時刻までに、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が完了し、他方の出画準備が完了しなかった場合に、出画準備が完了した画像が消去用データであるか否かを判定する。消去用データであった場合、オブジェクト処理部１４０ｄは、左眼用オブジェクト画像及び右眼用オブジェクト画像として当該消去用データを出力する。消去用データではない場合、オブジェクト処理部１４０ｄは、当該出画予定時刻に対応する左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップする。

これにより、消去用データは透過画像であり、表示が二次元であっても三次元であってもよいので、消去用データを出画することにより、以前に表示されていた画像を消すことができるとともに、表示が二次元となることはない。したがって、オブジェクト画像が二次元表示されてしまうという不快感を軽減することができるとともに、出画予定時刻の異なる画像が表示されたままになることを防ぐこともできる。

続いて、実施の形態５に係るオブジェクト処理部１４０ｄの動作のうち、特に出画に関わる動作について説明する。なお、以下では、簡単のため、右眼用オブジェクト画像の出画準備が、出画予定時刻までに完了しなかった場合について説明する。左眼用オブジェクト画像の出画準備が完了しなかった場合については同様であるため、説明を省略する。

図１５は、実施の形態４に係るオブジェクト処理部１４０ｃの出画に関わる動作を示すフローチャートである。

まず、出画同期部６３１は、出画処理部２１５及び２２５のいずれか一方から、準備完了通知を受け取るのを待機する（Ｓ５０１）。例えば、出画同期部６３１が、出画処理部２１５から左眼用オブジェクト画像の準備完了通知を受け取った場合（Ｓ５０１でＹｅｓ）、クロック供給部４３２から供給される基準クロックと準備完了通知に含まれるＰＴＳとを比較することで、出画予定時刻を判断する。そして、出画同期部６３１は、時刻が出画予定時刻に達するまでの期間、出画処理部２２５から右眼用オブジェクト画像の準備完了通知を受け取るのを待機する（Ｓ５０２）。

時刻が出画予定時刻に達した場合であり（Ｓ５０２でＹｅｓ）、かつ、出画処理部２１５及び２２５の他方（ここでは、出画処理部２２５）から準備完了通知を受け取っていた場合（Ｓ５０３でＹｅｓ）、出画同期部６３１は、出画指示を出画処理部２１５及び２２５に通知する。そして、出画処理部２１５及び２２５はそれぞれ、左眼用オブジェクト画像と右眼用オブジェクト画像とを、出画予定時刻に出画する（Ｓ５０６）。

時刻が出画予定時刻に達した場合であり（Ｓ５０２でＹｅｓ）、かつ、出画処理部２２５から準備完了通知を受け取らなかった場合（Ｓ５０３でＮｏ）、出画同期部６３１は、同期遅れ通知を消去用データ判別部６３３に通知する。同期遅れ通知を受け取った消去用データ判別部６３３は、出画準備が完了した左眼用オブジェクト画像が消去用データであるか否かを判定する（Ｓ５０４）。

出画準備が完了した左眼用オブジェクト画像が消去用データであると判定した場合（Ｓ５０４でＹｅｓ）、消去用データ判別部６３３は、準備が完了している左眼用オブジェクト画像を選択するように、出画セレクタ５１８及び５２８を制御する（Ｓ５０５）。そして、出画セレクタ５１８及び５２８は双方とも、準備が完了している左眼用オブジェクト画像、すなわち、消去用データを出画する（Ｓ５０６）。

出画準備が完了した左眼用オブジェクト画像が消去用データではないと判定した場合（Ｓ５０４でＮｏ）、消去用データ判別部６３３は、出画処理部２１５及び２２５に出画スキップ指示を通知する（Ｓ５０７）。出画スキップ指示を受け取った出画処理部２１５及び２２５はそれぞれ、出画予定時刻に対応する左眼用オブジェクト画像及び右眼用オブジェクト画像の出画をスキップする（Ｓ５０８）。出画処理部２１５及び２２５はそれぞれ、グラフィックスプレーン２１６及び２２６のデータをクリアする。

以上の処理（Ｓ５０１〜Ｓ５０８）を出画すべき次の画像がなくなるまで繰り返す（Ｓ５０９）。

以上のようにして、実施の形態５に係るオブジェクト処理部１４０ｄは、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が所定の出画予定時刻までに完了しているか否かを、基準クロックとの比較により判定する。判定の結果、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が所定の出画予定時刻までに完了していないと判定された場合、オブジェクト処理部１４０ｄは、出画準備が完了している画像が消去用データであるか否かを判定する。

消去用データである場合は、オブジェクト処理部１４０ｄは、準備が完了している左眼用オブジェクト画像及び右眼用オブジェクト画像の他方を、出画準備が完了していない一方の画像として、すなわち、消去用データを出画する。消去用データではない場合は、オブジェクト処理部１４０ｄは、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップする。

図１６は、実施の形態５に係る出画準備が完了していない場合の出画される画像を模式的に示す図である。

図１６に示すように、右眼用オブジェクト画像Ｒ２及びＲ４の出画準備が完了していない場合について説明する。なお、このとき、右眼用オブジェクト画像Ｒ２は、消去用データであるとする。

このとき、左眼用オブジェクト画像Ｌ２及び右眼用オブジェクト画像Ｒ２を表示すべき期間において、消去用データ判別部６３３は、出画セレクタ５１８及び５１９を制御することで、出画準備が完了している左眼用オブジェクト画像Ｌ２、すなわち、消去用データを選択させる。これにより、図１６に示すように、右眼用オブジェクト画像Ｒ２の代わりに左眼用オブジェクト画像Ｌ２、すなわち、透過画像（消去用データ）が表示される。

また、左眼用オブジェクト画像Ｌ４及び右眼用オブジェクト画像Ｒ４を表示すべき期間においては、消去用データ判別部６３３は、出画処理部２１５及び２２５に出画スキップ指示を通知する。これにより、左眼用オブジェクト画像Ｌ４及び右眼用オブジェクト画像Ｒ４が表示されるべき期間において、左眼用オブジェクト画像Ｌ３及び右眼用オブジェクト画像Ｒ３が表示されたままとなる。

このように、消去用データは透過画像であり、表示が二次元であっても三次元であってもよいので、消去用データを出画することにより、以前に表示されていた画像を消すことができるとともに、表示が二次元となることはない。また、消去用データでない場合は、出画をスキップさせるので、実施の形態１と同様に三次元表示を継続させることができる。したがって、オブジェクト画像が二次元表示されてしまうという不快感を軽減することができるとともに、出画予定時刻の異なる画像が表示されたままになることを防ぐこともできる。

以上のように、実施の形態５に係る三次元映像処理装置１００は、左眼用オブジェクト画像と右眼用オブジェクト画像との一方の出画準備が所定の出画予定時刻までに完了していない場合であって、対象となる画像が消去用データである場合、出画準備が完了している他方の画像、すなわち、消去用データを、出画準備が完了していない一方の画像として出画する。

これにより、消去用データは透過画像であり、表示が二次元であっても三次元であってもよいので、消去用データを出画することにより、以前に表示されていた画像を消すことができるとともに、表示が二次元となることはない。したがって、オブジェクト画像が二次元表示されてしまうという不快感を軽減することができるとともに、出画予定時刻の異なる画像が表示されたままになることを防ぐこともできる。

（実施の形態６）
実施の形態６に係る三次元映像処理装置は、出画制御部は、現在の左眼用オブジェクト画像の準備完了通知及び現在の右眼用オブジェクト画像の準備完了通知の一方が通知されていない場合であって、かつ、次の左眼用オブジェクト画像及び次の右眼用オブジェクト画像が出画されるまでの期間である残り期間が所定の閾値より大きい期間内に、現在の準備完了通知及び現在の準備完了通知の一方を受け取った場合は、現在の左眼用オブジェクト画像及び現在の右眼用オブジェクト画像を出画させる。そして、残り期間が上記閾値に達した際に、現在の準備完了通知及び現在の準備完了通知の一方を受け取らなかった場合、現在の左眼用オブジェクト画像及び現在の右眼用オブジェクト画像の双方の出画をスキップさせることを特徴とする。

言い換えると、実施の形態６に係る三次元映像処理装置は、現在の左眼用オブジェクト画像及び現在の右眼用オブジェクト画像の一方の出画準備が完了していないと判定された場合であって、かつ、次の左眼用オブジェクト画像及び右眼用オブジェクト画像が出画されるまでの期間である残り期間が所定の閾値より大きい期間内に現在の左眼用オブジェクト画像及び現在の右眼用オブジェクト画像の双方の出画準備が完了した場合は、現在の左眼用オブジェクト画像と現在の右眼用オブジェクト画像とを出画させる。そして、残り期間が上記閾値に達したときに現在の左眼用オブジェクト画像及び現在の右眼用オブジェクト画像の一方の出画準備が完了しなかった場合、現在の左眼用オブジェクト画像及び現在の右眼用オブジェクト画像の双方の出画をスキップさせる。

つまり、実施の形態６に係る三次元映像処理装置は、実施の形態３に係る三次元映像処理装置と比較して、現在の左眼用オブジェクト画像及び現在の右眼用オブジェクト画像の出画予定時刻に達すると直ちに出画をスキップするのではなく、所定の期間だけ出画準備の完了を待機する。その上で、所定の期間経過しても出画準備が完了しなかった場合には、双方の出画をスキップする点が異なっている。

以下では、実施の形態３と同じ点は説明を省略し、異なる点を中心に説明する。具体的には、符号化ストリームの分離、及び主映像の処理については、実施の形態３と同様であるので説明を省略し、オブジェクト画像の処理を中心に説明する。

図１７は、実施の形態６に係るオブジェクト処理部１４０ｅの構成を示すブロック図である。なお、オブジェクト処理部１４０ｅは、図１に示すオブジェクト処理部１４０に相当する。

図１７に示すオブジェクト処理部１４０ｅは、図９に示すオブジェクト処理部１４０ｂと比較して、出画制御部４３０の代わりに出画制御部７３０を備える点が異なっている。具体的には、出画制御部７３０は、出画同期部７３１と、クロック供給部７３２と、同期待ち判定部７３３とを備える。

出画同期部７３１は、実施の形態３に係る出画同期部４３１と同じ動作を行う。ただし、出画同期部７３１は、出画予定時刻までに左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画準備が完了しなかった場合には、以下のような処理を行う。

出画予定時刻までに左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画準備が完了しなかった場合、すなわち、出画処理部２１５及び２２５のいずれか一方から準備完了通知を受け取らなかった場合、直ちに出画スキップ指示を通知するのではなく、所定の期間待機する。言い換えると、出画同期部７３１は、次の左眼用オブジェクト画像及び右眼用オブジェクト画像が出画されるまでの期間である残り期間が所定の閾値より大きい期間、出画スキップ指示を出力するのを待機する。

出画同期部７３１は、待機中に、現在の左眼用オブジェクト画像及び現在の右眼用オブジェクト画像の双方の出画準備が完了した場合、すなわち、出画処理部２１５及び２２５の他方から準備完了通知を受け取った場合は、出画指示を出画処理部２１５及び２２５に通知する。また、出画同期部７３１は、待機中に、次の出画予定時刻の左眼用オブジェクト画像及び右眼用オブジェクト画像の準備完了通知を受け取った場合、同期待ち判定部７３３に次の出画予定時刻（ＰＴＳ）を通知する。

また、出画同期部７３１は、同期待ち判定部７３３から同期待ちキャンセル通知を受けた場合に、出画スキップ指示を出画処理部２１５及び２２５に通知する。同期待ちキャンセル通知は、出画同期部７３１に出画スキップ指示を通知させるための通知であり、出画をスキップさせる対象のＰＴＳを含んでいる。

クロック供給部７３２は、基準クロックを出画同期部７３１と同期待ち判定部７３３とに供給する。基準クロックは、所定の周波数のクロック信号である。

同期待ち判定部７３３は、出画同期部７３１から次のＰＴＳを受け取った場合、次のＰＴＳが示す時刻と、クロック供給部７３２から供給される基準クロックとを比較することで、次の画像の出画予定時刻を判断する。つまり、同期待ち判定部７３３は、次の画像の出画予定時刻と現在の時刻とから、出画同期部７３１により出画を待機させている現在の画像の残り期間を判断する。

同期待ち判定部７３３は、残り期間が所定の閾値以下になった場合、出画同期部７３１に同期待ちキャンセル通知を通知する。所定の閾値は、例えば、１枚の左眼用オブジェクト画像及び右眼用オブジェクト画像を出画すべき期間の半分、又は、０などである。

以上の構成により、実施の形態６に係るオブジェクト処理部１４０ｅは、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が完了していない場合、所定の期間だけ出画準備が完了するのを待機する。そして、オブジェクト処理部１４０ｅは、所定の期間経過しても出画準備が完了していない場合は、左眼用オブジェクト画像及び右眼用オブジェクト画像の出画をスキップする。

これにより、少しでも画像が出画されるようにすることができるので、本来得られるはずだった情報が得られないという不快感を軽減することができる。さらに、出画準備が期間内に完了しなかった場合は、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップさせるので三次元表示を継続させることができる。したがって、表示が二次元になるという不快感も軽減することができる。

続いて、実施の形態６に係るオブジェクト処理部１４０ｅの動作のうち、特に出画に関わる動作について説明する。なお、以下では、簡単のため、右眼用オブジェクト画像の出画準備が、出画予定時刻までに完了しなかった場合について説明する。左眼用オブジェクト画像の出画準備が完了しなかった場合については同様であるため、説明を省略する。

図１８は、実施の形態６に係るオブジェクト処理部１４０ｅの出画に関わる動作を示すフローチャートである。

まず、出画同期部７３１は、出画処理部２１５及び２２５のいずれか一方から、準備完了通知を受け取るのを待機する（Ｓ６０１）。例えば、出画同期部７３１が、出画処理部２１５から左眼用オブジェクト画像の準備完了通知を受け取った場合（Ｓ６０１でＹｅｓ）、クロック供給部７３２から供給される基準クロックと準備完了通知に含まれるＰＴＳとを比較することで、出画予定時刻を判断する。そして、出画同期部７３１は、時刻が出画予定時刻に達するまでの期間、出画処理部２２５から右眼用オブジェクト画像の準備完了通知を受け取るのを待機する（Ｓ６０２）。

時刻が出画予定時刻に達した場合であり（Ｓ６０２でＹｅｓ）、かつ、出画処理部２１５及び２２５の他方（ここでは、出画処理部２２５）から準備完了通知を受け取っていた場合（Ｓ６０３でＹｅｓ）、出画同期部７３１は、出画指示を出画処理部２１５及び２２５に通知する。そして、出画処理部２１５及び２２５はそれぞれ、左眼用オブジェクト画像と右眼用オブジェクト画像とを、出画予定時刻に出画する（Ｓ６０７）。

時刻が出画予定時刻に達した場合であり（Ｓ６０２でＹｅｓ）、かつ、出画処理部２２５から準備完了通知を受け取らなかった場合（Ｓ６０３でＮｏ）、出画同期部７３１は、次の画像を出画するまでに残された残り期間が閾値より大きい場合、待機する（Ｓ６０４）。具体的には、出画同期部７３１は、同期待ち判定部７３３から同期待ちキャンセル通知を受けるまで待機する。

待機している期間（Ｓ６０４でＹｅｓ）において、他方の準備が完了した場合（Ｓ６０３でＹｅｓ）、出画同期部７３１は、出画指示を出画処理部２１５及び２２５に通知する。これにより、出画処理部２１５及び２２５はそれぞれ、左眼用オブジェクト画像と右眼用オブジェクト画像とを出画予定時刻に出画する（Ｓ６０７）。

他方からの準備完了通知が通知されないまま、残り期間が閾値に達した場合（Ｓ６０４でＮｏ）、同期待ち判定部７３３は、同期待ちキャンセル通知を出画同期部７３１に通知し、出画同期部７３１は、出画スキップ指示を出画処理部２１５及び２２５の双方に通知する（Ｓ６０５）。出画スキップ指示を受け取った出画処理部２１５及び２２５はそれぞれ、出画予定時刻に対応する左眼用オブジェクト画像及び右眼用オブジェクト画像の出画をスキップする（Ｓ６０６）。そして、出画処理部２１５及び２２５はそれぞれ、グラフィックスプレーン２１６及び２２６のデータをクリアする。

以上の処理（Ｓ６０１〜Ｓ６０７）を出画すべき次の画像がなくなるまで繰り返す（Ｓ６０８）。

以上のようにして、実施の形態６に係るオブジェクト処理部１４０ｅは、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が所定の出画予定時刻までに完了しているか否かを、基準クロックとの比較により判定する。

判定の結果、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が所定の出画予定時刻までに完了していないと判定された場合、オブジェクト処理部１４０ｅは、次の画像を出画するまでに残された残り期間が閾値より大きい期間、双方の出画準備が完了するのを待機する。双方の出画準備が完了せずに、残り期間が閾値に達した場合、オブジェクト処理部１４０ｅは、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップする。すなわち、オブジェクト処理部１４０ｅは、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方を出画せず、次のオブジェクト画像の処理を実行する。

図１９は、実施の形態６に係る出画準備が完了していない場合の出画される画像を模式的に示す図である。

図１９に示すように、右眼用オブジェクト画像Ｒ２の出画準備が完了していない場合について説明する。右眼用オブジェクト画像Ｒ２の出画準備が完了していない場合、オブジェクト処理部１４０ｅは、左眼用オブジェクト画像Ｌ２の出画を待機する。

所定の期間内に、すなわち、次の左眼用オブジェクト画像Ｌ３及び右眼用オブジェクト画像Ｒ３を出画するまでに残された残り期間が閾値より大きい期間に、右眼用オブジェクト画像Ｒ２の出画準備が完了した場合、左眼用オブジェクト画像Ｌ２と右眼用オブジェクト画像Ｒ２とを出画する。したがって、図１９に示すように、本来、左眼用オブジェクト画像Ｌ２と右眼用オブジェクト画像Ｒ２とが出画されるべき期間よりも少ない期間であるが、左眼用オブジェクト画像Ｌ２と右眼用オブジェクト画像Ｒ２とが出画される。なお、待機中は、左眼用オブジェクト画像Ｌ１と右眼用オブジェクト画像Ｒ１とが出画されたままとなる。

これにより、三次元表示が継続されるので、表示が二次元になるという不快感を軽減することができる。

以上のように、実施の形態６に係る三次元映像処理装置１００は、左眼用オブジェクト画像及び右眼用オブジェクト画像の一方の出画準備が完了していない場合、所定の期間だけ出画準備が完了するのを待機する。所定の期間内に出画準備が完了した場合は、左眼用オブジェクト画像及び右眼用オブジェクト画像を出画し、所定の期間経過しても出画準備が完了していない場合は、左眼用オブジェクト画像及び右眼用オブジェクト画像の出画をスキップする。

これにより、少しでも画像が出画されるようにすることができるので、本来得られるはずだった情報が得られないという不快感を軽減することができる。さらに、出画準備が期間内に完了しなかった場合は、左眼用オブジェクト画像及び右眼用オブジェクト画像の双方の出画をスキップさせるので三次元表示を継続させることができる。したがって、表示が二次元になるという不快感も軽減することができる。

以上、本発明に係る三次元映像処理装置及び三次元映像処理方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はモジュールは、耐タンパ性を有するとしてもよい。

また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、コンピュータプログラム又はデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。

また、本発明は、コンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送などを経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムに従って動作するとしてもよい。

また、プログラム又はデジタル信号を記録媒体に記録して移送することにより、あるいはプログラム又はデジタル信号を、ネットワークなどを経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

本発明に係る三次元映像処理装置及び三次元映像処理方法は、視聴者に与える不快感を軽減することができるという効果を奏し、例えば、デジタルテレビ及びデジタルビデオレコーダなどに適用することができる。

１０ デジタルテレビ
２０ デジタルビデオレコーダ
１００ 三次元映像処理装置
１１０ 入力部
１２０ 分離部
１３０ 主映像処理部
１３１ 左眼用主映像処理部
１３２ 右眼用主映像処理部
１３３ 選択部
１４０、１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ オブジェクト処理部
１５０ 合成部
１６０ 記録媒体
２１０、３１０、５１０ 左眼用オブジェクト処理部
２１１、２２１ ストリームバッファ
２１２、２２２ デコーダ
２１３、２２３ オブジェクトバッファ
２１４、２２４ 属性情報バッファ
２１５、２２５、３１５、３２５ 出画処理部
２１６、２２６ グラフィックスプレーン
２１７、２２７ 色変換部
２２０、３２０、５２０ 右眼用オブジェクト処理部
２３０、３３０、４３０、５３０、６３０、７３０ 出画制御部
２３１、４３１、５３１、６３１、７３１ 出画同期部
２３２ デコーダ制御部
２４０ 選択部
３３２ ヘッダ補完部
４３２、７３２ クロック供給部
５１８、５２８ 出画セレクタ
６３３ 消去用データ判別部
７３３ 同期待ち判定部

Claims (18)

1. 視差を有する、主映像に重畳される左眼用オブジェクト画像と右眼用オブジェクト画像とを出画する三次元映像処理装置であって、
   前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の一方である第１画像の出画準備を行って出画する第１画像処理部と、
   前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の他方である第２画像の出画準備を行って出画する第２画像処理部と、
   前記第１画像と前記第２画像とを同期させて出画するように、前記第１画像処理部と前記第２画像処理部とを制御する出画制御部とを備え、
   前記第１画像処理部は、
   前記第１画像の出画準備が完了しているか否かを判定する第１判定部を備え、
   前記第２画像処理部は、
   前記第２画像の出画準備が完了しているか否かを判定する第２判定部を備え、
   前記出画制御部は、
   前記第１判定部及び前記第２判定部の一方によって、前記第１画像及び前記第２画像の一方の出画準備が完了していないと判定された場合、前記第１画像及び前記第２画像の双方の出画をスキップさせる
   三次元映像処理装置。
2. 前記第１画像処理部は、第１プレーンメモリを有し、前記第１画像の属性情報を含む第１ヘッダを用いて、前記第１画像を前記第１プレーンメモリに描画することで出画準備を行い、
   前記第２画像処理部は、第２プレーンメモリを有し、前記第２画像の属性情報を含む第２ヘッダを用いて、前記第２画像を前記第２プレーンメモリに描画することで出画準備を行い、
   前記第１判定部は、前記第１ヘッダにエラーが発生した場合に、前記第１画像の出画準備が完了していないと判定し、
   前記第２判定部は、前記第２ヘッダにエラーが発生した場合に、前記第２画像の出画準備が完了していないと判定する
   請求項１記載の三次元映像処理装置。
3. 前記第１判定部は、前記第１ヘッダが予め定められた規格に従っていない場合に、前記第１画像の出画準備が完了していないと判定し、
   前記第２判定部は、前記第２ヘッダが前記規格に従っていない場合に、前記第２画像の出画準備が完了していないと判定する
   請求項２記載の三次元映像処理装置。
4. 前記第１画像処理部は、前記第１画像の出画をスキップする場合、前記第１プレーンメモリに描画されたままの画像を消去するための第１消去用データを前記第１画像の代わりに出画し、
   前記第２画像処理部は、前記第２画像の出画をスキップする場合、前記第２プレーンメモリに描画されたままの画像を消去するための第２消去用データを前記第２画像の代わりに出画する
   請求項２又は３記載の三次元映像処理装置。
5. 前記第１画像処理部は、前記第１画像の出画をスキップする場合、前記第１プレーンメモリに描画されたままの第１画像を出画し、
   前記第２画像処理部は、前記第２画像の出画をスキップする場合、前記第２プレーンメモリに描画されたままの第２画像を出画する
   請求項２又は３記載の三次元映像処理装置。
6. 前記第１判定部は、前記第１画像の出画準備が完了したと判定した場合に、前記第１画像の出画準備が完了したことを示す第１完了通知を前記出画制御部に通知し、
   前記第２判定部は、前記第２画像の出画準備が完了したと判定した場合に、前記第２画像の出画準備が完了したことを示す第２完了通知を前記出画制御部に通知し、
   前記出画制御部は、前記第１完了通知及び前記第２完了通知の一方が所定の時刻までに通知されていない場合に、前記第１画像及び前記第２画像の双方の出画をスキップさせる
   請求項１記載の三次元映像処理装置。
7. 前記出画制御部は、現在の前記第１完了通知及び現在の前記第２完了通知の一方が通知されていない場合であって、かつ、次の左眼用オブジェクト画像及び次の右眼用オブジェクト画像が出画されるまでの期間である残り期間が所定の閾値より大きい期間内に、現在の前記第１完了通知及び現在の前記第２完了通知の一方を受け取った場合は、現在の前記第１画像及び現在の前記第２画像を出画させ、前記残り期間が前記閾値に達した際に、現在の前記第１完了通知及び現在の前記第２完了通知の一方を受け取らなかった場合、現在の前記第１画像及び現在の前記第２画像の双方の出画をスキップさせる
   請求項６記載の三次元映像処理装置。
8. 前記残り期間は、１枚の左眼用オブジェクト画像又は右眼用オブジェクト画像を出画すべき期間の半分である
   請求項７記載の三次元映像処理装置。
9. 視差を有する、主映像に重畳される左眼用オブジェクト画像と右眼用オブジェクト画像とを出画する三次元映像処理装置であって、
   前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の一方である第１画像の出画準備を行って出画する第１画像処理部と、
   前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の他方である第２画像の出画準備を行って出画する第２画像処理部と、
   前記第１画像と前記第２画像とを同期させて出画するように、前記第１画像処理部と前記第２画像処理部とを制御する出画制御部とを備え、
   前記第１画像処理部は、
   前記第１画像の出画準備が完了しているか否かを判定する第１判定部を備え、
   前記第２画像処理部は、
   前記第２画像の出画準備が完了しているか否かを判定する第２判定部を備え、
   前記出画制御部は、
   前記第１判定部によって、前記第１画像の出画準備が完了していないと判定され、かつ、前記第２判定部によって、前記第２画像の出画準備が完了していると判定された場合、所定の補完画像を前記第１画像として出画させる
   三次元映像処理装置。
10. 前記第１画像処理部は、第１プレーンメモリを有し、前記第１画像の属性情報を含む第１ヘッダを用いて、前記第１画像を前記第１プレーンメモリに描画することで出画準備を行い、
    前記第２画像処理部は、第２プレーンメモリを有し、前記第２画像の属性情報を含む第２ヘッダを用いて、前記第２画像を前記第２プレーンメモリに描画することで出画準備を行い、
    前記第１判定部は、前記第１ヘッダにエラーが発生した場合に、前記第１画像の出画準備が完了していないと判定し、
    前記三次元映像処理装置は、さらに、
    前記第１判定部によって、前記第１ヘッダにエラーが発生した場合に、前記第１ヘッダが含む属性情報と同じ属性情報を含む前記第２ヘッダを前記第２画像処理部から取得するヘッダ補完部を備え、
    前記第１画像処理部は、
    前記第１画像の出画準備が完了していないと判定された場合、前記ヘッダ補完部によって取得された第２ヘッダを用いて前記補完画像を前記第１プレーンメモリに描画し、描画した補完画像を前記第１画像として出画する
    請求項９記載の三次元映像処理装置。
11. 前記第１判定部は、前記第１ヘッダが予め定められた規格に従っていない場合に、前記第１ヘッダにエラーが発生したと判定する
    請求項１０記載の三次元映像処理装置。
12. 前記第１判定部は、前記第１画像の出画準備が完了したと判定した場合に、前記第１画像の出画準備が完了したことを示す第１完了通知を前記出画制御部に通知し、
    前記第２判定部は、前記第２画像の出画準備が完了したと判定した場合に、前記第２画像の出画準備が完了したことを示す第２完了通知を前記出画制御部に通知し、
    前記出画制御部は、前記第２完了通知を受けた後、前記第１完了通知が所定の時刻までに通知されていない場合に、前記第２画像である補完画像を前記第１画像として出画させる
    請求項９記載の三次元映像処理装置。
13. 前記出画制御部は、さらに、前記第１画像又は前記第２画像が、以前に描画された画像を消去するための消去用データであるか否かを判定し、
    前記出画制御部は、前記第２完了通知を受けた後、前記第１完了通知が前記所定の時刻までに通知されておらず、さらに、前記第２画像が前記消去用データであると判定した場合に、前記第２画像である前記消去用データを前記第１画像として出画させる
    請求項１２記載の三次元映像処理装置。
14. 前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像は、字幕、記号、図形又はメニュー画像である
    請求項１〜１３のいずれか１項に記載の三次元映像処理装置。
15. 視差を有する、主映像に重畳される左眼用オブジェクト画像と右眼用オブジェクト画像とを出画する三次元映像処理方法であって、
    前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の一方である第１画像の出画準備を行って出画する第１画像処理ステップと、
    前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の他方である第２画像の出画準備を行って出画する第２画像処理ステップと、
    前記第１画像と前記第２画像とを同期させて出画を制御する出画制御ステップとを含み、
    前記第１画像処理ステップは、
    前記第１画像の出画準備が完了しているか否かを判定する第１判定ステップを含み、
    前記第２画像処理ステップは、
    前記第２画像の出画準備が完了しているか否かを判定する第２判定ステップを含み、
    前記出画制御ステップでは、
    前記第１判定ステップ及び前記第２判定ステップの一方において、前記第１画像及び前記第２画像の一方の出画準備が完了していないと判定された場合、前記第１画像及び前記第２画像の双方の出画をスキップさせる
    三次元映像処理方法。
16. 視差を有する、主映像に重畳される左眼用オブジェクト画像と右眼用オブジェクト画像とを出画する三次元映像処理方法であって、
    前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の一方である第１画像の出画準備を行って出画する第１画像処理ステップと、
    前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の他方である第２画像の出画準備を行って出画する第２画像処理ステップと、
    前記第１画像と前記第２画像とを同期させて出画を制御する出画制御ステップとを含み、
    前記第１画像処理ステップは、
    前記第１画像の出画準備が完了しているか否かを判定する第１判定ステップを含み、
    前記第２画像処理ステップは、
    前記第２画像の出画準備が完了しているか否かを判定する第２判定ステップを含み、
    前記出画制御ステップは、
    前記第１判定ステップにおいて、前記第１画像の出画準備が完了していないと判定され、かつ、前記第２判定ステップにおいて、前記第２画像の出画準備が完了していると判定された場合、所定の補完画像を前記第１画像として出画させる
    三次元映像処理方法。
17. 視差を有する、主映像に重畳される左眼用オブジェクト画像と右眼用オブジェクト画像とを出画する三次元映像処理方法をコンピュータに実行させるプログラムであって、
    前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の一方である第１画像の出画準備を行って出画する第１画像処理ステップと、
    前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の他方である第２画像の出画準備を行って出画する第２画像処理ステップと、
    前記第１画像と前記第２画像とを同期させて出画を制御する出画制御ステップとを含み、
    前記第１画像処理ステップは、
    前記第１画像の出画準備が完了しているか否かを判定する第１判定ステップを含み、
    前記第２画像処理ステップは、
    前記第２画像の出画準備が完了しているか否かを判定する第２判定ステップを含み、
    前記出画制御ステップでは、
    前記第１判定ステップ及び前記第２判定ステップの一方において、前記第１画像及び前記第２画像の一方の出画準備が完了していないと判定された場合、前記第１画像及び前記第２画像の双方の出画をスキップさせる
    プログラム。
18. 視差を有する、主映像に重畳される左眼用オブジェクト画像と右眼用オブジェクト画像とを出画する三次元映像処理方法をコンピュータに実行させるプログラムであって、
    前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の一方である第１画像の出画準備を行って出画する第１画像処理ステップと、
    前記左眼用オブジェクト画像及び前記右眼用オブジェクト画像の他方である第２画像の出画準備を行って出画する第２画像処理ステップと、
    前記第１画像と前記第２画像とを同期させて出画を制御する出画制御ステップとを含み、
    前記第１画像処理ステップは、
    前記第１画像の出画準備が完了しているか否かを判定する第１判定ステップを含み、
    前記第２画像処理ステップは、
    前記第２画像の出画準備が完了しているか否かを判定する第２判定ステップを含み、
    前記出画制御ステップは、
    前記第１判定ステップにおいて、前記第１画像の出画準備が完了していないと判定され、かつ、前記第２判定ステップにおいて、前記第２画像の出画準備が完了していると判定された場合、所定の補完画像を前記第１画像として出画させる
    プログラム。

Images