JP4875127B2 - 三次元画像処理装置 - Google Patents

Description

本発明は三次元画像処理装置およびその制御方法に関し、特に、ユーザに違和感のない画像の画像データを生成する三次元画像処理装置およびその制御方法に関する。

視聴者が立体的に感じる二次元画像である三次元画像を表示する三次元画像表示装置が知られている（例えば、特許文献１参照）。また、近年では、このような三次元画像を表示する機能を有する家庭用テレビが実現されつつある。

この三次元画像表示装置は、互いに視差を有する右眼用画像と左眼用画像とを表示することにより、視聴者が立体的に感じる画像を表示する。例えば、三次元画像表示装置は、右眼用画像と左眼用画像とを１フレームごとに交互に表示する。

特開２００９−１２４７６８号公報

しかしながら、デコードエラーなどの原因により左眼用画像または右眼用画像にノイズが含まれていたり、一方の画像が欠落したりする場合がある。このような場合に、従来の装置により左眼用画像と右眼用画像とを表示すると、視聴者にとって違和感のある画像が生成されるという問題がある。例えば、正常な左眼用画像とノイズが含まれた右眼用画像とが交互に表示されたり、正常な左眼用画像と真っ黒な画像とが交互に表示されたりする。

本発明は上述の課題を解決するためになされたものであり、視聴者に違和感の無い画像の画像データを生成することができる三次元画像処理装置およびその制御方法を提供することを目的とする。

本発明のある局面に係る三次元画像処理装置は、立体視用の左眼用画像データおよび右眼用画像データを生成する三次元画像処理装置であって、左眼用画像データおよび右眼用画像データが符号化されたストリームデータを、前記左眼用画像データおよび前記右眼用画像データに復号するデコーダと、前記デコーダにおいて前記左眼用画像データおよび前記右眼用画像データの両方の復号が成功した場合には、前記左眼用画像データおよび前記右眼用画像データを所定の時間間隔で出力し、前記デコーダにおいて前記左眼用画像データおよび前記右眼用画像データのうちのいずれか一方の画像データの復号に失敗し、かつ他方の画像データの復号に成功した場合には、前記他方の画像データのみを、前記所定の時間間隔で出力する制御部とを備え、前記制御部は、前記デコーダにおいて前記一方の画像データの復号が所定フレーム連続して失敗した場合にのみ、復号に成功した前記他方の画像データのみを、前記所定の時間間隔で出力する。

この構成によると、左眼用画像データおよび右眼用画像データの一方の復号に失敗した場合であっても、復号に成功した画像データを出力し続けることにより、三次元表示から二次元表示への切替えを行なうことができる。また、三次元表示と二次元表示とで、同じ時間間隔で画像データを出力している。このため、画像データを表示する表示パネルは、表示の切替えが起こった場合であっても、特別な処理をすることなく、三次元画像処理装置より受け取った画像データを同一のフレームレートで表示し続けることができる。よって、三次元表示と二次元表示との表示切替え時にブラックアウトが発生せず、視聴者に違和感のない画像を生成することができる。
また、この構成によると、復号が所定フレーム連続して失敗した場合にのみ、三次元表示から二次元表示への変更を行うことができる。このため、二次元表示と三次元表示とが頻繁に切り替わるのを防止することができる。よって、視聴者に違和感のない画像を生成することができる。

好ましくは、前記制御部は、前記デコーダにおいて前記左眼用画像データおよび前記右眼用画像データの復号が成功するたびに、前記左眼用画像データと前記右眼用画像データとの間の左右方向のずれ量をオフセットとして算出するオフセット算出部と、前記一方の画像データの復号に失敗し、かつ前記他方の画像データの復号に成功した場合に、前記オフセット算出部において算出された最新の前記オフセットを、最終的に０になるように徐々に減らしながら前記オフセットを更新するオフセット更新部とを含み、前記制御部は、前記一方の画像データの復号に失敗し、かつ前記他方の画像データの復号に成功した場合に、前記オフセット更新部において更新された前記オフセットに基づいて前記他方の画像データの画素位置をずらすことにより、前記一方の画像データを擬似的に生成し、前記オフセットが０に更新されるまでの間、前記他方の画像データと擬似的に生成された前記一方の画像データとを前記所定の時間間隔で出力し、前記オフセットが０に更新された以降は、前記他方の画像データのみを前記所定の時間間隔で出力する。

この構成によると、三次元表示から二次元表示への切替え時に、いきなり二次元表示に切替えるのではなく、オフセットを徐々に０に近づけていくことにより、右眼用画像データと左眼用画像データとのずれ量を徐々に無くすことができる。これにより、スムーズに三次元表示から二次元表示に切替えることができる。このため、視聴者に違和感のない画像を生成することができる。

さらに好ましくは、前記制御部は、前記デコーダにおいて前記左眼用画像データおよび前記右眼用画像データのうちのいずれか一方の画像データの復号の失敗の連続回数が前記所定フレーム未満の場合には、復号に成功した時点における前記一方の画像データを出力する。

この構成によると、三次元表示の際に表示すべき画像データの復号に失敗している場合には、復号に成功している最新の画像データが出力される。このため、ノイズが混入した画像が表示されることも無い。よって、視聴者に違和感のない画像を生成することができる。

なお、本発明は、このような特徴的な処理部を備える三次元画像処理装置として実現することができるだけでなく、三次元画像処理装置に含まれる特徴的な処理部をステップとする三次元画像処理装置の制御方法として実現することができる。また、三次元画像処理装置の制御方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

さらに、本発明は、このような三次元画像処理装置の機能の一部または全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような三次元画像処理装置を備えるデジタルテレビ等の三次元画像表示装置として実現したり、このような三次元画像表示装置を含む三次元画像表示システムとして実現したりできる。

本発明によると、視聴者に違和感の無い画像の画像データを生成することができる三次元画像処理装置およびその制御方法を提供することができる。

本発明の実施の形態１に係る三次元画像表示システムの構成を示すブロック図である。 左眼用画像と右眼用画像の画像データを含む出力三次元画像データの一例を示す図である。 左眼用画像と右眼用画像の画像データを含む出力三次元画像データの他の一例を示す図である。 本発明の実施の形態１に係る左眼用画像および右眼用画像の一例を示す図である。 本発明の実施の形態１に係る三次元画像処理装置の構成を示すブロック図である。 制御部により生成される左眼用グラフィックデータおよび右眼用グラフィックデータの一例を示す図である。 デコード成功時の処理を説明するための図である。 Ｒグラフィックデコーダにおいてデコードが失敗した際の処理を説明するための図である。 本発明の実施の形態２に係る三次元画像処理装置の構成を示すブロック図である。 オフセットについて説明するための図である。 三次元画像処理装置が実行する処理のタイミングチャートである。 本発明の実施の形態３に係る三次元画像処理装置の構成を示すブロック図である。 本発明の実施の形態４に係る三次元画像処理装置の構成を示すブロック図である。 三次元画像処理装置が実行する処理のタイミングチャートである。 三次元画像処理装置が実行する処理の他のタイミングチャートである。 三次元画像処理装置が実行する処理のさらに他のタイミングチャートである。 本発明の実施の形態４の変形例に係る三次元画像処理装置が実行する処理のタイミングチャートである。 本発明の実施の形態５に係る三次元画像処理装置の構成を示すブロック図である。 三次元画像処理装置が実行する処理のタイミングチャートである。 本発明の実施の形態６に係る三次元画像処理装置の構成を示すブロック図である。 三次元画像処理装置が実行する処理のタイミングチャートである。

以下、本発明に係る三次元画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
本発明の実施の形態１に係る三次元画像処理装置は、画面上に表示される字幕や図形などのグラフィックのうち左眼用グラフィックまたは右眼用グラフィックのデコードが失敗した場合であっても、立体的にグラフィックを表示させることができる画像データを生成する。

まず、本発明の実施の形態１に係る三次元画像処理装置を含む三次元画像表示システムの構成を説明する。

図１は、本発明の実施の形態１に係る三次元画像表示システムの構成を示すブロック図である。

図１に示す三次元画像表示システム１０は、デジタルテレビ２０と、デジタルビデオレコーダ３０と、シャッタメガネ４３とを含む。デジタルテレビ２０とデジタルビデオレコーダ３０とは、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル４０を介して接続されている。

デジタルビデオレコーダ３０は、ＢＤ（ブルーレイディスク）等の光ディスク４１に記録されている三次元画像データを三次元表示可能な形式に変換し、変換後の三次元画像データを、ＨＤＭＩケーブル４０を経由してデジタルテレビ２０へ出力する。

デジタルテレビ２０は、放送波４２に含まれる三次元画像データを三次元表示可能な形式に変換した上で表示する。例えば、放送波４２は、地上デジタルテレビ放送、および衛星デジタルテレビ放送等である。また、デジタルテレビ２０は、デジタルビデオレコーダ３０により出力される三次元画像データを表示する。

なお、デジタルビデオレコーダ３０は、光ディスク４１以外の記録媒体（例えば、ハードディスクドライブおよび不揮発性メモリ等）に記録されている三次元画像データを三次元表示可能な形式に変換してもよい。また、デジタルビデオレコーダ３０は、放送波４２に含まれる三次元画像データ、またはインターネット等の通信網を経由して取得した三次元画像データを三次元表示可能な形式に変換してもよい。また、デジタルビデオレコーダ３０は、外部の装置により、外部入力端子（図示せず）等に入力された三次元画像データを三次元表示可能な形式に変換してもよい。

同様に、デジタルテレビ２０は、光ディスク４１およびその他の記録媒体に記録されている三次元画像データを三次元表示可能な形式に変換してもよい。また、デジタルテレビ２０は、インターネット等の通信網を経由して取得した三次元画像データを三次元表示可能な形式に変換してもよい。また、デジタルテレビ２０は、デジタルビデオレコーダ３０以外の外部の装置により、外部入力端子（図示せず）等に入力された三次元画像データを三次元表示可能な形式に変換してもよい。

また、デジタルテレビ２０とデジタルビデオレコーダ３０とは、ＨＤＭＩケーブル４０以外の規格のケーブルにより接続されていてもよいし、無線通信網により接続されていてもよい。

デジタルビデオレコーダ３０は、入力部３１と、三次元画像処理装置１００Ｂと、ＨＤＭＩ通信部３３とを備える。

入力部３１は、光ディスク４１に記録されている符号化三次元画像データ５１を取得する。

三次元画像処理装置１００Ｂは、入力部３１により取得された符号化三次元画像データ５１を三次元表示可能な形式に変換することにより、出力三次元画像データ５３を生成する。

ＨＤＭＩ通信部３３は、三次元画像処理装置１００Ｂにより生成された出力三次元画像データ５３を、ＨＤＭＩケーブル４０を経由してデジタルテレビ２０へ出力する。

なお、デジタルビデオレコーダ３０は、生成した出力三次元画像データ５３を、当該デジタルビデオレコーダ３０が備える記憶部（ハードディスクドライブおよび不揮発性メモリ等）に記憶してもよいし、当該デジタルビデオレコーダ３０に着脱可能な記録媒体（光ディスク等）に記録してもよい。

デジタルテレビ２０は、入力部２１と、ＨＤＭＩ通信部２３と、三次元画像処理装置１００と、表示パネル２６と、トランスミッタ２７とを備える。

入力部２１は、放送波４２に含まれる符号化三次元画像データ５５を取得する。
ＨＤＭＩ通信部２３は、ＨＤＭＩ通信部３３により出力された出力三次元画像データ５３を取得し、入力三次元画像データ５７として出力する。

三次元画像処理装置１００は、入力部２１により取得された符号化三次元画像データ５５を三次元表示可能な形式に変換することにより、出力三次元画像データ５８を生成し、出力三次元画像データ５８を出力する。また、三次元画像処理装置１００は、ＨＤＭＩ通信部２３より出力された入力三次元画像データ５７を用いて、出力三次元画像データ５８を生成し、出力三次元画像データ５８を出力する。

表示パネル２６は、三次元画像処理装置１００より出力される出力三次元画像データ５８を表示する。

図２Ａに示すように、出力三次元画像データ５８は、左眼用画像５８Ｌと右眼用画像５８Ｒの画像データを含む。以下では、左眼用画像５８Ｌといった場合、適宜、左眼用画像５８Ｌの画像データのことも示すものとする。右眼用画像５８Ｒについても同様である。三次元画像処理装置１００は、左眼用画像５８Ｌのみを含むフレームと右眼用画像５８Ｒのみを含むフレームとが交互に配置される出力三次元画像データ５８を生成する。この出力三次元画像データ５８は、例えば、６０ｐ（フレームレートが６０ｆｐｓのプログレッシブ方式）の画像データである。

トランスミッタ２７は、無線通信を用いて、シャッタメガネ４３を制御する。
シャッタメガネ４３は、例えば、視聴者が装着する液晶シャッタメガネであり、左眼用液晶シャッタと右眼用液晶シャッタとを備える。トランスミッタ２７は、左眼用画像５８Ｌと右眼用画像５８Ｒとの表示タイミングにあわせて、左眼用液晶シャッタおよび右眼用液晶シャッタの開閉を制御する。具体的には、トランスミッタ２７は、左眼用画像５８Ｌが表示されている期間は、シャッタメガネ４３の左眼用液晶シャッタを開き、かつ右眼用液晶シャッタを閉じる。また、トランスミッタ２７は、右眼用画像５８Ｒが表示されている期間は、シャッタメガネ４３の左眼用液晶シャッタを閉じ、かつ右眼用液晶シャッタを開く。このような表示タイミングおよびシャッタ開閉タイミングの制御により、視聴者の左眼には左眼用画像５８Ｌの画像が、右眼には右眼用画像５８Ｒの画像が、それぞれ選択的に入射する。

なお、視聴者の左眼および右眼に、左眼用画像５８Ｌおよび右眼用画像５８Ｒを選択的に入射させる方法は、この方法に限定されず、これ以外の方法を用いてもよい。

例えば、図２Ｂに示すように、出力三次元画像データ５８は、各フレーム内に左眼用画像５８Ｌと右眼用画像５８Ｒとが市松状に配置されていてもよい。この場合、表示パネル２６には左眼用の画素上に形成された左眼用偏光フィルムと、右眼用の画素上に形成された右眼用偏光フィルムとを備えることにより、左眼用画像５８Ｌと右眼用画像５８Ｒとに異なる偏光（直線偏光または円偏光等）をかける。また、シャッタメガネ４３の代わりに、上記偏光にそれぞれ対応する左眼用および右眼用の偏光フィルタを備える偏光メガネを用いることで、視聴者の左眼および右眼に、左眼用画像５８Ｌおよび右眼用画像５８Ｒを入射させることができる。

図３は、左眼用画像５８Ｌおよび右眼用画像５８Ｒの一例を示す図である。
図３に示すように、左眼用画像５８Ｌと右眼用画像５８Ｒとに含まれるオブジェクトは、撮影位置からオブジェクトの距離に応じた視差を有する。

なお、デジタルビデオレコーダ３０が備える三次元画像処理装置１００Ｂにおいて、上記三次元表示可能な形式への変換を行う場合、例えば、三次元画像処理装置１００Ｂは、図２Ｂに示すように、符号化三次元画像データ５１の配置パターンを、予め定められた配置パターン（例えば、チェッカパタン）に変換するとともに、６０ｐに変換する。この場合、デジタルテレビ２０が備える三次元画像処理装置１００は、この６０ｐの入力三次元画像データ５７の配置パターンの変換（例えば、左眼用画像５８Ｌと右眼用画像５８Ｒとが時間的に交互に配置されるような変換）のみを行う。

なお、三次元画像処理装置１００Ｂが、図２Ａに示す出力三次元画像データ５８の形式への変換を行ない、三次元画像処理装置１００は、出力三次元画像データ５８と同一の画像データを出力してもよい。また、三次元画像処理装置１００と三次元画像処理装置１００Ｂとの処理の一部が重複してもよい。

次に、三次元画像処理装置１００の構成を説明する。三次元画像処理装置１００Ｂも三次元画像処理装置１００と同様の構成を有する。このため、三次元画像処理装置１００についてのみ詳細に説明を行ない、三次元画像処理装置１００Ｂについての説明は繰り返さない。

図４は、三次元画像処理装置１００の構成を示すブロック図である。
図４に示すように三次元画像処理装置１００は、ＰＩＤフィルタ１０１と、ビデオ処理部１０２と、Ｌビデオプレーンメモリ１０４Ｌと、Ｒビデオプレーンメモリ１０４Ｒと、Ｌストリームバッファ１０８Ｌと、Ｒストリームバッファ１０８Ｒと、Ｌグラフィックデコーダ１１２Ｌと、Ｒグラフィックデコーダ１１２Ｒと、制御部１１６と、Ｌグラフィックプレーンメモリ１１８Ｌと、Ｒグラフィックプレーンメモリ１１８Ｒと、画像出力制御部１２２と、ユーザＩ／Ｆ（インタフェース）部１２４とを含む。

ＰＩＤフィルタ１０１は、符号化三次元画像データ５５に含まれるＰＩＤ（パケット識別子）を判別して、パケットデータのフィルタリングを行う。つまり、ＰＩＤフィルタ１０１は、ＰＩＤに基づいて、入力された符号化三次元画像データ５５を、符号化ビデオデータと、符号化グラフィックデータとに分ける。ＰＩＤフィルタ１０１は、さらに、ＰＩＤに基づいて、符号化グラフィックデータを、左眼用の符号化グラフィックデータと、右眼用の符号化グラフィックデータとに分ける。ここで、ビデオデータとは、通常、カメラで撮影される動画像データのことであり、その他にも、ＣＧ（Computer Graphics）またはアニメーションなど、人工的に作られたデータも含まれる。グラフィックデータとは、ビデオデータに重ねて表示されるデータのことであり、例えば、映画の字幕またはメニュー画面などのデータのことである。

ビデオ処理部１０２は、ＰＩＤフィルタ１０１で分離された符号化ビデオデータを復号することにより、左眼用画像５８Ｌおよび右眼用画像５８Ｒを生成する。

Ｌビデオプレーンメモリ１０４Ｌは、ビデオ処理部１０２で生成された左眼用画像５８Ｌを記憶するメモリである。Ｒビデオプレーンメモリ１０４Ｒは、ビデオ処理部１０２で生成された右眼用画像５８Ｒを記憶するメモリである。Ｌビデオプレーンメモリ１０４ＬおよびＲビデオプレーンメモリ１０４Ｒは、ビデオ処理部１０２で生成された左眼用画像５８Ｌおよび右眼用画像５８Ｒの代わりに、入力三次元画像データ５７に含まれる左眼用画像５８Ｌおよび右眼用画像５８Ｒをそれぞれ記憶してもよい。

Ｌストリームバッファ１０８Ｌは、ＰＩＤフィルタ１０１で分離された左眼用の符号化グラフィックデータを記憶するメモリである。Ｒストリームバッファ１０８Ｒは、ＰＩＤフィルタ１０１で分離された右眼用の符号化グラフィックデータを記憶するメモリである。

Ｌグラフィックデコーダ１１２Ｌは、Ｌストリームバッファ１０８Ｌに記憶されている左眼用の符号化グラフィックデータを１フレームずつデコードすることにより、左眼用グラフィックデータと、当該左眼用グラフィックデータを右方向にずらすためのずれ量であるオフセットとを得る。また、Ｌグラフィックデコーダ１１２Ｌは、デコード時にデコードエラー率を算出し、算出したデコードエラー率が所定の閾値よりも大きい場合には、デコードに失敗したと判定する。デコードの失敗は、光ディスク４１にキズがついていたり、放送波４２にノイズが含まれていたりすることなどにより発生する。Ｌグラフィックデコーダ１１２Ｌは、デコードエラー率が所定の閾値以下の場合には、デコードに成功したと判定する。

同様に、Ｒグラフィックデコーダ１１２Ｒは、Ｒストリームバッファ１０８Ｒに記憶されている右眼用の符号化グラフィックデータを１フレームずつデコードすることにより、右眼用グラフィックデータと、当該右眼用グラフィックデータを左方向にずらすためのずれ量であるオフセットとを得る。また、Ｒグラフィックデコーダ１１２Ｒは、デコード時のデコードエラー率を算出し、算出したデコードエラー率が所定の閾値よりも大きい場合には、デコードに失敗したと判定する。Ｒグラフィックデコーダ１１２Ｒは、デコードエラー率が所定の閾値以下の場合には、デコードに成功したと判定する。

制御部１１６は、Ｌグラフィックデコーダ１１２ＬおよびＲグラフィックデコーダ１１２Ｒにおいて、正常にデコードが行われた場合には、デコード結果から、互いに視差を有する左眼用グラフィックデータおよび右眼用グラフィックデータを生成し、Ｌグラフィックプレーンメモリ１１８ＬおよびＲグラフィックプレーンメモリ１１８Ｒにそれぞれ書込む。つまり、制御部１１６は、Ｌグラフィックデコーダ１１２Ｌでデコードされた左眼用グラフィックデータを、デコードにより得られたオフセットに基づいて右方向にずらし、Ｌグラフィックプレーンメモリ１１８Ｌに書込む。同様に、制御部１１６は、Ｒグラフィックデコーダ１１２Ｒでデコードされた右眼用グラフィックデータを、デコードにより得られたオフセットに基づいて左方向にずらし、Ｒグラフィックプレーンメモリ１１８Ｒに書込む。

また、制御部１１６は、Ｌグラフィックデコーダ１１２ＬおよびＲグラフィックデコーダ１１２Ｒの一方において正常にデコードが行われ、他方においてデコードに失敗した場合には、正常にデコードされたグラフィックデータを用いて、デコードに失敗した側のグラフィックデータを擬似的に生成する。制御部１１６は、正常にデコードされたグラフィックデータと擬似的に生成されたグラフィックデータとを、Ｌグラフィックプレーンメモリ１１８ＬおよびＲグラフィックプレーンメモリ１１８Ｒに書込む。制御部１１６の詳細な構成については後述する。

画像出力制御部１２２は、左眼用画像データと右眼用画像データとを６０ｐで交互に配置された出力三次元画像データ５８を生成し、表示パネル２６に出力する。ここで、画像出力制御部１２２は、Ｌビデオプレーンメモリ１０４Ｌに記憶されている左眼用画像５８ＬにＬグラフィックプレーンメモリ１１８Ｌに記憶されている左眼用グラフィックデータを重ね合わせることにより、左眼用画像データを生成する。また、画像出力制御部１２２は、Ｒビデオプレーンメモリ１０４Ｒに記憶されている右眼用画像５８ＲにＲグラフィックプレーンメモリ１１８Ｒに記憶されている右眼用グラフィックデータを重ね合わせることにより、右眼用画像データを生成する。画像出力制御部１２２の詳細な構成については後述する。

図５は、制御部１１６により生成される左眼用グラフィックデータおよび右眼用グラフィックデータの一例を示す図である。図５に示すように、左眼用グラフィックデータ１２３Ｌと右眼用グラフィックデータ１２３Ｒとに含まれるオブジェクトは、擬似的に設けられた撮影位置からオブジェクトの距離に応じた視差を有する。画像出力制御部１２２では、左眼用画像５８ＬおよびＬ制御情報バッファ１２４Ｌを重ね合わせた左眼用画像データと、右眼用画像５８Ｒおよび右眼用グラフィックデータ１２３Ｒを重ね合わせた右眼用画像データとをそれぞれ生成する。

図４を参照して、ユーザＩ／Ｆ部１２４は、制御部１１６に対して、擬似的なグラフィックデータの生成方法を指定する。ユーザＩ／Ｆ部１２４が実行する処理の詳細については後述する。

次に、制御部１１６の詳細な構成について説明する。
図４に示すように、制御部１１６は、Ｌ制御情報バッファ１２４Ｌと、Ｒ制御情報バッファ１２４Ｒと、Ｌグラフィックオブジェクトバッファ１２６Ｌと、Ｒグラフィックオブジェクトバッファ１２６Ｒと、グラフィック制御部１２８とを含む。

Ｌグラフィックオブジェクトバッファ１２６Ｌは、Ｌグラフィックデコーダ１１２Ｌでデコードされた左眼用グラフィックデータを記憶するメモリである。Ｒグラフィックオブジェクトバッファ１２６Ｒは、Ｒグラフィックオブジェクトバッファ１２６Ｒでデコードされた右眼用グラフィックデータを記憶するメモリである。

Ｌ制御情報バッファ１２４Ｌは、Ｌグラフィックデコーダ１１２Ｌでデコードされた、左眼用グラフィックデータのオフセットを記憶するメモリである。Ｒ制御情報バッファ１２４Ｒは、Ｒグラフィックデコーダ１１２Ｒでデコードされた、右眼用グラフィックデータのオフセットを記憶するメモリである。

グラフィック制御部１２８は、Ｌグラフィックデコーダ１１２ＬおよびＲグラフィックデコーダ１１２Ｒの双方においてデコードに成功した場合には、以下に説明する処理を実行する。図６は、デコード成功時の処理を説明するための図である。グラフィック制御部１２８は、図６（ａ）に示すようなＬグラフィックオブジェクトバッファ１２６Ｌに記憶されている左眼用グラフィックデータを、図６（ｂ）に示すようにＬ制御情報バッファ１２４Ｌに記憶されているオフセット（以下、「Ｌオフセット」という。）だけ右方向にずらし、左眼用グラフィックデータ１２３Ｌを生成する。同様に、グラフィック制御部１２８は、図６（ｃ）に示すようなＲグラフィックオブジェクトバッファ１２６Ｒに記憶されている右眼用グラフィックデータを、図６（ｄ）に示すようにＲ制御情報バッファ１２４Ｒに記憶されているオフセット（以下、「Ｒオフセット」という。）だけ左方向にずらし、右眼用グラフィックデータ１２３Ｒを生成する。グラフィック制御部１２８は、生成した左眼用グラフィックデータ１２３Ｌおよび右眼用グラフィックデータ１２３Ｒを、Ｌグラフィックプレーンメモリ１１８ＬおよびＲグラフィックプレーンメモリ１１８Ｒにそれぞれ書込む。

なお、グラフィック制御部１２８は、左眼用グラフィックデータを、Ｌオフセットだけ左方向にずらし、左眼用グラフィックデータ１２３Ｌを生成し、右眼用グラフィックデータを、Ｒオフセットだけ右方向にずらし、右眼用グラフィックデータ１２３Ｒを生成してもよい。このようなずらし方を行うことにより、グラフィックが視聴者から遠い位置にあるような三次元表示を行なうことができる。

グラフィック制御部１２８は、Ｌグラフィックデコーダ１１２ＬおよびＲグラフィックデコーダ１１２Ｒのいずれか一方においてデコードに成功し、他方においてデコードに失敗した場合には、以下に説明する処理を実行する。以下では、Ｌグラフィックデコーダ１１２Ｌにおいてデコードに成功し、Ｒグラフィックデコーダ１１２Ｒにおいてデコードに失敗した場合について説明するが、逆の場合も同様である。図７は、Ｒグラフィックデコーダ１１２Ｒにおいてデコードが失敗した際の処理を説明するための図である。グラフィック制御部１２８は、Ｌグラフィックデコーダ１１２Ｌよりデコードに成功したことの通知を受け、かつＲグラフィックデコーダ１１２Ｒよりデコードに失敗したことの通知を受けると、図７（ａ）に示すようなＬグラフィックオブジェクトバッファ１２６Ｌに記憶されている左眼用グラフィックデータを、図７（ｂ）に示すようにＬオフセットだけ右方向にずらし、左眼用グラフィックデータ１２３Ｌを生成する。また、グラフィック制御部１２８は、図７（ａ）に示すようなＬグラフィックオブジェクトバッファ１２６Ｌに記憶されている左眼用グラフィックデータを、図７（ｄ）に示すようにＬオフセットだけ左方向にずらし、右眼用グラフィックデータ１２３Ｒを擬似的に生成する。つまり、デコードが失敗したことにより、右眼用グラフィックデータおよびＲオフセットが存在しないため、グラフィック制御部１２８は、左眼用グラフィックデータおよびＬオフセットを利用して、右眼用グラフィックデータ１２３Ｒを擬似的に生成する。グラフィック制御部１２８は、生成した左眼用グラフィックデータ１２３Ｌおよび右眼用グラフィックデータ１２３Ｒを、Ｌグラフィックプレーンメモリ１１８ＬおよびＲグラフィックプレーンメモリ１１８Ｒにそれぞれ書込む。

以上のようにしてＬグラフィックプレーンメモリ１１８ＬおよびＲグラフィックプレーンメモリ１１８Ｒを生成する。なお、符号化グラフィックデータにオフセットが含まれておらず、デコードによってはオフセットが得られない場合には、左眼用グラフィックデータと右眼用グラフィックデータとから、両データの左右方向のずれ量をオフセットとして求める。つまり、グラフィック制御部１２８は、Ｌグラフィックデコーダ１１２ＬおよびＲグラフィックデコーダ１１２Ｒの双方においてデコードが成功したフレームにおいて、左眼用グラフィックデータ１２３Ｌおよび右眼用グラフィックデータ１２３Ｒ（図７（ｂ）および図７（ｄ））の左右方向のずれ量を、オフセットとして算出する。ずれ量の算出は、左眼用グラフィックデータ１２３Ｌと右眼用グラフィックデータ１２３Ｒとのパターンマッチングを行うことにより行われる。例えば、右眼用グラフィックデータ１２３Ｒより切り出した所定サイズのブロック（例えば、８×８画素のブロック）を左眼用グラフィックデータ１２３Ｌ上で走査することにより、対応するブロックの位置を求め、両ブロック間の距離をずれ量（オフセット）として求める。グラフィック制御部１２８は、パターンマッチングにより求められたオフセットをフレーム毎に更新する。Ｒグラフィックデコーダ１１２Ｒにおいてデコードが失敗した場合には、グラフィック制御部１２８は、最新のオフセットを用いて擬似的に右眼用グラフィックデータ１２３Ｒを生成する。なお、オフセットは、１フレームにつき１つ求められるものとする。また、算出したオフセットは、ＬオフセットとＲオフセットとを加算した値となっている。このため、グラフィック制御部１２８は、算出したオフセットの半分の値をＬオフセットとして、右眼用グラフィックデータ１２３Ｒを擬似的に生成する。

右眼用グラフィックデータ１２３Ｒの生成の際に、符号化グラフィックデータに含まれているオフセットを用いるのか、パターンマッチングにより求められたオフセットを用いるのかについては、ユーザＩ／Ｆ部１２４からのユーザ入力により切替えられる。

なお、グラフィック制御部１２８は、Ｌグラフィックデコーダ１１２ＬまたはＲグラフィックデコーダ１１２Ｒにおいてデコードに失敗した場合だけでなく、符号化三次元画像データ５５の入力の始めや終わりなどにおいて、Ｌストリームバッファ１０８ＬまたはＲストリームバッファ１０８Ｒがアンダーフローする場合にも同様の処理を行う。

次に、画像出力制御部１２２の詳細について説明する。
図４に示すように、画像出力制御部１２２は、スイッチ１３０と、スイッチ１３２と、加算器１３４とを含む。

スイッチ１３０は、Ｌビデオプレーンメモリ１０４Ｌに記憶されている左眼用画像５８ＬおよびＲビデオプレーンメモリ１０４Ｒに記憶されている右眼用画像５８Ｒを交互に選択し、出力する。スイッチ１３０の切替えの速度は、６０ｐである。つまり、左眼用画像５８Ｌと右眼用画像５８Ｒとが交互に出力され、１秒間あたり３０枚の左眼用画像５８Ｌと３０枚の右眼用画像５８Ｒとが出力される。

スイッチ１３２は、Ｌグラフィックプレーンメモリ１１８Ｌに記憶されている左眼用グラフィックデータ１２３ＬおよびＲグラフィックプレーンメモリ１１８Ｒに記憶されている右眼用グラフィックデータ１２３Ｒを交互に選択し、出力する。スイッチ１３２の切替えの速度は、６０ｐである。つまり、左眼用グラフィックデータ１２３Ｌと右眼用グラフィックデータ１２３Ｒとが交互に出力され、１秒間当たり３０枚の左眼用グラフィックデータ１２３Ｌと３０枚の右眼用グラフィックデータ１２３Ｒとが出力される。

スイッチ１３０とスイッチ１３２とは同期して入力の切り替えを行う。つまり、スイッチ１３０がＬビデオプレーンメモリ１０４Ｌを選択している時には、スイッチ１３２はＬグラフィックプレーンメモリ１１８Ｌを選択する。また、スイッチ１３０がＲビデオプレーンメモリ１０４Ｒを選択している時には、スイッチ１３２はＲグラフィックプレーンメモリ１１８Ｒを選択する。

なお、スイッチ１３０およびスイッチ１３２の切替え速度は一例であり、６０ｐに限定されるものではなく、表示パネル２６が１２０ｐの速度で処理が可能であれば、１２０ｐであってもよい。

加算器１３４は、スイッチ１３０より出力される画像に、スイッチ１３２より出力されるグラフィックデータを重ね合わせ、出力三次元画像データ５８として表示パネル２６に出力する。つまり、加算器１３４は、左眼用画像５８Ｌに左眼用グラフィックデータを重ね合わせることにより、左眼用画像データを生成する。また、加算器１３４は、右眼用画像５８Ｒに右眼用グラフィックデータを重ね合わせることにより、右眼用画像データを生成する。加算器１３４は、生成された右眼用画像データと左眼用画像データとが６０ｐで交互に配置された出力三次元画像データ５８を表示パネル２６に出力する。

以上説明したように、本実施の形態に係る三次元画像処理装置によると、デコードの失敗などにより、左眼用グラフィックデータまたは右眼用グラフィックデータが得られない場合であっても、デコードに成功したグラフィックデータをオフセットに基づいてシフトさせることにより擬似的にグラフィックデータを生成することができる。このため、視聴者に違和感の無い画像の画像データを生成することができる。

（実施の形態２）
上記実施の形態１では、左眼用グラフィックデータまたは右眼用グラフィックデータのデコードに失敗した際に、デコードに成功したグラフィックデータを用いて、デコードに失敗した側のグラフィックデータを擬似的に生成した。実施の形態２では、左眼用画像または右眼用画像のデコードに失敗した際に、デコードに成功した画像（ビデオデータ）を用いて、デコードに失敗した側の画像を擬似的に生成する装置について説明する。

以下では、実施の形態１と重複する説明は繰り返さず、実施の形態１との相違点について主に説明する。

図８は、実施の形態２に係る三次元画像処理装置１００の構成を示すブロック図である。この三次元画像処理装置１００は、ビデオデータとグラフィックデータとの重ね合わせは行わずに、ビデオデータのデコードのみを行うものとする。また、三次元画像処理装置１００Ｂは、三次元画像処理装置１００と同様の構成を有する。このため、その詳細な説明は繰り返さない。

三次元画像処理装置１００は、Ｌビデオデコーダ１４２Ｌと、Ｒビデオデコーダ１４２Ｒと、Ｌフレームメモリ１４４Ｌと、Ｒフレームメモリ１４４Ｒと、制御部１４６と、Ｌ画像出力制御部１４８Ｌと、Ｒ画像出力制御部１４８Ｒと、Ｌ／Ｒ切替え制御部１４９と、セレクタ１５０とを含む。

Ｌビデオデコーダ１４２Ｌは、符号化三次元画像データ５５を入力として受け、符号化三次元画像データ５５をデコードすることにより、左眼用画像５８Ｌを生成する。同様に、Ｒビデオデコーダ１４２Ｒは、符号化三次元画像データ５５を入力として受け、符号化三次元画像データ５５をデコードすることにより、右眼用画像５８Ｒを生成する。Ｌビデオデコーダ１４２ＬおよびＲビデオデコーダ１４２Ｒの各々は、デコード時にデコードエラー率を算出し、算出したデコードエラー率が所定の閾値よりも大きい場合には、デコードに失敗したと判定する。デコードの失敗は、光ディスク４１にキズがついていたり、放送波４２にノイズが含まれていたりすることなどにより発生する。Ｌビデオデコーダ１４２ＬおよびＲビデオデコーダ１４２Ｒの各々は、デコードエラー率が所定の閾値以下の場合には、デコードに成功したと判定する。

Ｌフレームメモリ１４４Ｌは、Ｌビデオデコーダ１４２Ｌでデコードされた左眼用画像５８Ｌをフレーム毎に蓄積するメモリである。同様に、Ｒフレームメモリ１４４Ｒは、Ｒビデオデコーダ１４２Ｒでデコードされた右眼用画像５８Ｒをフレーム毎に蓄積するメモリである。

制御部１４６は、Ｌビデオデコーダ１４２ＬおよびＲビデオデコーダ１４２Ｒの双方においてデコードが成功しているフレームに関しては、Ｌフレームメモリ１４４ＬおよびＲフレームメモリ１４４Ｒに蓄積されている左眼用画像５８Ｌおよび右眼用画像５８Ｒを、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒにそれぞれ出力する。また、制御部１４６は、Ｌビデオデコーダ１４２ＬおよびＲビデオデコーダ１４２Ｒのいずれか一方においてデコードに失敗した場合には、正常にデコードされた画像を用いて、デコードに失敗した側の画像を擬似的に生成する。制御部１４６は、正常にデコードされた画像と擬似的に生成された画像とを、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒに出力する。制御部１１６の詳細な構成について後述する。

Ｌ画像出力制御部１４８Ｌは、制御部１４６より出力される左眼用画像５８Ｌを６０ｐで出力する。同様に、Ｒ画像出力制御部１４８Ｒは、制御部１４６より出力される右眼用画像５８Ｒを６０ｐで出力する。

セレクタ１５０は、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒに接続され、Ｌ／Ｒ切替え制御部１４９からの制御信号に従い、左眼用画像５８Ｌおよび右眼用画像５８Ｒのいずれか一方を選択し、選択した画像を出力する。Ｌ／Ｒ切替え制御部１４９は、セレクタ１５０から左眼用画像５８Ｌと右眼用画像５８Ｒとが６０ｐで交互に出力されるように制御信号を生成し、セレクタ１５０に出力する。Ｌ／Ｒ切替え制御部１４９およびセレクタ１５０の処理により、セレクタ１５０からは左眼用画像５８Ｌと右眼用画像５８Ｒとが交互に配置された出力三次元画像データ５８が生成される。この出力三次元画像データ５８は、６０ｐの画像データである。

次に、制御部１４６の構成について詳細に説明する。
図８に示すように、制御部１４６は、オフセット算出部１５２と、オフセットフレームメモリ１５４と、Ｌフレームデータ作成部１５６Ｌと、Ｒフレームデータ作成部１５６Ｒと、セレクタ１５８Ｌと、セレクタ１５８Ｒとを含む。

オフセット算出部１５２は、Ｌビデオデコーダ１４２ＬおよびＲビデオデコーダ１４２Ｒの双方においてデコードが成功したフレームにおいて、左眼用画像５８Ｌおよび右眼用画像５８Ｒの左右方向のずれ量を、オフセットとして算出する。例えば、図９（ａ）に示すような左眼用画像５８Ｌと、図９（ｂ）に示すような右眼用画像５８Ｒとがデコードにより得られている場合には、オフセット算出部１５２は、左眼用画像５８Ｌに含まれているオブジェクトと右眼用画像５８Ｒに含まれているオブジェクトとのパターンマッチングを行う。これにより、オフセット算出部１５２は、図９（ｃ）に示すような２つのオブジェクト間のずれ量を、オフセットとして算出する。オフセットの算出は、例えば、右眼用画像５８Ｒより切り出した所定サイズのブロック（例えば、８×８画素のブロック）を左眼用画像５８Ｌ上で走査することにより、対応するブロックの位置を求め、両ブロック間の距離をずれ量（オフセット）として求める。このオフセットは、画素毎または数画素おきに求められ、オフセットフレームメモリ１５４に保持される。また、オフセット算出部１５２は、Ｌビデオデコーダ１４２ＬおよびＲビデオデコーダ１４２Ｒの双方でデコードが成功するたびに、オフセットフレームメモリ１５４に保持されるオフセットを更新する。

Ｌフレームデータ作成部１５６Ｌは、Ｒフレームメモリ１４４Ｒに記憶されている右眼用画像５８Ｒをオフセットフレームメモリ１５４に記憶されているオフセットに基づいて、画素毎にオフセットだけ右方向にずらすことにより、左眼用画像５８Ｌを作成する。例えば、図９（ｂ）に示す右眼用画像５８Ｒを図９（ｃ）に示すオフセットだけ右方向にずらすことにより、図９（ａ）に示すような左眼用画像５８Ｌを擬似的に生成する。

同様に、Ｒフレームデータ作成部１５６Ｒは、Ｌフレームメモリ１４４Ｌに記憶されている左眼用画像５８Ｌをオフセットフレームメモリ１５４に記憶されているオフセットに基づいて、画素毎にオフセットだけ左方向にずらすことにより、右眼用画像５８Ｒを生成する。例えば、図９（ａ）に示す左眼用画像５８Ｌを図９（ｃ）に示すオフセットだけ左方向にずらすことにより、図９（ｂ）に示すような右眼用画像５８Ｒを擬似的に生成する。

セレクタ１５８Ｌは、Ｌフレームメモリ１４４ＬおよびＬフレームデータ作成部１５６Ｌに接続され、Ｌビデオデコーダ１４２Ｌからデコードの成否に関するデータを制御信号として受け取る。セレクタ１５８Ｌは、その制御信号に基づいて、入力の切り替えを行う。つまり、Ｌビデオデコーダ１４２Ｌにおいてデコードに成功した場合には、セレクタ１５８Ｌは、Ｌフレームメモリ１４４Ｌに記憶されている左眼用画像５８Ｌを出力する。また、Ｌビデオデコーダ１４２Ｌにおいてデコードに失敗した場合には、セレクタ１５８Ｌは、Ｌフレームデータ作成部１５６Ｌにおいて擬似的に生成された左眼用画像５８Ｌを出力する。

同様に、セレクタ１５８Ｒは、Ｒフレームメモリ１４４ＲおよびＲフレームデータ作成部１５６Ｒに接続され、Ｒビデオデコーダ１４２Ｒからデコードの成否に関するデータを制御信号として受け取る。セレクタ１５８Ｒは、その制御信号に基づいて、入力の切り替えを行う。つまり、Ｒビデオデコーダ１４２Ｒにおいてデコードに成功した場合には、セレクタ１５８Ｒは、Ｒフレームメモリ１４４Ｒに記憶されている右眼用画像５８Ｒを出力する。また、Ｒビデオデコーダ１４２Ｒにおいてデコードに失敗した場合には、セレクタ１５８Ｒは、Ｒフレームデータ作成部１５６Ｒにおいて擬似的に生成された右眼用画像５８Ｒを出力する。

以上のように構成された三次元画像処理装置１００の時系列処理について説明する。
図１０は、三次元画像処理装置１００が実行する処理のタイミングチャートである。同図に示すように、１／６０秒を１垂直同期期間（以下、「１Ｖ期間」という）とした場合、Ｌビデオデコーダ１４２Ｌは、左眼用画像５８Ｌのデコードを２Ｖ期間に１回の割合で行う。デコードされた各左眼用画像５８ＬをＬ１〜Ｌ６で示しており、左眼用画像Ｌ１〜Ｌ６のデコードに成功したものとする。

一方、Ｒビデオデコーダ１４２Ｒは、Ｌビデオデコーダ１４２Ｌのデコードタイミングと１Ｖ期間ずれたタイミングで、右眼用画像５８Ｒのデコードを２Ｖ期間に１回の割合で行う。デコードされた各右眼用画像５８ＲをＲ１〜Ｒ６で示しており、右眼用画像Ｒ１〜Ｒ３、Ｒ５およびＲ６のデコードには成功したが、右眼用画像Ｒ４のデコードには失敗したものとする。

このとき、オフセットフレームメモリ１５４には、まず、左眼用画像Ｌ１と右眼用画像Ｒ１から算出されたオフセット（Ｌ１−Ｒ１）が蓄積される。２Ｖ期間毎にオフセットは更新され、次の２Ｖ期間では左眼用画像Ｌ２と右眼用画像Ｒ２から算出されたオフセット（Ｌ２−Ｒ２）が蓄積される。次の２Ｖ期間では左眼用画像Ｌ３と右眼用画像Ｒ３から算出されたオフセット（Ｌ３−Ｒ３）が蓄積される。次の２Ｖ期間では、左眼用画像Ｌ４と右眼用画像Ｒ４から算出されたオフセット（Ｌ４−Ｒ４）が蓄積されるはずであるが、右眼用画像Ｒ４のデコードに失敗している。このため、オフセットフレームメモリ１５４には、オフセット（Ｌ３−Ｒ３）が引き続き蓄積されている。次の２Ｖ期間では、左眼用画像Ｌ５と右眼用画像Ｒ５から算出されたオフセット（Ｌ５−Ｒ５）が蓄積される。次の２Ｖ期間では、左眼用画像Ｌ６と右眼用画像Ｒ６から算出されたオフセット（Ｌ６−Ｒ６）が蓄積される。

Ｌ画像出力制御部１４８Ｌは、左眼用画像を６０ｐで出力する。なお、Ｌビデオデコーダ１４２Ｌでは、左眼用画像は３０ｐで生成される。このため、Ｌ画像出力制御部１４８Ｌは同じ画像を２回連続して出力する。例えば、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ１を１／６０秒間隔で２回連続して出力する。その後に、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ２を１／６０秒間隔で２回連続して出力する。

Ｒ画像出力制御部１４８Ｒは、右眼用画像を６０ｐで出力する。なお、Ｒ画像出力制御部１４８Ｒは、Ｌ画像出力制御部１４８Ｌと同様の理由により、同じ画像を２回連続して出力する。例えば、Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ２を１／６０秒間隔で２回連続して出力する。その後に、Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ３を１／６０秒間隔で２回連続して出力する。その後に、Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ４を１／６０秒間隔で２回連続して出力するはずであるが、右眼用画像Ｒ４のデコードに失敗している。このため、Ｒ画像出力制御部１４８Ｒは、Ｒフレームデータ作成部１５６Ｒにおいて擬似的に生成された右眼用画像Ｒ４（図１０では「Ｌ４差分」と記載する）を２回連続して出力する。

Ｌ／Ｒ切替え制御部１４９は、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒの出力を選択する信号を１／６０秒間隔で交互に出力する。これにより、セレクタ１５０は、１／６０秒間隔で左眼用画像と右眼用画像とを交互に出力する。つまり、セレクタ１５０は、左眼用画像Ｌ１、右眼用画像Ｒ１、左眼用画像Ｌ２、右眼用画像Ｒ２、…の順に画像出力を行う。なお、右眼用画像Ｒ４は存在しないため、左眼用画像Ｌ４の次に、擬似的に生成された右眼用画像Ｒ４（Ｌ４差分）が出力される。

以上説明したように、本実施の形態に係る三次元画像処理装置によると、デコードの失敗などにより、左眼用画像または右眼用画像が得られない場合であっても、デコードに成功した画像をオフセットに基づいてシフトさせることにより擬似的に画像を生成することができる。このため、視聴者に違和感のない画像を生成することができる。

（実施の形態３）
実施の形態３では、三次元表示から二次元表示への切替えの際にブラックアウト（一瞬画面が黒くなる現象）を起こすことなく、表示の切替えを行なうことができる三次元画像処理装置１００について説明する。

以下では、実施の形態１および２と重複する説明は繰り返さず、実施の形態１および２との相違点について主に説明する。

図１１は、実施の形態３に係る三次元画像処理装置１００の構成を示すブロック図である。この三次元画像処理装置１００は、ビデオデータとグラフィックデータとの重ね合わせは行わずに、ビデオデータのデコードのみを行うものとする。また、三次元画像処理装置１００Ｂは、三次元画像処理装置１００と同様の構成を有する。このため、その詳細な説明は繰り返さない。

三次元画像処理装置１００は、Ｌビデオデコーダ１４２Ｌと、Ｒビデオデコーダ１４２Ｒと、Ｌフレームメモリ１４４Ｌと、Ｒフレームメモリ１４４Ｒと、２Ｄ／３Ｄ表示制御部１６２と、制御部１６０とを含む。

Ｌビデオデコーダ１４２Ｌと、Ｒビデオデコーダ１４２Ｒと、Ｌフレームメモリ１４４Ｌと、Ｒフレームメモリ１４４Ｒとは、図８を参照して説明した実施の形態２に係るそれらと同様である。そのため、これらについての詳細な説明は繰り返さない。

２Ｄ／３Ｄ表示制御部１６２は、二次元表示または三次元表示の切替えを行う。この切替えは、ユーザによる指示に基づいて行っても良いし、所定の判断基準に基づいて行ってもよい。例えば、放送波４２に含まれる二次元表示または三次元表示の切替え信号に基づいて表示の切替えを行ってもよい。２Ｄ／３Ｄ表示制御部１６２は、後述する制御部１６０のＬ／Ｒ切替え制御部１６３に対して表示の切替えを指示する。

次に、制御部１６０の詳細な構成について説明する。
図１１に示すように、制御部１６０は、Ｌ画像出力制御部１４８Ｌと、Ｒ画像出力制御部１４８Ｒと、セレクタ１５０と、Ｌ／Ｒ切替え制御部１６３とを含む。

Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒは、図８を参照して説明した実施の形態２に係るそれらと同様である。そのため、これらについての詳細な説明は繰り返さない。

Ｌ／Ｒ切替え制御部１６３は、２Ｄ／３Ｄ表示制御部１６２から三次元表示への切替えが指定された場合には、実施の形態２のＬ／Ｒ切替え制御部１４９と同様の動作を行なう。つまり、Ｌ／Ｒ切替え制御部１６３は、Ｌ画像出力制御部１４８Ｌで出力制御された左眼用画像５８ＬとＲ画像出力制御部１４８Ｒで出力制御された右眼用画像５８Ｒとが、セレクタ１５０から６０ｐで交互に出力されるような制御信号を生成し、セレクタ１５０に出力する。セレクタ１５０は、Ｌ／Ｒ切替え制御部１４９からの制御信号に従い、左眼用画像５８Ｌおよび右眼用画像５８Ｒを６０ｐで交互に出力する。

一方、Ｌ／Ｒ切替え制御部１６３は、２Ｄ／３Ｄ表示制御部１６２から二次元表示への切替えが指定された場合には、Ｌ画像出力制御部１４８Ｌで出力制御された左眼用画像５８Ｌが、セレクタ１５０から６０ｐで出力されるような制御信号を生成し、セレクタ１５０に出力する。セレクタ１５０は、Ｌ／Ｒ切替え制御部１４９からの制御信号に従い、左眼用画像５８Ｌを６０ｐで出力する。このとき、Ｌビデオデコーダ１４２Ｌでのデコードが１／３０秒間隔でしか行われない場合には、セレクタ１５０は、同じ左眼用画像５８Ｌを２回連続して出力することにより、６０ｐでの出力を実現する。

以上説明したように、実施の形態３に係る三次元画像処理装置によると、三次元表示と二次元表示とで、表示のフレームレートを同じにしている。このため、表示パネルは、表示の切替えが起こった場合であっても、特別な処理をすることなく、三次元画像処理装置より受け取った画像データを同一のフレームレートで表示し続けることができる。よって、三次元表示と二次元表示との表示切替え時にブラックアウトが発生せず、視聴者に違和感のない画像を生成することができる。

（実施の形態４）
実施の形態３では、三次元表示から二次元表示への切替えは、ユーザによる指示または所定の判断基準に基づいて行われた。本実施の形態では、それに加えて、三次元表示中にデコードに失敗した際に、二次元表示に切替えることができる三次元画像処理装置１００について説明する。

以下では、実施の形態１〜３と重複する説明は繰り返さず、実施の形態１〜３との相違点について主に説明する。

図１２は、実施の形態４に係る三次元画像処理装置１００の構成を示すブロック図である。この三次元画像処理装置１００は、ビデオデータとグラフィックデータとの重ね合わせは行わずに、ビデオデータのデコードのみを行うものとする。また、三次元画像処理装置１００Ｂは、三次元画像処理装置１００と同様の構成を有する。このため、その詳細な説明は繰り返さない。

三次元画像処理装置１００は、Ｌビデオデコーダ１４２Ｌと、Ｒビデオデコーダ１４２Ｒと、Ｌフレームメモリ１４４Ｌと、Ｒフレームメモリ１４４Ｒと、制御部１７０とを含む。

Ｌビデオデコーダ１４２Ｌと、Ｒビデオデコーダ１４２Ｒと、Ｌフレームメモリ１４４Ｌと、Ｒフレームメモリ１４４Ｒとは、図８を参照して説明した実施の形態２に係るそれらと同様である。そのため、これらについての詳細な説明は繰り返さない。

次に、制御部１７０の詳細な構成について説明する。
図１２に示すように、制御部１７０は、Ｌ画像出力制御部１４８Ｌと、Ｒ画像出力制御部１４８Ｒと、セレクタ１５０と、２Ｄ／３Ｄ表示制御部１６２と、閾値メモリ１７２と、エラー状況判別部１７４と、Ｌ／Ｒ切替え制御部１７６とを含む。

Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒは、図８を参照して説明した実施の形態２に係るそれらと同様である。そのため、これらについての詳細な説明は繰り返さない。

２Ｄ／３Ｄ表示制御部１６２は、実施の形態３に示したものと同様である。
エラー状況判別部１７４は、Ｌビデオデコーダ１４２ＬおよびＲビデオデコーダ１４２Ｒのエラー発生率を算出し、エラー発生率と、閾値メモリ１７２に記憶されている所定の閾値とを比較することにより、Ｌビデオデコーダ１４２ＬまたはＲビデオデコーダ１４２Ｒのいずれかで復号に失敗しているか否かを判別する。つまり、エラー状況判別部１７４は、復号エラー率が所定の閾値よりも大きい場合には、復号に失敗していると判断し、復号エラー率が所定の閾値以下の場合には、復号に成功していると判断する。エラー状況判別部１７４は、復号エラーが発生していると判断した場合に、復号エラーが発生しているデコーダを識別するための情報をＬ／Ｒ切替え制御部１７６に出力する。

Ｌ／Ｒ切替え制御部１７６は、実施の形態３に示したＬ／Ｒ切替え制御部１６３と同様に、２Ｄ／３Ｄ表示制御部１６２からの切替え指示に基づいて、セレクタ１５０の入力を切替えるための制御信号をセレクタ１５０に出力する。それに加えて、Ｌ／Ｒ切替え制御部１７６は、デコーダにおいてデコードに失敗したとエラー状況判別部１７４が判断した場合には、三次元表示から二次元表示に切替えるための制御信号をセレクタ１５０に出力する。

具体的には、Ｌビデオデコーダ１４２Ｌにおいてデコードが失敗し、かつＲビデオデコーダ１４２Ｒにおいてデコードが成功したとエラー状況判別部１７４が判断した場合には、Ｌ／Ｒ切替え制御部１７６は、Ｒ画像出力制御部１４８Ｒで出力制御された右眼用画像５８Ｒが、セレクタ１５０から６０ｐで出力されるような制御信号を生成し、セレクタ１５０に出力する。セレクタ１５０は、Ｌ／Ｒ切替え制御部１７６からの制御信号に従い、右眼用画像５８Ｒを６０ｐで出力する。このとき、Ｒビデオデコーダ１４２Ｒでのデコードが１／３０秒間隔でしか行われない場合には、セレクタ１５０は、同じ右眼用画像５８Ｒを２回連続して出力することにより、６０ｐでの出力を実現する。

同様に、Ｌビデオデコーダ１４２Ｌにおいてデコードが成功し、かつＲビデオデコーダ１４２Ｒにおいてデコードが失敗したとエラー状況判別部１７４が判断した場合には、Ｌ／Ｒ切替え制御部１７６は、Ｌ画像出力制御部１４８Ｌで出力制御された左眼用画像５８Ｌが、セレクタ１５０から６０ｐで出力されるような制御信号を生成し、セレクタ１５０に出力する。セレクタ１５０は、Ｌ／Ｒ切替え制御部１７６からの制御信号に従い、左眼用画像５８Ｌを６０ｐで出力する。このとき、Ｌビデオデコーダ１４２Ｌでのデコードが１／３０秒間隔でしか行われない場合には、セレクタ１５０は、同じ左眼用画像５８Ｌを２回連続して出力することにより、６０ｐでの出力を実現する。

以上のように構成された三次元画像処理装置１００の時系列処理について説明する。
図１３は、三次元画像処理装置１００が実行する処理のタイミングチャートである。同図に示すように、Ｌビデオデコーダ１４２Ｌは、左眼用画像５８Ｌのデコードを２Ｖ期間に１回の割合で行う。デコードされた各左眼用画像５８ＬをＬ１〜Ｌ６で示しており、左眼用画像Ｌ１〜Ｌ６のデコードに成功したものとする。

一方、Ｒビデオデコーダ１４２Ｒは、Ｌビデオデコーダ１４２Ｌのデコードタイミングと１Ｖ期間ずれたタイミングで、右眼用画像５８Ｒのデコードを２Ｖ期間に１回の割合で行う。デコードされた各右眼用画像５８ＲをＲ１〜Ｒ６で示しており、右眼用画像Ｒ１〜Ｒ３のデコードには成功したが、右眼用画像Ｒ４〜Ｒ６のデコードには失敗したものとする。

このとき、Ｌ画像出力制御部１４８Ｌは、左眼用画像を６０ｐで出力する。なお、Ｌビデオデコーダ１４２Ｌでは、左眼用画像は３０ｐで生成される。このため、Ｌ画像出力制御部１４８Ｌは同じ画像を２回連続して出力する。例えば、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ１を１／６０秒間隔で２回連続して出力する。その後に、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ２を１／６０秒間隔で２回連続して出力する。

Ｒ画像出力制御部１４８Ｒは、右眼用画像を６０ｐで出力する。なお、Ｒ画像出力制御部１４８Ｒは、Ｌ画像出力制御部１４８Ｌと同様の理由により、同じ画像を２回連続して出力する。

Ｌ／Ｒ切替え制御部１７６は、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒの出力を選択する信号を１／６０秒間隔で交互に出力する。これにより、セレクタ１５０は、１／６０秒間隔で左眼用画像と右眼用画像とを交互に出力する。つまり、セレクタ１５０は、左眼用画像Ｌ１、右眼用画像Ｒ１、左眼用画像Ｌ２、右眼用画像Ｒ２、…の順に画像出力を行う。Ｒビデオデコーダ１４２Ｒは、右眼用画像Ｒ４の復号に失敗している。このため、右眼用画像Ｒ４の出力時点において、Ｌ／Ｒ切替え制御部１７６は、左眼用画像のみ出力するように、セレクタ１５０を制御する。これにより、Ｒビデオデコーダ１４２Ｒにおいて、右眼用画像の復号に失敗している期間は、左眼用画像のみを出力する二次元表示に切替えることができる。なお、左眼用画像の復号に失敗している場合には、左右が異なるだけであり、同様の処理が行われる。

図１４は、三次元画像処理装置１００が実行する処理の他のタイミングチャートである。図１４の例では、右眼用画像Ｒ３よりも後の画像が欠落して、Ｒフレームメモリ１４４Ｒがアンダーフローする場合について示している。このようなアンダーフローは、コンテンツの再生終了後に起こることが多い。

図１３と同様、Ｌビデオデコーダ１４２Ｌは、左眼用画像５８Ｌのデコードを２Ｖ期間に１回の割合で行う。デコードされた各左眼用画像５８ＬをＬ１〜Ｌ６で示しており、左眼用画像Ｌ１〜Ｌ６のデコードに成功したものとする。

一方、Ｒビデオデコーダ１４２Ｒは、Ｌビデオデコーダ１４２Ｌのデコードタイミングと１Ｖ期間ずれたタイミングで、右眼用画像５８Ｒのデコードを２Ｖ期間に１回の割合で行う。この図では、右眼用画像Ｒ１〜Ｒ３のデコードには成功したが、右眼用画像Ｒ３よりも後の画像が欠落している。

このとき、Ｌ画像出力制御部１４８Ｌは、左眼用画像を６０ｐで出力する。なお、Ｌビデオデコーダ１４２Ｌでは、左眼用画像は３０ｐで生成される。このため、Ｌ画像出力制御部１４８Ｌは同じ画像を２回連続して出力する。例えば、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ１を１／６０秒間隔で２回連続して出力する。その後に、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ２を１／６０秒間隔で２回連続して出力する。

Ｒ画像出力制御部１４８Ｒは、右眼用画像を６０ｐで出力する。なお、Ｒ画像出力制御部１４８Ｒは、Ｌ画像出力制御部１４８Ｌと同様の理由により、同じ画像を２回連続して出力する。Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ３を出力した後は、出力する画像が無いため、画像の出力を停止する。

Ｌ／Ｒ切替え制御部１７６は、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒの出力を選択する信号を１／６０秒間隔で交互に出力する。これにより、セレクタ１５０は、１／６０秒間隔で左眼用画像と右眼用画像とを交互に出力する。つまり、セレクタ１５０は、左眼用画像Ｌ１、右眼用画像Ｒ１、左眼用画像Ｌ２、右眼用画像Ｒ２、…の順に画像出力を行う。右眼用画像Ｒ３の次の画像が存在しないため、Ｒビデオデコーダ１４２Ｒは復号に失敗する。このため、右眼用画像Ｒ３の次の画像の出力時点において、Ｌ／Ｒ切替え制御部１７６は、左眼用画像のみ出力するように、セレクタ１５０を制御する。これにより、右眼用画像が欠落しており、Ｒフレームメモリ１４４Ｒがアンダーフローしている期間は、左眼用画像のみを出力する二次元表示に切替えることができる。なお、左眼用画像が欠落しており、Ｌフレームメモリ１４４Ｌがアンダーフローする場合には、左右が異なるだけであり、同様の処理が行われる。

図１５は、三次元画像処理装置１００が実行する処理のさらに他のタイミングチャートである。図１５の例では、右眼用画像Ｒ３よりも前の画像が欠落して、Ｒフレームメモリ１４４Ｒがアンダーフローする場合について示している。このようなアンダーフローは、コンテンツの再生開始時に起こることが多い。

図１３と同様、Ｌビデオデコーダ１４２Ｌは、左眼用画像５８Ｌのデコードを２Ｖ期間に１回の割合で行う。デコードされた各左眼用画像５８ＬをＬ１〜Ｌ６で示しており、左眼用画像Ｌ１〜Ｌ６のデコードに成功したものとする。

一方、Ｒビデオデコーダ１４２Ｒは、Ｌビデオデコーダ１４２Ｌのデコードタイミングと１Ｖ期間ずれたタイミングで、右眼用画像５８Ｒのデコードを２Ｖ期間に１回の割合で行う。この図では、右眼用画像Ｒ３〜Ｒ６のデコードには成功したが、右眼用画像Ｒ３よりも前の画像が欠落している。

このとき、Ｌ画像出力制御部１４８Ｌは、左眼用画像を６０ｐで出力する。なお、Ｌビデオデコーダ１４２Ｌでは、左眼用画像は３０ｐで生成される。このため、Ｌ画像出力制御部１４８Ｌは同じ画像を２回連続して出力する。例えば、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ１を１／６０秒間隔で２回連続して出力する。その後に、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ２を１／６０秒間隔で２回連続して出力する。

Ｒ画像出力制御部１４８Ｒは、右眼用画像を６０ｐで出力する。なお、Ｒ画像出力制御部１４８Ｒは、Ｌ画像出力制御部１４８Ｌと同様の理由により、同じ画像を２回連続して出力する。Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ３を出力する前は、出力する画像が無いため、画像の出力を停止する。

Ｌ／Ｒ切替え制御部１７６は、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒの出力を選択する信号を１／６０秒間隔で交互に出力する。これにより、セレクタ１５０は、１／６０秒間隔で左眼用画像と右眼用画像とを交互に出力する。ただし、右眼用画像Ｒ３よりも前の画像が存在しないため、Ｒビデオデコーダ１４２Ｒは復号に失敗する。このため、三次元画像処理装置１００の起動時には、Ｌ／Ｒ切替え制御部１７６は、左眼用画像のみ出力するように、セレクタ１５０を制御する。これにより、右眼用画像が欠落しており、Ｒフレームメモリ１４４Ｒがアンダーフローしている期間は、左眼用画像のみを出力する二次元表示に切替えることができる。その後、Ｒビデオデコーダ１４２Ｒにより右眼用画像Ｒ３がデコードされると、Ｒ画像出力制御部１４８Ｒから右眼用画像Ｒ３が出力されるタイミングにおいて、Ｌ／Ｒ切替え制御部１７６は、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒの出力を選択する信号を１／６０秒間隔で交互に出力する。これにより、セレクタ１５０は、１／６０秒間隔で左眼用画像と右眼用画像とを交互に出力する。このような処理により、右眼用画像が欠落しており、Ｒフレームメモリ１４４Ｒがアンダーフローしている期間は、左眼用画像のみを出力する二次元表示に切替えることができる。なお、左眼用画像が欠落しており、Ｌフレームメモリ１４４Ｌがアンダーフローする場合には、左右が異なるだけであり、同様の処理が行われる。

以上説明したように、実施の形態４に係る三次元画像処理装置によると、左眼用画像および右眼用画像の一方の画像の復号に失敗したり、一方の画像が欠落したりした場合であっても、復号に成功した画像を表示し続けることにより、三次元表示から二次元表示への切替えを行なうことができる。また、三次元表示と二次元表示とで、表示のフレームレートを同じにしている。このため、表示パネルは、表示の切替えが起こった場合であっても、特別な処理をすることなく、三次元画像処理装置より受け取った画像データを同一のフレームレートで表示し続けることができる。よって、三次元表示と二次元表示との表示切替え時にブラックアウトが発生せず、視聴者に違和感のない画像を生成することができる。

（実施の形態４の変形例）
実施の形態４では、左眼用画像および右眼用画像の一方の画像の復号に失敗した場合に、三次元表示から二次元表示への切替えを行うことにより、視聴者に違和感のない画像の生成を行なった。しかし、瞬間的に復号に失敗する場合などは、直ちに二次元表示への切替えを行うと視聴者にとって、かえって違和感を与えてしまう。

このため、本変形例では、一定回数以上連続して復号に失敗した場合にのみ、三次元表示から二次元表示への切替えを行うこととし、復号失敗の連続回数が一定回数未満の場合には、二次元表示への切替えを行わないこととする。このような判断は、図１２に示したＬ／Ｒ切替え制御部１７６が行う。

また、本変形例のＬ画像出力制御部１４８Ｌは、Ｌビデオデコーダ１４２Ｌにおいて復号に失敗した際には、Ｌフレームメモリ１４４Ｌより復号に失敗した画像を読み出して出力するのではなく、最新の復号に成功した画像を読み出して出力する。Ｒ画像出力制御部１４８Ｒも同様の処理を行う。

本変形例の構成は、Ｌ／Ｒ切替え制御部１７６、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒ以外、図１２に示した実施の形態４に係る三次元画像処理装置１００と同様である。そのため、その他の構成要素についての説明は繰り返さない。

図１６は、実施の形態４の変形例に係る三次元画像処理装置１００が実行する処理のタイミングチャートである。ここでは、一例として上記一定回数を２回とする。同図に示すように、Ｌビデオデコーダ１４２Ｌは、左眼用画像５８Ｌのデコードを２Ｖ期間に１回の割合で行う。デコードされた各左眼用画像５８ＬをＬ１〜Ｌ６で示しており、左眼用画像Ｌ１〜Ｌ６のデコードに成功したものとする。

一方、Ｒビデオデコーダ１４２Ｒは、Ｌビデオデコーダ１４２Ｌのデコードタイミングと１Ｖ期間ずれたタイミングで、右眼用画像５８Ｒのデコードを２Ｖ期間に１回の割合で行う。デコードされた各右眼用画像５８ＲをＲ１〜Ｒ６で示しており、右眼用画像Ｒ１およびＲ３のデコードには成功したが、右眼用画像Ｒ２およびＲ４〜Ｒ６のデコードには失敗したものとする。

このとき、Ｌ画像出力制御部１４８Ｌは、左眼用画像を６０ｐで出力する。なお、Ｌビデオデコーダ１４２Ｌでは、左眼用画像は３０ｐで生成される。このため、Ｌ画像出力制御部１４８Ｌは同じ画像を２回連続して出力する。例えば、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ１を１／６０秒間隔で２回連続して出力する。その後に、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ２を１／６０秒間隔で２回連続して出力する。

Ｒ画像出力制御部１４８Ｒは、右眼用画像を６０ｐで出力する。なお、Ｒ画像出力制御部１４８Ｒは、Ｌ画像出力制御部１４８Ｌと同様の理由により、同じ画像を２回連続して出力する。また、右眼用画像Ｒ２の復号に失敗しているため、Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ２の出力タイミングにおいて、復号に成功した右眼用画像Ｒ１を出力する。また、右眼用画像Ｒ４〜Ｒ６の復号に失敗しているため、Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ４〜Ｒ６の出力タイミングにおいて、復号に成功した右眼用画像Ｒ３を出力する。

Ｌ／Ｒ切替え制御部１７６は、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒの出力を選択する信号を１／６０秒間隔で交互に出力する。これにより、セレクタ１５０は、１／６０秒間隔で左眼用画像と右眼用画像とを交互に出力する。つまり、セレクタ１５０は、左眼用画像Ｌ１、右眼用画像Ｒ１、左眼用画像Ｌ２、右眼用画像Ｒ２、…の順に画像出力を行う。Ｒビデオデコーダ１４２Ｒは、右眼用画像Ｒ２の復号に失敗している。しかし、復号失敗の連続回数は１であり、一定回数未満である。このため、Ｌ／Ｒ切替え制御部１７６は、処理の変更は行わない。その後、Ｒビデオデコーダ１４２Ｒが右眼用画像Ｒ３の復号に成功した後に、Ｒビデオデコーダ１４２Ｒは、３回連続して右眼用画像（右眼用画像Ｒ４〜Ｒ６）の復号に失敗する。このため、右眼用画像Ｒ５の復号時に、復号失敗の連続回数が一定回数以上となる。よって、本来右眼用画像Ｒ５が出力されるタイミングにおいて、Ｌ／Ｒ切替え制御部１７６は、左眼用画像のみ出力するように、セレクタ１５０を制御する。これにより、復号失敗が一定回数連続した場合にのみ、左眼用画像のみを出力する二次元表示に切替えることができる。また、復号失敗の連続回数が一定回数未満の場合には、復号に成功した時点の右眼用画像が出力される。なお、左眼用画像の復号に失敗している場合には、左右が異なるだけであり、同様の処理が行われる。

以上説明したように、実施の形態４の変形例に係る三次元画像処理装置によると、復号失敗が一定回数以上連続した場合にのみ、三次元表示から二次元表示への変更を行っている。このため、二次元表示と三次元表示とが頻繁に切り替わるのを防止することができる。また、三次元表示の際に表示すべき画像の復号に失敗している場合には、復号に成功している最新の画像が表示される。このため、ノイズが混入した画像が表示されることも無い。よって、視聴者に違和感のない画像を生成することができる。

（実施の形態５）
実施の形態４では、三次元表示中にデコードに失敗した際に、二次元表示へ切替える三次元画像処理装置について説明したが、急激に三次元表示から二次元表示への切替えが行われた。本実施の形態では、三次元表示から二次元表示への切替えを連続的に行うことができる三次元画像処理装置１００について説明する。

以下では、実施の形態１〜４と重複する説明は繰り返さず、実施の形態１〜４との相違点について主に説明する。

図１７は、実施の形態５に係る三次元画像処理装置１００の構成を示すブロック図である。この三次元画像処理装置１００は、ビデオデータとグラフィックデータとの重ね合わせは行わずに、ビデオデータのデコードのみを行うものとする。また、三次元画像処理装置１００Ｂは、三次元画像処理装置１００と同様の構成を有する。このため、その詳細な説明は繰り返さない。

三次元画像処理装置１００は、Ｌビデオデコーダ１４２Ｌと、Ｒビデオデコーダ１４２Ｒと、Ｌフレームメモリ１４４Ｌと、Ｒフレームメモリ１４４Ｒと、制御部１８０とを含む。

Ｌビデオデコーダ１４２Ｌと、Ｒビデオデコーダ１４２Ｒと、Ｌフレームメモリ１４４Ｌと、Ｒフレームメモリ１４４Ｒとは、図８を参照して説明した実施の形態２に係るそれらと同様である。そのため、これらについての詳細な説明は繰り返さない。

次に、制御部１８０の詳細な構成について説明する。
図１７に示すように、制御部１８０は、オフセット算出部１５２と、オフセットフレームメモリ１５４と、Ｌフレームデータ作成部１５６Ｌと、Ｒフレームデータ作成部１５６Ｒと、セレクタ１５８Ｌと、セレクタ１５８Ｒと、オフセット減算部１８２と、Ｌ画像出力制御部１４８Ｌと、Ｒ画像出力制御部１４８Ｒと、Ｌ／Ｒ切替え制御部１４９と、セレクタ１５０とを含む。

オフセット算出部１５２と、オフセットフレームメモリ１５４と、Ｌフレームデータ作成部１５６Ｌと、Ｒフレームデータ作成部１５６Ｒと、セレクタ１５８Ｌと、セレクタ１５８Ｒと、Ｌ画像出力制御部１４８Ｌと、Ｒ画像出力制御部１４８Ｒと、Ｌ／Ｒ切替え制御部１４９と、セレクタ１５０とは、図８に示した実施の形態２に係る三次元画像処理装置１００の構成と同様である。

オフセット減算部１８２は、オフセットフレームメモリ１５４に格納されている画素毎または数画素おきに求められているオフセットのそれぞれについて、Ｌビデオデコーダ１４２ＬまたはＲビデオデコーダ１４２Ｒでデコードに失敗した際に、Ｌビデオデコーダ１４２ＬでのデコードタイミングまたはＲビデオデコーダ１４２Ｒでのデコードタイミングに同期して、所定の正の値ｎを減算する。減算を行った結果、オフセットが０以下になった場合には、オフセット減算部１８２は、オフセットを０とする。

以上のように構成された三次元画像処理装置１００の時系列処理について説明する。
図１８は、三次元画像処理装置１００が実行する処理のタイミングチャートである。図１８の例では、右眼用画像Ｒ２よりも後の画像が欠落して、Ｒフレームメモリ１４４Ｒがアンダーフローする場合について示している。このようなアンダーフローは、コンテンツの再生終了時に起こることが多い。

Ｌビデオデコーダ１４２Ｌは、左眼用画像５８Ｌのデコードを２Ｖ期間に１回の割合で行う。デコードされた各左眼用画像５８ＬをＬ１〜Ｌ６で示しており、左眼用画像Ｌ１〜Ｌ６のデコードに成功したものとする。

一方、Ｒビデオデコーダ１４２Ｒは、Ｌビデオデコーダ１４２Ｌのデコードタイミングと１Ｖ期間ずれたタイミングで、右眼用画像５８Ｒのデコードを２Ｖ期間に１回の割合で行う。この図では、右眼用画像Ｒ１およびＲ２のデコードには成功したが、右眼用画像Ｒ２よりも後の画像が欠落している。

このとき、オフセットフレームメモリ１５４には、まず、左眼用画像Ｌ１と右眼用画像Ｒ１から算出されたオフセット（Ｌ１−Ｒ１）が蓄積される。２Ｖ期間毎にオフセットは更新され、次の２Ｖ期間では左眼用画像Ｌ２と右眼用画像Ｒ２から算出されたオフセット（Ｌ２−Ｒ２）が蓄積される。次の２Ｖ期間では左眼用画像Ｌ３と右眼用画像Ｒ３から算出されたオフセット（Ｌ３−Ｒ３）が蓄積されるはずであるが、右眼用画像Ｒ２よりも後の画像は欠落している。このため、オフセット減算部１８２は、オフセット（Ｌ２−Ｒ２）から所定の正の値ｎを減算し、（Ｌ２−Ｒ２）−ｎがオフセットフレームメモリ１５４に蓄積される。さらに次の２Ｖ期間では、オフセット減算部１８２がオフセット（Ｌ２−Ｒ２）−ｎから所定の正の値ｎを減算することにより得られた（Ｌ２−Ｒ２）−２ｎがオフセットフレームメモリ１５４に蓄積される。オフセット減算部１８２は、オフセットフレームメモリ１５４に格納されているオフセットの各々について、オフセットが０になるまで２Ｖ期間毎に正の値ｎの減算を行う。

Ｌ画像出力制御部１４８Ｌは、左眼用画像を６０ｐで出力する。なお、Ｌビデオデコーダ１４２Ｌでは、左眼用画像は３０ｐで生成される。このため、Ｌ画像出力制御部１４８Ｌは同じ画像を２回連続して出力する。例えば、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ１を１／６０秒間隔で２回連続して出力する。その後に、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ２を１／６０秒間隔で２回連続して出力する。

Ｒ画像出力制御部１４８Ｒは、右眼用画像を６０ｐで出力する。なお、Ｒ画像出力制御部１４８Ｒは、Ｌ画像出力制御部１４８Ｌと同様の理由により、同じ画像を２回連続して出力する。例えば、Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ１を１／６０秒間隔で２回連続して出力する。その後に、Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ２を１／６０秒間隔で２回連続して出力する。その後に、Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ３を１／６０秒間隔で２回連続して出力するはずであるが、右眼用画像Ｒ２以降の画像は存在しない。このため、Ｒ画像出力制御部１４８Ｒは、Ｒフレームデータ作成部１５６Ｒにおいて擬似的に生成された右眼用画像（図１８では「Ｌ３−Ｎ」と記載する）を２回連続して出力する。ここで、右眼用画像Ｌ３−Ｎは、最新の左眼用画像Ｌ３を、オフセットフレームメモリ１５４に蓄積されているオフセット（Ｌ２−Ｒ２）−ｎだけ左方向にシフトさせることにより得られる画像である。その後、Ｒ画像出力制御部１４８Ｒは、Ｒフレームデータ作成部１５６Ｒにおいて擬似的に生成された右眼用画像（図８では「Ｌ４−２Ｎ」と記載する）を２回連続して出力する。ここで、右眼用画像Ｌ４−２Ｎは、最新の左眼用画像Ｌ４を、オフセットフレームメモリ１５４に蓄積されているオフセット（Ｌ２−Ｒ２）−２ｎだけ左方向にシフトさせることにより得られる画像である。オフセットフレームメモリ１５４に蓄積されているオフセットは徐々に０に近づくため、左眼用画像と右眼用画像とのずれ量が最終的に０になり、Ｒ画像出力制御部１４８Ｒは、Ｌ画像出力制御部１４８Ｌから出力される左眼用画像と同じ画像を出力することとなる。オフセット（Ｌ２−Ｒ２）−２ｎから、さらに所定の正の値ｎを減算した結果、オフセットが０になったとする。このとき、Ｒフレームデータ作成部１５６Ｒは、左眼用画像Ｌ５と同じ画像を右眼用画像として生成するため、Ｒ画像出力制御部１４８Ｒは、左眼用画像Ｌ５と同じ画像を右眼用画像として出力する。

Ｌ／Ｒ切替え制御部１４９は、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒの出力を選択する信号を１／６０秒間隔で交互に出力する。これにより、セレクタ１５０は、１／６０秒間隔で左眼用画像と右眼用画像とを交互に出力する。つまり、セレクタ１５０は、左眼用画像Ｌ１、右眼用画像Ｒ１、左眼用画像Ｌ２、右眼用画像Ｒ２の順に画像出力を行う。その後、左眼用画像Ｌ３、右眼用画像Ｌ３−Ｎ、左眼用画像Ｌ４、右眼用画像Ｌ４−２Ｎの順に画像出力が行われるが、右眼用画像生成時のオフセットが徐々に０に近づいている。つまり、左眼用画像と右眼用画像とのずれ量が徐々になくなっているため、三次元表示から二次元表示へスムーズに移行することができる。その後は、左眼用画像Ｌ５、右眼用画像Ｌ５の順に画像出力が行われ、二次元表示が行われる。

以上説明したように、本実施の形態に係る三次元画像処理装置によると、三次元表示から二次元表示への切替え時に、いきなり二次元表示に切替えるのではなく、左眼用画像と右眼用画像とのずれ量を徐々に０に近づけていくことにより、スムーズに三次元表示から二次元表示に切替えることができる。このため、視聴者に違和感のない画像を生成することができる。

（実施の形態６）
実施の形態５では、三次元表示中にデコードに失敗した場合に、三次元表示から二次元表示へスムーズに切替える三次元画像処理装置について説明した。本実施の形態では、ユーザによる指示または所定の判断基準に基づいて、三次元表示から二次元表示へ切替える際に、表示をスムーズに切替える三次元画像処理装置について説明する。以下では、上述の実施の形態と重複する説明は繰り返さず、相違点について主に説明する。

図１９は、本発明の実施の形態６に係る三次元画像処理装置の構成を示すブロック図である。

三次元画像処理装置１００は、Ｌビデオデコーダ１４２Ｌと、Ｒビデオデコーダ１４２Ｒと、Ｌフレームメモリ１４４Ｌと、Ｒフレームメモリ１４４Ｒと、制御部１９０と、２Ｄ／３Ｄ表示制御部１９４とを含む。

Ｌビデオデコーダ１４２Ｌと、Ｒビデオデコーダ１４２Ｒと、Ｌフレームメモリ１４４Ｌと、Ｒフレームメモリ１４４Ｒとは、図８を参照して説明した実施の形態２に係るそれらと同様である。そのため、これらについての詳細な説明は繰り返さない。

２Ｄ／３Ｄ表示制御部１９４は、二次元表示または三次元表示の切替えを行う。この切替えは、ユーザによる指示に基づいて行っても良いし、所定の判断基準に基づいて行ってもよい。例えば、放送波４２に含まれる二次元表示または三次元表示の切替え信号に基づいて表示の切替えを行ってもよい。２Ｄ／３Ｄ表示制御部１９４は、三次元表示から二次元表示への切替えを行う場合には、切替え信号をオフセット減算部１９２に出力する。

次に、制御部１８０の詳細な構成について説明する。
図１７に示すように、制御部１８０は、オフセット算出部１５２と、オフセットフレームメモリ１５４と、Ｒフレームデータ作成部１５６Ｒと、セレクタ１５８Ｒと、オフセット減算部１９２と、Ｌ画像出力制御部１４８Ｌと、Ｒ画像出力制御部１４８Ｒと、Ｌ／Ｒ切替え制御部１９６と、セレクタ１５０とを含む。

オフセット算出部１５２と、オフセットフレームメモリ１５４と、Ｒフレームデータ作成部１５６Ｒと、セレクタ１５８Ｒと、Ｌ画像出力制御部１４８Ｌと、Ｒ画像出力制御部１４８Ｒと、セレクタ１５０とは、図８に示した実施の形態２に係る三次元画像処理装置１００の構成と同様である。

オフセット減算部１９２は、２Ｄ／３Ｄ表示制御部１９４において三次元表示から二次元表示への切替えが行われた場合には、オフセットフレームメモリ１５４に格納されている画素毎または数画素おきに求められているオフセットのそれぞれについて、Ｌビデオデコーダ１４２ＬでのデコードタイミングまたはＲビデオデコーダ１４２Ｒでのデコードタイミングに同期して、所定の正の値ｎを減算する。減算を行った結果、オフセットが０以下になった場合には、オフセット減算部１８２は、オフセットを０とする。オフセット減算部１９２は、オフセットが０になったことを２Ｄ／３Ｄ表示制御部１９４に通知する。

２Ｄ／３Ｄ表示制御部１９４は、三次元表示または二次元表示への切替えを行ったことと、オフセット減算部１９２での演算の結果、オフセットが０になったこととをＬ／Ｒ切替え制御部１９６に通知する。

Ｌ／Ｒ切替え制御部１９６は、三次元表示への切替えが行われた後、または二次元表示への切替えが行われた後オフセットが０になるまでの間は、セレクタ１５０から左眼用画像５８Ｌと右眼用画像５８Ｒとが６０ｐで交互に出力されるように制御信号を生成し、セレクタ１５０に出力する。セレクタ１５０は、Ｌ／Ｒ切替え制御部１４９からの制御信号に従い、左眼用画像５８Ｌおよび右眼用画像５８Ｒを６０ｐで交互に出力する。

また、Ｌ／Ｒ切替え制御部１９６は、二次元表示への切替えが行われ、かつオフセットが０になった後は、Ｌ画像出力制御部１４８Ｌで出力制御された左眼用画像５８Ｌが、セレクタ１５０から６０ｐで出力されるような制御信号を生成し、セレクタ１５０に出力する。セレクタ１５０は、Ｌ／Ｒ切替え制御部１４９からの制御信号に従い、左眼用画像５８Ｌを６０ｐで出力する。このとき、Ｌビデオデコーダ１４２Ｌでのデコードが１／３０秒間隔でしか行われない場合には、セレクタ１５０は、同じ左眼用画像５８Ｌを２回連続して出力することにより、６０ｐでの出力を実現する。

また、Ｌ／Ｒ切替え制御部１９６は、三次元表示への切替えが行われた後は、セレクタ１５８ＲからＲフレームメモリ１４４Ｒに記憶されている右眼用画像５８Ｒが出力されるように制御信号を生成し、セレクタ１５８Ｒに出力する。セレクタ１５８Ｒは、Ｌ／Ｒ切替え制御部１９６からの制御信号に従い、Ｒフレームメモリ１４４Ｒに記憶されている右眼用画像５８Ｒを出力する。

また、Ｌ／Ｒ切替え制御部１９６は、二次元表示への切替えが行われた後は、セレクタ１５８ＲからＲフレームデータ作成部１５６Ｒにおいて擬似的に生成された右眼用画像５８Ｒが出力されるように制御信号を生成し、セレクタ１５８Ｒに出力する。セレクタ１５８Ｒは、Ｌ／Ｒ切替え制御部１９６からの制御信号に従い、Ｒフレームデータ作成部１５６Ｒにおいて擬似的に生成された右眼用画像５８Ｒを出力する。

以上のように構成された三次元画像処理装置１００の時系列処理について説明する。
図２０は、三次元画像処理装置１００が実行する処理のタイミングチャートである。図２０の例では、右眼用画像Ｒ２のデコードが終わった時点で、２Ｄ／３Ｄ表示制御部１９４において三次元表示から二次元表示への切替えが行われた場合について示している。

Ｌビデオデコーダ１４２Ｌは、左眼用画像５８Ｌのデコードを２Ｖ期間に１回の割合で行う。デコードされた各左眼用画像５８ＬをＬ１〜Ｌ６で示している。

一方、Ｒビデオデコーダ１４２Ｒは、Ｌビデオデコーダ１４２Ｌのデコードタイミングと１Ｖ期間ずれたタイミングで、右眼用画像５８Ｒのデコードを２Ｖ期間に１回の割合で行う。

このとき、オフセットフレームメモリ１５４には、まず、左眼用画像Ｌ１と右眼用画像Ｒ１から算出されたオフセット（Ｌ１−Ｒ１）が蓄積される。２Ｖ期間毎にオフセットは更新され、次の２Ｖ期間では左眼用画像Ｌ２と右眼用画像Ｒ２から算出されたオフセット（Ｌ２−Ｒ２）が蓄積される。

その後、三次元表示から二次元表示への切替えが行われたため、次の２Ｖ期間では、オフセット減算部１８２は、オフセット（Ｌ２−Ｒ２）から所定の正の値ｎを減算し、（Ｌ２−Ｒ２）−ｎがオフセットフレームメモリ１５４に蓄積される。さらに次の２Ｖ期間では、オフセット減算部１８２がオフセット（Ｌ２−Ｒ２）−ｎから所定の正の値ｎを減算することにより得られた（Ｌ２−Ｒ２）−２ｎがオフセットフレームメモリ１５４に蓄積される。オフセット減算部１８２は、オフセットフレームメモリ１５４に格納されているオフセットの各々について、オフセットが０になるまで２Ｖ期間毎に正の値ｎの減算を行う。

Ｌ画像出力制御部１４８Ｌは、左眼用画像を６０ｐで出力する。なお、Ｌビデオデコーダ１４２Ｌでは、左眼用画像は３０ｐで生成される。このため、Ｌ画像出力制御部１４８Ｌは同じ画像を２回連続して出力する。例えば、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ１を１／６０秒間隔で２回連続して出力する。その後に、Ｌ画像出力制御部１４８Ｌは、左眼用画像Ｌ２を１／６０秒間隔で２回連続して出力する。

Ｒ画像出力制御部１４８Ｒは、右眼用画像を６０ｐで出力する。なお、Ｒ画像出力制御部１４８Ｒは、Ｌ画像出力制御部１４８Ｌと同様の理由により、同じ画像を２回連続して出力する。例えば、Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ１を１／６０秒間隔で２回連続して出力する。その後に、Ｒ画像出力制御部１４８Ｒは、右眼用画像Ｒ２を１／６０秒間隔で２回連続して出力する。

その後は、二次元表示への切替えが行われているため、Ｒ画像出力制御部１４８Ｒは、Ｒフレームデータ作成部１５６Ｒにおいて擬似的に生成された右眼用画像（図２０では「Ｌ３−Ｎ」と記載する）を２回連続して出力する。ここで、右眼用画像Ｌ３−Ｎは、最新の左眼用画像Ｌ３を、オフセットフレームメモリ１５４に蓄積されているオフセット（Ｌ２−Ｒ２）−ｎだけ左方向にシフトさせることにより得られる画像である。その後、Ｒ画像出力制御部１４８Ｒは、Ｒフレームデータ作成部１５６Ｒにおいて擬似的に生成された右眼用画像（図８では「Ｌ４−２Ｎ」と記載する）を２回連続して出力する。ここで、右眼用画像Ｌ４−２Ｎは、最新の左眼用画像Ｌ４を、オフセットフレームメモリ１５４に蓄積されているオフセット（Ｌ２−Ｒ２）−２ｎだけ左方向にシフトさせることにより得られる画像である。オフセットフレームメモリ１５４に蓄積されているオフセットは徐々に０に近づくため、左眼用画像と右眼用画像とのずれ量が最終的に０になり、Ｒ画像出力制御部１４８Ｒは、Ｌ画像出力制御部１４８Ｌから出力される左眼用画像と同じ画像を出力することとなる。オフセット（Ｌ２−Ｒ２）−２ｎから、さらに所定の正の値ｎを減算した結果、オフセットが０になったとする。このとき、Ｒフレームデータ作成部１５６Ｒは、左眼用画像Ｌ５と同じ画像を右眼用画像として生成するため、Ｒ画像出力制御部１４８Ｒは、左眼用画像Ｌ５と同じ画像を右眼用画像として出力する。

Ｌ／Ｒ切替え制御部１９６は、Ｌ画像出力制御部１４８ＬおよびＲ画像出力制御部１４８Ｒの出力を選択する信号を１／６０秒間隔で交互に出力する。これにより、セレクタ１５０は、１／６０秒間隔で左眼用画像と右眼用画像とを交互に出力する。つまり、セレクタ１５０は、左眼用画像Ｌ１、右眼用画像Ｒ１、左眼用画像Ｌ２、右眼用画像Ｒ２の順に画像出力を行う。その後、左眼用画像Ｌ３、右眼用画像Ｌ３−Ｎ、左眼用画像Ｌ４、右眼用画像Ｌ４−２Ｎの順に画像出力が行われるが、右眼用画像生成時のオフセットが徐々に０に近づいている。つまり、左眼用画像と右眼用画像とのずれ量が徐々になくなっているため、三次元表示から二次元表示へスムーズに移行することができる。オフセットが０になった後は、Ｌ／Ｒ切替え制御部１９６は、Ｌ画像出力制御部１４８Ｌの出力を選択する信号を１／６０秒間隔で出力する。これにより、セレクタ１５０は、１／６０秒間隔で左眼用画像を出力する。つまり、左眼用画像Ｌ５、左眼用画像Ｌ５、左眼用画像Ｌ６の順に画像出力が行われ、二次元表示が行われる。

以上説明したように、本実施の形態に係る三次元画像処理装置によると、三次元表示から二次元表示への切替え時に、いきなり二次元表示に切替えるのではなく、左眼用画像と右眼用画像とのずれ量を徐々に０に近づけていくことにより、スムーズに三次元表示から二次元表示に切替えることができる。このため、視聴者に違和感のない画像を生成することができる。

以上、本発明の実施の形態に係る三次元画像処理装置１００について説明したが、本発明は、これらの実施の形態に限定されるものではない。

例えば、実施の形態４の変形例において、復号の失敗が一定回数以上連続した場合にのみ二次元表示への切替えを行うようにしたが、この変形例を他の実施の形態に適用することも可能である。例えば、実施の形態１では、復号の失敗が一定回数以上連続した場合にのみ、擬似的にグラフィックデータを生成するようにしてもよい。また、実施の形態２では、復号の失敗が一定回数以上連続した場合にのみ、擬似的に画像を生成するようにしてもよい。また、実施の形態５では、復号の失敗が一定回数以上連続した場合にのみ、二次元表示への連続的な切替えを行うようにしてもよい。

また、実施の形態５では、オフセットの減算値を一定の正の値ｎとしたが、オフセットの大きさによっては０に収束するタイミングが異なる。例えば、オフセットが１００とオフセットが２００とが存在し、一定の正の値ｎが５０であるとすると、前者は２回の減算で０に収束するが、後者は４回の減算で０に収束する。そこで、オフセットに応じて減算する値を変化させ、同一の回数で０に収束するようにしてもよい。例えば、オフセットが１００の場合には、減算値を５０にして２回で収束させ、オフセットが２００の場合には、減算値を１００にして２回で収束させるようにしてもよい。

また、実施の形態３〜６では、二次元表示への切替え後には、左眼用画像を出力するように三次元画像処理装置を構成したが、右眼用画像を出力するように構成してもよい。

また、上記説明では、専用メガネ（シャッタメガネ４３）を用いる場合を例に述べたが、専用メガネを用いない方式にも本発明を適用できる。

また、上記説明では、三次元画像に、異なる視差を有する左眼用画像と右眼用画像とが含まれる例を述べたが、三次元画像に異なる視差を有する３以上の画像が含まれてもよい。

また、上記説明では、三次元画像処理装置１００は、左眼用画像５８Ｌと右眼用画像５８Ｒとを個別に出力しているが、左眼用画像５８Ｌと右眼用画像５８Ｒとを合成したうえで出力してもよい。

また、上記説明では、本発明に係る三次元画像処理装置１００をデジタルテレビおよびデジタルビデオレコーダに適用した例を述べたが、本発明に係る三次元画像処理装置１００は、デジタルテレビ以外の三次元画像を表示する三次元画像表示装置（例えば、携帯電話機器、パーソナルコンピュータ等）に適用できる。また、本発明に係る三次元画像処理装置１００は、デジタルビデオレコーダ以外の三次元画像を出力する三次元画像出力装置（例えば、ＢＤプレーヤ等）に適用できる。

また、上記実施の形態１〜５に係る三次元画像処理装置１００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。

また、本発明の実施の形態１〜５に係る三次元画像処理装置１００および１００Ｂの機能の一部または全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記実施の形態１〜５に係る三次元画像処理装置１００および１００Ｂ、およびその変形例の機能のうち少なくとも一部を組み合わせてもよい。

また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。

さらに、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、三次元画像処理装置に適用でき、特に、デジタルテレビ及びデジタルビデオレコーダ等に適用できる。

１０ 三次元画像表示システム
２０ デジタルテレビ
２１ 入力部
２３、３３ ＨＤＭＩ通信部
２６ 表示パネル
２７ トランスミッタ
３０ デジタルビデオレコーダ
３１ 入力部
４０ ＨＤＭＩケーブル
４１ 光ディスク
４２ 放送波
４３ シャッタメガネ
５１、５５ 符号化三次元画像データ
５３、５８ 出力三次元画像データ
５７ 入力三次元画像データ
５８Ｌ 左眼用画像
５８Ｒ 右眼用画像
１００、１００Ｂ 三次元画像処理装置
１０１ ＰＩＤフィルタ
１０２ ビデオ処理部
１０４Ｌ Ｌビデオプレーンメモリ
１０４Ｒ Ｒビデオプレーンメモリ
１０８Ｌ Ｌストリームバッファ
１０８Ｒ Ｒストリームバッファ
１１２Ｌ Ｌグラフィックデコーダ
１１２Ｒ Ｒグラフィックデコーダ
１１６、１４６、１６０、１７０、１８０ 制御部
１１８Ｌ Ｌグラフィックプレーンメモリ
１１８Ｒ Ｒグラフィックプレーンメモリ
１２２ 画像出力制御部
１２３Ｌ 左眼用グラフィックデータ
１２３Ｒ 右眼用グラフィックデータ
１２４ ユーザＩ／Ｆ部
１２４Ｌ Ｌ制御情報バッファ
１２４Ｒ Ｒ制御情報バッファ
１２６Ｌ Ｌグラフィックオブジェクトバッファ
１２６Ｒ Ｒグラフィックオブジェクトバッファ
１２８ グラフィック制御部
１３０、１３２ スイッチ
１３４ 加算器
１４２Ｌ Ｌビデオデコーダ
１４２Ｒ Ｒビデオデコーダ
１４４Ｌ Ｌフレームメモリ
１４４Ｒ Ｒフレームメモリ
１４８Ｌ Ｌ画像出力制御部
１４８Ｒ Ｒ画像出力制御部
１４９、１６３、１７６ Ｌ／Ｒ切替え制御部
１５０、１５８Ｌ、１５８Ｒ セレクタ
１５２ オフセット算出部
１５４ オフセットフレームメモリ
１５６Ｌ Ｌフレームデータ作成部
１５６Ｒ Ｒフレームデータ作成部
１６２ ２Ｄ／３Ｄ表示制御部
１７２ 閾値メモリ
１７４ エラー状況判別部
１８２ オフセット減算部

Claims (3)

1. 立体視用の左眼用画像データおよび右眼用画像データを生成する三次元画像処理装置であって、
   左眼用画像データおよび右眼用画像データが符号化されたストリームデータを、前記左眼用画像データおよび前記右眼用画像データに復号するデコーダと、
   前記デコーダにおいて前記左眼用画像データおよび前記右眼用画像データの両方の復号が成功した場合には、前記左眼用画像データおよび前記右眼用画像データを所定の時間間隔で出力し、前記デコーダにおいて前記左眼用画像データおよび前記右眼用画像データのうちのいずれか一方の画像データの復号に失敗し、かつ他方の画像データの復号に成功した場合には、前記他方の画像データのみを、前記所定の時間間隔で出力する制御部とを備え、
   前記制御部は、前記デコーダにおいて前記一方の画像データの復号が所定フレーム連続して失敗した場合にのみ、復号に成功した前記他方の画像データのみを、前記所定の時間間隔で出力する
   三次元画像処理装置。
2. 前記制御部は、
   前記デコーダにおいて前記左眼用画像データおよび前記右眼用画像データの復号が成功するたびに、前記左眼用画像データと前記右眼用画像データとの間の左右方向のずれ量をオフセットとして算出するオフセット算出部と、
   前記一方の画像データの復号に失敗し、かつ前記他方の画像データの復号に成功した場合に、前記オフセット算出部において算出された最新の前記オフセットを、最終的に０になるように徐々に減らしながら前記オフセットを更新するオフセット更新部とを含み、
   前記制御部は、前記一方の画像データの復号に失敗し、かつ前記他方の画像データの復号に成功した場合に、前記オフセット更新部において更新された前記オフセットに基づいて前記他方の画像データの画素位置をずらすことにより、前記一方の画像データを擬似的に生成し、前記オフセットが０に更新されるまでの間、前記他方の画像データと擬似的に生成された前記一方の画像データとを前記所定の時間間隔で出力し、前記オフセットが０に更新された以降は、前記他方の画像データのみを前記所定の時間間隔で出力する
   請求項１記載の三次元画像処理装置。
3. 前記制御部は、前記デコーダにおいて前記左眼用画像データおよび前記右眼用画像データのうちのいずれか一方の画像データの復号の失敗の連続回数が前記所定フレーム未満の場合には、復号に成功した時点における前記一方の画像データを出力する
   請求項１記載の三次元画像処理装置。

Images