JP4966400B2

JP4966400B2 - 画像出力装置及び画像出力方法

Info

Publication number: JP4966400B2
Application number: JP2010189844A
Authority: JP
Inventors: 隆之新井; 達也小野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-08-26
Filing date: 2010-08-26
Publication date: 2012-07-04
Anticipated expiration: 2030-08-26
Also published as: US8330799B2; JP2012049813A; US20120050472A1

Description

本発明の実施形態は、画像を出力する画像出力装置及び画像出力方法に関する。

これまでに、３Ｄ映像（3-dimensional image）を表示するための様々な技術が開示され、実用化されている。ところが、３Ｄ映像の明るさ及び解像度などが、２Ｄ映像の明るさ及び解像度と比べて劣っていたため、これまでは３Ｄテレビ等の３Ｄ映像対応機器はそれほど普及していなかった。

しかし、近年では、ＢＤ（Blu-ray）（登録商標）のような大容量光ディスクの登場、及びフルＨＤテレビの普及により、高画質な３Ｄ映像の再生が可能となった。そのため、３Ｄ映像対応機器の急速な普及が見込まれている。

３Ｄ映像対応機器は、３Ｄ映像をそのまま３Ｄ映像として表示するだけでなく、３Ｄ映像を２Ｄ映像（2-dimensional image）に変換して２Ｄ映像として表示することもできる。

特開２００６−１２１５５３号公報

しかしながら、３Ｄ映像を２Ｄ映像に変換して表示する場合、画質が低下することがある。また、近年、２Ｄ映像の高画質化技術は大幅に進歩しており、このような高画質化技術を３Ｄ映像にも適用したいという要望がある。

本発明の目的は、入力３Ｄ画像に基づく２Ｄ画像の出力に優れた画像出力装置及び画像出力方法を提供することにある。

実施形態の画像出力装置は、入力手段と、分離手段と、第１の画像処理手段と、第２の画像処理手段と、制御手段とを備える。前記入力手段は、３Ｄ画像を入力する。前記分離手段は、前記３Ｄ画像から複数の左目用画像及び複数の右目用画像を分離する。前記第１の画像処理手段は、前記複数の左目用画像又は前記複数の右目用画像を処理する。前記第２の画像処理手段は、前記複数の右目用画像又は前記複数の左目用画像を処理する。前記制御手段は、前記第１及び第２の画像処理手段のうちの少なくとも一方で処理された前記複数の左目用画像又は前記複数の右目用画像を出力するように制御する。

第１〜第４の実施形態に共通の画像出力装置の構成の一例を示す図である。第２の実施形態の画像出力処理（入力３Ｄ画像に基づく２Ｄ画像出力）の一例を示す図である。第３の実施形態の画像出力処理（入力３Ｄ画像に基づく２Ｄ画像出力）の一例を示す図である。第４の実施形態の画像出力処理（入力３Ｄ画像に基づく２Ｄ画像出力）の一例を示す図である。

以下、第１〜第４の実施形態について図面を参照して説明する。

図１は、第１〜第４の実施形態に共通の画像出力装置の構成の一例を示す図である。この画像出力装置は、例えば、デジタルテレビジョン放送受信装置に適用することもできるし、ＨＤＤレコーダ、ＢＤ（Blu-ray）（登録商標）レコーダ、及びＤＶＤレコーダ等の番組録画装置に適用することもできる。さらに、この画像出力装置は、例えば、ＢＤプレイヤー、及びＤＶＤプレイヤー等の各種再生装置に適用することもできる。

図１に示すように、画像出力装置は、制御モジュール１、操作入力モジュール２、２Ｄ画像処理モジュール３、３Ｄ画像処理モジュール４、表示部５、シャッタメガネ制御モジュール６を備えている。さらに、３Ｄ画像処理モジュール４は、画像入力モジュール４１、Ｌ／Ｒ画像分離モジュール４２、Ｌ画像処理モジュール４３、Ｒ画像処理モジュール４４、３Ｄ／２Ｄ表示制御モジュール４５、フレームレート変換モジュール４６を備えている。

制御モジュール１は、入力２Ｄ画像に基づく２Ｄ画像出力、入力３Ｄ画像に基づく３Ｄ画像出力、及び入力３Ｄ画像に基づく２Ｄ画像出力を制御する。操作入力モジュール２は、例えば、固定された操作パネル又はリモートコントローラである。

例えば、制御モジュール１は、２Ｄ画像が入力された場合には、２Ｄ画像処理モジュール３により入力２Ｄ画像を処理するように制御する。２Ｄ画像処理モジュール３は、入力２Ｄ画像に対して各種の高画質化処理を実行し、２Ｄ画像を表示部５へ出力する。例えば、２Ｄ画像処理モジュール３は、入力２Ｄ画像に対して超解像処理を実行したり、ガンマ補正を実行したり、ディザリング処理を実行したり、多階調化処理を実行したり、スケーリング処理を実行したり、さらには、フレームレート変換処理を実行したりする。これにより、表示部５は、入力２Ｄ画像に基づき、高画質化処理された２Ｄ画像、さらにはフレームレート変換処理された２Ｄ画像を表示することができる。

また、制御モジュール１は、３Ｄ画像が入力され、操作入力モジュール２を介して３Ｄ画像モードが指示された場合には、３Ｄ画像処理モジュール４により入力３Ｄ画像を処理し、３Ｄ画像を表示するように制御する。３Ｄ画像処理モジュール４は、入力３Ｄ画像に対して各種の高画質化処理を実行し、３Ｄ画像を表示部５へ出力する。例えば、３Ｄ画像処理モジュール４は、入力３Ｄ画像から分離された複数の左目用画像及び複数の右目用画像の夫々に対して超解像処理を実行したり、ガンマ補正を実行したり、ディザリング処理を実行したり、多階調化処理を実行したり、スケーリング処理を実行したり、さらには、フレームレート変換処理を実行したりする。これにより、表示部５は、入力３Ｄ画像に基づき、高画質化処理された３Ｄ画像、さらにはフレームレート変換処理された３Ｄ画像を表示することができる。

さらに、３Ｄ画像処理モジュール４による３Ｄ画像の処理について詳しく説明する。３Ｄ画像処理モジュール４は、各種の３Ｄの伝送形式（トップアンドボトム、サイドバイサイド、フレームシーケンシャル、フレームパッキング、フレームオルタネイト）に対応する。例えば、図１に示すように、Ｌ／Ｒ画像分離モジュール４２は、入力３Ｄ画像（Ｌ１、Ｒ１、Ｌ２、Ｒ２、…）から複数の左目用画像（Ｌ１、Ｌ２、…）及び複数の右目用画像（Ｒ１、Ｒ２、…）を分離し、複数の左目用画像をＬ画像処理モジュール４３へ入力し、複数の右目用画像をＲ画像処理モジュール４４へ入力する。Ｌ画像処理モジュール４３は、複数の左目用画像に対して高画質化処理を実行し、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）を３Ｄ／２Ｄ表示制御モジュール４５へ入力する。同様に、Ｒ画像処理モジュール４４は、複数の右目用画像に対して高画質化処理を実行し、高画質化処理された複数の右目用画像（Ｒ１’、Ｒ２’、…）を３Ｄ／２Ｄ表示制御モジュール４５へ入力する。

３Ｄ／２Ｄ表示制御モジュール４５は、高画質化処理された複数の左目用画像と高画質化処理された複数の右目用画像とを１画像ずつ交互に出力する（Ｌ１’、Ｒ１’、Ｌ２’、Ｒ２’…）。或いは、２画像ずつ交互に出力してもよい（Ｌ１’、Ｌ２’、Ｒ１’、Ｒ２’…）。また、フレームレート変換モジュール４６が、フレームレートを上げて、高画質化処理された複数の左目用画像と高画質化処理された複数の右目用画像とを１画像ずつ交互に出力することもできる。例えば、フレームレート変換モジュール４６は、フレーム補間により、所定時間で出力されるフレーム数を増加し、例えば第１のフレームレート（６０Ｈｚ）を第２のフレームレート（１２０Ｈｚ又は２４０Ｈｚ）に変換し、出力する。例えば、フレームレート変換モジュール４６は、複数の左目用画像に基づき複数のフレーム補間左目用画像を生成し、また、複数の右目用画像に基づき複数のフレーム補間右目用画像を生成し、フレーム数を増加する（例えばフレームレート６０Ｈｚをフレームレート１２０Ｈｚに変換する）。或いは、フレームレート変換モジュール４６は、複数の左目用画像に基づき複数のフレーム補間左目用画像を生成し、また、複数の右目用画像に基づき複数のフレーム補間右目用画像を生成し、さらに、黒画像（補間用黒画像）を挿入し、フレーム数を増加する（例えばフレームレート６０Ｈｚをフレームレート２４０Ｈｚに変換する）。

シャッタメガネ制御モジュール６は、シャッタメガネのシャッタ駆動制御モジュール６１に対して左目用画像と右目用画像の交互出力のタイミングに同期した同期信号を送信し、シャッタ駆動制御モジュール６１は、この同期信号に基づき、左目用画像表示タイミングで左目のシャッタを開き、右目のシャッタを閉じ、また、右目用画像表示タイミングで右目のシャッタを開き、左目のシャッタを閉じる。これにより、シャッタメガネをかけたユーザは、左目用画像表示タイミングで左目用画像を見て、右目用画像表示タイミングで右目用画像を見ることができ、３Ｄ画像を見ることができる。

なお、制御モジュール１は、３Ｄ画像が入力され、操作入力モジュール２を介して３Ｄ画像モードが指示された場合には、前段の２Ｄ画像処理モジュール３による各種の高画質化処理を停止し、３Ｄ画像処理モジュール４による各種の高画質化処理を実行するように制御する。上記したように、３Ｄ画像処理モジュール４は、左目用画像及び右目用画像に対して別々に各種の高画質化処理を実行する。このため、２Ｄ画像処理モジュール３により３Ｄ画像に対して各種の高画質化処理を実行するよりも、３Ｄ画像処理モジュール４により３Ｄ画像に対して各種の高画質化処理を実行したほうが、３Ｄ画像の高画質化に優れる。また、前段の２Ｄ画像処理モジュール３により各種の高画質化処理を実行してしまうと、後段のＬ／Ｒ画像分離モジュール４２が左目用画像と右目用画像とを正しく分離できなくなることがある。このような誤分離を防止するためにも、前段の２Ｄ画像処理モジュール３による各種の高画質化処理を停止し、後段の３Ｄ画像処理モジュール４による各種の高画質化処理を実行することが、有効である。

ここで、上記した各種の高画質化処理の一例である鮮鋭化処理（上記した超解像処理）について補足する。２Ｄ画像処理モジュール３及び３Ｄ画像処理モジュール４（Ｌ画像処理モジュール４３及びＲ画像処理モジュール４４）は、第１解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号を復元する鮮鋭化処理を行う。例えば、サイドバイサイド（１９２０×１０８０で左右に二つの映像を伝送）では左右の画像は８１０（９６０）×１０８０と低解像の画質となるが、超解像処理により高画質化することができる。上記した「本来の画素値」とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）のカメラで撮像したときに得られる画像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、いろいろな方法があるが、一例としては、対象とする画像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い画像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、画像の相関性を利用する。

さらに、詳しく説明すると、まず、オリジナルの入力映像から、アップコンバート処理によって、仮のフルＨＤ高解像度映像を作る。つまり、隣り合う画素の情報をもとに間の画素を補間し、仮のフルＨＤ高解像度映像を作る。補間された画素は必ずしもオリジナル映像にあったものとは言えない。つまり、計算誤差によるノイズやエッジの乱れなどが発生し得る。

次に、撮像モデル関数に基づき、仮のフルＨＤ高解像度映像から、オリジナル映像と同じ解像度にダウンコンバートした映像を作る。撮像モデル関数とは、一般的なカメラが撮像素子の情報を映像信号に変換するのと同じ処理を計算で再現するものである。

ダウンコンバートした映像はオリジナルの入力映像と同じものになるはずであるが、アップコンバート処理における計算誤差などのため、ダウンコンバートした映像とオリジナルの入力映像との間には相違部分が発生する。この相違部分を検出し、また、周辺の画素の情報などを参考に計算誤差が出ないように補正して、オリジナルの入力映像に近い超解像処理された出力映像が生成される。

つまり、超解像処理とは、ダウンコンバートした映像とオリジナルの入力映像とを比較し、オリジナルの入力映像が本来持っているはずの信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像処理の精度は向上する。従って、比較と復元の処理を１回だけ行う処理も超解像処理であるし、比較と復元の処理を複数回繰り返す処理も超解像処理である。時間に余裕がある場合、例えば録画した映像を後で視聴する場合には、比較と復元の処理を複数回繰り返す超解像処理を利用することができる。

なお、２Ｄ画像処理モジュール３及び３Ｄ画像処理モジュール４（Ｌ画像処理モジュール４３及びＲ画像処理モジュール４４）は、例えば、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報及び特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることも可能である。

例えば、特開２００７−３１０８３７号公報に開示された超解像処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。

また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置、及びこの第１の誤差、並びに第１の画素の周辺の第２の画素位置、及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点、及び注目画素を始点とする小数精度ベクトルを算出し、この小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル、及び画像信号から取得された画素値に基づいて、画像信号に含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像画像生成モジュール１４１１は、このような処理を行うことにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。

また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像処理を用いることもできる。

また、２Ｄ画像処理モジュール３及び３Ｄ画像処理モジュール４（Ｌ画像処理モジュール４３及びＲ画像処理モジュール４４）における超解像処理では、引き伸ばした映像に独自のアルゴリズムを加えることで一度低解像度映像に変換、さらにその映像をオリジナルの入力映像と比較して差分を検出して更に補正処理を施すことで、高画質処理がされてもよい。

ただし、２Ｄ画像処理モジュール３及び３Ｄ画像処理モジュール４（Ｌ画像処理モジュール４３及びＲ画像処理モジュール４４）における超解像処理の手法は、上記に限定されるものではなく、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であったり、あらゆる手法を適用することができる。

再び、制御モジュール１による画像の表示制御の説明に戻る。例えば、制御モジュール１は、３Ｄ画像が入力され、操作入力モジュール２を介して２Ｄ画像モードが指示された場合には、３Ｄ画像処理モジュール４により入力３Ｄ画像を処理し、２Ｄ画像を表示するように制御する。３Ｄ画像処理モジュール４は、入力３Ｄ画像に対して各種の高画質化処理を実行し、入力３Ｄ画像を２Ｄ画像へ変換し、２Ｄ画像を表示部５へ出力する。或いは、３Ｄ画像処理モジュール４は、入力３Ｄ画像に対して各種の高画質化処理を実行し、入力３Ｄ画像を２Ｄ画像へ変換し、フレームレート変換処理を実行し、２Ｄ画像を表示部５へ出力する。これにより、表示部５は、入力３Ｄ画像に基づき、高画質化処理された２Ｄ画像、或いはフレームレート変換処理された２Ｄ画像を表示することができる。

以下、第１〜第４の実施形態を参照し、入力３Ｄ画像に基づく２Ｄ画像出力（２Ｄ画像表示）について説明する。

（第１の実施形態）
最初に、第１の実施形態について説明する。制御モジュール１は、３Ｄ画像が入力され、操作入力モジュール２を介して２Ｄ画像モードが指示された場合には、２Ｄ画像処理モジュール３による各種の高画質化処理を停止し、３Ｄ画像処理モジュール４により入力３Ｄ画像を処理し、２Ｄ画像を表示するように制御する。

例えば、３Ｄ／２Ｄ表示制御モジュール４５は、Ｌ／Ｒ画像分離モジュール４２における分離処理の停止を指示し、入力３Ｄ画像を左目用画像としてＬ画像処理モジュール４３に入力する。Ｌ画像処理モジュール４３は、入力３Ｄ画像に対して各種の高画質化処理を実行し出力する。３Ｄ／２Ｄ表示制御モジュール４５は、各種の高画質化処理された３Ｄ画像に含まれた複数の左目用画像をフレームレート変換モジュール４６へ出力する。フレームレート変換モジュール４６は、フレーム補間により、所定時間で出力されるフレーム数を増加し、例えば第１のフレームレート（６０Ｈｚ）を第２のフレームレート（１２０Ｈｚ又は２４０Ｈｚ）に変換し、出力する。例えば、フレームレート変換モジュール４６は、複数の左目用画像に基づき複数のフレーム補間用画像を生成し、フレーム数を増加する。

なお、上記説明では、画像出力装置が、入力３Ｄ画像を左目用画像としてＬ画像処理モジュール４３に入力し左目用画像のみを出力するとして説明したが、画像出力装置は、入力３Ｄ画像を右目用画像としてＲ画像処理モジュール４４に入力し右目用画像のみを出力することもできる。

（第２の実施形態）
続いて、図２を参照し、第２の実施形態について説明する。制御モジュール１は、３Ｄ画像が入力され、操作入力モジュール２を介して２Ｄ画像モードが指示された場合には、２Ｄ画像処理モジュール３による各種の高画質化処理を停止し、３Ｄ画像処理モジュール４により入力３Ｄ画像を処理し、２Ｄ画像を表示するように制御する。

例えば、３Ｄ／２Ｄ表示制御モジュール４５は、Ｌ／Ｒ画像分離モジュール４２に対して左目用画像及び右目用画像の分離を指示し、図２に示すように、Ｌ／Ｒ画像分離モジュール４２は、入力３Ｄ画像（Ｌ１、Ｒ１、Ｌ２、Ｒ２、…）から複数の左目用画像（Ｌ１、Ｌ２、…）及び複数の右目用画像（Ｒ１、Ｒ２、…）を分離し、複数の左目用画像（Ｌ１、Ｌ２、…）をＬ画像処理モジュール４３へ入力し、同様に、複数の左目用画像（Ｌ１、Ｌ２、…）をＲ画像処理モジュール４４にも入力する。Ｌ画像処理モジュール４３は、入力された複数の左目用画像に対して各種の高画質化処理を実行し、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）を出力する。同様に、Ｒ画像処理モジュール４４も、入力された複数の左目用画像に対して各種の高画質化処理を実行し、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）を出力する。

３Ｄ／２Ｄ表示制御モジュール４５は、例えば、Ｌ画像処理モジュール４３から出力される高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）と、Ｒ画像処理モジュール４４から出力される高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）とを出力する。フレームレート変換モジュール４６は、Ｌ画像処理モジュール４３から出力される高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）と、Ｒ画像処理モジュール４４から出力される高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）とを交互に出力する（Ｌ１’、Ｌ１’、Ｌ２’、Ｌ２’…）。

例えば、フレームレート変換モジュール４６が、３Ｄ画像から分離された複数の左目用画像だけをそのまま出力する場合のフレームレートが第１のフレームレート（６０Ｈｚ）である場合、３Ｄ画像から分離されＬ画像処理モジュール４３で処理された複数の左目用画像と３Ｄ画像から分離されＲ画像処理モジュール４４で処理された複数の左目用画像とを交互に出力する場合のフレームレートは第２のフレームレート（１２０Ｈｚ）となる。つまり、フレームレート変換モジュール４６は、フレーム補間等の処理を実行せずに、第１のフレームレートを第２のフレームレートへ変換することができる（フレームレートを高くすることができる）。

また、フレームレート変換モジュール４６が、黒画像（補間用黒画像）を挿入し、さらにフレームレートを高くすることもできる（例えばフレームレート１２０Ｈｚをフレームレート２４０Ｈｚに変換することもできる）。或いは、フレームレート変換モジュール４６が、複数の左目用画像に基づき複数のフレーム補間左目用画像を生成し、さらに、フレームレートを高くすることもできる（例えばフレームレート１２０Ｈｚをフレームレート２４０Ｈｚに変換することもできる）。

シャッタメガネ制御モジュール６は、シャッタメガネのシャッタ駆動制御モジュール６１に対して左目用画像の出力のタイミングに同期した同期信号を送信し、シャッタ駆動制御モジュール６１は、この同期信号に基づき、例えば奇数番目の左目用画像表示タイミングで左目のシャッタを開き、右目のシャッタを閉じ、また、偶数番目の左目用画像表示タイミングで右目のシャッタを開き、左目のシャッタを閉じる。或いは、シャッタメガネ制御モジュール６は、シャッタ全開指示を送信し、シャッタ駆動制御モジュール６１は、このシャッタ全開指示に基づき、左目のシャッタ及び右目のシャッタを全開にする。

これにより、シャッタメガネをかけたユーザは、シャッタメガネをかけたままの状態で、視差の無い２Ｄ画像を見ることができる。即ち、画像出力装置は、入力３Ｄ画像から分離された左目用画像の連続出力により、２Ｄ画像入力時の２Ｄ画像と同等な視差の無い画像を出力することができる。さらに、上記説明したように、画像出力装置は、Ｌ画像処理モジュール４３により分離後の左目用画像に対して各種の高画質化処理を実行し、Ｒ画像処理モジュール４４により高画質化処理された左目用画像に基づき２Ｄ画像を出力する。このため、画像出力装置は、左目用画像及び右目用画像を高速に処理することができ、また２Ｄ画像入力時の２Ｄ画像と同等な高品質な２Ｄ画像を出力することができる。また、画像出力装置は、入力を切り換えることなく（３Ｄ画像の入力を２Ｄ画像の入力へ切り換えることなく）、３Ｄ画像を２Ｄ画像に切り換えることができる。このため、３Ｄ画像から２Ｄ画像へ高速に表示形式を切り換えることができ、同様に、２Ｄ画像から３Ｄ画像へ高速に表示形式を元に戻すこともできる。例えば、ユーザが、一時的に、２Ｄ画像を確認したい場合に、便利である。

なお、上記説明では、画像出力装置が、入力３Ｄ画像から分離した左目用画像に基づき２Ｄ画像を出力（表示）するものとして説明したが、画像出力装置は、入力３Ｄ画像から分離した右目用画像に基づき２Ｄ画像を出力（表示）することもできる。また、３Ｄ画像のフォーマットに従い、左目用画像、右目用画像、左目用画像、右目用画像、左目用画像…の順で左目用画像と右目用画像とが配置されている場合、上記説明したように、入力３Ｄ画像から分離した左目用画像に基づき２Ｄ画像を出力（表示）するほうが効率よく処理できる場合がある。

（第３の実施形態）
続いて、図３を参照し、第３の実施形態について説明する。制御モジュール１は、３Ｄ画像が入力され、操作入力モジュール２を介して２Ｄ画像モードが指示された場合には、２Ｄ画像処理モジュール３による各種の高画質化処理を停止し、３Ｄ画像処理モジュール４により入力３Ｄ画像を処理し、２Ｄ画像を表示するように制御する。

例えば、３Ｄ／２Ｄ表示制御モジュール４５は、Ｌ／Ｒ画像分離モジュール４２に対して左目用画像及び右目用画像の分離を指示し、図３に示すように、Ｌ／Ｒ画像分離モジュール４２は、入力３Ｄ画像（Ｌ１、Ｒ１、Ｌ２、Ｒ２、…）から複数の左目用画像（Ｌ１、Ｌ２、…）及び複数の右目用画像（Ｒ１、Ｒ２、…）を分離し、複数の左目用画像（Ｌ１、Ｌ２、…）をＬ画像処理モジュール４３へ入力し、複数の右目用画像（Ｒ１、Ｒ２、…）をＲ画像処理モジュール４４へ入力する。Ｌ画像処理モジュール４３は、入力された複数の左目用画像に対して各種の高画質化処理を実行し、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）を出力する。Ｒ画像処理モジュール４４は、入力された複数の右目用画像に対して各種の高画質化処理を実行し、高画質化処理された複数の右目用画像を（Ｒ１’、Ｒ２’、…）出力する。

３Ｄ／２Ｄ表示制御モジュール４５は、例えば、Ｌ画像処理モジュール４３から出力される高画質化処理された複数の左目用画像の出力ラインから、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）を出力し、また、Ｒ画像処理モジュール４４から出力される高画質化処理された複数の右目用画像の出力ラインからも、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）を出力する。言い換えれば、３Ｄ／２Ｄ表示制御モジュール４５は、Ｌ画像処理モジュール４３から出力される高画質化処理された複数の左目用画像と、Ｒ画像処理モジュール４４から出力される高画質化処理された複数の右目用画像とを出力せずに、Ｌ画像処理モジュール４３から出力される高画質化処理された複数の左目用画像はそのまま出力し、Ｒ画像処理モジュール４４から出力される高画質化処理された複数の右目用画像の替わりに、高画質化された複数の左目用画像を出力する。

例えば、フレームレート変換モジュール４６が、３Ｄ画像から分離された複数の左目用画像だけをそのまま出力する場合のフレームレートが第１のフレームレート（６０Ｈｚ）である場合、３Ｄ／２Ｄ表示制御モジュール４５の左目用画像の出力ラインから出力される複数の左目用画像（Ｌ１’、Ｌ２’、…）と、３Ｄ／２Ｄ表示制御モジュール４５の右目用画像の出力ラインから出力される複数の左目用画像（Ｌ１’、Ｌ２’、…）とを交互に出力する場合（Ｌ１’、Ｌ１’、Ｌ２’、Ｌ２’…）のフレームレートは第２のフレームレート（１２０Ｈｚ）となる。つまり、フレームレート変換モジュール４６は、フレーム補間等の処理を実行せずに、第１のフレームレートを第２のフレームレートへ変換することができる（フレームレートを高くすることができる）。

これにより、シャッタメガネをかけたユーザは、シャッタメガネをかけたままの状態で、視差の無い２Ｄ画像を見ることができる。即ち、画像出力装置は、入力３Ｄ画像から分離された左目用画像の連続出力により、２Ｄ画像入力時の２Ｄ画像と同等な視差の無い画像を出力することができる。さらに、上記説明したように、画像出力装置は、Ｌ画像処理モジュール４３により分離後の左目用画像に対して各種の高画質化処理を実行し、高画質化処理された左目用画像に基づき２Ｄ画像を出力する。このため、画像出力装置は、２Ｄ画像入力時の２Ｄ画像と同等な高品質な２Ｄ画像を出力することができる。また、画像出力装置は、入力を切り換えることなく（３Ｄ画像の入力を２Ｄ画像の入力へ切り換えることなく）、３Ｄ画像を２Ｄ画像に切り換えることができる。このため、３Ｄ画像から２Ｄ画像へ高速に表示形式を切り換えることができ、同様に、２Ｄ画像から３Ｄ画像へ高速に表示形式を元に戻すこともできる。例えば、ユーザが、一時的に、２Ｄ画像を確認したい場合に、便利である。

（第４の実施形態）
続いて、図４を参照し、第４の実施形態について説明する。制御モジュール１は、３Ｄ画像が入力され、操作入力モジュール２を介して２Ｄ画像モードが指示された場合には、２Ｄ画像処理モジュール３による各種の高画質化処理を停止し、３Ｄ画像処理モジュール４により入力３Ｄ画像を処理し、２Ｄ画像を表示するように制御する。

例えば、３Ｄ／２Ｄ表示制御モジュール４５は、Ｌ／Ｒ画像分離モジュール４２に対して左目用画像及び右目用画像の分離を指示し、図４に示すように、Ｌ／Ｒ画像分離モジュール４２は、入力３Ｄ画像（Ｌ１、Ｒ１、Ｌ２、Ｒ２、…）から複数の左目用画像（Ｌ１、Ｌ２、…）及び複数の右目用画像（Ｒ１、Ｒ２、…）を分離し、複数の左目用画像（Ｌ１、Ｌ２、…）をＬ画像処理モジュール４３へ入力する。Ｌ画像処理モジュール４３は、入力された複数の左目用画像に対して各種の高画質化処理を実行し、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）を出力する。

３Ｄ／２Ｄ表示制御モジュール４５は、例えば、Ｌ画像処理モジュール４３から出力される高画質化処理された複数の左目用画像をフレームレート変換モジュール４６へ出力する。フレームレート変換モジュール４６は、高画質化処理された左目用画像に基づく第１のフレームレート（６０Ｈｚ）を第２のフレームレート（１２０Ｈｚ又は２４０Ｈｚ）へ変換することができる。例えば、フレームレート変換モジュール４６は、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）から補間用画像（Ｌ１’’、Ｌ２’’、…）を生成し、第１のフレームレート（６０Ｈｚ）を第２のフレームレート（１２０Ｈｚ又は２４０Ｈｚ）へ変換することができる。つまり、フレームレート変換モジュール４６は、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）と、補間用画像（Ｌ１’’、Ｌ２’’、…）とを交互に出力し（Ｌ１’、Ｌ１’’、Ｌ２’、Ｌ２’’、…）、フレームレートを高くすることができる。又は、フレームレート変換モジュール４６は、高画質化処理された左目用画像から補間用画像を生成し、左目用画像、補間用画像、さらに黒画像（補間用黒画像）に基づき、第１のフレームレート（６０Ｈｚ）を第２のフレームレート（２４０Ｈｚ）へ変換することができる。

これにより、ユーザは、視差の無い２Ｄ画像を見ることができる。即ち、画像出力装置は、入力３Ｄ画像から分離された左目用画像の連続出力により、２Ｄ画像入力時の２Ｄ画像と同等な視差の無い画像を出力することができる。さらに、上記説明したように、画像出力装置は、Ｒ画像処理モジュール４４により分離後の左目用画像に対して各種の高画質化処理を実行し、高画質化処理された左目用画像に基づき２Ｄ画像を出力する。このため、画像出力装置は、２Ｄ画像入力時の２Ｄ画像と同等な高品質な２Ｄ画像を出力することができる。また、画像出力装置は、入力を切り換えることなく（３Ｄ画像の入力を２Ｄ画像の入力へ切り換えることなく）、３Ｄ画像を２Ｄ画像に切り換えることができる。このため、３Ｄ画像から２Ｄ画像へ高速に表示形式を切り換えることができ、同様に、２Ｄ画像から３Ｄ画像へ高速に表示形式を元に戻すこともできる。例えば、ユーザが、一時的に、２Ｄ画像を確認したい場合に、便利である。

また、上記説明では、フレームレート変換モジュール４６が、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）と、補間用画像（Ｌ１’’、Ｌ２’’、…）とを交互に出力し（Ｌ１’、Ｌ１’’、Ｌ２’、Ｌ２’’、…）、フレームレートを高くするケースについて記述した。これ以外にも、例えば、フレームレート変換モジュール４６が、高画質化処理された複数の左目用画像（Ｌ１’、Ｌ２’、…）を用いることなく、補間用画像を連続出力（Ｌ１’’、Ｌ１’’、Ｌ２’’、Ｌ２’’、…）し、フレームレートを高くすることもできる。

また、図１〜図４は、２Ｄ画像の処理と３Ｄ画像の処理とを分かり易く説明するための図であり、画像出力装置の回路構成は、図１〜図４の構成に限定されるものではない。例えば、図１〜図４では、画像出力装置が、表示部５に対して、２Ｄ画像用の入力と、３Ｄ画像用の入力とを備えているかのように示されているが、画像出力装置の回路構成は、これに限定されるものではない。例えば、２Ｄ画像は、２Ｄ画像処理モジュール３により各種の高画質化処理がなされ、３Ｄ画像処理モジュール４をスルー又はバイパスして、画像出力ラインを介して表示部５に入力される。また、３Ｄ画像は、２Ｄ画像処理モジュール３をスルー又はバイパスして、３Ｄ画像処理モジュール４により各種の高画質化処理がなされ、上記の画像出力ラインを介して、表示部５に入力される。

また、図１〜図４では、２Ｄ画像処理モジュール３と３Ｄ画像処理モジュール４とが独立した回路構成として示されているが、画像出力装置の回路構成は、これに限定されるものではない。例えば、画像出力装置の回路構成は、２Ｄ画像処理モジュール３と３Ｄ画像処理モジュール４の機能を一体化した回路構成であってもよし、２Ｄ画像処理機能とＬ／Ｒ画像処理機能とを分けた回路構成であってもよい。

なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［１］
３Ｄ画像を入力する入力手段と、
前記３Ｄ画像から複数の左目用画像及び複数の右目用画像を分離する分離手段と、
前記複数の左目用画像又は前記複数の右目用画像を処理する第１の画像処理手段と、
前記複数の右目用画像又は前記複数の左目用画像を処理する第２の画像処理手段と、
前記第１及び第２の画像処理手段のうちの少なくとも一方で処理された前記複数の左目用画像又は前記複数の右目用画像を出力するように制御する制御手段と、
を備えた画像出力装置。
［２］
前記制御手段は、２Ｄ画像モードの指示に対応して、前記複数の左目用画像を前記第１及び第２の画像処理手段へ入力するように制御し、前記第１の画像処理手段により処理された前記複数の左目用画像、及び前記第２の画像処理手段により処理された前記複数の左目用画像を出力するように制御する［１］に記載の画像出力装置。
［３］
前記制御手段は、前記第１の画像処理手段により処理された前記複数の左目用画像、及び前記第２の画像処理手段により処理された前記複数の左目用画像を交互に出力するように制御する［２］に記載の画像出力装置。
［４］
前記制御手段は、３Ｄ画像モードの指示に対応して、前記複数の左目用画像を前記第１の画像処理手段へ入力するように制御し、前記複数の右目用画像を前記第２の画像処理手段へ入力するように制御し、前記第１の画像処理手段により処理された前記複数の左目用画像及び前記第２の画像処理手段により処理された前記複数の右目用画像を出力するように制御する［１］乃至［３］の何れか１つに記載の画像出力装置。
［５］
前記制御手段は、２Ｄ画像モードの指示に対応して、前記複数の左目用画像を前記第１の画像処理手段へ入力するように制御し、前記複数の右目用画像を前記第２の画像処理手段へ入力するように制御し、前記第１の画像処理手段により処理された前記複数の左目用画像を出力するとともに、前記第２の画像処理手段により処理された前記複数の右目用画像の出力に替えて、前記第１の画像処理手段により処理された前記複数の左目用画像を出力するように制御する［１］に記載の画像出力装置。
［６］
前記制御手段は、前記第１の画像処理手段により処理された前記複数の左目用画像と、前記第２の画像処理手段により処理された前記複数の右目用画像の出力に替わる前記複数の左目用画像とを交互に出力するように制御する［５］に記載の画像出力装置。
［７］
前記制御手段は、前記２Ｄ画像モードの指示に対応して、前記複数の左目用画像を前記第１の画像処理手段へ入力するように制御し、前記第１の画像処理手段により処理された前記複数の左目用画像を出力するように制御する［１］に記載の画像出力装置。
［８］
前記２Ｄ画像モードの指示に対応して、第１のフレームレートを前記第１のフレームレートより高い第２のフレームレートへ変換する変換手段を備え、
前記第１のフレームレートは、所定時間で前記複数の左目用画像を出力するフレームレートであって、
前記２のフレームレートは、前記所定時間で前記複数の左目用画像及び１以上の補間用画像を出力するフレームレートである［７］に記載の画像出力装置。
［９］
前記変換手段は、前記２Ｄ画像モードの指示に対応して、前記複数の左目用画像から１以上の前記補間用画像を生成し、前記第１のフレームレートを前記第２のフレームレートへ変換する［８］に記載の画像出力装置。
［１０］
前記２Ｄ画像モードの指示に対応して、第１のフレームレートを前記第１のフレームレートより高い第２のフレームレートへ変換する変換手段を備え、
前記第１のフレームレートは、所定時間で前記複数の左目用画像を出力するフレームレートであって、
前記第２のフレームレートは、前記所定時間で前記複数の左目用画像及び１以上の黒画像を出力するフレームレートである［７］に記載の画像出力装置。
［１１］
前記複数の左目用画像又は前記複数の右目用画像に基づく２Ｄ画像を表示する表示手段を備えた［１］乃至［１０］の何れか１つに記載の画像出力装置。
［１２］
３Ｄ画像を入力し、
前記３Ｄ画像から複数の左目用画像及び複数の右目用画像を分離し、
前記複数の左目用画像又は前記複数の右目用画像を処理する第１の画像処理部及び前記複数の右目用画像又は前記複数の左目用画像を処理する第２の画像処理部のうちの少なくとも一方で処理された前記複数の左目用画像、又は前記第１及び第２の画像処理部のうちの少なくとも一方で処理された前記複数の右目用画像を出力するように制御する画像出力方法。

１…制御モジュール、２…操作入力モジュール、３…２Ｄ画像処理モジュール、４…３Ｄ画像処理モジュール、５…表示部、６…シャッタメガネ制御モジュール、４１…画像入力モジュール、４２…Ｌ／Ｒ画像分離モジュール、４３…Ｌ画像処理モジュール、４４…Ｒ画像処理モジュール、４５…３Ｄ／２Ｄ表示制御モジュール、４６…フレームレート変換モジュール

Claims

３Ｄ画像を入力する入力手段と、
前記３Ｄ画像から複数の左目用画像及び複数の右目用画像を分離する分離手段と、
前記複数の左目用画像又は前記複数の右目用画像を処理する第１の画像処理手段と、
前記複数の右目用画像又は前記複数の左目用画像を処理する第２の画像処理手段と、
前記第１及び第２の画像処理手段のうちの少なくとも一方で処理された前記複数の左目用画像又は前記複数の右目用画像を出力するように制御する制御手段と、
を備え、
前記制御手段は、２Ｄ画像モードの指示に対応して、前記複数の左目用画像を前記第１及び第２の画像処理手段へ入力するように制御し、前記第１の画像処理手段により処理された前記複数の左目用画像、及び前記第２の画像処理手段により処理された前記複数の左目用画像を出力するように制御する、或いは前記制御手段は、２Ｄ画像モードの指示に対応して、前記複数の右目用画像を前記第１及び第２の画像処理手段へ入力するように制御し、前記第１の画像処理手段により処理された前記複数の右目用画像、及び前記第２の画像処理手段により処理された前記複数の右目用画像を出力するように制御する画像出力装置。
前記制御手段は、前記第１の画像処理手段により処理された前記複数の左目用画像、及び前記第２の画像処理手段により処理された前記複数の左目用画像を交互に出力するように制御する、或いは前記制御手段は、前記第１の画像処理手段により処理された前記複数の右目用画像、及び前記第２の画像処理手段により処理された前記複数の右目用画像を交互に出力するように制御する請求項１に記載の画像出力装置。
前記制御手段は、３Ｄ画像モードの指示に対応して、前記複数の左目用画像を前記第１の画像処理手段へ入力するように制御し、前記複数の右目用画像を前記第２の画像処理手段へ入力するように制御し、前記第１の画像処理手段により処理された前記複数の左目用画像及び前記第２の画像処理手段により処理された前記複数の右目用画像を出力するように制御する請求項１又は２に記載の画像出力装置。
前記複数の左目用画像又は前記複数の右目用画像に基づく２Ｄ画像を表示する表示手段を備えた請求項１乃至３の何れか１項に記載の画像出力装置。
３Ｄ画像を入力し、
前記３Ｄ画像から複数の左目用画像及び複数の右目用画像を分離し、
前記複数の左目用画像又は前記複数の右目用画像を処理する第１の画像処理手段及び前記複数の右目用画像又は前記複数の左目用画像を処理する第２の画像処理手段のうちの少なくとも一方で処理された前記複数の左目用画像又は前記複数の右目用画像を出力するように制御し、
前記制御において、２Ｄ画像モードの指示に対応して、前記複数の左目用画像を前記第１及び第２の画像処理手段へ入力するように制御し、前記第１の画像処理手段により処理された前記複数の左目用画像、及び前記第２の画像処理手段により処理された前記複数の左目用画像を出力するように制御する、或いは前記制御において、２Ｄ画像モードの指示に対応して、前記複数の右目用画像を前記第１及び第２の画像処理手段へ入力するように制御し、前記第１の画像処理手段により処理された前記複数の右目用画像、及び前記第２の画像処理手段により処理された前記複数の右目用画像を出力するように制御する画像出力方法。