JP5731812B2 - 画像処理装置、画像処理方法、コンピュータプログラム - Google Patents

Description

本発明は、より高い解像度の画像を視認させるための技術に関するものである。

従来、画像の解像度を向上させてディスプレイに表示し、人に視認させる手法として、超解像技術が従来技術として知られている（特許文献１）。この技術は、同一対象物に対してわずかに異なる方向からの撮影画像を用いて超解像処理を行った画像をディスプレイに表示するものであった。

特開２００９−２６５１２５号公報

しかしながら、従来の技術は高解像度処理を行った画像を表示するものであり、ディスプレイの解像度以上の解像感を表現することは出来ないという課題があった。

本発明は以上の問題に鑑みてなされたものであり、表示解像度以上の解像感を視認させる為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、入力画像を取得する手段と、
前記入力画像の縮小率を決定する決定手段と、
前記縮小率に応じた間隔で前記入力画像から画素をサンプリングして、サンプリングされた画素群から成る第１の画像を生成する第１の生成手段と、
αを整数、βを０＜β＜１としたときに、前記第１の生成手段によるそれぞれのサンプリング位置から水平方向に（α＋β）画素数ずれたサンプリング位置における画素の画素値を該画素の周囲画素から算出し、該画素値を算出した画素から成る第２の画像を生成する第２の生成手段と、
前記第１の画像と前記第２の画像とを順次に表示可能な表示装置に対して、前記第１の画像と前記第２の画像とを順次に出力すると共に、前記第１の画像及び前記第２の画像のうち一方から他方への表示の切り替えに応じたタイミングでシャッター式めがねのシャッターの開閉が切り替わるように、該シャッター式めがねに対して同期信号を出力する出力手段と
を備えることを特徴とする。

本発明の構成によれば、表示解像度以上の解像感を視認させることができる。

システムの構成例を示す図。 メイン処理装置１０５が行う処理のフローチャート。 ステップＳ１０３における処理の詳細を示すフローチャート。 同期信号とシャッター式めがね１０３とディスプレイパネル１０１の関係を示す図。 表示解像度以上の解像感を視認させるための仕組みを示す図。 表示解像度以上の解像感を視認させるための仕組みを示す図。 表示解像度以上の解像感を視認させるための仕組みを示す図。 表示解像度以上の解像感を視認させるための仕組みを示す図。 図５Ｄに示す如く合成されて知覚される仕組みを説明する図。 メイン処理装置１０５の構成例を示すブロック図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

先ず、本実施形態に係るシステムの構成例を図１に示す。図１に示す如く、本実施形態に係るシステムは、ディスプレイパネル１０１、同期信号発信器１０２、シャッター式めがね１０３、入力装置１０４、メイン処理装置１０５、により構成されている。

メイン処理装置１０５のより詳細な構成を、図７のブロック図を用いて説明する。ユーザは入力装置１０４を用いて様々な指示を入力することができ、ユーザが入力装置１０４を用いて指示入力操作を行うと、入力装置１０４はこの指示入力操作によって入力された指示内容を示す指示信号をメイン処理装置１０５に対して発信する。この指示信号は操作Ｉ／Ｆ１７２６を介して制御部１９９に通知され、制御部１９９は、この受け取った指示信号に従ってメイン処理装置１０５の動作制御を行う。

制御部１９９は、自身が管理する不図示のメモリに格納されたコンピュータプログラムやデータを用いてメイン処理装置１０５を構成する各部の動作制御を行うと共に、メイン処理装置１０５が行うものとして後述する各処理を実行する。

オーディオ・ビデオ入出力Ｉ／Ｆ１７２４は、外部装置１７１８から送信された音声信号及び動画像信号を受信し、音声信号はオーディオ処理部１７１３に送出され、動画像信号はビデオ処理部１７１５に送出される。

Ｉ／Ｆ部１７２３は、オーディオ・ビデオ入出力Ｉ／Ｆ１７２４及び操作Ｉ／Ｆ１７２６により構成されている。しかし、Ｉ／Ｆ部１７２３にはこれ以外のＩ／Ｆ部を設けても良い。例えば、音声信号や動画像信号が記録された記憶媒体から情報を読み出すためのＩ／Ｆ部をＩ／Ｆ部１７２３内に設けても良い。

オーディオ処理部１７１３は、受信した音声信号に対して適当な処理を施してからオーディオ駆動部１７１６に送出する。オーディオ駆動部１７１６は、オーディオ処理部１７１３から受けた音声信号をスピーカ１７３５に送出する。

ビデオ処理部１７１５は、受信した動画像信号に対してＡ／Ｄ変換処理や適当な画像処理を施すことで各フレームの画像を得、制御部１９９による制御の元、各フレームの画像を順次ビデオ駆動部１７１７に送出する。更にビデオ処理部１７１５は、ビデオ駆動部１７１７に１枚の画像を送出する毎に同期信号発信器１０２に対してタイミング信号を送出する。

同期信号発信器１０２は、タイミング信号を受信する毎に同期信号を発生させ、発生させた同期信号をシャッター式めがね１０３に対して送出する。即ち同期信号発信器１０２は、ビデオ処理部１７１５が画像をビデオ駆動部１７１７に送出する毎に同期信号を発生させ、発生させた同期信号をシャッター式めがね１０３に対して送出する。然るに、ビデオ処理部１７１５が画像をビデオ駆動部１７１７に送出する毎に同期信号を発生させてシャッター式めがね１０３に送出することができるのであれば、そのための構成には様々な構成を適用することができる。

ビデオ駆動部１７１７は、ビデオ処理部１７１５から受けた画像を順次ディスプレイパネル１０１に送出する。なお、送出先についてはこれに限るものではなく、図７に示すように、プロジェクション装置１７３７，１７３８等に対して送出しても良い。

シャッター式めがね１０３は、液晶シャッターめがねであり、めがねレンズの変わりに液晶シャッターが搭載されている。シャッター式めがね１０３は、右目用の画像を表示するための表示領域（第１の表示領域）と、左目用の画像を表示するための表示領域（第２の表示領域）と、を有する。そして、同期信号発信器１０２から同期信号を受信する毎に、左目用の表示領域と、右目用の表示領域と、を交互に開閉する。同期信号はビデオ処理部１７１５が画像を送出する毎に発生するので、シャッター式めがね１０３は、ビデオ処理部１７１５が画像を送出する毎に左目用の表示領域と、右目用の表示領域と、を交互に開閉することになる。例えばあるフレームで左目用の表示領域が開状態（可視状態）で右目用の表示領域が閉状態（不可視状態）となっている場合、次のフレームでは左目用の表示領域が閉状態で右目用の表示領域が開状態となる。

次に、メイン処理装置１０５が行う処理について、同処理のフローチャートを示す図２を用いて説明する。なお、図２のフローチャートに従った処理は制御部１９９による制御の元、制御部１９９やビデオ処理部１７１５等によりなされるものである。

シャッター式めがね１０３を装着したユーザは、「より高い解像度で画像を観察するモード」、「通常の解像度で画像を観察するモード」の何れか（ユーザ入力Mode）を、入力装置１０４を操作して選択することができる。ユーザが入力装置１０４を操作して何れかのモードを選択し、選択したモードの送信指示を入力装置１０４を用いて入力すると、入力装置１０４は、選択したモードを示す信号をメイン処理装置１０５に対して送信する。この送信された信号は操作Ｉ／Ｆ１７２６を介して制御部１９９に通知される。然るにステップＳ１０１では制御部１９９は、この選択したモードを示す信号を受信する。

更にステップＳ１０１においてビデオ処理部１７１５は、オーディオ・ビデオ入出力Ｉ／Ｆ１７２４を介して受信した動画像信号に対してＡ／Ｄ変換処理や適当な画像処理を施すことで各フレームの画像を順次取得する。以下では、あるフレームＦの画像Image_inを取得した場合に、この画像Image_inに対して行われる処理について説明する。

ステップＳ１０２で制御部１９９は、ステップＳ１０１で受信した信号（選択したモードを示す信号）の値が１（「より高い解像度で画像を観察するモード」を示す値）であるか、０（「通常の解像度で画像を観察するモード」を示す値）であるかを判断する。この判断の結果、１であれば処理はステップＳ１０３に進み、０であれば処理はステップＳ１０６に進む。

ステップＳ１０６では制御部１９９は、ビデオ処理部１７１５に対してＦフレーム目の画像として画像Image_inを出力するよう指示する。これによりビデオ処理部１７１５は画像Image_inをＦフレーム目の画像としてビデオ駆動部１７１７に送出し、ビデオ駆動部１７１７はこの画像Image_inをＦフレーム目の画像としてディスプレイパネル１０１に対して送出する。

一方、ステップＳ１０３では制御部１９９は、画像Image_inから２枚の出力画像Image_out1（第１の画像）とImage_out2（第２の画像）とを生成するよう、ビデオ処理部１７１５を制御する。ステップＳ１０３における処理の詳細については後述する。

ステップＳ１０４では制御部１９９は、作成した２枚の画像のうち一方を、Ｆフレーム目の表示期間のうち前半期間で表示する画像として出力するようビデオ処理部１７１５に対して指示する。また制御部１９９は、他方を、Ｆフレーム目の表示期間のうち後半期間で表示する画像として出力するようビデオ処理部１７１５に対して指示する。ここでは説明上、画像Image_out1を、Ｆフレーム目の表示期間のうち前半期間で表示する画像として出力するようビデオ処理部１７１５に対して指示する。また、画像Image_out2を、Ｆフレーム目の表示期間のうち後半期間で表示する画像として出力するようビデオ処理部１７１５に対して指示する。

これにより、ビデオ処理部１７１５は、Ｆフレーム目の表示期間内で、画像Image_out1、画像Image_out2をこの順でビデオ駆動部１７１７に送出する。更にビデオ処理部１７１５は、画像を送出する毎に同期信号発信器１０２にタイミング信号を送出するので、同期信号発信器１０２には、画像Image_out1の送出時、画像Image_out2の送出時、のそれぞれのタイミングが通知されることになる。

然るにステップＳ１０５では制御部１９９は同期信号発信器１０２を制御して、タイミングの通知を受ける毎に同期信号を生成させ、生成させた同期信号をシャッター式めがね１０３に送信させる。

同期信号とシャッター式めがね１０３とディスプレイパネル１０１との関係について、図４を用いて説明する。図４において横軸は時間を示しており、１フレーム分の表示期間のうち前半期間と後半期間とを示している。上記の通り、同期信号発信器１０２は、画像Image_out1（若しくはImage_out2）の送出タイミング毎に同期信号を発生する。然るに、この同期信号を受けたシャッター式めがね１０３は、画像Image_out1（若しくはImage_out2）の送出タイミング毎に左右の表示領域の開閉を行うことになる。図４（ｂ）、（ｃ）に示す如く、シャッター式めがね１０３の左（Left）及び右（Right）は送出タイミング毎に開閉を繰り返し、更に左右は交互に開状態（閉状態）となる。

更に、図４（ｄ）に示す如く、シャッター式めがね１０３において左が開状態となっているときにはディスプレイパネル１０１には左目用の画像Left（画像Image_out1、Image_out2のうち一方）が表示されている。また、図４（ｄ）に示す如く、シャッター式めがね１０３において右が開状態となっているときにはディスプレイパネル１０１には右目用の画像Right（画像Image_out1、Image_out2のうち他方）が表示されている。シャッター式めがね１０３の左右の開閉順、ディスプレイパネル１０１に表示する右目用の画像、左目用の画像の表示順はこのように予め定められているものとする。

このような動作により、例えば、１２０Ｈｚで駆動するディスプレイパネル１０１において左目用の画像を６０Ｈｚ、右目用の画像を６０Ｈｚで表示する。これにより、右目用と左目用の画像を片目ずつ独立して見ることが出来る。

次に、ステップＳ１０３における処理の詳細について、図３のフローチャートを用いて説明する。ステップＳ１２１ではビデオ処理部１７１５は、画像Image_inの垂直解像度（垂直方向の画素数）Ｈin、水平解像度（水平方向の解像度）Ｗin、を取得する。解像度の取得方法については特に限定するものではなく、画像Image_inの水平方向、垂直方向のそれぞれの画素数をカウントすることで取得しても良いし、動画像信号中のヘッダ情報に記されている解像度情報から取得しても良い。

ステップＳ１２１では更にビデオ処理部１７１５は、ディスプレイパネル１０１の垂直解像度Ｈout、水平解像度Ｗout、を取得する。この解像度の取得方法についても特に限定するものではなく、例えば、ディスプレイパネル１０１のプロパティ情報を予めメイン処理装置１０５内のメモリに登録しておき、このプロパティ情報から取得しても良い。また、Ｈout、Ｗoutをディスプレイパネル１０１の解像度とすることに限定するものではなく、ディスプレイパネル１０１の表示画面において、画像Image_inを表示するための領域の垂直解像度、水平解像度としても良い。何れにせよ、Ｈin＞Ｈout、Ｗin＞Ｗoutなる関係が維持されるのであれば良い。

次にステップＳ１２２ではビデオ処理部１７１５は、画像Image_inの垂直方向の縮小率ｓ１の逆数ｓｈ＝Ｈin／Ｈout、水平方向の縮小率ｓ２の逆数ｓｗ＝Ｗin／Ｗoutを計算する。なお、上記の通り、Ｈout、ＷoutはＨin＞Ｈout、Ｗin＞Ｗoutなる関係が維持されるのであれば如何なる画像のサイズを表しても良いので、ステップＳ１２２では、適当なｓｈ、ｓｗを決定しても良い。

ステップＳ１２３でビデオ処理部１７１５は、ステップＳ１２２で計算したｓｈ（ｓｗ）をサンプリング間隔とし、このサンプリング間隔で画像Image_inから画素をサンプリングすることで、画像Image_out1、画像Image_out2を生成する。

ここで、先ず、画像Image_out1を生成する方法（第１の生成）について説明する。画像Image_out1中の画素位置（ｘ、ｙ）における画素値をImage_out1［ｘ、ｙ］とすると、以下の式に従ってImage_out1［ｘ、ｙ］を求める。

Image_out1［ｘ、ｙ］＝ｆ（Image_in、ｘ×ｓｗ、ｙ×ｓｈ）
ｆ（Image_in、ｐ、ｑ）は、画像Image_in中の画素位置（ｐ、ｑ）における画素値を抽出する関数である。しかるに、この式により、画像Image_in中の画素位置（ｐ、ｑ）における画素値をImage_out1［ｘ、ｙ］に設定することになる。

従って、０≦ｘ≦Ｗout−１、０≦ｙ≦Ｈ_out−１を満たす全てのｘ、ｙについてこの式に従ってImage_out1［ｘ、ｙ］を求めることで、画像Image_out1を生成することができる。

次に、画像Image_out2を生成する方法（第２の生成）について説明する。画像Image_out2中の画素位置（ｘ、ｙ）における画素値をImage_out2［ｘ、ｙ］とすると、以下の式に従ってImage_out2［ｘ、ｙ］を求める。

Image_out2［ｘ、ｙ］＝ｆ（Image_in、（ｘ＋α＋β）×ｓｗ、ｙ×ｓｈ）
ここで、αは整数、βは０＜β＜１を満たす数、である。βの項が存在する以上、画素位置（（ｘ＋α＋β）×ｓｗ、ｙ×ｓｈ）は画素間の位置となり、この位置に画素は存在しない。然るにこの場合、関数ｆは、画素位置（（ｘ＋α＋β）×ｓｗ、ｙ×ｓｈ）の周囲の画素の画素値からバイリニア補間、若しくはバイキュービック補間等の補間技術を用いて画素位置（（ｘ＋α＋β）×ｓｗ、ｙ×ｓｈ）における画素値を算出する。

従って、０≦ｘ≦Ｗout−１、０≦ｙ≦Ｈ_out−１を満たす全てのｘ、ｙについてこの式に従ってImage_out2［ｘ、ｙ］を求めることで、画像Image_out2を生成することができる。このようにして生成される画像Image_out2は、次のようなものである。即ち、画像Image_out1を生成するためのそれぞれのサンプリング位置から水平方向に（α＋β）画素数ずれたサンプリング位置における画素の画素値を周囲画素から算出し、画素値を算出した画素群から成る画像である。

図３のフローチャートに従った処理の本質は、出力する２枚の画像の水平方向のサンプリング位相が小数画素精度だけずれているように生成することにある。然るに、この本質が維持される範囲内で２枚の出力画像を生成するのであれば、上記の方法に限定するものではない。

なお、ディスプレイを視認して右目と左目で画像を補間させることが効果につながるため、右目と左目が水平状態で視認されることを想定し、垂直方向の位相ずらしは行わない。よって、垂直方向はサンプリング位相が一致した縮小処理となる。

次に、サンプリング位相が小数精度ずれた２枚の画像をユーザの左右の眼に提示することにより、このユーザに表示解像度以上の解像感を視認させるための仕組みについて、図５Ａ〜５Ｄを用いて説明する。

図５Ａ〜５Ｄにおいて横軸は入力画像の水平方向の画素位置を示しており、縦軸は画素値を示している。また、図５Ａ〜５Ｄにおいて黒丸は、各サンプリング位置における画素の画素値を示している。

ある入力画像から図５Ａに示すサンプリング間隔で画素をサンプリングすると仮定する。ここで、この入力画像の解像度の半分の解像度の画像を生成する場合、サンプリング間隔は図５Ｂに示す如く、図５Ａの２倍となる。このサンプリング間隔（周期）が表示における解像限界とする。

本実施形態では、左目用の画像を図５Ｂに示す如くサンプリングして生成する場合、右目用の画像は図５Ｃに示す如く、図５Ｂに示したサンプリング位置から（α＋β）だけずれた位置から画素をサンプリングして生成する。β＝０．５が最も効果があり推奨されるが、小数精度であれば０．３や０．７５などでも効果は見込まれる。また、０．５画素でも１．５画素、３．５画素でも同様の効果があるため、αを整数値として用いている。以下では一例としてα＝０、β＝０．５で説明する。

図５Ｂに示す如くサンプリングして生成した画像を左眼に提供し、図５Ｃに示す如くサンプリングして生成した画像を右眼に提供した場合、図５Ｄに示す如く、左眼で見る画素と右眼で見る画素とが０．５画素だけずれて画像の波形を形成する。これにより、表示における解像度以上の解像感を表現する。更に、人にはなぜ図５Ｄに示す如く合成されて知覚されるのかを、図６を用いて説明する。

図６（ａ）は、画像Image_out2を左目で視認する状況を示す図である。図中の数値は入力画像波形におけるサンプリング位置座標を示している。β＝０．５の例であり、座標１．５，…，５．５でサンプリングされた画素値が表示されている。

図６（ｂ）は、画像Image_out1を右目で視認する状況を示す図である。座標１．０，…，５．０でサンプリングされた画素値が表示されている。１フレーム毎に図６（ａ）の画像と図６（ｂ）の画像とが交互にシャッター式めがね１０３に提供される。

図６（ｃ）は、両目で画像Image_out1と画像Image_out2とを視認する状況を示す図である。人は左目と右目とに類似した像が見えると、それらが結像するように、つまり像が重なるように両目の焦点距離と輻輳角を調節する。よって、実際にはディスプレイ面に画像が表示されているが、左目の像と右目の像が重なるように、つまり２枚の画像のサンプリング位置座標が順に並ぶように焦点を合わせる。すると、図６（ｃ）のように、ディスプレイの奥で像は結像して認識される。結像した画像では図５（ｄ）のように、左目の画素と右目の画素が０．５画素ずれて画像の波形を形成し、解像感が高く認識される。

本実施形態では、ディスプレイパネル１０１の解像度よりも高い解像度の画像が入力された場合に、これを縮小して表示する場合に使用される。その際に、本実施形態の手法により２枚の画像を生成し、左目と右目とに対して提示することによって、１枚の縮小画像を表示するよりも解像度を高く視認させることが出来る。

なお、本実施形態では、１枚の入力画像から２枚の画像を生成したが、３次元コンピュータグラフィックスデータを入力とすることも出来る。つまり、３次元コンピュータグラフィックスデータからディスプレイ解像度以上の解像度の画像を１枚生成し、この生成した画像を入力画像として２枚の縮小画像を生成することで、高解像度のコンピュータグラフィックス画像を表示することが可能である。３次元コンピュータグラフィックスデータから１枚の画像を生成する際には、一般的に用いられるスキャンライン法やレイトレーシング法、ラジオシティ法などを用いる。

以上の説明により、本実施形態によれば、表示解像度以上の解像感を視認させることができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 入力画像を取得する手段と、
   前記入力画像の縮小率を決定する決定手段と、
   前記縮小率に応じた間隔で前記入力画像から画素をサンプリングして、サンプリングされた画素群から成る第１の画像を生成する第１の生成手段と、
   αを整数、βを０＜β＜１としたときに、前記第１の生成手段によるそれぞれのサンプリング位置から水平方向に（α＋β）画素数ずれたサンプリング位置における画素の画素値を該画素の周囲画素から算出し、該画素値を算出した画素から成る第２の画像を生成する第２の生成手段と、
   前記第１の画像と前記第２の画像とを順次に表示可能な表示装置に対して、前記第１の画像と前記第２の画像とを順次に出力すると共に、前記第１の画像及び前記第２の画像のうち一方から他方への表示の切り替えに応じたタイミングでシャッター式めがねのシャッターの開閉が切り替わるように、該シャッター式めがねに対して同期信号を出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記第２の生成手段は、前記第１の生成手段によるサンプリング位置から水平方向に（α＋β）画素数ずれたサンプリング位置における画素の画素値を該画素の周囲画素からバイリニア補間、若しくはバイキュービック補間を用いて算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の生成手段は、前記入力画像から画素をサンプリングする間隔に前記縮小率の逆数を設定し、前記入力画像から水平方向及び垂直方向に前記間隔で画素をサンプリングして、サンプリングされた画素群から成る第１の画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記縮小率を、前記入力画像の解像度と前記第１及び第２の画像を表示する表示画面の解像度とに基づいて決定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の取得手段が、入力画像を取得する工程と、
   前記画像処理装置の決定手段が、前記入力画像の縮小率を決定する工程と、
   前記画像処理装置の第１の生成手段が、前記縮小率に応じた間隔で前記入力画像から画素をサンプリングして、サンプリングされた画素群から成る第１の画像を生成する第１の生成工程と、
   前記画像処理装置の第２の生成手段が、αを整数、βを０＜β＜１としたときに、前記第１の生成工程によるそれぞれのサンプリング位置から水平方向に（α＋β）画素数ずれたサンプリング位置における画素の画素値を該画素の周囲画素から算出し、該画素値を算出した画素から成る第２の画像を生成する第２の生成工程と、
   前記画像処理装置の出力手段が、前記第１の画像と前記第２の画像とを順次に表示可能な表示装置に対して、前記第１の画像と前記第２の画像とを順次に出力すると共に、前記第１の画像及び前記第２の画像のうち一方から他方への表示の切り替えに応じたタイミングでシャッター式めがねのシャッターの開閉が切り替わるように、該シャッター式めがねに対して同期信号を出力する出力工程と
   を備えることを特徴とする画像処理方法。
6. 前記第１の生成工程では、前記入力画像から画素をサンプリングする間隔に前記縮小率の逆数を設定し、前記入力画像から水平方向及び垂直方向に前記間隔で画素をサンプリングして、サンプリングされた画素群から成る第１の画像を生成することを特徴とする請求項５に記載の画像処理方法。
7. コンピュータを、請求項１乃至４の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images