JP4777675B2 - 画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体に関し、特に、入力画像データの解像度変換処理と演算処理とを施し、デルタ配列の表示画素への出力画素データを生成する画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体に関する。

従来、画像表示装置に入力されるデジタル画像データは、ＲＧＢ各画素が正方または直方配列された形式のものである。画像表示装置のカラー表示では、ＲＧＢ各画素の配列方法により、人間の目から見た表示効果が大きく異なってくる。コンピュータ用表示では画像をシャープに表現するためにＲＧＢを１単位とする正方または直方配列のカラーユニットを構成する場合が多いが、高解像度化したい場合には、同画素数では最も解像度を高く感じるデルタ配列、即ち、１ラインごとに画素を半ピッチずらしたデルタ配列を用いることが多い。

このデルタ配列の画像表示を行う方法として、従来、画像データに従って光を制御可能な複数の画素から構成される表示素子と、該表示素子の画素数に加え、表示画素の斜め方向に、縦横各々の隣接画素間距離の１／２だけ画素の位置を変位させる画素ずらし手段を用いて画像表示装置を高解像度化する方法が提案されてきた。例えば、この画素ずらし手段として、光の屈折方向を変化させ、その屈折方向を変化させる手段として、回転板を用いる技術がある（特許文献１）。

また、赤、青、緑の表示素子に、縦横１／２画素ずらした位置に、表示する人間の視感度に優れる緑の表示画素を設けることにより、一台のプロジェクタで表示画像の高解像度化を図る技術もある（特許文献２）。

また、画像シフタにより画素をシフトし、表示画像の解像度を高めようとする技術もある（特許文献３）。

特開平７−１３４２７５号公報 特開２００３−３２２９０８号公報 特開２００４−７０３６５号公報

このような従来の高解像度化の方法としては、画素構造が見えない距離（視認距離）から、画像を見ることを前提にしたものが多かった。これらの方法は、画像より十分に離れることが前提である映画や、テレビ等の場合で、表示された画素を構成する色成分や、色ずれなどのような画像の粗さが認識されることは少なかった。しかし、近年では会議等に用いられる大画面の画像表示装置が多くなってきている。これらは会議等に使用することから、画素構造が見える距離で使用する場面も多い。画素構造が見えない距離を前提とした場合には、画素を構成する色成分や、各色のずれ等も問題とならないが、画素構造が見える場合には、問題となってくる。

特許文献１の技術である緑成分の表示画像の位置を変化させる方法や、特許文献２の技術では、色ずれが多く発生することとなり、画質の劣化を招くという問題があった。

また画素ずらしを行うことにより、表示画像の高解像度化する手法としては、画素を水平、垂直の一方向または、これらを組合せて複数の方向に画素ずらしを行うことによる方法と、画素ずらし手段を１つにし、斜め方向に画素位置をずらすことにより、デルタ配列の表示を行い、低コストで縦横２倍の解像度に近付く高解像度化を行う方法が行なわれてきたのである。しかしながら、画素がデルタ配列の場合や、斜め方向に画素位置を変位することにより、高解像度の画像表示を行う場合、特許文献３の技術では、表示画素数が増えることによって解像度を高めただけであり、出力画像データは解像度変換などの画像処理により生成された正方または直方配列の画素データ（変換画素データ）をもつ、画像データ（変換画像データ）の中から、表示されるデルタ配列の画素の変換画素データのみを抜き出して出力画素データとして表示しているのであって、他の変換画素データは出力画像に用いていなかった。このことが、表示される画像の高品質・高解像度化において、大きな欠点となっている。その為、正方または直方配列された変換画素データの中に出力画素データに用いられないものが発生し、それにより表示画像に画像データの抜けが発生し、画像品質を劣化させていた。

例えば、入力画像が表示装置の正方または直方配列の変換画像データと同解像度とした場合、従来の方法では、入力画像及び変換画像の画素は図６のように配列されているが、表示に用いられる出力画素は、図６の斜線の丸で表された画素だけであり、白丸で表された画素のデータは用いられず、画像データの抜けとなってしまう。

本発明は、上記の問題に鑑みてなされたものであって、デルタ配列の画素配列を有する画像表示装置や、斜め方向に画素ずらしを行う画像表示装置において、解像度変換などの画像処理を経て得られた正方または直方配列の変換画像データから、従来では用いられなかった変換画素データを、表示する出力画像データの生成に用いることによって、画像データの抜けのない出力画像データを生成、表示を行い、表示画像を高品質・高解像度化することを目的とする。

また、緑成分のみの画素ずらしを行う場合においては、表示方法別に異なる処理を用いることにより、色ずれの発生を減少させることを目的とする。

また、以上の方法によって生成された出力画像データによって高画質、高解像度の画像データを生成する画像処理装置と、この画像表示装置を備えて高画質、高解像度の画像を表示することができる低コストの画像表示装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本願発明は、入力する画像データを解像度変換して表示手段に出力する画像処理装置であって、前記入力する画像データから前記表示手段のα倍（α＞１）の解像度の画素データを生成する解像度変換手段と、前記解像度変換手段によって生成された解像度α倍の画素データに対して、画像処理を施す画像処理手段と、前記画像処理手段によって画像処理を施された解像度α倍の画素データに対して、前記表示手段の解像度以下にまで間引きして前記表示手段に出力する間引き手段と、を備え、前記解像度変換手段は、前記入力する画像データに対して、水平方向に２Ｍ個の画素を１ラインとし、垂直方向にＮラインを有する正方または直方配列された画素数２Ｍ×Ｎの画素データを生成するものであり、前記画像処理手段は、前記解像度変換手段が生成した画素数２Ｍ×Ｎの画素データに対して画像処理を施すものであり、前記解像度変換された画像の画素と前記表示手段に出力する画像の画素とを座標空間上に対応させて、前記座標空間上で座標（Ｘ，Ｙ）に位置する出力画素の画素データを、前記座標空間上の座標（Ｘ，Ｙ），（Ｘ−０．５Ｐｈ，Ｙ），（Ｘ＋０．５Ｐｈ，Ｙ），（Ｘ，Ｙ−Ｐｖ），（Ｘ，Ｙ＋Ｐｖ）に位置する前記解像度変換された画像の各画素データをＡ，Ｂ，Ｃ，Ｄ，Ｅとし、またαｉ（ｉ＝１，２，３，４， ｏｒ ５）をゼロではない定数として、α１・Ａ＋α２・Ｂ＋α３・Ｃ＋α４・Ｄ＋α５・Ｅによって生成する第１のフィルタ処理手段を有し、前記間引き手段は、前記画像処理手段によって処理を施された前記画素数２Ｍ×Ｎの画素データから、前記表示手段に対して、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれたデルタ配列で画素数Ｍ×Ｎの画素データに間引いて出力するものであること、を特徴とする。

請求項２にかかる発明は、請求項１に記載の画像処理装置において、前記解像度変換手段は、入力する画素データに対して、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれた画素数Ｍ×Ｎの第１のサブ出力画像と、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖ×２のピッチで０．５Ｎラインを有する画素数Ｍ×０．５Ｎの第２のサブ出力画像とを合成して、水平方向に２Ｍ個の画素を１ラインとし、垂直方向にＮラインを有する正方または直方配列された画素数２Ｍ×Ｎの画素データを生成するものであることを特徴とする。

請求項３にかかる発明は、請求項１に記載の画像処理装置において前記画像処理手段は、前記解像度変換された画像の画素と前記表示手段に出力する画像の画素を座標空間上に対応させて、前記座標空間上で座標（Ｘ，Ｙ）に位置する出力画素の画素データを、前記座標空間上の座標（Ｘ，Ｙ），（Ｘ−０．５Ｐｈ，Ｙ），（Ｘ＋０．５Ｐｈ，Ｙ），（Ｘ，Ｙ−Ｐｖ），（Ｘ，Ｙ＋Ｐｖ），（Ｘ−０．５Ｐｈ，Ｙ−Ｐｖ），（Ｘ＋０．５Ｐｈ，Ｙ−Ｐｖ），（Ｘ＋０．５Ｐｈ，Ｙ−Ｐｖ），（Ｘ＋０．５Ｐｈ，Ｙ＋Ｐｖ）に位置する前記解像度変換画像の各画素データをＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ、βｉ（ｉ＝１，２，…，８，ｏｒ９）をゼロではない定数として、β１・Ａ＋β２・Ｂ＋β３・Ｃ＋β４・Ｄ＋β５・Ｅ＋β６・Ｆ＋β７・Ｇ＋β８・Ｈ＋β９・Ｉによって生成する第２のフィルタ処理手段を有することを特徴とする。

請求項４にかかる発明は、請求項１に記載の画像処理装置において、前記第１のフィルタ処理手段は、前記定数α１の値が略０．５、α２〜α５の値が略０．１２５であることを特徴とする。

請求項５にかかる発明は、請求項３に記載の画像処理装置において、前記第２のフィルタ処理手段は、前記定数β１の値が略０．２５、β２〜β５の値が略０．１２５、β６〜β９の値が略０．０６２５であることを特徴とする。

請求項６にかかる発明は、請求項２に記載の画像処理装置において、前記画像処理手段は、前記解像度変換手段が生成した２Ｍ×Ｎの画素データのうち、前記第１のサブ出力画像には前記第１のフィルタ処理手段により第１のフィルタ処理を施し、かつ、前記第２のサブ出力画像には前記第２のフィルタ処理手段による第２のフィルタ処理を施すものであることを特徴とする。

請求項７にかかる発明は、画像表示装置において、請求項１に記載の画像処理装置を備え、前記画像処理装置において生成される出力画像データに従って光を制御可能であり、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれた画素数Ｍ×Ｎの画素から構成される画像を表示する表示素子を備えたことを特徴とする。

請求項８にかかる発明は、画像表示装置において、請求項２に記載の画像処理装置を備え、前記画像処理装置において生成される出力画像データに従って光を制御可能であり、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれた画素数Ｍ×Ｎの第１のサブ出力画像と、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖ×２のピッチで０．５Ｎラインを有する画素数Ｍ×０．５Ｎの第２のサブ出力画像とを合成して１つの出力画像を表示する表示素子を備えたことを特徴とする。

請求項９にかかる発明は、画像表示装置において、請求項１〜６のいずれか１つに記載の画像処理装置を備え、前記画像処理装置において生成される出力画像データに従って光を制御可能な複数の画素から画像を表示する表示素子と、前記表示素子の画素の斜め方向の隣接画素との１／２の距離だけ画素の表示位置を変位させる画素ずらし手段とを備え、前記表示素子が画像を表示する複数の画素からの光線に対して、前記画素ずらし手段により光軸をシフトすることにより画素ずらしを行い、前記表示素子の解像度よりも高い解像度の画像表示を行うことを特徴とする。

請求項１０にかかる発明は、請求項９に記載の画像表示装置において、前記表示素子は１つであり、少なくとも赤、青、緑色成分の画像データを表示するものであることを特徴とする。

請求項１１にかかる発明は、請求項７に記載の画像表示装置において、前記表示素子は複数であり、少なくとも赤、青、緑色成分の画像データを表示するものであることを特徴とする。

請求項１２にかかる発明は、請求項９〜１１のいずれか１つに記載の画像表示装置において、前記表示素子の表示する全色成分の、画素ずらしによる表示位置毎の表示時間を略同一としたことを特徴とする。

請求項１３にかかる発明は、請求項９〜１２のいずれか１つに記載の画像表示装置において、前記表示素子の表示する少なくとも緑色の表示位置を画素ずらし素子により、変位させて表示するものであることを特徴とする。

請求項１４にかかる発明は、請求項８〜１３のいずれか１つに記載の画像表示装置において、前記表示素子は、前記第１のサブ出力画像を少なくとも緑色の画素により構成することを特徴とする。

請求項１５にかかる発明は、請求項１３または１４に記載の画像表示装置において、前記表示素子は、緑色の表示時間を他の色に比較して短くしたことを特徴とする。

請求項１６にかかる発明は、請求項１３または１４に記載の画像表示装置において、緑色の光量を他の色に比較して少なくする調光手段を、さらに備えたことを特徴とする。

請求項１７にかかる発明は、請求項８〜１０、および１３〜１６のいずれか１つに記載の画像表示装置において、前記表示素子は、前記表示素子の表示する緑以外の色を、緑色の画素に隣接させて交互に異なる表示位置に表示させることを特徴とする。

請求項１８にかかる発明は、請求項９，１０，１３，および１５〜１７のいずれか１つに記載の画像表示装置において、前記表示素子は、前記出力画素データの表示位置に出力する時間を、前記出力画素データのうち変位しない色成分の配置の調整および色成分個々の光量の調節により、略同一としたことを特徴とする。

請求項１９にかかる発明は、請求項９，１０，１３，および１５〜１８のいずれか１つに記載の画像表示装置において、前記表示素子は、全色成分の表示時間を略同一とし、画素ずらしを行わない色成分の表示時間を画素ずらしを行う場合の２倍とすることを特徴とする

請求項２０にかかる発明は、画像処理方法であって、入力する画像データを解像度変換して表示手段に出力する画像処理装置における画像処理方法であって、解像度変換手段によって、前記入力する画像データから前記表示手段のα倍（α＞１）の解像度の画素データを生成する解像度変換工程と、画像処理手段によって、前記解像度変換手段によって生成された解像度α倍の画素データに対して、画像処理を施す画像処理工程と、間引き手段によって、前記画像処理手段によって画像処理を施された解像度α倍の画素データに対して、前記表示手段の解像度以下にまで間引きして前記表示手段に出力する間引き工程と、を含み、前記解像度変換工程は、前記入力する画像データに対して、水平方向に２Ｍ個の画素を１ラインとし、垂直方向にＮラインを有する正方または直方配列された画素数２Ｍ×Ｎの画素データを生成し、前記画像処理工程は、前記解像度変換手段が生成した画素数２Ｍ×Ｎの画素データに対して画像処理を施すものであり、前記解像度変換された画像の画素と前記表示手段に出力する画像の画素とを座標空間上に対応させて、前記座標空間上で座標（Ｘ，Ｙ）に位置する出力画素の画素データを、前記座標空間上の座標（Ｘ，Ｙ），（Ｘ−０．５Ｐｈ，Ｙ），（Ｘ＋０．５Ｐｈ，Ｙ），（Ｘ，Ｙ−Ｐｖ），（Ｘ，Ｙ＋Ｐｖ）に位置する前記解像度変換された画像の各画素データをＡ，Ｂ，Ｃ，Ｄ，Ｅとし、またαｉ（ｉ＝１，２，３，４， ｏｒ ５）をゼロではない定数として、α１・Ａ＋α２・Ｂ＋α３・Ｃ＋α４・Ｄ＋α５・Ｅによって生成する第１のフィルタ処理工程を有し、前記間引き工程は、前記画像処理手段によって処理を施された前記画素数２Ｍ×Ｎの画素データから、前記表示手段に対して、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれたデルタ配列で画素数Ｍ×Ｎの画素データに間引いて出力するものであること、を特徴とする。

請求項２１にかかる発明は、プログラムであって、請求項２０に記載の画像処理方法をコンピュータに実行させることを特徴とする。

請求項２２にかかる発明は、記録媒体であって、請求項２１に記載のプログラムをコンピュータ読み取り可能に格納したことを特徴とする。

請求項１にかかる発明によれば、入力する画像データを解像度変換して、解像度変換された画像データに対して画像処理を施してから、表示手段に出力する画素データまで間引きするので、出力画像データへ一部の変換画像データが用いられないことによる画像データの抜けがなくなり、高画質、高解像度の画像表示用の画像処理を施すことができる。

請求項１にかかる発明によれば、入力する画像データを解像度変換して、解像度変換された画像データに対して画像処理を施してから、表示手段に出力するデルタ配列用の画素データまで間引きするので、出力画像データへ一部の変換画像データが用いられないことによる画像データの抜けがなくなり、高画質、高解像度の画像表示用の画像処理を施すことができる。

請求項１にかかる発明によれば、正方または直方配列の解像度を変換された画像データから、デルタ配列表示画素用の出力画素データを求める際に、解像度変換画像データの全ての画素データを用いて出力画像の出力画素データを求めてそこから間引き処理を施すことによって、出力画像データへ一部の変換画像データが用いられないことによる画像データの抜けがなくなり、高画質、高解像度の画像表示用の画像処理が行うことができる。

請求項２にかかる発明によれば、正方または直方配列の解像度変換された画像データから、複数の画素数と画素配列の異なった表示画素用に出力画素データを求める際、変換画像データの全ての画素データを用いて出力画像の出力画素データを求めることによって、出力画像データへ一部の変換画像データが用いられないことによる画像データの抜けがなくなり、高画質、高解像度の画像表示用の画像処理を施すことができる。

請求項１にかかる発明によれば、解像度変換された画素データに対して、上下左右の画素によるフィルタ画像処理を施してから間引き処理を施し、周囲４点の変換画素データの重みを付けを反映して間引かれて出力されるので、高画質、高解像度の画像表示が可能な画像処理を施すことが出来る。

請求項３にかかる発明によれば、解像度変換された画素データに対して、上下左右および斜め方向の画素によるフィルタ画像処理を施してから間引き処理を施し、周囲８点の変換画素データの重みを付けを反映して間引かれて出力されるので、高画質、高解像度の画像表示が可能な画像処理を施すことが出来る。

請求項４にかかる発明によれば、第１のフィルタ処理手段の定数α１の値を０．２〜０．８、α２〜α５の値を０．０５〜０．２とすることにより、画像の抜けのない、高画質、高解像度の画像表示を行う為の画像処理が可能になる。より好ましくは定数α１の値を０．５±０．１、α２〜α５の値を０．１２５±０．０２５とすることにより、変換画像と出力画像の画素数の違いによる画素データ抜けなどの影響がより少ない、より縦横２方向に画素ずらしを行った表示画像に近い高画質、高解像度の画像表示を行う為の画像処理が可能となる。

請求項５にかかる発明によれば、第２のフィルタ処理手段の定数β１の値を０．１〜０．８、β２〜β５の値を０．０５〜０．２、β６〜β９の値を０〜０．２とすることにより、画像の抜けのない、高画質、高解像度の画像表示を行う為の画像処理が可能となる。より好ましくは定数β１の値を０．１〜０．６、β２〜β５の値を０．１〜０．１５、β６〜β９の値を０〜０．１とすることにより、変換画像と出力画像の画素数の違いによる画素データ抜けなどの影響がより少ない、より縦横２方向に画素ずらしを行った表示画像に近い高画質、高解像度の画像表示を行う為の画像処理が可能となる。

請求項６にかかる発明によれば、第１のサブ出力画像に対して第１のフィルタ処理を施し、第２のサブ出力画像に対して第２のフィルタ処理を施すことで、出力画素の座標位置にある変換画素データが、複数の出力画素データに重複して用いられることがなくなり、それにより画像のボケが少なく、色ずれの少ない、高画質、高解像度の画像表示行う為の画像処理が可能となる。

請求項７にかかる発明によれば、デルタ配列表示素子用の出力画素データを一部の変換画像データが用いられないことによる画像データの抜けがない、高画質、高解像度の出力画像データが可能な画像処理装置を備えて表示素子により表示させるので、高画質、高解像度の画像表示を行う画像表示装置を提供できる。

請求項８にかかる発明によれば、デルタ配列を含む２つの画素構成を合わせて有する表示素子用の出力画素データに一部変換画像データの未使用による画像データの抜けがない、高画質、高解像度の出力画像データを求める画像処理装置を備えて表示素子により表示させるので、高画質、高解像度の画像表示を行う画像表示装置を提供できる。

請求項９にかかる発明によれば、表示素子の画素の斜め隣接画素との距離の略１／２の距離だけ画素の表示位置を変位させ、画像データに処理を行うことで、表示画像データへの一部変換画像データの未使用による画像データの抜けがなくなり、高画質、高解像度の画像表示用の画像処理が行える画像処理装置を備えて表示素子により表示させるので、少ない画素数の表示素子を用いて、斜め一方向への画素ずらし手段を備えることにより、水平・垂直の二方向への画素ずらしによる表示画像に近い、高画質、高解像度の画像表示を行う低コストの画像表示装置を提供できる。

請求項１０にかかる発明によれば、高価である表示素子を１つとすることにより、光学系の構造も簡便なものとなり、安価に高解像度の画像表示装置を提供できる。

請求項１１にかかる発明によれば、表示素子を複数とすることで、表示素子が各色成分の表示が行え、全色成分毎に表示時間を分割して表示する必要がなくなることにより各色成分毎の表示時間が増加し、光利用効率の高い、高解像度の画像表示装置を提供できる。

請求項１２にかかる発明によれば、全色成分を画素ずらしすることにより、色ずれの発生をなくすことができ、画素ずらしによる表示位置毎の表示時間を略同一とすることにより、全表示画素の光量を均一となるようにでき、これにより、画素構造が見分けられる視認距離でも、色ずれのない、高解像度で高画質な画像表示装置を提供できる。

請求項１３にかかる発明によれば、人間の目に敏感で、解像度に最も影響を及ぼす緑色成分の画像データを表示素子の画素の斜め方向の隣接画素との距離の略１／２の距離だけ画素の表示位置を変位させることで、他の色成分の２倍の画素数で表示することになり、それにより全色成分の表示素子の画素数を増やすことなく低コストで画像の高解像度化の効果を得ることができ、全色を画素ずらしするよりも表示素子の表示効率が良いことから、光利用効率を向上させることができる。

請求項１４にかかる発明によれば、人間の目に敏感で、解像度に最も影響を及ぼす緑色成分の画像データを他の色成分の２倍の画素数で表示することにより、全色成分の表示素子の画素数を増やすことなく、表示素子の配線が少ない簡略な構成で、低コストで画像の高解像度化が可能になる。

請求項１５にかかる発明によれば、緑色成分の表示時間を他の色に比較して短くしたことにより、緑色成分と他の色成分の光量を調整することができ、これによりホワイトバランスの良い画像表示を実現することができる。

請求項１６にかかる発明によれば、緑色成分の光量を他の色に比較して少なくすることにより、表示素子の表示を一定のタイミングで行うことができるとともに、ホワイトバランスとれた画像表示を実現できる。

請求項１７にかかる発明によれば、表示画素数の緑色成分より少ない色成分の表示位置を緑色成分の表示画素の１ライン毎に、交互になる異なる位置に表示することにより、人間の視感度に優れる緑の色ずれを他の緑より視感度の劣る色に変えることで、色ずれによる画質の劣化を押さえることができる。

請求項１８にかかる発明によれば、出力画素データの表示位置に位置する時間を出力画素データを変位しない色成分の表示位置を調整したり、色成分個々の光量を調節することによって略同一とし、画素ずらし動作を交流化することで、画素ずらし手段の動作の均一化や、規則的な動作が可能になり、画素ずらし手段の制御の単純化、簡素化を実現することができ、また、画素ずらし手段に液晶を用いる場合には、液晶駆動の為に印加される電圧によるＤＣバランスをとることにより、液晶を高寿命化することができる。

請求項１９にかかる発明によれば、全色成分の表示時間を略同一とし、画素ずらしを行わない色成分の表示を画素ずらしを行う場合の２倍行い階調を合わせて制御することで、画素ずらしを行わない色成分の階調数が２倍となり、表示画像の高階調化を実現することができる。

請求項２０にかかる発明によれば、入力する画像データを解像度変換して、解像度変換された画像データに対して画像処理を施してから、表示手段に出力する画素データまで間引きするので、出力画像データへ一部の変換画像データが用いられないことによる画像データの抜けがなくなり、高画質、高解像度の画像表示用の画像処理を施すことができる。

請求項２１にかかる発明によれば、請求項２０に記載の画像処理方法をコンピュータに実行させることが出来る。

請求項２２にかかる発明によれば、請求項２１に記載の画像処理プログラムをコンピュータに読み取らせることが出来る。

以下に添付図面を参照して、この発明にかかる画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体の最良な実施の形態を、実施の形態１〜３、および変形例の順で詳細に説明する。

（定義）
本明細書において用いられる、全ての解像度変換後の画像データは、一つの仮想の座標上にその画素が配列され、各画素の座標はこれによって表されるものとする。また、本明細書において用いられる「演算処理」とは、画像データを画像処理を行う際、周囲の画素を含めた画像データを用いて、ある画素の画像データを演算もしくは生成することを意味し、フィルタ処理等も含むものである。

また、本発明は、画像表示装置の主に色ずれをあつかったものであり、本発明を詳細に説明するためには、カラー図面が必要になる。そのため、本出願と同時あるいは本出願より後に必要なカラー図面を提出する。

（１．実施の形態１）
図１は、実施の形態１による画像処理装置の機能的ブロック図である。ここで、画像処理装置１０は、画像表示装置１００に組み込まれているものとして説明するが、画像処理装置１０および画像表示装置１００が別々の構成であっても良い。

画像表示装置１００は、インタフェース（Ｉ／Ｆ）１、Ａ／Ｄ変換器２、復調機３、記憶部４、表示部５、および画像処理装置１０を備える。

画像処理装置１０は画像処理部１１、解像度変換部１２、および出力データ生成部１３を備える。

画像表示装置１００は、画像データがＩ／Ｆ１よりデジタル、アナログなどの各種方式により入力される。アナログ画像データの場合、Ａ／Ｄ変換器２によるＡ／Ｄ変換後、画像データの解像度が検出される。変調された信号で入力されたものは復調器３によって復調された後、画像データの解像度を検出される。画像データの場合、水平および垂直の同期信号より、画像データの解像度が検出される。

次に入力された画像データはバッファ等の２フレーム以上を記憶することができる記憶部４に一旦保存される。これらの処理は、画像データの入力に従って進行し、以降の処理と同期を取らなくても良い。

図２は、デルタ配列をした画素を説明する図である。図３は、同一の画素位置に全色成分を構成せず、ＲＧＢ毎の表示素子を有する場合のデルタ配列の一例を説明する図である。

デルタ配列とは、図２に示すように、ピッチＰｈで配列された画素を１ラインとして、垂直方向にＰｖのピッチのラインを有し、隣接する２ライン間で互いの画素位置が水平方向に０．５Ｐｈずれた配列である。図３に示されたデルタ配列では、図２に示された１つの画素を横方向にＲＧＢの３つの表示素子を並べて構成している。このような各色成分毎の表示素子で図２の一画素を構成する方法は、液晶ディスプレイ、ＰＤＰ、ＥＬなどで用いられている。このような配列は、縦横２方向の画素数が多くなることで、画素数が等しければ最も解像度を高く感じる。

解像度変換部１２は、表示素子が画素数Ｍ×Ｎのデルタ配列の場合、画素数２Ｍ×Ｎの画像データを生成する。ここで、画素数２Ｍ×Ｎの画像データは正方または直方配列の画像データである。

次に、出力データ生成部１３は、デルタ配列用の画像データを生成する。即ち、出力データ生成部１３は、解像度変換部１２によって生成された画素データを用いて表示素子から出力する画素データを算出する。本発明において特徴的なことは、出力する画素がデルタ配置であるが、デルタ配置以外の画素点のデータを使用せずに捨て去る従来例とは異なる。本発明は、従来例においては捨て去ってしまっていた画素点のデータを、出力するデルタ配置の画素点データの演算処理に使用する。

出力データ生成部１３は、正方配置の点の全てを含めて出力画素点データを演算処理して、デルタ配置の出力画素点を出力する。そして、デルタ配置の表示素子から出力できない画素点については出力しないので、見掛け上のいわば、間引き処理を施す。出力データ生成部１３は、生成したデルタ配列用の演算処理された画像データを、表示部４に送信し、表示素子は受信した画像データを表示する。出力データ生成部１３は、本発明の画像処理手段および間引き手段を構成する。

次に、出力データ生成部１３における出力データ処理について説明する。出力データ生成部１３が施す出力データ処理は、各種画像処理を行った後、画素が正方または直方配列された変換画像データをデルタ配列である出力画像データの画素配列に合わせるように出力画素データを求める処理であって、他の画像処理内に含めて処理することもできる。

図４は、正方または直方配列された２Ｍ×Ｎの画素数を有する解像度の表示画像の一例である。図４の例では、水平方向に０．５Ｐｈのピッチで２Ｍ個の画素を１ラインとし、垂直方向にＰｖのピッチでＮラインを有する正方または直方配列された２Ｍ×Ｎの画素数を有する。これは、水平方向にＰｈのピッチでＭ個の画素を１ラインとし、垂直方向に２Ｐｖのピッチで０．５Ｎラインを有する正方または直方配列されたＭ×Ｎの画素数を有する解像度の表示素子を用いて、縦横２方向に１／２ピッチずつ画素ずらしを行い、表示素子の解像度を縦横２倍の解像度にしたものを表示した画像である。つまり、この画像は、表示素子の２倍の解像度で表示した画像であるので、色ずれもなく、鮮明な画像である。本発明は、図４に示された２倍の解像度でのこの画像を目標に、半分の解像度の表示素子を使用しながら画像の色ずれなどを抑制し、この画質に近づけることを目標にするものである。

図５は、従来の方法によるＭ×Ｎの画素数を有する解像度の表示画像の一例である。図５の例では、従来の方法によって水平方向にＰｈのピッチでＭ個の画素を１ラインとし、垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれたデルタ配列されたＭ×Ｎの画素数を有する。ここで、図５に示した画像の解像度は、当然であるが、図４に示した画像の解像度の半分である。図５に示した画像は、表示素子を用いて、斜め画素ずらしを行った表示画像であって、本発明による解像度変換された全ての点を含めて演算処理せずに、単純にデルタ配列の画素点データを出力したものである。

図６および図７は、出力するデルタ配列を含む正方配列の画素位置を示した図である。図４に示した画像は、図６および図７で示した全ての画素を表示に用いている。図５に示した画像は、図６の斜線で示した画素を表示に用いている。図５では、白丸の部分の画素データが出力画像に用いられないため、図４の表示画像と比較すると、表示画像に画像データ抜けの発生していることが分かり、これによって画像品質が低下していることが分かる。

（フィルタおよびフィルタ処理）
図８は、解像度変換された画素データに対してフィルタ処理を施すフィルタの一例である。このフィルタは、画素データに対して施す演算処理の一例である。図８の各画素間の水平方向のピッチ幅を０．５Ｐｈ、垂直方向のピッチ幅をＰｖとする。この処理は、表示画素がデルタ配列であることを前提にした処理であり、図６の全ての画素データを等しい割合で、出力画像データに用いるため、図６では、表示される画素である斜線の丸で示された画素の画素位置を（Ｘ，Ｙ）として出力画素データＱを求める。

この際、変換画像データの中から、画素位置（Ｘ，Ｙ），その縦横に隣接する白丸で示された画素位置（Ｘ−０．５Ｐｈ，Ｙ），（Ｘ＋０．５Ｐｈ，Ｙ），（Ｘ，Ｙ−Ｐｖ），（Ｘ，Ｙ＋Ｐｖ）の画素データをＡ，Ｂ，Ｃ，Ｄ，Ｅ、定数α１の値を０．２〜０．８、α２〜α５の値を０．０５〜０．２としてフィルタ処理を行う。このフィルタ処理によって、従来の欠点であった画像抜けのない高解像度の画像を表示することができる。

より好ましくは、定数α１の値を０．５±０．１、α２〜α５の値を０．１２５±０．０２５とするのがよい。このように設定することによって、変換画像と出力画像の画素数の違いによる画素データ抜けなどの影響がより少なくて、より縦横２方向に画素ずらしを行った表示画像に近い画質の画像を表示することができる。本例では、α１＝０．５、α２＝α３＝α４＝α５＝０．１２５の場合を示す。この場合、出力画素データＱは、
Ｑ＝０．５・Ａ＋０．１２５（Ｂ＋Ｃ＋Ｄ＋Ｅ）
で表される。

図９は、出力データ生成部が使用するフィルタ処理用のフィルタの一例を示す図である。図９の各画素は、水平方向のピッチ幅を０．５Ｐｈ、垂直方向のピッチ幅をＰｖとする。この処理は、画素ずらしが行われない場合を前提とした処理であり、図７の全画素データを等しい割合で、出力画像に用いる。このため、図７で表示される画素である斜線の丸で示された画素の画素位置を（Ｘ，Ｙ）とし、変換画像データの中から、画素位置（Ｘ，Ｙ），その縦横に隣接した点（Ｘ−０．５Ｐｈ，Ｙ），（Ｘ＋０．５Ｐｈ，Ｙ），（Ｘ，Ｙ−Ｐｖ），（Ｘ，Ｙ＋Ｐｖ），および斜めに隣接した点（Ｘ−０．５Ｐｈ，Ｙ−Ｐｖ），（Ｘ＋０．５Ｐｈ，Ｙ−Ｐｖ），（Ｘ＋０．５Ｐｈ，Ｙ−Ｐｖ），（Ｘ−０．５Ｐｈ，Ｙ＋Ｐｖ）の画像データを、それぞれＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉとし、定数β１の値を０．１〜０．８、β２〜β５の値を０．０５〜０．２、β６〜β９の値を０〜０．２として、出力画素データＱを、フィルタ処理を施して求める。

このようなフィルタ処理を全画素に対して施して求めることによって、従来の欠点であった画像抜けの生じない高解像度の画像を表示することができる。

より好ましくは、定数β１の値を０．１〜０．６、β２〜β５の値を０．１〜０．１５、β６〜β９の値を０〜０．１とすることにより、変換画像と出力画像の画素数の違いによる画素データ抜けなどの影響がより少ない、より縦横２方向に画素ずらしを行った表示画像に近い画質の画像を表示することができる。

本例では、β１＝０．２５、β２＝β３＝β４＝β５＝０．１２５、β６＝β７＝β８＝β９＝０．０６２５の場合を示す。この場合、出力画素データＱは、
Ｑ＝０．２５・Ａ＋０．１２５（Ｂ＋Ｃ＋Ｄ＋Ｅ）＋０．０６２５（Ｆ＋Ｇ＋Ｈ＋Ｉ）
で表される。

この処理では、斜線の丸で示された画素の縦横に位置する白丸で示された画素の画素データは、周囲２画素を求める際に用いられ、斜線の丸で示された画素の斜め方向に隣接した位置する白丸で示された画素の画素データは、周囲４画素を求める際に用いられ、斜線の丸の画素の画素データは、自身を求める時のみ用いられることから、変換画像の全画素データは出力画像に反映することとなり、変換画像の全画素データが出力画像に用いられることとなる。

この処理では、白丸で示された画素の画素データは、周囲４画素を求める際に用いられ、斜線の丸の画素の画素データは、自身を求める時のみ用いられることから、変換画像の全画素データは出力画像の決定に用いられることとなる。そのため、出力する画素データだけでなく、自身に隣接する画素データをも反映した画像データとなるので、画像全体を色ずれを抑制して高画質に表現する画素データとなる。

図１０は、実施の形態１による画像処理手順を説明するフローチャートである。画像処理部１１は、画像処理の各種設定を読み込んで（ステップＳ１０１）、画像データを記憶部４から転送し（ステップＳ１０２）、γ補正処理を含む各種の画像処理を施す（ステップＳ１０３）。続いて、解像度変換部１２は、各種の画像処理を施された画像データに対して、解像度変換処理を施し、正方配列の画像データを生成し、生成した正方配列の画像データに対して、フィルタ処理などの演算処理を施す（ステップＳ１０４）。続いて解像度変換部１２は、演算処理を施された画像データに対して、デルタ配列化を行って表示部５に出力し（ステップＳ１０５）、表示部５は画像を表示する（ステップＳ１０６）。

図１１は、このようなフィルタ処理を施して、図５と同様に斜め方向に画素ずらしを行った際の表示画像である。この処理を施すことによって、表示画像に変換画像の全画素データが用いられ、処理を用いない従来の方式で表示された図５の画像に比べて、はるかに高品質かつ高解像度の画像表示を行うことができる。また、図４の縦横２方向への画素ずらしによる表示画像（２倍の解像度がある）と比べても、若干のボケはあるが、画質、解像度的に近い表示画像を得ることができる。以上は、解像度変換された正方配置の画素データから、この正方配置の画素位置に含まれるデルタ配置に対応する画素データを生成する説明である。

このように、解像度変換画像データに対してフィルタ処理を施すことにより、低コストで、高品質・高解像度化を行うことができる画像処理装置を実現できる。従来の例では、フィルタ処理を施さずにそのまま、デルタ配置に対応する位置の画素データを抽出して出力していたのに比較して、より高品質となっている。また、このような画像処理装置を組み込んだ場合、同様に高品質・高解像度化を行って表示する画像表示装置を実現することができる。

（２．実施の形態２）
図１２は、実施の形態２による画像処理装置の機能的ブロック図である。ここで、実施の形態２による画像処理装置１１０が実施の形態１と異なる点は、備える画像処理装置１０’がサブフレーム生成部１４を、さらに備え、出力データ生成部１３’による出力データ生成方法が異なり、サブフレーム生成部１４によって生成された２枚のサブフレームを視覚的には１フレームとして表示する表示部５’を備えた点が異なる。

解像度変換部１２は、画像処理部１１による画像処理の後に、解像度変換処理を施し、画像表示装置１００の表示部５の解像度に合わせた正方または直方配列の画像データを生成する。

解像度変換部１２は、表示素子が画素数Ｍ×Ｎのデルタ配列や、画素ずらしを行う場合の表示素子が画素数Ｍ×０．５Ｎの場合、画素数２Ｍ×Ｎの画像データを生成する。ここで、画素数２Ｍ×Ｎの画像データは正方または直方配列の画像データである。また、ここで、画素ずらしを行う場合の表示素子の画素数はＭ×０．５Ｎであるとしておく。

次に、出力データ生成部１３’は、デルタ配列用の画像データを生成する。即ち出力データ生成部１３は、解像度変換部１２によって生成された画素データを用いて表示素子から出力する画素データを算出し、表示素子から出力できない画素点については出力しないので、見掛け上全ての画素点に基づいて処理された画素点のうちから出力画素点、即ちデルタ配列用の画素点を残してそれ以外を間引いた見掛け上の間引き処理を施す。出力データ生成部１３は、生成したデルタ配列用の画像データを表示部４に送信し、画像データが表示素子によって表示される。出力データ生成部１３およびサブフレーム生成部１４は、本発明の画像処理手段および間引き手段を構成する。

図１３は、生成される出力画像データに従って光を制御可能な複数の画素からなる表示素子の画素および画素位置の変位動作を説明する図である。図１３に示された複数の画素群４０１に対して、画素の縦横に１／２の距離だけ表示位置を変位させた画素の位置による画素位置が画素群４０２である。即ち画素群４０２は、画素群４０１の斜め方向隣接画素による画素位置であって、画素群４０１を画素ずらししたものである。１フィールドの期間内に、表示する画素群４０１および４０２の順に変位し、各々の位置に１フィールドの画像を複数のサブフィールドで表示して、画像を形成する。

画素をずらす画素ずらし手段としては、入射光に対して出射光を平行にシフトさせるか、或る角度を持って回転させるか、或いは、その両者を組合せて光路を切換えることが可能な光学素子（回転板、光偏向素子など）が用いられる。このように画素ずらしを行うことで、図１４と同等の画素配列を構成することができる。つまり、画素群４０１がＭ画素×Ｎ画素×０．５の画素数であった場合、１フレーム中にはこの２枚によって視覚的にはＭ×Ｎの画素が表示されたように見える。

次に、出力データ生成部１３’における出力データ処理について説明する。出力データ生成部１３’が施す出力データ処理は、各種画像処理を行った後、画素が正方または直方配列された変換画像データをデルタ配列である出力画像データの画素配列に合わせるように出力画素データを求める処理であって、他の画像処理内に含めて処理することもできる。

（単板式表示素子）
図１４は、斜め方向への画素ずらしを行う光偏向素子を有し、単板式の表示素子を備えた画像表示装置の構成図である。光源２０１は、超高圧水銀灯と放物面リフレクタとを組み合わせたものである。

インテグレータ２０６の前段に、集光レンズ２０３とインテグレータ２０６に垂直な光に戻す為の２つの凸レンズ２０３、２０５を置き、この間の光が集光する地点にカラーホイール２０４を配設し、各色成分の画像データに合わせて光の波長帯を変えている。インテグレータ２０６は、光源光を均一化する。表示素子２０８としては、反射型液晶パネルを使用している。

ＰＢＳ（偏光ビームスプリッタ）２０９は照明光と画像光を分離するためのである。画素ずらし素子２１０は光偏向素子等よりなり、制御回路により制御される。画素ずらし素子２１０では、画像光が画素の配列の斜め方向に設定されたシフト量だけシフトされる。投射レンズ２１１は、画素ずらし素子２１０を通過した光を、スクリーンに投射して画像を表示する。

この画像表示装置は、画像フレームを時間的に分割したサブフレームで構成し、さらに分割したサブフレームを各色成分毎に構成し、色成分毎に合わせてカラーホイールを制御する。また、この画像表示装置では、サブフレームごとに光偏向素子を作用させ、光偏向素子の作用状態に応じた表示位置に対応する画像情報を画像表示素子に表示させることで、見かけ上高精細な画像を表示することができるとともに、画像表示装置のコストを下げることができる。

（三板式表示素子）
図１５は、表示素子が３つの画像表示装置の構成を示す図である。通常、表示素子を３つ備えたものを所謂三板式と称している。ここでは、表示素子に反射型液晶パネル３枚（ＲＧＢ各色成分用）を使用している。

光源のランプとして超高圧水銀灯を放物面リフレクタに組み合わせたランプを使用するのは単板式と同じである。光を均一化する機能を持つインテグレータと、偏光を一方向に揃える機能を持つ偏向板を使用して、略均一に照明する。

インテグレータ、偏向板を通過した光は、各ダイクロイックミラーで、各波長帯（それぞれ赤、緑、青に相当）で反射、または透過される。例としては、青反射ダイクロイックミラーは、青色成分を反射して、緑色・赤色成分を透過するように行われる。各色成分に分解された光は、ＰＢＳ（偏光ビームスプリッタ）で反射されて、画素ずらし素子へ入射する。

画素ずらし素子によって画像光が画素の配列の斜め方向に設定されたシフト量だけシフトされた後、投射レンズを介してスクリーンへ投射することで画像表示を行う。画像フレームを時間的に分割したサブフレームで構成し、各サブフレームごとに光偏向素子を作用させ、光偏向素子の作用状態に応じた表示位置に対応する画像情報を、画像表示素子に表示させる。

図１６は、斜め画素ずらし処理を説明するフローチャートである。出力データ生成部１３’が、デルタ配列用の画像データを生成するステップまでは実施の形態１によるステップＳ１０５と同じであるので、それより後について説明する。サブフレーム生成部１４は、サブフレームを生成して（ステップＳ２０６）、カウンタ初期化しＣ＝０と設定する（ステップＳ２０７）。表示部５’はサブフレームＣ（＝０）の画像を表示し（ステップＳ２０８）、表示部５‘は斜めずらしを行い（ステップＳ２０９）、ＣをＣ＋１に（ここでは１となる）置き換える（ステップＳ２１０）。Ｃが１であるか否かを判定し（ステップＳ２１１）、１であると判定した場合（ステップＳ２１１のＹｅｓ）、ステップ２０８に戻る。そして、同じサイクルを繰り返して次にはＣが１ではないので（ステップＳ２１１のＮｏ）、最初のステップＳ１０１（図１０）に戻って、上述のサイクルを繰り返す。このようにして、表示部５’は画像をサブフレームを生成しながら表示する。

ここでは、表示する時間によって２つのサブフレームが生成される。これらのサブフレームの画像データは表示部５’に送られ、表示部５’にて画素ずらし素子の動作と、表示素子でのサブフレームの表示を同期させ、画像を表示する。尚、本例は画像表示装置及び画像処理装置のあくまで一例であり、これに限定されるものではない。

この構成によって、画像表示装置は、見かけ上高精細な画像を表示することができる。また、この構成によって、画像表示装置のコストを下げることができる。さらに、この構成によって、表示素子を複数とすることにより表示素子が各色成分の表示が可能になり、全色成分毎に表示時間を分割して表示する必要がなくなるので、各色成分毎の表示時間が増加し、光利用効率が向上する。

図９で示した出力データ生成部が使用するフィルタ処理用のフィルタは、実施の形態２においても使用できる。その説明は、実施の形態１において行った通りなので、ここでは省略する。

（３．実施の形態３）
ここで、人間の視感度は緑色成分が最も高いことから、解像度に最も高い影響を及ぼす緑色成分の画像データを二つの画素位置にて表示する構成とする。この構成により、全色成分を画素ずらしすることなく、簡略な構成で画像の高解像度化の効果を得ることができる。本実施例では、画素ずらし素子を用いて緑色成分のみを斜め方向に画素ずらしを行う一例を示す。

画素ずらしを行う緑色成分の表示は図６の表示素子のような画素配置（デルタ配置）となり、赤および青の色成分の表示は図７の表示素子のような画素配置（正方配置）とする。緑色成分に対しては図８のフィルタを用いた処理を施し、他の色成分に対しては図９のフィルタを用いた処理を施して表示画像を生成する。

図１７は、緑成分と、それ以外の青および赤の成分とで異なるフィルタ処理を施して生成した表示画像の図である。図１８は、緑と、赤および青成分とに異なるフィルタ処理を施さない従来の方法で生成した画像の図である。図１９は、全色成分に対して図８のフィルタ処理を施して生成した画像の図である。図２０は、全色成分に対して図９のフィルタ処理を施して生成した画像の図である。

これら表示画像は、全色成分のホワイトバランスを調整し、生成されている。しかしながら、斜め画素ずらしを行う場合、画素ずらしを行う色成分の光源からの光を分光し、別の表示素子を用いる場合には、表示画像のホワイトバランスに問題はほとんどない。

しかしながら、図１４に示したような１つの表示素子のみで行う場合には、（１）表示素子の表示時間を変える方法、（２）表示素子の表示時間は一定にし、カラーホイールの画素ずらしを行う色成分の演算によって、光の透過率を減らす方法、および（３）画素ずらしを行う色成分の画像データを減らす方法等がある。

図１８に示した画像では、画像の色はハッキリとしているが、画像に抜けが発生し、ジャギーも大きく、さらに緑や桃色の色ずれが多く発生している。図１９に示した画像では、緑色成分は全ての画素データが表示画像に用いられるが、他の色成分では一部の変換画像データが用いられず、画素データの抜けが発生する。このことから、図１９は図１８に比べて程度は良いが、色ずれが発生していることが分かる。

また、図２０に示した画像では、緑色成分の画素データの用いられる割合にバラツキが発生し、隣接する表示画素の画素データの影響も受ける。これにより、色ずれは目立たない程度まで減少するが、若干、画像にボケが見られる。

しかしながら、図１７に示した画像では、全画素データが同じ割合で用いられ、隣接する表示画素の画素データの影響も受けないことから図１２の表示画像に比べて画像のボケが良くなり、画素構造が認識できる距離からでも色ずれが気にならない程度に高品質・高解像度の画像表示が可能になっている。

このように、斜め画素ずらしの有無により、その出力する画素の配列に適した異なるフィルタ処理手段を用いることによって、緑色成分のみ解像度を高くすることによる色ずれを減少させ、表示された画像において画素構造が認識できる距離からでも、色ずれが気にならない程度に高品質・高解像度の画像表示ができる画像表示装置および画像処理装置を提供できる。

また、図１４のような一つの表示素子で全色成分を表示する単板式の装置の場合、全色成分で画素ずらしを行うと、１フィールドを表示する為には、各色、各表示位置で３色が２回のため６回の画像を表示する必要があるのに対して、本実施例では、３色が１回と、緑が１回（あるいは、表現を変えれば赤青が１回ずつ、緑が２回）の合計４回の表示で済むことから、各色の表示を行う間の反応時間の合計が減少し、光利用効率も向上する。

また、本実施例のような画素ずらしではなく、元々の表示画素数を緑色成分と他の色成分で異なる数にした場合には、全色成分の表示素子の画素数を増やす必要がないことから、表示素子の配線数が少ない簡略な構成とすることができ、低コストで画像の高解像度化の効果を得ることができる。また、表示素子自身の高解像度化も容易に可能となる。

図２１は、表示される色成分の中から緑成分を２つの位置で斜め画素ずらしを行い、赤成分と青成分を異なる１つの位置で表示した画像である。緑成分以外を同一の位置に表示した図１７では、緑と桃色の色ずれが見られるのに対して、図２１では、青と橙の色ずれが見られる。人間の視感度は緑成分が最も高いことから、図１７の色ずれの方が人間に認識されやすく、図１８の方が色ずれによる画質の劣化が少ないといえる。

また図１４に示された画像表示装置が備えた１つの表示素子で表示する場合は、赤成分と青成分を異なる１つの位置にすることにより、画素ずらし手段により、同時間ずつ画素の表示位置を変位させることができる。また、画素ずらしを、回転板で行う場合には同速度で動作することが可能となり、画素ずらし手段に複雑な制御が不要となり、制御を単純で簡易にすることができる。

また画素ずらし手段が液晶を用いた光偏向素子の場合には、交流化によって、液晶を駆動させるので、印加される電圧のＤＣバランスがとられることとなり、液晶の傾きの偏り発生による光漏れや、液晶が電気分解する等の寿命が短くなる原因が発生しにくくなり、素子の寿命を延ばすことができる。

図２２は、画素ずらしをしない色成分の表示時間を、画素ずらしを行う色成分の２倍とする動作の説明図である。ここで、全色成分の表示時間は略同一に設定されている。図２２では、表示素子に表示する各色成分と、画素ずらしのタイミングを示している。ここでは、赤と青の色成分が別の位置（１）および（２）に表示され、緑成分が２つの位置にまたがって表示される。この場合、赤と青の色成分の表示を緑成分の１回の表示時間と略同一にすると、赤と青の色成分は、同じ表示位置で２回表示を行うことになり、この２回の表示を１組として制御する。この構成によって、例えば表示素子の階調表現の最大地が２５６階調である場合、各々が２５６階調表現できるため、合わせて制御することによって２倍の５１１階調表現できることになり、これにより画素ずらしを行わない色成分の階調数を高めて、出力画像を高階調化することができる。

（４．変形例）
ここで、表示素子の表示する全色成分の、画素ずらしによる表示位置毎の表示時間を略同一とすることが望ましい。画素構造を見分けられる視認距離においても、色ずれのない、高画質で高解像度の画像表示が出来るからである。

表示素子の表示する少なくとも緑色の表示位置を画素ずらし素子により、変位させて表示することが望ましい。低コストで高解像度の画像表示が出来る画像表示装置となるからである。また、光利用効率を向上させることが出来るからである。

表示素子は、緑色の表示時間を他の色に比較して短くすることが望ましい。ホワイトバランスの良い画像を表示できるからである。

緑色の光量を他の色に比較して少なくする調光部機能を、さらに備えることが望ましい。示素子の表示タイミングを一定にしたままで、ホワイトバランスのとれた画像表示が可能になるからである。

表示素子は、表示する緑以外の色を、緑色の画素に隣接させて交互に異なる表示位置に表示させることが望ましい。人間の視感度に優れた緑の色ずれを、他の劣る色に変えることで、色ずれによる画質の劣化をおさえることが出来るからである。

表示素子は、出力画素データの表示位置に出力する時間を、出力画素データのうち変位しない色成分の配置の調整および色成分個々の光量の調節により、略同一とすることが望ましい。出力画素データの表示位置に位置する時間を、出力画素データを変位しない色成分の配置を調整したり、色成分個々の光量を調節することによって略同一とし、画素ずらし動作を交流化することで、画素ずらし手段の動作の均一化や、規則的な動作を可能にすることで、画素ずらし手段の制御の単純化、簡素化、高寿命化を実現することができるからである。

表示素子は、全色成分の表示時間を略同一とし、画素ずらしを行わない色成分の表示時間を画素ずらしを行う場合の２倍とすることが望ましい。全色成分の表示時間を略同一とし、画素ずらしを行わない色成分の表示を画素ずらしを行う場合の２倍行い、階調を合わせて制御することで、画素ずらしを行わない色成分の高階調化を実現できるからである。

（５．ハードウェア構成など）
図２３は、実施の形態１による画像処理装置のハードウェア構成を示すブロック図である。実施の形態１にかかる画像処理装置のハードウェア構成について、図２２を参照して説明すると、ＣＰＵ１１０１は、画像処理装置の全体制御を行うものである。ＲＯＭおよびＨＤＤ１１０２は、プログラムやデータの格納用メモリとして用いる読み出し専用のメモリであり、ＲＡＭ１１０３は、プログラムやデータの展開用メモリ、画像処理時の画像描画メモリなどとして用いる書き込みおよび読み出し可能なメモリである。

実施形態１の画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、実施形態１の画像処理装置で実行される画像処理プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良く、また、インターネット等のネットワーク経由で提供または配布するように構成しても良い。

実施の形態１の画像処理装置で実行される画像処理プログラムは、上述した各部（画像処理部、解像度変換部、および出力データ生成部等）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像処理部、解像度変換部、および出力データ生成部等が主記憶装置上に生成されるようになっている。

本発明にかかる画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体は、表示画像の画素データを処理する技術に利用でき、特に、プロジェクタ、複写機、印刷機などで色ずれを抑え高品質な画像が必要機器に利用できる。

実施の形態１による画像処理装置の機能的ブロック図である。 デルタ配列をした画素を説明する図である。 同一の画素位置に全色成分を構成せず、ＲＧＢ毎の表示素子を有する場合のデルタ配列の一例を説明する図である。 正方または直方配列された２Ｍ×Ｎの画素数を有する解像度の表示画像の一例を示す図である。 従来の方法によるＭ×Ｎの画素数を有する解像度の表示画像の一例を示す図である。 出力するデルタ配列を含む正方配列の画素位置を示した図である。 出力するデルタ配列を含む正方配列の画素位置を示した図である。 解像度変換された画素データに対してフィルタ処理を施すフィルタの一例を示す図である。 出力データ生成部が使用するフィルタ処理用のフィルタの一例を示す図である。 実施の形態１による画像処理手順を説明するフローチャートである。 フィルタ処理を施して、図５と同様に斜め方向に画素ずらしを行った表示画像を示す図である。 実施の形態２による画像処理装置の機能的ブロック図である。 生成される出力画像データに従って光を制御可能な複数の画素からなる表示素子の画素および画素位置の変位動作を説明する図である。 斜め方向への画素ずらしを行う光偏向素子を有し、単板式の表示素子を備えた画像表示装置の構成図である。 表示素子が３つの画像表示装置の構成を示す図である。 斜め画素ずらし処理を説明するフローチャートである。 緑成分と、それ以外の青および赤の成分とで異なるフィルタ処理を施して生成した表示画像の図である。 緑と、赤および青成分とに異なるフィルタ処理を施さない従来の方法で生成した画像の図である。 全色成分に対して図８のフィルタ処理を施して生成した画像の図である。 全色成分に対して図９のフィルタ処理を施して生成した画像の図である。 表示される色成分の中から緑成分を２つの位置で斜め画素ずらしを行い、赤成分と青成分を異なる１つの位置で表示した画像を示す図である。 画素ずらしをしない色成分の表示時間を、画素ずらしを行う色成分の２倍とする動作の説明図である。 実施の形態１による画像処理装置のハードウェア構成を示すブロック図である。

符号の説明

１０、１０’ 画像処理装置
１１ 画像処理部
１２ 解像度変換部
１３、１３’ 出力データ生成部
１４ サブフレーム生成部
１００、１１０ 画像表示装置

Claims (22)

1. 入力する画像データを解像度変換して表示手段に出力する画像処理装置であって、
   前記入力する画像データから前記表示手段のα倍（α＞１）の解像度の画素データを生成する解像度変換手段と、
   前記解像度変換手段によって生成された解像度α倍の画素データに対して、画像処理を施す画像処理手段と、
   前記画像処理手段によって画像処理を施された解像度α倍の画素データに対して、前記表示手段の解像度以下にまで間引きして前記表示手段に出力する間引き手段と、を備え、
   前記解像度変換手段は、前記入力する画像データに対して、水平方向に２Ｍ個の画素を１ラインとし、垂直方向にＮラインを有する正方または直方配列された画素数２Ｍ×Ｎの画素データを生成するものであり、
   前記画像処理手段は、前記解像度変換手段が生成した画素数２Ｍ×Ｎの画素データに対して画像処理を施すものであり、前記解像度変換された画像の画素と前記表示手段に出力する画像の画素とを座標空間上に対応させて、前記座標空間上で座標（Ｘ，Ｙ）に位置する出力画素の画素データを、前記座標空間上の座標（Ｘ，Ｙ），（Ｘ−０．５Ｐｈ，Ｙ），（Ｘ＋０．５Ｐｈ，Ｙ），（Ｘ，Ｙ−Ｐｖ），（Ｘ，Ｙ＋Ｐｖ）に位置する前記解像度変換された画像の各画素データをＡ，Ｂ，Ｃ，Ｄ，Ｅとし、またαｉ（ｉ＝１，２，３，４， ｏｒ ５）をゼロではない定数として、α１・Ａ＋α２・Ｂ＋α３・Ｃ＋α４・Ｄ＋α５・Ｅによって生成する第１のフィルタ処理手段を有し、
   前記間引き手段は、前記画像処理手段によって処理を施された前記画素数２Ｍ×Ｎの画素データから、前記表示手段に対して、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれたデルタ配列で画素数Ｍ×Ｎの画素データに間引いて出力するものであること、
   を特徴とする画像処理装置。
2. 前記解像度変換手段は、入力する画素データに対して、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれた画素数Ｍ×Ｎの第１のサブ出力画像と、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖ×２のピッチで０．５Ｎラインを有する画素数Ｍ×０．５Ｎの第２のサブ出力画像とを合成して、水平方向に２Ｍ個の画素を１ラインとし、垂直方向にＮラインを有する正方または直方配列された画素数２Ｍ×Ｎの画素データを生成するものであることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記解像度変換された画像の画素と前記表示手段に出力する画像の画素を座標空間上に対応させて、前記座標空間上で座標（Ｘ，Ｙ）に位置する出力画素の画素データを、前記座標空間上の座標（Ｘ，Ｙ），（Ｘ−０．５Ｐｈ，Ｙ），（Ｘ＋０．５Ｐｈ，Ｙ），（Ｘ，Ｙ−Ｐｖ），（Ｘ，Ｙ＋Ｐｖ），（Ｘ−０．５Ｐｈ，Ｙ−Ｐｖ），（Ｘ＋０．５Ｐｈ，Ｙ−Ｐｖ），（Ｘ＋０．５Ｐｈ，Ｙ−Ｐｖ），（Ｘ＋０．５Ｐｈ，Ｙ＋Ｐｖ）に位置する前記解像度変換画像の各画素データをＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ、βｉ（ｉ＝１，２，…，８，ｏｒ９）をゼロではない定数として、β１・Ａ＋β２・Ｂ＋β３・Ｃ＋β４・Ｄ＋β５・Ｅ＋β６・Ｆ＋β７・Ｇ＋β８・Ｈ＋β９・Ｉによって生成する第２のフィルタ処理手段を有することを特徴とする請求項１に記載の画像処理装置。
4. 前記第１のフィルタ処理手段は、前記定数α１の値が略０．５、α２〜α５の値が略０．１２５であることを特徴とする請求項１に記載の画像処理装置。
5. 前記第２のフィルタ処理手段は、前記定数β１の値が略０．２５、β２〜β５の値が略０．１２５、β６〜β９の値が略０．０６２５であることを特徴とする請求項３に記載の画像処理装置。
6. 前記画像処理手段は、前記解像度変換手段が生成した２Ｍ×Ｎの画素データのうち、前記第１のサブ出力画像には前記第１のフィルタ処理手段により第１のフィルタ処理を施し、かつ、前記第２のサブ出力画像には前記第２のフィルタ処理手段による第２のフィルタ処理を施すものであることを特徴とする請求項２に記載の画像処理装置。
7. 請求項１に記載の画像処理装置を備え、前記画像処理装置において生成される出力画像データに従って光を制御可能であり、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれた画素数Ｍ×Ｎの画素から構成される画像を表示する表示素子を備えたことを特徴とする画像表示装置。
8. 請求項２に記載の画像処理装置を備え、前記画像処理装置において生成される出力画像データに従って光を制御可能であり、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれた画素数Ｍ×Ｎの第１のサブ出力画像と、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖ×２のピッチで０．５Ｎラインを有する画素数Ｍ×０．５Ｎの第２のサブ出力画像とを合成して１つの出力画像を表示する表示素子を備えたことを特徴とする画像表示装置。
9. 請求項１〜６のいずれか１つに記載の画像処理装置を備え、前記画像処理装置において生成される出力画像データに従って光を制御可能な複数の画素から画像を表示する表示素子と、
   前記表示素子の画素の斜め方向の隣接画素との１／２の距離だけ画素の表示位置を変位させる画素ずらし手段とを備え、
   前記表示素子が画像を表示する複数の画素からの光線に対して、前記画素ずらし手段により光軸をシフトすることにより画素ずらしを行い、前記表示素子の解像度よりも高い解像度の画像表示を行うことを特徴とする画像表示装置。
10. 前記表示素子は１つであり、少なくとも赤、青、緑色成分の画像データを表示するものであることを特徴とする請求項９に記載の画像表示装置。
11. 前記表示素子は複数であり、少なくとも赤、青、緑色成分の画像データを表示するものであることを特徴とする請求項７に記載の画像表示装置。
12. 前記表示素子の表示する全色成分の、画素ずらしによる表示位置毎の表示時間を略同一としたことを特徴とする請求項９〜１１のいずれか１つに記載の画像表示装置。
13. 前記表示素子の表示する少なくとも緑色の表示位置を画素ずらし素子により、変位させて表示するものであることを特徴とする請求項９〜１２のいずれか１つに記載の画像表示装置。
14. 前記表示素子は、前記第１のサブ出力画像を少なくとも緑色の画素により構成することを特徴とする請求項８〜１３のいずれか１つに記載の画像表示装置。
15. 前記表示素子は、緑色の表示時間を他の色に比較して短くしたことを特徴とする請求項１３または１４に記載の画像表示装置。
16. 緑色の光量を他の色に比較して少なくする調光手段を、さらに備えたことを特徴とする請求項１３または１４に記載の画像表示装置。
17. 前記表示素子は、前記表示素子の表示する緑以外の色を、緑色の画素に隣接させて交互に異なる表示位置に表示させることを特徴とする請求項８〜１０、および１３〜１６のいずれか１つに記載の画像表示装置。
18. 前記表示素子は、前記出力画素データの表示位置に出力する時間を、前記出力画素データのうち変位しない色成分の配置の調整および色成分個々の光量の調節により、略同一としたことを特徴とする請求項９，１０，１３，および１５〜１７のいずれか１つに記載の画像表示装置。
19. 前記表示素子は、全色成分の表示時間を略同一とし、画素ずらしを行わない色成分の表示時間を画素ずらしを行う場合の２倍とすることを特徴とする請求項９，１０，１３，および１５〜１８のいずれか１つに記載の画像表示装置。
20. 入力する画像データを解像度変換して表示手段に出力する画像処理装置における画像処理方法であって、
    解像度変換手段によって、前記入力する画像データから前記表示手段のα倍（α＞１）の解像度の画素データを生成する解像度変換工程と、
    画像処理手段によって、前記解像度変換手段によって生成された解像度α倍の画素データに対して、画像処理を施す画像処理工程と、
    間引き手段によって、前記画像処理手段によって画像処理を施された解像度α倍の画素データに対して、前記表示手段の解像度以下にまで間引きして前記表示手段に出力する間引き工程と、を含み、
    前記解像度変換工程は、前記入力する画像データに対して、水平方向に２Ｍ個の画素を１ラインとし、垂直方向にＮラインを有する正方または直方配列された画素数２Ｍ×Ｎの画素データを生成し、
    前記画像処理工程は、前記解像度変換手段が生成した画素数２Ｍ×Ｎの画素データに対して画像処理を施すものであり、前記解像度変換された画像の画素と前記表示手段に出力する画像の画素とを座標空間上に対応させて、前記座標空間上で座標（Ｘ，Ｙ）に位置する出力画素の画素データを、前記座標空間上の座標（Ｘ，Ｙ），（Ｘ−０．５Ｐｈ，Ｙ），（Ｘ＋０．５Ｐｈ，Ｙ），（Ｘ，Ｙ−Ｐｖ），（Ｘ，Ｙ＋Ｐｖ）に位置する前記解像度変換された画像の各画素データをＡ，Ｂ，Ｃ，Ｄ，Ｅとし、またαｉ（ｉ＝１，２，３，４， ｏｒ ５）をゼロではない定数として、α１・Ａ＋α２・Ｂ＋α３・Ｃ＋α４・Ｄ＋α５・Ｅによって生成する第１のフィルタ処理工程を有し、
    前記間引き工程は、前記画像処理手段によって処理を施された前記画素数２Ｍ×Ｎの画素データから、前記表示手段に対して、ピッチＰｈで配列されたＭ個の画素を１ラインとして垂直方向にＰｖのピッチでＮラインを有し、隣接する２ライン間で互いの画素位置が水平方向に略０．５Ｐｈずれたデルタ配列で画素数Ｍ×Ｎの画素データに間引いて出力するものであること、
    を特徴とする画像処理方法。
21. 請求項２０に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
22. 請求項２１に記載のプログラムをコンピュータ読み取り可能に格納したことを特徴とする記録媒体。

Images