以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
以下では、本発明に係る画像表示装置としてプロジェクタを例に説明するが、本発明に係る画像表示装置がプロジェクタに限定されるものではない。即ち、サブ画素に対応した表示サブ画素の表示位置のずれに起因した画質の低下は、プロジェクタに限らず種々の画像表示装置でも起こり得る現象であると考えられるため、本発明に係る画像表示装置はプロジェクタに限定されるものではない。
〔第1の実施形態〕
図1に、本発明に係る第1の実施形態における画像表示装置としてのプロジェクタの構成例のブロック図を示す。
第1の実施形態における画像表示装置としてのプロジェクタ10は、1画素を構成する複数のサブ画素に対応した画像信号に基づいて変調された光をスクリーンSCRに投射することで画像表示を行う。ここで、スクリーンSCRに投射された表示画像を構成する表示画素は、1画素を構成するサブ画素に対応した表示サブ画素により構成される。
プロジェクタ10は、画像処理装置としての画像処理部20と、画像表示部としての投射部100とを含む。
画像処理部20は、各サブ画素の画素値に対応した入力画像信号に対して、スクリーンSCRに投射された表示画像の各表示画素を構成する表示サブ画素の表示位置のずれ量に応じた補正処理を行う。この入力画像信号は、図示しない画像信号生成装置によって生成され、画像処理部20に供給される。
この画像処理部20は、ずれ量記憶部22、ずれ量算出部24、画像信号補正部26、周波数解析部28、処理切替制御部30を含むことができる。ずれ量記憶部22は、表示画像内の所与の基準位置を基準として、表示画素を構成するサブ画素に対応した表示サブ画素の表示位置のずれ量(広義には補正パラメータ)を記憶する。ずれ量算出部24は、表示画像の1画面の代表点としてずれ量記憶部22に記憶された複数の表示サブ画素のずれ量を用いた補間処理により、当該サブ画素位置におけるずれ量を算出することができる。これにより、ずれ量算出部24は、1画面の全画素について、表示サブ画素のずれ量を算出することができる。
画像信号補正部26は、ずれ量記憶部22に記憶されたずれ量又はずれ量算出部24によって算出されたずれ量に基づいて、入力画像の各画素を構成するサブ画素に対応した画像信号の補正処理を行う。そして、この画像信号補正部26は、入力画像の空間周波数に応じて異なる補正処理を行うことができる。
このため、周波数解析部28は、入力画像の空間周波数を解析し、その解析結果を出力することができるようになっている。周波数解析部28の解析結果は処理切替制御部30に送られ、処理切替制御部30は、周波数解析部28の解析結果に応じて、ずれ量記憶部22に記憶されたずれ量を書き換えたり、ずれ量記憶部22からのずれ量を変更したりすることができるようになっている。これにより、画像信号補正部26は、周波数解析部28の解析結果に応じて変更されたずれ量に基づいて画像信号を補正することができ、周波数解析部28の解析結果に応じて、画像信号の補正処理を異ならせることができるようになっている。
投射部100には、画像処理部20によって補正処理が行われた画像信号が供給される。この投射部100は、例えば複数の液晶パネルを含み、1画素を構成するサブ画素の画像信号に基づいてスクリーンSCRに画像を投射する。より具体的には、投射部100は、画像処理部20によって補正された画像信号に基づいて、図示しない光源からの光を変調し、変調後の光を用いてスクリーンSCRに投射する。
図2に、図1の投射部100の構成例を示す。図2では、第1の実施形態におけるプロジェクタ10が、いわゆる3板式の液晶プロジェクタであるものとして説明するが、本発明に係る画像表示装置がいわゆる3板式の液晶プロジェクタにより構成されるものに限定されるものではない。
投射部100は、光源110、インテグレータレンズ112、114、偏光変換素子116、重畳レンズ118、R用ダイクロイックミラー120R、G用ダイクロイックミラー120G、反射ミラー122、R用フィールドレンズ124R、G用フィールドレンズ124G、R用液晶パネル130R(第1の光変調素子)、G用液晶パネル130G(第2の光変調素子)、B用液晶パネル130B(第3の光変調素子)、リレー光学系140、クロスダイクロイックプリズム160、投射レンズ170を含む。R用液晶パネル130R、G用液晶パネル130G及びB用液晶パネル130Bとして用いられる液晶パネルは、透過型の液晶表示装置である。リレー光学系140は、リレーレンズ142、144、146、反射ミラー148、150を含む。
光源110は、例えば超高圧水銀ランプにより構成され、少なくともR成分の光、G成分の光及びB成分の光を含む光を射出する。インテグレータレンズ112は、光源110からの光を複数の部分光に分割するための複数の小レンズを有する。インテグレータレンズ114は、インテグレータレンズ112の複数の小レンズに対応する複数の小レンズを有する。重畳レンズ118は、インテグレータレンズ112の複数の小レンズから射出される部分光を液晶パネル上で重畳する。
また偏光変換素子116は、偏光ビームスプリッタアレイとλ/2板とを有し、光源110からの光を略一種類の偏光光に変換する。偏光ビームスプリッタアレイは、インテグレータレンズ112により分割された部分光をp偏光とs偏光に分離する偏光分離膜と、偏光分離膜からの光の向きを変える反射膜とを、交互に配列した構造を有する。偏光分離膜で分離された2種類の偏光光は、λ/2板によって偏光方向が揃えられる。この偏光変換素子116によって略一種類の偏光光に変換された光が、重畳レンズ118に照射される。
重畳レンズ118からの光は、R用ダイクロイックミラー120Rに入射される。R用ダイクロイックミラー120Rは、R成分の光を反射して、G成分及びB成分の光を透過させる機能を有する。R用ダイクロイックミラー120Rを透過した光は、G用ダイクロイックミラー120Gに照射され、R用ダイクロイックミラー120Rにより反射した光は反射ミラー122により反射されてR用フィールドレンズ124Rに導かれる。
G用ダイクロイックミラー120Gは、G成分の光を反射して、B成分の光を透過させる機能を有する。G用ダイクロイックミラー120Gを透過した光は、リレー光学系140に入射され、G用ダイクロイックミラー120Gにより反射した光はG用フィールドレンズ124Gに導かれる。
リレー光学系140では、G用ダイクロイックミラー120Gを透過したB成分の光の光路長と他のR成分及びG成分の光の光路長との違いをできるだけ小さくするために、リレーレンズ142、144、146を用いて光路長の違いを補正する。リレーレンズ142を透過した光は、反射ミラー148によりリレーレンズ144に導かれる。リレーレンズ144を透過した光は、反射ミラー150によりリレーレンズ146に導かれる。リレーレンズ146を透過した光は、B用液晶パネル130Bに照射される。
R用フィールドレンズ124Rに照射された光は、平行光に変換されてR用液晶パネル130Rに入射される。R用液晶パネル130Rは、光変調素子(光変調部)として機能し、R用画像信号に基づいて透過率(通過率、変調率)が変化するようになっている。従って、R用液晶パネル130Rに入射された光(第1の色成分の光)は、画像処理部20によって補正されたR用の画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム160に入射される。
G用フィールドレンズ124Gに照射された光は、平行光に変換されてG用液晶パネル130Gに入射される。G用液晶パネル130Gは、光変調素子(光変調部)として機能し、G用画像信号に基づいて透過率(通過率、変調率)が変化するようになっている。従って、G用液晶パネル130Gに入射された光(第2の色成分の光)は、画像処理部20によって補正されたG用の画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム160に入射される。
リレーレンズ142、144、146で平行光に変換された光が照射されるB用液晶パネル130Bは、光変調素子(光変調部)として機能し、B用画像信号に基づいて透過率(通過率、変調率)が変化するようになっている。従って、B用液晶パネル130Bに入射された光(第3の色成分の光)は、画像処理部20によって補正されたB用の画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム160に入射される。
R用液晶パネル130R、G用液晶パネル130G及びB用液晶パネル130Bは、それぞれ同様の構成を有している。各液晶パネルは、電気光学物質である液晶を一対の透明なガラス基板に密閉封入したものであり、例えばポリシリコン薄膜トランジスタをスイッチング素子として、各サブ画素の画像信号に対応して各色光の通過率を変調する。
クロスダイクロイックプリズム160は、R用液晶パネル130R、G用液晶パネル130G及びB用液晶パネル130Bからの入射光を合成した合成光を出射光として出力する機能を有する。投射レンズ170は、出力画像をスクリーンSCR上に拡大して結像させるレンズであり、ズーム倍率に応じて画像を拡大又は縮小させる機能を有する。
図3に、図2の投射部100によりスクリーンSCRに投射された表示画像を構成する表示画素を模式的に示す。
スクリーンSCRに投射された表示画像を構成する表示画素PXは、プロジェクタ10が有する光変調素子(光変調部)の画素のスクリーンSCR上の像である輝点を有し、表示画素PXは、光変調素子の画素に対応付けられる。そして、投射部100は、R用液晶パネル130Rの画素に対応したR成分の表示サブ画素PR、G用液晶パネル130Gの画素に対応したG成分の表示サブ画素PG、及びB用液晶パネル130Bの画素に対応したB成分の表示サブ画素PBの各表示サブ画素の輝点が重なるように投射する。このように、表示画素PXは、表示サブ画素PR、PG、PBにより構成される。
ところが、投射部100は図2のような構成を有しており、光学系の色収差や、光学系の構成部材の位置調整手段の調整精度等に起因して、スクリーン上における表示サブ画素の表示位置のずれが生じる。そこで、第1の実施形態では、例えば表示画素を構成するG成分の表示サブ画素PGの表示位置を基準として、当該表示画素を構成するR成分の表示サブ画素PRの表示位置のずれ量、及びB成分の表示サブ画素PBの表示位置のずれ量が記憶される。そして、このずれ量に基づいて、サブ画素の画像信号が補正される。
これにより、表示サブ画素の表示位置のずれが生じた場合であっても、例えば表示画像のエッジ部分や最端部において、解像感の低下や偽色の発生を抑えて、表示画像の画質の低下を抑えることができる。
その一方、画像信号の補正処理の結果として、入力画像が高周波成分を有する場合には、表示画像にモアレが発生することがある。そこで、第1の実施形態では、入力画像が所与の閾値以上の周波数成分を有するとき、上記の画像信号の補正処理を異ならせることでモアレの発生を抑えることができるようになっている。
以上のような構成を有する第1の実施形態におけるプロジェクタ10では、まずサブ画素のずれ量の取得処理が行われる。この取得処理は、例えばプロジェクタ10の製造時の検査工程で行われる。
図4に、第1の実施形態におけるプロジェクタ10の表示サブ画素位置のずれ量を測定する測定システムの構成例のブロック図を示す。図4において、図1と同一部分には同一符号を付し、適宜説明を省略する。
この測定システム200は、プロジェクタ10と、サブ画素位置測定部210と、パターン画像記憶部220とを含む。なお、プロジェクタ10が、サブ画素位置測定部210とパターン画像記憶部220とを含んでもよい。
サブ画素位置測定部210は、デジタルスチルカメラ等の撮像装置を含み、投射部100によって投射されたスクリーンSCR上の表示画素を構成する表示サブ画素の表示位置を測定する。パターン画像記憶部220は、スクリーンSCRへの投射画像(表示画像)の表示サブ画素の位置を測定するためのパターン画像を記憶する。サブ画素位置測定部210は、パターン画像記憶部220に記憶されたパターン画像を用いて投射部100がスクリーンSCRに投射した画像を撮像し、この撮像データを画像情報として各表示画素を構成する表示サブ画素の表示位置を測定する。サブ画素位置測定部210によって測定された表示サブ画素の表示位置のずれ量が、画像処理部20のずれ量記憶部22に格納される。
図5に、図4の測定システム200における表示サブ画素位置のずれ量の取得処理例のフロー図を示す。
まず、プロジェクタ10では、パターン画像記憶部220に記憶されたパターン画像に対応した画像情報を読み出し、投射部100が、該パターン画像をスクリーンSCRに投射する(ステップS10)。そして、パターン画像を投射した後、プロジェクタ10では、サブ画素位置測定部210が、スクリーンSCRへの表示画像を撮影する(ステップS12)。サブ画素位置測定部210は、スクリーンSCRへの表示画像の画素数よりも多い撮像画素数で、表示画像を撮影する。即ち、サブ画素位置測定部210は、スクリーンSCRへの表示画像の1画素分の表示画素を、1画素よりも多い撮像画素数で該表示画素を撮影して取り込む。
続いて、サブ画素位置測定部210は、表示サブ画素の表示位置を決定する(ステップS14)。そして、サブ画素位置測定部210又は画像処理部20は、表示画像内の所与の基準位置を基準として、ステップS14で決定した表示サブ画素の表示位置のずれ量を求めて(ステップS16)、ずれ量記憶部22に保存し(ステップS18)、一連の処理を終了する(エンド)。
図6に、第1の実施形態におけるパターン画像の撮像処理の一例を示す。図6において、図4と同一部分には同一符号を付し、適宜説明を省略する。
図6では第1の実施形態におけるパターン画像をスクリーンSCRに投射したとき、1画素を構成するサブ画素に対応した表示サブ画素の表示位置が、互いにずれている。本来は、表示画素を構成する表示サブ画素の表示位置が一致するようにプロジェクタ10の光学系が調整されているが、光学系の収差等に起因して、1表示画素を構成する表示サブ画素の表示位置を完全に一致させることは容易ではない。
パターン画像記憶部220に記憶されるパターン画像は、スクリーンSCRへの投射領域PAの四隅の4画素を有する。各画素は、R成分の表示サブ画素、G成分の表示サブ画素及びB成分の表示サブ画素を有する。なお、各表示サブ画素は、模式的に矩形の形状を有しているものとして示しているが、実際にはレンズの歪曲収差等に起因して表示画素の形状が矩形にはならない。
図5のステップS12では、1画素を構成する全サブ画素を一度に投射し、サブ画素位置測定部210は、R成分のカラーフィルタFRを介して、スクリーンSCRの表示画像を撮像する。同様に、サブ画素位置測定部210は、G成分のカラーフィルタFGを介してスクリーンSCRの表示画像を撮像した後、B成分のカラーフィルタFBを介してスクリーンSCRの表示画像を撮像する。これにより、R成分のサブ画素に対応した表示サブ画素、G成分のサブ画素に対応した表示サブ画素、及びB成分のサブ画素に対応した表示サブ画素を取り込むことができる。
なお、表示サブ画素を取り込む方法は、図6で説明したものに限定されるものではなく、例えばサブ画素を表示して、カラーフィルタを介さずに、表示サブ画素を撮像することを色成分毎に繰り返してもよい。
図5のステップS12では、サブ画素位置測定部210又は画像処理部20は、サブ画素位置測定部210による撮像により、G成分のサブ画素に対応した表示サブ画素DG1〜DG4の撮像データを取得する。その後、図5のステップS14において、G成分のサブ画素に対応した表示サブ画素DG1〜DG4の各表示サブ画素の領域の中からG成分のサブ画素に対応した表示サブ画素のサブ画素位置を決定する。
この決定処理としては、画素値が最大の画素をサブ画素位置として決定することができ、例えば各表示画素の領域の輝度ヒストグラムを算出し、最高輝度の画素を画素値が最大の画素として特定することができる。或いは、各表示画素の領域の輝度ヒストグラムを算出し、所定の閾値以上の画素の重心位置をサブ画素位置として決定することができる。
また、同様に、R成分及びB成分についてもサブ画素に対応した表示サブ画素DR1〜DR4、DB1〜DB4に対応するサブ画素位置が決定される。この結果、R成分、G成分及びB成分の各表示サブ画素のサブ画素位置が決定され、例えばG成分のサブ画素に対応した表示サブ画素のサブ画素位置を基準としたR成分及びB成分のサブ画素に対応した表示サブ画素のサブ画素位置のずれ量がずれ量記憶部22に保存される。
即ち、第1の実施形態では、ずれ量は、G成分のサブ画素に対応した表示サブ画素の表示位置を基準としたR成分のサブ画素に対応した表示サブ画素の表示位置のずれ量と、G成分のサブ画素に対応した表示サブ画素の表示位置を基準としたB成分のサブ画素に対応した表示サブ画素の表示位置のずれ量とからなる。このように、基準位置は、画素を構成するG成分のサブ画素に対応する表示サブ画素の表示位置である。これにより、表示画素を構成する1つの表示サブ画素の表示位置を基準に、他の表示サブ画素の表示位置のずれ量を定義することで、保存すべきずれ量の容量を大幅に削減できるようになる。また、表示画素を構成する複数の色成分の表示サブ画素のうち、G成分のサブ画素に対応した表示サブ画素の表示位置を基準位置とすることで、人間の眼に認識しやすい色成分の表示サブ画素を基準に他の色成分の表示サブ画素に対応した画像信号を補正することができ、画質の低下を防止できるようになる。
このようにサブ画素位置測定部210を備えてプロジェクタ10で投影された表示サブ画素を撮像してサブ画素の表示位置のずれ量を算出するようにすることで、表示サブ画素の表示位置のずれにプロジェクタの個体差があっても画質の低下を防止できるようになる。
続いて、図1の画像処理部20の各部の動作について説明する。
図7に、図1のずれ量算出部24の動作説明図を示す。
図7は、投射部100によって投射された表示画像(水平方向の画素数がW、垂直方向の画素数がH)の投射領域PAを表している。ずれ量記憶部22は、表示画像の四隅又は四隅付近の表示画素を構成する表示サブ画素の表示位置のずれ量を記憶している。
なお、図7では、例えばR成分の表示サブ画素PR1〜PR4の表示位置のずれ量を模式的に表している。このずれ量は、水平方向であるx方向のずれ量dx、垂直方向であるy方向のずれ量dyからなる。即ち、ずれ量記憶部22は、例えば表示サブ画素PR1の表示位置のずれ量について、x方向のずれ量dx[0]、y方向のずれ量dy[0]を記憶する。
ここで、表示サブ画素の表示位置のずれ量は、以下のように正規化されていることが望ましい。
図8に、第1の実施形態における表示サブ画素の表示位置のずれ量の説明図を示す。図8において、図7と同一部分には同一符号を付し、適宜説明を省略する。
プロジェクタ10の投射部100により投射された表示画像の投射領域PAのサイズは、一意に定まる。そこで、投射領域PAの水平方向の長さをDLEN、水平方向の画素数Dをとすると、DLEN/Dを1単位としたずれ量を求めることで、x方向のずれ量の数値が何画素分に相当するかを特定できる。同様に、投射領域PAの垂直方向の長さをHLEN、垂直方向の画素数をHとすると、HLEN/Hを1単位としたずれ量を求めることで、y方向のずれ量の数値が何画素分に相当するかを特定できる。
このように正規化された表示サブ画素PR1のずれ量dx[0]、dy[0]、表示サブ画素PR2のずれ量dx[1]、dy[1]、表示サブ画素PR3のずれ量dx[2]、dy[2]、及び表示サブ画素PR4のずれ量dx[3]、dy[3]を用いて、ずれ量算出部24は、投射領域PAの表示サブ画素PREのx方向のずれ量x_shift、y方向のずれ量y_shiftを算出する。
より具体的には、ずれ量算出部24は、ずれ量dx[0]〜dx[3]に基づいて、投射領域PAの左上隅を原点とする座標(x,y)に位置する表示サブ画素PREのx方向のずれ量x_shift(x,y)を算出する。このとき、ずれ量算出部24は、次式で示すように、線形補間処理によってずれ量x_shift(x,y)を算出する。
同様に、ずれ量算出部24は、ずれ量dy[0]〜dy[3]に基づいて、投射領域PAの左上隅を原点とする座標(x,y)に位置する表示サブ画素PREのy方向のずれ量y_shift(x,y)を算出する。
なお、図7及び図8では、投射領域PA内のR成分の表示サブ画素のずれ量を算出するものとして説明したが、投射領域PA内のB成分の表示サブ画素のずれ量も同様に算出できる。このように、ずれ量記憶部22が、例えば投射領域PAの四隅のずれ量のみを保存していても、ずれ量算出部24は、投射領域PA内のG成分を除く他の色成分の全表示サブ画素のずれ量を算出することができる。
図9に、図1の画像信号補正部26の動作説明図を示す。
図9は、例えばR成分の表示サブ画素に対応したサブ画素R(i,j)の画素値IMGs[i][j]の補正処理の説明図を表す。図9では、例えば投射領域の左上隅を原点とする座標系で定義されるR成分のサブ画素R(i,j)の周囲のR成分のサブ画素が模式的に示されている。ここで、例えばR成分のサブ画素R(i−1,j−1)は、画素値img[i−1][j−1]を有し、R成分のサブ画素R(i,j+1)は、画素値img[i][j+1]を有しているものとする。
図9のサブ画素R(i,j)に対応した表示サブ画素の表示位置は、G成分のサブ画素に対応した表示サブ画素の表示位置を基準に、x方向にx_shift、y方向にy_shiftだけずれているものとする。このずれ量は、ずれ量記憶部22から読み出されたり、図7及び図8で説明したずれ量算出部24により算出される。
画像信号補正部26は、このずれ量に基づいて、当該サブ画素R(i,j)の周囲のサブ画素(x方向に隣接するサブ画素、y方向に隣接するサブ画素)の画素値を用いた面積階調法により、当該サブ画素R(i,j)の画素値IMGs[i][j]を求め、この画素値IMGs[i][j]を補正後の画像信号として投射部100に出力する。
第1の実施形態では、このような画像信号補正部26の補正処理を入力画像の空間周波数に応じて異ならせるために、処理切替制御部30が、周波数解析部28の解析結果に基づいて、補正処理の切替制御を行う。
図10に、図1の処理切替制御部30の構成例のブロック図を示す。
処理切替制御部30は、ヒストグラム算出部60、閾値記憶部62、切替判定部64を含む。ヒストグラム算出部60には、周波数解析部28において入力画像の各画素を構成するサブ画素のすべてに対して行われた解析結果(例えばフーリエ変換処理結果や特徴抽出フィルタ処理結果)が入力される。ヒストグラム算出部60は、周波数解析部28の解析結果に基づいてヒストグラムを算出する。切替判定部64は、ヒストグラム算出部60によって算出されたヒストグラムに基づいて、閾値記憶部62に記憶された閾値を基準に、画像信号補正部26の補正処理を異ならせるか否かを判定する。この切替判定部64の判定結果は、処理切替制御信号として出力される。
なお、図10では、ヒストグラム算出部60を処理切替制御部30が内蔵するものとして説明したが、ヒストグラム算出部60は周波数解析部28に内蔵されていてもよい。
図11(A)、図11(B)に、周波数解析部28及び処理切替制御部30の動作説明図を示す。図11(A)は、周波数解析部28の動作例の説明図を表す。図11(B)は、図11(A)の周波数解析部28の解析結果に基づいて切替判定を行う処理切替制御部30の動作例の説明図を表す。
入力画像が入力された周波数解析部28は、例えば2次元離散フーリエ変換(Discrete Fourier Transform:DFT)処理によって入力画像の空間周波数を解析する。この結果、図11(A)に示すように、例えば中心位置の周波数成分が0で、外側に行くほど周波数成分が高くなる2次元の座標系にマッピングされる。ここでは、白い部分ほど周波数成分の要素が多くマッピングされたことを意味する。そして、ヒストグラム算出部60は、周波数解析部28の解析結果として得られた上記の座標系のうち例えば領域ARをヒストグラム化する。
ヒストグラム算出部60によって算出されたヒストグラムは、例えば図11(B)に示すようになる。ここで、閾値記憶部62から閾値Fnが読み出され、処理切替制御部30は、入力画像の解析の結果、閾値Fn以上の周波数成分を含むか否かを判定する。切替判定部64は、閾値Fn以上の周波数成分を含むと判定したときは、入力画像が高周波画像を有すると判断して、画像信号補正部26による補正処理をオフするように制御する。一方、切替判定部64は、閾値Fn以上の周波数成分を含まないと判定したときは、入力画像が高周波画像を有しないと判断して、画像信号補正部26による補正処理をオンするように制御する。このように、処理切替制御部30は、閾値Fnを基準に、入力画像の周波数解析結果に応じて画像信号補正部26による補正処理を異ならせる。
例えば図11(B)では、入力画像IMG1に対しては、閾値Fn以上の周波数成分を含まないため、処理切替制御部30は、入力画像IMG1が低周波画像であると判断して、画像信号補正部26による補正処理をオンする制御を行う。これに対し、入力画像IMG2に対しては、閾値Fn以上の周波数成分を含むため、処理切替制御部30は、入力画像IMG2が高周波画像であると判断して、画像信号補正部26による補正処理をオフする制御を行って、該補正処理を省略するように制御する。
第1の実施形態では、ずれ量記憶部22に記憶されるずれ量又はずれ量記憶部22から読み出されるずれ量(x成分、y成分とも)のすべてを強制的に0に設定することで、画像信号補正部26による補正処理をオフにする。このため、処理切替制御部30により画像信号補正部26による補正処理をオフすると判定されたとき、例えば処理切替制御信号により、ずれ量記憶部22に記憶されるずれ量、又はずれ量記憶部22から読み出されるずれ量を0に設定する。こうすることで、画像信号補正部26を直接制御することなく、簡素な制御で画像信号補正部26の補正処理をオン・オフ制御することができるようになる。このように、第1の実施形態では、入力画像の各画素を構成する第1の色成分のサブ画素の少なくとも一部に所与の閾値以上の周波数成分を有することを条件に、入力画像を構成する第1の色成分の全サブ画素に対して補正処理を省略する。
図12に、第1の実施形態における画像処理部20の動作説明図を示す。図12では、上記の閾値Fn以上の周波数成分を含まない画像を低周波画像、閾値Fn以上の周波数成分を含む画像を高周波画像としている。そして、図12は、入力画像が低周波画像のときのプロジェクタ10による表示画像と、該入力画像が高周波画像のときのプロジェクタ10による表示画像とを模式的に表す。
図12では、R成分、G成分、及びB成分の表示サブ画素が、水平方向に1/3画素ずつずれているものとする。ここで、例えば水平方向に2サブ画素毎に白、黒、白と並ぶ空間周波数が低い入力画像が入力されたとき、画像処理部20では、ずれ量に基づいて入力画像の画像信号に対して補正処理が行われる。その結果、図12に示すように、エッジ部分の偽色の発生や解像感の劣化を抑える画像を表示させることができる(F1、F2)。
これに対し、例えば水平方向に1サブ画素毎に白、黒、白と並ぶ空間周波数が高い入力画像が入力されたとき、画像処理部20では、ずれ量に基づいて入力画像の画像信号に対して補正処理が行われると、エッジ部分等にモアレが発生してしまい画質を低下させてしまうことがある。そこで、第1の実施形態では、画像処理部20は、この高周波画像に対しては、ずれ量に基づく入力画像の画像信号に対する補正処理をオフし、エッジ部分のモアレの発生を抑えた画像を表示させる(F3、F4)。
以上のように、第1の実施形態によれば、入力画像の空間周波数にかかわらずモアレの発生を抑制した画像を表示することができるようになる。
上記のように画像信号補正部26の補正処理をオン・オフ制御する画像処理部20の機能は、ハードウェアで実現されてもよいし、ソフトウェア処理で実現されてもよい。
図13に、第1の実施形態における画像処理部20のハードウェア構成例のブロック図を示す。
画像処理部20は、中央演算処理装置(Central Processing Unit:CPU)80、読み出し専用メモリ(Read Only Memory:ROM)82、ランダムアクセスメモリ(Random Access Memory:RAM)84、インターフェース(Interface:I/F)回路86を含む。CPU80、ROM82、RAM84及びI/F回路86は、バス88を介して接続されている。
ROM82には、プログラムが格納されており、バス88を介してプログラムを読み込んだCPU80が、該プログラムに対応した処理を実行することができる。RAM84は、CPU80が処理を実行するための作業用メモリとなったり、CPU80が読み込むプログラムが一時的に格納されたりする。I/F回路86は、外部からの入力画像信号のインターフェース処理を行う。
図1のずれ量記憶部22の機能は、ROM82又はRAM84により実現される。図1のずれ量算出部24、画像信号補正部26、周波数解析部28、及び処理切替制御部30の機能は、ROM82又はRAM84に格納されたプログラムをバス88を介して読み込んで実行するCPU80により実現される。なお、図1には図示されない画像信号取得部は、外部から供給される入力画像信号をバッファリングする機能を有し、例えば図13のRAM84やI/F回路86によりその機能が実現される。
図14に、第1の実施形態における画像処理部20の処理例のフロー図を示す。
例えば、ROM82には、予め図14に示す処理を実現するためのプログラムが格納されており、CPU80がROM82に格納されたプログラムを読み出して該プログラムに対応した処理を実行することで、図14に示す処理をソフトウェア処理により実現できる。
まず、画像処理部20は、入力画像信号取得ステップとして、図示しない画像信号生成装置から、入力画像の各画素を構成するサブ画素に対応した入力画像信号を取得する(ステップS20)。
続いて、画像処理部20は、周波数解析部28において、周波数解析ステップとして、入力画像の空間周波数を解析する(ステップS22)。そして、画像処理部20は、周波数解析部28又は処理切替制御部30において、ヒストグラム算出ステップとして、ステップS22で解析された入力画像の空間周波数の解析結果に基づいてヒストグラムを算出する(ステップS24)。
次に、画像処理部20は、処理切替制御部30において、閾値Fn以上の周波数成分を含むか否かを判定し(ステップS26)、閾値Fn以上の周波数成分を含むと判定したとき(ステップS26:Y)、ずれ量記憶部22に記憶されるずれ量のx成分、y成分、又はずれ量記憶部22から読み出されるずれ量のx成分、y成分を0に設定する(ステップS28)。
ステップS26において閾値Fn以上の周波数成分を含まないと判定されたとき(ステップS26:N)、又はステップS28に続いて、画像処理部20は、ずれ量算出部24において、ずれ量取得ステップとして、ずれ量記憶部22からのずれ量、又はステップS28で0に設定されたずれ量を取得する(ステップS30)。そして、画像処理部20は、ずれ量算出部24において、ずれ量算出ステップとして、図7及び図8で説明したように、ステップS30で取得されたずれ量に基づいて、表示画像のR成分及びB成分の全サブ画素のずれ量を算出する(ステップS32)。
その後、画像処理部20は、画像信号補正部26において、画像信号補正ステップとして、図9で説明したように、サブ画素毎に、ステップS32で算出されたずれ量に基づいて、当該サブ画素位置の画像信号を補正し(ステップS34)、一連の処理を終了する(エンド)。画像信号補正ステップにおいて、0以外のずれ量を用いて画像信号を補正した場合には、ずれ量に応じて画像信号が補間されるが、ステップS28で0に設定されたずれ量を用いて図9に示すように画像信号を補正しても、補正処理は実質的にオフとなり該補正処理は省略される。従って、画像信号の補正処理を例外なく行っても、補正処理のオン・オフを制御できることを意味する。
このように画像処理部20によって補正された画像信号は、投射部100に入力される。投射部100は、画像表示ステップとして、この画像処理部20によって補正された画像信号に基づいて変調された光をスクリーンSCRに投射して、画像を表示する。
図15に、図14のステップS32、ステップS34の詳細の処理例のフロー図を示す。例えば、ROM82には、予め図15に示す処理を実現するためのプログラムが格納されており、CPU80がROM82に格納されたプログラムを読み出して該プログラムに対応した処理を実行することで、図15に示す処理をソフトウェア処理により実現できる。
図14のステップS32のずれ量算出ステップでは、ずれ量算出部24が、R成分の全サブ画素のずれ量を算出する(ステップS40)。より具体的には、ずれ量算出部24は、ずれ量記憶部22に記憶された表示サブ画素のずれ量、又は0に設定されたずれ量を用いて、表示画像内のR成分の全サブ画素のずれ量を補間処理により求める。図7及び図8では、バイリニア法により求める例について説明したが、ずれ量算出部24は、ニアレストネイバー法、バイキュービック法等で、全サブ画素のずれ量を算出するようにしてもよい。
同様に、ずれ量算出部24は、B成分の全サブ画素のずれ量を算出する(ステップS42)。ステップS42においても、ずれ量算出部24は、ずれ量記憶部22に記憶された表示サブ画素のずれ量又は0に設定されたずれ量を用いて、表示画像内のB成分の全サブ画素のずれ量を補間処理により求める。
次に、画像信号補正部26は、入力画像信号の有無を判別する(ステップS44)。ステップS44において、入力画像信号がないと判別されたとき(ステップS44:N)、画像信号補正部26は、入力画像信号の入力を待つ。
ステップS44において、入力画像信号があると判別されたとき(ステップS44:Y)、画像信号補正部26は、入力画像信号のうちR成分の入力画像信号に対して、ステップS40で算出されたずれ量を用いて補正処理を行う(ステップS46)。続いて、画像信号補正部26は、入力画像信号のうちB成分の入力画像信号に対して、ステップS42で算出されたずれ量を用いて補正処理を行う(ステップS48)。
表示画像内のR成分及びB成分の全サブ画素について補正処理が終了するまで(ステップS50:N)、ステップS46に戻って画像内の各サブ画素の補正処理を行う。一方、表示画像内のR成分及びB成分の全サブ画素について補正処理が終了したとき(ステップS50:Y)、ずれ量に応じた補正処理を終了しないときは(ステップS52:N)、ステップS44に戻って処理を継続し、ずれ量に応じた補正処理を終了するとき(ステップS52:Y)、一連の処理を終了する(エンド)。
以上のように、第1の実施形態によれば、表示画素を構成する表示サブ画素のずれが生じた場合であっても、表示画像の最端部やエッジ付近の偽色の発生や解像感の劣化を抑えることができるようになる。また、入力画像の空間周波数の解析結果に応じて画像信号の補正処理を異ならせるようにしたので、例えば高周波画像に対して補正処理を行ったときに表示画像に発生するモアレを抑えることができるようになる。
〔第2の実施形態〕
第1の実施形態では、入力画像が高周波画像であるとき、ずれ量記憶部22からのずれ量をx成分、y成分ともに0に設定して、水平方向の画像信号と垂直方向の画像信号に対して同じように補正処理をオン・オフ制御するものとして説明したが、本発明はこれに限定されるものではない。第2の実施形態では、水平方向の画像信号、垂直方向の画像信号のそれぞれに個別に、補正処理のオン・オフ制御を行う。
本発明に係る第2の実施形態におけるプロジェクタの構成は、図1と同様であるため、図示及び詳細な説明を省略する。第2の実施形態におけるプロジェクタの画像処理部と第1の実施形態における画像処理部20とが異なる点は、周波数解析部と処理切替制御部の構成及び動作である。
図16に、第2の実施形態における画像処理部の構成要部の構成例を示す。図16は、第2の実施形態における画像処理部の周波数解析部と処理切替制御部の構成例のブロック図を表す。第2の実施形態における画像処理部を構成する他のブロックは、第1の実施形態における画像処理部20と同様であるため、図示及び説明を省略する。
第2の実施形態における画像処理部は、ずれ量記憶部22、ずれ量算出部24、及び画像信号補正部26の他に、周波数解析部300、処理切替制御部310を含む。周波数解析部300は、入力画像の水平方向に並ぶサブ画素の空間周波数を解析すると共に、該入力画像の垂直方向に並ぶサブ画素の空間周波数を解析する。処理切替制御部310は、周波数解析部300によって解析された、入力画像の水平方向及び垂直方向の空間周波数に基づいて、水平方向と垂直方向とで個別に画像信号の補正処理のオン・オフ制御を行う。
このような画像処理部の周波数解析部300は、水平方向周波数解析部302と、垂直方向周波数解析部304とを含む。水平方向周波数解析部302は、入力画像の水平方向に並ぶサブ画素の空間周波数を解析する。垂直方向周波数解析部304は、入力画像の垂直方向に並ぶサブ画素の空間周波数を解析する。
また、処理切替制御部310は、ヒストグラム算出部320と、閾値記憶部330と、切替判定部340とを含む。ヒストグラム算出部320は、水平方向ヒストグラム算出部322と、垂直方向ヒストグラム算出部324とを含む。閾値記憶部330は、水平方向閾値記憶部332と、垂直方向閾値記憶部334とを含む。切替判定部340は、水平方向切替判定部342と、垂直方向切替判定部344とを含む。
水平方向周波数解析部302の解析結果は、水平方向ヒストグラム算出部322に供給される。水平方向ヒストグラム算出部322は、この解析結果に基づいてヒストグラムを算出する。水平方向切替判定部342は、水平方向ヒストグラム算出部322によって算出されたヒストグラムに基づいて、水平方向閾値記憶部332に記憶された閾値を基準に、画像信号補正部26が行う水平方向の画像信号の補正処理のオン又はオフを判定する。画像信号補正部26は、水平方向切替判定部342からの処理切替制御信号PSWCHに基づいて、水平方向の画像信号の補正処理のオン・オフ制御が行われる。
同様に、垂直方向周波数解析部304の解析結果は、垂直方向ヒストグラム算出部324に供給される。垂直方向ヒストグラム算出部324は、この解析結果に基づいてヒストグラムを算出する。垂直方向切替判定部344は、垂直方向ヒストグラム算出部324によって算出されたヒストグラムに基づいて、垂直方向閾値記憶部334に記憶された閾値を基準に、画像信号補正部26が行う垂直方向の画像信号の補正処理のオン又はオフを判定する。画像信号補正部26は、垂直方向切替判定部344からの処理切替制御信号PSWCVに基づいて、垂直方向の画像信号の補正処理のオン・オフ制御が行われる。
なお、図16では、ヒストグラム算出部320を処理切替制御部310が内蔵するものとして説明したが、ヒストグラム算出部320は周波数解析部300に内蔵されていてもよい。
図17(A)、図17(B)に、水平方向の処理切替制御の説明図を示す。図17(A)は、図16の水平方向周波数解析部302及び水平方向ヒストグラム算出部322の動作説明図を表す。図17(B)は、図16の水平方向切替判定部342の動作例の説明図を表す。
入力画像が入力された水平方向周波数解析部302は、例えば特徴抽出フィルタ(図17(A)では水平方向のエッジ検出フィルタ)処理によって入力画像の水平方向の空間周波数を解析する。より具体的には、水平方向周波数解析部302は、入力画像の各サブ画素と、図17(A)に示すフィルタ係数を有する行列との畳み込み演算を行う。その演算結果は利得して得られるため、水平方向ヒストグラム算出部322は、横軸に利得、縦軸に頻度を示すヒストグラムを生成することができる。
水平方向ヒストグラム算出部322によって算出されたヒストグラムは、例えば図17(B)に示すようになる。ここで、水平方向閾値記憶部332から閾値Fhが読み出され、水平方向切替判定部342は、入力画像の解析の結果、閾値Fh以上の利得を有するか否かを判定する。閾値Fhは、水平方向に第1の閾値以上の周波数成分を有する画像に対する上記の畳み込み演算結果に対応する利得である。水平方向切替判定部342は、閾値Fh以上の利得を有すると判定したときは、入力画像の水平方向に第1の閾値以上の周波数成分を有すると判断して、画像信号補正部26による水平方向の補正処理をオフするように制御する。一方、水平方向切替判定部342は、閾値Fh以上の利得を有しないと判定したときは、入力画像の水平方向に第1の閾値以上の周波数成分を有しないと判断して、画像信号補正部26による水平方向の補正処理をオンするように制御する。このように、処理切替制御部310は、閾値Fhを基準に、入力画像の周波数解析結果に応じて画像信号補正部26による水平方向の補正処理を異ならせる。
例えば図17(B)では、入力画像IMG3に対しては、閾値Fh以上の利得を有するため、処理切替制御部310は、入力画像IMG3が高周波画像であると判断して、画像信号補正部26による水平方向の補正処理をオフする制御を行う。これに対し、入力画像IMG4に対しては、閾値Fh以上の利得を有しないため、処理切替制御部310は、入力画像IMG4が低周波画像であると判断して、画像信号補正部26による水平方向の補正処理をオンする制御を行う。
図18(A)、図18(B)に、垂直方向の処理切替制御の説明図を示す。図18(A)は、図16の垂直方向周波数解析部304及び垂直方向ヒストグラム算出部324の動作説明図を表す。図18(B)は、図16の垂直方向切替判定部344の動作例の説明図を表す。
入力画像が入力された垂直方向周波数解析部304は、例えば特徴抽出フィルタ(図18(A)では垂直方向のエッジ検出フィルタ)処理によって入力画像の垂直方向の空間周波数を解析する。より具体的には、垂直方向周波数解析部304は、入力画像の各サブ画素と、図18(A)に示すフィルタ係数を有する行列との畳み込み演算を行う。その演算結果は利得して得られるため、垂直方向ヒストグラム算出部324は、横軸に利得、縦軸に頻度を示すヒストグラムを生成することができる。
垂直方向ヒストグラム算出部324によって算出されたヒストグラムは、例えば図18(B)に示すようになる。ここで、垂直方向閾値記憶部334から閾値Fvが読み出され、垂直方向切替判定部344は、入力画像の解析の結果、閾値Fv以上の利得を有するか否かを判定する。閾値Fvは、垂直方向に第2の閾値以上の周波数成分を有する画像に対する上記の畳み込み演算結果に対応する利得である。垂直方向切替判定部344は、閾値Fv以上の利得を有すると判定したときは、入力画像の垂直方向に第2の閾値以上の周波数成分を有すると判断して、画像信号補正部26による垂直方向の補正処理をオフするように制御する。一方、垂直方向切替判定部344は、閾値Fv以上の利得を有しないと判定したときは、入力画像の垂直方向に第2の閾値以上の周波数成分を有しないと判断して、画像信号補正部26による垂直方向の補正処理をオンするように制御する。このように、処理切替制御部310は、閾値Fvを基準に、入力画像の周波数解析結果に応じて画像信号補正部26による垂直方向の補正処理を異ならせる。
例えば図18(B)では、入力画像IMG5、IMG6に対しては、閾値Fv以上の利得を有しないため、処理切替制御部310は、入力画像IMG5、IMG6が低周波画像であると判断して、画像信号補正部26による垂直方向の補正処理をオンする制御を行う。なお、閾値Fv以上の利得を有する入力画像に対して、処理切替制御部310は、画像信号補正部26による垂直方向の補正処理をオンする制御を行う。
図19に、第2の実施形態における処理切替制御信号の説明図を示す。
第2の実施形態では、第1の実施形態と同様に、ずれ量記憶部22に記憶されるずれ量又はずれ量記憶部22から読み出されるずれ量を強制的に0に設定することで、画像信号補正部26による補正処理をオフにする。例えば水平方向切替判定部342により画像信号補正部26による水平方向の補正処理をオフすると判定されたとき、処理切替制御信号PSWCH(=「1」)により、ずれ量記憶部22に記憶されるx成分のずれ量又はずれ量記憶部22から読み出されるx成分のずれ量を強制的に0に設定する。また、例えば垂直方向切替判定部344により画像信号補正部26による垂直方向の補正処理をオフすると判定されたとき、処理切替制御信号PSWCV(=「1」)により、ずれ量記憶部22に記憶されるy成分のずれ量又はずれ量記憶部22から読み出されるy成分のずれ量を強制的に0に設定する。こうすることで、画像信号補正部26を直接制御することなく、簡素な制御で画像信号補正部26の各方向の補正処理を独立してオン・オフ制御することができるようになる。
このような第2の実施形態における画像信号補正部26の各方向の補正処理をオン・オフ制御する画像処理部の機能は、ハードウェアで実現されてもよいし、ソフトウェア処理で実現されてもよい。第2の実施形態における画像処理部のハードウェア構成は、第1の実施形態と同様であるため説明を省略する。
図20に、第2の実施形態における画像処理部の処理例のフロー図を示す。
例えば、ROM82には、予め図20に示す処理を実現するためのプログラムが格納されており、CPU80がROM82に格納されたプログラムを読み出して該プログラムに対応した処理を実行することで、図20に示す処理をソフトウェア処理により実現できる。
まず、第2の実施形態における画像処理部は、入力画像信号取得ステップとして、図示しない画像信号生成装置から、入力画像の各画素を構成するサブ画素に対応した入力画像信号を取得する(ステップS60)。
続いて、この画像処理部は、周波数解析部300の水平方向周波数解析部302において、水平方向周波数解析ステップとして、入力画像の水平方向の空間周波数を解析する(ステップS62)。そして、画像処理部は、処理切替制御部310の水平方向ヒストグラム算出部322において、水平方向ヒストグラム算出ステップとして、ステップS62で解析された入力画像の水平方向の空間周波数の解析結果に基づいてヒストグラムを算出する(ステップS64)。
次に、画像処理部は、切替判定部340の水平方向切替判定部342において、閾値Fh以上の利得を有するか否かを判定し(ステップS66)、閾値Fh以上の利得を有すると判定したとき(ステップS66:Y)、ずれ量記憶部22に記憶されるずれ量のx成分、又はずれ量記憶部22から読み出されるずれ量のx成分を0に設定する(ステップS68)。
ステップS66において閾値Fh以上の利得を有しないと判定されたとき(ステップS66:N)、又はステップS68に続いて、画像処理部は、周波数解析部300の垂直方向周波数解析部304において、垂直方向周波数解析ステップとして、入力画像の垂直方向の空間周波数を解析する(ステップS70)。そして、画像処理部は、処理切替制御部310の垂直方向ヒストグラム算出部324において、垂直方向ヒストグラム算出ステップとして、ステップS70で解析された入力画像の垂直方向の空間周波数の解析結果に基づいてヒストグラムを算出する(ステップS72)。
次に、画像処理部は、切替判定部340の垂直方向切替判定部344において、閾値Fv以上の利得を有するか否かを判定し(ステップS74)、閾値Fv以上の利得を有すると判定したとき(ステップS74:Y)、ずれ量記憶部22に記憶されるずれ量のy成分、又はずれ量記憶部22から読み出されるずれ量のy成分を0に設定する(ステップS76)。
ステップS74において閾値Fv以上の利得を有しないと判定されたとき(ステップS74:N)、又はステップS76に続いて、画像処理部は、ずれ量算出部24において、ずれ量取得ステップとして、ずれ量記憶部22からのずれ量、又はx方向又はy方向のいずれかが0に設定されたずれ量を取得する(ステップS78)。そして、画像処理部は、ずれ量算出部24において、ずれ量算出ステップとして、図7及び図8で説明したように、ステップS78で取得されたずれ量に基づいて、表示画像のR成分及びB成分の全サブ画素のずれ量を算出する(ステップS80)。
その後、画像処理部は、画像信号補正部26において、画像信号補正ステップとして、図9で説明したように、サブ画素毎に、ステップS80で算出されたずれ量に基づいて、当該サブ画素位置の画像信号を補正し(ステップS82)、一連の処理を終了する(エンド)。画像信号補正ステップにおいて、0以外のずれ量を用いて画像信号を補正した場合には、ずれ量に応じて画像信号が補間されるが、0に設定されたずれ量を用いて図9に示すように画像信号を補正しても、補正処理は実質的にオフとなる。従って、画像信号の補正処理を例外なく行っても、各方向について独立に補正処理のオン・オフを制御できることを意味する。
このように画像処理部によって補正された画像信号は、投射部100に入力される。投射部100は、画像表示ステップとして、この画像処理部によって補正された画像信号に基づいて変調された光をスクリーンSCRに投射して、画像を表示する。
図20のステップS80、ステップS82は、図15と同様であるため、説明を省略する。なお、図20では、水平方向の周波数解析及びヒストグラム算出を行った後に、垂直方向の周波数解析を開始するものとして説明したが、本発明はこれに限定されるものではない。例えば、垂直方向の周波数解析及びヒストグラム算出を行った後に、水平方向の周波数解析を開始してもよい。ステップS82の画像信号補正ステップに先立って、高周波画像の画像信号の場合にずれ量がx方向及びy方向の少なくとも1つの方向に0が設定されていればよい。
以上のように、第2の実施形態によれば、表示画素を構成する表示サブ画素のずれが生じた場合であっても、表示画像の最端部やエッジ付近の偽色の発生や解像感の劣化を抑えることができるようになる。また、入力画像の水平方向及び垂直方向の空間周波数の解析結果に応じて画像信号の補正処理を各方向について独立に異ならせるようにしたので、例えば高周波画像に対して補正処理を行ったときに表示画像に発生するモアレを抑えることがきるようになる。
〔第3の実施形態〕
第1及び第2の実施形態では、入力画像が高周波画像である場合に、該入力画像全体の補正処理をオフするように制御していたが、本発明はこれに限定されるものではない。本発明に係る第3の実施形態では、入力画像を分割した複数の分割画像を構成する各分割画像毎に周波数を解析して、分割画像毎にその解析結果に応じて補正処理を異ならせる。
以下では、入力画像を4分割する例について説明するが、本発明は入力画像の分割数に限定されるものではない。
本発明に係る第3の実施形態におけるプロジェクタの構成は、図1と同様である。但し、第3の実施形態では、ずれ量記憶部には、入力画像を分割した各分割画像の表示領域内の複数のずれ量が記憶されており、周波数解析部が、各分割画像毎に周波数を解析すると共に、処理切替制御部が、各分割画像毎に画像信号補正部の補正処理をオン・オフ制御するようになっている。
図21(A)、図21(B)に、第3の実施形態におけるずれ量の説明図を示す。図21(A)は、ずれ量記憶部に記憶されるずれ量の一例を表す。図21(B)は、ずれ量記憶部に記憶されるずれ量の別の例を表す。
第3の実施形態におけるずれ量記憶部には、例えば図21(A)に示すように、投射領域PAの表示画像の水平方向の縁部に沿って16×2個のずれ量、投射領域PAの表示画像の垂直方向の縁部に沿って16×2個のずれ量が記憶される。従って、投射領域PAの表示画像を4分割した各分割画像毎に、ずれ量記憶部には、複数のずれ量が記憶される。従って、各分割画像の各画素を構成するサブ画素に対応する表示サブ画素の表示位置のずれ量は、ずれ量記憶部に記憶された複数のずれ量に基づいて算出することができる。
また、第3の実施形態におけるずれ量記憶部には、例えば図21(B)に示すように、投射領域PAの表示画像の四隅と、各辺の中央部と、中心部の9個のずれ量が記憶されてもよい。この場合でも、投射領域PAの表示画像を4分割した各分割画像毎に、ずれ量記憶部には、実質的に、複数のずれ量が記憶される。従って、各分割画像の各画素を構成するサブ画素に対応する表示サブ画素の表示位置のずれ量は、ずれ量記憶部に記憶された複数のずれ量に基づいて算出することができる。
図22に、第3の実施形態における周波数解析部の動作説明図を示す。なお、図22では、周波数解析部の解析結果を用いてヒストグラムを算出するヒストグラム算出部の動作説明図についても示している。
図23(A)、図23(B)、図23(C)、図23(D)に、第3の実施形態における処理切替制御部の動作説明図を示す。図23(A)は、入力画像を4分割した分割画像のうち、第1の分割画像IMGaに対する処理切替制御部の動作説明図を表す。図23(B)は、入力画像を4分割した分割画像のうち、第2の分割画像IMGbに対する処理切替制御部の動作説明図を表す。図23(C)は、入力画像を4分割した分割画像のうち、第3の分割画像IMGcに対する処理切替制御部の動作説明図を表す。図23(D)は、入力画像を4分割した分割画像のうち、第4の分割画像IMGdに対する処理切替制御部の動作説明図を表す。
入力画像が入力された周波数解析部は、入力画像を4分割した分割画像毎に、例えば特徴抽出フィルタ(図22ではエッジ検出フィルタ)処理によって入力画像の空間周波数を解析する。より具体的には、周波数解析部は、分割画像毎に、各分割画像の各サブ画素と、図22に示すフィルタ係数を有する行列との畳み込み演算を行う。その演算結果は、利得して得られるため、処理切替制御部のヒストグラム算出部は、分割画像毎に、横軸に利得、縦軸に頻度を示すヒストグラムを生成することができる。
ヒストグラム算出部によって算出されたヒストグラムは、例えば図23(A)〜図23(D)に示すようになる。ここで、第1の分割画像IMGaについては、閾値記憶部から閾値Faが読み出され、切替判定部は、閾値Fa以上の利得を有するか否かを判定する。閾値Faは、所与の第3の閾値以上の周波数成分を有する画像に対する上記の畳み込み演算結果に対応する利得である。切替判定部は、閾値Fa以上の利得を有すると判定したときは、第1の分割画像IMGaが高周波画像を有すると判断して、画像信号補正部26による第1の分割画像IMGaに対する補正処理をオフするように制御する。一方、切替判定部は、閾値Fa以上の利得を有しないと判定したときは、第1の分割画像IMGaが高周波画像を有しないと判断して、画像信号補正部26による第1の分割画像IMGaに対する補正処理をオンするように制御する。このように、処理切替制御部は、閾値Faを基準に、第1の分割画像IMGaの周波数解析結果に応じて画像信号補正部26による第1の分割画像IMGaに対する補正処理を異ならせる。
同様に、第2の分割画像IMGbについては、閾値記憶部から閾値Fb(所与の第4の閾値以上の周波数成分を有する画像に対する上記の畳み込み演算結果に対応する利得)を読み出し、処理切替制御部は、閾値Fbを基準に、第2の分割画像IMGbの周波数解析結果に応じて画像信号補正部26による第2の分割画像IMGbに対する補正処理を異ならせる。また、第3の分割画像IMGcについては、閾値記憶部から閾値Fc(所与の第5の閾値以上の周波数成分を有する画像に対する上記の畳み込み演算結果に対応する利得)を読み出し、処理切替制御部は、閾値Fcを基準に、第3の分割画像IMGcの周波数解析結果に応じて画像信号補正部26による第3の分割画像IMGcに対する補正処理を異ならせる。更に、第4の分割画像IMGdについては、閾値記憶部から閾値Fd(所与の第6の閾値以上の周波数成分を有する画像に対する上記の畳み込み演算結果に対応する利得)を読み出し、処理切替制御部は、閾値Fdを基準に、第4の分割画像IMGdの周波数解析結果に応じて画像信号補正部26による第4の分割画像IMGdに対する補正処理を異ならせる。
このような第3の実施形態における画像信号補正部26の分割画像毎の補正処理をオン・オフ制御する画像処理部の機能は、ハードウェアで実現されてもよいし、ソフトウェア処理で実現されてもよい。第3の実施形態における画像処理部のハードウェア構成は、第1の実施形態と同様であるため説明を省略する。
図24に、第3の実施形態における画像処理部の処理例のフロー図を示す。
例えば、ROM82には、予め図24に示す処理を実現するためのプログラムが格納されており、CPU80がROM82に格納されたプログラムを読み出して該プログラムに対応した処理を実行することで、図24に示す処理をソフトウェア処理により実現できる。
まず、第3の実施形態における画像処理部は、入力画像信号取得ステップとして、図示しない画像信号生成装置から、入力画像の各画素を構成するサブ画素に対応した入力画像信号を取得する(ステップS90)。
続いて、この画像処理部は、周波数解析部において、周波数解析ステップとして、入力画像を分割した分割画像毎に空間周波数を解析する(ステップS92)。そして、画像処理部は、処理切替制御部のヒストグラム算出部において、ヒストグラム算出ステップとして、ステップS92で解析された分割画像毎の空間周波数の解析結果に基づいてヒストグラムを算出する(ステップS94)。
次に、画像処理部は、切替判定部において、各分割画像に対応した閾値以上の利得を有するか否かを判定し(ステップS96)、閾値以上の利得を有する分割画像があると判定したとき(ステップS96:Y)、閾値以上の利得を有する分割画像内でずれ量記憶部22に記憶されるずれ量又はずれ量記憶部22から読み出されるずれ量を0に設定する(ステップS98)。
ステップS96において、閾値以上の利得を有する分割画像がないと判定されたとき(ステップS96:N)、又はステップS98に続いて、画像処理部は、ずれ量算出部24において、ずれ量取得ステップとして、ずれ量記憶部22からのずれ量、又は0に設定されたずれ量を取得する(ステップS100)。そして、画像処理部は、ずれ量算出部24において、ずれ量算出ステップとして、図7及び図8で説明したように、ステップS100で取得されたずれ量に基づいて、表示画像のR成分及びB成分の全サブ画素のずれ量を算出する(ステップS102)。
その後、画像処理部は、画像信号補正部26において、画像信号補正ステップとして、図9で説明したように、サブ画素毎に、ステップS102で算出されたずれ量に基づいて、当該サブ画素位置の画像信号を補正し(ステップS104)、一連の処理を終了する(エンド)。画像信号補正ステップにおいて、0以外のずれ量を用いて画像信号を補正した場合には、ずれ量に応じて画像信号が補間されるが、0に設定されたずれ量を用いて図9に示すように画像信号を補正しても、補正処理は実質的にオフとなる。従って、画像信号の補正処理を例外なく行っても、分割画像毎に補正処理のオン・オフを制御できることを意味する。
このように画像処理部によって補正された画像信号は、投射部100に入力される。投射部100は、画像表示ステップとして、この画像処理部によって補正された画像信号に基づいて変調された光をスクリーンSCRに投射して、画像を表示する。
図24のステップS102、ステップS104は、図15と同様であるため、説明を省略する。
なお、第3の実施形態では、分割画像毎に異なる閾値を基準に高周波画像であるか否かを判定していたが、各分割画像が共通の閾値を基準に高周波画像であるか否かを判定するようにしてもよい。
以上のように、第3の実施形態では、入力画像を分割した分割画像毎の空間周波数の解析結果に応じて、各分割画像の画像信号の補正処理をそれぞれ独立に異ならせるようにした。即ち、所与の閾値以上の周波数成分を有する分割画像内の各画素を構成するサブ画素に対応した画像信号に対して、ずれ量に基づく補正処理を省略すると共に、閾値以上の周波数成分を有しない分割画像内の各画素を構成するサブ画素に対応した画像信号に対して、ずれ量に基づく補正処理を行うようにしている。従って、第3の実施形態によれば、モアレの発生する可能性のある分割画像に対してのみモアレを抑える制御を行って、その他の分割画像については、最端部やエッジ付近の偽色の発生や解像感の劣化を抑えることができるようになる。
〔第4の実施形態〕
第1〜第3の実施形態では、画像信号補正部の補正処理をオフする場合に、ずれ量を強制的に0に設定していたが、本発明はこれに限定されるものではない。本発明に係る第4の実施形態では、画像信号補正部に対し、直接、処理のイネーブル制御を行うことで、画像信号補正部の補正処理のオン・オフ制御を行う。
図25に、本発明に係る第4の実施形態における画像表示装置としてのプロジェクタの構成例のブロック図を示す。図25において、図1と同様の部分には同一符号を付し、適宜説明を省略する。
第4の実施形態におけるプロジェクタ400は、画像処理部410と、投射部100を含む。第4の実施形態における画像処理部410が、第1の実施形態における画像処理部20と異なる点は、処理切替制御部30からの処理切替制御信号により、画像信号補正部の補正処理を直接的にオン・オフできる点である。このため、画像処理部410が含む画像信号補正部412は、処理切替制御信号により補正処理をオフするとき、ずれ量算出部24からのずれ量を0に設定してもよいし、処理切替制御信号により画像信号補正部412の補正処理をそのままスキップして省略してもよい。以下では、処理切替制御信号により画像信号補正部412の補正処理をそのままスキップして省略することで、画像信号補正部412の補正処理をオフするものとする。
このような第4の実施形態における画像信号補正部412の補正処理をオン・オフ制御する画像処理部410の機能は、ハードウェアで実現されてもよいし、ソフトウェア処理で実現されてもよい。第4の実施形態における画像処理部のハードウェア構成は、第1の実施形態と同様であるため説明を省略する。
図26に、第4の実施形態における画像処理部410の処理例のフロー図を示す。
例えば、ROM82には、予め図26に示す処理を実現するためのプログラムが格納されており、CPU80がROM82に格納されたプログラムを読み出して該プログラムに対応した処理を実行することで、図26に示す処理をソフトウェア処理により実現できる。
まず、第4の実施形態における画像処理部410は、入力画像信号取得ステップとして、図示しない画像信号生成装置から、入力画像の各画素を構成するサブ画素に対応した入力画像信号を取得する(ステップS110)。
続いて、画像処理部410は、周波数解析部28において、周波数解析ステップとして、入力画像の空間周波数を解析する(ステップS112)。そして、画像処理部410は、処理切替制御部のヒストグラム算出部において、ヒストグラム算出ステップとして、ステップS112で解析された入力画像の空間周波数の解析結果に基づいてヒストグラムを算出する(ステップS114)。
次に、画像処理部410は、ずれ量算出部24において、ずれ量取得ステップとして、ずれ量記憶部22からのずれ量を取得する(ステップS116)。そして、画像処理部410は、ずれ量算出部24において、ずれ量算出ステップとして、図7及び図8で説明したように、ステップS116で取得されたずれ量に基づいて、表示画像のR成分及びB成分の全サブ画素のずれ量を算出する(ステップS118)。
そして、画像処理部410は、処理切替制御部30において、閾値以上の周波数成分を有するか否かを判定し(ステップS120)、閾値以上の周波数成分を有しないと判定されたとき(ステップS120:Y)、入力画像が低周波画像であると判断して、画像信号補正部412において、画像信号補正ステップとして、ステップS118で算出されたずれ量に基づいて、入力画像の画像信号の補正処理を行い(ステップS112)、一連の処理を終了する(エンド)。
一方、ステップS120において、閾値以上の周波数成分を有すると判定されたとき(ステップS120:N)、入力画像が高周波画像であると判断して、画像信号補正部412の補正処理をスキップして、該補正処理を省略する制御を行い、一連の処理を終了する(エンド)。
以上のように、第4の実施形態によれば、上記の実施形態と同様に、表示画素を構成する表示サブ画素のずれが生じた場合であっても、表示画像の最端部やエッジ付近の偽色の発生や解像感の劣化を抑えることができるようになる。更に、第4の実施形態によれば、非常に簡素な制御で、画像信号補正部412の補正処理をオン・オフ制御することができるようになる。
以上説明したように、第1〜第4の実施形態によれば、表示サブ画素の表示位置のずれが生じる場合に、入力画像の空間周波数に応じて画像信号の補正処理を異ならせることで、表示画像の最端部やエッジ付近の偽色の発生や解像感の劣化を抑える一方で、モアレの発生を抑えた画像を表示することができるようになる。このような実施形態を採用することで、例えば、空間周波数が次第に高くなるように連続的に入力画像を与えた場合に、閾値付近の空間周波数を有する入力画像を表示するときに画像信号の補正処理が変更され、画像がシフトするように見える。
以上、本発明に係る画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラムを上記の各実施形態に基づいて説明したが、本発明は上記の各実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
(1)上記の各実施形態では、2次元DFT処理やエッジ検出処理を行って入力画像の空間周波数を解析するようにしていたが、本発明は、画像の周波数の解析方法に限定されるものではない。入力画像が閾値以上の周波数成分を有するか否かを判別できればよい。
(2)上記の各実施形態では、例えば水平方向と垂直方向とを独立に補正処理を異ならせたり、入力画像を分割した分割画像毎に独立に補正処理を異ならせたりしていたが、本発明はこれに限定されるものではない。例えば、入力画像を分割した分割画像毎に、水平方向と垂直方向とを独立に補正処理を異ならせるようにしてもよい。また、例えば、ある分割画像では、水平方向と垂直方向とを独立に補正処理を異ならせ、別の分割画像では、水平方向と垂直方向とを同時に補正処理を異ならせるようにしてもよい。
(3)上記の各実施形態では、ずれ量記憶部が、表示画像内の全画素のうち代表点としてサンプリングされた複数のサブ画素のずれ量を記憶しておき、ずれ量算出部で任意のサブ画素のずれ量を算出するものとして説明したが、本発明はこれに限定されるものではない。例えば、ずれ量記憶部は、1画面全体のずれ量を記憶しておき、ずれ量算出部を省略してもよい。
(4)上記の各実施形態では、G成分の表示サブ画素の表示位置を基準に、R成分の表示サブ画素の表示位置のずれ量及びB成分の表示サブ画素の表示位置のずれ量を保存していたが、本発明はこれに限定されるものではない。例えば、R成分の表示サブ画素の表示位置を基準に、G成分の表示サブ画素の表示位置のずれ量及びB成分の表示サブ画素の表示位置のずれ量を保存してもよいし、B成分の表示サブ画素の表示位置を基準に、R成分の表示サブ画素の表示位置のずれ量及びG成分の表示サブ画素の表示位置のずれ量を保存していてもよい。
(5)上記の各実施形態では、1画素を3つの色成分のサブ画素で構成されるものとして説明したが、本発明はこれに限定されるものではない。1画素を構成する色成分数が2、又は4以上であってもよい。
(6)上記の各実施形態では、各表示画素を構成する表示サブ画素のうちの1つの表示サブ画素の表示位置を基準位置として採用するものとして説明したが、本発明はこれに限定されるものではない。例えば、スクリーン座標系の所定位置や各液晶パネルのパネル座標系の所定位置を基準位置としてもよい。
(7)上記の各実施形態では、光変調素子としてライトバルブを用いるものとして説明したが、本発明はこれに限定されるものではない。光変調素子として、例えばDLP(Digital Light Processing)(登録商標)、LCOS(Liquid Crystal On Silicon)等を採用してもよい。
(8)上記の各実施形態では、光変調素子として、いわゆる3板式の透過型の液晶パネルを用いたライトバルブを例に説明したが、4板式以上の透過型の液晶パネルを用いたライトバルブを採用してもよい。
(9)上記の各実施形態では、全サブ画素のずれ量の補間処理方法や画像信号の補正処理方法として、バイリニア法、ニアレストネイバー法、バイキュービック法や面積階調法を例に挙げたが、本発明はこれらの処理方法に限定されるものではない。
(10)上記の各実施形態において、本発明を、画像処理装置、画像表示装置、画像処理方法、画像表示方法、及びプログラムとして説明したが、本発明はこれに限定されるものではない。例えば、本発明を実現するための画像表示方法の処理手順が記述されたプログラムが記録された記録媒体であってもよい。