以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
以下では、本発明に係る画像表示装置としてプロジェクターを例に説明するが、本発明に係る画像表示装置がプロジェクターに限定されるものではない。
〔実施形態1〕
図1に、本発明に係る実施形態1における画像表示システムの構成例のブロック図を示す。
画像表示システム10は、プロジェクター(広義には画像表示装置)20と、スクリーンSCRとを含む。プロジェクター20は、入力画像信号に基づいて図示しない光源からの光を変調し、変調後の光をスクリーンSCRに投射することで画像を表示する。
このプロジェクター20は、画像処理部30(広義には画像処理装置)と、投射部100(広義には画像表示部)とを含む。画像処理部30は、補正対象外の彩度領域に影響を与えることなく表示画像の低彩度部や高彩度部のディテールを表現できるように入力画像信号を補正し、補正後の画像信号を投射部100に出力する。投射部100は、画像処理部30からの画像信号に基づいて変調した光をスクリーンSCRに投射する。このとき、画像処理部30は、特定の彩度領域の再現性を維持できるように階調補正処理を行い、その階調補正処理の処理内容に応じてディテールが強調されるように画像信号を補正する。
図2に、図1の画像処理部30において行われる補正処理の説明図を示す。図2では、補正処理中の各画像信号により表される画像の特性として、横軸に画像の水平方向の位置、縦軸に彩度レベルを模式的に表している。
入力画像IMGinは、例えば左側が低彩度で、右側が高彩度の画像であり、低彩度領域においても微小な階調変化を有し、高彩度領域においても微小な階調変化を有する。信号抽出手段L1は、この入力画像IMGinの画像信号の彩度成分のうち、所与の空間周波数帯域の彩度成分の信号CHを抽出する。図2では、空間周波数に対応してゲインが設定されており、信号抽出手段L1はこのゲインが大きい空間周波数帯域の彩度成分の信号CHを抽出している。
また、階調補正手段H1は、補正前の輝度成分と補正後の輝度成分の関係を示す所与の補正カーブ(ガンマカーブ)に従って、入力画像の画像信号の彩度成分を補正し、補正後の彩度成分の信号Ccorを出力する。図2では、階調補正手段H1が、上に凸の補正カーブに従って彩度成分の階調補正を行う例を示している。階調補正手段H1によって行われる階調補正処理後の彩度成分は、加算器A1に供給される。また、階調補正手段H1によって行われる階調補正処理の内容(階調補正処理の内容を特定するための情報(補正カーブ情報)、階調補正処理後の彩度成分でも可)は、彩度ゲイン算出手段G1に供給される。
彩度ゲイン算出手段G1は、階調補正手段H1によって行われた階調補正後の彩度成分のレベルに対応したゲイン係数g(彩度ゲイン係数。広義には彩度ゲイン。以下同様)を算出する。図2では、彩度ゲイン算出手段G1が、彩度成分のレベルが低い領域で大きくなり、彩度成分のレベルが高い領域でほぼ0となるゲイン係数gを算出する。
この結果、乗算器M1は、信号抽出手段L1によって抽出された信号CHに彩度ゲイン算出手段G1によって算出されたゲイン係数gを掛け合わせた信号gCHを生成する。信号gCHが、入力画像信号の彩度成分の補正量に対応した信号である。加算器A1は、入力画像信号の彩度信号Cinと信号gCHとを加算して、補正後の画像信号を構成する彩度信号Coutを出力する。
図3に、図1の画像処理部30の動作説明図を示す。図3では、3次元の座標系において、入力画像信号の彩度成分、該彩度成分の空間周波数、該彩度成分の高周波成分の信号CHPFを模式的に表している。
画像処理部30は、画像信号の彩度成分の空間周波数を解析し、空間周波数帯域Far(所与の空間周波数帯域)のみにおいて画像信号の彩度成分の補正量を、階調補正処理の処理内容に応じて算出し、該補正量を用いて画像信号の彩度成分を補正する。より具体的には、画像処理部30は、信号抽出手段L1によって抽出された画像信号の彩度成分の空間周波数帯域Farにおいて、彩度ゲイン算出手段G1によって算出された入力画像信号の彩度信号Cinの所与のレベル範囲Carの信号(図3では、範囲Sar)に対して、階調補正を行う。このとき、彩度ゲイン算出手段G1は、特定の彩度領域の再現性を維持できるように階調補正処理の処理内容に応じて彩度ゲインG1が算出されるため、階調の補正強度を異ならせることができる。
更に、例えば、階調補正後の彩度成分の高周波成分が多いとき、所望の信号成分が多く彩度ノイズが少ないと判断して補正強度を強くし、階調補正後の彩度成分の高周波成分が少ないとき、所望の信号成分が少なく彩度ノイズが多いと判断して、補正強度を弱くする。これにより、特定の彩度領域について再現性を維持させて画像の彩度ノイズを強調してしまうことなく全体的な彩度の傾向を変化させずに、信号抽出手段L1によって抽出された空間周波数帯域Farであって、彩度ゲイン算出手段G1によって算出された入力画像信号を構成する彩度信号Cinの所与のレベル範囲Carのみ、彩度成分を変化させることができるようになる。
なお、実施形態1では、高周波成分のレベルが小さくなって彩度ノイズが多くなるに従って空間周波数帯域が狭くなるように抽出された彩度信号に対して、低彩度でゲインが大きくなるように彩度ゲインを与えることで、低彩度部のディテールのみを増幅することができるようになっている。
信号抽出手段L1によって抽出される空間周波数帯域、彩度ゲイン算出手段G1によってゲイン係数gが算出される彩度成分のレベル範囲、彩度成分の高周波帯域や階調補正処理の内容は、それぞれ指定可能であるため、指定した空間周波数帯域の指定した彩度成分のレベル範囲のみ、入力画像信号の彩度変化を、彩度ノイズ量に合わせて増幅させることができる。
しかも、画面全体に対して一律の補正を行わないので、低彩度部と高彩度部とが混在している場合であっても、例えば一律に低彩度部の彩度も上げたり、或いは一律に高彩度部の彩度も下げたりすることもなく、低彩度部と高彩度部の両方のディテールを表現できるようになる。例えば、図3に示す場合には、入力画像信号の彩度の中周波数帯域から高周波数帯域に対して補正するため、入力画像の全体的な鮮やかさを変化させずに、ディテールのみを強調できるようになる。更に、画像の低彩度部のディテールと彩度ノイズとを区別することができるので、低彩度部のディテールと一緒に彩度ノイズを強調してしまう事態を回避できるようになる。
図4に、図1の画像処理部30のハードウェア構成例のブロック図を示す。
画像処理部30は、ラインメモリー32、34、多段フィルター回路(信号抽出回路)40、彩度信号補正量算出回路(彩度成分補正量算出部)50、彩度信号補正回路(彩度成分補正部)60、周波数解析回路70、UV−CH変換回路(広義には変換回路)80、CH−UV変換回路90、階調補正回路(階調補正部)200を含む。
ラインメモリー32は、入力画像信号を構成する輝度信号Y(入力画像信号の輝度成分)を格納する。ラインメモリー32に格納された輝度信号Yは、そのまま輝度信号Y1として出力される。
また、ラインメモリー34には、ラインメモリー32に輝度信号Yが格納されるタイミングに同期して、該輝度信号に対応した色差信号U、V(入力画像信号の色差成分)に対応した彩度信号Cin及び色相信号Hinが格納される。この彩度信号Cin及び色相信号Hinは、色差信号U、VをUV−CH変換回路80により変換することで得られる。
UV−CH変換回路80は、例えば以下の式に従って、色差信号U、Vを彩度信号Cin及び色相信号Hinに変換し、ラインメモリー34に格納する。ラインメモリー34には、多段フィルター回路40で必要なライン数分の彩度信号Cinが格納される。
ラインメモリー34に格納された色相信号Hinは、そのまま色相信号Houtとして出力される。一方、ラインメモリー34に格納された彩度信号Cinは、下記のディテール強調処理に供される。
多段フィルター回路40は、ラインメモリー34に格納された彩度信号Cin(画像信号の彩度成分)から所与の空間周波数帯域の信号を抽出する。この多段フィルター回路40は、図2の信号抽出手段L1の機能を実現することができる。
周波数解析回路70は、ラインメモリー34に格納されている彩度信号の空間周波数を解析する。より具体的には、周波数解析回路70は、彩度信号の高周波成分を抽出すると共に、ラインメモリー34からの彩度信号から彩度ノイズを除去することができる。周波数解析回路70によって抽出された彩度信号の高周波成分の絶対値である出力highCは、周波数解析回路70の解析結果として彩度信号補正量算出回路50に供給される。周波数解析回路70によって彩度ノイズが除去された彩度信号は、彩度信号NRとして階調補正回路200に供給される。
階調補正回路200は、補正前の輝度成分と補正後の輝度成分の関係を示す所与の補正カーブに従って、彩度信号NRを補正し、補正後の彩度信号を彩度信号補正回路60に出力すると共に、この補正処理に対応した信号GRを彩度信号補正量算出回路50に出力する。信号GRは、階調補正回路200によって行われた階調補正処理の内容に対応した信号である。この階調補正回路200による階調補正処理によって、彩度レンジが圧縮された場合でも所望の彩度領域のみ再現性を維持できるようになる。階調補正回路200は、図2の階調補正手段H1の機能を実現することができる。
彩度信号補正量算出回路50は、多段フィルター回路40の出力と、ラインメモリー34に格納されている彩度信号と、周波数解析回路70の解析結果と、階調補正回路200によって行われた階調補正処理の処理内容とに基づいて、彩度信号の補正量に対応する補正信号VAを算出する。即ち、彩度信号補正量算出回路50は、出力highC(周波数解析回路70の解析結果)及び階調補正処理の処理内容に応じて、多段フィルター回路40によって抽出された所与の空間周波数帯域の彩度信号のうち所与の彩度レベル範囲の彩度信号に対する補正量を算出することができる。この彩度信号補正量算出回路50は、図2の彩度ゲイン算出手段G1の機能を実現することができる。
彩度信号補正回路60は、彩度信号補正量算出回路50によって算出された補正量を用いて、階調補正回路200によって階調補正された彩度信号を補正し、補正後の彩度信号Coutとして出力する。
CH−UV変換回路90は、彩度信号補正回路60からの彩度信号Coutと、ラインメモリー34からの色相信号Houtとを、色差信号U1、V1に変換する。CH−UV変換回路90は、例えば以下の式に従って、彩度信号Cout及び色相信号Houtを色差信号U1、V1に変換する。
こうして画像処理部30は、輝度信号Y1、及び色相信号Houtとディテール強調処理された彩度信号Coutとから変換された色差信号U1、V1からなる画像信号を投射部100に出力する。
このように画像処理部30は、所与の空間周波数帯域において所与の彩度レベルの彩度信号に対してのみ、階調補正処理の処理内容に応じて彩度信号を補正することができる。この際、画像処理部30は、UV−CH変換回路80を含み、入力画像信号を構成する色差信号(色差成分)を、該色差信号に対応する彩度信号Cin及び色相信号Hinに変換し、該彩度信号Cinに対してディテール強調処理を行うようにしている。これにより、色相を変化させることなく、高彩度部及び低彩度部が混在していた場合であってもこれらのディテールを表現できるようになる。
次に、画像処理部30を構成する各ブロックについて説明する。
図5に、図4の周波数解析回路70の構成例のブロック図を示す。図5において、図4と同一部分には同一符号を付し、適宜説明を省略する。なお、図5では、周波数解析回路70に加えて、図4のラインメモリー34についても図示している。
周波数解析回路70は、高周波成分抽出回路(高周波成分抽出部)72と、彩度ノイズ除去回路(彩度ノイズ除去部)74とを含む。高周波成分抽出回路72は、ラインメモリー34に蓄積された彩度信号から、画像の低彩度部のディテールと彩度ノイズが含まれる所与の高周波成分を抽出して、その絶対値を出力highCとして出力する。彩度ノイズ除去回路74は、ラインメモリー34に蓄積された彩度信号から、彩度ノイズを除去した彩度信号NRを生成する。ここで、彩度ノイズ除去回路74は、高周波成分抽出回路72によって抽出された高周波成分を用いて、彩度信号NRを生成する。
高周波成分抽出回路72は、HPF(High Pass Filter)回路73を含む。HPF回路73には、ラインメモリー34から彩度信号が入力され、該彩度信号の高周波成分の絶対値を出力highCとして、彩度信号補正量算出回路50や彩度ノイズ除去回路74に出力する。このようなHPF回路73は、公知のHPF処理により、次式に従って出力highCを、高周波成分の絶対値として出力する。
ここで、highCはHPF回路73の出力、Cは入力彩度信号、(x,y)は対象画素の座標であり、aHPFはフィルター係数、(u,v)は対象画素を中心とした相対座標系で上記の範囲をとり、sはフィルターのサイズを表す。sは、例えば「3」とすることができるが、「3」以外であってもよい。
彩度ノイズ除去回路74は、LPF(Low Pass Filter)回路75、重み付け算出回路76、乗算器77、78、加算器79を含む。LPF回路75には、ラインメモリー34から彩度信号が入力され、該彩度信号の低周波成分を通す。このようなLPF回路75は、公知のLPF処理により、次式に従って出力lowYを出力する。
ここで、lowCはLPF回路75の出力、Cは入力彩度信号、(x,y)は対象画素の座標であり、aLPFはフィルター係数、(u,v)は対象画素を中心とした相対座標系で上記の範囲をとり、sはフィルターのサイズを表す。sは、例えば「5」とすることができるが、「5」以外であってもよく、HPF回路73のフィルターサイズより大きいことが望ましい。
図6に、図5のHPF回路73、LPF回路75のフィルター特性の一例を示す。図6は、横軸に彩度信号の周波数、縦軸にゲインを表す。
HPF回路73の出力は、彩度信号の空間周波数が低い領域では小さくなり、彩度信号の空間周波数が高い領域では大きくなる(図6のT1)。このHPF回路73のカットオフ周波数は、ωHPFである。一方、LPF回路75の出力は、彩度信号の空間周波数が低い領域では大きくなり、彩度信号の空間周波数が高い領域では小さくなる(図6のT2)。このLPF回路75のカットオフ周波数は、ωLPFである。ここで、HPF回路73のカットオフ周波数とLPF回路75のカットオフ周波数とは等しいことが望ましい(ωHPF=ωLPF=ωcut)。これにより、元の彩度信号の情報を欠落させることなく、彩度信号を補正することができるようになる。
図5において、重み付け算出回路76は、高周波成分抽出回路72からの出力に応じて、重み付け量を算出する。重み付け算出回路76は、HPF回路73の出力highCに対応した重み付け量をルックアップテーブル(LookUp Table:以下、LUTと略す)形式で保存しており、HPF回路73からの出力に対応した値を読み出したり、HPF回路73からの出力に対応した複数の値を補間して出力したりできるようになっている。
図7に、重み付け算出回路76の動作説明図を示す。
重み付け算出回路76は、HPF回路73の出力に応じて、乗算器77に対して重み付け係数αLPFを出力すると共に、乗算器78に対して重み付け係数αHPFを出力する。より具体的には、重み付け算出回路76は、HPF回路73からの出力に対応した重み付け係数αHPF、αLPFを予めLUT形式により記憶されている。すなわち、重み付け算出回路76には、予めHPF回路73の出力に対応した重み付け係数(αHPFa,αLPFa)、(αHPFb,αLPFb)、(αHPFc,αLPFc)、・・・が記憶されており、HPF回路73の出力highCが入力されたとき、これに対応した重み付け係数αHPF、αLPFを出力するようになっている。
図8に、重み付け算出回路76が出力する重み付け係数αHPF、αLPFの説明図を示す。図8は、横軸にHPF回路73の出力、縦軸に重み付け算出回路76が出力する重み付け量としての重み付け係数αHPF、αLPFを表す。
重み付け算出回路76には、HPF回路73の出力highCが大きくなるに従って、値が大きくなる重み付け係数αHPFを記憶する(図8のT10)と共に、HPF回路73の出力highCが大きくなるに従って、値が小さくなる重み付け係数αLPFを記憶する(図8のT11)。なお、図8では、HPF回路73の出力highCに応じて重み付け係数αHPF、αLPFがリニアに増加又は減少しているが、所与の関数に従って重み付け係数αHPF、αLPFが増加又は減少していてもよい。
図5において、乗算器77は、LPF回路75の出力と重み付け算出回路76からの重み付け係数αLPFとの乗算結果を出力し、加算器79に出力する。乗算器78は、HPF回路73の出力と重み付け算出回路76からの重み付け係数αHPFとの乗算結果を出力し、加算器79に出力する。加算器79は、乗算器77の乗算結果と乗算器78の乗算結果とを加算し、彩度ノイズを除去した後の彩度信号NRとして出力する。即ち、彩度ノイズ除去回路74は、次の式に従って彩度信号NRを出力する。
上式において、highCはHPF回路73の出力であり、lowCはLPF回路75の出力である。
重み付け算出回路76が、図8に示したように重み付け係数αHPF、αLPFを出力するため、彩度信号NRは、高周波の彩度ノイズが除去された信号となる。即ち、HPF回路73の出力highCが小さい領域は、主として低周波数帯域に分布する彩度信号に対応しており、重み付け係数αHPFを小さくし、重み付け係数αLPFを大きくすることで、彩度ノイズを強調させることなく、所望の彩度信号NRを得ることができる。一方、HPF回路73の出力highCが大きい領域は、主として高周波数帯域に分布する彩度信号に対応しており、重み付け係数αHPFを大きくし、重み付け係数αLPFを小さくすることで、所望の彩度信号NRを得ることができる。
なお、図5では、周波数解析回路70が、高周波成分抽出回路72及び彩度ノイズ除去回路74を含む構成を有しているものとして説明したが、周波数解析回路70が高周波成分抽出回路72のみを含む構成を有し、ラインメモリー34に蓄積された彩度信号がそのまま彩度信号NRとして階調補正回路200に供給されてもよい。
図9に、図4の多段フィルター回路40の構成例のブロック図を示す。図9において、図4と同一部分には同一符号を付し、適宜説明を省略する。
多段フィルター回路40は、互いにフィルターサイズが異なる第1〜第3のフィルター回路42、44、46を含む。図9では、多段フィルター回路40が、3種類のフィルター回路でフィルター処理を行う例を説明するが、フィルター回路の数に本発明が限定されるものではない。
多段フィルター回路40は、それぞれが抽出する信号の周波数帯域が異なる複数のフィルター回路を有し、各フィルター回路は、画像の水平方向及び垂直方向に並ぶ画素の画素値と、フィルター係数行列との畳み込み演算結果を出力する。
第1のフィルター回路42は、次の式に従ってフィルター処理された結果を出力することができる。
上式において、第1のフィルター回路42の出力をFO1、座標(x,y)の彩度信号をC(x,y)、フィルター係数をa、(i,j)は対象画素を中心とした相対座標で上式の範囲をとり、フィルターサイズをsとする。各フィルター回路には、フィルターサイズに対応したライン数(垂直走査ライン数)の彩度信号が入力される。
上式では、第1のフィルター回路42の出力について示したが、第2及び第3のフィルター回路44、46も、上式と同様のフィルター処理結果を出力することができる(出力FO2、FO3)。
図9では、第1のフィルター回路42のフィルターサイズを「3」、第2のフィルター回路44のフィルターサイズを「5」、第3のフィルター回路46のフィルターサイズを「7」とするが、フィルターサイズに本発明が限定されるものではない。
図10に、図4の階調補正回路200の構成例のブロック図を示す。図10において、図4と同一部分には同一符号を付し、適宜説明を省略する。また、図10では、彩度信号補正量算出回路50、彩度信号補正回路60及び周波数解析回路70も併せて図示している。
階調補正回路200は、LUT記憶回路210、階調補正処理回路220、微分算出回路230を含む。LUT記憶回路210には、補正前の輝度成分と補正後の輝度成分の関係を示す補正カーブに対応した補正データがLUT形式で記憶される。階調補正処理回路220は、LUT記憶回路210に記憶された補正データに基づいて、周波数解析回路70からの彩度信号NRを補正する。
図11に、図10のLUT記憶回路210に記憶される補正データの説明図を示す。図11は、横軸に補正データに基づく階調補正前の彩度信号を表し、縦軸に該補正データに基づく階調補正後の彩度信号を表す。
例えば、LUT記憶回路210は、低彩度側ほど傾きが大きくなる補正カーブF1に対応した補正データを記憶する。より具体的には、LUT記憶回路210は、彩度信号が「0」のときに傾きが最大となり、変曲点から離れるほど傾きが小さくなる補正カーブに対応した補正データを記憶している。
このような補正カーブに従って階調補正処理を行う場合、例えば補正カーブの傾きが小さい彩度信号ほどディテールの強調度合いを大きくすることで、見えを改善させることができる。
或いは、LUT記憶回路210は、階調補正前の彩度信号が階調補正後の彩度信号とほぼ等しい直線状の補正カーブF2に対応した補正データを記憶してもよい。このような補正カーブに従って階調補正処理を行う場合、どの階調でもディテールの強調度合いを一定にすることができる。
例えば、明室では補正カーブF1に従って階調補正を行い、暗室では補正カーブF2に従って階調補正を行うことが望ましい。
このような補正データは、階調補正処理回路220及び微分算出回路230に供給される。そのため、階調補正処理回路220は、該補正データにより特定される補正カーブに従って、彩度信号NRを補正することができる。階調補正処理回路220によって補正された彩度信号は、彩度信号補正回路60に供給される。
一方、微分算出回路230は、LUT記憶回路210からの補正データに基づいて、周波数解析回路70からの彩度信号NRにおける補正カーブの傾きを算出する。微分算出回路230によって算出された補正カーブの傾きに対応した信号GRは、彩度信号補正量算出回路50に供給される。これにより、彩度信号補正量算出回路50は、補正カーブの傾きに応じて、彩度信号の補正量を算出することができるようになり、階調補正処理に応じた補正量の算出が可能となる。
図12に、図4の彩度信号補正量算出回路50の構成例のブロック図を示す。図12において、図4と同一部分には同一符号を付し、適宜説明を省略する。図12では、周波数解析回路70及び階調補正回路200についても併せて図示している。
図13に、図12の重み付け算出回路52の動作説明図を示す。
図14に、図12の彩度ゲイン算出回路56の動作説明図を示す。
彩度信号補正量算出回路50は、重み付け算出回路52、乗算器531〜533、加算器54、乗算器55、彩度ゲイン算出回路56を含む。
重み付け算出回路52には、周波数解析回路70の高周波成分抽出回路72のHPF回路73によって生成された出力highCが入力される。そして、重み付け算出回路52は、図13に示すように、HPF回路73からの出力highCに応じて、重み付け係数g1〜g3を算出する。
このような重み付け算出回路52は、入力をHPF回路73からの出力highCとし、出力を重み付け係数g1〜g3とするLUTにより実現される。そのため、重み付け算出回路52には、予めHPF回路73からの出力highCに対応した重み付け係数(g1a,g2a,g3a)、(g1b,g2b,g3b)、(g1c,g2c,g3c)、・・・が記憶されており、HPF回路73から出力highCが入力されたとき、これに対応した重み付け係数を出力するようになっている。
加算器54は、乗算器531〜533の各乗算結果を加算し、その加算結果を乗算器55に出力する。この乗算器55には、更に、彩度ゲイン算出回路56によって算出された彩度ゲイン係数hが入力されている。
彩度ゲイン算出回路56には、階調補正回路200からの信号GRが入力される。そして、彩度ゲイン算出回路56は、図14に示すように、階調補正回路200からの信号GRに応じて、彩度ゲインhを算出する。
このような彩度ゲイン算出回路56は、入力を階調補正回路200からの信号GRとし、出力を彩度ゲインhとするLUTにより実現される。そのため、彩度ゲイン算出回路56には、予め階調補正回路200からの信号GRに対応した彩度ゲインha、hb、hc、・・・が記憶されており、階調補正回路200から信号GRが入力されたとき、これに対応した彩度ゲインを出力するようになっている。
図12の乗算器55は、加算器54の加算結果に、彩度ゲイン算出回路56からの彩度ゲインhを乗算し、その乗算結果を、彩度信号の補正量に対応した補正信号VAとして出力する。この補正信号VAは、彩度信号補正回路60に入力される。
このように、彩度信号補正量算出回路50は、多段フィルター回路40(広義には信号抽出回路)によって抽出された所与の空間周波数帯域の信号と、階調補正回路200による階調補正処理の処理内容に対応して彩度ゲイン算出回路56によって算出された彩度ゲイン係数とに基づいて、彩度信号の補正量を算出することができる。或いは、彩度信号補正量算出回路50は、少なくとも、高周波成分抽出回路72によって抽出された高周波成分に対応して、多段フィルター回路40からの所与の空間周波数帯域の信号を重み付けした信号と、階調補正処理の処理内容とに基づいて、彩度信号の補正量を算出するということができる。
ここで、彩度信号補正量算出回路50は、補正カーブの傾きに対応した信号GRを用いて補正量を算出することができる。そのため、例えば図11に示す補正カーブに従って補正量を算出する場合、彩度信号補正量算出回路50は、補正カーブの傾きが小さい階調に対応する彩度成分ほど大きくなり、かつ、該補正カーブの傾きが大きい階調に対応する彩度成分ほど小さくなる補正量を算出することができる。
なお、彩度信号補正量算出回路50は、図12に示す構成に限定されるものではない。例えば、図12において、重み付け算出回路52に多段フィルター回路40からのFO1〜FO3を入力させるようにしてもよい。
実施形態1における画像処理部30の処理は、ソフトウェア処理によって実現することもできる。この場合、画像処理部30は、中央演算処理装置(Central Processing Unit:以下、CPUと略す)、読み出し専用メモリー(Read Only Memory:以下、ROMと略す)又はランダムアクセスメモリー(Random Access Memory:以下、RAMと略す)を有し、ROM又はRAMに格納されたプログラムを読み込んだCPUが、該プログラムに対応した処理を実行することで乗算器や加算器等のハードウェアを制御して、上記の彩度成分の補正処理を行う。
図15に、実施形態1における画像処理部30の彩度信号の補正処理例のフロー図を示す。図15の処理をソフトウェアで実現する場合、画像処理部30が内蔵するROM又はRAMに図15に示す処理を実現するプログラムが格納される。
まず、画像処理部30は、入力彩度信号蓄積ステップとして、入力画像信号を構成する彩度信号(入力彩度信号)を蓄積する(ステップS10)。この場合、彩度信号は、ラインメモリー34、又はラインメモリー34の機能を実現するRAMに格納される。
次に、画像処理部30は、信号抽出ステップとして、彩度信号の特定の空間周波数帯域を抽出する(ステップS12)。例えば、多段フィルター回路40により所与の空間周波数帯域の彩度信号を抽出する。或いは、ソフトウェア処理で実現する場合には、CPUが多段フィルター回路40の機能を実現する乗算器や加算器を制御して上記の空間周波数帯域の彩度信号を抽出する。
その後、画像処理部30は、周波数解析ステップとして、彩度信号の空間周波数を解析する(ステップS14、ステップS16)。より具体的には、ステップS14では、高周波成分抽出ステップとして、入力画像信号を構成する彩度信号から所与の高周波成分の彩度信号が抽出される。そして、ステップS16では、彩度ノイズ除去ステップとして、ラインメモリー34等に蓄積された彩度信号から彩度ノイズ成分が除去される。
そして、画像処理部30は、階調補正ステップとして、ステップS16において彩度ノイズが除去された彩度信号に対して、図10及び図11で説明したように階調補正処理を行う(ステップS18)。このステップS18において、画像処理部30は、階調補正処理で用いられる補正カーブのうち当該彩度信号における傾きを、階調補正処理の処理内容として算出する。
続いて、画像処理部30は、彩度成分補正量算出ステップとして、彩度信号の補正量を算出する(ステップS20、ステップS22)。より具体的には、ステップS20において、彩度ゲイン算出ステップとして、ステップS18における階調補正処理の処理内容に対応した彩度ゲインが算出される。ここでは、ステップS18で算出された階調補正処理で用いられる補正カーブのうち当該彩度信号における傾きに対応した彩度ゲインが算出される。そして、ステップS22では、多段フィルター回路40で抽出された信号に対して、ステップS14で抽出された高周波成分の彩度信号(HPF回路73の出力highC)に応じた係数で重み付けされた後、ステップS20で算出された彩度ゲインが乗算されて補正信号VAとして出力される。或いは、ソフトウェア処理で実現する場合には、CPUが、信号抽出処理により抽出した信号に対して、ステップS14で抽出された高周波成分の彩度信号に応じた係数で重み付けした後、ステップS20で算出された彩度ゲインが乗算されて補正信号VAとして出力する。
そして、画像処理部30は、彩度成分補正ステップとして、ステップS24で算出された補正量を用いて、ステップS18における階調補正処理後の彩度信号を補正し(ステップS24)、補正後の彩度信号を出力して(ステップS26)、一連の処理を終了する(エンド)。即ち、ステップS24では、彩度信号補正回路60が、階調補正処理後の彩度信号に、補正信号VAを加算して、補正後の彩度信号を生成する。或いは、ソフトウェア処理で実現する場合には、CPUが、階調補正処理後の彩度信号に、補正信号VAを加算して、補正後の彩度信号を生成する。
なお、図15に示す処理において、各ステップの順序を適宜入れ替えても、同様の処理を実現できる。
輝度信号Y1、色差信号U1、V1は、投射部100に出力される。投射部100は、輝度信号Y1及び色差信号U1、V1に基づいて、光源からの光を変調し、変調後の光をスクリーンSCRに投射することができる。
図16に、図1の投射部100の構成例の図を示す。図16では、実施形態1における投射部100が、いわゆる3板式の液晶プロジェクターにより構成されるものとして説明するが、本発明に係る画像表示装置の投射部がいわゆる3板式の液晶プロジェクターにより構成されるものに限定されるものではない。即ち、以下では、1画素がR成分のサブ画素、G成分のサブ画素、及びB成分のサブ画素により構成されるものとして説明するが、1画素を構成するサブ画素数(色成分数)に限定されるものではない。
また、図16では、画像処理部30から入力される輝度信号Y1、色差信号U1、V1が、RGBの各色成分の画像信号に変換された後、色成分毎に光源からの光を変調するものとする。この場合、RGB信号への変換回路は、画像処理部30が備えていてもよいし、投射部100が備えていてもよい。
実施形態1における投射部100は、光源110、インテグレーターレンズ112、114、偏光変換素子116、重畳レンズ118、R用ダイクロイックミラー120R、G用ダイクロイックミラー120G、反射ミラー122、R用フィールドレンズ124R、G用フィールドレンズ124G、R用液晶パネル130R(第1の光変調素子)、G用液晶パネル130G(第2の光変調素子)、B用液晶パネル130B(第3の光変調素子)、リレー光学系140、クロスダイクロイックプリズム160、投射レンズ170を含む。R用液晶パネル130R、G用液晶パネル130G及びB用液晶パネル130Bとして用いられる液晶パネルは、透過型の液晶表示装置である。リレー光学系140は、リレーレンズ142、144、146、反射ミラー148、150を含む。
光源110は、例えば超高圧水銀ランプにより構成され、少なくともR成分の光、G成分の光、B成分の光を含む光を射出する。インテグレーターレンズ112は、光源110からの光を複数の部分光に分割するための複数の小レンズを有する。インテグレーターレンズ114は、インテグレーターレンズ112の複数の小レンズに対応する複数の小レンズを有する。重畳レンズ118は、インテグレーターレンズ112の複数の小レンズから射出される部分光を液晶パネル上で重畳する。
また偏光変換素子116は、偏光ビームスプリッターレイとλ/2板とを有し、光源110からの光を略一種類の偏光光に変換する。偏光ビームスプリッターレイは、インテグレーターレンズ112により分割された部分光をp偏光とs偏光に分離する偏光分離膜と、偏光分離膜からの光の向きを変える反射膜とを、交互に配列した構造を有する。偏光分離膜で分離された2種類の偏光光は、λ/2板によって偏光方向が揃えられる。この偏光変換素子116によって略一種類の偏光光に変換された光が、重畳レンズ118に照射される。
重畳レンズ118からの光は、R用ダイクロイックミラー120Rに入射される。R用ダイクロイックミラー120Rは、R成分の光を反射して、G成分及びB成分の光を透過させる機能を有する。R用ダイクロイックミラー120Rを透過した光は、G用ダイクロイックミラー120Gに照射され、R用ダイクロイックミラー120Rにより反射した光は反射ミラー122により反射されてR用フィールドレンズ124Rに導かれる。
G用ダイクロイックミラー120Gは、G成分の光を反射して、B成分の光を透過させる機能を有する。G用ダイクロイックミラー120Gを透過した光は、リレー光学系140に入射され、G用ダイクロイックミラー120Gにより反射した光はG用フィールドレンズ124Gに導かれる。
リレー光学系140では、G用ダイクロイックミラー120Gを透過したB成分の光の光路長と他のR成分及びG成分の光の光路長との違いをできるだけ小さくするために、リレーレンズ142、144、146を用いて光路長の違いを補正する。リレーレンズ142を透過した光は、反射ミラー148によりリレーレンズ144に導かれる。リレーレンズ144を透過した光は、反射ミラー150によりリレーレンズ146に導かれる。リレーレンズ146を透過した光は、B用液晶パネル130Bに照射される。
R用フィールドレンズ124Rに照射された光は、平行光に変換されてR用液晶パネル130Rに入射される。R用液晶パネル130Rは、光変調素子(光変調部)として機能し、R用画像信号に基づいて透過率(通過率、変調率)が変化するようになっている。従って、R用液晶パネル130Rに入射された光(第1の色成分の光)は、R用画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム160に入射される。
G用フィールドレンズ124Gに照射された光は、平行光に変換されてG用液晶パネル130Gに入射される。G用液晶パネル130Gは、光変調素子(光変調部)として機能し、G用画像信号に基づいて透過率(通過率、変調率)が変化するようになっている。従って、G用液晶パネル130Gに入射された光(第2の色成分の光)は、G用画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム160に入射される。
リレーレンズ142、144、146で平行光に変換された光が照射されるB用液晶パネル130Bは、光変調素子(光変調部)として機能し、B用画像信号に基づいて透過率(通過率、変調率)が変化するようになっている。従って、B用液晶パネル130Bに入射された光(第3の色成分の光)は、B用画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム160に入射される。
R用液晶パネル130R、G用液晶パネル130G、B用液晶パネル130Bは、それぞれ同様の構成を有している。各液晶パネルは、電気光学物質である液晶を一対の透明なガラス基板に密閉封入したものであり、例えばポリシリコン薄膜トランジスターをスイッチング素子として、各サブ画素の画像信号に対応して各色光の通過率を変調する。
実施形態1では、1画素を構成する色成分毎に光変調素子としての液晶パネルが設けられ、各液晶パネルの透過率がサブ画素に対応した画像信号により制御される。即ち、R成分のサブ画素用の画像信号が、R用液晶パネル130Rの透過率(通過率、変調率)の制御に用いられ、G成分のサブ画素用の画像信号が、G用液晶パネル130Gの透過率の制御に用いられ、B成分のサブ画素用の画像信号が、B用液晶パネル130Bの透過率の制御に用いられる。
クロスダイクロイックプリズム160は、R用液晶パネル130R、G用液晶パネル130G及びB用液晶パネル130Bからの入射光を合成した合成光を出射光として出力する機能を有する。投射レンズ170は、出力画像をスクリーンSCR上に拡大して結像させるレンズである。
実施形態1における階調補正処理を行った後に、画像表示ステップとしてこのような投射部100を制御して、上記の階調補正処理において補正された画像信号に基づいて画像を表示することで、補正対象外の彩度領域に影響を与えることなく画像のディテールの表現を改善する画像表示方法を提供できる。
〔実施形態1の第1の変形例〕
実施形態1における画像処理部30では、彩度信号補正量算出回路50が、図12に示すように、重み付け算出回路52と彩度ゲイン算出回路56とを有し、重み付け係数や彩度ゲイン係数を乗算する乗算器により補正信号VAを生成する構成となっていたが、本発明はこれに限定されるものではない。
図17に、実施形態1の第1の変形例における彩度信号補正量算出回路の構成例のブロック図を示す。例えば実施形態1における彩度信号補正量算出回路50に代えて、図17に示す彩度信号補正量算出回路が図4の画像処理部30に内蔵される。
彩度信号補正量算出回路300は、第1〜第3のLUT3021〜3023、乗算器3041〜3043、加算器306を含む。この彩度信号補正量算出回路300は、第1〜第3のLUT3021〜3023の各LUTからの彩度ゲイン係数を、多段フィルター回路40の各出力に乗算した後、各乗算結果を加算して補正信号VAとして出力する。
図18(A)、図18(B)、図18(C)に、図17の第1〜第3のLUT3021〜3023の動作説明図を示す。
第1のLUT3021には、階調補正回路200からの信号GR及び入力画像信号を構成する彩度信号が入力され、信号GR及び彩度信号に対応した彩度ゲイン係数j1を出力する。そのため、第1のLUT3021には、予め信号GR及び彩度信号に対応した彩度ゲイン係数j1a、j1b、j1c・・・が記憶されており、信号GR及び彩度信号が入力されたとき該信号GR及び彩度信号に対応した彩度ゲイン係数を彩度ゲイン係数j1として出力するようになっている。
第2のLUT3022には、階調補正回路200からの信号GR及び入力画像信号を構成する彩度信号が入力され、信号GR及び彩度信号に対応した彩度ゲイン係数j2を出力する。そのため、第2のLUT3022には、予め信号GR及び彩度信号に対応した彩度ゲイン係数j2a、j2b、j2c・・・が記憶されており、信号GR及び彩度信号が入力されたとき該信号GR及び彩度信号に対応した彩度ゲイン係数を彩度ゲイン係数j2として出力するようになっている。
第3のLUT3023には、階調補正回路200からの信号GR及び入力画像信号を構成する彩度信号が入力され、信号GR及び彩度信号に対応した彩度ゲイン係数j3を出力する。そのため、第3のLUT3023には、予め信号GR及び彩度信号に対応した彩度ゲイン係数j3a、j3b、j3c・・・が記憶されており、信号GR及び彩度信号が入力されたとき該信号GR及び彩度信号に対応した彩度ゲイン係数を彩度ゲイン係数j3として出力するようになっている。
図17において、乗算器3041は、多段フィルター回路40を構成する第1のフィルター回路42の出力FO1と第1のLUT3021からの彩度ゲイン係数j1とを乗算し、乗算結果を加算器306に出力する。乗算器3042は、多段フィルター回路40を構成する第2のフィルター回路44の出力FO2と第2のLUT3022からの彩度ゲイン係数j2とを乗算し、乗算結果を加算器306に出力する。乗算器3043は、多段フィルター回路40を構成する第3のフィルター回路46の出力FO3と第3のLUT3023からの彩度ゲイン係数j3とを乗算し、乗算結果を加算器306に出力する。
加算器306は、乗算器3041〜3043の各乗算結果を加算し、加算結果を補正信号VAとして出力する。
以上のように、実施形態1の第1の変形例における画像処理部は、画像信号の彩度成分から所与の空間周波数帯域の信号を抽出する多段フィルター回路40を含み、彩度信号補正量算出回路300は、多段フィルター回路40の出力ごとに設けられ、信号GR及び補正前の彩度成分のレベルに対応したゲインを出力する複数のテーブルと、多段フィルター回路40の出力ごとに設けられ多段フィルター回路40の出力と上記の複数のテーブルを構成する各テーブルの出力とを乗算する複数の乗算器と、複数の乗算器の乗算結果を加算する加算器とを含み、加算器の出力を彩度成分の補正量として算出することができる。
このような実施形態1の第1の変形例では、実施形態1と同様に、所与の空間周波数帯域において所与の彩度レベル範囲の彩度信号のみを、階調補正回路200の階調補正処理の処理内容に応じて補正できる。
また、実施形態1の第1の変形例によれば、実施形態1と比較して、彩度信号補正量算出回路に内蔵される乗算器の数を減らすことができるので、低消費電力化及び低コスト化が可能となる。
〔実施形態1の第2の変形例〕
実施形態1の第1の変形例における彩度信号補正量算出回路300は、図17に示すように、第1〜第3のLUT3021〜3023と、乗算器3041〜3043と、加算器306とを有し、第1〜第3のLUT3021〜3023からの彩度ゲイン係数を用いた乗算器の乗算結果を加算する構成であったが、本発明はこれに限定されるものではない。
図19に、実施形態1の第2の変形例における彩度信号補正量算出回路の構成例のブロック図を示す。例えば実施形態1における彩度信号補正量算出回路50に代えて、図19に示す彩度信号補正量算出回路350が図4の画像処理部30に内蔵される。
彩度信号補正量算出回路350は、LUT352を含む。この彩度信号補正量算出回路350は、LUT352からの出力を補正信号VAとして出力する。
図20に、図19のLUT352の動作説明図を示す。
LUT352には、階調補正回路200からの信号GR及び入力画像信号を構成する彩度信号と、多段フィルター回路40を構成する第1〜第3のフィルター回路42〜44の各フィルター回路の出力FO1〜FO3が入力され、信号GR、彩度信号及び各フィルター回路の出力との組み合わせに対応した補正量を出力する。この補正量が、補正信号VAとして出力される。そのため、LUT352には、予め信号GR、彩度信号及び各フィルター回路の出力FO1〜FO3との組み合わせに対応した補正量VAa、VAb、・・・、VAc、VAd、・・・、VAe、VAf、・・・、VAj・・・が記憶されており、信号GR、彩度信号及び各フィルター回路の出力が入力されたとき、これらの組み合わせに対応した補正量を出力するようになっている。
以上のように、実施形態1の第2の変形例における画像処理部は、画像信号の彩度成分から所与の空間周波数帯域の信号を抽出する多段フィルター回路(広義には信号抽出回路)40を含み、彩度信号補正量算出回路350は、多段フィルター回路40の出力と信号GRと補正前の彩度成分のレベルとに対応した彩度成分の補正量を出力するテーブルを含むことができる。そして、このテーブルが出力する補正量を補正信号VAとして出力する。
実施形態1の第2の変形例では、実施形態1又は実施形態1の第1の変形例と同様に、所与の空間周波数帯域において所与の彩度レベル範囲の彩度信号のみを、階調補正回路200における階調補正処理の処理内容に応じて補正できる。
また、実施形態1の第2の変形例によれば、実施形態1又は実施形態1の第1の変形例と比較して、彩度信号補正量算出回路に内蔵される乗算器及び加算器を無くすことができるので、大幅な低消費電力化及び低コスト化が可能となる。
〔実施形態2〕
実施形態1又はその変形例では、視環境(使用環境)にかかわらず、入力彩度信号に対して階調補正処理を行っていたが、本発明はこれに限定されるものではない。本発明に係る実施形態2では、視環境に応じて階調補正処理を行い、その階調補正処理の処理内容に応じて補正強度を異ならせることで、視環境に応じてレンジが異なる場合であっても階調補正によって潰れてしまうディテールの見えを改善する。
図21に、本発明に係る実施形態2における画像表示システムの構成例のブロック図を示す。図21において、図1と同一部分には同一符号を付し、適宜説明を省略する。
画像表示システム510は、プロジェクター(広義には画像表示装置)520と、スクリーンSCRとを含む。プロジェクター520は、プロジェクター20と同様に、入力画像信号に基づいて図示しない光源からの光を変調し、変調後の光をスクリーンSCRに投射することで画像を表示する。
プロジェクター520は、画像処理部530(広義には画像処理装置)と、投射部100(広義には画像表示部)と、センサー600と、補正強度算出部610とを含む。図21では、センサー600及び補正強度算出部610がプロジェクター520に内蔵されているものとして示しているが、センサー600及び補正強度算出部610の少なくとも1つがプロジェクター520の外部に設けられてもよい。或いは、センサー600及び補正強度算出部610の少なくとも1つが、画像処理部530又は投射部100に内蔵されていてもよい。
センサー600は、プロジェクター520の使用環境(周辺光、外光)の投射領域における輝度と投射部100の最大出力輝度とを測定する。このようなセンサー600の機能は、いわゆるイメージセンサーや輝度計等の公知の測定機器によって実現される。センサー600によって測定された輝度に基づいて、補正強度算出部610は、画像処理部530による入力画像信号の補正強度HSを算出し、該補正強度HSを画像処理部530に出力する。
画像処理部530は、補正強度算出部610からの補正強度HSを用いて、補正対象外の彩度領域に影響を与えることなく表示画像の低彩度部や高彩度部のディテールを表現できるように入力画像信号を補正し、補正後の画像信号を投射部100に出力する。投射部100は、画像処理部30からの画像信号に基づいて変調した光をスクリーンSCRに投射する。
以下では、実施形態2におけるプロジェクター520の詳細な構成例について説明するが、実施形態1と共通のブロックについては図示及び説明を省略する。
図22に、図21のセンサー600及び補正強度算出部610の説明図を示す。図22は、図21の画像表示システム510においてプロジェクター520がスクリーンSCRに画像を投射する様子を横方向から見た図を模式的に表す。図22において、図21と同一部分には同一符号を付し、適宜説明を省略する。
例えば、外部照明650による照明の下で、プロジェクター520が、スクリーンSCRに画像を投射するものとする。このとき、外部照明650がスクリーンSCRに映り込むことで、スクリーンSCRの投射画像の見え方が大きく異なってしまう。そこで、センサー600は、外部照明650による外光の輝度Yi、プロジェクター520の投射部100の出力光の最大輝度Ydを取得し、補正強度算出部610は、輝度Yi、Ydに基づいて、補正強度HSを算出する。
実施形態2では、センサー600をプロジェクター520の投射領域の方向に向けておき、プロジェクター520に黒画像と白画像とを表示させる。黒画像を投射したとき、プロジェクター520からの漏れ光を無視して、センサー600の測定結果を外部照明650の輝度Yiに相当する輝度Ys1(Ys1≒Yi)と判断する。一方、白画像を投射したとき、センサー600の測定結果をプロジェクター20(投射部100)の出力光の最大輝度Ydに外部照明650の輝度Yiが加算された輝度Ys2(Ys2≒Yi+Yd)と判断する。従って、輝度Ys2から輝度Ys1を差し引くことによって、プロジェクター520(投射部100)の出力光の最大輝度Ydを求めることができる。補正強度算出部610は、外光の輝度Yiと投射部100の出力光の輝度Ydの輝度比R(=Yi/Yd)に対応した補正強度を算出する。
図23に、図21の補正強度算出部610の動作説明図を示す。
補正強度算出部610は、入力を輝度比Rとして、出力を補正強度HSとするLUTにより実現される。そのため、補正強度算出部610には、予め輝度比Ra、Rb、Rc、・・・に対応した補正強度HSa、HSb、HSc、・・・が記憶されており、輝度比Rが入力されたとき、この輝度比Rに対応した補正強度を出力するようになっている。
この補正強度算出部610は、輝度比が大きくなるほど(外光が明るくなるほど)補正強度が強くなるように、輝度比Rに対応した補正強度HSを記憶することが望ましい。こうすることで、使用環境が明るいとき(輝度Yiが大きいとき)の彩度コントラストの低下等の影響を確実に防ぐことができるようになる。
なお、輝度比Rは、センサー600が、自身の測定結果(輝度Yi、Yd)に基づいて算出してから補正強度算出部610に出力してもよいし、補正強度算出部610が、センサー600からの測定結果(輝度Yi、Yd)に基づいて輝度比Rを算出してから、この輝度比Rに対応した補正強度HSを出力するようにしてもよい。
図24に、図21の画像処理部530のハードウェア構成例のブロック図を示す。図24において、図4と同一部分には同一符号を付し、適宜説明を省略する。図24では、画像処理部530の外部に設けられる補正強度算出部610についても併せて図示している。
画像処理部530は、ラインメモリー32、34、多段フィルター回路40、彩度信号補正量算出回路50、彩度信号補正回路60、周波数解析回路70、UV−CH変換回路80、CH−UV変換回路90、階調補正回路700を含む。画像処理部530が図4の画像処理部30と異なる点は、階調補正回路700が階調補正回路200に代えて設けられており、階調補正回路700が補正強度算出部610からの補正強度HSを受けて、階調補正処理を行うと共に信号GRを彩度信号補正量算出回路50に出力する点である。
ここで、階調補正回路700は、補正強度算出部610からの補正強度HSに基づいて補正カーブを生成し、この補正カーブに従って、彩度信号NRを補正し、補正後の彩度信号を彩度信号補正回路60に出力すると共に、この補正処理に対応した信号GRを彩度信号補正量算出回路50に出力する。そのため、彩度信号補正量算出回路50は、階調補正処理の処理内容及び視環境に応じて補正量を算出することができる。即ち、彩度信号補正量算出回路50は、多段フィルター回路40の出力と、ラインメモリー32に格納されている彩度信号と、補正強度算出部610からの補正強度HSと、階調補正回路200によって行われた階調補正処理の処理内容とに基づいて、彩度信号の補正量を算出することができる。そして、彩度信号補正回路60は、彩度信号補正量算出回路50によって算出された補正量を用いて、ラインメモリー34に格納された彩度信号を補正し、補正後の彩度信号Coutとして出力する。
図25に、図24の階調補正回路700の構成例のブロック図を示す。図25において、図10と同一部分には同一符号を付し、適宜説明を省略する。また、図25では、彩度信号補正量算出回路50、彩度信号補正回路60、周波数解析回路70及び補正強度算出部610も併せて図示している。
階調補正回路700は、LUT生成回路710、階調補正処理回路220、微分算出回路230を含む。LUT生成回路710は、補正強度算出部610からの補正強度HSを受け、補正強度HSに基づいて補正カーブを生成し、該補正カーブに対応した補正データを階調補正処理回路220及び微分算出回路230に出力する。階調補正処理回路220は、LUT生成回路710からの補正データに基づいて、周波数解析回路70からの彩度信号NRを補正する。微分算出回路230は、LUT生成回路710からの補正データに基づいて、周波数解析回路70からの彩度信号NRにおける補正カーブの傾きを算出する。微分算出回路230によって算出された補正カーブの傾きに対応した信号GRは、彩度信号補正量算出回路50に供給される。
LUT生成回路710は、公知の補正カーブ生成処理に従って、補正強度HSに基づいて補正カーブを生成するようにしてもよいし、予め複数種類の補正カーブのそれぞれに対応した補正データ群を複数種類記憶しておき、補正強度HSに基づいていずれか1つの補正データ群を選択することで補正カーブを生成するようにしてもよい。
図26に、LUT生成回路710の動作例の説明図を示す。
LUT生成回路710は、例えば補正強度HSa、HSb、HSc、・・・のそれぞれに対応して、補正カーブを規定する補正データ群ADa、ADb、ADc、・・・を記憶する。そして、補正強度算出部610から補正強度HSがLUT生成回路710に入力されたとき、LUT生成回路710は、補正強度HSに対応した補正データ群、又は補正強度HSに対応した2つの補正データ群を補間して求めた補正データ群を階調補正処理回路220及び微分算出回路230に出力する。
例えばLUT生成回路710は、視環境が明るい環境であるほど低彩度側の傾きが大きくなる、いわゆる上に凸の補正カーブを生成することが望ましい。そのため、実施形態2では、補正強度HSにより、暗室ほど例えば図11の補正カーブF2に近づき、明室ほど例えば図11の補正カーブF1のように低彩度側の傾きが大きくなる補正カーブを生成することが望ましい。
これにより、彩度信号補正量算出回路50は、補正強度HSに対応した補正カーブの傾きに応じて、彩度信号の補正量を算出することができるようになり、階調補正処理に応じた補正量の算出が可能となる。
実施形態2における画像処理部530の処理は、ソフトウェア処理によって実現することもできる。この場合、画像処理部30は、CPU、ROM又はRAMを有し、ROM又はRAMに格納されたプログラムを読み込んだCPUが、該プログラムに対応した処理を実行することで乗算器や加算器等のハードウェアを制御して、上記の彩度成分の補正処理を行う。
図27に、実施形態2における画像処理部530の彩度信号の補正処理例のフロー図を示す。図27の処理をソフトウェアで実現する場合、画像処理部530が内蔵するROM又はRAMに図27に示す処理を実現するプログラムが格納される。
まず、画像処理部530は、入力彩度信号蓄積ステップとして、入力画像信号を構成する彩度信号(入力彩度信号)を蓄積する(ステップS40)。この場合、彩度信号は、ラインメモリー34、又はラインメモリー34の機能を実現するRAMに格納される。
次に、画像処理部530は、使用環境情報取得ステップとして、センサー600によって測定された外部照明の輝度と投射部100の出力光の最大輝度とに基づいて算出された輝度比(広義には使用環境情報、視環境)を取得する(ステップS42)。例えば、上述したように、プロジェクター520の投射部100が黒画像を表示したときの輝度と投射部100が白画像を表示したときの輝度とに基づいて、輝度比Rを算出することができる。
続いて、画像処理部530は、信号抽出ステップとして、彩度信号の特定の空間周波数帯域を抽出する(ステップS44)。例えば、多段フィルター回路40により所与の空間周波数帯域の彩度信号を抽出する。或いは、ソフトウェア処理で実現する場合には、CPUが多段フィルター回路40の機能を実現する乗算器や加算器を制御して上記の空間周波数帯域の彩度信号を抽出する。
その後、画像処理部530は、周波数解析ステップとして、彩度信号の空間周波数を解析する(ステップS46、ステップS48)。より具体的には、ステップS46では、高周波成分抽出ステップとして、入力画像信号を構成する彩度信号から所与の高周波成分の彩度信号が抽出される。そして、ステップS48では、彩度ノイズ除去ステップとして、ラインメモリー34等に蓄積された彩度信号から彩度ノイズ成分が除去される。
そして、画像処理部530は、階調補正ステップとして、ステップS48において彩度ノイズが除去された彩度信号に対して、実施形態1と同様に、階調補正処理を行う(ステップS50)。なお、ステップS50に先立って、補正カーブ生成ステップとして、ステップS42で取得された輝度比に基づいて補正強度を求め、該補正強度に対応した階調補正処理の補正カーブが算出される。また、このステップS50において、画像処理部530は、階調補正処理で用いられる補正カーブのうち当該彩度信号における傾きを、階調補正処理の処理内容として算出する。
続いて、画像処理部530は、彩度成分補正量算出ステップとして、彩度信号の補正量を算出する(ステップS52、ステップS54)。より具体的には、ステップS52において、彩度ゲイン算出ステップとして、ステップS50における階調補正処理の処理内容に対応した彩度ゲインが算出される。ここでは、ステップS50で算出された階調補正処理で用いられる補正カーブのうち当該彩度信号における傾きに対応した彩度ゲインが算出される。そして、ステップS54では、多段フィルター回路40で抽出された信号に対して、ステップS46で抽出された高周波成分の彩度信号(HPF回路73の出力highC)に応じた係数で重み付けされた後、ステップS52で算出された彩度ゲインが乗算されて補正信号VAとして出力される。或いは、ソフトウェア処理で実現する場合には、CPUが、信号抽出処理により抽出した信号に対して、ステップS46で抽出された高周波成分の彩度信号に応じた係数で重み付けした後、ステップS52で算出された彩度ゲインが乗算されて補正信号VAとして出力する。
そして、画像処理部530は、彩度成分補正ステップとして、ステップS54で算出された補正量を用いて、ステップS50における階調補正処理後の彩度信号を補正し(ステップS56)、補正後の彩度信号を出力して(ステップS58)、一連の処理を終了する(エンド)。即ち、ステップS56では、彩度信号補正回路60が、階調補正処理後の彩度信号に、補正信号VAを加算して、補正後の彩度信号を生成する。或いは、ソフトウェア処理で実現する場合には、CPUが、階調補正処理後の彩度信号に、補正信号VAを加算して、補正後の彩度信号を生成する。
なお、図27に示す処理において、各ステップの順序を適宜入れ替えても、同様の処理を実現できる。
なお、実施形態2においても、実施形態1の各変形例をそれぞれ適用して、実施形態1の各変形例と同様の効果を得ることができる。
以上のように、実施形態2では、実施形態1の効果に加えて、プロジェクター520の使用環境の明るさを測定し、それに応じて階調補正を行うことで、使用環境の照明の映り込みによるコントラストや色域の低下で失われるディテールの見えを改善することができる。
以上、本発明に係る画像処理装置、画像表示装置、及び画像処理方法を上記の実施形態又はその変形例に基づいて説明したが、本発明は上記の実施形態又はその変形例に限定されるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
(1)上記の各実施形態又はその変形例では、画像表示装置としてプロジェクターを例に説明したが、本発明はこれに限定されるものではない。本発明に係る画像表示装置は、液晶表示装置やプラズマディスプレイ装置、有機ELディスプレイ装置等の画像表示を行う装置全般に適用できる。
(2)上記の各実施形態又はその変形例では、光変調素子として透過型の液晶パネルを用いたライトバルブを用いるものとして説明したが、本発明はこれに限定されるものではない。光変調素子として、例えばDLP(Digital Light Processing)(登録商標)、LCOS(Liquid Crystal On Silicon)等を採用してもよい。
(3)上記の各実施形態又はその変形例では、光変調素子として、いわゆる3板式の透過型の液晶パネルを用いたライトバルブを例に説明したが、単板式の液晶パネルや2板又は4板式以上の透過型の液晶パネルを用いたライトバルブを採用してもよい。
(4)上記の各実施形態では、1画素を3つの色成分のサブ画素で構成されるものとして説明したが、本発明はこれに限定されるものではない。1画素を構成する色成分数が2、又は4以上であってもよい。
(5)上記の各実施形態又はその変形例では、周波数解析回路70によって彩度ノイズを除去してから階調補正処理を行っていたが、本発明はこれに限定されるものではない。例えば、図4又は図24において周波数解析回路70を省略した構成を採用し、彩度ノイズを除去することなく階調補正処理を行うようにしてもよい。
(6)上記の各実施形態又はその変形例において、本発明を、画像処理装置、画像表示装置及び画像処理方法として説明したが、本発明はこれに限定されるものではない。例えば、上記の画像処理装置や画像表示装置を含む画像表示システムであってもよい。或いは、例えば、本発明を実現するための画像処理装置の処理方法(画像処理方法)、又は本発明を実現するための画像表示装置の処理方法(画像表示方法)の処理手順が記述されたプログラムや、該プログラムが記録された記録媒体であってもよい。