以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
以下では、本発明に係る画像表示装置としてプロジェクターを例に説明するが、本発明に係る画像表示装置がプロジェクターに限定されるものではない。
〔実施形態1〕
図1に、本発明に係る実施形態1における画像表示システムの構成例のブロック図を示す。
画像表示システム10は、プロジェクター(広義には画像表示装置)20と、スクリーンSCRとを含む。プロジェクター20は、入力画像信号に基づいて図示しない光源からの光を変調し、変調後の光をスクリーンSCRに投射することで画像を表示する。
このプロジェクター20は、画像処理部30(広義には画像処理装置)と、投射部100(広義には画像表示部)と、センサー300と、補正強度算出部310とを含む。図1では、センサー300及び補正強度算出部310がプロジェクター20に内蔵されているものとして示しているが、センサー300及び補正強度算出部310の少なくとも1つがプロジェクター20の外部に設けられてもよい。或いは、センサー300及び補正強度算出部310の少なくとも1つが、画像処理部30又は投射部100に内蔵されていてもよい。
センサー300は、プロジェクター20の使用環境(周辺光、外光)の投射領域における輝度と投射部100の最大出力輝度とを測定する。このようなセンサー300の機能は、いわゆるイメージセンサーや輝度計等の公知の測定機器によって実現される。センサー300によって測定された輝度に基づいて、補正強度算出部310は、画像処理部30による入力画像信号の補正強度HSを算出し、該補正強度HSを画像処理部30に出力する。
画像処理部30は、補正強度算出部310からの補正強度HSを用いて、補正対象外の彩度領域に影響を与えることなく表示画像の低彩度部や高彩度部のディテールを表現できるように入力画像信号を補正し、補正後の画像信号を投射部100に出力する。投射部100は、画像処理部30からの画像信号に基づいて変調した光をスクリーンSCRに投射する。
図2に、図1の画像処理部30において行われる階調補正処理の説明図を示す。図2では、階調補正処理中の各画像信号により表される画像の特性として、横軸に画像の水平方向の位置、縦軸に彩度レベルを模式的に表している。
入力画像IMGinは、例えば左側が低彩度で、右側が高彩度の画像であり、彩度が低い領域においても微小な階調変化を有し、彩度が高い領域においても微小な階調変化を有する。信号抽出手段L1は、この入力画像IMGinの画像信号の彩度成分のうち、所与の空間周波数帯域の彩度成分の信号CHを抽出する。図2では、空間周波数に対応してゲインが設定されており、信号抽出手段L1はこのゲインが大きい空間周波数帯域の彩度成分の信号CHを抽出している。
また、彩度ゲイン算出手段G1は、該入力画像の画像信号の彩度成分のレベルに対応したゲイン係数g(彩度ゲイン係数。広義には彩度ゲイン。以下同様)を算出する。図2では、彩度ゲイン算出手段G1が、彩度成分のレベルが低い領域で大きくなり、彩度成分のレベルが高い領域でほぼ0となるゲイン係数gを算出する。
この結果、乗算器M1は、信号抽出手段L1によって抽出された信号CHに彩度ゲイン算出手段G1によって算出されたゲイン係数gを掛け合わせた信号gCHを生成する。信号gCHが、入力画像信号の彩度成分の補正量に対応した信号である。加算器A1は、入力画像信号の彩度信号Cinと信号gCHとを加算して、階調補正後の画像信号を構成する彩度信号Coutを出力する。
そして、実施形態1では、図2のいずれかの処理において、プロジェクター20の使用環境に対応した補正強度によりディテールの強調処理を異ならせている。
図3に、図1の画像処理部30の動作説明図を示す。図3では、縦軸に入力画像信号の彩度成分、横軸に該彩度成分の空間周波数を表している。
図1の画像処理部30は、空間周波数帯域Far(所与の空間周波数帯域)の画像信号の彩度成分の補正量のみを、プロジェクター20の使用環境(視環境)に応じて算出し、該補正量を用いて画像信号の彩度成分を補正する。より具体的には、画像処理部30は、プロジェクター20の使用環境(視環境)として例えば外光とプロジェクター20の投射部100の出力光の輝度比を採用する。そして、画像処理部30は、信号抽出手段L1によって抽出された空間周波数帯域Farにおいて、彩度ゲイン算出手段G1によって算出された入力画像信号の彩度成分Cinの所与のレベル範囲Carの信号(図3では、範囲Sar)に対して、該輝度比に応じて、階調補正を行う。これにより、使用環境にかかわらず、全体的な彩度の傾向を変化させることなく、信号抽出手段L1によって抽出された空間周波数帯域Farであって、彩度ゲイン算出手段G1によって算出された入力画像信号の彩度成分Cinの所与のレベル範囲Carのみ、彩度成分を変化させることができるようになる。
信号抽出手段L1によって抽出される空間周波数帯域や、彩度ゲイン算出手段G1によってゲイン係数gが算出される彩度成分のレベル範囲は、それぞれ指定可能であるため、指定した空間周波数帯域の指定した彩度成分のレベル範囲のみ、入力画像信号の彩度変化を増幅させることができる。このため、例えば彩度ゲイン算出手段G1において、低彩度部である低彩度の彩度成分に対して彩度ゲイン係数を小さくすることで、他の階調の彩度レンジを縮めることなく低彩度部のディテールを表現できるようになる。しかも、画面全体に対して一律の補正を行わないので、低彩度部と高彩度部とが混在している場合であっても、例えば一律に低彩度部の彩度も上げたり、或いは一律に高彩度部の彩度も下げたりすることもなく、低彩度部と高彩度部の両方のディテールを表現できるようになる。
以下、このような階調補正を実現する実施形態1におけるプロジェクター20の構成例について詳細に説明する。以下では、画像信号が、輝度信号Y及び色差信号U、Vにより構成され、色差信号U、Vから彩度信号C及び色相信号Hに変換する例について説明するが、本発明に係る画像信号は、これに限定されるものではない。
図4に、図1のセンサー300及び補正強度算出部310の説明図を示す。図4は、図1の画像表示システム10においてプロジェクター20がスクリーンSCRに画像を投射する様子を横方向から見た図を模式的に表す。図4において、図1と同一部分には同一符号を付し、適宜説明を省略する。
例えば、外部照明350による照明の下で、プロジェクター20が、スクリーンSCRに画像を投射するものとする。このとき、外部照明350がスクリーンSCRに映り込むことで、スクリーンSCRの投射画像の見え方が大きく異なってしまう。そこで、センサー300は、外部照明350による外光の輝度Yi、プロジェクター20の投射部100の出力光の最大輝度Ydを取得し、補正強度算出部310は、輝度Yi、Ydに基づいて、補正強度HSを算出する。
実施形態1では、センサー300をプロジェクター20の投射領域の方向に向けておき、プロジェクター20に黒画像と白画像とを表示させる。黒画像を投射したとき、プロジェクター20からの漏れ光を無視して、センサー300の測定結果を外部照明350の輝度Yiに相当する輝度Ys1(Ys1≒Yi)と判断する。一方、白画像を投射したとき、センサー300の測定結果をプロジェクター20(投射部100)の出力光の最大輝度Ydに外部照明350の輝度Yiが加算された輝度Ys2(Ys2≒Yi+Yd)と判断する。従って、輝度Ys2から輝度Ys1を差し引くことによって、プロジェクター20(投射部100)の出力光の最大輝度Ydを求めることができる。補正強度算出部310は、外光の輝度Yiと投射部100の出力光の輝度Ydの輝度比R(=Yi/Yd)に対応した補正強度を算出する。
図5に、図1の補正強度算出部310の動作説明図を示す。
補正強度算出部310は、入力を輝度比Rとして、出力を補正強度HSとするルックアップテーブル(Look Up Table:以下、LUTと略す)により実現される。そのため、補正強度算出部310には、予め輝度比Ra、Rb、Rc、・・・に対応した補正強度HSa、HSb、HSc、・・・が記憶されており、輝度比Rが入力されたとき、この輝度比Rに対応した補正強度を出力するようになっている。
この補正強度算出部310は、輝度比が大きくなるほど(外光が明るくなるほど)補正強度が強くなるように、輝度比Rに対応した補正強度HSを記憶することが望ましい。こうすることで、使用環境が明るいとき(輝度Yiが大きいとき)のコントラストや色域の低下により失われる細部の見えを改善することができるようになる。
なお、輝度比Rは、センサー300が、自身の測定結果(輝度Yi、Yd)に基づいて算出してから補正強度算出部310に出力してもよいし、補正強度算出部310が、センサー300からの測定結果(輝度Yi、Yd)に基づいて輝度比Rを算出してから、この輝度比Rに対応した補正強度HSを出力するようにしてもよい。
図6に、図1の画像処理部30のハードウェア構成例のブロック図を示す。図6では、画像処理部30の外部に設けられる補正強度算出部310についても併せて図示している。
画像処理部30は、ラインメモリー32、34、多段フィルター回路(信号抽出回路)40、彩度信号補正量算出回路(彩度成分補正量算出部)50、彩度信号補正回路(彩度成分補正部)60、UV−CH変換回路(広義には変換回路)80、CH−UV変換回路90を含む。
ラインメモリー32は、入力画像信号を構成する輝度信号Y(入力画像信号の輝度成分)を格納する。ラインメモリー32に格納された輝度信号Yは、そのまま輝度信号Y1として出力される。
また、ラインメモリー34には、ラインメモリー32に輝度信号Yが格納されるタイミングに同期して、該輝度信号に対応した色差信号U、V(入力画像信号の色差成分)に対応した彩度信号Cin及び色相信号Hinが格納される。この彩度信号Cin及び色相信号Hinは、色差信号U、VをUV−CH変換回路80により変換することで得られる。
UV−CH変換回路80は、例えば以下の式に従って、色差信号U、Vを彩度信号Cin及び色相信号Hinに変換し、ラインメモリー34に格納する。ラインメモリー34には、多段フィルター回路40で必要なライン数分の彩度信号Cinを格納する。
ラインメモリー34に格納された色相信号Hinは、そのまま色相信号Houtとして出力される。一方、ラインメモリー34に格納された彩度信号Cinは、下記のディテール強調処理に供される。
多段フィルター回路40は、ラインメモリー34に格納された彩度信号Cin(画像信号の彩度成分)から所与の空間周波数帯域の信号を抽出する。この多段フィルター回路40は、図2の信号抽出手段L1の機能を実現することができる。
彩度信号補正量算出回路50は、多段フィルター回路40の出力と、ラインメモリー34に格納されている彩度信号と、補正強度算出部310からの補正強度HSとに基づいて、彩度信号の補正量を算出する。この彩度信号補正量算出回路50は、多段フィルター回路40によって抽出された所与の空間周波数帯域の彩度信号のうち所与の彩度レベル範囲の彩度信号に対する補正量を、補正強度算出部310からの補正強度HSに応じて算出することができる。この彩度信号補正量算出回路50は、図2の彩度ゲイン算出手段G1の機能を実現することができる。
彩度信号補正回路60は、彩度信号補正量算出回路50によって算出された補正量を用いて、ラインメモリー34に格納された彩度信号を補正し、補正後の彩度信号Coutとして出力する。
CH−UV変換回路90は、彩度信号補正回路60からの彩度信号Coutと、ラインメモリー34からの色相信号Houtとを、色差信号U1、V1に変換する。CH−UV変換回路90は、例えば以下の式に従って、彩度信号Cout及び色相信号Houtを色差信号U1、V1に変換する。
こうして画像処理部30は、輝度信号Y1、及び色相信号Houtとディテール強調処理された彩度信号Coutとから変換された色差信号U1、V1からなる画像信号を投射部100に出力する。
このように画像処理部30は、所与の空間周波数帯域において所与の彩度レベルの彩度信号に対してのみ、プロジェクター20の使用環境に応じて彩度信号を補正することができる。この際、画像処理部30は、UV−CH変換回路80を含み、入力画像信号を構成する色差信号(色差成分)を、該色差信号に対応する彩度信号Cin及び色相信号Hinに変換し、該彩度信号Cinに対してディテール強調処理を行うようにしている。これにより、色相を変化させることなく、高彩度部及び低彩度部が混在していた場合であってもこれらのディテールを表現できるようになる。
次に、画像処理部30を構成する各ブロックについて説明する。
図7に、図6の多段フィルター回路40の構成例のブロック図を示す。図7において、図6と同一部分には同一符号を付し、適宜説明を省略する。
多段フィルター回路40は、互いにフィルターサイズが異なる第1〜第3のフィルター回路42、44、46を含む。図7では、多段フィルター回路40が、3種類のフィルター回路でフィルター処理を行う例を説明するが、フィルター回路の数に本発明が限定されるものではない。
多段フィルター回路40は、それぞれが抽出する信号の周波数帯域が異なる複数のフィルター回路を有し、各フィルター回路は、画像の水平方向及び垂直方向に並ぶ画素の画素値と、フィルター係数行列との畳み込み演算結果を出力する。
第1のフィルター回路42は、次の式に従ってフィルター処理された結果を出力することができる。
上式において、第1のフィルター回路42の出力をFO1、座標(x,y)の彩度信号をC(x,y)、フィルター係数をa、(i,j)は対象画素を中心とした相対座標で上式の範囲をとり、フィルターサイズをsとする。各フィルター回路には、フィルターサイズに対応したライン数(垂直走査ライン数)の彩度信号が入力される。
上式では、第1のフィルター回路42の出力について示したが、第2及び第3のフィルター回路44、46も、上式と同様のフィルター処理結果を出力することができる(出力FO2、FO3)。
図7では、第1のフィルター回路42のフィルターサイズを「3」、第2のフィルター回路44のフィルターサイズを「5」、第3のフィルター回路46のフィルターサイズを「7」とするが、フィルターサイズに本発明が限定されるものではない。
図8に、図6の彩度信号補正量算出回路50の構成例のブロック図を示す。図8において、図6と同一部分には同一符号を付し、適宜説明を省略する。図8では、画像処理部30の外部に設けられる補正強度算出部310についても併せて図示している。
図9に、図8の重み付け算出回路52の動作説明図を示す。
図10に、図8の彩度ゲイン算出回路56の動作説明図を示す。
図11に、図10の彩度ゲイン算出回路56によって算出される彩度ゲイン係数hの説明図を示す。図11は、横軸に彩度、縦軸に彩度ゲイン係数hを表す。
彩度信号補正量算出回路50は、重み付け算出回路52、乗算器531〜533、加算器54、彩度ゲイン算出回路56、乗算器55、57を含む。
重み付け算出回路52には、多段フィルター回路40を構成する第1〜第3のフィルター回路42〜46の各フィルター回路の出力が入力される。そして、重み付け算出回路52は、図9に示すように、第1〜第3のフィルター回路42〜46の各フィルター回路の出力の組み合わせに応じて、重み付け係数g1〜g3を算出する。
このような重み付け算出回路52は、入力を第1〜第3のフィルター回路42〜46の各フィルター回路の出力とし、出力を重み付け係数g1〜g3とするLUTにより実現される。そのため、重み付け算出回路52には、予め第1〜第3のフィルター回路42〜46の各フィルター回路の出力の組み合わせに対応した重み付け係数(g1a,g2a,g3a)、(g1b,g2b,g3b)、(g1c,g2c,g3c)、・・・が記憶されており、第1〜第3のフィルター回路42〜46の各フィルター回路の出力FO1〜FO3が入力されたとき、これらの組み合わせに対応した重み付け係数を出力するようになっている。
重み付け係数g1は、第1のフィルター回路42の出力FO1が入力される乗算器531に入力される。乗算器531は、第1のフィルター回路42の出力FO1に重み付け係数g1を乗算した結果を加算器54に出力する。
重み付け係数g2は、第2のフィルター回路44の出力FO2が入力される乗算器532に入力される。乗算器532は、第2のフィルター回路44の出力FO2に重み付け係数g2を乗算した結果を加算器54に出力する。
重み付け係数g3は、第3のフィルター回路46の出力FO3が入力される乗算器533に入力される。乗算器533は、第3のフィルター回路46の出力FO3に重み付け係数g3を乗算した結果を加算器54に出力する。
加算器54は、乗算器531〜533の各乗算結果を加算し、その加算結果を乗算器55に出力する。乗算器55には、彩度ゲイン算出回路56によって算出された彩度ゲイン係数hが入力されている。
彩度ゲイン算出回路56には、入力画像信号を構成する彩度信号が入力される。そして、彩度ゲイン算出回路56は、図10に示すように、彩度信号のレベル(画像信号の彩度成分のレベル)に対応した彩度ゲイン係数h(彩度ゲイン)を算出する。
このような彩度ゲイン算出回路56は、入力を彩度信号(画像信号の彩度成分)とし、出力を彩度ゲイン係数hとするLUTにより実現される。そのため、彩度ゲイン算出回路56には、予め入力画像信号を構成する彩度信号(入力彩度信号)に対応した彩度ゲイン係数ha、hb、hc、・・・が記憶されており、入力画像信号を構成する彩度信号が入力されたとき、該彩度信号に対応した彩度ゲイン係数を出力するようになっている。この彩度ゲイン算出回路56では、所望の彩度信号に対応した彩度ゲイン係数を指定できるので、指定した階調に対してのみ補正量を生成することができる。
彩度ゲイン算出回路56は、例えば図11に示すように低彩度領域において大きくなり、高彩度領域ではほぼ0となる彩度ゲイン係数hを出力することが望ましい。こうすることで、他の彩度領域に影響を与えることなく表示画像の低彩度部や高彩度部のディテールを表現できるように入力画像信号を補正できるようになる。
乗算器55は、加算器54の加算結果に、彩度ゲイン算出回路56からの彩度ゲイン係数hを乗算する。乗算器55の乗算結果は、乗算器57に入力される。乗算器57には、補正強度算出部310によって上述のように求められた補正強度HSが入力されている。乗算器57は、乗算器55の乗算結果に、補正強度HSを乗算することで、彩度信号の補正量に対応した補正信号VAを出力する。この補正信号VAは、彩度信号補正回路60に入力される。
このように、彩度信号補正量算出回路50は、多段フィルター回路40(広義には信号抽出回路)によって抽出された所与の空間周波数帯域の信号と、彩度ゲイン算出回路56によって算出された彩度ゲイン係数と、プロジェクター20の使用環境に対応した補正強度算出部310からの補正強度HSとに基づいて、彩度信号の補正量を算出することができる。補正強度HSは、輝度比Rに対応しているため、彩度信号補正量算出回路50は、所与の空間周波数帯域の信号と、彩度ゲイン係数と、輝度比とに基づいて、彩度信号の補正量を算出することができる。そして、彩度信号補正回路60は、例えば入力画像信号を構成する彩度信号に、彩度信号補正量算出回路50からの補正信号VAを加算することで、補正後の彩度信号Coutを出力する。
実施形態1における画像処理部30の処理は、ソフトウェア処理によって実現することもできる。この場合、画像処理部30は、中央演算処理装置(Central Processing Unit:以下、CPUと略す)、読み出し専用メモリー(Read Only Memory:以下、ROMと略す)又はランダムアクセスメモリー(Random Access Memory:以下、RAMと略す)を有し、ROM又はRAMに格納されたプログラムを読み込んだCPUが、該プログラムに対応した処理を実行することで乗算器や加算器等のハードウェアを制御して、上記の彩度成分の補正処理を行う。
図12に、実施形態1における画像処理部30の彩度信号の補正処理例のフロー図を示す。図12の処理をソフトウェアで実現する場合、画像処理部30が内蔵するROM又はRAMに図12に示す処理を実現するプログラムが格納される。
まず、画像処理部30は、入力彩度信号蓄積ステップとして、入力画像信号を構成する彩度信号(入力彩度信号)を蓄積する(ステップS10)。この場合、彩度信号は、ラインメモリー34、又はラインメモリー34の機能を実現するRAMに格納される。
次に、画像処理部30は、使用環境情報取得ステップとして、センサー300によって測定された外部照明の輝度と投射部100の出力光の最大輝度とに基づいて算出された輝度比(広義には使用環境情報、視環境)を取得する(ステップS12)。例えば、上述したように、プロジェクター20の投射部100が黒画像を表示したときの輝度と投射部100が白画像を表示したときの輝度とに基づいて、輝度比Rを算出することができる。
続いて、画像処理部30は、信号抽出ステップとして、彩度信号の特定の空間周波数帯域を抽出する(ステップS14)。例えば、多段フィルター回路40により所与の空間周波数帯域の彩度信号を抽出する。或いは、ソフトウェア処理で実現する場合には、CPUが多段フィルター回路40の機能を実現する乗算器や加算器を制御して上記の空間周波数帯域の彩度信号を抽出する。
その後、画像処理部30は、彩度成分補正量算出ステップとして、彩度信号の補正量を算出する(ステップS16)。即ち、彩度信号補正量算出回路50が、多段フィルター回路40で抽出された信号に応じて重み付けされた後、入力画像信号を構成する彩度信号の彩度レベルに応じた係数で乗算された補正信号VAを出力する。或いは、ソフトウェア処理で実現する場合には、CPUが、信号抽出処理により抽出した信号に応じて重み付けした後、入力画像信号を構成する彩度信号の彩度レベルに応じた係数で乗算した補正信号VAを生成する。即ち、ステップS16では、彩度ゲイン算出ステップとして、画像信号の彩度成分のレベルに対応した彩度ゲインが算出される。そして、ステップS14において抽出された空間周波数帯域の信号と、ステップS16において算出された彩度ゲインとに基づいて、彩度成分の補正量が算出される。
そして、画像処理部30は、彩度成分補正ステップとして、ステップS16で算出された補正量を用いて、入力画像信号を構成する彩度信号を補正し(ステップS18)、補正後の彩度信号を出力して(ステップS20)、一連の処理を終了する(エンド)。即ち、ステップS18では、彩度信号補正回路60が、入力画像信号を構成する彩度信号に、補正信号VAを加算して、補正後の彩度信号を生成する。或いは、ソフトウェア処理で実現する場合には、CPUが、入力画像信号を構成する彩度信号に、補正信号VAを加算して、補正後の彩度信号を生成する。
なお、ステップS12とステップS14の順番を入れ替えても、同様の処理を実現できる。
このように画像処理部30によってディテール強調処理が行われた彩度信号は、上述のように色相信号を用いて色差信号U1、V1に変換され、該色差信号に対応した輝度信号Y1と共に、投射部100に出力される。投射部100は、輝度信号Y1及び色差信号U1、V1に基づいて、光源からの光を変調し、変調後の光をスクリーンSCRに投射することができる。
図13に、図1の投射部100の構成例の図を示す。図13では、実施形態1における投射部100が、いわゆる3板式の液晶プロジェクターにより構成されるものとして説明するが、本発明に係る画像表示装置の投射部がいわゆる3板式の液晶プロジェクターにより構成されるものに限定されるものではない。即ち、以下では、1画素がR成分のサブ画素、G成分のサブ画素、及びB成分のサブ画素により構成されるものとして説明するが、1画素を構成するサブ画素数(色成分数)に限定されるものではない。
また、図13では、画像処理部30から入力される輝度信号Y1、色差信号U1、V1が、RGBの各色成分の画像信号に変換された後、色成分毎に光源からの光を変調するものとする。この場合、RGB信号への変換回路は、画像処理部30が備えていてもよいし、投射部100が備えていてもよい。
実施形態1における投射部100は、光源110、インテグレーターレンズ112、114、偏光変換素子116、重畳レンズ118、R用ダイクロイックミラー120R、G用ダイクロイックミラー120G、反射ミラー122、R用フィールドレンズ124R、G用フィールドレンズ124G、R用液晶パネル130R(第1の光変調素子)、G用液晶パネル130G(第2の光変調素子)、B用液晶パネル130B(第3の光変調素子)、リレー光学系140、クロスダイクロイックプリズム160、投射レンズ170を含む。R用液晶パネル130R、G用液晶パネル130G及びB用液晶パネル130Bとして用いられる液晶パネルは、透過型の液晶表示装置である。リレー光学系140は、リレーレンズ142、144、146、反射ミラー148、150を含む。
光源110は、例えば超高圧水銀ランプにより構成され、少なくともR成分の光、G成分の光、B成分の光を含む光を射出する。インテグレーターレンズ112は、光源110からの光を複数の部分光に分割するための複数の小レンズを有する。インテグレーターレンズ114は、インテグレーターレンズ112の複数の小レンズに対応する複数の小レンズを有する。重畳レンズ118は、インテグレーターレンズ112の複数の小レンズから射出される部分光を液晶パネル上で重畳する。
また偏光変換素子116は、偏光ビームスプリッタアレイとλ/2板とを有し、光源110からの光を略一種類の偏光光に変換する。偏光ビームスプリッタアレイは、インテグレーターレンズ112により分割された部分光をp偏光とs偏光に分離する偏光分離膜と、偏光分離膜からの光の向きを変える反射膜とを、交互に配列した構造を有する。偏光分離膜で分離された2種類の偏光光は、λ/2板によって偏光方向が揃えられる。この偏光変換素子116によって略一種類の偏光光に変換された光が、重畳レンズ118に照射される。
重畳レンズ118からの光は、R用ダイクロイックミラー120Rに入射される。R用ダイクロイックミラー120Rは、R成分の光を反射して、G成分及びB成分の光を透過させる機能を有する。R用ダイクロイックミラー120Rを透過した光は、G用ダイクロイックミラー120Gに照射され、R用ダイクロイックミラー120Rにより反射した光は反射ミラー122により反射されてR用フィールドレンズ124Rに導かれる。
G用ダイクロイックミラー120Gは、G成分の光を反射して、B成分の光を透過させる機能を有する。G用ダイクロイックミラー120Gを透過した光は、リレー光学系140に入射され、G用ダイクロイックミラー120Gにより反射した光はG用フィールドレンズ124Gに導かれる。
リレー光学系140では、G用ダイクロイックミラー120Gを透過したB成分の光の光路長と他のR成分及びG成分の光の光路長との違いをできるだけ小さくするために、リレーレンズ142、144、146を用いて光路長の違いを補正する。リレーレンズ142を透過した光は、反射ミラー148によりリレーレンズ144に導かれる。リレーレンズ144を透過した光は、反射ミラー150によりリレーレンズ146に導かれる。リレーレンズ146を透過した光は、B用液晶パネル130Bに照射される。
R用フィールドレンズ124Rに照射された光は、平行光に変換されてR用液晶パネル130Rに入射される。R用液晶パネル130Rは、光変調素子(光変調部)として機能し、R用画像信号に基づいて透過率(通過率、変調率)が変化するようになっている。従って、R用液晶パネル130Rに入射された光(第1の色成分の光)は、R用画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム160に入射される。
G用フィールドレンズ124Gに照射された光は、平行光に変換されてG用液晶パネル130Gに入射される。G用液晶パネル130Gは、光変調素子(光変調部)として機能し、G用画像信号に基づいて透過率(通過率、変調率)が変化するようになっている。従って、G用液晶パネル130Gに入射された光(第2の色成分の光)は、G用画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム160に入射される。
リレーレンズ142、144、146で平行光に変換された光が照射されるB用液晶パネル130Bは、光変調素子(光変調部)として機能し、B用画像信号に基づいて透過率(通過率、変調率)が変化するようになっている。従って、B用液晶パネル130Bに入射された光(第3の色成分の光)は、B用画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム160に入射される。
R用液晶パネル130R、G用液晶パネル130G、B用液晶パネル130Bは、それぞれ同様の構成を有している。各液晶パネルは、電気光学物質である液晶を一対の透明なガラス基板に密閉封入したものであり、例えばポリシリコン薄膜トランジスタをスイッチング素子として、各サブ画素の画像信号に対応して各色光の通過率を変調する。
実施形態1では、1画素を構成する色成分毎に光変調素子としての液晶パネルが設けられ、各液晶パネルの透過率がサブ画素に対応した画像信号により制御される。即ち、R成分のサブ画素用の画像信号が、R用液晶パネル130Rの透過率(通過率、変調率)の制御に用いられ、G成分のサブ画素用の画像信号が、G用液晶パネル130Gの透過率の制御に用いられ、B成分のサブ画素用の画像信号が、B用液晶パネル130Bの透過率の制御に用いられる。
クロスダイクロイックプリズム160は、R用液晶パネル130R、G用液晶パネル130G及びB用液晶パネル130Bからの入射光を合成した合成光を出射光として出力する機能を有する。投射レンズ170は、出力画像をスクリーンSCR上に拡大して結像させるレンズである。
実施形態1における階調補正処理を行った後に、画像表示ステップとしてこのような投射部100を制御して、上記の階調補正処理において補正された画像信号に基づいて画像を表示することで、他の彩度領域に影響を与えることなく画像のディテールの表現を改善する画像表示方法を提供できる。
以上のように、実施形態1では、彩度信号については、プロジェクター20の使用環境に応じて補正され、その補正対象が所与の空間周波数帯域において所与の彩度レベル範囲の彩度信号のみに限定される。
〔実施形態1の第1の変形例〕
実施形態1における画像処理部30では、彩度信号補正量算出回路50が、図8に示すように、重み付け算出回路52と彩度ゲイン算出回路56とを有し、重み付け係数や彩度ゲイン係数を乗算する乗算器により補正信号VAを生成する構成となっていたが、本発明はこれに限定されるものではない。
図14に、実施形態1の第1の変形例における彩度信号補正量算出回路の構成例のブロック図を示す。例えば実施形態1における彩度信号補正量算出回路50に代えて、図14に示す彩度信号補正量算出回路が図6の画像処理部30に内蔵される。
彩度信号補正量算出回路200は、第1〜第3のLUT2021〜2023、乗算器2041〜2043、加算器206を含む。この彩度信号補正量算出回路200は、第1〜第3のLUT2021〜2023の各LUTからの彩度ゲイン係数を、多段フィルター回路40の各出力に乗算した後、各乗算結果を加算して補正信号VAとして出力する。
図15(A)、図15(B)、図15(C)に、図14の第1〜第3のLUT2021〜2023の動作説明図を示す。
第1のLUT2021には、補正強度算出部310によって算出された補正強度HS及び入力画像信号を構成する彩度信号が入力され、該彩度信号及び補正強度HSに対応した彩度ゲイン係数j1を出力する。そのため、第1のLUT2021には、予め彩度信号及び補正強度HSに対応した彩度ゲイン係数j1a、j1b、j1c・・・が記憶されており、彩度信号及び補正強度HSが入力されたとき該彩度信号及び補正強度HSに対応した彩度ゲイン係数を彩度ゲイン係数j1として出力するようになっている。
第2のLUT2022には、補正強度算出部310によって算出された補正強度HS及び入力画像信号を構成する彩度信号が入力され、該彩度信号及び補正強度HSに対応した彩度ゲイン係数j2を出力する。そのため、第2のLUT2022には、予め彩度信号及び補正強度HSに対応した彩度ゲイン係数j2a、j2b、j2c・・・が記憶されており、彩度信号及び補正強度HSが入力されたとき該彩度信号及び補正強度HSに対応した彩度ゲイン係数を彩度ゲイン係数j2として出力するようになっている。
第3のLUT2023には、補正強度算出部310によって算出された補正強度HS及び入力画像信号を構成する彩度信号が入力され、該彩度信号及び補正強度HSに対応した彩度ゲイン係数j3を出力する。そのため、第3のLUT2023には、予め彩度信号及び補正強度HSに対応した彩度ゲイン係数j3a、j3b、j3c・・・が記憶されており、彩度信号及び補正強度HSが入力されたとき該彩度信号及び補正強度HSに対応した彩度ゲイン係数を彩度ゲイン係数j3として出力するようになっている。
図14において、乗算器2041は、多段フィルター回路40を構成する第1のフィルター回路42の出力FO1と第1のLUT2021からの彩度ゲイン係数j1とを乗算し、乗算結果を加算器206に出力する。乗算器2042は、多段フィルター回路40を構成する第2のフィルター回路44の出力FO2と第2のLUT2022からの彩度ゲイン係数j2とを乗算し、乗算結果を加算器206に出力する。乗算器2043は、多段フィルター回路40を構成する第3のフィルター回路46の出力FO3と第3のLUT2023からの彩度ゲイン係数j3とを乗算し、乗算結果を加算器206に出力する。
加算器206は、乗算器2041〜2043の各乗算結果を加算し、加算結果を補正信号VAとして出力する。
以上のように、実施形態1の第1の変形例における画像処理部は、画像信号の彩度成分から所与の空間周波数帯域の信号を抽出する多段フィルター回路40を含み、彩度信号補正量算出回路200は、多段フィルター回路40の出力ごとに設けられ、補正強度HS及び補正前の彩度成分のレベルに対応したゲインを出力する複数のテーブルと、多段フィルター回路40の出力ごとに設けられ多段フィルター回路40の出力と上記の複数のテーブルを構成する各テーブルの出力とを乗算する複数の乗算器と、複数の乗算器の乗算結果を加算する加算器とを含み、加算器の出力を彩度成分の補正量として算出することができる。補正強度HSは、輝度比Rに対応しているため、彩度信号補正量算出回路200は、多段フィルター回路40の出力ごとに設けられ、輝度比R及び補正前の彩度成分のレベルに対応したゲインを出力する複数のテーブルを備えることを意味する。
このような実施形態1の第1の変形例では、実施形態1と同様に、所与の空間周波数帯域において所与の彩度レベル範囲の彩度信号のみを、プロジェクター20の使用環境に応じて補正できる。
また、実施形態1の第1の変形例によれば、実施形態1と比較して、彩度信号補正量算出回路に内蔵される乗算器の数を減らすことができるので、低消費電力化及び低コスト化が可能となる。
〔実施形態1の第2の変形例〕
実施形態1の第1の変形例における彩度信号補正量算出回路200は、図14に示すように、第1〜第3のLUT2021〜2023と、乗算器2041〜2043と、加算器206とを有し、第1〜第3のLUT2021〜2023からの彩度ゲイン係数を用いた乗算器の乗算結果を加算する構成であったが、本発明はこれに限定されるものではない。
図16に、実施形態1の第2の変形例における彩度信号補正量算出回路の構成例のブロック図を示す。例えば実施形態1における彩度信号補正量算出回路50に代えて、図16に示す彩度信号補正量算出回路250が図6の画像処理部30に内蔵される。
彩度信号補正量算出回路250は、LUT252を含む。この彩度信号補正量算出回路250は、LUT252からの出力を補正信号VAとして出力する。
図17に、図16のLUT252の動作説明図を示す。
LUT252には、補正強度算出部310によって算出された補正強度HS及び入力画像信号を構成する彩度信号と、多段フィルター回路40を構成する第1〜第3のフィルター回路42〜44の各フィルター回路の出力FO1〜FO3が入力され、補正強度HS、彩度信号及び各フィルター回路の出力との組み合わせに対応した補正量を出力する。この補正量が、補正信号VAとして出力される。そのため、LUT252には、予め補正強度HS、彩度信号及び各フィルター回路の出力FO1〜FO3との組み合わせに対応した補正量VAa、VAb、・・・、VAc、VAd、VAe、・・・が記憶されており、補正強度HS、彩度信号及び各フィルター回路の出力が入力されたとき、これらの組み合わせに対応した補正量を出力するようになっている。
以上のように、実施形態1の第2の変形例における画像処理部は、画像信号の彩度成分から所与の空間周波数帯域の信号を抽出する多段フィルター回路(広義には信号抽出回路)40を含み、彩度信号補正量算出回路250は、多段フィルター回路40の出力と補正強度HSと補正前の彩度成分のレベルとに対応した彩度成分の補正量を出力するテーブルを含むことができる。補正強度HSは、輝度比Rに対応しているため、彩度信号補正量算出回路250は、多段フィルター回路40の出力と輝度比Rと補正前の彩度成分のレベルとに対応した彩度成分の補正量を出力するテーブルを含むことを意味する。そして、このテーブルが出力する補正量を補正信号VAとして出力する。
実施形態1の第2の変形例では、実施形態1又は実施形態1の第1の変形例と同様に、所与の空間周波数帯域において所与の彩度レベル範囲の彩度信号のみを、プロジェクター20の使用環境に応じて補正できる。
また、実施形態1の第2の変形例によれば、実施形態1又は実施形態1の第1の変形例と比較して、彩度信号補正量算出回路に内蔵される乗算器及び加算器を無くすことができるので、大幅な低消費電力化及び低コスト化が可能となる。
〔実施形態2〕
実施形態1又はその変形例では、画像のディテールと彩度ノイズとを区別することなく、入力彩度信号に対して階調補正処理を行っていたが、本発明はこれに限定されるものではない。本発明に係る実施形態2では、入力画像信号の彩度成分の高周波成分に応じて、階調の補正強度を異ならせることで、画像のディテールと彩度ノイズとを区別して入力彩度信号に対する階調補正処理を行う。
このような実施形態2における画像処理部400は、図1の画像処理部30に代えて、センサー300及び補正強度算出部310を有するプロジェクター20に搭載される。この画像処理部400は、図2に示すように実施形態1と同様の階調補正処理を行う際に、入力画像IMGinの画像信号の彩度成分に含まれる彩度ノイズ量を考慮して、図示しない周波数ゲイン算出手段によってゲイン係数f(周波数ゲイン係数。広義には周波数ゲイン。以下同様)を算出し、このゲイン係数fを、信号gCHに掛け合わせることで、低彩度部のディテールと彩度ノイズとを区別して、表示画像の低彩度部のディテールのみが強調されるようにしている。
図18に、実施形態2における画像処理部400の動作説明図を示す。図18では、3次元の座標系において、入力画像信号の彩度成分、該彩度成分の空間周波数、該彩度成分の高周波成分の信号CHPFを模式的に表している。
実施形態2における画像処理部400は、画像信号の彩度成分の空間周波数を解析し、空間周波数帯域Far(所与の空間周波数帯域)のみにおいて画像信号の彩度成分の補正量を、プロジェクターの使用環境に対応した輝度比(又は補正強度)と画像信号の彩度成分の空間周波数の解析結果に応じて算出し、該補正量を用いて画像信号の彩度成分を補正する。より具体的には、画像処理部400は、信号抽出手段L1によって抽出された画像信号の彩度成分の空間周波数帯域Farにおいて、彩度ゲイン算出手段G1によって算出された入力画像信号の彩度信号Cinの所与のレベル範囲Carの信号(図18では、範囲Sar)に対して、階調補正を行う。このとき、入力画像信号の彩度成分の高周波成分とプロジェクターの使用環境に対応した輝度比(又は補正強度)とに応じて、階調の補正強度を異ならせる。例えば、プロジェクターが同一の環境下で使用されるものとすると、彩度成分の高周波成分が多いとき、所望の信号成分が多く彩度ノイズが少ないと判断して補正強度を強くし、彩度成分の高周波成分が少ないとき、所望の信号成分が少なく彩度成分ノイズが多いと判断して、補正強度を弱くする。これにより、画像の彩度ノイズを強調してしまうことなく全体的な彩度の傾向を変化させずに、信号抽出手段L1によって抽出された空間周波数帯域Farであって、彩度ゲイン算出手段G1によって算出された入力画像信号を構成する彩度信号Cinの所与のレベル範囲Carのみ、彩度成分を変化させることができるようになる。
信号抽出手段L1によって抽出される空間周波数帯域、彩度ゲイン算出手段G1によってゲイン係数gが算出される彩度成分のレベル範囲、彩度成分の高周波帯域や補正強度は、それぞれ指定可能であるため、指定した空間周波数帯域の指定した彩度成分のレベル範囲のみ、入力画像信号の彩度変化を、彩度ノイズ量に合わせて増幅させることができる。このため、例えば彩度ゲイン算出手段G1において、低彩度の彩度成分に対して彩度ゲイン係数を大きくすることで、他の階調の彩度レンジを縮めることなく低彩度部のディテールを表現できるようになる。
しかも、画面全体に対して一律の補正を行わないので、低彩度部と高彩度部とが混在している場合であっても、例えば一律に低彩度部の彩度も上げたり、或いは一律に高彩度部の彩度も下げたりすることもなく、低彩度部と高彩度部の両方のディテールを表現できるようになる。例えば、図18に示す場合には、入力画像信号の彩度の中周波数帯域から高周波数帯域に対して補正するため、入力画像の全体的な鮮やかさを変化させずに、ディテールのみを強調できるようになる。更に、画像の低彩度部のディテールと彩度ノイズとを区別することができるので、低彩度部のディテールと一緒に彩度ノイズを強調してしまう事態を回避できるようになる。
以下、このような階調補正を実現する実施形態2におけるプロジェクターの構成例及び処理例について説明するが、実施形態1におけるプロジェクター20と同一部分には同一符号を付し、適宜説明を省略する。
図19に、実施形態2における画像処理部400のハードウェア構成例のブロック図を示す。図19において、図6と同一部分には同一符号を付し、適宜説明を省略する。図19では、画像処理部400の外部に設けられる補正強度算出部310についても併せて図示している。
図19の画像処理部400が図6の画像処理部30と異なる点は、画像処理部400が、高周波成分抽出回路や彩度ノイズ除去回路として機能する周波数解析回路(周波数解析部)70が追加され、彩度信号補正量算出回路50に代えて彩度信号補正量算出回路450が設けられている点である。
周波数解析回路70は、ラインメモリー34に格納されている彩度信号の空間周波数を解析する。より具体的には、周波数解析回路70は、彩度信号の高周波成分を抽出すると共に、ラインメモリー34からの彩度信号から彩度ノイズを除去することができる。周波数解析回路70によって抽出された彩度信号の高周波成分の絶対値である出力highCは、周波数解析回路70の解析結果として彩度信号補正量算出回路450に供給される。周波数解析回路70によって彩度ノイズが除去された彩度信号は、彩度信号NRとして彩度信号補正回路60に供給される。
彩度信号補正量算出回路450は、多段フィルター回路40の出力と、ラインメモリー34に格納されている彩度信号と、周波数解析回路70の解析結果と、補正強度算出部310からの補正強度HSとに基づいて、彩度信号の補正量に対応する補正信号VAを算出する。この彩度信号補正量算出回路450は、出力highC及び補正強度HS(又は輝度比R)に応じて、多段フィルター回路40によって抽出された所与の空間周波数帯域の彩度信号のうち所与の彩度レベル範囲の彩度信号に対する補正量を算出することができる。
ここで、出力highCは、入力画像の低彩度部のディテールや彩度ノイズに対応した信号である。即ち、同一の環境下で使用される場合、彩度信号補正量算出回路450は、出力highCのレベルに応じて、彩度ノイズが小さいと判断されるときには補正強度が強くなるように補正量を生成し、彩度ノイズが大きいと判断されるときには補正強度が弱くなるように補正量を生成することができる。この彩度信号補正量算出回路450は、図2の彩度ゲイン算出手段G1や図示しない周波数ゲイン算出手段の機能を実現することができる。
彩度信号補正回路60は、彩度信号補正量算出回路450によって算出された補正信号VAを用いて、周波数解析回路70によって彩度ノイズが除去された彩度信号NRを補正し、補正後の彩度信号Coutとして出力する。
このように画像処理部400は、所与の空間周波数帯域において所与の彩度レベルの彩度信号に対してのみ、入力画像の彩度信号の空間周波数の解析結果及び補正強度HSに応じて彩度信号を補正することができる。
次に、その他のブロックについては、画像処理部30の対応するブロックと同様であるため、画像処理部400特有のブロックである周波数解析回路70及び彩度信号補正量算出回路450について説明する。
図20に、図19の周波数解析回路70の構成例のブロック図を示す。図20において、図19と同一部分には同一符号を付し、適宜説明を省略する。
周波数解析回路70は、高周波成分抽出回路(高周波成分抽出部)72と、彩度ノイズ除去回路(彩度ノイズ除去部)74とを含む。高周波成分抽出回路72は、ラインメモリー34に蓄積された彩度信号から、画像の低彩度部のディテールと彩度ノイズが含まれる所与の高周波成分を抽出して、その絶対値を出力highCとして出力する。彩度ノイズ除去回路74は、ラインメモリー34に蓄積された彩度信号から、彩度ノイズを除去した彩度信号NRを生成する。ここで、彩度ノイズ除去回路74は、高周波成分抽出回路72によって抽出された高周波成分を用いて、彩度信号NRを生成する。
高周波成分抽出回路72は、HPF(High Pass Filter)回路73を含む。HPF回路73には、ラインメモリー34から彩度信号が入力され、該彩度信号の高周波成分の絶対値を出力highCとして、彩度信号補正量算出回路50や彩度ノイズ除去回路74に出力する。このようなHPF回路73は、公知のHPF処理により、次式に従って出力highCを、高周波成分の絶対値として出力する。
ここで、highCはHPF回路73の出力、Cは入力彩度信号、(x,y)は対象画素の座標であり、aHPFはフィルター係数、(u,v)は対象画素を中心とした相対座標系で上記の範囲をとり、sはフィルターのサイズを表す。sは、例えば「3」とすることができるが、「3」以外であってもよい。
彩度ノイズ除去回路74は、LPF(Low Pass Filter)回路75、重み付け算出回路76、乗算器77、78、加算器79を含む。LPF回路75には、ラインメモリー34から彩度信号が入力され、該彩度信号の低周波成分を通す。このようなLPF回路75は、公知のLPF処理により、次式に従って出力lowCを出力する。
ここで、lowCはLPF回路75の出力、Cは入力彩度信号、(x,y)は対象画素の座標であり、aLPFはフィルター係数、(u,v)は対象画素を中心とした相対座標系で上記の範囲をとり、sはフィルターのサイズを表す。sは、例えば「5」とすることができるが、「5」以外であってもよく、HPF回路73のフィルターサイズより大きいことが望ましい。
図21に、図20のHPF回路73、LPF回路75のフィルター特性の一例を示す。図21は、横軸に彩度信号の周波数、縦軸にゲインを表す。
HPF回路73の出力は、彩度信号の空間周波数が低い領域では小さくなり、彩度信号の空間周波数が高い領域では大きくなる(図21のT1)。このHPF回路73のカットオフ周波数は、ωHPFである。一方、LPF回路75の出力は、彩度信号の空間周波数が低い領域では大きくなり、彩度信号の空間周波数が高い領域では小さくなる(図21のT2)。このLPF回路75のカットオフ周波数は、ωLPFである。ここで、HPF回路73のカットオフ周波数とLPF回路75のカットオフ周波数とは等しいことが望ましい(ωHPF=ωLPF=ωcut)。これにより、元の彩度信号の情報を欠落させることなく、彩度信号を補正することができるようになる。
図20において、重み付け算出回路76は、高周波成分抽出回路72からの出力に応じて、重み付け量を算出する。重み付け算出回路76は、HPF回路73の出力highCに対応した重み付け量をLUT形式で保存しており、HPF回路73からの出力に対応した値を読み出したり、HPF回路73からの出力に対応した複数の値を補間して出力したりできるようになっている。
図22に、重み付け算出回路76の動作説明図を示す。
重み付け算出回路76は、HPF回路73の出力に応じて、乗算器77に対して重み付け係数αLPFを出力すると共に、乗算器78に対して重み付け係数αHPFを出力する。より具体的には、重み付け算出回路76は、HPF回路73からの出力に対応した重み付け係数αHPF、αLPFを予めLUT形式により記憶されている。すなわち、重み付け算出回路76には、予めHPF回路73の出力に対応した重み付け係数(αHPFa,αLPFa)、(αHPFb,αLPFb)、(αHPFc,αLPFc)、・・・が記憶されており、HPF回路73の出力highCが入力されたとき、これに対応した重み付け係数αHPF、αLPFを出力するようになっている。
図23に、重み付け算出回路76が出力する重み付け係数αHPF、αLPFの説明図を示す。図23は、横軸にHPF回路73の出力、縦軸に重み付け算出回路76が出力する重み付け量としての重み付け係数αHPF、αLPFを表す。
重み付け算出回路76には、HPF回路73の出力highCが大きくなるに従って、値が大きくなる重み付け係数αHPFを記憶する(図23のT10)と共に、HPF回路73の出力highCが大きくなるに従って、値が小さくなる重み付け係数αLPFを記憶する(図23のT11)。なお、図23では、HPF回路73の出力highCに応じて重み付け係数αHPF、αLPFがリニアに増加又は減少しているが、所与の関数に従って重み付け係数αHPF、αLPFが増加又は減少していてもよい。
図20において、乗算器77は、LPF回路75の出力と重み付け算出回路76からの重み付け係数αLPFとの乗算結果を出力し、加算器79に出力する。乗算器78は、HPF回路73の出力と重み付け算出回路76からの重み付け係数αHPFとの乗算結果を出力し、加算器79に出力する。加算器79は、乗算器77の乗算結果と乗算器78の乗算結果とを加算し、彩度ノイズを除去した後の彩度信号NRとして出力する。即ち、彩度ノイズ除去回路74は、次の式に従って彩度信号NRを出力する。
上式において、highCはHPF回路73の出力であり、lowCはLPF回路75の出力である。
重み付け算出回路76が、図23に示したように重み付け係数αHPF、αLPFを出力するため、彩度信号NRは、高周波の彩度ノイズが除去された信号となる。即ち、HPF回路73の出力highCが小さい領域は、主として低周波数帯域に分布する彩度信号に対応しており、重み付け係数αHPFを小さくし、重み付け係数αLPFを大きくすることで、彩度ノイズを強調させることなく、所望の彩度信号NRを得ることができる。一方、HPF回路73の出力highCが大きい領域は、主として高周波数帯域に分布する彩度信号に対応しており、重み付け係数αHPFを大きくし、重み付け係数αLPFを小さくすることで、所望の彩度信号NRを得ることができる。
なお、図20では、周波数解析回路70が、高周波成分抽出回路72及び彩度ノイズ除去回路74を含む構成を有しているものとして説明したが、周波数解析回路70が高周波成分抽出回路72のみを含む構成を有し、ラインメモリー34に蓄積された彩度信号がそのまま彩度信号NRとして彩度信号補正回路60に供給されてもよい。
図24に、図19の彩度信号補正量算出回路450の構成例のブロック図を示す。図24において、図8又は図19と同一部分には同一符号を付し、適宜説明を省略する。図24では、画像処理部の外部に設けられる補正強度算出部310についても併せて図示している。
図25に、図24の周波数ゲイン算出回路の動作説明図を示す。
彩度信号補正量算出回路450は、重み付け係数記憶回路452、乗算器531〜533、加算器54、乗算器55、彩度ゲイン算出回路(彩度ゲイン算出部)56、周波数ゲイン算出回路(周波数ゲイン算出部)458、乗算器57、59を含む。彩度信号補正量算出回路450が、図8に示す彩度信号補正量算出回路50と異なる点は、重み付け算出回路52に代えて重み付け係数記憶回路452が設けられると共に、周波数ゲイン算出回路458と乗算器59とが追加され、周波数ゲイン係数fを加味した補正信号VAが生成される点である。
このような彩度信号補正量算出回路450において、重み付け係数記憶回路452は、予め決められた定数値である重み付け係数g1〜g3を記憶する。重み付け係数g1は、第1のフィルター回路42の出力FO1が入力される乗算器531に入力される。乗算器531は、第1のフィルター回路42の出力FO1に重み付け係数g1を乗算した結果を加算器54に出力する。
重み付け係数g2は、第2のフィルター回路44の出力FO2が入力される乗算器532に入力される。乗算器532は、第2のフィルター回路44の出力FO2に重み付け係数g2を乗算した結果を加算器54に出力する。
重み付け係数g3は、第3のフィルター回路46の出力FO3が入力される乗算器533に入力される。乗算器533は、第3のフィルター回路46の出力FO3に重み付け係数g3を乗算した結果を加算器54に出力する。
加算器54は、乗算器531〜533の各乗算結果を加算し、その加算結果を乗算器55に出力する。乗算器55には、彩度ゲイン算出回路56によって算出された彩度ゲイン係数hが入力されている。
このような乗算器55の乗算結果が入力される乗算器59には、周波数ゲイン算出回路458によって算出された周波数ゲイン係数fが入力されている。周波数ゲイン算出回路458には、図20のHPF回路73からの出力highCが入力される。そして、周波数ゲイン算出回路458は、図25に示すように、HPF回路73の出力highCのレベルに対応した周波数ゲイン係数f(周波数ゲイン)を算出する。
このような周波数ゲイン算出回路458は、入力をHPF回路73の出力highCとし、出力を周波数ゲイン係数fとするLUTにより実現される。そのため、周波数ゲイン算出回路458には、予め出力highCに対応した周波数ゲイン係数fa、fb、fc、・・・が記憶されており、HPF回路73からの出力highCが入力されたとき、出力highCに対応した周波数ゲイン係数を出力するようになっている。この周波数ゲイン算出回路458では、所望の出力highCに対応した周波数ゲイン係数を指定できるので、指定した高周波数帯域に対してのみ補正量を生成することができる。
乗算器59は、乗算器55の乗算結果に周波数ゲイン算出回路458からの周波数ゲイン係数fを乗算する。乗算器59の乗算結果は、乗算器57に入力される。この乗算器57には、実施形態1と同様に、補正強度算出部310によって求められた補正強度HSが入力されている。乗算器57は、乗算器59の乗算結果に、補正強度HSを乗算することで、彩度信号の補正量に対応した補正信号VAを出力する。この補正信号VAは、彩度信号補正回路60に入力される。
このように、彩度信号補正量算出回路450は、多段フィルター回路40(広義には信号抽出回路)によって抽出された所与の空間周波数帯域の信号と、彩度ゲイン算出回路56によって算出された彩度ゲイン係数と、周波数ゲイン算出回路58によって算出された周波数ゲイン係数と、プロジェクター20の使用環境に対応した補正強度算出部310からの補正強度HS(又は輝度比R)とに基づいて、彩度信号の補正量を算出することができる。そして、彩度信号補正回路60は、例えば入力画像信号を構成する彩度信号又は彩度ノイズ成分が除去された彩度信号に、彩度信号補正量算出回路450からの補正信号VAを加算することで、補正後の彩度信号Coutを出力する。これにより、彩度ノイズが少ない場合にのみ補正を行うことができるので、補正によって彩度ノイズが増幅されるのを防ぐことができるようになる。
なお、彩度ゲイン係数を算出するまでもなく、彩度信号補正量算出回路450は、多段フィルター回路40(広義には信号抽出回路)によって抽出された所与の空間周波数帯域における所与の彩度レベル範囲の彩度成分と、周波数ゲイン算出回路58によって算出された周波数ゲイン係数と、プロジェクター20の使用環境に対応した補正強度算出部310からの補正強度HS(又は輝度比R)とに基づいて、彩度信号の補正量を算出するようにしてもよい。
実施形態2における画像処理部400の処理は、ソフトウェア処理によって実現することもできる。この場合、画像処理部400は、CPU、ROM、RAMを有し、ROM又はRAMに格納されたプログラムを読み込んだCPUが、該プログラムに対応した処理を実行することで乗算器や加算器等のハードウェアを制御して、上記の彩度成分及び色差成分の補正処理を行う。
図26に、実施形態2における画像処理部400の彩度信号の補正処理例のフロー図を示す。図26の処理をソフトウェアで実現する場合、画像処理部400が内蔵するROM又はRAMに図26に示す処理を実現するプログラムが格納される。
まず、画像処理部400は、入力彩度信号蓄積ステップとして、入力画像信号を構成する彩度信号(入力彩度信号)を蓄積する(ステップS40)。この場合、彩度信号は、ラインメモリー34、又はラインメモリー34の機能を実現するRAMに格納される。
次に、画像処理部400は、使用環境情報取得ステップとして、センサー300によって測定された外部照明の輝度と投射部100の出力光の最大輝度とに基づいて算出された輝度比を取得する(ステップS42)。
続いて、画像処理部400は、信号抽出ステップとして、ラインメモリー34等に蓄積された彩度信号から特定の空間周波数帯域の彩度信号を抽出する(ステップS44)。例えば、多段フィルター回路40により所与の空間周波数帯域の彩度信号を抽出する。或いは、ソフトウェア処理で実現する場合には、CPUが多段フィルター回路40の機能を実現する乗算器や加算器を制御して上記の空間周波数帯域の彩度信号を抽出する。
その後、画像処理部400は、周波数解析ステップとして、ステップS44で抽出された特定の空間周波数帯域の彩度信号の空間周波数を解析する(ステップS46、ステップS48)。より具体的には、ステップS46では、高周波成分抽出ステップとして、ステップS44で抽出された特定の空間周波数帯域のうち所与の高周波成分の彩度信号が抽出される。そして、ステップS48では、彩度ノイズ除去ステップとして、ラインメモリー等32に蓄積された彩度信号から彩度ノイズ成分が除去される。
そして、画像処理部400は、彩度成分補正量算出ステップとして、彩度信号の補正量を算出する(ステップS50、ステップS52、ステップS54)。より具体的には、ステップS50において、彩度ゲイン算出ステップとして、ステップS44で抽出された彩度信号に対して重み付けを行い、入力画像信号を構成する彩度信号の彩度レベルに応じた係数で乗算される。そして、ステップS52において、周波数ゲイン算出ステップとして、ステップS46で抽出された高周波成分の彩度信号(HPF回路73の出力highC)に応じた係数で、ステップS50で彩度レベルに対応した係数を乗算された彩度信号に乗算される。この結果、ステップS56では、彩度信号の補正量に対応した補正信号VAが生成される。或いは、ソフトウェア処理で実現する場合には、CPUが、信号抽出処理により抽出した彩度信号に対して重み付けを行った後に、入力画像信号を構成する彩度信号の彩度レベルに応じた係数と、ステップS46で抽出された高周波成分の彩度信号(HPF回路73の出力highC)に応じた係数とを用いて乗算した結果を、彩度信号の補正量に対応した補正信号VAとして生成する。このように、ステップS54では、ステップS46において抽出された空間周波数帯域の信号と、ステップS50において算出された彩度ゲインと、ステップS52において算出された周波数ゲインとに基づいて、彩度成分の補正量が算出される。
そして、画像処理部400は、彩度成分補正ステップとして、ステップS54で算出された補正量を用いて、ステップS48において彩度ノイズが除去された彩度信号を補正し(ステップS56)、補正後の彩度信号を出力して(ステップS58)、一連の処理を終了する(エンド)。即ち、ステップS56では、彩度信号補正回路60が、ステップS48において彩度ノイズが除去された彩度信号に、補正信号VAを加算して、補正後の彩度信号を生成する。或いは、ソフトウェア処理で実現する場合には、CPUが、ステップS48において彩度ノイズが除去された彩度信号に、補正信号VAを加算して、補正後の彩度信号を生成する。
なお、実施形態2では、図26のステップS46とステップS48の順序を入れ替えたり、図26のステップS50とステップS52の順序を入れ替えたりしてもよく、図26に示す処理順序に限定されるものではない。
実施形態2においても、上記の階調補正処理を行った後に、画像表示ステップとしてこのような投射部100を制御して、上記の階調補正処理において補正された画像信号に基づいて画像を表示することで、他の彩度領域に影響を与えることなく画像のディテールの表現を改善する画像表示方法を提供できる。
〔実施形態2の第1の変形例〕
実施形態2では、多段フィルター回路40を構成する第1〜第3のフィルター回路42、44、46の出力FO1〜FO3の比率を変更できなかったが、本発明はこれに限定されるものではない。実施形態2の第1の変形例では、多段フィルター回路40を構成する第1〜第3のフィルター回路42、44、46の出力FO1〜FO3の比率を、HPF回路73の出力highCに応じて変更可能に構成される。
このような実施形態2の第1の変形例における画像処理部が、実施形態2における画像処理部400と異なる点は、彩度信号補正量算出回路の構成である。そこで、以下では、実施形態2と共通する点については図示及び説明を省略し、実施形態2の第1の変形例における画像処理部の彩度信号補正量算出回路について説明する。
図27に、実施形態2の第1の変形例における彩度信号補正量算出回路の構成例のブロック図を示す。図27において、図24と同一部分には同一符号を付し、適宜説明を省略する。図27では、画像処理部の外部に設けられる補正強度算出部310についても併せて図示している。
図28に、図27の重み付け算出回路の動作説明図を示す。
実施形態2の第1の変形例における彩度信号補正量算出回路490は、重み付け算出回路492、乗算器531〜533、加算器54、乗算器55、57、彩度ゲイン算出回路56を含む。
重み付け算出回路492には、周波数解析回路70の高周波成分抽出回路72のHPF回路73によって生成された出力highCが入力される。そして、重み付け算出回路492は、図28に示すように、HPF回路73からの出力highCに応じて、重み付け係数g1〜g3を算出する。
このような重み付け算出回路492は、入力をHPF回路73からの出力highCとし、出力を重み付け係数g1〜g3とするLUTにより実現される。そのため、重み付け算出回路492には、予めHPF回路73からの出力highCに対応した重み付け係数(g1a,g2a,g3a)、(g1b,g2b,g3b)、(g1c,g2c,g3c)、・・・が記憶されており、HPF回路73から出力highCが入力されたとき、これに対応した重み付け係数を出力するようになっている。
加算器54は、乗算器531〜533の各乗算結果を加算し、その加算結果を乗算器55に出力する。乗算器55には、彩度ゲイン算出回路56によって算出された彩度ゲイン係数hが入力されている。乗算器55の乗算結果は、乗算器57に入力される。この乗算器57には、図24と同様に、補正強度算出部310によって求められた補正強度HSが入力されている。乗算器57は、乗算器55の乗算結果に、補正強度HSを乗算することで、彩度信号の補正量に対応した補正信号VAを出力する。この補正信号VAは、彩度信号補正回路60に入力される。
このように、彩度信号補正量算出回路490は、HPF回路73からの出力highCと、多段フィルター回路40(広義には信号抽出回路)によって抽出された所与の空間周波数帯域の信号と、彩度ゲイン係数と、プロジェクター20の使用環境に対応した補正強度算出部310からの補正強度HSとに基づいて、彩度信号の補正量を算出することができる。そして、彩度信号補正回路60は、例えば入力画像信号を構成する彩度信号又は彩度ノイズ成分が除去された彩度信号に、彩度信号補正量算出回路490からの補正信号VAを加算することで、補正後の彩度信号Coutを出力する。
図29に、実施形態2の第1の変形例における画像処理部の動作説明図を示す。図29において、図18と同一部分には同一符号を付し、適宜説明を省略する。
実施形態2の第1の変形例では、実施形態2と同様に、画像信号の彩度成分の空間周波数を解析し、空間周波数帯域Far(所与の空間周波数帯域)の画像信号の彩度成分の補正量のみを、プロジェクターの使用環境に対応した輝度比(又は補正強度)と画像信号の彩度成分の空間周波数の解析結果に応じて算出し、該補正量を用いて画像信号の彩度成分を補正する。このとき、入力画像信号の彩度成分の高周波成分に応じて、階調の補正強度を異ならせる。更に、実施形態2の第1の変形例では、多段フィルター回路40を構成する第1〜第3のフィルター回路42、44、46の出力FO1〜FO3の比率を変更できるため、図29に示すように、高周波成分のレベルが小さくなって彩度ノイズが多くなるに従って空間周波数帯域が狭くなるように彩度信号を抽出することができる。そして、低彩度でゲインが大きくなるように彩度ゲインを与えることで、低彩度部のディテールのみを増幅することができるようになる。
このように、実施形態2の第1の変形例によれば、実施形態2の効果に加えて、彩度ノイズ量に応じて抽出される空間周波数帯域を狭くできるので、高周波数帯域に存在する彩度ノイズが増幅されるのを防ぐことができるようになる。
〔実施形態2の第2の変形例〕
実施形態2又は実施形態2の第1の変形例における画像処理部では、彩度信号補正量算出回路が、重み付け係数記憶回路452や重み付け算出回路492と彩度ゲイン算出回路56とを有し、重み付け係数や彩度ゲイン係数を乗算する乗算器により補正信号VAを生成する構成となっていたが、本発明はこれに限定されるものではない。
図30に、実施形態2の第2の変形例における彩度信号補正量算出回路の構成例のブロック図を示す。例えば実施形態2における彩度信号補正量算出回路450に代えて、図30に示す彩度信号補正量算出回路が図19の画像処理部400に内蔵される。
彩度信号補正量算出回路500は、第1〜第3のLUT5021〜5023、乗算器5041〜5043、加算器506を含む。第1〜第3のLUT5021〜5023の各LUTには、入力画像信号を構成する彩度信号とHPF回路73からの出力highCとが入力される。各LUTには、プロジェクターの使用環境に対応した補正強度HSと入力画像信号を構成する彩度信号とHPF回路73からの出力highCとの組み合わせに対応して、彩度ゲイン係数が記憶されている。この彩度信号補正量算出回路500は、第1〜第3のLUT5021〜5023の各LUTからの彩度ゲイン係数を、多段フィルター回路40の各出力に乗算した後、各乗算結果を加算して補正信号VAとして出力する。
図31(A)、図31(B)、図31(C)に、図30の第1〜第3のLUT5021〜5023の動作説明図を示す。
図31(A)に示すように、第1のLUT5021には、入力画像信号を構成する彩度信号とHPF回路73からの出力highCと補正強度HSとが入力され、該彩度信号、出力highC及び補正強度HSの組み合わせに対応した彩度ゲイン係数j1を出力する。そのため、第1のLUT5021には、予め彩度信号、出力highC及び補正強度HSの組み合わせに対応した彩度ゲイン係数j1a、j1b、j1c・・・が記憶されており、彩度信号、出力highC及び補正強度HSが入力されたとき該彩度信号、HPF回路73からの出力highC及び補正強度HSの組み合わせに対応した彩度ゲイン係数を彩度ゲイン係数j1として出力するようになっている。
図31(B)に示すように、第2のLUT5022には、入力画像信号を構成する彩度信号とHPF回路73からの出力highCと補正強度HSとが入力され、該彩度信号、出力highC及び補正強度HSの組み合わせに対応した彩度ゲイン係数j2を出力する。そのため、第2のLUT5022には、予め彩度信号、出力highC及び補正強度HSの組み合わせに対応した彩度ゲイン係数j2a、j2b、j2c・・・が記憶されており、彩度信号、出力highC及び補正強度HSが入力されたとき該彩度信号、HPF回路73からの出力highC及び補正強度HSの組み合わせに対応した彩度ゲイン係数を彩度ゲイン係数j2として出力するようになっている。
図31(C)に示すように、第3のLUT5023には、入力画像信号を構成する彩度信号とHPF回路73からの出力highCと補正強度HSとが入力され、該彩度信号、出力highC及び補正強度HSの組み合わせに対応した彩度ゲイン係数j3を出力する。そのため、第3のLUT5023には、予め彩度信号、出力highC及び補正強度HSの組み合わせに対応した彩度ゲイン係数j3a、j3b、j3c・・・が記憶されており、彩度信号、出力highC及び補正強度HSが入力されたとき該彩度信号、HPF回路73からの出力highC及び補正強度HSの組み合わせに対応した彩度ゲイン係数を彩度ゲイン係数j3として出力するようになっている。
図30において、乗算器5041は、多段フィルター回路40を構成する第1のフィルター回路42の出力FO1と第1のLUT5021からの彩度ゲイン係数j1とを乗算し、乗算結果を加算器506に出力する。乗算器5042は、多段フィルター回路40を構成する第2のフィルター回路44の出力FO2と第2のLUT5022からの彩度ゲイン係数j2とを乗算し、乗算結果を加算器506に出力する。乗算器5043は、多段フィルター回路40を構成する第3のフィルター回路46の出力FO3と第3のLUT5023からの彩度ゲイン係数j3とを乗算し、乗算結果を加算器506に出力する。
加算器506は、乗算器5041〜5043の各乗算結果を加算し、加算結果を補正信号VAとして出力する。
以上のように、実施形態2の第2の変形例における画像処理部は、画像信号の彩度成分から所与の空間周波数帯域の信号を抽出する多段フィルター回路40を含み、彩度信号補正量算出回路500は、多段フィルター回路40の出力ごとに設けられ補正前の彩度成分のレベルに対応したゲインを出力する複数のテーブルと、多段フィルター回路40の出力ごとに設けられ多段フィルター回路40の出力と上記の複数のテーブルを構成する各テーブルの出力とを乗算する複数の乗算器と、複数の乗算器の乗算結果を加算する加算器とを含み、加算器の出力を彩度成分の補正量として算出することができる。
このような実施形態2の第2の変形例によれば、実施形態2又は実施形態2の第1の変形例と比較して、彩度信号補正量算出回路に内蔵される乗算器の数を減らすことができるので、低消費電力化及び低コスト化が可能となる。
〔実施形態2の第3の変形例〕
実施形態2の第2の変形例における彩度信号補正量算出回路500が、図30に示すように、第1〜第3のLUT5021〜5023と、乗算器5041〜5043と、加算器506とを有し、第1〜第3のLUT5021〜5023からの彩度ゲイン係数を用いた乗算器の乗算結果を加算する構成であったが、本発明はこれに限定されるものではない。
図32に、実施形態2の第3の変形例における彩度信号補正量算出回路の構成例のブロック図を示す。例えば実施形態2における彩度信号補正量算出回路50に代えて、図32に示す彩度信号補正量算出回路が図19の画像処理部400に内蔵される。
彩度信号補正量算出回路550は、LUT552を含む。この彩度信号補正量算出回路550は、LUT552からの出力を補正信号VAとして出力する。
図33に、図32のLUT552の動作説明図を示す。
LUT552には、入力画像信号を構成する彩度信号、HPF回路73からの出力highC、多段フィルター回路40を構成する第1〜第3のフィルター回路42〜44の各フィルター回路の出力FO1〜FO3及び補正強度HSが入力され、彩度信号、出力highC、各フィルター回路の出力、及び補正強度HSの組み合わせに対応した補正量を出力する。この補正量が、補正信号VAとして出力される。そのため、LUT552には、予め彩度信号、出力highC、各フィルター回路の出力FO1〜FO3及び補正強度HSの組み合わせに対応した補正量(補正信号)VAa、VAb、・・・、VAc、VAd、VAe、・・・が記憶されており、彩度信号、出力highC、各フィルター回路の出力及び補正強度HSが入力されたとき、これらの組み合わせに対応した補正量を出力するようになっている。
このような実施形態2の第3の変形例によれば、実施形態2又はその変形例と比較して、彩度信号補正量算出回路に内蔵される乗算器及び加算器を無くすことができるので、大幅な低消費電力化及び低コスト化が可能となる。
以上、本発明に係る画像処理装置、画像表示装置、及び画像処理方法を上記の実施形態に基づいて説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
(1)上記の各実施形態又はその変形例では、画像表示装置としてプロジェクターを例に説明したが、本発明はこれに限定されるものではない。本発明に係る画像表示装置は、液晶表示装置やプラズマディスプレイ装置、有機ELディスプレイ装置等の画像表示を行う装置全般に適用できる。
(2)上記の各実施形態又はその変形例では、光変調素子として透過型の液晶パネルを用いたライトバルブを用いるものとして説明したが、本発明はこれに限定されるものではない。光変調素子として、例えばDLP(Digital Light Processing)(登録商標)、LCOS(Liquid Crystal On Silicon)等を採用してもよい。
(3)上記の各実施形態又はその変形例では、光変調素子として、いわゆる3板式の透過型の液晶パネルを用いたライトバルブを例に説明したが、単板式の液晶パネルや2板又は4板式以上の透過型の液晶パネルを用いたライトバルブを採用してもよい。
(4)上記の各実施形態又はその変形例では、1画素を3つの色成分のサブ画素で構成されるものとして説明したが、本発明はこれに限定されるものではない。1画素を構成する色成分数が2、又は4以上であってもよい。
(5)上記の各実施形態又はその変形例では、彩度ゲイン及び周波数ゲインを算出するようにしていたが、本発明はこれに限定されるものではない。即ち、入力彩度信号を補正する際に、彩度ゲイン及び周波数ゲインの少なくとも1つを算出し、その算出結果を用いて入力彩度信号を補正するようにしてもよい。
(6)上記の各実施形態又はその変形例において、本発明を、画像処理装置、画像表示装置、及び画像処理方法として説明したが、本発明はこれに限定されるものではない。例えば、上記の画像処理装置や画像表示装置を含む画像表示システムであってもよい。或いは、例えば、本発明を実現するための画像処理装置の処理方法(画像処理方法)、又は本発明を実現するための画像表示装置の処理方法(画像表示方法)の処理手順が記述されたプログラムや、該プログラムが記録された記録媒体であってもよい。