JP5187351B2 - 投影装置および投影像補正プログラム - Google Patents

Description

本発明は、投影装置および投影像補正プログラムに関する。

投影機器の小型化によって投影機器の持ち運びが便利になり、部屋の壁など、スクリーン以外の投影面に画像を投影する機会が多くなる。しかし、投影面に色や模様がついている場合、その投影面に画像を投影すると、投影面の色や模様の影響で投影された画像の視認性が悪くなる。そこで、投影面の反射率分布に応じて補正した画像を投影して、画像が投影された投影面に投影面の色や模様を見えないようにする技術が従来技術として知られている（たとえば、特許文献１，２）。

特開２００８−６７０８０号公報 特開２００７−３２２６７１号公報

特許文献１や特許文献２に記載されているような従来技術で入力画像を補正すると、周辺光（投影装置以外からの光）が存在する場合や、黒線や黒点などの反射率の極めて低い箇所が投影面に存在する場合には、補正によって投影面に投影される画像の輝度が著しく低下することがあるという問題があった。投影画像の輝度低下は、投影画像の視認性を悪化させる。

本発明による投影装置は、画像を投影面へ投影する投影手段と、投影面の反射率分布を検出する反射率分布検出手段と、投影面の地模様の濃度分布を検出する濃度分布検出手段と、反射率分布および濃度分布を平滑化する平滑化手段と、画像データを入力する入力手段と、投影手段が投影画像の明るさ強調をするための色フィルタなしの画素を有する場合に、平滑化後の反射率分布、平滑化後の濃度分布、および色フィルタを有する画素から出力された色成分信号のみを対象とする投影手段の入出力特性に基づいて、入力された画像データを補正する補正手段と、補正後の画像データに基づく画像を投影するように投影手段を制御する制御手段と、を備えることを特徴とする。

本発明によれば、適切に投影面の地模様を抑えた画像を投影できる。

本発明の一実施の形態による投影装置の外観図である。 投影装置の構成を説明するブロック図である。 投影処理の流れを説明するためのフローチャートである。 投影環境を把握する処理を説明するフローチャートである。 周辺光模様補正画像を算出する処理を説明するフローチャートである。 平滑化を説明する図である。 ブロック化を説明する図である。 膨張処理を説明する図である。 投影画像を生成する処理を説明するフローチャートである。 収縮処理を説明する図である。 補正不可分布画像を生成する処理を説明するフローチャートである。 入力画像を例示する図である。 周辺光模様分布画像を例示する図である。 反射率分布画像を例示する図である。 周辺光模様分布画像を例示する図である。 周辺光模様分布画像を平滑化した後の画像を例示する図である。 平滑周辺光模様分布画像をブロック化した後の画像を例示する図である。 膨張処理した後の画像を例示する図である。 再平滑化後の画像を例示する図である。 目標周辺光模様画像を例示する図である。 周辺光模様補正画像を例示する図である。 補正不可分布画像を例示する図である。 平滑化後の補正不可分布画像を例示する図である。 ブロック化後の補正不可分布画像を例示する図である。 収縮処理後の補正不可分布画像を例示する図である。 再平滑化後の補正不可分布画像を例示する図である。 輝度低下分布画像を例示する図である。 目標投影画像を例示する図である。 投影画像を例示する図である。 補正後に投影面に投影された投影像を例示する図である。 補正なしで投影面に投影された投影像を例示する図である。 変形例による周辺光模様補正画像を算出する処理を説明するフローチャートである。 変形例による投影画像を生成する処理を説明するフローチャートである。

以下、図面を参照して本発明の実施の形態について説明する。本発明による投影装置は、投影された画像の見栄えや視認性を向上させるため、投影面の状態に応じて入力画像を補正する。

図１は、本発明の一実施の形態による投影装置１を前方から見た図である。図１に示すように、投影装置１の正面には、投影光学系１１１（図２参照）を構成する投影レンズ１１１Ａと、撮像光学系１２１（図２参照）を構成する撮影レンズ１２１Ａとが設けられている。投影装置１は、机上などに載置された状態で前方のスクリーンなどに向けて、内蔵する投射ユニット１１０（図２参照）から画像などを投影する。

図２は、投影装置１の構成例を説明するブロック図である。図２において投影装置１は、投射ユニット１１０と、撮像ユニット１２０と、制御回路１０１と、メモリ１０２と、操作部１０３と、外部インターフェイス（Ｉ／Ｆ）回路１０４と、メモリカードインターフェイス（Ｉ／Ｆ）１０５とを備える。メモリカードインターフェイス１０５には、メモリカード１５０が装着可能である。

制御回路１０１は、マイクロプロセッサおよびその周辺回路によって構成される。制御回路１０１は、内蔵するフラッシュメモリ１０１Ｂに記憶されている制御プログラムに基づいて、投影装置内各部から入力される信号を用いて所定の演算を行う。そして、制御回路１０１は、演算結果を制御信号として投影装置内各部に出力し、投影装置１の投影動作および撮像動作を制御する。なお、フラッシュメモリ１０１Ｂ内の制御プログラムやデータは、外部インターフェイス（Ｉ／Ｆ）回路１０４を介して外部機器との間で通信を行うことにより、書き替えや追加記憶が可能に構成されている。

制御回路１０１の画像処理部１０１Ａでは、外部インターフェイス１０４を介して取得した画像データまたはメモリカード１５０より取得した画像データに対して画像処理を行う。画像処理部１０１Ａで行う画像処理の詳細については後述する。

メモリ１０２は制御回路１０１の作業用メモリとして使用される。操作部１０３はボタンやスイッチなどで構成され、操作されたボタンやスイッチに対応する操作信号を制御回路１０１へ出力する。メモリカード１５０は、制御回路１０１の指示によりデータの書き込み、保存および読み出しが可能である。

投射ユニット１１０は、投影光学系１１１、液晶パネル１１２、ＬＥＤ光源１１３、および投射制御回路１１４を含む。ＬＥＤ光源１１３は、供給電流に応じた明るさで液晶パネル１１２を照明する。液晶パネル１１２は、投射制御回路１１４からの駆動信号に応じて光像を生成する。投影光学系１１１は、液晶パネル１１２から射出される光像を投射する。投射制御回路１１４は、制御回路１０１からの指示により、ＬＥＤ光源１１３および液晶パネル１１２へ制御信号を出力する。

投射ユニット１１０は、制御回路１０１から指示された画像を投影する。投射ユニット１１０は、メモリカード１５０内に保存されている画像データの他、外部インターフェイス回路１０４を介して外部機器から供給される画像データによる画像を投影することができる。メモリカード１５０内に保存されている画像データの画像、または、外部インターフェイス回路１０４を介して外部機器から供給される画像データの画像を、本説明では入力画像と呼ぶ。

撮像ユニット１２０は、撮像光学系１２１、撮像素子１２２および撮像制御回路１２３を有し、制御回路１０１からの指示に応じて投影面を撮像する。撮像光学系１２１は、撮像素子１２２の撮像面上に被写体像を結像させる。撮像素子１２２は被写体像を電気信号に変換する。撮像素子１２２としては、ＣＣＤやＣＭＯＳ撮像素子などが用いられる。撮像制御回路１２３は、制御回路１０１からの指示により撮像素子１２２を駆動制御するとともに、撮像素子１２２から出力される電気信号に対して所定の信号処理を行う。

次に、投影装置１が行う入力画像の補正処理について説明する。補正処理は、入力画像を投影面に投射したときに投影面の地模様や汚れが目立たなくなるように、撮像ユニット１２０により撮影した投影面の画像に基づいて行う。

＜投影処理＞
図３は、制御回路１０１が行う投影処理の流れを説明するフローチャートである。制御回路１０１は、投影装置１に投影指示が行われると、図３による処理を行うプログラムを起動させる。

図３のステップＳ２１において、制御回路１０１は投影環境の把握を行う。具体的には、撮像ユニット１２０によって投影面を撮像し、該投影面の地模様を表す濃度分布画像と、該投影面の反射率分布を表す画像とを算出する。当該処理の詳細については後述する。

ステップＳ２２において、制御回路１０１は周辺光模様補正画像を算出する。周辺光模様補正画像は、ステップＳ２１で得られた画像から周辺光（投影装置１以外の他の光源からの光）によって投影面に生じる影響を低減するための画像（たとえば、地模様の明暗と逆相の明暗を有する画像）である。当該処理の詳細についても後述する。ここで求めた周辺光模様補正画像は、投影環境に変化が生じない限り画像ごとに同じものを用いる。

ステップＳ２３において、制御回路１０１は、入力画像の画像データを外部インターフェイス回路１０４を介して、またはメモリカード１５０から読み込み、メモリ１０２に記憶する。図１２は、入力画像を例示する図である。

ステップＳ２４において、制御回路１０１は入力画像を補正して投影画像の算出を行う。具体的には、入力画像に補正を行った上で補正後の画像を投影したとしても、投影面の反射率が低いことに起因して該投影面の地模様をキャンセルすることが困難な部分を示す画像（補正不可分布画像と呼ぶ）を作成する。次に該補正不可分布を平滑化し、平滑化された補正不可分布画像および投影面の反射率を表す画像に基づいて、ステップＳ２３で読み込んだ入力画像を補正する。制御回路１０１はさらに、補正後の入力画像にステップＳ２２で算出した周辺光模様補正画像を足すことによって周辺光が及ぼす影響に対する補正も行う。なお、当該処理の詳細についても後述する。

ステップＳ２５において、制御回路１０１は、ステップＳ２４で算出（補正）された投影画像（すなわち入力画像を補正したもの）をアナログ変換し、変換後の画像を投射ユニット１１０から投影させる。ステップＳ２６において、制御回路１０１は、次に投影する入力画像があるか否かを判定する。次に投影する入力画像がある場合はステップＳ２６を肯定判定し、ステップＳ２３に戻る。次に投影する入力画像がない場合はステップＳ２６を否定判定し、図３による処理を終了する。

＜投影環境を把握する処理＞
図４に例示するフローチャートを参照して、上記ステップＳ２１（図３）における投影環境を把握する処理を詳細に説明する。本例では、入力画像がＲＧＢ各８ビットのデータを有し、画素サイズが１０２４（横）×７６８（縦）ピクセルの場合を例に説明する。データのビット長は、８ビットに限らず適宜変更して構わない。ここで、ｉ番目の画素値が（Ｒ，Ｇ，Ｂ）_ｉで与えられる画像を投射ユニット１１０から投影するとき、投影面の撮影像におけるｉ番目の画素値に対応する画素値を（Ｒ_Ｐ，Ｇ_Ｐ，Ｂ_Ｐ）_ｉとして説明する。

図４のステップＳ３１において、制御回路１０１は、投射ユニット１１０から黒画像（（Ｒ，Ｇ，Ｂ）_ｉ＝（０，０，０）_ｉ）を投影面に投影させる。ステップＳ３２において、制御回路１０１は、黒画像を投影した投影面を撮像ユニット１２０で撮影させる。

ステップＳ３３において、制御回路１０１は、ステップＳ３２で取得した画像（周辺光模様分布画像Ａ０１と呼ぶ）を算出する。これは、投影面の汚れを含む地模様が周辺光（投影装置１以外の他の光源からの光）で照明されることによって現れる濃度分布画像に相当する。周辺光模様分布画像Ａ０１の画素値を（Ｒ_Ｐ，Ｇ_Ｐ，Ｂ_Ｐ）_ｉ＝（Ｒ_Ａ０１，Ｇ_Ａ０１，Ｂ_Ａ０１）_ｉとする。図１３は、周辺光模様分布画像Ａ０１を例示する図である。図１３によれば、周辺光によって投影面に地模様（濃度分布）が現れている。

ステップＳ３４において、制御回路１０１は、投射ユニット１１０から白画像（（Ｒ，Ｇ，Ｂ）_ｉ＝（２５５，２５５，２５５）_ｉ）を投影面に投影させる。「２５５」は、８ビットデータの最大値に相当する。ステップＳ３５において、制御回路１０１は、白画像を投影した投影面を撮像ユニット１２０で撮影させる。このときの撮影画像Ａ０２の画素値を（Ｒ_Ｐ，Ｇ_Ｐ，Ｂ_Ｐ）_ｉ＝（Ｒ_Ａ０２，Ｇ_Ａ０２，Ｂ_Ａ０２）_ｉとする。

ステップＳ３６において、制御回路１０１は、撮影画像Ａ０２と周辺光模様分布画像Ａ０１との差分から投影面の反射率を表す画像（反射率分布画像Ａ０３と呼ぶ）を算出する。具体的には、（Ｒ_Ａ０３，Ｇ_Ａ０３，Ｂ_Ａ０３）_ｉ＝（Ｒ_Ａ０２−Ｒ_Ａ０１，Ｇ_Ａ０２−Ｇ_Ａ０１，Ｂ_Ａ０２−Ｂ_Ａ０１）_ｉの画像を算出し、図４による処理を終了する。図１４は、反射率分布画像Ａ０３を例示する図である。図１４によれば、上記模様の他に線状の反射率が低い箇所が存在する。

＜周辺光模様補正画像を算出する処理＞
図５に例示するフローチャートを参照して、上記ステップＳ２２（図３）における周辺光模様補正画像を算出する処理の詳細を説明する。

図５のステップＳ４１において、制御回路１０１は、周辺光模様分布画像Ａ０１に対する画素間引きを行う。周辺光模様分布画像Ａ０１の画素サイズが１０２４（横）×７６８（縦）ピクセルである場合に、たとえば、縦横それぞれを１／４のサイズに間引いて２５６×１９２ピクセルの縮小した周辺光模様分布画像ａ０１を得る。図１５は、周辺光模様分布画像ａ０１を例示する図である。

ステップＳ４２において、制御回路１０１は、ローパスフィルタ処理（たとえば移動平均処理）を適用して、縮小した周辺光模様分布画像ａ０１の平滑化を行う。図６を参照して、たとえば３×３のカーネル（重み平均計算に用いられる局所領域）で行う平滑化を例に説明する。図６において、３×３の画素の中心の画素が注目画素であり、注目画素における周辺光模様分布値は０．３である。注目画素に隣接する画素の周辺光模様分布値は、１．０、０．８、１．０、０．６、０．５、０．５、０．７および０．９である。注目画素の周辺光模様分布値および注目画素に隣接する画素の周辺光模様分布値について重み平均計算を行うと、つまり、注目画素の周辺光模様分布値および注目画素に隣接する画素の周辺光模様分布値に１／９の重み付けをして足し算すると、平滑化後の注目画素の周辺光模様分布値が算出され、その値は０．７となる。図１６は、周辺光模様分布画像ａ０１を平滑化した後の画像を例示する図である。

なお、カーネルの大きさは、補正した入力画像を投影したときの見え方によって適宜選択することができる。たとえば、９×９でもよいし、１３×１３でもよい。また、平滑化の処理をローパスフィルタで行う代わりに、メディアンフィルタで行うようにしてもよい。

ステップＳ４３において、制御回路１０１は、平滑化した周辺光模様分布のブロック化を行う。以下、平滑化した周辺光模様分布を平滑周辺光模様分布と呼ぶ。平滑周辺光模様分布のブロック化とは、平滑周辺光模様分布を所定の領域で区分けし、１つの区分けした領域（１つのブロック）に含まれる画素の平滑周辺光模様分布値の中で、値が最も大きい平滑周辺光模様分布値をその領域に含まれる画素の平滑周辺光模様分布値とする処理である。図７を参照して、たとえば４×４の画素を１つのブロックとした場合のブロック化の処理を説明する。図７（ａ）に示すように、４×４の画素の中で、つまり、１つのブロックの中で値が最も大きい平滑周辺光模様分布値は１．０である。したがって、ブロック化の処理を行うと、図７（ｂ）に示すように、１つのブロックに含まれる画素の平滑周辺光模様分布値は、全て１．０となる。このブロック化により、平滑周辺光模様分布画像のサイズは６４×４８ピクセルとなる。図１７は、平滑周辺光模様分布画像をブロック化した後の画像を例示する図である。

ステップＳ４４において、制御回路１０１は、ブロック化した平滑周辺光模様分布に膨張処理を行う。膨張処理とは、平滑周辺光模様分布の注目画素を中心に所定範囲のカーネルを考え、該カーネル内で周辺光模様分布値が最も大きい値にそのカーネルに含まれる画素の周辺光模様分布値を合わせる処理である。図８を参照して、たとえば３×３のカーネル（画素範囲）を考えた場合の膨張処理を説明する。図８(a)に示すように、３×３のカーネルで最大となる画素値に合わせると、図８(b)に示すように、膨張処理後の平滑周辺光模様分布が得られる。本実施形態では、膨張処理を２回繰り返す。図１８は、膨張処理した後の画像を例示する図である。

ステップＳ４５において、制御回路１０１は、膨張処理後の平滑周辺光模様分布画像に対して再度平滑化を行う。平滑化は、たとえば９×９のカーネルで行う移動平均による。図１９は、再平滑化後の画像を例示する図である。ステップＳ４６において、制御回路１０１は、拡大処理を行って目標周辺光模様画像を生成する。具体的には、平滑化後の６４×４８ピクセルの画像をバイリニア手法で拡大し、１０２４×７６８ピクセルの画像（目標周辺光模様画像Ｅ０１と呼ぶ）を得る。図２０は、目標周辺光模様画像Ｅ０１を例示する図である。

ステップＳ４７において、制御回路１０１は、目標周辺光模様画像Ｅ０１から周辺光模様分布画像Ａ０１を引いて周辺光模様補正画像Ｄ０１を算出する。具体的には、（Ｒ_Ｄ０１，Ｇ_Ｄ０１，Ｂ_Ｄ０１）_ｉ＝（Ｒ_Ｅ０１−Ｒ_Ａ０１，Ｇ_Ｅ０１−Ｇ_Ａ０１，Ｂ_Ｅ０１−Ｂ_Ａ０１）_ｉの画像を算出する。

ステップＳ４８において、制御回路１０１は、周辺光模様補正画像Ｄ０１を反射率分布画像Ａ０３で除して反射率補正後の周辺光模様補正画像Ｆ０１を算出する。具体的には、（Ｒ_Ｆ０１，Ｇ_Ｆ０１，Ｂ_Ｆ０１）_ｉ＝（Ｒ_Ｄ０１／Ｒ_Ａ０３，Ｇ_Ｄ０１／Ｇ_Ａ０３，Ｂ_Ｄ０１／Ｂ_Ａ０３）_ｉの画像を算出し、図５による処理を終了する。図２１は、周辺光模様補正画像Ｆ０１を例示する図である。

＜投影画像の生成処理＞
図９に例示するフローチャートを参照して、上記ステップＳ２４（図３）における投影画像を生成する処理の詳細を説明する。

図９のステップＳ５１において、制御回路１０１は、入力画像（１０２４×７６８ピクセル）の画素値をそれぞれ線形化した画像（線形化画像Ｃ０１とする）を得る。制御回路１０１は、たとえば、ルックアップテーブル(LUT)を参照して画素順次で逆γ変換を行うことによって線形値を得る。

LUTは、ＲＧＢ各８ビットの入力画像データを所定の階調特性（たとえば、γ＝２．２）に対応するＲＧＢ各８ビットの出力画像データへ逆γ変換するものである。一般に、投射ユニット１１０の液晶パネル１１２において、ＲＧＢ色以外の成分に対応する画素（Ｒ成分、Ｇ成分、Ｂ成分のいずれの成分の色フィルタも備えていない画素）を所定の画素比率で有する場合がある。このＲＧＢ色以外の成分に対応する画素は、Ｒ色フィルタを有する画素によるＲ色光、Ｇ色フィルタを有する画素によるＧ色光、Ｂ色フィルタを有する画素によるＢ色光とは別に、ＬＥＤ光源１１３からの光を色フィルタを介さずにそのまま出力する。色フィルタを介さない光は略白成分であることから、「白」が強調されて投影像の見かけの明るさが高まる。

本実施形態のLUTは、投写ユニット１１０の液晶パネル１１２が上記明るさ強調用の画素を有する場合でも、当該画素を有していない場合と同様の逆γ変換を行う。つまり、投写ユニット１１０の液晶パネル１１２が上記ＲＧＢ色以外の成分の画素を有しているか否かにかかわらず、ＲＧＢ色成分の信号のみを対象に逆γ変換を行う。なお、計算による階調の損失を防ぐために、本例においては階調データの８ビットより長い１０ビット（１２ビットでもよい）のLUTを構成し、該LUTをフラッシュメモリ１０１Ｂ内に格納しておく。

ステップＳ５２において、制御回路１０１は、線形化画像Ｃ０１に対する画素間引きを行う。画素サイズ（１０２４×７６８）を縦横それぞれ１／４に間引いて２５６×１９２ピクセルの縮小した線形化画像ｃ０１を得る。

ステップＳ５３において、制御回路１０１は、補正不可分布画像Ｂ０３を作成してステップＳ５４へ進む。補正不可分布画像Ｂ０３の作成処理の詳細については後述する。

ステップＳ５４において、制御回路１０１は、補正不可分布画像Ｂ０３を縦横それぞれ１／４に間引いて画素間引きを行い、２５６×１９２ピクセルの縮小した補正不可分布画像ｂ０３を得るとともに、補正不可分布画像ｂ０３に対して平滑化を行う。図２２は、補正不可分布画像ｂ０３を例示する図である。図２２によれば、輝度を低下させないと補正できない領域について、その度合いが強いほど黒く表される。図２３は、平滑化後の補正不可分布画像を例示する図である。なお、平滑化は、たとえば３×３のカーネルで行う移動平均による。

ステップＳ５５において、制御回路１０１は、平滑化した補正不可分布のブロック化を行う。ブロック化は、たとえば４×４の画素を１つのブロックとした場合に値が最も大きい補正不可分布をその領域に含まれる画素の補正不可分布値とする。このブロック化により、補正不可分布画像は６４×４８ピクセルとなる。図２４は、ブロック化後の補正不可分布画像を例示する図である。

ステップＳ５６において、制御回路１０１は、ブロック化した補正不可分布に収縮処理を行う。収縮処理とは、補正不可分布の注目画素を中心に所定範囲のカーネルを考え、該カーネル内で補正不可分布値が最も小さい値にそのカーネルに含まれる画素の補正不可分布値を合わせる処理である。図１０を参照して、たとえば３×３のカーネル（画素範囲）を考えた場合の収縮処理を説明する。図１０(a)に示すように、３×３のカーネルで最小となる画素値に合わせると、図１０(b)に示すように、収縮処理後の補正不可分布が得られる。本実施形態では、収縮処理を２回繰り返す。図２５は、収縮処理後の補正不可分布画像を例示する図である。

ステップＳ５７において、制御回路１０１は、収縮処理後の補正不可分布画像に再度の平滑化処理と、拡大処理とを行うことにより輝度低下分布画像を得る。平滑化は、たとえば９×９のカーネルで行う移動平均による。図２６は、再平滑化後の補正不可分布画像を例示する図である。拡大は、再度の平滑化後の６４×４８ピクセルの画像をバイリニア手法で拡大し、１０２４×７６８ピクセルの画像（輝度低下分布画像Ｈ０１と呼ぶ）を得る。図２７は、輝度低下分布画像Ｈ０１を例示する図である。

ステップＳ５８において、制御回路１０１は、線形化画像Ｃ０１に輝度低下分布画像Ｈ０１を乗じて目標投影画像Ｊ０１を算出してステップＳ５９へ進む。図２８は、目標投影画像Ｊ０１を例示する図である。ステップＳ５９において、制御回路１０１は、目標投影画像Ｊ０１を反射率分布画像Ａ０３で除して反射率補正後の目標投影画像Ｋ０１を算出し、ステップＳ６０へ進む。具体的には、（Ｒ_Ｋ０１，Ｇ_Ｋ０１，Ｂ_Ｋ０１）_ｉ＝（Ｒ_Ｊ０１／Ｒ_Ａ０３，Ｇ_Ｊ０１／Ｇ_Ａ０３，Ｂ_Ｊ０１／Ｂ_Ａ０３）_ｉの画像を算出する。

ステップＳ６０において、制御回路１０１は、反射率補正後の目標投影画像Ｋ０１に周辺光模様補正画像Ｆ０１を足して投影画像Ｌ０１を算出し、ステップＳ６１へ進む。具体的には、（Ｒ_Ｌ０１，Ｇ_Ｌ０１，Ｂ_Ｌ０１）_ｉ＝（Ｒ_Ｋ０１＋Ｒ_Ｆ０１，Ｇ_Ｋ０１＋Ｇ_Ｆ０１，Ｂ_Ｋ０１＋Ｂ_Ｆ０１）_ｉの画像を算出する。図２９は、投影画像Ｌ０１を例示する図である。

ステップＳ６１において、制御回路１０１は、投影画像Ｌ０１に対してγ変換を行うことにより、非線形に戻した実際の投影画像Ｌ０２を得る。LUTは、ＲＧＢ各８ビットの入力画像データを所定の階調特性（たとえば、γ＝２．２）に対応するＲＧＢ各８ビットの出力画像データへγ変換するものである。上述した逆γ変換の場合と同様に、投写ユニット１１０の液晶パネル１１２が上記ＲＧＢ色以外の成分の画素を有しているか否かにかかわらず、ＲＧＢ色成分の信号のみを対象にγ変換を行う。なお、計算による階調の損失を防ぐために階調データのビット長より長いビット長を有するLUTを構成し、該LUTをフラッシュメモリ１０１Ｂ内に格納しておく。

＜補正不可分布画像の作成処理＞
図１１に例示するフローチャートを参照して、上記ステップＳ５３（図９）における補正不可分布画像Ｂ０３を生成する処理の詳細を説明する。図１１のステップＳ７１において、制御回路１０１は、入力画像の補正に使用できる投射ユニット１１０の出力（光量）を算出する。これは、投射ユニット１１０の出力を８ビットデータで表す場合の最大出力値である２５５とし、この値から周辺光模様補正画像Ｆ０１の画素値を差し引いて、（Ｒ_Ｍ１，Ｇ_Ｍ１，Ｂ_Ｍ１）_ｉ＝（２５５−Ｒ_Ｆ０１，２５５−Ｇ_Ｆ０１，２５５−Ｂ_Ｆ０１）_ｉを算出する。

ステップＳ７２において、制御回路１０１は、投影面の模様をみかけ上消す（影響を抑える）ために出力すべき光量を算出する。具体的には、線形化画像Ｃ０１を反射率分布画像Ａ０３で除して、（Ｒ_Ｎ１，Ｇ_Ｎ１，Ｂ_Ｎ１）_ｉ＝（Ｒ_Ｃ０１／Ｒ_Ａ０３，Ｇ_Ｃ０１／Ｇ_Ａ０３，Ｂ_Ｃ０１／Ｂ_Ａ０３）_ｉを算出する。

ステップＳ７３において、制御回路１０１は、投影可能な光量と投影に必要な光量とを画素順次で比較する。制御回路１０１は、「投影可能な光量」＞「投影に必要な光量」である場合、すなわち（Ｒ_Ｍ１，Ｇ_Ｍ１，Ｂ_Ｍ１）_ｉ＞（Ｒ_Ｎ１，Ｇ_Ｎ１，Ｂ_Ｎ１）_ｉが成立する場合にステップＳ７３を肯定判定してステップＳ７４へ進む。制御回路１０１は、「投影可能な光量」＞「投影に必要な光量」とならない場合、すなわち（Ｒ_Ｍ１，Ｇ_Ｍ１，Ｂ_Ｍ１）_ｉ＞（Ｒ_Ｎ１，Ｇ_Ｎ１，Ｂ_Ｎ１）_ｉが成立しない場合には、ステップＳ７３を否定判定してステップＳ７５へ進む。

ステップＳ７４において、制御回路１０１は、補正不可分布値（Ｒ_Ｂ０１，Ｇ_Ｂ０１，Ｂ_Ｂ０１）_ｉ＝（２５５，２５５，２５５）としてステップＳ７６へ進む。ステップＳ７５において、制御回路１０１は、補正不可分布値（Ｒ_Ｂ０１，Ｇ_Ｂ０１，Ｂ_Ｂ０１）_ｉ＝（Ｒ_Ｍ１／Ｒ_Ｎ１，Ｇ_Ｍ１／Ｇ_Ｎ１，Ｂ_Ｍ１／Ｂ_Ｎ１）_ｉ×２５５としてステップＳ７６へ進む。

ステップＳ７６では、制御回路１０１は、入力画像の全ての画素についてステップＳ７３の比較が終了したか否かを判定する。入力画像の全ての画素についてステップＳ７３の比較が終了した場合はステップＳ７６を肯定判定し、図１１による補正不可分布の算出処理を終了する。入力画像の全ての画素の中にステップＳ７３の比較が終了していないものがある場合はステップＳ７６を否定判定し、ステップＳ７３に戻る。

図３０は、以上説明した投影装置１による補正後に投影面に投影された投影像を例示する図である。投影面の模様が抑制されている。図３１は比較用画像であり、入力画像をそのまま（上述した補正をすることなしに）投影面に投影させた場合の投影像を例示するである。図３０図に比べると、投影面の模様が現れている。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）投影装置１は、画像を投影面へ投影する投射ユニット１１０と、画像データを入力するメモリカードＩ／Ｆ１０５と、制御回路１０１とを備え、投射ユニット１１０が投影画像の明るさ強調をする場合に、制御回路１０１が投影面の反射率分布Ａ０３を検出し、投影面の周辺光模様分布画像Ａ０１を検出し、反射率分布Ａ０３および周辺光模様分布画像Ａ０１を平滑化し、平滑化後の反射率分布、平滑化後の周辺光模様分布画像、および色成分信号のみを対象にする投射ユニット１１０の入出力特性に基づいて、入力された画像データＣ０１を補正し、補正後の画像データに基づく画像を投影するように投射ユニット１１０を制御する構成にした。これにより、投影像の視認性を著しく低下させることなく、投影面の色、汚れ、地模様の影響を抑えるように入力画像の補正を行うことができる。平滑化により、補正部分を目立たないように補正できる。

上述した補正の際に行う逆γ変換（Ｓ５１）、γ変換（Ｓ６１）を、それぞれLUTを用いて行うようにした。当該LUTは、投写ユニット１１０の液晶パネル１１２が明るさ強調用にＲ,Ｇ,Ｂ色以外の成分の画素を有する場合でも、Ｒ,Ｇ,Ｂ色成分の信号のみを対象に逆γ変換、γ変換を行い、Ｒ,Ｇ,Ｂ色以外の成分の信号を変換処理の対象にしない。Ｒ,Ｇ,Ｂ色成分の信号のみを対象に行う場合は、いわゆる加法則（Ｗ（白）＝Ｒ＋Ｇ＋Ｂ）が成立するので、LUTは、たとえば二次元で簡単に構成できる。

一方、Ｒ,Ｇ,Ｂ色成分の信号に加えてＲ,Ｇ,Ｂ色以外の成分である明るさ強調用の信号を含めて逆γ変換、γ変換をしようとすると、上記加法則は成立しなくなる。Ｗ（白）＝Ｒ＋Ｇ＋Ｂ＋α（色フィルタを介さない光）になるからである。この場合のLUTは、たとえば三次元構成の複雑なものが必要になる。このような複雑なLUTを用いて厳密に逆γ変換、γ変換を行うよりも、加法測が成立する場合の簡単なLUTを用いて簡易的に逆γ変換、γ変換する方が、制御回路１０１の処理負担が軽い上に、入力画像のコントラストを不必要に低下させない点において好適である。上述した明るさ強調用の画素は、電池駆動する小型の投影装置など、光源の光量が少ない投影装置において液晶パネル１１２に備えられることが多い。

通常、投影像の投影先であるスクリーンは、彩度が低く無彩色に近いものが多い。使用者は、彩度が高い面よりも彩度が低い面へ投影させようとするからである。投影面の彩度が高い場合は厳密な逆γ変換、γ変換を行う方が地模様の影響を抑える効果が高いが、投影面の彩度が高くない場合は、簡易的な逆γ変換、γ変換でも十分に地模様の影響を抑えることができる。

（２）制御回路１０１は、周辺光模様分布画像Ａ０１のデータサイズを投射ユニット１１０が投影する画像のデータサイズより小さなサイズにサイズ変換し、反射率分布およびサイズ変換後の周辺光模様分布画像に基づいて投影面の地模様をキャンセルするための補正情報（周辺光模様補正画像）を算出するようにした。これにより、サイズ変換しない場合に比べて算出処理の負担が軽くなり、短時間で処理を行うことができる。

（３）制御回路１０１は、補正情報（周辺光模様補正画像）Ｆ０１と、入力された画像データＣ０１と、反射率分布Ａ０３と、上記入出力特性とに基づいてキャンセルの可否分布を示す輝度低下分布画像Ｈ０１を生成し、輝度低下分布画像Ｈ０１のデータおよび入力された画像データＣ０１を、投射ユニット１１０が投影する画像のデータサイズより小さなサイズへそれぞれサイズ変換し、サイズ変換後の輝度低下分布画像と、サイズ変換後の入力画像と、反射率分布と、補正情報（周辺光模様補正画像）とを用いて入力された画像データＣ０１に対する補正を行うようにした。これにより、サイズ変換しない場合に比べて算出処理の負担が軽くなり、短時間で処理を行うことができる。

（４）制御回路１０１は、サイズ変換後の濃度分布に基づいて補正情報（周辺光模様補正画像）を投影画面における所定領域ごとに算出するようにしたので、たとえば画素ごとに算出する場合には、投影画像に対する補正を画素単位で行うことができる。

（５）制御回路１０１は、サイズ変換後の輝度低下分布に基づいて補正に必要な演算を投影画面における所定領域ごとに行うようにしたので、たとえば画素ごとに算出する場合には、投影画像に対する補正を画素単位で行うことができる。

（変形例１）
投影面の反射率分布を表す画像を算出することによって投影面の反射率分布を検出したが、投影面の反射率分布を検出できれば、上述した実施形態に限定することはない。たとえば、投射ユニット１１０から投射された光の強度と、撮像ユニット１２０によって検出された投影面の反射光の強度とに基づいて反射率分布を検出するようにしてもよい。

（変形例２）
上述した実施形態では、画面内で異なる補正量を設定し得る例を説明したが、画面全域に対する補正量を揃えて一様補正するように構成してもよい。この場合の制御回路１０１は、図５のフローチャートに代えて図３１に例示するフローチャートによる処理を行うとともに、図９のフローチャートに代えて図３２に例示するフローチャートによる処理を行う。

＜周辺光模様補正画像を算出する処理＞
図３２に例示するフローチャートを参照して、上記ステップＳ２２（図３）における周辺光模様補正画像を算出する処理の詳細を説明する。

図３２のステップＳ８１において、制御回路１０１は、周辺光模様分布画像Ａ０１に対する画素間引きを行う。たとえば、周辺光模様分布画像Ａ０１の画素サイズが１０２４（横）×７６８（縦）ピクセルである場合に、縦横それぞれを１／４のサイズに間引いて２５６×１９２ピクセルの縮小した周辺光模様分布画像ａ０１を得る。図１５は、周辺光模様分布画像ａ０１を例示する図である。

ステップＳ８２において、制御回路１０１は、ローパスフィルタ処理（たとえば移動平均処理）を適用して、縮小した周辺光模様分布画像ａ０１の平滑化を行う。図１６は、周辺光模様分布画像ａ０１を平滑化した後の画像を例示する図である。

なお、カーネルの大きさを適宜選択してよい点、平滑化の処理をローパスフィルタで行う代わりにメディアンフィルタで行うようにしてもよい点は、上述した実施形態と同様である。

ステップＳ８３において、制御回路１０１は、平滑化した周辺光模様分布の最大値を算出する。つまり、画像全域で最も大きい平滑周辺光模様分布値を得る。ステップＳ８４において、制御回路１０１は、上記最大値から周辺光模様分布画像Ａ０１を引いて周辺光模様補正画像ＤＤ０１を算出する。具体的には、（Ｒ_ＤＤ０１，Ｇ_ＤＤ０１，Ｂ_ＤＤ０１）_ｉ＝（Ｒ_ｍａｘ−Ｒ_Ａ０１，Ｇ_ｍａｘ−Ｇ_Ａ０１，Ｂ_ｍａｘ−Ｂ_Ａ０１）_ｉの画像を算出する。ただし、上記最大値を（Ｒ_ｍａｘ，Ｇ_ｍａｘ，Ｂ_ｍａｘ）とする。

ステップＳ８５において、制御回路１０１は、周辺光模様補正画像ＤＤ０１を反射率分布画像Ａ０３で除して反射率補正後の周辺光模様補正画像ＦＦ０１を算出する。具体的には、（Ｒ_ＦＦ０１，Ｇ_ＦＦ０１，Ｂ_ＦＦ０１）_ｉ＝（Ｒ_ＤＤ０１／Ｒ_Ａ０３，Ｇ_ＤＤ０１／Ｇ_Ａ０３，Ｂ_ＤＤ０１／Ｂ_Ａ０３）_ｉの画像を算出し、図３２による処理を終了する。

＜投影画像の生成処理＞
図３３に例示するフローチャートを参照して、上記ステップＳ２４（図３）における投影画像を生成する処理の詳細を説明する。

図３３のステップＳ９１において、制御回路１０１は、入力画像（たとえば１０２４×７６８ピクセル）の画素値をそれぞれ線形化した画像（線形化画像Ｃ０１とする）を得る。制御回路１０１は、上述したステップＳ５１（図９）の場合と同様に、ルックアップテーブル(LUT)を参照して画素順次で逆γ変換を行う。LUTは、フラッシュメモリ１０１Ｂ内に格納しておく。

ステップＳ９２において、制御回路１０１は、線形化画像Ｃ０１に対する画素間引きを行う。画素サイズ（１０２４×７６８）を縦横それぞれ１／４に間引いて２５６×１９２ピクセルの縮小した線形化画像ｃ０１を得る。

ステップＳ９３において、制御回路１０１は、補正不可分布画像Ｂ０３を作成してステップＳ９４へ進む。補正不可分布画像Ｂ０３の作成処理は、上述した通りである。

ステップＳ９４において、制御回路１０１は、補正不可分布画像Ｂ０３を縦横それぞれ１／４に間引いて画素間引きを行い、２５６×１９２ピクセルの縮小した補正不可分布画像ｂ０３を得るとともに、補正不可分布画像ｂ０３の最小値を検出する。つまり、画像全域で最も小さい補正不可分布値を得る。

ステップＳ９５において、制御回路１０１は、線形化画像Ｃ０１に上記最小値を乗じて目標投影画像ＪＪ０１を算出してステップＳ９６へ進む。具体的には、（Ｒ_ＪＪ０１，Ｇ_ＪＪ０１，Ｂ_ＪＪ０１）_ｉ＝（Ｒ_Ｃ０１×Ｒ_ｍｉｎ，Ｇ_Ｃ０１×Ｇ_ｍｉｎ，Ｂ_Ｃ０１×Ｂ_ｍｉｎ）_ｉの画像を算出する。ただし、上記最小値を（Ｒ_ｍｉｎ，Ｇ_ｍｉｎ，Ｂ_ｍｉｎ）とする。

ステップＳ９６において、制御回路１０１は、目標投影画像ＪＪ０１を反射率分布画像Ａ０３で除して反射率補正後の目標投影画像ＫＫ０１を算出し、ステップＳ９７へ進む。具体的には、（Ｒ_ＫＫ０１，Ｇ_ＫＫ０１，Ｂ_ＫＫ０１）_ｉ＝（Ｒ_ＪＪ０１／Ｒ_Ａ０３，Ｇ_ＪＪ０１／Ｇ_Ａ０３，Ｂ_ＪＪ０１／Ｂ_Ａ０３）_ｉの画像を算出する。

ステップＳ９７において、制御回路１０１は、反射率補正後の目標投影画像ＫＫ０１に周辺光模様補正画像ＦＦ０１を足して投影画像ＬＬ０１を算出し、ステップＳ９８へ進む。具体的には、（Ｒ_ＬＬ０１，Ｇ_ＬＬ０１，Ｂ_ＬＬ０１）_ｉ＝（Ｒ_ＫＫ０１＋Ｒ_ＦＦ０１，Ｇ_ＫＫ０１＋Ｇ_ＦＦ０１，Ｂ_ＫＫ０１＋Ｂ_ＦＦ０１）_ｉの画像を算出する。

ステップＳ９８において、制御回路１０１は、投影画像ＬＬ０１に対してγ変換を行うことにより、非線形に戻した実際の投影画像ＬＬ０２を得る。上述したステップＳ６１（図９）の場合と同様に、ルックアップテーブル(LUT)を参照して画素順次でγ変換を行う。LUTは、フラッシュメモリ１０１Ｂ内に格納しておく。

以上説明した変形例２によれば、以下の作用効果が得られる。
（１）制御回路１０１は、サイズ変換後の周辺光模様分布の最大値に基づいて周辺光模様分布を投影画面において一様に揃え、該一様な分布値に基づいて補正情報（周辺光模様補正画像）を投影画面における所定領域ごとに算出するようにした。一様に揃えることにより、揃えない場合に比べて算出処理の負担が軽くなり、短時間で処理を行うことができる。

（２）制御回路１０１は、サイズ変換後の輝度低下分布の最小値に基づいて輝度低下分布を投影画面において一様に揃え、該一様な輝度低下分布に基づいて補正に必要な演算を行うようにした。一様に揃えることにより、揃えない場合に比べて算出処理の負担が軽くなり、短時間で処理を行うことができる。

上述したように入力画像を補正する処理を行うプログラムを、メモリカード１５０などの記録媒体に記録した提供や、通信回線を経由して外部インターフェイス（Ｉ／Ｆ）回路１０４を介した提供など、種々の形態のコンピュータプログラム製品として投影装置１に供給するように構成してもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

１…投影装置
１０１…制御回路
１０１Ａ…画像処理部
１０１Ｂ…フラッシュメモリ
１１０…投射ユニット
１２０…撮像ユニット

Claims (14)

1. 画像を投影面へ投影する投影手段と、
   前記投影面の反射率分布を検出する反射率分布検出手段と、
   前記投影面の地模様の濃度分布を検出する濃度分布検出手段と、
   前記反射率分布および前記濃度分布を平滑化する平滑化手段と、
   画像データを入力する入力手段と、
   前記投影手段が投影画像の明るさ強調をするための色フィルタなしの画素を有する場合に、前記平滑化後の反射率分布、前記平滑化後の濃度分布、および色フィルタを有する画素から出力された色成分信号のみを対象とする前記投影手段の入出力特性に基づいて、前記入力された画像データを補正する補正手段と、
   前記補正後の画像データに基づく画像を投影するように前記投影手段を制御する制御手段と、を備えることを特徴とする投影装置。
2. 請求項１に記載の投影装置において、
   前記投影手段は、前記画像データに基づく前記色成分信号に対応する画素と、前記明るさ強調用の画素とを有する光像生成素子を含み、該光像生成素子が生成した画像を投影することを特徴とする投影装置。
3. 請求項１または２に記載の投影装置において、
   前記補正手段は、前記濃度分布のデータサイズを前記投影手段が投影する画像のデータサイズより小さなサイズにサイズ変換し、前記反射率分布および前記サイズ変換後の濃度分布に基づいて前記投影面の地模様をキャンセルするための補正情報を算出することを特徴とする投影装置。
4. 請求項３に記載の投影装置において、
   前記補正手段はさらに、前記補正情報と、前記入力手段から入力された画像データと、前記反射率分布と、前記入出力特性と、に基づいて前記キャンセルの可否分布を示す可否分布画像を生成し、
   前記輝度低下分布画像のデータおよび前記入力された画像データを、前記投影手段が投影する画像のデータサイズより小さなサイズへそれぞれサイズ変換し、
   前記サイズ変換後の可否分布画像と、前記サイズ変換後の入力画像と、前記反射率分布と、前記補正情報と、を用いて前記入力された画像データに対する補正を行うことを特徴とする投影装置。
5. 請求項３に記載の投影装置において、
   前記補正手段は、前記サイズ変換後の濃度分布に基づいて前記補正情報を投影画面における所定領域ごとに算出することを特徴とする投影装置。
6. 請求項３に記載の投影装置において、
   前記補正手段は、前記サイズ変換後の濃度分布の最大値に基づいて前記補正情報を投影画面において一様に揃え、該一様な濃度分布に基づいて前記補正情報を投影画面における所定領域ごとに算出することを特徴とする投影装置。
7. 請求項４に記載の投影装置において、
   前記補正手段は、前記サイズ変換後の可否分布に基づいて前記補正に必要な演算を投影画面における所定領域ごとに行うことを特徴とする投影装置。
8. 請求項４に記載の投影装置において、
   前記前記サイズ変換後の可否分布は、輝度を示す輝度分布であって、
   前記補正手段は、前記サイズ変換後の可否分布の最小輝度値に基づいて前記可否分布を投影画面において一様に揃え、該一様な可否分布に基づいて前記補正に必要な演算を行うことを特徴とする投影装置。
9. 請求項１に記載の投影装置において、
   前記補正手段はさらに、前記反射率分布および前記濃度分布に基づいて前記投影面の地模様をキャンセルするための補正情報と、前記入力手段から入力された画像データと、前記反射率分布と、前記入出力特性と、に基づいて前記キャンセルの可否分布を示す可否分布画像を生成し、
   前記可否分布画像と、前記入力画像と、前記反射率分布と、前記補正情報と、を用いて前記入力された画像データに対する補正を行うことを特徴とする投影装置。
10. 投影面の反射率分布を検出する検出処理と、
    前記投影面の地模様の濃度分布を検出する濃度分布検出処理と、
    前記反射率分布および前記濃度分布を平滑化する平滑化処理と、
    画像データを入力する入力処理と、
    投影装置が投影画像の明るさ強調をするための色フィルタなしの画素を有する場合に、前記平滑化後の反射率分布、前記平滑化後の濃度分布、および前記投影装置における色フィルタを有する画素から出力された色成分信号のみを対象とする入出力特性に基づいて、前記入力された画像データを補正する補正処理と、をコンピュータに実行させるための投影像補正プログラム。
11. 画像を投影面へ投影する投影手段と、
    前記投影面の反射率分布を検出する反射率分布検出手段と、
    前記投影面の地模様の濃度分布を検出する濃度分布検出手段と、
    前記濃度分布を平滑化する平滑化手段と、
    画像データを入力する入力手段と、
    前記反射率分布および前記平滑化された濃度分布に基づいて前記投影面の地模様をキャンセルするための地模様補正情報を算出する地模様補正手段と、
    前記投影手段が投影画像の明るさ強調をするための色フィルタなしの画素を有する場合に、前記反射率分布、前記地模様補正情報、および色フィルタを有する画素から出力された色成分信号のみを対象とする前記投影手段の入出力特性に基づいて、前記入力された画像データを補正する補正手段と、
    前記補正後の画像データに基づく画像を投影するように前記投影手段を制御する制御手段と、を備えることを特徴とする投影装置。
12. 請求項１１に記載の投影装置において、
    前記地模様補正手段は、前記濃度分布のデータサイズを前記投影手段が投影する画像のデータサイズより小さなサイズにサイズ変換し、前記反射率分布および前記サイズ変換後の濃度分布に基づいて前記投影面の地模様をキャンセルするための前記地模様補正情報を算出することを特徴とする投影装置。
13. 請求項１２に記載の投影装置において、
    前記地模様補正手段は、前記サイズ変換後の濃度分布に基づいて前記地模様補正情報を投影画面における所定領域ごとに算出することを特徴とする投影装置。
14. 請求項１２に記載の投影装置において、
    前記地模様補正手段は、前記サイズ変換後の濃度分布の最大値に基づいて前記地模様補正情報を投影画面において一様に揃え、該一様な濃度分布に基づいて前記地模様補正情報を投影画面における所定領域ごとに算出することを特徴とする投影装置。

Images