JPWO2008156050A1 - 画像処理方法、画像処理プログラム、画像処理装置、画像処理システム、電子カメラおよび電子機器 - Google Patents

Abstract

電子機器１は、投影原画像を投影面に投影する投射ユニット１１０と、投射ユニット１１０により投影された投影面を撮像する撮像ユニット１２０と、撮像ユニット１２０により撮像した投影面の撮像画像を解析し、その解析結果に基づいて、投影原画像の補正量を調整する制御部１０１とを有する。

Description

本発明は、投影画像の画像処理方法、画像処理方法による画像処理を行うための画像処理プログラムおよび画像処理装置、画像処理装置を備えた電子カメラおよび電子機器に関する。

プロジェクタで画像を投影するとき、投影面に反射率のムラや模様がある場合、プロジェクタに照明ムラがある場合、または投影画像に対して周囲の照明環境の影響が無視できない場合がある。このような場合、投影面の模様やムラなどが投影画像に重なるため、投影画像は正確に表示されない。このような照明ムラの影響などを相殺して投影画像を正確に表示するために、投影面を撮影し、撮影画像の投影面内の最低輝度以下に投影画像のダイナミックレンジが収まるように補正する技術が特許文献１に開示されている。
特開２００４−１５８９４１号公報

しかし、投影面の一部に非常に暗い（輝度の低い）部分や、彩度の高い部分がある場合、その部分の影響で、投影画像全体のダイナミックレンジが極端に低く補正されてしまい、視認性が悪くなるという問題点がある。

本発明の第１の態様によると、電子機器は、投影原画像を投影面に投影する投射ユニットと、投射ユニットにより投影された投影面を撮像する撮像ユニットと、撮像ユニットにより撮像した投影面の撮影画像を解析し、その解析結果に基づいて、投影原画像の補正量を調整する制御部とを有する。
本発明の第２の態様によると、電子機器は、テスト画像と投影原画像とを投影面に投影する投射ユニットと、投射ユニットによりテスト画像または投影原画像が投影された投影面を撮像する撮像ユニットと、撮像ユニットにより撮像したテスト画像の撮影画像を解析し、その解析結果に基づいて、投影原画像の補正量を調整する制御部とを有し、投射ユニットは、制御部によって調整された補正量で補正された投影原画像を投影する。
制御部は、撮影画像における画素値の画像面内分布および頻度分布の少なくとも一方を解析する。また、制御部は、撮影画像の画素値から輝度値または彩度を算出し、輝度値の画像面内分布および頻度分布、または、彩度の画像面内分布および頻度分布の少なくともいずれか一方を解析した結果に基づいて、投影原画像の補正量を調整するのが好ましい。制御部は、撮影画像の輝度値における最小閾値以上の画素値、または彩度における最大閾値以下の画素値を用いて、投影原画像の補正量を調整する。最小閾値は、撮影画像から得られた最大輝度値を基準とした所定割合である。また、最小閾値は、撮影画像の輝度値または彩度が最も小さい画素から大きい画素に向かって数えていき、または撮影画像の輝度値または彩度が最も大きい画素から小さい画素に向かって数えていき、その画素数が所定画素数となる輝度値または彩度にしてもよい。
本発明の電子機器における制御部は、投影原画像の補正量の調整に撮影画像の画素値を使用するとき、画像の特定の点もしくは領域からの距離に応じて各画素に対する重み付けを変えて使用する。また、制御部は、撮影画像の画素値もしくは輝度値の低い部分が、投影原画像の画素値もしくは輝度値の低い部分に対応する場合には、投影原画像の補正量を調整する際に撮影画像の画素値もしくは輝度値の低い部分を使用しなくてもよい。制御部は、周囲の明るさ、投射ユニットの投影輝度、投影原画像の少なくともいずれかによって、投影原画像の補正量を調整するのが好ましい。制御部は、周囲の明るさによって、最小閾値、もしくは投射ユニットの投影輝度の少なくとも一方を調整する。また、制御部は、投影面の投影画像を複数領域に分割し、領域毎に補正を行う。制御部は、投影原画像を複数領域に分割し、領域毎に補正を行うようにしてもよい。
本発明の電子カメラは、上述の電子機器を備える。
本発明の第２の態様によると、画像処理方法は、所定の投影画像が投影された投影面を撮影して得られる撮影画像を解析し、その解析結果に基づいて、投影原画像の補正量を調整する。
本発明の画像処理プログラムは、上述の画像処理方法をコンピュータに実行させる。
本発明の画像処理装置は、上述の画像処理プログラムを搭載する。
本発明の画像処理システムは、上述の画像処理方法を実行するコンピュータと、投影画像を投射する投影装置と、投影装置が投影した画像を撮影するカメラとを有する。

本発明によれば、投影面の反射率のムラなどが目立たないとともに、ダイナミックレンジの広い良好な投影画像が得られる。

本発明の一実施の形態による投射機能付きカメラの外観図である。 本発明の実施形態における投射機能付きカメラの構成を説明するブロック図である。 本発明の実施形態における画像処理によって処理された投影画像を投影したときに視認される投影画像について説明する図である。 本発明の実施形態における画像処理を説明するためのフローチャートである。 投影面の模様を説明するための図である。 白画像投影時の最大輝度の分布を示す図である。 黒画像投影時の最小輝度の分布を示す図である。 他の実施の形態４における画像処理を説明するための図である。 本発明の他の実施の形態４における画像処理を説明するためのフローチャートである。 周囲輝度に対するＹ_{ＭＩＮ，ｔｈ}の設定例を示す図である。 周囲輝度に対する輝度Ｌ_{ｄｅｖｉｃｅ}の調整を説明する図である。 他の実施の形態６における彩度方向の補正を説明するためのフローチャートである。 他の実施の形態６における彩度方向の補正を説明するためのフローチャートである。

以下、図面を参照して本発明を実施するための一実施形態について説明する。図１は、本発明の実施形態による投射機能付きカメラ１を前方から見た図である。図１において、投射機能付きカメラ１の正面には、撮像光学系１２１（図示せず。図２参照。）を構成する撮影レンズ１２１Ａと、投影光学系１１１（図示せず。図２参照。）を構成する投影レンズ１１１Ａとが設けられている。投射機能付きカメラ１は、机上などに載置された状態、または不図示のクレードル上に載置された状態で、前方のスクリーンなどに向けて、内蔵する投射ユニット１１０（プロジェクタ）によって画像などの投影情報を投影する。投射機能付きカメラ１の上面には、レリーズスイッチ１０３Ａが設けられている。投射機能付きカメラ１において、投射ユニット１１０の投影光学系１１１は縦方向に配設される。

図２は、投射機能付きカメラ１の構成を説明するブロック図である。図２において投射機能付きカメラ１は、投射ユニット１１０と、撮像ユニット１２０と、制御回路１０１と、メモリ１０２と、操作部１０３と、外部インターフェイス（Ｉ／Ｆ）回路１０４と、メモリカードインターフェイス（Ｉ／Ｆ）１０５とを備え、メモリカードインターフェイス１０５にはメモリカード１５０が接続される。

制御回路１０１は、マイクロプロセッサ及びその周辺回路からなる。制御回路１０１は、制御プログラムに基づいて、投射機能付きカメラ内各部から入力される信号を用いて所定の演算を行う。そして、制御回路１０１は、演算結果を制御信号として投射機能付きカメラ内各部に送出し、投射機能付きカメラ１の投影動作および撮影動作を制御する。なお、制御プログラムは制御１０１内の不図示のＲＯＭに格納される。

制御回路１０１は画像処理部１０１Ａを有する。画像処理部１０１Ａでは、外部インターフェイス１０４を介して取得した画像データまたはメモリカード１５０より取得した画像データに対して画像処理を行う。画像処理部１０１Ａで行う画像処理の詳細については後述する。

メモリ１０２は制御回路１０１の作業用メモリとして使用される。操作部１０３はレリーズスイッチ１０３Ａを含み、操作されたボタンやスイッチに対応する操作信号を制御回路１０１へ送出する。メモリカード１５０は、制御回路１０１の指示によりデータの書き込み、保存および読み出しが可能である。

投射ユニット１１０は、投影光学系１１１、液晶パネル１１２、ＬＥＤ光源１１３、および投射制御回路１１４を含む。ＬＥＤ光源１１３は、供給電流に応じた明るさで液晶パネル１１２を照明する。液晶パネル１１２は、投射制御回路１１４からの駆動信号に応じて光像を生成する。投影光学系１１１は、液晶パネル１１２から射出される光像を投射する。投射制御回路１１４は、制御回路１０１からの指示により、ＬＥＤ光源１１３および液晶パネル１１２へ制御信号を送出する。

投射ユニット１１０は、メモリカード１５０内に保存されている画像データの他、外部インターフェイス回路１０４を介して外部機器から供給される画像データによる画像を投影可能に構成され、制御回路１０１から指示された画像を投影する。メモリカード１５０内に保存されている画像データの画像、または、外部インターフェイス回路１０４を介して外部機器から供給される画像データの画像を、以下、投影原画像と呼ぶ。

撮像ユニット１２０は撮像光学系１２１、撮像素子１２２および撮像制御回路１２３を有し、制御回路１０１からの指示に応じて投影面の撮像を行う。撮像光学系１２１は、撮像素子１２２の撮像面上に被写体像を結像させる。撮像素子１２２としては、ＣＣＤやＣＭＯＳ撮像素子などが用いられる。撮像制御回路１２３は、制御回路１０１からの指示により撮像素子１２２を駆動制御するとともに、撮像素子１２２から出力される画像信号に対して所定の信号処理を行う。信号処理後の画像のデータは、所定形式の画像ファイルとしてメモリカード１５０に記録される。

制御回路１０１の画像処理部１０１Ａで行われる画像処理を説明する。本発明の実施形態の画像処理は、投影原画像の色補正を行う。また、画像処理部１０１Ａは、投射光学系１１１の光軸と撮像光学系１２１の光軸とが一致していないことによる投影画像の歪や、投影光学系１１１の光軸が投影面に対して垂直でないことに起因する投影画像のあおりや歪に対する補正も行う。本発明の実施形態の画像処理は、投影画像の色補正に特徴を有するので、色補正について主に説明する。

図３を参照して、本発明の実施形態における画像処理によって投影原画像の画像処理を行い、その処理された投影画像を投影したときに視認される投影画像について説明する。図３（ａ）は、投影画像を投影する投影面３０を説明するための図である。投影面３０には、丸いシミ３１が付着しているものとして説明する。図３（ｂ）は、投影面３０に投影する投影原画像３２を示す図である。図３（ｃ）は、本発明の実施形態における画像処理によって投影原画像３２を処理した投影画像を投影面３０に投影したときに視認される投影画像３３を示す図である。投影画像３３では、シミ３１が目立たたず、投影画像３３の視認性も良好である。図３（ｄ）は、従来の画像処理、つまりシミ３１が全く見えなくなるように投影原画像３２を画像処理した投影画像を投影面３０に投影したときに視認される投影画像３４を示す図である。投影画像３４には、投影面３０のシミ３１は全く見えない。しかし、投影画像３４のダイナミックレンジは非常に狭くなり、投影画像３４の視認性が非常に悪くなる。

図４のフローチャートを参照して、本発明の実施形態における画像処理について説明する。この画像処理は、投影画像において投影面である壁の模様やシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎないように適切な補正量で投影原画像を補正する。図４の処理は、投射機能付きカメラ１が投影を開始するための処理を開始すると、スタートするプログラムにより制御回路１０１において実行される。

ステップＳ１では、投射ユニット１１０の投影特性の算出を行う。投影特性とは、投射ユニット１１０の照明ムラ、投影面の色や模様による影響、周囲照明による投影面への影響などを考慮した場合の、入力画像の画素値（Ｒ，Ｇ，Ｂ）と、投影面で再現される測色値（Ｘ，Ｙ，Ｚ）との間の関係を示す特性である。投射ユニット１１０から投影された所定の投影画像を、撮影ユニット１２０で撮影し、撮影した画像から測色値を検出して投影特性を算出する。具体的な処理については後述する。

ステップＳ２では、投影画像の補正係数を決定する。ここで、補正係数とは、ステップＳ１で得られた投影特性を用いて、入力画像（投影原画像）と実際に投影した投影画像の見え方が近くなるように、入力画像に施す補正係数を決定する。投射ユニット１１０から投影された所定の投影画像を、撮影ユニット１２０で撮影し、撮影した画像を解析して投影画像の補正係数を決定する。この補正係数が投影原画像の補正量となる。この処理の詳細についても後述する。

ステップＳ３では、投影原画像を、外部インターフェイス回路１０４を介して、またはメモリカード１５０より読み込み、メモリ１０２に記憶する。

ステップＳ４では、ステップＳ２で決定した補正係数で、ステップＳ３で読み込んだ投影原画像を補正する。

ステップＳ５では、ステップＳ４で補正した投影画像をアナログ変換し、投影画像を投影する。

ステップＳ６では、次に投影する投影原画像があるか否かを判定する。次に投影する投影原画像がある場合はステップＳ６が肯定判定され、ステップＳ３に戻る。次に投影する投影原画像がない場合はステップＳ６が否定判定され、処理を終了する。

次に、ステップＳ１、Ｓ２、Ｓ４について、さらに詳細に説明する。

−投影特性の決定−
ステップＳ１で行う投影特性の決定について説明する。
ｉ番目の画素値が（Ｒ，Ｇ，Ｂ）_ｉで与えられる画像データを投射ユニット１１０で投影したとき、ｉ番目の画素値に対応する投影面の測色値（Ｘ，Ｙ，Ｚ）_ｉは以下のような関係式になる。ここで、γは投射ユニット１１０の階調特性を表し、Ｍ_ｐｉは投射ユニット１１０の画素値（Ｒ^γ，Ｇ^γ，Ｂ^γ）_ｉから投射ユニット１１０の照明の測色値へ変換する色変換マトリックス（投射ユニット１１０の照明ムラを考慮して添字ｉを付ける）を表す。（Ｘ_ｋｐ，Ｙ_ｋｐ，Ｚ_ｋｐ）_ｉは投射ユニット１１０で黒投影時の周囲照明も含めた投影面の照明条件（周囲照明や黒点の面内ムラを考慮して添字ｉを付ける）を表し、Ｒ_ｉは投影面の反射率特性（投影面の模様など、反射率のムラを考慮して添字ｉを付ける）を表す。

ただし、

一方、黒画像（（Ｒ，Ｇ，Ｂ）_ｉ＝（０，０，０）_ｉ）投影時の投影面撮影画像から、（Ｘ_ｋ，Ｙ_ｋ，Ｚ_ｋ）_ｉを決定する。なお、投影面の測色値は、撮影画像の画素値から予め決まった色変換処理を用いることで算出できる。画像のプロファイルがｓＲＧＢであれば、通常のｓＲＧＢ変換処理を用いることで（Ｘ_ｋ，Ｙ_ｋ，Ｚ_ｋ）_ｉを決定することができる。

同様に、Ｒ画像（（Ｒ，Ｇ，Ｂ）_ｉ＝（１，０，０））、Ｇ画像（（Ｒ，Ｇ，Ｂ）_ｉ＝（０，１，０））およびＢ画像（（Ｒ，Ｇ，Ｂ）_ｉ＝（０，０，１））を投影した投影面を撮影した撮影画像から、色変換マトリックスＭ_ｉの３×３のマトリックス係数を決定する。具体的には、Ｒ画像、Ｇ画像およびＢ画像を投影した投影面の測色値をそれぞれ、（Ｘ_ｒ，Ｙ_ｒ，Ｚ_ｋ）、
（Ｘ_ｇ，Ｙ_ｇ，Ｚ_ｇ）および（Ｘ_ｂ，Ｙ_ｂ，Ｚ_ｂ）とすると、色変換マトリックスＭ_ｉは以下のようになる。

つまり、所定のテスト画像（黒画像、Ｒ画像、Ｇ画像、Ｂ画像）を投影した投影面を撮影した撮影画像から、色変換マトリックスＭ_ｉの３×３のマトリックス係数を決定する。

なお、以上の説明では、撮像ユニット１２０による撮像画像と、投射ユニット１１０による投影画像の画素の位置／サイズが一致するものとして説明したが、画素の位置／サイズが一致しない場合には、対応する位置における画素値を補間して用いればよい。また、投影画像の角を検出することによって投影画像が投影されている領域を検出し、ｉ番目の画素値が投影されている位置および範囲を検出できるようにしてもよい。

−投影画像補正係数の決定−
ステップＳ２で行う投影画像補正係数の決定について説明する。
投影面にムラ（以後、投影面の反射率のムラや照明ムラを含めて、単に「ムラ」と表現する）や模様がある場合、投影面の各画素で最大表示可能な色域は変化するが、まずこの範囲を決定する。投影面での輝度Ｙｉは、数式（１）より以下のように表すことができる。

したがって、表示可能な輝度範囲は数式（４）において、０≦Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ≦１の範囲で振ったときにＹ_ｉがとり得る範囲で決まり、通常、Ｙ_ｒ，Ｙ_ｇ，Ｙ_ｂ＞Ｙ_ｋより白画像（（Ｒ，Ｇ，Ｂ）_ｉ＝（１，１，１））投影時の輝度を最大輝度Ｙ_{ＭＡＸ，ｉ}、黒画像投影時の輝度を最小輝度Ｙ_{ＭＩＮ，ｉ}として求めることができる。

たとえば、図５のように投影面５０の模様として白色面に所々黒色部分がある場合、最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の頻度分布を投影面内で算出すると、図６、図７に示すようになる。

ここで、投影面のムラや模様が消えるように投影原画像を補正すると、投影後の画像の最大輝度Ｙ_ＭＡＸをＭＩＮ（Ｙ_{ＭＡＸ，ｉ}）、最小輝度Ｙ_ＭＩＮをＭＡＸ（Ｙ_{ＭＩＮ，ｉ}）になるように補正する必要がある。しかし、この場合、ダイナミックレンジが非常に狭くなり、補正後の投影画像の視認性が悪くなる（図３（ｄ）参照）。そこで、投影面の暗い部分の輝度が予め定めた最大輝度の閾値Ｙ_{ＭＩＮ，ｔｈ}より低い場合は補正量を緩和し、最大輝度Ｙ_ＭＡＸを以下のように決定する。

最大輝度の閾値Ｙ_{ＭＩＮ，ｔｈ}は、画像によらず予め定めた一定値Ｙ_{ＣＯＮＳＴＡＮＴ}（０＜Ｙ_{ＣＯＮＳＴＡＮＴ}≦１）でもよい。しかし、図６のヒストグラムで輝度の最も小さい画素から輝度の最も大きい画素に向かって数えた所定割合の画素数となる輝度値を用いたり、図６のヒストグラムで輝度の小さい方から数えた所定数の画素数となる輝度値を用いたり、ＭＡＸ（Ｙ_{ＭＡＸ，ｉ}）の所定割合の値を用いたりして、最大輝度の閾値Ｙ_{ＭＩＮ，ｔｈ}を決定してもよい。たとえば、すべての画素のうちの８０％の画素について補正を行えばよい場合は、図６のヒストグラムで輝度の小さい方から数えた全体の２０％の画素数となる輝度値を用いて閾値Ｙ_{ＭＩＮ，ｔｈ}を決定してもよい。また、図６のヒストグラムで輝度の最も大きい画素から輝度の最も小さい画素に向かって数えた所定割合の画素数となる輝度値を用いたり、図６のヒストグラムで輝度の大きい方から数えた所定数の画素数となる輝度値を用いたりして最大輝度の閾値Ｙ_{ＭＩＮ，ｔｈ}を決定してもよい。

また、視覚の輝度順応により、同じ明るさの画像を見ていても、明るい周囲輝度に順応している場合の方が、暗い周囲輝度に順応している場合より画像が暗く感じられる。したがって、周囲の明るさに応じて最大輝度の閾値Ｙ_{ＭＩＮ，ｔｈ}を調整した方がより最適な見えを提供できる。図１０に周囲輝度に対するＹ_{ＭＩＮ，ｔｈ}の設定例を示す。プロジェクタで白を表示したときの絶対輝度Ｌ_{ｄｅｖｉｃｅ}に比べ、周囲輝度が暗い場合はＹ_{ＭＩＮ，ｔｈ}を低く設定し、周囲輝度がＬ_{ｄｅｖｉｃｅ}と同レベル以上に明るい場合はＹ_{ＭＩＮ，ｔｈ}を前述のように予め定めた値Ｙ_{ＣＯＮＳＴＡＮＴ}やヒストグラムを用いて決定した値などに設定すればよい。また、周囲輝度の感じ方は、直接観察しているプロジェクタの輝度（白を表示したときの輝度）と周囲輝度の比で変わるので、図１０の横軸を（周囲輝度／プロジェクタの輝度）の比を用いてもよい。

なお、前述の例では、プロジェクタの輝度は一定値とし、白（Ｒ＝Ｇ＝Ｂ＝１）に対する相対輝度値Ｙ_{ＭＩＮ，ｔｈ}のレベル調整のみで対応する例で説明した。しかし、Ｙ_{ＭＩＮ，ｔｈ}で調整すると表示画像の階調が圧縮され潰れてしまう場合がある。したがって、プロジェクタの表示輝度も可変とし、プロジェクタの輝度Ｌ_{ｄｅｖｉｃｅ}と合わせて調整すれば画質への影響をさらに抑えることができる。たとえば、Ｙ_{ＭＩＮ，ｔｈ}は前述のように予め定めた値Ｙ_{ＣＯＮＳＴＡＮＴ}やヒストグラムを用いて決定した値などに設定し、輝度Ｌ_{ｄｅｖｉｃｅ}を図１１のように調整する。

−投影画像の補正−
ステップＳ４で行う投影画像の補正について説明する。
投影原画像の色空間がｓＲＧＢとすれば、投影原画像の画素値（Ｒ_０，Ｇ_０，Ｂ_０）に対して、投影面での測色値（Ｘ，Ｙ，Ｚ）_ｉは以下のようになればよい。

ここで、最小輝度Ｙ_{ＭＩＮ，ｉ}がＹ_ＭＩＮ＝ＭＡＸ（Ｙ_{ＭＩＮ，ｉ}）となる画素値を投影画面の黒点（Ｘ_ｋ０，Ｙ_ｋ０，Ｚ_ｋ０）とする。なお、Ｍ_{ｓＲＧＢ→ＸＹＺ}は規格に決まっているｓＲＧＢからＸＹＺへの変換マトリックスである。

したがって、数式（１）を用いて、補正後の投射ユニット１１０への入力画素値（Ｒ，Ｇ，Ｂ）_ｉは以下の式で算出できる。
（１）Ｙ_{ＭＡＸ，ｉ}≧Ｙ_ＭＡＸを満たす画素；

ただし、Ｙ_{ＭＡＸ，ｉ}＜Ｙ_ＭＡＸの場合、表示できる輝度範囲が外れるため、以下の式で算出する。
（２）Ｙ_{ＭＡＸ，ｉ}＜Ｙ_ＭＡＸを満たす画素；

数式（６），（７）は簡単のため、ｓＲＧＢのγ＝２．２として記述した。しかし、定義どおり線形関数とγ＝２．４の組み合わせで算出してもよい。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）所定のテスト画像（白画像、黒画像）が投影された投影面５０を撮影して得られる撮影画像の画素値分布（図６、図７）を解析し、その解析結果に基づいて、投影原画像の補正量を調整（数式（５），（６），（７））するようにした。これにより、投影面５０に著しく暗い場所があっても、投影画像を暗くしないように補正量を調整でき、投影画面の見えを改善できる。

（２）投影面５０を撮影して得られる撮影画像の画素値から輝度値を算出し（数式（４））、その輝度値の頻度分布（図６、図７）を解析した結果に基づいて、投影原画像の補正量を調整するようにした。これにより、投影画像において投影面のシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎない適切な補正量に調整することができる。

（３）所定のテスト画像（白画像、黒画像）が投影された投影面５０を撮影して得られる撮影画像の輝度値が最小閾値（Ｙ_{ｍｉｎ，ｔｈ}）以上の画素値を用いて投影原画像の補正量を調整するようにした。これにより、投影画像において投影面のシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎない適切な補正量に調整することができる。

（４）所定のテスト画像（白画像、黒画像が投影された投影面５０を撮影した撮影画像から得られる最大輝度値（Ｙ_{ｍａｘ，ｉ}）を基準とした所定割合を最小閾値（Ｙ_{ｍｉｎ，ｔｈ}）として算出するようにした。これにより、投影面のシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎない適切な補正量を算出するための適切な最小閾値（Ｙ_{ｍｉｎ，ｔｈ}）を算出することができる。

（５）所定のテスト画像（白画像、黒画像）が投影された投影面５０を撮影して得られる撮影画像の輝度値（図６）を最も小さい画素から大きい画素に向かって数えていき、その画素数が所定画素数となる輝度値を最小閾値（Ｙ_{ｍｉｎ，ｔｈ}）として算出するようにした。これにより、投影面のシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎない適切な補正量を算出するための適切な最小閾値（Ｙ_{ｍｉｎ，ｔｈ}）を算出することができる。

以上の実施形態を次のように変形することができる。
−他の実施の形態１−
本発明の実施形態では、Ｙ_{ＭＡＸ，ｉ}＜Ｙ_ＭＡＸを満たす画素については、最大輝度となる色が飽和しない範囲で補正画素の画素値を算出していた。しかし、補正画素の画素値を対象画素値が表現しうる最大値としてもよい。たとえば、すべての画素について、数式（６）にしたがって画素値を算出し、画素値が入力範囲を超えた場合（たとえば８ｂｉｔの場合、画素値が２５５より大きい場合）クリッピングしてもよい。また、数式（６）で算出したＲ，Ｇ，Ｂのうちの最大となる色情報が飽和しない範囲で最大値となるように、Ｍ_{ｓＲＧＢ→ＸＹＺ}に乗算する係数を調整してもよい。

−他の実施の形態２−
本発明の実施の形態では、ステップ２において、投影面内における最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出した。しかし、投影画像の画像中心に相当する投影面上の位置（以下、画像中心と呼ぶ）からの距離が所定値以内の領域における最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出し、画像中心からの距離が所定値より離れた領域における最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出しないようにしてもよい。これにより、補正量を算出するために検出する画素数が少なくなり、画素値分布の解析を速く行うことができる。この場合、画像周辺部に投影面のムラなどが見えるが、画像中心から離れていれば、ユーザにとってそのムラなどが気になることが少ない。そして、画像周辺部に見える投影面のムラなどを見えなくするより、画像全体のダイナミックレンジを広げた方が投影画像の視認性が良好になるからである。

投影画像の中で合焦した領域、あるいは顔認識を行った領域を検出し、その領域からの距離が所定値以内の領域における最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出し、その領域からの距離が所定値より離れた領域における最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出しないようにしてもよい。ユーザは、投影画像の合焦されている領域、あるいは顔認識された領域を中心に投影画像を視認するので、その領域から離れた位置に投影面のムラなどが見えても、気にならない。この場合、投影原画像を読み込んでから（図４のステップＳ３）、投影画像補正係数を決定する（図４のステップＳ２）。投影画像補正係数を決定する前に、投影画像の中で合焦した領域、あるいは顔認識を行った領域を検出する必要があるからである。

また、投影画像がメニュー画面である場合、メニュー画面の内容を表す文字が表示されている領域からの距離が所定値以内の領域における最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出し、その領域からの距離が所定値より離れた領域における最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出しないようにしてもよい。ユーザは、メニューに表示されている文字を中心に投影画像を視認するので、それらの文字から離れた位置に投影面のムラなどが見えても、気にならないからである。この場合、投影原画像を読み込んでから（図４のステップＳ３）、投影画像補正係数を決定する（図４のステップＳ２）。投影画像補正係数を決定する前に、メニューの位置を検出する必要があるからである。

−他の実施の形態３−
本発明の実施の形態では、ステップ２において、投影面内における最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出した。しかし、投影画像の画像中心からの距離に応じて最大輝度Ｙ_{ＭＡＸ，ｉ}および最小輝度Ｙ_{ＭＩＮ，ｉ}に対して重み付けを行い、重み付けを行った最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出するようにしてもよい。たとえば、画像中心においては、所定の最大輝度範囲における画素を１個見つけると度数１とカウントし、画像中心から離れるにしたがって、度数１とカウントする画素数を増やす（所定の最大輝度範囲における画素を１０個見つけるごとに度数１とカウントするなど）。そして、この重み付けを行った最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布に基づいて、投影後の画像の最大輝度Ｙ_ＭＡＸおよび最小輝度Ｙ_ＭＩＮを決定する。この場合も、投影面の周辺部に著しく暗い場所があっても、極端に投影画像を暗くしないように補正量を調整でき、投影画像の視認性を改善できる。

投影画像の中で合焦した領域、あるいは顔認識を行った領域を検出し、その領域からの距離に応じて最大輝度Ｙ_{ＭＡＸ，ｉ}および最小輝度Ｙ_{ＭＩＮ，ｉ}に対して重み付けを行い、重み付けを行った最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出するようにしてもよい。ユーザは、投影画像の合焦されている領域、あるいは顔認識された領域を中心に投影画像を視認するので、その領域から離れた位置に投影面のムラなどが見えても、気にならないからである。この場合、投影原画像を読み込んでから（図４のステップＳ３）、投影画像補正係数を決定する（図４のステップＳ２）。投影画像補正係数を決定する前に、投影画像の中で合焦した領域、あるいは顔認識を行った領域を検出する必要があるからである。

また、投影画像がメニュー画面である場合、メニュー画面の内容を表す文字が表示されている領域からの距離に応じて最大輝度Ｙ_{ＭＡＸ，ｉ}および最小輝度Ｙ_{ＭＩＮ，ｉ}に対して重み付けを行い、重み付けを行った最大輝度Ｙ_{ＭＡＸ，ｉ}の分布および最小輝度Ｙ_{ＭＩＮ，ｉ}の分布を算出するようにしてもよい。ユーザは、メニューに表示されている文字を中心に投影画像を視認するので、それらの文字から離れた位置に投影面のムラなどが見えても、気にならないからである。この場合、投影原画像を読み込んでから（図４のステップＳ３）、投影画像補正係数を決定する（図４のステップＳ２）。投影画像補正係数を決定する前に、メニューの位置を検出する必要があるからである。

−他の実施の形態４−
投影面に暗い部分があっても、その暗い部分に原画像の暗い部分が投影される場合、その投影面の暗い部分を考慮に入れずに投影原画像の補正を行うようにしてもよい。

図８を参照して、他の実施の形態４における画像処理について説明する。図８（ａ）は、投影画像を投影する投影面８０を説明する図である。投影面８０には、矩形のシミ８１と円形のシミ８２とが付着しているものとして説明する。図８（ｂ）に示すように、投影面８０に投影した投影画像８３の黒い部分８４（投影画像８３に表示された女性の髪毛の部分）がシミ８１，８２に重畳する場合、投影原画像の画像処理を行わなくても、シミ８１，８２は全く見えない。したがって、投影原画像を補正するための補正量を算出するにあたって、投影面８０の暗い部分８１，８２に対応する画素の輝度を考慮に入れないようにしてもよい。

図９のフローチャートを参照して、本発明の他の実施の形態４における画像処理について説明する。図９の処理は、投射機能付きカメラ１が、投影を開始するための処理を開始するとスタートするプログラムにより制御回路１０１において実行される。図４の画像処理に共通するステップには共通の符号を付し、図４の画像処理と異なる部分を主に説明する。

ステップＳ１の処理の後、ステップＳ３に進む。ステップＳ３の次にステップＳ２１に進む。ステップＳ２１では、投影画像の補正係数を決定する。上述のステップＳ２と同様にヒストムグラムを作成し、ＭＩＮ（Ｙ_{ＭＡＸ，ｉ}）を算出する。ここで、投影面に白画像を投影したときの投影画像における輝度値の画像面内分布と、投影原画像の輝度値の面内分布とを比較する。そして、最大輝度Ｙ_{ＭＡＸ，ｉ}がＭＩＮ（Ｙ_{ＭＡＸ，ｉ}）と一致する画素位置における投影原画像の画素値を参照し、輝度が低ければＭＩＮ（Ｙ_{ＭＡＸ，ｉ}）の算出対象から外す。Ｙ_{ＭＡＸ，ｉ}が低い画素位置について順次、投影画像の画素値評価を繰り返し、投影画像の輝度が低くない画素で対応する撮影面の表現可能な最大輝度の最小値ＭＩＮ（Ｙ_{ＭＡＸ，ｉ}）を決定する。そして、ステップＳ４へ進む。

また、ステップＳ２１において、投影原画像の輝度値の面内分布を解析し、その中で輝度値が、所定割合以上の範囲（たとえば、２０％以上の範囲）の画素を検出する。そして、白画像および黒画像を投影したときの投影画像において、投影原画像の輝度値の面内分布から検出した画素に対応する画素における輝度値をヒストグラム化して、最小値ＭＩＮ（Ｙ_{ＭＡＸ，ｉ}）を決定するようにしてもよい。つまり、最大輝度の最小値ＭＩＮ（Ｙ_{ＭＡＸ，ｉ}）などの決定において、投影原画像の暗い部分に対応する部分の投影面を考慮に入れないようにしてもよい。

以上の他の実施の形態４によれば、投影面の一部に暗い場所があっても、投影原画像に応じてダイナミックレンジを適切に調節できる。

−他の実施の形態５−
上述の画像処理を組合せてもよい。たとえば、他の実施の形態３と他の実施の形態４とを組合せてもよい。

−他の実施の形態６−
上述の実施の形態では、色域の補正として、輝度範囲の補正について説明したが、彩度方向の補正についてもＹＣｒＣｂ空間のＣｒ，Ｃｂ、もしくは彩度（ＸＹＺからＣＩＥＬＡＢに変換し、Ｃ＊＝√（ａ＊^２+ｂ＊^２）を使用）について同様に色域の補正を行ってもよい。たとえば、投影面に彩度の高い赤い部分があるとする。そのような赤い部分に投影される投影原画像を補正しようとすると、彩度方向のダイナミックレンジが非常に狭くなり、無彩色に近い色となる。このような場合、投影面の赤い部分の彩度を無視して彩度方向の補正を行う。その結果、赤い部分は多少視認されるものの、投影画像全体として、彩度方向にもダイナミックレンジの広い投影画像を視認することができる。

図１２，１３と第１の実施の形態の図４を用いて補正方法の一例を説明する。撮像した所定のテスト画像（Ｒ画像、Ｇ画像、Ｂ画像）の撮影画像を解析し、その解析結果に基づいて、投影原画像の補正量を調整する。この場合、予め色相ｈ毎にＣ＊の最大閾値Ｃ＊_ｔｈ（ｈ）を決めて記憶しておく。また補正方法について、第１の実施の形態における処理（図４）と異なる点を説明する。

図１２は図４のステップＳ２の処理である。ステップＳ３１では、Ｒ画像（Ｒ＝２５５，Ｇ＝Ｂ＝０）を投影し、ステップＳ３２では投影した画像を撮影する。次にステップＳ３３では、Ｇ画像（Ｇ＝２５５，Ｒ＝Ｂ＝０）を投影し、ステップＳ３４では投影した画像を撮影する。次にステップＳ３５では、Ｂ画像（Ｂ＝２５５，Ｒ＝Ｇ＝０）を投影し、ステップＳ３６では投影した画像を撮影する。ステップＳ３２，３４，３６で撮影した画像の各画素値を数式（１）を用いてＸＹＺに変換し、さらにＣＩＥＬＡＢ空間に変換する。ＣＩＥＬＡＢ空間で彩度Ｃ＊を算出し、それぞれの撮影画像内での最大彩度ＭＡＸ（Ｃ＊_ｒ，ｉ），ＭＡＸ（Ｃ＊_ｇ，ｉ），ＭＡＸ（Ｃ＊_ｂ，ｉ）を算出する。

ステップＳ３９では、Ｒ画像、Ｇ画像、Ｂ画像に対する最大彩度の閾値をそれぞれＣ＊_ｒ，ｔｈ、Ｃ＊_ｇ，ｔｈ、Ｃ＊_ｂ，ｔｈとすると、各画素毎に彩度圧縮係数を以下のように算出し、処理を終了する。

ただし、Ｃｒａｔｉｏ，ｉ＞１となる画素については、Ｃｒａｔｉｏ，ｉ＝１とする。

次に、図１３を用いて、図４のステップＳ４の処理である。ステップＳ４１では、第１の実施の形態で説明したように、投影原画像の画素値（Ｒ_０，Ｇ_０，Ｂ_０）_ｉから投影面での測色値（Ｘ，Ｙ，Ｚ）_ｉに変換し、さらにＣＩＥＬＡＢ空間に各画素値を変換する。

ステップＳ４２では、ＣＩＥＬＡＢ空間での彩度Ｃ＊を算出し、ステップＳ３９で算出した補正係数Ｃｒａｔｉｏ，ｉを用いて、Ｃ＊’＝Ｃｒａｔｉｏ×Ｃ＊のように彩度を補正する。ステップＳ４３では、Ｃ＊’を用いてＣＩＥＬＡＢ空間からＸＹＺに変換する。

ステップＳ４４では、数式（６）、（７）の代わりに以下の式を用いて、補正後の投射ユニット１１０への入力画素値（Ｒ，Ｇ，Ｂ）_ｉを算出する。

−他の実施の形態７−
投影画像補正係数を決定する際、画像によらず補正係数を決定し、投影画像の補正を行ったが、補正係数は投影面内で変化させてもよい。たとえば、投影画像を複数の画素からなる領域に分割し、その領域単位で投影画像の補正を行うようにしてもよい。この場合、それぞれの領域における輝度や彩度ヒストグラムをとり、第１の実施の形態や他の実施の形態１〜５のようにそれぞれの領域毎に補正係数を決定して補正する。模様が投影面上一様でない場合に、過度な補正をせずにそれぞれの位置に適した補正が可能となる。領域は投影画像の形状に合わせて分割するとよい。

また領域に分割ではなく、補正対象画素の所定領域範囲内の周辺画素（たとえば、補正対象画素を中心として４１×４１画素といった予め定めた所定領域内の周辺画素）について輝度や彩度のヒストグラムをとり、第１の実施の形態や他の実施の形態１〜５のように画素毎に補正係数を決定して補正してもよい。

−他の実施の形態８−
以上の実施の形態では投影画像によらず同じ補正係数としたが、投影画像の画像面内の画素値分布（輝度分布や色分布など）にしたがって、補正を画像にしたがって変化させる。たとえば、投影画像を領域に分割し、それぞれの領域で使用される画素値に対する輝度や彩度ヒストグラムを作成する。これらにしたがって、領域毎に第１の実施の形態の数式（５）のように最大輝度Ｙ_ＭＡＸを決定し、数式（６）、（７）によって補正してもよい。また、領域に分割ではなく、補正対象画素の所定領域範囲内の平均輝度や色によって、補正対象画素毎に補正を変化させてもよい。

−他の実施の形態９−
以上の実施形態の画像処理を行う装置は、投射機能付きカメラ１などの電子カメラに限定されない。たとえば、投影画像を撮影するカメラを備えたプロジェクタなどの投影装置でもよい。あるいは、投射機能および撮影機能を有する携帯電話などの電子機器でもよい。また、投影画像を投影する投影装置と、投影装置から投影される投影画像を撮影するカメラと、カメラが撮影した投影画像の画像データに基づいて画像処理を行い、画像処理を行った投影画像の画像データを投影装置に送信するコンピュータとを有する画像処理システムで、以上の実施形態の画像処理を実現するようにしてもよい。

本発明の実施形態では、視認される投影画像から投影面３０のシミ３１を目立たないようにした。しかし、本発明の実施形態による画像処理によれば、投影面の傷、投影面の反射率のムラ、投影面の模様、投射ユニット１１０の照明ムラ、周囲の照明環境の影響なども目立たないようにすることができる。

なお、投影面は、壁、ホワイトボードなど投影可能な被写体であればかまわない。また、布などのように凹凸がある面でも同様に補正できるが、凹凸が大きい面に投影する場合で観察者が投影画像を観察する方角が大きい場合は、凹凸による影の影響が観察する角度によって変化する。したがって、凹凸の少ない面に投影する方が望ましい。また、観察者の観察する角度を制限したり、観察する角度によって異なる投影画像を見せる方が望ましい。

また、光源が反射している場合のように極端に輝度の高い部分がある場合、鏡面反射は観察する角度によって見え方が変わるので、補正をしても観察方向によっては見えが悪化することになる。また、鏡面反射がある部分は黒浮きが大きく、補正をしようとすると過剰補正になる場合がある。したがって、暗い方の補正に対しても最小輝度の最大閾値Ｙ_{ＭＡＸ，ｔｈ}を予め決定しておき、最小輝度Ｙ０=Ｙ_ＭＩＮ＝ＭＩＮ（Ｙ_{ＭＡＸ，ｔｈ}，ＭＡＸ（Ｙ_{ＭＩＮ，ｉ}））とする。また、黒画像投影時の最小輝度Ｙ_{ＭＩＮ，ｉ}＞Ｙ_ＭＩＮ、かつ白画像投影時の最大輝度Ｙ_{ＭＡＸ，ｉ}＝１となる領域は光源など極端に明るい周囲環境の鏡面反射による影響を考え、投影不適切領域として観察者に示す表示を投影画像に表示したり、補正処理で該当領域を無視してもよい。

以上の説明はあくまで一例であり、本発明は上記実施形態の構成に何ら限定されるものではない。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００７年第１６３９８６号（２００７年６月２１日出願）

Claims (18)

1. 投影原画像を投影面に投影する投射ユニットと、
   前記投射ユニットにより投影された投影面を撮像する撮像ユニットと、
   前記撮像ユニットにより撮像した前記投影面の撮像画像を解析し、その解析結果に基づいて、前記投影原画像の補正量を調整する制御部と、
   を有する電子機器。
2. テスト画像と投影原画像とを投影面に投影する投射ユニットと、
   前記投射ユニットにより前記テスト画像または前記投影原画像が投影された投影面を撮像する撮像ユニットと、
   前記撮像ユニットにより撮像した前記テスト画像の撮影画像を解析し、その解析結果に基づいて、前記投影原画像の補正量を調整する制御部とを有し、
   前記投射ユニットは、前記制御部によって調整された補正量で補正された投影原画像を投影する電子機器。
3. 請求項１または２に記載の電子機器において、
   前記制御部は、前記撮像画像における画素値の画像面内分布および頻度分布の少なくとも一方を解析する電子機器。
4. 請求項３に記載の電子機器において、
   前記制御部は、前記撮像画像の画素値から輝度値または彩度を算出し、前記輝度値の画像面内分布および頻度分布、または、前記彩度の画像面内分布および頻度分布の少なくともいずれか一方を解析した結果に基づいて、前記投影原画像の補正量を調整する電子機器。
5. 請求項４に記載の電子機器において、
   前記制御部は、前記撮像画像の輝度値における最小閾値以上の画素値、または彩度における最大閾値以下の画素値を用いて、前記投影原画像の補正量を調整する電子機器。
6. 請求項５に記載の電子機器において、
   前記最小閾値は、前記撮像画像から得られた最大輝度値を基準とした所定割合である電子機器。
7. 請求項５に記載の電子機器において、
   前記最小閾値は、前記撮像画像の輝度値または彩度が最も小さい画素から大きい画素に向かって数えていき、または前記撮像画像の輝度値または彩度が最も大きい画素から小さい画素に向かって数えていき、その画素数が所定画素数となる輝度値または彩度である電子機器。
8. 請求項１乃至７のいずれか１項に記載の電子機器において、
   前記制御部は、前記投影原画像の補正量の調整に前記撮像画像の画素値を使用するとき、画像の特定の点もしくは領域からの距離に応じて各画素に対する重み付けを変えて使用する電子機器。
9. 請求項４乃至７のいずれか１項に記載の電子機器において、
   前記制御部は、前記撮像画像の画素値もしくは輝度値の低い部分が、前記投影原画像の画素値もしくは輝度値の低い部分に対応する場合には、前記投影原画像の補正量を調整する際に前記撮像画像の画素値もしくは輝度値の低い部分を使用しない電子機器。
10. 請求項１乃至９のいずれか１項に記載の電子機器において、
    前記制御部は、周囲の明るさと、前記投射ユニットの投影輝度と、前記投影原画像との少なくともひとつによって、前記投影原画像の補正量を調整する電子機器。
11. 請求項６または７に記載の電子機器において、
    前記制御部は、周囲の明るさによって、前記最小閾値と、前記投射ユニットの投影輝度との少なくとも一方を調整する電子機器。
12. 請求項１乃至１１のいずれか１項に記載の電子機器において、
    前記制御部は、前記投影面の画素毎に、もしくは投影画像を複数領域に分割し、画素毎に、もしくは領域毎に補正を行う電子機器。
13. 請求項１乃至１２のいずれか１項に記載の電子機器において、
    前記制御部は、前記投影原画像の画素値分布も解析し、その解析結果に基づいて画素毎に、もしくは領域毎に補正を行う電子機器。
14. 請求項１乃至１３のいずれか１項に記載の電子機器を備えた電子カメラ。
15. 所定の投影画像が投影された投影面を撮像して得られる撮像画像を解析し、その解析結果に基づいて、投影原画像の補正量を調整する画像処理方法。
16. 請求項１５に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
17. 請求項１６に記載の画像処理プログラムを搭載する画像処理装置。
18. 請求項１５に記載の画像処理方法を実行するコンピュータと、投影画像を投射する投影装置と、前記投影装置が投影した画像を撮像するカメラとを有する画像処理システム。

Images