JP5256899B2 - 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム - Google Patents

Description

本発明は、投射面上に投射された投射画像を補正する画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステムに関する。

近年、スクリーンの近接位置にプロジェクタを設置して、当該プロジェクタからスクリーンに投射を行う近接投射型のプロジェクションシステムが開発されている。
図１０は近接投射型のプロジェクションシステムの一例を説明する図である。近接投射型のプロジェクションシステムは、図１０（ａ）に示すように、スクリーンＳＣＲの直前で、かつスクリーンＳＣＲの下端部に近い位置にプロジェクタＰＪを設置するように構成される場合が多い。

このような近接投射型のプロジェクションシステムにおいては、プロジェクタＰＪからの投射光は、スクリーンＳＣＲに対して鋭角に入射される。このため、スクリーンＳＣＲに局所的歪みが存在すると、スクリーンＳＣＲの局所的歪みの部分において投射画像に歪みが生じる。例えば、図１０（ｂ）に示すように、局所的な歪みとしてスクリーンＳＣＲに凹凸（図１０では凸部ｈ）が存在すると、当該凸部ｈにおいて投射画像に歪みが生じる。すなわち、図１０（ｂ）におけるＰ１の位置に投射されるべき画素の画像は、実際にはスクリーンＳＣＲの凸部ｈのＰ１’の位置に投射されてしまい、視聴者の視線方向がスクリーンＳＣＲに対して垂直方向であるとすると、スクリーンＳＣＲの凸部ｈにおいて投射画像に歪みが生じる。なお、図１０ではスクリーンＳＣＲに凸部ｈが存在する場合であるが、凹部が存在している場合も同様に歪みが生じる。

このように、スクリーンの局所的歪みによる投射画像の歪みは、画質を低下させる原因ともなる。特に、図１０に示す近接投射型のプロジェクションシステムのように、プロジェクタＰＪからの投射光がスクリーンＳＣＲに対して鋭角に入射されるようなプロジェクションシステムにおいては、スクリーンの局所的歪みによる投射画像の歪みは視聴者に明確に認識される。

プロジェクタＰＪからの投射光がスクリーンＳＣＲに対して鋭角に入射されるようなプロジェクションシステムにおいて、プロジェクタＰＪからスクリーンＳＣＲに投射される画像が視聴者の視線方向から見た際に正しく表示されるように画像補正を行う技術は様々提案されている（例えば、特許文献１参照）。

特許文献１に開示された技術（従来技術という）は、投射光がスクリーンに対して鋭角に入射されるようにプロジェクタを設置した画像表示装置であって、このような画像表示装置において、プロジェクタによってテスト画像としての歪み量算出用画像をスクリーンに投射し、該投射された歪み量算出用画像を撮像装置２００（図１０参照）で撮像して、それによって得られた撮像画像データに基づいて、逆の歪みを与えるための補正データを生成し、この補正データで画像補正を行うものである。

特開２００１−８３９４９号公報

図１０に示すような局所的歪み（凹凸）は、スクリーンＳＣＲにおいて複数箇所存在す
る場合が多く、局所的歪みがスクリーンＳＣＲにおいて複数箇所存在する場合には、それぞれの箇所における歪みの大きさ（歪み量という）によって投射画像に現れる歪みも異なってくる。すなわち、スクリーンにおける局所的歪みの歪み量が大きい箇所においては投射画像の歪みも大きくなり、スクリーンの局所的歪みの歪み量があまり大きくない箇所においては投射画像の歪みもあまり大きくはならない。したがって、スクリーンの局所的歪みの歪み量に応じた歪み補正を行うことが、投射画像全体において見た目に均一な解像感を得る上で好ましい。

しかしながら、従来技術では、投射画像全体に渡って同じ補正方法を用いて補正を行っているため、スクリーンに局所的歪みが複数箇所存在するような場合、補正後の投射画像は、投射画像全体において見た目に均一な解像感が得られないという問題がある。

図１１は歪み量算出用画像を撮像装置で撮像して得られた撮像画像と解像感との関係について説明する図である。図１１（ａ）は歪み量算出用画像を撮像装置で撮像して得られた撮像画像、図１１（ｂ）は歪み量算出用画像の各位置におけるＭＴＦ（Modulation Transfer Function）を表すものである。なお、ＭＴＦは画像の解像感を表す指標となるもので、ＭＴＦが高いと画像の解像感が高いといえる。

また、図１１（ａ）に示す白丸は、特徴点Ｐ１１，Ｐ１２，・・・、Ｐ２１，Ｐ２２，・・・を表すものであり、歪み量算出用画像においては、特徴点Ｐ１１，Ｐ１２，・・・、Ｐ２１，Ｐ２２，・・・が縦方向および横方向に等間隔に並んだ画像となっている。

したがって、スクリーンに局所的歪みがなければ、歪み量算出用画像を撮像して得られた撮像画像における特徴点Ｐ１１，Ｐ１２，・・・、Ｐ２１，Ｐ２２，・・・も縦方向および横方向に等間隔となる。一方、スクリーンに局所的歪みが存在すると、スクリーンの局所的歪みに対応した位置の特徴点（例えば、特徴点Ｐ２２，Ｐ２４）は、撮像画像においては、図１１（ａ）における破線円Ａ１，Ａ２で示すように、元の位置からずれた画像となる。なお、スクリーンの局所的歪みの歪み量が大きいほど、位置のずれ量も大きくなる。このため、図１１（ａ）の場合、特徴点Ｐ２２，Ｐ２４の部分は、それぞれＭＴＦが低下（解像感が低下）しており、特に、特徴点Ｐ２２においてはＭＴＦがより大きく低下している。

図１１に示すように、スクリーンの局所的歪みの歪み量が各局所的歪みにおいて異なると、投射画像の解像感もスクリーンの各局所的歪みの歪み量に応じて異なるため、投射画像全体の解像感に「バラツキ」が生じたものとなる。したがって、上記従来技術のように、投射画像全体を同じ画像補正方法を用いて補正を行ったのでは、補正後の投射画像は、投射画像全体において見た目に均一な解像感を有する画像とならない場合もある。

そこで本発明は、スクリーンの局所的歪みの歪み量が各局所的歪みにおいて異なる場合、投射画像全体において見た目に均一な解像感を有するような歪み補正を可能とする画像とすることができる画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステムを提供することを目的とする。

本発明の画像補正装置は、プロジェクタで投射すべき画像を投射面の局所的歪みに基づいて補正する画像補正装置であって、前記投射面に投射された複数の特徴点を有する歪み量算出用画像を撮像して得られた撮像画像に基づいて、前記複数の特徴点の各特徴点における歪み量を算出する歪み量算出部と、前記歪み量算出部で算出された前記各特徴点における歪み量に応じた画像補正方法を選択する画像補正方法選択部と、前記画像補正方法選択部で選択された画像補正方法によって前記投射すべき画像の所定領域を補正する画像補
正処理部とを有することを特徴とする。

本発明の画像補正装置においては、投射面（スクリーン）の局所的歪みによって生じる投射画像の局所的歪みを補正する場合、歪み量算出用画像を投射面に投射し、投射された歪み量算出用画像を撮像して得られた撮像画像に基づいて歪み量算出用画像の各特徴点における歪み量を算出する。そして、算出された各特徴点における歪み量に応じた画像補正方法を選択し、選択された画像補正方法を用いて、投射画像に対して局所的に画像補正を行うようにしている。これにより、各特徴点における歪み量すなわち投射面の局所的歪みの歪み量に応じた画像補正を行うことができるので、投射面の局所的歪みが複数箇所存在するような場合であっても、補正後の投射画像は、投射画像全体において見た目に均一な解像感を有する画像となる。なお、投射面の局所的歪みというのは、投射面の「しわ」などによって投射面に局所的に存在する凹凸などを例示することができる。

本発明の画像補正装置においては、前記各特徴点は、前記プロジェクタにおける光変調素子の各画素のうち離散的な位置の複数の画素に対応してそれぞれ設定されていることが好ましい。

このような特徴点を有する歪み量算出用画像を投射面に投射し、投射された歪み量算出用画像を撮像することにより、投射面の局所的歪みが特徴点の歪みとして現われた撮像画像を得ることができる。したがって、その撮像画像を用いることによって、投射面の局所的歪みを適切に反映した歪み量を算出することができる。なお、特徴点としては、縦方向および横方向に等間隔で並べた小さな丸や四角などのマーク、縦方向および横方向に格子状に描かれた線の交点（格子点）を用いることができる。

本発明の画像補正装置においては、前記歪み量算出部は、前記歪み量算出用画像における前記各特徴点の座標と、前記歪み量算出用画像を撮像して得られる撮像画像における前記各特徴点の座標とに基づいて、前記各特徴点における歪み量を算出することが好ましい。
これにより、投射面の局所的歪みが投射面において複数箇所存在する場合でも、複数箇所それぞれにおける歪み量を高精度に算出することができる。

本発明の画像補正装置においては、前記画像補正方法選択部は、前記各特徴点における歪み量の大きさを複数段階のひずみ量の大きさとして判定する機能と、前記複数段階の各段階ごとに設定された補正精度の異なる複数種類の画像補正方法の中から前記各特徴点における歪み量に対応する画像補正方法を選択する機能とを有することが好ましい

これにより、投射面の局所的歪みの歪み量に応じた画像補正を行うことができる。具体的には、各特徴点における歪み量の大きさを判定するための閾値を１個以上設定し、各特徴点における歪み量の大きさを２段階以上に分けて判定する。そして、それぞれの段階ごとに補正精度の異なる画像補正方法を設定しておき、歪み量算出部によって算出された各特徴点における歪み量が複数段階のどの段階に属するかを判定し、その判定結果に基づいて適切な画像補正方法を選択して、選択された画像補正方法を用いて画像補正を行う。なお、各段階ごとの画像補正方法は、各特徴点における歪み量が大きいほど高精度な画像補正を可能とする画像補正方法が設定される。
このように、歪み量の大きさを複数段階のひずみ量の大きさとして判定し、判定された歪み量に適した画像補正方法を選択して画像補正を行うので、歪み量の大きさに応じた適切な画像補正を行うことができる。

本発明の画像補正装置においては、前記複数段階は、前記各特徴点における歪み量が所定値以上であるか否かの２段階であり、前記補正精度の異なる複数種類の画像補正方法は
、高精度な補正が可能な第１画像補正方法および前記第１画像補正方法よりも低い精度での補正を行う第２画像補正方法の２種類の画像補正方法であって、前記各特徴点のある特徴点における歪み量が前記所定値以上であると判定した場合には、当該特徴点に対しては前記第１画像補正方法を選択し、前記各特徴点のある特徴点における歪み量が前記所定値未満であると判定した場合には、当該特徴点に対しては前記第２画像補正方法を選択することが好ましい。

これは、各特徴点における歪み量の大きさが所定値以上であるか所定値未満であるかを判定し、その判定結果によって第１画像補正方法および前記第１画像補正方法のいずれかを選択して、選択された画像補正方法によって画像補正を行うものであり、これによれば、少ない演算量で投射面の局所的歪みの歪み量に応じた画像補正を行うことができる。

本発明の画像補正装置においては、前記第１画像補正方法は、バイキュービックによる画像補正方法であって、前記第２画像補正方法は、バイリニアによる画像補正方法であることが好ましい。
このように、歪み量の大きさに応じてバイキュービックによる画像補正方法とバイリニアによる画像補正方法とを使い分けることによって、歪み量に応じた精度で画像補正することができる。これにより、補正後の投射画像は、投射画像全体において見た目に均一な解像感を有する画像となる。

本発明の画像補正装置においては、前記画像補正処理が補正する投射すべき画像の所定領域は、前記特徴点に対応する前記投射すべき画像の画素を含む局所的な領域であることが好ましい。
投射すべき画像に対して補正範囲をこのように設定して画像補正を行うことによって、投射面の局所的歪みによって生じる投射画像の歪みを適切な範囲で補正することができる。

本発明の画像補正装置においては、前記プロジェクタは、前記投射面の近接位置に設置され、かつ、投射光が前記投射面に対して鋭角に入射されるように設置されていることが好ましい。

このように、プロジェクタが投射面の近接位置に設置され、かつ、投射光が投射面に対して鋭角に投射されるように設置された場合、投射面に対し垂直方向を視線方向とすると、投射面の局所的歪みによる投射画像の歪みが視聴者に視認されやすくなる。したがって、投射面に対し垂直方向を視線方向とした場合、投射画像全体において解像感を見た目に均一化するような画像補正を行うことが必須であり、このような画像補正を行う際に、本発明はきわめて有効なものとなる。

本発明の画像補正方法は、プロジェクタで投射すべき画像を投射面の局所的歪みに基づいて補正する画像補正方法であって、前記投射面に投射された複数の特徴点を有する歪み量算出用画像を撮像して得られた撮像画像に基づいて、前記複数の特徴点の各特徴点における歪み量を算出する歪み量算出ステップと、前記歪み量算出ステップで算出された前記各特徴点における歪み量に応じた画像補正方法を選択する画像補正方法選択ステップと、前記画像補正方法選択ステップで選択された画像補正方法によって前記投射すべき画像の所定領域を補正する画像補正処理ステップとを有することを特徴とする。

このような処理ステップを実行することによって、投射面の局所的歪みの歪み量に応じた画像補正を行うことができる。このようにして補正された投射画像は、投射画像全体において見た目に均一な解像感を有する画像となる。なお、本発明の画像補正方法においても、前記本発明の画像補正装置が有するそれぞれの特徴を有することが好ましい。

本発明のプロジェクタは、投射すべき画像を投射面の局所的歪みに基づいて補正する画像補正装置を有するプロジェクタであって、前記画像補正装置は、前記投射面に投射された複数の特徴点を有する歪み量算出用画像を撮像して得られた撮像画像に基づいて、前記複数の特徴点の各特徴点における歪み量を算出する歪み量算出部と、前記歪み量算出部で算出された前記各特徴点における歪み量に応じた画像補正方法を選択する画像補正方法選択部と、前記画像補正方法選択部で選択された画像補正方法によって前記投射すべき画像の所定領域を補正する画像補正処理部とを有することを特徴とする。

プロジェクタにこのような画像補正装置を搭載することによって、前記本発明の画像補正装置で述べた効果を得ることができる。なお、本発明のプロジェクタにおいても、前記本発明の画像補正装置が有するそれぞれの特徴を有することが好ましい。

本発明のプロジェクションシステムは、投射面に画像を投射するプロジェクタと、前記プロジェクタで投射すべき画像を前記投射面の局所的歪みに基づいて補正する画像補正装置とを有するプロジェクションシステムであって、前記画像補正装置は、前記投射面に投射された複数の特徴点を有する歪み量算出用画像を撮像して得られた撮像画像に基づいて、前記複数の特徴点の各特徴点における歪み量を算出する歪み量算出部と、前記歪み量算出部で算出された前記各特徴点における歪み量に応じた画像補正方法を選択する画像補正方法選択部と、前記画像補正方法選択部で選択された画像補正方法によって前記投射すべき画像の所定領域を補正する画像補正処理部とを有することを特徴とする。

これは、画像補正装置をプロジェクタとは別の構成要素とした場合であり、画像補正装置が有する機能をパーソナルコンピュータなどの情報処理装置に組み込んだ場合などがその一例である。このように、プロジェクタと画像補正装置とによってプロジェクションシステムを構成した場合であっても、本発明の画像補正装置で述べた効果を得ることができる。なお、本発明のプロジェクションシステムにおいても、前記本発明の画像補正装置が有するそれぞれの特徴を有することが好ましい。

以下、本発明の実施形態について説明する。

[実施形態１]
図１は実施形態１に係るプロジェクタの構成を示す図である。実施形態１に係るプロジェクタは、図１に示すように、画像投射部１００、撮像装置２００、画像処理装置３００を有している。

画像投射部１００は、投射制御部１１０、液晶パネルなどの光変調素子１２０、光源１３０、投射光学系１４０などを有し、画像処理装置３００によって画像処理された画像データに基づく画像光を投射光学系によって射出するものである。なお、画像投射部１００は、これらの構成の他に、各種の光学系などを有しているが、これらは、一般的なプロジェクタが有する公知の構成要素であるので図示を省略する。

撮像装置２００は、撮像光学系２１０、撮像素子２２０、撮像素子２２０からの出力信号の取得など撮像素子２２０を制御するための撮像素子制御部２３０を有している。なお、撮像素子２２０の解像度は、光変調素子１２０の解像度よりも高い解像度を有するものとする。

画像処理装置３００は、ＣＰＵ３１０、記憶装置３２０、画像補正装置３３０を有している。画像補正装置３３０は、投射画像の補正（台形歪み補正や投射面としてのスクリー
ンの局所的歪みによって生じる投射画像の歪み補正などの各種補正）を含む各種の画像補正を行うものである。なお、スクリーンの局所的歪みによって生じる投射画像の歪みを補正する処理については後述する。

図１に示すプロジェクタＰＪをスクリーンに近接配置して近接投射型のプロジェクションシステムを構成した場合、図１０で説明したように、スクリーンＳＣＲに存在する局所的な凹凸（図１０では凸部ｈ）などによるスクリーンＳＣＲの局所的歪みの影響を受けて、当該凸部ｈにおいて投射画像に歪みが生じる。本発明は、このようなスクリーンＳＣＲの局所的歪みによる投射画像の歪みを適切に補正するものである。

図２は図１に示した画像補正装置３３０の構成を示す図である。画像補正装置３３０は、図２に示すように、歪み量算出用画像（詳細については図３により後述する）を生成する歪み量算出用画像生成部３３１、スクリーンに投射された歪み量算出用画像を撮像装置２００によって撮像して得られた撮像画像データ（撮像画像という）に基づいて、歪み量算出用画像の各特徴点（図３におけるＰ１１，Ｐ１２，・・・、Ｐ２１，Ｐ２２，・・・）における歪み量を算出する歪み量算出部３３２、算出された各特徴点における歪み量に応じた画像補正方法を選択する画像補正方法選択部３３３、選択された画像補正方法を用いてプロジェクタＰＪが投射すべき画像に対して画像補正を行う画像補正処理部３３４、撮像装置２００およびプロジェクタＰＪに対する制御を行う制御部３３５を有している。

画像補正方法選択部３３３は、各特徴点における歪み量の大きさを複数段階の歪み量の大きさとして判定する機能と、前記複数段階の各段階ごとに設定された補正精度の異なる複数種類の画像補正方法の中から各特徴点における歪み量に対応する画像補正方法を選択する機能とを有する。

なお、実施形態１に係るプロジェクタＰＪにおいては、各特徴点における歪み量の大きさの判定は、各特徴点における歪み量が所定値（歪み量判定用閾値ＴＨ１とする）以上であるか否かの２段階で行い、また、補正精度の異なる複数種類の画像補正方法は、補正精度の高い画像補正が可能な第１画像補正方法および第１画像補正方法よりも補正精度の低い画像補正を行う第２画像補正方法の２種類の画像補正方法が設定されているものとする。

そして、各特徴点のうちのある特徴点における歪み量が歪み量判定用閾値ＴＨ１以上であると判定した場合には、当該特徴点に対しては第１画像補正方法を選択し、各特徴点のうちのある特徴点における歪み量が歪み量判定用閾値ＴＨ１未満であると判定した場合には、当該特徴点に対しては第２画像補正方法を選択する。なお、第１画像補正方法は、バイキュービックによる補間方法を用いた画像補正方法であって、第２画像補正方法は、バイリニアによる補間方法を用いた画像補正方法であるとする。

図３はスクリーンに投射される歪み量算出用画像と該歪み量算出用画像を撮像して得られた撮像画像の一例を示す図である。歪み量算出用画像は、図３（ａ）に示すように、歪み量算出位置を示す特徴点Ｐ１１，Ｐ１２，・・・、Ｐ２１，Ｐ２２，・・・が縦方向および横方向に等間隔に配列された画像であるとする。なお、以下の説明においては、特徴点Ｐ１１，Ｐ１２，・・・、Ｐ２１，Ｐ２２，・・・は、個々の特徴点について説明する場合を除いて、その符号「Ｐ１１，Ｐ１２，・・・、Ｐ２１，Ｐ２２，・・・」は省略する。

歪み量算出用画像の各特徴点は、プロジェクタＰＪにおける光変調素子１２０（例えば液晶パネル）の各画素のうちの離散的な位置の画素に対応して設定される。具体的には、光変調素子の縦方向及び横方向における画素のうち、所定画素数ごとの画素に対応するよ
うに歪み量算出位置が設定されるものとする。図３（ａ）に示す歪み量算出用画像は、各特徴点が縦方向および横方向において、それぞれ光変調素子の１０画素分の間隔をおいて設定された例が示されている。

図３（ｂ）は図３（ａ）に示す歪み量算出用画像（元となる歪み量算出用画像という）がスクリーン上に投射されたときの歪み量算出用画像（投射歪み量算出用画像という）を示すものである。図３（ｂ）に示す投射歪み量算出用画像は、スクリーンの局所的歪みに対応する特徴点（例えば、特徴点Ｐ２２，Ｐ２４）の位置が図３（ａ）に示す元となる歪み量算出用画像と比べて「ずれ」が生じている。

このような投射歪み量算出用画像を撮像装置２００によって撮像すると、その撮像画像は当然のことながら、図３（ａ）に示す元となる歪み量算出用画像に対して、スクリーンの局所的歪みに対応する特徴点に「ずれ」が生じたものとなる。例えば、スクリーンに図１０（ｂ）に示すような局所的歪みが存在すると、撮像画像は、元となる歪み量算出用画像に対して、スクリーンの局所的歪みに対応する部分で当該局所的歪みにおける歪み量に応じて特徴点に「ずれ」が生じたものとなる。

この「ずれ」は、スクリーンの局所的歪みにおける歪み量に比例するので、撮像装置２００から出力される撮像画像と元となる歪み量算出用画像とから、それぞれ対応する特徴点の「ずれ」を算出することによって、スクリーンの局所的歪みにおける歪み量を算出することができる。なお、本発明の実施形態ではスクリーンの局所的歪みにおける歪み量は、歪み量算出用画像の各特徴点における歪み量として表すものとする。

図４は画像補正装置３３０が行う全体的な処理手順を説明するフローチャートである。まず、歪み量算出用画像生成部３３１によって歪み量算出用画像を生成し（ステップＳ１）、生成した歪み量算出用画像を制御部３３５により画像投射部１００に与えるとともに、画像投射部１００に対する歪み量算出用画像の投射指示を出力する（ステップＳ２）。これにより、画像投射部１００では歪み量算出用画像をスクリーンに投射する。

また、撮像装置２００に対しては、スクリーンに投射された歪み量算出用画像を撮像するための撮像指示を制御部３３５により出力する（ステップＳ３）。これにより、撮像装置２００はスクリーンＳＣＲに投射された歪み量算出用画像を撮像する。そして、撮像装置２００から出力される撮像画像を歪み量算出部３３２が制御部３３５を介して受け取り、歪み量算出用画像の各特徴点における歪み量を算出する（ステップＳ４）。

そして、画像補正方法選択部３３３は、各特徴点における歪み量に応じた画像補正方法を選択する（ステップＳ５）。続いて、画像補正処理部３３４は、画像補正方法選択部３３３で選択された画像補正方法を用いて投射すべき画像に対して局所的な画像補正を行う（ステップＳ６）。

図５は各特徴点における歪み量算出の処理手順を説明するフローチャートである。歪み量算出用画像の各特徴点における歪み量は、図５に示すように、まず、投射歪み量算出用画像（図３（ａ）参照）を撮像して得られた撮像画像に基づいて、撮像画像における各特徴点の座標（撮像装置系座標という）を算出し（ステップＳ１１）、算出された各特徴点の撮像装置系座標と元となる歪み量算出用画像（図３（ａ）参照）における各特徴点の座標（プロジェクタ系座標という）とを照合することによって算出する（ステップＳ１２）。

ここで、スクリーンに局所的歪みがなければ、それぞれ対応する特徴点の撮像装置系座標とプロジェクタ系座標とは一致するが、スクリーンに局所的歪みが存在すると、その局
所的歪みに対応する部分でそれぞれ対応する特徴点の撮像装置系座標とプロジェクタ系座標とに「ずれ」が生じる。なお、スクリーンの局所的歪みにおける歪み量が大きいほど対応する特徴点の「ずれ」が大きくなる。

図６は図５のステップＳ１１における各特徴点の撮像装置系座標の算出処理について説明するフローチャートである。各特徴点の撮像装置系座標の算出処理は、図６に示すように、撮像画像を２値化し（ステップＳ２１）、２値化された撮像画像をラベリングし（ステップＳ２２）、そのラベリング結果から各特徴点の撮像装置系座標を算出する（ステップＳ２３）。

ここで、ステップＳ２１における撮像画像の２値化は、画素値に閾値ＴＨ２（例えば、撮像画像の画素値の最大値と最小値の中間値とする）を設定し、各画素の画素値が当該閾値ＴＨ２（２値化用閾値ＴＨ２という）以上であるか未満であるかによって２値化を行う。例えば、２値化用閾値ＴＨ２以上の画素値を有する画素には‘１’を与え、２値化用閾値ＴＨ２未満の画素値を有する画素には‘０’を与えるものとする。

また、ステップＳ２２におけるラベリング処理は、２値化された結果から、この場合、‘１’が連続する領域が特徴点に対応する画素の集合であるとして、‘１’が連続する領域に対してラベリングを行う。

また、ステップＳ２３における各特徴点の撮像装置系座標の算出処理は、２値化された画像データを用いる場合は、ラベリングされた領域の重心となる画素の位置を当該特徴点の座標位置であるとする。また、２値化される前の画像データを用いる場合には、ラベリングされた領域の中で最大の画素値を有する画素の位置を当該特徴点の座標位置とする。

撮像画像から各特徴点の座標位置が算出されると、算出された各特徴点の撮像装置系座標と、元となる歪み量算出用画像における各特徴点のプロジェクタ系座標とを照合する（図５のステップＳ１２）。各特徴点の撮像装置系座標と各特徴点のプロジェクタ系座標との照合は、例えば、最小二乗法などを用いることによって行うことができる。

ここで、スクリーンに局所的歪みが存在しなければ、それぞれ対応する特徴点の撮像装置系座標とプロジェクタ系座標とは一致するが、スクリーンに局所的歪みが存在すると、その局所的歪み部分でそれぞれ対応する特徴点の撮像装置系座標とプロジェクタ系座標とに「ずれ」が生じる。したがって、各特徴点の撮像装置系座標と各特徴点のプロジェクタ系座標とを照合することにより、その照合結果から、歪み量算出用画像の各特徴点における歪み量を算出することができる。

なお、算出された歪み量算出用画像の各特徴点における歪み量は、スクリーンの局所的歪みによって生じるものであるので、算出された歪み量算出用画像の各特徴点における歪み量は、スクリーンの対応する局所的歪みにおける歪み量を反映したものとなる。

このようにして歪み量算出用画像の各特徴点における歪み量が算出されると、画像補正方法選択部３３３は、各特徴点における歪み量に応じた画像補正方法を選択する。具体的には、画像補正方法選択部３３３は、各特徴点における歪み量が歪み量判定用閾値ＴＨ１以上であるか否かを判定し、各特徴点における歪み量が当該歪み量判定用閾値ＴＨ１以上である場合には、当該特徴点に対してはバイキュービックによる補間方法を用いた画像補正方法を選択し、各特徴点における歪み量が当該歪み量判定用閾値ＴＨ１未満である場合には、当該特徴点に対してはバイリニアによる補間方法を用いた画像補正方法を選択する。

そして、画像補正処理部３３４は、画像補正方法選択部３３３で選択された画像補正方法を用いて画像補正を行う。なお、画像補正対象となる画素は、撮像装置系座標とプロジェクタ系座標とに所定の「ずれ」が存在する特徴点（補正対象特徴点という）を含む局所的な領域（局所的領域という）内とする。

図７は補正対象となる局所的領域の設定例について説明する図である。補正対象となる局所的領域は、図７に示すように、歪み量算出用画像（図３（ａ）に示す歪み量算出用画像と同じものである）において、個々の特徴点を中心とする矩形の領域（破線で囲まれる領域）としている。そして、局所的領域内に存在する画素を補正対象の画素とする。例えば、特徴点Ｐ２２が補正対象特徴点であるとすれば、特徴点Ｐ２２を含む局所的領域Ａ_Ｐ２２（灰色で示す領域）を設定し、投射すべき画像において、当該局所的領域Ａ_Ｐ２２に存在する画素を補正対象の画素とする。

なお、個々の特徴点を含んで設定される局所的領域は、投射画像全体からみれば、きわめて狭い領域である。また、図７においては、各局所的領域は、隣り合う局所的領域同士が重複しないように設定された例が示されているが、多少の画素が重複するように設定されてもよく、逆に、隣り合う局所的領域は接していなくてもよく、多少の画素の間隔があってもよい。

ここで、図３（ａ），（ｂ）の例においては、特徴点Ｐ２２および特徴点Ｐ２４がそれぞれのプロジェクタ系座標と撮像装置系座標とにそれぞれ「ずれ」が生じている。そして、特徴点Ｐ２２におけるプロジェクタ系座標と撮像装置系座標との照合を行った結果、算出された特徴点Ｐ２２における歪み量（Ｗ_Ｐ２２とする）が、歪み量判定用閾値ＴＨ１以上（Ｗ_Ｐ２２≧ＴＨ１）であったとすると、画像補正方法選択部３３３では、バイキュービックによる補間方法を用いた画像補正方法を選択する。これにより、画像補正処理部３３４は、特徴点Ｐ２２を含む局所的領域Ａ_Ｐ２２内の画素については、バイキュービックによる補間方法を用いた画像補正を行う。

同様に、特徴点Ｐ２４のプロジェクタ系座標と撮像装置系座標との照合を行った結果、算出された特徴点Ｐ２４の歪み量Ｗ_Ｐ２４が、歪み量判定用閾値ＴＨ１未満（Ｗ_Ｐ２４＜ＴＨ１）であったとすると、画像補正方法選択部３３３では、バイリニアによる補間方法を用いた画像処理方法を選択する。これにより、画像補正処理部３３４は、特徴点Ｐ２４を含む局所的領域Ａ_Ｐ２４内の画素については、バイリニアによる補間方法を用いた画像補正を行う。

図８は選択された画像補正方法による画像補正の一例を説明する図である。図８は図３（ｂ）に示す撮像画像の画像補正結果を示すものであり、図３（ｂ）に示す位置にある特徴点Ｐ２２（図８においては灰色の丸で示す）はバイキュービックによる補間方法によって画像補正され、図３（ｂ）に示す位置にある特徴点Ｐ２４（図８においては灰色の丸で示す）がバイリニアによる補間方法によって画像補正された例である。

投射すべき画像に対してこのような画像補正がなされることにより、画像補正後の画像を用いてプロジェクタにより投射を行うと、例えば、図１０におけるスクリーンＳＣＲ上において視線方向から見たときスクリーンＳＣＲの歪みの影響が投射画像に現れないようにすることができる。

以上説明したように、本発明の実施形態によれば、スクリーンの局所的歪みによって生じる投射画像の歪みを補正する場合、スクリーンの局所的歪みの歪み量を、歪み量算出用画像の各特徴点における歪み量として算出し、算出された各特徴点における歪み量に応じた画像補正方法を用いて画像補正するようにしている。すなわち、ある特徴点における歪
み量が歪み量判定用閾値ＴＨ１以上である場合には、より高精度な補正が可能なバイキュービックによる補間方法を用いた画像補正を投射すべき画像における局所的な領域（当該特徴点を含む所定範囲の領域に対応する領域）に対して行い、ある特徴点における歪み量が歪み量判定用閾値ＴＨ１未満である場合には、バイリニアによる補間方法を用いた画像補正を投射すべき画像における局所的な領域（当該特徴点を含む所定範囲の領域に対応する領域）対して行う。

これにより、投射すべき画像に対しスクリーンの局所的歪みの歪み量に対応した画像補正を行うことができるので、このように補正された画像をプロジェクタによってスクリーンに投射することにより、スクリーン上の投射画像は、投射画像全体において見た目に均一な解像感を有するものとなる。すなわち、スクリーンに歪み量の異なる複数の局所的歪みが存在した場合、投射画像全体に同じ補正方法を用いて画像補正を行うと、補正後の投射画像全体の解像感は均一とならず、前述したＭＴＦが局所的に異なった画像となるといった不具合が生じるおそれがあるが、本発明ではそのような不具合を防止することができる。

[実施形態２]
前述の実施形態１では、画像補正装置３３０は、プロジェクタＰＪに組み込まれている場合を例示したが、画像補正装置３３０をプロジェクタＰＪとは別の構成要素として設け、プロジェクタＰＪと画像補正装置３３０とでプロジェクションシステムを構成するようにしてもよい。

図９は実施形態２に係るプロジェクションシステムの構成を示す図である。実施形態２に係るプロジェクションシステムは、プロジェクタＰＪをスクリーンＳＣＲに近接配置した近接投射型のプロジェクションシステムであり、実施形態２に係るプロジェクションシステムは、図９に示すように、プロジェクタＰＪと、撮像装置２００と、画像補正装置３３０と、接続ケーブル５００とを有する。

画像補正装置３３０は、情報処理装置（パーソナルコンピュータなど）にその機能を持たせることによって実現することができる。また、画像補正装置３３０は、歪み量算出用画像生成部３３１、歪み量算出部３３２、補正方法選択部３３３、画像補正処理部３３４、制御部３３５を有している（図２参照）。なお、画像補正装置３３０が行う処理については、実施形態１に係るプロジェクタＰＪにおいて説明したので、ここではその説明は省略する。

また、図９に示す例では、画像補正装置３３０を構成する構成要素として、歪み量算出用画像生成部３３１、歪み量算出部３３２、画像補正方法選択部３３３、画像補正処理部３３４、制御部３３５などをプロジェクタＰＪとは別の構成としたが、これらの構成要素のうち一部は、プロジェクタＰＪ側に持たせるようにすることもできる。

なお、本発明は前述の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で下記（１）〜（５）に示すような変形実施も可能である。

（１）前述の各実施形態では、各特徴点における歪み量が所定値（歪み量判定用閾値ＴＨ１）以上であるか否かかによって、２種類の画像補正方法のいずれかを選択するようにしたが、これに限られるものではない。例えば、各特徴点における歪み量の大きさを判定するための閾値を２個以上設定し、歪み量の大きさを３段階以上に分けて判定するようにしてもよい。

この場合、それぞれの段階ごとに補正精度の異なる画像補正方法を設定しておき、各特
徴点における歪み量が複数段階のどの段階に属するかを判定し、その判定結果に基づいて画像補正方法を選択して、選択された画像補正方法を用いて画像補正を行う。なお、各段階ごとの画像補正方法は、各特徴点における歪み量が大きいほど高精度な画像補正を可能とする画像補正方法が設定される。このように、各特徴点における歪み量の大きさを複数段階の歪み量の大きさとして判定し、判定された歪み量に適した画像補正方法を選択して画像補正を行うので、各特徴点における歪み量の大きさに応じて適切な画像補正を行うことができる。

（２）撮像装置２００は、プロジェクタＰＪと一体的に設けた例が示されているが（図９参照）、撮像装置２００はプロジェクタＰＪとは別の構成要素とし、プロジェクタＰＪとは別の位置に設置するようにしてもよい。

（３）前述の各実施形態では、画像補正装置３３０は、歪み量算出用画像生成部３３１を有し、この歪み量算出用画像生成部３３１で歪み量算出用画像を生成するようにしたが、これに限らず、歪み量算出用画像に対応する歪み量算出用画像を記憶部などに記憶させておき、必要に応じて歪み量算出用画像を記憶部から読み出してプロジェクタＰＪによって投射するようにしてもよい。

（４）前述の各実施形態で用いた歪み量算出用画像は、歪み量算出位置としての特徴点を縦方向および横方向に等間隔で並べたものとしたが、これに限られるものではなく、撮像画像において特徴点が特定できるのであればよい。例えば、縦方向及び横方向に等間隔で格子状に線が描かれたものであってもよく、この場合は、縦方向及び横方向の各線の交差する位置（格子点）を特徴点として、その特徴点で歪み量算出を行うようにすればよい。

（５）前述の各実施形態では、画像補正方法としてはバイキュービックまたはバイリニアによる補間方法を用いた場合を例示したが、画像補正方法はこれに限られるものではなく、他の画像補正方法を用いてもよい。

実施形態１に係るプロジェクタの構成を示す図。 図１に示した画像補正装置３３０の構成を示す図。 スクリーンに投射される歪み量算出用画像と該歪み量算出用画像を撮像して得られた撮像画像の一例を示す図。 画像補正装置３３０が行う全体的な処理手順を説明するフローチャート。 各特徴点における歪み量算出の処理手順を説明するフローチャート。 図５のステップＳ１１における各特徴点の撮像装置系座標の算出処理について説明するフローチャート。 補正対象となる局所的範囲の設定例について説明する図。 選択された画像補正方法による画像補正の一例を説明する図。 実施形態２に係るプロジェクションシステムの構成を示す図。 近接投射型のプロジェクションシステムの一例を説明する図。 歪み量算出用画像を撮像装置で撮像して得られた撮像画像と解像感との関係について説明する図。

符号の説明

１００・・・画像投射部、２００・・・撮像装置、３００・・・画像処理部、３３０・・・画像補正装置、３３１・・・歪み量算出用画像生成部、３３２・・・歪み量算出部、３３３・・・画像補正方法選択部、３３４・・・画像補正処理部、ＰＪ・・・プロジェクタ、Ｐ１１，Ｐ２１，・・・、Ｐ１１，Ｐ２１，・・・特徴点

Claims (10)

1. プロジェクタで投射すべき画像を投射面の局所的歪みに基づいて補正する画像補正装置であって、
   前記投射面に投射された複数の特徴点を有する歪み量算出用画像を撮像して得られた撮像画像に基づいて、前記複数の特徴点の各特徴点における歪み量を算出する歪み量算出部と、
   前記歪み量算出部で算出された前記各特徴点における歪み量に応じた画像補正方法を選択する画像補正方法選択部と、
   前記画像補正方法選択部で選択された画像補正方法によって前記投射すべき画像の所定領域を補正する画像補正処理部と、
   を有し、
   前記画像補正方法選択部は、前記各特徴点における歪み量の大きさを複数段階のひずみ量の大きさとして判定し、前記複数段階の各段階に設定された補正精度の異なる複数種類の画像補正方法の中から前記各特徴点における歪み量に対応する画像補正方法を選択し、
   前記各段階の画像補正方法は、前記各特徴点における歪み量が大きいほど高精度な画像補正を可能とする画像補正方法が設定されていることを特徴とする画像補正装置。
2. 請求項１に記載の画像補正装置において、
   前記各特徴点は、前記プロジェクタにおける光変調素子の各画素のうち離散的な位置の複数の画素に対応してそれぞれ設定されていることを特徴とする画像補正装置。
3. 請求項１または２に記載の画像補正装置において、
   前記歪み量算出部は、前記歪み量算出用画像における前記各特徴点の座標と、前記歪み量算出用画像を撮像して得られる撮像画像における前記各特徴点の座標とに基づいて、前記各特徴点における歪み量を算出することを特徴とする画像補正装置。
4. 請求項１〜３のいずれか一項に記載の画像補正装置において、
   前記複数段階は、前記各特徴点における歪み量が所定値以上であるか否かの２段階であり、前記補正精度の異なる複数種類の画像補正方法は、高精度な補正が可能な第１画像補正方法および前記第１画像補正方法よりも低い精度での補正を行う第２画像補正方法の２種類の画像補正方法であって、
   前記各特徴点のある特徴点における歪み量が前記所定値以上であると判定した場合には、当該特徴点に対しては前記第１画像補正方法を選択し、前記各特徴点のある特徴点における歪み量が前記所定値未満であると判定した場合には、当該特徴点に対しては前記第２画像補正方法を選択することを特徴とする画像補正装置。
5. 請求項４に記載の画像補正装置において、
   前記第１画像補正方法は、バイキュービックによる画像補正方法であって、前記第２画像補正方法は、バイリニアによる画像補正方法であることを特徴とする画像補正装置。
6. 請求項１〜５のいずれかに記載の画像補正装置において、
   前記画像補正処理が補正する投射すべき画像の所定領域は、前記特徴点に対応する前記投射すべき画像の画素を含む局所的な領域であることを特徴とする画像補正装置。
7. 請求項１〜６のいずれかに記載の画像補正装置において、
   前記プロジェクタは、前記投射面の近接位置に設置され、かつ、投射光が前記投射面に対して鋭角に入射されるように設置されていることを特徴とする画像補正装置。
8. プロジェクタで投射すべき画像を投射面の局所的歪みに基づいて補正する画像補正方法であって、
   前記投射面に投射された複数の特徴点を有する歪み量算出用画像を撮像して得られた撮像画像に基づいて、前記複数の特徴点の各特徴点における歪み量を算出する歪み量算出ステップと、
   前記歪み量算出ステップで算出された前記各特徴点における歪み量に応じた画像補正方法を選択する画像補正方法選択ステップと、
   前記画像補正方法選択ステップで選択された画像補正方法によって前記投射すべき画像の所定領域を補正する画像補正処理ステップと、
   を有し、
   前記画像補正方法選択ステップでは、前記各特徴点における歪み量の大きさを複数段階のひずみ量の大きさとして判定し、前記複数段階の各段階に設定された補正精度の異なる複数種類の画像補正方法の中から前記各特徴点における歪み量に対応する画像補正方法を選択し、
   前記各段階の画像補正方法は、前記各特徴点における歪み量が大きいほど高精度な画像補正を可能とする画像補正方法が設定されていることを特徴とする画像補正方法。
9. 投射すべき画像を投射面の局所的歪みに基づいて補正する画像補正装置を有するプロジェクタであって、
   前記画像補正装置は、
   前記投射面に投射された複数の特徴点を有する歪み量算出用画像を撮像して得られた撮像画像に基づいて、前記複数の特徴点の各特徴点における歪み量を算出する歪み量算出部と、
   前記歪み量算出部で算出された前記各特徴点における歪み量に応じた画像補正方法を選択する画像補正方法選択部と、
   前記画像補正方法選択部で選択された画像補正方法によって前記投射すべき画像の所定領域を補正する画像補正処理部と、
   を有し、
   前記画像補正方法選択部は、前記各特徴点における歪み量の大きさを複数段階のひずみ量の大きさとして判定し、前記複数段階の各段階に設定された補正精度の異なる複数種類の画像補正方法の中から前記各特徴点における歪み量に対応する画像補正方法を選択し、
   前記各段階の画像補正方法は、前記各特徴点における歪み量が大きいほど高精度な画像補正を可能とする画像補正方法が設定されていることを特徴とするプロジェクタ。
10. 投射面に画像を投射するプロジェクタと、前記プロジェクタで投射すべき画像を前記投射面の局所的歪みに基づいて補正する画像補正装置とを有するプロジェクションシステムであって、
    前記画像補正装置は、
    前記投射面に投射された複数の特徴点を有する歪み量算出用画像を撮像して得られた撮像画像に基づいて、前記複数の特徴点の各特徴点における歪み量を算出する歪み量算出部と、
    前記歪み量算出部で算出された前記各特徴点における歪み量に応じた画像補正方法を選択する画像補正方法選択部と、
    前記画像補正方法選択部で選択された画像補正方法によって前記投射すべき画像の所定領域を補正する画像補正処理部と、
    を有し、
    前記画像補正方法選択部は、前記各特徴点における歪み量の大きさを複数段階のひずみ量の大きさとして判定し、前記複数段階の各段階に設定された補正精度の異なる複数種類の画像補正方法の中から前記各特徴点における歪み量に対応する画像補正方法を選択し、
    前記各段階の画像補正方法は、前記各特徴点における歪み量が大きいほど高精度な画像補正を可能とする画像補正方法が設定されていることを特徴とするプロジェクションシステム。

Images