JP3882929B2 - 画像処理システム、プロジェクタおよび画像処理方法 - Google Patents

Description

本発明は、撮像情報に基づいて投写画像を調整する画像処理システム、プロジェクタおよび画像処理方法に関する。

近年、ＣＣＤカメラを有するプロジェクタを用いてスクリーン等の投写対象物に画像を投写し、投写された投写画像をＣＣＤカメラで撮像して撮像領域内の投写対象物に相当する投写対象領域の４隅の座標を検出することにより、投写画像の位置等を調整することが提案されている。

例えば、特許文献１では、映像表示可能領域内に画像を表示し、映像表示可能領域の全域を撮像することにより、画像の投写位置を調整する構成が採用されている。
特開平５−３０５２０号公報

しかし、特許文献１では、フレームメモリに記憶された輝度情報をＣＰＵが取り込んで画像処理を行うことにより、スクリーンの表示可能領域の４隅の位置を検出することが記載されているが、具体的にどのような画像処理を行うかについては記載されていない。

従来の一般的な画像処理では、撮像情報に基づいてスクリーンの４隅の位置を検出する場合、撮像画像全体に対してフィルタリング処理を行う必要があり、画像処理に時間がかかり、演算量も多大であった。

このため、キャリブレーションに時間がかかり、ユーザーにとっての待ち時間が長くなってしまっていた。

また、汎用性を向上させるためには、投写画像がスクリーン全体を包含しない場合であってもスクリーンの領域を検出する必要がある。

さらに、観察者にとって見やすい画像を表示するためには、スクリーンの中央にできるだけ大きく画像を投写する必要がある。

本発明は、上記の課題に鑑みなされたものであり、その目的は、投写画像と投写対象物との位置関係に基づき、投写画像をより短時間で、かつ、正確に補正することが可能な画像処理システム、プロジェクタおよび画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、第１のキャリブレーション画像と第２のキャリブレーション画像との差分画像であって、かつ、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の領域である背景領域とから構成される差分画像に基づき、画像処理を行う画像処理システムおよびプロジェクタであって、
前記第１および第２のキャリブレーション画像を異なる時点において投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成し、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成するとともに、前記第２のキャリブレーション画像を前記高解像度で撮像して第２の撮像情報を生成する撮像手段と、
前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段と、
前記第１、第２および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
前記投写領域情報と、前記投写対象領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを補正する画像歪み補正手段と、
を含み、
少なくとも前記第２のキャリブレーション画像の外周部は明るさ指標値が０の値であって、
前記投写領域検出手段は、
前記第１および第２の撮像情報に基づき、前記差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
を含み、
前記投写対象領域検出手段は、
前記中央ブロック領域の外部にエッジ検出用の検索範囲を設定する検索範囲決定手段と、
前記第１の撮像情報と、前記検索範囲とに基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とする。

また、本発明に係るプログラムは、第１のキャリブレーション画像と第２のキャリブレーション画像との差分画像であって、かつ、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の領域である背景領域とから構成される差分画像に基づき、画像処理を行う画像処理システムとしてコンピュータを機能させるためのプログラムであり、かつ、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
前記第１および第２のキャリブレーション画像を異なる時点において投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成し、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成するとともに、前記第２のキャリブレーション画像を前記高解像度で撮像して第２の撮像情報を生成する撮像手段と、
前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段と、
前記第１、第２および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
前記投写領域情報と、前記投写対象領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを補正する画像歪み補正手段として機能させ、
少なくとも前記第２のキャリブレーション画像の外周部は明るさ指標値が０の値であって、
前記投写領域検出手段は、
前記第１および第２の撮像情報に基づき、差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
を含み、
前記投写対象領域検出手段は、
前記中央ブロック領域の外部にエッジ検出用の検索範囲を設定する検索範囲決定手段と、
前記第１の撮像情報と、前記検索範囲とに基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。

また、本発明に係る画像処理方法は、第１のキャリブレーション画像と第２のキャリブレーション画像との差分画像であって、かつ、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の領域である背景領域とから構成される差分画像に基づき、画像処理を行う画像処理方法であって、
少なくとも前記第２のキャリブレーション画像の外周部は明るさ指標値が０の値であって、
前記第１のキャリブレーション画像を投写対象物へ向け投写し、
投写された前記第１のキャリブレーション画像を所定解像度以下の低解像度で撮像して第１の撮像情報を生成し、
投写された前記第１のキャリブレーション画像を前記低解像度以上の高解像度で撮像して第３の撮像情報を生成し、
前記第２のキャリブレーション画像を前記投写対象物へ向け投写し、
投写された前記第２のキャリブレーション画像を前記高解像度で撮像して第２の撮像情報を生成し、
前記第１および第２の撮像情報に基づき、差分画像を生成し、
前記差分画像に基づき、撮像領域における前記中央ブロック領域の複数の中央基準位置を検出し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成し、
前記中央ブロック領域の外部にエッジ検出用の検索範囲を設定し、
前記第１の撮像情報と、前記検索範囲とに基づき、エッジ検出を行って第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づき、投写対象領域を仮検出して仮検出情報を生成し、
前記第３の撮像情報と、前記仮検出情報とに基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、第３のエッジ検出情報を生成し、
前記第３のエッジ検出情報に基づき、前記撮像領域における投写対象領域の位置に関する投写対象領域情報を生成し、
前記投写領域情報と、前記投写対象領域情報とに基づき、画像の歪みを補正することを特徴とする。

本発明によれば、画像処理システム等は、低解像度の撮像情報に基づいて投写対象領域を仮検出してからその境界線付近を、高解像度の撮像情報に基づいて投写対象領域を検出することにより、投写対象領域の位置情報をより短時間で、かつ、正確に生成することができる。

また、本発明によれば、画像処理システム等は、外周部の明るさ指標値が０のキャリブレーション画像を用いることにより、例えば、投写画像の一部とスクリーンの境界が重なっている場合や、投写画像の一部の辺がスクリーンの境界からはみ出し、他の一部の辺がスクリーン内に存在する場合や、投写画像がスクリーンに含まれている場合であっても、撮像画像内の投写領域の境界または外側までエッジ検出を行うことができるため、撮像画像内の投写対象領域の境界を適切に検出することができ、投写対象領域の位置情報を正確に生成することができる。

さらに、本発明によれば、画像処理システム等は、画像全体ではなく、複数の中央基準位置と、複数の周辺基準位置に基づき、投写領域の位置を把握することができるため、投写領域の位置情報をより短時間で生成することができる。

したがって、本発明によれば、画像処理システム等は、投写画像と投写対象物との位置関係に基づき、投写画像をより短時間で、かつ、正確に補正することができる。

なお、前記第１のキャリブレーション画像としては、例えば、第１のキャリブレーション画像は、明るさ指標値が０以外の値である単一色の画像等を採用してもよく、前記第２のキャリブレーション画像としては、前記第２のキャリブレーション画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する領域であって、かつ、前記第２のキャリブレーション画像の外周部を含む周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の領域である背景領域とから構成され、前記中央ブロック領域および前記周辺ブロック領域は、前記明るさ指標値が０の値であり、前記背景領域は、前記明るさ指標値が、前記単一色の画像と同一である画像等を採用してもよい。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記エッジ検出手段は、前記第２の撮像情報に基づき、エッジ検出を行って第２のエッジ検出情報を生成し、
前記投写対象領域情報生成手段は、前記第１のエッジ検出情報に基づく第１のエッジ検出点が、前記投写領域情報に基づく前記投写領域の境界付近の所定画素範囲内にない場合、前記第１のエッジ検出点が、前記第２のエッジ検出情報に基づく第２のエッジ検出点と一致するかどうかを判定し、当該判定結果が真である場合は前記第２のエッジ検出点に基づき前記仮検出情報を生成し、当該判定結果が偽である場合は前記エッジ検出手段に前記第１および第２のエッジ検出点とは異なる画素を対象としてエッジを再検出させてもよい。

また、前記画像処理方法において、前記第１のエッジ検出情報に基づく第１のエッジ検出点が、前記投写領域情報に基づく前記投写領域の境界付近の所定画素範囲内にあるかどうかを判定し、
当該判定結果が偽である場合、前記第２の撮像情報に基づき、エッジ検出を行って第２のエッジ検出情報を生成し、
前記第１のエッジ検出点が、前記第２のエッジ検出情報に基づく第２のエッジ検出点と一致するかどうかを判定し、
当該判定結果が真である場合は前記第２のエッジ検出点に基づき前記仮検出情報を生成し、当該判定結果が偽である場合は前記エッジ検出手段に前記第１および第２のエッジ検出点とは異なる画素を対象としてエッジを再検出してもよい。

これによれば、画像処理システム等は、投写対象物の境界と投写画像の境界の全部または一部が重なる場合であっても、適切に投写対象領域の境界を判別することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記画像歪み補正手段は、
前記投写領域情報と、前記投写対象領域情報とに基づき、投写可能領域に関する投写可能領域情報を生成する投写可能領域情報生成手段と、
前記投写領域情報と、前記投写対象領域情報と、前記投写可能領域情報とに基づき、前記画像投写手段によって投写される画像の位置、大きさ、歪みのうち少なくとも１つを補正するための補正量を演算する補正量演算手段と、
前記補正量に基づき、画像信号を補正する画像信号補正手段と、
を含み、
前記画像投写手段は、補正された画像信号に基づき、画像を投写してもよい。

また、前記画像処理方法は、前記画像の歪みを補正する際に、
前記投写領域情報と、前記投写対象領域情報とに基づき、投写可能領域に関する投写可能領域情報を生成し、
前記投写領域情報と、前記投写対象領域情報と、前記投写可能領域情報とに基づき、前記画像の位置、大きさ、歪みのうち少なくとも１つを補正するための補正量を演算し、
前記補正量に基づき、画像信号を補正し、
補正した画像信号に基づき、画像を投写してもよい。

これによれば、画像処理システム等は、投写可能領域を把握して画像の歪み等を補正することができるため、より適切に画像を補正することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記画像投写手段は、投写用レンズの画角を調整する画角調整手段を含み、
前記画角調整手段は、前記補正量演算手段によって出力される前記画像の大きさを補正するための補正量に基づき、前記画角を調整してもよい。

また、前記画像処理方法は、前記画像の大きさを補正するための補正量に基づき、投写用レンズの画角を調整してもよい。

これによれば、画像処理システム等は、いわゆるズーム制御を行うことにより、最適な大きさで画像を投写することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記エッジ検出手段は、前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
前記投写対象領域情報生成手段は、前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成してもよい。

また、前記画像処理方法は、前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成してもよい。

これによれば、画像処理システム等は、エッジ検出対象となる領域をより狭めた状態でエッジ検出を行うことにより、投写対象領域の位置情報をより短時間で生成することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写対象領域検出手段は、複数のエッジ検出点を評価する検出点評価手段を含み、
前記検出点評価手段は、前記複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定するように、前記投写対象領域情報生成手段を制御してもよい。

また、前記画像処理方法は、複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、
前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定してもよい。

これによれば、画像処理システム等は、線形近似直線等から乖離した検出点を除外して処理を実行することにより、ノイズ等の影響を低減し、投写対象領域の位置情報をより正確に生成することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成してもよい。

また、前記画像処理方法は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成してもよい。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成してもよい。

また、前記画像処理方法において、前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成してもよい。

これによれば、画像処理システム等は、中央ブロック領域の４隅の位置に基づき、投写領域の４隅の位置を把握することができるため、より少ない処理で投写領域の４隅の位置を把握することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写対象領域検出手段は、前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段を含み、
前記周辺基準位置検出手段は、前記境界点に基づき、前記周辺基準位置を検出してもよい。

また、前記画像処理方法は、前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出し、
前記境界点に基づき、前記周辺基準位置を検出してもよい。

また、ここで、前記周辺基準位置検出手段および前記画像処理方法は、前記中央基準位置よりは前記境界点に近い位置にある前記周辺基準位置を検出してもよい。

これによれば、画像処理システム等は、間隔の離れた複数の基準位置に基づいて投写領域の位置情報を生成することができるため、誤差の影響を受けにくく、より高精度に投写領域の位置情報を生成することができる。

以下、本発明を、画像処理システムを有するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

（システム全体の説明）
図１は、本実施形態の一例に係る画像投写状況を示す概略図である。

プロジェクタ２０は、スクリーン１０へ向け画像を投写する。これにより、スクリーン１０には、投写画像１２が表示される。

また、本実施形態のプロジェクタ２０は、撮像手段であるセンサー６０を有する。センサー６０は、投写画像１２が表示されたスクリーン１０を、撮像面を介して撮像し、撮像情報を生成する。プロジェクタ２０は、撮像情報に基づき、スクリーン１０の位置を把握することによってスクリーン１０の形状を把握し、投写画像１２の歪みや表示位置の調整を行う。

本実施形態におけるプロジェクタ２０は、従来とは異なる画像処理を実行することにより、より短時間で、かつ、正確にセンサー６０の撮像領域内における投写対象領域（スクリーン１０に相当する領域）と、投写領域（投写画像１２に相当する領域）の位置情報を生成する。

さらに、プロジェクタ２０は、投写領域の位置情報と、投写対象領域の位置情報に基づき、投写画像１２の位置、歪み等を調整する。

次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。

図２は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。

プロジェクタ２０は、ＰＣ（Personal Computer）等からのアナログＲＧＢ信号（Ｒ１、Ｇ１、Ｂ１）をデジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）に変換する入力信号処理部１１０と、画像の色と明るさを補正するため、当該デジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）をデジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）に変換する色変換部１２０と、当該デジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）をアナログＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）に変換する出力信号処理部１３０と、当該アナログＲＧＢ信号に基づき、画像を投写する画像投写部１９０とを含んで構成されている。

また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成されている。駆動部１９４は、出力信号処理部１３０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。

また、プロジェクタ２０は、第１および第２のキャリブレーション画像を表示するためのキャリブレーション情報を生成するキャリブレーション情報生成部１７２と、キャリブレーション画像の撮像情報を生成するセンサー６０と、センサー６０からの撮像情報を一時的に記憶する撮像情報記憶部１４０とを含んで構成されている。

また、プロジェクタ２０は、撮像情報に基づき、センサー６０の撮像面（撮像領域）における投写領域の位置を検出する投写領域検出部１５０を含んで構成されている。また、投写領域検出部１５０は、第１の撮像画像と第２の撮像画像との差分画像を生成する差分画像生成部１５２と、差分画像に含まれる中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出部１５４と、差分画像に含まれる周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出部１５６と、各基準位置に基づき、投写領域の位置を示す投写領域情報を生成する投写領域情報生成部１５８とを含んで構成されている。

また、プロジェクタ２０は、センサー６０の撮像領域におけるスクリーン１０に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出部１８０を含む。また、投写対象領域検出部１８０は、エッジ検出用の検索範囲を設定する検索範囲決定部１８２と、エッジ検出部１８４と、エッジ検出点を評価する検出点評価部１８８と、投写対象領域を仮検出して仮検出情報を生成するとともに、投写対象領域情報を生成する投写対象領域情報生成部１８６とを含んで構成されている。

さらに、プロジェクタ２０は、投写画像１２の歪み等を補正する画像歪み補正手段を有する。より具体的には、プロジェクタ２０は、画像歪み補正手段として、投写領域情報と、投写対象領域情報とに基づき、投写可能領域情報を生成する投写可能領域情報生成部１６０と、投写領域情報と、投写対象領域情報と、投写可能領域情報に基づき、画像歪み補正量を演算する画像歪み補正量演算部１６２と、当該画像歪み補正量に基づき、画像信号を補正する画像歪み補正部１１２とを有する。

また、上述したプロジェクタ２０の各部の機能を実装するためのハードウェアとしては、例えば、以下のものを適用できる。

図３は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。

例えば、入力信号処理部１１０としては、例えば、Ａ／Ｄコンバーター９３０、画像処理回路９７０等、撮像情報記憶部１４０としては、例えば、ＲＡＭ９５０等、投写領域検出部１５０、投写対象領域検出部１８０としては、例えば、画像処理回路９７０等、画像歪み補正量演算部１６２としては、例えばＣＰＵ９１０等、キャリブレーション情報生成部１７２としては、例えば、画像処理回路９７０、ＲＡＭ９５０等、出力信号処理部１３０としては、例えば、Ｄ／Ａコンバーター９４０等、空間光変調器１９２としては、例えば、液晶パネル９２０等、駆動部１９４としては、例えば、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実装できる。

なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。

また、これらの各部は回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。

さらに、投写可能領域情報生成部１６０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って投写可能領域情報生成部１６０等の機能をコンピュータに実装してもよい。

このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。

また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。

以下、これらの各部を用いた投写領域の位置検出処理、投写対象領域の位置検出処理、投写画像１２の調整処理について順に説明する。

（投写領域の位置検出処理の流れの説明）
まず、投写領域の位置検出処理の流れについて説明する。

図４は、本実施形態の一例に係る投写領域の位置検出処理の流れを示すフローチャートである。また、図５は、本実施形態の一例に係るキャリブレーション画像の模式図であり、図５（Ａ）は、第１のキャリブレーション画像１３の模式図であり、図５（Ｂ）は、第２のキャリブレーション画像１４の模式図である。

まず、プロジェクタ２０は、第１のキャリブレーション画像１３として、図５（Ａ）に示す全白（画像全体が白色）のキャリブレーション画像を投写する（ステップＳ１）。より具体的には、キャリブレーション情報生成部１７２は、第１のキャリブレーション画像１３用のキャリブレーション情報（例えば、ＲＧＢ信号等）を生成し、画像投写部１９０は、当該キャリブレーション情報に基づき、全白のキャリブレーション画像を投写する。

センサー６０は、スクリーン１０上の第１のキャリブレーション画像１３を自動露出設定で撮像して第１の撮像情報を生成する（ステップＳ２）。撮像情報記憶部１４０は、第１の撮像情報を記憶する。

そして、プロジェクタ２０は、第２のキャリブレーション画像１４として、図５（Ｂ）に示す第２のキャリブレーション画像１４を投写する（ステップＳ３）。より具体的には、キャリブレーション情報生成部１７２は、第２のキャリブレーション画像１４用のキャリブレーション情報を生成し、画像投写部１９０は、当該キャリブレーション情報に基づき、第２のキャリブレーション画像１４を投写する。

本実施例では、第２のキャリブレーション画像１４は、図５（Ｂ）に示すように、中央の斜線で示される中央ブロック領域と、中央ブロック領域の各辺に接する４つの周辺ブロックと、中央ブロック領域および周辺ブロック領域以外の斜線で示される背景領域から構成されている。

なお、中央ブロック領域および背景領域は黒色であり、周辺ブロック領域は白色となっている。また、第２のキャリブレーション画像１４の外周部は背景領域の一部であり、黒色となっている。また、白色は、明るさ指標値（例えば、輝度値、明度値、照度値、画像信号値等）が０でない値（例えば、２５５等）であり、黒色は、明るさ指標値が０の値である。

このように、第２のキャリブレーション画像１４の外周部に黒を採用することにより、プロジェクタ２０は、撮像画像におけるスクリーン１０の境界または外側まで検索対象とすることができるため、投写画像１２の一部の辺がスクリーン１０の境界からはみ出し、他の一部の辺がスクリーン１０内に存在する場合や、投写画像１２がスクリーン１０に包含される場合、特に投写画像１２の境界とスクリーン１０の縁が重なるような場合であっても、スクリーン１０の境界線を検出することができる。

センサー６０は、スクリーン１０上の第２のキャリブレーション画像１４を、第１のキャリブレーション画像１３撮像時の露出で撮像して第２の撮像情報を生成する（ステップＳ４）。撮像情報記憶部１４０は、第２の撮像情報を記憶する。

差分画像生成部１５２は、第１および第２の撮像情報に基づき、第１のキャリブレーション画像１３と第２のキャリブレーション画像１４との差分画像を生成する（ステップＳ５）。なお、差分画像は、例えば、画素ごとの輝度値等を差分演算した画像である。また、差分画像は、例えば、画素ごとの差分値が所定閾値以上の画素はその差分値を、そうでない画素は０を各画素位置の値として有する画像である。なお、差分画像生成部１５２は、必ずしも画像全体を差分演算する必要はなく、以下の処理に必要な範囲内（画像の一部分）のみ差分演算を行ってもよい。

そして、投写領域検出部１５０は、差分画像の生成後、差分画像に含まれる中央ブロック領域の複数（本実施例では４つ）の中央基準位置と差分画像に含まれる周辺ブロック領域の複数（本実施例では８つ）の周辺基準位置を検出する。

図６は、本実施形態の一例に係る中央基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図７は、本実施形態の一例に係る中央基準位置を検出する際の第２段階の検索方法を示す模式図である。

中央基準位置検出部１５４は、撮像面に相当する撮像領域１５における投写領域１９（投写画像１２に相当する領域）の位置を検出するために、まず、パターン画像の４つの中央基準位置を検出する（ステップＳ６）。なお、説明をわかりやすくするため、各図には投写対象領域１８を描いているが、実際の差分画像には投写対象領域１８が存在しない場合もある。

より具体的には、中央基準位置検出部１５４は、差分画像に対し、図６に示すように、中央ブロック領域１６が位置すると予想される縦位置ｘ＝ｘｃ上をｙ＝ｙｐからｙ＝ｙｍまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ１、Ｐ２を判別する。例えば、Ｐ１(xc,y1)、Ｐ２(xc,y2)であるものと仮定する。

なお、ｘｃ、ｙｐ、ｙｍ等の検索基準位置の値は、例えば、レンズ１９８とセンサー６０のそれぞれの画角や位置によって決定されてもよいし、実験によって決定されてもよいし、あるいは、撮像結果に基づいて決定されてもよい。後述するその他の検索基準位置についても同様である。

そして、中央基準位置検出部１５４は、図７に示すように、Ｐ１、Ｐ２を基準とした横位置ｙ＝ｙｃ上をｘ＝ｘｍからｘ＝ｘｐまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ４、Ｐ３を判別する。なお、ここで、例えば、yc=(y1+y2)/2である。

このようにして中央基準位置検出部１５４は、中央ブロック領域１６の４つの中央基準位置Ｐ１(xc,y1)、Ｐ２(xc,y2)、Ｐ３(x1,yc)、Ｐ４(x2,yc)を示す中央基準位置情報を周辺基準位置検出部１５６に出力する。

周辺基準位置検出部１５６は、中央基準位置情報に基づき、パターン画像の８つの周辺基準位置を検出する（ステップＳ７）。

図８は、本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図９は、本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。

より具体的には、周辺基準位置検出部１５６は、ｙ＝ｙｈ上をｘ座標ｘｈからｘ軸の正方向に向かって差分画像の各画素の差分値が変化する点を検索する。これにより、差分値が変化する点Ｐ５が判別される。なお、ｙｈは、Ｐ１のｙ座標y1からｍ％上方の点である。また、ｘｈは、Ｐ３のｘ座標x1から数％中央側の点である。

同様に、周辺基準位置検出部１５６は、Ｐ２のｙ座標y2からｍ％下方のｙ＝ｙｎ上をｘ座標ｘｈからｘ軸の正方向に向かって差分画像の各画素の差分値が変化する点を検索する。これにより、差分値が変化する点Ｐ６が判別される。

同様の手法で、図９に示すように、点Ｐ７〜Ｐ１２が判別される。そして、周辺基準位置検出部１５６は、これらの８つの点の座標を示す周辺基準位置情報と、中央基準位置情報を投写領域情報生成部１５８に出力する。

投写領域情報生成部１５８は、周辺基準位置情報と、中央基準位置情報に基づき、近似直線（近似曲線でもよい。）を用いて投写領域１９の４隅の位置を検出する（ステップＳ８）。

図１０は、本実施形態の一例に係る近似直線を設定する際の第１段階を示す模式図である。図１１は、本実施形態の一例に係る近似直線を設定する際の第２段階を示す模式図である。

投写領域情報生成部１５８は、点Ｐ５、点Ｐ３、点Ｐ６の座標に基づき、図１０の破線で示される近似直線を設定する。同様の手法により、投写領域情報生成部１５８は、図１１に示すように、破線で示す４つの近似直線を設定し、各近似直線の４つの交点Ａ(xA,yA)〜Ｄ(xD,yD)を中央ブロック領域１６の４隅の点として判別する。

中央ブロック領域１６は、元の投写画像１２を１／９に縮小した画像に相当する領域であるため、プロジェクタ２０の投写光の光軸方向と、センサー６０の光軸方向がほぼ同一であると仮定した場合、投写画像１２が相当する投写領域１９の４隅の点ＥＦＧＨは以下のようになる。すなわち、Ｅ(xE,yE)＝(2*xA-xC,2*yA-yc)、Ｆ(xF,yF)＝(2*xB-xD,2*yB-yD)、Ｇ(xG,yG)＝(2*xC-xA,2*yC-yA)、Ｈ(xH,yH)＝(2*xD-xB,2*yD-yB)である。

以上のように、本実施形態によれば、プロジェクタ２０は、投写画像１２がスクリーン１０に含まれる場合はもちろん、投写画像１２の境界の一部がスクリーン１０の境界と重なる場合や投写画像１２の一部がスクリーン１０の外部に表示されている場合であっても、撮像領域１５における投写領域１９の４隅の位置を検出することができる。もちろん、プロジェクタ２０は、投写領域１９の位置情報をスクリーン１０平面における位置に変換して投写画像１２の４隅の位置情報を生成することも可能である。

（投写対象領域の位置検出処理の流れの説明）
次に、投写対象領域１８の位置検出処理の流れについて説明する。

図１２は、本実施形態の一例に係る投写対象領域１８の位置検出処理の流れを示すフローチャートである。

上述したステップＳ２の処理において、センサー６０は、第１のキャリブレーション画像１３を所定解像度（例えば、ＳＶＧＡ等）よりも低い解像度である低解像度（例えば、ＶＧＡ等）で撮像して第１の撮像情報を生成する（ステップＳ２）。撮像情報記憶部１４０は、第１の撮像情報を記憶する。

そして、第１のキャリブレーション画像１３がスクリーン１０に投写された状態で、センサー６０は、第１のキャリブレーション画像１３を上記低解像度よりも高い解像度である高解像度（例えば、ＸＧＡ、ＳＸＧＡ、ＵＸＧＡ等）で撮像して第３の撮像情報を生成する（ステップＳ１１）。撮像情報記憶部１４０は、第３の撮像情報を記憶する。

投写対象領域検出部１８０は、第１、第２および第３の撮像情報に基づき、投写対象領域１８の位置情報を示す投写対象領域情報を生成する。

図１３は、本実施形態の一例に係る投写対象領域１８を検出する際の第１段階の検索方法を示す模式図である。また、図１４は、本実施形態の一例に係る投写対象領域１８を検出する際の第２段階の検索方法を示す模式図である。また、図１５は、本実施形態の一例に係る投写対象領域１８を検出する際の第３段階の検索方法を示す模式図である。また、図１６は、本実施形態の一例に係るエッジ検出点評価処理を示す模式図である。

まず、検索範囲決定部１８２は、エッジ検出対象を決定するため、第１の撮像情報と、上述した中央ブロック領域１６の４隅ＡＢＣＤの座標情報に基づき、図１３に破線で示す撮像領域における４本の検索補助線を設定する（ステップＳ１２）。より具体的には、検索範囲決定部１８２は、低解像度で撮像された白色の撮像画像を対象として、中央基準位置検出部１５４によって検出された中央ブロック領域１６の４隅ＡＢＣＤの座標よりもｐ％外側に検索補助線を設定する。

例えば、第１の検索補助線y=round[{max(yA,yB)+(yA-yD)*p/100}*a]、第２の検索補助線x=round[{max(xB,xC)+(xB-xA)*p/100}*a]、第３の検索補助線y=round[{min(yC,yD)-(yA-yD)*p/100}*a]、第４の検索補助線x=round[{min(xA,xD)-(xB-xA)*p/100}*a]である。なお、ここで、max、min、round、aは、それぞれ、引数のうち最大値を返す関数、引数のうち最小値を返す関数、引数の小数点第１位の値を四捨五入した整数を返す関数、第２の撮像画像の解像度（高解像度）を第１の撮像画像の解像度（低解像度）に変換するための係数である。なお、解像度を変換する必要がない場合にはaは不要である。

このように４本の検索補助線が設定されることにより、図１３に示すように、４本の検索補助線の４つの交点ＩＪＫＬが決定される。

エッジ検出部１８４は、交点ＩＪＫＬのそれぞれから領域ＩＪＫＬの外側に向かって検索補助線上の検索ライン上を第１の撮像画像を検索対象として１画素ずつエッジ検出を行う（ステップＳ１３）。これにより、図１３に示すように、８つのエッジ検出点ＭＮＯＰＱＲＳＴが検出される。

より具体的には、例えば、エッジ検出部１８４は、第１の撮像画像の低解像度での撮像情報に基づき、複数のエッジ検出点を設定する。そして、投写対象領域情報生成部１８６は、投写画像１２の４隅の位置情報に基づき、当該複数のエッジ検出点が投写領域１９の境界近傍の所定画素範囲（例えば、３×３画素等）内にあるかどうかを判定する。そして、所定画素範囲内にない場合、投写対象領域情報生成部１８６は、設定済みの複数のエッジ検出点をそのまま適用する。

また、所定画素範囲内にある場合は、投写対象領域情報生成部１８６は、さらに、エッジ検出部１８４による第２の撮像画像の高解像度での撮像情報に基づくエッジ検出により、低解像度での撮像情報に基づいて検出したエッジ検出点と同じ位置）でエッジが検出されるかどうかを判定する。なお、低解像度での１画素は、高解像度での複数画素に相当するため、位置が同じかどうかは低解像度での１画素に相当する高解像度での領域内にあるかどうかで判定すればよい。

そして、同じ位置でエッジが検出された場合、投写対象領域情報生成部１８６は、高解像度の撮像情報で検出したエッジ検出点を適用する。

また、同じ位置でエッジが検出されなかった場合、投写対象領域情報生成部１８６は、低解像度で検出したエッジ検出点は無効と判断し、エッジ検出部１８４は、低解像度の撮像情報と高解像度の撮像情報を用いたエッジ検出を続行する。

以上の手順により、投写対象領域情報生成部１８６は、適用した複数のエッジ検出点で囲まれる領域を示す仮検出情報を、投写対象領域を仮検出した領域を示す情報として生成することができる。

さらに、エッジ検出部１８４は、線分ＴＯから投写対象領域１８の境界線方向、線分ＮＱから投写対象領域１８の境界線方向、線分ＰＳから投写対象領域１８の境界線方向、線分ＲＭから投写対象領域１８の境界線方向のそれぞれに１画素ずつエッジ検出を行う。

ここでは、線分ＴＯから投写対象領域１８の境界線方向にエッジ検出を行う場合を例に採り説明する。エッジ検出部１８４は、図１４に示すように、線分ＴＯでは、エッジ検出する範囲は、例えば、Ｙ軸の平行かつ正の方向であり、線分ＩＪで７本、線分ＴＩ、ＪＯのそれぞれで２本ずつの検索ラインを設定する。なお、この７本の検索ラインを設定する領域を中側検索領域と呼び、２本ずつの検索ラインを設定する２つの領域を外側検索領域と呼ぶ。

そして、エッジ検出部１８４は、これらの検索ライン上を１画素ずつエッジ検出を行うことにより、最大１１個、点ＭＮも含めると最大１３個のエッジ検出点を直線ＭＮ上に検出することができる。エッジ検出部１８４は、その他の線分ＮＱ、線分ＰＳ、線分ＲＭについても同様にエッジ検出を行う。

なお、エッジ検出部１８４は、エッジ検出点のペアＭＮ、ＯＰ、ＱＲ、ＳＴの各ペアのうち一方の点が撮像領域１５内で検出できなかった場合、外側検索領域については投写対象領域１８の境界線は存在しないものとみなし、該当範囲内で検索ラインの設定やエッジ検出を行わない。また、エッジ検出部１８４は、エッジ検出点のペアＭＮ、ＯＰ、ＱＲ、ＳＴの各ペアのうち双方の点が撮像領域１５内で検出できなかった場合、検出できなかった線分と平行な方向で近接する投写対象領域１８の境界線は存在しないものとみなし、検出できなかった線分を検索するための中側検索領域および外側検索領域内で検索ラインの設定やエッジ検出を行わない。

これらの処理を実行することにより、エッジ検出部１８４は、投写対象領域１８の存在する可能性が低い領域についてのエッジ検出を省略することができ、より高速に処理を実行することができる。

また、上述したように、本実施形態では、第２のキャリブレーション画像におけるスクリーン１０の境界線近傍に位置する外周部が黒となっているため、投写領域１９が投写対象領域１８に含まれる場合や投写領域１９の境界線の一部が投写対象領域１８の境界線の一部と重なる場合であっても、エッジ検出部１８４は、図１３等に示すように、投写領域１９のエッジを検出することなく、投写領域１９外の投写対象領域１８のエッジを検出することができる。

投写対象領域情報生成部１８６は、エッジ検出部１８４によって検出された複数のエッジ検出点に基づき、例えば、図１５の破線に示すような線形近似直線または線形近似曲線を設定することにより、投写対象領域１８を仮決定する（ステップＳ１４）。

そして、検出点評価部１８８は、エッジ検出部１８４によって検出された複数のエッジ検出点のうち、投写対象領域情報生成部１８６によって設定された線形近似直線または線形近似曲線から所定値以上乖離しているかどうかを判定することにより、各エッジ検出点を評価する（ステップＳ１５）。

例えば、図１６に示すように、照明光１９が撮像画像に含まれる場合、エッジ検出時に照明光１９の一部を検出してしまう場合がある。このような場合であっても、図１６に示すエッジ検出点Ｔは、投写対象領域１８の境界線からは所定値以上乖離していることにより、投写対象領域情報生成部１８６によって処理対象から除外される。

このようにして投写対象領域情報生成部１８６は、処理対象から除外しなかったエッジ検出点のみを用いてより高精度に投写対象領域１８を検出する。

より具体的には、エッジ検出部１８４は、高解像度の撮像情報である第３の撮像情報に基づき、処理対象から除外されなかったエッジ検出点の周辺画素に対してエッジ検出を行う（ステップＳ１６）。そして、エッジ検出部１８４は、エッジ検出情報を投写対象領域情報生成部１８６に出力する。

投写対象領域情報生成部１８６は、当該エッジ検出情報に基づき、再び線形近似直線または線形近似曲線を設定することにより、投写対象領域１８を決定する（ステップＳ１７）。そして、投写対象領域情報生成部１８６は、投写対象領域１８の４隅の位置を示す投写対象領域情報を生成する。

（投写画像の調整処理手順の説明）
次に、投写画像１２の調整処理手順について説明する。

図１７は、本実施形態の一例に係る投写画像１２の調整処理手順を示すフローチャートである。

投写可能領域情報生成部１６０は、投写領域情報生成部１５８からの投写領域情報と、投写対象領域情報生成部１８６からの投写対象領域情報に基づき、投写領域１９と投写対象領域１８が重複する領域を投写可能領域として把握し、撮像領域１５における当該投写可能領域の４隅の座標を示す投写可能領域情報を生成する（ステップＳ２１）。

そして、画像歪み補正量演算部１６２は、投写領域情報と、投写対象領域情報と、投写可能領域情報に基づき、補正後の画像が投写可能領域に含まれ、かつ、所望のアスペクト比（縦横比）になり、さらに、スクリーン１０の中央に表示されるように、液晶パネルにおける補正後の投写領域１９の４隅の座標を演算し、画像歪み補正量として画像歪み補正部１１２に出力する（ステップＳ２２）。

そして、画像歪み補正部１１２は、画像歪み補正量に基づき、画像信号（Ｒ１、Ｇ１、Ｂ１）を補正する（ステップＳ２３）。

画像投写部１９０は、補正された画像信号に基づき、画像を投写する（ステップＳ２４）。

以上のように、本実施形態によれば、プロジェクタ２０は、低解像度の撮像情報に基づいて投写対象領域１８を仮検出してからその境界線付近を、高解像度の撮像情報に基づいて投写対象領域１８を検出することにより、投写対象領域１８の位置情報をより短時間で、かつ、正確に生成することができる。これにより、プロジェクタ２０は、画像処理システム全体の演算処理量を低減し、低負荷で高速な画像処理を実行できる。

また、本実施形態によれば、プロジェクタ２０は、第２のキャリブレーション画像におけるスクリーン１０の境界線近傍に位置する外周部が黒となっているため、投写領域１９が投写対象領域１８に含まれる場合や投写領域１９の境界線の一部が投写対象領域１８の境界線の一部と重なる場合であっても、投写領域１９のエッジを検出することなく、投写領域１９外の投写対象領域１８のエッジを検出することができ、投写対象領域１８の位置情報を正確に生成することができる。

また、本実施形態によれば、プロジェクタ２０は、エッジ検出対象となる領域をより狭めた状態でエッジ検出を行うことにより、投写対象領域１８の位置情報をより短時間で生成することができる。

また、プロジェクタ２０は、線形近似直線等から乖離したエッジ検出点を除外して処理を実行することにより、ノイズ等の影響を低減し、投写対象領域１８の位置情報をより正確に生成することができる。また、プロジェクタ２０は、エッジ検出の際には、全白画像のように高周波成分を含まないキャリブレーション画像を用いることにより、投写画像１２に起因するエッジ誤検出を回避し、精度のよいエッジ検出を行うことができる。

以上のように、本実施形態によれば、プロジェクタ２０は、投写画像１２とスクリーン１０との位置関係に基づき、投写画像１２をより短時間で、かつ、正確に補正することができる。

また、本実施形態によれば、プロジェクタ２０は、投写画像１２の歪みを補正する際に、補正後の画像が投写可能領域に含まれ、かつ、所望のアスペクト比（縦横比）になり、さらに、スクリーン１０の中央に表示されるように、投写画像１２の歪みを補正することができる。これにより、プロジェクタ２０は、ユーザーにとって見やすい画像を投写することができる。

さらに、プロジェクタ２０は、投写画像１２の歪みの補正や位置の調整以外にも、投写画像１２内におけるレーザーポインター等を用いた指示位置の検出等を適切に行うことができる。

もちろん、画像の歪みの補正方法は上述した方法に限定されない。例えば、プロジェクタ２０は、撮像画像における輝度値の最も大きな画素を検出し、当該画素の位置に基づいて画像の歪みを補正してもよい。

また、プロジェクタ２０は、図５（Ｂ）に示すパターン画像のように、中央だけではなく、その周辺にも特徴のある画像を用いることにより、中央だけに特徴があるパターン画像を用いる場合と比べ、より高精度に投写領域１９の４隅を判別することができる。

例えば、プロジェクタ２０は、図６に示す点Ｐ１、点Ｐ２を判別する際に、その近傍の輝度値が変化する点も判別することが可能である。しかし、これらの間隔の狭い複数の点を用いて近似直線を設定する場合、間隔が離れた複数の点を用いて近似直線を設定する場合と比べ、近似直線の元になる点の１画素の誤差が近似直線により大きく影響してしまう。

本実施形態では、プロジェクタ２０は、中央ブロック領域１６の基準点と、周辺ブロック領域１７の基準点とを用いることにより、間隔が離れた複数の点を用いて近似直線を設定することができるため、より高精度に投写領域１９の４隅を判別することができる。

また、これにより、プロジェクタ２０は、プロジェクタ２０またはセンサー６０のシェーディングの影響を回避し、精度よく、投写領域１９全体の位置を把握することができる。

また、本実施形態によれば、プロジェクタ２０は、差分画像全体を検索するのではなく、差分画像のうち必要な領域のみを検索することにより、より簡易かつ高速に投写領域１９の位置を検出することができる。

また、キャリブレーション画像を投写する際に、一旦自動露出設定で全白画像を撮像して第１の撮像情報を生成することにより、適用環境に適合した露出で第１の撮像情報を生成することができる。また、プロジェクタ２０は、全白画像の撮像時の露出で第２の撮像情報を生成することにより、差分画像の生成に適した露出で第２の撮像情報を生成することができる。

特に、自動露出設定で全白画像を撮像することにより、センサー６０は、スクリーン１０が外光の影響を受ける場合、投写距離が遠すぎたりスクリーン１０の反射率が低すぎて投写光の反射光が弱すぎる場合、投写距離が近すぎたりスクリーン１０の反射率が高すぎて投写光の反射光が強すぎる場合のいずれにおいても、固定露出で撮像する場合と比べ、センサー６０のダイナミックレンジを有効に活用して撮像することができる。

（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。

例えば、第１の撮像情報と第３の撮像情報を生成する場合、センサー６０が高解像度で第１のキャリブレーション画像１３を撮像し、高解像度の撮像情報を画像処理によって低解像度の撮像情報に変換することにより、１回の撮像で第１の撮像情報と第３の撮像情報を生成してもよい。

また、投写画像１２の位置や大きさの調整に関しては、プロジェクタ２０の画角調整機能（ズーム機能）を用いてもよい。これにより、暗室状況下でも投写対象領域をより確実に検出できるようになる。

図１８は、本実施形態の他の一例に係るプロジェクタ２０の機能ブロック図である。

図１８に示す構成では、画像投写部１９０にレンズ１９８の画角を調整する画角調整部１９９を設けている。

そして、画角調整部１９９を、画像歪み補正量演算部１６２によって出力される画像の大きさを補正するための補正量に基づき、レンズ１９８の画角を調整するように構成する。

より具体的には、この補正量としては、例えば、投写画像１２の拡大率または縮小率を示す数値等を採用してもよい。

このように、投写画像１２の拡大、縮小を行えるようにプロジェクタ２０を構成することにより、プロジェクタ２０は、投写画像１２をスクリーン１０の中央で、かつ、スクリーン１０に入るできるだけ大きな大きさで投写することができる。

これにより、画像の観察者は、より見やすい画像を見ることができる。さらに、プロジェクタ２０の設置の自由度が増し、より汎用的なプロジェクタ２０をユーザーに提供することができる。

また、このようなズーム制御を行う場合、投写可能領域情報生成部１６０を、キャリブレーション画像の投写時に所定の画角になるように画角調整部１９９を制御したり、投写可能領域が最大になる画角調整時の投写可能領域情報を生成したりするように構成してもよい。

また、このようなズーム制御を行う場合、画像歪み補正量演算部１６２は、補正後の画像表示範囲内の有効画素数ができるだけ多くなるように、例えば、拡大率が必要最低限の値となるように画角調整部１９９用の補正量を演算することが好ましい。

また、例えば、検索の手順は任意であり、プロジェクタ２０は、差分画像に対して横方向に検索して中央基準位置や周辺基準位置を検出した後に当該中央基準位置や当該周辺基準位置に基づいて縦方向に検索してもよい。

また、プロジェクタ２０は、投写領域情報に基づく画像の歪み補正以外にも、例えば、投写領域情報に基づき、投写領域１９内の色むら補正、投写領域１９内の指示位置検出等の投写領域１９の位置情報を使用する種々の処理を行ってもよい。

さらに、プロジェクタ２０は、投写対象領域１８を検出してから投写領域１９を検出してもよい。例えば、第１の撮像情報と、中央基準位置に基づき、投写対象領域１８の複数の境界点を検出する投写対象領域境界点検出部を設けてもよい。さらに、周辺基準位置検出部１５６を、当該境界点に基づき、中央基準位置よりは当該境界点に近い位置にある周辺基準位置を検出するように構成してもよい。

なお、中央基準位置の個数や周辺基準位置の個数は任意であり、上述した実施例に限定されない。

また、第１のキャリブレーション画像１３と第２のキャリブレーション画像１４のパターンは、図５（Ａ）および図５（Ｂ）に示す例に限定されず、少なくとも差分画像になった状態で中央ブロック領域１６が形成されればよく、特に、差分画像になった状態で中央ブロック領域１６と周辺ブロック領域１７が形成されることが好ましい。例えば、中央ブロック領域１６を含む第１のキャリブレーション画像１３と、周辺ブロック領域１７を含む第２のキャリブレーション画像１４を採用してもよい。

また、キャリブレーション画像、中央ブロック領域１６の形状は矩形に限定されず、例えば、円形等の矩形以外の形状を採用してもよい。もちろん、キャリブレーション画像全体の形状と、中央ブロック領域１６の形状は、相似形に限定されず、両者の形状の対応がわかる形状であればよい。さらに、周辺ブロック領域１７の形状も任意である。

また、スクリーン１０以外の黒板、白板等の投写対象物に画像を投写する場合であっても本発明は有効である。

また、例えば、上述した実施例では、画像処理システムをプロジェクタ２０に実装した例について説明したが、プロジェクタ２０以外にもＣＲＴ（Cathode Ray Tube）等のプロジェクタ２０以外の画像表示装置に実装してもよい。また、プロジェクタ２０としては、液晶プロジェクタ以外にも、例えば、ＤＭＤ（Digital Micromirror Device）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。

また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。

さらに、上述した実施例では、センサー６０をプロジェクタ２０に内蔵した構成であったが、センサー６０を、プロジェクタ２０とは別の独立した装置として構成してもよい。

本実施形態の一例に係る画像投写状況を示す概略図である。 本実施形態の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。 本実施形態の一例に係る投写領域の位置検出処理の流れを示すフローチャートである。 本実施形態の一例に係るキャリブレーション画像の模式図であり、図５（Ａ）は、第１のキャリブレーション画像の模式図であり、図５（Ｂ）は、第２のキャリブレーション画像の模式図である。 本実施形態の一例に係る中央基準位置を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る中央基準位置を検出する際の第２段階の検索方法を示す模式図である。 本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。 本実施形態の一例に係る近似直線を設定する際の第１段階を示す模式図である。 本実施形態の一例に係る近似直線を設定する際の第２段階を示す模式図である。 本実施形態の一例に係る投写対象領域の位置検出処理の流れを示すフローチャートである。 本実施形態の一例に係る投写対象領域を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る投写対象領域を検出する際の第２段階の検索方法を示す模式図である。 本実施形態の一例に係る投写対象領域を検出する際の第３段階の検索方法を示す模式図である。 本実施形態の一例に係るエッジ検出点評価処理を示す模式図である。 本実施形態の一例に係る投写画像の調整処理手順を示すフローチャートである。 本実施形態の他の一例に係るプロジェクタの機能ブロック図である。

符号の説明

２０ プロジェクタ、６０ センサー（撮像手段）、１１２ 画像歪み補正部（画像歪み補正手段）、１４０ 撮像情報記憶部、１５０ 投写領域検出部、１５２ 差分画像生成部、１５４ 中央基準位置検出部、１５６ 周辺基準位置検出部、１５８ 投写領域情報生成部、１６０ 投写可能領域情報生成部（画像歪み補正手段）、１６２ 画像歪み補正量演算部（画像歪み補正手段）、１８０ 投写対象領域検出部、１８２ 検索範囲決定部、１８４ エッジ検出部、１８６ 投写対象領域情報生成部、１８８ 検出点評価部、１９９ 画角調整部、９００ 情報記憶媒体

Claims (19)

1. 第１のキャリブレーション画像と第２のキャリブレーション画像との差分画像であって、かつ、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の領域である背景領域とから構成される差分画像に基づき、画像処理を行う画像処理システムであって、
   前記第１および第２のキャリブレーション画像を異なる時点において投写対象物へ向け投写する画像投写手段と、
   投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成し、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成するとともに、前記第２のキャリブレーション画像を前記高解像度で撮像して第２の撮像情報を生成する撮像手段と、
   前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段と、
   前記第１、第２および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
   前記投写領域情報と、前記投写対象領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを補正する画像歪み補正手段と、
   を含み、
   少なくとも前記第２のキャリブレーション画像の外周部は明るさ指標値が０の値であって、
   前記投写領域検出手段は、
   前記第１および第２の撮像情報に基づき、前記差分画像を生成する差分画像生成手段と、
   前記差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
   前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
   前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
   を含み、
   前記投写対象領域検出手段は、
   前記中央ブロック領域の外部にエッジ検出用の検索範囲を設定する検索範囲決定手段と、
   前記第１の撮像情報と、前記検索範囲とに基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
   前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
   を含み、
   前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とする画像処理システム。
2. 請求項１において、
   前記エッジ検出手段は、前記第２の撮像情報に基づき、エッジ検出を行って第２のエッジ検出情報を生成し、
   前記投写対象領域情報生成手段は、前記第１のエッジ検出情報に基づく第１のエッジ検出点が、前記投写領域情報に基づく前記投写領域の境界付近の所定画素範囲内にない場合、前記第１のエッジ検出点が、前記第２のエッジ検出情報に基づく第２のエッジ検出点と一致するかどうかを判定し、当該判定結果が真である場合は前記第２のエッジ検出点に基づき前記仮検出情報を生成し、当該判定結果が偽である場合は前記エッジ検出手段に前記第１および第２のエッジ検出点とは異なる画素を対象としてエッジを再検出させることを特徴とする画像処理システム。
3. 請求項１、２のいずれかにおいて、
   前記画像歪み補正手段は、
   前記投写領域情報と、前記投写対象領域情報とに基づき、投写可能領域に関する投写可能領域情報を生成する投写可能領域情報生成手段と、
   前記投写領域情報と、前記投写対象領域情報と、前記投写可能領域情報とに基づき、前記画像投写手段によって投写される画像の位置、大きさ、歪みのうち少なくとも１つを補正するための補正量を演算する補正量演算手段と、
   前記補正量に基づき、画像信号を補正する画像信号補正手段と、
   を含み、
   前記画像投写手段は、補正された画像信号に基づき、画像を投写することを特徴とする画像処理システム。
4. 請求項３において、
   前記画像投写手段は、投写用レンズの画角を調整する画角調整手段を含み、
   前記画角調整手段は、前記補正量演算手段によって出力される前記画像の大きさを補正するための補正量に基づき、前記画角を調整することを特徴とする画像処理システム。
5. 請求項１〜４のいずれかにおいて、
   前記エッジ検出手段は、前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
   前記投写対象領域情報生成手段は、前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成することを特徴とする画像処理システム。
6. 請求項５において、
   前記投写対象領域検出手段は、複数のエッジ検出点を評価する検出点評価手段を含み、
   前記検出点評価手段は、前記複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定するように、前記投写対象領域情報生成手段を制御することを特徴とする画像処理システム。
7. 請求項１〜６のいずれかにおいて、
   前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成することを特徴とする画像処理システム。
8. 請求項７において、
   前記投写領域および前記中央ブロック領域は、矩形の領域であり、
   前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理システム。
9. 請求項１〜８のいずれかにおいて、
   前記投写対象領域検出手段は、前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段を含み、
   前記周辺基準位置検出手段は、前記境界点に基づき、前記周辺基準位置を検出することを特徴とする画像処理システム。
10. 第１のキャリブレーション画像と第２のキャリブレーション画像との差分画像であって、かつ、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の領域である背景領域とから構成される差分画像に基づき、画像処理を行うプロジェクタであって、
    前記第１および第２のキャリブレーション画像を異なる時点において投写対象物へ向け投写する画像投写手段と、
    投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成し、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成するとともに、前記第２のキャリブレーション画像を前記高解像度で撮像して第２の撮像情報を生成する撮像手段と、
    前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段と、
    前記第１、第２および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
    前記投写領域情報と、前記投写対象領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを補正する画像歪み補正手段と、
    を含み、
    前記投写領域検出手段は、
    前記第１および第２の撮像情報に基づき、差分画像を生成する差分画像生成手段と、
    前記差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
    前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
    前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
    を含み、
    少なくとも前記第２のキャリブレーション画像の外周部は明るさ指標値が０の値であって、
    前記投写対象領域検出手段は、
    前記中央ブロック領域の外部にエッジ検出用の検索範囲を設定する検索範囲決定手段と、
    前記第１の撮像情報と、前記検索範囲とに基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
    前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
    を含み、
    前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とするプロジェクタ。
11. 第１のキャリブレーション画像と第２のキャリブレーション画像との差分画像であって、かつ、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の領域である背景領域とから構成される差分画像に基づき、画像処理を行う画像処理方法であって、
    少なくとも前記第２のキャリブレーション画像の外周部は明るさ指標値が０の値であって、
    前記第１のキャリブレーション画像を投写対象物へ向け投写し、
    投写された前記第１のキャリブレーション画像を所定解像度以下の低解像度で撮像して第１の撮像情報を生成し、
    投写された前記第１のキャリブレーション画像を前記低解像度以上の高解像度で撮像して第３の撮像情報を生成し、
    前記第２のキャリブレーション画像を前記投写対象物へ向け投写し、
    投写された前記第２のキャリブレーション画像を前記高解像度で撮像して第２の撮像情報を生成し、
    前記第１および第２の撮像情報に基づき、差分画像を生成し、
    前記差分画像に基づき、撮像領域における前記中央ブロック領域の複数の中央基準位置を検出し、
    前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
    前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成し、
    前記中央ブロック領域の外部にエッジ検出用の検索範囲を設定し、
    前記第１の撮像情報と、前記検索範囲とに基づき、エッジ検出を行って第１のエッジ検出情報を生成し、
    前記第１のエッジ検出情報に基づき、投写対象領域を仮検出して仮検出情報を生成し、
    前記第３の撮像情報と、前記仮検出情報とに基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、第３のエッジ検出情報を生成し、
    前記第３のエッジ検出情報に基づき、前記撮像領域における投写対象領域の位置に関する投写対象領域情報を生成し、
    前記投写領域情報と、前記投写対象領域情報とに基づき、画像の歪みを補正することを特徴とする画像処理方法。
12. 請求項１１において、
    前記第１のエッジ検出情報に基づく第１のエッジ検出点が、前記投写領域情報に基づく前記投写領域の境界付近の所定画素範囲内にあるかどうかを判定し、
    当該判定結果が偽である場合、前記第２の撮像情報に基づき、エッジ検出を行って第２のエッジ検出情報を生成し、
    前記第１のエッジ検出点が、前記第２のエッジ検出情報に基づく第２のエッジ検出点と一致するかどうかを判定し、
    当該判定結果が真である場合は前記第２のエッジ検出点に基づき前記仮検出情報を生成し、当該判定結果が偽である場合は前記エッジ検出手段に前記第１および第２のエッジ検出点とは異なる画素を対象としてエッジを再検出することを特徴とする画像処理方法。
13. 請求項１１、１２のいずれかにおいて、
    前記画像の歪みを補正する際に、
    前記投写領域情報と、前記投写対象領域情報とに基づき、投写可能領域に関する投写可能領域情報を生成し、
    前記投写領域情報と、前記投写対象領域情報と、前記投写可能領域情報とに基づき、前記画像の位置、大きさ、歪みのうち少なくとも１つを補正するための補正量を演算し、
    前記補正量に基づき、画像信号を補正し、
    補正した画像信号に基づき、画像を投写することを特徴とする画像処理方法。
14. 請求項１１〜１３のいずれかにおいて、
    前記画像の大きさを補正するための補正量に基づき、投写用レンズの画角を調整することを特徴とする画像処理方法。
15. 請求項１１〜１４のいずれかにおいて、
    前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
    前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成することを特徴とする画像処理方法。
16. 請求項１５において、
    複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、
    前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定することを特徴とする画像処理方法。
17. 請求項１１〜１６のいずれかにおいて、
    前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成することを特徴とする画像処理方法。
18. 請求項１７において、
    前記投写領域および前記中央ブロック領域は、矩形の領域であり、
    前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理方法。
19. 請求項１１〜１８のいずれかにおいて、
    前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出し、
    前記境界点に基づき、前記周辺基準位置を検出することを特徴とする画像処理方法。

Images