JP3882928B2 - 画像処理システム、プロジェクタおよび画像処理方法 - Google Patents

画像処理システム、プロジェクタおよび画像処理方法 Download PDF

Info

Publication number
JP3882928B2
JP3882928B2 JP2004095937A JP2004095937A JP3882928B2 JP 3882928 B2 JP3882928 B2 JP 3882928B2 JP 2004095937 A JP2004095937 A JP 2004095937A JP 2004095937 A JP2004095937 A JP 2004095937A JP 3882928 B2 JP3882928 B2 JP 3882928B2
Authority
JP
Japan
Prior art keywords
information
image
edge detection
projection
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004095937A
Other languages
English (en)
Other versions
JP2005286574A (ja
Inventor
秀樹 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004095937A priority Critical patent/JP3882928B2/ja
Priority to US11/083,033 priority patent/US7517089B2/en
Priority to EP05006633A priority patent/EP1583361A3/en
Priority to TW094109425A priority patent/TWI262027B/zh
Priority to KR1020050025678A priority patent/KR100644211B1/ko
Priority to CNB2005100597422A priority patent/CN100380945C/zh
Publication of JP2005286574A publication Critical patent/JP2005286574A/ja
Application granted granted Critical
Publication of JP3882928B2 publication Critical patent/JP3882928B2/ja
Priority to US12/379,994 priority patent/US7661827B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、撮像情報に基づいて投写対象領域を検出する画像処理システム、プロジェクタおよび画像処理方法に関する。
近年、ＣＣＤカメラを有するプロジェクタを用いてスクリーン等の投写対象物に画像を投写し、投写された投写画像をＣＣＤカメラで撮像して撮像領域内の投写対象物に相当する投写対象領域の４隅の座標を検出することにより、投写画像の位置を調整することが提案されている。
例えば、特許文献１では、映像表示可能領域内に画像を表示し、映像表示可能領域の全域を撮像することにより、画像の投写位置を調整する構成が採用されている。
特開平５−３０５２０号公報
しかし、特許文献１の明細書の段落番号００１３では、フレームメモリに記憶された輝度情報をＣＰＵが取り込んで画像処理を行うことにより、スクリーンの表示可能領域の４隅の位置を検出することが記載されているが、具体的にどのような画像処理を行うかについては記載されていない。
従来の一般的な画像処理では、撮像情報に基づいてスクリーンの４隅の位置を検出する場合、撮像画像全体に対してフィルタリング処理を行う必要があり、画像処理に時間がかかり、演算量も多大であった。
このため、キャリブレーションに時間がかかり、ユーザーにとっての待ち時間が長くなってしまっていた。
本発明は、上記の課題に鑑みなされたものであり、その目的は、投写対象領域の位置情報をより短時間で、かつ、正確に生成することが可能な画像処理システム、プロジェクタおよび画像処理方法を提供することにある。
上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成する撮像手段と、
前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
を含み、
前記投写対象領域検出手段は、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とする。
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成する撮像手段と、
前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段として機能させ、
前記投写対象領域検出手段は、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とする。
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。
また、本発明に係る画像処理方法は、第１のキャリブレーション画像を投写対象物へ向け投写し、
投写された第１のキャリブレーション画像を、撮像部を用いて所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成し、
前記第１のキャリブレーション画像を、前記撮像部を用いて前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成し、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づき、前記撮像部の撮像領域における前記投写対象物に相当する投写対象領域を仮検出して仮検出情報を生成し、
当該仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、第３のエッジ検出情報を生成し、
当該第３のエッジ検出情報に基づき、前記投写対象領域を検出して投写対象領域の位置に関する投写対象領域情報を生成することを特徴とする。
本発明によれば、画像処理システム等は、低解像度の撮像情報に基づいて投写対象領域を仮検出してからその境界線付近を、高解像度の撮像情報に基づいて投写対象領域を検出することにより、投写対象領域の位置情報をより短時間で、かつ、正確に生成することができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記エッジ検出手段は、前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
前記投写対象領域情報生成手段は、前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成してもよい。
また、前記画像処理方法は、前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成してもよい。
これによれば、画像処理システム等は、エッジ検出対象となる領域をより狭めた状態でエッジ検出を行うことにより、投写対象領域の位置情報をより短時間で生成することができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写対象領域検出手段は、複数のエッジ検出点を評価する検出点評価手段を含み、
前記検出点評価手段は、前記複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定するように、前記投写対象領域情報生成手段を制御してもよい。
また、前記画像処理方法は、複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、
前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定してもよい。
これによれば、画像処理システム等は、線形近似直線等から乖離した検出点を除外して処理を実行することにより、ノイズ等の影響を低減し、投写対象領域の位置情報をより正確に生成することができる。
また、前記画像処理システムおよび前記プロジェクタは、差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
を含み、
前記投写対象領域検出手段は、前記エッジ検出手段によるエッジ検出範囲を設定する検索範囲決定手段を含み、
前記画像投写手段は、第２のキャリブレーション画像を投写し、
前記撮像手段は、投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記差分画像生成手段は、前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
前記検索範囲決定手段は、前記中央ブロック領域の外部に前記エッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含んでもよい。
また、前記プログラムおよび前記情報記憶媒体は、コンピュータを、差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段として機能させ、
前記投写対象領域検出手段は、前記エッジ検出手段によるエッジ検出範囲を設定する検索範囲決定手段を含み、
前記画像投写手段は、第２のキャリブレーション画像を投写し、
前記撮像手段は、投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記差分画像生成手段は、前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
前記検索範囲決定手段は、前記中央ブロック領域の外部に前記エッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含んでもよい。
また、前記画像処理方法は、第２のキャリブレーション画像を投写し、
投写された前記第２のキャリブレーション画像を、前記撮像部を用いて撮像して第２の撮像情報を生成し、
前記第１および第２の撮像情報に基づき、差分画像を生成し、
当該差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出し、
前記中央ブロック領域の外部にエッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含んでもよい。
これによれば、画像処理システム等は、エッジ検出対象となる領域をより狭めた形で処理を実行することにより、投写対象領域の位置情報をより短時間で生成することができる。
また、前記画像処理システムおよび前記プロジェクタにおいて、前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記画像処理システムおよび前記プロジェクタは、前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域情報生成手段と、
を含んでもよい。
また、前記プログラムおよび前記情報記憶媒体において、前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記プログラムおよび前記情報記憶媒体は、コンピュータを、前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域情報生成手段として機能させてもよい。
また、前記画像処理方法において、前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成してもよい。
これによれば、画像処理システム等は、投写画像に相当する投写領域よりも小さい中央ブロック領域の中央基準位置を検出することにより、投写画像の一部が投写対象物の外部に表示されてしまうような場合であっても、中央基準位置に基づいて投写領域の位置情報を生成することができる。
特に、これによれば、画像処理システム等は、中央基準位置だけではなく、その周辺に位置する周辺ブロック領域の周辺基準位置に基づいて投写領域の位置を把握することができるため、より高精度に投写領域の位置情報を生成することができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成してもよい。
また、前記画像処理方法は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成してもよい。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成してもよい。
また、前記画像処理方法において、前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成してもよい。
これによれば、画像処理システム等は、中央ブロック領域の４隅の位置に基づき、投写領域の４隅の位置を把握することができるため、より少ない処理で投写領域の４隅の位置を把握することができる。
また、前記画像処理システムおよび前記プロジェクタは、前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段を含み、
前記周辺基準位置検出手段は、前記境界点に基づき、前記中央基準位置よりは前記境界点に近い位置にある前記周辺基準位置を検出してもよい。
また、前記プログラムおよび前記情報記憶媒体は、コンピュータを、前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段として機能させ、
前記周辺基準位置検出手段は、前記境界点に基づき、前記周辺基準位置を検出してもよい。
また、前記画像処理方法は、前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出し、
前記境界点に基づき、前記周辺基準位置を検出してもよい。
なお、ここで、前記周辺基準位置検出手段および前記画像処理方法は、前記境界点に基づき、前記中央基準位置よりは前記境界点に近い位置にある前記周辺基準位置を検出してもよい。
これによれば、画像処理システム等は、間隔の離れた複数の基準位置に基づいて投写領域の位置情報を生成することができるため、誤差の影響を受けにくく、より高精度に投写領域の位置情報を生成することができる。
また、前記画像処理システムおよび前記プロジェクタは、前記投写対象領域情報と、前記投写領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正する画像歪み補正手段を含み、
前記画像投写手段は、前記画像歪み補正手段によって補正された画像信号に基づき、画像を投写してもよい。
また、前記プログラムおよび前記情報記憶媒体は、コンピュータを、前記投写対象領域情報と、前記投写領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正する画像歪み補正手段として機能させ、
前記画像投写手段は、前記画像歪み補正手段によって補正された画像信号に基づき、画像を投写してもよい。
また、前記画像処理方法は、前記投写対象領域情報と、前記投写領域情報とに基づき、投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正してもよい。
これによれば、画像処理システム等は、従来より少ない処理で投写対象領域と投写領域のそれぞれの位置情報を生成することができるため、従来より効率的に画像の歪みを補正することができる。
以下、本発明を、画像処理システムを有するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
（システム全体の説明）
図１は、本実施形態の一例に係る画像投写状況を示す概略図である。
プロジェクタ２０は、スクリーン１０へ向け画像を投写する。これにより、スクリーン１０には、投写画像１２が表示される。
また、本実施形態のプロジェクタ２０は、撮像手段であるセンサー６０を有する。センサー６０は、投写画像１２が表示されたスクリーン１０を、撮像面を介して撮像し、撮像情報を生成する。プロジェクタ２０は、撮像情報に基づき、スクリーン１０と投写画像１２との位置関係や投写画像１２の形状を把握し、投写画像１２の歪みや表示位置の調整を行う。
本実施形態におけるプロジェクタ２０は、従来とは異なる画像処理を実行することにより、より短時間で、かつ、正確にセンサー６０の撮像領域内における投写対象領域（スクリーン１０に相当する領域）と、投写領域（投写画像１２に相当する領域）の位置情報を生成する。
次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。
図２は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。
プロジェクタ２０は、ＰＣ（Personal Computer）等からのアナログＲＧＢ信号（Ｒ１、Ｇ１、Ｂ１）をデジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）に変換する入力信号処理部１１０と、画像の色と明るさを補正するため、当該デジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）をデジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）に変換する色変換部１２０と、当該デジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）をアナログＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）に変換する出力信号処理部１３０と、当該アナログＲＧＢ信号に基づき、画像を投写する画像投写部１９０とを含んで構成されている。
また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成されている。駆動部１９４は、出力信号処理部１３０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。
また、プロジェクタ２０は、第１および第２のキャリブレーション画像を表示するためのキャリブレーション情報を生成するキャリブレーション情報生成部１７２と、キャリブレーション画像の撮像情報を生成するセンサー６０と、センサー６０からの撮像情報を一時的に記憶する撮像情報記憶部１４０とを含んで構成されている。
また、プロジェクタ２０は、撮像情報に基づき、センサー６０の撮像面（撮像領域）における投写領域の位置を検出する投写領域検出部１５０を含んで構成されている。また、投写領域検出部１５０は、第１の撮像画像と第２の撮像画像との差分画像を生成する差分画像生成部１５２と、差分画像に含まれる中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出部１５４と、差分画像に含まれる周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出部１５６と、各基準位置に基づき、投写領域の位置を示す投写領域情報を生成する投写領域情報生成部１５８とを含んで構成されている。
また、プロジェクタ２０は、センサー６０の撮像領域におけるスクリーン１０に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出部１８０を含む。また、投写対象領域検出部１８０は、エッジ検出範囲を設定する検索範囲決定部１８２と、エッジ検出部１８４と、エッジ検出点を評価する検出点評価部１８８と、投写対象領域を仮検出して仮検出情報を生成するとともに、投写対象領域情報を生成する投写対象領域情報生成部１８６とを含んで構成されている。
さらに、プロジェクタ２０は、投写画像１２の歪みを補正する画像歪み補正手段を有する。より具体的には、プロジェクタ２０は、画像歪み補正手段として、投写領域情報と、投写対象領域情報とに基づき、画像歪み補正量を演算する画像歪み補正量演算部１６２と、当該画像歪み補正量に基づき、画像信号を補正する画像歪み補正部１１２とを有する。
また、上述したプロジェクタ２０の各部の機能を実装するためのハードウェアとしては、例えば、以下のものを適用できる。
図３は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。
例えば、入力信号処理部１１０としては、例えば、Ａ／Ｄコンバーター９３０、画像処理回路９７０等、撮像情報記憶部１４０としては、例えば、ＲＡＭ９５０等、投写領域検出部１５０、投写対象領域検出部１８０としては、例えば、画像処理回路９７０等、画像歪み補正量演算部１６２としては、例えばＣＰＵ９１０等、キャリブレーション情報生成部１７２としては、例えば、画像処理回路９７０、ＲＡＭ９５０等、出力信号処理部１３０としては、例えば、Ｄ／Ａコンバーター９４０等、空間光変調器１９２としては、例えば、液晶パネル９２０等、駆動部１９４としては、例えば、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実装できる。
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。
また、これらの各部は回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。
さらに、投写対象領域情報生成部１８６等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って投写対象領域情報生成部１８６等の機能をコンピュータに実装してもよい。
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。
以下、これらの各部を用いた投写領域の位置検出処理と、投写対象領域の位置検出処理について順に説明する。
（投写領域の位置検出処理の流れの説明）
まず、投写領域の位置検出処理の流れについて説明する。
図４は、本実施形態の一例に係る投写領域の位置検出処理の流れを示すフローチャートである。また、図５は、本実施形態の一例に係るキャリブレーション画像の模式図であり、図５（Ａ）は、第１のキャリブレーション画像１３の模式図であり、図５（Ｂ）は、第２のキャリブレーション画像１４の模式図である。
まず、プロジェクタ２０は、第１のキャリブレーション画像１３として、図５（Ａ）に示す全白（画像全体が白色）のキャリブレーション画像を投写する（ステップＳ１）。より具体的には、キャリブレーション情報生成部１７２は、第１のキャリブレーション画像１３用のキャリブレーション情報（例えば、ＲＧＢ信号等）を生成し、画像投写部１９０は、当該キャリブレーション情報に基づき、全白のキャリブレーション画像を投写する。
センサー６０は、スクリーン１０上の第１のキャリブレーション画像１３を自動露出設定で撮像して第１の撮像情報を生成する（ステップＳ２）。撮像情報記憶部１４０は、第１の撮像情報を記憶する。
そして、プロジェクタ２０は、第２のキャリブレーション画像１４として、図５（Ｂ）に示す第２のキャリブレーション画像１４を投写する（ステップＳ３）。より具体的には、キャリブレーション情報生成部１７２は、第２のキャリブレーション画像１４用のキャリブレーション情報を生成し、画像投写部１９０は、当該キャリブレーション情報に基づき、第２のキャリブレーション画像１４を投写する。
本実施例では、第２のキャリブレーション画像１４は、画像全体を９つのブロックに均等に区分した場合に、中央ブロック領域と、４隅の４つの周辺ブロック領域が黒色であり、その他のブロック領域が白色であるいわゆるチェッカーパターンのパターン画像である。
センサー６０は、スクリーン１０上の第２のキャリブレーション画像１４を、第１のキャリブレーション画像１３撮像時の露出で撮像して第２の撮像情報を生成する（ステップＳ４）。撮像情報記憶部１４０は、第２の撮像情報を記憶する。
差分画像生成部１５２は、第１および第２の撮像情報に基づき、第１のキャリブレーション画像１３と第２のキャリブレーション画像１４との差分画像を生成する（ステップＳ５）。なお、差分画像は、例えば、画素ごとの輝度値等を差分演算した画像である。また、差分画像は、例えば、画素ごとの差分値が所定閾値以上の画素はその差分値を、そうでない画素は０を各画素位置の値として有する画像である。なお、差分画像生成部１５２は、必ずしも画像全体を差分演算する必要はなく、以下の処理に必要な範囲内（画像の一部分）のみ差分演算を行ってもよい。
そして、投写領域検出部１５０は、差分画像の生成後、差分画像に含まれる中央ブロック領域の複数（本実施例では４つ）の中央基準位置と差分画像に含まれる周辺ブロック領域の複数（本実施例では８つ）の周辺基準位置を検出する。
図６は、本実施形態の一例に係る中央基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図７は、本実施形態の一例に係る中央基準位置を検出する際の第２段階の検索方法を示す模式図である。
中央基準位置検出部１５４は、撮像面に相当する撮像領域１５における投写領域（投写画像１２に相当する領域）の位置を検出するために、まず、パターン画像の４つの中央基準位置を検出する（ステップＳ６）。なお、説明をわかりやすくするため、各図には投写対象領域１８を描いているが、実際の差分画像には投写対象領域１８や投写対象領域１８の外部の周辺ブロック領域１７−１〜１７−４の一部が存在しない場合もある。また、本実施形態では、初期状態では、投写画像１２がスクリーン１０を包含し、投写領域が投写対象領域１８を包含するものと仮定する。
より具体的には、中央基準位置検出部１５４は、差分画像に対し、図６に示すように、中央ブロック領域１６が位置すると予想される縦位置ｘ＝ｘｃ上をｙ＝ｙｐからｙ＝ｙｍまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ１、Ｐ２を判別する。例えば、Ｐ１(xc,y1)、Ｐ２(xc,y2)であるものと仮定する。
なお、ｘｃ、ｙｐ、ｙｍ等の検索基準位置の値は、例えば、レンズ１９８とセンサー６０のそれぞれの画角や位置によって決定されてもよいし、実験によって決定されてもよいし、あるいは、撮像結果に応じて決定されてもよい。後述するその他の検索基準位置についても同様である。
そして、中央基準位置検出部１５４は、図７に示すように、Ｐ１、Ｐ２を基準とした横位置ｙ＝ｙｃ上をｘ＝ｘｍからｘ＝ｘｐまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ４、Ｐ３を判別する。なお、ここで、例えば、yc=(y1+y2)/2である。
このようにして中央基準位置検出部１５４は、中央ブロック領域１６の４つの中央基準位置Ｐ１(xc,y1)、Ｐ２(xc,y2)、Ｐ３(x1,yc)、Ｐ４(x2,yc)を示す中央基準位置情報を周辺基準位置検出部１５６に出力する。
周辺基準位置検出部１５６は、中央基準位置情報に基づき、パターン画像の８つの周辺基準位置を検出する（ステップＳ７）。
図８は、本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図９は、本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。
より具体的には、周辺基準位置検出部１５６は、Ｐ１のｙ座標y1からｍ％上方のｙ＝ｙｈ上をＰ３のｘ座標x1から数％中央側のｘ座標ｘｈからｘ軸の正方向に向かって差分画像の各画素の差分値が変化する点を検索する。これにより、差分値が変化する点Ｐ５が判別される。
同様に、周辺基準位置検出部１５６は、Ｐ２のｙ座標y2からｍ％下方のｙ＝ｙｎ上をｘ座標ｘｈからｘ軸の正方向に向かって差分画像の各画素の差分値が変化する点を検索する。これにより、差分値が変化する点Ｐ６が判別される。
同様の手法で、図９に示すように、点Ｐ７〜Ｐ１２が判別される。そして、周辺基準位置検出部１５６は、これらの８つの点の座標を示す周辺基準位置情報と、中央基準位置情報を投写領域情報生成部１５８に出力する。
投写領域情報生成部１５８は、周辺基準位置情報と、中央基準位置情報に基づき、近似直線（近似曲線でもよい。）を用いて投写領域の４隅の位置を検出する（ステップＳ８）。
図１０は、本実施形態の一例に係る近似直線を設定する際の第１段階を示す模式図である。図１１は、本実施形態の一例に係る近似直線を設定する際の第２段階を示す模式図である。
投写領域情報生成部１５８は、点Ｐ５、点Ｐ３、点Ｐ６の座標に基づき、図１０の破線で示される近似直線を設定する。同様の手法により、投写領域情報生成部１５８は、図１１に示すように、破線で示す４つの近似直線を設定し、各近似直線の４つの交点Ａ(xA,yA)〜Ｄ(xD,yD)を中央ブロック領域１６の４隅の点として判別する。
中央ブロック領域１６は、元の投写画像１２を１／９に縮小した画像に相当する領域であるため、投写画像１２が相当する投写領域の４隅の点ＥＦＧＨは以下のようになる。すなわち、Ｅ(xE,yE)＝(2*xA-xC,2*yA-yc)、Ｆ(xF,yF)＝(2*xB-xD,2*yB-yD)、Ｇ(xG,yG)＝(2*xC-xA,2*yC-yA)、Ｈ(xH,yH)＝(2*xD-xB,2*yD-yB)である。
以上のように、本実施形態によれば、プロジェクタ２０は、投写画像１２がスクリーン１０に含まれる場合はもちろん、投写画像１２の一部がスクリーン１０の外部に表示されている状態であっても、撮像領域１５における投写領域の４隅の位置を検出することができる。もちろん、プロジェクタ２０は、投写領域の位置情報をスクリーン１０平面における位置に変換して投写画像１２の４隅の位置情報を生成することも可能である。
（投写対象領域の位置検出処理の流れの説明）
次に、投写対象領域１８の位置検出処理の流れについて説明する。
図１２は、本実施形態の一例に係る投写対象領域１８の位置検出処理の流れを示すフローチャートである。
上述したステップＳ２の処理において、センサー６０は、第１のキャリブレーション画像１３を所定解像度（例えば、ＳＶＧＡ等）よりも低い解像度である低解像度（例えば、ＶＧＡ等）で撮像して第１の撮像情報を生成する（ステップＳ２）。撮像情報記憶部１４０は、第１の撮像情報を記憶する。
そして、第１のキャリブレーション画像１３がスクリーン１０に投写された状態で、センサー６０は、第１のキャリブレーション画像１３を上記低解像度よりも高い解像度である高解像度（例えば、ＸＧＡ、ＳＸＧＡ、ＵＸＧＡ等）で撮像して第３の撮像情報を生成する（ステップＳ１１）。撮像情報記憶部１４０は、第３の撮像情報を記憶する。
投写対象領域検出部１８０は、第１および第３の撮像情報に基づき、投写対象領域１８の位置情報を示す投写対象領域情報を生成する。
図１３は、本実施形態の一例に係る投写対象領域１８を検出する際の第１段階の検索方法を示す模式図である。また、図１４は、本実施形態の一例に係る投写対象領域１８を検出する際の第２段階の検索方法を示す模式図である。また、図１５は、本実施形態の一例に係る投写対象領域１８を検出する際の第３段階の検索方法を示す模式図である。また、図１６は、本実施形態の一例に係るエッジ検出点評価処理を示す模式図である。
まず、検索範囲決定部１８２は、エッジ検出対象を決定するため、第１の撮像情報と、上述した中央ブロック領域１６の４隅ＡＢＣＤの座標情報に基づき、図１３に破線で示す撮像領域における４本の検索補助線を設定する（ステップＳ１２）。より具体的には、検索範囲決定部１８２は、低解像度で撮像された白色の撮像画像を対象として、中央基準位置決定部１５４によって検出された中央ブロック領域１６の４隅ＡＢＣＤの座標よりもｐ％外側に検索補助線を設定する。
例えば、第１の検索補助線y=round[{max(yA,yB)+(yA-yD)*p/100}*a]、第２の検索補助線x=round[{max(xB,xC)+(xB-xA)*p/100}*a]、第３の検索補助線y=round[{min(yC,yD)-(yA-yD)*p/100}*a]、第４の検索補助線x=round[{min(xA,xD)-(xB-xA)*p/100}*a]である。なお、ここで、max、min、round、aは、それぞれ、引数のうち最大値を返す関数、引数のうち最小値を返す関数、引数の小数点第１位の値を四捨五入した整数を返す関数、第２の撮像画像の解像度（高解像度）を第１の撮像画像の解像度（低解像度）に変換するための係数である。なお、解像度を変換する必要がない場合にはaは不要である。
このように４本の検索補助線が設定されることにより、図１３に示すように、４本の検索補助線の４つの交点ＩＪＫＬが決定される。
エッジ検出部１８４は、交点ＩＪＫＬのそれぞれから領域ＩＪＫＬの外側に向かって検索補助線上の検索ライン上を第１の撮像画像を検索対象として１画素ずつエッジ検出を行う（ステップＳ１３）。これにより、図１３に示すように、８つのエッジ検出点ＭＮＯＰＱＲＳＴが検出される。
さらに、エッジ検出部１８４は、線分ＴＯから投写対象領域１８の境界線方向、線分ＮＱから投写対象領域１８の境界線方向、線分ＰＳから投写対象領域１８の境界線方向、線分ＲＭから投写対象領域１８の境界線方向のそれぞれに１画素ずつエッジ検出を行う。
ここでは、線分ＴＯから投写対象領域１８の境界線方向にエッジ検出を行う場合を例に採り説明する。エッジ検出部１８４は、図１４に示すように、線分ＴＯでは、エッジ検出する範囲は、例えば、Ｙ軸の平行かつ正の方向であり、線分ＩＪで７本、線分ＴＩ、ＪＯのそれぞれで２本ずつの検索ラインを設定する。なお、この７本の検索ラインを設定する領域を中側検索領域と呼び、２本ずつの検索ラインを設定する２つの領域を外側検索領域と呼ぶ。
そして、エッジ検出部１８４は、これらの検索ライン上を１画素ずつエッジ検出を行うことにより、最大１１個、点ＭＮも含めると最大１３個のエッジ検出点を直線ＭＮ上に検出することができる。エッジ検出部１８４は、その他の線分ＮＱ、線分ＰＳ、線分ＲＭについても同様にエッジ検出を行う。
なお、エッジ検出部１８４は、エッジ検出点のペアＭＮ、ＯＰ、ＱＲ、ＳＴの各ペアのうち一方の点が撮像領域１５内で検出できなかった場合、検出できなかった点の外側を検索するための外側検索領域については投写対象領域１８の境界線は存在しないものとみなし、該当領域内で検索ラインの設定やエッジ検出を行わない。また、エッジ検出部１８４は、エッジ検出点のペアＭＮ、ＯＰ、ＱＲ、ＳＴの各ペアのうち双方の点が撮像領域１５内で検出できなかった場合、検出できなかった線分と平行な方向で近接する投写対象領域１８の境界線は存在しないものとみなし、検出できなかった線分を検索するための中側検索領域および外側検索領域内で検索ラインの設定やエッジ検出を行わない。
これらの処理を実行することにより、エッジ検出部１８４は、投写対象領域１８の存在する可能性が低い領域についてのエッジ検出を省略することができ、より高速に処理を実行することができる。
投写対象領域情報生成部１８６は、エッジ検出部１８４によって検出された複数のエッジ検出点に基づき、例えば、図１５の破線に示すような線形近似直線または線形近似曲線を設定することにより、投写対象領域１８を仮決定する（ステップＳ１４）。
そして、検出点評価部１８８は、エッジ検出部１８４によって検出された複数のエッジ検出点のうち、投写対象領域情報生成部１８６によって設定された線形近似直線または線形近似曲線から所定値以上乖離しているかどうかを判定することにより、各エッジ検出点を評価する（ステップＳ１５）。
例えば、図１６に示すように、照明光１９が撮像画像に含まれる場合、エッジ検出時に照明光１９の一部を検出してしまう場合がある。このような場合であっても、図１６に示すエッジ検出点Ｔは、投写対象領域１８の境界線からは所定値以上乖離していることにより、投写対象領域情報生成部１８６によって処理対象から除外される。
このようにして投写対象領域情報生成部１８６は、処理対象から除外しなかったエッジ検出点のみを用いてより高精度に投写対象領域１８を検出する。
より具体的には、エッジ検出部１８４は、高解像度の撮像情報である第３の撮像情報に基づき、処理対象から除外されなかったエッジ検出点の周辺画素に対してエッジ検出を行う（ステップＳ１６）。そして、エッジ検出部１８４は、エッジ検出情報を投写対象領域情報生成部１８６に出力する。
投写対象領域情報生成部１８６は、当該エッジ検出情報に基づき、再び線形近似直線または線形近似曲線を設定することにより、投写対象領域１８を決定する（ステップＳ１７）。そして、投写対象領域情報生成部１８６は、投写対象領域１８の４隅の位置を示す投写対象領域情報を生成する。
以上のように、本実施形態によれば、プロジェクタ２０は、低解像度の撮像情報に基づいて投写対象領域１８を仮検出してからその境界線付近を、高解像度の撮像情報に基づいて投写対象領域１８を検出することにより、投写対象領域１８の位置情報をより短時間で、かつ、正確に生成することができる。これにより、プロジェクタ２０は、画像処理システム全体の演算処理量を低減し、低負荷で高速な画像処理を実行できる。
また、本実施形態によれば、プロジェクタ２０は、エッジ検出対象となる領域をより狭めた状態でエッジ検出を行うことにより、投写対象領域１８の位置情報をより短時間で生成することができる。
また、プロジェクタ２０は、線形近似直線等から乖離したエッジ検出点を除外して処理を実行することにより、ノイズ等の影響を低減し、投写対象領域１８の位置情報をより正確に生成することができる。また、プロジェクタ２０は、エッジ検出の際には、全白画像のように高周波成分を含まないキャリブレーション画像を用いることにより、投写画像１２に起因するエッジ誤検出を回避し、精度のよいエッジ検出を行うことができる。
これにより、プロジェクタ２０は、投写画像１２の歪みの補正や位置の調整、投写画像１２内におけるレーザーポインター等を用いた指示位置の検出等を適切に行うことができる。
例えば、本実施形態において、画像歪み補正量演算部１６２は、投写領域情報生成部１５８からの投写領域情報と、投写対象領域情報生成部１８６からの投写対象領域情報に基づき、スクリーン１０と投写画像１２との位置関係を把握し、投写画像１２の歪みを補正するとともに、投写画像１２が所望のアスペクト比（縦横比）になるように画像歪み補正量を演算する。
そして、画像歪み補正部１１２は、当該画像歪み補正量に基づき、画像信号（Ｒ１、Ｇ１、Ｂ１）を補正する。これにより、プロジェクタ２０は、所望のアスペクト比を保った形で歪みのない画像を投写することができる。
もちろん、画像の歪みの補正方法はこの方法に限定されない。例えば、プロジェクタ２０は、撮像画像における輝度値の最も大きな画素を検出し、当該画素の位置に基づいて画像の歪みを補正してもよい。
また、プロジェクタ２０は、図５（Ｂ）に示すパターン画像のように、中央だけではなく、その周辺にも特徴のある画像を用いることにより、中央だけに特徴があるパターン画像を用いる場合と比べ、より高精度に投写領域の４隅を判別することができる。
例えば、プロジェクタ２０は、図６に示す点Ｐ１、点Ｐ２を判別する際に、その近傍の輝度値が変化する点も判別することが可能である。しかし、これらの間隔の狭い複数の点を用いて近似直線を設定する場合、間隔が離れた複数の点を用いて近似直線を設定する場合と比べ、近似直線の元になる点の１画素の誤差が近似直線により大きく影響してしまう。
本実施形態では、プロジェクタ２０は、中央ブロック領域１６の基準点と、周辺ブロック領域１７−１〜１７−４の基準点とを用いることにより、間隔が離れた複数の点を用いて近似直線を設定することができるため、より高精度に投写領域の４隅を判別することができる。
また、これにより、プロジェクタ２０は、プロジェクタ２０またはセンサー６０のシェーディングの影響を回避し、精度よく、投写領域全体の位置を把握することができる。
また、本実施形態によれば、プロジェクタ２０は、差分画像全体を検索するのではなく、差分画像のうち必要な領域のみを検索することにより、より簡易かつ高速に投写領域の位置を検出することができる。
また、キャリブレーション画像を投写する際に、一旦自動露出設定で全白画像を撮像して第１の撮像情報を生成することにより、適用環境に適合した露出で第１の撮像情報を生成することができる。また、プロジェクタ２０は、全白画像の撮像時の露出で第２の撮像情報を生成することにより、差分画像の生成に適した露出で第２の撮像情報を生成することができる。
特に、自動露出設定で全白画像を撮像することにより、センサー６０は、スクリーン１０が外光の影響を受ける場合、投写距離が遠すぎたりスクリーン１０の反射率が低すぎて投写光の反射光が弱すぎる場合、投写距離が近すぎたりスクリーン１０の反射率が高すぎて投写光の反射光が強すぎる場合のいずれにおいても、固定露出で撮像する場合と比べ、センサー６０のダイナミックレンジを有効に活用して撮像することができる。
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
例えば、第１の撮像情報と第３の撮像情報を生成する場合、センサー６０が高解像度で第１のキャリブレーション画像１３を撮像し、高解像度の撮像情報を画像処理によって低解像度の撮像情報に変換することにより、１回の撮像で第１の撮像情報と第３の撮像情報を生成してもよい。
また、投写画像１２の位置や大きさの調整に関しては、プロジェクタ２０の画角調整機能（ズーム機能）を用いてもよい。これにより、暗室状況下でも投写対象領域をより確実に検出できるようになる。
また、例えば、検索の手順は任意であり、プロジェクタ２０は、差分画像に対して横方向に検索して中央基準位置や周辺基準位置を検出した後に当該中央基準位置や当該周辺基準位置に基づいて縦方向に検索してもよい。
また、プロジェクタ２０は、投写領域情報に基づく画像の歪み補正以外にも、例えば、投写領域情報に基づき、投写領域内の色むら補正、投写領域内の指示位置検出等の投写領域の位置情報を使用する種々の処理を行ってもよい。
さらに、プロジェクタ２０は、投写対象領域１８を検出してから投写領域を検出してもよい。例えば、第１の撮像情報と、中央基準位置に基づき、投写対象領域１８の複数の境界点を検出する投写対象領域境界点検出部を設けてもよい。さらに、周辺基準位置決定部１５６を、当該境界点に基づき、中央基準位置よりは当該境界点に近い位置にある周辺基準位置を検出するように構成してもよい。
図１７は、本実施形態の他の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図１８は、本実施形態の他の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。
例えば、図１７に示すように、投写対象領域境界点検出部は、中央ブロック領域１６の中央基準位置Ｐ１〜Ｐ４に基づき、Ｐ３、Ｐ４のそれぞれから数％内側にある検索補助線上を、Ｐ１、Ｐ２のそれぞれのＹ座標の点ｙ１、ｙ２から外側に向かって１画素ずつエッジ検出を行ってもよい。これにより、４つのエッジ検出点ＴＵＶＷが検出される。
周辺基準位置検出部１５６は、点ＴのＹ座標であるｙＴ、点ＵのＹ座標であるｙＵのうち小さい値と、Ｐ１のＹ座標であるｙ１に基づき、上側の横方向の検索の基準となる位置Ｙ＝ｙＱを検出する。また、周辺基準位置検出部１５６は、点ＶのＹ座標であるｙＶ、点ＷのＹ座標であるｙＷのうち大きい値と、Ｐ２のＹ座標であるｙ２に基づき、下側の横方向の検索の基準となる位置Ｙ＝ｙＲを検出する。
周辺基準位置検出部１５６は、Ｘ＝ｘｔ、Ｘ＝ｘＵ、Ｙ＝ｙＱ、Ｙ＝ｙＲの４本の直線が交わるそれぞれの交点から差分画像におけるＹ＝ｙＱ、Ｙ＝ｙＲ上を外側に検索し、出力のある画素を検出することにより、４つの点Ｐ５〜Ｐ８を判別する。周辺基準位置検出部１５６は、同様の手法により、残りの４点Ｐ９〜Ｐ１２を判別する。
プロジェクタ２０は、このような手法によっても中央ブロック領域１６の中央基準位置と、周辺ブロック領域１７−１〜１７−４の周辺基準位置を判別し、投写領域の４隅の位置を判別することができる。
特に、この手法によれば、投写領域情報生成部１５８は、前述した手法と比べ、近似直線を求めるための３点の間隔をより離した状態で近似直線を求めることができる。これにより、プロジェクタ２０は、より高精度に投写領域の位置を検出することができる。
なお、中央基準位置の個数や周辺基準位置の個数は任意であり、上述した実施例に限定されない。
また、第１のキャリブレーション画像１３と第２のキャリブレーション画像１４のパターンは、図５（Ａ）および図５（Ｂ）に示す例に限定されず、少なくとも差分画像になった状態で中央ブロック領域１６が形成されればよく、特に、差分画像になった状態で中央ブロック領域１６と周辺ブロック領域１７−１〜１７−４が形成されることが好ましい。例えば、中央ブロック領域１６を含む第１のキャリブレーション画像１３と、周辺ブロック領域１７−１〜１７−４を含む第２のキャリブレーション画像１４を採用してもよい。
また、キャリブレーション画像、中央ブロック領域１６および周辺ブロック領域１７−１〜１７−４の形状は矩形に限定されず、例えば、円形等の矩形以外の形状を採用してもよい。もちろん、キャリブレーション画像全体の形状と、中央ブロック領域１６の形状は、相似形に限定されず、両者の形状の対応がわかる形状であればよい。さらに、周辺ブロック領域１７−１〜１７−４の個数も任意である。
また、スクリーン１０以外の黒板、白板等の投写対象物に画像を投写する場合であっても本発明は有効である。
また、例えば、上述した実施例では、画像処理システムをプロジェクタ２０に実装した例について説明したが、プロジェクタ２０以外にもＣＲＴ（Cathode Ray Tube）等のプロジェクタ２０以外の画像表示装置に実装してもよい。また、プロジェクタ２０としては、液晶プロジェクタ以外にも、例えば、ＤＭＤ（Digital Micromirror Device）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。
さらに、上述した実施例では、センサー６０をプロジェクタ２０に内蔵した構成であったが、センサー６０を、プロジェクタ２０とは別の独立した装置として構成してもよい。
本実施形態の一例に係る画像投写状況を示す概略図である。 本実施形態の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。 本実施形態の一例に係る投写領域の位置検出処理の流れを示すフローチャートである。 本実施形態の一例に係るキャリブレーション画像の模式図であり、図５（Ａ）は、第１のキャリブレーション画像の模式図であり、図５（Ｂ）は、第２のキャリブレーション画像の模式図である。 本実施形態の一例に係る中央基準位置を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る中央基準位置を検出する際の第２段階の検索方法を示す模式図である。 本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。 本実施形態の一例に係る近似直線を設定する際の第１段階を示す模式図である。 本実施形態の一例に係る近似直線を設定する際の第２段階を示す模式図である。 本実施形態の一例に係る投写対象領域の位置検出処理の流れを示すフローチャートである。 本実施形態の一例に係る投写対象領域を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る投写対象領域を検出する際の第２段階の検索方法を示す模式図である。 本実施形態の一例に係る投写対象領域を検出する際の第３段階の検索方法を示す模式図である。 本実施形態の一例に係るエッジ検出点評価処理を示す模式図である。 本実施形態の他の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の他の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。
符号の説明
２０ プロジェクタ、６０ センサー（撮像手段）、１１２ 画像歪み補正部（画像歪み補正手段）、１４０ 撮像情報記憶部、１５０ 投写領域検出部、１５２ 差分画像生成部、１５４ 中央基準位置検出部、１５６ 周辺基準位置検出部、１５８ 投写領域情報生成部、１６２ 画像歪み補正量演算部（画像歪み補正手段）、１８０ 投写対象領域検出部、１８２ 検索範囲決定部、１８４ エッジ検出部、１８６ 投写対象領域情報生成部、１８８ 検出点評価部、９００ 情報記憶媒体

Claims (17)

  1. 第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
    投写された第１のキャリブレーション画像を撮像し、所定解像度以下の解像度である低解像度の第１の撮像情報と、前記低解像度以上の解像度である高解像度の第３の撮像情報を生成する撮像手段と、
    前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
    差分画像を生成する差分画像生成手段と、
    前記差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
    を含み、
    前記投写対象領域検出手段は、
    前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
    前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
    前記エッジ検出手段によるエッジ検出範囲を設定する検索範囲決定手段と、
    を含み、
    前記画像投写手段は、第２のキャリブレーション画像を投写し、
    前記撮像手段は、投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
    前記差分画像生成手段は、前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
    前記検索範囲決定手段は、前記中央ブロック領域の外部に前記エッジ検出範囲を設定し、
    前記エッジ検出手段は、前記エッジ検出範囲においてエッジ検出を行うことによって前記第１のエッジ検出情報を生成するとともに、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成し、
    前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
    前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含むことを特徴とする画像処理システム。
  2. 請求項１において、
    前記エッジ検出手段は、前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
    前記投写対象領域情報生成手段は、前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成することを特徴とする画像処理システム。
  3. 請求項２において、
    前記投写対象領域検出手段は、複数のエッジ検出点を評価する検出点評価手段を含み、
    前記検出点評価手段は、前記複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定するように、前記投写対象領域情報生成手段を制御することを特徴とする画像処理システム。
  4. 請求項１〜３のいずれかにおいて、
    前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
    前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
    前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
    前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域情報生成手段と、
    を含むことを特徴とする画像処理システム。
  5. 請求項４において、
    前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成することを特徴とする画像処理システム。
  6. 請求項５において、
    前記投写領域および前記中央ブロック領域は、矩形の領域であり、
    前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を導出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理システム。
  7. 請求項４〜６のいずれかにおいて、
    前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段を含み、
    前記周辺基準位置検出手段は、前記境界点に基づき、前記周辺基準位置を検出することを特徴とする画像処理システム。
  8. 請求項４〜７のいずれかにおいて、
    前記投写対象領域情報と、前記投写領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正する画像歪み補正手段を含み、
    前記画像投写手段は、前記画像歪み補正手段によって補正された画像信号に基づき、画像を投写することを特徴とする画像処理システム。
  9. 第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
    投写された第１のキャリブレーション画像を撮像し、所定解像度以下の解像度である低解像度の第１の撮像情報と、前記低解像度以上の解像度である高解像度の第３の撮像情報を生成する撮像手段と、
    前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
    差分画像を生成する差分画像生成手段と、
    前記差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
    を含み、
    前記投写対象領域検出手段は、
    前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
    前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
    前記エッジ検出手段によるエッジ検出範囲を設定する検索範囲決定手段と、
    を含み、
    前記画像投写手段は、第２のキャリブレーション画像を投写し、
    前記撮像手段は、投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
    前記差分画像生成手段は、前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
    前記検索範囲決定手段は、前記中央ブロック領域の外部に前記エッジ検出範囲を設定し、
    前記エッジ検出手段は、前記エッジ検出範囲においてエッジ検出を行うことによって前記第１のエッジ検出情報を生成するとともに、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成し、
    前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
    前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含むことを特徴とするプロジェクタ。
  10. 第１のキャリブレーション画像を投写対象物へ向け投写し、
    投写された第１のキャリブレーション画像を、撮像部を用いて撮像し、所定解像度以下の解像度である低解像度の第１の撮像情報と、前記低解像度以上の解像度である高解像度の第３の撮像情報を生成し、
    第２のキャリブレーション画像を投写し、
    投写された前記第２のキャリブレーション画像を、前記撮像部を用いて撮像して第２の撮像情報を生成し、
    前記第１および第２の撮像情報に基づき、差分画像を生成し、
    当該差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出し、
    前記中央ブロック領域の外部にエッジ検出範囲を設定し、
    前記第１の撮像情報に基づき、前記エッジ検出範囲においてエッジ検出を行って第１のエッジ検出情報を生成し、
    前記第１のエッジ検出情報に基づき、前記撮像部の撮像領域における前記投写対象物に相当する投写対象領域を仮検出して仮検出情報を生成し、
    当該仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、第３のエッジ検出情報を生成し、
    当該第３のエッジ検出情報に基づき、前記投写対象領域を検出して前記投写対象領域の位置に関する投写対象領域情報を生成し、
    前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
    前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含むことを特徴とする画像処理方法。
  11. 請求項１０において、
    前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
    前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成することを特徴とする画像処理方法。
  12. 請求項１１において、
    複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、
    前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定することを特徴とする画像処理方法。
  13. 請求項１０〜１２のいずれかにおいて、
    前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
    前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
    前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
    前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成することを特徴とする画像処理方法。
  14. 請求項１３において、
    前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成することを特徴とする画像処理方法。
  15. 請求項１４において、
    前記投写領域および前記中央ブロック領域は、矩形の領域であり、
    前記複数の近似直線の交点または前記複数の近似曲線の交点を導出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理方法。
  16. 請求項１３〜１５のいずれかにおいて、
    前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出し、
    前記境界点に基づき、前記周辺基準位置を検出することを特徴とする画像処理方法。
  17. 請求項１３〜１６のいずれかにおいて、
    前記投写対象領域情報と、前記投写領域情報とに基づき、投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正することを特徴とする画像処理方法。
JP2004095937A 2004-03-29 2004-03-29 画像処理システム、プロジェクタおよび画像処理方法 Expired - Fee Related JP3882928B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2004095937A JP3882928B2 (ja) 2004-03-29 2004-03-29 画像処理システム、プロジェクタおよび画像処理方法
US11/083,033 US7517089B2 (en) 2004-03-29 2005-03-18 Image processing system, projector, information storage medium, and image processing method
EP05006633A EP1583361A3 (en) 2004-03-29 2005-03-24 Image processing system, projector, information storage medium, and image processing method
TW094109425A TWI262027B (en) 2004-03-29 2005-03-25 Image processing system, projector, program, information storage medium, and image processing method
KR1020050025678A KR100644211B1 (ko) 2004-03-29 2005-03-28 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상 처리방법
CNB2005100597422A CN100380945C (zh) 2004-03-29 2005-03-29 图像处理系统、投影机以及图像处理方法
US12/379,994 US7661827B2 (en) 2004-03-29 2009-03-05 Image processing system, projector, computer-readable storage medium, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004095937A JP3882928B2 (ja) 2004-03-29 2004-03-29 画像処理システム、プロジェクタおよび画像処理方法

Publications (2)

Publication Number Publication Date
JP2005286574A JP2005286574A (ja) 2005-10-13
JP3882928B2 true JP3882928B2 (ja) 2007-02-21

Family

ID=35184513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004095937A Expired - Fee Related JP3882928B2 (ja) 2004-03-29 2004-03-29 画像処理システム、プロジェクタおよび画像処理方法

Country Status (1)

Country Link
JP (1) JP3882928B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4126564B2 (ja) * 2005-02-14 2008-07-30 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4085283B2 (ja) * 2005-02-14 2008-05-14 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
TWI511122B (zh) * 2006-08-11 2015-12-01 Geo Semiconductor Inc 校正相機之影像失真的校準方法與系統
JP6155717B2 (ja) * 2013-03-14 2017-07-05 セイコーエプソン株式会社 画像処理装置、プロジェクター及び画像処理方法
JP6554873B2 (ja) * 2015-03-31 2019-08-07 株式会社リコー 投影システム、画像処理装置、校正方法およびプログラム
JP2019005064A (ja) * 2017-06-22 2019-01-17 株式会社ユニバーサルエンターテインメント 遊技機の製造装置
CN112584112B (zh) * 2020-12-02 2023-10-03 深圳市当智科技有限公司 基于大小校正的投影方法、系统及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999031877A1 (fr) * 1997-12-12 1999-06-24 Hitachi, Ltd. Dispositif d'affichage d'images a projecteurs multiples
JP3706755B2 (ja) * 1998-11-09 2005-10-19 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
JP2000241874A (ja) * 1999-02-19 2000-09-08 Nec Corp プロジェクタの自動画面位置調整方法及び装置
JP2004260785A (ja) * 2002-07-23 2004-09-16 Nec Viewtechnology Ltd 画像歪み補正機能を備えたプロジェクタ装置

Also Published As

Publication number Publication date
JP2005286574A (ja) 2005-10-13

Similar Documents

Publication Publication Date Title
JP3882929B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
JP4055010B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
KR100644211B1 (ko) 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상 처리방법
JP3888465B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
JP4232042B2 (ja) 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法
JP5257616B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP3871061B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
JP3994290B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US8328366B2 (en) Projector, computer program product, and exposure adjusting method
JP3882928B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
JP5561503B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP3882927B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
JP2010288062A (ja) プロジェクター、プログラム、情報記憶媒体および画像投写方法
JP5110260B2 (ja) プロジェクタ、プログラム、情報記憶媒体および画像歪み補正方法
JP5354163B2 (ja) プロジェクター、プログラムおよび情報記憶媒体
JP2009135972A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP5445745B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061107

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3882928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees