JP4572377B2 - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 - Google Patents

画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 Download PDF

Info

Publication number
JP4572377B2
JP4572377B2 JP2008120274A JP2008120274A JP4572377B2 JP 4572377 B2 JP4572377 B2 JP 4572377B2 JP 2008120274 A JP2008120274 A JP 2008120274A JP 2008120274 A JP2008120274 A JP 2008120274A JP 4572377 B2 JP4572377 B2 JP 4572377B2
Authority
JP
Japan
Prior art keywords
projection
image
information
imaging
aspect ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008120274A
Other languages
English (en)
Other versions
JP2008251026A (ja
Inventor
雅暢 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2008120274A priority Critical patent/JP4572377B2/ja
Publication of JP2008251026A publication Critical patent/JP2008251026A/ja
Application granted granted Critical
Publication of JP4572377B2 publication Critical patent/JP4572377B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、画像の歪み補正が可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
プロジェクタ等の画像投写装置からの投写光の光軸とスクリーン等の投写対象物との相対的な角度によって画像が歪んでしまい、縦方向や横方向にいわゆる台形歪みが発生してしまう場合がある。
したがって、画像表示装置は、画像を表示する場合には、画像の歪みをなくした状態で画像を表示する必要がある。
しかし、一般的な画像の歪み補正機能付きプロジェクタは、傾きセンサーを内蔵して画像の縦方向の歪みのみを補正し、画像の横方向の歪みは補正できていない。
また、画像の横方向の歪みを補正する場合、ユーザーがマウス等を用いてスクリーンの４隅の点を指示することにより、プロジェクタは当該指示情報に基づいて半自動的に画像の歪みを補正している。また、ユーザーにとっては、マウス等を用いてスクリーンの４隅の点を指示することは煩雑である。
このような課題を解決するため、例えば、特許文献１では、モニタカメラより入力された映像信号に基づき、モニタカメラにより撮像された画像内のスクリーンの位置を検出し、検出されたスクリーンの位置のデータにより映写画像の台形歪みを調整するプロジェクタの自動画面位置調整装置が開示されている。
また、特許文献１の手法では、特許文献１の明細書の段落番号００２９に記載されているように、撮像されたモニタ画面内のスクリーンの対向辺の長さを比較して台形歪みを調整している。
特開２０００−２４１８７４号公報 特開２００２−２４７６１４号公報
しかし、スクリーン等の投写対象物の縦横比（アスペクト比）が既知でない場合、プロジェクタは、スクリーンの対向辺の長さを比較するだけでは画像の歪みを適切に把握することはできない。
また、特許文献２では、プロジェクタが撮像部を用いてスクリーンの外形を識別し、識別した外形と同じ外形になるように画像を補正するプロジェクタが開示されている。
しかし、プロジェクタが、特許文献２のようにスクリーンの外形の形状に画像の形状を変化させてしまうと、変化後の画像が元の画像の外形とは異なってしまうことになる。この場合、観察者に元の画像とは異なる印象を与えてしまうため、このような処理方式を採用することは好ましくない。
また、投写対象物の縦横比を基準とする場合であっても、所望の縦横比で投写画像が表示されることが望ましい。
本発明は、上記の課題に鑑みなされたものであり、その目的は、投写対象物の縦横比と画像の歪みを把握して投写画像の歪みを補正することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、キャリブレーション画像を投写対象物に向け投写する画像投写手段と、前記キャリブレーション画像を撮像して撮像情報を生成する撮像手段と、前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、前記撮像情報に基づき、前記撮像領域における投写領域の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、前記投写対象領域情報と、前記投写領域情報とに基づき、画像歪み補正用情報を生成する補正用情報生成手段と、前記画像歪み補正用情報に基づき、画像の歪みが補正されるように画像信号を補正する歪み補正手段と、を含み、前記画像投写手段は、前記歪み補正手段によって補正された画像信号に基づき、画像を投写し、前記補正用情報生成手段は、前記投写対象領域情報に基づき、前記投写対象物の縦横比を示す第１の縦横比を把握し、当該第１の縦横比が許容範囲内である場合は当該第１の縦横比で画像が表示され、当該第１の縦横比が当該許容範囲外である場合は所望の縦横比を示す第２の縦横比で画像が表示されるように、前記投写領域情報に基づき、前記画像投写手段の有する投写用パネルにおける投写領域の４隅の座標を示す投写座標系投写領域情報を生成するとともに、当該投写座標系投写領域情報に基づき、前記画像歪み補正用情報を生成することを特徴とする。
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、コンピュータを、キャリブレーション画像を投写対象物に向け投写する画像投写手段と、前記キャリブレーション画像を撮像して撮像情報を生成する撮像手段と、前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、前記撮像情報に基づき、前記撮像領域における投写領域の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、前記投写対象領域情報と、前記投写領域情報とに基づき、前記投写対象領域に所望の縦横比で画像が投写されるように画像歪み補正用情報を生成する補正用情報生成手段と、前記画像歪み補正用情報に基づき、画像の歪みが補正されるように画像信号を補正する歪み補正手段として機能させ、前記画像投写手段は、前記歪み補正手段によって補正された画像信号に基づき、画像を投写し、前記補正用情報生成手段は、前記投写対象領域情報に基づき、前記投写対象物の縦横比を示す第１の縦横比を把握し、当該第１の縦横比が許容範囲内である場合は当該第１の縦横比で画像が表示され、当該第１の縦横比が当該許容範囲外である場合は所望の縦横比を示す第２の縦横比で画像が表示されるように、前記投写領域情報に基づき、前記画像投写手段の有する投写用パネルにおける投写領域の４隅の座標を示す投写座標系投写領域情報を生成するとともに、当該投写座標系投写領域情報に基づき、前記画像歪み補正用情報を生成することを特徴とする。
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。
また、本発明に係る画像処理方法は、キャリブレーション画像を、画像投写部を用いて投写対象物に向け投写し、前記キャリブレーション画像を、撮像部を用いて撮像して撮像情報を生成し、前記撮像情報に基づき、前記撮像部の撮像領域における前記投写対象物の４隅の座標を示す投写対象領域情報を生成し、前記撮像情報に基づき、前記撮像領域における投写領域の４隅の座標を示す投写領域情報を生成し、前記投写領域情報に基づき、前記画像投写部の有する投写用パネルにおける投写領域の４隅の座標を示す投写座標系投写領域情報を生成し、前記投写座標系投写領域情報に基づき、前記投写対象物の縦横比を示す第１の縦横比を把握し、当該第１の縦横比が許容範囲内であるかどうかを判定し、当該第１の縦横比が当該許容範囲内である場合は当該第１の縦横比で画像が投写され、当該第１の縦横比が当該許容範囲外である場合は所望の縦横比を示す第２の縦横比で画像が投写されるように、画像歪み補正用情報を生成し、前記画像歪み補正用情報に基づき、画像の歪みが補正されるように画像信号を補正し、補正した画像信号に基づき、前記画像投写部を用いて画像を投写することを特徴とする。
本発明によれば、画像処理システム等は、投写対象物の形状に合わせるのではなく、画像本来の縦横比で画像が投写されるように画像歪み補正用情報を生成することにより、本来の縦横比で画像を表示することができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記補正用情報生成手段は、前記投写対象領域情報に基づき、前記撮像領域の２次元平面に前記撮像手段の光軸を３次元目として加えた３次元空間における原点と、前記投写対象物の４隅との前記光軸上の相対距離を演算し、前記投写対象領域情報と、前記相対距離とに基づき、前記投写対象物の４隅の前記３次元空間における座標を演算し、当該座標に基づき、前記投写対象物の対向しない２辺の長さをそれぞれ演算することにより前記第１の縦横比を演算してもよい。
また、前記画像処理方法において、前記投写対象領域情報に基づき、前記撮像領域の２次元平面に前記撮像部の光軸を３次元目として加えた３次元空間における原点と、前記投写対象物の４隅との前記光軸上の相対距離を演算し、前記投写対象領域情報と、前記相対距離とに基づき、前記投写対象物の４隅の前記３次元空間における座標を演算し、当該座標に基づき、前記投写対象物の対向しない２辺の長さをそれぞれ演算することにより前記第１の縦横比を演算してもよい。
これによれば、画像処理システム等は、撮像手段を基準とした３次元空間で画像処理を実行することにより、撮像手段の設置の自由度を向上させることができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写対象領域情報生成手段は、前記撮像領域の中央付近から各画素を放射状に探索するように、前記撮像情報の画像信号値を探索し、探索中の当該画像信号値の差異に基づいて前記投写対象領域を把握して前記投写対象領域情報を生成してもよい。
また、前記画像処理方法において、前記投写対象領域情報を生成する際に、前記撮像領域の中央付近から各画素を放射状に探索するように、前記撮像情報の画像信号値を探索し、探索中の当該画像信号値の差異に基づいて前記投写対象領域を把握して前記投写対象領域情報を生成してもよい。
これによれば、画像処理システム等は、撮像領域の中央付近から各画素を放射状に探索するように、撮像情報の画像信号値を探索することにより、ノイズの影響を受けにくく、より正確に投写対象領域を検出することができる。
以下、本発明を、画像の歪み補正を行うプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
（第１の実施例）
図１は、画像投写時の状態を示す模式図である。
画像処理システムの一種であるプロジェクタ２０は、投写対象物の一種であるスクリーン１０へ向け画像を投写する。本実施例では、プロジェクタ２０は、スクリーン１０に正対していない状態となっている。また、プロジェクタ２０からの投写光によって形成される投写画像１２は、スクリーン１０からはみ出している。なお、本実施例では、スクリーン１０の裏には壁があり、壁によって投写光が反射されて投写画像１２が表示されている。
また、本実施例では、撮像手段の一部であるセンサー６０は、投写画像１２を含む領域を撮像する。
また、本実施例では、プロジェクタ２０は、センサー６０による撮像情報に基づき、スクリーン１０のアスペクト比（縦横比）を演算する。そして、プロジェクタ２０は、当該アスペクト比と、既知である投写画像のアスペクト比に基づき、投写画像１２がスクリーン１０内に収まり、かつ、投写画像のアスペクト比となるように、画像の歪み補正を行う。
次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。
図２は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。
プロジェクタ２０は、画像信号を入力する信号入力部１１０と、画像の歪みが補正されるように、入力された画像信号を補正する歪み補正部１３０と、補正された画像信号を出力する信号出力部１６０と、画像信号に基づき、画像を投写する画像投写手段の一種である画像投写部１９０と、キャリブレーション画像情報を生成するキャリブレーション画像情報生成部１７０とを含んで構成されている。
また、プロジェクタ２０は、投写画像１２を含む領域８を、撮像面を介して撮像して撮像情報を生成する撮像部１８０と、撮像情報に基づき、センサー６０の撮像領域におけるスクリーン１０の領域を検出する投写対象領域情報生成手段の一種である投写対象領域情報生成部１４０と、センサー６０の撮像領域における投写画像１２の領域を検出する投写領域情報生成部１５０と、歪み補正用情報を生成する補正用情報生成部１２０とを含んで構成されている。なお、撮像部１８０は、センサー６０を含む。
また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成されている。
駆動部１９４は、信号出力部１６０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。
また、上述したプロジェクタ２０の各部を実装するためのハードウェアとしては、例えば、以下のものを適用できる。
図３は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。
例えば、信号入力部１１０としては、例えばＡ／Ｄコンバーター９３０等、歪み補正部１３０としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、信号出力部１６０としては、例えばＤ／Ａコンバーター９４０等、補正用情報生成部１２０、投写対象領域情報生成部１４０、投写領域情報生成部１５０およびキャリブレーション画像情報生成部１７０としては、例えば画像処理回路９７０、ＲＡＭ９５０等、撮像部１８０としては、例えばＣＣＤセンサー、ＣＭＯＳセンサー、ＲＧＢセンサー等、空間光変調器１９２としては、例えば液晶パネル９２０、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実装できる。
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。
また、これらの各部は、その一部または全部を、回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。
さらに、投写対象領域情報生成部１４０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って投写対象領域情報生成部１４０等の機能をコンピュータに実装させてもよい。
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。
（画像処理の流れの説明）
次に、これらの各部を用いた画像処理の流れについて説明する。
図４は、本実施形態の一例に係る画像処理の流れを示すフローチャートである。
まず、キャリブレーション画像情報生成部１７０は、全黒（画像全体が黒）の単色のキャリブレーション画像用の画像情報を生成し、信号出力部１６０は、当該画像情報のデジタル信号を画像投写部１９０に出力する。
画像投写部１９０は、当該デジタル信号に基づき、スクリーン１０へ向け全黒のキャリブレーション画像を投写する（ステップＳ１）。これにより、スクリーン１０には、全黒のキャリブレーション画像が表示される。
撮像部１８０は、投写画像１２を含む領域を、撮像面を介して撮像して第１の撮像情報を生成する（ステップＳ２）。ここで、撮像情報は、例えば、輝度値、ＸＹＺ値等の輝度値を生成可能な画像信号値をセンサー６０の画素ごとに示す情報である。なお、ここで、ＸＹＺ値とは、国際照明委員会（ＣＩＥ）によって定められた国際規格で、機器独立色の一種の画像信号値である。
図５は、本実施形態の一例に係る撮像領域１７を示す模式図である。
撮像領域１７は、センサー６０が画像を捉える撮像面に相当する領域であり、センサー６０の撮像情報を矩形で模式的に示す領域でもある。撮像領域１７としては、具体的には、例えば、ＣＣＤセンサーの撮像面の領域等が該当する。
本実施例では、センサー６０の光軸とレンズ１９８の光軸が同じ方向に向いており、スクリーン１０とプロジェクタ２０とが正対していない。このため、図５に示すように、センサー６０から見た場合、投写画像１２の領域である投写領域１３は撮像領域１７と同様に矩形で見え、スクリーン１０の領域である投写対象領域１１は歪んで見える。
また、本実施例では、投写対象領域情報生成部１４０は、投写領域１３の対角線の交点Ｐ０、すなわち、投写領域１３の中心Ｐ０（必ずしも中心でなくてもよく、中央付近でもよい。）から外側に向かって放射状に輝度値を探索する。そして、投写対象領域情報生成部１４０は、中心Ｐ０からほぼ同じ輝度値が連続している線分Ｐ０Ｐ１を投写対象領域１１の一部として検出する。そして、投写対象領域情報生成部１４０は、例えば、角度θ分角度を変更して同様の処理を行い、線分Ｐ０Ｐ２を投写対象領域１１の一部として検出する。この線分の距離をＬとする。
図６は、角度θと距離Ｌとの関係を示す模式図である。
例えば、角度θ（ただし、θは０〜２π）の変化に伴い、距離Ｌは図６に示すように変化し、角度θ１、θ２、θ３、θ４のそれぞれにおいて、４つの頂点を形成する。
投写対象領域情報生成部１４０は、撮像領域１７の中心Ｐ０のセンサー座標（撮像領域１７における座標）と、角度θ１、θ２、θ３、θ４の場合の距離Ｌ１、Ｌ２、Ｌ３、Ｌ４から投写対象領域１１の４隅ＡＢＣＤのそれぞれのセンサー座標を演算する。
投写対象領域情報生成部１４０は、この４隅のセンサー座標を示す投写対象領域情報を生成し（ステップＳ３）、当該投写対象領域情報を補正用情報生成部１２０に送る。
また、キャリブレーション画像情報生成部１７０は、例えば中央部分に元の画像を４分の１等の任意の倍率で縮小した白色画像（必ずしも白色でなくてもよく、白色に近いグレー等の単色でもよい。）を含み、当該白色画像の外側が黒色画像（必ずしも黒色でなくてもよく、黒色に近いグレー等でもよい。）の複数色キャリブレーション画像用のキャリブレーション情報を生成する。画像投写部１９０は、複数色キャリブレーション画像を投写する（ステップＳ４）。
撮像部１８０は、スクリーン１０に投写された複数色キャリブレーション画像の投写画像１２を含む領域８を撮像し、第２の撮像情報を生成する（ステップＳ５）。
この第２の撮像情報の場合、図５に示すように、投写対象領域１１内に白色画像の相当する白領域１５が形成される。
投写領域情報生成部１５０は、白領域１５の各画素の輝度値と投写対象領域１１の各画素の輝度値とを比較することにより、一定の輝度比となる白領域１５を検出する（ステップＳ６）。
そして、投写領域情報生成部１５０は、白領域１５の４隅のセンサー座標を、縮小したときの逆の倍率であるｎ倍することにより、投写領域１３のセンサー座標を求める。
投写領域情報生成部１５０は、投写領域１３のセンサー座標を示す投写領域情報を生成し（ステップＳ７）、投写領域情報を補正用情報生成部１２０に送る。
補正用情報生成部１２０は、スクリーン１０とセンサー６０とのセンサー６０の光軸上の相対距離を導出する（ステップＳ８）。
より具体的には、例えば、投写対象領域１１のセンサー座標をＡ(Ax,Ay)、Ｂ(Bx,By)、Ｃ(Cx,Cy)、Ｄ(Dx,Dy)、センサー６０の撮像領域１７の２次元平面ＸＹにセンサー６０の光軸を３次元目Ｚとして加えたＸＹＺ３次元空間における原点とするＸＹＺ３次元空間において、スクリーン１０の４隅の座標をＡ’(s*Ax,s*Ay,s*Pz)、Ｂ’(t*Bx,t*By,t*Pz)、Ｃ’(u*Cx,u*Cy,u*Pz)、Ｄ’(v*Dx,v*Dy,v*Pz)と仮定する。なお、ここで、Ｐｚは、センサー座標系の原点から撮像領域１７として想定する仮想撮像面までのＺ軸上の距離である。また、投写対象領域情報生成部１４０は、センサー６０の水平画角θcと水平解像度VRの関係に基づき、Pz=(VR/2)/tan(θc/2)を演算することにより、Ｐｚを求めることができる。
図７は、本実施形態の一例に係るＸＹＺ３次元空間の模式図である。
スクリーン１０が長方形（正方形でもよい。）であることは既知であるため、線分Ａ’Ｂ’＝線分Ｄ’Ｃ’の条件が成立する。この条件が成立することを前提とした場合、上記のt、u、vは以下のようになる。
t=s*((Dy-Cy)*(Ax-Dx)-(Dx-Cx)*(Ay-Dy))/((Dy-Cy)*(Bx-Dx)-(Dx-Cx)*(By-Dy))
u=s*((By-Dy)*(Ax-Dx)-(Bx-Dx)*(Ay-Dy))/((By-Dy)*(Dx-Cx)-(Bx-Dx)*(Dy-Cy))
v=s-t+u
また、ここで、ｓを例えば１（１以外でもよい。）と仮定することにより、原点からスクリーン１０の４隅ＡＢＣＤまでの光軸上（Ｚ軸方向成分）の相対距離を得ることができる。
そして、補正用情報生成部１２０は、スクリーン１０の対向しない２辺の長さを示す｜Ａ’Ｂ’｜と｜Ｂ’Ｃ’｜を比較することにより、スクリーン１０のアスペクト比を演算する（ステップＳ９）。
さらに、補正用情報生成部１２０は、補正後の投写領域を導出する（ステップＳ１０）。
図８は、本実施形態の一例に係る補正後の投写領域１９の模式図である。
例えば、投写画像１２のアスペクト比が４：３であり、スクリーン１０のアスペクト比が４：２である場合、撮像領域１７において、投写対象領域１１の左右端から６分の１ずつ内側に入った領域が補正後の投写領域１９となる。なお、投写画像１２のアスペクト比
は４：３、１６：９のように一般的に既知である。
そして、補正用情報生成部１２０は、撮像領域１７における補正後の投写領域１９の座標を、空間光変調器１９２の画像処理用の座標に変換する（ステップＳ１１）。
さらに、補正用情報生成部１２０は、例えば、歪み補正後の空間光変調器１９２の画像処理用の座標と、歪み補正前の空間光変調器１９２の画像処理量の座標との差分値を演算し、当該差分値を画像歪み補正用情報として生成する。
そして、歪み補正部１３０は、当該画像歪み補正用情報に基づき、画像の歪みを補正するように画像信号を補正する。
これにより、画像投写部１９０は、画像の歪みが補正された画像を投写することができる。
以上のように、本実施形態によれば、撮像情報に基づく画像信号値（例えば、輝度値等）の差異に基づいて投写対象物（例えば、スクリーン１０等）の外形を把握することができる。
また、本実施形態によれば、キャリブレーション画像１２がスクリーン１０よりも大きく投写されている場合であっても、プロジェクタ２０は、複数色キャリブレーション画像を用いることにより、元の画像の形状のまま縮小した単色（例えば、白、白に近いグレー等）の領域をスクリーン１０上に形成することができる。
そして、プロジェクタ２０は、投写対象物上に形成された単色領域を撮像することにより、画像の歪みを把握することができる。
さらに、画像処理システム等は、撮像によって把握した投写対象物の縦横比と、キャリブレーション画像の縦横比とに基づき、歪み補正後の画像の投写位置を決定することができる。また、画像処理システム等は、当該歪み補正後の画像の投写位置と、歪み補正前の画像の投写位置との差異に基づき、どの程度画像を調整すればよいかを示す画像歪み補正用情報を生成することができ、画像の歪みを適切に補正することができる。
また、本実施形態によれば、プロジェクタ２０は、スクリーン１０の形状に合わせるのではなく、画像本来の縦横比で画像が投写されるように画像歪み補正用情報を生成することにより、本来の縦横比で画像を投写することができる。
したがって、本実施形態によれば、プロジェクタ２０は、プロジェクタ２０の使用時に発生する縦方向および横方向の投写された画像の歪みを自動的かつ正確なアスペクト比で補正することができる。特に、プロジェクタ２０は、スクリーン１０の枠を利用した補正を行うことにより、画像の縦横の歪み検出角度の制約を受けずに補正することができる。
さらに、補正後の投写領域の直線成分がスクリーン１０の枠と平行になるため、プロジェクタ２０が平面に対して傾いて設置されているような場合であっても、プロジェクタ２０は、視覚的に見やすい画像をスクリーン１０上で表示することができる。
また、プロジェクタ２０は、投写対象領域１１を検出する際に中心から外側に向かって輝度値を比較することにより、スクリーン１０上の障害物の影響を受けにくく、より正確に投写対象領域１１を検出することができる。
（第１の実施例の変形例）
なお、本発明の適用は上述した実施例に限定されない。
例えば、上述した実施例では、プロジェクタ２０は、センサー６０の撮像領域１７の座標を２次元で取り扱い、変数ｓを１であると仮定して処理を行ったが、センサー６０の座標を３次元で取り扱い、変数ｓを実際のセンサー６０に適合した値に設定してもよい。
図９は、本実施形態の一例に係るセンサー６０の撮像平面の模式図である。
例えば、センサー６０の水平解像度がＷでセンサー６０の水平画角がθｈの場合、上述した変数Ｐｚ＝（Ｗ／２）／ｔａｎ（θｈ／２）である。
そして、補正用情報生成部１２０は、スクリーン１０の３次元座標Ａ’Ｂ’Ｃ’Ｄ’を、センサー３次元座標系（ｘｃ，ｙｃ，ｚｃ）からプロジェクタ３次元座標系（ｘｐ，ｙｐ，ｚｐ）に変換する。より具体的には、補正用情報生成部１２０は、例えば、４行４列の行列を用い、（ｘｃ，ｙｃ，ｚｃ，１）を（ｘｐ，ｙｐ，ｚｐ，１）に変換してもよい。また、この行列中のパラメータとしては、センサー６０とプロジェクタ２０の位置関係および角度関係により決定される。
そして、補正用情報生成部１２０は、プロジェクタ３次元座標系のスクリーン１０の４隅の座標であるａ（ａｘ，ａｙ，ａｚ）〜ｄ（ｄｘ，ｄｙ，ｄｚ）のうち３点を用いてスクリーン１０の法線ベクトルＮ（Ｎｘ，Ｎｙ，Ｎｚ）を演算する。
例えば、ａ、ｃおよびｄの３点を用いて演算を行う場合、Ｎｘ＝（ｄｙ−ｃｙ）＊（ａｚ−ｄｚ）−（ｄｚ−ｃｚ）＊（ａｙ−ｄｙ）、Ｎｙ＝（ｄｚ−ｃｚ）＊（ａｘ−ｄｘ）−（ｄｘ−ｃｘ）＊（ａｚ−ｄｚ）、Ｚｎ＝（ｄｘ−ｃｘ）＊（ａｙ−ｄｙ）−（ｄｙ−ｃｙ）＊（ａｘ−ｄｘ）である。
この法線ベクトルＮと、ベクトル（０，０，１）の成す角度（水平θｘ，垂直θｙ）がスクリーン１０とプロジェクタ２０の投写光の光軸の成す角度に相当するため、補正用情報生成部１２０は、θｘおよびθｙを用いて補正後の投写領域の４隅の座標を２次元ルックアップテーブルから検索する。
図１０は、本実施形態の一例に係る補正後の投写領域の４隅の座標を示す模式図であり、図１１は、本実施形態の一例に係る補正後の投写領域の４隅の座標を示す２次元ルックアップテーブルである。
図１１に示すように、上記２次元ルックアップテーブルでは、θｘ、θｙの値と、補正後の投写領域の４隅の座標ＥＦＧＨそれぞれのｘｙ座標とが関連づけられている。
補正用情報生成部１２０は、図１１に示す２次元ルックアップテーブルを用いて座標ＥＦＧＨそれぞれのｘｙ座標を用いて画像歪み補正用情報を生成し、当該画像歪み補正用情報を歪み補正部１３０に送る。
このような手法によってもプロジェクタ２０は、スクリーン１０の４隅の座標に基づいて画像歪み補正を行うことができる。
（第２の実施例）
次に、所定のアスペクト比で画像を投写するためのプロジェクタ２０について説明する。
例えば、図１に示すように、投写画像１２の一部がスクリーン１０の外部に投写されている場合であっても、投写画像１２を９等分してその中央の領域である中央領域を基準とすることにより、プロジェクタ２０は、スクリーン１０内に投写画像の中央領域を捉えることができる。
例えば、プロジェクタ２０は、全部黒の第１のキャリブレーション画像の各画素と、中央領域が白でその周辺の８つの周辺領域が黒である第２のキャリブレーション画像の各画素とを比較することにより、中央領域のセンサー６０の撮像領域１７における位置を把握することができる。
図１２は、本実施形態の一例における撮像領域１７を示す模式図である。また、図１３は、本実施形態の一例に係るスクリーン１０を、センサー６０を原点として透視投影した場合の模式図である。
この場合、センサー６０は、撮像領域１７における投写対象領域１１内に中央領域１５を捉えることができる。
例えば、センサー６０の撮像領域１７の中心を原点とするセンサー座標系を仮定する。また、センサー座標系においては、撮像領域１７の横方向をｘ軸、撮像領域１７の縦方向をｙ軸、撮像領域１７の法線方向をｚ軸と仮定する。
投写対象領域情報生成部１４０は、センサー座標系における投写対象領域１１の座標を示す投写対象領域情報を生成する。また、投写領域情報生成部１５０は、センサー座標系における投写領域の座標を示す投写領域情報を生成する。
撮像領域１７における投写対象領域１１の４隅の座標をそれぞれE(Ex,Ey)、F(Fx,Fy)、G(Gx,Gy)、H(Hx,Hy)と仮定する。これらの２次元座標は、３次元空間で実在するスクリーン１０の４頂点E'F'G'H'をセンサー６０の原点Ｏの法線方向にある仮想撮像面z=Pzに透視投影した座標に相当する。なお、ここで原点Ｏは、撮像領域１７の中心点である。
よって、仮想撮像面に透視投影されたスクリーン１０の４頂点のセンサー３次元座標は、ｚ軸成分が等しいE(Ex,Ey,Pz)、F(Fx,Fy,Pz)、G(Gx,Gy,Pz)、H(Hx,Hy,Pz)と表現できる。ここで、センサー６０の水平画角θcと水平解像度VRの関係から投写対象領域情報生成部１４０は、Pz=(VR/2)/tan(θc/2)を演算することにより、Ｐｚを求めることができる。
また、実在のスクリーン１０の４頂点は、センサー６０の原点と頂点EFGHを結ぶ先に存在することからs*E(Ex,Ey,Pz)、t*F(Fx,Fy,Pz)、u*G(Gx,Gy,Pz)、v*H(Hx,Hy,Pz)と表現できる。なお、ｓ、ｔ、ｕ、ｖは実数である。
ここで、実在のスクリーン１０は、長方形であるため、辺E'F'と辺G'H'、辺E'H'と辺F'G'のそれぞれが平行であり、かつ、長さが等しいという条件が成立する。投写対象領域情報生成部１４０は、この条件に基づいてｓ、ｔ、ｕ、ｖについて解くことにより、センサー６０の３次元座標系におけるスクリーン１０の４頂点の座標を求めることができ、補正用情報生成部１２０は、当該座標に基づき、スクリーン１０のアスペクト比を求めることができる。
まず、上記前提からE'F'=(t*Fx-s*Ex,t*Fy-s*Ey,t*Pz-s*Pz)であり、H'G'=(u*Gx-v*Hx,u*Gy-v*Hy,u*Pz-v*Pz)である。
また、t*Fx-s*Ex=u*Gx-v*Hx、t*Fy-s*Ey,u*Gy-v*Hy、t*Pz-s*Pz=u*Pz-v*Pzである。こ
れからt*Fx-u*Gx+v*Hx=s*Ex・・・（１）、t*Fy-u*Gy+v*Hy=s*Ey・・・（２）、t*Pz-u*Pz+v*Pz=s*Pz・・・（３）の式が成立する。
また、（３）式をPzで割ることにより、t-u+v=s・・・（４）である。
（１）式から（４）式にHxを掛けた値を引くことにより、(Fx-Hx)*t+(Hx-Gx)*u=(Ex-Hx)*s・・・（５）である。
また、（２）式から（４）式にHyを掛けた値を引くことにより、( Fy-Hy)*t+(Hy-Gy)*u=(Ey-Hy)*s・・・（６）である。
（５）式と（６）式において、a=(Fx-Hx)、b=(Hx-Gx)、c=(Ex-Hx)、d=(Fy-Hy)、e=(Hy-Gy)、f=(Ey-Hy)と仮定する。この場合、（５）式はa*t+b*u=c*sと表現でき、（６）式はd*t+e*u=f*sと表現できる。
この方程式を解くことにより、t=s*(e*c-b*f)/(e*a-b*d)であり、u=s*(d*c-a*f)/(d*b-a*e)となる。すなわち、ｔおよびｕをｓで表現することができる。ここで、奥行き情報を示す変数ｓを変化させた場合のスクリーン１０の位置について説明する。
図１４は、本実施形態の一例におけるsを変化させた場合の模式図である。
図１４に示すように、ｓを変化させた場合であっても、スクリーン１０の形状は相似形であるため、アスペクト比は不変である。よって、s=1と仮定することにより、アスペク
ト比を演算することができる。この場合、s=1、t=(e*c-b*f)/(e*a-b*d)、u=(d*c-a*f)/(d*b-a*e)、v=1-t*uと表現できる。
このようにして、補正用情報生成部１２０は、投写対象領域情報生成部１４０からの投写対象領域情報に基づき、実在のスクリーン１０の４頂点の３次元座標を用いてアスペクト比を演算する。ここで、アスペクト比は、対象領域の縦の辺の長さ／対象領域の横の辺の長さであるものとする。例えば、横の長さ：縦の長さ＝４：３である場合、アスペクト比は3/4=0.75である。ここでは、投写画像１２のアスペクト比が0.75になるように補正することを想定する。
図１５は、本実施形態の一例に係るスクリーン１０と補正後の投写領域との関係を示す図であり、図１５（Ａ）は、縦より横が長い場合のスクリーン１０を示す図であり、図１５（Ｂ）は、図１５（Ａ）のスクリーン１０における補正後の投写領域を示す図である。また、図１６は、本実施形態の一例に係るスクリーン１０と補正後の投写領域との関係を示す図であり、図１６（Ａ）は、縦より横が短い場合のスクリーン１０を示す図であり、図１６（Ｂ）は、図１６（Ａ）のスクリーン１０における補正後の投写領域を示す図である。
スクリーン１０のアスペクト比が0.75とほぼ等しい場合（0.75に一致しなくても許容範囲内であればよい。）、補正用情報生成部１２０は、投写画像１２の形状をスクリーン１０の形状に一致させるように補正用情報を生成する。説明を簡単にするため、本実施例では、補正用情報生成部１２０は、アスペクト比=0.75の場合は投写画像１２の形状をスクリーン１０の形状に一致させるように補正用情報を生成するもの仮定する。
また、図１５（Ａ）に示すように、アスペクト比<0.75の場合、すなわち、スクリーン
１０が横長の場合、補正用情報生成部１２０は、図１５（Ｂ）に示すように、スクリーン
１０の左右に余白を有する領域に補正後の投写領域A'B'C'D'が形成されるように補正用情報を生成する。
アスペクト比Sa<0.75の場合、A'はE'H'をm:nに分割する点であることからA'=(n*E'+m*H')/(m+n)である。なお、ここで、m+n=1であるものと仮定する。
また、スクリーン１０の横：縦＝sa:1であることから補正後の投写領域のアスペクト比を0.75に維持するためには、m=(1-4*Sa/3)/2,n=1-(1-4*Sa/3)/2にする必要がある。投写領域情報生成部１５０は、A'以外のB'C'D'も同様に演算する。
また、図１６（Ａ）に示すように、アスペクト比>0.75の場合、すなわち、スクリーン
１０が縦長の場合、補正用情報生成部１２０は、図１６（Ｂ）に示すように、スクリーン１０の上下に余白を有する領域に補正後の投写領域A'B'C'D'が形成されるように補正用情報を生成する。
アスペクト比Sa>0.75の場合、A'はE'F'をm:nに分割する点であることからA'=(n*E'+m*F')/(m+n)である。なお、ここで、m+n=1であるものと仮定する。
また、スクリーン１０の縦：横＝sa:1であることから補正後の投写領域のアスペクト比を0.75に維持するためには、m=(Sa-3/4)/2,n=Sa-(Sa-3/4)/2にする必要がある。投写領域情報生成部１５０は、A'以外のB'C'D'も同様に演算する。
このようにして投写領域情報生成部１５０は、補正後の投写領域の座標A'B'C'D'を示す投写領域情報を生成することができる。
さらに、補正用情報生成部１２０は、投写領域情報生成部１５０からの投写領域情報に基づき、補正後の投写領域を若干拡大するように補正用情報を生成してもよい。これにより、いわゆる縁なし状態の画像とし、画像の見栄えをよくすることができる。例えば、拡大率をPs、補正後の投写領域の対角線の交点をPとすると、補正用情報生成部１２０は、拡大後の投写領域の頂点A'=Ps*PA'+OPで求めることができる。補正用情報生成部１２０は、A'以外のB'C'D'も同様に演算する。
次に、このようにして求めたセンサー座標系におけるA'B'C'D'を、スクリーン１０上に透視投影する。この変換処理は、奥行き情報であるzをPzに揃えることによって実行される。
例えば、補正用情報生成部１２０は、頂点A'については、A'x=A'x/A'z*Pz、A'y=A'y/A'z*Pz、A'z=A'z/A'z*Pzである。補正用情報生成部１２０は、A'以外のB'C'D'も同様に演算する。
図１７は、本実施形態の一例における撮像領域１７における補正後の投写領域１９を示す模式図である。また、図１８は、本実施形態の一例に係る補正後の投写領域を、センサー６０を原点として透視投影した場合の模式図である。
最後に、補正用情報生成部１２０は、スクリーン１０上における補正後の投写領域の座標を液晶パネル９２０における座標に変換する。
まず、既知であるセンサー座標系における中央領域の４頂点の座標A(Ax,Ay)、B(Bx,By)、C(Cx,Cy)、D(Dx,Dy)と、液晶パネル９２０における中央領域の４頂点の座標I(Ix,Iy)、J(Jx,Jy)、K(Kx,Ky)、L(Lx,Ly)との対応関係に基づき、座標変換用パラメータを生成する。
図１９は、本実施形態の一例に係る座標変換用パラメータを求める演算式を示す図である。
補正用情報生成部１２０は、図１９に示す座標変換用パラメータPa〜Phを用いて補正後の投写領域A'B'C'D'の座標を液晶パネル９２０における座標に変換する。
例えば、頂点A'の場合、A'x=(Pa*A'x+Pb*A'y+Pc)/(Pg*A'x+Ph*A'y+1)であり、A'y=(Pd*A'x+Pe*A'y+Pf)/(Pg*A'x+Ph*A'y+1)である。頂点B'C'D'についても同様である。
補正用情報生成部１２０は、元の液晶パネル９２０における座標と、補正後の液晶パネル９２０における座標との相違に基づき、補正用情報を生成する。また、歪み補正部１３０は、当該補正用情報に基づき、画像信号を補正する。また、画像投写部１９０は、補正された画像信号に基づき、画像を投写する。
これにより、プロジェクタ２０は、スクリーン１０の中央に、スクリーン１０をできるだけ有効に活用して歪みのない画像を投写することができる。
以上のように、本実施形態によれば、プロジェクタ２０は、所望のアスペクト比でスクリーン１０の領域を有効に使用して画像を投写することができる。これにより、プロジェクタ２０は、スクリーン１０の形状の影響を受けずに観察者にとって見やすい画像を投写することができる。
また、プロジェクタ２０は、センサー座標系を用いて演算することにより、プロジェクタ２０とセンサー６０との位置の違いの影響を受けずに画像を適切に補正することができる。これにより、センサー６０としては、例えば、プロジェクタ２０に内蔵したセンサー、プロジェクタ２０とは離れた位置にあるセンサー、デジタルカメラ等の種々の撮像手段を採用することができる。
（変形例）
本発明は、上述した実施例に限定されず、種々の変形が可能である。
例えば、特に、本発明は、投写画像１２がスクリーン１０を包含している場合に効果的であるが、プロジェクタ２０は、投写画像１２とスクリーン１０との包含関係を自動判別し、判別結果に応じて適用する画像補正の手法を決定してもよい。
さらに、例えば、プロジェクタ２０がズーム機能を有する場合、プロジェクタ２０は、投写画像１２がスクリーン１０を包含するように、強制的にズーム調整を行って画像を投写してもよい。
また、上述した実施例では、投写画像１２を９等分してその中央の領域である中央領域を基準としたが、プロジェクタ２０がスクリーン１０内に投写画像の中央領域を捉えることができるものであれば、中央領域の大きさ、位置は任意でよい。
また、上述した実施例では、投写対象物としてスクリーン１０を用いたが、４隅を検出可能な矩形状のものであれば、投写対象物は、例えば、ホワイトボード、壁等であってもよい。
また、上述した実施例では、画像処理システムとしてプロジェクタ２０を用いたが、本
発明は、プロジェクタ２０以外にもＣＲＴ(Cathode Ray Tube)、ＬＥＤ(Light Emitting Diode)、ＥＬ(Electro Luminescence)等のディスプレイ用の画像処理システムにも有効である。
また、プロジェクタ２０としては、例えば、液晶プロジェクタ、ＤＭＤ(Digital Micromirror Device)を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。
画像投写時の状態を示す模式図である。 本実施形態の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。 本実施形態の一例に係る画像処理の流れを示すフローチャートである。 本実施形態の一例に係る撮像領域を示す模式図である。 角度θと距離Ｌとの関係を示す模式図である。 本実施形態の一例に係るＸＹＺ３次元空間の模式図である。 本実施形態の一例に係る補正後の投写領域の模式図である。 本実施形態の一例に係るセンサーの撮像平面の模式図である。 本実施形態の一例に係る補正後の投写領域の４隅の座標を示す模式図である。 本実施形態の一例に係る補正後の投写領域の４隅の座標を示す２次元ルックアップテーブルである。 本実施形態の一例における撮像領域を示す模式図である。 本実施形態の一例に係るスクリーンを、センサーを原点として透視投影した場合の模式図である。 本実施形態の一例におけるsを変化させた場合の模式図である。 本実施形態の一例に係るスクリーンと補正後の投写領域との関係を示す図であり、図１５（Ａ）は、縦より横が長い場合のスクリーンを示す図であり、図１５（Ｂ）は、図１５（Ａ）のスクリーンにおける補正後の投写領域を示す図である。 本実施形態の一例に係るスクリーンと補正後の投写領域との関係を示す図であり、図１６（Ａ）は、縦より横が短い場合のスクリーンを示す図であり、図１６（Ｂ）は、図１６（Ａ）のスクリーンにおける補正後の投写領域を示す図である。 本実施形態の一例における撮像領域における補正後の投写領域を示す模式図である。 本実施形態の一例に係る補正後の投写領域を、センサーを原点として透視投影した場合の模式図である。 本実施形態の一例に係る座標変換用パラメータを求める演算式を示す図である。
符号の説明
１０ スクリーン（投写対象物）、１２ 投写画像、２０ プロジェクタ（画像処理システム）、６０ センサー、１２０ 補正用情報生成部、１３０ 歪み補正部、１４０ 投写対象領域情報生成部、１５０ 投写領域情報生成部、１７０ キャリブレーション画像情報生成部、１８０ 撮像部、１９０ 画像投写部、９００ 情報記憶媒体

Claims (9)

  1. キャリブレーション画像を投写対象物に向け投写する画像投写手段と、
    前記キャリブレーション画像を撮像して撮像情報を生成する撮像手段と、
    前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、
    前記撮像情報に基づき、前記撮像領域における投写領域の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
    前記投写対象領域情報と、前記投写領域情報とに基づき、画像歪み補正用情報を生成する補正用情報生成手段と、
    前記画像歪み補正用情報に基づき、画像の歪みが補正されるように画像信号を補正する歪み補正手段と、
    を含み、
    前記画像投写手段は、前記歪み補正手段によって補正された画像信号に基づき、画像を投写し、
    前記補正用情報生成手段は、前記投写対象領域情報に基づき、前記投写対象物の縦横比を示す第１の縦横比を把握し、当該第１の縦横比が許容範囲内である場合は当該第１の縦横比で画像が表示され、当該第１の縦横比が当該許容範囲外である場合は所望の縦横比を示す第２の縦横比で画像が表示されるように、前記投写領域情報に基づき、前記画像投写手段の有する投写用パネルにおける投写領域の４隅の座標を示す投写座標系投写領域情報を生成するとともに、当該投写座標系投写領域情報に基づき、前記画像歪み補正用情報を生成することを特徴とする画像処理システム。
  2. 請求項１において、
    前記補正用情報生成手段は、
    前記投写対象領域情報に基づき、前記撮像領域の２次元平面に前記撮像手段の光軸を３次元目として加えた３次元空間における原点と、前記投写対象物の４隅との前記光軸上の相対距離を演算し、
    前記投写対象領域情報と、前記相対距離とに基づき、前記投写対象物の４隅の前記３次元空間における座標を演算し、
    当該座標に基づき、前記投写対象物の対向しない２辺の長さをそれぞれ演算することにより前記第１の縦横比を演算することを特徴とする画像処理システム。
  3. 請求項１、２のいずれかにおいて、
    前記投写対象領域情報生成手段は、前記撮像領域の中央付近から各画素を放射状に探索するように、前記撮像情報の画像信号値を探索し、探索中の当該画像信号値の差異に基づいて前記投写対象領域を把握して前記投写対象領域情報を生成することを特徴とする画像処理システム。
  4. キャリブレーション画像を投写対象物に向け投写する画像投写手段と、
    前記キャリブレーション画像を撮像して撮像情報を生成する撮像手段と、
    前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、
    前記撮像情報に基づき、前記撮像領域における投写領域の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
    前記投写対象領域情報と、前記投写領域情報とに基づき、前記投写対象領域に所望の縦横比で画像が投写されるように画像歪み補正用情報を生成する補正用情報生成手段と、
    前記画像歪み補正用情報に基づき、画像の歪みが補正されるように画像信号を補正する歪み補正手段と、
    を含み、
    前記画像投写手段は、前記歪み補正手段によって補正された画像信号に基づき、画像を投写し、
    前記補正用情報生成手段は、前記投写対象領域情報に基づき、前記投写対象物の縦横比を示す第１の縦横比を把握し、当該第１の縦横比が許容範囲内である場合は当該第１の縦横比で画像が表示され、当該第１の縦横比が当該許容範囲外である場合は所望の縦横比を示す第２の縦横比で画像が表示されるように、前記投写領域情報に基づき、前記画像投写手段の有する投写用パネルにおける投写領域の４隅の座標を示す投写座標系投写領域情報を生成するとともに、当該投写座標系投写領域情報に基づき、前記画像歪み補正用情報を生成することを特徴とするプロジェクタ。
  5. コンピュータにより読み取り可能なプログラムであって、
    コンピュータを、
    キャリブレーション画像を投写対象物に向け投写する画像投写手段と、
    前記キャリブレーション画像を撮像して撮像情報を生成する撮像手段と、
    前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、
    前記撮像情報に基づき、前記撮像領域における投写領域の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
    前記投写対象領域情報と、前記投写領域情報とに基づき、前記投写対象領域に所望の縦横比で画像が投写されるように画像歪み補正用情報を生成する補正用情報生成手段と、
    前記画像歪み補正用情報に基づき、画像の歪みが補正されるように画像信号を補正する歪み補正手段として機能させ、
    前記画像投写手段は、前記歪み補正手段によって補正された画像信号に基づき、画像を投写し、
    前記補正用情報生成手段は、前記投写対象領域情報に基づき、前記投写対象物の縦横比を示す第１の縦横比を把握し、当該第１の縦横比が許容範囲内である場合は当該第１の縦横比で画像が表示され、当該第１の縦横比が当該許容範囲外である場合は所望の縦横比を示す第２の縦横比で画像が表示されるように、前記投写領域情報に基づき、前記画像投写手段の有する投写用パネルにおける投写領域の４隅の座標を示す投写座標系投写領域情報を生成するとともに、当該投写座標系投写領域情報に基づき、前記画像歪み補正用情報を生成することを特徴とするプログラム。
  6. コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
    請求項５に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
  7. キャリブレーション画像を、画像投写部を用いて投写対象物に向け投写し、
    前記キャリブレーション画像を、撮像部を用いて撮像して撮像情報を生成し、
    前記撮像情報に基づき、前記撮像部の撮像領域における前記投写対象物の４隅の座標を示す投写対象領域情報を生成し、
    前記撮像情報に基づき、前記撮像領域における投写領域の４隅の座標を示す投写領域情報を生成し、
    前記投写領域情報に基づき、前記画像投写部の有する投写用パネルにおける投写領域の４隅の座標を示す投写座標系投写領域情報を生成し、
    前記投写座標系投写領域情報に基づき、前記投写対象物の縦横比を示す第１の縦横比を把握し、
    当該第１の縦横比が許容範囲内であるかどうかを判定し、
    当該第１の縦横比が当該許容範囲内である場合は当該第１の縦横比で画像が投写され、当該第１の縦横比が当該許容範囲外である場合は所望の縦横比を示す第２の縦横比で画像が投写されるように、画像歪み補正用情報を生成し、
    前記画像歪み補正用情報に基づき、画像の歪みが補正されるように画像信号を補正し、
    補正した画像信号に基づき、前記画像投写部を用いて画像を投写することを特徴とする画像処理方法。
  8. 請求項７において、
    前記投写対象領域情報に基づき、前記撮像領域の２次元平面に前記撮像部の光軸を３次元目として加えた３次元空間における原点と、前記投写対象物の４隅との前記光軸上の相対距離を演算し、
    前記投写対象領域情報と、前記相対距離とに基づき、前記投写対象物の４隅の前記３次元空間における座標を演算し、
    当該座標に基づき、前記投写対象物の対向しない２辺の長さをそれぞれ演算することにより前記第１の縦横比を演算することを特徴とする画像処理方法。
  9. 請求項７、８のいずれかにおいて、
    前記投写対象領域情報を生成する際に、前記撮像領域の中央付近から各画素を放射状に探索するように、前記撮像情報の画像信号値を探索し、探索中の当該画像信号値の差異に基づいて前記投写対象領域を把握して前記投写対象領域情報を生成することを特徴とする画像処理方法。
JP2008120274A 2003-07-02 2008-05-02 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 Expired - Fee Related JP4572377B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008120274A JP4572377B2 (ja) 2003-07-02 2008-05-02 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003270320 2003-07-02
JP2008120274A JP4572377B2 (ja) 2003-07-02 2008-05-02 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004078412A Division JP4150924B2 (ja) 2000-03-18 2004-03-18 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Publications (2)

Publication Number Publication Date
JP2008251026A JP2008251026A (ja) 2008-10-16
JP4572377B2 true JP4572377B2 (ja) 2010-11-04

Family

ID=39975817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008120274A Expired - Fee Related JP4572377B2 (ja) 2003-07-02 2008-05-02 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Country Status (1)

Country Link
JP (1) JP4572377B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5233613B2 (ja) * 2008-11-26 2013-07-10 セイコーエプソン株式会社 投写型表示装置および配置関係検出方法
JP2010166360A (ja) * 2009-01-16 2010-07-29 Seiko Epson Corp プロジェクタ、その制御方法、及びその制御プログラム
JP5560721B2 (ja) * 2010-01-12 2014-07-30 セイコーエプソン株式会社 画像処理装置、画像表示システム、及び画像処理方法
JP5560722B2 (ja) * 2010-01-12 2014-07-30 セイコーエプソン株式会社 画像処理装置、画像表示システム、および画像処理方法
CN109495729B (zh) * 2018-11-26 2023-02-10 青岛海信激光显示股份有限公司 投影画面校正方法和系统
CN110766615B (zh) * 2019-09-09 2023-07-14 北京美院帮网络科技有限公司 一种图片矫正方法、装置、终端及计算机可读存储介质
CN114520893B (zh) * 2020-11-18 2022-10-04 成都极米科技股份有限公司 画面投影方法、装置、投影设备及可读存储介质
CN112584112B (zh) * 2020-12-02 2023-10-03 深圳市当智科技有限公司 基于大小校正的投影方法、系统及可读存储介质
CN114157848A (zh) * 2021-12-01 2022-03-08 深圳市火乐科技发展有限公司 投影设备校正方法、装置、存储介质以及投影设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260785A (ja) * 2002-07-23 2004-09-16 Nec Viewtechnology Ltd 画像歪み補正機能を備えたプロジェクタ装置
JP2004274283A (ja) * 2003-03-07 2004-09-30 Casio Comput Co Ltd 投影システム、及び投影装置、画像供給装置、プログラム
JP2004363665A (ja) * 2003-06-02 2004-12-24 Nec Viewtechnology Ltd 投射型表示装置における歪み補正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260785A (ja) * 2002-07-23 2004-09-16 Nec Viewtechnology Ltd 画像歪み補正機能を備えたプロジェクタ装置
JP2004274283A (ja) * 2003-03-07 2004-09-30 Casio Comput Co Ltd 投影システム、及び投影装置、画像供給装置、プログラム
JP2004363665A (ja) * 2003-06-02 2004-12-24 Nec Viewtechnology Ltd 投射型表示装置における歪み補正方法

Also Published As

Publication number Publication date
JP2008251026A (ja) 2008-10-16

Similar Documents

Publication Publication Date Title
JP4150924B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4572377B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3879858B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
KR100648592B1 (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
JP4006601B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
KR100591708B1 (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
JP3871061B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP5266954B2 (ja) 投写型表示装置および表示方法
JP5266953B2 (ja) 投写型表示装置および表示方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100727

R150 Certificate of patent or registration of utility model

Ref document number: 4572377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees