JP4670424B2 - 情報処理装置および情報処理方法、画像表示システム、並びに、プログラム - Google Patents

Description

本発明は、情報処理装置および情報処理方法、画像表示システム、並びに、プログラムに関し、特に、プロジェクタの投影像の幾何歪みの補正に用いて好適な、情報処理装置および情報処理方法、画像表示システム、並びに、プログラムに関する。

プロジェクタを用いてスクリーンに投影された画像は、プロジェクタに入力された画像に対して、幾何歪みが発生する。幾何歪みのうち、キーストン（または、キーストーンとも称される）とは、プロジェクタをスクリーンの正面に置くことができないときに生じる、投影画像の台形の歪みのことであり、このキーストンを補正する技術がある（例えば、非特許文献１）。

Rahul Sukthankar, Robert G. Stockton, Matthew D. Mullin, ：Smarter Presentations: Exploiting Homography in Camera-Projector System,：Proceedings of International Conference on Computer Vision, 2001

例えば、図１に示されるプロジェクタを用いた映像表示システムのように、特別な画像補正機構を用いることなく、プロジェクタ１を用いてスクリーン１に画像を投影し、投影された画像である投影画像１１をカメラ３を用いて撮像し、プロジェクタ１に供給された画像と撮像された投影画像１１とを比較する。なお、ここでは、撮影するカメラ３のレンズの歪みは補正され、その影響はないものとする。

図２のＡに、プロジェクタ１に入力された画像２１を示し、図２のＢに、カメラ３によって撮像された投影画像１１を示す。プロジェクタ１に入力された画像２１の任意の画素位置を表す点を点１（ｘ，ｙ）、撮影画像１１上で、画像２１の点１(x, y)に相当する位置を点２（ｕ，ｖ）とすると、それらの関係は、一般的に、次の式（１）および式（２）でモデル化することができる。

ｕ＝（ａ₁ｘ＋ａ₂ｙ＋ａ₃）／（ａ₇ｘ＋ａ₈ｙ＋１）・・・（１）
ｖ＝（ａ₄ｘ＋ａ₅ｙ＋ａ₆）／（ａ₇ｘ＋ａ₈ｙ＋１）・・・（２）

ここで、ａ₁，ａ₂，ａ₃，ａ₄，ａ₅，ａ₆，ａ₇、および、ａ₈は、所定の係数である。そして、例えば、入力画像上の点の位置座標とその点のカメラ画像上での位置座標のペアを複数求めることなどにより、係数ａ₁，ａ₂，ａ₃，ａ₄，ａ₅，ａ₆，ａ₇、および、ａ₈が求められ、補正処理を行うことができる。

図３に、プロジェクタからの光線に対する角度πの平面ｘｙ、および、角度π´の平面ｕｖの模式図を示す。式（１）および式（２）のモデル式は、プロジェクタ１の投影に非線型な歪みがない（換言すれば、直線は直線に写される）という仮定の基に成立している。すなわち、プロジェクタ１の投影に非線形の歪みがない場合のみ、式（１）および式（２）のモデルは成り立つ。一方、その仮定が成り立たないケースでは、精度の良いモデル化はできない。

プロジェクタ１の投射レンズは、投影した像の大きさを自由に調節できる機構（ズーム機構）が備わっているのが一般的である。しかしながら、プロジェクタの投射レンズの倍率によって、投影される画像には、非線形の歪みが生じてしまうため、プロジェクタ１の投影に非線型な歪みがないという仮定は成り立たない場合がある。例えば、図４に示すように、倍率が最小のときにプロジェクタ１により投影される画像３１は、投影像の上辺が上に凸に、倍率が最大のときにプロジェクタ１により投影される画像３２は、投影像の上辺が下に凸に歪むことがある。このような非線形の歪みは、投影される画像の倍率に基づいて、上に凸と下に凸との間を緩やかに変化する。

このように、プロジェクタ１により投影される画像の歪みが上下で非対称なのは、図５に示すように、プロジェクタの投射レンズの光学中心と投影する像４１との中心が偏心しているためである。

このように、プロジェクタ１により投影される画像に非線形な歪みが生じている場合、上述した方法では、良い精度でモデル化を行うことはできない。しかしながら、従来では、このような歪みの影響を無視し精度の悪いモデル化が行われてきた。また、精度をあげるためには、例えば、プロジェクタ１の投射レンズの歪みを考慮したモデル化を行うことにより対処されていたが、そのような場合は、処理が複雑になり、モデル化されても、利用者にとって扱いにくいものとなっていた。

本発明はこのような状況に鑑みてなされたものであり、複雑なモデル化を行うことなく、精度の高い補正を行うことができるようにするものである。

本発明の情報処理装置は、プロジェクタへの、プロジェクタの投影歪みの検出に用いる第１の画像の供給を制御する第１の画像供給制御手段と、第１の画像供給制御手段によりプロジェクタへの供給が制御され、プロジェクタにより表示された第１の画像を撮像した第２の画像を取得する第２の画像取得手段と、第２の画像取得手段により取得された第１の画像を撮像した第２の画像を基に、プロジェクタにおいて投影歪みが発生しない投影倍率を検出する適正投影倍率検出手段とを備えることを特徴とする。

プロジェクタの投影倍率を適正投影倍率検出手段により検出された適正投影倍率とした状態において、キーストン補正処理を実行するキーストン補正処理手段を更に備えさせるようにすることができる。

適正投影倍率検出手段には、第２の画像取得手段により取得された第２の画像に含まれる第１の画像における水平方向の直線に対応する部分が直線であるかまたは直線に近い状態である場合、プロジェクタの投影倍率を適正倍率であると判断させるようにすることができる。

第１の画像供給制御手段によりプロジェクタへの供給が制御される第１の画像は、矩形の上辺が輝線となり、他の部分の輝度は低い値となっている画像であるものとすることができる。

プロジェクタの投影倍率を制御する投影倍率制御手段を更に備えさせるようにすることができ、適正投影倍率検出手段には、投影倍率制御手段により最小倍率から最大倍率まで、所定の変化量でプロジェクタの投影倍率を変化させた場合に第２の画像取得手段により取得されるそれぞれの投影倍率における第１の画像を撮像した第２の画像を基に、適正投影倍率を検出させるようにすることができる。

プロジェクタの投影倍率を制御する投影倍率制御手段を更に備えさせるようにすることができ、キーストン補正手段には、投影倍率制御手段によりプロジェクタの投影倍率が適正投影倍率に制御された状態においてキーストン補正処理を実行させるようにすることができる。

プロジェクタを使用するユーザが、プロジェクタの倍率を適正投影倍率検出手段により検出された適正投影倍率に調整するための補助となる音声または画像の出力を制御する補助出力制御手段を更に備えさせるようにすることができる。

本発明の情報処理方法およびプログラムは、プロジェクタへの、プロジェクタの投影歪みの検出に用いる第１の画像の供給を制御する第１の画像供給制御ステップと、第１の画像供給制御ステップの処理によりプロジェクタへの供給が制御され、プロジェクタにより表示された第１の画像を含むように撮像された第２の画像を取得する第２の画像取得ステップと、第２の画像取得ステップの処理により取得された第１の画像を含む第２の画像を基に、プロジェクタにおいて投影歪みが発生しない投影倍率を検出する適正投影倍率検出ステップとを含むことを特徴とする。

本発明の画像表示システムは、画像表示を実行するプロジェクタと、プロジェクタによりスクリーンに投影される画像を投影歪みの検出のために撮像する撮像装置と、プロジェクタによる画像表示を補正する処理を実行する情報処理装置とにより構成される画像表示システムであって、情報処理装置は、プロジェクタへの、プロジェクタの投影歪みの検出に用いる第１の画像の供給を制御する第１の画像供給制御手段と、第１の画像供給制御手段によりプロジェクタへの供給が制御され、プロジェクタによりスクリーンに表示された第１の画像を含む画像であって、撮像装置により撮像された画像である第２の画像を取得する第２の画像取得手段と、第２の画像取得手段により取得された第１の画像を撮像した第２の画像を基に、プロジェクタにおいて投影歪みが発生しない投影倍率を検出する適正投影倍率検出手段とを備えることを特徴とする。

撮像装置には、スクリーンの表示面に対して、直角以外の角度から、プロジェクタによりスクリーンに表示された第１の画像を撮像させるようにすることができ、第２の画像取得手段には、撮像装置により、スクリーンの表示面に対して直角以外の角度から撮像された第２の画像を取得させるようにすることができる。

本発明の情報処理装置および情報処理方法、画像表示システム、並びに、プログラムにおいては、プロジェクタの投影歪みの検出に用いる第１の画像がプロジェクタへ供給され、プロジェクタにより表示された第１の画像を含むように第２の画像が撮像されて、撮像された第２の画像が取得され、この第２の画像を基に、プロジェクタにおいて投影歪みが発生しない投影倍率が検出される。

本発明によれば、プロジェクタにおいて投影歪みが発生しない投影倍率が検出される。特に、プロジェクタの投影歪みを検出するために投影歪み検出用の画像を用いることにより、複雑なモデル化を行うことなく、精度の高い補正を行うことができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

更に、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の情報処理装置（例えば、図１１の補正処理装置６３または図１７の補正処理装置２２１）は、プロジェクタへの、プロジェクタの投影歪みの検出に用いる第１の画像（例えば、図９の歪み検出用画像９１）の供給を制御する第１の画像供給制御手段（例えば、図１１または図１７のプロジェクタ出力画像制御部１５３）と、第１の画像供給制御手段によりプロジェクタへの供給が制御され、プロジェクタにより表示された第１の画像を撮像した第２の画像を取得する第２の画像取得手段（例えば、図１１または図１７の歪み検出用カメラ撮像画像取得部１８１）と、第２の画像取得手段により取得された第１の画像を撮像した第２の画像を基に、プロジェクタにおいて投影歪みが発生しない投影倍率を検出する適正投影倍率検出手段（例えば、図１１の適正投影倍率検出部１８２または図１７の適正投影倍率検出部２５１）とを備えることを特徴とする。

プロジェクタの投影倍率を適正投影倍率検出手段により検出された適正投影倍率とした状態において、キーストン補正処理を実行するキーストン補正処理手段（例えば、図１１または図１７のキーストン補正処理部１５５）を更に備えることができる。

第１の画像供給制御手段によりプロジェクタへの供給が制御される第１の画像は、矩形の上辺が輝線となり、他の部分の輝度は低い値となっている画像（例えば、図９の歪み検出用画像９１）であるものとすることができる。

プロジェクタの投影倍率を制御する投影倍率制御手段（例えば、図１１のプロジェクタ投影倍率制御部１８３）を更に備えることができ、適正投影倍率検出手段は、投影倍率制御手段により最小倍率から最大倍率まで、所定の変化量でプロジェクタの投影倍率を変化させた場合に第２の画像取得手段により取得されるそれぞれの投影倍率における第１の画像を撮像した第２の画像を基に、適正投影倍率を検出することができる。

プロジェクタの投影倍率を制御する投影倍率制御手段（例えば、図１１のプロジェクタ投影倍率制御部１８３）を更に備えることができ、キーストン補正手段は、投影倍率制御手段によりプロジェクタの投影倍率が適正投影倍率に制御された状態においてキーストン補正処理を実行することができる。

プロジェクタを使用するユーザが、プロジェクタの倍率を適正投影倍率検出手段により検出された適正投影倍率に調整するための補助となる音声または画像の出力を制御する補助出力制御手段（例えば、図１７の検出結果出力制御部２５２）を更に備えることができる。

請求項８に記載の情報処理方法は、プロジェクタによる画像表示を補正する処理を実行する情報処理装置（例えば、図１１の補正処理装置６３または図１７の補正処理装置２２１）の情報処理方法であって、プロジェクタへの、プロジェクタの投影歪みの検出に用いる第１の画像（例えば、図９の歪み検出用画像９１）の供給を制御する第１の画像供給制御ステップ（例えば、図１３のステップＳ１または図２０のステップＳ５１の処理）と、第１の画像供給制御ステップの処理によりプロジェクタへの供給が制御され、プロジェクタにより表示された第１の画像を含むように撮像された第２の画像を取得する第２の画像取得ステップ（例えば、図１４のステップＳ２２、もしくは、図２１のステップＳ７３またはステップＳ７９の処理）と、第２の画像取得ステップの処理により取得された第１の画像を含む第２の画像を基に、プロジェクタにおいて投影歪みが発生しない投影倍率を検出する適正投影倍率検出ステップ（例えば、図１４のステップＳ２８または図２１のステップＳ７８の処理）とを含むことを特徴とする。

また、請求項９に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項８に記載の情報処理方法と同様である。

請求項１０に記載の画像表示システムは、画像表示を実行するプロジェクタ（例えば、図６または図７のプロジェクタ６１、もしくは、図１５または図１６のプロジェクタ２２２）と、プロジェクタによりスクリーンに投影される画像を投影歪みの検出のために撮像する撮像装置（例えば、図６,７,１５または１６の歪み検出用カメラ６２）と、プロジェクタによる画像表示を補正する処理を実行する情報処理装置（例えば、図１１の補正処理装置６３または図１７の補正処理装置２２１）とにより構成される画像表示システムであって、情報処理装置は、プロジェクタへの、プロジェクタの投影歪みの検出に用いる第１の画像（例えば、図９の歪み検出用画像９１）の供給を制御する第１の画像供給制御手段（例えば、図１１または図１７のプロジェクタ出力画像制御部１５３）と、第１の画像供給制御手段によりプロジェクタへの供給が制御され、プロジェクタによりスクリーンに表示された第１の画像を含む画像であって、撮像装置により撮像された画像である第２の画像を取得する第２の画像取得手段（例えば、図１１または図１７の歪み検出用カメラ撮像画像取得部１８１）と、第２の画像取得手段により取得された第１の画像を撮像した第２の画像を基に、プロジェクタにおいて投影歪みが発生しない投影倍率を検出する適正投影倍率検出手段（例えば、図１１の適正投影倍率検出部１８２または図１７の適正投影倍率検出部２５１）とを備えることを特徴とする。

以下、図を参照して、本発明の実施の形態について説明する。

図６は、本発明の一実施の形態を示す画像表示システムのシステム図である。

スクリーン５１は、プロジェクタ６１により投影される画像を表示させるものである。

プロジェクタ６１は、供給された画像を、スクリーン５１に投影する。プロジェクタ６１によりスクリーン５１に投影された画像は、図６においては、プロジェクタ６１に対して、スクリーン５１を挟んだ向こう側（図６において、後述する補正用カメラ６４が設置されている側）から観察可能である（すなわち、背面投影型）。プロジェクタ６１は、補正処理装置６３の制御に基づいて、画像の投影倍率を変更することができる。

歪み検出用カメラ６２は、プロジェクタ６１の投射レンズの歪みを観測するために、プロジェクタ６１によりスクリーン５１に投影された、後述する歪み検出用画像を撮像するカメラであり、撮像した画像を補正処理装置６３に供給する。

図６に示されるように、歪み検出用カメラ６２は、プロジェクタの投射レンズの歪みを検出しやすいように、スクリーン５１に対して、斜めから投影画像を撮像することができるようにしても良い。歪み検出用カメラ６２の角度は、スクリーン５１に対して浅い（スクリーン５１に対して垂直となる角度を９０度として、０度に近い）ほうが、投影画像の歪みを検出しやすいが、あまり角度が浅すぎると、投影画像の取得と解析が困難になるので、適宜調整すると好適である。このようにすることにより、撮像された画像の直線の歪みが検出しやすくなる。

補正処理装置６３は、歪み検出用カメラ６２により取得された、プロジェクタ６１の投射レンズの歪みを観測するための画像を基に、投影画像が非線形の歪みを生じていないような適正投影倍率を検出し、検出された適正投影倍率を基に、プロジェクタ６１による画像の投影倍率の変更を制御する。

また、補正処理装置６３は、適正投影倍率において投影された画像を撮像する補正用カメラ６４から供給される画像を基に、プロジェクタ６１による投影画像のキーストン補正に必要な処理を実行する。具体的には、補正処理装置６３は、図２を用いて説明したように、入力画像上の所定の点の位置座標とその点のカメラ画像上での位置座標のペアを複数求めることなどにより、上述した式（１）および式（２）における係数ａ₁，ａ₂，ａ₃，ａ₄，ａ₅，ａ₆，ａ₇、および、ａ₈を求める。

補正用カメラ６４は、図２を用いて説明したような、入力画像上の所定の点の位置座標と、その点に対応するカメラ画像上での位置座標のペアを複数求めるために必要な補正用の画像を撮像し、補正処理装置６３に供給する。

なお、図６においては、プロジェクタ６１は、スクリーン５１の背面から画像を投射するものとして説明したが、図７に示されるように、プロジェクタ６１が、スクリーン５１の前面から映像を投射するようになされている場合（すなわち、前面投影型である場合）も、補正処理装置６３は、歪み検出用カメラ６２により取得された、プロジェクタ６１の投射レンズの歪みを観測するための画像を基に、投影画像が非線形の歪みを生じていないような適正投影倍率を検出し、検出された適正投影倍率を基に、プロジェクタ６１による画像の投影倍率の変更を制御し、適正投影倍率において投影された画像を撮像する補正用カメラ６４から供給される画像を基に、プロジェクタ６１による投影画像のキーストン補正に必要な処理を実行することができる。このとき、歪み検出用カメラ６２および補正用カメラ６４は、いずれも、スクリーン５１に対して、プロジェクタ６１と同一の方向、すなわち、プロジェクタ６１により投影される映像が表示される側に設置される。

図４を用いて説明したように、プロジェクタ６１の投射歪みの状態、換言すれば、投影像の上辺の状態が、その倍率によって、ズーム最小時の「上に凸」となる画像３１から、ズーム最大時の「下の凸」となる画像３２の状態に変化するのであれば、その間には、図８に示すように、投射歪みが最小となる画像８１が表示されるような倍率が存在する。

したがって、複雑なモデル化を行うことなく、精度の高いキーストン補正を行うためには、プロジェクタ６１に、投射レンズの歪みが観測しやすい歪み検出用画像を入力し、スクリーン５１に表示された歪み検出用画像を、歪み検出用カメラ６２により撮像し、撮像された画像を解析することにより、図８を用いて説明した、投射歪みが最小となる画像８１が表示されるような倍率を求め、求められた倍率にプロジェクタ６１を調整することができるようにすれば良い。プロジェクタ６１からスクリーン５１に投影される歪み検出用画像は、いかなる画像であっても良い（例えば、投影領域内に、人や動物などの映像や模様などが含まれていても良い）が、投射レンズの歪みが観測しやすい画像として、画像中に直線を含むものが好適であり、特に、水平方向の直線が画像に含まれているものや、例えば、図９に示されるような、矩形の上辺が輝線となり、他の部分の輝度は低い値となっている歪み検出用画像９１がプロジェクタ６１に入力され、スクリーン５１に投影されるようにすると好適である。

プロジェクタ６１の投射歪みの状態は、その倍率によって変化する。したがって、プロジェクタ６１に、図９に示されるような、矩形の上辺が輝線となっている歪み検出用画像９１が入力された場合、図１０に示されるように、ズーム率最小の場合、歪み検出用カメラ６２により撮像される撮像画像１０１には、上に凸の輝線を有する画像１１１が含まれ、ズーム率最大の場合、歪み検出用カメラ６２により撮像される撮像画像１０３には、下に凸の輝線を有する画像１１３が含まれる。そして、輝線が斜めの直線（または、直線に限りなく近い曲線）を有する画像１１２が、歪み検出用カメラ６２により撮像される撮像画像１０２に含まれている場合、そのときのプロジェクタ６１の倍率が、補正処理を行うのに好適な適正投影倍率である。

また、例えば、歪み検出用画像に、水平方向の直線が含まれていた場合、歪み検出用カメラ６２により撮像される撮像画像における水平方向の直線に対応する部分が、斜めの直線（または、直線に限りなく近い曲線）となるときのプロジェクタ６１の倍率が、補正処理を行うのに好適な適正投影倍率である。なお、水平方向の直線は、画像上方に含まれていると好適である。

図１１は、キーストン補正処理を行うのに好適なプロジェクタ６１の適正投影倍率を求め、それを基に、プロジェクタ６１の倍率を調整した後、キーストン補正を実行することができる補正処理装置６３の構成を示すブロック図である。

操作入力取得部１５１は、例えば、ボタン、キーボード、マウス、リモートコマンダなど、図示しない操作入力デバイスにより入力されたユーザの操作入力を取得し、全体制御部１５２に供給する。

全体制御部１５２は、操作入力取得部１５１から供給されたユーザの操作入力を基に、プロジェクタ出力画像制御部１５３、投影歪み補正制御部１５４、および、キーストン補正処理部１５５を制御する。

プロジェクタ出力画像制御部１５３は、プロジェクタ入力画像取得／生成部１７１、歪み検出用画像生成／保存部１７２、および、画像出力制御部１７３で構成され、プロジェクタ６１への画像データの出力を制御する。

プロジェクタ入力画像取得／生成部１７１は、全体制御部１５２の制御に基づいて、例えば、キーストン補正用の画像や、補正処理の後表示される画像データを、図示しないパーソナルコンピュータなどから取得するか、または、これらの画像を生成して、画像出力制御部１７３に供給する。また、プロジェクタ入力画像取得／生成部１７１は、後述するキーストン補正処理部１５５によりキーストン補正が実行されるとき、画素ペア抽出部１９２へ、画像出力制御部１７３を介してプロジェクタ６１に供給されるキーストン補正用の画像を供給する。

歪み検出用画像生成／保存部１７２は、全体制御部１５２の制御に基づいて、例えば、図９を用いて説明した歪み検出用画像９１のように、投射レンズの歪みが観測しやすい歪み検出用画像を生成するか、または、図示しないパーソナルコンピュータなどからこのような画像の供給を受けて保存し、画像出力制御部１７３に供給する。

画像出力制御部１７３は、全体制御部１５２の制御に基づいて、プロジェクタ入力画像取得／生成部１７１または歪み検出用画像生成／保存部１７２から供給された画像データをプロジェクタ６１に出力して投影させる。

投影歪み補正制御部１５４は、歪み検出用カメラ撮像画像取得部１８１、適正投影倍率検出部１８２、および、プロジェクタ投影倍率制御部１８３で構成され、歪み検出用カメラ６２により撮像された画像を基に、画像処理により、補正処理を行うのに好適な適正投影倍率を検出する。

投影歪み補正制御部１５４は、補正処理を行うのに好適な適正投影倍率を検出するために、例えば、図１０を用いて説明したように、歪み検出用カメラ６２により撮像される撮像画像１０１に上に凸の輝線を有する画像１１１が含まれるズーム率最小から、歪み検出用カメラ６２により撮像される撮像画像１０３に下に凸の輝線を有する画像１１３が含まれるズーム率最大までの間で、所定の角度ごとにプロジェクタ６１の投影倍率を制御して、歪み検出用カメラ６２により撮像される画像を取得する。そして、投影歪み補正制御部１５４は、歪み検出用カメラ６２により撮像される撮像画像１０２に輝線が斜めの直線（または、直線に限りなく近い曲線）を有する画像１１２が含まれているときのプロジェクタ６１の倍率、すなわち、補正処理を行うのに好適な適正投影倍率を検出し、プロジェクタ６１の投影倍率を、補正処理を行うのに好適な適正投影倍率に調整する。

歪み検出用カメラ撮像画像取得部１８１は、歪み検出用カメラ６２により撮像された画像を取得し、適正投影倍率検出部１８２に供給する。

適正投影倍率検出部１８２は、画像処理により、プロジェクタ６１の適正投影倍率を求める。適正投影倍率検出部１８２は、プロジェクタ６１の適正投影倍率を求めるために、例えば、プロジェクタ投影倍率制御部１８３を制御して、プロジェクタ６１の投影倍率を最小から最大の状態まで所定の角度ごとに変更させ、それらの角度ごとに取得された画像から歪み検出用画像から上辺の輝線に相当する画素位置を抽出し、抽出した画素位置の集合を直線近似して、近似した直線と個々の画素位置との誤差の総和を直線の度合いを評価する値（算出された値が少ないほど、適正投影倍率に近い）として用いるようにすることができる。

プロジェクタ投影倍率制御部１８３は、適正投影倍率検出部１８２または全体制御部１５２の制御に基づいて、プロジェクタ６１の投影倍率を制御する。具体的には、プロジェクタ投影倍率制御部１８３は、適正投影倍率検出部１８２が適正投影倍率を検出するために、投影倍率が最小から最大の状態まで所定の角度ごとにプロジェクタ６１の投影倍率を制御したり、キーストン補正処理部１５５によりキーストン補正が行われる前に、適正投影倍率検出部１８２により検出された適正投影倍率にプロジェクタ６１の投影倍率を制御する。更に、プロジェクタ投影倍率制御部１８３は、補正処理の終了後、操作入力取得部１５１により取得されたユーザの操作入力に基づいて、全体制御部１５２の制御にしたがって、プロジェクタ６１の投影倍率を制御することも可能である。

キーストン補正処理部１５５は、全体制御部１５２の制御に基づいて、プロジェクタ６１が適正投影倍率で画像を投影している状態において、キーストン補正を実行する。

補正用カメラ撮像画像取得部１９１は、補正用カメラ６４により撮像された画像を取得し、画素ペア抽出部１９２に供給する。

画素ペア抽出部１９２は、プロジェクタ入力画像取得／生成部１７１から供給されたプロジェクタへの入力画像、および、補正用カメラ撮像画像取得部１９１から供給された画像の供給を受け、キーストン補正を行うために、プロジェクタへの入力画像の４つ以上の画素と、撮像された画像のこれらの画素に対応する画素とのペアを抽出し、抽出結果を係数算出部１９３に供給する。

ここで、キーストン補正処理を行うためには、入力画像上の点の位置座標とその点のカメラ画像上での位置座標のペアが４組以上必要である。画素ペア抽出部１９２は、それ以上のペアを観測してもよい。なお、キーストン補正においては、多くのペアを観測するほど観測誤差の低減を見込むことができる。

例えば、図１２Ａに示されるように、プロジェクタ６１に入力された画像２１の４隅（００）、（Ｗ，０）（０，Ｈ）および（Ｗ，Ｈ）の４点は、図１２Ｂに示される、補正用カメラ６４で撮影された投影画像１１の点（ｕ１，ｖ１）（ｕ１，ｖ２）（ｕ３，ｖ３）および（ｕ４，ｖ４）に対応する。そこで、画素ペア抽出部１９２は、投影画像１１の点（ｕ１，ｖ１）（ｕ１，ｖ２）（ｕ３，ｖ３）および（ｕ４，ｖ４）は、補正用カメラ６４で撮影された画像上のいずれの位置となるかを観測する。

画素ペア抽出部１９２による画素ペアの抽出方法は、例えば、補正用カメラ撮像画像取得部１９１から供給された投影画像１１を含む画像を図示しないコンピュータに供給して所定のディスプレイに映し出し、それを見ながら４隅の座標位置を、例えば、マウスなどの入力デバイスを用いて選択する（クリック）ことなどにより、各点の座標値を観測することができるようなアプリケーションを利用するようにしても良いし、画素ペア抽出部１９２が補正用カメラ撮像画像取得部１９１から供給された投影画像１１を含む画像に対して画像処理を施すことにより、自動的に投影画像１１の４隅の位置座標を算出することができるようにしても良い。

係数算出部１９３は、画素ペア抽出部１９２から供給された画素ペアの抽出結果に基づいて、上述した式（１）および式（２）の係数を求め、得られた係数を係数出力部１９４に供給する。

係数算出部１９３は、画素ペア抽出部１９２から供給された画素ペアの抽出結果を用いて、例えば、次の式（３）の連立方程式を解くことにより、上述した式（１）および式（２）の係数を求めることができる。

・・・（３）

式（３）は最小二乗法で解くのが一般的であるが、適当な方法であれば、最小二乗法以外のいずれの方法を用いても良い。

係数出力制御部１９４は、係数算出部１９３により算出された式（１）および式（２）の係数を、プロジェクタ６１に供給する。プロジェクタ６１は、供給された係数を基に、キーストン補正を行う。

次に、図１３のフローチャートを参照して、図１１を用いて説明した補正処理装置６３により実行される補正処理１について説明する。

ステップＳ１において、歪み検出用画像生成／保存部１７２は、歪み検出用画像を画像出力制御部１７３に出力する。画像出力制御部１７３は、供給された歪み検出用画像をプロジェクタ６１に供給し、スクリーン５１に表示させる。

ステップＳ２において、図１４のフローチャートを用いて後述する適正投射倍率検出処理１が実行される。

ステップＳ３において、投影歪み補正制御部１５４のプロジェクタ投影倍率制御部１８３は、ステップＳ２において求められた適正な投影倍率となるように、プロジェクタ６１の投影倍率を制御する。

ステップＳ４において、プロジェクタ入力画像取得／生成部１７１は、キーストン補正を行うのに適した補正用の画像を画像出力制御部１７３に出力するとともに、キーストン補正処理部１５５の画素ペア抽出部１９２に供給する。画像出力制御部１７３は、供給された補正用の画像をプロジェクタ６１に供給し、スクリーン５１に表示させる。

ステップＳ５において、キーストン補正処理部１５５の補正用カメラ撮像画像取得部１９１は、補正用カメラ６４により撮影された、プロジェクタ６１によりスクリーン５１に投影された補正用画像を撮像した画像を取得し、画素ペア抽出部１９２に供給する。画素ペア抽出部１９２は、プロジェクタ入力画像取得／生成部１７１から供給された、プロジェクタ６１に出力された画像と、補正用カメラ撮像画像取得部１９１から供給された、補正用カメラ６４により撮像された画像との、対応する画素のペアを抽出し、係数算出部１９３に供給する。

ステップＳ６において、係数算出部１９３は、画素ペア抽出部１９２から供給された画素ペアの抽出結果を用いて、上述した式（３）の連立方程式を、例えば、最小二乗法などを用いて解くことにより、上述した式（１）および式（２）のモデル式の係数を算出し、係数出力制御部１９４に供給する。

ステップＳ７において、係数出力制御部１９４は、係数算出部１９３により算出された係数をプロジェクタ６１に出力して、処理が終了される。プロジェクタ６１は、供給された係数を基に、キーストン補正を行うことができる。

このような処理により、補正処理装置６３においては、キーストン補正処理を行うのに好適なプロジェクタ６１の適正投影倍率を求めることができる。更に、補正処理装置６３においては、得られた適正投影倍率を基に、プロジェクタ６１の倍率を調整した後、キーストン補正を実行させるために必要な係数を求め、プロジェクタ６１に供給してキーストン補正を実行させるようにすることができる。

次に、図１４のフローチャートを参照して、図１３のステップＳ２において実行される、適正投影倍率検出処理１について説明する。

ステップＳ２１において、投影歪み補正制御部１５４のプロジェクタ投影倍率制御部１８３は、プロジェクタ６１の投影倍率を最小にセットする。

ステップＳ２２において、歪み検出用カメラ撮像画像取得部１８１は、歪み検出用カメラ６２により撮像された歪み検出用画像の撮像画像を取得し、適正投影倍率検出部１８２に供給する。

ステップＳ２３において、適正投影倍率検出部１８２は、供給された投影画像の歪みの評価値を算出する。具体的には、適正投影倍率検出部１８２は、例えば、供給された歪み検出用画像の投影画像から上辺の輝線に相当する画素位置を抽出し、抽出した画素位置の集合を直線近似して、近似した直線と個々の画素位置との誤差の総和を求め、この値を、投影画像の歪みの評価値（算出された値が少ないほど、適正投影倍率に近い）とすることができる。

ステップＳ２４において、適正投影倍率検出部１８２は、プロジェクタ投影倍率制御部１８３により制御されている、プロジェクタ６１の現在の投影倍率を取得する。

ステップＳ２５において、適正投影倍率検出部１８２は、算出された評価値を倍率とともに内部の図示しないデータ記憶領域に記録する。

ステップＳ２６において、適正投影倍率検出部１８２は、ステップＳ２４において取得されたプロジェクタ６１の現在の投影倍率は、プロジェクタ６１の最大倍率であるか否かを判断する。

ステップＳ２６において、プロジェクタ６１の現在の投影倍率は、プロジェクタ６１の最大倍率ではないと判断された場合、ステップＳ２７において、プロジェクタ投影倍率制御部１８３は、プロジェクタ６１の投影倍率を所定量高くし、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返される。

ステップＳ２６において、プロジェクタ６１の現在の投影倍率は、プロジェクタ６１の最大倍率であると判断された場合、ステップＳ２８において、適正投影倍率検出部１８２は、記録された、それぞれの倍率の評価値を基に、投影歪みが最小となる倍率、すなわち、適正投影倍率を検出し、プロジェクタ投影倍率制御部１８３に検出された適正投影倍率の値を供給して、処理は、図１３のステップＳ２に戻り、ステップＳ３に進む。

このような処理により、投影歪みが発生しない投影倍率を求めることができる。

以上の説明においては、補正処理装置６３がプロジェクタ６１の投影倍率を制御することができるものとして説明した。これに対して、図１５に示されるように、プロジェクタ２２２の投影倍率を直接制御することができない補正処理装置２２１が用いられる場合、すなわち、プロジェクタ２２２の投影倍率をユーザがマニュアルで調節するようになされている場合、補正処理装置２２１は、ユーザがプロジェクタ２２２の表示倍率を投射歪みが最小となる画像が表示されるような倍率に容易に調整することができるように、ユーザに対して、音声または映像によってメッセージを通知するなどの操作補助を行うことができるようにすれば良い。

なお、図１５においては、プロジェクタ２２２は、スクリーン５１の背面から画像を投射するものとして図示されているが、図１６に示されるように、プロジェクタ２２２が、スクリーン５１の前面から映像を投射するようになされている場合でも、補正処理装置２２１は、ユーザがプロジェクタ２２２の表示倍率を投射歪みが最小となる画像が表示されるような倍率に容易に調整することができるように、ユーザに対して、音声または映像によってメッセージを通知するなどの操作補助を行うことができる。このとき、歪み検出用カメラ６２および補正用カメラ６４は、いずれも、スクリーン５１に対して、プロジェクタ２２２と同一の方向、すなわち、プロジェクタ２２２により投影される映像が表示される側に設置される。

図１７は、補正処理装置２２１の構成を示すブロック図である。

なお、図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、補正処理装置２２１は、投影歪み補正制御部１５４に代わって、投影歪み補正補助制御部２４１が設けられている以外は、図１１を用いて説明した補正処理装置６３と基本的に同様の構成を有している。投影歪み補正補助制御部２４１は、図１１を用いて説明した歪み検出用カメラ撮像画像取得部１８１を含み、更に、適正投影倍率検出部２５１および検出結果出力制御部２５２により構成されている。

適正投影倍率検出部２５１は、歪み検出用カメラ撮像画像取得部１８１から供給された、歪み検出用カメラ６２により撮像された画像に対して画像処理を施し、プロジェクタ２２２の現在の倍率が、補正処理を行うのに好適な適正投影倍率であるか否か、または、適正投影倍率に近いか否かを検出し、検出結果を検出結果出力制御部２５２に供給する。

検出結果出力制御部２５２は、適正投影倍率検出部２５１により供給された検出結果を基に、ユーザがプロジェクタ２２２の表示倍率を投射歪みが最小となる画像が表示されるような倍率に容易に調整することができるように、ユーザに対する操作補助となる画像や音声などの出力を制御する。

具体的には、検出結果出力制御部２５２は、適正投影倍率検出部２５１により供給された検出結果を基に、プロジェクタ２２２の現在の倍率が、補正処理を行うのに好適な適正投影倍率である、または、適正投影倍率に近い場合、図示しないスピーカなどから、プロジェクタ２２２の現在の倍率が、補正処理を行うのに好適な適正投影倍率である、または、適正投影倍率に近いことをユーザに通知するための音声出力を制御する。ユーザに通知するための音声出力には、例えば、「適正倍率です」「適正倍率付近です」「適正倍率にあわせるために倍率を下げてください」または「適正倍率にあわせるために倍率をあげてください」などの音声メッセージ、もしくは、電子音やブザー音などが用いられる。

また、検出結果出力制御部２５２は、適正投影倍率検出部２５１により供給された検出結果を基に、例えば、図１８または図１９に示されるように、例えば、プロジェクタ２２２の現在の倍率と適正倍率との合致度合い、プロジェクタ２２２の現在の倍率と適正倍率とのずれ量、または、プロジェクタ２２２の倍率を適正倍率にあわせるために倍率をあげるべきか下げるべきかをユーザが認識することができるような画像データを生成し、図示しないディスプレイへの、生成された画像データの表示を制御する。また、検出結果出力制御部２５２は、生成された画像データを、画像出力制御部１７３に供給し、プロジェクタ２２２により、スクリーン５１のいずれかの位置に、ユーザに対する操作補助となる画像を表示させることができるようにしても良い。

次に、図２０のフローチャートを参照して、図１７を用いて説明した補正処理装置２２１により実行される補正処理２について説明する。

ステップＳ５１において、歪み検出用画像生成／保存部１７２は、歪み検出用画像を画像出力制御部１７３に出力する。画像出力制御部１７３は、供給された歪み検出用画像をプロジェクタ２２２に供給し、スクリーン５１に表示させる。

ステップＳ５２において、図２１のフローチャートを用いて後述する適正投射倍率検出処理２が実行される。

ステップＳ５３において、投影歪み補正補助制御部２４１の検出結果出力制御部２５２は、ステップＳ５２において求められた適正な投影倍率となるようにユーザがプロジェクタをマニュアルで調節するための補助となる映像または音声などの出力を制御する。

具体的には、検出結果出力制御部２５２は、適正投影倍率検出部２５１により供給された検出結果を基に、プロジェクタ２２２の現在の倍率が、補正処理を行うのに好適な適正投影倍率である、または、適正投影倍率に近い場合、図示しないスピーカなどから、プロジェクタ２２２の現在の倍率が、補正処理を行うのに好適な適正投影倍率である、または、適正投影倍率に近いことをユーザに通知するための音声出力を制御したり、例えば、図１８または図１９を用いて説明したような、プロジェクタ２２２の現在の倍率と適正倍率との合致度合い、プロジェクタ２２２の現在の倍率と適正倍率とのずれ量、または、プロジェクタ２２２の倍率を適正倍率にあわせるために倍率をあげるべきか下げるべきかをユーザが認識することができるような画像データを生成し、図示しないディスプレイへの、生成された画像データの表示を制御する。また、検出結果出力制御部２５２は、生成された画像データを、画像出力制御部１７３に供給し、プロジェクタ２２２により、スクリーン５１のいずれかの位置に、ユーザに対する操作補助となる画像を表示させることができるようにしても良い。

ステップＳ５４において、全体制御部１５２は、操作入力取得部１５１から供給される、ユーザの操作入力を示す信号を基に、ユーザから、キーストン補正用の画像の出力が指令されたか否かを判断する。ステップＳ５４において、キーストン補正用の画像の出力が指令されていないと判断された場合、処理は、ステップＳ５２に戻り、それ以降の処理が繰り返される。

ステップＳ５４において、補正用の画像の出力が指令されたと判断された場合、ステップＳ５５乃至ステップＳ５８において、図１３のステップＳ４乃至ステップＳ７と基本的に同様の処理が実行される。

すなわち、プロジェクタ入力画像取得／生成部１７１は、キーストン補正用の画像を画像出力制御部１７３、および、キーストン補正処理部１５５の画素ペア抽出部１９２に供給する。画像出力制御部１７３は、供給された補正用の画像をプロジェクタ２２２に供給し、スクリーン５１に表示させる。そして、キーストン補正処理部１５５の補正用カメラ撮像画像取得部１９１は、プロジェクタ２２２に投影された補正用画像を撮像した画像を取得し、画素ペア抽出部１９２に供給する。画素ペア抽出部１９２は、プロジェクタ２２２に出力された画像と補正用カメラ６４により撮像された画像との、対応する画素のペアを抽出し、係数算出部１９３に供給する。係数算出部１９３は、画素ペア抽出部１９２から供給された画素ペアの抽出結果を用いて、上述した式（３）の連立方程式を、例えば、最小二乗法などを用いて解くことにより、上述した式（１）および式（２）のモデル式の係数を算出し、係数出力制御部１９４に供給する。係数出力制御部１９４は、係数算出部１９３により算出された係数をプロジェクタ２２２に出力して、処理が終了される。プロジェクタ２２２は、供給された係数を基に、キーストン補正を行うことができる。

このような処理により、補正処理装置２２１においては、キーストン補正処理を行うのに好適なプロジェクタ２２２の適正投影倍率の候補値を求め、プロジェクタ２２２の投影倍率が適正な投影倍率となるようにユーザがプロジェクタをマニュアルで調節するための補助となる映像または音声などの出力を制御することができる。そして、補正処理装置２２１においては、ユーザによる投影倍率の調整が終了し、キーストン補正用の画像の出力が指令された場合、キーストン補正を実行させるために必要な係数が求められ、プロジェクタ２２２に供給してキーストン補正を実行させるようにすることができる。

次に、図２１のフローチャートを参照して、図２０のステップＳ５２において実行される、適正投影倍率検出処理２について説明する。

ステップＳ７１において、投影歪み補正補助制御部２４１の検出結果出力制御部２５２は、投影歪みが最小となる倍率の候補の通知済みであるか否か、すなわち、図２０を用いて説明したステップＳ５２（本フローチャートの処理）が少なくとも一度終了し、処理がステップＳ５３に進み、適正な投影倍率となるようにユーザがプロジェクタ２２２をマニュアルで調節するための補助となる映像または音声などの出力が制御され、その後、ステップＳ５４において、キーストン補正用の画像の出力が指令されていないと判断され、２回目以降のステップＳ５２（本フローチャートの処理）の処理が実行されている状態であるか否かを判断する。

ステップＳ７１において、投影歪みが最小となる倍率の候補の通知済みであると判断された場合、処理は、後述するステップＳ７９に進む。

ステップＳ７１において、投影歪みが最小となる倍率の候補の通知済みではないと判断された場合、すなわち、一度目のステップＳ５２（本フローチャートの処理）の処理が実行されている状態であると判断された場合、ステップＳ７２において、検出結果出力制御部２５２は、プロジェクタ２２２の投影倍率が最小にセットされるように、例えば、音声メッセージまたは画像などを用いて、ユーザに通知する。

ステップＳ７３において、歪み検出用カメラ撮像画像取得部１８１は、歪み検出用カメラ６２により撮像された歪み検出用画像の撮像画像を取得し、適正投影倍率検出部２５１に供給する。

ステップＳ７４において、適正投影倍率検出部２５１は、供給された投影画像の歪みの評価値を算出する。具体的には、適正投影倍率検出部２５１は、例えば、供給された歪み検出用画像の投影画像から上辺の輝線に相当する画素位置を抽出し、抽出した画素位置の集合を直線近似して、近似した直線と個々の画素位置との誤差の総和を求め、この値を、投影画像の歪みの評価値（算出された値が少ないほど、適正投影倍率に近い）とすることができる。

ステップＳ７５において、適正投影倍率検出部２５１は、算出された評価値を、内部の図示しないデータ記憶領域に記録する。

ステップＳ７６において、適正投影倍率検出部２５１は、ステップＳ７３において算出された評価値は、投影歪みが最小となる評価値（倍率）の候補値を検出するために必要な、所定の条件に合致しているか否かを判断する。所定の条件には、例えば、評価値が所定の閾値以下である場合や、評価値の変化量が減少傾向から増加傾向に変化したときなどがある。また、例えば、画像処理のエラーやデータのノイズなどにより発生する誤検出による影響を考慮するために、所定の条件を、評価値が所定の閾値以下である状態が所定の回数以上連続した場合や、評価値の変化量が所定の回数連続した減少傾向から所定の回数連続した増加傾向に変化した場合としてもよい。

ステップＳ７６において、所定の条件に合致していないと判断された場合、ステップＳ７７において、適正投影倍率検出部２５１は、投影歪みが最小となる評価値（倍率）の候補値を検出するために必要な、所定の条件に合致していないことを検出結果出力制御部２５２に通知するので、検出結果出力制御部２５２は、プロジェクタ２２２の投影倍率が所定量高くセットされるように、ユーザに通知し、処理は、ステップＳ７３に戻り、それ以降の処理が繰り返される。

ステップＳ７６において、所定の条件に合致していると判断された場合、ステップＳ７８において、適正投影倍率検出部２５１は、記録された、それぞれの倍率の評価値を基に、投影歪みが最小となる評価値（すなわち、適正投影倍率における投影歪みの評価値）の候補を検出して、検出結果出力制御部２５２に通知し、処理は、図２０のステップＳ５２に戻り、ステップＳ５３に進む。

具体的には、適正投影倍率検出部２５１は、評価値が所定の閾値以下であるので所定の条件に合致していると判断した場合や、評価値の変化量が減少傾向から増加傾向に変化したので所定の条件に合致していると判断した場合、現在の角度を、投影歪みが最小となる倍率として検出することができる。また、適正投影倍率検出部２５１は、画像処理のエラーやデータのノイズなどによる誤検出を考慮して、評価値が所定の閾値以下である状態が所定の回数以上連続した場合や、評価値の変化量が所定の回数連続した減少傾向から所定の回数連続した増加傾向に変化した場合に所定の条件に合致していると判断するようになされている場合、所定の閾値以下の評価値のうちの最小値、または、評価値の変化量が所定の回数連続した減少傾向から所定の回数連続した増加傾向に変化したときの極小値を、投影歪みが最小となる評価値として検出することができる。

ステップＳ７１において、投影歪みが最小となる倍率の候補の通知済みであると判断された場合、ステップＳ７９において、歪み検出用カメラ撮像画像取得部１８１は、歪み検出用カメラ６２により撮像された歪み検出用画像の撮像画像を取得し、適正投影倍率検出部２５１に供給する。

ステップＳ８０において、適正投影倍率検出部２５１は、供給された投影画像の歪みの評価値を算出する。

ステップＳ８１において、適正投影倍率検出部２５１は、ステップＳ７８の処理において検出された投影歪みが最小となる評価値の候補と、ステップＳ８０の処理において得られた評価値を比較し、比較結果を検出結果出力制御部２５２に供給する。

ステップＳ８２において、検出結果出力制御部２５２は、適正投影倍率検出部２５１から供給された投影歪みが最小となる評価値の候補と、ステップＳ８０の処理において得られた評価値との比較結果を基に、ユーザへの通知の出力を制御し、処理は、図２０のステップＳ５２に戻り、ステップＳ５３に進む。

具体的には、検出結果出力制御部２５２は、例えば、投影歪みが最小となる評価値の候補と、ステップＳ８０の処理において得られた評価値との差分値を基に、図１８を用いて説明したような、投影歪みが最小となる倍率から現在の倍率のずれ量を表示させるようにしても良い。また、検出結果の出力デバイスとして、赤、青、黄色の３色のＬＥＤを用意しておき、ずれ量がほぼないときは緑のランプ、ずれ量が一定範囲以下であるときは黄色ランプ、ずれ量が所定の値よりも大きい場合は、赤のランプをそれぞれ点灯させるようにしても良い。

また、それ以外にも、検出結果出力制御部２５２は、例えば、評価値が所定の閾値以下である状態が所定の回数以上連続した場合や、評価値の変化量が所定の回数連続した減少傾向から所定の回数連続した増加傾向に変化した場合に所定の条件に合致していると判断するようになされている場合、所定の閾値以下の評価値のうちの最小値、または、評価値の変化量が所定の回数連続した減少傾向から所定の回数連続した増加傾向に変化したときの極小値を、投影歪みが最小となる評価値としているので、投影歪みが最小となる倍率に対して現在の倍率は大きいのか小さいのかを検出し、図１９を用いて説明したように、プロジェクタ２２２の倍率を適正倍率にあわせるために倍率をあげるべきか下げるべきかをユーザが認識することができるような表示画像データを生成するようにしても良い。

このような処理により、投影歪みが発生しない適正な投影倍率となるようにユーザがプロジェクタをマニュアルで調節するための補助となる映像または音声などの出力を制御することができる。

以上説明したように、本発明を適用することにより、投影歪みが発生しない適正な投影倍率、すなわち、プロジェクタの投影に非線形の歪みがない投影倍率においてキーストン補正を行うことができるので、複雑なモデル化を行うことなく、精度の高い補正を行うことができる。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図１１を用いて説明した補正処理装置６３や図１７を用いて説明した補正処理装置２２１のすべてまたは一部は、図２２に示されるようなパーソナルコンピュータ３０１により構成される。

図２２において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

また、本明細書において、複数の装置により構成されるシステムの一部、または、全部が実行する処理が、それよりも少ない数の装置によって実現される場合であっても、または、本明細書において、１つの装置が実行する処理が、複数の装置によって実現される場合であっても、本発明は適用可能であることは言うまでもない。

プロジェクタを用いた映像表示システムについて説明するための図である。 プロジェクタに入力された画像とカメラによって撮影された投影画像について説明するための図である。 プロジェクタからの光線に対する角度πの平面ｘｙ、および、角度π´の平面ｕｖの模式図である。 投影される画像の非線形の歪みについて説明するための図である。 プロジェクタの投射レンズの光学中心と投影する像の中心との偏心について説明するための図である。 本発明の一実施の形態を示す画像表示システム（背面投影型）のシステム図である。 本発明の一実施の形態を示す画像表示システム（前面投影型）のシステム図である。 ズームと歪みの関係について説明するための図である。 歪み検出用画像ついて説明するための図である。 ズームと、撮像される歪み検出用画像の関係について説明するための図である。 図６または図７の補正処理装置の構成を示すブロック図である。 抽出される画素ペアについて説明するための図である。 補正処理１について説明するためのフローチャートである。 適正投射倍率検出処理１について説明するためのフローチャートである。 プロジェクタの投影倍率を直接制御することができない補正処理装置による画像表示システム（背面投影型）のシステム図である。 プロジェクタの投影倍率を直接制御することができない補正処理装置による画像表示システム（前面投影型）のシステム図である。 図１５または図１６の補正処理装置の構成を示すブロック図である。 ユーザに対して提供される画像について説明するための図である。 ユーザに対して提供される画像について説明するための図である。 補正処理２について説明するためのフローチャートである。 適正投射倍率検出処理２について説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

５１ スクリーン， ６１ プロジェクタ， ６２ 歪み検出用カメラ， ６３ 補正処理装置， ６４ 補正用カメラ， ９１ 歪み検出用画像， １５２ 全体制御部， １５３ プロジェクタ出力画像制御部， １５４ 投影歪み補正制御部， １５５ キーストン補正処理部， １８１ 歪み検出用カメラ撮像画像取得部， １８２ 適正投影倍率検出部， １８３ プロジェクタ投影倍率制御部， ２２１ 補正処理装置， ２２２ プロジェクタ， ２４１ 投影歪み補正補助制御部， ２５１ 適正投影倍率検出部， ２５２ 検出結果出力制御部

Claims (11)

1. プロジェクタによる画像表示を補正する処理を実行する情報処理装置において、
   前記プロジェクタへの、前記プロジェクタの投影歪みの検出に用いる第１の画像の供給を制御する第１の画像供給制御手段と、
   前記第１の画像供給制御手段により前記プロジェクタへの供給が制御され、前記プロジェクタにより表示された前記第１の画像を撮像した第２の画像を取得する第２の画像取得手段と、
   前記第２の画像取得手段により取得された前記第１の画像を撮像した前記第２の画像を基に、前記プロジェクタにおいて投影歪みが発生しない投影倍率を検出する適正投影倍率検出手段と
   を備えることを特徴とする情報処理装置。
2. 前記プロジェクタの投影倍率を前記適正投影倍率検出手段により検出された前記適正投影倍率とした状態において、キーストン補正処理を実行するキーストン補正処理手段
   を更に備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記適正投影倍率検出手段は、前記第２の画像取得手段により取得された前記第２の画像に含まれる前記第１の画像における水平方向の直線に対応する部分が直線であるか、または、直線に近い状態である場合、前記プロジェクタの投影倍率は適正倍率であると判断する
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記第１の画像供給制御手段により前記プロジェクタへの供給が制御される前記第１の画像は、矩形の上辺が輝線となり、他の部分の輝度は低い値となっている画像である
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記プロジェクタの投影倍率を制御する投影倍率制御手段を更に備え、
   前記適正投影倍率検出手段は、前記投影倍率制御手段により最小倍率から最大倍率まで、所定の変化量で前記プロジェクタの投影倍率を変化させた場合に前記第２の画像取得手段により取得されるそれぞれの投影倍率における前記第１の画像を撮像した前記第２の画像を基に、前記適正投影倍率を検出する
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記プロジェクタの投影倍率を制御する投影倍率制御手段を更に備え、
   前記キーストン補正手段は、前記投影倍率制御手段により前記プロジェクタの投影倍率が前記適正投影倍率に制御された状態においてキーストン補正処理を実行する
   ことを特徴とする請求項２に記載の情報処理装置。
7. 前記プロジェクタを使用するユーザが、前記プロジェクタの倍率を前記適正投影倍率検出手段により検出された前記適正投影倍率に調整するための補助となる音声または画像の出力を制御する補助出力制御手段
   を更に備えることを特徴とする請求項１に記載の情報処理装置。
8. プロジェクタによる画像表示を補正する処理を実行する情報処理装置の情報処理方法において、
   前記プロジェクタへの、前記プロジェクタの投影歪みの検出に用いる第１の画像の供給を制御する第１の画像供給制御ステップと、
   前記第１の画像供給制御ステップの処理により前記プロジェクタへの供給が制御され、前記プロジェクタにより表示された前記第１の画像を含むように撮像された第２の画像を取得する第２の画像取得ステップと、
   前記第２の画像取得ステップの処理により取得された前記第１の画像を含む前記第２の画像を基に、前記プロジェクタにおいて投影歪みが発生しない投影倍率を検出する適正投影倍率検出ステップと
   を含むことを特徴とする情報処理方法。
9. プロジェクタによる画像表示を補正する処理をコンピュータに実行させるためのプログラムであって、
   前記プロジェクタへの、前記プロジェクタの投影歪みの検出に用いる第１の画像の供給を制御する第１の画像供給制御ステップと、
   前記第１の画像供給制御ステップの処理により前記プロジェクタへの供給が制御され、前記プロジェクタにより表示された前記第１の画像を含むように撮像された第２の画像を取得する第２の画像取得ステップと、
   前記第２の画像取得ステップの処理により取得された前記第１の画像を含む前記第２の画像を基に、前記プロジェクタにおいて投影歪みが発生しない投影倍率を検出する適正投影倍率検出ステップと
   を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
10. 画像表示を実行するプロジェクタと、
    前記プロジェクタによりスクリーンに投影される画像を投影歪みの検出のために撮像する撮像装置と、
    前記プロジェクタによる画像表示を補正する処理を実行する情報処理装置と
    により構成される画像表示システムにおいて、
    前記情報処理装置は、
    前記プロジェクタへの、前記プロジェクタの投影歪みの検出に用いる第１の画像の供給を制御する第１の画像供給制御手段と、
    前記第１の画像供給制御手段により前記プロジェクタへの供給が制御され、前記プロジェクタにより前記スクリーンに表示された前記第１の画像を含む画像であって、前記撮像装置により撮像された画像である第２の画像を取得する第２の画像取得手段と、
    前記第２の画像取得手段により取得された前記第１の画像を撮像した前記第２の画像を基に、前記プロジェクタにおいて投影歪みが発生しない投影倍率を検出する適正投影倍率検出手段と
    を備えることを特徴とする画像表示システム。
11. 前記撮像装置は、前記スクリーンの表示面に対して、直角以外の角度から、前記前記プロジェクタにより前記スクリーンに表示された前記第１の画像を撮像し、
    前記第２の画像取得手段は、前記撮像装置により、前記スクリーンの表示面に対して直角以外の角度から撮像された前記第２の画像を取得する
    ことを特徴とする請求項１０に記載の画像表示システム。

Images