JP5410328B2 - 光学投影安定化装置、光学投影安定化方法およびプログラム - Google Patents

Description

本発明は、例えばプロジェクタによってスクリーンに映像を投影する際に利用される光学投影安定化装置、光学投影安定化方法およびプログラムに関するものである。

スクリーンに映像を投影するプロジェクタと、このスクリーンに投影されている映像を撮像するカメラとを含むプロジェクタ・カメラシステムであって、光学パターン投影の原理を用いた３次元形状の復元を応用しているプロジェクタ・カメラシステムがある。この方法を利用して、例えば白黒のグレーコードをプロジェクタからスクリーンに投影するとともに、被写体上の像をカメラで観測しながら、被写体の３次元形状を復元することができる。
例えば、プログラムと超高速度カメラと組み合わせたプロジェクタ・カメラシステムがある（例えば、非特許文献１参照）。これによると、人の形状を精密に、その形状が滑らかな３次元形状を復元することができる。この方法では、事前にプロジェクタ、スクリーンおよび超高速度カメラの三者の間でキャリブレーションを行う必要がある。

具体的にいうと、プロジェクタからスクリーンにパターンを投影し、その投影像をカメラで撮影する。このプロジェクタからスクリーンに投影されるパターンとして、例えば、カメラによって観測可能な程度の図形やマーカーを用いる。例えば、その図形やマーカーの特徴となる点を参照点ｐ^（ｐ） _ｊとして使う。このプロジェクタから照射される参照点ｐ^（ｐ） _ｊを２次元座標（ｘ^（ｐ） _ｊ，ｙ^（ｐ） _ｊ)、ｊ＝１、２、・・・Ｎとして表現することができる。
また、スクリーンは平面であると仮定すると、プロジェクタによってスクリーン上に投影された点の３次元座標は、投影点Ｐ^（ｓ） _ｊ＝（Ｘ^（ｓ） _ｊ，Ｙ^（ｓ） _ｊ，０)、ｊ＝１、２、・・・Ｎとして表現することができる。

さらに、そのスクリーン上に投影された点はカメラによって撮影することができ，その点の２次元座標は，画像上に適当に設置した座標系において画像座標ｐ^（ｃ） _ｊ＝（ｘ^（ｃ） _ｊ，ｙ^（ｃ） _ｊ)、ｊ＝１、２、・・・Ｎとして表現することができる。
これらプロジェクタから照射される参照点ｐ^（ｐ） _ｊ、スクリーン上の投影点Ｐ^（ｓ） _ｊ、およびカメラで観測した画像座標ｐ^（ｃ） _ｊの間には、それぞれ平面射影変換（ホモグラフィ）と呼ばれる射影関係が成立する。

ここで、プロジェクタとスクリーン間の平面射影変換をＨ_ｓｐ、スクリーンからカメラへの平面射影変換をＨ_ｓｃとすると、以下の式（１）、（２）の関係で、これらを対応づけることができる。

また、これら式（１）、（２）から明らかなように、プロジェクタから照射される参照点ｐ^（ｐ） _ｊとカメラによって観測されたその点の画像座標ｐ^（ｃ） _ｊとの間には、以下の式（３）の関係が成立する。

平面射影変換Ｈ_ｐｃは、プロジェクタから出力する参照点とカメラで観測した点（画像座標）を透視投影の関係によって直接に結び付ける平面射影変換と考えることができる。逆に、式（３）の関係から、プロジェクタから出力する参照点の座標とカメラで観測したその画像座標が得られれば、平面射影変換Ｈ_ｐｃは最小二乗法を用いて推定することができる。
よって、プロジェクタ面上の任意の参照点ｐ^（ｐ） _ｊが与えられれば、平面射影変換Ｈ_ｐｃを用いて、カメラで観測される画像座標ｐ^（ｃ） _ｊと対応付けることができるため、プロジェクタとカメラの両方をキャリブレーションしたことになる。
このように、プロジェクタ、スクリーンおよびカメラの三者の平面射影変換を利用して、プロジェクタとカメラのキャリブレーションを行うことができる。

近年では、上記原理を発展させ、複数のプロジェクタと、１つのスクリーン、および単眼カメラを使ったプロジェクタ・カメラシステムによるキャリブレーションがある（例えば、非特許文献２）。
この方法は、プロジェクタの内部パラメータ（アスペクト比、焦点距離、キーストーンなど）を既知として、スクリーンとカメラ間の平面射影変換を複数プロジェクタによって形成される投影像に基づき計算し、カメラの内部パラメータ、並びに、スクリーンに対する外部パラメータ（姿勢、位置）を推定するものである。

ところで、プロジェクタとカメラの光学的メカニズムは、大まかに逆の構成となっている。すなわち、プロジェクタは光を出すデバイスであり、一方、カメラは光を受光するデバイスである。よって、プロジェクタの射影幾何は、ピンホールカメラモデルと呼ばれるシンプルな投影モデルを使って解析される。
例えば、プロジェクタ、スクリーンおよびカメラの平面射影変換に着目して、プロジェクタにセットされる参照点座標とカメラで観測される画像座標間の位置合わせや、複数のプロジェクタを使ってカメラの内部パラメータとスクリーンに対する相対的なカメラ姿勢と位置を推定することができる。

"高フレームレート三次元画像計測のためのコード化パターン光投影法"、土居謙介、辻徳生、山本健吉、石井抱、電子情報通信学会論文誌Ｄ，Ｖｏｌ．Ｊ９１−Ｄ，Ｎｏ．５，２００８． Ｔ． Ｏｋａｔａｎｉ ａｎｄ Ｋ． Ｄｅｇｕｃｈｉ， "Ａｕｔｏｃａｌｉｂｒａｔｉｏｎ ｏｆ ａ Ｐｒｏｊｅｃｔｏｒ−Ｃａｍｅｒａ−Ｓｙｓｔｅｍ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２７， Ｎｏ．１２， ｐｐ．１８４５−１８５５， ２００５．

しかしながら、人為的あるいは機構的な原因によって、プロジェクタの位置や姿勢が変化した場合、その都度キャリブレーションを行う必要がある。
例えば、表示デバイスとしての携帯型プロジェクタあるいはプロジェクタを使ったゲームでは、人がその表示デバイスを保持してスクリーンや壁などに映像を投影するため、人の手の動きや体の動きによって、プロジェクタの手振れや位置ずれが生じる。このようなアプリケーションでは、上記のキャリブレーションを用いたとしても、人の動きに対して逐次キャリブレーションすることはできず、常に画像がぶれて投影されるという問題があった。

上述の課題を鑑み、本発明は、光学投影装置の位置が変化した場合であっても、スクリーンにおける投影像の位置ずれを補正し、安定的に映像を投影することができる光学投影安定化装置、光学投影安定化方法およびプログラムを提供することを目的とする。

上述の課題を鑑み、本発明に係る光学投影安定化装置は、投影対象に光を投影する光学投影装置における前記投影対象に対する投影を安定化させる光学投影安定化装置であって、第１の位置及び姿勢の状態にある前記光学投影装置から出射される制御点の光が前記投影対象上において予め決められている基準点に投影され、前記第１の位置及び姿勢の状態にある前記光学投影装置が前記第１の位置及び姿勢の状態と異なる第２の位置及び姿勢の状態に変化した場合、当該変化量に基づき、前記第２の位置及び姿勢の状態で前記光学投影装置から出射される制御点の光が投影される前記投影対象上の第２投影点の位置を求める制御点推定手段と、前記第１の位置及び姿勢の状態の前記光学投影装置と前記投影対象との位置関係に対応する第１の平面射影変換と、前記第１の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光による前記投影対象上の第１投影点と前記第２の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光による前記投影対象上の前記第２投影点との位置関係に対応する第２の平面射影変換とに基づき、前記第２の位置及び姿勢の状態の前記光学投影装置と前記投影対象との位置関係に対応する第３の平面射影変換を算出し、算出した前記第３の平面射影変換に基づき、前記第２の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光の出射位置を補正する平面射影制御手段と、を備える。

また、上述の光学投影安定化装置は、前記投影対象において決められているターゲット点と異なる位置にサンプル点が投影された際、前記投影対象上の前記サンプル点の位置と、前記第１の位置及び姿勢の状態の前記光学投影装置から出射される前記サンプル点の出射位置との位置関係に基づき、前記第１の平面射影変換を得る事前校正手段をさらに備える。

また、上述の光学投影安定化装置は、前記投影対象において決められているターゲット点と異なる位置にサンプル点が投影された際、前記投影対象上の前記ターゲット点と前記投影対象上の前記サンプル点を撮像装置が撮像した画像データに基づき、前記投影対象上の前記サンプル点の位置を求め、求めた前記投影対象上の前記サンプル点の位置と、前記第１の位置及び姿勢の状態の前記光学投影装置から出射される前記サンプル点の出射位置との位置関係に基づき、前記第１の平面射影変換を得る事前校正手段をさらに備える。

また、上述の課題を鑑み、本発明に係る光学投影安定化方法は、投影対象に光を投影する光学投影装置における前記投影対象に対する投影を安定化させる光学投影安定化方法であって、第１の位置及び姿勢の状態にある前記光学投影装置から出射される制御点の光が前記投影対象上において予め決められている基準点に投影され、前記第１の位置及び姿勢の状態にある前記光学投影装置が前記第１の位置及び姿勢の状態と異なる第２の位置及び姿勢の状態に変化した場合、当該変化量に基づき、前記第２の位置及び姿勢の状態で前記光学投影装置から出射される制御点の光が投影される前記投影対象上の第２投影点の位置を求める工程と、前記第１の位置及び姿勢の状態の前記光学投影装置と前記投影対象との位置関係に対応する第１の平面射影変換と、前記第１の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光による前記投影対象上の第１投影点と前記第２の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光による前記投影対象上の前記第２投影点との位置関係に対応する第２の平面射影変換とに基づき、前記第２の位置及び姿勢の状態の前記光学投影装置と前記投影対象との位置関係に対応する第３の平面射影変換を算出し、算出した前記第３の平面射影変換に基づき、前記第２の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光の出射位置を補正する工程と、を備える。

さらに、上述の課題を鑑み、本発明に係るプログラムは、上記各手段として機能させるためのプログラムであることを特徴とする。

本発明によれば、光学投影装置の位置が変化した場合であっても、スクリーンにおける投影像の位置ずれを補正し、安定的に映像を投影することができる。

本発明の第１実施形態にかかる光学投影安定化システムの構成の一例を示す図である。 本発明の第１実施形態にかかる光学投影安定化システムにおいて利用可能なターゲット点の一例を説明するための図である。 本発明の第１実施形態にかかる光学投影安定化装置の構成の一例を示す図である。 本発明の第１実施形態にかかる光学投影安定化装置の処理フローの一例を示すフローチャートである。 本発明の第２実施形態にかかる光学投影安定化装置の構成の一例を示す図である。 本発明の第２実施形態にかかる光学投影安定化装置の事前校正部における処理フローの一例を示すフローチャートである。

［第１実施形態］
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１実施形態に係る光学投影安定化システムの一例を示す概略図である。
図１に示す通り、光学投影安定化システムは、プロジェクタ１と、スクリーン２と、カメラ３と、光学投影安定化装置４とを含む。

プロジェクタ１は、光をスクリーン２に照射することによって、像をスクリーン２に投影する光学投影装置である。このプロジェクタ１は、例えば、２次元座標で示される参照点ｐ^（ｐ） _ｊ（ｘ^（Ｐ） _ｊ，ｙ^（Ｐ） _ｊ)、ｊ＝１、２、・・・Ｎを放ち、この参照点に対応する像（以下、投影点という）をスクリーン２に投影する。なお、この参照点は、プロジェクタ座標系により、ｐ^（ｐ） _ｊ＝（ｘ^（ｐ） _ｊ，ｙ^（ｐ） _ｊ)の２次元座標で示される。なお、Ｎは、実験により任意に定める正数であり、例えばＮ＝４とする。
なお、プロジェクタ座標系とは、プロジェクタ座標系に対するローカルな座標系であって、プロジェクタ１の位置と姿勢を表す座標である。

スクリーン２は、スクリーン座標系（Ｘｗ，Ｙｗ，Ｚｗ）に対して、Ｚｗ＝０となる２次元（Ｘｗ，Ｙｗ）の平面上にあるものとする。なお、このスクリーン座標系は、プロジェクタ１とスクリーン２（あるいはプロジェクタ１とカメラ３）の位置関係を説明するための基準座標系（世界座標系）である。
また、スクリーン２に投影される投影点は、点Ｐ^（ｓ） _ｊ＝（Ｘ^（ｓ） _ｊ，Ｙ^（ｓ） _ｊ，０）ｊ＝１、２、・・・Ｎでの３次元座標で示される。
このスクリーン２上には、予めプロジェクタ１とスクリーン２の間の基準状態での平面射影変換を求めるためのターゲット点が決められており、点Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０）ｊ＝１、２、・・・Ｎとする。

カメラ３は、スクリーン２に投影された像を撮像し、画像データを取得する。なお、このカメラ３によって取得した画像データに含まれる投影点は、画像上に適当に設置した画像座標系において、２次元座標ｐ^（ｃ） _ｊ＝（ｘ^（ｃ） _ｊ，ｙ^（ｃ） _ｊ) ｊ＝１、２、・・・Ｎとして観測される。

次にターゲット点の一例について、図２を参照して説明する。
図２に示す通り、格子パターンなどの幾何模様を描いた薄い平面板をスクリーン２に置き、各格子点をターゲット点とする。なお、この格子パターンは、黒で示す格子部分のｘ方向およびｙ方向の長さｄと、白抜きで示す枠部分のｘ方向およびｙ方向の長さｄとが同一である。

次に、光学投影安定化装置４の構成の一例について、図３を参照して説明する。
図３に示す通り、光学投影安定化装置４は、制御点推定部４１と、平面射影制御部４２と、平面射影変換式記憶部４３とを含む。
センサ５は、例えば、プロジェクタ１に取り付けられたあるいは内蔵したジャイロセンサや赤外線センサであって、プロジェクタ１の外部パラメータを得て、制御点推定部４１に出力する。このセンサ５は、外部パラメータとして、世界座標系での位置（Ｔｘ，Ｔｙ，Ｔｚ）をプロジェクタ１の位置として得て、プロジェクタ座標系における投影中心Ｏ’をローカル座標系での原点とした直交座標系ＸＹＺにおいて，それぞれの軸周りの回転角ψ，ω，θをプロジェクタ１の姿勢として得る。つまり、センサ５は、スクリーン２に対するプロジェクタ１の位置と、プロジェクタ１の姿勢を示す情報を、外部パラメータとして得る。
なお、センサ５は、プロジェクタ１と同期している必要はなく、逐次的にこれらのセンシングしたデータを出力するものとする。

ここで、本実施形態に係る光学投影安定化装置４に利用される、プロジェクタ１の位置あるいは姿勢が変化したときの平面射影変換の制御方法の一例について説明する。なお、プロジェクタの内部パラメータ（焦点距離、投影中心など）は不変であって、外部パラメータ（姿勢と位置）が変化したと仮定し、ピンホールカメラモデルと同様に扱う。

この光学投影安定化装置４は、事前のキャリブレーションによってプロジェクタ１とスクリーン２と間の平面射影変換Ｈ_ｓｐを得て、平面射影変換式記憶部４３に記憶しておく。
ここで、プロジェクタ１が静止していれば、プロジェクタ１から放たれる２次元座標ｐ^（ｒ） _ｊ＝（ｘ^（ｒ） _ｊ，ｙ^（ｒ） _ｊ)、ｊ＝１、２、・・・Ｎは、以下の式（４）に示す射影関係に基づき、キャリブレーションによって得られたスクリーン上のターゲット点Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)と同一位置に投影される。

この光学投影安定化装置４は、プロジェクタ１が動いた場合、スクリーン２上の３次元座標のターゲット点Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)を、その都度、外部パラメータを用いて推定する。この光学投影安定化装置４は、プロジェクタ１が動いてしまった移動量に伴って、プロジェクタ１から放たれる２次元座標ｐ^（ｔ） _ｊ＝（ｘ^（ｔ） _ｊ，ｙ^（ｔ） _ｊ)が、スクリーン２上に設定されているターゲット点である２次元座標ｐ^（ｑ） _ｊ＝（ｘ^（ｑ） _ｊ，ｙ^（ｑ） _ｊ)と一致する位置に投影されるように平面射影的に補正する。

そのためには、プロジェクタ１の外部パラメータを利用する。
この光学投影安定化装置４には、プロジェクタ１とスクリーン２（あるいはプロジェクタ１とカメラ３）の位置関係を説明するために、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）と、ローカルな座標系であるプロジェクタ座標系が設定されている。
例えば、図１に示すように、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）の原点をスクリーン２上のある点Ｏとし、スクリーン２平面に沿って水平あるいは垂直方向をそれぞれＸｗ軸あるいはＹｗ軸と、原点Ｏからプロジェクタ１に向う方向をＺｗ軸と、それぞれ定義する。

制御点推定部４１は、このセンサ５のセンシングによって得られた外部パラメータを、以下に示す式（５）に代入して、外部パラメータの変化に伴う、スクリーン２上での参照点の３次元座標Ｐ^（ｔ） _ｊ＝（Ｘ^（ｔ） _ｊ，Ｙ^（ｔ） _ｊ，０)を得る。

ただし、以下に示す式（６）の通り置換しており、（ｘ_ｊ，ｙ_ｊ)は、（x^（r） _ｊ，y^（r） _ｊ)を式（７）に従ってプロジェクタ１の内部パラメータで補正した座標である。

このようにして、制御点推定部４１は、スクリーン２上での制御点の３次元座標（Ｘ^（ｔ） _ｊ，Ｙ^（ｔ） _ｊ，０)を得て、平面射影制御部４２に出力する。

そして、平面射影制御部４２は、制御点推定部４１によって得られた制御点の３次元座標（Ｘ^（ｔ） _ｊ，Ｙ^（ｔ） _ｊ，０)と、プロジェクタ１が静止していたときのターゲット点の３次元座標（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)の間の平面射影変換Ｈ^（ｔ）を得る。つまり、平面射影制御部４２、以下に示す式（８）の射影関係に基づいて、例えば最小二乗法などの計算方法に用いて、平面射影変換Ｈ^（ｔ）を推定する。

これにより、平面射影制御部４２は、プロジェクタ１が動いた場合、スクリーン２上のターゲット点の位置が（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)から（Ｘ^（ｔ） _ｊ，Ｙ^（ｔ） _ｊ，０)へ動いたことによって判断することができる。
つまり、光学投影安定化装置４は、以下に示す式（９）の平面射影変換の関係を利用して、元のターゲット点の３次元座標（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)と同一の位置に、プロジェクタ１がターゲット点を投影するように、プロジェクタ１が移動後の制御点の２次元座標（x^（ｔ） _ｊ，y^（ｔ） _ｊ)を得る。

ここで、この制御点の２次元座標（ｘ^（ｔ） _ｊ，ｙ^（ｔ） _ｊ)は、式（９）の右辺の計算によって得られるものであるため、この制御点の２次元座標（ｘ^（ｔ） _ｊ，ｙ^（ｔ） _ｊ)を得るためには、平面射影変換Ｈ^（ｔ） _ｓｐを求めなければならない。

ところで、プロジェクタ１が動くことに伴い、スクリーン２上の制御点の３次元座標（Ｘ^（ｔ） _ｊ，Ｙ^（ｔ） _ｊ，０)とプロジェクタ１に与えたサンプル点の２次元座標（ｘ^（ｒ） _ｊ，ｙ^（ｒ） _ｊ)の間にも、以下に示す式（１０）のような関係が成立する。

この式（１０）と上述の式（４）により、式（１１）が成立つ。

さらに、式（１１）と式（８）から式（１２）が成立つ。

これにより、以下の式（１３）を導くことができる。

式（１３）に示すＨ^（ｔ）は、式（８）で示されているように外部パラメータが更新されるたびに算出できる平面射影変換である。また、式（１３）に示すＨ_ｓｐは、事前のキャリブレーションで得た平面射影変換である。なお、本実施例では、このＨ_ｓｐを、事前のキャリブレーションによって得ておき、平面射影変換式記憶部４３に記憶しておく。そして、平面射影制御部４２が、この平面射影変換式記憶部４３からＨ_ｓｐを読み出して利用する。

制御点推定部４１は、センサ５のセンシングによって更新された外部パラメータに伴い、式（１３）に従って平面射影変換Ｈ^（ｔ） _ｓｐを計算し、式（９）に従って２次元座標（ｘ^（ｔ） _ｊ，ｙ^（ｔ） _ｊ)を得る。つまり、その座標に対応する像をプロジェクタ１から放てば、基準としたターゲット点の照点位置Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)へ投影される。
そして、平面射影制御部４２は、２次元座標Ｐ^（ｔ） _ｊ＝（Ｘ^（ｔ） _ｊ，Ｙ^（ｔ） _ｊ)をプロジェクタ１から出力する全ての画素へ拡張すれば、画像や映像へ容易に応用することができる。

なお、上記では、スクリーン２上のターゲット点の３次元座標をＰ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)、を予め得ておくことにより、既知とした（前者）。さらに、事前のキャリブレーションによって、スクリーン２とプロジェクタ１間の平面射影変換Ｈ_ｓｐが得られていることを前提とした（後者）。
前者の前提については、例えば、図２に示すように、格子パターンなどの幾何模様を描いた薄い平面板をスクリーン２上に置き、各格子をターゲット点とする。ここでは、各格子の間隔ｄが分かっているので、原点Ｏを（０，０，０）として各格子点の３次元座標を与えることができる。あるいは、スクリーン２に設置したターゲット点の位置をレーザ計測などによって測り、各３次元座標を与えることもできる。

後者の前提については、第２実施形態で後述する事前校正部が、平面射影変換Ｈ_ｓｐを算出することによって、プロジェクタ１とスクリーン２との間の基準状態として、プロジェクタ１から投影されるサンプル点をスクリーン２上の既知のターゲット点に一致させることができる。以下に、この原理の概要を説明する。
スクリーン１上のターゲット点の３次元座標Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)は、カメラ３が撮像した画像データ中の画像座標ｐ^（ｑ） _ｊ＝（ｘ^（ｑ） _ｊ，ｙ^（ｑ） _ｊ)、ｊ＝１、２、・・・Ｎとして得ることができる。
これにより、その平面射影変換Ｈ_ｓｃは、以下に示す式（１４）で表わすことができる。

ここで、画像座標ｐ^（ｑ） _ｊ＝（ｘ^（ｑ） _ｊ，ｙ^（ｑ） _ｊ)とターゲット点Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)に基づき、平面射影変換Ｈ_ｓｃの３×３の要素は、これらのデータから最小二乗法を使って推定することができる。

一方、プロジェクタ１から出力されたサンプル点の２次元座標ｐ^（ｐ） _ｊ＝（ｘ^（ｐ） _ｊ，ｙ^（ｐ） _ｊ)、ｊ＝１、２、・・・Ｎは、平面のスクリーン２上において３次元座標Ｐ^（Ｓ） _ｊ＝（Ｘ^（Ｓ） _ｊ，Ｙ^（Ｓ） _ｊ，０)、ｊ＝１、２、・・・Ｎの位置に投影されると仮定する。
このターゲット点の３次元座標Ｐ^（Ｓ） _ｊは、式（２）に示すようにカメラ３により撮像される画面内において画像座標ｐ^（ｃ） _ｊ＝（ｘ^（ｃ） _ｊ，ｙ^（ｃ） _ｊ)、ｊ＝１、２、・・・Ｎとして観測される。
一般的に、スクリーン２上の既知のターゲット点Ｐ^（ｑ） _ｊと、プロジェクタ１により投影されたサンプル点の３次元座標Ｐ^（ｓ） _ｊは異なるので、カメラ３で撮影された画面内におけるターゲット点とサンプル点の画像座標も異なる。
ただし、同じスクリーン２上の３次元座標を同じカメラ３で観測しているので、ターゲット点の３次元座標Ｐ^（ｓ） _ｊとその画像座標ｐ^（ｃ） _ｊの間は、先に求めた平面射影変換Ｈ_ｓｃで関係付けることができる。よって、スクリーン上のターゲット点の３次元座標Ｐ^（ｓ） _ｊは、以下に示す式（１５）に従って、得ることができる。

得られたターゲット点の３次元座標Ｐ^（Ｓ） _ｊとプロジェクタ１に適当に設定したサンプル点の２次元座標ｐ^（ｐ） _ｊは、式（１）の関係にあるので、これらの関係から平面射影変換Ｈ_ｓｐを最小二乗法を使って求めることができる。

この段階では、プロジェクタ１から放たれるサンプル点の２次元座標ｐ^（ｐ） _ｊ＝（ｘ^（ｐ） _ｊ，ｙ^（ｐ） _ｊ)は、基準とするターゲット点の３次元座標（Ｘ^（ｐ） _ｊ，Ｙ^（ｐ） _ｊ，０）に投影されない。
次に、ターゲット点Ｐ^（ｑ） _ｊへ投影されるように、プロジェクタ１にセットするサンプル点の２次元座標を求める。

スクリーン２とプロジェクタ１間の平面射影変換Ｈ_ｓｐが得られたので、スクリーン２上の既知のターゲット点Ｐ^（ｑ） _ｊへ投影されるプロジェクタ面上のサンプル点の２次元座標ｐ^（ｒ） _ｊ＝（ｘ^（ｒ） _ｊ，ｙ^（ｒ） _ｊ)は、以下に示す式（１６）となる。

この式（１６）に従って得たサンプル点の２次元座標ｐ^（ｒ） _ｊをプロジェクタ１から出力して投影すれば、スクリーン２上の既知のターゲット点Ｐ^（ｑ） _ｊと同一の位置に投影される。
これにより、プロジェクタ１にセットした２次元座標ｐ^（ｒ） _ｊとスクリーン２上の既知の参照点Ｐ^（ｑ） _ｊが対応付けたことになる。

本発明では、この対応関係を基準状態とし、プロジェクタ１の位置や姿勢が変化した場合、プロジェクタ１から放たれる２次元座標ｐ^（ｒ） _ｊを、スクリーン２上の参照点へ投影されるように逐次的にその２次元座標を補正する。

以上で説明したように、本発明に係る光学投影安定化装置４は、事前のキャリブレーションによって、スクリーン２上のターゲット点と、プロジェクタ１から出力するサンプル点の２次元座標を平面射影変換Ｈ_ｓｐによって対応付けた後、センサ５によって得たプロジェクタ１の外部パラメータに基づき、スクリーン２上の３次元座標（式（５）の（Ｘ^（ｔ） _ｊ，Ｙ^（ｔ） _ｊ，０)）を推定し、その３次元座標とスクリーン２上に合わせるべき元の３次元座標との間の平面射影変換（式（８）のＨ^（ｔ） _ｊ）を用いて、式（９）に従って、プロジェクタ１による投影を安定化させることができる。

光学投影安定化装置４は、事前のキャリブレーションによって、スクリーン２上のターゲット点と、プロジェクタ１から出力するサンプル点の２次元座標を平面射影変換Ｈ_ｓｐによって対応付けた後、このキャリブレーションによって得られた平面射影変換Ｈ_ｓｐを平面射影変換式記憶部４３に記憶しておく。

次に、図４を参照して、光学投影安定化装置４によるプロジェクタ１の位置や姿勢の変化量に基づく平面射影安定化の処理フローの一例について説明する。
図４に示す通り、センサ５によって、プロジェクタ１の位置や姿勢の変化がセンシングされ、プロジェクタ１の位置や姿勢の変化量を示す外部パラメータが制御点推定部４１に入力される（ステップＳＴ１１）。制御点推定部４１は、この外部パラメータに基づき、プロジェクタ１の位置や姿勢が変化したか否かを判断する（ステップＳＴ１２）。
例えば、図４の処理フローを開始する初期状態として、プロジェクタ１の位置と姿勢をセンサ５によって得て、その状態を制御点推定部４１の内蔵する記憶部に記憶しておく。

センサ５は、逐次的にプロジェクタ１の位置や姿勢をセンシングした外部パラメータを出力するものとする。よって、プロジェクタ１の位置や姿勢に変化がない場合は、制御点推定部４１は、そのままセンサ５からの入力を待つ。また、制御点推定部４１は、センサ５からの外部パラメータの入力があった場合、一旦、外部パラメータの入力（ステップＳＴ１１に示す処理）を待機状態にし、外部パラメータを入力データとして、ステップＳＴ１３に進む。

制御点推定部４１は、入力された外部パラメータに基づき、式（５）〜（７）に従って、プロジェクタ１にセットしたサンプル点の２次元座標（ｘ^（ｒ） _ｊ，ｙ^（ｒ） _ｊ)から、スクリーン２上でのサンプル点の３次元座標（Ｘ^（ｔ） _ｊ，Ｙ^（ｔ） _ｊ，０)を算出する（ステップＳＴ１３）。

続いて、制御点推定部４１は、ステップＳＴ１３で得た３次元座標（Ｘ^（ｔ） _ｊ，Ｙ^（ｔ） _ｊ，０)と初期状態でのターゲット点の３次元座標（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)に基づき、式（８）に従って、外部パラメータの変化に伴う平面射影変換Ｈ^（ｔ）を算出する（ステップＳＴ１４）。

一方、平面射影制御部４２では、平面射影変換式記憶部４３から、プロジェクタ１とスクリーン２間の平面射影変換Ｈ_ｓｐを読み出す（ステップＳＴ１０）。

そして、平面射影制御部４２は、スクリーン２において処理対象の領域を決め、スクリーン２上にモアレが生じないよう、スクリーン２上の隣り合う点の３次元座標の間隔を小さく設定して（例えば、１ミリメートル間隔）、各３次元座標を順番に取り出す（ステップＳＴ１５）。
次いで、平面射影制御部４２は、ステップＳＴ１４において算出された平面射影変換Ｈ^（ｔ）、並びに、平面射影変換式記憶部４３から与えられる平面射影変換Ｈ_ｓｐに基づき、式（９）、（１３）の関係に従い、スクリーン２上の３次元座標（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)から，２次元座標（ｘ^（ｒ） _ｊ，ｙ^（ｒ） _ｊ)へ補正変換する（ステップＳＴ１６）。
３次元座標（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)を式（９）に代入して（ｘ^（ｒ） _ｊ，ｙ^（ｒ） _ｊ)を得るとき、プロジェクタ１から出力できる２次元座標かどうかを照合する（ステップＳＴ１７）。プロジェクタ１から出力できない２次元座標であるならば、平面射影制御部４２は、何も処理をおこなわず、次の３次元座標を処理する。
プロジェクタ１から出力できる２次元座標が得られたならば、その２次元座標の原画像に該当する画素値を取り出し、一時的にデータベース内、あるいはメモリ上に格納する（ステップＳＴ１８）。この処理を全ての対象の３次元座標について行った後に、一時的に格納した画像をプロジェクタ１から投影する。この投影された画像あるいは映像は、初期状態での位置と姿勢から放たれる画像または映像と同様な状態で投影される。
投影が終了すると、再び、ステップＳＴ１１の外部パラメータの入力の待機状態を解除し、センサ５からの外部パラメータの入力を受け付け、上記の処理を繰り返す。

なお、上記構成において、対象のプロジェクタ１とセンサ５は必ずしも構成要素として接続している必要はなく、光学投影安定化装置は、処理に必要なデータを取得すればよく、センサ５から制御点推定部４１に対する入力は、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する。または、このデータの入力には、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
また、上記の実施例では、単眼のプロジェクタの系の例で説明したが、プロジェクタが複数あってもよく、同様の処理により、各プロジェクタから出力する投影像を制御し、安定的にスクリーン上に投影することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る光学投影安定化装置について説明する。
図５に示す通り、本実施形態に係る光学投影安定化装置４０１は、スクリーン１上の既知のターゲット点とプロジェクタ１によってスクリーンに投影されたサンプル点を、カメラ３を通してそれぞれ画像として観測するための画像入力部４５を備える。
また、光学投影安定化装置４０１は、スクリーン２上のターゲット点の座標とカメラ３によって観測した座標との間の平面射影変換と、プロジェクタ１に設定したサンプル点の座標とプロジェクタ１によりスクリーン２上へ投影された点をカメラ３によって観測して得た座標との間の平面射影変換を事前に推定し、スクリーン２上の既知のターゲット点へプロジェクタから投影されるサンプル点が一致するようにサンプル点の２次元座標を補正する事前校正部４４とを備える。

また、本実施形態では、プロジェクタ１とカメラ３は、必ずしも構成要素として接続している必要はなく、処理に必要な画像を画像入力部４５から取得すればよい。この画像入力部４５には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する。または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。さらに、処理の必要に応じてリアルタイムで画像を取得する場合も可能であり、本発明は必ずしも記憶装置を必要としない。

例えば、図１に示すように、スクリーン２に向くように適当にプロジェクタ１とカメラ３が設置されているとする。このとき、プロジェクタ１に設定する全てのサンプル点がスクリーン２上に投影され、そのスクリーン２上における全サンプル点とスクリーン２上の既知の全ターゲット点をカメラ３によって取得された画像データが、画像入力部４５に入力される。

本発明の第２実施形態は、この事前校正部４４を備える点が第１実施形態と異なるため、この処理について図６を参照して詳細に説明する。
図６に示す通り、スクリーン２上に、例えば図２に示すような格子を置き、スクリーン２上におけるターゲット点を設定する（ステップＳＴ２１）。このターゲット点は、必ずしも市松模様に限定されるものではなく、ターゲット点の３次元座標が何らかの手段によって測ることができればよい。本例では、格子間隔が一定で横方向と縦方向の寸法が事前に分かっているとする。ある格子点を原点とすると、図２では縦横方向の格子間隔はdであるので、各格子点の３次元座標（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０）を容易に与えることができる。あるいは、このスクリーン２上におけるターゲット点Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)の座標値（実空間での物理的な３次元位置）をレーザ計測やメジャーなどを使って予め測ってもよい。
そして、このスクリーン２に置かれた格子パターンをカメラ３で撮影し、ステップＳＴ２２では、画像入力部４５が、カメラ３から出力された画像データに対してエッジ検出などの画像処理をすることで、市松模様の各格子点の２次元座標ｐ^（ｑ） _ｊ＝（ｘ^（ｑ） _ｊ，ｙ^（ｑ） _ｊ)を得る。

次いで、事前校正部４４は、ステップＳＴ２１およびステップＳＴ２２によって得られたスクリーン２におけるターゲット点Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)とターゲット点の画像座標ｐ^（ｑ） _ｊ＝（ｘ^（ｑ） _ｊ，ｙ^（ｑ） _ｊ)に基づき、式（１４）に従って、平面射影変換Ｈ_ｓｃを算出する（ステップＳＴ２３）。

一方、事前校正部４４は、サンプル点の初期の２次元座標ｐ^（ｐ） _ｊ＝（ｘ^（ｐ） _ｊ，ｙ^（ｐ） _ｊ)をプロジェクタ１から出力する（ステップＳＴ２４）。これにより、プロジェクタ１からサンプル点の２次元座標ｐ^（ｐ） _ｊ＝（ｘ^（ｐ） _ｊ，ｙ^（ｐ） _ｊ)が放たれ、スクリーン２上では、サンプル点の３次元座標Ｐ^（ｓ） _ｊ＝（Ｘ^（ｓ） _ｊ，Ｙ^（ｓ） _ｊ，０)として投影される。

次いで、画像入力部４５は、カメラ３から、スクリーン２上に投影されているサンプル点を画像として取得し、その画像上でのサンプル点の画像座標Ｐ^（ｃ） _ｊ＝（ｘ^（ｃ） _ｊ，ｙ^（ｃ） _ｊ)を画像処理によって得て、事前校正部４４に出力する。そして、事前校正部４４は、このサンプル点の画像座標Ｐ^（ｃ） _ｊ＝（ｘ^（ｃ） _ｊ，ｙ^（ｃ） _ｊ)と、ステップＳＴ２３において算出された平面射影変換Ｈ_ｓｃに基づき、式（１５）に従って、スクリーン２上におけるサンプル点の３次元座標Ｐ^（ｓ） _ｊ＝（Ｘ^（ｓ） _ｊ，Ｙ^（ｓ） _ｊ，０)を得る（ステップＳＴ２５）。

次いで、事前校正部４４は、ステップＳＴ２５において得られたスクリーン２上におけるサンプル点の３次元座標Ｐ^（ｓ） _ｊ＝（Ｘ^（ｓ） _ｊ，Ｙ^（ｓ） _ｊ，０)と、ステップＳＴ２４においてプロジェクタ１にセットされたサンプル点の２次元座標ｐ^（ｐ） _ｊ＝（ｘ^（ｐ） _ｊ，ｙ^（ｐ） _ｊ)に基づき、式（１）に従って、平面射影変換Ｈ_ｓｐを算出する（ステップＳＴ２６）。

そして、事前校正部４４は、ステップＳＴ２６において算出された平面射影変換Ｈ_ｓｐを使って、スクリーン２上におけるターゲット点Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０)へ投影するための２次元座標ｐ^（ｒ） _ｊ＝（ｘ^（ｒ） _ｊ，ｙ^（ｒ） _ｊ)を式（１６）に基づいて算出する（ステップＳＴ２７）。

以上の処理の後、この２次元座標ｐ^（ｒ） _ｊをプロジェクタ１から出力すれば、サンプル点ｐ^（ｒ） _ｊをスクリーン２上でのターゲット点へ投影することができる。このときの位置と姿勢を基準状態として保持しておくと同時に、プロジェクタ１がスクリーン２間の平面射影変換Ｈ_ｓｐを保持する。
この処理によって、プロジェクタ１がスクリーン２へ投影する基準の位置と姿勢を決めた（事前にキャリブレーションした）ことになり、これ以降は、第１実施形態で説明した手順によって、プロジェクタの位置と姿勢についてセンサ５を使って計測すれば、その位置と姿勢に合わせて、プロジェクタ１から放つ２次元座標を平面射影的に補正するため、画像または映像を常に静止した状態と同様に安定してスクリーン上に投影することができる。

なお、上述の通り、本発明に係る光学投影安定化装置は、第２実施形態において説明した事前校正部４４を必須の構成要件とするものではなく、第１実施形態で説明したとおり、この事前校正部４４によって求められる平面射影変換Ｈ_ｓｐを平面射影変換式記憶部４３に記憶しておき、以後は記憶された平面変換を用いるものであってもよい。
また、平面射影変換Ｈ_ｓｐの算出は、スクリーン２がプロジェクタ１の前に設置された時点で、スクリーン２とプロジェクタ１との間を事前に校正するものである。スクリーン２が固定されているとすれば、スクリーン２とプロジェクタ１との間を一度だけ校正しておけばよい。校正後は、プロジェクタ１に付随するセンサ５によってプロジェクタ１の位置と姿勢を得て、平面射影変換の式を変更していくことで投影像を安定させることができる。
スクリーン２を動かした場合（位置と姿勢が変わる）には、基準座標系が崩れてしまうため、再び平面射影変換Ｈ_ｓｐの算出を行う必要があるが、それ以外の場合は、一度求めた平面射影変換Ｈ_ｓｐを記憶部に記憶しておき、記憶した平面射影変換Ｈ_ｓｐを随時読み出して用いればよく、平面射影変換Ｈ_ｓｐを算出し直す必要はない。
例えば、スクリーン２を壁として平面射影変換Ｈ_ｓｐを求めて投影像を安定化したとする。一度プロジェクタ１のスイッチを切った後に再度同じ壁に映像を投影する場合には、平面射影変換Ｈ_ｓｐを算出し直す必要はなく、前回の校正で得られた平面射影変換Ｈ_ｓｐを利用できる。
なお、プロジェクタ１のスイッチを切った後に、床に投影しようとする場合には、スクリーン２を動かした場合に相当し基準座標系が崩れてしまうため、再び平面射影変換Ｈ_ｓｐの算出が必要となる。

上述の通り、本発明は、以下のような特徴を有する。
プロジェクタなどの光学投影装置からスクリーンなどの投影面上に画像または映像を安定的に投影するための投影安定化装置であって、プロジェクタから放たれるサンプル点が投影面上に投影されるときの空間座標において、サンプル点と空間座標間の平面射影に基づき、プロジェクタ面と投影面との間の対応付けを行う手段（事前校正手段）と、ある基準となる座標系において光学投影装置の位置または姿勢をセンシングデバイスなどによって得て、その位置または姿勢を使って投影面上のサンプル点の空間座標を算出する手段（制御点推定手段）と、該制制御点推定手段から得た空間座標と基準とする空間座標間の平面射影変換を推定し、その平面射影変換と事前校正手段で得た平面射影変換を使って、プロジェクタから放出する2次元座標の平面射影を補正する手段（平面射影制御手段）と、を備えることを特徴とする光学投影安定化装置である。

言い換えると、本発明に係る光学投影安定化装置は、事前にプロジェクタからスクリーンへ投影するための２次元座標を校正した２Ｄデータを初期値として設定する事前校正部と、プロジェクタに装着したセンサによって計測されたプロジェクタの位置または姿勢を使って、プロジェクタから放たれる２次元座標のスクリーン上での空間座標を推定する制御点推定部と、スクリーン上で基準とする参照点（ターゲット点）と制御点推定部で推定された空間座標との間の平面射影変換を求め、その平面射影変換をプロジェクタ・スクリーン間平面射影に作用させて得た平面射影変換を使って、プロジェクタから放つ２次元座標をターゲット点へ投影するようにプロジェクタに入力する２次元座標を射影幾何的に制御する平面射影制御部を含む。

また、事前校正部は、投影面上の幾何情報が既知である参照点（ターゲット点）と、光学投影装置から放出するサンプル点を画像入力装置によって観測し、ターゲット点とサンプル点の２次元座標の平面射影の対応関係から、プロジェクタとスクリーン間の平面射影変換とスクリーンとカメラ間の平面射影変換をそれぞれ推定し、それらの平面射影変換の関係を使って、光学投影装置から放出するサンプル点を投影面上のターゲット点へ投影されるように、サンプル点の２次元座標を補正する手段である。

本発明に係る光学投影安定化装置は、スクリーンにプロジェクタを使って映像または画像を投影するとき、何らかの原因によって光学投影装置の位置がずれる、あるいは、姿勢が変わることによって生じる投影像の位置ずれ、あるいは、射影的歪みが変化するときに利用可能で、安定的にスクリーンに投影像を映し出すようにその位置ずれ、あるいは、射影的歪みの変化を補正することを目的として、プロジェクタの位置と姿勢が多少変化しても、所定の位置と姿勢からコンテンツを投影することができる。

よって、プロジェクタが動いた場合、あるいは人為的にプロジェクタを動かした場合でも、従来のカメラキャリブレーション（非特許文献１、２）と比べて、キャリブレーション作業を逐次行う必要がなく、能動的、かつ、安定的にスクリーンに画像または映像を投影することができる。また、複数のプロジェクタで同領域へ投影するシステムにおいても、安定的にプロジェクタから放たれる画像あるいは映像を安定的に投影することができる。

また、このプロジェクタとカメラを含むプロジェクタ・カメラシステムでのキャリブレーション作業では、プロジェクタによってスクリーン上に投影された参照点をカメラが観測し、その間の平面射影の関係に基づいて校正処理が行われる。
なお、そのキャリブレーション作業の後、プロジェクタからはユーザに提供するためのコンテンツ（例えば、映像や画像）が映し出されているとする。この間、プロジェクタが何らかの原因で、既にキャリブレーションした位置と姿勢（以下、基準位置という）から多少動いた場合、上記のキャリブレーション法を適用するには、スクリーン上に参照点を映し出す必要がある。しかしながら、コンテンツに重複して参照点をスクリーンに投影することは、画像品質の面で妨げとなるという問題があった。

さらに、従来のプロジェクタ・カメラシステムにおいて、プロジェクタと同期するカメラによって常にスクリーンとプロジェクタを撮影し、撮影された映像に基づきプロジェクタの位置と姿勢をセンシングする手法である。しかし、カメラとプロジェクタ間において、高フレームレートで遅延を生じることなく投影像を制御することは、ハードウェアにかかる負担が増大する問題があった。
本発明に係る光学投影安定化装置は、上述の構成により、これらの問題を解決することができる。

なお、上述した第１〜２実施形態において、光学投影安定化装置による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、安定的にプロジェクタから放たれる画像あるいは映像を安定的に投影するように制御してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１ プロジェクタ、２ スクリーン、３ カメラ、４ 光学投影安定化装置、５ センサ、４１ 制御点推定部、４２ 平面射影制御部、４３ 平面射影変換式記憶部、４４ 事前校正部、４５ 画像入力部

Claims (5)

1. 投影対象に光を投影する光学投影装置における前記投影対象に対する投影を安定化させる光学投影安定化装置であって、
   第１の位置及び姿勢の状態にある前記光学投影装置から出射される制御点の光が前記投影対象上において予め決められている基準点に投影され、前記第１の位置及び姿勢の状態にある前記光学投影装置が前記第１の位置及び姿勢の状態と異なる第２の位置及び姿勢の状態に変化した場合、当該変化量に基づき、前記第２の位置及び姿勢の状態で前記光学投影装置から出射される制御点の光が投影される前記投影対象上の第２投影点の位置を求める制御点推定手段と、
   前記第１の位置及び姿勢の状態の前記光学投影装置と前記投影対象との位置関係に対応する第１の平面射影変換と、前記第１の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光による前記投影対象上の第１投影点と前記第２の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光による前記投影対象上の前記第２投影点との位置関係に対応する第２の平面射影変換とに基づき、前記第２の位置及び姿勢の状態の前記光学投影装置と前記投影対象との位置関係に対応する第３の平面射影変換を算出し、算出した前記第３の平面射影変換に基づき、前記第２の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光の出射位置を補正する平面射影制御手段と、
   を備えることを特徴とする光学投影安定化装置。
2. 前記投影対象において決められているターゲット点と異なる位置にサンプル点が投影された際、前記投影対象上の前記サンプル点の位置と、前記第１の位置及び姿勢の状態の前記光学投影装置から出射される前記サンプル点の出射位置との位置関係に基づき、前記第１の平面射影変換を得る事前校正手段をさらに備えることを特徴とする請求項１に記載の光学投影安定化装置。
3. 前記投影対象において決められているターゲット点と異なる位置にサンプル点が投影された際、前記投影対象上の前記ターゲット点と前記投影対象上の前記サンプル点を撮像装置が撮像した画像データに基づき、前記投影対象上の前記サンプル点の位置を求め、求めた前記投影対象上の前記サンプル点の位置と、前記第１の位置及び姿勢の状態の前記光学投影装置から出射される前記サンプル点の出射位置との位置関係に基づき、前記第１の平面射影変換を得る事前校正手段をさらに備えることを特徴とする請求項１に記載の光学投影安定化装置。
4. 投影対象に光を投影する光学投影装置における前記投影対象に対する投影を安定化させる光学投影安定化方法であって、
   第１の位置及び姿勢の状態にある前記光学投影装置から出射される制御点の光が前記投影対象上において予め決められている基準点に投影され、前記第１の位置及び姿勢の状態にある前記光学投影装置が前記第１の位置及び姿勢の状態と異なる第２の位置及び姿勢の状態に変化した場合、当該変化量に基づき、前記第２の位置及び姿勢の状態で前記光学投影装置から出射される制御点の光が投影される前記投影対象上の第２投影点の位置を求める工程と、
   前記第１の位置及び姿勢の状態の前記光学投影装置と前記投影対象との位置関係に対応する第１の平面射影変換と、前記第１の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光による前記投影対象上の第１投影点と前記第２の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光による前記投影対象上の前記第２投影点との位置関係に対応する第２の平面射影変換とに基づき、前記第２の位置及び姿勢の状態の前記光学投影装置と前記投影対象との位置関係に対応する第３の平面射影変換を算出し、算出した前記第３の平面射影変換に基づき、前記第２の位置及び姿勢の状態の前記光学投影装置から出射される前記制御点の光の出射位置を補正する工程と、
   を備えることを特徴とする光学投影安定化方法。
5. コンピュータを、請求項１〜３のうちいずれか一項に記載の各手段として機能させるためのプログラム。

Images