JPWO2010055625A1 - 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム - Google Patents

Abstract

任意の投影面に画像を投影する場合に、投影される画像の画素と、投影手段における画素との対応関係を特定する。基準パターン画像群生成手段７３は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する。位相計算手段７５は、その各画像を撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する。対応付け手段７６は、基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、その初期位相値に対して行い、その結果を利用して、投影対象画像における画素と投影手段７１における画素との対応関係を特定する。

Description

本発明は、一の画像の画素と他の画像の画素との対応関係を定める画素位置対応関係特定システム、画素位置対応関係特定方法、画素位置対応関係特定プログラム、および画像補正システム、画像補正プログラムに関し、特に、投影対象となる画像の画素と、投影手段における画素との対応関係を定める画素位置対応関係特定システム、画素位置対応関係特定方法、画素位置対応関係特定プログラム、およびその対応関係にもとづいて画像を補正する画像補正システム、画像補正プログラムに関する。

一般的な平面の投影面（スクリーン）に画像を投影する場合、投影面に対するプロジェクタの位置関係が設計どおりでない場合、投影された画像に歪みが生じる。標準的なプロジェクタは、この歪みを補正する機能を有している。この歪み補正機能では、想定外の位置や方向から投影されることで生じる歪み（画像の変形）とは逆の変形を投影対象画像に施し、その変形が施された補正画像を投影して歪みを打ち消している。この機能を実現するためには、投影面の形状、および投影面とプロジェクタとの位置関係や姿勢によって定まる画像の変形量、すなわち、投影される画像における画素が実際に投影された際の移動量（ずれ）を表す写像を獲得しておく必要がある。

この写像を獲得する方法が種々提案されている。特に、投影面が平面である場合に、写像が、少ないパラメタで決定できる射影変換となることを利用する技術が提案されている。例えば、画像の四隅の点の位置を手動で入力したり、テストパターンを投影し、投影されたテストパターンをカメラで撮影した画像からマーカや、画像の縁、スクリーンの縁などを自動検出して、射影変換のパラメタを求めたりするなどの方法がある。特許文献１には、画像投影装置とスクリーン間の距離を１つ獲得し、その距離とスクリーン形状からスクリーンの四隅の点における距離を推定することによって、スクリーン形状を補正し、投影する画像を補正されたスクリーン形状に合わせて変形して投影する画像投影方法が記載されている。

また、特許文献２には、レーザポインタなどで特徴点を高精度に検出させたり、あおり、回転、シフトのパラメタを逐次的に更新して、高精細な投影画像を得る画像投影システムが記載されている。

また、特許文献３には、所定のパターン画像を生成して投影し、その画像を撮影した撮像画像から、撮像画像点に対応する投影画像点を決定し対応点リストとし、撮像画像点を対応点リストの対応点から求まる平面射影変換行列を用いて空間中の平面毎にクラスタリングし、平面毎にクラスタリングされた撮像画像点から投影領域を決定し、投影領域、平面射影変換行列を用いて画像を幾何変換する平面投影装置が記載されている。

また、特許文献４には、投影面の形状として二次曲面を仮定し、その曲面のパラメタを求める方法が記載されている。そして、特許文献４には、二次曲面スクリーンに複数のプロジェクタからの映像を歪み無く見せる複合映像生成方法が記載されている。特許文献４に記載された方法では、スクリーンに投影された点をプロジェクタの座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数とその逆関数を求め、プロジェクタ毎のマッピングの逆関数により歪みを補正する。マッピング関数とその逆関数を求める場合、基準座標系から視点座標系への変換行列Ｍと、カメラ座標から基準座標系への変換行列Ｓとにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列Ｈを得る。そして、変換行列Ｈを用いて、カメラ座標系で求めた二次曲面パラメタＱから仮定視点を原点とする視点座標系における二次曲面パラメタＱｖを求める。そして、その二次曲面パラメタＱｖを用いて、スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数を求め、マッピング関数からその逆関数を求める。

特許第３９５１９８４号公報 特許第３７０９３９５号公報 特開２００７−１４２４９５号公報 特開２００６−２２１５９９号公報

しかし、上記の技術では、例えば複雑な凹凸があるような任意の投影面に対して画像を投影する場合における歪みを補正することができない。例えば、特許文献１に記載された方法では、画像を平面に投影する場合の歪みを補正するが、投影面の形状が任意の場合には適用できない。特許文献３に記載された平面投影装置でも、部分的に平面を含む投影面を対象としている。特許文献４に記載された方法でも、投影面が二次曲線に限定され、任意の形状の面に画像を投影する場合の歪みを補正することはできない。

画像の歪みを補正するには、投影対象となる画像における位置と、実際に投影された時の位置との対応関係を画素単位に高精度に定めておかなくてはならないが、上記の技術では、投影面の形状が任意である場合に画素の対応関係を定めることはできないため、高精度に歪み補正を行えなかった。

そこで、本発明は、任意の形状の投影面に画像を投影する場合に、投影対象となる画像の画素と、投影手段における画素との対応関係を特定する画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラムを提供することを目的とする。また、特定された対応関係に基づいて画像を補正する画像補正システム、画像補正プログラムを提供することを目的とする。

本発明による画素位置対応関係特定システムは、画像を投影面に投影する投影手段と、投影面に投影された画像を撮影する撮影手段と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる撮影制御手段と、基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、位相計算手段が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影手段における画素との対応関係を特定する対応付け手段とを備え、基準パターン画像生成手段が、第１座標軸に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、撮影制御手段が、第１座標軸に関する基準パターン画像群を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、第２座標軸に関する基準パターン画像群を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、位相計算手段が、第１座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け手段が、第１座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、撮影画像の画素に第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、撮影画像の画素に第２座標軸の座標を対応付けることによって、撮影画像の画素と、投影手段によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴する。

また、本発明による画素位置対応関係特定システムは、画像を投影面に投影する投影手段と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、基準パターン画像群に属する画像を投影手段に投影させる基準パターン投影制御手段と、投影面に投影された基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、位相計算手段が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影手段における画素との対応関係を特定する対応付け手段とを備え、基準パターン画像生成手段が、第１座標軸に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、基準パターン投影制御手段が、第１座標軸に関する基準パターン画像群を投影手段に投影させ、第２座標軸に関する基準パターン画像群を投影手段に投影させ、位相計算手段が、第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け手段が、第１座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、撮影画像の画素に第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、撮影画像の画素に第２座標軸の座標を対応付けることによって、撮影画像の画素と、投影手段によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴する。

また、本発明による画像補正システムは、投影対象画像における画素と画像を投影する投影手段における画素との対応関係に基づいて、投影手段によって投影される投影対象画像を補正する補正手段を備えることを特徴とする。

また、本発明による画素位置対応関係特定方法は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成し、第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、第１座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第１座標軸に関する基準パターン画像群を生成する処理で第１座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した初期位相値に対して行い、逆算によって得られる第１座標軸の座標と撮影画像の画素とを対応付け、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成し、第２座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、第２座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群を生成する処理で第２座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した初期位相値に対して行い、逆算によって得られる第２座標軸の座標と撮影画像の画素とを対応付け、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴とする。

また、本発明による画素位置対応関係特定方法は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成し、第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、投影面に投影された第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第１座標軸に関する基準パターン画像群を生成する処理で第１座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した初期位相値に対して行い、逆算によって得られる第１座標軸の座標と撮影画像の画素とを対応付け、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成し、第２座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、投影面に投影された第２座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群を生成する処理で第２座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した初期位相値に対して行い、逆算によって得られる第２座標軸の座標と撮影画像の画素とを対応付け、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴とする。

また、本発明による画素位置対応関係特定プログラムは、画像を投影面に投影する投影手段と、投影面に投影された画像を撮影する撮影手段とを備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、コンピュータに、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成処理、第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる第１撮影制御処理、第１座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算処理、第１基準パターン画像群生成処理で第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第１座標軸の座標と撮影画像の画素とを対応付ける第１対応付け処理、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成処理、第２座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる第２撮影制御処理、第２座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算処理、第２基準パターン画像群生成処理で第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第２座標軸の座標と撮影画像の画素とを対応付ける第２対応付け処理、および、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する画素対応付け処理を実行させることを特徴とする。

また、本発明による画素位置対応関係特定プログラムは、画像を投影面に投影する投影手段を備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、コンピュータに、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成処理、第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させる第１基準パターン投影制御処理、投影面に投影された第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算処理、第１基準パターン画像群生成処理で第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第１座標軸の座標と撮影画像の画素とを対応付ける第１対応付け処理、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成処理、第２座標軸に関する基準パターン画像群に属する画像を投影手段に投影させる第２基準パターン投影制御処理、投影面に投影された第２座標軸に関する基準パターン画像群の各画像を撮影して得られる複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算処理、第２基準パターン画像群生成処理で第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第２座標軸の座標と撮影画像の画素とを対応付ける第２対応付け処理、および、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する画素対応付け処理を実行させることを特徴とする。

また、本発明による画像補正プログラムは、コンピュータに、投影対象画像における画素と画像を投影する投影手段における画素との対応関係に基づいて、投影手段によって投影される投影対象画像を補正する補正処理を実行させることを特徴とする。

本発明によれば、任意の形状の投影面に画像を投影する場合に、投影対象となる画像の画素と、投影手段における画素との対応関係を特定することができる。

本発明の第１の実施形態の画素位置対応関係特定システムの例を示すブロック図である。 位相の変化に伴い連続して変化する輝度値を表す関数の例を示す説明図である。 図２に例示する初期位相値から位相をｄずらしたときの輝度値を示す説明図である。 情報処理装置の構成例を示すブロック図である。 本発明の第１の実施形態の処理経過の例を示すフローチャートである。 ｘ座標に関する対応付けの処理経過の例を示すフローチャートである。 複数の撮影画像における同一の画素の輝度変化の例を示す説明図である。 投影される画像の画素と撮影画像の画素とを対応付けた中間テーブルの例を示す説明図である。 ステップＳ３における対応付けの例を示す説明図である。 第２の実施形態における情報処理装置の構成例を示すブロック図である。 第３の実施形態における情報処理装置の構成例を示すブロック図である。 縮小変換後の画素の輝度決定の例を示す説明図である。 ２種類の基準パターン画像群を模式的に示す説明図である。 本発明の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明の第１の実施形態の画素位置対応関係特定システムの例を示すブロック図である。本実施形態の画素位置対応関係特定システムは、投影対象となる投影対象画像の画素の位置と、撮影手段１における画素の位置との対応関係を特定する。投影対象画像とは、任意の形状の投影面（スクリーン）７に投影する画像である。本実施形態の画素位置対応関係特定システムは、任意の形状の投影面７に対して画像を投影する投影手段１と、その投影面７に投影された画像を撮影する撮影手段２と、投影対象画像の画素と投影手段１における画素との対応付け処理を行う情報処理装置３とを備える。投影手段１は、例えば、プロジェクタによって実現され、撮影手段２は、例えば、カメラによって実現される。

投影手段１は、情報処理装置３の制御により、基準パターン画像群を投影面に投影する。この基準パターン画像群については後述する。投影面７は任意の形状の面であるので、投影面７に投影された画像は歪む。撮影手段２は、画像の観察者８が投影面７を見る方向と同じ方向から、投影面７に投影された基準パターン画像群を撮影する。この撮影によって得られる画像を以下、撮影画像と記す。情報処理装置３は、基準パターン画像群と、各撮影画像とを用いて、投影対象画像の画素と、投影面に実際に投影された画像を撮影した撮影画像の画素との対応関係を特定し、さらに、投影対象画像の画素と投影手段１における画素との対応関係を特定する。

本実施形態では、投影手段１が基準パターン画像群を１画像ずつ投影面に投影し、投影された画像を撮影手段２が１画像ずつ撮影する場合を例にして説明する。ただし、投影手段１が複数画像を同時に投影してもよい。投影手段１が複数画像を同時に投影する場合については後述する。

投影対象画像の画素と投影手段１における画素との対応関係が定められると、観察者８に見せるために投影手段１から投影される投影対象画像を、その対応関係に基づいて補正し、観察者８に歪んでいない画像を観察させることができる。本実施形態では、このような補正を行うために用いる画像の画素同士の対応関係を定める。

次に、基準パターン画像群について説明する。基準パターン画像群は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である。輝度値を定める関数は、位相の変化に伴って連続して変化する関数であればよく、ここでは、位相の変化に伴う輝度値の変化が正弦波となる関数（正弦関数など）を用いる場合を例にする。

図２は、位相の変化に伴い連続して変化する輝度値を表す関数の例を示す。このような関数をｆと表わすとする。図２に例示するような関数において、ａ，ｂ，ｃなどの初期位相値が座標値に応じてそれぞれ定められる。ここでは画像の画素の位置を表すｘ軸を例に説明する。あるｘ座標に対応する初期位相値がａ、別のｘ座標に対応する初期位相値がｂ、さらに別のｘ座標に対応する初期位相値がｃ、・・・などのように、ｘ座標の値に応じてそれぞれ初期位相値が定められる。例えば、初期位相値ａに対応するｘ座標の各画素の輝度値をｆ（ａ）とし、初期位相値ｂに対応するｘ座標の各座標の輝度値をｆ（ｂ）とし、初期位相値ｃに対応するｘ座標の各画素の輝度値をｆ（ｃ）とする。このように各ｘ座標に応じた初期位相値を定めることによって、基準パターン画像群における最初（０番目）の画像が得られる。ｘ座標に応じて初期位相値が定められ、その初期位相値に応じて図２に例示するような正弦波の関数ｆによって、輝度値が定められるので、ｘ座標の変化とともに輝度が連続的に変化する画像が得られる。

また、各ｘ座標に応じた初期位相値から、同じ位相量だけ位相を変化させて輝度を定めた画像が、基準パターン画像群における他の画像となる。図３は、図２に例示する初期位相値から位相をｄずらしたときの輝度値を示す説明図である。例えば、初期位相値ａに対応するｘ座標の輝度値をｆ（ａ＋ｄ）とし、初期位相値ｂに対応するｘ座標の輝度値をｆ（ｂ＋ｄ）とし、初期位相値ｃに対応するｘ座標の輝度値をｆ（ｃ＋ｄ）とする。同様に、各ｘ座標に応じた輝度値を定めることによって、１枚の画像が得られる。そして、初期位相値から変化させる位相の値（上記のｄ）を変化させることで、同様の画像が複数種類得られる。

基準パターン画像群に属するこれらの画像は、いずれも、一つの座標軸に沿う座標値（上記の例ではｘ座標値）の変化とともに輝度が連続的に変化する。そして、基準パターン画像群に属する各画像を比較すると、初期位相値から変化させる位相量ｄが増えるほど、座標軸に沿って画像全体が移動したように観察される。例えば、ｘ座標毎に初期位相値を定めて生成した基準パターン画像群において各画像を比較すると、画像全体がｘ軸方向に移動したように観察される。また、例えば、ｙ座標毎に初期位相値を定めて生成した基準パターン画像群において各画像を比較すると、画像全体がｙ軸方向に移動したように観察される。

また、基準パターン画像群に属する各画像において、上記の座標軸に沿った個々の座標に着目して、輝度の変化を観察すると、初期位相値から変化させる位相量ｄの変化に伴い明るさが変化する。

情報処理装置３は、２つの座標軸に関して基準パターン画像群を生成する。以下、情報処理装置３がｘ軸に関する基準パターン画像群およびｙ軸に関する基準パターン画像群を生成する場合を例にして説明する。ただし、２つの座標軸はｘ軸およびｙ軸に限定されない。２つの座標軸は、平行でない２つの軸であればよい。また、軸の方向は、水平方向や垂直方向に限定されず、任意の方向でよい。

投影手段１は、このような基準パターン画像群に属する各画像を投影面７に投影し、撮影手段２は、その各画像を撮影する。このとき、投影手段１と、撮影手段２と、投影面７との位置関係は一定に保つ。撮影された各画像において、同じ位置の画素に着目すると、その画素の輝度は、画像毎に変化し、その画像の変化から、その画素の輝度変化における初期位相値を求めることができる。情報処理装置３は、撮影した各画像間における画素の輝度変化から、各画素の輝度変化における初期位相値を求める。そして、情報処理装置３は、撮影手段２が撮影した撮影画像における画素が、投影される基準パターン画像群におけるどの座標値の画素に対応するのかを特定し、さらに投影対象画像の画素と投影手段１における画素との対応関係を特定する。

情報処理装置３がｘ軸方向に着目した基準パターン画像群を作成してその各画像を投影手段１に投影させ、その画像を撮影手段２に撮影させる。そして、情報処理装置３が、その撮影画像における画素が、基準パターン画像群におけるどのｘ座標の画素に対応するのかを特定する。同様に、情報処理装置３がｙ軸方向に着目した基準パターン画像群を作成してその各画像を投影手段１に投影させ、その画像を撮影手段２に撮影させる。そして、情報処理装置３が、その撮影画像における画素が、基準パターン画像群におけるどのｙ座標の画素に対応するのかを特定する。よって、観察者８の向きと同じ方向から撮影手段２が撮影する画像における画素と、投影される画像における画素の座標（ｘ，ｙ）との対応関係が定まり、投影対象画像の画素と投影手段１における画素との対応関係が特定される。

図４は、情報処理装置３の構成例を示すブロック図である。情報処理装置３は、パターン位相シフト手段４と、撮影制御手段５と、位相計算手段６と、対応付け手段９とを備える。

パターン位相シフト手段４は、ｘ座標、ｙ座標それぞれについて、基準パターン画像群を作成する。ｘ座標についての基準パターン画像群を作る場合、パターン位相シフト手段４は、ｘ座標の各値に応じた初期位相値を求め、その初期位相値から各ｘ座標における輝度値を定めることによって、基準パターン画像群の最初（０番目）の画像を生成する。さらに、パターン位相シフト手段４は、各ｘ座標に応じた初期位相値から、同じ位相量ｄだけ位相量を変化させることにより、各ｘ座標に応じた位相値を求め、その位相値から各ｘ座標における輝度値を定めることによって、基準パターン画像群の属する次の画像を生成する。パターン位相シフト手段４は、初期位相値からの位相変化量を増やして、同様に、基準パターン画像群に属する画像を生成していく。

パターン位相シフト手段４は、ｙ座標についての基準パターン画像群についても同様に生成する。

撮影制御手段５は、ｘ座標およびｙ座標のそれぞれの基準パターン画像群に属する個々の画像を投影手段１（図１参照）に投影させ、投影面７上に投影された画像を撮影手段２に撮影させる。本実施形態では、撮影制御手段５は、基準パターン画像群に属する画像を１画像ずつ投影手段１に投影させ、投影された画像を撮影手段２に１画像ずつ撮影手段２に撮影させる。

位相計算手段６は、ｘ座標の基準パターン画像群に属する各画像を撮影して得られた各撮影画像間の輝度の変化に基づいて、その撮影画像間の輝度変化における初期位相値を求める。位相計算手段６は、ｙ座標の基準パターン画像群に属する各画像を撮影して得られた各撮影画像についても同様に、その撮影画像間の輝度変化における初期位相値を求める。

対応付け手段９は、ｘ座標の基準パターン画像群の撮影画像から求めた初期位相値から、撮影画像における画素が基準パターン画像群におけるどのｘ座標に対応するのかを特定する。同様に、ｙ座標の基準パターン画像群の撮影画像から求めた初期位相値から、撮影画像における画素が基準パターン画像群におけるどのｙ座標に対応するのかを特定する。対応付け手段９は、さらに投影対象画像の画素と投影手段１における画素との対応関係を特定する。

パターン位相シフト手段４、撮影制御手段５、位相計算手段６、および対応付け手段９は、例えば、プログラム（画素位置対応関係特定プログラム）に従って動作するＣＰＵによって実現される。プログラムは、例えば情報処理装置３が備えるプログラム記憶装置（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、そのプログラムに従って、パターン位相シフト手段４、撮影制御手段５、位相計算手段６、および対応付け手段９として動作してもよい。また、パターン位相シフト手段４、撮影制御手段５、位相計算手段６、および対応付け手段９は、それぞれ別個のハードウェアであってもよい。

次に、動作について説明する。
図５は、本発明の第１の実施形態の処理経過の例を示すフローチャートである。情報処理装置３は、投影面７に投影された画像を撮影した撮影画像におけるどの画素が、投影される画像（基準パターン画像群）におけるどのｘ座標に対応するのかを定める（ステップＳ１）。続いて、情報処理装置３は、投影面７に投影された画像を撮影した撮影画像におけるどの画素が、投影される画像におけるどのｙ座標に対応するのかを定める（ステップＳ２）。ステップＳ１，Ｓ２を実行することで、撮影画像の画素が、投影される画像ではどの座標値の画像であるのかが定まる。情報処理装置３は、ステップＳ１，Ｓ２で定めた対応関係に基づいて、投影対象画像の画素の位置と、投影手段１における画素の位置との対応関係を定める（ステップＳ３）。

ステップＳ１，Ｓ２の処理は、撮影画像内の画素との対応関係を定める対象がｘ座標であるか、ｙ座標であるかが異なる点以外は、同様の処理である。以下、ｘ座標についての対応関係を定めるステップＳ１を例にして、撮影画像の画素と座標との対応関係を定める処理の詳細について説明する。図６は、ｘ座標に関する対応付け（ステップＳ１）の処理経過の例を示すフローチャートである。

ステップＳ１において、最初に、パターン位相シフト手段４は、基準パターン画像群を生成する（ステップＳ１１)。ｘ座標についての基準パターン画像群を生成する場合、パターン位相シフト手段４は、ｘ座標に応じた初期位相値を求める。初期位相値は、座標値を変数とする関数であって、座標値の変換に伴い連続的に変化する関数の関数値として求めればよい。以下、座標値に応じた初期位相値を求めるための関数をｓ_０で表わす。パターン位相シフト手段４は、例えば、以下に示す式（１）で表わされる関数によって各座標値に応じた初期位相値を求めればよい。

ｓ_０（ｘ）＝Ｔ／（ｗ−１＋２・ｍ）・（ｘ−ｍ） 式（１）

式（１）において、ｘは基準パターン画像群の画素のｘ座標の値である。ｗは、投影手段１が投影できる画像の幅（画素数）である。Ｔは、位相を変数として輝度値を求める関数ｆにおける周期である。本例では、関数ｆによる輝度変化が正弦波となる場合を例にする。従って、本例では、Ｔ＝２πである。ｍは、位相計算の誤差を考慮して、ｘ＝０の画素と、ｘ＝ｗ−１の画素とで回り込みが生じないように定める定数であり、マージン定数と呼ぶ。マージン定数は、例えば、ｗの１％程度の値として定めておけばよい。

式（１）は、ｘ座標に応じた初期位相値を求める関数の例であり、式（１）以外の関数によって初期位相値を計算してもよい。

パターン位相シフト手段４は、各ｘ座標毎に、ｘ座標値から求めた初期位相値ｓ_０（ｘ）に応じた輝度値を関数ｆにより求める。すなわち、ｘ座標毎に、以下に示す式（２）の関数を用いて輝度値を定める。

Ｉ（ｘ）＝ｆ（ｓ_０（ｘ）） 式（２）

この結果、ｘ座標毎に輝度値を規定した画像が得られる。この画像は基準パターン画像群における最初（０番目）の画像である。式（２）における左辺のＩ（ｘ)は、ｘ座標の値に応じた画素の輝度を意味する。関数ｆは、既に説明したように、位相の変化に伴い連続して変化する関数であり、本例では、輝度変化が正弦波となる関数である。

さらに、パターン位相シフト手段４は、ｘ座標毎に求めたそれぞれの初期位相値に対して、共通の位相値を加算した位相を求める。すなわち、加算する位相量をｄ（ｉ）として、各ｘ座標値に応じた位相を、ｘ座標毎に計算する。そして、パターン位相シフト手段４は、その結果得られた位相を、輝度値を求めるための関数ｆに代入して、各ｘ座標の輝度値を計算する。この結果、ｘ座標毎に輝度値を規定した画像が得られる。パターン位相シフト手段４は、加算する位相値を変化させて、同様に画像を生成する。初期位相値に加算する位相値をｄ（ｉ）として求めた位相を関数ｆに代入して得られる輝度をＩ_ｉ（ｘ）とすると、Ｉ_ｉ（ｘ）は、下記の式（３）のように表すことができる。

Ｉ_ｉ（ｘ）＝ｆ（ｓ_０（ｘ）＋ｄ（ｉ）） 式（３）

ｄ（ｉ）の値は、例えば、以下に示す式（４）のように予め定めておけばよい。

ｄ（ｉ）＝（Ｔ／Ｎ_ｓ）×ｉ 式（４）

Ｎ_ｓは、基準パターン画像群として求めようとする画像の数である。ｉは、１，２，・・・，Ｎ_ｓ−１である。例えば、Ｎ_ｓ＝４とすると、ｄ（ｉ）＝Ｔ／４，Ｔ／２,３Ｔ／４となる。本例では、Ｔ＝２πであるので、ｄ（ｉ）＝π／２、π、３π／Ｔとなる。すなわち、ｆ（ｓ_０（ｘ））として輝度を求めた最初の画像の他に、ｆ（ｓ_０（ｘ）＋π／２）として輝度を求めた画像、ｆ（ｓ_０（ｘ）＋π）として輝度を求めた画像、ｆ（ｓ_０（ｘ）＋３π／２）として輝度を求めた画像をそれぞれ生成する。この結果、０番目から３番目までの４つの画像を含む基準パターン画像群が得られる。ｄ（ｉ）におけるｉは、この順番を表している。

ただし、式（４）は、初期位相値に加算する位相量を求める計算式の一例であり、加算する位相量を他の方法で定めてもよい。また、上記の例では、４つの画像を含む基準パターン画像群を生成する場合を例示したが、求める画像の数は４に限定されず、５以上であってもよい。また、３つであってもよい。関数ｆとして、輝度変化が正弦波となる関数を用いる場合、少なくとも３つの画像を生成すればよい。

基準パターン画像群の生成後、撮影制御手段５は、基準パターン画像群に属する各画像を投影面７に向けて、１画像ずつ投影手段１に投影させる。そして、撮影制御手段５は、投影面７に投影された各画像を、１画像ずつ撮影手段２に撮影させ、撮影画像を撮影手段２から受信する（ステップＳ１２)。

ステップＳ１２の後、位相計算手段６は、画素毎に、各撮影画像間の輝度の変化に基づいて、その変化における初期位相値を求める（ステップＳ１３）。投影面７が任意の形状であることに起因して、投影された画像が歪んだとしても、ある座標値の画素が投影される位置は、投影する画像を切り替えても変化しない。そして、個々のｘ座標値毎に輝度を変化させているので、各撮影画像における同一箇所の画素の輝度も、基準パターン画像群に属する各画像における同一箇所の画像の輝度と同様に変化する。図７は、複数の撮影画像における同一の画素の輝度変化の例を示す説明図である。位相計算手段６は、ステップＳ１２において、図７に例示するような輝度の変化における初期位相を求める。

位相計算手段６は、撮影画像の画素の輝度変化における初期位相値を以下に示すように求めればよい。各撮影画像における共通の位置に該当する画素であって、ｊ番目の撮影画像における画素の輝度Ｉ_ｊは、以下に示す式（５）のように表わされる。

Ｉ_ｊ＝Ａ・ｆ（φ＋ｄ（ｊ））＋Ｂ 式（５）

だたし、ｄ（ｊ）は、ｊ番目の撮影画像において初期位相値に加算されている位相量を表している。０番目の撮影画像（すなわち、基準パターン画像群における最初の画像の撮影画像）に関しては、ｄ（０）＝０である。ｊ＝１以降については、基準パターン画像群生成時に用いたｄ（ｉ）と等しい値をｄ（ｊ）とする。式（５）におけるＡは、各撮影画像毎に変化する輝度値の変化における振幅である。また、式（５）におけるＢは、背景の輝度である。

同じ位置に該当する画素について、撮影画像毎のＩ_ｊ，ｄ（ｊ）の値は既知である。位相計算手段６は、撮影画像毎にＩ_ｊ，ｄ（ｊ）を式（５）に代入し、未知の値であるφを計算する。未知の値として、Ａ，Ｂ，φがあり、撮影画像毎にＩ_ｊ，ｄ（ｊ）を式（５）に代入した連立方程式を解くことによってφを計算すればよい。

また、撮影画像毎にＩ_ｊ，ｄ（ｊ）を式（５）に代入した式が、連立方程式の解の導出に必要な数よりも多く得られているならば、それらの式から最小二乗法によって、φを計算してもよい。例えば、撮影画像がＮ個あり、以下のＮ個の式が得られたならば、そのＮ個の式から最小二乗法によってφの値を求めればよい。

位相計算手段６は、この処理を撮影画像における画素毎に行えばよい。

また、ステップＳ１１で例として挙げたように、輝度値を求める関数ｆが、輝度変化が正弦波となる関数であり、その周期が２πであり、ｄ（ｉ）を式（４）に示すように求めていたとする。この場合、位相計算手段６は、以下に示す式（６）の計算を行うことによって、着目している画素における初期位相値φを計算してもよい。

φ＝π−ａｒｃｔａｎ（（Ｉ_ｃ（０）−Ｉ_ｃ（２））／（Ｉ_ｃ（３）−Ｉ_ｃ（１）））
式（６）

なお、この場合、Ａ，Ｂは、それぞれ以下の式（７）、式（８）の計算で求めることができる。

Ａ＝０．５×√（（Ｉ_ｃ（０）−Ｉ_ｃ（２））^２＋（Ｉ_ｃ（１）−Ｉ_ｃ（３））^２）
式（７）

Ｂ＝（Ｉ_ｃ（０）＋Ｉ_ｃ（１）＋Ｉ_ｃ（２）＋Ｉ_ｃ（３））／２．０ 式（８）

ここで、Ｉ_ｃ（０），Ｉ_ｃ（１），Ｉ_ｃ（２），Ｉ_ｃ（３）は、それぞれ、位置が共通する画素の画素値であり、Ｉ_ｃ（０）は０番目の撮影画像での画素、Ｉ_ｃ（１）は１番目の撮影画像での画素、Ｉ_ｃ（２）は２番目の撮影画像での画素、Ｉ_ｃ（３）は３番目の撮影画像での画素である。

位相計算手段６は、式（６）によって初期位相値を求める処理を、撮影画像における画素毎に行えばよい。

撮影画像のうち投影された画像に該当する部分（目標画像領域と記す。）を定めておく。この領域がオペレータによって指定される構成であってもよい。例えば、情報処理装置３は、撮影画像を表示する表示装置と、撮影画像中の目標画像領域の指定を受け付けるポインティングデバイスとを備える構成であってもよい。また、あるいは、撮影画像において、輝度値が所定値以上となっている領域を包含する矩形領域が目標画像領域であると位相計算手段６が判定してもよい。

ステップＳ１３の後、対応付け手段９は、撮影画像内の画素について求めた初期位相値から、撮影画像の画素が、投影される画像におけるどのｘ座標値に対応するのかを定める（ステップＳ１４）。

投影面７において画像が歪んだとしても、投影される画像と撮影画像の対応画素の輝度変化は同様となる。よって、対応する画素同士では、輝度変化の初期位相値は等しい。従って、ステップＳ１４において、対応付け手段９は、ステップＳ１３で算出された初期位相値からｘ座標を逆算することによって、撮影画像内の画素について、対応するｘ座標値（すなわち、投影手段１が投影する画像におけるｘ座標値）を計算する。例えば、パターン位相シフト手段４が式（１）の計算を行って初期位相値を算出する場合、対応付け手段９は、ステップＳ１３で算出された初期位相値をｓ_０（ｘ）として式（１）に代入し、ｘ座標を逆算すればよい。この処理を各画素毎に行うことで、撮影画像内の画素が、投影される画像におけるどのｘ座標に対応するのかを定める。

ステップＳ１４で、対応付け手段９は、撮影画像内の画素に対応するｘ座標を算出したならば、撮影画像内の画素と投影される画像の画素との対応関係を示すテーブル（以下、中間テーブルと記す）において、撮影画像のｘ，ｙ座標と、対応するｘ座標とを対応付ける。例えば、撮影画像における（５０，１５０）の画素の初期位相値から逆算して求めたｘ座標が“１００”であるとする。この場合、対応付け手段９は、図８（ａ）に示すように、撮影画像の画素（５０，１５０）と、対応する画素におけるｘ座標“１００”とを対応付ける。この時点では、撮影画像の画素に対応する画素のｙ座標は特定されていないので未定とする。図８（ａ）では、撮影画像の画素（５０，１５０）を例示しているが、他の画素についても同様に処理する。

以上のステップＳ１１〜Ｓ１４の処理で、ステップＳ１（図５参照）が終了する。撮影画像の画素がどのｙ座標に対応するのかを定める処理（ステップＳ２）も同様に、ステップＳ１１〜Ｓ１４の処理を行えばよい。

ただし、ステップＳ１１において、パターン位相シフト手段４は、ｙ座標についての基準パターン画像群を生成する。このとき、パターン位相シフト手段４は、ｙ座標に応じた初期位相値を求める。例えば、以下に示す式（９）の関数によって各座標値に応じた初期位相値を求めればよい。

ｓ_０（ｙ）＝Ｔ／（ｈ−１＋２・ｍ）・（ｙ−ｍ’） 式（９）

式（９）において、ｙは基準パターン画像群の画素のｙ座標の値である。ｈは、投影手段１が投影できる画像の高さ（画素数）である。Ｔは、式（１）と同様である。ｍ’は、式（１）におけるｍと同様のマージン定数であり、例えば、ｈの１％程度の値として定めておけばよい。なお、式（９）は例示であり、式（９）以外の関数によって初期位相値を定めてもよい。

ｙ座標に応じた初期位相値を求めたならば、その初期位相値に応じた輝度値を定めることで、基準パターン画像群の最初（０番目）の画像を生成する。また、各画素毎に初期位相値に位相ｄ（ｉ）を加算した位相値に応じた輝度値を定めることで、基準パターン画像群に属する他の画像を生成する。

この処理は、ｙ座標値に応じた初期位相値を定めるという点以外は、既に説明したステップＳ１１と同様である。

また、ステップＳ１１の後、ステップＳ１２，Ｓ１３を行う。この処理は、既に説明したステップＳ１２，Ｓ１３と同様である。

ステップＳ１４で、対応付け手段９は、ステップＳ１３で求めた初期位相値から、撮影画像の画素が、投影される画像におけるどのｙ座標に対応するのかを定める。このとき、ｙ座標から初期位相値を求める計算（例えば、式（９））を逆算して、初期位相値からｙ座標値を求めればよい。対応付け手段９は、撮影画像内の画素に対応するｙ座標を算出したならば、そのｙ座標を、その撮影画像内の画素に対応付けて、中間テーブルに追加する。例えば、撮影画像における（５０，１５０）の画素の初期位相値から逆算して求めたｙ座標が“５０”であるとする。この場合、対応付け手段９は、図８（ｂ）に示すように、撮影画像の画素（５０，１５０）に対応付けて、ｙ座標“５０”を追加する。このように、ｙ座標が未定である状態（図８（ａ））に対してｙ座標を追加される（図８（ｂ）参照）。対応付け手段９は、この処理を各画素毎に行い、中間テーブルを完成させる。この中間テーブルは、撮影画像内の画素と投影される画像の画素との対応関係を表す。

ステップＳ２（図５参照）の後、ステップＳ３において、対応付け手段９は、撮影画像における画素に投影すべき投影対象画像中の画素の座標と、その撮影画像における画素に対応する座標とを対応付ける。図９は、ステップＳ３における対応付けの例を示す説明図である。画像が歪み無く観察されるためには、投影対象画像における座標（Ｘ_ａ，Ｙ_ａ）の画素は、撮影画像における座標（Ｘ_ｐ，Ｙ_ｐ）の画素となるように投影されなければならないとする。この歪み無く観察される撮影画像における画素を目標画素と記す。また、中間テーブルでは、撮影画像中の画素（Ｘ_ｐ，Ｙ_ｐ）に対応付けられた座標が（Ｘ_ｂ，Ｙ_ｂ）であるとする。対応付け手段９は、目標画素（Ｘ_ｐ，Ｙ_ｐ）に対応する画素（Ｘ_ｂ，Ｙ_ｂ）を中間テーブルから検索し、目標画素に投影すべき投影対象画像中の画素（Ｘ_ａ，Ｙ_ａ）と、中間テーブルで目標画素に対応付けられている座標（Ｘ_ｂ，Ｙ_ｂ）とを対応づける。この対応付けを、各目標画素に投影すべき投影対象画像中の画素毎に行う。ここで、投影手段１における座標（Ｘ_ｂ，Ｙ_ｂ）の画素の輝度値を、投影対象画像における座標（Ｘ_ａ，Ｙ_ａ）の画素と等しい輝度値に設定し、投影手段１における他の画素の輝度値も同様に設定すれば、投影対象画像における（Ｘ_ａ，Ｙ_ａ）の画素は、（Ｘ_ｂ，Ｙ_ｂ）の位置に変更されたこととなり、その状態で投影面７に投影されると、所望の目標画素（Ｘ_ｐ，Ｙ_ｐ）の位置に投影される。このように、対応付け手段９は、撮影画像における画素に投影すべき投影対象画像中の画素と、その撮影画像における画素に対応する座標とを対応付けることによって、投影対象画像の画素の位置と、投影手段１における画素の位置とを対応付ける。

対応付け手段９は、投影対象画像の画素の位置と投影手段１における画素の位置とを対応付けたならば、その対応関係をテーブル（以下、画素対応テーブルと記す）として記憶または出力する。

本発明によれば、上記のように、目標となる位置に投影すべき投影対象画像の画素と、中間テーブルにおいてその位置に対応付けられている座標とを対応付けることによって、投影対象画像の画素の位置と、投影手段１における画素の位置との対応関係を特定することができる。

投影手段１と、撮影手段２と、投影面の位置関係を変えない限り、この対応関係は維持される。従って、投影手段１と、撮影手段２と、投影面の位置関係を変えずに観察者８（図１参照）に提示する画像を投影面７に投影する場合、この対応関係を用いて補正を行えば、歪みを抑えた画像を観察者に見せることができる。

また、本発明では、初期位相値を画素毎に定め、その初期位相値から輝度値を求めた画像と、さらに、初期位相値から位相をずらし、その位相値から輝度値を求めた画像とを基準パターン画像群として生成し、各画像を投影する。さらに、その各画像を撮影する。このとき、撮影によって得られた各撮影画像間において、各画素の輝度は、基準パターン画像群の画像間における輝度変化と同様に変化する。そして、対応する画素同士では、初期位相値が共通する。この性質は、投影面７の形状によらずに成立する。本発明では、このことを利用し、撮影画像内の画素と投影される画像の画素との対応関係を定める。従って、投影面７の形状が任意の形状であっても、投影対象画像の画素の位置と、投影手段における画素の位置との対応関係を特定することができる。

また、基準パターン画像群を生成して投影面に投影し、その各画像を撮影した撮影画像が得られれば、対応関係を求めることができる。よって、投影面の形状を測定するための３次元形状測定装置などを用いる必要がないため、低コストで対応関係を求めることができる。

上記の実施形態では、輝度値を求める関数ｆとして、輝度値の変化が正弦波となる関数を用いる場合を例にして説明したが、関数ｆは、位相の変化に伴い連続して変化する連続関数であればよい。例えば、正弦関数のように関数値が滑らかに変化する関数ではなく、輝度値の変化が三角波となる関数を関数ｆとしてもよい。

関数ｆとして連続関数を用いる理由は以下のとおりである。関数ｆが連続関数でなく、鋸歯状波のように不連続部分があるとすると、隣接する画素同士の輝度値が急激に変化する。すると、撮影手段２の解像度が不足している場合、輝度値が急激に変化している部分がぼやけて撮影され、急激に変化する値の中間値が輝度として認識されてしまうことがある。すると、その画素は、本来対応付けられるべきではない別の画素に対応付けられてしまう可能性がある。

それに対し本発明では、輝度値を求める関数ｆとして位相の変化に伴い連続して変化する連続関数を用いるので、上記のような誤った対応付けを防止することができる。このことは、画素の対応関係に基づいて、投影する画像を補正する際、補正精度を向上させることができるということを意味する。

また、本発明では、位相計算手段６が初期位相値を計算できるだけの画像を基準パターン画像群として生成すればよく、基準パターン画像群として多数の画像を生成する必要はない。従って、処理を高速化することができる。一例を挙げると、輝度値を求める関数ｆとして、輝度値の変化が正弦波となる関数を用いれば、一座標軸あたり、最低３つの画像を含む基準パターン画像群を生成すればよい。この場合、基準パターン画像群とする画像数を少なくできるので、処理を高速化することができる。

実施形態２．
本発明の第２の実施形態の画素位置対応関係特定システムは、第１の実施形態と同様に、投影手段１と、撮影手段２と、情報処理装置３とを備える（図１参照）。ここでは、図１を参照して、第２の実施形態について説明する。第２の実施形態の画素位置対応関係特定システムも第１の実施形態と同様に、投影対象画像の画素の位置と投影手段１における画素の位置との対応関係を示す画素対応テーブルを作成する。第２の実施形態では、さらに、情報処理装置３が、観察者８に提示するために投影面７に投影する画像を、画素対応テーブルを用いて補正し、補正後の画像を投影手段１に投影させる。

図１０は、第２の実施形態における情報処理装置３の構成例を示すブロック図である。第１の実施形態と同様の構成要素については図４と同一の符号を付し、詳細な説明を省略する。第２の実施形態における情報処理装置３は、パターン位相シフト手段４と、撮影制御手段５と、位相計算手段６と、対応付け手段９と、補正手段１０と、投影制御手段１１とを備える。パターン位相シフト手段４、撮影制御手段５、位相計算手段６、対応付け手段９の動作は、第１の実施形態と同様である。

補正手段１０は、観察者８に提示するために投影面７に投影する投影対象画像を、画素対応テーブルを用いて補正する処理を行う。投影制御手段１１は、補正後の画像を投影手段１に投影させる。

次に、本実施形態の動作について説明する。
まず、情報処理装置３は、投影対象画像の画素の位置と投影手段１における画素の位置との対応関係を示す画素対応テーブルを生成する。この動作は、第１の実施形態と同様であり、説明を省略する。

画素対応テーブル生成後、補正手段１０は、観察者８（図１参照）に提示する投影対象画像を補正する。補正手段１０は、この補正後の画像として、投影手段１における画素の輝度値を、その画素に対応する投影対象画像の画素の輝度値に設定した画像を生成すればよい。図９に示す例のように、座標（Ｘ_ａ，Ｙ_ａ）と座標（Ｘ_ｂ，Ｙ_ｂ）とを対応付けている場合、（Ｘ_ｂ，Ｙ_ｂ）の画素の輝度値に、投影対象画像における画素（Ｘ_ａ，Ｙ_ａ）の輝度値を設定し、他の画素の輝度値についても同様に設定した画像を、補正後の画像として生成すればよい。この結果、投影対象画像における（Ｘ_ａ，Ｙ_ａ）の画素は、（Ｘ_ｂ，Ｙ_ｂ）の位置に変更されたこととなり、その状態で投影面７に投影されると、所望の位置に投影される。この結果、投影面７に投影したときの画像の歪みをなくすことができる。

投影制御手段１１は、補正手段１０によって補正された画像を投影面７に向けて、投影手段１に投影させる。なお、画像投影時において、投影手段１と投影面７の位置関係は、画素対応テーブル作成時から変えないものとする。また、観察者８は、画素対応テーブル作成時における撮影手段２と同方向から投影面７を見る。

画像を補正せずに投影した場合、投影対象画像における画素は所望の位置とは異なる位置に投影され画像が歪んでしまう。しかし、本実施形態では、第１の実施形態と同様に生成した画素対応テーブルを用いて、投影対象画像を補正し、その補正後の画像を投影する。従って、各位置にそれぞれ所望の輝度値を投影し、観察者に歪みを認識させずに、任意の形状の投影面７に画像を投影することができる。

本実施形態によれば、画素対応テーブルを用いて画像を補正し、その画像を投影するので、投影面の形状に起因する歪みを抑えた画像を観察者に見せることができる。

また、第１の実施形態と同様に、投影面７の形状が任意の形状であっても、投影対象画像の画素と投影手段１における画素との対応関係を特定するので、投影面の形状によらずに、歪みを抑えた画像を観察者に見せることができる。

また、第１の実施形態と同様に、低コストで、高速、かつ、高精度に中間テーブルを作成することができる。

また、情報処理装置３は、画素対応テーブルを作成せずに、外部から画素対応テーブルを入力され、その画素対応テーブルを用いて投影対象画像を補正する画像補正システムであってもよい。この場合、画像補正システムは、投影手段１および撮影手段２を備えていなくてよい。そして、情報処理装置３は、補正手段１０を備えていればよい。例えば、第１の実施形態と同様の画素位置対応関係特定システムが画素対応テーブルを作成し、その画素対応テーブルを、画像補正システムに入力してもよい。さらに、画像補正システムが投影対象画像を補正するだけでなく、補正後の画像を投影面に投影する構成であってもよい。この場合、画像補正システムは、画素対応テーブル作成時に用いた投影手段と、その投影手段に補正後の画像を投影させる投影制御手段を備えていればよい。

本発明では、輝度が連続的に変化する基準パターン画像群の位相を利用して、投影対象画像の画素の位置と、投影手段１における画素の位置との対応関係（画素対応テーブル）を定める。よって、画素毎に（すなわち高密度に）対応関係を得ることができ、また、対応先の画素を例えば浮動小数点で表した高精度な対応関係を得ることができる。以下に示す第３の実施形態では、特に、初期位相値の計算前に、撮影画像中において対応関係を求めたい領域（投影対象画像を投影したい領域に相当する領域）の解像度が投影対象画像と同一になるように解像度変換を行い、その上で初期位相値を計算する。

実施形態３．
本発明の第３の実施形態は、第１の実施形態や第２の実施形態と同様に、投影手段１と、撮影手段２と、情報処理装置３とを備える（図１参照）。第３の実施形態の画素位置対応関係特定システムは、撮影画像と、観察者に提示しようとする画像（投影対象画像）とで解像度が異なる場合、撮影画像を拡大したり縮小したりして、撮影画像の解像度を、観察者に提示しようとする画像の解像度に合わせる。そして、解像度変換後（すなわち、拡大または縮小後）の撮影画像について初期位相値を求める処理（ステップＳ１３、図６参照）を行って、解像度変換後の撮影画像の画素の基準パターン画像群の座標とを対応付ける処理（ステップＳ１４、図６参照）を行い、その後に画素対応テーブルを生成する。この処理の結果、撮影画像と投影対象画像の解像度が一致しない場合にも、所望の解像度に合う画素対応テーブルを生成することができる。

また、特に、撮影画像を縮小する場合には、高精度な画素対応テーブルを得ることができる。一例を挙げると、撮影画像の解像度が投影対象画像より高い場合、初期位相値の計算前に撮影画像の縮小処理を行えば、撮影手段２（カメラ）の性能以上にノイズが少なくコントラストも高い画像が得られる。その画像を用いて、第１の実施形態と同様に初期位相値を計算し、画素対応テーブルを求めれば、高精度の画素対応テーブルを得ることができる。

図１１は、第３の実施形態における情報処理装置３の構成例を示すブロック図である。第１および第２の実施形態と同様の構成要素については、図４や図１０と同一の符号を付し、詳細な説明を省略する。第３の実施形態における情報処理装置３は、パターン位相シフト手段４と、撮影制御手段５と、解像度変換手段１２と、位相計算手段６と、対応付け手段９と、補正手段１０と、投影制御手段１１とを備える。

解像度変換手段１２は、撮影画像における目標画像領域の解像度が、観察者に提示する所望の解像度となるように、撮影画像中の目標画像領域を拡大または縮小する。解像度変換手段１２は、撮影画像から目標画像領域を切り出して、その切り出した画像を拡大または縮小すればよい。また、撮影画像において、投影面のうち、撮影対象画像を投影したいというオペレータの所望の領域に相当する部分が、目標画像領域として、例えばオペレータに指定されてもよい。

パターン位相シフト手段４、撮影制御手段５、位相計算手段６、対応付け手段９、補正手段１０、投影制御手段１１、および解像度変換手段１２は、プログラム（画素位置対応関係特定プログラム）に従って動作するＣＰＵによって実現される。プログラムは、例えば情報処理装置３が備えるプログラム記憶装置（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、そのプログラムに従って、パターン位相シフト手段４、撮影制御手段５、位相計算手段６、対応付け手段９、補正手段１０、投影制御手段１１、および解像度変換手段１２として動作してもよい。また、各手段がそれぞれ別個のハードウェアであってもよい。

次に、本実施形態の動作について説明する。
まず、情報処理装置３は、ｘ座標に関する対応付け（ステップＳ１、図５参照）およびｙ座標に関する対応付け（ステップＳ２、図５参照）を行う。このステップＳ１，Ｓ２において、それぞれ、基本パターン画像生成処理、撮影処理を行う。この基本パターン画像生成処理、撮影処理は、第１の実施形態におけるステップＳ１１，Ｓ１２の処理と同様であり、説明を省略する。

基本パターン画像生成処理および撮影処理の後、解像度変換手段１２は、撮影画像における目標画像領域の解像度が観察者に提示する所望の解像度の画像と同じになるように、撮影画像内の目標画像領域を拡大または縮小する。拡大または縮小による解像度変換後の画像は、解像度変換画像と呼ぶことができる。

拡大の場合、解像度変換手段１２は、解像度変換後の座標における輝度値を、対応する解像度変換前の座標の輝度値と定める。また、拡大の場合、画素数が増えるので、拡大後の画像の画素のうち、対応する解像度変換前の座標がない画素については、既に定められている輝度値から線形補間あるいはバイリニア補間などによって補間した輝度値を定めればよい。

縮小の場合、解像度変換手段１２は、解像度変換後の座標における輝度値を、対応する解像度変換前の座標の輝度値に基づいて定める。縮小の場合、変換後の画像のある一つの画素は、変換前の画像の複数の画素に対応する。解像度変換手段１２は、変換後の画素に対応付けられる複数の変換前の画素の輝度値を、その変換後の画素に相当する面積で重み付け、線形和を求めることによって、変換後の画素の輝度値を求める。変換後の画素とは変換後の画像における画素であり、変換前の画素とは変換前の画像における画素である。図１２は、縮小変換後の画素の輝度決定の例を示す説明図である。縮小後の画像における画素６５は、縮小前の画像における４つの画素６１〜６４に対応しているものとする。そして、画素６１〜６４の輝度値は、それぞれＰ_１〜Ｐ_４であるとする。また、画素６１は、変換後の画素６５だけに対応するのではなく、画素６５に接する他の画素（図示せず）にも対応し、画素６１において、変換後の画素６５に相当する面積は、１／４であるものとする。変換前の他の画素６２，６３，６４についても同様である。従って、図１２に示す例では、各画素６１〜６４の輝度値を、その面積の割合で重みづけ、線形和を求めると、Ｐ_１×（１／４）＋Ｐ_２×（１／４）＋Ｐ_３×（１／４）＋Ｐ_４×（１／４）＝（Ｐ_１＋Ｐ_２＋Ｐ_３＋Ｐ_４）／４となる。解像度変換手段１２は、この計算を行って、変換後の画素６５の輝度値を（Ｐ_１＋Ｐ_２＋Ｐ_３＋Ｐ_４）／４と定めればよい。解像度変換手段１２は、変換後の画像における各画素毎に、同様に輝度値を決定する。

解像度変換手段１２は、以上のように個々の輝度値を求め、拡大または縮小後の画像を生成する。また、解像度変換手段１２は、各撮影画像をそれぞれ同様に拡大または縮小する。

各撮影画像がそれぞれ解像度変換（すなわち拡大または縮小）された後、位相計算手段６は、画素毎に、解像度変換後の各撮影画像（すなわち、各解像度変換画像）間の輝度の変化に基づいて、その変化における初期位相値を求める。この処理は、第１の実施形態におけるステップＳ１３と同様である。続いて、対応付け手段９が、解像度変換画像における画素の座標と、投影される画像における画素の座標との対応付けを行う。この処理は、第１の実施形態におけるステップＳ１４と同様である。

情報処理装置３は、ｘ座標に関する対応付け処理（ステップＳ１、図５参照）において、基本パターン画像群生成処理および撮影処理を行ってから、上記のように撮影画像に対する解像度変換を行い、解像度変換画像を用いて、初期位相値を計算し、解像度変換画像の画素の座標と、撮影される画像の画素のｘ座標とを対応付ける。同様に、ｙ座標に関する対応付け処理（ステップＳ２、図５参照）において、基本パターン画像群生成処理および撮影処理を行ってから、上記のように撮影画像に対する解像度変換を行い、解像度変換画像を用いて、初期位相値を計算し、解像度変換画像の画素の座標と、撮影される画像の画素のｙ座標とを対応付ける。対応付け手段９は、この結果を用いて、画素対応テーブルを生成する（図５に示すステップＳ３）。

補正手段１０は、この画素対応テーブルを用いて、観察者８に提示するために投影面７に投影する画像を補正する。補正手段１０の動作は、第２の実施形態と同様である。また、投影制御手段１１は、補正手段１０によって補正された画像を投影面７に向けて、投影手段１に投影させる。なお、画像投影時において、投影手段１と投影面７の位置関係は、画素対応テーブル作成時から変えないものとする。また、観察者８は、画素対応テーブル作成時における撮影手段２と同方向から投影面７を見る。この点は、第２の実施形態と同様である。

本実施形態によれば、観察者に見せたい画像である投影対象画像と撮影画像とで解像度が一致していなくても、所望の投影対象画像の解像度に応じた画素対応テーブルを作成し、所望の解像度で投影対象画像を投影することができる。また、投影面の形状によらずに、歪みを抑えた画像を観察者に見せることができる。

また、解像度変換手段１２が撮影画像を縮小する場合には、高精度な画素対応テーブルを得ることができる。初期位相値を用いた対応関係（画素対応テーブル）の決定精度は、初期位相値の計測精度に依存し、初期位相値の計測精度は主に、撮影されたパターンのコントラストに対する、撮影画像に生じるノイズの大きさに依存する。撮影されたパターンのコントラストが大きければ、あるいは、ノイズが小さければ、初期位相値の計測精度が向上する。解像度の高いカメラを用いた場合、解像度変換手段１２が基準パターン画像群の撮影画像を縮小すれば、撮影画像を、コントラスト：ノイズの比が大きい画像に変換できる。なぜなら、縮小処理において複数画素の輝度値の加算を行うため、各画素についてランダムであるノイズは互いに打ち消されて小さくなり、コントラストは加算により高くなるためである。そのような変換後の画像を用いて、初期位相値を計算し、画素対応テーブルを生成することで、画素対応テーブルの精度を向上させることができる。

次に、上記の各実施形態の変形例について説明する。
上記の各実施形態においてパターン位相シフト手段４は、ｘ軸、ｙ軸の各座標軸に関してそれぞれ、複数種類の基準パターン画像群を生成してもよい。以下、パターン位相シフト手段４が各座標軸毎に２種類の基準パターン画像群を生成する場合について説明する。

本変形例では、パターン位相シフト手段４は、第１の基準パターン画像群と第２の基準パターン画像群を生成する。第２の基準パターン画像群における座標軸方向の輝度変化の周期は、第１の基準パターン画像群における座標方向の輝度変化の周期の１／ａ倍である。換言すれば、第２の基準パターン画像群は、第１の基準パターン画像群を座標軸方向に１／ａ倍に圧縮した画像群である。ただし、第２の基準パターン画像群に属する各画像は、第１の基準パターン画像群に属する各画像と同じ大きさであり、第２の基準パターン画像群に属する画像は、同じパターンが繰り返し現れる画像となっている。すなわち、第２の基準パターン画像群に属する画像は、第１の基準パターン画像群に属する画像を１／ａ倍に圧縮したパターンをａ回繰り返した画像となっている。ａは、例えば１より大きな値である。ここでは、ａ＝２の場合を例示して説明する。

図１３は２種類の基準パターン画像群を模式的に示す説明図である。図１３（ａ）は、第１の基準パターン画像群を示し、図１３（ｂ）は、第２の基準パターン画像群を示す。また、図１３では、ｘ軸方向に輝度を変化させた場合を示し、実線は輝度が最小となる箇所（最も暗い場所）を表し、波線は輝度が最高となる箇所（最も明るい場所）を表している。ａ＝２として上記のように各基準パターン画像群を求めた場合、図１３に示すように、第２の基準パターン画像群における輝度変化の周期は、第１の基準パターン画像群における輝度変化の周期の１／２倍となっている。また、第２の基準パターン画像群に属する画像は、第１の基準パターン画像群に属する画像を１／２倍に圧縮したパターンを２回繰り返した画像となっている。

パターン位相シフト手段４は、第１の実施形態で説明した基準パターン画像群と同様に第１の基準パターン画像群を生成すればよい。また、パターン位相シフト手段４は、座標値に応じた初期位相値を求める関数（例えば式（１）、式（９））をａ倍した関数を用いて、第２の基準パターン画像群を求めればよい。例えば、第１の基準パターン画像群を生成する際に、式（１）や式（９）を用いた場合、第２の基準パターン画像群を生成する際には、以下に示す式(１’）や式（９’）を用いればよい。

ｓ_０（ｘ）＝Ｔ／（ｗ−１＋２・ｍ）・（ｘ−ｍ）・ａ 式（１’）
ｓ_０（ｙ）＝Ｔ／（ｈ−１＋２・ｍ）・（ｙ−ｍ’）・ａ 式（９’）

第１の基準パターン画像群の生成処理と第２の基準パターン画像群の生成処理は、座標値に応じた初期位相値を求める関数以外は同じ処理である。

撮影制御手段５は、第１の基準パターン画像群に属する各画像と第２の基準パターン画像群に属する各画像とをそれぞれ投影面７に向けて、１画像ずつ投影手段１に投影させる。そして、撮影制御手段５は、投影面７に投影された各画像を、１画像ずつ撮影手段２に撮影させ、撮影画像を撮影手段２から受信する。

次に、位相計算手段６は、第１の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を、画素毎に求める。この処理は、第１の実施形態におけるステップＳ１３と同様の処理である。また、位相計算手段６は、同様に、第２の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を、画素毎に求める。

次に、対応付け手段９は、第１の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値（第１の初期位相値群と記す。）と、第２の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値（第２の初期位相値群と記す。）とを用いて、初期位相値から求められる座標値と、撮影画像における画素とを対応付ける。具体的には、対応付け手段９は、第２の初期位相値群について、それぞれ、初期位相値から座標を逆算する。第２の基準パターン画像群生成時に初期位相値の計算に用いる式が、式（１’）や式（９’）である場合、それらの式の逆算を行い、座標値を計算すればよい。

ただし、図１３（ｂ）に示すように、第２の基準パターン画像群に属する各画像は、それぞれ同じパターンを繰り返した画像となっている。そのため、座標値が異なっていても初期位相値が一致して、初期位相値から座標値を一意に求められないという不定性がある。不定性を解消するために、対応付け手段９は、第２の初期位相値群から逆算で求めた座標値に、第２の基準パターン画像群における輝度変化の周期の整数倍を加算した座標値を候補として計算する。例えば、逆算で求めた座標値をｔとし、第２の基準パターン画像群における輝度変化の周期をＱとすると、求める座標値の候補として、ｔ＋Ｑ，ｔ＋２Ｑ，・・・等を計算する。

また、対応付け手段９は、対応する座標値を求めようとしている第２の基準パターン画像群に応じた撮影画像の画素と同じ位置にある、第１の基準パターン画像群に応じた撮影画像の画素に関しても、その初期位相値から座標値を逆算する。そして、対応付け手段９は、第２の初期位相値群から求めた座標の候補のうち、第１の基準パターン画像群に応じた撮影画像の画素の初期位相値から逆算した座標に最も近い座標を、画素に対応する座標値として決定する。この処理を各画素毎に行えばよい。

本変形例では、対応付け手段９の対応付け処理の精度を向上させることができる。初期位相値の計測誤差は、どちらの基準パターン画像群でも同じであるが、第２の基準パターン画像群の方では、対応座標に対する初期位相値はａ倍多く変化する。つまり、初期位相値から対応座標を求めたときの誤差は１／ａになる。このため、対応付け処理の精度を向上させることができる。

また、上記の各実施形態やその変形例において、補正手段１０は、投影手段１によって投影される画像の輝度を、反射率を用いて更新してから、その画像に対する補正を行ってもよい。この場合、情報処理装置３は、投影面における反射率を計算する反射率計算手段を備えるが、反射率計算手段は、情報処理装置３が備える手段（例えば、補正手段１０あるいは位相計算手段６など）によって実現されていてもよい。ここでは、補正手段１０が反射率計算手段としても動作する場合を例にして説明する。

補正手段１０は、パターン位相シフト手段４が生成した基準パターン画像群における輝度の振幅（Ａ_ｐとする）と、撮影手段２が撮影した撮影画像における輝度の振幅（Ａ_ｃとする）とから、反射率Ａ_ｃｐを計算する。補正手段１０は、Ａ_ｃｐ＝Ａ_ｃ／Ａ_ｐを計算することによって、反射率Ａ_ｃｐを求めればよい。

また、補正手段１０は、撮影画像における輝度の振幅Ａ_ｃを基準パターン画像群の撮影画像から求めるのではなく、基準パターン画像群と別に最大輝度の画像と最小輝度の画像をそれぞれ投影面に投影したときに、その各画像を撮影した撮影画像の輝度値の差分から求めてもよい。この場合、撮影制御手段５が、基準パターン画像群とは別に、全画素の輝度値が最大値に設定された明画像（全体が明るい画像）と、全画素の輝度値が最小値に設定された暗画像（全体が暗い画像）とをそれぞれ、投影手段１に投影させ、投影された明画像、暗画像をそれぞれ撮影手段２に撮影させればよい。補正手段１０は、その二つの撮影画像の輝度値の差分から振幅Ａ_ｃを求めればよい。

また、補正手段１０は、観察者に提示するために投影手段１によって投影される画像の輝度をＫとした場合、その輝度を反射率Ａ_ｃｐで除算した値（すなわち、Ｋ／Ａ_ｃｐ）に更新する。そして、輝度の更新後、画素対応テーブルを用いて、その画像を補正すればよい。

上記の実施形態では、投影手段１が一つである場合を例にして説明したが、画素位置対応関係特定システムが投影手段１を複数備えていてもよい。その場合、情報処理装置３は、個々の投影手段１毎に画素対応テーブルを作成すればよい。そして、複数の投影手段１に画像を投影させる場合、投影手段１毎に作成した画素対応テーブルを用いて、ユーザに提示する画像を補正すればよい。

また、複数の投影手段１は、投影面７における同一領域に画像を投影してもよい。この場合、同一の領域に複数の投影手段１から投影された画像をユーザに提示するので、投影面７に投影された画像を明るくすることができる。

また、大きな画像を分割した個々の画像の投影を各投影手段１に分担させ、各投影手段１が投影面上の投影位置をずらして投影してもよい。例えば、第１の投影手段１が、ユーザに提示する画像における右半分の投影を分担し、第２の投影手段１が左半分の投影を分担してもよい。そして、第１の投影手段１が画像を投影する領域の隣に、第２の投影手段１が画像を投影してもよい。この場合、一つの投影手段１のみを用いて画像を投影する場合よりも、大きな画像をユーザに提示することができる。

また、以上の説明では、撮影手段１が基準パターン画像群に属する画像を撮影手段１が１画像ずつ投影し、撮影手段２がその画像を１画像ずつ撮影する場合について説明したが、投影手段１は、複数の画像を同時に投影面に投影してもよい。このとき、撮影手段２は、投影された画像を撮影し、光の波長が異なる色毎に分離すればよい。

投影手段１が１台だけ設けられているとする。このとき、投影手段１は、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影してもよい。例えば、基準パターン画像群に属する画像が三つあり、投影手段１は、赤、緑、青の３色で投影可能であるとする。この場合、投影手段１は、赤、緑、青の３色でそれぞれの１〜３番目の画像を同時に投影してもよい。この場合、撮影手段２は、赤、緑、青で同時に投影された画像を撮影し、赤、緑、青の各色で分離すればよい。情報処理装置３は、分離された画像に対して処理を行えばよい。

また、複数台の投影手段が設けられ、各投影手段が、それぞれ光の波長が異なる色で画像を同時に投影してもよい。例えば、投影手段１を３台設け、１台目の投影手段による赤の画像の投影と、２台目の投影手段による緑の画像の投影と、３台目の投影手段による青の画像の投影とを同時に行ってもよい。この場合も、撮影手段２は、赤、緑、青で同時に投影された画像を撮影し、赤、緑、青の各色で分離すればよい。

また、複数台の投影手段を設け、各投影手段がそれぞれ同時に複数の色で画像を投影する構成であってもよい。例えば、１５種類の波長で光を投影できる投影手段を５台設ける。この場合、個々の投影手段が３種類の画像をそれぞれ異なる波長の色で同時に投影する。また、各投影手段も同時に投影を行う。撮影手段２は、１５種類の波長の色で投影された各画像を撮影し、１５種類の各色に分離すればよい。

また、上記の各実施形態では、画素位置対応関係特定システムが、撮影手段２（図１参照）を備える場合を説明したが、画素位置対応関係特定システムが撮影手段２を備えず、投影面７（図１参照）に投影された画像を投影する投影手段が、画素位置対応関係特定システムとは別に設けられてもよい。このような投影手段として、例えば、カメラ付きの携帯端末等を用いることができる。この場合、情報処理装置３は、撮影制御手段５の代わりに、基準パターン画像群に属する画像を投影手段１に投影させる基準パターン投影制御手段を含んでいればよい。カメラ付き携帯端末は、例えば観察者の操作により、投影面に投影された基準パターン画像群の各画像を撮影し、情報処理装置３に出力する。情報処理装置３は、外部から入力された複数の撮影画像を用いて、上記の各実施形態と同様の動作を行えばよい。

次に、本発明の概要を説明する。図１４は、本発明の概要を示すブロック図である。本発明の画素位置対応関係特定システムは、投影手段７１（例えば、実施形態における投影手段１）と、撮影手段７２（例えば、実施形態における撮影手段２）と、基準パターン画像群生成手段７３（例えば、パターン位相シフト手段４）と、撮影制御手段７４（例えば、実施形態における撮影制御手段５）と、位相計算手段７５（例えば、実施形態における位相計算手段６）と、対応付け手段７６（例えば、実施形態における対応付け手段９）とを備える。

投影手段７１は、画像を投影面に投影する。撮影手段７２は、投影面に投影された画像を撮影する。

基準パターン画像群生成手段７３は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する。

撮影制御手段７４は、基準パターン画像群に属する画像を投影手段７１に投影させ、その結果投影面に投影された画像を撮影手段７２に撮影させる。

位相計算手段７５は、基準パターン画像群の各画像を投影手段７１が投影したときに撮影手段７２が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する。

対応付け手段７６は、基準パターン画像群生成手段が座標値から初期位相値を求める計算（例えば式（１）の計算）の逆算を、位相計算手段７５が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影手段７１における画素との対応関係を特定する。

詳細には、基準パターン画像群生成手段７３は、第１座標軸（例えばｘ軸）に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸（例えばｙ軸）に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成する。

そして、撮影制御手段７４は、第１座標軸に関する基準パターン画像群を投影手段７１に投影させ、その結果投影面に投影された画像を撮影手段７２に撮影させ、第２座標軸に関する基準パターン画像群を投影手段７１に投影させ、その結果投影面に投影された画像を撮影手段７２に撮影させる。

位相計算手段７５は、第１座標軸に関する基準パターン画像群の各画像を投影手段７１が投影したときに撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を投影手段７１が投影したときに撮影手段７２が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する。

対応付け手段７６は、第１座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第１座標軸の座標（例えばｘ座標）から初期位相値を求める計算（例えば、式（１）の計算）の逆算を行って第１座標軸の座標を計算し、撮影画像の画素に第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第２座標軸の座標（例えばｙ座標）から初期位相値を求める計算（例えば、式（９）の計算）の逆算を行って第２座標軸の座標を計算し、撮影画像の画素に第２座標軸の座標を対応付けることによって、撮影画像の画素と、投影手段７１によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する。

また、上記の実施形態には、投影対象画像における画素と投影手段７１における画素との対応関係に基づいて、投影対象画像を補正する補正手段（例えば、実施形態における補正手段１０）と、補正手段によって補正された画像を、投影手段７１に投影させる投影制御手段（例えば、実施形態における投影制御手段１１）とを備える構成が開示されている。

また、上記の実施形態には、基準パターン画像群生成手段７３が、第１の基準パターン画像群と、第１の基準パターン画像群における輝度変化の周期を所定倍（例えば、１／ａ倍）とした第２の基準パターン画像群を生成し、撮影制御手段７４が、第１の基準パターン画像群に属する画像および第２の基準パターン画像群に属する画像を投影手段７１に投影させ、その結果投影面に投影された画像を撮影手段７２に撮影させ、位相計算手段７５が、第１の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、第２の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、対応付け手段７６は、第１の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値と、第２の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値とを用いて、初期位相値から得られる座標値と撮影画像の画素とを対応付け、その対応関係を用いて投影対象画像における画素と投影手段７１における画素との対応関係を特定する構成が開示されている。そのような構成によれば、対応付けの精度を向上させることができる。

また、上記の実施形態には、投影面における反射率を計算する反射率計算手段（例えば、補正手段１０）を備え、補正手段が、投影対象画像の画素の輝度値を、その輝度値を反射率で除算した値に更新し、更新後の画像に対して補正を行う構成が開示されている。

また、位相の変化に伴い連続して変化する連続関数（例えば、ｆ）は、関数値の変化が正弦波となる関数である構成が開示されている。

また、投影手段を複数備える構成が開示されている。

また、上記の実施形態には、投影手段１が、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影し、撮影手段２が、その画像を撮影して光の波長が異なる色毎に分離する構成が開示されている。

また、上記の実施形態には、以下の構成の画素位置対応関係特定システムが開示されている。

画像を投影面に投影する投影手段（例えば、実施形態における投影手段１）と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段（例えば、パターン位相シフト手段４）と、基準パターン画像群に属する画像を投影手段に投影させる基準パターン投影制御手段（例えば、実施形態における撮影制御手段５）と、投影面に投影された基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段（例えば、実施形態における位相計算手段６）と、基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、位相計算手段が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影手段における画素との対応関係を特定する対応付け手段（例えば、実施形態における対応付け手段９）とを備え、基準パターン画像生成手段が、第１座標軸（例えばｘ軸）に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸（例えばｙ軸）に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、基準パターン投影制御手段が、第１座標軸に関する基準パターン画像群を投影手段に投影させ、第２座標軸に関する基準パターン画像群を投影手段に投影させ、位相計算手段が、第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け手段が、第１座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、撮影画像の画素に第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、撮影画像の画素に第２座標軸の座標を対応付けることによって、撮影画像の画素と、投影手段によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴する画素位置対応関係特定システム。

この構成は、図１４における撮影手段７２を画素位置対応関係特定システムの外部に設けた構成に相当する。

また、上記の実施形態には、以下の構成の画素位置対応関係特定システムが開示されている。

（１）画像を投影面に投影する投影部（例えば、実施形態における投影手段１）と、投影面に投影された画像を撮影する撮影部（例えば、実施形態における撮影手段２）と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成部（例えば、パターン位相シフト手段４）と、基準パターン画像群に属する画像を投影部に投影させ、その結果投影面に投影された画像を撮影部に撮影させる撮影制御部（例えば、実施形態における撮影制御手段５）と、基準パターン画像群の各画像を投影部が投影したときに撮影部が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算部（例えば、実施形態における位相計算手段６）と、基準パターン画像群生成部が座標値から初期位相値を求める計算の逆算を、位相計算部が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影部における画素との対応関係を特定する対応付け部（例えば、実施形態における対応付け手段９）とを備え、基準パターン画像生成部が、第１座標軸（例えばｘ軸）に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸（例えばｙ軸）に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、撮影制御部が、第１座標軸に関する基準パターン画像群を投影部に投影させ、その結果投影面に投影された画像を撮影部に撮影させ、第２座標軸に関する基準パターン画像群を投影部に投影させ、その結果投影面に投影された画像を撮影部に撮影させ、位相計算部が、第１座標軸に関する基準パターン画像群の各画像を投影部が投影したときに撮影部が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を投影部が投影したときに撮影部が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け部が、第１座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、撮影画像の画素に第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、撮影画像の画素に第２座標軸の座標を対応付けることによって、撮影画像の画素と、投影部によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影部における画素との対応関係を特定することを特徴する画素位置対応関係特定システム。

（２）投影対象画像における画素と投影部における画素との対応関係に基づいて、投影対象画像を補正する補正部（例えば、実施形態における補正手段１０）と、補正部によって補正された画像を、投影部に投影させる投影制御部（例えば、実施形態における投影制御手段１１）とを備える画素位置対応関係特定システム。

（３）基準パターン画像群生成部が、第１の基準パターン画像群と、第１の基準パターン画像群における輝度変化の周期を所定倍（例えば、１／ａ倍）とした第２の基準パターン画像群を生成し、撮影制御部が、第１の基準パターン画像群に属する画像および第２の基準パターン画像群に属する画像を投影部に投影させ、その結果投影面に投影された画像を撮影部に撮影させ、位相計算部が、第１の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、第２の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、対応付け部が、第１の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値と、第２の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値とを用いて、初期位相値から得られる座標値と撮影画像の画素とを対応付け、その対応関係を用いて投影対象画像における画素と投影部における画素との対応関係を特定する画素位置対応関係特定システム。

（４）投影面における反射率を計算する反射率計算部（例えば、補正手段１０）を備え、補正部が、投影対象画像の画素の輝度値を、当該輝度値を反射率で除算した値に更新し、更新後の画像に対して補正を行う画素位置対応関係特定システム。

（５）位相の変化に伴い連続して変化する連続関数（例えば、ｆ）は、関数値の変化が正弦波となる関数である画素位置対応関係特定システム。

（６）投影部を複数備える画素位置対応関係特定システム。

（７）投影部が、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影し、撮影部が、画像を撮影して光の波長が異なる色毎に分離する画素位置対応関係特定システム。

（８）画像を投影面に投影する投影部（例えば、実施形態における投影手段１）と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成部（例えば、パターン位相シフト手段４）と、基準パターン画像群に属する画像を投影部に投影させる基準パターン投影制御部（例えば、実施形態における撮影制御手段５）と、投影面に投影された基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算部（例えば、実施形態における位相計算手段６）と、基準パターン画像群生成部が座標値から初期位相値を求める計算の逆算を、位相計算部が計算した初期位相値に対して行い、逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と投影部における画素との対応関係を特定する対応付け部（例えば、実施形態における対応付け手段９）とを備え、基準パターン画像生成部が、第１座標（例えばｘ軸）軸に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸（例えばｙ軸）に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、基準パターン投影制御部が、第１座標軸に関する基準パターン画像群を投影部に投影させ、第２座標軸に関する基準パターン画像群を投影部に投影させ、位相計算部が、第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け部が、第１座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、撮影画像の画素に第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、撮影画像の画素に第２座標軸の座標を対応付けることによって、撮影画像の画素と、投影部によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と投影部における画素との対応関係を特定することを特徴する画素位置対応関係特定システム。

（８）の構成は、図１４における撮影手段７２を画素位置対応関係特定システムの外部に設けた構成に相当する。

また、上記の実施形態には、以下の構成の画像補正システムが開示されている。

（９）投影対象画像における画素と画像を投影する投影手段における画素との対応関係に基づいて、投影手段によって投影される投影対象画像を補正する補正手段（例えば、補正手段１０）を備えることを特徴とする画像補正システム。

（１０）投影対象画像における画素と画像を投影する投影部における画素との対応関係に基づいて、投影部によって投影される投影対象画像を補正する補正部（例えば、補正手段１０）を備えることを特徴とする画像補正システム。

（１１）画像を投影する投影部（例えば、実施形態における投影手段１）と、補正部によって補正された画像を、投影部に投影させる投影制御部（例えば、実施形態における撮影制御部５）とを備える画像補正システム。

（９），（１０）の画像補正システムは、例えば、補正手段１０（図１０、図１１参照）を備えるように構成される。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００８年１１月１７日に出願された日本出願特願２００８−２９３５３５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

産業上の利用の可能性

本発明は、投影面に画像を投影する際の画像の歪みを補正するために、投影対象となる画像の画素と、実際に投影面に投影された画像の画素との対応関係を定める画素位置対応関係特定システムや、その対応関係を用いて、観察者に提示する画像を補正して投影する画像投影システムに好適に適用される。

１ 投影手段
２ 撮影手段
３ 情報処理装置
４ パターン位相シフト手段
５ 撮影制御手段
６ 位相計算手段
７ 投影面
８ 観察者
９ 対応付け手段
１０ 補正手段
１１ 投影制御手段
１２ 解像度変換手段

Claims (17)

1. 画像を投影面に投影する投影手段と、
   投影面に投影された画像を撮影する撮影手段と、
   位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、
   基準パターン画像群に属する画像を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させる撮影制御手段と、
   基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、
   基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、前記位相計算手段が計算した初期位相値に対して行い、前記逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と前記投影手段における画素との対応関係を特定する対応付け手段とを備え、
   前記基準パターン画像生成手段は、
   第１座標軸に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、
   前記撮影制御手段は、
   第１座標軸に関する基準パターン画像群を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させ、第２座標軸に関する基準パターン画像群を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させ、
   前記位相計算手段は、
   第１座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
   前記対応付け手段は、
   第１座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、撮影画像の画素に前記第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影した撮影画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、撮影画像の画素に前記第２座標軸の座標を対応付けることによって、撮影画像の画素と、前記投影手段によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
   ことを特徴する画素位置対応関係特定システム。
2. 投影対象画像における画素と前記投影手段における画素との対応関係に基づいて、投影対象画像を補正する補正手段と、
   前記補正手段によって補正された画像を、前記投影手段に投影させる投影制御手段とを備える
   請求項１に記載の画素位置対応関係特定システム。
3. 基準パターン画像群生成手段は、第１の基準パターン画像群と、前記第１の基準パターン画像群における輝度変化の周期を所定倍とした第２の基準パターン画像群を生成し、
   撮影制御手段は、前記第１の基準パターン画像群に属する画像および前記第２の基準パターン画像群に属する画像を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させ、
   位相計算手段は、前記第１の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、前記第２の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を計算し、
   対応付け手段は、前記第１の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値と、前記第２の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値とを用いて、初期位相値から得られる座標値と撮影画像の画素とを対応付け、その対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
   請求項１または請求項２に記載の画素位置対応関係特定システム。
4. 投影面における反射率を計算する反射率計算手段を備え、
   補正手段は、投影対象画像の画素の輝度値を、当該輝度値を反射率で除算した値に更新し、更新後の画像に対して補正を行う
   請求項２または請求項３に記載の画素位置対応関係特定システム。
5. 位相の変化に伴い連続して変化する前記連続関数は、関数値の変化が正弦波となる関数である請求項１から請求項４のうちのいずれか１項に記載の画素位置対応関係特定システム。
6. 投影手段を複数備える
   請求項１から請求項５のうちのいずれか１項に記載の画素位置対応関係特定システム。
7. 投影手段は、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影し、
   撮影手段は、前記画像を撮影して光の波長が異なる色毎に分離する
   請求項１から請求項６のうちのいずれか１項に記載の画素位置対応関係特定システム。
8. 画像を投影面に投影する投影手段と、
   位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、
   基準パターン画像群に属する画像を前記投影手段に投影させる基準パターン投影制御手段と、
   投影面に投影された基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、
   基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、前記位相計算手段が計算した初期位相値に対して行い、前記逆算によって得られる座標値と撮影画像の画素とを対応付け、投影対象画像における画素と前記投影手段における画素との対応関係を特定する対応付け手段とを備え、
   前記基準パターン画像生成手段は、
   第１座標軸に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、
   前記基準パターン投影制御手段は、
   第１座標軸に関する基準パターン画像群を前記投影手段に投影させ、第２座標軸に関する基準パターン画像群を前記投影手段に投影させ、
   前記位相計算手段は、
   第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
   前記対応付け手段は、
   第１座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、撮影画像の画素に前記第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影して得られた撮影画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、撮影画像の画素に前記第２座標軸の座標を対応付けることによって、撮影画像の画素と、前記投影手段によって投影される画像の画素との対応関係を特定し、撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
   ことを特徴する画素位置対応関係特定システム。
9. 投影対象画像における画素と画像を投影する投影手段における画素との対応関係に基づいて、前記投影手段によって投影される投影対象画像を補正する補正手段を備える
   ことを特徴とする画像補正システム。
10. 画像を投影する投影手段と、
    前記補正手段によって補正された画像を、前記投影手段に投影させる投影制御手段とを備える
    請求項９に記載の画像補正システム。
11. 位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成し、
    第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、
    第１座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
    第１座標軸に関する基準パターン画像群を生成する処理で第１座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した前記初期位相値に対して行い、前記逆算によって得られる第１座標軸の座標と撮影画像の画素とを対応付け、
    位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成し、
    第２座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、その結果投影面に投影された画像を前記撮影手段に撮影させ、
    第２座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
    第２座標軸に関する基準パターン画像群を生成する処理で第２座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した前記初期位相値に対して行い、前記逆算によって得られる第２座標軸の座標と撮影画像の画素とを対応付け、
    撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
    ことを特徴とする画素位置対応関係特定方法。
12. 位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成し、
    第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、
    投影面に投影された第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
    第１座標軸に関する基準パターン画像群を生成する処理で第１座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した前記初期位相値に対して行い、前記逆算によって得られる第１座標軸の座標と撮影画像の画素とを対応付け、
    位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成し、
    第２座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、
    投影面に投影された第２座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
    第２座標軸に関する基準パターン画像群を生成する処理で第２座標軸の座標から初期位相値を求める計算の逆算を、複数の撮影画像における画素の輝度変化から計算した前記初期位相値に対して行い、前記逆算によって得られる第２座標軸の座標と撮影画像の画素とを対応付け、
    撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
    ことを特徴とする画素位置対応関係特定方法。
13. 投影対象画像における画素と前記投影手段における画素との対応関係に基づいて、投影対象画像を補正し、
    補正された画像を、前記投影手段に投影させる
    請求項１１または請求項１２に記載の画素位置対応関係特定方法。
14. 画像を投影面に投影する投影手段と、投影面に投影された画像を撮影する撮影手段とを備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、
    前記コンピュータに、
    位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成処理、
    第１座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、その結果投影面に投影された画像を前記撮影手段に撮影させる第１撮影制御処理、
    第１座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算処理、
    第１基準パターン画像群生成処理で第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第１座標軸の座標と撮影画像の画素とを対応付ける第１対応付け処理、
    位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成処理、
    第２座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、その結果投影面に投影された画像を前記撮影手段に撮影させる第２撮影制御処理、
    第２座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算処理、
    第２基準パターン画像群生成処理で第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第２座標軸の座標と撮影画像の画素とを対応付ける第２対応付け処理、および、
    撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する画素対応付け処理
    を実行させるための画素位置対応関係特定プログラム。
15. 画像を投影面に投影する投影手段を備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、
    前記コンピュータに、
    位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成処理、
    第１座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させる第１基準パターン投影制御処理、
    投影面に投影された第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算処理、
    第１基準パターン画像群生成処理で第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第１座標軸の座標と撮影画像の画素とを対応付ける第１対応付け処理、
    位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成処理、
    第２座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させる第２基準パターン投影制御処理、
    投影面に投影された第２座標軸に関する基準パターン画像群の各画像を撮影して得られる複数の撮影画像における画素の輝度変化から、撮影画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算処理、
    第２基準パターン画像群生成処理で第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第２座標軸の座標と撮影画像の画素とを対応付ける第２対応付け処理、および、
    撮影画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する画素対応付け処理
    を実行させるための画素位置対応関係特定プログラム。
16. コンピュータに、
    投影対象画像における画素と前記投影手段における画素との対応関係に基づいて、投影対象画像を補正する補正処理、および、
    前記補正処理で補正された画像を、前記投影手段に投影させる投影制御処理
    を実行させる請求項１４または請求項１５に記載の画素位置対応関係特定プログラム。
17. コンピュータに、
    投影対象画像における画素と画像を投影する投影手段における画素との対応関係に基づいて、前記投影手段によって投影される投影対象画像を補正する補正処理
    を実行させるための画像補正プログラム。

Images