JP6794981B2 - 情報処理装置および方法 - Google Patents

Description

本技術は、情報処理装置および方法に関し、特に、対応点検出精度の低減を抑制することができるようにした情報処理装置および方法に関する。

従来、プロジェクタにより投影面に投影された投影画像をカメラで撮像し、その撮像画像を用いて投影する画像に対して幾何補正等を行い、投影画像の歪み等を低減させる方法があった。このような方法を用いる場合、プロジェクタが投影した投影画像と、カメラにより得られた撮像画像との間で対応点（つまり、プロジェクタの画素とカメラの画素との間の対応点）を予め検出しておく必要がある。この対応点の検出方法として、様々な方法が考えられ、例えば、位相シフト法が考えられた（例えば、非特許文献１参照）。

J. Salvi, S. Fernandez, T. Pribanic, X. Llado, "A State of the Art in Structured Light Patterns for Surface Profilometry", Pattern Recognition, Volume43, Issue 8, August 2010, Pages 2666-2680

しかしながら、位相シフト法の場合、投影画像の撮像画像に発生する非同期ノイズにより正しく位相検出を行うことができず、対応点検出において誤りが生じるおそれがあった。また、位相シフト法の場合、投影面が複数の面からなると、一面に投影されたパターン画像がその投影面で反射して近傍の他の面に投影され、対応点の検出において誤りが生じるおそれがあった。

本技術は、このような状況に鑑みて提案されたものであり、対応点検出精度の低減を抑制することを目的とする。

本技術の一側面は、所定のパラメータが第１の方向に第１の周期で正弦波状に変化する正弦波パターンを前記第１の方向と直交する第２の方向に第２の周期で位相反転した投影パターンを、を前記投影部に投影させる投影制御部と、撮像部により得られる、前記投影制御部の制御に従って前記投影部により投影された前記投影パターンの投影画像の撮像画像を用いて、位相シフト法により前記投影部と前記撮像部との間の画素の対応点を検出する対応点検出部とを備える情報処理装置である。

前記パラメータは、輝度であるようにすることができる。

前記第１の方向は、位相を検出する方向と異なる方向であるようにすることができる。

前記第１の方向は、前記撮像部が撮像して得る撮像画像における垂直方向に対して所定の範囲内の角度に傾斜した方向であるようにすることができる。

前記範囲は４０度乃至５０度であるようにすることができる。

前記投影制御部は、前記正弦波パターンの位相が互いにずれた複数の前記投影パターンを前記投影部に投影させることができる。

前記投影制御部は、前記正弦波パターンの位相が互いに１２０度ずれた３つの前記投影パターンを前記投影部に投影させることができる。

前記投影制御部は、前記第１の周期が互いに異なる複数の前記投影パターンの画像を前記投影部に投影させることができる。

前記投影パターンを生成する生成部をさらに備え、前記投影制御部は、前記生成部により生成された前記投影パターンを前記投影部に投影させることができる。

前記生成部は、前記正弦波パターンを前記第２の方向に前記第２の周期で位相反転することにより、前記投影パターンを生成することができる。

前記正弦波パターンのデータを記憶する記憶部をさらに備え、前記生成部は、前記記憶部に記憶されている前記正弦波パターンのデータを用いて、前記投影パターンを生成することができる。

前記投影部をさらに備え、前記投影部は、前記投影制御部の制御に従って、前記投影パターンを投影面に投影することができる。

前記撮像部をさらに備えることができる。

本技術の一側面は、また、所定のパラメータが第１の方向に第１の周期で正弦波状に変化する正弦波パターンを前記第１の方向と直交する第２の方向に第２の周期で位相反転した投影パターンを、投影部に投影させ、撮像部により得られる、前記投影部により投影された前記投影パターンの投影画像の撮像画像を用いて、位相シフト法により前記投影部と前記撮像部との間の画素の対応点を検出する情報処理方法である。

本技術の一側面においては、所定のパラメータが第１の方向に第１の周期で正弦波状に変化する正弦波パターンをその第１の方向と直交する第２の方向に第２の周期で位相反転した投影パターンが、投影部により投影され、撮像部により得られる、その投影部により投影された投影パターンの投影画像の撮像画像を用いて、位相シフト法によりその投影部とその撮像部との間の画素の対応点が検出される。

本技術によれば、情報を処理することが出来る。また本技術によれば、対応点検出精度の低減を抑制することができる。

位相シフト法を説明する図である。 位相シフト法を説明する図である。 位相シフト法を説明する図である。 位相シフト法を説明する図である。 マルチ位相シフト法を説明する図である。 マルチ位相シフト法を説明する図である。 対応点検出の誤りについて説明する図である。 正弦波パターンの周期的位相反転の例を説明する図である。 位相検出の例を説明する図である。 投影面検出結果の例を説明する図である。 領域設定パターンの例を説明する図である。 正弦波パターンの回転の例を説明する図である。 正弦波パターンの周期的位相反転と回転との組み合わせの例を説明する図である。 領域設定パターンの例を説明する図である。 投影撮像装置の例を示す図である。 投影撮像装置の主な構成例を示すブロック図である。 投影部の主な構成例を示す図である。 レーザ光の走査の様子の例を示す図である。 制御部が実現する主な機能の例を示す機能ブロック図である。 対応点検出処理の流れの例を説明するフローチャートである。 パターン回転量設定処理の流れの例を説明するフローチャートである。 領域設定処理の流れの例を説明するフローチャートである。 投影撮像装置や投影撮像システムの主な構成例を示す図である。 投影撮像システムの主な構成例を示す図である。 画像投影の様子の例を示す図である。 画像補正の様子の例を示す図である。 画像補正の様子の例を示す図である。 利用例を説明する図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．位相シフト法
２．第１の実施の形態（投影制御と対応点検出）
３．第２の実施の形態（投影撮像装置）
４．第３の実施の形態（応用例）

＜１．位相シフト法＞
＜アクティブステレオセンシングの対応点検出＞
近年、複数台のプロジェクタを利用し、非平面（複数平面からなる立体面やプラネタリウムのような曲面、さらには室内や建築物のようなより複雑な形状）へ映像を投影する技術が非常に注目を浴びている。例えば、このような投影の場合、投影対象の形状に合わせて幾何補正等を行い投影する必要がある。また、プロジェクタを投影面に対して任意の姿勢で設置しても幾何補正等によって投影画像の歪みを低減させる技術が考えられた。

従来、このような幾何補正等のために、プロジェクタにより投影面に投影された投影画像をカメラで撮像する方法があった。この方法の場合、カメラにより得られた投影画像の撮像画像を用いて、投影する画像に対する補正が行われる。

このような投影画像の撮像画像を用いて補正を行う方法の場合、正しく補正を行うために、プロジェクタが投影した投影画像と、カメラにより得られた撮像画像との間（つまり、プロジェクタの画素とカメラの画素との間）で対応点を予め検出しておく必要がある。この対応点の検出方法として、多種多様な手法が提案されてきているが、大枠の分類として、信号レベルの観点から粗く量子化した離散値を利用するかアナログ的な連続値を利用するという違いがあり、さらに投影画像内に一意に識別可能なパターンを埋め込む空間codingか時間的な変化によってパターンを埋め込む時間codingの違いに分けられる。

離散値＋空間codingを利用したものは、離散的であることにより信号の分離が簡単でノイズに強いが、パターンマッチングが発生するため信号処理としては負荷が非常に高く、さらに対応点の取得が疎になることやオクルージョンによる誤認識が発生する。

離散値＋時間codingを利用したものは、ノイズに強く、画素ごとの時間変化を見るだけで信号処理が軽いが、対応点を密に取得するには投影画像枚数が非常に多くなってしまう。

連続値＋時間codingを利用したものは、ノイズやデバイスの入出力応答特性などに影響を受けやすいが、対応点を密に取得することができ、また投影画像枚数は比較的少なく、信号処理としても負荷が低い。

この連続値＋時間codingを利用する手法として、位相シフト法（PS（Phase-Shift））やマルチ位相シフト法（MPS（Multi-Phase-Shift））が考えられた。位相シフト法やマルチ位相シフト法は、上述した特徴を持つことから、上述したプロジェクタ・カメラシステムの他、業務用の３次元計測機器など、近距離で高精度な物体形状計測が必要とされる場面においても利用されている。

＜位相シフト法の概要＞
以下に、位相シフト法の概要を説明する。位相シフト法では、図１に示されるように、所定の方向の輝度の正弦波パターン（所定の方向に正弦波のパターンで変化する輝度のパターン）がプロジェクタ（PJ）１１により投影面１３に投影され、その投影面１３に投影された投影画像がカメラ（CAM）１２により撮像され、その投影画像の撮像画像を用いて対応点が検出される。

＜対応点検出＞
まず水平方向の輝度の正弦波パターンを用いて処理が行われる。プロジェクタ１１は、例えば、図２のＡに示される正弦波パターン２１−１（k=0）、正弦波パターン２１−２（k=1）、正弦波パターン２１−３（k=2）のように、水平方向に輝度が互いに同一の周期で正弦波状に変化する、互いの位相差が１２０度の（互いの位相が１２０度ずれている）３パターンを投影する。以下においてこれらを区別して説明する必要が無い場合、正弦波パターン２１と称する。

プロジェクタ１１の各画素を（x_pj,y_pj）とし、この正弦波パターン２１をI_pj,kとし、正弦波パターン２１の最大画素値をx_pj,maxとし、各正弦波パターン２１における正弦波の本数（繰り返し回数）をNとすると、この正弦波パターン２１における画素（x_pj,y_pj）の画素値I_pj,k（x_pj,y_pj）は、以下の式（１）のように表すことができる。

・・・（１）

ここで、座標x_pjにおける位相φ（x_pj）は、以下の式（２）のように表すことができる。

・・・（２）
ただし、k=0,1,2

I_pj,k（すなわち、I_pj,0,I_pj,1,I_pj,2）
カメラ１２は、これらの正弦波パターン２１の投影画像を撮像し、例えば、図２のＢに示される撮像画像２２−１（k=0）、撮像画像２２−２（k=1）、撮像画像２２−３（k=2）を得る。以下において、これらを区別して説明する必要が無い場合、撮像画像２２と称する。このカメラ１２で撮像した撮像画像２２の画素値をI_cam,k（すなわち、I_cam,0,I_cam,1,I_cam,2）とし、カメラ１２の各画素を（x_cam,y_cam）とすると、各画素（x_cam,y_cam）における撮像画像２２の画素値I_cam,k（x_cam,y_cam）を用いて、各画素（x_cam,y_cam）における位相φ'（x_cam,y_cam）を、以下の式（３）乃至式（５）のように求めることができる。

・・・（３）

・・・（４）

・・・（５）

このカメラ１２の各画素における位相の分布は、図２のＣに示される位相分布２３のようになる。つまり、正弦波パターン２１における正弦波の繰り返しに対応して、０乃至２πの位相分布が水平方向にN回繰り返される。

次に垂直方向の輝度の正弦波パターンを用いて同様の処理が行われる。プロジェクタ１１は、例えば、図３のＡに示される正弦波パターン２４−１（k=0）、正弦波パターン２４−２（k=1）、正弦波パターン２４−３（k=2）のように、垂直方向に輝度が互いに同一の周期で正弦波状に変化する、互いの位相差が１２０度の（互いの位相が１２０度ずれている）３パターンを投影する。以下においてこれらを区別して説明する必要が無い場合、正弦波パターン２４と称する。

カメラ１２は、これらの正弦波パターン２４の投影画像を撮像し、例えば、図３のＢに示される撮像画像２５−１（k=0）、撮像画像２５−２（k=1）、撮像画像２５−３（k=2）を得る。以下において、これらを区別して説明する必要が無い場合、撮像画像２５と称する。上述した水平方向の場合と同様の方法によって、この撮像画像２５を用いて、カメラ１２の各画素（x_cam,y_cam）における位相φ'（x_cam,y_cam）を求めることができる。

この場合、カメラ１２の各画素における位相の分布は、図３のＣに示される位相分布２６のようになる。つまり、正弦波パターン２４における正弦波の繰り返しに対応して、０乃至２πの位相分布が垂直方向にN回繰り返される。

＜位相アンラッピング＞
この位相φ'は元の正弦波の位相Nφに0乃至2πの制約をかけたもの（図４のＡのグラフの各実線）となるため、図４のＡのように近隣画素の位相との接続性を解決する位相アンラッピングという処理を行うことで本来の位相Nφ（図４のＡのグラフの点線）を得ることができる。例えば、図２のＣに示される位相分布２３に対して、水平方向についての位相アンラッピングを施すと、図４のＢに示されるような位相分布２７が得られる。同様に、図３のＣに示される位相分布２６に対して、垂直方向についての位相アンラッピングを施すと、図４のＣに示されるような位相分布２８が得られる。

これにより、カメラ１２の画素（x_cam,y_cam）とプロジェクタ１１の画素（x_pj,y_pj）とが１対１に対応付けられる。例えば、位相分布２７に基づいて、カメラ１２の画素（x_cam,y_cam）に対応するプロジェクタ１１の水平画素x_pjを以下の式（６）のように求めることができる。

・・・（６）

当然、垂直方向の座標も、位相分布２８に基づいて同様に求めることができる。

位相シフト法の注目すべきポイントとしては、滑らかに連続したパターンを使うことによって、プロジェクタ画素がサブピクセル単位で求まる点、プロジェクタやカメラのフォーカスの影響を受けにくい点、そして位相を使用していることで原理的に投影面の反射光量の影響を受けず、ある程度の振幅さえ取れていればよいという点である。ただし、カメラの輝度飽和や、プロジェクタ・カメラのガンマ応答特性の影響を受けやすいため、安定した環境の確保が重要となる。

＜マルチ位相シフト法の概要＞
次に、マルチ位相シフト法について説明する。マルチ位相シフト法の場合、正弦波の本数N₀,N₁が互いに素となるような繰返し周期のパターンの組を使って位相シフト法で２度測定を行う。これにより、互いの位相φ₀、φ₁の制約条件から不定性を持つことなく位相アンラッピングを行うことができる。

＜対応点検出＞
例えば、水平方向の対応点検出では、プロジェクタ１１は、図５のＡに示される正弦波パターン群２１−４−１（正弦波の本数N₀,k=0乃至2）の各正弦波パターン２１と、正弦波パターン群２１−４−２（正弦波の本数N₁,k=0乃至2）の各正弦波パターン２１とを投影する。

カメラ１２は、これらの正弦波パターン２１の投影画像を撮像し、例えば図５のＢに示される撮像画像群２２−４−１（正弦波の本数N₀,k=0乃至2）と撮像画像群２２−４−２（正弦波の本数N₁,k=0乃至2）とを得る。

そして、撮像画像群２２−４−１から位相φ'₀の位相分布２３−４−１が求められ、撮像画像群２２−４−２から位相φ'₁の位相分布２３−４−２が求められる。

水平方向についても同様にして位相φ'₀および位相φ'₁を求めることができる。例えば、プロジェクタ１１が、図５のＥに示される正弦波パターン群２４−４−１（正弦波の本数N₀,k=0乃至2）の各正弦波パターン２４と、正弦波パターン群２４−４−２（正弦波の本数N₁,k=0乃至2）の各正弦波パターン２１とを投影し、カメラ１２が、これらの正弦波パターン２１の投影画像を撮像し、例えば図５のＦに示される撮像画像群２５−４−１（正弦波の本数N₀,k=0乃至2）と撮像画像群２５−４−２（正弦波の本数N₁,k=0乃至2）とを得る。そして、撮像画像群２５−４−１から位相φ'₀の位相分布２６−４−１が求められ、撮像画像群２５−４−２から位相φ'₁の位相分布２６−４−２が求められる。

N₀=2、N₁=3とすると、対応点を一意に求めるための位相φと、これらの位相φ'₀および位相φ'₁との関係は、図６のＡに示されるグラフのようになる。つまり、位相φ'₀および位相φ'₁から位相φを一意に求めることができる。

位相φと、位相φ'₀および位相φ'₁との関係は、以下の式（７）のように表すことができる。

・・・（７）

この位相φ'₀と位相φ'₁との関係を２次元位相平面上にプロットすると図６のＢの左のグラフのようになり複数の直線群で表される。さらに位相φを加えた３軸で表現すると図６のＢの右のような３次元空間上の直線になるが、N₀とN₁とが互いに素である場合、上記の関係を満たすi、jは一組しか存在し得ない。したがって、位相φ'₀および位相φ'₁に対して位相φを一意に求めることができ、不定性を持たない位相アンラッピングが実現される。

つまり、図５の例の場合、位相分布２３−４−１および位相分布２３−４−２（図５のＣ）に基づいて、位相φの水平方向の位相分布２７−４（図５のＤ）を求めることができる。また、位相分布２６−４−１および位相分布２６−４−２（図５のＧ）に基づいて、位相φの垂直方向の位相分布２８−４（図５のＨ）を求めることができる。

＜非同期ノイズ＞
次に、このような位相シフト法において起こり得るエラーについて説明する。まず、非同期ノイズについて説明する。DLP（Digital Light Processing）（登録商標）などに代表されるプロジェクタデバイスは、非常に短い周期でRGBの明滅を繰り返している。また、CMOS（Complementary Metal Oxide Semiconductor）に代表されるカメラデバイスでは、ローリングシャッタと呼ばれる現象が起こり、垂直方向の位置によって露光される時間が異なる。このような要因でプロジェクタとカメラの露光タイミングがずれることによって撮像結果にランダムに帯状のノイズ（非同期ノイズ）が発生し、そのノイズ発生エリアで位相を正しく計測することができない可能性があった（図７のＡ）。

この非同期ノイズは、プロジェクタとカメラの同期をとることにより、その発生を抑制することができる。しかしながら、プロジェクタとカメラの同期をとるには特別なシステム構成が必要となり、コストが増大するおそれがある。特に、プロジェクタとカメラからなるユニットを複数組み合わせたプロジェクタシステムでは、別ユニットにまたがったプロジェクタとカメラの同期をとることは困難であった。

簡易な対策としては、図７のＡの最下段のように、カメラの感度を下げて露出時間を長くする方法がある。このようにすることにより、プロジェクタの投影画像が時間的に平均化され、ノイズの発生を抑制することができる。しかしながら、この方法の場合、カメラの露出時間が長くなることにより計測時間が増大する可能性があった。場合によっては、実装上許容される期間内に対応点の検出を完了させることができない可能性もあった。

＜相互反射現象＞
次に相互反射現象について説明する。投影面が複数の平面・曲面で構成される場合、通常のスクリーンとは異なり面間での相互反射が発生する可能性がある。図７のＢの例の場合、投影面５１に照射された光の一部がその投影面５１において反射し、その反射光が投影面５２に照射されている。

一般的に反射光は拡散するので、第１の投影面の反射光が十分に拡散すれば、その反射光が他の第２の投影面に照射されるとしても、第１の投影面に投影されたパターンが第２の投影面に転写されない。したがって、第１の投影面おいて検出されるパターンが第２の投影面において検出されず、エラーは発生しない。

しかしながら、図７のＢの例のように、投影面５１と投影面５２との距離が短いと、その拡散が十分でなく、投影面５１に投影されるパターンが投影面５２に転写され、投影面５１において検出されるパターンが投影面５２においても検出される可能性がある。特に、位相シフト法で用いられるような単純なパターンは、その転写の可能性が高い。このようにパターンが転写されると複数の位置に同一パターンが発生することになり、それによって誤検出や、計測誤差の発生を引き起こす可能性がある。

対策としては、プロジェクタから投影する正弦波パターンの空間周波数を高くする方法が考えられるが、プロジェクとカメラ双方に高解像度なデバイスが要求され、コストが増大する可能性があった。また、投影面の材質によっては散乱・吸収等の影響で高い周波数のパターンがぼけてしまう可能性もあった。

＜２．第１の実施の形態＞
＜正弦波パターンの周期的位相反転＞
そこで、パターンの投影制御において、投影部と撮像部との間の画素の対応関係を求めるために、第１の方向に第１の周期で繰り返される第１のパターンをその第１の方向と直交する第２の方向に第２の周期で位相反転した第２のパターンを投影部に投影させるようにしてもよい。

なお、この第１のパターンは任意であるが、例えば所定のパラメータが正弦波状に変化するパターンであるようにしてもよい。

また、このパラメータは、任意であるが、例えば画像に関する任意のパラメータとしてもよい。例えばこのパラメータが輝度であるようにしてもよいし、色であるようにしてもよいし、その他のパラメータであるようにしてもよい。

例えば、図８のＡに示されるような、輝度（すなわちパラメータ）が水平方向に正弦波状に変化するパターン（すなわち第１のパターン）が、水平方向（すなわち第１の方向）に所定の周期（すなわち第１の周期）で繰り返される正弦波パターン（すなわち第１のパターン）１０１に対して、図８のＢに示されるような位相反転パターン１０２を用いて、垂直方向（すなわち第２の方向）に所定の周期（すなわち第２の周期）で位相反転させた、図８のＣに示されるような投影パターン１０３（すなわち、第２のパターン）を、投影部に画像として投影させる。

図８のＢにおいて、位相反転パターン１０２は、白色の領域と黒色の領域（２値）が垂直方向（すなわち第２の方向）に所定の周期（すなわち第２の周期）で並ぶ縞模様として示されている。例えば、この白色の領域が位相を反転させる領域（位相反転領域）を示しており、黒色の領域が位相を反転させない領域（位相非反転領域）を示している。つまり、正弦波パターン１０１は、正弦波パターン１０１と位相反転パターン１０２とを同じサイズとして重ねた状態においてその位相反転パターン１０２の白色の領域に重畳する部分において、その位相が反転される。このようにして正弦波パターン１０１の位相を反転させた結果が投影パターン１０３である。この位相反転パターン１０２の周期（第２の周期）は、正弦波パターン１０１の周期（第１の周期）と同じであってもよいし、異なっていてもよい。なお、図８のＢにおいては、位相反転パターン１０２の、位相反転領域と位相非反転領域とが白色と黒色で示されているが、両領域を互いに識別することができればよいので、互いに識別可能な２値であればどのような値で位相反転パターン１０２を形成するようにしてもよい。

図８に示されるように、投影パターン１０３の方が正弦波パターン１０１よりも絵柄が細かいので、投影パターン１０３を投影する場合の方が、正弦波パターン１０１を投影する場合よりも、投影面で反射された反射光が拡散し易くなる。つまり、反射光が照射される他の投影面において、この投影パターン１０３が検出される可能性が低減される（投影パターンの転写が抑制される）。したがって、相互反射現象による誤検出や、計測誤差の発生を抑制することができる（対応点検出精度の低減を抑制することができる）。

また、対応点の検出において、投影部が投影面に投影した、第１の方向に第１の周期で繰り返される第１のパターンを第１の方向と直交する第２の方向に第２の周期で位相反転した第２のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、投影部と撮像部との間の画素の対応点を検出するようにしてもよい。

対応点の検出は、投影画像の撮像画像におけるパラメータの変化を位相として求め、その位相に基づいて行うようにしてもよい。

また、第２のパターンにおいて位相が反転される領域については、位相を反転して対応点を検出するようにしてもよい。

例えば、図８のＡに示されるような、輝度（すなわちパラメータ）が水平方向に正弦波状に変化するパターン（すなわち第１のパターン）が、水平方向（すなわち第１の方向）に所定の周期（すなわち第１の周期）で繰り返される正弦波パターン（すなわち第１のパターン）１０１に対して、図８のＢに示されるような位相反転パターン１０２を用いて、垂直方向（すなわち第２の方向）に所定の周期（すなわち第２の周期）で位相反転させた、図８のＣに示されるような投影パターン１０３（すなわち、第２のパターン）を、投影部が投影面に投影した場合、その投影パターン１０３の投影画像を撮像した撮像画像を用いて、影部と撮像部との間の画素の対応点を検出するようにする。

つまり、正弦波パターン１０１は、正弦波パターン１０１と位相反転パターン１０２とを同じサイズとして重ねた状態においてその位相反転パターン１０２の白色の領域に重畳する部分において、その位相が反転される。このようにして正弦波パターン１０１の位相を反転させた結果が投影パターン１０３であり、この投影パターン１０３の投影画像を撮像した撮像画像を用いて対応点の検出が行われる。

投影パターン１０３において、位相が反転してないエリアでは、上述した式（７）を満たす。これに対して、位相が反転しているエリアでは、本来の位相φ'に位相反転分が加えられる。したがってこのエリアでは、検出位相をφ''とすると、以下の式（８）乃至（１０）で表される関係性を満たすことになる。

・・・（８）

・・・（９）

・・・（１０）

ここでN₀、N₁パラメータに式（１１）の条件を加えると、式（１２）の関係が成り立つ。

・・・（１１）

・・・（１２）

これは実際に観測された位相φ'_meas,0および位相φ'_meas,1が位相反転領域であるか不明であったとしても、（（N₀＋１）φ'_meas,0−N_0,measφ'₁）／πが偶数であれば位相非反転領域であり、奇数であれば位相反転領域であると判別できることを示している。したがって位相反転判別式DetInverseを以下の式（１３）のように定義することができる。

・・・（１３）

例えば、N₀=2、N₁=3とすると、位相が反転されていない位相非反転領域においては、位相φ'₀と位相φ'₁との関係は、図９のＡのグラフのようになり、位相が反転された位相反転領域においては、位相φ'₀と位相φ'₁との関係は、図９のＢのグラフのようになる。つまり、両領域において、初期位相が（π,π）になる以外は、互いに同様の直線群となる。従って、図９のＣのグラフに示されるように、両領域で観測される直線群は交わることがなく、観測値から位相反転領域と位相非反転領域とを識別することができる。つまり、領域判定をせずに位相アンラッピングを行うことができる。

例えば、図１０のＡに示されるような２平面（グラフの濃い部分）を投影面とすると、正弦波パターン１０１（図８のＡ）を投影して位相シフト法（若しくはマルチ位相シフト法）を行う場合、図１０のＢのように投影面が検出される。図１０のＢは、図１０のＡに示される３次元グラフを上から見たときの平面図である。図１０のＢに示されるように、この場合、２つの投影面の接合部近傍において、相互反射による誤検出が発生しており、投影面の形状を正しく検出することができていない。これに対して、投影パターン１０３（図８のＣ）を投影して位相シフト法（若しくはマルチ位相シフト法）を行う場合、図１０のＣのように投影面が検出される。図１０のＣは、図１０のＡに示される３次元グラフを上から見たときの平面図である。図１０のＣに示されるように、この場合、２つの投影面の接合部近傍において発生する相互反射による誤検出が図１０のＢの場合よりも抑制されており、投影面の形状をより正確に検出することができている。つまり、対応点検出精度の低減を抑制することができる。

なお、上述した位相非反転領域と位相反転領域とが予め設定されているようにしてもよい。また、対応点検出を行う前に、位相非反転領域と位相反転領域とを設定するようにしてもよい。例えば、パターンの投影制御において、第２のパターンを投影させる前に、第２の方向に第２の周期で繰り返される第３のパターン、並びに、第３のパターンと位相が逆の第４のパターンを投影部に投影させるようにしてもよい。

換言するに、対応点の検出において、撮像部により得られた、投影部が第２のパターンを投影する前に投影した第２の方向に第２の周期で繰り返される第３のパターンの投影画像、並びに、第３のパターンと位相が逆の第４のパターンの投影画像のそれぞれの撮像画像を用いて、第２のパターンにおいて位相が反転される領域を求めるようにしてもよい。

この第３のパターンおよび第４のパターンは、位相が互いに逆の２値が第２の方向に第２の周期で繰り返されるパターンであるようにしてもよい。

より具体的には、例えば、投影パターン１０３を投影する前に、図１１のＡに示されるような領域設定パターン１４１（すなわち第３のパターン）と、図１１のＢに示されるような領域設定パターン１４２（すなわち第４のパターン）とを投影し、これらの領域設定パターンに基づいて、位相非反転領域と位相反転領域とを設定するようにしてもよい。

図１１において、この領域設定パターン１４１と領域設定パターン１４２は、白色の領域と黒色の領域（２値）が垂直方向（すなわち第２の方向）に所定の周期（すなわち第２の周期）で並ぶ縞模様として示されている。そして、領域設定パターン１４１と領域設定パターン１４２とで、その縞模様を構成する２値が反転している。つまり、白色の領域と黒色の領域の位置が入れ替わっている。

このような２つの領域設定パターンを投影部から画像として投影し、撮像部によりそれぞれの投影画像を撮像して撮像画像を得る。そして、領域設定パターン１４１の投影画像の撮像画像の画素値と、領域設定パターン１４２の投影画像の撮像画像の画素値との差分を算出し、その差分値に基づいて、以下の式（１４）のように、位相非反転領域と位相反転領域とを設定する。

・・・（１４）

上述したように、領域設定パターン１４１と領域設定パターン１４２は、白色の領域の位置と黒色の領域の位置とが入れ替わっている。そのため、撮像画像に現れる両パターンの差分は、符号が正の領域と負の領域とにより構成される。この差分値の違いに基づいて位相非反転領域と位相反転領域とを識別する。実際には誤差も生じるので、所定の閾値thを用いて、３つの領域に識別する。つまり、差分値が所定の閾値thより大きい領域を位相非反転領域として設定し、差分値が所定の閾値-thより小さい領域を位相反転領域として設定し、その他の領域を無効領域として設定する。

このようにすることにより、上述したように観測値から領域を判定する場合よりも、ノイズに対する耐性を向上させることができ、対応点検出精度の低減を抑制することができる。

なお、領域設定パターン１４１と領域設定パターン１４２とにおいて、縞模様の周期（第２の周期）は、正弦波パターン１０１の周期（第１の周期）と同じであってもよいし、異なっていてもよい。また、縞模様は、白色と黒色に限らず、互いに識別可能な２値であればどのようなパラメータや値により構成されるようにしてもよい。

なお、パターンの投影制御において、第２の方向に第１の周期で繰り返される第１のパターンを第１の方向に第２の周期で位相反転した第５のパターンを投影部にさらに投影させるようにしてもよい。

換言するに、対応点の検出において、投影部が投影面に投影した、第２の方向に第１の周期で繰り返される第１のパターンを第１の方向に第２の周期で位相反転した第５のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。

つまり、図８乃至図１１を参照して、水平方向の位相検出についてのみ説明したが、垂直方向の位相検出についても同様の方法で対応点の検出を行うことができる。ただし、この場合、各パターンの繰り返しの方向が変わる。

例えば、正弦波パターン１０１においては、輝度が正弦波状に変化するパターン（すなわち第１のパターン）の繰り返しの方向が垂直方向（第２の方向）になる。また、位相反転パターン１０２においては、縞の方向（２値の繰り返しの方向）が水平方向（第１の方向）になる。したがって、投影パターン１０３は、輝度が垂直方向に正弦波状に変化するパターンが垂直方向に所定の周期で繰り返される正弦波パターンを、水平方向に所定の周期で位相反転させたパターン（すなわち第５のパターン）により構成される。

また、例えば、領域設定パターン１４１や領域設定パターン１４２においては、白色の領域と黒色の領域（２値）の繰り返し方向が水平方向（すなわち第１の方向）になる。

このようにすることにより、複数方向（例えば水平方向と垂直方向）について、対応点を検出することができる。

なお、パターンの投影制御において、第１のパターンの位相が互いにずれた複数の第２のパターンを投影部に投影させるようにしてもよい。例えば、第１のパターンの位相が互いに１２０度ずれた３つの第２のパターンを投影部に投影させるようにしてもよい。

換言するに、対応点の検出において、投影部が投影面に投影した、第１のパターンの位相が互いにずれた複数の第２のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。例えば、投影部が投影面に投影した、第１のパターンの位相が互いに１２０度ずれた３つの第２のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。

つまり、図２や図３の例の場合と同様に、複数（例えば３つ）の投影パターンを投影させ、その投影パターンの投影画像の撮像画像を用いて対応点を検出するようにしてもよい。このようにすることにより、より正確に対応点を検出することができる。

また、パターンの投影制御において、第１の周期が互いに異なる複数の第２のパターンの画像を投影部に投影させるようにしてもよい。

換言するに、対応点の検出において、投影部が投影面に投影した、第１の周期が互いに異なる複数の第２のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。

つまり、図５および図６の例の場合と同様に、互いに異なる周期の複数の投影パターン群を投影させ、その投影パターンの投影画像の撮像画像を用いて、対応点を検出するようにしてもよい。すなわち、以上に説明した本技術を、マルチ位相シフト法にも適用することができる。このようにすることにより、より正確に対応点を検出することができる。

＜正弦波パターンの回転＞
また、他の方法として、パターンの投影制御において、投影部と撮像部との間の画素の対応関係を求めるために、位相を検出する方向と異なる第１の方向に所定の周期で繰り返される所定のパターンを投影部に投影させるようにしてもよい。

なお、この所定のパターンは任意であるが、例えば所定のパラメータが正弦波状に変化するパターンであるようにしてもよい。

また、このパラメータは、任意であるが、例えば画像に関する任意のパラメータとしてもよい。例えばこのパラメータが輝度であるようにしてもよいし、色であるようにしてもよいし、その他のパラメータであるようにしてもよい。

例えば、垂直方向について位相を検出する場合、図１２のＡに示されるような、輝度（すなわちパラメータ）が正弦波状に変化するパターン（すなわち所定のパターン）がその垂直方向と異なる斜め方向（すなわち第１の方向）に所定の周期で繰り返される投影パターン１５１を、投影部に画像として投影させる。図１２のＡに示される投影パターン１５１は、例えば図３のＡに示される正弦波パターン２４のような、輝度変化の繰り返し方向が垂直方向の正弦波パターンを回転し、その繰り返し方向を斜め方向（第１の方向）にしたパターン（回転正弦波パターン）である。

図１２のＢに示されるように、正弦波パターン２４のような繰り返し方向が垂直方向の正弦波パターンの投影画像の撮像画像１５２の所定のラインにおいて非同期ノイズが発生すると（その所定のライン全体が非同期ノイズ発生領域１５３となると）、そのラインの輝度値がすべて誤差を含んでしまうことになる。

例えば、投影部の画素y_pjのラインの正弦波パターンI_pj,k（y_pj）と、位相φ（y_pj）は、以下の式（１５）と式（１６）のように表される。ただし、Nは正弦波の本数、y_pj,maxはy_pjのとる最大画素値を表す。

・・・（１５）

・・・（１６）

したがって、図１２のＣに示されるように、その撮像画像１５２を用いて生成された位相分布１５４においては、そのライン全体に相当する領域が非同期ノイズ発生領域１５５となってしまう。つまり、この場合、広範囲で正しく位相を検出することができなくなる可能性がある。

これに対して、図１２のＤに示されるように、投影パターン１５１の投影画像の撮像画像１５６の所定のラインにおいて非同期ノイズが発生すると、そのライン全体が非同期ノイズ発生領域１５７となる。しかしながら、投影パターン１５１の輝度変化の繰り返し方向は、その非同期ノイズ発生領域１５７に対して垂直でない。したがって、投影パターン１５１の場合、投影部の画素（x_pj,y_pj）の正弦波パターンI_pj,k（x_pj,y_pj）と、位相φ（x_pj,y_pj）は、以下の式（１７）と式（１８）のように表される。

・・・（１７）

・・・（１８）

つまり、非同期ノイズ発生領域１５７には、輝度が高い領域だけでなく輝度が低い領域も含まれることになる。輝度が低い領域ではノイズ量が低減するため、図１２のＥに示されるように、その撮像画像１５６を用いて生成された位相分布１５８においては、非同期ノイズ発生領域１５９のように、断続的な領域となる。

つまり、非同期ノイズ発生領域１５９が小さくなるので、位相分布に対する非同期ノイズの影響を抑制することができる。したがって、撮像部の露光時間を長くする必要も無く、計測時間やコストを増大させずに、対応点検出精度の低減を抑制することができる。

なお、この繰り返し方向を回転させた回転正弦波パターンにおける繰り返し方向（すなわち第１の方向）は、位相を検出する方向以外であれば任意である。例えば、撮像部が撮像して得る撮像画像における垂直方向に対して所定の範囲内の角度に傾斜した方向であるようにしてもよい。また、例えば、その範囲は４０度乃至５０度であるようにしてもよい。また、例えば、その垂直方向から４５度傾斜した方向としてもよい。

また、対応点の検出において、投影部が投影面に投影した位相を検出する方向と異なる第１の方向に所定の周期で繰り返される所定のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、投影部と撮像部との間の画素の対応点を検出するようにしてもよい。

対応点の検出は、投影画像の撮像画像におけるパラメータの変化を位相として求め、その位相に基づいて行うようにしてもよい。

なお、パターンの投影制御において、第１の方向に直交する第２の方向に所定の周期で繰り返される所定のパターンを投影部にさらに投影させるようにしてもよい。

換言するに、対応点の検出において、投影部が投影面に投影した、第１の方向に直交する第２の方向に所定の周期で繰り返される所定のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。

つまり、図１２を参照して、第１の方向の位相検出についてのみ説明したが、第１の方向に直交する第２の方向の位相検出についても同様の方法で対応点の検出を行うことができる。この場合の投影パターンの繰り返しの方向は、投影パターン１５１の繰り返しの方向と直交することになる。

このようにすることにより、複数方向について、対応点を検出することができる。

なお、パターンの投影制御において、位相が互いにずれた複数の所定のパターンを投影部に投影させるようにしてもよい。例えば、位相が互いに１２０度ずれた３つの所定のパターンの画像を投影させるようにしてもよい。

換言するに、対応点の検出において、投影部が投影面に投影した、位相が互いにずれた複数の所定のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。例えば、投影部が投影面に投影した、位相が互いに１２０度ずれた３つの所定のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。

つまり、図２や図３の例の場合と同様に、複数（例えば３つ）の投影パターンを投影させ、その投影パターンの投影画像の撮像画像を用いて対応点の検出を行うようにしてもよい。このようにすることにより、より正確に対応点を検出することができる。

また、パターンの投影制御において、繰り返し周期が互いに異なる複数の所定のパターンを投影部に投影させるようにしてもよい。

換言するに、対応点の検出において、投影部が投影面に投影した、繰り返し周期が互いに異なる複数の所定のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。

つまり、図５および図６の例の場合と同様に、互いに異なる周期の複数の投影パターン群を投影させ、その投影パターンの投影画像の撮像画像を用いて対応点の検出を行うようにしてもよい。すなわち、以上に説明した本技術を、マルチ位相シフト法にも適用することができる。このようにすることにより、より正確に対応点を検出することができる。

なお、例えば、図８のＣに示されるように、正弦波パターンを周期的に位相反転させる投影パターン１０３の場合も、所定のラインにより構成される非同期ノイズ発生領域には、輝度が高い領域だけでなく輝度が低い領域も含まれることになる。したがって、この投影パターン１０３を投影させて対応点を検出する場合も、位相分布において非同期ノイズ発生領域が断続的な領域となり、小さくなる。したがって、この場合も、位相分布に対する非同期ノイズの影響を抑制することができる。したがって、撮像部の露光時間を長くする必要も無く、計測時間やコストを増大させずに、対応点検出精度の低減を抑制することができる。

＜正弦波パターンの周期的位相反転と回転＞
さらに他の方法として、上述した正弦波パターンを周期的に位相反転させる方法と、正弦波パターンを回転させる方法とを組み合わせて用いるようにしてもよい。

つまり、パターンの投影制御において、投影部と撮像部との間の画素の対応関係を求めるために、位相を検出する方向と異なる方向である第１の方向に第１の周期で繰り返される第１のパターンをその第１の方向と直交する第２の方向に第２の周期で位相反転した第２のパターンを投影部に投影させるようにしてもよい。

換言するに、対応点の検出において、投影部が投影面に投影した、位相を検出する方向と異なる方向である第１の方向に第１の周期で繰り返される第１のパターンをその第１の方向と直交する第２の方向に第２の周期で位相反転した第２のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、投影部と撮像部との間の画素の対応点を検出するようにしてもよい。

なお、この所定のパターンは任意であるが、例えば所定のパラメータが正弦波状に変化するパターンであるようにしてもよい。

また、このパラメータは、任意であるが、例えば画像に関する任意のパラメータとしてもよい。例えばこのパラメータが輝度であるようにしてもよいし、色であるようにしてもよいし、その他のパラメータであるようにしてもよい。

なお、この繰り返し方向を回転させた回転正弦波パターンにおける繰り返し方向（すなわち第１の方向）は、位相を検出する方向以外であれば任意である。例えば、撮像部が撮像して得る撮像画像における垂直方向に対して所定の範囲内の角度に傾斜した方向であるようにしてもよい。また、例えば、その範囲は４０度乃至５０度であるようにしてもよい。また、例えば、その垂直方向から４５度傾斜した方向としてもよい。

また、対応点の検出は、投影画像の撮像画像におけるパラメータの変化を位相として求め、その位相に基づいて行うようにしてもよい。

また、第２のパターンにおいて位相が反転される領域については、位相を反転して対応点を検出するようにしてもよい。

例えば、輝度変化の繰り返し方向が水平方向の正弦波パターン１７１（図１３のＡ）が４５度回転された回転正弦波パターン１７２（図１３のＢ）に対して、繰り返し方向が回転正弦波パターン１７２の繰り返し方向と直交する位相反転パターン１７３（図１３のＣ）を用いて、その繰り返し方向（すなわち第２の方向）に所定の周期（すなわち第２の周期、例えばＤ）で位相反転させた投影パターン１７４（すなわち、第２のパターン）（図１３のＤ）を、投影部に画像として投影させる。

この位相反転パターン１７３は、図８のＢの位相反転パターン１０２と同様のパターンである。つまり、白色の領域と黒色の領域（２値）が第２の方向に第２の周期で並ぶ縞模様として示されている。例えば、この白色の領域が位相反転領域を示しており、黒色の領域が位相非反転領域を示している。つまり、回転正弦波パターン１７２は、回転正弦波パターン１７２と位相反転パターン１７３とを同じサイズとして重ねた状態においてその位相反転パターン１７３の白色の領域に重畳する部分において、その位相が反転される。このようにして回転正弦波パターン１７２の位相を反転させた結果が投影パターン１７４である。この位相反転パターン１７３の周期（第２の周期）は、正弦波パターン１７１（すなわち回転正弦波パターン１７２）の周期（第１の周期）と同じであってもよいし、異なっていてもよい。なお、図１３のＣにおいては、位相反転パターン１７３の、位相反転領域と位相非反転領域とが白色と黒色で示されているが、両領域を互いに識別することができればよいので、互いに識別可能な２値であればどのような値で位相反転パターン１７３を形成するようにしてもよい。

この場合の、位相反転パターン１７３の繰り返し周期（第２の周期）を２Ｄとすると（つまり、投影パターン１７４における１つの位相反転領域若しくは位相非反転領域の、位相反転パターン１７３の繰り返し方向の長さをＤとすると）、投影部の画素（x_pj,y_pj）の正弦波パターンI_pj,k（x_pj,y_pj）と、位相φ（x_pj,y_pj）は、以下の式（１９）と式（２０）のように表される。

・・・（１９）

・・・（２０）

このようにすることにより、図１３のＤに示されるように、投影パターン１７４の絵柄が、正弦波パターン１７１よりも絵柄が細かくなる（２次元周波数空間においてパターンがより高周波側に変調される）ので、相互反射現象による投影パターンの転写を抑制することができる。したがって、相互反射現象による誤検出や、計測誤差の発生を抑制することができる（対応点検出精度の低減を抑制することができる）。

また、この投影パターン１７４の場合も、投影パターン１０３の場合と同様に、各ライン上に輝度が高い領域と輝度が低い領域の両方が含まれる。つまり、所定のラインにより構成される非同期ノイズ発生領域には、輝度が高い領域だけでなく輝度が低い領域も含まれることになる。したがって、この場合も、位相分布において非同期ノイズ発生領域が断続的な領域となり、小さくなる。したがって、この場合も、位相分布に対する非同期ノイズの影響を抑制することができる。したがって、撮像部の露光時間を長くする必要も無く、計測時間やコストを増大させずに、対応点検出精度の低減を抑制することができる。

特に、投影パターン１７４の場合、繰り返し方向が斜め方向（水平方向や垂直方向でない方向）とされているため、ライン方向のパターン（輝度が高い領域と低い領域のそれぞれの長さ）がライン毎に異なり、より複雑な構成となる。したがって、投影パターン１７４の場合の方が、投影パターン１０３の場合よりも、非同期ノイズが目立たなくなる。したがって、位相分布に対する非同期ノイズの影響をより抑制することができる。

なお、対応点検出の際に、位相の観測値から位相反転領域と位相非反転領域とを識別するようにしてもよいし、位相非反転領域と位相反転領域とが予め設定されているようにしてもよい。また、対応点検出を行う前に、位相非反転領域と位相反転領域とを設定するようにしてもよい。例えば、パターンの投影制御において、第２のパターンを投影させる前に、第２の方向に第２の周期で繰り返される第３のパターン、並びに、第３のパターンと位相が逆の第４のパターンを投影部に投影させるようにしてもよい。

換言するに、対応点の検出において、撮像部により得られた、投影部が第２のパターンを投影する前に投影した第２の方向に第２の周期で繰り返される第３のパターンの投影画像、並びに、第３のパターンと位相が逆の第４のパターンの投影画像のそれぞれの撮像画像を用いて、第２のパターンにおいて位相が反転される領域を求めるようにしてもよい。

この第３のパターンおよび第４のパターンは、位相が互いに逆の２値が第２の方向に第２の周期で繰り返されるパターンであるようにしてもよい。

より具体的には、例えば、投影パターン１７４（図１３のＤ）を投影する前に、図１４のＡに示されるような領域設定パターン１８１（すなわち第３のパターン）と、図１４のＢに示されるような領域設定パターン１８２（すなわち第４のパターン）とを投影し、これらの領域設定パターンに基づいて、位相非反転領域と位相反転領域とを設定するようにしてもよい。

領域設定パターン１８１および領域設定パターン１８２は、白色の領域と黒色の領域（２値）が第２の方向に第２の周期で並ぶ縞模様として示されている。そして、領域設定パターン１８１と領域設定パターン１８２とで、その縞模様を構成する２値が反転している。つまり、白色の領域と黒色の領域の位置が入れ替わっている。

これらのパターンの繰り返し周期（第２の周期）を２Ｄとすると、投影部の各画素（x_pj,y_pj）における領域設定パターン１８１の画素値I_pj.pos（x_pj,y_pj）は、例えば、以下の式（２１）のように表される。

・・・（２１）

領域設定パターン１８１（I_pj,pos）と領域設定パターン１８２（I_pj,neg）の投影画像の撮像画像（I_cam,pos）および（I_cam,neg）の画素差分を取り、以下の式（２２）のように所定の閾値th（若しくは-th）と比較することで、位相反転領域（true）、位相非反転領域（false）、無効（不定）領域（undef）の３状態の領域を識別することができる。

・・・（２２）

この結果を用いて位相φ'は、以下の式（２３）乃至（２５）のように求めることができる。

・・・（２３）

・・・（２４）

・・・（２５）

このようにすることにより、上述したように観測値から領域を判定する場合よりも、ノイズに対する耐性を向上させることができ、対応点検出精度の低減を抑制することができる。

なお、領域設定パターン１８１と領域設定パターン１８２とにおいて、縞模様の周期（第２の周期）は、正弦波パターン１０１の周期（第１の周期）と同じであってもよいし、異なっていてもよい。また、縞模様は、白色と黒色に限らず、互いに識別可能な２値であればどのようなパラメータや値により構成されるようにしてもよい。

なお、パターンの投影制御において、第２の方向に第１の周期で繰り返される第１のパターンを第１の方向に第２の周期で位相反転した第５のパターンを投影部にさらに投影させるようにしてもよい。換言するに、対応点の検出において、投影部が投影面に投影した、第２の方向に第１の周期で繰り返される第１のパターンを第１の方向に第２の周期で位相反転した第５のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。このようにすることにより、複数方向について、対応点を検出することができる。

なお、パターンの投影制御において、第１のパターンの位相が互いにずれた複数の第２のパターンを投影部に投影させるようにしてもよい。例えば、第１のパターンの位相が互いに１２０度ずれた３つの第２のパターンを投影部に投影させるようにしてもよい。換言するに、対応点の検出において、投影部が投影面に投影した、第１のパターンの位相が互いにずれた複数の第２のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。例えば、投影部が投影面に投影した、第１のパターンの位相が互いに１２０度ずれた３つの第２のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。

つまり、図２や図３の例の場合と同様に、複数（例えば３つ）の投影パターンを投影させ、その投影パターンの投影画像の撮像画像を用いて対応点を検出するようにしてもよい。このようにすることにより、より正確に対応点を検出することができる。

また、パターンの投影制御において、第１の周期が互いに異なる複数の第２のパターンの画像を投影部に投影させるようにしてもよい。換言するに、対応点の検出において、投影部が投影面に投影した、第１の周期が互いに異なる複数の第２のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、対応点を検出するようにしてもよい。

つまり、図５および図６の例の場合と同様に、互いに異なる周期の複数の投影パターン群を投影させ、その投影パターンの投影画像の撮像画像を用いて、対応点を検出するようにしてもよい。すなわち、以上に説明した本技術を、マルチ位相シフト法にも適用することができる。このようにすることにより、より正確に対応点を検出することができる。

＜３．第２の実施の形態＞
＜投影撮像装置＞
次に、第１の実施の形態において説明した各種方法を実現する構成について説明する。本技術を適用した情報処理装置の一実施の形態である投影撮像装置の主な構成例を、図１５に示す。

図１５に示される投影撮像装置２００は、投影部２０１を有し、その投影部２０１により画像を投影面２１０に投影する。投影部２０１は、画像の投影に関する処理を行う。例えば、投影部２０１は、投影光を発光し、供給される画像データの画像を投影撮像装置２００の外部（例えば投影面２１０等）に投影する。つまり、投影部２０１は、投影機能を実現する。投影部２０１の光源は任意であり、LED（Light Emitting Diode）やキセノン等であってもよい。また、投影部２０１が投影光としてレーザ光を発光するようにしてもよい。なお、投影部２０１が、例えば複数のレンズや絞り等からなり、投影光の焦点距離、露出、投影方向、投影画角等を制御する光学系を有するようにしてもよい。

なお、投影部２０１の画素は、この投影部２０１により投影される画像の画素に対応する。例えば、光源をレーザ光とする場合、そのレーザ光の走査の制御単位を投影部２０１の画素としてもよい。

また、投影撮像装置２００は、撮像部２０２をさらに有し、投影面２１０を撮像し、撮像画像を得る。撮像部２０２は、イメージセンサを有し、そのイメージセンサにより入射光を光電変換することにより、装置外部の被写体を撮像し、撮像画像を生成する。つまり、撮像部２０２は、撮像機能（センサ機能）を実現する。なお、撮像部２０２が有するイメージセンサは任意であり、例えば、CMOS（Complementary Metal Oxide Semiconductor）を用いたCMOSイメージセンサであってもよいし、CCD（Charge Coupled Device）を用いたCCDイメージセンサであってもよいし、それら以外であってもよい。

なお、撮像部２０２の画素は、撮像部２０２により得られる撮像画像の画素に対応する。例えば、撮像部２０２が有するイメージセンサの単位画素を撮像部２０２の画素としてもよい。

図１５に示されるように、投影面２１０における撮像部２０２の撮像範囲２１２は、その投影面２１０における投影部２０１の投影範囲２１１を内包する。したがって、撮像部２０２が得る撮像画像には、投影部２０１によって投影面２１０に投影された投影画像が含まれる。投影撮像装置２００は、この撮像画像を用いて（すなわち、投影面２１０に投影された様子を参照して）、投影部２０１により投影される画像の幾何補正等を行い、投影面２１０における投影画像の歪みを低減させることができる。

投影撮像装置２００が投影する画像は、動画像であってもよいし、静止画像であってもよい。また、投影撮像装置２００が撮像して得られる撮像画像は、動画像であってもよいし、静止画像であってもよい。また、投影撮像装置２００にスピーカ等を設け、投影撮像装置２００が音声を出力することができるようにしてもよい。例えば、投影撮像装置２００が、投影する画像に合わせた音声（例えばBGM（Back Ground Music）等）を出力することができるようにしてもよいし、操作確認用の音声（例えばビープ音やメッセージ等）を出力することができるようにしてもよい。

投影面２１０は、投影撮像装置２００が画像を投影する面である。投影面２１０は、平面であってもよいし、曲面であってもよいし、一部若しくは全部に凹凸を有する面であってもよいし、複数の面により構成されていてもよい。また、投影面２１０の色は任意であり、複数色により構成されるようにしてもよい。

投影面２１０は、任意の物体に形成されるようにしてもよい。例えば、投影面２１０は、所謂スクリーンや壁面のような面状の物体に形成されるようにしてもよい。また、投影面２１０は、立体構造物に形成されるようにしてもよい。例えばビルディング、駅舎、城等の建造物の壁面等に形成されるようにしてもよいし、例えば、岩等の自然物、看板や銅像等の人造物、箪笥、椅子、机等の家具等に形成されるようにしてもよいし、例えば人や動植物等の生物に形成されるようにしてもよい。また、投影面２１０は、例えば部屋空間の壁、床、天井等のように、複数の面に形成されるようにしてもよい。

また、投影面２１０は、固体に形成されるようにしてもよいし、液体や気体に形成されるようにしてもよい。例えば、池やプール等の水面、滝や噴水等の流水面、霧やガス等の気体に形成されるようにしてもよい。また、投影面２１０は、移動してもよいし、変形してもよいし、変色してもよい。また、投影面２１０は、例えば、部屋の壁と家具と人物、複数のビルディング、城壁と噴水等のように、複数の物体に形成されるようにしてもよい。

＜投影撮像装置の構成＞
図１６は、投影撮像装置２００の主な構成例を示すブロック図である。図１６に示されるように、投影撮像装置２００は、投影部２０１および撮像部２０２の他に、それらを制御する制御部２２１を有する。

制御部２２１は、投影部２０１による投影を制御する。また、制御部２２１は、撮像部２０２による撮像を制御する。さらに制御部２２１は、投影部２０１と撮像部２０２との間の画素の対応関係を求める処理（対応点を求める処理）を行う。

図１６に示されるように、制御部２２１は、CPU（Central Processing Unit）２３１、ROM（Read Only Memory）２３２、RAM（Random Access Memory）２３３、バス２３４、入出力インタフェース２４０、入力部２４１、出力部２４２、記憶部２４３、通信部２４４、およびドライブ２４５を有する。

CPU２３１、ROM２３２、RAM２３３は、バス２３４を介して相互に接続されている。バス２３４にはまた、入出力インタフェース２４０も接続されている。入出力インタフェース２４０には、投影部２０１および撮像部２０２の他、例えば、入力部２４１、出力部２４２、記憶部２４３、通信部２４４、およびドライブ２４５が接続されている。

入力部２４１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部２４１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部２４１に含まれるようにしてもよい。出力部２４２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部２４２には、ディスプレイ、スピーカ、出力端子等が含まれる。

記憶部２４３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部２４３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれる。通信部２４４は、所定の通信媒体を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部２４４は、例えば、ネットワークインタフェースよりなる。例えば、通信部２４４は、投影撮像装置２００の外部の装置と通信（プログラムやデータの授受）を行う。

ドライブ２４５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２５１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ２４５は、リムーバブルメディア２５１から読み出した情報をCPU２３１やRAM２３３等に供給する。また、ドライブ２４５は、書き込み可能なリムーバブルメディア２５１が自身に装着された場合、CPU２３１やRAM２３３等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア２５１に記憶させることができる。

CPU２０１は、例えば、記憶部２４３に記憶されているプログラムを、入出力インタフェース２４０およびバス２３４を介して、RAM２３３にロードして実行することにより、各種処理を行う。RAM２３３にはまた、CPU２３１が各種の処理を実行する上において必要なデータなども適宜記憶される。

例えば、CPU２０１は、そのようにプログラム等を実行することにより、投影部２０１や撮像部２０２の制御や、対応点の検出に関する処理等を行うことができる。

＜投影部の構成例＞
レーザ光を光源とする場合の投影部２０１の主な構成例を図１７に示す。図１７において、投影部２０１は、ビデオプロセッサ２６１、レーザドライバ２６２、レーザ出力部２６３−１、レーザ出力部２６３−２、レーザ出力部２６３−３、ミラー２６４−１、ミラー２６４−２、ミラー２６４−３、MEMS（Micro Electro Mechanical Systems）ドライバ２６５、および、MEMSミラー２６６を有する。

ビデオプロセッサ２６１は、制御部２２１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ２６１は、その投影する画像をレーザドライバ２６２やMEMSドライバ２６５に供給する。

レーザドライバ２６２は、ビデオプロセッサ２６１から供給される画像を投影するように、レーザ出力部２６３−１乃至レーザ出力部２６３−３を制御する。レーザ出力部２６３−１乃至レーザ出力部２６３−３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ２６２は、ビデオプロセッサ２６１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部２６３−１乃至レーザ出力部２６３−３を互いに区別して説明する必要が無い場合、レーザ出力部２６３と称する。

ミラー２６４−１は、レーザ出力部２６３−１から出力されるレーザ光を反射し、MEMSミラー２６６に誘導する。ミラー２６４−２は、レーザ出力部２６３−２から出力されるレーザ光を反射し、MEMSミラー２６６に誘導する。ミラー２６４−３は、レーザ出力部２６３−３から出力されるレーザ光を反射し、MEMSミラー２６６に誘導する。なお、ミラー２６４−１乃至ミラー２６４−３を互いに区別して説明する必要が無い場合、ミラー２６４と称する。

MEMSドライバ２６５は、ビデオプロセッサ２６１から供給される画像を投影するように、MEMSミラー２６６のミラーの駆動を制御する。MEMSミラー２６６は、MEMSドライバ２６５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図１８の例のように各色のレーザ光を走査する。このレーザ光は、投影撮像装置２００の外部に出力され、例えば投影面２１０に照射される。これにより、ビデオプロセッサ２６１から供給される画像が投影面２１０に投影される。

なお、図１７の例においては、レーザ出力部２６３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部２６３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置２００（投影部２０１）から出力されるレーザ光は、２本以下であってもよいし、４本以上であってもよい。そして、投影撮像装置２００（投影部２０１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー２６４やMEMSミラー２６６の構成も任意であり、図１７の例に限定されない。もちろん、レーザ光の走査パターンは任意であり、図１８の例に限定されない。

＜機能ブロックの構成＞
図１９は、制御部２２１において実現される主な機能の例を示す機能ブロック図である。図１９に示されるように、制御部２２１は、パターン回転量設定部３０１、パターン生成部３０２、投影制御部３０３、撮像制御部３０４、および、対応点検出部３０５等の機能ブロックを実現する。

パターン回転量設定部３０１は、パターンの回転について、その回転量の設定に関する処理を行う。パターン生成部３０２は、投影するパターンの生成に関する処理を行う。投影制御部３０３は投影部２０１による画像の投影の制御に関する処理を行う。撮像制御部３０４は、撮像部２０２による撮像の制御に関する処理を行う。対応点検出部３０５は、投影部と撮像部との間の画素の対応点の検出に関する処理を行う。

制御部２２１のCPU２３１がRAM２３３や記憶部２４３等から読み出したプログラムを、RAM２３３を利用して実行したり、プログラムを実行して生成したり、RAM２３３や記憶部２４３等から読み出したりしたデータを、RAM２３３を利用して処理したりすることにより、これらの機能が実現される。

なお、制御部２２１が実現する機能の例は、上述した機能ブロックの例に限定されない。制御部２２１が、上述した機能以外の機能を実現するようにしてもよいし、上述した機能ブロックの一部を省略するようにしてもよい。

＜対応点検出処理の流れ＞
次に、制御部２２１が、これらの機能ブロックを用いて実行する対応点検出処理の流れの例を、図２０のフローチャートを参照して説明する。

対応点検出処理が開始されると、パターン回転量設定部３０１乃至撮像制御部３０４は、ステップＳ１０１において、パターン回転量を設定する。パターン生成部３０２が、正弦波パターンを回転させて、図１２を参照して説明した「正弦波パターンの回転」の例や、図１３および図１４を参照して説明した「正弦波パターンの周期的位相反転と回転」の例のような投影パターンを生成する場合、パターン回転量設定部３０１乃至撮像制御部３０４は、この処理を行う。

パターン生成部３０２が異なる方法を用いてそのような投影パターンを生成する場合、パターン生成部３０２が図８乃至図１１を参照して説明した「正弦波パターンの周期的位相反転」の例のような投影パターンを生成する場合、または、パターン生成部３０２が投影パターンを生成しない場合は、この処理を省略することができる。この処理の詳細については後述する。

ステップＳ１０２において、パターン生成部３０２は、投影パターンを生成する。この投影パターンの生成方法は任意である。例えば、正弦波パターンを回転させて、図１２を参照して説明した「正弦波パターンの回転」の例や、図１３および図１４を参照して説明した「正弦波パターンの周期的位相反転と回転」の例のような投影パターンを生成する場合、パターン生成部３０２は、ステップＳ１０１において設定されたパターン回転量だけ所定の方向に繰り返す正弦波パターンを回転させる等して、投影パターンを生成するようにしてもよい。

また、例えば、図８乃至図１１を参照して説明した「正弦波パターンの周期的位相反転」の例のような投影パターンや、図１３および図１４を参照して説明した「正弦波パターンの周期的位相反転と回転」の例のような投影パターンを生成する場合、パターン生成部３０２は、位相反転パターンに基づいて、正弦波パターンの位相を反転させる等して、投影パターンを生成するようにしてもよい。

例えば、図１３および図１４を参照して説明した「正弦波パターンの周期的位相反転と回転」の例のような投影パターンを生成する場合、パターン生成部３０２は、所定の方向に繰り返す正弦波パターンを回転させ、さらに、位相反転パターンに基づいて、その回転正弦波パターンの位相を反転させる等して、投影パターンを生成するようにしてもよい。

なお、パターン生成部３０２が投影パターンの生成に用いる正弦波パターン等のデータは、ROM２３２や記憶部２４３等に記憶されているようにしてもよいし、リムーバブルメディア２５１に記憶されているようにしてもよいし、通信部２４４を介して他の装置等から取得するようにしてもよい。また、このデータは、画像データであってもよいし、正弦波パターンの画像を生成することができる画像データ以外のデータであってもよい。

さらに、パターン生成部３０２が生成した投影パターンのデータを、記憶部２４３等に記憶させるようにしてもよい。また、このデータは、画像データであってもよいし、投影パターンの画像を生成することができる画像データ以外のデータであってもよい。

なお、パターン生成部３０２が投影パターンを生成しない場合、この処理を省略することができる。例えば、投影部２０１が投影する投影パターンのデータが、ROM２３２や記憶部２４３等に記憶されているようにしてもよい。また、例えば、投影部２０１が投影する投影パターンのデータが、通信部２４４を介して投影撮像装置２００の外部から供給されるようにしてもよい。また、例えば、投影部２０１が投影する投影パターンのデータが、ドライブ２４５によってリムーバブルメディア２５１から読み出されるようにしてもよい。例えばこれらの場合、投影パターンの生成を省略することができる。

ステップＳ１０３において、パターン生成部３０２乃至撮像制御部３０４は、領域設定処理を行い、位相反転領域や位相非反転領域を設定する。例えば、パターン生成部３０２が、図８乃至図１１を参照して説明した「正弦波パターンの周期的位相反転」の例のような投影パターンや、図１３および図１４を参照して説明した「正弦波パターンの周期的位相反転と回転」の例のような投影パターンを生成する場合、この処理を行って、位相反転領域や位相非反転領域を設定するようにしてもよい。これらの領域の設定方法は任意である。例えば、上述した領域設定パターンを用いてこの処理を行うようにしてもよい。その場合の処理の詳細については後述する。

換言するに、例えば、パターン生成部３０２が、図１２を参照して説明した「正弦波パターンの回転」の例のような投影パターンを生成する場合や、投影パターンを生成しない場合等は、この処理を省略することができる。

ステップＳ１０４において、投影制御部３０３は、パターンを投影させる。投影制御部３０３は、ステップＳ１０２の処理により生成された投影パターン、ROM２３２、記憶部２４３、若しくはリムーバブルメディア２５１等から読み出された投影パターン、または、通信部２４４を介して投影撮像装置２００の外部から供給された投影パターンを投影部２０１に供給し、その投影部２０１を制御して、その投影パターンを画像として投影面２１０に投影させる。

例えば、投影制御部３０３は、図８乃至図１１を参照して説明した「正弦波パターンの周期的位相反転」の例のような投影パターン、図１２を参照して説明した「正弦波パターンの回転」の例のような投影パターン、または、図１３および図１４を参照して説明した「正弦波パターンの周期的位相反転と回転」の例のような投影パターンを、投影部２０１に投影させる。

なお、投影撮像装置２００において投影パターンを投影しない場合（例えば、対応点検出に関する処理のみ行う場合や、投影画像の撮像と対応点検出に関する処理を行う場合等）は、この処理を省略することができる。

ステップＳ１０５において、撮像制御部３０４は、投影画像を撮像させる。例えば、撮像制御部３０４は、撮像部２０２を制御し、投影面２１０に投影された、図８乃至図１１を参照して説明した「正弦波パターンの周期的位相反転」の例のような投影パターン、図１２を参照して説明した「正弦波パターンの回転」の例のような投影パターン、または、図１３および図１４を参照して説明した「正弦波パターンの周期的位相反転と回転」の例のような投影パターンの投影画像を撮像させ、その投影画像の撮像画像を得る。

なお、投影撮像装置２００において投影画像を撮像しない場合（例えば、投影パターンの生成や投影制御に関する処理を行う場合、対応点検出に関する処理のみ行う場合等）は、この処理を省略することができる。

ステップＳ１０６において、対応点検出部３０５は、撮像画像の各位置の位相を求め、対応点を検出する。例えば、対応点検出部３０５は、図８乃至図１４を参照して説明したような各種方法により、投影パターンの投影画像を撮像した撮像画像を用いて、対応点を検出する。

以上のように対応点が検出されると、ステップＳ１０６の処理が終了すると、対応点検出処理が終了する。

以上のように、図８乃至図１４を参照して説明したような各例の投影パターンを用いて、図８乃至図１４を参照して説明したような方法で対応点を求めることにより、投影撮像装置２００は、対応点検出精度の低減を抑制することができる。

＜パターン回転量設定処理の流れ＞
次に、図２１のフローチャートを参照して、図２０のステップＳ１０１において実行されるパターン回転量設定処理の流れの例について説明する。パターン回転量設定部３０１は、この処理を行うことにより、投影画像の投影パターンの繰り返し方向の角度が、撮像画像（例えば撮像画像の水平方向）に対して所望の角度（所望の範囲内の角度）になるように、パターン回転量θを設定する。

パターン回転量設定処理が開始されると、パターン回転量設定部３０１は、ステップＳ１２１において、投影画像に対する撮像画像の回転方向の相対角度が未知であるか否かを判定する。つまり、パターン回転量設定部３０１は、投影パターンを投影する投影部と、その投影画像を撮像する撮像部との間の回転方向の相対姿勢が既知であるか否かを判定する。

例えば、投影部と撮像部が別体として構成される場合のように、投影部に対する撮像部の回転方向の相対姿勢が予め定まっていない場合（任意の相対姿勢で設置することができる場合）、この相対角度は未知である。つまり、撮像画像において投影画像がどのような角度で傾くかが不明である。

このように相対角度が未知であると判定された場合、処理はステップＳ１２２に進む。ステップＳ１２２において、パターン回転量設定部３０１は、パターン回転量θを初期値に設定する。このパターン回転量θは、投影パターンを生成する際にパターン（例えば正弦波パターン）を回転する角度を示す。この初期値は任意である。例えば、「０度」としてもよいし、それ以外の角度であってもよい。

ステップＳ１２３において、パターン生成部３０２は、パターン回転量θでパターンを回転する。つまり、パターン生成部３０２は、例えば、予め用意された正弦波パターンを、このパターン回転量θで指定される角度だけ回転する。もちろん、このような、予め用意されたパターンからパターン回転量θの分だけ回転されたパターンの生成方法は任意である。

ステップＳ１２４において、投影制御部３０３は、ステップＳ１２３において生成されたパターンを投影パターンとして投影部２０１に供給し、投影部２０１を制御して、その投影パターンを画像として投影面２１０に投影させる。

ステップＳ１２５において、撮像制御部３０４は、撮像部２０２を制御し、ステップＳ１２４の処理により投影面２１０に投影された投影画像を撮像させ、その投影画像の撮像画像を得る。

ステップＳ１２６において、パターン回転量設定部３０１は、ステップＳ１２５の処理により得られた撮像画像に含まれる投影画像の投影パターンの繰り返し方向の、撮像画像に対する回転量を求める。例えば、パターン回転量設定部３０１は、投影画像の投影パターンの繰り返し方向の角度が、撮像画像における水平方向に対してどの程度傾いているかを求める。もちろん、この回転量の基準となる方向は任意であり、撮像画像における水平方向以外であってもよい。

ステップＳ１２７において、パターン回転量設定部３０１は、ステップＳ１２６の処理により求められた回転量が所定の目標範囲内であるか否かを判定する。この目標範囲は任意である。例えば、撮像画像における水平方向に対して４０度乃至５０度を目標範囲としてもよい。その場合、例えば、撮像画像における投影画像の投影パターンの繰り返し方向の角度が撮像画像における水平方向に対して４５度傾いているとき、パターン回転量設定部３０１は、目標範囲内であると判定する。

なお、目標範囲の代わりに目標値を用いてもよい。その場合、パターン回転量設定部３０１は、ステップＳ１２６の処理により求められた回転量が所定の目標値であるか否かを判定する。もちろん、この目標値も任意である。例えば、撮像画像における水平方向に対して４５度としてもよい。

撮像画像における投影画像の投影パターンの繰り返し方向の角度が目標範囲外であると判定された場合、処理はステップＳ１２８に進む。

ステップＳ１２８において、パターン回転量設定部３０１は、パターン回転量θを所定の角度（例えば１０度）分、インクリメントする。もちろん、デクリメントでもよい。ステップＳ１２８の処理が終了すると、処理はステップＳ１２３に戻り、それ以降の処理を繰り返す。つまり、新たなパターン回転量θで上述した各処理を再度行う。

また、ステップＳ１２７において、ステップＳ１２６の処理により求められた回転量が目標範囲内であると判定された場合、処理はステップＳ１２９に進む。

ステップＳ１２９において、パターン回転量設定部３０１は、パターン回転量θをその時点の値に設定する。つまり、投影パターン生成の際に、このように設定されたパターン回転量θの分、正弦波パターンを回転することにより、撮像画像における投影パターンの繰り返し方向の角度が、所望の角度（所望の範囲の角度）となるようにすることができる。ステップＳ１２９の処理が終了すると、パターン回転量設定処理が終了し、処理は図２０に戻る。

また、図２１のステップＳ１２１において、投影画像に対する撮像画像の相対角度が既知であると判定された場合、処理はステップＳ１３０に進む。例えば、投影部に対して撮像部が固定されており、設置時の相対姿勢が予め既知であるような場合、パターン回転量θはその相対姿勢に応じて決定することができる。

したがって、ステップＳ１３０において、パターン回転量設定部３０１は、その既知の相対角度に基づいて、パターン回転量θを設定する。投影パターン生成の際に、このように設定されたパターン回転量θの分、正弦波パターンを回転することにより、撮像画像における投影パターンの繰り返し方向の角度が、所望の角度（所望の範囲の角度）となるようにすることができる。ステップＳ１３０の処理が終了すると、パターン回転量設定処理が終了し、処理は図２０に戻る。

以上のようにパターン回転量設定処理を行うことにより、投影部と撮像部の相対姿勢に関わらずに、撮像画像における投影パターンの繰り返し方向を所望の角度（所望の範囲の角度）にすることができる。つまり、このような処理を行うことにより、投影撮像装置２００は、図１２を参照して説明した「正弦波パターンの回転」の例のような投影パターン、または、図１３および図１４を参照して説明した「正弦波パターンの周期的位相反転と回転」の例のような投影パターンをより確実に生成することができる。

＜領域設定処理の流れの例＞
次に、図２２のフローチャートを参照して、図２０のステップＳ１０３において実行される領域設定処理の流れの例について説明する。

領域設定処理が開始されると、投影制御部３０３は、ステップＳ１５１において、例えば領域設定パターン１４１や領域設定パターン１８１等のような、１つ目の領域設定パターンを投影部２０１に供給し、その投影部２０１を制御して、その領域設定パターンを画像として投影面２１０に投影させる。

ステップＳ１５２において、撮像制御部３０４は、ステップＳ１５２において、撮像部２０２を制御し、ステップＳ１５１の処理により投影面２１０に投影された投影画像を撮像させ、その撮像画像を得る。

ステップＳ１５３において、投影制御部３０３は、ステップＳ１５１において、例えば領域設定パターン１４２や領域設定パターン１８２等のような、２つ目の領域設定パターン（１つ目の領域設定パターンの各領域が反転されたパターン）を投影部２０１に供給し、その投影部２０１を制御して、その領域設定パターンを画像として投影面２１０に投影させる。

ステップＳ１５４において、撮像制御部３０４は、ステップＳ１５２において、撮像部２０２を制御し、ステップＳ１５１の処理により投影面２１０に投影された投影画像を撮像させ、その撮像画像を得る。

ステップＳ１５５において、パターン生成部３０２は、ステップＳ１５２の処理により得られた撮像画像と、ステップＳ１５４の処理により得られた撮像画像との差分を求め、その差分を用いて、例えば図１４や図１８を参照して説明した例のように、位相非反転領域と位相反転領域とを設定する。この設定方法は任意であり、上述した例に限定されない。

ステップＳ１５５の処理が終了すると、領域設定処理が終了し、処理は図２０に戻る。

以上のように領域設定処理を行い、位相非反転領域と位相反転領域とを設定することにより、投影撮像装置２００は、対応点検出におけるノイズに対する耐性を向上させることができる。

＜４．第３の実施の形態＞
＜応用例＞
本技術を適用した投影撮像装置の構成は、上述した例に限定されない。つまり、上述した例以外の構成の投影撮像装置においても、本技術を適用することができる。

例えば、投影部２０１や撮像部２０２の数は任意であり、複数であってもよい。また投影部２０１の数と撮像部２０２の数とが互いに一致していなくてもよい。例えば、図２３のＡに示される投影撮像装置４００のように、投影部２０１を３つ（投影部２０１−１、投影部２０１−２、投影部２０１−３）有し、撮像部２０２を２つ（撮像部２０２−１および撮像部２０２−２）有する場合であっても、本技術を適用することができる。

このような投影撮像装置４００のように、投影部２０１や撮像部２０２が複数存在する場合、それらの投影部２０１と撮像部２０２との全ての組み合わせについて、第１の実施の形態や第２の実施の形態等において上述した各種方法で、互いの対応点を検出するようにすればよい。

なお、投影部２０１と撮像部２０２の位置関係は当然任意であり、図１５や図２３のＡの例に限定されない。

また、投影撮像装置２００の制御部２２１を、投影部２０１や撮像部２０２から独立した１つの装置として構成するようにしてもよい。例えば、図２３のＢに示されるような投影撮像システム４１０においても、本技術を適用することができる。

図２３のＢに示される投影撮像システム４１０は、投影撮像装置４０１と制御装置４０２とにより構成されるシステムであり、システム全体で、投影撮像装置２００と同様の処理を行う。投影撮像装置４０１は、投影部２０１と撮像部２０２を有する。制御装置４０２は、投影撮像装置２００の制御部２２１と同等の構成を有し、制御部２２１と同等の処理を行う。つまり、制御装置４０２は、ケーブル等を介して投影撮像装置４０１に接続され、投影撮像装置４０１の投影部２０１や撮像部２０２を制御したり、投影部２０１と撮像部２０２との間の画素の対応点の検出に関する処理を行ったり、投影パターンの生成を行ったりすることができる。

さらに、投影部２０１と撮像部２０２とを互いに独立した装置として構成するようにしてもよい。例えば、図２３のＣに示されるような投影撮像システム４１０においても、本技術を適用することができる。

図２３のＣに示される投影撮像システム４１０は、投影装置４１１と撮像装置４１２と制御装置４１３とにより構成されるシステムであり、システム全体で、投影撮像装置２００と同様の処理を行う。投影装置４１１は投影部２０１を有する。撮像装置４１２は撮像部２０２を有する。制御装置４１３は、制御装置４０２と同様の装置であり、投影撮像装置２００の制御部２２１と同等の構成を有し、制御部２２１と同等の処理を行う。つまり、制御装置４１３は、ケーブル等を介して投影装置４１１および撮像装置４１２に接続され、投影装置４１１の投影部２０１や撮像装置４１２の撮像部２０２を制御したり、それらの投影部２０１と撮像部２０２との間の画素の対応点の検出に関する処理を行ったり、投影パターンの生成を行ったりすることができる。

もちろん、投影撮像システム４１０の場合も、投影部２０１や撮像部２０２の数は任意であり、複数であってもよいし、互いに同数でなくてもよい。また、投影部２０１や撮像部２０２を有する装置が複数システムに含まれる場合、各装置の構成が互いに異なっていてもよい。例えば、投影撮像装置４０１、投影装置４１１、撮像装置４１２が混在するようにしてもよい。また、投影撮像装置２００や投影撮像装置４００もシステムに含まれるようにしてもよい。もちろん、これらの例以外の構成の投影装置や、撮像装置や、投影撮像装置がシステムに含まれるようにしてもよい。

いずれの構成の場合であっても、投影部２０１と撮像部２０２との全ての組み合わせについて、第１の実施の形態や第２の実施の形態等において上述した各種方法で、互いの対応点を検出するようにすればよい。この投影部２０１と撮像部２０２の組み合わせは、互いに同一の装置に含まれる者同士で無くてもよい。例えば、図２３のＣの例の場合、投影装置４１１の投影部２０１と、撮像装置４１２の撮像部２０２との間で、上述した各種方法で対応点を検出すればよい。

また、図２４のＡに示される投影撮像システム４２０のように、複数の投影撮像装置２００（投影撮像装置２００−１乃至投影撮像装置２００−Ｎ（Ｎは２以上の整数））がケーブル４２１により互いに通信可能に接続されるシステムにおいても、本技術を適用することができる。つまり、制御部２２１が複数存在してもよい。その場合、各装置の制御部２２１同士が協働し、１つの制御部２２１として処理を実行するようにしてもよいし、いずれかの制御部２２１がマスタとして主導的に動作し、その他の制御部２２１がスレーブとして従属的に動作するようにしてもよい。

また、図２４のＢに示される投影撮像システム４２０のように、各投影撮像装置２００と独立した制御装置４２３を設け、その制御装置４２３が、各投影撮像装置２００を制御するようにしてもよい。図２４のＢの例の場合、制御装置４２３は、所定のネットワーク４２２（例えばインターネットやLAN等）を介して複数の投影撮像装置２００（投影撮像装置２００−１乃至投影撮像装置２００−Ｎ（Ｎは２以上の整数））のそれぞれと通信可能に接続されている。この制御装置４２３が、上述した各種方法で、全ての投影部２０１と撮像部２０２との間で、対応点を検出すればよい。

例えば、以上のような、投影撮像装置４００、投影撮像システム４１０、投影撮像システム４２０では、複数の投影部２０１を用いて互いに協働して画像を投影することができる。

＜協働した投影＞
例えば、解像度4K（例えば4096x2160）、フレームレート60fps、プログレッシブ走査方式の画像（4K@60P）を含むコンテンツデータが投影撮像システム４２０（図２４のＡ）に供給されるとする。各投影撮像装置２００は、その画像（4K@60P）の内の、自身に割り当てられた部分画像（例えば、解像度フルHD、フレームレート60fps、プログレッシブ走査方式の画像（1080@60P））を切り出して、投影面に投影する。

例えば、投影撮像システム４２０の投影撮像装置２００−１、投影撮像装置２００−２、投影撮像装置２００−３、投影撮像装置２００−４が、図２５のＡのような配置で画像を投影するとする。図２５のＡに示される例では、これらの投影撮像装置２００の投影画像が投影面４５０上で縦に２つ、横に２つ（2x2）並ぶ位置に投影されている。より具体的には、投影撮像装置２００−１の投影画像４５１−１は、投影面４５０の左上に投影され、投影撮像装置２００−２の投影画像４５１−２は、投影面４５０の右上に投影され、投影撮像装置２００−３の投影画像４５１−３は、投影面４５０の左下に投影され、投影撮像装置２００−４の投影画像４５１−４は、投影面４５０の右下に投影されている。

図２５のＡに示されるように、これらの投影画像４５１（投影画像４５１−１乃至投影画像４５１−４）は、その一部が互いに重なり、１つの領域を形成している。これらの投影画像４５１には、上述した部分画像（1080@60P）が含まれており、図２５のＡのように投影された状態において、投影面４５０上に画像（4K@60P）の投影画像４５２が形成されるようになされている。より具体的には、投影画像４５１−１には、投影画像４５２（4K@60P）の左上の部分画像が含まれており、投影画像４５１−２には、投影画像４５２（4K@60P）の右上の部分画像が含まれており、投影画像４５１−３には、投影画像４５２（4K@60P）の左下の部分画像が含まれており、投影画像４５１−４には、投影画像４５２（4K@60P）の右下の部分画像が含まれている。上述したようにこれらの投影画像４５１同士はその一部が重なり合うので、各投影画像４５１に含まれる部分画像は、フルHDよりも高解像度（つまり、広範囲）の画像であってもよい。

このように、各投影撮像装置２００を協働させることにより、投影撮像システム４２０は、解像度4Kの画像（4K@60P）を、解像度を落とさずに（画質を低減させずに）投影することができる。

なお、このような投影画像４５２を実現するためには、各投影画像４５１の位置合わせや幾何補正等を行う必要がある。各投影撮像装置２００は、その撮像部２０２を用いて各投影撮像装置２００の投影部２０１が投影した投影画像４５１をセンシングすることができる。図２５のＢの例では、投影撮像装置２００−１のと撮像部２０２が、投影撮像装置２００−４の投影画像４５１−４（部分画像４５２−４）を撮像している。制御部２２１は、このセンサデータを基に、各種補正を行うことにより、投影面４５０上において、各部分画像がより自然な形で合成され、１つの投影画像４５２が形成されるようにすることができる。

画像補正の内容としては、例えば、図２５のＢに示されるように、プロジェクタ個体差補正、オーバーラップ補正、スクリーン形状補正等がある。プロジェクタ個体差補正は、例えば、輝度、ガンマ、ブライトネス、コントラスト、ホワイトバランス、色味等に対する補正である。オーバーラップ補正は、投影画像４５１同士が重なり合う領域であるオーバーラップ領域に対する補正である。例えば、レベル補正や歪み補正等がある。スクリーン形状補正は、投影面４５０の形状や姿勢に対応するための補正である。例えば、射影変換（平面、球形、シリンドリカル（円柱状）、多項式曲線）がある。もちろん、これら以外の補正が行われるようにしてもよい。

例えば図２６に示されるように、投影面４５０が投影撮像装置２００に対して斜め方向に向いている場合、補正をしないと投影画像が歪んでしまうが、射影変換等によりその歪みを低減させることができる。また、例えば、図２７の例のように曲面に複数の画像を投影する場合も、射影変換等により、１つの画像のように投影することができる。

このような各種補正を行うためには、各投影部２０１と各撮像部２０２との間で、画素の対応点を検出しておく必要がある。その際、本技術を適用することにより、すなわち、第１の実施の形態や第２の実施の形態において上述した各種方法を用いることにより、対応点検出精度の低減を抑制することができる。すなわち、これらの各種補正をより正確に行うことができ、投影画像の画質の低減を抑制することができる。

＜投影撮像システムの利用例＞
このような投影撮像システムを用いることにより、様々な投影が可能になる。例えば、図２８のＡのように複数の投影画像を並べることにより、投影画像の解像度を増大させることができる。また、図２８のＢの例のように、各投影撮像装置２００が投影する各投影画像（部分画像）の並べ方によって、投影画像（画像全体）のアスペクト比を、各投影撮像装置２００のスペックに依存せずに自由に設定することができる。

また、図２８のＣの例のように、複数の壁や天井に（つまり、複数の方向を向いたスクリーン（換言するに立体構造））に対して画像を歪みなく投影させることができる。さらに、図２８のＤの例のように、視聴者を取り囲むような広範囲かつ曲面のスクリーンに対して画像を歪みなく投影させることもできる。

このような投影面の自由度が向上することにより、投影画像の表現力が増大するので、例えば臨場感や視認性を向上させることができ、表現の娯楽性や芸術性を向上させることができる。

このような多様な投影を行う様々な投影撮像システムにおいて、本技術を適用することができる。換言するに、本技術を適用することにより、このような多様な投影方法において、各種補正をより正確に行うことができるようになり、投影画像の画質の低減を抑制することができるようになる。

なお、以上においては、本技術を、画像を投影する投影撮像装置や投影撮像システムに適用するように説明したが、本技術は、投影部と撮像部との間で画素の対応点の検出を行う任意の装置やシステムに適用することができる。例えば、物体形状を計測する装置やシステム等にも適用することができる。また、以上においては、本技術を位相シフト法（マルチ位相シフト法）に適用する場合について説明したが、本技術は、例えば、グレーコード等、位相シフト法（マルチ位相シフト法）以外の対応点検出方法にも適用することができる。

＜ソフトウェア＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図１６に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア２５１により構成される。このリムーバブルメディア２５１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。その場合、例えば、リムーバブルメディア２５１をドライブ２４５に装着することにより、そのリムーバブルメディア２５１に記憶されているこのプログラムを読み出させ、記憶部２４３にインストールさせることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、例えば、プログラムは、通信部２４４で受信し、記憶部２４３にインストールすることができる。

その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば、プログラムは、記憶部２４３やROM２３２等に、あらかじめインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

＜その他＞
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本技術は以下のような構成も取ることができる。
＜投影制御：位相反転＞
（１） 投影部と撮像部との間の画素の対応関係を求めるために、第１の方向に第１の周期で繰り返される第１のパターンを前記第１の方向と直交する第２の方向に第２の周期で位相反転した第２のパターンを前記投影部に投影させる投影制御部
を備える情報処理装置。
（２） 前記第１のパターンは、所定のパラメータが正弦波状に変化するパターンである
（１）に記載の情報処理装置。
（３） 前記パラメータは、輝度である
（２）に記載の情報処理装置。
（４） 前記第１の方向は、位相を検出する方向と異なる方向である
（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記第１の方向は、前記撮像部が撮像して得る撮像画像における垂直方向に対して所定の範囲内の角度に傾斜した方向である
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記範囲は４０度乃至５０度である
（５）に記載の情報処理装置。
（７） 前記投影制御部は、前記第２のパターンを投影させる前に、前記第２の方向に前記第２の周期で繰り返される第３のパターン、並びに、前記第３のパターンと位相が逆の第４のパターンを前記投影部に投影させる
（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記第３のパターンおよび前記第４のパターンは、位相が互いに逆の２値が前記第２の方向に前記第２の周期で繰り返されるパターンである
（７）に記載の情報処理装置。
（９） 前記投影制御部は、前記第２の方向に前記第１の周期で繰り返される前記第１のパターンを前記第１の方向に第２の周期で位相反転した第５のパターンを前記投影部にさらに投影させる
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記投影制御部は、前記第１のパターンの位相が互いにずれた複数の前記第２のパターンを前記投影部に投影させる
（１）乃至（９）のいずれかに記載の情報処理装置。
（１１） 前記投影制御部は、前記第１のパターンの位相が互いに１２０度ずれた３つの前記第２のパターンを前記投影部に投影させる
（１０）に記載の情報処理装置。
（１２） 前記投影制御部は、前記第１の周期が互いに異なる複数の前記第２のパターンの画像を前記投影部に投影させる
（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３） 前記第２のパターンを生成する生成部をさらに備え、
前記投影制御部は、前記生成部により生成された前記第２のパターンを前記投影部に投影させる
（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 前記生成部は、前記第１の方向に前記第１の周期で繰り返される前記第１のパターンを前記第２の方向に前記第２の周期で位相反転することにより、前記第２のパターンを生成する
（１３）に記載の情報処理装置。
（１５） 前記生成部は、前記第１の周期で繰り返される前記第１のパターンの繰り返しの方向を前記第１の方向に変え、さらに、前記第２の方向に前記第２の周期で位相反転することにより、前記第２のパターンを生成する
（１３）に記載の情報処理装置。
（１６） 前記第１のパターンのデータを記憶する記憶部をさらに備え、
前記生成部は、前記記憶部に記憶されている前記第１のパターンのデータを用いて、前記第２のパターンを生成する
（１１）乃至（１５）のいずれかに記載の情報処理装置。
（１７） 前記投影部をさらに備え、
前記投影部は、前記投影制御部の制御に従って、前記第２のパターンを投影面に投影する
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８） 前記撮像部をさらに備え、
前記撮像部は、前記投影部が投影した前記第２のパターンの投影画像を撮像し、撮像画像を得る
（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９） 前記撮像部により得られる、前記投影部が投影した前記第２のパターンの投影画像の撮像画像を用いて、前記投影部と前記撮像部との間の画素の対応点を検出する対応点検出部をさらに備える
（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０） 投影部と撮像部との間の画素の対応関係を求めるために、第１の方向に第１の周期で繰り返される第１のパターンを前記第１の方向と直交する第２の方向に第２の周期で位相反転した第２のパターンを前記投影部に投影させる
情報処理方法。

＜対応点検出：位相反転＞
（２１） 投影部が投影面に投影した、第１の方向に第１の周期で繰り返される第１のパターンを前記第１の方向と直交する第２の方向に第２の周期で位相反転した第２のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、前記投影部と前記撮像部との間の画素の対応点を検出する対応点検出部
を備える情報処理装置。
（２２） 前記第１のパターンは、所定のパラメータが正弦波状に変化するパターンである
（２１）に記載の情報処理装置。
（２３） 前記パラメータは、輝度である
（２２）に記載の情報処理装置。
（２４） 前記対応点検出部は、前記パラメータの変化を位相として求め、前記位相に基づいて、前記対応点を検出する
（２２）または（２３）に記載の情報処理装置。
（２５） 前記対応点検出部は、前記第２のパターンにおいて位相が反転される領域については、前記位相を反転して前記対応点を検出する
（２４）に記載の情報処理装置。
（２６） 前記対応点検出部は、前記撮像部により得られた、前記投影部が前記第２のパターンを投影する前に投影した前記第２の方向に前記第２の周期で繰り返される第３のパターンの投影画像、並びに、前記第３のパターンと位相が逆の第４のパターンの投影画像のそれぞれの撮像画像を用いて、前記第２のパターンにおいて位相が反転される領域を求める
（２５）に記載の情報処理装置。
（２７） 前記第３のパターンおよび前記第４のパターンは、位相が互いに逆の２値が前記第２の方向に前記第２の周期で繰り返されるパターンである
（２６）に記載の情報処理装置。
（２８） 前記第１の方向は、位相を検出する方向と異なる方向である
（２１）乃至（２７）のいずれかに記載の情報処理装置。
（２９） 前記第１の方向は、前記撮像部が撮像して得る撮像画像における垂直方向に対して所定の範囲内の角度に傾斜した方向である
（２１）乃至（２８）のいずれかに記載の情報処理装置。
（３０） 前記範囲は４０度乃至５０度である
（２９）に記載の情報処理装置。
（３１） 前記対応点検出部は、さらに、前記投影部が前記投影面に投影した、前記第２の方向に前記第１の周期で繰り返される前記第１のパターンを前記第１の方向に第２の周期で位相反転した第５のパターンの投影画像を前記撮像部が撮像して得られた撮像画像を用いて、前記対応点を検出する
（２１）乃至（３０）のいずれかに記載の情報処理装置。
（３２） 前記対応点検出部は、前記投影部が前記投影面に投影した、前記第１のパターンの位相が互いにずれた複数の前記第２のパターンの投影画像を前記撮像部が撮像して得られた撮像画像を用いて、前記対応点を検出する
（２１）乃至（３１）のいずれかに記載の情報処理装置。
（３３） 前記対応点検出部は、前記投影部が前記投影面に投影した、前記第１のパターンの位相が互いに１２０度ずれた３つの前記第２のパターンの投影画像を前記撮像部が撮像して得られた撮像画像を用いて、前記対応点を検出する
（３２）に記載の情報処理装置。
（３４） 前記対応点検出部は、前記投影部が前記投影面に投影した、前記第１の周期が互いに異なる複数の前記第２のパターンの投影画像を前記撮像部が撮像して得られた撮像画像を用いて、前記対応点を検出する
（２１）乃至（３３）のいずれかに記載の情報処理装置。
（３５） 前記撮像部をさらに備える
（２１）乃至（３４）のいずれかに記載の情報処理装置。
（３６） 前記投影部をさらに備える
（２１）乃至（３５）のいずれかに記載の情報処理装置。
（３７） 前記投影部を制御する投影制御部をさらに備える
（２１）乃至（３６）のいずれかに記載の情報処理装置。
（３８） 前記第２のパターンを生成する生成部をさらに備え、
前記投影制御部は、前記生成部により生成された前記第２のパターンを前記投影部に投影させる
（３７）に記載の情報処理装置。
（３９） 前記生成部は、前記第１の方向に前記第１の周期で繰り返される前記第１のパターンを前記第２の方向に前記第２の周期で位相反転することにより、前記第２のパターンを生成する
（３８）に記載の情報処理装置。
（４０） 前記生成部は、前記第１の周期で繰り返される前記第１のパターンの繰り返しの方向を前記第１の方向に変え、さらに、前記第２の方向に前記第２の周期で位相反転することにより、前記第２のパターンを生成する
（３８）に記載の情報処理装置。
（４１） 前記第１のパターンのデータを記憶する記憶部をさらに備え、
前記生成部は、前記記憶部に記憶されている前記第１のパターンのデータを用いて、前記第２のパターンを生成する
（３８）乃至（４０）のいずれかに記載の情報処理装置。
（４２） 投影部が投影面に投影した、第１の方向に第１の周期で繰り返される第１のパターンを前記第１の方向と直交する第２の方向に第２の周期で位相反転した第２のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、前記投影部と前記撮像部との間の画素の対応点を検出する
情報処理方法。

＜投影制御：パターン回転＞
（５１） 投影部と撮像部との間の画素の対応関係を求めるために、位相を検出する方向と異なる第１の方向に所定の周期で繰り返される所定のパターンを前記投影部に投影させる投影制御部
を備える情報処理装置。
（５２） 前記所定のパターンは、所定のパラメータが正弦波状に変化するパターンである
（５１）に記載の情報処理装置。
（５３） 前記パラメータは、輝度である
（５２）に記載の情報処理装置。
（５４） 前記第１の方向は、前記撮像部が撮像して得る撮像画像における垂直方向に対して所定の範囲内の角度に傾斜した方向である
（５１）乃至（５３）のいずれかに記載の情報処理装置。
（５５） 前記範囲は４０度乃至５０度である
（５４）に記載の情報処理装置。
（５６） 前記投影制御部は、前記第１の方向に直交する第２の方向に前記所定の周期で繰り返される前記所定のパターンを前記投影部にさらに投影させる
（５１）乃至（５５）のいずれかに記載の情報処理装置。
（５７） 前記投影制御部は、位相が互いにずれた複数の前記所定のパターンを前記投影部に投影させる
（５１）乃至（５６）のいずれかに記載の情報処理装置。
（５８） 前記投影制御部は、位相が互いに１２０度ずれた３つの前記所定のパターンの画像を投影させる
（５７）に記載の情報処理装置。
（５９） 前記投影制御部は、前記所定の周期が互いに異なる複数の前記所定のパターンを前記投影部に投影させる
（５１）乃至（５８）のいずれかに記載の情報処理装置。
（６０） 前記第１の方向に前記所定の周期で繰り返される前記所定のパターンを生成する生成部をさらに備え、
前記投影制御部は、前記生成部により生成された前記第１の方向に前記所定の周期で繰り返される前記所定のパターンを前記投影部に投影させる
（５１）乃至（５９）のいずれかに記載の情報処理装置。
（６１） 前記生成部は、第２の方向に前記所定の周期で繰り返される前記所定のパターンの繰り返しの方向を前記第１の方向に変えることにより、前記第１の方向に前記所定の周期で繰り返される前記所定のパターンを生成する
（６０）に記載の情報処理装置。
（６２） 前記所定のパターンのデータを記憶する記憶部をさらに備え、
前記生成部は、前記記憶部に記憶されている前記所定のパターンのデータを用いて、前記第１の方向に前記所定の周期で繰り返される前記所定のパターンを生成する
（６０）または（６１）に記載の情報処理装置。
（６３） 前記投影部をさらに備え、
前記投影部は、前記投影制御部の制御に従って、前記第１の方向に前記所定の周期で繰り返される前記所定のパターンを投影面に投影する
（５１）乃至（６２）のいずれかに記載の情報処理装置。
（６４） 前記撮像部をさらに備え、
前記撮像部は、前記投影部が投影した前記第１の方向に前記所定の周期で繰り返される前記所定のパターンの投影画像を撮像して前記撮像画像を得る
（５１）乃至（６３）のいずれかに記載の情報処理装置。
（６５） 前記撮像部により得られる、前記投影部が投影した前記第１の方向に前記所定の周期で繰り返される前記所定のパターンの投影画像の前記撮像画像を用いて、前記投影部と前記撮像部との間の画素の対応点を検出する対応点検出部をさらに備える
（５１）乃至（６４）のいずれかに記載の情報処理装置。
（６６） 投影部と撮像部との間の画素の対応関係を求めるために、位相を検出する方向と異なる第１の方向に所定の周期で繰り返される所定のパターンを前記投影部に投影させる
情報処理方法。

＜対応点検出：パターン回転＞
（７１） 投影部が投影面に投影した位相を検出する方向と異なる第１の方向に所定の周期で繰り返される所定のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、前記投影部と前記撮像部との間の画素の対応点を検出する対応点検出部
を備える情報処理装置。
（７２） 前記所定のパターンは、所定のパラメータが正弦波状に変化するパターンである
（７１）に記載の情報処理装置。
（７３） 前記パラメータは、輝度である
（７２）に記載の情報処理装置。
（７４） 前記対応点検出部は、前記パラメータの変化を位相として求め、前記位相に基づいて、前記対応点を検出する
（７２）または（７３）に記載の情報処理装置。
（７５） 前記第１の方向は、位相を検出する方向と異なる方向である
（７１）乃至（７４）のいずれかに記載の情報処理装置。
（７６） 前記第１の方向は、前記撮像部が撮像して得る撮像画像における垂直方向に対して所定の範囲内の角度に傾斜した方向である
（７１）乃至（７５）のいずれかに記載の情報処理装置。
（７７） 前記範囲は４０度乃至５０度である
（７６）に記載の情報処理装置。
（７８） 前記対応点検出部は、さらに、前記投影部が前記投影面に投影した、前記第１の方向に直交する第２の方向に前記所定の周期で繰り返される前記所定のパターンの投影画像を前記撮像部が撮像して得られた撮像画像を用いて、前記対応点を検出する
（７１）乃至（７７）のいずれかに記載の情報処理装置。
（７９） 前記対応点検出部は、前記投影部が前記投影面に投影した、位相が互いにずれた複数の前記所定のパターンの投影画像を前記撮像部が撮像して得られた撮像画像を用いて、前記対応点を検出する
（７１）乃至（７８）のいずれかに記載の情報処理装置。
（８０） 前記対応点検出部は、前記投影部が前記投影面に投影した、位相が互いに１２０度ずれた３つの前記所定のパターンの投影画像を前記撮像部が撮像して得られた撮像画像を用いて、前記対応点を検出する
（７９）に記載の情報処理装置。
（８１） 前記対応点検出部は、前記投影部が前記投影面に投影した、前記所定の周期が互いに異なる複数の前記所定のパターンの投影画像を前記撮像部が撮像して得られた撮像画像を用いて、前記対応点を検出する
（７１）乃至（８０）のいずれかに記載の情報処理装置。
（８２） 前記撮像部をさらに備える
（７１）乃至（８１）のいずれかに記載の情報処理装置。
（８３） 前記投影部をさらに備える
（７１）乃至（８２）のいずれかに記載の情報処理装置。
（８４） 前記投影部を制御する投影制御部をさらに備える
（７１）乃至（８３）のいずれかに記載の情報処理装置。
（８５） 前記第１の方向に前記所定の周期で繰り返される前記所定のパターンを生成する生成部をさらに備え、
前記投影制御部は、前記生成部により生成された前記第１の方向に前記所定の周期で繰り返される前記所定のパターンを前記投影部に投影させる
（８４）に記載の情報処理装置。
（８６） 前記生成部は、第２の方向に前記所定の周期で繰り返される前記所定のパターンの繰り返しの方向を前記第１の方向に変えることにより、前記第１の方向に前記所定の周期で繰り返される前記所定のパターンを生成する
（８５）に記載の情報処理装置。
（８７） 前記所定のパターンのデータを記憶する記憶部をさらに備え、
前記生成部は、前記記憶部に記憶されている前記所定のパターンのデータを用いて、前記第１の方向に前記所定の周期で繰り返される前記所定のパターンを生成する
（８５）または（８６）に記載の情報処理装置。
（８８） 投影部が投影面に投影した位相を検出する方向と異なる第１の方向に所定の周期で繰り返される所定のパターンの投影画像を撮像部が撮像して得られた撮像画像を用いて、前記投影部と前記撮像部との間の画素の対応点を検出する
情報処理方法。

１０１ 正弦波パターン， １０２ 位相反転パターン， １０３ 投影パターン， １４１および１４２ 領域設定パターン， １５１ 投影パターン， １５２ 撮像画像， １５３ 非同期ノイズ発生領域， １５４ 位相分布， １５５ 非同期ノイズ発生領域， １５６ 撮像画像， １５７ 非同期ノイズ発生領域， １５８ 位相分布， １５９ 非同期ノイズ発生領域， １７１ 正弦波パターン， １７２ 回転正弦波パターン， １７３ 位相反転パターン， １７４ 投影パターン， １８１および１８２ 領域設定パターン， ２００ 投影撮像装置， ２０１ 投影部， ２０２ 撮像部， ２１０ 投影面， ２２１ 制御部， ２３１ CPU， ２３２ ROM， ２３３ RAM， ２３４ バス， ２４０ 入出力インタフェース， ２４１ 入力部， ２４２ 出力部， ２４３ 記憶部， ２４４ 通信部， ２４５ ドライブ， ２５１ リムーバブルメディア， ２６１ ビデオプロセッサ， ２６２ レーザドライバ， ２６３ レーザ出力部， ２６４ ミラー， ２６５ MEMSドライバ， ２６６ MEMSミラー， ３０１ パターン回転量設定部， ３０２ パターン生成部， ３０３ 投影制御部， ３０４ 撮像制御部， ３０５ 対応点検出部， ４００ 投影撮像装置， ４０１ 投影撮像装置， ４０２ 制御装置， ４１０ 投影撮像システム， ４１１ 投影装置， ４１２ 撮像装置， ４１３ 制御装置， ４２０ 投影撮像システム， ４２１ ケーブル， ４２２ ネットワーク， ４２３ 制御装置

Claims (14)

1. 所定のパラメータが第１の方向に第１の周期で正弦波状に変化する正弦波パターンを前記第１の方向と直交する第２の方向に第２の周期で位相反転した投影パターンを、投影部に投影させる投影制御部と、
   撮像部により得られる、前記投影制御部の制御に従って前記投影部により投影された前記投影パターンの投影画像の撮像画像を用いて、位相シフト法により前記投影部と前記撮像部との間の画素の対応点を検出する対応点検出部と
   を備える情報処理装置。
2. 前記パラメータは、輝度である
   請求項１に記載の情報処理装置。
3. 前記第１の方向は、位相を検出する方向と異なる方向である
   請求項１に記載の情報処理装置。
4. 前記第１の方向は、前記撮像部が撮像して得る撮像画像における垂直方向に対して所定の範囲内の角度に傾斜した方向である
   請求項１に記載の情報処理装置。
5. 前記範囲は４０度乃至５０度である
   請求項４に記載の情報処理装置。
6. 前記投影制御部は、前記正弦波パターンの位相が互いにずれた複数の前記投影パターンを前記投影部に投影させる
   請求項１に記載の情報処理装置。
7. 前記投影制御部は、前記正弦波パターンの位相が互いに１２０度ずれた３つの前記投影パターンを前記投影部に投影させる
   請求項６に記載の情報処理装置。
8. 前記投影制御部は、前記第１の周期が互いに異なる複数の前記投影パターンの画像を前記投影部に投影させる
   請求項１に記載の情報処理装置。
9. 前記投影パターンを生成する生成部をさらに備え、
   前記投影制御部は、前記生成部により生成された前記投影パターンを前記投影部に投影させる
   請求項１に記載の情報処理装置。
10. 前記生成部は、前記正弦波パターンを前記第２の方向に前記第２の周期で位相反転することにより、前記投影パターンを生成する
    請求項９に記載の情報処理装置。
11. 前記正弦波パターンのデータを記憶する記憶部をさらに備え、
    前記生成部は、前記記憶部に記憶されている前記正弦波パターンのデータを用いて、前記投影パターンを生成する
    請求項９に記載の情報処理装置。
12. 前記投影部をさらに備え、
    前記投影部は、前記投影制御部の制御に従って、前記投影パターンを投影面に投影する
    請求項１に記載の情報処理装置。
13. 前記撮像部をさらに備える
    請求項１に記載の情報処理装置。
14. 所定のパラメータが第１の方向に第１の周期で正弦波状に変化する正弦波パターンを前記第１の方向と直交する第２の方向に第２の周期で位相反転した投影パターンを、投影部に投影させ、
    撮像部により得られる、前記投影部により投影された前記投影パターンの投影画像の撮像画像を用いて、位相シフト法により前記投影部と前記撮像部との間の画素の対応点を検出する
    情報処理方法。

Images