WO2018225531A1 - 画像処理装置および方法 - Google Patents

Abstract

本開示は、対応点検出精度の低減を抑制することができるようにする画像処理装置および方法に関する。 投影部により投影された所定の構造化光パタンを撮像部が撮像したパタン撮像画像にホモグラフィ変換を適用し、そのホモグラフィ変換が適用されたパタン撮像画像を用いて、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点を検出する。本開示は、例えば、画像処理装置、画像投影装置、制御装置、情報処理装置、投影撮像システム、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法

　本開示は、画像処理装置および方法に関し、特に、対応点検出精度の低減を抑制することができるようにした画像処理装置および方法に関する。

　従来、プロジェクタにより投影された投影画像の歪みの低減や、複数のプロジェクタによる各投影画像の位置合わせのために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等に応じた投影画像の幾何補正を行う方法があった。このような方法の場合、投影画像と撮像画像との間で対応点を求める必要があった。

　例えば、コンテンツ画像を投影しながらその対応点を求める技術であるオンラインセンシングとして、投影するコンテンツ画像にパタン画像を埋め込むISL（Imperceptible Structured Light）方式が考えられた（例えば、特許文献１参照）。ISL方式では、パタンが互いに同一であり、かつ、輝度変化方向が互いに逆向きの２つのパタン画像をコンテンツ画像の連続するフレームに埋め込み投影することにより、パタンの不可視性を実現する。

　ところで、近年、通常のプロジェクタと比べて投影面にはるかに近い位置に設置した場合でも大きな投影画を照射することのできる超短焦点プロジェクタが開発された。このような超短焦点プロジェクタを用いて、ISL方式による歪み補正を行う場合、その作業をより簡易化するために、カメラを超短焦点プロジェクタと一体化することが考えられる。

特開２０１３－１９２０９８号公報

　しかしながら、その場合、カメラは、投影面近傍から、例えば下から見上げるような角度で投影画像を撮像することになり、撮像画像におけるパタンの歪みが大きくなる等して、対応点の検出精度が低減するおそれがあった。

　本開示は、このような状況に鑑みてなされたものであり、対応点検出精度の低減を抑制することができるようにするものである。

　本技術の一側面の画像処理装置は、投影部により投影された所定の構造化光パタンを撮像部が撮像したパタン撮像画像にホモグラフィ変換を適用し、前記ホモグラフィ変換が適用された前記パタン撮像画像を用いて、前記投影部により投影された投影画像と前記撮像部により撮像された撮像画像との間の対応点を検出する対応点検出部を備える画像処理装置である。

　本技術の一側面の画像処理方法は、投影部により投影された所定の構造化光パタンを撮像部が撮像したパタン撮像画像にホモグラフィ変換を適用し、前記ホモグラフィ変換が適用された前記パタン撮像画像を用いて、前記投影部により投影された投影画像と前記撮像部により撮像された撮像画像との間の対応点を検出する画像処理方法である。

　本技術の一側面の画像処理装置および方法においては、投影部により投影された所定の構造化光パタンを撮像部が撮像したパタン撮像画像にホモグラフィ変換が適用され、そのホモグラフィ変換が適用されたパタン撮像画像が用いられて、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点が検出される。

　本開示によれば、画像を処理することができる。特に、対応点検出精度の低減を抑制することができる。

幾何補正の様子の例を示す図である。 幾何補正の様子の例を示す図である。 幾何補正の様子の例を示す図である。 対応点検出の様子の例を示す図である。 対応点検出の様子の例を示す図である。 対応点検出の様子の例を示す図である。 ISLの例を説明する図である。 構造化光パタンの例を示す図である。 構造化光パタンのポジ画像とネガ画像の例を示す図である。 超短焦点プロジェクタによる画像投影の様子の例を示す図である。 パタン撮像画像の例を示す図である。 ホモグラフィ変換の様子の例を示す図である。 設計値の例を示す図である。 投影撮像システムの主な構成例を示すブロック図である。 制御装置の主な構成例を示すブロック図である。 制御装置が実現する機能例を示す機能ブロック図である。 投影撮像処理部が実現する機能例を示す機能ブロック図である。 対応点検出処理部が実現する機能例を示す機能ブロック図である。 投影撮像装置の筐体の例を示す図である。 投影撮像装置の主な構成例を示すブロック図である。 投影部の主な構成例を示すブロック図である。 レーザ光の走査の例を示す図である。 幾何補正処理の流れの例を説明するフローチャートである。 投影撮像処理の流れの例を説明するフローチャートである。 対応点検出処理の流れの例を説明するフローチャートである。 パタンの重心検出結果の例を示す図である。 ホモグラフィ変換誤差の例を示す図である。 ホモグラフィ変換誤差の例を示す図である。 投影撮像装置の筐体の例を示す図である。 投影撮像システムの他の構成例を示すブロック図である。 投影撮像システムや投影撮像装置の主な構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．ISL方式と対応点検出
　２．第１の実施の形態（投影撮像システム）
　３．第２の実施の形態（投影撮像システム・投影撮像装置）
　４．その他

　＜１．ISL方式と対応点検出＞
　　＜対応点検出と幾何補正＞
　プロジェクタの投影面（スクリーンや壁等）に対する姿勢（位置や向き等）や投影面の形状等によって、例えば図１のＡのように、投影された画像（投影画像とも称する）が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、図１のＢの例のように、投影画像の歪みを低減し、見やすくすることができる。

　また、図２の例のように、複数のプロジェクタにより画像を投影して、１つの投影画像を形成させるシステムがある。例えば、図２のＡのように、複数のプロジェクタから互いに同位置に画像を投影することにより、コントラスト比を大きくし、ハイダイナミックレンジを実現する方法がある。また、例えば、図２のＢのように、各プロジェクタから投影された投影画像を並べることにより、１台のプロジェクタが投影する投影画像よりも大きな投影画像（１台のプロジェクタが投影する投影画像よりも高解像度の投影画像）を実現する方法がある。これらの方法の場合、各プロジェクタから投影された投影画像同士の位置関係が不適切であると、投影画像同士がずれて重畳されたり不要な隙間が生じたりして投影画像全体としての画質が低減するおそれがある。そのため、各投影画像に対する上述した歪み補正だけでなく、投影画像同士の位置合わせ等の幾何補正も必要になる場合がある。

　このように投影する画像に対して幾何補正を行うことにより、図３の例のように、複数のプロジェクタから曲面の投影面に対して画像を投影する場合であっても、１つの画像のように投影することができる。なお、図２のＢや図３の例のように、複数の投影画像を並べて大きな投影画像を形成する場合、図３の例のように、隣接する投影画像の一部同士を重畳させる（オーバーラップさせる）ことにより、その位置合わせをより容易にすることができる。

　このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正を行う方法が考えられた。

　例えば、図４の例のように、プロジェクタ１１から所定の絵柄の標準化光パタン１２をスクリーン１３に投影し、カメラ１４によりその投影された標準化光パタン１２を撮像して撮像画像１５を得る。そして、その標準化光パタン１２の絵柄に基づいて標準化光パタン１２と撮像画像１５との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ１１とカメラ１４の姿勢（位置関係）やスクリーン１３の形状等を求め、その結果に基づいて幾何補正を行う。このようにすることにより、手動で行う場合よりもより容易に幾何補正を行うことができる。

　このようにカメラを利用して幾何補正を行う場合、投影画像（投影される画像でもよい）と撮像画像との間で対応点（投影画像および撮像画像の、投影面の互いに同じ位置に対応する画素）を求める必要がある。つまり、カメラ１４（撮像画像１５）の画素とプロジェクタ１１（標準化光パタン１２）の画素との対応関係を求める必要がある。

　また、図２や図３の例のように複数のプロジェクタを用いる場合は、各投影画像同士の位置関係も求める必要がある。

　例えば、図５の例のように、投影部２１－１（プロジェクタ）と撮像部２２－１（カメラ）とを有する投影撮像装置２０－１と、投影部２１－２（プロジェクタ）と撮像部２２－２（カメラ）とを有する投影撮像装置２０－２とを協働させて画像を投影するとする。ここで、投影撮像装置２０－１と投影撮像装置２０－２とを互いに区別して説明する必要が無い場合、投影撮像装置２０と称する。また、投影部２１－１と投影部２１－２とを互いに区別して説明する必要が無い場合、投影部２１と称する。さらに、撮像部２２－１と撮像部２２－２とを互いに区別して説明する必要が無い場合、撮像部２２と称する。

　図５に示されるように、投影撮像装置２０－１の投影部２１－１による投影面２３の投影領域（投影画像の範囲）は、P0L乃至P0Rの範囲である。また、投影撮像装置２０－２の投影部２１－２による投影面２３の投影領域は、P1L乃至P1Rの範囲である。つまり、両矢印２４で示される範囲（P1L乃至P0Rの範囲）が、互いの投影画像が重畳するオーバーラップ領域となる。

　なお、投影撮像装置２０－１の撮像部２２－１による投影面２３の撮像領域（撮像画像に含まれる範囲）は、C0L乃至C0Rの範囲である。また、投影撮像装置２０－２の撮像部２２－２による投影面２３の撮像領域（撮像画像に含まれる範囲）は、C1L乃至C1Rの範囲である。

　このようなシステムの場合、上述したように、投影画像同士の位置合わせを行うために、各投影撮像装置２０における投影部２１と撮像部２２との間の対応点を求めるだけでなく、投影撮像装置２０間において投影部２１と撮像部２２との間の対応点を求める必要がある。そこで、例えば、図６のように、投影部２１－１のある画素から照射された光（矢印２７）が、投影面２３のＸにおいて反射し、撮像部２２－２のどの画素により受光される（矢印２８）かが求められる。また、投影部２１－２と撮像部２２－１との間でも同様の画素対応関係が求められる。

　このように、対応点を求めることができる全ての投影部２１と撮像部２２との間で対応点を求めることにより、幾何補正によって、オーバーラップ領域（両矢印２４で示される範囲）の位置合わせを行うことができる。

　　＜オンラインセンシング＞
　このような幾何補正の為の対応点検出は、映像の投影を開始する前に行うことが考えられるが、初期設置後、映像を投影している最中に温度や振動などの外乱の影響等により、この対応点がずれてしまうおそれがあった。対応点がずれると、幾何補正が不適切なものとなり、投影画像に歪みや位置ずれが生じてしまうおそれがあった。

　このような場合、対応点検出をやり直す必要があるが、そのために映像の投影を中断することは、その映像を視ているユーザにとって好ましくない（満足度を低減させるおそれがあった）。そこで、映像の投影を継続したまま対応点を検出する方法（オンラインセンシング）が考えられた。

　オンラインセンシング技術として、例えば、Infrared等の不可視光を利用した方式、SIFT等の画像特徴量を利用した方式、ISL（Imperceptible Structured Light）方式等が考えられた。Infrared等の不可視光を利用した方式の場合、不可視光を投影するプロジェクタ（例えばInfraredプロジェクタ）がさらに必要になるためコストが増大するおそれがあった。また、SIFT等の画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難であった。

　これらに対してISL方式の場合、可視光を利用するため、システム構成要素の増大（すなわちコストの増大）を抑制することができる。また、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。

　　＜ISL方式＞
　ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。

　図７に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像（コンテンツ画像）に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。

　これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮影画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。

　このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、理想的には、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。

　　＜構造化光パタンの構造＞
　構造化光パタンの具体的な例を図８に示す。図８に示されるパタン画像１００は、コンテンツ画像に重畳されて投影されるISL方式の構造化光パタンである。パタン画像１００は、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点（つまり、投影部と撮像部との画素対応関係）を検出するためのものであり、図８に示されるように、周辺と輝度値が異なる楕円形状の輝度分布のパタン１０１を複数有する。つまり、パタン画像１００には、周辺と輝度が異なる複数のパタン１０１が配置（形成）されている。

　図８において、白い楕円のパタン１０１は輝度変化方向が正の向きであるパタンの例を示しており、黒い楕円のパタン１０１は、輝度変化方向が負の向きであるパタンの例を示している。各パタン１０１の大きさは任意であり、互いに同一であってもよいし、同一でないものが含まれていてもよい。また、各パタン１０１の輝度分布も、互いに同一であってもよいし、同一でないものが含まれていてもよい。

　ISL方式の場合、このような構成のパタン画像１００は、他の画像（例えばコンテンツ画像）に重畳して投影される。その際、図７を参照して説明した場合と同様に、コンテンツ画像のあるフレームに対してパタン画像１００の輝度値を加算して投影し、次のフレームに対してパタン画像１００の輝度値を減算して投影するようにする。つまり、パタン画像１００は、図９に示されるようにポジ画像１００－１やネガ画像１００－２として、コンテンツ画像に重畳されるようにする。ネガ画像１００－２は、ポジ画像１００－１の輝度値の正負を反転させた画像である。つまり、ポジ画像１００－１とネガ画像１００－２とでは、パタンの形状が互いに同一であり、かつ、その輝度変化方向が互いに逆向きである。

　このようなポジ画像１００－１とネガ画像１００－２とが連続する２フレームに重畳して投影することにより、積分効果によりパタン画像１００が投影画像を見るユーザにより知覚され難くすることができる（パタン画像１００の不可視性に寄与することができる）。

　　＜超短焦点プロジェクタ＞
　ところで、通常のプロジェクタと比べて投影面にはるかに近い位置に設置した場合でも大きな投影画を照射することのできる超短焦点プロジェクタがある。例えば、図１０に示されるように、超短焦点プロジェクタ１１１は、机１１２の上等の、壁１１３の近傍に設置され、その壁１１３に画像を投影する（投影画像１１４）。つまり、超短焦点プロジェクタ１１１は、例えば投影画像１１４に対して下から見上げるような、投影面の近傍から画像投影を行う。

　また、上述のISL方式に必要なプロジェクタとカメラが個別の装置として形成され、それぞれを任意の位置に設置可能であるとすると、対応点検出（歪み補正）において、三角測量を正しく行う為に、それらの相対位置を求める必要がある。そのプロジェクタとカメラを１つの筐体に設ける（一体化する）ことにより、それらの相対位置を既知の情報とすることができる（相対位置を求める作業が不要になる）ので、対応点検出（歪み補正）をより容易化（簡易化）することができる。

　しかしながら、超短焦点プロジェクタ１１１にカメラを一体化させると、カメラは、投影面近傍から、例えば下から見上げるような角度で投影画像を撮像することになり、撮像画像におけるパタンの歪みが大きく、対応点の検出精度が低減するおそれがあった。例えば、図１１のＡのパタン撮像画像１２１は、投影画像を正面から撮像して得られるパタン画像の撮像画像である。このパタン画像を投影面近傍の投影画像の下側から見上げるように撮像すると、そのパタン撮像画像は、図１１のＢに示される例のようになる。図１１のＢに示されるように、この場合のパタン撮像画像１２２においては、例えば、パタンが大きく歪んでしまったり、位置によっては１パタン当たりの画素数が大きく低減してしまったりしている。そのため、対応点検出精度が低減してしまうおそれがあった。

　　＜パタン画像のホモグラフィ変換適用＞
　そこで、投影部により投影された所定の構造化光パタンを撮像部が撮像したパタン撮像画像にホモグラフィ変換を適用し、そのホモグラフィ変換が適用されたパタン撮像画像を用いて、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点を検出するようにする。

　例えば、図１１のＢに示されるように検出されたパタン撮像画像１２２におけるパタンが配置された平面を、ホモグラフィ変換（射影変換）を用いて投影面の正面から見た平面に射影する。このようにパタンをその投影面を正面から見た状態にすることにより、パタンの歪みや大きさの変化等を抑制する（すなわち、投影する画像におけるパタンの形状に近づける）ことができる。したがって、そのホモグラフィ変換後のパタン撮像画像を用いて対応点の検出を行うことにより、対応点検出精度の低減を抑制することができる。

　　＜システムホモグラフィ変換＞
　そのホモグラフィ変換として、例えば、投影部（例えばプロジェクタ）や撮像部（例えばカメラ）の既知の設計情報（設計値）に基づくホモグラフィ変換を適用するようにしてもよい。このような設計値に基づくホモグラフィ変換をシステムホモグラフィ変換とも称する。

　例えば、図１２に示されるように、図１１のＢのパタン撮像画像１２２においてパタンが配置されている平面（の各座標）を、設計値から求めたシステムホモグラフィ行列Ｈｓを用いて、投影面を正面から見た平面（座標系）に射影する。このようにパタン撮像画像１２２にシステムホモグラフィ変換を適用することにより、パタン撮像画像１２３が得られる。つまり、パタンの歪みや大きさの変化等を抑制することができる。したがって、そのシステムホモグラフィ変換後のパタン撮像画像１２３を用いて対応点の検出を行うことにより、対応点検出精度の低減を抑制することができる。

　システムホモグラフィ行列Ｈｓの求め方は任意であるが、例えば、投影画像の４隅の点を用いて求めるようにしてもよい。例えば、投影面における投影画像の４隅の点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）のワールド座標を求める。例えば図１３のＡに示されるように、ワールド座標の原点を投影画の中心とし、垂直方向の大きさをｂ（ｍｍ）とし、ｘ座標およびｙ座標を１（ｍｍ）＝１とすると、投影画像の４隅のワールド座標は、Ｐ１（a/2,b/2）、Ｐ２（a/2,-b/2）、Ｐ３（-a/2,-b/2）、Ｐ４（-a/2,b/2）となる。

　次にその４隅（Ｐ１乃至Ｐ４）のワールド座標を、カメラ（撮像部）のおおよそ既知としている内部パラメータを用いてカメラ座標系に変換する。つまり、投影面に投影された投影画像の４隅の点が撮像画像においてどのような位置（座標）となるか（すなわち、投影面と撮像画像との対応関係）を、例えば撮像部の位置、撮像方向、画角等の情報を用いて特定する。例えば図１３のＢに示されるように、これらの情報が既知であるとすると、このような投影面（ワールド座標）と撮像画像（カメラ座標系）との対応関係、すなわち、システムホモグラフィ行列Ｈｓは、容易に求めることができる。

　つまり、ホモグラフィ変換としてシステムホモグラフィ変換を適用するようにすることにより、より容易に対応点検出精度の低減を抑制することができる。

　なお、ホモグラフィ変換後の座標系で検出した対応点を元の座標系（パタン撮像画像１２２の座標系）に戻すには、その対応点に対して、そのホモグラフィ変換の逆変換（逆ホモグラフィ変換とも称する）を行うようにすればよい。したがって、例えば、システムホモグラフィ変換後の座標系で検出した対応点を元の座標系に戻すには、図１２に示されるように、得られた対応点Ｐに対して、上述したシステムホモグラフィ変換の逆変換（システムホモグラフィ逆変換とも称する）を行うようにすれば良い（Ｈｓ^－１Ｐ）。つまり、この場合、システムホモグラフィ行列Ｈｓの逆行列Ｈｓ^－１をホモグラフィ行列とする。

　ただし、システムホモグラフィ変換は、例えば投影部（プロジェクタ）と投影面が平行であることや、撮像部（カメラ）の内部パラメータがある程度既知であること等の、いくつかの制約に基づいて導出されるものであり、実際の運用の際には誤差がのる可能性がある。

　　＜アルゴホモグラフィ変換＞
　そこで、上述のホモグラフィ変換として、図１２に示されるように、システムホモグラフィ変換だけでなく、システムホモグラフィ変換後のパタン撮像画像１２３に対して、さらに、そのパタン撮像画像１２３を用いて検出した対応点の情報に基づく、投影部が投影する画像の座標系へのホモグラフィ変換を適用するようにしてもよい。このような対応点に基づくホモグラフィ変換をアルゴホモグラフィ変換とも称する。

　例えば、図１２に示されるように、パタン撮像画像１２３においてパタンが配置されている平面（の各座標）を、そのパタン撮像画像１２３を用いて求めた、投影部が投影する画像と撮像部が撮像した撮像画像との間の対応点から求めたアルゴホモグラフィ行列Ｈａを用いて、投影部が投影する画像の座標系（平面）に射影する。このようにパタン撮像画像１２３に対してさらにアルゴホモグラフィ変換を適用することにより、パタン撮像画像１２４が得られる。つまり、パタンの歪みや大きさの変化等をさらに抑制することができる。したがって、そのアルゴホモグラフィ変換後のパタン撮像画像１２４を用いて対応点の検出を行うことにより、対応点検出精度の低減をさらに抑制することができる。

　なお、アルゴホモグラフィ変換後の座標系で検出した対応点を元の座標系（パタン撮像画像１２３の座標系）に戻すには、図１２に示されるように、得られた対応点Ｐに対して、上述したアルゴホモグラフィ変換の逆変換（アルゴホモグラフィ逆変換とも称する）を行うようにすれば良い（Ｈａ^－１Ｐ）。つまり、この場合、アルゴホモグラフィ行列Ｈａの逆行列Ｈａ^－１をホモグラフィ行列とする。なお、さらに、システムホモグラフィ逆変換を適用することにより、対応点をパタン撮像画像１２２の座標系に戻すことができる。

　＜２．第１の実施の形態＞
　　＜投影撮像システム＞
　次に、以上のようなパタン画像１００を用いた対応点の検出について説明する。図１４は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図１４において、投影撮像システム３００は、画像を投影したり、投影画像を撮像したり、＜１．ISL方式と対応点検出＞において説明した本技術を適用した方法で、ISL方式による対応点検出を行ったりすることができるシステムである。

　図１４に示されるように、投影撮像システム３００は、制御装置３０１、並びに、投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎ（Ｎは任意の自然数）を有する。投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎは、それぞれ、ケーブル３０３－１乃至ケーブル３０３－Ｎを介して制御装置３０１に接続されている。

　以下において、投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎを互いに区別して説明する必要が無い場合、投影撮像装置３０２と称する。また、ケーブル３０３－１乃至ケーブル３０３－Ｎを互いに区別して説明する必要が無い場合、ケーブル３０３と称する。

　制御装置３０１は、ケーブル３０３を介して各投影撮像装置３０２を制御する。例えば、制御装置３０１は、各投影撮像装置３０２に対して、投影する画像を供給し、その画像を投影させることができる。また、例えば、制御装置３０１は、各投影撮像装置３０２に対して、投影画像等の撮像を指示し、その撮像画像を取得することができる。さらに、例えば、制御装置３０１は、投影画像と撮像画像の対応点の検出を行ったり、その求めた対応点に基づいて各投影撮像装置３０２に投影させる画像の幾何補正を行ったりすることができる。なお、この幾何補正には、投影させる画像に対する画像処理（例えば、拡大、縮小、変形等）の他に、各投影撮像装置３０２の光学系の制御等（例えば、投影方向や撮像方向等の制御等）も含むことができる。

　投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎは、それぞれ、画像を投影する投影部３１１－１乃至投影部３１１－Ｎ、並びに、被写体を撮像する撮像部３１２－１乃至撮像部３１２－Ｎを有する。以下において、投影部３１１－１乃至投影部３１１－Ｎを互いに区別して説明する必要が無い場合、投影部３１１と称する。また、撮像部３１２－１乃至撮像部３１２－Ｎを互いに区別して説明する必要が無い場合、撮像部３１２と称する。

　投影部３１１は、所謂プロジェクタの機能を有する。つまり、投影撮像装置３０２は、投影部３１１を用いてプロジェクタとして駆動することができる。例えば、投影撮像装置３０２は、この投影部３１１を用いて、制御装置３０１から供給される画像を任意の投影面に投影することができる。

　撮像部３１２は、所謂カメラの機能を有する。つまり、投影撮像装置３０２は、撮像部３１２を用いてカメラとして駆動することができる。例えば、投影撮像装置３０２は、この撮像部３１２を用いて、投影部３１１により画像が投影された投影面の撮像を行い、得られた撮像画像のデータを制御装置３０１に供給することができる。

　つまり、投影撮像装置３０２は、所謂プロジェクタの機能と、所謂カメラの機能との両方を有し、例えば画像を投影面に投影したり、投影面を撮像したりすることができる。また、投影撮像装置３０２は、そのプロジェクタの機能として、所謂超短焦点プロジェクタの機能を有しており、通常のプロジェクタと比べて投影面にはるかに近い位置に設置した場合でも大きな投影画を照射することができる。つまり、投影撮像装置３０２は、例えば、図１０に示されるように、投影面である壁１１３の近傍に設置され、そこから画像投影や投影面の撮像を行う。

　投影撮像装置３０２の数は任意であり、単数でも複数でも良い。投影撮像装置３０２が複数の場合、各投影撮像装置３０２は、制御装置３０１の制御の下、互いに協働し、図２や図３を参照して説明したような画像の投影を行うことができる。つまり、その場合の投影撮像システム３００は、所謂マルチプロジェクションシステムであり、所謂プロジェクションマッピングを実現することができる。

　なお、投影部３１１による画像の投影方向や拡大率、並びに、投影画像の歪み補正等が制御可能としてもよい。この制御のために、例えば、投影部３１１が有する光学系や投影部３１１全体の位置や姿勢を制御可能としてもよい。

　また、撮像部３１２による画像の撮像方向や画角、並びに、撮像画像の歪み補正等が制御可能としてもよい。この制御のために、例えば、撮像部３１２が有する光学系や撮像部３１２全体の位置や姿勢を制御可能としてもよい。

　さらに、このような投影部３１１の制御と撮像部３１２の制御は、互いに独立して行うことができるようにしてもよい。また、投影撮像装置３０２の位置や姿勢を制御可能としてもよい。なお、このような投影部３１１、撮像部３１２、および投影撮像装置３０２の制御は、制御装置３０１が行うようにしてもよいし、制御装置３０１以外が行うようにしてもよい。

　ケーブル３０３は、制御装置３０１と投影撮像装置３０２との間の通信路となり得る任意の通信規格の電気通信ケーブルである。なお、制御装置３０１と投影撮像装置３０２とが互いに通信可能であればよく、例えば、制御装置３０１と投影撮像装置３０２とが無線通信により接続されるようにしてもよい。その場合、ケーブル３０３を省略することができる。

　このような投影撮像システム３００において、制御装置３０１は、画像の幾何補正のために、各投影部３１１と各撮像部３１２との間の対応点検出を行う。例えば、制御装置３０１は、オンラインセンシングのISL方式により対応点検出を行うことができる。その際、制御装置３０１は、本技術を適用した対応点検出を行うことができる。

　　＜制御装置＞
　図１５は、本技術を適用した画像処理装置の一実施の形態である制御装置３０１の主な構成例を示すブロック図である。

　図１５に示されるように、制御装置３０１は、CPU（Central Processing Unit）３２１、ROM（Read Only Memory）３２２、RAM（Random Access Memory）３２３、バス３２４、入出力インタフェース３３０、入力部３３１、出力部３３２、記憶部３３３、通信部３３４、およびドライブ３３５を有する。

　CPU３２１、ROM３２２、RAM３２３は、バス３２４を介して相互に接続されている。バス３２４にはまた、入出力インタフェース３３０も接続されている。入出力インタフェース３３０には、入力部３３１、出力部３３２、記憶部３３３、通信部３３４、およびドライブ３３５が接続されている。

　入力部３３１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部３３１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれるようにしてもよい。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部３３１に含まれるようにしてもよい。出力部３３２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部３３２には、ディスプレイ、スピーカ、出力端子等が含まれるようにしてもよい。

　記憶部３３３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部３３３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれるようにしてもよい。通信部３３４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部３３４は、例えば、ネットワークインタフェースよりなるようにしてもよい。例えば、通信部３３４は、制御装置３０１の外部の装置と通信（プログラムやデータの授受）を行う。なお、通信部３３４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。

　ドライブ３３５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３４１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ３３５は、リムーバブルメディア３４１から読み出した情報をCPU３２１やRAM３２３等に供給する。また、ドライブ３３５は、書き込み可能なリムーバブルメディア３４１が自身に装着された場合、CPU３２１やRAM３２３等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア３４１に記憶させることができる。

　CPU３２１は、例えば、記憶部３３３に記憶されているプログラムを、入出力インタフェース３３０およびバス３２４を介して、RAM３２３にロードして実行することにより、各種処理を行う。RAM３２３にはまた、CPU３２１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　CPU３２１は、そのようにプログラム等を実行することにより、対応点の検出に関する処理、例えば、＜１．ISL方式と対応点検出＞において説明したような処理を行うことができる。

　　＜制御装置の機能ブロック＞
　図１６は、制御装置３０１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図１６に示されるように、プログラムを実行することにより制御装置３０１は、例えば、投影撮像処理部３５１、対応点検出処理部３５２、及び幾何補正処理部３５３の機能を有する。

　投影撮像処理部３５１は、画像の投影や撮像に関する処理を行う。例えば、投影撮像処理部３５１は、投影部３１１に投影させる画像に対する画像処理等を行う。また、投影撮像処理部３５１は、投影部３１１を制御し、画像の投影の制御に関する処理を行う。さらに、投影撮像処理部３５１は、撮像部３１２を制御し、撮像の制御に関する処理を行う。

　より具体的には、例えば、投影撮像処理部３５１は、＜１．ISL方式と対応点検出＞の＜ISL方式＞等において説明したような、パタン画像とコンテンツ画像との合成、その合成画像の投影の制御、その投影画像の撮像の制御等を行う。もちろん、投影撮像処理部３５１が行う処理は任意であり、これらの処理に限定されない。

　対応点検出処理部３５２は、投影撮像処理部３５１により制御されて撮像された撮像画像に基づく対応点の検出に関する処理を行う。例えば、対応点検出処理部３５２は、＜１．ISL方式と対応点検出＞の＜ISL方式＞、＜パタン画像のホモグラフィ変換適用＞、＜システムホモグラフィ変換＞、＜アルゴホモグラフィ変換＞等において説明したような処理を行う。

　より具体的には、対応点検出処理部３５２は、例えば、パタン撮像画像１２２（図１２）のような構図のパタン撮像画像からパタン差分画像の生成、システムホモグラフィ変換、アルゴホモグラフィ変換、対応点検出、逆ホモグラフィ変換等の処理を行う。もちろん、対応点検出処理部３５２が行う処理は任意であり、これらの処理に限定されない。

　幾何補正処理部３５３は、投影する画像の幾何補正に関する処理を行う。例えば幾何補正処理部３５３は、対応点検出処理部３５２により検出された対応点に基づいて、投影部等の姿勢推定、スクリーン（投影面）の再構成、投影する画像の幾何補正等の処理を行う。もちろん、幾何補正処理部３５３が行う処理は任意であり、これらの処理に限定されない。

　なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。

　　＜投影撮像処理部＞
　投影撮像処理部３５１が有する機能の例を図１７に示す。図１７において、投影撮像処理部３５１は、例えば、処理制御部３６１、投影制御部３６２、及び撮像制御部３６３等の機能ブロックで示される機能を有する。

　処理制御部３６１は、投影撮像処理の制御に関する処理を行う。例えば、処理制御部３６１は、処理対象とする投影部の選択や、処理回数の管理等の処理を行う。もちろん、処理制御部３６１が行う処理は任意であり、この処理に限定されない。

　投影制御部３６２は、画像投影の制御に関する処理を行う。例えば、投影制御部３６２は、パタン画像（構造化光パタンのポジ画像やネガ画像）を他の画像（例えばコンテンツ画像等）に重畳（合成）したり、その合成画像（重畳画像）を投影部３１１に供給したり、投影部３１１によるその合成画像（重畳画像）の投影を制御したりする。例えば、投影制御部３６２は、図８や図９に示されるような、輝度変化方向および長手方向が複数の、楕円形状のパタン１０１を含むパタン画像１００を用いて、図７等を参照して説明したようなISL方式でのパタン画像の投影を行う。もちろん、投影制御部３６２が行う処理は任意であり、この処理に限定されない。

　撮像制御部３６３は、投影部３１１により投影面に投影された投影画像の撮像の制御に関する処理を行う。例えば、撮像制御部３６３は、撮像部３１２を制御して、投影制御部３６２が制御する投影部３１１の画像投影に対応するタイミングにおいて投影画像を撮像させる。つまり、撮像制御部３６３は、図７等を参照して説明したようなISL方式でのパタン画像の投影に対応する撮像を行う。換言するに、撮像制御部３６３は、撮像部３１２を制御して、他の画像に重畳されて投影された構造化光パタンの撮像画像であるパタン撮像画像を生成させる。

　投影撮像装置３０２は、投影面近傍に設置されるため、撮像部３１２は、図１０乃至図１２等を参照して説明したように、投影面近傍から、例えば下から見上げるような方向で撮像することになる。つまり、撮像制御部３６３の制御により、例えば、図１２に示されるパタン撮像画像１２２のような構図のパタン撮像画像が生成される。もちろん、撮像制御部３６３が行う処理は任意であり、この処理に限定されない。

　なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。

　　＜対応点検出処理部＞
　対応点検出処理部３５２が有する機能の例を図１８に示す。図１８において、対応点検出処理部３５２は、例えば、制御部３７１、ノイズ低減部３７２、パタン差分画像生成部３７３、システムホモグラフィ変換部３７４、対応点検出部３７５、アルゴホモグラフィ変換部３７６、対応点検出部３７７、および逆ホモグラフィ変換部３７８等の機能ブロックで示される機能を有する。

　制御部３７１は、対応点検出の制御に関する処理を行う。例えば、制御部３７１は、処理対象とするパタン撮像画像の選択等の処理を行う。もちろん、制御部３７１が行う処理は任意であり、この処理に限定されない。

　ノイズ低減部３７２は、撮像画像のノイズ低減に関する処理を行う。例えば、ノイズ低減部３７２は、投影部３１１により投影された同種のパタン画像がコンテンツ画像に合成（重畳）された合成画像（重畳画像）の投影画像を撮像部３１２が撮像したパタン撮像画像同士（例えばポジ画像を含むパタン撮像画像同士、または、ネガ画像を含むパタン撮像画像同士）を加算することにより、パタン撮像画像のノイズを低減させる（S/N比を向上させる）。つまり、輝度変化方向が互いに同一の構造化光パタンを含む複数の投影画像のそれぞれの撮像画像同士が加算される。もちろん、ノイズ低減部３７２が行う処理は任意であり、この処理に限定されない。

　パタン差分画像生成部３７３は、パタン１０１の検出に関する処理を行う。例えば、パタン差分画像生成部３７３は、互いに異なる種のパタン画像がコンテンツ画像に合成（重畳）された合成画像（重畳画像）の投影画像を撮像したパタン撮像画像同士の差分を求める（例えばポジ画像を含むパタン撮像画像からネガ画像を含むパタン撮像画像を減算する）ことにより、パタン差分画像を生成する。つまりこのパタン差分画像は、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを含む２つの投影画像のそれぞれの撮像画像の差分画像である。

　このパタン差分画像においては、差分により、パタン撮像画像に含まれるコンテンツ画像の成分が打ち消し合って抑制され、逆に、パタン１０１の成分が輝度変化方向が互いに同じ向きになるように合成されて強調される。つまり、この処理により、パタン撮像画像からパタン１０１が検出される。換言するに、パタン差分画像は、検出されたパタン１０１を含む画像である。もちろん、パタン差分画像生成部３７３が行う処理は任意であり、この処理に限定されない。

　システムホモグラフィ変換部３７４は、設計値に基づくホモグラフィ変換に関する処理を行う。例えば、システムホモグラフィ変換部３７４は、＜１．ISL方式と対応点検出＞の＜システムホモグラフィ変換＞等において説明したような処理を行う。例えば、システムホモグラフィ変換部３７４は、パタン差分画像生成部３７３により生成されたパタン差分画像に対してシステムホモグラフィ変換を適用することにより、そのパタン差分画像におけるパタン１０１（が配置される平面）を、投影面の正面から見た平面に射影する。もちろん、システムホモグラフィ変換部３７４が行う処理は任意であり、この処理に限定されない。

　対応点検出部３７５は、対応点の検出に関する処理を行う。例えば、対応点検出部３７５は、＜１．ISL方式と対応点検出＞の＜システムホモグラフィ変換＞等において説明したような処理を行う。例えば、対応点検出部３７５は、システムホモグラフィ変換されたパタン差分画像のパタン１０１を用いて、投影画像と撮像画像との対応点（換言するに、投影部３１１の画素と撮像部３１２の画素との対応関係）の検出を行う。もちろん、対応点検出部３７５が行う処理は任意であり、この処理に限定されない。

　アルゴホモグラフィ変換部３７６は、対応点に基づくホモグラフィ変換に関する処理を行う。例えば、アルゴホモグラフィ変換部３７６は、＜１．ISL方式と対応点検出＞の＜アルゴホモグラフィ変換＞等において説明したような処理を行う。例えば、アルゴホモグラフィ変換部３７６は、システムホモグラフィ変換されたパタン差分画像に対してアルゴホモグラフィ変換を適用することにより、そのパタン差分画像におけるパタン１０１（が配置される平面）を、投影部３１１により投影される画像（投影画像でもよい）の平面に射影する。もちろん、アルゴホモグラフィ変換部３７６が行う処理は任意であり、この処理に限定されない。

　対応点検出部３７７は、対応点の検出に関する処理を行う。例えば、対応点検出部３７７は、＜１．ISL方式と対応点検出＞の＜アルゴホモグラフィ変換＞等において説明したような処理を行う。例えば、対応点検出部３７７は、アルゴホモグラフィ変換されたパタン差分画像のパタン１０１を用いて、投影画像と撮像画像との対応点（換言するに、投影部３１１の画素と撮像部３１２の画素との対応関係）の検出を行う。もちろん、対応点検出部３７７が行う処理は任意であり、この処理に限定されない。

　逆ホモグラフィ変換部３７８は、逆ホモグラフィ変換に関する処理を行う。例えば、逆ホモグラフィ変換部３７８は、＜１．ISL方式と対応点検出＞の＜システムホモグラフィ変換＞や＜アルゴホモグラフィ変換＞等において説明したような処理を行う。例えば、逆ホモグラフィ変換部３７８は、対応点検出部３７７により検出された対応点Ｐに対して、アルゴホモグラフィ逆変換やシステムホモグラフィ逆変換を行い、元のパタン差分画像の座標系に戻す。

　つまり、これらの処理部は、例えば、図１２や図１３等を参照して説明したような処理を行う。なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。

　　＜投影撮像装置＞
　図１９は、投影撮像装置３０２の外観の様子の例を示す斜視図である。図１９に示されるように投影撮像装置３０２の筐体には、所定の位置に投影部３１１および撮像部３１２が固定的に設けられている。投影部３１１は、筐体に対して所定の角度で投影するように形成され、撮像部３１２は、筐体に対して所定の角度で撮像するように形成されている。

　このようにすることにより、投影部３１１および撮像部３１２の相対位置、投影や撮像の相対角度、または画角等を、予め設定された既知の情報とすることができる。したがって、容易にシステムホモグラフィ変換を実現することができる。また、投影部３１１と撮像部３１２との間の基長線を確保することができるため、１台の投影撮像装置３０２の筐体のみで投影画像の歪み補正を行うことができる。

　なお、上述したように、投影撮像装置３０２は、投影面近傍に設置される。そして、図１９に示されるように、投影部３１１および撮像部３１２は、投影撮像装置３０２の筐体に固定的に設けられている。したがって、投影部３１１は、投影面近傍から、例えば下から見上げるような方向で、画像を投影し、撮像部３１２は、投影面近傍から、例えば、下から見上げるような方向で、投影面に投影された投影画像を撮像する。つまり、投影部３１２により得られるパタン撮像画像は、図１２のパタン撮像画像１２２のような構図の画像となる。

　図２０は、投影撮像装置３０２の主な構成例を示すブロック図である。図２０に示されるように、投影撮像装置３０２は、制御部４０１、投影部３１１、撮像部３１２、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５を有する。

　制御部４０１は、例えば、CPU、ROM、RAM等を有し、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。制御部４０１は、例えば制御装置３０１の制御に基づいて、それらの処理を行う。

　投影部３１１は、制御部４０１に制御されて、画像の投影に関する処理を行う。例えば、投影部３１１は、制御部４０１から供給される画像を投影撮像装置３０２の外部（例えば投影面等）に投影する。投影部３１１は、レーザ光を光源とし、MEMS（Micro Electro Mechanical Systems）ミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部３１１の光源は任意であり、レーザ光に限らず、例えばLED（Light Emitting Diode）やキセノン等であってもよい。

　撮像部３１２は、制御部４０１に制御されて、装置外部（例えば投影面等）の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部４０１に供給する。例えば、撮像部３１２は、投影部３１１により投影面に投影された投影画像を撮像する。撮像部３１２は、例えばCMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ、CCD（Charge Coupled Device）を用いたイメージセンサ等を有し、そのイメージセンサによって被写体からの光を光電変換して、撮像画像の電気信号（データ）を生成する。

　入力部４１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部４１１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、光センサ、温度センサ等の各種センサが入力部４１１に含まれるようにしてもよい。出力部４１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部４１２には、ディスプレイ、スピーカ、出力端子等が含まれる。

　記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。例えば、通信部４１４は、通信ケーブル３０３に接続され、通信ケーブル３０３を介して接続される制御装置３０１と通信を行うことができる。なお、通信部４１４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。ドライブ４１５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。

　　＜投影部＞
　図２１は、投影部３１１の主な構成例を示すブロック図である。図２１に示されるように、投影部３１１は、ビデオプロセッサ４３１、レーザドライバ４３２、レーザ出力部４３３－１、レーザ出力部４３３－２、レーザ出力部４３３－３、ミラー４３４－１、ミラー４３４－２、ミラー４３４－３、MEMSドライバ４３５、および、MEMSミラー４３６を有する。

　ビデオプロセッサ４３１は、制御部４０１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ４３１は、その投影する画像をレーザドライバ４３２やMEMSドライバ４３５に供給する。

　レーザドライバ４３２は、ビデオプロセッサ４３１から供給される画像を投影するように、レーザ出力部４３３－１乃至レーザ出力部４３３－３を制御する。レーザ出力部４３３－１乃至レーザ出力部４３３－３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ４３２は、ビデオプロセッサ４３１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部４３３－１乃至レーザ出力部４３３－３を互いに区別して説明する必要が無い場合、レーザ出力部４３３と称する。

　ミラー４３４－１は、レーザ出力部４３３－１から出力されるレーザ光を反射し、MEMSミラー４３６に誘導する。ミラー４３４－２は、レーザ出力部４３３－２から出力されるレーザ光を反射し、MEMSミラー４３６に誘導する。ミラー４３４－３は、レーザ出力部４３３－３から出力されるレーザ光を反射し、MEMSミラー４３６に誘導する。なお、ミラー４３４－１乃至ミラー４３４－３を互いに区別して説明する必要が無い場合、ミラー４３４と称する。

　MEMSドライバ４３５は、ビデオプロセッサ４３１から供給される画像を投影するように、MEMSミラー４３６のミラーの駆動を制御する。MEMSミラー４３６は、MEMSドライバ４３５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図２２の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えば投影面に照射される。これにより、ビデオプロセッサ４３１から供給される画像が投影面に投影される。

　なお、図２１の例においては、レーザ出力部４３３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部４３３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置３０２（投影部３１１）から出力されるレーザ光は、２本以下であってもよいし、４本以上であってもよい。そして、投影撮像装置３０２（投影部３１１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー４３４やMEMSミラー４３６の構成も任意であり、図２１の例に限定されない。もちろん、レーザ光の走査パターンは任意である。

　　＜幾何補正処理の流れ＞
　次に、このような構成の投影撮像システム３００において実行される処理について説明する。上述したように、投影撮像システム３００においては、制御装置３０１が、各投影撮像装置３０２を制御し、ISL方式のオンラインセンシングにより、コンテンツ等の画像を投影しながら、各投影部３１１と各撮像部３１２の間の対応点検出を行い、その対応点に基づいて、各投影部および各撮像部３１２の姿勢推定や投影面形成等を行い、投影する画像の幾何補正を行う。

　これらの処理を実行するために制御装置３０１において実行される幾何補正処理の流れの例を、図２３のフローチャートを参照して説明する。

　幾何補正処理が開始されると、制御装置３０１の投影撮像処理部３５１は、ステップＳ１０１において、投影撮像処理を実行し、投影や撮像の制御に関する処理を行う。例えば、投影撮像処理部３５１は、投影撮像装置３０２を制御して、構造化光パタンの投影や、その投影画像の撮像を行わせる。この構造化光パタンの投影やその投影画像の撮像に関する処理は、その詳細については後述するが、例えば、図７等を参照して説明したような処理を含む。

　ステップＳ１０２において、対応点検出処理部３５２は、対応点検出処理を実行し、対応点検出に関する処理を行う。例えば、対応点検出処理部３５２は、投影撮像装置３０２を制御して、ステップＳ１０１の処理により得られた撮像画像に基づいて対応点を検出する。この対応点検出処理は、その詳細については後述するが、例えば、＜１．ISL方式と対応点検出＞の＜システムホモグラフィ変換＞や＜アルゴホモグラフィ変換＞等において説明したような処理を含む。

　ステップＳ１０３において、幾何補正処理部３５３は、検出された対応点を用いて、各投影部３１１および各撮像部３１２（または各投影撮像装置３０２）の姿勢推定や投影スクリーン再構成を行う。投影スクリーン再構成とは、投影面である投影スクリーンの形状を推定する処理である。

　ステップＳ１０４において、幾何補正処理部３５３は、ステップＳ１０３の姿勢推定や投影スクリーン再構成の処理結果に基づいて、必要に応じて、各投影部３１１から投影させる画像についての幾何補正を行う。

　幾何補正が終了すると、幾何補正処理が終了する。制御装置３０１は、この幾何補正処理を、投影部３１１と撮像部３１２との全ての組み合わせについて実行する。

　　＜投影撮像処理の流れ＞
　次に、図２４のフローチャートを参照して、図２３のステップＳ１０１において実行される投影撮像処理の流れの例について説明する。

　投影撮像処理が開始されると、処理制御部３６１は、ステップＳ１２１において、処理対象とする投影部３１１を、未処理の投影部３１１の中から選択する。

　ステップＳ１２２において、投影制御部３６２は、その処理対象の投影部３１１による構造化光パタンのポジ画像の投影に関する処理を行う。例えば、投影制御部３６２は、図８や図９に示されるような構造化光パタンのポジ画像や、入力画像であるコンテンツ画像を取得する。そして、投影制御部３６２は、例えば図７に示されるように、そのポジ画像をコンテンツ画像に重畳し、重畳画像を生成する。また、投影制御部３６２は、その重畳画像を、通信部３３４及びケーブル３０３等を介して、ステップＳ１２１において選択した処理対象の投影部３１１に供給し、例えば図７に示されるように投影させる。処理対象の投影部３１１は、その制御に従って、制御装置３０１（投影制御部３６２）から供給されたその重畳画像等を、通信部４１４を介して取得し、所定のタイミングにおいてその重畳画像を投影面に向かって投影する。

　ステップＳ１２３において、撮像制御部３６３は、各撮像部３１２による投影画像の撮像に関する処理を行う。例えば、撮像制御部３６３は、各撮像部３１２を制御し、例えば図７に示されるように、ステップＳ１２２の処理により、処理対象の投影部３１１から投影された投影画像（構造化光パタンのポジ画像とコンテンツ画像の重畳画像の投影画像）を撮像させる。各撮像部３１２は、その制御に従って、その投影画像を撮像し、パタン撮像画像を生成する。また、各撮像部３１２は、生成したパタン撮像画像を、通信部４１４及びケーブル３０３等を介して、制御装置３０１（撮像制御部３６３）に供給する。撮像制御部３６３は、そのパタン撮像画像を、通信部３３４を介して取得する。

　ステップＳ１２４において、投影制御部３６２は、構造化光パタンのネガ画像について、ステップＳ１２２と同様の処理を行う。例えば、投影制御部３６２は、図８や図９に示されるような構造化光パタンのネガ画像や、入力画像であるコンテンツ画像を取得する。そして、投影制御部３６２は、例えば図７に示されるように、そのネガ画像をコンテンツ画像に重畳し、重畳画像を生成する。また、投影制御部３６２は、その重畳画像を、通信部３３４及びケーブル３０３等を介して、ステップＳ１２１において選択した処理対象の投影部３１１に供給し、例えば図７に示されるように投影させる。処理対象の投影部３１１は、その制御に従って、制御装置３０１（投影制御部３６２）から供給されたその重畳画像等を、通信部４１４を介して取得し、所定のタイミングにおいてその重畳画像を投影面に向かって投影する。

　ステップＳ１２５において、撮像制御部３６３は、ステップＳ１２３の処理と同様に、各撮像部３１２による投影画像の撮像に関する処理を行う。例えば、撮像制御部３６３は、各撮像部３１２を制御し、例えば図７に示されるように、ステップＳ１２２の処理により、処理対象の投影部３１１から投影された投影画像（構造化光パタンのネガ画像とコンテンツ画像の重畳画像の投影画像）を撮像させる。各撮像部３１２は、その制御に従って、その投影画像を撮像し、パタン撮像画像を生成する。また、各撮像部３１２は、生成したパタン撮像画像を、通信部４１４及びケーブル３０３等を介して、制御装置３０１（撮像制御部３６３）に供給する。撮像制御部３６３は、そのパタン撮像画像を、通信部３３４を介して取得する。

　ステップＳ１２６において、処理制御部３６１は、投影と撮像（ステップＳ１２２乃至ステップＳ１２５の各処理）を所定回数繰り返したか否かを判定する。処理制御部３６１は、撮像画像のノイズを低減させる（S/N比を向上させる）ことができるように、同種の構造化光パタンを含むパタン撮像画像を複数得るために、上述の投影と撮像を複数回行わせる。その為に、処理制御部３６１は、ステップＳ１２６において上述のように判定を行う。そして、所定回数に達していないと判定された場合、処理はステップＳ１２２に戻り、それ以降の処理を繰り返す。

　以上のようにしてステップＳ１２２乃至ステップＳ１２６の処理が繰り返し実行されて、ステップＳ１２６において、所定回数繰り返したと判定された場合、処理はステップＳ１２７に進む。

　ステップＳ１２７において、処理制御部３６１は、全ての投影部３１１に対して、ステップＳ１２２乃至ステップＳ１２５の各処理を実行したか否かを判定する。処理制御部３６１は、全ての投影部３１１に対して、ステップＳ１２２乃至ステップＳ１２５の各処理を実行させる。その為に、処理制御部３６１は、ステップＳ１２７において上述のように判定を行う。そして、未処理の投影部３１１が存在すると判定された場合、処理はステップＳ１２１に戻る。ステップＳ１２１に処理が戻ると、ステップＳ１２１において、新たな投影部３１１が処理対象として選択され、その投影部３１１に対して、ステップＳ１２２乃至ステップＳ１２７の処理が行われる。

　つまり、投影部３１１（または投影撮像装置３０２）が複数存在する場合、以上のようにしてステップＳ１２１乃至ステップＳ１２７の処理が繰り返し実行されて、各投影部から構造化光パタンの画像が順次投影される。そして、撮像部３１２（または投影撮像装置３０２）が複数存在する場合、各投影部３１１から投影された投影画像を、各撮像部３１２が撮像する（つまり、同一の投影画像を複数の撮像部３１２が撮像する）。ステップＳ１２７において、全ての投影部３１１に対して処理が行われたと判定された場合、投影撮像処理が終了し、処理は図２３に戻る。

　　＜対応点検出処理の流れ＞
　次に、図２５のフローチャートを参照して、図２３のステップＳ１０２において実行される対応点検出処理の流れの例について説明する。

　対応点検出処理が開始されると、制御部３７１は、ステップＳ１４１において、処理対象とするパタン撮像画像を未処理のパタン撮像画像の中から選択する。

　ステップＳ１４２において、ノイズ低減部３７２は、ステップＳ１４１において選択された処理対象のパタン撮像画像を、そのパタン撮像画像に含まれるパタン画像と同種のパタン画像がコンテンツ画像に合成（重畳）された合成画像（重畳画像）の投影画像の撮像画像（同種のパタン画像を含むパタン撮像画像）と加算し、撮像画像のノイズを低減させる（S/N比を向上させる）。

　ステップＳ１４３において、パタン差分画像生成部３７３は、ステップＳ１４２の処理によりノイズが低減された、互いに異なる種類のパタン画像（ポジ画像またはネガ画像）を含むパタン撮像画像同士の差分画像であるパタン差分画像を生成する。

　ステップＳ１４４において、システムホモグラフィ変換部３７４は、ステップＳ１４３の処理により得られたパタン差分画像に対して、例えば＜１．ISL方式と対応点検出＞の＜システムホモグラフィ変換＞等において説明したように、投影部３１１や撮像部３１２の設計値に基づくホモグラフィ変換（システムホモグラフィ変換）を適用する。例えば、システムホモグラフィ変換部３７４は、投影部３１１や撮像部３１２の設計値を用いて、投影画像の４隅の点からシステムホモグラフィ行列Ｈｓを求める。そして、システムホモグラフィ変換部３７４は、そのシステムホモグラフィ行列Ｈｓを用いて、ステップＳ１４３の処理により得られたパタン差分画像に対して、システムホモグラフィ変換を施す。

　ステップＳ１４５において、対応点検出部３７５は、例えば＜１．ISL方式と対応点検出＞の＜システムホモグラフィ変換＞等において説明したように、ステップＳ１４４の処理により得られたシステムホモグラフィ変換後のパタン差分画像のパタンを用いて、投影部３１１の画素と撮像部３１２の画素との対応点を検出する。

　ステップＳ１４６において、アルゴホモグラフィ変換部３７６は、例えば＜１．ISL方式と対応点検出＞の＜アルゴホモグラフィ変換＞等において説明したように、ステップＳ１４５の処理により検出された対応点からホモグラフィ変換を求める。例えば、アルゴホモグラフィ変換部３７６は、ステップＳ１４５の処理により検出された対応点を用いてアルゴホモグラフィ行列Ｈａを求める。

　ステップＳ１４７において、アルゴホモグラフィ変換部３７６は、例えば＜１．ISL方式と対応点検出＞の＜アルゴホモグラフィ変換＞等において説明したように、ステップＳ１４３の処理により得られたパタン差分画像に対して、対応点に基づくホモグラフィ変換（アルゴホモグラフィ変換）を適用する。例えば、アルゴホモグラフィ変換部３７６は、ステップＳ１４６の処理により得られたアルゴホモグラフィ行列Ｈａを用いて、ステップＳ１４３の処理により得られたパタン差分画像に対して、アルゴホモグラフィ変換を施す。

　ステップＳ１４８において、対応点検出部３７７は、例えば＜１．ISL方式と対応点検出＞の＜アルゴホモグラフィ変換＞等において説明したように、ステップＳ１４７の処理により得られたアルゴホモグラフィ変換後のパタン差分画像のパタンを用いて、投影部３１１の画素と撮像部３１２の画素との対応点を検出する。

　ステップＳ１４９において、逆ホモグラフィ変換部３７８は、例えば＜１．ISL方式と対応点検出＞の＜システムホモグラフィ変換＞や＜アルゴホモグラフィ変換＞等において説明したように、ステップＳ１４８の処理により求められた対応点に対して、上述したホモグラフィ変換の逆変換である逆ホモグラフィ変換を適用する。例えば、逆ホモグラフィ変換部３７８は、ステップＳ１４８の処理により求められた対応点に対して、ステップＳ１４７の処理の逆変換であるアルゴホモグラフィ逆変換と、ステップＳ１４４の処理の逆変換であるシステムホモグラフィ逆変換とを適用する。

　ステップＳ１５０において、制御部３７１は、全てのパタン撮像画像を処理したか否かを判定する。未処理のパタン撮像画像が存在すると判定された場合、処理はステップＳ１４１に戻る。そして、ステップＳ１４１において、新たな未処理のパタン撮像画像が処理対象として選択される。そして、その新たな処理対象に対して、ステップＳ１４２乃至ステップＳ１５０の処理が行われる。

　このように、ステップＳ１４１乃至ステップＳ１５０の各処理が繰り返し実行され、ステップＳ１５０において、全てのパタン撮像画像を処理したと判定された場合、対応点検出処理が終了し、処理は図２３に戻る。つまり、対応点検出処理部３５２の各処理部は、図１２や図１３等を参照して説明したような処理を実行する。

　以上のように各処理を実行することにより、＜１．ISL方式と対応点検出＞において説明したように、対応点検出精度の低減を抑制することができる。

　　＜対応点検出数比較＞
　次に、ホモグラフィ変換による対応点検出数への影響についてより具体的に説明する。例えば、ホモグラフィ変換を行う前のパタン撮像画像（例えば図１２のパタン撮像画像１２２）より対応点を検出するシミュレーションを行った場合、検出できた対応点数は、４１５個であった。このパタン撮像画像にシステムホモグラフィ変換を適用し、そのシステムホモグラフィ変換適用後のパタン撮像画像（例えば図１２のパタン撮像画像１２３）より対応点を検出するシミュレーションを行った場合、検出できた対応点数は、４６１個に増大した。さらに、このパタン撮像画像にアルゴホモグラフィ変換を適用し、そのアルゴホモグラフィ変換適用後のパタン撮像画像（例えば図１２のパタン撮像画像１２４）より対応点を検出するシミュレーションを行った場合、検出できた対応点数は、７３５個に増大した。

　つまり、上述したようにパタン撮像画像に対してホモグラフィ変換を適用して対応点検出を行うことにより、対応点の検出数の低減を抑制することができる。一般的に、対応点の検出数が増大することにより、より精度の高い対応点を用いて、または、より多くの情報に基づいて、幾何補正を行うことができるので、幾何補正の精度を向上させることができる。幾何補正の精度を向上させることができるのであるから対応点の検出精度を向上させることができるのと等価である。つまり、上述したようにパタン撮像画像に対してホモグラフィ変換を適用して対応点検出を行うことにより、対応点の検出精度の低減を抑制することができる。

　　＜対応点検出精度比較＞
　次に、ホモグラフィ変換による対応点検出精度への影響についてより具体的に説明する。図２６のＡは、ホモグラフィ変換を行う前のパタン撮像画像（例えば図１２のパタン撮像画像１２２）より対応点を検出する場合の、対応点検出結果とその精度の例を示す図である。図２６のＢは、ホモグラフィ変換としてシステムホモグラフィ変換およびアルゴホモグラフィ変換を行った後のパタン撮像画像（例えば図１２のパタン撮像画像１２４）より対応点を検出する場合の、対応点検出結果とその精度の例を示す図である。

　図２６のＡおよび図２６のＢにおいて、各円は、投影される画像の座標上における検出された対応点を表している。また、各円の濃度は、その対応点検出の誤差の大きさを表現しており、濃度が濃い程誤差が大きいことを示している。図２６のＡと図２６のＢとを比較して明らかなように、パタン撮像画像１２４より対応点を検出する場合（図２６のＢ）の方が、パタン撮像画像１２２より対応点を検出する場合（図２６のＡ）の場合よりも誤差が小さくなる。つまり、上述したようにパタン撮像画像に対してホモグラフィ変換を適用して対応点検出を行うことにより、対応点の検出精度の低減を抑制することができる。

　　＜対応点検出精度比較＞
　次に、撮像部３１２を超短焦点配置にし、以上のような方法で対応点検出を行う場合（投影面の近傍から撮像する場合）と、撮像部３１２を俯瞰配置にする場合（投影面の正面から撮像する場合）とでの対応点検出精度の比較について説明する。

　投影面の近傍から撮像する場合の対応点検出結果とその精度の例を図２７に示す。また、投影面の正面から撮像する場合の対応点検出結果とその精度の例を図２８に示す。図２７と図２８とを比較して明らかなように、両者の対応点検出の精度は大きく変わらない。つまり、上述したような本技術を適用することにより、撮像部３１２を超短焦点配置する場合であっても、撮像部３１２を俯瞰配置にする場合と同等の対応点検出精度を得ることができる。つまり、本技術を適用することにより、対応点の検出精度の低減を抑制することができる。

　　＜投影撮像装置＞
　なお、図１９においては、投影部３１１と撮像部３１２とが、投影撮像装置３０２の筐体の互いに異なる位置に設けられるように説明したが、これに限らず、投影部３１１と撮像部３１２とを同軸上に配置するようにしてもよい。図２９の例の場合、投影撮像装置３０２の筐体には、投影撮像部４５１が設けられている。この投影撮像部４５１は、投影部３１１、およびその投影部３１１の光学系と同軸上に配置された撮像部３１２を有する。

　このような構成にすることにより、余分な光学系を追加する必要がなく、投影撮像装置３０２の筐体を、図１９の場合よりも小型化することができる。また、複数の投影撮像装置３０２の筐体を用いることにより、お互いの光学系間において基長線が存在するため、投影画像の歪み補正を行うことができる。

　なお、投影撮像装置３０２の筐体において、投影部３１１や撮像部３１２の位置、向き、画角等を可変とするようにしてもよい。ただし、システムホモグラフィ変換を容易に実現することができるようにするためには、それらが既知の情報であるか、または、それらの情報を容易に知ることができる計測機能を備えるようにするのが好ましい。

　　＜パタン画像＞
　なお、以上においては、図８や図９に示されるようなパタン画像１００を用いるように説明したが、パタン画像は任意であり、これらの例に限定されない。例えば、パタンの形状、大きさ、位置、長手方向、輝度変化方向等は全て任意である。また、対応点検出に用いるパタン画像の枚数も任意である。１枚のパタン画像から対応点を検出するようにしてもよいし、３枚以上のパタン画像を用いて対応点を検出するようにしてもよい。また、例えば、使用するパタン画像が、互いに異なる種類のパタン画像よりなる複数の候補の中から、コンテンツ画像等に応じて適応的に選択されるようにしてもよい。または、既存のパタン画像が、コンテンツ画像等に応じて適応的に変形されるようにしてもよい。さらに、コンテンツ画像等に応じて適応的に新たなパタン画像が生成されるようにしてもよい。

　　＜対応点検出方法＞
　また、以上においてはISL方式を用いるように説明したが、対応点の検出方法は、パタン画像を用いるものであればどのような方法であってもよく、ISL方式に限定されない。したがって、ホモグラフィ変換の適用は、パタンが含まれる撮像画像、すなわち、パタン撮像画像に対して行うことができる。なお、以上においては、パタン差分画像に対してホモグラフィ変換を適用するように説明したが、このパタン差分画像は、パタン撮像画像を用いて得られる画像であり、パタン撮像画像の一例である。

　付言するに、パタン画像がコンテンツ画像に重畳されていなくてもよい。つまり、パタン撮像画像は、パタン画像がコンテンツ画像と重畳されずに投影された投影画像を撮像したものであってもよい。すなわち、この場合のパタン撮像画像には、パタン画像が含まれるものの、コンテンツ画像は含まれない。このようなパタン撮像画像にも上述の場合と同様にホモグラフィ変換を適用することができる。

　＜３．第２の実施の形態＞
　　＜投影撮像システム、投影撮像装置の他の構成例＞
　なお、本技術を適用した投影撮像システムの構成例は、上述した例に限定されない。例えば図３０のＡに示される投影撮像システム５００のように、制御装置３０１並びに各投影撮像装置３０２がネットワーク５０１を介して互いに接続されるようにしてもよい。

　ネットワーク５０１は、任意の通信網である。ネットワーク５０１において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク５０１は、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク５０１に含まれるようにしてもよい。

　制御装置３０１並びに各投影撮像装置３０２は、このネットワーク５０１に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。なお、各装置の数、筐体の形状や大きさ、配置位置等は任意である。

　制御装置３０１並びに各投影撮像装置３０２は、ネットワーク５０１を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、制御装置３０１並びに各投影撮像装置３０２は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。

　このような構成の投影撮像システム５００の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

　また、例えば図３０のＢに示される投影撮像システム５１０のように、投影部３１１と撮像部３１２とが互いに異なる装置として構成されるようにしてもよい。投影撮像システム５１０は、投影撮像装置３０２の代わりに、投影装置５１１－１乃至投影装置５１１－Ｎ（Ｎは任意の自然数）、並びに、撮像装置５１２－１乃至撮像装置５１２－Ｍ（Ｍは任意の自然数）を有する。投影装置５１１－１乃至投影装置５１１－Ｎは、それぞれ、投影部３１１（投影部３１１－１乃至投影部３１１－Ｎ）を有し、画像の投影を行う。撮像装置５１２－１乃至撮像装置５１２－Ｍは、それぞれ、撮像部３１２（撮像部３１２－１乃至撮像部３１２－Ｍ）を有し、投影面（投影部３１１が投影した投影画像）の撮像を行う。

　投影装置５１１－１乃至投影装置５１１－Ｎを互いに区別して説明する必要が無い場合、投影装置５１１と称する。撮像装置５１２－１乃至撮像装置５１２－Ｍを互いに区別して説明する必要が無い場合、撮像装置５１２と称する。

　各投影装置５１１並びに各撮像装置５１２は、それぞれ制御装置３０１と通信可能に接続されており、有線通信若しくは無線通信またはその両方により制御装置３０１と通信を行う（情報を授受する）ことができる。なお、各投影装置５１１並びに各撮像装置５１２が、制御装置３０１を介して、他の投影装置５１１若しくは他の撮像装置５１２またはその両方と通信を行うことができるようにしてもよい。

　また、各装置の数、筐体の形状や大きさ、配置位置等は任意である。また、図３０のＡの例のように、各装置が、ネットワーク５０１等のような他の設備（装置や伝送路）を介して互いに通信可能に接続されるようにしてもよい。

　このような構成の投影撮像システム５１０の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

　また、例えば図３１のＡに示される投影撮像システム５２０のように、制御装置３０１を省略するようにしてもよい。図３１のＡに示されるように、投影撮像システム５２０は、投影撮像装置５２１－１乃至投影撮像装置５２１－Ｎ（Ｎは任意の自然数）を有する。投影撮像装置５２１－１乃至投影撮像装置５２１－Ｎを互いに区別して説明する必要が無い場合、投影撮像装置５２１と称する。各投影撮像装置５２１は、通信ケーブル５２２を介して互いに通信可能に接続されているなお、各投影撮像装置５２１が無線通信によって互いに通信可能に接続されるようにしてもよい。

　投影撮像装置５２１－１乃至投影撮像装置５２１－Ｎは、それぞれ、制御部５２３－１乃至制御部５２３－Ｎを有する。制御部５２３－１乃至制御部５２３－Ｎを互いに区別して説明する必要が無い場合、制御部５２３と称する。制御部５２３は、制御装置３０１と同様の機能を有し、同様の処理を行うことができる。

　つまり、この投影撮像システム５２０の場合、上述した制御装置３０１において行われる処理が、投影撮像装置５２１（の制御部５２３）において実行される。なお、いずれかの投影撮像装置５２１（の制御部５２３）が、制御装置３０１において行われる処理の全てを実行するようにしてもよいし、複数の投影撮像装置５２１（の制御部５２３）が、情報を授受し合う等して協働して処理を実行するようにしてもよい。

　このような構成の投影撮像システム５２０の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

　また、例えば図３１のＢに示されるように、投影撮像システム３００が１つの装置として構成されるようにしてもよい。図３１のＢに示される投影撮像装置５３０は、投影部３１１（投影部３１１－１乃至投影部３１１－Ｎ（Ｎは任意の自然数））、撮像部３１２（撮像部３１２－１乃至撮像部３１２－Ｍ（Ｍは任意の自然数））、並びに、制御部５２３を有する。

　投影撮像装置５３０において、制御部５２３は、上述した制御装置３０１において行われる処理を実行することにより、各投影部３１１並びに各撮像部３１２を制御して対応点の検出等を行う。

　したがって、このような構成の投影撮像装置５３０の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

　＜４．その他＞
　　＜ソフトウエア＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムやデータ等が、ネットワークや記録媒体からインストールされる。

　例えば図１５の制御装置３０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムやデータ等を配信するために配布される、そのプログラムやデータ等が記録されているリムーバブルメディア３４１により構成される。その場合、例えば、リムーバブルメディア３４１をドライブ３３５に装着することにより、そのリムーバブルメディア３４１に記憶されているこのプログラムやデータ等を読み出させ、記憶部３３３にインストールさせることができる。

　また例えば図２０の投影撮像装置３０２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムやデータ等を配信するために配布される、そのプログラムやデータ等が記録されているリムーバブルメディア４２１により構成される。その場合、例えば、リムーバブルメディア４２１をドライブ４１５に装着することにより、そのリムーバブルメディア４２１に記憶されているこのプログラムやデータ等を読み出させ、記憶部４１３にインストールさせることができる。

　また、このプログラムやデータ等は、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図１５の制御装置３０１の場合、そのプログラムやデータ等は、通信部３３４で受信し、記憶部３３３にインストールすることができる。また、例えば図２０の投影撮像装置３０２の場合、そのプログラムやデータ等は、通信部４１４で受信し、記憶部４１３にインストールすることができる。

　その他、このプログラムやデータ等は、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば図１５の制御装置３０１の場合、プログラムやデータ等は、記憶部３３３やROM３２２等に予めインストールしておくこともできる。また、例えば図２０の投影撮像装置３０２の場合、プログラムやデータ等は、記憶部４１３や制御部４０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。

　　＜補足＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。

　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

　コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

　なお、本技術は以下のような構成も取ることができる。
　（１）　投影部により投影された所定の構造化光パタンを撮像部が撮像したパタン撮像画像にホモグラフィ変換を適用し、前記ホモグラフィ変換が適用された前記パタン撮像画像を用いて、前記投影部により投影された投影画像と前記撮像部により撮像された撮像画像との間の対応点を検出する対応点検出部
　を備える画像処理装置。
　（２）　前記対応点検出部は、前記投影部および前記撮像部の設計値に基づいて前記ホモグラフィ変換を適用することにより、前記パタン撮像画像を正面から見た座標系に変換し、前記正面から見た座標系に変換された前記パタン撮像画像を用いて前記対応点を検出する
　（１）に記載の画像処理装置。
　（３）　前記対応点検出部は、前記設計値に基づいて、前記投影部により投影された投影画像の４隅の座標を前記撮像部の座標系に変換し、変換された前記４隅の座標を利用して前記パタン撮像画像に前記ホモグラフィ変換を適用する
　（２）に記載の画像処理装置。
　（４）　前記対応点検出部は、検出した前記対応点に、前記ホモグラフィ変換の逆変換である逆ホモグラフィ変換を適用する
　（２）または（３）に記載の画像処理装置。
　（５）　前記対応点検出部は、
　　前記投影部および前記撮像部の設計値に基づいて前記ホモグラフィ変換を適用することにより、前記パタン撮像画像を正面から見た座標系に変換し、前記正面から見た座標系に変換された前記パタン撮像画像を用いて仮の対応点を検出し、
　　さらに、検出した前記仮の対応点に基づいて前記ホモグラフィ変換を適用することにより、前記正面から見た座標系に変換された前記パタン撮像画像を、前記投影部により投影された投影画像の座標系に変換し、前記投影画像の座標系に変換された前記パタン撮像画像を用いて前記対応点を検出する
　（１）に記載の画像処理装置。
　（６）　前記対応点検出部は、検出した前記対応点に、前記ホモグラフィ変換の逆変換である逆ホモグラフィ変換を適用する
　（５）に記載の画像処理装置。
　（７）　前記パタン撮像画像は、他の画像に重畳されて投影された前記構造化光パタンの撮像画像を用いて得られる画像である
　（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記パタン撮像画像は、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの前記構造化光パタンを含む２つの投影画像のそれぞれの撮像画像の差分画像である
　（７）に記載の画像処理装置。
　（９）　前記パタン撮像画像は、前記輝度変化方向が互いに同一の前記構造化光パタンを含む複数の投影画像のそれぞれの撮像画像同士が加算された合成画像の、前記輝度変化方向が互いに逆向きの前記構造化光パタンを含むもの同士の差分画像である
　（８）に記載の画像処理装置。
　（１０）　前記構造化光パタンは、輝度変化方向が互いに逆向きの楕円形状の２つのパタンを含む
　（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記構造化光パタンは、前記楕円形状の長手方向が異なる複数のパタンを含む
　（１０）に記載の画像処理装置。
　（１２）　前記投影部をさらに備える
　（１）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）　前記投影部は、投影面に近接している
　（１２）に記載の画像処理装置。
　（１４）　前記投影部は、同一の構造化光パタンを複数回投影する
　（１２）または（１３）に記載の画像処理装置。
　（１５）　前記投影部を複数備え、
　各投影部より前記構造化光パタンを順次投影する
　（１２）に記載の画像処理装置。
　（１６）　前記撮像部を備える
　（１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記撮像部は、投影面に近接している
　（１６）に記載の画像処理装置。
　（１８）　前記撮像部は、同一の構造化光パタンの投影画像を複数回撮像する
　（１６）または（１７）に記載の画像処理装置。
　（１９）　前記撮像部を複数備え、
　各撮像部により、同一の構造化光パタンの投影画像を撮像する
　（１６）乃至（１８）のいずれかに記載の画像処理装置。
　（２０）　投影部により投影された所定の構造化光パタンを撮像部が撮像したパタン撮像画像にホモグラフィ変換を適用し、前記ホモグラフィ変換が適用された前記パタン撮像画像を用いて、前記投影部により投影された投影画像と前記撮像部により撮像された撮像画像との間の対応点を検出する
　画像処理方法。

　１００　パタン画像，　１０１　パタン，　３００　投影撮像システム，　３０１　制御装置，　３０２　投影撮像装置，　３１１　投影部，　３１２　撮像部，　３５１　投影撮像処理部，　３５２　対応点検出処理部，　３５３　帰化補正処理部，　３６１　処理制御部，　３６２　投影制御部，　３６３　撮像制御部，　３７１　制御部，　３７２　ノイズ低減部，　３７３　パタン差分画像生成部，　３７４　システムホモグラフィ変換部，　３７５　対応点検出部，　３７６　アルゴホモグラフィ変換部，　３７７　対応点検出部，　３７８　逆ホモグラフィ変換部，　４０１　制御部，　５００　投影撮像システム，　５０１　ネットワーク，　５１０　投影撮像システム，　５１１　投影装置，　５１２　撮像装置，　５２０　投影撮像システム，　５２１　投影撮像装置，　５２３　制御部，　５３０　投影撮像装置

Claims (20)

1. 　投影部により投影された所定の構造化光パタンを撮像部が撮像したパタン撮像画像にホモグラフィ変換を適用し、前記ホモグラフィ変換が適用された前記パタン撮像画像を用いて、前記投影部により投影された投影画像と前記撮像部により撮像された撮像画像との間の対応点を検出する対応点検出部
   　を備える画像処理装置。
2. 　前記対応点検出部は、前記投影部および前記撮像部の設計値に基づいて前記ホモグラフィ変換を適用することにより、前記パタン撮像画像を正面から見た座標系に変換し、前記正面から見た座標系に変換された前記パタン撮像画像を用いて前記対応点を検出する
   　請求項１に記載の画像処理装置。
3. 　前記対応点検出部は、前記設計値に基づいて、前記投影部により投影された投影画像の４隅の座標を前記撮像部の座標系に変換し、変換された前記４隅の座標を利用して前記パタン撮像画像に前記ホモグラフィ変換を適用する
   　請求項２に記載の画像処理装置。
4. 　前記対応点検出部は、検出した前記対応点に、前記ホモグラフィ変換の逆変換である逆ホモグラフィ変換を適用する
   　請求項２に記載の画像処理装置。
5. 　前記対応点検出部は、
   　　前記投影部および前記撮像部の設計値に基づいて前記ホモグラフィ変換を適用することにより、前記パタン撮像画像を正面から見た座標系に変換し、前記正面から見た座標系に変換された前記パタン撮像画像を用いて仮の対応点を検出し、
   　　さらに、検出した前記仮の対応点に基づいて前記ホモグラフィ変換を適用することにより、前記正面から見た座標系に変換された前記パタン撮像画像を、前記投影部により投影された投影画像の座標系に変換し、前記投影画像の座標系に変換された前記パタン撮像画像を用いて前記対応点を検出する
   　請求項１に記載の画像処理装置。
6. 　前記対応点検出部は、検出した前記対応点に、前記ホモグラフィ変換の逆変換である逆ホモグラフィ変換を適用する
   　請求項５に記載の画像処理装置。
7. 　前記パタン撮像画像は、他の画像に重畳されて投影された前記構造化光パタンの撮像画像を用いて得られる画像である
   　請求項１に記載の画像処理装置。
8. 　前記パタン撮像画像は、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの前記構造化光パタンを含む２つの投影画像のそれぞれの撮像画像の差分画像である
   　請求項７に記載の画像処理装置。
9. 　前記パタン撮像画像は、前記輝度変化方向が互いに同一の前記構造化光パタンを含む複数の投影画像のそれぞれの撮像画像同士が加算された合成画像の、前記輝度変化方向が互いに逆向きの前記構造化光パタンを含むもの同士の差分画像である
   　請求項８に記載の画像処理装置。
10. 　前記構造化光パタンは、輝度変化方向が互いに逆向きの楕円形状の２つのパタンを含む
    　請求項１に記載の画像処理装置。
11. 　前記構造化光パタンは、前記楕円形状の長手方向が異なる複数のパタンを含む
    　請求項１０に記載の画像処理装置。
12. 　前記投影部をさらに備える
    　請求項１に記載の画像処理装置。
13. 　前記投影部は、投影面に近接している
    　請求項１２に記載の画像処理装置。
14. 　前記投影部は、同一の構造化光パタンを複数回投影する
    　請求項１２に記載の画像処理装置。
15. 　前記投影部を複数備え、
    　各投影部より前記構造化光パタンを順次投影する
    　請求項１２に記載の画像処理装置。
16. 　前記撮像部を備える
    　請求項１に記載の画像処理装置。
17. 　前記撮像部は、投影面に近接している
    　請求項１６に記載の画像処理装置。
18. 　前記撮像部は、同一の構造化光パタンの投影画像を複数回撮像する
    　請求項１６に記載の画像処理装置。
19. 　前記撮像部を複数備え、
    　各撮像部により、同一の構造化光パタンの投影画像を撮像する
    　請求項１６に記載の画像処理装置。
20. 　投影部により投影された所定の構造化光パタンを撮像部が撮像したパタン撮像画像にホモグラフィ変換を適用し、前記ホモグラフィ変換が適用された前記パタン撮像画像を用いて、前記投影部により投影された投影画像と前記撮像部により撮像された撮像画像との間の対応点を検出する
    　画像処理方法。

Images