JPWO2017163928A1 - 画像処理装置および方法 - Google Patents

Abstract

本開示は、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができるようにする画像処理装置および方法に関する。投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、その投影部により投影された投影画像を撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価し、その類似度の評価結果に基づいて、投影部若しくは撮像部、またはその両方の姿勢を設定する。本開示は、例えば、画像処理装置、投影装置、撮像装置、投影撮像装置、制御装置、または投影撮像システム等に適用することができる。

Description

本開示は、画像処理装置および方法に関し、特に、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができるようにした画像処理装置および方法に関する。

従来、プロジェクタにより投影された投影画像の歪みの低減や、複数のプロジェクタによる各投影画像の位置合わせのために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等を推定し、それらに応じた投影画像の幾何補正を行う方法があった。

その際のプロジェクタの位置や姿勢等を推定する方法として、投影中のコンテンツ等の画像の特徴量を利用する方法が考えられた（例えば、非特許文献１参照）。

David G. Lowe, "What and Where: 3D Object Recognition with Accurate Pose",2006

しかしながら、この方法の場合、姿勢推定の性能の投影画像への依存度が高く、投影画像から特徴点を多く抽出できなかったり、抽出した特徴点の位置に偏りがあったりすると、姿勢推定が困難になるおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができるようにするものである。

本技術の一側面の画像処理装置は、投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価する類似度評価部と、前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する姿勢設定部とを備える画像処理装置である。

前記姿勢設定部は、前記類似度評価部により前記類似度が最適となると評価された前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。

前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の絶対値の差の総和を、前記類似度を示す評価値として求め、前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。

前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の差の２乗の総和を、前記類似度を示す評価値として求め、前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。

前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、正規化相互相関を、前記類似度を示す評価値として求め、前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。

前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、ゼロ平均正規化相互相関を、前記類似度を示す評価値として求め、前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。

前記類似度評価部は、前記投影部若しくは前記撮像部、またはその両方の仮想の姿勢を設定し、前記仮想の姿勢において得られる前記シミュレーション画像を生成し、前記撮像画像と前記シミュレーション画像との類似度を評価することができる。

前記類似度評価部は、前記シミュレーション画像を、輝度値または所定の色成分で生成することができる。

前記類似度評価部は、前記撮像画像の縮小画像と前記シミュレーション画像との類似度を評価することができる。

前記類似度評価部は、前記撮像画像の、処理対象とする所定の範囲の部分画像について、前記シミュレーション画像との類似度を評価することができる。

前記類似度評価部は、前記類似度の評価を複数回繰り返すことができる。

前記類似度評価部は、前記撮像画像の解像度、または、前記撮像画像内の処理対象とする部分画像の範囲を可変として各回の前記類似度の評価を行うことができる。

前記撮像画像と前記シミュレーション画像との間で対応点を求め、前記撮像画像と前記シミュレーション画像との間の前記対応点の距離を評価する対応点距離評価部をさらに備えることができる。

前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との両方を行い、前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果と、前記類似度評価部による前記類似度の評価結果との両方に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。

前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との内のいずれか一方を行い、前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果、または、前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定することができる。

前記類似度評価部は、複数の投影部と複数の撮像部とのそれぞれの間で、前記撮像画像と前記シミュレーション画像との類似度を評価し、前記姿勢設定部は、前記類似度評価部による各投影部と各撮像部との間の前記類似度の評価結果に基づいて、前記複数の投影部若しくは前記複数の撮像部、またはその両方の姿勢を推定結果として設定することができる。

前記姿勢設定部により設定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備えることができる。

投影画像を投影する投影部をさらに備えることができる。

投影画像を撮像して撮像画像を得る撮像部をさらに備えることができる。

本技術の一側面の画像処理方法は、投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価し、前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を設定する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、その投影部により投影された投影画像を撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度が評価され、その類似度の評価結果に基づいて、投影部若しくは撮像部、またはその両方の姿勢が設定される。

本開示によれば、画像を処理することができる。特に、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができる。

姿勢変化の様子の例を示す図である。 姿勢推定方法の例を示す図である。 姿勢推定方法の例を示す図である。 バンドルアジャストメントの様子の例を示す図である。 投影画像の例を示す図である。 姿勢推定の様子の例を示す図である。 姿勢推定方法の例を示す図である。 部分画像のマッチングの例を説明する図である。 多段階のマッチングの例を説明する図である。 投影撮像システムの主な構成例を示すブロック図である。 制御装置の主な構成例を示すブロック図である。 制御装置が実現する機能例を示す機能ブロック図である。 投影撮像装置の主な構成例を示すブロック図である。 投影部の主な構成例を示すブロック図である。 レーザ光の走査の例を示す図である。 画像投影処理の流れの例を説明するフローチャートである。 姿勢推定処理の流れの例を説明するフローチャートである。 類似度評価処理の流れの例を説明するフローチャートである。 姿勢推定部が実現する機能例を示す機能ブロック図である。 姿勢推定処理の流れの例を説明するフローチャートである。 姿勢推定処理の流れの例を説明するフローチャートである。 投影撮像システムの他の構成例を示すブロック図である。 投影撮像システムや投影撮像装置の主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．画像類似度を用いた姿勢推定
２．第１の実施の形態（投影撮像システム）
３．第２の実施の形態（姿勢推定部）
４．第３の実施の形態（投影撮像システム・投影撮像装置）
５．その他

＜１．画像類似度を用いた姿勢推定＞
＜幾何補正＞
プロジェクタの投影面（スクリーンや壁等）に対する姿勢（位置や向き等）や投影面の形状等によって、投影された画像（投影画像とも称する）が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、投影画像の歪みを低減し、見やすくすることができる。

また、複数のプロジェクタにより画像を投影して、１つの投影画像を形成させるシステムがある。例えば、複数のプロジェクタから互いに同位置に画像を投影することにより、コントラスト比を大きくし、ハイダイナミックレンジを実現する方法がある。また、例えば、各プロジェクタから投影された投影画像を並べることにより、１台のプロジェクタが投影する投影画像よりも大きな投影画像（１台のプロジェクタが投影する投影画像よりも高解像度の投影画像）を実現する方法がある。これらの方法の場合、各投影画像に対する上述した歪み補正だけでなく、投影画像同士の位置合わせ（シフトやズーム等）の補正も必要になる場合がある。さらに、明るさや色等を投影画像間で揃える補正も必要になる場合もある。

本明細書においては、投影画像の変形、移動、拡大、縮小等、投影画像の各画素の投影面における位置が変化する補正を幾何補正と称する。つまり、「幾何補正」には、画像処理によるものだけでなく、シフトやズーム等の光学系の制御によるものや、投影部の姿勢等の制御によるもの等も含まれるものとする。また、本明細書において、投影部や撮像部等の「姿勢」には、それらの「向き」（投影や撮像の向き）だけでなく、それらの「位置」（投影や撮像を行う位置）も含まれるものとする。

このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正の設定を行う方法が考えられた。この場合、撮像画像に含まれる投影画像から、カメラやプロジェクタの姿勢や、スクリーン形状等が推定され、それらに応じて適切な幾何補正が設定される。

＜オンラインセンシング＞
このような幾何補正の設定は、コンテンツ（動画像）の投影前だけでなく、コンテンツの投影中に必要になる場合もある。例えば、コンテンツ（動画像）の投影を開始した時点で、投影撮像装置１０（投影部１１）の姿勢が図１の左側のような状態であるとする。コンテンツ（動画像）の投影を開始する前に、投影撮像装置１０は、投影部１１からスクリーン２１に向かった画像を投影し、その投影画像３１を撮像部によって撮像し、得られた撮像画像を用いて、投影撮像装置１０（投影部１１や撮像部１２）の姿勢推定やスクリーン２１の再構成（形状の推定）を行い、それらに基づいて幾何補正の設定を行う。つまり、投影撮像装置１０のコンテンツ（動画像）の投影を開始した時点の姿勢（RT_t1）は既知であり、投影画像３１には、その姿勢に応じた幾何補正が施されている。

コンテンツ（動画像）の投影中に投影撮像装置１０の姿勢が変化すると、幾何補正の設定が、投影撮像装置１０の姿勢に対応しなくなり、図１の右側に示される投影画像３２のように、投影画像に歪みが生じてしまう。この変化後の姿勢（RT_t2）は、未知であるので、幾何補正を適切な設定にするためには、この投影撮像装置１０の姿勢を推定し直す必要がある。

しかしながら、そのためにコンテンツ（動画像）の投影を中断するのは、コンテンツを視聴しているユーザにとって、そのコンテンツの視聴を妨げることになり、好ましくない。そこで、コンテンツの投影を継続したまま対応点を検出する方法（オンラインセンシング）が考えられた。

オンラインセンシング技術として、例えば、投影中のコンテンツ（動画像）の画像特徴量を利用する方式が考えられた。例えば、複数の画像からそれぞれSIFT（非特許文献１）を利用して画像特徴量を求め、それらの対応点から姿勢推定を行う方法が考えられた。

＜対応点間距離による姿勢推定＞
例えば、図１の例のように投影撮像装置１０の姿勢が変化すると、投影撮像装置１０は、撮像部１２により投影画像３２を撮像し、図２の右に示されるような撮像画像４２を得る。つまり、撮像画像４２には、投影画像３２が含まれる。そして、投影撮像装置１０は、この撮像画像４２に含まれる投影画像３２の部分より、所定の特徴量を有する部分を特徴点（図中、×印）として検出する。また、投影撮像装置１０は、図２の左に示されるような、既知の姿勢RT_t1において同じ画像を投影部１１から投影し、撮像部１２により撮像した場合に得られる撮像画像をシミュレートしたシミュレーション画像４１を生成する。つまり、このシミュレーション画像４１には投影画像３１が含まれる。そして、投影撮像装置１０は、このシミュレーション画像４１に含まれる投影画像３１の部分より、所定の特徴量を有する部分を特徴点（図中、×印）として検出する。

投影撮像装置１０は、外れ値除去（NNDR（Nearest Neighbor Distance Ratio））やホモグラフィ（Homography）行列推定（射影変換行列推定）等を行って、シミュレーション画像４１に含まれる特徴点と撮像画像４２に含まれる特徴点との対応関係を求め、互いに対応する特徴点（対応点とも称する）を検出する。

対応点を求めると、投影撮像装置１０は、バンドルアジャストメント（Bundle Adjustment）により、対応点間の距離を用いた誤差関数Ｅの最適化を行う。バンドルアジャストメント（Bundle Adjustment）は、誤差関数Ｅを最小化する非線形最適化手法である。例えば、図３のように、投影撮像装置１０の姿勢を仮想的に微小変化させ、仮想の姿勢RT_t1'についてシミュレーション画像を生成し、そのシミュレーション画像と撮像画像４２との間で特徴点の対応点を求め、誤差関数Ｅを求める。このような処理を既知の姿勢RT_t1を初期値として繰り返し、図４のように、誤差関数Ｅが最小となる仮想の姿勢RT_t1'を求める。誤差関数Ｅが最小となる仮想の姿勢RT_t1'が、現在の姿勢RT_t2に最も近い姿勢であり、理想的には、仮想の姿勢RT_t1'が現在の姿勢RT_t2に一致する。そのため、その仮想の姿勢RT_t1'に応じた幾何補正の設定は、現在の姿勢RT_t2に対して最適な設定となり、投影画像３２の歪みを最も低減させることができる。

＜特徴点の少ない画像＞
しかしながら、例えば被写界深度が浅い画像の場合、所謂ボケた領域が多い。このボケた領域のようにエッジが少ない場所では特徴点の検出が困難である。また、例えば図５に示される投影画像５１は、背景が無地であるため、その背景の部分においては、ボケた領域と同様、特徴点を検出することは困難である。つまり、このような、被写界深度が浅い画像や、多くの部分を無地の背景が占める画像は、特徴点の数が少ない。このような特徴点の数が少ない画像の場合、対応点の数も低減する可能性がある。上述したように対応点間の距離を用いて誤差関数Ｅが算出されるので、その対応点の数が十分でないと、姿勢推定の精度が低減する可能性があった。

また、例えば、図５に示される投影画像５１は、中央に人物が位置し、その他の部分が背景（無地）といった構図である。被写界深度が浅い画像の場合もよくある構図であるが、このような構図の場合、エッジが画像の一部に偏る。したがって、特徴点も画像の一部に偏る。図５に示される投影画像５１の構図の場合、特徴点は画像中央付近（人物の部分）に偏る可能性が高い。特徴点が画像の一部（特に中央部）に偏ると、対応点もその一部に偏ることになり、それらの対応点から画像全体の歪みの傾向を把握することが困難になる可能性があった。つまり、より正確な姿勢推定を行うことが困難になる可能性があった。

例えば、図６のＡに示されるように、投影撮像装置の姿勢変化によって、撮像画像５３における投影画像５２の位置が、中央付近（図６のＡの左側の状態）から右側（図６のＡ右側の状態）にずれたとする。投影画像５２の広域において十分な数の特徴点が得られると、点線で示されるように十分な数の対応点が得られ、それらの対応点から正確な姿勢推定を行うことができ、姿勢変化後のスクリーン２１の姿勢（形状）も正確に推定することができる。

これに対して、図６のＢの例のように、投影画像５２において十分な数の特徴点が得られない場合、点線で示されるように、姿勢変化前後（図６のＢの左側の状態と右側の状態）で対応関係を求めることが困難になる可能性があった。そのため、正確な姿勢推定を行うことが困難になり、姿勢変化後のスクリーン２１の姿勢（形状）も、図６のＢの右側の例のように潰れてしまう等、正確な推定が困難になる可能性があった。

このように、従来の対応点間の距離を用いた誤差関数Ｅによる姿勢推定は、その精度が画像の特徴に依存してしまい、画像によっては十分な精度を得ることが困難になるおそれがあった。

＜画像類似度による姿勢推定＞
そこで、投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、投影部により投影された投影画像を撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価し、その評価結果に基づいて投影部若しくは撮像部、またはその両方の姿勢を推定結果として設定するようにする。つまり、対応点を用いるのではなく、画像そのもののマッチング（類似度評価）を行うようにする。

このようにすることにより、姿勢推定精度の、投影画像の特徴に対する依存度を抑制することができる。つまり、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができる。

＜仮想の姿勢＞
その類似度の評価の際、投影部若しくは撮像部、またはその両方の仮想の姿勢を設定し、仮想の姿勢において得られるシミュレーション画像を生成し、実際の姿勢において得られる撮像画像とシミュレーション画像との類似度を評価するようにしてもよい。

例えば、図７に示されるように、投影部若しくは撮像部、またはその両方の姿勢が、センシング済みで既知の姿勢（RT_t1）から未知の姿勢（RT_t2）に変化したとする。この場合、仮想の姿勢（RT_t1'）でのシミュレーション画像と、未知の姿勢（RT_t2）における撮像画像との類似度を評価するようにしてもよい。

このように仮想の姿勢のシミュレーション画像を用いることにより、実際に姿勢を変化させる必要が無く、容易に姿勢推定を行うことができる。

＜シミュレーション画像＞
なお、シミュレーション画像は、輝度値または所定の色成分で生成するようにしてもよい。シミュレーション画像には、姿勢推定に必要な情報が含まれていればよく、撮像画像に含まれる情報を全てシミュレートする必要はない。例えば、類似度の算出において、輝度値のみを比較するようにしてもよいし、所定の色成分のみを比較するようにしてもよい。つまり、シミュレーション画像を生成する際に、例えばグレースケール（grayscale）変換等の画像処理を行うようにしてもよい。適宜、情報量を制限することにより、シミュレーション画像の情報量の増大を抑制し、類似度の評価に関する処理の負荷の増大を抑制することができる。

＜最適評価の検索手法＞
また、姿勢推定において、投影部若しくは撮像部、またはその両方の（仮想の）姿勢を変化させながらシミュレーション画像を複数生成し、各シミュレーション画像と撮像画像とを比較してそれぞれの類似度を求め、類似度が最適となると評価された（仮想の）姿勢を推定結果として設定するようにしてもよい。例えば、図７の場合、仮想の姿勢（RT_t1'）を、既知の姿勢（RT_t1）を初期値として、姿勢を微小変化させながら繰り返し設定する。そして、各姿勢でのシミュレーション画像と未知の姿勢（RT_t2）における撮像画像との類似度を評価し、その内の最適と評価した仮想の姿勢（RT_t1'）を推定結果とするようにしてもよい。

このようにすることにより、より正確に姿勢推定を行うことができる。

＜誤差関数を用いた類似度評価＞
撮像画像とシミュレーション画像との類似度の評価方法は任意である。例えば、図７に示されるように、撮像画像とシミュレーション画像との類似度から誤差関数（評価関数）Ｅを算出し、その誤差関数Ｅの値によって類似度を評価するようにしてもよい。例えば、この誤差関数Ｅの値が最小となることを最適と評価し、その誤差関数Ｅの値が最小となる仮想の姿勢（RT_t1'）を推定結果とするようにしてもよい。

＜画素毎のマッチング＞
また、撮像画像とシミュレーション画像との類似度の算出方法も任意である。例えば、撮像画像とシミュレーション画像とを画素毎に比較し（画素毎にマッチングを行い）、各画素の類似度を算出し、その各画素の類似度を用いて両画像の類似度（画像としての類似度）を算出するようにしてもよい。例えば、両画像の各画素の画素値を用いて、各画素の類似度を求めるようにしてもよい。

＜関数を用いた類似度算出＞
例えば、所定の関数を用いて、撮像画像とシミュレーション画像の各画素の画素値から、両画像の類似度を算出するようにしてもよい。この関数は任意である。例えば、SAD（Sum of Absolute Difference）、SSD（Sum of Square Difference）、NCC（Normalized Cross-Correlation）、または、ZNCC（Zero-means Normalized Cross-Correlation）等の関数を用いるようにしてもよい。以下において、これらの関数について説明する。

なお、この関数の説明において、シミュレーション（Simulation）画像の位置（i,j）の画素の輝度値、シミュレーション画像の各画素の輝度値の平均、撮像画像（Capture）画像の位置（i,j）の画素の輝度値、および、撮像画像（Capture）画像の各画素の輝度値の平均を、それぞれ、以下の式（１）のように定める。

・・・（１）

＜関数例１：SAD＞
例えば、両画像の各画素の画素値の絶対値差の総和（SAD）を類似度としてもよい。このSADは、例えば、以下の式（２）のように算出される。このSADが小さいほど、両画像の類似度は高くなる。

・・・（２）

＜関数例２：SSD＞
例えば、両画像の各画素の画素値の差の２乗の総和（SAD）を類似度としてもよい。このSSDは、例えば、以下の式（３）のように算出される。このSSDが小さいほど、両画像の類似度は高くなる。

・・・（３）

＜関数例３：NCC＞
例えば、正規化相互相関（NCC）を類似度としてもよい。このNCCは、例えば、以下の式（４）のように算出される。このNCCの値域は０≦ＮＣＣ≦１であり、値が大きいほど（値が「１」に近いほど）、両画像の類似度は高くなる。

・・・（４）

＜関数例４：ZNCC＞
例えば、ゼロ平均正規化相互相関（ZNCC）を類似度としてもよい。このZNCCは、例えば、以下の式（５）のように算出される。

・・・（５）

このZNCCの値域は以下の式（６）のようになり、値が大きいほど（値が「１」に近いほど）、両画像の類似度は高くなる。

・・・（６）

＜誤差関数Ｅ＞
また、これらのような関数を用いる誤差関数Ｅもどのような関数であってもよい。例えば、以下の式（７）のような関数であってもよい。

・・・（７）

この場合、誤差関数Ｅの値域は以下の式（８）のようになり、値が小さいほど高評価となる（すなわち類似度が高い）。

・・・（８）

＜縮小画像を用いた類似度評価＞
なお、撮像画像とシミュレーション画像との類似度の評価は、縮小画像を用いて行うようにしてもよい。つまり、撮像画像の縮小画像と、シミュレーション画像の縮小画像（すなわち、撮像画像の縮小画像と同じ解像度のシミュレーション画像）とでマッチングを行うようにしてもよい。縮小画像を用いることにより解像度（画素数）が低減するので、マッチング（類似度の算出）がより容易になるが、１画素あたりの面積が広くなる。つまり、姿勢推定の精度が粗くなるが、換言するに、１画素ずらした場合の移動量が大きくなるので姿勢推定をより高速に行うことができる。したがって、例えば姿勢変化が大きい場合（例えば投影画像の移動量が大きい場合）にも、より高速に姿勢推定を行うことができるようになる。

＜部分画像を用いた類似度評価＞
また、撮像画像の処理対象とする所定の範囲の部分画像について、シミュレーション画像とのマッチングを行う（類似度を評価する）ようにしてもよい。つまり、撮像画像の所定の範囲を処理対象として設定し、その処理対象とする範囲内についてマッチングを行うようにしてもよい。

例えば、図８のＡに示されるような画像７１がスクリーンに投影される様子を撮像した撮像画像においては、その画像７１の端部（画枠付近）は、画枠のエッジの影響や、画枠外のノイズの影響（例えばスクリーンの形状や材質等による影響）を受け易く、類似度の評価に不向きとなり易い。そこで、図８のＢに示されるように、ある姿勢でのシミュレーション画像７２を生成する場合、投影画像７３の、その端部（画枠付近）を除く領域（図８のＣに示される領域７４）を設定し、その領域７４内についてのみマッチングを行うようにしてもよい。

この領域７４の大きさ（換言するに、投影画像７３の端部から領域７４の端部までの幅）は、任意である。ただし、領域７４が小さくなり過ぎると姿勢推定の精度が低減する。したがって、領域７４は、投影画像７３の端部や投影画像７３外の影響が十分に低減される範囲で、できるだけ大きくする（すなわち、投影画像７３の端部から領域７４の端部までの幅はできるだけ狭くする）ことにより、ノイズの影響を抑制しながら、姿勢推定の精度の低減を抑制することができる。

なお、この部分領域は、撮像画像（投影画像）のどの部分にどのような形状で設定するようにしてもよい。また、設定する部分領域の数も任意である。つまり、この部分領域の設定は、上述した投影画像の端部や外部の影響の抑制以外の任意の目的に用いることができる。例えば、設定した部分領域を拡大（高解像度化）してマッチングを行い、姿勢推定をより高精度に行うようにしてもよい。例えば、複数の投影部から投影される投影画像同士の位置合わせ等の為に姿勢推定を行う場合、処理対象を複数の投影画像が重畳するオーバーラップ領域に限定し、そのオーバーラップ領域を高解像度化してマッチングするようにしてもよい。また、例えば、撮像画像（シミュレーション画像）を複数の部分領域に分割し、各部分領域のマッチングを並行して処理するようにしてもよい。このようにすることにより、より高速に類似度の評価を行うことができる。さらに、各部分画像を高解像度化することにより、より高精度な姿勢推定を実現することができる。

＜類似度評価の繰り返し＞
なお、撮像画像とシミュレーション画像との類似度の評価は、複数回繰り返すようにしてもよい。例えば、１つの仮想の姿勢について、マッチングを複数回繰り返し、各回の評価結果を総合的に評価するようにしてもよい。例えば、各回の類似度（またはその評価結果）の平均値、中央値、合計値等を評価するようにしてもよい。例えば、比較対象とするパラメータ（輝度値や色成分等）を変えてマッチングを複数回繰り返し、それらの評価結果を総合的に判断するようにしてもよい。

また、例えば、このようなマッチングの繰り返しにおいて、前回の評価結果（姿勢推定結果）を利用して次のマッチングを行うようにしてもよい。

＜精度の階層化＞
さらに、例えば、図９に示されるように、画像の解像度を変えてマッチングを複数回繰り返し、それらの評価結果を総合的に判断するようにしてもよい。図９の左側は、このように評価を繰り返す様子をコード化したものである。この場合、初回は、図９の右側に示される画像８１のような縮小画像を用い、その画像全体を対象としてマッチングを行う。２回目は、画像８２のように１回目の縮小画像よりも大きな縮小画像を用い、その画像全体を対象としてマッチングを行う。３回目は、画像８３のように元のサイズで画像全体を対象としてマッチングを行う。４回目は、元のサイズの画像８４の、部分領域８５を対象としてマッチングを行う。

このように画像の解像度を変えることにより、各回の姿勢推定の精度を変えることができる。つまり、姿勢推定の精度を多段階化（階層化）するようにマッチングを繰り返すことができる。一般的に、高精度な姿勢推定は、低精度な姿勢推定に比べて、負荷も処理時間も増大する。つまり、高精度なマッチングを複数回繰り返すと、負荷や処理時間の増大もさらに大きくなる。そこで、このように解像度を上げながらマッチングを繰り返すことにより、姿勢推定の精度を低精度から高精度に上げていくことができる。つまり、高速に低精度な姿勢推定を行った後、その推定結果を利用して、前回より高精度に姿勢推定を行う等、高精度な姿勢推定をより高速に（つまり、より効率よく）行うことができる。

＜複数投影部と複数撮像部＞
なお、姿勢推定を行う投影部や撮像部の数は任意であり、単数でも、複数でもよい。投影部や撮像部が複数の場合は、投影部と撮像部の全ての組み合わせについて、撮像画像とシミュレーション画像とのマッチングを行うようにしてもよい。例えば、投影部と撮像部とがそれぞれ複数設けられている場合（例えば、投影撮像装置が複数設けられている場合）、各投影部から投影された投影画像を各撮像部により撮像し、それぞれの撮像画像についてシミュレーション画像を生成し、各撮像画像についてシミュレーション画像とのマッチングを行うようにしてもよい。各マッチングの結果（姿勢推定結果）にズレが生じる場合、平均化したり、重心を求めたりする等、総合的に判断するようにしてもよい。また、その際、精度不足の姿勢推定結果を除外する等、一部の撮像画像とシミュレーション画像とのマッチングを省略するようにしてもよい。このように不要な処理を抑制することにより、不要な負荷の増大を抑制することができる。

＜２．第１の実施の形態＞
＜投影撮像システム＞
図１０は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図１０において、投影撮像システム１００は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、すなわち、上述した方法で、姿勢推定を行ったりすることができるシステムである。

図１０に示されるように、投影撮像システム１００は、制御装置１０１、並びに、投影撮像装置１０２−１乃至投影撮像装置１０２−Ｎ（Ｎは任意の自然数）を有する。投影撮像装置１０２−１乃至投影撮像装置１０２−Ｎは、それぞれ、ケーブル１０３−１乃至ケーブル１０３−Ｎを介して制御装置１０１に接続されている。

以下において、投影撮像装置１０２−１乃至投影撮像装置１０２−Ｎを互いに区別して説明する必要が無い場合、投影撮像装置１０２と称する。また、ケーブル１０３−１乃至ケーブル１０３−Ｎを互いに区別して説明する必要が無い場合、ケーブル１０３と称する。

制御装置１０１は、ケーブル１０３を介して各投影撮像装置１０２を制御する。例えば、制御装置１０１は、各投影撮像装置１０２に対して、投影する画像を供給し、その画像を投影させる。また、例えば、制御装置１０１は、各投影撮像装置１０２に対して、投影画像等の撮像を指示し、その撮像画像を取得する。さらに、例えば、制御装置１０１は、撮像画像のシミュレーション画像を生成し、撮像画像とシミュレーション画像のマッチング（類似度評価）を行う。また、例えば、制御装置１０１は、その類似度の評価結果に基づいて各投影撮像装置１０２の姿勢を推定したり、スクリーン（投影面）を再構成したり、各投影撮像装置１０２に投影させる画像に対して幾何補正を行ったりする。

例えば、制御装置１０１が、この幾何補正として、投影させる画像に対して、例えば、拡大、縮小、変形等の画像処理を行うようにしてもよい。また、例えば、制御装置１０１が、この幾何補正として、例えば、各投影撮像装置１０２の光学系に対して、投影方向や撮像方向等の制御等を行うようにしてもよい。もちろん、これらの両方が行われるようにしてもよい。

投影撮像装置１０２−１乃至投影撮像装置１０２−Ｎは、それぞれ、画像を投影する投影部１１１−１乃至投影部１１１−Ｎ、並びに、被写体を撮像する撮像部１１２−１乃至撮像部１１２−Ｎを有する。以下において、投影部１１１−１乃至投影部１１１−Ｎを互いに区別して説明する必要が無い場合、投影部１１１と称する。また、撮像部１１２−１乃至撮像部１１２−Ｎを互いに区別して説明する必要が無い場合、撮像部１１２と称する。

投影部１１１は、所謂プロジェクタの機能を有する。つまり、投影撮像装置１０２は、投影部１１１を用いてプロジェクタとして駆動することができる。例えば、投影撮像装置１０２は、この投影部１１１を用いて、制御装置１０１から供給される画像を任意の投影面に投影することができる。

撮像部１１２は、所謂カメラの機能を有する。つまり、投影撮像装置１０２は、撮像部１１２を用いてカメラとして駆動することができる。例えば、投影撮像装置１０２は、この撮像部１１２を用いて、投影部１１１により画像が投影された投影面の撮像を行い、撮像画像を得ることができる。投影撮像装置１０２は、さらに、その得られた撮像画像のデータを制御装置１０１に供給することができる。

投影撮像装置１０２の数は任意であり、単数でも複数でも良い。投影撮像装置１０２が複数の場合、各投影撮像装置１０２は、互いに独立に動作することもできるし、制御装置１０１の制御の下、互いに協働して動作することもできる。各投影撮像装置１０２を協働させる場合の投影撮像システム１００は、所謂マルチプロジェクションシステムとして機能し、所謂プロジェクションマッピングを実現することができる。

なお、投影部１１１の、例えば、画像の投影方向や拡大率、投影画像の歪み補正等の、投影に関するパラメータを制御することができるようにしてもよい。また、この投影に関するパラメータの制御のために、例えば、投影部１１１が有する光学系の姿勢、投影部１１１全体の姿勢等を制御可能としてもよい。

また、撮像部１１２の、例えば、画像の撮像方向や画角、撮像画像の歪み補正等の、撮像に関するパラメータを制御することができるようにしてもよい。また、この撮像に関するパラメータの制御のために、例えば、撮像部１１２が有する光学系の姿勢、撮像部１１２全体の姿勢等を制御可能としてもよい。

さらに、このような投影部１１１の制御と撮像部１１２の制御は、互いに独立して行うことができるようにしてもよい。また、投影撮像装置１０２の姿勢を制御可能としてもよい。なお、以上のような投影部１１１の制御、撮像部１１２の制御、投影撮像装置１０２の制御は、制御装置１０１が行うようにしてもよいし、例えば投影撮像装置１０２等、制御装置１０１以外の装置が行うようにしてもよい。

ケーブル１０３は、制御装置１０１と投影撮像装置１０２とを通信可能に接続する任意の通信規格の電気通信ケーブルである。つまり、このケーブル１０３は、制御装置１０１と投影撮像装置１０２との間の通信媒体となり得る。なお、投影撮像システム１００においては、制御装置１０１と投影撮像装置１０２とが互いに通信可能に接続されていればよく、例えば制御装置１０１と投影撮像装置１０２とが無線通信により接続されるようにしてもよい。その場合、ケーブル１０３を省略することができる。

制御装置１０１は、各投影部１１１、各撮像部１１２の姿勢推定を、コンテンツ（例えば動画像）の投影中に行う（オンラインセンシングを行う）。制御装置１０１は、投影部１１１の一部または全部が投影した各投影画像を、撮像部１１２の一部または全部に撮像させ、得られた各撮像画像と、その撮像画像のシミュレーション画像とのマッチングを行うことにより、各投影部１１１、各撮像部１１２の姿勢推定を行う。

＜制御装置＞
図１１は、本技術を適用した画像処理装置の一実施の形態である制御装置１０１の主な構成例を示すブロック図である。

図１１に示されるように、制御装置１０１は、CPU１２１、ROM１２２、RAM１２３、バス１２４、入出力インタフェース１３０、入力部１３１、出力部１３２、記憶部１３３、通信部１３４、およびドライブ１３５を有する。

CPU１２１、ROM１２２、RAM１２３は、バス１２４を介して相互に接続されている。バス１２４にはまた、入出力インタフェース１３０も接続されている。入出力インタフェース１３０には、入力部１３１、出力部１３２、記憶部１３３、通信部１３４、およびドライブ１３５が接続されている。

CPU１２１は、例えば、ROM１２２や記憶部１３３に記憶されているプログラム等をRAM１２３にロードして実行することにより、各種処理を行う。RAM１２３にはまた、CPU１２１が各種の処理を実行する上において必要なデータなども適宜記憶される。

例えば、CPU１２１は、そのようにプログラム等を実行することにより、対応点の検出に関する処理を行うことができる。

入力部１３１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、バーコードリーダ等であってもよい。また、加速度センサ、光センサ、温度センサ等の各種センサであってもよい。さらに、外部の任意の情報をデータ（信号）として受け付ける入力端子であってもよい。出力部１３２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイやスピーカ等であってもよい。また、任意の情報をデータ（信号）として外部に出力する出力端子であってもよい。

記憶部１３３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。通信部１３４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。この通信部１３４による通信の通信方法や通信規格は任意である。例えば、通信部１３４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。

ドライブ１３５は、自身に装着されたリムーバブルメディア１４１に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア１４１は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ１３５は、自身に装着されたリムーバブルメディア１４１に記憶されている情報（プログラムやデータ等）を読み出し、その情報をCPU１２１やRAM１２３等に供給する。また、例えば、ドライブ１３５は、CPU１２１やRAM１２３等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア１４１に書き込む。

＜制御装置の機能ブロック＞
図１２のＡは、制御装置１０１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図１２のＡに示されるように、プログラムを実行することにより制御装置１０１は、例えば、投影処理部１５１、投影制御部１５２、撮像制御部１５３、姿勢推定部１５４、および設定部１５５の機能を有する。

投影処理部１５１は、コンテンツ（動画像）の投影に関する処理を行う。投影制御部１５２は、各投影部１１１の制御に関する処理を行う。撮像制御部１５３は、各撮像部１１２の制御に関する処理を行う。姿勢推定部１５４は、各投影撮像装置１０２（または各投影撮像装置１０２の投影部１１１および撮像部１１２）の姿勢推定等に関する処理を行う。設定部１５５は、幾何補正等に関するパラメータの設定に関する処理を行う。

なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。また、制御装置１０１がこれら以外の機能を有するようにしてもよい。

＜姿勢推定部＞
図１２のＡの姿勢推定部１５４は、図１２のＢにおいて機能ブロックとして示される機能を有する。つまり、姿勢推定部１５４は、例えば、類似度評価部１６１および姿勢設定部１６２の機能を有する。

類似度評価部１６１は、撮像画像とシミュレーション画像との類似度の評価に関する処理を行う。姿勢設定部１６２は、投影部１１１や撮像部１１２の姿勢の設定に関する処理を行う。

なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。また、姿勢推定部１５４がこれら以外の機能を有するようにしてもよい。

＜類似度評価部＞
図１２のＢの類似度評価部１６１は、図１２のＣにおいて機能ブロックとして示される機能を有する。つまり、類似度評価部１６１は、例えば、仮想姿勢設定部１７１、シミュレーション画像生成部１７２、および画像類似度評価部１７３の機能を有する。

仮想姿勢設定部１７１は、仮想の姿勢の設定に関する処理を行う。シミュレーション画像生成部１７２は、シミュレーション画像の生成に関する処理を行う。画像類似度評価部１７３は、類似度の評価に関する処理を行う。

なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。また、類似度評価部１６１がこれら以外の機能を有するようにしてもよい。

＜投影撮像装置＞
図１３は、投影撮像装置１０２の主な構成例を示すブロック図である。図１３に示されるように、投影撮像装置１０２は、制御部２０１、投影部１１１、撮像部１１２、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５を有する。

制御部２０１は、例えば、CPU、ROM、RAM等を有し、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。制御部２０１は、例えば制御装置１０１の制御に基づいて、それらの処理を行う。例えば、制御部２０１は、制御装置１０１の制御に従って、制御装置１０１から供給される画像を、通信部２１４を介して取得し、それを投影部１１１に供給し、投影させる。また、例えば、制御部２０１は、制御装置１０１の制御に従って、撮像部１１２に投影面を撮像させ、撮像画像を取得し、それを、通信部２１４を介して制御装置１０１に供給する。

投影部１１１は、制御部２０１により制御されて、画像の投影に関する処理を行う。例えば、投影部１１１は、制御部２０１から供給される画像を投影撮像装置１０２の外部（例えば投影面等）に投影する。投影部１１１は、レーザ光を光源とし、MEMS（Micro Electro Mechanical Systems）ミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部１１１の光源は任意であり、レーザ光に限らず、例えばLED（Light Emitting Diode）やキセノン等であってもよい。なお、投影部１１１は、画像を投影することができるものであればどのようなデバイスであってもよい。

撮像部１１２は、制御部２０１により制御されて、装置外部（例えば投影面等）の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部２０１に供給する。撮像部１１２は、例えばCMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ、CCD（Charge Coupled Device）を用いたイメージセンサ等を有し、そのイメージセンサによって被写体からの光を光電変換して、撮像画像の電気信号（データ）を生成する。例えば、撮像部１１２は、投影部１１１と同期して駆動し、投影部１１１により投影面に投影された投影画像を撮像する。なお、撮像部１１２は、投影画像を撮像することができるものであればどのようなデバイスであってもよい。

入力部２１１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子、加速度センサ、光センサ、温度センサ等の各種センサ等であってもよい。出力部２１２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイ、スピーカ、出力端子等であってもよい。

記憶部２１３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。

通信部２１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。例えば、通信部２１４は、通信ケーブル１０３に接続され、通信ケーブル１０３を介して接続される制御装置１０１と通信を行うことができる。この通信部２１４による通信の通信方法や通信規格は任意である。例えば、通信部２１４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。

ドライブ２１５は、自身に装着されたリムーバブルメディア２２１に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア２２１は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ２１５は、自身に装着されたリムーバブルメディア２２１に記憶されている情報（プログラムやデータ等）を読み出し、その情報を制御部２０１等に供給する。また、例えば、ドライブ２１５は、制御部２０１等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア２２１に書き込む。

＜投影部＞
図１４は、投影部１１１の主な構成例を示すブロック図である。図１４に示されるように、投影部１１１は、ビデオプロセッサ２３１、レーザドライバ２３２、レーザ出力部２３３−１、レーザ出力部２３３−２、レーザ出力部２３３−３、ミラー２３４−１、ミラー２３４−２、ミラー２３４−３、MEMSドライバ２３５、および、MEMSミラー２３６を有する。

ビデオプロセッサ２３１は、制御部２０１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ２３１は、その投影する画像をレーザドライバ２３２やMEMSドライバ２３５に供給する。

レーザドライバ２３２は、ビデオプロセッサ２３１から供給される画像を投影するように、レーザ出力部２３３−１乃至レーザ出力部２３３−３を制御する。レーザ出力部２３３−１乃至レーザ出力部２３３−３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ２３２は、ビデオプロセッサ２３１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部２３３−１乃至レーザ出力部２３３−３を互いに区別して説明する必要が無い場合、レーザ出力部２３３と称する。

ミラー２３４−１は、レーザ出力部２３３−１から出力されるレーザ光を反射し、MEMSミラー２３６に誘導する。ミラー２３４−２は、レーザ出力部２３３−２から出力されるレーザ光を反射し、MEMSミラー２３６に誘導する。ミラー２３４−３は、レーザ出力部２３３−３から出力されるレーザ光を反射し、MEMSミラー２３６に誘導する。なお、ミラー２３４−１乃至ミラー２３４−３を互いに区別して説明する必要が無い場合、ミラー２３４と称する。

MEMSドライバ２３５は、ビデオプロセッサ２３１から供給される画像を投影するように、MEMSミラー２３６のミラーの駆動を制御する。MEMSミラー２３６は、MEMSドライバ２３５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図１５の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えば投影面に照射される。これにより、ビデオプロセッサ２３１から供給される画像が投影面に投影される。

なお、図１４の例においては、レーザ出力部２３３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部２３３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置１０２（投影部１１１）から出力されるレーザ光は、２本以下であってもよいし、４本以上であってもよい。そして、投影撮像装置１０２（投影部１１１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー２３４やMEMSミラー２３６の構成も任意であり、図１４の例に限定されない。もちろん、レーザ光の走査パタンは任意である。

＜画像投影処理の流れ＞
次に、このような構成の投影撮像システム１００において実行される処理について説明する。上述したように、投影撮像システム１００の制御装置１０１は、投影撮像装置１０２を制御し、コンテンツ（動画像）を投影する。このようなコンテンツの投影を行うために制御装置１０１において実行される画像投影処理の流れの例を、図１６のフローチャートを参照して説明する。

画像投影処理が開始されると、ステップＳ１０１において、制御装置１０１の姿勢推定部１５４は、投影部１１１、撮像部１１２の姿勢を設定する。また、設定部１５５は、その設定された姿勢に基づいて、幾何補正に関するパラメータを設定する。

ステップＳ１０２において、投影処理部１５１は、投影部１１１から投影する画像を生成する。例えば、投影処理部１５１は、入力画像（コンテンツ）に対して、ステップＳ１０１において設定されたパラメータを用いた幾何補正を行う等して、投影する画像を生成する。

ステップＳ１０３において、投影制御部１５２は、ステップＳ１０２において生成された画像を、投影部１１１に供給し、スクリーン（投影面）に投影させる。

ステップＳ１０４において、撮像制御部１５３は、ステップＳ１０３においてスクリーンに投影された投影画像を、撮像部１１２に撮像させ、その撮像画像を取得する。

ステップＳ１０５において、姿勢推定部１５４は、ステップＳ１０４において得られた撮像画像に基づいて姿勢推定を行うか否かを判定する。すなわち、姿勢推定部１５４は、撮像画像における投影画像の位置や形状の変化等に基づいて、投影部１１１、撮像部１１２の姿勢の変化を検出し、姿勢の変化が検出されたか否かによって、姿勢推定を行うか否かを判定する。姿勢の変化が検出され、姿勢推定を行うと判定された場合、処理はステップＳ１０６に進む。

ステップＳ１０６において、姿勢推定部１５４は、姿勢推定処理を実行し、撮像画像を用いて姿勢推定を行う。

ステップＳ１０７において、設定部１５５は、ステップＳ１０６において推定された姿勢に基づいて、幾何補正に関するパラメータを設定する。つまり、設定部１５５は、姿勢推定結果に応じて、幾何補正に関するパラメータの設定を更新する。

ステップＳ１０７の処理が終了すると処理はステップＳ１０８に進む。また、ステップＳ１０５において、姿勢の変化が検出されず、姿勢推定を行わないと判定された場合、処理はステップＳ１０８に進む。

ステップＳ１０８において、投影処理部１５１は、画像投影、すなわち、コンテンツの投影を終了するか否かを判定する。コンテンツの投影が終了しておらず、かつ、ユーザ等から投影の中止を指示されておらず、画像投影を継続すると判定された場合、処理はステップＳ１０２に戻る。すなわち、次のフレームについて、ステップＳ１０２移行の処理のが実行される。

また、ステップＳ１０８において、コンテンツを最後まで投影した、または、ユーザ等から投影の中止を指示されたと判定された場合、画像投影処理が終了する。

なお、撮像部１１２が複数存在する場合、制御装置１０１は、ステップＳ１０４乃至ステップＳ１０７の各処理を各撮像部１１２についてそれぞれ実行すればよい。また、投影部１１１が複数存在する場合、制御装置１０１は、以上の画像投影処理を各投影部１１１についてそれぞれ実行すればよい。

＜姿勢推定処理の流れ＞
次に、図１６のステップＳ１０６において実行される姿勢推定処理の流れの例を、図１７のフローチャートを参照して説明する。

姿勢推定処理が開始されると、類似度評価部１６１は、ステップＳ１２１において、類似度評価処理を実行して、撮像画像とシミュレーション画像とを比較してそれらの類似度を評価する。

ステップＳ１２２において、姿勢設定部１６２は、ステップＳ１２１の類似度評価処理結果に基づいて、投影部１１１若しくは撮像部１１２、またはその両方の姿勢を設定する。つまり、姿勢設定部１６２は、これらの姿勢を、類似度の評価が最適となる姿勢に設定する。

ステップＳ１２２の処理が終了すると、姿勢推定処理が終了し、処理は図１６に戻る。

＜類似度評価処理の流れ＞
次に、図１７のステップＳ１２１において実行される類似度評価処理の流れの例を、図１８のフローチャートを参照して説明する。

類似度評価処理が開始されると、仮想姿勢設定部１７１は、ステップＳ１４１において、投影部１１１や撮像部１１２の仮想の姿勢（仮想姿勢とも称する）を初期値に設定する。この初期値は任意であるが、例えば、既知の姿勢、すなわち、姿勢変化前の姿勢としてもよい。

ステップＳ１４２において、シミュレーション画像生成部１７２は、ステップＳ１４１において設定された仮想姿勢における撮像画像のシミュレーション画像を生成する。

ステップＳ１４３において、画像類似度評価部１７３は、図１６のステップＳ１０４において得られた撮像画像と、ステップＳ１４２において生成されたシミュレーション画像とを比較し、それらの類似度を求め、評価する。画像類似度評価部１７３は、＜１．画像類似度を用いた姿勢推定＞において説明したような手法で、この類似度の算出や評価を行う。

ステップＳ１４４において、画像類似度評価部１７３は、全ての仮想姿勢について類似度を評価したか否かを判定する。他の仮想姿勢についても類似度を評価すると判定された場合、処理はステップＳ１４５に進む。

ステップＳ１４５において、仮想姿勢設定部１７１は、仮想姿勢の設定を新たな姿勢に更新する。ステップＳ１４５の処理が終了すると、処理はステップＳ１４２に戻る。すなわち、更新された仮想姿勢について、ステップＳ１４２移行の処理が実行される。

ステップＳ１４４において、全ての仮想姿勢について類似度を評価し、これ以上他の仮想姿勢について類似度を評価しないと判定された場合、類似度評価処理が終了し、処理は図１７に戻る。

以上のように各処理を実行することにより、撮像画像とそのシミュレーション画像の類似度の評価結果に基づいて姿勢推定を行うことができ、コンテンツ視聴中の姿勢推定の投影画像に対するロバスト性を向上させることができる。

＜最適な評価の求め方＞
なお、類似度の評価が最適となる姿勢（例えば誤差関数Ｅの値が最小となる姿勢）の求め方は任意である。例えば、図１８の類似度評価処理において仮想姿勢を網羅的に設定し、全ての仮想姿勢において類似度を評価し、その中で評価が最適となる姿勢を求めるようにしてもよい。また、例えば、仮想姿勢を所定の範囲内で網羅的に設定し、類似度を評価し、その中で最適な評価結果が得られる姿勢を求める処理を、より好適な評価結果が得られなくなるまで繰り返すようにしてもよい。さらに、例えば、姿勢変化前後の撮像画像間における変化（例えば撮像画像に含まれる投影画像の位置や形状の変化）等を解析して、姿勢変化の大まかな傾向（例えば、どの方向に位置や向きがどのくらい変化したか等）を特定し、その傾向に従って仮想姿勢を設定するようにしてもよい。また、例えば、上述したように解像度を変化させながら姿勢推定を繰り返し、最適な評価結果が得られる姿勢を高精度に求めるようにしてもよい。さらに、例えば、複数のフレームについて姿勢推定を行うようにしてもよい。つまり、例えば、上述したような姿勢推定の繰り返しを複数のフレームに亘って行う（例えば、各回の姿勢推定を互いに異なるフレームにおいて行う）ようにしてもよい。

＜３．第２の実施の形態＞
＜対応点距離評価の併用＞
なお、上述した本技術を適用した画像の類似度に基づく姿勢推定の方法と、＜１．画像類似度を用いた姿勢推定＞において説明した、対応点間の距離に基づく姿勢推定の方法とを併用してもよい。

一般的に、類似度に基づく姿勢推定の方が、対応点間の距離に基づく姿勢推定よりも投影画像に対するロバスト性を向上させることができるが、対応点間の距離に基づく姿勢推定の方が、類似度に基づく姿勢推定よりも処理の負荷が小さい。両手法を併用することにより、各手法の特徴を生かしてより効率の良い姿勢推定を実現することができる。

＜姿勢推定部＞
この場合、姿勢推定部１５４は、図１９において機能ブロックとして示される機能を有する。つまり、姿勢推定部１５４は、例えば、類似度評価部１６１および姿勢設定部１６２の機能に加え、対応点距離評価部３０１の機能を有する。

対応点距離評価部３０１は、対応点間の距離の評価に関する処理を行う。この場合、姿勢設定部１６２は、対応点距離評価部３０１において得られる評価結果や、類似度評価部１６１において得られる評価結果に基づいて姿勢の設定に関する処理を行う。

なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。また、姿勢推定部１５４がこれら以外の機能を有するようにしてもよい。

＜姿勢推定処理の流れ１＞
例えば姿勢推定において、必ず、画像の類似度に基づく方法と、対応点間の距離に基づく方法の両方を行うようにし、その両方の推定結果に基づいて姿勢を決定するようにしてもよい。その場合の姿勢推定処理の流れの例を、図２０のフローチャートを参照して説明する。

この場合、姿勢推定処理が開始されると、ステップＳ３０１において、対応点距離評価部３０１は、撮像画像に含まれる投影画像の特徴点とシミュレーション画像に含まれる投影画像の特徴点との対応関係を求めることにより、それぞれの対応点を求める。そして、対応点距離評価部３０１は、その対応点間の距離を求め、誤差関数Ｅ等を用いて評価する。

ステップＳ３０２において、類似度評価部１６１は、類似度評価処理を実行し、撮像画像とシミュレーション画像とを比較し、それらの類似度を評価する。なお、この類似度評価処理は、第１の実施の形態において図１８のフローチャートを参照して説明した場合と基本的に同様に実行される。

ステップＳ３０３において、姿勢設定部１６２は、ステップＳ３０１およびステップＳ３０２の評価結果に基づいて、最適とされる評価が得られた仮想姿勢を、投影部１１１若しくは撮像部１１２、またはその両方の姿勢として設定する。ステップＳ３０３の処理が終了すると、姿勢推定処理が終了し、処理は図１６に戻る。

このように複数の方法で姿勢推定を行うことにより、より多様な条件下においてより正確に姿勢推定を行うことができる。したがって、姿勢推定の投影画像に対するロバスト性をさらに向上させることができる。

なお、この場合、対応点間の距離に基づく姿勢推定と、画像の類似度に基づく姿勢推定のどちらを先に行うようにしてもよい。また、例えば、比較的負荷の軽い対応点間の距離に基づく方法で姿勢推定を行ってから、その推定結果を初期値として、比較的精度の高い画像の類似度に基づく方法で姿勢推定を行うようにしてもよい。つまり、図２０の例の場合、ステップＳ３０１の処理結果をステップＳ３０２の初期値として反映して、ステップＳ３０２の処理を行うようにしてもよい。このようにすることにより、この２つの方法の姿勢推定をより効率よく行うことができる。

＜姿勢推定処理の流れ２＞
また、姿勢推定において、画像の類似度に基づく方法と、対応点間の距離に基づく方法とを選択的に行うようにしてもよい。この選択の根拠となる情報は任意であるが、例えば、投影画像の内容や検出された対応点の傾向等の所定の条件に応じていずれか一方を選択し、実行するようにしてもよい。例えば、検出された対応点の数が多く、かつ、対応点の位置に偏りが少ない場合、対応点間の距離に基づく方法を選択し、そうでない場合、画像の類似度に基づく方法を選択するようにしてもよい。

その場合の姿勢推定処理の流れの例を、図２１のフローチャートを参照して説明する。この場合、姿勢推定処理が開始されると、対応点距離評価部３０１は、ステップＳ３２１において、撮像画像に含まれる投影画像の特徴点を検出する。

ステップＳ３２２において、対応点距離評価部３０１は、既知の姿勢でシミュレーション画像を生成する。

ステップＳ３２３において、対応点距離評価部３０１は、そのシミュレーション画像の特徴点を検出する。

ステップＳ３２４において、対応点距離評価部３０１は、ステップＳ３２１において検出した撮像画像の特徴点と、ステップＳ３２３において検出したシミュレーション画像の特徴点との間の対応関係（すなわち、特徴点同士の対応関係）を求める。つまり、対応点距離評価部３０１は、対応点を検出する。

ステップＳ３２５において、対応点距離評価部３０１は、ステップＳ３２４において検出した対応点の数が十分に多く、かつ、その対応点の位置の偏りが十分に少ないか否かを判定する。例えば、対応点距離評価部３０１は、検出した対応点の数や分布を所定の閾値と比較してこの判定を行う。対応点の数が十分に多く、かつ、その対応点の位置の偏りが十分に少ないと判定された場合、処理はステップＳ３２６に進む。

ステップＳ３２６において、対応点距離評価部３０１は、各対応点間の距離を求め、誤差関数Ｅ等を用いてそれを評価する。ステップＳ３２６の処理が終了すると処理はステップＳ３２８に進む。

また、ステップＳ３２５において、対応点の数が少ない、または、対応点の位置の偏りが大きいと判定された場合、処理はステップＳ３２７に進む。ステップＳ３２７において、類似度評価部１６１は、類似度評価処理を実行し、撮像画像とシミュレーション画像とを比較し、それらの類似度を評価する。なお、この類似度評価処理は、第１の実施の形態において図１８のフローチャートを参照して説明した場合と基本的に同様に実行される。ステップＳ３２７の処理が終了すると処理はステップＳ３２８に進む。

ステップＳ３２８において、姿勢設定部１６２は、ステップＳ３２６またはステップＳ３２７の評価結果に基づいて、最適とされる評価が得られた仮想姿勢を、投影部１１１若しくは撮像部１１２、またはその両方の姿勢として設定する。ステップＳ３２８の処理が終了すると、姿勢推定処理が終了し、処理は図１６に戻る。

このようにすることにより、対応点間距離に基づく方法で十分な精度の姿勢推定が可能な場合に、比較的負荷の軽い対応点間距離に基づく方法を選択し、対応点間距離に基づく方法では十分な精度が得られない場合に、比較的精度の高い画像の類似度に基づく方法を選択することができる。したがって、より多様な画像に対してより正確な姿勢推定を行うことができる。つまり、姿勢推定の投影画像に対するロバスト性を向上させることができる。

なお、本技術を適用した姿勢推定の方法である画像の類似度に基づく方法と併用する姿勢推定の方法は任意であり、上述した対応点間距離に基づく方法以外であってもよい。

＜４．第３の実施の形態＞
＜投影撮像システム、投影撮像装置の他の構成例＞
なお、本技術を適用した投影撮像システムの構成例は、上述した例に限定されない。例えば図２２のＡに示される投影撮像システム４００のように、制御装置１０１並びに各投影撮像装置１０２がネットワーク４０１を介して互いに接続されるようにしてもよい。

ネットワーク４０１は、任意の通信網である。ネットワーク４０１において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク４０１は、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク４０１に含まれるようにしてもよい。

制御装置１０１並びに各投影撮像装置１０２は、このネットワーク４０１に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。なお、各装置の数、筐体の形状や大きさ、配置位置等は任意である。

制御装置１０１並びに各投影撮像装置１０２は、ネットワーク４０１を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、制御装置１０１並びに各投影撮像装置１０２は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。

このような構成の投影撮像システム４００の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図２２のＢに示される投影撮像システム４１０のように、投影部１１１と撮像部１１２とが互いに異なる装置として構成されるようにしてもよい。投影撮像システム４１０は、投影撮像装置１０２の代わりに、投影装置４１１−１乃至投影装置４１１−Ｎ（Ｎは任意の自然数）、並びに、撮像装置４１２−１乃至撮像装置４１２−Ｍ（Ｍは任意の自然数）を有する。投影装置４１１−１乃至投影装置４１１−Ｎは、それぞれ、投影部１１１（投影部１１１−１乃至投影部１１１−Ｎ）を有し、画像の投影を行う。撮像装置４１２−１乃至撮像装置４１２−Ｍは、それぞれ、撮像部１１２（撮像部１１２−１乃至撮像部１１２−Ｍ）を有し、投影面（投影部１１１が投影した投影画像）の撮像を行う。

投影装置４１１−１乃至投影装置４１１−Ｎを互いに区別して説明する必要が無い場合、投影装置４１１と称する。撮像装置４１２−１乃至撮像装置４１２−Ｍを互いに区別して説明する必要が無い場合、撮像装置４１２と称する。

各投影装置４１１並びに各撮像装置４１２は、それぞれ制御装置１０１と通信可能に接続されており、有線通信または無線通信またはその両方により制御装置１０１と通信を行う（情報を授受する）ことができる。なお、各投影装置４１１並びに各撮像装置４１２が、制御装置１０１を介して、他の投影装置４１１若しくは他の撮像装置４１２またはその両方と通信を行うことができるようにしてもよい。

また、各装置の数、筐体の形状や大きさ、配置位置等は任意である。また、図２２のＡの例のように、各装置が、ネットワーク４０１等のような他の設備（装置や伝送路）を介して互いに通信可能に接続されるようにしてもよい。

このような構成の投影撮像システム４１０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図２３のＡに示される投影撮像システム４２０のように、制御装置１０１を省略するようにしてもよい。図２３のＡに示されるように、投影撮像システム４２０は、投影撮像装置４２１−１乃至投影撮像装置４２１−Ｎ（Ｎは任意の自然数）を有する。投影撮像装置４２１−１乃至投影撮像装置４２１−Ｎを互いに区別して説明する必要が無い場合、投影撮像装置４２１と称する。各投影撮像装置４２１は、通信ケーブル４２２を介して互いに通信可能に接続されている。なお、各投影撮像装置４２１が無線通信によって互いに通信可能に接続されるようにしてもよい。

投影撮像装置４２１−１乃至投影撮像装置４２１−Ｎは、それぞれ、制御部４２３−１乃至制御部４２３−Ｎを有する。制御部４２３−１乃至制御部４２３−Ｎを互いに区別して説明する必要が無い場合、制御部４２３と称する。制御部４２３は、制御装置１０１と同様の機能を有し、同様の処理を行うことができる。

つまり、この投影撮像システム４２０の場合、上述した制御装置１０１において行われる処理が、投影撮像装置４２１（の制御部４２３）において実行される。なお、いずれかの投影撮像装置４２１（の制御部４２３）が、制御装置１０１において行われる処理の全てを実行するようにしてもよいし、複数の投影撮像装置４２１（の制御部４２３）が、情報を授受し合う等して協働して処理を実行するようにしてもよい。

このような構成の投影撮像システム４２０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図２３のＢに示されるように、投影撮像システム１００が１つの装置として構成されるようにしてもよい。図２３のＢに示される投影撮像装置４３０は、投影部１１１（投影部１１１−１乃至投影部１１１−Ｎ（Ｎは任意の自然数））、撮像部１１２（撮像部１１２−１乃至撮像部１１２−Ｍ（Ｍは任意の自然数））、並びに、制御部４２３を有する。

投影撮像装置４３０において、制御部４２３は、上述した制御装置１０１において行われる処理を実行することにより、各投影部１１１並びに各撮像部１１２を制御して姿勢推定等を行う。

したがって、このような構成の投影撮像装置４３０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

＜５．その他＞
＜本技術の適用例＞
上述した実施形態に係るシステムや装置は、任意のシステムや電子機器に応用され得る。また、本技術は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野の画像処理システムや画像処理装置に適用することができる。

例えば、本技術は、鑑賞の用に供される画像を投影・撮像するシステムにも適用することができる。また、例えば、本技術は、交通の用に供されるシステムにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムや、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステム等にも適用することができる。

＜ソフトウェア＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

例えば図１１の制御装置１０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１４１により構成される。その場合、例えば、リムーバブルメディア１４１をドライブ１３５に装着することにより、そのリムーバブルメディア１４１に記憶されているこのプログラムを読み出させ、記憶部１３３にインストールさせることができる。

また例えば図１３の投影撮像装置１０２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア２２１により構成される。その場合、例えば、リムーバブルメディア２２１をドライブ２１５に装着することにより、そのリムーバブルメディア２２１に記憶されているこのプログラムを読み出させ、記憶部２１３にインストールさせることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図１１の制御装置１０１の場合、プログラムは、通信部１３４で受信し、記憶部１３３にインストールすることができる。また、例えば図１３の投影撮像装置１０２の場合、プログラムは、通信部２１４で受信し、記憶部２１３にインストールすることができる。

その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図１１の制御装置１０１の場合、プログラムは、記憶部１３３やROM１２２等に予めインストールしておくこともできる。また、例えば図１３の投影撮像装置１０２の場合、プログラムは、記憶部２１３や制御部２０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、上述した各ステップの処理は、上述した各装置、または、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、装置やシステムとして実施するだけでなく、装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価する類似度評価部と、
前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する姿勢設定部と
を備える画像処理装置。
（２） 前記姿勢設定部は、前記類似度評価部により前記類似度が最適となると評価された前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
（１）に記載の画像処理装置。
（３） 前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の絶対値の差の総和を、前記類似度を示す評価値として求め、
前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
（１）または（２）に記載の画像処理装置。
（４） 前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の差の２乗の総和を、前記類似度を示す評価値として求め、
前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、正規化相互相関を、前記類似度を示す評価値として求め、
前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、ゼロ平均正規化相互相関を、前記類似度を示す評価値として求め、
前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記類似度評価部は、前記投影部若しくは前記撮像部、またはその両方の仮想の姿勢を設定し、前記仮想の姿勢において得られる前記シミュレーション画像を生成し、前記撮像画像と前記シミュレーション画像との類似度を評価する
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記類似度評価部は、前記シミュレーション画像を、輝度値または所定の色成分で生成する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記類似度評価部は、前記撮像画像の縮小画像と前記シミュレーション画像との類似度を評価する
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記類似度評価部は、前記撮像画像の、処理対象とする所定の範囲の部分画像について、前記シミュレーション画像との類似度を評価する
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記類似度評価部は、前記類似度の評価を複数回繰り返す
（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記類似度評価部は、前記撮像画像の解像度、または、前記撮像画像内の処理対象とする部分画像の範囲を可変として各回の前記類似度の評価を行う
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記撮像画像と前記シミュレーション画像との間で対応点を求め、前記撮像画像と前記シミュレーション画像との間の前記対応点の距離を評価する対応点距離評価部をさらに備える
（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との両方を行い、
前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果と、前記類似度評価部による前記類似度の評価結果との両方に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との内のいずれか一方を行い、
前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果、または、前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記類似度評価部は、複数の投影部と複数の撮像部とのそれぞれの間で、前記撮像画像と前記シミュレーション画像との類似度を評価し、
前記姿勢設定部は、前記類似度評価部による各投影部と各撮像部との間の前記類似度の評価結果に基づいて、前記複数の投影部若しくは前記複数の撮像部、またはその両方の姿勢を推定結果として設定する
（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記姿勢設定部により設定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備える
（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 投影画像を投影する投影部をさらに備える
（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 投影画像を撮像して撮像画像を得る撮像部をさらに備える
（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価し、
前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を設定する
画像処理方法。

１００ 投影撮像システム， １０１ 制御装置， １０２ 投影撮像装置， １１１ 投影部， １１２ 撮像部， １５１ 投影処理部， １５２ 投影制御部， １５３ 撮像制御部， １５４ 姿勢推定部， １５５ 設定部， １６１ 類似度評価部， １６２ 姿勢設定部， １７１ 仮想姿勢設定部， １７２ シミュレーション画像生成部， １７３ 画像類似度評価部， ２０１ 制御部， ３０１ 対応点距離評価部， ４００ 投影撮像システム， ４０１ ネットワーク， ４１０ 投影撮像システム， ４１１ 投影装置， ４１２ 撮像装置， ４２０ 投影撮像システム， ４２１ 投影撮像装置， ４２３ 制御部， ４３０ 投影撮像装置

Claims (20)

1. 投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価する類似度評価部と、
   前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する姿勢設定部と
   を備える画像処理装置。
2. 前記姿勢設定部は、前記類似度評価部により前記類似度が最適となると評価された前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
   請求項１に記載の画像処理装置。
3. 前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の絶対値の差の総和を、前記類似度を示す評価値として求め、
   前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
   請求項２に記載の画像処理装置。
4. 前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、各画素の輝度値の差の２乗の総和を、前記類似度を示す評価値として求め、
   前記姿勢設定部は、前記評価値が最小となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
   請求項２に記載の画像処理装置。
5. 前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、正規化相互相関を、前記類似度を示す評価値として求め、
   前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
   請求項２に記載の画像処理装置。
6. 前記類似度評価部は、前記シミュレーション画像と前記撮像画像との間の、ゼロ平均正規化相互相関を、前記類似度を示す評価値として求め、
   前記姿勢設定部は、前記評価値が最大となる前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
   請求項２に記載の画像処理装置。
7. 前記類似度評価部は、前記投影部若しくは前記撮像部、またはその両方の仮想の姿勢を設定し、前記仮想の姿勢において得られる前記シミュレーション画像を生成し、前記撮像画像と前記シミュレーション画像との類似度を評価する
   請求項１に記載の画像処理装置。
8. 前記類似度評価部は、前記シミュレーション画像を、輝度値または所定の色成分で生成する
   請求項７に記載の画像処理装置。
9. 前記類似度評価部は、前記撮像画像の縮小画像と前記シミュレーション画像との類似度を評価する
   請求項１に記載の画像処理装置。
10. 前記類似度評価部は、前記撮像画像の、処理対象とする所定の範囲の部分画像について、前記シミュレーション画像との類似度を評価する
    請求項１に記載の画像処理装置。
11. 前記類似度評価部は、前記類似度の評価を複数回繰り返す
    請求項１に記載の画像処理装置。
12. 前記類似度評価部は、前記撮像画像の解像度、または、前記撮像画像内の処理対象とする部分画像の範囲を可変として各回の前記類似度の評価を行う
    請求項１１に記載の画像処理装置。
13. 前記撮像画像と前記シミュレーション画像との間で対応点を求め、前記撮像画像と前記シミュレーション画像との間の前記対応点の距離を評価する対応点距離評価部をさらに備える
    請求項１に記載の画像処理装置。
14. 前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との両方を行い、
    前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果と、前記類似度評価部による前記類似度の評価結果との両方に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
    請求項１３に記載の画像処理装置。
15. 前記対応点距離評価部による前記対応点の距離の評価と、前記類似度評価部による前記類似度の評価との内のいずれか一方を行い、
    前記姿勢設定部は、前記対応点距離評価部による前記対応点の距離の評価結果、または、前記類似度評価部による前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を推定結果として設定する
    請求項１３に記載の画像処理装置。
16. 前記類似度評価部は、複数の投影部と複数の撮像部とのそれぞれの間で、前記撮像画像と前記シミュレーション画像との類似度を評価し、
    前記姿勢設定部は、前記類似度評価部による各投影部と各撮像部との間の前記類似度の評価結果に基づいて、前記複数の投影部若しくは前記複数の撮像部、またはその両方の姿勢を推定結果として設定する
    請求項１に記載の画像処理装置。
17. 前記姿勢設定部により設定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備える
    請求項１に記載の画像処理装置。
18. 投影画像を投影する投影部をさらに備える
    請求項１に記載の画像処理装置。
19. 投影画像を撮像して撮像画像を得る撮像部をさらに備える
    請求項１に記載の画像処理装置。
20. 投影部により投影された投影画像を撮像部が撮像して得た撮像画像と、前記投影部により投影された投影画像を前記撮像部が撮像することにより得られる撮像画像をシミュレートしたシミュレーション画像との類似度を評価し、
    前記類似度の評価結果に基づいて、前記投影部若しくは前記撮像部、またはその両方の姿勢を設定する
    画像処理方法。

Images