JP7243623B2 - 画像処理装置および方法 - Google Patents

Description

本開示は、画像処理装置および方法に関し、特に、不可視性の低減を抑制することができるようにした画像処理装置および方法に関する。

従来、プロジェクタにより投影された投影画像の歪みの低減や、複数のプロジェクタによる各投影画像の位置合わせのために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等に応じた投影画像の幾何補正を行う方法があった。このような方法の場合、投影画像と撮像画像との間で対応点を求める必要があった。

例えば、コンテンツ画像を投影しながらその対応点を求める技術であるオンラインセンシングとして、投影するコンテンツ画像にパタン画像を埋め込むISL（Imperceptible Structured Light）方式が考えられた（例えば、特許文献１参照）。ISL方式では、パタンが互いに同一であり、かつ、輝度変化方向が互いに逆向きの２つのパタン画像をコンテンツ画像の連続するフレームに埋め込み投影することにより、パタンの不可視性を実現する。

特開２０１３－１９２０９８号公報

しかしながら、プロジェクタのデバイス特性に起因して、投影画像における輝度が投影される画像の輝度から変化する場合がある。そのため、投影画像において、コンテンツ画像に埋め込まれるISL方式の２つのパタン画像の輝度差（振幅）の大きさがコンテンツ画像の輝度に依存して変化するおそれがあり、コンテンツ画像の輝度によっては不可視性が低減してしまうおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、パタンの不可視性の低減を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを有する２つのパタン画像がコンテンツ画像に重畳されていない状態において、前記コンテンツ画像の輝度がより大きいほど、前記２つのパタン画像の前記構造化光パタンの輝度差をより小さくする調整部と、前記２つのパタン画像のそれぞれを前記コンテンツ画像の連続する２フレームに合成する合成部と、前記コンテンツ画像と前記パタン画像が合成された合成画像の連続する２フレームを、コンテンツ輝度が高いほど出力画像の傾きが急になるガンマ特性を有するデバイス特性を有する投影部に投影させる投影制御部とを備え、前記パタン画像は、前記構造化光パタンを用いて投影画像と前記投影画像を撮像した撮像画像との対応点を求めるために投影される画像であり、前記対応点は、前記コンテンツ画像の幾何補正に利用される画像処理装置である。

本技術の一側面の画像処理方法は、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを有する２つのパタン画像がコンテンツ画像に重畳されていない状態において、前記コンテンツ画像の輝度がより大きいほど、前記２つのパタン画像の前記構造化光パタンの輝度差をより小さくし、前記２つのパタン画像のそれぞれを前記コンテンツ画像の連続する２フレームに合成し、前記コンテンツ画像と前記パタン画像が合成された合成画像の連続する２フレームを、コンテンツ輝度が高いほど出力画像の傾きが急になるガンマ特性を有するデバイス特性を有する投影部に投影させ、前記パタン画像は、前記構造化光パタンを用いて投影画像と前記投影画像を撮像した撮像画像との対応点を求めるために投影される画像であり、前記対応点は、前記コンテンツ画像の幾何補正に利用される画像処理方法である。

本技術の他の側面の画像処理装置は、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを有する２つのパタン画像のそれぞれがコンテンツ画像の連続する２フレームに合成されて投影部から投影された、２フレームの投影画像を撮像部に撮像させ、２フレームの撮像画像を生成させる撮像制御部と、前記２フレームの撮像画像同士の差分画像を生成し、前記構造化光パタンを検出する構造化光パタン検出部と、検出された前記構造化光パタンの内、信頼度が低い部分を除去する除去部と、除去されなかった前記構造化光パタンを用いて前記投影画像と前記撮像画像の対応点を検出する対応点検出部と、前記投影画像の撮像、前記構造化光パタンの検出、検出された前記構造化光パタンの内の前記信頼度の低い部分の除去、および、除去されなかった前記構造化光パタンを用いた前記対応点の検出の各処理を、検出された全ての前記構造化光パタンについて前記対応点が検出されるまで繰り返し実行させる対応点検出制御部とを備え、前記対応点は、前記コンテンツ画像の幾何補正に利用される画像処理装置である。

本技術の他の側面の画像処理方法は、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを有する２つのパタン画像のそれぞれがコンテンツ画像の連続する２フレームに合成されて投影された、２フレームの投影画像を撮像させ、２フレームの撮像画像を生成させ、前記２フレームの撮像画像同士の差分画像を生成し、前記構造化光パタンを検出し、検出された前記構造化光パタンの内、信頼度が低い部分を除去し、除去されなかった前記構造化光パタンを用いて前記投影画像と前記撮像画像の対応点を検出し、前記投影画像の撮像、前記構造化光パタンの検出、検出された前記構造化光パタンの内の前記信頼度の低い部分の除去、および、除去されなかった前記構造化光パタンを用いた前記対応点の検出の各処理を、検出された全ての前記構造化光パタンについて前記対応点が検出されるまで繰り返し実行させ、前記対応点は、前記コンテンツ画像の幾何補正に利用される画像処理方法である。

本技術の一側面の画像処理装置および方法においては、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを有する２つのパタン画像がコンテンツ画像に重畳されていない状態において、そのコンテンツ画像の輝度がより大きいほど、２つのパタン画像の構造化光パタンの輝度差がより小さくされ、その２つのパタン画像のそれぞれがコンテンツ画像の連続する２フレームに合成され、そのコンテンツ画像とパタン画像が合成された合成画像の連続する２フレームが、コンテンツ輝度が高いほど出力画像の傾きが急になるガンマ特性を有するデバイス特性を有する投影部により投影される。

本技術の他の側面の情報処理装置および方法においては、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを有する２つのパタン画像のそれぞれがコンテンツ画像の連続する２フレームに合成されて投影された、２フレームの投影画像が撮像され、２フレームの撮像画像が生成され、その２フレームの撮像画像同士の差分画像が生成され、その構造化光パタンが検出され、その検出された構造化光パタンの内、信頼度が低い部分が除去され、除去されなかった構造化光パタンが用いられて投影画像と撮像画像の対応点が検出され、その投影画像の撮像、構造化光パタンの検出、検出された構造化光パタンの内の信頼度の低い部分の除去、および、除去されなかった構造化光パタンを用いた対応点の検出の各処理が、検出された全ての構造化光パタンについて対応点が検出されるまで繰り返し実行される。

本開示によれば、画像を処理することができる。特に、パタンの不可視性の低減を抑制することができる。

幾何補正の様子の例を示す図である。 幾何補正の様子の例を示す図である。 幾何補正の様子の例を示す図である。 対応点検出の様子の例を示す図である。 対応点検出の様子の例を示す図である。 対応点検出の様子の例を示す図である。 ISLの例を説明する図である。 構造化光パタンの例を示す図である。 構造化光パタンのポジ画像とネガ画像の例を示す図である。 プロジェクタのガンマ特性の例を示す図である。 高輝度振幅調整の例を示す図である。 低輝度振幅調整の例を示す図である。 輝度振幅調整のためのプログラムの例を示す図である。 上限クリップの例を示す図である。 下限クリップの例を示す図である。 上下限クリップの例を示す図である。 クリップのためのプログラムの例を示す図である。 信頼度の低いパタン検出の例を示す図である。 適応的なセンシングを伴う対応点検出の様子の例を示す図である。 投影撮像システムの主な構成例を示すブロック図である。 制御装置の主な構成例を示すブロック図である。 制御装置が実現する機能例を示す機能ブロック図である。 パタン画像投影処理部が実現する機能例を示す機能ブロック図である。 パタン画像調整部が実現する機能例を示す機能ブロック図である。 対応点検出処理部が実現する機能例を示す機能ブロック図である。 投影撮像装置の主な構成例を示すブロック図である。 投影部の主な構成例を示すブロック図である。 レーザ光の走査の例を示す図である。 幾何補正処理の流れの例を説明するフローチャートである。 パタン画像投影処理の流れの例を説明するフローチャートである。 パタン画像調整処理の流れの例を説明するフローチャートである。 振幅調整処理の流れの例を説明するフローチャートである。 輝度クリップ処理の流れの例を説明するフローチャートである。 対応点検出処理の流れの例を説明するフローチャートである。 投影撮像システムの他の構成例を示すブロック図である。 投影撮像システムや投影撮像装置の主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．ISL方式とパタンの不可視性
２．第１の実施の形態（投影撮像システム）
３．第２の実施の形態（投影撮像システム・投影撮像装置）
４．その他

＜１．ISL方式とパタンの不可視性＞
＜対応点検出と幾何補正＞
プロジェクタの投影面（スクリーンや壁等）に対する姿勢（位置や向き等）や投影面の形状等によって、例えば図１のＡのように、投影された画像（投影画像とも称する）が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、図１のＢの例のように、投影画像の歪みを低減し、見やすくすることができる。

また、図２の例のように、複数のプロジェクタにより画像を投影して、１つの投影画像を形成させるシステムがある。例えば、図２のＡのように、複数のプロジェクタから互いに同位置に画像を投影することにより、コントラスト比を大きくし、ハイダイナミックレンジを実現する方法がある。また、例えば、図２のＢのように、各プロジェクタから投影された投影画像を並べることにより、１台のプロジェクタが投影する投影画像よりも大きな投影画像（１台のプロジェクタが投影する投影画像よりも高解像度の投影画像）を実現する方法がある。これらの方法の場合、各プロジェクタから投影された投影画像同士の位置関係が不適切であると、投影画像同士がずれて重畳されたり不要な隙間が生じたりして投影画像全体としての画質が低減するおそれがある。そのため、各投影画像に対する上述した歪み補正だけでなく、投影画像同士の位置合わせ等の幾何補正も必要になる場合がある。

このように投影する画像に対して幾何補正を行うことにより、図３の例のように、複数のプロジェクタから曲面の投影面に対して画像を投影する場合であっても、１つの画像のように投影することができる。なお、図２のＢや図３の例のように、複数の投影画像を並べて大きな投影画像を形成する場合、図３の例のように、隣接する投影画像の一部同士を重畳させる（オーバラップさせる）ことにより、その位置合わせをより容易にすることができる。

このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正を行う方法が考えられた。

例えば、図４の例のように、プロジェクタ１１から所定の絵柄の標準化光パタン１２をスクリーン１３に投影し、カメラ１４によりその投影された標準化光パタン１２を撮像して撮像画像１５を得る。そして、その標準化光パタン１２の絵柄に基づいて標準化光パタン１２と撮像画像１５との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ１１とカメラ１４の姿勢（位置関係）やスクリーン１３の形状等を求め、その結果に基づいて幾何補正を行う。このようにすることにより、手動で行う場合よりもより容易に幾何補正を行うことができる。

このようにカメラを利用して幾何補正を行う場合、投影画像（投影される画像でもよい）と撮像画像との間で対応点（投影画像および撮像画像の、投影面の互いに同じ位置に対応する画素）を求める必要がある。つまり、カメラ１４（撮像画像１５）の画素とプロジェクタ１１（標準化光パタン１２）の画素との対応関係を求める必要がある。

また、図２や図３の例のように複数のプロジェクタを用いる場合は、各投影画像同士の位置関係も求める必要がある。

例えば、図５の例のように、投影部２１－１（プロジェクタ）と撮像部２２－１（カメラ）とを有する投影撮像装置２０－１と、投影部２１－２（プロジェクタ）と撮像部２２－２（カメラ）とを有する投影撮像装置２０－２とを協働させて画像を投影するとする。ここで、投影撮像装置２０－１と投影撮像装置２０－２とを互いに区別して説明する必要が無い場合、投影撮像装置２０と称する。また、投影部２１－１と投影部２１－２とを互いに区別して説明する必要が無い場合、投影部２１と称する。さらに、撮像部２２－１と撮像部２２－２とを互いに区別して説明する必要が無い場合、撮像部２２と称する。

図５に示されるように、投影撮像装置２０－１の投影部２１－１による投影面２３の投影領域（投影画像の範囲）は、P0L乃至P0Rの範囲である。また、投影撮像装置２０－２の投影部２１－２による投影面２３の投影領域は、P1L乃至P1Rの範囲である。つまり、両矢印２４で示される範囲（P1L乃至P0Rの範囲）が、互いの投影画像が重畳するオーバーラップ領域となる。

なお、投影撮像装置２０－１の撮像部２２－１による投影面２３の撮像領域（撮像画像に含まれる範囲）は、C0L乃至C0Rの範囲である。また、投影撮像装置２０－２の撮像部２２－２による投影面２３の撮像領域（撮像画像に含まれる範囲）は、C1L乃至C1Rの範囲である。

このようなシステムの場合、上述したように、投影画像同士の位置合わせを行うために、各投影撮像装置２０における投影部２１と撮像部２２との間の対応点を求めるだけでなく、投影撮像装置２０間において投影部２１と撮像部２２との間の対応点を求める必要がある。そこで、例えば、図６のように、投影部２１－１のある画素から照射された光（矢印２７）が、投影面２３のＸにおいて反射し、撮像部２２－２のどの画素により受光される（矢印２８）かが求められる。また、投影部２１－２と撮像部２２－１との間でも同様の画素対応関係が求められる。

このように、対応点を求めることができる全ての投影部２１と撮像部２２との間で対応点を求めることにより、幾何補正によって、オーバーラップ領域（両矢印２４で示される範囲）の位置合わせを行うことができる。

＜オンラインセンシング＞
このような幾何補正の為の対応点検出は、映像の投影を開始する前に行うことが考えられるが、初期設置後、映像を投影している最中に温度や振動などの外乱の影響等により、この対応点がずれてしまうおそれがあった。対応点がずれると、幾何補正が不適切なものとなり、投影画像に歪みや位置ずれが生じてしまうおそれがあった。

このような場合、対応点検出をやり直す必要があるが、そのために映像の投影を中断することは、その映像を視ているユーザにとって好ましくない（満足度を低減させるおそれがあった）。そこで、映像の投影を継続したまま対応点を検出する方法（オンラインセンシング）が考えられた。

オンラインセンシング技術として、例えば、Infrared等の不可視光を利用した方式、SIFT等の画像特徴量を利用した方式、ISL（Imperceptible Structured Light）方式等が考えられた。Infrared等の不可視光を利用した方式の場合、不可視光を投影するプロジェクタ（例えばInfraredプロジェクタ）がさらに必要になるためコストが増大するおそれがあった。また、SIFT等の画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難であった。

これらに対してISL方式の場合、可視光を利用するため、システム構成要素の増大（すなわちコストの増大）を抑制することができる。また、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。

＜ISL方式＞
ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。

図７に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像（コンテンツ画像）に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。

これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮影画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。

このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、理想的には、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。

＜構造化光パタンの構造＞
構造化光パタンの具体的な例を図８に示す。図８に示されるパタン画像１００は、コンテンツ画像に重畳されて投影されるISL方式の構造化光パタンである。パタン画像１００は、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点（つまり、投影部と撮像部との画素対応関係）を検出するためのものであり、図８に示されるように、周辺と輝度値が異なる楕円形状の輝度分布のパタン１０１を複数有する。つまり、パタン画像１００には、周辺と輝度が異なる複数のパタン１０１が配置（形成）されている。

図８において、白い楕円のパタン１０１は輝度変化方向が正の向きであるパタンの例を示しており、黒い楕円のパタン１０１は、輝度変化方向が負の向きであるパタンの例を示している。各パタン１０１の大きさは任意であり、互いに同一であってもよいし、同一でないものが含まれていてもよい。また、各パタン１０１の輝度分布も、互いに同一であってもよいし、同一でないものが含まれていてもよい。

ISL方式の場合、このような構成のパタン画像１００は、他の画像（例えばコンテンツ画像）に重畳して投影される。その際、図７を参照して説明した場合と同様に、コンテンツ画像のあるフレームに対してパタン画像１００の輝度値を加算して投影し、次のフレームに対してパタン画像１００の輝度値を減算して投影するようにする。つまり、パタン画像１００は、図９に示されるようにポジ画像１００－１やネガ画像１００－２として、コンテンツ画像に重畳されるようにする。ネガ画像１００－２は、ポジ画像１００－１の輝度値の正負を反転させた画像である。つまり、ポジ画像１００－１とネガ画像１００－２とでは、パタンの形状が互いに同一であり、かつ、その輝度変化方向が互いに逆向きである。

このようなポジ画像１００－１とネガ画像１００－２とが連続する２フレームに重畳して投影することにより、積分効果によりパタン画像１００が投影画像を見るユーザにより知覚され難くすることができる（パタン画像１００の不可視性に寄与することができる）。

＜輝度変化による影響＞
ところで、ISL方式の場合、上述のように撮像画像の差分を求めることにより、パタンの検出が行われる。つまり、パタンは、ポジ画像１００－１の輝度とネガ画像１００－２の輝度との差分として得られる。この差分を振幅とも称する。

しかしながら、投影画像においてこの振幅の大きさが、プロジェクタのデバイス特性等の外的要因により、パタン画像１００における大きさと異なるおそれがあった。例えば、プロジェクタが図１０に示されるガンマ曲線１１１のようなガンマ特性を有するとする。例えば、投影されるコンテンツ画像における輝度値（コンテンツ輝度）が実線１２１により示される値である場合、投影画像における輝度値（出力輝度）は、実線１２４で示される値となる。

したがって、そのコンテンツ画像に正の向きの輝度変化を有するパタンを埋め込んだ（重畳した）場合のコンテンツ輝度が点線１２２で示される値であるとすると、その出力輝度は、点線１２５で示される値となる。同様に、そのコンテンツ画像に負の向きの輝度変化を有するパタンを埋め込んだ（重畳した）場合のコンテンツ輝度が点線１２３で示される値であるとすると、その出力輝度は、点線１２６で示される値となる。

つまり、この場合、コンテンツ輝度において、両矢印１２７で示される大きさであったパタン１０１の振幅が、両矢印１２８で示される大きさまで拡大する。したがって、コンテンツ画像に重畳されたパタン１０１が目立つようになり、不可視性が低減するおそれがあった。

また、例えば、投影されるコンテンツ画像における輝度値（コンテンツ輝度）が実線１３１により示される値である場合、投影画像における輝度値（出力輝度）は、実線１３４で示される値となる。そして、そのコンテンツ画像に正の向きの輝度変化を有するパタンを埋め込んだ場合のコンテンツ輝度が点線１３２で示される値であるとすると、その出力輝度は、点線１３５で示される値となる。同様に、そのコンテンツ画像に負の向きの輝度変化を有するパタンを埋め込んだ場合のコンテンツ輝度が点線１３３で示される値であるとすると、その出力輝度は、点線１３６で示される値となる。

つまり、コンテンツ輝度において、両矢印１３７で示される大きさであったパタン１０１の振幅が、両矢印１３８で示される大きさまで縮小する。したがって、パタン１０１の検出精度が低減するおそれがあった。

以上のように、ISL方式の場合、プロジェクタのガンマ特性等の外的要因に起因して、コンテンツ画像の輝度に応じて投影画像におけるパタン１０１の振幅が変化するおそれがあり、それによって、パタンの不可視性や検出精度が低減するおそれがあった。

＜振幅調整＞
そこで、投影画像（出力輝度）において、コンテンツ画像の輝度に依存したパタン１０１の振幅の変化を低減させるように（振幅ができるだけ一定となるように）、パタン画像１００におけるパタン１０１の振幅（ポジ画像１００－１とネガ画像１００－２との輝度差）を、そのパタン１０１が重畳されるコンテンツ画像の輝度に応じて調整する。このようにすることにより、パタン１０１の不可視性や検出精度の低減を抑制することができる。

例えば、コンテンツ画像の輝度がより大きいほど、コンテンツ輝度におけるパタン１０１の振幅をより小さくするようにしてもよい。このようにすることにより、パタン１０１の不可視性の低減を抑制することができる。

例えば、図１１に示されるグラフの実線１４１のように、コンテンツ画像の輝度inputが所定の閾値attenuate_pattern_level以上である場合（上限値を２５５とする）、その部分に重畳されるパタン１０１の振幅Δをより小さくするようにしてもよい。コンテンツ画像の輝度inputが閾値attenuate_pattern_levelより小さい場合は、パタン１０１の振幅Δのままとする。

例えば、調整後のパタン１０１の振幅Δrevは、パタン１０１の振幅Δの補正に用いる調整パラメータattenuate_pattern_gainを用いて以下の式（１）のように求めることができる。

Δrev＝Δ×(attenuate_pattern_gain×(attenuate_pattern_level-input)+1)
・・・（１）

このようにすることにより、閾値attenuate_pattern_levelより大きい輝度値のコンテンツ画像に重畳されるパタン１０１の不可視性の低減を抑制することができる。例えば、図１０に示されるようなガンマ特性を有するプロジェクタで投影を行う場合、このようにすることにより、パタン１０１がより目立ちやすい場合のみパタン１０１の振幅を調整するようにすることができる。一般的に、振幅を小さくすると、不可視性は増大するが、トレードオフとしてその分検出精度が低減する。したがって、上述のように振幅調整を不可視性が特に低い場合（所定の閾値以上の場合）に限定することにより、パタン１０１の検出精度が不要に低減するのを抑制することができる。また、コンテンツ画像の輝度値がその閾値より小さければ振幅調整が行われないので、振幅調整のための処理の負荷も低減させることができる。

なお、図１１においては、コンテンツ画像の輝度inputが閾値attenuate_pattern_level以上である範囲のパタン１０１の振幅Δの調整量が、コンテンツ画像の輝度inputに応じて直線状に変化するように説明したが、この変化は任意の関数としてよい。例えば、曲線状に変化するようにしてもよい。

また、例えば、コンテンツ画像の輝度がより小さいほど、コンテンツ輝度におけるパタン１０１の振幅をより大きくするようにしてもよい。このようにすることにより、パタン１０１の検出精度の低減を抑制することができる。

例えば、図１２に示されるグラフの実線１４２のように、コンテンツ画像の輝度inputが所定の閾値adjust_pattern_level以下である場合（下限値を０とする）、その部分に重畳されるパタン１０１の振幅Δをより大きくするようにしてもよい。コンテンツ画像の輝度inputが閾値adjust_pattern_levelより大きい場合は、パタン１０１の振幅Δのままとする。

例えば、調整後のパタン１０１の振幅Δrevは、パタン１０１の振幅Δの補正に用いる調整パラメータadjust_pattern_gainを用いて以下の式（２）のように求めることができる。

Δrev＝Δ(adjust_pattern_gain×(adjust_pattern_level-input)+1)
・・・（２）

このようにすることにより、コンテンツ画像の、閾値adjust_pattern_level以下の輝度値の部分に重畳されるパタン１０１の検出精度の低減を抑制することができる。例えば、図１０に示されるようなガンマ特性を有するプロジェクタで投影を行う場合、このようにすることにより、パタン１０１の検出精度がより低下する場合のみパタン１０１の振幅を調整するようにすることができる。一般的に、振幅を大きくすると、検出精度は増大するが、トレードオフとしてその分不可視性が低減する。したがって、上述のように振幅調整を検出精度が特に低い場合（所定の閾値以下の場合）に限定することにより、パタン１０１の不可視性が不要に低減するのを抑制することができる。また、コンテンツ画像の輝度値がその閾値より大きければ振幅調整が行われないので、振幅調整のための処理の負荷も低減させることができる。

なお、図１２においては、コンテンツ画像の輝度inputが閾値adjust_pattern_level以下である範囲のパタン１０１の振幅Δの調整量が、コンテンツ画像の輝度inputに応じて直線状に変化するように説明したが、この変化は任意の関数としてよい。例えば、曲線状に変化するようにしてもよい。

なお、図１１を参照して説明した振幅調整（高輝度振幅調整）と、図１２を参照して説明した振幅調整（低輝度振幅調整）との両方を行うようにしてもよい。そのような調整を実現するためのプログラムの記述例を図１３に示す。

図１３の例の場合、コンテンツ画像の輝度inputが２つの閾値ＡとＢ（Ａ＞Ｂ）の両方以上である場合（Ａ≦input≦255）、パタン１０１の振幅Δをより小さくするように調整し（f1(Δ, input)）、コンテンツ画像の輝度がその２つの閾値ＡとＢの両方以下である場合（０≦input≦Ｂ）、パタン１０１の振幅Δをより大きくするように調整し（f2(Δ, input)）、コンテンツ画像の輝度がその２つの閾値ＡとＢの間である場合（Ａ＜input＜Ｂ）、パタン１０１の振幅Δの調整を行わない（Δ）ようにしてもよい。

なお、閾値を設けずに、コンテンツ画像の輝度がどのような値であっても、出力輝度におけるパタン１０１の振幅Δrefがより一定となるように、コンテンツ画像の輝度に応じてパタン１０１の振幅Δの調整を行うようにしてもよい。この場合も、パタン１０１の振幅Δの調整量は、任意である。例えば、プロジェクタが図１０のようなガンマ曲線１１１のデバイス特性を有する場合、そのガンマ曲線に応じて、出力輝度におけるパタン１０１の振幅Δrefがより一定となるように、コンテンツ輝度におけるパタン１０１の振幅Δを調整するようにしてもよい。

なお、以上のようなパタン画像１００の振幅の調整は、パタン１０１の不可視性の低減を抑制させるように、または、パタン１０１の検出精度の低減を抑制させるように、行われればよい。したがって、例えば、プロジェクタのデバイス特性等によっては、コンテンツ画像の輝度がより大きいほど、コンテンツ輝度におけるパタン１０１の振幅をより大きくするようにしてもよい。このようにすることにより、パタン１０１の検出精度の低減を抑制することができる。

例えば、図１１の例において、コンテンツ画像の輝度inputが所定の閾値attenuate_pattern_level以上である場合、その部分に重畳されるパタン１０１の振幅Δをより大きくするようにしてもよい。このようにすることにより、振幅調整を、検出精度が特に低い場合（所定の閾値以上の場合）に限定することができ、パタン１０１の不可視性が不要に低減するのを抑制することができる。振幅調整のための処理の負荷も低減させることができる。

また、例えば、プロジェクタのデバイス特性によっては、コンテンツ画像の輝度がより小さいほど、コンテンツ輝度におけるパタン１０１の振幅をより小さくするようにしてもよい。このようにすることにより、パタン１０１の不可視性の低減を抑制することができる。

例えば、図１２の例において、コンテンツ画像の輝度inputが所定の閾値adjust_pattern_level以下である場合、その部分に重畳されるパタン１０１の振幅Δをより小さくするようにしてもよい。このようにすることにより、振幅調整を、不可視性が特に低い場合（所定の閾値以上の場合）に限定することができ、パタン１０１の検出精度が不要に低減するのを抑制することができる。振幅調整のための処理の負荷も低減させることができる。

＜輝度クリップ＞
また、コンテンツ画像の輝度が輝度の上限や下限に近い場合、パタン画像１００を重畳することにより、投影画像の輝度値が限界値を超えてしまうおそれがある。投影画像の輝度値が限界値に達する場合、振幅が崩れ、コンテンツ画像の輝度を基準とした対称とならないので、不可視性が低減するおそれがあった。また、検出精度も低減するおそれがあった。

そこで、そのような場合、限界値を超えないように、パタン１０１の振幅を調整する。このようにすることにより、パタン１０１の不可視性や検出精度の低減を抑制することができる。

例えば、図１４に示されるように、輝度上限が２５５であり、コンテンツ画像の輝度が２５０である場合、振幅の大きさが１０以上であるとすると、図１４の左に示される斜線部分のように、輝度値が輝度上限を超えてしまう。このような状態が発生するのを抑制するために、投影画像の輝度が上限を超えないように振幅（すなわちポジ画像とネガ画像の輝度差）を調整するようにしてもよい。例えば、図１４の右に示されるように、振幅の大きさを１０に縮小するようにしてもよい。

また、例えば、図１５に示されるように、輝度下限が０であり、コンテンツ画像の輝度が５である場合、振幅の大きさが１０以上であるとすると、図１５の左に示される斜線部分のように、輝度値が輝度下限を下回ってしまう。このような状態が発生するのを抑制するために、投影画像の輝度が下限を下回らないように振幅（すなわちポジ画像とネガ画像の輝度差）を調整するようにしてもよい。例えば、図１５の右に示されるように、振幅の大きさを１０に縮小するようにしてもよい。

さらに、例えば、図１６に示されるように、輝度下限が０であり、輝度上限が２５５であり、コンテンツ画像の輝度が１００である場合、振幅の大きさが２５６以上であるとすると、図１６の左に示される斜線部分のように、輝度値が輝度上限を超えるとともに輝度下限を下回ってしまう。このような状態が発生するのを抑制するために、輝度上限と輝度下限の内、コンテンツ画像の輝度に近い方の限界値を超えないように（または下回らないように）、振幅を調整するようにしてもよい。

より具体的には、コンテンツ画像の輝度が輝度下限よりも輝度上限に近い場合、投影画像の輝度が輝度上限を超えないように振幅を調整するようにしてもよい。同様に、コンテンツ画像の輝度が輝度上限よりも輝度下限に近い場合、投影画像の輝度が輝度下限を下回らないように振幅を調整するようにしてもよい。

そのような調整を実現するためのプログラムの記述例を図１７に示す。図１７の例の場合、ポジ画像の輝度値（pos_val）は、コンテンツ画像の輝度inputと調整後のパタン１０１の振幅Δrevを用いて以下の式（３）のように表すことができる。同様に、ネガ画像の輝度値（neg_val）は、コンテンツ画像の輝度inputと調整後のパタン１０１の振幅Δrevを用いて以下の式（４）のように表すことができる。

pos_val = input + Δrev ・・・（３）
neg_val = input - Δrev ・・・（４）

そして、ポジ画像の輝度値が輝度上限を超える（pos_val > 255）か、または、ネガ画像の輝度値が輝度下限（neg_val < 0）を下回る場合、以下の式（５）が成立するときは、以下の式（６）により調整後のパタン１０１の振幅Δrevが求められ、成立しないときは、以下の式（７）により調整後のパタン１０１の振幅Δrevが求められる。

(255 - input) < input ・・・（５）
Δrev = (255 - input) ・・・（６）
Δrev = input ・・・（７）

以上のようにパタン１０１の振幅を調整することにより、パタン１０１の不可視性や検出精度の低減を抑制することができる。

＜調整の処理単位＞
＜振幅調整＞や＜輝度クリップ＞において上述したようなコンテンツ画像の輝度に基づくパタン１０１の振幅の各種調整は、パタン画像１００の任意の単位で行われるようにしてもよい。例えば、パタン１０１の振幅の調整が、画素毎に行われるようにしてもよい。また、例えば、パタン１０１の振幅の調整が、所定の領域毎に行われるようにしてもよい。例えば、パタン１０１毎に行われるようにしてもよい。また、例えば、パタン１０１の振幅の調整が、パタン画像１００全体で一律に行われるようにしてもよい。

なお、パタン１０１の振幅の調整が画素毎または領域毎に行われる場合、他の画素または他の領域の調整に用いられたパラメータや調整結果等を用いて、処理対象の画素または領域の振幅の調整が行われるようにしてもよい。

また、以上のようなパタン１０１の振幅の調整は、コンテンツ画像の任意の単位の輝度に基づいて行われるようにしてもよい。例えば、パタン１０１の振幅の調整が、コンテンツ画像の所定の画素の輝度に基づいて行われるようにしてもよい。例えば、パタン１０１の振幅の調整が、コンテンツ画像の、パタン画像１００の処理対象画素と対応する画素（処理対象画素が重畳される画素）の輝度に基づいて行われるようにしてもよいし、その他の画素の輝度に基づいて行われるようにしてもよい。

また、パタン１０１の振幅の調整が、コンテンツ画像の複数の画素の輝度に基づいて行われるようにしてもよい。その場合、その複数の画素の輝度の統計値に基づいて行われるようにしてもよい。この統計値は任意であり、例えば、最大値、最小値、または平均値等であってもよい。

また、パタン１０１の振幅の調整が、コンテンツ画像の所定の領域の輝度に基づいて行われるようにしてもよい。例えば、パタン１０１の輝度の調整が、コンテンツ画像の、そのパタン１０１が埋め込まれる（重畳される）領域の輝度に基づいて行われるようにしてもよい。また、その領域とは異なる領域の輝度に基づいて行われるようにしてもよい。

また、パタン１０１の振幅の調整が、コンテンツ画像の全画素の輝度に基づいて行われるようにしてもよい。その場合、コンテンツ画像の全画素の輝度の統計値に基づいて行われるようにしてもよい。この統計値は任意であり、例えば、最大値、最小値、または平均値等であってもよい。

＜パタン検出の繰り返し＞
ISL方式では、上述したように、ポジ画像が重畳されたコンテンツ画像の投影画像と、ネガ画像が重畳されたコンテンツ画像の投影画像とがそれぞれ撮像され、それらの撮像画像の差分画像から、パタン１０１の検出が行われる。

ただし、その場合、常に精度よくパタン１０１を検出できるとは限らない。例えば、図１８に示されるパタン１０１－１やパタン１０１－２のように、パタン１０１がコンテンツ画像のエッジに跨って重畳される場合、変数の輝度が欠けたり、形に歪みが生じてしまい、精度よくパタン１０１を検出することができないおそれがあった。その場合、対応点検出においても誤差が生じるおそれがあった。

そこで、パタン画像の投影画像を撮像し、得られた撮像画像よりパタン画像のパタンを検出し、検出したパタンから対応点を検出する際に、検出結果に含まれるパタンの信頼度が全て高くなるまで、投影画像の撮像と撮像画像からのパタンの検出を繰り返すようにする。

このようにすることにより、パタン検出の検出精度の低減を抑制することができる。

例えば、図１９に示されるように、１回目のパタン検出において、その処理により検出されたパタン画像１８１について、パタン検出結果の信頼性判定を行う。そして、十分に高い信頼度が得られなかった領域１８２が存在する場合、再度、投影画像の撮像およびパタンの検出を行う。

２回目のパタン検出においても同様に、その処理により検出されたパタン画像１８３について、パタン検出結果の信頼性判定を行う。そして、全てのパタンが十分に高い信頼度で得られたと判定された場合、そのパタン画像に基づいて対応点検出を行い、姿勢推定、投影スクリーン再構成、および幾何補正等の補正処理を行い、補正情報を生成する。

このようにすることにより、パタンの検出精度の低減を抑制することができる。

なお、各回のパタン１０１の検出において検出結果に含まれる信頼度の低いパタン１０１を除去し、各回の検出結果を統合し、その統合された検出結果に基づいて対応点を検出するようにしてもよい。

このようにすることにより、より信頼性の高い検出結果に基づいて対応点検出を行うことができるので、対応点検出の精度を向上させることができる。そして、その検出した対応点に基づいて投影画像を補正する補正情報を算出するようにしてもよい。このようにすることにより、より高精度な補正情報が得られる。

また、各回のパタン１０１の検出において、検出結果に含まれる信頼度の低いパタン１０１を除去して補正情報を算出し、各回の補正情報を統合するようにしてもよい。補正情報の統合の仕方は任意である。例えば、統合結果として、各補正情報の平均を求めるようにしてもよい。また、各補正情報を、その信頼度に応じて重み付けしたものを統合するようにしてもよい。このようにすることにより、より高精度な補正情報を得ることができる。

＜２．第１の実施の形態＞
＜投影撮像システム＞
次に、以上のようなパタン画像１００を用いた対応点の検出について説明する。図２０は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図２０において、投影撮像システム３００は、画像を投影したり、投影画像を撮像したり、＜１．ISL方式とパタンの不可視性＞において説明した本技術を適用した方法で、ISL方式による対応点検出を行ったりすることができるシステムである。

図２０に示されるように、投影撮像システム３００は、制御装置３０１、並びに、投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎ（Ｎは任意の自然数）を有する。投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎは、それぞれ、ケーブル３０３－１乃至ケーブル３０３－Ｎを介して制御装置３０１に接続されている。

以下において、投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎを互いに区別して説明する必要が無い場合、投影撮像装置３０２と称する。また、ケーブル３０３－１乃至ケーブル３０３－Ｎを互いに区別して説明する必要が無い場合、ケーブル３０３と称する。

制御装置３０１は、ケーブル３０３を介して各投影撮像装置３０２を制御する。例えば、制御装置３０１は、各投影撮像装置３０２に対して、投影する画像を供給し、その画像を投影させることができる。また、例えば、制御装置３０１は、各投影撮像装置３０２に対して、投影画像等の撮像を指示し、その撮像画像を取得することができる。さらに、例えば、制御装置３０１は、投影画像と撮像画像の対応点の検出を行ったり、その求めた対応点に基づいて各投影撮像装置３０２に投影させる画像の幾何補正を行ったりすることができる。なお、この幾何補正には、投影させる画像に対する画像処理（例えば、拡大、縮小、変形等）の他に、各投影撮像装置３０２の光学系の制御等（例えば、投影方向や撮像方向等の制御等）も含むことができる。

投影撮像装置３０２－１乃至投影撮像装置３０２－Ｎは、それぞれ、画像を投影する投影部３１１－１乃至投影部３１１－Ｎ、並びに、被写体を撮像する撮像部３１２－１乃至撮像部３１２－Ｎを有する。以下において、投影部３１１－１乃至投影部３１１－Ｎを互いに区別して説明する必要が無い場合、投影部３１１と称する。また、撮像部３１２－１乃至撮像部３１２－Ｎを互いに区別して説明する必要が無い場合、撮像部３１２と称する。

投影部３１１は、所謂プロジェクタの機能を有する。つまり、投影撮像装置３０２は、投影部３１１を用いてプロジェクタとして駆動することができる。例えば、投影撮像装置３０２は、この投影部３１１を用いて、制御装置３０１から供給される画像を任意の投影面に投影することができる。

撮像部３１２は、所謂カメラの機能を有する。つまり、投影撮像装置３０２は、撮像部３１２を用いてカメラとして駆動することができる。例えば、投影撮像装置３０２は、この撮像部３１２を用いて、投影部３１１により画像が投影された投影面の撮像を行い、得られた撮像画像のデータを制御装置３０１に供給することができる。

投影撮像装置３０２の数は任意であり、単数でも複数でも良い。投影撮像装置３０２が複数の場合、各投影撮像装置３０２は、制御装置３０１の制御の下、互いに協働し、図２や図３を参照して説明したような画像の投影を行うことができる。つまり、その場合の投影撮像システム３００は、所謂マルチプロジェクションシステムであり、所謂プロジェクションマッピングを実現することができる。

なお、投影部３１１による画像の投影方向や拡大率、並びに、投影画像の歪み補正等が制御可能としてもよい。この制御のために、例えば、投影部３１１が有する光学系や投影部３１１全体の位置や姿勢を制御可能としてもよい。

また、撮像部３１２による画像の撮像方向や画角、並びに、撮像画像の歪み補正等が制御可能としてもよい。この制御のために、例えば、撮像部３１２が有する光学系や撮像部３１２全体の位置や姿勢を制御可能としてもよい。

さらに、このような投影部３１１の制御と撮像部３１２の制御は、互いに独立して行うことができるようにしてもよい。また、投影撮像装置３０２の位置や姿勢を制御可能としてもよい。なお、このような投影部３１１、撮像部３１２、および投影撮像装置３０２の制御は、制御装置３０１が行うようにしてもよいし、制御装置３０１以外が行うようにしてもよい。

ケーブル３０３は、制御装置３０１と投影撮像装置３０２との間の通信路となり得る任意の通信規格の電気通信ケーブルである。なお、制御装置３０１と投影撮像装置３０２とが互いに通信可能であればよく、例えば、制御装置３０１と投影撮像装置３０２とが無線通信により接続されるようにしてもよい。その場合、ケーブル３０３を省略することができる。

このような投影撮像システム３００において、制御装置３０１は、画像の幾何補正のために、各投影部３１１と各撮像部３１２との間の対応点検出を行う。例えば、制御装置３０１は、オンラインセンシングのISL方式により対応点検出を行うことができる。その際、制御装置３０１は、本技術を適用した対応点検出を行うことができる。

＜制御装置＞
図２１は、本技術を適用した画像処理装置の一実施の形態である制御装置３０１の主な構成例を示すブロック図である。

図２１に示されるように、制御装置３０１は、CPU（Central Processing Unit）３２１、ROM（Read Only Memory）３２２、RAM（Random Access Memory）３２３、バス３２４、入出力インタフェース３３０、入力部３３１、出力部３３２、記憶部３３３、通信部３３４、およびドライブ３３５を有する。

CPU３２１、ROM３２２、RAM３２３は、バス３２４を介して相互に接続されている。バス３２４にはまた、入出力インタフェース３３０も接続されている。入出力インタフェース３３０には、入力部３３１、出力部３３２、記憶部３３３、通信部３３４、およびドライブ３３５が接続されている。

入力部３３１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部３３１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれるようにしてもよい。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部３３１に含まれるようにしてもよい。出力部３３２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部３３２には、ディスプレイ、スピーカ、出力端子等が含まれるようにしてもよい。

記憶部３３３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部３３３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれるようにしてもよい。通信部３３４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部３３４は、例えば、ネットワークインタフェースよりなるようにしてもよい。例えば、通信部３３４は、制御装置３０１の外部の装置と通信（プログラムやデータの授受）を行う。なお、通信部３３４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。

ドライブ３３５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３４１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ３３５は、リムーバブルメディア３４１から読み出した情報をCPU３２１やRAM３２３等に供給する。また、ドライブ３３５は、書き込み可能なリムーバブルメディア３４１が自身に装着された場合、CPU３２１やRAM３２３等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア３４１に記憶させることができる。

CPU３２１は、例えば、記憶部３３３に記憶されているプログラムを、入出力インタフェース３３０およびバス３２４を介して、RAM３２３にロードして実行することにより、各種処理を行う。RAM３２３にはまた、CPU３２１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU３２１は、そのようにプログラム等を実行することにより、対応点の検出に関する処理、例えば、＜１．ISL方式とパタンの不可視性＞において説明したような処理を行うことができる。

＜制御装置の機能ブロック＞
図２２は、制御装置３０１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図２２に示されるように、プログラムを実行することにより制御装置３０１は、例えば、パタン画像投影処理部３５１および対応点検出処理部３５２の機能を有する。

パタン画像投影処理部３５１は、パタン画像１００の投影に関する処理を行う。例えば、パタン画像投影処理部３５１は、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞や＜輝度クリップ＞等において説明したような処理を行う。もちろん、パタン画像投影処理部３５１が行う処理は任意であり、これらの処理に限定されない。対応点検出処理部３５２は、パタン画像投影処理部３５１により投影された投影画像に基づく対応点の検出に関する処理を行う。例えば、対応点検出処理部３５２は、＜１．ISL方式とパタンの不可視性＞の＜パタン検出の繰り返し＞等において説明したような処理を行う。もちろん、対応点検出処理部３５２が行う処理は任意であり、これらの処理に限定されない。

なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。

＜パタン画像投影処理部＞
パタン画像投影処理部３５１が有する機能の例を図２３に示す。図２３において、パタン画像投影処理部３５１は、例えば、コンテンツ画像取得部３６１、パタン画像取得部３６２、パタン画像調整部３６３、合成部３６４、および投影制御部３６５等の機能ブロックで示される機能を有する。

コンテンツ画像取得部３６１は、コンテンツ画像の取得に関する処理を行う。パタン画像取得部３６２は、パタン画像の取得に関する処理を行う。パタン画像調整部３６３は、パタン画像の振幅の調整に関する処理を行う。例えば、パタン画像調整部３６３は、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞や＜輝度クリップ＞等において説明したような処理を行う。もちろん、パタン画像調整部３６３が行う処理は任意であり、これらの処理に限定されない。合成部３６４は、コンテンツ画像とパタン画像の合成に関する処理を行う。投影制御部３６５は、投影撮像装置３０２による画像投影の制御に関する処理を行う。

なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。

＜パタン画像調整部＞
パタン画像調整部３６３が有する機能の例を図２４に示す。図２４において、パタン画像調整部３６３は、例えば、画素選択部３７１、振幅調整部３７２、および輝度クリップ部３７３等の機能ブロックで示される機能を有する。

画素選択部３７１は、処理対象画素の選択に関する処理を行う。振幅調整部３７２は、コンテンツ画像の輝度に応じたパタン１０１の振幅の調整に関する処理を行う。例えば、振幅調整部３７２は、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞等において説明したような処理を行う。もちろん、振幅調整部３７２が行う処理は任意であり、この処理に限定されない。輝度クリップ部３７３は、輝度限界とコンテンツ画像の輝度に応じたパタン１０１の振幅の調整に関する処理を行う。例えば、輝度クリップ部３７３は、＜１．ISL方式とパタンの不可視性＞の＜輝度クリップ＞等において説明したような処理を行う。もちろん、輝度クリップ部３７３が行う処理は任意であり、この処理に限定されない。

図２４に示されるように、振幅調整部３７２は、例えば、高輝度振幅調整部３７４および低輝度振幅調整部３７５等の機能ブロックで示される機能を有する。高輝度振幅調整部３７４は、高輝度なコンテンツ画像に重畳されるパタン１０１の振幅の調整に関する処理を行う。例えば、高輝度振幅調整部３７４は、図１１や図１３を参照して説明したような処理を行う。もちろん、高輝度振幅調整部３７４が行う処理は任意であり、この処理に限定されない。低輝度振幅調整部３７５は、低輝度なコンテンツ画像に重畳されるパタン１０１の振幅の調整に関する処理を行う。例えば、低輝度振幅調整部３７５は、図１２や図１３を参照して説明したような処理を行う。もちろん、低輝度振幅調整部３７５が行う処理は任意であり、この処理に限定されない。

また、図２４に示されるように、輝度クリップ部３７３は、例えば、輝度値上限処理部３７６、輝度値下限処理部３７７、および輝度値上下限処理部３７８等の機能ブロックで示される機能を有する。輝度値上限処理部３７６は、輝度上限に関するパタン１０１の振幅の調整に関する処理を行う。例えば、輝度値上限処理部３７６は、図１４を参照して説明したような処理を行う。もちろん、輝度値上限処理部３７６が行う処理は任意であり、この処理に限定されない。輝度値下限処理部３７７は、輝度下限に関するパタン１０１の振幅の調整に関する処理を行う。例えば、輝度値下限処理部３７７は、図１５を参照して説明したような処理を行う。もちろん、輝度値下限処理部３７７が行う処理は任意であり、この処理に限定されない。輝度値上下限処理部３７８は、輝度上限および輝度下限に関するパタン１０１の振幅の調整に関する処理を行う。例えば、輝度値上下限処理部３７８は、図１６や図１７を参照して説明したような処理を行う。もちろん、輝度値上下限処理部３７８が行う処理は任意であり、この処理に限定されない。

なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。

＜対応点検出処理部＞
対応点検出処理部３５２が有する機能の例を図２５に示す。図２５において、対応点検出処理部３５２は、例えば、撮像制御部３８１、ノイズ低減部３８２、パタン差分画像生成部３８３、信頼度判定部３８４、低信頼度領域除去部３８５、対応点検出部３８６、補正情報算出部３８７、対応点検出制御部３８８、および補正統合部３８９等の機能ブロックで示される機能を有する。

撮像制御部３８１は、投影撮像装置３０２による撮像の制御に関する処理を行う。ノイズ低減部３８２は、撮像画像のノイズ低減に関する処理を行う。パタン差分画像生成部３８３は、パタン１０１の検出に関する処理を行う。信頼度判定部３８４は、パタンの信頼度の判定に関する処理を行う。低信頼度領域除去部３８５は、信頼度の低いパタン検出結果の除去に関する処理を行う。対応点検出部３８６は、対応点の検出に関する処理を行う。補正情報算出部３８７は、補正情報の算出に関する処理を行う。対応点検出制御部３８８は、対応点検出の制御に関する処理を行う。補正統合部３８９は、補正情報の統合に関する処理を行う。

なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。これらの処理部は、例えば、図１８や図１９を参照して説明したような処理を行う。もちろん、これらの処理部が行う処理は任意であり、この処理に限定されない。

＜投影撮像装置＞
図２６は、投影撮像装置３０２の主な構成例を示すブロック図である。図２６に示されるように、投影撮像装置３０２は、制御部４０１、投影部３１１、撮像部３１２、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５を有する。

制御部４０１は、例えば、CPU、ROM、RAM等を有し、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。制御部４０１は、例えば制御装置３０１の制御に基づいて、それらの処理を行う。

投影部３１１は、制御部４０１に制御されて、画像の投影に関する処理を行う。例えば、投影部３１１は、制御部４０１から供給される画像を投影撮像装置３０２の外部（例えば投影面等）に投影する。投影部３１１は、レーザ光を光源とし、MEMS（Micro Electro Mechanical Systems）ミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部３１１の光源は任意であり、レーザ光に限らず、例えばLED（Light Emitting Diode）やキセノン等であってもよい。

撮像部３１２は、制御部４０１に制御されて、装置外部（例えば投影面等）の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部４０１に供給する。例えば、撮像部３１２は、投影部３１１により投影面に投影された投影画像を撮像する。撮像部３１２は、例えばCMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ、CCD（Charge Coupled Device）を用いたイメージセンサ等を有し、そのイメージセンサによって被写体からの光を光電変換して、撮像画像の電気信号（データ）を生成する。

入力部４１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部４１１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、光センサ、温度センサ等の各種センサが入力部４１１に含まれるようにしてもよい。出力部４１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部４１２には、ディスプレイ、スピーカ、出力端子等が含まれる。

記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。例えば、通信部４１４は、通信ケーブル３０３に接続され、通信ケーブル３０３を介して接続される制御装置３０１と通信を行うことができる。なお、通信部４１４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。ドライブ４１５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。

＜投影部＞
図２７は、投影部３１１の主な構成例を示すブロック図である。図２７に示されるように、投影部３１１は、ビデオプロセッサ４３１、レーザドライバ４３２、レーザ出力部４３３－１、レーザ出力部４３３－２、レーザ出力部４３３－３、ミラー４３４－１、ミラー４３４－２、ミラー４３４－３、MEMSドライバ４３５、および、MEMSミラー４３６を有する。

ビデオプロセッサ４３１は、制御部４０１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ４３１は、その投影する画像をレーザドライバ４３２やMEMSドライバ４３５に供給する。

レーザドライバ４３２は、ビデオプロセッサ４３１から供給される画像を投影するように、レーザ出力部４３３－１乃至レーザ出力部４３３－３を制御する。レーザ出力部４３３－１乃至レーザ出力部４３３－３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ４３２は、ビデオプロセッサ４３１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部４３３－１乃至レーザ出力部４３３－３を互いに区別して説明する必要が無い場合、レーザ出力部４３３と称する。

ミラー４３４－１は、レーザ出力部４３３－１から出力されるレーザ光を反射し、MEMSミラー４３６に誘導する。ミラー４３４－２は、レーザ出力部４３３－２から出力されるレーザ光を反射し、MEMSミラー４３６に誘導する。ミラー４３４－３は、レーザ出力部４３３－３から出力されるレーザ光を反射し、MEMSミラー４３６に誘導する。なお、ミラー４３４－１乃至ミラー４３４－３を互いに区別して説明する必要が無い場合、ミラー４３４と称する。

MEMSドライバ４３５は、ビデオプロセッサ４３１から供給される画像を投影するように、MEMSミラー４３６のミラーの駆動を制御する。MEMSミラー４３６は、MEMSドライバ４３５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図２８の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えば投影面に照射される。これにより、ビデオプロセッサ４３１から供給される画像が投影面に投影される。

なお、図２７の例においては、レーザ出力部４３３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部４３３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置３０２（投影部３１１）から出力されるレーザ光は、２本以下であってもよいし、４本以上であってもよい。そして、投影撮像装置３０２（投影部３１１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー４３４やMEMSミラー４３６の構成も任意であり、図２７の例に限定されない。もちろん、レーザ光の走査パターンは任意である。

＜幾何補正処理の流れ＞
次に、このような構成の投影撮像システム３００において実行される処理について説明する。上述したように、投影撮像システム３００においては、制御装置３０１が、各投影撮像装置３０２を制御し、ISL方式のオンラインセンシングにより、コンテンツ等の画像を投影しながら、各投影部３１１と各撮像部３１２の間の対応点検出を行い、その対応点に基づいて、各投影部および各撮像部３１２の姿勢推定や投影面形成等を行い、投影する画像の幾何補正を行う。

これらの処理を実行するために制御装置３０１において実行される幾何補正処理の流れの例を、図２９のフローチャートを参照して説明する。

幾何補正処理が開始されると、制御装置３０１のパタン画像投影処理部３５１は、ステップＳ１０１において、パタン画像投影処理を実行し、投影撮像装置３０２を制御して、構造化光パタンの投影に関する処理を行う。この構造化光パタンの投影に関する処理は、その詳細については後述するが、例えば、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞や＜輝度クリップ＞等において説明したような処理を含む。

ステップＳ１０２において、対応点検出処理部３５２は、対応点検出処理を実行し、投影撮像装置３０２を制御して、ステップＳ１０１の処理により投影された投影画像を撮像する。また、対応点検出処理部３５２は、その撮像画像に基づいて対応点を検出し、幾何補正等を行って補正情報を生成する。この対応点検出処理は、その詳細については後述するが、例えば、＜１．ISL方式とパタンの不可視性＞の＜パタン検出の繰り返し＞等において説明したような処理を含む。

ステップＳ１０２の処理が終了すると、幾何補正処理が終了する。制御装置３０１は、この幾何補正処理を、投影部３１１と撮像部３１２との全ての組み合わせについて実行する。

＜パタン画像投影処理の流れ＞
次に、図３０のフローチャートを参照して、図２９のステップＳ１０１において実行されるパタン画像投影処理の流れの例について説明する。

パタン画像投影処理が開始されると、パタン画像投影処理部３５１のコンテンツ画像取得部３６１は、ステップＳ１２１において、投影撮像装置３０２から投影するコンテンツ画像を取得する。ステップＳ１２２において、パタン画像取得部３６２は、ステップＳ１２１において取得したコンテンツ画像に重畳して投影するパタン画像１００（ポジ画像１００－１およびネガ画像１００－２）を取得する。

ステップＳ１２３において、パタン画像調整部３６３は、パタン画像調整処理を実行し、輝度に応じてパタン画像を調整する。このパタン画像調整処理は、その詳細については後述するが、例えば、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞や＜輝度クリップ＞等において説明したような処理を含む。ステップＳ１２４において、合成部３６４は、ステップＳ１２３の処理により必要に応じて調整されたパタン画像をコンテンツ画像に合成する。

ステップＳ１２５において、投影制御部３６５は、ステップＳ１２４の処理により生成された合成画像を投影撮像装置３０２に供給し、投影させる。ステップＳ１２５の処理が終了すると、パタン画像投影処理が終了し、処理は図２９に戻る。

＜パタン画像調整処理の流れ＞
次に、図３１のフローチャートを参照して、図３０のステップＳ１２３において実行されるパタン画像調整処理の流れの例について説明する。

パタン画像調整処理が開始されると、パタン画像調整部３６３の画素選択部３７１は、ステップＳ１４１において、処理対象画素を選択する。ステップＳ１４２において、振幅調整部３７２は、振幅調整処理を実行し、パタン画像１００の処理対象画素について、コンテンツ画像の輝度に応じてパタン１０１の振幅を調整する。この振幅調整処理は、その詳細については後述するが、例えば、＜１．ISL方式とパタンの不可視性＞の＜振幅調整＞等において説明したような処理を含む。

ステップＳ１４３において、輝度クリップ部３７３は、輝度クリップ処理を実行し、パタン画像１００の処理対象画素について、コンテンツ画像の輝度および輝度限界に基づいてパタン１０１の振幅を調整する。この輝度クリップ処理は、その詳細については後述するが、例えば、＜１．ISL方式とパタンの不可視性＞の＜輝度クリップ＞等において説明したような処理を含む。

ステップＳ１４４において、画素選択部３７１は、全ての画素を処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ１４１に戻し、新たな処理対象画素を選択して、それ以降の処理を繰り返す。

そしてステップＳ１４４において、全ての画素を処理したと判定された場合、パタン画像調整処理が終了し、処理は図３０に戻る。

＜振幅調整処理の流れ＞
次に、図３２のフローチャートを参照して、図３１のステップＳ１４２において実行される振幅調整処理の流れの例について説明する。

振幅調整処理が開始されると、高輝度振幅調整部３７４は、ステップＳ１６１において、高輝度なコンテンツ画像に重畳されるパタン画像（例えばパタン１０１）の振幅を調整する。例えば、高輝度振幅調整部３７４は、図１１等を参照して説明したような方法でパタン画像の振幅を調整する。

ステップＳ１６２において、低輝度振幅調整部３７５は、低輝度なコンテンツ画像に重畳されるパタン画像（例えばパタン１０１）の振幅を調整する。例えば、低輝度振幅調整部３７５は、図１２等を参照して説明したような方法でパタン画像の振幅を調整する。ステップＳ１６２の処理が終了すると、振幅調整処理が終了し、処理は図３１に戻る。

＜輝度クリップ処理の流れ＞
次に、図３３のフローチャートを参照して、図３１のステップＳ１４３において実行される輝度クリップ処理の流れの例について説明する。

輝度クリップ処理が開始されると、輝度値上限処理部３７６は、ステップＳ１８１において、コンテンツ画像に重畳されるパタン１０１の処理対象画素の振幅が輝度値上限を超えるか否かを判定する。コンテンツ画像の輝度値にパタン１０１の正の方向の輝度値を加算し、輝度値上限を超えると判定された場合、処理はステップＳ１８２に進む。

ステップＳ１８２において、輝度値上限処理部３７６は、その加算結果が輝度値上限を超えないように、パタン画像（例えばパタン１０１）の振幅を調整する。例えば、輝度値上限処理部３７６は、図１４等を参照して説明したような方法で、加算結果が輝度値上限を超えないようにパタン画像の振幅を調整する。

ステップＳ１８２の処理が終了すると処理はステップＳ１８３に進む。また、ステップＳ１８１において、コンテンツ画像の輝度値とパタン１０１の正の方向の輝度との加算結果が輝度値上限を超えないと判定された場合、ステップＳ１８２の処理が省略され、処理はステップＳ１８３に進む。

ステップＳ１８３において、輝度値下限処理部３７７は、コンテンツ画像に重畳されるパタン１０１の処理対象画素の振幅が輝度値下限を下回るか否かを判定する。コンテンツ画像の輝度値からパタン１０１の負の方向の輝度を減算し、輝度値下限を下回ると判定された場合、処理はステップＳ１８４に進む。

ステップＳ１８４において、輝度値下限処理部３７７は、その減算結果が輝度値下限を下回らないように、パタン画像（例えばパタン１０１）の振幅を調整する。例えば、輝度値下限処理部３７７は、図１５等を参照して説明したような方法で、減算結果が輝度値下限を下回らないようにパタン画像の振幅を調整する。

ステップＳ１８４の処理が終了すると処理はステップＳ１８５に進む。また、ステップＳ１８３において、コンテンツ画像の輝度値とパタン１０１の負の方向の輝度との減算結果が輝度値下限を下回らないと判定された場合、ステップＳ１８４の処理が省略され、処理はステップＳ１８５に進む。

ステップＳ１８５において、輝度値上下限処理部３７８は、コンテンツ画像に重畳されるパタン１０１の処理対象画素の振幅が輝度値上限を超えるか若しくは輝度値下限を下回るか、または、輝度値上限を超えず、かつ、輝度値下限を下回らないかを判定する。コンテンツ画像の輝度値にパタン１０１の正の方向の輝度を加算し、輝度値下限を下回ると判定された場合、または、コンテンツ画像の輝度値からパタン１０１の負の方向の輝度を減算し、輝度値下限を下回ると判定された場合、処理はステップＳ１８６に進む。

ステップＳ１８６において、輝度値上下限処理部３７８は、コンテンツ画像の輝度値とパタン１０１の正の方向の輝度の加算結果、および、コンテンツ画像の輝度値とパタン１０１の負の方向の輝度との減算結果が、輝度値上限と輝度値下限との間に収まるように、パタン画像（例えばパタン１０１）の振幅を調整する。例えば、輝度値上下限処理部３７８は、図１６や図１７等を参照して説明したような方法で、上述の加算結果および減算結果が輝度値上限と輝度値下限との間に収まるようにパタン画像の振幅を調整する。

ステップＳ１８６の処理が終了すると輝度クリップ処理が終了し、処理は図３１に戻る。また、ステップＳ１８５において、コンテンツ画像の輝度値とパタン１０１の正の方向の輝度との加算結果が輝度値上限を超えず、かつ、コンテンツ画像の輝度値とパタン１０１の負の方向の輝度との減算結果が輝度値下限を下回らないと判定された場合、ステップＳ１８６の処理が省略され、輝度クリップ処理が終了し、処理は図３１に戻る。

＜対応点検出処理の流れ＞
次に、図３４のフローチャートを参照して、図２９のステップＳ１０２において実行される対応点検出処理の流れの例について説明する。

対応点検出処理が開始されると、撮像制御部３８１は、ステップＳ２０１において、図２９のステップＳ１０１のパタン画像投影処理により、そのパタン画像投影処理の処理対象の投影部３１１から投影された投影画像を撮像する。この投影画像は、コンテンツ画像に必要に応じて振幅が調整されたパタン画像１００が重畳された合成画像の投影画像である。撮像制御部３８１は、対応点検出処理の処理対象の撮像部３１２を制御し、その投影画像を撮像する。撮像制御部３８１は、必要なフレーム数の投影画像を撮像させ、必要な枚数の撮像画像を得る。

ステップＳ２０２において、ノイズ低減部３８２は、得られた撮像画像の中から同種のパタン画像（ポジ画像またはネガ画像）が重畳されたコンテンツ画像の投影画像の撮像画像同士を積算し、撮像画像のノイズを低減させる（S/N比を向上させる）。

ステップＳ２０３において、パタン差分画像生成部３８３は、ポジ画像とコンテンツ画像の合成画像の投影画像の撮像画像と、ネガ画像とコンテンツ画像の合成画像の投影画像の撮像画像との差分画像（パタン差分画像とも称する）を生成する。このパタン差分画像は、コンテンツ画像が略打ち消され、パタン画像が強調された画像である。つまりパタン差分画像生成部３８３は、撮像画像よりパタン１０１を検出する。

ステップＳ２０４において、信頼度判定部３８４は、そのパタン差分画像において、検出されたパタン１０１の信頼度を判定する。この信頼度の判定方法は任意である。例えば、振幅の大きさ、位置、形状等に基づいて判定するようにしてもよい。

ステップＳ２０５において、低信頼度領域除去部３８５は、ステップＳ２０４の判定結果に基づいて、パタン差分画像においてパタン１０１の信頼度が相対的に他の領域よりも低い領域を設定し、その領域内のパタン１０１を除去する。

ステップＳ２０６において、対応点検出部３８６は、ステップＳ２０５の処理により除去されていない領域のパタン１０１、すなわち、信頼度の高いパタン１０１を用いて、処理対象の投影部３１１と処理対象の撮像部３１２との対応点を検出する。

ステップＳ２０７において、補正情報算出部３８７は、ステップＳ２０６の処理により検出された対応点に基づいて、姿勢推定、投影スクリーン再構成、幾何補正等の処理を行い、それらの処理結果を反映した、投影する画像を補正するための補正情報を生成する。

ステップＳ２０８において、対応点検出制御部３８８は、全ての領域において対応点が検出されたか否かを判定する。全ての領域において対応点が検出されていないと判定された場合、処理はステップＳ２０２に戻り、それ以降の処理を繰り返す。

ステップＳ２０２乃至ステップＳ２０８の処理が繰り返され、ステップＳ２０８において、全ての領域において対応点が検出されたと判定された場合、処理はステップＳ２０９に進む。

ステップＳ２０９において、補正統合部３８９は、ステップＳ２０２乃至ステップＳ２０８の処理の繰り返しの各回のステップＳ２０７において生成された補正情報を統合する。

ステップＳ２０９の処理が終了すると、対応点検出処理が終了し、処理は図２９に戻る。つまり、対応点検出処理部３５２の各処理部は、図１８や図１９等を参照して説明したような処理を実行する。

以上のように各処理を実行することにより、＜１．ISL方式とパタンの不可視性＞において説明したように、パタンの不可視性や検出精度の低減を抑制することができる。

＜３．第２の実施の形態＞
＜投影撮像システム、投影撮像装置の他の構成例＞
なお、本技術を適用した投影撮像システムの構成例は、上述した例に限定されない。例えば図３５のＡに示される投影撮像システム５００のように、制御装置３０１並びに各投影撮像装置３０２がネットワーク５０１を介して互いに接続されるようにしてもよい。

ネットワーク５０１は、任意の通信網である。ネットワーク５０１において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク５０１は、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク５０１に含まれるようにしてもよい。

制御装置３０１並びに各投影撮像装置３０２は、このネットワーク５０１に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。なお、各装置の数、筐体の形状や大きさ、配置位置等は任意である。

制御装置３０１並びに各投影撮像装置３０２は、ネットワーク５０１を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、制御装置３０１並びに各投影撮像装置３０２は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。

このような構成の投影撮像システム５００の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図３５のＢに示される投影撮像システム５１０のように、投影部３１１と撮像部３１２とが互いに異なる装置として構成されるようにしてもよい。投影撮像システム５１０は、投影撮像装置３０２の代わりに、投影装置５１１－１乃至投影装置５１１－Ｎ（Ｎは任意の自然数）、並びに、撮像装置５１２－１乃至撮像装置５１２－Ｍ（Ｍは任意の自然数）を有する。投影装置５１１－１乃至投影装置５１１－Ｎは、それぞれ、投影部３１１（投影部３１１－１乃至投影部３１１－Ｎ）を有し、画像の投影を行う。撮像装置５１２－１乃至撮像装置５１２－Ｍは、それぞれ、撮像部３１２（撮像部３１２－１乃至撮像部３１２－Ｍ）を有し、投影面（投影部３１１が投影した投影画像）の撮像を行う。

投影装置５１１－１乃至投影装置５１１－Ｎを互いに区別して説明する必要が無い場合、投影装置５１１と称する。撮像装置５１２－１乃至撮像装置５１２－Ｍを互いに区別して説明する必要が無い場合、撮像装置５１２と称する。

各投影装置５１１並びに各撮像装置５１２は、それぞれ制御装置３０１と通信可能に接続されており、有線通信若しくは無線通信またはその両方により制御装置３０１と通信を行う（情報を授受する）ことができる。なお、各投影装置５１１並びに各撮像装置５１２が、制御装置３０１を介して、他の投影装置５１１若しくは他の撮像装置５１２またはその両方と通信を行うことができるようにしてもよい。

また、各装置の数、筐体の形状や大きさ、配置位置等は任意である。また、図３５のＡの例のように、各装置が、ネットワーク５０１等のような他の設備（装置や伝送路）を介して互いに通信可能に接続されるようにしてもよい。

このような構成の投影撮像システム５１０の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図３６のＡに示される投影撮像システム５２０のように、制御装置３０１を省略するようにしてもよい。図３６のＡに示されるように、投影撮像システム５２０は、投影撮像装置５２１－１乃至投影撮像装置５２１－Ｎ（Ｎは任意の自然数）を有する。投影撮像装置５２１－１乃至投影撮像装置５２１－Ｎを互いに区別して説明する必要が無い場合、投影撮像装置５２１と称する。各投影撮像装置５２１は、通信ケーブル５２２を介して互いに通信可能に接続されているなお、各投影撮像装置５２１が無線通信によって互いに通信可能に接続されるようにしてもよい。

投影撮像装置５２１－１乃至投影撮像装置５２１－Ｎは、それぞれ、制御部５２３－１乃至制御部５２３－Ｎを有する。制御部５２３－１乃至制御部５２３－Ｎを互いに区別して説明する必要が無い場合、制御部５２３と称する。制御部５２３は、制御装置３０１と同様の機能を有し、同様の処理を行うことができる。

つまり、この投影撮像システム５２０の場合、上述した制御装置３０１において行われる処理が、投影撮像装置５２１（の制御部５２３）において実行される。なお、いずれかの投影撮像装置５２１（の制御部５２３）が、制御装置３０１において行われる処理の全てを実行するようにしてもよいし、複数の投影撮像装置５２１（の制御部５２３）が、情報を授受し合う等して協働して処理を実行するようにしてもよい。

このような構成の投影撮像システム５２０の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図３６のＢに示されるように、投影撮像システム３００が１つの装置として構成されるようにしてもよい。図３６のＢに示される投影撮像装置５３０は、投影部３１１（投影部３１１－１乃至投影部３１１－Ｎ（Ｎは任意の自然数））、撮像部３１２（撮像部３１２－１乃至撮像部３１２－Ｍ（Ｍは任意の自然数））、並びに、制御部５２３を有する。

投影撮像装置５３０において、制御部５２３は、上述した制御装置３０１において行われる処理を実行することにより、各投影部３１１並びに各撮像部３１２を制御して対応点の検出等を行う。

したがって、このような構成の投影撮像装置５３０の場合も、第１の実施の形態において説明した投影撮像システム３００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また以上においては投影撮像システムを用いて本技術を説明したが、本技術は画像表示装置や画像表示システム等、画像表示機能を備える任意の構成、または画像表示のための処理を行う任意の構成に適用することができる。

＜４．その他＞
＜本技術の適用分野＞
本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。

例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。

＜ソフトウエア＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムやデータ等が、ネットワークや記録媒体からインストールされる。

例えば図２１の制御装置３０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムやデータ等を配信するために配布される、そのプログラムやデータ等が記録されているリムーバブルメディア３４１により構成される。その場合、例えば、リムーバブルメディア３４１をドライブ３３５に装着することにより、そのリムーバブルメディア３４１に記憶されているこのプログラムやデータ等を読み出させ、記憶部３３３にインストールさせることができる。

また例えば図２６の投影撮像装置３０２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムやデータ等を配信するために配布される、そのプログラムやデータ等が記録されているリムーバブルメディア４２１により構成される。その場合、例えば、リムーバブルメディア４２１をドライブ４１５に装着することにより、そのリムーバブルメディア４２１に記憶されているこのプログラムやデータ等を読み出させ、記憶部４１３にインストールさせることができる。

また、このプログラムやデータ等は、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図２１の制御装置３０１の場合、そのプログラムやデータ等は、通信部３３４で受信し、記憶部３３３にインストールすることができる。また、例えば図２６の投影撮像装置３０２の場合、そのプログラムやデータ等は、通信部４１４で受信し、記憶部４１３にインストールすることができる。

その他、このプログラムやデータ等は、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば図２１の制御装置３０１の場合、プログラムやデータ等は、記憶部３３３やROM３２２等に予めインストールしておくこともできる。また、例えば図２６の投影撮像装置３０２の場合、プログラムやデータ等は、記憶部４１３や制御部４０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。

＜補足＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） コンテンツ画像に重畳して投影される、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きのパタンを有する２つのパタン画像の輝度差を、前記コンテンツ画像の輝度に応じて調整する調整部
を備える画像処理装置。
（２） 前記調整部は、前記コンテンツ画像の輝度がより大きいほど、前記輝度差をより小さくする
（１）に記載の画像処理装置。
（３） 前記調整部は、前記コンテンツ画像の輝度が所定の閾値より大きい場合、前記輝度差を小さくする
（２）に記載の画像処理装置。
（４） 前記調整部は、前記コンテンツ画像の輝度がより小さいほど、前記輝度差をより大きくする
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記調整部は、前記コンテンツ画像の輝度が所定の閾値より小さい場合、前記輝度差を大きくする
（４）に記載の画像処理装置。
（６） 前記調整部は、投影画像の輝度が上限を超えないように、前記輝度差を調整する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記調整部は、投影画像の輝度が下限を下回らないように、前記輝度差を調整する
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記調整部は、前記コンテンツ画像の投影画像の輝度が投影画像の輝度の下限よりも上限に近い場合、前記投影画像の輝度が前記上限を超えないように前記輝度差を調整し、前記コンテンツ画像の投影画像の輝度が投影画像の輝度の上限よりも下限に近い場合、前記投影画像の輝度が前記下限を下回らないように前記輝度差を調整する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記調整部は、前記輝度差を画素毎に調整する
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記調整部は、処理対象画素の前記輝度差を、前記コンテンツ画像の前記処理対象画素の輝度に応じて調整する
（９）に記載の画像処理装置。
（１１） 前記パタン画像が重畳された前記コンテンツ画像を投影する投影部をさらに備える
（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） コンテンツ画像に重畳して投影される、形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きのパタンを有する２つのパタン画像の輝度差を、前記コンテンツ画像の輝度に応じて調整する
画像処理方法。
（１３） パタン画像の投影画像を撮像し、得られた撮像画像より前記パタン画像のパタンを検出し、検出した前記パタンから対応点を検出する際に、検出結果に含まれる前記パタンの信頼度が全て高くなるまで、前記投影画像の撮像と前記撮像画像からの前記パタンの検出を繰り返す対応点検出部
を備える画像処理装置。
（１４） 前記対応点検出部は、各回の前記パタンの検出において検出結果に含まれる信頼度の低い前記パタンを除去し、各回の検出結果を統合して前記対応点を検出する
（１３）に記載の画像処理装置。
（１５） 前記対応点検出部は、検出した前記対応点に基づいて前記投影画像を補正する補正情報を算出する
（１３）または（１４）に記載の画像処理装置。
（１６） 前記対応点検出部は、各回の前記パタンの検出において、検出結果に含まれる信頼度の低い前記パタンを除去して前記補正情報を算出し、各回の前記補正情報を統合する
（１５）に記載の画像処理装置。
（１７） 前記対応点検出部は、各回の前記補正情報の平均を算出する
（１６）に記載の画像処理装置。
（１８） 前記対応点検出部は、各回の前記補正情報を信頼度に基づいて重み付けして統合する
（１６）に記載の画像処理装置。
（１９） 前記投影画像を撮像する撮像部をさらに備える
（１３）乃至（１８）のいずれかに記載の画像処理装置。
（２０） パタン画像の投影画像を撮像し、得られた撮像画像より前記パタン画像のパタンを検出し、検出した前記パタンから対応点を検出する際に、検出結果に含まれる前記パタンの信頼度が全て高くなるまで、前記投影画像の撮像と前記撮像画像からの前記パタンの検出を繰り返す
画像処理方法。

１００ パタン画像， １０１ パタン， ３００ 投影撮像システム， ３０１ 制御装置， ３０２ 投影撮像装置， ３１１ 投影部， ３１２ 撮像部， ３５１ パタン画像投影処理部， ３５２ 対応点検出処理部， ３６１ コンテンツ画像取得部， ３６２ パタン画像取得部， ３６３ パタン画像調整部， ３６４ 合成部， ３６５ 投影制御部， ３７１ 画素選択部， ３７２ 振幅調整部， ３７３ 輝度クリップ部， ３７４ 高輝度振幅調整部， ３７５ 低輝度振幅調整部， ３７６ 輝度値上限処理部， ３７７ 輝度値下限処理部， ３７８ 輝度値上下限処理部， ３８１ 撮像制御部， ３８２ ノイズ低減部， ３８３ パタン差分画像生成部， ３８４ 信頼度判定部， ３８５ 低信頼度領域除去部， ３８６ 対応点検出部， ３８７ 補正情報算出部， ３８８ 対応点検出制御部， ３８９ 補正統合部， ４０１ 制御部， ５００ 投影撮像システム， ５０１ ネットワーク， ５１０ 投影撮像システム， ５１１ 投影装置， ５１２ 撮像装置， ５２０ 投影撮像システム， ５２１ 投影撮像装置， ５２３ 制御部， ５３０ 投影撮像装置

Claims (19)

1. 形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを有する２つのパタン画像がコンテンツ画像に重畳されていない状態において、前記コンテンツ画像の輝度がより大きいほど、前記２つのパタン画像の前記構造化光パタンの輝度差をより小さくする調整部と、
   前記２つのパタン画像のそれぞれを前記コンテンツ画像の連続する２フレームに合成する合成部と、
   前記コンテンツ画像と前記パタン画像が合成された合成画像の連続する２フレームを、コンテンツ輝度が高いほど出力画像の傾きが急になるガンマ特性を有するデバイス特性を有する投影部に投影させる投影制御部と
   を備え、
   前記パタン画像は、前記構造化光パタンを用いて投影画像と前記投影画像を撮像した撮像画像との対応点を求めるために投影される画像であり、
   前記対応点は、前記コンテンツ画像の幾何補正に利用される
   画像処理装置。
2. 前記調整部は、前記コンテンツ画像の輝度が所定の閾値より大きい場合、前記コンテンツ画像の輝度が大きいほど、前記２つのパタン画像の前記構造化光パタンの前記輝度差をより小さくする
   請求項１に記載の画像処理装置。
3. 前記調整部は、前記コンテンツ画像の輝度がより小さいほど、前記２つのパタン画像の前記構造化光パタンの前記輝度差をより大きくする
   請求項１に記載の画像処理装置。
4. 前記調整部は、前記コンテンツ画像の輝度が所定の閾値より小さい場合、前記コンテンツ画像の輝度がより小さいほど、前記２つのパタン画像の前記構造化光パタンの前記輝度差をより大きくする
   請求項３に記載の画像処理装置。
5. 前記調整部は、前記合成画像の輝度が上限を超えないように、前記２つのパタン画像の前記構造化光パタンの前記輝度差を調整する
   請求項１に記載の画像処理装置。
6. 前記調整部は、前記合成画像の輝度が下限を下回らないように、前記２つのパタン画像の前記構造化光パタンの前記輝度差を調整する
   請求項１に記載の画像処理装置。
7. 前記調整部は、前記コンテンツ画像の輝度が下限よりも上限に近い場合、前記合成画像の輝度が前記上限を超えないように、前記２つのパタン画像の前記構造化光パタンの前記輝度差を調整し、前記コンテンツ画像の輝度が前記上限よりも前記下限に近い場合、前記合成画像の輝度が前記下限を下回らないように、前記２つのパタン画像の前記構造化光パタンの前記輝度差を調整する
   請求項１に記載の画像処理装置。
8. 前記調整部は、前記２つのパタン画像の前記構造化光パタンの前記輝度差を画素毎に調整する
   請求項１に記載の画像処理装置。
9. 前記調整部は、前記２つのパタン画像の処理対象画素の前記輝度差を、前記コンテンツ画像の、前記処理対象画素と対応する画素の輝度に応じて調整する
   請求項８に記載の画像処理装置。
10. 前記調整部は、前記２つのパタン画像の前記構造化光パタンの前記輝度差を、前記パタン画像全体で一律に調整する
    請求項１に記載の画像処理装置。
11. 前記投影制御部に制御されて前記合成画像を投影する前記投影部をさらに備える
    請求項１に記載の画像処理装置。
12. 形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを有する２つのパタン画像がコンテンツ画像に重畳されていない状態において、前記コンテンツ画像の輝度がより大きいほど、前記２つのパタン画像の前記構造化光パタンの輝度差をより小さくし、
    前記２つのパタン画像のそれぞれを前記コンテンツ画像の連続する２フレームに合成し、
    前記コンテンツ画像と前記パタン画像が合成された合成画像の連続する２フレームを、コンテンツ輝度が高いほど出力画像の傾きが急になるガンマ特性を有するデバイス特性を有する投影部に投影させ、
    前記パタン画像は、前記構造化光パタンを用いて投影画像と前記投影画像を撮像した撮像画像との対応点を求めるために投影される画像であり、
    前記対応点は、前記コンテンツ画像の幾何補正に利用される
    画像処理方法。
13. 形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを有する２つのパタン画像のそれぞれがコンテンツ画像の連続する２フレームに合成されて投影部から投影された、２フレームの投影画像を撮像部に撮像させ、２フレームの撮像画像を生成させる撮像制御部と、
    前記２フレームの撮像画像同士の差分画像を生成し、前記構造化光パタンを検出する構造化光パタン検出部と、
    検出された前記構造化光パタンの内、信頼度が低い部分を除去する除去部と、
    除去されなかった前記構造化光パタンを用いて前記投影画像と前記撮像画像の対応点を検出する対応点検出部と、
    前記投影画像の撮像、前記構造化光パタンの検出、検出された前記構造化光パタンの内の前記信頼度の低い部分の除去、および、除去されなかった前記構造化光パタンを用いた前記対応点の検出の各処理を、検出された全ての前記構造化光パタンについて前記対応点が検出されるまで繰り返し実行させる対応点検出制御部と
    を備え、
    前記対応点は、前記コンテンツ画像の幾何補正に利用される
    画像処理装置。
14. 検出された前記対応点に基づいて前記投影画像を補正する補正情報を生成する補正情報生成部をさらに備え、
    前記対応点検出制御部は、前記投影画像の撮像、前記構造化光パタンの検出、検出された前記構造化光パタンの内の前記信頼度の低い部分の除去、除去されなかった前記構造化光パタンを用いた前記対応点の検出、および、検出された前記対応点に基づく前記補正情報の生成の各処理を、検出された全ての前記構造化光パタンについて前記対応点が検出されるまで繰り返し実行させる
    請求項１３に記載の画像処理装置。
15. 前記対応点検出制御部が前記処理を繰り返し実行させることにより生成された複数の前記補正情報を統合する補正統合部をさらに備える
    請求項１４に記載の画像処理装置。
16. 前記補正統合部は、複数の前記補正情報の平均を算出する
    請求項１５に記載の画像処理装置。
17. 前記補正統合部は、複数の前記補正情報を信頼度に基づいて重み付けして統合する
    請求項１５に記載の画像処理装置。
18. 前記撮像画像のノイズを低減するノイズ低減部をさらに備え、
    前記構造化光パタン検出部は、前記ノイズが低減された前記２フレームの撮像画像同士の差分画像を生成し、前記構造化光パタンを検出する
    請求項１３に記載の画像処理装置。
19. 形状が互いに同一であり、かつ、輝度変化方向が互いに逆向きの構造化光パタンを有する２つのパタン画像のそれぞれがコンテンツ画像の連続する２フレームに合成されて投影された、２フレームの投影画像を撮像させ、２フレームの撮像画像を生成させ、
    前記２フレームの撮像画像同士の差分画像を生成し、前記構造化光パタンを検出し、
    検出された前記構造化光パタンの内、信頼度が低い部分を除去し、
    除去されなかった前記構造化光パタンを用いて前記投影画像と前記撮像画像の対応点を検出し、
    前記投影画像の撮像、前記構造化光パタンの検出、検出された前記構造化光パタンの内の前記信頼度の低い部分の除去、および、除去されなかった前記構造化光パタンを用いた前記対応点の検出の各処理を、検出された全ての前記構造化光パタンについて前記対応点が検出されるまで繰り返し実行させ、
    前記対応点は、前記コンテンツ画像の幾何補正に利用される
    画像処理方法。

Images