JP7040511B2 - 情報処理装置および方法 - Google Patents

Description

本開示は、情報処理装置および方法に関し、特に、撮像画像間の位置合わせをより正確に行うことができるようにした情報処理装置および方法に関する。

従来、複数のカメラで撮像した撮像画像を合成して、全方位画像やパノラマ画像を作成することが行われていた。その際、画像同士の繋ぎ目等において違和感が生じないように、撮像画像同士を正確に位置合わせする必要がある。このような位置合わせを手動で行う方法があった（例えば、特許文献１参照）。

特開２００５－４４０７７号公報

しかしながら、手動では、１枚の合成画像を作成するのにも多大な時間を要するため、動画像の合成画像を作成することは困難であった。また、手動の場合、位置合わせの正確性は、その作業者の練度に依存するため、必ずしも位置合わせを十分に正確に行うことができるとは限らなかった。

本開示は、このような状況に鑑みてなされたものであり、撮像画像間の位置合わせをより正確に行うことができるようにするものである。

本技術の一側面の情報処理装置は、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する算出部と、前記算出部により算出された前記評価値に基づいて、前記パタンの照射位置を更新する更新部とを備える情報処理装置である。

前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさに基づいて前記評価値を算出することができる。

前記算出部は、前記誤差が所定の範囲より大きくても小さくても、前記評価値を、前記誤差が前記範囲内の場合よりもエラーの発生率が高いことを示す値に設定することができる。

前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、前記部分領域の画像特徴量とに基づいて前記評価値を算出することができる。

前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定することができる。

前記画像特徴量は、画素値のバラツキに関するパラメータであるようにすることができる。

前記算出部は、前記画素値のバラツキに関するパラメータが所定の閾値より小さい場合、前記評価値を、前記画素値のバラツキに関するパラメータが前記閾値以上の場合よりもエラーの発生率が高いことを示す値に設定することができる。

前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、撮像して前記撮像画像を生成した撮像部と撮像して前記他の撮像画像を生成した他の撮像部との相対姿勢に関する情報とに基づいて前記評価値を算出することができる。

前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定することができる。

前記相対姿勢に関する情報は、前記撮像部と前記他の撮像部との、検出された対応点に基づく相対姿勢と実際の相対姿勢との誤差の大きさであるようにすることができる。

前記算出部は、前記誤差が大きい程、前記評価値を、エラーの発生率がより高いことを示す値に設定することができる。

前記更新部は、前記評価値が所定の閾値よりもエラーの発生率が高いことを示す値に設定されている場合、前記撮像画像と前記他の撮像画像とが重畳する領域に照射されるパタンを増やすように、前記パタンの照射位置を更新することができる。

前記更新部は、前記撮像画像に含まれる他のパタンの照射位置を前記領域に移動させることができる。

前記更新部は、前記撮像画像外に照射されていた他のパタンの照射位置を前記領域に移動させることができる。

前記パタンを含む所定の部分領域のマッチングにより、前記撮像画像と前記他の撮像画像との対応点検出を行う対応点検出部をさらに備え、前記算出部は、前記対応点検出部により得られた前記対応点検出結果についての前記評価値を算出するように構成されるようにすることができる。

前記対応点検出部は、最新のパタン照射に基づいて前記対応点検出を行うことができる。

前記対応点検出部は、複数回のパタン照射に基づいて前記対応点検出を行うことができる。

前記パタンは、レーザ光として照射されるようにすることができる。

前記パタンは、赤外光として照射されるようにすることができる。

本技術の一側面の情報処理方法は、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、算出された前記評価値に基づいて、前記パタンの照射位置を更新する情報処理方法である。

本技術の一側面の情報処理装置および方法においては、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、そのパタンを含む他の撮像画像との対応点検出結果について、その撮像画像および他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値が算出され、算出されたその評価値に基づいて、パタンの照射位置が更新される。

本開示によれば、情報を処理することができる。特に、撮像画像間の位置合わせをより正確に行うことができる。

画像合成の様子の例を示す図である。 画像合成の様子の例を示す図である。 撮像システムの主な構成例を示すブロック図である。 中央処理装置の主な構成例を示すブロック図である。 中央処理装置が実現する機能例を示す機能ブロック図である。 位置合わせ処理の流れの例を説明するフローチャートである。 撮像画像の例を示す図である。 位置合わせの例を示す図である。 位置合わせの例を示す図である。 撮像画像の例を示す図である。 位置合わせの例を示す図である。 評価値について説明する図である。 評価値について説明する図である。 評価値について説明する図である。 距離信頼度算出の様子の例を示す図である。 更新および評価値算出方法の例について説明する図である。 撮像装置について説明する図である。 撮像システムの他の構成例を示すブロック図である。 照射撮像装置の主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．撮像画像間の位置合わせ
２．第１の実施の形態（撮像システム）
３．第２の実施の形態（撮像システム・照射撮像装置）
４．その他

＜１．撮像画像間の位置合わせ＞
＜画像合成と位置合わせ＞
従来、複数のカメラで撮像した撮像画像を合成して１つの合成画像とすることがあった。例えば図１のＡのように、複数の撮像装置で同一箇所（同一範囲）をタイミングをずらして撮像し、各カメラで得られる撮像画像をフレームとして組み合わせ、カメラのフレームレートよりも高フレームレートの動画像を実現する方法があった。また、例えば図１のＢのように、複数の撮像装置により広範囲を撮像し、各撮像画像を並べるように合成することにより、例えばパノラマ画像のような、１台の撮像装置の撮像範囲よりも広範囲の合成画像を生成する方法があった。また、図２に示される例のように、撮像画像の合成の際に幾何補正も行うことにより、例えば全方位画像のような、曲面に展開される合成画像を生成する方法もあった。

このような合成画像の、画像を見るユーザにとって複数の撮像画像が重畳して見える部分において、合成された撮像画像同士がずれていると、エッジが２重になったり、色や輝度が変化したりして、ユーザが違和感を覚える可能性がある。なお、このユーザにとって重畳して見える部分とは、データ上で撮像画像同士が重畳されて合成される部分だけでなく、実際には合成されずデータは別々であるが、表示や編集の際などにおいて重畳されて合成される可能性がある部分も含む。また、そのような合成され得る画像には、同一のタイミングで出力・表示され、実際に重畳されて表示されるものだけでなく、表示の際にユーザの視覚的に合成される部分、例えば、互いに同一でないタイミングに表示され、一方の残像が他方の撮像画像に重畳して見えるような部分も含む（例えばフレーム等）。

このような複数の撮像画像が重畳する部分において、ユーザに違和感を覚えさせないようにするために、合成する撮像画像の位置合わせを行う様々な方法が考えられた。例えば、特許文献１には、複数の画像のパースペクティブを統一しながら画像を合成する方法において、合成する２枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、そのパラメータに対応した画像、またはその一部を表示し、表示された画像から、操作者が画質確認を行う方法が開示されている。

しかしながら、手動では、１枚の合成画像を作成するのにも多大な時間を要するため、動画像の合成画像を作成することは困難であった。また、手動の場合、位置合わせの正確性は、その作業者の練度に依存するため、必ずしも位置合わせを十分に正確に行うことができるとは限らなかった。

＜評価値の算出とパタン表示位置の更生＞
そこで、例えば、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、そのパタンを含む他の撮像画像との対応点検出結果について、それらの撮像画像（撮像画像および他の撮像画像）を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する算出部と、その算出部により算出された評価値に基づいて、パタンの照射位置を更新する更新部とを備えるようにする。また、例えば、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、そのパタンを含む他の撮像画像との対応点検出結果について、それらの撮像画像（撮像画像および他の撮像画像）を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、算出されたその評価値に基づいて、パタンの照射位置を更新するようにする。このようにすることにより、撮像画像間の位置合わせをより正確に行うことができる。

＜２．第１の実施の形態＞
＜撮像システム＞
図３は、本技術を適用した撮像システムの一実施の形態の主な構成例を示すブロック図である。図３において、撮像システム１００は、任意の被写体に向けて、位置合わせ用の所定のパタン画像を照射し、そのパタン画像が照射された被写体を複数の撮像装置によって撮像することにより、位置合わせ用のパタン画像を含む複数の撮像画像を生成して出力するシステムである。そして、この撮像システム１００は、後述する手法によってそのような処理を行うことにより、より正確な位置合わせが可能なパタン画像を含む複数の撮像画像を生成し、出力することができる。

図３に示されるように、この撮像システム１００は、中央処理装置１１１、照射装置１１２、撮像装置１１３－１乃至撮像装置１１３－４を有する。

中央処理装置１１１と、照射装置１１２、並びに、撮像装置１１３－１乃至撮像装置１１３－４とは、通信媒体である所定のケーブルを介して互いに通信可能に接続されている。中央処理装置１１１は、照射装置１１２や撮像装置１１３－１乃至撮像装置１１３－４の制御に関する処理や、撮像装置１１３－１乃至撮像装置１１３－４から供給される撮像画像の合成に関する処理等を行う。

照射装置１１２は、レーザ光を任意の位置（任意の方向）に照射する装置である。例えば、照射装置１１２は、上述のケーブルを介して中央処理装置１１１により制御され、任意の位置（任意の方向）の被写体をレーザ光でスキャンすることにより、その被写体表面に、位置合わせ用のパタン画像を描く。例えば、照射装置１１２は、中央処理装置１１１の制御に従って、点線矢印１４１乃至点線矢印１４９のように、被写体である壁１２０に向けてパタン画像（レーザ光）を照射する。

照射装置１１２が同時に照射可能なパタン（レーザ光）の数は任意であり、図３の例に限定されない。また、パタン画像はどのような絵柄であってもよい。また、照射装置１１２は、どのような光でパタンを照射するようにしてもよく、レーザ光でなくてもよい。

撮像装置１１３－１乃至撮像装置１１３－４は、それぞれ、被写体を撮像して撮像画像を生成し、それを出力する装置である。以下において、撮像装置１１３－１乃至撮像装置１１３－４を互いに区別して説明する必要がない場合、撮像装置１１３と称する。撮像装置１１３は、上述のケーブルを介して中央処理装置１１１により制御され、任意の被写体を撮像し、撮像画像を得る。また、撮像装置１１３は、その得られた撮像画像を、上述のケーブルを介して中央処理装置１１１に供給する。

なお、撮像装置１１３は、任意の位置に任意の姿勢で設置することができる。つまり、撮像装置１１３は任意の位置から任意の姿勢、任意の画角で、任意の方向を撮像することができる。つまり、撮像装置１１３は任意の撮像範囲を撮像することができる。また、中央処理装置１１１は、各撮像装置１１３の撮像実行制御だけでなく、撮像に関する任意の制御を行うことができるようにしてもよい。例えば、各撮像装置１１３の絞り、露出、照明等の撮像に関する設定を中央処理装置１１１が制御することができるようにしてもよい。また、例えば、各撮像装置１１３の位置や姿勢、ズーム等、撮像範囲に関する設定を中央処理装置１１１が制御することができるようにしてもよい。

なお、各撮像装置１１３の性能（例えば、解像度、ダイナミックレンジ、コントラスト、フレームレート、画角、シャッタスピード等、撮像に関する性能を示すあらゆるパラメータの値）は、統一されていなくてもよい。また、撮像装置１１３が撮像する方向や姿勢は統一されていなくてもよい。例えば、他と異なる方向を他と異なる姿勢で撮像する撮像装置１１３が存在してもよい。各撮像装置１１３が互いに異なる方向を互いに異なる姿勢で撮像するようにしてもよい。

図３の例の場合、撮像装置１１３－１は、壁１２０の両矢印１２１で示される範囲を撮像する。また、撮像装置１１３－２は、壁１２０の両矢印１２２で示される範囲を撮像する。また、撮像装置１１３－３は、壁１２０の両矢印１２３で示される範囲を撮像する。また、撮像装置１１３－４は、壁１２０の両矢印１２４で示される範囲を撮像する。両矢印１３１で示される範囲が、撮像装置１１３－１の撮像範囲と撮像装置１１３－２の撮像範囲とが重なる範囲である。また、両矢印１３２で示される範囲が、撮像装置１１３－２の撮像範囲と撮像装置１１３－３の撮像範囲とが重なる範囲である。さらに、両矢印１３３で示される範囲が、撮像装置１１３－３の撮像範囲と撮像装置１１３－４の撮像範囲とが重なる範囲である。

図３の例の場合、範囲１３１には１つのパタン画像が照射され（点線矢印１４２）、範囲１３２には２つのパタン画像が照射され（点線矢印１４４、点線矢印１４５）、範囲１３３には３つのパタン画像が照射されている（点線矢印１４６、点線矢印１４７、点線矢印１４８）。

＜中央処理装置＞
図４は、本技術を適用した情報処理装置の一実施の形態である中央処理装置１１１の主な構成例を示すブロック図である。図４に示されるように、中央処理装置１１１は、CPU２０１、ROM２０２、RAM２０３、バス２０４、入出力インタフェース２１０、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５を有する。

CPU２０１、ROM２０２、RAM２０３は、バス２０４を介して相互に接続されている。バス２０４にはまた、入出力インタフェース２１０も接続されている。入出力インタフェース２１０には、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５が接続されている。

CPU２０１は、例えば、ROM２０２や記憶部２１３に記憶されているプログラム等をRAM２０３にロードして実行することにより、各種処理を行う。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。例えば、CPU２０１は、そのようにプログラム等を実行することにより、撮像画像の合成に関する各種処理を行うことができる。

入力部２１１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、バーコードリーダ等であってもよい。また、加速度センサ、光センサ、温度センサ等の各種センサであってもよい。さらに、外部の任意の情報をデータ（信号）として受け付ける入力端子であってもよい。出力部２１２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイやスピーカ等であってもよい。また、任意の情報をデータ（信号）として外部に出力する出力端子であってもよい。

記憶部２１３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。通信部２１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。この通信部２１４による通信の通信方法や通信規格は任意である。例えば、通信部２１４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。

ドライブ２１５は、自身に装着されたリムーバブルメディア２１６に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア２１６は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ２１５は、自身に装着されたリムーバブルメディア２１６に記憶されている情報（プログラムやデータ等）を読み出し、その情報をCPU２０１やRAM２０３等に供給する。また、例えば、ドライブ２１５は、CPU２０１やRAM２０３等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア２１６に書き込む。

＜制御装置の機能ブロック＞
図５は、中央処理装置１１１のCPU２０１等がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図５に示されるように、中央処理装置１１１は、プログラムを実行することにより、パタン照射部２５１、撮像部２５２、対応点検出部２５３、評価値算出部２５４、判定部２５５、および照射パタン更新部２５６の機能を有する。

パタン照射部２５１は、パタン画像の照射に関する処理を行う。撮像部２５２は、撮像装置１１３の制御に関する処理を行う。対応点検出部２５３は、撮像装置１１３において得られた撮像画像の対応点検出に関する処理を行う。評価値算出部２５４は、対応点検出結果について、撮像画像同士を合成する際の位置合わせのエラーの発生率を評価する評価値の算出に関する処理を行う。判定部２５５は、評価値に基づくパタン画像の更新に関する判定を行う。照射パタン更新部２５６は、パタン画像の照射位置の更新に関する処理を行う。

＜位置合わせ処理の流れ＞
以上のような中央処理装置１１１は、位置合わせ処理を実行することにより、撮像画像同士の位置合わせに用いるパタン画像の照射位置を決定する。図６のフローチャートを参照して、このような位置合わせ処理の流れの例を説明する。

位置合わせ処理が開始されると、パタン照射部２５１は、ステップＳ１０１において、照射装置１１２を制御して、パタンを撮像環境に照射させる。照射装置１１２は、その制御に従ってレーザ光を撮像環境に照射し、パタン画像を撮像環境に描画する。なお、撮像環境とは撮像範囲内の（すなわち、撮像画像に含まれる）被写体等のことである。被写体等とは、撮像範囲内の、例えば、壁、床、天井、人、動物等を含む何らかの物体である。なお、例えば、空や遠景等のように被写体にレーザ光が届かない場合等、被写体にパタン画像を正常に照射することが困難な場合、本来の被写体の近傍または手前にレーザ光を正常に照射可能な物体を配置し、その物体にレーザ光を照射してパタン画像を描画するようにしてもよい。

ステップＳ１０２において、撮像部２５２は、全ての撮像装置１１３を制御して、全視点を撮像させる。ここで視点とは、１つの撮像装置１１３の撮像範囲を示す。つまり、各撮像装置１１３は、その制御に従って撮像し、撮像画像のデータ（撮像画像データ）を得る。各撮像装置１１３は、その撮像画像データを中央処理装置１１１に供給する。これにより全視点（全撮像範囲）の撮像画像データが得られる。

ステップＳ１０３において、対応点検出部２５３は、処理対象視点、すなわち、処理対象とする撮像画像を選択する。ステップＳ１０４において、対応点検出部２５３は、隣接視点間の画像についてパタンを手掛かりに対応点検出を行う。つまり、対応点検出部２５３は、処理対象視点の撮像画像と、その処理対象視点に隣接する視点の撮像画像との間で、それぞれの撮像画像に含まれるパタン画像に基づく対応点（どちらの撮像画像にも存在する絵柄）の検出を行う。

例えば、図７のＡの撮像画像３１０が処理対象視点の撮像画像であり、図７のＢの撮像画像３２０がその処理対象視点に隣接する視点の撮像画像であるとする。図７のＡの撮像画像３１０には、照射装置１１２により照射されたパタン３１１およびパタン３１２、並びに、エッジ３１３が含まれている。このエッジ３１３は、被写体（例えば壁１２０）の絵柄である。この円形のエッジ３１３以外の部分は、画素値変化が十分に小さい平坦部であるとする。また、図７のＢの撮像画像３２０には、照射装置１１２により照射されたパタン３１２およびエッジ３１３が含まれている。

対応点検出においては、一般的に、輝度値が大きく変化するエッジ部分が特徴となり、その特徴に基づいて位置合わせが行われる。換言するに、撮像画像に平坦部が多い場合、撮像画像の特徴が少ないため、位置合わせがより困難になる可能性がある。

例えば、対応点検出部２５３が、図７の撮像画像３１０と撮像画像３２０との間で対応点検出を行うと、両画像に含まれるパタン３１２とエッジ３１３に基づいて位置合わせが行われる。その際、例えば図８のように位置合わせされるとする。しかしながら、本当は、図９の例のように撮像画像３２０を撮像画像３１０に対して傾けて位置合わせするのが正しいかもしれない。このように、少ない特徴（パタン３１２とエッジ３１３）に基づいてこの撮像画像３２０の向きの違いを特定することは困難である場合もある。

そこで、評価値算出部２５４は、ステップＳ１０５において、ステップＳ１０４の処理により得られた対応点検出結果について、撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する。

そして、判定部２５５は、ステップＳ１０６において、ステップＳ１０５の処理により得られた評価値に応じて、処理対象視点に照射するパタンの追加を予約する。評価値はどのような値（関数）であってもよいが、例えば、評価値が大きいほど位置合わせがエラーとなる可能性（エラーの発生率）が低く、評価値が小さいほどエラーとなる可能性が高いとすると、判定部２５５は、評価値が所定の閾値以上である場合エラーとなる可能性が十分に低いと判定し、評価値が所定の閾値より小さい場合エラーとなる可能性が高いと判定する。そして、エラーとなる可能性が高いと判定した場合、判定部２５５は、処理対象視点の、そのエラーとなる可能性が高いと判定した領域にパタンを増やす、すなわち追加のパタン画像を照射するように、照射パタン更新部２５６に対して要求する。逆に、エラーとなる可能性が低いと判定した領域については、パタンの追加を要求しない。

また、ステップＳ１０７において、判定部２５５は、位置合わせに不要なパタンの消去を予約する。他の撮像画像と重複せず、位置合わせに寄与しないパタン画像は不要である。したがって、判定部２５５は、そのようなパタンの消去を照射パタン更新部２５６に対して要求する。

パタン画像は位置合わせのために追加された画像であり、本来の撮像画像の鑑賞には不要な画像である。つまり、パタン画像は撮像画像の鑑賞者にとって主観画質を低減させているともいえる。したがって、上述のように不要なパタン画像を消去する（不要なパタンを照射しないようにする）ことにより、撮像画像の画質の低減を抑制することができる。

つまり、撮像画像を合成する際の位置合わせにおいてエラーが発生する可能性（エラーの発生率）が高い領域に照射するパタンの数を増やし、対応点検出を再度やり直すようにする。例えば、図７乃至図９を参照して説明したパタン３１２の近傍に新たなパタン３３１（図１０）を追加する。このようにして再度撮像（ステップＳ１０２）を行うことにより、図１０のＡに示されるように、撮像画像３１０にパタン３３１が追加される。同様に、図１０のＢに示されるように、撮像画像３２０にもそのパタン３３１が追加される。従って、図１１に示されるように、パタン３１２、エッジ３１３、およびパタン３３１に基づいて位置合わせを行うことができるので、上述の撮像画像３２０の向きもより容易に特定することができるようになり、より正確に位置合わせを行うことができる。

なお、図７乃至図１１を参照して説明した位置合わせは、一例であり、位置合わせの仕方、パタンやエッジの数、形状、位置、大きさ等は全て任意である。一般的に、パタンの数を増やすことにより撮像画像の特徴が増えるため、撮像画像間の位置合わせ（マッチング）の誤差は小さくなりやすい。つまり、マッチングをより正確に行うことができるようになる。

なお、パタンの増やし方は任意である。新たなパタンを照射するようにしてもよいし、他の領域に照射していたパタンを、位置合わせにおいてエラーが発生する可能性が高い領域に移動させるようにしてもよい。パタンを移動させる場合は、他の領域の位置合わせへの影響を抑制するように移動させるパタンを選択するのが望ましい。つまり、移動（または消去）しても位置合わせへの影響が少ないパタンを特定し、そのパタンを移動させるようにしてもよい。例えば、ステップＳ１０７の処理により、位置合わせに寄与しないと判定されたパタンを移動させるようにしてもよい。例えば、パタンの追加と移動を組み合わせてもよい。例えば、照射装置１１２が照射するパタンの数に上限が存在する場合、その上限まではパタンを追加するようにし、パタン数が上限に達した場合、照射しているパタンを移動させるようにしてもよい。

ステップＳ１０８において、対応点検出部２５３は、全視点の処理が終了したか否かを判定する。未処理の視点が存在すると判定された場合、処理はステップＳ１０３に戻り、それ以降の処理を実行する。ステップＳ１０３乃至ステップＳ１０８の各処理を各視点について行い、ステップＳ１０８において全視点の処理を終了したと判定された場合、処理はステップＳ１０９に進む。

ステップＳ１０９において、照射パタン更新部２５６は、パタンを更新する視点が存在するか否かを判定する。つまり、上述のように全視点に対して処理が行われた後、照射パタン更新部２５６は、各視点に対する処理においてステップＳ１０６の処理またはステップＳ１０７の処理が行われたか否かを判定する。行われたと判定された場合、処理はステップＳ１１０に進む。ステップＳ１１０において、照射パタン更新部２５６は、ステップＳ１０６およびステップＳ１０７において行われた予約に従って各視点に照射するパタンを更新する（パタンの追加、移動、消去等）。つまり、照射パタン更新部２５６は、評価値が所定の閾値よりもエラーの発生率が高いことを示す値に設定されている場合、処理対象の視点の撮像画像と他の撮像画像とが重畳する領域に照射されるパタンを増やすように、パタンの照射位置を更新する。また、照射パタン更新部２５６は、不要と判定されたパタンを消去する。ステップＳ１１０の処理が終了すると、処理はステップＳ１０１に戻り、それ以降の処理を実行する。つまり、更新された位置にパタン画像が照射され、再度撮像が行われる。それ以降の処理は、その新たな撮像画像、つまり、照射位置が更新されたパタン画像を含む撮像画像に対して行われる。

こうしてパタン画像の位置が更新されなくなるまで、ステップＳ１０１乃至ステップＳ１１０の各処理が繰り返し実行される。そして、ステップＳ１０９において、パタンを更新する視点が存在しないと判定された場合、位置合わせ処理が終了する。

以上のように位置合わせ処理を行うことにより、撮像画像間の位置合わせをより正確に行うことができる。

＜評価値算出方法＞
図６のステップＳ１０５における評価値の算出方法は任意である。例えば、対応点検出結果（マッチング誤差）に基づいてその評価値を求めるようにしてもよい。マッチング誤差とマッチング信頼度との関係の例を図１２の曲線３４１により示す。マッチング誤差は、対応点検出（ステップＳ１０４）の結果に基づいて位置合わせされた両撮像画像の比較結果（差分）の大きさを示すパラメータである。この値が大きくなる程、位置合わせされた両画像が一致していない（不一致が多い）ということを表す。

マッチング信頼度は、マッチング誤差に依存する、位置合わせが成功であることの信頼度を示すパラメータである。この値が大きくなる程、対応点検出結果に基づく位置合わせ（マッチング）が、正しい位置合わせ結果となっている可能性が高くなる。例えば、図７の撮像画像の位置合わせ結果が図８のようになった場合に、このマッチング信頼度が大きいほど、その図８の状態が正しい位置合わせの状態である可能性が高くなる。なお、このマッチング信頼度を、マッチング誤差に依存する、位置合わせが成功する可能性の大きさを示すパラメータとしてもよい。その場合、例えば、図９の状態が正しい位置合わせの状態であるとすると、このマッチング信頼度が大きいほど、図７の撮像画像の位置合わせ結果が図８のようにならずに図９のようになる可能性が高くなる。

評価値は、このマッチング信頼度の値に応じて設定される。つまり、マッチング信頼度が大きいほど評価値はエラーの発生率がより低いことを示す値（例えば、より大きな値）に設定され、マッチング信頼度が小さいほど評価値はエラーの発生率がより高いことを示す値（例えば、より小さな値）に設定される。

一般的に、不一致が増大すればそのマッチング結果が正しい結果である可能性は低減する。したがって、図１２の例の曲線３４１の場合、マッチング誤差が所定の第１の閾値を越えるときは、その値が大きくなる程マッチング信頼度が低くなる。また一般的に、画像の特徴が少ない場合、特徴が多い場合に比べてマッチングが容易になり、マッチング誤差が低減するが、マッチング結果としてより多くの位置合わせの状態が可能になるため、得られたマッチング結果が正しい結果である可能性は低減する。つまり、マッチング誤差が小さすぎる場合、マッチング信頼度が低減する。したがって、図１２の例の曲線３４１の場合、マッチング誤差が上述の第１の閾値よりも小さな所定の第２の閾値よりも小さいときは、その値が小さくなる程マッチング信頼度が低くなる。つまり、マッチング誤差が所定の範囲（第１の閾値と第２の閾値との間）より大きくても小さくても、そのマッチング誤差がその範囲内の場合よりも、マッチング信頼度が低くなる。つまり、評価値が、エラーの発生率がより高いことを示す値に設定される。

この場合、例えば、注目するパタンを含む所定の部分領域においてマッチングを行った結果、マッチング誤差が大きすぎるときは、位置合わせされた両画像が一致していない（不一致が多い）と推定され、マッチング誤差が小さすぎるときは、平坦部が多い（特徴が少ない）と推定される。このようにすることにより、不一致の場合はもちろん、特徴が少なく正しくマッチングされていない可能性が高いと判定される場合もパタンが更新されるようにすることができる。したがって上述のように撮像画像間の位置合わせをより正確に行うことができる。なお、マッチング誤差とマッチング信頼度との関係（曲線３４１）は任意であり、図１２の例に限定されない。

また、例えば、対応点検出結果（マッチング誤差）と、その対応点検出が行われた部分領域の画像特徴量とに基づいてその評価値を求めるようにしてもよい。図１３のＡの曲線３４２は、この場合のマッチング誤差とマッチング信頼度との関係の例を示す。また、図１３のＢの曲線３４３は、画像特徴量と平坦度合信頼度との関係の例を示す。画像特徴量は、任意であるが、例えば、画素値のバラツキに関するパラメータ（平坦度合に関するパラメータ）であるようにしてもよい。この画素値のバラツキに関するパラメータは、任意である。例えば、DRや隣接画素差分絶対値和等に関する値であってもよい。この場合、画像特徴量（画素値のバラツキ）が小さいほど、平坦度合が高い。

また、平坦度合信頼度は、平坦度合（画素値のバラツキの大きさ）に依存する、位置合わせが成功であることの信頼度を示すパラメータ（平坦度合に依存する、位置合わせが成功する可能性の大きさを示すパラメータ）である。マッチング信頼度の場合と同様に、この値が大きくなる程、対応点検出結果に基づく位置合わせ（マッチング）が、正しい位置合わせ結果となっている可能性が高くなる。なお、この平坦度合信頼度を、平坦度合に依存する、位置合わせが成功する可能性の大きさを示すパラメータとしてもよい。

評価値は、マッチング信頼度と平坦度信頼度の積に応じた値に設定される。つまり、マッチング信頼度と平坦度信頼度の積が大きいほど評価値はエラーの発生率がより低いことを示す値（例えば、より大きな値）に設定され、マッチング信頼度と平坦度信頼度の積が小さいほど評価値はエラーの発生率がより高いことを示す値（例えば、より小さな値）に設定される。

図１３のＡの例の曲線３４２の場合、マッチング誤差が所定の閾値を越えるときは、その値が大きくなる程マッチング信頼度が低くなる。また上述のように、一般的に、画像の特徴が少ない場合、マッチング結果が正しい結果である可能性は低減する。つまり、平坦度合が大きい（平坦である可能性が高い、または、より平坦である）ほど、平坦度合信頼度が低減する。例えば図１３のＢの曲線３４３の場合、画像特徴量が所定の閾値より小さいときは、その値が小さくなる程平坦度信頼度が低くなる。したがって、マッチング誤差が小さくても、そのマッチングを行った領域が平坦であるときは、位置合わせにおいてエラーが発生する可能性が高いと判定され、評価値がエラーの発生率がより高いことを示す値に設定される。

したがって上述のように撮像画像間の位置合わせをより正確に行うことができる。なお、上述のようにマッチング信頼度と平坦度信頼度の積を算出する代わりに、図１３のＣに示されるように、予め定められたマッチング誤差と画像特徴量（例えば画素値のバラツキに関するパラメータ）と評価値との関係に基づいて、マッチング誤差の値と画像特徴量の値とから、評価値を求めるようにしてもよい。

なお、マッチング誤差とマッチング信頼度との関係（曲線３４２）は任意であり、図１３のＡの例に限定されない。また、画像特徴量と平坦度合信頼度との関係（曲線３４３）は任意であり、図１３のＢの例に限定されない。さらに、マッチング誤差と画像特徴量と評価値との関係は任意であり、図１３のＣの例に限定されない。

また、例えば、対応点検出結果（マッチング誤差）と、撮像して位置合わせを行う２つの撮像画像のそれぞれを生成した２つの撮像部の相対姿勢とに基づいてその評価値を求めるようにしてもよい。図１４のＡの曲線３４４は、この場合のマッチング誤差とマッチング信頼度との関係の例を示す。また、図１４のＢの直線３４５は、距離と距離信頼度との関係の例を示す。

距離は、検出された対応点を用いて求められる、その対応点を撮像した各撮像部（またはその撮像範囲）の相対姿勢に関する情報である。より具体的には、距離は、その対応点に基づく各撮像部（またはその撮像範囲）の相対姿勢と、実空間における各撮像部（またはその撮像範囲）の相対姿勢との誤差の大きさを示すパラメータである。つまり、この距離がゼロであるかまたは十分に小さい場合、各撮像画像において検出された対応点は、実空間上においても互いに同一の位置を指しており、位置合わせが正しい結果となる可能性が高い。これに対して、この距離が大きい場合は、各撮像画像において検出された対応点が実空間上においてずれており、誤検出の可能性が高い。すなわち、位置合わせが正しい結果となる可能性が低い。

距離信頼度は、このような距離に依存する、位置合わせが成功であることの信頼度を示すパラメータである。この値が大きくなる程、対応点検出結果に基づく位置合わせ（マッチング）が、正しい位置合わせ結果となっている可能性が高くなる。なお、距離信頼度を、距離に依存する、位置合わせが成功する可能性の大きさを示すパラメータとしてもよい。

上述のように、一般的に、距離が大きくなると位置合わせが正しい結果となる可能性が低くなる。したがって、距離と距離信頼度との関係は、例えば図１４のＢの直線３４５のような関係になる。

このような距離および距離信頼度の算出方法は任意である。例えば、図１５に示されるような機能ブロックを用いて算出するようにしてもよい。まず、注目視点Ａの撮像装置１１３と視点Ｂの撮像装置１１３との実空間上の相対姿勢（位置や向き等）が既知であるとする。また、検出された対応点から、撮像画像同士の画像内座標系における相対位置は既知である。

座標変換部４０１は、その対応点に基づく画像座標系（x,y）の撮像装置１１３同士の相対位置を、実空間上の座標系（X,Y,Z）に変換する。距離算出部４０２は、座標変換部４０１により求められた、対応点検出結果に基づく視点Ｂの実空間上の撮像装置１１３の座標と、注目視点Ａを基準とした視点Ｂの実空間上の撮像装置１１３の座標（既知）との距離（誤差）を算出する。距離信頼度算出部４０３は、距離算出部４０２により算出された距離に基づいて、距離信頼度を算出する。

評価値は、マッチング信頼度と距離信頼度の積に応じた値に設定される。つまり、マッチング信頼度と距離信頼度の積が大きいほど評価値はエラーの発生率がより低いことを示す値（例えば、より大きな値）に設定され、マッチング信頼度と距離信頼度の積が小さいほど評価値はエラーの発生率がより高いことを示す値（例えば、より小さな値）に設定される。

図１４のＡの例の曲線３４４の場合、マッチング誤差が所定の閾値を越えるときは、その値が大きくなる程マッチング信頼度が低くなる。また図１４のＢの直線３４５の場合、距離が遠くなる程距離信頼度が低くなる。したがって、マッチング誤差が小さくても、対応点に基づく各撮像部（またはその撮像範囲）の相対姿勢と、実空間における各撮像部（またはその撮像範囲）の相対姿勢との誤差が大きいときは、位置合わせにおいてエラーが発生する可能性が高いと判定され、評価値がエラーの発生率がより高いことを示す値に設定される。

したがって上述のように撮像画像間の位置合わせをより正確に行うことができる。なお、上述のようにマッチング信頼度と距離信頼度の積を算出する代わりに、予め定められたマッチング誤差と距離と評価値との関係に基づいて、マッチング誤差の値と画像特徴量の値とから、評価値を求めるようにしてもよい。

なお、マッチング誤差とマッチング信頼度との関係（曲線３４４）は任意であり、図１４のＡの例に限定されない。また、距離と距離信頼度との関係（曲線３４５）は任意であり、図１４のＢの例に限定されない。

＜パタン移動方法と対応点検出方法＞
上述のようにパタンを増やす場合、例えば、照射中のパタンを移動させる方法や、照射するパタンを追加する方法が考えられる。パタンを移動させる場合、処理対象視点の撮像範囲内に照射されているパタン（つまり、処理対象の撮像画像に含まれるパタン）を移動させるようにしてもよい。つまり、処理対象の撮像画像に含まれる他のパタンの照射位置を、評価値がエラーの発生率がより高いことを示す値である、撮像画像同士が重畳する領域に移動させるようにしてもよい。

また、処理対象視点の撮像範囲の外に照射されているパタン（つまり、処理対象の撮像画像に含まれないパタン）を移動させるようにしてもよい。つまり、処理対象の撮像画像に含まれない位置に照射されていた他のパタンの照射位置を、評価値がエラーの発生率がより高いことを示す値である、撮像画像同士が重畳する領域に移動させるようにしてもよい。

撮像画像内でパタンを移動させる方が、他の撮像画像に対する処理を待たずにパタンを更新することができるので、パタンの更新をより容易に行うことができる。また、撮像画像外からパタンを移動させる方が、パタン画像をより広範囲に移動させることができるので、位置合わせがより難しい領域により多くのパタンを集中させることができ、撮像画像間の位置合わせをより正確に行うことができる。

また、対応点の検出は、最新のパタン照射に基づいて行うようにしてもよいし、複数回のパタン照射に基づいて、すなわち、最新のパタン画像だけでなく、過去に照射されたパタン画像も用いて前記対応点検出を行うようにしてもよい。

最新のパタンに基づいて対応点を検出する方がより容易に対応点の検出を行うことができる（負荷の増大や処理時間の増大を抑制することができる）。また、過去のパタンも利用して対応点を検出することにより、より多くのパタンを用いて対応点を検出することができるようになるので、撮像画像間の位置合わせをより正確に行うことができる。

なお、上述のパタンの移動方法と対応点の検出方法は、例えば図１６の表のように、任意の組み合わせで用いることができる。

例えば、処理対象の撮像画像内でパタンを移動させ、最新のパタンに基づいて対応点を検出する場合、対応点検出の評価値について、エラーの可能性が大きいと判定された領域にパタンを照射し直すようにしてもよい。また、例えば、処理対象の撮像画像内でパタンを移動させ、過去のパタンも利用して対応点を検出する場合、対応点検出の評価値について、エラーの可能性が大きいと判定された領域にパタンを照射し、前回のパタン照射結果に更新されたパタン照射結果を重畳して、手掛かりに使えるパタン数を増やすことで対応点検出を再計算するようにしてもよい。

また、例えば、処理対象の撮像画像外からパタンを移動させ、最新のパタンに基づいて対応点を検出する場合、対応点検出の評価値について、エラーの可能性が大きいと判定された領域にパタンを追加するようにしてもよい。また、例えば、処理対象の撮像画像外からパタンを移動させ、過去のパタンも利用して対応点を検出する場合、対応点検出の評価値について、エラーの可能性が大きいと判定された領域にパタンを追加し、前回のパタン照射結果に更新されたパタン照射結果を重畳して、手掛かりに使えるパタン数を増やすことで対応点検出を再計算するようにしてもよい。

なお、パタン更新において、パタンの形状を変化させるようにしてもよい。例えば、円形であったパタンを、対応点検出において、そのパタンの姿勢が識別可能な多角形（例えば三角形や四角形）に変更するようにしてもよい。

＜パタン画像＞
なお照射装置１１２は、パタン画像を被写体等に照射可能な光であればどのような光を照射するようにしてもよい。例えば、この照射装置１１２としてプロジェクタ（投影装置）を用い、より広範囲に光を投影するようにしてもよい。この場合、例えば、１つの投影画像により複数のパタン画像を照射するようにしてもよい。なお、上述のように照射装置１１２がレーザ光を照射することにより、より遠距離の被写体等に対してより鮮明にパタン画像を照射することができる。

また、このパタン画像を照射する光の波長域は任意であり、可視光であってもよいし、非可視光であってもよい。例えば、赤外光であってもよい。その場合、撮像装置１１３が、可視光と赤外光の両方を受光することができるようにすればよい。

例えば、図１７のＡに示されるようなベイヤ配列のカラーフィルタ５０１を備えるイメージセンサを有する撮像装置１１３と、図１７のＢに示されるような赤外光用のIRフィルタ５０２を備えるイメージセンサを有する撮像装置１１３との両方を用意し、一方の撮像装置１１３により可視光の撮像画像を得て、他方の撮像装置１１３により赤外光のパタン画像を検出するようにしてもよい。この場合、両撮像装置１１３において得られた可視光の撮像画像と赤外光の撮像画像とで位置合わせを行って両者を重畳させてから対応点検出を行うようにすればよい。

なお、１台の撮像装置１１３が、例えば図１７のＣに示されるような可視光用のカラーフィルタと赤外光用のフィルタとを組み合わせたフィルタ５０３を備えるイメージセンサを有するようにし、可視光の撮像画像の生成と、赤外光のパタンの検出の両方を行うようにしてもよい。この場合、位置合わせが不要である。必要に応じて、波長域によって可視光（RGB）とIRの成分を分離するようにしてもよい。図１７のＤに示されるように、RGB成分とIR成分は、ピークとなる波長域が互いに異なる。図１７のＤにおいて、曲線５１１がＢ成分のスペクトルを示し、曲線５１２がＧ成分のスペクトルを示し、曲線５１３がＲ成分のスペクトルを示し、曲線５１４がIR成分のスペクトルを示す。

したがって、例えば、RGB画像に含まれるIR成分を分離は、以下の式（１）のように行えばよい。

IR’=IR-(wr*R+wg*G+wb*B)
・・・（１）

また、IR画像に含まれるRGB成分の分離は、以下の式（２）のように行えばよい。

R’=R-wir*IR (G’,B’も同様)
・・・（２）

さらに、ToF（Time Of Flight）センサを用いて、パタンが照射された被写体等までの距離を計測するようにしてもよい。その場合、パタン照射に加えて奥行きを計測することで、マッチングの精度改善に利用できる。

＜３．第２の実施の形態＞
＜その他の構成＞
なお、本技術を適用した撮像システムの構成は、上述した図３の例に限定されない。例えば、中央処理装置１１１、照射装置１１２、撮像装置１１３の数は、それぞれ任意である。例えば、中央処理装置１１１や照射装置１１２が複数であってもよいし、撮像装置１１３が３台以下であってもよいし、５台以上であってもよい。

例えば図１８に示される撮像システム６００のように、中央処理装置１１１と、照射装置１１２や撮像装置１１３とがネットワーク６０１を介して互いに接続されるようにしてもよい。

ネットワーク６０１は、任意の通信網である。ネットワーク６０１において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク６０１は、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク６０１に含まれるようにしてもよい。

中央処理装置１１１と、照射装置１１２および各撮像装置１１３とは、このネットワーク６０１に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。なお、各装置の数、筐体の形状や大きさ、配置位置等は任意である。

中央処理装置１１１と、照射装置１１２および各撮像装置１１３とは、ネットワーク６０１を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、中央処理装置１１１と、照射装置１１２および各撮像装置１１３とは、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。

このような構成の撮像システム６００の場合も、上述した撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図１９に示されるように、撮像システム１００が１つの装置として構成されるようにしてもよい。図１９に示される撮像装置６１０は、中央処理部６１１、照射部６１２、並びに、撮像部６１３（撮像部６１３－１乃至撮像部６１３－４）を有する。

撮像装置６１０において、中央処理部６１１は、上述した中央処理装置１１１において行われる処理を実行することにより、照射部６１２や撮像部６１３を制御して対応点の検出等を行う。

したがって、このような構成の撮像装置６１０の場合も、撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

もちろん、撮像装置６１０の構成は任意であり、図１９の例に限定されない。例えば、中央処理部６１１、照射部６１２、および撮像部６１３の数はそれぞれ任意である。

＜４．その他＞
＜本技術の適用分野＞
本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。

例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。

＜ソフトウェア＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

例えば図４の中央処理装置１１１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア２１６により構成される。その場合、例えば、リムーバブルメディア２１６をドライブ２１５に装着することにより、そのリムーバブルメディア２１６に記憶されているこのプログラムを読み出させ、記憶部２１３にインストールさせることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図４の中央処理装置１１１の場合、プログラムは、通信部２１４で受信し、記憶部２１３にインストールすることができる。

その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図４の中央処理装置１１１の場合、プログラムは、記憶部２１３やROM２０２等に予めインストールしておくこともできる。また、例えば図４の中央処理装置１１１の場合、プログラムは、記憶部２１３やCPU２０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、上述した各ステップの処理は、上述した各装置、または、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、装置やシステムとして実施するだけでなく、装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。

＜補足＞
なお、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本技術は以下のような構成も取ることができる。
（１） 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する算出部と、
前記算出部により算出された前記評価値に基づいて、前記パタンの照射位置を更新する更新部と
を備える情報処理装置。
（２） 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさに基づいて前記評価値を算出する
（１）に記載の情報処理装置。
（３） 前記算出部は、前記誤差が所定の範囲より大きくても小さくても、前記評価値を、前記誤差が前記範囲内の場合よりもエラーの発生率が高いことを示す値に設定する
（２）に記載の情報処理装置。
（４） 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、前記部分領域の画像特徴量とに基づいて前記評価値を算出する
（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定する
（４）に記載の情報処理装置。
（６） 前記画像特徴量は、画素値のバラツキに関するパラメータである
（４）または（５）に記載の情報処理装置。
（７） 前記算出部は、前記画素値のバラツキに関するパラメータが所定の閾値より小さい場合、前記評価値を、前記画素値のバラツキに関するパラメータが前記閾値以上の場合よりもエラーの発生率が高いことを示す値に設定する
（６）に記載の情報処理装置。
（８） 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、撮像して前記撮像画像を生成した撮像部と撮像して前記他の撮像画像を生成した他の撮像部との相対姿勢に関する情報とに基づいて前記評価値を算出する
（１）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定する
（８）に記載の情報処理装置。
（１０） 前記相対姿勢に関する情報は、前記撮像部と前記他の撮像部との、検出された対応点に基づく相対姿勢と実際の相対姿勢との誤差の大きさである
（８）または（９）に記載の情報処理装置。
（１１） 前記算出部は、前記誤差が大きい程、前記評価値を、エラーの発生率がより高いことを示す値に設定する
（１０）に記載の情報処理装置。
（１２） 前記更新部は、前記評価値が所定の閾値よりもエラーの発生率が高いことを示す値に設定されている場合、前記撮像画像と前記他の撮像画像とが重畳する領域に照射されるパタンを増やすように、前記パタンの照射位置を更新する
（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３） 前記更新部は、前記撮像画像に含まれる他のパタンの照射位置を前記領域に移動させる
（１２）に記載の情報処理装置。
（１４） 前記更新部は、前記撮像画像外に照射されていた他のパタンの照射位置を前記領域に移動させる
（１２）に記載の情報処理装置。
（１５） 前記パタンを含む所定の部分領域のマッチングにより、前記撮像画像と前記他の撮像画像との対応点検出を行う対応点検出部をさらに備え、
前記算出部は、前記対応点検出部により得られた前記対応点検出結果についての前記評価値を算出するように構成される
（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 前記対応点検出部は、最新のパタン照射に基づいて前記対応点検出を行う
（１５）に記載の情報処理装置。
（１７） 前記対応点検出部は、複数回のパタン照射に基づいて前記対応点検出を行う
（１５）に記載の情報処理装置。
（１８） 前記パタンは、レーザ光として照射される
（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９） 前記パタンは、赤外光として照射される
（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０） 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、
算出された前記評価値に基づいて、前記パタンの照射位置を更新する
情報処理方法。

１００ 撮像システム， １１１ 中央処理装置， １１２ 照射装置， １１３ 撮像装置， ２０１ CPU， ２５１ パタン照射部， ２５２ 撮像部， ２５３ 対応点検出部， ２５４ 評価値算出部， ２５５ 判定部， ２５６ 照射パタン更新部， ４０１ 座標変換部， ４０２ 距離算出部， ４０３ 距離信頼度算出部， ５０１ カラーフィルタ， ５０２ IRフィルタ， ５０３ フィルタ， ６００ 撮像システム， ６０１ ネットワーク， ６１０ 撮像装置， ６１１ 中央処理部， ６１２ 照射部， ６１３ 撮像部

Claims (20)

1. 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する算出部と、
   前記算出部により算出された前記評価値に基づいて、前記パタンの照射位置を更新する更新部と
   を備える情報処理装置。
2. 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさに基づいて前記評価値を算出する
   請求項１に記載の情報処理装置。
3. 前記算出部は、前記誤差が所定の範囲より大きくても小さくても、前記評価値を、前記誤差が前記範囲内の場合よりもエラーの発生率が高いことを示す値に設定する
   請求項２に記載の情報処理装置。
4. 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、前記部分領域の画像特徴量とに基づいて前記評価値を算出する
   請求項１に記載の情報処理装置。
5. 前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定する
   請求項４に記載の情報処理装置。
6. 前記画像特徴量は、画素値のバラツキに関するパラメータである
   請求項４に記載の情報処理装置。
7. 前記算出部は、前記画素値のバラツキに関するパラメータが所定の閾値より小さい場合、前記評価値を、前記画素値のバラツキに関するパラメータが前記閾値以上の場合よりもエラーの発生率が高いことを示す値に設定する
   請求項６に記載の情報処理装置。
8. 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、撮像して前記撮像画像を生成した撮像部と撮像して前記他の撮像画像を生成した他の撮像部との相対姿勢に関する情報とに基づいて前記評価値を算出する
   請求項１に記載の情報処理装置。
9. 前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定する
   請求項８に記載の情報処理装置。
10. 前記相対姿勢に関する情報は、前記撮像部と前記他の撮像部との、検出された対応点に基づく相対姿勢と実際の相対姿勢との誤差の大きさである
    請求項８に記載の情報処理装置。
11. 前記算出部は、前記誤差が大きい程、前記評価値を、エラーの発生率がより高いことを示す値に設定する
    請求項１０に記載の情報処理装置。
12. 前記更新部は、前記評価値が所定の閾値よりもエラーの発生率が高いことを示す値に設定されている場合、前記撮像画像と前記他の撮像画像とが重畳する領域に照射されるパタンを増やすように、前記パタンの照射位置を更新する
    請求項１に記載の情報処理装置。
13. 前記更新部は、前記撮像画像に含まれる他のパタンの照射位置を前記領域に移動させる
    請求項１２に記載の情報処理装置。
14. 前記更新部は、前記撮像画像外に照射されていた他のパタンの照射位置を前記領域に移動させる
    請求項１２に記載の情報処理装置。
15. 前記パタンを含む所定の部分領域のマッチングにより、前記撮像画像と前記他の撮像画像との対応点検出を行う対応点検出部をさらに備え、
    前記算出部は、前記対応点検出部により得られた前記対応点検出結果についての前記評価値を算出するように構成される
    請求項１に記載の情報処理装置。
16. 前記対応点検出部は、最新のパタン照射に基づいて前記対応点検出を行う
    請求項１５に記載の情報処理装置。
17. 前記対応点検出部は、複数回のパタン照射に基づいて前記対応点検出を行う
    請求項１５に記載の情報処理装置。
18. 前記パタンは、レーザ光として照射される
    請求項１に記載の情報処理装置。
19. 前記パタンは、赤外光として照射される
    請求項１に記載の情報処理装置。
20. 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、
    算出された前記評価値に基づいて、前記パタンの照射位置を更新する
    情報処理方法。

Images