JP2024075525A - 情報処理装置、情報処理方法、及び較正用ターゲット - Google Patents

Abstract

【課題】センサ間の配置関係を精度よく較正することが可能な情報処理装置、情報処理方法、及び較正用ターゲットを提供すること。【解決手段】本技術の一形態に係る情報処理装置は、較正処理部を具備する。前記較正処理部は、測定光を照射する測距センサにより、各々が凹部を有し、前記凹部の底面部及び前記凹部を囲む縁面部の前記測定光に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターンを有する較正用ターゲットを測定したデータと、前記測距センサとは異なる他のセンサにより、前記較正用ターゲットを測定したデータとに基づいて、前記測距センサと前記他のセンサとの配置関係を表す較正パラメータを算出する。【選択図】図３

Description

本技術は、立体形状の測定等に用いられる複数のセンサ間の配置を較正する処理に適用可能な情報処理装置、情報処理方法、及び較正用ターゲットに関する。

特許文献１には、３次元情報及び全方位画像を取得可能なアクティブセンサの位置及び姿勢を推定する方法について記載されている。この方法では、アクティブセンサが取得した全方位画像から、アクティブセンサの現在位置における全方位エッジヒストグラムが算出される。この結果を参照地点での全方位エッジヒストグラムと比較することで、参照地点に対する移動方向と回転角度が算出される。これにより、アクティブセンサの位置及び姿勢を推定することが可能となっている（特許文献１の明細書段落［００２５］［００３８］［００５３］［０１０８］図３等）。

特開２００４－１３２９３３号公報

近年では、測距センサや画像センサ等を組み合わせて立体形状等を測定する技術が開発されている。このように、複数のセンサを用いる場合には、各センサ間の相対的な位置や姿勢を適正に較正することが重要となる。このため、センサ間の配置関係を精度よく較正する技術が求められている。

以上のような事情に鑑み、本技術の目的は、センサ間の配置関係を精度よく較正することが可能な情報処理装置、情報処理方法、及び較正用ターゲットを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、較正処理部を具備する。
前記較正処理部は、測定光を照射する測距センサにより、各々が凹部を有し、前記凹部の底面部及び前記凹部を囲む縁面部の前記測定光に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターンを有する較正用ターゲットを測定したデータと、前記測距センサとは異なる他のセンサにより、前記較正用ターゲットを測定したデータとに基づいて、前記測距センサと前記他のセンサとの配置関係を表す較正パラメータを算出する。

この情報処理装置では、測距センサ及び他のセンサにより、複数の凹状パターンが設けられた較正用ターゲットを測定したデータから、各センサの配置関係を表す較正パラメータが算出される。各凹状パターンの底面部及び縁面部は、測距センサの測定光に対する反射率が高い。これにより、測距センサは凹状パターンの形状を精度よく測定することが可能となり、各センサの配置関係を表す較正パラメータの算出精度が向上する。この結果、センサ間の配置関係を精度よく較正することが可能となる。

前記複数の凹状パターンは、前記底面部及び前記縁面部が平面となるように構成されてもよい。

前記複数の凹状パターンは、前記底面部が円形状となるように、かつ前記縁面部が平面視で前記底面部と中心が一致する円環形状となるように構成されてもよい。

前記測距センサは、前記較正用ターゲットの各点に対する距離を表す第１の距離データを出力してもよい。この場合、前記較正処理部は、前記複数の凹状パターンごとに、前記凹部の深さを基準として前記第１の距離データが表す距離を較正した第１の較正距離情報を算出し、前記第１の較正距離情報に基づいて、前記配置関係を表す較正パラメータを算出してもよい。

前記較正処理部は、前記第１の距離データを平滑化し、前記平滑化された前記第１の距離データに基づいて前記第１の較正距離情報を算出してもよい。

前記他のセンサは、対象を可視光により撮影する可視カメラであり、前記較正用ターゲットを前記可視光により撮影した可視画像データを出力してもよい。

前記複数の凹状パターンは、前記底面部及び前記縁面部の色が、第１の色となるように構成されてもよい。この場合、前記較正用ターゲットは、前記複数の凹状パターンが配置され、前記可視光による撮影において前記第１の色とは異なる第２の色となる領域を含む平面状の配置面を有してもよい。

前記配置面は、前記複数の凹状パターンを除く領域が前記第２の色に着色されてもよい。

前記配置面は、前記第１の色及び前記第２の色で交互に着色された複数の矩形領域により格子状に分割された格子模様を有してもよい。この場合、前記複数の凹状パターンは、前記複数の矩形領域の各々に少なくとも１つ配置されてもよい。

前記第１の色は、白色であってもよい。この場合、前記第２の色は、黒色であってもよい。

前記第１の色は、前記測定光の反射光の強度が前記測距センサの測定レンジに収まる範囲で、前記第２の色に対するコントラストが最大となるように設定されてもよい。

前記測距センサは、前記較正用ターゲットの各点における前記測定光の反射強度を表す反射強度データを出力してもよい。この場合、前記較正処理部は、前記可視画像データと前記反射強度データとに基づいて前記配置関係を表す較正パラメータを算出し、当該算出結果を前記第１の較正距離情報に基づいて補正してもよい。

前記測距センサは、前記較正用ターゲットの各点における前記測定光の反射強度を表す反射強度データを出力してもよい。この場合、前記較正処理部は、前記第１の較正距離情報に基づいて前記可視画像データと前記反射強度データとの間の視差補正を実行し、前記視差補正の結果に基づいて前記配置関係を表す較正パラメータを算出してもよい。

前記他のセンサは、前記測定光を照射する他の測距センサであり、前記較正用ターゲットの各点に対する距離を表す第２の距離データを出力してもよい。

前記較正用ターゲットは、前記複数の凹状パターンが配置される球面状の配置面を有してもよい。

前記較正処理部は、前記複数の凹状パターンごとに、前記凹部の深さを基準として前記第２の距離データが表す距離を較正した第２の較正距離情報を算出してもよい。

前記較正処理部は、前記第１の較正距離情報及び前記第２の較正距離情報に基づいて前記配置関係を表す較正パラメータを算出し、当該算出結果に基づいて前記測距センサ及び前記他の測距センサの各内部パラメータを補正してもよい。

前記測距センサ及び前記他の測距センサは、前記較正用ターゲットの各点における前記測定光の反射強度を表す反射強度データをそれぞれ出力してもよい。この場合、前記較正処理部は、前記第１の較正距離情報及び前記第２の較正距離情報に基づいて前記測距センサ及び前記他の測距センサから出力された各反射強度データに関する視点変換を実行し、前記視点変換の結果に基づいて前記配置関係を表す較正パラメータを算出してもよい。

本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、測定光を照射する測距センサにより、各々が凹部を有し、前記凹部の底面部及び前記凹部を囲む縁面部の前記測定光に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターンを有する較正用ターゲットを測定したデータと、前記測距センサとは異なる他のセンサにより、前記較正用ターゲットを測定したデータとに基づいて、前記測距センサと前記他のセンサとの配置関係を表す較正パラメータを算出することを含む。

本技術の一形態に係る較正用ターゲットは、測定光を照射する測距センサを含む複数のセンサ間の配置関係を較正するために用いられる較正用ターゲットであって、複数の凹状パターンを具備する。
前記複数の凹状パターンは、各々が凹部を有し、前記凹部の底面部及び前記凹部を囲む縁面部の測定光に対する反射率が所定の閾値よりも高くなるように構成される。

本技術の第１の実施形態に係る３次元測定システムの構成例を示すブロック図である。 ３次元測定システムの概要を示す模式図である。 キャリブレーションボードの構成例を示す模式図である。 キャリブレーションボードを測定したデータの一例を示す模式図である。 ３Ｄセンサの特性を説明するためのデータの一例である。 比較例として挙げるキャリブレーションパターンの一例を示す模式図である。 キャリブレーションボードの他の構成例を示す模式図である。 キャリブレーションボードの他の構成例を示す模式図である。 キャリブレーションパラメータについて説明するための模式図である。 カメラセンサ間の配置関係を較正する処理について説明する模式図である。 ステレオ撮影におけるデプス値と視差との関係を示す模式図である。 キャリブレーション処理の一例を示すフローチャートである。 キャリブレーション処理の処理フローの一例を示すブロック図である。 キャリブレーション処理の処理フローの他の一例を示すブロック図である。 比較例として挙げるキャリブレーション処理の処理フローを示すブロック図である。 第２の実施形態に係る３次元測定システムの構成例を示すブロック図である。 ３次元測定システムの動作の概要を示す模式図である。 キャリブレーションマーカーの構成例を示す模式図である。 キャリブレーション処理の一例を示すフローチャートである。 キャリブレーション処理の処理フローの一例を示すブロック図である。 キャリブレーション処理の処理フローの他の一例を示すブロック図である。 比較例として挙げるキャリブレーション処理の処理フローを示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［３次元測定システムの構成］
図１は、本技術の第１の実施形態に係る３次元測定システムの構成例を示すブロック図である。図２は、３次元測定システム１００の概要を示す模式図である。
３次元測定システム１００は、３Ｄセンサ１１と、２Ｄセンサ１２と、記憶部１３と、コントローラ２０とを有する。３次元測定システム１００は、３Ｄセンサ１１及び２Ｄセンサ１２を用いて３次元空間にある測定対象１を撮影する２Ｄ－３Ｄステレオ撮影を行うシステムである。本実施形態では、測定対象１の立体形状及び外観等を含む３次元情報が測定される。

３Ｄセンサ１１及び２Ｄセンサ１２は、互いに異なる方向から共通の測定対象１を測定することができるように配置される。
３Ｄセンサ１１及び２Ｄセンサ１２は、例えば個別の筐体に収められた独立したセンサユニットとして構成されてもよい。この場合、各センサはそれぞれ自由に配置可能である。あるいは、３Ｄセンサ１１及び２Ｄセンサ１２が一つの筐体に収められてもよい。この場合、例えばスマートフォン等の端末装置や、据え置き型の測定装置に各センサが設けられる。

３次元測定システム１００では、キャリブレーション処理と、モデル生成処理とが実行される。図２の左側及び右側には、キャリブレーション処理及びモデル生成処理を行う際の測定の様子がそれぞれ模式的に図示されている。

キャリブレーション処理は、３Ｄセンサ１１及び２Ｄセンサ１２によりキャリブレーションボード３０を測定して、各センサにより測定されるデータの位置合わせを行う処理である。この処理では、主に３Ｄセンサ１１及び２Ｄセンサ１２の配置関係（相対的な位置及び姿勢）を較正するキャリブレーションパラメータ２５が算出される。本実施形態では、キャリブレーションボード３０は、較正用ターゲットに相当する。
モデル生成処理は、３Ｄセンサ１１及び２Ｄセンサ１２により測定された測定対象１の３次元情報を用いて、測定対象１の３Ｄモデル２６を生成する処理である。この処理では、キャリブレーション処理により算出されたキャリブレーションパラメータ２５を用いて、各センサのデータの位置合わせが行われる。
以下では、３次元測定システム１００の構成について具体的に説明する。

３Ｄセンサ１１は、測定対象１に測定光２を照射して、測定対象１で反射された反射光３を測定することで、測定対象１の各点に対する距離を測定するアクティブ測距センサである。本実施形態では、３Ｄセンサ１１は、測定光を照射する測距センサに相当する。
測定光２としては、典型的には赤外光（ＩＲ：Infrared）が用いられる。図２に示すように、３Ｄセンサ１１は、赤外光を照射する光源１４（赤外線ＬＥＤ等）と、測定対象１で反射した赤外光を検出するイメージセンサ１５（ＩＲイメージセンサ等）とを用いて構成される。

３Ｄセンサ１１としては、例えばＴｏＦ（Time of Flight）方式のデプスカメラが用いられる。ＴｏＦ方式とは、測定対象１に照射された測定光２が反射光３となってセンサに返ってくるまでの時間差を計測することで、測定対象１の各点に対する距離（デプス値）を測定する検出方式である。

本実施形態では、測定光２と反射光３との位相差に基づいてデプス値を測定するｉＴｏＦ（indirect Time of Flight）方式の３Ｄセンサ１１が用いられる。また例えば、測定光２を照射してから反射光３が返ってくるまでの時間を直接検出するｄＴｏＦ（direct Time of Flight）方式の３Ｄセンサ１１が用いられてもよい。この他、３Ｄセンサ１１の具体的な構成は限定されず、光（測定光２）を照射して距離を測定する任意のセンサが３Ｄセンサ１１として用いられてよい。

３Ｄセンサ１１は、測定対象１の各点に対する距離を表す距離データを出力する。ここで距離データとは、例えば３Ｄセンサ１１を基準とするカメラ座標における、測定点までの奥行き（デプス値）を表すデータである。例えば、３Ｄセンサ１１では、イメージセンサ１５の画素ごとにデプス値が検出される。このデプス値のデータが、距離データ（デプス画像）となる。
また３Ｄセンサ１１は、測定対象１の各点における測定光２の反射強度を表す反射強度データを出力する。例えば、３Ｄセンサ１１では、イメージセンサ１５の画素ごとに反射光３の強度が検出される。この反射光３の強度を表すデータが、反射強度データ（反射強度画像）となる。

２Ｄセンサ１２は、測定対象１を可視光４により撮影する可視カメラであり、測定対象１を可視光４により撮影した可視画像データを出力する。可視画像データは、カラーの動画像や静止画像のデータであり、測定対象１の外観を表す可視情報となる。本実施形態では、２Ｄセンサ１２は、測距センサとは異なる他のセンサの一例であり、対象を可視光により撮影する可視カメラに相当する。

２Ｄセンサ１２としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラを用いることが可能である。また２Ｄセンサ１２として、ズーム機能や各種の光学フィルタ等を備えるデジタルカメラが用いられてもよい。この他、測定対象１を可視光４により撮影可能な任意の構成が採用されてよい。

記憶部１３は、不揮発性の記憶デバイスである。記憶部１３としては、例えばＳＳＤ（Solid State Drive）等の固体素子を用いた記録媒体や、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体が用いられる。この他、記憶部１３として用いられる記録媒体の種類等は限定されず、例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。

記憶部１３には、３次元測定システム１００の全体の動作を制御するための制御プログラムが記憶される。制御プログラムは、本実施形態に係るプログラムであり、記憶部１３は、プログラムが記録されているコンピュータが読み取り可能な記録媒体に相当する。
また記憶部１３には、上記したキャリブレーションパラメータ２５のデータや、キャリブレーションボード３０の形状や寸法等のデータ、３Ｄモデル２６のデータ等が記憶される。この他、記憶部１３には、３次元測定システム１００の動作に必要な任意のデータが記憶される。

コントローラ２０は、３次元測定システム１００が有する各ブロックの動作を制御する。コントローラ２０は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部１３に記憶されている制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。本実施形態では、コントローラ２０は、情報処理装置に相当する。

コントローラ２０として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。また例えばＧＰＵ（Graphics Processing Unit）等のプロセッサがコントローラ２０として用いられてもよい。

本実施形態では、コントローラ２０のＣＰＵが本実施形態に係るプログラムを実行することで、機能ブロックとして、較正処理部２１、及びモデル生成部２２が実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。

較正処理部２１は、キャリブレーション処理を実行して、３Ｄセンサ１１と２Ｄセンサ１２との配置関係（センサ間の相対的な位置及び姿勢）を較正する。具体的には、各センサの配置関係を表すキャリブレーションパラメータ２５が算出される。
上記したように、キャリブレーションパラメータ２５は、３Ｄセンサ１１及び２Ｄセンサ１２が出力する各データの位置合わせに用いるパラメータである。例えば、各センサにより測定された測定対象のデータを共通の座標系に変換する変換行列に用いられるパラメータがキャリブレーションパラメータ２５となる。

図９等を参照して説明するように、キャリブレーションパラメータ２５には、内部パラメータと、外部パラメータとが含まれる。内部パラメータは、３Ｄセンサ１１及び２Ｄセンサ１２の特性に応じて定まるパラメータである。外部パラメータは、３Ｄセンサ１１及び２Ｄセンサ１２の位置・姿勢に応じて定まるパラメータである。
キャリブレーション処理では、３Ｄセンサ１１と２Ｄセンサ１２との配置関係を表すキャリブレーションパラメータ２５として、外部パラメータが算出される。
また、内部パラメータとしては、例えば各センサの特性に応じて予め設定された値が用いられる。なお、内部パラメータを算出する処理や内部パラメータを補正する処理等が実行されてもよい。

本実施形態では、較正処理部２１は、３Ｄセンサ１１により、キャリブレーションボード３０を測定したデータと、２Ｄセンサ１２により、キャリブレーションボード３０を測定したデータとに基づいて、３Ｄセンサ１１と２Ｄセンサ１２との配置関係を表すキャリブレーションパラメータ２５（外部パラメータ）を算出する。

図２の左側に示すように、キャリブレーション処理では、３Ｄセンサ１１及び２Ｄセンサ１２により、共通のキャリブレーションボード３０が測定される。
この測定では、３Ｄセンサ１１は、キャリブレーションボード３０の各点に対する距離を表す距離データを出力する。また、３Ｄセンサ１１は、キャリブレーションボード３０の各点における測定光２の反射強度を表す反射強度データを出力する。
また、２Ｄセンサ１２は、キャリブレーションボード３０を可視光４により撮影した可視画像データを出力する。

これらのデータは、較正処理部２１により読み込まれ、キャリブレーション処理が実行される。すなわち、較正処理部２１は、３Ｄセンサ１１が測定したキャリブレーションボード３０の距離データ及び反射強度データと、２Ｄセンサ１２が測定したキャリブレーションボード３０の可視画像データとに基づいて、外部パラメータを算出する。
本実施形態において、３Ｄセンサ１１から出力されるキャリブレーションボード３０の距離データは、第１の距離データに相当する。

モデル生成部２２は、３Ｄセンサ１１及び２Ｄセンサ１２が測定した測定対象１のデータから、測定対象１の３Ｄモデル２６を生成する。
例えば、３Ｄセンサ１１により測定された測定対象１の距離データに基づいて、測定対象１の立体形状を表す３Ｄモデル２６が生成される。また２Ｄセンサ１２により測定された測定対象１の可視画像データに基づいて、３Ｄモデル２６の各部の色が設定される。

これらの処理では、例えば可視画像データの各画素の色を、距離データ（３Ｄモデル２６）上の適正な位置に配色する必要がある。このようなデータの位置合わせに、キャリブレーション処理で算出されたキャリブレーションパラメータ２５が用いられる。これにより、精度よくカラーリングされた測定対象１の３Ｄモデル２６等を生成することが可能となる。

［キャリブレーションボードの構成］
図３は、キャリブレーションボード３０の構成例を示す模式図である。図３Ａは、キャリブレーションボード３０の外観の一例を示す斜視図である。図３Ｂ及び図３Ｃは、キャリブレーションボード３０に設けられる凹状パターン３２の一例を示す斜視図である。
キャリブレーションボード３０は、ボード本体３１と、ボード本体３１に設けられた複数の凹状パターン３２とを有する。

ボード本体３１は、キャリブレーションボード３０を構成する平板状の部材である。ボード本体３１の一方の主面は、複数の凹状パターン３２が形成される配置面３３となる。このようにキャリブレーションボード３０は、複数の凹状パターン３２が配置される平面状の配置面３３を有する。
キャリブレーションボード３０は、ボード本体３１の配置面３３（複数の凹状パターン３２）側が３Ｄセンサ１１及び２Ｄセンサ１２に向くように配置して用いられる。

複数の凹状パターン３２は、それぞれ凹部３４を有する。凹部３４は、配置面３３に設けられたくぼみであり、底面部３５と、側面部３６とを有する。底面部３５は、凹部３４の底面を形成し、側面部３６は、底面部３５と配置面３３とをつなぐ側面を形成する。
また、各凹状パターン３２には、各々の凹部３４を囲む縁面部３７が設けられる。縁面部３７は、凹部３４の縁を囲むように配置面３３上に形成された領域である。
これらの凹状パターン３２を複数配置することで、配置面３３には苗床スタイルのキャリブレーションチャートが形成される。

図３Ａに示す例では、キャリブレーションボード３０の上段及び下段にそれぞれ４つの凹状パターン３２が配置され、その間の中段には３つの凹状パターン３２が配置される。各凹状パターン３２は、例えば三角格子状に配置される。
凹状パターン３２の数や、配置等は限定されない。例えば各凹状パターン３２が正方格子状、あるいは六方格子状に配置されてもよい。

また、各凹部３４の深さΔ、すなわち底面部３５と縁面部３７との距離は、例えば３Ｄセンサ１１の距離分解能よりも大きく設定される。またΔは、凹部３４の平面サイズ（底面部３５の直径等）に合わせて設定されてもよい。例えば凹部３４の深さΔは、凹部３４の平面サイズの半分以下となるように設定される。また各凹部３４の深さΔは、一定であってもよいし、凹部３４ごとに異なる深さΔが設定されてもよい。この他、３Ｄセンサ１１の特性や凹部３４の平面サイズ等に応じて凹部３４の深さΔが適宜設定されてよい。

底面部３５及び縁面部３７は、測定光２に対する反射率が所定の閾値よりも高くなるように構成される。ここで測定光２に対する反射率とは、例えば配置面３３に対して測定光２を垂直に入射した場合に、測定光２の強度に対する反射光３の強度の割合である。
具体的には、底面部３５及び縁面部３７の色や材質が、測定光２に対して所定の閾値よりも高い反射率となるように選択される。なお側面部３６は、典型的には底面部３５及び縁面部３７と同様の色や材質となるように構成される。他の色や材質が用いられてもよい。

上記したように、３Ｄセンサ１１では、反射光３を検出することで測定対象１に対する距離が測定される。このとき、対象の反射率が低く、反射光３の強度が低い場合には、後述するように、測定対象１に対する距離を適正に測定できない場合がある（図５参照）。一方で、対象の反射率が十分に高く、反射光３の強度が十分に高い場合には、測定対象１に対する距離を精度よく測定することが可能である。

所定の閾値は、例えばキャリブレーション処理において、キャリブレーションボード３０を測定した場合に、３Ｄセンサ１１を用いて底面部３５及び縁面部３７の各点に対する距離が適正に算出できるように設定される。例えば、底面部３５及び縁面部３７において距離を算出するために必要な強度の反射光３を発生させる最小の反射率が、所定の閾値として設定される。この場合、底面部３５及び縁面部３７の反射率は、上記した最小の反射率よりも高く設定されるため、キャリブレーション処理では、底面部３５及び縁面部３７の各点に対する距離を適正に測定することが可能となる。
この他、所定の閾値を設定する方法は限定されず、例えば底面部３５及び縁面部３７の各点に対する距離が適正に測定可能となる範囲で、所定の閾値が適宜設定されてよい。

このようにキャリブレーションボード３０は、各々が凹部３４を有し、凹部３４の底面部３５及び凹部３４を囲む縁面部３７の測定光２に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターン３２を有する。
これにより、３Ｄセンサ１１の測定結果（距離データ）から、底面部３５及び縁面部３７の各点に対する距離を適正に算出することが可能となる。さらに、底面部３５と縁面部３７との距離、すなわち凹部３４の深さΔを基準にすることで、３Ｄセンサ１１で測定した距離（デプス値）を精度よく較正することが可能となる。このように、複数の凹状パターン３２が設けられたキャリブレーションボード３０は、３Ｄセンサ１１により測定される距離を較正するためのくぼみ（凹部３４）を有するくぼみチャートとなる。

図３Ｂ及び図３Ｃに示すように、複数の凹状パターン３２は、底面部３５及び縁面部３７が平面となるように構成される。具体的には、底面部３５は、配置面３３と平行な平面となるように構成される。また縁面部３７は、配置面３３上の平面として構成される。従って、底面部３５及び縁面部３７（配置面）は、互いに平行な平面となる。
このように、底面部３５及び縁面部３７を平面とすることで、３Ｄセンサ１１は平面を測距することになる。この場合、底面部３５及び縁面部３７に余分な立体構造が含まれないため、例えば底面部３５と縁面部３７との距離（凹部３４の深さΔ）を容易に算出することが可能となる。

また、複数の凹状パターン３２は、底面部３５が円形状となるように、かつ縁面部３７が平面視で底面部３５と中心が一致する円環形状となるように構成される。すなわち、各凹状パターン３２は、中央部分に円形のくぼみがある円チャートとなり、測距円として機能する。
このように各凹状パターン３２を円チャートとすることで、円を検出する画像解析等により、各凹状パターン３２の特徴点を容易に検出することが可能となる。ここで、凹状パターン３２の特徴点とは、例えば円環形状の縁面部３７の中心の位置である。
また凹状パターン３２の特徴点に対する距離（デプス値）を算出する場合には、フラットな底面部３５及び縁面部３７の距離情報を用いることが可能である。

本実施形態では、複数の凹状パターン３２は、底面部３５及び縁面部３７の色が、第１の色となるように構成される。第１の色は、例えば測定光２に対する反射率が所定の閾値よりも高くなるように設定された色である。これにより、例えば３Ｄセンサ１１による各凹状パターン３２に対する測距精度が向上する。
また配置面３３は、可視光４による撮影において第１の色とは異なる第２の色となる領域を含むように構成される。第２の色は、典型的には、第１の色とのコントラストが高くなるように設定された色である。これにより、例えば２Ｄセンサ１２が撮影した可視画像データでは、第１の色となる各凹状パターン３２（底面部３５及び縁面部３７）と、第２の色となる他の領域とが色分けされ、各凹状パターン３２を容易に検出することが可能となる。

図３に示す例では、配置面３３は、複数の凹状パターン３２を除く領域が第２の色に着色される。以下では、配置面３３において各凹状パターン３２を除く領域（各凹状パターン３２を囲む領域）を、ベース領域３８と記載する。
この場合、全ての凹状パターン３２が第２の色に着色されたベース領域３８で囲まれることになる。これにより、例えば可視画像データから各凹状パターン３２を検出する処理は、第２の色に着色された領域（ベース領域３８）から第１の色に着色された円形の領域（凹状パターン３２）を抽出する処理となる。

また、図３に示す例では、第１の色は、白色に設定され、第２の色は、黒色に設定される。従ってキャリブレーションボード３０は、黒地に白い円が配列された円チャートとなる。この白色及び黒色の組み合わせは、例えば可視画像データにおけるコントラストが最も高くなる組み合わせである。これにより、各凹状パターン３２の検出精度を十分に高めることが可能となる。

第１の色及び第２の色は、他の色に設定されてもよい。例えば、第１の色を白色とした場合、測定光２の反射率が高いために、３Ｄセンサ１１（イメージセンサ１５）で検出される反射光３の強度（反射強度データ）が、測定レンジを超えて飽和する可能性がある。このため、第１の色の輝度を下げて灰色（グレー）にしてもよい。
なお、第１の色の輝度を下げた場合、第２の色（ここでは黒色）とのコントラストが低下する可能性がある。すなわち、第１の色の反射率と、第１の色及び第２の色のコントラストとは、トレードオフの関係となっている。
このため、第１の色は、測定光２の反射光３の強度が３Ｄセンサ１１の測定レンジに収まる範囲で、第２の色に対するコントラストが最大となるように設定されてもよい。これにより、３Ｄセンサ１１が測定する反射強度データを飽和させることなく、２Ｄセンサ１２により撮影される可視画像データにおいて高いコントラストを維持することが可能となる。
この他、第１の色及び第２の色を設定する方法は限定されない。

図４は、キャリブレーションボード３０を測定したデータの一例を示す模式図である。図４Ａは、２Ｄセンサ１２によりキャリブレーションボード３０を測定した可視画像データ４０である。図４Ｂは、３Ｄセンサ１１によりキャリブレーションボード３０を測定した反射強度データ４１である。また図４Ｃは、３Ｄセンサ１１によりキャリブレーションボード３０を測定した距離データ４２（デプス画像）である。

図４Ｂ及び図４Ｃに示すように、反射強度データ４１及び距離データ４２は、ともに３Ｄセンサ１１を用いて取得されるデータである。このため、データ上のキャリブレーションボード３０の姿勢は同じである。一方で、図４Ａに示す可視画像データ４０は、２Ｄセンサ１２を用いて取得されるデータであるため、キャリブレーションボード３０の姿勢は図４Ｂ及び図４Ｃとは異なる。
なお各データにおいて、キャリブレーションボード３０の背景となる部分のデータは、斜線の領域により省略して図示されている。

図４Ａに示すように、キャリブレーションボード３０の可視画像データ４０では、各凹状パターン３２は第１の色（白色）となり、ベース領域３８は第２の色（黒色）となる。このように可視画像データ４０において、キャリブレーションボード３０は、略白黒のコントラストの高い画像となる。
これにより、各凹状パターン３２と、ベース領域３８とのコントラストが高くなり、凹状パターン３２を精度よく識別することが可能となる。

図４Ｂでは、キャリブレーションボード３０の各点における測定光２の反射強度（反射光３の強度）がグレースケールを用いて模式的に図示されている。ここでは、グレースケールの色が明るいほど、反射強度が高くなるように図示されている。
本実施形態では、凹状パターン３２が白色に設定され、ベース領域３８が黒色に設定される。この場合、凹状パターン３２における反射強度は、ベース領域３８における反射強度よりも高くなる。これにより、各凹状パターン３２の反射強度と、ベース領域３８の反射強度とのコントラストが高くなり、凹状パターン３２を精度よく識別することが可能となる。

図４Ｃでは、キャリブレーションボード３０の各点に対する距離（デプス値）がグレースケールを用いて模式的に図示されている。ここでは、グレースケールの色が明るいほど、距離が近くなるように図示されている。
例えば縁面部３７（図中の点線で囲まれた円環状の領域）とベース領域３８とは、同じ配置面３３上の領域である。このため、キャリブレーションボード３０の全面にわたって各点の距離が適正に算出された場合、図４Ｃに示すように、距離データ４２では各凹状パターン３２の縁面部３７とベース領域３８との境界で距離の値（デプス値）が不連続に変化することはない。
一方で、各凹状パターン３２の底面部３５は、配置面３３に対して内側に凹んでいるため、配置面３３（縁面部３７及びベース領域３８）よりも距離が遠くなる。

図３を参照して説明したように、縁面部３７及び底面部３５では、各点に対する距離が適正に測定可能となるように測定光２に対する反射率が設定される。従って、仮にベース領域３８において測定光２に対する反射率が低く測距精度が低下するような場合であっても、各凹状パターン３２では、縁面部３７及び底面部３５の各点に対する距離を精度よく検出可能である。
さらに、縁面部３７と底面部３５とのデプス差は、キャリブレーションボード３０に設定された凹部３４の深さΔを参照して較正することが可能である。これにより、高精度な距離情報を各凹状パターン３２ごとに算出することが可能となる。

図５は、３Ｄセンサ１１の特性を説明するためのデータの一例である。図５Ａ及び図５Ｂは、それぞれ３Ｄセンサ１１を用いて人物２８を測定した反射強度画像４５（反射強度データ）及びデプス画像４６（距離データ）である。
ここでは、図５Ａ及び図５Ｂを参照して、３Ｄセンサ１１の特性について説明する。

測定光２が照射された物体からの反射光３を信号としてとらえる３Ｄセンサ１１では、被写体が低反射物体である場合、反射光３の光量が小さく、感度が低下する可能性がある。そのため、低反射物体を測定した場合には、そのデプス値が正しく測定できないといった場合があり得る。
例えば測定光２と反射光３から位相差を介して間接的に時間差を求めるｉＴｏＦ方式や反射光３の到達時間から時間差を求めるｄＴｏＦ方式では、黒色の物体のような低反射物体の感度が低くなる特性がある。

例えば図５Ａでは、人物２８の奥にオブジェクト２９が置かれており、オブジェクト２９の一部は人物２８の頭部により部分的に遮られている。この反射強度画像４５では、人物２８の髪の毛の部分において、反射強度が低くなっている。すなわち、髪の毛は測定光２にとって低反射物体であると言える。
さらに図５Ｂでは、人物２８の髪の毛の部分のデプス値が大幅に高くなっている。例えば、髪の毛の部分のデプス値は、髪の毛よりも奥にあるオブジェクト２９のデプス値よりも高い。この場合、実際には手前にある髪の毛の部分が、オブジェクト２９よりも奥側にあることになってしまう。
このように、３Ｄセンサ１１で反射強度の低い物体を測定した場合、そのデプス値が正しく捉えられなくなる可能性がある。

図６は、比較例として挙げるキャリブレーションパターンの一例を示す模式図である。図６Ａ及び図６Ｂは、一般に可視カメラの位置・姿勢の較正に用いられるキャリブレーションパターン４７ａ及び４７ｂを示す模式図である。
キャリブレーションパターン４７ａは、白色及び黒色の正方形が交互に配列されたチェスボード型の白黒チャートである。このようなパターンを用いて可視カメラの位置・姿勢を較正する場合、特徴点として各正方形のコーナー（エッジ）が検出される。
キャリブレーションパターン４７ｂは、白地の領域に黒色の円が三角格子状に配列されたサークルグリッド型の白黒チャートである。このようなパターンでは、特徴点として黒色の円の中心が検出される。

このように、可視光により対象を撮影する可視カメラを較正する場合、可視光で撮影可能なパターンから精度よく特徴点を検出する必要があり、コントラストの高いチャートが用いられる。
一方で、３Ｄセンサ１１は、低反射物体の感度が低く、黒色の部分ではセンサ感度が低下する可能性がある。また３Ｄセンサ１１による測距は、典型的にはフラットな領域で行われる。例えば図６Ａ及び図６Ｂに示す白黒チャートにおいて、正方形のコーナー（エッジ）や黒色の円の中心での測距は、フラットな領域ではあるものの、黒色の測距精度が低いため較正には適していない。

これに対し、図３及び図４を参照して説明したように、本実施形態に係るキャリブレーションボード３０には、複数の凹状パターン３２が設けられる。各凹状パターン３２は、底面部３５及び縁面部３７の測定光２に対する反射率は、所定の閾値よりも高くなるように構成される。

従って、各凹状パターン３２（底面部３５及び縁面部３７）は、３Ｄセンサ１１から照射される測定光２を十分に反射可能な高反射物体となる。このため、３Ｄセンサ１１は、各凹状パターン３２を精度よく測距することが可能となる。
また、３Ｄセンサ１１により測定される距離データ４２については、各凹状パターン３２の凹部３４の深さΔを基準にした較正が可能である。すなわちキャリブレーションボード３０を用いることで、既知のデプス値Δで較正された高精度な距離情報を算出することが可能となる。

さらに、キャリブレーションボード３０では、凹状パターン３２（底面部３５及び縁面部３７）は測定光２に対する反射率が高い第１の色（白色等）に着色され、ベース領域３８は第１の色に対してコントラストの高い第２の色（黒色等）に着色される。

従って、図４Ａに示すように、２Ｄセンサ１２によりキャリブレーションボード３０を撮影した可視画像データ４０では、凹状パターン３２とベース領域３８とのコントラストが十分に高くなる。これにより、可視画像データ４０から凹状パターン３２を構成する白い円（縁面部３７）の領域を精度よく分離することが可能となり、凹状パターン３２の特徴点（縁面部３７の中心の位置等）を精度よく検出することが可能となる。
また、図４Ｂに示すように、３Ｄセンサ１１によりキャリブレーションボード３０を測定した反射強度データ４１では、凹状パターン３２の反射強度とベース領域３８の反射強度とのコントラストが十分に高くなる。これにより、可視画像データ４０と同様に、反射強度データ４１から凹状パターン３２（縁面部３７）の領域を精度よく分離することが可能となり、その特徴点を精度よく検出することが可能となる。

このようにキャリブレーションボード３０は、アクティブセンサである３Ｄセンサ１１と、可視カメラである２Ｄセンサ１２の双方で使用可能なターゲットとなっている。またキャリブレーションボード３０を測定して得られるデータには、２次元的な位置を表すデータ（可視画像データ４０及び反射強度データ４１）に加え、デプス値を表すデータ（距離データ４２）が含まれる。とくに、デプス値は、凹部３４の深さΔを基準に較正できるため、非常に精度が高いデータとなる。
これにより、例えば可視画像データ４０と反射強度データ４１との位置合わせに、高精度なデプス値を用いることが可能となり、２Ｄセンサ１２及び３Ｄセンサ１１の配置関係を精度よく較正することが可能となる。

［キャリブレーションボードの他の構成］
図７及び図８は、キャリブレーションボードの他の構成例を示す模式図である。図７及び図８に示すキャリブレーションボード５０ａ及び５０ｂの配置面３３には、格子模様５１が設けられる。
格子模様５１は、第１の色及び第２の色で交互に着色された複数の矩形領域５２により格子状に分割された模様である。図７及び図８では、第１の色は、白色であり、第２の色は、黒色である。従って、格子模様５１は、白黒の矩形領域５２が格子状に交互に配置されたチェスボード型のパターンとなる。なお、矩形領域５２は、典型的には正方形の領域であるが、例えば長方形の領域であってもよい。
また、複数の凹状パターン３２は、複数の矩形領域５２の各々に少なくとも１つ配置される。すなわち、各矩形領域５２には、１つ以上の凹状パターン３２がそれぞれ設けられる。

図７に示す例では、各矩形領域５２に、凹状パターン３２が１つ配置される。この場合、例えば黒色の矩形領域５２に設けられた凹状パターン３２（縁面部３７）の中心が特徴点として検出される。また黒色の矩形領域５２のコーナー（エッジ）も特徴点として検出可能である。
これにより、凹状パターン３２以外の部分でも特徴点を検出することが可能であり、例えば可視画像データ４０と反射強度データ４１とのマッチング精度を高めることが可能となる。

図８に示す例では、各矩形領域５２に、凹状パターン３２が４つ配置される。ここでは、各矩形領域５２内に格子状に並んだ２×２の凹状パターン３２が設けられる。このように、矩形領域５２に複数の凹状パターン３２が配置されてもよい。
凹状パターン３２を増やすことで、デプス値を計測・較正可能なポイントが増加する。これにより、距離情報のデータ点が増えるため、２Ｄセンサ１２及び３Ｄセンサ１１の位置合わせ精度を高めることが可能となる。

［キャリブレーション処理］
以下では、３Ｄセンサ１１と２Ｄセンサ１２との配置関係を較正するキャリブレーション処理について説明する。

図９は、キャリブレーションパラメータについて説明するための模式図である。
以下では、３Ｄセンサ１１及び２Ｄセンサがそれぞれ単一のカメラセンサ（ピンホールカメラ）と見做せるものとして説明する。
図９には、ワールド座標６と、カメラ座標７と、スクリーン座標８とが模式的に図示されている。ワールド座標６は、実空間に存在する物体の位置を表す３次元座標である。カメラ座標７は、カメラセンサを基準に設定される３次元座標であり、カメラセンサの位置・姿勢に応じて変化する。スクリーン座標８は、カメラセンサにより撮影される画像（スクリーン平面）内での位置を表す２次元座標である。

ここで、ワールド座標６上の点Ｐ（ｐ_x、ｐ_y、ｐ_z）がカメラセンサにより撮影され、スクリーン座標８上の点Ｐｓ（ｕ、ｖ）になったとする。この場合、点Ｐと点Ｐｓとの関係は、以下に示す（１）式を用いて表される。

（１）

（１）式の左辺の３×３の行列は、カメラセンサの内部行列Ｋであり、カメラ座標７上の点をスクリーン座標８へ変換する変換行列である。
ｆは、カメラセンサの焦点距離を表すパラメータである。
ａは、カメラセンサのアスペクト比を表すパラメータである。
ｓは、カメラセンサのスキュー歪みを表すパラメータである。
ｃ_x及びｃ_yは、カメラセンサの画像中心の座標を表すパラメータである。
内部行列Ｋに含まれるこれらのパラメータは、カメラセンサ（３Ｄセンサ１１及び２Ｄセンサ）の特性に応じて定まる内部パラメータである。内部パラメータの自由度は５である。

（１）式の左辺の３×４の行列は、カメラセンサの外部行列Ｍであり、ワールド座標６上の点をカメラ座標７へ変換する変換行列である。
Ｒ₁₁、Ｒ₂₁、Ｒ₃₁、Ｒ₁₂、Ｒ₂₂、Ｒ₃₂、Ｒ₁₃、Ｒ₂₃、Ｒ₃₃は、カメラセンサのワールド座標６上の姿勢を表すパラメータであり、３×３の回転行列Ｒを構成する。Ｒ₁₁～Ｒ₃₃は、例えば３次元座標の各軸周りの回転量を用いて表すことが可能であり、自由度は３となる。
ｔ_x、ｔ_y、ｔ_zは、カメラセンサのワールド座標６上の相対的な位置を表すパラメータであり、並進ベクトルＴを構成する。ｔ_x、ｔ_y、ｔ_zは、例えば３次元座標の各軸方向の並進量をあらわし、自由度は３となる。
このように、外部行列Ｍは、回転行列Ｒと並進ベクトルＴとを組み合わせた行列であり、Ｍ＝［ＲＴ］と表される。また外部行列Ｍに含まれるこれらのパラメータは、カメラセンサ（３Ｄセンサ１１及び２Ｄセンサ１２）の位置・姿勢に応じて定まる外部パラメータである。外部パラメータの自由度は６である。

図１０は、カメラセンサ間の配置関係を較正する処理について説明する模式図である。
図１０には、２つのカメラセンサＣ₀及びＣ₁により実空間上の点Ｐが撮影される様子が模式的に図示されている。カメラセンサＣ₀及びＣ₁の一方は３Ｄセンサ１１に対応し、他方は２Ｄセンサ１２に対応する。ここでは、カメラセンサＣ₀及びＣ₁により撮影される画像データ４８ａ及び４８ｂ上の点Ｐの位置をそれぞれＰ₀（ｕ₀、ｖ₀）及びＰ₁（ｕ₁、ｖ₁）と記載する。

例えば、（１）式から、Ｐ₀（ｕ₀、ｖ₀）及びＰ₁（ｕ₁、ｖ₁）は、カメラセンサＣ₀の変換行列（内部行列Ｋ₀及び外部行列Ｍ₀）及びカメラセンサＣ₁の変換行列（内部行列Ｋ₁及び外部行列Ｍ₁）を用いて対応付けることが可能である。すなわち、Ｐ₀（ｕ₀、ｖ₀）＝Ｅ・Ｐ₁（ｕ₁、ｖ₁）を満たす変換行列ＥをＫ₀、Ｍ₀、Ｋ₁、及びＭ₁から算出できる。変換行列Ｅは、例えばエピポーラ幾何等で用いられる基本行列に対応する。

ここで、内部行列Ｋ₀及びＫ₁が既知のパラメータである場合、行列Ｅを算出する処理は、カメラセンサＣ₀の外部行列Ｍ₀＝［Ｒ₀Ｔ₀］と、カメラセンサＣ₁の外部行列Ｍ₁＝［Ｒ₁Ｔ₁］を算出する処理となる。なお、Ｒ₀及びＴ₀は、それぞれカメラセンサＣ₀の回転行列及び並進ベクトルであり、Ｒ₁及びＴ₁は、それぞれカメラセンサＣ₁の回転行列及び並進ベクトルである。

例えば、図１０に示すように、カメラセンサＣ₀のカメラ座標７をワールド座標６として扱った場合、回転量及び並進量は０となり、Ｒ₀＝Ｉ及びＴ₀＝０と見做すことができる。従って、変換行列Ｅは、カメラセンサＣ₀の位置・姿勢を基準としたカメラセンサＣ₁の回転行列Ｒ₁及び並進ベクトルＴ₁により表される。
この場合、Ｒ₁及びＴ₁は、カメラセンサＣ₀に対するカメラセンサＣ₁の相対的な回転量及び並進量を表す外部パラメータ、すなわちカメラセンサＣ₀とカメラセンサＣ₁との配置関係（相対的な位置及び姿勢）を表す外部パラメータとなる。

本実施形態で実行されるキャリブレーション処理は、キャリブレーションボード３０を測定した３Ｄセンサ１１及び２Ｄセンサ１２のデータをもとに、３Ｄセンサ１１及び２Ｄセンサ１２間の相対的な位置及び姿勢を表す回転行列及び並進ベクトル（変換行列Ｅ）を算出する処理となる。
なお、キャリブレーション処理として、例えば３Ｄセンサ１１の外部行列と、２Ｄセンサ１２の外部行列とをそれぞれ個別に算出する処理が実行されてもよい。この場合、各センサの外部行列から相対的な位置及び姿勢を表す回転行列及び並進ベクトルを算出可能である。

またキャリブレーション処理では、例えば可視画像データ４０及び反射強度データ４１から複数の特徴点が検出され、物理的に同一の特徴点のペアを探索する対応点探索が実行される。そして対応付けができた各特徴点の座標をもとに、各パラメータを含む連立方程式が複数生成される。この連立方程式を最小二乗法や非線形最適化法（ニュートン法やマーカート法）等の手法により解くことで、各外部パラメータが算出される。

なお、可視画像データ４０及び反射強度データ４１は、スクリーン面に投影された投影画像である。このような投影画像には、２次元の位置情報しか含まれていない。このため、投影画像だけを使用したキャリブレーションでは、外部パラメータの算出精度が低くなる可能性がる。
また３Ｄセンサ１１により測定された距離情報を用いて、外部パラメータを算出する方法も考えられる。しかしながら、仮に図６等に示すような可視カメラ用のキャリブレーションパターンでは、３Ｄセンサ１１の黒色の領域に対する測定精度が低下するという特性のために、精度のよいデプス値を用いることが困難である。

そこで、本実施形態では、キャリブレーションボード３０の各点に対する距離データ４２（距離情報）を利用して、キャリブレーション処理が実行される。上記したように、キャリブレーションボード３０には、既知のデプス段差（凹部３４）を持つ複数の凹状パターン３２が設けられる。これにより、凹部３４の深さΔを絶対値（絶対デプス値）として、各特徴点に対する距離を較正することが可能となる。この結果、高精度な距離情報を使ったキャリブレーション処理が可能となる。
また、精度の高いデプス値を用いることで、例えばカメラ座標７の奥行き方向の変化に係る外部パラメータを予め算出することが可能となる。これにより、例えば可視画像データ４０及び反射強度データ４１の対応点を用いて算出する必要がある外部パラメータの数が減少する。これにより、最適化処理等が安定し、外部パラメータ全体の算出精度を向上することが可能となる。

以下では、３Ｄセンサ１１により測定される距離データ４２を、キャリブレーション処理に適用する方法について説明する。
図１１は、ステレオ撮影におけるデプス値と視差との関係を示す模式図である。図１１には、カメラセンサＣ₀及びＣ₁によるステレオ撮影の様子が模式的に図示されている。ここでは、カメラセンサＣ₀及びＣ₁の光軸が平行となっている。

ステレオ撮影では、各カメラセンサＣ₀及びＣ₁により測定された画像データに三角測量の原理を適用することで、画像データに映る実空間上の点Ｐに対する距離（デプス値）が算出される。この場合、点Ｐのデプス値（depth）は、baseline／disparityに比例する。ここで、baselineは、各カメラセンサＣ₀及びＣ₁の間隔であり、disparityは、点Ｐに対する各画像データにおける視差である。
このように、デプス値及び視差は互いに反比例の関係にある。また点Ｐのデプス値がわかれば、各カメラセンサＣ₀及びＣ₁が撮影する画像データにおける点Ｐの視差（ステレオ撮影された画像内での点Ｐの位置の違い）が算出できるともいえる。

本実施形態では、距離データ４２として測定されたデプス値と視差との関係から、３Ｄセンサ１１が測定する反射強度データ４１と２Ｄセンサ１２が測定する可視画像データ４０との間の視差を補正する処理が実行される。これにより、視差が補正されたデータを使って外部パラメータを算出することが可能となり、各パラメータの算出精度を大幅に向上することが可能となる。

図１２は、キャリブレーション処理の一例を示すフローチャートである。
まず、３Ｄセンサ１１及び２Ｄセンサ１２により、キャリブレーションボード３０が測定される（ステップ１０１）。
例えば、３Ｄセンサ１１及び２Ｄセンサ１２の測定範囲にキャリブレーションボード３０が配置される。３Ｄセンサ１１により、キャリブレーションボード３０に測定光２が照射され、その反射光３が測定される。また２Ｄセンサ１２により、可視光４が検出されキャリブレーションボード３０が撮影される。

次に、較正処理部２１により、３Ｄセンサ１１及び２Ｄセンサ１２から出力されたデータが取得される（ステップ１０２）。具体的には、３Ｄセンサ１１から出力された反射強度データ４１及び距離データ４２と、２Ｄセンサ１２から出力された可視画像データ４０とが適宜読み込まれる。
なお、各センサによる測定は、典型的には、キャリブレーションボード３０の位置や姿勢を変えて複数回行われる。

次に、較正処理部２１により、距離データ４２が較正される（ステップ１０３）。本実施形態では、較正処理部２１により、複数の凹状パターン３２ごとに、凹部３４の深さΔを基準として距離データ４２が表す距離を較正した較正距離情報Ｚが算出される。
本実施形態では、３Ｄセンサ１１により測定された距離データ４２を較正して算出される較正距離情報Ｚは、第１の較正距離情報に相当する。

例えば、３Ｄセンサ１１による測定では、３Ｄセンサ１１のデプス方向（カメラ座標のＺ方向）に対してキャリブレーションボード３０が傾斜している。この傾斜を補正することで、凹状パターン３２を直交方向から見たデプス値が算出可能である。この場合、底面部３５に対するデプス値ｚ₀と縁面部３７に対するデプス値ｚ₁との差（ｚ₀－ｚ₁）が、凹部３４の深さΔに対応する。従って、例えばΔ＝α（ｚ₀－ｚ₁）を満たす較正係数αを算出することで、Δを基準に較正された直交方向から見たデプス値（αｚ₀及びαｚ₁）が得られる。このデプス値に傾斜を戻す補正を行うことで、距離データ４２を較正した較正距離情報が算出される。
このようなデプス値の較正処理が、各凹状パターン３２ごとに実行される。
この他、距離データ４２を較正可能な任意の処理が実行されてよい。

また本実施形態では、凹状パターン３２の特徴点ごとに、Δを基準に較正されたデプス値が算出される。
凹状パターン３２の特徴点としては、例えば縁面部３７の中心点が用いられる。縁面部３７の中心点は、配置面３３と同一面にある中空上の点である。この場合、特徴点のデプス値は、較正された底面部３５及び縁面部３７のデプス値から算出される。
なお凹状パターン３２の特徴点として、底面部３５の中心点等が用いられてもよい。

次に、較正処理部２１により、キャリブレーションパラメータ２５が算出される（ステップ１０４）。本実施形態では、較正処理部２１により、上記した較正距離情報に基づいて、配置関係を表すキャリブレーションパラメータ２５（外部パラメータ）が算出される。
例えば、図１１を参照して説明したデプス値と視差との関係から、反射強度データ４１と可視画像データ４０との間の視差が補正可能である。較正処理部２１では、このような視差を補正する処理を組み合わせて、外部パラメータが算出される。
以下では、キャリブレーション処理の内容についてより具体的に説明する。

図１３は、キャリブレーション処理の処理フローの一例を示すブロック図である。
図１３に示す例では、較正処理部２１により、可視画像データ４０と反射強度データ４１とに基づいて外部パラメータが算出され、当該算出結果が較正距離情報Ｚに基づいて補正される。この処理は、一度算出した外部パラメータを、較正距離情報Ｚを参照して再度補正する再帰型の処理となっている。

まず、距離データ４２を処理するフローについて説明する。
較正処理部２１により、３Ｄセンサ１１から距離データ４２が読み込まれ、各凹状パターン３２（測距円）内のデプス値が平滑化される（ステップ２０１）。例えば、距離データ４２に対して、平滑化フィルタが適用される。これにより、ノイズとなるデータが除去され、凹状パターン３２の底面部３５や縁面部３７をデプス値がスムーズにつながったフラットな領域として扱うことが可能となる。
平滑化された距離データ４２（距離情報）が読み込まれる（ステップ２０２）。
ステップ２０１及びステップ２０２の処理は、例えば図１２に示すステップ１０２において、距離データ４２を取得する処理に対応する。

距離データ４２が凹状パターン３２（測距円）ごとに較正され、較正距離情報Ｚが算出される（ステップ２０３）。距離データ４２の較正は、図１２のステップ１０３で説明した処理である。例えば較正距離情報Ｚとして、複数の凹状パターン３２の特徴点ごとに、凹部３４の深さΔを基準に較正されたデプス値が算出される。
特徴点の検出には、例えば円を検出する任意の画像解析処理（例えばハフ変換処理等）が用いられる。なお後述する対応点探索の結果から特徴点の位置が参照されてもよい。

このように、本実施形態では、較正処理部２１により、距離データ４２を平滑化し、平滑化された距離データ４２に基づいて較正距離情報Ｚが算出される。これにより、ノイズによる影響等を抑制し、フラットな領域での測距精度が向上し、高精度な較正距離情報Ｚを算出することが可能となる。
また、複数の凹状パターン３２（測距円）ごとに、絶対デプスΔによる較正が可能である。このため、各点に対する測距精度を十分に向上することが可能となる。

次に、可視画像データ４０及び反射強度データ４１を処理するフローについて説明する。
較正処理部２１により、２Ｄセンサ１２から可視画像データ４０が読み込まれ（ステップ２０４）、３Ｄセンサ１１から反射強度データ４１が読み込まれる（ステップ２０５）。
ステップ２０４及びステップ２０５の処理は、例えば図１２に示すステップ１０２において、可視画像データ４０及び反射強度データ４１を取得する処理に対応する。
また以下で説明するステップ２０６～ステップ２１０の処理は、例えば図１２に示すステップ１０４の処理に対応する。

可視画像データ４０及び反射強度データ４１に対して、対応点探索処理が実行される（ステップ２０６）。対応点探索処理は、可視画像データ４０及び反射強度データ４１から物理的に同一の箇所（対応点）を検出する処理である。例えば、それぞれのデータからキャリブレーションボード３０の特徴点、すなわち複数の凹状パターン３２の特徴点が検出される。そして、互いに同一となる特徴点がそれぞれ特定される。
なお図７及び図８に示すように格子模様５１を備えるキャリブレーションボード５０ａ及び５０ｂが用いられる場合には、矩形領域５２のコーナーやエッジを特徴点として検出し、そこから対応点が探索されてもよい。対応点探索処理の具体的な方法は限定されず、特徴点を検出・マッチングする任意の画像解析処理が用いられてよい。

対応点の検出結果に基づいて、キャリブレーションパラメータ２５が算出される（ステップ２０７）。ここでは、ステレオ撮影を行う各センサの相対的な位置及び姿勢を表す外部パラメータが算出される（図９及び図１０参照）。例えば、各対応点の座標を用いて、反射強度データ４１上の座標を可視画像データ４０上の座標に変換する回転行列Ｒ及び並進ベクトルＴについての連立方程式が生成される。そして最小二乗法等を用いて、Ｒ及びＴに含まれる外部パラメータが算出される。

キャリブレーションパラメータ２５を用いて、可視画像データ４０及び反射強度データ４１に対して平行化処理が実行される（ステップ２０８）。ここで平行化処理とは、例えば可視画像データ４０及び反射強度データ４１を平行なステレオ撮影（図１１参照）により得られたデータとなるように補正する処理である。平行化された各データは、例えば３Ｄセンサ１１と２Ｄセンサ１２とが、各々の光軸を平行にして光軸に垂直な方向に平行移動した配置関係となる状態で測定されたデータと見做すことができる。

例えばステップ２０７で算出された回転行列Ｒ及び並進ベクトルＴに基づいて、可視画像データ４０及び反射強度データ４１を平行化する行列が算出され、当該行列を使って、各データの平行化処理が実行される。
平行化処理は、例えばステップ２０６で検出された対応点、すなわち各データにおける凹状パターン３２の特徴点に対して実行される。これにより、演算量を削減することが可能となる。もちろん、可視画像データ４０及び反射強度データ４１の全画素に対して平行化処理が実行されてもよい。

較正距離情報Ｚに基づいて視差補正処理が実行される（ステップ２０９）。ここでは、例えば平行化された可視画像データ４０及び反射強度データ４１の対応点に対して、較正距離情報Ｚに基づいて視差が算出される。そして各対応点の位置が視差の値に応じて移動される。各対応点の視差の算出には、例えば図１１等を参照して説明したデプス値と視差との関係が用いられる。
視差補正処理では、例えば平行化された反射強度データ４１の対応点について視差が算出され、各対応点が移動される。この結果、反射強度データ４１の対応点と、可視画像データ４０の対応点との視差による不一致が低減される。なお、可視画像データ４０について視差が補正されてもよいし、反射強度データ４１及び可視画像データ４０の両者について視差が補正されてもよい。
このように、視差補正処理では、較正されたデプス値を使って高精度な視差補正が可能である。また視差補正の精度が高いため、以降の処理を安定して実行することが可能となりロバスト性が向上する。

視差補正処理の結果から、位置合わせ誤差が算出される（ステップ２１０）。ここでは、例えば視差補正処理後の可視画像データ４０の対応点と反射強度データ４１の対応点との誤差（各対応点のずれ量）が算出される。
位置合わせ誤差は、ステップ２０７で算出されたキャリブレーションパラメータ２５（外部パラメータ）を補正するための参照値として用いられる。例えば、回転行列Ｒ及び並進ベクトルが、位置合わせ誤差が最小化されるように補正される。これにより、可視画像データ４０と反射強度データ４１とを略一致するように変換させることが可能な外部パラメータが算出される。

このように、位置合わせ誤差によって補正されたキャリブレーションパラメータ２５を用いて、位置合わせ済みの反射強度データ４１（強度画像）と位置合わせ済みの可視画像データ４０（可視画像）が算出される。
なお、キャリブレーションパラメータ２５を補正するためのフィードバック処理は、複数回実行されてもよい。これにより、十分に高精度なキャリブレーションパラメータ２５を算出することが可能となる。

図１４は、キャリブレーション処理の処理フローの他の一例を示すブロック図である。
図１４に示す例では、較正処理部２１により、較正距離情報Ｚに基づいて可視画像データ４０と反射強度データ４１との間の視差補正が実行され、視差補正の結果に基づいて外部パラメータが算出される。この処理は、予め較正距離情報Ｚを用いて視差補正処理をしたデータから外部パラメータを算出する一括型の処理となっている。

図１４に示すステップ３０１～３０５までの処理は、例えば図１３に示すステップ２０１～２０５までの処理と同様に実行される。
すなわち、キャリブレーションボード３０を測定した可視画像データ４０、反射強度データ４１、及び距離データ４２が読み込まれる。また距離データ４２は凹状パターン３２ごとに較正され、較正距離情報Ｚが算出される。

可視画像データ４０と反射強度データ４１との間の視差を補正する視差補正処理が実行される（ステップ３０６）。
例えば反射強度データ４１の全ての画素について、較正距離情報Ｚに基づいて視差が算出される。そして、各画素に対応する点の位置が視差の値に応じて移動される。また例えば、反射強度データ４１から特徴点が検出され、各特徴点の視差が補正されてもよい。また、可視画像データ４０について視差が補正されてもよいし、反射強度データ４１及び可視画像データ４０の両者について視差が補正されてもよい。
このように、平行化されていないデータについても、較正されたデプス値（較正距離情報Ｚ）を用いることで高精度な視差補正が可能である。

またステップ３０６では、キャリブレーションボード３０に設けられた凹状パターン３２のデプス段差（凹部３４）を利用して、各センサの相対的な位置及び姿勢を表す外部パラメータのうち、距離方向（奥行き方向）の移動に係るパラメータが算出される。例えば（１）式に示す回転行列Ｒの成分で表すと、ｐ_zに作用するＲ₁₃、Ｒ₂₃、Ｒ₃₃の各パラメータが、凹部３４の深さΔ（絶対デプス値）を基準に算出される。
これにより、未知のキャリブレーションパラメータ２５が減少し、他のパラメータの算出処理を安定して実行することが可能となり、ロバスト性を向上することが可能となる。

視差補正処理により補正された可視画像データ４０及び反射強度データ４１に対して、対応点探索処理が実行される（ステップ３０７）。この処理は、例えば図１３に示すステップ２０６の処理と同様に実行される。
例えば可視画像データ４０及び反射強度データ４１に含まれる各凹状パターン３２の特徴点から、同一となる特徴点（対応点）が特定される。ここでは視差補正後のデータが用いられるため、対応点の探索を容易に行うことが可能である。

対応点の検出結果に基づいて、距離方向の移動に係るパラメータ以外の外部パラメータが算出される（ステップ３０８）。ここでは、上記した距離方向の移動に係るパラメータを既知のパラメータとして、回転行列Ｒ及び並進ベクトルＴについての連立方程式から、他のパラメータが算出される。この処理では、例えば図１３のステップ２０７で行われる外部パラメータの算出処理と比べて、未知のパラメータの数が少ない。これにより、安定して他のパラメータを算出することが可能となる。

キャリブレーションパラメータ２５を用いて、可視画像データ４０及び反射強度データ４１に対して位置合わせ処理が実行される（ステップ３０９）。位置合わせ処理は、例えば可視画像データ４０及び反射強度データ４１のうち一方のデータをステップ３０８で算出された回転行列Ｒ及び並進ベクトルＴに基づいて変換する処理である。
視差補正後のデータから算出された外部パラメータ（Ｒ及びＴ）には、視差補正の結果が反映されている。従ってこのような外部パラメータを用いて変換されたデータは、対応点の位置が略一致するデータとなる。これにより、位置合わせ済みの反射強度データ４１（強度画像）と位置合わせ済みの可視画像データ４０（可視画像）を算出することが可能となる。

以上、本実施形態に係るコントローラ２０では、３Ｄセンサ１１及び２Ｄセンサ１２により、複数の凹状パターン３２が設けられたキャリブレーションボード３０を測定したデータから、各センサの配置関係を表すキャリブレーションパラメータ２５（外部パラメータ）が算出される。各凹状パターン３２の底面部３５及び縁面部３７は、３Ｄセンサ１１の測定光に対する反射率が高い。これにより、３Ｄセンサ１１は凹状パターン３２の形状を精度よく測定することが可能となり、各センサの配置関係を表すキャリブレーションパラメータ２５の算出精度が向上する。この結果、センサ間の配置関係を精度よく較正することが可能となる。

図１５は、比較例として挙げるキャリブレーション処理の処理フローを示すブロック図である。ここでは、例えば図６等を参照して説明した可視カメラ用のキャリブレーションパターンを用いて、２Ｄセンサ１２及び３Ｄセンサ１１の配置関係が較正される。
上記したように、白黒のキャリブレーションパターンに対する３Ｄセンサ１１による測距精度は、測定光２の反射率が低いために低下する可能性があるため、この処理では距離データは用いられない。

例えば可視画像データと反射強度データとが取得されると、各データの対応点が探索され、その結果に基づいて２Ｄセンサ１２及び３Ｄセンサ１１の配置関係を表す外部パラメータが算出される。また外部パラメータを用いて可視画像データと反射強度データとが平行化される。これは、例えば２台の可視カメラを用いた２Ｄ－２Ｄステレオ撮影で用いられるキャリブレーション処理となっている。

このように、アクティブ測距センサ（３Ｄセンサ１１）と可視カメラ（２Ｄセンサ１２）等のパッシブセンサとの３次元空間上の相対的な位置キャリブレーションを行う際に、パッシブセンサで一般的に使用される白黒のキャリブレーションパターン用いる方法が考えられる。この場合、ｉＴｏＦセンサのようなアクティブ測距センサでは黒色でのデプス精度が低いため距離データを用いることができない。従って、２Ｄ－３Ｄステレオ撮影であるにも関わらず、上記のように２Ｄ－２Ｄステレオ撮影のキャリブレーション手法を用いることになる。

一般に、画像データの対応点のみから算出される視差情報やＺ情報は、例えば測距センサにより測定される距離データと比べて精度が低い。このため、外部パラメータの算出精度が低下し、各センサ間の位置合わせ精度が低くなる。
また、ジャイロ等を搭載したＩＭＵ（Inertial Measurement Unit）やＧＰＳ等の他のセンサを用いる方法も考えられるが、位置合わせに必要な精度を得るには、測定精度が粗いという欠点がある。

本実施形態では、底面部３５及び縁面部３７の測定光２に対する反射率が高い複数の凹状パターン３２を備えるキャリブレーションボード３０が用いられる。これにより、測距対象となる凹状パターン３２において、十分な反射光３が発生するため、測距精度を十分に確保することが可能となる。
また凹状パターン３２（凹部３４）の深さΔを基準に、距離データ４２を較正することが可能となる。これにより、距離データ４２の精度が大幅に向上し、距離データ４２をキャリブレーション処理に用いることが可能となる。

３Ｄセンサ１１の距離データ４２を用いることで、外部パラメータを算出する処理は、２次元の画像データ（可視画像データ４０及び反射強度データ４１）に加え３次元の距離データ４２を用いた２Ｄ－３Ｄキャリブレーション処理となる。この結果、例えば画像データに対して視差補正を行うことや、パラメータの数を減らすといったことが可能となる。これにより、高精度な外部パラメータを算出することが可能となり、位置合わせの精度やロバスト性を向上することが可能となる。この結果、２Ｄ－３Ｄステレオ撮影により生成される３Ｄモデル２６の精度を十分に向上することが可能となる。

このように、３Ｄセンサ１１が測定する距離データ４２（形状情報）と、２Ｄセンサ１２が測定する可視画像データ４０（可視情報）とを用いて３Ｄモデル２６を生成する技術は、例えばエンタテイメント、医療、拡張現実（ＡＲ）等の様々な分野での応用が期待される。一例として、対象物の認識や形状モデリングが可能であり、自動運転やロボットの環境認識等に応用可能である。また実空間の物体と仮想オブジェクトとのインタラクションを実現する際にも３Ｄモデル２６が有効である。またユーザの手の３Ｄモデル２６を利用したユーザインターフェースを実現することも可能である。また被写体の３Ｄモデル２６を構成することで、レンズ効果を模倣するレンズエミュレーションや、撮影後に照明を調整するライティング処理等が可能となる。
このような３Ｄモデル２６を用いるアプリケーションに本技術を適用することで、アプリケーションの動作精度等を十分に向上することが可能となる。

＜第２の実施形態＞
本技術に係る第２の実施形態の３次元測定システムについて説明する。これ以降の説明では、上記の実施形態で説明した３次元測定システム１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

上記の実施形態では、アクティブ測距センサ（３Ｄセンサ）とパッシブセンサ（２Ｄセンサ）との間の配置関係が較正された。本技術は、アクティブ測距センサ間の配置関係の較正にも適用可能である。

［３次元測定システムの構成］
図１６は、第２の実施形態に係る３次元測定システムの構成例を示すブロック図である。図１７は、３次元測定システム２００の動作の概要を示す模式図である。
３次元測定システム２００は、３Ｄセンサ２１１ａと、３Ｄセンサ２１１ｂと、記憶部２１３と、コントローラ２２０とを有する。３次元測定システム２００は、２つの３Ｄセンサ２１１ａ及び２１１ｂを用いて３次元空間にある測定対象１を撮影する３Ｄ－３Ｄ撮影を行うシステムである。本実施形態では、３Ｄセンサ２１１ａ及び２１１ｂにより測定されたデータを統合して、測定対象１の立体形状が再構成される。
本構成は、複数の３Ｄセンサを用いて測定対象１を測定する全方位マルチカメラシステム等に適用可能である。

３Ｄセンサ２１１ａ及び２１１ｂは、互いに異なる方向から共通の測定対象１を測定することができるように配置される。各センサは個別に配置可能なセンサユニットでもよいし、共通の筐体に収められてもよい。
３次元測定システム２００では、キャリブレーション処理と、モデル生成処理とが実行される。図１７の左側及び右側には、キャリブレーション処理及びモデル生成処理を行う際の測定の様子がそれぞれ模式的に図示されている。

キャリブレーション処理は、３Ｄセンサ２１１ａ及び２１１ｂによりキャリブレーションマーカー６０を測定して、各センサにより測定されるデータの位置合わせを行う処理である。この処理では、主に３Ｄセンサ２１１ａ及び３Ｄセンサ２１１ｂの配置関係（相対的な位置及び姿勢）を較正するキャリブレーションパラメータ２５が算出される。本実施形態では、キャリブレーションマーカー６０は、較正用ターゲットに相当する。
モデル生成処理は、３Ｄセンサ２１１ａ及び２１１ｂにより測定された測定対象１の３次元情報を用いて、測定対象１の３Ｄモデル２６を生成する処理である。この処理では、キャリブレーション処理により算出されたキャリブレーションパラメータ２５を用いて、各センサのデータの位置合わせが行われる。
以下では、３次元測定システム２００の構成について具体的に説明する。

３Ｄセンサ２１１ａ及び２１１ｂは、測定対象１に測定光２を照射して、測定対象１で反射された反射光３を測定することで、測定対象１の各点に対する距離を測定するアクティブ測距センサである。
３Ｄセンサ２１１ａ及び２１１ｂは、測定対象１の各点に対する距離を表す距離データ（デプス画像）をそれぞれ出力する。また３Ｄセンサ２１１ａ及び２１１ｂは、測定対象１の各点における測定光２の反射強度を表す反射強度データ（反射強度画像）をそれぞれ出力する。

３Ｄセンサ２１１ａ及び２１１ｂは、例えば図１等を参照して説明した３Ｄセンサ２１１と同様に構成される。なお３Ｄセンサ２１１ａ及び２１１ｂとして完全に同じセンサを用いる必要はなく、各センサの構成が異なっていてもよい。
本実施形態では、３Ｄセンサ２１１ａは、測定光を照射する測距センサに相当する。また、３Ｄセンサ２１１ｂは、測距センサとは異なる他のセンサの一例であり、測定光を照射する他の測距センサに相当する。

記憶部２１３は、不揮発性の記憶デバイスである。記憶部２１３には、３次元測定システム２００の全体の動作を制御するための制御プログラムが記憶される。また記憶部２１３には、キャリブレーションパラメータ２５のデータや、キャリブレーションマーカー６０の形状や寸法等のデータ、３Ｄモデル２６のデータ等が記憶される。
コントローラ２２０は、３次元測定システム２００が有する各ブロックの動作を制御する。本実施形態では、コントローラ２２０のＣＰＵが本実施形態に係るプログラムを実行することで、機能ブロックとして、較正処理部２２１、及びモデル生成部２２２が実現される。

較正処理部２２１は、キャリブレーション処理を実行して、３Ｄセンサ２１１ａと３Ｄセンサ２１１ｂとの配置関係を較正する。
具体的には、較正処理部２２１は、３Ｄセンサ２１１ａにより、キャリブレーションマーカー６０を測定したデータと、３Ｄセンサ２１１ｂにより、キャリブレーションマーカー６０を測定したデータとに基づいて、３Ｄセンサ２１１ａと３Ｄセンサ２１１ｂとの配置関係を表すキャリブレーションパラメータ２５（外部パラメータ）を算出する。

図１７の左側に示すように、キャリブレーション処理では、３Ｄセンサ２１１ａ及び３Ｄセンサ２１１ｂにより、共通のキャリブレーションマーカー６０が測定される。
この測定では、３Ｄセンサ２１１ａは、キャリブレーションマーカー６０の各点に対する距離を表す距離データを出力する。また、３Ｄセンサ２１１ａは、キャリブレーションマーカー６０の各点における測定光２の反射強度を表す反射強度データを出力する。
同様に、３Ｄセンサ２１１ｂは、キャリブレーションマーカー６０の各点に対する距離を表す距離データを出力する。また、３Ｄセンサ２１１ａは、キャリブレーションマーカー６０の各点における測定光２の反射強度を表す反射強度データを出力する。

較正処理部２２１は、３Ｄセンサ２１１ａ及び２１１ｂの各々から出力されるキャリブレーションマーカー６０の距離データ及び反射強度データに基づいて、外部パラメータを算出する。
以下では、３Ｄセンサ２１１ａから出力されるキャリブレーションマーカー６０の距離データ及び反射強度データを、第１の距離データ及び第１の反射強度データと記載する。また３Ｄセンサ２１１ｂから出力されるキャリブレーションマーカー６０の距離データ及び反射強度データを、第２の距離データ及び第２の反射強度データと記載する。

モデル生成部２２２は、３Ｄセンサ２１１ａ及び２１１ｂが測定した測定対象１のデータから、測定対象１の３Ｄモデル２６を生成する。
例えば、３Ｄセンサ２１１ａ及び２１１ｂにより測定された測定対象１の距離データが統合され測定対象１の立体形状を表す３Ｄモデル２６が生成される。これは、３Ｄセンサ２１１ａが測定した立体形状と、３Ｄセンサ２１１ｂが測定した立体形状とをスムーズにつながるように結合させる処理である。

立体形状のデータ（距離データ）は、例えば３次元の点群として処理される。各３Ｄセンサ２１１ａ及び２１１ｂが測定した点群の位置合わせには、キャリブレーション処理で算出されたキャリブレーションパラメータ２５が用いられる。これにより、測定対象１の立体形状を広範囲にわたって精度よく再現する３Ｄモデル２６等を生成することが可能となる。

［キャリブレーションマーカー６０の構成］
図１８は、キャリブレーションマーカー６０の構成例を示す模式図である。
キャリブレーションマーカー６０は、マーカー本体６１と、マーカー本体６１に設けられた複数の凹状パターン６２とを有する。

マーカー本体６１は、キャリブレーションマーカー６０を構成する球体状の部材である。従って、マーカー本体６１は、どの方向から撮影しても円として撮影されるため、それ自体がマーカーとして機能する。例えばマーカー本体６１の中心は、キャリブレーションマーカー６０の特徴点として用いられる。
マーカー本体６１の表面は、複数の凹状パターン６２が形成される配置面６３となる。このようにキャリブレーションマーカー６０は、複数の凹状パターン６２が配置される球面状の配置面６３を有する。
図１８には、マーカー本体６１を１つの方向から見た外観が模式的に図示されている。複数の凹状パターン６２は、球面上の配置面６３の全体にわたって配置され、例えば図１８に示す側とは反対側にも複数の凹状パターン６２が形成される。

複数の凹状パターン６２は、それぞれ凹部６４を有する。凹部６４は、球面上の配置面６３に設けられたくぼみであり、底面部６５と、側面部６６とを有する。凹部６４の深さ方向は、典型的には球体状のマーカー本体６１の中心に向かう方向（配置面６３の法線方向）である。
また、各凹状パターン６２において、各々の凹部６４を囲む領域は、縁面部６７となる。図１８では、縁面部６７に対応する領域が点線を用いて模式的に図示されている。

本実施形態では、底面部６５及び縁面部６７は、測定光２に対する反射率が所定の閾値よりも高くなるように構成される。所定の閾値は、例えば図３等を参照して説明した方法により設定される。
すなわち、キャリブレーションマーカー６０は、各々が凹部６４を有し、凹部６４の底面部６５及び凹部６４を囲む縁面部６７の測定光２に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターン６２を有する。
これにより、各３Ｄセンサ２１１ａ及び２１１ｂの測定結果（第１の距離データ及び第２の距離データ）から、底面部６５及び縁面部６７の各点に対する距離を適正に算出することが可能となる。さらに、凹部６４の深さΔを基準にすることで、各３Ｄセンサ２１１ａ及び２１１ｂで測定した距離（デプス値）を精度よく較正することが可能となる。

図１８に示すキャリブレーションマーカー６０は、全体として測定光２に対する反射率が所定の閾値よりも高くなるように構成される。すなわち、凹状パターン６２の底面部６５及び縁面部６７のみならず、他の部分についても同様の反射率が設定される。これにより、各３Ｄセンサ２１１ａ及び２１１ｂは、キャリブレーションマーカー６０全体の立体形状を精度よく測定することが可能となる。

また複数の凹状パターン６２は、例えば底面部６５及び縁面部６７が平面となるように構成される。この場合、例えば図３Ｂ及び図３Ｃに示す凹状パターン６２が、球体状のマーカー本体６１に埋め込まれたような形状となる。底面部６５及び縁面部６７を平面とすることで、凹状パターン６２ごとの測距精度が向上する。
なお、底面部６５のみが平面となるように構成されてもよい。この場合、縁面部６７は、球面上の配置面６３と一致する曲面となる。このような構成であっても、凹部６４の縁に対する底面部６５の深さをΔとして、デプス値を較正することが可能となる

また、複数の凹状パターン６２は、底面部６５が円形状となるように、かつ縁面部６７が平面視で底面部６５と中心が一致する円環形状となるように構成される。すなわち、各凹状パターン６２は、中央部分に円形のくぼみがある円チャートとなり、測距円として機能する。これにより、各凹状パターン６２の特徴点を容易に検出することが可能となる。

キャリブレーション処理では、例えば単体のキャリブレーションマーカー６０を用いてキャリブレーション処理が実行される。この場合、キャリブレーションマーカー６０自身の形状（各凹状パターン６２の中心位置）を基準にして、３Ｄセンサ２１１ａ及び２１１ｂの配置関係が較正される。また、複数の凹状パターン６２を個別に識別する必要があるため、各々の配置位置を識別することが可能なように、各凹状パターン６２の位置やサイズが設定される。
また例えば、所定の保持具に固定された複数のキャリブレーションマーカー６０が用いられてもよい。これにより、全体で１つの較正用ターゲットが構成される。この場合、各キャリブレーションマーカー６０の位置（マーカー本体６１の中心位置）を基準にして、３Ｄセンサ２１１ａ及び２１１ｂの配置関係が較正される。
以下では、主に単体のキャリブレーションマーカー６０を用いてキャリブレーション処理を行う場合について説明する。

［キャリブレーション処理］
図１９は、キャリブレーション処理の一例を示すフローチャートである。
まず、３Ｄセンサ２１１ａ及び３Ｄセンサ２１１ｂにより、キャリブレーションマーカー６０が測定される（ステップ４０１）。次に、較正処理部２２１により、３Ｄセンサ２１１ａ及び３Ｄセンサ２１１ｂから出力されたデータが取得される（ステップ４０２）。
具体的には、３Ｄセンサ２１１ａから出力された第１の反射強度データ及び第１の距離データと、３Ｄセンサ２１１ｂから出力された第２の反射強度データ及び第２の距離データとが適宜読み込まれる。この測定は、例えばキャリブレーションマーカー６０の位置や姿勢を変えて複数回行われる。

次に、較正処理部２２１により、距離データが較正される（ステップ４０３）。本実施形態では、３Ｄセンサ２１１ａ及び２１１ｂが測定した第１及び第２の距離データがそれぞれ較正される。
具体的には、較正処理部２２１により、複数の凹状パターン６２ごとに、凹部６４の深さΔを基準として第１の距離データが表す距離を較正した第１の較正距離情報Ｚ１が算出される。また、較正処理部２２１により、複数の凹状パターン６２ごとに、凹部６４の深さΔを基準として第２の距離データが表す距離を較正した第２の較正距離情報Ｚ２が算出される。

第１及び第２の距離データを較正する処理は、基本的には図１２のステップ１０３で説明した方法と同様である。ここでは、例えば底面部６５を直交方向から見たデプス値となるように傾斜が補正され、底面部６５と縁面部６７とのデプス値の差が、凹部６４の深さΔと一致するように、デプス値が補正される。このデプス値に傾斜を戻す補正を行うことで、距離データを較正した較正距離情報が算出される。
このようなデプス値の較正処理が、各凹状パターン６２ごとに実行される。
また本実施形態では、凹状パターン６２の特徴点ごとに、Δを基準に較正されたデプス値が算出される。凹状パターン６２の特徴点としては、例えば縁面部６７の中心点や底面部６５の中心点等が用いられる。

次に、較正処理部２２１により、キャリブレーションパラメータ２５が算出される（ステップ４０４）。ここでは、３Ｄセンサ２１１ａと３Ｄセンサ２１１ｂとの配置関係を表すキャリブレーションパラメータ２５（外部パラメータ）が算出される。この外部パラメータを算出する処理に、上記した第１の較正距離情報Ｚ１と第２の較正距離情報Ｚ２とが用いられる。
以下では、キャリブレーション処理の内容についてより具体的に説明する。

図２０は、キャリブレーション処理の処理フローの一例を示すブロック図である。
図１３に示す例では、較正処理部２２１により、第１の較正距離情報Ｚ１及び第２の較正距離情報Ｚ２に基づいて外部パラメータが算出され、当該算出結果に基づいて３Ｄセンサ２１１ａ及び３Ｄセンサ２１１ｂの各内部パラメータが補正される。
この処理は、各較正距離情報Ｚ１及びＺ２を用いて生成された高精度な外部パラメータを用いて、各センサの内部パラメータの精度を高めるカスケード型の処理となっている。

まず、第１の距離データと第２の距離データを用いた処理について説明する。
較正処理部２２１により、３Ｄセンサ２１１ａから第１の距離データが読み込まれ、それぞれ平滑化される（ステップ５０１）。そして平滑化された第１の距離データが読み込まれる（ステップ５０２）。
第１の距離データが凹状パターン６２（測距円）ごとに較正され、第１の較正距離情報Ｚ１が算出される（ステップ５０３）。この処理は、図１９のステップ４０３で説明した処理である。例えば第１の較正距離情報Ｚ１として、複数の凹状パターン６２の特徴点ごとに、凹部６４の深さΔを基準に較正されたデプス値が算出される。
またステップ５０１～５０３と同様に、ステップ５０１'～５０３'が実行され、第２の距離データから、第２の較正距離情報Ｚ２が算出される。

第１の較正距離情報Ｚ１及び第２の較正距離情報Ｚ２に基づいて、外部パラメータ（カメラ姿勢パラメータ）が算出される（ステップ５０４）。
第１の較正距離情報Ｚ１及び第２の較正距離情報Ｚ２は、例えば３Ｄセンサ２１１ａ及び３Ｄセンサ２１１ｂのカメラ座標における３次元点群データである。ここでは、例えば２つの点群データＺ１及びＺ２についての位置合わせ（点群マッチング）が行われる。

Ｚ１及びＺ２は、絶対デプス値Δにより較正されているため、焦点距離等の内部パラメータに応じた歪みや、対応点間の相対的な距離のずれ等は存在しない。従ってＺ１及びＺ２に含まれる各データ点（特徴点等）を回転・並進させることで、両データを重ね合わせることが可能である。マッチング処理では、このような回転・並進を実現する回転行列Ｒ及び並進ベクトルＴが外部パラメータとして算出される。
マッチング処理の具体的な方法は限定されず、例えばロバスト推定やＩＣＰ(Iterative Closest Point)等のマッチング手法が適宜用いられてよい。
このように較正された点群データＺ１及びＺ２に対して、３次元空間での位置合わせを行うことで外部パラメータの算出精度を大幅に向上することが可能となる。

次に、第１の反射強度データと第２の反射強度データとを用いた処理について説明する。
較正処理部２２１により、３Ｄセンサ２１１ａから第１の反射強度データが読み込まれる（ステップ５０５）。そして第１の反射強度データが、３Ｄセンサ２１１ａの内部パラメータを用いて補正される（ステップ５０６）。この補正は、例えば３Ｄセンサ２１１ａの特性（焦点距離等）に応じた歪みを補正する処理である。
またステップ５０５及び５０６と同様に、ステップ５０５'及び５０６'が実行され、３Ｄセンサ２１１ｂの内部パラメータを用いて、第２の反射強度データが補正される。

外部パラメータを用いて、３次元再構成処理が実行される（ステップ５０７）。３次元再構成処理では、キャリブレーションマーカー６０の三次元形状が復元される。具体的には、内部パラメータにより補正された第１及び第２の反射強度データと外部パラメータによって変換された点群データ（第１及び第２の較正距離情報Ｚ１及びＺ２）とが統合された３次元形状データが算出される。
また、３次元再構成処理では、内部パラメータにより補正された第１及び第２の反射強度データが、さらに外部パラメータを用いて変換される。すなわち第１及び第２の反射強度データは、互いに重なるように再構成された画像データとなる。
３次元形状データ及び再構成された第１及び第２の反射強度データは、３次元信号として出力される。

３次元信号に対して、位置合わせ誤差が算出される（ステップ５０８）。ここでは、例えば３次元形状データにおける３Ｄセンサ２１１ａ及び３Ｄセンサ２１１ｂにより測定されたデータ点の間の誤差（各データ点のずれ量）が算出される。また例えば、再構成された第１及び第２の反射強度データにおける対応点の誤差（各対応点のずれ量）が算出される。

上記したように、ステップ５０４で算出される外部パラメータは、絶対デプス値Δを基準に較正された点群データから算出される。このように絶対値を表す高精度デプスを用いて推定した外部パラメータにより３次元再構成処理を行っていることから、残っている３次元点群上の誤差（位置合わせ誤差）は、略内部パラメータによる補正が原因であると考えられる。そこで、位置合わせ誤差は、各３Ｄセンサ２１１ａ及び２１１ｂの内部パラメータを補正するための参照値としてステップ５０６及び５０６'の処理にフィードバックされる。
例えば、各内部パラメータは、位置合わせ誤差が最小化されるように補正される。

このように、位置合わせ誤差によって補正された内部パラメータを用いて、第１及び第２の反射強度データが再度補正される。またこの補正結果をもとに、３次元再構成処理が再度実行される。この結果、キャリブレーションマーカー６０の３次元形状を高精度に再構成した３次元形状データが算出される。また、互いに略一致するように変換された位置合わせ済みの第１及び第２の反射強度データが算出される。

このように３Ｄセンサ２１１ａ及び２１１ｂによる３Ｄ－３Ｄ撮影では、距離データの３次元点群上での位置合わせが可能である。特に、絶対値で較正された距離データから外部パラメータを算出することで、外部パラメータの精度が向上する。図２０に示す例では、このような外部パラメータを基準に内部パラメータが補正される。これは、距離データのデプス精度を高める事で内部パラメータによるキャリブ性能を上げる処理であると言える。
これにより、非常に高精度なキャリブレーションパラメータ２５（内部パラメータ及び外部パラメータ）を算出することが可能となる。

図２１は、キャリブレーション処理の処理フローの他の一例を示すブロック図である。
図２１に示す例では、較正処理部２２１により、第１の較正距離情報Ｚ１及び第２の較正距離情報Ｚ２に基づいて３Ｄセンサ２１１ａ及び３Ｄセンサ２１１ｂから出力された各反射強度データに関する視点変換を実行し、視点変換の結果に基づいて外部パラメータが算出される。この処理は、予め第１及び第２の較正距離情報Ｚ１及びＺ２を用いて視点変換処理をしたデータから外部パラメータを算出する一括型の処理となっている。

図２１に示すステップ６０１～６０３（ステップ６０１'～６０３'）までの処理は、例えば図２０に示すステップ５０１～５０３（ステップ５０１'～５０３'）までの処理と同様に実行される。また、ステップ６０４（ステップ６０４'）の処理は、例えば図２０に示すステップ６０５（ステップ６０５'）の処理と同様に実行される
すなわち、キャリブレーションマーカー６０を測定した第１及び第２の反射強度データ、及び第１及び第２の距離データが読み込まれる。また第１及び第２の距離データは凹状パターン６２ごとに較正され、第１及び第２の較正距離情報Ｚ１及びＺ２が算出される。

第１の反射強度データ及び第２の反射強度データに関する視点変換処理が実行される（ステップ６０５）。
上記したように、第１及び第２の較正距離情報Ｚ１及びＺ２は、較正された点群データである。この点群データＺ１及びＺ２に対する回転処理や並進処理を、第１及び第２の反射強度データに反映させることで、各反射強度データの視点を変換することが可能である。
ここでは、第１及び第２の反射強度データの対応点が探索しやすくなるように、各データの視点が適宜変換される。

またステップ６０５では、キャリブレーションマーカー６０に設けられた凹状パターン６２のデプス段差（凹部６４）を利用して、各センサの相対的な位置及び姿勢を表す外部パラメータのうち、距離方向（奥行き方向）の移動に係るパラメータ（例えばＲ₁₃、Ｒ₂₃、Ｒ₃₃）が算出される。
これにより、未知のキャリブレーションパラメータ２５が減少し、他のパラメータの算出処理を安定して実行することが可能となり、ロバスト性を向上することが可能となる。

３次元対応点探索処理が実行される（ステップ６０６）。この処理は、例えば視点変換された第１の反射強度データ及び第２の反射強度データから物理的に同一の箇所（対応点）を検出する処理である。なお対応点の探索には、第１及び第２の較正距離情報Ｚ１及びＺ２が用いられてもよい。すなわち、画像データと点群データとを用いて、３次元的に対応点が探索される。ここでは視点変換後のデータが用いられるため、対応点の探索を容易に行うことが可能である。

対応点の検出結果に基づいて、距離方向の移動に係るパラメータ以外の外部パラメータが算出される（ステップ６０６）。ここでは、上記した距離方向の移動に係るパラメータを既知のパラメータとして、回転行列Ｒ及び並進ベクトルＴについての連立方程式から、他のパラメータが算出される。未知のパラメータの数が少ないため、安定して他のパラメータを算出することが可能となる。

キャリブレーションパラメータ２５を用いて、３次元再構成処理が実行される（ステップ６０８）。３次元再構成処理は、例えば図２０のステップ５０７で説明した処理と同様の処理である。ここでは、外部パラメータを用いて、キャリブレーションマーカー６０の３次元形状データと、互いに略一致するように変換された位置合わせ済みの第１及び第２の反射強度データとが算出される。

図２２は、比較例として挙げるキャリブレーション処理の処理フローを示すブロック図である。ここでは、例えば凹状パターン６２を持たない立体的なキャリブレーションマーカー等を用いて、３Ｄセンサ２１１ａ及び２１１ｂの配置関係が較正される。３Ｄセンサ２１１ａ及び２１１ｂから出力される距離データがそのまま外部パラメータの算出処理に用いられる。また、各３Ｄセンサ２１１ａ及び２１１ｂが測定した反射強度データが内部パラメータで補正され、外部パラメータの算出処理に用いられる。この算出処理では、例えば点群データである距離データのマッチング処理と、画像データである各反射強度データとの対応点探索処理とを組み合わせて、外部パラメータが算出される。

図２２に示す例では、各距離データは較正されておらず、相対距離を表すデータである。また距離データにはセンサ固有の歪み等が含まれている。また各反射強度データの対応点のみから算出される視差情報やＺ情報は精度が高くない。このため、外部パラメータの算出精度が低下し、最終的に構成される３次元形状データ等の精度が低下する恐れがある。

本実施形態では、底面部６５及び縁面部６７の測定光２に対する反射率が高い複数の凹状パターン６２を備えるキャリブレーションマーカー６０が用いられる。これにより、各凹状パターン６２を高精度に測定することが可能となる。また凹状パターン６２（凹部６４）の深さΔを基準に、３Ｄセンサ２１１ａ及び２１１ｂが測定する第１及び第２の距離データを較正することが可能となる。これにより、各距離データの精度が大幅に向上する。

凹みのあるキャリブレーションマーカー６０を用いることで、精度の高いデプス情報（第１及び第２の較正距離情報Ｚ１及びＺ２）を利用することが可能となる。これにより、高精度な視点変換を行うことや、パラメータの数を減らすといったことが可能となり、外部パラメータの算出精度を向上させることが可能となる。この結果、３Ｄセンサ２１１ａ及び２１１ｂの配置関係を精度よく較正することが可能となる。
また精度の高い外部パラメータを利用して、各３Ｄセンサ２１１ａ及び２１１ｂの内部パラメータを補正することが可能となる。これにより、各センサにおける歪み等も適正に補正することが可能となる。

このように、本実施形態では、絶対デプス値Δで較正された高精度な距離情報を利用することで、位置合わせ、カメラポジションの較正、及び歪補正等の性能を向上させるキャリブレーション処理を実現することが可能となる。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

上記では、主に凹状パターンが円チャートとなる場合について説明した。これに限定されず、例えば三角形型や四角形型等の多角形型の凹状パターンが用いられてもよい。また、底面部と縁面部との平面形状は必ずしも相似とならなくてもよい。例えば円形の底面部と四角形型の縁面部とを組み合わせた凹状パターン等が用いられてもよい。
この他、凹状パターンのデザインは限定されず、例えば少なくとも１つの特徴点を検出可能となるような任意のデザインが用いられてよい。

また３Ｄ－３Ｄステレオ撮影で用いられるキャリブレーションマーカーは、球体形状でなくてもよい。例えば、立方体形状や、直方体形状のマーカーが用いられてもよい。この他角柱形状、角錐形状、円錐形状等のマーカーが用いられてもよい。この他マーカーの外形は限定されない。いずれにしろ、マーカーの表面には、様々な方位から撮影可能となるように、複数の凹状パターンが適宜配置される。

上記の実施形態では、主にＴｏＦ方式の３Ｄセンサについて説明した。これに限定されず、例えば対象の所定のパターンを投影して形状を測定するストラクチャードライト等が用いられもよい。この場合、所定のパターンの投影光が測定光となり、凹状パターンの底面部及び縁面部は投影光を適正に反射可能なように構成される。ストラクチャードライトを用いた場合であっても、凹状パターンの深さΔにより距離データを較正することが可能であり、他のセンサとの配置関係を精度よく較正することが可能となる。

また、較正用ターゲットとして、凹状パターンに代えて凸状のパターンを備えるターゲットが用いられてもよい。例えば図３に示すキャリブレーションボード３０において、底面部となる部分が配置面から突出して突出面を形成するようなパターンが用いられてもよい。このような場合であっても、縁面部と突出面とのデプス差を絶対デプス値として、距離データを較正することが可能である。

以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。

なお、本技術は以下のような構成も採ることができる。
（１）測定光を照射する測距センサにより、各々が凹部を有し、前記凹部の底面部及び前記凹部を囲む縁面部の前記測定光に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターンを有する較正用ターゲットを測定したデータと、前記測距センサとは異なる他のセンサにより、前記較正用ターゲットを測定したデータとに基づいて、前記測距センサと前記他のセンサとの配置関係を表す較正パラメータを算出する較正処理部
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記複数の凹状パターンは、前記底面部及び前記縁面部が平面となるように構成される
情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
前記複数の凹状パターンは、前記底面部が円形状となるように、かつ前記縁面部が平面視で前記底面部と中心が一致する円環形状となるように構成される
情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記測距センサは、前記較正用ターゲットの各点に対する距離を表す第１の距離データを出力し、
前記較正処理部は、前記複数の凹状パターンごとに、前記凹部の深さを基準として前記第１の距離データが表す距離を較正した第１の較正距離情報を算出し、前記第１の較正距離情報に基づいて、前記配置関係を表す較正パラメータを算出する
情報処理装置。
（５）（４）に記載の情報処理装置であって、
前記較正処理部は、前記第１の距離データを平滑化し、前記平滑化された前記第１の距離データに基づいて前記第１の較正距離情報を算出する
情報処理装置。
（６）（４）又は（５）のうちいずれか１つに記載の情報処理装置であって、
前記他のセンサは、対象を可視光により撮影する可視カメラであり、前記較正用ターゲットを前記可視光により撮影した可視画像データを出力する
情報処理装置。
（７）（６）に記載の情報処理装置であって、
前記複数の凹状パターンは、前記底面部及び前記縁面部の色が、第１の色となるように構成され、
前記較正用ターゲットは、前記複数の凹状パターンが配置され、前記可視光による撮影において前記第１の色とは異なる第２の色となる領域を含む平面状の配置面を有する
情報処理装置。
（８）（７）に記載の情報処理装置であって、
前記配置面は、前記複数の凹状パターンを除く領域が前記第２の色に着色される
情報処理装置。
（９）（７）に記載の情報処理装置であって、
前記配置面は、前記第１の色及び前記第２の色で交互に着色された複数の矩形領域により格子状に分割された格子模様を有し、
前記複数の凹状パターンは、前記複数の矩形領域の各々に少なくとも１つ配置される
情報処理装置。
（１０）（７）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記第１の色は、白色であり、
前記第２の色は、黒色である
情報処理装置。
（１１）（７）から（１０）のうちいずれか１つに記載の情報処理装置であって、
前記第１の色は、前記測定光の反射光の強度が前記測距センサの測定レンジに収まる範囲で、前記第２の色に対するコントラストが最大となるように設定される
情報処理装置。
（１２）（６）から（１１）のうちいずれか１つに記載の情報処理装置であって、
前記測距センサは、前記較正用ターゲットの各点における前記測定光の反射強度を表す反射強度データを出力し、
前記較正処理部は、前記可視画像データと前記反射強度データとに基づいて前記配置関係を表す較正パラメータを算出し、当該算出結果を前記第１の較正距離情報に基づいて補正する
情報処理装置。
（１３）（６）から（１１）のうちいずれか１つに記載の情報処理装置であって、
前記測距センサは、前記較正用ターゲットの各点における前記測定光の反射強度を表す反射強度データを出力し、
前記較正処理部は、前記第１の較正距離情報に基づいて前記可視画像データと前記反射強度データとの間の視差補正を実行し、前記視差補正の結果に基づいて前記配置関係を表す較正パラメータを算出する
情報処理装置。
（１４）（４）又は（５）に記載の情報処理装置であって、
前記他のセンサは、前記測定光を照射する他の測距センサであり、前記較正用ターゲットの各点に対する距離を表す第２の距離データを出力する
情報処理装置。
（１５）（１４）に記載の情報処理装置であって、
前記較正用ターゲットは、前記複数の凹状パターンが配置される球面状の配置面を有する
情報処理装置。
（１６）（１４）又は（１５）に記載の情報処理装置であって、
前記較正処理部は、前記複数の凹状パターンごとに、前記凹部の深さを基準として前記第２の距離データが表す距離を較正した第２の較正距離情報を算出する
情報処理装置。
（１７）（１６）に記載の情報処理装置であって、
前記較正処理部は、前記第１の較正距離情報及び前記第２の較正距離情報に基づいて前記配置関係を表す較正パラメータを算出し、当該算出結果に基づいて前記測距センサ及び前記他の測距センサの各内部パラメータを補正する
情報処理装置。
（１８）（１６）に記載の情報処理装置であって、
前記測距センサ及び前記他の測距センサは、前記較正用ターゲットの各点における前記測定光の反射強度を表す反射強度データをそれぞれ出力し
前記較正処理部は、前記第１の較正距離情報及び前記第２の較正距離情報に基づいて前記測距センサ及び前記他の測距センサから出力された各反射強度データに関する視点変換を実行し、前記視点変換の結果に基づいて前記配置関係を表す較正パラメータを算出する
情報処理装置。
（１９）測定光を照射する測距センサにより、各々が凹部を有し、前記凹部の底面部及び前記凹部を囲む縁面部の前記測定光に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターンを有する較正用ターゲットを測定したデータと、前記測距センサとは異なる他のセンサにより、前記較正用ターゲットを測定したデータとに基づいて、前記測距センサと前記他のセンサとの配置関係を表す較正パラメータを算出する
ことをコンピュータシステムが実行する情報処理方法。
（２０）測定光を照射する測距センサを含む複数のセンサ間の配置関係を較正するために用いられる較正用ターゲットであって、
各々が凹部を有し、前記凹部の底面部及び前記凹部を囲む縁面部の測定光に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターン
を具備する較正用ターゲット。

１…測定対象
２…測定光
３…反射光
４…可視光
１１、２１１ａ、２１１ｂ…３Ｄセンサ
１２…２Ｄセンサ
１３、２１３…記憶部
２０、２２０…コントローラ
２１、２２１…較正処理部
３０、５０ａ、５０ｂ…キャリブレーションボード
３２、６２…凹状パターン
３５、６５…底面部
３７、６７…縁面部
３８…ベース領域
４０…可視画像データ
４１…反射強度データ
４２…距離データ
５１…格子模様
５２…矩形領域
６０…キャリブレーションマーカー
１００、２００…３次元測定システム

Claims (20)

1. 測定光を照射する測距センサにより、各々が凹部を有し、前記凹部の底面部及び前記凹部を囲む縁面部の前記測定光に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターンを有する較正用ターゲットを測定したデータと、前記測距センサとは異なる他のセンサにより、前記較正用ターゲットを測定したデータとに基づいて、前記測距センサと前記他のセンサとの配置関係を表す較正パラメータを算出する較正処理部
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記複数の凹状パターンは、前記底面部及び前記縁面部が平面となるように構成される
   情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記複数の凹状パターンは、前記底面部が円形状となるように、かつ前記縁面部が平面視で前記底面部と中心が一致する円環形状となるように構成される
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記測距センサは、前記較正用ターゲットの各点に対する距離を表す第１の距離データを出力し、
   前記較正処理部は、前記複数の凹状パターンごとに、前記凹部の深さを基準として前記第１の距離データが表す距離を較正した第１の較正距離情報を算出し、前記第１の較正距離情報に基づいて、前記配置関係を表す較正パラメータを算出する
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記較正処理部は、前記第１の距離データを平滑化し、前記平滑化された前記第１の距離データに基づいて前記第１の較正距離情報を算出する
   情報処理装置。
6. 請求項４に記載の情報処理装置であって、
   前記他のセンサは、対象を可視光により撮影する可視カメラであり、前記較正用ターゲットを前記可視光により撮影した可視画像データを出力する
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記複数の凹状パターンは、前記底面部及び前記縁面部の色が、第１の色となるように構成され、
   前記較正用ターゲットは、前記複数の凹状パターンが配置され、前記可視光による撮影において前記第１の色とは異なる第２の色となる領域を含む平面状の配置面を有する
   情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記配置面は、前記複数の凹状パターンを除く領域が前記第２の色に着色される
   情報処理装置。
9. 請求項７に記載の情報処理装置であって、
   前記配置面は、前記第１の色及び前記第２の色で交互に着色された複数の矩形領域により格子状に分割された格子模様を有し、
   前記複数の凹状パターンは、前記複数の矩形領域の各々に少なくとも１つ配置される
   情報処理装置。
10. 請求項７に記載の情報処理装置であって、
    前記第１の色は、白色であり、
    前記第２の色は、黒色である
    情報処理装置。
11. 請求項７に記載の情報処理装置であって、
    前記第１の色は、前記測定光の反射光の強度が前記測距センサの測定レンジに収まる範囲で、前記第２の色に対するコントラストが最大となるように設定される
    情報処理装置。
12. 請求項６に記載の情報処理装置であって、
    前記測距センサは、前記較正用ターゲットの各点における前記測定光の反射強度を表す反射強度データを出力し、
    前記較正処理部は、前記可視画像データと前記反射強度データとに基づいて前記配置関係を表す較正パラメータを算出し、当該算出結果を前記第１の較正距離情報に基づいて補正する
    情報処理装置。
13. 請求項６に記載の情報処理装置であって、
    前記測距センサは、前記較正用ターゲットの各点における前記測定光の反射強度を表す反射強度データを出力し、
    前記較正処理部は、前記第１の較正距離情報に基づいて前記可視画像データと前記反射強度データとの間の視差補正を実行し、前記視差補正の結果に基づいて前記配置関係を表す較正パラメータを算出する
    情報処理装置。
14. 請求項４に記載の情報処理装置であって、
    前記他のセンサは、前記測定光を照射する他の測距センサであり、前記較正用ターゲットの各点に対する距離を表す第２の距離データを出力する
    情報処理装置。
15. 請求項１４に記載の情報処理装置であって、
    前記較正用ターゲットは、前記複数の凹状パターンが配置される球面状の配置面を有する
    情報処理装置。
16. 請求項１４に記載の情報処理装置であって、
    前記較正処理部は、前記複数の凹状パターンごとに、前記凹部の深さを基準として前記第２の距離データが表す距離を較正した第２の較正距離情報を算出する
    情報処理装置。
17. 請求項１６に記載の情報処理装置であって、
    前記較正処理部は、前記第１の較正距離情報及び前記第２の較正距離情報に基づいて前記配置関係を表す較正パラメータを算出し、当該算出結果に基づいて前記測距センサ及び前記他の測距センサの各内部パラメータを補正する
    情報処理装置。
18. 請求項１６に記載の情報処理装置であって、
    前記測距センサ及び前記他の測距センサは、前記較正用ターゲットの各点における前記測定光の反射強度を表す反射強度データをそれぞれ出力し、
    前記較正処理部は、前記第１の較正距離情報及び前記第２の較正距離情報に基づいて前記測距センサ及び前記他の測距センサから出力された各反射強度データに関する視点変換を実行し、前記視点変換の結果に基づいて前記配置関係を表す較正パラメータを算出する
    情報処理装置。
19. 測定光を照射する測距センサにより、各々が凹部を有し、前記凹部の底面部及び前記凹部を囲む縁面部の前記測定光に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターンを有する較正用ターゲットを測定したデータと、前記測距センサとは異なる他のセンサにより、前記較正用ターゲットを測定したデータとに基づいて、前記測距センサと前記他のセンサとの配置関係を表す較正パラメータを算出する
    ことをコンピュータシステムが実行する情報処理方法。
20. 測定光を照射する測距センサを含む複数のセンサ間の配置関係を較正するために用いられる較正用ターゲットであって、
    各々が凹部を有し、前記凹部の底面部及び前記凹部を囲む縁面部の測定光に対する反射率が所定の閾値よりも高くなるように構成された複数の凹状パターン
    を具備する較正用ターゲット。

Images