JP6537237B2 - 情報処理装置および方法 - Google Patents

Description

本発明は、三次元計測を行うための情報処理装置に関する。

計測対象を撮像することにより得られた画像を利用する三次元計測技術は、実物からの三次元モデル生成や物体の位置姿勢計測などの様々な目的に利用することができる。画像を利用する三次元計測技術の代表的な方法の一つであるステレオ法では、相対的な位置及び姿勢が既知な二台のカメラ（ステレオカメラ）により撮影された画像をもとに三角測量の原理に基づいて三次元計測を行う。また、三次元計測の信頼性を高めるために、ステレオカメラの一方のカメラをプロジェクタなどの照明装置に置き換えて、計測対象物に三次元計測用のパターンを投影することも広く行われている。

しかしながら、カメラやプロジェクタのレンズは温度に応じて膨張・収縮するため、カメラと計測対象物との間の物理的な位置変化がなくても、温度変化により撮像素子上での計測対象物上の点の位置にずれが生じることがある。同様に、プロジェクタによって投影されるパターンの三次元空間中での位置も温度変化によりずれが生じることがある。

レンズの温度は、外気温やカメラやプロジェクタの機器内部の温度によって変化し、レンズは膨張・収縮をする。レンズの温度変化があっても高精度に三次元計測を行うためには、温度変化に起因するレンズの膨張・収縮によるずれを補正する必要がある。

特許文献１には、予め複数の温度下でカメラパラメータのキャリブレーションを行っておき、カメラ付近に取り付けられた温度センサの計測値に応じてカメラパラメータを切り替える方法が開示されている。

特許第３２８６３０６号公報

特許文献１には、離散的な複数の温度下でキャリブレーションを行う方法が開示されている。しかしながら、特許文献１に開示されている技術では、離散的な限られた温度下におけるキャリブレーションを行っているだけなので、多様な温度変化に応じて適切なキャリブレーションを行うことが困難である。

本発明は、上記課題を鑑みてなされたものであり、多様な温度変化に応じてずれの補正を適切に行うことにより、高精度な三次元計測を可能とすることを目的とする。

本発明の情報処理装置は、三次元計測を行うために計測対象物を撮像する撮像装置の画像座標を温度に応じて補正する情報処理装置であって、校正用物体を複数の異なる温度で撮像した複数の撮像画像のそれぞれにおける画像座標の変化量を所定の複数の動作成分に分解し、前記所定の複数の動作成分ごとの補正パラメータを算出するパラメータ算出手段と、前記複数の動作成分ごとの補正パラメータと前記複数の撮像画像それぞれの撮像時の温度との組に基づいて、前記撮像装置の画像座標の動作成分ごとの補正パラメータを温度の関数とした関係を算出する関係算出手段と、前記関係を保持する保持手段と、前記撮像装置の温度を入力する温度入力手段と、前記温度入力手段によって入力された前記撮像装置の温度と、前記関係とに基づき、前記撮像装置の画像座標の動作成分ごとの補正パラメータを決定するパラメータ決定手段と、前記パラメータ決定手段により決定された動作成分ごとの補正パラメータに基づいて前記撮像装置の画像座標を補正する補正手段とを備える。

本発明によれば、多様な温度変化に応じてずれの補正を適切に行うことにより、高精度な三次元計測を可能とすることが出来る。

第一の実施形態における情報処理装置１の構成を示す図である。 第一の実施形態におけるキャリブレーションの処理手順を示すフローチャートである。 校正パラメータのキャリブレーションに利用する校正用物体を示す図である。 校正パラメータのキャリブレーションの処理手順を示すフローチャートである。 空間コード化パターンの一例を示す図である。 校正パラメータと温度の関係のキャリブレーションの処理手順を説明するフローチャートである。 校正パラメータと温度の関係の算出手順を示すフローチャートである。 第一の実施形態における三次元計測の処理手順を示すフローチャートである。 プロジェクタの校正パラメータと温度の関係の算出手順を説明するフローチャートである。 第三の実施形態における情報処理装置２の構成を示す図である。 画像座標値の変化量についての説明図である。 第三の実施形態における温度補正パラメータの算出手順を示すフローチャートである。 第三の実施形態における三次元計測の処理手順を示すフローチャートである。

以下に、図面を参照しながら、本発明を実施するための実施形態について説明する。

（第一の実施形態）
（カメラのパラメータ補正）
本実施形態では、カメラとプロジェクタから構成される三次元計測装置について説明する。

本実施形態では、外気温や機器の内部の温度変化によって撮影画像上に撮影される点の位置のずれが生じる場合の三次元計測の精度を向上させる。具体的には、予めカメラのレンズの温度と温度変化に応じたパラメータ（温度依存パラメータ）との関係を求めておき、温度センサによって計測されるカメラのレンズの温度をもとに校正パラメータを用いた補正を行う。すなわち本実施形態は、校正パラメータのうち、温度依存性をもつ校正パラメータの値を計測された温度に応じて決定するである。図１は、本実施形態における三次元計測装置と接続された情報処理装置１の構成を示す図である。情報処装置１は、画像入力部１１５、温度入力部１３５、温度補正パラメータ保存部１５０、校正パラメータ保存部１６０、温度依存パラメータ決定部１７０、画像処理部１８０、三次元座標算出部１９０から構成されている。

また、情報処理装置１には、撮像部１１０、パターン投影部１２０、温度計測部１３０、制御部１４０が接続されている。以下、情報処理装置１を構成する各部及び情報処理装置１に接続される各部について説明する。

撮像部１１０は、計測対象物を撮像し、濃淡またはカラー画像を取得するカメラである。パターン投影部１２０は計測対象物に対して照明光パターンを投影する投影型のプロジェクタである。

本実施形態では、プロジェクタは、三次元計測手法として一般的に用いられる空間コード化法の空間コード化パターンを投影するものとする。カメラとプロジェクタは互いの相対的な位置及び姿勢が変化しないように固定されている。カメラ及びプロジェクタの内部パラメータ（焦点距離、画像中心位置、レンズ歪みパラメータ等）、カメラとプロジェクタの間の相対的な位置及び姿勢は事前にキャリブレーションし、校正パラメータとして校正パラメータ保存部１６０に保存する。

ここで、焦点距離とは、カメラ（プロジェクタ）のレンズ中心と画像面との物理的な距離を画素ピッチで割ったものである。また、画像中心位置とは、カメラ（もしくはプロジェクタ）の光軸と画像面との交点の画像座標である。レンズ歪みパラメータは、放射方向の歪みを表す係数と接線方向の歪みを表す係数である。キャリブレーション方法については後述する。

温度計測部１３０は、カメラのレンズの温度を計測する温度センサである。温度センサは例えばサーミスタなどから構成される。本実施形態では、温度センサは例えばカメラレンズのフォーカスリング上に配置される。

制御部１４０は、撮像部１１０およびパターン投影部１２０の動作制御を行う。制御部１４０は、一般的なコンピュータと同様の構成によって実現される。プロジェクタは、制御部１４０からの指示信号に基づき投影するパターンの切り替え及び投影を行う。カメラは、制御部１４０からの指示信号に基づき、プロジェクタによってパターンが投影された計測対象物の画像を撮影する。

画像入力部１１５は撮像部１１０に接続されており、プロジェクタによってパターンが投影された計測対象物のカメラによって撮影された画像を入力する。画像の入力は、例えばカメラリンクのインタフェースを介して行う。しかしながら、画像の入力方法はこれに限るものではなく、ＵＳＢやＩＥＥＥ１３９４、ＧｂＥなど他のインタフェースを介して入力してもよい。なお、計測対象物を撮影する際に画像入力部１１５と撮像部１１０とが接続されている必要は必ずしもない。予め撮影を行って不図示の記憶媒体上に保存しておき、撮影後、画像入力部１１５は記憶媒体に保存されている撮影画像を読み出して入力してもよい。

温度入力部１３５は温度計測部１３０に接続されており、温度センサによって計測されたカメラのレンズの温度を入力する。温度入力部１３５は、補正用の温度として、温度情報を直接入力してもよいし、Ａ／Ｄ変換されたサーミスタの電圧情報を入力し、電圧情報を温度情報に変換してもよい。

温度補正パラメータ保存部１５０は、カメラのレンズの温度と補正対象となる校正パラメータ（以下、補正対象校正パラメータ）の関係を保存する。補正対象校正パラメータは、校正パラメータ保存部１６０に保存されている校正パラメータに含まれている。温度と補正対象校正パラメータの関係は事前にキャリブレーションしておくものとする。温度と補正対象校正パラメータの関係は、例えば、温度を独立変数、補正対象校正パラメータを従属変数とした関数として表現される。本実施形態では温度と補正対象校正パラメータとの関係を一次関数で表されるようにする。当該関係を一次関数などの陽関数で表すことによって、多様な温度に対して補正対象校正パラメータの適切な決定を行うことが可能となる。キャリブレーション方法については後述する。

温度依存パラメータ決定部１７０は、校正パラメータのうち、温度依存性をもつパラメータである補正対象校正パラメータの値を決定する。補正対象校正パラメータの決定は、温度計測部１３０によって計測された撮像時におけるカメラのレンズの温度と、温度補正パラメータ保存部１５０が保持するカメラのレンズの温度と補正対象校正パラメータとの関係に基づいて行われる。

画像処理部１８０は、画像入力部１１５によって入力された撮影画像から空間コードの境界座標を検出し、投影パターン上の境界座標と対応付ける。

三次元座標算出部１９０は、画像処理部１８０で得られた撮影画像上の空間コードの境界座標と投影パターン上の境界座標の対応のそれぞれについて三次元座標を算出する。

次に、三次元計測を行う前に実施する校正パラメータのキャリブレーション及び温度と校正パラメータの関係のキャリブレーションについて説明する。図２は、本実施形態におけるキャリブレーションの処理手順を示すフローチャートである。

（ステップＳ１０１０）
ステップＳ１０１０では校正パラメータのキャリブレーションを行う。校正パラメータのキャリブレーションは、三次元計測装置を内部十分に暖機運転した状態で行う。また、校正パラメータのキャリブレーション用の画像の撮影と同時に、カメラのレンズの温度も計測しておく。計測された温度は、補正対象校正パラメータの補正における基準温度とする。校正パラメータのキャリブレーション方法については後述する。

（ステップＳ１０２０）
ステップＳ１０２０では、カメラのレンズの温度と補正対象校正パラメータとの関係のキャリブレーションを行う。カメラのレンズの温度と補正対象校正パラメータの関係のキャリブレーションは、物理的に同じ位置にある点の画像座標の温度変化をもとに行う。カメラのレンズの温度と補正対象校正パラメータの関係のキャリブレーション方法については後述する。

ステップＳ１０１０における校正パラメータのキャリブレーションについて説明する。図３は校正パラメータのキャリブレーションに利用する校正用物体を示す図である。図３に示すように、校正用物体を構成する平面上には円形の指標（以下、円マーカと呼ぶ）を等間隔に配置する。また、校正用物体上の座標系を定義するために、円マーカの一部を同心円にする（以下、同心円の円マーカを同心円マーカと呼ぶ）。同心円マーカをＬ字状に配置し、Ｌ字の角の部分にあたる同心円マーカの中心位置を校正用物体の原点とする。また、平面の法線方向を校正用物体のＺ軸とし、Ｌ字の長手方向をＸ軸、短手方向をＹ軸とする。この校正用物体は温度と校正パラメータの関係のキャリブレーションでも利用する。図４は、校正パラメータのキャリブレーションの処理手順を示すフローチャートである。

（ステップＳ１１１０）
ステップＳ１１１０では、カメラやプロジェクタの電源をオンにして三次元計測装置を起動する。電源をオンにした後は、空間コード化パターンの投影・撮像を一定間隔で行い、装置を暖機運転する。

（ステップＳ１１２０）
ステップＳ１１２０では、装置が十分に暖機運転されたかどうかの判定を行う。判定は、例えば一定時間間隔におけるカメラのレンズの温度の変動がある閾値を下回るかに基づいて行う。装置が十分に暖機運転されている場合にはステップＳ１１３０に進む。

（ステップＳ１１３０）
ステップＳ１１３０では、キャリブレーション用の画像の撮影及びカメラのレンズの温度の計測を行う。キャリブレーション用の画像の撮影は撮像部１１０により行う。カメラのレンズの温度の計測は温度計測部１３０により行う。キャリブレーション用の画像の撮影を行う際には、三次元計測装置に対する校正用物体の位置・姿勢を変えて、空間コード化パターンを投影した画像及び均一なパターンを投影した均一照明画像を撮影することを繰り返す。パターンの投影はパターン投影部１２０により行う。また、空間コード化パターンとしてはグレイコードパターンを投影し、水平・垂直方向の両方のパターンを投影する。

図５は、グレイコードパターンの例を示した図である。図に示すように、グレイコードパターンは、縞状の縞状パターンとなる。

さらに三次元計測装置に対する所定の位置に校正用物体を配置し、均一なパターンを投影して校正用物体を撮影する。撮影により得られた画像はステップＳ１０２０におけるカメラのレンズの温度と補正対象校正パラメータとの関係のキャリブレーションに用いられる。校正用物体を撮影した時のカメラレンズの温度は、補正基準温度Ｔｒｅｆｃとして温度補正パラメータ保存部１５０に保存しておく。

（ステップＳ１１４０）
ステップＳ１１４０では、ステップＳ１１３０の撮影で得られた画像をもとに校正パラメータを算出する。

まず、均一なパターンが投影された校正用物体の各画像について、校正用物体上の円マーカの検出及び対応付けを行う。ここで対応付けとは、画像上で検出された円マーカが校正用物体上のどの円マーカに対応しているかを決定することを指す。図３に示すように校正用物体は白色であり、円マーカは黒色である。よって、画像の二値化及び黒色の領域のラベリング処理を行って円領域の候補を抽出し、各円領域の候補の面積を閾値処理することで円マーカに相当する領域を検出する。また、座標系を規定する同心円マーカについては、同様に二値化及びラベリング処理の結果をもとに、黒色の領域の中に白色の領域がありかつ既定の面積以上の領域として検出を行う。円マーカの検出が終了したら、検出された円マーカと校正用物体上の円マーカとの対応付けを行う。まず、画像上で同心円マーカがのる２本の直線を推定し、２本の直線の交点付近にある同心円マーカを原点の同心円マーカと対応付ける。原点に対応付けられた同心円マーカ及び前述の２本の直線の方向をもとに他の円マーカの対応付けを行う。

次に、空間コード化パターンが投影された校正用物体の画像群から水平・垂直方向の空間コードの境界の交点を算出し、投影パターン上の交点との対応付けを繰り返す。まず、グレイコードパターンを構成する各パターンを照射して撮影した画像を二値化し、画素毎に二値化結果（０または１）を並べることにより符号（空間コード）を算出する。空間コードは、該当する画素に投影されたパターン上でのラインのＩＤを表すものであり、水平方向と垂直方向のそれぞれについて算出する。この結果をもとに、水平方向と垂直方向のそれぞれについて、撮像画像上における空間コードの境界を算出する。次に、水平方向と垂直方向の空間コードの境界を用いて、垂直・水平方向のパターンの交点の座標を算出する。空間コードにより各交点のカメラ画像上での座標と投影パターン上での座標を対応付けることができる。

円マーカの対応付け及び空間コードの境界の交点の対応付けが終わったら、対応付け結果をもとに校正パラメータを算出する。校正パラメータの算出は、例えば、Ｍｏｒｅｎｏらの方法（Ｄ．Ｍｏｒｅｎｏ ａｎｄ Ｇ．Ｔａｕｂｉｎ，“Ｓｉｍｐｌｅ，Ａｃｃｕｒａｔｅ，ａｎｄ Ｒｏｂｕｓｔ Ｐｒｏｊｅｃｔｏｒ−Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ”，Ｐｒｏｃ．２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｉｍａｇｉｎｇ，Ｍｏｄｅｌｉｎｇ，Ｐｒｏｃｅｓｓｉｎｇ，Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ（３ＤＩＭＰＶＴ ２０１２），ｐｐ．４６４−ｐｐ．４７１，２０１２）により行う。校正パラメータは校正パラメータ保存部１６０に保存しておく。

次にステップＳ１０２０における補正対象校正パラメータとカメラのレンズの温度の関係のキャリブレーションについて説明する。図６は、補正対象校正パラメータとカメラのレンズの温度の関係のキャリブレーションの処理手順を説明するフローチャートである。

（ステップＳ１２１０）
ステップＳ１２１０では、カメラやプロジェクタの電源をオンにして三次元計測装置を起動する。

（ステップＳ１２２０）
ステップＳ１２２０では、キャリブレーション用の画像の撮影及びカメラのレンズの温度の計測を行う。ここでは、ステップＳ１１３０で配置した位置のうちいずれかの位置を所定の位置として、所定位置に校正用物体を配置し、均一なパターンを投影して画像の撮影及び温度の計測を行う。なお、校正用物体の配置された所定の位置は画像撮影の間は変えないものとする。画像の撮影が終了したら一定時間（例えば５分）待ってから再度撮影を行う。待ち時間の間も空間コード化パターンの投影・撮像を一定の時間間隔で行うことで、三次元計測装置の内部の温度を上昇させる。

（ステップＳ１２３０）
ステップＳ１２３０では、カメラのレンズの温度が補正基準温度Ｔｒｅｆｃに達したかどうかを判定し、達していればステップＳ１２４０に進む。

（ステップＳ１２４０）
ステップＳ１２４０では、補正対象校正パラメータとカメラのレンズの温度の変化の対応関係を算出する。図７は、補正対象校正パラメータとカメラのレンズの温度の関係の算出手順を示すフローチャートである。

（ステップＳ１３１０）
ステップＳ１３１０では、ステップＳ１２２０で得られた撮影画像ごとに、校正用物体上の円マーカの画像座標の変動パラメータを推定する。ここで、変動パラメータとは、カメラのレンズの温度変化によって起こる円マーカの画像座標の変動を表現するパラメータである。本実施形態では、温度変化によって各円マーカの画像座標（ｕｉ（Ｔ），ｖｉ（Ｔ））は補正基準温度Ｔｒｅｆｃにおける円マーカの画像座標（ｕｉ（Ｔｒｅｆｃ），ｖｉ（Ｔｒｅｆｃ））と画像中心（ｃｘ，ｃｙ）を結ぶ方向に伸縮するとする。よって、伸縮率を変動パラメータであるとする。伸縮率は各マーカに共通であるとしてｋ（Ｔ）と表す。温度Ｔにおける画像座標（ｕｉ（Ｔ），ｖｉ（Ｔ））を（数１）のように表す。

まず、予め円マーカの検出・対応付けをステップＳ１１４０と同じ方法で各画像について行う。ある温度Ｔの撮影で得られた画像上で検出された円マーカ全てについての（数１）を連立方程式として解くことで共通パラメータのｋ（Ｔ）を算出することができる。この場合、未知数の数より方程式の数の方が多いため、最小二乗法によりｋ（Ｔ）を算出する。この処理を、ステップＳ１２２０で撮影された画像ごとに行い、複数の温度Ｔごとに伸縮率ｋ（Ｔ）を求める。

（ステップＳ１３２０）
ステップＳ１３２０では、温度Ｔと補正対象校正パラメータとの関係を求めるために、まずステップＳ１３１０で求めた伸縮率ｋ（Ｔ）と温度Ｔに回帰直線の推定を行う。推定された回帰直線をｋ（Ｔ）＝ａＴ＋ｂと表す。回帰直線の推定を行う際には、温度がＴｒｅｆｃの場合にｋ（Ｔ）が０になるようにする。次に補正対象校正パラメータと温度Ｔの関係を求める。本実施形態では、補正対象校正パラメータを水平方向の焦点距離ｆｘ、垂直方向の焦点距離ｆｙであるとする。ここで、焦点距離を１、画像平面と光軸との交点を原点とした場合の画像座標（以下、正規化画像座標と呼ぶ）を（ｘｉ，ｙｉ）と表すとする。よって、正規化画像座標（ｘｉ，ｙｉ）と画像座標（ｕｉ，ｖｉ）の関係は、画像中心位置を（ｃｘ，ｃｙ）とすると（数２）のように表される。

補正基準温度Ｔｒｅｆｃにおける円マーカの画像座標（ｕｉ（Ｔｒｅｆｃ），ｖｉ（Ｔｒｅｆｃ））が（数２）を満たすとすると、（数１）は（数３）のように書ける。

なお、補正基準温度Ｔｒｅｆｃのときのカメラの焦点距離をｆｘｒｅｆ（水平方向）、ｆｙｒｅｆ（垂直方向）とする。伸縮率ｋ（Ｔ）と温度Ｔの関係がｋ（Ｔ）＝ａＴ＋ｂであることから、温度Ｔの場合の焦点距離ｆｘ（Ｔ）（水平方向）、ｆｙ（Ｔ）（垂直方向）は（数４）のように表される。

よって、回帰直線を表すパラメータａ、ｂ及び補正基準温度Ｔｒｅｆｃにおける焦点距離ｆｘｒｅｆ、ｆｙｒｅｆから、温度Ｔの場合の焦点距離ｆｘ（Ｔ）、ｆｙ（Ｔ）を算出することができる。回帰直線を表すパラメータａ、ｂは温度補正パラメータ保存部１５０に保存しておく。

次に、温度に応じて校正パラメータを補正（決定）しながら三次元計測を行う方法について説明する。図８は、本実施形態における三次元計測の処理手順を示すフローチャートである。

（ステップＳ１４１０）
ステップＳ１４１０では、パターン投影部１２０によって空間コード化パターン（グレイコードパターン）が投影された計測対象物の画像を撮像部１１０により撮影する。パターン投影部１２０はグレイコードパターンを構成する複数のパターンを切り替えて表示する。制御部１４０はパターン投影部１２０に投影するパターンを示す指示信号を送る。計測対象物にパターンが投影されたら制御部１４０は撮像部１１０に指示して計測対象物の画像を撮影する。本実施形態では、三次元計測を行う際にはパターン投影部１２０は垂直方向のグレイコードパターンのみを投影する。また、画像の撮影と同時に温度計測部１３０によりカメラのレンズの温度の計測も行う。画像入力部１１５は、撮像部１１０によって撮影により得られた画像群を入力する。温度入力部１３５は、温度計測部１３０によって計測されたカメラのレンズの温度を入力する。

（ステップＳ１４２０）
ステップＳ１４２０では、ステップＳ１４１０において撮影により得られた画像をもとに、撮像画像上の画像座標と投影パターン上の水平座標との対応の集合を求める。具体的な方法は前述したステップＳ１１４０における空間コードの境界の算出方法と同じであるので説明を省略する。

（ステップＳ１４３０）
ステップＳ１４３０では、ステップＳ１４１０で計測されたカメラのレンズの温度をもとに補正対象校正パラメータを補正する。本実施形態における補正対象校正パラメータはカメラの焦点距離である。カメラの焦点距離の補正は、温度補正パラメータ保存部１５０に保存されている回帰直線のパラメータａ、ｂ及びステップＳ１４１０で計測されたカメラのレンズの温度Ｔｏｂｓを（数４）に代入することで行う。

（ステップＳ１４４０）
ステップＳ１４４０では、ステップＳ１４２０で得られた対応の夫々について計測対象物体の表面の三次元座標を算出する。三次元座標の算出は、ステップＳ１４３０で補正されたカメラの焦点距離及びカメラの焦点距離以外の校正パラメータ保存部に保存された校正パラメータを用いて行われる。三次元座標の算出方法としては、撮影画像上の点とカメラのレンズ中心を通る直線（以下、視線ベクトル）とプロジェクタのレンズ中心と投影パターン上の垂直ラインを通る平面との交点として求める方法がある。但し、三次元座標の算出方法はこれに限るものではなく、注目点の撮影画像座標及び投影パターン上の座標が得られる場合には連立方程式をもとに三次元座標を最小二乗法によって求めてもよい。

以上述べたように、本実施形態では、予めカメラのレンズの温度と補正対象校正パラメータとの関係を求めておき、三次元計測を行う際に温度センサによって計測されるカメラのレンズの温度をもとに補正対象校正パラメータの補正を行う方法について説明した。これにより、外気温や機器の内部の温度変化によって撮影される点の撮影画像上の位置にずれが生じても、高精度に三次元計測を行うことができる。

本実施形態では、プロジェクタから投影するパターンとして空間コード化パターンを用いた。しかしながら、プロジェクタが投影するパターンはこれに限るものではなく、三次元計測を行うための他のパターンであってもよい。例えば、複数のパターンを投影・撮影するものとしては、位相シフト法のためのパターンを投影してもよい。また、大田らの三次元計測手法（大田ら、Ｂｅｌｉｅｆ−Ｐｒｏｐａｇａｔｉｏｎによる高密度なグリッドパターン検出及びデブルーイン系列を用いた高速動物体のロバストな三次元計測手法、信学論Ｄ，ｖｏｌ．Ｊ９３−Ｄ，ｎｏ．８，ｐｐ．１５４４−１５５４，２０１０．）で用いられているような単一のパターンであってもよい。

本実施形態では、温度と補正対象校正パラメータの関係を求める際に平面状の校正用物体を用いた。しかしながら、校正用物体はこれに限るものではなく、校正用物体上に指標が配置されており、温度を変えて撮影した画像間で物理的に同じ指標の対応がわかるものであればいかなる形状であってもよい。例えば、立方体や直方体上に指標を配置した立体状の校正用物体であってもよい。

本実施形態では、温度と補正対象校正パラメータの関係を回帰直線として求めた。しかしながら、温度と補正対象校正パラメータの関係の表現方法はこれに限るものではなく、両者の関係を適切に表現しており、温度をもとに補正対象校正パラメータを一意に決定できる表現方法であればいかなる方法であってもよい。例えば、２次関数によって表現してもよい。

本実施形態では、温度センサ（サーミスタ）をレンズのフォーカスリング上に配置していた。しかしながら、温度センサを配置する位置はこれに限るものではなく、配置場所の温度変化によって補正対象校正パラメータが変化するのであれば、いかなる場所に配置してもよい。例えば、レンズのマウント部分に温度センサを配置してもよいし、基板の上に配置してもよい。

本実施形態では、温度と補正対象校正パラメータの関係を求めるための画像の撮影を、装置の電源を投入してから補正基準温度に達する間に行った。しかしながら、画像の撮影方法はこれに限るものではない。例えば、装置の電源を投入して十分に暖機を行ってから撮影を開始し、撮影以外の時間はパターンの投影や撮影を行わず、温度を低下させながら撮影を行ってもよい。このような撮影を行うことで、装置が比較的安定している状態での温度変化の影響を考慮した補正対象校正パラメータの補正ができる。他にも、装置のキャリブレーションを行う室内の温度を変化させて撮影を行ってもよい。このような撮影を行うことで、三次元計測装置が利用される環境の温度に変化があっても高精度に計測を行うことができる。

（第二の実施形態）
（プロジェクタのパラメータ補正）
第一の実施形態では、三次元計測装置のカメラのレンズの温度を計測してカメラの補正対象校正パラメータの補正を行った。本実施形態では、さらにプロジェクタのレンズの温度を計測してプロジェクタの補正対象校正パラメータの補正を行う。

なお、本実施形態における三次元計測装置の構成は、第一の実施形態の三次元計測装置１の構成と同じである。実施形態２では、温度計測部１３０は、カメラのレンズの温度に加えてプロジェクタのレンズの温度も計測する。本実施形態では、温度センサはプロジェクタレンズのフォーカスリング上に配置する。

また、温度補正パラメータ保存部１５０は、カメラのレンズの温度と補正対象校正パラメータの関係に加えて、プロジェクタのレンズの温度と補正対象校正パラメータの関係も保存する。さらに温度依存パラメータ決定部１７０は、カメラの補正対象校正パラメータに加えて、プロジェクタの補正対象校正パラメータも補正する。

次に、本実施形態における校正パラメータのキャリブレーション及び温度と補正対象校正パラメータの関係のキャリブレーションについて説明する。本実施形態におけるキャリブレーションの大まかな処理手順は第一の実施形態とほぼ同一である。ここでは、図２のステップＳ１０１０をステップＳ２０１０、ステップＳ１０２０をステップＳ２０２０として説明する。

ステップＳ２０１０における校正パラメータのキャリブレーションは基本的に第一の実施形態のステップＳ１０１０と同一である。ただし、ステップＳ１１３０において、三次元計測装置に対する所定の位置に校正用物体を配置したときに、水平・垂直方向の空間コード化パターンが投影された校正用物体の画像も撮影しておく。またそのときのプロジェクタのレンズの温度を補正基準温度Ｔｒｅｆｐとして温度補正パラメータ保存部１５０に保存しておく。

次に、Ｓ２０２０における補正対象校正パラメータと温度の関係のキャリブレーションについて説明する。本実施形態における補正対象校正パラメータと温度の関係のキャリブレーションの大まかな処理手順は第一の実施形態とほぼ同一である。ここでは、図２のステップＳ１２１０、Ｓ１２２０、Ｓ１２３０、Ｓ１２４０をそれぞれステップＳ２２１０、Ｓ２２２０、Ｓ２２３０、Ｓ２２４０と呼ぶ。

（ステップＳ２２１０）
ステップＳ２２１０では、カメラやプロジェクタの電源をオンにして三次元計測装置を起動する。

（ステップＳ２２２０）
ステップＳ２２２０では、キャリブレーション用の画像の撮影及びカメラとプロジェクタのレンズの温度の計測を行う。ここでは、ステップＳ１１３０で配置した位置と同じ位置に校正用物体を配置し、均一なパターン及び空間コード化パターンを投影して画像の撮影及び温度の計測を行う。画像の撮影が終了したら一定時間（例えば５分）待ってから再度撮影を行う。待ち時間の間も空間コード化パターンの投影・撮像を一定間隔で行うことで、三次元計測装置の内部の温度を上昇させる。

（ステップＳ２２３０）
ステップＳ２２３０では、カメラのレンズの温度及びプロジェクタのレンズの温度の双方が補正基準温度Ｔｒｅｆｃ、Ｔｒｅｆｐに達したかどうかを判定し、達していればステップＳ２２４０に進む。

（ステップＳ２２４０）
ステップＳ２２４０では、補正対象校正パラメータと温度の関係を算出する。まずカメラの補正対象校正パラメータと温度の関係を算出する。カメラの補正対象校正パラメータと温度の関係の算出方法は第一の実施形態と同じであるため説明を省略する。次に、プロジェクタの補正対象校正パラメータと温度の関係を算出する方法について説明する。図９は、プロジェクタの補正対象校正パラメータと温度の関係の算出手順を説明するフローチャートである。

（ステップＳ２３１０）
まずステップＳ２３１０において、第一の実施形態のステップＳ１１４０で述べた処理により垂直・水平方向のパターンの交点の座標を算出し投影パターン上での座標と対応付ける。交点の座標の算出には、ステップＳ２０１０において撮影された空間コード化パターンが投影された校正用物体の画像が用いられる。

得られた交点の座標の対応から、撮影画像上の座標を投影パターン上の座標に変換するホモグラフィー変換Ｈを算出する。ホモグラフィー変換の算出は、例えばＤＬＴ法（Ｒ．Ｈａｒｔｌｅｙ，Ａ．Ｚｉｓｓｅｒｍａｎ，“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ）により行う。このホモグラフィー変換は、カメラやプロジェクタのレンズの温度が補正基準温度の場合に正しく撮影画像上の座標を投影パターン上の座標に変換する。

ステップＳ２３２０からステップＳ２３４０では、ステップＳ２２２０において異なる温度の撮影で得られた画像群について温度毎の処理を行う。まずステップＳ２３２０では、ある温度において空間コード化パターンが投影された校正用物体の画像から、ステップＳ２３１０と同じ方法により垂直・水平方向のパターンの交点の座標を算出し投影パターン上での座標と対応付ける。そして、交点の撮影画像上での座標を補正基準温度のときの座標に補正する。（数１）より、

と表せるため、既に算出済みのカメラの伸縮率ｋ（Ｔ）を用いて補正を行う。座標の補正は、対応付けられたすべての交点について行う。

次にステップＳ２３３０において、（数５）により補正された撮影画像上の座標をホモグラフィー変換Ｈにより投影パターンの座標に変換する。変換された座標は、温度Ｔにおける投影パターンの座標であり、プロジェクタのレンズの温度変化により、元々の投影パターン上の座標に対してずれがある。座標の変換は、対応付けられたすべての交点について行う。

続いてステップＳ２３４０において、プロジェクタ側の伸縮率ｋｐ（Ｔ）を求める。ｋｐ（Ｔ）の算出方法はステップＳ１３１０におけるカメラ側の変動パラメータの算出方法と同じであるため説明を省略する。

ステップＳ２３５０では、全ての温度の画像群について処理を行ったか判定を行い、終了している場合にはステップＳ２３６０に進む。終了していない場合にはステップＳ２３２０に戻る。

ステップＳ２３６０では、ステップＳ１３２０と同様に、ステップＳ２３４０で得られた変動パラメータｋｐ（Ｔ）とＴのデータに対して回帰直線の推定を行う。推定された回帰直線をｋｐ（Ｔ）＝ａｐＴ＋ｂｐと表す。補正基準温度Ｔｒｅｆｐのときのカメラの焦点距離をｆｐｘｒｅｆ（水平方向）、ｆｐｙｒｅｆ（垂直方向）とする。ｋｐ（Ｔ）と温度Ｔの関係がｋｐ（Ｔ）＝ａｐＴ＋ｂｐであることから、温度Ｔの場合の焦点距離ｆｐｘ（Ｔ）（水平方向）、ｆｐｙ（Ｔ）（垂直方向）は（数６）のように表される。

よって、回帰直線を表すパラメータａｐ、ｂｐ及び補正基準温度Ｔｒｅｆｐにおける焦点距離ｆｐｘｒｅｆ、ｆｐｙｒｅｆから、温度Ｔの場合の焦点距離ｆｐｘ（Ｔ）、ｆｐｙ（Ｔ）を算出することができる。回帰直線を表すパラメータａｐ、ｂｐは温度補正パラメータ保存部１５０に保存しておく。

次に、本実施形態における三次元計測について説明する。本実施形態における三次元計測の大まかな処理手順は第一の実施形態とほぼ同一である。ここでは、図８のステップＳ１４１０、Ｓ１４２０、Ｓ１４３０、Ｓ１４４０をステップＳ２４１０、Ｓ２４２０、Ｓ２４３０、Ｓ２４４０と呼ぶ。ステップＳ２４２０、Ｓ２４４０の処理はステップＳ１４２０、Ｓ１４４０と同一であるので説明を省略する。ステップＳ２４１０では、カメラのレンズの温度に加えてプロジェクタのレンズの温度を計測する。ステップＳ２４３０では、ステップＳ２４１０で計測されたカメラ及びプロジェクタのレンズの温度をもとにカメラ及びプロジェクタの焦点距離を補正する。

以上述べたように、本実施形態では、予めプロジェクタのレンズの温度と補正対象校正パラメータとの関係を求めておき、三次元計測を行う際のプロジェクタのレンズの温度をもとに補正対象校正パラメータの補正を行う方法について説明した。これにより、外気温や機器の内部の温度変化によってプロジェクタが投影する点の位置にずれが生じても、高精度に三次元計測を行うことができる。

尚、上記実施形態において説明した情報処理装置は、一般的なパーソナルコンピュータと同様の構成を有する情報処理装置で実現することも可能である。この場合、各工程の処理を行う機能を実行するようにプログラムされたコンピュータプログラムを実行することによって上記処理が実現される。

（変形例）
（補正方向をパターンに垂直な方向もしくは水平な方向だけにする。）
以上述べた実施形態では、レンズの温度に応じて画像の水平方向の焦点距離ｆｘ（ｆｐｘ）、垂直方向の焦点距離ｆｙ（ｆｐｙ）の双方を補正していた。しかしながら、補正する対象はどちらか一方の焦点距離であってもよい。一般的に、カメラとプロジェクタが水平方向に配置されておりかつ一方向の空間コードパターンのみ投影する場合には、高精度に三次元計測を行うためにプロジェクタは垂直方向の空間コードパターンを投影する。このような場合、撮影画像やプロジェクタが投影する縞状のパターンにおけるパターンの垂直方向（直交方向）のずれは、水平方向のずれに比べて、三次元計測の精度に対する影響が軽微である。そのため、レンズの温度に応じて補正するのは画像の水平方向の焦点距離ｆｘ（ｆｐｘ）だけでよい。同じ理由から、カメラとプロジェクタが垂直方向に配置されている場合には、画像の垂直方向の焦点距離ｆｙ（ｆｐｙ）だけを補正すればよい。また、補正のための温度と補正対象校正パラメータの関係を求める際にも、水平または垂直方向のずれのみを用いて補正すればよい。このようにすることで、精度に影響のない方向のずれにヒステリシスがある場合でも、温度と補正対象校正パラメータとの関係のキャリブレーション精度が低下してしまう問題を回避することができる。

（画像中心の位置を補正対象校正パラメータに含める。平行移動もモデルに含める）
以上述べた実施形態では、レンズの温度に応じて補正対象校正パラメータとして焦点距離を補正していた。しかしながら、補正対象校正パラメータは焦点距離以外のパラメータであってもよい。例えば、レンズの温度変化により伸縮だけでなく平行移動も起こる場合には、画像中心の位置も補正してもよい。温度Ｔにおける基準位置からの平行移動を（Δｕ（Ｔ）、Δｖ（Ｔ））であるとすると、（数１）は（数７）のようになる。

第一の実施形態のステップＳ１３１０と同様にして、最小二乗法によりｋ（Ｔ）、Δｕ（Ｔ）、Δｖ（Ｔ）を算出する。さらに各温度で計算されたｋ（Ｔ）、Δｕ（Ｔ）、Δｖ（Ｔ）についてそれぞれ回帰直線を求めることで、温度とｋ（Ｔ）、Δｕ（Ｔ）、Δｖ（Ｔ）の関係を求める。（数１）と（数２）から（数３）を導いたのと同様にして（数８）が導かれる。

補正基準温度Ｔｒｅｆｃのときのカメラの画像中心をｃｘｒｅｆ（水平方向）、ｃｙｒｅｆ（垂直方向）とする。Δｕ（Ｔ）、Δｖ（Ｔ）の回帰直線をΔｕ（Ｔ）＝ａｕＴ＋ｂｕ、Δｖ（Ｔ）＝ａｖＴ＋ｂｖとすると、温度Ｔの場合の画像中心ｃｘ（Ｔ）（水平方向）、ｃｙ（Ｔ）（垂直方向）は（数９）のように表される。

三次元計測を行う際には、（数４）、（数９）を用いて補正対象校正パラメータとして焦点距離と画像中心を温度に応じて補正する。なお、本例では補正対象校正パラメータとして焦点距離と画像中心を補正したが、これに限るものではない。例えば、レンズの温度変化によって生じる変動の主たる要因が平行移動である場合には、画像中心位置のみを補正してもよい。

また、焦点距離や画像中心位置以外の校正パラメータであっても、（数４）や（数９）のように温度の関数として表現することができれば、温度に応じた補正を行ってもよい。例えば、伸縮率ｋ（Ｔ）をもとにレンズ歪みのパラメータを温度の関数として求めて三次元計測を行う際に補正してもよい。

（光軸周りの回転パラメータを補正対象校正パラメータに含める。回転移動もモデルに含める。）
以上の実施形態では、焦点距離や画像中心位置、レンズ歪みパラメータといったカメラまたはプロジェクタの内部パラメータを補正対象校正パラメータとして温度に応じて補正すると述べた。しかしながら、補正対象校正パラメータは内部パラメータ以外のパラメータであってもよい。例えば、レンズの温度変化により画像面内での回転が起こる場合には、カメラ−プロジェクタ間の外部パラメータのうち、光軸周りの回転成分を補正してもよい。画像中心位置を回転中心とした場合、温度Ｔにおいて画像上における基準位置からの回転量をφ（Ｔ）であるとすると、温度Ｔにおける画像座標（ｕｉ（Ｔ），ｖｉ（Ｔ））は数１０のように表すことができる。ここではレンズの温度変化による伸縮と平行移動はないものとし、さらに回転量φ（Ｔ）は微小であるとしてｃｏｓφ≒１、ｓｉｎφ≒φと近似する。

第一の実施形態のステップＳ１３１０と同様にして、最小二乗法により温度毎にφ（Ｔ）を算出する。さらに各温度で計算されたφ（Ｔ）について回帰直線を求めることで、温度とφ（Ｔ）の関係を求める。画像中心位置を回転中心とした場合、カメラまたはプロジェクタの画像面上でφだけ回転することは、カメラまたはプロジェクタが光軸周りにφだけ回転することに相当する。そのため、画像面上での回転量φがわかるとカメラ−プロジェクタ間の外部パラメータを補正することができる。三次元計測を行う際には、補正された外部パラメータを用いて三次元座標の算出を行う。カメラ−プロジェクタ間の外部パラメータの回転行列Ｒ及び並進ベクトルｔは数１１のように補正される。

なおφ_Ｃ（Ｔ）、φ_Ｐ（Ｔ）は回帰直線から求められた温度Ｔにおけるカメラとプロジェクタの回転量である。また、Ｒ（φ_Ｃ（Ｔ））、Ｒ（φ_Ｐ（Ｔ））は光軸周りにφ_Ｃ（Ｔ）またはφ_Ｐ（Ｔ）だけ回転する場合の回転行列を表す。さらに、Ｒ（Ｔｒｅｆｃ）、ｔ（Ｔｒｅｆｃ）は、あらかじめ補正基準温度でキャリブレーションされたカメラ−プロジェクタ間の外部パラメータの回転行列Ｒ及び並進ベクトルｔである。補正された外部パラメータを用いて三次元座標の算出を行う場合、三次元座標の基準となる座標系が変わるため、座標変換によって補正前の座標系を基準とした場合の三次元座標に変換することで、温度変化があっても統一された座標系における三次元座標を出力する。ここでは説明を簡略化するためにレンズの温度変化による伸縮と平行移動はないものとしたが、伸縮、平行移動が起こる場合には外部パラメータだけでなく焦点距離、画像中心の補正を行ってもよい。

（複数台のカメラおよびプロジェクタを用意して三次元計測装置を構成する。もしくは単体のカメラで三次元計測装置を構成する。）
以上述べた実施形態では、１台のカメラと１台のプロジェクタから構成される三次元計測装置を説明した。しかしながら、上記実施形態を適用する三次元計測装置はこの構成に限るものではない。例えば、三次元計測装置は複数台のカメラ（複数の個体）から構成されていてもよいし、複数台のカメラと１台のプロジェクタから構成されていてもよい。さらには、三次元計測装置ではなく、単体のカメラを用いた位置及び姿勢推定方法に対して本発明を適用してもよい。例えば、画像に対して３Ｄモデルをフィッティングすることで位置及び姿勢推定（Ｔ．Ｄｒｕｍｍｏｎｄ，Ｒ．Ｃｉｐｏｌｌａ，“Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ”，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．２４，ｎｏ．７，ｐｐ．９３２−９４６，２００２．）する際に、上記実施形態による補正対象校正パラメータの補正を行うことでより高精度に位置及び姿勢を推定することが可能になる。

また、上記実施形態を、複数のプロジェクタからなる投影装置に適用してもよい。この場合、投影装置にカメラを固定し、第二の実施形態で述べた方法によりプロジェクタの焦点距離の補正を行う。さらに補正された焦点距離を用いて各プロジェクタが投影する画像を変形することで、温度変化によってプロジェクタの投影位置に変動があったとしても、常に同一の画像を提示することができる。

（キャリブレーションを行う三次元計測装置と三次元計測を行う三次元計測装置とが異なる。）
以上述べた実施形態では、温度と補正対象校正パラメータの関係をキャリブレーションする三次元計測装置の個体と、実際に三次元計測を行う三次元計測装置の個体は同一であるとしていた。しかしながら、キャリブレーションに用いる三次元計測装置の個体は三次元計測を行う三次元計測装置の個体と必ずしも同一でなくてもよい。例えば、同一構成の三次元計測装置が複数存在する場合には、複数の個体から得られる温度と変動パラメータとの関係に対して回帰直線を求めてもよい。また、予め１つの個体もしくは複数の個体を用いて温度と補正対象校正パラメータの関係をキャリブレーションしておき、キャリブレーションに用いていない他の個体の補正対象校正パラメータの補正を行ってもよい。

（三次元計測を行う際には、キャリブレーションで使用した温度センサを用いずに温度を測定する。）
以上述べた実施形態では、温度と補正対象校正パラメータの関係をキャリブレーションするときに用いた温度センサを利用して三次元計測のときにも温度を計測していた。しかしながら、三次元計測を行う時の温度の計測方法はこれに限るものではない。例えば、キャリブレーション時に装置を起動した時刻（時点）からの経過時間と温度変化の関係を記録しておき、三次元計測を行う時には経過時間から温度を推定してもよい。このようにすることで、三次元計測装置に温度センサを配置する必要がなくなるため、三次元計測装置の製作コストや故障率を削減することができる。三次元計測を行う際に現れる温度領域が含まれれば、経過時間の基準とする時刻は任意に設定することができる。例えば、前述のように装置を起動した時刻であってもよいし、起動した時刻から所定時間経過した時刻であってもよいし、暖機が完了した時刻であってもよい。また、キャリブレーション時にはレンズのフォーカスリングとレンズの基板に温度センサを配置して両者の関係を記録しておき、三次元計測を行う時にはフォーカスリング側の温度センサを除去して基板側の温度センサからレンズの温度を推定してもよい。このようにすることで、キャリブレーション時の温度センサの配置の自由度を上げることができる。

（補正対象校正パラメータを位置姿勢計測の内部パラメータに用いる。）
以上述べた実施形態では、カメラとプロジェクタから構成される三次元計測装置について説明した。しかしながら、補正された校正パラメータは三次元計測以外の目的に利用してもよい。例えば、距離画像と濃淡画像に対して３Ｄモデルをフィッティングすることで位置及び姿勢を推定する方法（立野、小竹、内山、“ビンピッキングのための距離・濃淡画像を最ゆうに統合する高精度高安定なモデルフィッティング手法”、電子情報通信学会論文誌Ｄ、ｖｏｌ．Ｊ９４−Ｄ、ｎｏ．８、ｐｐ．１４１０−１４２２、２０１１．）において利用される内部パラメータとして用いてもよい。このようにすることで、三次元計測の結果である距離画像の精度だけでなく、位置姿勢算出手段が位置及び姿勢を算出する際の精度も向上させることができる。あるいは、距離画像もしくは濃淡画像のいずれか一方のみを用いて位置及び姿勢を推定する方法において、補正された校正パラメータを利用してもよい。

（定義）
上記実施形態における校正パラメータ保持手段は、三次元計測に必要なパラメータであるカメラ及びプロジェクタの内部パラメータ（焦点距離、画像中心、レンズ歪みパラメータ）及びカメラとプロジェクタの間の相対的な位置及び姿勢を保持する。また、カメラが複数存在する場合には、カメラ間の相対的な位置及び姿勢を保持してもよい。さらに、プロジェクタが複数存在する場合には、プロジェクタ間の相対的な位置及び姿勢を保持してもよい。

上記実施形態における温度補正パラメータ保持手段は、カメラまたはプロジェクタのレンズの温度と補正対象校正パラメータの関係を保持する。補正対象校正パラメータは、カメラまたはプロジェクタの焦点距離であっても、画像中心であっても、レンズ歪みパラメータであってもよい。また、レンズの温度と補正対象校正パラメータの関係は、一次関数として保持してもよいし、温度をもとに補正対象校正パラメータを決定することができれば任意の関数として保持してもよい。また、レンズは、一枚のレンズでもよいし、複数のレンズと外装部品を含んだものであってもよい。

上記実施形態におけるパターン投影手段は、三次元計測用の照明パターンを投影する。パターン投影手段は、空間コード化パターンや位相シフト法用のパターンのように複数の照明パターンを切り替えて投影してもよいし、単一の照明パターンを投影してもよい。

上記実施形態における温度計測手段は、該当部位の温度と補正対象パラメータに依存関係がある部位の温度を計測する。温度センサであり、例えばサーミスタによって実現される。温度センサを配置する場所は、レンズのフォーカスリングやマウントに配置する。三次元計測を行う際にはレンズの温度を直接計測してもよいし、キャリブレーションの際にレンズの基板などのレンズ以外の部分の温度とレンズの温度を計測しておき、三次元計測を行う際には基板の温度を計測しレンズの温度に換算してもよい。また、三次元計測を行う際に温度を計測せずに、起動時間と温度変化の関係から温度を推定してもよい。

上記実施形態における校正パラメータ補正手段によって補正される校正パラメータは、三次元座標の算出に利用するだけでなく、三次元座標と画像情報を併用する位置及び姿勢推定に利用してもよい。また、複数のプロジェクタから構成される投影装置における投影画像の調整に利用してもよい。

上記実施形態における温度補正パラメータ算出手段は、三次元計測装置に対して所定の位置に配置した校正用物体の異なる温度での画像をもとに補正パラメータの算出を行う。補正パラメータの算出は、キャリブレーション対象の個体のみを用いて行ってもよいし、複数の個体の情報を用いて行ってもよい。

上記実施形態において補正される校正パラメータは、カメラまたはプロジェクタの焦点距離であっても、画像中心であっても、レンズ歪みパラメータであってもよい。また、投影されるパターンの方向に応じて補正する校正パラメータを限定してもよい。本発明において、プロジェクタから投影するパターンは、空間コード化パターン、位相シフト法のためのパターンのように複数の照明パターンから構成されていてもよいし、単一の照明パターンであってもよい。

上記実施形態における三次元座標算出手段は、撮影画像上の点とカメラのレンズ中心を通る直線（以下、視線ベクトル）とプロジェクタのレンズ中心と投影パターン上の垂直ラインを通る平面との交点として求める。他にも、注目点の撮影画像上の座標、投影パターン上の座標をもとに三次元座標を最小二乗法によって求めてもよい。

（第三の実施形態）
第一の実施形態、および、第二の実施形態においては校正パラメータを温度に応じて決定する例について説明した。第三の実施形態では、温度に応じて変化するプロジェクタおよびカメラの画像座標自体を補正して決定する例について説明する。

図１０は、本実施形態における三次元計測装置と接続された情報処理装置２の構成を示す図である。情報処装置２は、画像入力部１１５、温度入力部１３５、温度補正パラメータ保存部１５０、校正パラメータ保存部１６０、画像座標決定部２７０、画像処理部１８０、三次元座標算出部１９０から構成されている。

また、情報処理装置２には、撮像部１１０、パターン投影部１２０、温度計測部１３０、制御部１４０が接続されている。

画像入力部１１５、温度入力部１３５、校正パラメータ保存部１６０、画像処理部１８０、三次元座標算出部１９０については、第一の実施形態において説明した内容と同一であるため、説明を割愛する。また、撮像部１１０、パターン投影部１２０、温度計測部１３０、制御部１４０についても、第一の実施形態において説明した内容と同一であるため、説明を割愛する。

温度補正パラメータ保存部１５０はカメラレンズの温度と、カメラ・プロジェクタそれぞれの画像座標の補正量の関係をパラメータ化したものを保存する。本実施形態においては画像座標の変化量を並進成分、倍率成分、回転成分の３つの成分に分解し、それぞれの成分ごとに温度補正パラメータを求める。この温度補正パラメータを算出する手順の詳細は後述する。

画像座標決定部２７０は、画像処理部１８０で算出された撮影画像中の空間コードの境界座標値であるカメラ画像座標値（ｕｃ，ｖｃ）と、空間コードの値であるプロジェクタ画像座標値（ｕｐ，ｖｐ）を補正する。水平方向と垂直方向の空間コード化パターンを投影することでプロジェクタ画像座標値として（ｕｐ，ｕｐ）の両方を得ることができる。あるいは、水平方向または垂直方向のいずれか一方の空間コード化パターンのみの投影であっても、エピポーラ幾何を利用することで、もう一方の画像座標値を得ることができる。補正は、温度計測部１３０によって計測された撮像時におけるカメラのレンズの温度と、温度補正パラメータ保存部１５０が保持する温度補正パラメータに基づき実施される。詳細は後述する。

次に、三次元計測を行う前に実施する温度変化に伴う画像座標の変化量を温度補正パラメータ化する手順について述べる。温度補正パラメータを求める前に、図４に示した手順で校正パラメータのキャリブレーションが終了しているものとする。温度補正パラメータを求めるためには、温度を変化させながら図３の校正用物体の画像撮影をする必要がある。例えば第一の実施形態で用いた図６のＳ１２２０〜Ｓ１２３０と同様の方法で画像撮影を行うことができる。

温度変化に伴う画像座標の変化量をもとに補正量をパラメータ化する際、並進成分、倍率成分、回転成分の３つの成分に分解してパラメータ化する。図１１を用いて模式的に説明する。図１１（ａ）は基準温度と、ある特定の温度の間の画像座標値の変化量を場所ごとにベクトルで表現したものである。図１１（ａ）〜（ｅ）において共通することだが、ベクトルの長さが画像座標の変化量を、ベクトルの方向が画像座標の変化方向を表わしている。図の見やすさを重視し、実際の画像座標上での変化量よりも長く図示している。

図１１（ｂ）は図１１（ａ）から並進成分を抽出した図である。並進成分はｘ方向並進成分と、ｙ方向並進成分の２つの成分から構成される。並進成分は、校正パラメータである画像中心における変化量を求めることで抽出される。

図１１（ｃ）は図１１（ａ）で示した画像座標値の変化量から図１１（ｂ）で示した並進成分の移動量を減算したものである。

図１１（ｄ）は、図１１（ｃ）から倍率成分を抽出した図である。倍率成分は画像中心からの距離に比例して変化量が大きくなるようにパラメータ化する。また、変化方向は放射方向となるようにする。放射方向とは、画像中心と各画像座標とを結ぶベクトルと平行な方向である。

図１１（ｅ）は、図１１（ｃ）から回転成分を抽出した図である。回転成分は画像中心からの距離に比例して変化量が大きくなるようにパラメータ化する。倍率成分とは違い、変化方向は接線方向である。接線方向とは、画像中心と各画像座標とを結ぶベクトルと垂直な方向である。

図１２に温度補正パラメータを算出する手順をフローチャートにしたものを示す。図６のＳ１２２０における画像群の取得回数はＮ回であるとする。

（ステップＳ３０１０）
ステップＳ３０１０では、補正基準温度Ｔｒｅｆｃにおける撮影画像をもとに、校正用物体の平面マーカーのカメラ画像座標値を算出する。さらに空間コード化パターンが投影された画像群をもとに平面マーカーのプロジェクタ画像座標値を算出する。この補正基準温度Ｔｒｅｆｃにおける画像座標値を（ｕｉ（Ｔｒｅｆｃ），ｖｉ（Ｔｒｅｆｃ））とする。

（ステップＳ３０２０）
ステップＳ３０２０では、カウント数ｊを１に設定する。

（ステップＳ３０３０）
ステップＳ３０３０では、温度Ｔｊにおける撮影画像群をもとに、校正用物体の平面マーカーのカメラ画像座標値とプロジェクタ画像座標値を算出する。温度Ｔｊにおける画像座標値を（ｕｉ（Ｔｊ），ｖｉ（Ｔｊ））とする。

（ステップＳ３０４０）
ステップＳ３０４０では、基準温度Ｔｒｅｆｃにおける校正用物体の平面マーカーの画像座標値（ｕｉ（Ｔｒｅｆｃ），ｖｉ（Ｔｒｅｆｃ））と温度Ｔｊにおける校正用物体の平面マーカーの画像座標値（ｕｉ（Ｔｊ），ｖｉ（Ｔｊ））の差を算出する。差は同一世界座標に位置する平面マーカー画像座標値の差を以下の（数１２）で算出する。

この差の値は基準温度Ｔｒｅｆｃと温度Ｔｊとの間の画像座標値の変化量である。図１１（ａ）で示した変化量に相当する。

（ステップＳ３０５０）
ステップＳ３０５０では、温度Ｔｊにおけるマーカー画像座標の変化量の並進成分を算出する。前述したように画像座標の並進成分の変化量は画像中心（ｃｘ，ｃｙ）における変化量（Δｕｃｘｃｙ（Ｔｊ）、Δｖｃｘｃｙ（Ｔｊ））に相当する。画像中心位置と同じ位置にマーカーが存在しない場合には、周囲のマーカーの変化量から線形補間などを用いて画像中心位置（ｃｘ，ｃｙ）の変化量を算出するとよい。ｕ方向並進成分をΔｕｔ（Ｔｊ）、ｖ方向並進成分をΔｖｔ（Ｔｊ）とすると以下の（数１３）で表現される。

（ステップＳ３０６０）
ステップＳ３０６０では、温度Ｔｊにおけるマーカー画像座標の変化量の倍率成分と回転成分を算出する。図１１で述べたように画像座標の倍率成分と回転成分の変化量は、Ｓ３０４０で算出した画像座標の変化量から並進成分を引いた変化量（Δｕｃｔｉ（Ｔｊ）、Δｖｃｔｉ（Ｔｊ））をもとに求める（数１４）。

画像中心（ｃｘ，ｃｙ）から画像座標（ｕｉ（Ｔｊ）、ｖｉ（Ｔｊ））までの距離ｒｕｖｉ（Ｔｊ）は以下の（数１５）で算出される。

画像座標の変化量から並進成分を引いた変化量（Δｕｃｔｉ（Ｔｊ）、Δｖｃｔｉ（Ｔｊ））の長さは以下の（数１６）で算出される。

放射方向と並進成分を引いた変化量ベクトルとのなす角φｉは以下の（数１７）で算出される。

画像座標位置（ｕｉ，ｖｉ）における倍率移動量ｒｐｏｗｉは以下の（数１８）で算出される。

画像中心からの距離であるｒｕｖと倍率移動量ｒｐｏｗは比例関係にあることを想定しているので、全てのマーカーのｒｕｖｉとｒｐｏｗｉをもとに以下の（数１９）の近似直線の傾きから温度Ｔｊにおける回転成分ΔＰｏｗ（Ｔｊ）を算出することができる。

画像座標位置（ｕｉ，ｖｉ）における回転移動量ｒｒｏｔｉは以下の式（数２０）で算出される。

画像中心からの距離であるｒｕｖと回転移動量ｒｒｏｔは比例関係にあることを想定しているので、全てのマーカーのｒｕｖｉとｒｒｏｔｉをもとに以下の（数２１）の近似直線の傾きから温度Ｔｊにおける回転成分ΔＲｏｔ（Ｔｊ）を算出することができる。

（ステップＳ３０７０）
ステップＳ３０７０では、全ての温度の計算が終了しているか否かの判定を行う。具体的にはカウント数ｊがＮ以上か否かで判定する。Ｎｏの場合、Ｓ３０８０に進む。Ｙｅｓの場合、Ｓ３０９０に進む。

（ステップＳ３０８０）
ステップＳ３０８０では、カウント数ｊに１を加算する。加算が終わるとＳ３０３０に進む。

（ステップＳ３０９０）
ステップＳ３０９０では、並進成分Δｕｔ（Ｔ）、Δｖｔ（Ｔ）を温度Ｔの関数としたときの補正パラメータを算出する。ステップ３０５０で求めた並進成分Δｕｔ（Ｔ）、Δｖｔ（Ｔ）と温度Ｔの回帰直線の推定を行う。推定された回帰直線をΔｕｔ（Ｔ）＝βｔｘ’＋αｔｘ’・Ｔ、Δｖ_ｔ（Ｔ）＝βｔｙ’＋αｔｙ’・Ｔと表わす。回帰直線の推定を行う際には、温度がＴｒｅｆの場合に、Δｕｔ（Ｔ）、Δｖｔ（Ｔ）が０になるようにする。

このようにして求めたβｔｘ’、αｔｘ’、βｔｙ’、αｔｙ’は温度に応じた画像座標値の変化量を求めるためのパラメータであるため、補正を行うためのパラメータとするには符号を反転させる必要がある。

すなわち、βｔｘ＝−βｔｘ’、αｔｘ＝−αｔｘ’、βｔｙ＝−βｔｙ’、αｔｙ＝−αｔｙ’と符号を反転させることで、補正パラメータとなる。

（ステップＳ３１００）
ステップＳ３１００では、倍率成分ΔＰｏｗ（Ｔ）、回転成分ΔＲｏｔ（Ｔ）を温度Ｔの関数としたときの補正パラメータを算出する。ステップ３０６０で求めた倍率成分ΔＰｏｗ（Ｔ）、回転成分ΔＲｏｔ（Ｔ）と温度Ｔの回帰直線の推定を行う。推定された回帰直線をΔＰｏｗ（Ｔ）＝βｐ’＋αｐ’・Ｔ、ΔＲｏｔ（Ｔ）＝βｒ’＋αｒ’・Ｔと表わす。回帰直線の推定を行う際には、温度がＴｒｅｆの場合に、ΔＰｏｗ（Ｔ）、ΔＲｏｔ（Ｔ）が０になるようにする。

このようにして求めたβｐ’、αｐ’、βｒ’、αｒ’は温度に応じた画像座標値の変化量を求めるためのパラメータであるため、補正を行うためのパラメータとするには符号を反転させる必要がある。

すなわち、βｐ＝−βｐ’、αｐ＝−αｐ’、βｒ＝−βｒ’、αｒ＝−αｒ’と符号を反転させることで、補正パラメータとなる。

以上が温度補正パラメータを算出する手順についての説明である。

次に、温度に応じて画像座標を補正しながら三次元計測する方法について説明する。図１３は本実施形態における三次元計測の処理手順を示すフローチャートである。

（ステップＳ３４１０）
ステップＳ３４１０では、パターン投影部１２０によって空間コード化パターン（グレイコードパターン）が投影された計測対象物の画像を撮像部１１０により撮影する。詳細については第一の実施形態におけるステップＳ１４１０で前述したので割愛する。また、画像の撮影と同時に温度計測部１３０によりカメラのレンズの温度の計測を行う。

（ステップＳ３４２０）
ステップＳ３４２０では、ステップＳ３４１０において撮影により得られた画像をもとに、撮像画像上の画像座標と投影パターン上の水平座標との対応の集合を求める。具体的な方法は第一の実施形態におけるステップＳ１１４０で前述した空間コードの境界の算出方法と同じであるので説明を省略する。

（ステップＳ３４３０）
ステップＳ３４３０では、ステップＳ３４１０で計測されたカメラのレンズの温度Ｔ
と温度補正パラメータ保存部１５０に格納された温度補正パラメータを元にカメラおよびプロジェクタの画像座標値を補正する。補正処理はカメラとプロジェクタで同一である。カメラまたはプロジェクタの画像座標値の入力値を（ｕｉｎ，ｖｉｎ）とすると補正後の画像座標値（ｕｏｕｔ，ｖｏｕｔ）は以下の（数２２）で表現される。

Δｕｔ（Ｔ）とΔｖｔ（Ｔ）がそれぞれｘ方向、ｙ方向の並進成分補正量である。また、Δｕｐ（Ｔ）とΔｖｐ（Ｔ）がそれぞれｘ方向、ｙ方向の倍率成分補正量である。また、Δｕｒ（Ｔ）とΔｖｒ（Ｔ）がそれぞれｘ方向、ｙ方向の回転成分補正量である。

並進成分の補正量は以下の（数２３）に基づいて実施される。並進成分の補正量は、温度補正パラメータαｔｘ、αｔｙ、βｔｘ、βｔｙと温度Ｔのみに依存するので、画像全体で一定量である。

倍率成分の補正は以下の（数２４）に基づいて実施される。倍率成分の補正量は、温度Ｔと入力画像座標値（ｕｉｎ，ｖｉｎ）に依存する。具体的には画像中心からの距離と入力画像座標値（ｕｉｎ，ｖｉｎ）に応じて放射方向に画像座標を補正する。

ここでｒｕｖは入力画像座標（ｕｉｎ，ｖｉｎ）と画像中心（ｃｘ、ｃｙ）の距離であり、ｃｏｓφとｓｉｎφは以下の（数２５）で計算される。

回転成分の補正は以下の（数２６）に基づいて実施される。回転成分の補正量は、温度Ｔと入力画像座標値（ｕｉｎ，ｖｉｎ）に依存する。具体的には画像中心からの距離と入力画像座標値（ｕｉｎ，ｖｉｎ）に応じて接線方向に画像座標を補正する。

ｒとｃｏｓφ、ｓｉｎφは（数２５）で計算される。

（ステップＳ３４４０）
ステップＳ３４４０では、ステップＳ３４２０で得られた対応の夫々について計測対象物体の表面の三次元座標を算出する。三次元座標の算出は、ステップＳ３４３０で補正された画像座標値（ｕｏｕｔ，ｖｏｕｔ）と、校正パラメータ保存部１６０に保存された校正パラメータを用いて行われる。三次元座標の算出方法については前述したので省略する。

以上述べたように、本実施形態では、予めカメラのレンズの温度と画像座標の変化量との関係を求めておき、三次元計測を行う際に温度センサによって計測されるカメラのレンズの温度をもとに画像座標値の補正を行う方法について説明した。これにより、外気温や機器の内部の温度変化によって撮影される点の撮影画像上の位置にずれが生じても、高精度に三次元計測を行うことができる。

本実施形態ではカメラとプロジェクタの画像座標の両方を補正する例を説明したが、片方のみの補正を行っても良いあ。また、補正の成分としてｕ方向並進成分、ｖ方向並進成分、倍率成分、回転成分の４つの成分全てを補正する例を説明したが、少なくとも１つの成分の補正であってもよい。

本実施形態では画像座標値を補正する例を紹介したが、画像そのものを補正する方法もある。カメラの補正の場合には、カメラで撮影した画像を補正パラメータに基づき変形させる。プロジェクタの場合には、投影する画像を補正パラメータに基づき変形させる。

（効果）
以上述べたように、予めカメラやプロジェクタのレンズの温度と補正対象情報との関係をキャリブレーションしておき、補正対象情報を補正することにより、温度変化があっても高精度に三次元計測を行うことができる。

すなわち、外気温や機器の内部の温度変化によって撮影される点の撮影画像上の位置にずれが生じても、高精度に三次元計測を行うことができる。

また、外気温や機器の内部の温度変化によってプロジェクタが投影する点の位置にずれが生じても、高精度に三次元計測を行うことができる。

１ 情報処理装置
１１０ 撮像部
１１５ 画像入力部
１２０ パターン投影部
１３０ 温度計測部
１３５ 温度入力部
１４０ 制御部
１５０ 温度補正パラメータ保存部
１６０ 校正パラメータ保存部
１７０ 校正パラメータ決定部
１８０ 画像処理部
１９０ 三次元座標算出部
２７０ 画像座標決定部

Claims (14)

1. 三次元計測を行うために計測対象物を撮像する撮像装置の画像座標を温度に応じて補正する情報処理装置であって、
   校正用物体を複数の異なる温度で撮像した複数の撮像画像のそれぞれにおける画像座標の変化量を所定の複数の動作成分に分解し、前記所定の複数の動作成分ごとの補正パラメータを算出するパラメータ算出手段と、
   前記複数の動作成分ごとの補正パラメータと前記複数の撮像画像それぞれの撮像時の温度との組に基づいて、前記撮像装置の画像座標の動作成分ごとの補正パラメータを温度の関数とした関係を算出する関係算出手段と、
   前記関係を保持する保持手段と、
   前記撮像装置の温度を入力する温度入力手段と、
   前記温度入力手段によって入力された前記撮像装置の温度と、前記関係とに基づき、前記撮像装置の画像座標の動作成分ごとの補正パラメータを決定するパラメータ決定手段と、
   前記パラメータ決定手段により決定された動作成分ごとの補正パラメータに基づいて前記撮像装置の画像座標を補正する補正手段とを有することを特徴とする情報処理装置。
2. 前記所定の複数の動作成分は前記画像座標の伸縮を表す成分を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記所定の複数の動作成分は前記画像座標の平行移動を表す成分を含むことを特徴とする請求項１に記載の情報処理装置。
4. 前記所定の複数の動作成分は画像座標の回転を表す成分を含むことを特徴とする請求項１に記載の情報処理装置。
5. パターンを投影する投影装置と、
   前記投影装置によりパターンが投影された前記計測対象物を前記撮像装置で撮像することにより得られた撮像画像を入力する画像入力手段と、
   前記画像入力手段によって入力された前記撮像画像からパターンを検出するパターン検出手段と、
   前記パターン検出手段によって検出されたパターンと前記投影装置により投影されたパターンとの対応と、前記補正手段によって補正された画像座標とに基づき、前記計測対象物の表面の三次元座標を算出する座標算出手段と、を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 三次元計測を行うために計測対象物に対してパターンを投影する投影装置の画像座標を温度に応じて補正する情報処理装置であって、
   校正用物体を複数の異なる温度で撮像した複数の撮像画像のそれぞれにおける画像座標の変化量を所定の複数の動作成分に分解し、前記所定の複数の動作成分ごとの補正パラメータを算出するパラメータ算出手段と、
   前記複数の動作成分ごとの補正パラメータと前記複数の撮像画像それぞれの撮像時の温度との組に基づいて、前記投影装置の画像座標の動作成分ごとの補正パラメータを温度の関数とした関係を算出する関係算出手段と、
   前記関係を保持する保持手段と、
   前記投影装置の温度を入力する温度入力手段と、
   前記温度入力手段によって入力された投影装置の温度と、前記関係とに基づき、前記投影装置の画像座標を補正する補正手段と、
   を有することを特徴とする情報処理装置。
7. 前記所定の複数の動作成分は前記画像座標の伸縮を表す成分を含むことを特徴とする請求項６に記載の情報処理装置。
8. 前記所定の複数の動作成分は前記画像座標の平行移動を表す成分を含むことを特徴とする請求項６に記載の情報処理装置。
9. 前記所定の複数の動作成分は画像座標の回転を表す成分を含むことを特徴とする請求項６に記載の情報処理装置。
10. 前記投影装置により前記パターンが投影された前記計測対象物を撮像装置で撮像することにより得られた撮像画像を入力する画像入力手段と、
    前記画像入力手段によって入力された前記撮像画像からパターンを検出するパターン検出手段と、
    前記パターン検出手段によって検出されたパターンと前記投影装置により投影されたパターンとの対応と、前記補正手段によって補正された画像座標とに基づき、前記計測対象物の表面の三次元座標を算出する座標算出手段と、を更に有することを特徴とする請求項６乃至９のいずれか１項に記載の情報処理装置。
11. 三次元計測を行うために計測対象物を撮像する撮像装置の画像座標を温度に応じて補正する情報処理方法であって、
    校正用物体を複数の異なる温度で撮像した複数の撮像画像のそれぞれにおける画像座標の変化量を所定の複数の動作成分に分解し、前記所定の複数の動作成分ごとの補正パラメータを算出するパラメータ算出工程と、
    前記複数の動作成分ごとの補正パラメータと前記複数の撮像画像それぞれの撮像時の温度との組に基づいて、前記撮像装置の画像座標の動作成分ごとの補正パラメータを温度の関数とした関係を算出する関係算出工程と、
    前記撮像装置の温度を入力する温度入力工程と、
    前記温度入力工程によって入力された前記撮像装置の温度と、前記関係算出工程で算出された関係とに基づき、前記撮像装置の画像座標の動作成分ごとの補正パラメータを決定するパラメータ決定手段と、
    前記パラメータ決定手段により決定された動作成分ごとの補正パラメータに基づいて前記撮像装置の画像座標を補正する補正工程とを有することを特徴とする情報処理方法。
12. コンピュータを、
    三次元計測を行うために計測対象物を撮像する撮像装置の画像座標を温度に応じて補正する情報処理装置であって、
    校正用物体を複数の異なる温度で撮像した複数の撮像画像のそれぞれにおける画像座標の変化量を所定の複数の動作成分に分解し、前記所定の複数の動作成分ごとの補正パラメータを算出するパラメータ算出手段と、
    前記複数の動作成分ごとの補正パラメータと前記複数の撮像画像それぞれの撮像時の温度との組に基づいて、前記撮像装置の画像座標の動作成分ごとの補正パラメータを温度の関数とした関係を算出する関係算出手段と、
    前記関係を保持する保持手段と、
    前記撮像装置の温度を入力する温度入力手段と、
    前記温度入力手段によって入力された前記撮像装置の温度と、前記関係とに基づき、前記撮像装置の画像座標の動作成分ごとの補正パラメータを決定するパラメータ決定手段と、
    前記パラメータ決定手段により決定された動作成分ごとの補正パラメータに基づいて前記撮像装置の画像座標を補正する補正手段と、を有する情報処理装置の各手段として機能させるためのコンピュータプログラム。
13. 三次元計測を行うために計測対象物に対してパターンを投影する投影装置の画像座標を温度に応じて補正する情報処理方法であって、
    校正用物体を複数の異なる温度で撮像した複数の撮像画像のそれぞれにおける画像座標の変化量を所定の複数の動作成分に分解し、前記所定の複数の動作成分ごとの補正パラメータを算出するパラメータ算出工程と、
    前記複数の動作成分ごとの補正パラメータと前記複数の撮像画像それぞれの撮像時の温度との組に基づいて、前記投影装置の画像座標の動作成分ごとの補正パラメータを温度の関数とした関係を算出する関係算出工程と、
    前記投影装置の温度を入力する温度入力工程と、
    前記温度入力工程によって入力された投影装置の温度と、前記関係算出工程で算出された関係とに基づき、前記投影装置の画像座標を補正する補正工程と、を有することを特徴とする情報処理方法。
14. コンピュータを、
    三次元計測を行うために計測対象物に対してパターンを投影する投影装置の画像座標を温度に応じて補正する情報処理装置であって、
    校正用物体を複数の異なる温度で撮像した複数の撮像画像のそれぞれにおける画像座標の変化量を所定の複数の動作成分に分解し、前記所定の複数の動作成分ごとの補正パラメータを算出するパラメータ算出手段と、
    前記複数の動作成分ごとの補正パラメータと前記複数の撮像画像それぞれの撮像時の温度との組に基づいて、前記投影装置の画像座標の動作成分ごとの補正パラメータを温度の関数とした関係を算出する関係算出手段と、
    前記関係を保持する保持手段と、
    前記投影装置の温度を入力する温度入力手段と、
    前記温度入力手段によって入力された投影装置の温度と、前記関係とに基づき、前記投影装置の画像座標を補正する補正手段と、を有する情報処理装置の各手段として機能させるためのコンピュータプログラム。

Images