JP6067175B2 - 位置測定装置及び位置測定方法 - Google Patents

Description

本発明は、カメラを用いて反射面を有する物体の３次元空間における位置を測定するための位置測定装置及び位置測定方法に関する。

反射面を有する物体の３次元空間における位置を測定するための方法として、特許文献１及び２の発明がある。特許文献１の発明は、照明を当てた反射面を有する物体を２つのカメラで撮影し、撮影された各画像から反射面を有する物体の反射光の法線方向を計算する。次いで、特許文献１の発明は、この法線方向に基づいて画像間で対応する画素を探索し、対応する画素間の視差に基づいて３次元測量（ステレオ測定）を行う。特許文献２の発明は、反射面を有する物体にレーザスポット光を照射し、反射面を有する物体で反射した反射光を２つの画像センサにより観測する。次いで、特許文献２の発明は、観測した反射光の入射ベクトルを計算し、それをもとに、反射面を有する物体上のスポット光が当たっている位置を計算する。

また、鏡面反射面を有する物体の形状を測定するための方法として、特許文献３及び４の発明がある。

特開２０１０−０７１７８２号公報 特開２０１１−１１７８３２号公報 特開２０１０−１９７３９１号公報 特開２００７−３２２１６２号公報

特許文献１及び２の発明では、反射面を有する物体の画像を取得するために、特別な光源を用いて反射面を有する物体に光を照射している。また、特許文献１及び２の発明のように反射面を有する物体からの反射光を観測する場合、反射面で正反射された光の強度と拡散反射された光の強度とに大きな差が生じる。そのため、広いダイナミックレンジを有するカメラを用いること、もしくは環境光の影響を制限することなどの対策が必要になる。しかしながら、これらの対策だけで光の強度差の問題を解決できず、反射面を有する物体の３次元空間における位置を測定できないことがある。また、そもそも、光を照射するための装置コスト及びエネルギーが必要となる。特許文献３および４においても、これらの課題を解決することは開示されていない。

本発明の目的は、前記の問題点を解決し、特別な光源及び広ダイナミックレンジのカメラを用いることなく、反射面を有する物体の３次元空間における位置を安定的に測定することができる位置測定装置及び方法を提供することにある。

本発明の態様に係る位置測定装置は、
反射面を有する目標物体を撮影することにより前記反射面の少なくとも一部が入った撮影画像を取得するカメラと、
前記カメラの視点位置及び撮影方向を含む撮影条件を記憶する第１の記憶部と、
前記目標物体の形状を含むモデルデータを記憶する第２の記憶部と、
複数の特徴点を有し、前記カメラに対して予め決められた位置に固定されたマーカー物体と、
前記視点位置及び前記特徴点の間の互いの位置関係を表す特徴点データを記憶する第３の記憶部と、
前記特徴点のうちの複数個が前記反射面内に映った状態で前記カメラにより取得された撮影画像から複数の前記特徴点を抽出し、前記撮影画像内の前記特徴点の位置を決定する特徴点抽出部と、
前記撮影条件と、前記モデルデータと、前記特徴点データと、前記撮影画像内の前記特徴点の位置とに基づいて、前記目標物体の位置を計算する位置測定部とを備える。

本発明によれば、特別な光源及び広ダイナミックレンジのカメラを用いることなく、反射面を有する物体の３次元空間における位置を測定することができる。

本発明の実施の形態１に係る位置測定装置の構成を示すブロック図である。 本発明の実施の形態１に係る位置測定装置が有するマーカー物体２のパターンの例を示す図である。 本発明の実施の形態１に係る位置測定装置における、カメラ及びマーカー物体と、反射面と、カメラ及びマーカー物体の鏡像体との関係を説明する図である。 本発明の実施の形態１に係る位置測定装置によって実行される位置測定処理を説明するフローチャートである。 本発明の実施の形態１に係る位置測定装置によって実行される位置測定処理の鏡像体位置計算処理を説明するフローチャートである。 本発明の実施の形態１に係る位置測定装置の鏡像体位置計算部によって鏡像体の位置を計算する過程を例により説明する図である。 本発明の実施の形態１に係る位置測定装置の反射面位置計算部によって分割鏡の反射面の位置及び向きを決定する過程を例により説明する図である。 本発明の実施の形態１に係る位置測定装置の反射面位置計算部によって分割鏡の反射面の位置及び向きを決定する別の過程を例により説明する図である。 本発明の実施の形態２に係る位置測定装置の構成を示すブロック図である。 本発明の実施の形態２に係る位置測定装置によって実行される位置測定処理を説明するフローチャートである。 本発明の実施の形態２に係る位置測定装置によって実行される位置測定処理の反射面位置計算処理を説明するフローチャートである。 本発明の実施の形態３に係る位置測定装置の構成を示すブロック図である。 本発明の実施の形態３に係る位置測定装置によって実行される位置測定処理を説明するフローチャートである。 本発明の実施の形態３に係る位置測定装置によって実行される位置測定処理の反射面位置計算処理を説明するフローチャートである。 本発明の実施の形態３に係る位置測定装置の曲率計算部によって反射面の曲率半径を推定する原理を例により説明する図である。 本発明の実施の形態４に係る位置測定装置の構成を示すブロック図である。 本発明の実施の形態４に係る位置測定装置によって実行される位置測定処理を説明するフローチャートである。 本発明の実施の形態５に係る位置測定装置の構成を示すブロック図である。 本発明の実施の形態６に係る位置測定装置の構成を示すブロック図である。 本発明の実施の形態７に係る位置測定装置の構成を示すブロック図である。

実施の形態１．
本発明の各実施の形態では、反射面を有する目標物体（位置を測定すべき物体）の位置を測定するために、互いの位置関係が決まった複数の特徴点を有するマーカー物体を使用する。本発明の実施の形態１では、反射面に映るカメラ及びマーカー物体の鏡像から仮想的に存在する鏡像体を求め、鏡像体に含まれる複数の特徴点の位置を計算し、鏡像体の特徴点の位置に基づいて反射面の位置及び向きを計算する。本発明の実施の形態１は、反射面が既知の曲面である場合に、反射面の形状を表す反射面モデルを使用し、カメラの視点からの光が反射面で垂直に反射する反射面上の点（より詳しい説明は後でするが、この点を鏡像中心点と呼ぶ）を中心に反射面を近似する近似平面を決定し、近似平面に反射面モデルを当てはめる。

ここで、反射面の位置とは、反射面上の鏡像中心点の３次元空間での位置である。反射面の向きとは、鏡像中心点において反射面に接する平面の法線方向である。

図１は、本発明の実施の形態１に係る位置測定装置の構成を示すブロック図である。図１の位置測定装置は、反射面を有する目標物体の３次元空間における位置を測定する。目標物体は、例えば、大口径の反射望遠鏡の反射面を分割した分割鏡２１である。分割鏡２１は、反射面２２と、反射面２２でない部分である非反射部分（反射面２２のエッジ２３、側面、裏面など）とを有する。反射望遠鏡の反射面のメンテナンスのために、例えばクレーンで吊るされたロボットハンドである把持機構によって、分割鏡２１を掴んで移動させる必要がある。本発明に係る位置測定装置は、分割鏡２１を把持機構で掴む際に、分割鏡２１の３次元空間における位置を予め決められた精度で測定するために使用される。把持機構と分割鏡２１の相対位置は、他の方法により例えば数十ｃｍ程度の誤差で予め分かっている。本発明の実施の形態１に係る位置測定装置は、例えば数ｍｍ程度以下の精度で、分割鏡２１の位置を求める。本発明の実施の形態１に係る位置測定装置は、反射面を有する他の物体の位置を測定する場合にも使用できる。

図１の位置測定装置は、少なくとも１つのカメラ１、マーカー物体２、記憶装置３、及び処理装置４を備える。カメラ１は、環境光に応じた一般的な調整を行ったカメラである。カメラ１は、分割鏡２１を撮影することにより、分割鏡２１の反射面２２の少なくも一部が入った画像（以下、「撮影画像」という）を取得する。マーカー物体２は、カメラ１を基準として予め決められた位置にそれぞれ固定された複数のマーカーを含む物体であり、複数の特徴点を有する。カメラ１もまた、少なくとも１つの特徴点を有していてもよい。なお、マーカーとは特徴点を有する平面図形又は立体図形である。

記憶装置３は、３次元空間における位置の測定に必要な情報を予め記憶している。記憶装置３は、画像を撮影するときのカメラ１の視点位置及び撮影方向を含む撮影条件を記憶する第１の記憶部と、分割鏡２１の形状を含むモデルデータを記憶する第２の記憶部と、視点位置及び特徴点の間の互いの位置関係を表す特徴点データを記憶する第３の記憶部とを有する。実施の形態１に係る位置測定装置では、モデルデータは、反射面２２の形状を表す反射面モデルと、反射面２２及び非反射部分の位置関係とを含む。反射面２２の形状は、反射面２２の曲率半径、輪郭線の形（円形、四角形、六角形など）などである。特徴点データは、視点位置を基準とするマーカー物体２の複数の特徴点の位置を含む。特徴点データは、さらに、視点位置を基準とするカメラ１の少なくとも１つの特徴点の位置を含んでもよい。実施の形態１に係る位置測定装置では、特徴点データとして予め記憶された特徴点間の位置関係は、実際の特徴点間の位置関係に対して鏡像関係（反転した位置関係）にあるものが使用される。なお、特徴点は、視点位置とは異なる位置を基準としてもよい。視点位置及び特徴点の間の互いの位置関係を表すことができれば、特徴点データとしてはどのようなものでもよい。曲率半径の替わりに曲率を使用してもよい。

処理装置４は、カメラ１によって撮影された分割鏡２１の画像に基づいて、分割鏡２１の３次元空間における位置を決定する。処理装置４は、特徴点抽出部１１及び位置測定部１２を備える。特徴点抽出部１１は、特徴点のうちの複数個が反射面２２内に映った状態でカメラ１により撮影された撮影画像から複数の特徴点を抽出し、撮影画像内の特徴点の位置を決定する。特徴点抽出部１１は、さらに、撮影画像内の特徴点の位置を、特徴点データとして予め記憶された特徴点の位置に対応づける。位置測定部１２は、撮影条件と、モデルデータと、特徴点データと、撮影画像内の特徴点の位置とに基づいて、分割鏡２１の位置を計算する。

位置測定装置は、さらに、カメラ１によって撮影された画像６、及び／又は、分割鏡２１の３次元空間における位置の測定の過程及び結果、などを示す表示装置５を備えてもよい。表示装置５を備えることによりユーザが状況を理解しやすくなる。位置測定装置は、表示装置５を備えなくてもよい。

図１の表示装置５に示すように、カメラ１によって撮影された画像６は、分割鏡２１の反射面２２及びエッジ２３と、分割鏡２１の反射面２２に映ったカメラ１及びマーカー物体２の鏡像２４とを含む。実施の形態１では、カメラ１の視野が分割鏡２１に対して十分に広く、分割鏡２１及びマーカー物体２がカメラ１の視野に収まっていると仮定する。なお、物体の鏡像とは、反射面２２に映った物体の像を意味する。

位置測定部１２は、鏡像体位置計算部１３、反射面位置計算部１４、及び目標物体位置決定部１５を備える。

鏡像体位置計算部１３は、特徴点データとして予め記憶された特徴点の位置に基づいて、反射面２２に対してカメラ１及びマーカー物体２とは反対側に仮想的に存在するカメラ１及びマーカー物体２の鏡像体に含まれる複数の特徴点の位置を計算する。鏡像体は、反射面２２に映ったカメラ１及びマーカー物体２の鏡像２４と同じ像を、反射面２２が存在しないと仮定した場合にカメラ１により撮影できるような、反射面２２に対してカメラ１の反対側に存在する仮想的な物体である（図３、図７、図８を参照）。鏡像体に含まれる複数の特徴点の位置関係は、実際の特徴点間の位置関係に対して鏡像関係（反転した位置関係）になるので、特徴点データとして予め記憶された特徴点の位置に基づいて計算される。鏡像体位置計算部１３は、カメラ１により実際の撮影画像を取得したときと同じ撮影条件で鏡像体を仮想的に撮影して得られる仮想撮影画像に含まれる複数の特徴点の位置が、実際にカメラ１により取得された撮影画像内の対応する複数の特徴点（仮想撮影画像内の特徴点に対応する実際の撮影画像内の特徴点）の位置にそれぞれ近接するように、鏡像体に含まれる複数の特徴点の位置を計算する。カメラ１及びマーカー物体２の全体の鏡像体を求める必要はなく、カメラ１及びマーカー物体２が有する特徴点に関して少なくとも鏡像体を求めればよい。なお、カメラ１及びマーカー物体２の全体の鏡像体を求めてもよい。

反射面位置計算部１４は、視点位置及び特徴点データ（予め記憶された特徴点の位置）から決まるマーカー物体２の特徴点の位置と、鏡像体位置計算部１３により計算された鏡像体の特徴点の位置と、モデルデータとして予め記憶された反射面２２の曲率半径とに基づいて、反射面２２の位置及び向きを計算する。

目標物体位置決定部１５は、モデルデータとして予め記憶された反射面及び非反射部分の位置関係と、反射面位置計算部１４により計算された反射面２２の位置及び向きとに基づいて、分割鏡２１の位置を決定する。詳しくは、目標物体位置決定部１５は、反射面２２のエッジ２３の位置を検出することにより分割鏡２１の位置を特定する。

鏡像体位置計算部１３は、仮想撮影画像内の特徴点の位置と実際の撮影画像内の対応する特徴点の位置との差を小さくするように、鏡像体に含まれる複数の特徴点の位置を計算する。鏡像体位置計算部は、射影変換部１６及びサイズ変更部１７を備える。

射影変換部１６は、実際の撮影画像内の特徴点の位置又は仮想撮影画像内の特徴点の位置に適用される射影変換であって、仮想撮影画像内の特徴点によって形成される図形と実際の撮影画像内の対応する特徴点によって形成される図形とが互いに相似に近づくような射影変換を決定する。射影変換を例えば仮想撮影画像内の特徴点の位置に適用すると、射影変換されたそれぞれの特徴点の位置は、適切な倍率で拡大又は縮小して平行移動させると、実際の撮影画像内の対応する特徴点の位置に一致又は近い位置になる。実際の撮影画像と仮想撮影画像とにおいて対応する特徴点が４組以上ある場合は、画像処理やコンピュータビジョンにおいて、一般的に行われるホモグラフィ行列の計算を用いることで、射影変換を決定することができる。この射影変換は、仮定された鏡像体の姿勢と、実際にカメラ１により撮影されたカメラ１及びマーカー物体２の姿勢（実際の鏡像体の姿勢）との差を表している。

サイズ変更部１７は、決定された射影変換を実際の撮影画像内の特徴点の位置又は仮想撮影画像内の特徴点の位置に適用した後に、仮想撮影画像内の特徴点によって形成される図形又は実際の撮影画像内の対応する特徴点によって形成される図形に適用されるサイズ変更率であって、仮想撮影画像内の特徴点の位置と実際の撮影画像内の対応する特徴点の位置との差を小さくするようなサイズ変更率を決定する。言い換えると、サイズ変更部１７は、仮想撮影画像内の特徴点によって形成される図形が、実際の撮影画像内の対応する特徴点によって形成される図形と合同に近づくようなサイズ変更率を決定する。なお、サイズ変更率は等倍を含む。

鏡像体位置計算部１３は、決定された射影変換及び決定されたサイズ変更率に基づいて、鏡像体に含まれる複数の特徴点の位置を変更する。鏡像体位置計算部１３は、仮想撮影画像内の特徴点の位置と実際の撮影画像内の対応する特徴点の位置との差が予め決められたしきい値（許容誤差）未満になるまで、射影変換と、サイズ変更率とを反復的に計算する。しきい値は、各特徴点の位置の誤差の絶対値の最大値、各特徴点の位置の誤差の絶対値の和、各特徴点の位置の誤差の二乗和などに対して設定する。

目標物体位置決定部１５が分割鏡２１の位置を決定した後、位置測定装置は、さらなる処理（例えば、把持機構により分割鏡２１を掴んで移動させること）のために、決定した分割鏡２１の位置を外部装置（図示せず）に送ってもよい。

記憶装置３（第１の記憶部）は、カメラ１の１つの視点位置及び１つの撮影方向を含む１組の撮影条件を記憶してもよい。この場合、位置測定部１２は、撮影条件と、モデルデータと、特徴点データと、撮影画像内の複数の特徴点の位置をそれぞれ含む特徴点集合とに基づいて、分割鏡２１の位置を計算してもよい。

図２は、本発明の実施の形態１に係る位置測定装置が有するマーカー物体２のパターンの例を示す図である。図２のマーカー物体２は、チェッカー模様の矩形領域を形成する複数の正方形（マーカー）と、矩形領域の４つのコーナーにそれぞれ設けられた４種類の互いに異なるシンボル（図形）とを有する。各マーカーは、個々の図形の頂点又は重心などの特徴点を有する。また、カメラ１の筐体の少なくとも一部を特徴点として用いてもよい。記憶装置３は、カメラ１及びマーカー物体２に含まれる複数の特徴点の位置を、カメラ１及びマーカー物体２のモデルとして記憶している。座標は、カメラ１の視点位置を原点としてもよく、他の位置を原点としてもよい。各特徴点の位置が既知であるので、特徴点間の距離及び方向も既知である。図２に示す例では、マーカー物体２に４種類の互いに異なるシンボルを設けたことにより、マーカー物体２の上下左右を区別することができる。図２に示す例では、さらに、カメラ１によって撮影された画像６が、分割鏡２１の反射面２２に映ったカメラ１及びマーカー物体２の鏡像２４を含むとき、カメラ１及びマーカー物体２に含まれる複数の特徴点（記憶装置３に記憶されたモデル）と、鏡像２４に含まれる複数の特徴点とを対応づけることができる。

なお、図２に示すマーカー物体２のチェッカー模様は一例であり、マーカー物体２は、水玉模様を形成する複数の円など、２次元的又は３次元的に配列された他のマーカーや目印となる形状的特徴を含んでもよい。例えばマーカーが円である場合には、円の中心を特徴点として用いてもよい。また、マーカー物体２の上下左右を区別するために設けるシンボルの個数は、４つに限らない。また、マーカー物体２の上下左右を区別するために特別なシンボルを設けなくてもよく、例えば、少なくとも１つのマーカーに他のマーカーとは異なる色を付与することにより、マーカー物体２の上下左右を区別することができる。この場合、記憶装置３はさらに、各マーカーの色を記憶する。マーカー物体は、チェッカー模様のように２次元的に配列されたものに限定されず、カメラ１の位置に対して予め決められた位置にそれぞれ配置された複数の特徴点を有するものであればよい。

図３は、本発明の実施の形態１に係る位置測定装置における、カメラ１及びマーカー物体２と、反射面と、カメラ１及びマーカー物体２の鏡像体との関係を説明する図である。カメラ１及びマーカー物体２と、反射面２２と、カメラ１及びマーカー物体２の鏡像体との関係を、図３により説明する。反射面２２によるカメラ１及びマーカー物体２の鏡像体として、仮想カメラ１Ｍ及び仮想マーカー物体２Ｍが仮想的に存在する。カメラ１は、視点３１、撮影方向３２、及び視野３３を有する。鏡像体である仮想カメラ１Ｍは、仮想的な視点３１Ｍ、仮想的な撮影方向３２Ｍ、及び仮想的な視野３３Ｍを有する。カメラ１のレンズ（図示せず）が反射面２２に映っている画像をカメラ１が撮影している場合には、レンズの中の一点（すなわち、カメラ１の視点３１）からの光は、反射面２２に垂直に入射して反射面２２で垂直に反射して、カメラ１の視点３１に届く。このとき、カメラ１の視点３１と仮想カメラ１Ｍの視点３１Ｍとを通る直線は、反射面２２と垂直に交わる。以下、カメラ１の視点３１と仮想カメラ１Ｍの視点３１Ｍとを通る直線を反射面垂直線と呼ぶ。反射面垂直線３４と、反射面２２との交点を、鏡像中心点３５と呼ぶ。

図４及び図５を参照して、本発明の実施の形態１に係る位置測定装置によって実行される位置測定処理を説明する。図４は、本発明の実施の形態１に係る位置測定装置によって実行される位置測定処理を説明するフローチャートである。図５は、本発明の実施の形態１に係る位置測定装置によって実行される位置測定処理の鏡像体位置計算処理を説明するフローチャートである。

分割鏡２１の位置は、分割鏡２１の予め決められた基準点（例えば、重心）の位置と、分割鏡２１の予め決められた面が向く方向（正面方向と呼ぶ）と、正面方向の周りでの回転角度とに分解できる。カメラ１の視点位置から分割鏡２１の予め決められた点に向かう直線を基準とする、分割鏡２１の正面方向の相対的な方向と正面方向の周りでの回転角度との組み合わせを、分割鏡２１の姿勢と呼ぶ。分割鏡２１の位置と姿勢が決まれば、分割鏡２１のすべての箇所の位置も決まる。

カメラ１に対する分割鏡２１の位置は大まかには分かっているので（例えば数十ｃｍ程度の誤差）、大まかな位置及び姿勢を与えたときの分割鏡２１の反射面に映るカメラ１及びマーカー物体２を仮想的に撮影して得られる仮想撮影画像に含まれる特徴点の位置を計算し、仮想撮影画像内の特徴点の位置が、実際の撮影画像内の対応する特徴点の位置に対して近接するように、分割鏡２１の位置及び姿勢を修正する。実施の形態１では、仮想撮影画像内の特徴点の位置を計算するために、カメラ１及びマーカー物体２の鏡像体の特徴点の位置を計算する。

カメラ１の視点と分割鏡２１との相対的な位置関係は、大まかには予め分かっているので、分割鏡２１の大まかな位置から決まるカメラ１及びマーカー物体２の鏡像体の位置を、基準位置と呼ぶ。また、分割鏡２１が反射望遠鏡の反射面の一部を構成しているか、それとも、分割鏡２１が反射望遠鏡から分離されて搭載具の上に置かれているかが分かっているので、分割鏡２１の正面方向も大まかに分かる。大まかに分かっている分割鏡２１の正面方向から決まるカメラ１及びマーカー物体２の鏡像体の姿勢を、基準姿勢と呼ぶ。鏡像体に含まれる特徴点の相対的な位置関係は、カメラ１及びマーカー物体２の特徴点の位置関係から決まるので、基準位置及び基準姿勢を決定することができる。

図４の位置測定処理は、目標物体の位置を測定するために、図１の処理装置４によって実行される。ステップＳ１において、特徴点抽出部１１は、カメラ１により撮影された実際の撮影画像から特徴点を抽出し、抽出した特徴点に関する情報を位置測定部１２に送る。ステップＳ２において、鏡像体位置計算部１３は、鏡像体位置計算処理を実行し、カメラ１及びマーカー物体２の鏡像体（仮想カメラ１Ｍ及び仮想マーカー物体２Ｍ）の特徴点の位置を決定する。

図５に示すフローチャートのステップＳ１１において、鏡像体位置計算部１３は、カメラ１及びマーカー物体２の鏡像体の基準位置及び基準姿勢を、鏡像体の位置及び姿勢の初期値として決定する。ステップＳ１２において、鏡像体位置計算部１３は、鏡像体の位置及び姿勢に基づき、カメラ１により実際の撮影画像を取得したときと同じ撮影条件で鏡像体を仮想的に撮影して得られる仮想撮影画像に含まれる、複数の特徴点の位置を計算する。ステップＳ１３において、鏡像体位置計算部１３は、実際の撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差は、しきい値未満であるか否かを判断する。特徴点の位置の差がしきい値未満の場合、すなわちステップＳ１３がＹＥＳの場合は、図５のフローチャートの処理を終了し、図４のステップＳ３に進む。特徴点の位置の差がしきい値以上の場合、すなわちステップＳ１３がＮＯの場合は、ステップＳ１４に進む。特徴点の位置の差は、例えば、互いに対応する特徴点間の距離の絶対値の総和、距離の２乗の総和、などとして計算される。

図５のステップＳ１４において、鏡像体位置計算部１３は、射影変換部１６を用いて、実際の撮影画像内の特徴点の位置又は仮想撮影画像内の特徴点の位置に適用する射影変換であって、仮想撮影画像内の特徴点によって形成される図形と実際の撮影画像内の対応する特徴点によって形成される図形とが互いに相似に近づくような射影変換を決定する。分割鏡２１の反射面２２が平面である場合は、実際の撮影画像内のすべての特徴点の位置（及び仮想撮影画像内の対応する特徴点の位置）に基づいて射影変換を決定することで、安定して鏡像体の姿勢を計算できる。分割鏡２１の反射面２２が曲面である場合は、実際の撮影画像に映った鏡像中心点３５の周囲における鏡像のゆがみを無視できる範囲内の特徴点の位置（及び仮想撮影画像内の対応する特徴点の位置）に基づいて射影変換を決定することで、鏡像のゆがみの影響を抑えながら、安定して鏡像体の姿勢を計算できる。画像内の鏡像中心点３５に対応する点を、画像内の鏡像中心点と呼ぶ。

図５のステップＳ１５では、決定された射影変換を実際の撮影画像内の特徴点の位置又は仮想撮影画像内の特徴点の位置に適用する。そして、ステップＳ１６において、鏡像体位置計算部１３は、サイズ変更部１７を用いて、仮想撮影画像内の特徴点又は実際の撮影画像内の特徴点によって形成される図形に適用されるサイズ変更率であって、画像内での鏡像中心点３５の位置を変更することなく、仮想撮影画像内の特徴点の位置と実際の撮影画像内の対応する特徴点の位置との差を最小化するようなサイズ変更率を決定する。

図６は、本発明の実施の形態１に係る位置測定装置の鏡像体位置計算部１３によって鏡像体の位置を計算する過程を例により説明する図である。符号１０１の図は、実際の撮影画像が反射面２２とマーカー物体２の鏡像２４とを含む場合を示す。マーカー物体２の鏡像２４は、複数の特徴点２４ａを有する。符号１０４の図は、位置及び姿勢が初期値（基準位置及び基準姿勢）である鏡像体を仮想的に撮影して得られる仮想撮影画像における仮想マーカー物体２Ｍの像４１を示す。仮想マーカー物体２Ｍの像４１は、複数の特徴点４１ａを有する。符号１０３の図は、図５のステップＳ１４で求めた射影変換を仮想撮影画像に適用した後の、仮想撮影画像における仮想マーカー物体２Ｍの像４２を示す。仮想マーカー物体２Ｍの像４２は、複数の特徴点４２ａを有する。符号１０２の図は、図５のステップＳ１６で求めたサイズ変更率で仮想撮影画像のサイズを変更した後の、仮想撮影画像における仮想マーカー物体２Ｍの像４３を示す。仮想マーカー物体２Ｍの像４３は、複数の特徴点４３ａを有する。像４１の特徴点４１ａ（符号１０４の図を参照）と像４３の特徴点４３ａ（符号１０２の図を参照）とを比較すると、像４３では、実際の撮影画像内の特徴点の位置（符号１０１の図を参照）と仮想撮影画像内の対応する特徴点の位置との差は、像４１の場合よりも小さくなっていることがわかる。

図５のステップＳ１７において、鏡像体位置計算部１３は、決定された射影変換に基づいて、鏡像体の姿勢を変更する。ステップＳ１８において、鏡像体位置計算部１３は、決定されたサイズ変更率に基づいて、カメラ１及びマーカー物体２から鏡像体（仮想カメラ１Ｍ及び仮想マーカー物体２Ｍ）への距離を変更する。

鏡像体位置計算部１３は、ステップＳ１５，Ｓ１６及びＳ１８を実行せず、ステップＳ１７の実行後に、実際の撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差を最小化するように、カメラ１及びマーカー物体２から鏡像体（仮想カメラ１Ｍ及び仮想マーカー物体２Ｍ）への距離を直接に変更するステップを実行してもよい。これは、他の実施の形態でも当てはまる。

実際の撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差が、しきい値未満になるまで、鏡像体位置計算部１３はステップＳ１２からＳ１８を繰り返す。

図４のステップＳ３において、反射面位置計算部１４は、反射面２２上の鏡像中心点３５の近傍に映ったマーカー物体２の複数の特徴点と、鏡像体の対応する複数の特徴点とを結ぶ線分をそれぞれ分割する複数の分割点を決定し、これらの分割点に、近似平面５１を当てはめる。それぞれの分割点は、マーカー物体２の特徴点と鏡像体の対応する特徴点とを結ぶ線分を、反射面２２の曲率半径から決まる分割比率で二分割する位置にある。分割比率に関しては、後で説明する。ステップＳ４において、反射面位置計算部１４は、反射面２２のモデルに基づいて、反射面２２が鏡像中心点３５で近似平面５１と接するように、反射面２２の位置及び向きを決定する。反射面２２が曲面である場合に、反射面位置計算部１４は、鏡像中心点３５の近傍において反射面２２を近似する近似平面５１の位置及び向きを決定し、鏡像中心点３５において近似平面５１と接するように反射面モデルの位置及び向きを決定することにより、反射面２２の位置及び向きを決定する。

マーカー物体２の特徴点と鏡像体の対応する特徴点とを結ぶ線分の分割点を求める分割比率は、レンズの公式を応用して反射面２２の曲率半径から導出される。反射面２２が平面である場合は、分割比率は０．５となり、分割点は線分の中点になる。

図７は、本発明の実施の形態１に係る位置測定装置の反射面位置計算部１４によって分割鏡の反射面の位置及び向きを決定する過程を例により説明する図である。符号１１１の図は、カメラ１及びマーカー物体２と、それらの鏡像体である仮想カメラ１Ｍ及び仮想マーカー物体２Ｍとを示す。符号１１２の図は、カメラ１及びマーカー物体２の特徴点と、仮想カメラ１Ｍ及び仮想マーカー物体２Ｍの対応する特徴点とを結ぶ線分を点線で示す。符号１１３の図は、符号１１２の図の線分の分割点と、分割点に当てはめられた近似平面５１とを示す。符号１１４の図は、カメラ１の視点と仮想カメラ１Ｍの視点とを通る直線と、近似平面５１との交点を、鏡像中心点に決め、反射面２２の鏡像中心点の近傍で近似平面５１と一致するように反射面モデルを当てはめることによって決定された、反射面２２の位置及び向きを示す。

図７において、最初に、カメラ１は、分割鏡２１の反射面２２（符号１１４の図を参照）に映ったカメラ１及びマーカー物体２の鏡像２４を含む撮影画像（カメラ１及びマーカー物体２の複数の特徴点が反射面２２内に映った分割鏡２１の撮影画像）を取得し、特徴点抽出部１１は、撮影画像から特徴点を抽出し、撮影画像内の特徴点の位置を決定する。特徴点抽出部１１は、さらに、撮影画像内の特徴点の位置を、特徴点データとして予め記憶された特徴点の位置（実際のカメラ１及びマーカー物体２の特徴点の位置）に対応づける。鏡像体位置計算部１３は、カメラ１及びマーカー物体２の鏡像体（仮想カメラ１Ｍ及び仮想マーカー物体２Ｍ）に含まれる特徴点の位置を計算する。鏡像体位置計算部１３は、仮想撮影画像内の特徴点の位置と実際の撮影画像内の対応する特徴点の位置との差を小さくするように、仮想カメラ１Ｍ及び仮想マーカー物体２Ｍの姿勢を修正し、カメラ１及びマーカー物体２から鏡像体（仮想カメラ１Ｍ及び仮想マーカー物体２Ｍ）への距離を修正することを繰り返す。鏡像体位置計算部１３は、鏡像体の各特徴点の位置を決定することにより、符号１１２の図に示すように、カメラ１及びマーカー物体２と、仮想カメラ１Ｍ及び仮想マーカー物体２Ｍとの相対的な位置関係を把握することができる。

反射面位置計算部１４は、符号１１３の図に示すように、カメラ１及びマーカー物体２の複数の特徴点の位置と、仮想カメラ１Ｍ及び仮想マーカー物体２Ｍの対応する特徴点の位置との各分割点の位置を計算する。各分割点は、カメラ１及びマーカー物体２の特徴点と、仮想カメラ１Ｍ及び仮想マーカー物体２Ｍの対応する特徴点とを結ぶ線分（符号１１２の図を参照）を、反射面２２の曲率半径から決まる分割比率で二分割する位置にある。

反射面位置計算部１４は、符号１１３の図に示すように、各分割点に平面方程式を当てはめて、反射面２２の鏡像中心点の近傍を近似する平面である近似平面５１を決定する。反射面２２が平面である場合は、近似平面５１自体が反射面２２になる。反射面２２が曲面である場合は、符号１１４の図に示すように、鏡像中心点の近傍において近似平面５１と誤差が最小になるように反射面モデルを当てはめて反射面２２の形状を決定する。なお、反射面２２が非球面の曲面である場合は、近似平面５１に反射面モデルのどの部分を当てはめるかに応じて反射面２２の位置が微小に変化するが、反射面２２のエッジ２３を決める際に、反射面モデルの当てはめる部分の位置も決める。

図８は、本発明の実施の形態１に係る位置測定装置の反射面位置計算部によって分割鏡の反射面の位置及び向きを決定する別の過程を例により説明する図である。図８の例では、カメラ１及びマーカー物体２の特徴点の位置及び仮想カメラ１Ｍ及び仮想マーカー物体２Ｍの特徴点の位置だけでなく、カメラ１の視点３１の位置も考慮して、反射面２２の位置及び向きを決める。

図８において、符号１２１の図は、カメラ１の視点３１と仮想カメラ１Ｍ及び仮想マーカー物体２Ｍの特徴点とを結ぶ線分を点線で示す。符号１２２の図は、カメラ１の視点３１と仮想カメラ１Ｍ及び仮想マーカー物体２Ｍの特徴点とを結ぶ線分（符号１２１の図を参照）のうちの左端の線分において、分割点の位置を決定する方法を説明する図である。カメラ１及びマーカー物体２の特徴点と、仮想カメラ１Ｍ及び仮想マーカー物体２Ｍの対応する特徴点とを結ぶ線分（符号１２２の図では、マーカー物体２の左端の特徴点と、仮想マーカー物体２Ｍの左端の特徴点とを結ぶ線分）を決められた分割比率で二分割し、この線分に直交する平面５２を決定する。この平面５２と、符号１２１の図に示した視点３１と仮想カメラ１Ｍ及び仮想マーカー物体２Ｍの特徴点を結ぶ線分との交点を、当該線分の分割点として求める。符号１２３の図は、カメラ１の視点と仮想カメラ１Ｍの視点とを通る直線の近傍において、符号１２１の図の複数の線分の分割点を通る近似平面５１を求めた図である。符号１２４の図は、カメラ１の視点と仮想カメラ１Ｍの視点とを通る直線と近似平面５１との交点を、鏡像中心点に決め、反射面２２の鏡像中心点の近傍で近似平面５１と一致するように反射面モデルを当てはめることによって決定された、反射面２２の位置及び向きを示す。

図８に示す方法で近似平面５１の位置及び向きを決定して反射面２２の位置及び向きを決定する方が、図７に示す方法よりも正確に、反射面２２の位置及び向きを決定することができる。仮想カメラ１Ｍの仮想的な視点３１Ｍとカメラ１及びマーカー物体２の特徴点とを結ぶ線分に対して、同様な処理を適用して、反射面２２の位置及び向きを決定してもよい。

反射面位置計算部１４によって分割鏡２１の反射面２２を含む平面又は曲面が決定されたとき（図７の符号１１４の図又は図８の符号１２４の図）、分割鏡２１の反射面２２を含む面として、境界が決まっていない平面又は曲面が当てはめられている状態にある。例えば、分割鏡２１が平面鏡であれば、平面鏡の法線方向（姿勢）がわかっているが、反射面２２のエッジ２３がどこにあるのか（平面鏡の位置）がわかっていない状態にある。そこで、目標物体位置決定部１５は、反射面２２のエッジ２３の位置を決定して目標物体である分割鏡２１の位置を決定する。

図４のステップＳ５において、目標物体位置決定部１５は、撮影画像内の分割鏡２１の非反射部分に基づいて、目標物体である分割鏡２１の位置を決定する。目標物体位置決定部１５は、目標物体の位置を決めるために、撮影画像から分割鏡２１の非反射部分を抽出する。目標物体の位置を決めるために使用する非反射部分として、ここでは、反射面２２のエッジ２３を用いる。目標物体位置決定部１５は、撮影画像内でのエッジの画素の位置に基づいて、カメラ１から反射面２２のエッジ２３上における複数の点などに向かう各直線を決定する。目標物体位置決定部１５は、反射面位置計算部１４によって計算された反射面２２を含む面と、各直線との各交点の位置を計算し、各交点を、反射面２２のエッジ２３上における各点として決定する。

分割鏡２１の反射面２２が曲面である場合、目標物体位置決定部１５は、撮影画像に基づいてエッジ２３上の各点と鏡像中心点３５との距離を計算し、これらの距離から、鏡像中心点３５に対応する反射面２２上の点の位置を計算し、反射面モデルに基づいて反射面２２の位置及び向きを推定する。目標物体位置決定部１５は、カメラ１からエッジ２３上の各点に向かう直線と、反射面２２との交点を、エッジ２３上の各点の位置として決める。

このように、処理装置４は、分割鏡２１の反射面２２に映ったカメラ１及びマーカー物体２の鏡像に対応した鏡像体を求め、求めた鏡像体に基づいて、分割鏡２１の３次元空間における位置を決定する。これにより、特別な光源及び広ダイナミックレンジのカメラを用いることなく、反射面を有する目標物体の３次元空間における位置を決定することができる。

実施の形態１によれば、このように、分割鏡２１の反射面２２に映ったカメラ１及びマーカー物体２の鏡像に対応した鏡像体の位置を計算し、その結果に基づいて鏡像変換の関係より分割鏡２１の反射面２２の位置及び向きを推定することができる。これにより、特別な光源及び広ダイナミックレンジのカメラを用いることなく、簡単な調整で、安価に、分割鏡２１の３次元空間における位置を安定的に測定することができる。

実施の形態２．
本発明の実施の形態２では、目標物体の位置を測定するために、実施の形態１の鏡像体を用いることなく、仮想撮影画像に含まれる特徴点の位置を計算し、実際の撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差が予め決められたしきい値未満になるように、反射面の位置及び向きを計算する。

図９は、本発明の実施の形態２に係る位置測定装置の構成を示すブロック図である。図９の位置測定装置は、図１の処理装置４に代えて、処理装置４Ａを備える。処理装置４Ａは、特徴点抽出部１１及び位置測定部１２Ａを備える。処理装置４Ａの特徴点抽出部１１は、図１の処理装置４の特徴点抽出部１１と同様に動作する。位置測定部１２Ａは、反射面位置計算部１４Ａ及び目標物体位置決定部１５を備える。反射面位置計算部１４Ａは、モデルデータとして予め記憶された反射面２２の形状と、特徴点データとして予め記憶された特徴点の位置とに基づいて、仮想的に決めた反射面の位置及び向きを繰り返し計算で修正することにより、反射面２２の位置及び向きを計算する。このとき、反射面位置計算部１４Ａは、仮想的に決定された位置及び向きを有する反射面に仮想的に映ったカメラ１及びマーカー物体２を、カメラ１により実際の撮影画像を取得したときと同じ撮影条件で仮想的に撮影して得られる仮想撮影画像に含まれる複数の特徴点の位置を計算し、仮想撮影画像に含まれる複数の特徴点の位置が撮影画像内の対応する複数の特徴点の位置にそれぞれ近接するように、反射面２２の位置及び向きを計算する。目標物体位置決定部１５は、モデルデータとして予め記憶された反射面及び非反射部分の位置関係と、反射面位置計算部１４Ａにより計算された反射面２２の位置及び向きとに基づいて、分割鏡２１の位置を決定する。

具体的には、反射面位置計算部１４Ａは、反射面２２の位置及び向きを仮想的に決定し、これらの仮想的に決定された位置及び向きを有する反射面（仮想反射面と呼ぶ）を用いて、実際の反射面２２の位置及び向きを計算する。反射面位置計算部１４Ａは、カメラ１及びマーカー物体２が仮想反射面に仮想的に映った状態で、仮想反射面に映ったカメラ１及びマーカー物体２を仮想的に撮影して得られる画像である仮想撮影画像に含まれる特徴点の位置を計算する。反射面位置計算部１４Ａは、仮想撮影画像内の特徴点の位置と実際に撮影された撮影画像内の対応する特徴点の位置との差がしきい値未満になるまで小さくなるように、仮想的に決めた反射面２２の位置及び向きを修正することを繰り返す。

反射面位置計算部１４Ａは、カメラ１により実際の撮影画像を取得したときと同じ撮影条件で仮想反射面に仮想的に映るカメラ１及びマーカー物体２の鏡像を仮想的に撮影して得られる仮想撮影画像に含まれる複数の特徴点の位置が、実際の撮影画像内の対応する複数の特徴点の位置にそれぞれ近接するように、仮想反射面の位置及び向きを繰り返し計算で修正する。

反射面位置計算部１４Ａは、仮想撮影画像内の特徴点の位置と実際の撮影画像内の対応する特徴点の位置との差を小さくするように、仮想反射面の位置及び向きを変更することによって計算する。反射面位置計算部１４Ａは、射影変換部１６及びサイズ変更部１７を備える。反射面位置計算部１４Ａの射影変換部１６及びサイズ変更部１７は、図１の鏡像体位置計算部１３の射影変換部１６及びサイズ変更部１７と同様に動作する。反射面位置計算部１４Ａは、射影変換部１６によって決定された射影変換と、サイズ変更部１７によって決定されたサイズ変更率とに基づいて、仮想反射面の位置及び向きを変更する。

図１０及び図１１を参照して、本発明の実施の形態２に係る位置測定装置によって実行される位置測定処理を説明する。図１０は、本発明の実施の形態２に係る位置測定装置によって実行される位置測定処理を説明するフローチャートである。図１１は、本発明の実施の形態２に係る位置測定装置によって実行される位置測定処理の反射面位置計算処理を説明するフローチャートである。

図１０の位置測定処理は、目標物体の位置を測定するために、図９の処理装置４Ａによって実行される。ステップＳ２１において、特徴点抽出部１１は、カメラ１により撮影された実際の撮影画像から特徴点を抽出し、抽出した特徴点に関する情報を位置測定部１２Ａに送る。ステップＳ２２において、反射面位置計算部１４Ａは、反射面位置計算処理を実行し、仮想反射面の位置及び向きを計算することにより、反射面２２の位置及び向きを計算する。

図１１のステップＳ３１において、反射面位置計算部１４Ａは、仮想反射面の位置及び向きの初期値を決定する。ステップＳ３２において、反射面位置計算部１４Ａは、仮想反射面の位置及び向きと、反射面２２のモデルとに基づき、仮想反射面にマーカー物体２が映る仮想撮影画像内の特徴点の位置を計算する。ステップＳ３３において、反射面位置計算部１４Ａは、撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差は、しきい値未満であるか否かを判断する。特徴点の位置の差がしきい値未満の場合、すなわちステップＳ３３がＹＥＳの場合は、図１１のフローチャートの処理を終了し、図１０のステップＳ２３に進む。特徴点の位置の差がしきい値以上の場合、すなわちステップＳ３３がＮＯの場合は、ステップＳ３４に進む。

ステップＳ３４において、反射面位置計算部１４Ａは、射影変換部１６を用いて、実際の撮影画像内の特徴点の位置又は仮想撮影画像内の特徴点の位置に適用する射影変換であって、仮想撮影画像内の特徴点によって形成される図形と実際の撮影画像内の対応する特徴点によって形成される図形とが互いに相似に近づくような射影変換を決定する。図１１のステップＳ３５では、決定された射影変換を実際の撮影画像内の特徴点の位置又は仮想撮影画像内の特徴点の位置に適用する。そして、ステップＳ３６において、反射面位置計算部１４Ａは、サイズ変更部１７を用いて、仮想撮影画像内の特徴点又は実際の撮影画像内の特徴点によって形成される図形に適用されるサイズ変更率であって、画像内の鏡像中心点３５の位置を変更することなく、仮想撮影画像内の特徴点の位置と実際の撮影画像内の対応する特徴点の位置との差を最小化するようなサイズ変更率を決定する。

ステップＳ３７において、反射面位置計算部１４Ａは、決定された射影変換に基づいて、仮想反射面の向きを変更する。ステップＳ３８において、反射面位置計算部１４Ａは、決定されたサイズ変更率に基づいて、カメラ１から仮想反射面への距離を変更する。

実際の撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差が、しきい値未満になるまで、反射面位置計算部１４ＡはステップＳ３２からＳ３８を繰り返す。反射面位置計算部１４Ａは、反復的な計算により、反射面２２の位置及び向きを取得する。

図１０のステップＳ２３において、目標物体位置決定部１５は、撮影画像内の分割鏡２１の非反射部分に基づいて、反射面２２のエッジ２３の位置を決定することにより、目標物体である分割鏡２１の位置を決定する。

実施の形態１では、鏡像体の位置を反復的に計算したが、実施の形態２では、仮想反射面の位置及び向きを反復的に計算している。

このように、処理装置４Ａは、仮想反射面に仮想的に映ったカメラ１及びマーカー物体２を仮想的に撮影して得られる仮想撮影画像に基づいて、分割鏡２１の３次元空間における位置を決定する。これにより、特別な光源及び広ダイナミックレンジのカメラを用いることなく、反射面を有する目標物体の３次元空間における位置を決定することができる。

実施の形態３．
本発明の実施の形態３では、反射面の曲率半径が未知である場合であっても、実際の撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差が予め決められたしきい値未満になるように、反射面の位置、向き、及び曲率半径を計算する。その他の点では、実施の形態３は、実施の形態２と同様である。

図１２は、本発明の実施の形態３に係る位置測定装置の構成を示すブロック図である。図１２の位置測定装置は、図９の処理装置４Ａに代えて、処理装置４Ｂを備える。記憶装置３に記憶されたモデルデータには、曲率半径を含まない反射面２２の形状と、反射面及び非反射部分の位置関係とが含まれる。処理装置４Ｂは、特徴点抽出部１１及び位置測定部１２Ｂを備える。処理装置４Ｂの特徴点抽出部１１は、図１の処理装置４の特徴点抽出部１１と同様に動作する。

位置測定部１２Ｂは、反射面位置計算部１４Ｂ及び目標物体位置決定部１５を備える。反射面位置計算部１４Ｂは、モデルデータとして予め記憶された反射面２２の形状と、特徴点データとして予め記憶された特徴点の位置とに基づいて、カメラ１及びマーカー物体２を仮想的に写す仮想反射面の位置、向き、及び曲率半径を計算することにより、反射面２２の位置、向き、及び曲率半径を計算する。反射面位置計算部１４Ｂは、仮想反射面に仮想的に映ったカメラ１及びマーカー物体２を、カメラ１により実際の撮影画像を取得したときと同じ撮影条件で仮想的に撮影して得られる仮想撮影画像に含まれる複数の特徴点の位置を計算し、仮想撮影画像に含まれる複数の特徴点の位置が実際の撮影画像内の対応する複数の特徴点の位置にそれぞれ近接するように、仮想反射面の位置、向き、及び曲率半径を計算する。目標物体位置決定部１５は、モデルデータとして予め記憶された反射面及び非反射部分の位置関係と、反射面位置計算部１４Ｂにより計算された反射面２２の位置及び向きとに基づいて、分割鏡２１の位置を決定する。

反射面位置計算部１４Ｂは、仮想撮影画像内の特徴点の位置と実際の撮影画像内の対応する特徴点の位置との差を小さくするように、仮想反射面の位置、向き、及び曲率半径を変更することによって計算する。反射面位置計算部１４Ｂは、射影変換部１６、サイズ変更部１７、及び曲率計算部１８を備える。反射面位置計算部１４Ｂの射影変換部１６及びサイズ変更部１７は、図１の鏡像体位置計算部１３の射影変換部１６及びサイズ変更部１７と同様に動作する。曲率計算部１８は、撮影画像内の３つ以上の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差に基づいて、かつ、撮影画像内又は仮想撮影画像内の鏡像中心点３５から実際の撮影画像内の特徴点又は仮想撮影画像内の特徴点までの距離に基づいて、反射面２２の曲率半径を推定する。実際に撮影された撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差は、反射面２２の仮定した曲率半径と実際の曲率半径の差に応じて決まる。反射面位置計算部１４Ｂは、射影変換部１６によって決定された射影変換と、サイズ変更部１７によって決定されたサイズ変更率と、曲率計算部１８によって計算された曲率半径に基づいて、仮想反射面の位置、向き、及び曲率半径を変更する。

図１３及び図１４を参照して、本発明の実施の形態３に係る位置測定装置によって実行される位置測定処理を説明する。図１３は、本発明の実施の形態３に係る位置測定装置によって実行される位置測定処理を説明するフローチャートである。図１４は、本発明の実施の形態３に係る位置測定装置によって実行される位置測定処理の反射面位置計算処理を説明するフローチャートである。

図１３にフローチャートを示す位置測定処理は、目標物体の位置を測定するために、図１２の処理装置４Ｂによって実行される。ステップＳ４１において、特徴点抽出部１１は、カメラ１により撮影された実際の撮影画像から特徴点を抽出し、抽出した特徴点に関する情報を位置測定部１２Ｂに送る。ステップＳ４２において、反射面位置計算部１４Ｂは、反射面位置計算処理を実行し、仮想反射面の位置、向き、及び曲率半径を計算することにより、反射面２２の位置、向き、及び曲率半径を計算する。

図１４に示すステップＳ５１において、反射面位置計算部１４Ｂは、仮想反射面の位置、向き、及び曲率半径の初期値を決定する。ステップＳ５２において、反射面位置計算部１４Ｂは、仮想反射面の位置、向き、及び曲率半径に基づき、仮想反射面にマーカー物体２が映る仮想撮影画像内の特徴点の位置を計算する。ステップＳ５３において、反射面位置計算部１４Ｂは、撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差は、しきい値未満であるか否かを判断する。特徴点の位置の差がしきい値未満の場合、すなわちステップＳ５３がＹＥＳ場合は、図１４のフローチャートの処理を終了し、図１３のステップＳ４３に進む。特徴点の位置の差がしきい値以上の場合、すなわちステップＳ５３がＮＯの場合は、ステップＳ５４に進む。

ステップＳ５４において、反射面位置計算部１４Ｂは、射影変換部１６を用いて、撮影画像内の特徴点の位置又は仮想撮影画像内の特徴点の位置に適用する射影変換であって、実際の撮影画像内の鏡像中心点３５の近傍の予め決められた範囲に含まれる実際の撮影画像内の特徴点によって形成される図形と、仮想撮影画像内の対応する特徴点によって形成される図形とが、互いに相似に近づくような射影変換を決定する。ステップＳ５５では、求めた射影変換を実際の撮影画像内の特徴点の位置又は仮想撮影画像内の特徴点の位置に適用する。そして、ステップＳ５６において、反射面位置計算部１４Ｂは、サイズ変更部１７を用いて、仮想撮影画像内の特徴点又は実際の撮影画像内の特徴点によって形成される図形に適用するサイズ変更率であって、実際の撮影画像内の鏡像中心点３５の近傍の予め決められた範囲に含まれる実際の撮影画像内の特徴点の位置と、仮想撮影画像内の対応する特徴点の位置との差を最小化するようなサイズ変更率を決定する。サイズ変更率を求める際に使用する画像内の鏡像中心点３５の近傍の予め決められた範囲は、十分な個数の特徴点が入るように、かつ、反射面２２の曲率に起因する実際の撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差が許容できる程度に小さくなるように決める。

ステップＳ５７において、反射面位置計算部１４Ｂは、曲率計算部１８を用いて、撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差に基づいて、仮定した曲率半径と実際の曲率半径の差を計算し、次の繰り返し計算で使用する仮想反射面の曲率半径を決定する。

図１５は、本発明の実施の形態３に係る位置測定装置の曲率計算部１８によって反射面の曲率半径を推定する原理を例により説明する図である。符号１３１の図は、反射面２２が曲面であるとき、実際の撮影画像に反射面２２とマーカー物体２の鏡像４４とが映っている場合を示す。マーカー物体２の鏡像４４は、複数の特徴点４４ａを有する。符号１３２の図は、図１４のステップＳ５４で決定された射影変換と、図１４のステップＳ５５で決定されたサイズ変更率とを適用した後の、仮想撮影画像におけるマーカー物体２の像４５を示す。マーカー物体２の像４５は、複数の特徴点４５ａを含む。符号１３２の図は、平面の反射鏡に仮想的に映ったマーカー物体２を予め決められた撮影条件で仮想的に撮影して得られる仮想撮影画像に含まれる特徴点４５ａの位置を示す。符号１３３の図は、黒丸で示した符号１３１の特徴点４４ａの位置と、白丸で示した符号１３２の特徴点４５ａの位置との差を示す。

現実の直線が曲面の反射面２２に映ったとき、反射面２２上の鏡像２４において、鏡像中心点３５から遠い部分では、現実の直線は曲線として映る。直線が曲面で反射される場合には、視点位置から反射面２２に映った当該直線の両端に向かう経路の間の角度差は、反射面２２の曲率半径に応じて、直線が平面鏡で反射された場合から変化する。例えば、曲面が凹面の場合は、曲率半径が小さいほど、直線が平面鏡で反射された場合よりも角度差が大きくなるように変化する。そして、反射面２２に映った直線上の点が鏡像中心点から遠くなるほど、角度差が大きくなる度合いが大きくなるという非線形性があるので、直線が曲がって映る。

現実の直線が曲面で反射された鏡像では曲線になる、その曲線の曲がりの程度に基づいて、反射面２２の曲率半径を推定できる。図１４のステップＳ５４で決定された射影変換と、図１４のステップＳ５５で決定されたサイズ変更率とを適用した特徴点の位置は、反射面２２が仮定した曲率半径の曲面であることによるゆがみを持つものである。実際の撮影画像内の全ての特徴点４４ａと、決定された射影変換及び決定されたサイズ変更率を適用した後の仮想撮影画像内の対応する特徴点４５ａの位置との差は、反射面２２が曲面であるときの仮定した曲率半径と実際の曲率半径との差に応じて、かつ、実際の撮影画像又は仮想撮影画像内の鏡像中心点３５から特徴点の位置までの距離に応じて決まる。従って、実際の撮影画像内の特徴点４４ａの位置及び仮想撮影画像内での対応する特徴点４５ａの位置の差と、実際の撮影画像又は仮想撮影画像内の鏡像中心点３５から特徴点４４ａ又は特徴点４５ａの位置までの距離とに基づいて、反射面２２の曲率半径を推定することができる。撮影画像又は仮想撮影画像での鏡像中心点３５と特徴点の間の画像上での距離と、その距離における特徴点の位置の差（ズレ）との比に基づいて、曲率半径が計算される。実際の撮影画像又は仮想撮影画像上での鏡像中心点３５からの距離及び特徴点の位置の差は、その距離又は位置の差に入る画素の個数、及び、カメラの視点位置からの直線がなす角度差などにより表現される。複数の特徴点で求まる複数の曲率半径を重み付け平均するなどして、次回の繰り返し計算で使用する曲率半径を得るための修正量を計算してもよい。

図１４のステップＳ５８において、反射面位置計算部１４Ｂは、決定された射影変換に基づいて、仮想反射面の向きを変更する。ステップＳ５９において、反射面位置計算部１４Ｂは、決定されたサイズ変更率に基づいて、カメラ１から仮想反射面への距離を変更する。ステップＳ６０において、反射面位置計算部１４Ｂは、決定された曲率半径に基づいて、仮想反射面の曲率半径を変更する。

実際の撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差が、しきい値未満になるまで、反射面位置計算部１４ＢはステップＳ５２からＳ６０を繰り返す。反射面位置計算部１４Ｂは、反復的な計算により、反射面２２の位置、向き、及び曲率半径を取得する。

図１３のステップＳ４３において、目標物体位置決定部１５は、撮影画像内の分割鏡２１の非反射部分に基づいて、反射面２２のエッジ２３の位置を決定することにより、目標物体である分割鏡２１の位置を決定する。

反射面２２の曲率半径は、異なる方向で異なる値を持つように決定されてもよい。反射面２２は、反射面２２内の位置に応じて予め決められた式に従って曲率半径が変化するようにモデル化されてもよい。反射面２２を、放物面及び双曲面などの数式で表現し、数式で使用されるパラメータを変化させるようにしてもよい。

このように、処理装置４Ｂは、仮想反射面に仮想的に映ったカメラ１及びマーカー物体２を仮想的に撮影して得られる仮想撮影画像に基づいて、分割鏡２１の３次元空間における位置を決定する。これにより、特別な光源及び広ダイナミックレンジのカメラを用いることなく、反射面を有する目標物体の３次元空間における位置を決定することができる。

実施の形態４．
本発明の実施の形態４では、方向に応じて異なる曲率半径を有する、既知の形状の反射面の位置及び姿勢を決定する。

図１６は、本発明の実施の形態４に係る位置測定装置の構成を示すブロック図である。分割鏡２１Ｃの反射面２２Ｃは、カメラ１から見て、凹面の球面と凹面の円筒面との組合せで近似できると仮定する。分割鏡２１Ｃの反射面２２Ｃにおいて、円筒面の凹み量が最大になり、かつ一定になる方向では、曲率半径が最大すなわち曲率が最小となる方向になる。したがって、円筒面の凹み量が一定になる方向を、最小曲率方向と呼ぶ。例えば、図１６の表示装置５に示す反射面２２Ｃにおいて、右上の角から左下の角への対角線の方向を、反射面２２Ｃの最小曲率方向とする。反射面２２Ｃの姿勢は、最小曲率方向がどの方向を向いているかという情報も含む。

図１６の位置測定装置は、図１の処理装置４に代えて、処理装置４Ｃを備える。処理装置４Ｃは、特徴点抽出部１１及び位置測定部１２Ｃを備える。処理装置４Ｃの特徴点抽出部１１は、図１の処理装置４の特徴点抽出部１１と同様に動作する。位置測定部１２Ｃは、反射面位置計算部１４Ｃ及び目標物体位置決定部１５Ｃを備える。反射面位置計算部１４Ｃは、モデルデータとして予め記憶された反射面２２Ｃの形状と、特徴点データとして予め記憶された特徴点の位置とに基づいて、カメラ１及びマーカー物体２を仮想的に写す仮想反射面の位置及び姿勢を計算することにより、反射面２２Ｃの位置及び姿勢を計算する。反射面位置計算部１４Ｃは、仮想反射面に仮想的に映ったカメラ１及びマーカー物体２を、カメラ１により実際の撮影画像を取得したときと同じ撮影条件で仮想的に撮影して得られる仮想撮影画像に含まれる複数の特徴点の位置を計算し、仮想撮影画像に含まれる複数の特徴点の位置が実際の撮影画像内の対応する複数の特徴点の位置にそれぞれ近接するように、仮想反射面の位置及び姿勢を計算する。目標物体位置決定部１５Ｃは、モデルデータとして予め記憶された反射面及び非反射部分の位置関係と、反射面位置計算部１４Ｃにより計算された反射面２２Ｃの位置及び姿勢とに基づいて、反射面２２Ｃの最小曲率方向を決定し、さらに、分割鏡２１の位置を決定する。

反射面位置計算部１４Ｃは、仮想撮影画像内の特徴点の位置と実際の撮影画像内の対応する特徴点の位置との差を小さくするように、仮想反射面の位置及び姿勢を変更することによって計算する。反射面位置計算部１４Ｃは、射影変換部１６及びサイズ変更部１７を備える。反射面位置計算部１４Ｃの射影変換部１６及びサイズ変更部１７は、図１の鏡像体位置計算部１３の射影変換部１６及びサイズ変更部１７と同様に動作する。反射面位置計算部１４Ｃは、射影変換部１６によって決定された射影変換と、サイズ変更部１７によって決定されたサイズ変更率とに基づいて、仮想反射面の位置及び姿勢を変更する。

図１７は、本発明の実施の形態４に係る位置測定装置によって実行される位置測定処理を説明するフローチャートである。図１７の位置測定処理は、目標物体の位置を測定するために、図１６の処理装置４Ｃによって実行される。

図１７のステップＳ６１において、特徴点抽出部１１は、カメラ１により撮影された実際の撮影画像から特徴点を抽出し、抽出した特徴点に関する情報を位置測定部１２Ｃに送る。ステップＳ６２において、反射面位置計算部１４Ｃは、仮想反射面の位置、姿勢、及び最小曲率方向の初期値を決定する。ステップＳ６３において、反射面位置計算部１４Ｃは、仮想反射面の位置、姿勢、及び最小曲率方向に基づき、仮想反射面にマーカー物体２が映る仮想撮影画像内の特徴点の位置を計算する。ステップＳ６４において、反射面位置計算部１４Ｃは、撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差は、しきい値未満であるか否かを判断する。特徴点の位置の差がしきい値未満の場合、すなわちステップＳ６４がＹＥＳの場合は、処理を終了する。

特徴点の位置の差がしきい値以上の場合、すなわちステップＳ６４がＮＯの場合は、ステップＳ６５に進む。ステップＳ６５において、反射面位置計算部１４Ｃは、射影変換部１６を用いて、撮影画像内の特徴点の位置又は仮想撮影画像内の特徴点の位置に適用する射影変換であって、仮想撮影画像内の特徴点によって形成される図形と実際の撮影画像内の対応する特徴点によって形成される図形とが互いに相似に近づくような射影変換を決定する。ステップＳ６６において、決定された射影変換を実際の撮影画像内の特徴点の位置又は仮想撮影画像内の特徴点の位置に適用する。ステップＳ６７において、反射面位置計算部１４Ｃは、サイズ変更部１７を用いて、仮想撮影画像内の特徴点又は実際の撮影画像内の特徴点によって形成される図形に適用するサイズ変更率であって、仮想撮影画像内の特徴点の位置と実際の撮影画像内の対応する特徴点の位置との差を最小化するようなサイズ変更率を決定する。ステップＳ６８において、反射面位置計算部１４Ｃは、決定された射影変換に基づいて、仮想反射面の姿勢を変更する。ステップＳ６９において、反射面位置計算部１４Ｃは、決定されたサイズ変更率に基づいて、カメラ１から仮想反射面への距離を変更する。ステップＳ７０において、目標物体位置決定部１５Ｃは、撮影画像内の分割鏡２１の非反射部分に基づいて、分割鏡２１の位置及び最小曲率方向を決定する。

実際の撮影画像内の特徴点の位置と仮想撮影画像内の対応する特徴点の位置との差が、しきい値未満になるまで、反射面位置計算部１４Ｃ及び目標物体位置決定部１５ＣはステップＳ６３からＳ７０を繰り返す。反射面位置計算部１４Ｃ及び目標物体位置決定部１５Ｃは、反復的な計算により、反射面２２Ｃの位置、姿勢、及び最小曲率方向を取得する。

このように、処理装置４Ｃは、仮想反射面に仮想的に映ったカメラ１及びマーカー物体２を仮想的に撮影して得られる仮想撮影画像に基づいて、分割鏡２１Ｃの３次元空間における位置を決定する。これにより、特別な光源及び広ダイナミックレンジのカメラを用いることなく、反射面を有する目標物体の３次元空間における位置を決定することができる。

実施の形態５．
実施の形態１に係る位置測定装置では、特徴点データとして予め記憶された特徴点間の位置関係は、実際の特徴点間の位置関係に対して鏡像関係（反転した位置関係）になっていた。一方、実施の形態５では、実際の特徴点間の位置関係と同じものを特徴点データとして用いる。

図１８は、本発明の実施の形態５に係る位置測定装置の構成を示すブロック図である。図１８の位置測定装置は、図１の処理装置４に代えて、処理装置４Ｄを備える。処理装置４Ｄは、図１の特徴点抽出部１１及び位置測定部１２に加えて、画像反転部１９を備える。画像反転部１９は、カメラ１により撮影された画像の左右を反転した反転画像６Ｄを、撮影画像として特徴点抽出部１１に送る。図１８の表示装置５に示すように、反転画像６Ｄには、分割鏡２１の反射面２２及びエッジ２３の左右が反転した画像と、分割鏡２１の反射面２２に映ったカメラ１及びマーカー物体２の左右が反転した鏡像２４Ｄ（すなわち、実際と同じ位置関係のカメラ１及びマーカー物体２の像）とが含まれる。記憶装置３（第３の記憶部）は、実際の特徴点間の位置関係と同じもの（非反転の位置関係を有する特徴点）を特徴点データとして予め記憶する。その他の点では、実施の形態５は、実施の形態１と同様である。

処理装置４Ｄは、図４及び図５の位置測定処理を実行する。図１８の位置測定部１２は、図１の位置測定部１２と同様に、鏡像体に含まれる複数の特徴点の位置を計算し、鏡像体の特徴点の位置に基づいて反射面２２の位置及び向きを計算することができる。鏡像体位置計算部１３は、反転画像である撮影画像と、非反転の位置関係を有する特徴点データとに基づいて、鏡像体に含まれる特徴点の位置を計算する。反射面位置計算部１４及び目標物体位置決定部１５は、反射面２２の位置及び向きを計算し、分割鏡２１の位置を決定する。

実施の形態５の画像反転部１９及び特徴点データ（実際の特徴点間の位置関係と同じもの）は、実施の形態２から４にも適用可能である。

実施の形態６．
図１９は、本発明の実施の形態６に係る位置測定装置の構成を示すブロック図である。図１９の位置測定装置は、図１の位置測定装置の構成に加えて、カメラ１（及びマーカー物体２）を移動させる駆動装置６１をさらに備える。また、図１９の位置測定装置は、図１の処理装置４に代えて、処理装置４Ｅを備える。処理装置４Ｅは、実施の形態１から５のうちの１つの処理装置の構成を備えたことに加えて、駆動装置６１及びカメラ１の撮影方向を制御するカメラ制御部７１をさらに備える。駆動装置６１とカメラ制御部７１は、カメラ１の視点位置及び撮影方向のいずれか少なくとも一つが異なるようにカメラ１を移動させるカメラ駆動装置を構成する。

分割鏡２１のサイズがカメラ１の視野よりも大きい場合に対処するために、図１９に示すように、駆動装置６１によりカメラ１を移動して視野を広げてもよい。この場合、カメラ１が移動しても一貫した座標系を用いることができるように、座標の原点は、移動するカメラ１の位置ではなく、駆動装置６１の位置又は他の固定位置に設けて、カメラ１の位置を駆動装置６１に対して予め校正しておく。

処理装置４Ｅは、視点位置及び撮影方向の少なくとも一つが異なる複数組の撮影条件のうちの少なくとも２組の撮影条件で分割鏡２１を撮影して複数の撮影画像を取得する。例えば、処理装置４Ｅは、駆動装置６１によりカメラ１を移動させて、複数の位置で（すなわち複数組の撮影条件で）分割鏡２１を撮影して複数の撮影画像を取得する。処理装置４Ｅは、複数の撮影画像と、各撮影画像を撮影した時の撮像条件とを組み合わせて、記憶装置３（第１の記憶部）に記憶する。処理装置４Ｅの特徴点抽出部は、複数の撮影画像から複数の特徴点をそれぞれ抽出し、複数の撮影画像内の特徴点の位置を決定する。以下、１つの撮影画像から抽出された複数の特徴点の位置を含む集合を、特徴点集合と呼ぶ。処理装置４Ｅは、抽出された撮影画像内の特徴点の位置を、対応する撮影画像及び撮影条件と組み合わせて、記憶装置３（第１の記憶部）に記憶する。記憶装置３（第１の記憶部）は、撮影画像と、当該撮影画像を撮影したときの撮像条件と、当該撮影画像の特徴点集合とをそれぞれ含む、複数の撮影データセットを記憶する。撮影データセットは、他の情報を含んでもよい。処理装置４Ｅの位置測定部は、１つの撮影データセットについて、実施の形態１から実施の形態５の何れかの処理装置と同様に位置測定処理を実行し、分割鏡２１の３次元空間における位置を決定してもよい。あるいは、処理装置４Ｅは、複数の撮影データセットを組み合わせて処理して位置測定処理を実行し、分割鏡２１の３次元空間における位置を決定してもよい。こうすることで、カメラ１の視野よりも大きなサイズを有する分割鏡２１の３次元空間における位置を測定することができる。

例えば、処理装置４Ｅの位置測定部は、モデルデータと、特徴点データと、複数の撮影画像にそれぞれ対応する複数の特徴点集合と、複数の撮影画像にそれぞれ対応する複数の撮像条件とに基づいて、分割鏡２１の位置を計算してもよい。

処理装置４Ｅが鏡像体位置計算部を有する場合、鏡像体位置計算部は、撮影データセットのそれぞれについて、鏡像体を当該撮影条件で仮想的に撮影して得られる仮想撮影画像に含まれる複数の特徴点の位置が、当該撮影条件で撮影した実際の撮影画像内の対応する複数の特徴点の位置にそれぞれ近接するように、鏡像体に含まれる複数の特徴点の位置を計算してもよい。言い換えると、鏡像体位置計算部は、複数の撮影データセットにそれぞれ対応する複数の鏡像体を求める。次いで、処理装置４Ｅの反射面位置計算部は、視点位置及び特徴点データから決まるカメラ１及びマーカー物体２の特徴点の位置と、複数の撮影データセットにそれぞれ対応する複数の鏡像体に含まれる複数の特徴点の位置と、反射面２２の曲率半径とに基づいて、反射面２２の位置及び向きを計算してもよい。

反射面位置計算部は、複数の撮影データセットにそれぞれ対応する複数の鏡像体の特徴点の位置を、撮影データセットごとに別個に処理しても、組み合わせて処理してもよい。組み合わせる場合には、組み合わせ方法は任意である。すべての撮影データセットに対応する各鏡像体の特徴点の位置を同時に処理しても、又は順番に処理してもよい。予め決められた個数（例えば２つなど）の撮影データセットごとに、各撮影データセットに対応する各鏡像体の特徴点の位置を同時に処理してもよい。反射面位置計算部は、撮影データセットごとに別個に処理して計算した反射面の位置及び向きと、複数の撮影データセットの組み合わせを処理して計算した反射面の位置及び向きとを、さらに組み合わせて処理してもよい。

処理装置４Ｅの目標物体位置決定部は、複数の画像で撮影された分割鏡２１の部分ごとに処理して、あるいは複数の画像で撮影された分割鏡２１の複数の部分を同時に処理して、モデルデータに基づき、目標物体である分割鏡２１の位置を決定してもよい。

処理装置が仮想反射面を用いて反射面の位置及び向きを求める場合（鏡像体を求めない場合）でも、反射面位置計算部は、複数の撮影データセットに対応する仮想反射面を別個に処理しても、任意に組み合わせて処理してもよい。

このように、反射面位置計算部は、複数の撮影データセットに対応して入力される入力データである、複数の鏡像体の特徴点の位置（実施の形態１）又は複数の特徴点集合（実施の形態２から実施の形態４）から、反射面２２の位置及び向きを計算する。

また、処理装置４Ｅの反射面位置計算部は、複数の撮影データセットにそれぞれ対応する複数の反射面２２の位置及び向きを計算してもよい。次いで、処理装置４Ｅの目標物体位置決定部は、モデルデータとして予め記憶された反射面及び非反射部分の位置関係と、反射面位置計算部によって計算された複数の反射面２２の位置及び向きの組み合わせに基づいて、分割鏡２１の位置を決定してもよい。

実施の形態６について説明したことは、他の実施の形態でも、異なる撮影条件で撮影された撮影画像を使用して目標物体の位置を求める場合に適用可能である。

実施の形態７．
図２０は、本発明の実施の形態７に係る位置測定装置の構成を示すブロック図である。図２０の位置測定装置は、図１の位置測定装置の構成に加えて、位置測定装置は例えば３つのカメラ１ａ，１ｂ，１ｃ及びマーカー物体２ａ，２ｂ，２ｃと、各カメラ１ａ，１ｂ，１ｃを支持する固定ジグ６２とを備える。各カメラ１ａ，１ｂ，１ｃは、反射面２２のエッジ２３上における異なる点が入る異なる領域をそれぞれ撮影する。また、図２０の位置測定装置は、実施の形態６の処理装置４Ｅに代えて、処理装置４Ｆを備える。処理装置４Ｆは、処理装置４Ｅとほぼ同様であるが、カメラ１ａ，１ｂ，１ｃの撮影方向を制御するカメラ制御部７１Ｆを備える。位置測定装置は、複数のカメラの中のいずれか少なくとも一つのカメラを移動させる駆動装置を備えてもよい。移動できるカメラに関しては、カメラ制御部７１Ｆが駆動装置も制御する。少なくとも一つのカメラの視点位置及び撮影方向は固定されていてもよい。カメラ１ａ，１ｂ，１ｃとマーカー物体２ａ，２ｂ，２ｃの位置関係は、カメラごとに異なってもよいし、同じものがあってもよい。

実施の形態６のように、大きなサイズを有する分割鏡２１の３次元空間における位置を測定するためにカメラ１を移動させる場合には、カメラの移動に時間を要するので、測定に時間がかかる。従って、図２０に示すように、複数（例えば、３つ）のカメラ１ａ，１ｂ，１ｃ及びマーカー物体２ａ，２ｂ，２ｃを用いることで、カメラを移動させなくても、分割鏡２１の全体の３次元空間における位置を一度に測定することができる。各カメラ１ａ，１ｂ，１ｃの位置は、基準となる世界座標系を設定し、世界座標系上で予め校正しておく。

処理装置４Ｆは、各カメラ１ａ，１ｂ，１ｃによって撮影された分割鏡２１の各撮影画像から、反射面２２のエッジ２３の異なる区間を抽出し、撮影画像内でのエッジ上の画素の位置に基づき、各カメラ１ａ，１ｂ，１ｃの何れかから反射面２２のエッジ２３の対応する区間上における少なくとも１つの点に向かう各直線を決定する。カメラ１ａ，１ｂ，１ｃのそれぞれから、反射面２２のエッジ２３上の１つ以上の点の位置を測定する。例えば、位置測定装置が２つのカメラを備えている場合は、２台のカメラの合計で、反射面２２のエッジ２３の対応する区間上における少なくとも３つの点に向かう直線を決定する。分割鏡２１の反射面２２を含む面と各直線との各交点の位置を計算し、各交点を、反射面２２のエッジ２３上における各点として決定する。なお、近似平面の位置を決定する際に、各カメラ１ａ，１ｂ，１ｃで撮影された撮影画像ごとに別個に処理してもよい。それに代わって、反射面２２の全体として誤差が最小になるように、反射面モデルに基づいて、各カメラでの近似平面を決めるようにしてもよい。

こうして得られた、分割鏡２１上の少なくとも３点の位置を、分割鏡２１の把持機構が処理しやすいように、分割鏡２１の予め決められた基準位置と、分割鏡２１の反射面２２が向く方向（反射面方向）と、分割鏡２１の把持部の反射面方向の周囲での位置などに変換する。以上により、特別な光源及び広ダイナミックレンジのカメラを用いることなく、分割鏡の３次元空間における位置を決定することができる。また、カメラ１ａ，１ｂ，１ｃによる１度の撮影で得られた画像に基づいて分割鏡２１の３次元空間における位置を決定することができ、計算時間を短縮することができる。

処理装置４Ｆは、カメラ１ａ，１ｂ，１ｃのうちの１つのみによって撮影された分割鏡２１の撮影画像から、分割鏡２１の反射面２２に映ったカメラ及びマーカー物体の鏡像２４に含まれる複数の特徴点を抽出する。処理装置４Ｆは、抽出された各特徴点の位置と、記憶装置３に記憶された対応する各特徴点の位置とを結ぶ線分を、反射面の曲率半径から決まる分割比率で二分割する各点の位置を計算し、二分割する各点を分割鏡２１の反射面上の点として決定する。処理装置４Ｆは、抽出された各特徴点と記憶装置３に記憶された対応する各特徴点とを結ぶ線分を二分割する各点に平面又は曲面の方程式を当てはめて、分割鏡２１の反射面２２を含む面を決定する。処理装置４Ｆは、各カメラ１ａ，１ｂ，１ｃによって撮影された撮影画像から反射面２２のエッジ２３を抽出し、各カメラ１ａ，１ｂ，１ｃから反射面２２のエッジ２３上における複数の点に向かう各直線を決定し、分割鏡２１の反射面を含む面と各直線との各交点の位置を計算し、各交点を反射面２２のエッジ２３上における各点として決定する。

処理装置４Ｆは、カメラ１ａ，１ｂ，１ｃによって撮影された画像を用いて、実施の形態１の処理装置４と同様に分割鏡２１の３次元空間における位置を決定する処理を実行することで、各カメラの視野よりも大きなサイズを有する分割鏡２１の３次元空間における位置を高速に測定することができる。

実施の形態７によれば、カメラの数を２個以上にして、各カメラで撮影できる範囲内の反射面２２のエッジ２３上に１個以上の点の位置を決め、３点以上で目標物体の位置を求めることができる。実施の形態７によれば、目標物体の形状モデルを、測定された目標物体の位置との誤差の総和が最小になるように、目標物体の形状モデルを配置することができる。

変形例．
処理装置４から４Ｆにより分割鏡の３次元空間における位置を決定する処理は、専用のハードウェア装置によって実行されても、汎用プロセッサ上で動作するソフトウェアによって実行されてもよい。処理装置のプロセッサは、例えば、カメラ１の視点位置及び撮影方向を含む撮影条件を第１の記憶部に記憶するステップと、反射面を有する分割鏡２１の形状を含むモデルデータを第２の記憶部に記憶するステップと、複数の特徴点を有するマーカー物体をカメラ１に対して予め決められた位置に配置するステップと、視点位置及び特徴点の間の互いの位置関係を表す特徴点データを第３の記憶部に記憶するステップと、特徴点のうちの複数個が映っている反射面２２の少なくとも一部を含む撮影画像をカメラ１により取得するステップと、撮影画像から複数の特徴点を抽出し、撮影画像内の特徴点の位置を決定するステップと、撮影条件と、モデルデータと、特徴点データと、撮影画像内の特徴点の位置とに基づいて、分割鏡２１の位置を計算するステップとを実行する。

上記実施の形態は、いずれも本発明の趣旨の範囲内で各種の変形が可能である。上記実施の形態は本発明を説明するためのものであり、本発明の範囲を限定することを意図したものではない。本発明の範囲は実施形態よりも添付した請求項によって示される。請求項の範囲内、および発明の請求項と均等の範囲でなされた各種変形は本発明の範囲に含まれる。

１，１ａ，１ｂ，１ｃ カメラ、１Ｍ 仮想カメラ、２，２ａ，２ｂ，２ｃ マーカー物体、２Ｍ 仮想マーカー物体、３ 記憶装置、４，４Ａ，４Ｂ，４Ｃ，４Ｄ，４Ｅ，４Ｆ 処理装置、５ 表示装置、６，６Ｄ 画像、１１ 特徴点抽出部、１２，１２Ａ，１２Ｂ，１２Ｃ 位置測定部、１３ 鏡像体位置計算部、１４，１４Ａ，１４Ｂ，１４Ｃ 反射面位置計算部、１５， 目標物体位置決定部、１６ 射影変換部、１７ サイズ変更部、１８ 曲率計算部、１９ 画像反転部、２１，１２Ｃ 分割鏡、２２，２２Ｃ 反射面、２３ エッジ、２４，２４Ｄ 鏡像、６１ 駆動装置、６２ 固定ジグ、７１，７１Ｆ カメラ制御部。

Claims (16)

1. 反射面を有する目標物体を撮影することにより前記反射面の少なくとも一部が入った撮影画像を取得するカメラと、
   前記カメラの視点位置及び撮影方向を含む撮影条件を記憶する第１の記憶部と、
   前記目標物体の形状を含むモデルデータを記憶する第２の記憶部と、
   複数の特徴点を有し、前記カメラに対して予め決められた位置に固定されたマーカー物体と、
   前記視点位置及び前記特徴点の間の互いの位置関係を表す特徴点データを記憶する第３の記憶部と、
   前記特徴点のうちの複数個が前記反射面内に映った状態で前記カメラにより取得された撮影画像から複数の前記特徴点を抽出し、前記撮影画像内の前記特徴点の位置を決定する特徴点抽出部と、
   前記撮影条件と、前記モデルデータと、前記特徴点データと、前記撮影画像内の前記特徴点の位置とに基づいて、前記目標物体の位置を計算する位置測定部とを備えた位置測定装置。
2. 前記目標物体は、前記反射面及び非反射部分を有し、
   前記モデルデータは、前記反射面の曲率半径を含む前記反射面の形状と、前記反射面及び前記非反射部分の位置関係とを含み、
   前記位置測定部は、
   前記特徴点データに基づいて、前記反射面に対して前記マーカー物体とは反対側に仮想的に存在する前記マーカー物体の鏡像体に含まれる複数の前記特徴点の位置を計算する鏡像体位置計算部であって、前記鏡像体を前記撮影条件で仮想的に撮影して得られる仮想撮影画像に含まれる複数の前記特徴点の位置が前記撮影画像内の対応する複数の前記特徴点の位置にそれぞれ近接するように、前記鏡像体に含まれる複数の前記特徴点の位置を計算する鏡像体位置計算部と、
   前記視点位置及び前記特徴点データから決まる前記マーカー物体の前記特徴点の位置と、計算された前記鏡像体の前記特徴点の位置と、前記反射面の曲率半径とに基づいて、前記反射面の位置及び向きを計算する反射面位置計算部と、
   前記反射面及び前記非反射部分の位置関係と、前記計算された反射面の位置及び向きとに基づいて、前記目標物体の位置を決定する目標物体位置決定部とを備えることを特徴とする請求項１に記載の位置測定装置。
3. 前記鏡像体位置計算部は、前記仮想撮影画像内の前記特徴点の位置と前記撮影画像内の対応する前記特徴点の位置との差を小さくするように、前記鏡像体に含まれる複数の前記特徴点の位置を計算する請求項２に記載の位置測定装置。
4. 前記鏡像体位置計算部は、
   前記撮影画像内の前記特徴点の位置又は前記仮想撮影画像内の前記特徴点の位置に適用される射影変換であって、前記仮想撮影画像内の前記特徴点によって形成される図形と前記撮影画像内の対応する前記特徴点によって形成される図形とが互いに相似に近づくような射影変換を決定する射影変換部と、
   前記撮影画像内の前記特徴点の位置又は前記仮想撮影画像内の前記特徴点の位置に決定された前記射影変換を適用した後に、前記仮想撮影画像内の前記特徴点によって形成される図形又は前記撮影画像内の対応する前記特徴点によって形成される図形に適用されるサイズ変更率であって、前記仮想撮影画像内の前記特徴点の位置と前記撮影画像内の対応する前記特徴点の位置との差を小さくするようなサイズ変更率を決定するサイズ変更部とを備え、
   前記鏡像体位置計算部は、決定された前記射影変換及び決定された前記サイズ変更率に基づいて、前記鏡像体に含まれる複数の前記特徴点の位置を計算する請求項３に記載の位置測定装置。
5. 前記モデルデータは、前記反射面の形状を表す反射面モデルを含み、
   前記反射面位置計算部は、前記視点位置を通りかつ前記反射面に直交する直線と前記反射面との交点の近傍において前記反射面を近似する近似平面の位置及び向きを決定し、前記交点において前記近似平面と接するように前記反射面モデルの位置及び向きを決定することにより、前記反射面の位置及び向きを決定する請求項２から請求項４までのうちの１つに記載の位置測定装置。
6. 前記目標物体は、前記反射面及び非反射部分を有し、
   前記モデルデータは、前記反射面の形状と、前記反射面及び前記非反射部分の位置関係とを含み、
   前記位置測定部は、
   前記反射面の形状と、前記特徴点データとに基づいて、前記反射面の位置及び向きを計算する反射面位置計算部であって、仮想的に決定された位置及び向きを有する前記反射面に仮想的に映った前記特徴点を前記撮影条件で仮想的に撮影して得られる仮想撮影画像に含まれる複数の前記特徴点の位置を計算し、前記仮想撮影画像に含まれる複数の前記特徴点の位置が前記撮影画像内の対応する複数の前記特徴点の位置にそれぞれ近接するように、前記反射面の位置及び向きを計算する反射面位置計算部と、
   前記反射面及び前記非反射部分の位置関係と、前記計算された反射面の位置及び向きとに基づいて、前記目標物体の位置を決定する目標物体位置決定部とを備える請求項１に記載の位置測定装置。
7. 前記反射面位置計算部は、前記仮想撮影画像内の前記特徴点の位置と前記撮影画像内の対応する前記特徴点の位置との差を小さくするように、前記反射面の位置及び向きを計算する請求項６に記載の位置測定装置。
8. 前記反射面位置計算部は、
   前記撮影画像内の前記特徴点の位置又は前記仮想撮影画像内の前記特徴点の位置に適用される射影変換であって、前記仮想撮影画像内の前記特徴点によって形成される図形と前記撮影画像内の対応する前記特徴点によって形成される図形とが互いに相似に近づくような射影変換を決定する射影変換部と、
   前記撮影画像内の前記特徴点の位置又は前記仮想撮影画像内の前記特徴点の位置に決定された前記射影変換を適用した後に、前記仮想撮影画像内の前記特徴点によって形成される図形又は前記撮影画像内の対応する前記特徴点によって形成される図形に適用されるサイズ変更率であって、前記仮想撮影画像内の前記特徴点の位置と前記撮影画像内の対応する前記特徴点の位置との差を小さくするようなサイズ変更率を決定するサイズ変更部とを備え、
   前記反射面位置計算部は、前記決定された射影変換及び前記決定されたサイズ変更率に基づいて、前記反射面の位置及び向きを計算する請求項７に記載の位置測定装置。
9. 前記反射面位置計算部は、前記撮影画像内の前記特徴点の位置と前記仮想撮影画像内の対応する前記特徴点の位置との差に基づいて、かつ、前記視点位置を通りかつ前記反射面に直交する直線と前記反射面との交点に対応する前記撮影画像内又は前記仮想撮影画像内の点から前記撮影画像内の前記特徴点又は前記仮想撮影画像内の前記特徴点までの距離に基づいて、前記反射面の曲率半径を推定する曲率計算部を備える請求項７又は請求項８に記載の位置測定装置。
10. 前記特徴点抽出部は、前記視点位置及び前記撮影方向の少なくとも一つが異なる複数組の前記撮影条件でそれぞれ撮影された複数の撮影画像のそれぞれから複数の前記特徴点を抽出し、前記撮影画像内の前記特徴点の位置を決定し、
    前記位置測定部は、複数組の前記撮影条件と、前記モデルデータと、前記特徴点データと、複数の前記撮影画像にそれぞれ対応する複数の特徴点集合であって、前記各特徴点集合が複数の前記撮影画像のうちの１つの撮影画像内の複数の前記特徴点の位置を含む複数の特徴点集合とに基づいて、前記目標物体の位置を計算する請求項１に記載の位置測定装置。
11. 異なる位置にそれぞれ設置された複数の前記カメラを備える請求項１０に記載の位置測定装置。
12. 前記視点位置及び前記撮影方向の少なくとも一つが異なるように前記カメラを移動させるカメラ駆動装置を備える請求項１０に記載の位置測定装置。
13. 前記特徴点抽出部は、前記視点位置及び前記撮影方向の少なくとも一つが異なる複数組の前記撮影条件でそれぞれ撮影された複数の撮影画像のそれぞれから複数の前記特徴点を抽出し、前記撮影画像内の前記特徴点の位置を決定し、
    前記鏡像体位置計算部は、複数組の前記撮影条件と前記撮影画像内の複数の前記特徴点との組のそれぞれに対して、複数の前記鏡像体に含まれる前記特徴点の位置を計算し、
    前記反射面位置計算部は、複数の前記鏡像体に含まれる前記特徴点の位置を組み合わせて処理して、前記反射面の位置及び向きを計算する請求項２に記載の位置測定装置。
14. 前記特徴点抽出部は、前記視点位置及び前記撮影方向の少なくとも一つが異なる複数組の前記撮影条件でそれぞれ撮影された複数の撮影画像のそれぞれから複数の前記特徴点を抽出し、前記撮影画像内の前記特徴点の位置を決定し、
    前記反射面位置計算部は、複数組の前記撮影条件と前記撮影画像内の複数の前記特徴点との組を組み合わせて処理して、前記反射面の位置及び向きを計算する請求項６に記載の位置測定装置。
15. 前記特徴点抽出部は、前記視点位置及び前記撮影方向の少なくとも一つが異なる複数組の前記撮影条件でそれぞれ撮影された複数の撮影画像のそれぞれから複数の前記特徴点を抽出し、前記撮影画像内の前記特徴点の位置を決定し、
    前記反射面位置計算部は、複数の前記撮影画像にそれぞれ対応する複数の前記反射面の位置及び向きを計算し、
    前記目標物体位置決定部は、前記反射面及び前記非反射部分の位置関係と、計算された複数の前記反射面の位置及び向きの組み合わせとに基づいて、前記目標物体の位置を決定する請求項２又は請求項６に記載の位置測定装置。
16. 目標物体の位置を決定する処理装置によって実行される位置測定方法であって、前記位置測定方法は、
    カメラの視点位置及び撮影方向を含む撮影条件を第１の記憶部に記憶するステップと、
    反射面を有する目標物体の形状を含むモデルデータを第２の記憶部に記憶するステップと、
    複数の特徴点を有するマーカー物体を前記カメラに対して予め決められた位置に配置するステップと、
    前記視点位置及び前記特徴点の間の互いの位置関係を表す特徴点データを第３の記憶部に記憶するステップと、
    前記特徴点のうちの複数個が映っている前記反射面の少なくとも一部を含む撮影画像を前記カメラにより取得するステップと、
    前記撮影画像から複数の前記特徴点を抽出し、前記撮影画像内の前記特徴点の位置を決定するステップと、
    前記撮影条件と、前記モデルデータと、前記特徴点データと、前記撮影画像内の前記特徴点の位置とに基づいて、前記目標物体の位置を計算するステップとを含む位置測定方法。

Images