JP4602704B2 - 単眼視３次元位置計測装置および方法 - Google Patents

Description

本発明は、単眼視を用いて計測対象物に設置された目印点を撮影することにより、それらの３次元空間における目印点の位置をリアルタイムに計測する単眼視３次元位置計測装置および方法に関するものである。

単眼視を用いて計測対象物の３次元位置を計測するための方法として、８点の目印点を用いた単眼視による位置計測方法がある。

この８点の目印点を用いた単眼視による位置計測方法は、『画像と空間：コンピュータビジョンの幾何学』（昭晃堂・１９９１年発行）のＰ．１５２〜Ｐ．１６２に記載があり、この方法は、８点の目印点が移動した際に、移動による回転や平行移動といった移動量を、逆行列などを用いて計算することにより、８点の目印点の３次元位置計測を行うものである。
しかし、この方法では、目印の配置によっては、計測のために用いる非線形方程式を解く過程で使用する線型方程式の解が得られないため、３次元位置計測ができない場合があるという欠点がある。なお、解の得られない目印位置の関係については「動きからの単眼立体視による形状認識の線形解法について」〔計測自動制御学会論文集（Vol.26,No.6,714/720 ）〕に記載がある。

また、前記の方法では、移動による回転や平行移動といった移動量を計算する過程において一般化逆行列を使用しており、この過程で逆行列を用いるため、算出に要する時間に問題がある。
更に、この目印点を用いた方法は、各点を区別する必要があり、目印点数が多いと、各目印点を区別させることが難しくなるという問題があり、可能な限り少ない目印点を用いて計測することが望ましい。

本発明では、前記の逆行列を用いることによる時間的な制約を軽減するために、従来の単眼視による位置計測方法よりも少ない目印点数で、従来よりも高速に単眼視による３次元位置計測をする装置および方法を提供することを課題とする。すなわち、４つの目印を用いるだけで、かつ、逆行列を用いることなく、１台の撮影手段で得られた３次元空間内の対象物の一枚の２次元画像情報に基づき、上記対象物に付された目印の３次元空間内の位置を計測する単眼視３次元位置計測装置および方法を実現する。また、４つの目印を用いるだけで、移動する対象物の一枚の２次元画像情報に基づき、上記対象物に付された目印の３次元空間内の位置を計測する単眼視３次元位置計測装置および方法を実現する。

本発明は、上述した課題を解決するため、ＣＣＤカメラのような撮影手段で対象物に設置された４点の目印点を撮影し、撮影により得られた画像における４点の目印点の２次元位置座標を求め、その２次元位置座標に基づき、３次元位置算出手段を用いることにより４点の目印点の３次元位置を計測する。
ここで、請求項１から４に係る発明において、まず、前記撮影手段の焦点距離と前記２次元情報に基づき前記対象物の４点の目印の中の２つの目印の全ての対について前記撮影手段が挟む見込み角を計算する。
そして、請求項１と請求項３に係る発明では、３つの目印点の間の距離と得られた見込み角の間に成立する関係式に基づき、前記対象物の４点の目印の３次元位置を決定し、
請求項２と請求項４に係る発明では、３つの目印点の間の距離と得られた見込み角の間に成立する関係式に基づき、前記撮影手段と各点の間の距離の微小変化量についての連立一次方程式を解き、得られた距離の値から前記対象物の４点の目印の３次元位置を計算し、予め計測された対応する距離の値と比較する処理を行い、前記対象物の４点の目印の３次元位置を決定する。
なお、請求項１、３に係る発明は、静止している対象物に適用し、請求項２、４に係る発明は、移動する対象物に適用する。

上記した本発明を用いれば、４点の目印で構成される対象物をコンピュータに取り込むための１台の撮影手段と、前記の撮影手段から得られた画像よりこの画像上における４点の目印の２次元位置を決定する２次元位置決定手段と、前記の２次元位置決定手段で得られた２次元位置から４点の目印の３次元位置を決定する３次元位置決定手段を用いることにより、４点の目印点の３次元位置を高速に計測することが可能である。
また、２次元位置から４点の目印の３次元位置を決定する手段では、撮影手段と目印の距離の候補を比較により距離を一意に定め、３次元位置を決定する方法、または、動きのある対象物に対して、近似式から微小移動後の撮影手段と目印との距離を算出し、この算出結果から３次元位置を決定する方法を用いることにより、高速に目印の３次元位置計測が実現可能である。

図１に、本発明の全体構成図を示す。
本発明によれば、図１のＣＣＤカメラのような撮影手段２を用いて、目印が４点設置された計測対象物１を撮影して画像データを得て、この画像データをコンピュータに送る。そして、コンピュータ内において、２次元位置決定手段３により目印の２次元座標を決定し、３次元位置決定手段４において、前記２次元位置決定手段３で得られた目印の２次元位置座標に基づいて目印の３次元位置を高速で算出する。

上記本発明の第１の実施例について、以下に詳述する。
この第１の実施例における処理は、図２に示す通りである。すなわち、まず、Ａ１で４点の目印の各点間の距離を測定する。次に、Ａ２で撮影手段を用いて４つの目印の画像データを取得し、Ａ３で画像上の４つの目印位置を決定し、Ａ４で４つの目印の３次元位置を決定する。

上記Ａ１における処理の詳細は、次の通りである。
図３に、目印が４点設置された対象物の例を示す。この目印付与過程において、対象物に４つの目印Ｒ_i（ｉ＝１，２，３，４）を付する。Ｒ₁〜Ｒ₄は各目印であり、それぞれの目印が区別できるようにしておく。目印の区別の方法として、例えば、それぞれの目印に関して異なった色を使用する、或いは異なった模様を使用するといった方法がある。本実施例では、各目印に異なった色を使用することとし、Ｒ₁は赤色、Ｒ₂は緑色、Ｒ₃は青色、Ｒ₄は白色とする。これを実現するために、例えば、４点の目印に４色のシールやＬＥＤを用いる方法がある。そして、目印間距離測定過程において、ｉとｊを目印を区別するインデックスとするとき、全ての２つの目印の対Ｒ_i，Ｒ_jについてそれらの間の相互間距離Ｌ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）を測定する。

次に、上記Ａ２の２次元情報取得過程において、上記目印が付与された上記対象物を、ＣＣＤカメラのような撮影手段で撮影し、２次元画像情報を得る。

そして、上記Ａ３の目印位置特定過程において、上記４つの目印の上記２次元画像情報内の位置（ｒ₁，ｒ₂，ｒ₃，ｒ₄）を特定する。このＡ３の処理は、図４に示すように、処理Ｂ１〜Ｂ５からなる。なお、以下に目印点Ｒ₁についての処理を説明するが、Ｒ₂〜Ｒ₄についても同様である。

まず、Ａ２で取得した画像データは、図５に示すような、ある大きさに分けられた区画における赤、緑、青の０〜２５５の数値で表現された各画素情報としてＡ３に送られる。なお、２次元画像情報内の座標軸ｕとｖは、図５のように設定する。

次に、処理Ｂ１において、Ａ２で得られた画素情報から各区画における各画素（赤、緑、青）の割合を計算する。ここで、０〜２５５の数値で表現された赤の画素情報をＲ、緑の画素情報をＧ、青の画素情報をＢとし、求める赤の画素の割合をＰ_R、緑の画素の割合をＰ_G、青の画素の割合をＰ_Bとおき、各区画について画素情報の比率を計算する。すなわち、次の三つの比率を計算する。

Ｂ１で区画におけるＰ_R、Ｐ_G、Ｐ_Bを算出後、Ｂ２で判別する。
このＢ２における判別は、当該区画におけるＰ_R、Ｐ_G、Ｐ_Bがそれぞれ予め設定された条件に合致する場合、Ｂ３においてこの区画の位置を図５のｕ軸の値とｖ軸の値を用いて保存する。例えば、赤色目印Ｒ₁に対応する点ｒ₁である条件として、Ｐ_R＞７０％かつＰ_G＜２０％かつＰ_B＜２０％といった条件を設定しておき、この条件を満足する場合は、その位置を（ｕ₁，ｖ₁）＝（１０，１０）のように保存する。なお、この数値は一例である。Ｐ_R、Ｐ_G、Ｐ_Bがそれぞれ設定された条件に合致しない場合は、Ｂ１に戻り、次の区画のＰ_R、Ｐ_G、Ｐ_Bを算出し、Ｂ２の処理を行う。

上記の処理を全区画に対して行い、Ｂ４で全ての区画についてＢ１からＢ３までを処理したことを確認した後、Ｂ３で保存した画素の位置情報から、例えば赤色目印Ｒ₁の２次元情報内の位置として保存されている位置情報の総数をｎとして、平均位置を計算する。

そして、Ｂ５にて、上式により、画像上のＲ₁の２次元位置（ｕ、ｖ）を決定する。なお、Ｒ_1uがｕ軸の値、Ｒ_1vがｖ軸の値である。他の目印Ｒ₂，Ｒ₃、Ｒ₄についても同様である。

続いて、上記Ａ４における処理を行う。
このＡ４の処理に必要なカメラの画面における２次元座標系と３次元空間における座標系の対応、見込み角θ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）の算出方法、および透視３点問題についてまず述べ、その後、Ａ４の処理ついて述べる。

まず、カメラの画面における２次元座標系と３次元空間における座標系の対応について述べる。
図６のように、カメラＣ_aの画面が３次元空間上に表現可能であることに注意する。カメラＣ_aの画面上の２次元座標系を図６のように決める。なお、Ｇ_Oはこの２次元座標系の原点、ｕ_aとｖ_aは座標軸である。また、図６に示すように、Ｃ_aに３次元空間の座標系をも決める。すなわち、ｘ軸の方向をＣ_aの画面と垂直に交わるように定め、さらに、ｕ_a軸とｙ軸およびｖ_a軸とｚ軸がそれぞれ平行になるようにｙ軸とｚ軸の方向を決める。また、３次元空間の座標の原点Ｏを、ｘ軸と画面との交点をＧ_a、Ｃ_aの焦点距離をＦ_aとするとき、上記交点Ｇ_aが（Ｆ_a 、０、０）となるよう原点Ｏの位置を決める。このとき、実数Ｇ_yとＧ_zを用いて、点Ｇ_aの３次元座標は（Ｆ_a、Ｇ_y、Ｇ_z）とかける。一方、実数Ｇ_uとＧ_vを用いて、点Ｇ_aの２次元座標は（Ｇ_u、Ｇ_v）とかける。図６より、Ｇ_yとＧ_u、および、Ｇ_zとＧ_vが対応しているから、拡大縮小および回転の処理を行えば、座標変換は可能である。同様に、画面上の任意の点において、２次元座標と３次元座標の座標変換が可能である。

次に、見込み角θ_ijについて述べる。
図７に、３次元空間におけるカメラＣ_mとカメラＣ_mにより撮影された画像との関係を示す。図７のｒ₁、ｒ₂、ｒ₃、ｒ₄は、画像（２次元情報）における図３の目印点であり、図３の３次元空間におけるＲ₁と図７の２次元空間におけるｒ₁、同様にＲ₂とｒ₂、Ｒ₃とｒ₃、Ｒ₄とｒ₄がそれぞれ対応している。ｉおよびｊ＝１、２、３、４とし、ｉ≠ｊに対して、∠ｒ_iＣ_mｒ_jを見込み角θ_ijとおく。例えば、∠ｒ₁Ｃ_mｒ₂＝θ₁₂は図７に示すようになる。

図７の見込み角θ₁₂の算出方法について述べる。ただし、カメラＣ_mの焦点距離Ｆは既知であるとする。
前記より、カメラＣ_mの画面は３次元座標と対応させることが可能なので、ｒ₁とｒ₂の２次元位置が決定されれば、ｒ₁とｒ₂の３次元位置決定は可能である。つまり、図５のｕ軸の値とｖ軸の値、および、カメラＣ_mの焦点距離Ｆを用いれば、カメラＣ_mの画面上の座標は図７のｘｙｚの座標系に座標変換が可能である。ｒ₁とｒ₂の画面上における２次元位置は図２のＡ３の処理で決定されているので、これらの２次元位置からｒ₁とｒ₂の３次元位置を決定する。以後、３次元座標の原点ＯをカメラＣ_mの位置とし、図７の座標系で考える。すなわち、３次元座標の原点Ｏにカメラがあるとする。図７の原点Ｏとｒ₁との距離をｌ₁、原点Ｏとｒ₂との距離をｌ₂、ｒ₁とｒ₂の距離をｌ₁₂とおくと、余弦定理より

となり、見込み角θ₁₂の算出が可能である。同様に、ｉ≠ｊに対して、見込み角θ_ij（ｉおよびｊ＝１、２、３、４）が算出可能である。ただし、後述する計算ではｃｏｓθ_ijの値を用いる。
この関係を用いて、見込み角計算過程において、上記４つの目印の上記２次元画像情報内の位置（ｒ₁，ｒ₂，ｒ₃，ｒ₄）に基づき、全ての２つの目印の対について、３次元空間内における上記原点Ｏを中心とする３次元空間内における見込み角θ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）を計算する。

次に、透視３点問題について述べる。なお、これは出口光一郎氏著の『画像と空間：コンピュータビジョンの幾何学』より抜粋してある。
図８のように△ＡＢＣに対して、点Ａと点Ｂの距離をＲ_ab、点Ａと点Ｃの距離をＲ_ac、点Ｂと点Ｃの距離をＲ_bcとそれぞれおく。また、カメラＯにおいて、∠ＡＯＢをθ_ab、∠ＡＯＣをθ_ac、∠ＢＯＣをθ_bcとそれぞれおく。さらに、点Ｏと点Ａの距離をａ、点Ｏと点Ｂの距離をｂ、点Ｏと点Ｃの距離をｃとそれぞれおく。図８より、△ＡＯＢに対して余弦定理を用いると、

となる。△ＡＯＣと△ＢＯＣにおいても同様に余弦定理を用いて

となる。ここで、
ｂ＝ｘａ、ｃ＝ｙａ
なるようにｘとｙを定めると、上記［数７］〜［数９］より

となる。これから、ｙを消去すると

となる。ただし、

である。また、

である。［数１２］の方程式が解けたとすると、ｘよりａとｙが

として得られ、ｂとｃは
ｂ＝ｘａ、ｃ＝ｙａ
に代入することにより得られる。なお、ｘには最大４つの解があり、［数２０］より１つのｘの解に対して最大２つの値があることに注意すると、（ａ、ｂ、ｃ）の組み合わせは最大８組となる。

カメラＣ_mと対象物との関係を図９に示す。なお、図９の見込み角θ₁₂は図７のθ₁₂と等価である。

図１０に示すように、図２のＡ４の処理は処理Ｃ１〜Ｃ１２からなる。Ｃ１では、前記の方法を用いて、θ_ijの計算を行う。

図９のＣ_mとＲ_i（ｉ＝１、２、３、４）の距離をＬ_i とする。ｉ≠ｊである三角形Ｃ_mＲ_iＲ_j（ｉおよびｊ＝１、２、３、４）に対して、余弦定理より

とかける。ただし、Ｌ_ijは点Ｒ_i、Ｒ_j間の距離とし、図２のＡ１の処理で値が決定されている。よって、上記［数２１］より、

とかける。

上記［数２２］〜［数２７］より、前記の透視３点問題の方法を用いてＬ₁〜Ｌ₄をそれぞれ算出する。すなわち、４次方程式求解過程において、上記４つの目印から三つの目印Ｒ_i，Ｒ_j，Ｒ_k（ｉ＝１；ｊ，k ＝２，３，４；ｊ＜ｋ）を選んで作った３つの異なる三角形△１２３、△１２４、△１３４の各々について、各三角形に含まれる２つの目印Ｒ_iとＲ_jと上記原点Ｏの間の距離をそれぞれａ，ｂとするとき、その比ｘ（ｘ＝ｂ／ａ）と、該三つの目印Ｒ_i，Ｒ_j，Ｒ_kが作る三角形の各辺の長さＬ_ijと、上記原点Ｏが該３角形の各辺をはさむ見込み角θ_ijの間に成立する変数ｘについての４次方程式の解を求める（処理Ｃ３）。そして、候補値計算過程において、上記４次方程式の解に基づいて、該三角形の三つの各目印と上記原点Ｏの間の距離Ｌ₁〜Ｌ₄として可能性がある距離候補値の組を計算する（処理Ｃ４）。

図１０のＣ２で三角形Ｒ_αＲ_βＲ_γを以下に示す組に分け（処理Ｃ２）、この三角形の組に対し、Ｃ３にて前記の透視３点問題の方法を適用することで、三角形Ｒ_αＲ_βＲ_γに対応した（Ｌ_α、Ｌ_β、Ｌ_γ）の組が最大８組算出される（処理Ｃ４）。なお、三角形は
（α、β、γ）＝（１、２、３）
（α、β、γ）＝（１、２、４）
（α、β、γ）＝（１、３、４）
である。

また、（Ｌ_α、Ｌ_β、Ｌ_γ）の組が最大８組あることに注意して、［数１２］の４次方程式の解と［数２０］の複号の組み合わせによる解の８つの組を区別するインデックスｉと、選択される三角形を区別するインデックスｊの組み合わせに対して決まる３次元空間における原点Ｏから目印（Ｒ_α、Ｒ_β、Ｒ_γ）までの距離を（Ｌ_αij、Ｌ_βij、Ｌ_γij）とする。α、β、γの組み合わせと、それによるカメラと目印点までの距離の解、および、解を得るときに使用する数式の関係を［表１］〜［表３］に示す。ただし、表中の×は算出されないことを示す。例えばｊ＝１は目印Ｒ₁，Ｒ₂，Ｒ₃からなる三角形（１，２，３）が選択された場合であり、ｊ＝２は目印Ｒ₁，Ｒ₂，Ｒ₄からなる三角形（１，２，４）が選択された場合である。

次に、整合距離取得過程において、他の異なる三つの目印により形成される三角形について同様な計算して得られる距離候補値の組と整合性のある距離候補値を上記原点Ｏと目印Ｒ_i（ｉ＝１，２，３，４）の間の距離として選択する。

整合距離取得過程の一つの実施の形態では、算出された（Ｌ_αij、Ｌ_βij、Ｌ_γij）の組に対して図１０のＣ５の処理で比較を行う。例えば、［表１］のｉと表２のＩであれば、共通部分であるＬ₁とＬ₂が共に等価であるかを比較する。つまり、Ｌ₁₁₁とＬ₁₁₂、および、Ｌ₂₁₁とＬ₂₁₂を比較し、等価であるか検討する。もし、等価であれば、（Ｌ₁₁₁、Ｌ₁₁₂、Ｌ₃₁₁、Ｌ₄₁₂）として保存する（処理Ｃ６，Ｃ７）。これを繰り返し行う。ｉとIIであれば、（Ｌ₁₁₁、Ｌ₂₁₁、Ｌ₃₁₁）と（Ｌ₁₁₂、Ｌ₂₁₂、Ｌ₄₁₂）では、Ｌ₁₁₁とＬ₁₁₂がそれぞれＬ₁、また、Ｌ₂₁₁とＬ₂₁₂がそれぞれＬ₂の数値を表しているので、等価であるかを比較する。等価であれば、同様に（Ｌ₁₁₁、Ｌ₂₁₁、Ｌ₃₁₁、Ｌ₄₁₂）として保存する。以上の比較を［表１］〜［表３］における算出された全ての組について行う（処理Ｃ８）。なお、ｋを自然数として、保存された組を（Ｌ_1-k、Ｌ_2-k、Ｌ_3-k、Ｌ_4-k）としておく。

［表１］〜［表３］の比較より得られた（Ｌ_1-k、Ｌ_2-k、Ｌ_3-k、Ｌ_4-k）の組を、図１０のＣ９の処理で、前記と同様の方法で比較することにより、（Ｌ₁、Ｌ₂、Ｌ₃、Ｌ₄）を一意に定める。すなわち、［表１］〜［表３］に関係する三角形は全て目印Ｒ₁を含み、目印Ｒ₁を含まない三角形Ｒ₂Ｒ₃Ｒ₄とは関係していないが、これを含む同様な表を作り、候補となる距離を計算する（Ｃ５・・・Ｃ８）。そして、このようにして得られた候補となる距離（Ｌ_1-k、Ｌ_2-k、Ｌ_3-k、Ｌ_4-k）の組を比較し、各目印について原点Ｏからの距離が一致するものを選らぶ。このようにして、整合性のある距離を選択する（図１０の処理Ｃ９、Ｃ１０）。なお、整合距離取得過程は、Ｃ５からＣ１０までを一括して行うこと、あるいはＣ５からＣ８までをＣ９、Ｃ１０に含める等の種々の変形も可能である。

前期の過程でカメラＣ_mと各目印点間の距離が決定されたので、これより各目印点の３次元空間における位置が決定できる。整合性がある距離として選択された上記距離と上記４つの目印の上記２次元画像情報内の位置（ｒ₁，ｒ₂，ｒ₃，ｒ₄）に基づき上記４つの目印の３次元空間における位置を、３次元位置決定過程において決定する。目印点間の距離から３次元空間における位置の決定方法を以下に述べる。これは図１０のＣ１１に対応している。

図１１のように、カメラをＣ_b、３次元空間にある点をＲ_b、Ｒ_bに対応するＣ_bの画面の点をＧ_bとおく。さらに、Ｒ_bの３次元座標を（Ｒ_x、Ｒ_y、Ｒ_z）、Ｇ_bの３次元座標を（Ｇ_x、Ｇ_y、Ｇ_z）とおく。すると、カメラＣ_bとＲ_bとＧ_bはＣ_bとＲ_b通る直線ｌ_b上の点となる。ここで、Ｃ_bとＲ_bとの距離をｄ_R、Ｃ_bとＧ_bとの距離をｄ_Gとおくと

となり、ｄ_Rとｄ_Gと点Ｇ_bの３次元座標を用いれば、点Ｒ_bの３次元座標の算出が可能である。

本方法では、カメラＣ_mとカメラＣ_mの画像上の目印点までの距離および３次元位置は、図１０のＣ１で決定されている。また、カメラＣ_mと目印点までの距離は前記の処理で決定されている。したがって、これらの値を用いれば、各目印点の３次元位置を決定できる。

次に、本発明の第２の実施例について述べる。
この実施例における処理は、図１２に示す通りである。まず、Ｄ１で４点の目印の初期位置を測定する。このためには、例えば、上述した本発明の第１の実施例の方法を使うことができる。次に、Ｄ２で撮影手段から４つの目印の画像データを取得し、Ｄ３で画像上の４つの目印位置を決定し、Ｄ４で４つの目印の３次元位置を決定する。上記Ｄ２〜Ｄ４の処理を繰り返すことにより、継続して目印の３次元位置を高速に計測することが可能である。なお、繰り返して計測する場合は、４点の目印の初期位置として、前回の測定のＤ５で得られた目印の３次元座標の値を用いる。

図１２のＤ２の処理は図２のＡ２と、図１２のＤ３の処理は図２のＡ３の処理と同様である。すなわち、目印付与過程において上記対象物に４つの目印Ｒ_i（ｉ＝１，２，３，４）を付し、目印間距離測定過程においてｉとｊを目印を区別するインデックスとするとき、全ての２つの目印の対Ｒ_i，Ｒ_jについてそれらの間の相互間距離Ｌ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）を測定し、２次元情報取得過程において、移動後の上記目印が付与された上記対象物を上記撮影手段で撮影して２次元画像情報を得る。そして、目印位置特定過程において、上記４つの目印の上記２次元画像情報内の位置（ｒ₁，ｒ₂，ｒ₃，ｒ₄）を特定する。

図１２のＤ４の処理について述べる。
図１２のＤ４の処理は、図１４に示したように、処理Ｅ１〜Ｅ８からなる。カメラＣ_mと対象物との関係を図９に示す。目印点Ｒ₁、Ｒ₂、Ｒ₃、Ｒ₄が初期位置から微小移動したときの目印点を、図１３に示すように、それぞれＱ₁、Ｑ₂、Ｑ₃、Ｑ₄とする。カメラＣ_mと初期位置の目印Ｒ_i（ｉ＝１、２、３、４）の距離をｑ_i、点Ｒ_iの点Ｑ_iへの微小移動で生じたカメラＣ_mとＲ_iの距離の変化量をΔｑ_iとする。ｉ≠ｊである三角形Ｃ_mＱ_iＱ_j（ｉおよびｊ＝１、２、３、４）に対して、余弦定理より

とかける。ただし、Ｌ_ijは点Ｒ_iと点Ｒ_jとの間の距離である。また、見込み角Θ_ij は∠Ｑ_iＣ_mＱ_jである。なお、見込み角Θ_ij の算出方法は第１の実施例の見込み角θ₁₂の場合と同様である。すなわち、見込み角取得過程において、全ての２つの目印の対について、３次元空間内の原点Ｏを中心とする３次元空間内における見込み角Θ_ij （ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）を計算する。一方、ｑ_iとＬ_ijは図１２のＤ１で計測済みのデータを入力する。すなわち、移動前距離入力過程において、移動後の上記４つの目印Ｒ_i（ｉ＝１，２，３，４）と上記原点Ｏの間の移動後距離の暫定値として、移動前距離ｑ_iを入力する。そして、上記相互間距離Ｌ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）を入力する。上記［数３１］を展開し、２次微小項を無視すると

となるので

とかける。よって、［数３３］を点Ｑ₁、Ｑ₂、Ｑ₃、Ｑ₄について適用すると

となる。三角形Ｑ_αＱ_βＱ_γを用いて各々の三角形に対して、上記［数３４］〜［数３９］よりΔｑ₁、Δｑ₂、Δｑ₃、Δｑ₄を算出し、算出されたΔｑ₁、Δｑ₂、Δｑ₃、Δｑ₄を平均する。三角形の組み合わせ、使用する式、算出する距離の関係を表４に示す。例えば、（α、β、γ）＝（１、２、３）の場合、［数３４］、［数３５］、［数３７］より、Δｑ₁、Δｑ₂、Δｑ₃を算出し、Δｑ₄は算出しないことを示す。

各（α、β、γ）の組み合わせから得られたΔｑ₁、Δｑ₂、Δｑ₃、Δｑ₄をそれぞれ平均し、その平均化された値をΔｑ₁’、Δｑ₂’、Δｑ₃’、Δｑ₄’とする。

次に、算出されたΔｑ₁’、Δｑ₂’、Δｑ₃’、Δｑ₄’を用いて、近似解をＰ₁、Ｐ₂、Ｐ₃、Ｐ₄とし、

と定義する。以上が図１４のＥ２の処理である。ここで、判別式を

と定義し、ｉおよびｊ＝１、２、３、４（ｉ≠ｊ）について、ΔＬ_ijを算出する。すなわち、近似値取得過程において、各目印Ｒ_i（ｉ＝１，２，３，４）と上記原点Ｏの間の距離ｑ_iを微小量Δｑ_iだけ変化させて距離ｑ_i＋Δｑ_iとした時、微小量Δｑ_iの２次以上の項を無視したとき当該目印Ｒ_i（ｉ＝１，２，３，４）と各他の目印Ｒ_j（ｊ＝１，２，３，４；ｉ≠ｊ）の間の間隔が測定されている相互間距離Ｌ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）になる微小量Δｑ_iの候補値を、上記見込み角の値と上記相互間距離Ｌ_ijの値に依存する係数を有する、三つの目印の組毎に決まる、複数の組の連立１次方程式を解いて求め、目印の組を変えた各連立方程式の組の解を平均することにより平均化微小量Δｑ_i’を求め、上記移動後距離ｑ_iの近似値として暫定的に設定されている値に上記平均化微小量Δｑ_i’を加えそれを改めて新しい距離ｑ_iの近似値として得る。

次に、算出されたΔＬ_ijについて、図１４のＥ４にてΔＬ_ijの値が所定量以下か判別を行う。例えば、計算されたΔＬ_ijの絶対値（あるいはＬ_ijに対する相対誤差）が全て０．００１以下といったように、数値で所定量を定める。すなわち、判別過程において、上記新しい距離ｑ_iの近似値に基づいて各目印Ｒ_i（ｉ＝１，２，３，４）と夫々の隣接する目印Ｒ_j（ｊ＝１，２，３，４；ｉ≠ｊ）の間の間隔として計算される値を夫々に対応する相互間距離Ｌ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）と比較してその差が所定値より小さいか否かを判別する

前記の方法で、ΔＬ_ijの判別を行い、ΔＬ_ijの値が所定量以下の場合はＥ５に進む。

前記のΔＬ_ijの判別においてΔＬ_ijの値が所定量より大きい場合は、Ｅ８にて、算出された近似解を用いて、前記のｑ₁、ｑ₂、ｑ₃、ｑ₄に
Ｐ₁ ⇒ｑ₁
Ｐ₂ ⇒ｑ₂
Ｐ₃ ⇒ｑ₃
Ｐ₄ ⇒ｑ₄
を代入して、ΔＬ_ijの値が所定量以下になるまでＥ２〜Ｅ４の収束演算を繰り返す。すなわち、収束演算過程で、上記近似値に基づいて上記近似値取得過程と上記判別過程を繰返す。ただし、この場合、Ｅ２〜Ｅ４の収束演算の過程において、Ｅ４の条件を満足するために時間がかかる場合がある。このときは予め設定した時間経過後、この収束演算過程でΔＬ_ijが最も条件に近い場合のＰ₁、Ｐ₂、Ｐ₃、Ｐ₄を算出結果としＥ５へ進む。

Ｅ２〜Ｅ４の収束演算の過程で得られたＰ₁、Ｐ₂、Ｐ₃、Ｐ₄はカメラＣ_mと微小移動後の各目印点間の距離であるから、これより、カメラＣ_mと各目印点間の距離を決定する。

前記の過程でカメラＣ_mと各目印点間の距離が決定されたので、図１０のＣ１１の方法で、カメラＣ_mと各目印点間の距離を３次元座標に変換する方法を用いることにより、各目印点の３次元空間における位置が決定できる。すなわち、３次元空間位置特定過程で、対象物の移動後の目印Ｒ_i（ｉ＝１，２，３，４）と上記原点Ｏの間の移動後距離ｑ_iを上記近似値とし、移動後距離ｑ_iと上記４つの目印の上記２次元画像情報内の位置（ｒ₁，ｒ₂，ｒ₃，ｒ₄）とに基づいて上記対象物の移動後の４つの上記目印の３次元空間における位置を特定する。

なお、例えば、対象物が高速に移動する場合などにも、上記した方法を用いることにより、計測が可能である。

また、本発明は上記の実施例に限定されるものではなく、その要旨の範囲内において種々の変形が可能であることは当然である。

本発明の単眼視３次元位置計測装置の全体構成図を示した図である。 本発明の単眼視３次元位置計測装置の第１の実施例における処理動作を示したフローチャートである。 目印が４点設置された対象物の例を示した図である。 図２のＡ３の処理動作を詳細に示したフローチャートである。 画像データをある大きさに分けた区画における各画素情報とすることを示した図である。 カメラの画面における２次元座標系と３次元空間における座標系の対応について示した図である。 ３次元空間におけるカメラとカメラにより撮影された画像との関係を示した図である。 透視３点問題を説明するために示した図である。 カメラと対象物との関係を示した図である。 図２のＡ４の処理動作を詳細に示したフローチャートである。 カメラの画面における２次元座標系と３次元空間における座標系の対応について示した図である。 本発明の単眼視３次元位置計測装置の第２の実施例における処理動作を示したフローチャートである。 目印点が初期位置から微小移動したときの目印点を示した図である。 図１２のＤ４の処理動作を詳細に示したフローチャートである。

Claims (4)

1. 相互間距離が予め計測されている４点の目印が付された対象物と、
   前記対象物に付された４点の目印を含む１枚の２次元画像を取得する撮影手段と、
   前記２次元画像上における前記４点の目印の２次元位置を決定する２次元位置決定手段と、
   前記２次元位置から前記４点の目印の３次元位置を決定する３次元位置決定手段と、
   を備えた単眼視３次元位置計測装置であって、
   前記３次元位置決定手段は、
   前記対象物の４点の目印の中の２つの目印の対について前記撮影手段が挟む見込み角θを、前記撮影手段の焦点距離Ｆと前記画像上における２点の位置から計算することを、全ての２つの目印の対について行う手段と、
   前記対象物の４点の目印の中の３つの目印の組についてその各３点までの前記撮影手段からの距離の候補を、余弦定理から導かれる、前記計測されている相互間距離と前記見込み角の関数として決まる係数を有する４次方程式を解くことにより求めることを、全ての３つの目印の組について行う手段と、
   前記対象物の４点の目印の中の３つの目印の組について得られた、その３つの点までの前記撮影手段からの距離の候補の値を、前記対象物の４点の目印の中の他の３つの目印の組の候補について得られた候補の値と比較して、前記対象物の４点の目印までの撮影手段からの距離が一致するものを求める手段と、
   整合性がある距離として選択された上記距離と上記４点の目印の上記２次元画像情報内の位置に基づき上記４点の目印の３次元空間における位置を決定する３次元位置決定手段と、
   を有することを特徴とする、単眼視３次元位置計測装置。
2. 相互間距離が予め計測されている４点の目印が付された対象物と、
   前記対象物に付された４点の目印を含む１枚の２次元画像を取得する撮影手段と、
   前記２次元画像上における前記４点の目印の２次元位置を決定する２次元位置決定手段
   と、
   前記２次元位置から前記４点の目印の３次元位置を決定する３次元位置決定手段と、
   を備えた単眼視３次元位置計測装置であって、
   前記３次元位置決定手段は、
   移動前の前記４点の目印の位置情報を得る手段と、
   全ての２つの目印の対について、３次元空間内における原点Ｏを中心とする３次元空間
   内における見込み角θを、前記撮影手段の焦点距離Ｆと前記画像上の各点の位置から計算
   することを、全ての４点の目印について行う手段と、
   前記対象物の４点の目印の中の２つの目印と前記撮影手段が形成する三角形について、
   その２つの目印の間の辺を前記撮影手段から見た見込み角とその三角形の３辺の長さの間
   に成り立つ余弦公式を展開し、二次微小項を無視して得られる、前記撮影手段からの距離
   の微小変化量に関する一次方程式を得ることを、その４点の目印の中の２つの目印と前記
   撮影手段が形成する全ての三角形について行う手段と、
   前記対象物の４点の目印の中の３つの目印が形成する三角形についての３本の前記一次
   方程式からなる連立方程式を解いて、それらの目印と前記撮影手段の間の距離の微小変化
   量を計算することを、４点の目印の中の３つの目印が形成する全ての三角形について行う
   手段と、
   ４点の目印の中の３つの目印が形成する全ての三角形について得られた、各目印と前記
   撮影手段の間の距離の微小変化量の値を平均して、それを移動前の距離に加え、それを改めてそれらの距離の近似値とし、移動後の４点の目印の位置を仮に決定する手段と、
   仮に決定された移動後の４点の目印の位置に基づいて前記４点の目印の相互間距離を計
   算し、予め計測されているそれらの相互間距離と比較する手段と、
   比較した結果、それらの間の差異が所定値より小さいときその仮に決定された移動後の
   ４点の目印の位置を、移動後の４点の目印の位置と決定し、前記所定値より大きいときは
   、前記仮に決定された位置を移動前の距離であるとして以上の処理を繰り返えす手段と、
   上記差異が所定値より小さいとき実行される、対象物の移動後の各目印と上記原点Ｏの
   間の各移動後距離を上記近似値とし、各移動後距離と上記４点の目印の上記２次元画像情
   報内の位置とに基づいて上記対象物の移動後の４点の上記目印の３次元空間における位置
   を特定する３次元空間位置特定手段と、
   を有することを特徴とする、単眼視３次元位置計測装置。
3. １台の撮影手段で得られた３次元空間内の対象物の２次元画像情報に基づき前記対象物に付された目印の３次元空間内の位置を計測する単眼視３次元位置計測方法であって、
   上記対象物に４点の目印Ｒ_i（ｉ＝１，２，３，４）を付する目印付与過程と、
   ｉとｊを目印を区別するインデックスとするとき、全ての２つの目印の対Ｒ_i，Ｒ_jについてそれらの間の相互間距離Ｌ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）を測定する目印間距離測定過程と、
   上記目印が付与された上記対象物を上記撮影手段で撮影し２次元画像情報を得る２次元情報取得過程と、
   上記４点の目印の上記２次元画像情報内の位置（ｒ₁，ｒ₂，ｒ₃，ｒ₄）を特定する目印位置特定過程と、
   上記撮影手段の焦点距離と、上記４点の目印の上記２次元画像情報内の位置（ｒ₁，ｒ₂，ｒ₃，ｒ₄）に基づき、全ての２つの目印の対について、３次元空間内における原点Ｏを中心とする３次元空間内における見込み角θ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）を計算する見込み角計算過程と、
   ｉとｊとｋを目印を区別するインデックスとするとき、上記４点の目印から３つの目印Ｒ_i，Ｒ_j，Ｒ_k（ｉ＝１；ｊ，ｋ＝２，３，４；ｊ＜ｋ）を選んで作った異なる三角形の各々について、各三角形に含まれる２つの目印Ｒ_i とＲ_j と上記原点Ｏの間の距離をそれぞれａ，ｂとするとき、その比ｘ（ｘ＝ｂ／ａ）を変数とする、該３つの目印Ｒ_i，Ｒ_j，Ｒ_kが作る三角形の各辺の長さＬ_ijと、上記原点Ｏが該３角形の各辺をはさむ見込み角θ_ijの関数である係数ｇ₀、ｇ₁、ｇ₂、ｇ₃、ｇ₄を持つ、余弦定理から導かれる４次方程式の解を求める４次方程式求解過程と、
   上記４次方程式の解に基づいて、該三角形の３つの各目印と上記原点Ｏの間の距離として可能性がある距離候補値の組を計算する候補値計算過程と、
   異なる３つの目印により形成される他の三角形について同様な計算して得られる距離候補値と比較して、整合性のある距離候補値を選択することにより、上記原点Ｏと目印Ｒ_i（ｉ＝１，２，３，４）の間の距離を決定する整合距離取得過程と、
   整合性がある距離として選択された上記距離と上記４点の目印の上記２次元画像情報内の位置（ｒ₁，ｒ₂，ｒ₃，ｒ₄）に基づき上記４点の目印の３次元空間における位置を決定する３次元位置決定過程と、
   を含むことを特徴とする、単眼視３次元位置計測方法。
4. ３次元空間内で移動する対象物の１台の撮影手段で得られた２次元画像情報から上記対象物に付された目印の３次元空間内の位置を計測する単眼視３次元位置計測方法であって、
   上記対象物に４点の目印Ｒ_i（ｉ＝１，２，３，４）を付する目印付与過程と、
   ｉとｊを目印を区別するインデックスとするとき、全ての２つの目印の対Ｒ_i，Ｒ_jについてそれらの間の相互間距離Ｌ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）を測定する目印間距離測定過程と、
   移動前の上記４点の目印Ｒ_i（ｉ＝１，２，３，４）と３次元空間の原点Ｏの間の距離ｑ_iと、上記相互間距離Ｌ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）を入力する移動前距離入力過程と、
   上記目印が付与された上記対象物を上記撮影手段で撮影して２次元画像情報を得る２次元情報取得過程と、
   上記４点の目印の上記２次元画像情報内の位置（ｒ₁，ｒ₂，ｒ₃，ｒ₄）を特定する目印位置特定過程と、
   ２つの目印の全ての対について、３次元空間内における上記原点Ｏを中心とする３次元空間内における見込み角θ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）を計算する見込み角計算過程と、
   前記対象物の２つの目印の移動後の位置と前記撮影手段の位置が形成する三角形について、その２つの目印の間の辺を前記撮影手段から見た見込み角とその三角形の３辺の長さの間に成り立つ余弦公式を展開し、この際、前記撮影手段と両目印の間の距離を暫定距離（初期値は移動前距離入力過程で入力された距離ｑ _i ）と微小変化の和として表現し、その微小変化の二乗である二次微小項を無視して得られる、前記撮影手段からの距離の微小変化量に関する一次方程式を得て、前記対象物の４点の目印の中の３つの目印が形成する各三角形についての３本の前記一次方程式からなる連立方程式を解き、それらの目印と前記撮影手段の間の距離の微小変化量を計算することを、４点の目印の中の３つの目印が形成する全ての三角形について行い、４点の目印の中の３つの目印が形成する全ての三角形について得られた、各目印と前記撮影手段の間の移動後の距離の値を平均して平均化微小量Δｑ_i'を求め、上記移動後距離ｑ_iの近似値として暫定的に設定されている暫定距離の値に上記平均化微小量Δｑ_i'を加えそれを改めて新しい距離ｑ_iの近似値として得て暫定距離とする近似値取得過程と、
   上記新しい距離ｑ_iの近似値に基づいて各目印Ｒ_i（ｉ＝１，２，３，４）と夫々の隣接する目印Ｒ_j（ｊ＝１，２，３，４；ｉ≠ｊ）の間の間隔を計算しその値を夫々に対応する予め計測されている相互間距離Ｌ_ij（ｉ＝１，２，３；ｊ＝２，３，４；ｉ＜ｊ）と比較してその差が所定値より小さいか否かを判別する判別過程と、
   上記判別の結果その差が所定値より大きいときに実行される、上記近似値に基づいて上記近似値取得過程と上記判別過程を繰返す収束演算過程と、
   上記判別の結果その差が所定値より小さいとき実行される、対象物の移動後の目印Ｒ_i（ｉ＝１，２，３，４）と上記原点Ｏの間の移動後距離ｑ_iを上記近似値とし、移動後距離ｑ_iと上記４点の目印の上記２次元画像情報内の位置（ｒ₁，ｒ₂，ｒ₃，ｒ₄）とに基づいて上記対象物の移動後の４点の上記目印の３次元空間における位置を特定する３次元空間位置特定過程と、
   を含むことを特徴とする、単眼視３次元位置計測方法。

Images