JP4282216B2 - 3D position and orientation sensing device - Google Patents
3D position and orientation sensing device Download PDFInfo
- Publication number
- JP4282216B2 JP4282216B2 JP2000284318A JP2000284318A JP4282216B2 JP 4282216 B2 JP4282216 B2 JP 4282216B2 JP 2000284318 A JP2000284318 A JP 2000284318A JP 2000284318 A JP2000284318 A JP 2000284318A JP 4282216 B2 JP4282216 B2 JP 4282216B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- orientation
- image
- dimensional position
- markers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像撮影装置を利用して対象物を撮影し、当該対象物の相対的な３次元位置姿勢を計測する３次元位置姿勢センシング装置に関する。
【０００２】
【従来の技術】
従来、所定形状の指標たるマーカを撮影した画像を解析することで、該マーカに対する画像入力手段の位置や姿勢を求める技術が知られている。
【０００３】
例えば、「ＶＲインターフェースのための単眼による長方形マーカ位置・姿勢の高密度実時間推定方法」（３Ｄ Image Conference 96 予稿集 pp167-172高橋章、石井郁夫、牧野秀夫、中野真 １９９６）には、位置座標が予め判っている長方形マーカを撮影して、当該長方形マーカの四隅の撮影画像上の位置から当該長方形マーカと撮影カメラの相対的位置姿勢関係を求め、該撮影カメラの位置及び姿勢を計算する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来技術では、カメラとマーカとが遠く離れている場合には、当該マーカの四隅の画像上での離間距離が小さくなり、検出精度が悪くなるという問題があり、ゆえに検出可能な範囲が限られていた。
【０００５】
これを回避するため、複数のマーカをカメラが撮影する可能性のある空間領域にある程度の密度で配置しておき、カメラの撮影範囲にあるマーカのうち、ある程度近い距離のマーカを使って、このカメラとマーカの相対的位置姿勢を求めるようにすることもできる。しかしながら、このように複数のマーカを用いた場合には、上述した従来技術のように単純な図形を用いた場合において、どのマーカに対しての相対的位置なのかを知ることが困難であった。
【０００６】
本発明は、上記問題に鑑みてなされたもので、その目的とするところは、対象物との位置姿勢関係が既知のマーカを撮影した画像を解析して、当該マーカと撮影手段との相対的位置姿勢関係を求め、これをもって当該対象物の位置及び姿勢を求める場合に、比較的広い領域で測定可能な３次元位置姿勢センシング装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の態様では、撮影装置で撮影した画像より、対象物と撮影装置の相対的な３次元位置姿勢関係を計測する装置であって、上記対象物と３次元位置姿勢関係が既知のマーカとを上記撮影装置で撮影した画像を入力する画像入力手段と、上記画像入力手段より入力された画像において、上記マーカを当該マーカの幾何学的特徴を用いて同定する同定手段と、上記同定手段により同定された複数のマーカのうちの１つのマーカの画像を解析して、該マーカと上記撮影装置の相対的位置姿勢関係を求め、上記対象物と上記撮影装置との３次元位置姿勢関係を求める、単一マーカによる位置姿勢検出手段と、上記同定手段で同定された複数のマーカの画像上の位置に基づいて、該マーカと上記撮影装置の相対的な位置姿勢関係を求めて、上記対象物と上記撮影装置の３次元位置姿勢関係を求める、複数マーカによる位置姿勢検出手段と、上記単一マーカによる位置姿勢検出手段と上記複数マーカによる位置姿勢検出手段を択一的に切換える切換手段と、を有し、上記切換手段は、画像上のマーカの視野角に基づいて、上記単一マーカによる位置姿勢検出手段と上記複数のマーカによる位置姿勢検出手段を切換えることを特徴とする３次元位置姿勢センシング装置が提供される。
【００１０】
第２の態様では、上記第１の態様において、上記単一マーカによる位置姿勢検出手段は、上記１つのマーカの画像より複数の特徴部位を検出し、上記特徴部位の画像上での位置関係と上記特徴部位の実際のマーカ上での位置関係とを比較して、上記マーカと上記撮影装置の相対的位置姿勢関係を求めるものであることを特徴とする３次元位置姿勢センシング装置が提供される。
【００１１】
第３の態様では、上記第２の態様において、上記マーカの形状は４角形以上の多角形であり、上記単一マーカによる位置姿勢検出手段は、この多角形の頂点を上記特徴部位として検出することを特徴とする３次元位置姿勢センシング装置が提供される。第４の態様では、上記第１の態様において、上記マーカは、当該マーカの大きさを表わす情報を含むことを特徴とする３次元位置姿勢センシング装置が提供される。
【００１２】
第５の態様では、上記第１の態様において、上記マーカは、当該マーカの場所の属性を表わす情報を含むことを特徴とする３次元位置姿勢センシング装置が提供される。第６の態様では、上記第１の態様において、上記マーカは、自発光型材料で形成されていることを特徴とする３次元位置姿勢センシング装置が提供される。第７の態様では、上記第６の態様において、上記自発光型材料が用いられたマーカは、非常災害時の緊急灯と同期して点灯することを特徴とする３次元位置姿勢センシング装置が提供される。
【００１３】
第８の態様では、上記第１の態様において、上記マーカは、入射光を反射して入射光路を逆進させる再帰性材料により形成されていることを特徴とする３次元位置姿勢センシング装置が提供される。第９の態様では、上記第１の態様において、上記マーカは、蛍光材料で形成されていることを特徴とする３次元位置姿勢センシング装置が提供される。
【００１４】
上記第１０の態様では、上記第１の態様において、上記マーカは、人間の目には不可視であることを特徴とする３次元位置姿勢センシング装置が提供される。上記第１１の態様では、上記第１の態様において、上記マーカは、投影機で投影されたものであることを特徴とする３次元位置姿勢センシング装置が提供される。
【００１５】
上記第１乃至第１１の態様によれば以下の作用が奏される。
【００１６】
即ち、本発明の第１の態様では、画像入力手段により上記対象物と３次元位置姿勢関係が既知のマーカとを撮影装置で撮影した画像が入力され、同定手段により上記画像入力手段より入力された画像において、上記マーカが当該マーカの幾何学的特徴を用いて同定され、単一マーカによる位置姿勢検出手段により上記同定手段により同定された複数のマーカのうちの１つのマーカの画像が解析されて、該マーカと上記撮影装置の相対的位置姿勢関係が求められ、上記対象物と上記撮影装置との３次元位置姿勢関係が求められ、複数マーカによる位置姿勢検出手段により、上記同定手段で同定された複数のマーカの画像上の位置に基づいて、該マーカと上記撮影装置の相対的な位置姿勢関係が求められて、上記対象物と上記撮影装置の３次元位置姿勢関係が求められ、切換手段により上記単一マーカによる位置姿勢検出手段と上記複数マーカによる位置姿勢検出手段とが択一的に切換えられる。ここで、上記切換手段により、画像上のマーカの視野角に基づいて、上記単一マーカによる位置姿勢検出手段と上記複数のマーカによる位置姿勢検出手段が切換えられる。
【００１９】
第２の態様では、上記第１の態様において、上記単一マーカによる位置姿勢検出手段により、上記１つのマーカの画像より複数の特徴部位が検出され、上記特徴部位の画像上での位置関係と上記特徴部位の実際のマーカ上での位置関係とが比較されて、上記マーカと上記撮影装置の相対的位置姿勢関係を求められる。
【００２０】
第３の態様では、上記第２の態様において、上記マーカは４角形以上の多角形で構成されており、上記単一マーカによる位置姿勢検出手段により、この多角形の頂点が上記特徴部位として検出される。
【００２１】
そして、第４の態様では、上記第１の態様において、上記マーカには、当該マーカの大きさを表わす情報を含められている。第５の態様では、上記第１の態様において、上記マーカには、当該マーカの場所の属性を表わす情報を含められている。第６の態様では、上記第１の態様において、上記マーカは、自発光型材料で形成されている。第７の態様では、上記第６の態様において、上記自発光型材料が用いられたマーカは、非常災害時の緊急灯と同期して点灯する。第８の態様では、上記第１の態様において、上記マーカは、入射光を反射して入射光路を逆進させる再帰性材料により形成されている。第９の態様では、上記第１の態様において、上記マーカは、蛍光材料で形成されている。
【００２２】
上記第１０の態様では、上記第１の態様において、上記マーカは、人間の目には不可視である。上記第１１の態様では、上記第１の態様において、上記マーカは、投影機で投影されたものである。
【００２３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２４】
先ず、本発明の第１の実施の形態について説明する。
【００２５】
図１は本発明の第１の実施の形態に係る３次元位置姿勢センシング装置の構成を示す機能ブロック図である。以下、同図を参照して詳述する。
【００２６】
この図１に示されるように、３次元位置姿勢を推定すべき対象物４或いはその付近には、幾何学的に固有の特徴を持った複数の固有マーカ５（以下、コードマーカと称する）が配置されている。
【００２７】
そして、画像撮影部１は当該コードマーカ５を撮影し、その画像をコンピュータ２に転送する。上記画像撮影部１としては、一般的なＴＶカメラやディジタルビデオカメラ等を採用することができる。また、上記画像撮影部１から転送された画像を受けるコンピュータ２としては、通常のパーソナルコンピュータや特殊な画像処理演算装置等を採用することができる。
【００２８】
上記画像撮影部１がＴＶカメラでありアナログ信号を出力する場合には、上記コンピュータ２内には、当該アナログ信号をディジタル化する装置やユニットが含まれる。また、上記画像撮影部１がディジタルカメラやディジタルビデオカメラ等である場合には、ディジタル信号をコンピュータ２に直接的に転送し、当該コンピュータ２にてディジタル信号を処理することになる。
【００２９】
このように、コンピュータ２が、画像撮影部１で撮影されたコードマーカ５に係る画像を受け、ディジタル信号に変換し、該ディジタル信号を処理することで画像内のコードマーカ５を認識し、該コードマーカ５の画像内位置と予め登録されているコードマーカ５の３次元位置とを利用することで、対象物４の画像撮影部１に対する３次元位置姿勢を推定する。このコードマーカ５の３次元位置は、コンピュータ２内のメモリに予め格納されている。
【００３０】
さらに、図２に示されるように、カメラパラメータ検出部３を構成に取込めば、画像撮影部１たるカメラのレンズ焦点距離や歪値などの情報を当該カメラパラメータ検出部３よりコンピュータ２に転送し、当該コンピュータ２において、これらの情報を加味した上で３次元位置姿勢の推定がされる。
【００３１】
先ず、少なくとも３個以上のコードマーカ５が同定できた場合において、対象物４の位置姿勢を推定する方法に関して解説する。
【００３２】
以下、画像と座標変換に関する基本的な扱いに関して説明する。
【００３３】
基本的に対象物４と画像撮影部１は、それぞれ固有の座標系を有しており、画像撮影部１が撮影する画像は、カメラ画像面として定義される。
【００３４】
図３は、上記カメラ画像面と画像撮影部１のカメラ座標系、及びオブジェクト座標系の関係を示した図である。
【００３５】
対象物４が規定するオブジェクト座標系はその原点をＯm 、その３次元座標を（ｘm ，ｙm ，ｚm ）とする。一方、画像撮影部１が規定するカメラ座標系は、その原点をＯc 、その３次元座標を（ｘc ，ｙc ，ｚc ）とする。
【００３６】
カメラ画像面は、その軸がｕ軸とｖ軸により構成され、ｕ軸はカメラ座標系のｘc軸と平行に、ｖ軸はｙc軸に平行に取られ、カメラ座標系を規定するｚc軸が画像撮影部１の光学系の光軸と一致し、その光軸とカメラ画像面が交わる点（カメラ画像面の中心）が、（ｕ0 ，ｖ0 ）で定義される。
【００３７】
画像撮影部１に相対する対象物の３次元位置姿勢を推定する問題は、カメラ座標系に対するオブジェクト座標系の位置姿勢を推定する問題、換言すれば、オブジェクト座標系からカメラ座標系への座標変換パラメータ、又はカメラ座標系からオブジェクト座標系への座標変換パラメータを算出する問題に帰着される。
【００３８】
これを数学的に記述すると、斉次変換行列 cＨm 又は mＨc を利用して、
【００３９】
【数１】
と定義することができる。ここに、Ｒ＝（ｒij），Ｒ′＝（ｒ′ij）は３×３の回転行列を示し、ｔ＝（ｔx ，ｔy ，ｔz ），ｔ′＝（ｔ′x ，ｔ′y ，ｔ′z ）は３次元並進べクトルを示している。
【００４１】
以下に詳述するマーカ群｛Ｍi ；ｉ＝１，２，…，ｍ｝は、予めオブジェクト座標系での３次元位置が計測されており、それらを（ｘim，ｙim，ｚim）で表現する。また、その画像内位置を（ｕi ，ｖi ）で記述する。
【００４２】
すると、画像撮影部１をピンホールカメラモデルで近似したとき、それらの座標間には、以下の関係が成立する。
【００４３】
【数２】
ここに、（ｕ0 ，ｖ0 ）は画像内の中心、（αu ，αv ）はｕ方向とｖ方向の拡大率を表し、画像撮影部１に関するカメラ内部パラメータであり、カメラキャリブレーションにより推定できる値である。
【００４５】
以下、図７のフローチャートを参照して、コンピュータ２が画像を入力した後に、対象物４の３次元位置姿勢を推定する動作の流れを説明する。
【００４６】
先ず、画像を受け取ったコンピュータ２は、その画像の中からコードマーカ５に対応する領域と推定される候補領域を抽出する（ステップＳ１）。
【００４７】
続いて、このステップＳ１にて抽出された候補領域内を詳細に解析し、その中からコードマーカ５のコードに対応する幾何学的特徴を抽出し、そのコードが認識された場合には、その領域をマーカ領域として、その画像内位置とコードとを登録する（ステップＳ２）。そして、この登録された画像から抽出されたコードマーカ５の画像内２次元位置と対象物に相対する３次元位置とを利用することで画像撮影部１に対応する対象物の位置を算出する（ステップＳ３）。
【００４８】
以下、図７の上記ステップＳ１乃至Ｓ３について更に詳述する。
【００４９】
（ステップＳ１）
第１の実施の形態では、画像撮影部１がカラー画像を生成するものとして、コードマーカ５としては、図４乃至図６に示したものを想定する。
【００５０】
コードマーカ５の外枠は単色から成立しているので、その単色に敏感な色フィルタをアルゴリズム内に導入する。
【００５１】
具体的には、画像面（ｕ，ｖ）で定義される画像点に関して、カラー画像を構成するフィルタの計測値Ｒ（赤），Ｇ（緑），Ｂ（青）から、
ｉ＝（Ｒ＋Ｇ＋Ｂ）／３
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）
に対応する３個のベクトルを算出する。
【００５２】
そして、コードマーカ５が取り得る画像内での色パターンの許容値が、
ｉmin ＜ｉ＜ｉmax
ｒmin ＜ｒ＜ｒmax
ｇmin ＜ｇ＜ｇmax
を満たす画像領域を抽出する。ここで、ｉmin ，ｉmax ，ｒmin ，ｒmax ，ｇmin ，ｇmax 等の値は、予め設定しておく。
【００５３】
次いで、画像領域内の穴埋めを行うことにより、コードマーカ５に対応する領域を決定する。
【００５４】
（ステップＳ２）
次に抽出された領域がマーカの像であるかを判定する。
【００５５】
例えば、パターンマッチングを用い、予め登録しておいたマーカ像と比較を行うことでマーカの判定ができる。
【００５６】
（ステップＳ３）
上記ステップ２で同定されたコードマーカ５の画像内位置（ｕi ，ｖi ）（ｉ＝１，２，３，…）とオブジェクト座標系における３次元マーカ位置（ｘim，ｙim，ｚim）が与えられたとき、いかにして先に示した式（３）で定義される斉次変換行列 cＨm を算出するが、本ステップ４の課題である。
【００５７】
これは基本的に文献（M.A.Fischler and R.C.Bolles, “Random sample consensus : A paradigm for model fitting with applications to image analysis and automated cartography,”Communications of the ACM, Vol.24, No.6, June 1981, pp.381-395）で示される方法を以下の如く変更しながら行う。
【００５８】
この文献で紹介されている方法では、同定されたマーカ群の中から一直線上にない任意の３個のマーカを選択し、その３個のコードマーカを利用してカメラ座標系とオブジェクト座標系間の座標変換パラメータ解の候補を算出する。
【００５９】
しかしながら、その座標変換パラメータとしては、最大４種類の解が存在することが判っているので、その４種類の各解に対して、選択されなかったマーカ群を利用して解の検証を行うことにより、解の絞り込みを行うと共に、その解を初期値として、全てのコードマーカを利用して解の更新を行うものである。
【００６０】
以下、その方法に関して簡単に説明する。
【００６１】
同定されたマーカ群の中から、ある選択基準に従って画像内で一直線上にない３個のコードマーカを選択する。この選択基準としては、カメラ画像面で３個のコードマーカを頂点とする３角形の面積が最大となる３個のコードマーカを選択する方法やカメラ画像面で３個のコードマーカを頂点とする３角形の面積が最小となる３個のマーカを選択する方法等が考えられる。
【００６２】
このようにして得られたコードマーカをＭi （ｉ＝１，２，３）とする。
【００６３】
次に、これら３個のコードマーカＭi （そのモデル座標系における３次元位置をＰi（ｘim，ｙim，ｚim）、画像内位置をＱi （ｕi ，ｖi ）とする）に関して、図８に示されるような３個の３角形ΔＯc Ｍi Ｍj （ｉ，ｊ＝１，２，３；ｉとｊは等しくない）を考える。
【００６４】
これらの３個の３角形に関して、カメラ画像径の原点Ｏc から各マーカＭi までの距離をｄi とし、マーカＭi ，Ｍj とカメラ座標系原点Ｏc がなす角度θijとする。また、マーカＭi ，Ｍj 間の距離をＲijとする。
【００６５】
このとき、距離Ｒ12，Ｒ23，Ｒ31と角度θ12，θ23，θ31は既知の値となるが、ｄ1 ，ｄ2 ，ｄ3 は未知の値となる。逆に言えば、距離ｄ1 ，ｄ2 ，ｄ3 を算出することができれば、オブジェクト座標系からカメラ座標系への座標変換パラメータを算出することができる。
【００６６】
以下、この点に関して解説する。
【００６７】
（１）距離Ｒ12，Ｒ23，Ｒ31の算出方法
Ｒ12は点Ｐ1 と点Ｐ2 間のユークリッド距離として算出される。同様に、Ｒ23，Ｒ31はそれぞれ、点Ｐ2 とＰ3 、点Ｐ3 とＰ1 間のユークリッド距離として算出される。
【００６８】
（２）角度θ12，θ23，θ31の算出方法
マーカＭ1 ，Ｍ2 とカメラ座標系の原点Ｏcとがなす角度θijは以下のように算出することができる。
【００６９】
先ず、
【００７０】
【数３】
を（ｕi ，ｖi ）の正規化された座標値とすると、
【００７２】
【数４】
が成立する。この正規化された画像点
【００７４】
【数５】
は、カメラ座標系でｚc ＝１に対応する（ｘc ，ｙc ）に対応することから、
【００７６】
【数６】
が成立する。
【００７８】
このようにして、３個の角度をその余弦より算出することができる。
【００７９】
（３）距離ｄi （ｉ＝１，２，３）の算出方法
３角形のＯc Ｍ1 Ｍ2 ，Ｏc Ｍ2 Ｍ3 ，Ｏc Ｍ3 Ｍ1 に対して第２余弦定理を適用すれば、
Ｒ12＝ｄ12＋ｄ22−２ｄ1 ｄ2 cosθ12
Ｒ23＝ｄ22＋ｄ32−２ｄ2 ｄ3 cosθ23
Ｒ31＝ｄ32＋ｄ12−２ｄ3 ｄ1 cosθ31
が導かれる。
【００８０】
これら３式において、未知数はｄ1 ，ｄ2 ，ｄ3 の３個であり、制約式も３個であるので、理論的には上式を満たす解｛（ｄ1(k)，ｄ2(k)，ｄ3(k)）｝：ｋ＝１，２，３，４｝が存在する。
【００８１】
その解法に関しては、文献（M.A.Fischler and R.C.Bolles, “Random sample consensus : A paradigm for model fitting with applications to image analysis and automated cartography,”Communications of the ACM, Vol.24, No.6, June 1981, pp.381-395）で詳しく述べられているように、この方程式には最大４個の解が存在することが分かっており、その解が４次方程式の解として数値解析的に解くことが可能である。
【００８２】
（４）解（ｄ1 ，ｄ2 ，ｄ3 ）の検証と最適解の選択
基本的には、最大４個の解の中で１個だけが正しい解を与えるものである。
【００８３】
上記の解の中でどの解が正しいかを検証するのが、本段階である。
【００８４】
各解（ｄ1 ，ｄ2 ，ｄ3 ）について、カメラ座標系Ｃでのマーカ位置（ｘic，ｙic，ｚic）を算出する方法について解説する。
【００８５】
カメラ座標系原点Ｃからマーカまでの距離がｄi であり、その画像内位置（ｕi ，ｖi ）であり、
【００８６】
【数７】
と書くことができる。
【００８８】
いま、オブジェクト座標系でのマーカ位置を（ｘim，ｙim，ｚim）とすれば、オブジェクト座標系Ｏm からカメラ座標系Ｏc への変換は、
【００８９】
【数８】
と書かれる。
【００９１】
ここにＲは回転行列を表し、ｔは並進ベクトルを表す。
【００９２】
いま、両座標系でのマーカ群の重心ベクトルを［ｘmeanc，ｙmeanc，ｚmeanc］T ，［ｘmeanm，ｙmeanm，ｚmeanm］Tとすると、
【００９３】
【数９】
が成立し、並進ベクトルと回転行列を別々の式で算出することができる。
【００９５】
ｉ＝１，２，３に対して、上記方程式を解く方法としては、quaternion法（四元数法）がある。この方法の詳細は文献（B.K.P.Horn, “Closed-form solution of absolute orientation using unitquaternions,”Journal of Optical Society of America A, Vol.4, No.4, 1987, pp.629-642.）に述べられているので、その詳細はここでは省略する。
【００９６】
このようにＲ，ｔが算出されると、斉次変換行列 cＨm は式（１，２）により計算することができる。以上のことを４個の解に対して繰り返し、 cＨm(1), cＨm(2), cＨm(3), cＨm(4)の４個の解を算出することができる。
【００９７】
さて、同定されたコードマーカのうち最初の選択されなかったコードマーカをＭ4 ，Ｍ5 ，…，Ｍm とする。
【００９８】
各斉次変換行列 cＨm(k)（ｋ＝１，２，３，４）に対して、解として最もふさわしい解を、これらＭ4 ，Ｍ5 ，…，Ｍm を利用して決定する方法を説明する。
【００９９】
▲１▼各解 cＨm(k)に対する評価関数dist(k)を最小にするｋを、以下のステップで算出する。
【０１００】
▲２▼各解 cＨm(k)（ｋ＝１，２，３，４）に関して以下の方法により、dist(k)を算出する。
【０１０１】
ａ）dist(k)：＝０と評価関数を初期化する。
【０１０２】
ｂ）同定されたが最初の３個に選択されなかったマーカＭj （ｊ＝４，５，…，ｍ）について、そのオブジェクト座標系における３次元位置（ｘjm，ｙjm，ｚjm）を cＨm(k)を利用してカメラ画像面に変換する。その投影画像点を(ｕj′，ｖj′)とする。これは、
【０１０３】
【数１０】
により算出することができる。
【０１０５】
続いて、マーカＭj の実際に画像内で測定された２次元位置(ｕj ，ｖj )と投影画像点(ｕj′，ｖj′)との２乗誤差ｅj を算出する。
【０１０６】
ｅj は以下のように算出できる。
【０１０７】
【数１１】
▲３▼dist(k)が最小となる斉次変換行列の解 cＨm(k)を選択する。
【０１０９】
要約すると、上記のステップで求められる最適解 cＨm(k)は、コードマーカＭ1 ，Ｍ2 ，Ｍ3 から生成される解のうち、他のマーカＭ4 ，Ｍ5 ，…，Ｍm が最も支持する解を選択するものである。
【０１１０】
（５）解の更新
上記（４）で選択された解 cＨm(k)は、コードマーカＭ1 ，Ｍ2 ，Ｍ3 から推定されたものであり、他のマーカＭ4 ，Ｍ5 ，…，Ｍm に対する測定値を利用したものではない。本ステップでは、上記（４）で算出された解 cＨm(k)を初期推定値 cＨm(0)として、全てのコードマーカＭi （ｉ＝１，２，…，ｍ）によりこの解の更新を行う。すなわち、 cＨm を角度成分（roll（φz ）−pitch（φy ）−yaw（φx ）角）と並進成分（ｔx ，ｔy ，ｔz ）に展開して、６次元未知変数ｐ＝（φx ，φy ，φz ；ｔx ，ｔy ，ｔz ）とし、その初期推定値をｐ(0)＝（φx(0)，φy(0)，φz(0)；ｔx(0)，ｔy(0)，ｔz(0)）と定義する。
【０１１１】
具体的には、
【０１１２】
【数１２】
により定義される。
【０１１４】
これをオブジェクト座標系でのマーカ３次元位置（ｘim，ｙim，ｚim）と、そのカメラ画像面での位置(ｕi ，ｖi )の関係を利用しながら、６次元位置姿勢パラメータｐ＝（φx ，φy ，φz ；ｔx ，ｔy ，ｔz ）を更新することを考える。
【０１１５】
オブジェクト座標系でのマーカ３次元位置（ｘim，ｙim，ｚim）と、そのカメラ画像面での位置(ｕi ，ｖi )の関係は、
【０１１６】
【数１３】
により与えられる。この式を整理すると、各マーカＭi （ｉ＝１，２，…，ｍ）に関して、
【０１１８】
【数１４】
なる２次制約式によって表現され、６次元パラメータの初期推定値ｐ(0)＝（φx(0)，φy(0)，φz(0)；ｔx(0)，ｔy(0)，ｔz(0)）を用いて、６次元パラメータｐ＝（φx ，φy ，φz ；ｔx ，ｔy ，ｔz ）を推定する問題となる。
【０１２０】
この問題はよく知られた非線形方程式問題であり、多くの著書がその解法を紹介しているので、ここではその詳細を述べない。
【０１２１】
このようにして６次元パラメータは、全てのマーカの測定値を利用して更新され、オブジェクト座標系からカメラ座標系への座標変換パラメータが算出される。すなわち、対象物４と画像撮影部１の間の位置関係を算出することができる。
【０１２２】
以上説明したように、第１の実施の形態によれば、マーカ群の一部が遮蔽されて検出できなかった場合でも、検出されたマーカだけから対象物４と画像撮影部１の間の３次元位置関係を算出することができる。
【０１２３】
また、マーカの検出に際しては、マーカ固有のコードを利用することにより、マーカ同定の信頼性が従来例に比べて極度に向上させることができるので、より安定な位置姿勢計測を実現することができる。
【０１２４】
前述のように、マーカの検出に際しては、最低３個を検出する必要があるが、４個以上検出できれば、更に信頼性が高くなる。
【０１２５】
ここで、先にも述べたように、図４乃至図６は、幾何学的特徴を持ったコードマーカ５の一例を表したものである。
【０１２６】
各コードマーカ５は幾何学的特徴を有しており、それがコードマーカ５にラベルを付加するに足るコードを生成できる点は重要である。
【０１２７】
図４は１つのマーカ画像を解析して４点の特徴点を認識する場合に好適なコードマーカの形状を示しており、図４（ａ），（ｂ）は正方形、図４（ｃ）は台形、図４（ｄ）はコの字形、図４（ｅ），（ｆ）は円形、図４（ｇ）は星型のコードマーカの構成例を示している。
【０１２８】
すなわち、１つのマーカを解析することで、前出のコードマーカ４つの代替となる４つの位置の既知な特徴点の情報を得ることができるわけである。
【０１２９】
図４（ａ）のコードマーカでは、マーカの検出は外枠内外の色を変え、その違いを検出することで行い、外枠を微分、細線化などすることでその４隅を位置の既知な特徴点として認識する。
【０１３０】
さらに、向きは下側の横線（外枠内側）を検出することで認識し、情報は外枠内部の８点（中央の１点は位置認識用）を検出することで取得する。チェックデジットについては、外枠内側左右の２点（２点→２ｂｉｔ）を用いる。
【０１３１】
図４（ｈ）はコードマーカ（図４（ａ））の特徴点が検出された様子を示す。外枠の左下端のオブジェクト座標における座標値を（u1,v1）、更に右下端、右上端、左上端の順にそれぞれ（u2,v2）、（u3,v3）、（u4,v4）とする。これら４つの座標値を前出の説明におけるM1からM4に当てはめ、対象物の位置姿勢の認識が可能になる。
【０１３２】
図４（ｂ）のコードマーカでは、特徴点検出を外枠内側四隅にある４点の検出により実現される以外は図４（ａ）と同様である。この他、図４（ｃ），（ｄ）のコードマーカについても、基本的には図４（ａ），（ｂ）と同様である。
【０１３３】
図４（ｅ）のコードマーカでは、マーク検出は外枠内外の色を変え、その違いを検出することで行い、４点検出については、外枠の内側四隅にある４点の検出により実現する。さらに、向きは下側の横線（外枠内側）を検出することで認識し、情報は外枠内部の８点（中央の１点は位置認識用）を検出することで取得する。また、チェックデジットについては、外枠内側左右の２点（２点→２ｂｉｔ）を用いる。図４（ｆ）のコードマーカでは、４点検出を外枠外側四隅にある４点の検出により実現する以外は図４（ｅ）と同様である。この他、図４（ｇ）のコードマーカについても、図４（ａ）乃至（ｆ）と同様である。
【０１３４】
図５は８ｂｉｔの情報を格納する外枠内部のコードの形状のバリエーションを示したものである。すなわち、図５（ａ）は円形のコード、図５（ｂ）は三角形のコード、図５（ｃ），（ｄ）は四角形のコード、図５（ｅ）は文字コード、図５（ｆ）は線形コード、図５（ｇ）は渦巻き状のコード、により８ｂｉｔの情報が格納される。但し、これらの形状に限定されないことは勿論である。
【０１３５】
図６は斜め方向から撮影された場合にも、認識率が高い例としてシンメトリー／立体マーク（半球、ピラミット形状）の例を示している。図６（ａ）は斜視図であり、図６（ｂ）は上面図、図６（ｃ）は側面図である。
【０１３６】
以上によりマーカが複数あり、その中の単一のマーカを解析することにより位置姿勢が検出できる。
【０１３７】
マーカの種類を、複数用意しておくことにより、例えばマーカの大きさなどのマーカの種類、建物の部屋番号や部屋、廊下、階段などの場所の属性を表わす情報、として用いることができる。また、マーカをＬＥＤやＬＣＤなど自発光型材料で構成することにより、その自発光型材料を制御することや、投影機によりマーカを必要に応じて投影することによりすれば、静的ではなく場合に応じて変更ができる動的なマーカを構築することができる。更に、これら自発光型材料が非常災害時の緊急灯と同期し、災害発生時に点灯するようにしておけば、災害時の自動誘導灯として用いることが可能になる。
【０１３８】
道路などでコーナーキューブとして使われているような再帰性材料で構築すれば、撮影装置に取り付けた僅かな光源を利用して動作ができる。
【０１３９】
蛍光材料によりマーカを構成すれば、照明などが無い状態でも動作することができる。更に、投影装置には感度のある赤外や紫外の波長でマーカを構築すれば、人間の目には不可視な状態で景観を損なわずに動作が可能になる。
【０１４０】
次に第２の実施の形態について説明する。
【０１４１】
前述した第１の実施の形態に係る３次元位置姿勢センシング装置では、複数のマーカの内の１つのマーカを解析したが、第２の実施の形態では、複数または単数のマーカによる位置姿勢センシングを切り換える手段を備える。
【０１４２】
図９は第２の実施の形態を説明する図で、解析するマーカ数の切り替え手段２１を有している。切り替え手段２１が１つのマーカによる位置姿勢センシング指示する場合には、例えば複数見つかっているマーカ５の内の、画面の中で最も左上に位置するマーカ５を解析し、その外枠から検出された特徴点の座標を位置姿勢推定手段２２に渡す。また、複数のマーカによる位置姿勢センシングを指示する場合には、同定されたマーカ５の座標を位置姿勢推定手段２２に渡す。位置姿勢推定手段２２の動作については、第１の実施の形態の中で詳述しているので、ここでは省略する。
【０１４３】
次に第３の実施の形態について説明する。
【０１４４】
第３の実施の形態においては、第２の実施の形態における解析するマーカ数の切り替え手段２１が、マーカの画面内における視野角により動作をする。ここで、画面の水平画角に占めるマーカの角度を視野角と呼ぶ。
【０１４５】
図１０にマーカが画像入力された画面を示す。
【０１４６】
水平方向の画面画角が４０度、その中に占めるマーカ３０から３３のそれぞれの水平方向の視野角が１５度、３度、５度、５度の場合を示している。マーカの中で最大の視野角を持つマーカ３０の視野角により単一のマーカでの位置姿勢センシングか、画面内の４つのマーカによるセンシングかを切り替える。いま、１０度をセンシング切り替えの閾値とする。図１０の場合は最大の視野角のマーカ３０が１０度を超えているため単一のマーカによるセンシングを行う。全てのマーカが１０度以下の視野角の場合には複数マーカによるセンシングを行う。また、全てのマーカが１０度以下で、しかもマーカの個数が３個以下の場合にはセンシングエラーとする。ここでは視野角が水平方向の場合を示したが、垂直方向、またその両方を掛け合わせた画像内に占める面積で判定を行うことも可能である。
【０１４７】
次に、本発明の第４の実施の形態について説明する。
【０１４８】
これは、画像撮影部１以外と対象物４間の３次元位置姿勢を推定する方法に関するものである。今まで説明してきた実施例では、対象物４と画像撮影部１間の位置関係を計測する例を説明したきた。
より実際的な例の場合には図１に示される画像撮影部１とコンピュータ２は、対象物４の位置姿勢を推定する位置センサとして利用される場合がある。この際には、該位置センサを含むシステム内に別の装置があり、その別の装置が規定する座標系をシステムが基準とするシステム座標系と考えることが多い。
【０１４９】
この場合、コンピュータ２は画像撮影部１が規定するカメラ座標系から別の装置が規定する基準座標系への座標変換パラメータをあらかじめ格納しており、その座標変換パラメータを利用して、コンピュータ２は、オブジェクト座標系から該基準座標系への座標変換パラメータを算出する。そして、基準座標系のおける対象物４の３次元位置姿勢を推定する。
【０１５０】
第４の実施の形態によれば、本発明の手段を別の装置のための位置姿勢センサとして利用することも可能である。
【０１５１】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能である。
【０１５２】
最後に、請求項記載の画像入力手段は画像撮影部１に包含される概念であり、同定手段、単一マーカによる位置姿勢検出手段、複数マーカによる位置姿勢検出手段、切換手段は、コンピュータ２に包含される概念である。
【０１５３】
【発明の効果】
以上詳述したように、本発明によれば、対象物との位置姿勢関係が既知のマーカを撮影した画像を解析して、当該マーカと撮影手段との相対的位置姿勢関係を求め、これをもって当該対象物の位置及び姿勢を求める場合に、比較的広い領域で測定可能な３次元位置姿勢センシング装置を提供することができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る３次元位置姿勢センシング装置の構成を示す機能ブロック図である。
【図２】第１の実施の形態に係る３次元位置姿勢センシング装置の改良例の構成を示す機能ブロック図である。
【図３】カメラ画像面と画像撮影部のカメラ座標系、及びオブジェクト座標系の関係を示した図である。
【図４】幾何学的特徴を持ったコードマーカの一例を表したものである。
【図５】幾何学的特徴を持ったコードマーカの一例を表したものである。
【図６】幾何学的特徴を持ったコードマーカの一例を表したものである。
【図７】第１の実施の形態において、対象物の３次元位置姿勢を推定する動作の流れを説明するフローチャートである。
【図８】３個のコードマーカＭiに関して３個の３角形ΔＯc Ｍi Ｍj （ｉ，ｊ＝１，２，３；ｉとｊは不等）を示した図である。
【図９】第２の実施の形態に係る３次元位置姿勢センシング装置の構成図である。
【図１０】マーカが画像入力された画面の一例を示す図である。
【符号の説明】
１ 画像撮影部
２ コンピュータ
３ カメラパラメータ検出部
４ 対象物
５ コードマーカ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional position / orientation sensing apparatus that photographs an object using an image photographing apparatus and measures a relative three-dimensional position / orientation of the object.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a technique for obtaining the position and orientation of an image input unit with respect to a marker by analyzing an image obtained by capturing a marker that is an index of a predetermined shape is known.
[0003]
For example, “High-Density Real-Time Estimation of Rectangular Marker Position and Posture with Monocular for VR Interface” (3D Image Conference 96 Proceedings pp167-172 Akira Takahashi, Ikuo Ishii, Hideo Makino, Makoto Nakano 1996) A rectangular marker whose coordinates are known in advance is photographed, the relative position and orientation relationship between the rectangular marker and the photographing camera is obtained from the positions of the four corners of the rectangular marker on the photographed image, and the position and orientation of the photographing camera are calculated. Technology is disclosed.
[0004]
[Problems to be solved by the invention]
However, in the above-described prior art, when the camera and the marker are far apart, there is a problem that the separation distance on the image of the four corners of the marker is small, and the detection accuracy is deteriorated, so that detection is possible. The range was limited.
[0005]
In order to avoid this, a plurality of markers are arranged at a certain density in a space area where the camera may shoot, and among markers in the shooting range of the camera, a marker that is close to a certain distance is used. It is also possible to obtain the relative position and orientation of the camera and the marker. However, when a plurality of markers are used in this way, it is difficult to know which marker the relative position is when a simple figure is used as in the prior art described above. .
[0006]
The present invention has been made in view of the above problems, and an object of the present invention is to analyze an image obtained by photographing a marker whose position and orientation relationship with a target object is known, and to determine the relative relationship between the marker and the photographing means. An object of the present invention is to provide a three-dimensional position and orientation sensing device capable of measuring in a relatively wide area when the position and orientation relationship is obtained and the position and orientation of the target object are obtained from the relationship.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, according to a first aspect of the present invention, there is provided an apparatus for measuring a relative three-dimensional position / orientation relationship between an object and a photographing apparatus from an image photographed by the photographing apparatus. And an image input means for inputting an image obtained by photographing the three-dimensional position and orientation relationship with the photographing apparatus, and an image inputted from the image input means, using the geometric feature of the marker as the marker. Analyzing the image of one of the plurality of markers identified by the identifying means, determining the relative position and orientation relationship between the marker and the imaging device, A position / orientation detection means using a single marker for obtaining a three-dimensional position / orientation relationship with the imaging device; Based on the positions on the image of the plurality of markers identified by the identification means, the relative position and orientation relationship between the marker and the imaging device is obtained, and the three-dimensional position and orientation relationship between the object and the imaging device is obtained. A plurality of marker position and orientation detection means; and a single marker position and orientation detection means; and a plurality of marker position and orientation detection means, and a switching means that selectively switches the position and orientation detection means. The position / orientation detection means using the single marker and the position / orientation detection means using the plurality of markers are switched based on the viewing angle of the marker. A three-dimensional position and orientation sensing device is provided.
[0010]
First 2 In the first aspect, in the first aspect, the position and orientation detection means using the single marker detects a plurality of characteristic parts from the image of the one marker, and the positional relationship on the image of the characteristic parts and the characteristic A three-dimensional position / orientation sensing device is provided, which compares a positional relationship between a part and an actual marker to obtain a relative position / orientation relationship between the marker and the imaging device.
[0011]
First 3 In the above aspect, 2 In this aspect, the shape of the marker is a quadrilateral or more polygon, and the position / orientation detection means using the single marker detects the vertex of the polygon as the feature part. A sensing device is provided. First 4 According to the above aspect, there is provided a three-dimensional position and orientation sensing device according to the first aspect, wherein the marker includes information indicating a size of the marker.
[0012]
First 5 According to an aspect of the present invention, there is provided a three-dimensional position and orientation sensing device according to the first aspect, wherein the marker includes information indicating an attribute of a location of the marker. First 6 According to an aspect, there is provided a three-dimensional position and orientation sensing device according to the first aspect, wherein the marker is formed of a self-luminous material. First 7 In the above aspect, 6 In the above aspect, there is provided a three-dimensional position and orientation sensing device, wherein the marker using the self-luminous material is lit in synchronization with an emergency light in an emergency disaster.
[0013]
First 8 According to an aspect of the present invention, there is provided a three-dimensional position and orientation sensing device according to the first aspect, wherein the marker is formed of a recursive material that reflects incident light and reverses the incident optical path. . First 9 According to an aspect, there is provided a three-dimensional position and orientation sensing device according to the first aspect, wherein the marker is made of a fluorescent material.
[0014]
Above 10 According to an aspect of the present invention, there is provided a three-dimensional position and orientation sensing device according to the first aspect, wherein the marker is invisible to human eyes. Above 11 According to an aspect of the present invention, there is provided a three-dimensional position and orientation sensing device according to the first aspect, wherein the marker is projected by a projector.
[0015]
1st to 1st above 11 According to this aspect, the following effects are exhibited.
[0016]
That is, in the first aspect of the present invention, an image obtained by photographing the object and a marker having a known three-dimensional position and orientation relationship is input by the image input means and input from the image input means by the identification means. In the obtained image, the marker is identified using the geometric feature of the marker, and the image of one marker among the plurality of markers identified by the identification unit is analyzed by the position and orientation detection unit using a single marker. Thus, the relative position and orientation relationship between the marker and the imaging device is obtained, and the three-dimensional position and orientation relationship between the object and the imaging device is obtained. And Based on the positions on the image of the plurality of markers identified by the identification means, the relative position and orientation relationship between the markers and the imaging device is obtained by the position and orientation detection means using a plurality of markers, and the object and A three-dimensional position / orientation relationship of the photographing apparatus is obtained, and a position / orientation detection unit using the single marker and a position / orientation detection unit using the plurality of markers are alternatively switched by the switching unit. here, Based on the viewing angle of the marker on the image, the switching means switches the position / orientation detection means using the single marker and the position / orientation detection means using the plurality of markers.
[0019]
First 2 In this aspect, in the first aspect, a plurality of characteristic parts are detected from the image of the one marker by the position and orientation detection means using the single marker, and the positional relationship on the image of the characteristic part and the characteristic The positional relationship on the actual marker on the part is compared, and the relative positional orientation relationship between the marker and the imaging device is obtained.
[0020]
First 3 In the above aspect, 2 In this aspect, the marker is formed of a polygon having a quadrangle or more, and the vertex of the polygon is detected as the characteristic portion by the position and orientation detection means using the single marker.
[0021]
And second 4 In this aspect, in the first aspect, the marker includes information indicating the size of the marker. First 5 In this aspect, in the first aspect, the marker includes information indicating an attribute of the location of the marker. First 6 In this aspect, in the first aspect, the marker is formed of a self-luminous material. First 7 In the above aspect, 6 In this aspect, the marker using the self-luminous material is turned on in synchronization with the emergency light at the time of an emergency disaster. First 8 In this aspect, in the first aspect, the marker is made of a recursive material that reflects incident light and reverses the incident optical path. First 9 In the aspect, in the first aspect, the marker is formed of a fluorescent material.
[0022]
Above 10 In this aspect, in the first aspect, the marker is invisible to the human eye. Above 11 In this aspect, in the first aspect, the marker is projected by a projector.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0024]
First, a first embodiment of the present invention will be described.
[0025]
FIG. 1 is a functional block diagram showing the configuration of the three-dimensional position / orientation sensing apparatus according to the first embodiment of the present invention. Details will be described below with reference to FIG.
[0026]
As shown in FIG. 1, a plurality of unique markers 5 (hereinafter referred to as code markers) having geometrically unique features are present at or near the object 4 whose three-dimensional position / orientation is to be estimated. Has been placed.
[0027]
The image capturing unit 1 captures the code marker 5 and transfers the image to the
[0028]
When the image photographing unit 1 is a TV camera and outputs an analog signal, the
[0029]
In this way, the
[0030]
Furthermore, as shown in FIG. 2, if the camera
[0031]
First, a method for estimating the position and orientation of the object 4 when at least three code markers 5 can be identified will be described.
[0032]
In the following, basic handling for images and coordinate transformation will be described.
[0033]
Basically, the object 4 and the image capturing unit 1 have their own coordinate systems, and an image captured by the image capturing unit 1 is defined as a camera image plane.
[0034]
FIG. 3 is a diagram showing the relationship between the camera image plane, the camera coordinate system of the image capturing unit 1, and the object coordinate system.
[0035]
The object coordinate system defined by the object 4 has its origin as Om and its three-dimensional coordinates as (xm, ym, zm). On the other hand, the camera coordinate system defined by the image capturing unit 1 has its origin as Oc and its three-dimensional coordinates as (xc, yc, zc).
[0036]
The camera image plane is composed of the u axis and the v axis, the u axis is parallel to the xc axis of the camera coordinate system, the v axis is parallel to the yc axis, and the zc axis that defines the camera coordinate system is A point (the center of the camera image plane) that coincides with the optical axis of the optical system of the image photographing unit 1 and intersects with the optical axis is defined by (u0, v0).
[0037]
The problem of estimating the three-dimensional position and orientation of the object relative to the image photographing unit 1 is the problem of estimating the position and orientation of the object coordinate system with respect to the camera coordinate system, in other words, coordinate conversion from the object coordinate system to the camera coordinate system. This results in a problem of calculating parameters or coordinate conversion parameters from the camera coordinate system to the object coordinate system.
[0038]
Mathematically describing this, using the homogeneous transformation matrix cHm or mHc,
[0039]
[Expression 1]
Can be defined as Here, R = (rij) and R '= (r'ij) indicate a 3 * 3 rotation matrix, and t = (tx, ty, tz), t' = (t'x, t'y, t ′ Z) indicates a three-dimensional translation vector.
[0041]
In the marker group {Mi; i = 1, 2,..., M} described in detail below, the three-dimensional position in the object coordinate system is measured in advance, and (xi) m , Yi m , Zi m ). Further, the position in the image is described by (ui, vi).
[0042]
Then, when the image capturing unit 1 is approximated by a pinhole camera model, the following relationship is established between the coordinates.
[0043]
[Expression 2]
Here, (u0, v0) represents the center in the image, (αu, αv) represents the enlargement ratio in the u direction and the v direction, and is a camera internal parameter relating to the image capturing unit 1 and can be estimated by camera calibration. is there.
[0045]
Hereinafter, the flow of operations for estimating the three-dimensional position and orientation of the object 4 after the
[0046]
First, the
[0047]
Subsequently, the candidate area extracted in step S1 is analyzed in detail, and the geometric feature corresponding to the code of the code marker 5 is extracted from the candidate area. If the code is recognized, Using the area as a marker area, the position and code in the image are registered (step S2). Then, the position of the object corresponding to the image photographing unit 1 is calculated by using the two-dimensional position in the image of the code marker 5 extracted from the registered image and the three-dimensional position opposite to the object ( Step S3).
[0048]
Hereinafter, the steps S1 to S3 in FIG. 7 will be described in more detail.
[0049]
(Step S1)
In the first embodiment, it is assumed that the image capturing unit 1 generates a color image, and the code marker 5 shown in FIGS. 4 to 6 is assumed.
[0050]
Since the outer frame of the code marker 5 is composed of a single color, a color filter sensitive to that single color is introduced into the algorithm.
[0051]
Specifically, with respect to the image points defined on the image plane (u, v), from the measurement values R (red), G (green), and B (blue) of the filters constituting the color image,
i = (R + G + B) / 3
r = R / (R + G + B)
g = G / (R + G + B)
Three vectors corresponding to are calculated.
[0052]
The allowable value of the color pattern in the image that the code marker 5 can take is
imin <i <imax
rmin <r <rmax
gmin <g <gmax
An image region that satisfies the condition is extracted. Here, values such as imin, imax, rmin, rmax, gmin, gmax are set in advance.
[0053]
Next, a region corresponding to the code marker 5 is determined by filling a hole in the image region.
[0054]
(Step S2)
Next, it is determined whether the extracted region is a marker image.
[0055]
For example, a marker can be determined by comparing with a marker image registered in advance using pattern matching.
[0056]
(Step S3)
The position (ui, vi) (i = 1, 2, 3,...) Of the code marker 5 identified in
[0057]
This is basically based on the literature (MAFischler and RCBolles, “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography,” Communications of the ACM, Vol.24, No.6, June 1981, pp.381. -395) is performed with the following changes.
[0058]
In the method introduced in this document, any three markers that are not in a straight line are selected from the identified marker group, and the three code markers are used to connect between the camera coordinate system and the object coordinate system. The candidate for the coordinate transformation parameter solution is calculated.
[0059]
However, since it is known that there are a maximum of four types of coordinate transformation parameters, each of the four types of solutions should be verified using a marker group that has not been selected. Thus, the solution is narrowed down, and the solution is updated using all code markers with the solution as an initial value.
[0060]
The method will be briefly described below.
[0061]
From the identified marker group, three code markers that are not in a straight line in the image are selected according to a certain selection criterion. As a selection criterion, a method of selecting three code markers having the maximum area of a triangle having three code markers as vertices on the camera image plane, or three code markers as vertices on the camera image plane. A method of selecting three markers that minimize the area of the triangle is conceivable.
[0062]
The code marker thus obtained is assumed to be Mi (i = 1, 2, 3).
[0063]
Next, with respect to these three code markers Mi (the three-dimensional position in the model coordinate system is Pi (xim, yim, zim) and the position in the image is Qi (ui, vi)), as shown in FIG. Consider three triangles ΔOc Mi Mj (i, j = 1, 2, 3; i and j are not equal).
[0064]
With respect to these three triangles, the distance from the origin Oc of the camera image diameter to each marker Mi is assumed to be di, and the angle θij formed by the markers Mi, Mj and the camera coordinate system origin Oc. The distance between the markers Mi and Mj is Rij.
[0065]
At this time, the distances R12, R23, and R31 and the angles θ12, θ23, and θ31 are known values, but d1, d2, and d3 are unknown values. In other words, if the distances d1, d2, and d3 can be calculated, the coordinate conversion parameter from the object coordinate system to the camera coordinate system can be calculated.
[0066]
This point will be explained below.
[0067]
(1) Calculation method of distances R12, R23, R31
R12 is calculated as the Euclidean distance between the points P1 and P2. Similarly, R23 and R31 are calculated as Euclidean distances between points P2 and P3 and points P3 and P1, respectively.
[0068]
(2) Calculation method of angles θ12, θ23, θ31
An angle θij formed by the markers M1 and M2 and the origin Oc of the camera coordinate system can be calculated as follows.
[0069]
First,
[0070]
[Equation 3]
Is the normalized coordinate value of (ui, vi)
[0072]
[Expression 4]
Is established. This normalized image point
[0074]
[Equation 5]
Corresponds to (xc, yc) corresponding to zc = 1 in the camera coordinate system.
[0076]
[Formula 6]
Is established.
[0078]
In this way, three angles can be calculated from their cosines.
[0079]
(3) Method for calculating distance di (i = 1, 2, 3)
Applying the second cosine theorem to triangles Oc M1 M2, Oc M2 M3, Oc M3 M1
R12 = d1 2 + D2 2 -2d1 d2 cosθ12
R23 = d2 2 + D3 2 -2d2 d3 cosθ23
R31 = d3 2 + D1 2 -2d3 d1 cosθ31
Is guided.
[0080]
In these three equations, there are three unknowns d1, d2, and d3, and there are also three constraint equations. Therefore, in theory, a solution {(d1 (k), d2 (k), d3 ( k))}: k = 1, 2, 3, 4} exists.
[0081]
For the solution, see MAFischler and RCBolles, “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography,” Communications of the ACM, Vol.24, No.6, June 1981, pp.381. -395), it is known that there are a maximum of four solutions in this equation, and these solutions can be solved numerically as a solution of a quartic equation.
[0082]
(4) Verification of solutions (d1, d2, d3) and selection of optimal solutions
Basically, only one out of a maximum of four solutions gives the correct solution.
[0083]
This stage is to verify which of the above solutions is correct.
[0084]
For each solution (d1, d2, d3), the marker position (xi) in the camera coordinate system C is used. c , Yi c , Zi c ) Is explained.
[0085]
The distance from the camera coordinate system origin C to the marker is di, and its position in the image (ui, vi).
[0086]
[Expression 7]
Can be written.
[0088]
Now, the marker position in the object coordinate system is (xi m , Yi m , Zi m ), The transformation from the object coordinate system Om to the camera coordinate system Oc is
[0089]
[Equation 8]
It is written.
[0091]
Here, R represents a rotation matrix, and t represents a translation vector.
[0092]
Now, the centroid vector of the marker group in both coordinate systems is [xmean c , Ymean c , Zmean c ] T , [Xmean m , Ymean m , Zmean m ] T Then,
[0093]
[Equation 9]
And the translation vector and the rotation matrix can be calculated by separate equations.
[0095]
For i = 1, 2, 3, there is a quaternion method (quaternion method) as a method of solving the above equation. Details of this method are described in the literature (BKPHorn, “Closed-form solution of absolute orientation using unitquaternions,” Journal of Optical Society of America A, Vol.4, No.4, 1987, pp.629-642.) The details are omitted here.
[0096]
When R and t are calculated in this way, the homogeneous transformation matrix cHm can be calculated by equations (1, 2). By repeating the above for four solutions, four solutions of cHm (1), cHm (2), cHm (3), and cHm (4) can be calculated.
[0097]
The first unselected code marker among the identified code markers is M4, M5,..., Mm.
[0098]
A method for determining the most suitable solution for each homogeneous transformation matrix cHm (k) (k = 1, 2, 3, 4) using these M4, M5,..., Mm will be described.
[0099]
(1) k that minimizes the evaluation function dist (k) for each solution cHm (k) is calculated in the following steps.
[0100]
(2) Dist (k) is calculated by the following method for each solution cHm (k) (k = 1, 2, 3, 4).
[0101]
a) dist (k): = 0 and the evaluation function is initialized.
[0102]
b) For a marker Mj (j = 4, 5,..., m) identified but not selected for the first three, the three-dimensional position (xj in the object coordinate system) m , Yj m , Zj m ) Is converted into a camera image plane using cHm (k). Let the projected image point be (uj ', vj'). this is,
[0103]
[Expression 10]
Can be calculated.
[0105]
Subsequently, the square error ej between the two-dimensional position (uj, vj) actually measured in the image of the marker Mj and the projected image point (uj ', vj') is calculated.
[0106]
ej can be calculated as follows.
[0107]
[Expression 11]
(3) Select the solution cHm (k) of the homogeneous transformation matrix that minimizes dist (k).
[0109]
In summary, the optimum solution cHm (k) obtained in the above step selects the solution most favored by the other markers M4, M5,..., Mm among the solutions generated from the code markers M1, M2, M3. Is.
[0110]
(5) Update solution
The solution cHm (k) selected in the above (4) is estimated from the code markers M1, M2, M3, and does not use the measured values for the other markers M4, M5,. In this step, the solution cHm (k) calculated in the above (4) is used as the initial estimated value cHm (0), and this solution is updated by all the code markers Mi (i = 1, 2,..., M). . That is, cHm is expanded into an angular component (roll (φz) −pitch (φy) −yaw (φx) angle) and a translation component (tx, ty, tz), and a six-dimensional unknown variable p = (φx, φy, φz). ; Tx, ty, tz), and its initial estimate is p (0) = (Φx (0) , Φy (0) , Φz (0) Tx (0) , Ty (0) , Tz (0) ).
[0111]
In particular,
[0112]
[Expression 12]
Defined by
[0114]
This is the marker three-dimensional position (xi) in the object coordinate system. m , Yi m , Zi m ) And the position (ui, vi) on the camera image plane, it is considered to update the 6-dimensional position and orientation parameters p = (φx, φy, φz; tx, ty, tz).
[0115]
Marker 3D position in object coordinate system (xi m , Yi m , Zi m ) And the position (ui, vi) on the camera image plane,
[0116]
[Formula 13]
Given by. When this expression is arranged, for each marker Mi (i = 1, 2,..., M),
[0118]
[Expression 14]
An initial estimated value p of a 6-dimensional parameter expressed by a quadratic constraint equation (0) = (Φx (0) , Φy (0) , Φz (0) Tx (0) , Ty (0) , Tz (0) ) Is used to estimate the six-dimensional parameter p = (φx, φy, φz; tx, ty, tz).
[0120]
This problem is a well-known nonlinear equation problem, and many books have introduced its solution, so the details are not given here.
[0121]
In this way, the 6-dimensional parameter is updated using the measurement values of all the markers, and the coordinate conversion parameter from the object coordinate system to the camera coordinate system is calculated. That is, the positional relationship between the object 4 and the image capturing unit 1 can be calculated.
[0122]
As described above, according to the first embodiment, even when a part of the marker group is shielded and cannot be detected, only the detected
[0123]
In addition, when detecting a marker, the reliability of marker identification can be extremely improved as compared to the conventional example by using a code unique to the marker, so that more stable position and orientation measurement can be realized. .
[0124]
As described above, it is necessary to detect at least three markers when detecting markers. However, if four or more markers can be detected, the reliability is further improved.
[0125]
Here, as described above, FIGS. 4 to 6 show an example of the code marker 5 having a geometric feature.
[0126]
It is important that each code marker 5 has a geometric feature and that it can generate a code sufficient to add a label to the code marker 5.
[0127]
FIG. 4 shows the shape of a code marker that is suitable for recognizing four feature points by analyzing one marker image. FIGS. 4A and 4B are square, and FIG. A trapezoidal shape, FIG. 4D shows a U-shaped shape, FIGS. 4E and 4F show a circular shape, and FIG. 4G shows a configuration example of a star-shaped code marker.
[0128]
That is, by analyzing one marker, it is possible to obtain information on known feature points at four positions that are alternatives to the above-described four code markers.
[0129]
In the code marker of FIG. 4 (a), the marker is detected by changing the color inside and outside the outer frame and detecting the difference between them, and the outer corners are differentiated, thinned, etc., so that the four corners have known positions. Recognize as a feature point.
[0130]
Further, the orientation is recognized by detecting the lower horizontal line (outer frame inner side), and the information is acquired by detecting eight points inside the outer frame (one point at the center is for position recognition). For the check digit, two points on the inner frame left and right (2 points → 2 bits) are used.
[0131]
FIG. 4H shows a state where the feature point of the code marker (FIG. 4A) is detected. The coordinate values in the object coordinates at the lower left corner of the outer frame are (u1, v1), and (u2, v2), (u3, v3), and (u4, v4) in the order of the lower right corner, the upper right corner, and the upper left corner, respectively. By applying these four coordinate values to M1 to M4 in the above description, the position and orientation of the object can be recognized.
[0132]
The code marker shown in FIG. 4B is the same as that shown in FIG. 4A except that the feature point detection is realized by detecting four points at the inner corners of the outer frame. In addition, the code markers shown in FIGS. 4C and 4D are basically the same as those shown in FIGS. 4A and 4B.
[0133]
In the code marker of FIG. 4 (e), mark detection is performed by changing the color inside and outside the outer frame and detecting the difference, and the four-point detection is realized by detecting four points at the inner four corners of the outer frame. . Further, the orientation is recognized by detecting the lower horizontal line (outer frame inner side), and the information is acquired by detecting eight points inside the outer frame (one point at the center is for position recognition). For the check digit, two points (2 points → 2 bits) on the left and right sides of the outer frame are used. The code marker in FIG. 4 (f) is the same as FIG. 4 (e) except that the four-point detection is realized by detecting the four points at the outer corners of the outer corners. In addition, the code marker shown in FIG. 4G is the same as that shown in FIGS.
[0134]
FIG. 5 shows variations in the shape of the code inside the outer frame that stores 8-bit information. 5A is a circular code, FIG. 5B is a triangular code, FIGS. 5C and 5D are square codes, FIG. 5E is a character code, and FIG. 5F. Is a linear code, and FIG. 5G is a spiral code, which stores 8-bit information. However, it is needless to say that the shape is not limited to these.
[0135]
FIG. 6 shows an example of symmetry / stereoscopic mark (hemisphere, pyramid shape) as an example of a high recognition rate even when taken from an oblique direction. 6A is a perspective view, FIG. 6B is a top view, and FIG. 6C is a side view.
[0136]
As described above, there are a plurality of markers, and the position and orientation can be detected by analyzing a single marker among them.
[0137]
By preparing a plurality of marker types, for example, it can be used as information indicating the marker type such as the size of the marker, the room number of the building, and the location attribute such as the room, hallway, and stairs. In addition, if the marker is made of a self-luminous material such as an LED or LCD, and if the self-luminous material is controlled, or if the marker is projected as necessary by a projector, it is not static. A dynamic marker can be constructed that can be changed in response to. Furthermore, if these self-luminous materials are synchronized with an emergency light in the event of an emergency and are lit when a disaster occurs, it can be used as an automatic guide light in the event of a disaster.
[0138]
If it is constructed from a recursive material used as a corner cube on roads, it can operate using a few light sources attached to the camera.
[0139]
If the marker is made of a fluorescent material, the marker can be operated even without illumination. Furthermore, if a marker is constructed with a sensitive infrared or ultraviolet wavelength in the projection device, it can be operated without damaging the landscape in a state invisible to the human eye.
[0140]
Next, a second embodiment will be described.
[0141]
In the three-dimensional position / orientation sensing device according to the first embodiment described above, one marker among a plurality of markers is analyzed. However, in the second embodiment, position / orientation sensing using a plurality or a single marker is performed. Means for switching is provided.
[0142]
FIG. 9 is a diagram for explaining the second embodiment, and has switching means 21 for the number of markers to be analyzed. When the switching means 21 instructs position / orientation sensing using one marker, for example, among the plurality of markers 5 found, the marker 5 positioned at the upper left in the screen is analyzed and detected from the outer frame. The coordinates of the feature points are passed to the position / orientation estimation means 22. When instructing position and orientation sensing using a plurality of markers, the coordinates of the identified marker 5 are passed to the position and orientation estimation means 22. Since the operation of the position / orientation estimation means 22 has been described in detail in the first embodiment, it is omitted here.
[0143]
Next, a third embodiment will be described.
[0144]
In the third embodiment, the switching means 21 for the number of markers to be analyzed in the second embodiment operates according to the viewing angle in the marker screen. Here, the angle of the marker that occupies the horizontal angle of view of the screen is called a viewing angle.
[0145]
FIG. 10 shows a screen on which a marker is input.
[0146]
In this example, the horizontal screen angle of view is 40 degrees, and the horizontal viewing angles of the markers 30 to 33 occupying the screen angle are 15 degrees, 3 degrees, 5 degrees, and 5 degrees. Depending on the viewing angle of the marker 30 having the largest viewing angle among the markers, the position / orientation sensing with a single marker or the sensing with four markers in the screen is switched. Now, 10 degrees is set as a threshold for switching sensing. In the case of FIG. 10, since the marker 30 with the maximum viewing angle exceeds 10 degrees, sensing with a single marker is performed. When all the markers have a viewing angle of 10 degrees or less, sensing with a plurality of markers is performed. If all the markers are 10 degrees or less and the number of markers is 3 or less, a sensing error is assumed. Here, the viewing angle is shown in the horizontal direction, but it is also possible to make the determination based on the area occupied in the image obtained by multiplying the vertical direction or both.
[0147]
Next, a fourth embodiment of the present invention will be described.
[0148]
This relates to a method for estimating a three-dimensional position and orientation between the object other than the image capturing unit 1 and the object 4. In the embodiment described so far, the example of measuring the positional relationship between the object 4 and the image capturing unit 1 has been described.
In a more practical example, the image capturing unit 1 and the
[0149]
In this case, the
[0150]
According to the fourth embodiment, the means of the present invention can be used as a position and orientation sensor for another apparatus.
[0151]
The embodiment of the present invention has been described above, but the present invention is not limited to this, and various improvements and changes can be made without departing from the spirit of the present invention.
[0152]
Finally, the image input means described in the claims is a concept included in the image capturing unit 1, and the identification means, the position / orientation detection means using a single marker, the position / orientation detection means using a plurality of markers, and the switching means are connected to the
[0153]
【The invention's effect】
As described above in detail, according to the present invention, an image obtained by photographing a marker having a known position and orientation relationship with an object is analyzed to obtain a relative position and orientation relationship between the marker and the photographing means. When obtaining the position and orientation of the object, it is possible to provide a three-dimensional position and orientation sensing device that can measure in a relatively wide area.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing a configuration of a three-dimensional position / orientation sensing apparatus according to a first embodiment.
FIG. 2 is a functional block diagram showing a configuration of an improved example of the three-dimensional position and orientation sensing device according to the first embodiment.
FIG. 3 is a diagram illustrating a relationship between a camera image plane, a camera coordinate system of an image capturing unit, and an object coordinate system.
FIG. 4 shows an example of a code marker having a geometric feature.
FIG. 5 shows an example of a code marker having a geometric feature.
FIG. 6 shows an example of a code marker having a geometric feature.
FIG. 7 is a flowchart illustrating a flow of an operation for estimating a three-dimensional position and orientation of an object in the first embodiment.
FIG. 8 is a diagram showing three triangles ΔOc Mi Mj (i, j = 1, 2, 3; i and j are unequal) with respect to three code markers Mi.
FIG. 9 is a configuration diagram of a three-dimensional position and orientation sensing device according to a second embodiment.
FIG. 10 is a diagram illustrating an example of a screen on which an image of a marker is input.
[Explanation of symbols]
1 Image shooting unit
2 Computer
3 Camera parameter detector
4 objects
5 Code marker
Claims (11)
上記対象物と３次元位置姿勢関係が既知のマーカとを上記撮影装置で撮影した画像を入力する画像入力手段と、
上記画像入力手段より入力された画像において、上記マーカを当該マーカの幾何学的特徴を用いて同定する同定手段と、
上記同定手段により同定された複数のマーカのうちの１つのマーカの画像を解析して、該マーカと上記撮影装置の相対的位置姿勢関係を求め、上記対象物と上記撮影装置との３次元位置姿勢関係を求める、単一マーカによる位置姿勢検出手段と、
上記同定手段で同定された複数のマーカの画像上の位置に基づいて、該マーカと上記撮影装置の相対的な位置姿勢関係を求めて、上記対象物と上記撮影装置の３次元位置姿勢関係を求める、複数マーカによる位置姿勢検出手段と、
上記単一マーカによる位置姿勢検出手段と上記複数マーカによる位置姿勢検出手段を択一的に切換える切換手段と、
を有し、
上記切換手段は、画像上のマーカの視野角に基づいて、上記単一マーカによる位置姿勢検出手段と上記複数のマーカによる位置姿勢検出手段を切換えることを特徴とする３次元位置姿勢センシング装置。A device that measures a relative three-dimensional position and orientation relationship between an object and a photographing device from an image photographed by the photographing device,
Image input means for inputting an image obtained by photographing the object and a marker having a known three-dimensional position and orientation relationship with the photographing device;
Identification means for identifying the marker using a geometric feature of the marker in the image input from the image input means;
Analyzing the image of one of the plurality of markers identified by the identifying means to determine the relative position and orientation relationship between the marker and the imaging device, and the three-dimensional position between the object and the imaging device Position / orientation detection means using a single marker for obtaining the attitude relationship;
Based on the positions on the image of the plurality of markers identified by the identification means, the relative position and orientation relationship between the marker and the imaging device is obtained, and the three-dimensional position and orientation relationship between the object and the imaging device is obtained. A position and orientation detection means using a plurality of markers to be obtained;
Switching means for selectively switching the position and orientation detection means by the single marker and the position and orientation detection means by the plurality of markers;
I have a,
3. The three-dimensional position / orientation sensing apparatus according to claim 1, wherein the switching unit switches between the position / orientation detection unit using the single marker and the position / orientation detection unit using the plurality of markers based on the viewing angle of the marker on the image .
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000284318A JP4282216B2 (en) | 2000-09-19 | 2000-09-19 | 3D position and orientation sensing device |
| US09/951,873 US6697761B2 (en) | 2000-09-19 | 2001-09-13 | Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000284318A JP4282216B2 (en) | 2000-09-19 | 2000-09-19 | 3D position and orientation sensing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002090118A JP2002090118A (en) | 2002-03-27 |
| JP4282216B2 true JP4282216B2 (en) | 2009-06-17 |
Family
ID=18768545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000284318A Expired - Fee Related JP4282216B2 (en) | 2000-09-19 | 2000-09-19 | 3D position and orientation sensing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4282216B2 (en) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8788020B2 (en) | 1998-10-23 | 2014-07-22 | Varian Medical Systems, Inc. | Method and system for radiation application |
| US6937696B1 (en) | 1998-10-23 | 2005-08-30 | Varian Medical Systems Technologies, Inc. | Method and system for predictive physiological gating |
| US7769430B2 (en) | 2001-06-26 | 2010-08-03 | Varian Medical Systems, Inc. | Patient visual instruction techniques for synchronizing breathing with a medical procedure |
| US8571639B2 (en) | 2003-09-05 | 2013-10-29 | Varian Medical Systems, Inc. | Systems and methods for gating medical procedures |
| EP1521213A3 (en) | 2003-09-30 | 2006-08-30 | Canon Kabushiki Kaisha | Index identification method and apparatus |
| KR100542370B1 (en) | 2004-07-30 | 2006-01-11 | 한양대학교 산학협력단 | Vision-based augmented reality system using invisible marker |
| US9119541B2 (en) | 2005-08-30 | 2015-09-01 | Varian Medical Systems, Inc. | Eyewear for patient prompting |
| US7444752B2 (en) | 2005-09-28 | 2008-11-04 | Hunter Engineering Company | Method and apparatus for vehicle service system optical target |
| US8341848B2 (en) | 2005-09-28 | 2013-01-01 | Hunter Engineering Company | Method and apparatus for vehicle service system optical target assembly |
| US7957931B2 (en) * | 2005-12-23 | 2011-06-07 | Gcoder Systems Ab | Positioning pattern |
| JP2007206807A (en) * | 2006-01-31 | 2007-08-16 | Nippon Hoso Kyokai <Nhk> | Image composing device and image composing program |
| WO2007108101A1 (en) * | 2006-03-20 | 2007-09-27 | Olympus Corporation | Information terminal device |
| JP5063023B2 (en) * | 2006-03-31 | 2012-10-31 | キヤノン株式会社 | Position / orientation correction apparatus and position / orientation correction method |
| JP5084167B2 (en) * | 2006-03-31 | 2012-11-28 | キヤノン株式会社 | Position and orientation measurement method and apparatus |
| JP5517397B2 (en) | 2006-08-11 | 2014-06-11 | キヤノン株式会社 | Image processing method and image processing apparatus |
| JP4918830B2 (en) * | 2006-08-31 | 2012-04-18 | 富士ゼロックス株式会社 | Position measurement system |
| JP5403861B2 (en) * | 2006-11-06 | 2014-01-29 | キヤノン株式会社 | Information processing apparatus and information processing method |
| JP5132138B2 (en) * | 2006-11-28 | 2013-01-30 | キヤノン株式会社 | Position and orientation measurement method, position and orientation measurement device |
| JP2009134677A (en) * | 2007-02-28 | 2009-06-18 | Fuji Xerox Co Ltd | Gesture interface system, wand for gesture input, application control method, camera calibration method, and control program |
| US8417315B2 (en) * | 2007-05-14 | 2013-04-09 | Varian Medical Systems, Inc. | Marker systems with spaced apart surfaces or markers and methods of using the same |
| US7953247B2 (en) | 2007-05-21 | 2011-05-31 | Snap-On Incorporated | Method and apparatus for wheel alignment |
| EP2636989B1 (en) * | 2007-05-21 | 2017-04-19 | Snap-on Incorporated | Method and apparatus for wheel alignment |
| JP2008304269A (en) * | 2007-06-06 | 2008-12-18 | Sony Corp | Information processor, information processing method, and computer program |
| TWI384407B (en) * | 2008-02-29 | 2013-02-01 | Ind Tech Res Inst | Region identification system by using braille code design |
| US10667727B2 (en) | 2008-09-05 | 2020-06-02 | Varian Medical Systems, Inc. | Systems and methods for determining a state of a patient |
| JP2010160051A (en) * | 2009-01-08 | 2010-07-22 | Mitsutoyo Corp | Correcting pattern for image devices |
| JP2012007942A (en) | 2010-06-23 | 2012-01-12 | Fuji Xerox Co Ltd | Position measurement device |
| JP5494427B2 (en) * | 2010-11-12 | 2014-05-14 | 富士通株式会社 | Image processing program and image processing apparatus |
| WO2013005244A1 (en) * | 2011-07-01 | 2013-01-10 | 株式会社ベイビッグ | Three-dimensional relative coordinate measuring device and method |
| JP2013185851A (en) * | 2012-03-06 | 2013-09-19 | Sumitomo Mitsui Construction Co Ltd | Positioning apparatus, positioning system including the same, and positioning method |
| JP5928228B2 (en) * | 2012-07-31 | 2016-06-01 | カシオ計算機株式会社 | Subject detection apparatus, subject detection method, and program |
| EP2706376A1 (en) * | 2012-09-07 | 2014-03-12 | Leica Geosystems AG | Laser tracker with hybrid imaging method for expanding measurement range |
| JP6083747B2 (en) * | 2012-10-24 | 2017-02-22 | 国立研究開発法人産業技術総合研究所 | Position and orientation detection system |
| EP2916535B1 (en) * | 2012-11-02 | 2017-09-27 | Sony Corporation | Image processing device, image processing method, and program |
| TWI520100B (en) * | 2014-03-17 | 2016-02-01 | 緯創資通股份有限公司 | Free space orientation and position determining method and system |
| US10126119B2 (en) * | 2017-01-17 | 2018-11-13 | General Electric Company | Methods of forming a passive strain indicator on a preexisting component |
| US20180209781A1 (en) * | 2017-01-23 | 2018-07-26 | General Electric Company | Method of Making a Component with an Integral Strain Indicator |
| US10872176B2 (en) | 2017-01-23 | 2020-12-22 | General Electric Company | Methods of making and monitoring a component with an integral strain indicator |
| US11313673B2 (en) | 2017-01-24 | 2022-04-26 | General Electric Company | Methods of making a component with an integral strain indicator |
| US11080880B2 (en) * | 2017-08-25 | 2021-08-03 | Maker Trading Pte Ltd | Machine vision system and method for identifying locations of target elements |
| CN110956660B (en) * | 2018-09-26 | 2023-10-10 | 深圳市优必选科技有限公司 | Positioning method, robot, and computer storage medium |
| EP3754292A1 (en) * | 2019-06-19 | 2020-12-23 | Intelligent Contruction Safety Systems Spolka Z Ograniczona Odpowiedzialnoscia | A system for measuring deformations and a method for measuring deformations |
| CN112629342B (en) * | 2020-10-30 | 2023-10-03 | 西北工业大学 | Method for measuring attitude angle of projectile body |
| JP2023143179A (en) * | 2022-03-25 | 2023-10-06 | パナソニックＩｐマネジメント株式会社 | Information processor, baggage detection system, and calibration method |
| WO2024105847A1 (en) * | 2022-11-17 | 2024-05-23 | ファナック株式会社 | Control device, three-dimensional position measuring system, and program |
| CN116843748B (en) * | 2023-09-01 | 2023-11-24 | 上海仙工智能科技有限公司 | Remote two-dimensional code and object space pose acquisition method and system thereof |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3242108B2 (en) * | 1992-01-30 | 2001-12-25 | 富士通株式会社 | Target mark recognition and tracking system and method |
| WO1997011386A1 (en) * | 1995-09-21 | 1997-03-27 | Omniplanar, Inc. | Method and apparatus for determining position and orientation |
| JP4794708B2 (en) * | 1999-02-04 | 2011-10-19 | オリンパス株式会社 | 3D position and orientation sensing device |
| JP4281139B2 (en) * | 1999-02-09 | 2009-06-17 | ソニー株式会社 | Position recognition apparatus, position recognition method, and virtual image stereoscopic composition apparatus |
-
2000
- 2000-09-19 JP JP2000284318A patent/JP4282216B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002090118A (en) | 2002-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4282216B2 (en) | 3D position and orientation sensing device | |
| US6697761B2 (en) | Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system | |
| JP5043133B2 (en) | Land recognition landmark for mobile robot, and position recognition apparatus and method using the same | |
| US7733404B2 (en) | Fast imaging system calibration | |
| EP2375376B1 (en) | Method and arrangement for multi-camera calibration | |
| Aliaga | Accurate catadioptric calibration for real-time pose estimation in room-size environments | |
| JP5872818B2 (en) | Positioning processing device, positioning processing method, and image processing device | |
| US7362969B2 (en) | Camera model and calibration procedure for omnidirectional paraboloidal catadioptric cameras | |
| JP4739004B2 (en) | Information processing apparatus and information processing method | |
| KR102354299B1 (en) | Camera calibration method using single image and apparatus therefor | |
| US20030090586A1 (en) | Method for exploring viewpoint and focal length of camera | |
| JP2004340840A (en) | Distance measuring device, distance measuring method and distance measuring program | |
| JP2000227309A (en) | Three-dimensional position posture sensing device | |
| JP6352208B2 (en) | 3D model processing apparatus and camera calibration system | |
| JP2002157595A (en) | Method and device for collating object and recording medium recording its program | |
| Iraqui et al. | Fusion of omnidirectional and ptz cameras for face detection and tracking | |
| JPWO2004094943A1 (en) | Motion capture method, motion capture device, and motion capture marker | |
| JP6749498B2 (en) | Imaging target tracking device and imaging target tracking method | |
| JP4379459B2 (en) | Object collation method, object collation apparatus, and recording medium recording the program | |
| KR102389762B1 (en) | Space Formation and Recognition System through Digital Twin-linked Augmented Reality Camera and the method thereof | |
| JP2004086929A (en) | Image collation device | |
| JP6374812B2 (en) | 3D model processing apparatus and camera calibration system | |
| JP2005031044A (en) | Three-dimensional error measuring device | |
| JP4590780B2 (en) | Camera calibration three-dimensional chart, camera calibration parameter acquisition method, camera calibration information processing apparatus, and program | |
| Petković et al. | A note on geometric calibration of multiple cameras and projectors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090317 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |