JPH01106187A - ３次元空間に存在する物体の姿勢推定方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （ｌｉｔ要） 対象物体の画像情報とモデルのパターンとのマツチング
により３次元空間に存在する物体の姿勢をＪｆｔ定する
３次元空間に存在する物体の姿勢推定方法に関し、 少ない情報を使って簡単かつ短時間で３次元空間に存在
する物体の姿勢を推定する３次元空間に存在する物体の
姿勢推定方法を提供することを目的とし、 対象物体のモデルを構成する複数の面夫々について、各
面の向き及び大きさを表わす面ベクトルと、該各面の重
心位置を表わず重心位置ベクトルとを抽出し、カメラで
ＲＩ＆された３次元空間に存在する物体の画像情報を領
域分割し、各領域の面積の比と、該各領域の重心位置の
比とを抽出し、該モデルの各面の面ベクトルと重心位置
ベクトルとを３次元空間で回転させて、任意に選定した
視線軸に対する該各面の面ベクトルの視線軸成分と、該
各面の重心位置ベクトルの該視線軸と直交する平面の２
軸成分の比とを求め、該各面の位置関係と面の面積比と
によりマツチングを行ない、該３次元空間に存在する物
体の姿勢を推定するよう構成する。

〔産業上の利用分野〕

本発明は３次元空間に存在する物体（以下単に「３次元
物体」という）の姿９５准定方法に関し、３次元物体の
画像情報と対象物体モデルの情報とのマツチングにより
３次元物体の姿勢を推定する３次元空間に存在する物体
の姿勢推定方法に関する。

視覚から得られる３次元物体の画像情報を処理してパタ
ーン化し、その姿勢の推定を行なうプロセスは、幾つも
の段階から構成されるが、物理レベルの処理と概念レベ
ルの処理とに大別することができる。物理レベルの処理
は入力画像データを処理する部分であり、前処理及び特
徴抽出等を含ｌνでいる。概念レベルの処理は、物理レ
ベルの処理によって得られた画像の特徴などのシンボル
化された画像データの処理と認識の部分であり、モデル
パターンとのマツチングをとり、最良のマツチングを選
択するステップを含んでいる。数多くの姿勢推定方法が
提案されているが、それぞれ一長一短があり、より速（
より粘度の良い姿勢（「定方法が模索されている。

〔従来の技術〕

従来の３次元物体の推定は、これまで多くの場合、第７
図に示す如く視覚センサ（カメラ）から入力した濃淡画
像情報を雑音除去９ｍ度変換等の前処理（ブロック７１
）をした後、境界を抽出しくブロック７２）、これから
エツジとして抽出しくブロック７３）、そこから幾つか
の特徴を選び（ブロック７４）、数値化した特徴と同様
の形で蓄えられているモデル側の特徴とのマツチングを
とる（ブロック７５）という方法が行なわれていた。

〔発明が解決しようとする問題点〕

しかるに、到筒機による画像処理では入力濃淡情報のＲ
矛先の際に情報が欠落し、例えば第８図（△）になし地
で示す四辺形６ａ領域のように画素となる枠内を少しは
み出した形状の領域の情報は同図（Ｂ）に示す矩形６ｂ
のみしか情報が残らない。同様に濃度情報についても連
続的情報が離散的に扱われるため情報の欠落を生じる。

このことから、エツジの抽出時に同図（Ｃ）に示す如く
、エツジの一部が欠落してしまうことが多々あり、これ
は、特徴抽出時には同図（Ｄ）の如く認識されて、閉じ
たエツジによって初めて認識できる形状（この場合三角
形）を認識できないことになる。

しかし、このような曖昧さが残る境界の影響をできるだ
け小さくするために、密度の高い標本化によって高い精
度を追及していくという対処方法は、膨大な暗粋吊を引
き起こすことになり、ｈ１算様の容量、速度の点から現
実的で７はないという問題点があった。

本発明はこのような点に鑑みなされたものであり、少な
い情報を使ってｎ＊かつ短ｖｔ間で３次元物体の姿勢を
推定する３次元空部に存在する物体の姿勢推定方法を提
供することを目的とする。

〔問題点を解決するための手段〕

３次元空間に存在する物体を、視覚センサ（カメラ）を
通し画像情報としたものと、この対象物のモデル情報（
設シ１情報、既に観察してわかっている形状情報等）と
の間で、姿勢、距離により異なる特徴を使いマツチング
をとることで、空間に置かれた物体の距離、姿勢の推定
を行いえる。この際、物体の形を構成する面についての
記述特に構成という面から隣接面関係の記述が重要にな
ってくる。本発明は、この隣接面関係の簡甲且つ有効な
記述として物体を構成する面各々の面積重心関係（配置
）を用いたものである。

第１図は本発明方法の原理ブロック図を示す。

同図中、ブロック１では外部からの指示により対象物体
のモデルを選択する。

ブロック２では対象物体のモデルを構成する複数の面夫
々について、各面の向き及び大きさを表わす面ベクトル
と、各面の重心位置を表わす重心位置ベクトルとを抽出
する。

ブロック３では３次元物体の被認識物体を捕捉し、その
画像情報を得る。

ブロック４では画像情報を例えば濃度に応じて領域分割
する。

ブロック５では上記分割された各領域の面積と、各領域
の重心位置とを抽出し、比の形で用意する。

ブロック６ではモデルの各面の面ベクトルと重心位置ベ
クトルとを３次元空間で回転させて、任意に選定した視
覚センサ（カメラ）の視線軸に対する各面の面ベクトル
の視線軸成分と、各面の重心位置ベクトルの視線軸と直
交する平面の２軸成分とを求め、比の形で用意する。

ブロック７では各面の位置関係と面の面積比によりマツ
チングを行ない、３次元物体の姿勢を推定する。

（作用〕 本発明においては、モデルを構成する各面の視線軸方向
の面積及び各面の重心位置の関係と３次元物体を撮像面
へ投影したときの各領域の面積及び各領域の重心位置の
関係とをマツチングさせることにより、３次元物体のラ
フな姿勢推定を達成している。ここでは形状情報を捨て
て面情報を面積比と配２関係（具体的には重心の位置関
係）だけで単純化することによりモデル側の３１算機処
理を高速にし、入力情報を領域分割法で処理することに
より＠醜さに柔軟に対応している。

〔実施例〕

第２図は本発明方法を適用した宇宙空間での宇宙飛翔体
同士のランデブー・ドツキングの概略フローチャートを
示す。ナビゲーションフィルタ１０には、加速度計及び
ジャイロより構成されるＩ　ＮＳ　（Ｉｎｅｒｔｉａｌ
　Ｎａｖｉｇａｔｉｏｎ　Ｓｙｓｔｅｍ　：慣性航法装
置）１１の加速ｔｆ　ｉｔ及びジャイロの出力より３次
元空間のＸ軸方向、Ｙ軸方向、Ｚ軸方向及びこの３軸夫
々の回転方向の６自由度航法情報が、ＧＰＳ　（Ｇｌｏ
ｂａｌ　Ｐｏ５ｉｔｉｏｎｉｎｏ　５ａｔｅｌｌｉｔｅ
：全地球的位を決め衛星）１２から自己（チェイサ−）
及びターゲットの位置情報が、サンセンサ、アースセン
サ、スターセン勺９等のセンサ１３から自己の姿勢情報
が入力されている。処理シーケンスのステップ１４にお
いて自己及びターゲットの初期情報を得る。次いでステ
ップ１５において、ターゲットが遠いか近いかを判断す
る。例えば、ターゲットが画像として判断できる状態と
なったとき近距離と判断する。ターゲットが未だ遠距離
の場合には、ステップ１６に進んだレーザレーダ等の遠
距離センサを使用した接近をはかる。

ステップ１５において、ターゲットが近距離に近付いた
と判断された場合には、ステップ１７に進んで近距離セ
ンサを使用した本発明によるラフマツチングとファイン
マツチングとを組合せた階層的認識方法によりターゲッ
トの姿勢、距離を推定し、宇宙飛翔体同士のランデブー
・ドツキングを実現する。

第３図は近距離センサによる認識ノロ−チャートを示し
ており、まずステップ２１においてフラーグｍをセット
して１回目はファインマツチングまで行なう。次いでス
テップ２２においてカウンタｎを１にセットしてから、
ステップ２３に進んで視覚セン勺よりターゲットの画像
入力を行なう。

ステップ２４においては、本発明の面ベクトル及びａ心
ベクトルを使用したラフマツチングを行ない、ステップ
２５においてマツチングを認識したら、ターゲットの運
動を把握しているフライトマネイジャ−２６を介してア
クチュエータ２７を駆動し接近をはかる。

また一方では、ステップ２５においてラフマツチングを
ｍ　ｍしたらステップ２８に進んでｎ＝ｋかあるいはｍ
＝１かを判断する。すなわちこのステップでは、最初の
マツチングとｎ＝・ｋ回に１回はファインマツチングま
でを行なう処理を示している。ステップ２８において否
定判定の場合には、ステップ２９に進んでターゲットの
運動方程式が既知であることから、次のターゲットの相
対位置及び姿勢を４算により予測する。この剖訃結果は
ステップ２４のマツチングに利用される。次いでステッ
プ３０において、ｎを１つインクリメントしてステップ
２２〜２５までの処理を行なう。ステップ２８において
肯定判定の場合には、ステップ３１に進んでファインマ
ツチングを行ない、ステップ３２においてファインマツ
チングを確認したらフライトマネイジャ−２６を介して
アクチュエータ２７を駆動して接近をはかる。

これと共に、ドツキングの終了を判別しくステップ３３
）、終了してない場合にはステップ３４でｎ＝Ｑとして
ステップ２９に進む。

このように本応用例においては、本発明によるラフマツ
チング（ステップ２４）とファインマツチング（ステッ
プ２１）とを組合せて、宇宙、飛翔体同士のランデブー
・ドツキングを達成する。

第４図は上述したような宇宙飛翔体１可士のランデブー
・ドツキングのラフマツチングに適用する本発明方法の
一実施例のブロック図を示す。

まずモデル側では、第１図のブロック１に対応するブロ
ック４０でミッション要求等の外部からの指示によりタ
ーゲットに対応するモデルを選択する。

ここで、モデルは凸条面体で、各面の頂点座標で表現さ
れている。例えば第５図に示す如き六面体の場合頂点Ａ
、Ｂ、Ｃ，Ｄ、Ｅ、Ｆ、Ｇ、Ｈの夫々の原点Ｏよりの座
標データで構成されている。

第１図のブロック２に対応するブロック４１では、モデ
ルの各面毎に面ベクトルと重心位置ベクトルとを得る。

例えば第５図のモデルで、面ＡＢＣＤについてはベクト
ルＢＣとベクトル８Ａとの外積を求め、この外積のベク
トルの大きさを１／２とし、同様にベクトルＤＡとベク
トルＤＣの外積のベクトルの大きさを１／２としてこれ
らを加える。次にベクトルの始点を物体内部の適当な回
転中心０′に移動してその座標系（Ｘ’　、ｙ’　。

ｚ’　）における面ＡＢＣＤの面ベクトルとする。

また、回転中心Ｏ′を始点とし、かつ而ＡＢＣＤの重心
を終点とするベクトルを面ＡＢＣの重心位置ベクトルと
する。このようにして他の面Ａ　Ｅ　１−ＩＤ、ＡＥＦ
Ｂ、ＢＣＧＦ、ＣＤＨＧ、ＥＦＧＨ夫々の面ベクトル及
び重心位置ベクトルを得る。面ベクトルはその面の面積
と面の向きを表わし、重心位置ベクトルはその面の位置
即ち隣接面関係を表わしている。

ブロック４２では例えばＺ軸をカメラの視線軸として、
各面夫々の面ベクトルの視線軸成分および各面夫々の重
心位置ベクトルの視線軸を除く２軸つまりＸ軸、Ｙ軸成
分を抽出する。

また、各面夫々の面ベクトルの視線軸成分の比、つまり
′ｇ１線方向の面積比を求め、かつ各面夫々の重心位置
ベクトル終点の投影位置成分の規格化を行なう。この規
格化とは例えば視線軸成分が最大。

最小夫々の面ベクトルに対応する重心位置ベクトルの終
点位置をＸＹ平面上に投影した点間距離を基準とし、か
つ、視線軸成分が最大の面ベクトルに対応する重心位置
ベクトルの終点位置を原点とする変換である。

一方カメラ側では、第１図のブロック３に対応するブロ
ック５０でターゲットをカメラで補足し、ターゲットの
画像情報を領域分割する。例えば次のようにして行なう
。得られた画像情報をその濃淡に応じて画素毎に濃度ラ
ベルを振り、濃淡画像情報を生成し、これを記憶する（
ブロック５１）。

つまり、この情報の濃度ラベルが例えば「１」の画素と
（°２」の画素とは濃度が異なることを表わす。

次に、ステップ５２で濃淡画像情報の濃度ラベルが同一
である領域を見付けることにより領域分割を行なう。こ
のように画像の特徴を抽出してターゲット画像を構成す
る複数の領域を切り出す。

上記のブロック５１．５２がブロック４に対応する。

この後、ブロック５に対応するブロック５３で切り出さ
れた各領域毎に画素数をカウントして面積を求め、かつ
重心位置を求める。ここで、カメラ側は濃淡画像情報の
各画素の画面上の位置に対応してアドレスを割り当てて
おり、切り出された領域を構成する画素のアドレス及び
画素数から一意的にこの領域の重心位置が求められる。

例えば、第６図（Ａ）に示す如く、ターゲット画＠６０
が領域６０ａ、Ｂｏｂ、６０ｃから構成れている。この
場合、同図（Ｂ）に示す如く、領域６０ａ、６０ｂ、６
０ｃ夫々の面積Ｓ　＋　＋　Ｓ　２１Ｓ３及び重心位置
？　（Ｘ＋　、Ｖ＋　）、（Ｘ２　、Ｖ２　）、（Ｘ３
．Ｖ３）を求める。これによって面積Ｓ＋　、８２．８
３夫々は重心位置（Ｘ＋　、Ｖ＋　）。

（Ｘ２　、Ｖ２　）、（Ｘ３．Ｖ３　）の関数５Ｌ（Ｘ
＋　、Ｖ＋　　）、Ｓ２　　（Ｘ２　、Ｖ２　）、５３
（Ｘ３　、　Ｖ３　）とて最終的に同図（Ｃ）に示す如
く表現される。

また、上記の面積Ｓ＋　、８２．８３の面積比を求め、
重心位置（Ｘ＋　、Ｖ＋　）、（Ｘ２　、Ｖ２　）。

（Ｘ３　、　Ｖ３　）の規格化を行なう。

重心位置の規格化は面積が最大、Ｒ小人々の重心位置間
の距離を基準とし、かつ面積が最大の重心（Ｏ置を原点
とする変換がひとつの方法である。

ブロック７に対応するブロック４３ではターゲットモデ
ルの規格化された重心位置投影成分とターゲット画像情
報の規格化された重心位置とににつて対応ずけられるタ
ーゲットのモデルの面積比とターゲット画像情報の面積
比とのマツチングを行ない、更にターゲットモデルの面
積大小関係と、ターゲット画像情報の面積大小関係に対
応する各々の規格化された重心位置についてのマツチン
グを行なう。

マツチングがとれない場合にはブロック４４において、
モデルの面ベクトル及び重心位置ベクトルを物体に固定
した座標系をオイラー角（ψ、ｏ。

φ）で回転さゼる。最初のｘ＠１１回りの回転をφ、次
のｙ軸回りの回転をθ、最後の２軸回りの回転をφとす
ると、φをＯ〜３６０’　、各φに対しθを一９０°〜
＋９０°、各ψとθに対しφを一９０°〜９０°に変化
さぜる。」−記のブロック４２．４４が第１図のブロッ
ク６に対応する。

そして各回転位置毎にブロック４２で各面の面ベクトル
の視線軸成分及び重心位置ベクトルのＸ軸、Ｙ軸成分を
抽出し、ブロック４３で１次マツチングを行なう。これ
によってターゲットの姿勢が推定される。

１次マツチングがとれると、ブロック４５で２次マツチ
ングが行なわれる。ここでは、モデルの各面夫々の面ベ
クトルの視線軸成分そのものと、ターゲットの各領域の
面積Ｓ＋　、３２．８３そのものとのマツチングを行な
い、これまで比のみでマツチングしていたものを大ぎさ
でマツチングす・る作業を行なう。

マツチングがとれない場合にはブロック４６において、
モデルの各面の面ベクトルとの大ぎさを所定比率で順次
拡大・縮小し、ブロック４２を経て再びブロック４５の
２次マツチングを行なう。

この２次マツチングによってターゲットまでの距離の推
定が行なわれ、拡大・縮小の比率から距離を知ることが
できる。

このように、ターゲットの画像を領域として分割するた
め曖昧さから落とされてしまう情報も柔軟に取り扱うこ
とができ、モデルを構成する各面の視線軸方向の面積及
び各面の重心位置の関係とターゲットの各領域の面積及
び各領域の重心位置の関係とをマツチングさせるという
特徴的な情報のマツチングを行なうため姿勢推定を高速
に行なうことができる。

〔発明の効果〕

上述の如く、本発明の３次元空間に存在する物体の姿勢
推定方法によれば、３次元物体を領域として分割するた
め曖昧さから落とされてしまう情報を柔軟に取り扱うこ
とができ、モデルを構成する各面の視線軸方向の面積及
び各面の重心位置の関係を３次元物体の各領域の面積及
び各領域の重心位置の関係とをマツチングさせるという
特徴的な情報のマツチングを行なうため姿勢推定を短時
間にかつ曖昧さに強いマツチングを行なうことができ、
実用上きわめて有用である。

【図面の簡単な説明】

第１図は本発明方法の原理ブロック図、第２図は本発明
方法を適用したランデブー・ドツキングの概略フローチ
ャート、 第３図は第２図の近距離センサによる接近の詳細フロー
チャート、 第４図は本発明方法の一実施例のブロック図、第５図、
第６図は本発明方法を説明するための図、 第７図は従来方法の一例のブロック図、第８図は従来方
法での情報の欠落を説明するための図である。 図において、 １０はナビゲーションフィルタ、 １１はＩＮＳ、 １２はＧＰＳ、 １３はセンサ、 １４〜２５．２８〜３４はステップ、 ２６はフライトマネイジャー、 ２７はアクチュエータ、 ４０〜５３はブロック、 ６０はターゲット画像、 ６０ａ〜６０Ｃは領域 を示す。 −、ニノ 本発明方法を説明するための図 第５図

Claims (1)

1. 【特許請求の範囲】 対象物体のモデルを構成する複数の面夫々について、各
   面の向き及び大きさを表わす面ベクトルと、該各面の重
   心位置を表わす重心位置ベクトルとを抽出し（２）、 カメラで撮像された３次元空間に存在する物体の画像情
   報を領域分割し、各領域の面積の比と、該各領域の重心
   位置の比とを抽出（４、５）し、該モデルの各面の面ベ
   クトルと重心位置ベクトルとを３次元空間で回転させて
   、任意に選定した視線軸に対する該各面の面ベクトルの
   視線軸成分と、該各面の重心位置ベクトルの該視線軸と
   直交する平面の２軸成分の比とを求め（６）、 該各面の位置関係との面の面積比によりマッチングを行
   ない（７）、 該３次元空間に存在する物体の姿勢を推定することを特
   徴とする３次元空間に存在する物体の姿勢推定方法。