JP2798393B2

JP2798393B2 - 物体の姿勢推定方法及びその装置

Info

Publication number: JP2798393B2
Application number: JP63201577A
Authority: JP
Inventors: 健尺長; 博金子
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1988-08-12
Filing date: 1988-08-12
Publication date: 1998-09-17
Anticipated expiration: 2013-09-17
Also published as: JPH0251008A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、物体の姿勢推定方法及びその装置に係わ
り、詳しくは、カメラから二次元画像として入力される
三次元物体について、それの三次元空間内での姿勢を推
定する方法及びその装置に関する。

〔従来の技術〕

従来、二次元画素を用いた三次元情報抽出法として
は、複数のカメラ系を用いるステレオ三次元復元法、お
よび制御可能なスリット光などの光源とカメラ系を用い
る能動的距離測定法などが知られている。

〔発明が解決しようとする課題〕

上記従来技術は、いずれも三角測量に基づくもので、
ステレオ三次元復元法では画像間の点の対応付けに時間
がかゝり、また十分な精度が得にくいという欠点があっ
た。一方、能動的距離測定法では光源などの付帯装置が
不可欠である、点の対応付けに時間がかゝるという欠点
があった。また、両者に共通の問題点としては、誤った
点の対応付けが起こった場合、これを検出する能力を持
ち合わせていないという欠点があった。

これらの従来技術に対し、先に本出願人は、１枚の画
像入力から得られる四点の二次元座標値と予め格納され
た物体モデル中の四点の三次元相対位置を用いて、物体
の三次元姿勢を推定する方法（四面体配置推定方法）を
提案した（特願昭63−58940号）。この四面体配置推定
法によれば、１枚の入力画像と予め記述格納された物体
モデルのみから三次元姿勢を高速に推定することが可能
であるが、物体モデル中の四点以上の点を安定的に抽出
できないような物体モデルに対してはこの方法を適用で
きないという問題がある。

本発明の目的は、上記問題点を除去し、カメラ入力画
像に対応する任意形状の物体の三次元空間内での姿勢を
高速かつ高精度に推定する方法及び装置を提供すること
にある。

〔課題を解決するための手段〕

本発明による物体の姿勢推定方法は、あらかじめ対象
とする物体中の少なくとも三線分以上の有向線分につい
ての三次元ベクトル表示と特徴、および物体中の少なく
とも二点以上の点についての三次元座標値と特徴を記述
した物体モデル記述を用意し、カメラ入力画像の特徴と
の対応付けを行って二点および三線分を選択し、該二点
および三線分に対応する前記物体モデル記述中の二点お
よび三線分の姿勢を推定することにより、入力画像に対
応する物体の姿勢を推定する。

また、上記方法を実現する本発明の物体の姿勢推定装
置は、カメラ画像を入力し、特徴を抽出する手段と、対
象とする物体中の少なくとも３本以上の有向線分につい
て、各線分の三次元ベクトル表示と特徴を記述した物体
モデル線分記述中の対応付けを行い、対応付けのとれた
ものゝ中から三線分を選択する手段と、対象とする物体
中の少なくとも二点以上の点について、各点の三次元座
標値と特徴を記述した物体モデル点記述中の特徴記述と
の対応付けを行い、対応付けのとれたものゝ中から二点
を選択する手段と、前記選択された三線分のうちの２線
分および前記選択された二点を結ぶ線分とからなる三線
分（基準三線分）の三次元空間および正規化画像上での
位置関係を求める手段と、前記求められた位置関係から
基準三線分の姿勢として許されるものゝすべてを求める
手段と、前記求められたすべての姿勢をカメラ座標系に
変換し正規化姿勢を得る手段と、各基準三線分における
前記正規化姿勢の集合の中から４線分（基準三線分およ
び残りの一線分）の許容される姿勢を求める手段とを有
する。

〔作用〕

本発明においては、カメラ画像の特徴点とあらかじめ
用意してある対象物体の物体モデル点記述の特徴との対
応付けを行い、その整合性から二点を選択する。また、
カメラ入力画像の特徴線分とあらかじめ用意してある対
象物体の物体モデル線分記述の特徴との対応付けを行
い、その整合性から三線分を選択する。そして、この三
線分中の二線分と前記選択された二点を結ぶ線分とから
なる３つの組合せについて独立に三次元空間の姿勢候補
を求め、これから両立しない姿勢候補を逐次削除するこ
とにより、最終的に二点および三線分の姿勢を推定す
る。このようにして、二点および三線分の姿勢が推定で
きれば、対象とするカメラ被写体物体の三次元空間上で
の姿勢が推定できたことになる。

〔実施例〕

以下、本発明の一実施例について図面により説明す
る。

第１図は本発明の一実施例のブロック図であり、１は
入力画像特徴抽出装置、２は物体モデル記述格納装置、
３は画像・物体対応付け装置、４は二点三線分姿勢推定
装置を示す。

入力画像特徴抽出装置１は、焦点距離やレンズ中心が
既知である１台のカメラ（図示せず）から対象とする三
次元物体の二次元画像を入力し、少なくとも３個以上の
特徴線分と少なくとも二点以上の特徴点を抽出する。

物体モデル記述格納装置２には、あらかじめ対象とす
る物体中の少なくとも３個以上の有向線分について、任
意の座標系で得られた三次元方向表示とその線分の特徴
（例えば光学的特徴）を記述した物体モデル線分記述
と、その座標系で得られた二点以上の点の三次元座標値
とその点の特徴（例えば光学的特徴）を記述した物体モ
デル点記述が格納されている。

画像・物体対応付け装置３は、入力画像特徴抽出装置
１で抽出されたカメラ入力画像の特徴線分および特徴点
の特徴と物体モデル記述格納装置２に格納されている物
体モデル線分記述および物体モデル点記述中の特徴記述
との対応付けを行い、対応付けの取れたものゝ中から二
点および三線分を選択し、該二点および三線分の画像・
物体対応付け表を生成する。

二点三線分姿勢推定装置４では、画像・物体対応付け
装置３により選択された二点および三線分について、そ
れの三次元空間内での姿勢（配置）を推定する。これ
は、まず三線分中の二線分と二点で規定される線分より
なる３種類の基準三線分について独立に三次元配置の候
補を求め、次にこの間の整合性を求め、最終的に二点お
よび三線分の姿勢を推定するという順序をとる。

二点および三線分の姿勢が推定できれば、対象とする
カメラ被写体物体の姿勢が推定できたことになる。以
下、第１図の各部についてより詳細に説明する。

第２図に本発明で前提としているカメラ系を示す。カ
メラの中心点を原点Ｏ、光軸をＺ軸とする直交座標系Ｘ
−Ｙ−Ｚを考え、Ｚ＝ｆ（ｆはカメラの焦点距離で既知
とする）に画像面11を考え、該画像面11とＺ軸の交点
Ｏ′も既知であるものとする。また、画像は中心投影法
により生成されるものとする。即ち、三次元空間内の点
Ｐ（x,y,z）とその像である点ｐ（u,v）は、（u,v）＝（xf/z,yf/z）なる関係をみたすものとする。入力画像特徴抽出装置１
は、画像面11の画像を入力し、被写体の点特徴（２直線
の交点、色彩、記載された記号など）を記述した特徴点
および、被写体の線分特徴（色彩、線分の両側領域の色
彩、線分の両端の光学的特徴および幾何的特徴など）を
記述した特徴線分（たゞし、向きを持つ）を抽出する。
こゝで、特徴点Pi（ｉ＝1,2,…）の座標は（u_i,v_i）で
あり、有向線分L_i（ｉ＝1,2…）の向きは（du_i,dv_i）＝
（ｉ＝1,2…）である。

第３図（ａ）は対象とする三次元物体の一例、同図
（ｂ）および同図（ｃ）はそれぞれ該物体に対応する物
体モデル記述格納装置２内の物体モデル点記述および物
体モデル線分記述の例を示したものである。即ち、物体
モデル記述格納装置２内の物体モデル点記述21は、対象
とする物体10上の二点以上の点P₁〜P_nについての、任意
の姿勢における三次元座標値（x₁,y₁,z₁）〜（x_n,y_n,
z_n）とその点を特徴付ける光学的特徴（色彩・符号な
ど）のペアからなる点属性記述の集合としてあたえられ
る。また、物体モデル記述格納装置２内の物体モデル線
分記述22は、対象とする物体10上の３本以上の有向線分
L₁〜L_nについての、同じく任意の姿勢における三次元方
向（dx₁,dy₁,dz₁）〜（dx_n,dy_n,dz_n）とその有向線分を
特徴付ける線分および周辺領域の光学的特徴（色彩・符
号など）のペアからなる線分属性記述の集合としてあた
えられる。

画像・物体対応付け装置３では、入力画像特徴抽出装
置１の特徴点出力および特徴線分出力と物体モデル記述
格納装置２の各点属性記述および各線分属性記述中の光
学的特徴記述の対応付けを行い、対応付けのとれたもの
ゝの中から二点および三線分を選択して画像・物体対応
付け表を生成する。この画像・物体対応付け表の一例を
第４図に示す。31は画像・物体点対応付け表、32は画像
・物体線分対応付け表である。こゝで、二点および三線
分は対応付けの取れたものゝ中からランダムに選択す
る。この選択した二点および三線分の姿勢を推定した結
果、許容される姿勢が存在しない場合は、対応付けの取
れたものゝから別の二点および三線分の組を選択して再
び姿勢推定する。また、二点および三線分の選択をラン
ダムにするのではなく、点間の距離、三線分に対応する
単位ベクトルのスカラー２重積などを基準として二点お
よび三線分を選択するなど、バリエーションは各種考え
られる。これにより、対応付けの効率を上げることがで
きる。

第４図における画像・物体点対応付け表31の二点P₁,P
₂および、画像・物体線分対応付け表32の三線分L₁〜L₃
は、例えば第３図（ａ）の物体10中に該当白丸および矢
印付け太線に対応する。

二点三線分姿勢推定装置４は、画像・物体対応付け装
置３の出力として得られる画像・物体対応付けから物体
中の二点および三線分の三次元空間内の姿勢を推定する
部分であり、位置関係算出部41、基準三線分姿勢推定部
42、姿勢正規化部43及び二点三線分姿勢推定部44により
構成される。このうち、41〜43は３系統からなり、各
々、画像・物体対応付け装置３で選択された二点および
三線分中の二線分の処理系で形成している。以下、各部
について説明する。

位置関係算出部41_i（ｉ＝1,2,3系統）では、第４図の
ように画像・物体点対応付け表31および画像・物体線分
対応付け表32を入力し、画像・物体線分対応付け表32中
の第ｉ線分を除いた二線分L_aおよびL_bと、画像・物体点
対応付け表31中の二点P_j（ｊ＝1,2）によっで決定され
る有向線分L₀（＝P₁P₂）から、各線分に対応する単位ベ
クトルE_a,E_b,E_0oを求め、線分L₀と原点０で形成される
平面の法線ベクトル（単位ベクトル）I₀を計算により求
める。また、３つの単位ベクトルE_a,E_b,E₀の配置を規定
する３つの角度Δα_ab,Δα_a0,Δα_b0（たヾし、E_i・E_j
＝cosΔα_ij）、およびスカラー３重積γ_ab0（＝（E_a×
E_b）・E₀）と、E_a,E_bに対応する画像中の二線分のなす
角度から計算される正規化角度Δβ_abを求める。こゝ
で、正規化角度とは、支点を原点０から動かすことな
く、カメラの光軸が注目している二線分の画像上の交点
を通るようにカメラを回転したときに得られる画像（正
規化画像）上で観測される角度であり、第１図のカメラ
系で観測される二点および二線分を正規化画像面に中心
投影することにより計算で求めることができる。

基準三線分姿勢推定部42_iでは、位置関係算出部41_iの
出力として得られる。I₀,Δα_ab,Δα_b0,γ_ab0およびΔ
β_abから、基準三線分（二線分と二点で規定される一線
分よりなる）の取りうる勾配をすべて求める。ここで、
第３系統を例にとると、基準三線分姿勢推定部42₃は、
第４図の表31の二点P₁,P₂で決まる線分L₀、および表32
中の線分L₃を除く二線分L₁（＝L_a）,L₂（＝L_b）の組合
せに対応し、次に示す連立方程式を解き、E_i（ｉ＝0,a,
b）すなわちE_i（ｉ＝0,1,2）の取りうる値をすべて算出
する。なお、E_cは正規化画像の光軸方向の単位ベクトル
を示すものとする。また、G₁およびG₂は正規化画像上で
の二線分L₁,L₂の像を示す。なお、E_cは正規化画像の光
軸方向の単位ベクトルを示すものとする。

E_i・E_i＝１（ｉ＝0,1,2） E_i・E_j＝cosΔα_ij （ｉ＝0,1,j＞１）（E₁×E₂）・E₀＝γ₁₂₀ I₀・E₀＝０ｆ（E₁−（E₁・E_c）E_c）/G₁−E₁・E_c ＝ｆ（E₂−（E₂・E_c）E_c）/G₂−E₂・E_c G₁・G₂/|G₁・G₂|＝cosΔβ₁₂ 第５図は、基準三線分姿勢推定部42の１系統の構成例
を示し、I₀,Δα_ab,Δα_a0,Δα_b0,γ_ab0およびΔβ_ab
を入力とし、上の連立方程式と同様の連立方程式を満た
すの組をすべて出力する構成を示したものである。

方程式解導出部421は、与えられた入力（I₀,Δα_ab,
Δα_a0,Δα_b0,γ_ab0およびΔβ_ab）から上述の方程式
の意味のある根をすべて求める。これには、例えば一次
元探索法により方程式の根を求める方法が用いらるが、
これと等価な方法により連立方程式の根を求めるなどの
バリエーションも各種考えることができる。

以下に第３系統を例に、方程式解導出部421における
一次元探索法による方程式の解法例を示す。こゝで、座
標系は次のE_s,E_tおよび正規化画像の光軸方向の単位ベ
クトルE_cにより定められるＳ−Ｔ−Ｃ直交座標系を用い
る。これを第６図に示す。

また、この球面座標表示をＲ−ξ−ηで表す。即ち、（s,t,c）＝（r cosηsinξ,r sinηsinξ,r cosξ）が成り立つものとする。

こゝで、E₁とE₂がなす平面の単位法線ベクトルをN₁₂
であらわすことにすると、G₁とG₂の配置から、N₁₂＝（r
cosηsinξ,r sinηsinξ,r cosξ）はガウス球面上で
式（ａ）で表される曲線（第６図中のガウス球面上のPA
T曲線）上に制限される。

このとき、E₁,E₂は式（ｂ）で表される。

一方、E₁およびE₂から、E₀は式（ｃ）で計算できる。

ただし、 ω_１＝cosΔα₁₀−cosΔα₂₀cosΔα₁₂ ω_２＝cosΔα₂₀−cosΔα₁₀cosΔα₁₂ こゝで、式（ｂ）および（ｃ）式で求められるベクト
ルが連立方程式の解であるか否かは、E₀が式（ｄ）を満
たすか否かをチェックすることで確められる。

I₀・E₀＝０（ｄ）即ち、式（ａ）で表される曲線（一次元）上の各点に
おいて式（ｂ）および式（ｃ）を算出し、これが式
（ｄ）を満たすか否かを判定することにより、結果とし
て、式（ｂ）および（ｃ）により連立方程式の解がすべ
て得られる。

基準三線分姿勢候補計算部422は、上記方程式解導出
部421の出力として得られる各根に対応する三次元姿勢
を求め、第ｉ系統に対する姿勢候補として基準三線分姿
勢候補格納部423に出力する。

姿勢正規化部43_iでは、基準三線分姿勢推定部42_iの出
力として得られる第ｉ系統の基準三線分姿勢候補の集合
を入力し、各姿勢を元のカメラ座標系に変換し、正規化
姿勢を得る。

二点三線分姿勢推定部44は、姿勢正規化部43の出力し
て得られる３系統の各基準三線分についての正規化姿勢
の集合を入力とし、両立しない姿勢を逐次削除すること
により、該二点三線分の許容される三次元空間内の姿勢
を求める。許容される姿勢が存在しない場合は、画像・
物体対応付け装置３に対して別の二点三線分の組の選択
を指示する。第７図に二点三線分姿勢推定部44の具体的
構成例を示す。

二点三線分姿勢候補格納部441は、姿勢正規化部43の
出力として得られる３つの基準三線分についての正規化
姿勢（基準三線分姿勢候補）の集合と、該候補と両立す
る他の系統に関する姿勢候補番号の集合とを格納する部
分である。この二点三線分姿勢候補格納部441は３系統
の各々に対応する３つの四線分姿勢候補テーブルからな
る。こゝで、四線分は三線分および二点を結ぶ一線分に
対応する。第８図（ａ）は二点三線分の例であり、その
第ｉ系統に関する四線分姿勢候補テーブルの一例を示す
と第８図（ｂ）のようになる。第８図（ａ）において、
E_iは有向線分L_i対応する単位ベクトルを表す。第８図
（ｂ）において、姿勢記述欄は第８図（ａ）の四線分に
対応する４つの単位ベクトルの組を表している。該姿勢
記述欄には、当該第１系統に関する正規化後の基準三線
分姿勢候補がそのまゝ格納される。両立する候補番号欄
には、当該第１系統の各姿勢候補ごとに、他の系統との
両立性が記述される。

姿勢候補間類似度計算部442は、四線分姿勢候補格納
部441に格納されているあらゆる線分に対して、姿勢候
補間の類似度を計算する。なお、計算に先だって、姿勢
候補更新部443により削除された候補に関わる類似度計
算は省略するようにしてもよい。姿勢候補更新部443
は、姿勢候補のうち、類似度計算部442の出力として得
られる類似度がいき値以下であるものについては、当該
候補を四線分姿勢候補テーブルから削除する。また、い
き値以上の対にたいしては、四線分姿勢候補テーブルに
両立関係を書き込む。四線分姿勢決定部444は、442およ
び443によるすべての候補間類似度計算および候補更新
が終了後、四線分姿勢候補テーブル内の両立関係が３系
統のすべてに関わっているものを抽出する。これが１組
しか存在しない場合、この中から姿勢を１つ選択し、こ
れで規定される三次元回転成分と二点P₁およびP₂の対応
付けから規定される三次元平行移動成分とから、物体・
画像変換マトリクス445を求め出力する。解が存在しな
い場合、あるいは解が複数存在する場合、その旨を信号
446によって示す。

これは、２点および３線分の選択を再び行い、姿勢推
定を行うなどの用途に用いる。

〔発明の効果〕

以上説明したように、本発明によれば、１枚の画像か
ら得られる二点の二次元座標値および三有向線分の像と
予め格納された物体モデル中の二点の三次元相対位置お
よび３本の有向線分の相対関係とを用いて、高速にかつ
高精度に物体の三次元姿勢を推定しうるから、工業用視
覚センサあるいはロボットの視覚系を実現するに広く適
用できるという利点がある。

【図面の簡単な説明】

第１図は本発明の一実施例の構成図、第２図は二次元座
標系と三次元座標系の関係を示す図、第３図は三次元物
体とその物体モデル記述の一例を示す図、第４図は画像
・物体対応付け表を示す図、第５図は基準三線分姿勢推
定部の構成例を示す図、第６図は基準三線分姿勢推定部
で用いる座標系の一例を示す図、第７図は二点三線分姿
勢推定部の構成例を示す図、第８図は二点三線分と四線
分姿勢候補テーブルの対応例を示す図である。１……入力画像特徴抽出装置、２……物体モデル記述格納装置、３……画像・物体対応付け装置、４……二点三線分姿勢推定装置、 41……位置関係算出部、 42……基準三線分姿勢推定部、 43……姿勢正規化部、 44……二点三線分姿勢推定部。

Claims

(57)【特許請求の範囲】

【請求項１】カメラ入力画像に対応する物体の三次元姿
勢を推定する方法であって、あらかじめ対象とする物体
中の少なくとも３個以上の有向線分について、各有向線
分の三次元空間内の方向ベクトル値と線分の特徴、およ
び物体中の少なくとも二点以上の点について、各点の三
次元座標値と特徴を記述した物体モデル記述を用意し、
入力画像の特徴と物体モデル記述との対応付けを行って
三線分および二点を選択し、該三線分および二点に対応
する前記物体モデル記述中の三有向線分および二点の姿
勢を推定することにより、入力画像に対応する物体の姿
勢を推定することを特徴とする物体の姿勢推定方法。
【請求項２】カメラ画像を入力し、特徴を抽出する手段
と、対象とする物体中の少なくとも３本以上の有向線分
について各線分の三次元空間内の方向ベクトル値と特
徴、および物体中の少なくとも二点以上の点について各
点の三次元座標値と特徴を記述した物体モデル記述を格
納した手段と、入力画像の特徴と物体モデル記述中の特
徴記述との対応付けを行い、対応付けのとれたものゝ中
から二点および三線分を選択する手段と、前記選択され
た三線分中の二線分および二点を結ぶ線分よりなる三線
分の三次元空間および正規化画像上での位置関係を求め
る手段と、前記求められた位置関係から三線分（二線分
及び二点）の姿勢として許されるものゝすべてを求める
手段と、前記求められたすべての姿勢をカメラ座標系に
変換し正規化姿勢を得る手段と、各三線分における前記
正規化姿勢の集合から四線分（三線分及び二点）の許容
される姿勢を求める手段とを有することを特徴とする物
体の姿勢推定装置。