JPH085333A - ３次元位置姿勢認識装置 - Google Patents
３次元位置姿勢認識装置Info
- Publication number
- JPH085333A JPH085333A JP6138585A JP13858594A JPH085333A JP H085333 A JPH085333 A JP H085333A JP 6138585 A JP6138585 A JP 6138585A JP 13858594 A JP13858594 A JP 13858594A JP H085333 A JPH085333 A JP H085333A
- Authority
- JP
- Japan
- Prior art keywords
- model
- correspondence
- triangle
- feature points
- triangles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【目的】 認識対象の位置姿勢を高い信頼度で認識し得
る３次元位置姿勢認識装置。 【構成】 本装置Ａは，モデル上の任意の３個の特徴点
から形成されるモデル三角形を予め記憶しておくモデル
記憶部１と，対象ワークを２台のカメラで撮像して得ら
れたそれぞれの計測画像から特徴点を抽出する特徴抽出
部２ａ，２ｂと，ある計測画像の特徴点に対する他の計
測画像の特徴点の１以上の対応候補を抽出する対応候補
抽出部３と，対応候補を組み合わせて形成される計測三
角形とモデル三角形との対応の組み合わせを作成する対
応決定部４と，各組み合わせにおける計測三角形とモデ
ル三角形とを比較し，両三角形が一致しない場合には，
対応決定部４により新たな組み合わせを作成し，一致す
るとみなせる場合にはワークの位置姿勢を認識するため
の両三角形間の座標変換係数を演算するモデル照合部５
とを具備している。上記構成により，常にワークの位置
姿勢を高い信頼度で認識できる。
る３次元位置姿勢認識装置。 【構成】 本装置Ａは，モデル上の任意の３個の特徴点
から形成されるモデル三角形を予め記憶しておくモデル
記憶部１と，対象ワークを２台のカメラで撮像して得ら
れたそれぞれの計測画像から特徴点を抽出する特徴抽出
部２ａ，２ｂと，ある計測画像の特徴点に対する他の計
測画像の特徴点の１以上の対応候補を抽出する対応候補
抽出部３と，対応候補を組み合わせて形成される計測三
角形とモデル三角形との対応の組み合わせを作成する対
応決定部４と，各組み合わせにおける計測三角形とモデ
ル三角形とを比較し，両三角形が一致しない場合には，
対応決定部４により新たな組み合わせを作成し，一致す
るとみなせる場合にはワークの位置姿勢を認識するため
の両三角形間の座標変換係数を演算するモデル照合部５
とを具備している。上記構成により，常にワークの位置
姿勢を高い信頼度で認識できる。
Description
【０００１】
【産業上の利用分野】本発明は，３次元位置姿勢認識装
置に係り，例えば産業用ロボットや工作機械等に用いら
れる認識対象の３次元位置姿勢認識装置に関するもので
ある。
置に係り，例えば産業用ロボットや工作機械等に用いら
れる認識対象の３次元位置姿勢認識装置に関するもので
ある。
【０００２】
【従来の技術】例えば，産業用ロボットや工作機械等に
用いられる認識対象の３次元位置姿勢認識装置には，従
来２台のカメラを用いて認識対象であるワークの３次元
位置姿勢を認識する手法が用いられている（特開平５−
１９７０４４号，特開平４−１３０５８６号公報参
照）。これらの従来例における３次元位置姿勢認識装置
Ａ′の概略構成を図１０に示す。図中，先ず対象ワーク
をカメラで撮像し，得られた各２枚の計測画像から特徴
を特徴抽出部２ａ′，２ｂ′により抽出する。そして，
得られた特徴の類似性などの条件を使って，左右計測画
像内の特徴を対応決定部４′により対応付けを行う。そ
の対応がきまると，三角測量により特徴点の３次元座標
が計算され，計測した特徴の３次元空間内の配置が決定
される。その後，この配置とあらかじめモデル記憶部
１′に記憶しておいてモデルとをモデル照合部５′によ
り照合することにより，ワークの位置姿勢を認識する。
モデル照合においては，例えば計測画像内の任意の３点
の特徴点と，モデルにおける任意の３点の特徴点とを照
合させる手法が周知である。
用いられる認識対象の３次元位置姿勢認識装置には，従
来２台のカメラを用いて認識対象であるワークの３次元
位置姿勢を認識する手法が用いられている（特開平５−
１９７０４４号，特開平４−１３０５８６号公報参
照）。これらの従来例における３次元位置姿勢認識装置
Ａ′の概略構成を図１０に示す。図中，先ず対象ワーク
をカメラで撮像し，得られた各２枚の計測画像から特徴
を特徴抽出部２ａ′，２ｂ′により抽出する。そして，
得られた特徴の類似性などの条件を使って，左右計測画
像内の特徴を対応決定部４′により対応付けを行う。そ
の対応がきまると，三角測量により特徴点の３次元座標
が計算され，計測した特徴の３次元空間内の配置が決定
される。その後，この配置とあらかじめモデル記憶部
１′に記憶しておいてモデルとをモデル照合部５′によ
り照合することにより，ワークの位置姿勢を認識する。
モデル照合においては，例えば計測画像内の任意の３点
の特徴点と，モデルにおける任意の３点の特徴点とを照
合させる手法が周知である。
【０００３】
【発明が解決しようとする課題】上記したような従来の
３次元位置姿勢認識装置Ａ′では，次のような問題点が
あった。一般に対象ワークをカメラで撮像したとき，ワ
ーク姿勢ずれによるワーク像の形状変化や照明変化のた
めに，画像処理でワークの特徴を安定して得ることが困
難である。また，２台のカメラで同一のワークを撮像し
ても，明るさ，形状等の特徴量が左右の画像で同じ値に
なるとは限らないので，左右両画像間で特徴の対応付け
が正しく行われない場合がある。従来の装置Ａ′では，
左画像と右画像との特徴点の対応付けを一意に決定して
モデルの特徴配置と照合するため，左画像と右画像との
特徴の対応付けにおいて誤りが発生すると，後段のモデ
ル照合に失敗する。例えば図１１に示すような計測画像
において，特徴として左の計測画像から頂点の特徴点Ｌ
１，Ｌ２，また右の計測画像から頂点の特徴点Ｒ１，Ｒ
２が得られたとする。正しい対応は特徴点Ｌ１とＲ１，
Ｌ２とＲ２であるが，ここで頂点の特徴が似ていたり，
あるいは頂点の特徴が画像処理で抽出されなかったりす
ると，正しい対応付けがなされない。そのような場合に
は，間違った対応によって間違った３次元座標の特徴点
の配置が生成される。このため，モデルとの照合を行っ
ても正しい結果が得られない。本発明は，このような従
来の技術における課題を解決するために，３次元位置姿
勢認識装置を改良し，画像処理により，各画像内のいく
つかの特徴点を検出できない場合でも，あるいは各画像
の特徴点の対応がつきにくい場合でも認識対象の位置姿
勢を高い信頼度で認識し得る３次元位置姿勢認識装置を
提供することを目的とするものである。
３次元位置姿勢認識装置Ａ′では，次のような問題点が
あった。一般に対象ワークをカメラで撮像したとき，ワ
ーク姿勢ずれによるワーク像の形状変化や照明変化のた
めに，画像処理でワークの特徴を安定して得ることが困
難である。また，２台のカメラで同一のワークを撮像し
ても，明るさ，形状等の特徴量が左右の画像で同じ値に
なるとは限らないので，左右両画像間で特徴の対応付け
が正しく行われない場合がある。従来の装置Ａ′では，
左画像と右画像との特徴点の対応付けを一意に決定して
モデルの特徴配置と照合するため，左画像と右画像との
特徴の対応付けにおいて誤りが発生すると，後段のモデ
ル照合に失敗する。例えば図１１に示すような計測画像
において，特徴として左の計測画像から頂点の特徴点Ｌ
１，Ｌ２，また右の計測画像から頂点の特徴点Ｒ１，Ｒ
２が得られたとする。正しい対応は特徴点Ｌ１とＲ１，
Ｌ２とＲ２であるが，ここで頂点の特徴が似ていたり，
あるいは頂点の特徴が画像処理で抽出されなかったりす
ると，正しい対応付けがなされない。そのような場合に
は，間違った対応によって間違った３次元座標の特徴点
の配置が生成される。このため，モデルとの照合を行っ
ても正しい結果が得られない。本発明は，このような従
来の技術における課題を解決するために，３次元位置姿
勢認識装置を改良し，画像処理により，各画像内のいく
つかの特徴点を検出できない場合でも，あるいは各画像
の特徴点の対応がつきにくい場合でも認識対象の位置姿
勢を高い信頼度で認識し得る３次元位置姿勢認識装置を
提供することを目的とするものである。
【０００４】
【課題を解決するための手段】上記目的を達成するため
に，本発明は，認識対象に対応するモデル形状上の任意
の３個の特徴点から形成されるモデル三角形を予め記憶
しておくモデル記憶部と，上記認識対象を少なくとも２
台のカメラで撮像して得られたそれぞれの計測画像から
特徴点を抽出する特徴抽出部と，上記特徴抽出部により
抽出されたある計測画像の特徴点に対する他の計測画像
の特徴点の１以上の対応候補を抽出する対応候補抽出部
と，上記対応候補抽出部により抽出された対応候補を組
み合わせて形成される計測三角形と，上記モデル記憶部
に記憶されたモデル三角形との対応の組み合わせを作成
する対応決定部と，上記対応決定部により作成された各
組み合わせにおける計測三角形とモデル三角形とを比較
し，両三角形が一致しない場合には上記対応決定部によ
り新たな組み合わせを作成し，一致するとみなせる場合
には上記認識対象の位置姿勢を認識するための両三角形
間の座標変換係数を演算するモデル照合部とを具備して
なる３次元位置姿勢認識装置として構成されている。
に，本発明は，認識対象に対応するモデル形状上の任意
の３個の特徴点から形成されるモデル三角形を予め記憶
しておくモデル記憶部と，上記認識対象を少なくとも２
台のカメラで撮像して得られたそれぞれの計測画像から
特徴点を抽出する特徴抽出部と，上記特徴抽出部により
抽出されたある計測画像の特徴点に対する他の計測画像
の特徴点の１以上の対応候補を抽出する対応候補抽出部
と，上記対応候補抽出部により抽出された対応候補を組
み合わせて形成される計測三角形と，上記モデル記憶部
に記憶されたモデル三角形との対応の組み合わせを作成
する対応決定部と，上記対応決定部により作成された各
組み合わせにおける計測三角形とモデル三角形とを比較
し，両三角形が一致しない場合には上記対応決定部によ
り新たな組み合わせを作成し，一致するとみなせる場合
には上記認識対象の位置姿勢を認識するための両三角形
間の座標変換係数を演算するモデル照合部とを具備して
なる３次元位置姿勢認識装置として構成されている。
【０００５】
【作用】本発明によれば，認識対象に対応するモデル形
状上の任意の３個の特徴点から形成されるモデル三角形
が予めモデル記憶部に記憶される。上記認識対象を少な
くとも２台のカメラで撮像して得られたそれぞれの計測
画像から特徴点が特徴抽出部により抽出される。上記特
徴抽出部により抽出されたある計測画像の特徴点に対す
る他の計測画像の特徴点の１以上の対応候補が対応候補
抽出部により抽出される。上記対応候補抽出部により抽
出された対応候補を組み合わせて形成される計測三角形
と，上記モデル記憶部に記憶されたモデル三角形との対
応の組み合わせが対応決定部により作成される。上記対
応決定部により作成された各組み合わせにおける計測三
角形と，モデル三角形とがモデル照合部により比較さ
れ，ここで，両三角形が一致しない場合には上記対応決
定部により新たな組み合わせが作成され，一致するとみ
なされる場合には上記認識対象の位置姿勢を認識するた
めの両三角形間の座標変換係数が演算される。このよう
にある画像の特徴点に対する他の画像の特徴点の１以上
の対応候補を求めておき，各画像の特徴点と，モデルの
特徴点との全ての組み合わせに対してモデル照合を行う
ことにより，画像処理により各画像内のいくつかの特徴
点を検出できない場合でもあるいは，各画像の特徴点の
対応がつきにくい場合でも，認識対象の位置姿勢を高い
信頼度で認識することができる。
状上の任意の３個の特徴点から形成されるモデル三角形
が予めモデル記憶部に記憶される。上記認識対象を少な
くとも２台のカメラで撮像して得られたそれぞれの計測
画像から特徴点が特徴抽出部により抽出される。上記特
徴抽出部により抽出されたある計測画像の特徴点に対す
る他の計測画像の特徴点の１以上の対応候補が対応候補
抽出部により抽出される。上記対応候補抽出部により抽
出された対応候補を組み合わせて形成される計測三角形
と，上記モデル記憶部に記憶されたモデル三角形との対
応の組み合わせが対応決定部により作成される。上記対
応決定部により作成された各組み合わせにおける計測三
角形と，モデル三角形とがモデル照合部により比較さ
れ，ここで，両三角形が一致しない場合には上記対応決
定部により新たな組み合わせが作成され，一致するとみ
なされる場合には上記認識対象の位置姿勢を認識するた
めの両三角形間の座標変換係数が演算される。このよう
にある画像の特徴点に対する他の画像の特徴点の１以上
の対応候補を求めておき，各画像の特徴点と，モデルの
特徴点との全ての組み合わせに対してモデル照合を行う
ことにより，画像処理により各画像内のいくつかの特徴
点を検出できない場合でもあるいは，各画像の特徴点の
対応がつきにくい場合でも，認識対象の位置姿勢を高い
信頼度で認識することができる。
【０００６】
【実施例】以下添付図面を参照して，本発明を具体化し
た実施例につき説明し，本発明の理解に供する。尚，以
下の実施例は，本発明を具体化した一例であって，本発
明の技術的範囲を限定する性格のものではない。ここ
に，図１は本発明の一実施例に係る３次元位置姿勢認識
装置Ａの概略構成を示すブロック図，図２はモデルの例
図，図３は計測対象の例図，図４は特徴抽出された画像
の例図，図５は対応決定部の動作手順を示す説明図，図
６はモデル照合部の動作手順を示す説明図，図７はモデ
ル照合の様子を示す説明図，図８は計測三角形及びモデ
ル三角形の特徴量を示す説明図，図９は計測三角形とモ
デル三角形との頂点の対応を示す説明図である。図１に
示すごとく，本実施例に係る３次元位置姿勢認識装置Ａ
は，対象ワーク（認識対象に相当）に対応するモデル形
状上の任意の３個の特徴点から形成されるモデル三角形
を予め記憶しておくモデル記憶部１と，ワークを２台の
カメラで撮像して得られたそれぞれの計測画像から，特
徴点を抽出する特徴抽出部２ａ，２ｂと，特徴抽出部２
ａ，２ｂにより抽出されたある計測画像の特徴点に対す
る他の計測画像の特徴点の１以上の対応候補を抽出す
る，対応候補抽出部３と，対応候補抽出部３により抽出
された対応候補を組み合わせて形成される計測三角形
と，モデル記憶部１に記憶されたモデル三角形との対応
の組み合わせを作成する対応決定部４と，対応決定部４
により作成された各組み合わせにおける計測三角形とモ
デル三角形とを比較し，両三角形が一致しない場合には
対応決定部４により新たな組み合わせを作成し，一致す
るとみなせる場合には，ワークの位置姿勢を認識するた
めの両三角形間の座標変換係数を演算するモデル照合部
５とを具備している。尚，ここではカメラ台数を２台と
したが，さらに多くのカメラを用いてもよい。
た実施例につき説明し，本発明の理解に供する。尚，以
下の実施例は，本発明を具体化した一例であって，本発
明の技術的範囲を限定する性格のものではない。ここ
に，図１は本発明の一実施例に係る３次元位置姿勢認識
装置Ａの概略構成を示すブロック図，図２はモデルの例
図，図３は計測対象の例図，図４は特徴抽出された画像
の例図，図５は対応決定部の動作手順を示す説明図，図
６はモデル照合部の動作手順を示す説明図，図７はモデ
ル照合の様子を示す説明図，図８は計測三角形及びモデ
ル三角形の特徴量を示す説明図，図９は計測三角形とモ
デル三角形との頂点の対応を示す説明図である。図１に
示すごとく，本実施例に係る３次元位置姿勢認識装置Ａ
は，対象ワーク（認識対象に相当）に対応するモデル形
状上の任意の３個の特徴点から形成されるモデル三角形
を予め記憶しておくモデル記憶部１と，ワークを２台の
カメラで撮像して得られたそれぞれの計測画像から，特
徴点を抽出する特徴抽出部２ａ，２ｂと，特徴抽出部２
ａ，２ｂにより抽出されたある計測画像の特徴点に対す
る他の計測画像の特徴点の１以上の対応候補を抽出す
る，対応候補抽出部３と，対応候補抽出部３により抽出
された対応候補を組み合わせて形成される計測三角形
と，モデル記憶部１に記憶されたモデル三角形との対応
の組み合わせを作成する対応決定部４と，対応決定部４
により作成された各組み合わせにおける計測三角形とモ
デル三角形とを比較し，両三角形が一致しない場合には
対応決定部４により新たな組み合わせを作成し，一致す
るとみなせる場合には，ワークの位置姿勢を認識するた
めの両三角形間の座標変換係数を演算するモデル照合部
５とを具備している。尚，ここではカメラ台数を２台と
したが，さらに多くのカメラを用いてもよい。
【０００７】以下，この装置Ａの各構成要素の動作等を
説明すると共に，それらの基本原理についても述べる。
但し，本実施例ではモデル照合における組み合わせの数
が従来例よりも増えるので，効率よくモデル照合が行わ
れるように高速化をも考慮にいれた。 〔モデル記憶部１〕まずモデル記憶部１には，予めワー
クに対応する３次元モデルを入力し，記憶しておく。例
えば，図２（ａ）に示すような，特徴点として１２個の
頂点を持つモデルについて考える。１２個の特徴点のう
ち３個を使ってモデル照合を行うとすれば，１２個の特
徴点の中から任意に３個選ぶ組み合わせは，１２Ｃ３＝
１９８０通りある。このようにモデルにおける３個の特
徴点を選んだときに形成される三角形を以下モデル三角
形とよぶ。モデル照合時における高速化のため，このモ
デル記憶部１に記憶する時点で，全てのモデル三角形を
列挙し，信頼性の高いものから順に並べておく。ここで
信頼性の高い順とは，例えばモデル三角形の特徴点の３
点を結ぶ三角形の面積が大きい順である。モデル三角形
の特徴点の３点を結ぶ三角形の面積が大きいほど，安定
して物体の位置姿勢を認識できると考えられるからであ
る。また，このようにしておけば，モデル照合時には，
照合が決まったと推定される時点で，それ以降のモデル
三角形についてはモデル照合の計算を省くことができ
る。よって，高速にモデル照合が行えることになる。モ
デル記憶部１には，具体的には図２（ｂ）に示すように
モデルを表現し記憶しておく。図２（ｂ）の前半部には
１９８０個のモデル三角形，後半部には１２個の特徴点
の３次元座標値が示されている。
説明すると共に，それらの基本原理についても述べる。
但し，本実施例ではモデル照合における組み合わせの数
が従来例よりも増えるので，効率よくモデル照合が行わ
れるように高速化をも考慮にいれた。 〔モデル記憶部１〕まずモデル記憶部１には，予めワー
クに対応する３次元モデルを入力し，記憶しておく。例
えば，図２（ａ）に示すような，特徴点として１２個の
頂点を持つモデルについて考える。１２個の特徴点のう
ち３個を使ってモデル照合を行うとすれば，１２個の特
徴点の中から任意に３個選ぶ組み合わせは，１２Ｃ３＝
１９８０通りある。このようにモデルにおける３個の特
徴点を選んだときに形成される三角形を以下モデル三角
形とよぶ。モデル照合時における高速化のため，このモ
デル記憶部１に記憶する時点で，全てのモデル三角形を
列挙し，信頼性の高いものから順に並べておく。ここで
信頼性の高い順とは，例えばモデル三角形の特徴点の３
点を結ぶ三角形の面積が大きい順である。モデル三角形
の特徴点の３点を結ぶ三角形の面積が大きいほど，安定
して物体の位置姿勢を認識できると考えられるからであ
る。また，このようにしておけば，モデル照合時には，
照合が決まったと推定される時点で，それ以降のモデル
三角形についてはモデル照合の計算を省くことができ
る。よって，高速にモデル照合が行えることになる。モ
デル記憶部１には，具体的には図２（ｂ）に示すように
モデルを表現し記憶しておく。図２（ｂ）の前半部には
１９８０個のモデル三角形，後半部には１２個の特徴点
の３次元座標値が示されている。
【０００８】〔特徴抽出部２ａ，２ｂ〕特徴抽出部２ａ
では，画像入力用の左カメラにより得られた計測画像
を，画像処理して特徴点を抽出する。同様に，特徴抽出
部２ｂでは，画像入力用の右カメラにより得られた計測
画像を，画像処理して特徴点を抽出する。例えば計測時
において，図３（ａ），（ｂ）に示すような左右の計測
画像が得られているとき，画像処理を行い，図４
（ａ），（ｂ）に示す灰色の丸印のような特徴点が得ら
れたとする。尚，ここでは特徴点として頂点を抽出して
いるが，実使用に際しては，物体のコーナーや穴の中心
のような点，あるいは物体の辺である線分，あるいは特
定のパターンであってもよい。 〔対応候補抽出部３〕対応候補抽出部３では，特徴抽出
部２ａ，２ｂで得られた特徴点の中から，形状類似など
の条件を使って，左右の対応候補を抽出する。上記図４
（ａ），（ｂ）に示す例では，左画像の特徴点を基準に
し，この左画像の特徴点が右画像のどの特徴点に対応す
る可能性があるかを示す対応候補を抽出し，両特徴点を
例えば以下の表１に示すような対応候補テーブルに記憶
しておく。左画像の特徴点Ｌ１に対応する右画像の特徴
点は，形状類似などの条件を使って，Ｒ１，Ｒ３，Ｒ５
の３点の候補に対応が絞られている。どれくらい候補を
絞るかは，特徴量抽出精度などによって決めればよい。
では，画像入力用の左カメラにより得られた計測画像
を，画像処理して特徴点を抽出する。同様に，特徴抽出
部２ｂでは，画像入力用の右カメラにより得られた計測
画像を，画像処理して特徴点を抽出する。例えば計測時
において，図３（ａ），（ｂ）に示すような左右の計測
画像が得られているとき，画像処理を行い，図４
（ａ），（ｂ）に示す灰色の丸印のような特徴点が得ら
れたとする。尚，ここでは特徴点として頂点を抽出して
いるが，実使用に際しては，物体のコーナーや穴の中心
のような点，あるいは物体の辺である線分，あるいは特
定のパターンであってもよい。 〔対応候補抽出部３〕対応候補抽出部３では，特徴抽出
部２ａ，２ｂで得られた特徴点の中から，形状類似など
の条件を使って，左右の対応候補を抽出する。上記図４
（ａ），（ｂ）に示す例では，左画像の特徴点を基準に
し，この左画像の特徴点が右画像のどの特徴点に対応す
る可能性があるかを示す対応候補を抽出し，両特徴点を
例えば以下の表１に示すような対応候補テーブルに記憶
しておく。左画像の特徴点Ｌ１に対応する右画像の特徴
点は，形状類似などの条件を使って，Ｒ１，Ｒ３，Ｒ５
の３点の候補に対応が絞られている。どれくらい候補を
絞るかは，特徴量抽出精度などによって決めればよい。
【表１】
【０００９】〔対応決定部４〕対応決定部４では，次の
ような動作手順をとる。即ち，図５に示すように，ま
ず，ステップＳ１で左画像の特徴点の中から，任意に３
個の抽出点を選ぶ。次にステップＳ２で対応候補抽出部
３において得られた対応候補テーブルの中から，任意の
３組を選ぶ。すると，この時点で，左右画像の特徴点の
対応が決定するので，ステップＳ３において，２台のカ
メラの位置関係を示すカメラパラメータを使って特徴点
の３次元位置を計算し，これらの各点を頂点とする計測
三角形を生成する。ここで，前記図３（ａ），（ｂ）に
示した例では，左画像の特徴点は１１点存在するので，
この１１点の中から３点を選ぶ組み合わせは１１Ｃ３＝
１３２０通りの組み合わせがある。その組み合わせに対
して，さらに，右画像の特徴点の組み合わせが対応候補
の数だけ存在し，その数を６個とすると，全部で１３２
０＊６＝７９２０個の計測三角形が生成される。そし
て，ステップＳ４において，モデル記憶部１からモデル
三角形を読み込み，ステップＳ５で計測三角形とモデル
三角形との組み合わせを選び，次のモデル照合部５へ選
択された計測三角形とモデル三角形とを渡す。 〔モデル照合部５〕モデル照合部５では，対応決定部４
で生成された計測三角形とモデル三角形との間でモデル
照合を行う。その動作手順を図６に，またその様子を図
７に示す。ここで，すべての計測三角形やモデル三角形
の組み合わせに対してモデル照合の位置姿勢の推定計算
を行うと処理時間がかかるため，効率よく処理するため
に形状が似ているものだけに限って計算を行うこととす
る。
ような動作手順をとる。即ち，図５に示すように，ま
ず，ステップＳ１で左画像の特徴点の中から，任意に３
個の抽出点を選ぶ。次にステップＳ２で対応候補抽出部
３において得られた対応候補テーブルの中から，任意の
３組を選ぶ。すると，この時点で，左右画像の特徴点の
対応が決定するので，ステップＳ３において，２台のカ
メラの位置関係を示すカメラパラメータを使って特徴点
の３次元位置を計算し，これらの各点を頂点とする計測
三角形を生成する。ここで，前記図３（ａ），（ｂ）に
示した例では，左画像の特徴点は１１点存在するので，
この１１点の中から３点を選ぶ組み合わせは１１Ｃ３＝
１３２０通りの組み合わせがある。その組み合わせに対
して，さらに，右画像の特徴点の組み合わせが対応候補
の数だけ存在し，その数を６個とすると，全部で１３２
０＊６＝７９２０個の計測三角形が生成される。そし
て，ステップＳ４において，モデル記憶部１からモデル
三角形を読み込み，ステップＳ５で計測三角形とモデル
三角形との組み合わせを選び，次のモデル照合部５へ選
択された計測三角形とモデル三角形とを渡す。 〔モデル照合部５〕モデル照合部５では，対応決定部４
で生成された計測三角形とモデル三角形との間でモデル
照合を行う。その動作手順を図６に，またその様子を図
７に示す。ここで，すべての計測三角形やモデル三角形
の組み合わせに対してモデル照合の位置姿勢の推定計算
を行うと処理時間がかかるため，効率よく処理するため
に形状が似ているものだけに限って計算を行うこととす
る。
【００１０】図６において，対応決定部４から得られた
計測三角形とモデル三角形とから，先ず，ステップＳ１
１，Ｓ１２で三角形の周長Ｌｃ，Ｌｍをそれぞれ計算す
る。ここで三角形の周長とは，図８（ａ）に示すような
形状に関する特徴量である。ステップＳ１３で周長Ｌｃ
とＬｍとの差ｄｉｆｆ Ｌを計算し，ステップＳ１４で
差ｄｉｆｆ Ｌがしきい値ＴＨＲＥ１より小さければ，
計測三角形とモデル三角形の両形状はほぼ等しいとす
る。差ｄｉｆｆ Ｌがしきい値ＴＨＲＥ１より大きけれ
ば，両三角形の形状は異なると判断され，新たな計測三
角形とモデル三角形とを選択するために対応決定部４に
戻る。ここまでのステップ（Ｓ１１〜Ｓ１４）で，計測
三角形と形状が等しいモデル三角形が見つかったものと
する。しかし，その場合でも計測三角形の頂点が，どの
モデル三角形の頂点に対応するのかはまだ分かっていな
い。これは，図９に示すように２つの三角形の頂点の対
応の組み合わせがここでは３通り存在するからである。
従って，ステップＳ１５で３通りの頂点の対応の組み合
わせを選び，以下のステップにその組み合わせを渡す。
頂点の対応を見つけるために，ステップＳ１６，Ｓ１７
において，頂点間の距離Ｆ１ｃ（ｉ），Ｌ１ｍ（ｉ）
｛ｉ＝１，２，３｝を計算する。ここで頂点間の距離と
は，図８（ｂ）の左側に示すような頂点の特徴量であ
る。ステップＳ１８で各頂点間の距離の差の総和ｄｉｆ
ｆ Ｆ１を計算し，次のステップＳ１９で総和ｄｉｆｆ
Ｆ１がしきい値ＴＨＲＥ２より小さければ次の処理に
進む。しきい値ＴＨＲＥ２より大きければ，２つの三角
形の頂点の対応が間違っているとし，新たな頂点の対応
を選択するためにステップＳ１５に戻る。頂点の対応を
見つけるための特徴量として，さらに図８（ｂ）の右側
に示すように頂点の角度を使う。ステップＳ２０，Ｓ２
１で頂点の角度Ｆ２ｃ（ｉ），Ｆ２ｍ（ｉ）｛ｉ＝１，
２，３｝を計算し，次のステップＳ２２で各頂点の角度
の差の総和であるｄｉｆｆ Ｆ２を計算する。ステップ
Ｓ２３で総和ｄｉｆｆ Ｆ２がしきい値ＴＨＲＥ３より
小さければ，頂点の対応は正しいとする。しきい値ＴＨ
ＲＥ３より大きければ頂点の対応は間違っているものと
し，ステップＳ１５に戻り，新たな頂点の組み合わせを
選択する。
計測三角形とモデル三角形とから，先ず，ステップＳ１
１，Ｓ１２で三角形の周長Ｌｃ，Ｌｍをそれぞれ計算す
る。ここで三角形の周長とは，図８（ａ）に示すような
形状に関する特徴量である。ステップＳ１３で周長Ｌｃ
とＬｍとの差ｄｉｆｆ Ｌを計算し，ステップＳ１４で
差ｄｉｆｆ Ｌがしきい値ＴＨＲＥ１より小さければ，
計測三角形とモデル三角形の両形状はほぼ等しいとす
る。差ｄｉｆｆ Ｌがしきい値ＴＨＲＥ１より大きけれ
ば，両三角形の形状は異なると判断され，新たな計測三
角形とモデル三角形とを選択するために対応決定部４に
戻る。ここまでのステップ（Ｓ１１〜Ｓ１４）で，計測
三角形と形状が等しいモデル三角形が見つかったものと
する。しかし，その場合でも計測三角形の頂点が，どの
モデル三角形の頂点に対応するのかはまだ分かっていな
い。これは，図９に示すように２つの三角形の頂点の対
応の組み合わせがここでは３通り存在するからである。
従って，ステップＳ１５で３通りの頂点の対応の組み合
わせを選び，以下のステップにその組み合わせを渡す。
頂点の対応を見つけるために，ステップＳ１６，Ｓ１７
において，頂点間の距離Ｆ１ｃ（ｉ），Ｌ１ｍ（ｉ）
｛ｉ＝１，２，３｝を計算する。ここで頂点間の距離と
は，図８（ｂ）の左側に示すような頂点の特徴量であ
る。ステップＳ１８で各頂点間の距離の差の総和ｄｉｆ
ｆ Ｆ１を計算し，次のステップＳ１９で総和ｄｉｆｆ
Ｆ１がしきい値ＴＨＲＥ２より小さければ次の処理に
進む。しきい値ＴＨＲＥ２より大きければ，２つの三角
形の頂点の対応が間違っているとし，新たな頂点の対応
を選択するためにステップＳ１５に戻る。頂点の対応を
見つけるための特徴量として，さらに図８（ｂ）の右側
に示すように頂点の角度を使う。ステップＳ２０，Ｓ２
１で頂点の角度Ｆ２ｃ（ｉ），Ｆ２ｍ（ｉ）｛ｉ＝１，
２，３｝を計算し，次のステップＳ２２で各頂点の角度
の差の総和であるｄｉｆｆ Ｆ２を計算する。ステップ
Ｓ２３で総和ｄｉｆｆ Ｆ２がしきい値ＴＨＲＥ３より
小さければ，頂点の対応は正しいとする。しきい値ＴＨ
ＲＥ３より大きければ頂点の対応は間違っているものと
し，ステップＳ１５に戻り，新たな頂点の組み合わせを
選択する。
【００１１】これにより，計測三角形とモデル三角形の
頂点の対応が決定した後，ステップＳ２４において，２
つの三角形のパターン間距離ｐａｔｔｅｒｎ ｄｉｓｔ
を計算する。ここでは距離ｐａｔｔｅｒｎ ｄｉｓｔ＝
ｄｉｆｆ Ｆ１＋ｄｉｆｆ Ｆ２としている。そして，ス
テップＳ２５で距離ｐａｔｔｅｒｎ ｄｉｓｔの値がし
きい値ＴＨＲＥ４より小さければ計測三角形とモデル三
角形との対応は決定したと判断する。そして，計測三角
形からモデル三角形への座標変換行列（座標変換係数に
相当）を計算すれば，対象ワークの位置姿勢を求めるこ
とができる。ステップＳ２５で，距離ｐａｔｔｅｒｎ
ｄｉｓｔがしきい値ＴＨＲＥ４より大きければ，別の頂
点の対応の組み合わせを選ぶためにステップＳ１５に戻
る。頂点の対応の組み合わせが３通り全てなされたな
ら，新たな計測三角形とモデル三角形とを選ぶために対
応決定部４に戻る。このようにして計測三角形とモデル
三角形との全ての組み合わせがなくなるまで繰り返す。
以上のように，本実施例では左画像の特徴点と右画像の
特徴点との対応づけによって決定する３次元の特徴点配
置と，予め記憶しておいたモデルの特徴点配置の組み合
わせに対して従来例の如く直接モデル照合を行うのでは
なく，左画像に対する右画像の特徴点の１以上対応候補
を求めておいて，左画像の特徴点，右画像の特徴点，モ
デルの特徴点の全ての組み合わせに対してモデル照合を
行っている。従って，画像処理により左右両画像内のい
くつかの特徴点を検出できない場合でも，又，左右の特
徴点の対応がつきにくい場合でも，ワークの位置姿勢を
高い信頼度で認識することができる。
頂点の対応が決定した後，ステップＳ２４において，２
つの三角形のパターン間距離ｐａｔｔｅｒｎ ｄｉｓｔ
を計算する。ここでは距離ｐａｔｔｅｒｎ ｄｉｓｔ＝
ｄｉｆｆ Ｆ１＋ｄｉｆｆ Ｆ２としている。そして，ス
テップＳ２５で距離ｐａｔｔｅｒｎ ｄｉｓｔの値がし
きい値ＴＨＲＥ４より小さければ計測三角形とモデル三
角形との対応は決定したと判断する。そして，計測三角
形からモデル三角形への座標変換行列（座標変換係数に
相当）を計算すれば，対象ワークの位置姿勢を求めるこ
とができる。ステップＳ２５で，距離ｐａｔｔｅｒｎ
ｄｉｓｔがしきい値ＴＨＲＥ４より大きければ，別の頂
点の対応の組み合わせを選ぶためにステップＳ１５に戻
る。頂点の対応の組み合わせが３通り全てなされたな
ら，新たな計測三角形とモデル三角形とを選ぶために対
応決定部４に戻る。このようにして計測三角形とモデル
三角形との全ての組み合わせがなくなるまで繰り返す。
以上のように，本実施例では左画像の特徴点と右画像の
特徴点との対応づけによって決定する３次元の特徴点配
置と，予め記憶しておいたモデルの特徴点配置の組み合
わせに対して従来例の如く直接モデル照合を行うのでは
なく，左画像に対する右画像の特徴点の１以上対応候補
を求めておいて，左画像の特徴点，右画像の特徴点，モ
デルの特徴点の全ての組み合わせに対してモデル照合を
行っている。従って，画像処理により左右両画像内のい
くつかの特徴点を検出できない場合でも，又，左右の特
徴点の対応がつきにくい場合でも，ワークの位置姿勢を
高い信頼度で認識することができる。
【００１２】
【発明の効果】本発明に係る３次元位置姿勢認識装置
は，上記したように構成されているため，ある画像の特
徴点に対する他の画像の特徴点の１以上の対応候補を求
めておき，各画像の特徴点と，モデルの特徴点との全て
の組み合わせに対してモデル照合を行うことにより，画
像処理により各画像内のいくつかの特徴点を検出できな
い場合でもあるいは，各画像の特徴点の対応がつきにく
い場合でも，認識対象の位置姿勢を高い信頼度で認識す
ることができる。
は，上記したように構成されているため，ある画像の特
徴点に対する他の画像の特徴点の１以上の対応候補を求
めておき，各画像の特徴点と，モデルの特徴点との全て
の組み合わせに対してモデル照合を行うことにより，画
像処理により各画像内のいくつかの特徴点を検出できな
い場合でもあるいは，各画像の特徴点の対応がつきにく
い場合でも，認識対象の位置姿勢を高い信頼度で認識す
ることができる。
【図１】 本発明の一実施例に係る３次元位置姿勢認識
装置Ａの概略構成を示すブロック図。
装置Ａの概略構成を示すブロック図。
【図２】 モデルの例図。
【図３】 計測対象の例図。
【図４】 特徴抽出された画像の例図。
【図５】 対応決定部の動作手順を示す説明図。
【図６】 モデル照合部の動作手順を示す説明図。
【図７】 モデル照合の様子を示す説明図。
【図８】 計測三角形及びモデル三角形の特徴量を示す
説明図。
説明図。
【図９】 計測三角形とモデル三角形との頂点の対応を
示す説明図。
示す説明図。
【図１０】 従来の３次元位置姿勢認識装置Ａ′の一例
における概略構成を示すブロック図。
における概略構成を示すブロック図。
【図１１】 計測画像の例図。
Ａ…３次元位置姿勢認識装置 １…モデル記憶部 ２ａ，２ｂ…特徴抽出部 ３…対応候補抽出部 ４…対応決定部 ５…モデル照合部
Claims (1)
- 【請求項１】 認識対象に対応するモデル形状上の任意
の３個の特徴点から形成されるモデル三角形を予め記憶
しておくモデル記憶部と，上記認識対象を少なくとも２
台のカメラで撮像して得られたそれぞれの計測画像から
特徴点を抽出する特徴抽出部と，上記特徴抽出部により
抽出されたある計測画像の特徴点に対する他の計測画像
の特徴点の１以上の対応候補を抽出する対応候補抽出部
と，上記対応候補抽出部により抽出された対応候補を組
み合わせて形成される計測三角形と，上記モデル記憶部
に記憶されたモデル三角形との対応の組み合わせを作成
する対応決定部と，上記対応決定部により作成された各
組み合わせにおける計測三角形とモデル三角形とを比較
し，両三角形が一致しない場合には上記対応決定部によ
り新たな組み合わせを作成し，一致するとみなせる場合
には上記認識対象の位置姿勢を認識するための両三角形
間の座標変換係数を演算するモデル照合部とを具備して
なる３次元位置姿勢認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6138585A JPH085333A (ja) | 1994-06-21 | 1994-06-21 | ３次元位置姿勢認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6138585A JPH085333A (ja) | 1994-06-21 | 1994-06-21 | ３次元位置姿勢認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH085333A true JPH085333A (ja) | 1996-01-12 |
Family
ID=15225559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6138585A Pending JPH085333A (ja) | 1994-06-21 | 1994-06-21 | ３次元位置姿勢認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH085333A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002032742A (ja) * | 2000-07-13 | 2002-01-31 | Sony Corp | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 |
| JP2008040913A (ja) * | 2006-08-08 | 2008-02-21 | Canon Inc | 情報処理方法、情報処理装置 |
| JP2009248214A (ja) * | 2008-04-03 | 2009-10-29 | Kanto Auto Works Ltd | 画像処理装置、およびロボット制御システム |
| JP2011035509A (ja) * | 2009-07-30 | 2011-02-17 | Fujifilm Corp | 複眼撮影装置及びその制御方法 |
| JP2011179908A (ja) * | 2010-02-26 | 2011-09-15 | Canon Inc | ３次元計測装置、その処理方法及びプログラム |
| JP2012133817A (ja) * | 2012-03-27 | 2012-07-12 | Denso Wave Inc | シミュレーション装置の画像データ生成装置 |
-
1994
- 1994-06-21 JP JP6138585A patent/JPH085333A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002032742A (ja) * | 2000-07-13 | 2002-01-31 | Sony Corp | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 |
| JP4568967B2 (ja) * | 2000-07-13 | 2010-10-27 | ソニー株式会社 | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム記録媒体 |
| JP2008040913A (ja) * | 2006-08-08 | 2008-02-21 | Canon Inc | 情報処理方法、情報処理装置 |
| JP2009248214A (ja) * | 2008-04-03 | 2009-10-29 | Kanto Auto Works Ltd | 画像処理装置、およびロボット制御システム |
| JP2011035509A (ja) * | 2009-07-30 | 2011-02-17 | Fujifilm Corp | 複眼撮影装置及びその制御方法 |
| JP2011179908A (ja) * | 2010-02-26 | 2011-09-15 | Canon Inc | ３次元計測装置、その処理方法及びプログラム |
| JP2012133817A (ja) * | 2012-03-27 | 2012-07-12 | Denso Wave Inc | シミュレーション装置の画像データ生成装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Marton et al. | General 3D modelling of novel objects from a single view | |
| JP4865557B2 (ja) | 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム | |
| US6751338B1 (en) | System and method of using range image data with machine vision tools | |
| Azad et al. | Stereo-based 6d object localization for grasping with humanoid robot systems | |
| JP4709668B2 (ja) | ３次元物体認識システム | |
| JP2014528057A (ja) | 物体の姿勢を推定するための方法 | |
| Liu et al. | 6D pose estimation of occlusion-free objects for robotic Bin-Picking using PPF-MEAM with 2D images (occlusion-free PPF-MEAM) | |
| Hagelskjær et al. | Using spatial constraints for fast set-up of precise pose estimation in an industrial setting | |
| JP5104248B2 (ja) | 物体認識装置およびロボット装置 | |
| JP2009216503A (ja) | 三次元位置姿勢計測方法および装置 | |
| JP2021086432A (ja) | 情報処理装置、情報処理方法、コンピュータプログラム、計測装置、システムおよび物品の製造方法 | |
| WO2002013137A2 (en) | Polygon finder and pruned tree geometric match method | |
| JP2003216931A (ja) | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 | |
| JPH085333A (ja) | ３次元位置姿勢認識装置 | |
| JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| JPH09212643A (ja) | 三次元物体認識方法及びその装置 | |
| Faugeras et al. | Why aspect graphs are not (yet) practical for computer vision | |
| Liu | Automatic 3d free form shape matching using the graduated assignment algorithm | |
| CN111199533B (zh) | 图像处理装置 | |
| JP5462662B2 (ja) | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム | |
| Azad et al. | Accurate shape-based 6-dof pose estimation of single-colored objects | |
| Tushev et al. | Robust coded target recognition in adverse light conditions | |
| Rosenhahn et al. | Tracking with a novel pose estimation algorithm | |
| JPS6344103A (ja) | 位置姿勢認識装置 | |
| JP2000074628A (ja) | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 |