JPH07103715A - 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 - Google Patents

視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置

Info

Publication number
JPH07103715A
JPH07103715A JP5247228A JP24722893A JPH07103715A JP H07103715 A JPH07103715 A JP H07103715A JP 5247228 A JP5247228 A JP 5247228A JP 24722893 A JP24722893 A JP 24722893A JP H07103715 A JPH07103715 A JP H07103715A
Authority
JP
Japan
Prior art keywords
search
image feature
image
point
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5247228A
Other languages
English (en)
Other versions
JP2730457B2 (ja
Inventor
Mikio Sasaki
美樹男 笹木
Yukinori Kanayama
幸礼 金山
Hideki Saito
英樹 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
NipponDenso Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NipponDenso Co Ltd filed Critical NipponDenso Co Ltd
Priority to JP5247228A priority Critical patent/JP2730457B2/ja
Priority to US08/206,828 priority patent/US5499306A/en
Publication of JPH07103715A publication Critical patent/JPH07103715A/ja
Application granted granted Critical
Publication of JP2730457B2 publication Critical patent/JP2730457B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 ワークの配置される実環境によらず画像情報
から輪郭線を精度良く検出し、探索した位置姿勢に対す
る評価の精度を向上させる。 【構成】 カメラ4はティーチング情報に基づいた所定
範囲の位置から撮像されたワークの画像特徴点を画像処
理部7により演算する。画像特徴点は色判定部12の色
ベクトル判定結果に基づいて修正され最適画像特徴点と
して抽出される。量子化空間探索部22により、空間探
索領域を設定して各量子化空間点においてワークをカメ
ラにより撮影したときに得られるべき推定画像特徴点を
透視変換行列を求めて演算すると共に、画像特徴点との
ずれを誤差評価関数により演算する。誤差値は点間距
離,線分誤差和,面積和を求めて総合評価する。所定の
要求誤差精度を満たす場合に、そのときの量子化空間点
および姿勢パラメータをカメラの位置と姿勢として出力
する。これにより、迅速且つ高精度で位置姿勢を検出す
ることができる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、自律移動ロボットなど
に搭載され単眼視カメラにより撮影した既知対象の画像
情報に基いて単眼視カメラの三次元位置および姿勢を認
識するようにした視覚に基く三次元位置および姿勢の認
識方法ならびに視覚に基く三次元位置および姿勢の認識
装置に関する。
【0002】
【従来の技術】近年、例えば、自律移動ロボット等のよ
うに、形状および絶対座標位置が既知である対象物体に
対して接近するように移動し、アームにより対象物体を
把持するといった能動的操作を行うようにしたものがあ
る。このような自律移動ロボット等においては、CCD
カメラなどの撮像手段を搭載してその二次元的な画像情
報に基いて対象物体に対する自己の三次元的な相対位置
を認識することが必要になる。この場合、位置認識を行
うための装置においては、高精度且つ迅速に演算を行っ
て三次元的な位置のデータを求めることが要求され、し
かも安価に実現できる構成が望まれている。
【0003】そこで、従来では、比較的簡単なものとし
て、例えば、特開平3−166072号公報あるいは特
開平3−166073号公報に示されるようなものが考
えられている。すなわち、これらにおいては、対象装置
に固定された形状および寸法が既知の特殊な幾何学形状
(マーカと呼ぶ)をカメラにより撮影し、そのマーカの
二次元的な画像情報に基いて、その重心を計算する等の
方法により対象装置に対するカメラの相対的な三次元の
位置関係を求めるようにしたものである。
【0004】
【発明が解決しようとする課題】しかしながら、上述の
ような従来方法によると、対象装置にマーカを設ける必
要があるため、その設置のための準備をその都度行う必
要があると共に、マーカに対してカメラの光軸を常に垂
直に設定する必要があるため、任意の姿勢をとるカメラ
に対しては適用が困難となる不具合がある。
【0005】このような不具合を解消し得る理論的手法
として、一般には、透視n点問題において最小二乗推定
した透視変換行列の成分からカメラの位置および姿勢を
表すパラメータを逆算する方法がコンピュータビジョン
の手法として存在する。この方法によれば、カメラの光
軸と対象物体を記述する絶対座標の原点との間の関係が
未知の場合でも、原理的にはカメラの位置および姿勢を
表すパラメータを求めることが可能となる。
【0006】ところが、このようなコンピュータビジョ
ンの手法においては、実際にコンピュータを用いて明示
的に計算する場合に、適用する式が非常に複雑になるこ
とに加えてその演算量が膨大なものとなるため、迅速な
演算処理が困難になり実用的には適用が難しくなるもの
である。
【0007】また、上記事情に加えて、実際に撮影され
た画像情報に対して対象物体の特徴点を抽出する際に、
対象物体が配置されている背景環境や照明条件等の違い
によりその対象物体の輪郭が精度良く抽出できない場合
が生じ、高精度且つロバストな特徴点抽出を行うことが
困難となる不具合がある。
【0008】さらに、透視n点問題により求めた透視変
換行列で対象物体の画像特徴点と推定特徴点との誤差を
評価するときに、一般的には画像特徴点と推定特徴点と
の間の点間距離に基づいて評価を行うため、実際には線
分が交差する状態に対応して正確な評価を行うことがで
きなくなる場合が生じ、認識結果のロバスト性に悪影響
を与えることがあるという不具合もある。
【0009】本発明は、上記事情に鑑みてなされたもの
で、その目的は、カメラの光軸と既知形状の対象物体を
記述する絶対座標の原点との間の関係が未知の場合で
も、カメラにより撮影した二次元の画像情報に基いてカ
メラの位置姿勢を示すパラメータを認識することがで
き、しかも、対象物体が配置される実環境に応じて撮像
手段による対象物体の画像情報から画像特徴点を抽出す
ることが困難となる場合でもこれを高精度で且つロバス
トに特徴点を抽出することができると共に、推定した探
索点の評価を高精度で行える、しかも探索領域を狭い範
囲に限定することができるようにした視覚に基く三次元
位置と姿勢の認識方法ならびに視覚に基く三次元位置と
姿勢の認識装置を提供することにある。
【0010】
【課題を解決するための手段】本発明の視覚に基く三次
元位置および姿勢の認識方法は、形状を示す三次元絶対
座標が既知である対象物体を撮像手段により撮影したと
きの画像信号に基いてその対象物体の形状の特徴を示す
二次元の画像特徴点を抽出する画像処理ステップと、こ
の画像処理ステップにおいて得られた画像特徴点に対
し、前記画像信号の色情報の判定に基づいて面積誤差を
求めることにより前記対象物体の輪郭線を修正して最適
画像特徴点を求める特徴点修正ステップと、前記対象物
体に対する前記撮像手段の位置姿勢を示す複数のパラメ
ータを探索パラメータとし、外部情報により与えられる
推定距離に応じたパラメータ探索開始点を設定すると共
にその推定距離に応じたパラメータ探索幅で量子化した
パラメータ探索点を有する空間探索領域を設定する探索
領域決定ステップと、この探索領域決定ステップにて設
定された前記空間探索領域のパラメータ探索点で決まる
位置から前記撮像手段により前記対象物体を撮影したと
きに得られるべき二次元の推定画像特徴点を算出するた
めの透視変換行列を、あらかじめ記憶手段に記憶された
前記対象物体の三次元絶対座標に対する前記パラメータ
探索点の推定位置と前記撮像手段のパラメータ探索開始
点とに基いて計算する透視変換行列計算ステップと、こ
の透視変換行列計算ステップにて求められた前記透視変
換行列を用いて前記パラメータ探索点における前記対象
物体の二次元の前記推定画像特徴点を算出する透視変換
計算ステップと、前記画像処理ステップにて抽出された
前記対象物体の二次元の画像特徴点と前記透視変換計算
ステップにて算出された二次元の前記推定画像特徴点と
の対応関係を求めると共に、それら対応関係が得られた
画像特徴点と推定画像特徴点との間の適合度を示す評価
誤差値を所定の誤差評価関数に基いて計算する誤差計算
ステップと、前記複数の探索パラメータに対して前記探
索領域内で、前記各推定画像特徴点に対する画像特徴点
の評価誤差値が最小となるような前記パラメータ探索点
を局所最適パラメータとして求め、そのときの前記評価
誤差値が所定の要求誤差精度よりも小さいときに、得ら
れた局所最適パラメータを前記位置姿勢ベクトルの複数
のパラメータとして決定する量子化空間探索ステップと
を設けて構成としたところに特徴を有する。
【0011】また、本発明の視覚に基く三次元位置およ
び姿勢の認識方法は、形状を示す三次元絶対座標が既知
である対象物体を撮像手段により撮影したときの画像信
号に基いてその対象物体の形状の特徴を示す二次元の画
像特徴点を抽出する画像処理ステップと、前記対象物体
に対する前記撮像手段の位置姿勢を示す複数のパラメー
タを探索パラメータとし、外部情報により与えられる推
定距離に応じたパラメータ探索開始点を設定すると共に
その推定距離に応じたパラメータ探索幅で量子化したパ
ラメータ探索点を有する空間探索領域を設定する探索領
域決定ステップと、この探索領域決定ステップにて設定
された前記空間探索領域のパラメータ探索点で決まる位
置から前記撮像手段により前記対象物体を撮影したとき
に得られるべき二次元の推定画像特徴点を算出するため
の透視変換行列を、あらかじめ記憶手段に記憶された前
記対象物体の三次元絶対座標に対する前記パラメータ探
索点の推定位置と前記撮像手段のパラメータ探索開始点
とに基いて計算する透視変換行列計算ステップと、この
透視変換行列計算ステップにて求められた前記透視変換
行列を用いて前記パラメータ探索点における前記対象物
体の二次元の前記推定画像特徴点を算出する透視変換計
算ステップと、前記画像処理ステップにて抽出された前
記対象物体の二次元の画像特徴点と前記透視変換計算ス
テップにて算出された二次元の前記推定画像特徴点との
対応関係を求めると共に、それら対応関係が得られた画
像特徴点と推定画像特徴点との間の適合度を示す評価誤
差値をそれらの間の距離和を求める点間距離誤差評価関
数,特徴点間を結ぶ線分のずれを求める線分間距離誤差
評価関数あるいは図形間の面積誤差を求める面積誤差評
価関数から指定された誤差評価関数に基づいて計算する
誤差計算ステップと、前記複数の探索パラメータに対し
て前記探索領域内で、前記各推定画像特徴点に対する画
像特徴点の評価誤差値が最小となるような前記パラメー
タ探索点を局所最適パラメータとして求め、そのときの
前記評価誤差値が所定の要求誤差精度よりも小さいとき
に、得られた局所最適パラメータを前記位置姿勢ベクト
ルの複数のパラメータとして決定する量子化空間探索ス
テップとを設けた構成とすることもできる。
【0012】そして、前記撮像手段を、前記画像情報に
基づく特徴点の抽出により決まる該対象物体の見え方パ
ターンがあらかじめ決められたパターンとなるような所
定撮影領域内に位置するように設定する構成とすること
が好ましい。
【0013】また、本発明の視覚に基く三次元位置およ
び姿勢の認識装置は、画像信号を出力する撮像手段と、
対象物体の形状を示す三次元絶対座標データおよび探索
順序を指定するデータが記憶された記憶手段と、前記撮
像手段により前記対象物体を撮影したときの画像信号に
基いてその対象物体の形状の特徴を示す二次元の画像特
徴点を抽出する画像処理手段と、この画像処理手段によ
り抽出された画像特徴点に対し、前記画像信号の色情報
の判定に基づいて面積誤差を求めることにより前記対象
物体の輪郭線を修正して最適画像特徴点を求める特徴点
修正手段と、前記対象物体に対する前記撮像手段の位置
姿勢を示す複数のパラメータを探索パラメータとし、外
部情報により与えられる推定距離に応じたパラメータ探
索開始点を設定すると共にその推定距離に応じたパラメ
ータ探索幅で量子化したパラメータ探索点を有する空間
探索領域を設定する探索領域決定手段と、この探索領域
決定手段により設定された前記空間探索領域のパラメー
タ探索点で決まる位置から前記撮像手段により前記対象
物体を撮影したときに得られるべき二次元の推定画像特
徴点を算出するための透視変換行列を、あらかじめ記憶
手段に記憶された前記対象物体の三次元絶対座標に対す
る前記量子化空間点の推定位置と前記撮像手段の初期探
索パラメータとに基いて計算する透視変換行列計算手段
と、この透視変換行列計算手段により求められた前記透
視変換行列を用いて前記パラメータ探索点における前記
対象物体の二次元の前記推定画像特徴点を算出する透視
変換計算手段と、前記画像処理手段により抽出された前
記対象物体の二次元の画像特徴点と前記透視変換計算手
段により算出された二次元の前記推定画像特徴点との間
の対応関係を求めると共に、それら対応関係が得られた
画像特徴点と推定画像特徴点との間の適合度を示す評価
誤差値を所定の誤差評価関数に基いて計算する誤差計算
手段と、前記複数の探索パラメータに対して前記探索領
域内で、前記各推定画像特徴点に対する画像特徴点の評
価誤差値が最小となるような前記パラメータ探索点を局
所最適パラメータとして求め、そのときの前記評価誤差
値が所定の要求誤差精度よりも小さいときに、得られた
局所最適パラメータを前記位置姿勢ベクトルの複数のパ
ラメータとして決定する量子化空間探索手段とを設けて
構成したところに特徴を有する。
【0014】そして、本発明の本発明の視覚に基く三次
元位置および姿勢の認識装置は、画像信号を出力する撮
像手段と、対象物体の形状を示す三次元絶対座標データ
および探索順序を指定するデータが記憶された記憶手段
と、前記撮像手段により前記対象物体を撮影したときの
画像信号に基いてその対象物体の形状の特徴を示す二次
元の画像特徴点を抽出する画像処理手段と、前記対象物
体に対する前記撮像手段の位置姿勢を示す複数のパラメ
ータを探索パラメータとし、外部情報により与えられる
推定距離に応じたパラメータ探索開始点を設定すると共
にその推定距離に応じたパラメータ探索幅で量子化した
パラメータ探索点を有する空間探索領域を設定する探索
領域決定手段と、この探索領域決定手段により設定され
た前記空間探索領域のパラメータ探索点で決まる位置か
ら前記撮像手段により前記対象物体を撮影したときに得
られるべき二次元の推定画像特徴点を算出するための透
視変換行列を、あらかじめ記憶手段に記憶された前記対
象物体の三次元絶対座標に対する前記量子化空間点の推
定位置と前記撮像手段の初期探索パラメータとに基いて
計算する透視変換行列計算手段と、この透視変換行列計
算手段により求められた前記透視変換行列を用いて前記
パラメータ探索点における前記対象物体の二次元の前記
推定画像特徴点を算出する透視変換計算手段と、前記画
像処理手段により抽出された前記対象物体の二次元の画
像特徴点と前記透視変換計算手段により算出された二次
元の前記推定画像特徴点との間の対応関係を求めると共
に、それら対応関係が得られた画像特徴点と推定画像特
徴点との間の適合度を示す評価誤差値をそれらの間の距
離和を求める点間距離誤差評価関数,特徴点間を結ぶ線
分のずれを求める線分間距離誤差評価関数あるいは図形
間の面積誤差を求める面積誤差評価関数から指定された
誤差評価関数に基いて計算する誤差計算手段と、前記複
数の探索パラメータに対して前記探索領域内で、前記各
推定画像特徴点に対する画像特徴点の評価誤差値が最小
となるような前記パラメータ探索点を局所最適パラメー
タとして求め、そのときの前記評価誤差値が所定の要求
誤差精度よりも小さいときに、得られた局所最適パラメ
ータを前記位置姿勢ベクトルの複数のパラメータとして
決定する量子化空間探索手段とを設けて構成することも
できる。
【0015】そして、前記撮像手段を、前記画像情報に
基づく特徴点の抽出により決まる該対象物体の見え方パ
ターンがあらかじめ決められたパターンとなるような所
定撮影領域内に位置するように設定する構成とすること
が好ましい。
【0016】
【作用】請求項1記載の視覚に基く三次元位置および姿
勢の認識方法によれば、以下のようにして対象物体に対
する撮像手段の位置姿勢が認識されるようになる。すな
わち、撮像手段により撮影された対象物体の画像信号が
入力されると、画像処理ステップにおいて、その画像信
号に基づいて対象物体の形状の特徴等を示す二次元の画
像特徴点を抽出するようになる。
【0017】特徴点修正ステップにおいては、画像処理
ステップにおいて得られた画像特徴点に対し、得られて
いる画像信号の色情報の判定に基づいて面積誤差を求め
ることにより対象物体の輪郭線を修正して最適画像特徴
点を求めるようになる。
【0018】探索領域決定ステップにおいては、対象物
体に対する撮像手段の位置姿勢を示す複数のパラメータ
を探索パラメータとし、外部情報により与えられる推定
距離に応じてそれらの探索パラメータに対するパラメー
タ探索開始点を設定すると共にその推定距離に応じて決
められるパラメータ探索幅で量子化したパラメータ探索
点を有する空間探索領域を設定するようになる。
【0019】透視変換行列計算ステップにおいては、上
述の探索領域決定ステップにて設定された空間探索領域
のパラメータ探索点で決まる位置から前記撮像手段によ
り前記対象物体を撮影したときに得られるべき二次元の
推定画像特徴点を算出するための透視変換行列を計算に
より求める。このとき、透視変換行列は、あらかじめ記
憶手段に記憶された対象物体の三次元絶対座標に対する
パラメータ探索点の推定位置と撮像手段のパラメータ探
索開始点とに基いて計算される。
【0020】誤差計算ステップにおいては、前述の画像
処理ステップにて抽出された対象物体の二次元の画像特
徴点と透視変換計算ステップにて算出された二次元の推
定画像特徴点との対応関係を求めると共に、それら対応
関係が得られた画像特徴点と推定画像特徴点との間の適
合度を示す評価誤差値を所定の誤差評価関数に基いて計
算するようになる。
【0021】量子化空間探索ステップにおいては、複数
の探索パラメータに対して設定されている探索領域内
で、各推定画像特徴点に対する画像特徴点の評価誤差値
が最小となるようなパラメータ探索点を局所最適パラメ
ータとして求め、そのときの評価誤差値が所定の要求誤
差精度よりも小さいときに、得られた局所最適パラメー
タを撮像手段の位置姿勢を示す複数のパラメータとして
決定するようになる。
【0022】これにより、三次元絶対座標が既知である
対象物をある一つの見え方の位置姿勢の範囲内で撮像手
段により撮影している状態では、特徴点修正ステップに
おいて、画像特徴点をより正確な最適特徴点としてこれ
に基づいて位置姿勢パラメータを計算するので、撮像手
段による対象物体の画像情報が対象物体が配置される実
環境に応じて困難となる場合でもこれを高精度で且つロ
バストに特徴点を抽出することができるようになる。
【0023】請求項2記載の視覚に基く三次元位置およ
び姿勢の認識方法によれば、以下のようにして対象物体
に対する撮像手段の位置姿勢が認識されるようになる。
すなわち、撮像手段により撮影された対象物体の画像信
号が入力されると、画像処理ステップにおいて、その画
像信号に基づいて対象物体の形状の特徴等を示す二次元
の画像特徴点を抽出するようになる。
【0024】探索領域決定ステップにおいては、対象物
体に対する撮像手段の位置姿勢を示す複数のパラメータ
を探索パラメータとし、外部情報により与えられる推定
距離に応じてそれらの探索パラメータに対するパラメー
タ探索開始点を設定すると共にその推定距離に応じて決
められるパラメータ探索幅で量子化したパラメータ探索
点を有する空間探索領域を設定するようになる。
【0025】透視変換行列計算ステップにおいては、上
述の探索領域決定ステップにて設定された空間探索領域
のパラメータ探索点で決まる位置から前記撮像手段によ
り前記対象物体を撮影したときに得られるべき二次元の
推定画像特徴点を算出するための透視変換行列を計算に
より求める。このとき、透視変換行列は、あらかじめ記
憶手段に記憶された対象物体の三次元絶対座標に対する
パラメータ探索点の推定位置と撮像手段のパラメータ探
索開始点とに基いて計算される。
【0026】誤差計算ステップにおいては、前述の画像
処理ステップにて抽出された対象物体の二次元の画像特
徴点と透視変換計算ステップにて算出された二次元の推
定画像特徴点との対応関係を求めると共に、それら対応
関係が得られた画像特徴点と推定画像特徴点との間の適
合度を示す評価誤差値を所定の誤差評価関数に基いて計
算するようになる。
【0027】このとき、誤差評価関数は、対象物体の画
像特徴点と推定画像特徴点との間の距離和を求める点間
距離誤差評価関数,特徴点間を結ぶ線分のずれを求める
線分間距離誤差評価関数あるいは図形間の面積誤差を求
める面積誤差評価関数から指定された誤差評価関数を用
いており、これらの誤差評価関数に基づいて得られた誤
差評価値を、画像特徴点と推定画像特徴点との間の適合
度を示す指標としている。
【0028】量子化空間探索ステップにおいては、複数
の探索パラメータに対して設定されている探索領域内
で、各推定画像特徴点に対する画像特徴点の評価誤差値
が最小となるようなパラメータ探索点を局所最適パラメ
ータとして求め、そのときの評価誤差値が所定の要求誤
差精度よりも小さいときに、得られた局所最適パラメー
タを撮像手段の位置姿勢を示す複数のパラメータとして
決定するようになる。
【0029】これにより、誤差評価ステップにおいて、
誤差評価値を画像特徴点間の線分や図形と推定画像特徴
点の線分や図形により生ずる線間距離誤差や面積誤差に
基づいて求めているので、わずかな位置姿勢の探索誤差
に対して敏感に修正することができ、ロバスト且つ高精
度,高速に位置姿勢の計算を実施できる。
【0030】請求項3記載の視覚に基く三次元位置およ
び姿勢の認識方法によれば、例えば撮像手段が移動ロボ
ット等に搭載されてる場合に、その撮像手段による対象
物体の撮影位置がその移動ロボットの制御装置により対
象物体の見え方が特定の見え方パターンとなる撮影領域
に設定されるので、上記した位置姿勢の認識過程におい
て、探索領域を狭い範囲に限定することができるように
なり、したがって、未知パラメータの推定範囲を狭い範
囲に限定すると共に、その範囲で探索点を細かく設定す
ることができるようになるので、目標時間内に高精度で
位置姿勢を認識することができるようになる。
【0031】請求項4記載の視覚に基く三次元位置およ
び姿勢の認識装置によれば、上記請求項1に記載の各処
理ステップを実行する手段を備えているので、三次元絶
対座標が既知である対象物をある一つの見え方の位置姿
勢の範囲内で撮像手段により撮影している状態では、特
徴点修正手段により画像特徴点をより正確な最適特徴点
として抽出した結果に基づいて位置姿勢パラメータを計
算することができるので、撮像手段による対象物体の画
像情報が対象物体が配置される実環境に応じて困難とな
る場合でもこれを高精度で且つロバストに特徴点を抽出
することができるようになる。
【0032】請求項5記載の視覚に基く三次元位置およ
び姿勢の認識装置によれば、上記請求項2に記載の各処
理ステップを実行する手段を備えているので、誤差評価
手段により、誤差評価値を画像特徴点間の線分や図形と
推定画像特徴点の線分や図形により生ずる線間距離誤差
や面積誤差に基づいて求めることができるので、わずか
な位置姿勢の探索誤差に対して敏感に修正することがで
き、ロバスト且つ高精度,高速に位置姿勢の計算を実施
できる。
【0033】請求項6記載の視覚に基く三次元位置およ
び姿勢の認識装置によれば、上記請求項3に記載の各処
理ステップを実行する手段を備えているので、例えば撮
像手段が移動ロボット等に搭載されてる場合に、その撮
像手段による対象物体の撮影位置がその移動ロボットの
制御装置により対象物体の見え方が特定の見え方パター
ンとなる撮影領域に設定されるので、上記した位置姿勢
の認識過程において、探索領域を狭い範囲に限定するこ
とができるようになり、したがって、未知パラメータの
推定範囲を狭い範囲に限定すると共に、その範囲で探索
点を細かく設定することができるようになるので、目標
時間内に高精度で位置姿勢を認識することができるよう
になる。
【0034】
【実施例】以下、本発明を工場内などの軌道上を走行す
る自律移動ロボットに搭載する三次元位置認識装置に適
用した場合の第1の実施例について図1ないし図18を
参照しながら説明する。
【0035】全体構成の概略を示す図2において、自律
移動ロボット1は、例えば、工場内などの床面に設けら
れた軌道に沿って作業エリア2間を移動するようになっ
ており、本発明の三次元位置認識装置(図1参照)が搭
載されている。自律移動ロボット1の上部にはアーム3
が設けられ、そのアーム3の先端部には撮像手段として
のカメラ4および対象物体としてのワーク5を把持する
等の作業を行うためのハンド6が配設されている。この
場合、作業エリア2は壁面から窪んだ状態に形成された
凹部に設けられ、所定形状をなすワーク5はその作業エ
リア2の底面2aの所定位置に載置されている。
【0036】さて、三次元位置認識装置は図1に示すよ
うに構成される。画像処理手段としての画像処理部7
は、前処理部8,色認識部9,輪郭抽出部10,特徴点
抽出部11,色判定部12,特徴点修正手段としての特
徴点修正部13,見え方選択部14,特徴点対応リスト
出力部15から構成されている。
【0037】前処理部8は、カメラ4が撮影したワーク
5を含むシーンの画像信号を入力して所定のしきい値で
判別することにより、デジタル画像信号に変換する等の
前処理計算を行う。色認識部9は前処理部8からのデジ
タル画像信号に基づいて画像信号の色を認識するもの
で、作業エリア2の背景状態や照明条件等による撮影画
面上でのワーク5の画像状態を認識するものである。
【0038】輪郭抽出部10は、前処理部8からのデジ
タル画像信号に基づいて、ワーク5の輪郭となるエッジ
ラインを抽出して特徴点抽出部11に与え、特徴点抽出
部11は、ワーク5の特徴点に対応する二次元の画像特
徴点を抽出する。色判定部12は上述の色認識部9から
の色認識信号および特徴点抽出部からの画像特徴点の信
号に基づいてワーク5の撮影画面上での色を判定して特
徴点の修正情報として特徴点修正部13に与える。
【0039】特徴点修正部13は、色判定部12からの
修正情報に基づいて、後述するように特徴点修正プログ
ラムにしたがって、いま得られている画像特徴点を出発
点としてより最適な画像特徴点を探索し、最適画像特徴
点として出力するようになっている。
【0040】見え方選択部14は、メモリ33に記憶さ
れている情報に基づいてワーク5の種々の見え方パター
ンから、そのときカメラ4により撮影された撮影画面上
でのワーク5の撮影パターンに対応するものを選択して
前処理部8および特徴点対応リスト出力部15に対して
指定する。特徴点対応リスト出力部15は、見え方選択
部14からの見え方パターン情報に基づいて、ワーク5
の特徴点とカメラ4により撮影された撮影画面上でのワ
ーク5の画像特徴点との対応リストを設定して特徴点抽
出部11に出力する。
【0041】次に、探索領域決定手段としての探索領域
決定部16は、探索領域限定部17,エッジパターン判
定部18,位置推定部19,姿勢推定部20および探索
範囲設定部21から構成される。
【0042】探索領域限定部17は、Z軸探索領域限定
部17a,XY軸探索領域限定部17bから構成され、
後述するティーチング情報に基づいたX,Y,Z軸方向
の各探索範囲を限定する。エッジパターン判定部18
は、修正された最適特徴点のデータと見え方パターンか
ら得られる予想画像特徴点とのデータとに基づいてそれ
らのずれを示すパラメータのずれ量を推定してエッジパ
ターンを判定する。
【0043】位置推定部19は、カメラ4の三次元絶対
座標の原点に対する位置を極座標で示したときの各パラ
メータ(r,θ,φ)の値を、エッジパターン判定部1
8により推定されたエッジパターンデータに基づいて推
定するもので、r推定部19a,θ推定部19b,φ推
定部19cから構成されている。
【0044】姿勢推定部20は、カメラ4の姿勢を示す
パラメータ(α,β,γ)の各パラメータを、同じくエ
ッジパターン判定部18により推定されたエッジパター
ンデータに基づいて推定するもので、αβ計算部20
a,γ推定部20bから構成されている。
【0045】探索範囲設定部21は、位置推定部19お
よび姿勢推定部20のそれぞれから与えられる各パラメ
ータの推定データと概略位置姿勢情報とに基づいて探索
範囲を設定する。この場合、探索領域決定部11は、作
業エリア2のワーク5に対する自律移動ロボット1の概
略位置情報に基いてカメラ4の位置姿勢ベクトルs
〔γ,θ,φ,ρ〕の4個(h=4)のパラメータを探
索パラメータとして、それらのパラメータ探索初期値s
(1,1),パラメータ探索幅δ(k,h)およびパラ
メータ探索領域を設定する(k(=1,2,…,K)は
繰返し探索回数を示す)。なお、これらのパラメータ
γ,θ,φ,ρについては作用の説明にて詳述する。
【0046】量子化空間探索手段としての量子化空間探
索部22は、量子化空間点設定部23,透視変換行列計
算手段としての透視変換行列計算部24,透視変換計算
手段としての透視変換部25,誤差計算手段としての誤
差評価関数計算部26,最適値決定部27および最終出
力部28から構成されている。
【0047】量子化空間点設定部23は、探索過程の計
算処理を実行するために、探索範囲設定部21により設
定された探索範囲の中から量子化された空間探索点を順
次設定する。透視変換行列計算部24は、設定されたパ
ラメータ探索領域のパラメータ探索点s(k,h)にお
いてカメラ4によりワーク5を撮影したときに画像信号
から得られる画像内における画像特徴点の座標を求める
ための透視変換行列Mを、自律移動ロボット1の概略位
置情報およびカメラ4の姿勢パラメータに応じて計算す
る。透視変換部25は、求められた透視変換行列Mを用
いてパラメータ探索点s(k,h)のそれぞれの位置で
カメラ4によりワーク5を撮影したときにその特徴点に
対応して得られるべき二次元の推定画像特徴点を計算す
る。
【0048】誤差評価関数計算部26は、画像処理部7
にて抽出された最適画像特徴点と前記推定画像特徴点と
の対応関係をつけると共に、それらの間の位置の誤差値
を以下に示す誤差評価関数Dに基いて計算するもので、
特徴点間距離和計算部29,線分誤差和計算部30,面
積誤差計算部31および総合評価計算部32から構成さ
れている。
【0049】特徴点間距離和計算部29は、最適画像特
徴点と前記推定画像特徴点との対応関係を、それらの点
間の距離に基づいて計算する誤差評価関数D1に基づい
て誤差値を計算する。線分誤差和計算部30は、最適画
像特徴点間を結んで得られる線分と推定画像特徴点間を
結んで得られる線分とのずれ量を線間距離に対応する誤
差評価関数D2に基づいて誤差値を計算する。
【0050】また、面積誤差計算部31は、最適画像特
徴点により囲まれる図形と推定画像特徴点により囲まれ
る図形とのずれにより生ずる面積を計算する面積誤差評
価関数D3に基づいて誤差値を計算する。そして、総合
評価計算部32は、これら3つの誤差評価関数D1,D
2,D3の計算結果に基づいて総合的な誤差値を計算す
る。
【0051】最適値決定部27は、一つの探索パラメー
タに対する最適値を局所最適パラメータとして決定する
と共に、この局所最適パラメータをあらかじめ指定され
た順序で位置姿勢ベクトルの各パラメータに対して逐次
計算し、これを所定回数繰り返して実行させることによ
り、位置姿勢ベクトルの複数のパラメータを決定するよ
うになっている。最終出力部28は、上述の最適値決定
部27により決定された位置姿勢ベクトルの複数のパラ
メータを最終出力データとして出力する。
【0052】記憶手段としてのメモリ33は、位置姿勢
の認識を行うための既知の情報があらかじめ記憶されて
いるもので、その内部には、各種データを記憶する記憶
領域として三次元形状データ部33a,ティーチング情
報部33b,概略位置姿勢情報部33c,探索順序指定
情報部33d,要求精度データ部33e,判定しきい値
設定部33fが設けられている。
【0053】次に、本実施例の作用について図3ないし
図18をも参照して説明する。三次元位置認識装置は、
その動作の流れとして図3に示すようなフローチャート
の各処理ステップにしたがって自律移動ロボット1の存
在位置を認識する。まず、図2の状態において、自律移
動ロボット1が軌道上を移動してきて作業エリア2に差
し掛かると、センサやプログラム情報等により所定の停
止範囲E内に停止され、あらかじめティーチングされて
いる制御データにしたがってアーム3が作業エリア2の
対象物体としてのワーク5に近付くようにして移動制御
され、カメラ4は、図2に示すようにティーチング軌道
TWに沿って移動してワーク5と対向する位置に来る。
【0054】これにより、カメラ4の撮影シーン内にワ
ーク5が所定の見え方パターンで撮影されるようにな
る。この場合、カメラ4によるワーク5の撮影パターン
としては、図4(a)〜(f)に示すような6通りの見
え方パターンを想定したときに、あらかじめティーチン
グされたデータによって、例えば、見え方パターン
(b)のようなワーク5の見え方となるように撮影され
るようになっている。
【0055】そして、カメラ4がこのようにティーチン
グ軌道TWに沿ってワーク5の近傍まで移動されて撮影
画面内のワーク5の輪郭形状が特定の一つの見え方パタ
ーンとなるように移動されるので、後述するように、探
索領域を図2中Sで示すような狭い範囲に限定すること
ができると共に、そのワーク5の画像情報に基づく特徴
点の抽出とその対応付けが迅速に行えるようになるので
ある。
【0056】さて、画像処理部7は、ステップT1に
て、カメラ4により撮影されたワーク5の画像信号を入
力する。このとき、絶対座標限定部17は、メモリ33
のティーチング情報部33bから与えられるデータに基
づいて、見え方選択部14に特定の見え方パターン(例
えば図4(b)に示す見え方パターン)に相当するデー
タを与えているので(ステップT2)、見え方選択部1
4はそのデータに基づいて見え方パターンを設定する
(ステップT3)。これにより、図4(b)に示す見え
方パターンにおいて、例えば、図5(a)〜(c)に示
すような状態について探索過程を実行すればよいことに
なる。
【0057】次に、前処理部8は、ステップT4におい
て、前処理としての雑音除去処理および画像データに基
づいたデジタル処理を行ってデジタル画像データに変換
するようになる。この後、色認識部9は、デジタル画像
データに基づいて色認識を行い、輪郭抽出部10にて認
識された色の情報に基づいてワーク5の撮影画面上での
輪郭を抽出するようになる(ステップT5)。この結果
に基づいて、ステップT6にて、特徴点抽出部11によ
り、デジタル画像データに基づいてワーク5の撮影画面
上での外形の特徴点の座標データを画像特徴点として抽
出するようになる。この場合、ワーク5の特徴点Piに
対して、上述の見え方パターンにおける画像特徴点Qj
は図6(a),(b)に示すような対応関係となって抽
出されるようになっている。
【0058】次に、対象物体としてのワーク5の色彩に
特徴がある場合には、色判定部12において、複数の色
彩要素のレベル値で表される色ベクトルを判定し、その
判定結果に基づいて、特徴点修正部13により、上述の
ように抽出された画像特徴点をより正確な画像特徴点と
なるように対象物体の切り出し領域を修正する。これ
は、ワーク5が配置された作業エリア2の背景状態や照
明条件等の違いにより、ワーク5の撮影画面上での輪郭
を明暗の単純化された二値化データのみでは正確な特徴
点の抽出ができない場合があることに対応して行われる
ものである。
【0059】特徴点修正部13は、図7に示すフローチ
ャートにしたがって画像特徴点の修正計算を実行する。
すなわち、いま、対象物体であるワーク5の実際の直線
エッジKが図8のような位置にあり、特徴点抽出部11
により抽出された特徴点がその直線エッジKよりも離れ
た点A,Bにある場合を例にとって説明する。
【0060】まず、抽出された特徴点A,Bを結んで得
られる線分ABを仮の直線エッジLとして、撮影画面上
における輪郭線と直線エッジKおよびLとで囲まれる領
域Sの面積sを計算する(ステップF1)。次に、領域
Sの面積sが所定の許容誤差値εよりも小さいか否かを
判断し(ステップF2)、この条件を満たさない場合に
は、輪郭線に沿って特徴点Aの位置を直線エッジK側に
所定距離だけ移動させる(ステップF3)。
【0061】このとき、線分AB(直線エッジL)と直
線エッジKとが交差しない場合には(ステップF4)、
再びステップF1に戻って領域Sの面積sを計算し、以
下、面積sの値が許容誤差値εよりも小さくなるまで繰
り返し、ステップF2の判定条件を満たした場合にはス
テップF8にジャンプする。また、ステップF2の判定
条件を満たさない状態で、線分ABと直線エッジKとが
交差した場合には、ステップF5に移行し、今度は、輪
郭線に沿って特徴点Bの位置を直線エッジK側に所定距
離だけ移動させるようになる。
【0062】この後、領域Sの面積sを計算して(ステ
ップF6)、その面積sの値が許容誤差値εよりも小さ
いか否かを判断し(ステップF7)、判定条件が満たさ
れない場合には、前述同様にしてステップF5,F6,
F7を繰り返し、ステップF7で判定条件が満たされる
とステップF8に進む。
【0063】そして、このようにして得られた特徴点
A,Bの位置が最適特徴点Qjとなるのであり、それら
の最適特徴点Qjの集合Qは、次式(1),(2)のよ
うに表現することができる。
【0064】
【数1】
【0065】上述のようにして最適特徴点Qjの集合Q
が得られると、次に、これらの最適特徴点Qjのデータ
に基づいてエッジパターンを判定し(ステップT8)、
その判定結果に基づいてカメラ4の位置姿勢を示すパラ
メータを推定し(ステップT9,T10)、これらの結
果から探索パラメータに対する探索範囲を決定するよう
になる(ステップT11)する。
【0066】これに先立って、まず、探索すべきカメラ
4の位置姿勢を示すパラメータについて説明する。カメ
ラ4の状態を示すパラメータとしては、図9に対応関係
を示しているように、(a)カメラ4の姿勢パラメータ
CP(α,β,γ),(b)カメラ4の焦点距離特性
f,(c)カメラ4の位置ベクトル(r,θ,φ)があ
る。
【0067】この場合、(b)に示すカメラ4の焦点距
離fは、カメラ4の特性によりあらかじめ決まっている
データであり、メモリ33内に焦点距離データとしてあ
らかじめ記憶されている。姿勢パラメータCPの各パラ
メータα,β,γは、カメラ4の光軸をz軸,水平方向
をx軸そして垂直方向をy軸としたときの、z軸周りの
回転角度γ,x軸周りの回転角度α,そしてy軸周りの
回転角度βとなる値である。また、カメラ4の位置パラ
メータは、三次元絶対座標系の原点に対するカメラ4の
視点の位置を極座標で示すもので、rは距離、θ,φは
rの傾き角度を示した値である。
【0068】そして、エッジパターン判定部18により
輪郭線のエッジパターンが判定されると、位置推定部1
9および姿勢推定部20により、次のようにして探索し
ようとするカメラ4のパラメータの概略値を推定するよ
うになる。すなわち、各最適特徴点Qjを結んで得られ
る線分で形成される実エッジラインKに対して、概略的
な推定データに基づいて想定した輪郭線の推定エッジラ
インLとのずれを計算し、その計算結果に基づいて、例
えば図9〜図13に示すようなエッジパターンを判定す
る。
【0069】図10(a)に示す状態は、推定エッジラ
インL1,L2が実エッジラインK1,K2に対して大
きすぎる場合で、この場合には、同図(b)に示すよう
に、カメラ4の位置パラメータである距離rをr′に変
更するために、位置推定部19のr推定部19aによ
り、破線の矢印で示すように、推定エッジラインL1,
L2を移動させるための変化幅δrを式(3)あるいは
式(4)のいずれかにしたがって計算する。
【0070】
【数2】
【0071】図11(a)に示す状態は、推定エッジラ
インL1,L2が実エッジラインK1,K2に対して交
差するように傾いている場合で、この場合には、姿勢推
定部20のγ推定部20bにより、同図(b)に示すよ
うに、ワーク5を撮影しているカメラ4の光軸が傾いて
いることに相当しており、したがって、光軸周りの回転
を示す姿勢パラメータγをγ′に変更するための回転変
化幅δγを式(5),(6)に従って計算する。
【0072】
【数3】
【0073】図12(a)に示す状態は、推定エッジラ
インL1,L2が実エッジラインK1,K2に対して平
行にずれているためにワーク5の位置が中心位置から離
れた位置にある場合で、この場合には、姿勢推定部20
のαβ計算部20aにより、同図(b)に示すように、
ワーク5を撮影しているカメラ4の光軸を移動させるよ
うに、姿勢パラメータαおよびβをα′およびβ′に変
更するための回転変化幅δαおよびδβを式(7)〜
(10)に従って計算する。
【0074】
【数4】
【0075】図13(a)に示す状態は、水平方向の線
分である推定エッジラインL3,L4が実エッジライン
K3,K4に対して上下方向にずれている場合で、ワー
ク5を撮影するカメラ4の位置パラメータφがずれてい
る状態である。この場合には、位置推定部19のφ推定
部19cにより、同図(b)に示すように、ワーク5を
撮影しているカメラ4の位置を上下方向に移動させるよ
うに、位置パラメータφをφ′に変更するための回転変
化幅δφを式(11),(12)に従って計算する。
【0076】
【数5】
【0077】図14(a)に示す状態は、ワーク5の奥
行き方向の線分である推定エッジラインL5,L6が実
エッジラインK5,K6に対して傾いている場合で、ワ
ーク5を撮影するカメラ4の位置パラメータθがずれて
いる状態である。この場合には、位置推定部19のθ推
定部19bにより、同図(b)に示すように、ワーク5
を撮影しているカメラ4の位置を左右方向に移動させる
ように、位置パラメータθをθ′に変更するための回転
変化幅δθを式(13),(14)に従って計算する。
【0078】
【数6】
【0079】上述のようにして、概略位置に基づいた推
定エッジラインLに対し、撮影されたワーク5の画像デ
ータに基づいた実エッジラインKの状態から、カメラ4
の6個のパラメータについて計算を実行すると、以後の
探索における探索パラメータであるr,θ,φ,γの値
が推定できる(ステップT9)と共に、位置パラメータ
であるα,βの値が計算できる(ステップT10)。
【0080】この結果、カメラ4の位置姿勢を示すカメ
ラパラメータとしては、4個のパラメータγ,θ,φ,
rを要素とした4次元の位置姿勢ベクトルs〔γ,θ,
φ,r〕を想定し、これらのパラメータを探索パラメー
タとして設定すれば良いことになる。なお、以降の説明
においては、パラメータγとパラメータrとの符号の混
同を避けるために、符号「r」を符号「ρ」に置き換え
て示し、したがって、上述の位置姿勢ベクトルs〔γ,
θ,φ,r〕に対して位置姿勢ベクトルs〔γ,θ,
φ,ρ〕に置き換えて示す。
【0081】次に、ステップT11に進むと、探索範囲
決定部21は、上述のようにして得られた各パラメータ
に関する推定値があらかじめメモリ33に記憶されてい
る概略位置姿勢情報に対して大きくずれていないことを
条件として、各探索パラメータγ,θ,φ,ρに対する
探索範囲を決定する。
【0082】続いて、ステップT12に移行すると、量
子化空間点設定部23において、探索すべき探索パラメ
ータを指定するための変数hを「1」に設定して最初の
探索パラメータを「γ」に指定し、探索領域S(1)内
の1点を探索パラメータγに対する探索開始点s(1、
1)として設定する。この探索開始点s(1,1)は、
探索点s(k,h)の初期値に対応するものであり、k
は繰り返し探索回数を示している。また、設定された探
索開始点s(1,1)においては、その探索パラメータ
γに対する探索幅δ(1,1)が設定され、探索過程が
実行されるようになっている。
【0083】次に、透視変換行列計算部24において、
探索開始点s(1,1)の三次元位置座標および前述の
式(7),(8)で求めたパラメータαおよびβの値,
探索パラメータγの初期設定値で作られる初期姿勢を用
いて、透視変換行列M(1,1)を計算する(ステップ
T13)。
【0084】この場合、透視変換行列Mは、次のように
して計算される。すなわち、まず、ワーク5の原点Op
に対して設定されている三次元絶対座標(X,Y,Z)
を基準として、初期探索領域S(1)を設定する。この
初期探索領域S(1)は、自律移動ロボット1の停止領
域Eに基づいて設定されるもので、カメラ4の予定撮像
位置である概略位置A0(X0,Y0,Z0)を極座標
で表した概略位置A0(r0,θ0,φ0)を中心とし
て、停止位置精度に対応する位置探索領域として、 r0−Δr1≦r≦r0+Δr2 θ0−Δθ1≦θ≦θ0+Δθ2 φ0−Δφ1≦φ≦φ0+Δφ2 の範囲に相当するように設定される。また、姿勢探索領
域に対しては、パラメータαおよびβについては式
(3),(4)で求めた結果を用い、パラメータγにつ
いては、 −Δγ1≦γ≦Δγ2 の範囲に相当するように設定される。
【0085】そして、カメラ4の姿勢パラメータCP
(α,β,γ)と、焦点距離特性fから求めたカメラ4
の視点位置と射影平面に対する距離dとに基いて、図1
5に示す関係に基いて透視変換行列Mを求める。ここ
で、透視変換行列Mは次式(15)のように表すことが
できる。
【0086】
【数7】
【0087】このうち、画像の表示面とワーク5との間
の透視変換を計算するための透視変換行列M1とM2と
の積および座標変換行列M3は、それぞれ、次式(1
6),(17)のように表すことができる。
【0088】
【数8】
【0089】また、カメラ4の光軸ずれに対応する姿勢
パラメータCP(α,β,γ)に応じた回転の計算を行
うための変換行列Tは、前述の図9と図15に示す関係
とに基いて、γ,αそしてβの順に回転する回転変換行
列として次式(18),(19),(20)のように表
すことができる。
【0090】
【数9】
【0091】次に、上述のようにして計算により求めた
透視変換行列M(1,1)に基いて、透視変換部25に
より、作業エリア2とそこに載置されたワーク5のn個
の特徴点Piの集合Pの各特徴点Piについて三次元絶
対座標データを透視変換の計算を行って二次元の画像表
示部の座標を求め、式(21),式(22)に定義する
ような各特徴点Piに対する推定画像特徴点Qeiの集
合Qeを求める。そして、斉次座標を用いると、特徴点
Piの集合Pから推定画像特徴点Qeiの集合Qeへの
変換は、式(15)を用いると、式(23)のように表
すことができる。
【0092】
【数10】
【0093】次に、画像処理部7にて抽出されたカメラ
4により撮影されたワーク5の画像特徴点Qjの集合Q
(式(1)参照)の各画像特徴点Qjと、あらかじめ記
憶されたワーク5の三次元の特徴点Piとの間の対応関
係をとる。
【0094】続いて、誤差評価関数計算部14により、
対応関係が得られた画像特徴点Qjと前述の推定画像特
徴点Qeiの集合Qe(=P・M)との間の誤差評価関
数D(1,1)を計算する(ステップT15〜T1
8)。この場合、誤差評価関数の計算は、特徴点間距離
和計算部29,線分誤差和計算部30および面積誤差計
算部31のそれぞれにおいて以下のような計算を実行を
実行し、総合評価計算部32においてそれらの総合評価
値を計算するようになっている。
【0095】特徴点間距離和計算部29においては、画
像特徴点Qjと推定画像特徴点Qeiとの間の距離の二
乗誤差和に相当する値を計算する誤差評価関数D1に基
づいて点間距離和dnとして計算する(ステップT1
5)。
【0096】また、線分誤差和計算部30においては、
例えば、図16(a),(b)に示すように、画像特徴
点Qj間を結んでできる実エッジラインKと推定画像特
徴点Qei間を結んでできる推定エッジラインLとの間
に、撮影画面上での水平方向あるいは垂直方向に走査し
て各エッジラインと交差する点間の距離の総和を求める
ようにした誤差評価関数D2に基づいて線分誤差和Ei
として計算する(ステップT16)。
【0097】そして、面積誤差計算部31においては、
例えば、図17(a),(b)に示すように、画像特徴
点Qj間を結んでできる実エッジラインによる図形と推
定画像特徴点Qei間を結んでできる推定エッジライン
による図形との間で、撮影画面上で重ならない部分の面
積ΔS1,ΔS2などの総和を求めるようにした誤差評
価関数D3に基づいて面積誤差Sとして計算する(ステ
ップT17)。この場合、図形が円形あるいは楕円形と
なる図17(b)の場合でも同様である。
【0098】また、面積誤差を計算する場合には、例え
ば、図18に示すように、画像特徴点Qj,Qj+1を
結んだ実エッジラインKと推定画像特徴点Qei,Qe
i+1を結んだ推定エッジラインLとで囲まれる面積Δ
Sa,ΔSbなどの総和により面積誤差Sを求めるよう
にしても良い。
【0099】そして、総合評価計算部32において、例
えば、式(24),(25)に示すように定義される総
合的な誤差評価関数Dにより総合誤差値を計算して、上
述のようにして計算した3種類の誤差値dn,Ei,S
を線形荷重を求めることにより、設定したパラメータ探
索点s(k,h)に対する誤差値を計算して総合評価を
行う(ステップT18)。
【0100】
【数11】
【0101】続いて、探索パラメータγについて、設定
したパラメータ探索範囲内でそのパラメータ探索幅δ
(1,1)の間隔で量子化された各パラメータ探索点に
ついて上述と同様にして探索過程を実行することによ
り、誤差評価関数Dの値が最小となる局所最適値Dmin
(1,1)を求める(ステップT19)。
【0102】そして、局所最適値Dmin (1,1)に対
応するパラメータ探索点における探索パラメータγの値
に基づいて、このときのパラメータ探索範囲における位
置姿勢をs(1,2)とする。なお、この計算過程にお
いては、探索パラメータであるγの値以外にはパラメー
タθ,φ,ρの値をパラメータ初期設定値のまま固定し
て行う独立探索として実行するようになっている。
【0103】続いて、いま求めた位置姿勢のパラメータ
探索点s(1,2)を新たな探索開始点とし、次の探索
パラメータθ(h=2)に設定して、上述と同様にして
探索過程を実行して探索パラメータθについての局所最
適値Dmin (1,2)を計算する。この場合、探索パラ
メータθの値は、θのパラメータ探索範囲内でパラメー
タ探索幅をδ(1,2)として量子化されたパラメータ
探索点について計算される。そして、探索パラメータθ
についての局所最適値Dmin (1,2)が得られると、
これに対応するパラメータ探索点をs(1,3)とす
る。
【0104】以下、探索パラメータφおよびρについて
も、同様にして上述の探索過程が繰り返し実行されるよ
うになり、探索パラメータφの局所最適値Dmin (1,
4)に対するパラメータ探索点s(1,4)が求められ
た後、探索パラメータρの局所最適値Dmin (2,1)
が求められると、そのパラメータ探索点s(2,1)
は、すべての探索パラメータγ,θ,φ,ρについて1
回の局所最適値Dmin を求めたことになる。
【0105】以後、上述のようにして同様の探索過程を
所定の繰り返し回数だけ実行する(ステップT20)。
この場合、探索領域S(k)は、上述の探索領域S
(1)から新たな探索領域S(2)に設定されるように
なっている。つまり、各探索パラメータγ,θ,φおよ
びρについて1回の探索過程を実行したことにより、2
回目には探索範囲を絞り込んでその範囲内で精度を上げ
たパラメータ探索幅δ(2,h)を設定することになる
のである。
【0106】また、すべての探索パラメータγ,θ,
φ,ρについて順次1回の局所最適値Dmin (2,1)
として得られたパラメータ探索点s(2,1)を2回目
の探索過程におけるパラメータ探索初期値s(2,1)
として新たに設定して同様の計算処理を実行するように
なっている。したがって、各探索パラメータγ,θ,
φ,ρについて逐次的且つ独立に探索過程が実行され、
これを巡回的に所定回数K回繰り返すという計算が行わ
れるのである。
【0107】さて、上述のようにして繰り返し回数Kだ
け(例えばK=5)上述の探索過程を繰り返し実行する
と、ステップT20を経てステップT21に移行するよ
うになる。ここで、最適値決定部27は、最終的に得ら
れたパラメータ探索点s(6,1)に対する局所最適値
Dmin の値が目標となる誤差精度εよりも小さいか否か
を判定し、この条件を満たしている場合には、このとき
のパラメータ探索点s(6,1)に対応する位置姿勢ベ
クトルs〔γ,θ,φ,ρ〕および姿勢パラメータとし
てステップT5で計算した値αおよびβを最適位置姿勢
データとして最終出力部28から出力するようになる
(ステップT22)。
【0108】また、一連の探索過程が終了した結果、局
所最適値Dmin の値が誤差精度ε以上となってステップ
T21の条件を満たさない場合には、ステップT21か
らステップT23に進み、要求誤差精度εを満たすパラ
メータ探索点sが存在しないことをメッセージ出力した
後、それまでの間に計算された局所最適値Dmin のなか
から要求誤差精度εに一番近い値が得られたパラメータ
探索点s(k,h)の位置姿勢ベクトルs〔γ,θ,
φ,ρ〕の値およびカメラ4の姿勢パラメータ(α,
β)の値を新たな探索初期値として設定すると共に新た
な探索領域Sを設定してステップT11に戻り、上述と
全く同様にして探索過程を繰り返し実行するようにな
る。
【0109】そして、このような探索過程もすべて終了
した結果、やはりステップT21の条件を満たさない場
合には、ステップT23,T24を経てステップT25
に進んでメッセージを出力し、この後、ステップT3に
戻って新たな見え方パターンを設定し直すことにより最
適な位置姿勢データが得られるように探索過程を繰り返
すようになる。
【0110】なお、上述のように探索過程を実行するこ
とにより、例えば、繰り返し回数kの値が最終回Kのと
きには最終目標検出精度εよりも小さいパラメータ探索
幅δを設定する必要があるが、それ以前の繰り返し回数
k(k<K)に対しては、そのときの検出精度に対応し
て目標検出精度よりも大きいパラメータ探索幅δを設定
することができ、これにより、多重スケールで探索過程
を実行することができるので、探索過程の計算時間を短
縮した概略的な計算により高速化を図ることができる。
【0111】このような本実施例によれば、以下に示す
ような効果を得ることができる。
【0112】すなわち、第1に、カメラ4により撮影し
た画像情報からワーク5の特徴点を抽出するときに、デ
ジタル画像データの色情報に基づいて色判定部12によ
り色ベクトルの色判定を行い、特徴点修正部13によ
り、抽出した画像特徴点をエッジラインに沿って移動し
てその面積誤差から最適な画像特徴点を抽出するように
画像特徴点の修正を行うようにしたので、より正確な画
像特徴点に基づいて探索過程を実行することができるよ
うになる。
【0113】第2に、エッジパターン判定部18によ
り、抽出した最適画像特徴点に基づいてエッジパターン
を判定し、位置推定部19および姿勢推定部20により
カメラ4の位置姿勢を示すパラメータを推定するように
したので、探索範囲をより的確な狭い範囲に設定するこ
とができるようになり、位置姿勢の検出精度を向上させ
ることができる。
【0114】第3に、探索過程を実行して透視変換行列
から推定画像特徴点を計算し、撮影された画像情報に基
づく最適画像特徴点との間の誤差値を示す誤差評価関数
を、特徴点間距離和計算部29により特徴点間の距離の
和を計算し、線分誤差和計算部30により実エッジライ
ンと推定エッジラインとの間の線分の誤差の和を計算
し、面積誤差計算部31により実エッジラインによる図
形と推定エッジラインによる図形との間のずれにより生
ずる面積の和を計算してそれらの線形荷重により誤差値
を評価するようにしたので、単に特徴点間距離和を計算
して評価する場合に比べて、わずかな位置姿勢の探索誤
差に対して敏感な探索計算を実行することができるよう
になり、カメラ4の位置姿勢を精度良く検出することが
できるようになる。
【0115】第4に、カメラ4によるワーク5の撮影位
置姿勢を、あらかじめ特定の見え方パターンとなるよう
に自律移動ロボット1の移動およびアーム3に移動制御
を行わせるようにしたので、探索範囲を狭い範囲に限定
して探索過程を実行することができ、探索時間を短縮す
ることができ、換言すれば、目標探索時間内において細
かい探索幅を設定して精度を向上させることができるよ
うになる。
【0116】また、第5に、カメラ4の位置姿勢ベクト
ルs〔γ,θ,φ,ρ〕を設定してワーク5をそのパラ
メータ探索点s(k,h)において撮像したときに得ら
れるべきワーク5の推定画像特徴点Qeiを透視変換行
列M(k,h)を求めることにより計算し、それらの対
応関係を求めて誤差評価関数Dに対する局所最適値Dmi
n を計算して探索パラメータごとに逐次的な独立探索を
実行することを繰り返し回数Kだけ繰り返し実行し、要
求誤差精度εを満たしたときの探索点sに対応する位置
姿勢ベクトルs〔γ,θ,φ,ρ〕および姿勢パラメー
タ(α,β)を最適位置姿勢データとして出力するよう
にしたので、カメラ4の位置姿勢ベクトルs〔γ,θ,
φ,ρ〕を求めるための計算において、探索パラメータ
毎の逐次的独立探索を多重スケールで巡回的に繰り返し
実行することにより、少ない探索回数で最適な位置姿勢
を高精度で認識することができるようになり、目標時間
内での迅速な処理が可能となる。
【0117】なお、上記実施例においては、探索パラメ
ータγ,θ,φ,ρの探索順序をこの順番となるように
あらかじめ指定して逐次的独立探索過程を実行するよう
にしているが、これに限らず、ワーク5に対するカメラ
4の概略位置姿勢に応じて探索順序を柔軟に変更する機
能を設けても良い。つまり、例えば、距離rに対するパ
ラメータρが探索範囲を決定づける大きな要素となるよ
うな位置にある場合には、探索パラメータρを探索順序
の第1番目に指定するといったように、探索順序を決定
するための判断基準を設けておくことにより、さらに効
率的な探索過程を実行することができるのである。
【0118】また、上記実施例においては、複数の探索
パラメータを独立して逐次的に局所最適パラメータを求
めて位置姿勢を認識するようにした探索方法を用いた場
合について説明したが、これに限らず、他の方法により
最適な位置姿勢ベクトルを求めることもできるものであ
る。
【0119】図19および図20は、本発明の第2の実
施例を示すもので、面積誤差の検出を平面形状のマーカ
40に適用した場合の応用例である。カメラ4により撮
影される対象物体としてのマーカ40には、図19に示
すように、大円部41および小円部42が描かれてお
り、この撮影画面上の輪郭形状を示す図20において
は、これらの円部41,42が楕円形状となって抽出さ
れている。
【0120】これらの円部41,42に対して、概略的
に推定されたカメラ4の位置姿勢データに基づいて計算
される大円部および小円部の推定エッジとの重なりのず
れに応じてその面積誤差を計算することができるもので
あり、これによっても、上述同様の効果を得ることがで
きるものである。
【0121】
【発明の効果】以上説明したように、本発明の視覚に基
く三次元位置および姿勢の認識方法によれば、以下のよ
うな効果を得ることができる。
【0122】すなわち、請求項1記載の視覚に基く三次
元位置および姿勢の認識方法によれば、画像処理ステッ
プにより撮像手段からの対象物体の画像信号に基づいて
対象物体の形状の特徴等を示す二次元の画像特徴点を抽
出し、特徴点修正ステップにより、画像信号の色情報の
判定に基づいて面積誤差を求めることにより対象物体の
輪郭線を修正して最適画像特徴点を求め、探索領域決定
ステップにより外部情報により与えられる推定距離に応
じたパラメータ探索開始点,空間探索領域を設定し、透
視変換行列計算ステップにより二次元の推定画像特徴点
を算出するための透視変換行列を計算により求めると共
に透視変換ステップにより透視変換計算を行い、誤差計
算ステップにより画像特徴点と推定画像特徴点との対応
関係を求めてそれらの間の評価誤差値を所定の誤差評価
関数に基いて計算し、量子化空間探索ステップにより、
パラメータ探索領域内で、各推定画像特徴点に対する画
像特徴点の評価誤差値が最小となるようなパラメータ探
索点を局所最適パラメータとして求め、そのときの評価
誤差値が所定の要求誤差精度よりも小さいときに、得ら
れた局所最適パラメータを撮像手段の位置姿勢を示す複
数のパラメータとして決定するようにしたので、三次元
絶対座標が既知である対象物をある一つの見え方の位置
姿勢の範囲内で撮像手段により撮影している状態では、
特徴点修正ステップにおいて、画像特徴点をより正確な
最適特徴点としてこれに基づいて位置姿勢パラメータを
計算するので、撮像手段による対象物体の画像情報が対
象物体が配置される実環境に応じて困難となる場合でも
これを高精度で且つロバストに特徴点を抽出することが
できるようになるという優れた効果を奏する。
【0123】請求項2記載の視覚に基く三次元位置およ
び姿勢の認識方法によれば、誤差計算ステップにおい
て、画像処理ステップにて抽出された対象物体の二次元
の画像特徴点と透視変換計算ステップにて算出された二
次元の推定画像特徴点との対応関係を求めると共に、そ
れら対応関係が得られた画像特徴点と推定画像特徴点と
の間の適合度を示す評価誤差値を、対象物体の画像特徴
点と推定画像特徴点との間の距離和を求める点間距離誤
差評価関数,特徴点間を結ぶ線分のずれを求める線分間
距離誤差評価関数あるいは図形間の面積誤差を求める面
積誤差評価関数から指定された誤差評価関数に基づいて
計算するようにしたので、誤差評価値を画像特徴点間の
線分や図形と推定画像特徴点の線分や図形により生ずる
線間距離誤差や面積誤差により生ずるわずかな位置姿勢
の探索誤差に対して敏感に修正することができ、ロバス
ト且つ高精度,高速に位置姿勢の計算を実施できるとい
う優れた効果を奏する。
【0124】請求項3記載の視覚に基く三次元位置およ
び姿勢の認識方法によれば、例えば撮像手段が移動ロボ
ット等に搭載されている場合に、その撮像手段による対
象物体の撮影位置がその移動ロボットの制御装置により
対象物体の見え方が特定の見え方パターンとなる撮影領
域に設定されるので、上記した位置姿勢の認識過程にお
いて、探索領域を狭い範囲に限定することができるよう
になり、したがって、未知パラメータの推定範囲を狭い
範囲に限定すると共に、その範囲で探索点を細かく設定
することができるようになるので、目標時間内に高精度
で位置姿勢を認識することができるという優れた効果を
奏する。
【0125】また、本発明の視覚に基く三次元位置およ
び姿勢の認識装置によれば、上記請求項1に記載の各処
理ステップを実行する手段を設けて構成したので、三次
元絶対座標が既知である対象物をある一つの見え方の位
置姿勢の範囲内で撮像手段により撮影している状態で
は、特徴点修正手段により画像特徴点をより正確な最適
特徴点として抽出した結果に基づいて位置姿勢パラメー
タを計算することができるので、撮像手段による対象物
体の画像情報が対象物体が配置される実環境に応じて困
難となる場合でもこれを高精度で且つロバストに特徴点
を抽出することができるという優れた効果を奏する。
【0126】請求項5記載の視覚に基く三次元位置およ
び姿勢の認識装置によれば、上記請求項2に記載の各処
理ステップを実行する手段を設けて構成したので、誤差
評価手段により、誤差評価値を画像特徴点間の線分や図
形と推定画像特徴点の線分や図形により生ずる線間距離
誤差や面積誤差に基づいて求めてることができるので、
わずかな位置姿勢の探索誤差に対して敏感に修正するこ
とができ、ロバスト且つ高精度,高速に位置姿勢の計算
を実施できるという優れた効果を奏する。
【0127】請求項6記載の視覚に基く三次元位置およ
び姿勢の認識装置によれば、上記請求項3に記載の各処
理ステップを実行する手段を設けて構成したので、例え
ば撮像手段が移動ロボット等に搭載されてる場合に、そ
の撮像手段による対象物体の撮影位置がその移動ロボッ
トの制御装置により対象物体の見え方が特定の見え方パ
ターンとなる撮影領域に設定されるので、上記した位置
姿勢の認識過程において、探索領域を狭い範囲に限定す
ることができるようになり、したがって、未知パラメー
タの推定範囲を狭い範囲に限定すると共に、その範囲で
探索点を細かく設定することができるようになるので、
目標時間内に高精度で位置姿勢を認識することができる
という優れた効果を奏する。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示す概略的なブロック
構成図
【図2】自律移動ロボットと作業エリアとの位置関係を
示す図
【図3】プロセスの流れを概略的に説明するためのフロ
ーチャート
【図4】ワークの種々の見え方パターン
【図5】ひとつの見え方パターンにおける異なる見え方
の状態の説明図
【図6】(a)作業エリアおよびワークの特徴点の定義
と(b)画像信号による画像特徴点との対応関係を示す
作用説明図
【図7】特徴点修正プログラムのフローチャート
【図8】特徴点修正の作用説明図
【図9】透視変換行列を計算するための座標軸の関係を
示す説明図
【図10】エッジライン判定によりパラメータrのずれ
量を推定する場合の説明図
【図11】エッジライン判定によりパラメータγのずれ
量を推定する場合の説明図
【図12】エッジライン判定によりパラメータα,βの
ずれ量を推定する場合の説明図
【図13】エッジライン判定によりパラメータφのずれ
量を推定する場合の説明図
【図14】エッジライン判定によりパラメータθのずれ
量を推定する場合の説明図
【図15】絶対座標軸とカメラおよび撮影画面の座標軸
との関係を示す説明図
【図16】線分誤差和の説明図
【図17】面積誤差の説明図(その1)
【図18】面積誤差の説明図(その2)
【図19】本発明の第2の実施例を示すマーカの平面図
【図20】マーカの撮影画面上の形状と推定エッジライ
ンによる面積誤差の説明図
【符号の説明】
1は自律移動ロボット、2は作業エリア、3はアーム、
4はカメラ(撮像手段)、5はワーク(対象物体)、6
はハンド、7は画像処理部(画像処理手段)、8は前処
理部、9は色認識部、10は輪郭抽出部、11は特徴点
抽出部、12は色判定部、13は特徴点修正部、14は
見え方選択部、15は、特徴点対応リスト出力部、16
は探索領域決定部、17は絶対座標限定部、18はエッ
ジパターン判定部、19は位置推定部、20は姿勢推定
部、21は探索範囲設定部、22は量子化空間探索部
(量子化空間探索手段)、23は量子化空間点設定部、
24は透視変換行列計算部、25は透視変換部、26は
誤差評価関数計算部、27は最適値決定部、28は最終
出力部、29は特徴点間距離和計算部、30は線分誤差
和計算部、31は面積誤差計算部、32は総合評価計算
部、33はメモリ(記憶手段)、33aは三次元形状デ
ータ部、33bはティーチング情報部、33cは概略位
置姿勢情報部、33dは探索順序指定情報部、33eは
要求精度データ部、33fは判定しきい値設定部であ
る。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 形状を示す三次元絶対座標が既知である
    対象物体を撮像手段により撮影したときの画像信号に基
    いてその対象物体の形状の特徴を示す二次元の画像特徴
    点を抽出する画像処理ステップと、 この画像処理ステップにおいて得られた画像特徴点に対
    し、前記画像信号の色情報の判定に基づいて面積誤差を
    求めることにより前記対象物体の輪郭線を修正して最適
    画像特徴点を求める特徴点修正ステップと、 前記対象物体に対する前記撮像手段の位置姿勢を示す複
    数のパラメータを探索パラメータとし、外部情報により
    与えられる推定距離に応じたパラメータ探索開始点を設
    定すると共にその推定距離に応じたパラメータ探索幅で
    量子化したパラメータ探索点を有する空間探索領域を設
    定する探索領域決定ステップと、 この探索領域決定ステップにて設定された前記空間探索
    領域のパラメータ探索点で決まる位置から前記撮像手段
    により前記対象物体を撮影したときに得られるべき二次
    元の推定画像特徴点を算出するための透視変換行列を、
    あらかじめ記憶手段に記憶された前記対象物体の三次元
    絶対座標に対する前記パラメータ探索点の推定位置と前
    記撮像手段のパラメータ探索開始点とに基いて計算する
    透視変換行列計算ステップと、 この透視変換行列計算ステップにて求められた前記透視
    変換行列を用いて前記パラメータ探索点における前記対
    象物体の二次元の前記推定画像特徴点を算出する透視変
    換計算ステップと、 前記画像処理ステップにて抽出された前記対象物体の二
    次元の画像特徴点と前記透視変換計算ステップにて算出
    された二次元の前記推定画像特徴点との対応関係を求め
    ると共に、それら対応関係が得られた画像特徴点と推定
    画像特徴点との間の適合度を示す評価誤差値を所定の誤
    差評価関数に基いて計算する誤差計算ステップと、 前記複数の探索パラメータに対して前記探索領域内で、
    前記各推定画像特徴点に対する画像特徴点の評価誤差値
    が最小となるような前記パラメータ探索点を局所最適パ
    ラメータとして求め、そのときの前記評価誤差値が所定
    の要求誤差精度よりも小さいときに、得られた局所最適
    パラメータを前記位置姿勢ベクトルの複数のパラメータ
    として決定する量子化空間探索ステップとを有すること
    を特徴とする視覚に基く三次元位置および姿勢の認識方
    法。
  2. 【請求項2】 形状を示す三次元絶対座標が既知である
    対象物体を撮像手段により撮影したときの画像信号に基
    いてその対象物体の形状の特徴を示す二次元の画像特徴
    点を抽出する画像処理ステップと、 前記対象物体に対する前記撮像手段の位置姿勢を示す複
    数のパラメータを探索パラメータとし、外部情報により
    与えられる推定距離に応じたパラメータ探索開始点を設
    定すると共にその推定距離に応じたパラメータ探索幅で
    量子化したパラメータ探索点を有する空間探索領域を設
    定する探索領域決定ステップと、 この探索領域決定ステップにて設定された前記空間探索
    領域のパラメータ探索点で決まる位置から前記撮像手段
    により前記対象物体を撮影したときに得られるべき二次
    元の推定画像特徴点を算出するための透視変換行列を、
    あらかじめ記憶手段に記憶された前記対象物体の三次元
    絶対座標に対する前記パラメータ探索点の推定位置と前
    記撮像手段のパラメータ探索開始点とに基いて計算する
    透視変換行列計算ステップと、 この透視変換行列計算ステップにて求められた前記透視
    変換行列を用いて前記パラメータ探索点における前記対
    象物体の二次元の前記推定画像特徴点を算出する透視変
    換計算ステップと、 前記画像処理ステップにて抽出された前記対象物体の二
    次元の画像特徴点と前記透視変換計算ステップにて算出
    された二次元の前記推定画像特徴点との対応関係を求め
    ると共に、それら対応関係が得られた画像特徴点と推定
    画像特徴点との間の適合度を示す評価誤差値をそれらの
    間の距離和を求める点間距離誤差評価関数,特徴点間を
    結ぶ線分のずれを求める線分間距離誤差評価関数あるい
    は図形間の面積誤差を求める面積誤差評価関数から指定
    された誤差評価関数に基づいて計算する誤差計算ステッ
    プと、 前記複数の探索パラメータに対して前記探索領域内で、
    前記各推定画像特徴点に対する画像特徴点の評価誤差値
    が最小となるような前記パラメータ探索点を局所最適パ
    ラメータとして求め、そのときの前記評価誤差値が所定
    の要求誤差精度よりも小さいときに、得られた局所最適
    パラメータを前記位置姿勢ベクトルの複数のパラメータ
    として決定する量子化空間探索ステップとを有すること
    を特徴とする視覚に基く三次元位置および姿勢の認識方
    法。
  3. 【請求項3】 前記撮像手段は、前記画像情報に基づく
    特徴点の抽出により決まる該対象物体の見え方パターン
    があらかじめ決められたパターンとなるような所定撮影
    領域内に位置するように設定されることを特徴とする請
    求項1または2記載の視覚に基く三次元位置および姿勢
    の認識方法。
  4. 【請求項4】 画像信号を出力する撮像手段と、 対象物体の形状を示す三次元絶対座標データおよび探索
    順序を指定するデータが記憶された記憶手段と、 前記撮像手段により前記対象物体を撮影したときの画像
    信号に基いてその対象物体の形状の特徴を示す二次元の
    画像特徴点を抽出する画像処理手段と、 この画像処理手段により抽出された画像特徴点に対し、
    前記画像信号の色情報の判定に基づいて面積誤差を求め
    ることにより前記対象物体の輪郭線を修正して最適画像
    特徴点を求める特徴点修正手段と、 前記対象物体に対する前記撮像手段の位置姿勢を示す複
    数のパラメータを探索パラメータとし、外部情報により
    与えられる推定距離に応じたパラメータ探索開始点を設
    定すると共にその推定距離に応じたパラメータ探索幅で
    量子化したパラメータ探索点を有する空間探索領域を設
    定する探索領域決定手段と、 この探索領域決定手段により設定された前記空間探索領
    域のパラメータ探索点で決まる位置から前記撮像手段に
    より前記対象物体を撮影したときに得られるべき二次元
    の推定画像特徴点を算出するための透視変換行列を、あ
    らかじめ記憶手段に記憶された前記対象物体の三次元絶
    対座標に対する前記量子化空間点の推定位置と前記撮像
    手段の初期探索パラメータとに基いて計算する透視変換
    行列計算手段と、 この透視変換行列計算手段により求められた前記透視変
    換行列を用いて前記パラメータ探索点における前記対象
    物体の二次元の前記推定画像特徴点を算出する透視変換
    計算手段と、 前記画像処理手段により抽出された前記対象物体の二次
    元の画像特徴点と前記透視変換計算手段により算出され
    た二次元の前記推定画像特徴点との間の対応関係を求め
    ると共に、それら対応関係が得られた画像特徴点と推定
    画像特徴点との間の適合度を示す評価誤差値を所定の誤
    差評価関数に基いて計算する誤差計算手段と、 前記複数の探索パラメータに対して前記探索領域内で、
    前記各推定画像特徴点に対する画像特徴点の評価誤差値
    が最小となるような前記パラメータ探索点を局所最適パ
    ラメータとして求め、そのときの前記評価誤差値が所定
    の要求誤差精度よりも小さいときに、得られた局所最適
    パラメータを前記位置姿勢ベクトルの複数のパラメータ
    として決定する量子化空間探索手段とを有することを特
    徴とする視覚に基く三次元位置および姿勢の認識装置。
  5. 【請求項5】 画像信号を出力する撮像手段と、 対象物体の形状を示す三次元絶対座標データおよび探索
    順序を指定するデータが記憶された記憶手段と、 前記撮像手段により前記対象物体を撮影したときの画像
    信号に基いてその対象物体の形状の特徴を示す二次元の
    画像特徴点を抽出する画像処理手段と、 前記対象物体に対する前記撮像手段の位置姿勢を示す複
    数のパラメータを探索パラメータとし、外部情報により
    与えられる推定距離に応じたパラメータ探索開始点を設
    定すると共にその推定距離に応じたパラメータ探索幅で
    量子化したパラメータ探索点を有する空間探索領域を設
    定する探索領域決定手段と、 この探索領域決定手段により設定された前記空間探索領
    域のパラメータ探索点で決まる位置から前記撮像手段に
    より前記対象物体を撮影したときに得られるべき二次元
    の推定画像特徴点を算出するための透視変換行列を、あ
    らかじめ記憶手段に記憶された前記対象物体の三次元絶
    対座標に対する前記量子化空間点の推定位置と前記撮像
    手段の初期探索パラメータとに基いて計算する透視変換
    行列計算手段と、 この透視変換行列計算手段により求められた前記透視変
    換行列を用いて前記パラメータ探索点における前記対象
    物体の二次元の前記推定画像特徴点を算出する透視変換
    計算手段と、 前記画像処理手段により抽出された前記対象物体の二次
    元の画像特徴点と前記透視変換計算手段により算出され
    た二次元の前記推定画像特徴点との間の対応関係を求め
    ると共に、それら対応関係が得られた画像特徴点と推定
    画像特徴点との間の適合度を示す評価誤差値をそれらの
    間の距離和を求める点間距離誤差評価関数,特徴点間を
    結ぶ線分のずれを求める線分間距離誤差評価関数あるい
    は図形間の面積誤差を求める面積誤差評価関数から指定
    された誤差評価関数に基いて計算する誤差計算手段と、 前記複数の探索パラメータに対して前記探索領域内で、
    前記各推定画像特徴点に対する画像特徴点の評価誤差値
    が最小となるような前記パラメータ探索点を局所最適パ
    ラメータとして求め、そのときの前記評価誤差値が所定
    の要求誤差精度よりも小さいときに、得られた局所最適
    パラメータを前記位置姿勢ベクトルの複数のパラメータ
    として決定する量子化空間探索手段とを有することを特
    徴とする視覚に基く三次元位置および姿勢の認識装置。
  6. 【請求項6】 前記撮像手段は、前記画像情報に基づく
    特徴点の抽出により決まる該対象物体の見え方パターン
    があらかじめ決められたパターンとなるような所定撮影
    領域内に位置するように構成されていることを特徴とす
    る請求項4または5記載の視覚に基く三次元位置および
    姿勢の認識装置。
JP5247228A 1993-03-08 1993-10-01 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 Expired - Fee Related JP2730457B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP5247228A JP2730457B2 (ja) 1993-10-01 1993-10-01 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
US08/206,828 US5499306A (en) 1993-03-08 1994-03-07 Position-and-attitude recognition method and apparatus by use of image pickup means

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5247228A JP2730457B2 (ja) 1993-10-01 1993-10-01 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置

Publications (2)

Publication Number Publication Date
JPH07103715A true JPH07103715A (ja) 1995-04-18
JP2730457B2 JP2730457B2 (ja) 1998-03-25

Family

ID=17160364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5247228A Expired - Fee Related JP2730457B2 (ja) 1993-03-08 1993-10-01 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置

Country Status (1)

Country Link
JP (1) JP2730457B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071570A (ja) * 2005-09-05 2007-03-22 Mamoru Otsuki カメラ姿勢把握方法及びこれを用いた写真測量方法、これらのプログラム
JP2009211177A (ja) * 2008-02-29 2009-09-17 Canon Inc 特徴点位置決定方法及び装置
JP2010038753A (ja) * 2008-08-06 2010-02-18 Toyota Central R&D Labs Inc 運動推定装置及びプログラム
JP2010079452A (ja) * 2008-09-24 2010-04-08 Canon Inc 位置姿勢計測装置及び方法
JP2010210586A (ja) * 2009-03-12 2010-09-24 Omron Corp 3次元計測処理のパラメータの導出方法および3次元視覚センサ
JP2014146215A (ja) * 2013-01-30 2014-08-14 Nec Corp 画像補正装置、画像補正方法および画像補正プログラム
CN105388840A (zh) * 2015-12-24 2016-03-09 上海交通大学 实时自适应轮廓误差估计方法
CN110490833A (zh) * 2018-05-09 2019-11-22 北京中航安通科技有限公司 一种目标物体的体积测量方法及装置
CN111289531A (zh) * 2020-03-31 2020-06-16 厦门力和行自动化有限公司 一种连续供给的图案材料的定位采集系统和定位采集方法
JP2020114609A (ja) * 2019-01-17 2020-07-30 株式会社Fuji 制御装置、作業ロボット、作業システム及び制御方法
CN112744604A (zh) * 2020-12-11 2021-05-04 珠海格力电器股份有限公司 一种码垛机器人及其控制方法、装置、存储介质及处理器
CN113426714A (zh) * 2021-06-23 2021-09-24 深圳新益昌科技股份有限公司 晶元搜索方法、装置、电子设备及计算机可读存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071570A (ja) * 2005-09-05 2007-03-22 Mamoru Otsuki カメラ姿勢把握方法及びこれを用いた写真測量方法、これらのプログラム
JP2009211177A (ja) * 2008-02-29 2009-09-17 Canon Inc 特徴点位置決定方法及び装置
JP2010038753A (ja) * 2008-08-06 2010-02-18 Toyota Central R&D Labs Inc 運動推定装置及びプログラム
JP2010079452A (ja) * 2008-09-24 2010-04-08 Canon Inc 位置姿勢計測装置及び方法
US8520931B2 (en) 2008-09-24 2013-08-27 Canon Kabushiki Kaisha Position and orientation measurement apparatus and method thereof
JP2010210586A (ja) * 2009-03-12 2010-09-24 Omron Corp 3次元計測処理のパラメータの導出方法および3次元視覚センサ
JP2014146215A (ja) * 2013-01-30 2014-08-14 Nec Corp 画像補正装置、画像補正方法および画像補正プログラム
CN105388840A (zh) * 2015-12-24 2016-03-09 上海交通大学 实时自适应轮廓误差估计方法
CN110490833A (zh) * 2018-05-09 2019-11-22 北京中航安通科技有限公司 一种目标物体的体积测量方法及装置
JP2020114609A (ja) * 2019-01-17 2020-07-30 株式会社Fuji 制御装置、作業ロボット、作業システム及び制御方法
CN111289531A (zh) * 2020-03-31 2020-06-16 厦门力和行自动化有限公司 一种连续供给的图案材料的定位采集系统和定位采集方法
CN112744604A (zh) * 2020-12-11 2021-05-04 珠海格力电器股份有限公司 一种码垛机器人及其控制方法、装置、存储介质及处理器
CN113426714A (zh) * 2021-06-23 2021-09-24 深圳新益昌科技股份有限公司 晶元搜索方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP2730457B2 (ja) 1998-03-25

Similar Documents

Publication Publication Date Title
JP6348093B2 (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
JP4865557B2 (ja) 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
CN103678754B (zh) 信息处理装置及信息处理方法
US11830216B2 (en) Information processing apparatus, information processing method, and storage medium
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
US11881000B2 (en) System and method for simultaneous consideration of edges and normals in image features by a vision system
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP2020013560A (ja) 情報処理装置、情報処理方法、及びプログラム
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
JP2016148956A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN113393524A (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
Aranda et al. Omnidirectional visual homing using the 1D trifocal tensor
JP2778430B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP2015111128A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JPH1055446A (ja) 物体認識装置
JPH1151611A (ja) 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
Cupec et al. Global localization based on 3d planar surface segments
JPH06258028A (ja) 視覚に基く三次元位置および姿勢の認識方法とその装置
CN114972491A (zh) 视觉slam方法、电子设备、存储介质及产品
US11348280B2 (en) Method and computer readable medium for pose estimation
CN116612459B (zh) 目标检测方法、装置、电子设备及存储介质
CN115244594B (zh) 信息处理装置和信息处理方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091219

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101219

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 15

LAPS Cancellation because of no payment of annual fees