JPH0575243B2 - - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、例えば、アーク等の被撮像物の位置
及び姿勢を画像処理を行なうことによつて算出す
る位置姿勢認識装置に関する。

（従来の技術） 近年、生産工程の自動化に伴い、例えば組立て
作業においては、無人搬送車等によつて自動的に
搬送されたワークをロボツトによつて掴み、所定
の作業を行なわせている。

この場合、ロボツトにカメラ等により視覚機能
を持たせ、この視覚機能によつて搬送されたワー
クの姿勢、位置等を認識し、ロボツトはワークの
搬送姿勢及び位置にかかわらず常にワークの一定
の位置を掴むようにしている。

このようなワークの位置及び姿勢を認識する装
置には、第５図及び第６図に示すものがある。

第５図に示す位置姿勢認識装置は、被写体であ
るワークの画像情報を入力するカメラ１と、前記
画像情報をデジタルデータに変換すると共にこの
データを画像パターンとして格納する画像入力部
２と、規範とする前記ワークにおける特徴点の画
像パターンを記憶する教示パターン格納部３と、
教示パターン格納部３に記憶されている画像パタ
ーンを移動させるパターン移動部４と、画像入力
部２から取出した画像パターン及びパターン移動
部４から出力された画像パターンをマツチングさ
せるパターンマツチング部５とから成つている。

そして、カメラ１によつて撮像したワークの画
像は、画像入力部２に加増パターンとして記憶さ
れ、この画像パターンに対して、教示パターン格
能部３に記憶されている画像パターンをパターン
移動部４によつて移動させ、パターンマツチング
部５によつて最も一致度が高いものを選択し、こ
れによりワークの位置及び姿勢を算出している。

また、第６図に示す位置姿勢認識装置は、被写
体であるワークの画像情報を入力するカメラ１
と、前記画像情報をデジタルデータに変換すると
共にこのデータを画像パターンとして格納する画
像入力部２と、当該画像パターンを二値化処理す
る二値化処理部６と、二値化処理部６によつて二
値化する場合の閾値を設定する二値化レベル設定
部７と、ワークの重心、面積、周囲長、モーメン
ト、慣性主軸等のデータを格納する教示データ格
納部８と、二値化処理部６から出力されたデータ
を教示データ格納部８に格納されているデータと
比較し、一致したデータを取出す演算部９とから
なる。

そして、カメラ１によつて撮像したワークの画
像は、画像入力部２に画像パターンとして記憶さ
れ、この画像パターンは、二値化レベル設定部７
の設定レベルに基づき、二値化処理部６によつて
二値化処理され、演算部９によつてこの二値化処
理後の画像について、その重心、面積、周囲長、
モーメント、慣性主軸等を求めると共に教示デー
タ格納部８に農されているワークの重心、面積、
周囲長、モーメント、慣性主軸等のデータが比較
され、一致したデータを選択し、これによりワー
クの位置及び姿勢を算出している。

（発明が解決しようとする問題点） しかしながら、前記した第５図及び第６図に示
したような構成を有する従来の位置姿勢認識装置
にあつては、以下に記すような問題点を有する。

すなわち、第５図に示した構成を有する位置姿
勢認識装置の場合には、規範とするワークにおけ
る特徴点の画像パターンを画面上に移動させ、こ
の画像パターンをカメラ１から入力したワークに
おける特徴点の画像パターンと比較して、最も一
致度が高い画像パターンから当該ワークの位置及
び姿勢を算出するようになつているために、パタ
ーンマツチング処理に時間を要し、前記ワークの
位置及び姿勢の高速度検出が不可能であり、タク
トタイムの極めて短い生産ラインには適用できな
いという問題があり、また、第６図に示した構成
を有する位置姿勢認識装置の場合には、カメラ１
から入力したワークにおける画像を、所定の閾値
をもつて二値化処理し、この二値化処理後の画像
についての重心、面積、周囲長、モーメント、慣
性主軸等のデータから当該ワークの位置及び姿勢
を算出するようになつていたために、前記ワーク
における照明条件の影響によつて、その外形形状
が鮮明に検出できない時には、その位置及び姿勢
の検出精度に誤差を生じるという問題があつた。

本発明は、このような従来の問題点に鑑みて成
されたものであり、照明条件等の影響を受け難い
線画画像等からワークの特徴点（例えば、ボルト
孔や円形外形の中心点又は鋭利部の頂点等）を抽
出し、この特徴点相互間の位置と距離とから当該
ワークの位置及び姿勢を認識する位置姿勢認識装
置を提供することを目的とする。

（問題点を解決するための手段） 上記目的を達成するための本発明は、被撮像物
の画像情報を入力し、当該画像情報を各画素毎に
デジタル値として出力する画像入力手段と、当該
デジタル値に基づいて、当該被撮像物においける
複数の特徴点を抽出する特徴点抽出手段と、前記
被撮像物において基準となる夫々の各特徴点間の
距離データを予め格納する距離データ格納手段
と、当該距離データ格納手段に格納されている当
該夫々の距離データに基づいて、当該特徴点抽出
手段によつて抽出した夫々の特徴点間の距離を順
次比較し、この比較結果から前記被撮像物におけ
る１組の組合わせデータを選択する選択手段と、
前記被撮像物において基準となる夫々の特徴点の
位置データを格納する位置データ格納手段と、当
該位置データ格納手段に格納されている位置デー
タから当該選択手段により選択された１組の組合
わせデータへ変換すべき変換式を算出すると共
に、この変換式により算出された前記被撮像物に
おける夫々の特徴点の位置データ及び前記被撮像
物において基準となる夫々の特徴点の位置データ
相互の最大誤差を求める変換式作成手段と、前記
被撮像物において基準となる夫々の特徴点の位置
データ及び前記被撮像物における夫々の特徴点の
位置データ相互の許容誤差を格納する許容誤差格
納手段と、前記変換式作成手段によつて算出した
前記被撮像物における夫々の特徴点の位置データ
相互の最大誤差が、当該許容誤差範囲内であるか
どうかを比較する比較手段と、当該比較手段によ
る比較結果が前記許容誤差範囲内でなければ、前
記選択手段に対して再度の組合わせデータの選択
を指令する指令手段と、当該比較手段による比較
結果が前記許容誤差範囲内であれば、前記比較手
段を介して出力した前記変換式によつて、前記被
撮像物の位置及び姿勢を求める位置姿勢出力手段
とを有することを特徴とする。

（作用） 以下に、本発明の作用を第１図に基づいて説明
する。

まず、画像入力手段１０から入力されたワーク
の画像は、特徴点抽出手段１１によつて照明条件
の影響を受け難い線画画像に変換されると共に当
該線画画像における複数の特徴点が算数され、こ
れらの特徴点は、選択手段１３によつて、距離デ
ータ格納手段１２に記憶されている当該ワークの
各特徴点間における距離データと照合されて前記
ワークを特定する１組の組合わせデータが選択さ
れる。

そして、変換式作成手段１５は、位置データ格
納手段１４に格納されている各特徴点の位置デー
タから、前記した１組を組合わせデータへの変換
式を算出すると共に当該位置データと当該１組の
組合わせデータにおける各特徴点間の最大誤差を
算出し、この最大誤差は比較手段１７によつて、
許容誤差格納手段１６に設定されている許容誤差
範囲内であるかどうかの判断が成される。そし
て、この誤差が許容範囲内であれば、前記ワーク
を特定する１組の組合わせデータに基づき、位置
姿勢算出手段１８によつて前記ワークの位置及び
姿勢が算出される。一方、この誤差が許容範囲内
でなければ、指令手段１９は比較手段１７からの
信号を受けて、選択手段１３に対して再度の組合
わせデータの選択を指令する。選択手段１３はこ
の指令によつて再度上述のようにワークを特定す
る１組を組合わせデータを選択する。そして、前
述したような処理が以降行われる。

（実施例） 以下に、本発明の実施例を図面に基づいて詳細
に説明する。

第２図には、本発明に係る位置姿勢確認装置の
概略構成図が示されており、被撮像物であるワー
クの画像を入力するカメラ１には、アナログ信号
をデジタル信号に変換するＡ／Ｄコンバータ２０
が接続されている。なお、このカメラ１とＡ／Ｄ
コンバータ２０とで画像入力手段１０を構成して
いる。

そして、Ａ／Ｄコンバータ２０は、入出力装置
２１を介してCPU２２に接続されている。この
CPU２２は、特徴点物抽出手段１１、選択手段
１３、変換式作成手段１５、比較手段１７及び位
置姿勢算出手段１８及び指令手段１９の各機能を
兼ねている。さらに、CPU２２には、ワークの
位置及び姿勢を算出するプログラムが書き込まれ
ているROM２３と距離データ格納手段１２、位
置データ格納手段１４及び許容誤差格納手段１６
としてのRAM２４が接続されている。

このように構成された位置姿勢認識装置は、第
３図に示す動作フローチヤートに基づいて次のよ
うに動作する。以下に、この動作フローチヤート
を第４図ａからｃを参照して説明する。

ステツプ１ まず、カメラ１は、例えば、第４図ａに示され
ているような形状を有するワークＷの画像を取込
み、この画像は、Ａ／Ｄコンバータ２０によつて
その画像を構成する画素毎にその濃度値に応じた
デジタルデータに変換され、このデジタルデータ
は入出力装置２１を介して順次CPU２２に入力
され、RAM２４内に一時記憶される。

ステツプ２ CPU２２は、RAM２４内に記憶した前記デジ
タルデータに基づいて、第４図ｂに示すようなワ
ークにおける特徴点であるXA１，XA２，XA
３，…，XB１，XB２，…，XC２，XC３等を
空間微分等によつて抽出し、これらの点の位置デ
ータをRAM２４内に記憶する。

ステツプ３ CPU２２、ステツプ２において算出した各特
徴点の位置に基づいて、これらの特徴点間相互の
全ての組合せにおける距離を算出し（例えば、
XA１−XB１間、XB１−XC２間、XA２−XB
１間、XA２−XC２間等）、この各特徴点間の距
離がRAM２４内に予め記憶されている任意のワ
ークにおける各特徴点間相互の距離にほぼ一致し
ていると思われる何組かの組合わせ（例えば、１
組の組合わせとしてXA１−XB２−XC２−XC
３）候補を選択する。これらの組合わせ候補は、
第４図ｃに示すＡ点、Ｂ点、Ｃ点及びＤ点に夫々
対応する。

この組合わせ候補の選択は、例えば、XA１−
XB１間の許容誤差範囲内における最小値が
δmin、最大値がδmaxに設定されていたとする
と、 δmin＜｜XA1−XB1｜＜δmax の条件を満足するものを順次比較することにより
行なわれる。

ステツプ４ CPU２２は、ステツプ３の処理の結果、各特
徴点間の距離がRAM２４内に予め記憶されてい
る任意のワークにおける特徴点間の距離にほぼ一
致していると思われる１組の組合わせ候補が存在
しているかどうかの判断をする。この判断の結
果、組合わせ候補が存在していればステツプ５
に、存在していなければステツプ６に夫々進む。

ステツプ５ CPU２２は、RAM２４内に予め記憶している
任意のワークの特徴点における位置データに基づ
いて、この位置データをステツプ３で求められた
１組の組合わせ候補の位置データに変換する変換
式における変換係数と、ステツプ３において算出
された各特徴点XA１，XB１，XC２，XC３及
びRAM２４内に予め記憶されている各特徴点xa
１，xb１，xc２，xc３の夫々の特徴点に対応す
る最大誤差δを算出し、この値をRAM２４内に
格納する。

この変換係数は、以下に記すようにして求め
る。

変換式を Ｘ＝A_x0＋Ｂ ……(1) とし、 ここで、 Ａ＝a11 −a21 a12 a22 Ｂ＝b1 b2 とすると、 Δ＝｜XA1−Axa1−Ｂ｜² ＋｜XB1−Axb1−Ｂ｜²＋… ……(2) で与えられる式のΔを最小にするＡ、Ｂ夫々の値
を求める。この時のＡ、Ｂ夫々の値が変換係数の
値である。

また、最大誤差δは、(2)式中、右辺各項の値の
中で最大のものを算出することによつて求められ
る。

ステツプ６ ステツプ４において、任意のワークにおける特
徴点間の距離にほぼ一致していると行われる１組
組合わせ候補が存在していないと判断されたの
で、CPU２２は、入出力装置２１を介して図示
しない外部装置に認識物なしの信号を出力する。

ステツプ７ CPU２２は、ステツプ５において算出した最
大誤差δの値とRAM２４内に予め設定されてい
る許容誤差δ0の値を比較し、δ≦δ0であればステ
ツプ８に、δ＞δ0であればステツプ３に夫々進
む。

ステツプ８ CPU２２は、ステツプ５において算出した変
換係数Ａ、Ｂからワークの基準座標系に対する回
転各θとＸ軸、Ｙ軸方向の平行移動量を以下の式
によつて算出する。

回転角θ＝tan^-1a12／a11 平行移動量 ｘ＝b1 ｙ＝b2 以上のようにして、ワークの位置及び姿勢を求
めることができる。尚、ステツプ３の処理は、本
来、ワークの位置及び姿勢を求める目的において
は不要なものであるが、この処理を行なわずにス
テツプ５の処理を行なうと、ステツプ５の処理時
間が長いために処理時間の短縮の面から非常に不
利になるので、この処理を行なつている。

（発明の効果） 以上の説明により明らかなように、本発明によ
れば、被撮像物における複数の特徴点を抽出し、
この特徴点相互間の位置と距離とから当該被撮像
物の位置及び姿勢が特定されるまで認識動作を行
なうようにしたので、照明条件の影響を受け難く
なり、これに伴つて高精度の認識能力を備えるこ
とが可能になり、かつ、前記被撮像物における真
の特徴点を抽出する前処理を行なつているので、
高速度の処理が可能になる。さらに、位置及び距
離のデータを前記被撮像物に対応したものに変更
することによつて、多種類の物に適用させること
ができ、汎用性に富んでいる等の優れた効果を奏
する。

【図面の簡単な説明】

第１図は、本発明に係る位置姿勢確認装置のブ
ロツク図、第２図は、本発明に係る位置姿勢認識
装置の概略構成図、第３図は、第２図に示した位
置姿勢認識装置の動作フローチヤート、第４図ａ
〜ｃは、第３図に示した動作フローチヤートの動
作説明に供する図、第５図及び第６図は、従来の
位置姿勢認識装置の概略構成図である。 １……カメラ（画像入力手段）、２０……Ａ／
Ｄコンバータ（画像入力手段）、２２……CPU
（候補点抽出手段、選択手段、変換式作成手段、
比較手段、位置姿勢算出手段）、２４……RAM
（距離データ格納手段、位置データ格納手段、許
容誤差格納手段）、Ｗ……ワーク（被撮像物）。

Claims (1)

1. 【特許請求の範囲】 １ 被撮像物の画像情報を入力し、当該画像情報
   を各画素毎にデジタル値として出力する画像入力
   手段と、 当該デジタル値に基づいて、当該被撮像物にお
   ける複数の特徴点を抽出する特徴点抽出手段と、 前記被撮像物において基準となる夫々の各特徴
   点間の距離データを予め格納する距離データ格納
   手段と、 当該距離データ格納手段に格納されている当該
   夫々の距離データに基づいて、当該特徴点抽出手
   段によつて抽出した夫々の特徴点間の距離を順次
   比較し、この比較結果から前記被撮像物における
   １組の組合わせデータを選択する選択手段と、 前記被撮像物において基準となる夫々の特徴点
   の位置データを格納する位置データ格納手段と、
   当該位置データ格納手段に格納されている位置デ
   ータから当該選択手段により選択された１組の組
   合わせデータへ変換すべき変換式を算出すると共
   に、この変換式により算出された前記被撮像物に
   おける夫々の特徴点の位置データ及び前記被撮像
   物において基準となる夫々の特徴点の位置データ
   相互の最大誤差を求める変換式作成手段と、 前記被撮像物において基準となる夫々の特徴点
   の位置データ及び前記被撮像物における夫々の特
   徴点の位置データ相互の許容誤差を格納する許容
   誤差格納手段と、 前記変換式作成手段によつて算出した前記被撮
   像物における夫々の特徴点の位置データ相互の最
   大誤差が、当該許容誤差範囲内であるかどうかを
   比較する比較手段と、 当該比較手段による比較結果が前記許容誤差範
   囲内でなければ、前記選択手段に対して再度の組
   合わせデータの選択を指令する指令手段と、 当該比較手段による比較結果が前記許容誤差範
   囲内であれば、前記比較手段を介して出力した前
   記変換式によつて、前記被撮像物の位置及び姿勢
   を求める位置姿勢算出手段とを有することを特徴
   とする位置姿勢認識装置。