JPH0411352B2 - - Google Patents

Description

【発明の詳細な説明】 発明の技術分野 本発明は、撮像信号を処理して視野内の物体の
姿勢を検出しその情報をロボツトに通知する視覚
センサ処理装置における物体の姿勢判定装置に関
するものである。

従来技術と問題点 搬送器等で搬送され所定位置に停止したワーク
等の物体を産業ロボツトにより把持させる場合、
物体の停止する基準となる位置を予め産業ロボツ
トに教示しておき、物体の停止信号等の情報によ
り、その教示された位置にハンドを移動させて物
体を把持するようにロボツトを制御するだけで
は、物体の停止位置、停止姿勢が基準位置、基準
姿勢からずれている場合には正確な把持が困難と
なる。そこで、視覚センサで物体を撮像し、実際
の物体の位置、停止姿勢と基準位置、基準姿勢と
のずれ量を視覚センサ処理装置で求め、このずれ
量を補正量として産業ロボツトに通知することが
行なわれている。

例えば、第１図の実線１で示す視覚センサの視
野内におけるある位置に物体２が停止した場合、
視覚センサは撮像信号の２値化信号を処理して物
体２の重心Ｐを算出し、この重心Ｐの視覚センサ
座標系ｘ，ｙにおける座標値x₁，y₁と予め指定さ
れた物体の基準位置における重心P₀の座標値x₀，
y₀との差Δx，Δyを Δx＝x₁−x₀ Δy＝y₁−y₀ …(1) なる式で求め、また、物体２の姿勢に関する情報
を得る為に姿勢方向例えば慣性主軸（物体２の平
面図形の重心Ｐを通る軸のうち慣性モーメントが
最も小さい軸をいう）３の方向とセンサ座標系
ｘ，ｙの例えばｘ軸の正方向（予め設定された基
準方向）との角（姿勢角という）θ₁を求め、この
姿勢角θ₁と予め指定された物体の基準姿勢角θ₀と
の差Δθを Δθ＝θ₁−θ₀ …(2) なる式で求め、このΔx，Δy，Δθを補正信号とし
て産業ロボツトに通知するものである。慣性主軸
については、「テレビジヨン学会編 画像の情報
処理」（昭和54年８月15日 コロナ社発行）第296
頁第４行乃至第297頁末行に記載されている。

ところで、慣性主軸は、対称性を有する形状に
は複数存在する。即ち、長方形は２、三角形は
３、正方形は４の如くである。視覚センサは、２
値化画像を処理してとにかく一つの慣性主軸を求
めるものであり、従つて、対称性を有する物体で
は照明ムラやちよつとした撮影状況の変化等によ
り、求められる慣性主軸が異なる場合が生じる。
例えば、正方形の場合、第２図に示すように慣性
主軸は４ａ，４ｂ，４ｃ，４ｄと90度毎に４本現
れるので、あるときは前記姿勢角θ₁としてαが求
められ、あるときは90゜＋α，180゜＋α，270゜＋α
が求められることになる。従つて、ロボツトに通
知される補正信号も場合により異なるものとな
る。ロボツトは通知された補正信号により手首軸
の回転を補正するので補正角が大きいとそれだけ
無駄な動きを強いることとなり能率が低下する。
また、手首軸の回転角に制限のあるロボツトで例
えば270゜＋αのようなときは動作範囲外というこ
とでロボツトが動作できない可能性があつた。

発明の目的 本発明はこのような事情に鑑みて為されたもの
であり、その目的は、対称性を有する物体に対す
るロボツトの動作の無駄を省き能率を向上させる
と共にロボツトの動作範囲外にあるような事態を
極力避けるようにすることにある。

発明の実施例 第３図は本発明の実施例の要部ブロツク図であ
り、CCD等のイメージセンサを内蔵した撮像装
置１０と、この撮像信号を２値化する２値化回路
１１の出力を記憶するフレームメモリ１２と、図
示しない産業ロボツトの制御部（一般には数値制
御装置）と情報のやりとりを行なう為のインタフ
エイス回路１３と、各種のキーを有するキーボー
ド１４と、メモリ１５と、２値画像を表示する為
のCRT１６とがバス１７を介してマイクロコン
ピユータ１８に接続されている。キーボード１５
を操作することにより、マイクロコンピユータ１
８を教示モード、実行モードに設定でき又各種の
データをメモリ１５に入力することができる。

教示モードにおいては、先ず撮像装置１０の視
野内に教示させる物体を置き、その物体の物体名
たとえばＡを入力する。この物体名は第４図に示
すようにメモリ１５の或領域に記憶される。続い
て、その物体の対称性コードをキーボード１４よ
り入力する。この対称性コードは第４図に示すよ
うにメモリ１５に物体名Ａに対応して記憶され
る。次いでキーボード１４より教示処理の開始を
指令すると、マイクロコンピユータ１８は第５図
に示すような処理を実行する。即ち、フレームメ
モリ１２に記憶された物体Ａの２値画像の取り込
み処理（S1）、これを公知の方法で処理すること
により物体Ａの画像（平面図形）の重心、慣性主
軸、基準姿勢角、面積、周長、穴の有無および個
数、図心から輪郭までの距離の最大値および最小
値、図形の複雑度等の特徴値を抽出する処理
（S2）を予め規定された回数だけ実行し（S3）、
その後各特徴値を規格化し（S4）、これをメモリ
１５に第４図に示すように物体名Ａに対応して記
憶する（S5）。

同様に、別の物体についても上述のような動作
を行なわせ、メモリ１５に物体名Ｂ…Ｎ等とこれ
に対応する特徴値、対称性コードを記憶させる。

さて、以上のような教示が終了すると、キーボ
ード１４を操作して当該視覚センサ処理装置を実
行モードに切換える。

実行モードにおいては、ロボツト側よりインタ
フエイス回路１３を介して画像処理指令が入力さ
れる毎に例えば第６図に示すような処理を実行す
る。先ず、画像処理指令が入力されると、フレー
ムメモリ１２に書込まれたその時の撮像装置１０
の２値化画像を取り込み（S10）、次にその内容
を処理して特徴値を抽出し（S11）、得た特徴値
とメモリ１５に記憶された特徴値とを比較するこ
とにより物体の識別を行なう（S12）。次に、物
体の位置（重心）および姿勢角を算出する
（S13）。次に上記で識別した物体名に対応してメ
モリ１５に記憶されている対称性コードによりス
テツプS13で算出した姿勢角を修正する（S14）。
これは、第７図に示すように先ず識別した物体名
に対応する対称性コード（ｎとする）をメモリ１
５から読出し（S20）、ステツプS13で算出した姿
勢角θが0゜≦θ＜360゜／ｎを満足するか否かを判
別し（S21）、満足していればこのθを修正姿勢
角θ′としてインタフエイス回路１３を介して他の
情報と共にロボツト制御部へ送出する（S22）。
また、満足していなければ、θから360゜／ｎを引
いた値を新たなθとし（S23）、ステツプS21へ復
帰し同様の判別を実施する。そして、ステツプ
S21の条件が満足されたときのθの値を修正姿勢
角θ′とするものである。例えば平面図が正方形の
物体の姿勢角が当初90゜＋β（但し、０≦β＜90）
として求められたとすると、正方形の対称性コー
ドは４であるから第１回目のステツプS21の判別
結果はノーとなり、βが新たなθとし第２回目の
判別が行なわれ、ここでステツプS21の条件が満
足されてβが修正姿勢角θ′として出力されること
になる。このようにして修正姿勢角θ′が求まる
と、前記(1)，(2)の演算を行なつて補正信号を求
め、これをロボツトに通知する（S15）。

なお、本発明は以上の実施例に限定されること
なくその他各種付加変更可能であり、例えば次の
ように構成することもできる。

ステツプS13の判別条件を基準姿勢角の定義
の仕方に応じて、０≧θ＜−360゜／ｎ等にす
る。

姿勢方向として、慣性主軸以外の軸例えば物
体の重心を通る軸のうち物体の長手方向と一致
する軸の方向とし、この方向と視覚センサ座標
系の例えばｘ軸の正方向（予め定められた基準
方向）との角度を姿勢角として使用する。この
場合はこれに合致した対称性の数を入力してお
くことは勿論のことである。

基準姿勢角と実際に求めた修正姿勢角との差
をロボツトに通知するものではなく、実際に求
めた修正姿勢角そのものをロボツトに通知す
る。

発明の効果 以上説明したように、本発明によれば、撮像信
号を処理して視野内の物体の特徴値と姿勢方向を
求め、該特徴値とメモリに予め記憶された特徴値
とを比較することにより物体名の識別を行ない、
且つ前記姿勢方向と予め設定された基準方向との
為す姿勢角を産業用ロボツトに通知するよう構成
された視覚センサ処理装置における物体の姿勢判
定方式において、前記メモリに物体名と対応させ
て該物体の姿勢方向に関する対称性コードを記憶
させておき、該対称性コードを用いて実際に求め
た姿勢角がその対称性コードで定まる所定角度内
に収まるように補正して産業ロボツトに通知する
ようにしたものであり、対称性を有する物体に対
してもできるだけ小さい姿勢角をロボツトに通知
することができるから、産業ロボツトに無駄な動
きを強いることなくなり能率が向上すると共に、
手首軸の回転角に制限のあるロボツトでは動作範
囲外になるような事態を極力防止することができ
る。また、画像処理において対称物体が例えば正
方形に近いものであると識別して姿勢角を修正す
る方式によれば、識別処理分だけ余計な演算が増
えることになるが、本発明によれば予め対称性コ
ードを記憶させているのでそのような問題は生じ
ない。

【図面の簡単な説明】

第１図は視覚センサの動作説明図、第２図は対
称性を有する物体を取り扱う場合の問題点を説明
する図、第３図は本発明の実施例のブロツク図、
第４図はメモリ１５に記憶される内容の説明図、
第５図〜第７図はマイクロコンピユータ１８の処
理の一例を示すフローチヤートである。 １は視覚センサの視野、２は物体、３，４ａ〜
４ｄは慣性主軸、１０は撮像装置、１１は２値化
回路、１２はフレームメモリ、１３はインタフエ
イス回路、１５はメモリ、１８はマイクロコンピ
ユータである。

Claims (1)

【特許請求の範囲】
1. １ 撮像信号を処理して視野内の物体の特徴値と
   姿勢方向を求め、該特徴値とメモリに予め記憶さ
   れた特徴値とを比較することにより物体名の識別
   を行ない、且つ前記姿勢方向と予め設定された基
   準方向との為す姿勢角を産業用ロボツトに通知す
   るよう構成された視覚センサ処理装置における物
   体の姿勢判定装置において、前記メモリに物体名
   と対応させて該物体の姿勢方向に関する対称性コ
   ードを記憶させておき、該対称性コードを用いて
   実際に求めた姿勢角がその対称性コードで定まる
   所定角度内に収まるように補正して産業用ロボツ
   トに通知するようにしたことを特徴とする視覚セ
   ンサ処理装置における物体の姿勢判定装置。