JPH0823889B2 - ロボットを用いた物体の取出し方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、取出すべき物体を視覚センサによって認識
するロボットに適用されるロボットを用いた物体の取出
し方法に関する。

〔従来技術〕

雑然と置かれた機械部品等の物体を視覚センサでとら
え、この視覚センサの画像に基づいてそれらの物体を１
個ずつハンド装置で取出す機能を備えた知能ロボットが
実用されている。

〔発明が解決しようとする問題点〕

上記知能ロボットは、上記視覚センサによって認識さ
れた物体の位置までハンド装置を移動して物体の取出し
を行なうが、各物体の配置態様によっては目標とする物
体を取出せないことがある。

すなわち、例えば取出すべき物体の両側の他物体が平
行に隣接しているような場合には、目標とする物体をハ
ンドル装置が把持できず、このため取出しに失敗する。

かかる場合、従来の知能ロボットでは、上記目標とす
る物体についての取出し操作が繰り返し行なわれ、その
ため取出し作業の効率が低下するという不都合を生じて
いた。

〔問題点を解決するための手段〕

本発明は、雑然と配置された複数の物体を視覚センサ
で認識し、その認識した物体を個別に取出すロボットに
適用され、前記認識した物体の取出し動作を前記ロボッ
トに実行させるステップと、前記ロボットによる前記物
体の取出しの成否を検出するステップと、前記物体の取
出しの不成功が検出された場合に、前記視覚センサの撮
像画面上で前記物体の画像をマスクするとともに、前記
視覚センサによって認識した別の物体の取出し動作を前
記ロボットに実行させるステップと、前記ロボットによ
る前記物体の取出し動作が実行される度に、所定のマス
ク消去条件が満たされたか否かを判断するステップと、
前記マスク消去条件が満たされた場合に、所定のマスク
を消去するステップとを実行することを特徴としてい
る。

〔実施例〕

以下、図面を参照して本発明の実施例を説明する。

第１図は、本発明が適用される知能ロボットの一例を
概念的に示している。

この知能ロボット１は、ロボット本体２と、このロボ
ット本体を制御するコントローラ３と、視覚センサたる
テレビカメラ４と、該カメラの画像を処理する画像処理
部５とを備え、パレット６内に雑然と配置された機械部
品等の物体、たとえば丸棒状物体７（以下、ワークと言
う）をロボット本体２のハンド21で１個づつ取出す目的
で使用される。

第２図は、テレビカメラ４によって撮像されたワーク
７群の画像を示す。上記画像処理部５では、この画像に
対して周知のパターン認識処理が実行され、これにより
上記画像中から取出すべきワーク７が認識される。

いま、第２図中に示したワーク7Aが認識されたとする
と、このワーク7Aについての位置情報が画像処理部５か
らコントローラ３に入力される。コントローラ３は、上
記位置情報に基づいてハンド21をワーク7Aの位置に移動
させるための移動指令を作成し、かつこの指令によって
ロボット本体２を作動してハンド21の位置決めを行な
う。

ところで、第２図に示すごとく、認識されたワーク7A
に他のワークが平行に隣接しているような場合には、ハ
ンド21によってワーク7Aを把持できなくなる。かかる場
合、ロボット１はワーク7Aに対する取出し操作を何回も
繰り返すことになり、これは作業の効率を著しく低下さ
せる。

そこで、この発明の実施例では、第４図に示す手順を
コントローラ３および画像処理部５に実行させて上記す
る不都合を回避している。

上記ハンド21によるワーク７の取出しの成否は、ハン
ド21に設けられているリミットスイッチ等の適宜なセン
サで確認され、第４図に示したステップ100では、上記
センサの出力信号に基づいてワーク７の取出しに成功し
たか否かがコントローラ３で判断される。

いま、第２図に示したワーク7Aが認識されて、ハンド
21がこのワーク7Aについての把持動作を行なったとする
と、この場合、前記した理由によりワーク7Aの把持がで
きないので、上記ステップ100の判断結果がNOとなる。
そこで手順がステップ101に移行され、このステップで
画像処理部５によるマスク処理が実行される。

すなわち、第３図にハッチングを付して示すごとく、
テレビカメラの撮像画面上におけるワーク7Aの位置にマ
スクＭを施す処理が実行される。

このマスクＭを施した場合、ワーク7Aが認識されなく
なるので、以後マスクＭが消去されない限りワーク7Aに
対する取出し作業が行なわれないことになる。なお、こ
のマスクを施す処理は公知であるので、ここではその説
明を省略する。

つぎのステップ102では、マスクＭの個数が予設定数
ｍになったか否かをコントローラ３が判断し、その判断
結果がYESの場合には、画像処理部５がｍ個のマスクの
うち最も早く付されたマスクを消去する処理を実行する
（ステップ103）。

一方、ステップ102においてマスクＭの個数が予設定
数ｍよりも少ないと判断された場合には、テレビカメラ
４の画像に基づいて画像処理部５がワークの認識の可否
を判断する（ステップ104）。

ステップ101におけるマスク処理によって現存するワ
ークの全てにワスクＭが施された場合には、ワークが認
識されなくなるので、ステップ104の判断結果がNOとな
る。

そこでかかる場合には、それまでに施された全てのマ
スクＭを消去する処理が画像処理部５で実行される（ス
テップ106）。

つぎに取出し可能なワーク、たとえば第３図に示すワ
ーク7Bが画像処理部５で認識された場合について説明す
る。

かかる場合には、ステップ100の判断結果がYESになる
ので手順がステップ105に移行される。このステップ105
ではコントローラ３によって取出し成功回数が予設定回
数ｎになったか否かが判断され、同ステップで取出し成
功回数がｎ回に達したと判断された場合には、前記ステ
ップ106で全てのマスクを消去する処理が実行され、ま
た取出成功回数がｎ回未満であると判断された場合に
は、取り出されたワーク7Bの位置を中心とする予設定近
傍領域内にマスクＭが存在するか否かが判断される（ス
テップ107）。そして、このステップ107の判断結果がYE
Sの場合には、上記予設定近傍領域内に存在するマスク
Ｍを消去する処理が画像処理部５で実行される（ステッ
プ108）。

上記実施例によれば、取出しが不可なワーク７につい
ての画像にマスクが施されるので、該ワークに対する取
出し作業が何回も繰り返されるという不都合を回避でき
る。また、取出し作業の状況に応じてマスクＭが消去さ
れる。

なお、ステップ103,106および108に示す処理の実行
後、あるいはステップ104の判断結果がYESになった以
後、またはステップ107の判断結果がNOになった以後
は、図示されていない別のルーチンに手順が移行され、
このルーチンで次のような処理が実行される。

すなわち、前記ステップ101でマスク処理が実行され
た場合には他のワーク７を認識する処理が実行され、か
つこの処理によって認識されたワーク７の位置情報に基
づいて該ワークの取出し作業が実行される。そして、こ
の取出し作業時に再び第４図に示した手順が実行される
ことになる。

一方、前記ステップ100でワーク７の取出しが成功し
たと判断された場合には、取出されたワーク７をロボッ
ト本体２によって所定の箇所まで移送する処理と、該本
体２を取出し位置まで戻す処理と、上記他のワークを認
識して該ワークの取出し作業を行なう処理とが実行さ
れ、この取出し作業時に第４図に示した手順が再度実行
される。

もちろん上記ルーチンには前記パレット６内が空にな
ったことを認識する手順も含まれ、その確認が行なわれ
た場合には、当然取出し作業が停止される。

第４図のステップ102におけるマスク個数ｍステップ1
05における取出し成功回数ｎおよびステップ107におけ
る近傍領域の範囲は、それぞれワーク７の形状、数等に
応じて決定され、これらを最適に決定することにより、
合理的なマスクの消去を行なうことができる。

また、第４図においては、マスクの消去手順としてス
テップ102,103の組合せと、ステップ102,104,106の組合
せと、ステップ105,106の組合せと、ステップ105,107,1
08の組合せとが使用されているが、これらの組合せのう
ちの１つまたは２つの組合せを選択して実施することも
可能である。

〔発明の効果〕

本発明によれば、以下のような効果が得られる。

取出すべき該当物体の近傍に他の物体が存在してい
ると、ロボットによる該当物体の取出しが不成功に終わ
ることがあるが、この場合、視覚センサの撮像画面上で
該当物体の画像がマスクされるので、該物体に対する取
出し動作の反復が防止される。

取出しの不成功は、該当物体の近傍に位置した他物
体がロボットに接触してその取出し動作を妨げることに
起因している。本発明では、視覚センサで認識された物
体に対してロボットが必ず取出し動作するので、取出し
が不成功に終わる度にロボットの接触によって該他物体
が変異し（ほぐされ）、その結果、マスク消去後に実行
される該当物体の取出し可能性が向上する。

マスク消去条件が満たされてマスクが消去される
と、この消去に伴って再認識された物体に対しロボット
が再度取出し動作を行うので、各物体に満遍なく取出し
操作が施されることになる。したがって、の効果と相
俟って高い取出し効率が得られる。

視覚センサは、その撮像画面に垂直な方向について
の物体相互の位置関係を認識できないので、該センサの
撮像画面上において物体相互が接近していても、それら
の物体の取出しが不可能であるとは限らない。すなわ
ち、もし物体相互が撮像画面に垂直な方向に十分離れて
位置している場合には、それらの物体の取出しが可能で
ある。

本発明では、視覚センサで認識された物体に対してロ
ボットが必ず取出し動作するので、物体相互が上記のよ
うに撮像画面に垂直な方向に十分離れて位置している場
合、それらの物体が支承なく取出されることになり、こ
れも取出し効率の向上に寄与する。

【図面の簡単な説明】

第１図は本発明の方法が適用される知能ロボットの構成
を例示した概念図、第２図および第３図はそれぞれテレ
ビカメラの画像を例示した図、第４図は本発明の一実施
例を示したフローチャートである。 １……知能ロボット、２……ロボット本体、３……コン
トローラ、４……テレビカメラ、５……画像処理部、７
……ワーク。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山中 伸好 石川県小松市青路町132番地 (56)参考文献 特開 昭61−34675（ＪＰ，Ａ)

Claims (5)

【特許請求の範囲】
1. 【請求項１】雑然と配置された複数の物体を視覚センサ
   で認識し、その認識した物体を個別に取出すロボットに
   適用され、 前記認識した物体の取出し動作を前記ロボットに実行さ
   せるステップと、 前記ロボットによる前記物体の取出しの成否を検出する
   ステップと、 前記物体の取出しの不成功が検出された場合に、前記視
   覚センサの撮像画面上で前記物体の画像をマスクすると
   ともに、前記視覚センサによって認識した別の物体の取
   出し動作を前記ロボットに実行させるステップと、 前記ロボットによる前記物体の取出し動作が実行される
   度に、所定のマスク消去条件が満たされたか否かを判断
   するステップと、 前記マスク消去条件が満たされた場合に、所定のマスク
   を消去するステップと を含むロボットを用いた物体の取出し方法。
2. 【請求項２】前記マスク消去条件は、前記マスクが予設
   定個数に達することであり、前記消去する所定のマスク
   は、前記マスク消去条件が満たされるまでに施されたマ
   スクの中で最も先に施されたマスクである特許請求の範
   囲第（１）項記載のロボットを用いた物体の取出し方
   法。
3. 【請求項３】前記マスク消去条件は、前記物体の取出し
   成功が検出されることであり、前記消去する所定のマス
   クは、取出しに成功した物体の位置を中心とする予設定
   近傍領域内のマスクである特許請求の範囲第（１）項記
   載のロボットを用いた物体の取出し方法。
4. 【請求項４】前記マスク消去条件は、前記物体の取出し
   成功回数が予設定数に達することであり、前記消去する
   所定のマスクは、前記マスク消去条件が満たされた時点
   において施されているマスクの全てである特許請求の範
   囲第（１）項記載のロボットを用いた物体の取出し方
   法。
5. 【請求項５】前記マスク消去条件は、前記視覚センサが
   前記物体を認識しなくなったことであり、前記消去する
   所定のマスクは、前記マスク消去条件が満たされた時点
   において施されているマスクの全てである特許請求の範
   囲第（１）項記載のロボットを用いた物体の取出し方
   法。