JP4199264B2 - ワーク取り出し装置及び方法 - Google Patents

Description

本発明は、ロボットマニピュレータを用いたワークの取り出し装置に関し、特には、視覚センサによる物品の認識を行う際の時間短縮を図ることを目的としたワーク取り出し装置及びワーク取り出し方法に関する。

対象物すなわちワークが籠内やパレット上に位置決めされておらず、乱雑に置かれている状態から取り出しを行う、いわゆる「バラ積み取り出し」のアプリケーションでは、取り出すべきワークのおおよその位置を判断するために、広範囲を撮像するカメラによる画像取り込みが行われる。例えば特許文献１には、広範囲の画像を取得するためのＣＣＤカメラと、ワークの３次元位置を測定するためのレーザセンサとを組み合わせて使用する複合センサーロボットシステムが開示されている。このとき、カメラの視野内にワークの検出すなわち撮像を遮るものがあることは好ましくない。そのため、画像を取り込む際には通常、ロボットのマニピュレータ等のワーク取り出し装置を一旦カメラの視野外に退避させる必要があるが、このことはワーク取り出し装置を含むシステム全体のサイクルタイムを増加させる要因となり得る。

ワークがある程度整列されている場合は、一度ワークの画像を撮影しておけば、ワークを１つ取り出す度毎にカメラ画像を再度取り込み直すことなくワーク検出を行うことが可能であり、またそのような技術は既に公知である。しかし上述の「バラ積み取り出し」のようにワークが乱雑に重なり合っている場合は、あるワークを取り出したときに他のワークの位置や姿勢が変化してしまうことは頻繁に起こり得る。そこでバラ積み取り出しのアプリケーションでは、マニピュレータ等のワーク取り出し装置が取り出したワークをカメラの視野外にある所定の場所に運ぶ動作（いわゆる払い出し動作）を行っている間に、新たにワークの撮像が行われる。例えば特許文献２には、バラ積み取り出しの高速化を図る手段として、複数の照合モデルを予め登録しておき、カメラによる２次元画像の中から照合モデルと照合するワークを検出するピッキング装置が開示されている。

国際公開第９７／２４２０６号パンフレット 特許第３２２５７４０号公報

上述のやり方は、あるワークの検出及び取り出しを行った後に、再度新たな画像を取り込むことを前提とする。従ってワークの取り出しが成功すればその払い出し動作の間に時間ロスなく次の画像の撮像を行うことができる。しかしながら、何らかの原因でワークの取り出しに失敗した場合は、次の取り出し対象となるワークを検出する際に、カメラによる広範囲の画像の取り込みを行うためにワーク取り出し装置を一旦カメラの視野外に移動させること、及びカメラの視野に検出領域が収まるようにロボットマニピュレータを移動させることの少なくとも一方が必要となり、サイクルタイムの増加につながる場合があった。

そこで本発明は、画像を取り込む際のロボットマニピュレータの移動動作を省略又は低減することにより、サイクルタイムの短縮が図られたワーク取り出し装置及びワーク取り出し方法を提供することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、バラ積みされた複数のワークを視野内に収まるように撮像するカメラと、前記カメラが撮像した画像を記憶するメモリと、前記メモリに記憶された画像からワークを検出するワーク検出部と、前記ワーク検出部によって検出されたワークの中から取り出すべきワークを選定するワーク選定部と、前記ワーク選定部により選定されたワークを取り出すロボットマニピュレータと、を有するワーク取り出し装置であって、前記ロボットマニピュレータによる取り出し作業によって前記複数のワークの積載状態が変化したか否かを判定する積載状態判断部をさらに有し、前記積載状態判断部が、少なくとも次に取り出すべきワークの周辺においてワークの積載状態が変化していないと判断したときは、次のワーク取り出し作業時には前記カメラはワークの撮像を行わず、前記ワーク検出部は前記カメラによって過去に撮像された画像からワークを検出するように構成されることを特徴とする、ワーク取り出し装置を提供する。

請求項２に記載の発明は、請求項１に記載のワーク取り出し装置において、取り出すべきワークが前記ロボットマニピュレータにより取り出される前に、前記取り出すべきワークの一部に他のワークが重なっているか否かを検出する重なり検出手段をさらに有し、前記積載状態判断部は、前記重なり検出手段が前記取り出すべきワークの一部に他のワークが重なっていることを検出したときは、前記取り出すべきワークの取り出しによってワークの積載状態が変化すると判断することを特徴とする、ワーク取り出し装置を提供する。

請求項３に記載の発明は、請求項２に記載のワーク取り出し装置において、前記ワーク選定部は、取り出すべき取り出し対象ワークに加えて該ワークの次の取り出し作業で取り出すべき次候補ワークを選定するように構成され、前記積載状態判断部は、前記次候補ワークが前記取り出し対象ワークから所定距離以上離れている場合は、前記重なり検出手段の検出結果に関わらずワークの積載状態は変化していないと判断することを特徴とする、ワーク取り出し装置を提供する。

請求項４に記載の発明は、請求項１〜３のいずれか１項に記載のワーク取り出し装置において、前記ロボットマニピュレータが取り出すべきワークを適切に把持できたか否かを検出する把持ミス検出手段をさらに有し、前記積載状態判断部は、前記把持ミス検出手段が前記取り出すべきワークが適切に把持されていないことを検出したときは、ワークの積載状態が変化していると判断することを特徴とする、ワーク取り出し装置を提供する。

請求項５に記載の発明は、請求項４に記載のワーク取り出し装置において、前記ワーク選定部は、取り出すべき取り出し対象ワークに加えて該ワークの次の取り出し作業で取り出すべき次候補ワークを選定するように構成され、前記積載状態判断部は、前記次候補ワークが前記取り出し対象ワークから所定距離以上離れている場合は、前記把持ミス検出手段の検出結果に関わらずワークの積載状態は変化していないと判断することを特徴とする、ワーク取り出し装置を提供する。

請求項６に記載の発明は、請求項１〜５のいずれか１項に記載のワーク取り出し装置において、取り出し動作中の前記ロボットマニピュレータに加わった衝撃を検出する衝撃検出手段をさらに有し、前記積載状態判断部は、前記衝撃検出手段が検出した衝撃に取り出すべきワーク以外の残りのワークが関与している場合は、ワークの積載状態が変化していると判断することを特徴とする、ワーク取り出し装置を提供する。

請求項７に記載の発明は、請求項６に記載のワーク取り出し装置において、前記ワーク選定部は、取り出すべき取り出し対象ワークに加えて該ワークの次の取り出し作業で取り出すべき次候補ワークを選定するように構成され、前記積載状態判断部は、前記次候補ワークが前記取り出し対象ワークから所定距離以上離れている場合は、前記衝突検出手段の検出結果に関わらずワークの積載状態は変化していないと判断することを特徴とする、ワーク取り出し装置を提供する。

請求項８に記載の発明は、請求項１〜７のいずれか１項に記載のワーク取り出し装置において、前記カメラがワークの撮像を新たに行うことなく所定回数連続してワークが取り出された場合は、前記積載状態判断部の判断結果に関わらず前記カメラによるワークの撮像を行うことを特徴とする、ワーク取り出し装置を提供する。

請求項９に記載の発明は、バラ積みされた複数のワークをカメラにより視野内に収まるように撮像するステップと、前記カメラが撮像した画像を記憶するステップと、記憶された画像からワークを検出するステップと、検出されたワークの中から取り出すべきワークを選定するステップと、選定されたワークをロボットマニピュレータを用いて取り出すステップと、を有するワーク取り出し方法であって、前記ロボットマニピュレータによる取り出し作業によって前記複数のワークの積載状態が変化したか否かを判定するステップと、少なくとも次に取り出すべきワークの周辺においてワークの積載状態が変化していないと判断されたときは、次のワークの取り出し作業時にはワークの撮像を行わずにそれ以前に記憶された画像からワークを検出するステップと、をさらに有することを特徴とする、ワーク取り出し方法を提供する。

本発明に係るワーク取り出し装置又は取り出し方法によれば、あるワークを取り出したときに残りのワークの積載状態が変化しているか否かを判定することができる。積載状態が変化していないと判定された場合は、次のワーク取り出し作業においてカメラによるワークの撮像を行う必要はないので、撮像のためにロボットマニピュレータをカメラの視野外に一旦移動させ、あるいは視野外に待機させる必要がなくなり、ワーク取り出しのサイクルタイムを短縮することができる。

積載状態の変化を判断する具体的要因としては、取り出すワークと他のワークとの重なり具合、マニピュレータによるワークの把持ミスの有無、マニピュレータとワークとの干渉の有無等を利用することが有利である。但し、取り出したワークと次に取り出すワークとの距離が所定距離以上離れていれば、上記要因の内容に関わらず積載状態に変化がないと判定することがさらに有利である。

またカメラがワークの撮像を新たに行うことなく連続してワークが取り出されている場合は、取り出しの所定回数毎に積載状態判断部の判断結果に関わらずカメラによるワークの撮像を行って画像を更新することにより、より確実な積載状態の判断ができるようになる。

以下、図面を参照しながら本発明を詳細に説明する。図１は、本発明の好適な実施形態に係るワーク取り出し装置１０の全体構成を示す図である。ワーク取り出し装置１０は、ワークコンテナ１２内の複数個の同種の対象物すなわちワーク１４を把持して取り出すように構成されたロボットマニピュレータ（以降、単にマニピュレータと称する）１６、マニピュレータ１６を制御するロボットコントローラ１８、ワークコンテナ１２の略真上に配置されてワーク１４を広範囲に（例えばワークコンテナ１２全体が視野内に収まるように）撮像する撮像手段すなわちビデオカメラ２０（以降、単にカメラと称する）及びカメラ２０が撮像した画像を処理する画像処理装置２２を有する。

個々のワーク１４の計測は、マニピュレータ１６の手先部に設けられた視覚センサ２４によって行われる。視覚センサ２４は例えばレーザ投光式の３次元視覚センサであり、通信回線２６によって接続された視覚センサ制御部２８によって制御される。また視覚センサ制御部２８を、通信回線２７を介して画像処理装置２２に接続することにより、所定のワーク１４の詳細な３次元位置及び姿勢を求めることができる。

ロボットコントローラ１８は、通信回線３０によって画像処理装置２２に接続されており、カメラ２０によって撮像され画像処理装置２２で処理された結果を利用してワーク１４をハンドリング（アプローチ、把持及び取り出し等の一連の作業）を行うようにマニピュレータ１６を制御する。なおロボットコントローラ１８はＣＰＵ、データメモリ、フレームメモリ、画像処理プロセッサ及びインタフェイス等を備えた周知のものでよく、故にその詳細な説明は省略する。

次に、画像処理装置２２の構成及び作用について説明する。なお画像処置装置２２もロボットコントローラ１８と同様にＣＰＵ、データメモリ、フレームメモリ、画像処理プロセッサ及びインタフェイス等を備えるが、それらのような本発明と直接関係のない要素については説明を省略する。

画像処理装置２２は、図１に示すように、カメラ２０からの撮像データの取り込みを含むカメラ制御を行うカメラ制御部２２ａと、取り込まれた撮像データを記憶するメモリすなわち画像記憶部２２ｂと、メモリ２２ｂ内の１つ又は複数の画像を抽出してその画像からワークを検出するワーク検出部２２ｃと、ワーク検出部２２ｃにより検出されたワークのうちマニピュレータ１６で取り出すべきワークを選定するワーク選定部２２ｄとを有する。またワーク検出部２２ｃには、撮像した基準となるワークの画像から抽出した特徴形状に関する情報が予め保存されていることが好ましい。画像処理装置２２の特徴は、コンテナ１２内のワーク１４の積載状態の変化の有無を判断する積載状態判断部２２ｅをさらに有することであり、この判断に基づいてワーク選定部２２ｄは取り出すべきワークを選定する。

図２は、図１のワーク取り出し装置による処理の流れを示すフローチャートである。先ずステップＳ１０１において、ビデオカメラ２０によるワーク１４の広範囲の撮像が行われ、次のステップＳ１０２において撮像された画像がメモリ２２ｂに記憶される。次のステップＳ１０３では、ワーク検出部２２ｃが、メモリ２２ｂから１つ又は複数の画像を抽出し、その又はそれらの画像に含まれるワーク（通常は複数）の検出を行う。次のステップＳ１０４では、ステップＳ１０３で少なくとも１つのワークが検出されているかを判断し、検出されていればステップＳ１０５に進み、されていなければステップＳ１０８に進む。

ステップＳ１０５では、ワーク選定部２２ｃが、ステップＳ１０３で検出されたワークのうちマニピュレータ１６を用いて取り出すのに最適なワーク（通常は１つ）を選定する。通常は、検出されたワークのうち最も高い位置にある（最も検出サイズが大きい）ワークが選定される。なおこの選定作業において、取り出しについて２番目に最適なワーク、換言すれば次の取り出し作業で選定される可能性が最も高いワークも次候補として併せて選定しておくことが好ましい。この理由については後述する。

次にステップＳ１０６において、ロボットコントローラ１８が、マニピュレータ１６を制御して選定されたワークの取り出しを行う。ここでの取り出し作業には、マニピュレータ１６の手先部に設けられた３次元視覚センサ２４の移動位置の演算、視覚センサ２４による選定されたワークの３次元位置及び姿勢の計測、並びにマニピュレータ１６による選定されたワークの把持が含まれる。

次のステップＳ１０７では、マニピュレータ１６によるワークの取り出しの前後において、コンテナ１２内のワーク１４の積載状態に変化があったか否かを積載状態判断部２２ｅにより判定する。詳細には、ステップＳ１０７ａにおいて、取り出し対象として選定されたワークの一部に他のワークが重なっているか（乗り上げているか）否かの計測を視覚センサ２４により行う。重なりがある場合は、選定されたワークを取り出す際に重なっている他のワークの位置又は姿勢が変化してしまう可能性が高いので、積載状態に変化ありと判定される。

またステップＳ１０７ｂでは、マニピュレータ１６のハンドによってワークの把持が適切に行われたか否か（いわゆる把持ミスがあったか否か）を判定する。具体的には、ハンドチャックの確認センサや、ハンドが吸盤を用いるタイプの場合は吸着確認センサが使用される。あるいは、ハンドに対してワークが正しい位置にあるかを検出する近接センサ３２等も使用可能である。これらの把持ミス検出手段によってワークの把持ミスを検知することができ、把持ミスがなければ、取り出しの際に他のワークの位置又は姿勢に影響を与えた可能性は低いので、コンテナ内の残りのワークの積載状態に変化はないと判定される。

さらにステップＳ１０７ｃでは、ロボットコントローラ１８に設けられた外乱値検出手段を用いて、取り出し動作時にマニピュレータ１６に加わった外力を検出することができる。外乱値検出手段は、例えばマニピュレータ１６の関節軸を駆動するモータにかかる負荷の急激な変化を、該モータに流れる電流の急激な変化に基づいて検出する手段である。これは周知の技術であるので、詳細な説明はここでは省略する。また、マニピュレータ１６に設けられた加速度センサや衝撃センサ３４等の衝撃検出手段を用いて、マニピュレータ１６に加わった外力を検出することも可能である。何らかの外力（衝撃）が加わった場合、そのときのマニピュレータの姿勢やハンドのＴＣＰ（Tool Center Point）の位置等から、その衝撃がマニピュレータ又は把持されたワークとコンテナ内の残りのワークとの干渉によるものか、他の周辺機器との干渉によるものかを判定することができる。ステップＳ１０７ｃでは、コンテナ内の残りのワークが衝撃に関与している場合は積載状態に変化が生じる可能性が高いと考えられることから、積載状態に変化ありと判定する。

上述のステップＳ１０７ａ〜ｃのうち１つでも積載状態に変化ありと判定された場合は、ステップＳ１０１に戻ってカメラ２０による撮像からやり直すことが確実性の点からは好ましい。しかし、取り出し対象として選定されたワークのコンテナ内での位置が前回取り出されたワークの位置と所定距離以上離れている場合は、前回の取り出し作業時にワークの重なりや把持ミス、衝撃等があったとしても、今回取り出すべきワークの位置及び姿勢は変化していない可能性が高い。従って、上述のステップＳ１０５でワークの次候補を選定しておけば、Ｓ１０７ａ〜ｃでの判定結果に関わらず、カメラ２０による新たな撮像を不要とすることができる場合がある。具体的には、ステップＳ１０７ｄにおいて、カメラ２０による画像を複数の区域に仮想的に分割し、今回取り出したワークと次回取り出すべきワークとが同一の区域又は互いに隣接する区域内に含まれていない場合には、次回取り出すワーク及びその周辺の積載状態は今回の取り出し動作による影響を受けないと判断することができる。なおステップＳ１０７ｄはステップＳ１０７ａの前に行ってもよい。その場合、Ｓ１０７ｄで今回取り出したワークと次回取り出すべきワークとの距離が所定距離未満である場合にステップＳ１０７ａ以降が実行される。

ステップＳ１０７において、少なくとも次回取り出すワークの周辺では積載状態に変化がないと判定された場合（詳細にはステップＳ１０７ａ〜ｃにおいていずれもワークの積載状態に変化がないと判定された場合、あるいはステップＳ１０５ｄにおいて次回取り出すワークの周辺では積載状態に変化がないと判定された場合）には、ステップＳ１０３に戻り、メモリ２２ｂに保存された過去（例えば最新）の抽出画像を用いて次のワークの検出を行う。但し、直前に取り出されたワークは無論検出対象から除外される。従ってこの場合は、カメラ２０による新たな撮像の必要がないので、マニピュレータ１６をカメラ２０の視野外へ一時的に移動させる必要がなく、サイクルタイムの削減が図られる。一方、ワークの積載状態が変化していると判定された場合は、ステップＳ１０１に戻ってカメラ２０による撮像からやり直す。

なお、図２に示すフローではステップＳ１０７ａ〜ｄの全てが行われるが、ワークの大きさや形状、要求される積載状態の判断のレベル等に応じて、そのうちの１つ又はいくつかを適宜組み合わせて実行することも無論可能である。

上述のように、カメラ２０による撮像回数はなるべく少なくすることがサイクルタイム短縮の観点からは望ましいが、カメラによる撮像を行うことなくワークを取り続けていくと、カメラ画像と実際の状態との乖離が大きくなり、積載状態の変化の判定が不適切となる可能性も否定できない。そこで、カメラによる撮像を行わずに次のワークを取り出す作業が所定回数（例えば５回）連続した場合は、積載状態の判定結果に関わらずステップＳ１０１に戻り、カメラによる撮像を再度行い、メモリ内の画像を更新することが好ましい。

一方、ステップＳ１０４において取り出し可能なワークが検出されなかった場合は、ステップＳ１０８に進んで所定の終了条件（例えば取り出されたワークが所定数に達したか否か）を満たしているかを判定する。満たしていなければ、直前の画像内には取り出し可能なワークがもはや含まれていないことを意味するので、ステップＳ１０１に戻ってカメラ２０による撮像をやり直す。終了条件が満たされていれば、一連の取り出し作業は終了する。

また明らかなことであるが、ステップＳ１０５において取り出し対象として選定されたワークが、視覚センサ２４による計測結果等の何らかの理由で取り出し不可能と判断された場合は、当然ワークの積載状態は変化しないので、ステップＳ１０７によって変化なしと判定された場合と同様の扱いとすることができる。

本発明に係るワーク取り出し装置の概略構成を示す図である。 ワーク取り出し作業の手順の好適例を示すフローチャートである。

符号の説明

１０ ワーク取り出し装置
１２ コンテナ
１４ ワーク
１６ マニピュレータ
１８ ロボットコントローラ
２０ ビデオカメラ
２２ａ カメラ制御部
２２ｂ メモリ
２２ｃ ワーク検出部
２２ｄ ワーク選定部
２２ｅ 積載状態判断部
２２ 画像処理装置
２４ 視覚センサ
２６、２７、３０ 通信回線
２８ 視覚センサ制御部
３２ 近接センサ
３４ 衝撃センサ

Claims (9)

1. バラ積みされた同種の複数のワークを視野内に収まるように撮像するカメラと、
   前記カメラが撮像した画像を記憶するメモリと、
   前記メモリに記憶された画像からワークを検出するワーク検出部と、
   前記ワーク検出部によって検出されたワークの中から取り出すべきワークを選定するワーク選定部と、
   前記ワーク選定部により選定されたワークを取り出すロボットマニピュレータと、を有するワーク取り出し装置であって、
   前記ロボットマニピュレータによる取り出し作業によって前記複数のワークの積載状態が変化したか否かを判定する積載状態判断部をさらに有し、
   前記積載状態判断部が、少なくとも次に取り出すべきワークの周辺においてワークの積載状態が変化していないと判断したときは、次のワーク取り出し作業時には前記カメラはワークの撮像を行わず、前記ワーク検出部は前記カメラによって過去に撮像された画像からワークを検出するように構成されることを特徴とする、ワーク取り出し装置。
2. 取り出すべきワークが前記ロボットマニピュレータにより取り出される前に、前記取り出すべきワークの一部に他のワークが重なっているか否かを検出する重なり検出手段をさらに有し、前記積載状態判断部は、前記重なり検出手段が前記取り出すべきワークの一部に他のワークが重なっていることを検出したときは、前記取り出すべきワークの取り出しによってワークの積載状態が変化すると判断することを特徴とする、請求項１に記載のワーク取り出し装置。
3. 前記ワーク選定部は、取り出すべき取り出し対象ワークに加えて該ワークの次の取り出し作業で取り出すべき次候補ワークを選定するように構成され、前記積載状態判断部は、前記次候補ワークが前記取り出し対象ワークから所定距離以上離れている場合は、前記重なり検出手段の検出結果に関わらずワークの積載状態は変化していないと判断することを特徴とする、請求項２に記載のワーク取り出し装置。
4. 前記ロボットマニピュレータが取り出すべきワークを適切に把持できたか否かを検出する把持ミス検出手段をさらに有し、前記積載状態判断部は、前記把持ミス検出手段が前記取り出すべきワークが適切に把持されていないことを検出したときは、ワークの積載状態が変化していると判断することを特徴とする、請求項１〜３のいずれか１項に記載のワーク取り出し装置。
5. 前記ワーク選定部は、取り出すべき取り出し対象ワークに加えて該ワークの次の取り出し作業で取り出すべき次候補ワークを選定するように構成され、前記積載状態判断部は、前記次候補ワークが前記取り出し対象ワークから所定距離以上離れている場合は、前記把持ミス検出手段の検出結果に関わらずワークの積載状態は変化していないと判断することを特徴とする、請求項４に記載のワーク取り出し装置。
6. 取り出し動作中の前記ロボットマニピュレータに加わった衝撃を検出する衝撃検出手段をさらに有し、前記積載状態判断部は、前記衝撃検出手段が検出した衝撃に取り出すべきワーク以外の残りのワークが関与している場合は、ワークの積載状態が変化していると判断することを特徴とする、請求項１〜５のいずれか１項に記載のワーク取り出し装置。
7. 前記ワーク選定部は、取り出すべき取り出し対象ワークに加えて該ワークの次の取り出し作業で取り出すべき次候補ワークを選定するように構成され、前記積載状態判断部は、前記次候補ワークが前記取り出し対象ワークから所定距離以上離れている場合は、前記衝突検出手段の検出結果に関わらずワークの積載状態は変化していないと判断することを特徴とする、請求項６に記載のワーク取り出し装置。
8. 前記カメラがワークの撮像を新たに行うことなく所定回数連続してワークが取り出された場合は、前記積載状態判断部の判断結果に関わらず前記カメラによるワークの撮像を行うことを特徴とする、請求項１〜７のいずれか１項に記載のワーク取り出し装置。
9. バラ積みされた同種の複数のワークをカメラにより視野内に収まるように撮像するステップと、
   前記カメラが撮像した画像を記憶するステップと、
   記憶された画像からワークを検出するステップと、
   検出されたワークの中から取り出すべきワークを選定するステップと、
   選定されたワークをロボットマニピュレータを用いて取り出すステップと、を有するワーク取り出し方法であって、
   前記ロボットマニピュレータによる取り出し作業によって前記複数のワークの積載状態が変化したか否かを判定するステップと、
   少なくとも次に取り出すべきワークの周辺においてワークの積載状態が変化していないと判断されたときは、次のワークの取り出し作業時にはワークの撮像を行わずにそれ以前に記憶された画像からワークを検出するステップと、
   をさらに有することを特徴とする、ワーク取り出し方法。

Images