JP6088563B2 - 位置及び姿勢の変換演算機能を備えたワーク取出しロボットシステム、及びワーク取出し方法 - Google Patents

Description

本発明は、ロボットで取り出すべきワークの位置及び姿勢に関する変換演算機能を備えたワーク取出しロボットシステム、並びに該変換演算を行いワークを取り出す取出し方法に関する。

一般に、バラ積み（積載）された複数のワークを、ロボットが１つずつ取出すロボットシステムでは、ワークの位置及び姿勢（以降、位置姿勢とも称する）をセンサで検出し、ロボットが検出した位置姿勢にハンドを移動しワークを保持して取出す。これに関する周知技術例として、特許文献１には、ワークコンテナ内の複数個の同種のワークを把持して取出すように構成されたロボット、該ロボットを制御するロボットコントローラ、ワークコンテナの略真上に配置されてワークを広範囲に撮像するビデオカメラ、及び該ビデオカメラが撮像した画像を処理する画像処理装置を有するワーク取出し装置が記載されている。

また特許文献２には、教示作業に要する時間を短縮するために、ワークの形状データから、ロボットハンドによるワークの把持候補位置を自動的に選出し、選出された把持候補位置に基づいて、ロボットハンドがワークにアプローチする把持経路を生成することを企図した装置及び方法が記載されている。

さらに特許文献３には、ロボットの作業計画装置が開示されており、ここでは、対象物の初期状態及び目標状態とロボットハンドの幾何学形状等に基づいて、対象物を把握及び載置可能な載置把握候補を算出し、算出された載置把握候補の把握位置を中心とした空間錐の中から障害物と干渉しない開放空間錐を選択し、選択された各開放空間錐について非開放空間錐からの距離を求め、この結果に基づいて載置把握候補の中から把握作業を行う際の作業空間の最も広い載置把握位置姿勢を選択する、と記載されている。

特開２００７−２０３４０６号公報 特開２００８−２７２８８６号公報 特開平０５−１０４４６５号公報

多くの場合、ワークの位置姿勢を検出するセンサは、積載されたワークを全て検出できるように、該ワークの上方に設置される。従って、積載されたワークの中から複数の検出結果が取得でき、その中から取出すワークの優先順位を定め、その優先順位に従ってロボットがワークを取出すことができる。しかしこのような処理は、ワークを上方から撮像した結果（画像）に基づいて行われるため、最も上方に位置するワークがハンドとコンテナとが干渉する等の理由で取出すことができない場合、そのすぐ下方にあるワークも最も上方のワークが邪魔になり取出すことができず、結果として複数のワークが取り残しとなってしまうという問題がある（後述する図４ａ〜図６ｂ参照）。

上述の特許文献１〜３等に記載の構成において、上記問題を解決するためには、予め登録したワークの幾何形状から把持位置を算出する方法や、検出されたワークと予め登録したワークの３次元モデルとのマッチングを行う方法により、ロボットが干渉せずに把持可能なワークの部位を特定することは可能である。しかし、このような方法では、ワークの３次元モデルを事前に登録・記憶する作業等が必要であり、特にワークの品種が多種に及び場合は多大な手間となる。

そこで本発明は、バラ積みされた複数のワークを逐次的にロボットで取出す際に、簡易な計算で容易に干渉回避でき、効率的に取出しが行えるワーク取出しロボットシステム及びワーク取出し方法を提供することを目的とする。

上記目的を達成するために、本願第１の発明は、バラ積みされた複数のワークを取出すワーク取出しロボットシステムであって、前記複数のワークの高さ分布に関する情報を取得する視覚センサと、前記ワークを把持可能なハンドを有するロボットと、前記視角センサによって取得されたワークの高さ分布に関する情報に基づいてワークの第１の位置姿勢を求め、前記第１の位置姿勢に基づいて、前記ハンドによってワークを取出すための前記ロボットの動作を求める機能を備えた演算装置と、前記演算装置により求められた前記ロボットの動作に基づいて前記ハンドを移動させ、取出し対象のワークを取出すように前記ロボットを制御するロボット制御装置と、を備え、前記演算装置は、前記第１の位置姿勢を、ワークの形状に基づいて定められる姿勢変換情報に基づいて第２の位置姿勢に変換する変換演算を行う機能を有し、前記変換演算を行った場合は前記第２の位置姿勢に基づいて、前記ハンドによってワークを取出すための前記ロボットの動作を求める、ワーク取出しロボットシステムを提供する。

第２の発明は、第１の発明において、前記姿勢変換情報は、前記ワークの半径及び前記ワークの中心軸線回りの回転角度である、ワーク取出しロボットシステムを提供する。

第３の発明は、第１又は第２の発明において、前記姿勢変換情報を数値で指定又は入力できるようにした、ワーク取出しロボットシステムを提供する。

第４の発明は、第１〜第３のいずれか１つの発明において、前記演算装置は、前記第１の位置姿勢に基づいて求めた前記ロボットの動作に基づいて前記ハンドを移動させると前記ロボットが取出し対象のワーク以外の物体と干渉する場合に、前記第１の位置姿勢を前記第２の位置姿勢に変換する、ワーク取出しロボットシステムを提供する。

第５の発明は、バラ積みされた複数のワークを、ハンドを備えたロボットによって取出す方法であって、前記複数のワークの高さ分布に関する情報を取得することと、前記ワークの高さ分布に関する情報に基づいてワークの第１の位置姿勢を求めることと、前記第１の位置姿勢を、ワークの形状に基づいて定められる姿勢変換情報に基づいて第２の位置姿勢に変換する変換演算を行うことと、前記第２の位置姿勢に基づいて、前記ハンドによってワークを取出すための前記ロボットの動作を求めることと、求められた前記ロボットの動作に基づいて前記ハンドを移動させ、取出し対象のワークを取出すように前記ロボットを制御することと、を含むワーク取出し方法を提供する。

第６の発明は、第５の発明において、前記姿勢変換情報は、前記ワークの半径及び前記ワークの中心軸線回りの回転角度である、ワーク取出し方法を提供する。

第７の発明は、第５又は第６の発明において、前記姿勢変換情報を数値で指定又は入力することを含む、ワーク取出し方法を提供する。

第８の発明は、第５〜第７のいずれか１つの発明において、前記第１の位置姿勢に基づいて求めた前記ロボットの動作に基づいて前記ハンドを移動させたときに、前記ロボットが取出し対象のワーク以外の物体との干渉を判定することを含む、ワーク取出しワーク取出し方法を提供する。

本発明によれば、視覚センサで得られた高さ分布に基づいて求めたワークの第１の位置姿勢を、姿勢変換情報に基づいて簡単に第２の位置姿勢に変換できるので、干渉を生じずにロボットでワークを取出す動作を、複雑な計算をせずに求めることができる。

本発明の一実施形態に係るワーク取出しロボットシステムの概略構成を示す図である。 複数のワークがコンテナ内にバラ積みされた状態の一例を示す図である。 コンテナの上方に配置されたカメラでワークを撮像して得られる画像の一例である。 従来の方法で最上段のワークをロボットで取出す場合を示す図である。 図４ａのＡ部の部分拡大図である。 従来の方法で２段目のワークをロボットで取出す場合を示す図である。 図５ａのＢ部の部分拡大図である。 従来の方法で３段目のワークをロボットで取出す場合を示す図である。 図６ａのＣ部の部分拡大図である。 ワークが円柱形状の場合の変換演算の一例を説明する図である。 図７の変換演算結果に基づいて、ロボットで対象ワークを取出す例を示す図である。

図１は、本願発明の好適な実施形態に係るワーク取出しロボットシステム１０の概略構成を示す図である。ロボットシステム１０は、ロボット１２と、ロボット１２を制御するロボット制御装置１４と、ロボット制御装置１４に接続された視覚センサ（カメラ）１６とを有し、複数の（図示例では同種の）ワーク１８がバラ積み（山積み）されたコンテナ（箱）２０からワーク１８を１つずつ把持して取り出すために使用される。

ロボット１２は、ロボットアーム２２等の可動部と、ロボットアーム２２の先端に取り付けられたロボットハンド２４等のワーク把持部とを有し、ロボットハンド２４はコンテナ２０内のワーク１８（図示例では、略円柱形状のワーク１８の側面）を把持できるように構成されている。なおここでの「把持」には、挟持の他、磁力や減圧を利用した吸着等、（通常は１つの）ワークを保持できる如何なる形態も含まれるものとする。

カメラ１６は、コンテナ２０内に積載されたワーク１８の２次元画像を撮像することができる。得られた２次元画像は、画像処理機能を備えたロボット制御装置１４、又は他の画像処理装置に送られて処理され、これにより各ワークの位置姿勢が検出される。なお図示例では、カメラ１６は専用の架台２６等の固定位置に、その視野内にコンテナ２０全体が入るように設置されているが、ロボットアーム２２又はロボットハンド２４等の可動部に取り付けてもよい。

図２は、複数のワーク１８がコンテナ２０内にバラ積みされた状態の一例を示しており、ここでは、複数のワーク１８のうち、ワーク１８ａが最も上方（最上段）に位置し、ワーク１８ｂが部分的にワーク１８ａの下方（２段目）に位置し、さらにワーク１８ｃが部分的にワーク１８ｂの下方（３段目）に位置しているものとする。換言すれば、図３に示すように、コンテナ２０の上方に配置されたカメラ１６でコンテナ２０内を撮像した場合、ワーク１８ａとワーク１８ｂとが部分的に重なり（ワーク１８ａが上側）、ワーク１８ｂとワーク１８ｃとが部分的に重なっている（ワーク１８ｂが上側）画像が得られることになる。

また図２は、カメラ１６によって得られる各ワーク表面の高さ分布に関する情報に基づいて、ワーク毎に検出位置を求めた状態を示している。図示例では、カメラ１６によって得られた画像の画像処理結果に基づいて、ワーク１８ａ、１８ｂ及び１８ｃの円筒状側面上に検出座標系２８ａ、２８ｂ及び２８ｃがそれぞれ規定されており、ロボット制御装置１４はこれらの検出座標系（ワークの位置姿勢）に基づいて、ワークを取出すためのロボットの動作を求めることができる。なお各座標系のＸ方向は各ワークの軸方向に平行であり、Ｚ方向は各ワークの半径方向と一致しており、Ｙ方向はＸ方向及びＺ方向の双方に垂直な方向となっている。

図４ａ〜図６ｂは、本発明との比較例として、従来の方法でワーク１８ａ〜１８ｃをロボットで取出す場合を示す。上述のように、ワーク１８ａ〜１８ｃのうちワーク１８ａが最上段に位置しているので、ロボット制御装置１４は先ず、最上段のワーク１８ａを取り出すためのロボット１２の動作を求める。しかし、図４ａ及び図４ａの部分拡大図である図４ｂに示すように、ハンド２４がコンテナ２０と干渉するためにワーク１８ａが取り出せない場合がある。

するとロボット制御装置１４は、２段目のワーク１８ｂを取り出すためのロボット１２の動作を求める。しかし、図５ａ及び図５ａの部分拡大図である図５ｂに示すように、ハンド２４が最上段のワーク１８ａと干渉するためにワーク１８ｂが取り出せないことがある。するとさらにロボット制御装置１４は、３段目のワーク１８ｃを取り出すためのロボット１２の動作を求める。しかし、図６ａ及び図６ａの部分拡大図である図６ｂに示すように、ハンド２４が２段目のワーク１８ｂと干渉するためにワーク１８ｃが取り出せない場合がある。

このように、従来の方法では、各ワークを上方から撮像するために各ワークの上部（側面のうち上側の部位）に検出座標系が設定されるので、これに基づいてワークを取り出そうとすると、コンテナ２０や対象ワークの上に重なっているワークとハンド２４との間の干渉によって、ワーク１８ａ〜１８ｃのいずれについてもロボットの動作が決定できない（ワークの取り残しが発生する）場合がある。

そこでロボットシステム１０は、カメラ１６により得られた画像の画像処理によってワーク１８の表面上に規定された第１の検出座標系（第１の位置姿勢）を、ワーク１８の形状に基づいて定められる姿勢変換情報（後述）に基づいて、ロボットと取出し対象ワーク以外の物体との干渉が生じない第２の検出座標系（第２の位置姿勢）に変換する変換演算を行う演算装置を有し、（本実施形態では、ロボット制御装置１４が該演算装置又はその機能を具備する）。変換演算が行われた場合は第２の検出座標系に基づいてロボット１２の動作制御が行われる。以下、その具体例を説明する。

図７は、ワーク１８が円柱形状を有する場合の、変換演算の一例を説明する図である。先ず、カメラ１６により得られたワーク１８の高さ分布に関する情報に基づいて、ワーク１８の表面（側面）上に、ロボットの取出し動作を定めるための第１の検出座標系３０を規定する。ここで、第１の検出座標系３０の原点はワーク１８の側面上にあり、そのＸ軸はワーク１８の軸方向に平行であり、Ｙ軸及びＺ軸はそれぞれ、ワーク１８の接線方向及び半径方向（法線方向）に延びる。また図７に記載の平面３２は、ロボット１２の動作決定や補正に使用する座標系（ロボット座標系３４（図１参照））のＸ−Ｙ面を表す。

ここで、図７からわかるように、第１の検出座標系３０のＸ−Ｚ平面３６は、ロボット座標系のＸ−Ｙ平面３２に対して垂直であるとは限らない。そこで、第１の検出座標系３０を、そのＺ軸のマイナス方向に所定量（ここではワーク１８の半径に相当する距離Ｒ）だけ平行移動させた後、Ｘ−Ｚ平面３６とロボット座標系のＸ−Ｙ平面３２とがなす角度が垂直になるように、ワーク１８のＸ軸３８回りにＸ−Ｚ平面３６を回転して得られる座標系をワーク座標系４０とする。この結果、Ｘ−Ｚ平面３６はＸ−Ｚ平面４２に回転移動する。

次に、ワーク座標系４０（Ｘ−Ｚ平面４２）を、そのＸ軸回りに目標角度θだけ回転させ、その後、ワーク座標系４０をＺ軸のプラス方向にワーク１８の半径Ｒだけ平行移動させ、得られた座標系を第２の検出座標系４４として出力する。この結果、Ｘ−Ｚ平面４２はＸ−Ｚ平面４６に回転移動する。つまり、第２の検出座標系４４は、第１の検出座標系３０を、ワーク座標系４０のＸ軸回りに回転移動させたものに相当し、図７での目標角度θは、第１の検出座標系３０におけるＸ−Ｚ平面３６とロボット座標系のＸ−Ｙ平面３２とがなす角度である。

図８は、図２におけるワーク１８ｂに対して、図７を用いて説明した変換演算によって得られた第２の検出座標系４４に基づいてロボット１２の取出し動作を求め、これに基づいてロボット１２を制御した例を示す図である。図２又は図３に示したように、従来ではワーク１８ｂの上方に第１の検出座標系が設定され、これに基づいてロボット１２を動作させるとハンド２４がワーク１８ａと干渉していたが、本発明によれば、第１の検出座標系がワーク１８ｂの側方の第２の検出座標系に変換されるので、これに基づいてロボット１２を動作させることにより、干渉なくワーク１８ｂを取出すことができるようになる。

このように本発明では、ワークの半径と目標角度を指定・入力しておくだけで、ワークに規定された検出座標系を、ロボットが取出す際に干渉が生じ難い位置に簡単に移動（変換）することができる。なお図８の例では、最上段のワーク１８ａが干渉によって取出しできない場合に２段目のワーク１８ｂに関する変換演算を行っているが、その前に最上段のワーク１８ａについて変換演算を行ってもよい。但し、２段目のワーク１８ｂの取出しが成功すれば、最上段のワーク１８ａの位置姿勢は変化する（荷崩れする）ので、最上段のワーク１８ａが従来の方法で取出しできない場合（図４ａ）は直ちに２段目のワーク１８ｂの取出しを行うことが好ましい。

上述の目標角度は、制御装置１４等に設けた適当な入力装置を介してオペレータが数値で指定又は入力してもよいし、制御装置１４等に設けた適当なディスプレイを介した視覚的操作によってオペレータが指定又は入力してもよい。或いは、適当な角度の刻み幅（例えば５〜１０°）を予め定めておき、干渉が生じる場合はその刻み幅だけ検出座標系を回転させて干渉の有無を再度チェックする、という処理を干渉がなくなるまで自動で行うこともできる。この場合、目標角度を予め指定又は入力しなくとも、自動で変換演算を行うことが可能である。

変換演算は、コンテナ又は取出し対象以外のワークとロボットとの干渉が生じると判定された場合に行ってもよいが、干渉の有無を判定することなく姿勢変換情報（ワークの半径や目標角度）に従って変換演算を行ってもよい。その場合は、目標角度は予めオペレータが設定しておくことが好ましい。

上述の実施形態では、ワークが円柱形状であり、姿勢変換情報がワークの半径及び目標角度（ワークの中心軸線回りの回転角度）である場合を説明したが、本発明はこれに限られない。例えば、ワークがボルトのような略円柱形状を部分的に有する場合も、その略円柱状部分について図８の例と同様の方法で変換演算が可能である。またワークが角柱形状を有する場合は、ワークの半径として相当半径（相当直径の１／２）又はワーク表面と中心軸線との最短距離を利用すれば、図８と同様の処理が可能である。さらに、またロボットハンドとして、ワーク把持部が球面であって実質点接触によってワークを吸引するタイプや、フローティング機構を介して吸盤を具備するタイプのものを使用すれば、ワークの形状が厳密な円柱ではない場合であっても、ワークを円柱に近似すれば本発明が適用可能である。このように本発明では、ワークの「半径」なる語は、ワークが円柱である（又は円柱を部分的に有する）場合に加え、ワークを円柱に近似した場合の該円柱の半径も含まれるものとする。

１０ ロボットシステム
１２ ロボット
１４ ロボット制御装置
１６ カメラ
１８、１８ａ、１８ｂ、１８ｃ ワーク
２０ コンテナ
２２ ロボットアーム
２４ ロボットハンド
２６ 架台
２８ａ、２８ｂ、２８ｃ 検出座標系
３０ 第１の検出座標系
３４ ロボット座標系
４０ ワーク座標系
４４ 第２の検出座標系

Claims (4)

1. バラ積みされた複数の、円柱形状を有するワークを取出すワーク取出しロボットシステムであって、
   前記複数のワークの高さ分布に関する情報を取得する視覚センサと、
   前記ワークを把持可能なハンドを有するロボットと、
   前記視覚センサによって取得されたワークの高さ分布に関する情報に基づいてワークの表面上に規定された第１の検出座標系を求め、前記第１の検出座標系に基づいて、前記ハンドによってワークを取出すための前記ロボットの動作を求める機能を備えた演算装置と、
   前記演算装置により求められた前記ロボットの動作に基づいて前記ハンドを移動させ、取出し対象のワークを取出すように前記ロボットを制御するロボット制御装置と、を備え、
   前記演算装置は、前記第１の検出座標系を、前記ワークの中心軸線回りの回転移動によって第２の検出座標系に変換する変換演算を行う機能を有し、前記変換演算を行った場合は前記第２の検出座標系に基づいて、前記ハンドによってワークを取出すための前記ロボットの動作を求め、
   前記ワークの半径及び前記ワークの中心軸線回りの回転角度を数値で指定又は入力できるようにした、ワーク取出しロボットシステム。
2. 前記演算装置は、前記第１の検出座標系に基づいて求めた前記ロボットの動作に基づいて前記ハンドを移動させると前記ロボットが取出し対象のワーク以外の物体と干渉する場合に、前記第１の検出座標系を前記第２の検出座標系に変換する、請求項１に記載のワーク取出しロボットシステム。
3. バラ積みされた複数の、円柱形状を有するワークを、ハンドを備えたロボットによって取出す方法であって、
   前記複数のワークの高さ分布に関する情報を取得することと、
   前記ワークの高さ分布に関する情報に基づいてワークの表面上に規定された第１の検出座標系を求めることと、
   前記第１の検出座標系を、前記ワークの中心軸線回りの回転移動によって第２の検出座標系に変換する変換演算を行うことと、
   前記第２の検出座標系に基づいて、前記ハンドによってワークを取出すための前記ロボットの動作を求めることと、
   求められた前記ロボットの動作に基づいて前記ハンドを移動させ、取出し対象のワークを取出すように前記ロボットを制御することと、
   前記ワークの半径及び前記ワークの中心軸線回りの回転角度を数値で指定又は入力することと、を含むワーク取出し方法。
4. 前記第１の検出座標系に基づいて求めた前記ロボットの動作に基づいて前記ハンドを移動させたときに、前記ロボットが取出し対象のワーク以外の物体との干渉を判定することを含む、請求項３に記載のワーク取出し方法。

Images