JP5642759B2

JP5642759B2 - 物品取出装置及び物品取出方法

Info

Publication number: JP5642759B2
Application number: JP2012240501A
Authority: JP
Inventors: 伴　一訓; 一訓伴
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2012-10-31
Filing date: 2012-10-31
Publication date: 2014-12-17
Anticipated expiration: 2032-10-31
Also published as: US9604363B2; DE102013018222B4; US20140121836A1; DE102013018222A1; CN103786153A; JP2014087913A; CN103786153B

Description

本発明は、容器内において不規則に積重ねられた複数の物品から物品をロボットによって取出すための物品取出装置及び物品取出方法に関する。

容器内において不規則に積重ねられた複数の物品から物品を順次取出す取出工程の自動化に関して、種々の手法が学術界及び産業界から提案されている。近年、コンピュータの処理能力の向上及び画像処理技術の進歩に伴って、より実用性の高い手法が出現している。例えば特許文献１は、取出されるべき物品の３次元位置及び姿勢を計測する前に、不規則に積重ねられた複数の物品の概略的な高さ分布を計測して取出されるべき物品を決定することを開示している。

特開２００４−１８８５６２号公報特許第４１７４３４２号公報

物品の取出工程の自動化を可能にする実用的な物品取出装置及び物品取出方法が望まれている。

本願に係る１番目の発明によれば、容器内において不規則に積重ねられた複数の物品から１つの対象物品をロボットによって取出すとともに、取出された前記対象物品を所定の姿勢で目標位置に載置する物品取出装置であって、前記ロボットは、前記対象物品を解放可能に保持する保持部を備えており、当該物品取出装置は、前記容器内における前記複数の物品の高さ分布に関する情報を取得する第１の視覚センサと、前記第１の視覚センサによって取得される前記高さ分布に関する情報に基づいて、前記容器内において周囲の物品よりも高所にある対象物品の概略位置に関する情報を取得する概略位置取得部と、前記概略位置取得部によって取得される前記対象物品の前記概略位置に関する情報に基づいて、前記対象物品が前記保持部によって保持され得るように前記ロボットを制御する取出動作制御部と、前記保持部によって保持されている状態の前記対象物品を計測し、前記保持部に対する前記対象物品の相対的位置姿勢に関する情報を取得する第２の視覚センサと、前記第２の視覚センサによって取得される前記対象物品の前記相対的位置姿勢に基づいて、前記保持部によって保持されている状態の前記対象物品を前記目標位置に対して所定の相対的位置姿勢関係になるように前記ロボットを制御する載置動作制御部と、を備える、物品取出装置が提供される。

本願に係る２番目の発明によれば、１番目の発明において、前記第２の視覚センサが２次元カメラである、物品取出装置が提供される。

本願に係る３番目の発明によれば、１番目の発明において、前記第２の視覚センサが３次元視覚センサである、物品取出装置が提供される。

本願に係る４番目の発明によれば、１番目から３番目のいずれかの発明において、前記対象物品を保持していない状態における前記保持部に対応していて前記第２の視覚センサによって取得される第１の情報を記憶する保持部情報記憶部と、前記第１の情報及び前記第２の視覚センサによって取得される前記対象物品を保持している状態における前記保持部に対応する第２の情報に基づいて、前記対象物品の前記相対的位置姿勢を計算する相対的位置姿勢計算部と、をさらに備える、物品取出装置が提供される。

本願に係る５番目の発明によれば、容器内において不規則に積重ねられた複数の物品から１つの対象物品をロボットによって取出すとともに、取出された前記対象物品を所定の姿勢で目標位置に載置する物品取出方法であって、前記ロボットは、前記対象物品を解放可能に保持する保持部を備えており、当該物品取出方法は、第１の視覚センサによって、前記容器内における前記複数の物品の高さ分布に関する情報を取得し、前記第１の視覚センサによって取得される前記高さ分布に関する情報に基づいて、前記容器内において周囲の物品よりも高所にある対象物品の概略位置に関する情報を取得し、前記対象物品の前記概略位置に関する情報に基づいて、前記対象物品が前記保持部によって保持され得るように前記ロボットを制御し、第２の視覚センサによって、前記保持部によって保持されている状態の前記対象物品を計測し、前記保持部に対する前記対象物品の相対的位置姿勢に関する情報を取得し、前記第２の視覚センサによって取得される前記対象物品の前記相対的位置姿勢に基づいて、前記保持部によって保持されている状態の前記対象物品を前記目標位置に対して所定の相対的位置姿勢関係になるように前記ロボットを制御することを含む、物品取出方法が提供される。

本願に係る６番目の発明によれば、５番目の発明において、前記第２の視覚センサが２次元カメラである、物品取出方法が提供される。

本願に係る７番目の発明によれば、５番目の発明において、前記第２の視覚センサが３次元視覚センサである、物品取出方法が提供される。

本願に係る８番目の発明によれば、５番目から７番目のいずれかの発明において、前記保持部に対する前記対象物品の前記相対的位置姿勢に関する情報を取得する際に、前記第２の視覚センサによって予め取得され、記憶されていた前記対象物品を保持していない状態における前記保持部に対応する第１の情報を読出し、前記第１の情報と、前記第２の視覚センサによって取得される前記対象物品を保持している状態における前記保持部に対応する第２の情報と、に基づいて、前記対象物品の前記相対的位置姿勢を計算することをさらに含む、物品取出方法が提供される。

すなわち、上記構成を有する物品取出装置及び物品取出方法によれば、対象物品がロボットによって保持された状態において、ロボットの保持部に対する対象物品の相対的位置姿勢が第２の視覚センサによって計測される。したがって、対象物品がロボットによって保持される前に対象物品の位置姿勢を正確に計測する必要がない。また、正確な３次元位置姿勢の計測は、ロボットによって保持された状態の１つの対象物品のみを対象として実行される。それにより、多数の対象物品を一度に３次元位置姿勢を計測する場合に比べて計測処理が容易になり、計測精度が安定する。その結果、対象物品の所定位置への載置工程の精度が向上する。さらに膨大な量の３次元情報の処理を実行する必要もなく、計算に要する時間が短縮されるので、処理効率が向上する。

本発明の実施形態に係るロボットシステムを概略的に示す側面図である。本発明の実施形態に係るロボットシステムを概略的に示す側面図である。本発明の実施形態に係るロボットシステムを概略的に示す側面図である。ワークが収容された容器を拡大して示す拡大図である。ワークが収容された容器を拡大して示す拡大図である。エンドエフェクタによって保持された状態の対象ワークの例を示す部分拡大図である。エンドエフェクタによって保持された状態の対象ワークの例を示す部分拡大図である。第２の視覚センサによって取得される画像の例を示す図である。別の実施形態において、エンドエフェクタを用いて対象ワークを保持する際の過程を示す図である。ロボットシステムの処理部の機能ブロックを示す図である。相対的位置姿勢取得部の機能ブロックを示す図である。ロボットシステムによって対象ワークを取出す工程を示すフローチャートである。

以下、添付図面を参照して本発明の実施形態を説明する。図示される実施形態の各構成要素は、より良い理解のためにその縮尺が実用的な形態から変更されている場合がある。また、同一又は対応する構成要素には同一の参照符号が複数の図面において使用される。

図１〜図３を参照して、本発明の一実施形態に係る物品取出装置の例であるロボットシステム１０の構成及び作用について説明する。図１〜図３はロボットシステム１０を概略的に示す側面図である。ロボットシステム１０は、容器１２内において不規則に積重ねられた複数のワーク１４から１つの対象ワーク１４ａをロボット１６によって取出す（図２参照）とともに、取出された対象ワーク１４ａを所定の姿勢でコンベア１８の目標位置に載置する（図３参照）ために使用される。本明細書において、「対象ワーク１４ａ（対象物品）」の用語は、言及される取出工程において容器１２から取出される対象として選択されるワーク（物品）を意味し、容器１２内に収容されたままの状態の他のワーク１４と区別するために便宜上使用される。

容器１２は、底壁と、底壁の周囲から概ね鉛直方向上方に延在する周壁と、を有していて、複数のワーク１４を収容する収容空間を形成している。ワーク１４は、ロボットシステム１０によって取出される物品の例であり、例えば図示されるように側面視において半円弧状の形状を有する半円筒形の部材である。容器１２の上部には、例えば平面視において円形又は矩形の開口が形成されており、それによりロボット１６が容器１２の上方から容器１２内のワーク１４に対してアクセス可能になっている。

ロボット１６は、ライン２４を介して接続されるロボット制御装置２０によって制御される複数の関節軸を有する公知のロボットである。ロボット１６は、ワーク１４を解放可能に保持する保持手段としてエンドエフェクタ２２を備えている。エンドエフェクタ２２は、例えば図示されるように内部において発生される負圧を利用して対象ワーク１４ａを吸着して保持する吸着パッド式グリッパである。或いは、エンドエフェクタ２２は、電磁石などの磁力発生手段を利用する磁気式グリッパ、流体圧力を利用する流体圧式グリッパ、又は電気機械的手段を介して開閉動作する指（爪）を有する多指ハンドでもよい。すなわち、エンドエフェクタ２２は、ロボットシステム１０によって取出されるべきワーク１４などの物品の形状に応じて種々の公知のタイプの形態を有し得る。ロボット１６のエンドエフェクタ２２は、ロボット制御装置２０から送出される駆動信号に応答して対象ワーク１４ａを保持し、又は解放する。

容器１２の上方には、支持スタンド２６に固定された第１の視覚センサ２８が設けられている。図１において第１の視覚センサ２８から下方に向かって描かれた破線３０は、第１の視覚センサ２８の計測範囲を表している。本発明との関係において必須の要件ではないものの、第１の視覚センサ２８の計測範囲は、図示されるようにワーク１４が収容される容器１２の収容空間の全体を含んでいる。第１の視覚センサ２８は、ライン３２を介してセンサ制御装置３４に接続されていて、計測処理に関連する信号、例えば計測開始指令及び計測結果をセンサ制御装置３４との間で送受信可能になっている。

第１の視覚センサ２８は、センサ制御装置３４の計測開始指令に応答して容器１２内における複数のワーク１４の高さ分布に関する情報を取得する３次元視覚センサである。高さ分布は、例えば所定の空間分解能に従って取得される３次元点集合として取得される。３次元点集合は、例えばロボット１６を制御する基準として用いられる作業座標系において（Ｘ，Ｙ，Ｚ）として表される３次元の位置データ群である。第１の視覚センサ２８は、「レンジファインダ」と一般的に称される任意のタイプの３次元視覚センサであり得る。

３次元視覚センサは、例えば２次元画像データを取得可能な複数の２次元カメラを備えていて、ステレオ視の概念に基づいて、それらの２次元画像データに基づいてセンサヘッドから対象物までの距離を計測する。或いは、第１の視覚センサ２８は、スリット状のレーザ光によってスリットの伸びる方向に対して直交する方向に延在する表面上を走査するとともにセンサヘッド側に取付けられたカメラでレーザ光の反射光を受光するタイプの３次元視覚センサでもよい。また、第１の視覚センサ２８は、２次元アレイを形成するように配列された複数の赤外線ＬＥＤを使用するＴｉｍｅｏｆＦｌｉｇｈｔのタイプの３次元視覚センサであってもよい。この場合、赤外線ＬＥＤから赤外線が発射されてから対象物において反射されてセンサヘッド側に戻ってくるまでに必要な時間の差異に基づいて、対象物（この場合はワーク１４）までの距離が計測される。

第１の視覚センサ２８によって計測された結果は、ライン３２を介してセンサ制御装置３４に送られる。センサ制御装置３４は、第１の視覚センサ２８からの画像情報を処理する画像処理装置（図示せず）をさらに備えていてもよい。画像処理装置は、センサ制御装置３４に内蔵されていてもよいし、センサ制御装置３４から独立して設けられていてもよい。センサ制御装置３４にはライン４２を介して第２の視覚センサ３８がさらに接続されている。センサ制御装置３４及びセンサ制御装置３４と協働する画像処理装置は特定のタイプの制御装置に限られず、公知である種々のタイプのものであり得る。第１の視覚センサ２８によって取得されるワーク１４の高さ分布に関する情報は、ライン３６を介してセンサ制御装置３４に接続されるロボット制御装置２０に送られ、より詳細に後述するようにロボット１６の動作制御に使用される。なお、図示される実施形態において、ロボット制御装置２０及びセンサ制御装置３４は互いに別個の装置であるものの、センサ制御装置３４がロボット制御装置２０に内蔵されていてもよい。

第２の視覚センサ３８は、図示されるように容器１２から離間した位置に設置されている。図２において、第２の視覚センサ３８から上方に向かって描かれた破線４０は、第２の視覚センサ３８の計測範囲を表している。第２の視覚センサ３８は、ロボット１６のエンドエフェクタ２２によって保持されている状態の対象ワーク１４ａを計測し、エンドエフェクタ２２に対する対象ワーク１４ａの相対的位置姿勢に関する情報を取得するために使用される。図２に示されるように、第２の視覚センサ３８を使用して対象ワーク１４ａを計測する際には、対象ワーク１４ａが第２の視覚センサ３８の計測範囲内に含まれるようにロボット１６の位置及び姿勢が制御される。ここで、第２の視覚センサ３８による計測を実行する際のロボット１６のエンドエフェクタ２２の位置及び姿勢は予め定められる既知の情報、或いは計測処理を実行する瞬間にロボット制御装置２０の内部で取得される情報である。それにより、適切な座標変換を行うことによって、第２の視覚センサ３８によって取得される位置姿勢情報から、ロボット１６のエンドエフェクタ２２に対する対象ワーク１４ａの相対的位置姿勢が計算される。座標変換を利用した対象ワーク１４ａの相対的位置姿勢の計算は例えば特許文献２に記載されている。なお、第２の視覚センサ３８は、対象ワーク１４ａを容器１２内のワーク１４から独立して個別に計測できる位置に設置されていればよく、図示された位置関係に限定されない。

コンベア１８は、容器１２から取出された対象ワーク１４ａを任意の次の工程のために順次搬送するようになっている。対象ワーク１４ａは、図３に示されるようにコンベア１８に対して所定の姿勢を有するように（例えば対象ワーク１４ａの凸部が鉛直方向上方を向くように）ロボット１６によってコンベア１８に載置される。

図１０は、ロボットシステム１０におけるロボット制御装置２０及びセンサ制御装置３４の作用を説明するためのロボットシステム１０の処理部５０の機能ブロックを示す図である。図示されるように、ロボット制御装置２０は、概略位置取得部５２と、取出動作制御部５４と、載置動作制御部５６と、を備えている。センサ制御装置３４は、高さ分布取得部６０と、相対的位置姿勢取得部６２と、を備えている。高さ分布取得部６０は、第１の視覚センサ２８による計測結果に基づいて、容器１２内におけるワーク１４の高さ分布を取得する。また、相対的位置姿勢取得部６２は、第２の視覚センサ３８による計測結果に基づいて、対象ワーク１４ａが保持されている状態におけるエンドエフェクタ２２に対する対象ワーク１４ａの相対的位置姿勢を取得する。

ロボット制御装置２０の概略位置取得部５２は、高さ分布取得部６０によって取得されるワーク１４の高さ分布に基づいて、容器１２内において周囲のワーク１４よりも高所にある対象ワーク１４ａの概略位置に関する情報を取得する。図４は、多数のワーク１４が収容された容器１２を拡大して示す拡大図である。ロボットシステム１０において、ワーク１４の高さ分布に基づいて、局所的に高所に位置する対象ワーク１４ａの部位における３次元位置情報が対象ワーク１４ａの概略位置として決定される。図４においてワーク１４に付与されたマーク「ｘ」は、対象ワーク１４ａの概略位置を表している。

図５は、図４と同様の拡大図である。図５に示される実施形態において、対象ワーク１４ａの概略位置は、局所的に高所に位置する部位ではなく、所定の面積Ｓにわたって延在する概ね平面状の平面部の所定の位置（例えば平面部の重心位置）に従って決定される。例えば所定の下限値Ｓ１及び上限値Ｓ２に対して、Ｓ１＜Ｓ＜Ｓ２を満足する面積Ｓを有する平面部が対象となる。図５においてワーク１４に付与されたマーク「ｘ」は、この場合の対象ワーク１４ａの概略位置を表している。

図４及び図５を参照して説明した対象ワーク１４ａの概略位置の決定方法は単なる例示にすぎず、これら特定の態様に限定されない。すなわち、概略位置取得部５２によって取得される対象ワーク１４ａの概略位置としては、対象ワーク１４ａがエンドエフェクタ２２によって保持され得る程度の位置が特定されれば十分であるので、他の決定方法に従って対象ワーク１４ａの概略位置が決定されてもよい。

取出動作制御部５４は、概略位置取得部５２によって取得される対象ワーク１４ａの概略位置に基づいて、対象ワーク１４ａがエンドエフェクタ２２によって保持され得るようにロボット１６を制御する駆動信号を作成する。図４又は図５に関連して説明した対象ワーク１４aの概略位置が利用される場合においては、エンドエフェクタ２２がマーク「ｘ」の位置に対して位置決めされるようにロボット１６の位置及び姿勢が制御される。

載置動作制御部５６は、相対的位置姿勢取得部６２によって取得される対象ワーク１４ａの相対的位置姿勢に基づいて、エンドエフェクタ２２によって保持された状態の対象ワーク１４ａをコンベア１８上の目標位置に載置するようにロボット１６を制御する制御信号を作成する。さらに、ロボット１６は、対象ワーク１４ａが目標位置に対して所定の相対的位置関係になるように、すなわち対象ワーク１４ａが所定の姿勢でコンベア１８に載置されるように制御される。図３は、対象ワーク１４ａをコンベア１８に載置する際のロボット１６の位置及び姿勢の例を表している。

図６及び図７は、エンドエフェクタ２２によって保持された状態の対象ワーク１４ａの例を示す部分拡大図である。図６の（ａ）は、対象ワーク１４ａが円弧の一方の端部付近において保持された場合を示している。この場合、対象ワーク１４ａが時計回りの方向に約９０度の角度だけ回転されるようにロボット１６の姿勢を変更すれば、対象ワーク１４ａは、図３に示されるようなコンベア１８に対する所定の姿勢が得られる。図６の（ｂ）は、対象ワーク１４ａの凸部が概ね鉛直方向上方に向けられた状態でエンドエフェクタ２２によって保持されている。すなわち、対象ワーク１４ａは、コンベア１８に対する所定の姿勢を概ね有している。したがって、この場合は、対象ワーク１４ａの姿勢を維持したままコンベア１８まで移動させればよい。

図６の（ｃ）は、対象ワーク１４ａがコンベア１８に対する所定の姿勢から１８０度回転した状態でエンドエフェクタ２２によって保持された場合を示している。この場合は、単純にロボット１６の姿勢を変更するだけでは対象ワーク１４ａを適切な姿勢でコンベア１８に載置するのは困難である。したがって、例えば図７に示されるようにエンドエフェクタ２２を挿入可能な開口４６が形成されたテーブル４４が使用される。そして、図７の（ａ）〜（ｃ）に示されるように、対象ワーク１４ａをテーブル４４に一旦載置し、対象ワーク１４ａの反対側から対象ワーク１４ａを保持し直せばよい。

ここで、図８及び図１１を参照して、相対的位置姿勢取得部６２によって対象ワーク１４ａの相対的位置姿勢を取得する処理の例について説明する。図８は、第２の視覚センサ３８によって取得される画像の例を示す図である。図１１は、一実施形態における相対的位置姿勢取得部６２の機能ブロックを示す図である。相対的位置姿勢取得部６２は、図１１に示されるように保持部情報記憶部６４と、計測情報比較部６６と、相対的位置姿勢計算部６８と、をさらに備えている。

保持部情報記憶部６４は、対象ワーク１４ａを保持していない状態におけるエンドエフェクタ２２（保持部）の計測情報、例えば画像情報を記憶する。図８の（ｂ）は、対象ワーク１４ａが保持されていない状態のエンドエフェクタ２２の画像を示している。保持部情報記憶部６４は、例えば図８の（ｂ）に示される画像情報を予め記憶しておくために用いられる。それに対し、図８の（ａ）は、対象ワーク１４ａを保持している状態におけるエンドエフェクタ２２の画像を示しており、例えば図２に示される状態において第２の視覚センサ３８によって取得される画像である。したがって、（ａ）にはエンドエフェクタ２２及び対象ワーク１４ａの両方が捕捉されている。図８の（ａ）及び（ｂ）の状態において、エンドエフェクタ２２は互いに同一の位置において同一の姿勢を有するように位置決めされる。

計測情報比較部６６は、図８の（ａ）の画像と（ｂ）の画像とを比較し、両方の画像に共通して存在する画像を（ａ）の画像から除去することによって、図８の（ｃ）に示されるような対象ワーク１４ａのみを示す画像を取得する。相対的位置姿勢計算部６８は、計測情報比較部６６によって取得された対象ワーク１４ａの画像に基づいて、エンドエフェクタ２２に対する対象ワーク１４ａの相対的位置姿勢を計算する。このようにして、相対的位置姿勢取得部６２は、第２の視覚センサ３８による計測結果に基づいて、対象ワーク１４ａの相対的位置姿勢を取得する。

続いて、図１２を参照して、前述した実施形態に係るロボットシステム１０を使用して対象ワーク１４ａを取出す取出方法について説明する。図１２は、ロボットシステム１０によって対象ワーク１４ａを取出す工程を示すフローチャートである。

ロボット制御装置２０が始動指令を受けると、センサ制御装置３４を介して計測開始信号が第１の視覚センサ２８に送出される。始動指令は、例えば使用者が図示されない操作部を操作することによって作成される。第１の視覚センサ２８は、センサ制御装置３４からの計測開始信号に応答して、センサヘッドとワーク１４との間の距離に応じて定まるワーク１４の高さ分布に関する情報を取得する。ワーク１４の高さ分布に関する情報は、センサ制御装置３４の高さ分布取得部６０に入力され、容器１２内におけるワーク１４の高さ分布が計算される（ステップＳ１０１）。なお、この時点においてロボット１６及びそのエンドエフェクタ２２は、第１の視覚センサ２８によるワーク１４の計測を妨げないように、破線３０によって示される計測範囲に進入しないように容器１２から離間した位置に退避している。なお、第１の視覚センサ２８によって計測されるデータと、ロボット１６の作業座標系とを関連付けるためのキャリブレーションは予め完了されているものとする。

続いて、ステップＳ１０１で得られた高さ分布に基づいて、センサ制御装置３４によって平面部が検出される（ステップＳ１０２）とともに、平面部の個数ｎがカウントされる。平面部は、図５に関連して前述したように概ね水平方向に所定の面積Ｓにわたって延在するワーク１４の一部である。そして、少なくとも１つの平面部が検出された場合は、次のステップＳ１０４に進み、平面部が検出されなかった場合は、取出されるべき対象ワーク１４ａが存在しないと見做して、取出工程を終了する（ステップＳ１０３）。ステップＳ１０３において、少なくとも１つの平面部が検出された場合、検出されたワーク１４の平面部の位置、例えば重心位置が高い順番に並ぶように対象ワーク１４ａの順列が各平面部に関連付けられる（ステップＳ１０４）。

そして、ステップＳ１０５において、容器１２から対象ワーク１４ａを順次取出すために、平面部のｉ番目の順列を意味する「ｉ」に１の値が代入される。続いて、ロボット１６のエンドエフェクタ２２がｉ番目の対象ワーク１４ａを保持できるようなロボット１６の位置及び姿勢が計算される（ステップＳ１０６）。対象ワーク１４ａを保持する際のロボット１６の位置及び姿勢は、概略位置取得部５２によって取得される対象ワーク１４ａの概略位置に基づいて決定される。そして、ロボット１６が、ロボット制御装置２０の取出動作制御部５４によって送出される制御信号に従って移動し、ステップＳ１０６において計算されたロボット位置に位置決めされる。ロボット１６が所定位置に到達したら、エンドエフェクタ２２が駆動され、対象ワーク１４ａが保持される（ステップＳ１０７）。

対象ワーク１４ａがエンドエフェクタ２２によって保持されたら、ロボット１６を移動させて対象ワーク１４ａを容器１２の外部に搬出する。ロボット１６は、図２に示されるように、第２の視覚センサ３８が対象ワーク１４ａを計測可能になる位置まで移動させられる。そして、対象ワーク１４ａを保持したままの状態のエンドエフェクタ２２を第２の視覚センサ３８によって計測する（ステップＳ１０８）。なお、第２の視覚センサ３８によって計測されるデータと、ロボット１６の作業座標系とを関連付けるためのキャリブレーションは予め完了されているものとする。

続いて、相対的位置姿勢取得部６２が作動され、エンドエフェクタ２２に対する対象ワーク１４ａの相対的位置姿勢が計算される（ステップＳ１０９）。対象ワーク１４ａの相対的位置姿勢を計算するために、図１１に関連して前述した保持部情報記憶部６４、計測情報比較部６６及び相対的位置姿勢計算部６８が作動される。そして、対象ワーク１４ａの相対的位置姿勢に基づいて、対象ワーク１４ａをコンベア１８の所定位置に所定の姿勢で載置するためのロボット１６の位置及び姿勢が計算される（ステップＳ１１０）。続いて、載置動作制御部５６が作動され、ステップＳ１１０において計算されたロボット１６の所定位置までロボット１６を移動させる。ロボット１６を所定の位置姿勢まで移動させたら、エンドエフェクタ２２が解放され、対象ワーク１４ａがコンベア１８に載置される（ステップＳ１１１）。

以上のステップＳ１０６〜Ｓ１１１までの工程により、１つの対象ワーク１４ａが容器１２から取出され、目標位置に載置される。次に取出されるべき対象ワーク１４ａを選択するため、「ｉ」に（i＋１）の値が入力される（ステップＳ１１２）。続いて「ｉ」の値がステップ１０２において検出された平面部の個数ｎを超えたか否かが判定される（ステップＳ１１３）。「ｉ」がｎ以下である場合、ステップ１０２において検出された平面部を有するｎ個の対象ワーク１４ａのうち、（ｎ−（ｉ−１））個の対象ワーク１４ａが容器１２内に残存していることになる。そこで、ステップＳ１０６に戻って残りの対象ワーク１４ａの取出工程が継続される。このようにして、ステップＳ１０６〜ステップＳ１１１までの工程は、ステップ１０２において検出された平面部を有するｎ個の対象ワーク１４ａの取出工程が完了するまで繰返される。

一方、「i」がｎよりも大きいと判定された場合、すなわちステップＳ１０２において検出された平面部を有する対象ワーク１４ａがすべて容器１２から取出されたと判定された場合は、処理フローはステップＳ１０１に戻り、ワーク１４の高さ分布を取得する処理が再度実行される。

前述した実施形態によれば、対象ワーク１４ａがロボット１６によって保持された状態において、ロボット１６のエンドエフェクタ２２に対する対象ワーク１４ａの相対的位置姿勢が第２の視覚センサ３８によって計測される。したがって、対象ワーク１４ａが保持される前に行われる第１の視覚センサ２８による計測処理では、対象ワーク１４ａの位置及び姿勢を正確に計測する必要がない。換言すると、エンドエフェクタ２２によって保持可能になる程度の対象ワーク１４ａの概略位置が分かればよい。それにより、第１の視覚センサ２８によるワーク１４の計測処理は短時間で完了できる。また、正確な３次元位置及び姿勢の計測は、ロボット１６によって保持された状態の１つの対象ワーク１４ａのみを対象として第２の視覚センサ３８によって実行される。その場合、一部のワーク１４が他のワーク１４の背後に隠れたりすることがないので、多数のワーク１４を一度に３次元計測する場合に比べて、計測処理を高精度に実行できる。その結果、対象ワーク１４ａの所定位置への載置工程の精度が向上する。さらに膨大な量の３次元情報の処理を実行する必要もなく、計算に要する時間が短縮されるので、処理効率が向上する。したがって、本実施形態によれば、従来技術よりも実用的なワーク１４の取出装置及び取出方法が提供される。

容器内において不規則に積重ねられた多数の物品の位置及び姿勢を正確に計測するのには高度の技術及び高性能の計算機が必要であるが、本実施形態によればそれらのいずれも不要である。通常、対象物品をロボットによって保持する場合、ロボットは、対象物品の予め定められた部位を保持する。そのため、対象物品の位置及び姿勢が正確に計測される必要がある。それに対し、本実施形態においては、図６に例示されるように、対象ワーク１４ａを保持する際の対象ワーク１４ａとロボット１６のエンドエフェクタ２２との位置関係は特に限定されない。したがって、容器１２内における複数のワーク１４を計測する際の計測精度が比較的低くても許容される。

また、視覚センサは、物品の形状に対応する検出モデルを予め設定しておくのが一般的である。そのため、取出されるべき物品の種類毎に検出モデルを変更するとともに各種設定の微調整が必要になる。それに対し、物品の高さ分布に基づいて対象物品の概略位置を決定する本実施形態によれば、物品の形状の違いが計測精度に与える影響は小さく、追加の調整をすることなく種々の物品に適用できる。

上記実施形態において、第２の視覚センサ３８が３次元視覚センサである例を説明したものの、このような特定の形態には限定されない。代替的な実施形態において、第２の視覚センサ３８は２次元カメラであってもよい。この実施形態において、例えば対象ワーク１４ａ’は図９に示されるように概ね平板の形状を有している。また、エンドエフェクタ２２’は、蛇腹部７０を有する吸着パッド式グリッパである。図９は、このようなエンドエフェクタ２２’を用いて対象ワーク１４ａ’を保持する際の過程を示している。図９の（ａ）のように、対象ワーク１４ａ’は、前述した実施形態と同様に、図示省略される容器１２内において不規則に積重ねられており、エンドエフェクタ２２’に対して種々の位置姿勢関係を有している。ところが、図９の（ｂ）に示されるように蛇腹部７０を有するエンドエフェクタ２２’は、対象ワーク１４ａ’の姿勢に追従して変形可能である。そして、図９の（ｃ）に示されるように、対象ワーク１４ａ’を引き上げると、対象ワーク１４ａ’の表面がエンドエフェクタ２２’に対して垂直方向を向くようになる。そして、このことは対象ワーク１４ａ’が容器１２内においていかなる姿勢を有していても同様である。

したがって、このような形態を有するエンドエフェクタ２２’及び対象ワーク１４ａ’が採用される場合、エンドエフェクタ２２’の軸線に対して直角に延びる平面内（例えば水平面内）における位置姿勢関係が分かれば、エンドエフェクタ２２’に対する対象ワーク１４’の相対的位置姿勢が分かることになる。すなわち、このような実施形態において、第２の視覚センサ３８は３次元視覚センサである必要はなく、２次元視覚センサ、例えば２次元カメラであってもよい。

以上、本発明の種々の実施形態を説明したが、本明細書において明示的又は暗示的に開示される複数の実施形態の特徴を任意に組合せることによっても本発明を実施できることは当業者に自明である。

１０ロボットシステム（物品取出装置）
１２容器
１４ワーク（物品）
１４ａ対象ワーク（対象物品）
１６ロボット
１８コンベア（目標位置）
２０ロボット制御装置
２２エンドエフェクタ（保持部）
２８第１の視覚センサ
３４センサ制御装置
３８第２の視覚センサ
５０処理部
５２概略位置取得部
５４取出動作制御部
５６載置動作制御部
６０高さ分布取得部
６２相対的位置姿勢取得部
６４保持部情報記憶部
６６計測情報比較部
６８相対的位置姿勢計算部

Claims

容器内において不規則に積重ねられた複数の物品から１つの対象物品をロボットによって取出すとともに、取出された前記対象物品を所定の姿勢で目標位置に載置する物品取出装置であって、
前記ロボットは、前記対象物品を解放可能に保持する保持部を備えており、
当該物品取出装置は、
前記容器内における前記複数の物品の高さ分布に関する情報を取得する第１の視覚センサと、
前記第１の視覚センサによって取得される前記高さ分布に関する情報に基づいて、前記容器内において周囲の物品よりも高所にある対象物品の概略位置に関する情報を取得する概略位置取得部と、
前記概略位置取得部によって取得される前記対象物品の前記概略位置に関する情報に基づいて、前記対象物品が前記保持部によって保持され得るように前記ロボットを制御する取出動作制御部と、
前記保持部によって保持されている状態の前記対象物品を計測し、前記保持部に対する前記対象物品の相対的位置姿勢に関する情報を取得する第２の視覚センサと、
前記第２の視覚センサによって取得される前記対象物品の前記相対的位置姿勢に基づいて、前記保持部によって保持されている状態の前記対象物品を前記目標位置に対して所定の相対的位置姿勢関係になるように前記ロボットを制御する載置動作制御部と、
を備える、物品取出装置。
前記第２の視覚センサが２次元カメラである、請求項１に記載の物品取出装置。
前記第２の視覚センサが３次元視覚センサである、請求項１に記載の物品取出装置。
前記対象物品を保持していない状態における前記保持部に対応していて前記第２の視覚センサによって取得される第１の情報を記憶する保持部情報記憶部と、
前記第１の情報及び前記第２の視覚センサによって取得される前記対象物品を保持している状態における前記保持部に対応する第２の情報に基づいて、前記対象物品の前記相対的位置姿勢を計算する相対的位置姿勢計算部と、
をさらに備える、請求項１から３のいずれか１項に記載の物品取出装置。
容器内において不規則に積重ねられた複数の物品から１つの対象物品をロボットによって取出すとともに、取出された前記対象物品を所定の姿勢で目標位置に載置する物品取出方法であって、
前記ロボットは、前記対象物品を解放可能に保持する保持部を備えており、
当該物品取出方法は、
第１の視覚センサによって、前記容器内における前記複数の物品の高さ分布に関する情報を取得し、
前記第１の視覚センサによって取得される前記高さ分布に関する情報に基づいて、前記容器内において周囲の物品よりも高所にある対象物品の概略位置に関する情報を取得し、
前記対象物品の前記概略位置に関する情報に基づいて、前記対象物品が前記保持部によって保持され得るように前記ロボットを制御し、
第２の視覚センサによって、前記保持部によって保持されている状態の前記対象物品を計測し、前記保持部に対する前記対象物品の相対的位置姿勢に関する情報を取得し、
前記第２の視覚センサによって取得される前記対象物品の前記相対的位置姿勢に基づいて、前記保持部によって保持されている状態の前記対象物品を前記目標位置に対して所定の相対的位置姿勢関係になるように前記ロボットを制御する
ことを含む、物品取出方法。
前記第２の視覚センサが２次元カメラである、請求項５に記載の物品取出方法。
前記第２の視覚センサが３次元視覚センサである、請求項５に記載の物品取出方法。
前記保持部に対する前記対象物品の前記相対的位置姿勢に関する情報を取得する際に、
前記第２の視覚センサによって予め取得され、記憶されていた前記対象物品を保持していない状態における前記保持部に対応する第１の情報を読出し、
前記第１の情報と、前記第２の視覚センサによって取得される前記対象物品を保持している状態における前記保持部に対応する第２の情報と、に基づいて、前記対象物品の前記相対的位置姿勢を計算する
ことをさらに含む、請求項５から７のいずれか１項に記載の物品取出方法。