JP4940715B2 - ピッキングシステム - Google Patents

Description

本発明は、ピッキングシステムに関する。特に、本発明は、マッチング処理を用いたピッキングシステムに関する。

近年、車両の組立工程において、サプライヤからの供給部品を生産順序にしたがって並べ替え、組立ラインに同期させて供給するロットピッキングが実施されている。

ピッキング作業の自動化では、ロボットハンドが部品箱の近傍まで誘導された後、部品箱内の部品姿勢が三次元モデルとのマッチング処理により算出され、当該算出結果に基づいて、ロボットハンドの姿勢が補正される。

このようなマッチング処理としては、下記の特許文献１に示すような検出方法が提案されている。特許文献１に開示されている検出方法は、直前にマッチング処理したパターンを記憶しておき、次のマッチング処理では、記憶された直前のパターンを使用するものである。このような構成にすると、画像データ中のマッチング対象を認識する時間が短縮され、効率よくマッチング処理が実行される。
特開２００４−１３３６３７号公報

しかしながら、上記検出方法では、記憶された直前のパターンのみを使用する。したがって、マッチング対象が直前のパターンに対応しない場合、最初からマッチング処理を実施しなければならず、マッチング対象を認識するのに時間がかかるという問題がある。

本発明は、上述した問題を解決するためになされたものである。したがって、本発明の目的は、画像データ中のワークと三次元モデルとのマッチング処理にかかる計算時間が短縮された効率のよいピッキングシステムを提供することである。

本発明の上記目的は、下記の手段によって達成される。

本発明のピッキングシステムは、ワークをピッキングするロボットハンドと、前記ロボットハンドの近傍に設けられ、ワークの三次元画像データを取得する撮像手段と、ワークの複数の面をそれぞれ下にして平面上に前記ワークを載置して得られる載置状態に対応する複数の安定姿勢が予め登録されている記憶手段と、前記登録されている複数の安定姿勢のうち、前記撮像手段で取得された前記画像データ中のワークの姿勢に最も合致する一の安定姿勢を選択する選択手段と、選択された一の安定姿勢を初期状態としてワークの三次元モデルである姿勢モデルを所定範囲で揺動させて当該姿勢モデルを前記画像データ中のワークに整合することによって、ワークの姿勢を検知する検知手段と、前記検知されたワーク姿勢に基づいて、前記ロボットハンドを制御する制御手段と、を有するピッキングシステムであって、前記画像データには複数のワークが含まれており、前記選択手段は、前記複数のワークそれぞれに最も合致する一の安定姿勢を選択し、前記ピッキングシステムは、前記ロボットハンドがワークのピッキングに成功したか否かを記録する記録手段と、前記記録されたピッキング結果を安定姿勢毎に集計する集計手段と、前記安定姿勢が選択された複数のワークの中から、前記集計された安定姿勢毎のピッキング結果にしたがって、ピッキングに成功する可能性が高いワークから順次に一のワークを抽出する抽出手段と、をさらに有し、前記検知手段は、前記抽出されたワークの姿勢を検知することを特徴とする。

本発明のピッキングシステムによれば、予め登録されている安定姿勢の姿勢モデルを初期状態として、ワークの姿勢が検知されるため、マッチング処理にかかる計算時間が短縮される。その結果、ピッキング処理にかかる時間が短縮され、処理効率が向上する。

以下、図面を参照して、本発明の実施の形態を説明する。本実施の形態では、部品箱に平積みされた５面体形状のワーク（部品）を、ロボットハンドがピッキングする場合を例にとって説明する。なお、図中、同様の部材には同一の符号を用いた。

図１は、本発明の一実施の形態におけるピッキングシステムの概略構成を示す図である。図１に示されるとおり、本実施の形態のピッキングシステムは、ロボットアーム１００、カメラ２００、姿勢検知装置３００、および制御装置４００を備える。

ロボットアーム１００は、部品箱５００に収納されるワークをピッキングするものである。ロボットアーム１００は、ロボット本体部１１０およびロボット本体部１１０の先端部に設けられたロボットハンド１２０を有する。ロボット本体部１１０は、後述する制御装置４００によって制御され、ロボットハンド１２０を部品箱５００近傍まで誘導するとともに、ロボットハンド１２０の姿勢を補正しつつ、ロボットハンド１２０をワークにアプローチさせる。なお、本実施の形態のロボットアーム１００自体は、一般的な多関節型のロボットアームであるため、詳細な説明は省略する。また、ロボットハンド１２０の近傍には、カメラ２００が設けられている。

カメラ２００は、撮像手段として、部品箱５００に収納されているワークの画像データを取得するものである。カメラ２００は、図２に示されるとおり、ロボット座標系ＸＹＺのＺ方向（撮像方向）に沿って、部品箱５００の上方からワークの画像を取得する。本実施の形態のカメラ２００はステレオカメラであって、取得される画像データは三次元画像データである。カメラ２００で取得された部品箱内のワークの画像データは、姿勢検知装置３００に送信される。

姿勢検知装置３００は、カメラ２００で取得される画像データから、ワークの姿勢を検知するものである。姿勢検知装置３００は、カメラ２００の画像データを介して、ワークの三次元的な姿勢を検知する。姿勢検知装置３００についての詳細な説明は後述する。

制御装置４００は、姿勢検知装置３００が検知したワークの位置および姿勢に基づいて、ロボットハンド１２０の位置および姿勢を補正するものである。より具体的には、制御装置４００は、ロボットハンド１２０の姿勢を補正しつつ、ロボットハンド１２０をワークにアプローチさせて、姿勢が検知されたワークに対して予め設定されている把持ポイントをロボットハンド１２０に把持させる。

次に、本実施の形態の姿勢検知装置３００について詳細に説明する。図３は、本実施の形態の姿勢検知装置の概略構成を示すブロック図である。図３に示されるとおり、姿勢検知装置３００は、ＣＰＵ３１０、ＲＡＭ３２０、ＲＯＭ３３０、ハードディスク３４０、入力部３５０、表示部３６０、およびインタフェース３７０を有する。これらの各部は、バスを介して相互に接続されている。

ＣＰＵ３１０は、カメラ２００で取得される画像データに対して種々の演算および制御を実行するものである。ＣＰＵ３１０は、選択部（選択手段）、検知部（検知手段）、抽出部（抽出手段）、判断部（判断手段）、および集計部（集計手段）として機能する。

ここで、選択部は、後述するハードディスク３４０に登録されている複数の安定姿勢のうち、画像データ中のワークの姿勢に最も合致する一の安定姿勢を選択するものである。検知部は、選択された一の安定姿勢を初期状態としてワークの姿勢モデルを所定範囲で揺動させて当該姿勢モデルを画像データ中のワークに整合することによって、ワークの姿勢を検知するものである。抽出部は、安定姿勢が選択された複数のワークの中から、一のワークを抽出するものである。判断部は、ワークの周辺に障害物があるか否かを判断するものである。集計部は、後述するハードディスク３４０に記録されたピッキング結果を安定姿勢毎に集計するものである。なお、各部の具体的な処理内容については、後述する。

ＲＡＭ３２０は、上述した画像データを一時的に記憶するものであり、ＲＯＭ３３０は、制御プログラムおよびパラメータなどを予め記憶するものである。

ハードディスク３４０は、ワークについての載置状態における複数の安定姿勢が登録されている記憶部（記憶手段）として機能する。ハードディスク３４０は、複数の安定姿勢の中から、カメラ２００で取得される画像データを画像処理するための画像処理プログラム、画像データ中のワークの姿勢に最も合致する一の安定姿勢を選択する選択プログラム、ワークの姿勢モデルを揺動させて姿勢モデルをワークに整合することによってワークの姿勢を検知するための検知プログラム、複数のワークの中から一のワークを選択するための選択プログラム、ワークの周辺に障害物があるか否かを判断する判断プログラム、およびピッキング結果を安定姿勢毎に集計する集計プログラムを格納する。さらに、ハードディスク３４０は、ロボットハンドがワークのピッキングに成功したか否かを記録する記録部（記録手段）としても機能する。

入力部３５０は、たとえば、キーボード、タッチパネル、およびマウスなどのポインティングデバイスであり、表示部３６０は、たとえば、液晶ディスプレイおよびＣＲＴディスプレイなどである。

インタフェース３７０は、検知されたワークの姿勢を制御装置４００に送信するものである。また、インタフェース３７０は、カメラ２００から送信される画像信号を受信する。

以上のとおり、構成される本実施の形態におけるピッキングシステムでは、ロボットハンド１２０のワークへのアプローチに際して、予め登録されているワークの載置状態における複数の安定姿勢の中から、画像データ中のワークの姿勢に最も合致する一の安定姿勢が選択され、選択された安定姿勢を初期状態として、ワークの姿勢モデルを所定範囲で揺動させて当該姿勢モデルを画像データ中のワークに整合することによって、ワークの姿勢が検知される。そして、検知されたワークの姿勢に基づいて、ロボットハンド１２０の姿勢が補正されつつ、ロボットハンド１２０は、ワークをピッキングする。以下、本実施の形態のピッキングシステムにおけるピッキング処理について述べる。

図４は、本実施の形態におけるピッキング処理の流れを示すフローチャートである。本実施の形態のピッキング処理では、上述したとおり、予め登録されているワークの安定姿勢を初期状態としてワークの姿勢が検知され、検知された姿勢に基づいて、ロボットハンドが制御される。

まず、図４に示されるとおり、ワークについての情報の登録を受け付ける登録処理が実行される（ステップＳ１０１）。登録処理は、具体的なピッキング処理に先立って、いわゆるオフライン処理で実行されることができ、ワークについての情報は、ハードディスク３４０に記憶される。

図５は、ステップＳ１０１に示す登録処理の流れを示すフローチャートである。図５に示されるとおり、まず、ワークの三次元モデルが登録される（ステップＳ２０１）。本実施の形態では、図６に示されるとおり、モデル座標系ｘｙｚとともに５面体形状のワークの三次元モデルが登録される。また、図中に矢印で示されるとおり、モデル座標系の各軸には、それぞれ回転方向が設定されている。

次に、ワークの載置状態における複数の安定姿勢が登録される（ステップＳ２０２）。本実施の形態では、図７に示されるとおり、５面体形状のワークの各面を下にした状態で当該ワークが平面上に置かれた場合に考えられる５つの安定姿勢（安定姿勢１〜５）が登録される。

次に、ワークの姿勢モデルを揺動させる角度範囲である検索角度、複数の安定姿勢に対する優先順位、および安定姿勢毎のワークの把持ポイントなどが設定される（ステップＳ２０３）。検索角度は、後述するマッチング処理において、安定姿勢を初期状態としてワークの姿勢モデルを揺動させて姿勢モデルをワークに整合する際に、姿勢モデルの揺動範囲を規定するものである。本実施の形態では、図８に示されるとおり、安定姿勢１〜５の姿勢モデルに対して軸毎に、検索角度±αが設定される。このような検索角度は、ワーク形状に基づいて設定され、計算時間に影響を与える。検索角度、優先順位、および把持ポイントについての詳細な説明は後述する。

以上のとおり、ステップＳ２０１〜Ｓ２０３に示される登録処理によって予め登録された種々の内容に基づいて、複数の安定姿勢の中から画像データ中のワークの姿勢に最も合致する一の安定姿勢が選択されて、選択された安定姿勢を初期状態として、ワークの姿勢が検知される。そして、検知されるワークの姿勢に基づいて、ロボットハンド１２０の姿勢が補正され、ピッキング処理が実行される。以下、図４を参照して、ステップＳ１０１に示す登録処理後のピッキング処理について説明する。なお、ステップＳ１０２以下の処理は、いわゆるオンライン処理であって連続的に実行される。

ステップＳ１０１に示す登録処理後のピッキング処理では、まず、部品箱５００内部の画像データが取得される（ステップＳ１０２）。より具体的には、ロボットハンド１２０の近傍に設けられたカメラ２００によって、複数のワークが収納される部品箱の三次元画像が取得され、部品箱の全体マップが作成される。全体マップは、複数回（たとえば、５〜１０回）のピッキング作業毎に更新されることが望ましい。

次に、画像データ中のワークに対するマッチング処理が実行される（ステップＳ１０３）。より具体的には、登録されている複数の安定姿勢のうち、画像データ中のワークの姿勢に最も合致する一の安定姿勢が選択され、選択された一の安定姿勢を初期状態としてワークの姿勢モデルを所定範囲で揺動させて当該姿勢モデルを画像データ中のワークに整合することによって、ワークの姿勢が検知される。マッチング処理の詳細については後述する。

次に、ステップＳ１０３に示すマッチング処理で検知されたワークの姿勢についての情報が制御装置４００に送信される（ステップＳ１０４）。そして、送信されたワークの姿勢情報に基づいて、ロボットハンド１２０の姿勢が補正されつつ、ロボットハンド１２０がワークにアプローチする（ステップＳ１０５）。上述したとおり、ロボットハンド１２０は、ワークに対して予め設定された把持ポイント近傍まで移動する。そして、ロボットハンド１２０によってワークがピッキングされる（ステップＳ１０６）。

次に、ワークが問題なくピッキングされたか否かが判断される（ステップＳ１０７）。ワークがピッキングされたか否かの判断は、たとえば、ピッキング処理によってワークが収容されるキット箱に設けられた２次カメラを利用して、ワークがキット箱に収容されたか否かを確認することによって判断される。あるいは、ワークを把持するロボットハンド１２０の挟持部の変位（開閉状態）をモニタリングしたり、挟持部にワークの在席を検知するようなセンサを設けてそのＯＮ／ＯＦＦをモニタしたりすることにより、ワークの落下を検出することができる。また、ロボットハンド１２０に挟持部が挟持中のワークを撮影するカメラを設けて、その画像データの変化をモニタリングしてワークの落下を判断することも可能である。

ワークがピッキングされていない場合（ステップＳ１０７：ＮＯ）、“ピッキング失敗”のピッキング結果がハードディスク３４０に記録され（ステップＳ１０８）、ステップＳ１０２以下の処理がリトライ処理として繰り返される。一方、ワークがピッキングされた場合（ステップＳ１０７：ＹＥＳ）、“ピッキング成功”のピッキング結果がハードディスク３４０に記録され（ステップＳ１０９）、処理が終了される。ステップＳ１０８およびステップＳ１０９に示す処理によれば、それぞれの安定姿勢に対応したピッキング結果がハードディスク３４０に記録される。

次に、図４に示すフローチャートのステップＳ１０３に示すマッチング処理について詳細に説明する。図９は、本実施の形態のピッキング処理におけるマッチング処理の流れを示すフローチャートである。なお、本実施の形態のマッチング処理では、ワークの姿勢を検知するのに先立って、ステップＳ２０３に示す設定処理において設定された優先順位および把持ポイントなどに基づいて、複数のワークの中から、姿勢を検知する対象となる一のワークが抽出され、抽出された一のワークの姿勢が検知される。

まず、図９に示されるとおり、複数の安定姿勢の中から、画像データ中のワークに最も合致する一の安定姿勢が選択される（ステップＳ３０１）。より具体的には、ステップＳ２０２に示す処理で登録された安定姿勢１〜５のワークを上から見た際の２次元データが予め記憶されており、ワークに対して各安定姿勢の２次元データを順次にあてはめ、最も適合する一の安定姿勢が選択される。ワークの２次元画像に安定姿勢の２次元データをあてはめる処理自体は、一般的な画像処理技術によって実行されるため詳細な説明は省略する。なお、本実施の形態では、ワークの傾きによる２次元画像の変形を考慮して、各辺および角部の角度に対して、余裕代が設定される。また、安定姿勢の２次元データとは異なり、安定姿勢の姿勢モデル（三次元データ）を使用して、同様の処理を実行することもできる。

また、本実施の形態では、図１０に示されるとおり、部品箱５００に収納される複数のワークそれぞれに一の安定姿勢の姿勢モデルを適用する処理が実行される。さらに、上述の処理によって、画像データ中のワークの位置も検出される。

以上のとおり、ステップＳ３０１に示す選択処理では、ワークを撮像方向（Ｚ軸に沿った上方）から見た場合の２次元画像に合致する安定姿勢が選択され、このときの安定姿勢は、Ｚ軸まわりのワークの傾き（姿勢ずれ）に対しておおまかに整合されている。後述する姿勢検知処理において、Ｚ軸まわりにおおまかに整合されたワークの安定姿勢からのＸ軸、Ｙ軸、およびＺ軸まわりの微少なワークの傾き（姿勢ずれ）が算出され、ワークの姿勢が検知される。このようなワークの傾きは、たとえば、一のワークが他のワークに寄りかかった状態で部品箱５００内に存在すること、一のワークの下部に他のワークが挟まった状態で存在すること、ならびに、一のワークが部品箱５００の構成物（ワークを仕切るための仕切り板および壁部など）に寄りかかった状態で存在していることなどに起因する。以下、安定姿勢がそれぞれ選択された複数のワークの中から、姿勢検知対象となる一のワークを抽出する処理が実行される。

まず、ハードディスク３４０に登録されている複数の安定姿勢のうち、一の安定姿勢が読み込まれる（ステップＳ３０２）。ステップＳ３０２に示す読込み処理において、読み込まれる一の安定姿勢は、ステップＳ２０３に示す設定処理において、予め登録されている安定姿勢の優先順位にしたがって、優先順位が最も高い一の安定姿勢が読み込まれる。あるいは、ステップＳ１０８およびステップＳ１０９に示す処理が繰り返されることによって、ハードディスク３４０に蓄積されるピッキング結果から集計される安定姿勢毎のピッキング成功率に基づいて、ピッキング成功率の最も高い安定姿勢から順次に読み込まれることができる。本実施の形態では、図１１に示されるとおり、たとえば、最初に安定姿勢４が読み込まれ、以下の処理が実行される。

次に、画像データ中の複数のワークの中から、読み込まれた一の安定姿勢（たとえば、安定姿勢４）に対応するワークが検索され（ステップＳ３０３）、ワークがあるか否かが判断される（ステップＳ３０４）。対応するワークがない場合（ステップＳ３０４：ＮＯ）、読み込まれる安定姿勢が変更されて、ステップＳ３０２以下の処理が繰り返される。なお、新たに読み込まれる安定姿勢は、次にピッキング成功率の高い一の安定姿勢（たとえば、安定姿勢５）である。

一方、読み込まれた一の安定姿勢に対応するワークがある場合（ステップＳ３０４：ＹＥＳ）、検索されたワークの周辺に障害物があるか否かが検索される（ステップＳ３０５）。より具体的には、図１２に示されるとおり、ロボットハンド１２０が把持ポイントでワークを把持する際の、ロボットハンド１２０の開閉方向（図１２の矢印の方向）に障害物があるか否かが判断される。ワークの周辺に障害物がある場合（ステップＳ３０６：ＹＥＳ）、ワークを変更して、ステップＳ３０３以下の処理が繰り返される。

一方、ワークの周辺に障害物がない場合（ステップＳ３０６：ＮＯ）、ワークの姿勢が検知される（ステップＳ３０７）。本実施の形態では、ステップＳ３０２に示す処理において読み込んだ安定姿勢を初期状態として、ステップＳ２０３に示す処理で設定した検索角度内で安定姿勢に対応するワークの姿勢モデルを揺動させて、当該姿勢モデルを画像データ中のワークに整合することによって、ワークの姿勢が検知される。より具体的には、ワークの姿勢モデルを少なくとも一つの軸まわりに検索角度内で揺動させて、当該姿勢モデルとワークとが整合する角度を検出することによって、ワークの姿勢を検知する。本実施の形態では、たとえば、揺動される姿勢モデルとワークとの二乗平均誤差が最小となる角度を検出することにより、姿勢モデルとワークとが一致する角度を検出する。

以上のとおり、ステップＳ３０７に示す姿勢検知処理によれば、安定姿勢を基準として、当該安定姿勢の姿勢モデルからのワーク姿勢の各軸まわりの微少な傾き（姿勢ずれ）が検知される。したがって、一般的なマッチング処理と比較して計算量が低減され、ワークの姿勢の検知にかかる時間が短縮される。

このとき、設定される検索角度が大き過ぎると、計算に時間がかかってしまい十分な効果が得られない。一方、検索角度が小さ過ぎると、ワークの姿勢を検知することができない場合がある。したがって、本実施の形態では、検索角度は、たとえば±１０度程度に設定されることできる。

また、三次元モデルを揺動させる処理は、ワークを３軸すべてのまわりに３６０度回転させる一般的なマッチング処理のプログラムを流用することができる。なお、本実施の形態では、ワークの安定姿勢からの傾きのみならず、安定姿勢からの位置ずれも検知されることができる。この場合、検知結果として、たとえば、ワークの中心座標が制御装置４００に送信される。

以上のとおり、説明された本実施の形態は、以下の効果を奏する。

本実施の形態のワーク姿勢検知装置は、ワークの載置状態における複数の安定姿勢が予め登録されている記憶部と、登録されている複数の安定姿勢のうち、画像データ中のワークの姿勢に最も合致する一の安定姿勢を選択する選択部と、選択された一の安定姿勢を初期状態としてワークの姿勢モデルを検索角度内で揺動させて当該姿勢モデルを画像データ中のワークに整合することによって、ワークの姿勢を検知する検知部と、を有する。したがって、予め登録されている安定姿勢から画像データ中のワークの姿勢が検知され、マッチング処理にかかる時間が短縮される。その結果、効率のよいピッキングシステムが提供される。

検知部は、ワークの姿勢モデルを少なくとも一つの軸まわりに揺動させて、当該姿勢モデルとワークとが整合する角度を検出することによって、ワークの姿勢を検知する。したがって、安定姿勢から予め設定された角度範囲でワークの姿勢が算出され、計算時間がさらに短縮される。

本実施の形態のピッキングシステムは、ワークをピッキングするロボットハンドと、ロボットハンドの近傍に設けられ、ワークの画像データを取得するカメラと、ワークの載置状態における複数の安定姿勢が予め登録されている記憶部と、登録されている複数の安定姿勢のうち、カメラで取得された画像データ中のワークの姿勢に最も合致する一の安定姿勢を選択する選択部と、選択された一の安定姿勢を初期状態としてワークの姿勢モデルを検索角度内で揺動させて当該姿勢モデルを画像データ中のワークに整合することによって、ワークの姿勢を検知する検知部と、検知されたワーク姿勢に基づいて、ロボットハンドを制御する制御装置と、を有する。したがって、予め登録されている安定姿勢から画像データ中のワークの姿勢が検知され、マッチング処理にかかる時間が短縮される。その結果、ピッキング処理の効率が向上する。

選択部は、複数のワークそれぞれに最も合致する一の安定姿勢を選択する。したがって、複数のワークの画像データが一度の処理で取得されるため、処理効率が向上する。

本実施の形態のピッキングシステムは、安定姿勢が選択された複数のワークの中から、一のワークを抽出する抽出部をさらに有し、検知部は、抽出されたワークの姿勢を検知する。したがって、予め設定された条件にしたがって、複数のワークの中から一のワークを抽出することができる。

本実施の形態のピッキングシステムは、ロボットハンドがワークのピッキングに成功したか否かを記録する記録部と、記録されたピッキング結果を安定姿勢毎に集計する集計部と、をさらに有し、抽出部は、集計された安定姿勢毎のピッキング結果にしたがって、ピッキングに成功する可能性が高いワークから順次に抽出する。したがって、ピッキング処理毎にピッキング成功率が更新される。その結果、更新されるピッキング成功率に基づいてピッキング処理が実施され、ピッキング処理の効率がさらに向上する。

本実施の形態のピッキングシステムは、ワークの周辺に障害物があるか否かを判断する判断部をさらに有し、判断される一のワークの周辺に障害物がある場合、抽出部は、他のワークを抽出する。したがって、障害物との干渉が回避され、ピッキング成功率がさらに向上する。その結果、ピッキング処理の効率がさらに向上する。

ワークには、ロボットハンドが当該ワークを把持するための把持位置が安定姿勢毎に設定されており、判断部は、ロボットハンドが把持位置でワークを把持する際の、当該ロボットハンドの開閉方向に障害物があるか否かを判断する。したがって、検索範囲を最小限に設定することができ、計算時間がさらに短縮される。さらに、より厳格に障害物との干渉が判断され、ピッキング処理の効率がさらに向上する。

本実施の形態のワーク姿勢検知方法は、ワークの載置状態における複数の安定姿勢についての登録を受け付ける受付段階と、登録されている複数の安定姿勢のうち、画像データ中のワークの姿勢に最も合致する一の安定姿勢を選択する選択段階と、選択された一の安定姿勢を初期状態としてワークの姿勢モデルを検索角度内で揺動させて当該姿勢モデルを画像データ中のワークに整合することによって、ワークの姿勢を検知する検知段階と、を有する。したがって、予め登録されている安定姿勢から画像データ中のワークの姿勢が検知され、マッチング処理にかかる時間が短縮される。その結果、効率のよいピッキング方法が提供される。

本実施の形態のピッキングシステムは、ワークの載置状態における複数の安定姿勢についての登録を受け付ける受付段階と、ワークをピッキングするロボットハンドの近傍に設けられたカメラを介して、ワークの画像データを取得する取得段階と、登録されている複数の安定姿勢のうち、カメラで取得された画像データ中のワークの姿勢に最も合致する一の安定姿勢を選択する選択段階と、選択された一の安定姿勢を初期状態としてワークの姿勢モデルを検索角度内で揺動させて当該姿勢モデルを画像データ中のワークに整合することによって、ワークの姿勢を検知する検知段階と、検知されたワーク姿勢に基づいて、ロボットハンドを制御する制御段階と、を有する。したがって、予め登録されている安定姿勢から画像データ中のワークの姿勢が検知され、マッチング処理にかかる時間が短縮される。その結果、ピッキング処理の効率が向上する。

以上のとおり、本実施の形態において、本発明のピッキングシステムおよびピッキング方法を説明した。しかしながら、本発明は、その技術思想の範囲内において当業者が適宜に追加、変形、省略することができることはいうまでもない。

たとえば、本実施の形態において、抽出部は、ピッキング成功率の高い安定姿勢に対応するワークを優先的に抽出する。しかしながら、画像データ中で数の多いワークから優先的に選択することもできる。この場合、ワークをすぐに見つけることができ、処理時間がさらに短縮される。

また、本実施の形態において、カメラはステレオカメラであり、取得される画像データは三次元画像データである。しかしながら、二次元画像データが取得される一般的なカメラとレーザなどのセンサを組み合わせることにより、三次元情報を取得することもできる。

また、本実施の形態では、算出されるワークの姿勢に基づいて、ロボットハンドの姿勢が制御される。しかしながら、ワークを把持するロボットハンドの開度を制御することもできる。この場合、ロボットハンドの挟持部の開度を大きくすることによって、傾いたワークであっても、ロボットハンドの姿勢を補正することなく、ワークをピッキングすることができる。

本発明の一実施の形態におけるピッキングシステムの概略構成を示す図である。 図１に示すカメラとワークとのロボット座標系での位置関係を説明するための図である。 本実施の形態の姿勢検知装置の概略構成を示すブロック図である。 本実施の形態におけるピッキング処理の流れを示すフローチャートである。 図４のステップＳ１０１に示す登録処理の流れを示すフローチャートである。 図１に示すワークの三次元モデルを示す図である。 図１に示すワークの安定姿勢を示す図である。 図６に示す三次元モデルのモデル座標系における回転範囲を示す図である。 図４のステップＳ１０３に示すマッチング処理の流れを示すフローチャートである。 図１に示すカメラで取得された部品箱内のワークを示す図である。 図１０に示す複数のワークにおいてピッキング成功率の高い安定姿勢の順番を示す図である。 図１０に示す部品箱の部分拡大図である。

符号の説明

１００ ロボットアーム、
２００ カメラ、
３００ 姿勢検知装置、
４００ 制御装置、
５００ 部品箱。

Claims (4)

1. ワークをピッキングするロボットハンドと、
   前記ロボットハンドの近傍に設けられ、ワークの三次元画像データを取得する撮像手段と、
   ワークの複数の面をそれぞれ下にして平面上に前記ワークを載置して得られる載置状態に対応する複数の安定姿勢が予め登録されている記憶手段と、
   前記登録されている複数の安定姿勢のうち、前記撮像手段で取得された前記画像データ中のワークの姿勢に最も合致する一の安定姿勢を選択する選択手段と、
   選択された一の安定姿勢を初期状態としてワークの三次元モデルである姿勢モデルを所定範囲で揺動させて当該姿勢モデルを前記画像データ中のワークに整合することによって、ワークの姿勢を検知する検知手段と、
   前記検知されたワーク姿勢に基づいて、前記ロボットハンドを制御する制御手段と、を有するピッキングシステムであって、
   前記画像データには複数のワークが含まれており、
   前記選択手段は、前記複数のワークそれぞれに最も合致する一の安定姿勢を選択し、
   前記ピッキングシステムは、
   前記ロボットハンドがワークのピッキングに成功したか否かを記録する記録手段と、
   前記記録されたピッキング結果を安定姿勢毎に集計する集計手段と、
   前記安定姿勢が選択された複数のワークの中から、前記集計された安定姿勢毎のピッキング結果にしたがって、ピッキングに成功する可能性が高いワークから順次に一のワークを抽出する抽出手段と、をさらに有し、
   前記検知手段は、前記抽出されたワークの姿勢を検知することを特徴とするピッキングシステム。
2. 前記検知手段は、ワークの姿勢モデルを少なくとも一つの軸まわりに揺動させて、当該姿勢モデルと前記ワークとが整合する角度を検出することによって、ワークの姿勢を検知することを特徴とする請求項１に記載のピッキングシステム。
3. 前記ワークの周辺に障害物があるか否かを判断する判断手段をさらに有し、
   判断される一のワークの周辺に障害物がある場合、前記抽出手段は、他のワークを抽出することを特徴とする請求項１または２に記載のピッキングシステム。
4. 前記ワークには、前記ロボットハンドが当該ワークを把持するための把持位置が安定姿勢毎に設定されており、
   前記判断手段は、前記ロボットハンドが前記把持位置でワークを把持する際の、当該ロボットハンドの開閉方向に障害物があるか否かを判断することを特徴とする請求項３に記載のピッキングシステム。

Images