JP7218521B2

JP7218521B2 - ピッキングシステム

Info

Publication number: JP7218521B2
Application number: JP2018170317A
Authority: JP
Inventors: 達也土井
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2018-09-12
Filing date: 2018-09-12
Publication date: 2023-02-07
Anticipated expiration: 2038-09-12
Also published as: JP2020040796A

Description

本開示は、ピッキングシステムに関する。

近年のロボットシステムでは、コンベア等の搬送機構で物品を搬送してロボットハンドにピッキングさせて仕分け作業や移載作業が実施される。この場合、ロボットハンドに設けられた三次元計測器で物品の位置と姿勢が立体的に認識されて、認識結果に応じてロボットハンドによって物品が適切に把持されている。例えば特許文献１では、ＣＣＤカメラにより複数個山積み状態のワーク上部からの２次元画像を取得し、２次元画像中のワークの大きさに基づいてワークの高さを計算している。

特開２００３－１４８９１４号公報

特許文献１では高さによって変化するワークの微妙な大きさを判別するため、精度が高いカメラを用いる必要がある。また、ワーク単体の高さが一定以上でないと画像大きさに顕著な差が現れず、高さの判別ができない。
本発明はかかる点に鑑みてなされたものであり、物品の高さが一定未満の場合でも、簡素かつ安価な構成で段積みされた物品を精度よく把持可能とするピッキングシステムを提供することを目的とする。

本発明のピッキングシステムは、段積みされた物品のうち少なくとも１つを把持輸送する把持ハンドと、前記物品を含む所定のエリアを上方から２次元画像データを撮像する撮像部と、前記把持ハンドに設けられた、前記最上段に載置された物品を把持可能な把持部と、前記把持部と前記最上段に載置された物品の把持可能状態を検知するセンサと、マーカー情報と、マーカーと前記物品の所定位置との相対位置情報とを記憶する第１の記憶部と、前記物品の単独高さ情報と、最大積載段数とを記憶する第２の記憶部と、前記把持ハンドの移動目標となる物品の目標段数を記憶する第３の記憶部と、前記２次元画像データと前記マーカー情報とを比較解析し、画像処理により前記マーカー情報の一致する２次元座標を特定する２次元座標演算部と、
前記物品の単独高さ情報と前記最大積載段数と前記２次元座標とに基づいて前記物品の３次元座標を演算する３次元座標演算部と、前記３次元座標まで前記把持ハンドを移動させ、前記物品の把持動作を行う制御部と、を備え、前記３次元座標演算部は、前記第２の記憶部の情報から各段数における前記物品の任意の高さをそれぞれ特定し、該任意の高さにおける撮像範囲に基づいて、前記２次元座標から前記物品の現在の高さを特定することを特徴とする。

本発明によれば、簡素な構成で段積みされた物品の３次元座標を精度よく把握可能となる。

本実施の形態のピッキングシステムのシステム構成図および斜視図である。本実施の形態のピッキングシステムの処理を示すフローチャートである。本実施の形態のピッキングシステムの座標変換方法を表す模式図である。本実施の形態のピッキング実行時の動作を表す模式図である。本実施の形態のピッキング実行時の動作を表すフローチャートである。

以下、本実施の形態のピッキングシステムの構成について説明する。図１は、本実施の形態のピッキングシステム全体構成を表したものである。なお、本実施の形態は一例を示すものであり、図で示した構成に限定されない。

図１ａは本実施の形態に示されるピッキングシステムのシステム構成図である。ピッキングシステム１０は弁当容器などの同一物品１４をカメラ（撮像部）２０で撮像した２次元画像の情報に基づき、画像処理部４０で画像情報から座標情報を演算し、演算された座標情報に基づいて制御部５０からピッキングロボット６０へ制御指令を出すことで把持および輸送を行う。

図１ｂは本実施の形態にかかるピッキングシステムの撮像構成を表した斜視図である。カメラ２０は搬送面（ここではコンベア１６の上面）に対して垂直になるように固定されており、コンベア１２上における撮像エリア１８内のコンテナ１２および物品１４の２次元画像を上方より撮像することができる。カメラ２０は画像処理部４０へ撮像した２次元画像データを送信する。

画像処理部４０は第１の記憶部４１、第２の記憶部４２、第３の記憶部４３、２次元座標演算部４５および３次元座標演算部４６を含む。なお、画像処理部４０は各種処理を実行するプロセッサやメモリ等により構成されている。メモリは、用途に応じてＲＯＭ(Read Only Memory)、ＲＡＭ（Random Access Memory）等の一つ又は複数の記憶媒体で構成されている。

第１の記憶部４１は、マーカー情報およびマーカーと前記物品の所定位置との相対位置情報を記憶する。マーカー情報には、マーカーの形状情報や検出位置に基づく中心座標の補正情報などが含まれる。マーカーは特別な模様に限られず、商品ラベル、メーカーロゴ、変形しない外形など、物品１４毎に変化しないものであればよい。また、マーカーは同一種類の物品１４に対しては、同一位置に同一形状のものが付与されている。第２の記憶部４２は、物品の高さ情報と、コンテナ１２上に積載される最大積載段数を記憶する。第３の記憶部４３は、把持ハンドの移動目標となる物品の段数（目標段数）を記憶する。これらの記憶情報は、あらかじめ外部から設定することが可能である。

２次元座標演算部４５では、第１の記憶部４１に記憶されたマーカー情報とカメラ２０から送られた２次元画像データを比較し、２次元画像データ中に含まれるマーカー情報を全て抽出する。さらに抽出されたマーカー情報から、2次元画像データにおけるすべての物品１４の所定位置の２次元座標を特定する。物品１４の所定位置の２次元座標には物品１４内における任意の座標を指定可能で、たとえば物品１４の重心位置を便宜的に物品の座標と定義することができる。なお、取り扱う物品１４が２種類以上の場合は、物品の種類毎に異なるマーカーを付与し、マーカー情報から物品１４の種類を判別してもよい。本実施の形態では、物品１４が全て同一種類である場合のピッキング工程について記載する。

３次元座標演算部４６では、２次元座標演算部４５で得られた２次元座標（^ｃｘ、^ｃｙ）を3次元座標（^ｒＸ、^ｒＹ、^ｒＺ）に変換する。２次元座標からでは物品１４の高さHが分からないため、物品１４の高さ情報Hおよび最大積載段数Ｄを第２の記憶部４２にあらかじめ記憶させておき、最大積載段数Ｄを最大とする各段数における物品の3次元座標をそれぞれ演算する。これにより、物品１４の段数に応じた３次元座標を複数得ることが可能となる。詳細の演算方法については後述する。

制御部５０では、３次元座標演算部４６から得られた複数の３次元座標および第３の記憶部から得られた目標段数に基づき、ピッキングロボット６０を制御する。

ピッキングロボット６０はアーム６２、把持ハンド６４、接触センサ６６からなり、制御部５０からの指令に基づいてアーム６２を稼働させることにより、把持ハンド６４下部に設けられた複数の吸着パット６８により物品１４の上面を把持可能としている。接触センサ６６は把持ハンド６４が物品１４と接触している状態を検知する。

次に、図２のフローチャートを用いて本実施の形態の制御フローについて説明する。撮像エリア１８には図示しない光学センサが設けられ、コンテナ１２が撮像エリア１８内の所定の位置に来ると、カメラ２０はコンテナ１２および内部に積載された物品１４の２次元画像を撮像する（２次元画像撮像処理：Ｓ０１）。コンテナ１２が撮像エリア１８内にあることを検知する方法としてはこれには限られず、物品が所定の間隔で流れてくる場合は、コンベア１６の移動量や経過時間に基づいて定期的に撮像をおこなってもよい。
カメラ２０で撮像された２次元画像データは画像処理部４０へ送られる。画像処理部４０では、あらかじめ第１の記憶部４１に記憶されたマーカーの固有データと２次元画像データとを比較解析し、画像処理によりマーカーの固有データと一致する２次元座標を特定し、物品１４における所定位置の２次元座標を特定する（２次元座標特定処理：Ｓ０２）。本実施の形態では、あらかじめ物品の重心位置と物品におけるマーカーの位置を第１の記憶部４１に記憶させておき、マーカーの座標から物品の重心位置を物品１４の所定位置の２次元座標として特定するようにしているが、特に座標の特定方法が限定されるものではなく、１つの物品に複数のマーカーを備えるようにし、それらの座標から演算するようにしてもよい。また、物品の座標を重心とする必要もなく、物品の位置を特定できるような座標であればよい。なお、２次元画像中に物品１４が複数含まれる場合は、２次元画像データ中に含まれるすべての物品１４の座標を特定する。

次に、物品１４が複数認識された場合は、次にピッキングロボット６０によって把持するべき目標物品を特定する（目標物品特定処理：Ｓ０３）。この物品を特定する優先順位は物品１４の形状やピッキングロボット６０の運用によって適宜決定することができる。例えば、２次元画像における中心であるカメラ座標の中央からの距離が最も近い物品を最も優先順位の高い目標物品としてもよい。

次に、目標物品について、２次元座標から３次元座標に変換を行う処理について図３を用いて説明する（３次元座標推定処理：Ｓ０４）。３次元座標演算部４６は、２次元画像データ上で特定された２次元座標に基づき３次元座標を計算する。ここで、２次元画像データからでは目標物品の現在の高さを特定できないため、あらかじめ第２の記憶部４２に物品１４単独の高さＨと最大積載段数Ｄを記憶させておき、物品１４が存在し得る高さそれぞれにおける３次元座標を演算する。図３ａは、カメラ２０により撮像される領域をＹ軸方向を奥行きとして側面から見た図である。第２の記憶部４２に記憶された物品１４単独の高さＨと最大積載段数Ｄに基づいた最大高さをＺａとした場合、高さＺａにおける撮像可能なＸ軸方向の長さをＬ_Ｚａと表すことが可能である。この長さはカメラ２０の撮影画角とカメラ２０からの距離に基づいて求めてもよく、あらかじめ各高さにおける撮像範囲を測定し、第２の記憶部に記憶させてもよい。同様に、物品の段数が最大段数時の上から数えて2段目（Ｄ－１）の場合は高さＺｂで撮像可能なＸ軸方向の長さがＬ_Ｚｂ、物品の段数が最大段数時の上から数えて3段目（Ｄ－２）の場合は高さＺｃで撮像可能なＸ軸方向の長さがＬ_Ｚｃ・・・として、任意の高さＺｎにおける撮像範囲を特定することができる。Ｙ軸についても同様に求めることができるが、カメラ２０の撮影画角がＸ軸方向とＹ軸方向で異なる場合は、適宜係数を掛けて補正する。本実施例ではカメラ２０の撮影画角がＸ軸方向とＹ軸方向で同一である場合について説明する。
まずは、２次元画像データにおける目標物品の相対座標を求める。図３ｂは２次元座標系における相対座標の求め方を図示したものである。カメラ２０はＸ軸方向に画素数Ｗ、Ｙ軸方向に画素数Ｄを持つものとする。カメラ２０を中心位置としたゼロ座標とした場合、Ｘ座標の範囲は（－Ｗ／２≦ｘ≦Ｗ／２）、Ｙ座標の範囲は（－Ｄ／２≦ｙ≦Ｄ／２）と表される。ここで、２次元画像データ中の中心座標を（０，０）とした場合の画素の座標を（ｗ，ｄ）、とした場合、画像中の2次元相対座標は（２ｗ／Ｗ、２ｄ／Ｄ）として表すことができる。なお、2次元相対座標の範囲は（－１≦２ｗ／Ｗ≦１、－１≦２ｄ／Ｄ≦１）で表される。
続いて、2次元相対座標に基づいて３次元座標を求める。高さＺｎにおけるＸ軸方向およびＹ軸方向の撮像可能長さをＬ_Ｚｎとした場合、任意の高さＺｎにおける３次元座標は、
（Ｌ_Ｚｎ・ｗ／Ｗ、Ｌ_Ｚｎ・ｄ／Ｄ、Ｚｎ）として表すことができる。

次に、３次元座標演算部４６で演算された情報に基づき、制御部５０はピッキングロボット６０を制御して物品１４の把持動作を行う（ピッキングロボット制御処理：Ｓ０５）。こちらの制御について図４および図５を用いて詳細に説明する。

図４に示されるように、ピッキングロボット６０が物品１４を把持する際、把持ハンド６４において物品１４を把持する面の重心位置を把持位置座標Ｐ_ｑとする。２次元画像データから得られた情報のみでは、物品１４が何段目の位置にあるのかが特定できない。そこで、制御部５０は第２の記憶部４２に記憶されている最大積載段数を第３の記憶部の目標段数として設定し（Ｓ１０）、この目標段数時の高さにおける３次元座標演算部４６で計算された座標Ｐ_ａを目標座標として設定し、把持ハンド６４の把持位置座標Ｐ_ｑが目標座標Ｐ_ａと重なるようにピッキングロボット６０の動作を制御する（Ｓ１１）。具体的には、目標座標Ｐ_ａの真上位置かつ第２の記憶部４２に記憶されている最大積載段数時の高さよりも高い位置に把持ハンド６４を一旦移動させたのち、目標座標Ｐ_ａまで把持ハンド６４を垂直降下させる（垂直移動）。

把持ハンド６４の把持位置座標Ｐ_ｑが目標座標Ｐ_ａと重なった際に、接触センサ６６が物品１４を検出したか否かを判定する（Ｓ１２）。接触センサ６６が物品１４を検出しなかった場合（Ｓ１２，ＮＯ）、該当の段には物品１４が存在しない把持不可能状態であると判断し、第３の記憶部４３に記憶された目標段数を－１する。さらに、この段数時の高さにおける３次元座標演算部４６で計算された座標Ｐ_ｂを目標座標として再設定し（Ｓ１３）、把持ハンド６４の把持位置座標Ｐ_ｑが目標座標Ｐ_ｂと重なるようにピッキングロボット６０の動作を再度制御する（Ｓ１４）。この操作を接触センサ６６が物品１４を検出するまで繰り返す。接触センサ６６が物品１４を検出した場合（Ｓ１２，ＹＥＳ）、把持可能状態であると判断し、あらかじめ指定された物品把持動作および輸送動作を行い（Ｓ１５）、その後、物品の平面座標であるｘ座標およびｙ座標を、直前に接触センサ６６が物品１４を検出した座標で固定した上で、目標段数を－１する（Ｓ１６）。つまり、同一の物品１４が整然と積載されている場合は、直前に把持した物品の真下に次の物品が存在することが明らかであるため、次に把持するべき物品の座標を確定させることが可能である。

なお、把持ハンド６４が段積みされた物品１４のうち複数個を一度に把持輸送可能な場合は、把持した数量だけ現在の物品段数を減らすようにしてもよい。例えば、把持ハンドが物品１４を２段把持輸送した場合、Ｓ１６の工程では物品段数を－２する。また、最上段の物品１４の３次元座標が特定された場合は、段数がゼロとなるまで、もしくは目的の数量が確保できなくなるまでの間、物品の平面座標を確定状態とし、物品１４の高さＨに応じた高さ座標のみ減少させるようにしてもよい。

本実施の形態ではピッキングロボット６０を垂直に移動しているが、異なる複数種の物品を段積みしている場合などは、高さを変数とした一次直線上、すなわちカメラ２０のマーカーや物品に対する視線と平行になるよう把持ハンド６４の把持位置座標Ｐ_ｑを移動させ、接触センサ６６が物品を検知した段階での座標を最上段の物品座標として特定してもよい。この際のピッキングロボット６０の制御としては、把持ハンド６４が目標座標Ｐ_ａまでの最短距離を直線軌道で移動するような制御（最短距離移動）としてもよい。また、最短距離移動時の軌道と鉛直方向との角度を計算し、接触センサ６６が物品１４との接触を検知できる角度範囲を超えるような場合は垂直移動、そうでない場合は最短距離移動と、２種類の制御を使い分けてもよい。

本実施の形態では同一形状の物品１４が段積みされたコンテナ１２がコンベア１６上を流れる構成について説明したが、それには限定されない。具体的には、コンベア１６上に直接物品１４が段積みされて流れるような構成にも適用可能である。また、カメラ２０が段積みされた物品１４を撮像エリア１８内で撮像することができれば、コンテナ１２や段積みされた物品１４を人力など他の方法で直接撮像エリア１８に移動させてもよい。

本実施の形態では、把持ハンド６４は吸着パット６８による吸着をおこなっているが、物品１４を好適に把持可能であれば、この形態には限定されない。例えば、物品１４の１箇所もしくは複数箇所を挟持して把持するような構成としてもよく、物品１４を下方から支持して持ち上げるように把持してもよい。また、これらの把持方法を複数組み合わせてもよい。また、接触センサ６６は把持ハンド６４による物品１４の把持可能状態が検知できるものであればよく、非接触の近接センサなども適宜用いることが可能である。

本実施の形態では、各段数に応じた物品の３次元座標を個別に演算しているが、カメラ２０の視点と、たとえば最大積載段数における物品１４の３次元座標から、物品がいずれの高さに積載された場合でも物品の座標を通過する直線軌道を得ることができ、この軌道に沿うように把持ハンド６４を移動させてもよい。なお、この軌道はカメラ２０の視点とすべての物品の３次元座標を通過する視線となる。この直線軌道は、特定の高さにおける１点の３次元座標が決まれば求めることができる。

また、本実施の形態は上記に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。

１２：コンテナ
１４：物品
１６：コンベア
１８：撮像エリア
２０：カメラ（撮像部）
４０：画像処理部
４１：第１の記憶部
４２：第２の記憶部
４３：第３の記憶部
４５：２次元座標演算部
４６：３次元座標演算部
５０：制御部
６０：ピッキングロボット
６２：アーム
６４：把持ハンド
６６：接触センサ（センサ）
６８：吸着パット（把持部）

Claims

所定の位置にマーカーを有する段積みされた物品を把持輸送するピッキングシステムであって、
前記物品のうち少なくとも１つを把持輸送する把持ハンドと、
前記物品を含む所定のエリアを上方から２次元画像データを撮像する撮像部と、
前記把持ハンドに設けられ、前記物品の把持可能状態を検知するセンサと、
マーカー情報と、マーカーと前記物品の所定位置との相対位置情報とを記憶する第１の記憶部と、
前記物品の単独高さ情報と、最大積載段数とを記憶する第２の記憶部と、
前記把持ハンドの移動目標となる物品の目標段数を記憶する第３の記憶部と、
前記２次元画像データと前記マーカー情報とを比較解析し、画像処理により前記マーカー情報の一致する２次元座標を特定する２次元座標演算部と、
前記物品の単独高さ情報と前記最大積載段数と前記２次元座標とに基づいて前記物品の３次元座標を演算する３次元座標演算部と、
前記３次元座標まで前記把持ハンドを移動させ、前記物品の把持動作を行う制御部と、を備え、
前記３次元座標演算部は、前記第２の記憶部の情報から各段数における前記物品の任意の高さをそれぞれ特定し、該任意の高さにおける撮像範囲に基づいて、前記２次元座標から前記物品の現在の高さを特定することを特徴とするピッキングシステム。
前記制御部は、前記第３の記憶部で設定した前記目標段数の３次元座標を目標座標として前記把持ハンドを移動させた際、
前記センサが把持可能と検知した場合は該物品を把持輸送する制御をおこない、
前記センサが把持不可能と検知した場合は、前記目標段数を－１して前記目標座標を再設定し、再度前記把持ハンドを移動させる動作を前記センサが物品を把持可能と検知するまで繰り返しおこなうことを特徴とする請求項１に記載のピッキングシステム。
前記制御部は前記把持ハンドによる把持輸送動作をおこなった場合、前記目標段数を直前の把持輸送動作によって把持輸送された段数だけ減らし、同一平面座標かつ現在の目標段数における高さの３次元座標を次の把持目標座標とすることを特徴とする請求項２に記載のピッキングシステム。
前記制御部は、前記把持ハンドを前記最大積載段数時に最上段に載置された物品の高さよりも高い位置から前記最大積載段数時に最上段に載置された物品の３次元座標まで移動させることを特徴とする請求項１から請求項３に記載のピッキングシステム。