JP7505674B2 - ピッキングシステム - Google Patents

Description

本発明は、球状の複数の作物の中から１つの作物を選定して取り上げるピッキングシステムに関する。

現在、様々な分野において、ピッキング装置（例えば多関節ロボット）を用いた物品のピッキング（取り上げ）が行われている。ピッキング装置は、物品を把持する把持部を有する。把持部には、互いに離間する方向と接近する方向に移動可能な一対の指部が設けられる。ピッキング装置は、開いた状態の一対の指部を上方から物品を把持できる位置まで移動させ、一対の指部を閉じて物品を把持する。

特許文献１には、物品の位置情報を生成するピッキングシステムが開示される。このピッキングシステムは、バラ積みされた不定形の物品を３次元カメラで撮像して、物品の３次元位置情報（重心位置、体積、直径等の情報）を生成し、その３次元位置情報に基づいてピッキング装置を制御するものである。

特開２０１９－１１７０６８号公報

特許文献１では、把持対象の物品の３次元位置情報について検討される一方で、物品の周囲のどの位置や方向に一対の指部を移動させるかについては検討されていない。ピッキング装置が一対の指部を把持対象の物品の横まで移動させる際に、一対の指部の把持位置が適切でないと、指部が周囲の他の物品に接触する。

物品が工業製品である場合は大きな問題はない。一方、物品が作物である場合は、指部が接触することによって作物の表面が損傷する虞がある。損傷した作物は価格が下がる。このようなことから、ピッキング対象が作物である場合は、ピッキング装置の指部が作物にできるだけ接触しないようにすることが望まれる。

本発明はこのような課題を考慮してなされたものであり、ピッキングの際に作物が損傷することを抑制することができるピッキングシステムを提供することを目的とする。

本発明の態様は、球状の複数の作物の中から１つの前記作物を選定して取り上げるピッキングシステムであって、開閉可能な一対の指部を有し、上方から前記作物に一対の前記指部を接近させて、一対の前記指部を閉じることで前記作物を把持するピッキング装置と、複数の前記作物を上方から撮像して複数の前記作物の距離画像を取得する３次元センサと、前記距離画像に基づいて複数の前記作物の中で前記３次元センサから最も近い最高点を特定するとともに特定した前記最高点を前記作物の中心位置と判定する中心判定部と、前記最高点から下方に所定量だけ離れた位置で前記距離画像を２値化処理する２値化処理部と、前記２値化処理後の２値化画像において、前記中心位置を中心として前記最高点を含む前記作物の外接円と前記中心位置を中心として前記外接円よりも大きい外周円とで区画される第１領域の中で、周方向に沿って配置される複数の第２領域を設定する領域設定部と、前記中心位置を挟んで向き合う２つの前記第２領域を領域対とし、複数の前記領域対の中から前記作物が含まれる面積が最も少ない前記領域対を検出する領域対検出部と、検出された前記領域対から前記一対の指部が前記最高点を含む前記作物を把持するように、前記ピッキング装置を制御する制御部と、を備える。

本発明によれば、ピッキングの際に作物が損傷することを抑制することができる。

図１は、第１実施形態に係るピッキングシステム及び周辺装置を示す図である。 図２は、第１実施形態に係るピッキングシステムを示すブロック図である。 図３Ａは、一対の指部が閉じた状態を模式的に示す正面図であり、図３Ｂは、一対の指部が開いた状態を模式的に示す正面図である。 図４は、ピッキング装置の把持部を模式的に示す側面図である。 図５は、第１実施形態の処理工程を示すフローチャートである。 図６は、上方から見たコンテナの内部の複数の作物を示す図である。 図７は、図６に示される複数の作物の距離画像を示す図である。 図８は、２値化処理の境界の一例を示す図である。 図９は、２値化処理の境界の一例を示す図である。 図１０は、距離画像を２値化処理した２値化画像を示す図である。 図１１は、２値化画像に第１領域を重ねて示す図である。 図１２は、２値化画像に第１領域及び第２領域を重ねて示す図である。 図１３は、第２実施形態の処理工程を示すフローチャートである。 図１４は、第３実施形態の処理工程を示すフローチャートである。 図１５は、２値化画像に第１領域及び変形例の第２領域を重ねて示す図である。

以下、この発明に係るピッキングシステムについて実施形態を挙げ、添付の図面を参照して詳細に説明する。

［１ ピッキングシステム１０の構成］
図１は、第１実施形態に係るピッキングシステム１０及び周辺装置を示す図である。図２は、第１実施形態に係るピッキングシステム１０を示すブロック図である。選別作業が行われる作業所には、ピッキング装置１２とベルトコンベア１１２が互いに隣接して配置される。コンテナ１１０は、上方に開放された状態でピッキング装置１２の近傍の所定位置に置かれる。コンテナ１１０の内部には収穫された複数の作物が入れられている。ピッキング装置１２は、コンテナ１１０の内部から作物を１つずつ取り上げて、ベルトコンベア１１２まで搬送する。ベルトコンベア１１２は、作物を搬送先（例えば選別機や作業場等）まで搬送する。なお、本実施形態に係るピッキングシステム１０は、球状の作物をピッキング対象とする。本実施形態では、作物として、トマト等の青果物１１４を想定する。なお、ここでいう球状というのは、２次元形状が真円、楕円及び歪んだ円のいずれかになる形状を含む。

本実施形態に係るピッキングシステム１０は、ピッキング装置１２と、１以上の３次元センサ１４と、コントローラ１６と、操作装置１８と、を有する。

ピッキング装置１２は、コンテナ１１０の内部に入れられた複数の青果物１１４の中から１つの青果物１１４を把持して取り上げてベルトコンベア１１２まで搬送する装置である。ピッキング装置１２としては、多関節ロボットが使用される。多関節ロボットは、例えば、アーム２２と、アーム２２の先端に装着される把持部２４と、を有する。アーム２２の各関節にはサーボモータ２６と、モータ軸の回転位置(回転角度)を検出する複数の角度センサ２８（例えばロータリエンコーダ）と、が設けられる。サーボモータ２６は、コントローラ１６から供給される電力によって動作する。角度センサ２８は、検出した回転位置の情報をコントローラ１６に出力する。なお、ピッキング装置１２は、多関節ロボットである必要はなく、青果物１１４を把持して搬送を行うことができる他の装置であっても良い。

図３Ａは、一対の指部３４が閉じた状態を模式的に示す正面図であり、図３Ｂは、一対の指部３４が開いた状態を模式的に示す正面図である。図４は、ピッキング装置１２の把持部２４を模式的に示す側面図である。把持部２４は、アーム２２側のサーボモータ２６の動作によって軸線Ａを中心にして回転可能である。また、指部３４は、他のサーボモータ２６の動作によって軸線Ａと直交する方向に開閉動作可能である。図３Ａ、図３Ｂ及び図４においては、軸線Ａに沿って把持部２４の根元側から先端側に向かう方向を＋Ｘ方向とし、その反対方向を－Ｘ方向とする。また、±Ｘ方向と直交する方向であって、指部３４が開閉する一方向を＋Ｙ方向とし、その反対方向を－Ｙ方向とする。また、±Ｘ方向及び±Ｙ方向と直交する一方向を＋Ｚ方向とし、その反対方向を－Ｚ方向とする。

把持部２４は、サーボモータ２６を備える駆動部３２と、一対の指部３４と、を有する。各指部３４は、駆動部３２に対して±Ｙ方向に動作可能に取り付けられる開閉部３６と、開閉部３６に取り付けられて＋Ｘ方向側に延びる３つの指機構３８と、を有する。本実施形態において、３つの指機構３８は＋Ｚ方向（又は－Ｚ方向）に沿って直線状に並べられているが、軸線Ａを中心とする周方向に沿って曲線状に並べられても良い。＋Ｙ方向側の３つの指機構３８と－Ｙ方向側の３つの指機構３８は対をなす。図３Ｂに示されるように、一対の指部３４が開いた状態では、＋Ｙ方向側の各指機構３８の外側表面と－Ｙ方向側の各指機構３８の外側表面は離間距離Ｄ１だけ離れる。

各指機構３８は、取付部４０と、指４２と、吊り棒４４と、バネ４６と、ブラケット４８と、ナット５０と、を有する。取付部４０と指４２はスライド機構を構成する。取付部４０は、開閉部３６に取り付けられており、開閉部３６から＋Ｘ方向に向かって延びるガイド部材である。指４２は、取付部４０に対して±Ｘ方向に移動可能に取り付けられており、取付部４０から＋Ｘ方向に向かって延びるスライド部材である。指４２の＋Ｘ方向側の端部は、軸線Ａに向かって屈曲する。指４２は、±Ｙ方向に撓み得る。吊り棒４４は、開閉部３６に取り付けられており、開閉部３６から＋Ｘ方向に向かって延びる。吊り棒４４は、バネ４６に挿通され、更に指４２に取り付けられているブラケット４８に挿通される。ブラケット４８から＋Ｘ方向側に突出する吊り棒４４の端部には、ナット５０が取り付けられる。このような構造により、指４２は、バネ４６によって＋Ｘ方向側に付勢された状態で、ブラケット４８がナット５０によって規制される位置を最下端位置として、±Ｘ方向に移動可能となる。指４２の移動範囲のうち、－Ｘ方向側の端部にはリミットスイッチ５２が設けられる。把持部２４が取り上げ対象の青果物１１４に向かって下方に移動するときに、指４２の先端部が青果物１１４の下方の物体（コンテナ１１０の底面又は取り上げ対象以外の青果物１１４）に接触すると、指４２は取付部４０からみて上方にスライドする。指４２がリミットスイッチ５２に当接すると、リミットスイッチ５２はコントローラ１６に検出信号を出力する。

図１及び図２に戻り説明を続ける。３次元センサ１４は、コンテナ１１０の上方からコンテナ１１０の内部を撮像して距離画像６０を取得する。３次元センサ１４としては、例えば赤外光等を使用するＴＯＦカメラが使用される。なお、本実施形態では、３次元センサ１４として、２つのＴＯＦカメラが使用される。２つのＴＯＦカメラをグローバルカメラ１４ａとローカルカメラ１４ｂと称する。

グローバルカメラ１４ａは、コンテナ１１０が置かれる所定位置の真上に配置され、支持装置５６によって支持される。グローバルカメラ１４ａの位置は、グローバルカメラ１４ａの画角内にコンテナ１１０の全体が収まる位置である。グローバルカメラ１４ａは、コンテナ１１０の内部を撮像して第１距離画像６０ａを取得し、取得した第１距離画像６０ａをコントローラ１６に出力する。

ローカルカメラ１４ｂは、例えばピッキング装置１２のアーム２２に取り付けられる。グローバルカメラ１４ａが所定位置に固定されるのに対して、ローカルカメラ１４ｂは、アーム２２の動作に応じてコンテナ１１０の上方で水平方向及び鉛直方向に移動可能である。このため、ローカルカメラ１４ｂは、コンテナ１１０に接近して把持対象の青果物１１４を撮像することが可能である。なお、ローカルカメラ１４ｂは、ローカルカメラ１４ｂの画角内にコンテナ１１０の全体が収まる位置に移動して、グローバルカメラ１４ａの代わりにコンテナ１１０の内部を撮像することも可能である。ローカルカメラ１４ｂは、コンテナ１１０の内部を撮像して第２距離画像６０ｂを取得し、取得した第２距離画像６０ｂをコントローラ１６に出力する。

コントローラ１６は、角度センサ２８が出力するサーボモータ２６の回転位置の情報と、１以上の３次元センサ１４が出力する距離画像６０と、に基づいて、ピッキング装置１２の動作を制御する。

図２に示されるように、コントローラ１６は、制御回路６２と、ドライバ６４と、を有する。制御回路６２は、中心判定部６６と、２値化処理部６８と、領域設定部７２と、領域対検出部７４と、制御部７６等として機能する。制御回路６２は、例えば、ＣＰＵ、ＧＰＵ等のプロセッサによって構成される。この場合、不図示の記憶装置（ＲＡＭ、ＲＯＭ、ハードディスク等）に記憶されるプログラムがプロセッサによって実行されることによって、上記各部が実現される。なお、制御回路６２は、例えば、ＡＳＩＣ、ＦＰＧＡ等の集積回路によって構成されても良い。また、制御回路６２は、ディスクリートデバイスを含む電子回路によって構成されても良い。

また、記憶装置は、グローバルカメラ１４ａの位置を示す位置情報と、グローバルカメラ１４ａの撮像位置（コンテナ１１０が置かれる位置）を示す位置情報を記憶する。制御回路６２は、これらの位置情報と第１距離画像６０ａに基づいて青果物１１４の位置を算出することができる。

？ドライバ６４は、制御回路６２から各サーボモータ２６に関する動作指令（回転位置、回転速度等の目標値）を入力し、各サーボモータ２６に電力を供給する。この際、ドライバ６４は、各角度センサ２８から各サーボモータ２６の回転位置の情報（フィードバック信号）を入力し、各サーボモータ２６の回転位置が動作指令の目標値に近づくようにフィードバック制御する。

操作装置１８は、マンマシンインターフェースとしてのタッチパネル（又はボタン）とディスプレイ等を有する。操作装置１８は、オペレータがタッチパネルを操作した場合に、操作に応じた指示信号をコントローラ１６に出力する。

［２ ピッキング処理の具体例］
［２．１ 第１実施形態］
図５を用いてピッキングシステム１０が行うピッキング処理の第１実施形態の手順を説明する。図５は、第１実施形態の処理工程を示すフローチャートである。図５は、１つの青果物１１４を把持して取り上げる一連の処理を示す。ピッキングシステム１０は、この一連の処理を、コンテナ１１０の内部の青果物１１４がなくなるまで繰り返し実行する。なお、第１実施形態では、３次元センサ１４として、グローバルカメラ１４ａのみが使用される。なお、グローバルカメラ１４ａの代わりに、ローカルカメラ１４ｂが所定位置まで上昇してコンテナ１１０の内部を撮像しても良い。

コンテナ１１０が所定位置に置かれた状態で、オペレータは、操作装置１８を操作してピッキング処理を開始させる。オペレータの操作に応じて、操作装置１８からコントローラ１６に開始指示信号が出力され、以下で説明する一連の処理が開始される。

ステップＳ１において、グローバルカメラ１４ａは、コンテナ１１０の内部（図６）を撮像し、第１距離画像６０ａ（図７）を取得する。グローバルカメラ１４ａは、取得した第１距離画像６０ａをコントローラ１６に出力する。なお、グローバルカメラ１４ａは、コントローラ１６が出力する撮像指示に応じて第１距離画像６０ａを取得しても良いし、任意のタイミングで第１距離画像６０ａを取得しても良い。ステップＳ１が終了すると、処理はステップＳ２に移行する。

ステップＳ２において、中心判定部６６は、第１距離画像６０ａに基づいて複数の青果物１１４の中でグローバルカメラ１４ａから最も近い最高点８０（図７）を特定する。最高点８０というのは、コンテナ１１０の内部で最も高い点（頂点）のことをいう。コンテナ１１０の内部に複数の青果物１１４が入れられている場合、複数の青果物１１４の中で最も高い位置に置かれた青果物１１４の頂点が最高点８０となる。なお、中心判定部６６は、コンテナ１１０の縁等を最高点８０と判定しないように、コンテナ１１０の縁の位置をマスクしても良い。ステップＳ２が終了すると、処理はステップＳ３に移行する。

ステップＳ３において、中心判定部６６は、ステップＳ２で特定した最高点８０の座標位置（水平面内の座標位置）を青果物１１４の中心位置９０と判定する。ステップＳ３が終了すると、処理はステップＳ４に移行する。

ステップＳ４において、２値化処理部６８は、最高点８０から下方に所定量だけ離れた位置（図８及び図９の破線８４）で第１距離画像６０ａを２値化処理する。所定量というのは、例えば図８に示されるように所定距離Ｄ２（例えばトマトの場合は３０［ｍｍ］）でも良いし、例えば図９に示されるように最高点８０から所定の百分率Ｘ％（例えば３０％）でも良い。所定距離Ｄ２は、青果物１１４の径よりも短い距離であり予め設定される。所定の百分率Ｘは、青果物１１４の径に対する割合である。２値化処理部は、最高点８０から所定量だけ離れた位置（破線８４）を基準位置とし、第１距離画像６０ａのうち、基準位置よりも高い位置が撮像された部分と低い位置が撮像された部分とに分ける処理、すなわち２値化処理を行う。２値化処理部６８は、２値化処理を行うことによって図１０に示されるような２値化画像８２を生成する。図１０では、最高点８０から下方に所定量だけ離れた位置（図８及び図９の破線８４）を境に、上方空間に存在する物体（青果物１１４）が黒塗りで示され、下方空間に存在する物体（青果物１１４）が白塗りで示される。ステップＳ４が終了すると、処理はステップＳ５に移行する。

ステップＳ５において、領域設定部７２は、以下の手順で環状の第１領域９４を設定する。図１１に示されるように、領域設定部７２は、２値化画像８２から中心位置９０（最高点８０）が設定された青果物１１４の画像を抽出する。領域設定部７２は、青果物１１４の中心位置９０を中心として、青果物１１４の輪郭８６を包含する最小の外接円８８を求める。なお、輪郭８６は青果物１１４の真の外形であるとは限らない。更に、領域設定部７２は、外接円８８よりも大きい外周円９２を求め、外接円８８と外周円９２とで区画される第１領域９４を設定する。外接円８８と外周円９２は、中心位置９０を中心とする同心円である。外周円９２の半径Ｒは、外接円８８の半径ｒよりも大きな値であれば、任意に設定可能である。結果として、外周円９２の直径２Ｒは、外接円８８の直径２ｒよりも大きくなり、第１領域９４は環状になる。ステップＳ５が終了すると、処理はステップＳ６に移行する。

ステップＳ６において、領域設定部７２は、第１領域９４の中に、周方向に沿って一定の間隔で並ぶ複数（偶数）の第２領域９６を設定する。第２領域９６の数は予め設定される。本実施形態では、図１２に示されるように８つの第２領域９６が並べられる。第２領域９６の数は８でなく１６でも良いし、それ以外の偶数でも良い。

領域設定部７２は、第２領域９６を矩形にする。第２領域９６が矩形である場合はステップＳ６及びステップＳ７で行う演算を簡単に行うことができる。領域設定部７２は、矩形の大きさ（長辺と短辺の長さ）を予め定められた大きさにしても良いし、指４２の外形（太さ、曲がり具合等）に基づいて求めても良いし、外接円８８と外周円９２との離間距離（半径Ｒ－半径ｒ）と所定のアスペクト比とに基づいて求めても良い。なお、アスペクト比は、指４２の外形から決められても良い。

領域設定部７２は、第２領域９６のうちの１つを基準位置に配置する。例えば、領域設定部７２は、中心位置９０からみて特定の方向に基準位置を設定しても良いし、２値化画像８２における青果物１１４の輪郭８６に基づいて設定しても良い。後者の場合、領域設定部７２は、中心位置９０からみて最も遠い輪郭８６の方向又は最も近い輪郭８６の方向に基準位置を設定しても良い。最も遠い輪郭８６の方向に基準位置を設定する場合、青果物１１４の周囲の情報を精度良く得ることができる。なお、領域設定部７２は、いずれかの方法で基準位置を設定し、中心位置９０から径方向に延びる線を基準位置から等間隔に設定し、各線を中心線とする矩形を設定しても良い。

領域設定部７２は、隣り合う第２領域９６同士を、図１２に示されるように部分的に重ね合わせても良いし、互いに離間させても良い。隣り合う第２領域９６同士を重ね合わせる場合は、重ね合わせる部分を小さくするほど青果物１１４の周囲の情報を精度良く得ることができる。ステップＳ６が終了すると、処理はステップＳ７に移行する。

ステップＳ７において、領域対検出部７４は、中心位置９０を挟んで向き合う２つの第２領域９６を領域対９６ａ～９６ｄとし、複数の領域対９６ａ～９６ｄの中から青果物１１４が含まれる面積が最も少ない領域対９６ａ～９６ｄを検出する。ステップＳ７の処理は、把持対象の青果物１１４の周辺のうち、一対の指部３４を上方から移動させる位置を特定する処理である。把持対象の青果物１１４に他の青果物１１４が近接する場合、第１領域９４に他の青果物１１４が投影される。このため、青果物１１４を把持する際に、指部３４を他の青果物１１４が投影された位置に移動させることを避けることが望ましい。領域対検出部７４は、一対の指部３４と他の青果物１１４とが接触する可能性を最も低くするために、投影された青果物１１４の面積が最も少ない領域対９６ａ～９６ｄを検出する。図１２の場合、領域対９６ｃに含まれる青果物１１４の面積が最も少ない。領域対検出部７４は、この領域対９６ｃを検出する。ステップＳ７が終了すると、処理はステップＳ８に移行する。

ステップＳ８において、制御部７６は、把持部２４の中央（軸線Ａの位置）が青果物１１４の中心位置９０の真上に位置するように、且つ、指部３４の中央の指４２がステップＳ７で検出された領域対９６ａ～９６ｄの真上に位置するように、ピッキング装置１２を制御する。その後、制御部７６は、把持部２４が下方に移動するように、ピッキング装置１２を制御する。このとき、制御部７６は、ドライバ６４に対して各動作に応じた動作指令を出力する。ドライバ６４は、動作指令に応じてピッキング装置１２の各サーボモータ２６に電力を供給する。なお、制御部７６は、ピッキング装置１２の各角度センサ２８が出力する回転位置の情報から、把持部２４の位置及び一対の指部３４の位置を算出することができる。

指部３４の下端（先端）が把持対象の青果物１１４の横を通過し、その下にある物体、例えば他の青果物１１４やコンテナ１１０の底面等に当接すると、指部３４は下方への移動を停止する。このとき、取付部４０から根本側の把持部２４は、バネ４６の弾性力に抗して下方に移動し続けている。ピッキング装置１２が把持部２４を下方に移動させ続けると、いずれかの指部３４の上端がリミットスイッチ５２に当接する。リミットスイッチ５２は、コントローラ１６に当接したことを示す信号を出力する。このとき、制御部７６は、把持部２４が下方への移動を停止するように、ピッキング装置１２を制御する。このようにして一対の指部３４は、領域対９６ｄの位置に移動する。ステップＳ８が終了すると、処理はステップＳ９に移行する。

ステップＳ９において、制御部７６は、青果物１１４をピッキングするように、ピッキング装置１２を制御する。ピッキング装置１２は、把持部２４を閉じた後に、アーム２２を動作させて把持部２４を一旦上方に移動させる。更に、制御部７６は、把持部２４がベルトコンベア１１２に向けて移動して青果物１１４をベルトコンベア１１２に置くように、ピッキング装置１２を制御する。以上で１サイクルの処理は終了する。

なお、各々の青果物１１４の径が揃っていることが予め判っている場合は、最初の青果物１１４のピッキング処理（ステップＳ１～ステップＳ９）が終了した後に、２つ目以降の青果物１１４のピッキング処理でステップＳ５とステップＳ６を省略しても良い。この場合、２つ目以降の青果物１１４のピッキング処理において、領域設定部７２は、最初の青果物１１４のピッキング処理で求められた第２領域９６を使用する。

［２．２ 第２実施形態］
第１実施形態では、３次元センサ１４としてグローバルカメラ１４ａのみが使用される。対して、第２実施形態では、３次元センサ１４としてグローバルカメラ１４ａとローカルカメラ１４ｂが併用される。第２実施形態の手順を、図１３を用いて説明する。図１３は、第２実施形態の処理工程を示すフローチャートである。

図１３に示されるステップＳ１１～ステップＳ１３の処理は、図５に示されるステップＳ１～ステップＳ３の処理と同じである。また、図１３に示されるステップＳ１６の処理は、２値化処理する距離画像６０としてステップＳ１５で取得される第２距離画像６０ｂを使用することを除いて、図５に示されるステップＳ４の処理と同じである。また、図１３に示されるステップＳ１７～ステップＳ２１の処理は、使用する２値化画像８２としてステップＳ１６で生成した２値化画像８２を使用することを除いて、図５に示されるステップＳ５～ステップＳ９の処理と同じである。このため、以下では、第１実施形態と異なるステップＳ１４及びステップＳ１５の処理について説明する。

ステップＳ１４において、制御部７６は、ローカルカメラ１４ｂが最高点８０の上方に位置するように、ピッキング装置１２を制御する。この位置は、グローバルカメラ１４ａよりも最高点８０に近い位置である。このとき、制御部７６は、ローカルカメラ１４ｂの光軸が最高点８０に向くように、ピッキング装置１２を制御しても良いし、把持部２４の中央が青果物１１４の中心位置９０の真上に位置するように、ピッキング装置１２を制御しても良い。後者の場合、把持部２４が青果物１１４の真上に位置する状態でローカルカメラ１４ｂの画角内に青果物１１４が入るように、ローカルカメラ１４ｂの姿勢が予め調整されていることが好ましい。制御部７６は、ドライバ６４に対して各動作に応じた動作指令を出力する。ドライバ６４は、動作指令に応じてピッキング装置１２の各サーボモータ２６に電力を供給する。なお、制御部７６は、ピッキング装置１２の各角度センサ２８が出力する回転位置の情報から、把持部２４及びローカルカメラ１４ｂの位置を算出することができる。ステップＳ１４が終了すると、処理はステップＳ１５に移行する。

ステップＳ１５において、ローカルカメラ１４ｂは、コンテナ１１０の内部のうち最高点８０の位置を含む一部範囲を上方から撮像し、第２距離画像６０ｂを取得する。ローカルカメラ１４ｂは、取得した第２距離画像６０ｂをコントローラ１６に出力する。なお、ローカルカメラ１４ｂは、コントローラ１６が出力する撮像指示に応じて第２距離画像６０ｂを取得しても良いし、任意のタイミングで第２距離画像６０ｂを取得しても良い。ステップＳ１５が終了すると、処理はステップＳ１６に移行する。以後、ステップＳ１６～ステップＳ２１の処理が実行される。

一般に、距離画像６０においては、画像中心部分の位置情報の精度が最も高く、画像中心部分から離れるにつれて位置情報の精度が低くなる。このため、第１実施形態のようにグローバルカメラ１４ａによって取得される第１距離画像６０ａのみを使用する場合、第１距離画像６０ａの端に写る青果物１１４の位置情報は、第１距離画像６０ａの中心部分に写る青果物１１４の位置情報よりも精度が低い。

対して、第２実施形態に係るピッキングシステム１０は、ローカルカメラ１４ｂを個々の青果物１１４に接近させて第２距離画像６０ｂを取得することができる。従って、第２実施形態によれば、３次元センサ１４から青果物１１４までの距離、すなわち青果物１１４の位置を高精度に検出することができ、指部３４を移動させる位置を正確に求めることができる。結果として、指部３４と把持対象の青果物１１４以外の青果物１１４との接触が、第１実施形態よりも抑制される。

［２．３ 第３実施形態］
距離画像６０においてコンテナ１１０がマスクされると、ピッキング装置１２はコンテナ１１０を検出しない。このため、ピッキング装置１２が把持部２４を下方に移動させる際に、指部３４がコンテナ１１０に接触する場合がある。最悪の場合、一対の指部３４が領域対９６ａ～９６ｄの位置に到達できない虞がある。第３実施形態は、指部３４がコンテナ１１０に接触した場合に、把持部２４の回転位置を変更した後に、再度把持部２４を下方に移動させる実施形態である。第３実施形態の手順を、図１４を用いて説明する。図１４は、第３実施形態の処理工程を示すフローチャートである。

図１４に示されるステップＳ３１～ステップＳ３８の処理及びステップＳ４１の処理は、図５に示されるステップＳ１～ステップＳ９の処理と同じである。このため、以下では、第１実施形態と異なるステップＳ３９、ステップＳ４０、ステップＳ４２の処理について説明する。なお、第３実施形態では、３次元センサ１４として、グローバルカメラ１４ａのみが使用される。

ステップＳ３９において、制御部７６は、複数のリミットスイッチ５２が反応したか否かを判定する。指４２がコンテナ１１０の上端に引っかかり下方に移動できなくなると、指４２は取付部４０からみて上方にスライドする。所定数のリミットスイッチ５２が反応した場合（ステップＳ３９：ＹＥＳ）、処理はステップＳ４０に移行する。所定数のリミットスイッチ５２が反応していない場合（ステップＳ３９：ＮＯ）、処理はステップＳ３８に戻り、把持部２４の下方への移動が継続される。

ステップＳ４０において、制御部７６は、指部３４の先端が青果物１１４の把持位置に到達したか否かを判定する。制御部７６は、角度センサ２８が出力するサーボモータ２６の回転位置の情報と、予め記憶装置に記憶される把持部２４の寸法の情報と、に基づいて指部３４の先端の位置を求める。制御部７６は、求めた位置が最高点８０の位置から所定値（青果物１１４の平均的な大きさ）以上低い位置である場合、指部３４が把持位置に到達したと判定する。この場合（ステップＳ４０：ＹＥＳ）、処理はステップＳ４１に移行する。一方、制御部７６は、指部３４の先端の位置が最高点８０の位置から所定値以上低い位置でない場合、指部３４の先端がコンテナ１１０に当接していると判定する。この場合（ステップＳ４０：ＮＯ）、処理はステップＳ４２に移行する。この際、制御部７６は、ピッキング装置１２を制御して、一対の把持部２４を一旦上方に移動させる。

ステップＳ４２において、領域対検出部７４は、ステップＳ３７で検出した領域対９６ａ～９６ｄを除き、青果物１１４が含まれる面積が最も少ない領域対９６ａ～９６ｄを検出する。ステップＳ４２が終了すると、処理はステップＳ３８に戻り、再度ステップＳ３８以降の処理が行われる。

第３実施形態では、３次元センサ１４としてグローバルカメラ１４ａのみが使用される。対して、第２実施形態と同様に、３次元センサ１４としてグローバルカメラ１４ａとローカルカメラ１４ｂが併用されても良い。

［３ 変形例］
第１～第３実施形態では、領域設定部７２が、図１２に示されるように第２領域９６を矩形にする。しかし、第２領域９６は矩形でなくても良い。

例えば、領域設定部７２は、図１５に示されるように外周円９２の径方向に延びる直線によって所定角度毎に区画される複数の第２領域９６を設定しても良い。例えば、領域設定部７２は、第１領域９４を８分割又は１６分割して第２領域９６を設定する。このようにすることで、第１領域９４に隙間なく第２領域９６を設定することができる。

また、３次元センサ１４として、ローカルカメラ１４ｂのみが使用されても良い。この場合、コントローラ１６は、ローカルカメラ１４ｂをコンテナ１１０の全体を撮像できる位置に移動させた後に、把持対象の青果物１１４の真上の位置に移動させるといった作業を、１つの青果物１１４のピッキング毎に行う。このとき、ローカルカメラ１４ｂは、コンテナ１１０の真上でコンテナ１１０の全体を撮像し、その後に、把持対象の青果物１１４を真上で撮像する。

［４ 実施形態から得られる技術的思想］
上記実施形態及び変形例から把握しうる技術的思想について、以下に記載する。

本発明の態様は、球状の複数の作物（青果物１１４）の中から１つの前記作物を選定して取り上げるピッキングシステム１０であって、開閉可能な一対の指部３４を有し、上方から前記作物に一対の前記指部３４を接近させて、一対の前記指部３４を閉じることで前記作物を把持するピッキング装置１２と、複数の前記作物を上方から撮像して複数の前記作物の距離画像６０（第１距離画像６０ａ、第２距離画像６０ｂ）を取得する３次元センサ１４（グローバルカメラ１４ａ、ローカルカメラ１４ｂ）と、前記距離画像６０に基づいて複数の前記作物の中で前記３次元センサ１４から最も近い最高点８０を特定するとともに特定した前記最高点８０を前記作物の中心位置９０と判定する中心判定部６６と、前記最高点８０から下方に所定量だけ離れた位置で前記距離画像６０を２値化処理する２値化処理部６８と、前記２値化処理後の２値化画像８２において、前記中心位置９０を中心として前記最高点８０を含む前記作物の外接円８８と前記中心位置９０を中心として前記外接円８８よりも大きい外周円９２とで区画される第１領域９４の中で、周方向に沿って配置される複数の第２領域９６を設定する領域設定部７２と、前記中心位置９０を挟んで向き合う２つの前記第２領域９６を領域対９６ａ～９６ｄとし、複数の前記領域対９６ａ～９６ｄの中から前記作物が含まれる面積が最も少ない前記領域対９６ｃを検出する領域対検出部７４と、検出された前記領域対９６ｃから前記一対の指部３４が前記最高点８０を含む前記作物を把持するように、前記ピッキング装置１２を制御する制御部７６と、を備える。

上記構成において、領域対検出部７４は、上方からみた把持対象の作物の周辺領域（第１領域９４）の中から、最も疎な領域対９６ｃを検出する。指部３４がこの領域対９６ｃに向かって上方から移動して把持対象の作物の周囲に到達する場合、把持対象の作物及びその他の作物と指部３４とが接触する可能性は低い。また、仮に作物と指部３４とが接触したとしても、指部３４は作物の外周部分にかする程度であって作物を強く押す可能性は低い。従って、上記構成によれば、ピッキングの際に作物が損傷することを抑制することができる。

本発明の態様において、前記領域設定部７２は、複数の同一形状の前記第２領域９６を設定しても良い。

本発明の態様において、領域設定部７２は、複数の矩形の前記第２領域９６を設定しても良い。

本発明の態様において、前記領域設定部７２は、前記第２領域９６を設定する際に、隣り合う前記第２領域９６同士を部分的に重ね合わせても良い。

上記構成によれば、隣り合う第２領域９６の間の隙間が狭くなる（又はなくなる）。隙間が広くなるほど最適な領域対９６ａ～９６ｄを検出できない可能性が高くなる。対して、隙間が狭くなるほど最適な領域対９６ａ～９６ｄを検出できる可能性が低くなる。

本発明の態様において、前記領域設定部７２は、前記外周円９２の径方向に延びる直線によって所定角度毎に区画される複数の前記第２領域９６を設定しても良い。

上記構成によれば、環状の第１領域９４に第２領域９６を隙間なく設定することができる。このため最適な領域対９６ａ～９６ｄを検出することができる。

本発明の態様において、前記ピッキング装置１２は、多関節ロボットであっても良い。

本発明の態様において、前記所定量は、前記作物の径よりも短い距離であっても良い。

上記構成によれば、最適な２値化画像８２を生成することができる。

なお、本発明に係るピッキングシステムは、前述の実施形態及び変形例に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

例えば、本発明に係るピッキングシステムは、複数の作物の中から１つの作物をピッキングする作業であれば、選別作業以外にも使用可能である。

１０…ピッキングシステム １２…ピッキング装置
１４…３次元センサ １４ａ…グローバルカメラ
１４ｂ…ローカルカメラ ３４…指部
６０…距離画像 ６０ａ…第１距離画像
６０ｂ…第２距離画像 ６６…中心判定部
６８…２値化処理部 ７２…領域設定部
７４…領域対検出部 ７６…制御部
８０…最高点 ８２…２値化画像
８８…外接円 ９０…中心位置
９２…外周円 ９４…第１領域
９６…第２領域 ９６ａ～９６ｄ…領域対
１１４…青果物（作物）

Claims (7)

1. 球状の複数の作物の中から１つの前記作物を選定して取り上げるピッキングシステムであって、
   開閉可能な一対の指部を有し、上方から前記作物に一対の前記指部を接近させて、一対の前記指部を閉じることで前記作物を把持するピッキング装置と、
   複数の前記作物を上方から撮像して複数の前記作物の距離画像を取得する３次元センサと、
   前記距離画像に基づいて複数の前記作物の中で前記３次元センサから最も近い最高点を特定するとともに特定した前記最高点を前記作物の中心位置と判定する中心判定部と、
   前記最高点から下方に所定量だけ離れた位置で前記距離画像を２値化処理する２値化処理部と、
   前記２値化処理後の２値化画像において、前記中心位置を中心として前記最高点を含む前記作物の外接円と前記中心位置を中心として前記外接円よりも大きい外周円とで区画される第１領域の中で、周方向に沿って配置される複数の第２領域を設定する領域設定部と、
   前記中心位置を挟んで向き合う２つの前記第２領域を領域対とし、複数の前記領域対の中から前記作物が含まれる面積が最も少ない前記領域対を検出する領域対検出部と、
   検出された前記領域対から前記一対の指部が前記最高点を含む前記作物を把持するように、前記ピッキング装置を制御する制御部と、
   を備える、ピッキングシステム。
2. 請求項１に記載のピッキングシステムであって、
   前記領域設定部は、複数の同一形状の前記第２領域を設定する、ピッキングシステム。
3. 請求項２に記載のピッキングシステムであって、
   前記領域設定部は、複数の矩形の前記第２領域を設定する、ピッキングシステム。
4. 請求項３に記載のピッキングシステムであって、
   前記領域設定部は、前記第２領域を設定する際に、隣り合う前記第２領域同士を部分的に重ね合わせる、ピッキングシステム。
5. 請求項２に記載のピッキングシステムであって、
   前記領域設定部は、前記外周円の径方向に延びる直線によって所定角度毎に区画される複数の前記第２領域を設定する、ピッキングシステム。
6. 請求項１～５のいずれか１項に記載のピッキングシステムであって、
   前記ピッキング装置は、多関節ロボットである、ピッキングシステム。
7. 請求項１～６のいずれか１項に記載のピッキングシステムであって、
   前記所定量は、前記作物の径よりも短い距離である、ピッキングシステム。

Images