JP7232652B2 - ワーク移載システム - Google Patents

Description

本発明は、パレット上に積まれた複数の段ボール箱等のワークを移載するワーク移載システムに関する。

近年、物流業界において、倉庫内の仕分け、積込み、荷卸し等の作業の自動化が求められており、様々な自動化システムの導入が進められている（例えば、特許文献１参照）。

特開平０６－０５５４７７号公報

しかしながら、パレット上に積まれた複数の段ボール箱等のワークを一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程を行うにあたり、隣接するワークの境界部分が上手く検出できないことがあり、もって、移載対象ワークの位置や向きが正確に認識できない場合があるといった問題があった。

そこで、本発明は、上記問題に鑑み、移載対象ワークを正確に認識することができるワーク移載システムを提供することを目的としている。

上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

請求項１の発明に係るワーク移載システムは、荷積みされた複数のワーク（例えば、図１に示すワークＷａ）のうち、移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）を三次元計測する三次元計測手段（例えば、図２に示すステップＳ２）と、
前記三次元計測手段（例えば、図２に示すステップＳ２）にて前記移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）を計測した際、該移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）の境界が明確であるか否かを判定する判定手段（例えば、図２に示すステップＳ３）と、
前記判定手段（例えば、図２に示すステップＳ３）にて、前記移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）の境界が不明確であると判定された場合、前記移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）の境界部分が不明確であると判断し、不明確な部分を含めて移載対象ワーク（例えば、図４（ｃ）に示す切り出した部分Ｔ）であると推定する推定手段（例えば、図２に示すステップＳ５）と、
前記推定手段（例えば、図２に示すステップＳ５）にて推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）を所定距離だけずらし動作させるずらし動作手段（例えば、図２に示すステップＳ８、Ｓ９、図１に示すロボット２）と、
前記ずらし動作手段（例えば、図２に示すステップＳ８、Ｓ９、図１に示すロボット２）にて所定距離だけずらし動作された移載対象ワーク（例えば、図７（ｂ），図８（ｂ）に示すずらし量Ｙ１だけずれたワークＷａ）を、再度三次元計測する三次元再計測手段（例えば、図２に示すステップＳ１２，ステップＳ１３）と、
前記三次元再計測手段（例えば、図２に示すステップＳ１２，ステップＳ１３）にて再度三次元計測された移載対象ワーク（例えば、図７（ｂ），図８（ｂ）に示すずらし量Ｙ１だけずれたワークＷａ）を移載対象として確定する確定手段（例えば、図２に示すステップＳ１４）と、を有し、
前記ずらし動作手段（例えば、図２に示すステップＳ８）は、前記推定手段（例えば、図２に示すステップＳ５）にて推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）を所定距離だけずらし動作させるにあたり、前記三次元計測手段（例えば、図２に示すステップＳ２）にて計測した前記移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）の三次元情報に基づいて、前記推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の面積重心を算出し、該算出した面積重心から、前記推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の外形線までの距離を算出した上で、前記所定距離を決定してなることを特徴としている。

請求項２の発明に係るワーク移載システムは、荷積みされた複数のワーク（例えば、図１に示すワークＷａ）のうち、移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）を三次元計測する三次元計測手段（例えば、図２に示すステップＳ２）と、
前記三次元計測手段（例えば、図２に示すステップＳ２）にて前記移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）を計測した際、該移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）の境界が明確であるか否かを判定する判定手段（例えば、図２に示すステップＳ３）と、
前記判定手段（例えば、図２に示すステップＳ３）にて、前記移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）の境界が不明確であると判定された場合、前記移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）の境界部分が不明確であると判断し、不明確な部分を含めて移載対象ワーク（例えば、図４（ｃ）に示す切り出した部分Ｔ）であると推定する推定手段（例えば、図２に示すステップＳ５）と、
前記推定手段（例えば、図２に示すステップＳ５）にて推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）を所定距離だけずらし動作させるずらし動作手段（例えば、図２に示すステップＳ８、Ｓ９、図１に示すロボット２）と、
前記ずらし動作手段（例えば、図２に示すステップＳ８、Ｓ９、図１に示すロボット２）にて所定距離だけずらし動作された移載対象ワーク（例えば、図７（ｂ），図８（ｂ）に示すずらし量Ｙ１だけずれたワークＷａ）を、再度三次元計測する三次元再計測手段（例えば、図２に示すステップＳ１２，ステップＳ１３）と、
前記三次元再計測手段（例えば、図２に示すステップＳ１２，ステップＳ１３）にて再度三次元計測された移載対象ワーク（例えば、図７（ｂ），図８（ｂ）に示すずらし量Ｙ１だけずれたワークＷａ）を移載対象として確定する確定手段（例えば、図２に示すステップＳ１４）と、を有し、
前記ずらし動作手段（例えば、図２に示すステップＳ８）は、前記推定手段（例えば、図２に示すステップＳ５）にて推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）を所定距離だけずらし動作させるにあたり、前記三次元計測手段（例えば、図２に示すステップＳ２）にて計測した前記移載対象ワーク（例えば、図４（ａ）に示す破線Ｎで示す位置にあるワークＷａ）の三次元情報に基づいて、前記推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の重心を算出し、該算出した重心が、前記推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）を所定距離だけずらし動作させた際、前記推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の一つ下の層に位置するワーク（例えば、図７（ｂ）に示すワークＷａ）の端面（例えば、図７（ｂ）に示すワークＷａの端Ｗａａ）から外方向に位置しないように、前記所定距離を決定してなることを特徴としている。

請求項３の発明によれば、上記請求項１又は２に記載のワーク移載システムにおいて、前記ずらし動作手段（例えば、図２に示すステップＳ８、Ｓ９、図１に示すロボット２）は、前記推定手段（例えば、図２に示すステップＳ５）にて推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）を所定距離だけずらし動作させるにあたり、該移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の中央部分以外を把持することでずらし動作させてなることを特徴としている。

請求項４の発明によれば、上記請求項１～３の何れか１項に記載のワーク移載システムにおいて、前記三次元再計測手段（例えば、図２に示すステップＳ１２，ステップＳ１３）は、前記ずらし動作手段（例えば、図２に示すステップＳ９、図１に示すロボット２）にて、前記推定手段（例えば、図２に示すステップＳ５）にて推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）を所定距離だけずらし動作させた際、該移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）が一体としてずらし動作せず、該移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の一部（例えば、図７（ｂ），図８（ｂ）に示すずらし量Ｙ１だけずれたワークＷａ）だけがずらし動作した際、該ずらし動作した移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の一部（例えば、図７（ｂ），図８（ｂ）に示すずらし量Ｙ１だけずれたワークＷａ）を、再度三次元計測してなることを特徴としている。

次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

請求項１及び請求項２に係る発明によれば、移載対象ワークを正確に認識することができる。一方、ずらし動作手段（例えば、図２に示すステップＳ８）は、推定手段（例えば、図２に示すステップＳ５）にて推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の所定距離を決定するにあたり、請求項１に係る発明のように、推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の面積重心を算出し、該算出した面積重心から、推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の外形線までの距離を算出した上で、所定距離を決定するのが好適である。またさらには、請求項２に係る発明のように、推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の重心を算出し、該算出した重心が、推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）を所定距離だけずらし動作させた際、推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の一つ下の層に位置するワーク（例えば、図７（ｂ）に示すワークＷａ）の端面（例えば、図７（ｂ）に示すワークＷａの端Ｗａａ）から外方向に位置しないように、所定距離を決定するのが好適である。

また、請求項３に係る発明によれば、ずらし動作手段（例えば、図２に示すステップＳ８，Ｓ９、図１に示すロボット２）は、推定手段（例えば、図２に示すステップＳ５）にて推定された移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）を所定距離だけずらし動作させるにあたり、該移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の中央部分以外を把持することでずらし動作させているから、移載対象ワークを荷姿から落下させてしまう事態を低減させることができる。

さらに、請求項４に係る発明によれば、移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）が一体としてずらし動作せず、該移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の一部（例えば、図７（ｂ），図８（ｂ）に示すずらし量Ｙ１だけずれたワークＷａ）だけがずらし動作した際、該ずらし動作した移載対象ワーク（例えば、図４（ｃ）に示す推定した移載対象ワークＷａ１）の一部（例えば、図７（ｂ），図８（ｂ）に示すずらし量Ｙ１だけずれたワークＷａ）を、再度三次元計測しているから、移載対象のワークをより正確に認識することができる。

本発明の一実施形態に係るワーク移載システムの概略全体図である。 同実施形態に係るワーク移載システムの制御手順を示すフローチャート図である。 （ａ）は、デパレタイズ作業工程を行う前に、１個のワークの形状を計測した例を示す斜視図、（ｂ）は、デパレタイズ作業工程を行う前に、荷姿を撮像した例を示す斜視図、（ｃ）は、（ｂ）に示す荷姿から１個のワークを取り外し、新たに荷姿を撮像し、１個のワークの形状を計測した例を示す斜視図である。 （ａ）は、荷姿の上面側が撮像された例を示す斜視図、（ｂ）は、（ａ）から移載対象ワークが位置する部分を切り出し、隣接するワーク同士の境界部分が明確な場合を示す斜視図、（ｃ）は、（ａ）から移載対象ワークが位置する部分を切り出し、隣接するワーク同士の境界部分が不明確な場合を示す斜視図である。 （ａ）は、複数のワークが横並びに隣接しており、境界部分が不明確となっている例を示す平面図、（ｂ）は、テープの光沢等の影響で、１個のワークであるにも係らず、２個のワークと認識してしまっている例を示す平面図、（ｃ）は、ワークの蓋が空いているなどの影響で、１個のワークであるにも係らず、２個のワークと認識してしまっている例を示す平面図である。 （ａ）は、推定した移載対象ワークに、移載時の仕様として予め定められている最小のワークサイズをフィッティングしている状態を示す平面図、（ｂ）は、推定した移載対象ワークに、移載時の仕様として予め定められている最小のワークサイズを重ね合わせている状態を示す平面図である。 （ａ）は、荷姿の上面側が撮像された例を示す斜視図、（ｂ）は、（ａ）の荷姿からずらし量分ワークがずれた状態を示す斜視図である。 （ａ）は、推定した移載対象ワークの平面図、（ｂ）は、（ａ）の推定した移載対象ワークからずらし量分ワークがずれた状態を示す平面図である。

以下、本発明に係るワーク移載システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。

図１に示すように、ワーク移載システム１は、ロボット２と、このロボット２を制御するロボット制御装置３と、カメラ４と、画像処理装置５と、で構成されている。なお、符号Ｗは、搬送用ベルトコンベアＢ上に載置されたパレットＰ上に、隣接して荷積された複数の段ボール箱形状等からなるワークＷａの荷姿を示すものである。

ロボット２は、床や壁等の設置面に固定される土台２０と、土台２０に対して基端が回転可能に連結されているロボットアーム部２１と、ロボットアーム部２１の先端に取り付けられ、ワークＷａを吸着・挟み込み・支持等によって把持することができるロボットハンド２２とを備えている。

一方、ロボット制御装置３は、画像処理装置５より出力されるデータ、又は、ロボット２より出力されるデータに基づき、ロボット２の稼動を制御するものである。

カメラ４は、パレットＰ上に、隣接して荷積された複数のワークＷａの三次元座標を示す三次元点群情報を取得することができる三次元ビジョンセンサからなるものである。

画像処理装置５は、ＣＰＵ５０と、マウスやキーボード、タッチパネル等にて外部から所定データを画像処理装置５に入力することができる入力部５１と、画像処理装置５外に所定データを出力することができる出力部５２と、所定のプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ５３と、作業領域やバッファメモリ等として機能するＲＡＭ５４と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなる表示部５５と、後述するワークＷａ等の計測結果を記憶する計測結果記憶部５６と、で構成されている。

かくして、上記のようなワーク移載システムを使用するにあたっては、作業者が、図１に示す画像処理装置５の入力部５１を用いて、図１に示すＲＯＭ５３内に格納されているプログラムの起動を指示する。これにより、画像処理装置５のＣＰＵ５０（図１参照）は、図２に示すような処理を行う。以下、図２を参照して説明する。なお、図２に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。

まず、ＣＰＵ５０（図１参照）は、カメラ４にて取得されたワークＷａの三次元座標を示す三次元点群情報を取得し、その三次元点群情報からワークＷａの形状を計測し、その計測結果を計測結果記憶部５６に記憶する（ステップＳ１）。より詳しく説明すると、パレットＰ上に積まれたワークＷａを一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程を行う前に、図３（ａ）に示すワークＷａの形状を計測する。すなわち、デパレタイズ作業工程を行う荷姿Ｗ（図１参照）の中から、１個のワークＷａを取り出し、カメラ４にて、その取り出した１個のワークＷａの三次元座標を示す三次元点群情報を取得する。そして、ＣＰＵ５０は、その三次元点群情報を取得し、その三次元点群情報からワークＷａの形状を計測する。すなわち、三次元点群情報は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標を備えていることから、これを用いれば、図３（ａ）に示すように、ワークＷａの高さＨ、幅Ｗ、長さＬが分かることとなり、もって、ワークＷａの形状を計測することができることとなる。そして、ワークＷａの計測結果は、ＣＰＵ５０にて、計測結果記憶部５６に記憶されることとなる。なお、この作業は、全てのワークＷａにて行われることとなる。これにより、荷姿Ｗの中から、所定のワークＷａを移載する際、移載対象のワークＷａの位置が認識できることとなる。

ところで、１個のワークＷａの形状を計測するにあたっては、上記のような方法に限らず、次のような方法でも良い。すなわち、デパレタイズ作業工程を行う荷姿Ｗ（図３（ｂ）参照）の三次元座標を示す三次元点群情報をカメラ４にて取得する。その後、図３（ｃ）に示すように、荷姿Ｗの中から、１個のワークＷａを取り出し、取り出した１個のワークＷａが無い状態の荷姿Ｗ１の三次元座標を示す三次元点群情報をカメラ４にて取得する。そして、ＣＰＵ５０は、カメラ４にて取得された荷姿Ｗ、Ｗ１の三次元座標を示す三次元点群情報を取得し、その差分を取る。これにより、三次元点群情報が、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標を備えていることから、図３（ｃ）に示すように、取り出されたワークＷａの高さＨ、幅Ｗ、長さＬが分かることとなり、もって、ワークＷａの形状を計測することができることとなる。しかして、この作業を荷姿Ｗから全てのワークＷａが取り出されるまで続けていけば、全てのワークＷａの高さＨ、幅Ｗ、長さＬが分かることとなり、もって、このようにしても、ワークＷａの形状を計測することができることとなる。なお、ワークＷａの計測結果は、ＣＰＵ５０にて、計測結果記憶部５６に記憶されることとなる。

次いで、上記ステップＳ１の終了後、予め定められている移載の仕様（移載するワークの形状の情報を含む）、又は、倉庫管理システム（図示せず）からの指示（移載するワークの形状の情報を含む）に基づき、ＣＰＵ５０は、図１に示す荷姿Ｗの中から移載対象のワークＷａを認識し、計測する（ステップＳ２）。具体的に説明すると、カメラ４にて、図４（ａ）に示すような荷姿Ｗの上面側が撮像され、その上面側の荷姿Ｗの三次元座標を示す三次元点群情報が取得されると、ＣＰＵ５０は、その三次元点群情報を取得する。そして、ＣＰＵ５０は、その取得した三次元点群情報と、計測結果記憶部５６に記憶されている上記ステップＳ１にて計測したワークＷａの計測結果を照合した上で、予め定められている移載の仕様、又は、倉庫管理システム（図示せず）からの指示対象である移載対象のワークＷａが、図４（ａ）に示す破線Ｎで示す位置にあると認識する。続いて、ＣＰＵ５０は、その認識した図４（ａ）に示す破線Ｎの位置にある部分を、図４（ｂ），（ｃ）に示すように切り出し、その切り出した部分Ｔの三次元点群情報から、移載対象のワークＷａを計測する。

次いで、ＣＰＵ５０は、切り出した部分Ｔの三次元点群情報から、隣接点との奥行き値の差分が大きい点群を抽出し、デプスエッジ等の特徴が明確に出ているか否かを確認する。すなわち、隣接するワークＷａ同士の境界部分には、僅かな隙間や凹みがあることが多いため、その僅かな隙間や凹み部分に、デプスエッジ等の特徴が明確に出やすい。それゆえ、ＣＰＵ５０は、デプスエッジ等の特徴が明確に出ているか否かを確認し、隣接するワークＷａ同士の境界部分が明確か否かを確認する（ステップＳ３）。図４（ｂ）に示すように、隣接するワークＷａ同士の境界部分Ｋ１が明確であれば（ステップＳ３：ＹＥＳ）、ＣＰＵ５０は、図４（ｂ）に示す切り出し部分ＴのワークＷａをそれぞれ移載対象のワークＷａとして計測結果記憶部５６に記憶する（ステップＳ４）。

一方、図４（ｃ）に示すように、隣接するワークＷａ同士の境界部分Ｋ２が不明確（図示では、不明確であることを破線で示している）であれば（ステップＳ３：ＮＯ）、ＣＰＵ５０は、不明確な部分を含めて移載対象ワークであると推定する（ステップＳ５）。すなわち、本実施形態においては、図４（ｃ）に示す切り出し部分Ｔをすべて移載対象ワークＷａ１であると推定する。

次いで、ＣＰＵ５０は、推定した移載対象ワークＷａ１をわずかに移動、すなわち、ずらして、移載対象を特定するにあたって、推定した移載対象ワークＷａ１をロボットハンド２２で把持する位置を決定する（ステップＳ６）。より詳しく説明すると、ＣＰＵ５０は、推定した移載対象ワークＷａ１をロボットハンド２２で把持するにあたって、推定した移載対象ワークＷａ１の中央部分（境界部分Ｋ２）以外を把持するようにする。推定した移載対象ワークＷａ１の中央部分（境界部分Ｋ２）を把持してしまうと、ワークＷａ１を複数把持し、ワークＷａ１を荷姿Ｗ（図１参照）から落下させてしまう危険性があるためである。例えば、図５（ａ）に示すように、複数のワークＷａ（図示では、４個）が横並びに隣接しており、フィルムをかけてワークＷａ同士の隣接部分にミシン目を入れている場合など面一の状態となっていた場合、境界部分Ｋ１０が不明確となり、もって、不明確な部分を含めて移載対象ワークＷａ１０と推定することとなる。このような場合、中央部分を把持してしまうと、複数のワークＷａ（図示では、４個）を荷姿Ｗ（図１参照）から落下させてしまう危険性が非常に高い。さらには、図５（ｂ）に示すように、テープＴＰの光沢等の影響で、１個のワークＷａであるにも係らず、２個のワークＷａＡ１，ＷａＡ２と認識してしまったり、又は、図５（ｃ）に示すように、ワークＷａの蓋が空いているなどの影響で、１個のワークＷａであるにも係らず、２個のワークＷａＡ１，ＷａＡ２と認識してしまったり等した場合に、移載対象ワークＷａとして認識した切り出し部分に、このようなワークＷａが存在すると、中央部分を把持した際、ワークＷａを荷姿Ｗ（図１参照）から落下させてしまう危険性が非常に高い。それゆえ、本実施形態においては、落下の危険性を低減させるべく、推定した移載対象ワークＷａ１をロボットハンド２２で把持するにあたって、推定した移載対象ワークＷａ１の中央部分（境界部分Ｋ２）以外を把持するようにしている。

具体的に例示すると、ＣＰＵ５０は、図４（ｃ）に示す移載対象ワークＷａ１の三次元座標を示す三次元点群情報から、面積重心を算出し、その算出した重心位置から外側に位置する部分をロボットハンド２２で把持する位置とする。

また一方、移載時の仕様として予め最小のワークサイズが定められていることから、ＣＰＵ５０は、ＲＯＭ５３内に格納されている最小のワークサイズを読み出し、図６（ａ）に示すように、推定した移載対象ワークＷａ１の三次元座標を示す三次元点群情報に基づき、推定した移載対象ワークＷａ１の外枠に合わせるように最小のワークサイズＳをフィッティングさせる。そして、フィッティング作業を行った後、ＣＰＵ５０は、その最小のワークサイズＳの部分をロボットハンド２２で把持する位置とする。

また一方、ＣＰＵ５０は、推定した移載対象ワークＷａ１を移載時の仕様として予め定められている最小のワークサイズと仮定する。そして、ＣＰＵ５０は、ＲＯＭ５３内に格納されている最小のワークサイズを読み出し、図６（ｂ）に示すように、推定した移載対象ワークＷａ１と、最小のワークサイズＳを重ね合わせ、重なった部分Ｓａの中央部分をロボットハンド２２で把持する位置とする。なお、本実施形態においては、推定した移載対象ワークＷａ１を移載時の仕様として予め定められている最小のワークサイズと仮定したが、仮定するサイズはどのようなものでも良く任意に仮定することが可能である。

かくして、このようにして、推定した移載対象ワークＷａ１をロボットハンド２２で把持する位置を決定した後、ＣＰＵ５０は、ずらし方向を決定する（ステップＳ７）。具体的には、ＣＰＵ５０は、図４（ｃ）に示す移載対象ワークＷａ１の三次元座標を示す三次元点群情報から、面積中心を算出し、その算出した面積中心の中心線上で、図１に示す荷姿Ｗの外方向にずらし方向を決定する。

一方、ＣＰＵ５０は、図４（ｃ）に示す移載対象ワークＷａ１の三次元座標を示す三次元点群情報から、面積重心を算出し、その算出した面積重心から、図１に示すカメラ４の方向にずらし方向を決定する。

また一方、ＣＰＵ５０は、ロボットハンド２２で把持する位置が決定された移載対象ワークＷａ１の位置から鉛直方向にずらし方向を決定する。

また一方、ＣＰＵ５０は、図４（ｃ）に示す移載対象ワークＷａ１の三次元座標を示す三次元点群情報から、位置・姿勢を推定し、その推定した位置・姿勢を利用して、例えば、Ｚ軸上方、Ｘ－Ｙ平面に対して３０°方向等のずらし方向を決定する。

かくして、このようにして、ずらし方向を決定した後、ＣＰＵ５０は、ずらし量を決定する（ステップＳ８）。具体的には、ＲＯＭ５３内にずらし量を予め格納しておき、ＣＰＵ５０は、ＲＯＭ５３内に格納しているずらし量を読み出すことで、ずらし量を決定する。

一方、ＣＰＵ５０は、ＲＯＭ５３内に格納されている最小のワークサイズＳ（図６参照）を読み出し、その最小のワークサイズＳを利用して、ずらし量を決定する。例えば、ＣＰＵ５０は、最小のワークサイズＳの形状は認識していることから、最小のワークサイズＳの最短辺の長さの１／３、又は、最小のワークサイズＳの重心から最小のワークサイズＳの外壁までの距離の１／２より短い距離等を算出して、ずらし量を決定する。

また一方、ＣＰＵ５０は、図４（ｃ）に示す移載対象ワークＷａ１の三次元座標を示す三次元点群情報から、面積重心を算出し、その算出した面積重心から、移載対象ワークＷａ１の外枠（外形線）までの距離を算出し、その算出した距離の例えば１／２より短い距離等を算出して、ずらし量を決定する。

また一方、ＣＰＵ５０は、図７（ａ）に示す移載対象ワークＷａ１の三次元座標を示す三次元点群情報から、重心を算出し、その算出した重心が、推定した移載対象ワークＷａ１の位置から一つ下の層に位置するワークＷａの端Ｗａａ（図７（ｂ）参照）から出ないように、ずらし量を決定する。

かくして、このようにして、ずらし量を決定した後、ＣＰＵ５０は、決定した把持位置、及び、決定したずらし方向、並びに、決定したずらし量を、出力部５２（図１参照）を介してロボット制御装置３に出力する（ステップＳ９）。これを受けて、ロボット制御装置３は、その情報に基づき、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて推定した移載対象ワークＷａ１がずらし動作されることとなる。

次いで、ＣＰＵ５０は、ずらし動作の結果を確認する（ステップＳ１０）。具体的に説明すると、図７（ｂ）に示す、ずらし動作が行われた後の荷姿Ｗの三次元座標を示す三次元点群情報をカメラ４にて取得する。そして、ＣＰＵ５０は、カメラ４にて取得されたずらし動作後の荷姿Ｗの三次元座標を示す三次元点群情報を取得し、ずらし動作前の荷姿Ｗの三次元座標を示す三次元点群情報との差分を取る。これにより、ＣＰＵ５０は、図７（ｂ）に示すように、推定した移載対象ワークＷａ１の一部だけが、ずらし量Ｙ１だけずれていれば、推定した移載対象ワークＷａ１が一体として動作しなかったと判定する。一方、推定した移載対象ワークＷａ１の全体がずらし量Ｙ１だけずれていれば、推定した移載対象ワークＷａ１が一体として動作したと判定する。

他方、図７に示すように、推定した移載対象ワークＷａ１のうち、ロボットハンド２２の把持位置から最も離れたエッジＷａ１ａが、ずらし量Ｙ１だけずれていれば、推定した移載対象ワークＷａ１が一体として動作したと判定し、ずれていなければ、推定した移載対象ワークＷａ１が一体として動作しなかったと判定しても良い。

一方、全体の差分をとるのではなく、図８（ｂ）に示す、ずらし動作が行われた後の推定した移載対象ワークＷａ１の三次元座標を示す三次元点群情報をカメラ４にて取得しても良い。この際、ＣＰＵ５０は、カメラ４にて取得されたずらし動作後の推定した移載対象ワークＷａ１の三次元座標を示す三次元点群情報を取得し、ずらし動作前の推定した移載対象ワークＷａ１（図８（ａ）参照）の三次元座標を示す三次元点群情報との差分を取る。これにより、ＣＰＵ５０は、図８（ｂ）に示すように、推定した移載対象ワークＷａ１の一部だけが、ずらし量Ｙ１だけずれていれば、推定した移載対象ワークＷａ１が一体として動作しなかったと判定する一方、推定した移載対象ワークＷａ１の全体がずらし量Ｙ１だけずれていれば、推定した移載対象ワークＷａ１が一体として動作したと判定することとなる。またこの場合においても、ロボットハンド２２の把持位置から最も離れたエッジＷａ１ａが、ずらし量Ｙ１だけずれていれば、推定した移載対象ワークＷａ１が一体として動作したと判定し、ずれていなければ、推定した移載対象ワークＷａ１が一体として動作しなかったと判定しても良い。

かくして、このようにして、推定した移載対象ワークＷａ１が一体として動作したか否かを判定し、一体として動作していなければ（ステップＳ１１：ＮＯ）、ずらし動作がされた移載対象ワークＷａ（図７（ｂ）、図８（ｂ）に示すずらし量Ｙ１だけずれたワークＷａ）を再計測する（ステップＳ１２）。

一方、一体として動作していれば（ステップＳ１１：ＹＥＳ）、推定した移載対象ワークＷａ１を移載対象ワークとして再計測する（ステップＳ１３）。

ところで、上記のような再計測にあたっては、以下のような方法で再計測を行う。すなわち、ロボットハンド２２を退避させた後、再計測する移載対象ワークの三次元座標を示す三次元点群情報取得をカメラ４にて取得する。そして、ＣＰＵ５０は、その三次元点群情報を取得し、その取得した三次元点群情報に基づいて、移載対象ワークの形状を計測する。

一方、推定した移載対象ワークＷａ１が一体として動作したか否かを判定した後、ＣＰＵ５０は、移載の実行を指示する情報を、出力部５２（図１参照）を介してロボット制御装置３に出力する。これを受けて、ロボット制御装置３は、その情報に基づき、ロボット２を制御し、もって、ロボット２のロボットハンド２２にて、移載対象ワークＷａ（Ｗａ１）の移載を実行することとなる。この際、移載対象ワークＷａ（Ｗａ１）が移載中に、一旦別の場所に移載されるよう、ＣＰＵ５０は、出力部５２を介してロボット制御装置３に、その指示内容を出力する。これを受けて、ロボット制御装置３は、その情報に基づき、ロボット２を制御し、もって、ロボット２のロボットハンド２２にて、移載対象ワークＷａ（Ｗａ１）が一旦別の場所に移載されることとなる。その後、一旦別の場所に移載された移載対象ワークＷａ（Ｗａ１）の三次元座標を示す三次元点群情報取得をカメラ４にて取得する。そして、ＣＰＵ５０は、その三次元点群情報を取得し、その取得した三次元点群情報に基づいて、移載対象ワークＷａ（Ｗａ１）の形状を計測する。

また一方、推定した移載対象ワークＷａ１が一体として動作したか否かを判定した後、ＣＰＵ５０は、移載の実行を指示する情報を、出力部５２（図１参照）を介してロボット制御装置３に出力する。これを受けて、ロボット制御装置３は、その情報に基づき、ロボット２を制御し、もって、ロボット２のロボットハンド２２にて、移載対象ワークＷａ（Ｗａ１）の移載を実行することとなる。この際、移載対象ワークＷａ（Ｗａ１）が移載中に、移載対象ワークＷａ（Ｗａ１）が空中に位置した際、カメラ４にて三次元座標を示す三次元点群情報取得を取得する。そして、ＣＰＵ５０は、その三次元点群情報を取得し、その取得した三次元点群情報に基づいて、移載対象ワークＷａ（Ｗａ１）の形状を計測する。

かくして、上記のような方法を用いて、再計測を行った後、ＣＰＵ５０は、その再計測した移載対象ワークＷａ（Ｗａ１）を移載対象ワークとして計測結果記憶部５６に記憶する（ステップＳ１４）。

次いで、ＣＰＵ５０は、ステップＳ４又はステップＳ１４にて計測結果記憶部５６に記憶された移載対象ワークの情報に基づいて、移載の実行を指示する情報を、出力部５２（図１参照）を介してロボット制御装置３に出力する（ステップＳ１５）。これを受けて、ロボット制御装置３は、その情報に基づき、ロボット２を制御し、もって、ロボット２のロボットハンド２２にて移載対象ワークＷａ（Ｗａ１）の移載を実行することとなる。なお、再計測にあたって、一時的に移載指示をした場合は、この指示が最終の移載指示となる。

しかして、以上説明した本実施形態によれば、移載対象ワークを正確に認識することができることとなる。

また、本実施形態によれば、推定した移載対象ワークＷａ１が一体として動作せず、推定した移載対象ワークＷａ１の一部だけがずれていれば、そのずれた部分（図７（ｂ），図８（ｂ）に示すずらし量Ｙ１だけずれたワークＷａ）だけを再計測しているから、移載対象ワークをより正確に認識することができる。

なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。

例えば、本実施形態においては、ワークＷａとして箱状のものを例示したが、それに限らず、八角形状等、どのような形状にも適用可能である。

また、本実施形態においては、同サイズのワークＷａが荷積みされた例を示したが、それに限らず、異なるサイズ、或いは、異なる種類のワークが荷積みされたものにも適用可能である。

一方、本実施形態においては、カメラ４を別に設ける例を示したが、それに限らず、カメラ４をロボット２に組み込むようにしても良い。また、ロボット制御装置３と画像処理装置５とを別々に設ける例を示したが、ロボット制御装置３と画像処理装置５を一体化しても良い。

１ ワーク移載システム
２ ロボット
３ ロボット制御装置
４ カメラ
５ 画像処理装置
５０ ＣＰＵ
Ｗ 荷姿
Ｗａ ワーク
Ｗａ１ 推定した移載対象ワーク
Ｗａａ （ワークの）端（端面）
Ｙ１ ずらし量
Ｔ （移載対象ワークが位置する部分を）切り出した部分

Claims (4)

1. 荷積みされた複数のワークのうち、移載対象ワークを三次元計測する三次元計測手段と、
   前記三次元計測手段にて前記移載対象ワークを計測した際、該移載対象ワークの境界が明確であるか否かを判定する判定手段と、
   前記判定手段にて、前記移載対象ワークの境界が不明確であると判定された場合、前記移載対象ワークの境界部分が不明確であると判断し、不明確な部分を含めて移載対象ワークであると推定する推定手段と、
   前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させるずらし動作手段と、
   前記ずらし動作手段にて所定距離だけずらし動作された移載対象ワークを、再度三次元計測する三次元再計測手段と、
   前記三次元再計測手段にて再度三次元計測された移載対象ワークを移載対象として確定する確定手段と、を有し、
   前記ずらし動作手段は、前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させるにあたり、前記三次元計測手段にて計測した前記移載対象ワークの三次元情報に基づいて、前記推定された移載対象ワークの面積重心を算出し、該算出した面積重心から、前記推定された移載対象ワークの外形線までの距離を算出した上で、前記所定距離を決定してなるワーク移載システム。
2. 荷積みされた複数のワークのうち、移載対象ワークを三次元計測する三次元計測手段と、
   前記三次元計測手段にて前記移載対象ワークを計測した際、該移載対象ワークの境界が明確であるか否かを判定する判定手段と、
   前記判定手段にて、前記移載対象ワークの境界が不明確であると判定された場合、前記移載対象ワークの境界部分が不明確であると判断し、不明確な部分を含めて移載対象ワークであると推定する推定手段と、
   前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させるずらし動作手段と、
   前記ずらし動作手段にて所定距離だけずらし動作された移載対象ワークを、再度三次元計測する三次元再計測手段と、
   前記三次元再計測手段にて再度三次元計測された移載対象ワークを移載対象として確定する確定手段と、を有し、
   前記ずらし動作手段は、前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させるにあたり、前記三次元計測手段にて計測した前記移載対象ワークの三次元情報に基づいて、前記推定された移載対象ワークの重心を算出し、該算出した重心が、前記推定された移載対象ワークを所定距離だけずらし動作させた際、前記推定された移載対象ワークの一つ下の層に位置するワークの端面から外方向に位置しないように、前記所定距離を決定してなるワーク移載システム。
3. 前記ずらし動作手段は、前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させるにあたり、該移載対象ワークの中央部分以外を把持することでずらし動作させてなる請求項１又は２に記載のワーク移載システム。
4. 前記三次元再計測手段は、前記ずらし動作手段にて、前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させた際、該移載対象ワークが一体としてずらし動作せず、該移載対象ワークの一部だけがずらし動作した際、該ずらし動作した移載対象ワークの一部を、再度三次元計測してなる請求項１～３の何れか１項に記載のワーク移載システム。

Images