JP7146829B2 - 画像処理装置及び画像処理装置を備えた搬送装置 - Google Patents

Description

本発明は、画像処理装置に関し、例えばコンテナ（トラックの荷室）内に段積みされた矩形箱形の物品を搬送するための搬送装置に用いられる画像処理装置、及び画像処理装置を備えた搬送装置に関する。

例えば段ボール箱等の矩形箱形の段積みされた物品をロボットハンドで保持して荷下ろし可能な搬送装置が提供されている。ロボットハンドを備えた搬送装置で物品を荷下ろしすることによって、省人化や作業の効率化を図ることができる。この搬送装置では、物品認識手段によって段積みされた物品の位置と姿勢を高精度で把握することで、より精確に物品を保持することができる。特許文献１には、物品の位置と姿勢を検出するための距離センサを、段積みされた物品の上方に配置した構成が開示されている。特許文献１記載の発明は、距離センサを移動または回転させて物品までの距離を複数位置で検出することで、物品に関する三次元の点群データを取得する構成になっている。特許文献２には、段積みされた複数の物品の上辺を検出し、当該上辺の位置に基づいて上側に積まれた物品から保持する搬送装置について開示されている。

特許第５４２９６１４号公報 特許第６１７２２９３号公報

しかしながら、特許文献１記載の発明のように、三次元の点群データを利用して物品の位置と姿勢を認識する場合、データ数が多いために認識処理に時間が掛かってしまう。荷下ろし作業を効率よく行うためには、できるだけ物品の認識処理の時間を短縮できることが望ましい。また、特許文献２記載の発明のように、物品の上辺のみを検出する場合、物品の精確な位置と姿勢を把握することが難しい。そこで、認識処理の時間を短縮化しつつ、物品の精確な位置と姿勢を把握できる物品認識手段が望まれている。

本発明は、認識処理の時間を短縮化することができ、かつ物品の位置と姿勢を高精度で把握することができる物品認識手段を提供することを目的とする。

本開示の一つの特徴によると、搬送装置の画像処理装置は、撮影手段と画像距離センサを有している。撮影手段は、段積みされた矩形箱形の物品を撮影して画像データを取得する。画像距離センサは、物品までの距離を物品の複数位置に対して測定して距離データとして取得する。画像処理装置には、画像処理回路と位置算出回路とロボット制御回路が設けられている。画像処理回路は、画像データから物品の撮影方向正面側の正面四隅を検出し、距離データから正面四隅までの距離を取得する。位置算出回路は、物品の正面四隅までの距離に基づいて物品の位置と姿勢を算出する。ロボット制御回路は、物品の位置と姿勢に基づいて、物品を保持する保持ハンドと、保持ハンドを移動させるロボットアームを制御する。

従って、画像距離センサが取得した距離データの中から物品の正面四隅までの距離のみを利用して物品の位置と姿勢を把握する。そのため、認識処理に必要なデータ数を少なくできる。これにより、認識処理の時間を短縮化することができ、かつ画像距離センサと対向する物品の矩形面の位置と姿勢を高精度で把握することができる。また、認識処理に必要なデータ数は、物品の大きさによらず物品の個数で決まる。そのため様々なサイズの物品の正面四隅を検知する際においても、短い処理時間で位置と姿勢を把握することができる。

本開示の他の特徴によると画像処理回路は、画像データから物品の撮影方向正面側の正面中心領域を検出し、距離データから正面中心領域までの距離を取得する。位置算出回路は、物品の正面四隅および正面中心領域までの距離に基づいて物品の位置と姿勢を算出する。

従って、物品１個あたりで正面四隅と正面中心領域の計５カ所の距離データを取得して認識処理する。これにより、認識処理を短時間で行うことができる。また、物品の正面四隅までの距離と、正面中心領域までの距離をそれぞれ検出することで、画像距離センサと対向する物品の矩形面の位置と姿勢をより高精度で把握することができる。例えば、矩形箱形の物品が段ボール箱等である場合、正面中心領域が正面四隅よりもわずかに張り出した位置にあり、矩形面が平面状でない場合等がある。このような場合においても、画像距離センサと対向する物品の矩形面の形状を概略的に把握しつつ、当該矩形面の位置と姿勢をより高精度で把握することができる。

本開示の他の特徴によると撮影手段と画像距離センサは、段積みされた複数の物品の画像データと距離データを同時に取得する。

従って、複数の物品の位置と姿勢を同時に把握することができる。これにより、物品の位置と姿勢を認識するまでの時間を短縮させることができる。また、一度に複数の物品の位置と姿勢を認識することで、物品を保持する順番を、搬送作業の効率がよくなるように選択し易くなる。これにより、作業時間をより短縮させることができる。

本開示の他の特徴によると画像処理装置を備えた搬送装置は、保持ハンドとロボットアームと台車を備えている。台車は、ロボットアームを搭載して移動可能である。撮影手段と画像距離センサは、台車に搭載されている。

従って、例えばコンテナ（トラックの荷室）や工場の倉庫等の様々な場所に段積みされている物品に対応して、特段の装置を別途設置することなく物品の位置と姿勢を把握することができる。また、保持ハンドとロボットアームによる搬送作業の合間に、台車に搭載した撮影手段による画像データの取得と、画像距離センサによる距離データの取得を行うことができる。そのため、作業時間を短縮化して作業効率を高めることができる。また、例えば物品がコンテナ内等に段積みされている場合、コンテナの天井近くまで物品が積まれていることがあり、物品の上方から物品の位置と姿勢を認識し難い場合がある。あるいは、物品認識手段を搬送装置１とは別体でコンテナ内に設置することが難しい場合もある。本開示の特徴により、物品が段積みされている場所によらず物品の位置と姿勢を把握できる。

本実施形態に係る搬送装置の全体側面図である。 コンテナ内に段積みされた物品の正面図である。 画像処理装置の画像処理回路で認識した各物品の正面図である。 本発明に係る保持ハンドの側面図である。 本発明に係る保持ハンドが物品を吸着した際の側面図である。 本発明に係る保持ハンドの受け部を延ばした際の側面図である。 本発明に係る画像処理装置における物品認識に係る各構成のブロック図である。 本発明に係る画像処理装置によって、全物品の位置と姿勢を認識するフローチャートを示す図である。 本発明に係る画像処理装置によってピッキング対象の物品の位置と姿勢を認識し、搬送装置によって物品をピッキングするフローチャートを示す図である。

次に、本実施形態を図１～９に基づいて説明する。図１に示すように搬送装置１は、物品３０の位置と姿勢を認識するための画像処理装置７を備えている。また、搬送装置１は、台車２と、台車２の上側に搭載されたロボットアーム３と、ロボットアーム３の先端部に設けられた保持ハンド（ロボットハンド）４を備えている。台車２は、例えばコンテナや工場の倉庫等の床面上を自走可能である。以下の説明において、コンテナ（トラックの荷室）３４内に段積みされた物品３０を荷下ろしするための搬送装置１を例示する。物品３０は、例えば段ボール箱等のように矩形箱形を有している。物品３０は、上下方向に段積みされ、かつ奥行き方向に多数列積み込まれている。上下前後左右方向については、搬送装置１側から見た場合で規定し、物品３０の手前側を前側とし、奥行き側を後側とする。

図１に示すように、台車２は、クローラ形式の走行装置である。台車２は、無限軌道２ａと駆動輪２ｂを備えている。電動モータの駆動によって駆動輪２ｂを回転させることで無限軌道２ａが動作する。無限軌道２ａの動作によって台車２がコンテナ３４の床面上を移動する。

図１に示すように、台車２には、６軸制御で多関節のロボットアーム３が搭載されている。ロボットアーム３は、台車２の上面から延びる第１アーム３ａと、第１アーム３ａの先端に連結される第２アーム３ｂと、第２アーム３ｂの先端に連結された第３アーム３ｃを備えている。第３アーム３ｃの先端に保持ハンド４が支持されている。画像処理装置７は、撮影部７ａと制御装置７ｂを備えている。撮影部７ａと制御装置７ｂは、台車２上に搭載されている。撮影部７ａには、撮影手段（２Ｄカメラ）１０と画像距離センサ（ＴＯＦカメラ）１１が搭載されている。撮影手段１０と画像距離センサ１１は、物品３０の前面側を撮影できるように、奥行き方向（後方）を向いて設けられている。

図４に示すように、保持ハンド４は、物品３０を吸着可能な吸着部５と、物品３０を下方から支持可能な受け部６を備えている。吸着部５は、ロボットアーム３に連結された支持部５ａによって支持されている。吸着部５は、支持部５ａに対してばね力により上下にフローティング支持されている。吸着部５の後部には、複数の吸着パッド５ｂが後方を向いて設けられている。吸着部５には、特に図では見えていないが吸引ホースが配管されている。吸引ホースは、一端が吸着パッド５ｂに接続され、他端が保持ハンド４の外部に設けられた吸引機に接続されている。吸引機を起動させてエアを吸引させることで、吸着パッド５ｂで負圧が発生し、これにより吸着パッド５ｂで物品３０の前面を吸着することができる。

図４に示すように、受け部６は、保持ハンド４の下部に設けられている。受け部６は、支持部５ａに支持されている。受け部６は、吸着部５とは独立して、支持部５ａに対してばね力により上下にフローティング支持されている。受け部６の後部の受け台６ｂは、電動モータと動滑車機構により二段階で前後方向に変位可能である。受け部６の前部の受け台収容部６ａは、受け台６ｂを前後方向に変位可能に支持している。図５に示すように、物品３０の前面に保持ハンド４が接近する場合、受け台６ｂは、段積みされた下側の物品３０と当接しないように、前側へ退避して、受け台収容部６ａに収容された状態になっている。図６に示すように、保持ハンド４が段積みされた物品３０を前側へ移動させる段階で、受け台６ｂが後方へ変位するように動作される。受け台６ｂの前後方向の動作は、吸着保持した物品３０の移動（ロボットアーム３の動作）に同期してなされる。受け台６ｂが後方へ変位することで、吸着保持した物品３０が下方から受けられる。受け部６で下方から受けられることにより、物品３０の変形あるいは吸着パッド５ｂからの離脱が防止され、ひいてはロボットアーム３の高速動作が可能となっている。

図１に示す撮影手段１０と画像距離センサ１１は、図２に示す境界線Ｌ１と境界線Ｌ２の左右方向の間、および境界線Ｌ３と境界線Ｌ４の上下方向の間で設定される矩形の撮影範囲毎に段積みされた複数の物品３０を撮影する。撮影手段１０は、当該撮影範囲の２次元画像データを取得する。画像距離センサ１１は、ＴＯＦ（Ｔｉｍｅ－оｆ－Ｆｌｉｇｈｔ）カメラと称され、当該撮影範囲に対して照射したパルス光の反射時間を測定することで、撮影範囲をピクセル単位で区切った複数位置について、各位置までの距離データを取得する。換言すると、画像距離センサ１１は、一度の撮影で、撮影範囲の各位置までの距離データを面（２次元）のデータとして取得する。ＴＯＦカメラによれば、作業場所の明るさに左右されずに距離データを取得可能である。

図７に示すように、制御装置７ｂは、画像処理制御ユニット２１とプログラマブルロジックコントローラ（ＰＬＣ）２４とロボットコントローラ（ロボット制御回路）２５を備えている。画像処理制御ユニット２１は、画像処理回路２２と位置算出回路２３を備えている。画像処理回路２２は、撮影手段１０で取得した画像データに基づいて、個々の物品３０の前面（撮影方向正面）の正面四隅３１（図３参照）と正面中心（正面中心領域）３２（図３参照）を検出する。さらに、画像処理回路２２は、撮影手段１０で取得した画像データに基づいて、検出した正面四隅３１と正面中心３２までの距離を、画像距離センサ１１で取得した距離データの中から取得する。位置算出回路２３は、画像処理回路２２で取得した正面四隅３１と正面中心３２までの距離に基づいて、物品３０の前面の三次元位置と傾き（姿勢）を算出する。プログラマブルロジックコントローラ２４は、画像処理制御ユニット２１から受信した物品３０の前面の三次元位置と傾きについての入力信号と、予め設定されたプログラムに基づいて、出力信号をロボットコントローラ２５に送信する。ロボットコントローラ２５は、プログラマブルロジックコントローラ２４から送られる信号に基づいて、ロボットアーム３と保持ハンド４の動作を制御する。

図１～９に基づいて、画像処理装置７によって物品３０の前面の三次元位置と傾きを検知して物品３０を荷下ろしする一連の流れを説明する。まず、図８に示すステップ（以下、ＳＴと略記する）０１で、台車２をコンテナ３４内に段積みされた物品３０の手前に移動させる。台車２を停止させ、ロボットアーム３を作動させて、物品３０を撮影する撮影位置に撮影手段１０と画像距離センサ１１を移動させる（ＳＴ０２）。撮影位置に移動した撮影手段１０と画像距離センサ１１は、図２に示す境界線Ｌ１と境界線Ｌ２の左右方向の間、および境界線Ｌ３と境界線Ｌ４の上下方向の間の撮影範囲の複数の物品３０を同時に撮影する（ＳＴ０３）。

次に、撮影手段１０によって画像データが取得され、画像距離センサ１１によって距離データが取得される。画像処理回路２２によって、撮影手段１０で撮影した画像データから複数の物品３０の隙間３３が検出される（ＳＴ０４）。図２に示すように、隙間３３として、上下方向に延びた縦の隙間３３ａと、左右方向に延びた横の隙間３３ｂが検出される。なお、矩形の隙間３３ｃは、隙間３３ａと隙間３３ｂに囲まれた矩形領域として検出されるが、上下方向または左右方向の長さが物品３０として認識されるように設定された長さよりも小さいため、隙間３３として認識されている。画像処理回路２２で物品３０として認識される上下方向または左右方向の長さは、例えば物品３０の代表的なサイズに基づいて、上限または下限もしくはその両方を適宜設定してもよく、また、特に設定しなくてもよい。

次に、画像処理回路２２によって、画像データで検出された隙間３３が除去されて、図３に示すように複数の物品３０の矩形の輪郭が同時に認識される（ＳＴ０５）。図３で例示した場合では、物品３０ａ，３０ｂ，３０ｃ，３０ｄ，３０ｅ，３０ｆ，３０ｇ，３０ｈ，３０ｉ，３０ｊ，３０ｋ，３０ｌ，３０ｍ，３０ｎの１４個の矩形の輪郭が認識されている。画像処理回路２２によって、認識された各物品３０の正面四隅３１が検出される。さらに、画像処理回路２２によって、各物品３０の前面（撮影方向正面）の正面四隅３１の左右方向および上下方向の中間位置として正面中心３２が検出される。

次に、画像処理回路２２によって、撮影手段１０によって取得された画像データと、画像距離センサ１１によって取得された距離データが照らし合わされ、各物品３０の正面四隅３１と正面中心３２に対応する位置の距離データが取得される（ＳＴ０６）。正面四隅３１と正面中心３２の距離データに基づいて、位置算出回路２３によって、各物品３０の前面の三次元位置と傾きが算出される（ＳＴ０７）。

一度の撮影でコンテナ３４内を全て撮影範囲に収めることが難しい場合、撮影範囲をずらして複数回に分けて撮影する。コンテナ３４内の全ての撮影範囲を撮影し終えていない場合（ＳＴ０８）、ＳＴ０２に戻って、異なる撮影位置から撮影手段１０と画像距離センサ１１で撮影して画像データと距離データを取得する。全ての撮影位置でコンテナ３４内の全ての物品３０を撮影し終えた場合、全ての物品３０の情報を生成する（ＳＴ０９）。例えば図３に示す撮影範囲内の物品３０ｆ，３０ｎは、実際には撮影範囲よりも右側にも延びている（図２参照）。物品３０ｆ，３０ｎのように撮影範囲の境界に位置して２つの撮影範囲で分けて撮影された物品３０については、２つの撮影範囲の画像データを照らし合わせて、それぞれの画像データの物品３０が、それぞれ別々の物品３０であるか、１つの繋がった物品３０であるかを画像処理回路２２で判別する。１つの繋がった物品３０であると判別した場合、画像データから新たに正面四隅３１と正面中心３２を算出し、新たに正面四隅３１と正面中心３２の距離データを取得する。そして、位置算出回路２３によって、物品３０の前面の三次元位置と傾きを再算出する。全ての物品３０の情報が生成されたら、ロボットアーム３を作動させて、撮影手段１０と画像距離センサ１１は待機位置へ移動する（ＳＴ１０）。

次に、全ての物品３０の三次元位置と傾きの情報に基づいて、保持ハンド４による物品３０の荷下ろし作業がなされる。物品３０は、例えば図３に示す物品３０ａ，３０ｂ，３０ｃ…等の順番で上側から順に荷下ろしされる。まず、ロボットアーム３を作動させて、ピッキング（保持）対象の物品３０の手前の撮影位置に、撮影手段１０と画像距離センサ１１を移動させる（図９のＳＴ１１）。

次に、図９を参照するようにピッキング対象の物品３０の前面の三次元位置と傾きを再算出する。再算出する手順は、コンテナ３４に段積みされた全ての物品３０の前面の三次元位置と傾きを算出したＳＴ０３～ＳＴ０７と同様である。撮影位置に移動した撮影手段１０と画像距離センサ１１は、ピッキング対象の物品３０の周辺を撮影範囲として撮影する（ＳＴ１２）。画像処理回路２２によって、撮影手段１０で撮影した画像データから複数の物品３０の隙間３３が検出される（ＳＴ１３）。画像処理回路２２によって、画像データで検出された隙間３３が除去されて、物品３０の矩形の輪郭が認識される（ＳＴ１４）。画像処理回路２２によって、認識された各物品３０の正面四隅３１と正面中心３２が検出される。画像データと距離データが照らし合わされることで、ピッキング対象の物品３０およびその周辺の各物品３０の正面四隅３１と正面中心３２に対応する位置の距離データが取得される（ＳＴ１５）。位置算出回路２３によって、正面四隅３１と正面中心３２の距離データに基づいて、ピッキング対象の物品３０およびその周辺の各物品３０の前面の三次元位置と傾きが算出される（ＳＴ１６）。例えば、物品３０をピッキングする際に、ピッキングした周囲の物品３０の位置がずれる場合がある。物品３０の前面の三次元位置と傾きをより高精度で把握するため、物品３０をピッキングする度に、ピッキング対象の物品３０およびその周辺の各物品３０の前面の三次元位置と傾きを算出する。

次に、認識した複数の物品３０の中からピッキング対象の物品３０を探す（ＳＴ１７）。ＳＴ１６で算出された物品３０の前面の三次元位置と傾きに基づいて、ピッキング対象の物品３０の位置情報が更新される（ＳＴ１８）。図４に示すように、ピッキング対象の物品３０の前面の正面四隅３１と正面中心３２の位置情報に基づいて、正面中心３２を目標にしてピッキング対象の物品３０に保持ハンド４を接近させる。図５に示すように、ピッキング対象の物品３０の前面に吸着パッド５ｂを当てる。吸引機を起動させて、吸着パッド５ｂを物品３０の前面に吸着させる。図６に示すように、吸着パッド５ｂに物品３０を吸着させた状態で、ロボットアーム３によって保持ハンド４を前方へ移動させる。保持ハンド４とともに物品３０が前方へと移動するのに合わせて、受け部６を後方へ延ばす。物品３０は、受け部６に載せられて下側から支持される。かくして、ピッキング対象の物品３０がピッキング（保持）される（ＳＴ１９）。保持ハンド４によれば、例えばコンテナ３４の天井近くまで積まれた物品３０（図１参照）を吸着パッド５ｂに吸着させて前方へとピッキングすることで、コンテナ３４の天井に干渉されずに容易に物品３０を荷下ろしすることができる。

次に、ピッキングされた物品３０は、当該物品３０をコンテナ３４から搬出するための不図示のコンベヤへと移載される。コンベヤは、搬送装置１とは別体に設けられる。物品３０を保持した状態で、ロボットアーム３によって保持ハンド４をコンベヤ上方に移動させる（ＳＴ２０）。ＳＴ１８で更新されたピッキング対象の物品３０の前面の正面四隅３１の位置情報に基づいて、コンベヤ上でピッキング対象の物品３０の高さを計測する（ＳＴ２１）。これにより例えば位置算出回路で算出した物品３０の高さ情報が精確であるか否か確認でき、高さ情報が万一間違っていた場合でも更新できる。そのため保持ハンド４及び物品３０の万一の故障等を防止できる。コンベヤ上方に移動した保持ハンド４は、受け部６を退避させつつ物品３０の下面をコンベヤ上に載せて、吸引機を停止させる。これにより、ピッキング対象の物品３０がコンベヤ上へと移載される（ＳＴ２２）。保持ハンド４が全ての物品３０をピッキングし終えていない場合（ＳＴ２３）、新たなピッキング対象の物品３０を撮影して画像データと距離データを得るため、ＳＴ１１に戻って撮影手段１０と画像距離センサ１１を撮影位置へ移動させる。全ての物品３０をピッキングしてコンベヤに移載した場合（ＳＴ２３）、保持ハンド４を待機位置へ移動させる（ＳＴ２４）。以上により搬送装置１による物品３０の荷下ろし作業が終了する（ＳＴ２５）。

以上説明した本実施形態の搬送装置１の画像処理装置７によれば、図１に示すように、撮影手段１０と画像距離センサ１１を有している。撮影手段１０は、段積みされた矩形箱形の物品３０を撮影して画像データを取得する。画像距離センサ１１は、物品３０の複数位置に対して物品３０までの距離を測定して距離データとして取得する。図７に示すように、画像処理装置７には、画像処理回路２２と位置算出回路２３とロボットコントローラ２５が設けられている。画像処理回路２２は、画像データから物品３０の撮影方向正面側の正面四隅３１（図３参照）を検出し、距離データから正面四隅３１までの距離を取得する。位置算出回路２３は、正面四隅３１までの距離に基づいて物品３０の前面の三次元位置と傾きを算出する。ロボットコントローラ２５は、物品３０の三次元位置と傾きに基づいて、物品３０を保持する保持ハンド４と、保持ハンド４を移動させるロボットアーム３を制御する。

従って、画像距離センサ１１が取得した距離データの中から物品３０の正面四隅３１までの距離のみを利用して物品３０の前面の三次元位置と傾きを把握する。そのため認識処理に必要なデータ数を少なくできる。例えば点群データを取得できるカメラを使用して物品の正面の位置と姿勢を算出する場合、上下方向と左右方向に所定の間隔（例えば５ｍｍ間隔）で点群データが取得される。そのため物品３０の正面の大きさが大きいほど点群データの数が多くなる。例えば高さと左右幅が３００ｍｍの物品３０の正面を５ｍｍ間隔で認識する際には、物品１個あたりで３６００個の点群データが取得される。すなわち、物品３０が３０個ある場合には１０８０００個のデータを処理する必要がある。

一方、画像処理装置７によれば、物品３０が３０個ある場合には各正面四隅３１について計１２０個のデータを処理すればよい。これにより、認識処理の時間を短縮化することができ、かつ画像距離センサ１１と対向する物品３０の矩形の前面の三次元位置と傾きを高精度で把握することができる。また、認識処理に必要なデータ数は、物品３０の正面の大きさによらず物品３０の個数で決まる。そのため様々なサイズの物品３０の正面四隅３１を検知する際においても、短い処理時間で位置と姿勢を把握することができる。

また、画像処理装置７によれば、図７に示す画像処理回路２２は、画像データから図３に示す物品３０の撮影方向正面側の正面中心３２を検出し、距離データから正面中心３２までの距離を取得する。図７に示す位置算出回路２３は、図３に示す物品３０の前面の正面四隅３１および正面中心３２までの距離に基づいて物品３０の前面の三次元位置と傾きを算出する。

従って、物品１個あたりで正面四隅３１と正面中心３２の計５カ所の距離データを取得して認識処理する。これにより、認識処理を短時間で行うことができる。また、物品３０の前面の正面四隅３１までの距離と正面中心３２までの距離をそれぞれ検出することで、画像距離センサ１１と対向する物品３０の矩形の前面の三次元位置と傾きをより高精度で把握することができる。例えば、矩形箱形の物品３０が段ボール箱等である場合、正面中心３２が正面四隅３１よりもわずかに前方に張り出した位置にあり、前面が平面状でない場合がある。このような場合においても、画像距離センサ１１と対向する物品３０の前面の形状を概略的に把握しつつ、物品３０の前面の三次元位置と傾きをより高精度で把握することができる。

また、画像処理装置７によれば、図１に示すように、撮影手段１０と画像距離センサ１１は、段積みされた複数の物品３０の画像データと距離データを同時に取得する。

従って、複数の物品３０の前面の三次元位置と傾きを同時に把握することができる。これにより、物品３０の前面の三次元位置と傾きを認識するまでの時間を短縮させることができる。また、一度に複数の物品３０の前面の三次元位置と傾きを認識することで、保持ハンド４が物品３０を保持する順番を、搬送作業の効率がよくなるように選択し易くなる。これにより、作業時間をより短縮させることができる。

また、画像処理装置７を備えた搬送装置１によれば、図１に示すように、保持ハンド４とロボットアーム３と台車２を備えている。台車２は、ロボットアーム３を搭載して移動可能である。撮影手段１０と画像距離センサ１１は、台車２に搭載されている。

従って、例えばコンテナ３４や工場の倉庫等の様々な場所に段積みされている物品３０に対応して、特段の装置を別途設置することなく物品３０の前面の三次元位置と傾きを把握することができる。また、保持ハンド４とロボットアーム３による搬送作業の合間に、台車２に搭載した撮影手段１０による画像データの取得と、画像距離センサ１１による距離データの取得を行うことができる。そのため、作業時間を短縮化して作業効率を高めることができる。また、例えば物品３０がコンテナ３４内に段積みされている場合、コンテナ３４の天井近くまで物品３０が積まれていることがあり、物品３０の上方から物品３０の位置と姿勢を認識し難い場合がある。あるいは、画像処理装置７を搬送装置１とは別体でコンテナ３４内に設置することが難しい場合もある。本開示の特徴により、物品３０が段積みされている場所によらず物品３０の位置と姿勢を把握できる。

以上説明した本実施形態の搬送装置１及び画像処理装置７には、種々変更を加えることができる。撮影手段１０と画像距離センサ１１を設ける場所を適宜変更してもよい。本実施形態では、上記するように撮影手段１０と画像距離センサ１１が台車２に搭載されている。これに代えて、例えば搬送装置１とは別体で撮影手段１０と画像距離センサ１１をコンテナ３４内に設置する構成としてもよい。例えばロボットアーム３に対して不動である撮影台を設け、当該撮影台に撮影手段１０と画像距離センサ１１を設けてもよい。これらの配置により、ロボットアーム３が動作する際に、撮影手段１０と画像距離センサ１１が移動し難い。従って、撮影手段１０と画像距離センサ１１を撮影位置まで移動させる時間を短縮でき、これにより、搬送作業の効率化を図ることができる。

例えば、台車２に搭載されているロボットアーム３の後側や、保持ハンド４の受け部６の下方に撮影手段１０と画像距離センサ１１を設けてもよい。この配置により、ロボットアーム３によって保持ハンド４をピッキング対象の物品３０の手前に移動させ、撮影手段１０と画像距離センサ１１で撮影した後、すぐに物品３０を保持ハンド４で保持するステップに移行できる。従って、搬送作業の効率化を図ることができる。

例えば、ロボットアーム３または保持ハンド４の前側に撮影手段１０と画像距離センサ１１を設けてもよい。この配置により、保持ハンド４に保持された物品３０を、例えば搬送装置１の前方に配置されたコンベヤに移載する際に、撮影手段１０と画像距離センサ１１を後方の段積みされた物品３０側に向けることができる。そのため、ピッキング対象の物品３０をコンベヤに移載している間または移載した直後に、次のピッキング対象の物品３０を撮影手段１０と画像距離センサ１１で撮影することができる。従って、荷下ろし作業の作業時間の短縮化を図ることができる。

本実施形態で例示したコンテナ３４に限らず、例えば工場の倉庫や船舶用のコンテナ等に段積みされた物品３０を荷下ろしする際にも画像処理装置７を適用することができる。また、荷下ろしに限らず、例えば荷積みする際や段積みされた各物品３０の位置を調整する際にも画像処理装置７を適用することができる。搬送装置１と画像処理装置７をそれぞれ別体に設けてもよい。ロボットアーム３として６軸制御の多関節ロボットを例示したが、より簡易な制御軸数の多関節ロボットを用いる構成としてもよい。吸着パッド５ｂで物品３０の前面を吸着して保持する保持ハンド４を例示したが、例えば、吸着パッドで物品３０の上面を吸着して保持する構成としてもよい。例えば、一対のクランプ機構によって左右方向または上下方向に物品３０を挟み込んで保持する構成としてもよい。物品３０の前面の正面四隅３１の左右方向および上下方向の中間位置として正面中心３２を検出する構成を例示したが、正面中心３２に代えて、例えば、正面四隅３１の中間部において上下左右方向に所定の拡がりのある正面中心領域を検出し、当該正面中心領域の距離データを取得する構成としてもよい。

１…搬送装置
２…台車、２ａ…無限軌道、２ｂ…駆動輪
３…ロボットアーム、３ａ…第１アーム、３ｂ…第２アーム、３ｃ…第３アーム
４…保持ハンド（ロボットハンド）
５…吸着部、５ａ…支持部、５ｂ…吸着パッド
６…受け部、６ａ…受け台収容部、６ｂ…受け台
７…画像処理装置、７ａ…撮影部、７ｂ…制御装置
１０…撮影手段（２Ｄカメラ）
１１…画像距離センサ（ＴＯＦカメラ）
２１…画像処理制御ユニット、２２…画像処理回路、２３…位置算出回路
２４…プログラマブルロジックコントローラ（ＰＬＣ）
２５…ロボットコントローラ（ロボット制御回路）
３０，３０ａ～３０ｎ…物品
３１…正面四隅、３２…正面中心（正面中心領域）
３３…隙間
３３ａ…（縦方向の）隙間、３３ｂ…（横方向の）隙間、３３ｃ…（矩形の）隙間
３４…コンテナ
Ｌ１，Ｌ２、Ｌ３，Ｌ４…（距離データ検出範囲を示す）境界線

Claims (4)

1. 搬送装置の画像処理装置であって、
   段積みされた矩形箱形の物品を撮影して画像データを取得する撮影手段と、
   前記物品までの距離を該物品の複数位置に対して測定して距離データとして取得する画像距離センサと、
   前記画像データから前記物品の撮影方向正面側の正面四隅を検出し、前記距離データから前記正面四隅までの距離を取得する画像処理回路と、
   前記正面四隅までの距離に基づいて前記物品の位置と姿勢を算出する位置算出回路と、
   前記物品の位置と姿勢に基づいて前記物品を保持する保持ハンドと該保持ハンドを移動させるロボットアームを制御するロボット制御回路を有する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像処理回路は、前記画像データから前記物品の撮影方向正面側の正面中心領域を検出し、前記距離データから前記正面中心領域までの距離を取得し、
   前記位置算出回路は、前記正面四隅および前記正面中心領域までの距離に基づいて前記物品の位置と姿勢を算出する画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記撮影手段と前記画像距離センサは、段積みされた複数の前記物品の前記画像データと前記距離データを同時に取得する画像処理装置。
4. 請求項１～３のいずれか１項に記載した画像処理装置を備えた搬送装置であって、
   前記保持ハンドと前記ロボットアームと該ロボットアームを搭載して移動可能な台車を備え、
   前記撮影手段と前記画像距離センサは、前記台車に搭載される搬送装置。

Images