(第1実施形態)
従来の方式として、荷台ごと斜めに倒して複数の荷物をいっぺんに重力によって荷台の外に出し、その後ベルトコンベアによって運ぶ方式(ティッパー方式)がある。複数の荷物をいっぺんに荷台の外に重力により出してしまうと、荷物同士が互いに当たって、1以上(1又は複数)の荷物を損傷してしまう懸念がある。
そこで、本実施形態では、ティッパー方式としても、同時に取り出す荷物をできるだけ1つ又は2つなどの少数とし、荷物の損傷を防ぐことが可能な荷物取り出しシステム10を提供する。すなわち、本実施形態では、システム10の装置14はロボットハンドを用いない例について説明する。
図1Aに示す荷台(台車)16には、乱雑に複数の荷物B1,B2,…が載置されている。本実施形態及び後述する実施形態で説明する荷台16は、三方向に柵を持ったものが用いられるものとする。
図2Aには、後述する第1カメラ26で撮影した複数の荷物B1,B2,…の概略図を示す。図2Aでは、荷台16に積まれた荷物を第1カメラ26で撮影したときに得られる、斜めから俯瞰した像を示す。後述する制御部22は、取るべき荷物が箱状であれば、画像情報から、見えている三辺を抽出する。抽出する三辺の一例は、箱状の荷物の上部境界、前面の角の辺、底辺である。
図2Bには、第1カメラ26で撮影した複数の荷物B1,B2,…に対して後述する制御部22の荷物判断部(画像処理部)22bで画像処理を行い、前列の荷物と後列の荷物との境界(太い実線)、前列の荷物の最上辺(太い一点鎖線)、荷物の底辺(太い破線)を抽出した状態を示す。
荷物取り出しシステム10は、床面Fに対して傾斜する傾斜面12aを有する傾斜部12と、荷降ろし装置14と、荷台16とを有する。なお、傾斜面12aは、床面Fに対して面一の状態(図1A参照)と、床面Fに対して傾斜した傾斜状態(図1B参照)との間を移動可能である。
図3に示すように、荷物取り出しシステム10は、制御部(プロセッサ)22と、制御部22に制御される移動機構24と、第1カメラ26とを有する。ここでは、第1カメラ26は図1Aに示すように、荷台16の前方かつ上方の位置に1つである場合について説明する。このため、第1カメラ26は、荷台16のうち、柵がない側を斜め上方から俯瞰撮影可能である。なお、第1カメラ26は、荷台16の上方と、荷台16の前方とに2つなど、複数あってもよい。この場合、制御部22は、複数の画像を画像処理により合成して、図2Bに示すのと同様に、前列と後列との境界(太い実線)、前列の最上辺(太い一点鎖線)、底辺(太い破線)などを抽出し得る。
制御部22及び移動機構24は、荷降ろし装置14の一部として用いられ得る。すなわち、荷降ろし装置14は、制御部22及び移動機構24を含み得る。
制御部22は、例えば、移動機構24を制御する移動制御部22aと、第1カメラ(RGBセンサ)26及び後述する第2カメラ(RGB-Depthセンサ)38からの画像情報をそれぞれ画像処理する荷物判断部(画像処理部)22bとを有する。移動制御部22aは、荷物判断部(画像処理部)22bでの画像処理結果に応じて、移動機構24を適宜に動作させるように制御する。
制御部22は、例えばCPUなどのプロセッサ、ROM、RAM、メモリ、補助記憶部、ハードディスクドライブなどの記憶装置を備えているコンピュータである。制御部22には、予めプログラムがインストールされている。制御部22は、当該プログラムにより後述するフレーム34及びカメラ38を自動化機器として制御できる。自動化機器には、カメラ26などが含まれ得る。
なお、制御部22は、CPU等のプロセッサがメモリに格納されたプログラムを実行することにより実現されるが、これに限定されない。制御部22は、一部又は全部がLSI、ASIC、FPGA等のハードウェアにより実現されても良い。
移動機構24は、制御部22に制御されることより、傾斜部12の傾斜面12aを床面Fに対して適宜の角度に符号Pで示す位置を支点として回動させるとともに、後述するベース32に対してフレーム34を適宜の位置に移動させるのに用いられる。傾斜部12の支点Pは、例えば後述するY軸に平行であることが好適である。また、装置14は、荷台16に対して適宜の位置に移動される。すなわち、移動機構24は、第1カメラ26、第2カメラ38及びフレーム34を動かすのに用いられる。このため、制御部22及び移動機構24は、荷物取り出しシステム10の一部であるとともに、装置14の一部として用いられる。
本実施形態に係る荷降ろし装置14は、ベース(固定部)32と、ベース32に支持されたフレーム34と、フレーム34に設けられ1以上の荷物B1,B2が乗せられる載置部36と、第2カメラ38と、1以上の荷物B1,B2の下側の荷物B3,…を支持する支持部40とを有する。
本実施形態では、装置14に対して荷台16が移動可能で、交換された荷台16が装置14に対して移動されて適宜の状態に向けられ得るものとして説明する。装置14自体が荷台16に向けて移動可能であってもよい。また、荷台16及び装置14が相対的に移動可能であってもよい。
ここで、図1Aに示すようにXYZ直交座標系を採るものとする。装置14は、床面に平行(重力方向に対して直交する方向)にX軸及びY軸を取る。Z軸は、重力方向に一致する。装置14に対して荷台16が向けられる方向をプラスX軸方向とする。マイナスX軸方向は、荷台16から取り出した荷物B1,B2,…を搬送していく方向とする。プラスY軸方向は、カメラ38で撮像した画像において、左方向から右方向に向かう方向であるものとし、マイナスY軸方向は、カメラ38で撮像した画像において、右方向から左方向に向かう方向であるものとする。プラスZ軸方向は、鉛直方向下側から上側に向かう方向であるものとし、マイナスZ軸方向は、鉛直方向上側から下側に向かう方向であるものとする。
なお、図1Bに示すように、装置14及び荷台16は、Y軸の軸周りに回動可能である。すなわち、装置14及び荷台16は、床面Fに対して適宜に傾斜可能である。
装置14のフレーム34は、後述する移動機構24の動作により、ベース32に対してX軸方向、Y軸方向及びZ軸方向に移動可能である。このため、制御部22は、移動機構24の動作により載置部36(後述するコンベア52,54,56)の位置をX軸方向、Y軸方向及びZ軸方向に移動可能である。
載置部36は、複数のベルトコンベア52,54,56を有する。コンベア52,54,56は、マイナスX軸方向に沿って順に配設されている。コンベア52のベルト部分は、先端側円筒軸(先端部)52a及び基端側円筒軸(基端部)52bに巻かれている。これら先端側円筒軸52a及び基端側円筒軸52bの少なくとも一方には移動機構24の一部として図示しないモータが配設されている。先端側円筒軸52a及び基端側円筒軸52bの少なくとも一方のモータは制御部22に接続されている。このため、コンベア52のベルト部分は、モータによって適宜に制御された状態で回転される。なお、コンベア54,56もコンベア52と同様に形成されている。
最も先端側のコンベア52の先端側円筒軸52aは、上下方向(Z軸方向)の厚さ(外径)が極力小さく形成されている。このため、移動機構24によるフレーム34の移動によって、最も先端側のコンベア52の先端側円筒軸52aの特に先端側の一部は、積まれた荷物B1,B3の間の隙間に入れられ得る。
本実施形態では、コンベア52の下側に第2カメラ38が配設されている。カメラ38は、載置部36の下側で、例えば、ZX平面に沿って移動されたり、ズーム機能が用いられるなどして、制御部22によって視野が調整されてもよい。第2カメラ38は、例えばRGB-Depthセンサが用いられる。第2カメラ38は、カラーカメラと、距離画像センサから構成され、RGB画像に距離画像を重畳される機能を有する。制御部22は、第2カメラ38で撮像した画像データを用いて制御部22での画像処理により、荷物B1の底辺、及び/又は、荷物B1,B3の間の隙間を検出することができる。第2カメラ38は、荷台16との距離、1以上の荷物との距離を測定可能である。
図1A、図1B及び図4に示すように、支持部40は、コンベア52の先端側円筒軸52aと、ベース32との間に設けられている。支持部40は、例えばロールカーテン状であり、シート状部材62と、1対のシリンダ64,66とを有する。シート状部材62には、適宜の布(ファブリック)が用いられ得る。1対のシリンダ64,66は、Y軸に平行に中心軸を有する。1対のシリンダ64,66の一方のシリンダ64はベース32に固定され、他方のシリンダ66はコンベア52の先端側円筒軸52a又はその近傍に支持されている。すなわち、シート状部材62の一端のシリンダ66は、載置部36に取り付けられ、他端のシリンダ64はベース(固定部)32に取り付けられている。シリンダ64,66にはシート状部材62がそれぞれ巻きつけられている。シート状部材62及びシリンダ64,66は、例えばロールカーテンと同様に形成されている。1対のシリンダ64,66間の距離は、シリンダ64,66同士が接触する0mmから、シート状部材62の長さに一致する距離まで可変可能である。シリンダ64,66の少なくとも一方に図示しない捻りバネが配設されている。シート状部材62には、常に適宜の張力を発生させている。そして、シート状部材62に対する張力が低下し、弛んだら、シリンダ64,66の少なくとも一方でシート状部材62を巻き取ることができる。
ベース32に対してフレーム34が移動すると、1対のシリンダ64,66間でシート状部材62に適宜の張力を付加した状態で、シート状部材62の面積は増減し得る。このため、シート状部材62は、載置部36すなわちコンベア52の先端側円筒軸52aの位置に応じて、ベース32に対してシリンダ66が移動したときに大きさが変化し得る。
図5に示すように、シート状部材62は、スリットや開口などの窓部63aを有する。このため、第2カメラ38で、シート状部材62の窓部63aを通して、荷物B1,B3,B5,B7を撮像できる。窓部63aは、シート状部材62自体の面の変形を抑制するため、1対のエッジ62a,62bの間に形成されている。なお、シート状部材62のY軸方向の幅は適宜に設定可能である。また、窓部63aのY軸方向の幅は適宜に設定可能である。
図5には、第2カメラ38を用いて、荷物B1,B2,…が積まれた荷台16を撮影した画像を示す。画像には、載置部36のコンベア52の底面、支持部40のシート状部材62、シリンダ64,66、及び、荷物B1,B3,B5,…が映されている。
ここで、荷台16の前方かつ上方に配置される第1カメラ26を用いる場合、第1カメラ26と荷台16との間に装置14の一部が干渉する可能性がある。これに対し、第2カメラ38と荷台16との間に支持部40の他には、干渉する物、干渉し得る物は存在しない。そして、支持部40のシート状部材62の窓部63aは、所定の幅を有している。このため、第2カメラ38の撮像画像によって、制御部22は、荷台16上の1以上の荷物の底辺を容易に見つけることができる。
制御部22は、支持部40のシート状部材62、シリンダ64,66と、第2カメラ38との位置関係を把握している。制御部22は、例えば適宜の画像処理(荷物判断部22b)のアルゴリズム(線検出、色検出、領域検出などを利用)によって、図5中に映されたシート状部材62、シリンダ64,66を消去するか無視することができる。
ここで、シート状部材62の素材は、赤外線吸収素材で形成されていることが好適である。この場合、第2カメラ38を用いて、シート状部材62を透過撮影することはできない。すなわち、荷物B1,B3,B5,…のうち、シート状部材62に対してプラスX軸方向に存在する部位は、第2カメラ(距離画像センサ)38で情報を得ることができない。このため、制御部22は、第2カメラ38で撮像した画像情報において、シート状部材62すなわち支持部40の存在を無視する画像処理を行うことができる。
制御部22は、第2カメラ38で得た画像情報について、このような前処理を行った後、各荷物の底辺を抽出することに注力する。各荷物の底辺の検出には、第2カメラ(距離画像センサ)38の情報の極大点や、色の変化点等を用いる。制御部22は、シート状部材62の存在を無視して、窓部63aを通して撮像し得る荷物B1,B3,B5の底辺B1b,B3b,B5bを抽出することができる。図5に示すように、第2カメラ38でシート状部材62の外側を撮像可能である場合、制御部22は、シート状部材62の外側で荷物B1,B3,B5の底辺B1b,B3b,B5bを抽出することができる。
複数(多数)の荷物が積まれた荷台16のセットを多数準備し、図5に示すのと同様に得られる画像を深層学習によって制御部22を学習させ、各荷物の底辺を検出しやすくしてもよい。その場合、予め大量の荷物の画像を撮影し、一例として、画像内の荷物の境界を人が判別し、境界に線を引き、学習画像とすることができる。
支持部40で荷物を支持している場合、コンベア52の先端側のシリンダ66の方が、ベース32に設けられたシリンダ64よりもプラスX軸方向の位置にある可能性が高い。シート状部材62は、X軸及びZ軸に対して傾斜している。図1Aに示すように、シート状部材62は、最も先端側のコンベア52の先端側円筒軸52a及び/又はシリンダ66の一部が、積まれた荷物B1,B3の間の隙間に入れられた状態で、荷物B3,B5,B7を支持することができる。シート状部材62が荷物B3,B5,B7を支持することで、荷物B3,B5,B7、及び、その背面側の荷物B4,B6,B8,B9の荷崩れが防止される。また、仮に、荷物B3,B4,…,B9が荷崩れを生じたとしても、崩れた荷物がシート状部材62を通して装置14のベース32やフレーム34の中に入り込むことが防止される。
なお、支持部40のシート状部材62は、傾斜部12の傾斜面12aが床面Fに対して傾斜したときであっても、Z軸に平行な状態にはならないことが好適である。
この荷物取り出しシステム10を用いた荷物B1,B2,…,B9の搬送処理フローについて、図6を用いて説明する。
まず、第1カメラ26で荷台16を俯瞰的に撮影し、制御部22の荷物判断部(画像処理部)22bで荷台16上に荷物B1,B2,…,B9の存在を判断する(ステップS11)。制御部22は、第1カメラ26で荷台16を俯瞰的に撮影する際、適宜にカメラ26のズーム機能を用いることができる。
制御部22が、荷台16に荷物B1,B2,…,B9がないと判断したら(ステップS11-No)、処理を終了する。
制御部22が、荷台16に荷物B1,B2,…,B9があると判断したら(ステップS11-Yes)、コンベア52の下側の第2カメラ38でシート状部材62の窓部63aを通して荷台16内を撮影しながら、移動機構24を動作させてフレーム34を適宜に動かす。このとき、シート状部材62のY軸方向に沿う幅との関係によっては、シート状部材62の外側の荷物も撮影する。制御部22は、移動機構24を適宜に動かして、コンベア52の先端側円筒軸52aをより上側の荷物B1に近づけ、荷台16内のより手前上側の荷物B1の底辺B1bを探索する(ステップS12)。このとき、シリンダ64,66間の距離が大きくなると、シート状部材62が適宜の張力を維持した状態で伸びる。
制御部22は、シート状部材62の窓部63aを通して、また、シート状部材62のエッジ62a,62bの外側(エッジ62aに対するプラスY軸方向側の位置、エッジ62bに対するマイナスY軸方向の位置)で荷物B1,B3,B5の底辺B1b,B3b,B5bを抽出することができる。制御部22が、荷台16内のより手前上側の荷物B1の底辺B1bの存在を確認したら(ステップS13-Yes)、移動機構24を動作させる。制御部22は、最も先端側のコンベア52の先端側円筒軸52a及び/又はシリンダ66を、底辺B1bの存在を確認した荷物B1の底辺B1bの下側の荷物B3に近接又は当接させる(ステップS14)。
制御部22が、荷台16内のより手前上側の荷物B1の底辺B1bの存在を確認できなかった場合(ステップS13-No)、再度第1カメラ26で荷台16を撮影し、制御部22で荷台16上に荷物B1,…,B9があるか否か、確認する(ステップS11)。また、制御部22は、ステップS13からステップS11に向かうフローの代わりに、第2カメラ38で荷台16内を撮影しながら、フレーム34を適宜に動かして、荷台16内のより手前上側の荷物B1の底辺B1bを探索させる、ステップS12のフローを行わせてもよい。
制御部22は、移動機構24を動作させる際に、例えばフィードバック制御等により、最も先端側のコンベア52の先端側円筒軸52a及び/又はシリンダ66を、底辺B1bの存在を確認した荷物B1の底辺B1bの下側の荷物B3に近接させる(ステップS14)。このとき、支持部40のシート状部材62は、荷物B3だけでなく、荷物B3の下側の荷物B5,B7を支持している。このため、支持部40で荷物B3だけを支持する場合に比べて、荷崩れの可能性を大きく減らすことができる。
制御部22が、最も先端側のコンベア52の先端側円筒軸52a及び/又はシリンダ66が、底辺B1bの存在を確認した荷物B1の底辺B1bの下側の荷物B3に近接した位置にあると判断したら(ステップS15-Yes)、制御部22は、移動機構24を動作させ、傾斜部12を傾斜させるとともに、コンベア52,54,56をそれぞれ動作させる。傾斜部12は、荷台16及び装置14を同じ角度に傾斜させる(ステップS16)。このとき、制御部22は、傾斜部12を、所定の角度に傾斜させてもよく、所望の角度に傾斜させてもよく、先端側コンベア52又は中間コンベア54への荷物B1(,B2)の載置が検知されるまで傾斜させてもよい。傾斜角度は、0°から90°の適宜の角度である。傾斜部12の傾斜面12aの傾斜によって、荷物B1(,B2)の重力方向が変化する。このため、傾斜部12の傾斜面12aの傾斜によって、荷物B1(,B2)が荷物B3,B4に対して滑る。荷物B1(,B2)は、重力とベルトコンベア52の掻き出し力(荷物B1(,B2)をコンベア52に載せる力)によって、荷物B1(,B2)がベルトコンベア52に載せられる。荷物B1(,B2)は動作されているコンベア52から、マイナスX軸方向に隣接するコンベア54,56に渡される。荷物B1(,B2)は、コンベア56から適宜の別工程に移動される。このように、傾斜部12の傾斜面12aの傾斜によって、荷物B1(,B2)の重力方向が変化し、荷物B1(,B2)が載置部36に載置される。
このとき、荷物B3,B5,B7は支持部40のシート状部材62により支持されている。支持部40のシート状部材62は、Z軸に平行な状態までは傾斜しない。支持部40のシート状部材62は、荷物B3,…,B9を荷台16に向けて押さえ続ける。このため、荷物B1,B2がコンベア52,54,56に載せられて搬送されたとしても、残りの荷物B3,…,B9が荷崩れを生じるのを防止することができる。すなわち、取り出すべき荷物B1(,B2)以外の荷物B3,…は支持部40に押さえられ、荷崩れが防止されている。
制御部22は、荷台16からコンベア52,54,56への荷物B1(,B2)の移動を検知したら(ステップS17-Yes)、荷台16及び荷降ろし装置14の傾斜を元に戻すとともに、コンベア52,54,56の動作を停止させる(ステップS18)。このとき、第2カメラ38で荷台16に荷物が残っていることを検出しているのであれば、荷台16及び荷降ろし装置14の傾斜は、図1Aに示す状態までは戻す必要がない。装置14及び荷台16を図1Aに示す状態に戻すのは、荷台16から全ての荷物が取り出されて別工程に移動されてからでもよい。
制御部22は、例えば第1カメラ26を用いて、荷台16に荷物があるか確認する(ステップS19)。荷物が存在していないと判断した場合(ステップS19-No)、処理を終了する。
制御部22が荷物B3,…,B9が存在していると判断した場合(ステップS19-Yes)、再び、ステップS12に戻って処理を続ける。そして、制御部22は、荷物B3,B5間の隙間、荷物B5,B7間の隙間を次々に発見して荷台16から荷物を取り出すことができる。
なお、第2カメラ38は、荷物B1を取り出す前から取り出した後まで、連続して、シート状部材62の窓部63aを通して、荷物B3,B5,B7の状態を確認し続けることができる。このため、次に、仮に荷物B3,B4を取り出す場合、支持部のシート状部材62で荷物B5,B7を確実に支持できていれば、荷物B5,…B9の荷崩れが防止される。
このように、装置14では、荷物B1,…,B9が乱雑に積まれた荷台16であっても、窓部63aを有するシート状部材62を用いて荷物B3,B5,B7を支持しながら、コンベア52の下側のカメラ38を用いて荷物B3,B5,B7の底辺を容易に見つけることができる。このため、コンベア52の先端側円筒軸52a及び/又はシリンダ66を、次々に荷物B1,B3,…の底辺B1b,B3bの僅かに下側の位置に、差し込むことができる。このため、本実施形態に係るシステム10により、荷物B3,…を支持部40で支えながら、荷物B1,…が乱雑に配置された荷台16から荷物B1を取り出す場合であっても、荷物B3,…の荷崩れを防止することができる。このため、この装置14を含むシステム10を用いることで、荷物が積まれたある荷台16からの自動荷降ろし作業の速度を向上させることができる。したがって、本実施形態に係る装置14によれば、箱型や、袋状など、種々の形状の荷物が存在する荷台から1以上の荷物を取り出す作業を繰り返す場合、荷崩れを防止しながら、次に取り出す1以上の荷物をより早期に認識し得る荷降ろし装置を提供することができる。
このように、本実施形態に係る荷降ろし装置14は、載置部36(コンベア52,54,56)と、移動機構24(傾斜部12)と、カメラ(第2カメラ)38と、支持部40(シート状部材62)とを有する。載置部36は、1以上の荷物B1,B2,…が積載された荷台16に向けられ、1以上の荷物B1,B2,…が荷台16から取り出されたときに載せられる。移動機構24は、1以上の荷物B1,B2,…を載置部36に向けて移動させる。カメラ38は、荷台16に向けられた状態で載置部36の下側に取り付けられ、1以上の荷物B1,B2,…の底辺B1bを検出可能である。支持部40は、1以上の荷物B1,B2,…が荷台16から取り出されて載置部36に載せられる際に、カメラ38で検出される1以上の荷物B1,B2,…の底辺B1bの好ましくは直下に隣接する荷物B3を支持する。
第2カメラ38を載置部36の下側に取り付けることができるので、第1カメラ26に比べて第2カメラ38の位置を荷物B1,B2,…に適宜に近づけることができる。このため、載置部36の下側に取り付けられた第2カメラ38によって、第1カメラ26を用いる場合よりも、荷台16から取り出す荷物B1の底辺B1bを検出しやすい。そして、支持部40で荷物B1の下側の荷物B3,…の荷崩れを防止した状態で、荷物B1を取り出すことができる。そして、カメラ38は、荷物B1,B2を取り出す際にも、一部は支持部40により干渉されるが、逐次の画像処理により、干渉の影響を抑制しながら、常に荷台16の荷物B3,B5,…を撮像し続けることができる。すなわち、シート状部材62に合わせて制御部22で画像処理を行うことにより、カメラ38の画像により、荷物B3,B5,…の底辺B3b,B5b,…を容易に抽出することができる。このため、次の荷物B3,…を取り出す動作にすぐに入ることができる。
なお、本実施形態では、傾斜部12は、傾斜面12aを有し、傾斜面12aが支点Pの軸回りに回動するものとして説明した。床Fに例えば油圧装置などが配置されるなどにより、荷降ろし装置14及び荷台16を適宜の傾きに傾けてもよい。
ここでは、第1カメラ26を用いて荷台16内の荷物B1,B2,…を撮影し、そのデータに基づいて制御部22が荷台16内の荷物B1,B2,…の存在を判断した。しかしながら、支持部40を通して第2カメラ38で荷物B1,B2,…の存在を確認できるのであれば、第1カメラ26は必ずしも必要ではない。この場合、第2カメラ38は、荷台16に対峙した状態で、コンベア52とともに荷台16の上側から下側に向かって移動される際に荷物B1,B3,…を見つけるようにしてもよく、コンベア52とともに荷台16の下側から上側に向かって移動される際に荷物B1,B3,…を見つけるようにしてもよい。
(第1変形例)
第1変形例について、図7を用いて説明する。
図7に示すように、支持部40のシート状部材62は、窓部63aに複数の網掛け部63bを有する。網掛け部63bは、例えばY軸に沿って平行に形成されている。網掛け部63bは、適宜の間隔に形成されていることが好適である。この場合、網掛け部63bを含むシート状部材62は、制御部22の画像処理による干渉を極力避けやすい。支持部40の網掛け部63bは、荷物B3,B5,…を確実に支持可能に設けられている。なお、網掛け部63bは、シート状部材62の補強としての機能も有する。
シート状部材62がこのように形成されていても、第1実施形態で説明したのと同様に、制御部22は、シート状部材62の存在を無視して、網掛け部63bが存在する部位を避けつつ、窓部63aを通して、さらには、シート状部材62の外側で撮像し得る荷物B1,B3,B5の底辺B1b,B3b,B5bを適宜に抽出することができる。
このため、本変形例の構造を有する支持部40を用いる場合であっても、第1実施形態で説明したのと同様に、荷台16に積まれた荷物B1,B2,…を順次、載置部36に載置して、別工程に移動させることができる。
シート状部材62の網掛け部63bにより、荷物B1,B3,B5,…がカメラ38で撮像できなくなる懸念がある。シート状部材62を網掛け部63bとして形成した場合、制御部22は、網掛け部63bを有することを考慮した画像処理を行うことにより、ターゲットとなる荷物B1の底辺B1bを容易に抽出することができる。また、制御部22は、荷物B1の底辺B1bの下側の荷物B3,B5,…の底辺B3b,B5bも、荷物B1の底辺B1bと同様に抽出することができる。
(第2変形例)
第2変形例について、図8を用いて説明する。
図8に示す支持部40のシート状部材62は、図4に示す第1実施形態、図7に示す第1変形例とは異なり、窓部63aが形成されていない。本変形例のシート状部材62は、透明又は半透明の赤外線透過素材で形成されていることが好適である。その他、本変形例のシート状部材62は、適宜のメッシュ状に形成されていてもよい。この場合、第2カメラ38の撮像画像情報は、シート状部材62が存在しないのと同程度に荷物B1,B3,…を撮像可能である。このため、本変形例のシート状部材40を用いる場合、制御部22は、底辺B1b,B3b,…を容易に抽出することができる。
このため、本変形例の構造を有する支持部40を用いる場合であっても、第1実施形態、及び、第1変形例で説明したのと同様に、荷台16に積まれた荷物B1,B2,…を順次、載置部36に載置して、別工程に移動させることができる。
(第2実施形態)
図9Aから図12Bを用いて第2実施形態について説明する。本実施形態は、各変形例を含む第1実施形態の変形例である。
図9Aに示すように、荷台16は、棚16aを有するものがある。このような荷台16のうち、棚16aの下側にある荷物を荷台16から取り出す場合、人間であれば、棚16aの下側に手を入れて荷物を引き出す作業を行っている。このため、棚16aが存在する荷台16から荷物を取り出す自動化システム10を構築する場合、棚16aの下側の荷物を、上側からではなく、水平方向に荷物を取り出す工夫が必要である。
ここでは、第1実施形態で説明した傾斜部12の傾斜面12aを傾斜させ、重力により荷物B1,B2を載置部36に移動させる代わりに、図10に示すように、制御部22に制御されて動作されるアーム72及び把持部(ロボットハンド)74を用いる例について説明する。把持部74は、複数(多数)の吸盤を有することが好適である。
把持部74は、通常、荷台16から1つずつ荷物を取り出す。下側の荷物B3に対して隣接する上側の荷物B1が安定して配置されている場合など、把持部74は、下側の荷物B3を取り出す際に、一緒に上側の荷物B1を取り出すことができる場合があり得る。このため、把持部74は、1以上の荷物を把持可能である。
制御部22には、吸引ポンプ75が接続されている。制御部22によって、ポンプ75のON/OFFが切り替えられ得る。ポンプ75は把持部74に接続されている。このため、制御部22は、把持部74に荷物に対する吸引力(把持力)を発揮させたり、把持部74を荷物から離したりする動作を切り替えることができる。本実施形態では、汎用性が高いと考えられる、荷物の前面を吸着して把持する把持部74を用いる例について説明する。
なお、図2Aに示す荷物B1の面Sa,Sbように、各荷物は、YZ平面に対して適宜の角度に配置されている場合がある。把持部74は、面Sa,Sbの一方を吸着することで、吸着した面がYZ平面に平行又は略平行になる。このため、荷物B1は、乱雑に積まれていてもよい。
図9A及び図9Bに示すように、荷物取り出しシステム10は、荷降ろし装置114と、荷台16とを有する。図9Aには、棚16aを有する荷台16に用いられる荷物取り出しシステム10を示す。図9Bには、この荷物取り出しシステム10を棚16aがない荷台16に用いている状態を示す。本実施形態に係る荷降ろし装置114は、棚16aを有する荷台16/棚16aを有さない荷台16の両方に用いることができる。
本実施形態に係る荷降ろし装置114は、載置部36(コンベア52,54)と、移動機構24(アーム72及び把持部74)と、カメラ(第2カメラ)38と、支持部40(シート状部材62)とを有する。載置部36は、1以上の荷物B1,B2,…が積載された荷台16に向けられ、1以上の荷物B1,B2,…が荷台16から取り出されたときに載せられる。移動機構24は、1以上の荷物B1,B2,…を載置部36に向けて移動させる。カメラ38は、荷台16に向けられた状態で載置部36の下側に取り付けられ、1以上の荷物B1,B2,…の底辺B1bを検出可能である。支持部40は、1以上の荷物B1,B2,…が荷台16から取り出されて載置部36に載せられる際に、カメラ38で検出される1以上の荷物B1,B2,…の底辺B1bの好ましくは直下に隣接する荷物B3を支持する。
本実施形態では、制御部22、移動機構24だけでなく、第1カメラ26が装置114の一部として用いられ得る。すなわち、装置114は、制御部22、移動機構24及び第1カメラ26を含み得る。
本実施形態に係る荷降ろし装置114は、ベース32と、ベース32に固定されたフレーム34と、フレーム34に設けられ1以上の荷物B1,B2が乗せられる載置部36と、第2カメラ(RGB-Depthセンサ)38と、1以上の荷物B1,B2の下側の荷物B3,…を支持する支持部40とを有する。装置114は、さらに、フレーム34に対して移動するアーム72と、アーム72の先端に設けられ、荷物B1,B2,…を把持する把持部74と、第1カメラ26とを有する。ここでは、荷物B1,B2,…を1つずつ吸着して把持する例について説明する。
図11には、荷台16に積まれた荷物を第1カメラ26で撮影したときに得られる、斜めから俯瞰した像を示す。図11に示す像では、箱状の荷物が整然と並べられている様子を示す。制御部22は、取るべき荷物が箱状であれば、画像情報から、見えている三辺を抽出する。
図11中、画像処理により、画像内の前列の荷物、後列の荷物の境界線を抽出する。前列の荷物と後列の荷物との間に中列の荷物がある場合、その境界も抽出する。
本実施形態での把持部74は、特に、図11に示すような、略直方体などの箱型の荷物に好適であるものとする。図2Aに示す適宜の形状の荷物に対しても、本実施形態で説明する把持部74を用いることができる。
荷物取り出しシステム10は、制御部(プロセッサ)22と、制御部22に制御される移動機構24と、第1カメラ26とを有する。ここでは、第1カメラ26は図9A及び図9Bに示すように、荷台16の前方かつ上方の位置に1つである場合について説明する。なお、第1カメラ26は、荷台16の上方と、荷台16の前方とに2つなど、複数あってもよい。この場合、複数の画像が画像処理により合成されて、図11に示す、前列と後列との境界(太い実線)、前列の最上辺(太い一点鎖線)、底辺(太い破線)などを抽出し得る。
制御部22は、例えば、移動機構24、アーム72及び把持部74を制御する移動制御部22aと、第1カメラ(RGBセンサ)26及び第2カメラ(RGB-Depthセンサ)38からの画像をそれぞれ画像処理する荷物判断部(画像処理部)22bとを有する。移動制御部22aは、荷物判断部(画像処理部)22bでの画像処理結果に応じて、移動機構24、アーム72及び把持部74を適宜に動作させるように制御する。
移動機構24は、ベース32に対して、コンベア52,54をZ軸方向に沿って移動可能であるとともに、X軸方向に沿って移動可能である。アーム72及び把持部74は、ベース32及びフレーム34に対して、Z軸方向に沿って移動可能であるとともに、X軸方向に沿って移動可能である。
荷物取り出しシステム10を用いた、荷台16に棚がない場合(図9B参照)の荷物B1,B2,…,B7の搬送処理フロー、荷台16に棚16aがある場合(図9A参照)の荷物B1,B2,…,B6の搬送処理フローについて、図12A及び図12Bを用いて説明する。ここでは、装置114を用いて、荷台16の中間棚16aの上側及び下側に置かれた荷物(図9A参照)を取り出す場合、中間棚16aが存在しない荷台16から荷物を取り出す場合(図9B参照)の両者について説明する。
制御部22は、荷台16に棚16aがあるか否か検出する(ステップS21)。ここでは、例えば第1カメラ26などにより撮影した俯瞰像や、荷台16から制御部22に送信される情報や制御部22が荷台16から取得する情報等により棚16aの有無を制御部22が判断する。
図9Bに示すように、荷台16に棚16aがない場合(ステップS21-No)のフローについて説明する。荷台16に棚16aがない場合、図12Bに示すフローにしたがって、荷台16に積載された荷物B1,B2,…,B7が順次搬送される。
第1カメラ26で荷台16を撮影し、制御部22の荷物判断部(画像処理部)22bで荷台16上に荷物B1,B2,…,B7の存在を判断する(ステップS101)。
制御部22が、荷台16に荷物B1,B2,…,B7がないと判断したら(ステップS101-No)、処理を終了する(図12A参照)。
制御部22が、荷台16に荷物B1,B2,…,B7があると判断したら(ステップS101-Yes)、制御部22は、第2カメラ38で荷台16内を撮影しながら、移動機構24を適宜に動作させる。そして、荷台16内のより手前上側の荷物B1の底辺を探索する(ステップS102)。
制御部22が、荷台16内のより手前上側の荷物B1の底辺B1bの存在を確認したら(ステップS103-Yes)、移動機構24を動作させ、最も先端側のコンベア52の先端側円筒軸52a及び/又はシリンダ66を、底辺B1bの存在を確認した荷物B1の下側の荷物B3に近接又は当接させる(ステップS104)。
制御部22が、荷台16内のより手前上側の荷物B1の底辺B1bの存在を確認できなかった場合(S103-No)、再度第1カメラ26で荷台16を撮影し、制御部22で荷台16上に荷物B1,…,B9があるか否か、確認する(ステップS101)。また、制御部22は、ステップS101の代わりに、第2カメラ38で荷台16内を撮影しながら、フレーム34を適宜に動かして、荷台16内のより手前上側の荷物B1の底辺B1bを探索させてもよい(ステップS102)。
制御部22は、移動機構24を動作させる際に、例えばフィードバック制御等により、最も先端側のコンベア52の先端側円筒軸52a及び/又はシリンダ66を、底辺B1bの存在を確認した荷物B1の底辺B1bの下側の荷物B3に近接させる(ステップS104)。
このとき、荷台16に載置された荷物B3,B5,B7は支持部40のシート状部材62により支持されている。支持部40のシート状部材62は、荷物B2,…,B7を荷台16に向けて押さえ続ける。荷物B1がコンベア52,54に乗せられて搬送されたとしても、装置114は、支持部40のシート状部材62により、残りの荷物B2,…,B7に荷崩れを生じさせるのを防止することができる。すなわち、取り出すべき荷物B1以外の荷物B2,…,B7は、荷崩れを防止するために支持部40に抑えられている。
制御部22が、最も先端側のコンベア52の先端側円筒軸52a及び/又はシリンダ66が、底辺B1bの存在を確認した荷物B1の底辺B1bの下側の荷物B3に近接した位置にあると判断したら(ステップS105-Yes)、制御部22は、移動機構24によって、アーム72、把持部74、コンベア52,54をそれぞれ動作させる。制御部22は、ポンプ75を動作させ、把持部74で荷物B1の前面を吸着して把持させる(ステップS106)。制御部22は、荷物B1が把持部74に吸着された状態でアーム72をマイナスX軸方向に移動させる。制御部22は、ベルトコンベア52の掻き出し力によって、荷物B1をコンベア52に載置させるのにともなってポンプ75の動作を停止させ、把持部74を荷物B1の前面から離す。荷物B1はコンベア52からコンベア54に渡される。
制御部22は、荷台16からコンベア54への荷物B1の移動、さらには所定の位置への荷物B1の移動(装置114から外部への排出)を検知したら(ステップS107-Yes)、コンベア52,54の動作を停止させるとともに、第2カメラ38で荷台16内のより上側の荷物B2の底辺B2bを探索する(ステップS108)。なお、第2カメラ38で荷台16内のより上側の荷物B2の底辺を探索するタイミングは、荷物B1がコンベア52に渡された時点で開始することが好適である。このため、ステップS107の判断をする前に、第2カメラ38で荷台16内のより上側の荷物B2の底辺を探索してもよい。
制御部22が荷物B2の底辺B2b又は荷物B3の底辺B3bが存在していないと判断した場合(ステップS109-No)、荷台16に荷物が存在しないと判断して、処理を終了する。
制御部22が荷台16に荷物B2の底辺B2b又は荷物B3の底辺B3bが存在していると判断した場合(ステップS109-Yes)、再び、ステップS104に戻って処理を続ける。そして、制御部22は、例えば、荷物B5,B7を支持部40で押さえながら荷物B3を吸着してコンベア52に乗せ、又は、荷物B3を支持部40で押さえながら荷物B2を吸着してコンベア52に乗せる。このようにして、システム10は、荷台16から荷物B1,…,B7を適宜の順に取り出すことができる。
なお、第1カメラ26で荷台16の荷物の存在を確認するステップS101は、必ずしも必要ではない。これは、第2カメラ38で荷台16の荷物の存在を確認すればよいからである。
図9Aに示すように、荷台16に棚16aが存在する場合(ステップS21-Yes)のフローについて説明する。荷台16に棚16aが存在する場合、例えば図12Aに示すフローにしたがって、荷台16に積載された荷物B1,B2,…,B6が順次搬送される。
図9Aに示すように、荷台16は、Z軸方向の適宜の位置にXY平面に平行な棚16aを有する場合がある(ステップS21-Yes)。
第2カメラ38で荷台16内を撮影しながら、フレーム34を適宜に動かして、最も上側の棚16aの上側の荷物B1,B2,…のうち、より手前上側の荷物B1の底辺を探索する(ステップS22)。
制御部22が、荷台16内のより手前上側の荷物B1の底辺B1bの存在を確認したら(ステップS23-Yes)、移動機構24を動作させ、最も先端側のコンベア52の先端側円筒軸52a及び/又はシリンダ66を、底辺B1bの存在を確認した荷物B1の下側の荷物B3に近接又は当接させる(ステップS24)。
制御部22が、最も先端側のコンベア52の先端側円筒軸52a及び/又はシリンダ66が、底辺B1bの存在を確認した荷物B1の底辺B1bの下側の荷物B3に近接した位置にあると判断したら(ステップS25-Yes)、制御部22は、移動機構24によって、アーム72、把持部74、コンベア52,54をそれぞれ動作させる。制御部22は、ポンプ75を動作させ、把持部74で荷物B1の前面を吸着して把持させる(ステップS26)。制御部22は、荷物B1が把持部74に吸着された状態でアーム72をマイナスX軸方向に移動させる。制御部22は、ベルトコンベア52の掻き出し力によって、荷物B1をコンベア52に載置させるのにともなってポンプ75の動作を停止させ、把持部74を荷物B1の前面から離す。荷物B1はコンベア52からコンベア54に渡される。
制御部22は、荷台16からコンベア54への荷物B1の移動、さらには所定の位置への荷物B1の移動(装置114から外部への排出)を検知したら(ステップS27-Yes)、コンベア52,54の動作を停止させるとともに、第2カメラ38で荷台16内のより上側の荷物B2の底辺を探索する(ステップS28)。なお、第2カメラ38で荷台16内のより上側の荷物B2の底辺を探索するタイミングは、荷物B1がコンベア52に渡された時点で開始することが好適である。このため、ステップS27の判断をする前に、第2カメラ38で荷台16内のより上側の荷物B2の底辺を探索してもよい。
制御部22が荷台16の棚16aの上側に荷物B2の底辺B2b又は荷物B3の底辺B3bが存在していないと判断した場合(ステップS29-No)、その棚の上側には荷物が存在しないと判断する。そして、制御部22は、別の棚(ここでは棚16aの下側)に荷物があるか探索する(ステップS30)。ステップS30では、ステップS22と同じ処理を行っている。
制御部22が別の棚(棚16aの下側)に荷物があると判断した場合、ステップS23に戻って処理を行う。このため、棚16aの下側の荷物B5,B6を、上述したのと同様に、把持部74を用いて載置部36のコンベア52,54に取り出す。このため、そして、さらに別の棚がある場合、荷物の存在を確認する(ステップS30)。
なお、制御部22が、荷台16内のより手前上側の荷物B1の底辺B1bの存在を確認できなかった場合(ステップS23-No)、ステップS30に進んで、別の棚(棚16aの下側)に荷物があるか否か、確認する。別の棚(棚16aの下側)に荷物がないと判断した場合、制御部22は処理を終了する。
このように、装置114では、荷物B1,B2,…が積まれた荷台16であっても、窓部63aを有するシート状部材62を用いて荷物B3,B5,B7を支持しながら、コンベア52の下側のカメラ38を用いて荷物B3,B5,B7の底辺B3b,B5b,B7bを容易に見つけることができる。このため、コンベア52の先端側円筒軸52a及び/又はシリンダ66を、次々に荷物B1,B3,…の底辺B1b,B3bの僅かに下側の位置に、配置することができる。このため、この装置114を含むシステム10を用いることで、荷物が積まれたある荷台16からの自動荷降ろし作業の速度を向上させることができる。
本実施形態に係るシステム10を用いることにより、荷台16の棚16aの上側に載置された荷物B1,…,B4を取り出した直後、荷台16の棚16aの下側に載置された荷物B5,B6を取り出すことができる。荷台16の棚16aの下側に載置された荷物B5,B6を取り出す場合、第1カメラ26では荷物B5,B6を撮影できない場合がある。この場合であっても、第2カメラ38で荷物B5,B6の存在、さらには、荷物B5,B6の底辺B5b,B6bを確認することができる。
このように、第1実施形態で説明したのと同様に、荷台16中の上下の荷物B1,B3間の隙間(荷物B1の底辺B1b)の検出には、コンベア52の下に取り付けたカメラ38を用いるとよい。この場合、カメラ38によって、荷台16から取り出す荷物B1の底辺B1bを検出しやすい。そして、支持部40で荷物B1の下側の荷物B3,…の荷崩れを防止した状態で、荷物B1を移動機構24によって取り出すことができる。そして、カメラ38は、荷物B1,B2を取り出す際にも、常に荷台16の荷物B3,…を撮像し続けることができる。このため、次の荷物B3,…を取り出す動作にすぐに入ることができる。したがって、本実施形態によれば、箱型や、袋状など、種々の形状の荷物が存在する荷台から1以上の荷物を取り出す作業を繰り返す場合、荷崩れを防止しながら、次に取り出す1以上の荷物をより早期に認識し得る荷降ろし装置114を提供することができる。
(変形例)
荷物B1,…を把持する方式は、図13に示すように、荷物B1,…の背面を把持する方式としてもよい。
本変形例では、荷物B1を吸着して把持する把持部74の代わりに、荷物B1の背面を把持して把持する把持部76が用いられる。この把持部76は、1つの荷物B1だけでなく、荷物B3,B4に対して複数の荷物B1,B2を同時に、荷台16からマイナスX軸方向に取り出す方向に把持(引っ張り)可能である。
例えば図13に示すように、荷物B1の背面を把持する方式の把持部(熊手状の掻き出しハンド)76が用いられる場合、図9Aに示す棚16aの存在によって、棚16aの下側の荷物の最上面と棚16aの下面との間の隙間に把持部76が入らない可能性がある。このため、把持部74を用いて荷物B1,B5の前面を吸着して把持する方式は、把持部76を用いて荷物B1,B5の背面を把持する方式よりも汎用性が高い。
一方、把持部(熊手状の掻き出しハンド)76は、1つだけでなく、複数の荷物を一緒に荷台16からマイナスX軸方向に取り出すことができる場合がある。すなわち、把持部76は、1以上の荷物を容易に把持可能である。このため、棚16aの有無や、荷物の形状などによっては、装置114は、把持部74の代わりに把持部76を用いることが好適な場合がある。
図9A及び図9Bで示す例では、荷物B1の前面を吸着して把持することを説明し、図13で示す例では、荷物B1の背面を把持することを説明した。その他、図示しないが、荷物B1の上面を摩擦により把持したり、吸着により把持したりすることも可能である。荷物の重量や、外装の素材等によっては、荷物B1の背面側の荷物B2の上面を摩擦により又は吸着により把持して、その前側の荷物B1とともに、載置部36に載置させるようにしてもよい。
このように、荷台16から把持部を用いて荷物を引き出す場合、吸着、挟持(摩擦把持)、掻き出し等がある。具体的には、段ボール箱のような大きな平たい前面を有する荷物である場合、その前面を吸着して引き出す把持部74を用いることが有効である。平たい面がない/少ない、例えば紙袋のような荷物である場合、二本の大きな指で挟持する方式の把持部が用いられたり、熊手のような荷物を掻き出す方式の把持部76が用いられたりする。
(第3実施形態)
図14から図17を用いて第3実施形態について説明する。
第2実施形態に対して、異なる構造について簡単に説明する。載置部36は、コンベア52の代わりに、下支え部82を有する。下支え部82は、把持部74の下側に配置され、把持部74で把持した荷物が載置される。支持部40は、シート状部材62の代わりに、下支え部82の先端82aを有する。荷物を把持する場合、吸着、挟持(摩擦把持)、掻き出し等を適宜に用いることができる。本実施形態では、一例として、荷物を吸着して把持する把持部74を用いる例について説明する。
図14に示すように、荷物取り出しシステム10は、荷降ろし装置214と、荷台16とを有する。本実施形態に係る荷降ろし装置214は、載置部36(下支え部82)と、移動機構24(アーム72及び把持部74)と、カメラ(第2カメラ)38と、支持部40(下支え部82の先端82a)とを有する。載置部36は、1以上の荷物B1,B2,…が積載された荷台16に向けられ、1以上の荷物B1,B2,…が荷台16から取り出されたときに載せられる。移動機構24は、1以上の荷物B1,B2,…を載置部36に向けて移動させる。カメラ38は、荷台16に向けられた状態で載置部36の下側に取り付けられ、1以上の荷物B1,B2,…の底辺B1bを検出可能である。支持部40は、1以上の荷物B1,B2,…が荷台16から取り出されて載置部36に載せられる際に、カメラ38で検出される1以上の荷物B1,B2,…の底辺B1bの好ましくは直下に隣接する荷物B3を支持する。
本実施形態では、制御部22、移動機構24だけでなく、第1カメラ26が装置214の一部として用いられ得る。すなわち、装置214は、制御部22、移動機構24及び第1カメラ26を含み得る。
本実施形態に係る下支え部82は、荷物の引き出しを行う際に非常に有効な機構である。第1カメラ26で荷物を撮影する場合、第1カメラ26と荷物との間に下支え部82が入る。このため、下支え部82によって、荷台16から取り出したい荷物の底辺を認識しにくくなってしまう可能性がある。
本実施形態では、下支え部82の下側に第2カメラ38を配置している。このため、下支え部82の移動に伴って、第2カメラ38が移動する。そして、コンベア52の下側に第2カメラ38を配置したのと同様に、第2カメラ38は、荷台16から取り出したい荷物B1の底面B1b、その荷物B1の下側の荷物B3の底辺B3b等、1以上の荷物の底辺を認識することができる。
第1カメラ26の位置(例えば斜め上)からのみ荷台16を撮影していると、荷台16から荷物を取るたびごとに下支え部82を荷台16から退避させて第1カメラ26の視野を確保する作業が必要になり得る。本実施形態では、カメラ38を載置部36(下支え部82)の下側に取り付けている。このため、カメラ38の位置を第1カメラ26よりも、荷物B1,B2,…に適宜に近づけることができる。このため、載置部36の下側に取り付けられたカメラ38によって、荷台16から取り出す荷物B1の底辺B1bを検出しやすい。そして、支持部40(下支え部82の先端82a)で荷物B1の下側の荷物B3,…の荷崩れを防止した状態で、荷物B1を取り出すことができる。そして、カメラ38は、荷物B1,B2を取り出す際にも、常に荷台16の荷物B3,B5,…を撮像し続けることができる。このため、荷台16から荷物を取るたびごとに下支え部82を荷台16から退避させる必要がなく、残りの荷物の状態を把握することができる。そして、本装置214を用いることにより、次の荷物を取り出す作業をより早くはじめることができ、荷物を取り出す生産性を高めることができる。
なお、本実施形態では、第2実施形態の装置114の図10に示すブロック図をそのまま用いることができる。
装置214を用いて、荷台16に載置された複数の荷物B1,…を下支え部82に載置するための基本的な考えについて説明する。
各荷物のハンドリング方法は、上面吸着、前面吸着、掻き出し等がある。把持ターゲットの荷物B1を決定し、把持部74をその荷物B1にできる限り近づける。制御部22は、前列の荷物、最上位の荷物と前列の荷物を優先して取り出す。制御部22は、把持部76(図13参照)などを用いて、前列の荷物B1に加えて後列の荷物B2を把持できれば、前列及び後列の荷物B1,B2を一緒に下支え部82に載置する。
制御部22は、把持ターゲットとなる荷物B1の底辺の下側に隣接する荷物B3に下支え部82の先端82aを当接させる。制御部22は、下支え部82の先端82aを荷物B3に当てたことを確認し、その上の荷物B1を把持部74を用いて引き出して、下支え部82に載置する。下支え部82は、この荷物B1を例えば図示しないコンベア等により別工程に移動させる。
例えば第1カメラ26又は第2カメラ38から得られる画像を画像処理することにより、最上段にある荷物B2を荷台16から取り出し終えたかを確認する。最上段にある荷物B2を荷台16から取り出し終えていなければ、把持ターゲットとなる荷物B2の底辺の下側かつ、前側に位置する荷物B3に下支え部82の先端82aを当接させる。そして、把持部74を用いて荷物B2を荷台16から取り出す。
最上段の荷物B1,B2の取り出しが終わっていれば、下支え部82に取り付けられた第2カメラ38で、その下にある荷物B3の底辺の位置をサーチする。最上段にある荷物3を把持ターゲットとして、荷台16から取り出す。後列の荷物B4も上述したのと同様に、荷台16から取り出す。
このような処理を繰り返して、荷崩れを防止しながら全ての荷物B1,…を荷台16から取り出し、取り出した荷物を図示しないコンベア等により別工程に移動させて、処理を終了する。
この荷物取り出しシステム10を用いた、荷物B1,B2,…,の搬送処理フローの一例について、図15A及び図15Bを用いて説明する。
ここでは、第2ステージ(ステップS56)に至るまで、主として第1カメラ26を用いるものとして説明するが、制御部22が第2カメラ38を用いて、より早期に取り出すべき荷物を判断してもよい。
制御部22は、例えば第1カメラ26などにより、荷台16を俯瞰撮影する。制御部22は、荷台16に荷物B1,B2,…があるか否か検出する(ステップS51)。
制御部22が荷台16に荷物B1,B2,…があると判断したとき(ステップS51-Yes)、制御部22は、第1カメラ26を用いて、荷台16の手前側の最上位の荷物B1の底辺B1bを見つけることができるか判断する(ステップS52)。
制御部22は、荷物B1の底辺B1bを見つけることができたとき(ステップS52-Yes)、把持部74の把持ターゲットがその荷物B1であると判断し、アーム72、把持部74及び下支え部82を適宜に移動させる(ステップS53)。制御部22は、図16Aに示す位置から図16Bに示す位置に下支え部82を移動させる。このとき、下支え部82の先端82aは、荷物B1の底辺B1bの下側にあり、荷物B3の前面に当接している。下支え部82の先端82aは、荷物B1の底辺B1bに隣接していることが好適である。荷物B3は下支え部82の先端82aにより、マイナスX軸方向に移動するのが防止されている。そして、制御部22は、ポンプ75を作動させて、荷物B1の前面を把持部74により吸着して把持する。このため、図16Cに示すように、荷物B3に対して荷物B1がマイナスX軸方向に移動されて、下支え部82に載置される。制御部22はポンプ75の作動を停止させて、下支え部82に、荷物B1を支持させる。制御部22は下支え部82を移動させて、その荷物B1を適宜の位置に搬送する。このため、荷物B1は、下支え部82から別工程に移動される。
なお、ステップS53において、例えば図13に示す把持部76を用いる場合、荷物B1だけでなく、その背面側の荷物B2を下支え部82に支持させることができる。すなわち、荷物のうち、前列の荷物と、最上位及び前列の荷物とを優先しつつ、後列の荷物に対してハンドリング可能であれば、後列の荷物もとる。荷物のハンドリング方法は、上述したように、上面吸着、前面吸着、掻き出し等がある。
次に、制御部22は、再び第1カメラ26などにより、荷台16に荷物B2,B3,…があるか否か検出する(ステップS54)。
制御部22が荷台16に荷物B2,…があると判断したとき(ステップS54-Yes)、荷台16の最上位の荷物B2の底辺B2bを見つけることができるか判断する(ステップS55)。
荷物B2の底辺B2bを見つけることができた場合(ステップS55-Yes)、ステップS53の処理により、荷物B2を荷台16から取り出す。
荷物B2の底辺B2bを見つけることができなかった場合(ステップS55-No)、第2カメラ38を用いる第2ステージの処理を行う(ステップS56)。
第2ステージの処理について図15Bを用いて説明する。
制御部22は、第2カメラ38で荷物B2,B3,…を撮像可能か判断する(ステップS201)。第2カメラ38で荷物B2,B3,…を撮像可能である場合(ステップS201-Yes)、荷物B2,B3の境界、荷物B3,B5の境界を抽出する(ステップS202)。
制御部22は、荷台16の手前側最上位の荷物B3の底辺B3bを見つけることができたか判断する(ステップS203)。
制御部22が荷台16の手前側最上位の荷物B3の底辺B3bを見つけた場合(ステップS203-Yes)、ステップS53で説明したのと同様に、荷物B5を下支え部82の先端82aで支持した状態で、荷物B3を引き出す(ステップS204)。
制御部22は、例えば第1カメラ26などにより、荷台16に荷物B2,B4,…があるか否か検出する(ステップS57)。
制御部22が荷台16に荷物B2,B4があると判断したとき(ステップS57-Yes)、荷台16の最上位の荷物B2の底辺B2bを見つけることができたか判断する(ステップS58)。
荷物B2の底辺B2bを見つけることができた場合(ステップS58-Yes)、ステップS53の処理により、荷物B2を荷台16から取り出す。
荷物B2の底辺B2bを見つけることができなかった場合(ステップS58-No)、第2ステージの処理を行う。
ステップS57において、制御部22が荷台16に荷物がないと判断したとき(ステップS57-No)、荷台16に棚16a(図9A参照)があるか否か判断する。棚16aがあると判断した場合(ステップS59-Yes)、棚16aの下側に荷物があるか、ステップS51の処理を行う。
このような処理を繰り返して、荷台16に載せられた荷物B1,B2,…を荷台16から取り出して、所定の位置に搬送する。
そして、棚16aがないと判断した場合(ステップS59-No)、荷台16に対する荷物の取り出し処理を終了する。
本実施形態に係る装置214を用いることにより、荷台16に棚16aが存在していても、荷台16から適宜に荷物の搬送処理を行うことができる。
下支え部82の下側に第2カメラ38を配置することで、第1カメラ26では捕らえにくかった荷物の底辺を次々に認識できる。このため、荷台16から確実に荷物の取り出しを行うことができる。
ここで、例えば、第2カメラ38で撮像した画像情報について、制御部22が、図17に示す荷物B1の底辺B1bを認識できない場合があり得る。
この場合、図16Aに示すように、把持部74で荷物B1の前面を把持して、マイナスX軸方向に例えば数ミリメートルなど移動させる。そして、第2カメラ38で荷物B1,B3の変位の変化を計測する。
荷物B1は第2カメラ38に対する距離が変化するが、荷物B3は第2カメラ38に対する距離が変化しない。このため、単にカメラ38で荷物B1,B3を撮像しただけでは荷物B1の底辺B1bが検出できなくても、カメラ38の位置を適宜に維持しながらに荷物B1を動かすことで、制御部22は、荷物B3の位置を把握できる。このため、制御部22は、荷物B1の底辺B1bを把握できる。
(第1変形例)
第1変形例について、図18Aから図20Bを用いて説明する。
例えば、第2カメラ38で撮像した画像情報について、制御部22が、図17に示す荷物B1の底辺B1bを認識できない場合があり得る。また、制御部22が、荷物B1の底辺B1bが認識できたかの確度が適宜の閾値よりも低かったり、荷崩れを確実に防止するため、B1の底辺B1bを認識できたか、他の手段によって確認したい場合がある。
図18Aから図18Dに示すように、本変形例に係る支持部40は、下支え部82の先端82aに変位センサ92が配設されている。変位センサ92は接触式や、光などを用いた非接触式を適宜に用いることができる。ここでは、変位センサ92は接触式のタッチセンサを用いる例について説明する。
図19に示すように、制御部22には、変位センサ92が接続されている。このため、変位センサ92の情報に基づいて、移動機構24を適宜に移動させることができる。
この装置214の処理フローは、図15Aに示すのと同様である。第2ステージについては、一例として、図20A及び図20Bに示すフローに従う。図20A及び図20Bに示すフローでは、例えば荷台16から取り出す荷物B1の底辺B1b、すなわち、Z軸方向に隣接する荷物B1,B3同士の境界が認識できなかったときに、下支え部82の先端82aが、荷物B1を支持しているか、荷物B3を支持しているかを判断する、把持荷物/支持荷物の検出方法について説明する。
図20Aに示すステップS201-ステップS203までは、図15Bに示す処理と同様である。
制御部22が荷台16の手前側最上位の荷物B1の底辺B1bを見つけた場合(ステップS203-Yes)、その荷物B3の底辺B1bの認識確度が適宜の閾値よりも高いか、判断する(ステップS210)。適宜の閾値は、所定の範囲内でユーザが設定可能である。
制御部22が荷物B1の底辺B1bの認識確度が適宜の閾値よりも高いと判断した場合(ステップS210-Yes)、荷物B1の底辺B1bが検出できているか、確認する確認モードの処理を行う(ステップS211-ステップS213)。
制御部22は、変位センサ92の接触確認試験を行う。制御部22は、下支え部82をアーム72及び把持部74の下側に配置し、下支え部82の先端82aを荷物B3に、把持部74を荷物B1に接触させる(ステップS241)。
制御部22は、下支え部82の先端82aに配設した変位センサ92で、荷物B3との接触を検知したか、確認する(ステップS242)。制御部22が、下支え部82の先端82aが、荷物B3に接触していないと判断した場合(ステップS242-No)、制御部22は、下支え部82を荷物B3に向けて移動させる。
制御部22が、下支え部82の先端82aが、荷物B3に接触していると判断した場合(ステップS242-Yes)、把持部74で吸着した荷物B1を例えば数ミリメートルなど、所定の距離だけ僅かに引き出す(ステップS212)。制御部22は、下支え部82に配設された変位センサ92の反応を確認する(ステップS213)。制御部22は、変位センサ92が把持部74で吸着した荷物B1の引っ張り量と同じ又は略同じ変位を検知した場合、(ステップS213-Yes)、下支え部82の先端82aが荷物B3ではなく、荷物B1に接触していると判断し、ステップS201の処理に戻す。
変位センサ92が把持部74で吸着した荷物B1の引っ張り量と同じ又は略同じ変位を検知しなかった場合(ステップS213-No)、制御部22は、下支え部82の先端82aで荷物B3を支持していると判断する。そして、下支え部82の先端82aで荷物B3を支持した状態で、その上側の荷物B1の前面を把持部74で吸着して、ステップS212で説明した所定の距離を大きく超える距離移動させて引き出す(ステップS230)。
制御部22が荷物B3の底辺B3bの認識確度が適宜の閾値よりも低いと判断した場合(ステップS210-No)、荷物B3の底辺B3bを探索する探索モードの処理を行う(ステップS221-ステップS224)。
制御部22は、ステップS211と同じ接触確認試験を行う(ステップS221)。
制御部22が、下支え部82の先端82aが、荷物B1又は荷物B3に接触していると判断した場合(ステップS242-Yes)、把持部74で吸着した荷物1を例えば数ミリメートルなど所定の距離だけ僅かに引き出す(ステップS222)。下支え部82に配設された変位センサ92の反応を確認する(ステップS223)。変位センサ92が把持部74で吸着した荷物B1の引き出し量と同じ又は略同じ変位を検知した場合(ステップS223-Yes)、制御部22は、把持部74で把持している荷物B1と、下支え部82の先端82aで支持している荷物B1とが同一である、と判断する。すなわち、把持部74の移動量と変位センサ92で検知した変位量とが一致又は略一致しているとき、制御部22は、下支え部82の先端82aすなわち支持部40が支持している対象が1以上の荷物B1であると判断する。このため、下支え部82を例えば数センチメートルなど、適宜の量だけ降下させる(ステップS224)。再び、ステップS222の処理を行う。したがって、変位センサ92の位置を所定の距離下げて変位センサ92を1以上の荷物B1、又は、隣接する荷物B3に接触又は近接させ、1以上の荷物B1を把持した状態で、1以上の荷物B1を所定の距離再度引っ張る。
変位センサ92が把持部74で吸着した荷物B1の引き出し量と同じ又は略同じ変位を検知しなかった場合(ステップS223-No)、下支え部82の先端82aで荷物B3を支持した状態で、その上側の荷物B1の前面を把持部74で吸着して、ステップS222で説明した所定の距離を大きく超える距離移動させて引き出す(ステップS230)。すなわち、把持部74の移動量と変位センサ92で検知した変位量とが異なっているとき、制御部22は、下支え部82の先端82aすなわち支持部40が支持している対象が隣接する荷物B3であると判断する。
このように、仮に、取り出そうとしている荷物B1の底辺B1bがカメラ38で検出されない場合がある。この場合であっても、下支え部82の先端82aで荷物B1を支持しているか、荷物B3を支持しているか、センサ92を用いたシーケンスを行うことにより検出することができる。このため、本変形例に係る装置214によれば、荷台16から荷物B1,…を取り出す処理を止めることなく、荷物の取り出し処理を続けることができる。
したがって、本変形例によれば、荷崩れを防止しながら、次に取り出す1以上の荷物と、その下側に隣接する荷物との検出方法を提供することができる。
(第2変形例)
第2変形例について、図21Aを用いて説明する。
荷降ろしの生産性(単位時間に取り出せる荷物の量)を上げるためには、下支え部82を大きくし、把持部74の数を増やしたり、把持部(熊手状の掻き出しハンド)76の幅をY軸方向に広げたりする必要がある。荷台16には、例えば図2Aに示す荷物が載置されている。荷物の底辺の境界は図2Bに示すように折れ線状になることがある。このような荷物の下側に下支え部82をあてがう場合、図21Aに示すように、下支え部82は、短冊状に形成された板状部材83a,83b,…,83pを有することが好適である。
複数の板状部材(下支え板)83a,83b,…,83pがX軸方向に延びている。図2Bに示すように、第1カメラ26による情報により、制御部22は、前列の荷物B1の最上辺(太い一点鎖線)を抽出可能である。下支え部82の複数の板状部材83a,83b,…,83pは、前列の最上位の荷物B1に各先端82aを配置することができる。このため、図21A中に示す取り出したい荷物B1に対して、下支え部82の複数の板状部材83a,83b,…,83pは、その下側の荷物B31を支持している。このため、荷物B1を複数の板状部材83a,83b,…,83pの上に把持部74で把持して載置させたとき、荷物B1の下側の荷物B31,B32,B33が荷崩れを生じるのが防止される。
(第3変形例)
第3変形例について、図21Bを用いて説明する。この変形例は第2変形例の更なる変形例である。
図21Bに示すように、下支え部82は、3つ(複数)の板状部材(下支え板)84,86,88がX軸方向に延びている。ここでの板状部材(下支え板)84,86,88は、第2変形例で説明した板状部材83a,83b,…,83pに対してY軸方向の幅が大きい。複数の板状部材83a,83b,…,83pの幅を合わせたとき、例えば板状部材84の幅と略同じとなる。
また、3つ(複数)の板状部材(下支え板)84,86,88の幅は、荷台16のY軸方向に沿う幅よりも僅かに小さい。このため、板状部材(下支え板)84,86,88は、XY平面に平行な状態で、荷台16に挿入可能である。
取り出したい荷物B1に対して、好ましくは直下の荷物B31を板状部材84の先端82aで支持するだけでなく、そのマイナスY軸方向の位置にある荷物B32を別の板状部材86の先端82aで支持している。また、取り出したい荷物B1に対して、好ましくは直下の荷物B31を板状部材84の先端82aで支持するだけでなく、そのプラスY軸方向の位置にある荷物B33をさらに別の板状部材88の先端82aで支持している。
このため、荷物B1を板状部材84の上に把持部74で把持して載置させたとき、荷物B1の下側の荷物B31,B32,B33に荷崩れが生じるのが防止される。また、仮に、荷物に荷崩れが生じても、荷台16の幅よりも僅かに小さい幅を有する下支え部82の下側に荷物が入ることが防止されている。
(第4変形例)
第4変形例について、図22を用いて説明する。
第3実施形態の第1変形例では、下支え部82の先端82aに変位センサ92が配設される例について説明した。第2実施形態で説明した載置部36の先端(コンベア52の先端側円筒軸(先端部)52a)、又は、支持部40の先端(シリンダ66)に変位センサ92が配設されていてもよい。この場合、第2カメラ38の画像情報によって、取り出したい荷物B1の底辺B1bが確認できなくても、取り出したい荷物B1の底辺B1bを検出することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、出願時の特許請求の範囲を付記する。
[付記1]
荷物が積載された荷台に向けられ、前記荷物が前記荷台から取り出されたときに載せられる載置部と、
前記荷物を前記載置部に向けて移動させる移動機構と、
前記荷台に向けられた状態で前記載置部の下側に取り付けられ、前記荷物の底辺を検出可能なカメラと、
前記荷物が前記荷台から取り出されて前記載置部に載せられる際に、前記荷物の前記底辺よりも下側に隣接する荷物を支持しながら、前記カメラで前記荷物の前記底辺を検出可能とする、支持部と
を有する荷降ろし装置。
[付記2]
前記カメラは、前記荷物と、前記隣接する荷物又は前記荷台との距離を検出可能である、付記1に記載の荷降ろし装置。
[付記3]
前記支持部は、前記載置部に取り付けられた一端と、固定部に取り付けられた他端と、前記載置部の位置に応じて前記固定部に対して前記一端が移動したときに大きさが変化するシート状部材とを有する、付記1もしくは付記2に記載の荷降ろし装置。
[付記4]
前記シート状部材は、前記荷物の前記底辺、及び、前記隣接する荷物を前記カメラで撮像可能とする窓部を有する、付記3に記載の荷降ろし装置。
[付記5]
前記シート状部材は、赤外線吸収素材を含む、付記3もしくは付記4に記載の荷降ろし装置。
[付記6]
前記シート状部材は、赤外線透過素材を含む、付記3もしくは付記4に記載の荷降ろし装置。
[付記7]
前記載置部は、前記荷物が前記荷台から取り出され、載せられたときに、前記荷台から前記荷物を離すコンベアを有する、付記1ないし付記6のいずれか1に記載の荷降ろし装置。
[付記8]
前記移動機構は、前記支持部で前記隣接する荷物を支持した状態で、前記荷台及び前記載置部を傾斜可能であり、
前記支持部で前記隣接する荷物を支持した状態で前記移動機構を傾斜させたとき、前記載置部には、前記荷台の前記荷物が載置される、付記1ないし付記7のいずれか1に記載の荷降ろし装置。
[付記9]
前記載置部及び前記支持部は、前記隣接する荷物を支持するとともに、前記荷物が前記荷台から取り出され、載せられる、複数の下支え板により形成されている、付記1に記載の荷降ろし装置。
[付記10]
前記移動機構は、前記載置部の上側に設けられ、前記隣接する荷物に対して把持させる把持部を有し、
前記把持部、前記カメラ、及び、前記載置部を制御する制御部を有する、付記1ないし付記7のいずれか1に記載の荷降ろし装置。
[付記11]
前記制御部に制御され、前記載置部及び前記支持部の少なくとも一方に設けられ、前記荷物及び/又は前記隣接する荷物に対する接触、及び、前記荷物及び/又は前記隣接する荷物に対する変位を検知する変位センサを有する、付記10に記載の荷降ろし装置。
[付記12]
前記制御部は、前記把持部の移動量と前記変位センサで検知した変位量とが一致又は略一致しているとき、前記支持部が支持している対象が前記荷物であると判断し、前記隣接する荷物に向けて、前記載置部を降下させる、付記11に記載の荷降ろし装置。
[付記13]
前記制御部は、前記把持部の移動量と前記変位センサで検知した変位量とが異なっているとき、前記支持部が支持している対象が前記隣接する荷物であると判断する、付記11に記載の荷降ろし装置。
[付記14]
荷台から取り出された荷物が載置される載置部と、
前記荷物の底辺よりも下側に隣接する荷物を支持する支持部と、
前記載置部の下側に設けられ、前記載置部の下側から前記荷台の前記荷物を撮像するカメラと、
前記載置部及び前記カメラを制御し、前記カメラで撮像した情報に基づいて前記荷物の前記底辺を検出し、前記載置部及び前記支持部の先端を前記荷物の前記底辺よりも下側に前記隣接する荷物に配置し、
前記隣接する荷物を前記支持部に支持させた状態で、前記荷物を前記載置部に載置させる、制御部と、
を有する、荷降ろし装置。
[付記15]
前記荷物を把持するとともに、前記荷物を把持した状態で前記荷物を引っ張ることが可能な把持部と、
前記支持部に設けられ、前記支持部に対する前記荷物、又は、前記隣接する荷物の変位を検出する変位センサと
を有し、
前記載置部は、前記把持部の下側に設けられ、前記把持部で引っ張られた前記荷物が載せられ、
前記制御部は、
前記把持部で前記荷物を把持し、前記変位センサを前記荷物、又は、前記隣接する荷物に接触又は近接させて前記荷物又は前記隣接する荷物を前記支持部で支持した状態で、前記荷物を所定の距離引っ張ったときに前記荷物の引っ張り量と前記変位センサにより計測した変位とが一致又は略一致しているとき、前記変位センサが前記荷物と同じ荷物に接触し前記支持部が前記荷物と同じ荷物を支持していると判断し、
前記変位センサの位置を所定の距離下げて前記変位センサを前記荷物、又は、前記隣接する荷物に接触又は近接させ、前記荷物を把持した状態で、前記荷物を所定の距離再度引っ張り、
前記荷物の引っ張り量と前記変位センサにより計測した変位とが異なっているとき、前記変位センサが前記隣接する荷物に接触していると判断する、
付記14に記載の荷降ろし装置。
[付記16]
前記制御部は、前記変位センサが前記隣接する荷物に接触していると判断したとき、前記把持部を前記所定の距離を超える距離移動させ、前記載置部に、前記荷物を載せる、付記15に記載の荷降ろし装置。
[付記17]
荷物を把持すること、
前記荷物を把持した位置の下側に、変位センサを前記荷物、又は、前記荷物の底辺よりも下側に隣接する荷物に接触又は近接させて前記荷物又は前記隣接する荷物を支持すること、
前記荷物を把持した状態で、前記荷物を引っ張ること、
前記荷物の引っ張り量と前記変位センサにより計測した変位とが一致又は略一致しているとき、前記変位センサが前記荷物と同じ荷物に接触し前記変位センサで前記荷物と同じ荷物を支持していると判断すること、
前記変位センサの位置を所定の距離下げて前記変位センサを前記荷物、又は、前記隣接する荷物に接触又は近接させて前記荷物又は前記隣接する荷物を支持すること、
前記荷物を把持した状態で、前記荷物を引っ張ること、
前記荷物の引っ張り量と前記変位センサにより計測した変位とが異なっているとき、前記変位センサが前記隣接する荷物に接触していると判断すること、
を有する、荷物/その荷物の下側に隣接する荷物の検出方法。