JPH04244391A - ロボットを用いた段バラシ装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、段積みされたワーク
の段積み状態を視覚装置により検出し高能率で段バラシ
作業を行なうことができる、ロボットを用いた段バラシ
装置に関するものである。

【０００２】

【従来の技術】従来、視覚装置を備えたロボットにより
、ワークすなわち加工対象物を取り出しする装置として
は、特開平１−１９６５０１に示されているように、二
次元の画像処理装置によりワークの認識を行ない、ロボ
ットハンドを移動させ、ワークを把持して取り出しする
ものがあった。また、雑誌「自動化技術」第２２巻第１
号（１９９０）の６０ページから６４ページには、ワー
クをパレットに段積みするロボットシステムが記載され
ている。

【０００３】さらに、図１４に示すように、視覚装置と
して２個のＣＣＤカメラ１、１を有するステレオ撮像装
置２を備え、ステレオ撮像によってワークの並びと高さ
の情報を得、かつ、センサ３を有するレンジファインダ
４により上記ステレオ撮像と同様の情報を得て、これら
の情報をロボット５に入力し、パレット６上に段積みさ
れたプラスチック製部品箱などのワーク７をロボットハ
ンド部８で段バラシする構成の装置がすでに知られてい
る。

【０００４】

【発明が解決しようとする課題】前記特開平１−１９６
５０１に開示された構造のものは、二次元の画像処理を
行なっているだけなので、コンテナ等に段積みされてい
る複数のワークの高低差を判別することができず、低い
位置にあるワークを先に見つけてしまうことがある。従
って、このような場合には、高い位置にある他のワーク
とロボットハンドとが干渉を起こすなどのトラブルによ
り、取り出しミスを犯ししやすいという問題点があった
。

【０００５】また、図１４に示す装置は，２台のＣＣＤ
カメラ１、１を用いて得られた２つの二次元画像を合成
するステレオ撮像装置２により、段積みされている複数
のワーク７の高さと位置の情報を求めるものなので、装
置が複雑になり、かつ、対象に基準点が必要で調整が難
しいという問題点があった．従って、上記問題点を解消
しなければならないという課題がある。

【０００６】発明の目的 この発明は、上記課題を解決するためになされたもので
、複雑な装置を必要とせず、比較的簡単で安価でありな
がら、特に基準点やめんどうな調整を必要とせず、高精
度のワークの高さ判別機能を持ち、正確で高能率のワー
ク取り出し作業を可能にする、ロボットを用いた段バラ
シ装置を得ることを目的とする。

【０００７】

【課題を解決するための手段】この発明に係わるロボッ
トを用いた段バラシ装置は、パレット上に段積みされた
ワークをロボットハンド部により把持し段バラシするロ
ボットと、画像処理装置と、ロボットハンド部に取り付
けられた距離センサとを備えている。そして前記画像処
理装置は、前記ワークの上方から２次元画像を取り込む
ための２次元画像取り込み手段と、　　ワークサイズ情
報ファイルと、前記距離センサを走査させる最小数のス
キャン位置を決定するためのスキャン位置決定手段と、
このスキャン位置決定手段により決定されたスキャン位
置において前記距離センサを走査させて得られるワーク
の高さ情報と前記ワークサイズ情報ファイルに記憶され
たワークサイズ情報とからワーク高さを決定するワーク
高さ決定手段と、　　前記ワーク高さ決定手段から得ら
れるワーク高さ情報に基づき、取り出しすべきワークと
その取り出し方向とを決定する制御手段とを備えたもの
である。

【０００８】

【作用】この発明によるロボットを用いた段バラシ装置
は、画像処理装置内に組み込まれた２次元画像取り込み
手段により、パレット上に段積みされたワークの上方か
ら２次元画像を取り込むとともに、スキャン位置決定手
段により、ロボットハンド部に取り付けられた距離セン
サを走査させる最小数のスキャン位置を決定し、このス
キャン位置決定手段により決定されたスキャン位置にお
いて前記距離センサを走査させることにより得られるワ
ークの高さ情報とワークサイズ情報ファイルに記憶され
たワークサイズ情報とからワーク高さを決定する。そし
て、ワーク高さ決定手段から得られるワーク高さ情報と
、別途記憶しているワークの形状情報からワークの種類
を判断し、さらにワークの分布と重なり状態を考慮して
、順次取り出しすべきワークとその取り出し方向とを決
定する。取り出すべきワークの候補が決定されたらば、
そのワークをロボットハンド部により把持し、段バラシ
していく。したがって、比較的簡単で安価な装置であり
ながら、正確で高能率のワーク取り出し作業が可能であ
る。

【０００９】

【実施例】以下、この発明の一実施例を図について説明
する。図１は、この発明によるロボットを用いた段バラ
シ装置の全体構成を示す説明図、図２は段積みされたワ
ークの平面図である。

【００１０】同図において、１１は加工対象となるワー
クであり、本実施例の場合、プラスチック製の箱であり
、パレット１２上に複数個、通常、１段当り６〜９個程
度が複数段段積みされている。１３はワーク１１の上方
に設置されたカメラであり、その出力は画像処理装置１
４に入力され、画像処理される。画像処理装置１４はロ
ボット制御部１５を介してロボット本体１６に接続され
ている。ロボット本体１６のロボットハンド部１７には
距離センサ１８が固定されており、その出力は画像処理
装置１４に入力されている。

【００１１】ロボット制御部１５は、図示を省略したメ
イン制御部から移動位置の指示を受け、ロボット本体１
６のロボットハンド部１７を制御し、パレット１２上に
段積みされた大きさや形状の異なるワーク１１を掴み、
コンベア１９に１箱ずつ移載する。

【００１２】画像処理装置１４は、パレット１２の上方
に設置されたカメラ１３を介してワーク１１の平面的な
配置を取り込み、かつ、距離センサ１８をロボットハン
ド部１７によりパレット１２の上部から走査してワーク
１１の高さ方向の情報を取り込み、前記カメラ１３によ
る情報と合成しワーク１１の段積み状態を認識して次に
取り出すべきワーク１１を決定し、ロボット制御部１５
に動作指令を出す。

【００１３】次に、図１に示すシステムの処理の流れと
、その処理の主要部を受け持つ画像処理装置１４の構成
を図３および図４を参照して説明する。

【００１４】まず、図３のステップ１０１において、カ
メラ１３によりパレット１２の上方から撮像した平面画
像を画像処理装置１４の二次元画像取り込み手段２１で
取り込む。次いでステップ１０２に進み、画像処理装置
１４の箱輪郭抽出手段２２によりワーク１１のエッジ部
を抽出する。この際、箱サイズ情報ファイル２３に記憶
された箱サイズ情報が参照される。続くステップ１０３
では、箱ラベリング手段２４により、エッジ部を抽出さ
れた各ワーク１１に対しラベル（名前）を付与する。こ
のように各ワーク１１に名前を付けることにより、後の
処理を行ない易くすることができる。図２における太線
部は、抽出されたワーク１１の輪郭を、また、ｂ１　、
ｂ２　、…、ｂ６　はワーク１１の名前を表す。

【００１５】続くステップ１０４は、抽出されたワーク
１１の輪郭からワーク１１の高さを計測するに当り、距
離センサ１８を効率的に走査させるための最小数のスキ
ャン位置の決定を行なうものであり、箱重心計算手段２
５とスキャン位置決定手段２６とから構成されている。 スキャン位置の決定後、高さ抽出手段２７と各輪郭高さ
決定手段２８とからなるステップ１０５で距離センサ１
８を所定のラインに沿って走査させる。続くステップ１
０６では、距離センサ１８により得られるワーク１１の
エッジ部のデータと、箱サイズ情報ファイル２３から得
られる箱サイズ情報とに基づき、箱高さ決定手段２９に
より各ワーク１１の高さを決定する。次いで、ステップ
１０７で、ステップ１０３およびステップ１０６で得ら
れた段積み情報に基づき、箱取り出し位置決定手段３０
と箱取り出し制御手段３１により、ロボットハンド部１
７にて取り出すべきワーク１１を決定し、ステップ１０
８でワーク１１を把持し、コンベア１９に移載する。そ
して最後に、ステップ１０９において、全てのワーク１
１の移載を完了したか否かをチェックし、移載が完了な
らば一連の処理を終了し、未完了ならば再びステップ１
０１に戻って二次元画像の取り込みを行い、以後同様に
、統べてのワーク１１の移載を完了するまで所定の動作
を繰り返し実行する。

【００１６】次に本システムの特徴の１つであるワーク
高さのスキャン位置決定（図３のステップ１０４）の方
法について説明する。

【００１７】図２は、図３のステップ１０３において求
められた段積み状態を示す平面図であり、図のｂ１　、
ｂ２　、…、ｂ６　は箱のラベル（名前）を表す。ここ
で箱の集合を　　Ｂ＝｛ｂ１　、ｂ２　、…、ｂ６｝、
箱ｂｉ　の重心をｇｉ　（ｉ＝１、２、…、６）とする
。また、重心ｇｉ　を通るｘ軸に平行な直線をｌｉ　（
ｉ＝１、２、…、６）とし、この直線ｌｉ　の集合を　
　Ｌ＝｛ｌ１　、ｌ２　、…、ｌ６｝と表すことにする
。　　本実施例では、箱高さのスキャン位置（最小数の
ｘ軸に平行な直線）を次のステップにより求める。

【００１８】ステップ１：箱の重心ｇｉ　（ｉ＝１、２
、…、６）を計算し求める。

【００１９】ステップ２：集合Ｂｓ　、Ｌｓ　に空集合
φを代入し、かつ、箱の数ｎを所定値６に設定する。（
Ｂｓ　←φ、Ｌｓ　←φ、ｎ＝６）ステップ３：図５に
示す演算処理を実行する。すなわち、ステップ２０１で
変数ｉに整数１を代入し、続くステップ２０２で変数ｉ
が整数ｎに等しいか否かを判定し、ＮＯの場合はステッ
プ２０３に進み、集合Ｂｃ　に｛ｌｉ　と交わる箱の集
合｝を代入する。次いでステップ２０４に進み、Ｂｃ　
∩Ｂｓ　が空集合φに等しいか否かを判定し、もしＹＥ
Ｓの場合、ステップ２０５、２０６の演算を実行した後
ステップ２０２に戻り、処理を継続する。また、ステッ
プ２０４の判定がＮＯの場合、ステップ２０７に進み、
集合Ｂｃ　が集合Ｂｓ　の部分集合か否かを判定し、Ｎ
Ｏの場合、ステップ２０８、２０６の演算を実行した後
、ステップ２０２に戻る。一方、ステップ２０２と２０
７の判定がＹＥＳの場合は一連の処理を終了する。　　
次に、上記ステップに従って箱高さのスキャン位置を決
定する具体的手順を図２の場合について説明する。

【００２０】手順１　　まず、集合Ｂｓ　、Ｌｓ　に空
集合φを代入する。

【００２１】手順２　　直線ｌ１　と交わる箱の集合を
Ｂｃ　とすると、Ｂｃ　＝｛ｂ１　，ｂ２　｝　　Ｂｃ
　∩Ｂｓ　＝φより　　Ｌｓ　＝｛ｌｉ　｝、Ｂｓ　＝
｛ｂ１　，ｂ２　｝ 手順３　　直線ｌ２　と交わる箱の集合をＢｃ　とする
と、Ｂｃ　＝｛ｂ１　，ｂ２　｝であり、Ｂｃ　＝Ｂｓ
　なので、集合Ｌｓ　、Ｂｓ　はそのままにする。

【００２２】手順４　　直線ｌ３　と交わる箱の集合を
Ｂｃ　とすると、Ｂｃ　＝｛ｂ２　，ｂ３　｝　　Ｂｃ
　はＢｓ　の部分集合でなく、かつ、Ｂｓ　∩Ｂｃ　≠
φなので、　　　　　　　　　　　　　　　　　　　　
Ｂｓ　←Ｂｓ　＋（Ｂｃ　−Ｂｓ　∩Ｂｃ　）　　　　
　　　　　　　　　　　　　　　　　　　　＝｛ｂ１　
，ｂ２　｝＋（｛ｂ２　，ｂ３　｝−｛ｂ２　｝）　　
　　　　　　　　　　　　　　　　　　　　　　＝｛ｂ
１　，ｂ２　，ｂ３　｝　　　　　　　　　　　　　　
　　　　　　Ｌｓ　＝｛ｌ１　，ｌ３　｝手順５　　直
線ｌ４　と交わる箱の集合をＢｃ　とすると、Ｂｃ　＝
｛ｂ４　，ｂ５　｝　　 Ｂｓ　∩Ｂｃ　＝φより　　Ｂｓ　←＝｛ｂ１　，ｂ２
　，ｂ３　｝＋｛ｂ４　，ｂ５　｝　　　　　　　　　
　　　　　　　　　　　　　　　　　＝｛ｂ１　，ｂ２
　，ｂ３　，ｂ４　，ｂ５　｝　　　　　　　　　　　
　　　　　　　　　Ｌｓ　＝｛ｌ１　，ｌ３　，ｌ４　
｝手順６　　直線ｌ５　と交わる箱の集合をＢｃ　とす
ると、Ｂｃ　＝｛ｂ４　，ｂ５　｝であり、Ｂｃ　はＢ
ｓ　の部分集合なので、集合Ｂｓ　、Ｌｓ　はそのまま
にする。

【００２３】手順７　　直線ｌ６　と交わる箱の集合を
Ｂｃ　とすると、Ｂｃ　＝｛ｂ５　，ｂ６　｝　　Ｂｃ
　はＢｓ　の部分集合でなく、かつ、Ｂｓ　∩Ｂｃ　≠
φなので　　　　　　　　　　　　　　　　　　　　Ｂ
ｓ　←Ｂｓ　＋（Ｂｃ　−Ｂｓ　∩Ｂｃ　）　　　　　
　　　　　　　　　　　　　　　　　　　　　＝｛ｂ１
　，ｂ２　，ｂ３　，ｂ４　，ｂ５　｝　　　　　　　
　　　　　　　　　　　　　　　　　　　　　＋（｛ｂ
５　，ｂ６　｝−｛ｂ５　｝）　　　　　　　　　　　
　　　　　　　　　　　　　　　＝｛ｂ１　，ｂ２　，
ｂ３　，ｂ４　，ｂ５　，ｂ６　｝　　　　　　　　　
　　　　　　　　　　　Ｌｓ　＝｛ｌ１　，ｌ３　，ｌ
４　，ｌ６　｝となり、最小数のスキャン位置としてｌ
１　，ｌ３　，ｌ４　，ｌ６　が求められる。以上のよ
うにして最小数のスキャン位置を求めることにより、冗
長なスキャンを省き、効率的な高さのスキャンを行うこ
とが可能となる。

【００２４】なお、パレット２に段積みされた箱の初期
高さスキャン位置を決めるため、前もって段バラシ開始
前に１箇所もしくは２〜３箇所、Ｚ軸方向に距離センサ
１８により予備的なスキャンをする。この予備的なスキ
ャンは、ｚ軸に平行に設置した光電管アレイのようなも
ので粗く検出するようにしてもよい。さらに、カメラ１
３でとらえた平面画像の補正は、図６に示す高さスキャ
ン時のＲ点において補正をかけ、距離センサ１８でとら
えた情報と実際の位置とのずれを補正することにより行
われる。

【００２５】次に、上述のようにして決定されたスキャ
ン位置において、距離センサ１８をスキャンして得られ
た高さデータを基にして各箱の高さを決定する方法につ
いて説明する。

【００２６】図６に示す段積み状態のワークに対し、図
３のステップ１０１からステップ１０５までの各処理を
すると、図７に示すように、箱の輪郭と高さのスキャン
位置ｌ１　、ｌ４　、ｌ５　が求められる。スキャン位
置ｌ１　の線上を距離センサ１８によりｘ軸方向にスキ
ャンすると、図８に示すような高さデータが得られる。 そして、箱高さは、図８の高さデータからｙ軸に平行な
箱輪郭エッジ部ｅ１　、ｅ２　、ｅ３　、ｅ４　の相隣
あうピーク高さを基に決定することができる。

【００２７】このときの決定のルールは次の通りである
。

【００２８】（１）相隣あうピークのうち低い方を箱高
さとする。

【００２９】（２）最外輪郭部ｅ１　、ｅ４　の高さを
優先させる。

【００３０】具体例で説明すると、上記ルール（１）に
より、例えば、図８のｅ１　とｅ２　では、ｚ１　を、
ｅ２　、ｅ３　ではｚ２を箱高さとする。また、ルール
（２）により、図８において箱ｂ２　の高さはｚ１　、
箱ｂ６　の高さはｅ２　、ｅ３　のうちの低い方のｚ２
　、箱ｂ１　の高さはｚ２　となる。図９においては、
箱ｂ２　の高さはｚ１　、箱ｂ５　の高さはｚ１　、箱
ｂ３　の高さはｚ１　である。また、図１０では箱ｂ３
　、　　ｂ４　の高さはｚ１　であるとみなす。

【００３１】ところで、１つの箱について２箇所以上を
スキャンした場合に、その間の高さが同じでないことは
原則としてあり得ないが、段積み状態がわるく、傾きを
生じている場合には起こり得るので、その際は外部に警
報を出力し、再度高さスキャンを行って箱高さを決定し
直す。また、図７の箱ｂ５　のように最外輪郭部を形成
しない箱が存在するときは、箱ｂ５　本来の高さを検出
できないので、箱ｂ５　と同じスキャン位置にかかる箱
ｂ２　、ｂ３　が取り除かれた時、再び高さをスキャン
する。

【００３２】以上のようにして、図３に示すステップ１
０１からステップ１０６までの処理を行うことにより、
段積みされた箱の高さが決定される。

【００３３】次に、ハンドリングする箱の決定、すなわ
ちどの箱をロボットハンド部１７で把持し、段バラシし
ていくかについて説明する。

【００３４】段バラシのためにハンドリングする箱の決
定のルールは以下の通りである。

【００３５】（１）最も位置の高い箱のうち２辺以上が
最外輪郭に含まれるものを候補とする。　　　　　　　
　（図７のｂ１　、ｂ２　、ｂ３　、ｂ４の位置）（２
）最も位置の高い箱が複数ある場合は、１）最外輪郭に
２辺以上含まれるものを第１候補とし、２）最外輪郭に
１辺以上含まれるものを第２候補とする。

【００３６】（３）最も位置の高い箱が最外輪郭に１辺
も含まれない場合、最も高い箱のある１辺に隣接する全
ての箱の位置と最も高い箱の位置との差が最も高い箱の
高さ以上ある箱を候補とする。

【００３７】（図１２で最も高い箱をｄ４　、箱ｄ４　
の４辺をｐ１、ｐ２　、ｐ３　、ｐ４　とし、辺ｐ２　
に接する箱をｄ６　、ｄ７　、ｄ８　とすると、箱ｄ４
　の高さが箱ｄ６　、ｄ７　、ｄ８　の位置と箱ｄ４　
の位置との差以上あれば、箱ｄ４　を候補とする。）上
記ルールにより得られる候補の優先度は、上記（１）、
（２）、（３）の順である。

【００３８】段バラシの方向は、上記ルール（１）と（
２）−１）の場合、箱の長手方向（図６のｑ１　方向）
に取り出す。また、ルール（２）−２）の場合は、段積
みされたワークの外側方向（図１２のｑ２　方向）に取
り出す。さらに、ルール（３）の場合は、低い箱のある
方向（図１２でｑ３　の方向）に取り出す。

【００３９】上記ルール（３）の場合の箱高さの判定は
、距離センサ１８で検知した高さを箱サイズ情報ファイ
ルの情報と照合、チェックすることによりなされる。 例えば図１１に示すような場合、図１１の平面図が図１
２であるとし、かつ、箱ｃ５　の縦と横の寸法をＬ２　
、Ｗ３　とすると、検知された箱ｃ５　の高さｈ１　、
ｈ２　を箱サイズ情報ファイルの高さｈ０　と比較し、
ｈ１　≧ｈ０　、ｈ２　≧ｈ０　であれば、図１１に示
すような状態にないと判定でき、検知された箱高さの妥
当性が確認できる。一方、図１２に示すような場合は、
箱ｃ５　をバラさず、箱ｃ２　とＣ９　の段バラシを先
に行い、ｈ１　≧ｈ０　、ｈ２　≧ｈ０　の条件が満た
された状態で箱ｃ５　の段バラシを行う。

【００４０】図１３は、箱サイズ情報ファイル２３のデ
ータの具体例を示しており、箱の縦、横、高さの標準寸
法を各種の箱について記憶したものとなっている。

【００４１】以上のようにして、本実施例によれば、複
雑な装置を使用することなく、二次元の画像処理装置と
一次元の距離センサとの組み合せにより、ワークの分布
と重なり状態を検出し、高さスキャン位置を最小化して
、処理時間を短縮することができる。また、箱サイズ情
報ファイルに記憶された箱サイズ情報を利用することに
より、箱の状態の認識率を向上させることができる。

【００４２】なお、上記実施例の説明では、作業対象で
あるワークとして直方体の箱の場合について述べたが、
この発明の対象物は何等箱に限定されるものでなく箱以
外のものであってもよい。

【００４３】

【発明の効果】以上説明したとおり、この発明によるロ
ボットを用いた段バラシ装置は、二次元の画像処理装置
と一次元の距離センサとを備え、ワークの分布と重なり
状態を検出して次に取り出すべきワークの候補を決定す
る構成により、複雑な装置を用いず、比較的構造が簡単
で安価な装置でありながら、高能率のワーク取り出し作
業が可能である。また、処理部に箱サイス情報ファイル
を持ち、このファイルに記憶されたワークの形状情報と
実際のワークの画像情報とを照合、確認することにより
、箱の状態の認識率を向上させることができる。

【図面の簡単な説明】

【図１】この発明によるロボットを用いた段バラシ装置
の全体構成を示す説明図。

【図２】段積みされたワークの平面図。

【図３】この発明による装置の動作フロー図。

【図４】この発明の主要部を構成する画像処理装置のブ
ロック図。

【図５】スキャン位置決定のための演算処理の一例を示
すフロー図。

【図６】段積みされたワークの斜視図。

【図７】図６のワークの平面図。

【図８】距離センサにより求められた箱高さの線図。

【図９】距離センサにより求められた箱高さの線図。

【図１０】距離センサにより求められた箱高さの線図。

【図１１】段積みされたワークの正面図。

【図１２】段積みされたワークの平面図。

【図１３】箱サイズ情報ファイルの説明図。

【図１４】従来の段バラシ装置の説明図。

【符号の説明】

１１　　ワーク １２　　パレット １３　　カメラ １４　　画像処理装置 １５　　ロボット制御部 １７　　ロボットハンド部 １８　　距離センサ ２３　　箱サイズ情報ファイル

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　パレット上に段積みされたワークをロ
   ボットハンド部により把持し段バラシするロボットと、
   画像処理装置と、ロボットハンド部に取り付けられた距
   離センサとを備え、かつ、前記画像処理装置は、前記ワ
   ークの上方から２次元画像を取り込むための２次元画像
   取り込み手段と、ワークサイズ情報ファイルと、前記距
   離センサを走査させる最小数のスキャン位置を決定する
   ためのスキャン位置決定手段と、このスキャン位置決定
   手段により決定されたスキャン位置において前記距離セ
   ンサを走査させて得られるワークの高さ情報と前記ワー
   クサイズ情報ファイルに記憶されたワークサイズ情報と
   からワーク高さを決定するワーク高さ決定手段と、　　
   前記ワーク高さ決定手段から得られるワーク高さ情報に
   基づき、取り出しすべきワークとその取り出し方向とを
   決定する制御手段とを含むことを特徴とするロボットを
   用いた段バラシ装置。