JPH03251386A - 物体の整列状態認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、例えばマグネットなどの製造工程においてパ
レット上に複数列並べられた物体を、列ずつロボットハ
ンドで把持させて搬送するための物体の整列状態認識装
置に関するものである。

〔従来の技術〕

ロボットによって物体の自動搬送を行うためには、ロボ
ットがハンドにて把持可能なように物体を正確に位置決
めするか、あるいは画像情報などによって物体の位置や
姿勢を求め、さらにその物体が把持可能かどうかを判断
させる必要がある。

後者の視覚認識装置として例えば特公昭６１−５４５５
６号公報に示されるものがある。これを第５図に示す。

上方に設置されたテレビカメラ５３で物体５４を撮像し
て、コントローラ５２を介してその画像（第５図（ｂ）
）から物体５４の重心位置Ｐと姿勢（傾き）θを求め、
これを基にロボット５１のハンド５５降下位置を計算す
る。さらに求められた物体の位置Ｐ、姿勢θとロボット
５１のハンド５５の掴み幅Ｗ、底部の寸法すと！からハ
ンド５５と物体５４の衝突の可能性がある危険領域Ｒを
算出して、この危険領域内に物体５４が存在するか否か
を判断することにより物体５４とロボット５１のハンド
５５の衝突を未然に防ぐものである。

〔発明が解決しようとする問題点〕

マグネットなど比較的小さな物体の製造工程において、
パレット上に並べられた状態で供給される物体をロボッ
トハンドで把持させて自動搬送する場合、個々の物体の
位置を計算して１つずつ把持させていたのでは非常に多
くの搬送時間が必要になってしまう。そこである程度の
量、例えば−列をまとめて複数個を把持させて搬送する
方法を用いるが、パレット上に並べられたままの状態で
は、振動等によりパレット上での物体や列の位置がずれ
る場合があるため、自動で把持を行わせるためにはパレ
ット上の各列の並び状態、すなわち列の位置、傾きから
ハンドを降下させるべき位置を求め、その降下位置に於
てハンドと干渉する物体の有無を判定する必要がある。

また、立ち状態で整列されている物体では列の中に振動
等によって倒れてしまう場合があり、たとえハンドの把
持可能範囲内に列が入っていても把持後の搬送中に物体
が落下するなど搬送の信頼性が低下するため、列の並び
状態の判断以外に物体の倒れの有無の判断も必要となる
。

〔問題点を解決しようとする手段〕

本発明は複数列並べられた物体を、ロボットハンドに一
列ずつ複数個をまとめて把持させるハンドリングロボッ
ト用視覚装置において、物体の鉛直上方に設置されたテ
レビカメラで撮像した原画像をあるしきい値で２値化し
、予めこの２（ｉ！画像上で物体の各列を横切る位置に
設定した少なくとも２つ以上のウィンドウ内で物体の列
の方向にヒストグラムを計算し、このヒストグラムがあ
るしきい値を越える位置の中間の座標から最小自乗法を
用いて各列の中心線を求め、この中心線を中心軸として
ある幅を持った領域を自動設定し、この領域内で物体の
並び方向にヒストグラムを計算し、このヒストグラムが
あるしきい値を越える位置の中間の座標と上記の中心線
から各列の中心座標を計算し、上記中心線と中心座標お
よびロボットハンドの形状からハンドを降下させた場合
にハンドと物体が衝突する可能性のある領域を求め、上
記２値画像を基にこの領域内での物体の有無を判定し、
更に上記中心線に沿って各列にスリット光を当てて得ら
れる光切断線を撮像し、この光切断線の位置を基に物体
の倒れの有無を判断する事を特徴とする物体の整列状態
認識装置である。

〔実施例〕

本発明を用いた搬送システムの実施例を第１図に示す。

マグネット等の物体１７はパレット１６上に複数列並べ
られて、前工程からコンベア４０上を送られてくる。し
かし途中の振動等によりパレット１６上で位置ずれや倒
れが生じる場合があるため、パレット１６の位置決めの
みではロボット１１のハンド１５による自動把持が困難
である。

そこでパレット１６が把持位置まで来ると物体１７の並
びが鉛直上方に設置されたテレビカメラ１４で撮像され
、認識装置１３によって整列状態と列中の倒れの有無が
判断される。照明装置１８は搬送位置のパレット１６を
一様に照明する。また、スリット光源１９は光切断線を
作るために物体の各列にスリット光を照射する。認識装
置１３によって各列の位置と傾きが計算され、さらに倒
れも検出されず列が把持可能と判断された場合には、位
置と傾き情報がロボットコントローラ１２に送信されロ
ボット１１は物体１７を一列ずつ把持して搬送を行う。

認識装置１３による物体１７の整列状態の認識方法につ
いて説明する。撮像された原画像はまず適当なスライス
レベルで２値化される。アーク形のマグネットの場合の
２値画像例が第２図（ａ）に示されている。ここではマ
グネソＩ・２１の部分は黒、その他の部分は白となる。

２値画像上では予め各列に十分かかる大きさのウィンド
ウを少なくとも２つ以上設定しておく。第２図（ａ）で
はｗｌ。

ｗ２．ｗ３がそれらのウィンドウであり、ウィンドウの
Ｘ方向幅の中間の座標をそれぞれｙｌＹｚ、Ｙａとする
。まず各列の中心線を求めるためにウィンドウ内で列の
並び方向（Ｘ方向）に黒画素のヒストグラムを計算する
。ヒストグラムの計算結果を第２図（ｂ）に示す。ウィ
ンドウ内で列が存在するＸ位置では黒画素数が太き（な
るので黒画素数に対するしきい値Ｓ１を設定しておき、
ヒストグラムが８１を越えている山の部分の中間位置Ｘ
座標χ８．を求めて、Ｘｉｉと上記のｙ＋＋ｙｚ＋　　
ｙ３座標から最小自乗法を用いて各列の中心線を表す直
線式を算出する。例えば第２図において第ｎ番目の列の
中心線り、の直線式χ−ａ１ｘ十すは３つの座標（ｘ＋
。、３’＋）　（Ｘ２１１　＋ｙｚ）（Ｘ３ｎ、Ｖａ）
　　を最小自乗法によって直線近似することにより算出
される。列の並びが乱れていて隣りあう列同士が接触し
ているような場合には、各ウィンドウ中の列数が異なる
ため把持不可能と判断することができる。

次に各列の中心座標を計算する。第３図（ａ）に示すよ
うに上記の手順で求められた直線式　Ｘ−ａｙ＋ｂを中
心線として、予め設定されたＸ方向幅ｗＸとｙ方向範囲
Ｙｌ、Ｙ２を持つ領域Ｓを求め、領域Ｓ内でＸ方向に黒
画素のヒストグラムを計算する。得られたヒストグラム
第３図（ｂ）に示す。この黒画素数に対してしきい値＄
２を設定しておき、ヒストグラムが８２を越える部分の
Ｘ座標の最大値ｙ１と最小値ｙ２を求める。そして列の
中心点ＰのＸ座標としてｙ、とｙ２の中間値Ｙ−（ｙ＋
　＋ｙｚ　）／２を取り、Ｘ座標としては中心線り上の
ｙ＝ｙにおけるＸ座標ｘ＝ａＹ＋ｂを計算する。

上記によって各列の傾きθと位置Ｐが求められ、ロボッ
ト１１のハンド１５を陣ろずべき位置と角度が得られる
が、これは列を直線として近似したものであるため、列
の曲がりや列同士の接近が発生している場合には把持動
作時におけるハンド１５と物体１７の衝突や破損の可能
性がある。また、たとえある列がハンド１５の把持可能
領域に入っていてもその列の中に倒れている物体１７が
存在すると、搬送の途中でハンド１５からの脱落が発生
する。そのため、ハンド１５の降下位置においてハンｆ
’１５と干渉する物体Ｉ７の有無のチエツクと把持しよ
うとする列中の物体１７倒れの認識が必要である。ハン
ド１５との干渉のチエツクは従来からの方法を応用する
ことができる。第３図に示すように求められた列の中心
線りと中心位置■）およびハンド１５の形状（開き幅Ｗ
、ハンド寸法すとｐ！、）よりハンド１５と干渉する領
域Ｒ１、Ｒ２を算出して、この領域Ｒ１、Ｒ２の中に２
値画像における物体の黒画素が存在する時には搬送動作
の中止をロボッＩ・１１に送信する。

光切断による倒れの認識方法について説明する。

第４図（ａ）に示すように列の中心線Ｉ、に沿って列の
横方向からスリット光を照射して、その像を撮像、２値
化する。列中に倒れが存在する場合の光切断線は第４図
（ｂ）に示すようになる。すなわち、中心線り上には物
体の上面の光切断線Ｌ１が現れ、また中心線りから物体
の高さｈとスリット光照射角度φによって定まる距離ｄ
−ｈ／ｌａｎφだけ離れた直線上にパレットの光切断線
Ｌ２が現れる。

倒れている物体１７ではその上面の高さが立っている物
と違うためその光切断線り、はＬｌ、Ｒ２とは異なる位
置に現れる。従って、各列の光切断両画像において■、
上とＬから距離ｄだけ離れた直線上以外に光切断線が存
在する場合には倒れが発生していると判定することがで
きる。

〔発明の効果〕

本発明を用いることにより、パレット上に並べられて供
給される物体に対しても列の並び状態や倒れの有無の自
動判断が可能となり、物体と衝突させることなくロボッ
トに把持動作をさせることができる。

【図面の簡単な説明】

第１図は本発明の１実施例を示す構成図、第２図は本発
明における列の中心線の求め方を示す図、第３図はハン
ドと列が衝突する可能性がある領域０ の求め方を示す図、第４図は光切断法による物体の倒れ
の認識方法を示す図、第５図は従来例を示す図である。 １１：ロボット １２：ロボットコントローラ １３：視覚認識装置 １４：テレビカメラ １５：ハンド １６：パレット １７：物体 １８：照明装置 １９ニスリツト光源 ４０：コンベヤ ■ （ａ） 畷圏蘇ね 畔哩」［姪 畷哩蘇唖 黒画 （ｂ） （ｃ） 第 図 ６４１−

Claims (1)

【特許請求の範囲】
1. 複数列並べられた物体を、ロボットハンドに一列ずつま
   とめて複数個を把持させるロボット用視覚装置において
   、物体の鉛直上方に設置したテレビカメラで撮像した原
   画像をあるしきい値で２値化し、予めこの２値画像上で
   物体の各列を横切る位置に設定した少なくとも２つ以上
   のウィンドウ内で物体の列の方向にヒストグラムを計算
   し、このヒストグラムがあるしきい値を越える位置の中
   間の座標から最小自乗法を用いて各列の中心線を求め、
   この中心線を中心軸としてある幅を持った領域を自動設
   定し、この領域内で物体の並び方向にヒストグラムを計
   算し、このヒストグラムがあるしきい値を越える位置の
   中間の座標と上記の中心線から各列の中心座標を計算し
   、上記中心線と中心座標およびロボットハンドの形状か
   らハンドを降下させた場合にハンドと物体が衝突する可
   能性のある領域を求め、上記２値画像を基にこの領域内
   での物体の有無を判定し、更に上記中心線に沿って各列
   にスリット光を当てて得られる光切断線を撮像し、この
   光切断線の位置を基に物体の倒れの有無を判断する事を
   特徴とする物体の整列状態認識装置。