JPH04283085A - 視覚装置付ロボット - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、積み重ねられたワーク
に接近し、そのうちの１つのワークの重心位置に移動し
てそのワークを把持するためのロボットに関するもので
ある。特にこの発明は撮像装置を備え、上記ロボット制
御のための情報が画像情報から入手される形式の視覚装
置付ロボットに関するものである。

【０００２】

【従来の技術】上記形式のロボットにおける従来の情報
処理の概要を図２を参照して説明する。図２はワーク箱
１１中に複数のワーク１２，１３，１４，１５…がほぼ
整列された状態で積み重ねられている状態を示しており
、これがレンズ中心を点Ｃに有する撮像装置によって撮
像される様子を示している。ワークがワーク箱に充填さ
れているときワークはＬ１〜Ｌ２のレベル間に存在する
。

【０００３】撮像装置はワーク表面の２次元濃度値分布
に関する画像情報を出力し、これを画像処理装置へ送る
。画像処理装置では例えば濃度値を微分して濃度値急変
域を抽出するなどの処理を実行し、ワークの両端位置Ｄ
，Ｆ等の座標を演算する。なおこの座標値は撮像装置内
の座標系で演算され、図２中模式的にレベルＬ５　で示
される座標系でのものとなる。そしてこのレベルＬ５　
におけるワークの両端位置座標Ｄ５　，Ｆ５　からワー
クの重心位置Ｈ５　の座標を演算する。さらにロボット
のハンドを実際の重心位置Ｈに向けて移動させるための
通過点、すなわちレベルＬ４　における点Ｈ４　とレベ
ルＬ３　における点Ｈ３　の座標を算出する。ここでＨ
４　，Ｈ３　は点Ｃとワークの実際の重心位置Ｈ５　と
を結ぶ直線上にある値が演算される。ここでＨ４　，Ｈ
３　の座標はロボットの座標系でその座標値が演算され
る。ロボットのハンドはレベルＬ４　上を移動してＨ４
　の点に至り、ここからレベルＬ３　のＨ３　の点を通
るように移動制御され、ワーク１２をその重心位置Ｈで
把持する。

【０００４】

【発明が解決しようとする課題】前記従来の技術による
場合、重心位置の演算に用いるワーク端座標は１本のワ
ークの両端（Ｄ，Ｆ点）座標に関するものでなければな
らない。隣接するワークの向かい合う端部（例えばＦ，
Ｑ点）の座標を用いて重心位置が演算されることは防が
れなければならない。そのために両端の位置座標からワ
ーク長を演算し、これが予めわかっているワーク長に一
致するか否かの比較を行なう。ここでワークが積み重ね
られているとレンズ中心からワークまでの距離が上層の
ワークと下層のワークとでは異なることになる。すなわ
ち最下層Ｌ１　にあるワークは、撮像装置上ではＡ５　
Ｂ５　間の長さをもつワークとして認識され、最上層に
あるワークはＤ５　Ｆ５　間の長さをもつワークとして
撮像される。そのため検出された両端が一つのワークの
実際の両端であるか否かを判定するためには、少なくと
も許容される最低ワーク長、この場合最も短く撮像され
るＡ５　Ｂ５　間の長さ以上離れているか否かで判別さ
れる。

【０００５】ここで次のような問題が発生する。今上層
にあるワークの端部近傍が残部の表面色と異なっている
ような場合、例えばワーク１２のＥＦ間の色がＤＥ間の
色と異なっているような場合には、画像処理の結果とし
て実際の端部Ｆでなく、表面色の異なる点Ｅを端部とし
て抽出することがある。この場合実際の端部Ｄと凝偽端
部Ｅ間の撮像装置中の長さ、すなわちＤ５　Ｅ５　間距
離は最低ワーク長（Ａ５　Ｂ５　間の距離）以上となり
、情報処理の過程では、検出している端部が実際の端部
Ｆと異なる凝偽端部Ｅであることが判別できず、点Ｄと
点Ｅの座標に基づいて誤った重心点Ｇ５　の座標を演算
してしまう。この結果ロボットのハンドはＧ４　からＧ
３　を経てＧに達するように移動されワークを本当の重
心とは異なる点で把持したり、あるいはハンドがワーク
箱１１に衝突するといった現象が生じる。

【０００６】さらにはまた最下層のワークの一端側が変
色しているような場合に、例えばワーク１４，１５のＡ
Ｋ間とＪ点より右方が変色したりあるいは照度ムラで暗
かったりすると、図示Ｋ，Ｊを一本のワークの両端とし
て抽出する場合もあり、このような場合にも誤った重心
位置Ｍが演算されてしまう。この場合にも、レベルＬ５
　でのＫ５　Ｊ５　間距離はＡ５　Ｂ５　間距離よりも
大きく、ワーク長からでは凝偽端部Ｋ，Ｊを検出してい
ることが判別されない。そこで本発明は、上記誤処理の
発生を防止し、ワークの把持ミスあるいはハンドがワー
ク箱に衝突するといった現象の発生を防止しようとする
のである。

【課題を解決するための手段】

【０００７】上記目的を実現するために、本発明者らは
図１にその模式図が概念的に示されるロボットすなわち
、積み重ねられたワークＷに接近し、そのうちの１つの
ワークをその重心位置で把持する為のロボットであり、
積み重ねられたワークを撮像する撮像装置２０、該撮像
装置から出力される画像情報を画像処理して該１つのワ
ークの両端位置を演算するワーク端位置演算装置３０、
該ワーク端位置演算装置の演算値に基づいてワーク長を
演算するワーク長演算装置４０、該ワーク長演算装置の
演算値を予め定められている最低ワーク長と比較する比
較装置５０、該比較装置によって、演算されたワーク長
が最低ワーク長以上であることが判別されたときに、該
ワーク端位置演算装置で演算されたワーク両端位置に基
づいて該ワークの重心位置を演算するワーク重心位置演
算装置６０、該ワーク重心位置演算装置で演算された重
心位置を予め定められている許容重心位置領域内にある
か否かを比較する比較装置７０、該比較装置によって、
演算された重心位置が許容重心位置領域内にあることが
判別されたときに、ロボットのハンドを該演算された重
心位置に達するように移動させる際の通過点位置を演算
する通過点位置演算装置８０、ロボットのハンドを該演
算された通過点位置を通過するように移動させるロボッ
ト制御装置９０とを有する視覚装置付ロボットを創作し
た。

【０００８】

【作用】さて本発明によると、従来の技術と同様にして
ワークの重心位置が演算される。ここで図２中ラインＬ
６　はレベルＬ２　にあるワークが最もワーク箱側壁１
１ａに接近しているときの重心位置、ラインＬ７　はレ
ベルＬ１　にあるワークがワーク箱側壁１１ａから最も
離れた状態で収容されているときの重心位置とする。す
なわちＬ６　，Ｌ７　がワークの重心位置のあり得る範
囲を図示している。ここでΔＳは許容誤差であり、これ
はワーク箱とワークの種類により予め知られている。Δ
Ｓが実質上無視できるほど正確に収容されている場合も
ある。ワーク重心のあり得る範囲がわかっていれば、こ
れに基づいて撮像装置中の許容重心位置もわかるはずで
ある。すなわち、レベルＬ１　にあるワーク１４がワー
ク箱側壁１１ａから最も離れた状態にある時の重心位置
ＰとレベルＬ２　にあるワーク１２がワーク箱側壁１１
ａに最も接近した状態にある時の重心位置Ｈとがレベル
Ｌ５　においてなす範囲がワーク重心のとり得る範囲と
なる。図２ではこれがＭＩＮとＭＡＸで図示されている
。ワークの両端が正しく抽出されていれば（例えばＤと
Ｆ，ＡとＢの点が抽出されていれば）、画像処理の結果
得られるワークの重心位置は例えばＨ５　に示されるよ
うにＭＩＮとＭＡＸで定められる許容領域内にある。

【０００９】これに反し、本物の端部でない凝偽端部（
ＥないしＫ，Ｊに示す点参照）が抽出されていると、そ
の端部座標から得られる重心位置はＧ５　ないしＭ５　
に例示されるように、許容範囲内ＭＩＮ〜ＭＡＸ間に存
在しなくなる。この場合には本発明によると、ロボット
に通過点に関する座標が伝達されず、ハンドが重心以外
の点を把持したり、あるいはワーク箱と干渉するといっ
た事態の発生が防止される。

【００１０】

【実施例】次に本発明の一実施例を図面を参照して説明
する。図３は本発明を具現化した視覚装置付ロボットの
システム構成の一例を示している。図中２１はＣＣＤカ
メラを示し、ワーク箱１１の上方にあってワークＷ上面
の２次元濃度値分布に関する信号を出力する。ＣＣＤカ
メラ２１の各画素毎の濃度値情報はＡ／Ｄ変換装置１０
２でディジタル化され、ＲＡＭ１０４中の２次元濃度値
分布記憶領域１０８に入力される（図４のＳ２のステッ
プ参照）。同領域１０８中の各アドレスはＣＣＤカメラ
の各画素に１：１に対応しているため、同領域１０８に
ワーク上面の濃度値分布に関する情報が記憶される。こ
の情報はＲＯＭ１０６に記憶されているプログラムに従
って作動するＣＰＵ１１４によって処理され、ＣＰＵ１
１４はこの処理結果に基づいて必要な情報をインタフェ
イス１１６を介してロボット用ＣＰＵ１１８に送り、ロ
ボット１００は送られた情報に基づいて制御される。

【００１１】ＲＯＭ１０６中には、微分処理プログラム
３０ａが記憶されており、２次元濃度値分布記憶領域１
０８に記憶されているデータに対して微分処理をする。 この微分処理は相隣接する画素の濃度値の差を演算する
方式で実行されるものであり、市販の微分処理プログラ
ムを流用することができる。またＣＰＵ１１４で微分処
理するかわりに、微分処理専用回路を用いてもよい。微
分処理で得られた微分値は、閾値判別プログラム３１で
予め定められた閾値と比較される。ここで閾値は濃度急
変域のみが抽出される値に設定されているため、閾値判
別プログラム３１の実行によって濃度急変域の座標情報
が演算され、この結果はＲＡＭ１０４中の濃度急変域記
憶領域１１０中に記憶される（以上図４のＳ４のステッ
プ参照）。

【００１２】図５（ａ）　はＣＣＤカメラ２１による撮
像イメージを図式的に示すものであり、ステップＳ４の
実行の結果、領域１１０に理想的には図５（ｃ）　の２
００に示す範囲の座標値が記憶されるはずである。しか
しながら現実には照度ムラ、あるいはワーク表面色の不
均一性等に起因して、図５（ｂ）　に示すように、１つ
のワークが複数に分割されたり、２つのワークが一連の
イメージとして撮像されたり、あるいはワークのないと
ころの座標データＺが記憶されたりする。ＲＯＭ１０６
には、領域１１０に記憶されているデータ中、予めワー
ク毎にわかっている濃度急変域の基準パターンとよく照
合する画像領域が存在するか否かを判別する基準パター
ンとの照合プログラム３２が記憶されており、これによ
って領域１１０に記憶されているデータの中から、ワー
クに対応する領域のみが抽出される（ステップＳ６参照
）。すなわち領域Ｚに示すようなデータは抽出されない
。そして抽出された座標は中心位置演算プログラム３３
で処理され、中心の位置が演算される（Ｓ８参照）。す
なわち図５（ｂ）　中ラインＳ，Ｔ，Ｒに示されるライ
ンの座標値が演算されるのである。この演算結果はＲＡ
Ｍ１０４中、中心位置記憶領域１１２に記憶される。

【００１３】領域１１２に記憶されたデータは連続性判
別プログラム３４によって周辺に連続する中心座標があ
るか否かが判別される。ここで周辺に連続する中心座標
がある場合には、該中心位置はワークの中心軸の途中で
あることになる。一方不連続であればそれはワークの端
部における値であるとしてもよく、これが両端位置記憶
領域３５に記憶される（Ｓ１２参照）。すなわち図５（
ｂ）　のＳ１　，Ｓ２　，Ｔ１，Ｔ２　，Ｖ１　，Ｖ２
　の座標が両端位置記憶領域３５に記憶される。ＲＯＭ
１０６にはワーク長演算プログラム４１が記憶されてお
り、このプログラム４１は領域３５に記憶されているワ
ークの両端位置の座標値からワーク長を演算する（Ｓ１
４参照）。得られたワーク長はワーク長比較プログラム
５２によって、許容最短長と最大長の間にあるか否かが
比較される（Ｓ１６参照）。ここで許容最短長はワーク
が最も小さく見える最下層にあるときの長さに相当し、
これより小さいデータは正しくワークに対応していない
。また最大長はワークが最も大きくみえる最上層にある
ときの長さに相当し、これより大きいデータもやはりワ
ークに対応するものではない。そしてワーク長が許容幅
のなかにあるものを用いて重心位置演算プログラム６１
でワークの重心位置が演算される（Ｓ１８参照）。この
結果図５（ｂ）　の例ではＧ，Ｍ，Ｗの座標が求められ
ることになる。なおイメージＵ，Ｖは長さが許容範囲内
にないため、無視される。求められた重心位置Ｇ，Ｍ，
Ｗは許容重心領域比較プログラム７２によって許容領域
ＨＩ内か否かが判別される（ステップＳ２０参照）。

【００１４】ここで許容領域ＨＩとは図２でＬ６　，Ｌ
７　点に関連して説明した領域であり、レベルＬ２　に
あるワークが最も外側にあるときの重心位置Ｌ６　より
は内側で、レベルＬ１　にあるワークが最も内側にある
ときの重心位置Ｌ７　よりは外側の領域に相当する。（
Ｈの位置がＭＡＸに対応し、Ｉの位置がＭＩＮに対応す
る）図２のＬ５　レベルの座標ではＭＩＮとＭＡＸの間
の範囲に相当する（Ｈの位置がＭＡＸに対応し、Ｉの位
置がＭＩＮに対応する）。ここで正しいワーク端部（図
２のＤ，Ｆ，Ａ，Ｂ）が抽出されていれば、演算される
重心位置は許容範囲内にあるはずである。ところが偽の
端部（ＥあるいはＫ，Ｊ点参照）が抽出されていると、
演算された重心位置（Ｇ，Ｍ）は許容領域から外れるこ
とになる。このような場合に、ワーク長判別処理だけで
は、偽端部であると判別できないことが着目されるべき
である。そこで本発明では、許容重心領域比較プログラ
ム７２によって許容領域ＨＩ内にあることが判別された
ときにのみ、すなわちステップＳ２０でＹＥＳのときに
のみ、求められた重心位置からハンド通過点位置（図２
のＨ４　，Ｈ３　の点等）の座標が演算される（ステッ
プＳ２２参照）。 これはＲＯＭ１０６中に記憶されている通過点位置演算
プログラム８１によにはワーク長って実行される。従っ
て本実施例では誤って検出された重心位置Ｇ，Ｍを有す
るワークイメージは無視され、正しく検出された重心位
置Ｗを有するワークイメージのみワークとみなされ、こ
のワークの取り出しが行われる。

【００１５】なお本実施例の場合、ステップＳ２０の実
行の結果、続けてＮ回許容領域内にある重心位置が抽出
されないときには、ハンドでつかめるワークがなくなっ
たものとして、この処理を一旦終了する。そしてワーク
箱１１を交換し、再度同上の処理を繰返す。このように
して演算された通過点位置の座標値はインタフェイス１
１６を介してロボット用ＣＰＵ１１８に送られ、ロボッ
トのハンドは同ＣＰＵ１１８によって求められた通過点
を通過するように直線的に移動制御される。これにより
ハンドは求められた重心位置に達し、ワークを保持する
。

【００１６】本実施例では、撮像装置２０の一例として
ＣＣＤカメラ２１が用いられている。またワーク端位置
演算装置３０が、ＲＯＭ１０６に記憶されている微分処
理プログラム３０ａ、閾値判別プログラム３１、基準パ
ターンとの照合プログラム３２、中心位置演算プログラ
ム３３、連続性判別プログラム３４とそれらプログラム
によって作動するＣＰＵ１１４によって構成されている
。ワーク長演算装置４０は、ＲＯＭ１０６に記憶されて
いるワーク長演算プログラム４１とそのプログラムによ
って作動するＣＰＵ１１４によって構成されている。 比較装置５０はワーク長比較プログラム５２とそのプロ
グラムによって作動するＣＰＵ１１４で構成されている
。ワーク重心位置演算装置６０は重心位置演算プログラ
ム６１とそのプログラムによって作動するＣＰＵ１１４
で構成されている。比較装置７０は許容重心領域比較プ
ログラム７２とそのプログラムで作動するＣＰＵ１１４
で構成されている。また通過点位置演算装置８０は通過
点位置演算プログラム８１とそれによって作動するＣＰ
Ｕ１１４で構成されている。そしてロボット用ＣＰＵ１
１８等によってロボット制御装置９０が構成されている
のである。なおこれらは各装置を実現する一実施例にす
ぎず、本発明は他のシステム構成によっても当然に可能
である。また本実施例では、ワークの長手方向のみを考
慮して許容領域ＨＩを設定したが、必要に応じてワーク
の並び方向に図５（ｂ）　に示すような許容領域Ｈ′Ｉ
′を設定してもよい。

【００１７】

【発明の効果】本発明によると、画像情報から演算され
た重心位置が許容される適正域にあるか否かを判別し、
許容域にあるときにのみその重心位置に向ってロボット
のハンドが移動制御されるため、ロボットのハンドは確
実に重心位置を把握することができ、不用意にワーク箱
と干渉することはない。画像処理の過程でなんらかの誤
判断がなされ、求められた重心位置が不適当なものであ
る場合にはそれが事前に確認され、ロボットは誤って演
算された点に向って移動することはない。

【００１８】本発明を応用すると、画像処理に必ずしも
適しない使用条件下でロボットを使用する際にも、ロボ
ットの誤制御は防止されることから、ロボットの使用範
囲を拡大することができる。

【図面の簡単な説明】

【図１】本発明の概念を模式的に示す図。

【図２】本発明で用いる手法を説明する図。

【図３】本発明を具現化したロボットの一システム構成
例を示す図。

【図４】実施例システムで処理される主要処理の流れを
示す図。

【図５】上記処理による作用を説明する図。

【符号の説明】

２０　　撮像装置　　　　　　　　　　　　　　　　　
　　　２１　　ＣＣＤカメラ ３０　　ワーク端位置演算装置　　　　　　　　１１４
　　ＣＰＵと３０ａ〜３４までの一連のプログラム ４０　　ワーク長演算装置　　　　　　　　　　　　Ｃ
ＰＵ１１４と４１のプログラム ５０　　比較装置　　　　　　　　　　　　　　　　　
　　　ＣＰＵ１１４と５２のプログラム ６０　　ワーク重心位置演算装置　　　　　　ＣＰＵ１
１４と６１のプログラム ７０　　比較装置　　　　　　　　　　　　　　　　　
　　　ＣＰＵ１１４と７２のプログラム ８０　　通過点位置演算プログラム　　　　ＣＰＵ１１
４と８１のプログラム

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　積み重ねられたワークに接近し、その
   うちの１つのワークをその重心位置で把持する為のロボ
   ットであり、積み重ねられたワークを撮像する撮像装置
   、該撮像装置から出力される画像情報を画像処理して該
   １つのワークの両端位置を演算するワーク端位置演算装
   置、該ワーク端位置演算装置の演算値に基づいてワーク
   長を演算するワーク長演算装置、該ワーク長演算装置の
   演算値を予め定められている最低ワーク長と比較する比
   較装置、該比較装置によって、演算されたワーク長が最
   低ワーク長以上であることが判別されたときに、該ワー
   ク端位置演算装置で演算されたワーク両端位置に基づい
   て該ワークの重心位置を演算するワーク重心位置演算装
   置、該ワーク重心位置演算装置で演算された重心位置を
   予め定められている許容重心位置領域内にあるか否かを
   比較する比較装置、該比較装置によって、演算された重
   心位置が許容重心位置領域内にあることが判別されたと
   きに、ロボットのハンドを該演算された重心位置に達す
   るように移動させる際の通過点位置を演算する通過点位
   置演算装置、ロボットのハンドを該演算された通過点位
   置を通過するように移動させるロボット制御装置とを有
   する視覚装置付ロボット。