JP2710850B2

JP2710850B2 - ワーク把持装置、ワーク及びその収納ケース

Info

Publication number: JP2710850B2
Application number: JP2055032A
Authority: JP
Inventors: 雄策我妻; 勝己石原; 優柴田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1989-03-27
Filing date: 1990-03-08
Publication date: 1998-02-10
Anticipated expiration: 2013-02-10
Also published as: US5350269A; JPH03228591A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、たとえばITVカメラ等の視覚センサから把
持対象のワークの位置情報を得て、ワークの把持制御を
行なう視覚センサを用いたワーク把持装置及びこれに用
いられるワーク並びに収納ケースに関し、特に、複数の
ワークを、マガジン若しくはパレットと呼ばれている収
納ケース（以下、パレットと総称する）に収納して、こ
の中の特定のワークを把持するように制御する制御装置
に関する。

［従来の技術］従来、ロボツトを用いた自動組立装置においては、ロ
ボツトの組み付けるワークについて、該ワークが高精度
にパレット内で位置が決まるように、各々のワーク形状
に従ってパレット内に案内面等をほどこし、更に、複数
のワークをパレット内にマトリツクス上に配置し、その
配置位置をロボツトが記憶しておくようにしている。組
立装置は、このパレット内よりワークをつかみ、組立作
業を行なってきた。

例えば、第2A図は、この従来技術において用いられて
いる一例としてのワーク１を示すものである。ワークに
は1a,1bなるガイド穴がもうけられている。また、1cは
ワークの重心位置である。第2B図はパレット２内に複数
のワーク１が収納されている様子を示す。このパレット
は一例として、４×４個のワーク１が収納されるよう
に、４×４個の凹部がマトリツクス状に配置されてい
る。個々の凹部には、ガイドピン2a,2bが上向きに設け
られ、このピン2a,2bがワーク１のガイド穴1a,1b内に嵌
入して、ワーク１を高精度に固定している。第2C図は、
第2B図のXX方向の断面図であり、２つのワークが、ガイ
ドピン2a,2bにより固定されている様子が示されてい
る。従来では、第2B図に示すパレット２を外部よりはさ
み込む等して、ロボツトに対する位置を高精度に出す必
要があった。

第３図は、パレット上のワークの位置とロボツト座標
との関係を示す図である。通常、ワークはパレット内
で、縦横それぞれ定ピツチ（Ｘ方向に幅ａずつ、Ｙ方向
にｂづつ）で配置されており、ロボツトはすべての点の
座標を記憶しておくか、または、各コーナーの３点（第
３図の３、４、５）を記憶しておき、各々の点を計算し
て、その結果でロボツトを移動させてワークを把持して
いた。

しかし、上記のようなパレットを用いる方式をとる
と、ロボツトのワークを供給する為の高精度なパレツト
は高価なものである上に、その高精度のパレツトを高精
度にロボツトに対して位置を決めてやる手段若しくは装
置が必要となるために、組立装置として高価なものにな
ってしまうという欠点があった。

一方、近年ロボツトに視覚センサを用い、ワークの位
置を画像処理により測定し、その位置情報によりロボツ
トが動作するというような方式が、例えば、特開昭60−
56884号,60−123974号,62−147024号に提案されてい
る。

この特開昭62−147024号によると、パーツフィーダが
１つづつ部品をカメラの視野内に供給し、このカメラに
より部品の位置を認識して、その部品を把持するという
ものである。このような視覚センサを用いる方式による
と、確かに、部品の把持は正確に行なうことができるよ
うになる。

また、特開昭60−56884号,60−123974号はいずれも、
先ず、複数の部品を視野に入れて画像を取り、その全体
画像から目標のワークの凡その位置を求め、次に、その
凡その位置の拡大画像から正確な把持位置を認識しよう
というものである。

［発明が解決しようとする課題］しかしながら、この特開昭62−147024号の手法はあく
までも、カメラの視界の前に部品が供給されることを前
提としているから、パレット内に複数の部品を置いてお
き、そのなかから特定の部品を精度良く把持するという
本願の対象とする分野には適用できない。何故なら、単
純にこの特開昭62−147024号の手法をパレット内に部品
の把持に適用すると、視覚センサの取り込みエリア内に
は、ワークの大きさにより、複数個のワークの画像が取
り込まれる可能性があり、かかる場合には、どのワーク
が目的のワークであるかを判断するのが困難であるから
である。

また、特開昭60−56884号,60−123974号は、任意の位
置にある複数のワークの画像全体から、視覚系が先ず個
々のワークの概略位置を認識するという処理が前提とさ
れている。しかしながら、かかる視覚系による前処理は
時間がかかるものであり、システム全体の処理速度の向
上の障害となっていた。

本発明はこれら従来技術の問題を解決するために提案
された。

本発明の目的は、収納ケース内に自由に収納された複
数のワークのなかから、目標のワークを正確に把持する
ことのできる把持装置を提案するものである。

本発明の他の目的は、把持対象のワークの正確な位置
を認識する作業から開放され、操作者が部品管理等に集
中できるような把持装置を提案する。

本発明の他の目的は、目的ワークの把持位置を視覚セ
ンサの座標系に変換し、その変換された座標位置の近傍
に、目標ワークの形状特徴に近い画像を探索し、探索さ
れた画像の重心位置を目標ワークの正確な把持位置とす
るような把持装置を提案する。

本発明の他の目的は、上記把持装置に設けられた視覚
センサは収納ケースの全体を略カバーするものであり、
且つ、前記目標ワークの形状特徴に近い画像を探索する
領域は、この収納ケースの収納単位の大きさに大体近い
ものであるような把持装置を提案する。

本発明の他の目的は、上記把持装置に設けられた視覚
センサは収納ケースの収納単位の広さに近い領域をカバ
ーするものであるような把持装置を提案する。

本発明の他の目的は、ワークの組立制御を行なう制御
部分と、ワークの正確な位置を測定するための画像処理
を行なう部分とが分離独立していて、両者の間が通信手
段で接続されているような把持装置を提案する。

本発明の他の目的は、目標ワークの指示位置と測定手
段が測定手段が測定した目標ワークの座標位置とが大き
く異なった場合に、エラー処理を行なうような把持装置
を提案する。

本発明の更に他の目的は、上記把持装置に用いられる
ワーク並びに収納ケースを提案するものである。

［課題を達成するための手段］上記課題を達成するための本発明の構成は、１つの収
納ケースに収納された複数のワークのなかから目標ワー
クの収納位置を視覚センサを用いて認識することによ
り、この目標ワークを把持するワーク把持装置であっ
て、前記目標ワークの形状特徴を表わす情報を前もって
記憶する記憶手段と；前記目標ワークの前記収納ケース
内における概略的位置であって、この把持装置の座標系
で表わされるところの位置情報を外部から入力する入力
手段と；前記視覚センサで得たワークの画像情報上で、
上記概略的な位置情報と形状特徴を表わす情報とに基づ
いて、前記目標ワークのこの把持装置の座標系における
座標位置を測定する測定手段とを具備したことを特徴と
する。

［実施例］以下添付図面を参照して本発明に係る把持装置を自動
組立装置に適用した実施例を説明する。

第4A図は、パレット６の凹部（以下、セルと呼ぶ）に
各々ワーク１を収納した状態の斜視図である。第4B図は
第4A図のXX線における断面図を示す。尚、第4A図のワー
ク１は、第２図の従来例に示されたワークと同じもので
あるが、本実施例では、ワーク１をパレット内のセル内
に固定する必要がないために、パレット６にはワーク１
を正確に位置決めするためのピン等は不要である。ワー
ク１はセル内で遊びがあるため、色々な方向に向いてい
る。但し、第13図に示すように、ワークに形成された２
つの穴A,Bは、それらの形状から、当該ワークが把持対
象のワークであるかを識別するために使われる。穴A,B
がこの識別のためにどのように使われるかは後の説明で
明らかになる。

第１図は、この実施例のロボツトを用いた組立装置の
全体図である。図中、７は、４自由度をもった直交型の
ロボツトで、図に示すようＸ軸方向、Ｙ軸支方向の水平
面の２自由度と、Ｙ軸上にあり上下に動くＺ軸支、及び
Ｚ軸まわりに回転可能なΘ軸より成る。パレツト６内に
は複数のワーク１が第4A図に示すような状態で置かれ、
パレット６は、ロボツトの作業範囲内にパレツトの位置
決め部材（不図示）により固定されている。ロボツトの
先端に取付けられたハンド８は、不図示のバキユームパ
イプによりバキユームされ、ワーク１を把持し、組み付
けステージ９に運ぶ。ロボツトがワークを組付けるべき
組付ステージ９上に、位置決めピン9a,9bがある。

第１図中、10は視覚センサ（CCDイメージセンサ）を
含むカメラであり、柱14に固定されている。この第１図
の例では、カメラ10はCCDを備えたITVカメラであり、広
い視野角を持つので、パレット６全体の画像を一度に得
ることができる。この実施例に用いられるCCDセンサは4
0万画素の領域を有する。11はカメラ10が得た画像信号
を処理する画像処理装置であり、内部の動作は後述す
る。また、12は、ロボット制御装置であり、ハンド８
を、XYZΘの４方向に位置決め制御する。画像処理装置1
1と制御装置12との間は通信線13で接続されている。

この実施例の組立装置によれば、パレツト６内にマト
リツクス状に配置されたワーク１の各々の概略の位置情
報を、ロボツト制御装置12があらかじめ記憶しておく。
そして、ロボツトが組付動作を開始した時点で、ロボツ
トが次に把持すべきワークのパレット内の概略の位置を
通信線13を介して画像処理装置11に教え、この画像処理
装置11が、ロボツト制御装置12より指令された概略位置
に最も近いワークの正確な位置を画像処理により測定
し、ロボツト制御装置12にその結果を通信線13を介して
教え、ロボツト制御装置12がその正確なワーク位置にハ
ンド８を移動して、ワークを把持するようにしたもので
ある。

第５図は、ロボット12の座標系X_RY_Rとパレット６との
関係を示す。ロボット制御装置12は、パレット内の各セ
ルの中心の凡その位置を前もって教示されている。この
位置が、パレット６の中心の実際の中心位置と一致する
必要はない。換言すれば、パレット６は、第１図におい
て、絶対的に正確に置かれる必要はない。せいぜい、ワ
ークの大きさの半分の長さ程度の精度で置かれれば十分
であろう。後述の画像処理により、ロボツト制御装置の
座標系についての正確なワーク位置がロボット12に教え
られるからである。

第６図はロボツト制御装置12の回路構成を示すブロツ
ク図であり、第７図は画像処理装置11のそれである。

第６図において、XYZΘ軸の４軸のアームを駆動する
のはサーボ制御部207であり、フィンガー８による吸着
動作を実行するのはI/O制御部208である。マイクロコン
ピユータ201は、これらサーボ制御部207,I/O制御部208
を制御する他に、オペレーテイングシステム等の制御プ
ログラムを格納する制御プログラムメモリ202や、ワー
クの概略位置、即ち、各セルの中心位置を記憶する位置
メモリ203や、ロボツトの把持／組立動作を記述する動
作プログラムメモリ204や、システムの状態や入力した
プログラムを表示するCRT205や、プログラムを入力する
ためのキーボード206や、画像処理装置11にワークの概
略位置を伝送したり画像処理装置が測定したワークの正
確な位置を画像処理装置11から受信するための通信制御
部209等を制御する。

第７図において、パレット及びそこに置かれたワーク
の画像を取るためのカメラ10は、A/Dコンバータ108を通
して、マイクロコンピユータ100に接続されている。前
述したように、カメラ10のセンサは40万画素のCCDセン
サである。この40万画素の領域のうちどの領域の画像を
フレームメモリ110に格納するかを決定するのが領域設
定部である。この領域設定部109が設定する領域は、前
述のワークの概略位置、即ち、パレットのセルの中心位
置に中心にした所定の大きさの領域である。この領域設
定部109が設定する領域は後に第15図に関連して説明さ
れる。かかる領域が設定されると、フレームメモリ110
内の画像には、少なくとも１つのセルとその中のワーク
が含まれている筈である。

マイクロコンピユータ100は、これらの他にも第７図
に示した種々の回路を制御している。例えば、通信制御
部11は、マイクロコンピユータ100の支援の下に、ロボ
ツト制御装置12の通信制御部209と通信する。座標変換
部112は、把持対象のワークの重心位置を、ワークのロ
ボツト座標系から視覚座標系（または逆）に変換する。
プログラムメモリ101は、第18図，第19図等に示した制
御手順を実行するプログラムを格納する。二値化演算部
102は、フレームメモリ110に格納されている多値画像を
二値画像に変換する。特徴パラメータ演算部103は、第2
1図に関連して説明するところの、画像の特徴を示すパ
ラメータ（面積や重心位置等）を演算する。演算部103
が演算したパラメータが、既知のワークのパラメータで
あるならば、そのワークにつういて演算したパラメータ
はパラメータ記憶部105に記憶される。特徴比較部は、
カメラ10が取った画像から抽出した特徴パラメータと、
前もってメモリ105に記憶していた既知のワークのパラ
メータとを比較して、画像が捕えたワークは目的のワー
クかを判断する。

CRT106はシステムの状態や入力したプログラムを表示
する。また、キーボード107はプログラムを入力する。

前述したように、第１図のロボツトシステムでは、制
御部12は、目標のワークを把持する場合、アームの動作
を行なう前に、ワークの概略位置（＝セルの中央位置）
を画像処理装置11に知らせ、画像処理装置11は、その概
略位置近傍にあるワークの正確な位置を認識し、その正
確な位置をロボツト制御部12に知らせ、その上で、制御
部12は、アームを動作するようになっている。このよう
な動作が可能となるためには、：制御部12のプログラムメモリ204に記述されている
動作プログラムが、ワークの概略位置を画像処理装置11
に知らせ、画像処理装置11からのワークの正確な位置を
受け取るというプログラムが記述されているのが好まし
い。

：一般に、ロボツト座標系とセンサの座標系とは座標
軸等がずれているので、ワークの概略位置はイメージセ
ンサの座標系に変換され、画像処理装置11が演算したワ
ークの正確な位置はロボツトの座標系に変換されなけれ
ばならない。

：画像のなかからワークを認識するためには、パター
ン認識を行なう必要がある。本実施例では、既知のワー
クについての特徴パラメータを前もってメモリ105に記
憶し、これと、カメラ10が取得した画像について演算し
た特徴パラメータとのマツチングを行なって、画像内に
あるワークが目的ワークかを判断している。

ロボツトプログラム第９図は、メモリ204に記憶されたロボツトプログラ
ムの一例である。第９図中、例えば、ステツプ１の VREAD （1,1）の（1,1）のなかの最初の“1"は、位置データセットを
示す番号である。１番の位置データセットの例が第８図
に示されている。（1,1）の後の“1"は、第８図の位置
データセットのなかの位置データの番号を示す。この位
置データは、セルの中央位置であり、即ち、ワークの概
略位置である。当然のことながら、これらの位置データ
はロボツト座標系で記述されている。第８図の位置デー
タセットの例に対応するパレットとそこに収納されてい
るワークとの平面図が、第12図にロボツト座標系で表現
されている。第９図のプログラムに従えば、ステツプ１
の命令は、ロボツト制御装置12が、画像処理装置11に対
し、第８図の１番目のデータセットの１番目の位置デー
タである、（300,200,0,0）で指定された画像を取込み、そこのワークの正確な位置
を制御装置12に返すように指令している。ワークの正確
な位置が得られたら、ロボツト制御装置12は、ステップ
２の VMOVE （1,1）を実行する。即ち、アームを（1,1）位置に移動する。
この場合、制御プログラム202は、VMOVEを、画像処理装
置11が得たワーク位置にアームを移動するものと解釈
し、（1,1）に対応する（300,200,0,0）位置ではなく、
画像処理装置がステツプ１で返したワークの正確な位置
にアームが移動するように、サーボ制御部207に対し指
令する。このようにすると、第11図に示したＰ点位置ま
で、即ち、目標ワークの直上方位置までハンド８は移動
する。次にステツプ３の VMOVE （1,2）を実行すると、ハンド８は、１番目のデータセットの２
番目の位置、（300,200,50,0）まで移動する。即ち、第11図のＱ点まで下降する。尚、
本実施例では、Ｚ軸は垂直方向下向きを正に取った。そ
して、ステツプ４の ON １で、ハンド８の吸着機構を作動してワークを把持するべ
く、I/O制御部208を作動させる。

座標変換一般に、ロボツト座標系と視覚センサの座標系とを常
に一致させることは、不可能ではないが困難である。画
像処理装置11は、セル内で自由な位置にあるワークの位
置をパターン認識により認識するために、上記２つの座
標系間のずれは画像処理装置11内では問題にならない。
しかし、画像処理装置はワークの位置をセンサの座標系
で認識するものであり、ロボツト側はロボツト座標系で
アームを移動するという性質のものであるために、その
ずれ（もしそのずれが存在するならば）を事前に知って
おくことは、正確にワークを把持するために不可欠であ
る。従って、ロボツト座標系と視覚センサの座標系とが
正確に一致してあるように、第１図のロボツトシステム
を製造しておくべきか、あるいは、両座標系間にずれが
あることを前提として、そのずれ量を事前に計測してお
き、一方の座標系の位置データは座標変換により他方の
座標系の位置データに変換するかということは、コスト
とのバランスで考慮されるべきである。我々の第１図の
実施例では、上記ずれを事前に計測しておき、必要に応
じて座標変換をするという手法を取った。

第14図は、ロボット座標系（X_R，Y_R）と視覚座標系
（X_V，Y_V）との関係を示す。第14図では、ロボツト座標
系と視覚座標系では、説明を簡略化するために、Ｚ軸に
関してはずれはないと前提している。

第14図において、ロボット座標系でのワークの概略目
標位置（即ち、セル位置）を（P_XR，P_YR,1）とし、視覚
座標系でのその概略位置を（P_XV，P_YV,1）とし、ロボッ
ト座標系の原点O_Rと、視覚座標系の原点O_Vのずれが（δ
_X，δ_Y）であり、ロボット座標系（X_R，Y_R）がθ度だけ
回転しているとし、更に、視覚系の分解能がkmm/画素と
すると、ロボツト座標を視覚座標に変換するときは、の関係がある。即ち、ロボツト制御装置12が、前述のVR
EAD命令で、画像処理装置11に対し、セルの中心位置、
例えば（1,1）を送ると、画像処理装置11は（１）式に
基づいて視覚系の座標系に変換する。反対に、画像処理
装置11がワークの位置をセンサの座標系で認識すると、によりロボツトの座標系による位置に変換して、制御装
置12側に送り返す。

特徴パラメータ第10図は第１図に用いられるワークの平面図である。
このワークは第４図に関連して説明したワークと同じで
ある。第10図において、このワークは、その外観が矩形
をしており、中央左側に円柱状の穴Ａが、中央右側に楕
円中状の穴Ｂが設けられている。穴A,Bは、第１図シス
テムにおいて、固定ピン9a,9bが挿入される。Ｂを楕円
穴としたのは、ピン9a,9b間の距離が交差を有すること
を考慮した。本実施例では、このような形状の２つの穴
の画像から得られる量を、把持対象のワークを識別する
特徴パラメータとした。特徴パラメータとして、穴Ａの面積：S_A 穴Ｂの面積：S_B 穴A,Bの重心間の距離:L 穴Ａの重心からワークの重心までの距離:l 穴Ａの重心と穴Ｂの重心を通る直線：α を用いる。尚、ワークの重心は、必ずしも物理的な重心
である必要はなく、本実施例に用いられる第10図のワー
クでは、穴Ａの重心と穴Ｂの重心との間の中央を、ワー
クの重心（X_W，Y_W）と定義している。

前もって、このワークについての上記特徴パラメータ
を計算したメモリ105に記憶しておく。そして、実際の
パレットに収納されているワークの画像から演算したワ
ークと考えられる像の特徴パラメータS_A′，S_B′,L′
と、上記記憶されているパラメータS_A，S_B,Lとを比較し
て、この比較から画像内にワークがあるか否かを判断す
る。

準備手順第17A図は、ロボツト制御側12におけるCRT205,キーボ
ード206を介して行なう準備手続を記述する。この準備
手続は、主に、第８図に示した位置データを記憶させる
ことである。第17B図は、画像処理装置11におけるCRT10
6,キーボード107を介して行なう準備手続を記述する。
この準備手続きは、主に、特徴パラメータを前もって演
算し、それらをメモリ105に記憶することである。

第17A図のステツプS2で、パレット６を、第１図に示
すようにおいた状態で、パレット６の各セルの中心位置
をワークの概略の把持位置として入力する。この際に、
第８図，第11図に示すように、各把持位置について、パ
レットの画像を取込む位置と把持位置とをペアで入力す
る。ステツプS4では、パレット６内のワークの把持順序
を教示し入力する。ステツプS6では、セル位置とその中
に収納されているワークの種類との対応を教示し入力す
る。セルとワークの種類との対応が必要なのは、異なる
種類のワークが同じパレット内に収納されている場合で
ある。

第17B図のステツプS10において、第14図に関連して説
明した、センサ座標系とロボツト座標系とのずれ量を計
算する。これらのずれは、夫々の原点間の水平面上のず
れδ_X，δ_Yと、Ｚ軸間の角度偏差θで表わされる。これ
らのずれの測定は、カメラ10の下に基準ワークをロボツ
ト座標系の座標軸X_R，Y_Rに対して正規に置いた状態で撮
影した当該基準ワークの画像から簡単に演算することが
できる。この基準ワークはＸ方向、Ｙ方向に精度が高く
製造されていればよい。

第17B図のステツプS12〜ステツプS18は、複数種類の
ワークの特徴パラメータを演算し記憶する手順である。
先ず、ステツプS12で、１つのワークをカメラ10の直下
に置く。ステツプS14では、そのワークの特徴パラメー
タを算出する。ステツプS16では、そのパラメータをメ
モリ105に、当該ワークのパラメータとして記憶する。
もし、パレット内に１種類のワークしかないのであれ
ば、画像処理装置11側の準備はこれで終了する。複数種
類のワークがパレット内に収納されていれば、ステツプ
S12〜ステツプS16を繰返す。

特徴のパラメータの算出ここで、ステツプS14の特徴パラメータの算出につい
て第18図を用いて詳細に説明する。これらの図に示され
たフローチヤートの制御手順は、マイクロコンピユータ
100により実行される。

第18図のステツプS50において、カメラ10のCCDセンサ
によりA/Dコンバータ108を介してワークの画像を取込
み、フレームメモリ110に格納する。ステツプS52では、
フレームメモリ110内の画像を適当な閾値により二値化
する。ステツプS60以下では、パラメータS_A，S_B等を計
算する。ステツプS60では、二値化画像のラベリング処
理を行なう。

第21図により、このラベリング処理について説明す
る。一般的に、ラベリング処理は二値画像からパターン
認識を行なう場合の前処理として行なわれる。従って、
このラベリング処理は、後述のロボツトが目標ワークを
把持する前段階での目標ワークの画像に対しても同様に
行なわれる。ステツプS60のラベリング処理は、既知の
ワークの特徴パラメータを抽出するものであるから、ラ
ベル付けされる画像は、穴A,Bの２つ画像となる。しか
し、第21図においては、説明の便宜上、ワークの穴Ａだ
けを、穴の部分を黒ドットとして示している。

先ず、フレームメモリ110内を主走査方向（センサ座
標系のＸ軸方向）に走査して黒のドットを探す。最初に
見付かった黒のドットをa₁とし、“a"とラベル付けをす
る。次に、a₁の隣りの画素a₂が黒かを調べる。このa₂が
黒であったならば、このa₂を中心画素とする３×３の領
域（いわゆる８近傍）を設定する。この領域内に以前に
“a"とラベル付けをした画素（今回の場合はa₁）が見付
かれば、その領域の中心画素（今回の場合はa₂）に対し
ても“a"とラベルを付ける。このような操作を繰返す
と、１塊の連続した領域が“a"として抽出される。も
し、画像内に、複数の連結領域があれば、当然のことな
がら、それらの連結領域には、例えば、“b",“c"等と
ラベルが付される。以上が、ステツプS60のラベリング
処理の詳細である。このラベリング処理は演算部103の
ハードウエアにより高速に行なわれる。穴Ｂについて
も、上記と同様の処理が行なわれ、連結領域として検出
されてラベル付けが行なわれる。便宜上、穴Ａに対応す
る黒のかたまりの画像を“a"と呼び、そして、穴Ｂに対
応するそれを“b"と呼ぶ。

ステツプS62では穴Ａの面積S_Aが演算される。この面
積の演算は連結領域“a"の黒ドットの数を数えることに
よりなされる。ステツプS64では、連結領域“a"のＸ軸
方向,Y軸方向のヒストグラムが計算される。このヒスト
グラムは第21図の（ａ）と（ｂ）部分に示されている。
穴Ａは円としているので、Ｙ方向ヒストグラムの極大値
に対応する座標値が穴Ａの重心のＸ座標値X_WAである。
同じく、Ｘ方向ヒストグラムの極大値に対応する座標値
が穴Ａの重心のＹ座標値Y_aである。このステツプS62,ス
テツプS64,ステツプS66の手法を、“b"とラベル付けさ
れた穴Ｂについても適用し、ステツプS70〜ステツプS74
で、穴Ｂの面積S_B、その重心座標X_b，Y_bを計算する。ス
テツプS76では、穴A,Bの重心（X_a，Y_a）、（X_b，Y_b）間
の距離Ｌを、Ｌ＝｛（X_a−X_b）²＋（Y_a−Y_b）²｝^1/2 から計算する。また、ステツプS78では、穴A,Bの重心
（X_a，Y_a）、（X_b，Y_b）の中央位置をワーク重心となる
ように、ｌを設定する。また、ステツプS80では、２つ
の穴の重心間を結ぶ直線α（第10図参照）を定義する。

かくして、ワークのパラメータを抽出し、そのパラメ
ータがメモリ105に格納された。そして画像処理装置側
の準備作業は終了した。

把持動作の制御第19図は、ロボツトが目標のワークをピツクし、その
ワークを所定の位置にプレースする動作を、連続して行
なう場合に、ロボツト制御装置12と画像処理装置11の支
援の下で行なうところの、ロボツト制御装置12の制御
（第19図の左側）と画像処理装置11の制御（第19図の右
側）とを図示する。即ち、１つのワークをピックしプレ
ースする動作を繰返すためには、第９図のような、VREA
D（1,n）、VMOVE（1,n）、VMOVE（1,n＋１）、ON 1、VM
OVE（1,n）の命令を繰返す。ここで、（1,n）は第11図
で説明した目標セル上方の位置Ｐを、（1,n＋１）は目
標ワークの把持位置Ｑを表わす。これらのプログラム命
令は制御プログラム202によりマクロ命令に変換されて
実行される。第19図は、このようなマクロ命令の実行順
序に即して記されている。

第19図のステツプS20〜ステツプS24はVREAD（1,n）の
マクロ命令に相当する。即ち、ステツプS20では、セル
位置（1,n）の座標値、ｎ＝１のときは（300,200,0,0）がメモリ203から読出される。そして、ステツプS22では
算出される。ステツプS22で、このセルの座標値を通信
制御部209を介して画像処理装置11に送る。画像処理装
置11は通信制御部111を介して上記座標値を受信する。

この座標値を受けた画像処理装置11はステツプS42
で、目標ワークのロボツト座標系についての重心位置
（X_WR，Y_WR）、ロボツト座標系の座標軸に対する傾きφ
を算出して、通信制御部111を介して制御装置12に送
る。ステツプS42におけるワークの重心位置の算出は、
セルの画像からワークの画像を探索することが前提とな
る。

ステツプS26,S27はVMOVE（1,n）,VMOVE（1,n＋１）に
対応する。即ち、ステツプS26では、画像処理装置11が
検出したワークの重心位置（X_WR，Y_WR）が、ステツプS2
0で画像処理装置11に送った座標位置と大きなずれがな
いかを判断する。これは以下の理由による。ワークはセ
ル内で自由な位置にあるとは言え、セル外に出ることは
ない。従って、画像処理装置11が検出したワークの重心
位置（X_WR，Y_WR）が、ステツプS20で画像処理装置11に
送った座標位置と、例えば、セル１つ分の大きさでずれ
ていれば、それは、画像処理装置があやまって別のセル
のワークを認識したことに他ならない。そこで、かかる
場合はステツプS32に進んで、エラー処理、例えば、警
告表示を行なったり、システムを停止する等の処理を行
なう。誤差がなければ、ステツプS27で、アームを移動
する。即ち、第11図のように、ハンド８をＰ点に移動
し、次にＱ点に移動する。

ステツプS28は命令ON 1に対応する。即ち、フィンガ
ー８の吸着機構をオンしてワークをピックする。ステツ
プS30はVMOVE（1,n）に対応する。即ち、ワークを把持
したハンドをＰ点に退避して、更に、当該ワークを所定
の位置（第１図の作業台９）まで持っていってプレース
する。

目的ワークの重心位置の算出ステツプS42における、目的ワークのロボツト座標系
における重心位置を算出する手順は第20図に詳細に示さ
れる。

第20図のステツプS100では、ロボツト制御装置12から
受け取ったセル位置（P_XR，P_YR,1）を（１）式に従って
センサの座標系による座標値に座標変換する。ステツプ
S102では、センサ座標系によるワーク位置（P_XV，P_YV,
1）に対し、ワークの画像を探索するための処理領域PA
を決定する。第15図はカメラ10内に設けられたCCDセン
サの視野を示す。この処理領域PAは第15図に示すよう
に、幅Δ_X，Δ_Yを有する。即ち、処理領域PAを、 X_s≦X_V≦X_e， Y_s≦Y_V≦Y_e，とすると、 X_s＝P_XV−Δ_x/2 X_e＝P_XV＋Δ_x/2, Y_s＝P_YV−Δ_y/2 Y_e＝P_YV＋Δ_y/2）とする。この処理領域PAは１つのセルよりも大きいサイ
ズを要する。PAの大きさ位置に関する情報はカメラ10に
送られる。すると、カメラ10は、第19図のステツプS104
で領域PAの画像データだけをフレームメモリ110に送
る。このようにして得られたものを第16図に示す。この
第16図には、一定の濃度を有した領域であって、連続し
た連結領域ａ〜ｆが示されている。これらの連結領域は
目的のワークの画像もあれば、パレットの壁もあり、ま
た他のワークの画像の一部もある。ステツプS106では、
フレームメモリ110の画像データを二値化する。

ステツプS108〜ステツプS114は領域PA内の全ての連結
領域はラベル付けをする手順を示す。即ち、ステツプS1
08で１つの連結領域a_nを見付ける。連結領域を見付ける
手法は第21図で説明した通りである。ステツプS110では
その連結領域の面積S_nを算出し、ステツプS111ではその
重心位置を検出する。重心位置の検出は第21図に関連し
て説明した。

領域PA内の全ての連結領域にラベル付けが終了する
と、これらの連結領域のなかから、穴A,Bに対応する連
結領域を、ステツプS116〜ステツプS124で探索する。即
ち、ステツプS116で、任意の連結領域を２つ取出す。こ
の２つの連結領域の面積の小さい方をS_A′、大きい方を
S_B′とする。ステツプS118で、選んだ２つの連結領域
が、ワークの穴A,Bに相当するか否かを調べるために、 S_A′≒S_A、且つ、 S_B′≒S_B を判断する。ここでS_A，S_Bはメモリ115に前もって記憶
されていた特徴パラメータである。ステツプS118で、上
記条件が満足していると判断されたならば、ステツプS1
20で、この選択された２つの連結領域の各重心間を結ぶ
距離Ｌ′を演算し、ステツプS122で、Ｌ′≒Ｌを判断する。ここで、Ｌはメモリ115に前もって記憶さ
れていた特徴パラメータである。ステツプS228で、上記
条件が満足していると判断されたならば、この２つの連
結領域を包含するものは目標のワークと判断して間違い
ないので、ステツプS130で、この２つの連結領域の重心
間の中央位置を演算し、この位置を目標ワークの重心と
する。今、この２つの連結領域の夫々の重心位置を、（X_av，Y_av）、（X_bv，Y_bv）とすると、これらの間の距離Ｌは、Ｌ＝｛（X_av−X_bv）²＋（Y_av−Y_bv）²｝^1/2 である。ここで、視覚座標系であることを示すために、
X_a等に添字ｖを付した。従って、ワークの重心（X_WV，Y
_WV）は、となる。ステツプS132では、穴A,Bを結ぶ直線αとセン
サ座標系のX_V軸とが角度φを計算する（第13図を参
照）。ステツプS134では、センサ座標系のワークの重心
（X_WV，Y_WV）を、（２）式に従ってロボツト座標系の
（X_WR，Y_WR）に変換する。第19図のステツプS44では、
この（X_WR，Y_WR）と、ワークのロボツト座標系X_Rに対す
る傾き θ＋φ をロボツト制御装置12に送出する。

第19図のステツプS124で、全ての連結領域を調べて
も、目標ワークが見付からなかった場合にはステツプS1
26でエラー処理を行なう。

実施例の効果以上説明した実施例によれば、パレット上に配置され
た複数のワークを視覚センサをもちいて、順次、ロボツ
トにより取り上げ／組付を行なって行く作業において、
ロボツト側にワークの概略配置のデータ及びワークを取
った進行状態を記憶しておくのみで、ワークを正確に、
且つ残すことなく、順次、把持することができる。ま
た、パレットが空になった場合には、タイミングより、
パレットの供給装置等又は作業者に対してパレットの交
換要求を出すことが可能となった。

また、視覚センサは、パレット内のワークの管理等を
行なう必要から開放され、ロボツトにより指定されたワ
ークの位置の測定をするだけでよく、処理時間の延長に
もならず、高速に組付作業を行なえる効果もある。

また、本実施例では、ロボツト座標系とセンサ座標系
間で座標変換が行なわれているので、ロボツト制御装置
12側では、自分が送った把持位置と画像処理装置11が返
してきた把持位置とを比較することが可能となり、画像
処理装置の誤認識の検出が可能となる。

変形本発明はその主旨を逸脱しない範囲で種々変形が可能
である。

例えば、上記実施例では、マトリツクス状にパレット
内に配置されたワークについて説明したが、パレット内
のワークの配置は、これにかぎらず、たとえば、直線等
の一列に並べても構わず、また、パレット内にランダム
に収納されていてもよい。要は、パレット内におけるワ
ークの位置が大体決まっていればよく、その各ワークの
概略の位置をロボツトに教えこますことができることが
重要である。

また、第22図のような変形例を提案する。第１図の実
施例に用いるカメラ10に装着されたCCDセンサは40万画
素の視野を有する。このCCDセンサはパレットの全面を
一度に見ることができる。従って、もしパレットが大き
くて、センサの解像度を落とすことが許されないのであ
れば、CCDセンサの大きさを大きくせざるを得ず、これ
はコスト高に結びつく。第22図の変形例は、小さなCCD
センサの使用を許容するものである。このセンサを、カ
メラ10の焦点面に沿って、Ｘ方向アクチュエータとＹ方
向アクチュエータとにより、ステツプS102で設定した領
域PAに移動することができる。

また、第１図実施例では、セルの大きさは一定であ
り、ワークも１種類とした。本発明は、セルの大きさが
異なっていても、また、１つのパレット内で異なるワー
クが存在する場合にも適用できる。この場合は、セルの
位置とそのセルの大きさとそのセル内のワークの種類と
の対応とを、制御装置12が画像処理装置11へ送ればよ
い。また、１つのセル内に複数のワークが存在する場合
にも本発明を適用できる。

また、第１図実施例では、１つのワークを把持するの
に、VREADとVMOVEという組合せ命令を用いていた。これ
は、ロボツト制御装置12と画像処理装置11とが分離独立
して設けられ、互いに独立して動作する構成となってい
たためである。本発明はこれに限定されない。ロボツト
制御装置12と画像処理装置11とが一体化されれば、１つ
のワークの把持動作を１つの命令で記述することができ
る。

前記実施例では、座標変換を行なっていたが、ロボツ
ト座標系とセンサ座標系とを正確に前もって一致させて
おくことが可能であったならば、上記座標変換は不要と
なる。

また、前記実施例では、座標変換は、視覚系で行なわ
れていたが、ロボツト制御装置側で行なってもよい。

また、前記実施例では、穴A,Bの重心位置は第21図に
説明したように、ヒストグラムの極大値をとる位置を重
心位置と定めたが、次のようにしてもよい。即ち、第21
図で、全ドットの数がｎ個の場合は、頻度の累積がn/2
となる点を重心とする。この手法によれば、対象でない
形状の穴等についても重心を演算できる。

［発明の効果］以上説明したように、本発明によれば、収納ケース内
に自由に収納された複数のワークのなかから、目標のワ
ークを正確に把持することのできる把持装置を提供でき
た。

【図面の簡単な説明】

第１図は本発明を組立ロボットに適用した場合の該ロボ
ット装置の全体斜視図、第2A図は従来及び本実施例にも使用可能なワークの形状
を示す斜視図、第2B図は第2A図のワークをパレット２に収容したときの
斜視図、第2C図は第2B図のXX線破断図、第３図は従来例におけるパレットの精度が必要なことを
説明する図、第4A図はワークをパレット２に収容したときの斜視図、第4B図はそのXX線破断図、第５図は本実施例におけるパレットの精度が必要ないこ
とを説明する図、第６図は第１図実施例におけるロボット側の制御装置の
構成を示すブロツク図、第７図は同実施例における画像処理側の制御装置の構成
を示すブロツク図、第８図は複数のワークについての把持位置の概略値を示
すテーブル、第９図は第１図の装置に用いられるプログラムの一例を
示す図、第10図は第１図装置に用いられる一例としてのワークの
特徴を説明する図、第11図は第１図のロボツトがワークを把持するときのハ
ンドの通り道を示す図、第12図は、ロボツト座標とパレットとの位置関係を説明
する図、第13図はパレット内の特定のワークが、ロボツト座標系
と視覚センサ座標系と取る位置関係を示す図、第14図はロボツト座標系と視覚センサ座標系との位置関
係を説明する図、第15図は画像処理装置における画像処理対象領域PAを説
明する図、第16図は画像処理領域PAの画像を示す図、第17A図，第17B図は夫々、ワーク組立てのために行なわ
れる準備処理のための、ロボツト制御装置と画像処理装
置の手順を説明するフローチヤート、第18図は準備処理における特徴パラメータ算出手順のフ
ローチヤート、第19図は実際のワーク組立の制御手順を示すフローチヤ
ート、第20図は目的ワークの正確な把持位置を検出する手順を
説明するフローチヤート、第21図はラベリング処理を説明する図、第22図は本発明の変形例のセンサ移動機構を説明する図
である。図中、１……ワーク、2,6……パレット、７……アーム、８…
…ハンド、９……組立ステーシヨン、10……カメラ、11
……画像処理装置、12……ロボツト制御装置、13……通
信線である。

Claims

(57)【特許請求の範囲】

【請求項１】１つの収納ケースに収納された複数のワー
クのなかから目標ワークの収納位置を視覚センサを用い
て認識することにより、この目標ワークを把持するワー
ク把持装置であって、前記目標ワークの形状特徴を表わす情報を前もって記憶
する記憶手段と；前記目標ワークの前記収納ケース内における概略的位置
であって、この把持装置の座標系で表わされるところの
位置情報を外部から入力する入力手段と；前記視覚センサで得たワークの画像情報上で、上記概略
的な位置情報と形状特徴を表わす情報とに基づいて、前
記目標ワークのこの把持装置の座標系における座標位置
を測定する測定手段とを具備したワーク把持装置。
【請求項２】前記測定手段は：前記入力手段が入力した座標位置を、前記視覚センサの
座標系における座標位置に変換する第１の変換手段と；前記センサが得た前記画像情報上で、前記視覚センサの
座標系に変換された座標位置の近傍に、前記目標ワーク
の形状特徴に近い画像を探索する探索手段と；探索された画像の重心位置を演算する演算手段と；この重心位置を前記目標ワークのこの把持装置の座標系
における前記座標位置に変換する第２の変換手段とを具
備したことを特徴とする請求項の第１項に記載のワーク
把持装置。
【請求項３】前記視覚センサは、この把持装置の本体に
対して固定されたカメラの焦点領域内に置かれていると
共に、且つ、そのセンサの視野は前記収納ケースの全体
を略カバーし、前記探索手段は、更に：前記視覚センサの座標系に変換された前記座標位置を中
心にして、前記収納ケースの収納単位の大きさに大体近
い領域を、前記収納ケースの全体の前記画像情報上に設
定する手段と；この設定された領域内で前記目標ワークの形状特徴に近
い画像を探索する手段とを具備した事を特徴とする請求
項の第２項に記載のワーク把持装置。
【請求項４】前記複数のワークの各々は、このパレット
内の前記概略位置の周辺に任意に収納される事を特徴と
する請求項の第１項に記載のワーク把持装置。
【請求項５】前記視覚センサは、この把持装置の本体に
対して固定されたカメラの焦点領域内に置かれていると
共に、その視野は前記収納ケースの収納単位の大きさに
大体近い領域をカバーし、前記探索手段は、更に：前記入力手段が入力した座標位置を、前記視覚センサの
座標系における座標位置に変換する第１の変換手段と；前記センサの本体を、前記視覚センサの座標系における
前記座標位置に移動して、その位置での画像を取込む手
段と；上記手段で取込んだ画像内に、前記目標ワークの形状特
徴に近い画像を探索する探索手段と；探索された画像の重心位置を演算する演算手段と；この重心位置を前記目標ワークのこの把持装置の座標系
における前記座標位置に変換する第２の手段とを具備し
た事を特徴とする請求項の第２項に記載のワーク把持装
置。
【請求項６】更に、（ａ）：把持シーケンス制御を行なう第１の制御回路
と；（ｂ）：画像処理制御を行なう第２の制御回路と；（ｃ）：第1,第２の制御回路をデータ通信で接続する通
信回路とを更に備え、前記第１の制御回路は：（a₁）：前記入力手段としての、前記概略的な位置情報
を把持命令として入力するための入力回路と；（a₂）：前記測定手段が測定したところの前記目標ワー
クのこの把持装置の座標系における前記座標位置を、前
記通信回路を通して受信する回路とを具備し、前記第２の制御回路は：（b₁）：前記入力回路からの把持命令を前記通信回路か
ら受信し、この把持命令を、前記視覚センサの座標系に
おける座標位置に変換する回路と；（b₂）：上記回路により変換された座標位置近傍の前記
収納ケースの画像を読取る読取り回路と；（b₃）：読取られた画像内に、前記目標ワークの形状特
徴に近い画像を探索する探索回路と；（b₄）：探索された画像の重心位置を演算する演算回路
と；（b₅）：この重心位置を前記目標ワークのこの把持装置
の座標系における前記座標位置に変換する回路とを具備
した；事を特徴とする請求項の第２項に記載のワーク把持装
置。
【請求項７】前記入力手段が入力した前記概略的な位置
情報と、前記測定手段が測定した目標ワークの座標位置
とを比較する手段と、この比較結果が両者の位置が大きく異なることを示すと
きに、警告を報知する手段とを更に具備した事を特徴と
する請求項の第２項に記載のワーク把持装置。
【請求項８】前記ワークの表面に、当該ワークを識別す
るための特徴的な切り欠きが特に形成され、収納ケース
のワークを収納するセルには、前記ワークが自由に動く
空間が形成されている請求項第１項のワーク把持装置に
用いられるワーク及び収納ケース。