JPH03228591A

JPH03228591A - ワーク把持装置、ワーク及びその収納ケース

Info

Publication number: JPH03228591A
Application number: JP2055032A
Authority: JP
Inventors: Yusaku Azuma; 雄策我妻; Katsumi Ishihara; 勝己石原; Masaru Shibata; 優柴田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1989-03-27
Filing date: 1990-03-08
Publication date: 1991-10-09
Anticipated expiration: 2013-02-10
Also published as: JP2710850B2; US5350269A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、たとえばＩＴＶカメラ等の視覚センサから把
持対象のワークの位置情報を得て、ワークの把持制御を
行なう視覚センサを用いたワーク把持装置及びこれに用
いられるワーク並びに収納ケースに関し、特に、複数の
ワークを、マガジン若しくはパレットと呼ばれている収
納ケース（以下、パレットと総称する）に収納して、こ
の中の特定のワークを把持するように制御する制御装置
に関する。

［従来の技術］従来、ロボットを用いた自動組立装置においては、ロボ
ットの組み付けるワークについて、該ワークが高精度に
パレット内で位置が決まるように、各々のワーク形状に
従ってパレット内に案内面等をほどこし、更に、複数の
ワークをパレット内にマトリックス上に配置し、その配
置位置をロボットが記憶しておくようにしている。組立
装置は、このパレット内よりワークをつかみ、組立作業
を行なってきた。

例えば、第２Ａ図は、この従来技術において用いられて
いる一例としてのワークｌを示すものである。ワークに
はｌａ、ｌｂなるガイド穴がもうけられている。また、
ｌｃはワークの重心位置である。第２Ｂ図はパレット２
内に複数のワーク１が収納されている様子を示す。この
パレットは一例として、４×４個のワークｌが収納され
るように、４×４個の凹部がマトリックス状に配置され
ている。個々の凹部には、ガイドビン２ａ、２ｂが上向
きに設けられ、このビン２ａ、２ｂがワーク１のガイド
穴１ａ、ｌｂ内に訣大して、ワークｌを高精度に固定し
ている。第２Ｃ図は、第２Ｂ図のＸＸ方向の断面図であ
り、２つのワークが、ガイドビン２ａ、２ｂにより固定
されている様子が示されている。従来では、第２Ｂ図に
示すパレット２を外部よりはさみ込む等して、ロボット
に対する位置を高精度に出す必要があった。

第３図は、パレット上のワークの位置とロボット座標と
の関係を示す図である。通常、ワークはパレット内で、
縦横それぞれ定ピツチ（Ｘ方向に幅ａずつ、Ｙ方向にｂ
づつ）で配置されており、ロボットはすべての点の座標
を記憶しておくか、または、各コーナーの３点（第３図
の３．４．５）を記憶しておき、各々の点を計算して、
その結果でロボットを移動させてワークを把持していた
。

しかし、上記のようなパレットを用いる方式をとると、
ロボットのワークを供給する為の高精度なパレットは高
価なものである上に、その高精度のパレットを高精度に
ロボットに対して位置を決めてやる手段若しくは装置が
必要となるために、組立装置として高価なものになって
しまうという欠点があった。

一方、近年ロボットに視覚センサを用い、ワークの位置
を画像処理により測定し、その位置情報によりロボット
が動作するというような方式が、例えば、特開昭６０−
５６８８４号、　６０−１２３９７４号、　６２−１４
７０２４号に提案されている。

この特開昭６２−１４７０２４号によると、パーツフィ
ーダが１つづつ部品をカメラの視野内に供給し、このカ
メラにより部品の位置を認識して、その部品を把持する
というものである。このような視覚センサを用いる方式
によると、確かに、部品の把持は正確に行なうことがで
きるようになる。

また、特開昭６０−５６８８４号、　６０−１２３９７
４号はいずれも、先ず、複数の部品を視野に入れて画像
を取り、その全体画像から目標のワークの凡その位置を
求め、次に、その凡その位置の拡大画像から正確な把持
位置を認識しようというものである。

［発明が解決しようとする課題］しかしながら、この特開昭６２−１４７０２４号の手法
はあくまでも、カメラの視界の前に部品が供給されるこ
とを前提としているから、パレット内に複数の部品を置
いておき、そのなかから特定の部品を精度良く把持する
という本願の対象とする分野には適用できない。何故な
ら、単純にこの特開昭６２−１４７０２４号の手法をパ
レット内の部品の把持に適用すると、視覚センサの取り
込みエリア内には、ワークの大きさにより、複数個のワ
ークの画像が取り込まれる可能性があり、かかる場合Ｇ
こは、どのワークが目的のワークであるかを判断するの
が困難であるからである。

また、特開昭６０−５６８８４号、　６０−１２３９７
４号は、任意の位置にある複数のワークの画像全体から
、視覚系が先ず個々のワークの概略位置を認識するとい
う処理が前提とされている。しかしながら、かかる視覚
系による前処理は時間がかかるものであり、システム全
体の処理速度の向上の障害となっていた。

本発明はこれら従来技術の問題を解決するために提案さ
れた。

本発明の目的は、収納ケース内に自由に収納された複数
のワークのなかから、目標のワークを正確に把持するこ
とのできる把持装置を提案するものである。

本発明の他の目的は、把持対象のワークの正確な位置を
認識する作業から開放され、操作者が部品管理等に集中
できるような把持装置を提案する。

本発明の他の目的は、目的ワークの把持位置を視覚セン
サの座標系に変換し、その変換された座標位置の近傍に
、目標ワークの形状特徴に近い画像を探索し、探索され
た画像の重心位置を目標ワークの正確な把持位置とする
ような把持装置を提案する。

本発明の他の目的は、上記把持装置に設けられた視覚セ
ンサは収納ケースの全体を略カバーするものであり、且
つ、前記目標ワークの形状特徴に近い画像を探索する領
域は、この収納ケースの収納単位の大きさに大体近いも
のであるような把持装置を提案する。

本発明の他の目的は、上記把持装置に設けられた視覚セ
ンサは収納ケースの収納単位の広さに近い領域をカバー
するものであるような把持装置を提案する。

本発明の他の目的は、ワークの組立制御を行なう制御部
分と、ワークの正確な位置を測定するための画像処理を
行なう部分とが分離独立していて、両者の間が通信手段
で接続されているような把持装置を提案する。

本発明の他の目的は、目標ワークの指示イ装置と測定手
段が測定手段が測定した目標ワークの座標位置とが大き
く異なった場合番こ、エラー処理を１テなうような把持
装置を提案する。

本発明の更に他の目的は、上記上を寺装置番こ用し１ら
れるワーク並びに収納ケースを提案するものである。

［課題を達成するための手段］上記課題を達成するための本発明の十背成（ま、１つの
収納ケースに収納された複数のワークのな力）から目標
ワークの収納位置を視覚センサを用し１で認識すること
により、この目標ワークを把↑寺するワーク把持装置で
あって、前記目十票ワークの升ニ状特徴を表わす情報を
前もって記憶する言己憶手「没と；前記目標ワークの前
記収納ケース向暑こお＆−Ｊる概略的位置であって、こ
の把持装置の座標系で表わされるところの位置情報を外
部力）ら入力する入力手段と；前記視覚センサで得たワ
ークの画イ象１青報上で、上記概略的な位置情報と形状
牛寺徴を表わす情報とに基づいて、前記目標ワークのこ
の把持装置の座標系における座標位置を測定する測定手
段とを具備したことを特徴とする特〔実施例］以下添付図面を参照して本発明に係る把持装置を自動組
立装置に適用した実施例を説明する。

第４Ａ図は、パレット６の凹部（以下、セルと呼ぶ）に
各々ワーク１を収納した状態の斜視図である。第４Ｂ図
は第４Ａ図のＸＸ線における断面図を示す。尚、第４Ａ
図のワーク１は、第２図の従来例に示されたワークと同
じものであるが、本実施例では、ワーク１をパレット内
のセル内に固定する必要がないために、パレット６には
ワークｌを正確に位置決めするためのビン等は不要であ
る。ワーク１はセル内で遊びがあるため、色々な方向に
向いている。但し、第１３図に示すように、ワークに形
成された２つの穴Ａ、Ｂは、それらの形状から、当該ワ
ークが把持対象のワークであるかを識別するために使わ
れる。穴Ａ、Ｂがこの識別のためにどのように使われる
かは後の説明で明らかになる。

第１図は、この実施例のロボットを用いた組立装置の全
体図である。図中、７は、４自由度をもった直交型のロ
ボットで、図に示すようＸ軸方向、Ｙ軸方向の水平面の
２自由度と、Ｙ軸上にあり上下に動くＺ軸、及び２軸ま
ゎりに回転可能なθ軸より成る。パレット６内には複数
のワークｌが第４Ａ図に示すような状態で置かれ、パレ
ット６は、ロボットの作業範囲内にパレットの位置決め
部材（不図示）により固定されている。ロボットの先端
に取付けられたハンド８は、不図示のバキュームパイプ
によりバキュームされ、ワークｌを把持し、組み付はス
テージ９に運ぶ。ロボットがワークを組付けるべき組付
ステージ９上に、位置決めピン９ａ、９ｂがある。

第１図中、１０は視覚センサ（ｃＣＤイメージセンサ）
を含むカメラであり、柱１４に固定されている。この第
１図の例では、カメラ１ｏはｃｃＤを備えたＩＴＶカメ
ラであり、広い視野角を持ツノで、パレット６全体の画
像を一度に得ることができる。この実施例に用いられる
ＣＣＤセンサは４０万画素の領域を有する。１１はカメ
ラ１゜が得た画像信号を処理する画像処理装置であり、
内部の動作は後述する。また、１２は・ロボット制御装
置であり、ハンド８を、ＸＹＺθの４方向に位置決め制
御する。画像処理装置１１と制御装置１２との間は通信
線１３で接続されている。

この実施例の組立装置によれば、パレット６内にマトリ
ックス状に配置されたワーク１の各々の概略の位置情報
を、ロボット制御装置１２があらかじめ記憶しておく。

そして、ロボットが組付動作を開始した時点で、ロボッ
トが次に把持すべきワークのパレット内の概略の位置を
通信線１３を介して画像処理装置１１に教え、この画像
処理装置１１が、ロボット制御装置１２より指令された
概略位置に最も近いワークの正確な位置を画像処理によ
り測定し、ロボット制御装置１２にその結果を通信線１
３を介して教え、ロボット制御装置１２がその正確なワ
ーク位置にハンド８を移動して、ワークを把持するよう
にしたものである。

第５図は、ロボット１２の座標系Ｘ、ＹＲとパレット６
との関係を示す、ロボット制御装置１２は、パレット内
の各セルの中心の凡その位置な前もって教示されている
。この位置が、パレット６の中心の実際の中心位置と一
致する必要はない。

換言すれば、パレット６は、第１図において、絶対的に
正確に置かれる必要はない。せいぜい、ワークの大きさ
の半分の長さ程度の精度で置かれれば十分であろう。後
述の画像処理により、ロボット制御装置の座標系につい
ての正確なワーク位置がロボット１２に教えられるから
である。

第６図はロボット制御装置１２の回路構成を示すブロッ
ク図であり、第７図は画像処理装置１１のそれである。

第６図において、ＸＹＺｅ軸の４軸のアームを駆動する
のはサーボ制御部２０７であり、フィンガー８による吸
着動作を実行するのはＩ１０制御部２０８である。マイ
クロコンピュータ２０１は、これらサーボ制御部２０７
．Ｉ１０制御部２０８を制御する他に、オペレーティン
グシステム等の制御プログラムを格納する制御プログラ
ムメモリ２０２や、ワークの概略位置、即ち、各セルの
中心位置を記憶する位置メモリ２０３や、ロボットの把
持／組立動作を記述する動作プログラムメモリ２０４や
、システムの状態や入力したプログラムを表示するＣＲ
Ｔ２０５や、プログラムを入力するためのキーボード２
０６や、画像処理装置１１にワークの概略位置を伝送し
たり、画像処理装置が測定したワークの正確な位置を画
像処理装置１１から受信するための通信制御部２０９等
を制御する。

第７図において、パレット及びそこに置かれたワークの
画像を取るためのカメラ１０は、Ａ／Ｄコンバータ１０
８を通して、マイクロコンピュータ１００に接続されて
いる。前述したように、カメラ１０のセンサは４０万画
素のＣＣＤセンサである。この４０万画素の領域のうち
どの領域の画像をフレームメモリ１１０に格納するかを
決定するのが領域設定部である。この領域設定部１０９
が設定する領域は、前述のワークの概略位置、即ち、パ
レットのセルの中心位置を中心にした所定の大きさの領
域である。この領域設定部１０９が設定する領域は後に
第１５図に関連して説明される。かかる領域が設定され
ると、フレームメモリ１１０内の画像には、少な（とも
１つのセルとその中のワークが含まれている筈である。

マイクロコンピュータ１００は、これらの他にも第７図
に示した種々の回路を制御している。例えば、通信制御
部１１は、マイクロコンピュータ１００の支援の下に、
ロボット制御装置１２の通信制御部２０９と通信する。

座標変換部１１２は、把持対象のワークの重心位置を、
ワークのロボット座標系から視覚座標系（または逆）に
変換する。プログラムメモリ１０１は、第１８図、第１
９図等に示した制御手順を実行するプログラムを格納す
る。二値化演算部１０２は、フレームメモリ１１０に格
納されている多値画像を二値画像に変換する。特徴パラ
メータ演算部１０３は、第２１図に関連して説明すると
ころの、画像の特徴を示すパラメータ（面積や重心位置
等）を演算する。演算部１０３が演算したパラメータが
、既知のワークのパラメータであるならば、そのワーク
につついて演算したパラメータはパラメータ記憶部１０
５に記憶される。特徴比較部は、カメラ１０が取った画
像から抽出した特徴パラメータと、前もってメモリ１０
５に記憶していた既知のワークのパラメータとを比較し
て、画像が捕えたワークは目的のワークかを判断する。

ＣＲＴ１０６はシステムの状態や入力したプログラムを
表示する。また、キーボード１０７はプログラムを入力
する。

前述したように、第１図のロボットシステムでは、制御
部１２は、目標のワークを把持する場合、アームの動作
を行なう前に、ワークの概略位置（＝セルの中央位置）
を画像処理装置１１に知らせ、画像処理装置１１は、そ
の概略位置近傍にあるワークの正確な位置を認識し、そ
の正確な位置をロボット制御部工２に知らせ、その上で
、制御部１２は、アームを動作するようになっている。

このような動作が可能となるためには、■二制御部１２
のプログラムメモリ２０４に記述されている動作プログ
ラムが、ワークの概略位置を画像処理装置１１に知らせ
、画像処理装置１１からのワークの正確な位置を受は取
るというプログラムが記述されているのが好ましい。

■ニ一般に、ロボット座標系とセンサの座標系とは座標
軸等がずれているので、ワークの概略位置はイメージセ
ンサの座標系に変換され、画像処理装置１１が演算した
ワークの正確な位置はロボットの座標系に変換されなけ
ればならない。

■：両画像なかからワークを認識するためには、パター
ン認識を行なう必要がある。本実施例では、既知のワー
クについての特徴パラメータを前もってメモリ１０５に
記憶し、これと、カメラｌＯが取得した画像について演
算した特徴パラメータとのマツチングを行なって、画像
内にあるワークが目的ワークかを判断している。

ロボットプログラム第９図は、メモリ２０４に記憶されたロボットプログラ
ムの一例である。第９図中、例えば、ステップｌのＶＲＥＡＤ　　（１，１）の（１，１）のなかの最初の°°ｌ°°は、位置データ
セットを示す番号である。１番の位置データセットの例
が第８図に示されている。（１，１）の後の°°ｌ”は
、第８図の位置データセットのなかの位置データの番号
を示す。この位置データは、セルの中央位置であり、即
ち、ワークの概略位置である。当然のことながら、これ
らの位置データはロボット座標系で記述されている。第
８図の位置データセットの例に対応するパレットとそこ
に収納されているワークとの平面図が、第１２図にロボ
ット座標系で表現されている。第９図のプログラムに従
えば、ステップ１の命令は、ロボット制御装置１２が、
画像処理装置１１に対し、第８図の１番目のデータセッ
トの１番目の位置データである、（３００，２００，０，Ｏ）で指定された画像を取込み、そこのワークの正確な位置
を制御装置１２に返すように指令している。ワークの正
確な位置が得られたら、ロボット制御装置１２は、ステ
ップ２のＶＭＯＶＥ　　　（１，１）を実行する。即ち、アームを（１，１）位置に移動する
。この場合、制御プログラム２０２は、ＶＭＯＶＥを、
画像処理装置ｌｌが得たワーク位置にアームを移動する
ものと解釈し、（１，１）に対応する（３００，２００
，０．０）位置ではなく、画像処理装置がステップ１で
返したワークの正確な位置にアームが移動するように、
サーボ制御部２０７に対し指令する。このようにすると
、第１１図に示したＰ点位置まで、即ち、目標ワークの
直上方位置までハンド８は移動する０次にステップ３のＶＭＯＶＥ　　（１，２）を実行すると、ハンド８は、１番目のデータセットの２
番目の位置、（３００，２００，５０，０）まで移動する。即ち、第１１図のＱ点まで下降する。尚
１本実施例では、Ｚ軸は垂直方向下向きを正に取った。

そして、ステップ４のＮ　　１で、ハンド８の吸着機構を作動してワークを把持するべ
（、Ｉ１０制御部２０８を作動させる。

匣ｊ１虹撓一般に、ロボット座標系と視覚センサの座標系とを常に
一致させることは、不可能ではないが困難である。画像
処理装置１１は、セル内で自由な位置にあるワークの位
置をパターン認識により認識するために、上記２つの座
標系間のずれは画像処理装置ｌｌ内では問題にならない
。しかし、画像処理装置はワークの位置なセンサの座標
系で認識するものであり、ロボット側はロボット座標系
でアームを移動するという性質のものであるために、そ
のずれ（もしそのずれが存在するならば）を事前に知っ
ておくことは、正確にワークを把持するために不可欠で
ある。従って、ロボット座標系と視覚センサの座標系と
が正確に一致しであるように、第１図のロボットシステ
ムを製造しておくべきか、あるいは、両座標系間にずれ
があることを前提として、そのずれ量を事前に計測して
おき、一方の座標系の位置データは座標変換により他方
の座標系の位置データに変換するかということは、コス
トとのバランスで考慮されるべきである。我々の第１図
の実施例では、上記ずれを事前に計測しておき、必要に
応じて座標変換をするという手法を取った。

第１４図は、ロボット座標系（Ｘ、Ｉ　、ｙ４）と視覚
座標系（ｘｖ　、Ｙｖ）との関係を示す、第１４図では
、ロボット座標系と視覚座標系では、説明を簡略化する
ために、Ｚ軸に関してはずれはないと前提している。

第１４図において、ロボット座標系でのワークの概略目
標位置（即ち、セル位置）を（ｐ、、。

ｐ、、ｔ、ｉ）とし、視覚座標系でのその概略位置を（
Ｐ、ｖ、Ｐ、ｖ、１）とし、ロボット座標系の原点ＯＲ
と、視覚座標系の原点Ｏｖのずれが（δ８゜δＹ）であ
り、ロボット座標系（ｘ、、ｙ４）が０度だけ回転して
いるとし、更に、視覚系の分解能がｋｍｍ／画素とする
と、ロボット座標を視覚座標に変換するときは、・・・・・・　（１）の関係がある。即ち、ロボット制御装置１２が、前述の
ＶＲＥＡＤ命令で、画像処理装置１１に対し、セルの中
心位置、例えば（１，１）を送ると、画像処理装置１１
は（１）式に基づいて視覚系の座標系に変換する。反対
に、画像処理装置１１がワークの位置をセンサの座標系
で認識すると、・・・・・・　（２）によりロボットの座標系による位置に変換して、制御装
置１２側に送り返す。

待１しふ二ノ二二之第１０図は第１図に用いられるワークの平面図である。

このワークは第４図に関連して説明したワークと同じで
ある。第１０図において、このワークは、その外観が矩
形をしており、中央左側に円柱状の穴Ａが、中央右側に
楕円甲状の穴Ｂが設けられている。穴Ａ、Ｂは、第１図
システムにおいて、固定ピン９ａ、９ｂが挿入される。

Ｂを楕円穴としたのは、ビン９ａ、９ｂ間の距離が交差
を有することを考慮した。本実施例では、このような形
状の２つの穴の画像から得られる量を、把持対象のワー
クを識別する特徴パラメータとした。特徴パラメータと
して、穴Ａの面積：ＳＡ穴Ｂの面積：ＳＩｌ穴Ａ、Ｈの重心間の距離：Ｌ穴Ａの重心からワークの重心までの距離＝２穴Ａの重心
と穴Ｂの重心を通る直線：αを用いる。尚、ワークの重
心は、必ずしも物理的な重心である必要はな（、本実施
例に用いられる第１０図のワークでは、穴への重心と穴
Ｂの重心との間の中央を、ワークの重心（Ｘｗ、Ｙｗ）
と定義している。

前もって、このワークについての上記特徴パラメータを
計算しメモリ１０５に記憶しておく。そして、実際のパ
レットに収納されているワークの画像から演算したワー
クと考えられる像の特徴パラメータＳＡ“、Ｓ８°、Ｌ
゛と、上記記憶されているパラメータＳＡ、Ｓ、、Ｌと
を比較して、この比較から画像内にワークがあるか否か
を判断する。

茎ＪＬＬ順第１７Ａ図は、ロボット制御側１２におけるＣＲＴ２０
５．キーボード２０６を介して行なう準備手続を記述す
る。この準備手続は、主に、第８図に示した位置データ
を記憶させることである。

第１７Ｂ図は、画像処理装置１１におけるＣＲＴ１０６
、キーボード１０７を介して行なう準備手続を記述する
。この準備手続きは、主に、特徴パラメータを前もって
演算し、それらをメモリ１０５に記憶することである。

第１７Ａ図のステップＳ２で、パレット６を、第１図に
示すようにおいた状態で、パレット６の各セルの中心位
置をワークの概略の把持位置として入力する。この際に
、第８図、第１１図に示すように、各把持位置について
、パレットの画像を取込む位置と把持位置とをベアで入
力する。ステップＳ４では、パレット６内のワークの把
持順序を教示し入力する。ステップＳ６では、セル位置
とその中に収納されているワークの種類との対応を教示
し入力する。セルとワークの種類との対応が必要なのは
、異なる種類のワークが同じパレット内に収納されてい
る場合である。

第１７Ｂ図のステップＳＩＯにおいて、第１４図に関連
して説明した、センサ座標系とロボット座標系とのずれ
量を計算する。これらのずれは、夫々の原点間の水平面
上のずれδ、、δ１と、Ｚ軸間の角度偏差θで表わされ
る。これらのずれの測定は、カメラ１０の下に基準ワー
クをロボット座標系の座標軸Ｘ　−、Ｙ　＊に対して正
規に置いた状態で撮影した当該基準ワークの画像から簡
単に演算することができる。この基準ワークはＸ方向、
Ｙ方向に精度が高く製造されていればよい。

第１７Ｂ図のステップＳ１２〜ステツプＳ１ｇは、複数
種類のワークの特徴パラメータを演算し記憶する手順で
ある。先ず、ステップＳ１２で、１つのワークをカメラ
１０の直下に置く、ステップＳ１４では、そのワークの
特徴パラメータを算出する。ステップＳ１６では、その
パラメータをメモリ１０５に、当該ワークのパラメータ
として記憶する。もし、パレット内に１種類のワークし
かないのであれば、画像処理装置１１側の準備はこれで
終了する。複数種類のワークがパレット内に収納されて
いれば、ステップＳ１２〜ステツプ３１．６を繰返す。

、　パラメータのここで、ステップＳ１４の特徴パラメータの算出につい
て第１８図を用いて詳細に説明する。これらの図に示さ
れたフローチャートの制御手順は、マイクロコンピュー
タ１００により実行される。

第１８図のステップＳ５０において、カメラｌ０（７）
ＣＣＤセンサによりＡ／Ｄコンバータ１０８を介してワ
ークの画像を取込み、フレームメモリ１１０に格納する
。ステップＳ５２では、フレームメモリ１１０内の画像
を適当な閾値により二値化する。ステップ８６０以下で
は、パラメータＳＡ、ＳＩ１等を計算する。ステップＳ
６０では、二値化画像のラベリング処理を行なう。

第２１図により、このラベリング処理について説明する
。−船釣に、ラベリング処理は二値画像からパターン認
識を行なう場合の前処理として行なわれる。従って、こ
のラベリング処理は、後述のロボットが目標ワークを把
持する前段階での目標ワークの画像に対しても同様に行
なわれる。ステップＳ６０のラベリング処理は、既知の
ワークの特徴パラメータを抽出するものであるから、ラ
ベル付けされる画像は、穴Ａ、Ｂの２つ画像となる。し
かし、第２１図においては、説明の便宜上、ワークの穴
Ａだけを、穴の部分を黒ドツトとして示している。

先ず、フレームメモリ１１０内を主走査方向（センサ座
標系のＸ軸方向）に走査して黒のドツトを探す。最初に
見付かった黒のドツトなａ、とし、　　ａ”とラベル付
けをする。次に、ａ、の隣りの画素ａ２が黒かを調べる
。このａ寞が黒であったならば、このａ２を中心画素と
する３×３の領域（いわゆる８近傍）を設定する。この
領域内に以前に“ａ　”とラベル付けをした画素（今回
の場合はａ４）が見付かれば、その領域の中心画素（今
回の場合はａ４）に対しても“ａ”とラベルを付ける。

このような操作を繰返すと、１塊の連続した領域が“ａ
”として抽出される。もし、画像内に、複数の連結領域
があれば、当然のことながら、それらの連結領域には、
例えば、“ｂ”ｃ　”等とラベルが付される。以上が、
ステップＳ６０のラベリング処理の詳細である。このラ
ベリング処理は演算部１０３のハードウェアにより高速
に行なわれる。穴Ｂについても、上記と同様の処理が行
なわれ、連結領域として検出されてラベル付けが行なわ
れる。便宜上、穴Ａに対応する黒のかたまりの画像なａ
”と呼び、そして、六Ｂに対応するそれを“ｂ”と呼ぶ
。

ステップＳ６２では穴Ａの面積Ｓ、が演算される。この
面積の演算は連結領域”ａ”の黒ドツトの数を数えるこ
とによりなされる。ステップＳ６４では、連結領域“ａ
”のＸ軸方向、Ｙ軸方向のヒストグラムが計算される。

このヒストグラムは第２１図の（ａ）と（ｂ）部分に示
されている。

穴Ａは円としているので、Ｙ方向ヒストグラムの極大値
に対応する座標値が穴Ａの重心のＸ座標値Ｘ　ＷＡであ
る。同じ（、Ｘ方向ヒストグラムの極大値に対応する座
標値が穴Ａの重心のＹ座標値Ｙ。

である。このステップＳ６２．ステップＳ６４゜ステッ
プ３６６の手法を、“ｂ　”とラベル付けされた穴Ｂに
ついても適用し、ステップ３７０〜ステツプＳ７４で、
穴Ｂの面積Ｓ６、その重心座標Ｘｂ、Ｙ、を計算する。

ステップＳ７６では、穴Ａ、Ｂの重心（Ｘ、、Ｙ４）、
（ｘＩｌ、ｙＩｌ）間の距離りを、Ｌ＝（（Ｘ、　　−Ｘｂ　）”　＋　（Ｙａ　−Ｙｂ）
”ｌ””から計算する。また、ステップ３７８では、穴
Ａ、Ｂの重心（Ｘ、、Ｙ４）、（Ｘ、、Ｙｂ）の中央位
置をワーク重心となるように、℃を設定する。また、ス
テップＳ８０では、２つの穴の重心間を結ぶ直線α（第
１０図参照）を定義する。

かくして、ワークのパラメータを抽出し、そのパラメー
タがメモリ１０５に格納された。そして画像処理装置側
の準備作業は終了した。

把ヱ」１作４１庄迦第１９図は、ロボットが目標のワークをビックし、その
ワークを所定の位置にプレースする動作を、連続して行
なう場合に、ロボット制御装置１２と画像処理装置１１
の支援の下で行なうところの、ロボット制御装置１２の
制御（第１９図の左側）と画像処理装置１１の制御（第
１９図の右側）とを図示する。即ち、１つのワークをビ
ックしプレースする動作を繰返すためには、第９図のよ
うな、ＶＲＥＡＤ　（１，ｎ）、ＶＭＯＶＥ　（１，ｎ
）、ＶＭＯＶＥ　（１，ｎ＋１）、ＯＮ　１．ＶＭＯＶ
Ｅ　（１，ｎ）の命令を繰返す。ここで、（１，ｎ）は
第１１図で説明した目標セル上方の位置Ｐを、　（１，
ｎ＋１）は目標ワークの招待位置Ｑを表わす。これらの
プログラム命令は制御プログラム２０２によりマクロ命
令に変換されて実行される。第１９図は、このようなマ
クロ命令の実行順序に即して記されている。

第１９図のステップ３２０〜ステツプＳ２４はＶＲＥＡ
Ｄ　（１，ｎ）のマクロ命令に相当する。即ち、ステッ
プＳ２０では、セル位置（１，ｎ）の座標値、ｎ＝１の
ときは（３００，２００，Ｏ，Ｏ）がメモリ２０３から読出される。そして、ステップＳ２
２では算出される。ステップＳ２２で、このセルの座標
値を通信制御部２０９を介して画像処理装置１１に送る
。画像処理装置１１は通信制御部１１１を介して上記座
標値を受信する。

この座標値を受けた画像処理装置１１はステップＳ４２
で、目標ワークのロボット座標系についての重心位置（
ｘ、、、ｙ、４）　、ロボット座標系の座標軸に対する
傾きφを算出して、通信制御部１１１を介して制御装置
１２に送る。ステップＳ４２におけるワークの重心位置
の算出は、セルの画像からワークの画像を探索すること
が前提となる。

ステップＳ２６　　Ｓ２７はＶＭＯＶＥ　（１，ｎ）。

ＶＭＯＶＥ　（１，ｎ＋１）に対応する。即ち、ステッ
プ８２６では、画像処理装置１１が検出したワークの重
心位置（Ｘ、ｌｌ、　Ｙ、４）が、ステップＳ２０で画
像処理装置ｌｌに送った座標位置と大きなずれがないか
を判断する。これは以下の理由による。ワークはセル内
で自由な位置にあるとは言え、セル外に出ることはない
。従って、画像処理装置１１が検出したワークの重心位
置（Ｘｗｌｌ、Ｙｗｌ＋）が、ステップＳ２０で画像処
理装置１１に送った座標位置と、例えば、セル１つ分の
大きさでずれていれば、それは、画像処理装置があやま
って別のセルのワークを認識したことに他ならない。そ
こで、かかる場合はステップＳ３２に進んで、エラー処
理、例えば、警告表示を行なったり、システムを停止す
る等の処理を行なう。誤差がなければ、ステップＳ２７
で、アームを移動する。即ち、第１１図のように、ハン
ド８をＰ点に移動し、次にＱ点に移動する。

ステップ８２８は命令ＯＮ　Ｉに対応する。即ち、フィ
ンガー８の吸着機構をオンしてワークをビックする。ス
テップＳ３０はＶＭＯＶＥ　（１，口）に対応する。即
ち、ワークを把持したハンドをＰ点に退避して、更に、
当該ワークを所定の位置（第１図の作業台９）まで持っ
ていってプレースする。

ワークの　　）　　のステップＳ４２における、目的ワークのロボット座標系
における重心位置を算出する手順は第２０図に詳細に示
される。

第２０図のステップ５１００では、ロボット制御装置１
２から受は取ったセル位置（ｐ　ｘＲ。

Ｐ、□　１）を（１）式に従ってセンサの座標系による
座標値に座標変換する。ステップ５１０２では、センサ
座標系によるワーク位置（Ｐ　ｘｖ。

ＰＹＶ、１）に対し、ワークの画像を探索するための処
理領域ＰＡを決定する。第１５図はカメラｌＯ内に設け
られたＣ、ＣＤセンサの視野を示す。

この処理領域ＰＡは第１５図に示すように１幅△８．△
、を有する。即ち、処理領域ＰＡを、島≦Ｘｖ≦Ｘ。

Ｙ８≦Ｙｖ５Ｙ。

とすると、ｘ、＝ｐ、ｖ−△工／２ｘ、＝ｐ、ｖ＋△８／２゜Ｙｓ＝ＰＹｖ−△７／２Ｙ　−”　Ｐ　ｙｖ＋△Ｙ／２）とする。この処理領域ＰＡは１つのセルよりも大きいサ
イズを要する。ＰＡの大きさ位置に関する情報はカメラ
１０に送られる。すると、カメラ１０は、第１９図のス
テップ５１０４で領域ＰＡの画像データだけをフレーム
メモリ１１０に送る。

このようにして得られたものを第１６図に示す。

この第１６図には、一定の濃度を有した領域であって、
連続した連結領域ａ　％　ｆが示されている。

これらの連結領域は目的のワークの画像もあれば、パレ
ットの壁もあり、また他のワークの画像の一部もある。

ステップ５ＩＯ６では、フレームメモリ１１０の画像デ
ータな二値化する。

ステップ５１０８〜ステツプＳｌ　１４は領域ＰＡ内の
全ての連結領域にラベル付けをする手順を示す。即ち、
ステップ５１０８で１つの連結領域ａｆｉを見付ける。

連結領域を見付ける手法は第２１図で説明した通りであ
る。ステップ５１１０ではその連結領域の面積Ｓ。を演
算し、ステップ５１１１ではその重心位置を検出する。

重心位置の検出は第２１図に関連して説明した。

領域ＰＡ内の全ての連結領域にラベル付けが終了すると
、これらの連結領域のなかから、穴Ａ。

Ｂに対応する連結領域を、ステップ８１１６〜ステツプ
５１２４で探索する。即ち、ステップ８１１６で、任意
の連結領域を２つ取出す。この２つの連結領域の面積の
小さい方をＳ＾°、大きい方をＳＢｏとする。ステップ
５１１８で、選んだ２つの連結領域が、ワークの穴Ａ、
Ｈに相当するか否かを調べるために、ＳＡ°″ｒＳＡ、且つ、Ｓ、　　＝Ｓ。

を判断する。ここでＳＡ、Ｓ、はメモリ１１５に前もっ
て記憶されていた特徴パラメータである。

ステップ５１１８で、上記条件が満足していると判断さ
れたならば、ステップ５１２０で、この選択された２つ
の連結領域の各重心間を結ぶ距離Ｌ゛を演算し、ステッ
プ５１２２で、Ｌ　　ｒ　Ｌを判断する。ここで、Ｌはメモリ１１５に前もって記憶
されていた特徴パラメータである。ステップ８２２８で
、上記条件が満足していると判断されたならば、この２
つの連結領域を包含するものは目標のワークと判断して
間違いないので、ステップ５１３０で、この２つの連結
領域の重心間の中央位置を演算し、この位置を目標ワー
クの重心とする。今、この２つの連結領域の夫々の重心
位置を、（ｘ、ｖ、　ｙ、ｖ）、（ｘｔｌ、、　ｙ、ｖ）とする
と、これらの間の距離りは、ｔ、＝（（ｘａｖ　−Ｘｂｖ）”　＋　（Ｙａｖ　−ｙ
ｂｖ）”ｌ””である。ここで、視覚座標系であること
を示すために、Ｘ、等に添字Ｖを付した。従って、ワー
クの重心（Ｘ、Ｖ、　Ｙｗ４）は、Ｌ　　　　　　Ｌ（ｘ、　ｖ−＋、Ｙ、、−−）２となる。ステップ５１３２では、穴Ａ、Ｂを結ぶ直線α
とセンサ座標系のＸｖ軸とが角度φを計算する（第１３
図を参照）。ステップ５１３４では、センサ座標系のワ
ークの重心（Ｘ、ｖ、　ＹＷＶ）を（２）式に従ってロ
ボット座標系の（Ｘ、Ｒ，ＹＷＲ）に変換する。第１９
図のステップＳ４４ではこの（Ｘｗ、、　Ｙ、、ｌ）と
、ワークのロボット座標系ＸＲに対する傾き θ＋φ をロボット制御装置１２に送出する。

第１９図のステップ５１２４で、全ての連結領域を調べ
ても、目標ワークが見付からなかった場合にはステップ
５Ｌ２６でエラー処理を行なう。

天上ｕ性ｍ里以上説明した実施例によれば、パレット上に配置された
複数のワークを視覚センサをもちいて、順次、ロボット
により取り上げ／組付を行なって行く作業において　ロ
ボット側にワークの概略配置のデータ及びワークを取っ
た進行状態を記憶しておくのみで、ワークを正確に、且
つ残すことなく、順次、把持することがＣきる。また、
パレットが空になった場合には、タイミングより、パレ
ットの供給装置等又は作業者に対してパレットの交換要
求を出すことが可能となった。

また、視覚センサは、パレット内のワークの管理等を行
なう必要から開放され、ロボットにより指定されたワー
クの位置の測定をするだけでよく、処理時間の延長にも
な０ず、晶速に組付作業を行な、える効果もある。

また、本実施例では、ロボット座標系とセンサ座標系間
で座標変換が行なわれているので、ロボット制ｆ！ｌｉ
装置１２側では、自分が送った把持位置と画像処理装置
１１が返してきた把持位置とを比較することが可能とな
り、画像処理装置の誤認識の検出が可能となる。

支形本発明はその主旨を逸脱しない範囲で種々変形が可能で
ある。

例えば、上記実施例では、マトリックス状にパレット内
に配置されたワークについて説明したが、パレット内の
ワークの配置は、これにかぎらず、たとえば、直線等の
一列に並べても構わず、また、パレット内にランダムに
収納されていてもよい。要は、パレット内におけるワー
クの位置が大体法まっていればよく、その各ワークの概
略の位置をロボットに教えこまずことができることが重
要である。

また、第２２図のような変形例を提案する。第１図の実
施例に用いるカメラ１０に装着されたＣＣＤセンサは４
０万画素の視野を有する。このＣＣＤセンサはパレット
の全面を一度に見ることができる。従って、もしパレッ
トが大きくで、センサの解像度を落とすことが許されな
いのであれば、ＣＣＤセンサの大きさを大きくせざるを
得ずこれはコスト高（こ結びつく。第２２図の変形例は
、小さなＣＣＤセンサの使用を許容するものである。こ
のセンサを、カメラｌＯの焦点面に沿って、Ｘ方向アク
チュエータとＹ方向アクチュエータとにより、ステップ
５１０２で設定した領域ＰＡに移動することができる。

また、第１図実施例では、セルの大きさは一定であり、
ワークも１種類とした。本発明は、セルの大きさが異な
っていても、また、１つのパレット内で異なるワークが
存在する場合にも適用できる。この場合は、セルの位置
とそのセルの大きさとそのセル内のワークの種類との対
応とを、制御装置〕２が画像処理装置１１へ送ればよい
。また、１つのセル内に複数のワークが存在する場合に
も本発明を適用できる。

また、第１図実施例では、１つのワークを把持するのに
、ＶＲＥＡＤとＶＭＯＶＥという組合せ命令を用いてい
た。これは、ロボット制御装置１２と画像処理装置１１
とが分離独立して設けられ、互いに独立して動作する構
成となっていたためである。本発明はこれに限定されな
い。ロボット制御装置１２と画像処理装置１１とが一体
化されれば、１つのワークの把持動作を１つの命令で言
己述することができる。

前記実施例では、座標変換を行なっていたが、ロボット
座標系とセンサ座標系とを正確に前もって一致させてお
くことが可能であったならば、上記座標変換は不要とな
る。

また、前記実施例では、座標変換は、視覚系で行なわれ
ていたが、ロボット制御装置側で行なってもよい。

また、前記実施例では、穴Ａ、Ｂの重心位置は第２１図
に説明したように、ヒストグラムの極大値をとる位置を
重心位置と定めたが２次のようにしてもよい。即ち、第
２１図で、全ドツトの数がｎ個の場合は、頻度の累積が
ｎ／２となる点を重心とする。この手法によれば、対象
でない形状の穴等についても重心を演算できる。

［発明の効果］以上説明したように、本発明によれば、収納ケース内に
自由に収納された複数のワークのなかから、目標のワー
クを正確に把持することのできる把持装置を提供できた
。

【図面の簡単な説明】

第１図は本発明を組立ロボットに適用した場合の該ロボ
ット装置の全体斜視図、第２Ａ図は従来及び本実施例にも使用可能なワークの形
状を示す斜視図、第２Ｂ図は第２Ａ図のワークをパレット２に収容したと
きの斜視図、第２Ｃ図は第２Ｂ図のＸＸ線破断図、第３図は従来例におけるパレットの精度が必要なことを
説明する図、第４Ａ図はワークをパレット２に収容したときの斜視図
、第４Ｂ図はそのＸＸ線破断図、第５図は本実施例におけるパレットの精度が必要ないこ
とを説明する図、第６図は第１図実施例におけるロボット側の制御装置の
構成を示すブロック図、第７図は同実施例における画像処理側の制御装置の構成
を示すブロック図、第８図は複数のワークについての把持位置の概略値を示
すテーブル、第９図は第１図の装置に用いられるプログラムの一例を
示す図、第１０図は第１図装置に用いられる一例としてのワーク
の特徴を説明する図、第１１図は第１図のロボットがワークを把持するときの
ハンドの通り道を示す図、第１２図は、ロボット座標とパレットとの位置関係を説
明する図、第１３図はパレット内の特定のワークが、ロボット座標
系と視覚センサ座標系と取る位置関係を示す図、第１４図はロボット座標系と視覚センサ座標系との位置
関係を説明する図、第１５図は画像処理装置における画像処理対象領域ＰＡ
を説明する図、第１６図は画像処理装置ＰＡの画像を示す図、第１７Ａ
図、第１７Ｂ図は夫々、ワーク組立てのために行なわれ
る準備処理のための、ロボット制御装置と画像処理装置
の手順を説明するフローチャート、第１８図は準備処理における特徴パラメータ算出手順の
フローチャート、第１９図は実際のワーク組立の制御手順を示すフローチ
ャート、第２０図は目的ワークの正確な把持位置を検出する手順
を説明するフローチャート、第２１図はラベリング処理を説明する図、第２２図は本
発明の変形例のセンサ移動機構を説明する図である。図中、ｌ・・・ワーク、２．６・・・パレット、７・・・アー
ム・８・・・ハンド、９・・・組立ステーション、１０
・・・カメフ、１ ■ ・・・画像処理装置、２・・・ロボット制御袋置、３・・・通信線である。第図第２Ｃ図第３図第４Ａ図第４Ｂ図第５図ロ爪′Ｉト＃ｌｌＩ會部［直第因第図（Ｘｗ、Ｙｗ）第１０図第１１図第１２図第１３図第４図第１５図第（６図第１７Ｂ図ａ第２１図

Claims

【特許請求の範囲】（１）１つの収納ケースに収納された複数のワークのな
かから目標ワークの収納位置を視覚センサを用いて認識
することにより、この目標ワークを把持するワーク把持
装置であって、前記目標ワークの形状特徴を表わす情報を前もって記憶
する記憶手段と；前記目標ワークの前記収納ケース内における概略的位置
であって、この把持装置の座標系で表わされるところの
位置情報を外部から入力する入力手段と；前記視覚センサで得たワークの画像情報上で、上記概略
的な位置情報と形状特徴を表わす情報とに基づいて、前
記目標ワークのこの把持装置の座標系における座標位置
を測定する測定手段とを具備したワーク把持装置。（２）前記測定手段は：前記入力手段が入力した座標位置を、前記視覚センサの
座標系における座標位置に変換する第１の変換手段と；前記センサが得た前記画像情報上で、前記視覚センサの
座標系に変換された座標位置の近傍に、前記目標ワーク
の形状特徴に近い画像を探索する探索手段と；探索された画像の重心位置を演算する演算手段と；この重心位置を前記目標ワークのこの把持装置の座標系
における前記座標位置に変換する第２の変換手段とを具
備したことを特徴とする請求項の第１項に記載のワーク
把持装置。（３）前記視覚センサは、この把持装置の本
体に対して固定されたカメラの焦点領域内に置かれてい
ると共に、且つ、そのセンサの視野は前記収納ケースの
全体を略カバーし、前記探索手段は、更に：前記視覚センサの座標系に変換された前記座標位置を中
心にして、前記収納ケースの収納単位の大きさに大体近
い領域を、前記収納ケースの全体の前記画像情報上に設
定する手段と；この設定された領域内で前記目標ワークの形状特徴に近
い画像を探索する手段とを具備した事を特徴とする請求
項の第２項に記載のワーク把持装置。（４）前記複数のワークの各々は、このパレット内の前
記概略位置の周辺に任意に収納される事を特徴とする請
求項の第１項に記載のワーク把持装置。（５）前記視覚センサは、この把持装置の本体に対して
固定されたカメラの焦点領域内に置かれていると共に、
その視野は前記収納ケースの収納単位の大きさに大体近
い領域をカバーし、前記探索手段は、更に：前記入力手段が入力した座標位置を、前記視覚センサの
座標系における座標位置に変換する第１の変換手段と；前記センサの本体を、前記視覚センサの座標系における
前記座標位置に移動して、その位置での画像を取込む手
段と；上記手段で取込んだ画像内に、前記目標ワークの形状特
徴に近い画像を探索する探索手段と；探索された画像の
重心位置を演算する演算手段と；この重心位置を前記目標ワークのこの把持装置の座標系
における前記座標位置に変換する第２の手段とを具備し
た事を特徴とする請求項の第２項に記載のワーク把持装
置。（６）更に、（ａ）：把持シーケンス制御を行なう第１の制御回路と
；（ｂ）：画像処理制御を行なう第２の制御回路と；（ｃ
）：第１、第２の制御回路をデータ通信で接続する通信
回路とを更に備え、前記第１の制御回路は：（ａ＿１）：前記入力手段としての、前記概略的な位置
情報を把持命令として入力するための入力回路と；（ａ＿２）：前記測定手段が測定したところの前記目標
ワークのこの把持装置の座標系における前記座標位置を
、前記通信回路を通して受信する回路とを具備し、前記第２の制御回路は：（ｂ＿１）：前記入力回路からの把持命令を前記通信回
路から受信し、この把持命令を、前記視覚センサの座標
系における座標位置に変換する回路と；（ｂ＿２）：上記回路により変換された座標位置近傍の
前記収納ケースの画像を読取る読取り回路と；（ｂ＿３）：読取られた画像内に、前記目標ワークの形
状特徴に近い画像を探索する探索回路と；（ｂ＿４）：探索された画像の重心位置を演算する演算
回路と；（ｂ＿５）：この重心位置を前記目標ワークのこの把持
装置の座標系における前記座標位置に変換する回路とを
具備した；事を特徴とする請求項の第２項に記載のワーク把持装置
。（７）前記入力手段が入力した前記概略的な位置情報と
、前記測定手段が測定した目標ワークの座標位置とを比
較する手段と、この比較結果が両者の位置が大きく異なることを示すと
きに、警告を報知する手段とを更に具備した事を特徴と
する請求項の第２項に記載のワーク把持装置。（８）前記ワークの表面に、当該ワークを識別するため
の特徴的な切り欠きが特に形成され、収納ケースのワー
クを収納するセルには、前記ワークが自由に動く空間が
形成されている請求項第１項のワーク把持装置に用いら
れるワーク及び収納ケース。