JPH04352203A

JPH04352203A - 視覚を用いた自動把持装置の制御方法及び制御装置

Info

Publication number: JPH04352203A
Application number: JP12717391A
Authority: JP
Inventors: Katsumi Ishihara; 石原勝己; Yusaku Azuma; 雄策我妻; Youzou Touhou; 東方　容三; Masaru Shibata; 優柴田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1991-05-30
Filing date: 1991-05-30
Publication date: 1992-12-07
Anticipated expiration: 2013-12-09
Also published as: JP2834597B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、把持対象のワークの画
像からそのワークの把持位置を認識し、その上で該ワー
クを把持する自動把持装置を制御するための制御方法及
び制御装置に関する。

【０００２】

【従来の技術】自動組立装置の制御において手間がかか
る作業はワーク等の位置座標のテイーチングである。ロ
ボットはテイーチングされた位置にしかハンドやフィン
ガーを移動できないために、そのテイーチング位置が不
正確であったり、誤ったりしていると、組立動作を失敗
したり、ハンドやフィンガーを破壊してしまったりする
。

【０００３】そこで、昨今、視覚センサ（例えば、ＣＣ
Ｄカメラ）を備えた自動組立装置が提案されている。こ
のような自動組立装置の例として、例えば、特開昭６０
−５６８８４号、特開昭６０−１２３９７４号、特開昭
６２−１４０７２４号等がある。また、本出願人からの
提案された技術として、特願平１−７１８９５号、２−
５５０３２号がある。これらは、視覚センサによりワー
クの画像を取り込み、この画像から画像処理によりワー
ク位置をロボット座標系に変換して、このロボット座標
系のワーク位置に基づいて組立作業を行なうものである
。

【０００４】このような従来の視覚センサを備えた自動
組立装置は、ロボツト・ハンド等の動作を制御するロボ
ツト制御装置と、ＣＣＤカメラの画像を入力し処理する
画像処理装置とを有し、さらに、これらを例えばＲＳ２
３２Ｃ等のケーブルで電気的に結合させ、各々の両方の
制御装置に通信可能とするインターフエース及び通信プ
ログラムを準備するのが普通である。

【０００５】そして、ロボツト制御装置内には、一連の
ロボツトの動作プログラムをあらかじめ入力する。この
プログラムには、前記インターフエース及びケーブルを
通して、画像処理装置に対して情報を送つたり受けたり
する命令を用いる。同様に、画像処理装置内にも、ワー
クの画像入力から、その画像から認識処理を行なう一連
のプログラムと、その一連のプログラム内に、上記のロ
ボット制御装置との間でその通信手段を通して情報の授
受を行なわせる命令を準備しておくように構成する。

【０００６】

【発明が解決しようとしている課題】しかしながら、上
記従来例では、上述したように、それぞれ独立で動作可
能な、画像処理装置とロボツトの制御装置とを準備し、
それぞれを通信手段で連結して連係させて、一連の組立
動作を行なわせるようにするため、次のような欠点があ
つた。 ■：画像処理装置とロボツト制御装置のそれぞれに、一
連の動作又は処理を行なわせる命令を解釈するためのコ
ンピユータ等の解釈実行手段と、それらのプログラムと
を別個に準備する必要があり、コストＵＰとなる。 ■：■のように、ＣＰＵを別個に準備した場合、一連の
組付動作が約２秒で行なわれるのに、そのなかで画像処
理に必要な時間が０．３秒程度であり、画像処理装置内
のＣＰＵは大部分の時間は何ら仕事を行なわないことに
なる。

【０００７】■：上記２つの制御装置をごく一般的なＲ
Ｓ２３２Ｃでつなぐと、通信に時間がかかり、組付時間
がなんら価値を生まない通信により伸びてしまう。 ■：２つの命令解釈のためのＣＰＵが必要であるという
ことは、２つの動作命令解釈プログラムを準備しなけれ
ばならず、それらのプログラムメンテナンス等に時間が
かかる。 ■：２つの制御装置の各々に、キーボード，ＣＲＴ等の
入出力手段を準備する必要があり、かつ、それぞれをサ
ポートするプログラム及びインターフエースを準備する
必要があり、コストＵＰとなる。 ■：画像処理装置側のＣＰＵは、ロボツト制御装置から
来る処理の開始指令を常に待つ動作をさせておく必要が
ある。

【０００８】これらの問題は、全て、画像処理と把持と
いう異なる性質の制御プログラムを別々に実行している
からに他ならない。

【０００９】本発明は上記従来技術の問題点に鑑みて提
案されたものであり、その目的は、画像処理部に対する
処理命令とロボツト及びハンド等における把持動作命令
とを解釈し、これらの画像処理部及び把持部に命令を発
行する命令解釈手段を１つにすることにより、画像処理
プログラムと把持動作プログラムの解釈を一元化した自
動把持装置を制御するための制御方法及び制御装置を提
供するものである。

【００１０】

【課題を解決するための手段】上記課題を達成するため
の本発明の、視覚を用いた自動把持装置の制御装置は、
ワークの画像を撮像し、この画像から前記ワークの位置
情報を算出する画像処理部と、前記ワークを前記位置情
報に基づいて把持する把持部とからなる自動把持装置を
制御する制御装置であって、前記ワークを撮像しそのワ
ークの画像から位置情報を算出する一連の画像処理命令
とこのワークを前記位置情報に基づいて把持する一連の
把持動作命令とを含むプログラムを記憶する記憶部と、
このプログラム中の前記画像処理命令と把持動作命令と
を識別して解釈すると共に、前記画像処理命令と把持動
作命令とを夫々対応する中間命令コードに変換し、変換
された命令コードを夫々前記画像処理部及び把持部に渡
すための１つの解釈部とを具備したことを特徴とする。

【００１１】上記課題を達成するための本発明の、視覚
を用いた自動把持装置の制御方法は、ワークの画像を撮
像し、この画像から前記ワークの位置情報を算出する画
像処理部と、前記ワークを前記位置情報に基づいて把持
する把持部とからなる自動把持装置を制御する制御方法
であって、前記ワークを撮像しそのワークの画像から位
置情報を算出する一連の画像処理命令とこのワークを前
記位置情報に基づいて把持する一連の把持動作命令とを
含むプログラムを、前記画像処理命令と把持動作命令と
を識別して解釈し、前記画像処理命令と把持動作命令と
を、夫々対応する中間命令コードに変換し、変換された
命令コードを夫々前記画像処理部及び把持部に渡すこと
を特徴とする。

【００１２】

【実施例】以下添付図面を参照しながら本発明の実施例
を詳細に説明する。この実施例は、本発明を、所謂シャ
トル式の自動組立装置の制御装置に適用したものである
。〈全体構成〉図１はこの実施例のロボット組立装置とそ
の制御装置からなるシステムの斜視図である。このシス
テムは、大きくは、部品供給装置１１，１２と、組立を
行なうシャトル式のロボット６と、自動組立制御装置１
７とからなる。

【００１３】９はロボット６を搭載するシヤトルである
。シヤトル９はシヤトル移動用モータ６ｅにより、ガイ
ド１６ａ，１６ｂ上を一方向に移動可能となつている。１５はシヤトルベースであり、本実施例では床に固定さ
れ、上面にガイドレール１６ａ，１６ｂが平行な状態で
ボルト等にて取付けられている。

【００１４】シヤトル９は制御装置１７により、あらか
じめ教示された位置へ移動停止するように制御される。また、シヤトルベース１５には、パレツト等に収納され
た組立てる為の物品を供給する為の部品供給装置１１，
１２が取り付けられている。本実施例のシステムでは、
異なる２つの部品が供給可能な２つの第１の部品供給装
置１１と第２の部品供給装置１２が設けられている。そ
れぞれの供給装置は、複数のパレツト１３ａ，１３ｂを
収納可能であると共に、夫々の供給制御部１４，２１が
パレツト内の部品が空になるとその空のパレットを部品
を収納した新たなパレツトと交換するように供給装置１
１，１２を制御する。

【００１５】組付用のロボツト６はシヤトル９上に固定
されているものの、部品供給装置１１，１２から部品を
取れるように、そのパレツト１３ａ，１３ｂの位置まで
１６ａ，１６ｂのガイドレールに沿つて移動する。

【００１６】本実施例のロボツトは、いわゆる水平多関
節の４自由度をもつたもので、モータ６ａ，６ｂにより
水平の２本のアームが駆動され、モータ６ｃによりアー
ム先端部が昇降し、モータ６ｄにより前記アーム先端部
が回転させられる。なお、ロボツト６の手首部にはハン
ド７が取りつけられており、３つのモータ２２ａ，２２
ｂ，２２ｃによりフィンガーが駆動され、部品を把持す
ることが可能である。なお、前記６ａ，６ｂ，６ｃ，６
ｄ，６ｅ，２２ａ，２２ｂ，２２ｃのモータは制御装置
１７によりあらかじめ記憶されている動作に従つて動作
するものである。

【００１７】図１におけるロボツト６の位置は部品供給
装置１１上のパレツト１３ａ上の部品をつかむことが可
能な位置にある。ハンドの脱着部７ａは、制御装置１７
の指令により不図示のクランパーを解放することにより
外れる。ハンドの保持台１０は複数のハンドを保持して
おくためのものである。ロボツト６は、保持台１０上の
任意のハンドを制御装置１７の指令により自動で付ける
ことも可能であり、かつ、現在手首部に取り付いている
ハンドをハンド保持台１０に外して乗せることも可能で
ある。また、組付ステージ８はロボツト６がつかんだ部
品を組立てる場所であって、必要に応じてガイド，補助
機能を付けることが可能である。この補助機能の動作が
必要な場合は、組付ステージ８上に駆動源を置き、この
駆動源を制御装置１７とケーブルでつなぐことにより制
御可能となる。また、組付ステージ８はロボツト６と同
じくシヤトル９上に乗つているために、ロボツト６がパ
レツトより部品をつかんで、わずかに上昇した後は、シ
ヤトル９が移動を開始しても、ロボツトの組付動作を続
行することが可能である。

【００１８】５は視覚柱であり、その根元はシヤトル９
上に固定されている。先端部にはＸＹテーブル３が設け
られている。ＸＹテーブル３の固定部にはレンズ１が取
り付けられている。ＣＣＤカメラ２は、ＸＹ２方向のス
テツピングモータ４ａ，４ｂにより移動可能となってい
る。即ち、レンズ１は１つのパレットの全領域を視野に
入れているが、ＣＣＤカメラ２を移動することにより、
パレットの任意の部分領域を高精度に画像情報として取
り込むことが可能である。つまり、１３ｂのパレツト全
面をレンズ１を通して結像させた面内を結像面積より十
分小さなＣＣＤに移動させ、１３ｂのパレツトの入力さ
せたい場所のみの画像情報を取り込むようにしている。

【００１９】視覚柱５はシヤトル９上に搭載されている
ために、組付けたい部品を収納した供給装置へシヤトル
と共に移動される。ピツクする部品を収納しているパレ
ットの画像は、その画像を入力可能な位置にＣＣＤカメ
ラ２（即ちシャトル９）を移動させることで得ることが
でき、その画像を処理して、その処理結果に応じてロボ
ツトにより前記画像処理した部品を把持できる。

【００２０】組立装置全体の制御をする自動組立制御装
置１７はケーブル１８にてロボツト６，シヤトル９，Ｘ
Ｙテーブル３，ハンド７等のアクチユエータの制御及び
不図示のセンサーの入力等が可能となつている。１９は
ＣＲＴで、２０はキーボードで入出力が可能となる。

【００２１】〈実施例装置の特徴〉この実施例システム
に特有の機能は、主に、後述の制御装置１７により実現
される。そのような機能とは： ■：組み付け対象（把持対象）の部品を、パレット内で
特定し認識するために、パレット内の部品の画像を取り
込んで、パターンマツチングを行なう。この認識により
、パレット内にどのように部品が収納されていても、部
品の認識が可能となる。 ■：パターンマツチングにより、目的とする部品の存在
がパレット内に認識できると、その部品の位置を視覚系
の座標系で認識し、更に、ロボット系の座標系に変換す
る。ロボットは、ロボット系の座標系での把持位置で目
的部品を把持することができる。

【００２２】■：目的の部品を認識する処理を記述する
画像処理プログラムと、認識された部品を把持し移動す
る制御を記述する組み付けプログラムとは、後述の命令
解釈部８７内のＲＡＭ５２に中間コードに変換されて記
憶されている。これらの２つのプログラムは、マルチタ
スク制御により実行される。 ■：画像処理プログラム（タスク）は、組み付けプログ
ラム内に含まれる特別なタスク起動命令により起動され
る。起動された画像処理プログラムは組み付けプログラ
ムと並列処理される。

【００２３】■：中間コードにあらかじめ変換されてい
る画像処理プログラムと、組み付けプログラムは同じ命
令解釈部により解釈され、それらに含まれる種々の命令
は、命令コードに変換される。命令コードに変換するこ
とにより、画像処理プログラム中の命令と組み付けプロ
グラムのそれとの性質上の相違を吸収し、画像処理プロ
グラムと組み付けプログラムとの一元管理が容易になる
。 ■：画像処理プログラムの命令コードは、後述のデユア
ルポートＲＡＭに記憶される。また、組み付けプログラ
ムの命令コードは後述の共有メモリ６０に記憶される。デユアルポートＲＡＭの使用により、画像処理部のマイ
クロコンピユータと動作制御部におけるマイクロコンピ
ユータとを夫々の目的に適したものから選択することが
可能となる。

【００２４】以下、制御装置１７の構成及びそこにおけ
る動作について説明する。〈制御装置１７の構成〉図２は制御装置１７の全体構成
図である。この制御装置１７は、ロボット６の４軸のモ
ータ（６ａ乃至６ｄ）とシャトル９のモータ６ｅを駆動
制御するロボット動作制御部６２と、ハンド７の３軸の
モータ（２２ａ乃至２２ｃ）を駆動制御するハンド動作
制御部６３と、ＸＹテーブルの駆動モータ４ａ，４ｂを
制御すると共にカメラ２を制御する画像処理部６４と、
２つの供給装置１１，１２の制御部１４，２１とのイン
ターフェースを司どるインターフェース５４と、ロボッ
トプログラムの命令の解釈実行を行なう命令解釈部８７
と、上記ロボット動作制御部６２，，ハンド動作制御部
６３，画像処理部６４，命令解釈部８７間で共有される
共有メモリ６０とを有する。これらの構成要素はシステ
ムバス５９に接続されており、本実施例では、このバス
５９はマルチバスである。

【００２５】命令解釈部８７命令解釈部８７について図２により説明する。５０はＣ
ＰＵで、５１はＲＯＭである。このＲＯＭ５１内には、
図５に示すように、ロボット言語命令の解釈プログラム
と、この命令解釈プログラム中の視覚処理命令とロボツ
ト及びハンドの動作命令の夫々を必要に応じて解釈する
マルチタスク・オペレーテイング・システム（以下、「
ＯＳ」と略す）と、それらをサポートする種々のプログ
ラムがあらかじめ記憶されている。これらのプログラム
の詳細については後述する。

【００２６】命令解釈部８７のＲＡＭ５２内にはキーボ
ード２０により入力されたところの、画像処理プログラ
ム及びロボツト／ハンドのための動作プログラムが収納
されている。

【００２７】命令解釈部８７内の各要素はローカルバス
８６により接続されている。即ち、ローカルバス８６に
はＲＯＭ５１とＲＡＭ５２とインターフエースＩＦ５３
が結合されている。ＲＡＭ５２内のデータは、ＣＲＴ１
９に表示することが可能であり、キーボード２０により
入力することも削除等することも可能である。また、本
システムの実際の動作の指令はキーボード２０により行
なう。

【００２８】６２，６３はロボツト及びハンドのための
動作制御部である。これらの制御部６２，６３は、共有
メモリ６０内に、ロボツト動作及びハンド動作に対応す
る命令コードが書かれると、その命令コードに従つた動
作処理を行ない、各デバイスつまり各モータ６ａ〜６ｅ
の回転・停止を行なう。前述したように、上記命令コー
ドは、命令解釈部８７がこの共有メモリ６０に書込む。

【００２９】画像処理部６４は部品を認識するための画
像処理を行なう部分で、ＩＦ６１に書き込まれた命令コ
ードにより処理を行なう。６９は公知の磁気式の外部記
憶手段であり、たとえばフロツピーデイスクドライブ又
はハードデイスクドライブであり、ＩＦ５３を通し、ロ
ボツト・ハンドの動作命令画像の処理命令をキーボード
２０を操作することにより記憶させることが可能となつ
ている。

【００３０】また、外部のコンピユータ等で記憶させて
あるフロツピーデイスク又はすでに記憶してあるフロツ
ピーデイスクをもつて来ることにより、ＲＡＭ５２内に
処理命令，動作命令をそれぞれのきめられた領域に格納
することも可能である。

【００３１】部品供給装置の制御部１４，２１は、光通
信回路５６ａ，５６ｂをもち、シヤトル９上の光通信回
路５５ａ，５５ｂと情報の授受が可能となつている。こ
れらの光通信回路はそれぞれ発光手段と受光手段を持ち
、それぞれ発光と受光が対向し、ロボツト６が所定の供
給装置の位置で停止したとき、通信可能となる。

【００３２】インターフェースＩＦ５７は外部のコンピ
ユータ等との通信するためのインターフエースであり、
本組立装置内の情報を外部へ送つたり、外部からの情報
の入力を行なう。たとえば、無人倉庫を管理するコンピ
ユータと通信することで、パレツトの自動配送のタイミ
ングを算出することも可能である。５９はＣＰＵ５０と
６２のロボツト動作部６３ハンド動作部６１のＩＦ６１
と共有メモリ６０を結ぶコモンバスであって、本実施例
ではマルチバスである。

【００３３】解釈部８７のＣＰＵ５０で解釈実行され生
成された命令コードは共有メモリ６０にセツトされる。これらの命令コードをロボツト動作制御部６２又はハン
ド動作制御部６３が受ける。制御部６２，６３において
実際の動作を行ない動作が終了すると、共有メモリ６０
上へ前記制御部が動作の終了信号を書き込む。

【００３４】また、ＣＰＵ５０で解釈実行された命令が
画像処理に関連する命令である場合、その命令コードは
ＩＦ６１内に設けられたツー・ポートＲＡＭ（２−ＰＯ
ＲＴ−ＲＡＭ）内に書かれ、前述の組み付け動作命令と
同様に、画像処理が終了すると処理結果の通信が必要な
ときは、処理結果と処理の終了信号を同じく、前記ＩＦ
６１内のツー・ポートＲＡＭ上に書き込む。

【００３５】画像処理部６４図３は画像処理部６４の詳細の構成図である。６５は画
像処理部全体の制御を行なうＣＰＵである。ツー・ポー
ト・ＲＡＭ６１では、制御装置１７の他の要素とのデー
タのやりとりが可能なように、図２のバス５９と図３の
バス７２とが両方向から接続されて、その両方向から読
み書きが可能である。

【００３６】ＣＰＵ５０とＣＰＵ６５のバス間にツー・
ポートＲＡＭ６１を設けることにより、ＣＰＵ５０とＣ
ＰＵ６５のＣＰＵの種類を異ならせることが可能となる
。尚、図２の共有メモリ６０で通信可能であったように
、ＣＰＵ６５とＣＰＵ５０の形式を同等にしても何ら問
題はない。また、図２のロボツト動作制御部６２，ハン
ド動作制御部６３と命令解釈部８７とのデータの授受も
、画像処理部６４と同様にツー・ポート・ＲＡＭ６１を
インターフエースとして設けることにより通信を行なわ
せても何ら問題はない。

【００３７】画像処理部６４において、２は画像を取り
込むためのカメラで、本実施例においてはＸ−Ｙテーブ
ルにそのレンズが固定されている。ＸＹテーブル３はＣ
ＣＤを撮像面内で移動させることにより、パレツトの必
要な場所の画像情報を取り込むようにすることができる
。カメラ２が取った画像信号は、Ａ／Ｄ変換部７３によ
り明るさのレベルでデジタル化され、フレームメモリ７
５内に記憶される。

【００３８】図４は部品供給装置における部品収納に用
いられるパレットの外観を示す。同図に示すように、パ
レット内では部品が分割されたセル内に納められている
。部品は、パレットのセル位置情報により特定される。本組立装置は、画像処理で部品の正確な位置を認識する
ので、あらかじめ部品をパレット内に正確に固定する必
要はない。また、パレットのセルも正確な寸法を有する
必要もない。必要とする部品を収納しているセルの凡そ
の位置が分れば十分である。即ち、必要とする部品のセ
ル位置がロボットプログラムにおいて特定されれば、そ
のセル位置周辺の画像に対して画像処理を行ない、その
セル内において、要求部品の正確な位置をパターン認識
で求める。

【００３９】ＣＣＤカメラ２の視野をパレット全体をカ
バーするほどの大きさに設定したならば、コスト増加を
甘受してＣＣＤ素子を大きいものにするか、あるいは解
像度の劣化を甘受して小さなＣＣＤ素子によりパレット
全体を視野に入れるようにしなければならない。そこで
、本実施例では、カメラ２を移動式にし、パレットの画
像の必要部分のみを取出すようにしている。そこで、カ
メラ２にはＸＹテーブル駆動部７６が設けられている。この駆動部７６は、ＸＹテーブルの２つのステツピング
モータ４ａ，４ｂを回転駆動させ、カメラを所定の位置
へ移動させる。領域設定部７４は、カメラ２で画像を取
り込む際に、ＣＣＤの全域の画像情報を取り込む必要が
ないときに領域を限定する機能を有する。組立機におい
て、組付部品の形状及び大きさは、あらかじめわかつて
いるため、１つの部品の画像情報のみを取り込みたい場
合には、画像の処理命令内に領域を限定する処理命令を
プログラムしておく。

【００４０】二値化部６６は、フレームメモリ７５に格
納されている画像情報を処理命令であらかじめ指定され
た明るさのレベルを基準にして、たとえば明るいものを
“１”、暗いものを“０”として二値化する。二値画像
は、再度、フレームメモリ７５に格納する。

【００４１】ラベリング部６７はラベリングを行なう。このラベリング処理は、二値化された画像情報中に、た
とえば、連結しているドットの塊グループ、つまり“１
”の塊のグループを見つけ、それぞれのグループに各々
異なつたラベルを付ける。

【００４２】ラベリングされた連結領域の各々に対して
、たとえば重心位置面積，慣性主軸を算出するのが特徴
パラメータ算出部６８である。算出部６８で算出された
あるワークの画像の特徴パラメータと、ツー・ポート・
ＲＡＭ６１内に格納されている基準特徴パラメータとを
比較することにより、その画像が指定された部品の画像
であるかどうかを判別する。その画像の部品が指定され
た部品であると判定された場合には、その部品の視覚座
標系における位置と傾きを求め、ツー・ポート・ＲＡＭ
６１内にあらかじめ格納されているロボツト座標系への
変換パラメータを用いて、ロボツト座標系へ変換し、ツ
ー・ポート・ＲＡＭ６１上へ位置データとして格納する
。ロボツトの動作命令中、該位置データが必要なときは
、位置データを読み、その結果で動作する動作命令を実
行することにより画像処理部が算出した位置情報でパレ
ツト内の部品をつかみ、組付を行なえる。また、ツー・
ポート・ＲＡＭ６１内に格納されている特徴パラメータ
及び座標変換のパラメータは、図２のＲＡＭ５２のバツ
テリーバツクＵＰされているところに記憶されており、
本制御装置の電源を入れると自動的にツー・ポート・Ｒ
ＡＭ６１上にも記憶されるよう、構成されている。

【００４３】図３において、ＲＯＭ７１は、画像の一連
の処理を行なわせるプログラムをあらかじめ記憶してい
る。〈プログラム構造〉図５は、図２に関連して説明した命
令解釈部８７のローカルメモリ用ＲＯＭ５１に格納され
たプログラムの格納状況を示す。

【００４４】ＲＯＭ５１には、電源立ち上げ時に先つ実
行される起動プログラム１００と、複数のタスクの管理
・実行を行なうマルチタスクＯＳ１０１と、プログラム
を作成するためのテキストエデイタ１０２と、作成され
たテキストプログラムを解釈可能な中間コードに変換す
るためのコンパイラ１０３と、コンパイラ１０３により
変換された中間コードを解釈し、下位の制御部（ロボッ
ト動作制御部６２，ハンド動作制御部６３，画像処理部
６４）のための命令コード（図１３〜図１５）を発生す
る命令解釈プログラム１０４と、キーボード，ＣＲＴ等
の入出力装置の入出力を制御するＩＦドライバプログラ
ム１０５と、ロボツトの動作状態、作成した組付動作プ
ログラム等のロボツトタスクの状態を表示するためのロ
ボツトタスク表示プログラム１０６と、画像処理部６４
の動作状態、作成したビジヨン動作プログラム等のビジ
ヨンタスクの状態を表示するビジヨンタスク表示プログ
ラム１０７とが格納されている。

【００４５】図６は命令解釈部８７のローカルメモリ用
ＲＡＭ５２におけるデータの格納状況を示す図である。このＲＡＭ５２には、ロボツトの組付動作のための一連
の動作命令群からなる組付動作プログラム１０８（図９
，図１０）と、画像処理部の処理動作のための一連の処
理動作命令群からなるビジヨン動作プログラム１０９（
図１１）と、ＸＹステージの目標位置データ１１０と、
シヤトルの目標位置データ１１１と、ロボツトを位置決
めするための目標位置データ１１２と、組付されるワー
クの特徴を示す基準特徴パラメータ１１３と、座標変換
パラメータ１１４とが格納されている。このパラメータ
１１４はロボツト座標系からＸＹステージ座標系の座標
変換演算に用いる演算パラメータと、ＸＹステージ座標
系からロボツト座標系への同様の演算パラメータである
。ＲＡＭ５２は揮発性であるが、それに格納されている
データ類は重要であるので、後述するように、バツテリ
ー・バツクアツプされている。

【００４６】〈ロボットプログラム〉図７，図８は、図
１の組立システムにおける、部品供給部１１，１２から
２つの部品供給を受けてワークを組立てる組立動作の過
程を表わす図である。即ち、図７は、ロボット６が第１
の部品供給部１１のパレツト１３ａに収納された部品Ａ
をアクセス可能となるような位置に、シヤトル９が停止
した状態を示す。図８は、ロボット６が部品Ａの組立に
続いて把持される部品Ｂ（この部品Ｂは部品供給部１２
のパレツト１３ｂに収納されている）をアクセス可能と
なるような位置に、シヤトル９が停止した状態を示して
いる。

【００４７】図７、特に図８を見ても分るように、ロボ
ット６が部品Ａを組み付けている動作を行なっている最
中は、カメラ２がワークＢを収納しているパレット１３
ｂの上空にある限りは、部品Ａの組み付け動作と部品Ｂ
の撮像動作とは並行で行なうことができる。この組み付
け動作処理と撮像動作（画像処理）の並列性故に、図６
で示したように、組み付け動作プログラムとビジョン動
作プログラムとをタスク化することの意義がある。

【００４８】図９は部品Ａを組立てる一連のロボツト動
作命令群（プログラム）であり、図１０は部品Ｂを組立
てる一連のロボツト動作命令群（プログラム）であり、
図１１は部品Ｂの画像を画像処理して位置情報を算出す
る一連の画像処理命令群（プログラム）である。

【００４９】尚、図９乃至図１１には、部品Ａの画像を
画像処理して位置情報を算出するためのプログラムは示
されていない。また、ワークを完成するために、更に、
例えば部品Ｃが必要であるものであるならば、その部品
Ｃの画像を画像処理して位置情報を算出する一連の画像
処理命令群（プログラム）と、部品Ｃを組立てる一連の
ロボツト動作命令群（プログラム）とが、図９乃至図１
１のプログラムに追加して必要となる。また、便宜上、
図９のプログラムをプログラム１と、図１０のプログラ
ムをプログラム２と、図１１のプログラムを画像のプロ
グラム２と呼ぶ。

【００５０】図９乃至図１１のプログラムは図７，図８
の動作を記述している。部品Ａを組立て、次に部品Ｂを
組み付ける組立動作を行なうには、先ず、プログラム１
（図９）が前もって起動されてている必要がある。プロ
グラム１が実行されていて、プログラム１自身がプログ
ラム２を起動する。プログラム１によるプログラム２の
起動は、行番３９０のＣＡＬＬ　　２で行なって、プログラム２をコールすることによりなさ
れる。また、部品Ｂの組立が終了して部品Ｃの組立動作
を起動するには、行番２５０のＣＡＬＬ　　３を実行して、プログラム３（不図示）をコールすること
によりなされる。部品Ａの組立動作中に、部品Ｂの画像
の取得及びその画像処理が可能となったときは、行番３
６０で、ＳＴＡＲＴ　　３，２を実行して、プログラム３（図１１）をマルチタスク制
御の下でコールする。上記ＳＴＡＲＴ指令において、最
初のオペランドは画像用のタスク番号であり、次のオペ
ランドは画像のプログラム番号である。即ち、プログラ
ム１とプログラム３とは並列動作する。部品Ｂの組立動
作中に、部品Ｃの画像の取得及びその画像処理が可能と
なったときは、行番２２０で、ＳＴＡＲＴ　　３，３を実行して、ロボットプログラム２と画像のプログラム
３とを並列動作させる。尚、並列処理の起動命令である
ＳＴＡＲＴ指令において、最初のオペランドはタスク番
号（画像に対しては、３が与えられている）であり、次
のオペランドはプログラム番号である。プログラム３の
３番目のプロシジャ（プログラム）は不図示ではあるが
、部品Ｃが特殊な形状を有するものではないために、即
ち、形状に即した特別な画像処理を要するものではない
ために、図１１のプログラムと同じものを援用できる。

【００５１】図９乃至図１１のプログラム中における各
ステートメントの命令の意味は、後述する。〈並列処理〉図７，図８に示すように、本実施例のロボ
ットシステムにおける、組立動作と画像処理とは並列動
作が可能である。また、図９乃至図１１に示したように
、これらの動作を記述するプログラムも並列処理を意識
したものである。そこで、以下に、この並列処理を実現
するために、制御装置１７の特徴ある制御について説明
する。これらの特徴とは、図１２に示すように、■：所
謂ロボットプログラム（図９乃至図１１のプログラム）
を解釈するのは、命令解釈部８７の命令解釈プログラム
１０４（図５）が行ない、 ■：上記プログラム１０４は、プログラム中の命令（ス
テートメント）を、組立動作に関するもの（ロボット動
作制御部６２若しくはハンド動作制御部６３）か、画像
処理に関連するもの（画像処理部６４のためのもの）か
を判別し、夫々、対応する命令コードを生成する。

【００５２】■：組立動作に関する命令から生成された
命令コードは共有メモリ６０に書込まれ、画像処理に関
連する命令から生成された命令コードはツー・ポート・
ＲＡＭ６１に書込まれる。 ■：ロボット動作制御部６２またはハンド動作制御部６
３は、共有メモリ６０内に書込まれた命令コードを実行
する。また、画像処理部６４のＣＰＵ６５は、ツー・ポ
ート・ＲＡＭ６１に書込まれた命令コードを実行する。図１３乃至図１５は、上記命令コードのメモリ格納形式
の一例を示す図である。

【００５３】命令コード図１３は命令コードの一般的な格納形式を示す図である
。図１３の格納形式は、次の命令が格納されているメモ
リ番地を示す「次命令格納番地ポインタ」２００と、命
令の種類を示す「Ｐコード」２０１と、命令を補足する
ためのパラメータの型（例えば、直接の数字であるか、
変数であるか、実数であるか、整数であるかの区別）を
示すデータタイプ２０２Ａと、そのパラメータのデータ
部分２０３Ａと、データの終りを示すデリミツタ２０４
Ａと、命令コードの終りを示すと共に内容の誤りを検出
するためのチエツクサム２０５、という順で格納されて
いる。

【００５４】命令には、命令コード中にパラメータを必
要としないものもある。かかる命令の命令コードは、図
１４に示す様に、Ｐコード２０１の後に、命令の終りを
示すチエツクサム２０５が格納されている。

【００５５】また、命令コード中にパラメータが複数組
必要である命令の場合には、図１５に示す様に、Ｐコー
ド２０１の後に、データタイプ２０２，データ２０３，
デリミツト２０４からなる組が必要な組数だけ格納され
た後に、チエツクサム２０５が格納されている。

【００５６】この様に、命令ステートメントを、命令の
種類（Ｐコード２０１）とパラメータとからなる命令コ
ード（中間コード）に構成し直し、メモリ中に格納する
事により、組付動作プログラム１０８とビジヨン動作プ
ログラム１０９を同一形式で格納する事が可能である。また、組付動作プログラム１０８とビジヨン動作プログ
ラム１０９との命令のいずれも同一形式の命令コードに
変換されるということは、それらを格納するためのメモ
リを共通化することができることを意味する。即ち、具
体的には、画像処理部６４のための命令コードの格納用
メモリであるツー・ポート・ＲＡＭ６１の代りに、画像
処理部のための命令コードを共有メモリ６０に格納する
ことも可能であることを意味する。本実施例で、共有メ
モリ６０の他にツー・ポート・ＲＡＭ６１を用いた理由
は、メモリを一本化したことによるそのメモリへのアク
セス競合を避けることと、ツー・ポート・ＲＡＭ６１が
異なる２方向から同時にアクセスされることによる高速
度処理が可能なこと、そして、組み付け動作と画像処理
とが容易に並列処理化できること、更に、画像処理部６
４のＣＰＵに、命令解釈部８７のＣＰＵとは異なるアー
キテクチャのＣＰＵを使うことができることである。

【００５７】〈並列処理のための制御〉図１６は、本シ
ステムにおける並列処理を制御するためのプログラム間
の構造を説明する図である。組付動作プログラム１０８
を解釈する一連の手続きを「ロボツトタスク」と呼び、
組付動作プログラム１０８の解釈を開始する事を「ロボ
ツトタスクを起動する」と呼ぶ。同様に、ビジヨン動作
プログラム１０９を解釈する一連の手続きを「ビジヨン
タスク」と呼び、ビジヨン動作プログラム１０９の解釈
を開始する事を「ビジョンタスクを起動する」と呼ぶ。ビジョンタスクを起動することは、前述のＳＴＡＲＴ指
令で行なわれる。本組立システムでは、組立工程の最中
に補助的に画像処理を行なうという手順を踏んでいるた
めに、組立プログラム中にビジョンタスクを起動するＳ
ＴＡＲＴステートメントが記述されることとなる。これ
により、ロボットタスクとビジョンタスクの競合調停が
容易になる。そして、更に、ロボットタスクの起動は、
制御装置１７のキーボード２０からのスタートキーの入
力があった時点でなされる。

【００５８】ロボットタスクにおいて解釈されたロボッ
ト命令は命令コード（図１３乃至図１５）に変換されて
、前述したように、共有メモリ６０に格納される。また
、ビジョンタスクにおいて解釈された画像処理命令は同
じように命令コードに変換されてツー・ポート・ＲＡＭ
６１に格納される。共有メモリ６０の命令コードは、ロ
ボット動作制御部６２，ハンド動作制御部６３によりフ
エツチされて実行される。ロボット動作制御部６２，ハ
ンド動作制御部６３は、不図示ではあるが、夫々専用の
マイクロプロセサと、図１８，図１９に示したプログラ
ムを格納するメモリと、サーボ制御回路やサーボアンプ
等を有している。

【００５９】図１６に示されるように、命令解釈プログ
ラムには３つのフラグ（ＭＷＦ，ＴＷＦ，ＰＷＦ）が用
意されている。即ち、「動作完了待フラグ」（ＭＷＦ）
は、ロボットタスクの命令の中の、その命令の実行終了
を待つことが必要な命令が現在ロボットタスクで実行中
であることを示す。動作完了待フラグＭＷＦは、例えば
、ＭＯＶ　　Ｐ（４）等の命令の実行によりセットされる。これらの命令は、
ロボットの実際の移動等の動作が必要な命令であり、次
の命令の実行には、その命令の終了を待つ必要があるか
らである。ＩＦ　　…　　ＴＨＥＮ　　…等の制御命令
については、ロボットの実際の移動が伴なわないので、
動作完了待フラグＭＷＦはセットされない。

【００６０】また、「処理終了待フラグ」（ＰＷＦ）は
、ビジョンタスクの命令の中の、その命令の実行終了を
待つことが必要な命令が現在ビジョンタスクで実行中で
あることを示す。これらのＭＷＦ，ＰＷＦは、ロボット
タスク若しくはビジョンタスクにおいて、２つ以上の命
令がオーバラツプされて実行されることを防ぐためにあ
る。

【００６１】「タイミング待フラグ」ＴＷＦは次の理由
により本システムに導入された。即ち、マルチタスク制
御の下では、ロボットタスク中の命令とビジョンタスク
中の命令とが並行して実行される。そして、ロボットタ
スクのある１つの命令を開始するためには、ビジョンタ
スクのある１つの命令の終了を確認する、即ち、２つの
タスク間の調停をとることが必要な場合がある。例えば
、ＣＣＤカメラ２で対象物の像を撮像している時に、ロ
ボツト６のアームがカメラ２の視野に入つたり、シヤト
ル９が移動する事などにより、撮像不能になる事をさけ
る必要があるからである。上述のＭＷＦ，ＰＷＦは、あ
くまでも、同じタスク間の命令実行の調停をとるもので
ある。そこで、一方のタスクが他方のタスクを一時中断
させるためのフラグとして「タイミング待フラグ」ＴＷ
Ｆがある。

【００６２】一方のタスクが他方のタスクを一時中断さ
せる命令として、本実施例のシステムでは、ＷＡＩＴ命
令が用意されている。このＷＡＩＴ命令は、主にビジョ
ンタスクで用いられ、それが実行されると停止フラグＳ
Ｆ（ｓｕｓｐｅｎｄｅｄ　ｆｌａｇ）がセットされる。フラグＳＦはツー・ポート・ＲＡＭ６１内に設けられこ
のＷＡＩＴ命令は、プログラム内に明示的にそれらの命
令を記述しなくとも、システム（図５のコンパイラ１０
３）が自動的に付加するようにしている。即ち、図１１
の例では、ＣＣＤカメラ２で撮像するための撮像命令（
ＧＥＴ）の後や、パターン認識命令（ＭＡＴＣＨ）の後
に、コンパイラ１０３がＷＡＩＴ命令を自動的に付加す
る。換言すれば、ＧＥＴ命令やＭＡＴＣＨ命令が実行さ
れると、自動的にＷＡＩＴ命令が実行されて、フラグＳ
Ｆがセットされる。このフラグＳＦのリセットは、上記
特殊命令（ＧＥＴ命令やＭＡＴＣＨ命令）の終了でなさ
れる。従って、ロボットタスク側では、このフラグＳＦ
のセット状態を検査する命令、即ちタイミング確認命令
（例えば、ＣＨＥＣＫＦ命令）をロボットタスク中に挿
入して、ロボットタスクとビジョンタスクとの協調を取
っている。

【００６３】また、命令解釈プログラムには、図１６に
示すように、２つのカウンタ（ＲＰＣとＩＰＣ）とが用
意されている。カウンタＲＰＣはロボットタスクの組立
動作プログラム１０８中の次の実行命令の行番を格納し
ている。例えば、ロボットタスクが次に実行すべき命令
が行番３００のＳＳＨＵＴＬ（図９）ならばカウンタＲ
ＰＣには３００が格納されている。また、カウンタＩＰ
Ｃはビジョンタスクのビジョン動作プログラム１０９中
の次の実行命令の行番を格納している。例えば、ビジョ
ンタスクが次に実行すべき命令が行番２０のＢＩＮ（図
１１）ならばカウンタＲＰＣには２０が格納されている
。

【００６４】図１７，図１８，図１９に従って、ロボッ
トタスクとビジョンタスクの並列実行制御について説明
する。ロボットタスクの制御ステツプＳ２００で、キーボード２０から組立動作の開
始が指示されると、命令解釈部８７はステツプＳ２０１
でロボットタスクを起動することにより、ＲＡＭ５２内
の組付動作プログラム１０８の解釈を開始する（ステツ
プＳ２０１）。

【００６５】ステツプ２０２ではロボットタスクが起動
されているかを調べる。ステツプＳ２０２でロボットタ
スクが起動されているか否かを調べるのは、ロボットプ
ログラム自体の中で、またはビジョンタスクのプログラ
ム自体の中に、ロボットタスクの停止を行なうステート
メントを記述することができるからである。従って、ロ
ボットタスクが停止されている場合は、ビジョンタスク
だけが実行され、ロボットタスクをプログラム的に再起
動するには、ビジョンタスク内でロボットタスクを起動
する命令を実行することが必要である。図９乃至図１１
の例のプログラムが実行されている場合は、ロボットタ
スクがプログラム的に停止されないから、ステツプＳ２
０３に進み、ここで動作完了待ち状態の判定を動作完了
待フラグＭＷＦに基づいて行なう。前述したように、Ｍ
ＷＦは移動命令等に対してセットされるものであるから
、前のサイクルでそのような命令が実行されていなけれ
ば、あるいは、ＭＷＦのセットの不要な命令が実行され
ていた場合には、ＭＷＦ＝０であるので、ステツプＳ２
０４に進む。

【００６６】ＭＷＦ＝０のときは、ステツプＳ２０４に
進んで、組付動作プログラム１０８から１つの命令を読
み、その命令の解釈を行う。１つの命令解釈がなされる
と、カウンタＲＰＣは次の行番を示すように変更される
。

【００６７】ステツプＳ２０５では、その解釈した命令
の内容がビジヨンタスク起動命令（“ＳＴＡＲＴ　　３
”）であるか否かの判定を行う。ビジヨンタスクの起動
命令である場合は、ステツプＳ２２０でビジヨンタスク
の起動処理を行なってからステツプＳ２２１に進む。ビジヨンタスク起動命令以外の場合は、ステツプＳ２０
６に進み、タイミング確認命令（前述のＣＨＥＣＫＦ等
）であるか否かの判定を行なう。

【００６８】ステツプＳ２０６で命令内容がタイミング
確認命令でないと判定した場合は、ロボツト動作部６２
，ハンド動作部６３，画像処理部６４に命令コードを発
行する必要のある命令（例えば、シヤトル９の移動命令
やハンド７の動作命令）か、命令コードの発行が不要の
命令（例えば、ＩＦ…ＴＨＥＮ…等の制御命令）かの判
定をステツプＳ２０７で行う。

【００６９】命令コードの発行が必要な命令である場合
には、ステツプＳ２０８で、その命令がロボット動作に
関連する命令であるかハンド動作に関連する命令である
かに応じて、その命令コードが、ロボット動作制御部若
しくはハンド動作制御部により区別されて実行可能なよ
うに、共有メモリ６０に格納される。ロボット動作制御
部若しくはハンド動作制御部は、図１８若しくは図１９
の制御手順に従って、共有メモリ６０から対応する命令
コードをフエツチして実行する。そして、ステツプＳ２
０９では、動作完了待フラグＭＷＦをセットする。そし
てステツプＳ２２１に進む。

【００７０】動作制御部６２，６３に命令コードを発行
する必要のある命令は、シヤトル９の移動（ＭＯＶ）や
ロボツト６の移動の様に、命令に対応した動作が完了す
るまでに時間がかかるものである。フラグＭＷＦは移動
命令等が連続して発行されることを防止する意味でステ
ツプＳ２０９でセットされる。しかし、命令コードの発
行の不要な命令（例えば、ＩＦ…ＴＨＥＮ…等の制御命
令）は連続して実行されるべきである。このような発行
不要命令を実行するものとステツプＳ２０７で判断され
た場合には、ステツプＳ２０７→ステツプＳ２０８と進
んで、ＭＷＦのセットを行なわずに、直接その命令の実
行を行なう。そしてステツプＳ２２１に進む。

【００７１】ステツプＳ２０６で、命令内容がタイミン
グ確認命令であると判定された場合は、ステツプＳ２１
０に進んで、ツー・ポート・ＲＡＭ６１内のフラグＳＦ
のセット状態を調べる。このフラグＳＦは、前述したよ
うに、他のタスク（本実施例では、ビジョンタスク）で
ある特殊な命令（ＧＥＴやＭＡＴＣＨ）を実行した場合
にそのタスクによりセットされ、その命令の終了をもっ
てそのタスクがリセットする。また、フラグＳＦは、ツ
ー・ポート・ＲＡＭ６１内に置かれているために、画像
処理部６４は勿論、命令解釈部８７もアクセスが可能で
ある。従って、このフラグＳＦがセツトされているとス
テツプＳ２１０で判定された場合は、ロボットタスクに
おける命令の解釈／実行を中断させなくてはならないの
で、その旨を記憶するために、フラグＴＷＦをステツプ
Ｓ２１２でセツトする。そして、ステツプＳ２０９でフ
ラグＭＷＦをセットする。即ち、フラグＭＷＦは、命令
コードの発行が必要な命令を解釈部８７が解釈した場合
と、タイミング確認命令を解釈してＴＷＦがセットされ
た場合との両方おいて、セットされる。

【００７２】ステツプＳ２２１では、ビジョンタスクが
起動されているか否かを調べ、起動されていない場合に
はステツプＳ２０２に戻る。あるロボットプログラムを
実行している場合に、命令コードを発行する必要のない
命令を実行している限りは、フラグＭＷＦはセットされ
ないので、ステツプＳ２０２→ステツプＳ２０３→ステ
ツプＳ２０４と進んで、次の命令を解釈実行する。即ち
、ロボットプログラムの命令の実行は待たされることな
く連続的に行われる。

【００７３】一方、図９のプログラムの行番３００乃至
行番３５０におけるロボット動作命令はフラグＭＷＦを
セットする。かかる場合は、制御は、ステツプＳ２０２
→ステツプＳ２０３と進み、更に、フラグＭＷＦは既に
セットされているので、ステツプＳ２１４に進む。ステ
ツプＳ２１４では、フラグＭＷＦのセットが、命令コー
ド発行の必要な命令に実行によるものか、あるいはタイ
ミング確認命令の実行によるものかを調べるために、フ
ラグＴＷＦのセット状態を調べる。

【００７４】ステツプＳ２１４でＴＷＦフラグがリセッ
トしている場合には、フラグＭＷＦのセットは命令コー
ド発行の必要な命令に実行によるものであったのだから
、ステツプＳ２１５に進んでロボット動作の完了を調べ
る。この動作完了のチェックは共有ＲＡＭ６０に命令コ
ードが残っているか否かにより分る。共有メモリ６０中
に命令コードの格納は、命令解釈プログラムがステツプ
Ｓ２０８で行なう。また、共有メモリ６０中の命令コー
ドのクリアはロボット動作制御部６２，ハンド動作制御
部６３によりなされる。

【００７５】図１８はロボット動作制御部６２，ハンド
動作制御部６３における制御手順を示すフローチヤート
である。ロボット動作制御部６２，ハンド動作制御部６
３は、夫々、ステツプＳ３００において、共有メモリ６
０内をスキャンしながら、自分向けの命令コードがメモ
リ６０に格納されたかをチェックしている。自分向けの
命令コードであるか否かの判定は、Ｐコード（図１３乃
至図１５）が示す命令の型で判断される。自分向けの命
令コードが発見されたならば、その命令コードをステツ
プＳ３０１で実行し、ステツプＳ３０２で、その終了（
例えば、アームの上昇または下降動作の終了）を待つ。動作が終了すれば、ステツプＳ３０３で、当該命令コー
ドをクリアする。

【００７６】図１９の画像処理部６４における命令コー
ドの処理の制御手順においても、命令コードのスキャン
／実行／クリアは図１８のそれと同じである。図１７の
フローチヤートに戻って、ステツプＳ２１５で、共有Ｒ
ＡＭに格納した命令コードがクリアされたことが確認さ
れたならば、ステツプＳ２１６に進んで、フラグＭＷＦ
をリセットする。そして、ステツプＳ２２１に進み、ビ
ジョンタスクが起動されていなければ、ステツプＳ２２
１→ステツプＳ２０２→ステツプＳ２０３→ステツプＳ
２０４と進んで、ロボットプログラム中の次の命令を実
行する。

【００７７】ステツプＳ２１４の待ち理由の判別処理に
おいて、ＴＷＦ＝１と判定された場合は、フラグＳＦが
ビジョンタスクによりリセットされるのを待つために、
ステツプＳ２１７でフラグＳＦを調べる。このフラグＳ
Ｆがセットされている（ＳＦ＝１）ということは、まだ
待たなければならないことを意味するから、ステツプＳ
２２１を介してステツプＳ２０２に戻る。

【００７８】ステツプＳ２１７で、フラグＳＦがリセッ
トされたことが確認された場合には、ステツプＳ２１８
でフラグＴＷＦをリセットして、待状態が解除されたこ
とを示す。さらに、ステツプＳ２１２→ステツプＳ２０
９の過程でセットされたフラグＭＷＦをステツプＳ２１
６でリセットする。

【００７９】ロボットタスクとビジョンタスクの並列実
行以上のようにして、命令コードの発行の必要な命令の実
行、不要な命令の実行、更にはタイミング確認命令の実
行がなされる。次にビジョンタスクが起動された場合に
ついて更に詳細に説明する。

【００８０】ステツプＳ２０５で、行番３６０のＳＴＡ
ＲＴ　　３命令が実行されると、ステツプＳ２２０でビジョンタス
クを起動した後に、ステツプＳ２２１に進む。ステツプ
Ｓ２２１で、現在が、以前に実行されていたビジョンタ
スクの何等かの命令の処理の終了を待っている待状態に
あるかをフラグＰＷＦに基づいて判定する。このフラグ
ＰＷＦはロボットタスクにおけるフラグＭＷＦと同じ機
能を有する。以前に画像処理の命令を何等発行していな
い場合には、ＰＷＦ＝０であるので、ステツプＳ２２３
に進んで、１つの画像処理命令をカウンタＩＰＣに従っ
て解釈する。ステツプＳ２２３，ステツプＳ２２４は、
ステツプＳ２２３で解釈した命令の種類を判断する。即
ち、その命令がＥＮＤ命令（図１１の行番５０のステー
トメント）である場合には、ステツプＳ２２５でビジョ
ンタスクを停止する。また、ＥＮＤ命令でない場合には
、ステツプＳ２２６で当該命令が命令コードの発行が必
要なものであるか否かを調べる。命令コードの発行が必
要なものとは、画像処理部６４において何等かの処理が
必要な命令であり、例えば、撮像命令（ＧＥＴ）、二値
化命令（ＢＩＮ）、マツチング命令（ＭＡＴＣＨ）等で
ある。また、ＩＦ…ＴＨＥＮ…等の制御命令や、前述の
ＷＡＩＴ命令はツー・ポート・ＲＡＭ６１にアクセスす
るだけで足り、画像処理部６４による処理は不要なので
、命令コードの発行は不要である。

【００８１】命令コードの発行が必要な命令を実行する
場合には、ステツプＳ２２７で、ツー・ポート・ＲＡＭ
６１に当該命令コードを書込む。そして、ステツプＳ２
２８で処理完了待フラグＰＷＦをセットして、ステツプ
Ｓ２０２に戻る。

【００８２】ビジョンタスクの命令の解釈に先立って、
以前に実行した命令が未だ処理が終了していない場合に
は、ステツプＳ２２２からステツプＳ２３０に進む。ス
テツプＳ２３０では、ツー・ポート・ＲＡＭ６１中に以
前発行した命令コードが画像処理部６４によりクリアさ
れているかを調べる。この命令コードのクリアは図１９
の制御手順に従って画像処理部６４が行なう。

【００８３】命令コードのクリアが既にされていたとス
テツプＳ２２２で判定された場合にはステツプＳ２３１
でフラグＰＷＦをリセットする。以上のようにして、ロ
ボットタスクとビジョンタスクとの並列処理がなされる
。

【００８４】尚、前述したように、解釈部８７がビジョ
ンタスクの特殊な命令（ＧＥＴ，ＷＡＴＣＨ）を解釈実
行して、その命令コードをＲＡＭ６１に格納した場合に
は、図１９のフローチヤートに従って、画像処理部６４
がその命令コードをＲＡＭ６１からフエツチし、ステツ
プＳ３１２において実行する。そして、ステツプＳ３１
１において、ＲＡＭ６１内にフラグＳＦがセットされる
。また、そのような特殊命令の実行が終了した場合は、
ステツプＳ３１３において、当該命令コードをクリアす
る動作とフラグＳＦをリセットする動作を合せて行なう
。

【００８５】図２０は、図９，図１０に示した具体的な
組付けプログラム並びに図１１に示したビジョン動作プ
ログラムを、図１７の命令解釈プログラムが解釈し、そ
れが生成した命令コードを動作制御部６２，６３並びに
画像処理部６４が図１８，図１９の制御手順に従って実
行した場合において、ロボット部及び画像処理部６４が
どのように動作するかをタイミングチヤートとして表わ
したものである。即ち、図２０は、部品Ａの組立て動作
の一部と、部品Ｂの組立て動作と、そして部品Ｃの組立
て動作の一部のタイムチヤートを表わしている。また図
２０においては、説明の便宜上、本タイムチヤートのス
タート時に、ロボツト６は部品供給部１１のパレツト１
３ａより、ハンド７で部品Ａを把持し、ロボツト６はパ
レツト１３ａの上空に退避した状態となつているものと
する。

【００８６】以下、図２０に基づいて本実施例の組立動
作順を説明する。期間Ｔ１　，Ｔ２　，Ｔ５　，Ｔ６　
ではロボツト動作の制御のみが行なわれる。即ち、Ｔ５
　期間で、シヤトル９は、部品Ｂを組立る位置へ移動開
始（行番３００のＳＳＨＵＴＬ命令）し、期間Ｔ６　で
、Ｘ−Ｙテーブル３は次に組立てる部品Ｂのパレツト１
３ｂの視覚対象位置に移動開始（行番３１０のＣＳＥＴ
命令）する。次に、ロボツト６は、Ｔ１　期間で、部品Ａをハンド７
に把持したまま、組付ステージ８の上空点に移動し、さ
らに、組付ステージ８と垂直方向に下降停止する（行番
３２０，３３０のＭＯＶ命令）。

【００８７】Ｔ３　，Ｔ４　，Ｔ７　，Ｔ８　，Ｔ９　
Ｔ１０では、ロボツト制御及び画像処理制御が並行して
行なわれる。前記シヤトル９の移動及びＸＹステージ３の移動が終了
した事を確認（３４０，３５０行番のＳＣＨＥＣＫ，Ｃ
ＣＨＥＣＫ命令）し、画像処理制御が開始される（３６
０行番のＳＴＡＲＴ命令）する。これによりロボットタ
スクとビジョンタスクとが並列して実行される。

【００８８】並列処理におけるロボツトタスクにおける
制御では、Ｔ３　期間に、ハンド７を動かし、部品Ａを
離す（行番３７０のＯＵＴ命令）。そして、Ｔ４　期間
で、ロボツト６がハンド７を上昇・停止（行番３８０の
ＭＯＶ命令）して、部品Ａの組立を終了する。

【００８９】前記ロボットタスクにおける制御と併行し
て行なわれる画像処理側の制御では、Ｔ７　期間に、視
覚対象の部品ＢのＣＣＤカメラ２の画像を画像処理部６
４に取り込み（行番１０のＧＥＴ命令）、Ｔ８　期間に
、その画像を画像処理部６４にて２値化処理（行番２０
の命令ＢＩＮ）し、さらに、Ｔ９　期間で前記２値化さ
れた画像の特徴抽出処理（行番３０の命令ＳＯＰ）を行
ない、Ｔ１０期間で視覚対象部品Ｂの位置検出処理（行
番４０の命令ＭＡＴＣＨ）を行なう。

【００９０】Ｔ４　期間が満了し、さらにＴ１０期間が
満了した時点では、ハンド７は組み付けステージ８の上
空にあって部品供給部にある部品Ｂを把持可能であり、
また、画像処理部６４は部品Ｂのパレット１３ｂにおけ
る位置を検出している。

【００９１】行番３８０のＭＯＶ命令でハンド７がステ
ージ８の上空に退避すると、行番３９０で、プログラム
２（図１０）をコールする。このプログラム２は部品Ｂ
を供給部１２から受けその組み付けを行なう手順を記述
する。

【００９２】プログラム２の行番１００では、命令ＣＨ
ＥＣＫＦ　　３，２を実行する。この命令はタスク３（即ち、ビジョンタス
クのプログラム２、即ち、部品Ｂの画像処理）の終了を
確認する命令である。この命令で部品Ｂの位置検出処理
が終了した事が確認されると、行番１１０以降の処理が
行なわれる。

【００９３】図２０のＴ１１〜Ｔ１６，Ｔ１９，Ｔ２０
では、ロボツト制御のみが行なわれる。ロボツト制御で
は、行番１１０で、ロボツト６の移動目標位置として、
位置検出結果を読み込む。

【００９４】Ｐ（２０）＝ＶＲＥＡＤ（２）そして、部
品Ｂを把持する為に、Ｔ１１で、ロボツト６はハンド７
をパレツト１３ｂの上空点に移動（行番１２０）し、Ｔ
１２で、下降・停止（行番１３０）する。次に、Ｔ１３
でハンド７は対象部品Ｂを把持（行番１４０のＯＵＴ命
令）し、Ｔ１４でロボツト６は部品Ｂを把持したハンド
７をパレツト１３ｂの上空点に移動停止する（行番１５
０）。

【００９５】Ｔ１５，Ｔ１６，Ｔ１９，Ｔ２０の部品Ｂ
についてのロボツト制御の動作は、前記部品Ａについて
のＴ１　，Ｔ２　，Ｔ５　，Ｔ６　と同様である。また
、Ｔ１７，Ｔ１８，Ｔ２１〜Ｔ２４の部品Ｂについての
ロボツト制御と部品Ｃについての画像処理制御とが並行
して行なわれる動作に関しても、Ｔ３　，Ｔ４　，Ｔ７
　〜Ｔ１０の動作と同様である。

【００９６】図２１は、図９の行番３３０乃至３９０の
命令と、図１０の行番１００乃至１２０までの命令を順
に実行した過程での、命令解釈部８７と、ロボツト動作
制御部６２，ハンド動作制御部６３，画像処理部６４に
おける命令解釈実行の詳細タイムチヤートである。

【００９７】まず、Ｔ１００　で、図９の行番３３０の
ロボツト動作命令を命令解釈部が解釈し、ロボツトの移
動の命令コードを発生して、ロボツト動作部６２に命令
コードを受け渡す為の共有メモリ６０に命令コードをセ
ツトする。

【００９８】Ｔ１２０　で、ロボツト動作制御部６２は
、共有メモリ６０を通して、受け取つた命令コードによ
りロボツト６を駆動し、アームを指示された位置に停止
させる。ロボツト動作制御部６２は、その命令コードの
実行終了を、その命令コードのクリアにより、命令解釈
部８７に対して連絡する。Ｔ１２０　において、命令解
釈部８７は、ロボツト動作制御部６２からの命令コード
の実行終了を待ち状態となつている。

【００９９】Ｔ１０１　で命令解釈部８７は、図９の次
の行番３４０のロボツト動作命令を解釈し、シヤトル停
止確認（ＳＣＨＥＣＫ）の命令コードを発生して、ロボ
ツト動作制御部６２に、共有メモリを介して命令コード
を送る。ロボツト動作制御部６２では、前記命令コード
によりシヤトル停止状態を確認し、命令コード実行終了
を命令解釈部８７に共有メモリ６０を介して連絡する。続いて、ＭＷＦのリセットの待ち状態となつていた命令
解釈部８７は、次の動作命令の解釈を再開する。

【０１００】Ｔ１０２　は命令解釈部８７が行番３５０
のロボツト動作命令を解釈し、Ｘ−Ｙテーブル３の停止
確認の命令コードを発生し、ロボツト動作制御部６２に
対してＴ１０１　と同様の手続きで命令コードの引渡し
、命令コード実行終了の引渡しを行なう。

【０１０１】Ｔ１０３　では、命令解釈部８７が行番３
６０のロボツト動作命令（ＳＴＡＲＴ）を解釈し、図１
１に示した画像処理命令群（ビジョンタスク）の解釈実
行を開始する。Ｔ１０３　後は、ロボツト動作命令群と
、画像処理命令群を並列に解釈していく。

【０１０２】Ｔ１１０　では、命令解釈部８７が図１１
の行番１０の画像処理命令を解釈し、ＣＣＤカメラの画
像を画像処理部に取り込む命令コードを発生し、画像処
理部６４に対してツー・ポート・ＲＡＭ６１を介してそ
の命令コードを送る。

【０１０３】Ｔ１３０　では、前記画像取込命令コード
をツー・ポート・ＲＡＭ６１から受け取つた画像処理部
６４が、ＣＣＤカメラ２の画像を画像処理部に取り込み
、取り込み完了後に、その命令コードの実行終了をツー
・ポート・ＲＡＭ６１を介して命令解釈部８７に連絡す
る。

【０１０４】Ｔ１０４　では、命令解釈部８７が、Ｔ１
１０　の画像処理命令の解釈及び命令コードのセツト終
了後に、図１２の行番３７０のロボツト動作命令を解釈
する。Ｔ１０４では、ハンド７を動かす命令コードを発
生し、共有メモリ６０に命令コードをセツトする。次の
状態として、命令解釈部８７は、Ｔ１１０　で画像処理
部に発行した命令コードの実行終了を待っている状態で
、かつロボツト動作制御部６２に発行した命令コードの
実行終了の待ち状態になつている。

【０１０５】Ｔ１１１　では、画像処理部６４からツー
・ポート・ＲＡＭ６１を介して命令コードの実行終了が
連絡される。さらにロボツト動作制御部６２から実行終
了が連絡されていない状態では、命令解釈部８７は図１
１の行番２０の画像処理命令を解釈し、前記取り込み画
像の２値化処理の命令コードを発生し、ツー・ポート・
ＲＡＭ６１上にセツトする。

【０１０６】以下、同様にして、命令解釈部８７は、ロ
ボツト動作命令及び画像処理命令を前記いずれかの命令
が実行終了した時点で、終了した命令群を解釈セツトす
る（Ｔ１０５　，Ｔ１１２　，Ｔ１１３　，Ｔ１０６　
）。

【０１０７】さらに、進んでＴ１１４　で命令解釈部８
７が行番５０の画像処理命令を解釈する。この行番５０
の命令は解釈実行終了命令（ＥＮＤ）であるので、命令
解釈部８７はビジョンタスクを停止する。

【０１０８】Ｔ１０７　以降は、解釈部８７はロボツト
動作命令群のみ解釈命令セツトする。

【０１０９】〈画像処理〉以下、画像処理部６４で行な
われる画像処理について説明する。本システムにおける
画像処理の目的は、部品の認識と、更にパレット内にお
けるその部品の姿勢の検出及びその部品の重心座標の検
出である。

【０１１０】特徴パラメータ図２２は本実施例に用いた一例としての部品Ｂの平面図
である。部品Ｂは平板で、３ケ所に大きさの異なる穴が
あいている。図２３は部品Ｂの特徴パラメータの基準値
を表わしている。ｓ１　は穴Ｈ１　の面積で、ｓ２　は
穴Ｈ２　の面積、ｓ３　は穴Ｈ３　の面積である。

【０１１１】本実施例においては、穴Ｈ１　の中心の座
標（Ｘ１，Ｙ１）を部品の原点とし、それを、ロボツト
６が部品の把持が可能となるように画像処理部６４が部
品位置を算出するときの基準点とする。また、穴Ｈ２　
の中心（Ｘ２　，Ｙ２）と穴Ｈ１　の中心（Ｘ１　，Ｙ
１）とを通り、穴Ｈ２　から穴Ｈ１　の方向へ向かうベ
クトルαを、部品Ｂの傾きを表わすものと考える。この
基準軸α（ベクトルα）と、穴Ｈ１　の中心（Ｘ１　，
Ｙ１）と穴Ｈ３　の中心（Ｘ３　，Ｙ３）とを結ぶ線分
のなす角度をβ３　とする。また、穴Ｈ１　の中心（Ｘ
１　，Ｙ１）と穴Ｈ２　の中心（Ｘ２　，Ｙ２）との距
離をｌ２　とし、ｌ２　＝｛（Ｘ１　−Ｘ２）２　＋（Ｙ１　−Ｙ２）２
｝１／２であらわす。また、穴Ｈ１　の中心（Ｘ１　，
Ｙ１）と穴Ｈ３　の中心（Ｘ３　，Ｙ３）間の距離をｌ
３　とし、ｌ３　＝｛（Ｘ２　−Ｘ３）２　＋（Ｙ２　
−Ｙ３）２｝１／２で表わす。図２３に示されたｓ１　
，ｓ２　，ｓ３　，β３　，ｌ２　，ｌ３　並びに、部
品全体の面積Ｓを、部品Ｂの特徴を表わす基準量とする
。換言すれば、ある部品が目的の部品Ｂであるか否かは
、その部品の画像から、ｓ１’，ｓ２’，ｓ３’，β３
’，ｌ２’，ｌ３’，Ｓ’　を計算して、これらを基準
パラメータｓ１　，ｓ２　，ｓ３　，β３，ｌ２　，ｌ
３　，Ｓと比較することにより判断する。これらの基準
パラメータは予め計算してＲＡＭ５２内に記憶しておく
。基準パラメータが用いられるのは画像処理部６４内であ
り、ＲＡＭ５２内の基準パラメータは制御装置１７に電
源が投入された時点で画像処理部６４のツー・ポート・
ＲＡＭ６１に転送される。

【０１１２】部品の認識図２４は、カメラ２により画像を取り込み、部品に形成
された穴の重心（中心）を計算する原理を説明する図で
ある。前述したように、部品はパレット内のセルに収納
されている。図３の領域設定部７４は目的の部品が収納
されているパレットの１つのセル全体の画像を切り出す
機能を有する。

【０１１３】図２４の（ａ）は、カメラ２で部品の画像
を取り込み、その画像を明るさのレベルにより“１”と
“０”に２値化した結果がフレームメモリ７５内に入っ
ていることを模式的に示した図である。（ａ）の各々の
セルはＣＣＤの素子１ケ１ケに対応し、かつフレームメ
モリ７５内のメモリの１ケ１ケに対応している。穴部分
が“１”と量子化されるか“０”と量子化されるかは微
妙であるが、本実施例では、最大輝度の５０％以上のセ
ルは“０”と、５０％未満のセルは“１”となつている
。

【０１１４】次に、図２２のＨ１，Ｈ２，Ｈ３が穴であ
ると判断するラベリング処理方式について説明する。セ
ルのはじから順に、セル毎に濃度の０／１を判断し、“
１”を見つけると、“１”を見つけたセルを中心にして
３×３のセルからなるブロツク部分に既にラベルの付け
られているセルがあるかを判断する。見つけた“１”の
セルが、３×３のセルからなるブロック部分で始めての
“１”であるセルの場合、その“１”のセルにまだ使わ
れていないラベルを付ける。又、既にラベルの付けられ
ているセルがある場合には、そのセルと同じラベルを付
ける。同様の処理を、すべての処理すべきセルについて
行なう。このようにすると、各々の閉領域に異なったラ
ベルが付けられる。図２２の部品Ｂを例にとつて述べる
と、３つの穴にそれぞれ穴“Ｈ１　”，穴“Ｈ２　”，
穴“Ｈ３　”としてラベルを付けることが可能となる。

【０１１５】次に、ラベル付けされた穴に関しての面積
ｓ１’〜ｓ３’及び中心位置（重心位置）の求め方につ
いて、図２４にて説明する。まず、穴の面積はラベル付
けされたとじられた領域内の“１”のセルの個数をカウ
ントし、その合計を面積とする。次に、穴の中心を求め
る場合は、図２４の（ａ）の画像のＸ，Ｙの各々の方向
に対して、“１”であるセルの個数のヒストグラムを作
成し、このヒストグラムの重心位置を、穴Ｈ１　の重心
点（Ｘ１’，Ｙ１’）とする。

【０１１６】以上のような処理を、３つの穴の画像に対
して行なえば、把持しようとする部品の３つの穴の面積
ｓ１’，ｓ２’，ｓ３’及び３つの穴のＣＣＤ座標系に
おける中心の座標（Ｘ１’，Ｙ１’），（Ｘ２’，Ｙ２
’），（Ｘ３’，Ｙ３’）を求めることができる。この
求まつた値と，図２３のようにあらかじめ記憶されてい
た特徴量の基準値とを比較することにより、正しい部品
であるかどうかが判断が付く。

【０１１７】つまり特徴量の比較として、ｓ１　≒ｓ１
’，ｓ２　≒ｓ２’，ｓ３　≒ｓ３’，ｌ２≒ｌ２’，
ｌ３　≒ｌ３’，β３　＝β３’を行なうことである。

【０１１８】座標変換次に、画像処理の座標系とロボツトの座標の変換につい
て説明する。図２５は、ロボツトの座標系のＸＲ　ＹＲ
　と視覚の座標系ＸＶ　ＹＶ　との関係を示す。ロボツ
トの座標系での目標位置を、（ＰｘＲ，ＰＹＲ，１）と
し、視覚の座標系での目標位置を（ＰｘＶ，ＰＹＶ，１
）とする。また、ロボツトの座標系ＸＲ　ＹＲ　の原点
ＯＲ　と、視覚の座標系ＸＶ　ＹＶの原点ＯＶ　のずれ
が（δｘ　，δＹ　）であり、ロボツト座標系ＸＲ　Ｙ
ｒ　がθ度だけ回転しているとし、更に、視覚系の分解
能がｋｍｍ／画素とすると、

【０１１９】

【数１】の関係がある。

【０１２０】上記変換パラメータは図２のＲＡＭ５２に
あらかじめ記憶されており、制御装置１７の電源を入れ
ると、自動的にツー・ポート・ＲＡＭ６１にも書き込ま
れ、画像処理部６４は座標変換する場合は、このパラメ
ータを用いて、部品の位置情報を、画像座標系よりロボ
ツト座標系へ、又はロボツト座標系より画像座標系へと
変換する。

【０１２１】図２６は、制御装置１７に電源が入れられ
、キーボード２０により起動がかけられる状態になるま
での準備動作ルーチン（図５の起動プログラム１００）
のフローチヤート図である。

【０１２２】まず、本制御装置１７に電源がステツプＳ
４００のステツプで入れられると、ステツプＳ４０１で
、特徴パラメータの基準値が部品毎に、命令解釈部８７
のＲＡＭ５２の内部より、バス８６，５９を通して、ツ
ー・ポート・ＲＡＭ６１のあらかじめ指定された領域に
転送される。このとき、もちろんＲＡＭ５２内のデータ
はそのまま残つているのは言うまでもない。

【０１２３】次に、ステツプＳ４０２にて、座標変換の
演算に使われる上述の変換パラメータも、ＲＡＭ５２よ
りツー・ポート・ＲＡＭ６１へ転送する。次に、ステツ
プのステツプＳ４０３で、ＸＹテーブル３の原点出しを
行なう。このテーブル３は視覚カメラ２とレンズ間を平
面的に移動させるためのものである。次にステツプＳ４
０４とステツプＳ４０５で、ロボツト６とシヤトル９の
原点出しを行ない、ステツプＳ４０６で本装置が起動可
能な状態となる。

【０１２４】電源投入後、ステツプＳ４０６に行くまで
はキーボードの入力は受け付けない状態となることは言
うまでもない。

【０１２５】〈実施例の効果〉以上説明した実施例によ
れば、次のような効果が得られる。即ち、■：制御装置
１７では、１つの命令解釈部８７が、組付を行なうロボ
ツト動作命令と画像処理を行なう画像処理命令という２
つの異なる系統の命令を解釈するようにしている。その
一方で、ロボット動作の実際の実行を制御するのは組み
付け動作制御（即ち、ロボット動作制御部６２，ハンド
動作制御部６３）が行なうようにし、画像処理は画像処
理部６４が実際に行なうようにしている。即ち、ロボット動作と画像処理という２つの異質の処理
をモジュール化された２つのプログラムにより記述し、
それらのプログラムモジュールを１つの命令解釈部が行
ない、その一方で、ロボット動作の実行と画像処理の実
行は組み付け動作制御部（即ち、ロボット動作制御部６
２，ハンド動作制御部６３）が行ない、画像処理は画像
処理部６４が行なうという二本立てとなっている。

【０１２６】そのために、制御装置１７の開発負荷を大
幅に削減できる効果がある。何故ならば、命令解釈を一
本化したことにより、並列動作を行なう２つのプログラ
ムモジュールの調停制御と同期化制御とを容易に行なう
ことができる。又、同一仕様の命令解釈部であることか
ら、工場導入後ユーザにとつても使いやすい装置にでき
る効果があるからである。さらに、命令解釈手段が同一
であることから、各々の装置間の通信用インターフエー
ス及び通信用プログラムも、各々の命令として簡素化さ
れ、装置も安価でユーザにとつてさらに使い安くできる
からである。また、ロボット動作の実行と画像処理の実
行とは二本立てで行なわれるために、組み付け動作制御
部における制御手順の開発は画像処理部６４における制
御手順の開発と独立して行なうことができ効率的である
からである。

【０１２７】具体的には、制御装置１７では、１つの命
令解釈部８７は、ＣＰＵ５０とメモリ（５１，５２）及
びキーボード２０，ＣＲＴ１９からなる入出力手段から
なる。そして、それらは命令解釈部８７内のみで通信可
能なローカルバス８６で接続され、また、ＣＰＵ５０と
ロボツト動作制御部６２とハンド動作制御部６３と画像
処理部６４とは前記ローカルバス８６とは別個のコモン
バス５９により接続されている。かつ、このコモンバス
５９は一般的な規格でマルチバスとしてある。また、命
令解釈部８７のメモリの１部であるＲＯＭ５１内に、命
令解釈プログラム及びこの命令解釈プログラムを適宜ロ
ボツトとハンドの動作命令と画像の処理命令とにより使
いわける、マルチタスクＯＳやプログラムの入出力をサ
ポートするプログラム等をあらかじめ記憶させてある。そして、命令解釈部８７のランダム・アクセス・メモリ
であるＲＡＭ５２内に領域をあらかじめ区分してこれら
のプログラムを格納してある。更に、ロボツト及びハン
ドの動作命令と画像の処理命令は、別個にキーボード等
の入力手段で入力可能とされている。そして、本組立装
置がキーボード等の入力手段で起動させられると、本制
御装置は、まずロボツト及びハンドの動作命令を解釈し
、実行することから始め、ロボツトの動作命令中に画像
の処理を起動させる命令を見つけると、前記命令解釈部
のＣＰＵが画像処理の命令をも順次解釈実行を開始し、
画像の処理命令内に処理を終了させる命令を見つけたこ
とにより、前記ＣＰＵは画像の命令処理動作をやめ、ロ
ボツトの命令解釈のみ行なう様にしたものである。

【０１２８】そのために、例えば、ロボツトのアームが
カメラのエリアより逃げたタイミングで画像を取り込む
等の動作を容易に記述可能となつた。また、タイミング
を共有メモリ２−ＰＯＲＴ−ＲＡＭを介して行なえるの
で、コンピユータのアクセス時間レベルの非常に高速で
調停を取ることが可能となつた。また、画像処理の不要
な場合は、命令解釈部のＣＰＵはロボツトの動作の命令
解釈のみに専念でき、１つのＣＰＵで複数の処理を行な
つているが、処理時間の遅れは問題にならなくなつた。

【０１２９】又、同一仕様の命令解釈手段であることか
ら、工場導入後ユーザにとつても使いやすい装置にでき
る効果がある。さらに、命令解釈手段が同一であること
から、各々の装置間の通信用インターフエース及び通信
用プログラムも各々の命令として簡素化され、装置も安
価でユーザにとつてさらに使い安くできる効果がある。

【０１３０】■：動作制御部６２，６３用の命令や画像
処理部６４の命令等は統一した形式の命令コード（図１
３〜図１５）に変換され、メモリ６０やＲＡＭ６１に格
納される。即ち、上位の制御部（解釈部８７）と下位の
制御部（動作制御部６２，６３）との間では、命令コー
ド及びメモリという媒体が存在し、上位の制御部（解釈
部８７）におけるロボットタスクとビジョンタスクの命
令の相違を吸収している。

【０１３１】■：主タスクであるロボットタスク内に、
子タスクであるビジョンタスクを起動する命令（ＳＴＡ
ＲＴ）を準備しているので、両タスク間の起動の調停が
容易となる。更に、タイミング確認指令等を用意してい
るので、タスク間の調歩が容易となる。

【０１３２】■：座標変換パラメータや基準特徴パラメ
ータ等の種々のパラメータは、バッテリーバツクアツプ
されたＲＡＭに記憶されており、電源投入時に、それら
のパラメータが必要とされるＲＡＭ６１に転送されるよ
うになっているので、これらのパラメータの一元的な管
理が容易となる。具体的には： ■−１：キーボード，ＣＲＴフロツピーデイスクドライ
ブ等の入出力手段を１つだけ、かつロボツト等の動作命
令の入出力の必要な部分に設けることで、すべて行なえ
る。 ■−２：画像処理部のＲＡＭをバツテリーバツクＵＰさ
せる必要がない。 ■−３：画像処理部を故障等で交換してもパラメータを
再度入力する必要がない。 ■−４：二重にパラメータを記憶しておく必要がないた
め、ずれ等による誤動作がない。

【０１３３】〈変形例〉本発明はその主旨を逸脱しない
範囲で種々変形が可能である。 ■：例えば、上記実施例では、図４に示すように、マト
リツクス状にパレット内に配置されたワークについて説
明したが、パレット内のワークの配置は、これにかぎら
ず、たとえば、直線等の一列に並べても構わず、また、
パレット内にランダムに収納されていてもよい。要は、
パレット内におけるワークの位置が大体決まっていれば
よく、その各ワークの概略の位置をロボツトに教えこま
すことができることが重要である。

【０１３４】■：また、上記実施例では、セルの大きさ
は一定であり、ワークも１種類とした。本発明は、セル
の大きさが異なっていても、また、１つのパレット内で
異なるワークが存在する場合にも適用できる。この場合
は、セルの位置とそのセルの大きさとそのセル内のワー
クの種類との対応とを、制御装置１７が画像処理部６４
へ送ればよい。また、１つのセル内に複数のワークが存
在する場合にも本発明を適用できる。 ■：前記実施例では、座標変換は、視覚系で行なわれて
いたが、ロボツト制御装置側で行なってもよい。

【０１３５】■：また、前記実施例では、穴Ａ，Ｂの重
心位置は図２４に説明したように、ヒストグラムの極大
値をとる位置を重心位置と定めたが、次のようにしても
よい。即ち、図２４で、全ドットの数がｎ個の場合は、
頻度の累積がｎ／２　となる点を重心とする。この手法
によれば、対象でない形状の穴等についても重心を演算
できる。

【０１３６】■：前記実施例では、特徴パラメータと座
標変換パラメータを命令解釈部８７のメモリ５２に常時
格納しておき、電源打込後、画像処理部がアクセス可能
な２−ＰＯＲＴ−ＲＡＭ上に転送するようにしている。本発明はこれに限定されず、例えば、画像が独自に用い
るパラメータ、たとえば画像取り込みの絶対的なスター
ト位置，カメラ２の入力のゲイン等を命令解釈部のメモ
リに格納しておき、前記と同様に転送してもよい。また
、ロボツト動作部，ハンド動作部に必要なパラメータも
同等に命令解釈部のメモリより共有メモリに転送しても
良い。

【０１３７】■：前記実施例は、まずロボツトの動作が
起動され、ロボツトの動作命令内に画像の処理を起動さ
せる様に説明してあるが、画像の処理の時間が長く、組
立装置を間欠的に動かす装置等に応用し場合、画像の処
理命令からロボツトの動作命令解釈を起動させ、かつロ
ボツトの動作命令中に停止する命令を入れ、ＣＰＵの処
理を行なわせない様に構成しても何ら問題はない。

【０１３８】■：前記実施例において、一連の動作及び
処理命令の中にロボツト動作部及び画像処理部への命令
コード以外のシーケンス制御命令（ジヤンプ命令，繰返
し命令，タイマー命令）が存在した場合には、命令解釈
手段で理解し、命令解釈部自体が実行することは、図９
の行番３６０のビジョンタスク開始命令の説明から容易
に考えられる。

【０１３９】■：前記実施例において、画像処理部が命
令解釈部からの命令コードの授受を行なう手段を２ＰＯ
ＲＴ−ＲＡＭ６１としているが、前記実施例のロボツト
動作部と同じく共有メモリ６０とする事も可能である。

【０１４０】同様に、前記実施例において、ロボツト動
作部及びハンド動作部が命令解釈部からの命令コードの
授受を行なう手段を共有メモリ６０としているが、前記
実施例の画像処理部と同じく２ＰＯＲＴ−ＲＡＭとする
事も可能である。部に記憶され、必要に応じて、この記
憶部から、それが使われる把持部及び／又は画像処理部
に転送される。このために、パラメータを記憶するとこ
ろは１つで済み、従って、その管理も一元化できる。

【０１４１】

【発明の効果】以上説明したように、本発明によれば、
組付を行なう把持動作命令と画像動作処理命令を解釈す
る解釈手段を１つとし、各々に対応した命令コードによ
り把持動作部又は画像処理部における動作又は処理を行
なうようにすることにより、制御装置の開発負荷を大幅
に削減できる効果がある。即ち、各命令は、一旦、命令
コードにブレークダウンされるので、この命令コードを
統一したフォーマツトにすることにより、画像処理部及
び把持部におけるプログラム開発が見通しのよいものに
なる。

【０１４２】本発明の好適な１態様によれば、この自動
把持装置は、把持動作だけではなく、把持部をワークの
置かれた位置に移動させ、ワークを把持した把持部を組
み付けステージに移動し、把持したワークを組体に組立
てる機能を有する。本発明の好適な１態様によれば、解
釈部は、１つの画像処理命令または把持動作命令を解釈
して命令コードに変換した後に、次の画像処理命令また
は把持動作命令を解釈する。本発明の好適な１態様によ
れば、画像処理部及び把持部においては、夫々、命令コ
ードを解釈実行する実行手段を有する。

【０１４３】本発明の好適な１態様によれば、画像処理
命令から変換された前記命令コードが格納されるメモリ
はデユアル・ポートＲＡＭであることを特徴とする。一
般に、画像処理には画像処理に適したマイクロコンピユ
ータが存在し、また、把持部には把持制御に適したマイ
クロコンピユータが存在する。デユアル・ポートＲＡＭ
は、これらの異なるバス・アーキテクチャをもつマイク
ロコンピユータの使用を可能にする。

【図面の簡単な説明】

【図１】本発明が適用された好適な実施例に係るロボッ
ト組立システムの斜視図。

【図２】第１図システムの制御装置１７の構成を示すブ
ロツク図。

【図３】制御装置１７の画像処理部６４のブロツク図。

【図４】第１図システムに利用されるパレットの構造を
示す平面図。

【図５】解釈部８７のＲＯＭ５１のデータ構成を示す図
。

【図６】解釈部８７のＲＯＭ５２のデータ構成を示す図
。

【図７】，

【図８】第１図システムのシャトル及びロボットの動作
を具体的に示す図。

【図９】，

【図１０】一例としての、ロボットタスクを記述するプ
ログラムのフローチヤート。

【図１１】一例としての、ビジョンタスクを記述するプ
ログラムのフローチヤート。

【図１２】ロボットプログラムが解釈部８７により命令
コードに変換され、その命令コードが実行される様子を
模式的に示した図。

【図１３】，

【図１４】，

【図１５】命令コードのフォーマツトを示す図。

【図１６】解釈プログラムと各タスク間の関係を示すと
共に、そこにおける解釈の制御に必要なフラグを示す図
。

【図１７Ａ】、

【図１７Ｂ】解釈部８７の解釈手順を示すフローチヤー
ト。

【図１８】ロボット／ハンド動作制御部における制御手
順を示すフローチヤート。

【図１９】画像処理部６４の制御手順を示すフローチヤ
ート。

【図２０】，

【図２１】第９図乃至第１１図のプログラムを実行した
ときの各部の動きを示すタイミングチヤート。

【図２２】，

【図２３】部品認識における特徴パラメータの定義を説
明する図。

【図２４】部品認識に必要な重心位置の検出の原理を説
明する図。

【図２５】視覚座標系とロボット座標系との関係を示す
図。

【図２６】起動プログラム１００の制御手順を示すフロ
ーチヤート。

【符号の説明】

２　　ＣＣＤカメラ３　　ＸＹテーブル６　　ロボット７　　ハンド８　　組み付けステージ９　　シャトル１１，１２　　部品供給部１３ａ，１３ｂパレット１７　　制御部１８　　ケーブル１９　　ＣＲＴ５０　　ＣＰＵ５１　　ＲＯＭ５２　　ＲＡＭ６０　　共有メモリ６１　　ツー・ポート・ＲＡＭ６２　　ロボット動作制御部６３　　ハンド動作制御部６４　　画像処理部８７　　命令解釈部

Claims

【特許請求の範囲】

【請求項１】ワークの画像を撮像し、この画像から前記
ワークの位置情報を算出する画像処理部と、前記ワーク
を前記位置情報に基づいて把持する把持部とからなる自
動把持装置を制御する制御装置であって、前記ワークを
撮像しそのワークの画像から位置情報を算出する一連の
画像処理命令とこのワークを前記位置情報に基づいて把
持する一連の把持動作命令とを含むプログラムを記憶す
る記憶部と、このプログラム中の前記画像処理命令と把
持動作命令とを識別して解釈すると共に、前記画像処理
命令と把持動作命令とを夫々対応する中間命令コードに
変換し、変換された命令コードを夫々前記画像処理部及
び把持部に渡すための１つの解釈部とを具備したことを
特徴とする視覚を用いた自動把持装置の制御装置。
【請求項２】この自動把持装置は、前記ワークの位置情
報に応じて、この把持部をワークの置かれた位置に移動
させ、ワークを把持した把持部を組み付けステージに移
動する移動手段と、把持したワークを組体に組立てる組
立手段とを更に具備し、前記プログラムは、前記移動手
段と組立手段の動作を記述する命令を含み、この命令も
前記解釈部に解釈されることを特徴とする請求項の第１
項に記載の視覚を用いた自動把持装置の制御装置。
【請求項３】前記解釈部は、１つの前記画像処理命令ま
たは把持動作命令を解釈して命令コードに変換した後に
、次の前記画像処理命令または把持動作命令を解釈する
ことを特徴とする請求項の第１項に記載の視覚を用いた
自動把持装置の制御装置。
【請求項４】前記画像処理部は前記画像処理命令から変
換された命令コードを解釈実行する第１の実行手段を有
し、前記把持部は前記把持動作命令から変換された命令
コードを解釈実行する第２の実行手段を有したことを特
徴とする請求項の第１項に記載の視覚を用いた自動把持
装置の制御装置。
【請求項５】前記解釈部は１つのＣＰＵを有し、前記画
像処理命令から変換された命令コードと前記把持動作命
令から変換された命令コードとは、前記ＣＰＵがアクセ
ス可能な異なる２つの第１と第２のメモリ回路に夫々格
納されることを特徴とする請求項の第１項に記載の視覚
を用いた自動把持装置の制御装置。
【請求項６】前記画像処理命令から変換された前記命令
コードが格納される第２のメモリはデユアル・ポートＲ
ＡＭであることを特徴とする請求項の第５項に記載の視
覚を用いた自動把持装置の制御装置。
【請求項７】この自動把持装置は、前記ワークの位置情
報に応じて、この把持部をワークの置かれた位置に移動
させ、ワークを把持した把持部を組み付けステージに移
動する移動手段と、把持したワークを組体に組立てる組
立手段とを更に具備し、前記プログラムは、前記移動手
段と組立手段の動作を記述する命令を含み、この命令も
前記解釈部に解釈され、前記移動手段による前記把持部
の移動動作を記述する命令に対応する命令コードと前記
把持動作命令に対応する命令コードとは共に、前記第２
のメモリ回路に記憶されることを特徴とする請求項の第
５項に記載の視覚を用いた自動把持装置の制御装置。
【請求項８】ワークの画像を撮像し、この画像から前記
ワークの位置情報を算出する画像処理部と、前記ワーク
を前記位置情報に基づいて把持する把持部とからなる自
動把持装置を制御する制御方法であって、前記ワークを
撮像しそのワークの画像から位置情報を算出する一連の
画像処理命令とこのワークを前記位置情報に基づいて把
持する一連の把持動作命令とを含むプログラムを、前記
画像処理命令と把持動作命令とを識別して解釈し、前記
画像処理命令と把持動作命令とを、夫々対応する中間命
令コードに変換し、変換された命令コードを夫々前記画
像処理部及び把持部に渡すことを特徴とする視覚を用い
た自動把持装置の制御方法。
【請求項９】１つの前記画像処理命令または把持動作命
令を解釈して命令コードに変換した後に、次の前記画像
処理命令または把持動作命令を解釈することを特徴とす
る請求項の第８項に記載の視覚を用いた自動把持装置の
制御方法。
【請求項１０】前記画像処理部においては、前記画像処
理命令から変換された命令コードを解釈実行し、前記把
持部においては、前記把持動作命令から変換された命令
コードを解釈実行することを特徴とする請求項の第８項
に記載の視覚を用いた自動把持装置の制御方法。