JPS62286189A

JPS62286189A - 高速視覚認識装置

Info

Publication number: JPS62286189A
Application number: JP61130490A
Authority: JP
Inventors: Kosaku Inagaki; 稲垣　耕作; Kazuo Mikami; 和夫三上
Original assignee: Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1986-06-04
Filing date: 1986-06-04
Publication date: 1987-12-12
Anticipated expiration: 2010-12-20
Also published as: JPH07120416B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】３、発明の詳細な説明〈産業上の利用分野〉この発明は、例えば産業用ロボット等に適用実施される
技術であって、観測対象を視覚センサで撮像してこれを
高速に認識する高速視覚認識装置に関する。

〈従来の技術〉例えばテーブル上のワークをロボットハンドで把持して
所定位置へ移動させるのに、そのワークの位置や姿勢を
予め視覚認識装置により確認した上で、ロボットハンド
を作動させるという自動化システムが提案されている。

従来のこの種のシステムにおいて、ワーク観測用の視覚
センサは、テーブル上方の所定位置に固定して取り付け
てあり、その観測視野内でワークを撮像し、視覚認識部
にて画像演算を実行することにより、ワークの位置や傾
きを検出している。

第２３図〜第２６図は、従来システムにおける視覚セン
サ（この場合、テレビカメラ）の設置状況を具体的に示
しており、第２３図および第２４図は、テーブル１の上
方位置に１台のテレビカメラ２を下向きに固定し、テレ
ビカメラ２の観測視野３内に静止状態のワーク４を位置
させて、ワーク４の位置や傾きを観測している。

また第２５図は、テーブル１の上方位置に複数台のテレ
ビカメラ２ａ〜２ｃを下向きに固定して、各テレビカメ
ラ２３〜２ｃの観測視野３ａ〜３ｃを組み合わせて、静
止状態のワーク４ａ、４ｂを観測している。

さらに第２６図は、第２５図のものと同様、複数台のテ
レビカメラ２３〜２ｆを下向きに設置して、各テレビカ
メラ２ａ〜２Ｃの観測視野３ａ〜３ｆを組み合わせて、
移動するワーク４を追跡しつつ観測している。

〈発明が解決しようとする問題点〉ところが第２３図に示す例では、ワーク４がら遠く離れ
た位置にテレビカメラ２が設置しであるから、広い観測
視野３が得られる一方、ワーク４の画像５　（第２７図
に示す）が小さくなるため、ｆｉ測精度が低いという欠
点がある。

また第２４図に示す例では、ワーク４に近い位置にテレ
ビカメラ２が設置しであるから、大きな画像５　（第２
８図に示す）が得られて観測精度は高まる一方、観測視
野が著しく狭められるという欠点がある。

なお第２７図および第２８図中、６はテレビカメラ２の
撮像面を示す。

さらに第２５図に示す例では、複数の観測視野３ａ〜３
ｃが組み合わさって拡大されるが、複数台のテレビカメ
ラ２ａ〜２ｃが必要であるため、設備費用が高価となる
。しかも各テレビカメラ２ａ〜２ｃで得た画（象を単一
の視覚認識部をもって画像演算処理するには、時分割処
理による必要があり、処理時間が長くかかる等の問題が
ある。

さらに第２６図に示す例では、同様に複数の観測視野３
ａ〜３ｆが組み合わさって拡大されるが、複数台のテレ
ビカメラ２８〜２ｆが必要であり、設備費用が高価とな
る。しかも各テレビカメラ２ａ〜２ｆをワーク４の動き
に追随させるには、各テレビカメラで得た画像を個別の
視覚認識部を用いて並列処理する必要があり、コスト面
の負担が一層大きなものとなる。

上記各別のようなテレビカメラを固定状態で設置する方
式以外に、例えばロボットアームにテレビカメラを取り
付けて、任意の位置でワークの観測を可能とした方式の
ものも提案されている７この方式は、観測に際しロボッ
トアームの動きを止め、テレビカメラを静止状態に設定
した上でワークを観測し、この−回の観測でワークの位
置や傾きを認識した後、ロボットハンドをワークに接近
させて作業を行わせるものである。

ところがこの方式の場合、テレビカメラを静止状態に設
定して観測および認識処理を実施する必要があるため、
処理の速度が遅く、殊に第２６図のような移動するワー
クに追随して、ワークの観測を行う等は到底不可能であ
る。

この発明は、上記問題を一挙に解消するためのものであ
って、視覚センサを自在に動かしつつ最適位置から観測
動作を行わせることによって、高精度かつ高速度の認識
処理を可能とじた安価な高速視覚認識装置を提供するこ
とを目的とする。

く問題点を解決するための手段〉上記目的を達成するためのこの発明の構成を、一実施例
に対応する第１図を用いて説明すると、この発明の高速
視覚認識装置では、観測対象（第１図では、ワーク１６）を撮像してビデオ
信号を出力する視覚センサ１０と、視覚センサ１０を支
持すると共に視覚センサ１０の位置および姿勢を可変設
定するための支持機構部１１と、視覚センサ１０よりビデオ信号を入力しリアルタイムの
画像演算を実行して観測対象を認識するための視覚認識
部１２と、視覚認識部１２の演算結果に基づき前記支持機構部１１
の動作を制御して視覚センサ１０を観測最適位置へ移行
させるための位置・姿勢制御部１３とを具備させること
にした。

すなわちこの発明の装置においては、視覚認識部１２で
の認識結果が支持機構部１１の動きに直接影響を与える
ことを特徴とし、視覚センサ１０と支持機構部１１とが
一体化し、位置・姿勢制御部１３は視覚センサ１０およ
び支持機構部１１の位置と姿勢とをリアルタイムで常時
認識しつつ支持機構部１１を動かすものである。

く作用〉視覚センサ１０は観測対象を撮像して視覚認識部１２へ
入力画像のビデオ信号を出力する。

視覚認識部１２では、入力画像につきリアルタイムの画
像演算を実行して、入力画像の基準位置に対する位置ず
れ量や回転ずれ量１面積１輪郭等の特徴パラメータを生
成し、或いは観測対象の絶対座標情報等とともにこれを
位置・姿勢制御部１３に与える。位置・姿勢制御部１３
では特徴パラメータや座標情報に基づき支持機構部１１
の動作を制御して視覚センサ１０を観測最適位置へ移行
させる。

この一連の動作はビデオレートで行われるもので、従っ
て視覚センサ１０は観測対象を観測しつつ観測最適位置
へ移動するという人間の視覚系と同等の作用を行うこと
になる。

〈実施例〉第１図は、この発明の一実施例にかかる高速視覚認識装
置の全体概略構成を示すもので、視覚センサ１０と、支
持機構部１１と、制御回路部１４とから成り、制御回路
部１４は視覚センサ１０や支持機構部１１に対し電気的
に接続されている。

図示例の視覚センサ１０は、２次元ＣＣＤのような固体
撮像素子より成るテレビカメラであって、テーブル１５
上に位置するワーク１６を真上或いは斜めより撮像して
入力画像のビデオ信号を出力する。

支持機構部１１は、ワーク１６に対する視覚センサ１０
の位置や姿勢を可変設定するためのものであって、６自
由度の首振り機構を有する可動アーム１７と、この可動
アーム１７の下端に首部１９を介して一体連結された支
持部１８とから成る。図示例の支持部１８は平板状であ
って、その下面中央に一個の視覚センサ１０が取付は固
定されている。

制御回路部１４は、視覚認識部１２と位置・姿勢制御部
１３とを含んでおり、前記視覚認識部１２は視覚センサ
１０よりビデオ信号を入力し、リアルタイムの画像演算
を実行してワーク１６の位置や傾き１面積１輪郭等を検
出する機能或いは位置・姿勢を絶対座標系に変換する機
能を有する。

第６図は、この視覚認識部１２の具体構成例であって、
その詳細は後述するが、入力画像の重心位置と主軸角を
求め、さらにこれから入力画像の基準位置に対する位置
ずれ量や回転ずれ量をビデオレートで検出している。

第１図に戻って、位置・姿勢制御部１３は、視覚認識部
１２の演算結果に基づき前記支持機構部１１の動作を制
御して視覚センサ１０の位置および姿勢を観測最適状態
へ移行させる。例えば第６図に示す視覚認識部１２によ
れは、入力画像の位置ずれ量や回転ずれ量を検出するか
ら、入力画像が撮像面の中心位置にくるよう且つその傾
きがゼロとなるよう視覚センサ１０の位置および姿勢を
決定する。また視覚センサ１０をワーク１６に対し自在
に接近または離反させ、これを所定の高さ位置へ導くこ
とによって、視覚センサ１０を観測最適位置に位置決め
できる。

第２図は、この発明の他の実施例を示し、前記支持機構
部１１の支持部１日にワーク１６を把持するだめのハン
ド部２２．２２を取り付けたものである。すなわち前記
支持部１８は、下面の両側位置に突出部２Ｑ、２Ｑを一
体に備えており、各突出部２０．２０内にそれぞれハン
ド部２２．２２を一斉に開閉動作させるハンド駆動機構
が組み込んである。このハンド駆動機構の駆動はハンド
制御部２３Ｇこより制御され、このハンド制御部２３は
視覚認識部１２や位置・姿勢制御部１３とともに制御回
路部１４を構成している。前記各突出部２０．．２０間
の凹部２１には視覚センサ１０が配備され、この視覚セ
ンサ１０はその視軸を可動アーム１７の軸芯に一致させ
である。

第３図は、更に他の実施例を示す。この実施例では、視
覚センサ１０を支持機構部１１の首部１９の側面位置に
取り付け、その視軸を可動アーム１７の軸芯から適当距
離位置ずれさせると共に、ハンド部２２を支持部１８の
側面位置に開閉可能に取り付けたものである。

なお第３図中、先の実施例と同様の構成については、対
応する構成に同じ符号をつけて、その説明を省略するが
、このことは以下の説明においても同様である。

第４図および第５図は、更に他の実施例を示す。この実
施例は、支持機構部１１の可動アーム１７に第２の可動
アーム２４を分岐して設け、この第２の可動アーム２４
の先端にハンド部２２を取り付けたものである。このハ
ンド部２２および第２の可動アーム２４はハンド制御部
２３によりその動作が制御されるもので、この実施例の
場合、ハンド部２３の動きを視覚センサ１０の動きから
独立させることができ、またワーク１６のハンドリング
を視覚センサ１０が確認できるという利点がある。

第６図は、視覚認識部１２の具体回路構成例であって、
この実施例では入力画像の基準位置に対する位置ずれ量
や回転ずれ量をビデオレート（１６，６ナノ秒）で算出
する。

以下、第７図〜第」０図に基づき入力画像の基準位置に
対する位置ずれ量や回転ずれ量の検出原理を説明した後
、第６図に示す回路の構成並びにその動作を説明する。

一般に物体画像の位置ずれや回転ずれを検出する場合、
まず視覚センサで基準モデルの画像４１　（第７図（旧
こ示す）を得た後、ＸＹ座標上でのその画像４１の重心
Ｇ。の座、漂Ｃｘｃ。。

ｙＧ、）および主軸角θ。を求める。つぎに視覚センサ
で観測対象の画像４２　（第７図（２）に示す）を得、
同様にその重心Ｇの座標（ＸＧ、ＹＧ）および主軸角θ
を求めた後、その位置ずれ量ΔＸ。

ΔＹや回転ずれ量Δθを次式で算出する。

ΔＸ＝Ｘｒ、ｏ　　Ｘｃ、・・・・■ ΔＹ＝Ｙ、。−Ｙｏ・・・・■ Δθ＝θ０−θ　　・・・・■ ところで画（象ノイズの多い物体画像につき、その位置
ずれや回転ずれを検出するのに、画像のモーメントを利
用してその重心の座標や主軸角を算出する方式が採用さ
れる。

第８図は、この方式による重心および主軸角の検出理論
を説明するための図であり、図中、升目は縦購各２５６
ビソトより成る各画素を示し、物体画像４３を構成する
各画素の位置はＸＹ座標によって規定されている。

同図において、任意の画素４４の座標を（Ｘｉ、ＹＪ）
（ただしｉ、ｊ＝１．２．・・・・。

２５６）、その画素４４の濃度の重み関数をｆ　　（Ｘ
、、Ｙ、）とすると、画像４３のモーメントＭ’ｐｑ　
（ただしｐ、（１＝０．１．２．　　・・・・）はつぎ
の０式で与えられ、また画像４３の重心Ｇの座標（ＸＧ
、ＹＧ　）および主軸角θは、前記モーメントを利用し
て、つぎの■〜■弐で与えられる。

Ｍ二、＝　ｆ：ｆ二：’Ｘ’　　　・　Ｘ’　　　・　
ｆ　　（Ｘ、Ｙ）　　ｄＸｄＹ−・　−■２　　　　　
Ｍ２゜−ＭＯ２２Ｎウ　−Ｎ７ただし、Ｍニ。、は被測
定パターンの面積。

ＸＧ、ＹＧは被測定パターンの重心のＸ座標。

Ｙ座標である。

かくして上記０〜０式の演算を実行すれは、画像４４の
重心Ｃの座標（ＸＧＩＹＧ）や主軸角θが検出できる。

ところが上記各式は、二重積分５乗除算、逆三角関数を
含んでおり、これらの演算をソフト的に実施すると、多
大の時間（秒オーダ）がかかり、特に１画面分のビデオ
信号出力期間以内に演算を終了させる等、到底不可能で
ある。

そこで第６図に示す回路構成をもって、ビデオ信号の１
水平走査期間毎に１水平走査ライン分の０次、１次、２
次の各モーメントを求め、各ラインの総和を有効垂直走
査期間にわたり演算し、次の帰線消去期間に重心および
主軸角を演算することにより、ビデオ信号期間を無駄な
くフルに利用して、物体画像の重心位置やその傾きをリ
アルタイムで検出している。

第９図はこの実施例についての理論脱明を行うだめの図
である。

第９図において、縦横の各升目は画素を示し、各画素に
は水平座標アドレスＸ１．Ｘｚ　・・・・。

Ｘ　２１６および、垂直座標アドレスＹ、、Ｙ、。

・・・・、　　Ｙｘｓｂが割り当てられる０画像４５は
、物体を撮像して得たビデオ信号を２値化処理して求め
た２値画像であって、例えば物体部分が黒画素、背景部
分が白画素より構成される。図中、Ｇは画像４５の重心
を示し、その座標（ＸＧ／ＹＧ）や主軸角θは、つぎの
■〜［相］式で示す如く、Σの関数式として表される。

ΣＸ１芥ｆ　（ＸＬ、ＹＪ） λ）；　ｆ　　（Ｘｉ、Ｙｊ）　　　　　ΣＮＪなお画
像４５は２値画像であるから、前記した濃度の重み関数
ｆ　　（Ｘｉ、Ｙｌ　は、次式で示す如（、ｒＯＪ　　
ｒｌｊのいずれか値をとる。

かくして上記■〜［相］式において、ΣＹＪ　−Ｎ。

およびΣｙ、”　Ｎ、は垂直座標アドレスに関する１次
モーメントおよび２次モーメント、Σ　Ｎ。

＝Ｍ　’ｏ　ｎ　、　　ΣΣ粘およびΣΣＸ、′は水平
座標アドレスに関する０次モーメント、１次モーメント
垂直座標アドレスに関する相関モーメントであり、第９
図に示す実施例において、それぞれモーメントの具体例
が図の左右両側にあられしである。

この実施例の場合、ビデオ信号の各水平走査ライン毎に
２値画像４５の水平座標アドレスに関するＯ次モーメン
トＮＪ、１次モーメントΣＸｉおよび、２次モーメント
ΣＸ五をハード的に求め、つぎの水平走査ラインで垂直
座標アドレスに関する１次モーメントＹＪＮＪおよび２
次モーメントＹＪ”　ＮＪ、さらに水平・垂直座標アド
レスに関する相関モーメントＹＬΣｘ１をソフト的に算
出すると共に、各水平走査ライン毎に有効垂直走査期間
にわたる累積加算値ΣＮ１．ΣＹ、Ｎ、。

２゛ ΣＹＪＮ、、　　ΣΣＸ、・ΣΣＸ、、Σｙ、ΣＸ。

をそれぞれ求め、つぎの垂直帰線消去期間に前記累積加
算値に基づき■〜［相］弐の演算を実行して、重心Ｇの
座標（ＸＧ、￥、）および主軸θをソフト的に算出する
。

第１０図は、この実施例におけるビデオ信号ＶＤ、のタ
イムチャートを示す。同図において、と半分の図は、垂
直走査期間にかがるビデオ信号ＶＤ、を、下半分の図は
水平走査期間にががるビデオ信号ＶＤ、を、それぞれ示
している。

図中、ＶＤは垂直同期信号、ＨＤは水平同期信号を示し
、■垂直走査期間（１６，７ミリ秒）は２０Ｊ（（ただ
し１Ｈはｌ水平走査期間を意味し６３．５マイクロ秒で
ある）の垂直帰線消去期間と、残りの有効垂直走査期間
とから構成されている。この有効垂直走査期間には、２
４２本の水平走査ラインを含み、また各水平走査ライン
には、２５６個の画素データを含んでいる。

なお図中、Ｙ、、ｙｚ、ｙｓ　、　　・・・・、Ｙ２４
□は前記第９図における垂直座標アドレスに、またＸ　
ｒ　＋　Ｘ　ｆｆｉ＋　Ｘ　ｆｆ＋・・・・、ＸＺＳ＆
は水平座標アドレスにそれぞれ対応する。

つぎに第６図の回路構成を説明するに、図中、視覚セン
サ１０は、ワーク１６を真上或いは斜め上より憑像し、
濃淡画像を構成するところのビデオ信号ＶＤ、を出力す
る。同期分離回路４８は、ビデオ信号ＶＤ、より水平同
期信号ＨＤ、垂直同期信号ＶＤ、クロック信号ＣＫ等を
分離して、これを２値化回路４９へ出力する。２Ｉｌ！
化回路４９は、ビデオ信号ＶＤ、に対し一定のスレシュ
ホールドレベルを設定することにより、ビデオ信号ＶＤ
、を白黒２値化して２値化画像を生成する。画素カウン
タ５０は、ビデオ信号ＶＤ、の１水平走査ライン毎に、
物体部分を構成する画素（この実施例では黒画素）の数
を計数するためのもので、その計数値ＮＪは１１０（Ｉ
　ｎｐｕ　ｔ／　Ｏｕ　ｔｐｕ　ｔ）ポート５１を介し
てＣＰＵ（Ｃｅｎｔｒａｌ　　Ｐｒｏｃｅｓｓｉｎｇ　
Ｕｎｉｔ　）　　５２に取り込まれるようになっている
。

水平カウンタ５３は、前記の水平座標アドレスを割り当
てるためのもので、水平同期信号ＨＤの立下がりから例
えば１０画素分に相当する時間経過後よりクロック信号
ＣＫの計数を開始する。加算器５４およびバッファ５５
は、黒画素が存在位置する水平座標アドレスにつき、そ
の累積加算値ΣＸ、を求めてＣＰＵ５２へ出力するだめ
のもので、水平カウンタ５３の内容Ｘ１とバッファ５５
の内容とが加算器５４に入力されて累積加算処理される
。

テーブル変換ＲＯＭ　５６は、水平カウンタ５３の内容
Ｘ、を、その２乗（ｉＸ、′に変換するだめのテーブル
ＴＩ　　（第１１図に示す）が格納されたものであり、
水平カウンタ５３の内容Ｘ、でテーブル変換ＲＯＭ５６
のアドレスがアクセスされて、その２乗値Ｘ、′が加算
器５７へ出力される。この加算器５７およびバッファ５
８は、黒画素が存在位置する水平座種子ドレスにつき、
その２乗値Ｘ、′の累積加算値ΣＸ、２を求めてＣＰｔ
Ｊ５２へ出力するためのもので、テーブル変ｉＲＯＭ５
６の出力Ｘｉ　”とバッファ５８の内容とが加算器５７
に入力されて累積加算処理される。

上記カウンタ５０の計数値Ｎ、や各バッファ５５．５８
の内容ΣＸＬ、ΣＸｉ”は１水平走査毎に■／○ポート
５１を介してＣＰＵ５２に取り込まれ、ＣＰＵ５２はこ
れらのデータに基づき所定の演算処理を実行して、画像
の重心Ｇの座ｉ　（ｘ＋、　、　ＹＧ　）および主軸角
θを求める。

なお図中、ＦＲＯＭ５９は位置ずれ検出等の一連のプロ
グラムを格納し、またＲＡＭ６０は各種データを格納す
る他、処理実行のためのワークエリアを有する。

つぎに第６図の回路につき、その動作を説明する。

まず同図の回路のモードを学習モードに設定した上で、
視覚センサ１０で例えば基準モデルを撮像すると、同期
分離回路４８で同期信号等が分離され、さらに２値化回
路４９でビデオ信号ＶＤ、の２　（ｉ比処理が実行され
て、２値画像が生成される。この２値画像出力は、画素
カウンタ５０および各加算器５４．５７へ送られるもの
で、この画素カウンタ５０や各加算器５４゜５７におい
ては、前記した所定の計数ないしは演算が実行される。

そして各水平走査期間毎に、ＣＰＵ５２に対し水平同期
信号ＨＤによる割込みＬＮＴが発生せられ、その都度、
画素カウンタ５０の内容や、各加算器５４．５７による
加算結果がＣＰＵ５２取り込まれる。

第１２図はＣＰＵ５２における割込み制御動作を示す。

なお同図中、ＹＪはＣＰＵ５２が内部に有する垂直カウ
ンタの計数値（前記垂直座標アドレスに相当する）を示
しており、この垂直カウンタは前記割込みＩＮＴの発生
がある毎に歩進されるものであって、垂直同期信号ＶＤ
の立下がりより２０Ｈに相当する時間経過後より計数を
開始する。

今、ＹＪ＠巳の水平走査ラインにつき、画素カウンタ５
０による黒画素計数動作が完了した時点を想定すると、
まずＣＰＵ５２はステップ１で画素カウンタ５０の内容
Ｎ、を読み取った後、つぎのステップ２でその累積加算
値Ｎ（前記ΣＮ、に対応する）を演算して、ＲＡＭ６０
へ格納する。さらにステップ３では、ＣＰ　０５２内の
垂直カウンタの内容ＹＪが読み取られ、つぎのステ・７
プ４でＣＰＵ５２はその累積加算値ＮＴ、　　（前記Σ
Ｎ、Ｙ、に対応する）を演算して、演算結果をＲＡＭ６
Ｑへへ格納する。続くステップ５では、垂直カウンタの
内容ＹＪをその２乗値Ｙ、′に変換するため、ＦＲＯＭ
５９に格納された変換テーブル（図示せず）が参照され
て２乗値Ｙ、′が求められる。そしてつぎのステップ６
では、ＹＪ”　Ｎ、の累積加算値ＮＹ　（前記ΣＹ、”
　Ｎｊに対応する）が演算されて、その演算結果がＲＡ
Ｍ６０へ格納される。

さらにステップ７では、バッファ５５の内容ΣＸＬがＣ
ＰＵ５２に取り込まれて、つぎの基テップ８で、その累
積加算（直ＮＴ、Ｌ　（前記ΣΣＸ、に対応する）が演
算されると共に、つぎのステップ９で、ＹＪΣＸ、の累
積加算（直Ｎｘｙ（前記ΣＹＪΣＸＬに対応する）が演
算さて、それぞれ演算結果がＲＡＭ６０へ格納される。

さらにステップ１０では、バッファ５８の内容ΣＸ１２
がＣＰＵ５２に取り込まれ、続くステップ１１で、ＣＰ
Ｕ５２はその累積加算値Ｎ、（前記ΣΣＸ、！対応する
）を演算して、その結果をＲＡＭ６０へ格納する。つぎ
のステップ１２は、前記垂直カウンタの内容ＹＪがｒ２
４２Ｊに達したか否か、すなわち最終２４２番目の水平
走査ラインについてのステップ１〜１１の処理が完了し
たか否かを判定しており、もしその判定が“ＮＯ”のと
き、つぎの割込みＩＮＴに待機し、以下の水平走査ライ
ンについての上記各処理が繰返し実行される。

かくして最終の水平走査ラインについてのステップ１〜
１１の処理が終了すると、ステップ１２の判定が“ＹＥ
Ｓ”となり、つぎの基テップ１３．１４において、前記
累積加算値Ｎ　、　Ｎ　Ｔ　＋　。

ＮＴ、を用いて、重心Ｇ＠の座標（ＸＧＯ，Ｙｌ、ｏ）
が算出され、その結果がＲＡＭ６０の所定エリアに格納
される。またつぎのステップ１５．１６゜］７において
、前記累積加算値Ｎｘ　、　Ｎｙ！’ｌｘｙを用いて、
それぞれＮｖ　＝　ＮＹ　　Ｎ　ＹＧ（１”　。

Ｎｘｙ＝Ｎｘｙ　　ＮＸａｏＹｔ、ｏ、　Ｎｘ　＝Ｎｘ
　　ＮＸ２Ｇ。

を演算して主軸角θ。が算出され、その結果がＲＡＭ６
Ｑの所定エリアに格納される（ステップ２０）、この場
合この実施例では、まずつぎの０式を換算してＺの値を
求め、この２を１０倍または１／１０倍した値でＦＲＯ
ＭＩ　９に格納された変換テーブル（第１４図および第
１５図）のアドレスをアクセスして、主軸角θ。の算出
を行っている。

なお第１４図は主軸角θ。がＯ〜２２−５’である場合
の変換テーブルＴ２およびｔａｎθ。

の変換曲線を、また第１５図は主軸角θ。が２２．５〜
４５°である場合の変換テーブルＴ３およびＣ０ｋｅｏ
の変換曲線をそれぞれ示し、この変換テーブルＴ２．Ｔ
３は主軸角θ。の大きさに応じて用いわけられる。

上記重心Ｇ０の座標（Ｘｃｏ、　Ｙｔ、ｏ）および主軸
角θ。の算出が終わると、最後にステップ２１でＲＡＭ
６０より各累積加算値Ｎ、ＮＴ、、ＮＴ２゜ＮＸ、Ｎｙ
、Ｎつ、がクリアされ、基準パターンについての一連の
処理を終了する。なお座標データＸ、。＋　　Ｙｒ、ｏ
や主軸角θ。は絶対座標系に変換することもでき、この
変換は位置・姿勢制御部１３で行うこともできる。

つぎにモードを計測モードに設定した上で、視覚センサ
１０でワーク１６を逼像する。この場合も、上記基準モ
デルの場合と同様の画像処理、さらには画素カウンタ５
０および各加算器５４．５７の計数ないしは演算が実行
される。

そして各水平走査毎に、ＣＰＵ５２に対し水平同期信号
ＨＤによる割込みＩＮＴが発生せられ、画素カウンタ５
０の内容や各加算器５４．５７による加算結果がその都
度読み込まれる。

第１３図はこの場合のＣＰＵ５２における割込み制御動
作を示す。同図において、久テップ４１〜５１は累積加
算値Ｎ、　ＮＴ’＋、　Ｎｙ　、ＮＴ２　。

ＮＸＹ、ＮＸを算出するステップであって、これは第１
２図のステップ１〜１１と全く同様である。

そして最終の水平走査ラインについてのステップ４１〜
５１の処理が済むと、ステップ５２の判定が“ＹＥＳ”
となり、ステップ５３〜６０において、重心Ｇの座標（
Ｘａ　、　ＹＧ　）および主軸角θが算出される。ここ
で座標データＸａ。

Ｙ、や主軸角θは絶対座標系に変換することもでき、ま
たこの変換は位置・姿勢制御部１３で行うこともできる
。しかる後、ＣＰＵ５２ば〜これらデータおよび学習モ
ードで得た基準モデルについてのデータを用いて前記０
〜０式の演算が実行され、画像の位置ずれ量Δｘ１　Δ
Ｙ。

および回転ずれ量Δθが算出される。（ステップ６１〜
６３）。そしてつぎのステップ６４でこの算出結果が位
置・姿勢制御部１３へ出力された後、ステップ６５にお
いて、ＲＡＭ６０より各累積加算値Ｎ　、　Ｎ　Ｔ　、
　、　Ｎ　Ｔ　ｚ　、　Ｎ　ｘ　、　Ｎ　ｖ　。

ＮＸｙがクリアされて、一連の処理を終了する。

つぎに第１図に示す実施例（第２図〜第５凹の実施例も
同様である）につき、その使用法並びに動作を第１６図
〜第１８図に基づき説明する。

第１６図において、視覚センサ１０はテーブル１５上方
の遠く離れた位１（図中、ａ位置）に位置し、広いＨ’
１５Ａ視野３ａでテーブル１５上のワーク１６をとらえ
ている。いま装置が作動して視覚センサ１０より視覚認
識部１２へ入力画像のビデオ信号が入力されると視覚認
識部１２は前記の演算・処理を行って、入力画像５の重
心位置や主軸角を求め、さらに位置ずれ量ΔＸ。

ΔＹおよび回転ずれｌΔθをビデオレートで算出して、
これを位置・姿勢制御部１３へ出力する。位置・姿勢制
御部１３では、これらずれ量ΔＸ１　　ΔＹ、Δθがゼ
ロになるよう視覚センサ１０の位置や姿勢を補正すると
共に、視覚センサ１０を図中、矢印Ｓで示す方向へ移動
させてワーク１６に接近させてゆき、狭い観測視野３ｂ
の最適位置く図中、ｂ位りにてワーク１６を詳細に観測
して、認識その他の処理を実行する。なお観測量適位置
は、テーブル」５上の所定高さ位置Ｓこ設定するのもよ
く、また画（＆５の面積（前記累積加算値Ｎ）等を視覚
認識部１２より取り込み、これを判断要素に用いてその
都度決定するのもよい。

上記動作において、視覚認識部１２はビデオレートで入
力画像５の位置ずれ量ΔＸ、ΔＹや回転ずれ量Δθ等を
検出して、これを時々刻々位置・姿勢制御部１３に与え
るから、装置全体としては視覚センサ１０がワーク１６
を見ながら観測最適位置へ移動し、或いは視覚センサ１
０がワーク１６に近づきつつワークＬ６を常時観測する
という人間の視覚系と同等の作用が得られる。

第１７図は、この装置例の他の使用法を示す。

同図において、視覚センサ１０はテーブル１５上の適当
高さ位置に位置しており、この視覚センサ１０がその観
測視野３に移動ワーク１６をとらえたとき、視覚センサ
１０がワーク１６を追尾して、ａ位置よりｂ　−ｅ位置
を経てｆ位置に至っている。この装置によれは、ワーク
１６のずれ量ΔＸ、ΔＹ、Δθが視覚認識部１２のリア
ルタイム演算で検出されて、時々刻々位置・姿勢制御部
１３に与えられるから、視覚センサ１０をワーク１６の
動きに追随させることができる。この場合は基準の座標
データＸ、。。

Ｙ、ｏや主軸角θ。は前回のデータであって、現データ
との差から次に移動する座標系を予測して位１・姿勢制
御部１３へ伝える。

第１８図は、この装置例の他の使用法を示すもので、視
覚センサ１０にである決められた追跡ライン２５を観測
しつつ、この追跡ライン２５に沿って視覚センサ１０を
移動させている。同図中、６は視覚センサの撮像面を示
し、この撮像面６に生成される追跡ライン２５の画像に
つきそのずれ量を視覚認識部Ｘ２がリアルタイム演算で
検出し、これを位置・姿勢制御部１３に時々刻々与えて
いる。これにより視覚センサ１０は、その位置や姿勢を
常に補正し、追跡ライン２５を追跡しつつ移動するもの
である。

第１９図〜第２２図は、この発明にかかる高速視覚認識
装置の応用例を示す。

第１９図は、この発明を両眼立体視装置に応用した例で
あり、左右一対の視覚センサＬＱＡ。

１０Ｂがテーブル１５上の遠く離れたａ位置に配置され
ている。図示の装置では、まず２Ｊｍの視覚センサＩＯ
Ａ、ＩＯＢを用いてワーク１６をとらえ、三角測量の原
理によってワーク１６までの距諦をおよそ測定する。つ
ぎに２個の視覚センサＬＯＡ、ＬＯＢを観測最適位置（
ｂ位置）まで移動させた後、再度三角測量の原理による
三次元位置・姿勢測定を行って正確な位置・姿勢情報を
得ている。

第２０図は、支持猿構部１１の首部１９に一対の視覚セ
ンサＩＯＡ、ＩＯＢを、また支持部２２下面にハンド部
２２を、それぞれ取り付けた例である。図示例の場合、
各視覚センサ１０Ａ。

ＬＱＢのビデオ出力は切換部２６を介して視覚認識部１
２に与えられており、視覚認識部１２は各視覚センサ１
０Ａ、ＬＯＢからの入力画像につき交互に演算・処理を
実行するものである。

第２１図は、第２０図の具体例についての動作を示すが
、視覚認識動作は前記第１９図と同様であり、ここでは
その説明を省略する。

なお第１９図〜第２１図は、ひとつの支持機構部１１に
つき２個の視覚センサＬＱＡ、ＩＱＢを取り付けた例を
示すが、これに限らず、ひとつの支持機構部１１にさら
に多数個の視覚センサを取り付けて、三次元位置・姿勢
等の測定済度を向上させることもできる。

第２２図は、２個の視覚センサＩＯＡ、ＩＯＢとハンド
部２２とを有する視覚機構系を複数個（同図の例では、
３個の視覚機構系Ｔ、、Ｔ、。

Ｔ、）具備した装置例を示している。この装置例の場合
、各視覚機構系Ｔ１．Ｔｚ　、Ｔ３の視覚センサ１０Ａ
、ＪＯＢのビデオ出力は切換部２７を介して１個の視覚
認識部１２へ与えられており、視覚Ｐ１．八部へ２は各
視覚センサ１０Ａ。

１０Ｂからの入力画像につき交互に演算処理を実行し、
その結果を出力切換部２８を介して順次対応する位置・
姿勢制御部１３へ出力する。

この装置例によれは、ワーク１６を複数の方向から遠近
自在に観測できるから、ワーク１６の全体形状を細部に
わたりて認識する必要のある場合等に特に有効であり、
その認識結果に応じて最適な方向からワーク１６をいず
れかハンド部２２にて把持することができる。

なお上記の各実施例や各応用例は、この発明の一実施態
様に過ぎず、必要に応じて他の応用例に展開したり、構
成の一部を設計変更したり、或いは必要な構成を付加し
たりすることができる。

例えば上記の実施例においては、視覚認識部１２は入力
画像の位置ずれ量や回転ずれ量を検出して、位置・姿勢
制御部１３ヘフイードバツクしているが、これに限らず
、任意の画像の他の特徴パラメータを検出して、その時
数パラメータに基づく制御を行うこともできる。

さらに特徴パラメータの検出やそのデータ処理に際し、
必要に応じて制御回路部１４中に座標変換手段を設けて
、検出座標データを絶対座標に写像する等の演算・処理
を含ませることもできる。

〈発明の効果〉この発明は上記の如く構成したから、視覚センサをリア
ルタイムかつ自在に動かしつつ最適な位置から観測対象
を観測することができ、高精度且つ高速度の認識処理を
実現できる。しかも単一の視覚センサをもって観測視野
を自在に設定できるから、複数個の視覚センサを必要と
した従来方式に比較して設備費用を大幅に軽減できる等
、発明目的を達成した顕著な効果を奏する。

【図面の簡単な説明】

第１図はこの発明の一実施例にかかる高速視覚認識装置
の全体概略構成を示す図、第２図および第３図はハンド
部を備えた他の実施例の全体概略構成を示す図、第４図
はハンド部を独立させた他の実施例の外観図、第５図は
第４図の実施例の全体概略構成を示す図、第６図は視覚
認識部の具体例を示す回路ブロック図、第７図は画像の
位置ずれ量や回転ずれ量を説明するための図、第８図は
重心および主軸角の検出理論を説明するだめの図、第９
図は第６図の具体回路例の動作理論を説明するための図
、第１０図はビデオ信号のタイムチャート、第１１図は
テーブル変換ＲＯＭの内容を示す図、第１２図および第
１３図は画像入力処理部の割込み制御動作を示すフロー
チャート、第１４図および第１５図は変換テーブルおよ
び変換曲線を示す図、第１６図〜第１８図はこの発明に
かかる装置の使用法を説明するための図、第１９図はこ
の発明にかかる装置の応用例の動作を示す図、第２０図
は他の応用例の全体概略構成を示す図、第２１図は第２
０図の応用例の動作を示す図、第２２図はさらに他の応
用例の全体概略構成を示す図、第２３図〜第２６図は従
来システムにおける視覚センサの設置状況を示す図、第
２７図は第２３図の視覚センサによる入力画像を示す図
、第２８図は第２４図の視覚センサによる入力画像を示
す図である。１０、１ＯＮ、１０Ｂ・・・・視覚センサ１１・・・・
支持機構部１２・・・・視覚認識部１３・・・・位置・姿勢制御部特許　出願人　　立石電機株式会社＠　７　＋２１　　　高４束、イは粒量や１ヨ転ずれ量
す説胡ＯＭの図ｔｌ）　　　　　　　　　　　　　　　
　１２１ジノｚ２一２’ｒｌｊ　＋Ｂ　　　史、ｂ−ｒ−ｎｒ−ｔｈａｒ
蕨＊ｐ＊ｅｔｓｅｓｔｈｒ：ｒ、＋ｗフ７ｆ’１０　１
Ｂ　　　と゛チーＩヂを号げイＡｆｐ−ト−Ａ１元カｔ＝Σゴ′ノ２＋”２３．　　　ｇ１ｇモーＦ　７−ｃｈ
　”ｌ・１Δノナ軸」ンｈｐｈ作！子ｔフ。−ブフート
７す／Ｌ　ＩＺＩ　　　便イ英テールしｈＪひ丈Ｊ貞曲
崩■示？＋２１ら−にΔ５）２３　　変＃鼾−２・しお
よ、−責Ｊ灸藺糸馴に示ｔ１２２しＩゝ／６に２１１　
　ｇｉ、イ史ｉロ、去を示す１２Ｎ→＋／フ１ｚ　襞し
ルイ史用シｈ元４１Ｚ”２１　　　ｉ♂１ΔＬリイとＺ
のイｊ七用シジ１求示ｔ＠−，卜７）／　’／　ｌｂ　　　：、ｔａＪｅ明ｎｌｉ：　月
弓４Ｊ−＋ａｌｎｌＶ　ｔ７４＋２寸２３１２１ →２７１ａ　　　　　　　　　　→２８１２１７Ｆ２３
１’ＺＪ４１’ｔｔｚ＞’ｆｙＪ４　　　　　　　　　
　　　　　　　　　　　→２ム＋３ｓ＃２’ｔｈ＞７ｘ
Ｊ６へｑ幽Ｒ２；Ｉ’　？　１２１　　　　　　　　　
　　　　　　　　入力画イ考１、す１ａ→２５１”；Ｅ
Ｊ２Ｂシステムｋｈする了見覚セ、グー設置Ｊ大゛７兄２
〒−ｒｌｚ”＋ｚｃ＋ｚｌ　　　　従東ンステＡン４ら
寸ａ定右７プめ７４ラズ刀示ｔｔδ２ρ

Claims

【特許請求の範囲】

（１）観測対象を撮像してビデオ信号を出力する視覚セ
ンサと、視覚センサを支持すると共に視覚センサの位置および姿
勢を可変設定するための支持機構部と、視覚センサよりビデオ信号を入力しリアルタイムの画像
演算を実行して観測対象を認識するための視覚認識部と
、視覚認識部の演算結果に基づき前記支持機構部の動作を
制御して視覚センサを観測最適位置へ移行させるための
位置・姿勢制御部とを具備して成る高速視覚認識装置。
（２）前記視覚センサは、固体撮像素子より成るテレビ
カメラである特許請求の範囲第１項記載の高速視覚認識
装置。
（３）前記視覚センサは、単一の支持機構部につき１個
宛設けられている特許請求の範囲第１項記載の高速視覚
認識装置。
（４）前記視覚センサは、単一の支持機構部につき複数
個設けられている特許請求の範囲第１項記載の高速視覚
認識装置。
（５）前記支持機構部は、観測対象を把持するためのハ
ンド部を含んでいる特許請求の範囲第１項記載の高速視
覚認識装置。
（６）前記支持機構部には、観測対象を把持するための
ハンド部が外部接続されている特許請求の範囲第１項記
載の高速視覚認識装置。
（７）前記視覚認識部は、入力画像の位置ずれ量および
回転ずれ量をビデオレートで検出する機能をもち、前記
位置・姿勢制御部は位置ずれ量および回転ずれ量がゼロ
となるよう支持機構部の動作をリアルタイムで制御する
特許請求の範囲第１項記載の高速視覚認識装置。