JPH07120416B2 - 高速視覚認識装置 - Google Patents

Description

【発明の詳細な説明】 ＜産業上の利用分野＞ この発明は、例えば産業用ロボット等に適用実施される
技術であって、観測対象を視覚センサで撮像してこれを
高速に認識する高速視覚認識装置に関する。

＜従来の技術＞ 例えばテーブル上のワークをロボットハンドで把持して
所定位置へ移動させるのに、そのワークの位置や姿勢を
予め視覚認識装置により確認した上で、ロボットハンド
を作動させるという自動化システムが提案されている。

従来のこの種のシステムにおいて、ワーク観測用の視覚
センサは、テーブル上方の所定位置に固定して取り付け
てあり、その観測視野内でワークを撮像し、視覚認識部
にて画像演算を実行することにより、ワークの位置や傾
きを検出している。

第23図〜第26図は、従来システムにおける視覚センサ
（この場合、テレビカメラ）の設置状況を具体的に示し
ており、第23図および第24図は、テーブル１の上方位置
に１台のテレビカメラ２を下向きに固定し、テレビカメ
ラ２の観測視野３内に静止状態のワーク４を位置させ
て、ワーク４の位置や傾きを観測している。

また第25図は、テーブル１の上方位置に複数台のテレビ
カメラ2a〜2cを下向きに固定して、各テレビカメラ2a〜
2cの観測視野3a〜3cを組み合わせて、静止状態のワーク
4a,4bを観測している。

さらに第26図は、第25図のものと同様、複数台のテレビ
カメラ2a〜2fを下向きに設置して、各テレビカメラ2a〜
2fの観測視野3a〜3fを組み合わせて、移動するワーク４
を追跡しつつ観測している。

＜発明が解決しようとする問題点＞ ところが第23図に示す例では、ワーク４から遠く離れた
位置にテレビカメラ２が設置してあるから、広い観測視
野３が得られる一方、ワーク４の画像５（第27図に示
す）が小さくなるため、観測精度が低いという欠点があ
る。

また第24図に示す例では、ワーク４に近い位置にテレビ
カメラ２が設置してあるから、大きな画像５（第28図に
示す）が得られて観測精度は高まる一方、観測視野が著
しく狭められるという欠点がある。

なお第27図および第28図中、６はテレビカメラ２の撮像
面を示す。

さらに第25図に示す例では、複数の観測視野3a〜3cが組
み合わさって拡大されるが、複数台のテレビカメラ2a〜
2cが必要であるため、設備費用が高価となる。しかも各
テレビカメラ2a〜2cで得た画像を単一の視覚認識部をも
って画像演算処理するには、時分割処理による必要があ
り、処理時間が長くかかる等の問題がある。

さらに第26図に示す例では、同様に複数の観測視野3a〜
3fが組み合わさって拡大されるが、複数台のテレビカメ
ラ2a〜2fが必要であり、設備費用が高価となる。しかも
各テレビカメラ2a〜2fをワーク４の動きに追随させるに
は、各テレビカメラで得た画像を個別の視覚認識部を用
いて並列処理する必要があり、コスト面の負担が一層大
きなものとなる。

上記各例のようなテレビカメラを固定状態で設置する方
式以外に、例えばロボットアームにテレビカメラを取り
付けて、任意の位置でワークの観測を可能とした方式の
ものも提案されている。この方式は、観測に際しロボッ
トアームの動きを止め、テレビカメラを静止状態に設定
した上でワークを観測し、この一回の観測でワークの位
置や傾きを認識した後、ロボットハンドをワークに接近
させて作業を行わせるものである。

ところがこの方式の場合、テレビカメラを静止状態に設
定して観測および認識処理を実施する必要があるため、
処理の速度が遅く、殊に第26図のような移動するワーク
に追随して、ワークの観測を行う等は到底不可能であ
る。

この発明は、上記問題を一挙に解消するためのものであ
って、視覚センサを自在に動かしつつ最適位置から観測
動作を行わせることによって、高精度かつ高速度の認識
処理を可能とした安価な高速視覚認識装置を提供するこ
とを目的とする。

＜問題点を解決するための手段＞ この発明の高速視覚認識装置は、観測対象を撮像してビ
デオ信号を出力する視覚センサと、視覚センサを支持す
ると共に視覚センサの空間的位置を可変設定するための
支持機構部と、前記視覚センサより出力されたビデオ信
号を２値化処理して２値化信号を生成する２値化処理手
段と、前記ビデオ信号の各水平走査ライン毎に前記２値
化信号の水平座標アドレスに関する０次モーメント,1次
モーメントおよび,2次モーメントを演算する第１のモー
メント演算手段と、前記ビデオ信号の各水平走査ライン
毎に前記２値化信号の垂直座標アドレスに関する１次モ
ーメントおよび２次モーメントを演算する第２のモーメ
ント演算手段と、前記ビデオ信号の各水平走査ライン毎
に前記２値化信号の水平・垂直座標アドレスに関する相
関モーメントを演算する第３のモーメント演算手段と、
前記第1,第2,第３の各モーメント演算手段で得られる各
モーメントのそれぞれにつき有効垂直走査期間にわたる
累積加算値を演算する累積演算手段と、前記ビデオ信号
の垂直帰線期間に前記累積演算手段により得られた各累
積加算値から前記観測対象の重心および主軸角を算出す
る重心・主軸角演算手段と、前記重心・主軸角演算手段
により得られた前記観測対象の重心および主軸角に基づ
き前記支持機構部の動作を制御して前記視覚センサの空
間的位置を可変設定する位置制御手段とを備えて成るも
のである。

＜作用＞ 観測対象を撮像して得らたビデオ信号は２値化処理手段
により２値化される。第１〜第３の各モーメント演算手
段は、２値化処理されたビデオ信号につき、ビデオ信号
の各水平走査ライン毎に各モーメントを演算し、ついで
累積演算手段により各モーメントの有効垂直走査期間に
わたる累積加算値が求められる。さらに重心・主軸角演
算手段により各累積加算値から観測対象の重心および主
軸角が算出されると、位置制御手段はこの算出結果に基
づき前記支持機構部の動作を制御して視覚センサの空間
的位置を設定する。

＜実施例＞ 第１図は、この発明の一実施例にかかる高速視覚認識装
置の全体概略構成を示すもので、視覚センサ10と、支持
機構部11と、制御回路部14とから成り、制御回路部14は
視覚センサ10や支持機構部11に対し電気的に接続されて
いる。

図示例の視覚センサ10は、２次元CCDのような固体撮像
素子より成るテレビカメラであって、テーブル15上に位
置するワーク16を真上或いは斜めより撮像して入力画像
のビデオ信号を出力する。

支持機構部11は、ワーク16に対する視覚センサ10の位置
や姿勢を可変設定するためのものであって、６自由度の
首振り機構を有する可動アーム17と、この可動アーム17
の下端に首部19を介して一体連結された支持部18とから
成る。図示例の支持部18は平板状であって、その下面中
央に一個の視覚センサ10が取付け固定されている。

制御回路部14は、視覚認識部12と位置・姿勢制御部13と
を含んでおり、前記視覚認識部12は視覚センサ10よりビ
デオ信号を入力し、リアルタイムの画像演算を実行して
ワーク16の位置や傾き，面積，輪郭等を検出する機能或
いは位置・姿勢を絶対座標系に変換する機能を有する。

第６図は、この視覚認識部12の具体構成例であって、そ
の詳細は後述するが、入力画像の重心位置と主軸角を求
め、さらにこれから入力画像の基準位置に対する位置ず
れ量や回転ずれ量をビデオレートで検出している。

第１図に戻って、位置・姿勢制御部13は、視覚認識部12
の演算結果に基づき前記支持機構部11の動作を制御して
視覚センサ10の位置および姿勢を観測最適状態へ移行さ
せる。例えば第６図に示す視覚認識部12によれば、入力
画像の位置ずれ量や回転ずれ量を検出するから、入力画
像が撮像面の中心位置にくるよう且つその傾きがゼロと
なるよう視覚センサ10の位置および姿勢を決定する。ま
た視覚センサ10をワーク16に対し自在に接近または離反
させ、これを所定の高さ位置へ導くことによって、視覚
センサ10を観測最適位置に位置決めできる。

第２図は、この発明の他の実施例を示し、前記支持機構
部11の支持部18にワーク16を把持するためのハンド部2
2,22を取り付けたものである。すなわち前記支持部18
は、下面の両側位置に突出部20,20を一体に備えてお
り、各突出部20,20内にそれぞれハンド部22,22を一斉に
開閉動作させるハンド駆動機構が組み込んである。この
ハンド駆動機構の駆動はハンド制御部23により制御さ
れ、このハンド制御部23は視覚認識部12や位置・姿勢制
御部13とともに制御回路部14を構成している。前記各突
出部20,20間の凹部21には視覚センサ10が配備され、こ
の視覚センサ10はその視軸を可動アーム17の軸芯に一致
させてある。

第３図は、更に他の実施例を示す。この実施例では、視
覚センサ10を支持機構部11の首部19の側面位置に取り付
け、その視軸を可動アーム17の軸芯から適当距離位置ず
れさせると共に、ハンド部22を支持部18の側面位置に開
閉可能に取り付けたものである。

なお第３図中、先の実施例と同様の構成については、対
応する構成に同じ符号をつけて、その説明を省略する
が、このことは以下の説明においても同様である。

第４図および第５図は、更に他の実施例を示す。この実
施例は、支持機構部11の可動アーム17に第２の可動アー
ム24を分岐して設け、この第２の可動アーム24の先端に
ハンド部22を取り付けたものである。このハンド部22お
よび第２の可動アーム24はハンド制御部23によりその動
作が制御されるもので、この実施例の場合、ハンド部22
の動きを視覚センサ10の動きから独立させることがで
き、またワーク16のハンドリングを視覚センサ10が確認
できるという利点がある。

第６図は、視覚認識部12の具体回路構成例であって、こ
の実施例では入力画像の基準位置に対する位置ずれ量や
回転ずれ量をビデオレート（16.6ナノ秒）で算出する。

以下、第７図〜第10図に基づき入力画像の基準位置に対
する位置ずれ量や回転ずれ量の検出原理を説明した後、
第６図に示す回路の構成並びにその動作を説明する。

一般に物体画像の位置ずれや回転ずれを検出する場合、
まず視覚センサで基準モデルの画像41（第７図（１）に
示す）を得た後、XY座標上でのその画像41の重心G₀の座
標（X_G0,Y_G0）および主軸角θ_０を求める。つぎに視覚
センサで観測対象の画像42（第７図（２）に示す）を
得、同様にその重心Ｇの座標（X_G,Y_G）および主軸角θ
を求めた後、その位置ずれ量ΔX,ΔＹや回転ずれ量Δθ
を次式で算出する。

ΔＸ＝X_G0−X_G ‥‥ ΔＹ＝Y_G0−Y_G ‥‥ Δθ＝θ_０−θ ‥‥ ところで画像ノイズの多い物体画像につき、その位置ず
れや回転ずれを検出するのに、画像のモーメントを利用
してその重心の座標や主軸角を算出する方式が採用され
る。

第８図は、この方式による重心および主軸角の検出理論
を説明するための図であり、図中、升目は縦横各256ビ
ットより成る各画素を示し、物体画像43を構成する各画
素の位置はXY座標によって規定されている。

同図において、任意の画素44の座標を（X_i,Y_j）（ただ
しi,j＝1,2,‥‥,256）、その画素44の濃度の重み関数
をｆ（X_i,Y_j）とすると、画像43のモーメントＭ′
_pq（ただしp,q＝0,1,2,‥‥）はつぎの式で与えら
れ、また画像43の重心Ｇの座標（X_G,Y_G）および主軸角
θは、前記モーメントを利用して、つぎの〜式で与
えられる。

ただし、Ｍ′₀₀,は被測定パターンの面積,X_G,Y_Gは被測
定パターンの重心のＸ座標,Y座標である。

かくして上記〜式の演算を実行すれば、画像44の重
心Ｇの座標（X_G,Y_G）や主軸角θが検出できる。ところ
が上記各式は、二重積分，乗除算，逆三角関数を含んで
おり、これらの演算をソフト的に実施すると、多大の時
間（秒オーダ）がかかり、特に１画面分のビデオ信号出
力期間以内に演算を終了させる等、到底不可能である。

そこで第６図に示す回路構成をもって、ビデオ信号の１
水平走査期間毎に１水平走査ライン分の０次、１次、２
次の各モーメントを求め、各ラインの総和を有効垂直走
査期間にわたり演算し、次の帰線消去期間に重心および
主軸角を演算することにより、ビデオ信号期間を無駄な
くフルに利用して、物体画像の重心位置やその傾きをリ
アルタイムで検出している。

第９図はこの実施例についての理論説明を行うための図
である。

第９図において、縦横の各升目は画素を示し、各画素に
は水平座標アドレスX₁,X₂‥‥,X₂₅₆および、垂直座標ア
ドレスY₁,Y₂,‥‥,Y₂₅₆が割り当てられる。画像45は、
物体を撮像して得たビデオ信号を２値化処理して求めた
２値画像であって、例えば物体部分が黒画素、背景部分
が白画素より構成される。図中、Ｇは画像45の重心を示
す。垂直座標アドレスY_jにおける濃度の重み関数ｆ
（X_i,Y_j）の加算値 をN_jとすると、重心Ｇの座標（X_G,Y_G）や主軸角θは、
つぎの〜式で示す如く、Σの関数式として表され
る。

なお画像45は２値画像であるから、前記した濃度の重み
関数ｆ（X_i,Y_j）は、次式で示す如く、「０」「１」の
いずれか値をとる。

かくして上記〜式において、 は垂直座標アドレスに関する１次モーメントおよび２次
モーメント、 は水平座標アドレスに関する０次モーメント,1次モーメ
ントおよび２次モーメント、 は水平・垂直座標アドレスに関する相関モーメントであ
り、第９図に示す実施例において、それぞれモーメント
の具体例が図の左右両側にあらわしてある。

この実施例の場合、ビデオ信号の各水平走査ライン毎に
２値画像45の水平座標アドレスに関する０次モーメント
N_j,1次モーメント および２次モーメント をハード的に求め、つぎの水平走査ラインで垂直座標ア
ドレスに関する１次モーメントY_j,N_jおよび２次モーメ
ントY_j ²N_j、さらに水平・垂直座標アドレスに関する相
関モーメント をソフト的に算出すると共に、各水平走査ライン毎に有
効垂直走査期間にわたる累積加算値 をそれぞれ求め、つぎの垂直帰線期間に前記累積加算値
に基づき〜式の演算を実行して、重心Ｇの座標
（X_G,Y_G）および主軸角θをソフト的に算出する。

第10図は、この実施例におけるビデオ信号VD_iのタイム
チャートを示す。同図において、上半分の図は、垂直走
査期間にかかるビデオ信号VD_iを、下半分の図は水平走
査期間にかかるビデオ信号VD_iを、それぞれ示してい
る。

図中、VDは垂直同期信号、HDは水平同期信号を示し、１
垂直走査期間（16.7ミリ秒）は20H（ただし1Hは１水平
走査期間を意味し63.5マイクロ秒である）の垂直帰線消
去期間に、残りの有効垂直走査期間とから構成されてい
る。この有効垂直走査期間には、242本の水平走査ライ
ンを含み、また各水平走査ラインには、256個の画素デ
ータを含んでいる。なお図中、Y₁,Y₂,Y₃,‥‥,Y₂₄₂は前
記第９図における垂直座標アドレスに、またX₁,X₂,X₃,
‥‥,Y₂₅₆は水平座標アドレスにそれぞれ対応する。

つぎに第６図の回路構成を説明するに、図中、視覚セン
サ10は、ワーク16を真上或いは斜め上より撮像し、濃淡
画像を構成するところのビデオ信号VD_iを出力する。同
期分離回路48は、ビデオ信号VD_iより水平同期信号HD、
垂直同期信号VD、クロック信号CK等を分離して、これを
２値化回路49へ出力する。２値化回路49は、ビデオ信号
VD_iに対し一定のスレシュホールドレベルを設定するこ
とにより、ビデオ信号VD_iを白黒２値化して２値化画像
を生成する。画素カウンタ50は、ビデオ信号VD_iの１水
平走査ライン毎に、物体部分を構成する画素（この実施
例では黒画素）の数を計数するためのもので、その計数
値N_jはI/O（Input/Output）ポート51を介してCPU（Cent
ral Processing Unit）52に取り込まれるようになって
いる。

水平カウンタ53は、前記の水平座標アドレスを割り当て
るためのもので、水平同期信号HDの立下がりから例えば
100画素分に相当する時間経過後よりクロック信号CKの
計数を開始する。加算器54およびバッファ55は、黒画素
が存在位置する水平座標アドレスにつき、X_iを累積加算
して前記１次モーメント を求めてCPU52へ出力するためのもので、水平カウンタ5
3の内容X_iとバッファ55の内容とが加算器54に入力され
て累積加算処理される。

テーブル変換ROM56は、水平カウンタ53の内容X_iを、そ
の２乗値X_i ²に変換するためのテーブルT1（第11図に示
す）が格納されたものであり、水平カウンタ53の内容X_i
でテーブル変換ROM56のアドレスがアクセスされて、そ
の２乗値X_i ²が加算器57へ出力される。この加算器57お
よびバッファ58は、黒画素が存在位置する水平座標アド
レスにつき、その２乗値X_i ²を累積加算して前記２次モ
ーメント を求めてCPU52へ出力するためのもので、テーブル変換R
OM56の出力X_i ²とバッファ58の内容とが加算器57に入力
されて累積加算処理される。

上記カウンタ50の計数値N_jや各バッファ55,58の内容 は１水平走査毎にI/Oポート51を介してCPU52に取り込ま
れ、CPU52はこれらのデータに基づき所定の演算処理を
実行して、画像の重心Ｇの座標（X_G,Y_G）および主軸角
θを求める。

なお図中、PROM59は位置ずれ検出等の一連のプログラム
を格納し、またRAM60は各種データを格納する他、処理
実行のためのワークエリアを有する。

つぎに第６図の回路につき、その動作を説明する。

まず同図の回路のモードを学習モードに設定した上で、
視覚センサ10で例えば基準モデルを撮像すると、同期分
離回路48で同期信号等が分離され、さらに２値化回路49
でビデオ信号VD_iの２値化処理が実行されて、２値画像
が生成される。この２値画像出力は、画素カウンタ50お
よび各加算器54,57へ送られるもので、この画素カウン
タ50や各加算器54,57においては、前記した所定の計数
ないしは演算が実行される。そして各水平走査期間毎
に、CPU52に対し水平同期信号HDによる割込みINTが発生
せられ、その都度、画素カウンタ50の内容や、各加算器
54,57による加算結果がCPU52に取り込まれる。

第12図はCPU52における割込み制御動作を示す。

なお同図中、Y_jはCPU52が内部に有する垂直カウンタの
計数値（前記垂直座標アドレスに相当する）を示してお
り、この垂直カウンタは前記割込みINTの発生がある毎
に歩進されるものであって、垂直同期信号VDの立下がり
より20Hに相当する時間経過後より計数を開始する。

今、Y_j番目の水平走査ラインにつき、画素カウンタ50に
よる黒画素計数動作が完了した時点を想定すると、まず
CPU52はステップ１で画素カウンタ50の内容N_jを読み取
った後、つぎのステップ２でその累積加算値Ｎ（前記 に対応する）を演算して、RAM60へ格納する。さらにス
テップ３では、CPU52内の垂直カウンタの内容Y_jが読み
取られ、つぎのステップ４でCPU52は累積加算値NT₁（前
記 に対応する）を演算して、演算結果をRAM60へ格納す
る。続くステップ５では、垂直カウンタの内容Y_jをその
２垂値Y_j ²に変換するため、PROM59に格納された変換テ
ーブル（図示せず）が参照されて２垂値Y_j ²が求められ
る。そしてつぎのステップ６では、Y_j ²N_jの累積加算値N
_Y（前記 に対応する）が演算されて、その演算結果がRAM60へ格
納される。さらにステップ７では、バッファ55の内容 がCPU52に取り込まれて、つぎのステップ８で、その累
積加算値NT₂（前記 に対応する）が演算されると共に、つぎのステップ９
で、 の累積加算値N_XY（前記 に対応する）が演算さて、それぞれ演算結果がRAM60へ
格納される。さらにステップ10では、バッファ58の内容 がCPU52に取り込まれ、続くステップ11で、CPU52はその
累積加算値N_X（前記 に対応する）を演算して、その結果をRAM60へ格納す
る。つぎのステップ12は、前記垂直カウンタの内容Y_jが
「242」に達したか否か、すなわち最終242番目の水平走
査ラインについてのステップ１〜11の処理が完了したか
否かを判定しており、もしその判定が“NO"のとき、つ
ぎの割込みINTに待機し、以下の水平走査ラインについ
ての上記各処理が繰返し実行される。

かくして最終の水平走査ラインについてのステップ１〜
11の処理が終了すると、ステップ12の判定が“YES"とな
り、つぎのステップ13,14において、前記累積加算値N,N
T₁,NT₂を用いて、重心G₀の座標（X_G0,Y_G0）が算出さ
れ、その結果がRAM60の所定エリアに格納される。また
つぎのステップ15〜19において、前記累積加算値N_X,N_Y,
N_XYを用いて、それぞれN_Y＝N_Y−Ｎ・Y_G0 ²,N_XY＝N_XY−Ｎ
・X_G0・Y_G0,N_X＝N_X−Ｎ・X_G0 ²を演算して主軸角θ_０が
算出され、その結果がRAM60の所定エリアに格納される
（ステップ20）。この場合この実施例では、まずつぎの
式を換算してＺの値を求め、このＺを10倍または1/10
倍した値でPROM19に格納された変換テーブル（第14図お
よび第15図）のアドレスをアクセスして、主軸角θ_０の
算出を行っている。

なお第14図は主軸角θ_０が０〜22.5゜である場合の変換
テーブルT2およびtanθ_０の変換曲線を、また第15図は
主軸角θ_０が22.5〜45゜である場合の変換テーブルT3お
よびcotθ_０の変換曲線をそれぞれ示し、この変換テー
ブルT2,T3は主軸角θ_０の大きさに応じて用いわけられ
る。

上記重心G₀の座標（X_G0,Y_G0）および主軸角θ_０の算出
が終わると、最後にステップ21でRAM60より各累積加算
値N,NT₁,NT₂,N_X,N_Y,N_XYがクリアされ、基準パターンに
ついての一連の処理を終了する。なお座標データX_G0,Y
_G0や主軸角θ_０は絶対座標系に変換することもでき、こ
の変換は位置・姿勢制御部13で行うこともできる。

つぎにモードを計測モードに設定した上で、視覚センサ
10でワーク16を撮像する。この場合も、上記基準モデル
の場合と同様の画像処理、さらには画素カウンタ50およ
び各加算器54,57の計数ないしは演算が実行される。そ
して各水平走査毎に、CPU52に対し水平同期信号HDによ
る割込みINTが発生せられ、画素カウンタ50の内容や各
加算器54,57による加算結果がその都度読み込まれる。

第13図はこの場合のCPU52における割込み制御動作を示
す。同図において、ステップ41〜51は累積加算値N,NT₁,
N_Y,NT₂,N_XY,N_Xを算出するステップであって、これは第1
2図のステップ１〜11と全く同様である。

そして最終の水平走査ラインについてのステップ41〜51
の処理が済むと、ステップ52の判定が“YES"となり、ス
テップ53〜60において、重心Ｇの座標（X_G,Y_G）および
主軸角θが算出される。ここで座標データX_G,Y_Gや主軸
角θは絶対座標系に変換することもでき、またこの変換
は位置・姿勢制御部13で行うこともできる。しかる後、
CPU52は、これらデータおよび学習モードで得た基準モ
デルについてのデータを用いて前記〜式の演算が実
行され、画像の位置ずれ量ΔX,ΔY,および回転ずれ量Δ
θが算出される。（ステップ61〜63）。そしてつぎのス
テップ64でこの算出結果が位置・姿勢制御部13へ出力さ
れた後、ステップ65において、RAM60より各累積加算値
N,NT₁,NT₂,N_X,N_Y,N_XYがクリアされて、一連の処理を終
了する。

つぎに第１図に示す実施例（第２図〜第５図の実施例も
同様である）につき、その使用法並びに動作を第16図〜
第18図に基づき説明する。

第16図において、視覚センサ10はテーブル15上方の遠く
離れた位置（図中、ａ位置）に位置し、広い観測視野3a
でテーブル15上のワーク16をとらえている。いま装置が
作動して視覚センサ10より視覚認識部12へ入力画像のビ
デオ信号が入力されると視覚認識部12は前記の演算・処
理を行って、入力画像５の重心位置や主軸角を求め、さ
らに位置ずれ量ΔX,ΔＹおよび回転ずれ量Δθをビデオ
レートで算出して、これを位置・姿勢制御部13へ出力す
る。位置・姿勢制御部13では、これらずれ量ΔX,ΔY,Δ
θがゼロになるよう視覚センサ10の位置や姿勢を補正す
ると共に、視覚センサ10を図中、矢印Ｓで示す方向へ移
動させてワーク16に接近させてゆき、狭い観測視野3bの
最適位置（図中、ｂ位置）にてワーク16を詳細に観測し
て、認識その他の処理を実行する。なお観測最適位置
は、テーブル15上の所定高さ位置に設定するのもよく、
また画像５の面積（前記累積加算値Ｎ）等を視覚認識部
12より取り込み、これを判断要素に用いてその都度決定
するのもよい。

上記動作において、視覚認識部12はビデオレートで入力
画像５の位置ずれ量ΔX,ΔＹや回転ずれ量Δθ等を検出
して、これを時々刻々位置・姿勢制御部13に与えるか
ら、装置全体としては視覚センサ10がワーク16を見なが
ら観測最適位置へ移動し、或いは視覚センサ10がワーク
16に近づきつつワーク16を常時観測するという人間の視
覚系と同等の作用が得られる。

第17図は、この装置例の他の使用法を示す。同図におい
て、視覚センサ10はテーブル15上の適当高さ位置に位置
しており、この視覚センサ10がその観測視野３に移動ワ
ーク16をとらえたとき、視覚センサ10がワーク16を追尾
して、ａ位置よりｂ〜ｅ位置を経てｆ位置に至ってい
る。この装置によれば、ワーク16のずれ量ΔX,ΔY,Δθ
が視覚認識部12のリアルタイム演算で検出されて、時々
刻々位置・姿勢制御部13に与えられるから、視覚センサ
10をワーク16の動きに追随させることができる。この場
合は基準の座標データX_G0,Y_G0や主軸角θ_０は前回のデ
ータであって、現データとの差から次に移動する座標系
を予測して位置・姿勢制御部13へ伝える。

第18図は、この装置例の他の使用法を示すもので、視覚
センサ10にてある決められた追跡ライン25を観測しつ
つ、この追跡ライン25に沿って視覚センサ10を移動させ
ている。同図中、６は視覚センサの撮像面を示し、この
撮像面６に生成される追跡ライン25の画像につきそのず
れ量を視覚認識部12がリアルタイム演算で検出し、これ
を位置・姿勢制御部13に時々刻々与えている。これによ
り視覚センサ10は、その位置や姿勢を常に補正し、追跡
ライン25を追跡しつつ移動するものである。

第19図〜第22図は、この発明にかかる高速視覚認識装置
の応用例を示す。

第19図は、この発明を両眼立体視装置に応用した例であ
り、左右一対の視覚センサ10A,10Bがテーブル15上の遠
く離れたａ位置に配置されている。図示の装置では、ま
ず２個の視覚センサ10A,10Bを用いてワーク16をとら
え、三角測量の原理によってワーク16までの距離をおよ
そ測定する。つぎに２個の視覚センサ10A,10Bを観測最
適位置（ｂ位置）まで移動させた後、再度三角測量の原
理による三次元位置・姿勢測定を行って正確な位置・姿
勢情報を得ている。

第20図は、支持機構部11の首部19に一対の視覚センサ10
A,10Bを、また支持部22下面にハンド部22を、それぞれ
取り付けた例である。図示例の場合、各視覚センサ10A,
10Bのビデオ出力は切換部26を介して視覚認識部12に与
えられており、視覚認識部12は各視覚センサ10A,10Bか
らの入力画像につき交互に演算・処理を実行するもので
ある。

第21図は、第20図の具体例についての動作を示すが、視
覚認識動作は前記第19図と同様であり、ここではその説
明を省略する。

なお第19図〜第21図は、ひとつの支持機構部11につき２
個の視覚センサ10A,10Bを取り付けた例を示すが、これ
に限らず、ひとつの支持機構部11にさらに多数個の視覚
センサを取り付けて、三次元位置・姿勢等の測定精度を
向上させることもできる。

第22図は、２個の視覚センサ10A,10Bとハンド部22とを
有する視覚機構系を複数個（同図の例では、３個の視覚
機構系T₁,T₂,T₃）具備した装置例を示している。この装
置例の場合、各視覚機構系T₁,T₂,T₃の視覚センサ10A,10
Bのビデオ出力は切換部27を介して１個の視覚認識部12
へ与えられており、視覚認識部12は各視覚センサ10A,10
Bからの入力画像につき交互に演算処理を実行し、その
結果を出力切換部28を介して順次対応する位置・姿勢制
御部13へ出力する。この装置例によれば、ワーク16を複
数の方向から遠近自在に観測できるから、ワーク16の全
体形状を細部にわたって認識する必要のある場合等に特
に有効であり、その認識結果に応じて最適な方向からワ
ーク16をいずれかハンド部22にて把持することができ
る。

なお上記の各実施例や各応用例は、この発明の一実施態
様に過ぎず、必要に応じて他の応用例に展開したり、構
成の一部を設計変更したり、或いは必要な構成を付加し
たりすることができる。

例えば上記の実施例においては、視覚認識部12は入力画
像の位置ずれ量や回転ずれ量を検出して、位置・姿勢制
御部13へフィードバックしているが、これに限らず、任
意の画像の他の特徴パラメータを検出して、その特徴パ
ラメータに基づく制御を行うこともできる。

さらに特徴パラメータの検出やそのデータ処理に際し、
必要に応じて制御回路部14中に座標変換手段を設けて、
検出座標データを絶対座標に写像する等の演算・処理を
含ませることもできる。

＜発明の効果＞ この発明は上記の如く構成したから、視覚センサをリア
ルタイムかつ自在に動かしつつ最適な位置から観測対象
を観測することができ、高精度且つ高速度の認識処理を
実現できる。しかも単一の視覚センサをもって観測視野
を自在に設定できるから、複数個の視覚センサを必要と
した従来方式に比較して設備費用を大幅に軽減できる。
さらに観測対象を認識するために、ビデオ信号の各水平
走査ライン毎に各モーメントを演算し、各モーメントの
有効垂直走査期間にわたる累積加算値を求め、ビデオ信
号の垂直帰線期間に各累積加算値から物体の重心および
主軸角を算出するようにしたので、ビデオ信号の１フィ
ールド期間で観測対象を認識することができ、画像メモ
リを必要とせずリアルタイムな高速処理が可能となる。

【図面の簡単な説明】

第１図はこの発明の一実施例にかかる高速視覚認識装置
の全体概略構成を示す図、第２図および第３図はハンド
部を備えた他の実施例の全体概略構成を示す図、第４図
はハンド部を独立させた他の実施例の外観図、第５図は
第４図の実施例の全体概略構成を示す図、第６図は視覚
認識部の具体例を示す回路ブロック図、第７図は画像の
位置ずれ量や回転ずれ量を説明するための図、第８図は
重心および主軸角の検出理論を説明するための図、第９
図は第６図の具体回路例の動作理論を説明するための
図、第10図はビデオ信号のタイムチャート、第11図はテ
ーブル変換ROMの内容を示す図、第12図は視覚認識部に
おける学習モードでの割込み制御動作を示すフローチャ
ート、第13図は視覚認識部における計測モードでの割込
み制御動作を示すフローチャート、第14図および第15図
は変換テーブルおよび変換曲線を示す図、第16図〜第18
図はこの発明にかかる装置の使用法を説明するための
図、第19図はこの発明にかかる装置の応用例の動作を示
す図、第20図は他の応用例の全体概略構成を示す図、第
21図は第20図の応用例の動作を示す図、第22図はさらに
他の応用例の全体概略構成を示す図、第23図〜第26図は
従来システムにおける視覚センサの設置状況を示す図、
第27図は第23図の視覚センサによる入力画像を示す図、
第28図は第24図の視覚センサによる入力画像を示す図で
ある。 10,10A,10B……視覚センサ 11……支持機構部 12……視覚認識部 13……位置・姿勢制御部

Claims (1)

【特許請求の範囲】
1. 【請求項１】観測対象を撮像してビデオ信号を出力する
   視覚センサと、 視覚センサを支持すると共に視覚センサの空間的位置を
   可変設定するための支持機構部と、 前記視覚センサより出力されたビデオ信号を２値化処理
   して２値化信号を生成する２値化処理手段と、 前記ビデオ信号の各水平走査ライン毎に前記２値化信号
   の水平座標アドレスに関する０次モーメント,1次モーメ
   ントおよび,2次モーメントを演算する第１のモーメント
   演算手段と、 前記ビデオ信号の各水平走査ライン毎に前記２値化信号
   の垂直座標アドレスに関する１次モーメントおよび２次
   モーメントを演算する第２のモーメント演算手段と、 前記ビデオ信号の各水平走査ライン毎に前記２値化信号
   の水平・垂直座標アドレスに関する相関モーメントを演
   算する第３のモーメント演算手段と、 前記第1,第2,第３の各モーメント演算手段で得られる各
   モーメントのそれぞれにつき有効垂直走査期間にわたる
   累積加算値を演算する累積演算手段と、 前記ビデオ信号の垂直帰線期間に前記累積演算手段によ
   り得られた各累積加算値から前記観測対象の重心および
   主軸角を算出する重心・主軸角演算手段と、 前記重心・主軸角演算手段により得られた前記観測対象
   の重心および主軸角に基づき前記支持機構部の動作を制
   御して前記視覚センサの空間的位置を可変設定する位置
   制御手段とを備えて成る高速視覚認識装置。