JPS63115274A - 物体の認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は物体の認識方法、特にＴＶカメラを用いて物体
の位置及び形状を認識することの可能な物体の認識方法
の改良に関する。

［従来の技術］ パレット内のバラ積み部品を認識してロボットで取出し
たり、部品の位置がバラつくような場合にその位置を正
確に認識したり、複数の類似した形状の物品がある場合
に特定の部品を僅かな特徴差から判別するために、ＴＶ
カメラを用いた物体の認識方法が今日広く用いられてい
る。

このような認識は、ＴＶカメラと、その信号を画像処理
する視覚装置とを用いて行われており、視覚装置はＴＶ
カメラから出力される画像信号を２値化処理したり、グ
レイ処理等を施し前述した各種画像認識を行っている。

この場合に、前記ＴＶカメラはパレット全体をその視野
に納さめ、全ての部品を残らず認識することができるよ
う設定する必要がある。

［発明が解決しようとする問題点］ しかし、このような従来方法では以下に詳述する各種の
問題点があった。

（ａ）まず、このような物体の認識に用いられる視覚装
置では、その分解能が２５６Ｘ２５ｆ！〜５１２Ｘ５１
２程度が限界であるため、ＴＶカメ′うの視野をパレッ
ト全体が納まるよう設定すると、画像の分解能が低下し
十分な認識精度を得ることができず、例えば１０００　
Ｘ　　１０００のパレットで±２〜４ＩＩｌｆｆｉ程度
の精度しか得ることができないという問題があった。

特に、このような従来方法では、パレット内にバラ積み
されている部品が小さな場合に、その位置及びその形状
を正確に認識することができず、その有効な対策が望ま
れていた。

（ｂ）また、自動車部品のように形状が極めて類似した
部品がパレット内に多数バラ積みされている場合に、従
来のようにパレット全体がＴＶカメラの視野に納まるよ
うに設定しても、この広い視野の中から特定の部品の細
部の形状、僅かな特徴差を判別することは極めて困難で
あり、これら類似部品の識別を精度好く行うことができ
ないという問題があった。

特に、このような各種類似部品が小さな形状をしている
場合には、その各種部品の認識精度は更に低下するため
、その有効な対策が望まれていた。

（Ｃ）また、このような従来方法を更に改良したものと
して、パレット全体を写し出したＴＶカメラの画像の一
部をウィンドウ処理により切り出し、物体認識を行う方
法も知られている。

しかし、このような方法でも、ＴＶカメラから出力され
る画像の分解能そのものは向上しないため、前記（ａ）
　、　（ｂ）の基本的な問題を解決するための手段とは
ならなかった。

［発明の目的］ 本発明は、このような従来の課題に鑑みなされたもので
あり、その目的は、比較的分解能の低い装置を用いても
、十分な精度で物体の認識を行うことが可能な物体の認
識方法を提供することにある。

［問題点を解決するための手段及び作用］前記目的を達
成するため、本発明の方法は、まずＴＶカメラ固定台に
、二自由度の振り動作機構を介してレンズ方向が任意に
制御可能なＴＶカメラを取付は固定する。

このＴＶカメラのレンズには、視野の拡大縮小が自由に
行えるズーミング機構を設ける。

そして、前記振り動作機構及びズーミング機構をイル二
の工程に従って制御する。

（イ）　所定の対象領域ほぼ全域がＴＶカメラの視野に
納まるよう前記振り動作機構及びズーミング機構を制御
する第１の工程。

（ロ）　第１の工程にて得られたＴＶ画像から対象領域
内における所定認識対象物の概略位置及び概略形状を認
識する第２の工程。

（ハ）　前記認識結果に基づき、認識対象物の全体又は
予め設定された特定部分の３次元座標を演算し、該演算
データに基づき認識対象物の全体又はその特定部分のみ
がＴＶ右カメラ視野いっばいになるよう振り動作機構及
びズーミング機構を制御する第３の工程。

（ニ）　前記第３の工程において得られたＴＶ右カメラ
画像から、前記認識対象物の全体又は特定の部分におけ
る座標値及び形状を認識する第４の工程。

以上の構成とすることにより、本発明の物体認識方法は
、対象領域が広視野又は狭視野のいずれの場合であって
も、該対象領域内に存在する所定の認識対象物の座標値
及び形状を十分な分解能をもって認識することが可能と
なる。

［実施例］ 次に本発明の好適な実施例を図面に基づき説明する。

第２図には、本発明の物体認識方法に用いられるシステ
ムの好適な一例が示されており、実施例のシステムは、
ＴＶ左カメラ定台１０にＴＶ左カメラ２が取付は固定さ
れ、部品パレット１４内に収納されたバラ積み部品１０
０を写し出している。

そして、このＴＶ左カメラ２の画像データは画像処理装
置１６に入力され、ここで部品パレット１４内にバラ積
みされた部品から所望の部品１００の座標、形状及び姿
勢を認識し、該データをロボット制御装置１８へ向は出
力している。

そして、ロボット制御装置１８は、このようにして入力
されたデータに基づき多関節ロボット２０を制御し、ロ
ボットハンド２２を用いて当該所望部品１００を部品パ
レット１４から拾い上げ、コンベア２４へ載置している
。

ところで、このようにして、部品パレット１４内に山積
みされた各種部品の中から所望の部品１００のみを認識
しようとする場合には、部品パレット１４全域がＴＶ左
カメラ２の視野内に納まるようＴＶ左カメラ２をセット
し、この時得られる画像データから特定の部品１００を
認識してやる必要がある。

しかし、部品パレット１４全体が視野に納まるようＴＶ
左カメラ２をセットすると、前記従来技術の問題点の項
において述べたとおり、物体の認識精度が低下したり、
物体の細部が十分に認識できない等の問題が生ずる。

本発明の特徴的事項は、まずＴＶ左カメラ２の視野に、
認識の対象領域全体、実施例においては部品パレット１
４のほぼ全域が納まるようセットし、この時得られる画
像データから所望の部品１００の概略位置及び概略形状
を認識する。

次に、この認識データに基づき、所望の部品１００の全
体又は予め設定された特定部分のみがＴＶ左カメラ２の
視野いっばいとなるように、ＴＶ右カメラ向き及びズー
ミング量を制御し、この時得られる画像データから、前
記認識対象部品１００の全体または特定部分における座
標値及び形状、また必要に応じて基本姿勢に対する傾き
等を認識することを特徴とする。

このように、本発明によれば、部品パレット１４全体を
おおまかに観察し所望部品１００のおおまかな座標と形
状を認識しておき、次にＴＶ左カメラ２を用いてこの認
識された部品１００を画面いっばいに写し出すことによ
り、当該部品１００の正確な座標及び形状を認識すると
いう２段階の認識処理を行うことにより、各種部品１０
０の認識を高精度で行い、しかも各種部品の１００の細
部をも十分正確に認識するという優れた効果を発揮する
ことが可能となる。

第３図には本発明に用いられるＴＶ左カメラ２の具体的
な構成が示されており、このＴＶ左カメラ２は二自由度
の振り動作機構２６を用いそのレンズ面の方向を自由に
設定制御可能に形成されている。

実施例において、この振り動作機構２６は、一つの平面
方向への振り角αを制御する１組のサーボモータ２８及
び回転台３０と、これと直交する他の平面方向への振り
角βを制御する一組のサーボモータ３２及び回転台３４
とから構成されており、この振り角α、βを組合わせて
制御することによりＴＶ左カメラ２のレンズ方向を二次
元的に自由に設定制御することが可能となる。

また、このＴＶ左カメラ２のレンズには視野が自由に拡
大縮小可能な電動ズームレンズ３６が設けられており、
そのズーミング値を任意に設定制御可能に形成されてい
る。

第１図には、このようなシステムを用いて行う物体の認
識方法の好適な一例を示すフローチャートが示されてい
る。

本実施例においては、カメラ１２とロボット２０との標
準座標合せを行い、後述する第１式の変換式を用いてＴ
Ｖ左カメラ２の画像位置を実座標に変換することができ
るよう、ＴＶ左カメラ２の基準姿勢がα−０，β−０、
基準ズーミング値がｆ−１ａｍｆｆｌに設定され、該設
定値において、パレット１６全体がＴＶ左カメラ２の視
野に納まるようにシステム全体が形成されている。

そして、まず、物体の認識動作が開始されると、まずＴ
Ｖ左カメラ２の視野に部品パレット１４のほぼ全域が納
まるよう、画像処理装置１６から振り動作機構２６及び
電動ズームレンズ３６に向は制御指令が送られる。

そして、この制御指令に従い、振り動作機構２６は振り
角α−０，β−〇の基準姿勢に初期設定され、また電動
ズームレンズ３６のズーミング量は基準ズーミング値ｆ
　−ＩＢｍｍに初期設定される。

このようにして、まずＴＶ左カメラ２の方向とズーミン
グ量の初期設定が終了すると、ＴＶ左カメラ２からは、
パレット１４内全域に山積みされた部品形状が撮影され
、その画像データが画像処理装置１６へ入力されること
になる。

画像処理装置は、このようにして入力される画像データ
に基づき、パレット１４内における所望の特定部品１０
０の概略形状及び概略座標を第４図（Ａ）に示すごとく
認識する。

ここにおいて、前記部品１００の概略座標は、カメラ視
野内での画素によって特定される平面座標値（ａ、　ｂ
）として認識される。

ところで、このようにして得られたカメラ視野内での平
面座標値（ａ、　ｂ）を、多関節ロボット２０の制御用
に用いる場合には、これをロボット２０の標準三次元座
標に座標変換してやる必要がある。

このため、実施例の座標処理装置１６は、前記平面座標
値、（ａ、　ｂ）に基づき、第４図（Ｂ）に示すように
、ＴＶ左カメラ２から対象部品１００への三次元方向ベ
クトルＶを次式に基づき演算し、この演算データに基づ
きカメラ振り制御信号を振り動作機構２６に向は出力す
る。

ここにおいて、Ｆは予め算出設定しである座標変換式を
表す。

これにより、振り動作機構２６は、前記演算ベクトルＶ
で示される方向へＴＶ左カメラ２のレンズ面が向くよう
その姿勢を制御する。

これと同時に、座標処理装置１６は、前記方向ベクトル
Ｖに基づき部品１００の全体又は特定部分のみが視野い
っばいとなるよう電動ズームレンズ１００のズーミング
値を、例えばｆ　−５０ｍｍに制御する。

この結果、ＴＶ左カメラ２からは、特定部品１００がそ
の視野いっばいに拡大されて撮影され、その画像データ
が画像処理装置１６へ入力されることになる。

従って、画像処理装置１６は、このようにして得られる
拡大画像データを画像処理することにより、当該部品１
００の三次元座標ベクトルＶ、形状を改めて十分な精度
をもったものとして認識し直すことが可能となる。

更に、画像処理装置１６は、その内部メモリに部品１０
０の基本姿勢データを予め設定登録しておくことにより
、認識された部品１００の位置、形状のみならず、基本
姿勢からどの程度傾いているかのローテーションデータ
をも同時に演算することが可能となる。

そして、この画像処理装置１６は、このようにして演算
された部品１００の正確な位置、形状及びローテーショ
ンデータをロボット制御装置１８へ向は出力することに
より、多関節ロボット２０はロボット制御装置１８から
の指令によりバレット１４内に山積みされた部品から特
定の部品１００を正確に取出しコンベア２４上に載置す
ることが可能となる。

このようにして、本発明によれば、第５図に示すごとく
認識動作を開始すると同時に、部品パレット１００の全
体の画像ＡがＴＶ右カメラ２によって写し出され、画像
処理装置１６はこの画像データに従い所望の部品１００
のおおまかな位置及び形状を認識することができ、更に
このような認識データに基づきＴＶ右カメラ２のレンズ
面及びズーミング演算制御しＴＶ右カメラ２から第５図
Ｂで示すような所望部品１００の拡大画像を得ることが
できる。このため、当該拡大画像に基づき認識された部
品１００の三次元座標位置、形状を高い分解能をもって
認識し直すことができ、しかも必要に応じて該部品１０
０の基準姿勢に対するローテンションデータをも同時に
認識することができるため、前記実施例のように、部品
パレット１４内に２種類以上の異常の部品が混在してい
るような場合でも、これを正確に認識し多関節ロボット
２０を用いて所望の部品１００を取出すことが可能とな
る。

特に、本発明によれば、単にＴＶ右カメラ２の方向及び
ズーミング量を切換え、拡大されたパレット１４内の一
部、すなわち拡大された部品１００の画像を処理するの
みで十分高い認識精度を得ることができるため、従来と
同様の分解能の装置を用い、各種物体の認識を十分高い
精度で行うことができ、しかもその画像処理時間を短時
間で行うことが可能となる。

また、本発明によれば、特定の部品１００の拡大画像か
らその形状を正確に認識することができるため、部品の
形状が類似した複数の部品が混在するような場合であっ
ても、その細部の相違を正確に認識することが可能とな
り、従来装置に比し部品の認識率を飛躍的に向上するこ
とが可能となる。

また、パレット１４内に部品がまた多数残っている場合
と、僅かしか残っていない場合とでは、認識部品１００
とカメラ１２との距離が変わることが多く、その都度座
標変換式Ｆ１ズーミング量を切換えてやる必要がある。

このような場合には、初期データ設定時に、パレット１
４内の高さの異なる複数の位置で部品が視野いっばいと
なるように複数組のズーミング量、座標変換式を予め画
像処理装置１６内に算出設定しておく。そして、認識作
業時に、既に取出した部品の数によって、あるいは前回
取出した部品があった高さによって、ロボット制御装置
１８からの指令に基づき、ズーミング量及び座標変換式
をその都度切換使用をすればよい。

また、前記実施例においては、部品パレット１４内に山
積みされた部品から特定の部品１００を認識する場合を
例にとり説明したが、本発明はこれに限らず、パレット
以外の認識領域から他物体の認識をも同様にして精度良
く行うことが可能である。

［発明の効果］ 以上説明したように、本発明によればＴＶカメラの方向
及びズーミング量を２段階に切換制御するのみで従来と
同程度の分解能の装置を用いて、物体の認識を極めて高
い精度でかつ迅速に行うことが可能となり、しかもその
形状が極めて類似した部品が多数存在するような場合で
も、所望の部品の特徴を細部まで正確に把握し、当該部
品の認識を高精度で行うことが可能となり、従来方法に
比し物体の認識率を著しく向上することが可能となる。

【図面の簡単な説明】

第１図は本発明に係る物体の認識方法の好適な一例を示
すフローチャート図、 第２図は本発明の方法に用いられるシステムの具体的な
実施例を示す説明図、 第３図は第２図に示すシステムのＴＶカメラ部分の拡大
説明図、 第４図及び第５図は本発明の作用を示す説明図である。 １０　・・・　ＴＶカメラ固定台 １２　・・・　ＴＶ左カメ ラ４　・・・　対象領域としてのノくし・ソト２６　・
・・　二自由度の振り動作機構３６　・・・　電動ズー
ムレンズ １００　・・・　認識対象部品。

Claims (2)

【特許請求の範囲】
1. （１）ＴＶカメラ固定台に二自由度の振り動作機構を介
   してレンズ方向が任意に制御可能なＴＶカメラを取付け
   固定し、このＴＶカメラのレンズに視野の拡大縮小が任
   意に行えるズーミング機構を設け、前記振り動作機構及
   びズーミング機構を以下のイ〜ハの工程に従って制御す
   ることにより、対象領域が広視野又は狭視野のいずれの
   場合であっても、該対象領域内に存在する所定の認識対
   象物の座標値及び形状を認識することを特徴とする物体
   の認識方法。 （イ）所定の対象領域ほぼ全域がＴＶカメラの視野に納
   まるよう前記振り動作機構及び ズーミング機構を制御する第１の工程。 （ロ）第１の工程にて得られたＴＶ画像から対象領域内
   における所定認識対象物の概略 位置及び概略形状を認識する第２の工程。 （ハ）前記認識結果に基づき、認識対象物の全体又は予
   め設定された特定部分の３次元 座標を演算し、該演算データに基づき認 識対象物の全体又はその特定部分のみが ＴＶカメラの視野いっぱいになるよう振 り動作機構及びズーミング機構を制御す る第３の工程。 （ニ）前記第３の工程において得られたＴＶカメラの画
   像から、前記認識対象物の全体 又は特定の部分における座標値及び形状 を認識する第４の工程。
2. （２）特許請求の範囲（１）記載の方法において、前記
   第１の工程は、予め所定の対象領域全体がカメラの視野
   に納まるように、二自由度の振り動作機構の基準姿勢及
   びズーミング機構の基準ズーミング値を設定しておき、
   認識動作開始と同時に、前記振り動作機構及びズーミン
   グ機構をこれら基準姿勢及び基準ズーミング値に制御す
   ることを特徴とする物体の認識方法。