JPH03160576A - 画像認識方法およびその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は，ＩＴＶカメラなどで撮影された入力画像から
、入力画像内の対象物体の位置、傾き、形状などの特徴
を認識する画像認識方法並びに装置に関する。これらの
認識結果は生産工程における生産物（ワーク〉の検査や
、ロボットなどを用いたワークの搬送、加工などに用い
られ、生産工程の自動化に寄与するものである。

（従来の技術） 近年電子技術の進歩と共に、人間の視覚を代行できる画
像処理装置の研究が盛んに行わへ　検査用画像認識装置
、ロボットハンドリング用画像認識装置などが次第に生
産工程に登場しつつある。

ここに使用される画像認識装置は、従来人間が行ってい
た検査、例えば外観検査、組み付けミスなどの検査を自
動化する目的で使用される。また、ロボットのハンドリ
ングの場合は、画像認識装置によりワークの位置を計測
し、ロボットのテイーチング位置からのズレを補正して
ロボットがワークを搬送する。

このような目的で使用される画像認識装置に要求される
性能は、高速に確実に認識できること、小型で低価格で
あることなどである。最近、高速のプロセッサや大容量
のメモリＩＣが登場したおかげで、従来に比べ要求され
ている性能に近づいてきているものの、より高度な検査
などへの適用も要望されているのが実状である。

画像認識装置に組み込まれている機能で現在最もよく利
用されている方法はウィンドウと呼ばれる入力画像に対
してその一部の領域、即ち部分領域を設ける方法である
。これは、部分領域内の入力画像のみを処理することに
より、入力画像内に存在する不必要な部分の処理を除去
し、この不要な部分による認識誤差を抑えることが可能
となる。

第５図は、従来のウィンドウ処理を用いた一般的な画像
認識装置の概略図である。１０１は対象物を撮影するカ
メラ、１０２は画像認識装置である。１０２は更に濃淡
前処理部１゜０３、２値化前処理部１０４、特徴計算部
１０５、認識処理部ｌ０６で構或される。　１０３はカ
メラから入力される明るさに比例した振幅を持つアナロ
グ入力信号をデジタル信号に変換するとともに、フィル
タ処理などを実行して、入力画像から雑音成分を除去し
たり、画像のエッジを強調したりする。１０４は１０３
で得られた濃淡画像を白黒の２値化画像に変換するとと
もに、画像内の雑音除去などを目的とした膨張・収縮処
理などを行って、特徴計算を容易にする。１０５は２値
画像から面積、重心、慣性主軸長などの画像の形状をあ
らわす特徴を計算する。例えば、面積は対象物の大きさ
を表現できるし、重心は対象物の位置を表すことができ
る。

以上説明した１０３〜１０５にはウインドウ（部分領域
〉設定部１０７からの情報が送り込まれ、１０３〜１０
５での処理を設定したウィンドウ内に限定する働きがあ
る。通常、ウインドウは同時に複数個設けられてそれぞ
れのウインドウに対して個別に処理が行われる。一方、
認識処理部１０６は１０５で得られた特徴量を基に、判
定処理を行って、結果を外部に出力する。例えば、面積
がある基準以上ならＯ　Ｋ．　　基準以下ならＮＧとし
て外部に出力する。複数のウィンドウを用いる場合は、
各ウィンドウの特徴量を総合的に判断して結果を出力す
る。ウィンドウを用いる利点は、ウインドウ外の処理を
行う必要がないため、処理時間を低減できる点である。

以下、第５図の装置を用いて実際の画像認識を行う方法
を第６図を用いながら説明する。第６図（ａ）は入力画
像の一例を示したものである。１１１は入力画像の範囲
を表す枠で、テレビモニタでは外枠と同じと考えて良い
。即ち、カメラから送られてくる画像データはこの範囲
である。１１２は対象物の映像で、この例では正方形の
物体の左上と左下に異なる大きさの丸印のマーク１１３
、１１３’　が映し出されている。対象物１１２で示さ
れている斜線は背景と対象物の明るさが異なることを表
している。いま、この対象物の位置と方向を認識するこ
とにする。ただし、説明を容易にするために、対象物は
直角方向に回転して置かれる場合があるが、これ以外の
角度（傾いた状態）で置かれることはないものとする。

カメラから入力される画像は通常濃淡情報として画像認
識装置に入力される。これに対して第６図（ｂ）に示す
ようなウィンドウ１１４〜１１７を設定する。この図で
は、破線で囲まれた長方形の領域をウィンドウとして設
定し、この内部のみ処理を行うことを意味する。

以下、認識方法の一例を具体的に述べる。まず、全ての
ウィンドウに対して２値化画像を生或する。

次に、ウィンドウ１１４、１１５を用いて、対象物のコ
ーナ点を求める。コーナ点の求め方としては、いろいろ
あるが、例えば、次の方法がある。

ウィンドウ１１４内の２値化画像に対して、対象物の存
在する部分（２値化画像の場合は背景が黒画素の場合、
白画素の部分となる〉のＸ座標、Ｙ座標が共に最小とな
る座標を探す（画像処理の場合画面の左上を原点とする
場合が多い）。同様に、ウィンドウ１１５では、Ｘ座標
、Ｙ座標が共に最大となる座標を探す。この結果、ウィ
ンドウ１ｌ４から得られた座標、ウィンドウ１１５から
得られた座標を対角とする対象物の位置を計算すること
ができる。次に、対象物の置かれた方向を認識する。ウ
ィンドウ１１６において、穴となる部分を探す。例えば
、ウィンドウ１１６内の対象物の領域（白画素の部分）
を一つのパーツとして認識し、このパーツ内の穴の面積
を計算すれば、穴があるか無いか、また穴の大きさを知
ることができる。ウィンドウ１１７においても全く同様
に処理する。この結ス、第６図（ｂ）の場合は、ウィン
ドウ１１６に大きな穴が存在し、ウィンドウ１ｌ７に穴
が存在しな　　第６図（ｃ）の様に対象物が時計方向に
９０゜回転している場合は、ウィンドウ１１６には小さ
い穴が、ウィンドウ１１７には穴がないと認識される。

このようにウィンドウ１１６、１１７に存在する穴の情
報から対象物の回転状態がわかる。

（発明が解決しようとする課題） 今示したように、この４個のウィンドウに対して第５図
で示した認識装置を用いて濃淡前処理、２値化前処理、
特徴計算を順に行うわけであるが、ウィンドウの処理に
対して従来の方法では、大キく分けると２Ｆ！類の方法
が行われていた。

第１の方法は、設定したウィンドウの個数分だけ濃淡前
処理部、２値化前処理部、特徴計算部を設け、それぞれ
を並列に処理する方法である。この方法によるブロフク
図を第７図に示す。１０３−１，１０４−１、１０５−
１　（１＝ｌ〜ｎ，　　ｎはウィンドウ数）はそれぞれ
ウィンドウ毎の濃淡前処理部、２値化前処理紙　特徴計
算部である。

カメラから入力された入力画像は各ウィンドウ毎に設け
られた処理の流れを通り、特徴計算結果がほぼ同時に認
識処理部に入力され、これらの結果が認識処理部で総３
的に判断され結果が出力される。この方法は、　）理時
間が短い特徴があるものの、ウィンドウ８が多くなると
、ハードウェア量が多くなる、ハードウェアが複雑にな
るなどの欠点があった。

第２の方法は、カメラからの画像を一旦フレームメモリ
に記憶させ、ウィンドウ毎に順に処理を繰り返す方法で
ある。即ち、まずウィンドウｌ１４について濃淡前処理
、２値化前処理、特徴計算を実行し、その結果を一旦認
識処理部の入力レジスタに記憶させる。以下、ウィンド
ウ１１５、１１６、１１７について同様の処理をシーケ
ンシャルに繰り返す。最後に認識処理部において、各ウ
ィンドウ毎の特徴計算結果を総合して判断する。

この方法は、ハードウェアの量がウィンドウ数に無関係
である特徴があるものの、ウィンドウ数に比例して処理
時間が長くなる欠点があり九以上示した２８ｉ類の方法
はいずれも長所と短所を兼ね備えており、比較的ウィン
ドウ数が少ない場合や、処理内容が簡単なものでは第１
の方法、ウィンドウ数が多い場合や処理内容が複雑なも
のでは第２の手法、というように用途に応じて使い分け
ていた。

（課題を解決するための手段） この発明は、特許請求の範囲記載の画像認識方法および
画像認識装置を提供することにより、従来の第２の手法
にわずかな機能を追加するだけで、第１の手法の高速に
処理できる特徴を兼ね備えた画像認識方法及び画像認識
装置を提供するものとなった。

（実施例） 以下、実施例を参照しながら本発明を詳細に説明する。

第１図は、本発明による画像認識装置の概要図であ　る
。　　１０１、　　１０３、　　１０４、　　１０５、
　　１０６は従来例の説明図第５図と同じものであるた
め、ここでは説明を省略する。ｌ７は個別にウィンドウ
（部分領域〉を設定する手段（個別ウィンドウ設定部〉
である。機能や動作は従来例のウィンドウ設定部１０７
（第５図）と同じものであるが、その信号はこの例では
特徴計算部１０５にのみ出力されている。１７では、少
なくとも１個以上のウィンドウが設定さ札　そのウイン
ドウ情報はウィンドウ毎に特徴計算部１０６に出力され
る。例えば、従来例で説明した第１の方法の場合は、特
徴計算部を個別ウインドウ設定部で設定されているウィ
ンドウの数だけ設け、ウインドウデータは各ウィンドウ
毎に特徴計算部１０６に入力される。

総合ウィンドウを作戊する総合ウインドウ作成部（総合
部分領域作成手段）１３は、個別ウインドウ設定部ｌ７
で設定されている全てのウインドウを含む新しいウイン
ドウ（総合部分領域）を作或する。例えば、第６図（ｂ
）に示すようなＪＦＪ類のウィンドウ１１４〜１１７の
場合は、第２図の一点鎖線２０で示されるウインドウ（
総合ウインドウと称す）を作成する。第２図では総合ウ
インドウ２０は個別ウインドウ１１４、　１１６からな
る第１の部分領域、個別ウインドウ１１５、ｌｌ７から
なる第２の部分領域に分割されているが、総合ウィンド
ウ２０は両部分領域を含むものとする。実際には、全て
のウインドウの論理和を演算すれば実現できるが、実現
の方法については、ノ＼ードウェア、ソフトウエアいず
れでも簡単に実現できるものである。また、オペレータ
が操作しながら総合ウィンドウを作成することも可能で
ある。

第１図の総合ウィンドウ設定部（総合部分領域を設定す
る手段）１２は、総合ウインドウ作戊部１３において作
成された総合ウインドウデータを用いて、ウィンドウデ
ータを１０３、　１０４に供給する。このような構成を
とることにより、ｌ０５はウィンドウ数と同じ数だけ必
要となるものの、１０３、　１０４は複数個設ける必要
はない。従って、従来例で示した第１の方法に比べて１
０３、１０４の必要数が少なく、ハードウエア量を小さ
くすることができる。一方、第２の手法に適用する場合
は、１０３、１０４の処理を１回実行するだけで、全て
の個別ウインドウに対しての処理が終了するため、１０
３、１０４の処理を個別ウインドウ数回繰り返す従来例
に比べて処理時間の短縮が可能となる。

以上述べた実施例では、濃淡前処理、２値化前処理を全
ての個別ウィンドウ共通な処理を行うと仮定したが、こ
れに限定するものではない。濃淡前処理、２値化前処理
はその処理内容が複雑多岐にわたる。例えば、単に濃淡
前処理と言っても、参照画像との画像間演算や空間フィ
ルタ処理、濃度ヒストグラムを生戊する処理など複数の
処理を行うのが通常である。また、２値化前処理を行わ
ず喜こ濃淡前処理結果から特徴を計算する場合もある。

本発明の本質は個別ウィンドウに対する共通の処理はす
べて総合ウィンドウを用いて１回で処理を終えることに
ある。従って、総合ウィンドウ設定部１２から供給され
るウィンドウデータは第１図に示す内容に限定されるも
のではない。

以下、具体的な装置例として、特に本発明に関する重要
な部分となる第１図の１２、ｌ３、ｌ７について詳細に
説明する。個別ウィンドウ設定する方法としては種々の
方法が既に示されているが、ここでは最も簡単な例とし
て第３図のような方法を示す。これは、処理画像の空間
座標と１対１対応のウィンドウブレーンを用意しておく
方法である。例えば第３図のように画像処理を行う画像
プレーンが５１２ｘ５１２画素で構成されている場合は
、ウィンドウプレーン２ｌも５　１　２ｘ５　１　２の
座標空間を用意する。ウインドウプレーン２ｌはウィン
ドウ２２内の領域の座標を”ｌ”　これ以外の領域を″
Ｏ”としておく。このようにしておけば、特徴計算部１
０６で処理する画素の座標と同じ座標のウィンドウブレ
ーンのデータを（［１　別ウィンドウ設定手段から出力
し、画素データとウィンドウデータの論理積を演算すれ
ばウィンドウ外の画素データは論理積演算により″０″
となるため、特徴計算の結果は自動的にウインドウ内の
結果に限定されてしまう。ウインドウプレーンは５１２
ｘ５１２ｘｌビット（約２５６キロビ，ト）の大きさと
なるため、最近のＬＳＩ技術を用いれば、４個のウィン
ドウプレーンをわずか１個のメモリＩＣで実現すること
ができる。

総合ウィンドウ設定部１　２，　　総合ウインドウ作戊
部ｌ３、および個別ウィンドウ設定部ｌ４は第４図のよ
うな構成で実現することができる。３４は画像アドレス
発生部である。これは、カメラからの入力画像を２次元
座標空間に展開して各画素に対する座標（アドレス〉を
出力するものである。

例えば、５１２ｘ５１２画素からなる画像を扱う場合は
、入力画像の左上の画素を（ｘ．ｙ）＝（０．０）とし
、右上の画素の座標を（ｘ．ｙ）＝（５１１．０）とす
る。また右下の画素の座標を（Ｘ．Ｖ）＝（５１１，５
１１）とする。ここで、Ｘは水平方向の座標、ｙは垂直
方向の座標である。画像認識装置は画像アドレス発生回
路から出力される空間座標データをもとに例えばフレー
ムメモリから指定した座標の画素データを抽出し、画像
処理を行うことになる。通常アドレス発生回路はカウン
タで構成される。先に示した５１２ｘ５１２画素からな
る処理画像に対しては、１４ピットのカウンタを設けて
、下位７ビットをＸ座標用に、上位７ビットをｙ座標用
とする。そして、このカウンタを１ずつ増加させていく
と入力画像の左上の画素から順に右下の画素まで順に処
理を行うことができる。画像アドレス発生回路３４から
出力される空間座標データ４１は第１図の１０３、１０
４、１０５などに出力される他に、第４図に示すように
総合ウィンドウ設定部ｌ２、総合ウィンドウ作成部１３
、個別ウィンドゥ設定部１７に入力される。３１−１　
（１＝１〜ｎ）は個別ウィンドウ設定部の各ウィンドウ
ブレーンを記憶するメモリである。３１−１からは３４
からの座標データに対応するウィンドゥプレーンデータ
が出力される。もし空間座標がウィンドゥ内であれば″
１”が、これ以外であれば”Ｏ″が出力される。各個別
ウィンドウブレーンからのデータは個別ウインドウデー
タ４２として１０５に出力される。また、同時に総合ウ
ィンドゥ作成部１３にも出力される。総合ウィンドゥ作
成部は多入力ＯＲゲート３２で構成することができる。

３２の出力は３ｌ−１〜３１−ｎからのウィンドゥデー
タの少なくとも１つが”ｌ”であれば、　　１″となる
ため、第２図に示した総合ウィンドゥ２ｏを作成するこ
とができる。３２の出力は総合ウィンドウ設定部ｌ２の
総合ウィンドウブレーンメモリ３３に書き込まれる。従
って、３３の出力は総合ウィンドウデータ４３となって
第１図の１０３、１０４に出力されることとなる。３３
は機能的に３１一ｌと同じものであるから、容易に実現
できるものである。なお、実時間で画像処理を行う場合
は３２の出力をそのまま総合ウィンドウデータ４３とし
て出力することも可能である。この場合は、３２が総合
ウィンドウ作戊部１３、総合ウィンドウ設定部ｌ２を兼
ねることとなる。

（発明の効果） 以上、本発明の装置の重要な部分の実施例について説明
したが、比較的簡単なハードウエアを追加するだけで本
発明の画像認識方法またはその装置を実現できる。従っ
て、本発明による画像認識方法、またはその装置を使用
すれば、従来に比べて少ないハードウェア量で高速に、
しかも精度良く画像認識が可能となる。

詳細な説明で使用した実施例は一例にすぎず、これに限
定するものではない。本発明の主旨は、先に述べたよう
に複数のウィンドウを用いた画像認識方法、およびその
装置において、全てのウィンドウに共通な処理は全ての
ウィンドウの領域を含む総合ウィンドウを作或して、こ
のウィンドウにより一度に実行してしまう点である。従
って、この主旨を達成できる方法、装置であれば、ハー
ドウェア、ソフトウェアの区別無く本発明の請求範囲に
含まれる。

【図面の簡単な説明】

第１図は本発明の基本構戊を含む画像認識装置の処理フ
ローの構戊の一例を示したものである。 １０１は画像を入力するカメラ、１０３、１０４、ｌ０
５、１０６はそれぞれ濃淡前処理部、２値化前処理部、
特徴計算紙　認識処理部である。またｌ２、ｌ３、ｌ７
は総合ウィンドウ設定臥　総合ウィンドウ作１ｉ３Ｅ！
　　個別ウィンドウ設定部である。 第２図は、総合ウィンドウの例を示したものである。１
１４〜１１７が個別ウィンドウ、２０が総合ウィンドウ
である。 第３図はウィンドウデータの一例としてウィンドウブレ
ーンの説明するための図である。２１が処理画像全体の
領域、２２がウインドウである。 ２２の内部のウィンドウブレーンが″１″　これ以外の
領域が”０″となっている。 第４図は個別ウインドウ設定部、総合ウインドウ作成部
、および総合ウインドウ設定部の１実施例を示す概略ブ
ロック図である。 第５図から第７図は従来例を説明するための図である。 第５図は従来の画像認識装置を示す概略ブロック図、第
６図（ａ）（ｂ）（ｃ）は複数のウィンドウを用いた画
像ＩＪＡ識方法の１例を示し、第７図は従来例で説明し
た第１の方法を実現する画像認識装置の構或例である。

Claims (2)

【特許請求の範囲】
1. （１）カメラなどから入力される入力画像に対して複数
   の部分領域を設定し、該部分領域内の画像に対してそれ
   ぞれ画像処理、認識を行って、画像の特徴を計算した後
   、部分領域毎の画像の特徴を総合的に判断して、対象物
   の位置や形状などの入力画像の特徴を認識する画像認識
   方法において、前記複数の部分領域全てを含む新たな総
   合部分領域を設け、全ての部分領域に共通な画像処理、
   例えば２値化処理、ノイズ除去処理などを総合部分領域
   内でまず処理を行った後、各部分領域毎に画像の特徴な
   どの個別処理を行い、最後に各部分領域毎の特徴を総合
   的に判断することを特徴とする画像認識方法。
2. （２）カメラなどから入力画像を入力する手段、複数の
   部分領域を設定する手段、前記部分領域を全て含む総合
   部分領域を設定する手段、総合部分領域内で入力画像に
   対して２値化処理、ノイズ除去処理などの部分領域に共
   通な処理を行う手段、総合部分領域内で処理された結果
   に対して、各部分領域毎に部分領域内の画像の特徴など
   、個別処理を行う手段、各部分領域内で個別処理された
   結果から入力画像の特徴を総合的に判断する手段を具備
   することを特徴とする特許請求の範囲第１項の画像認識
   装置。