JPH08212353A - 画像認識装置 - Google Patents

画像認識装置

Info

Publication number
JPH08212353A
JPH08212353A JP7211853A JP21185395A JPH08212353A JP H08212353 A JPH08212353 A JP H08212353A JP 7211853 A JP7211853 A JP 7211853A JP 21185395 A JP21185395 A JP 21185395A JP H08212353 A JPH08212353 A JP H08212353A
Authority
JP
Japan
Prior art keywords
pattern
correlation
unit
standard pattern
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7211853A
Other languages
English (en)
Other versions
JP3724014B2 (ja
Inventor
Shinichi Yoshimura
真一 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPH08212353A publication Critical patent/JPH08212353A/ja
Application granted granted Critical
Publication of JP3724014B2 publication Critical patent/JP3724014B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【課題】 現実に撮像された物品の回転角が用意された
標準パターンのうちの1つと同一でないときでも相関値
の低下が顕著とならず、認識率の向上が期待できる高速
画像認識装置を得ること。 【解決手段】 本発明は、K−L展開法により特徴を捉
えた表現で標準パターンを登録すると共に、K−L展開
法で表現された標準パターンのうち、複数の標準パター
ンで共通に同一の演算をする部分を抽出し、かかる演算
を1つの切出し領域の演算において共通に利用すること
により、認識率低下を招くことなく飛躍的な高速化を図
ることができた。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮像された画像の
中に存在する物体の位置と方向を高速で求める画像認識
装置に係るものである。
【0002】
【従来の技術】部品を組立てる分野においては自動化が
進み、組立てる部品等については、人間の目によること
なく画像認識処理によってその位置や傾きを確認し、そ
の把握された情報に基いてロボットにより組立て加工が
行われている。したがって、画像認識技術には、一層の
高速化、高精度化が要望されている。
【0003】1.従来の画像認識装置の構成 まず、一般に用いられる相関技術に基く画像認識装置に
ついて、その概略を図1により説明する。図1におい
て、画像入力部1は、認識したい画像をカメラ等によっ
て撮像し、その画像入力信号をA/D変換することによ
り、後段でのデジタル処理ができるように構成されてい
る。
【0004】画像切出し部2は、先に入力した画像信号
から所定の位置に対応する信号を抽出する(切出す)よ
うに構成されている。該切出し部2より切出される情報
量は、認識したい標準パターンを表現したベクトル要素
数と同一になるようされている。
【0005】標準パターンメモリ3,3,‥‥は、認識
したいパターンであるパターン0〜パターン+2を標準
パターンとして記憶するメモリであり、各メモリは夫
々、例えば、部品の向きが基準方向である基準の標準パ
ターン0、この基準の標準パターンを正の方向に若干角
度回転した標準パターン+1、標準パターン+1を更に
正の方向に若干角度回転した標準パターン+2、また基
準の標準パターン0を負の方向に若干角度回転した標準
パターン−1、標準パターン−1を更に負の方向に若干
角度回転した標準パターン−2を記憶している。このよ
うに基準となる基準パターン0に対し、夫々正負の方向
に回転した標準パターンを含めているのは、撮像された
画像が必ずしも同一方向に向いてはいないからである。
なお、標準パターンは、その形状の水平方向画素数と垂
直方向画素数との乗算で得られる数、即ち標準パターン
を構成する全画素数Nの数列で表現されるので、N次元
のベクトル値として扱われる。
【0006】パターン選択部4は、標準パターンメモリ
3,3,‥‥に記憶されたパターン0〜パターン+2の
うち、いずれか1個のパターンを指定選択できるように
構成されている。個々の標準パターンはN次元のベクト
ルで表現されているので、パターン選択部4の出力もN
次元のベクトルで表現される。
【0007】相関演算部5は、2つの同次元ベクトルに
ついて正規相互相関演算を行う演算部であって、一方の
入力に画像切出し部2の出力であるN次元ベクトル情報
を、他方の入力にパターン選択部4の出力であるN次元
ベクトル情報を受けるように構成されている。
【0008】2.相関演算の具体的方法 次に相関演算につき、図2を用いてその概略を説明す
る。 図2では、分かり易いように標準パターン12をN
=5×5=25の画素x 1 ,x2 ,‥‥,x25(xj
より成るものとしてある。使用する標準パターンの種類
をiとし、標準パターンiに対する標準パターン及びそ
の各画素を夫々x i 及びxijで表す。
【0009】これに対し、入力画像14はその撮像され
た領域は広いものであるが、そのうちの一部の領域13
を取出し、これを構成する画素を標準パターン12の場
合と同様にy1 ,y2 ,‥‥,y25(yj )とする。そ
して、任意の切出し領域13の数式上の表記をyとす
る。 さて、xi とyが決まると、次の一般式
【数1】 による演算を行う。この式(1)が正規相互相関の定義
式である。
【0010】しかし、式(1)をそのまま装置に構成す
ると、多くの項を逐次計算しなければならず高速化を望
めない。そこで一般には、この式中に含まれる項ができ
るだけ少なくなるよう前処理を加える。
【0011】 具体的にいえば、切出し領域13の全
画素情報の平均値を計算し、平均値をオフセット(偏
差)量としてこれを各画素から減算する正規化演算を行
う(65)。即ち、
【数2】 の計算により切出した領域の画素に係るオフセット値a
を得、それから各切出し画素(要素)毎に
【数3】 を計算する。このようにして得られた切出し画素情報
を、以下ベクトル表記して
【数4】 とし、これを正規化された切出し領域という。ここまで
で、入力画像に対する準備が終了する。 一方、各標準パターンiについても、濃淡値の平均
が0となるように全ベクトル要素からオフセット値を減
算する(64)。即ち、
【数5】 により各標準パターンi毎のオフセット値ai を計算
し、それから各標準パターンiの要素毎に
【数6】 を計算する。このようにして得られた要素をベクトル表
記し、
【数7】 とする。以下、これを正規化された標準パターンとい
う。
【0012】 上記準備によって、
【数8】
【数9】 となるため、(1)式は、
【数10】 と書換えられ、簡単になる。なお、分母の第1項は、標
準パターンについてのみの計算式であるので、予め計算
することができる性質のものである。したがって、パタ
ーン突合せ(マッチング)処理をするに当たり、実時間
で計算しなければならないのは、分子項と分母第2項の
みとなる。
【0013】 次に、(10)式の分子をみると、こ
れは標準パターンiに係るベクトルと入力画像に係るベ
クトルとの内積を表し、分母は、標準パターンiのノル
ム(norm)及び切出し領域のノルムを表している。よっ
て、(10)式は、
【数11】 と書くことができる。なお、(10)式の分子には係数
Nが乗じられているが、Nは定数であるから計算を単純
にするためこれを無視した。
【0014】(11)式から分かるように、入力画像に
対して行う標準パターンiとの正規相互相関演算は、入
力画像の正規化された切出し領域を表現したベクトルの
長さと、正規化された標準パターンベクトルとの内積を
とることで実現される。
【0015】 以上の前処理により、相関演算は(1
1)式に従って行いうることが分かる(66)。この演
算は、先に取出した一部の領域13を入力画像中で順次
移動させ、画像全体に対して行う。相互相関では、2つ
のパターンが全く一致した時に最も高い数値となること
が知られている。この性質により、画像全体に対して行
われた演算結果のうち最も高い数値を示した座標が、標
準パターンと同一(もしくは最も類似)の物品が撮像さ
れている位置である、ということになる。
【0016】3.相関演算により物品を認識する手順 次に、図1に示した構成において、上記相互相関演算を
行う手順を説明する。画像入力部1で撮像された、認識
したい物品を含む画像情報は、画像切出し部2によって
切出され、一定範囲内の情報が抽出される。このときの
切出し領域の形状は、標準パターンメモリ3,3,‥‥
に記憶されている標準パターンの外郭の形状と同一であ
る。即ち、切出し領域及び標準パターンを構成する縦方
向の画素数と横方向の画素数とは、夫々一致している。
したがって、画像切出しされる情報も、N次元のベクト
ル情報として取扱われる。
【0017】一方、パターン選択部4で選択する標準パ
ターンは、まずパターン0とする。そうすると、撮像し
た画像から切出した位置と標準パターンが決まるので、
これら2つのN次元ベクトル情報を対象として正規相互
相関演算を行い、この切出し領域の相関値を算出する。
【0018】次に、パターン選択部4で選択する標準パ
ターンを、次のパターンであるパターン−1とすると共
に、先にパターン0を対象として正規相互相関演算を行
った切出し領域と同一の切出し領域に対して相関値を算
出する。以下同様に、残りの標準パターンすべてについ
てこの相関演算を繰返す。結局、上記の構成による場
合、同一の切出し領域に対して5つの相関演算を行うこ
とになる。
【0019】次に、切出し領域を入力画像中で順次1画
素ステップでシフトする「走査処理」をしてゆき、上述
のようなパターン突合せ処理を全入力画像に対して行
う。こうした処理の結果、各標準パターンiに対して最
も高い数値を得られた切出し位置が、その標準パターン
に係る物品が存在した位置ということになる。
【0020】
【発明が解決しようとする課題】ここで、上述の相関演
算によるパターン突合せ処理をする場合、1つの切出し
領域において最も演算時間を要する乗算処理の回数を数
えると、
【数12】 ではN回、
【数13】 では(N+1)回である。その他にも乗算があるが、N
が大きい場合にはほぼ無視できるので、約2N回の乗算
が行われるといえる。結局、1標準パターン当たり2N
回の演算が必要になる。いま認識したいパターンの数を
Pとすると、夫々の標準パターンについて上記演算が行
われるので、1つの切出し位置につき2NP回の乗算処
理をすることになる。
【0021】本画像認識装置を部品組立て処理などに利
用するためには、標準パターンとして縦100画素、横
100画素程度のものが必要である。したがって、この
場合には、認識すべき標準パターンを1つ増す毎に20
000回の乗算処理が増えることになる。これでは、抽
出すべき物品数や傾きの許容度を拡大したとき、満足で
きる速度で処理することができなくなる。
【0022】また、上述のような簡単なパターン突合せ
では、標準パターン中の全画素について、該パターン中
に重要な特徴があるかどうかに拘らず平等に取扱ってい
る。したがって、先の例の如く、撮像された部品が必ず
しも一方向に向いていないために標準パターンとして基
準となる標準パターンの外に夫々回転した標準パターン
を含めなければならない場合において、現実に撮像され
た物品の回転角が用意された標準パターンのうちの1つ
と同一でないときには、その相関値の低下が顕著となり
抽出に失敗することがある、という問題点があった。よ
って、かかる問題点を解決することが本発明の課題であ
る。
【0023】
【課題を解決するための手段】本発明の骨子は、K−L
展開法(Karhunen-Loeve Expansion)を画像処理に用い
ることにより、特徴を捉えた表現で標準パターンを登録
し、現実に撮像された物品の回転角が用意された標準パ
ターンのうちの1つと同一でないときでも、相関値の低
下が顕著とならず認識率の向上を期待できるようにした
点にある。
【0024】本発明では更に、K−L展開法で表現され
た標準パターンのうち、複数の標準パターンにおいて同
一の演算をする共通部分を抽出し、かかる演算を1つの
切出し領域の演算において共通に利用することにより、
従来技術に対して認識率低下を招くことなく飛躍的な高
速化を計っている。
【0025】まず、本発明に用いるK−L展開について
説明する。K−L展開については他の文献に詳しく説明
されているが、ここでは演算手順についても簡単に述べ
ることにする。 (a) K−L展開による標準パターン表現の性質 K−L展開とは、複数の標準パターンにおいて、各標準
パターンに共通の性質がある要素と、各標準パターンに
特有の性質がある要素とを分離し、これらの要素を線型
結合の形式で表記すると共に、標準パターン毎に対応す
る係数の組を後者要素に組合せ、前記要素のみから各標
準パターンを表現するものである。ここで、標準パター
ンに特有の性質を表す要素は、各標準パターンについて
直交独立のベクトルとなっているという特徴がある。
【0026】本展開によれば、共通の性質を表す要素が
標準パターン群のおよその性質を代表しているために、
パターン認識によって類似形態のものを抽出し易くする
と共に、標準パターン毎の分離は直交独立のベクトルと
のベクトル演算によって行われるので、いわゆる弛緩法
(Relaxation Method )を1つの演算中で実現している
のと類似の効果が期待できる。
【0027】(b) K−L展開による標準パターン表
現の具体的演算方法 本発明では、K−L展開を標準パターンに対してのみ適
用する。具体的には、以下のような演算を行う。
【0028】 まず、従来の技術においても行ってい
るように、各標準パターンiについて全画素の濃淡値平
均が0となるようにオフセット値を減算する。即ち、前
記の(5)式
【数14】 により各標準パターンi毎のオフセット値ai を計算
し、それから各標準パターンiの要素毎に前記の(6)
【数15】 を計算する。こうして得られた要素をベクトル表記し、
前記の(7)式
【数16】 とする。以下、これを正規化された標準パターンとい
う。
【0029】 次に、P個ある標準パターンの対応す
るベクトル要素毎の平均を取る。即ち、
【数17】 を計算する。こうして得られた要素をベクトル表記し、
【数18】 とする。
【0030】 次に、及びで得られたベクトルに
基いて共分散行列Aを定義する。
【数19】
【0031】 次に、で得られた共分散行列の固有
値問題、即ち、 Aej =Aλj ‥‥(20) を解くことによって固有ベクトルej と固有値λj (j
=1,2,‥‥,P−1前記のjとは異なる点に注意)
を求める。ただし、固有ベクトルej と固有値λ j のj
=1,‥‥,P−1への割当ては、 λ1 >λ2 >‥‥>λP-1 ‥‥(21) となるようにする。
【0032】ここで、固有値の数がたかだかP−1個し
かないのは、共分散行列において共通項であるcを各標
準パターンについて演算しているので、独立度が1つ減
少するためである。
【0033】以上のようにして得られた固有値λj は、
これに対する固有ベクトルej がどの程度各標準パター
ンに固有の特徴を有しているかの度合いを示す指標とな
っており、このため、固有値が大きい程、これに対応す
る固有ベクトルが各標準パターンを分離するのに重要な
意義を有しているといえる。なお、固有ベクトルe
j は、夫々N次元の直交基底となっている。
【0034】 次に、上述の処理で得られた固有ベク
トルej を用いて正規化された標準パターンを書換え
る。
【数20】 ここで、pij
【数21】 によって決定される。このように、元の標準パターンは
式(22)及び(23)のような表記に展開され、これ
をK−L展開表現という。
【0035】 各固有ベクトルに対応する固有値は各
標準パターンの特徴を表現することに寄与しているとは
いえ、固有値が小さい固有ベクトルは、画像識別におい
て余り意味がない。したがって、K−L展開によれば、
(22)式のように全固有ベクトルについて1次結合し
ていなくても、多少の誤差を許容すれば、1次結合する
項数を制限することが可能である。
【0036】例えば、この結合項数をKとして
【数22】 と近似表現してもよいことになる。ここに、pijは(2
3)式で与えられるものと同じである。
【0037】なお、K−L展開された標準パターン情報
(24)式は、数多くの計算を必要とするが、これらの
計算は入力する画像とは無関係である。よって、認識し
たい標準パターンが予め決まっている限り、事前に計算
してその計算結果を記憶しておき、必要に応じてこれを
読出せばよい。また、Kは、固有値及び許容できる認識
率を確認しながら決定すればよい。
【0038】 しかし、上記(24)式は標準パター
ンを単にK−L展開しただけであり、この結果を(1
1)式に適用したとしても、認識率の差こそあれ、従来
と同じ数の演算をしなければならず、演算の高速化は望
めない。
【0039】即ち、1つの切出し位置における1つの標
準パターンに関する乗算数は、相関値分子項で約N回、
相関値分母項中の 演算で約N回になる。そして、P個の標準パターンがあ
る場合 演算の結果は共通に使えるので、分母項で約PN回の演
算が増えることになり、その結果全体として約(P+
1)N回の演算が行われることが分かる。
【0040】 そこで、本発明者は、標準パターン毎
に計算しなければならない項を減らすと共に、各標準パ
ターンで共通に演算できる項が多くなるように、(1
1)式を変形し、この変形した式に基いて装置を構成す
ることとした。即ち、(11)式はその分子が線型結合
されているので、これに分配法則を適用して
【数23】 とする。
【0041】なお、 のノルムの項は、(24)式によって得られる近似した に基く。また、分子第1項と、分子第2項内の 項とは、1つの画像切出しが行われる毎に1回だけ演算
すればよいものである。したがって、標準パターンを1
つ増しても、それによって単にスカラー演算が1回増す
に留まることが示唆されている。
【0042】
【発明の実施の形態】K−L展開を用いた本発明の実施
例を図3を用いて説明する。画像入力部31は、認識し
たい画像をカメラ等により撮像し、その入力をA/D変
換して、後段でデジタル処理ができるようにする。画像
切出し部32は、入力した画像から所定の位置(領域)
を切出す(抽出する)ように構成する。該切出し部32
より切出される情報量は、認識したい標準パターンを表
現したベクトル要素の数と同一とする。
【0043】濃度正規化部33は、切出した領域の画素
の全情報の平均値を計算し、その平均値をオフセット量
として各画素から減算する演算を行う。具体的には、前
記の(2)式
【数24】 の計算により、切出した領域に係るオフセット値aを
得、それから各切出し要素毎に前記の(3)式
【数25】 を計算する。こうして得られた切出し画素情報をベクト
ル表記して、
【数26】 とする(前記(4)式参照)。この要素情報は、全標準
パターンについて共通に利用されるので、1つの切出し
毎に保持しておく。
【0044】固有ベクトル情報メモリ36,36‥‥
は、各標準パターンについて予め演算されたK−L展開
で得られた固有ベクトル情報を記憶するメモリである。
具体的には、(20)式から得られるej (j=1,
2,‥‥,K)がこれらのメモリに記憶されている。
【0045】固有ベクトル重み情報メモリ39,39,
‥‥は、上記固有ベクトル情報に対応して各標準パター
ン毎に決定されるpijを記憶するメモリである。具体的
には、前記の(23)式
【数27】 によって決定されたpij(i=1,2,‥‥,P)(j
=1,2,‥‥,K)が記憶されている。ここに、pij
はスカラー量である。そして、後述する制御用CPU6
2によりiが指定されたときに、上記メモリ39,3
9,‥‥は、その指定された標準パターンに対応するp
ijを出力する。
【0046】固有ベクトル相関要素計算部37は、上記
固有ベクトル情報ej (j=1,2,‥‥K)と濃度正
規化された入力画像情報との内積演算を行い、 を算出する。この結果はスカラー値であるが(以下、便
宜上vj とする。)、固有ベクトル情報ej (j=1,
2,‥‥,K)毎に計算されるものであるから、K種類
の数値群が得られることになる。
【0047】パターン依存相関要素計算部38は、先に
得られたvj と固有ベクトル重み情報pijとの乗算を行
う。ここで、vj 及びpijは夫々スカラー量であるの
で、1つの標準パターン毎にK回の乗算が行われる。
【0048】Σ計算部40は、スカラー加算を行う加算
部であって、パターン依存相関要素計算部38で計算さ
れたvj ・pijについてj=1,2,‥‥,Kまで各ス
カラー値毎に加算する。これによって、
【数28】 を得たことになる。
【0049】共通パターン情報メモリ34は、標準パタ
ーンの共通するパターン情報である前記(18)式によ
るN次元ベクトル
【数29】 を記憶する部分である。
【0050】共通パターン相関要素計算部35は、入力
画像から抽出した1つの切出し領域に対する、全標準パ
ターンの共通するパターン情報である(18)式のベク
トルとの内積演算を行う部分である。この演算により、
前記(25)式の分子第1項である が算出されることになる。
【0051】加算部44は、Σ計算部40と共通パター
ン相関要素計算部35の出力をスカラー加算する部分で
ある。この出力は、正規相関値に対応した(25)式の
相関値Ci の分子項の値に相当する。
【0052】 計算部41は濃度正規化部33より得られた切出し入力
画像ベクトルのノルムを算出する部分であって、1つの
切出しに対してN回の掛け算(自乗算)が行われる。し
たがって、その出力値はスカラー量である。
【0053】 メモリ42は、標準パターンを表現したベクトルのノル
ムを各標準パターンの種類i毎に記憶しているメモリで
あり、iが後述する制御用CPU62により指定された
ときに、その指定された標準パターンに対応する のノルムを出力する。その出力値は、スカラー量であ
る。
【0054】乗算部43は、上記 計算部41の出力値及び メモリ42の出力値の乗算を行う部分である。この値
は、正規相関値に対応した相関値Ci ((25)式)の
分母項に相当する。
【0055】除算部45は、加算部44の出力を乗算部
43の出力で除算する部分である。この演算は、1つの
切出し領域に対する1つの標準パターン間の演算でただ
1回行われ、その出力は正規相関値に対応した相関値C
i ((25)式)に相当する。
【0056】相関結果バンク63,63,‥‥は、標準
パターンの種類i(P個)毎に独立したメモリバンクで
あって、1つのバンク63の中に入力画像の画素数とほ
ぼ同数の数値を記憶することができ、これらのバンク
は、除算部45の出力を、その演算が行われた標準パタ
ーン及び切出した領域に対応する番地に格納するように
なっている。
【0057】制御用CPU62は、画像入力の切出し、
標準パターンiの指定、相関結果バンクのバンク選択を
すると共に、相関結果バンク63内に記憶された情報の
読出しを行う。
【0058】次に、上述した装置の動作を説明する。画
像入力部31から入力された画像はA/D変換され、画
像切出し部32の作用により、制御用CPU62から指
定された位置(領域)が切出される。切出された画像情
報は、濃度正規化部33により平均値が0となるように
正規化される。
【0059】制御用CPU62は標準パターンの種類i
を指定し、これによって指定を受けた固有ベクトル重み
情報メモリ39は、固有ベクトル重み情報pijを出力す
る。
【0060】次いで、濃度正規化部33の出力と共通パ
ターン情報メモリ34に記憶された共通パターン情報 との内積が、共通パターン相関要素計算部35で演算さ
れる。この演算によって前記(25)式の分子第1項で
ある が算出されることになるが、これは、1つの切出し領域
についてただ1回行われればよく、したがって1つの切
出し領域毎にN回の乗算が行われる。
【0061】他方、濃度正規化部33の出力は、固有ベ
クトル相関要素計算部37において の算出に使用される。その演算は、1つの切出し領域に
対する1つの固有ベクトル情報毎にN回行われるので、
1つの切出し領域毎に全種類の固有ベクトルについて演
算すると、NK回演算が行われることになる。ただし、
この演算は、パターン突合せをする標準パターンの種類
に拘らずただ1回行えばよいものである。
【0062】次に、パターン依存相関要素計算部38を
通してΣ計算が行われ、前記(25)式の分子第2項が
計算される。ここで、パターン依存相関要素計算部38
は、制御用CPU62により指定された標準パターンを
処理する毎に計算を行う。したがって、1つの切出し領
域に対する全標準パターンの突合せ計算のためにKP回
の演算が行われることになる。
【0063】一方 計算部41は、正規化された切出し領域情報のノルム を計算する。この結果と、制御用CPU62から指定さ
れた標準パターンの種類iに対応して メモリ42から引出された 値とが乗算され(43)、相関値Ci の分母項の演算が
行われる。
【0064】次に、これら分子及び分母の値が除算され
(45)、この結果は、指定された標準パターンの種類
i及び制御用CPU62から指定を受けた切出し位置に
対応する相関結果バンク63の番地に記憶される。
【0065】次に、制御用CPU62によって相関結果
バンク63内が走査され、標準パターン毎にピーク値が
検出される。この結果、最も高いピーク値があった番地
に対応する切出し位置に、当該標準パターンに登録され
た物品が検出されたことになる。
【0066】上述の実施例においては、全標準パターン
と1つの切出し位置との間で行われる乗算回数は、共通
パターン相関要素計算部35でN回、固有ベクトル相関
要素計算部37でNK回、パターン依存相関要素計算部
38でPK回、そして 計算部41でN回となり、全体で約N(K+2)+PK
回の演算が行われることが分かる。
【0067】実験により、一般の部品を認識するには、
標準パターンとして同一の物品を約4度ずつ回転させた
ものを用意すれば、満足できる結果が得られることが分
かっている。この条件の下では、P=90,K=10,
N=10000となる。
【0068】この条件では、従来の例によれば、全乗算
回数が約(P+1)N回であるから約90万回の演算が
行われることになる。これに対し上述の実施例によれ
ば、全乗算回数は、約N(K+2)+PK回であること
から約10万回となり、ほぼ1/9に減少する。これよ
り、本発明によれば、飛躍的な高速化を期待できること
が理解できる。
【0069】以上の実施例の説明では、標準パターンと
して1つの物品を登録した場合を示したが、図4に示す
ような物品の一部50を登録しても差支えない。図5に
示す如く1つの物品51を撮像し、これに図4の標準パ
ターンを突合せた場合、制御用CPU62は、切出し位
置53を順次走査する指示を出すことになるが、相関値
を手掛かりとしてコーナー部分52でピーク値が検出さ
れるので、その位置検出は可能である。
【0070】図6は、本発明装置を利用した組立てシス
テムの例を示す概略図である。例示したシステムは、プ
リント基板上に部品をマウントする装置である。プリン
ト基板71は、部品を搭載するためのワーク(加工品)
であって、ベルトコンベア72上を搬送される。ベルト
コンベア72は、プリント基板71を運ぶための搬送装
置であって、部品をマウントする位置で基板71を停
止、固定できるように出来ている。
【0071】マウント治具73は、ロボット等の移送装
置の作用端にチャックを具備したもので、部品の移送、
供給をするものである。CCDカメラ74は、撮像装置
であって図3の画像入力部31へ信号を供給する情報源
となる。この例では、これにより、プリント基板71上
の部品をマウントすべき位置を検出するための画像信号
を入力する。
【0072】部品トレイ75は、プリント基板71上に
マウントする部品を載置するもので、マウント治具73
により部品を取出せる位置に配置される。マウント治具
コントローラ77は、マウント治具の制御及び本発明の
画像認識装置の認識開始を制御する制御部であって、ロ
ボット・チャック等を全体的に制御する。
【0073】画像認識装置76は、本発明に係る認識部
であって、CCDカメラ74により撮像したプリント基
板71の画像情報から部品供給部分の位置と向きを決定
し、マウント治具コントローラ77にその情報を伝達す
る。モニタ78は、画像認識装置76の制御用CPU6
2の状態や撮像結果などを表示するための表示装置であ
る。
【0074】次に、本システムの動作について説明す
る。プリント基板がベルトコンベアによって搬送され、
所定のマウント位置に到着すると、CCDカメラによっ
て撮像され、そのプリント基板の画像情報から部品供給
部分の位置と向きが決定される。この結果をマウント治
具コントローラ77に伝達すると、マウント治具コント
ローラはマウント治具を制御して所定の部品トレイから
必要な部品を取出し、先に決定された部品供給位置にこ
れを移送、供給し、組立て作業が実行される。
【0075】必要があれば、標準パターンを入れ換え、
即ち、図3の共通パターン情報(34)、固有ベクトル
情報(36)、固有ベクトル重み情報(39)、パター
ン距離情報(42)を入れ換えることにより、他の部品
についての処理をすることも可能である。
【0076】
【発明の効果】以上説明したとおり、本発明によれば、
現実に撮像された物品の回転角が用意された標準パター
ンの1つと同一でないときでも、相関値の低下が顕著と
ならず、認識率が向上する。また、複数の標準パターン
において同一の演算をする共通部分を抽出し、かかる演
算を1つの切出し領域の演算において共通に利用するの
で、認識率低下を招くことなく飛躍的な高速化が可能で
ある。
【図面の簡単な説明】
【図1】相関演算に基く従来装置の例を示す概略図であ
る。
【図2】相関演算の従来例を示す説明図である。
【図3】本発明の実施例を示すブロック図である。
【図4】本発明に適用可能な標準パターンの例を示す図
である。
【図5】図4の標準パターンを用いる場合の入力画像の
例を示す図である。
【図6】本発明装置を利用した組立てシステムの例を示
す概略図である。
【符号の説明】
31 画像入力部 32 画像切出し部 33 濃度正規化部 34 共通パターン情報記憶部(メモリ) 35 共通パターン相関要素計算部 36 固有ベクトル情報記憶部(メモリ) 37 固有ベクトル相関要素計算部 38,40 パターン依存相関要素計算部 39 固有ベクトル重み情報記憶部(メモリ) 44 相関分子値加算部 41 切出し領域ノルム計算部 42 標準パターンノルム記憶部(メモリ) 43 相関分母値乗算部 45 除算部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H05K 13/04 M

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 平面画像から複数の標準パターンを検出
    する画像認識装置であって、 上記標準パターンについてK−L展開された共通項cを
    記憶する共通パターン情報記憶部と、 上記標準パターンについてK−L展開され、予め決めら
    れた数の独立の固有ベクトルを記憶する固有ベクトル情
    報記憶部と、 上記各標準パターン毎に、上記固有ベクトルに対応する
    係数を記憶する固有ベクトル重み情報記憶部と、 処理されるべき画像の一部領域を切出す画像切出し部
    と、 上記画像切出し部によって切出された領域の画素情報の
    平均濃度を各画素情報から減算する濃度正規化部と、 上記濃度正規化部より得られる正規化された切出し領域
    の情報と、上記共通パターン情報記憶部に記憶された共
    通パターン情報との内積を演算する共通パターン相関要
    素計算部と、 上記濃度正規化部より得られる正規化された切出し領域
    の情報と、上記固有ベクトル情報記憶部に記憶された固
    有ベクトル情報との内積を演算する固有ベクトル相関要
    素計算部と、 上記固有ベクトル相関要素計算部より得られる固有ベク
    トル相関要素と、上記固有ベクトル重み情報記憶部に記
    憶された係数とを乗算して加算するパターン依存相関要
    素計算部と、 上記共通パターン相関要素計算部により得られる共通パ
    ターン相関要素と、上記パターン依存相関要素計算部に
    より得られるパターン依存相関要素とを加算する相関分
    子値加算部と、 上記正規化された切出し領域の情報のノルムを計算する
    切出し領域ノルム計算部と、 正規化された標準パターンのノルムを記憶する標準パタ
    ーンノルム記憶部と、 上記切出し領域ノルム計算部より得られる切出し領域の
    ノルムと、上記標準パターンノルム記憶部より得られる
    標準パターンのノルムとを乗算する相関分母値乗算部
    と、 上記相関分子値加算部より得られる相関分子値を上記相
    関分母値乗算部より得られる相関分母値で除算する除算
    部とを具えた画像認識装置。
JP21185395A 1994-08-25 1995-08-21 画像認識装置および画像認識方法 Expired - Fee Related JP3724014B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US29597494A 1994-08-25 1994-08-25
US295974 1994-08-25

Publications (2)

Publication Number Publication Date
JPH08212353A true JPH08212353A (ja) 1996-08-20
JP3724014B2 JP3724014B2 (ja) 2005-12-07

Family

ID=23140030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21185395A Expired - Fee Related JP3724014B2 (ja) 1994-08-25 1995-08-21 画像認識装置および画像認識方法

Country Status (5)

Country Link
US (1) US5790702A (ja)
EP (1) EP0698857B1 (ja)
JP (1) JP3724014B2 (ja)
KR (1) KR100329098B1 (ja)
DE (1) DE69529319T2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003323622A (ja) * 2002-02-27 2003-11-14 Nec Corp 画像認識システム及びその認識方法並びにプログラム
JP2005149515A (ja) * 2003-11-19 2005-06-09 Samsung Electronics Co Ltd 赤外線を用いた人間識別装置およびその方法
JP2006301811A (ja) * 2005-04-18 2006-11-02 Matsushita Electric Works Ltd 画像処理装置及び画像処理方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3166905B2 (ja) * 1997-07-02 2001-05-14 インターナショナル・ビジネス・マシーンズ・コーポレ−ション パターンマッチングによる画像処理方法およびシステム
IL123858A (en) * 1998-03-27 2003-05-29 Iscar Ltd Drilling head
US6526165B1 (en) * 1998-11-30 2003-02-25 Cognex Corporation Methods and apparatuses for refining a geometric description of an object having a plurality of extensions
US6243494B1 (en) * 1998-12-18 2001-06-05 University Of Washington Template matching in 3 dimensions using correlative auto-predictive search
WO2000046736A1 (en) * 1999-02-05 2000-08-10 Yoav Smith Similarity measurement method for the classification of medical images into predetermined categories
US6477275B1 (en) * 1999-06-16 2002-11-05 Coreco Imaging, Inc. Systems and methods for locating a pattern in an image
US6377206B1 (en) * 2000-04-06 2002-04-23 Lockheed Martin Corporation Method for clutter rejection in digital imagery
US7058221B1 (en) * 2000-07-07 2006-06-06 Tani Electronics Industry Co., Ltd. Method of recognizing object based on pattern matching and medium for recording computer program having same
DE10045360A1 (de) * 2000-09-14 2002-03-28 Giesecke & Devrient Gmbh Verfahren zur Klassifizierung von Dokumenten
US7142718B2 (en) * 2002-10-28 2006-11-28 Lee Shih-Jong J Fast pattern searching
US6943724B1 (en) 2002-10-30 2005-09-13 Lockheed Martin Corporation Identification and tracking of moving objects in detected synthetic aperture imagery
US6864828B1 (en) 2003-02-18 2005-03-08 Lockheed Martin Corporation Method and apparatus for collection and processing of interferometric synthetic aperture radar data
US7480785B2 (en) * 2003-05-23 2009-01-20 Nippon Telegraph And Telephone Corporation Parallel processing device and parallel processing method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6273391A (ja) * 1985-09-27 1987-04-04 Toshiba Corp パタ−ン認識学習装置
US5090418A (en) * 1990-11-09 1992-02-25 Del Mar Avionics Method and apparatus for screening electrocardiographic (ECG) data
WO1992008405A1 (en) * 1990-11-19 1992-05-29 Olympus Optical Co., Ltd. Device for processing image of endoscope and method thereof
EP0504027A3 (en) * 1991-03-15 1993-04-21 Centro De Neurociencias De Cuba Method and system for three-dimensional tomography of activity and connectivity of brain and heart electromagnetic waves generators
US5283837A (en) * 1991-08-27 1994-02-01 Picker International, Inc. Accurate estimation of surface normals in 3-D data sets
US5432864A (en) * 1992-10-05 1995-07-11 Daozheng Lu Identification card verification system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003323622A (ja) * 2002-02-27 2003-11-14 Nec Corp 画像認識システム及びその認識方法並びにプログラム
US7532745B2 (en) 2002-02-27 2009-05-12 Nec Corporation Image recognition system and recognition method thereof, and program
US8027522B2 (en) 2002-02-27 2011-09-27 Nec Corporation Image recognition system and recognition method thereof and program
JP2005149515A (ja) * 2003-11-19 2005-06-09 Samsung Electronics Co Ltd 赤外線を用いた人間識別装置およびその方法
JP4679121B2 (ja) * 2003-11-19 2011-04-27 三星電子株式会社 赤外線を用いた人間識別装置およびその方法
JP2006301811A (ja) * 2005-04-18 2006-11-02 Matsushita Electric Works Ltd 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP0698857A2 (en) 1996-02-28
DE69529319T2 (de) 2003-10-16
EP0698857A3 (en) 1996-11-20
US5790702A (en) 1998-08-04
EP0698857B1 (en) 2003-01-08
KR960009591A (ko) 1996-03-22
DE69529319D1 (de) 2003-02-13
KR100329098B1 (ko) 2002-08-08
JP3724014B2 (ja) 2005-12-07

Similar Documents

Publication Publication Date Title
JPH08212353A (ja) 画像認識装置
US7660465B2 (en) Pattern recognition apparatus and method
JP3834297B2 (ja) 画像処理装置
US8401342B2 (en) System and method to match images using topologically equivalent correspondences
US6278798B1 (en) Image object recognition system and method
US8498488B2 (en) Method and apparatus to determine robot location using omni-directional image
WO2006002299A2 (en) Method and apparatus for recognizing 3-d objects
JPH0355869B2 (ja)
Rothwell et al. E cient Model Library Access by Projectively Invariant Indexing Functions,"
US20100296736A1 (en) Image search apparatus and method thereof
CN110287936B (zh) 图像检测方法、装置、设备及存储介质
US4573197A (en) Method for automatic recognition of two-dimensional shapes
US20020146155A1 (en) Method of correlation of images in biometric applications
US7095893B2 (en) System and method for determining an image decimation range for use in a machine vision system
WO2015035462A1 (en) Point feature based 2d-3d registration
US7113652B2 (en) System and method for using normalized gray scale pattern find
CN109255801A (zh) 视频中三维物体边缘追踪的方法、装置、设备及存储介质
WO2002029712A2 (en) System and method for pattern identification
US7978914B2 (en) Image processing system
EP0356727A2 (en) Symmetrie-based target position measurement
CN111179342A (zh) 物体位姿的估计方法、装置、存储介质和机器人
JP2002140706A (ja) 画像識別装置および画像データ処理装置
KR20080018785A (ko) 객체 인식 장치 및 방법
CN111583317B (zh) 图像对齐方法、装置及终端设备
CN109345573B (zh) 一种位置信息确定方法、电子设备和计算机存储介质

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050912

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080930

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090930

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100930

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100930

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110930

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110930

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120930

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120930

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130930

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees