JPH03127185A - ポイントパターンマッチング方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【産業上の利用分野１ 本発明は、ある物理量を表現した複数個のデータからな
る２つのグループ間における、個々のデータ間の最適な
対応付けを可能とする照合方法、特に、物体の自動認識
のために、画像内から得られた複数個の特徴点座標と予
め定めであるモデルの特徴点座標の対応付けを可能とす
る照合方法に関するものである。 【従来の技術】 生産工場のオートメーション化において、パターン認識
技術は重要なものである。これまで、これらの技術を用
いた、製品や部品の位置決め装置やパターン外観検査装
置等が数多く開発されている。しかしながら、これらの
技術は、製品や部品の形状の同一性や照明等の周囲の雰
囲気の不変性をうまく利用することで、単純な認識機能
を高速に実現することを目的としたものであった。例え
ば、半導体素子の組立て（ワイヤボンディング）におけ
る素子の位置決めでは、電極部形状に対応したテンプレ
ートパターンを予めＲＤしておき、得られた半導体素子
の外観パターン画像の中から電極部のパターンをテンプ
レートパターンとのパターンマツチングで検出している
。しかし、この方法では、素子の種類や電極の形状が異
なる場合はテンプレートを変更しないかぎり、認識でき
ない。この例のように、従来の認識技術はやや柔軟性に
かけるものであった。そこで、最近、より柔軟な認識を
目指したモデル規範型の画像理解技術が研究されつつあ
る。このモデル規範型の画像理解では、ＰＩＭ単にいえ
ば、物体の形状や見え方等に関する一般的な知識を予め
計算機にもたせ、画像処理を行う際、処理結果とこれら
の知識の比較照合によるフィードバックを行なう点に特
徴がある。 このようにすることで、姿勢や見え方が異なっている物
体に対しても、適応的な画像処理が可能となる。 この画像理解技術における基本的な問題に対応付は問題
がある。この問題の一例として、知識として予め記憶し
であるモデル特徴点群ｑｉ（ｉ＝１、ｎ）と、画像処理
で求まった画像内の特徴点群ｐｉ　（ｉ＝＝１．ｎ）と
の対応付けがある。この対応付は問題は、画像内の物体
の有無や姿勢を決定を行う際、重要な問題である。これ
らの特徴点には、通常、物体の外形の特徴的な位置、た
とえば、外形線上の曲率がＯや最大、最小位置等が選ば
れる。例えば、第１０図に示した例の照合を人間が行う
場合には、モデル特徴点群（○）の空間的分布、通常、
これは人間の物に対する一般的な形状的知識として持っ
ているものであるが、それと入力特徴点群（・）の空間
的分布を無意識に比較照合して、最適な対応付けを行い
、その物体の部分の意味を把握する。一方、計算機で実
現する場合にも、特徴点群間には姿勢の違いによる角度
方向のズレや物体までの距離の違いに選る全体的な大き
さのズレがあるため、特徴点群の全体的な空間的分布を
比較評価する機構が必要となる。すなわち、計算機にと
って画像処理で得られた物体の特徴点の一連の座標群は
順不同な位置データにすぎないため、ある座標とモデル
特徴点座標群のどれとが対応するかを他の座標の対応を
評価しながら決定していく必要がある。最も、単純な方
法としては、すべての特徴点間の対応を機械的にとって
みる方法である。そして、各特徴点間の組合せにおける
対応誤差を計算し、最も誤差の小さい組合せを正解とす
るものである。しかしながら、この方法では、対応組合
せ数がｎ！となるため、電子計算機を用いても相当に計
算時間のかかるものである。何故なら、特徴点数ｎが１
，２，３゜４．５，６，７，８，９，１０，１１，１２
．・・・・・・・・・・・・・・・の場合、組合せ数ｎ
！は１，２，６゜２４．１２０，７２０，５０４０，４
０３２０゜３６２８８０．３６２８８００゜ ３９９１６８０００．４７９００２００００．・・・・
・・・・・・・・・・・となり、このｎ！の数に対応誤
差計算時間をかけたものが必要な処理時間となるためで
ある。例えば、対応誤差計算時間が１ｍｓとしても、特
徴点個数が高々１２個の場合でも ４７９００２００００ｍｓ−１３３１時間もかかってし
まう。そのため、従来、この種の対応問題では、最適な
対応は累積対応誤差が一定値以下であるべきだという仮
定を設定し、その値以上に誤差が大きくなった場合には
、そこで照合を打ち切るということで照合回数を減らし
てきた。この従来例については、電子情報通信学会春季
大会（１９８９）Ｄ−５６７，１点パターンマツチング
アルゴリズムを用いた重なりあった物体の認識において
論じられている。

【発明が解決しようとする課Ｍ】

以上説明した従来方法では、対応誤差の大小にかかわら
ず、すべての組合せの中で最も良い対応付けを求めたい
場合には、対処できない。何故なら、ある許容累積対応
誤差を定めても、入力されるｖＩ、織物体の形状によっ
ては、最も良い対応付けの誤差自体がその値を超える場
合が存在する可能性があるためである。さらに１問題に
よっては許容累積対応誤差を推測できない場合もある。 本発明の目的は、ｎｆの組合せによる対応誤差計算を行
うことなく、しかも、最も良い対応付けが可能な方法を
提供することにある。特に、物体の自動認識のために１
画像内から得られた複数個の特徴点群と予め定めである
モデルの特徴点群の対応付けを可能とする照合方法を提
供することにある。

【課題を解決するための手段】

上記目的を達成するために１本発明では次のような特徴
を持つホップフィールド型ネットワークを用いる。２つ
の点集合、すなわち、モデル特徴点ｑｉ（ｉ＝１．ｎ）
と物体の境界線の特徴点ＰＪＦ＝１．ｎ）を考える０次
に、モデル特徴点ｑ１と各入力特徴点ｑａの対応線上に
ニューロンＮ　Ｉ　Ｊを配置する。もちろん、これは現
実にニューロンを作って結線するというのではなく、あ
くまでも概念上の話である。そして、ニューロンＮｉｊ
の出力ｖｉ−はＯから１の値をもち、Ｏの場合は″特徴
点ｑ１とｑｉは対応しない″、１の場合は“特徴点ｑ１
と（ＩＪが対応する”と解釈する。このとき、ニューラ
ルネットワークの総合エネルギーＥを、各モデル特徴点
ｑｉが入力特徴点ＰＪと一対一対応したときに最小値を
もつように定めたエネルギー と、入力特徴点群Ｐ　Ｊ　＝　（Ｘ　Ｊ　ｅ　Ｙ　Ｊ　
）をモデル特徴点群ｑ　１　”　（Ｘ　１１　ｙｌ　）
のアフィン変換（平行移動２回転）と微小変動を受けた
ものであると考えたとき、最適対応時に最小二乗の意味
で対応誤差が最小となるように定めたエネルギーＥ２＝
に３ΣΣＶｉｊ”　［（ＸＪ　　（ａｘｔ＋ｂｙ＋＋ｃ
））”＋　（Ｙｎ　　（Ａｘｔ＋Ｂｙ亀＋Ｃ））”］の
和とする。ただし、変換係数ａ、ｂ、Ｑ、Ａ。 Ｂ、Ｃは次式を満足するものとする。に工、に２゜Ｋ３
．ｍは適切に定めた正の定数である。この第２のエネル
ギーが本発明特徴の１つである。 以上のようにネットワークのエネルギーＥを定義し、こ
のエネルギーが最小、すなわち、ＥｌとＥ２がともに最
小となるようなＶ　ｉ　Ｊの組を求めれば、それが最適
組合せ解となることは明らかである。 さて、エネルギーＥを最小とするようなＶ　ｓ　Ｊの組
を得るためにニューロンＮｓ−の出力Ｖ　Ｉ　Ｊを時間
ｔの関数と考え１次のような力学系を解くようにする。 なお、Ｕ、はニューロンへの入力である。 ｄ　ｕ　ＩＪ／　ｄ　ｔ　＝−ａ　Ｅ／δＶ　ｔ　Ｊた
だし、ＶｓＪ＝１／（１＋ｅｘｐ　（ｕｔａ））Ｅ＝Ｅ
工＋Ｅ２

【作用１ 前述の力学系のエネルギーＥは時間とともに減少するこ
とが数学的に証明できる。したがって。 適当な初期条件の元で、この力学系をコーシー・オイラ
ー法を用いて解いていき、平衡点に達したときのＶｉｊ
の組を解と考える。すなわち、上式を差分化して、 Ｖ＋ａ（ｔ＋Δｔ）　＝Ｖｓｊ（ｔ） Ａｔ・Ｖｉｊ（ｔ）（Ｉ　　Ｖｉｊ（ｔ））”　ａＥ／
ａＶｔＪとして、数値計算で各Ｖｉｊの収束値を求める
ようにする。そして、各ｖＩＪの収束値が１であるｉと
ｊを求めれば、特徴点間の対応が決められる。さらに、
各Ｖ　ｉ　Ｊが収束するのに必要な繰返し回数。 すなわち、ｔの更新回数は、実験の結果、特徴点個数ｎ
に比例することが判明した。これは、本ニューラルネッ
トの局所並列演算による効果であると考えられる。した
がって、ｎｆに比例する処理時間が必要な従来方法に比
べて、格段に処理時間の低減が図れることになる。 【実施例Ｉ 以下、本発明の実施例を図面に基づいて詳細に説明する
。ここでは、生産工場等における製品の自動選別に物体
認識装置を適用し、自動化を実現した例を用いて説明す
る。工場における生産ラインでは、同種ではあるが若干
形状が異なる製品がベルトコンベア等の搬送機構で搬送
され、それらを必要に応じて選別する工程が存在する０
選別機構としてロボットハンドを用いる場合、製品の予
め定められた強度的に問題のない特定の部位を認識し、
そこをつかむ必要がある。一方、搬送機構上の各製品は
姿勢が異なっているし、形状自身も他干異なっている。 従って、その様な条件下でも正確に製品の部位を特定で
きる高度な認識機能を有した物体認識システムが必要と
なる。 第１図に、物体認識システムの全体構成を示す。 以降に説明するように、この構成で前述の高度な認識を
実現できる。 まず、このシステムでの概略の処理過程を説明する。形
状や姿勢がやや異なる製品１，２等（図では、玩具の飛
行機ｌ、２）は、搬送機構３により搬送される。そして
、各製品が特定位置Ａに達すると搬送が一端停止し、製
品の静止画像がＴＶカメラ４により捕らえられ、その画
像データは画像処理装置５に送られる１画像処理装置５
では、製品の画像データから製品の外形の凹凸を表現し
た特徴点座標群が抽出され、それらのデータは照合装置
６に送られる。照合装置６では、これらの特徴点座標群
とモデル特徴点座標群とが照合される。このモデル特徴
点座標群は、正規の大きさで正規の姿勢の典型的な製品
の外形形状の凹凸を表現したものである。また、このモ
デル特徴点には、それぞれの特徴点の名称やその特徴点
付近をロボットハンド７がつかむとき必要とされる各種
データ、例えば、その特徴点の一般的高さ、強度等が付
随して登録されている。当然、入力された製品の各特徴
点座標はそのときの製品種類や姿勢でモデル特徴点座標
とは異なっている。照合装置６では、モデル特徴点座標
の空間的配置と入力特徴点座標の空間的配置を比較し、
それぞれの特徴点の最適な対応を求める。そして、予め
指定しであるロボットハンド７がつかむべき“名称”を
もつモデル特徴点をさがし、それに対応した入力特徴点
座標とそのモデル特徴点に付随した各種データをロボッ
トハンド制御装置８に送る。ロボットハンド制御装置８
では、これらのデータと及びＴＶカメラ４．搬送機構３
．ロボットハンド７との相対位置関係を元にして製品の
つかむべき“名称”の３次元座標を計算した後、その部
位をつかみ、製品を所定の場所に移動させる。そして、
搬送機構が再び稼働し次の製品の選別過程に入る。 本物体認識システムの特徴の一つは、同種製品の一般的
知識がモデル特徴点座標とそれに付随したデータとして
格納されている点にある。もし。 全く異なる種類の製品群を認識する場合には、この知識
のみを変更すれば良い０次に、本システムの主要部分で
ある画像処理装置５と照合装置６に関して説明する。 第２図に画像処理装置５の具体的構成を示す。 まず、ＴＶカメラ４からのアナログ画像信号は、コンパ
レータで構成された２値化回路９によって２値ディジタ
ル画像データに変換される。そして、この画像データは
２値画像メモリ１０に格納される。次に、計算ユニット
（ＡＬＵ）１１でのソフトウェア処理により、この２値
画像から製品の輪郭線が抽出され、その輪郭線の凹凸状
態の特徴に対応した特徴点座標が計算される。このソフ
トウェア処理の具体的な手順を第３図に示す。 第１ステツプでは、製品の輪郭画素の座標を抽出する。 なお、ここでは画像データ内に製品に対応した値１をも
ったかたまりが１つあり、他の部分の画像データは０で
あるものとする。第４図に示したように１画像の上のラ
スタから下に向かって、値１の画素を探す。その画素を
起点Ｂとする。 この起点から、境界に沿ってトレースすることで境界画
素の座標列を求める。このトレース方法に関しては、″
ディジタル画像処理″（長尾真監訳。 近代科学社）第９章ディジタル幾何学、境界追跡に詳し
く述べられている。第２ステツプでは、各境界座標列（
Ｘ、Ｙ）を起点Ｂからの境界線上の距離ｄを媒介変数と
した次のような表現に変換する。 Ｘ＝ｆ　　（ｄ） Ｙ＝ｇ　　（ｄ） 第３ステツプでは、これらの関数に次のようなガウスフ
ィルタを作用される。 （３） （４） ここで、Ｓはガウスフィルタの標準偏差値である。 このようなフィルタを作用させることで、元の境界線か
ら微小なノイズ的な凹凸を消去し、大局的な形状のみで
構成された境界を求めることができる。第５図に得られ
た境界線を示す。第４ステツプでは、この外形境界線の
次の式を満足する特徴点ｐ處（ｉ＝１．ｎ）を求める。 （Ｆ′ａ′−Ｆ′ａ’　）　／　（Ｆ′”＋ａ”　）　
　＝Ｏ（５）この点は幾何学的には境界線の変曲線を意
味する。 このようにして求めた特徴点座標群は、第２図の特徴点
格納メモリ１゛２に蓄えられる。なお、入力特徴点群Ｐ
Ｊの座標（ＸＪ、　ＹＪ）とモデル特徴点群ｑ１の座標
（Ｘｔｙ　ｙｓ）は、以下に説明する照合が座標の絶対
的な大きさに影響されないように次のように正規化され
ているものとする。 ｘｂａｒ＝（１／ｎ）Σｘｔ’　　　　　　　ｙｂａｒ
＝（１／ｎ）Σｙ　ｉ　／ｘ、ｒ　＝Ｘｔ’　−ｘｂａ
ｒ　　　　　　　ｙｉ’　”ｙｉ’　−ｙｂａｒｘｍａ
ｘ＝ｍａ貢（ｘｔ’　）　　　　　　　ｙｍａｘ＝ｍａ
ｘ（ｙｉ’　）ｘｙｍａｘ＝＋ｓａｘ　（ｘｍａｘ　、
ｙｍａｘ）ｘｍｉｎ＝ｍｉｎ（ｘｔ’　　）　　　　　
　　　　　　　　ｙｍｉｎ＝ｍｉｎ（ｙｉ’ｘｙｍｉｎ
＝ｍｉｎ（ｘｎ＋ｉｎ、ｙｍｉｎ）ｘｔ：＝（ｘｔ　　
−ｘｙｍｉｎ）／（ｘｙｍａｘ−ｘｙｉｉｎ）ｙｚ＝（
ｙｉ’　−ｘ）ｎ＋ｉｎ）／（ｘｙｎ＋ａｘ−ｘｙｍｉ
ｎ）） ｘｂａｒ＝（ｌ／ｎ）ΣＸ、’　　　　　　Ｙｂａｒ＝
（１／ｎ）ΣＹ、／Ｘｔ’　：Ｌ’　−Ｘｂａｒ　　　
　　　　Ｙ、’　＝Ｙ＋’　−ＹｂａｒＸｔ”（Ｘｓ’
　−ｘｙ＋＋ｉｎ）／（ｘｙｍａｘ−ｘｙｍｉｎ）Ｙｔ
＝（Ｙｔ’　−ｘｙｍｉｎ）／（ｘｙｍａｘ−ｘｙｎ＋
ｉｎ）なお、（ＸＪ’　−ＹＪ’　）と（Ｘｒ　　ｓ　
ｙ、／　）はそれぞれの元座標とする。 第６図（ａ）に照合装置６の具体的構成例を示す、この
回路の目的は、先に説明した画像処理装置５で求められ
た特徴点格納メモリ１２内の製品境界形状の特徴点座標
群と予め定めているモデル特徴点座標群とを照合し、製
品の特徴点の意味を知ることである。そのために、モデ
ル特徴点座標群を格納しであるモデル特徴点格納メモリ
１３と照合を実行するニューラルネットワーク１４とか
らなっている。制御ユニット（ＣＰＵ）１５は、ニュー
ラルネットワークによって得られた特徴点間の対応結果
情報と予め定められているロボットハンドがつかむべき
部位名情報１６を用いて、特徴点格納メモリからは指定
部位の実際の座標値。 モデル特徴点格納メモリからは指定部位に対応したモデ
ル特徴点座標に付随して格納されている各種データを選
択する。これらのデータは、第ヰ図のロボットハンド制
御装置８に送られる。なお、第６図（ｂ）は、モデル特
徴点格納メモリ内の具体的なテーブル構成例を示したも
のである。 ここでは、本照合装置の主機能を果たすニューラルネッ
トワーク１４の原理とその実現のため回路構成例を説明
する。まず、第７図を用いて、モデル特徴点ｑｉ（ｉ＝
ｌ、ｎ）と入力境界線の特徴点ｐｊ　（ｊ＝Ｌ　ｎ）の
照合方法を説明する。 この照合では、ホップフィールド型ネットワークを用い
る。第７図にニューロンの配置の仕方を示す。すなわち
、モデル特徴点ｑｉと各入力特徴点（ＩＪの対応線上に
ニューロンＮ１Ｊを配置する。もちろん、これは現実に
ニューロンを作って結線するというのではなく、あくま
でも概念上の話である。そして、ニューロンＮｉｊの出
力Ｖ　ｔ　ＪはＯから１の値をもち、Ｏの場合は″特徴
点ｑｉとｑ−は対応しない”　ｌの場合は“特徴点ｑ１
とｑｉが対応する″と解釈する。このとき、ニューラル
ネットワークの総合エネルギーＥを、各モデル特徴点ｑ
ｉが入力特徴点ＰＪと一対一対応したときに最小値をも
つように定めたエネルギー と、入力特徴点群ｐ　ａ　＝　（Ｘ　Ｊ　Ｐ　Ｙ　Ｊ）
をモデル特徴点群ｑｉ　’：：　（Ｘ　ｔ　ｔ　Ｖ　＋
　）のアフィン変換（平行移動２回転）と微小変動を受
けたものであると考えたとき、最適対応時に最小二乗の
意味で対応誤差が最小となるように定めたエネルギーＥ
、＝に、ΣΣＶｉｊ”　　［（ＸＪ　　　（ａｘｔ＋ｂ
ｙｉ＋ｃ））”＋　（ＹＪ　　（Ａｘｔ＋Ｂｙｉ十Ｇ）
）”］　　　　（７）の和とする。ただし、変換係数ａ
、ｂ、Ｑ、Ａ。 Ｂ、Ｃは次式を満足するものとする。Ｋ、、に、。 Ｋ３．ｍは適切に定めた正の定数である。この第２のエ
ネルギーが本発明特徴の１つである。 （ソノ 以上のようにネットワークのエネルギーＥを定義し、こ
のエネルギーが最小、すなわち、Ｅ工とＥ２がともに最
小となるようなＶ　ｉ　Ｊの組を求めれば、それが最適
組合せ解となる。このとき、（８）（９）式でのｖｉ、
はＯまたは１の値をもつので、（８）（９）式は明らか
に通常での最小二乗法での係数解法と同等なものとなる
。 さて、エネルギーＥを最小とするようなＶｉＪの組を得
るために、公知のように、ホップフィールド型ネットワ
ークではニューロンＮｉｊの出力Ｖ　ｔ　Ｊを時間ｔの
関数と考え、次のような力学系を解くようにする。なお
、ｕＩＪはニューロンへの入力である。 ｄ　ｕ１７／ｄ　ｔ　＝−δＥ　／　ａ　Ｖ　ｉＪただ
し、Ｖｗ＝１／（１＋ｅｘｐ　（ｕｉＪ））　　　　（
１１）Ｅ＝Ｅ、＋Ｅ。 ところで、 ｄＥ／ｄｔ＝ＸΣａＥ／ａＶｓａ・ｄＶｉＪ／ｄ　ｔで
あり。 さらに（１１） 式から、 ｄＶ＋Ｊ／ｄ　ｔ＝　　Ｖｉｊ　（Ｉ　　Ｖｉｊ）　’
　ａＥ／δＶ　Ｉ　Ｊ（１２） となるので、 ｄＥ／ｄｔ＝−ＥΣＶｔｊ（１−ＶｔＪ）’（ａＥ／δ
Ｖｔａ）２≦Ｏ よって、（１１）式で定義された力学系のエネルギーＥ
は時間とともに減少することが分かる。そこで、この力
学系を公知のコーシー・オイラー法を用いて解いていき
、平衡点に達したときのＶｉｊの組を解と考える。すな
わち、（１２）式を差分化して、 Ｖｔａ（ｔ＋Δｔ）　：ＶｉＪ（ｔ） −Ａｔ　−Ｖｔａ（ｔ）（ＩＶｔｊ　（ｔ））・　ａＥ
／ａＶｔａ　　　　　（１３）として、数値計算で各ｖ
ｉＪの収束値を求めるようにする。 第８図にニューラルネットワークのこの繰返し計算を具
体化する回路例を示す。この回路は。 ｎ２個のニューロンの出力ｖｌＪの収束値を求めるため
の回路ユニット群からなる。回内、点線で囲んだ部分が
１つの回路ユニットにあたる、以降、この回路ユニット
の構成例を中心に説明する。レジスタ１７と１８は、そ
れぞれ、（１３）式の右辺第１項に対応するニューロン
の出力ＶＩ−の値と右辺第２項に対応するニューロンの
出力Ｖｉｊの変化分ΔＶｔａ＝　　Ａｔ−Ｖｉａ（１−
Ｖｔｊ）”ａＥ／ａＶｔｊの値を格納するためのもので
ある。これらの値は加算器１９で加算されて、（１３）
式の左辺に対応する次のＶ　ｔ　ｉが求められる。この
Ｖ　Ｉ　Ｊは、あるタイミングで再度レジスタ１７に書
き込まれる。 一方、各回路ユニットで計算されたＶ、は、まず。 計算ユニット（マトリクス計算用ＡＬＵ）２０に入力さ
れる。この計算ユニットでは、これらのＶ　ｔ　ａ　、
および、モデル特徴格納メモリ（第６図（ａ）、１３）
内のモデル特徴座標（Ｘｔｙｙｉ）（ｉ＝１．ｎ）と特
徴点格納メモリ内の入力特徴点座標（ｘｊ、Ｙａ）（ｊ
＝１＋　ｎ）を用いて、（８）（９）式のマトリクス計
算がマイクロプログラムによって実行され、係数ａ、ｂ
、ｃ、Ａ。 Ｂ、Ｃが求められる６回路ユニット内の各計算ユニット
（ΔｖｉＪ計算用ＡＬＵ）２１では、これらの係数Ｖ　
ｉ　ａから、Ｖｉｊに対する変化分Ａ　ｖ目＝−Δｔ−
Ｖａａ（１−ＶｔＪ）　・ａ　Ｅ／　ａ　Ｖｔａがマイ
クロプログラムにより計算され、その結果が再度レジス
タ１８に書き込まれる。なお、計算ユニット２１の起動
は、計算ユニット２０の計算処理が完全に終了した時、
また、レジスタ１７゜１８にっぎのＶ、および変化分Δ
ｖｉＪを書き込むタイミングは、計算ユニット２１の計
算処理が完全に終了した時とする。これらのタイミング
はタイミング発生回路２２で統括的に行われる。一方、
制御ユニット（第６図（ａ）、１５）は、すべての回路
ユニットのレジスタ１７の値、すなわち、すべてのｖｌ
Ｊが１またはＯに収束したかを繰返し計算時ごとにチエ
ツクする。そして、すべてのＶ　ｉ　ａが収束した後、
Ｖｉｊ＝１を満足する（ｉ、ｊ）の組を求めれば特徴点
間の対応付けが完了する。 次に、予め定められているロボットハンドがつかむべき
部位名情報（第６図（ａ）、１６）をもったモデル特徴
格納メモリ（第６図（ａ）　、１３）内のモデル特徴点
座標ｑＩに対応した特徴点格納メモリ内の入力特徴点座
ｓＰＪと、モデル特徴座標に付随している各種データを
、ロボットハンド制御装置（第１図、８）に送る。なお
、この制御ユニット（第６図（ａ）、１５）は、Ｖｉｊ
とΔＶ　Ｉ　Ｊの初期値をレジスタ１７と１８に設定し
、計算ユニット２１で使われる定数Δｔ、に、、に２゜
Ｋ３を繰返し計算前に計算ユニット２１に設定する役目
ももっている。なお、以上の説明では、定まったΔＶ　
Ｉ　Ｊの初期値の場合で繰返し計算を一回行い、対応を
求める例を挙げたが、ΔＶ　ｊＪの初期値を変えた繰返
し計算を幾通りか行い、収束時に最も小さいＥ２（（７
）式）をもつ場合での対応を正解とするようにしても良
い。 次に、ニューラルネットワーク１４のもう１つの回路構
成方法を説明する。この回路はアナログ回路である。こ
の回路の一般的な構成方法は、ｒニューロ・コンピユー
テイングの基礎理論」（（社）日本工業技術振興協会、
ニューロ・コンビュータ研究部会、第４回講習会）等で
公知であるこの文献には、ネットワークのエネルギーＥ
がニューロンの出力Ｖｉｊに関して多重−次形式である
場合には、アナログ・ニューロネットワーク回路を構成
できることを示しである。しかし、この回路の特性上で
最も重要な各ニューロン間の結合係数に対応する各抵抗
値や電流値の値に関しては、それぞれの目的ごとに最適
に決めておく必要がある。そこで、ここでは本発明の目
的に最も適したニューロン結合係数の決め方を中心に説
明する。 特に、本発明の場合、認識すべき製品の入力特徴点座標
群ごとにモデル特徴点座標との関係でニューロン結合係
数を変更させる点に特徴がある。 アナログ・ニューラルネットワーク回路の場合、ネット
ワークの力学系は（１工）式と同様に次のように定義さ
れる。 ｄ　　ａｔａ／ｄ　　ｊ＝＝　　　ａＥ／δＶｉｊただ
し、Ｖｚｊ＝σ（ｕｉＪ）＝１／（１＋ｅｘｐ（Ｌｌｌ
Ｊ））　　　（１４）Ｅ＝Ｅ、十Ｅ２ そして、総エネルギーＥを次のような多重−次形式で表
されているとする。 ただし、τは正の定数 ＷＩＪＩＪ＝　Ｏ＊　　ＷｎＪｈ處：Ｗｋ五目前の説明
と同様にｄＥ／ｄｔ≦０を証明できるので（１４）式を
解いていけば、エネルギーＥを最小にする解を求めるこ
とができる。第９図に（１４）式を解くための回路例を
示す。この回路は、ｎ２個のニューロンの出力Ｖ、の収
束値を求めるための回路ユニット群からなる。回内、点
線で囲んだ部分が１つの回路ユニットにあたる。以降、
この回路ユニットの構成例を中心に説明する。 この回路ユニットは、入力ｕＬＪに対して出力Ｖ　ｉ　
Ｊ（＝σ（ｕ、ｊ）　　を作る増＠器２３、各ニューロ
ンを結合するための可変抵抗群Ｒ０目、可変抵抗ｒ、と
コンデンサＣ１および、制御ユニット１６（第６図（ｂ
））がＶ　Ｉ　Ｊの値を読み取るためのＡ／Ｄ変換器２
５とレジスタ２６からなる。なお、各回路ユニットには
他回路ユニットからの電流の他に一定電流り−が結合係
数決定回路２４から供給されている。このとき、回路ユ
ニット内のＤ点で電流に関するキルヒホッフの法則を適
用すると次式が成立する。 ＩｒＪ十ΣΣ　（Ｖｂ亀　　ｕｔＪ）　　／Ｒｔａｈｍ
＝Ｃ（ｄ　　ｕｔＪ／ｄ　　ｔ）　　＋ｕｔａ／　ｒｔ
Ｊ　　　　　　　　　（１６）上式を変形すると、 ｄｕｉＪ／ｄｔ＝　　（１，／ＣＸＩ／ｒ＊ａ＋ΣΣ（
１／　ＲｉＪ＋ｔｆｆｉ））　ｕ　ｔＪ＋ΣΣＶｈｔ／
　（ＣＲｔｊｋｍ）＋　Ｉ　ＩＪ／Ｃ（１７） 一方、 （１４） 式に （１５）式を代入すると、 ｄ　ｕｔ　Ｊ／　ｄ　ｔ＝　　ｕ　ｔ　ｊ／　ｘ＋ΣΣ
ＷｔＪｈｔｖｋｔ＋Ｖ＋ａ（１８） したがって。 （１／Ｃ）（１／　ｒｔａ＋ΣΣ（１／ＲｔＪｋｍ））
＝　１／　ｔ　　（−；ズｉニイ直）１／（ＣＲ＋Ｊｓ
＋Ｊ＝ｗ’＋Ｊｈｍ ＩＩＪ／Ｃ：Ｖｉｊ　　　　　　　　　　　　　　　　
　　　　（１９）を満足するようにｒｉＪ＃ＲｉＪｋ＊
、■目を決めれば、前述の力学系を解くためのニューラ
ルネットワークの各回路ユニットを具体化できる。 次に、本発明の照合でのエネルギーＥ　（＝Ｅ１＋Ｅ２
）が近似的に（１５）式のような多重−次形式で表現で
きることを示す。 （８）式と（９）式を係数ａ、ｂ、ｃ、Ａ、Ｂ。 Ｃに関して解くと次式のようになる。 ａ＝ΣΣａｔＪＶｔＪ ｂ＝ΣΣｂ　Ｉ　Ｊ　Ｖ　Ｉ　Ｊ Ｂ＝ΣΣＢ口Ｖ　Ｉ　Ｊ ａｔａ＝（Ｄａｌ／Ｄ）Ｘａｘ五　（Ｄａ、／Ｄ）ＸＪ
ｙｉ＋（Ｄａａ／Ｄ）ＸＪｂｔ１＝（Ｄｂｔ／Ｄ）ＸＪ
ｘｔ−（Ｄｂ２／Ｄ）ＸＪｙｉ＋（Ｄｂ、／Ｄ）Ｘ。 ｃｔａ＝（Ｄｃ、／Ｄ）Ｘｊｘｔ　　（ＤＣ２／Ｄ）Ｘ
Ｊｙｉ＋（Ｄｃ３／Ｄ）Ｘ−ＡｔＪ＝（Ｄａｔ／Ｄ）Ｙ
Ｊｘｔ　　（Ｄａｚ／Ｄ）ＹＪｙ１＋（Ｄａ、／Ｄ）Ｙ
ＪＢｔＪ＝（Ｄｋ／Ｄ）Ｙｊｘｔ−（Ｄｂ、／Ｄ）Ｙａ
ｙｉ＋（Ｄｂ、／Ｄ）ＹＪＣｉＪ＝（Ｄ（ｑ／Ｄ）ＹＪ
Ｘｔ　　（ＤＣ４／Ｄ）Ｙａｙｉ＋（Ｄｅｘ／Ｄ）Ｙａ
これらの式を （７） 式の第一項と第二項に代入し 整理すると次式のようになる。 ただし、ｅｋｔｉ＝　ａ　ｔｋｔｘｒ＋　ｂｍｍｙ　＊
＋　ｃｈ處Ｅｈｍｔ＝ＡｔｈｍＸｉ＋Ｂｋｍｙｉ＋Ｃｈ
ｍ（２１）式を、さらに、式の特徴を変えない。 すなわち、最小値をもつ解を変求ないように変形すると
１次式のようになる。 ＝） ＸＪ”＋ΣΣ（ｅｋｍｔ　　２Ｌｅｈａｔ）Ｖｉａ＋（
２１：ΣＥｂｍｔｖｋａ）” ＝） Ｙａ”＋）：Ｘ：（Ｅｈｔｔ　　　　２ＹＪＥｈｔｔ）
Ｖｂｍただし、 δｍｍｐｑ＝１　　：　　１（＝ｐ ｎｄ Ｑ＝ｑ ＝０：その他 これらの式を （７） 式に代入し、 さらに、 式の 特徴を変えないように変形すると、 （７） 式は次 のような多重−次形式に変換される。 δｕＪｈ＊ＹＪ！＋Ｅｉｖｕ　　２ＹＪＥｈｍｔ）Ｖｋ
ｍ十同様にして、 （６） 式を多重−次形式に変換す ると次のようになる。 Ｅ、＝に□（Ｘ：Ｘ：ΣΣδｈｐ（１−δｔｑ）Ｖｋｍ
Ｖｐｑｉ（１／ｎ”　　２ｍ／ｎ）ΣΣＶｋａ＋ｍ”）
（２３） ただし、δｈｐ＝１：に＝ｐ 二〇二その他 したがって、（２２）（２３）式を加算して総エネルギ
ーＥを求めると次式となる。 Ｅ＝（１／２）ΣΣΣΣαに處ｐＶ目■門＋ΣΣβｋｌ
Ｖｋ１＋γ（２４） ただし。 αｈｍｐｑ＝２Ｋｔ（δｋｐ（１−δＮ）＋δ、（ｌ−
δｈｐ））＋２に−（（１／ｎ”）（１−δｈｍｐｑ）
）＋２に、（（１−δｈａｐｑ）ＺΣ（ｅｈａｔ　ｅｐ
ｑｉ＋ＥｋｔｔＥｐｑｉ））βｈａ　＝に、（（１／ｎ
”）　２ｍ／ｎ）＋に３（ΣΣ（δｔＪｂａＬ”＋ｅｈ
ｔｉ　　２Ｘａｅｋｍ＊δｌｊｋ處ＹＪ”＋Ｅｈｍｉ　
　２ＹＪＥｂ０））γ　　＝に２ｍ２ （２５〉 なお、γは正定数であり、エネルギーＥが最小となる解
を求める場合には影響しないので、省くことができる。 また、（２４）式の係数α□□は明らかにαｋｌｋ鬼＝
Ｏ２αｋｔｐｑ　＝αＰｑｋ配となり〜（１５）式のＷ
ｉＪｈｍの条件を満足する。さらに、（１５）式の第３
項はτを大きくすれば省くことができる。したがって、
（２４）式は（１５）式と全く同様な多重−成形式とな
る。すなわち、（１７Ｃ）（１／　ｒ　ｌＪ＋ΣΣ（１
／ＲｔＪｂｔ））＝１／　τ（τ：おおきな一定値） １／（ＣＲｗｋｍ）＝αＩＪｋ直 Ｉ＊ｊ／Ｃ＝βＩノ （２６） を満足するように、第９図の各抵抗値や電流値を決めれ
ば、本発明における照合に適合したアナログ・ニューラ
ルネットワークを実現できる。係数α１．□とβ１７は
、（２５）式から分かるようにモデル特徴点座標と入力
特徴点座標の関数で表現される。したがって、これらの
係数で表されている各抵抗値や電流値は、異なる入力特
徴点座標では変更する必要がある。そこで、第９図の結
合係数決定回路２４を設け、ここで（２５）（２６）式
に基づき、異なるモデル特徴点座標と入力特徴点座標に
対応した各抵抗値や電流値をもとめ、各回路ユニットに
設定するようにする。また、第９図には各回路ユニット
のｕｌＪの初期電位を設定するための電源およびスイッ
チ回路２７を設けである。 これらの初期電位も結合係数決定回路２４により設定さ
れる。このようにすれば、アナログ・ニューラルネット
ワーク１４を用いた照合装置６を確実に具体化できる。 なお、各回路ユニットのｕｓａの初期電位を変えた繰返
し計算を幾通りか行い。 収束時に最も小さいＥ、（（２２）式）をもつ場合での
対応を正解とするようにしても良い。 第１０図に、以上説明した照合装置６で照合した、特徴
点間の対応結果の例を幾つか示す。各側とも、左のモデ
ル特徴点（０）と入力特徴点（・）とが最小二乗の意味
で最適に対応付けられている。 また、第１１図は、第８図のニユーラルネツトワーりを
使用したときの特徴点個数ｎと対応付けに要する繰返し
回数（ｔの更新回数）の関係を示したものである。特徴
点個数ｎに比例した結果となり、ｎ！に比例した処理時
間の必要な従来方法より、格段の処理スピードアップが
期待できる。 以上の説明では、入力特徴点群がモデル特徴点群に対し
て最も一般的なアフィン変換と微小変動１１゜ を受けたものであるとしてきたが、（７）式の関数ａ、
ｂ、ｃ、Ａ、Ｂ、Ｃの間に一定の関係がある変換、例え
ば、変換後も直交性が保持される変換やｘｉ、ｙｌに関
して非線形な変換の場合に対しても本発明と同様な方法
で解決できる。例えば、前者の場合は、エネルギーＥ２
を Ｅ、＝に３ΣΣＶｉｊ″［（ＸＪ−（ａｘｔ＋ｂｙｉ＋
ｃ））”＋（ＹＪ　　（ｂ　ｘｔ＋ａ　ｙｉ＋ｃ））２
］と定義すれば良い。この場合、変換係数ａ、ｂ。 ｃ、Ｃは次式を満足するものとなる。この式は、■、が
１また０に収束した場合、その組合せでの最小二乗法の
解法と一致する。 後者の非線形変換の場合も、 エネルギーＥ２を ＋（ＹＪＦ（ｘｔ＊　ｙｉ　；Ａ＋　Ｂｅ　Ｃ））”］
とすれば良い。ただし、非線形変換関数ｆ　（ｘｔ。 ｙ　ｌ；ａ　　、　　ｔ）＋Ｑ）　　と　Ｆ　　（ｘｔ
ｔ　　’／ｓ　　；　　Ａｔ　　Ｂｅ　　Ｃ）は、それ
ぞれ、係数ａ　＋　ｂ　ＨＱ　ｔ　ＡＨＢ　＋　Ｃに関
しては一次式とする。この場合、（８）（９）式に対応
した式を最小二乗法に基づいて作ることができる。 さらに、本実施例では２次元座標の特徴点間の対応付け
に関して説明したが、それ以上のに次元座標空間での特
徴点間の対応付けにも容易に拡張できる。この場合には
、エネルギーＥ２をとする。ただし、（ｘＪｉｔ　Ｘ７
２．　ＸＪｌ、・・・、Ｘａｈ）と（Ｘ　ｔ　ｚ　ｔ　
Ｘ　ｔ　ｚ　＊　Ｘ均、・・・、Ｘ□）は入力特徴点座
標とモデル特徴点座標を、ａ工ｓｒ　ａ１２＠　ａ工。 Ｈａｋｋｓおよび＊　ＣＬ９Ｃｒｙ　Ｃ３１”・ＨＱｈ
はアフィン変換係数を意味する。また、変換係数は次式
を満足するものとする。 ただし、上式においてｐは１からＫまでの値をとるので
、計に個の式となる。当然、Ｋ＝２の場合は、表記をＸ
ｔ＝Ｘｔｔｗ　ｙｉ＝Ｘ（２，Ｘａ＝Ｘａ１ｔＹａ”　
Ｘａａｔ　ａｚｘ＝　ａ　ｔ　ａｉｉ”　ｂ　ｔ　Ｃ１
＝　Ｑ　ｖａ２Ｌ＝Ａ、ａ、、：＝Ｂ、ｃ、＝Ｃとすれ
ば、二次元の場合の（８）（９）式に一致する。 また、本実施例ではモデル特徴点個数ｎと入力特徴点個
数ｎを同じ場合に関して説明したが、異なる個数の場合
、例えば、入力特徴点個数Ｎ（≠ｎ）の場合には、本実
施例で挙げたｊに関するΣの上限値をｎからＮに変更す
れば良い。 【発明の効果】 以上説明した様に、本発明によれば、ｎ個の特徴点間の
対応に関して、ｎ！の組合せによる対応誤差計算を行な
うことなく、ｎに比例する計ｎ、量で最も良い対応付け
を求めることができる。その結果、物体の自動認識に必
要な、画像内から得られた複数個の特徴点群と予め定め
であるモデルの特徴点群の対応付けのための高速照合が
可能となる。

【図面の簡単な説明】

第１図は、本発明を用いた物体認識システムの全体構成
を示した図、第２図は１画像処理装［５の具体的構成を
示す図、第３図は、特徴点を抽出するためのソフトウェ
ア処理の各ステップを説明するための図、第４，５図は
、製品の画像例と得られた特徴点を示した図、第６図（
ａ）は、照合装置６の具体的構成を示した図、第６図（
ｂ）はモデル特徴点格納メモリ内の具体的なテーブル構
成例を示した図、第７図は、照合する特徴点群とニュー
ロンの配置の仕方を示した図、第８図は、ニューラルネ
ットワークの繰返し計算を具体化する回路を示した図、
第９図は、ニューラルネットワークの繰返し計算を具体
化する他の回路を示した図、第１０図は、特徴点間の対
応結果の例を示した図、第１１図は、特徴点個数ｎと対
応付けに要する繰返し回数の関係を示した図である。 符号の説明 １．２・・・製品、３・・・搬送機構、４・・・ＴＶカ
メラ５・・・画像処理装置、６・・・照合装置、７・・
・ロボットハンド、８・・・ロボットハンド制御装置、
９・・・２値化回路、１０・・・２値画像メモリ、１１
・・・ＡＬＵ。 １２・・・特徴点格納メモリ、１３・・・モデル特徴点
格納メモリ、１４・・・ニューラルネットワーク、１５
・・・ＣＰＵ、１６・・・部位名情報、１７　＝　１８
−Ｖｔａ、ΔＶ　ｔ　Ｊ格納用レジスタ、１９・・・加
算器、２０・・・マトリクス計算用ＡＬＵ、２１・・・
ΔＶ　ｉ　ｍ計算用ＡＬＵ、２２・・・タイミング発生
回路、２３・・・増幅器、２４・・・結合係数決定回路
、２５・・・Ａ／Ｄ変換器、２６・・・レジスタ。 名６図 第７図 某 ／１ 図 牛↑　グ文く５．！、　　ｆ同　４Ｓ【：第２図

Claims (1)

1. 【特許請求の範囲】 １、あるＫ次元空間内のｎ個の点集合ｐ＿ｊ（座標（Ｘ
   ＿ｊ＿１、Ｘ＿ｊ＿２、Ｘ＿ｊ＿３、・・・、Ｘ＿ｊ＿
   ｋ）、ｊ＝１、ｎ）と他のＫ次元空間内のｎ個の点集合
   ｑ＿ｉ（座標（ｘ＿ｉ＿１、ｘ＿ｉ＿２、ｘ＿ｉ＿３、
   ・・・、ｘ＿ｉ＿ｋ）、ｉ＝１、ｎ）を、それぞれの空
   間内の点同志の位置関係を参照して一対一対応させる方
   法において、ニューロンＮ＿ｉ＿ｊの出力Ｖ＿ｉ＿ｊ（
   ０≦Ｖ＿ｉ＿ｊ≦１、１≦ｉ≦ｎ、１≦ｊ≦ｎ）を点ｐ
   ＿ｊと点ｑ＿ｉの対応度合い（Ｖ＿ｉ＿ｊ＝１のときｐ
   ＿ｊとｑ＿ｉが対応、Ｖ＿１＿ｊ＝０のときｐ＿ｊとｑ
   ＿ｉは対応しないとする）とし、各ｐ＿ｊとｑ＿ｉが一
   対一対応したときに最小値をもつように定めたエネルギ
   ーＥ＿１と、次のような最小二乗の意味で対応誤差を最
   小化するためのエネルギーＥ＿２ ▲数式、化学式、表等があります▼ ただし、アフィン変換係数ａ＿１＿１、ａ＿１＿２、ａ
   ＿１＿３、・・・、ａ＿ｋ＿ｋ、および、ｃ＿１、ｃ＿
   ２、ｃ＿３、・・・、ｃ＿ｋは次のようなＫ個の式（ｐ
   ＝１、Ｋ）を満足するものとする。 ▲数式、化学式、表等があります▼ ▲数式、化学式、表等があります▼ の線形結合を総合エネルギーＥとする第１の特徴、総合
   エネルギーＥを最小とするＶ＿ｉ＿ｊを求めるためにホ
   ップフィールド型ネットワークを用いることを第２の特
   徴、求めたＶ＿ｉ＿ｊの値を用いてｐ＿ｊとｑ＿ｉの対
   応を求める第３の特徴、を有するポイントパターンマッ
   チング方法。 ２、ある２次元空間内のｎ個の点集合ｐ＿ｊ（座標（Ｘ
   ＿ｊ、Ｙ＿ｊ）、ｊ＝１、ｎ）と他の２次元空間内のｎ
   個の点集合ｑ＿ｉ（座標（ｘ＿ｉ、ｙ＿ｉ）、ｉ＝１、
   ｎ）を、それぞれの空間内の点同志の位置関係を参照し
   てｐ＿ｊとｑ＿ｉを一対一対応させる方法において、ニ
   ューロンＮ＿ｉ＿ｊの出力Ｖ＿ｉ＿ｊ（０≦Ｖ＿ｉ＿ｊ
   ≦１、１≦ｉ≦ｎ、１≦ｊ≦ｎ）を点ｐ＿ｊと点ｑ＿ｉ
   の対応度合い（Ｖ＿ｉ＿ｊ＝１のときｐ＿ｊとｑ＿ｉが
   対応、Ｖ＿ｉ＿ｊ＝０のときｐ＿ｊとｑ＿ｉは対応しな
   いとする）とし、各ｐ＿ｊとｑ＿ｉが一対一対応したと
   きに最小値をもつように定めたエネルギーＥ＿１と、次
   のような最小二乗の意味で対応誤差を最小化するための
   エネルギーＥ＿２ ▲数式、化学式、表等があります▼ ただし、変換係数ａ、ｂ、ｃ、Ａ、Ｂ、Ｃは次式を満足
   するものとする。 ▲数式、化学式、表等があります▼ ▲数式、化学式、表等があります▼ の線形結合を総合エネルギーＥとする第１の特徴、総合
   エネルギーＥを最小とするＶ＿ｉ＿ｊを求めるためにホ
   ップフィールド型ネットワークを用いることを第２の特
   徴、求めたＶ＿ｉ＿ｊの値を用いてｐ＿ｊとｑ＿ｉの対
   応を求める第３の特徴、を有するポイントパターンマッ
   チング方法。 ３、画像内の対象物の各部位を画像処理にて認識する物
   体認識装置において、画像内の対象物から特徴点ｑ＿ｉ
   （座標（ｘ＿ｉ、ｙ＿ｉ）、ｉ＝１、ｎ）を抽出する第
   １の手段と、対象物に対応した理想モデルの特徴点ｐ＿
   ｊ（座標（Ｘ＿ｊ、Ｙ＿ｊ）、ｊ＝１、ｎ）及びその点
   の名称等の属性データ群を予め記憶しておく第２の手段
   と、 ニューロンＮ＿ｉ＿ｊの出力Ｖ＿ｉ＿ｊ（０≦Ｖ＿ｉ＿
   ｊ≦１、１≦ｉ≦ｎ、１≦ｊ≦ｎ）を点ｐ＿ｊと点ｑ＿
   ｉの対応度合い（Ｖ＿ｉ＿ｊ＝１のとき ｐ＿ｊとｑ＿ｉが対応、Ｖ＿ｉ＿ｊ＝０のときｐ＿ｊと
   ｑ＿ｉは対応しないとする）とし、各ｐ＿ｊとｑ＿ｉが
   一対一対応したときに最小値をもつように定めたエネル
   ギーＥ＿１と、次のような最小二乗の意味で対応誤差を
   最小化するためのエネルギーＥ＿２ ▲数式、化学式、表等があります▼ ただし、変換係数ａ、ｂ、ｃ、Ａ、Ｂ、Ｃは次式を満足
   するものとする。 ▲数式、化学式、表等があります▼ ▲数式、化学式、表等があります▼ の線形結合を総合エネルギーＥとし、その総合エネルギ
   ーＥを最小とするＶ＿ｉ＿ｊを求めるためにホップフィ
   ールド型ネットワークを用い、求めたＶ＿ｉ＿ｊの値を
   用いてｐ＿ｊとｑ＿ｉの対応を求める第３の手段、ｐ＿
   ｊとｑ＿ｉの対応結果から、対象物の各特徴点の名称等
   の属性データ群を求める第４の手段を有することを特徴
   とする物体認識装置。