JP3360469B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ロボットや産業機械
の位置制御および検査などに用いる画像処理装置に関す
るものである。

【０００２】

【従来の技術】図１９は、日刊工業新聞社１９８５年６
月１５日発行の、手塚慶一ら著の『ディジタル画像処
理』第１０７頁に記載された画像中の特定の対象物を検
出するテンプレートマッチング手法を説明するための
図、図２０は同文献の記載内容をもとに作成した同手法
の画像処理フローチャートである。以下、従来の画像処
理方法をこれらの図をもとに説明する。原画像の画素数
をＭ×Ｎ、テンプレートの画素数をＫ×Ｌとし、原画像
の左上端画素位置を原画像原点として、原画像上におけ
るテンプレートの原点位置を原画像の各画素の座標を用
いて（ｍ，ｎ）で表す。なお、テンプレート原点はテン
プレートの左上端の画素位置にあるものとし、原画像上
で探索すべきテンプレートは予め画像として格納されて
いるものとする。画像処理装置がステップ２００１（以
下「ステップ」を「ＳＴ」と略記する）で起動するとＳ
Ｔ２００２において原画像をカメラ等の入力装置から入
力し、メモリに格納する。次いで、ＳＴ２００３でテン
プレートの初期位置を設定する。なお、初期位置は原画
像原点におくものとする。ここで、整合度の最大値を保
持する変数Ｓ_max を初期化し−１とおく。ＳＴ２００４
においてテンプレートを原画像上の座標（ｍ，ｎ）にお
き、整合度Ｓ(m,n) を以下の定義に基づいて求める。

【０００３】

【数１】

【０００４】ここで、ｆ(i,j) は原画像上の座標（ｉ，
ｊ）における画素のもつ値、ｔ(i,j) はテンプレート上
の座標（ｉ，ｊ）における画素のもつ値である。ＳＴ２
００５において整合度ＳをＳ_max と比較し、ＳＴ２００
６で整合度ＳがＳ_max より大きければＳ_max を更新する
とともに、そのときの座標（ｍ，ｎ）を（ｍ₀，ｎ₀）と
して保存する。続いてＳＴ２００７で変数（ｍ，ｎ）を
変えテンプレートを原画像上の別の位置に移動させる。
ＳＴ２００８では（ｍ，ｎ）がテンプレートが原画像上
で動き得るすべての点を取尽くしたかどうかを判断し、
もし取尽くしていなければ新しく指定した（ｍ，ｎ）に
ついて再び整合度を求めるＳＴ２００４からの処理を繰
返し実行する。ＳＴ２００９で原画像上のすべての点で
整合度Ｓ(m,n) を求めたことをもって処理を終了する。
処理の終了後に、変数（ｍ₀，ｎ₀）に格納されているの
は、最大の整合度をもつ原画像上の位置となる。これは
テンプレートともっともよく整合する位置を原画像上で
探索したことに相当し、所望の出力が得られたことにな
る。ここで、テンプレートは入力画像より小さく、した
がって整合度関数Ｓ（ｍ，ｎ）の取り得る範囲は、以下
のようになる。 ｛（ｍ，ｎ）｜０＜ｍ＜Ｍ−Ｋ＋１，０＜ｎ＜Ｎ−Ｌ＋１｝ 式２

【０００５】他の画像処理方法として、特開平６−４６
６９号公報に記載の撮像された画像から対象物のモデル
パターンを探索するパターンマッチング装置を図２１お
よび図２２を用いて説明する。まず、モデルパターンの
各構成画素のデータを、近傍の画素を用いて２次微分す
る。次に、得られた微分信号を絶対値化する。さらに、
予め設定した閾値を用いて、絶対値微分信号を閾値処理
し、閾値以上の信号を取り出す。この信号に相当する画
素だけを、パターンマッチングの対象画素として選択す
る。以上説明した動作で、画像信号から生成される各々
の信号の様子を図２１に、また、画像としてモデルパタ
ーンから得られたマッチングに用いられる画素を図２２
に示している。

【０００６】

【発明が解決しようとする課題】上記した第１の文献に
記載された画像処理装置では、テンプレート画像内全画
素を整合度演算に用いるので、テンプレート画像や入力
画像のサイズが大きい場合は探索空間が大きくなり、演
算時間が大きくなるという問題点があった。また、第２
の文献に記載された方法では、対象物の輪郭近傍画素の
みをマッチングに用いることになるが、輪郭の不明確な
対象物、または輪郭近傍画素数の少ないモデルデータ
（テンプレート）は適用できない、あるいはまた２次微
分結果を２値化する時の閾値の決定が難しいという問題
があった。また、多段階テンプレートマッチングを行う
場合に、縮退の比率を自動的に決めることができないと
いう問題があった。

【０００７】さらにまた、テンプレート画像のすべての
画素を処理に用いるため、テンプレートを登録した画像
処理装置を運用するにあたって、テンプレートがどのく
らい適正なものかの判断が困難であり、処理結果を改善
させるための示唆が得られにくいという問題点があっ
た。

【０００８】

【課題を解決するための手段】上記の課題を解決するた
めになされたもので、請求項１に係る発明は、テンプレ
ート生成のもとになる任意のＮ個の画素よりなる原テン
プレート画像を格納する原テンプレート画像格納手段
と、テンプレートの好ましい特性を記述した特性データ
ベース（以下、「データベース」を「Ｄ／Ｂ」と略記す
る）と、原テンプレート画像から予め設定した１＜ｎ＜
Ｎなる整数ｎ個の画素よりなるテンプレート構成要素を
複数個順次発生しテンプレート候補とするテンプレート
構成要素抽出手段と、テンプレート候補のテンプレート
としての良好度を特性Ｄ／Ｂに記述された内容にしたが
って算出し、前記良好度が最大となる前記テンプレート
候補を選択するテンプレート構成要素選択手段と、前記
テンプレート構成要素選択手段で選択したテンプレート
候補を格納するテンプレート格納手段とを設けたもので
ある。

【０００９】

【００１０】請求項２に係る発明は、請求項１に係る発
明の解決手段におけるテンプレート構成要素抽出手段と
して特徴的画素選択手段を設けたものである。

【００１１】

【００１２】請求項３に係る発明は、請求項１の発明に
おける解決手段に加えて、自動生成されたテンプレート
の良好度合いを報知する手段を設けたものである。

【００１３】

【００１４】

【００１５】

【作用】請求項１に係る発明では、原テンプレート画像
格納手段に、テンプレートのもとになる画像が格納さ
れ、この格納画像からテンプレートを構成するにふさわ
しいと判断される複数の画素からなるテンプレート構成
要素が、テンプレート構成要素抽出手段によって複数個
抽出される。また、テンプレート構成要素選択手段にお
いて、好ましいテンプレートの特性を記述した特性Ｄ／
Ｂに記述された内容を基にして、テンプレートとしての
良好度を算出し、良好度が最大となるテンプレート構成
要素を選択し、採用すると判断した複数の構成要素の集
合として、テンプレート画素群を出力するように作用す
る。

【００１６】

【００１７】請求項２に係る発明では、原テンプレート
画像格納手段に、テンプレートのもとになる画像が格納
され、テンプレート構成要素抽出手段としての特徴的画
素選択手段によって、前記原テンプレート画像格納手段
の内容から予め設定した規則にしたがって、特徴的画素
だけが抽出されるように作用する。また、テンプレート
構成要素選択手段において、好ましいテンプレートの特
性を記述した特性Ｄ／Ｂに記述された内容を基にして、
テンプレートとしての良好度を算出し、良好度が最大と
なるテンプレート構成要素を選択し、採用すると判断し
た複数の構成要素の集合として、テンプレート画素群が
出力されるように採用する。

【００１８】

【００１９】請求項３に係る発明では、請求項１に係る
発明の作用の結果得られたテンプレートの良好度合いを
表示するように作用する。

【００２０】

【００２１】

【００２２】

【実施例】

実施例１．以下、この発明の第１の実施例を、図を用い
て説明する。図１は、この実施例における画像処理装置
（以下、本装置と呼ぶ）の構成を示すブロック図、図２
は本装置の動作を示すフローチャートである。以下この
フローチャートにそって本装置の動作を説明する。本装
置の動作は、認識したい対象物に関するテンプレートを
生成するテンプレート生成部と、生成されたテンプレー
トを用いて入力画像から対象物を探索する探索処理部の
２つの部分からなる。図２のフローチャートはこれら２
つの処理を同時に記述している。ＳＴ２０１で本装置を
起動すると、ＳＴ２０２でテンプレートを生成するため
の原テンプレート画像を入力する。これは、例えば装置
の運用にあたって実際にテンプレート抽出のためのサン
プル画像を確認しながら対象物を囲む矩形領域を指定
し、部分画像を切出すことに相当する。このようにして
得た原テンプレート画像を原テンプレート格納手段１０
１に格納する。次に、ＳＴ２０３で、格納した原テンプ
レート画像から、テンプレート構成要素抽出手段１０２
により、テンプレート構成要素を抽出する。

【００２３】原テンプレートの構成要素である画素全数
は、そのままではテンプレートとしては用いない。テン
プレート構成要素としては、もっとも簡単なものとし
て、例えば原テンプレートの画像を等間隔にサンプリン
グする方法を用いる。ＳＴ２０４で原テンプレートの構
成要素を選択してテンプレートを得る。テンプレート構
成要素選択手段１０４では、予め設定された好ましいテ
ンプレートに関するルールＤ／Ｂ１０３の内容を参照
し、原テンプレート構成画素のどの画素を選択して組合
せたらよいかを判断する。この実施例では、次のように
判断する。テンプレート構成要素抽出手段１０２で原テ
ンプレート格納手段１０１に格納されたＮ個の画素か
ら、ｎ個の画素を選択することを考える。ｎは予め与え
られた定数である。Ｎからｎを組合せる方法は、

【００２４】

【数２】

【００２５】通りある。そのすべての組合せを順次発生
させ、それぞれについて式４にしたがってテンプレート
良好動作度Ｇを求める。 Ｇ＝Ｗ₀ Ｇ_shape ＋Ｗ₁ Ｇ_value 式４ Ｗ₀ とＷ₁ は、Ｇ_shape とＧ_value の重みを決定する係
数である。Ｇ_shape は、ｎ点からなるテンプレートを、
原テンプレート上で±３画素の範囲で動かしながら自己
相関マップを生成し、そのマップの形状が急峻であれば
大きくなる値をもつ。また、Ｇ_value は同様にして生成
された自己相関マップにおいて、その絶対値に関する項
で、中心部以外の値が小さいほど大きくなる値をもつ。
ここで、自己相関マップｃ(i,j) は、式５によって求め
る。

【００２６】

【数３】

【００２７】ここで、Ｉは原テンプレート画像、ｘ(k)
，ｙ(k) はｎ個の画素からなるテンプレートである。
ｃ(i,j) は、テンプレートの原テンプレート画像に対す
る変位量ｉ，ｊとした時の自己相関値である。この時、
上記テンプレート良好度がもっとも大きいｎ点の画素を
保存しておき、すべてのｎ個の点の組合せに対して上記
良好度が最大になる点を更新させる。最終的に残った、
良好度最大のテンプレート点列をテンプレートとしてテ
ンプレート格納手段１０５に格納する。

【００２８】この実施例では、ルールＤ／Ｂ１０３に、
次のような形でルールが登録されていることになる。 ルール１（メインルール） テンプレートの良好度Ｇ_n（ｎはテンプレート画像上の
Ｎ点の部分集合）を最大化する。Ｔ_n（n∈Ｎ）を求めよ ルール２（Ｇ_n の定義） Ｇ_n ＝Ｗ₀ Ｇ_{n shape} ＋Ｗ₁ Ｇ_{n value} で与えられる ルール３（係数） Ｗ₀ ，Ｗ₁ はいずれも固定値である ルール４ （Ｇ_shape 定義）

【００２９】

【数４】

【００３０】ここで、ｉ，ｊ，ｐ，ｑは、０，±１，±
２，±３の中から（ｉ² ＋ｊ²） ＜（ｐ² ＋ｑ²）を満
たすように選ぶものとする。これは、点（ｉ，ｊ）が点
（ｐ，ｑ）より中心（０，０）に近いことを要請してお
り、Ｇ_{n shape} は、ｃ(i,j) の関数曲面が（０，０）を
中心とする単峰性をもつときに最大となることを意味し
ている。 ルール５ （Ｇ_{n value} 定義） Ｇ_{n value}＝ｃ(0,0)−ｃ_mean(i,j) ここで、−３＜ｉ，ｊ＜３（ただし、ｉ＝ｊ＝０は除
く）。ｃ_mean(i,j)はｃ(i,j)の平均値を示す。 ルール６（ｎの範囲） Ｌ₀ ＜ｎ＜Ｌ₁ となるｎをなるべく少ない値で実現す
る。Ｌ₀ ，Ｌ₁ はテンプレート画素数の下限と上限で、
Ｌ₁ ＜Ｎである。

【００３１】以上テンプレート生成部の動作について説
明した。続いて、認識処理を行う部分の動作について説
明する。ＳＴ２０５では、認識対象画像をカメラなどか
ら入力する。入力した画像は、認識対象画像格納手段１
０６に格納する。ＳＴ２０６で、類似度マップ生成手段
１０７によって、上記テンプレートと認識対象画像の類
似度が演算され、類似度マップ格納手段１０８に格納す
る。類似度はＳＴ２０７でピーク検出手段１０９により
探索し、最大ピーク位置を求める。最大ピーク位置はマ
ッチング結果を示し、ＳＴ２０８で本装置より出力す
る。

【００３２】以上説明したように、この実施例により、
原テンプレート画像の一部の画素をマッチングに用いる
のでマッチング時間が短縮できる。また、単純な間引き
操作ではなく、自己相関マップをテンプレートの良否判
定に用いることから、マッチングにふさわしい画素のみ
を効率よくテンプレートとして選択できるという効果が
ある。なお、この実施例では、テンプレート構成要素を
抽出するのに原テンプレート画素を等間隔でサンプリン
グする例を示したが、この他にも予め記憶させた単純な
パターンにしたがってサンプリングしても同様の効果を
奏する。また、この実施例では、自己相関マップのエリ
アとして±３即ち７×７の場合を示したが、このエリア
はさらに大きくとってもよい。

【００３３】また、自己相関を単に縦、横方向のずらし
操作によって生成するのではなく、微小な回転を考慮す
るようにすれば、捜索対象が回転する場合にも誤動作す
ることなく機能する良好なテンプレートを得ることがで
きる。以下そのようなテンプレートを生成するルールＤ
／Ｂについて説明する。この場合、自己相関マップは、
縦、横、回転の３次元にわたって生成される。例えば、
ｉ∈０，±１，±２，±３（画素），ｊ∈０，±１，±
２，±３（画素），ｋ＝０，±１（単位）を考慮した自
己相関マップを形成する。ここで回転の単位ｋは、例え
ば３°おきに回転した像との相関である。このような自
己相関マップｃ(i,j,k) に対しては、先に述べたルール
Ｄ／Ｂ１０３の内容を以下のように修正すればよい。 ルール４’（Ｇ_{n shape} 定義）

【００３４】

【数５】

【００３５】ここで、ｉ，ｊ，ｋ，ｐ，ｑ，ｒは、−３
＜ｉ，ｊ，ｐ，ｑ＜３および−１＜ｋ，ｒ＜１の範囲か
ら（ｉ²＋ｊ²＋ｋ²）＜（ｐ²＋ｑ²＋ｒ²）となるように
すべての場合をえらぶ。 ルール５’ Ｇ_{n value}＝ｃ(0,0,0)−ｃ_mean(i,j,k) ここで、−３＜ｉ，ｊ＜３および−１＜ｋ＜１ （ただし、ｉ＝ｊ＝ｋ＝０は除く） このようなルールを定義することにより、ルール４’に
より３次元の探索空間の中で、単峰性が保証され、ルー
ル５’により単峰性の度合いが評価され、平行ずれにも
回転にも強いテンプレート点列を選択することができ
る。

【００３６】さらに、この実施例では、テンプレートの
良好度合いを評価するのに、自己相関マップを利用する
例を示したが、原テンプレートを切出した画像とは異な
るサンプル画像を複数個用意し、それらとテンプレート
候補との相互相関マップを用いてもよい。この場合に
は、画像間のデータの分散を考慮した安定なテンプレー
トを選択することができる。

【００３７】実施例２．以下、この発明の第２の実施例
を説明する。図３は、この実施例における画像処理装置
（以下、本装置と呼ぶ）の構成を示すブロックであり、
図４は本装置の動作を示すフローチャートである。以下
これらの図にそって本装置の動作を説明する。ただし、
実施例１と同一の部分については、説明を省略する。こ
の実施例と上述の実施例１とは、実質的にテンプレート
構成要素選択手段の構成が異なるのみである。テンプレ
ート構成要素選択手段３０３は乱数発生手段３０４、テ
ンプレート候補発生手段３０５、およびテンプレート候
補評価手段３０６からなっている。

【００３８】ＳＴ４０４では、乱数発生手段３０４で乱
数を生成し、テンプレート候補発生手段３０５では乱数
発生手段３０４で生成した乱数に基づいて原テンプレー
ト構成要素Ｎ個の中からｎ個をランダムに選択し、ＳＴ
４０５で一時的に記憶領域に格納する。次に、ＳＴ４０
６でテンプレート候補評価手段３０６が、好ましいテン
プレートに関するルールＤ／Ｂ３０７に記述された内容
にしたがって、このテンプレート候補が評価される。こ
こで、具体的な評価の方法としては、第１の実施例と同
様に、自己相関に基づいた良好度を用いる。この良好度
が以前格納したものよりも大きいときは、よりよいテン
プレートが得られたとして値を更新する。

【００３９】以上説明したＳＴ４０４、ＳＴ４０５、Ｓ
Ｔ４０７を予め設定された回数だけ繰返す。一般にＮ個
からｎをとる組合せの数は、Ｎやｎが大きくなると幾何
級数的に増大するので、組合せ NＣn より十分少ない数
字に予め設定された回数だけ処理を繰返す。この結果得
られた最大良好度に相当するテンプレート点列をテンプ
レート格納手段３０８に格納して処理を終了する（ＳＴ
４０８）。

【００４０】以上説明したように、この実施例によれ
ば、テンプレート画像の一部の画素をマッチングに用い
るのでマッチング時間が短縮でき、また単純な間引き操
作ではなく、自己相関マップをテンプレートの良否判定
に用いていることから、マッチングにふさわしい画素の
みを効率よくテンプレートとして選択できるという効果
がある。しかも、テンプレート画素としてふさわしい候
補画素のすべての組合せを調べるのではなく、乱数に基
づいて生成したもののみを評価しているので、効率よく
最適なテンプレート画素組合せを見つけることができ
る。これはテンプレート画素選択の処理効率を向上させ
る効果がある。

【００４１】なお、この実施例では乱数発生手段で毎回
乱数を生成するものとしたが、多数の乱数を予めメモリ
に記憶しておき、それを用いてもよいことはいうまでも
ない。

【００４２】実施例３．この発明の第３の実施例を説明
する。図５は、この実施例における画像処理装置（以
下、本装置と呼ぶ）の構成を示すブロック図、図６は本
装置の動作を示すフローチャート、図７は特徴的画素の
定義の一例を説明するための図である。以下これらの図
にそって本装置の動作を説明する。ただし、実施例１お
よび実施例２と同一の部分については、説明を省略す
る。この実施例では、実施例２におけるテンプレート構
成要素抽出手段を特徴的画素選択手段５０２と特徴的画
素Ｄ／Ｂとで構成している。

【００４３】ＳＴ６０１、ＳＴ６０２は実施例１および
実施例２と同一である。ＳＴ６０３では、格納された原
テンプレート画像から、特徴的画素選択手段５０２によ
って特徴的画素Ｄ／Ｂ５０３を参照し、予め設定した特
徴的画素を抽出してメモリ上に格納する。特徴的画素と
は、例えば対象物の輪郭付近の画素、輪郭でない画素な
ど、画素近傍の局所的変化パターンに依存して定義した
画素などである。図７では、注目画素とその左右の画素
を比較し、濃度が大きいか小さいかによって注目画素を
分類している。ＳＴ６０４以降は実施例２と実質的に同
一である。

【００４４】以上説明したように、この実施例では実施
例２と同様な効果が得られるとともに、テンプレート選
択に際して、別途定義した特徴的画素を優先的に選択さ
せることができる。これは、例えば安定した輪郭部分の
近傍の点が探索時に有意に作用するという経験的知識を
組入れることに相当する。

【００４５】なお、この実施例では注目画素の左右の画
素のみを用いて特徴的画素を抽出したが、同様に垂直方
向の濃度変換パターンを用いてもよく、あるいは水平、
垂直両方向の濃度変化パターンを利用しても同様の効果
が得られる。同様に、左右方向に２画素ピッチ以上離れ
た近傍画素の情報から特徴的画素を抽出してもよい。さ
らに、この実施例では、濃度変化パターンによって特徴
的画素を定義したが、その他対象物の色や大きさ、画素
の絶対濃度や位置情報を利用して定義してもよい。

【００４６】さらにまた、この実施例では、特徴的画素
として輪郭近傍画素を優先的に抽出する例を示したが、
逆に近傍画素に比べて著しく濃度の高いあるいは低い画
素をノイズ的画素として削除するように動作させても同
様の効果を奏する。即ち、特徴的画素を抽出する代わり
に、特徴的画素を排除して残りの画素を抽出しても同様
の意味となる。もちろん、予めノイズ的画素を取り除い
たあとで、特徴的画素を抽出してもよい。

【００４７】また、テンプレートとなる画像が複数存在
する場合には、それらの統計的中心値を画素として用
い、個々の画像を分散の大きい画素と不安定画素として
排除してもよい。

【００４８】あるいは、運用にあたって経験的に不安定
な画素領域が知られている場合は、画面操作によりテン
プレート不適切領域（DON’T CARE領域あるいは、マス
ク領域）を設定してもよい。

【００４９】また、この実施例では、特徴的画素として
濃度パターンに関して得られる情報をもとに判断する方
法を示したが、例えば経験的に知られている知識に基づ
いて、画像上の特定の位置にある領域を優先的に抽出し
たり、逆に排除してもよい。また、同様に、画像のカラ
ー情報などの属性をもとに特徴的画素の判断をしてもよ
い。

【００５０】さらに、この実施例では、テンプレートの
もとになる画像のみから特徴的画素を判断する例を示し
たが、別途用意した特徴的画素を表現したＤ／Ｂや、優
先的にテンプレート構成画素として抽出するべき位置を
画像表現で示したものを利用して特徴的画素抽出手段と
してもよい。

【００５１】参考例１． 以下、この発明の第１の参考例を説明する。図８は、こ
の参考例における画像処理装置（以下、本装置と呼ぶ）
の構成を示すブロック図、図９は本装置の動作を示すフ
ローチャート、図１０は画像とビット列との対応関係を
説明するための図である。以下これらの図にそって本装
置の動作を説明する。ただし、上記各実施例と同一の部
分については、説明を省略する。ＳＴ９０１、ＳＴ９０
２は上記各実施例と同一である。ＳＴ９０３で、格納さ
れた原テンプレート画像から、テンプレート構成要素抽
出手段８０２により、テンプレート構成要素を抽出す
る。テンプレート構成要素としては、もっとも簡単なも
のとして、例えば画像を等間隔にサンプリングする方法
を用いる。続くＳＴ９０４では、ビット列エンコード手
段８０３によって、上記テンプレート構成画素をビット
列にエンコードする。

【００５２】図１０において、テンプレート原画像か
ら、テンプレート構成画素が抽出されたのが１００１で
ある。これを、１００２のようなビット列にエンコード
する。ビット列は、テンプレート構成要素の数に相当し
ており、ビット列の各ビットは、対応する構成画素の採
用または不採用を表現している。ここでは、例えば採用
なら値１、不採用なら値０とする。多くの特徴的画素群
をエンコードしたビット列は、ビット列群格納手段８０
５に格納する。ビット列格納手段に格納するビット列の
個数は、１００〜１０００程度である。

【００５３】ＳＴ９０５のビット列操作では、上記ビッ
ト列に対し、次のような操作を行う。まず、ビット列群
格納手段中の各々のビット列に対し、そのビット列が表
現する画素群の良好度合Ｇを定義する。例えば、実施例
２で説明したものと同様のものを用いるなら、式４によ
ればよい。変数についても実施例２の場合と同様であ
る。もちろん、自己相関マップｃ(i,j)についても式５
にしたがって求めればよい。

【００５４】エンコードされたビット列は、その良好度
が高いほど選択される可能性が高くなるように２つ選択
され、その２つから新規ビット列２つが生成される。第
１１図は、新規ビット列が生成される様子を表したもの
である。ビット列１１０１と１１０２は、上記のように
良好度が高いほど選択確率が高いような選択方法によっ
て選択された２つのビット列である。便宜上、それらを
それぞれ親Ａおよび親Ｂと呼ぶ。また、選択確率の演算
には、乱数発生手段８０９で発生した乱数を用いる。さ
らに、この実施例では、同じ長さのマスクビット列１１
０３をランダムに発生する。新規ビット列は、子Ａおよ
び子Ｂと呼ばれる。子Ａはマスクビット列１１０３が値
１をとるビットでは親Ａのビットと同じ内容、マスクビ
ット列が値０をとるビットでは親Ｂのビットと同じ内容
をもつように生成する。子Ｂは、その逆に生成する。新
規ビット列についても良好度が演算され、ビット列群格
納手段８０５に追加する。同時に、同ビット列群格納手
段中の良好度の低いビット列を記憶手段から削除する。
なお、ビット列の良好度は、ビット列良好度演算手段８
０６によって求める。

【００５５】以上説明した、ＳＴ９０５のビット列操作
を、ある規則にしたがって繰返す。この参考例では、予
め設定された一定回数だけ繰返す。ＳＴ９０６で、もし
繰返し操作を行う場合は、ＳＴ９０５を繰返し、それ以
外の場合は続いてＳＴ９０７でビット列デコード手段８
０４が、もっとも良好度の高いビット列をデコードす
る。第１０図でいえば、繰返しの過程でもっとも良好度
の高いビット列１００３がデコードされて、第１０図１
００４のような画像になる。同時に、テンプレートとし
てのデータ形式にデコードされ、テンプレート格納手段
８０７に格納し、処理を終了する（ＳＴ９０８）。

【００５６】以上説明したように、この発明により、テ
ンプレート画像の一部の画素をマッチングに用いるので
マッチング時間が短縮でき、また単純な間引き操作では
なく、自己相関マップをテンプレートの良否判定に用い
ていることから、マッチングにふさわしい画素のみを効
率よくテンプレートとして選択できるという効果があ
る。また、テンプレート画素としてふさわしい画素とし
てのテンプレート構成要素を組合せる際に、すべての組
合せを調べることをせず、乱数で発生させて得られたよ
い解の組合せとしてよりよい解を発生させることが可能
になり、よい解の探索効率が向上するという効果があ
る。

【００５７】なお、この参考例では、新規ビット列を生
成に用いる親を決定するのに、良好度の高いビット列ほ
ど選択されやすいようにしたが、例えば多少良好度が低
くても親に選ばれる可能性が十分あるように設定しても
よい。また、２つの親から２つの子を生成するのに、マ
スクビット列を利用したが、親のビット列を受け継ぐよ
うな生成の仕方であればよく、例えば２つの親ビット列
を任意の位置で分断し、それぞれの分断されたカタワレ
の組合せとして２つの子を生成しても同様の効果が得ら
れることはいうまでもない。

【００５８】なお、この参考例では、ビット列操作の繰
返しを一定回数だけ行ったが、この他にも例えばビット
列群格納手段中の最大良好度をもつビット列の良好度
や、平均良好度が予め設定した値を超えた時に繰返し操
作を終了するようにしてもよい。また、この参考例で
は、ビット列操作として２つのビット列を合成して別の
ビット列を生成する方法を説明したが、このかわりに１
つのビット列からランダムに選んだ各ビットの内容を反
転させる操作を用いたり、またこの方法をこの参考例の
ビット列操作の前または後に追加して組合せてもよい。

【００５９】実施例４． 以下、この発明の第４の実施例を、図を用いて説明す
る。図１２は、この実施例における画像処理装置（以
下、本装置と呼ぶ）の構成を示すブロック図であり、図
１３は本装置の動作を示すフローチャートである。以下
このフローチャートにそって本装置の動作を説明する。
ただし、テンプレート生成後の認識処理部については第
１の実施例と同じであり説明を省略する。ＳＴ１３０１
で本装置を起動すると、ＳＴ１３０２でテンプレートを
生成するためのテンプレート原画像を上記各実施例と同
様に原テンプレート格納手段１２０１に格納する。次
に、ＳＴ１３０３で格納した原テンプレート画像から、
テンプレート構成要素抽出手段１２０２により、テンプ
レート構成要素を抽出する。テンプレート構成要素とし
ては、もっとも簡単なものとして、例えば画像を等間隔
にサンプリングする方法を用いる。続くＳＴ１３０４で
は、テンプレート構成要素選択手段（１２０３）によっ
て、テンプレート構成要素としての画素のなかから好ま
しいものだけがＤ／Ｂ１２０４の内容をもとに選択的に
組合される。選択されたテンプレートは、次のステップ
（ＳＴ１３０５）で、テンプレート良好度表示手段１２
０５により、その良好度合を示す値が表示装置に表示さ
れる。良好度合いとしては、例えばこのテンプレートの
自己相関マップの形状から求めた値である。

【００６０】図１４は、表示画面の一例を模式的に示し
た図である。図のように、運用にあたってはモニターＣ
ＲＴなどの表示機器を用いて原テンプレートの設定がで
きる。画面１４０１には、認識したい対象物１４０２と
切出した原テンプレート画像１４０３が表示される。こ
の実施例によって求められたテンプレート候補は、その
良好度１４０４が表示される。この例では、その値が７
７と表示されている。運用にあたってはこの表示によ
り、テンプレート良好度が十分かどうかを判断し、判断
結果を入力する（ＳＴ１３０６）。ＳＴ１３０７では、
入力した情報に基づき、やり直し指示であれば再びＳＴ
１３０２から処理を行い、新たなテンプレート原画像切
出し結果に基づいて再度テンプレート構成要素抽出、テ
ンプレート構成要素選択を行う。やり直し指示でなけれ
ば、そのまま処理を終了し（ＳＴ１３０８）、実施例１
で述べたようなパターンマッチング処理に続ける。

【００６１】以上説明したように、この実施例により、
設定したテンプレート候補画像の良好度合を報知するこ
とが可能になり、よりよいテンプレート設定を行う際の
指標を与えるこができるという効果がある。同時に、要
求にしたがってテンプレートを再設定し、よりよいテン
プレートになるようにシステム運用を支援することもで
きる。

【００６２】なお、この実施例では、テンプレート良好
度表示内容として、テンプレート構成要素選択時に求め
た自己相関マップの形状から演算される値を用いたが、
予め設定した基準値と良好度を比較し、良好度が高い場
合には「ＯＫ」それ以外では「やり直し」などという文
字列を表示してもよい。あるいは、基準値を超える良好
度を得るために最小限必要なテンプレートの画素数を表
示しても同等の効果がある。さらに、別の表示内容とし
ては、テンプレート画素数から見積もったマッチングに
かかる予想処理時間を用いてもよい。

【００６３】また、この実施例では、モノクロ画像を前
提として説明したが、確認しやすいようにカラー表示を
用いることで一層この実施例の効果が上がることはいう
までもない。

【００６４】また、この実施例では、やり直し指示に基
づくテンプレート切出し処理からの繰返し回数について
は考慮されていないが、予め決めた一定回数内でこの繰
返しを行うことで、無用な繰返しを避ける効果が生じ
る。

【００６５】さらに、この実施例では、やり直し指示の
場合に、図１３のＳＴ１３０２のテンプレート切出しか
ら処理を繰返すようにしたが、テンプレート構成要素選
択処理に、実施例２で述べたような乱数を利用した方式
を用いる場合には、乱数の初期値を変えてＳＴ１３０４
から処理を繰返すようにしてもよい。

【００６６】参考例２． 以下、この発明の第２の参考例を、図を用いて説明す
る。図１５は、この参考例における画像処理装置（以
下、本装置と呼ぶ）の構成を示すブロック図であり、図
１６は本装置の動作の流れを示すフローチャートであ
る。以下このフローチャートにそって本装置の動作を説
明する。

【００６７】この参考例は、いわゆる多段階テンプレー
トマッチング処理に関するものである。多段階テンプレ
ートマッチングとは、上記各実施例および参考例で述べ
たようなテンプレートマッチングを、複数の縮退画像を
用いて段階的に行うものであり、通常マッチング処理時
間の高速化の目的で用いられる。この場合、マッチング
に用いられるテンプレートは、多段階マッチングの段数
に応じて複数のものが予め用意され、認識対象となる画
像も、同様の縮退比率をもって複数のものが用意され、
まず最初にもっとも粗い（縮退比率が高いもの）画像と
それに対応するテンプレートを用いてマッチングが行わ
れる。その後、順次縮退比率を下げながら前段階の認識
結果の近傍でのみマッチング処理を行う操作を繰返し、
探索範囲を広げることなく正しい認識結果を得られる。
各段階におけるマッチング操作自体は、第１の実施例に
述べた通りであるので、説明を省略する。

【００６８】ＳＴ１６０１で処理が開始されると、最初
にテンプレートを生成するための原テンプレート画像が
入力され、上記各実施例および参考例と同様にして、縮
退のもとになる精テンプレート原画像が精テンプレート
画像格納手段（１５０１）に格納される（ＳＴ１６０
２）。この参考例で説明するマッチング方式は、既に述
べたように多段階であり、そのもっとも縮退比率の小さ
いものは縮退比率１：１（無縮退）である。通常この画
像によるマッチングを精（ｆｉｎｅ）マッチングと呼ぶ
ことから、ここでは無縮退のテンプレート画像を精テン
プレート画像と呼ぶことにする。この参考例では、切出
す精テンプレート画像のサイズを１２８×１２８とす
る。

【００６９】続いて、ＳＴ１６０３では予め設定された
複数の段数に応じて精テンプレート原画像を縮退する。
この参考例では段数を５段としている。縮退は、例えば
画像を操作し、縦横それぞれ２：１に間引くことで行
う。この参考例では、精テンプレート画像そのものの他
に、６４×６４画像、３２×３２画像、１６×１６画
像、８×８画像をそれぞれテンプレート画像格納手段
（１５０３）に格納する。

【００７０】続くＳＴ１６０４では、テンプレート生成
処理における、現在の段数Ｄを１に初期化する。ＳＴ１
６０５では、第Ｄ段のテンプレート原画像をテンプレー
ト画像格納手段（１５０３）からロードし、画像サンプ
リング手段（１５０８）によって、単純サンプリングに
よってテンプレート候補を生成する。この制御は、テン
プレート生成方式選択手段（１５０４）で行う。ここで
いう単純サンプリングとは、予め定めたサンプリング規
則にしたがって、画像を規則的にサンプリングすること
を意味する。生成された第Ｄ段のテンプレート候補は、
一旦テンプレート格納手段（１５０９）に格納する。

【００７１】次いで、ＳＴ１６０６でテンプレート格納
手段（１５０９）に格納したテンプレート候補の画素数
を考慮し、このテンプレート候補を用いた場合のテンプ
レートマッチング処理に必要な処理時間を見積る。処理
時間は、例えば式１のようなマッチング演算を規定して
いるので、認識対象の画像のサイズと、テンプレートの
画素数とから簡単に求めることができる。ＳＴ１６０７
では、テンプレート生成方式選択手段（１５０４）によ
り、この見積り時間と、予め設定した各段毎の処理時間
の上限を与える基準値と比較する。見積り時間が基準値
より大きい場合には、このテンプレート候補では設定し
た時間内にマッチング処理を終了することが不可能と判
断し、別の方式でより少ない画素数で構成するテンプレ
ート候補を生成し直す。

【００７２】この処理は、ＳＴ１６０８でテンプレート
原画像からテンプレート構成要素抽出手段（１５０５）
によってテンプレート構成要素を抽出し、ＳＴ１６０９
でテンプレート構成要素選択手段（１５０６）および好
ましいテンプレートに関するＤ／Ｂ（１５０７）によっ
てテンプレート構成要素が最適に選択することで実現す
る。新しく求めたテンプレート候補は、テンプレート格
納手段（１５０９）に格納する。また、ＳＴ１６０７
で、見積り時間が基準値より小さい場合には、テンプレ
ート構成要素抽出手段やテンプレート構成要素選択手段
によるテンプレート候補の再生成を行うことなく、その
まま画像サンプリング手段（１５０８）で求めたテンプ
レート候補を最終的なテンプレートとしてテンプレート
格納手段に格納する。

【００７３】ＳＴ１６１０では、現在注目している段数
Ｄの値を一つ増やし、より縮退比率の小さい画像に対し
て同様の処理を繰返す。その時、ＳＴ１６１１で、予め
設定したすべての段数に達したら処理は終了し（ＳＴ１
６１２）、そうでなければＳＴ１６０５から処理を繰返
す。

【００７４】このように、この参考例においては、多段
階マッチングの各段階毎に設定されたマッチング時間を
超えるような画素数がテンプレートとして登録された場
合のみテンプレートが第１の実施例と同様に生成され、
それ以外では単純な方法でテンプレート候補が作られ
る。これは、テンプレート選択処理時間もできるだけ節
約し、さらに、テンプレートマッチングの時間も短くす
るという効果がある。また、実行時間の上限が決まって
いるような場合に、必ずそれ以下の時間で処理が終了す
るという制約下で最もよいテンプレートを生成できると
いう効果がある。

【００７５】なお、この参考例では、精テンプレートサ
イズ１２８、マッチング段数５の時を説明したが、他の
サイズや段数の時もまったく同様に動作し得ることはい
うまでもない。また、この参考例では、マッチングの見
積り時間を基準値と比較したが、テンプレート画素数と
見積り時間との間には一定の関係があることから、テン
プレート画素数を比較の対象に利用しても同様の効果を
奏する。

【００７６】また、この参考例では、画像サンプリング
手段によって一旦は単純サンプリングによってテンプレ
ート候補を生成して見積り時間を算出したが、精テンプ
レートのサイズと段数Ｄおよび画像サンプリング手段
（１５０８）におけるサンプリング比率から、テンプレ
ート候補を生成せずに見積り時間を演算することも可能
であり、その場合はＳＴ１６０７で見積り時間が基準値
より小さいと判断された時に始めて画像サンプリング手
段（１５０８）でテンプレートを生成するように動作さ
せればよい。

【００７７】参考例３． 以下、この発明の第３の参考例を、図を用いて説明す
る。図１７は、この参考例における画像処理装置（以
下、本装置と呼ぶ）の構成を示すブロック図であり、図
１８は本装置の動作の流れを示すフローチャートであ
る。以下このフローチャートにそって本装置の動作を説
明する。この参考例は、第２の参考例と同じく、いわゆ
る多段階テンプレートマッチング処理に関するものであ
る。したがって、ここでは多段階テンプレートマッチン
グに関する動作の詳細についての説明を省略する。

【００７８】ＳＴ１８０１において、処理を開始する
と、最初にテンプレートを生成するためのテンプレート
画像が入力され、上記各実施例および参考例と同様に縮
退のもとになる精テンプレート画像を精テンプレート画
像格納手段（１７０１）に格納する（ＳＴ１８０２）。
この参考例で説明するマッチング方式は、上記参考例２
と同様である。この参考例でも、切出す精テンプレート
画像のサイズを１２８×１２８とする。

【００７９】ステップＳＴ１８０７では、テンプレート
段数決定手段（１７０２）がテンプレートに対応する良
好度を、良好度比較手段（１７１０）において、予めテ
ンプレート良好度閾値格納手段（１７０９）がもってい
る基準値と比較し、良好度が基準値より大きければ変数
Ｔを１だけ増やし（ＳＴ１８０８）、再びＳＴ１８０４
から処理を繰返す。その時、ＳＴ１８０４において縮退
操作は、前回の縮退結果に対して再び１／２の等間隔サ
ンプリングによって行う。ＳＴ１８０７において、良好
度が基準値以下であればそれ以上縮退を繰返しても良好
なテンプレートは得られないと判断し、段数をＴ−１と
して（ＳＴ１８０９）、処理を終了する（ＳＴ１８１
０）。

【００８０】以上説明したように、テンプレートの良好
度がある基準より大きいうちは縮退を繰返し、それ以下
の場合は縮退を停止することで、縮退回数を求め、それ
を縮退段数とする。この一連の処理により、本発明によ
る装置は、テンプレート良好度が一定基準を上回ること
が保証されている多段階マッチングのためのテンプレー
トを生成することができる。これにより、多段階マッチ
ングにおける段数の自動的な決定が可能になるという効
果が得られる。

【００８１】なお、この参考例では、テンプレートの良
好度として第１の実施例と同じものを用いたが、それ以
外にも、テンプレート画素の分散値を用いてもよく、そ
の場合にはこの分散値が別途設定した基準値より小さく
なれば縮退を停止するように処理を行えばよい。

【００８２】また、この参考例では、縮退をおこなうの
に、縮退比率１／２の等間隔サンプリングを用いたが、
例えば２×２の領域の平均化をおこなっても同様の効果
が得られることは明らかである。

【００８３】また、この参考例では処理の過程でテンプ
レート構成要素抽出として全画素を用いる場合を示した
が、適当な経験的知識によって例えば輪郭のエッジ近傍
画素を優先して抽出するようにしてもよい。

【００８４】

【発明の効果】本発明により、高速にマッチングでき、
しかも所望の特性を有するテンプレートを自動的に生成
できる。

【００８５】本発明により、高速マッチングでき、しか
も所望の特性を有するテンプレートを、少ない処理時間
で演算できる。

【００８６】本発明により、高速にマッチングでき、し
かも所望の特性を有するテンプレートを生成する際に、
近傍画素情報などを用いてテンプレートとして好ましい
画素を優先的に選択し、あるいは好ましくない画素を排
除することができる。

【００８７】

【００８８】本発明により、切出したテンプレート画像
の好ましさを報知し、必要に応じてテンプレート画像の
再設定ができる。

【００８９】

【００９０】

【図面の簡単な説明】

【図１】 第１の実施例の構成を説明するための図であ
る。

【図２】 第１の実施例の動作を示すフローチャートで
ある。

【図３】 第２の実施例の構成を説明するための図であ
る。

【図４】 第２の実施例の動作を示すフローチャートで
ある。

【図５】 第３の実施例の構成を説明するための図であ
る。

【図６】 第３の実施例の動作を示すフローチャートで
ある。

【図７】 第３の実施例における特徴的画素の定義の一
例を説明するための図である。

【図８】 第１の参考例の構成を説明するための図であ
る。

【図９】 第１の参考例の動作を示すフローチャートで
ある。

【図１０】 第１の参考例における画像とビット列との
対応関係を説明するための図である。

【図１１】 第１の参考例におけるビット列操作の一例
を説明するための図である。

【図１２】 第４の実施例の構成を説明するための図で
ある。

【図１３】 第４の実施例の動作を示すフローチャート
である。

【図１４】 第４の実施例における表示画面の一例を示
す図である。

【図１５】 第２の参考例の構成を説明するための図で
ある。

【図１６】 第２の参考例の動作を示すフローチャート
である。

【図１７】 第３の参考例の構成を説明するための図で
ある。

【図１８】 第３の参考例の動作を示すフローチャート
である。

【図１９】 従来の技術を説明するための図である。

【図２０】 従来の技術における装置の動作を説明する
ためのフローチャートである。

【図２１】 他の従来の技術を説明するための図であ
る。

【図２２】 他の従来の技術を説明するための図であ
る。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 広岡 美和子 兵庫県尼崎市塚口本町八丁目１番１号 三菱電機株式会社 産業システム研究所 内 (72)発明者 奥田 晴久 兵庫県尼崎市塚口本町八丁目１番１号 三菱電機株式会社 産業システム研究所 内 (56)参考文献 特開 昭64−44584（ＪＰ，Ａ) 特開 平６−4669（ＪＰ，Ａ) 特開 昭62−210596（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G01B 11/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 入力画像から、予め記憶させた画像特徴
   パターンであるテンプレートと類似のパターンを探索す
   る画像処理装置において、前記テンプレート生成のもと
   になる任意のＮ個の画素よりなる原テンプレート画像を
   格納する原テンプレート画像格納手段と、前記テンプレ
   ートの好ましい特性を記述した特性データベースと、前
   記原テンプレート画像から予め設定した１＜ｎ＜Ｎなる
   整数ｎ個の画素よりなるテンプレート構成要素を複数個
   順次発生しテンプレート候補とするテンプレート構成要
   素抽出手段と、前記テンプレート候補の前記テンプレー
   トとしての良好度を前記特性データベースに記述された
   内容にしたがって算出し、前記良好度が最大となる前記
   テンプレート候補を選択するテンプレート構成要素選択
   手段と、前記テンプレート構成要素選択手段で選択した
   テンプレート候補を格納するテンプレート格納手段とか
   ら構成されるテンプレート生成装置を備えたことを特徴
   とする画像処理装置。
2. 【請求項２】 前記テンプレート構成要素抽出手段とし
   て、特徴的画素選択手段を備えたことを特徴とする請求
   項１記載の画像処理装置。
3. 【請求項３】 生成した前記テンプレートの良好度を表
   示する手段を備えたことを特徴とする請求項１に記載の
   画像処理装置。