JP3166905B2 - パターンマッチングによる画像処理方法およびシステム - Google Patents
パターンマッチングによる画像処理方法およびシステムInfo
- Publication number
- JP3166905B2 JP3166905B2 JP17733997A JP17733997A JP3166905B2 JP 3166905 B2 JP3166905 B2 JP 3166905B2 JP 17733997 A JP17733997 A JP 17733997A JP 17733997 A JP17733997 A JP 17733997A JP 3166905 B2 JP3166905 B2 JP 3166905B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- sum
- masked
- coordinate sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理方法、パ
ターンマッチング装置、ならびに、画像処理システム、
パターンマッチング処理制御プログラムを記録した記録
媒体に関する。より詳しくは、テンプレート内に不感領
域と有感領域とが混在する場合において、テンプレート
画像とサーチ部分画像とのマッチングの演算処理に関す
る。
ターンマッチング装置、ならびに、画像処理システム、
パターンマッチング処理制御プログラムを記録した記録
媒体に関する。より詳しくは、テンプレート内に不感領
域と有感領域とが混在する場合において、テンプレート
画像とサーチ部分画像とのマッチングの演算処理に関す
る。
【０００２】
【従来の技術】従来、テンプレート画像とサーチ領域画
像とのパターンマッチングの処理において、高速な演算
処理を行うものとして、例えば、特開平５−２９８４５
１号公報、特公昭６２−１１３８９号公報、特開昭６２
−２４９２９３号公報等に開示されたものがある。
像とのパターンマッチングの処理において、高速な演算
処理を行うものとして、例えば、特開平５−２９８４５
１号公報、特公昭６２−１１３８９号公報、特開昭６２
−２４９２９３号公報等に開示されたものがある。
【０００３】特開平５−２９８４５１号公報の例は、ア
ダマール変換を用いてパターンマッチングを行うもので
ある。アダマール係数を算出するとき、既に演算により
求めたアダマール係数を用いるとともに、変化の生じた
部分のみについて演算を行うことによって、演算回数の
削減を図り、高速な演算処理を可能としている。
ダマール変換を用いてパターンマッチングを行うもので
ある。アダマール係数を算出するとき、既に演算により
求めたアダマール係数を用いるとともに、変化の生じた
部分のみについて演算を行うことによって、演算回数の
削減を図り、高速な演算処理を可能としている。
【０００４】特公昭６２−１１３８９号公報の例は、パ
ターンに含まれる要素の輪郭をトレースしてパターン情
報を得るパターンの認識に関するものである。パターン
のつながりを検出しながら、要素毎に１点を抽出するこ
とによって、トレースの出発点を短時間に検出すること
を可能としている。
ターンに含まれる要素の輪郭をトレースしてパターン情
報を得るパターンの認識に関するものである。パターン
のつながりを検出しながら、要素毎に１点を抽出するこ
とによって、トレースの出発点を短時間に検出すること
を可能としている。
【０００５】特開昭６２−２４９２９３号公報の例は、
テンプレートを用いて画像データの認識を行うものであ
る。画像データのランレンクズ符号化データとランレン
クズデータであるテンプレートとの一致度を直接計測す
ることによって、ランレンクズ符号化データを２値画像
に復号するプロセスをなくし、高速な演算処理を可能と
している。
テンプレートを用いて画像データの認識を行うものであ
る。画像データのランレンクズ符号化データとランレン
クズデータであるテンプレートとの一致度を直接計測す
ることによって、ランレンクズ符号化データを２値画像
に復号するプロセスをなくし、高速な演算処理を可能と
している。
【０００６】また、この他のパターンマッチングに類似
する公知例としては、特開平２−６８６８２号公報、特
開平４−３３７８８９号公報、特開平８−３０７８４号
公報、特開平８−５４２２１号公報等がある。
する公知例としては、特開平２−６８６８２号公報、特
開平４−３３７８８９号公報、特開平８−３０７８４号
公報、特開平８−５４２２１号公報等がある。
【０００７】
【発明が解決しようとする課題】しかし、正規化相関に
よってパターンマッチングの処理を行う場合、テンプレ
ートの領域内で、不感領域を設定したい場合がある。
よってパターンマッチングの処理を行う場合、テンプレ
ートの領域内で、不感領域を設定したい場合がある。
【０００８】従来においては、その不感領域を設定した
場合の正規化相関値を計算するために、テンプレートの
領域に対応するサーチ画像の部分領域に対して、有感領
域を１とし、不感領域を０としたマスクをかけていた。
この場合テンプレートの領域を１画素ずらす毎にサーチ
画像の部分領域に対し、マスクをかける必要がある。こ
のため、不感領域を設定しない場合の処理と比べて、計
算量が膨大なものとなる。
場合の正規化相関値を計算するために、テンプレートの
領域に対応するサーチ画像の部分領域に対して、有感領
域を１とし、不感領域を０としたマスクをかけていた。
この場合テンプレートの領域を１画素ずらす毎にサーチ
画像の部分領域に対し、マスクをかける必要がある。こ
のため、不感領域を設定しない場合の処理と比べて、計
算量が膨大なものとなる。
【０００９】ここで、具体例を挙げて説明する。
【００１０】図３は、テンプレート画像Ｕ（ｉ，ｊ）が
Ｍ×Ｍ画素の矩形領域から形成され、サーチ画像Ｗ
（ｉ，ｊ）がＬ×Ｌ画素の矩形領域から形成されている
ものとする（Ｍ＜Ｌ）。
Ｍ×Ｍ画素の矩形領域から形成され、サーチ画像Ｗ
（ｉ，ｊ）がＬ×Ｌ画素の矩形領域から形成されている
ものとする（Ｍ＜Ｌ）。
【００１１】まず、不感領域を考えない場合について述
べる。この場合における正規化相関係数Ｃｒは、
べる。この場合における正規化相関係数Ｃｒは、
【００１２】
【数１】
【００１３】となる。
【００１４】ここで、σ2 uはテンプレート画像Ｕ（ｉ，
ｊ）の分散、σ2 Wはテンプレートと同一サイズのサーチ
部分画像Ｗ（ｉ，ｊ）の分散、σ2 UW はＵ（ｉ，ｊ）と
Ｗ（ｉ，ｊ）との共分散である。
ｊ）の分散、σ2 Wはテンプレートと同一サイズのサーチ
部分画像Ｗ（ｉ，ｊ）の分散、σ2 UW はＵ（ｉ，ｊ）と
Ｗ（ｉ，ｊ）との共分散である。
【００１５】テンプレート画像Ｕ（ｉ，ｊ）が矩形の場
合、σ2 UW 、σ2 U、σ2 Wは、次式で求められる。
合、σ2 UW 、σ2 U、σ2 Wは、次式で求められる。
【００１６】
【数２】
【００１７】
【数３】
【００１８】
【数４】
【００１９】ただし、
【００２０】
【数５】
【００２１】
【数６】
【００２２】となる。
【００２３】パターンマッチングは、サーチ画像Ｗ
（ｉ，ｊ）をくまなくサーチして最大の相関係数をもつ
座標を求めることであることから、この処理に要する乗
算回数は、Ｌ′＝Ｌ−Ｍとして、おおよそＬ′＝２
（Ｌ′Ｍ）2 となる。
（ｉ，ｊ）をくまなくサーチして最大の相関係数をもつ
座標を求めることであることから、この処理に要する乗
算回数は、Ｌ′＝Ｌ−Ｍとして、おおよそＬ′＝２
（Ｌ′Ｍ）2 となる。
【００２４】次に、サーチすべき図形が矩形でない場合
でも、パターンマッチングを行うために、テンプレート
画像Ｕ（ｉ，ｊ）に不感領域を設定した場合を考える。
でも、パターンマッチングを行うために、テンプレート
画像Ｕ（ｉ，ｊ）に不感領域を設定した場合を考える。
【００２５】図４に示すように、不感領域を含むマスク
画像をＲ（ｉ，ｊ）とし、有感領域を１、不感領域を０
に設定する。
画像をＲ（ｉ，ｊ）とし、有感領域を１、不感領域を０
に設定する。
【００２６】テンプレート画像Ｕ（ｉ，ｊ）を１画素ず
らす毎に、対応するサーチ部分画像Ｗ（ｉ，ｊ）にマス
クをかける必要があるので、この処理に要する乗算回数
は、おおよそＬ′＝３（Ｌ′Ｍ）2 となる。例えば、Ｍ
＝１００、Ｌ′＝４００の場合は、全画面サーチのため
の総乗算回数は、４８億回となる。
らす毎に、対応するサーチ部分画像Ｗ（ｉ，ｊ）にマス
クをかける必要があるので、この処理に要する乗算回数
は、おおよそＬ′＝３（Ｌ′Ｍ）2 となる。例えば、Ｍ
＝１００、Ｌ′＝４００の場合は、全画面サーチのため
の総乗算回数は、４８億回となる。
【００２７】このようにテンプレート画像Ｕ（ｉ，ｊ）
に不感領域を設定した場合における従来のパターンマッ
チングの処理では、正規化相関値の計算量が膨大になる
ことがわかり、演算速度に問題がある。
に不感領域を設定した場合における従来のパターンマッ
チングの処理では、正規化相関値の計算量が膨大になる
ことがわかり、演算速度に問題がある。
【００２８】そこで、本発明の目的は、テンプレート画
像に不感領域が設定されている場合のパターンマッチン
グの処理において、正規化相関値の計算量を低減させ、
演算の処理速度を向上させることが可能なパターンマッ
チングによる画像処理方法およびシステムを提供するこ
とにある。
像に不感領域が設定されている場合のパターンマッチン
グの処理において、正規化相関値の計算量を低減させ、
演算の処理速度を向上させることが可能なパターンマッ
チングによる画像処理方法およびシステムを提供するこ
とにある。
【００２９】
【課題を解決するための手段】本発明は、テンプレート
画像とサーチ画像とのマッチングを行う画像処理方法で
あって、基準画像を取り込み、該取り込んだ部分画像に
より不感領域と有感領域とが混在するテンプレート画像
を作成する工程と、前記作成されたテンプレート画像と
同一サイズのマスク画像中で、前記有感領域を示す値が
１の画素列に基づいて画像ラスタ方向の始点と終点との
座標列からなる座標列コードを作成する工程と、前記テ
ンプレート画像に前記値が１の画素列のマスク画像をか
け、マスク付きテンプレート画像の分散を求める工程
と、サーチ画像を取り込み、該取り込んだサーチ部分画
像と前記マスク付きテンプレート画像との積和を演算す
ることにより共分散を求める工程と、前記サーチ部分画
像に前記値が１の画素列のマスク画像をかけ、マスク付
きサーチ部分画像の総和と二乗和とを算出する工程と、
前記座標列コードの終点の座標列に対応する前記マスク
付きサーチ部分画像の総和から、該座標列コードの始点
の座標列に対応する前記マスク付きサーチ部分画像の総
和を引く工程と、前記座標列コードの終点の座標列に対
応する前記マスク付きサーチ部分画像の二乗和から、該
座標列コードの始点の座標列に対応する前記マスク付き
サーチ部分画像の二乗和を引く工程と、前記マスク付き
サーチ部分画像の総和と二乗和とから、前記マスク付き
テンプレート画像と同一サイズのマスク付きサーチ部分
画像の分散を求める工程と、前記マスク付きテンプレー
ト画像の分散と前記共分散と前記マスク付きサーチ部分
画像の分散とから正規化相関係数を算出する工程と、該
正規化相関係数が最大となる座標値を求めることによ
り、テンプレート画像とサーチ画像とのマッチングを判
定する工程とを具えることによって、画像処理方法を提
供する。
画像とサーチ画像とのマッチングを行う画像処理方法で
あって、基準画像を取り込み、該取り込んだ部分画像に
より不感領域と有感領域とが混在するテンプレート画像
を作成する工程と、前記作成されたテンプレート画像と
同一サイズのマスク画像中で、前記有感領域を示す値が
１の画素列に基づいて画像ラスタ方向の始点と終点との
座標列からなる座標列コードを作成する工程と、前記テ
ンプレート画像に前記値が１の画素列のマスク画像をか
け、マスク付きテンプレート画像の分散を求める工程
と、サーチ画像を取り込み、該取り込んだサーチ部分画
像と前記マスク付きテンプレート画像との積和を演算す
ることにより共分散を求める工程と、前記サーチ部分画
像に前記値が１の画素列のマスク画像をかけ、マスク付
きサーチ部分画像の総和と二乗和とを算出する工程と、
前記座標列コードの終点の座標列に対応する前記マスク
付きサーチ部分画像の総和から、該座標列コードの始点
の座標列に対応する前記マスク付きサーチ部分画像の総
和を引く工程と、前記座標列コードの終点の座標列に対
応する前記マスク付きサーチ部分画像の二乗和から、該
座標列コードの始点の座標列に対応する前記マスク付き
サーチ部分画像の二乗和を引く工程と、前記マスク付き
サーチ部分画像の総和と二乗和とから、前記マスク付き
テンプレート画像と同一サイズのマスク付きサーチ部分
画像の分散を求める工程と、前記マスク付きテンプレー
ト画像の分散と前記共分散と前記マスク付きサーチ部分
画像の分散とから正規化相関係数を算出する工程と、該
正規化相関係数が最大となる座標値を求めることによ
り、テンプレート画像とサーチ画像とのマッチングを判
定する工程とを具えることによって、画像処理方法を提
供する。
【００３０】また、本発明は、テンプレート画像とサー
チ画像とのマッチングを行う装置であって、基準画像を
取り込み、該取り込んだ部分画像により不感領域と有感
領域とが混在するテンプレート画像を作成する手段と、
前記作成されたテンプレート画像と同一サイズのマスク
画像中で、前記有感領域を示す値が１の画素列に基づい
て画像ラスタ方向の始点と終点との座標列からなる座標
列コードを作成する手段と、前記テンプレート画像に前
記値が１の画素列のマスク画像をかけ、マスク付きテン
プレート画像の分散を求める手段と、サーチ画像を取り
込み、該取り込んだサーチ部分画像と前記マスク付きテ
ンプレート画像との積和を演算することにより共分散を
求める手段と、前記サーチ部分画像に前記値が１の画素
列のマスク画像をかけ、マスク付きサーチ部分画像の総
和と二乗和とを算出する手段と、前記座標列コードの終
点の座標列に対応する前記マスク付きサーチ部分画像の
総和から、該座標列コードの始点の座標列に対応する前
記マスク付きサーチ部分画像の総和を引く手段と、前記
座標列コードの終点の座標列に対応する前記マスク付き
サーチ部分画像の二乗和から、該座標列コードの始点の
座標列に対応する前記マスク付きサーチ部分画像の二乗
和を引く手段と、前記マスク付きサーチ部分画像の総和
と二乗和とから、前記マスク付きテンプレート画像と同
一サイズのマスク付きサーチ部分画像の分散を求める手
段と、前記マスク付きテンプレート画像の分散と前記共
分散と前記マスク付きサーチ部分画像の分散とから正規
化相関係数を算出する手段と、該正規化相関係数が最大
となる座標値を求めることにより、テンプレート画像と
サーチ画像とのマッチングを判定する手段とを具えるこ
とによって、画像処理装置を構成する。
チ画像とのマッチングを行う装置であって、基準画像を
取り込み、該取り込んだ部分画像により不感領域と有感
領域とが混在するテンプレート画像を作成する手段と、
前記作成されたテンプレート画像と同一サイズのマスク
画像中で、前記有感領域を示す値が１の画素列に基づい
て画像ラスタ方向の始点と終点との座標列からなる座標
列コードを作成する手段と、前記テンプレート画像に前
記値が１の画素列のマスク画像をかけ、マスク付きテン
プレート画像の分散を求める手段と、サーチ画像を取り
込み、該取り込んだサーチ部分画像と前記マスク付きテ
ンプレート画像との積和を演算することにより共分散を
求める手段と、前記サーチ部分画像に前記値が１の画素
列のマスク画像をかけ、マスク付きサーチ部分画像の総
和と二乗和とを算出する手段と、前記座標列コードの終
点の座標列に対応する前記マスク付きサーチ部分画像の
総和から、該座標列コードの始点の座標列に対応する前
記マスク付きサーチ部分画像の総和を引く手段と、前記
座標列コードの終点の座標列に対応する前記マスク付き
サーチ部分画像の二乗和から、該座標列コードの始点の
座標列に対応する前記マスク付きサーチ部分画像の二乗
和を引く手段と、前記マスク付きサーチ部分画像の総和
と二乗和とから、前記マスク付きテンプレート画像と同
一サイズのマスク付きサーチ部分画像の分散を求める手
段と、前記マスク付きテンプレート画像の分散と前記共
分散と前記マスク付きサーチ部分画像の分散とから正規
化相関係数を算出する手段と、該正規化相関係数が最大
となる座標値を求めることにより、テンプレート画像と
サーチ画像とのマッチングを判定する手段とを具えるこ
とによって、画像処理装置を構成する。
【００３１】また、本発明は、基準画像に対するサーチ
画像のマッチング処理を行うシステムであって、前記基
準画像を作成する基準画像作成手段と、前記サーチ画像
を取り込むサーチ画像入力手段と、前記基準画像および
前記サーチ画像を取り込みマッチング処理を行う前記画
像処理装置とを具えることによって、画像処理システム
を構成する。
画像のマッチング処理を行うシステムであって、前記基
準画像を作成する基準画像作成手段と、前記サーチ画像
を取り込むサーチ画像入力手段と、前記基準画像および
前記サーチ画像を取り込みマッチング処理を行う前記画
像処理装置とを具えることによって、画像処理システム
を構成する。
【００３２】また、本発明は、コンピュータによってテ
ンプレート画像とサーチ画像とのマッチングを制御する
ための制御プログラムを記録した記録媒体であって、該
制御プログラムはコンピュータに、基準画像を取り込ま
せ、該取り込ませた部分画像により不感領域と有感領域
とが混在するテンプレート画像を作成させ、前記作成さ
せたテンプレート画像と同一サイズのマスク画像中で、
前記有感領域を示す値が１の画素列に基づいて画像ラス
タ方向の始点と終点との座標列からなる座標列コードを
作成させ、前記テンプレート画像に前記値が１の画素列
のマスク画像をかけさせ、マスク付きテンプレート画像
の分散を求めさせ、サーチ画像を取り込ませ、該取り込
んだサーチ部分画像と前記マスク付きテンプレート画像
との積和を演算させることにより共分散を求めさせ、前
記サーチ部分画像に前記値が１の画素列のマスク画像を
かけさせ、マスク付きサーチ部分画像の総和と二乗和と
を算出させ、前記座標列コードの終点の座標列に対応す
る前記マスク付きサーチ部分画像の総和から、該座標列
コードの始点の座標列に対応する前記マスク付きサーチ
部分画像の総和を引かせ、前記座標列コードの終点の座
標列に対応する前記マスク付きサーチ部分画像の二乗和
から、該座標列コードの始点の座標列に対応する前記マ
スク付きサーチ部分画像の二乗和を引かせ、前記マスク
付きサーチ部分画像の総和と二乗和とから、前記マスク
付きテンプレート画像と同一サイズのマスク付きサーチ
部分画像の分散を求めさせ、前記マスク付きテンプレー
ト画像の分散と前記共分散と前記マスク付きサーチ部分
画像の分散とから正規化相関係数を算出させ、該正規化
相関係数が最大となる座標値を求めさせることにより、
テンプレート画像とサーチ画像とのマッチングを判定さ
せることによって、パターンマッチング処理制御プログ
ラムを記録した記録媒体を提供する。
ンプレート画像とサーチ画像とのマッチングを制御する
ための制御プログラムを記録した記録媒体であって、該
制御プログラムはコンピュータに、基準画像を取り込ま
せ、該取り込ませた部分画像により不感領域と有感領域
とが混在するテンプレート画像を作成させ、前記作成さ
せたテンプレート画像と同一サイズのマスク画像中で、
前記有感領域を示す値が１の画素列に基づいて画像ラス
タ方向の始点と終点との座標列からなる座標列コードを
作成させ、前記テンプレート画像に前記値が１の画素列
のマスク画像をかけさせ、マスク付きテンプレート画像
の分散を求めさせ、サーチ画像を取り込ませ、該取り込
んだサーチ部分画像と前記マスク付きテンプレート画像
との積和を演算させることにより共分散を求めさせ、前
記サーチ部分画像に前記値が１の画素列のマスク画像を
かけさせ、マスク付きサーチ部分画像の総和と二乗和と
を算出させ、前記座標列コードの終点の座標列に対応す
る前記マスク付きサーチ部分画像の総和から、該座標列
コードの始点の座標列に対応する前記マスク付きサーチ
部分画像の総和を引かせ、前記座標列コードの終点の座
標列に対応する前記マスク付きサーチ部分画像の二乗和
から、該座標列コードの始点の座標列に対応する前記マ
スク付きサーチ部分画像の二乗和を引かせ、前記マスク
付きサーチ部分画像の総和と二乗和とから、前記マスク
付きテンプレート画像と同一サイズのマスク付きサーチ
部分画像の分散を求めさせ、前記マスク付きテンプレー
ト画像の分散と前記共分散と前記マスク付きサーチ部分
画像の分散とから正規化相関係数を算出させ、該正規化
相関係数が最大となる座標値を求めさせることにより、
テンプレート画像とサーチ画像とのマッチングを判定さ
せることによって、パターンマッチング処理制御プログ
ラムを記録した記録媒体を提供する。
【００３３】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態を詳細に説明する。なお、以下の説明におい
て述べられる有感領域および不感領域は以下のように定
義される。有感領域とは、テンプレート画像の中でパタ
ーンマッチングのスコア（正規化相関係数）に影響を与
える部分画像領域をいう。また不感領域とは、画素値に
拘らず、マッチングのスコアに寄与しない部分画像領域
をいう。例えば背景の前に人が立っている画像から、背
景に影響されずに人の顔をサーチするためには、人の顔
の領域のみを有感領域とすると共に、背景の領域を不感
領域としたテンプレートを作成する。これにより、背景
のいかんにかかわらず人の顔をサーチすることが可能と
なる。
実施の形態を詳細に説明する。なお、以下の説明におい
て述べられる有感領域および不感領域は以下のように定
義される。有感領域とは、テンプレート画像の中でパタ
ーンマッチングのスコア（正規化相関係数）に影響を与
える部分画像領域をいう。また不感領域とは、画素値に
拘らず、マッチングのスコアに寄与しない部分画像領域
をいう。例えば背景の前に人が立っている画像から、背
景に影響されずに人の顔をサーチするためには、人の顔
の領域のみを有感領域とすると共に、背景の領域を不感
領域としたテンプレートを作成する。これにより、背景
のいかんにかかわらず人の顔をサーチすることが可能と
なる。
【００３４】まず、本発明に係るシステムの概略構成
を、図１１および図１２に基づいて説明する。
を、図１１および図１２に基づいて説明する。
【００３５】図１１は、本システムの構成例を示す。パ
ターンマッチング装置１は、テンプレート画像とサーチ
画像とのマッチングの処理を行うものである。このパタ
ーンマッチング装置１には、サーチ画像を取り込むため
の白黒（ＢＷ）カメラ１００と、基準画像であるテンプ
レート画像を作成するためのホストコンピュータ１０１
とが接続されている。また、パターンマッチング装置１
における入力画像および画像処理結果は、モニタＴＶ１
０２に出力される。
ターンマッチング装置１は、テンプレート画像とサーチ
画像とのマッチングの処理を行うものである。このパタ
ーンマッチング装置１には、サーチ画像を取り込むため
の白黒（ＢＷ）カメラ１００と、基準画像であるテンプ
レート画像を作成するためのホストコンピュータ１０１
とが接続されている。また、パターンマッチング装置１
における入力画像および画像処理結果は、モニタＴＶ１
０２に出力される。
【００３６】図１２は、本システムを構成するパターン
マッチング装置１の内部構成例を示す。２は、画像処理
用の信号処理部であり、専用ゲートアレイ等により構成
される。３は、取り込まれたサーチ画像とテンプレート
画像との積和を演算する積和演算器である。４は、メモ
リ領域としてテンプレートエリア４ａとサーチエリア４
ｂとを有するフレームメモリである。５は、バッファメ
モリである。６は、システム全体を制御するＭＰＵであ
る。７は、ＭＰＵ６の主制御プログラム等が記憶された
メインメモリである。８は、画像データコントローラで
ある。
マッチング装置１の内部構成例を示す。２は、画像処理
用の信号処理部であり、専用ゲートアレイ等により構成
される。３は、取り込まれたサーチ画像とテンプレート
画像との積和を演算する積和演算器である。４は、メモ
リ領域としてテンプレートエリア４ａとサーチエリア４
ｂとを有するフレームメモリである。５は、バッファメ
モリである。６は、システム全体を制御するＭＰＵであ
る。７は、ＭＰＵ６の主制御プログラム等が記憶された
メインメモリである。８は、画像データコントローラで
ある。
【００３７】また、９はＡＴバスインターフェース、１
０はＤＭＡインターフェースであり、ホストコンピュー
タ１０１とそれぞれ接続されている。また、Ａ／Ｄ回路
１１、ＭＰＸ（マルチプレクサ）１２を介してＢＷカメ
ラ１００と接続され、オーバーレイ発生回路１４と接続
されたＤＡＣ（ＤＡコンバータ）回路１３を介して、モ
ニタＴＶ１０２と接続されている。
０はＤＭＡインターフェースであり、ホストコンピュー
タ１０１とそれぞれ接続されている。また、Ａ／Ｄ回路
１１、ＭＰＸ（マルチプレクサ）１２を介してＢＷカメ
ラ１００と接続され、オーバーレイ発生回路１４と接続
されたＤＡＣ（ＤＡコンバータ）回路１３を介して、モ
ニタＴＶ１０２と接続されている。
【００３８】ここで、本発明に係るパターンマッチング
の処理は、信号処理部２および積和演算器３を用いて行
われ、画像処理の領域として、フレームメモリ４のテン
プレートエリア４ａおよびサーチエリア４ｂや、バッフ
ァメモリ５が用いられる。また、本発明に係るパターン
マッチングの処理を制御するための図１、図２のフロー
チャートのプログラムは、メインメモリ７の記憶エリア
に格納することができ、また、別体として、フロッピー
ディスク等に格納するような構成としてもよい。
の処理は、信号処理部２および積和演算器３を用いて行
われ、画像処理の領域として、フレームメモリ４のテン
プレートエリア４ａおよびサーチエリア４ｂや、バッフ
ァメモリ５が用いられる。また、本発明に係るパターン
マッチングの処理を制御するための図１、図２のフロー
チャートのプログラムは、メインメモリ７の記憶エリア
に格納することができ、また、別体として、フロッピー
ディスク等に格納するような構成としてもよい。
【００３９】次に、本発明に係るパターンマッチングの
処理について説明する。
処理について説明する。
【００４０】本例では、図３に示すように、テンプレー
ト画像Ｕ（ｉ，ｊ）はＭ×Ｍ画素の矩形領域からなり、
サーチ画像Ｗ（ｉ，ｊ）はＬ×Ｌ画素の矩形領域からな
っているものとする（Ｍ＜Ｌ）。また、図４に示すよう
に、不感領域を含むマスク画像Ｒ（ｉ，ｊ）は、有感領
域が１、不感領域が０に設定されているものとする。
ト画像Ｕ（ｉ，ｊ）はＭ×Ｍ画素の矩形領域からなり、
サーチ画像Ｗ（ｉ，ｊ）はＬ×Ｌ画素の矩形領域からな
っているものとする（Ｍ＜Ｌ）。また、図４に示すよう
に、不感領域を含むマスク画像Ｒ（ｉ，ｊ）は、有感領
域が１、不感領域が０に設定されているものとする。
【００４１】まず、本処理の基本的な事項を（７）式〜
（１７）式に基づいて説明する。今、不感領域が存在す
る場合の正規化相関係数Ｃｒ′は、（１）式〜（４）式
を参照して、
（１７）式に基づいて説明する。今、不感領域が存在す
る場合の正規化相関係数Ｃｒ′は、（１）式〜（４）式
を参照して、
【００４２】
【数７】
【００４３】
【数８】
【００４４】
【数９】
【００４５】
【数１０】
【００４６】となる。σ2 U′はテンプレート画像Ｕ
（ｉ，ｊ）の分散、σ2 W′はテンプレートと同一サイズ
のサーチ部分画像Ｗ（ｉ，ｊ）の分散、σ2 UW ′はＵ
（ｉ，ｊ）とＷ（ｉ，ｊ）との共分散である。
（ｉ，ｊ）の分散、σ2 W′はテンプレートと同一サイズ
のサーチ部分画像Ｗ（ｉ，ｊ）の分散、σ2 UW ′はＵ
（ｉ，ｊ）とＷ（ｉ，ｊ）との共分散である。
【００４７】ここで、図４のマスク画像Ｒ（ｉ，ｊ）が
１の画素の総数をＭ2 Rとして、
１の画素の総数をＭ2 Rとして、
【００４８】
【数１１】
【００４９】
【数１２】
【００５０】とする。
【００５１】Ｕ′（ｉ，ｊ）は、テンプレート画像Ｕ
（ｉ，ｊ）において、マスク画像Ｒ（ｉ，ｊ）＝０の座
標に対応する画素の値を強制的に平均値Ｕ′に変更した
ものである。Ｗ′（ｉ，ｊ）は、Ｗ（ｉ，ｊ）におい
て、マスク画像Ｒ（ｉ，ｊ）＝０の座標に対応する画素
の値を強制的に平均値Ｗ′に変更したものである。
（ｉ，ｊ）において、マスク画像Ｒ（ｉ，ｊ）＝０の座
標に対応する画素の値を強制的に平均値Ｕ′に変更した
ものである。Ｗ′（ｉ，ｊ）は、Ｗ（ｉ，ｊ）におい
て、マスク画像Ｒ（ｉ，ｊ）＝０の座標に対応する画素
の値を強制的に平均値Ｗ′に変更したものである。
【００５２】（７）中の分母の第１項目に当たる、マス
ク付きテンプレート画像Ｕ′（ｉ，ｊ）の分散σ2 U′
は、サーチ前に予め計算しておき、
ク付きテンプレート画像Ｕ′（ｉ，ｊ）の分散σ2 U′
は、サーチ前に予め計算しておき、
【００５３】
【数１３】
【００５４】一定とする。
【００５５】一方、（７）中の分母の第２項目に当た
る、テンプレートと同一サイズのマスク付きサーチ部分
画像Ｗ′（ｉ，ｊ）の分散σ2 W′は、
る、テンプレートと同一サイズのマスク付きサーチ部分
画像Ｗ′（ｉ，ｊ）の分散σ2 W′は、
【００５６】
【数１４】
【００５７】と表わされる。
【００５８】また、
【００５９】
【数１５】
【００６０】とおいて、（７）式をおきかえると、
【００６１】
【数１６】
【００６２】となる。ただし、この式の導出には、定義
より、
より、
【００６３】
【数１７】
【００６４】を用いた。
【００６５】以上により、Ｃｒ′を求めるには、 ａ）（１６）式の分子に示す、変形マスク付きテンプレ
ート画像Ｕ″（ｉ，ｊ）と、サーチ部分画像Ｗ（ｉ，
ｊ）との積和演算（乗算回数は（Ｌ′Ｍ）2 回） ｂ）サーチ部分画像Ｗ（ｉ，ｊ）にマスクをかける（乗
算回数は（Ｌ′Ｍ）2回） ｃ）（１６）式の分母に示す、マスク付きサーチ部分画
像Ｗ′（ｉ，ｊ）の総和と二乗和を計算（乗算回数は
（Ｌ′Ｍ）2 回） を行う。しかし、これまでの説明では、総乗算回数は、
３（Ｌ′Ｍ）2 回であり、依然として演算回数が多い。
ート画像Ｕ″（ｉ，ｊ）と、サーチ部分画像Ｗ（ｉ，
ｊ）との積和演算（乗算回数は（Ｌ′Ｍ）2 回） ｂ）サーチ部分画像Ｗ（ｉ，ｊ）にマスクをかける（乗
算回数は（Ｌ′Ｍ）2回） ｃ）（１６）式の分母に示す、マスク付きサーチ部分画
像Ｗ′（ｉ，ｊ）の総和と二乗和を計算（乗算回数は
（Ｌ′Ｍ）2 回） を行う。しかし、これまでの説明では、総乗算回数は、
３（Ｌ′Ｍ）2 回であり、依然として演算回数が多い。
【００６６】そこで、本発明では、前回のサーチのため
の計算結果を利用して、計算量を大幅に低減させるよう
なパターンマッチングの処理を行う。
の計算結果を利用して、計算量を大幅に低減させるよう
なパターンマッチングの処理を行う。
【００６７】以下、本発明に係るパターンマッチングの
処理を、図１〜図１０に基づいて説明する。
処理を、図１〜図１０に基づいて説明する。
【００６８】まず、テンプレートの作成手順を、図１の
フローチャートに基づいて説明する。ステップＳ１，Ｓ
２では、基準画像を取り込み、その部分画像より、図３
に示すような矩形のテンプレート画像Ｕ（ｉ，ｊ）を作
成する。
フローチャートに基づいて説明する。ステップＳ１，Ｓ
２では、基準画像を取り込み、その部分画像より、図３
に示すような矩形のテンプレート画像Ｕ（ｉ，ｊ）を作
成する。
【００６９】ステップＳ３では、そのテンプレート画像
Ｕ（ｉ，ｊ）と同一サイズ（Ｍ×Ｍ）の、マスク画像Ｒ
（ｉ，ｊ）を作成し、また、座標列コードも同時に作成
する。
Ｕ（ｉ，ｊ）と同一サイズ（Ｍ×Ｍ）の、マスク画像Ｒ
（ｉ，ｊ）を作成し、また、座標列コードも同時に作成
する。
【００７０】ここで、座標列コードについて説明する。
図５に示すようなマスク画像Ｒ（ｉ，ｊ）中で、値が１
の画素の座標列コードを作成し、表１に示すような始点
と終点とからなる座標列を作成する。このマスク画像Ｒ
（ｉ，ｊ）中、１は有感領域、０は不感領域である。こ
こでいう始点、終点とは、画像ラスタ方向に対応する点
である。なお、終点のｘ座標は本来の値に１を加算す
る。
図５に示すようなマスク画像Ｒ（ｉ，ｊ）中で、値が１
の画素の座標列コードを作成し、表１に示すような始点
と終点とからなる座標列を作成する。このマスク画像Ｒ
（ｉ，ｊ）中、１は有感領域、０は不感領域である。こ
こでいう始点、終点とは、画像ラスタ方向に対応する点
である。なお、終点のｘ座標は本来の値に１を加算す
る。
【００７１】
【表１】
【００７２】ステップＳ４では、テンプレート画像Ｕ
（ｉ，ｊ）中で、マスク画像Ｒ（ｉ，ｊ）の値が１の画
素列の平均値Ｕ′を求める。
（ｉ，ｊ）中で、マスク画像Ｒ（ｉ，ｊ）の値が１の画
素列の平均値Ｕ′を求める。
【００７３】ステップＳ５では、テンプレート画像Ｕ
（ｉ，ｊ）中で、マスク画像Ｒ（ｉ，ｊ）の値が１の画
素より、平均値Ｕ′を引き、（１５）式の変形マスク付
きテンプレート画像Ｕ″（ｙ，ｘ）を作成する。
（ｉ，ｊ）中で、マスク画像Ｒ（ｉ，ｊ）の値が１の画
素より、平均値Ｕ′を引き、（１５）式の変形マスク付
きテンプレート画像Ｕ″（ｙ，ｘ）を作成する。
【００７４】ステップＳ６では、変形マスク付きテンプ
レート画像Ｕ″（ｉ，ｊ）中で、マスク画像Ｒ（ｉ，
ｊ）の値が０の画素に０を書き込む。
レート画像Ｕ″（ｉ，ｊ）中で、マスク画像Ｒ（ｉ，
ｊ）の値が０の画素に０を書き込む。
【００７５】ステップＳ７では、変形マスク付きテンプ
レート画像Ｕ″（ｉ，ｊ）中で、（１３）式に示すよう
に、マスク画像Ｒ（ｉ，ｊ）の値が１の画素列の分散σ
2 u′を求める。
レート画像Ｕ″（ｉ，ｊ）中で、（１３）式に示すよう
に、マスク画像Ｒ（ｉ，ｊ）の値が１の画素列の分散σ
2 u′を求める。
【００７６】以上のステップＳ１〜ステップＳ７の処理
により、基準となる変形マスク付きテンプレート画像
Ｕ″（ｉ，ｊ）を作成する。
により、基準となる変形マスク付きテンプレート画像
Ｕ″（ｉ，ｊ）を作成する。
【００７７】次に、上記テンプレート作成手順に引き続
いて処理がなされるサーチ手順を、図２のフローチャー
トに基づいて説明する（本例では、サーチ画像の１列分
の説明を行う）。
いて処理がなされるサーチ手順を、図２のフローチャー
トに基づいて説明する（本例では、サーチ画像の１列分
の説明を行う）。
【００７８】ステップＳ１０では、サーチ画像を取り込
む。ステップＳ１１では、図６に示すように、変形マス
ク付きテンプレート画像の座標Ｕ″（０，０）と、サー
チ画像Ｗ（ｉ，ｊ）中の左上の座標Ｗ（０，０）とを一
致させる。
む。ステップＳ１１では、図６に示すように、変形マス
ク付きテンプレート画像の座標Ｕ″（０，０）と、サー
チ画像Ｗ（ｉ，ｊ）中の左上の座標Ｗ（０，０）とを一
致させる。
【００７９】ステップＳ１２では、（１６）式の分子に
示すように、変形マスク付きテンプレート画像と、座標
Ｗ（０，０）を左上座標とするサーチ部分画像との積和
を求める（乗算回数はＭ2 回）。
示すように、変形マスク付きテンプレート画像と、座標
Ｗ（０，０）を左上座標とするサーチ部分画像との積和
を求める（乗算回数はＭ2 回）。
【００８０】ステップＳ１３では、座標Ｗ（０，０）を
左上座標とするサーチ部分画像にマスクをかけ、図７に
示すように、マスク付きサーチ部分画像Ｗ′（ｉ，ｊ）
を作成する（乗算回数はＭ2 回）。
左上座標とするサーチ部分画像にマスクをかけ、図７に
示すように、マスク付きサーチ部分画像Ｗ′（ｉ，ｊ）
を作成する（乗算回数はＭ2 回）。
【００８１】ステップＳ１４では、（１６）式の分母に
示すように、マスク付きサーチ部分画像Ｗ′（ｉ，ｊ）
の総和と二乗和とを計算する（乗算回数はＭ2 回）。
示すように、マスク付きサーチ部分画像Ｗ′（ｉ，ｊ）
の総和と二乗和とを計算する（乗算回数はＭ2 回）。
【００８２】ステップＳ１５では、（１６）式および図
８に示すように、正規化相関係数Ｃｒ′を求める。
８に示すように、正規化相関係数Ｃｒ′を求める。
【００８３】以上のステップＳ１１〜ステップＳ１５ま
での処理における乗算回数は、およそ、３Ｍ2 回とな
る。
での処理における乗算回数は、およそ、３Ｍ2 回とな
る。
【００８４】次に、ステップＳ１６では、１列目の２番
目の領域について処理する。すなわち、図９に示すよう
に、変形マスク付きテンプレート画像の座標Ｕ″（０，
０）と、サーチ画像Ｗ（ｉ，ｊ）中の座標Ｗ（０，１）
とを一致させる。
目の領域について処理する。すなわち、図９に示すよう
に、変形マスク付きテンプレート画像の座標Ｕ″（０，
０）と、サーチ画像Ｗ（ｉ，ｊ）中の座標Ｗ（０，１）
とを一致させる。
【００８５】ステップＳ１７では、（１６）式の分子に
示すように、変形マスク付きテンプレート画像と、座標
Ｗ（０，１）を左上座標とするサーチ部分画像との積和
を求める（乗算回数はＭ2 回）。
示すように、変形マスク付きテンプレート画像と、座標
Ｗ（０，１）を左上座標とするサーチ部分画像との積和
を求める（乗算回数はＭ2 回）。
【００８６】ステップＳ１８では、前記ステップＳ１４
で求めた、前回の処理で求めた座標Ｗ′（０，０）を左
上座標とするマスク付きサーチ部分画像の総和から、前
記表１に示した座標列コードの始点の画素列の画素値を
引き、さらに、座標列コードの終点の画素列の画素値を
加える。これにより、座標Ｗ′（０，１）を左上座標と
するサーチ部分画像の総和を算出する。従って、この処
理での乗算回数は、０回である。
で求めた、前回の処理で求めた座標Ｗ′（０，０）を左
上座標とするマスク付きサーチ部分画像の総和から、前
記表１に示した座標列コードの始点の画素列の画素値を
引き、さらに、座標列コードの終点の画素列の画素値を
加える。これにより、座標Ｗ′（０，１）を左上座標と
するサーチ部分画像の総和を算出する。従って、この処
理での乗算回数は、０回である。
【００８７】ステップＳ１９では、前記ステップＳ１４
で求めた、前回の処理で求めた座標Ｗ′（０，０）を左
上座標とするマスク付きサーチ部分画像の二乗和から、
前記表１に示した座標列コードの始点の画素列の画素値
を引き、さらに、座標列コードの終点の画素列の画素値
を加える。これにより、座標Ｗ′（０，１）を左上座標
とするおけるサーチ部分画像の二乗和を算出する。従っ
て、この処理での乗算回数は、２Ｍ回である（ただし、
座標列コードの個数をＭとしている）。
で求めた、前回の処理で求めた座標Ｗ′（０，０）を左
上座標とするマスク付きサーチ部分画像の二乗和から、
前記表１に示した座標列コードの始点の画素列の画素値
を引き、さらに、座標列コードの終点の画素列の画素値
を加える。これにより、座標Ｗ′（０，１）を左上座標
とするおけるサーチ部分画像の二乗和を算出する。従っ
て、この処理での乗算回数は、２Ｍ回である（ただし、
座標列コードの個数をＭとしている）。
【００８８】ステップＳ２０では、（１６）式および図
１０に示すように、座標Ｗ′（０，１）が左上座標のと
きの正規化相関係数Ｃｒ′を求める。
１０に示すように、座標Ｗ′（０，１）が左上座標のと
きの正規化相関係数Ｃｒ′を求める。
【００８９】以上のステップＳ１６〜ステップＳ２０ま
での処理における乗算回数は、およそ、Ｍ2 ＋２Ｍ回と
なる。
での処理における乗算回数は、およそ、Ｍ2 ＋２Ｍ回と
なる。
【００９０】ステップＳ２１では、サーチが１列分終了
したかを調べる。１列分終了していなければ、ステップ
Ｓ１６に戻り、同じ列内の残りの正規化相関係数Ｃｒ′
を同様にして求める。
したかを調べる。１列分終了していなければ、ステップ
Ｓ１６に戻り、同じ列内の残りの正規化相関係数Ｃｒ′
を同様にして求める。
【００９１】サーチが１列分終了すれば、ステップＳ２
２に進み、サーチ画像の全領域をサーチしたかを調べ
る。この１列分のサーチが終了した時点での総乗算回数
は、およそ、３Ｍ2 ＋（Ｍ2 ＋２Ｍ）×（Ｌ′−１）回
となる。そして、全領域のサーチが終了していなけれ
ば、ステップＳ１１に戻り、上記同様な処理を繰り返し
て行う。
２に進み、サーチ画像の全領域をサーチしたかを調べ
る。この１列分のサーチが終了した時点での総乗算回数
は、およそ、３Ｍ2 ＋（Ｍ2 ＋２Ｍ）×（Ｌ′−１）回
となる。そして、全領域のサーチが終了していなけれ
ば、ステップＳ１１に戻り、上記同様な処理を繰り返し
て行う。
【００９２】その後、全てのサーチが終了すると、ステ
ップＳ２３に進み、サーチ全領域の正規化相関係数Ｃ
ｒ′の中から、最大値を算出することにより、テンプレ
ート画像とサーチ画像とのマッチングを行うことができ
る。
ップＳ２３に進み、サーチ全領域の正規化相関係数Ｃ
ｒ′の中から、最大値を算出することにより、テンプレ
ート画像とサーチ画像とのマッチングを行うことができ
る。
【００９３】ここで、具体的な数値を挙げて説明する。
【００９４】サーチ画像の１列分の正規化相関係数Ｃ
ｒ′を求めるための乗算回数について計算すると、Ｍ＝
１００、Ｌ′＝４００のとき、 本発明による演算手法：３Ｍ2 ＋（Ｍ2 ＋２Ｍ）×
（Ｌ′−１） 乗算回数＝ ４０９９８００回 従来による演算手法 ：３Ｍ2 ×Ｌ′ 乗算回数＝１２００００００回 となる。これにより、乗算回数は、本発明の方が従来の
手法に比べて、約１／３に低減できることがわかる。
ｒ′を求めるための乗算回数について計算すると、Ｍ＝
１００、Ｌ′＝４００のとき、 本発明による演算手法：３Ｍ2 ＋（Ｍ2 ＋２Ｍ）×
（Ｌ′−１） 乗算回数＝ ４０９９８００回 従来による演算手法 ：３Ｍ2 ×Ｌ′ 乗算回数＝１２００００００回 となる。これにより、乗算回数は、本発明の方が従来の
手法に比べて、約１／３に低減できることがわかる。
【００９５】次に、図１２に示したような本システムの
応用例について説明する。
応用例について説明する。
【００９６】本例では、リードフレームの打点位置の位
置決めを行う例について述べる。リードフレームの間隔
は、高密度のもので２００μｍ程度であり、ＸＹステー
ジの絶対位置精度を頼りに打点位置を決定することは困
難である。
置決めを行う例について述べる。リードフレームの間隔
は、高密度のもので２００μｍ程度であり、ＸＹステー
ジの絶対位置精度を頼りに打点位置を決定することは困
難である。
【００９７】そこで、予め全リードの打点位置をテンプ
レートマッチングにより計測しておき、そのデータをも
とにステージ、キャピラリを移動させるように制御す
る。このような制御のために本システムを用い、モニタ
に１０本程度のリードが見えるように光学系を調整し、
ティーチング時に、テンプレートの登録と、１／１０画
素単位での打点位置を入力して制御を実行する。この場
合、高精度の位置決めを、高速な演算処理によって行う
ことが可能である。
レートマッチングにより計測しておき、そのデータをも
とにステージ、キャピラリを移動させるように制御す
る。このような制御のために本システムを用い、モニタ
に１０本程度のリードが見えるように光学系を調整し、
ティーチング時に、テンプレートの登録と、１／１０画
素単位での打点位置を入力して制御を実行する。この場
合、高精度の位置決めを、高速な演算処理によって行う
ことが可能である。
【００９８】
【発明の効果】以上説明したように、本発明によれば、
テンプレート画像に不感領域が設定されている場合のパ
ターンマッチングの処理において、前回のサーチ部分画
像の演算工程で求めた計算値（総和と二乗和）を利用し
て、今回のサーチ部分画像を、値が１を示す画素列の始
点と終点とを示す座標列コードに対応させて演算処理を
行うようにしたので、正規化相関係数の計算量を大幅に
低減させ、演算処理速度を向上させることが可能とな
る。
テンプレート画像に不感領域が設定されている場合のパ
ターンマッチングの処理において、前回のサーチ部分画
像の演算工程で求めた計算値（総和と二乗和）を利用し
て、今回のサーチ部分画像を、値が１を示す画素列の始
点と終点とを示す座標列コードに対応させて演算処理を
行うようにしたので、正規化相関係数の計算量を大幅に
低減させ、演算処理速度を向上させることが可能とな
る。
【図１】本発明の実施の形態であるテンプレートの作成
手順を示すフローチャートである。
手順を示すフローチャートである。
【図２】本発明の実施の形態であるサーチ手順を示すフ
ローチャートである。
ローチャートである。
【図３】テンプレート画像およびサーチ画像の構成例を
示す説明図である。
示す説明図である。
【図４】マスク画像の構成例を示す説明図である。
【図５】マスク画像中で、値が１の画素列の座標列コー
ドを示す説明図である。
ドを示す説明図である。
【図６】サーチ部分画像とマスク付きテンプレート画像
との対応関係を示す説明図である。
との対応関係を示す説明図である。
【図７】マスク付きサーチ部分画像を示す説明図であ
る。
る。
【図８】マスク付きサーチ部分画像における正規化相関
係数を示す説明図である。
係数を示す説明図である。
【図９】同一列内の他のサーチ部分画像とマスク付きテ
ンプレート画像との対応関係を示す説明図である。
ンプレート画像との対応関係を示す説明図である。
【図１０】同一列内の他のマスク付きサーチ部分画像に
おける正規化相関係数を示す説明図である。
おける正規化相関係数を示す説明図である。
【図１１】本発明に係るシステムの構成例を示すブロッ
ク図である。
ク図である。
【図１２】パターンマッチング装置の内部構成例を示す
ブロック図である。
ブロック図である。
１ パターンマッチング装置 １００ サーチ画像入力手段 １０１ 基準画像作成手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 北川 雅彦 滋賀県野洲郡野洲町大字市三宅800番地 日本アイ・ビー・エム株式会社 野洲 事業所内 (72)発明者 柳川 昭 滋賀県野洲郡野洲町大字市三宅800番地 日本アイ・ビー・エム株式会社 野洲 事業所内 (56)参考文献 特開 平５−250475（ＪＰ，Ａ) 特開 平１−201784（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G06F 17/15 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (4)
- 【請求項１】 テンプレート画像とサーチ画像とのマッ
チングを行う画像処理方法であって、 基準画像を取り込み、該取り込んだ部分画像により不感
領域と有感領域とが混在するテンプレート画像を作成す
る工程と、 前記作成されたテンプレート画像と同一サイズのマスク
画像中で、前記有感領域を示す値が１の画素列に基づい
て画像ラスタ方向の始点と終点との座標列からなる座標
列コードを作成する工程と、 前記テンプレート画像に前記値が１の画素列のマスク画
像をかけ、マスク付きテンプレート画像の分散を求める
工程と、 サーチ画像を取り込み、該取り込んだサーチ部分画像と
前記マスク付きテンプレート画像との積和を演算するこ
とにより共分散を求める工程と、 前記サーチ部分画像に前記値が１の画素列のマスク画像
をかけ、マスク付きサーチ部分画像の総和と二乗和とを
算出する工程と、 前記座標列コードの終点の座標列に対応する前記マスク
付きサーチ部分画像の総和から、該座標列コードの始点
の座標列に対応する前記マスク付きサーチ部分画像の総
和を引く工程と、 前記座標列コードの終点の座標列に対応する前記マスク
付きサーチ部分画像の二乗和から、該座標列コードの始
点の座標列に対応する前記マスク付きサーチ部分画像の
二乗和を引く工程と、 前記マスク付きサーチ部分画像の総和と二乗和とから、
前記マスク付きテンプレート画像と同一サイズのマスク
付きサーチ部分画像の分散を求める工程と、 前記マスク付きテンプレート画像の分散と前記共分散と
前記マスク付きサーチ部分画像の分散とから正規化相関
係数を算出する工程と、 該正規化相関係数が最大となる座標値を求めることによ
り、テンプレート画像とサーチ画像とのマッチングを判
定する工程とを具えたことを特徴とする画像処理方法。 - 【請求項２】 テンプレート画像とサーチ画像とのマッ
チングを行う装置であって、 基準画像を取り込み、該取り込んだ部分画像により不感
領域と有感領域とが混在するテンプレート画像を作成す
る手段と、 前記作成されたテンプレート画像と同一サイズのマスク
画像中で、前記有感領域を示す値が１の画素列に基づい
て画像ラスタ方向の始点と終点との座標列からなる座標
列コードを作成する手段と、 前記テンプレート画像に前記値が１の画素列のマスク画
像をかけ、マスク付きテンプレート画像の分散を求める
手段と、 サーチ画像を取り込み、該取り込んだサーチ部分画像と
前記マスク付きテンプレート画像との積和を演算するこ
とにより共分散を求める手段と、 前記サーチ部分画像に前記値が１の画素列のマスク画像
をかけ、マスク付きサーチ部分画像の総和と二乗和とを
算出する手段と、 前記座標列コードの終点の座標列に対応する前記マスク
付きサーチ部分画像の総和から、該座標列コードの始点
の座標列に対応する前記マスク付きサーチ部分画像の総
和を引く手段と、 前記座標列コードの終点の座標列に対応する前記マスク
付きサーチ部分画像の二乗和から、該座標列コードの始
点の座標列に対応する前記マスク付きサーチ部分画像の
二乗和を引く手段と、 前記マスク付きサーチ部分画像の総和と二乗和とから、
前記マスク付きテンプレート画像と同一サイズのマスク
付きサーチ部分画像の分散を求める手段と、 前記マスク付きテンプレート画像の分散と前記共分散と
前記マスク付きサーチ部分画像の分散とから正規化相関
係数を算出する手段と、 該正規化相関係数が最大となる座標値を求めることによ
り、テンプレート画像とサーチ画像とのマッチングを判
定する手段とを具えたことを特徴とする画像処理装置。 - 【請求項３】 基準画像に対するサーチ画像のマッチン
グ処理を行うシステムであって、 前記基準画像を作成する基準画像作成手段と、 前記サーチ画像を取り込むサーチ画像入力手段と、 前記基準画像および前記サーチ画像を取り込みマッチン
グ処理を行う前記請求項２記載の画像処理装置とを具え
たことを特徴とする画像処理システム。 - 【請求項４】 コンピュータによってテンプレート画像
とサーチ画像とのマッチングを制御するための制御プロ
グラムを記録した記録媒体であって、 該制御プログラムはコンピュータに、 基準画像を取り込ませ、該取り込ませた部分画像により
不感領域と有感領域とが混在するテンプレート画像を作
成させ、 前記作成させたテンプレート画像と同一サイズのマスク
画像中で、前記有感領域を示す値が１の画素列に基づい
て画像ラスタ方向の始点と終点との座標列からなる座標
列コードを作成させ、 前記テンプレート画像に前記値が１の画素列のマスク画
像をかけさせ、マスク付きテンプレート画像の分散を求
めさせ、 サーチ画像を取り込ませ、該取り込んだサーチ部分画像
と前記マスク付きテンプレート画像との積和を演算させ
ることにより共分散を求めさせ、 前記サーチ部分画像に前記値が１の画素列のマスク画像
をかけさせ、マスク付きサーチ部分画像の総和と二乗和
とを算出させ、 前記座標列コードの終点の座標列に対応する前記マスク
付きサーチ部分画像の総和から、該座標列コードの始点
の座標列に対応する前記マスク付きサーチ部分画像の総
和を引かせ、 前記座標列コードの終点の座標列に対応する前記マスク
付きサーチ部分画像の二乗和から、該座標列コードの始
点の座標列に対応する前記マスク付きサーチ部分画像の
二乗和を引かせ、 前記マスク付きサーチ部分画像の総和と二乗和とから、
前記マスク付きテンプレート画像と同一サイズのマスク
付きサーチ部分画像の分散を求めさせ、 前記マスク付きテンプレート画像の分散と前記共分散と
前記マスク付きサーチ部分画像の分散とから正規化相関
係数を算出させ、 該正規化相関係数が最大となる座標値を求めさせること
により、テンプレート画像とサーチ画像とのマッチング
を判定させることを特徴とするパターンマッチング処理
制御プログラムを記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17733997A JP3166905B2 (ja) | 1997-07-02 | 1997-07-02 | パターンマッチングによる画像処理方法およびシステム |
| US09/093,708 US6088483A (en) | 1997-07-02 | 1998-06-08 | Image processing method for system employing pattern matching |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17733997A JP3166905B2 (ja) | 1997-07-02 | 1997-07-02 | パターンマッチングによる画像処理方法およびシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1131224A JPH1131224A (ja) | 1999-02-02 |
| JP3166905B2 true JP3166905B2 (ja) | 2001-05-14 |
Family
ID=16029245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17733997A Expired - Fee Related JP3166905B2 (ja) | 1997-07-02 | 1997-07-02 | パターンマッチングによる画像処理方法およびシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6088483A (ja) |
| JP (1) | JP3166905B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103310228A (zh) * | 2013-05-28 | 2013-09-18 | 南京邮电大学 | 基于归一化相关系数的模板匹配高速并行实现方法和装置 |
| US9053393B2 (en) | 2010-03-19 | 2015-06-09 | Canon Kabushiki Kaisha | Learning method and apparatus for pattern recognition |
| CN105426918A (zh) * | 2015-11-23 | 2016-03-23 | 南京航空航天大学 | 归一化相关图像模板匹配高效实现方法 |
| CN107609576A (zh) * | 2017-08-23 | 2018-01-19 | 南京邮电大学 | 融合大模板图的模板匹配并行实现方法及装置 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3606430B2 (ja) * | 1998-04-14 | 2005-01-05 | 松下電器産業株式会社 | 画像整合性判定装置 |
| US6415282B1 (en) * | 1998-04-22 | 2002-07-02 | Nec Usa, Inc. | Method and apparatus for query refinement |
| US6882746B1 (en) * | 1999-02-01 | 2005-04-19 | Thomson Licensing S.A. | Normalized bitmap representation of visual object's shape for search/query/filtering applications |
| JP3874985B2 (ja) * | 2000-02-18 | 2007-01-31 | 富士通株式会社 | 画像演算装置 |
| US7395261B1 (en) | 2000-11-21 | 2008-07-01 | Amy Hobbs Atzel | System and method for ordering items |
| IL141650A (en) * | 2001-02-26 | 2005-12-18 | Elop Electrooptics Ind Ltd | Method and system for tracking an object |
| DE10110275A1 (de) * | 2001-03-02 | 2002-09-19 | Daimler Chrysler Ag | Verfahren zur Kennzeichnung von gespeicherter Information |
| FR2831304A1 (fr) * | 2001-10-23 | 2003-04-25 | St Microelectronics Sa | Detection d'un motif dans une image numerique |
| US7233696B2 (en) * | 2002-07-12 | 2007-06-19 | Hill Richard K | Apparatus and method for characterizing digital images using a two axis image sorting technique |
| US20040010529A1 (en) * | 2002-07-15 | 2004-01-15 | Adc Dsl Systems, Inc. | Digital correlation |
| US20040057536A1 (en) * | 2002-09-20 | 2004-03-25 | Adc Dsl Systems, Inc. | Digital correlator for multiple sequence detection |
| US20040098605A1 (en) * | 2002-11-15 | 2004-05-20 | Adc Dsl Systems, Inc. | Prospective execution of function based on partial correlation of digital signature |
| US7110603B2 (en) * | 2003-04-16 | 2006-09-19 | Lee Shih-Jong J | Fast invariant matching using template decomposition and synthesis |
| JP3886471B2 (ja) * | 2003-05-20 | 2007-02-28 | ファナック株式会社 | 画像処理装置 |
| US7463773B2 (en) * | 2003-11-26 | 2008-12-09 | Drvision Technologies Llc | Fast high precision matching method |
| US8219940B2 (en) * | 2005-07-06 | 2012-07-10 | Semiconductor Insights Inc. | Method and apparatus for removing dummy features from a data structure |
| JP4966893B2 (ja) * | 2008-03-13 | 2012-07-04 | 株式会社日立ハイテクノロジーズ | 一致度計算装置及び方法、プログラム |
| US9448064B2 (en) * | 2012-05-24 | 2016-09-20 | Qualcomm Incorporated | Reception of affine-invariant spatial mask for active depth sensing |
| CN103400384B (zh) * | 2013-07-22 | 2016-05-25 | 西安电子科技大学 | 结合区域匹配和点匹配的大视角图像匹配方法 |
| US10573034B2 (en) | 2018-04-13 | 2020-02-25 | Honeywell International Inc. | System and method for translation of graphics to newer format using pattern matching |
| US10747207B2 (en) | 2018-06-15 | 2020-08-18 | Honeywell International Inc. | System and method for accurate automatic determination of “alarm-operator action” linkage for operator assessment and alarm guidance using custom graphics and control charts |
| US10699159B2 (en) | 2018-08-17 | 2020-06-30 | Honeywell International Inc. | Objects aggregation and standardization for legacy graphics conversion |
| CN110084269A (zh) * | 2019-03-20 | 2019-08-02 | 合肥名德光电科技股份有限公司 | 基于云计算的图像特征优化方法 |
| US11042957B1 (en) | 2019-12-12 | 2021-06-22 | Honeywell International Inc. | Identification of process and control linkages from custom graphics for the purpose of backbuilding standard operating procedures |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
| JP3724014B2 (ja) * | 1994-08-25 | 2005-12-07 | ソニー株式会社 | 画像認識装置および画像認識方法 |
| JP2630923B2 (ja) * | 1994-12-05 | 1997-07-16 | 日本アイ・ビー・エム株式会社 | 画像認識方法及び装置 |
| US5809171A (en) * | 1996-01-05 | 1998-09-15 | Mcdonnell Douglas Corporation | Image processing method and apparatus for correlating a test image with a template |
| US5943442A (en) * | 1996-06-12 | 1999-08-24 | Nippon Telegraph And Telephone Corporation | Method of image processing using parametric template matching |
-
1997
- 1997-07-02 JP JP17733997A patent/JP3166905B2/ja not_active Expired - Fee Related
-
1998
- 1998-06-08 US US09/093,708 patent/US6088483A/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9053393B2 (en) | 2010-03-19 | 2015-06-09 | Canon Kabushiki Kaisha | Learning method and apparatus for pattern recognition |
| US10902285B2 (en) | 2010-03-19 | 2021-01-26 | Canon Kabushiki Kaisha | Learning method and apparatus for pattern recognition |
| CN103310228A (zh) * | 2013-05-28 | 2013-09-18 | 南京邮电大学 | 基于归一化相关系数的模板匹配高速并行实现方法和装置 |
| CN103310228B (zh) * | 2013-05-28 | 2017-09-29 | 南京邮电大学 | 基于归一化相关系数的模板匹配高速并行实现方法和装置 |
| CN105426918A (zh) * | 2015-11-23 | 2016-03-23 | 南京航空航天大学 | 归一化相关图像模板匹配高效实现方法 |
| CN105426918B (zh) * | 2015-11-23 | 2019-01-08 | 南京航空航天大学 | 归一化相关图像模板匹配高效实现方法 |
| CN107609576A (zh) * | 2017-08-23 | 2018-01-19 | 南京邮电大学 | 融合大模板图的模板匹配并行实现方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6088483A (en) | 2000-07-11 |
| JPH1131224A (ja) | 1999-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3166905B2 (ja) | パターンマッチングによる画像処理方法およびシステム | |
| JP2002269559A (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| CN111667504B (zh) | 一种人脸追踪方法、装置及设备 | |
| JP2020204894A (ja) | フィルタ処理装置及びその制御方法 | |
| JP2001250121A (ja) | 画像認識装置および記録媒体 | |
| CN112532884B (zh) | 识别方法、装置及电子设备 | |
| CN110610178A (zh) | 图像识别方法、装置、终端及计算机可读存储介质 | |
| CN112348069B (zh) | 数据增强方法、装置、计算机可读存储介质及终端设备 | |
| CN115660969A (zh) | 图像处理方法、模型训练方法、装置、设备和存储介质 | |
| CN114360044A (zh) | 手势识别方法、装置、终端设备及计算机可读存储介质 | |
| JPH11175692A (ja) | 関節の動きデータ収集装置 | |
| US8358803B2 (en) | Navigation using fourier phase technique | |
| WO2022153481A1 (en) | Posture estimation apparatus, learning model generation apparatus, method, and computer-readable recordingmedium | |
| JP3224399U (ja) | 化粧評価装置および化粧評価システム | |
| US11682227B2 (en) | Body and hand association method and apparatus, device, and storage medium | |
| CN113643318B (zh) | 图像分割方法、图像分割装置及终端设备 | |
| JP3024254B2 (ja) | 曲線描画方法及び装置 | |
| JPH05189570A (ja) | 濃淡画像パターンマッチング方法及びその装置並びに欠陥検出装置と文字認識装置と位置決め装置 | |
| JP3464463B2 (ja) | 画像処理装置 | |
| WO2023275941A1 (en) | Image processing apparatus, feature map generating apparatus, learning model generation apparatus, image processing method, and computer-readable recording medium | |
| JPH07105382A (ja) | 動画像処理装置 | |
| JP3721681B2 (ja) | テンプレートマッチング方法及び装置 | |
| JP2003124815A (ja) | 部分選択変換装置、部分選択変換方法及び部分選択変換プログラム | |
| JP2788804B2 (ja) | 素子領域抽出方法 | |
| JP2000285237A (ja) | 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |