JPH0749949A - 探索点絞り込み方法、追跡型画像位置決め方法、および画像探索方法 - Google Patents

Abstract

(57)【要約】 【目的】 ピラミッド構造データを用いた画像検索にお
いて最上層において探索点を絞り込むことにより画像探
索の速度を向上させる。 【構成】 最上層の全ての点の縮小テンプレートに対す
る相関値を算出し、所定のしきい値以上の相関値を有す
る点群を得て、それぞれの点群において一番大きな相関
値を有する点を見つけて、その点を最上層における唯一
の探索点として決定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、探索点絞り込み方
法、追跡型画像位置決め方法、および画像探索方法に関
し、さらに詳細にいえば、ピラミッド構造データを用い
た探索点絞り込み方法、追跡型画像位置決め方法、およ
び画像探索方法に関する。

【０００２】

【従来の技術】従来から、画像の中からある特定の画像
（以下、テンプレート画像と称する）が含まれているか
否かを探索することが行われている。特に、大規模な画
像の有するデータ量は膨大であり、原画像の全体に対し
て最初からテンプレート画像によるマッチングを行なう
と多大な処理時間がかかることになる。そこで原画像と
テンプレートのマッチングを行なう場合にピラミッド構
造データを用いて画像探索を行なう方法が提案されてい
る。ピラミッド構造データによる画像探索とは解像度を
落とした最上層で概略マッチングを行なってから、次第
に解像度の高い下層で詳細なマッチングを行なうことに
より画像探索処理を高速化する方法である。

【０００３】上記ピラミッド構造データを用いた画像探
索の一例について説明する。図９はピラミッド構造デー
タの一例を示す図であり、１００×１００画素からなる
原画像１１に対して画素数が横，縦ともに１／２になる
第２層１２（５０×５０画素）と、画素数が横，縦とも
に（１／２）²になる第３層１３（２５×２５画素）を
示したものである。原画像１１に対してテンプレート画
像１１ａが４０×４０画素の大きさで与えられている場
合は、最上層の第３層１３において原画像１１の縮小比
率に対応する縮小テンプレート画像１３ａ（１０×１０
画素）でマッチングを行なうようにする。そして下層で
ある第２層１２において詳しくマッチング処理を行なう
範囲を特定するとともに、さらに最下層である原画像１
１における探索領域を特定してテンプレート画像１１ａ
によるマッチング処理を行なう。

【０００４】このようにピラミッド構造データの階層間
の幾何学的対応に基づいてマッチング処理を行なうこと
により、マッチング処理を行なう点の数が大幅に減少で
き、テンプレート画像の探索を高速化することができ
る。

【０００５】

【発明が解決しようとする課題】しかしながら、原画像
１１とテンプレート画像１１ａとのサイズの比率が大き
くなると、最上層１３においてマッチングを行なう点の
数が少なくなり相対的にマッチングの精度が低下するの
であるから、結果として最下層１１における探索領域の
位置決めの精度が低下するという問題が生ずる。この問
題に対し、最上層１３で解像度を落とした縮小テンプレ
ート画像１３ａを使用するとともに、最上層１３におい
て得られた探索点とともに探索点の近傍の点も探索点と
して特定することにより、最下層１１において探索領域
を広めに確保する方法が提案されているが、最上層１３
での探索点の数が増えることは、各層における探索点ご
との処理時間が加算されることになるのであるから、ピ
ラミッド構造を採用することによる演算時間の短縮の効
果が低下してしまう問題が生じる。

【０００６】また、ピラミッド構造を採用し、上記誤探
索を防ぐために複数の探索点を特定しても、第２層から
特定された探索点に基づいてテンプレート画像１１ａが
探索する探索領域を位置決めしても、最下層である原画
像１１において、本来探索しなければならない領域から
ずれることがあり、正確なマッチング処理ができないと
いう問題がある。

【０００７】

【発明の目的】この発明は上記の問題点に鑑みてなされ
たものであり、最上層において精度を落とすことなく探
索点を絞り込むことができる探索点絞り込み方法と、最
下層において探索領域の位置決め精度を向上させること
のできる追跡型画像位置決め方法と、原画像とテンプレ
ート画像とのサイズの比率が大きい場合でも画像探索を
高速化することができるとともに、最下層での位置決め
精度を向上させることのできる画像探索方法とを提供す
ることを目的としている。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めの、請求項１の探索点絞り込み方法は、ピラミッド構
造データを用いた画像探索に使用する最上層での探索点
絞り込み方法であって、最上層の全ての点の縮小テンプ
レートに対する相関値を算出し、所定のしきい値以上の
相関値を有する点群を得て、各点群内において最大の相
関値を有する点を見つけ、見つけた点を最上層における
探索点として決定する。

【０００９】請求項２の追跡型画像位置決め方法は、ピ
ラミッド構造データを用いた画像探索に使用する最下層
での追跡型画像位置決め方法であって、上位層から順次
特定された探索点を最下層において得て、探索点と探索
点の周囲の点の相関値を算出し、探索点の相関値より大
きい相関値を有する周囲の点があるか否かを判別し、探
索点の相関値より大きい相関値を有する周囲の点がある
と判別された場合はその周囲の点を新たに探索点として
設定する処理と、探索点の相関値より大きい相関値を有
する周囲の点があるか否かの判別処理を探索点の相関値
より大きい相関値を有する周囲の点がないと判別される
まで繰返し行ない、探索点の相関値より大きい相関値を
有する周囲の点がないと判別された場合に当該探索点に
基づいてテンプレート画像が探索する探索領域の位置決
めを行なう。

【００１０】請求項３の画像探索方法は、ピラミッド構
造データを用いた画像探索方法において、原画像からピ
ラミッド構造データを生成し、最上層において請求項１
に記載の探索点絞り込み方法を適用した探索点絞り込み
処理を行ない、得られた探索点に基づいて最上層の一つ
下の層から第２層まで、順次、探索点を特定する処理を
行ない、最下層において請求項２に記載の追跡型画像位
置決め方法を用いてテンプレート画像が探索する探索領
域の位置決めを行なう。

【００１１】

【作用】請求項１の探索点絞り込み方法であれば、最上
層の全ての点の縮小テンプレートに対する相関値を算出
し、所定のしきい値以上の相関値を有する点群を得るこ
とにより、縮小テンプレートに対して相関のある領域を
抽出することができ、さらに各点群内において最大の相
関値を有する点を見つけ、見つけた点を最上層における
探索点として決定することにより、各点群内で縮小テン
プレートの位置として最も確率の高い１点を探索点とし
て決定することができる。したがって、探索精度の低下
を防ぐために最上層において複数の探索点を特定する従
来の方法に比べて、精度を落とすことなく、画像探索の
速度を向上させることができる。

【００１２】請求項２の追跡型画像位置決め方法であれ
ば、一連の処理により探索点の相関値より大きい相関値
を有する周囲の点がないと判別された場合には、当該探
索点は周囲の点に比べてテンプレード画像に対して最も
一致度が高い点となるのであるから、第２層において特
定された探索点が最下層において若干の位置ずれがあっ
たとしても、最終的には最も最適な位置に位置決めする
ことができ、テンプレート画像が探索する探索領域を適
切に設定することができる。

【００１３】請求項３の画像探索方法であれば、最上層
において請求項１に記載の探索点絞り込み方法を適用し
た探索点絞り込み処理を行なうことにより、探索点を１
つに絞ることができ、従来のように複数の探索点を有す
る方法に比べて、得られた探索点に基づいて最上層の一
つ下の層から第２層における探索点を特定する処理に要
する時間を少なくすることができ、画像探索の高速化を
達成できる。さらに、最下層において請求項２に記載の
追跡型画像位置決め方法を用いてテンプレート画像が探
索する探索領域の位置決めを行なうことにより、探索領
域の位置決め精度を向上させることができ、結果的に画
像探索の精度を高めることができる。

【００１４】

【実施例】以下、実施例を示す添付図面によって詳細に
説明する。図１はこの発明の探索点絞り込み方法の一実
施例を示すフローチャートである。この探索点絞り込み
方法においては、まず、ステップＳＰ１において最上層
の全ての点の縮小テンプレート画像に対する相関値を算
出し、ステップＳＰ２において所定画像方向（例えば、
横方向をＸ方向，縦方向をＹ方向とした場合にＸ方向）
の所定のしきい相関値以上の相関値を有する点群を得
て、ステップＳＰ３においてそれぞれの点群においてＸ
方向における最大の相関値を有する点を見つけ、ステッ
プＳＰ４において見つけられたＸ方向における最大相関
値を有する点の中から一番大きな相関値を有する点を見
つけ、その点を最上層の当該点群の探索点として決定し
て一連の処理を終了する。

【００１５】図２を参照しつつさらに詳細に説明する。
図２（ａ）はサーチ画像において各点の相関値を算出し
て、しきい相関値よりも大きい相関値を有する点の集ま
りを点群とした状態を示した図であり、点群１と点群２
がある状態を示している。なお、縮小テンプレート画像
と最上層のサーチ画像との相関値の算出には正規相関法
を採用することが好ましい。図２（ａ）に示すように、
あるしきい相関値以上の点は最大相関値を有する点の周
りに集まり、群を構成する。このような点群は通常、走
査ライン（Ｘ方向）ごとにしきい相関値以上の点を抽出
することにより得られる。次いで各点群においてＸ方向
の相関値が最大となる点を見つけ、図２（ｂ）に示すよ
うに点群１についてはｐ１，ｐ２，ｐ３が、点群２につ
いてはｐ４，ｐ５，ｐ６がそれぞれの点群におけるＸ方
向の最大相関値を有する点として抽出される。次いで点
群１においてｐ１，ｐ２，ｐ３の中で最大の相関値を有
する点を見つけて、例えばｐ３の相関値が一番大きい場
合には点群１を代表する探索点をｐ３と決定する。同様
に点群２についてもｐ５の相関値が一番大きい場合には
点群２を代表する探索点をｐ５と決定する。

【００１６】このように各点群において各点群を代表す
る探索点を各点群の最大相関値を有する点とすることに
より、図２（ｃ）の黒い三角形で示す点ｐ３，ｐ５のよ
うに各点群において探索点を１点に絞り込むことができ
る。従来ならばマッチング点とその周囲の点を全て最上
層の探索点として決定していたために探索点の数が多く
なり探索速度が低下したが、この実施例の探索点絞り込
み方法によれば、所定のしきい相関値以上の相関値を有
する点群の中から最も探索点として確率の高いと思われ
る１点を探索点として決定するようにしているので、従
来の方法に比べて探索点の数を減らすことができ、精度
を落とすことなく、画像探索処理を高速化することがで
きる。また、正規相関値を最上層の点において算出する
時間は、探索点が複数存在することによる探索時間の増
加に比べればはるかに少ないので、探索時間の短縮化を
達成することができる。

【００１７】

【実施例２】図３はこの発明の追跡型画像位置決め方法
の一実施例を示すフローチャートである。この実施例の
追跡型画像位置決め方法は最下層でのマッチング処理に
適用されるものである。この追跡型画像位置決め方法に
おいては、まずステップＳＰ１において第２層で特定さ
れた探索点を最下層において得て、ステップＳＰ２にお
いて探索点と探索点の周囲の点の相関値を算出し、ステ
ップＳＰ３において周囲の点の相関値と探索点の相関値
の内、最大の相関値を有する点を探し、ステップＳＰ４
において最大の相関値を有する点が探索点であるか否か
を判別し、最大の相関値を有する点が探索点でないと判
別された場合はステップＳＰ５において最大の相関値を
有する周囲の点を新たに探索点として設定し、ステップ
ＳＰ２の処理を行なう。そしてステップＳＰ４において
最大の相関値を有する点が探索点であると判別された場
合はステップＳＰ６において当該探索点を位置決め点と
認定して一連の処理を終了する。

【００１８】この実施例の追跡型画像位置決め方法につ
いて図４、図５を参照しつつさらに説明する。図４は第
２層により特定された探索点が正しい位置にある場合の
周囲領域の相関値分布を示した図である。図４のように
正しい位置Ｑ１に探索点がある場合には位置Ｑ１の相関
値は周囲の相関値Ｑ２，Ｑ３よりも必ず大きくなる。し
たがって図５（ａ）に示すように探索点を中心点０とす
ると正しい位置Ｑ１に存在すれば、周囲の点１ａ，２
ａ，３ａ，４ａ，５ａ，６ａ，７ａ，８ａの相関値は全
て中心点０の相関値よりも低いことになる。そこで、図
５（ａ）の状態で周囲の点の相関値を算出して、中心点
０の相関値と比較する。そして例えば、点３が中心点０
の相関値よりも高いと判別された場合は、図６（ｂ）に
示すように点３ａの位置を中心点０の位置にして、再
び、その中心点０の周囲の点の相関値を算出して中心点
０の相関値と比較する。そして例えば、図５（ｂ）にお
いて点４ａが中心点０の相関値よりも高いと判別された
場合は、図５（ｃ）に示すように点４ａの位置を中心点
０の位置にして、再び、その中心点０の周囲の点の相関
値を算出して中心点０の相関値と比較する。このように
順次、中心点０の相関値と、周囲の点の領域３１，３
２，３３の相関値とを比較し、中心点の相関値が周囲の
点の相関値よりも高い状態になったときに図４に示す正
しい位置Ｑ１に到達したと判別して位置決め処理を終了
する。

【００１９】この実施例の追跡型画像位置決め方法によ
れば、ピラミッド構造を採用した階層的画像探索におけ
る最下層の探索領域の位置決めにおいて、第２層の探索
点による位置決めが若干ずれていても、位置決め精度を
簡単に向上させることができ、結果として精度の高い画
像探索が可能になる。

【００２０】

【実施例３】図６はこの発明の追跡型画像位置決め方法
の他の実施例を示すフローチャートである。この追跡型
画像位置決め方法の特徴的な点は、前記第２実施例の追
跡型画像位置決め方法により得られた最大相関値を持つ
点を画素よりも小さい単位で位置決めを行なうようにし
た点のみである。

【００２１】すなわち、図６に示すフローチャートにお
いてステップＳＰ１からステップＳＰ５までの処理は図
３に示す前記第２実施例と同様であり、ステップＳＰ４
において最大の相関値を有する点が探索点であると判別
された場合は、ステップＳＰ６において探索点と周囲の
点の相関値分布を求め、ステップＳＰ７において得られ
た相関値分布に基づいて画素より小さい単位において、
最大相関値を有する点の座標を求め、ステップＳＰ８に
おいてその最大相関値を有する点を位置決め点に認定し
て一連の処理を終了する。

【００２２】図７を参照しつつこの実施例の追跡型画像
位置決め方法について説明する。図７は第２実施例の追
跡型画像位置決め方法によって特定された探索点と周囲
の点の相関値の分布の一例を示した図である。図８に示
す相関値の分布では中心点０と周辺の点８ａ，４ａとを
比較すると、中心点０が一番相関値が大きいが、中心点
０と点４ａの間に相関値が最大となる位置Ｒ１があるこ
とが理解できる。したがって、この相関値が最大となる
点Ｒ１（画素単位よりも小さい値）を探し出し、その点
Ｒ１を基準にしてテンプレート画像が探索する探索領域
を特定することにより、一層位置決めの精度を向上させ
ることができる。

【００２３】

【実施例４】図８はこの発明の画像探索方法の一実施例
を示すフローチャートである。この画像探索方法は前記
第１実施例に示したピラミッド構造における探索点絞り
込み方法と、第２実施例あるいは第３実施例に示した追
跡型画像位置決め方法をともに採用したピラミッド構造
による画像探索方法である。

【００２４】以下、フローチャートにしたがって説明す
ると、まず、ステップＳＰ１において原画像からピラミ
ッド構造データを生成し、ステップＳＰ２において最上
層（第Ｌ層）において第１実施例の探索点絞り込み方法
を適用した探索点絞り込み処理を行ない、ステップＳＰ
３において第（Ｌ−１）層から第２層まで順次、探索点
を特定する処理を行ない、ステップＳＰ４において最下
層における探索領域の位置決めを第２実施例あるいは第
３実施例に示した追跡型画像位置決め方法により行な
い、所定のマッチング処理により画像探索を行なう。

【００２５】この実施例の画像探索方法によれば、ステ
ップＳＰ２における画像絞り込み処理により、最上層か
ら探索する点の数を減らすことができ、結果的にステッ
プＳＰ３における探索時間を減らすことができる。ま
た、ステップＳＰ４における追跡型画像位置決め方法に
より位置決め精度を向上させることができるので、全体
として画像探索に要する時間を大幅に短縮することがで
きるとともに画像探索の精度を向上させることができ
る。

【００２６】

【発明の効果】以上のように、請求項１の発明は、各点
群内で最も最適な点を探索点として決定することができ
るのであるから、最上層において複数の点を探索点とし
て特定する従来の方法に比べて、精度を落とすことな
く、画像探索の速度を向上させることができるという特
有の効果を奏する。

【００２７】請求項２の発明は、最終的に得られる探索
点は周囲の点に比べて最もテンプレード画像に対して一
致度が高い点となるのであるから、第２層において特定
された探索点が最下層において若干の位置ずれがあった
としても、最終的には最も最適な点に位置決めすること
ができ、探索領域の位置決め精度を向上させることがで
きるという特有の効果を奏する。

【００２８】請求項３の発明は、請求項１に記載の探索
点絞り込み方法による画像探索時間短縮の効果と、請求
項２に記載の追跡型画像位置決め方法による探索領域の
位置決め精度を向上の効果をともに亨受でき、結果的に
画像探索の速度および画像探索の精度を高めることがで
きるという特有の効果を奏する。

【図面の簡単な説明】

【図１】この発明の探索点絞り込み方法の一実施例を示
すフローチャートである。

【図２】探索点絞り込み方法を説明するための図であ
る。

【図３】この発明の追跡型画像位置決め方法の一実施例
を示すフローチャートである。

【図４】追跡型画像位置決め方法を説明するための図で
ある。

【図５】追跡型画像位置決め方法を説明するための図で
ある。

【図６】この発明の追跡型画像位置決め方法の他の実施
例を示すフローチャートである。

【図７】図６に示す追跡型画像位置決め方法を説明する
ための図である。

【図８】この発明の画像探索方法の一実施例を示すフロ
ーチャートである。

【図９】ピラミッド構造を用いた画像探索方法の一例を
説明するための図である。

【符号の説明】

１ 点群 ２ 点群

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ピラミッド構造データを用いた画像探索
   に使用する最上層での探索点絞り込み方法であって、最
   上層の全ての点の縮小テンプレートに対する相関値を算
   出し、所定のしきい値以上の相関値を有する点群（１）
   （２）を得て、各点群内において最大の相関値を有する
   点を見つけ、見つけた点を最上層における探索点として
   決定することを特徴とする最上層での探索点絞り込み方
   法。
2. 【請求項２】 ピラミッド構造データを用いた画像探索
   に使用する最下層での追跡型画像位置決め方法であっ
   て、上位層から順次特定された探索点を最下層において
   得て、探索点と探索点の周囲の点の相関値を算出し、探
   索点の相関値より大きい相関値を有する周囲の点がある
   か否かを判別し、探索点の相関値より大きい相関値を有
   する周囲の点があると判別された場合はその周囲の点を
   新たに探索点として設定する処理と、探索点の相関値よ
   り大きい相関値を有する周囲の点があるか否かの判別処
   理を探索点の相関値より大きい相関値を有する周囲の点
   がないと判別されるまで繰返し行ない、探索点の相関値
   より大きい相関値を有する周囲の点がないと判別された
   場合に当該探索点に基づいてテンプレート画像が探索す
   る探索領域の位置決めを行なうことを特徴とする最下層
   での追跡型画像位置決め方法。
3. 【請求項３】 ピラミッド構造データを用いた画像探索
   方法において、原画像からピラミッド構造データを生成
   し、最上層において請求項１に記載の探索点絞り込み方
   法を適用した探索点絞り込み処理を行ない、得られた探
   索点に基づいて最上層の一つ下の層から第２層まで、順
   次、探索点を特定する処理を行ない、最下層において請
   求項２に記載の追跡型画像位置決め方法を用いてテンプ
   レート画像が探索する探索領域の位置決めを行うことを
   特徴とする画像探索方法。