JP3576987B2 - 画像のテンプレートマッチング方法及び画像処理装置 - Google Patents
画像のテンプレートマッチング方法及び画像処理装置 Download PDFInfo
- Publication number
- JP3576987B2 JP3576987B2 JP2001062567A JP2001062567A JP3576987B2 JP 3576987 B2 JP3576987 B2 JP 3576987B2 JP 2001062567 A JP2001062567 A JP 2001062567A JP 2001062567 A JP2001062567 A JP 2001062567A JP 3576987 B2 JP3576987 B2 JP 3576987B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- point
- evaluation value
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像中の物体を追跡したり、複数の画像から物体の形状を再現する両眼立体視を行う場合に用いられる画像のテンプレートマッチング方法及び画像処理装置に関する。
【０００２】
【従来の技術】
テンプレートマッチングは、ある画像を他の画像中に設定されたテンプレートと比較してマッチングをとる技術であり、複数の画像間で互いに対応する点や領域を見つけ出す基本的な手法として頻繁に利用されている。例えば、動画像中の物体を追跡するために、動画像の初期のフレーム画像における物体の領域をテンプレートとして、後続する他のフレーム画像中からテンプレートに最も近い、つまりテンプレートと最も相関の高い領域（マッチング領域）を探索し、このマッチング領域に物体が移動したと判断する方法が用いられている。
【０００３】
一方、両眼立体視では、２つもしくはそれ以上の異なる位置から撮影された複数の静止画像間の互いに対応する特徴点を一方の画像をテンプレートとして用いてテンプレートマッチングにより求め、カメラの位置情報と各静止画像上の対応する特徴点の位置ずれの情報とから、撮影された物体の３次元形状を復元する方法が用いられる。
【０００４】
動画像中の物体追跡では、物体全体を一つのテンプレートとして用いると、物体の変形の影響によりテンプレートマッチングの精度が低下してしまう。このため、物体領域内に適当な数の追跡点を設定し、追跡点を含む適当なサイズのテンプレートを用いてテンプレートマッチングを行い、これらテンプレートのマッチングした位置から総合的に物体の移動先を判断した方が良い。この場合、計算時間を短くするために、追跡点の数（テンプレートの数）をなるべく少なくすることが望ましい。
【０００５】
短い計算時間で精度の高い物体追跡を行うためには、テンプレートマッチングを精度よく実行できる追跡点を選択しなければならない。両眼立体視においても同様に、テンプレートマッチングを精度よく実行できる特徴点を選んでおかなければ、精度の良い３次元形状復元を行うことはできない。このように追跡点や特徴点をいかに選択するかは、性能を左右する重要な問題である。以下では、動画像中の物体追跡に用いる追跡点と、両眼立体視に用いる特徴点を同義に扱い、両者を総称して参照点と呼ぶことにする。
【０００６】
従来、このような参照点、すなわち物体追跡の追跡点や両眼立体視の特徴点としては、周囲の画素値の分散が大きい点、コーナー点、局所的な曲率が大きい点（文献１：金子敏充， 堀修，“ロバスト統計による変形推定を用いた高速な物体追跡手法”，第５回画像センシングシンポジウム， Ｃ−１８， ｐｐ．１２９−１３４， Ｊｕｎｅ， １９９９参照）などが用いられている。また、文献２：Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ， “Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ： ａ ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ − ｐａｒｔ ３ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｏｆ ｐｏｉｎｔ ｆｅａｔｕｒｅｓ，” ＣＭＵ−ＣＳ−９１−１３２， Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ， １９９１で提案された、オプティカルフローを求める勾配法に適した特徴点も利用されてきている。
【０００７】
【発明が解決しようとする課題】
周囲の画素値の分散が大きい点、コーナー点あるいは局所的な曲率が大きい点などをテンプレートマッチングにおける参照点として選ぶ方法は、人間の直感を元にして考えられた基準に基づいているため、適切な参照点が選ばれる保証はない。特に、局所的な曲率が大きい点を参照点とする方法は、参照点に近い部分の動画像しか考慮されていないため、少し離れたところに似ているパターンがあるような場合には参照点として不適切との判断ができない。さらに、文献２の方法は勾配法に特化した特徴点の選択方法であるため、テンプレートマッチングで用いる参照点として適切な特徴点が選択できているとは限らない。
【０００８】
一方、テンプレートマッチングで用いるテンプレートのサイズや、テンプレートマッチングを行う際の画像の解像度といった、参照点以外の他のパラメータについても、従来では人間の経験や直感に頼って決められているため、適切な値が選択されているかどうかわからないという問題がある。
【０００９】
本発明は上記問題点を解決すべくなされたもので、テンプレートマッチング時に用いる参照点、テンプレートサイズ及び画像の解像度などのパラメータを適切に決定して高精度のテンプレートマッチングを可能としたテンプレートマッチング方法及び画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の課題を解決するため、本発明は第１の画像中の参照点を含む参照領域をテンプレートとし、第２の画像中の探索範囲から前記テンプレートと最も相関の高いマッチング領域を探索するテンプレートマッチング方法において、前記第２の画像中における前記参照点に対応する真の第１対応点からテンプレートマッチングにより求められる前記参照点に対応する第２対応点までの誤差ベクトルを前記探索範囲内で複数の第２の画像について求め、これらの全ての誤差ベクトルの大きさとそれぞれの確率との積を加算することにより得られる、前記第１対応点と第２対応点との間の平均距離の上界を評価値として算出し、算出された前記評価値を用いて（ａ）前記第１の画像中の前記参照点、（ｂ）前記テンプレートのサイズ、及び（ｃ）前記第１及び第２の画像の解像度、のうちの少なくとも一つのパラメータを決定することを特徴とする。
【００１１】
参照点の決定は、例えば参照点となり得る複数の参照点候補についてそれぞれ算出される評価値のうち最小の評価値を与える参照点候補を参照点として決定することによって行われる。
【００１２】
テンプレートのサイズの決定は、例えばテンプレートとなる参照領域のサイズを段階的に大きくしたときにそれぞれ算出される評価値を所定のしきい値と比較し、このしきい値より小さい評価値を与える参照領域のサイズをテンプレートのサイズとして決定することによって行われる。
【００１３】
解像度の決定は、第１及び第２の画像の解像度を段階的に高くしたときにそれぞれ算出される評価値を所定のしきい値と比較し、このしきい値より小さい評価値を与える第１及び第２の画像の解像度を決定することによって行われる。
【００１４】
評価値の算出は、第２の画像の対応点を含む第１の領域と該第１の領域を第２の画像内の所定の探索範囲内で平行移動させた第２の領域との非類似度または類似度を算出し、探索範囲内の複数の異なる第２の領域に対してそれぞれ算出された複数の非類似度または類似度を用いることによって行われる。
【００１５】
また、本発明によると前記第２の画像中における前記参照点に対応する真の第１対応点からテンプレートマッチングにより求められる前記参照点に対応する第２対応点までの誤差ベクトルを前記探索範囲内で複数の第２の画像について求め、これらの全ての誤差ベクトルの大きさとそれぞれの確率との積を加算することにより得られる、前記第１対応点と第２対応点との間の平均距離の上界を評価値として算出する評価値算出部と、算出された評価値を用いて（ａ）第１の画像中の参照点、（ｂ）テンプレートのサイズ、及び（ｃ）第１及び第２の画像の解像度、のうちの少なくとも一つのパラメータを決定するパラメータ決定部とを具備する画像処理装置が提供される。
【００１６】
さらに、本発明によると第１の画像中の参照点を含む参照領域をテンプレートとし、第２の画像中の探索範囲から前記テンプレートと最も相関の高いマッチング領域を探索するテンプレートマッチング処理をコンピュータに実行させるためのプログラムであって、前記第２の画像中における前記参照点に対応する真の第１対応点からテンプレートマッチングにより求められる前記参照点に対応する第２対応点までの誤差ベクトルを前記探索範囲内で複数の第２の画像について求め、これらの全ての誤差ベクトルの大きさとそれぞれの確率との積を加算することにより得られる、前記第１対応点と第２対応点との間の平均距離の上界を評価値として算出する処理と、算出された評価値を用いて（ａ）第１の画像中の参照点、（ｂ）テンプレートのサイズ、及び（ｃ）第１及び第２の画像の解像度、のうちの少なくとも一つのパラメータを決定する処理とを含むテンプレートマッチング処理をコンピュータに実行させるためのプログラムが提供される。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図であり、物体追跡処理を行う場合の例について示している。
【００１８】
図１において、コンピュータシステム１０は本実施形態に基づく物体追跡処理を含む画像処理を行うパーソナルコンピュータやＥＷＳ等であり、この例ではプログラムやデータを蓄積する主記憶装置１１と、計算及び制御を行う中央処理装置（ＣＰＵ）１２と、動画像再生装置１３から構成される。動画像再生装置１３は、例えば圧縮動画像データの伸張のような動画像に特有の画像再生処理を高速に行う装置である。コンピュータシステム１０に非圧縮の動画像データを取り込む場合は、動画像再生装置１３は必ずしも必要ではない。コンピュータシステム１０は、主記憶装置１１と中央処理装置１２からなる汎用のコンピュータでもよく、処理対象である画像データの取り込み機能が備えられていればよい。
【００１９】
表示装置１４は例えばＣＲＴモニタや液晶モニタなどであり、コンピュータシステム１０に接続され、各種の入力画面や画像の表示を行う。指示入力装置１５は例えばキーボードやマウス、タッチパネルなどであり、ユーザは指示入力装置１５を使って物体追跡を行う旨の指示や、後述する追跡領域の指定等を行うことができる。
【００２０】
動画像データ用記録媒体１６には、物体追跡処理対象の動画像データが記録されている。この記録媒体１６としては、例えば光ディスクやハードディスクなどの大容量記録媒体が用いられる。追跡結果用記録媒体１７には、物体追跡結果のデータ、具体的には物体追跡処理を行った結果として得られた物体の領域情報及びこれに対応する時刻またはフレーム番号の情報が対応付けられて記録される。
【００２１】
なお、動画像データ用記録媒体１６と追跡結果用記録媒体１７は図１では別々の記録媒体となっているが、共通の媒体であってもよい。また、図１では記録媒体１６，１７はコンピュータシステム１０の外部にあるが、コンピュータシステム１０の内部にあってもよい。
【００２２】
（テンプレートマッチング装置）
図２は、図１の中央処理装置１２の処理によって実現されるテンプレートマッチング装置の構成を機能的に示すブロック図である。このテンプレートマッチング装置は、大きく分けてマッチング処理部２０と評価値算出部２１及びパラメータ決定部２２から構成される。
【００２３】
マッチング処理部２０では、第１の画像Ｉ１中の参照点（物体追跡の場合は追跡点）を含む参照領域をテンプレートとして、第２の画像Ｉ２中からテンプレートと最も相関の高い領域（マッチング領域）が探索される。
【００２４】
評価値算出部２１では、後に詳しく説明するように第１の画像Ｉ１中の参照点に対応する第２の画像Ｉ２中における真の対応点とテンプレートマッチングにより求められる対応点との平均距離の上界が評価値として算出される。これらの評価値はパラメータ決定部２２に与えられる。
【００２５】
パラメータ決定部２２は、本実施形態ではテンプレートマッチングに供される参照点を決定する参照点決定部２３、テンプレートマッチング時のテンプレートサイズを決定するサイズ決定部２４、及びテンプレートマッチング時の第１及び第２の画像Ｉ１，Ｉ２の解像度を決定する解像度決定部２５から構成される。これらのパラメータ、すなわち参照点とテンプレートサイズ及び解像度の決定は、評価値算出部２１で算出された評価値に基づいて行われる。
【００２６】
マッチング処理部２０では、パラメータ決定部２２によって決定された参照点とテンプレートサイズ及び解像度を用いてマッチング処理が行われる。また、パラメータ決定部２２では、評価値に基づいて参照点とテンプレートサイズ及び解像度を決定する処理を行う際に、マッチング処理部２０が利用される。
【００２７】
（物体追跡処理）
次に、図３に示すフローチャートを用いて本実施形態における動画像中の動物体を追跡する物体追跡処理について説明する。この物体追跡処理は、図１のコンピュータシステム１０の特に中央処理装置１２においてソフトウェア処理により行われる。
物体追跡処理に際しては、まず動画像データ用記録媒体１６に記録されている動画像データがコンピュータシステム１０に読み込まれ、動画像再生装置１３によって再生される。記録媒体１６に記録されている動画像データがＭＰＥＧ方式等により圧縮されたデータである場合は、動画像再生装置１３において伸張処理が行われ、元の動画像データが復元される。復元された動画像データは表示装置１４に送られ、動画像が表示される。
【００２８】
こうして表示される動画像中の動物体を追跡するために、まずステップＳ１において、図２のマッチング処理部２０により動画像の初期フレーム画像（第１の画像Ｉ１）上で追跡したい動物体が存在する追跡領域（参照領域）の指定処理を行う。この処理は、ユーザが表示装置１４上の動画像の表示を見ながら、マウスやタッチパネルなどの指示入力装置１５を用いて動画像上の所望の動物体の領域を追跡領域として指定することによって行われる。
【００２９】
次のステップＳ２では、図２の参照点決定部２３において初期フレーム画像中で、参照点である追跡点の決定処理を行う。この処理では、ステップＳ１で指定された追跡領域中の動画像の画素を追跡点候補として、ユーザが予め決めておいた数の追跡点を選択して決定する。ここで、追跡点とは追跡領域の代表点、言い換えればテンプレートマッチング時に用いるテンプレートに含まれる基準となる参照点であり、例えばテンプレートが矩形ブロックの場合はテンプレートの中心点が用いられる。
【００３０】
次のステップＳ３では、ステップＳ２で決定された追跡点の追跡処理を行う。この処理では、図２のマッチング処理部２０において、既に追跡点の位置がわかっているフレーム画像（第１の画像Ｉ１）と追跡点の移動先を求めたいフレーム画像（第２の画像Ｉ２）との間でテンプレートマッチングを行うことにより、追跡点を追跡する。この追跡処理を簡単にするためには、テンプレートとして追跡点を中心とする矩形ブロックを用いることが有利であるが、矩形以外の任意の形状の領域をテンプレートとして用いても追跡処理が可能である。
【００３１】
次のステップＳ４では、ステップＳ３で得られた追跡結果の修正処理を行う。すなわち、ステップＳ３の追跡処理（テンプレートマッチング）では、追跡点の移動先が必ずしも正しく求まめられているとは限らないため、ステップＳ４ではフレーム全体の追跡結果を見ながら、誤っていると思われる追跡結果を修正する処理を行う。この修正処理には様々な手法が適用できるが、例えば物体の変形モデルを用意しておき、ロバスト推定を用いて各追跡点の移動先を決定する手法（特開２０００−１３２６９１）を用いることができる。
【００３２】
次のステップＳ５では、追跡処理を継続するかを判定し、追跡対象となっているフレームの処理が終了した場合や、追跡結果の信頼性が低い場合に追跡を終了する。
【００３３】
ステップＳ５で追跡処理を継続する場合には、次のステップＳ６で画像及び追跡点の更新処理を行う。この処理では、追跡点の位置を新たに求められた追跡点の移動先へと更新し、移動先となっていたフレーム画像（第２の画像Ｉ２）を移動元のフレーム画像（第１の画像Ｉ１）へと更新する。さらに、新たに移動先を求めるべきフレーム画像（第２の画像Ｉ２）の画像データを読み込み、以後ステップＳ３〜Ｓ６の処理を追跡処理が終了するまで繰り返す。
【００３４】
上述した一連の物体追跡処理により、追跡領域の代表として選ばれた追跡点の各フレーム画像における移動先が決定される。追跡領域の移動先は、追跡点の移動に合わせて初期の追跡領域を変形することにより得られる。
【００３５】
（追跡点決定処理）
次に、図４に示すフローチャートを用いて図２の参照点決定部２３で行われる図３におけるステップＳ２の追跡点決定処理について詳しく説明する。ただし、説明を簡単にするため、以下ではテンプレートの形状は追跡点を中心とする矩形ブロックであるとして説明するが、テンプレートは追跡点を含む任意の形状で構わない。
【００３６】
まず、複数の追跡点候補（参照点候補）を定めておき、ステップＳ１０１においてこれらの追跡点候補（参照点候補）の集合の中からまだ評価が行われていない追跡点候補を一つ選択する。追跡点候補の集合は、動画像中の追跡したい物体の領域全体、もしくは、動画像中の追跡したい物体の領域を間引いた点の集合とするのが通常である。ステップＳ１０１の処理を初めて実行する際には、全ての追跡点候補が未評価であるため、任意の追跡点候補を選択してよい。
【００３７】
次のステップＳ１０２では、まずステップＳ１０１で選択された各追跡点候補毎に評価値を算出する。この評価値は、各追跡点候補を中心とするブロックをテンプレートとして図２のマッチング処理部２０においてテンプレートマッチング処理を行った際に生じる誤りの大きさ（マッチング誤差）を評価した値であり、図２の評価値算出部２１で算出される。この評価値の算出方法については、後に詳しく説明する。算出された評価値は、追跡点候補の位置を特定する情報と共に、図１の主記憶装置１１に作成された評価値リストに登録される。
【００３８】
次のステップＳ１０３では分岐処理を行い、追跡点候補の集合のうち未評価つまりステップＳ１０２で評価値が算出されていない追跡点候補が残っていればステップＳ１０１に戻り、全ての追跡点候補について評価値が求められたならばステップＳ１０４へ進む。ステップＳ１０４では、完成した評価値リストを評価値の昇順にソートする。
【００３９】
次のステップＳ１０５では、ステップＳ１０４でソートされた評価値リストの先頭、すなわちリストに登録されている追跡点候補のうちで最も評価値の小さな追跡点候補を選択する。
【００４０】
次のステップＳ１０６では、ステップＳ１０５において選択された追跡点候補が所定の追跡点条件を満たすかどうかをチェックする。追跡点条件とは、追跡点候補が追跡点として適当かどうかの判定条件であり、例えば既に決定された追跡点からの距離が十分離れていること、などである。
【００４１】
ステップＳ１０６において、ステップＳ１０５で選択された追跡点候補が追跡点条件を満たせばステップＳ１０７へ進んで、追跡条件を満たした追跡点候補を追跡点として採用し、それを例えば主記憶装置１１に登録する。
【００４２】
次のステップＳ１０８では、ステップＳ１０７で登録された追跡点の数が十分かどうか、例えば追跡点の数が予め決められた数に達したかどうかを判定する。追跡点数が十分であれば、追跡点の決定処理が成功したとして処理を終了する。追跡点数が十分でなければ、ステップＳ１０９へ処理を進め、ステップＳ１０５で選択された追跡点候補を評価値リストから削除する。
【００４３】
ステップＳ１０６において、ステップＳ１０５で選択された追跡点候補が追跡点条件を満たさなければステップＳ１１０に進み、評価値リストに追跡点候補が残っているかどうかを判定する。もし評価値リストに追跡点候補が残っていなければ、決定された追跡点数が不足したまま処理を終了する。評価値リストに追跡点候補の残りがあるならば、ステップＳ１１１へと処理を進める。
【００４４】
ステップＳ１１１では、ステップＳ１０９と同様に、ステップＳ１０５で選択された追跡点候補を評価値リストから削除する処理を行う。
【００４５】
以上の追跡点決定処理により決定された追跡点は、誤りの小さいテンプレートマッチングを行うことができることが保証された点であるため、これらの追跡点を中心とする矩形ブロックをテンプレートに使用することにより、精度の高いテンプレートマッチングを行うことができる。
【００４６】
一方、複数の画像間で特徴点の対応点を求める際にテンプレートマッチングを用いる両眼立体視においては、例えば左右に配置したカメラによって得られた左右の静止画像を第１及び第２の画像Ｉ１，Ｉ２としてそれぞれ入力し、これら左右の静止画像間の互いに対応する特徴点を参照点として、一方の画像中の特徴点を含む参照領域をテンプレートに用いてテンプレートマッチングを行う。
【００４７】
このような両眼立体視を行う場合においても、上述した追跡点決定処理と同様の手順で、追跡点に代えて画像の特徴点を参照点として決定することにより、テンプレートマッチングの精度が向上するので、形状再現を高精度で行うことが可能となる。
【００４８】
（テンプレートサイズの決定処理）
次に、図５に示すフローチャートを用いて、図２のマッチング処理部２０においてテンプレートマッチングを行う時に用いるテンプレートサイズを図２のテンプレートサイズ決定部２４において決定する方法を説明する。ここでも、テンプレートは参照点（追跡点）を中心とする矩形ブロックであるとして説明するが、テンプレートは追跡点を含む任意の形状であって構わない。ここでは、追跡点は図３で説明した手順によって既に決定されており、追跡点を中心とするブロックの大きさだけをテンプレートサイズとして決定するものとして説明する。
【００４９】
まず、ステップＳ２０１において、テンプレートとするブロックのサイズを設定可能な範囲の最小サイズに設定する。
【００５０】
次のステップＳ２０２では、ステップＳ２０１で設定された最小サイズ、あるいは後述するように設定されたブロックサイズにおける評価値を図２の評価値算出部２１によって算出する。この評価値は、追跡点候補を中心とするブロックをテンプレートとしてテンプレートマッチングを行った際に生じる誤りの大きさを評価した値であり、図４のステップＳ１０２で求められた評価値と同じである。
【００５１】
次のステップＳ２０３では、ステップＳ２０２で算出された評価値が予め定められた所定のしきい値よりも小さいかどうかを判定する。評価値がしきい値より小さければステップＳ２０６へ、そうでなければステップＳ２０４へそれぞれ進む。ここで用いるしきい値は、例えば許容可能なテンプレートマッチングの誤りとして設定される。
【００５２】
次のステップＳ２０４では、現在設定されているブロックサイズと設定可能な最大のブロックサイズとの比較を行う。最大ブロックサイズより現在設定されているブロックサイズの方が小さければ、ステップＳ２０５へ処理を進め、そうでなければ、ブロックサイズが選択できなかったとして処理を終了する。
【００５３】
ステップＳ２０５では、設定されているブロックサイズを１段階大きなサイズに変更する。この変更は例えば、ブロックサイズを縦横とも所定の固定画素分だけ大きくしたり、１割増加などのように決めておいた割合だけ大きくしたりすることにより行われる。
【００５４】
ステップＳ２０６では、ステップＳ２０３で評価値がしきい値よりも小さいと判定されたときのブロックサイズをテンプレートサイズとして決定し、処理を終了する。
【００５５】
以上の処理により決定されたブロックサイズ（テンプレートサイズ）で与えられた追跡点を中心とする矩形ブロックを構成すれば、このブロックは誤りの小さいテンプレートマッチングを行うことができることが保証されているため、精度の高いテンプレートマッチングを行うことが可能となる。
【００５６】
また、複数の画像間で特徴点の対応点を求める際にテンプレートマッチングを用いる両眼立体視においては、与えられた特徴点に対して以上の処理により選択されたブロックサイズをテンプレートサイズとして採用することにより、テンプレートマッチングの精度が向上し、形状再現を高精度で行うことが可能となる。
【００５７】
ブロックサイズが選択できずに処理を終了した場合には、設定可能なブロックサイズではテンプレートマッチングにより生じる誤りが十分小さいことが保証されない。それでも、与えられた追跡点を用いてテンプレートマッチングを行う必要がある場合には、あらかじめ決められたサイズのブロックを割り当てればよい。例えば、設定可能なブロックサイズのうち最大のサイズを割り当て、テンプレートマッチングを行う。
【００５８】
（テンプレートマッチング時の解像度決定処理）
次に、図６に示すフローチャートを用いて、図２のマッチング処理部２０においてテンプレートマッチングを行う時の第１及び第２の画像Ｉ１，Ｉ２の解像度を図２の解像度決定部２５において決定する方法を説明する。ここでも、テンプレートは参照点（追跡点）を中心とする矩形ブロックであるとして説明するが、テンプレートは追跡点を含む任意の形状であって構わない。また、追跡点は図３で説明した手順によって既に決定されており、テンプレートマッチング時の画像解像度だけを決定するものとして説明する。
【００５９】
まず、ステップＳ３０１において、最小の解像度（最も粗い解像度）に第１及び第２の画像Ｉ１，Ｉ２の解像度を設定する。
【００６０】
次のステップＳ３０２では、現在設定されている解像度の下での評価値を算出する。この評価値は、設定された解像度の第１及び第２の画像Ｉ１，Ｉ２に対して追跡点候補を中心とするブロックをテンプレートとしてテンプレートマッチングを行った際に生じる誤りの大きさを評価した値であり、基本的に図４のステップＳ１０２や図５ステップＳ２０２で求められた評価値と同じである。
【００６１】
次のステップＳ３０３では、ステップＳ３０２で算出された評価値のスケールを修正する処理を行う。すなわち、ステップＳ３０２で算出された評価値は画像中の距離をピクセル単位で測ったものであるため、解像度が異なる画像間の評価値は比較できない。この問題を避けるため、ステップＳ３０３では最大の解像度（最も密の解像度）におけるスケールに評価値を変換する処理を行う。この変換処理は、最大の解像度に対する現在の解像度の比の逆数を評価値に乗じることにより行う。例えば、現在の解像度が最大の解像度の１／４である場合、評価値を４倍する。
【００６２】
次のステップＳ３０４では、ステップＳ３０３でスケールが修正された後の評価値と、予め決められている所定のしきい値との比較を行う。しきい値より評価値の方が小さければステップＳ３０５に進む。ここで用いるしきい値は、例えば最大解像度の画像における許容可能なテンプレートマッチングの誤りとして設定される。
【００６３】
ステップＳ３０５では、現在設定されている解像度と最大解像度との比較を行う。最大解像度より設定された解像度の方が小さければステップＳ３０６に進んで、設定された解像度を現在の設定よりも１段階高く（密に）設定し、そうでなければ解像度の決定ができなかったとして処理を終了する。
【００６４】
ステップＳ３０４においてしきい値より評価値の方が小さくなければステップＳ３０７に進む。このステップＳ３０７では、ステップＳ３０４においてしきい値よりも小さいと判定された評価値を与える解像度をテンプレートマッチングを行う際の解像度として決定し、解像度の決定が成功したとして処理を終了する。
【００６５】
以上の処理により決定された解像度を持つ第１及び第２の画像Ｉ１，Ｉ２に対して、与えられた追跡点を中心とする矩形ブロックを構成すれば、このブロックは誤りの小さいテンプレートマッチングを行うことができることが保証されているため、精度の高いテンプレートマッチングを行うことができる。
【００６６】
また、複数の画像間で特徴点の対応点を求める際にテンプレートマッチングを用いる両眼立体視においては、与えられた特徴点に対して以上の処理により決定された解像度を第１及び第２の画像Ｉ１，Ｉ２に対して適用することにより、テンプレートマッチングの精度が向上するため、形状再現を高精度で行うことが可能となる。
【００６７】
（追跡点候補の評価値算出処理）
次に、図２の評価値算出部２１の処理、すなわち図４のステップＳ１０２、図５のステップＳ２０２、及び図６のステップＳ３０２において行われる評価値算出処理について説明する。ここで用いる評価値は、追跡点候補を中心とする矩形ブロックをテンプレートとしてテンプレートマッチングを行った際に生じるマッチング誤差の大きさを評価した値である。
【００６８】
第１の画像Ｉ１中の追跡点（参照点）を含む矩形ブロックの参照領域をテンプレートとし、第２の画像Ｉ２中からテンプレートと最も相関の高いマッチング領域を探索するテンプレートマッチングを行うことを考えた場合、第２の画像Ｉ２中には第１の画像Ｉ１中の追跡点に対応する真の対応点が存在するはずである。しかし、実際にテンプレートマッチングを行った場合、画像の情報やノイズ等の影響により、真の対応点よりずれた位置の点が対応点と見なされ、この位置のずれた対応点を基準とした第２の画像Ｉ２中の領域がマッチング領域と見なされる可能性がある。
【００６９】
このような第２の画像Ｉ２中の真の追跡点（第１の画像Ｉ１中の追跡点に対応する対応点）とテンプレートマッチングによる探索結果である実際の対応点との間の距離がここでいうマッチング誤差であり、本実施形態では第２の画像Ｉ２についての該距離の平均（平均距離）の上界（ｕｐｐｅｒ ｂｏｕｎｄ）をマッチング誤差の評価値として第１の画像Ｉ１から算出する。Ｓが順序集合Ａの部分集合のとき、Ａに属する全てのｘに対してｘ＜ｂを満たすようなＡの元ｂをＡにおけるＳの上界ｂと呼ぶが、本実施形態で用いる上界は、さらに詳しくは次のように定義される。
【００７０】
テンプレートを含む画像（第１の画像Ｉ１に相当）をｆ０、テンプレートと相関の最も高いマッチング領域を探索すべき対象の画像（第２の画像Ｉ２に相当）をｆ、画像ｆの座標ｐ＝（ｘ，ｙ）における画素をｆ（ｐ）と表記することにする。ここでは、図７（ａ）に示すように画像ｆ０における参照点（追跡点）の座標を原点Ｏとし、テンプレートは追跡点を中心とするウインドウＷ０（Ｏ）であるものとする。ここで、図７（ｂ）に示すようにテンプレートが画像ｆにおける座標ｐを中心とするウインドウ（探索窓という）Ｗ（ｐ）のどれに移動したかを探索範囲Ｓの中で探索する処理が本実施形態でのテンプレートマッチングである。
【００７１】
まず、画像ｆ中における真の追跡点（画像ｆ０中の参照点に対応する真の対応点）から、テンプレートマッチングにより求められる画像ｆ０中の参照点に対応する対応点までのベクトル（誤りベクトル）がｅである場合を考える。ある画像ｆを特定すると、真の対応点（追跡点）とテンプレートマッチングにより求められる対応点との距離である誤りベクトルｅは、一義的に決まる。
【００７２】
本実施形態で用いる上界を求めるには、まず任意の誤りベクトルｅが生じる確率Ｐ（ｅ）を評価する。これは、誤りベクトルがｅとなる画像ｆの生起確率を評価するのと同じことである。
【００７３】
次に、探索範囲内で生じる可能性のある全ての誤りベクトル（複数の画像ｆに関して求められる誤りベクトル）ｅについて、誤りの大きさ｜ｅ｜とそれぞれの確率Ｐ（ｅ）の積を加算することにより、平均距離の上界を得る。ここで平均距離とは、前述したように画像ｆ中における真の対応点（追跡点）とテンプレートマッチングにより求められる対応点との距離を複数の画像ｆについて求め、この距離の平均をとった値である。なお、｜ｅ｜とＰ（ｅ）の積の加算値をユニオン限界と呼ぶ。
【００７４】
この評価値は、第１の画像Ｉ１から計算により、すなわち第１の画像Ｉ１の情報やノイズ等の誤差要因を利用して解析的に求まる。以下、評価値の具体的な算出方法を説明する。なお、雑音および変形により生じる画素値の変化は分散σ２の加法的ガウス雑音に従うものと仮定している。
【００７５】
図８に示すように、画像ｆ中のテンプレートの領域とテンプレートを誤りベクトルｅだけ平行移動させた領域とによってできる３つの領域Ｗ１，Ｗ２，Ｗ３をＷ１＝Ｗ（Ｏ）∩Ｗ（ｅ），Ｗ２＝ＷＣ（Ｏ）∩Ｗ（ｅ），Ｗ３＝Ｗ（Ｏ）∩ＷＣ（ｅ）と定義しておく。ただし、ＷＣはＷの補集合を表している。図８中のブロック５０１はテンプレートとなる第１の領域であり、真の対応点を中心とする矩形ブロックである。ブロック５０２はブロック５０１を誤差ベクトルｅだけ平行移動させた第２の領域であり、真の対応点からずれた点を中心とする矩形ブロックである。また、領域Ｗ１，Ｗ２内における画素値と雑音の比の平均γ１ ２，γ２ ２を次式により定義する。
【００７６】
【数１】
【００７７】
ただし、画像ｆ０における座標ｐ＝（ｘ，ｙ）の画素値と座標ｐを誤差ベクトルｅだけ平行移動させた座標の画素値との差分をΔ（ｐ，ｅ）＝ｆ０（ｐ＋ｅ）−ｆ０（ｐ）と置いた。さらに、各領域の画素数をＮ＝｜Ｗ（Ｏ）｜，Ｒ＝｜Ｗ２｜／｜Ｗ（Ｏ）｜と記述することにする。
【００７８】
このとき、テンプレートマッチングの結果、ベクトルｅで示される誤りが生じる確率Ｐ（ｅ）は、
【数２】
【００７９】
により評価できる。ただし、
【数３】
【００８０】
である。ＥＴＭ（ｅ）は図８に示した二つのブロック（テンプレートのブロック５０１及びブロック５０１を誤差ベクトルｅだけ平行移動させたブロック５０２）間の非類似度となっている。
【００８１】
以上の結果から、テンプレートマッチングにより生じる誤りの平均εは、探索範囲Ｓ内の全ての誤差ベクトルｅに関しての期待値の和により、以下のように表される。
【００８２】
【数４】
【００８３】
ここで、ｕが上界である。この式（４）により、ある追跡点（参照点）を用いてテンプレートマッチングを行うと、平均誤り（平均距離）の大きさがｕ以下になる、と保証することが可能になる。なお、ここでは図８に示した二つのブロック５０１，５０１間の非類似度を考えたが、類似度を用いてもよい。
【００８４】
このように本実施形態では、テンプレートマッチングの誤りの大きさの平均（平均距離）を評価している上界ｕを各追跡点候補に対する評価値として用い、この評価値に従って追跡点（参照点）やテンプレートサイズ及び解像度といったパラメータを決定することにより、精度の高いテンプレートマッチングを行うことが可能となる。
【００８５】
次に、図９に示すフローチャートを用いて上述した評価値の算出手順について説明する。この評価値算出処理では、与えられた追跡点（参照点）の候補に対する上界ｕの値が計算される。
【００８６】
まず、ステップＳ４０１では初期化処理としてｕに初期値０を代入する。
次のステップＳ４０２では、与えられた追跡点の探索範囲内から、処理がまだ行われていない追跡点候補を選択する。そして、ｅとして追跡点（真の対応点）から選択された追跡点（対応点）候補までの誤差ベクトルを代入しておく。
【００８７】
次のステップＳ４０３では、与えられた追跡点とステップＳ４０２で選択された追跡点候補とからγ１およびγ２を計算する。
【００８８】
ステップＳ４０４では、ρの値を決定する。ρは、ＥＴＭ(e)の値を最大化するように０〜１の範囲内の値から選ばれる。そのため方法としては、一般的な降下法を使うことができる。さらに簡単には、０〜１の範囲の値を適当にサンプリングし、最小のＥＴＭ(e)を与える値を近似解として選択するという方法がある。
【００８９】
ステップＳ４０５では、上界ｕに｜ｅ｜・ｅｘｐ(−1/2・Ｎ・ＥＴＭ(e))を加算する。
ステップＳ４０６では、探索範囲内に未処理の追跡点候補が残っているかどうかを調べる。未処理の追跡点候補が残っていればステップＳ４０２からの処理を繰り返し、そうでなければステップＳ４０７に進み、上界ｕを与えられた追跡点候補に対する評価値として出力する。
【００９０】
以上の処理により評価値が算出されるが、この評価値算出処理にはテンプレートマッチングを行うのと同様の処理量が必要である。評価値算出に必要な処理量を減らすためには、探索範囲内の全画素を追跡点候補とするのではなく、間引きなどにより探索範囲内の一部の画素に限定するのが有効である。また、ステップＳ６０２で選択される探索範囲内の点を同様の方法で減らしても、評価値算出の処理量を減らすことができる。
【００９１】
なお、以上の説明では評価値に基づいてテンプレートマッチング時の参照点、テンプレートサイズ及び画像の解像度という３つのパラメータを全て決定する例について述べたが、これらのパラメータの任意の１つまたは２つのみを決定する態様も本発明に含まれることはいうまでもない。
【００９２】
【発明の効果】
以上説明したように、本発明によればテンプレートマッチングの精度に直接関係する平均距離の上界を評価値として、参照点、テンプレートサイズ及び画像の解像度といったテンプレートマッチング時に用いるパラメータを人間の経験や直感に頼ることなく客観的な基準で決めることにより、高精度のテンプレートマッチングを行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図
【図２】同実施形態に係るテンプレートマッチング装置の構成を機能的に示すブロック図
【図３】同実施形態における物体追跡処理の流れを示すフローチャート
【図４】図２における追跡点決定処理の流れを示すフローチャート
【図５】同実施形態におけるテンプレートサイズ決定処理の流れを示すフローチャート
【図６】同実施形態における画像解像度決定処理の流れを示すフローチャート
【図７】同実施形態におけるテンプレートマッチングについての説明図
【図８】同実施形態におけるテンプレート内の領域とテンプレートをずらした領域について示す図
【図９】同実施形態における追跡点の評価値算出処理の流れを示すフローチャート
【符号の説明】
１０…コンピュータシステム
１１…主記憶装置
１２…中央処理装置
１３…動画像再生装置
１４…表示装置
１５…指示入力装置
１６…動画像データ用記録媒体
１７…追跡結果データ用記録媒体
２０…マッチング処理部
２１…評価値算出部
２２…パラメータ決定部
２３…参照点決定部
２４…サイズ決定部
２５…解像度決定部
【発明の属する技術分野】
本発明は、動画像中の物体を追跡したり、複数の画像から物体の形状を再現する両眼立体視を行う場合に用いられる画像のテンプレートマッチング方法及び画像処理装置に関する。
【０００２】
【従来の技術】
テンプレートマッチングは、ある画像を他の画像中に設定されたテンプレートと比較してマッチングをとる技術であり、複数の画像間で互いに対応する点や領域を見つけ出す基本的な手法として頻繁に利用されている。例えば、動画像中の物体を追跡するために、動画像の初期のフレーム画像における物体の領域をテンプレートとして、後続する他のフレーム画像中からテンプレートに最も近い、つまりテンプレートと最も相関の高い領域（マッチング領域）を探索し、このマッチング領域に物体が移動したと判断する方法が用いられている。
【０００３】
一方、両眼立体視では、２つもしくはそれ以上の異なる位置から撮影された複数の静止画像間の互いに対応する特徴点を一方の画像をテンプレートとして用いてテンプレートマッチングにより求め、カメラの位置情報と各静止画像上の対応する特徴点の位置ずれの情報とから、撮影された物体の３次元形状を復元する方法が用いられる。
【０００４】
動画像中の物体追跡では、物体全体を一つのテンプレートとして用いると、物体の変形の影響によりテンプレートマッチングの精度が低下してしまう。このため、物体領域内に適当な数の追跡点を設定し、追跡点を含む適当なサイズのテンプレートを用いてテンプレートマッチングを行い、これらテンプレートのマッチングした位置から総合的に物体の移動先を判断した方が良い。この場合、計算時間を短くするために、追跡点の数（テンプレートの数）をなるべく少なくすることが望ましい。
【０００５】
短い計算時間で精度の高い物体追跡を行うためには、テンプレートマッチングを精度よく実行できる追跡点を選択しなければならない。両眼立体視においても同様に、テンプレートマッチングを精度よく実行できる特徴点を選んでおかなければ、精度の良い３次元形状復元を行うことはできない。このように追跡点や特徴点をいかに選択するかは、性能を左右する重要な問題である。以下では、動画像中の物体追跡に用いる追跡点と、両眼立体視に用いる特徴点を同義に扱い、両者を総称して参照点と呼ぶことにする。
【０００６】
従来、このような参照点、すなわち物体追跡の追跡点や両眼立体視の特徴点としては、周囲の画素値の分散が大きい点、コーナー点、局所的な曲率が大きい点（文献１：金子敏充， 堀修，“ロバスト統計による変形推定を用いた高速な物体追跡手法”，第５回画像センシングシンポジウム， Ｃ−１８， ｐｐ．１２９−１３４， Ｊｕｎｅ， １９９９参照）などが用いられている。また、文献２：Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ， “Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ： ａ ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ − ｐａｒｔ ３ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｏｆ ｐｏｉｎｔ ｆｅａｔｕｒｅｓ，” ＣＭＵ−ＣＳ−９１−１３２， Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ， １９９１で提案された、オプティカルフローを求める勾配法に適した特徴点も利用されてきている。
【０００７】
【発明が解決しようとする課題】
周囲の画素値の分散が大きい点、コーナー点あるいは局所的な曲率が大きい点などをテンプレートマッチングにおける参照点として選ぶ方法は、人間の直感を元にして考えられた基準に基づいているため、適切な参照点が選ばれる保証はない。特に、局所的な曲率が大きい点を参照点とする方法は、参照点に近い部分の動画像しか考慮されていないため、少し離れたところに似ているパターンがあるような場合には参照点として不適切との判断ができない。さらに、文献２の方法は勾配法に特化した特徴点の選択方法であるため、テンプレートマッチングで用いる参照点として適切な特徴点が選択できているとは限らない。
【０００８】
一方、テンプレートマッチングで用いるテンプレートのサイズや、テンプレートマッチングを行う際の画像の解像度といった、参照点以外の他のパラメータについても、従来では人間の経験や直感に頼って決められているため、適切な値が選択されているかどうかわからないという問題がある。
【０００９】
本発明は上記問題点を解決すべくなされたもので、テンプレートマッチング時に用いる参照点、テンプレートサイズ及び画像の解像度などのパラメータを適切に決定して高精度のテンプレートマッチングを可能としたテンプレートマッチング方法及び画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の課題を解決するため、本発明は第１の画像中の参照点を含む参照領域をテンプレートとし、第２の画像中の探索範囲から前記テンプレートと最も相関の高いマッチング領域を探索するテンプレートマッチング方法において、前記第２の画像中における前記参照点に対応する真の第１対応点からテンプレートマッチングにより求められる前記参照点に対応する第２対応点までの誤差ベクトルを前記探索範囲内で複数の第２の画像について求め、これらの全ての誤差ベクトルの大きさとそれぞれの確率との積を加算することにより得られる、前記第１対応点と第２対応点との間の平均距離の上界を評価値として算出し、算出された前記評価値を用いて（ａ）前記第１の画像中の前記参照点、（ｂ）前記テンプレートのサイズ、及び（ｃ）前記第１及び第２の画像の解像度、のうちの少なくとも一つのパラメータを決定することを特徴とする。
【００１１】
参照点の決定は、例えば参照点となり得る複数の参照点候補についてそれぞれ算出される評価値のうち最小の評価値を与える参照点候補を参照点として決定することによって行われる。
【００１２】
テンプレートのサイズの決定は、例えばテンプレートとなる参照領域のサイズを段階的に大きくしたときにそれぞれ算出される評価値を所定のしきい値と比較し、このしきい値より小さい評価値を与える参照領域のサイズをテンプレートのサイズとして決定することによって行われる。
【００１３】
解像度の決定は、第１及び第２の画像の解像度を段階的に高くしたときにそれぞれ算出される評価値を所定のしきい値と比較し、このしきい値より小さい評価値を与える第１及び第２の画像の解像度を決定することによって行われる。
【００１４】
評価値の算出は、第２の画像の対応点を含む第１の領域と該第１の領域を第２の画像内の所定の探索範囲内で平行移動させた第２の領域との非類似度または類似度を算出し、探索範囲内の複数の異なる第２の領域に対してそれぞれ算出された複数の非類似度または類似度を用いることによって行われる。
【００１５】
また、本発明によると前記第２の画像中における前記参照点に対応する真の第１対応点からテンプレートマッチングにより求められる前記参照点に対応する第２対応点までの誤差ベクトルを前記探索範囲内で複数の第２の画像について求め、これらの全ての誤差ベクトルの大きさとそれぞれの確率との積を加算することにより得られる、前記第１対応点と第２対応点との間の平均距離の上界を評価値として算出する評価値算出部と、算出された評価値を用いて（ａ）第１の画像中の参照点、（ｂ）テンプレートのサイズ、及び（ｃ）第１及び第２の画像の解像度、のうちの少なくとも一つのパラメータを決定するパラメータ決定部とを具備する画像処理装置が提供される。
【００１６】
さらに、本発明によると第１の画像中の参照点を含む参照領域をテンプレートとし、第２の画像中の探索範囲から前記テンプレートと最も相関の高いマッチング領域を探索するテンプレートマッチング処理をコンピュータに実行させるためのプログラムであって、前記第２の画像中における前記参照点に対応する真の第１対応点からテンプレートマッチングにより求められる前記参照点に対応する第２対応点までの誤差ベクトルを前記探索範囲内で複数の第２の画像について求め、これらの全ての誤差ベクトルの大きさとそれぞれの確率との積を加算することにより得られる、前記第１対応点と第２対応点との間の平均距離の上界を評価値として算出する処理と、算出された評価値を用いて（ａ）第１の画像中の参照点、（ｂ）テンプレートのサイズ、及び（ｃ）第１及び第２の画像の解像度、のうちの少なくとも一つのパラメータを決定する処理とを含むテンプレートマッチング処理をコンピュータに実行させるためのプログラムが提供される。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図であり、物体追跡処理を行う場合の例について示している。
【００１８】
図１において、コンピュータシステム１０は本実施形態に基づく物体追跡処理を含む画像処理を行うパーソナルコンピュータやＥＷＳ等であり、この例ではプログラムやデータを蓄積する主記憶装置１１と、計算及び制御を行う中央処理装置（ＣＰＵ）１２と、動画像再生装置１３から構成される。動画像再生装置１３は、例えば圧縮動画像データの伸張のような動画像に特有の画像再生処理を高速に行う装置である。コンピュータシステム１０に非圧縮の動画像データを取り込む場合は、動画像再生装置１３は必ずしも必要ではない。コンピュータシステム１０は、主記憶装置１１と中央処理装置１２からなる汎用のコンピュータでもよく、処理対象である画像データの取り込み機能が備えられていればよい。
【００１９】
表示装置１４は例えばＣＲＴモニタや液晶モニタなどであり、コンピュータシステム１０に接続され、各種の入力画面や画像の表示を行う。指示入力装置１５は例えばキーボードやマウス、タッチパネルなどであり、ユーザは指示入力装置１５を使って物体追跡を行う旨の指示や、後述する追跡領域の指定等を行うことができる。
【００２０】
動画像データ用記録媒体１６には、物体追跡処理対象の動画像データが記録されている。この記録媒体１６としては、例えば光ディスクやハードディスクなどの大容量記録媒体が用いられる。追跡結果用記録媒体１７には、物体追跡結果のデータ、具体的には物体追跡処理を行った結果として得られた物体の領域情報及びこれに対応する時刻またはフレーム番号の情報が対応付けられて記録される。
【００２１】
なお、動画像データ用記録媒体１６と追跡結果用記録媒体１７は図１では別々の記録媒体となっているが、共通の媒体であってもよい。また、図１では記録媒体１６，１７はコンピュータシステム１０の外部にあるが、コンピュータシステム１０の内部にあってもよい。
【００２２】
（テンプレートマッチング装置）
図２は、図１の中央処理装置１２の処理によって実現されるテンプレートマッチング装置の構成を機能的に示すブロック図である。このテンプレートマッチング装置は、大きく分けてマッチング処理部２０と評価値算出部２１及びパラメータ決定部２２から構成される。
【００２３】
マッチング処理部２０では、第１の画像Ｉ１中の参照点（物体追跡の場合は追跡点）を含む参照領域をテンプレートとして、第２の画像Ｉ２中からテンプレートと最も相関の高い領域（マッチング領域）が探索される。
【００２４】
評価値算出部２１では、後に詳しく説明するように第１の画像Ｉ１中の参照点に対応する第２の画像Ｉ２中における真の対応点とテンプレートマッチングにより求められる対応点との平均距離の上界が評価値として算出される。これらの評価値はパラメータ決定部２２に与えられる。
【００２５】
パラメータ決定部２２は、本実施形態ではテンプレートマッチングに供される参照点を決定する参照点決定部２３、テンプレートマッチング時のテンプレートサイズを決定するサイズ決定部２４、及びテンプレートマッチング時の第１及び第２の画像Ｉ１，Ｉ２の解像度を決定する解像度決定部２５から構成される。これらのパラメータ、すなわち参照点とテンプレートサイズ及び解像度の決定は、評価値算出部２１で算出された評価値に基づいて行われる。
【００２６】
マッチング処理部２０では、パラメータ決定部２２によって決定された参照点とテンプレートサイズ及び解像度を用いてマッチング処理が行われる。また、パラメータ決定部２２では、評価値に基づいて参照点とテンプレートサイズ及び解像度を決定する処理を行う際に、マッチング処理部２０が利用される。
【００２７】
（物体追跡処理）
次に、図３に示すフローチャートを用いて本実施形態における動画像中の動物体を追跡する物体追跡処理について説明する。この物体追跡処理は、図１のコンピュータシステム１０の特に中央処理装置１２においてソフトウェア処理により行われる。
物体追跡処理に際しては、まず動画像データ用記録媒体１６に記録されている動画像データがコンピュータシステム１０に読み込まれ、動画像再生装置１３によって再生される。記録媒体１６に記録されている動画像データがＭＰＥＧ方式等により圧縮されたデータである場合は、動画像再生装置１３において伸張処理が行われ、元の動画像データが復元される。復元された動画像データは表示装置１４に送られ、動画像が表示される。
【００２８】
こうして表示される動画像中の動物体を追跡するために、まずステップＳ１において、図２のマッチング処理部２０により動画像の初期フレーム画像（第１の画像Ｉ１）上で追跡したい動物体が存在する追跡領域（参照領域）の指定処理を行う。この処理は、ユーザが表示装置１４上の動画像の表示を見ながら、マウスやタッチパネルなどの指示入力装置１５を用いて動画像上の所望の動物体の領域を追跡領域として指定することによって行われる。
【００２９】
次のステップＳ２では、図２の参照点決定部２３において初期フレーム画像中で、参照点である追跡点の決定処理を行う。この処理では、ステップＳ１で指定された追跡領域中の動画像の画素を追跡点候補として、ユーザが予め決めておいた数の追跡点を選択して決定する。ここで、追跡点とは追跡領域の代表点、言い換えればテンプレートマッチング時に用いるテンプレートに含まれる基準となる参照点であり、例えばテンプレートが矩形ブロックの場合はテンプレートの中心点が用いられる。
【００３０】
次のステップＳ３では、ステップＳ２で決定された追跡点の追跡処理を行う。この処理では、図２のマッチング処理部２０において、既に追跡点の位置がわかっているフレーム画像（第１の画像Ｉ１）と追跡点の移動先を求めたいフレーム画像（第２の画像Ｉ２）との間でテンプレートマッチングを行うことにより、追跡点を追跡する。この追跡処理を簡単にするためには、テンプレートとして追跡点を中心とする矩形ブロックを用いることが有利であるが、矩形以外の任意の形状の領域をテンプレートとして用いても追跡処理が可能である。
【００３１】
次のステップＳ４では、ステップＳ３で得られた追跡結果の修正処理を行う。すなわち、ステップＳ３の追跡処理（テンプレートマッチング）では、追跡点の移動先が必ずしも正しく求まめられているとは限らないため、ステップＳ４ではフレーム全体の追跡結果を見ながら、誤っていると思われる追跡結果を修正する処理を行う。この修正処理には様々な手法が適用できるが、例えば物体の変形モデルを用意しておき、ロバスト推定を用いて各追跡点の移動先を決定する手法（特開２０００−１３２６９１）を用いることができる。
【００３２】
次のステップＳ５では、追跡処理を継続するかを判定し、追跡対象となっているフレームの処理が終了した場合や、追跡結果の信頼性が低い場合に追跡を終了する。
【００３３】
ステップＳ５で追跡処理を継続する場合には、次のステップＳ６で画像及び追跡点の更新処理を行う。この処理では、追跡点の位置を新たに求められた追跡点の移動先へと更新し、移動先となっていたフレーム画像（第２の画像Ｉ２）を移動元のフレーム画像（第１の画像Ｉ１）へと更新する。さらに、新たに移動先を求めるべきフレーム画像（第２の画像Ｉ２）の画像データを読み込み、以後ステップＳ３〜Ｓ６の処理を追跡処理が終了するまで繰り返す。
【００３４】
上述した一連の物体追跡処理により、追跡領域の代表として選ばれた追跡点の各フレーム画像における移動先が決定される。追跡領域の移動先は、追跡点の移動に合わせて初期の追跡領域を変形することにより得られる。
【００３５】
（追跡点決定処理）
次に、図４に示すフローチャートを用いて図２の参照点決定部２３で行われる図３におけるステップＳ２の追跡点決定処理について詳しく説明する。ただし、説明を簡単にするため、以下ではテンプレートの形状は追跡点を中心とする矩形ブロックであるとして説明するが、テンプレートは追跡点を含む任意の形状で構わない。
【００３６】
まず、複数の追跡点候補（参照点候補）を定めておき、ステップＳ１０１においてこれらの追跡点候補（参照点候補）の集合の中からまだ評価が行われていない追跡点候補を一つ選択する。追跡点候補の集合は、動画像中の追跡したい物体の領域全体、もしくは、動画像中の追跡したい物体の領域を間引いた点の集合とするのが通常である。ステップＳ１０１の処理を初めて実行する際には、全ての追跡点候補が未評価であるため、任意の追跡点候補を選択してよい。
【００３７】
次のステップＳ１０２では、まずステップＳ１０１で選択された各追跡点候補毎に評価値を算出する。この評価値は、各追跡点候補を中心とするブロックをテンプレートとして図２のマッチング処理部２０においてテンプレートマッチング処理を行った際に生じる誤りの大きさ（マッチング誤差）を評価した値であり、図２の評価値算出部２１で算出される。この評価値の算出方法については、後に詳しく説明する。算出された評価値は、追跡点候補の位置を特定する情報と共に、図１の主記憶装置１１に作成された評価値リストに登録される。
【００３８】
次のステップＳ１０３では分岐処理を行い、追跡点候補の集合のうち未評価つまりステップＳ１０２で評価値が算出されていない追跡点候補が残っていればステップＳ１０１に戻り、全ての追跡点候補について評価値が求められたならばステップＳ１０４へ進む。ステップＳ１０４では、完成した評価値リストを評価値の昇順にソートする。
【００３９】
次のステップＳ１０５では、ステップＳ１０４でソートされた評価値リストの先頭、すなわちリストに登録されている追跡点候補のうちで最も評価値の小さな追跡点候補を選択する。
【００４０】
次のステップＳ１０６では、ステップＳ１０５において選択された追跡点候補が所定の追跡点条件を満たすかどうかをチェックする。追跡点条件とは、追跡点候補が追跡点として適当かどうかの判定条件であり、例えば既に決定された追跡点からの距離が十分離れていること、などである。
【００４１】
ステップＳ１０６において、ステップＳ１０５で選択された追跡点候補が追跡点条件を満たせばステップＳ１０７へ進んで、追跡条件を満たした追跡点候補を追跡点として採用し、それを例えば主記憶装置１１に登録する。
【００４２】
次のステップＳ１０８では、ステップＳ１０７で登録された追跡点の数が十分かどうか、例えば追跡点の数が予め決められた数に達したかどうかを判定する。追跡点数が十分であれば、追跡点の決定処理が成功したとして処理を終了する。追跡点数が十分でなければ、ステップＳ１０９へ処理を進め、ステップＳ１０５で選択された追跡点候補を評価値リストから削除する。
【００４３】
ステップＳ１０６において、ステップＳ１０５で選択された追跡点候補が追跡点条件を満たさなければステップＳ１１０に進み、評価値リストに追跡点候補が残っているかどうかを判定する。もし評価値リストに追跡点候補が残っていなければ、決定された追跡点数が不足したまま処理を終了する。評価値リストに追跡点候補の残りがあるならば、ステップＳ１１１へと処理を進める。
【００４４】
ステップＳ１１１では、ステップＳ１０９と同様に、ステップＳ１０５で選択された追跡点候補を評価値リストから削除する処理を行う。
【００４５】
以上の追跡点決定処理により決定された追跡点は、誤りの小さいテンプレートマッチングを行うことができることが保証された点であるため、これらの追跡点を中心とする矩形ブロックをテンプレートに使用することにより、精度の高いテンプレートマッチングを行うことができる。
【００４６】
一方、複数の画像間で特徴点の対応点を求める際にテンプレートマッチングを用いる両眼立体視においては、例えば左右に配置したカメラによって得られた左右の静止画像を第１及び第２の画像Ｉ１，Ｉ２としてそれぞれ入力し、これら左右の静止画像間の互いに対応する特徴点を参照点として、一方の画像中の特徴点を含む参照領域をテンプレートに用いてテンプレートマッチングを行う。
【００４７】
このような両眼立体視を行う場合においても、上述した追跡点決定処理と同様の手順で、追跡点に代えて画像の特徴点を参照点として決定することにより、テンプレートマッチングの精度が向上するので、形状再現を高精度で行うことが可能となる。
【００４８】
（テンプレートサイズの決定処理）
次に、図５に示すフローチャートを用いて、図２のマッチング処理部２０においてテンプレートマッチングを行う時に用いるテンプレートサイズを図２のテンプレートサイズ決定部２４において決定する方法を説明する。ここでも、テンプレートは参照点（追跡点）を中心とする矩形ブロックであるとして説明するが、テンプレートは追跡点を含む任意の形状であって構わない。ここでは、追跡点は図３で説明した手順によって既に決定されており、追跡点を中心とするブロックの大きさだけをテンプレートサイズとして決定するものとして説明する。
【００４９】
まず、ステップＳ２０１において、テンプレートとするブロックのサイズを設定可能な範囲の最小サイズに設定する。
【００５０】
次のステップＳ２０２では、ステップＳ２０１で設定された最小サイズ、あるいは後述するように設定されたブロックサイズにおける評価値を図２の評価値算出部２１によって算出する。この評価値は、追跡点候補を中心とするブロックをテンプレートとしてテンプレートマッチングを行った際に生じる誤りの大きさを評価した値であり、図４のステップＳ１０２で求められた評価値と同じである。
【００５１】
次のステップＳ２０３では、ステップＳ２０２で算出された評価値が予め定められた所定のしきい値よりも小さいかどうかを判定する。評価値がしきい値より小さければステップＳ２０６へ、そうでなければステップＳ２０４へそれぞれ進む。ここで用いるしきい値は、例えば許容可能なテンプレートマッチングの誤りとして設定される。
【００５２】
次のステップＳ２０４では、現在設定されているブロックサイズと設定可能な最大のブロックサイズとの比較を行う。最大ブロックサイズより現在設定されているブロックサイズの方が小さければ、ステップＳ２０５へ処理を進め、そうでなければ、ブロックサイズが選択できなかったとして処理を終了する。
【００５３】
ステップＳ２０５では、設定されているブロックサイズを１段階大きなサイズに変更する。この変更は例えば、ブロックサイズを縦横とも所定の固定画素分だけ大きくしたり、１割増加などのように決めておいた割合だけ大きくしたりすることにより行われる。
【００５４】
ステップＳ２０６では、ステップＳ２０３で評価値がしきい値よりも小さいと判定されたときのブロックサイズをテンプレートサイズとして決定し、処理を終了する。
【００５５】
以上の処理により決定されたブロックサイズ（テンプレートサイズ）で与えられた追跡点を中心とする矩形ブロックを構成すれば、このブロックは誤りの小さいテンプレートマッチングを行うことができることが保証されているため、精度の高いテンプレートマッチングを行うことが可能となる。
【００５６】
また、複数の画像間で特徴点の対応点を求める際にテンプレートマッチングを用いる両眼立体視においては、与えられた特徴点に対して以上の処理により選択されたブロックサイズをテンプレートサイズとして採用することにより、テンプレートマッチングの精度が向上し、形状再現を高精度で行うことが可能となる。
【００５７】
ブロックサイズが選択できずに処理を終了した場合には、設定可能なブロックサイズではテンプレートマッチングにより生じる誤りが十分小さいことが保証されない。それでも、与えられた追跡点を用いてテンプレートマッチングを行う必要がある場合には、あらかじめ決められたサイズのブロックを割り当てればよい。例えば、設定可能なブロックサイズのうち最大のサイズを割り当て、テンプレートマッチングを行う。
【００５８】
（テンプレートマッチング時の解像度決定処理）
次に、図６に示すフローチャートを用いて、図２のマッチング処理部２０においてテンプレートマッチングを行う時の第１及び第２の画像Ｉ１，Ｉ２の解像度を図２の解像度決定部２５において決定する方法を説明する。ここでも、テンプレートは参照点（追跡点）を中心とする矩形ブロックであるとして説明するが、テンプレートは追跡点を含む任意の形状であって構わない。また、追跡点は図３で説明した手順によって既に決定されており、テンプレートマッチング時の画像解像度だけを決定するものとして説明する。
【００５９】
まず、ステップＳ３０１において、最小の解像度（最も粗い解像度）に第１及び第２の画像Ｉ１，Ｉ２の解像度を設定する。
【００６０】
次のステップＳ３０２では、現在設定されている解像度の下での評価値を算出する。この評価値は、設定された解像度の第１及び第２の画像Ｉ１，Ｉ２に対して追跡点候補を中心とするブロックをテンプレートとしてテンプレートマッチングを行った際に生じる誤りの大きさを評価した値であり、基本的に図４のステップＳ１０２や図５ステップＳ２０２で求められた評価値と同じである。
【００６１】
次のステップＳ３０３では、ステップＳ３０２で算出された評価値のスケールを修正する処理を行う。すなわち、ステップＳ３０２で算出された評価値は画像中の距離をピクセル単位で測ったものであるため、解像度が異なる画像間の評価値は比較できない。この問題を避けるため、ステップＳ３０３では最大の解像度（最も密の解像度）におけるスケールに評価値を変換する処理を行う。この変換処理は、最大の解像度に対する現在の解像度の比の逆数を評価値に乗じることにより行う。例えば、現在の解像度が最大の解像度の１／４である場合、評価値を４倍する。
【００６２】
次のステップＳ３０４では、ステップＳ３０３でスケールが修正された後の評価値と、予め決められている所定のしきい値との比較を行う。しきい値より評価値の方が小さければステップＳ３０５に進む。ここで用いるしきい値は、例えば最大解像度の画像における許容可能なテンプレートマッチングの誤りとして設定される。
【００６３】
ステップＳ３０５では、現在設定されている解像度と最大解像度との比較を行う。最大解像度より設定された解像度の方が小さければステップＳ３０６に進んで、設定された解像度を現在の設定よりも１段階高く（密に）設定し、そうでなければ解像度の決定ができなかったとして処理を終了する。
【００６４】
ステップＳ３０４においてしきい値より評価値の方が小さくなければステップＳ３０７に進む。このステップＳ３０７では、ステップＳ３０４においてしきい値よりも小さいと判定された評価値を与える解像度をテンプレートマッチングを行う際の解像度として決定し、解像度の決定が成功したとして処理を終了する。
【００６５】
以上の処理により決定された解像度を持つ第１及び第２の画像Ｉ１，Ｉ２に対して、与えられた追跡点を中心とする矩形ブロックを構成すれば、このブロックは誤りの小さいテンプレートマッチングを行うことができることが保証されているため、精度の高いテンプレートマッチングを行うことができる。
【００６６】
また、複数の画像間で特徴点の対応点を求める際にテンプレートマッチングを用いる両眼立体視においては、与えられた特徴点に対して以上の処理により決定された解像度を第１及び第２の画像Ｉ１，Ｉ２に対して適用することにより、テンプレートマッチングの精度が向上するため、形状再現を高精度で行うことが可能となる。
【００６７】
（追跡点候補の評価値算出処理）
次に、図２の評価値算出部２１の処理、すなわち図４のステップＳ１０２、図５のステップＳ２０２、及び図６のステップＳ３０２において行われる評価値算出処理について説明する。ここで用いる評価値は、追跡点候補を中心とする矩形ブロックをテンプレートとしてテンプレートマッチングを行った際に生じるマッチング誤差の大きさを評価した値である。
【００６８】
第１の画像Ｉ１中の追跡点（参照点）を含む矩形ブロックの参照領域をテンプレートとし、第２の画像Ｉ２中からテンプレートと最も相関の高いマッチング領域を探索するテンプレートマッチングを行うことを考えた場合、第２の画像Ｉ２中には第１の画像Ｉ１中の追跡点に対応する真の対応点が存在するはずである。しかし、実際にテンプレートマッチングを行った場合、画像の情報やノイズ等の影響により、真の対応点よりずれた位置の点が対応点と見なされ、この位置のずれた対応点を基準とした第２の画像Ｉ２中の領域がマッチング領域と見なされる可能性がある。
【００６９】
このような第２の画像Ｉ２中の真の追跡点（第１の画像Ｉ１中の追跡点に対応する対応点）とテンプレートマッチングによる探索結果である実際の対応点との間の距離がここでいうマッチング誤差であり、本実施形態では第２の画像Ｉ２についての該距離の平均（平均距離）の上界（ｕｐｐｅｒ ｂｏｕｎｄ）をマッチング誤差の評価値として第１の画像Ｉ１から算出する。Ｓが順序集合Ａの部分集合のとき、Ａに属する全てのｘに対してｘ＜ｂを満たすようなＡの元ｂをＡにおけるＳの上界ｂと呼ぶが、本実施形態で用いる上界は、さらに詳しくは次のように定義される。
【００７０】
テンプレートを含む画像（第１の画像Ｉ１に相当）をｆ０、テンプレートと相関の最も高いマッチング領域を探索すべき対象の画像（第２の画像Ｉ２に相当）をｆ、画像ｆの座標ｐ＝（ｘ，ｙ）における画素をｆ（ｐ）と表記することにする。ここでは、図７（ａ）に示すように画像ｆ０における参照点（追跡点）の座標を原点Ｏとし、テンプレートは追跡点を中心とするウインドウＷ０（Ｏ）であるものとする。ここで、図７（ｂ）に示すようにテンプレートが画像ｆにおける座標ｐを中心とするウインドウ（探索窓という）Ｗ（ｐ）のどれに移動したかを探索範囲Ｓの中で探索する処理が本実施形態でのテンプレートマッチングである。
【００７１】
まず、画像ｆ中における真の追跡点（画像ｆ０中の参照点に対応する真の対応点）から、テンプレートマッチングにより求められる画像ｆ０中の参照点に対応する対応点までのベクトル（誤りベクトル）がｅである場合を考える。ある画像ｆを特定すると、真の対応点（追跡点）とテンプレートマッチングにより求められる対応点との距離である誤りベクトルｅは、一義的に決まる。
【００７２】
本実施形態で用いる上界を求めるには、まず任意の誤りベクトルｅが生じる確率Ｐ（ｅ）を評価する。これは、誤りベクトルがｅとなる画像ｆの生起確率を評価するのと同じことである。
【００７３】
次に、探索範囲内で生じる可能性のある全ての誤りベクトル（複数の画像ｆに関して求められる誤りベクトル）ｅについて、誤りの大きさ｜ｅ｜とそれぞれの確率Ｐ（ｅ）の積を加算することにより、平均距離の上界を得る。ここで平均距離とは、前述したように画像ｆ中における真の対応点（追跡点）とテンプレートマッチングにより求められる対応点との距離を複数の画像ｆについて求め、この距離の平均をとった値である。なお、｜ｅ｜とＰ（ｅ）の積の加算値をユニオン限界と呼ぶ。
【００７４】
この評価値は、第１の画像Ｉ１から計算により、すなわち第１の画像Ｉ１の情報やノイズ等の誤差要因を利用して解析的に求まる。以下、評価値の具体的な算出方法を説明する。なお、雑音および変形により生じる画素値の変化は分散σ２の加法的ガウス雑音に従うものと仮定している。
【００７５】
図８に示すように、画像ｆ中のテンプレートの領域とテンプレートを誤りベクトルｅだけ平行移動させた領域とによってできる３つの領域Ｗ１，Ｗ２，Ｗ３をＷ１＝Ｗ（Ｏ）∩Ｗ（ｅ），Ｗ２＝ＷＣ（Ｏ）∩Ｗ（ｅ），Ｗ３＝Ｗ（Ｏ）∩ＷＣ（ｅ）と定義しておく。ただし、ＷＣはＷの補集合を表している。図８中のブロック５０１はテンプレートとなる第１の領域であり、真の対応点を中心とする矩形ブロックである。ブロック５０２はブロック５０１を誤差ベクトルｅだけ平行移動させた第２の領域であり、真の対応点からずれた点を中心とする矩形ブロックである。また、領域Ｗ１，Ｗ２内における画素値と雑音の比の平均γ１ ２，γ２ ２を次式により定義する。
【００７６】
【数１】
ただし、画像ｆ０における座標ｐ＝（ｘ，ｙ）の画素値と座標ｐを誤差ベクトルｅだけ平行移動させた座標の画素値との差分をΔ（ｐ，ｅ）＝ｆ０（ｐ＋ｅ）−ｆ０（ｐ）と置いた。さらに、各領域の画素数をＮ＝｜Ｗ（Ｏ）｜，Ｒ＝｜Ｗ２｜／｜Ｗ（Ｏ）｜と記述することにする。
【００７８】
このとき、テンプレートマッチングの結果、ベクトルｅで示される誤りが生じる確率Ｐ（ｅ）は、
【数２】
により評価できる。ただし、
【数３】
である。ＥＴＭ（ｅ）は図８に示した二つのブロック（テンプレートのブロック５０１及びブロック５０１を誤差ベクトルｅだけ平行移動させたブロック５０２）間の非類似度となっている。
【００８１】
以上の結果から、テンプレートマッチングにより生じる誤りの平均εは、探索範囲Ｓ内の全ての誤差ベクトルｅに関しての期待値の和により、以下のように表される。
【００８２】
【数４】
ここで、ｕが上界である。この式（４）により、ある追跡点（参照点）を用いてテンプレートマッチングを行うと、平均誤り（平均距離）の大きさがｕ以下になる、と保証することが可能になる。なお、ここでは図８に示した二つのブロック５０１，５０１間の非類似度を考えたが、類似度を用いてもよい。
【００８４】
このように本実施形態では、テンプレートマッチングの誤りの大きさの平均（平均距離）を評価している上界ｕを各追跡点候補に対する評価値として用い、この評価値に従って追跡点（参照点）やテンプレートサイズ及び解像度といったパラメータを決定することにより、精度の高いテンプレートマッチングを行うことが可能となる。
【００８５】
次に、図９に示すフローチャートを用いて上述した評価値の算出手順について説明する。この評価値算出処理では、与えられた追跡点（参照点）の候補に対する上界ｕの値が計算される。
【００８６】
まず、ステップＳ４０１では初期化処理としてｕに初期値０を代入する。
次のステップＳ４０２では、与えられた追跡点の探索範囲内から、処理がまだ行われていない追跡点候補を選択する。そして、ｅとして追跡点（真の対応点）から選択された追跡点（対応点）候補までの誤差ベクトルを代入しておく。
【００８７】
次のステップＳ４０３では、与えられた追跡点とステップＳ４０２で選択された追跡点候補とからγ１およびγ２を計算する。
【００８８】
ステップＳ４０４では、ρの値を決定する。ρは、ＥＴＭ(e)の値を最大化するように０〜１の範囲内の値から選ばれる。そのため方法としては、一般的な降下法を使うことができる。さらに簡単には、０〜１の範囲の値を適当にサンプリングし、最小のＥＴＭ(e)を与える値を近似解として選択するという方法がある。
【００８９】
ステップＳ４０５では、上界ｕに｜ｅ｜・ｅｘｐ(−1/2・Ｎ・ＥＴＭ(e))を加算する。
ステップＳ４０６では、探索範囲内に未処理の追跡点候補が残っているかどうかを調べる。未処理の追跡点候補が残っていればステップＳ４０２からの処理を繰り返し、そうでなければステップＳ４０７に進み、上界ｕを与えられた追跡点候補に対する評価値として出力する。
【００９０】
以上の処理により評価値が算出されるが、この評価値算出処理にはテンプレートマッチングを行うのと同様の処理量が必要である。評価値算出に必要な処理量を減らすためには、探索範囲内の全画素を追跡点候補とするのではなく、間引きなどにより探索範囲内の一部の画素に限定するのが有効である。また、ステップＳ６０２で選択される探索範囲内の点を同様の方法で減らしても、評価値算出の処理量を減らすことができる。
【００９１】
なお、以上の説明では評価値に基づいてテンプレートマッチング時の参照点、テンプレートサイズ及び画像の解像度という３つのパラメータを全て決定する例について述べたが、これらのパラメータの任意の１つまたは２つのみを決定する態様も本発明に含まれることはいうまでもない。
【００９２】
【発明の効果】
以上説明したように、本発明によればテンプレートマッチングの精度に直接関係する平均距離の上界を評価値として、参照点、テンプレートサイズ及び画像の解像度といったテンプレートマッチング時に用いるパラメータを人間の経験や直感に頼ることなく客観的な基準で決めることにより、高精度のテンプレートマッチングを行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図
【図２】同実施形態に係るテンプレートマッチング装置の構成を機能的に示すブロック図
【図３】同実施形態における物体追跡処理の流れを示すフローチャート
【図４】図２における追跡点決定処理の流れを示すフローチャート
【図５】同実施形態におけるテンプレートサイズ決定処理の流れを示すフローチャート
【図６】同実施形態における画像解像度決定処理の流れを示すフローチャート
【図７】同実施形態におけるテンプレートマッチングについての説明図
【図８】同実施形態におけるテンプレート内の領域とテンプレートをずらした領域について示す図
【図９】同実施形態における追跡点の評価値算出処理の流れを示すフローチャート
【符号の説明】
１０…コンピュータシステム
１１…主記憶装置
１２…中央処理装置
１３…動画像再生装置
１４…表示装置
１５…指示入力装置
１６…動画像データ用記録媒体
１７…追跡結果データ用記録媒体
２０…マッチング処理部
２１…評価値算出部
２２…パラメータ決定部
２３…参照点決定部
２４…サイズ決定部
２５…解像度決定部
Claims (7)
- 第１の画像中の参照点を含む参照領域をテンプレートとし、第２の画像中の探索範囲から前記テンプレートと最も相関の高いマッチング領域を探索するテンプレートマッチング方法において、
前記第２の画像中における前記参照点に対応する真の第１対応点からテンプレートマッチングにより求められる前記参照点に対応する第２対応点までの誤差ベクトルを前記探索範囲内で複数の第２の画像について求め、これらの全ての誤差ベクトルの大きさとそれぞれの確率との積を加算することにより得られる、前記第１対応点と第２対応点との間の平均距離の上界を評価値として算出する評価値算出ステップと、
算出された前記評価値を用いて（ａ）前記第１の画像中の前記参照点、（ｂ）前記テンプレートのサイズ、及び（ｃ）前記第１及び第２の画像の解像度、のうちの少なくとも一つのパラメータを決定するパラメータ決定ステップと
を具備する画像のテンプレートマッチング方法。 - 前記パラメータ決定ステップは、前記参照点となり得る複数の参照点候補について前記評価値算出ステップによりそれぞれ算出される前記評価値のうち最小の評価値を与える参照点候補を前記参照点として決定する請求項１記載の画像のテンプレートマッチング方法。
- 前記パラメータ決定ステップは、前記テンプレートとなる参照領域のサイズを段階的に大きくしたときに前記評価値算出ステップによりそれぞれ算出される前記評価値を所定のしきい値と比較し、該しきい値より小さい評価値を与える参照領域のサイズを前記テンプレートのサイズとして決定する請求項１記載の画像のテンプレートマッチング方法。
- 前記パラメータ決定ステップは、前記第１及び第２の画像の解像度を段階的に高くしたときに前記評価値算出ステップによりそれぞれ算出される前記評価値を所定のしきい値と比較し、該しきい値より小さい評価値を与える前記第１及び第２の画像の解像度を決定する請求項１記載の画像のテンプレートマッチング方法。
- 前記評価値算出ステップは、
前記第２の画像の前記真の第１対応点を含む第１の領域と該第１の領域を前記第２の画像内の前記探索範囲内で平行移動させた第２の領域との非類似度または類似度を算出するステップと、
前記探索範囲内の異なる複数の前記第２の領域に対してそれぞれ算出された複数の非類似度または類似度を用いて前記評価値を算出するステップとを有する請求項１記載の画像のテンプレートマッチング方法。 - 第１の画像中の参照点を含む参照領域をテンプレートとし、第２の画像中の探索範囲から前記テンプレートと最も相関の高いマッチング領域を探索するテンプレートマッチングを含む処理を行う画像処理装置において、
前記第２の画像中における前記参照点に対応する真の第１対応点からテンプレートマッチングにより求められる前記参照点に対応する第２対応点までの誤差ベクトルを前記探索範囲内で複数の第２の画像について求め、これらの全ての誤差ベクトルの大きさとそれぞれの確率との積を加算することにより得られる、前記第１対応点と第２対応点との間の平均距離の上界を評価値として算出する評価値算出部と、
算出された前記評価値を用いて（ａ）前記第１の画像中の前記参照点、（ｂ）前記テンプレートのサイズ、及び（ｃ）前記第１及び第２の画像の解像度、のうちの少なくとも一つのパラメータを決定するパラメータ決定部と
を具備する画像処理装置。 - 第１の画像中の参照点を含む参照領域をテンプレートとし、第２の画像中の探索範囲から前記テンプレートと最も相関の高いマッチング領域を探索するテンプレートマッチング処理をコンピュータに実行させるためのプログラムであって、
前記第２の画像中における前記参照点に対応する真の第１対応点からテンプレートマッチングにより求められる前記参照点に対応する第２対応点までの誤差ベクトルを前記探索範囲内で複数の第２の画像について求め、これらの全ての誤差ベクトルの大きさとそれぞれの確率との積を加算することにより得られる、前記第１対応点と第２対応点との間の平均距離の上界を評価値として算出する処理と、
算出された前記評価値を用いて（ａ）前記第１の画像中の前記参照点、（ｂ）前記テンプレートのサイズ、及び（ｃ）前記第１及び第２の画像の解像度、のうちの少なくとも一つのパラメータを決定する処理と
を含むテンプレートマッチング処理をコンピュータに実行させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001062567A JP3576987B2 (ja) | 2001-03-06 | 2001-03-06 | 画像のテンプレートマッチング方法及び画像処理装置 |
| US10/087,935 US7085418B2 (en) | 2001-03-06 | 2002-03-05 | Template matching method and image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001062567A JP3576987B2 (ja) | 2001-03-06 | 2001-03-06 | 画像のテンプレートマッチング方法及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002269559A JP2002269559A (ja) | 2002-09-20 |
| JP3576987B2 true JP3576987B2 (ja) | 2004-10-13 |
Family
ID=18921684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001062567A Expired - Fee Related JP3576987B2 (ja) | 2001-03-06 | 2001-03-06 | 画像のテンプレートマッチング方法及び画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7085418B2 (ja) |
| JP (1) | JP3576987B2 (ja) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999019828A1 (en) * | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
| TW530489B (en) * | 2001-09-11 | 2003-05-01 | Pixart Imaging Inc | Moving distance detection method of image sensor |
| US20080019568A1 (en) * | 2002-05-23 | 2008-01-24 | Kabushiki Kaisha Toshiba | Object tracking apparatus and method |
| JP4079690B2 (ja) * | 2002-05-23 | 2008-04-23 | 株式会社東芝 | 物体追跡装置及び方法 |
| JP3838243B2 (ja) * | 2003-09-04 | 2006-10-25 | ソニー株式会社 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
| FR2870071B1 (fr) | 2004-05-05 | 2006-12-08 | Centre Nat Rech Scient Cnrse | Procede de traitement de donnees d'images, par reduction de bruit d'image, et camera integrant des moyens de mise en oeuvre de ce procede |
| US9024880B2 (en) * | 2004-08-11 | 2015-05-05 | Pixart Imaging Inc. | Interactive system capable of improving image processing |
| TWI236289B (en) * | 2004-08-11 | 2005-07-11 | Pixart Imaging Inc | Interactive device capable of improving image processing |
| GB0502844D0 (en) | 2005-02-11 | 2005-03-16 | Univ Edinburgh | Storing digital content for access using a captured image |
| KR100765749B1 (ko) * | 2005-04-26 | 2007-10-15 | 삼성전자주식회사 | 이진영상 압축장치 및 방법 |
| US20070250548A1 (en) * | 2006-04-21 | 2007-10-25 | Beckman Coulter, Inc. | Systems and methods for displaying a cellular abnormality |
| US8096584B2 (en) * | 2006-07-24 | 2012-01-17 | 3M Innovative Properties Company | Document authentication using template matching with fast masked normalized cross-correlation |
| JP4905142B2 (ja) * | 2007-01-15 | 2012-03-28 | 富士通株式会社 | 画像処理装置、印刷物および画像処理プログラム |
| KR100791391B1 (ko) * | 2007-01-30 | 2008-01-07 | 삼성전자주식회사 | 노이즈 저감 방법 및 장치 |
| JP4461165B2 (ja) * | 2007-09-26 | 2010-05-12 | 株式会社東芝 | 画像処理装置、方法およびプログラム |
| US10916043B2 (en) * | 2007-11-26 | 2021-02-09 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for generating a template for arranging at least one object at at least one place |
| JP4883223B2 (ja) * | 2009-01-09 | 2012-02-22 | コニカミノルタホールディングス株式会社 | 動きベクトル生成装置および動きベクトル生成方法 |
| JP5717055B2 (ja) * | 2010-01-08 | 2015-05-13 | 日本電気株式会社 | 類似度算出装置、類似度算出方法、及びプログラム |
| US9613292B1 (en) | 2012-01-26 | 2017-04-04 | Hrl Laboratories, Llc | Secure multi-dimensional pattern matching for secure search and recognition |
| US10346617B1 (en) | 2010-01-25 | 2019-07-09 | Hrl Laboratories, Llc | Protocol for securely searching streaming data with constant bandwidth |
| US8818923B1 (en) | 2011-06-27 | 2014-08-26 | Hrl Laboratories, Llc | Neural network device with engineered delays for pattern storage and matching |
| CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
| US9009089B1 (en) | 2011-06-27 | 2015-04-14 | Hrl Laboratories, Llc | Secure pattern matching |
| US9336239B1 (en) | 2011-06-27 | 2016-05-10 | Hrl Laboratories, Llc | System and method for deep packet inspection and intrusion detection |
| US9171247B1 (en) | 2011-06-27 | 2015-10-27 | Hrl Laboratories, Llc | System and method for fast template matching in 3D |
| US8483489B2 (en) | 2011-09-02 | 2013-07-09 | Sharp Laboratories Of America, Inc. | Edge based template matching |
| US10621364B1 (en) | 2012-01-26 | 2020-04-14 | Hrl Laboratories, Llc | Generic pattern matching system |
| US10181049B1 (en) | 2012-01-26 | 2019-01-15 | Hrl Laboratories, Llc | Method and apparatus for secure and privacy-preserving querying and interest announcement in content push and pull protocols |
| US9406105B2 (en) * | 2012-08-02 | 2016-08-02 | The Chinese University Of Hong Kong | Binocular visual experience enrichment system |
| CN102980838B (zh) * | 2012-12-19 | 2015-06-17 | 航天科工深圳（集团）有限公司 | 一种绝缘子憎水性检测方法 |
| DE102013022050A1 (de) * | 2013-12-23 | 2015-06-25 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug |
| CN103700110B (zh) * | 2013-12-27 | 2017-03-22 | 重庆交通大学 | 全自动影像匹配方法 |
| US9256709B2 (en) * | 2014-02-13 | 2016-02-09 | Taiwan Semiconductor Manufacturing Company, Ltd. | Method for integrated circuit mask patterning |
| CN104123542B (zh) * | 2014-07-18 | 2017-06-27 | 大连理工大学 | 一种轮毂工件定位的装置及其方法 |
| US9927884B2 (en) * | 2015-11-06 | 2018-03-27 | Pixart Imaging (Penang) Sdn. Bhd. | Non transitory computer readable recording medium for executing image processing method, and image sensing device applying the image processing method |
| CN107609379B (zh) * | 2016-05-30 | 2019-08-27 | Oppo广东移动通信有限公司 | 一种解锁控制方法及移动终端 |
| US10621446B2 (en) * | 2016-12-22 | 2020-04-14 | Texas Instruments Incorporated | Handling perspective magnification in optical flow processing |
| CN109409169B (zh) * | 2017-08-16 | 2021-02-02 | 北京柏惠维康科技有限公司 | 一种机器人空间配准中获取人脸点云的方法和装置 |
| CN107633526B (zh) * | 2017-09-04 | 2022-10-14 | 腾讯科技（深圳）有限公司 | 一种图像跟踪点获取方法及设备、存储介质 |
| CA3078991A1 (en) | 2017-11-28 | 2019-06-06 | Groundprobe Pty Ltd | Slope stability visualisation |
| CN110033473B (zh) * | 2019-04-15 | 2021-04-20 | 西安电子科技大学 | 基于模板匹配和深度分类网络的运动目标跟踪方法 |
| US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
| US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5067162A (en) * | 1986-06-30 | 1991-11-19 | Identix Incorporated | Method and apparatus for verifying identity using image correlation |
| US5495537A (en) * | 1994-06-01 | 1996-02-27 | Cognex Corporation | Methods and apparatus for machine vision template matching of images predominantly having generally diagonal and elongate features |
| US5602937A (en) * | 1994-06-01 | 1997-02-11 | Cognex Corporation | Methods and apparatus for machine vision high accuracy searching |
| US6636635B2 (en) * | 1995-11-01 | 2003-10-21 | Canon Kabushiki Kaisha | Object extraction method, and image sensing apparatus using the method |
| US6493465B2 (en) * | 1996-02-21 | 2002-12-10 | Canon Kabushiki Kaisha | Matching point extracting method and apparatus therefor |
| US5867584A (en) * | 1996-02-22 | 1999-02-02 | Nec Corporation | Video object tracking method for interactive multimedia applications |
| US6658145B1 (en) * | 1997-12-31 | 2003-12-02 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern inspection |
| US6301387B1 (en) * | 1998-12-18 | 2001-10-09 | University Of Washington | Template matching using correlative auto-predictive search |
-
2001
- 2001-03-06 JP JP2001062567A patent/JP3576987B2/ja not_active Expired - Fee Related
-
2002
- 2002-03-05 US US10/087,935 patent/US7085418B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002269559A (ja) | 2002-09-20 |
| US20020154820A1 (en) | 2002-10-24 |
| US7085418B2 (en) | 2006-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3576987B2 (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| US10636165B2 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
| KR101926563B1 (ko) | 카메라 추적을 위한 방법 및 장치 | |
| US20060029276A1 (en) | Object image detecting apparatus, face image detecting program and face image detecting method | |
| US8098963B2 (en) | Resolution conversion apparatus, method and program | |
| EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
| US20170094310A1 (en) | Image processing system with optical flow recovery mechanism and method of operation thereof | |
| EP3410353A1 (en) | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information | |
| US11030478B1 (en) | System and method for correspondence map determination | |
| KR100950617B1 (ko) | 이미지 시퀀스에서의 도미넌트 모션을 추정하는 방법 | |
| CN108335327B (zh) | 摄像机姿态估计方法和摄像机姿态估计装置 | |
| US20060215036A1 (en) | Method and apparatus for video stabilization | |
| CN115984307A (zh) | 视频对象分割方法、装置、电子设备及存储介质 | |
| JP2001076161A (ja) | 画像処理方法及び装置並びに記憶媒体 | |
| US8472756B2 (en) | Method for producing high resolution image | |
| US20130235274A1 (en) | Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method | |
| JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| US6483949B1 (en) | Image processing apparatus and method, and medium therefor | |
| CN116188535A (zh) | 基于光流估计的视频跟踪方法、装置、设备及存储介质 | |
| CN113344977A (zh) | 一种基于图像处理的触头压力测量模型构建方法 | |
| JPH07334690A (ja) | 物体の輪郭追跡方法 | |
| CN113129332A (zh) | 执行目标对象跟踪的方法和装置 | |
| JP2001060265A (ja) | 画像処理装置および方法、並びに媒体 | |
| JP2980810B2 (ja) | 動きベクトル探索方法と装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040706 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040708 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |