JPH11120351A - 画像マッチング装置および画像マッチングプログラムを格納する記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 対象物の急激な，環境変化等が生じた場合に
も高い信頼性のある対応点探索を行うことを目的とす
る。 【解決手段】 画像データの特徴点を抽出し，動画像も
しくはステレオ画像の左右の対応点の探索をする画像マ
ッチングにおいて，対応をとるもとの画像のテンプレー
トを作成し，対応をとる対象の画像に探索領域を設定
し，テンプレートの特徴と該探索領域のテンプレートと
同じ大きさの領域との特徴の相関をとり，テンプレート
の画像に対応する画像を求めるマッチング処理部とを備
え，連続する時刻ｔ−１と時刻ｔにおける相関値もしく
はその統計量の変化の程度を判定する相関変化判定部と
を備え，相関変化があらかじめ定めた基準より大きけれ
ば画像探索をする条件を変更する探索パラメータを変更
し，小さければ探索画像の位置についての情報を出力す
る構成をもつ。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，画像マッチング装
置に関し，移動する対象物の画像のフレーム間での対応
点，もしくはステレオ画像の左右の画像の対応点を探索
するものである。

【０００２】例えば，モーションキャプチャー等の３次
元画像処理における左右およびフレーム間のマッチン
グ，あるいはアニメ作成等におけるフレーム間マッチン
グ等を行う装置に関するものである。

【０００３】

【従来の技術】従来，左右のカメラで入力されるステレ
オ画像の左右の対応点探索，もしくは動画の連続するフ
レーム間の画像の対応点探索は，対応点探索を行う画素
の近傍の領域をテンプレートとして，輝度値等の特徴に
ついての対応点を求める画像の探索領域のテンプレート
と同じ大きさの領域との相関値を算出し，相関値をもと
に最も相関のある領域を求めるようにしている。その
際，最初は探索領域を大きくとり，徐々に探索範囲を狭
めて行く多段方式で対応付けを行っている。

【０００４】図９は，従来の技術の説明図である。図９
において，１００は画像マッチング装置である。

【０００５】１１１は画像データ１であって，時刻ｔ−
１の画像である。１１２は画像データ２であって，時刻
ｔの画像である。１１３は画像データ１（１１１）に設
定したテンプレートである。

【０００６】１１４は画像データ２（１１２）に設定し
た探索領域である。１１５は探索画像であって，探索領
域１１４上のテンプレートと同じ大きさの領域である。
探索画像１１５は探索領域１１４内の全ての画素につい
て探索できるように探索領域内を移動するものである。

【０００７】１２１は画像データ入力部であって，画像
データ１（１１１），画像データ２（１１２）を入力す
るものである。１２２は特徴抽出部であって，画像の輝
度，色，エッジ等の特徴抽出をするものである。

【０００８】１２３はマッチング処理部であって，画像
データ１（１１１）と画像データ２（１１２）の画像の
対応点を求めるものである。１２４はテンプレート設定
部であって，テンプレートを設定するものである。

【０００９】１２５は探索領域設定部であって，探索領
域１１４を設定するものである。１２６は特徴相関算出
部であって，テンプレート１１３と探索画像１１５の特
徴の相関をとるものである。

【００１０】１２７はマッチング判定部であって，テン
プレート１１３と探索領域１１４内の探索画像１１５の
相関がもっともある探索画像１１５の領域を判定するも
のである。

【００１１】１３０は出力部であって，テンプレートと
特徴が一致する探索画像領域の対応点を出力するもので
ある。図９の構成の動作を説明する。

【００１２】画像データ入力部１２１は画像データ１
（１１１）と画像データ２（１１２）を入力する。特徴
抽出部１２２はそれらの画像データの各画素の特徴を抽
出する。テンプレート設定部１２４は画像データ１（１
１１）にテンプレート１１３を設定する。探索領域設定
部１２５は画像データ２（１１２）に探索領域１１５を
設定する。特徴の相関算出部１２６は，テンプレート１
１３と探索画像の特徴を画素毎に比較し，例えば，特徴
値の差を求める等で，両者の相関を求める。マッチング
判定部１２７はテンプレート１１３と相関が最もある探
索画像１１５（特徴値の差を求めたような場合に，その
最小値等を求め，画像マッチングした領域であるとし
て，その領域の対応点（座標値）を出力する。多段方式
で画像マッチングする場合には，探索領域をせばめ，さ
らに同じ操作を繰り返してマッチングする画像を探索す
る。

【００１３】

【発明が解決しようとする課題】従来の画像マッチング
装置は，入力画像に対して対応点探索を行う場合，画像
中の対象物がカメラに対して近づいてくる動きをする場
合や，あらかじめ定められた探索範囲外に急激に移動し
たような場合には対応点探索の精度が低下し，誤対応が
生じることがあった。また，例えば，赤い対象物が移動
中に郵便ポストの前を通過する場合のように，対象物の
背景等の環境変化が生じた場合にも対応点探索に信頼性
が低下し，多段方式で探索を実行しても誤動作を生じる
ことがあった。

【００１４】本発明は，対象物の急激な，環境変化等が
生じた場合にも高い信頼性のある対応点探索を行うこと
のできる画像マッチング装置を提供することを目的とす
る。

【００１５】

【課題を解決するための手段】本発明は，画像データ入
力部と，画像データ保持部と，画像データ処理部と，画
像データ出力部とを備え，動画像の異なるフレーム間の
対応点もしくはステレオ画像の左右の対応点の探索をす
る画像マッチング装置において，データ処理部は画像デ
ータの特徴点を抽出する特徴抽出部と，対応をとるもと
の画像のテンプレートを作成し，対応をとる対象の画像
に探索領域を設定し，テンプレートの特徴と該探索領域
のテンプレートと同じ大きさの領域との特徴の相関をと
り，テンプレートの画像に対応する画像を求めるマッチ
ング処理部とを備え，マッチング処理部は，連続する時
刻ｔ−１と時刻ｔにおける相関値もしくはその統計量の
変化の程度を判定する相関変化判定部とを備え，相関変
化があらかじめ定めた基準より小さければ求めた探索画
像の位置についての情報を出力し，相関変化があらかじ
め定めた基準より大きければ画像探索をする条件を変更
する探索パラメータ変更部とを備える構成をもつ。

【００１６】図１は，本発明の基本構成を示す。図１に
おいて，１は画像データ入力部である。

【００１７】２は特徴抽出部であって，例えば，輝度，
エッジ強度，エッジ方向等の画像の特徴を抽出するもの
である。３はマッチング処理部であって，移動する対象
物のフレーム間の対応点探索，あるいはステレオ画像で
あれば，左右の画像の対応点探索をするものである。ま
た，対象物が移動するステレオ画像の場合には，フレー
ムマッチングとステレオマッチングの両方を行う。

【００１８】マッチング処理部３において，１１はテン
プレート設定部であって，画像データにテンプレートを
設定するものである。

【００１９】１２は探索領域設定部であって，対応点探
索をする画像に探索領域を設定するものである。１３は
相関値算出部であって，テンプレートと探索領域のテン
プレートと同じ大きさの領域（以後，探索画像と称す
る）との特徴の相関を算出するものである。

【００２０】１４は相関判定部であって，相関値もしく
相関値の統計量をもとに最も相関のある探索画像を求め
るものである。１５は相関変化判定部であって，時刻ｔ
−１と時刻ｔの相関値をもとにその変化の程度を判定す
るものである。

【００２１】１６は探索パラメータ変更部であって，相
関の変化が一定基準以上に大きい場合に，探索条件を定
めるパラメータを変更するものである。１７は出力部で
あって，テンプレートと一致する探索画像の位置につい
ての情報を出力するものである。

【００２２】図１の本発明の基本構成の動作を説明す
る。画像データ入力部１は画像データを入力する。画像
データは動画像データ，もしくは静止ステレオ画像デー
タ，もしくはステレオの動画像データである。

【００２３】特徴抽出部２は，入力した画像の特徴を抽
出する。特徴は，例えば，入力した画像が画素毎にもつ
輝度，エッジ強度，エッジ方向等の特徴を抽出するもの
である。

【００２４】マッチング処理部３において，テンプレー
ト設定部１１は探索対象物を含む領域にテンプレートを
作成する。テンプレートは，対象物の全体の形状を覆う
ように複数毎設定する。例えば，対象物が三角形である
時，各辺を覆うように複数毎設定する。探索領域設定部
１２は，対応点を探索する画像に探索領域を設定する。
例えば，時刻ｔ−１と時刻ｔのフレームでの対応点探索
（フレームマッチング）であれば，テンプレート設定部
１１は時刻ｔ−１のフレームの画像の探索対象物を含む
領域にテンプレートを設定し，探索領域設定部１２は時
刻ｔのフレームの画像に探索領域を設定する。ステレオ
画像であれば，テンプレート設定部１１は，例えば右画
像にテンプレートを設定し，探索領域設定部１２は左画
像に探索領域を設定する（ステレオマッチング）。左画
像にテプレートを設定し，右画像に探索領域を設定して
も良い。ステレオの動画像の場合には，フレームマッチ
ングとステレオマッチングの両方を行う。

【００２５】相関値算出部１３はテンプレートと探索画
像との特徴の相関値を求める。探索画像は探索領域上を
移動して，探索領域の全ての画素について相関値が求ま
るように複数設定する。相関値は時刻ｔ−１の相関値
（時刻ｔ−１と時刻ｔのフレームの間の相関）と時刻ｔ
の相関（時刻ｔと時刻ｔ＋１のフレームの間の相関）に
ついて求め，保持する。

【００２６】相関判定部１４はテンプレートと探索画像
との相関を求め，最も相関のある探索画像を求める。相
関変化判定部１５は，時刻ｔ−１と時刻ｔの相関値もし
くは相関値についての統計量の変化の程度を判定する。

【００２７】探索パラメータ変更部１６は，相関値もし
くはその統計量の変化の程度が一定基準値より大きけれ
ば，画像探索の条件を与えるパラメータ（例えば，探索
領域のサイズ，テンプレートのサイズ，段数，相関を求
める際に考慮した特徴の重み等）の探索パラメータを変
更し，探索を繰り返す。また，相関値もしくはその統計
量が一定の基準以内であれば，探索パラメータ変更部１
６はパラメータを変更しない。そして，出力部１７は探
索画像の位置についての情報を出力する。

【００２８】本発明によれば，相関値もしくは相関値の
統計量の変化を考慮して画像マッチングを判定するの
で，画像中の対象物体がカメラに対して近づいてくる動
きをする場合や，対象物が急激に移動したような場合に
も，探索パラメータを変更することにより対象物を探索
領域に捉えて探索できるので高精度に対応点探索を行う
ことができる。また，例えば，赤い対象物が移動中に郵
便ポストの前を通過する場合のように，対象物の背景等
の環境変化が生じた場合にも，相関値を求める時の特徴
の重みを変更する等のように環境の変化の影響を特徴の
重みに反映させて画像探索するので，高精度の対応点探
索を行うことができる。

【００２９】

【発明の実施の形態】図２は本発明のシステム構成の実
施の形態１を示す図である。図２において，２１は右カ
メラである。

【００３０】２２は左カメラである。２３は画像マッチ
ング装置である。２５は入力インタフェースＡであっ
て，右カメラ２１と左カメラ２２の画像データを入力す
るインタフェースである。

【００３１】２６は画像展開部であって，右カメラ２
１，左カメラ２２の画像データを展開するものである。
２７はメモリであって，画像マッチングプログラムをロ
ードし，画像展開部２６に展開された画像データについ
てマッチング処理をする作業領域である。

【００３２】２８はメモリにロードされた画像マッチン
グプログラムである。２９は入力インタフェースＢであ
って，外部の記憶媒体（４１，４２）とのインタフェー
スである。

【００３３】３１は出力インタフェースであって，補助
記憶装置，出力装置等とのインタフェースである。４１
は補助記憶装置であって，磁気ディスク装置，光ディス
ク装置等の画像データを記憶するものである。また，補
助記憶装置４１は画像マッチングにおいて求められた探
索画像の位置についての情報を記憶するものである。

【００３４】４２は記憶されている画像データである。
４３は記憶媒体ドライブであって，記憶媒体４４を駆動
する装置である。４４は記憶媒体であって，磁気記憶媒
体，光記憶媒体等の記憶媒体であり，画像マッチングプ
ログラムを記憶するものである。

【００３５】４５は画像マッチングプログラムであっ
て，特徴抽出プログラム，相関判定プログラム，探索パ
ラメータ変更プログラム等のプログラムを含むものであ
る。４６は出力装置であって，ディスプレイ，プリンタ
等である。

【００３６】図２の構成の動作を説明する。記憶媒体ド
ライブ４３でドライブされた記憶媒体４４から画像マッ
チングプログラム４５がメモリ２７にロードされる。

【００３７】右カメラ２１，左カメラ２２の画像は入力
インタフェースＡ２５を介して画像展開部２６に展開さ
れる。あるいは，補助記憶装置４１に保持されている画
像データが入力インタフェースＢ（２９）を介して画像
展開部２６に展開される。

【００３８】制御部３２は，画像マッチングプログラム
２８によりテンプレート生成，探索領域生成，相関値算
出，相関値もしくはその統計量の変化の程度の判定，探
索パラメータ判定，探索画像の位置についての情報の生
成等を行う。そして，探索画像の位置についての情報を
出力インタフェース３１から補助記憶装置４１に出力す
る。探索画像の位置についての情報は補助記憶装置４１
に記憶される。そして，後に画像処理するためにそのデ
ータを使用する。また，探索結果はプリンタ，ディスプ
レイ等の出力装置４６に出力される。

【００３９】図３は本発明のシステム構成の実施の形態
２である。図３は，撮像装置が画像データを展開する画
像メモリを備え，本発明の画像マッチング装置はその画
像データを逐次入力して処理する点のみで図２のシステ
ム構成と異なる。

【００４０】図３において，図２と共通の参照番号は共
通部分である。図３において，画像マッチングする対象
の画像データの特徴が入力インタフェースＡ（２５）を
介してメモリ２７に格納される。そして，画像マッチン
グプログラム２８はマッチングする探索画像を求め，そ
の位置についての情報を出力インタフェース３１から出
力する。探索画像の位置の情報は必要に応じて補助記憶
装置４１に記憶される。そして，後に画像処理するため
にそのデータを使用する。あるいは，プリンタ，ディス
プレイ等の出力装置４６に出力される。

【００４１】図４は本発明の画像マッチング方法の説明
図である。図４において，６１は時刻ｔ−１の右カメラ
の画像である。

【００４２】６２は時刻ｔ−１の左カメラの画像であ
る。６３は時刻ｔの右カメラの画像である。６４は時刻
ｔの左カメラの画像である。

【００４３】６５は時刻ｔ＋１の右カメラの画像であ
る。６６は時刻ｔ＋１の左カメラの画像である。時刻ｔ
−１の右カメラの画像のフレ−ムマッチングは時刻ｔ−
１の右カメラの画像６１と時刻ｔの右カメラの間の画像
６３の相関をもとに決定する。同様に，時刻ｔ−１の左
カメラの画像のフレ−ムマッチングは時刻ｔ−１の左カ
メラの画像６２と時刻ｔの左カメラの画像６４の間の相
関をもとに決定する。

【００４４】時刻ｔのステレオマッチングは時刻ｔの右
カメラの画像６３と時刻ｔの左カメラの画像６４の間の
相関をもとに決定する。図５は本発明の相関値の求め方
および相関値の変化の求め方の説明図である。

【００４５】５１はテンプレートである。５２は探索画
像であって，探索領域上のテンプレートと同じ大きさの
領域である。

【００４６】５３は特徴毎の時刻ｔ−１の相関値と時刻
ｔの相関値の平均である。Ｔ０，Ｔ１，Ｔ２は特徴を表
す。５４はステレオマッチングとフレームマッチングの
特徴全体の時刻ｔ−１の相関値と時刻ｔの相関値の平均
である。

【００４７】５１，５２において，ａ（ｉ，ｊ），ｂ
（ｉ，ｊ）は画像上の位置（ｉ，ｊ）の画素の特徴Ｔ０
（例えば輝度値）に対する特徴量である。特徴Ｔ０にお
ける相関値をＳ０とした時， 但し，｜｜は絶対値を表す。

【００４８】特徴全体の相関値Ｐ＝ｍ₀ ×Ｓ₀ ＋ｍ₁ ×
Ｓ₁ ＋・・・＋ｍ_n ×Ｓ_n-1 （ｍ₀ 〜ｍ_n は各特徴に対する重み，ｎは特徴数） 参照番号５３はフレームマッチングとステレオマッチン
グの特徴毎の相関値の平均値の時間変化を示すものであ
る。平均値は，対象物（例えば，三角形等の各辺の画素
について作成した複数のテンプレート）のそれぞれの探
索画像との相関値の平均である。

【００４９】時刻ｔ−１での特徴Ｔ０の相関値の平均が
１０であり，時刻ｔでの相関値の平均が２０である。時
刻ｔ−１での特徴Ｔ１の相関値の平均が８であり，時刻
ｔでの相関値の平均が９である。時刻ｔ−１での特徴Ｔ
２の相関値の平均が１１であり，時刻ｔでの相関値の平
均が２である。

【００５０】特徴Ｔ１の相関値の平均の時刻ｔ−１から
ｔへの変化は小さいのに対して，特徴Ｔ０と特徴Ｔ２の
相関値の平均の時刻ｔ−１からｔへの変化は大きい。平
均が閾値以上に増大したことは，環境変化により特徴の
信頼性が低下した可能性があるため，この特徴の重みを
現在の値より小さくする。例えば，図５の場合，相関値
全体Ｐを算出する時のＴ０の重みを小さくする。平均が
閾値以上に減少した場合には，特徴の信頼性が高くなっ
たと推定されるため，この特徴の重みを現在の値より大
きくする。例えば，図５の場合，相関値全体Ｐを算出す
る時のＴ２の重みを大きくする。

【００５１】ステレオマッチングとフレームマッチング
の統計量（平均値，分散等）が変化した時について説明
する。ステレオマッチング，フレームマッチングにおけ
る平均がしきい値以上に増大した時，処理対象となる物
体の動きが設定してある探索パラメータの範囲を超えた
可能性があるための探索パラメータの値を大きくする。
即ち，ステレオマッチング，フレームマッチングの対応
点探索の段数，範囲，テンプレートサイズをそれぞれ大
きくする。

【００５２】図５の参照番号５４において，ステレオマ
ッチングの相関値の時刻ｔ−１の平均は１０であり，時
刻ｔでの相関値の平均は２１である。また，時刻ｔ−１
でのフレームマッチングの相関値の平均は１３であり，
時刻ｔでの相関値の平均は３０である。閾値を３とした
時，ステレオマッチング，フレームマッチングのいずれ
も変化が大きいので対応点探索パラメータを変更する。

【００５３】図６は本発明のマッチング処理部の実施の
形態を示す図である。図６において，２は特徴抽出部で
ある。

【００５４】３はマッチング処理部である。２６は画像
展開部である。マッチング処理部３において，１１はテ
ンプレート設定部である。

【００５５】１２は探索領域設定部である。１３は相関
値算出部であって，フレームマッチングとステレオマッ
チングを判定するための相関値を求め，保持するもので
ある。

【００５６】１３’はフレームマッチングであって，時
刻ｔ−１と時刻ｔのフレームマッチングにおける各テン
プレートの特徴毎および特徴全体の相関値および相関値
および特徴全体の各テンプレートの相関値の統計量（平
均，分散）を求め保持する。

【００５７】１３”はステレオマッチングであって，時
刻ｔ−１と時刻ｔのステレオマッチングの各テンプレー
トの特徴毎および特徴全体の相関値および各テンプレー
トの相関値の統計量（平均，分散）を求め保持すること
を表す。

【００５８】１４は相関判定部であって，相関値算出部
の算出した相関値の統計量をもとにマッチングする探索
画像を判定するものである。１５は相関変化判定部であ
って，特徴毎および特徴全体の相関値の統計量の変化を
判定するものである。

【００５９】１６は探索パラメータ変更部であって，相
関値の統計量の変化をもとに，探索パラメータを変更す
ることの有無を判定し，変更する必要がある場合にはパ
ラメータを変更するものである。

【００６０】１７は出力部であって，マッチングする探
索画像の画素値を出力するものである。図７は本発明の
画像マッチング処理部のフローチャートである（特徴抽
出部の処理を含む）。

【００６１】Ｓ１ 処理対象となる画像列（左右のカメ
ラで入力される画像データ）の画像（時刻＝ｔとする）
の全ての画素について，特徴を抽出する。ここで，抽出
する特徴量としては，エッジの強度，エッジ方向，色情
報等である。

【００６２】Ｓ２ 画像の対応点探索を行う全ての画素
毎に，抽出した特徴を使用してこの画素を含むテンプレ
ートを作成し，ステレオマッチングとフレームマッチン
グを行い，特徴全体Ｐの相関値が最小となる探索画像を
求める。そして，探索画像の位置（座標値），その時の
各特徴の相関値Ｓ０等，特徴全体の相関値Ｐを各テンプ
レート毎に求め，所定の領域に格納する。さらに，各テ
ンプレートに相関値により特徴毎の相関値の平均，分
散，特徴全体の相関値の平均と分散等の統計量を算出
し，格納する。

【００６３】Ｓ３，Ｓ４，Ｓ５ すでに格納されている
一つ前の時刻（時刻＝ｔ−１）の画像に対して求めた相
関値毎の統計量と新たに求めた統計量（時刻＝ｔ）を比
較し，対応点探索の段数，範囲，特徴の重み，テンプレ
ートのサイズの各対応点の探索パラメータの更新判定を
行い，いずれかのパメータの更新が行われたら，この更
新されたパラメータを使用して再度Ｓ２においてステレ
オマッチング，フレームマッチングを行う。一方，いず
れの探索パラメータの変更もなければ，ステレオマッチ
ング時に特徴全体の相関値Ｐが最小となった探索画像の
位置（座標値）を出力する（Ｓ６，Ｓ７）。そして，処
理を行う画像があれば，Ｓ１以降の処理を繰り返し，処
理を行う画像がなければ処理を終了する。

【００６４】図８は，本発明の対応点の探索パラメータ
更新（図７のＳ３）のフローチャートである。Ｓ１１は
時刻ｔ，ｔ＋１におけるある特徴の相関値の特徴量（平
均，分散等）がしきい値以上変化したか判定する。Ｓ１
１で時刻ｔ，ｔ＋１におけるある特徴の相関値の特徴量
（平均，分散等）がしきい値以上変化しないと判定され
たら（Ｎ）Ｓ１３に進む。

【００６５】Ｓ１２ Ｓ１１で時刻ｔ，ｔ＋１における
特徴の相関値の特徴量（平均，分散等）がしきい値以上
変化したと判定されたら（Ｙ），特徴の相関値に対する
重みを変更する。

【００６６】Ｓ１３ 他に特徴があるか判定し，特徴が
あればＳ１１以降の処理を繰り返す。他に特徴がなけれ
ばＳ１４の判定を行う。Ｓ１４ 時刻ｔ＋１におけるス
テレオマッチング，フレームマッチングの相関値の統計
量（平均，分散等）が閾値以上変化したか判定し，しき
い値以上変化しなければ，図７のＳ４の判定を行う。

【００６７】Ｓ１５ Ｓ１４の判定で，時刻ｔ＋１にお
けるステレオマッチング，フレームマッチングの相関値
の統計量（平均，分散等）が閾値以上変化すれば，対応
点探索のパラメータ（段数，範囲，テンプレートサイ
ズ）を変更し，図７のＳ４の判定を行う。

【００６８】

【発明の効果】本発明によれば，入力画像に対して対応
点探索を行う場合，画像中の対象物体がカメラに対して
近づいてくる動きをする場合や，あらかじめ定められた
探索範囲外に急激に移動したような場合や，例えば，赤
い対象物か移動中に郵便ポストの前を通過する場合のよ
うに，対象物の背景等の環境変化が生じた場合にも対応
点探索に信頼性が低下した場合にも，高い信頼性のある
対等点探索を行うことができる。

【図面の簡単な説明】

【図１】本発明の基本構成を示す図である。

【図２】本発明のシステム構成の実施の形態１を示す図
である。

【図３】本発明のシステム構成の実施の形態２を示す図
である。

【図４】本発明の画像マッチング方法の説明図である。

【図５】本発明の相関値の求め方および相関値の変化の
説明図である。

【図６】本発明のマッチング処理部の実施の形態を示す
図である。

【図７】本発明の画像マッチング処理部のフローチャー
トを示す図である。

【図８】対応点の探索パラメータ更新のフローチャート
を示す図である。

【図９】従来の技術を示す図である。

【符号の説明】

１：画像データ入力部 ２：特徴抽出部 ３：マッチング処理部 １１：テンプレート設定部 １２：探索領域設定部 １３：相関値算出部 １４：相関判定部 １５：相関変化判定部 １６：探索パラメータ変更部 １７：出力部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 動画像の異なるフレーム間の対応点もし
   くはステレオ画像の左右の対応点の探索をする画像マッ
   チング装置において，データ処理部は画像データの特徴
   点を抽出する特徴抽出部と，対応をとるもとの画像内で
   のテンプレートを作成し，対応をとる対象の画像に探索
   領域を設定し，テンプレートの特徴と該探索領域内のテ
   ンプレートと同じ大きさの領域との特徴の相関をとり，
   テンプレートの画像に対応する画像を求めるマッチング
   処理部とを備え，マッチング処理部は，連続する時刻ｔ
   −１と時刻ｔにおける相関値もしくはその統計量の変化
   の程度を判定する相関変化判定部とを備え，相関変化が
   あらかじめ定めた基準より小さければ求めた探索画像の
   位置についての情報を出力し，相関変化があらかじめ定
   めた基準より大きければ画像を探索する条件を変更する
   探索パラメータ変更部とを備えることを特徴とする画像
   マッチング装置。
2. 【請求項２】 該条件はテンプレートの大きさもしくは
   探索領域の大きさもしくは条件を変更する回数である段
   数であることを特徴とする請求項１に記載の画像マッチ
   ング装置。
3. 【請求項３】 複数種類の特徴の相関に特徴毎の係数を
   掛けて複数の特徴の相関の和Ｐを求め，該特徴の相関の
   和Ｐに基づいて相関の最もある探索画像を求めるもので
   あって，各テンプレートの特徴毎の相関値の統計量を求
   め，特徴毎の相関との統計量の連続する時刻での変化を
   判定し，該変化が一定の基準より大きい特徴の係数を変
   更するものであることを特徴とする請求項１に記載の画
   像マッチング装置。
4. 【請求項４】 各テンプレートについて該相関値の和Ｐ
   の統計量を求め，該統計量の連続する時刻での変化が該
   基準より大きい場合に探索条件を変更するものであるこ
   とを特徴とする請求項２もしくは３に記載の画像マッチ
   ング装置。
5. 【請求項５】 動画像の異なるフレーム間の対応点もし
   くはステレオ画像の左右の対応点の探索をする画像マッ
   チングプログラムを記憶する記憶媒体において，該画像
   マッチングプログラムは，画像データの特徴点を抽出す
   る特徴抽出プログラムと，対応をとるもとの画像のテン
   プレートを作成し，対応点を求める対象の画像に探索領
   域を設定し，テンプレートの特徴と該探索領域のテンプ
   レートと同じ大きさの領域との特徴の相関をとり，テン
   プレートの画像に一致する画像を求めるマッチング処理
   プログラムとを備え，マッチング処理プログラムは，連
   続する時刻ｔ−１と時刻ｔにおける相関値もしくは統計
   量の変化の程度を判定する相関変化判定プログラムとを
   備え，相関変化があらかじめ定めた基準より小さければ
   求めた探索画像の位置についての情報を出力し，相関変
   化があらかじめ定めた基準より大きければ画像探索の条
   件を変更する探索パラメータ変更プログラムとを備える
   ことを特徴とする画像マッチングプログラムを記憶する
   記憶媒体。