JPH08305858A - 対応点抽出方法および対応点抽出装置 - Google Patents

Abstract

(57)【要約】 【目的】 誤対応の可能性の低い対応点抽出方法を提供
する。 【構成】 第１の画像中の基準点に対応する第２の画像
中の対応点を抽出する対応点抽出方法であって、複数の
異なる対応点抽出パラメータに基づいて、前記基準点に
対応する第２の画像中の対応点候補とその対応点候補に
関する対応の可能性を示す可能性値を求める第１のステ
ップ（Ｓ１０１）と、求めた対応点候補が同一点のもの
かどうかを判断する第２のステップ（Ｓ１０２）と、第
２のステップで対応点候補が同一点のものと判断した場
合は、該対応点候補を対応点と判定する第３のステップ
（Ｓ１０３）と、第２のステップで対応点候補が異なる
点のものと判断した場合は、各対応点候補毎に、それぞ
れ各対応点抽出パラメータ毎に求められた可能性値の平
均値を求め、該求めた可能性値の平均値が最も小さな対
応点候補を対応点と判定する第４のステップ（Ｓ１０
４）とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像間（例えば、時系
列画像のうちの連続する２つの画像間、あるいは異なる
視点からの２つの画像間）の対応を明らかにする対応点
抽出方法及び装置に関するものである。

【０００２】

【従来の技術】従来、画像間の対応を明らかにする対応
点抽出処理方法の代表的な手法の１つとして、テンプレ
ートマッチング法が知られている。

【０００３】このテンプレートマッチング法は、基準と
なる画像中の対応をとる１点を囲むテンプレートを考
え、そのテンプレートと、探索される画像上の領域との
類似度を計算する事により対応点を決定する方法であ
る。類似度を求める計算には、以下の（１）式を用いた
輝度値の差分を使用する方法や（２）式を用いた輝度値
の相関値を使用する方法がある。

【０００４】

【数１】 上記（１），（２）式において、Ｆ（ｉ，ｊ）はテンプ
レートを表し、Ａ（ｉ，ｊ）は探索される画像を表して
いる。つまり、これらの式は、探索される画像上でテン
プレートの位置を（ｘ，ｙ）だけ移動させた時の類似度
を示す。なお（１）式で計算した場合の対応点はＥ
（ｘ，ｙ）が最小となった点であり、理論上Ｅ（ｘ，
ｙ）の最小値は０となる。また、第（２）式で計算した
場合の対応点はσ（ｘ，ｙ）が最大となった点であり、
理論上σ（ｘ，ｙ）の最大値は１となる。

【０００５】上述の（１），（２）式を用いた輝度情報
によるテンプレートマッチング法の他に、色情報を利用
する次のようなテンプレートマッチング法もある。例え
ば、以下の（３）式を用い、探索される画像上の点のＲ
ＧＢ値とテンプレート上の点のＲＧＢ値の差分から対応
点を求める方法である。

【０００６】

【数２】 上記（３）式において、Ｆ_R ，Ｆ_G ，Ｆ_B はテンプレー
ト上の点の色（赤、緑、青）を示し、Ａ_R ，Ａ_G ，Ａ_B
は探索される画像上の点の色を示す。この方法では、Ｃ
（ｘ，ｙ）を最小にする（ｘ，ｙ）が求められ、その求
められた点が対応点となる。

【０００７】また、上述のテンプレートマッチング法と
は異なる方法として、画像中のエッジを検出してエッジ
同士の対応を求めるエッジセグメント法がある。このエ
ッジセグメント法は、エッジの特徴量を使用してエッジ
同士の対応を求める手法であり、例えばエッジの長さ
Ｌ、強度Ｉ、傾きθを特徴量として用いる。例えば、テ
ンプレート上のエッジの長さＬ_A 、強度をＩ_A 、傾きを
θ_A 、探索される画像上のエッジの長さＬ_F 、強度をＩ
_F 、傾きをθ_F とすると、以下の（４）式のＳ（ｘ，
ｙ）を最小にするテンプレート上のエッジが、探索され
る画像上の（ｉ，ｊ）にあるエッジに対応するエッジと
なり、これにより対応点を求めている。

【０００８】 Ｓ（ｘ，ｙ）＝｛Ｌ_F （ｉ，ｊ）−Ｌ_A （ｉ−ｘ，ｊ−ｙ）｝² ＋｛Ｉ_F （ｉ，ｊ）−Ｉ_A （ｉ−ｘ，ｊ−ｙ）｝² ＋｛θ_F （ｉ，ｊ）−θ_A （ｉ−ｘ，ｊ−ｙ）｝² …（４） この場合のエッジの検出には、一般にSobel オペレータ
等のエッジ検出オペレータが用いられる。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
たテンプレートマッチング法やエッジセグメント法を用
いた従来の対応点抽出法には、探索される画像中にテン
プレートと類似した領域が複数存在する場合に、対応点
を一意に決めようとすると誤対応を起こしやすいという
問題がある。具体的には以下のようなことがある。

【００１０】図７（ａ），（ｂ）に示すような家の前を
車が通過している時系列画像から移動体である車を抽出
する場合を考える。図中、家はグレー、空は輝度が高い
青、車は緑色とする。陽のあたっている車の屋根やボン
ネットについては輝度がかなり高く光っているものとす
る。

【００１１】ここで、図７（ａ）中のエッジ上の点Ｒ
（背景が壁となる車のボンネット上の点）に対する図７
（ｂ）中の対応点を探す場合、輝度情報に基づくテンプ
レートマッチング法においては、求めるべき対応点であ
るエッジ上のＦ点（背景が壁となる車のボンネット上の
点）の他に、家の壁と車の屋根の輝度情報からエッジ上
のＣ点（背景が壁となる車の屋根上の点）や、エッジ上
のＥ点（背景が壁となる車のトランク上の点）を誤対応
する可能性が高い。同様に、色情報に基づくテンプレー
トマッチング法においても、Ｆ点の他に背景が壁となる
車のエッジ上のＣ点やＥ点を誤対応する可能性が高い。
また、エッジの特徴量を用いるエッジセグメント法にお
いては、Ｆ点の他に長さ、強さ、傾きが似ているエッジ
上のＡ点（家の窓枠上の点）やＣ点のエッジを誤対応す
る可能性が高い。

【００１２】本発明の目的は、上記問題点を解決し、誤
対応の可能性の低い対応点抽出法および装置を提供する
ことにある。

【００１３】

【課題を解決するための手段】本発明の対応点抽出方法
は、第１の画像中の基準点に対応する第２の画像中の対
応点を抽出する対応点抽出方法であって、対応点を抽出
するための複数の異なる対応点抽出パラメータに基づい
て、前記基準点に対応する第２の画像中の対応点候補、
およびその対応点候補に関する対応の可能性を示す可能
性値を求める第１のステップと、前記第１のステップで
求められた対応点候補が同一点のものかどうかを判断す
る第２のステップと、前記第２のステップで対応点候補
が同一点のものと判断した場合は、該対応点候補を対応
点と判定する第３のステップと、前記第２のステップで
対応点候補が異なる点のものと判断した場合は、各対応
点候補毎に、それぞれ各対応点抽出パラメータ毎に求め
られた可能性値の平均値を求め、該求めた可能性値の平
均値が最も小さな対応点候補を対応点と判定する第４の
ステップと、を含むことを特徴とする。

【００１４】上記方法において、第１のステップにおけ
る複数の異なる対応点抽出パラメータは、輝度情報、色
情報、およびエッジ特徴情報のうちの２つ以上の情報で
あってもよい。

【００１５】本発明の対応点抽出装置は、第１の画像中
の基準点に対応する第２の画像中の対応点を抽出する対
応点抽出装置であって、対応点を抽出するための複数の
異なる対応点抽出パラメータに基づいて、前記基準点に
対応する第２の画像中の対応点候補、およびその対応点
候補に関する対応の可能性を示す可能性値を求める対応
点抽出処理手段と、前記対応点抽出処理手段で求められ
た対応点候補および可能性値を基に対応点を判定する判
定手段と、を有し、前記判定手段は、前記対応点抽出処
理手段により求められた対応点候補が同一点のものの場
合は、該対応点候補を対応点と判定し、対応点候補が異
なる点のものの場合には、各対応点候補毎に、それぞれ
各対応点抽出パラメータ毎に求められた可能性値の平均
値を求め、該求めた可能性値の平均値が最も小さな対応
点候補を対応点と判定することを特徴とする。

【００１６】上記装置において、対応点抽出処理手段
は、輝度情報を基に対応点抽出処理を行う第１の対応点
抽出処理手段、色情報を基に対応点抽出処理を行う第２
の対応点抽出処理手段、およびエッジ特徴情報を基に対
応点抽出処理を行う第３の対応点抽出処理手段のうちの
２つ以上の手段により構成されるものであってもよい。
本発明の対応点抽出方法は、第１の画像中の基準点に対
応する第２の画像中の対応点を抽出する対応点抽出方法
であって、１つ以上の対応点を抽出するための対応点抽
出パラメータに基づいて、前記基準点に対応する第２の
画像中の対応点候補、およびその対応点候補に関する対
応の可能性を示す可能性値を求める第１のステップと、
前記第１のステップで求めた対応点候補が同一点のもの
かどうかを判断する第２のステップと、前記第２のステ
ップで対応点候補が同一点のものと判断した場合は、前
記第１のステップで求めた対応点候補を対応点と判定す
る第３のステップと、前記第２のステップで対応点候補
が異なる点のものと判断した場合は、各対応点候補毎
に、それぞれ対応点抽出パラメータを基に求められ可能
性値の平均値を求め、該可能性値の平均値が最も小さな
対応点候補を第１の候補、次に小さな対応点候補を第２
の候補とする第４のステップと、前記第４のステップで
得られた第１および第２の候補の可能性値の平均値の差
が所定値より大きいかどうかを判断する第５のステップ
と、前記第５のステップで第１および第２の候補の可能
性値の平均値の差が所定値より大きいと判断した場合
は、第１の候補を対応点と判定する第６のステップと、
前記第５のステップで第１および第２の候補の可能性値
の平均値の差が所定値以下であると判断した場合は、前
記第１の画像中の基準点周辺の点の対応点候補を基に前
記第１および第２の候補の対応／誤対応を判定し、対応
と判定した場合にのみ第１および第２の候補を対応点と
判定する第７のステップと、を含むことを特徴とする。

【００１７】上記方法において、第７のステップにおけ
る第１および第２の候補の対応／誤対応の判定は、第１
の画像中の基準点の周辺において該基準点と所定の位置
関係にある複数の再計算点に関する対応点候補を求め、
該求めた各再計算点の対応点候補のうちの少なくとも１
つが前記第１の候補と、少なくとも他の１つが前記第２
の候補と、それぞれ前記第１の画像中における基準点と
再計算点の位置関係と相対的に一致する位置関係にある
場合のみ対応とし、これ以外の場合は誤対応とするよう
にしてもよい。この場合、第１の画像中の基準点の周辺
において該基準点と所定の位置関係にある複数の再計算
点は、第１の画像中の基準点に対して上下左右の方向に
テンプレートの大きさの半分以上離れた４つの点として
もよい。

【００１８】さらに、第７のステップで基準点周辺の点
の対応点候補に基づき第１および第２の候補が対応と判
定された場合は、該判定結果に基づいて、第１の画像中
の前記基準点周辺の点と基準点との間に存在する点の対
応点の判定を行う第８のステップを、さらに含んでいて
もよい。

【００１９】さらに、第１のステップにおける１つ以上
の対応点抽出パラメータは、輝度情報、色情報、および
エッジ特徴情報のうちの１つ以上の情報であってもよ
い。

【００２０】本発明の対応点抽出装置は、第１の画像中
の基準点に対応する第２の画像中の対応点を抽出する対
応点抽出装置であって、対応点を抽出するための１つ以
上の対応点抽出パラメータに基づいて、前記基準点に対
応する第２の画像中の対応点候補、およびその対応点候
補に関する対応の可能性を示す可能性値を求める対応点
抽出処理手段と、前記対応点抽出処理手段で求められた
対応点候補が同一点のものの場合は、該対応点候補を対
応点と判定し、対応点候補が異なる点のものの場合に
は、各点の対応点候補毎に、それぞれ各対応点抽出パラ
メータを基に求められた可能性値の平均値を求め、該可
能性値の平均値が最も小さな対応点候補を第１の候補、
次に小さな対応点候補を第２の候補とし、これら候補の
判定を行う判定手段と、前記第１の画像中の基準点周辺
の点の対応点候補を前記対応点抽出処理手段より求め、
該求めた基準点周辺の点の対応点候補を基に前記第１お
よび第２の候補についての対応／誤対応を判定する再計
算手段と、を有し、前記判定手段は、前記第１および第
２の候補の可能性値の平均値の差が所定値より大きな場
合は、第１の候補を対応点と判定し、可能性値の平均値
の差が所定値以下の場合は、前記再計算手段による判定
が対応とされた場合にのみ前記第１および第２の候補を
対応点と判定することを特徴とする。

【００２１】上記の装置において、再計算手段は、第１
の画像中の基準点の周辺において該基準点とそれぞれ所
定の位置関係にある複数の再計算点に関する対応点候補
を対応点抽出処理手段より得、該得られた各再計算点に
関する対応点候補のうちの少なくとも１つが第１の候補
と、少なくとも他の１つが第２の候補と、それぞれ前記
第１の画像中における基準点と再計算点の位置関係と相
対的に一致する位置関係にある場合のみ対応とし、これ
以外の場合は誤対応とするものであってもよい。この場
合、再計算手段は、第１の画像中の基準点に対して上下
左右の方向にテンプレートの大きさの半分以上離れた４
つの点を再計算点とし、該各再計算点を基に第１および
第２の候補についての対応／誤対応を判定するものであ
ってもよい。

【００２２】さらに、判定手段は、基準点周辺の点の対
応点候補に基づき第１および第２の候補が対応と判定し
た場合は、該判定結果に基づいて、第１の画像中の前記
基準点周辺の点と基準点との間に存在する点の対応点の
判定を行うものであってもよい。

【００２３】さらに、対応点抽出処理手段は、輝度情報
を基に対応点抽出処理を行う第１の対応点抽出処理手
段、色情報を基に対応点抽出処理を行う第２の対応点抽
出処理手段、およびエッジ特徴情報を基に対応点抽出処
理を行う第３の対応点抽出処理手段のうちの１つ以上の
手段により構成されていてもよい。

【００２４】

【作用】本発明のうち複数の異なる対応点抽出パラメー
タを基に対応点候補とその可能性値が求められる対応点
抽出方法および装置では、複数の異なる対応点抽出パラ
メータ、例えば輝度情報、色情報、エッジの特徴情報の
３つの情報に基づいて対応点が求められるので、例えば
色情報だけでは誤対応となる場合でも、他の２つの情報
より対応点を求めることができる。このように、本発明
では、１つの対応点抽出パラメータでは補いきれなとこ
ろを、他の対応点抽出パラメータを用いて補なうことが
できる。

【００２５】また、本発明では、異なる点の対応点候補
が求められた場合は、各対応点候補毎に各対応点抽出パ
ラメータについて求められた可能性値の平均値が求めら
れる。誤対応した対応点候補の可能性値は対応した対応
点候補の可能性値より大きなものとなることから、求め
られた可能性値の平均値の最も小さな対応点候補が対応
点と判定される。したがって、本発明では、各対応点抽
出パラメータのうちのいずれか１つにより対応した対応
点候補が求められていれば、対応点が求めるられること
となる。

【００２６】本発明のうち１つ以上の対応点抽出パラメ
ータを基に対応点候補とその可能性値が求められる対応
点抽出方法および装置では、対応点抽出パラメータ、例
えば輝度情報、色情報、エッジの特徴情報のうちの１つ
以上の情報に基づいて対応点が求められる。本発明で
は、各対応点抽出パラメータ毎に異なる対応点候補が求
められた場合には、各対応点候補毎に、それぞれ対応点
抽出パラメータを基に求められた可能性値の平均値を求
め、該可能性値の平均値が最も小さな対応点候補を第１
の候補、次に小さな対応点候補を第２の候補とし、これ
ら候補の判定が次のようにして行われる。第１および第
２の候補の可能性値の平均値の差が所定値より大きな場
合は、第１の候補が対応点と判定され、可能性値の平均
値の差が所定値以下の場合には、第１の画像中の基準点
周辺の点に関する対応点候補を基に第１および第２の候
補についての対応／誤対応を判定し、対応とされた場合
にのみ第１および第２の候補が対応点と判定される。こ
こで、第１および第２の候補の可能性値の平均値の差が
所定値より大きな場合とは、基準点がエッジ近傍にある
点、すなわち移動体の近傍の背景となる領域にある点
（移動体の領域にはまたがっていない）の場合をいい、
この場合には、背景となる領域に関する対応点が求めら
れることとなる。他方、可能性値の平均値の差が所定値
以下の場合とは、第１の画像中の基準点が移動体のエッ
ジ上にある点、すなわち移動体の領域と背景となる領域
の２つの領域にまたがる点である場合をいい、この場合
にはそれぞれの領域に関する対応点が求められることと
なる。このように、本発明では、移動体のエッジ近傍に
ある点については１意に対応点を求め、移動体のエッジ
上にある点については２つの対応点を求めることができ
るので、移動体に関する対応点の抽出がより正確なもの
となる。

【００２７】また、上記発明において基準点周辺の点の
対応点候補に基づき第１および第２の候補が対応と判定
した後は、該判定結果を基に、第１の画像中の前記基準
点周辺の点と基準点との間に存在する点の対応点候補の
判定を行う方法及び装置においては、移動体のエッジ近
傍にある点の対応点は、上記基準点周辺の点の対応点候
補と第１および第２の候補との対応を基に求められるの
で、誤対応の可能性がより一層低いものとなる。

【００２８】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００２９】＜第１の実施例＞以下に説明する本実施例
の対応点抽出方法は、種々の対応点抽出パラメータ（対
応点抽出処理を行うための情報の項目、以下の説明では
輝度情報、色情報、エッジの特徴情報の項目をいう）に
基づいて対応点の候補を抽出し、該抽出された対応点候
補を統計的に処理して対応点を得ることを特徴とする。
具体的には、前述した従来の各対応点抽出方法、すなわ
ち、（１）式および（２）式を用いた輝度情報（輝度値
の差分、および輝度値の相関値）に基づくテンプレート
マッチング法、（３）式を用いた色情報（ＲＧＢ値の差
分）に基づくテンプレートマッチング法、および（４）
式を用いた画像中のエッジ同志の対応をとるエッジセグ
メント法の３つの対応点抽出方法によりそれぞれ対応点
候補とその可能性値（対応点候補の対応点の可能性を示
す値で、例えば後述するＥ，σ，Ｃ，Ｓ値をいう）を
得、これらを基に対応点を決定することを特徴とする。

【００３０】図１は、本発明の第１の実施例の対応点抽
出方法が用いられる被写体抽出装置の概略構成を示すブ
ロック図である。

【００３１】図１において、１１は画像入力手段、１２
は画像間の対応点を抽出する対応点抽出装置、１７は該
対応点抽出装置１２で抽出された対応点を基に移動ベク
トルを抽出する移動ベクトル抽出手段、１８は該移動ベ
クトル抽出手段１７で抽出された移動ベクトルに基づい
て被写体の抽出を行なう被写体抽出手段である。以下、
これら構成部について詳しく説明する。

【００３２】画像入力手段１１は、時系列画像あるいは
異なる視点からの画像を後述する対応点抽出装置１２へ
入力するものである。

【００３３】対応点抽出装置１２は、本発明の第１の実
施例の対応点抽出方法による対応点の抽出を行う装置で
あって、上記の画像入力手段１１より入力される時系列
画像のうちの連続する２つの画像間、あるいは異なる視
点位置からの画像間における対応点の抽出を行うもので
ある。この対応点抽出装置１２は、以下に説明する第１
〜３の対応点抽出処理手段１３，１４，１５と判定手段
１６とにより構成されている。

【００３４】第１の対応点抽出処理手段１３は、上述し
た（１）式および（２）式を用いて輝度情報を基に画像
間の対応点を抽出する手段である。この第１の対応点抽
出処理手段１３では、（１）式のＥ（ｘ，ｙ）が最小と
なる点（対応点の候補点）とそのＥ（ｘ，ｙ）値（可能
性値）、および（２）式のσ（ｘ，ｙ）が最大となる点
（対応点候補）とそのσ（ｘ，ｙ）値（可能性値）が算
出される。これら算出された対応点候補とその可能性値
は、それぞれ判定手段１６へ送出される。なお、対応点
候補が複数ある場合には、各対応点候補毎に、対応点候
補とその可能性値が送出される。

【００３５】第２の対応点抽出処理手段１４は、上述し
た（３）式を用いて色情報を基に画像間の対応点を抽出
する手段である。この第２の対応点抽出処理手段１４で
は、（３）式のＣ（ｘ，ｙ）が最小となる点（対応点候
補）とそのＣ（ｘ，ｙ）値（可能性値）が算出される。
この算出された対応点とその可能性値は、判定手段１６
へ送出される。なお、対応点候補が複数ある場合には、
上記第１の対応点抽出処理手段１３の場合と同様、各対
応点候補毎に対応点候補とその可能性値が送出される。

【００３６】第３の対応点抽出処理手段１５は、上述し
た（４）式を用いて画像中のエッジ同志の対応をとるこ
とにより画像間の対応点を抽出する手段である。この第
２の対応点抽出処では、（４）式のＳ（ｘ，ｙ）が最小
となる点（対応点候補）とそのＳ（ｘ，ｙ）値（可能性
値）が算出される。この算出された対応点とその可能性
値は、判定手段１６へ送出される。なお、対応点候補が
複数ある場合には、上記第１の対応点抽出処理手段１３
の場合と同様、各対応点候補毎に対応点候補とその可能
性値が送出される。

【００３７】判定手段１６は、上述の各対応点抽出処理
手段１３〜１５から送出された対応点候補と可能性値
Ｅ，σ，Ｃ，Ｓとから対応点を判定する手段である。こ
の判定手段１６では、基準となる画像中のある点（ｘ，
ｙ）に関する対応点を求める際に、上述の各対応点抽出
処理手段１３〜１５にて複数の対応点候補が抽出された
場合には、これら対応点候補のうちから求めるべき対応
点が可能性値に基づいて判定される。

【００３８】移動ベクトル抽出手段１７は、判定手段１
６によって判定された対応点を基に移動ベクトルを抽出
するものである。この移動ベクトル抽出手段１７では、
画像中における基準点から対応点への変位がベクトルと
して抽出される。

【００３９】被写体抽出手段１８は、上述の移動ベクト
ル抽出手段１７で抽出された移動ベクトルを基に一番大
きな移動ベクトルを含む領域を被写体として抽出するも
のである。

【００４０】次に、この被写体抽出装置の動作について
説明する。

【００４１】画像入力手段１１から第１〜３の対応点抽
出処理手段１３，１４，１５のそれぞれに画像が入力さ
れると、各対応点抽出処理手段１３，１４，１５によっ
て、輝度情報、色情報、エッジ特徴情報の各対応点抽出
パラメータに関する対応点抽出が行われ、各対応点抽出
パラメータ毎に対応点候補とその可能性値が算出され
る。この各対応点抽出パラメータ毎に算出された対応点
候補とその可能性値は、それぞれ判定手段１６へ送出さ
れる。

【００４２】対応点候補とその可能性値が各対応点抽出
パラメータ毎に判定手段１６へ送出されると、判定手段
１６によってその送出された対応点候補とその可能性値
を基に対応点が判定される。この判定手段１６では、各
対応点抽出処理手段１３，１４，１５からそれぞれ得ら
れた対応点候補とその可能性値Ｅ，σ，Ｃ，Ｓに基づい
て対応点の判定が行われる。以下に、各対応点抽出処理
手段１３，１４，１５によって異なる複数の対応点候補
が抽出された場合の、判定手段１６における判定の仕方
について説明する。

【００４３】まず、判定手段１６に送出られた各対応点
候補毎に、可能性値Ｅ，σ，Ｃ，Ｓについて以下の
（５）式を計算する。

【００４４】

【数３】 ただし、この（５）式の計算に際し、送出されていない
可能性値Ｅ，σ，Ｃ，Ｓが有る場合には、その送出され
ていない可能性値の項は無視し、送出された可能性値の
項のみについて計算する。そして、計算した項の数をＫ
（ｘ，ｙ）とし、以下の（６）式より各対応点候補毎の
可能性値の平均を算出する。

【００４５】 Ｊ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）／Ｋ（ｘ，ｙ） …（６） 最後に、上記（６）式にて得られたＪ（ｘ，ｙ）の中か
ら最も小さなＪ（ｘ，ｙ）を得る対応点候補を対応点と
して判定する。

【００４６】上述のようにして判定手段１６により各対
応点候補のうちから求めるべき対応点が判定されると、
対応点抽出装置１２から移動ベクトル抽出手段１７へ対
応点に関する情報が送出される。

【００４７】移動ベクトル抽出手段１７では、上記のよ
うにして判定された対応点を基に移動ベクトルが抽出さ
れる。ここでいう移動ベクトルとは、対応画像中の点Ｂ
を基準画像中の点Ａに対する対応点とするとき、画面内
における点Ａから点Ｂへの変位をベクトルとして表した
ものをいう。このような移動ベクトルの抽出は、基準画
像中の複数の点について行われ、これらの点における移
動ベクトルが判定被写体抽出手段１８へ送出される。

【００４８】各点における移動ベクトルが送出される
と、判定被写体抽出手段１８では、その送出された各移
動ベクトルのうちから一番大きな移動ベクトルを含む領
域が被写体として抽出される。

【００４９】上述の動作説明のうち対応点抽出装置１２
における対応点抽出処理が本実施例の対応点抽出処理の
特徴であり、その処理の流れをフローチャートにしたの
が図２である。以下、図２を参照して対応点抽出処理の
流れについて説明する。

【００５０】まず、各対応点抽出パラメータ毎に対応点
候補とその可能性値を求める（ステップ１０１）。ここ
では、上述したように輝度情報、色情報、およびエッジ
の特徴情報に関する対応点抽出を行なうことにより、輝
度情報、色情報、およびエッジの特徴情報毎に対応点候
補とその可能性値が求められる。

【００５１】各対応点抽出パラメータ毎に対応点候補と
その可能性値が求められると、続いて求められた対応点
候補が同一点のものかどうかが判断される（ステップ１
０２）。対応点候補が異なる点のものと判断された場合
には、続いて各対応点候補毎に、それぞれ各対応点抽出
パラメータ毎に求められた可能性値の平均値を求め（ス
テップ１０３）、求めた可能性値の平均値が最も小さな
対応点候補を対応点と判定する（ステップ１０４）。一
方、対応点候補が同一点のものと判断された場合には、
その対応点候補を対応点と判定する（ステップ１０
５）。

【００５２】なお、上述の説明では、対応点候補は第１
〜３の対応点抽出処理手段１３〜１５（輝度情報、色情
報、エッジの特徴情報）によって抽出されるようになっ
ているが、これに限定されるものではなく、これら以外
の情報により対応点を抽出する手段を加えてもよい。ま
た、第１〜３の対応点抽出処理手段１３〜１５のうちの
２つの手段を用いて抽出されるようにしてもよい。

【００５３】＜第２の実施例＞図３は時系列画像の一例
として移動体である車が家の前を通過する状態を示した
図で、（ａ）は車が家の前を通過中の状態、（ｂ）は車
が家の前を通過した直後の状態を示す。図３（ａ），
（ｂ）に示す時系列画像から移動体である車を抽出する
場合、図３（ａ）のエッジ上の点Ｐ_a （背景が壁となる
車の屋根上の点）の対応点は、図３（ｂ）のエッジ上の
点Ｐ_b （背景が空等の風景となる車の屋根上の点）であ
ると考えられる。しかし、エッジは２つの領域を割る線
であり、点Ｐ_a はエッジにより分割される２つの領域に
含まれることから、点Ｐ_a の対応点としては図３（ｂ）
の点Ｐ_b の他に点Ｐ_c （家の壁）も考えられる。このよ
うな場合には、点Ｐ_a の対応点として点Ｐ_b ，Ｐ_c を抽
出する必要がある。

【００５４】また、点Ｐ_a 近傍の点Ｐ_d （移動体（車）
のエッジ近傍にある点）の対応点は、図３（ｂ）中の点
Ｐ_e （家の壁にある点）であるが、 テンプレートマッ
チング法を用いた場合、点Ｐ_dに関するテンプレート
（図３（ａ）中の破線領域）中には車の一部が含まれる
ため、実際はこの点Ｐ_d の対応点としては点Ｐ_e の他に
点Ｐ_f （移動した車のエッジ近傍にある点）も抽出され
ることとなる。このような場合には、点Ｐ_f を誤対応と
して判別する必要がある。

【００５５】以下に説明する本実施例の対応点抽出方法
は、上記のように移動体のエッジ上にある点Ｐ_a に対し
ては２つの点Ｐ_b ，Ｐ_c を抽出し、移動体のエッジ近傍
のにある点Ｐ_d に対しては、対応点として点Ｐ_e を抽出
し、点Ｐ_f は抽出しないようにすることを特徴とする。

【００５６】図４は、本発明の第２の実施例の対応点抽
出手法が用いられる被写体抽出装置の概略構成を示すブ
ロック図である。

【００５７】図４において、被写体抽出装置は、判定手
段１６に代えて判定手段２２と再計算手段２３が設けら
れた以外は図１に示した被写体抽出装置と同様の構成と
なっており、同じ構成については同じ符号が付されてい
る。なお、本発明の第２の実施例の対応点抽出方法によ
る対応点の抽出を行う対応点抽出装置の符号は便宜上２
１にしてある。

【００５８】判定手段２２は、第１〜３の対応点抽出処
理手段１３〜１５からそれぞれ送出された対応点候補と
可能性値Ｅ，σ，Ｃ，Ｓが移動体のエッジ上もしくはそ
のエッジ近傍にある点に関するものの場合は、後述する
再計算手段２３にて算出された結果を基に対応点の判定
を行い、これ以外のところにある点に関するものの場合
には、上述した図１に示した判定手段１６と同様の処理
により対応点の判定を行うものである。すなわち、この
判定手段２２では、各対応点抽出処理手段１３〜１５か
らそれぞれ送出された対応点候補と可能性値Ｅ，σ，
Ｃ，Ｓを基に上述した（５）式および（６）式を用いて
Ｊ（ｘ，ｙ）（可能性値の平均値）を計算し、得られた
可能性値の平均値が最も小さな対応点候補を第１の候
補、２番目に小さな対応点候補を第２の候補とし、これ
ら候補の可能性値の平均値の差分（絶対値）が所定値よ
り大きな場合（後述する（７）式の条件を満たす場合）
は第１の候補が対応点と判定され、その可能性値の平均
値の差分が所定値以下の場合は第１および第２の候補の
情報が再計算手段２３に渡され、再計算手段２３にて計
算された結果を基に第１および第２の候補の対応点の判
定が行われる。なお、対応点抽出処理手段１３〜１５か
ら異なる対応点候補が送出されなかった場合は、その対
応点候補が対応点と判定される。

【００５９】再計算手段２３は、上記判定手段２２から
渡された情報を基に、第１および第２の候補の基準とな
った点（以下基準点という）の上下左右の方向にテンプ
レートの半分の大きさ以上離れた４つの点（基準点を再
計算するための点）について対応点抽出を行ない、その
対応点抽出結果を第１および第２の候補について誤対応
かどうかを再計算するものである。すなわち、再計算手
段２３は、上記基準点を再計算するための点について求
められた対応点と第１および第２の候補との位置関係
が、基準点と該基準点を再計算するための点との位置関
係と相対的に一致したならば、第１および第２の候補は
いずれも対応しているものとし、一致しない場合は誤対
応の可能性が高いものとする。なお、再計算点を基準点
の上下左右の方向にテンプレートの半分の大きさ以上離
れた点とすることにより、再計算点に関する対応点候補
を抽出する際に、テンプレート内に異なる領域（ここで
は、移動体の領域）が含まれないようになる。

【００６０】なお、判定手段２２は、上記の再計算手段
２３において第１および第２の候補のいずれも対応点で
あるとされた後は、基準点と基準点を再計算するための
点との間に存在する点に関する対応点の判定を、基準点
を再計算するための点について求められた対応点と第１
および第２の候補との位置関係を考慮して判定する。本
実施例では、これにより、エッジ近傍にある点に関する
誤対応を防止している。

【００６１】次に、この被写体抽出装置の動作について
説明する。

【００６２】画像入力手段１１から各対応点抽出処理手
段１３〜１５のそれぞれに画像が入力されると、各対応
点抽出処理手段１３〜１５によって、輝度情報、色情
報、エッジ特徴情報の各対応点抽出パラメータに関する
対応点抽出が行われ、各対応点抽出パラメータ毎に対応
点候補とその可能性値が算出される。この各対応点抽出
パラメータ毎に算出された対応点候補とその可能性値
は、それぞれ判定手段２２へ送出される。

【００６３】対応点候補とその可能性値が各対応点抽出
パラメータ毎に判定手段２３へ送出されると、判定手段
２２によってその送出された対応点候補とその可能性値
を基に対応点が判定される。この判定手段２２では、各
対応点抽出処理手段１３〜１５からそれぞれ得られた対
応点候補とその可能性値Ｅ，σ，Ｃ，Ｓに基づいて対応
点の判定が行われる。以下に、各対応点抽出処理手段１
３〜１５によって異なる複数の対応点候補が抽出された
場合の、判定手段２２における判定の仕方について説明
する。

【００６４】まず、判定手段２２に送出られた各対応点
候補毎に、上述した（５）式および（６）式を用いてＪ
（ｘ，ｙ）（可能性値の平均値）を計算し、得られたＪ
（ｘ，ｙ）が最も小さな対応点候補をＪ₁ （ｘ，ｙ）_、
２番目に小さいＪ（ｘ，ｙ）をＪ₂ （ｘ，ｙ）とする。
そして、これらＪ₁ （ｘ，ｙ）とＪ₂ （ｘ，ｙ）の差が ｜Ｊ₁ （ｘ，ｙ）−Ｊ₂ （ｘ，ｙ）｜＞Ｋ …（７） （Ｋはある正の実数）の条件を満たした場合は、Ｊ₁
（ｘ，ｙ）が対応点と判定される。他方、Ｊ₁ （ｘ，
ｙ）とＪ₂ （ｘ，ｙ）の差が上記（７）式の条件を満た
さなかった場合は、再計算手段２３による以下のような
決定が行われる。

【００６５】図５は、図３同様、移動体である車が家の
前を通過する状態を示した図で、（ａ）は車が家の前を
通過中の状態、（ｂ）は車が家の前を通過した直後の状
態を示す。ここでは、図５（ａ）のエッジ上の点Ｑ_a
（背景が壁となる車の屋根上の点）の対応点として求め
られた図５（ｂ）中の点Ｑ_b （背景が空等となる車の屋
根上の点）と点Ｑ_c （図５（ａ）中の点Ｑ_a の位置と同
じ位置にある点）を、それぞれＪ₁ （ｘ，ｙ）とＪ₂
（ｘ，ｙ）として説明する。

【００６６】まず、基準となる画像（図５（ａ））中
で、点Ｑ_a （基準点）から上下左右にα＝（テンプレー
トサイズ×１／２）＋１だけ離れた点Ｑ_d ，Ｑ_e ，Ｑ
_f ，Ｑ_gの４点を取り出し、これら４点の対応点をそれ
ぞれ求める。具体的には、点Ｑ_aの座標を（ｉ，ｊ）と
すると、（ｉ＋α，ｊ），（ｉ−α，ｊ），（ｉ，ｊ＋
α），（ｉ，ｊ−α）の４点を取り出し、該４点につい
て各対応点抽出処理手段１３〜１５により抽出された対
応点抽出結果を上述した式（５），（６）を用いて計算
し、それぞれの対応点を求める。そして、図５（ｂ）中
の点Ｑ_b （Ｊ₁ （ｘ，ｙ））を（ｘ₁ ，ｙ₁ ）、点Ｑ_c
（Ｊ₂ （ｘ，ｙ））を（ｘ₂ ，ｙ₂ ）とした場合に、上
記点Ｑ_d ，Ｑ_e ，Ｑ_f ，Ｑ_g の４点に関する対応点が、
点Ｑ_b （ｘ₁，ｙ₁ ）に対して（ｘ₁ ＋α，ｙ₁ ），
（ｘ₁ −α，ｙ₁ ），（ｘ₁ ，ｙ₁ ＋α），（ｘ₁ ，ｙ
₁ −α）の少なくとも１つと一致し、かつ点Ｑ_c （ｘ
₂ ，ｙ₂ ）に対して（ｘ₂ ＋α，ｙ₂ ），（ｘ₂ −α，
ｙ₂ ），（ｘ₂ ，ｙ₂ ＋α），（ｘ ₂ ，ｙ₂ −α）のう
ちの少なくとも１つと一致したら、基準点（ｉ，ｊ）は
被写体の移動や視線の変化により、２つの対応点が存在
するとされる。具体的には、図５に示すように、点Ｑ_e
の対応点である点Ｑ_i が（ｘ₁ ，ｙ₁ −α）と一致し、
点Ｑ_d の対応点である点Ｑ_h が（ｘ₂ ，ｙ₂ ＋α）と一
致した場合に２つの対応点が存在することとなる。な
お、一致する点がない場合や点Ｑ_b ，点Ｑ_c のいずれか
一方に対してしか一致する点がない場合は、誤対応の可
能性が高いとされる。

【００６７】再計算手段２３により再計算された結果が
２つの対応点が存在するとなった場合は、判定手段２２
はＪ₁ （ｘ，ｙ）とＪ₂ （ｘ，ｙ）の両方を対応点と判
定し、再計算された結果が誤対応の可能性が高いとなっ
た場合には、判定手段２２はＪ₁ （ｘ，ｙ）とＪ₂
（ｘ，ｙ）を誤対応と判定する。

【００６８】なお、再計算手段２３により再計算された
結果が２つの対応点が存在するとなった後は、判定手段
２２は、（ｉ＋α，ｊ），（ｉ−α，ｊ），（ｉ，ｊ＋
α），（ｉ，ｊ−α）の４点のうちの対応点が一致した
点と（ｉ，ｊ）点との間に存在する点については、次の
ようにして対応点を抽出する。例えば、図５（ａ）中の
点Ｑ_a と点Ｑ_d との間にある点については、点Ｑ_a と点
Ｑ_d の対応点である図５（ｂ）中の点Ｑ_b と点Ｑ_h との
間にあることを考慮して対応点の抽出を行い、図５
（ａ）中の点Ｑ_a と点Ｑ_e との間にある点については、
点Ｑ_a と点Ｑ_e の対応点である図５（ｂ）中の点Ｑ_c と
Ｑ_i との間にあることを考慮して対応点の抽出を行う。
具体的には、点（ｉ，ｊ−α）と点（ｉ，ｊ＋α）の対
応点がそれぞれ（ｘ₁ ，ｙ₁ −α），（ｘ₂ ，ｙ₂ ＋
α）となる場合において、点（ｉ，ｊ）と点（ｉ，ｊ−
α）との間にある点（ｉ，ｊ−α／２）の対応点は（ｘ
₁ ，ｙ₁−α／２）とされ、点（ｉ，ｊ）と点（ｉ，ｊ
＋α）との間にある点（ｉ，ｊ＋α／２）の対応点は
（ｘ₂ ，ｙ₂ ＋α／２）とされる。

【００６９】上述のようにして判定手段２２による対応
点の判定が行われると、対応点抽出装置２１から対応点
に関する情報が移動ベクトル抽出手段１７へ送出され
る。すると、移動ベクトル抽出手段１７では、その判定
された対応点を基に移動ベクトルが抽出される。この移
動ベクトル抽出手段１７における移動ベクトルの抽出
は、基準画像中の複数の点について行われ、これらの点
における移動ベクトルが判定被写体抽出手段１８へ送出
される。

【００７０】各点における移動ベクトルが送出される
と、判定被写体抽出手段１８では、その送出された各移
動ベクトルのうちから一番大きな移動ベクトルを含む領
域が被写体として抽出される。

【００７１】上述した被写体抽出装置では、被写体の移
動や、観測者の視点の移動が起こっても、移動体である
被写体のエッジに関して誤対応の少ない対応点抽出が可
能となり、より正確な被写体抽出が可能となるという効
果がある。

【００７２】なお、上述の被写体抽出装置では、第１〜
３の対応点抽出処理手段１３〜１５により輝度情報、色
情報、およびエッジの特徴情報の３つの対応点抽出パラ
メータを基に対応点候補とその可能性値を求めている
が、これら対応点抽出パラメータのうちの１つ、あるい
はこれらの組み合せにより対応点候補とその可能性値を
求めるようにしても、上記効果と同様の効果が得られ
る。ただし、対応点抽出の信頼性は対応点抽出パラメー
タが多いほど高いものとなる。

【００７３】上述した動作説明のうち対応点抽出装置２
１における対応点抽出処理が本実施例の対応点抽出方法
の特徴であり、その処理の流れをフローチャートにした
のが図６である。以下、図６を参照して本実施例の対応
点抽出方法の流れについて説明する。

【００７４】まず、１つ以上の対応点抽出パラメータに
基づいて、基準点に対応する第２の画像中の対応点候補
とその対応点候補を示す可能性値を求める（ステップ２
０１）。ここでは、輝度情報、色情報、およびエッジの
特徴情報のうちの１つ以上の情報に関する対応点候補と
その可能性値が求められる。

【００７５】対応点抽出パラメータに基づいて対応点候
補とその可能性値が求められると、続いて求められた対
応点候補が同一点であるかどうかが判断される（ステッ
プ２０２）。対応点候補が同一点であると判断した場合
は、その求めた対応点候補を対応点と判定し（ステップ
２０３）、処理を終了する。一方、対応点候補が同一点
でないと判断した場合は、以下の処理を行う。

【００７６】上記ステップ２０２で対応点候補が同一点
でないと判断した場合は、各対応点候補毎に、それぞれ
対応点抽出パラメータを基に求められ可能性値の平均値
を求め、求めた可能性値の平均値が最も小さな対応点候
補を第１の候補、次に小さな対応点候補を第２の候補と
し（ステップ２０４）、これら第１および第２の候補の
可能性値の平均値の差が所定値より大きいかどうかを判
断する（ステップ２０５）。第１および第２の候補の可
能性値の平均値の差が所定値より大きいと判断した場合
は、第１の候補を対応点と判定し（ステップ２０６）、
処理を終了する。一方、第１および第２の候補の可能性
値の平均値の差が所定値以下であると判断した場合は、
以下の処理を行う。

【００７７】上記ステップ２０５で第１および第２の候
補の可能性値の平均値の差が所定値以下であると判断し
た場合は、基準となる点に対して上下左右の方向にテン
プレートの大きさの半分以上離れた４つの再計算点につ
いてそれぞれ対応点候補を求める（ステップ２０７）。
続いて、求めた各再計算点の対応点候補のうちの少なく
とも１つが第１の候補と、少なくとも他の１つが第２の
候補と、それぞれ基準画像中における基準点と再計算点
の位置関係と相対的に一致する位置関係にあるかどうか
を判断する（ステップ２０８）。相対的に一致する位置
関係にあると判断した場合は、第１および第２の候補と
もに対応点と判定し（ステップ２０９）、一方、相対的
に一致する位置関係にないと判断した場合は、第１およ
び第２の候補ともに誤対応と判定し（ステップ２１
０）、処理を終了する。

【００７８】

【発明の効果】本発明は以上説明したように構成されて
いるので、以下に記載するような効果を奏する。

【００７９】請求項１および請求項２に記載の方法、お
よび請求項３および請求項４に記載の装置においては、
複数の対応点抽出パラメータを用いて画像間の対応点を
決定するので、１つの対応点抽出パラメータでは補いき
れないところを、他の対応点抽出パラメータを用いて補
なうことができ、精度の高い対応点抽出ができるという
効果がある。

【００８０】上記の各方法および装置のうち請求項２に
記載の方法、および請求項４に記載の装置においては、
画像を構成する重要素である輝度と色とエッジに基づい
て対応点抽出を行なうので、効率良く精度の高い対応点
抽出ができるという効果がある。

【００８１】請求項５から請求項９に記載の方法、およ
び請求項１０〜請求項１４に記載の装置においては、画
像中の奥行き距離の異なる領域が隣接する点の対応点抽
出精度を向上することができるという効果がある。さら
には、誤対応の可能性の高いとされる移動する被写体の
対応点の抽出を精度の高いものとすることができるとい
う効果がある。

【００８２】上記の各方法および装置のうち請求項８に
記載の方法、および請求項１３に記載の装置において
は、画像中の奥行き距離の異なる領域が隣接する点の周
囲の点の対応点抽出精度を向上することができるという
効果がある。

【００８３】さらに、上記の各方法および装置のうち請
求項９に記載の方法、および請求項１４に記載の装置に
おいては、画像を構成する重要素である輝度と色とエッ
ジに基づいて対応点抽出を行なうので、効率良く精度の
高い対応点抽出ができるという効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例の対応点抽出手法が用い
られる被写体抽出装置の概略構成を示すブロック図であ
る。

【図２】本発明の第１の実施例の対応点抽出手法の処理
の流れを示したフローチャートである。

【図３】時系列画像の一例として移動体である車が家の
前を通過する状態を示した図で、（ａ）は車が家の前を
通過中の状態、（ｂ）は車が家の前を通過した直後の状
態を示す。

【図４】本発明の第２の実施例の対応点抽出手法が用い
られる被写体抽出装置の概略構成を示すブロック図であ
る。

【図５】時系列画像の一例として移動体である車が家の
前を通過する状態を示した図で、（ａ）は車が家の前を
通過中の状態、（ｂ）は車が家の前を通過した直後の状
態を示す。

【図６】本発明の第２の実施例の対応点抽出手法の処理
の流れを示したフローチャートである。

【図７】時系列画像の一例として移動体である車が家の
前を通過する状態を示した図で、（ａ）は車が家の前を
通過中の状態、（ｂ）は車が家の前を通過した直後の状
態を示す。

【符号の説明】

１１ 画像入力手段 １２，２１ 対応点抽出装置 １３ 第１の対応点抽出処理手段 １４ 第２の対応点抽出処理手段 １５ 第３の対応点抽出処理手段 １６，２２ 判定手段 １７ 移動ベクトル抽出手段 １８ 被写体抽出手段 ２３ 再計算手段

Claims (14)

【特許請求の範囲】
1. 【請求項１】 第１の画像中の基準点に対応する第２の
   画像中の対応点を抽出する対応点抽出方法であって、 対応点を抽出するための複数の異なる対応点抽出パラメ
   ータに基づいて、前記基準点に対応する第２の画像中の
   対応点候補、およびその対応点候補に関する対応の可能
   性を示す可能性値を求める第１のステップと、 前記第１のステップで求められた対応点候補が同一点の
   ものかどうかを判断する第２のステップと、 前記第２のステップで対応点候補が同一点のものと判断
   した場合は、該対応点候補を対応点と判定する第３のス
   テップと、 前記第２のステップで対応点候補が異なる点のものと判
   断した場合は、各対応点候補毎に、それぞれ各対応点抽
   出パラメータ毎に求められた可能性値の平均値を求め、
   該求めた可能性値の平均値が最も小さな対応点候補を対
   応点と判定する第４のステップと、を含むことを特徴と
   する対応点抽出方法。
2. 【請求項２】 請求項１に記載の対応点抽出方法におい
   て、 第１のステップにおける複数の異なる対応点抽出パラメ
   ータは、輝度情報、色情報、およびエッジ特徴情報のう
   ちの２つ以上の情報であることを特徴とする対応点抽出
   方法。
3. 【請求項３】 第１の画像中の基準点に対応する第２の
   画像中の対応点を抽出する対応点抽出装置であって、 対応点を抽出するための複数の異なる対応点抽出パラメ
   ータに基づいて、前記基準点に対応する第２の画像中の
   対応点候補、およびその対応点候補に関する対応の可能
   性を示す可能性値を求める対応点抽出処理手段と、 前記対応点抽出処理手段で求められた対応点候補および
   可能性値を基に対応点を判定する判定手段と、を有し、 前記判定手段は、前記対応点抽出処理手段により求めら
   れた対応点候補が同一点のものの場合は、該対応点候補
   を対応点と判定し、対応点候補が異なる点のものの場合
   には、各対応点候補毎に、それぞれ各対応点抽出パラメ
   ータ毎に求められた可能性値の平均値を求め、該求めた
   可能性値の平均値が最も小さな対応点候補を対応点と判
   定することを特徴とする対応点抽出装置。
4. 【請求項４】 請求項３に記載の対応点抽出装置におい
   て、 対応点抽出処理手段は、輝度情報を基に対応点抽出処理
   を行う第１の対応点抽出処理手段、色情報を基に対応点
   抽出処理を行う第２の対応点抽出処理手段、およびエッ
   ジ特徴情報を基に対応点抽出処理を行う第３の対応点抽
   出処理手段のうちの２つ以上の手段により構成されてい
   ることを特徴とする対応点抽出装置。
5. 【請求項５】 第１の画像中の基準点に対応する第２の
   画像中の対応点を抽出する対応点抽出方法であって、 １つ以上の対応点を抽出するための対応点抽出パラメー
   タに基づいて、前記基準点に対応する第２の画像中の対
   応点候補、およびその対応点候補に関する対応の可能性
   を示す可能性値を求める第１のステップと、 前記第１のステップで求めた対応点候補が同一点のもの
   かどうかを判断する第２のステップと、 前記第２のステップで対応点候補が同一点のものと判断
   した場合は、前記第１のステップで求めた対応点候補を
   対応点と判定する第３のステップと、 前記第２のステップで対応点候補が異なる点のものと判
   断した場合は、各対応点候補毎に、それぞれ対応点抽出
   パラメータを基に求められ可能性値の平均値を求め、該
   可能性値の平均値が最も小さな対応点候補を第１の候
   補、次に小さな対応点候補を第２の候補とする第４のス
   テップと、 前記第４のステップで得られた第１および第２の候補の
   可能性値の平均値の差が所定値より大きいかどうかを判
   断する第５のステップと、 前記第５のステップで第１および第２の候補の可能性値
   の平均値の差が所定値より大きいと判断した場合は、第
   １の候補を対応点と判定する第６のステップと、 前記第５のステップで第１および第２の候補の可能性値
   の平均値の差が所定値以下であると判断した場合は、前
   記第１の画像中の基準点周辺の点の対応点候補を基に前
   記第１および第２の候補の対応／誤対応を判定し、対応
   と判定した場合にのみ第１および第２の候補を対応点と
   判定する第７のステップと、を含むことを特徴とする対
   応点抽出方法。
6. 【請求項６】 請求項５に記載の対応点抽出方法におい
   て、 第７のステップにおける第１および第２の候補の対応／
   誤対応の判定は、第１の画像中の基準点の周辺において
   該基準点と所定の位置関係にある複数の再計算点に関す
   る対応点候補を求め、該求めた各再計算点の対応点候補
   のうちの少なくとも１つが前記第１の候補と、少なくと
   も他の１つが前記第２の候補と、それぞれ前記第１の画
   像中における基準点と再計算点の位置関係と相対的に一
   致する位置関係にある場合のみ対応とし、これ以外の場
   合は誤対応とすることを特徴とする対応点抽出方法。
7. 【請求項７】 請求項６に記載の対応点抽出方法におい
   て、 第１の画像中の基準点の周辺において該基準点と所定の
   位置関係にある複数の再計算点は、第１の画像中の基準
   点に対して上下左右の方向にテンプレートの大きさの半
   分以上離れた４つの点であることを特徴とする対応点抽
   出方法。
8. 【請求項８】 請求項５に記載の対応点抽出方法におい
   て、 第７のステップで基準点周辺の点の対応点候補に基づき
   第１および第２の候補が対応と判定された場合は、該判
   定結果に基づいて、第１の画像中の前記基準点周辺の点
   と基準点との間に存在する点の対応点の判定を行う第８
   のステップを、さらに含むことを特徴とする対応点抽出
   方法。
9. 【請求項９】 請求項５乃至請求項８のいずれか１項に
   記載の対応点抽出方法において、 第１のステップにおける１つ以上の対応点抽出パラメー
   タは、輝度情報、色情報、およびエッジ特徴情報のうち
   の１つ以上の情報であることを特徴とする対応点抽出方
   法。
10. 【請求項１０】 第１の画像中の基準点に対応する第２
    の画像中の対応点を抽出する対応点抽出装置であって、 対応点を抽出するための１つ以上の対応点抽出パラメー
    タに基づいて、前記基準点に対応する第２の画像中の対
    応点候補、およびその対応点候補に関する対応の可能性
    を示す可能性値を求める対応点抽出処理手段と、 前記対応点抽出処理手段で求められた対応点候補が同一
    点のものの場合は、該対応点候補を対応点と判定し、対
    応点候補が異なる点のものの場合には、各点の対応点候
    補毎に、それぞれ各対応点抽出パラメータを基に求めら
    れた可能性値の平均値を求め、該可能性値の平均値が最
    も小さな対応点候補を第１の候補、次に小さな対応点候
    補を第２の候補とし、これら候補の判定を行う判定手段
    と、 前記第１の画像中の基準点周辺の点の対応点候補を前記
    対応点抽出処理手段より求め、該求めた基準点周辺の点
    の対応点候補を基に前記第１および第２の候補について
    の対応／誤対応を判定する再計算手段と、を有し、 前記判定手段は、前記第１および第２の候補の可能性値
    の平均値の差が所定値より大きな場合は、第１の候補を
    対応点と判定し、可能性値の平均値の差が所定値以下の
    場合は、前記再計算手段による判定が対応とされた場合
    にのみ前記第１および第２の候補を対応点と判定するこ
    とを特徴とする対応点抽出装置。
11. 【請求項１１】 請求項１０に記載の対応点抽出装置に
    おいて、 再計算手段は、第１の画像中の基準点の周辺において該
    基準点とそれぞれ所定の位置関係にある複数の再計算点
    に関する対応点候補を対応点抽出処理手段より得、該得
    られた各再計算点に関する対応点候補のうちの少なくと
    も１つが第１の候補と、少なくとも他の１つが第２の候
    補と、それぞれ前記第１の画像中における基準点と再計
    算点の位置関係と相対的に一致する位置関係にある場合
    のみ対応とし、これ以外の場合は誤対応とすることを特
    徴とする対応点抽出装置。
12. 【請求項１２】 請求項１１に記載の対応点抽出装置に
    おいて、 再計算手段は、第１の画像中の基準点に対して上下左右
    の方向にテンプレートの大きさの半分以上離れた４つの
    点を再計算点とし、該各再計算点を基に第１および第２
    の候補についての対応／誤対応を判定することを特徴と
    する対応点抽出装置。
13. 【請求項１３】 請求項１０に記載の対応点抽出装置に
    おいて、 判定手段は、基準点周辺の点の対応点候補に基づき第１
    および第２の候補が対応と判定した場合は、該判定結果
    に基づいて、第１の画像中の前記基準点周辺の点と基準
    点との間に存在する点の対応点の判定を行うことを特徴
    とする対応点抽出装置。
14. 【請求項１４】 請求項１０乃至請求項１３のいずれか
    １項に記載の対応点抽出装置において、 対応点抽出処理手段は、輝度情報を基に対応点抽出処理
    を行う第１の対応点抽出処理手段、色情報を基に対応点
    抽出処理を行う第２の対応点抽出処理手段、およびエッ
    ジ特徴情報を基に対応点抽出処理を行う第３の対応点抽
    出処理手段のうちの１つ以上の手段により構成されてい
    ることを特徴とする対応点抽出装置。