JPH09231358A - 画像対応点抽出装置、及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 テンプレートマッチング法による画像対応点
の抽出精度を向上する。 【解決手段】 画像入力手段１０１により入力された複
数の画像の内の１枚からテンプレート画像作成部１０９
によりテンプレート画像を作成し、このテンプレート画
像の各画素の画素値と前記入力された他の画像内の画素
の画素値の差が所定のしきい値以下となる画素数を画素
数計算部１０６により求め、この求めた画素数からテン
プレート画像の中心点の画素が、複数画像間の視差の分
布が急峻に変化する領域内の画素であるか否かを判断部
１０７により判断し、前記領域内の画素であると判断さ
れた場合は、テンプレート画像作成部１０９は、テンプ
レ−トサイズ変更部１０８からのサイズデータに基づい
て、小さなサイズのテンプレート画像を作成して、画素
数計算部１０６に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、同一被写体につい
て異なる視点から撮像された複数の画像に基づいて当該
被写体の被写体距離を求めるに先だって視差を求めるべ
く、当該複数の画像の対応点を抽出する画像対応点抽出
装置、及び方法に関する。

【０００２】

【従来の技術】従来、上記のような画像対応点抽出装置
は、例えば、移動ロボットの制御プロクラムを作成した
り、撮像された画像の画像データの中から所定の被写体
の画像データを切出すような場合に活用されている。

【０００３】この種の画像対応点抽出装置では、上記画
像中の被写体の被写体距離を求める手法としては、図１
４（ａ）のように、２台以上のカメラ１３３ａ，１３３
ｂ等を使用し、これらカメラ１３３ａ，１３３ｂにより
異なる視点から被写体１３１を撮像し、各カメラ１３３
ａ，１３３ｂにて得られた画像間の視差を利用する手法
と、図１４（ｂ）のように１台のカメラ１３４を使用
し、このカメラ１３４を移動させて異なる視点から被写
体１３２を撮像し、得られた時系列画像間の運動視差を
利用する手法等が知られている。そして、図１４
（ａ），（ｂ）に示した両手法において、被写体距離を
求める際に必要となる視差を求めるために対応点抽出が
行われる。

【０００４】すなわち、図１４（ａ）の手法では、同期
をとって左側のカメラ１３３ａにより得られた画像の画
像データと右側のカメラ１３３ｂにより得られた画像の
画像データの全ての点（画素）で対応点を求める。ま
た、図１４（ｂ）の手法では、ある位置で撮像された画
像の画像データと移動後の位置で撮像された画像の画像
データの全ての点（画素）で対応点を求める。なお、画
像データ中の全ての画素（点）について対応点を求める
のは、画像中のどの領域に被写体が写っているかは不明
だからである。

【０００５】この対応点抽出の代表的な手法の１つとし
て、テンプレートマッチング法が知られている。このテ
ンプレートマッチング法とは、図１５に示すように、基
準となる画像１４１中の対応点をとりたい１点Ｐを囲む
テンプレート（テンプレート画像）１４３を作成し、そ
のテンプレート１４３を探索される画像１４２上全域に
亘って移動させて各点における類似度を計算し、類似度
が最も大きい点を対応点として決定する方法である。

【０００６】類似度を求める評価関数としては、下記の
数式１のように、輝度値（画素値）の差分を使用する関
数や、数式２のように、輝度値（画素値）の相関値を使
用する関数がある。

【０００７】

【数１】

【０００８】

【数２】 なお、上記の数式１、数式２において、Ｆ（ｉ，ｊ）
は、テンプレート画像上の座標（ｉ，ｊ）の画素の輝度
値を、Ａ（ｉ，ｊ）は、探索される画像（以下、探索画
像という）上の座標（ｉ−ｘ，ｊ−ｙ）の画素の輝度値
を表している。すなわち、数式１、数式２は、探索画像
上でテンプレートの位置を（ｘ，ｙ）だけ移動させたと
きの類似度を示している。

【０００９】なお、数式１を用いた場合は、Ｅ（ｘ，
ｙ）が最小となった点が対応点であり、理論上、Ｅ
（ｘ，ｙ）の最小値は０となる。また、数式２を用いた
場合は、σ（ｘ，ｙ）が最大となった点が対応点であ
り、理論上、σ（ｘ，ｙ）の最大値は１となる。

【００１０】また、類似度を求める別の評価関数とし
て、下記の数式３のように、テンプレート内全体で、テ
ンプレート内の各画素の輝度値（画素値）と探索画像上
の１画素の輝度値との差分値が所定のしきい値ε以下と
なる画素の個数を求めて、すなわち、テンプレート画像
の画素について、探索画像の画素の輝度値（画素値）と
の差が所定値以下となる画素の個数を求めて、その画素
数が最多となる探索画像上の点をテンプレート内の中心
点に対応する対応点とする関数がある。

【００１１】

【数３】 この数式３を用いた場合は、Ｃ（ｘ，ｙ）が最大になっ
た点が対応点であり、埋論上、Ｃ（ｘ，ｙ）の最大値
は、テンプレート内の全画素数となる。

【００１２】従来は、上記のような対応点抽出方法を用
いて、画像上の対応点を抽出し、画像中の各点における
視差量を求め、その視差量とカメラの焦点距離及びカメ
ラの位置情報を使用し、三角測量則を用いて、被写体距
離を画像より得ていた。

【００１３】

【発明が解決しようとする課題】しかしながら、上述し
たテンプレートマッチング法においては、カメラから有
限距離に存在する被写体を撮像した画像間で対応点抽出
処理を行う場合、被写体のある部分で抽出精度が大きく
劣化するという問題点があった。

【００１４】この問題点を図１６を参照して説明する。
図１６は、図１４（ａ）で示した２つのカメラ１３３
ａ，１３３ｂを有する撮像系により、車を主要被写体と
して撮像したものであり、左側のカメラ１３３ａにより
得られた画像を図１６（ａ）に、右側のカメラ１３３ｂ
により得られた画像を図１６（ｂ），（ｃ）に示す。便
宜上、車を主要被写体、家や木を背景とし、家や木は車
から離れた画面の奥の位置に存在するものとする。

【００１５】ここで、図１６（ａ）に示された画像を基
準画像として、この基準画像からテンプレート（テンプ
レート画像）を切出す場合を考える。この際、テンプレ
ートのサイズには、ある程度の大きさが必要である。

【００１６】なぜなら、図１６（ａ）の画像中のＡ点の
空やＢ点の車のドアの領域等では、画像の輝度値の変化
が少なく、目立った特徴がある領域ではなく、周囲の領
域にも同様の輝度値が分布し、また、木の葉が重なって
いるＣ点の領域でも周囲に同様の輝度値分布の領域が存
在しているが、このようなＡ，Ｂ，Ｂ等の領域について
も正確に対応点を抽出するためには、輝度値の変化分布
の変化を捕らえるべく、テンプレートのサイズはある程
度の大きさが必要となるからである。

【００１７】例えば、図１６（ａ）の画像中のＢ点を中
心として図示する大きさにテンプレートのサイズを決定
したとすると、車のドアの他にもタイヤ等がテンプレー
ト１５１内に入るので、輝度値の変化が大きくなり、対
応点を正確に決定することができる。

【００１８】次に、図１６（ａ）の画像中の主要被写体
である車の端のＤ点について考える。このＤ点を中心と
してＢ点と同様のサイズでテンプレート１５２を作成す
ると、テンプレート１５２には主要被写体の車の他に背
景の家が入る。このテンプレート１５２を用いて対応点
抽出を行うと、図１６（ｃ）の画像に示すように、正し
い対応点であるＥ点ではなく、Ｆ点を誤って対応点とし
て決定する誤対応が発生する。

【００１９】この誤対応は、図１６の例では、探索画像
のＥ点に関して対応点の評価関数（類似度）を求めた際
に、テンプレート画像の車に対応する領域では、探索画
像とテンプレート画像との間に画像の変化がないので高
い類似度が得られ、テンプレート画像の背景に対応する
領域では、画像が変化したため低い類似度が得られ、結
局、Ｅ点は対応点ではないと判断してしまうのに対し、
Ｆ点に関して対応点の評価関数を求めた際には、テンプ
レート画像の背景に対応する領域では、探索画像とテン
プレート画像との間に画像の変化がないので高い類似度
が得られ、テンプレート画像の車に対応する領域では、
画像が変化しているが、たまたま同程度の輝度値の部分
が多かったために高い類似度が得られ、結局、Ｆ点を対
応点と認識してしまうことにより発生したものである。

【００２０】このような誤対応は、一般的には、背景で
ある家や木と比較して、主要被写体である車の方が手前
にある等のため、視差量が異なることにより生じる現象
であり、このため、有限距離に存在する物を主要被写体
として撮像した場合には、主要被写体と背景とが接する
境界近傍の領域、また、主要被写体中にも被写体距離が
大きく変化する部分が存在する場合には、その境界近傍
領域で対応点抽出精度が劣化することになる。

【００２１】上述したように、従来は、対応点抽出方法
にテンプレートマッチング法を用いた場合、使用するテ
ンプレ−トのサイズはある程度大きくしなければならな
い一方で、ある程度の大きさのテンプレートを用いて行
うと主要被写体と背景の接する境界近傍領域で対応点抽
出精度が劣化するという問題点があった。

【００２２】また、数式３で示した評価関数は、上述の
ような主要被写体と背景とが接する境界近傍領域で対応
点抽出精度が劣化するのを防止するのにある程度の効果
がある。

【００２３】しかし、テンプレート内に背景が大部分入
った場合などには、テンプレート画像の画素と探索画像
上の１画素との輝度差分値がしきい値εより小さくなる
画素の数が、テンプレート画像の主要被写体に対応する
部分よりも背景に対応する部分の方が多くなり、対応点
抽出精度が劣化するいう問題点があった。

【００２４】さらに、別の問題点として、図１４
（ａ）、（ｂ）のような手法で得られた画像には対応点
が存在しないオクルージョン領域と呼ばれる領域が存在
するが、そのオクルージョン領域の検出が困難であると
いう問題点があった。

【００２５】この問題点を図１７を参照して説明する。
図１７（ａ），（ｂ）は、それぞれ図１４に示す２つの
カメラ１３３ａ，１３３ｂで得られた画像を示してい
る。

【００２６】例えば、図１７（ａ）の画像中のＩ点の対
応点は、図１７（ｂ）の画像では被写体の車に隠されて
しまい、この画像中には存在しない。このような領域を
オクルージョン領域というが、このオクルージョン領域
内には対応点が存在しないので、この領域内の点に関し
ては、たとえ類似度の評価結果が良好であったとしても
対応点として抽出することは禁止すべきである。

【００２７】このオクルージョン領域の検出手法として
は、最初に、基準画像中の或る点を中心にテンプレート
画像を作成し、当該基準画像中の或る点（テンプレート
画像の中心点）に対する対応候補点を探索画像上で探索
し、当該テンプレート画像の或る点に対する対応候補点
が探索画像中で得られたら、次に、その探索画像中の対
応候補点を中心にテンプレート画像を作成し、その新た
に作成されたテンプレート画像を用いて、元の基準画像
を探索画像として前記対応候補点に対する対応候補点を
探索し、この基準画像から探索された対応候補点と最初
に作成されたテンプレートの中心点とが一致していれ
ば、探索画像中の対応候補点は最初に作成されたテンプ
レート画像の中心点に対する対応点であり、一致してい
なければ対応点ではないとする手法がある。

【００２８】しかし、この手法だけでは、例えば、図１
７（ａ）の基準画像中のＪ点の対応候補点としては、背
景の窓により誤って図１７（ｂ）の探索画像中のＫ点が
抽出され、次に、Ｋ点を中心としたテンプレート画像を
用いて探索された対応候補点として、再び誤って図１７
（ａ）の基準画像中のＪ点が抽出された場合、つまり、
２回誤抽出した場合や、図１７（ａ）の基準画像中のＬ
点の対応候補点として、図１７（ｂ）の画像中のＭ点が
正しく抽出されたにも拘らず、その対応候補点Ｍ点の対
応候補点として、図１７（ａ）の基準画像中の背景の木
や地面のために、Ｎ点が誤抽出された場合など、誤った
判定を行う場合があるという問題点があった。

【００２９】本発明は、このような背景の下になされた
もので、その目的は、テンプレートマッチング法による
画像対応点の抽出精度を向上させることにある。

【００３０】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の画像対応点抽出装置は、同一被写体
について異なる視点から撮像された複数の画像の画像デ
ータを入力する画像入力手段と、前記画像入力手段によ
り入力された１枚の画像を基準画像として当該基準画像
の画像データの中から一部の領域を切出してテンプレー
ト画像を作成するテンプレート画像作成手段と、前記テ
ンプレート画像作成手段により作成されたテンプレート
画像の画素について、前記画像入力手段により入力され
た他の画像を探索画像として当該探索画像の画素の画素
値との差が所定値以下となる画素数を求め、当該画素数
の多少により当該テンプレート画像の中心点に対する当
該探索画像の画素の類似度を算出し、当該類似度が最大
となる当該探索画像の画素を当該テンプレート画像の中
心点の対応候補点として抽出して当該類似度と共に出力
する対応候補点抽出手段と、前記対応候補点抽出手段に
より抽出された対応候補点の類似度に基づいて前記テン
プレート画像の中心点の画素が所定の条件に該当するか
否かを判断する判断手段と、前記判断手段により前記所
定の条件に該当すると判断された場合、前記テンプレー
ト画像作成手段により作成されたテンプレート画像を変
形して前記対応候補点抽出手段に出力するテンプレート
画像変形手段とを備えている。

【００３１】上記目的を達成するため、請求項２記載の
画像対応点抽出装置では、請求項１記載の前記対応候補
点抽出手段は、前記画素値として輝度値を使用するよう
に構成されている。

【００３２】上記目的を達成するため、請求項３記載の
画像対応点抽出装置では、請求項１記載の前記対応候補
点抽出手段は、前記画素値として色信号値を使用するよ
うに構成されている。

【００３３】上記目的を達成するため、請求項４記載の
画像対応点抽出装置では、請求項１〜請求項３記載の前
記判断手段は、前記テンプレート画像の中心点の画素が
視差の分布が急峻に変化する領域内の画素であるか否か
を判断するように構成されている。

【００３４】上記目的を達成するため、請求項５記載の
画像対応点抽出装置では、請求項１〜請求項３記載の前
記判断手段は、前記対応候補点抽出手段により抽出され
た対応候補点の類似度が所定のしきい値より小さいか否
により前記テンプレート画像の中心点の画素が視差の分
布が急峻に変化する領域内の画素であるか否かを判断す
るように構成されている。

【００３５】上記目的を達成するため、請求項６記載の
画像対応点抽出装置では、請求項１〜請求項５記載の前
記テンプレート画像変形手段は、前記テンプレート画像
作成手段により作成されたテンプレート画像の面積を小
さくするように構成されている。

【００３６】上記目的を達成するため、請求項７記載の
画像対応点抽出装置では、請求項１〜請求項５記載の前
記テンプレート画像変形手段は、前記テンプレート画像
作成手段により作成されたテンプレート画像に対して強
いエッジを境界として当該テンプレート画像の中心点を
含まない方の領域をマスクするように構成されている。

【００３７】上記目的を達成するため、請求項８記載の
画像対応点抽出装置は、同一被写体について異なる視点
から撮像された複数の画像の画像データを入力する画像
入力手段と、少なくとも前記画像入力手段により入力さ
れた１枚の画像を基準画像の画像データの中から一部の
領域を切出してテンプレート画像を作成するテンプレー
ト画像作成手段と、前記テンプレート画像作成手段によ
り作成されたテンプレート画像の画素について、前記画
像入力手段により入力された他の画像を探索画像として
当該探索画像の画素の画素値との差が所定値以下となる
画素数を求め、当該画素数の多少により当該テンプレー
ト画像の中心点に対する当該探索画像の画素の類似度を
算出し、当該類似度が最大となる当該探索画像の画素を
当該テンプレート画像の中心点の対応候補点として抽出
して当該類似度と共に出力する第１の対応候補点抽出手
段と、前記テンプレート画像作成手段に対して前記第１
の対応候補点抽出手段により抽出された対応候補点を中
心とするテンプレート画像を前記探索画像から作成する
ように指示するテンプレート画像作成指示手段と、前記
テンプレート画像作成指示手段の指示に応答して前記テ
ンプレート画像作成手段により前記探索画像から作成さ
れたテンプレート画像の画素について、前記基準画像の
画素の画素値との差が所定値以下となる画素数を求め、
当該画素数の多少により当該探索画像から作成されたテ
ンプレート画像の中心点に対する当該基準画像の画素の
類似度を算出し、当該類似度が最大となる当該基準画像
の画素を当該探索画像から作成されたテンプレート画像
の中心点の対応候補点として抽出して当該類似度と共に
出力する第２の対応候補点抽出手段と、前記第２の対応
候補点抽出手段により抽出された対応候補点が前記基準
画像から作成されたテンプレート画像の中心点と一致す
る場合に前記第１の対応候補点抽出手段により抽出され
た対応候補点を当該中心点に対する対応点とするに当た
り、前記類似度に基づいて当該中心点の画素が所定領域
内の画素であるか否かを判断する判断手段とを備えてい
る。

【００３８】上記目的を達成するため、請求項９記載の
画像対応点抽出装置では、請求項８記載の前記判断手段
は、視差の分布が急峻に変化する領域内の画素であるか
否かを判断するように構成されている。

【００３９】上記目的を達成するため、請求項１０記載
の画像対応点抽出装置では、請求項８記載の前記判断手
段は、対応点が存在しないオクルージョン領域内の画素
であるか否かを判断するように構成されている。

【００４０】上記目的を達成するため、請求項１１記載
の画像対応点抽出装置では、請求項８〜請求項１０記載
の前記第１，第２の対応候補点抽出手段は、前記画素値
として輝度値を使用するように構成されている。

【００４１】上記目的を達成するため、請求項１２記載
の画像対応点抽出装置では、請求項８〜請求項１０記載
の前記第１，第２の対応候補点抽出手段は、前記画素値
として色信号値を使用するように構成されている。

【００４２】上記目的を達成するため、請求項１３記載
の画像対応点抽出装置は、同一被写体について異なる視
点から撮像された複数の画像の画像データを入力する画
像入力手段と、少なくとも前記画像入力手段により入力
された１枚の画像を基準画像の画像データの中から一部
の領域を切出してテンプレート画像を作成するテンプレ
ート画像作成手段と、前記テンプレート画像作成手段に
より作成されたテンプレート画像の画素について、前記
画像入力手段により入力された他の画像を探索画像とし
て当該探索画像の画素の画素値との差が所定値以下とな
る画素数を求め、当該画素数の多少により当該テンプレ
ート画像の中心点に対する当該他の画像の画素の類似度
を算出し、当該類似度が最大となる当該探索画像の画素
を当該テンプレート画像の中心点の対応候補点として抽
出して当該類似度と共に出力する第１の対応候補点抽出
手段と、前記テンプレート画像作成手段に対して前記第
１の対応候補点抽出手段により抽出された対応候補点を
中心とするテンプレート画像を前記探索画像から作成す
るように指示するテンプレート画像作成指示手段と、前
記テンプレート画像作成指示手段の指示に応答して前記
テンプレート画像作成手段により前記探索画像から作成
されたテンプレート画像の画素について、前記基準画像
の画素の画素値との差が所定値以下となる画素数を求
め、当該画素数の多少により当該探索画像から作成され
たテンプレート画像の中心点に対する当該基準画像の画
素の類似度を算出し、当該類似度が最大となる当該基準
画像の画素を当該探索画像から作成されたテンプレート
画像の中心点の対応候補点として抽出して当該類似度と
共に出力する第２の対応候補点抽出手段と、前記第２の
対応候補点抽出手段により抽出された対応候補点が前記
基準画像から作成されたテンプレート画像の中心点と一
致する場合に前記第１の対応候補点抽出手段により抽出
された対応候補点を当該中心点に対する対応点とするに
当たり、前記類似度に基づいて当該中心点の画素が所定
領域内の画素であるか否かを判断する判断手段と、前記
判断手段により所定領域内の画素であると判断された場
合、前記基準画像、探索画像から作成すべき各テンプレ
ート画像を前回とは変形させるように前記テンプレート
画像作成手段、テンプレート画像作成指示手段を制御す
る制御手段とを備えている。

【００４３】上記目的を達成するため、請求項１４記載
の画像対応点抽出装置では、請求項１３記載の前記判断
手段は、視差の分布が急峻に変化する領域内の画素であ
るか否かを判断するように構成されている。

【００４４】上記目的を達成するため、請求項１５記載
の画像対応点抽出装置では、請求項１４記載の前記制御
手段は、前記判断手段により視差の分布が急峻に変化す
る領域内の画素であると判断された場合に、前記基準画
像、探索画像から作成すべき各テンプレート画像を前回
とは変形させるように前記テンプレート画像作成手段、
テンプレート画像作成指示手段を制御するように構成さ
れている。

【００４５】上記目的を達成するため、請求項１６記載
の画像対応点抽出装置では、請求項１３〜請求項１５記
載の前記制御手段は、テンプレート画像の面積を小さく
して変形するように制御するように構成されている。

【００４６】上記目的を達成するため、請求項１７記載
の画像対応点抽出装置では、請求項１３〜請求項１５記
載の前記制御手段は、作成されたテンプレート画像に対
して強いエッジを境界として当該テンプレート画像の中
心点を含まない方の領域をマスクして変形するように制
御するよう構成されている。

【００４７】上記目的を達成するため、請求項１８記載
の画像対応点抽出装置では、請求項１３記載の前記判断
手段は、対応点が存在しないオクルージョン領域内の画
素であるか否かを判断するように構成されている。

【００４８】上記目的を達成するため、請求項１９記載
の画像対応点抽出装置では、請求項１３〜請求項１８記
載の前記第１，第２の対応候補点抽出手段は、前記画素
値として輝度値を使用するように構成されている。

【００４９】上記目的を達成するため、請求項２０記載
の画像対応点抽出装置では、請求項１３〜請求項１８記
載の前記第１，第２の対応候補点抽出手段は、前記画素
値として色信号値を使用するように構成されている。

【００５０】上記目的を達成するため、請求項２１記載
の画像対応点抽出方法は、同一被写体について異なる視
点から撮像された複数の画像の画像データを入力する画
像入力工程と、前記画像入力工程にて入力された１枚の
画像を基準画像として当該基準画像の画像データの中か
ら一部の領域を切出してテンプレート画像を作成するテ
ンプレート画像作成工程と、前記テンプレート画像作成
工程にて作成されたテンプレート画像の画素について、
前記画像入力工程にて入力された他の画像を探索画像と
して当該探索画像の画素の画素値との差が所定値以下と
なる画素数を求め、当該画素数の多少により当該テンプ
レート画像の中心点に対する当該探索画像の画素の類似
度を算出し、当該類似度が最大となる当該探索画像の画
素を当該テンプレート画像の中心点の対応候補点として
抽出して当該類似度と共に出力する対応候補点抽出工程
と、前記対応候補点抽出工程にて抽出された対応候補点
の類似度に基づいて前記テンプレート画像の中心点の画
素が所定の条件に該当するか否かを判断する判断工程
と、前記判断工程にて前記所定の条件に該当すると判断
された場合、前記テンプレート画像作成工程にて作成さ
れたテンプレート画像を変形して前記対応候補点抽出工
程に出力するテンプレート画像変形工程とを備えてい
る。

【００５１】上記目的を達成するため、請求項２２記載
の画像対応点抽出方法では、請求項２１記載の前記対応
候補点抽出工程において、前記画素値として輝度値を使
用するように構成されている。

【００５２】上記目的を達成するため、請求項２３記載
の画像対応点抽出方法では、請求項２１記載の前記対応
候補点抽出工程において、前記画素値として色信号値を
使用するように構成されている。

【００５３】上記目的を達成するため、請求項２４記載
の画像対応点抽出方法では、請求項２１〜請求項２３記
載の前記判断工程において、前記テンプレート画像の中
心点の画素が視差の分布が急峻に変化する領域内の画素
であるか否かを判断するように構成されている。

【００５４】上記目的を達成するため、請求項２５記載
の画像対応点抽出方法では、請求項２１〜請求項２３記
載の前記判断工程において、前記対応候補点抽出工程に
て抽出された対応候補点の類似度が所定のしきい値より
小さいか否により前記テンプレート画像の中心点の画素
が視差の分布が急峻に変化する領域内の画素であるか否
かを判断するように構成されている。

【００５５】上記目的を達成するため、請求項２６記載
の画像対応点抽出方法では、請求項２１〜請求項２５記
載の前記テンプレート画像変形工程において、前記テン
プレート画像作成工程にて作成されたテンプレート画像
の面積を小さくするように構成されている。

【００５６】上記目的を達成するため、請求項２７記載
の画像対応点抽出方法では、請求項２１〜請求項２５記
載の前記テンプレート画像変形工程において、前記テン
プレート画像作成工程にて作成されたテンプレート画像
に対して強いエッジを境界として当該テンプレート画像
の中心点を含まない方の領域をマスクするように構成さ
れている。

【００５７】上記目的を達成するため、請求項２８記載
の画像対応点抽出方法は、同一被写体について異なる視
点から撮像された複数の画像の画像データを入力する画
像入力工程と、少なくとも前記画像入力工程にて入力さ
れた１枚の画像を基準画像の画像データの中から一部の
領域を切出してテンプレート画像を作成するテンプレー
ト画像作成工程と、前記テンプレート画像作成工程にて
作成されたテンプレート画像の画素について、前記画像
入力工程にて入力された他の画像を探索画像として当該
探索画像の画素の画素値との差が所定値以下となる画素
数を求め、当該画素数の多少により当該テンプレート画
像の中心点に対する当該探索画像の画素の類似度を算出
し、当該類似度が最大となる当該探索画像の画素を当該
テンプレート画像の中心点の対応候補点として抽出して
当該類似度と共に出力する第１の対応候補点抽出工程
と、前記テンプレート画像作成工程に対して前記第１の
対応候補点抽出工程にて抽出された対応候補点を中心と
するテンプレート画像を前記探索画像から作成するよう
に指示するテンプレート画像作成指示工程と、前記テン
プレート画像作成指示工程の指示に応答して前記テンプ
レート画像作成手段により前記探索画像から作成された
テンプレート画像の画素について、前記基準画像の画素
の画素値との差が所定値以下となる画素数を求め、当該
画素数の多少により当該探索画像から作成されたテンプ
レート画像の中心点に対する当該基準画像の画素の類似
度を算出し、当該類似度が最大となる当該基準画像の画
素を当該探索画像から作成されたテンプレート画像の中
心点の対応候補点として抽出して当該類似度と共に出力
する第２の対応候補点抽出工程と、前記第２の対応候補
点抽出工程にて抽出された対応候補点が前記基準画像か
ら作成されたテンプレート画像の中心点と一致する場合
に前記第１の対応候補点抽出工程にて抽出された対応候
補点を当該中心点に対する対応点とするに当たり、前記
類似度に基づいて当該中心点の画素が所定領域内の画素
であるか否かを判断する判断工程とを備えている。

【００５８】上記目的を達成するため、請求項２９記載
の画像対応点抽出方法では、請求項２８記載の前記判断
工程において、視差の分布が急峻に変化する領域内の画
素であるか否かを判断するように構成されている。

【００５９】上記目的を達成するため、請求項３０記載
の画像対応点抽出方法では、請求項２８記載の前記判断
工程において、対応点が存在しないオクルージョン領域
内の画素であるか否かを判断するように構成されてい
る。

【００６０】上記目的を達成するため、請求項３１記載
の画像対応点抽出方法では、請求項２８〜請求項３０記
載の前記第１，第２の対応候補点抽出工程において、前
記画素値として輝度値を使用するように構成されてい
る。

【００６１】上記目的を達成するため、請求項３２記載
の画像対応点抽出方法では、請求項２８〜請求項３０記
載の前記第１，第２の対応候補点抽出工程では、前記画
素値として色信号値を使用するように構成されている。

【００６２】上記目的を達成するため、請求項３３記載
の画像対応点抽出方法は、同一被写体について異なる視
点から撮像された複数の画像の画像データを入力する画
像入力工程と、少なくとも前記画像入力工程にて入力さ
れた１枚の画像を基準画像の画像データの中から一部の
領域を切出してテンプレート画像を作成するテンプレー
ト画像作成工程と、前記テンプレート画像作成工程にて
作成されたテンプレート画像の画素について、前記画像
入力工程にて入力された他の画像を探索画像として当該
探索画像の画素の画素値との差が所定値以下となる画素
数を求め、当該画素数の多少により当該テンプレート画
像の中心点に対する当該探索画像の画素の類似度を算出
し、当該類似度が最大となる当該探索画像の画素を当該
テンプレート画像の中心点の対応候補点として抽出して
当該類似度と共に出力する第１の対応候補点抽出工程
と、前記テンプレート画像作成工程に対して前記第１の
対応候補点抽出工程にて抽出された対応候補点を中心と
するテンプレート画像を前記探索画像から作成するよう
に指示するテンプレート画像作成指示工程と、前記テン
プレート画像作成指示工程の指示に応答して前記テンプ
レート画像作成工程にて前記探索画像から作成されたテ
ンプレート画像の画素について、前記基準画像の画素の
画素値との差が所定値以下となる画素数を求め、当該画
素数の多少により当該探索画像から作成されたテンプレ
ート画像の中心点に対する当該基準画像の画素の類似度
を算出し、当該類似度が最大となる当該基準画像の画素
を当該探索画像から作成されたテンプレート画像の中心
点の対応候補点として抽出して当該類似度と共に出力す
る第２の対応候補点抽出工程と、前記第２の対応候補点
抽出工程にて抽出された対応候補点が前記基準画像から
作成されたテンプレート画像の中心点と一致する場合に
前記第１の対応候補点抽出工程にて抽出された対応候補
点を当該中心点に対する対応点とするに当たり、前記類
似度に基づいて当該中心点の画素が所定領域内の画素で
あるか否かを判断する判断工程と、前記判断工程にて所
定領域内の画素であると判断された場合、前記基準画
像、探索画像から作成すべき各テンプレート画像を前回
とは変形させるように前記テンプレート画像作成工程、
テンプレート画像作成指示工程を制御する制御工程とを
備えている。

【００６３】上記目的を達成するため、請求項３４記載
の画像対応点抽出方法では、請求項３３記載の前記判断
工において、視差の分布が急峻に変化する領域内の画素
であるか否かを判断するように構成されている。

【００６４】上記目的を達成するため、請求項３５記載
の画像対応点抽出方法では、請求項３４記載の前記制御
工程において、前記判断工程にて視差の分布が急峻に変
化する領域内の画素であると判断された場合に、前記基
準画像、探索画像から作成すべき各テンプレート画像を
前回とは変形させるように前記テンプレート画像作成工
程、テンプレート画像作成指示工程を制御するように構
成されている。

【００６５】上記目的を達成するため、請求項３６記載
の画像対応点抽出方法では、請求項３３〜請求項３５記
載の前記制御工程において、テンプレート画像の面積を
小さくして変形するように制御するよう構成されてい
る。

【００６６】上記目的を達成するため、請求項３７記載
の画像対応点抽出方法では、請求項３３〜請求項３５記
載の前記制御工程において、作成されたテンプレート画
像に対して強いエッジを境界として当該テンプレート画
像の中心点を含まない方の領域をマスクして変形するよ
うに制御するよう構成されている。

【００６７】上記目的を達成するため、請求項３８記載
の画像対応点抽出方法では、請求項３３記載の前記判断
工程において、対応点が存在しないオクルージョン領域
内の画素であるか否かを判断するように構成されてい
る。

【００６８】上記目的を達成するため、請求項３９記載
の画像対応点抽出方法では、請求項３３〜請求項３８記
載の前記第１，第２の対応候補点抽出工程において、前
記画素値として輝度値を使用するように構成されてい
る。

【００６９】上記目的を達成するため、請求項４０記載
の画像対応点抽出方法では、請求項３３〜請求項３８記
載の前記第１，第２の対応候補点抽出工程において、前
記画素値として色信号値を使用するように構成されてい
る。

【００７０】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照しながら説明する。

【００７１】［実施の第１の形態］まず、本発明の実施
の第１の形態を図１〜図４を参照しながら説明する。

【００７２】図１は、第１の形態に係る画像対応点抽出
装置の概略構成を示すブロック図である。

【００７３】図１に示したように、本画像対応点抽出装
置は、画像入力部１０１、基準画像メモリ１０２、探索
画像メモリ１０３、アドレス発生部１０４、サイズデー
タ保管部１０５、画素数計算部１０６、判断部１０７、
テンプレートサイズ変更部１０８、およびテンプレート
画像作成部１０９を有しており、これらはＣＰＵ、ＲＯ
Ｍ、ＲＡＭを中核して構成されたマイコン等の電子計算
機により構成されている。

【００７４】画像入力部１０１は、図１４に示したよう
に、同一被写体について異なる視点から撮像された複数
の画像の画像データを入力処理するものであり、この画
像入力部１０１には、１台、または２台のカメラが含ま
れていても、或いは含まれていなくてもよい。

【００７５】基準画像メモリ１０２には、画像入力部１
０１により入力された同一被写体について異なる視点か
ら撮像された複数の画像の画像データのうち、任意の１
つの画像の画像データが基準画像として格納され、他の
画像データが探索画像として探索画像メモリ１０３に格
納される。

【００７６】アドレス発生部１０４は、基準画像メモリ
１０２に格納された基準画像の１点を示すアドレスをテ
ンプレート画像作成部１０９に供給し、サイズデータ保
管部１０５は、最初のテンプレート画像のサイズ（面
積）データをテンプレート画像作成部１０９に供給し、
テンプレートサイズ変更部１０８は、判断部１０７から
の変更指令に基づいてテンプレート画像の変更に係る小
さなサイズデータをテンプレート画像作成部１０９に供
給する。

【００７７】テンプレート画像作成部１０９は、基準画
像メモリ１０２内の基準画像について、アドレス発生部
１０４から供給されたアドレスで示される点を中心と
し、サイズデータ保管部１０５、またはテンプレートサ
イズ変更部１０８から供給されたサイズの領域を切出す
ことにより、テンプレート画像を生成し、このテンプレ
ート画像を画素数計算部１０６に供給する。なお、サイ
ズデータ保管部１０５、テンプレートサイズ変更部１０
８から供給されるテンプレート画像のサイズデータの大
小関係は、テンプレートサイズ変更部１０８からのサイ
ズデータの方が、サイズデータ保管部１０５からのサイ
ズデータより小さくなっている。

【００７８】画素数計算部１０６は、テンプレート画像
作成部１０９より供給されるテンプレート画像と探索画
像メモリ１０３より供給される探索画像との間で、上述
した数式３に基づいて、テンプレート画像全体でテンプ
レート内の各画素の輝度値と探索画像上の１画素の輝度
値との差分値が所定のしきい値ε以下となる画素の画素
数を計算し、すなわち、テンプレート画像の画素につい
て、探索画像の画素の画素値（輝度値）との差分値が所
定のあるしきい値ε以下となる画素の画素数を計算し、
その画素数に基づいて対応候補点を決定し、その対応候
補点の類似度を求め、対応候補点と類似度を判断部１０
７に供給する。

【００７９】判断部１０７は、テンプレート画像のサイ
ズが大きなサイズである場合には、画素数計算部１０６
から得られた類似度に基づいて、テンプレート画像の中
心点が当該テンプレート画像中で被写体距離が大きく変
化する領域（すなわち、視差の分布が急峻に変化する領
域）の点であるか否かを判断し、その領域内の点であれ
ば、テンプレートサイズ変更部１０８に対して、テンプ
レート画像のより小さなサイズデータをテンプレート画
像作成部１０９に供給するように指令する。

【００８０】この指令に基づいて小さなサイズデータが
供給された場合には、テンプレート画像作成部１０９
は、供給された小さなサイズデータに対応するテンプレ
ート画像を作成し、画素数計算部１０６は、その小さな
サイズのテンプレート画像に基づいて再び類似度を計算
し、対応候補点を判断部１０７に出力する。

【００８１】また、テンプレート画像の中心点が当該テ
ンプレート画像中で被写体距離が大きく変化する領域の
点でない場合、およびテンプレート画像のサイズが小さ
なサイズである場合には、判断部１０７は、画素数計算
部１０６からの対応候補点を対応点として決定して出力
する。

【００８２】次に、画素数計算部１０６の処理を図２の
フローチャートに基づいて詳細に説明する。なお、図２
のフローチャートでは、対応候補点の座標を（Ｘ，Ｙ）
とし、数式３に基づいて計算した類似度をＣｘｙとして
いる。

【００８３】画素数計算部１０６は、まず、テンプレー
ト画像と探索画像を取込み（ステップＳｌ０１）、類似
度Ｃｘｙを“０”に初期化する（ステップＳｌ０２）。
そして、探索画像から１点（ｘ，ｙ）を選択し（ステッ
プＳｌ０３）、その点とテンプレート画像の全ての画素
の輝度値とを比較して、その差分値が所定のしきい値ε
以下となるテンプレート画像の画素の画素数を計算し、
その画素数を評価値、すなわち類似度Ｃ（ｘ，ｙ）とし
て設定する（ステップＳｌ０４）。

【００８４】次に、ステップＳｌ０４にて設定した類似
度Ｃ（ｘ，ｙ）と現時点での類似度Ｃｘｙとの大小を比
較し（ステップＳｌ０５）、類似度Ｃ（ｘ，ｙ）の方が
大きければ、対応候補点として座標（Ｘ，Ｙ）に（ｘ，
ｙ）を代入すると共に、類似度ＣｘｙにＣ（ｘ，ｙ）を
代入して（ステップＳｌ０６）、ステップＳｌ０７に進
む。一方、ステップＳｌ０４にて設定した類似度Ｃ
（ｘ，ｙ）が現時点での類似度Ｃｘｙ以下であれば、ス
テップＳｌ０６をスキップして、ステップＳｌ０７に進
む。

【００８５】ステップＳｌ０７では、探索画像中の全て
の点に関して、ステップＳ１０３〜Ｓ１０６の処理が完
了したか否かを判別する。その結果、全ての点に関して
完了していれば、現時点で保持している対応候補点の座
標（Ｘ，Ｙ）と類似度Ｃｘｙを出力して（ステップＳｌ
０８）、終了する。一方、探索画像中の全ての点に関す
る処理が完了していなければ、ステップＳ１０３へ戻る
ことにより、次の点に関して対応候補点の座標と類似度
を求める。

【００８６】次に、判断部１０７におけるテンプレート
画像の中心点が被写体距離が大きく変化する領域内の点
であるか否かの判断の仕方を説明する。

【００８７】この判断は、類似度Ｃｘｙと所定のしきい
値Ｃｔｈとの大小の比較で行うが、この理由を図３、図
４を参照して説明する。

【００８８】図３（ａ）の基準画像中のＰ点を中心にテ
ンプレート３１を作成し、Ｐ点に対応する対応点を図３
（ｂ）の探索画像中で求める場合に、例えば、ラインＬ
上の点での類似度Ｃ（ｘ，ｙ）をプロットすると図４
（ａ）のようになる。すなわち、Ｐ点は被写体距離が大
きく変化する領域内の点ではないため、図４（ａ）のよ
うに類似度Ｃ（ｘ，ｙ）の高いピークが得られ、この類
似度Ｃ（ｘ，ｙ）の高いピーク点を対応点として決定で
きる。

【００８９】しかし、図３（ａ）の基準画像中のＱ点を
中心にテンプレート３２を作成し、Ｑ点に対応する対応
点を図３（ｂ）の探索画像中で求める場合に、ラインＭ
上の点での類似度Ｃ（ｘ，ｙ）をプロットすると図４
（ｂ）のように２つのピークが得られる。これは、上述
したようにテンプレート画像内に被写体距離が大きく異
なる領域が存在するためであり、図３（ｃ）のように、
テンプレート画像中のＲの領域により類似度Ｃ（ｘ，
ｙ）が大きくなったのが左側のピークであり、Ｓの領域
により類似度Ｃ（ｘ，ｙ）が大きくなったのが右側のピ
ークである。

【００９０】図３（ａ）と図３（ｂ）との比較から明ら
かなように、被写体距離が大きく変化する領域内に存在
する点の対応候補点の類似度は、それ以外の領域の点の
類似度と比較するとかなり小さくなる。

【００９１】このような事実により、得られた類似度Ｃ
ｘｙと所定のしきい値Ｃｔｈとの大小比較によって、テ
ンプレ−ト画像の中心点が被写体距離の大きく変化する
領域内の点であるか否かを判断できるのである。

【００９２】上述したように、判断部１０７は、テンプ
レ−ト画像の中心点が被写体距離の大きく変化する領域
内の点であると判断した場合には、テンプレートサイズ
変更部１０８に対して小さなサイズのサイズデータをテ
ンプレート画像作成部１０９へ出力するように指令する
ことにより、小さなサイズのテンプレート画像を使用し
て対応点抽出が行われるようにする。

【００９３】このようなテンプレート画像のサイズ変更
処理により、背景の領域等の影響に基づく視差の分布の
急峻な変化による誤った対応点抽出を防ぐことができ、
精度の高い対応点抽出が可能となり、精度の高い被写体
の距離分布を求めることが可能となる。

【００９４】なお、テンプレート画像のサイズは、大小
２種類として説明したが、テンプレート画像のサイズを
小さくしても未だ背景の領域の方が主要被写体の領域よ
り大きい場合などは、さらにテンプレート画像を更に小
さくする等、テンプレ−ト画像のサイズを３段階以上に
亘って変更するようにしてもよい。

【００９５】また、本形態では、被写体距離の大きく変
化する領域の判断に最大値の類似度Ｃｘｙとしきい値Ｃ
ｔｈを用いたが、別の方法として２番目に大きい類似度
Ｃ’ｘｙを用い、このＣ’ｘｙが別のしきい値Ｃ’ｔｈ
（Ｃ’ｔｈ＜Ｃｔｈ）より大きい場合は、類似度Ｃ
（ｘ，ｙ）のピークが複数あるものと見做すことによ
り、被写体距離の大きく変化する領域を判断することも
可能である。

【００９６】［実施の第２の形態］次に、本発明の実施
の第２の形態について、図５〜図７を参照して説明す
る。

【００９７】図５は、第２の形態に係る画像対応点抽出
装置の概略構成を示すブロック図である。

【００９８】図５に示したように、本画像対応点抽出装
置は、画像入力部１０１、基準画像メモリ１０２、探索
画像メモリ１０３、アドレス発生部１０４、サイズデー
タ保管部１０５、画素数計算部１０６、判断部１０７、
エッジマスクテンプレート画像作成部１２１、およびテ
ンプレート画像作成部１０９を有しており、これらはＣ
ＰＵ、ＲＯＭ、ＲＡＭを中核して構成されたマイコン等
の電子計算機により構成されている。

【００９９】画像入力部１０１は、図１４に示したよう
に、同一被写体について異なる視点から撮像された複数
の画像の画像データを入力処理するものであり、この画
像入力部１０１には、１台、または２台のカメラが含ま
れていても、或いは含まれていなくてもよい。

【０１００】基準画像メモリ１０２には、画像入力部１
０１により入力された同一被写体について異なる視点か
ら撮像された複数の画像の画像データのうち、任意の１
つの画像の画像データが基準画像として格納され、他の
画像データが探索画像として探索画像メモリ１０３に格
納される。

【０１０１】アドレス発生部１０４は、基準画像メモリ
１０２に格納された基準画像の１点を示すアドレスをテ
ンプレート画像作成部１０９に供給し、サイズデータ保
管部１０５は、テンプレート画像のサイズデータをテン
プレート画像作成部１０９に供給する。テンプレート画
像作成部１０９は、基準画像メモリ１０２内の基準画像
について、アドレス発生部１０４から供給されたアドレ
スで示される点を中心とし、サイズデータ保管部１０５
供給されたサイズデータの領域を切出すことにより、テ
ンプレート画像を生成し、このテンプレート画像を画素
数計算部１０６に供給する。

【０１０２】画素数計算部１０６は、テンプレート画像
作成部１０９より供給されるテンプレート画像、または
エッジマスクテンプレート画像作成部１２１より供給さ
れる後述のエッジマスクテンプレート画像と、探索画像
メモリ１０３より供給される探索画像との間で、上述し
た数式３に基づいて、テンプレート画像、またはエッジ
マスクテンプレート画像全体でテンプレート内の各画素
の輝度値と探索画像上の１画素の輝度値との差分値が所
定のしきい値ε以下となる画素の画素数を計算し、すな
わち、テンプレート画像、またはエッジマスクテンプレ
ート画像の画素について、探索画像の画素の画素値（輝
度値）との差分値が所定のしきい値ε以下となる画素の
画素数を計算し、その画素数に基づいて対応候補点を決
定し、その対応候補点の類似度を求め、対応候補点と類
似度を判断部１０７に供給する。

【０１０３】判断部１０７は、画素数計算部１０６にて
使用されたテンプレートが画像がテンプレート画像作成
部１０９より作成されたテンプレート画像である場合に
は、画素数計算部１０６から得られた類似度に基づい
て、テンプレート画像の中心点が当該テンプレート画像
中で被写体距離が大きく変化する領域（視差の分布が急
峻に変化する領域）の点であるか否かを判断し、その領
域内の点であれば、エッジマスクテンプレート画像作成
部１２１に対して、テンプレート画像作成部１０９より
作成されたテンプレート画像中の強いエッジの外側にマ
スクをかけたエッジマスクテンプレート画像を作成し
て、画素数計算部１０６に供給するように指令する。

【０１０４】この指令に基づいてエッジマスクテンプレ
ート画像が供給された場合には、画素数計算部１０６
は、そのエッジマスクテンプレート画像に基づいて再び
類似度を計算し、対応候補点を決定して判断部１０７に
出力する。

【０１０５】また、テンプレート画像の中心点が当該テ
ンプレート画像中で被写体距離が大きく変化する領域の
点でない場合には、判断部１０７は、画素数計算部１０
６からの対応候補点を対応点として決定して出力する。

【０１０６】以上の構成において、第１の形態と異なる
のは、エッジマスクテンプレート画像作成部１２１であ
る。すなわち、第１の形態では、被写体距離が大きく変
化する領域にテンプレート画像の中心点が存在する場合
は、テンプレート画像のサイズを小さくしたが、第２の
形態では、強いエッジを境界としてテンプレートを分け
て、中心点を含む方のテンプレートでマッチングを行う
点で相違する。

【０１０７】このように、第２の形態では、強いエッジ
を境界としてテンプレートを分けて、中心点を含む方の
テンプレートでマッチングを行うのは、被写体距離が大
きく変化する領域では、主要被写体と背景とでは、テク
スチャが大きく異なって強いエッジが現れるため、その
強いエッジを境界としてテンプレートを分けてマッチン
グを行うことにより、テンプレート内の被写体距離の異
なる部位による類似度の劣化がなくなり、対応点の抽出
精度が向上するからである。

【０１０８】次に、エッジマスクテンプレート画像作成
部１２１の処理を図６のフローチャートを参照しながら
説明する。なお、本形態では、テンプレートを実際に分
けるのではなく、類似度演算に使用しないように強いエ
ッジの外側にマスクをかけるようにしてテンプレート画
像を修正している。

【０１０９】エッジマスクテンプレート画像作成部１２
１は、テンプレート画像作成部１０９からテンプレート
画像を取込み（ステップＳ２０１、図７（ａ）参照）、
ゾーベルフィルタ等の手法により当該テンプレート画像
からエッジ画像を作成する（ステップＳ２０２、図７
（ｂ）参照）。

【０１１０】次に、ステップＳ２０２で作成したエッジ
画像から所定のしきい値より強いエッジのエッジ画像を
抽出する（ステップＳ２０３、図７（ｃ）参照）。そし
て、抽出された強いエッジ画像の中からテンプレート画
像の中心点に近い領域のエッジを抽出し（ステップＳ２
０４、図７（ｄ）参照）、テンプレートの中心からみて
ステップＳ２０４で抽出されたエッジの内側と外側に分
けて外側をマスクする（ステップＳ２０５、図７（ｅ）
参照）。最後に、そのマスク画像とテンプレート画像を
重ねてエッジマスクテンプレート画像を作成し、画素数
計算部１０６に出力する（ステップＳ２０６、図７
（ｆ）参照）。

【０１１１】このようにして作成されたエッジマスクテ
ンプレート画像を用いて対応点抽出を行うことにより、
多少処理時間が余分にかかるが、高精度な対応点抽出が
可能となり、精度の高い被写体距離の分布を求めること
が可能となる。

【０１１２】なお、本形態においてエッジマスクテンプ
レート画像を用いた場合には、マスクのかかっていない
有効な画素数が、元のテンプレート画像の画素数より減
少しているので、画素数画素数計算部１０６より出力す
る画素数は、有効な画素数が元のテンプレート画像の画
素数と同一である場合の値に換算したり、元のテンプレ
ート画像の画素数との比率で出力する必要がある。

【０１１３】なお、本第２の形態では、図６のステップ
Ｓ２０４では、テンプレートの中心に近いエッジを選択
したが、そのエッジが必ずしも主要被写体と背景を分離
するエッジとなるとは限らないので、被写体距離が大き
く変化する領域では、中心から遠いエッジから順々にエ
ッジマスクテンプレート画像を作成していき、対応点抽
出処理を繰り返すことは有効である。

【０１１４】［実施の第３の形態］次に、本発明の実施
の第３の形態について図８〜図１０を参照して説明す
る。

【０１１５】第３の形態では、被写体距離が大きく変化
する領域、およびオクルージョン領域を判断している。
すなわち、基準画像からテンプレート画像を作成し、そ
のテンプレート画像を使用して探索画像中で対応候補点
が得られたら、さらに、その対応候補点を中心にテンプ
レート画像を作成し、その対応候補点を中心とするテン
プレート画像により基準画像中で対応候補点を求め、そ
の対応候補点と基準画像中のテンプレートの中心点が一
致しているか否かにより対応点であるか否かを判断する
が、その判断を行う場合に、テンプレート画像の中心点
が被写体距離が大きく変化する領域内、およびオクルー
ジョン領域内の点であるか否を判断し、その判断結果を
も考慮することにより、オクルージョン領域内の点に対
する対応点は存在しないにも拘らず、誤って対応点を抽
出するのを防止すると共に、その他の領域に対する対応
点を正確に抽出するようにしている。

【０１１６】図８は、第３の形態に係る画像対応点抽出
装置の概略構成を示すブロック図である。

【０１１７】図８に示したように、本画像対応点抽出装
置は、画像入力部１０１、基準画像メモリ１０２、探索
画像メモリ１０３、アドレス発生部１０４、サイズデー
タ保管部１０５、画素数計算部３０６、判断部３０７、
およびテンプレート画像作成部１０９を有しており、こ
れらはＣＰＵ、ＲＯＭ、ＲＡＭを中核して構成されたマ
イコン等の電子計算機により構成されている。

【０１１８】画像入力部１０１は、図１４に示したよう
に、同一被写体について異なる視点から撮像された複数
の画像の画像データを入力処理するものであり、この画
像入力部１０１には、１台、または２台のカメラが含ま
れていても、或いは含まれていなくてもよい。

【０１１９】基準画像メモリ１０２には、画像入力部１
０１により入力された同一被写体について異なる視点か
ら撮像された複数の画像の画像データのうち、任意の１
つの画像の画像データが基準画像として格納され、他の
画像データが探索画像として探索画像メモリ１０３に格
納される。

【０１２０】アドレス発生部１０４は、基準画像メモリ
１０２に格納された基準画像の１点を示すアドレスをテ
ンプレート画像作成部１０９に供給し、サイズデータ保
管部１０５は、最初のテンプレート画像のサイズ（面
積）をテンプレート画像作成部１０９に供給する。

【０１２１】テンプレート画像作成部１０９は、基準画
像メモリ１０２内の基準画像について、アドレス発生部
１０４から供給されたアドレスで示される点を中心と
し、サイズデータ保管部１０５、またはテンプレートサ
イズ変更部１０８から供給されたサイズデータの領域を
切出すことにより、テンプレート画像を生成し、このテ
ンプレート画像を画素数計算部３０６に供給する。

【０１２２】画素数計算部３０６は、テンプレート画像
作成部１０９より供給されるテンプレート画像と探索画
像メモリ１０３より供給される探索画像との間で、上述
した数式３に基づいて、テンプレート画像全体でテンプ
レート内の各画素の輝度値と探索画像上の１画素の輝度
値との差分値が所定のしきい値ε以下となる画素の画素
数を計算し、すなわち、テンプレート画像の画素につい
て、探索画像の画素の画素値（輝度値）との差分値が所
定のしきい値ε以下となる画素の画素数を計算し、その
画素数に基づいて対応候補点を決定し、その対応候補点
の類似度を求め、対応候補点と類似度を判断部３０７に
供給する。

【０１２３】画素数計算部３０６は、更に、探索画像上
の対応候補点を中心として当該探索画像からテンプレー
ト画像を作成し、そのテンプレート画像と基準画像との
間で、上述した数式３に基づいて、テンプレート画像全
体でテンプレート内の各画素の輝度値と基準画像上の１
画素の輝度値との差分値が所定のしきい値ε以下となる
画素の画素数を計算し、その画素数に基づいて対応候補
点を決定し、その対応候補点の類似度を求め、対応候補
点と類似度を判断部３０７に供給する。

【０１２４】判断部３０７は、供給された２つの対応候
補点と２つの類似度から、アドレス発生部１０４から得
た基準画像メモリ１０２中の１点、すなわち基準画像か
ら作成したテンプレート画像の中心点がオクルージョン
領域の点なのか否か、また、得られた探索画像上の対応
候補点が正しい対応点なのか否かを判断し、その判断結
果を対応点抽出結果として出力する。

【０１２５】次に、画素数計算部３０６の動作を図９，
１０のフローチャートに従って詳細に説明する。なお、
本フローチャートでは、探索画像上の対応候補点の座標
値を（Ｘｌ，Ｙｌ）、その点の類似度をＣｌｘｙ、基準
画像上の対応候補点の座標値を（Ｘｒ，Ｙｒ）、その点
の類似度をＣｒｘｙとしている。

【０１２６】画素数計算部３０６は、まず、テンプレー
ト画像、探索画像、および基準画像を取込み（ステップ
Ｓ３０１）、類似度Ｃｌｘｙ，Ｃｒｘｙをそれぞれ
“０”に初期化する（ステップＳ３０２）。そして、探
索画像から１点（ｘ，ｙ）を選択し（ステップＳ３０
３）、その点とテンプレート画像の全ての画素の輝度値
とを比較して、その差分値が所定のしきい値ε以下とな
るテンプレート画像の画素の画素数を計算し、その画素
数を類似度Ｃｌ（ｘ，ｙ）として設定する（ステップＳ
３０４）。

【０１２７】次に、ステップＳ３０４にて設定した類似
度Ｃｌ（ｘ，ｙ）と現時点での類似度Ｃｌｘｙとの大小
を比較し（ステップＳ３０５）、類似度Ｃｌ（ｘ，ｙ）
の方が大きければ、対応候補点として座標（Ｘｌ，Ｙ
ｌ）に（ｘ，ｙ）を代入すると共に、類似度Ｃｌｘｙに
Ｃｌ（ｘ，ｙ）を代入して（ステップＳ３０６）、ステ
ップＳ３０７に進む。一方、ステップＳ３０４にて設定
した類似度Ｃｌ（ｘ，ｙ）が現時点での類似度Ｃｌｘｙ
以下であれば、ステップＳ３０６をスキップしてステッ
プＳ３０７に進む。

【０１２８】ステップＳ３０７では、探索画像中の全て
の点に関して、ステップＳ３０３〜Ｓ３０６の処理が完
了したか否かを判別する。その結果、完了していなけれ
ばステップＳ３０３に戻る。一方、完了していれば、座
標（Ｘｌ，Ｙｌ）を中心として探索画像からテンプレー
ト画像を作成する（ステップＳ３０８）。

【０１２９】そして、基準画像から１点（ｘ，ｙ）を選
択し（ステップＳ３０９）、その点とテンプレート画像
の全ての画素の輝度値とを比較して、その差分値が所定
のしきい値ε以下となるテンプレート画像の画素の画素
数を計算し、その画素数を類似度Ｃｒ（ｘ，ｙ）として
設定する（ステップＳ３１０）。

【０１３０】次に、ステップＳ３１０にて設定した類似
度Ｃｒ（ｘ，ｙ）と現時点での類似度Ｃｒｘｙとの大小
を比較し（ステップＳ３１１）、類似度Ｃｒ（ｘ，ｙ）
の方が大きければ、対応候補点として座標（Ｘｒ，Ｙ
ｒ）に（ｘ，ｙ）を代入すると共に、類似度Ｃｒｘｙに
Ｃｒ（ｘ，ｙ）を代入して（ステップＳ３１２）、ステ
ップＳ３１３に進む。一方、ステップＳ３１０にて設定
した類似度Ｃｒ（ｘ，ｙ）が現時点での類似度Ｃｒｘｙ
以下であれば、ステップＳ３１３をスキップしてステッ
プＳ３１３に進む。

【０１３１】ステップＳ３１３では、基準画像中の全て
の点に関して、ステップＳ３０９〜Ｓ３１２の処理が完
了したか否かを判別する。その結果、完了していなけれ
ば、ステップＳ３０９に戻る。一方、完了していれば、
探索画像上の対応候補点の座標（Ｘｌ，Ｙｌ）と類似度
Ｃｌｘｙ、および基準画像上の対応候補点の座標（Ｘ
ｒ，Ｙｒ）と類似度Ｃｒｘｙを判断部３０７に出力して
（ステップＳ３１４）、終了する。

【０１３２】次に、判断部３０７の処理を詳細に説明す
る。

【０１３３】判断部３０７では、基準画像から作成され
たテンプレート画像の中心点と基準画像上の対応候補点
の座標値（Ｘｒ，Ｙｒ）とが一致しており、かつ類似度
Ｃｌｘｙ，Ｃｒｘｙが共に大きい方のしきい値より大き
ければ、例えば、大きい方のしきい値をＣｈｔｈとする
と、Ｃｌｘｙ＞Ｃｈｔｈ，かつＣｒｘｙ＞Ｃｈｔｈなら
ば、探索画像上の対応候補点は対応点と判断し、その座
標値（Ｘｌ，Ｙｌ）を出力する。

【０１３４】また、基準画像から作成されたテンプレー
ト画像の中心点と基準画像上の対応候補点の座標値（Ｘ
ｒ，Ｙｒ）とが一致せずに、かつ類似度Ｃｌｘｙ，Ｃｒ
ｘｙが一方でも小さい方のしきい値より小さければ、例
えば、小さい方のしきい値をＣｌｔｈとすると、Ｃｌｘ
ｙ＜Ｃｌｔｈ、またはＣｒｘｙ＜Ｃｈｔｈならば、基準
画像から作成されたテンプレート画像の中心点は、オク
ルージョン領域内の点であり、対応点は存在しないと判
断する。それ以外の場合は、基準画像から作成されたテ
ンプレート画像の中心点は、被写体距離の大きく変化す
る領域内の点であり、探索画像上の対応候補点（Ｘｌ，
Ｙｌ）が対応点であるか否かは不明であると判断する。
この不明の点については、信頼性が低い点と認識して後
の処理に利用してもよいし、利用しなくてもよい。

【０１３５】なお、図１１に示したように、テンプレー
ト画像作成部１０９の代わりに、エッジマスクテンプレ
ート画像作成部１２１を用いて、つまり、テンプレート
画像の代わりに第２の形態で説明したエッジマスクテン
プレート画像を用いることにより、被写体距離が大きく
変化する領域に対する対応点の抽出精度をより一層向上
させることも可能である。

【０１３６】［実施の第４の形態］第４の形態は、第３
の形態と第１の形態とを組み合わせたものである。すな
わち、基準画像からテンプレート画像を作成し、そのテ
ンプレート画像を使用して探索画像中で対応候補点が得
られたら、さらに、その対応候補点を中心にテンプレー
ト画像を作成し、その対応候補点を中心とするテンプレ
ート画像により基準画像中で対応候補点を求め、その対
応候補点と基準画像中のテンプレートの中心点が一致し
ているか否かにより対応点であるか否かを判断するが、
その判断を行う場合に、テンプレート画像の中心点が被
写体距離が大きく変化する領域内（視差の分布が急峻に
変化する領域内）であるか否か、およびオクルージョン
領域内の点であるか否かを考慮すると共に、さらに、テ
ンプレート画像の中心点が被写体距離が大きく変化する
領域内である場合には、テンプレート画像のサイズを小
さくして、再度、上記の処理を繰り返すことにより、オ
クルージョン領域内の点に対する対応点は存在しないに
も拘らず、誤って対応点を抽出するのを防止すると共
に、その他の領域に対する対応点、特に被写体距離が大
きく変化する領域内の点に対する対応点をより正確に抽
出するようにしている。

【０１３７】図１２は、第４の形態に係る画像対応点抽
出装置の概略構成を示すブロック図である。

【０１３８】図１２に示したように、本画像対応点抽出
装置は、画像入力部１０１、基準画像メモリ１０２、探
索画像メモリ１０３、アドレス発生部１０４、サイズデ
ータ保管部１０５、画素数計算部３０６、判断部４０
７、テンプレートサイズ変更部１０８、およびテンプレ
ート画像作成部１０９を有しており、これらはＣＰＵ、
ＲＯＭ、ＲＡＭを中核して構成されたマイコン等の電子
計算機により構成されている。

【０１３９】画像入力部１０１は、図１４に示したよう
に、同一被写体について異なる視点から撮像された複数
の画像の画像データを入力処理するものであり、この画
像入力部１０１には、１台、または２台のカメラが含ま
れていても、或いは含まれていなくてもよい。

【０１４０】基準画像メモリ１０２には、画像入力部１
０１により入力された同一被写体について異なる視点か
ら撮像された複数の画像の画像データのうち、任意の１
つの画像の画像データが基準画像として格納され、他の
画像データが探索画像として探索画像メモリ１０３に格
納される。

【０１４１】アドレス発生部１０４は、基準画像メモリ
１０２に格納された基準画像の１点を示すアドレスをテ
ンプレート画像作成部１０９に供給し、サイズデータ保
管部１０５は、最初のテンプレート画像のサイズ（面
積）データをテンプレート画像作成部１０９に供給し、
テンプレートサイズ変更部１０８は、判断部４０７から
の変更指令に基づいて変更に係るテンプレート画像のサ
イズデータをテンプレート画像作成部１０９に供給す
る。

【０１４２】テンプレート画像作成部１０９は、基準画
像メモリ１０２内の基準画像について、アドレス発生部
１０４から供給されたアドレスで示される点を中心と
し、サイズデータ保管部１０５、またはテンプレートサ
イズ変更部１０８から供給されたサイズデータの領域を
切出すことにより、テンプレート画像を生成し、このテ
ンプレート画像を画素数計算部３０６に供給する。な
お、サイズデータ保管部１０５、テンプレートサイズ変
更部１０８から供給されるテンプレート画像のサイズデ
ータの大小関係は、テンプレートサイズ変更部１０８か
らのサイズデータの方が、サイズデータ保管部１０５か
らのサイズデータより小さくなっている。

【０１４３】画素数計算部３０６は、テンプレート画像
作成部１０９より供給されるテンプレート画像と基準画
像メモリ１０２、または探索画像メモリ１０３より供給
される基準画像、または探索画像との間で、上述した数
式３に基づいて、テンプレート画像全体でテンプレート
内の各画素の輝度値と探索画像上の１画素の輝度値との
差分値が所定のしきい値ε以下となる画素の画素数を計
算し、すなわち、テンプレート画像の画素について、探
索画像の画素の画素値（輝度値）との差分値が所定のし
きい値ε以下となる画素の画素数を計算し、その画素数
に基づいて対応候補点を決定し、その対応候補点の類似
度を求め、対応候補点と類似度を判断部４０７に供給す
る。

【０１４４】判断部４０７は、供給された対応候補点と
２つの類似度に基づいて、テンプレート画像が大きなサ
イズである場合には、テンプレート画像の中心点が当該
テンプレート画像中で被写体距離が大きく変化する領域
の点であるか否かを判断し、その領域内の点であれば、
テンプレートサイズ変更部１０８に対して、テンプレー
ト画像のより小さなサイズデータをテンプレート画像作
成部１０９に供給するように指令する。

【０１４５】この指令基づいて小さなサイズデータが供
給された場合には、テンプレート画像作成部１０９は、
供給された小さなサイズデータに対応するテンプレート
画像を作成し、素数計算部１０６は、その小さなサイズ
のテンプレート画像に基づいて再び類似度を計算し、対
応候補点を決定して出力する。

【０１４６】一方、テンプレート画像の中心点が当該テ
ンプレート画像中で被写体距離が大きく変化する領域の
点でない場合は、画素数計算部１０６からの対応候補点
を対応点として決定して出力する。

【０１４７】また、テンプレート画像が小さなサイズで
ある場合には、テンプレート画像の中心点がオクルージ
ョン領域内の点であるか否か、または対応候補点が対応
点として信頼できる点であるか否かを判断して、その判
断結果を出力する。

【０１４８】次に、判断部４０７の処理を詳細に説明す
る。

【０１４９】判断部４０７では、基準画像から作成され
たテンプレート画像の中心点と基準画像上の対応候補点
の座標値（Ｘｒ，Ｙｒ）とが一致しており、かつ類似度
Ｃｌｘｙ，Ｃｒｘｙが共に大きい方のしきい値より大き
ければ、例えば、大きい方のしきい値をＣｈｔｈとする
と、Ｃｌｘｙ＞Ｃｈｔｈ，かつＣｒｘｙ＞Ｃｈｔｈなら
ば、探索画像上の対応候補点は対応点と判断し、その座
標値（Ｘｌ，Ｙｌ）を出力する。

【０１５０】また、基準画像から作成されたテンプレー
ト画像の中心点と基準画像上の対応候補点の座標値（Ｘ
ｒ，Ｙｒ）とが一致せずに、かつ類似度Ｃｌｘｙ，Ｃｒ
ｘｙが一方でも小さい方のしきい値より小さければ、例
えば、小さい方のしきい値をＣｌｔｈとすると、Ｃｌｘ
ｙ＜Ｃｌｔｈ、またはＣｒｘｙ＜Ｃｈｔｈならば、基準
画像から作成されたテンプレート画像の中心点は、オク
ルージョン領域内の点であり、対応点は存在しないと判
断する。

【０１５１】それ以外の場合は、基準画像から作成され
たテンプレート画像の中心点は、被写体距離の大きく変
化する領域内の点である判断し、テンプレート画像のサ
イズが大きい場合には、上記のように、小さなテンプレ
ート画像に基づいて画素数計算部３０６にから得られた
対応候補点、類似度に基づいて同様の判断を行い、テン
プレート画像のサイズが小さい場合には、探索画像上の
対応候補点（Ｘｌ，Ｙｌ）が基準画像から作成されたテ
ンプレート画像の中心点に対する対応点であるか否か
は、不明であると判断する。

【０１５２】以上の判断内容をケース毎にまとめたのが
図１４である。すなわち、図１４（ａ）は、テンプレー
ト画像のサイズが大きくて基準画像から作成されたテン
プレート画像の中心点と対応候補点の座標値（Ｘｒ，Ｙ
ｒ）が一致した場合、図１４（ｂ）は、テンプレート画
像のサイズが大きくてテンプレート画像の中心点と対応
候補点の座標値（Ｘｒ，Ｙｒ）が一致しなかった場合、
図１４（ｃ）は、テンプレート画像のサイズが小さくて
テンプレート画像の中心点と対応候補点の座標値（Ｘ
ｒ，Ｙｒ）が一致した場合、図１４（ｄ）は、テンプレ
−ト画像のサイズが小さくてテンプレート画像の中心点
と対応候補点の座標値（Ｘｒ，Ｙｒ）が一致しなかった
場合を示し、また、図１４において“対”は対応点とす
ること、“オ”はオクルージョン領域とすること、
“小”はテンプレートサイズを小さくして再び評価関数
演算処理をすること、“不”は対応点が不明であること
を示している。

【０１５３】なお、第４の形態では、サイズの小さなテ
ンプレート画像を用いた場合、図１４（ｃ），（ｄ）に
示したように、対応候補点が対応点であるか否か不明で
あると判断される場合があるが、このような場合は、テ
ンプレート画像のサイズを更に小さくして同様の処理を
複数回繰り返すことも可能である。また、第４の形態に
おいても、第３の形態と同様に、テンプレート画像の代
わりに第２の形態で説明したエッジマスクテンプレート
画像を用いることにより、被写体距離が大きく変化する
領域に対する対応点の抽出精度をより一層向上させるこ
とも可能である。

【０１５４】本発明は、上記の第１〜第４の形態に限定
されることなく、被写体距離が大きく変化する領域の他
にも、移動している被写体を撮像した場合にも運動視差
により視差の分布が急峻に変化するので、その移動領域
に対して適用することも可能である。また、画素値とし
ては、輝度値の他に、例えばＲ，Ｇ，Ｂ等の各色の信号
値を用いてもよい。

【０１５５】

【発明の効果】以上説明したように、本発明によれば、
同一被写体について異なる視点から撮像された複数の画
像の画像データを入力する画像入力手段と、前記画像入
力手段により入力された１枚の画像を基準画像として当
該基準画像の画像データの中から一部の領域を切出して
テンプレート画像を作成するテンプレート画像作成手段
と、前記テンプレート画像作成手段により作成されたテ
ンプレート画像の画素について、前記画像入力手段によ
り入力された他の画像を探索画像として当該探索画像の
画素の画素値との差が所定値以下となる画素数を求め、
当該画素数の多少により当該テンプレート画像の中心点
に対する当該探索画像の画素の類似度を算出し、当該類
似度が最大となる当該探索画像の画素を当該テンプレー
ト画像の中心点の対応候補点として抽出して当該類似度
と共に出力する対応候補点抽出手段と、前記対応候補点
抽出手段により抽出された対応候補点の類似度に基づい
て前記テンプレート画像の中心点の画素が視差の分布が
急峻に変化する領域内の画素であるか否か等の所定の条
件に該当するか否かを判断する判断手段と、前記判断手
段により前記所定の条件に該当すると判断された場合、
前記テンプレート画像作成手段により作成されたテンプ
レート画像を変形して前記対応候補点抽出手段に出力す
るテンプレート画像変形手段とを備えているので、テン
プレートマッチング法による画像対応点の抽出精度を向
上することが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の第１の形態に係る画像対応点抽
出装置の概略構成を示すブロック図である。

【図２】第１の形態における画素数計算部の処理を示す
フローチャートである。

【図３】テンプレ−ト画像の中心点が被写体距離が大き
く変化する領域内の点であるか否を判断する場合の判断
の仕方を説明するための説明図である。

【図４】テンプレ−ト画像の中心点が被写体距離が大き
く変化する領域内の点であるか否を判断する場合の判断
の仕方を説明するための説明図である。

【図５】本発明の実施の第２の形態に係る画像対応点抽
出装置の概略構成を示すブロック図である。

【図６】実施の第２の形態におけるエッジマスクテンプ
レート画像作成部の処理を示すフローチャートである。

【図７】エッジマスクテンプレート画像の作成例を示す
図である。

【図８】本発明の実施の第３の形態に係る画像対応点抽
出装置の概略構成を示すブロック図である。

【図９】本発明の実施の第３の形態における画素数計算
部の処理を示すフローチャートである。

【図１０】図９の続きのフローチャートである。

【図１１】本発明の実施の第３の形態の応用変形例に係
る画像対応点抽出装置の概略構成を示すブロック図であ
る。

【図１２】本発明の実施の第４の形態に係る画像対応点
抽出装置の概略構成を示すブロック図である。

【図１３】第４の形態における判断部の判断処理を示す
図である。

【図１４】画像入力部による画像入力の仕方を説明する
ための説明図である。

【図１５】テンプレ−トマッチング法を説明するための
説明図である。

【図１６】従来の問題点を説明するための説明図であ
る。

【図１７】従来の別の問題点を説明するための説明図で
ある。

【符号の説明】

１０１…画像入力部 １０２…基準画像メモリ １０３…探索画像メモリ １０４…アドレス発生部 １０５…サイズデータ保管部 １０６，３０６…画素数計算部 １０７，３０７，４０７…判断部 １０８…テンプレートサイズ変更部 １０９…テンプレート画像作成部 １２１，３２１…エッジマスクテンプレート作成部

Claims (40)

【特許請求の範囲】
1. 【請求項１】 同一被写体について異なる視点から撮像
   された複数の画像の画像データを入力する画像入力手段
   と、 前記画像入力手段により入力された１枚の画像を基準画
   像として当該基準画像の画像データの中から一部の領域
   を切出してテンプレート画像を作成するテンプレート画
   像作成手段と、 前記テンプレート画像作成手段により作成されたテンプ
   レート画像の画素について、前記画像入力手段により入
   力された他の画像を探索画像として当該探索画像の画素
   の画素値との差が所定値以下となる画素数を求め、当該
   画素数の多少により当該テンプレート画像の中心点に対
   する当該探索画像の画素の類似度を算出し、当該類似度
   が最大となる当該探索画像の画素を当該テンプレート画
   像の中心点の対応候補点として抽出して当該類似度と共
   に出力する対応候補点抽出手段と、 前記対応候補点抽出手段により抽出された対応候補点の
   類似度に基づいて前記テンプレート画像の中心点の画素
   が所定の条件に該当するか否かを判断する判断手段と、 前記判断手段により前記所定の条件に該当すると判断さ
   れた場合、前記テンプレート画像作成手段により作成さ
   れたテンプレート画像を変形して前記対応候補点抽出手
   段に出力するテンプレート画像変形手段と、 を備えたことを特徴とする画像対応点抽出装置。
2. 【請求項２】 前記対応候補点抽出手段は、前記画素値
   として輝度値を使用することを特徴とする請求項１記載
   の画像対応点抽出装置。
3. 【請求項３】 前記対応候補点抽出手段は、前記画素値
   として色信号値を使用することを特徴とする請求項１記
   載の画像対応点抽出装置。
4. 【請求項４】 前記判断手段は、前記テンプレート画像
   の中心点の画素が視差の分布が急峻に変化する領域内の
   画素であるか否かを判断することを特徴とする請求項１
   〜請求項３記載の画像対応点抽出装置。
5. 【請求項５】 前記判断手段は、前記対応候補点抽出手
   段により抽出された対応候補点の類似度が所定のしきい
   値より小さいか否により前記テンプレート画像の中心点
   の画素が視差の分布が急峻に変化する領域内の画素であ
   るか否かを判断することを特徴とする請求項１〜請求項
   ３記載の画像対応点抽出装置。
6. 【請求項６】 前記テンプレート画像変形手段は、前記
   テンプレート画像作成手段により作成されたテンプレー
   ト画像の面積を小さくすることを特徴とする請求項１〜
   請求項５記載の画像対応点抽出装置。
7. 【請求項７】 前記テンプレート画像変形手段は、前記
   テンプレート画像作成手段により作成されたテンプレー
   ト画像に対して強いエッジを境界として当該テンプレー
   ト画像の中心点を含まない方の領域をマスクすることを
   特徴とする請求項１〜請求項５記載の画像対応点抽出装
   置。
8. 【請求項８】 同一被写体について異なる視点から撮像
   された複数の画像の画像データを入力する画像入力手段
   と、 少なくとも前記画像入力手段により入力された１枚の画
   像を基準画像の画像データの中から一部の領域を切出し
   てテンプレート画像を作成するテンプレート画像作成手
   段と、 前記テンプレート画像作成手段により作成されたテンプ
   レート画像の画素について、前記画像入力手段により入
   力された他の画像を探索画像として当該探索画像の画素
   の画素値との差が所定値以下となる画素数を求め、当該
   画素数の多少により当該テンプレート画像の中心点に対
   する当該探索画像の画素の類似度を算出し、当該類似度
   が最大となる当該探索画像の画素を当該テンプレート画
   像の中心点の対応候補点として抽出して当該類似度と共
   に出力する第１の対応候補点抽出手段と、 前記テンプレート画像作成手段に対して前記第１の対応
   候補点抽出手段により抽出された対応候補点を中心とす
   るテンプレート画像を前記探索画像から作成するように
   指示するテンプレート画像作成指示手段と、 前記テンプレート画像作成指示手段の指示に応答して前
   記テンプレート画像作成手段により前記探索画像から作
   成されたテンプレート画像の画素について、前記基準画
   像の画素の画素値との差が所定値以下となる画素数を求
   め、当該画素数の多少により当該探索画像から作成され
   たテンプレート画像の中心点に対する当該基準画像の画
   素の類似度を算出し、当該類似度が最大となる当該基準
   画像の画素を当該探索画像から作成されたテンプレート
   画像の中心点の対応候補点として抽出して当該類似度と
   共に出力する第２の対応候補点抽出手段と、 前記第２の対応候補点抽出手段により抽出された対応候
   補点が前記基準画像から作成されたテンプレート画像の
   中心点と一致する場合に前記第１の対応候補点抽出手段
   により抽出された対応候補点を当該中心点に対する対応
   点とするに当たり、前記類似度に基づいて当該中心点の
   画素が所定領域内の画素であるか否かを判断する判断手
   段と、 を備えたことを特徴とする画像対応点抽出装置。
9. 【請求項９】 前記判断手段は、視差の分布が急峻に変
   化する領域内の画素であるか否かを判断することを特徴
   とする請求項８記載の画像対応点抽出装置。
10. 【請求項１０】 前記判断手段は、対応点が存在しない
    オクルージョン領域内の画素であるか否かを判断するこ
    とを特徴とする請求項８記載の画像対応点抽出装置。
11. 【請求項１１】 前記第１，第２の対応候補点抽出手段
    は、前記画素値として輝度値を使用することを特徴とす
    る請求項８〜請求項１０記載の画像対応点抽出装置。
12. 【請求項１２】 前記第１，第２の対応候補点抽出手段
    は、前記画素値として色信号値を使用することを特徴と
    する請求項８〜請求項１０記載の画像対応点抽出装置。
13. 【請求項１３】 同一被写体について異なる視点から撮
    像された複数の画像の画像データを入力する画像入力手
    段と、 少なくとも前記画像入力手段により入力された１枚の画
    像を基準画像の画像データの中から一部の領域を切出し
    てテンプレート画像を作成するテンプレート画像作成手
    段と、 前記テンプレート画像作成手段により作成されたテンプ
    レート画像の画素について、前記画像入力手段により入
    力された他の画像を探索画像として当該探索画像の画素
    の画素値との差が所定値以下となる画素数を求め、当該
    画素数の多少により当該テンプレート画像の中心点に対
    する当該他の画像の画素の類似度を算出し、当該類似度
    が最大となる当該探索画像の画素を当該テンプレート画
    像の中心点の対応候補点として抽出して当該類似度と共
    に出力する第１の対応候補点抽出手段と、 前記テンプレート画像作成手段に対して前記第１の対応
    候補点抽出手段により抽出された対応候補点を中心とす
    るテンプレート画像を前記探索画像から作成するように
    指示するテンプレート画像作成指示手段と、 前記テンプレート画像作成指示手段の指示に応答して前
    記テンプレート画像作成手段により前記探索画像から作
    成されたテンプレート画像の画素について、前記基準画
    像の画素の画素値との差が所定値以下となる画素数を求
    め、当該画素数の多少により当該探索画像から作成され
    たテンプレート画像の中心点に対する当該基準画像の画
    素の類似度を算出し、当該類似度が最大となる当該基準
    画像の画素を当該探索画像から作成されたテンプレート
    画像の中心点の対応候補点として抽出して当該類似度と
    共に出力する第２の対応候補点抽出手段と、 前記第２の対応候補点抽出手段により抽出された対応候
    補点が前記基準画像から作成されたテンプレート画像の
    中心点と一致する場合に前記第１の対応候補点抽出手段
    により抽出された対応候補点を当該中心点に対する対応
    点とするに当たり、前記類似度に基づいて当該中心点の
    画素が所定領域内の画素であるか否かを判断する判断手
    段と、 前記判断手段により所定領域内の画素であると判断され
    た場合、前記基準画像、探索画像から作成すべき各テン
    プレート画像を前回とは変形させるように前記テンプレ
    ート画像作成手段、テンプレート画像作成指示手段を制
    御する制御手段と、 を備えたことを特徴とする画像対応点抽出装置。
14. 【請求項１４】 前記判断手段は、視差の分布が急峻に
    変化する領域内の画素であるか否かを判断することを特
    徴とする請求項１３記載の画像対応点抽出装置。
15. 【請求項１５】 前記制御手段は、前記判断手段により
    視差の分布が急峻に変化する領域内の画素であると判断
    された場合に、前記基準画像、探索画像から作成すべき
    各テンプレート画像を前回とは変形させるように前記テ
    ンプレート画像作成手段、テンプレート画像作成指示手
    段を制御することを特徴とする請求項１４記載の画像対
    応点抽出装置。
16. 【請求項１６】 前記制御手段は、テンプレート画像の
    面積を小さくして変形するように制御することを特徴と
    する請求項１３〜請求項１５記載の画像対応点抽出装
    置。
17. 【請求項１７】 前記制御手段は、作成されたテンプレ
    ート画像に対して強いエッジを境界として当該テンプレ
    ート画像の中心点を含まない方の領域をマスクして変形
    するように制御することを特徴とする請求項１３〜請求
    項１５記載の画像対応点抽出装置。
18. 【請求項１８】 前記判断手段は、対応点が存在しない
    オクルージョン領域内の画素であるか否かを判断するこ
    とを特徴とする請求項１３記載の画像対応点抽出装置。
19. 【請求項１９】 前記第１，第２の対応候補点抽出手段
    は、前記画素値として輝度値を使用することを特徴とす
    る請求項１３〜請求項１８記載の画像対応点抽出装置。
20. 【請求項２０】 前記第１，第２の対応候補点抽出手段
    は、前記画素値として色信号値を使用することを特徴と
    する請求項１３〜請求項１８記載の画像対応点抽出装
    置。
21. 【請求項２１】 同一被写体について異なる視点から撮
    像された複数の画像の画像データを入力する画像入力工
    程と、 前記画像入力工程にて入力された１枚の画像を基準画像
    として当該基準画像の画像データの中から一部の領域を
    切出してテンプレート画像を作成するテンプレート画像
    作成工程と、 前記テンプレート画像作成工程にて作成されたテンプレ
    ート画像の画素について、前記画像入力工程にて入力さ
    れた他の画像を探索画像として当該探索画像の画素の画
    素値との差が所定値以下となる画素数を求め、当該画素
    数の多少により当該テンプレート画像の中心点に対する
    当該探索画像の画素の類似度を算出し、当該類似度が最
    大となる当該探索画像の画素を当該テンプレート画像の
    中心点の対応候補点として抽出して当該類似度と共に出
    力する対応候補点抽出工程と、 前記対応候補点抽出工程にて抽出された対応候補点の類
    似度に基づいて前記テンプレート画像の中心点の画素が
    所定の条件に該当するか否かを判断する判断工程と、 前記判断工程にて前記所定の条件に該当すると判断され
    た場合、前記テンプレート画像作成工程にて作成された
    テンプレート画像を変形して前記対応候補点抽出工程に
    出力するテンプレート画像変形工程と、 を備えたことを特徴とする画像対応点抽出方法。
22. 【請求項２２】 前記対応候補点抽出工程では、前記画
    素値として輝度値を使用することを特徴とする請求項２
    １記載の画像対応点抽出方法。
23. 【請求項２３】 前記対応候補点抽出工程では、前記画
    素値として色信号値を使用することを特徴とする請求項
    ２１記載の画像対応点抽出方法。
24. 【請求項２４】 前記判断工程では、前記テンプレート
    画像の中心点の画素が視差の分布が急峻に変化する領域
    内の画素であるか否かを判断することを特徴とする請求
    項２１〜請求項２３記載の画像対応点抽出方法。
25. 【請求項２５】 前記判断工程では、前記対応候補点抽
    出工程にて抽出された対応候補点の類似度が所定のしき
    い値より小さいか否により前記テンプレート画像の中心
    点の画素が視差の分布が急峻に変化する領域内の画素で
    あるか否かを判断することを特徴とする請求項２１〜請
    求項２３記載の画像対応点抽出方法。
26. 【請求項２６】 前記テンプレート画像変形工程では、
    前記テンプレート画像作成工程にて作成されたテンプレ
    ート画像の面積を小さくすることを特徴とする請求項２
    １〜請求項５記載の画像対応点抽出方法。
27. 【請求項２７】 前記テンプレート画像変形工程では、
    前記テンプレート画像作成工程にて作成されたテンプレ
    ート画像に対して強いエッジを境界として当該テンプレ
    ート画像の中心点を含まない方の領域をマスクすること
    を特徴とする請求項２１〜請求項２５記載の画像対応点
    抽出方法。
28. 【請求項２８】 同一被写体について異なる視点から撮
    像された複数の画像の画像データを入力する画像入力工
    程と、 少なくとも前記画像入力工程にて入力された１枚の画像
    を基準画像の画像データの中から一部の領域を切出して
    テンプレート画像を作成するテンプレート画像作成工程
    と、 前記テンプレート画像作成工程にて作成されたテンプレ
    ート画像の画素について、前記画像入力工程にて入力さ
    れた他の画像を探索画像として当該探索画像の画素の画
    素値との差が所定値以下となる画素数を求め、当該画素
    数の多少により当該テンプレート画像の中心点に対する
    当該探索画像の画素の類似度を算出し、当該類似度が最
    大となる当該探索画像の画素を当該テンプレート画像の
    中心点の対応候補点として抽出して当該類似度と共に出
    力する第１の対応候補点抽出工程と、 前記テンプレート画像作成工程に対して前記第１の対応
    候補点抽出工程にて抽出された対応候補点を中心とする
    テンプレート画像を前記探索画像から作成するように指
    示するテンプレート画像作成指示工程と、 前記テンプレート画像作成指示工程の指示に応答して前
    記テンプレート画像作成手段により前記探索画像から作
    成されたテンプレート画像の画素について、前記基準画
    像の画素の画素値との差が所定値以下となる画素数を求
    め、当該画素数の多少により当該探索画像から作成され
    たテンプレート画像の中心点に対する当該基準画像の画
    素の類似度を算出し、当該類似度が最大となる当該基準
    画像の画素を当該探索画像から作成されたテンプレート
    画像の中心点の対応候補点として抽出して当該類似度と
    共に出力する第２の対応候補点抽出工程と、 前記第２の対応候補点抽出工程にて抽出された対応候補
    点が前記基準画像から作成されたテンプレート画像の中
    心点と一致する場合に前記第１の対応候補点抽出工程に
    て抽出された対応候補点を当該中心点に対する対応点と
    するに当たり、前記類似度に基づいて当該中心点の画素
    が所定領域内の画素であるか否かを判断する判断工程
    と、 を備えたことを特徴とする画像対応点抽出方法。
29. 【請求項２９】 前記判断工程では、視差の分布が急峻
    に変化する領域内の画素であるか否かを判断することを
    特徴とする請求項２８記載の画像対応点抽出方法。
30. 【請求項３０】 前記判断工程では、対応点が存在しな
    いオクルージョン領域内の画素であるか否かを判断する
    ことを特徴とする請求項２８記載の画像対応点抽出方
    法。
31. 【請求項３１】 前記第１，第２の対応候補点抽出工程
    では、前記画素値として輝度値を使用することを特徴と
    する請求項２８〜請求項３０記載の画像対応点抽出方
    法。
32. 【請求項３２】 前記第１，第２の対応候補点抽出工程
    では、前記画素値として色信号値を使用することを特徴
    とする請求項２８〜請求項３０記載の画像対応点抽出方
    法。
33. 【請求項３３】 同一被写体について異なる視点から撮
    像された複数の画像の画像データを入力する画像入力工
    程と、 少なくとも前記画像入力工程にて入力された１枚の画像
    を基準画像の画像データの中から一部の領域を切出して
    テンプレート画像を作成するテンプレート画像作成工程
    と、 前記テンプレート画像作成工程にて作成されたテンプレ
    ート画像の画素について、前記画像入力工程にて入力さ
    れた他の画像を探索画像として当該探索画像の画素の画
    素値との差が所定値以下となる画素数を求め、当該画素
    数の多少により当該テンプレート画像の中心点に対する
    当該探索画像の画素の類似度を算出し、当該類似度が最
    大となる当該探索画像の画素を当該テンプレート画像の
    中心点の対応候補点として抽出して当該類似度と共に出
    力する第１の対応候補点抽出工程と、 前記テンプレート画像作成工程に対して前記第１の対応
    候補点抽出工程にて抽出された対応候補点を中心とする
    テンプレート画像を前記探索画像から作成するように指
    示するテンプレート画像作成指示工程と、 前記テンプレート画像作成指示工程の指示に応答して前
    記テンプレート画像作成工程にて前記探索画像から作成
    されたテンプレート画像の画素について、前記基準画像
    の画素の画素値との差が所定値以下となる画素数を求
    め、当該画素数の多少により当該探索画像から作成され
    たテンプレート画像の中心点に対する当該基準画像の画
    素の類似度を算出し、当該類似度が最大となる当該基準
    画像の画素を当該探索画像から作成されたテンプレート
    画像の中心点の対応候補点として抽出して当該類似度と
    共に出力する第２の対応候補点抽出工程と、 前記第２の対応候補点抽出工程にて抽出された対応候補
    点が前記基準画像から作成されたテンプレート画像の中
    心点と一致する場合に前記第１の対応候補点抽出工程に
    て抽出された対応候補点を当該中心点に対する対応点と
    するに当たり、前記類似度に基づいて当該中心点の画素
    が所定領域内の画素であるか否かを判断する判断工程
    と、 前記判断工程にて所定領域内の画素であると判断された
    場合、前記基準画像、探索画像から作成すべき各テンプ
    レート画像を前回とは変形させるように前記テンプレー
    ト画像作成工程、テンプレート画像作成指示工程を制御
    する制御工程と、 を備えたことを特徴とする画像対応点抽出方法。
34. 【請求項３４】 前記判断工程では、視差の分布が急峻
    に変化する領域内の画素であるか否かを判断することを
    特徴とする請求項３３記載の画像対応点抽出方法。
35. 【請求項３５】 前記制御工程では、前記判断工程にて
    視差の分布が急峻に変化する領域内の画素であると判断
    された場合に、前記基準画像、探索画像から作成すべき
    各テンプレート画像を前回とは変形させるように前記テ
    ンプレート画像作成工程、テンプレート画像作成指示工
    程を制御することを特徴とする請求項３４記載の画像対
    応点抽出方法。
36. 【請求項３６】 前記制御工程では、テンプレート画像
    の面積を小さくして変形するように制御することを特徴
    とする請求項３３〜請求項３５記載の画像対応点抽出方
    法。
37. 【請求項３７】 前記制御工程では、作成されたテンプ
    レート画像に対して強いエッジを境界として当該テンプ
    レート画像の中心点を含まない方の領域をマスクして変
    形するように制御することを特徴とする請求項３３〜請
    求項３５記載の画像対応点抽出方法。
38. 【請求項３８】 前記判断工程では、対応点が存在しな
    いオクルージョン領域内の画素であるか否かを判断する
    ことを特徴とする請求項３３記載の画像対応点抽出方
    法。
39. 【請求項３９】 前記第１，第２の対応候補点抽出工程
    では、前記画素値として輝度値を使用することを特徴と
    する請求項３３〜請求項３８記載の画像対応点抽出方
    法。
40. 【請求項４０】 前記第１，第２の対応候補点抽出工程
    では、前記画素値として色信号値を使用することを特徴
    とする請求項３３〜請求項３８記載の画像対応点抽出方
    法。