JP2870465B2 - ３次元参照画像切り出し方法及び装置並びに物体判定装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は３次元参照画像切り
出し方法及び装置並びに物体判定装置に係り、特に３次
元入力画像から予め記憶されている３次元参照画像のみ
を切り出す３次元参照画像切り出し方法及び装置並びに
物体判定装置に関する。

【０００２】

【従来の技術】従来より、入力画像のオーバーラップを
許して小領域に分割し、各小領域毎に入力画像をフーリ
エ変換及びフーリエ変換パワースペクトルのパターンに
変換し、パワースペクトルのパターンと予め用意された
参照画像（標準パターン）との間でテンプレートマッチ
ングを行い、これにより切り出された候補パターンをマ
スクとして前記各小領域毎のフーリエ変換パターンのフ
ィルタリング及び逆変換を行い、逆変換されたパターン
を使ってノイズに対して強いパターンマッチング、すな
わち、入力画像に含まれる参照画像の切り出しを行うよ
うにした画像切り出し方法が知られている（特開平２−
１５６３８７号公報：発明の名称「画像信号の処理方
法」）。

【０００３】しかし、この従来方法では２次元画像しか
扱えなかったため、予め記憶されている３次元参照画像
を３次元入力画像から切り出す場合には適用できなかっ
た。そこで、従来、被写体を左右眼で見たときに相当す
る画像に対して、上記の従来方法を拡張し、オーバーラ
ップを許して小領域に分割し、各領域毎にフーリエ変換
を施し、このフーリエ変換の位相差を使って左右像の視
差を表現することによって、３次元参照画像を入力画像
から切り出す方法が提案された（特願平６−２６６５１
１号）。

【０００４】この方法によれば、被写体を左右眼で見た
ときに相当する入力画像と参照画像に対して、この左右
像のフーリエ変換の位相差を計算し、参照画像と視差を
含めて一致する物体の画像を入力画像から予測すること
によって、参照画像以外の画像が入力画像に含まれる場
合も正確に対象となる画像のみを切り出すことが可能で
ある。

【０００５】また、本出願人は先に特願平６−１８４７
８５号により、参照画像において左右画像の視差をパワ
ースペクトルパターンとして表現し、切り出し対象とな
る３次元画像のパワースペクトルパターンを、参照画像
と入力画像のそれぞれのパワースペクトルパターンの最
大値のみを使った、左右画像の位相差に関する情報を含
まない空間周波数フィルタ処理から求めることによっ
て、参照画像と入力画像内の切り出しの対象となる３次
元画像が、奥行き方向の位置が異なっている場合におい
ても、正確に参照画像のみを切り出すことが可能である
３次元参照画像切り出し方法及び装置を提案した。

【０００６】

【発明が解決しようとする課題】上記の従来の３次元参
照画像切り出し方法及び装置は、いずれも左眼と右眼で
見たときの像の視差は、左右像の局所フーリエ変換像の
複素平面上でのベクトル和を求め、位相差の変化に対す
るこのベクトル和の変化のパターン、あるいは位相差の
変化に対するパワースペクトルパターンとして表現し、
参照画像と類似なパワースペクトルパターンを持つ画像
を入力画像内から予測することによって３次元的な切り
出しを実行している。従って、上記の従来方法及び装置
では、参照画像と同一の画像を入力画像内に含む場合で
あっても、前記参照画像と入力画像内の切り出し対象と
なる画像のパワースペクトルパターンがそれぞれ異なる
場合には、正確に切り出しが実行できないという欠点が
ある。

【０００７】ここで、上記の参照画像と入力画像内の切
り出し対象となる画像のパワースペクトルパターンの相
違は、例えば図３のステレオグラムで示すような、同図
（Ａ）に示した左眼で見たときに相当する左眼画像と、
同図（Ｂ）に示した右眼で見たときに相当する右眼画像
とを参照画像とし、同図（Ａ）及び（Ｂ）に示した人形
の画像の頭の頂点から足に向けた軸について回転した場
合に相当する人形の画像を含む画像を入力画像とした場
合に、注視点よりも前方にある部分と後方にある部分で
は、左右画像の視差が異なるために起こる。

【０００８】つまり、参照画像と入力画像内の切り出し
対象となる画像のパワースペクトルパターンがそれぞれ
異なる場合とは、入力画像内の切り出し対象となる画像
に奥行き方向の変化を伴う回転があり、そのために参照
画像（記憶画像）との間に奥行き変化を伴う”見え方”
の違いがある場合であり、その場合には上記の従来方法
及び装置では、対象画像の正確な切り出しを実行できな
かった。

【０００９】そこで、このような参照画像と入力画像内
の切り出し対象となる画像のパワースペクトルパターン
がそれぞれ異なる場合の解決方法として、従来はアイ・
イー・イー・イー・トランザクション・オン・コンピュ
ータズの第４２巻第３号３００頁〜３１１頁に記載され
ているマーチン等らによる論文「ディストーション・イ
ンバリアント・オブジェクト・レコグニション・イン・
ザ・ダイナミック・リンク・アーキテクャ」に開示され
ている方法がある（Martin Lades,Jan C. Vorbruggen,J
oachim Buhmann,Jorg Lange,Christoph v.d.Malsburg,
Rolf P.Wurtz and Wolfgang Konen:"Distortion invari
ant object recognition in the dynamic link archite
cture",IEEE Trns.on computers,vol.42,no.3,pp.300-3
11(1993)）。

【００１０】この方法は、３次元画像に関する２次元投
影像を使って参照画像と入力画像の局所領域毎の違いを
調べる方法である。しかし、この方法は、３次元画像
を直接扱えず、２次元投影像が必要となること、局所
領域毎の画像をビットマップとして表示し、ｘ方向、ｙ
方向へと画像をずらしながら最大に適合する変化量を求
めるため、非常に時間がかかり大規模な画像については
実用に耐えないこと、局所部分毎の画像変形が、異な
る物体の識別能力を低下させること、などの欠点があ
る。

【００１１】本発明は以上の点に鑑みなされたもので、
参照画像と入力画像内の切り出し対象となる画像のパワ
ースペクトルパターンがそれぞれ異なる場合にも、正確
に切り出しが実行できる３次元参照画像切り出し方法及
び装置を提供することを目的とする。

【００１２】また、本発明の他の目的は、２次元投影像
を用いることなく大規模な画像に対しても正確に切り出
しが実行できる３次元参照画像切り出し方法及び装置を
提供することにある。

【００１３】また、更に、本発明の他の目的は、異なる
物体に対する識別能力を低下させることなく、背景物体
がある場合や、対象物体の回転等によって対象物体像が
変化している場合でも正しく物体判定ができる物体判定
装置を提供することにある。

【００１４】

【課題を解決するための手段】本発明方法は上記の目的
を達成するため、切り出しの対象となる参照画像を左右
眼で見たときに相当する左右の画像それぞれに対して、
オーバーラップを許して小領域に分割した上で各領域毎
のフーリエ変換を実施して局所フーリエ変換像データを
算出した後、左右画像それぞれの局所フーリエ変換像デ
ータの位相差を含む和からパワースペクトルパターンを
算出して記憶すると共に、パワースペクトルパターンか
ら左右画像の局所部分毎の視差を算出して記憶してお
き、参照画像を含む入力画像を左右眼で見たときに相当
する左右の入力画像それぞれに対して、オーバーラップ
を許して小領域に分割した上で各領域毎のフーリエ変換
を実施して算出した局所フーリエ変換像データと、記憶
しておいた前記参照画像に関するパワースペクトルパタ
ーン及び参照画像の左右画像の局所部分毎の視差とか
ら、参照画像の左右画像の局所部分毎の視差を拘束条件
とすることによって、参照画像と前記入力画像の切り出
し対象となる画像間の、視差やパワースペクトルパター
ンの違いを予測し、この予測結果に基づいて参照画像と
類似なパワースペクトルパターンの画像のみを入力画像
から切り出すようにしたものである。

【００１５】また、本発明装置は、切り出しの対象とな
る参照画像を左右眼で見たときに相当する左右の画像、
及び該参照画像を含む入力画像を左右眼で見たときに相
当する左右の入力画像のうち、一方の左右画像を入力す
る画像入力手段と、画像入力手段より入力された左右画
像のそれぞれに対して、オーバーラップを許して小領域
に分割した上で各領域毎のフーリエ変換を実施して局所
フーリエ変換像データを算出する局所フーリエ変換算出
手段と、局所フーリエ変換算出手段より入力された前記
参照画像に関する左右画像の局所フーリエ変換像データ
の位相差を含む和からパワースペクトルパターンを算出
するパワースペクトル算出手段と、算出されたパワース
ペクトルパターンから参照画像に関する左右画像の局所
部分毎の視差を算出する局所視差算出手段と、パワース
ペクトル算出手段と局所視差算出手段の両出力を記憶す
る記憶装置とを有する。

【００１６】更に、本発明装置は、上記の構成に加えて
画像入力手段により参照画像を含む入力画像を入力した
ときに、局所フーリエ変換算出手段より得られる局所フ
ーリエ変換像データと、記憶装置から得た、参照画像に
関するパワースペクトルパターン及び参照画像の左右画
像の局所部分毎の視差とから、参照画像の左右画像の局
所部分毎の視差を拘束条件とすることによって、参照画
像と入力画像の切り出し対象となる画像間の、視差やパ
ワースペクトルパターンの違いを予測して局所フーリエ
変換像を算出する同一画像予測手段と、同一画像予測手
段からの入力画像内の切り出し対象となる画像に対する
局所フーリエ変換像を受け、これを逆フーリエ変換する
局所逆フーリエ変換算出手段と、局所逆フーリエ変換算
出手段からの左右画像のデータと、画像入力手段からの
参照画像を含む入力画像のデータとから画像間の相乗平
均をとって出力する平均算出及び出力手段とを有する構
成としたものである。

【００１７】本発明方法及び装置では、参照画像を含む
入力画像を入力したときに得られる局所フーリエ変換像
データと、記憶しておいた参照画像に関する最大スペク
トルパターン及び参照画像の左右画像の局所部分毎の視
差とから、参照画像の左右画像の局所部分毎の視差を拘
束条件とすることによって、参照画像と入力画像の切り
出し対象となる画像間の、視差やパワースペクトルパタ
ーンの違いを予測して局所フーリエ変換像を算出するよ
うにしたため、参照画像とこの参照画像を含む入力画像
との間に切り出し対象となる画像のパワースペクトルパ
ターンが若干異なっていても、上記のある拘束条件下で
の予測により実質的に同一画像と判断できる。

【００１８】また、本発明は、切り出しの対象となる参
照物体を左右眼で見たときに相当する左右の画像を入力
し、これらの左右の画像それぞれに対してオーバーラッ
プを許して小領域に分割した上で各領域毎の視差に基づ
いて参照物体の奥行データを算出すると共に、入力され
た左右の画像のうち予め選択された一方の画像に関する
形状データを生成する参照データ作成手段と、参照デー
タ作成手段により算出された奥行データ及び形状データ
をそれぞれ参照データとして記憶する記憶装置と、処理
の対象となる入力画像を入力する画像入力手段と、画像
入力手段から入力された入力画像と、記憶装置から読み
出した形状データを用いて記憶装置から読み出した奥行
データを拘束条件として、入力画像と最も一致するよう
に変形された参照画像を生成する参照画像変形手段と、
参照画像変形手段により生成された参照画像を用いて、
画像入力手段から入力された入力画像に対して切り出し
処理を行う画像切り出し手段と、画像切り出し手段によ
り得られた切り出し処理結果を出力する画像出力手段と
を有する構成としたものである。

【００１９】この発明では、参照物体の奥行データを拘
束条件として参照画像を変形し、切り出し処理を行うた
め、無制限な変形によって類似しているが異なった物体
の入力画像を誤って同一と判定することを防止すること
ができる。

【００２０】ここで、参照画像変形手段は、画像入力手
段から入力された入力画像に対してオーバーラップを許
して小領域に分割した上で各領域毎のフーリエ変換を実
施して局所フーリエ変換像を算出する画像変換手段と、
画像変換手段からの局所フーリエ変換像と記憶装置から
読み出した形状データとを用いて、各領域毎にどれだけ
参照画像を移動させれば入力画像と最も良く一致するか
を調べ、最も良く一致する結果を生む移動ベクトルを暫
定的移動ベクトルとして各領域毎に算出し、この暫定的
移動ベクトルを最も良く近似する移動ベクトルを、記憶
装置から読み出した奥行データを拘束条件として、切り
出し対象となる物体が回転若しくは移動した場合に生じ
得る各領域毎の移動ベクトルの中から決定する変形量推
定手段と、決定された各領域毎の移動ベクトルと記憶装
置から読み出された形状データを用いて、局所逆フーリ
エ変換によって変形された参照画像を生成する逆変換手
段とからなることを特徴とする。

【００２１】また、参照データ作成手段は、切り出しの
対象となる参照物体を左右眼で見たときに相当する左右
の画像を入力する参照データ作成用画像入力手段と、画
像入力手段から入力された左右の画像それぞれに対して
オーバーラップを許して小領域に分割した上で各領域毎
のフーリエ変換を実施して局所フーリエ変換像データを
算出する参照データ作成用画像変換手段と、参照データ
作成用画像変換手段からの左右の画像それぞれの局所フ
ーリエ変換像を用いて各領域の左右画像間の相互相関関
数を最大にするシフトの大きさを各領域毎の視差として
算出する局所視差算出手段と、参照データ作成用画像変
換手段により算出された左右の画像の局所フーリエ変換
像データのうち予め選択された一方の画像の局所フーリ
エ変換像データを形状データとして前記記憶装置に記憶
すると共に、局所視差算出手段により算出された視差を
奥行データとして記憶装置に記憶する参照データ書き込
み手段とからなることを特徴とする。

【００２２】また、本発明の物体判定装置は、判定の対
象となる複数の参照物体それぞれを左右眼で見たときに
相当する複数の左右の画像を入力し、これらの左右の画
像それぞれに対してオーバーラップを許して小領域に分
割した上で各領域毎の視差に基づいて複数の参照物体の
それぞれの奥行データを算出すると共に、入力された複
数の左右の画像のうち予め選択された一方の画像に基づ
いて複数の参照物体それぞれの形状データを生成する参
照データ作成手段と、参照データ作成手段により算出さ
れた複数の参照物体それぞれの奥行データ及び形状デー
タをそれぞれ参照データとして記憶する記憶装置と、入
力画像を入力する画像入力手段と、画像入力手段から入
力された入力画像と、記憶装置から読み出した複数の参
照物体の形状データとのパターンマッチング処理を行
い、得られた複数の候補パターンの中から類似度を算出
し、類似度の高いものから順に所定の数だけ又は所定の
しきい値を越える類似度を持つ候補パターンを選択し、
選択した候補パターンを記憶装置から読み出した奥行デ
ータを拘束条件として、入力画像と最も一致するように
変形された参照画像を生成する参照画像変形手段と、参
照画像変形手段により生成された参照画像を用いて、画
像入力手段から入力された入力画像に対して切り出し処
理を行う画像切り出し手段と、画像切り出し手段により
得られた切り出し処理結果と参照画像変形手段により生
成された参照画像との類似度を選択された候補パターン
のそれぞれについて算出し、最大類似度が得られたパタ
ーンが予め定められたしきい値を越えている場合にそれ
を判定結果として出力するパターン判定手段とを有する
ことを特徴とする。

【００２３】この発明では、正しい候補パターンが最大
の最終的類似度を持ち、背景があり、また、対象とする
画像が若干回転しているような場合でも、正しい判定処
理ができる。

【００２４】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００２５】（第１の実施の形態）図１は本発明の第１
の実施の形態のブロック図を示す。この３次元参照画像
切り出し装置は、画像入力手段１と、局所フーリエ変換
算出手段２と、パワースペクトルパターン算出手段３
と、局所視差算出手段４と、記憶装置５と、同一画像予
測手段６と、局所逆フーリエ変換算出手段７と、相乗平
均算出手段８と、画像出力手段９とから構成されてい
る。

【００２６】まず、参照画像データの作成方法につい
て、図２の画像を併せ参照して説明する。初めに、切り
出しの対象となる参照画像を左右眼で見た場合に相当す
る左眼画像と右眼画像が、画像入力手段１から局所フー
リエ変換算出手段２に入力される。局所フーリエ変換算
出手段２は、入力された参照画像の左眼画像と右眼画像
のそれぞれに対してオーバーラップを許して小領域に分
割した上で各領域毎のフーリエ変換を実行する。この局
所フーリエ変換は次式で表される。

【００２７】

【数３】 ここで、（１）式中、μは左眼画像と右眼画像を分ける
指標を示し、

【００２８】

【外２】 は入力された画像を示している。従って、

【００２９】

【外３】 ガウシアンウィンドウの中心座標である。

【００３０】次に、局所フーリエ変換算出手段２により
得られた、（１）式の局所フーリエ変換の結果と、視差
の関係について説明する。右眼画像と左眼画像の局所フ
ーリエ変換像間の大きさがほぼ等しいが、位相差δφが
あると仮定すると、右眼画像と左眼画像のそれぞれの局
所フーリエ変換結果には次式の関係が成立する。

【００３１】

【数４】 一方、右眼画像と左眼画像に視差Δがある場合、すなわ
ち、

【００３２】

【数５】 と表される場合には、右眼画像の局所フーリエ変換像は
左眼画像の局所フーリエ変換像を使って次式で表すこと
ができる。

【００３３】

【数６】 （２）式と（３）式から、右眼画像と左眼画像の局所フ
ーリエ変換像間の位相差δφと、右眼画像と左眼画像の
視差Δには、

【００３４】

【数７】 なる関係がある。

【００３５】局所フーリエ変換算出手段２により得られ
た、（１）式〜（３）式の局所フーリエ変換結果は、パ
ワースペクトルパターン算出手段３に供給される。パワ
ースペクトルパターン算出手段３は、左眼画像の局所フ
ーリエ変換結果と右眼画像の局所フーリエ変換結果に位
相項を付加したものとを加算した後、その加算結果の２
乗をパワースペクトルパターンとして算出する。すなわ
ち、上記の左眼画像の局所フーリエ変換結果と右眼画像
の局所フーリエ変換結果に位相項を付加したものの和
は、（２）式及び（３）式から（４）式で表され、パワ
ースペクトルパターンは（５）式で表される。

【００３６】

【数８】 （３）式を（５）式に代入すると、

【００３７】

【外４】 を満たす場合に最大となり、このパワースペクトルパタ
ーンからも視差Δを求めることが可能である。パワース
ペクトルパターン算出手段３は、得られた参照画像に対
するパワースペクトルパターン

【００３８】

【外５】 を記憶装置５に記憶すると共に、局所視差算出手段４に
供給する。

【００３９】局所視差算出手段４は、入力されたパワー
スペクトルパターンを使って、次式に基づいて左右画像
の局所部分における視差を算出する。

【００４０】

【数９】 局所視差算出手段４は、参照画像に対するこの（６）式
に基づいて算出した左右画像の局所部分毎の視差

【００４１】

【外６】 を記憶装置５に記憶する。このようにして、参照画像に
対するパワースペクトルパターンと、参照画像に対する
左右画像の局所部分毎の視差が記憶装置５に記憶され
る。

【００４２】次に、入力画像から参照画像と同一物体の
画像を切り出す方法について説明する。まず、参照画像
を含む入力画像を左右眼で見た場合に相当する左眼画像
と右眼画像が、画像入力手段１から局所フーリエ変換算
出手段２及び相乗平均算出手段８にそれぞれ入力され
る。局所フーリエ変換算出手段２は、入力された左眼画
像と右眼画像のそれぞれに対してオーバーラップを許し
て小領域に分割した上で各領域毎のフーリエ変換を
（１）式に基づいて実行し、得られた局所フーリエ変換
結果を同一画像予測手段６へ供給する。

【００４３】同一画像予測手段６は、記憶装置５に記憶
保持されている、参照画像に関するパワースペクトルパ
ターンと参照画像の左右画像の局所部分毎の視差を使っ
て、参照画像と入力画像内の切り出し対象となる画像間
の、視差やパワースペクトルパターンの違いを予測し、
前記入力画像内の切り出し対象となる画像に対する、局
所フーリエ変換像を算出する。

【００４４】この同一画像予測手段６が出力する、入力
画像内の切り出し対象となる画像に対する、局所フーリ
エ変換像

【００４５】

【外７】 は、次式に示すエネルギー関数Ｅ_Ｌ、Ｅ_Ｒを最小とする
ときに与えられる。

【００４６】

【数１０】 また、θは参照画像と入力画像内の切り出し対象となる
画像の奥行き方向の位置の違いを補正するためのフィッ
ティングパラメータを、λ_Ｌ、λ_Ｒは参照画像と入力画
像内の切り出し対象となる画像間の強度を補正するため
のフィッティングパラメータをそれぞれ示している。

【００４７】また、（７ａ）及び（７ｂ）両式における

【００４８】

【外８】 は、参照画像の局所領域毎における視差を

【００４９】

【外９】 とすると、次式の拘束条件を満たすフィッティングパラ
メータである。

【００５０】

【数１１】 前記同一画像予測手段６が出力する、前記入力画像内の
切り出し対象となる画像に対する、局所フーリエ変換像

【００５１】

【外１０】 は、局所逆フーリエ変換算出手段７へ供給される。この
局所逆フーリエ変換算出手段７は、入力された局所フー
リエ変換像に対し、（９）式で表される逆フーリエ変換
を行い、局所逆フーリエ変換の左眼画像及び右眼画像

【００５２】

【外１１】 を算出し、相乗平均算出手段８へ出力する。

【００５３】

【数１２】 ここで、（９）式のＮは規格化定数である。

【００５４】相乗平均算出手段８は、局所逆フーリエ変
換算出手段７から入力された局所逆フーリエ変換の左眼
画像及び右眼画像

【００５５】

【外１２】 と、画像入力手段１から入力された入力左眼画像及び右
眼画像

【００５６】

【外１３】 との相乗平均をとり、得られた結果

【００５７】

【外１４】 を画像出力手段９を介して出力する。

【００５８】この実施の形態によれば、同一画像予測手
段６によって算出された、参照画像と入力画像間の切り
出し対象となる画像間の見え方の違いを補正した場合に
得られるフィッティングパラメータ

【００５９】

【外１５】 例えば前者を「３Δ／４」、後者を「−Δ／４」とした
ときの２次元投影像を便宜的に再構成した画像は図２
（Ａ）に示され、また、前者を「Δ」、後者を「０」と
したときの画像は同図（Ｂ）に示され、更に、前者を
「２Δ」、後者を「Δ」としたときの画像は同図（Ｃ）
に示される。

【００６０】このように、上記のフィッティングパラメ
ータの値によって画像が奥行きの変化を伴って見えるか
ら、このフィッティングパラメータを使って、奥行きの
変化を伴う見え方の異なる画像を予測できることが分か
る。これにより、本発明の第１の実施の形態では、３次
元画像の２次元投影像を用いることなく、参照画像と奥
行きの変化を伴う見え方の異なる画像でも、対象となる
３次元画像として切り出すことができる。

【００６１】（第２の実施の形態）図４は本発明の第２
の実施の形態のブロック図を示す。この３次元画像切り
出し装置は、画像入力手段１１、参照画像変形手段１
２、参照データ作成手段１６、記憶装置１７、画像切り
出し手段１８及び画像出力手段１９からなる。また、参
照画像変形手段１２は、画像変換手段１３、変形量推定
手段１４及び逆変換手段１５からなる。

【００６２】更に、参照データ作成手段１６は、例えば
図５のブロック図に示す如く、画像入力手段２０、画像
変換手段２１、局所視差算出手段２２及び参照データ書
き込み手段２３から構成されている。ここで、画像入力
手段２０は図４に示した画像入力手段１１と兼用するこ
とが可能であり、また、画像変換手段２１は図４に示し
た画像変換手段１３と兼用することが可能である。

【００６３】次に、この実施の形態の動作について説明
する。まず、参照画像データの作成方法について説明す
る。はじめに、切り出しの対象となる参照物体を左右眼
で見た場合に相当する左眼画像と右眼画像とが、参照デ
ータ作成手段１６内の画像入力手段２０により順次画像
変換手段２１に入力される。画像変換手段２１は入力さ
れた左眼画像と右眼画像のそれぞれに対して、オーバー
ラップを許して小領域に分割した上で各領域毎のフーリ
エ変換を実行する。このフーリエ変換は第１の実施の形
態で説明したと同様の（１）式で表される局所フーリエ
変換である。

【００６４】画像変換手段２１は更にこのようにして局
所フーリエ変換して得られた

【００６５】

【外１６】 て記憶装置１７に記憶させる。また、局所視差算出手段
２２は画像変換手段２１からの局所フーリエ変換された
左眼画像と右眼画像とから局所領域毎の視差（すなわ
ち、局所視差）

【００６６】

【外１７】 を算出する。この局所視差は第１の実施の形態のよう
に、（４）式から（６）式を用いて算出することも可能
であるが、ここでは、次式に従って算出される。

【００６７】

【数１３】 ただし、（１０）式中、Ｆ^* _LはＦ_Lの共役複素数を表
す。この（１０）式について説明するに、

【００６８】

【外１８】 における左右の局所画像間の相互相関関数に等しくな
る。従って、（１０）式によって各領域の左右画像間の
相互相関関数を最大にする、すなわち左右どちらかの局
所画像をシフトさせていったとき、お互いの重なりが最
大になるシフトの大きさ（局所視差）

【００６９】

【外１９】 が算出される。（１０）式により局所視差を算出する方
式は、直接相互相関関数を求めて局所視差を算出する方
法に比べて計算量が低減でき、より高速の処理が可能と
なる。また、この実施の形態では、局所視差算出手段２
２は算出した局所視差に対する信頼度

【００７０】

【外２０】 も次式に基づいて併せて算出する。

【００７１】

【数１４】 なお、計算量との兼ね合いで、この信頼度の計算は省略
することも可能である。

【００７２】こうして局所視差算出手段２２において
（１０）式により算出された局所領域毎の視差のうち水
平方向成分（ｘ成分）と、（１１）式で算出されたその
信頼度とは、参照データ書き込み手段２３を通して記憶
装置１７に奥行データとして記憶される。

【００７３】次に、入力画像から参照データと同一物体
の画像を切り出す方法について説明する。この実施の形
態では、入力画像は、左眼画像と右眼画像に対応するス
テレオ画像ではなく、１枚の画像である。この１枚の画
像は、図４の画像入力手段１１から参照画像変形手段１
２に入力画像として入力される。参照画像変形手段１２
は、この入力画像と記憶装置１７から読み出した参照デ
ータ（形状データ及び奥行データ（視差データ））とを
突き合わせ、入力画像とできるだけ一致するように変形
させた参照画像を生成する。

【００７４】この参照画像変形手段１２による変形処理
について詳細に説明する。まず、図４の画像変換手段１
３は入力画像に対して、次式で表される局所フーリエ変
換を実行する。

【００７５】

【数１５】 変形量推定手段１４は、画像変換手段１３から取り出さ
れた、入力画像の局所フーリエ変換像データ

【００７６】

【外２１】 と、記憶装置１７から読み出した参照画像に関する参照
データとから両画像をできるだけ一致させるために必要
な変形量を算出する。ここでは、参照画像の変形は各局
所領域毎に局所画像を変位させることによって実現され
るので、変形量推定手段１４は、そのために必要な参照
画像の移動ベクトル

【００７７】

【外２２】

【００７８】

【数１６】 なお、（１４）式の信頼度の算出は計算量との兼ね合い
で省略することも可能である。（１３）式の処理によっ
て、各局所領域毎にどれだけ参照画像を移動させれば入
力画像と最も良く重なるかが算出されるが、この処理は
各局所領域（ｘ，ｙ）毎に行われるため、領域によって
は背景物体等の影響によって誤った推定値が得られる可
能性がある。

【００７９】また、この切り出し方法を物体判定装置の
一部として用いる場合には、入力画像中に映っている物
体が参照画像として記憶されている物体とは異なってい
る場合、それを誤って切り出さない方がむしろ望ましい
が、（１３）式による処理だけで変形量を推定し、以後
の切り出し処理を実行すると、異なってはいるが類似し
た物体を誤って切り出してしまう可能性がある。それは
（１３）式では全体に関係なく各局所領域毎に独立に入
力画像と最も一致するような参照画像の移動が許される
ため、すなわち参照画像に許される変形の自由度が大き
すぎるためである。

【００８０】一方、物体が奥行方向に回転して、異なっ
た角度から物体を見ることによって物体像に生じ得る変
化は特定の範囲に拘束されている。そこで、この実施の
形態では、記憶装置１７に記憶されている参照物体の奥
行データ（（１０）式により算出された局所領域毎の視
差のうち水平方向成分）

【００８１】

【外２３】 を用い、次の（１５）式で表されるような変形（各局所
領域毎の参照画像の移動）だけを許容される変形とし、
その範囲で参照画像を入力画像と最も一致させられるよ
うに変形量を推定する。

【００８２】

【数１７】 （１５）式中、ａはｙ軸を中心とした奥行方向の回転
角、ａ’はｘ軸を中心とした奥行方向の回転角が、それ
ぞれそれほど大きくない場合、それらに比例するパラメ
ータである。また、（１５）式では奥行方向の回転だけ
でなく、平行移動、拡大縮小変化、面内回転によって生
じ得る画像の変化も併せて許容している。また、（１
５）式中、ｂ，ｂ’はそれぞれｘ軸、ｙ軸方向の平行移
動量を表す。更に、ｃは（Ｘ₀，Ｙ₀）を中心とした拡大
率、ｄは（Ｘ₀，Ｙ₀）を中心とした面内回転の回転角
が、それぞれそれほど大きくない場合、それらに比例す
るパラメータである。ここでは、座標（Ｘ₀，Ｙ₀）は画
像の中心位置にとってある。

【００８３】これらの各パラメータの値は

【００８４】

【外２４】 と最初に推定された局所領域毎の移動ベクトルΔ₁との
誤差が最小になるように定める。この実施の形態では、
次式によって誤差Ｅを定義し、これが最小になるように
各パラメータの値を定め、各局所領域毎の移動ベクトル
（ＤＸ₂，ＤＹ₂）を推定する。

【００８５】

【数１８】 ここで、（１６）式の右辺第２項は信頼度を重みとする
通常の２乗誤差を表す。また、（１６）式の右辺第１項
は誤差ベクトルのうちΔ₁ に平行な成分の２乗を表し、
例えば局所領域に線分が映っている場合、局所的に見る
だけでは入力画像、参照画像それぞれにおける線分の位
置の違い、ずれが、線分に平行な方向に対しては精度良
く決定しにくいことを考慮して導入されている。また、
（１６）式中、λは両者の相対的な重みを定める定数で
ある。更に、（１６）式で与えられる誤差Ｅを最小化す
る処理は、誤差Ｅがパラメータａ，ａ’，ｂ，ｂ’，
ｃ，ｄに関して２次の関数になっているため、通常の最
小２乗法の手法で容易に実行できる。すなわち、誤差Ｅ
を各パラメータで偏微分し、それを０とおいて得られる
連立１次方程式を解くことによって、繰り返し演算の必
要なく高速に解くことが可能である。

【００８６】次に、逆変換手段１５は上記の変形量推定
手段１４により得られた移動ベクトル

【００８７】

【外２５】 とを用いて次式に示す局所逆フーリエ変換によって変形
された参照画像を生成する。

【００８８】

【数１９】 なお、（１７）式に従い算出される変形された参照画像
を、より精度良く算出するために（１３）式〜（１７）
式までの処理を必要に応じて２〜３回繰り返しても良
い。この場合には、まず（１７）式で得られた参照画像
を画像変換手段１３に供給し、ここでその局所フーリエ
変換像データ

【００８９】

【外２６】 とみなし、（１３）式〜（１７）式までの処理を繰り返
す。

【００９０】図４の画像切り出し手段１８は変形された
参照画像データ

【００９１】

【外２７】 との相乗平均をとることにより、入力画像中から参照物
体像を切り出し、画像出力手段１９を介して結果を出力
する。

【００９２】（第３の実施の形態）図６は本発明の物体
判定装置の実施の形態を示すブロック図である。この物
体判定装置は、画像入力手段３１、参照画像変形手段３
２、参照データ作成手段３７、記憶装置３８、画像切り
出し手段３９及びパターン判定手段４０からなる。ま
た、参照画像変形手段３２は、画像変換手段３３、変形
量推定手段３４、候補パターン選定手段３５及び逆変換
手段３６から構成されている。

【００９３】次に、本実施の形態の動作について説明す
る。参照データ作成手段３７は第２の実施の形態の参照
データ作成手段１６と同一の動作を行うが、相違点はこ
の実施の形態では判定の対象となる複数の参照物体に対
してそれぞれ参照画像データを作成し、それらを記憶装
置３８に記憶させておくこと、及びこの実施の形態で
は、入力された左右眼画像に対し次式に示すようにＤｏ
Ｇ関数による畳み込み積分を最初に施し、その結果

【００９４】

【外２８】 を画像変換手段２３に送り、それを入力画像と見なして
処理を行う点である。

【００９５】

【数２０】 ここで、上式中、Ｇσ１及びＧσ２はガウス関数であ
る。また、標準偏差σ１及びσ２はσ１＜σ２を満たす
ように定める。ここでは、σ１＝０．５画素、σ２＝２
画素としている。

【００９６】次に、入力画像からそこに映っている物体
を判定する方法について説明する。まず入力画像が図６
の画像入力手段３１により入力される。この実施の形態
では、画像入力手段３１は更に入力画像

【００９７】

【外２９】 に対して（１８）式と同様のＤｏＧ関数による畳み込み
積分を施し、入力画像中の明暗度の変化の激しい部分を
強調する処理を行う。以下、このような処理を受けた画
像に対してすべての処理がなされるので、以下、この画
像を新たに入力画像と呼ぶことにする。

【００９８】画像入力手段３１から入力された入力画像
は、参照画像変形手段３２に入力される。参照画像変形
手段３２では、まず入力画像に対して画像変換手段３３
が（１２）式による局所フーリエ変換を実行し、得られ
た局所フーリエ変換画像データ

【００９９】

【外３０】 を変形量推定手段３４及び候補パターン選定手段３５に
それぞれ入力する。

【０１００】候補パターン選定手段３５は上記の局所フ
ーリエ変換画像データを記憶装置３８から読み出された
参照画像の局所フーリエ変換データ

【０１０１】

【外３１】 との間でパターンマッチング処理が行われ、候補パター
ンが複数選択される。ここでは、次式に従って各参照画
像の局所フーリエ変換データと入力局所フーリエ変換画
像データとの間の類似度Ｓ_i’を算出する。

【０１０２】

【数２１】 良く知られているように、フーリエ変換画像の振幅は元
の局所画像の位置ずれに対して不変であるから、（１
９）式の処理によって局所的な位置ずれを許容するパタ
ーンマッチング処理が実現される。（１９）式で算出さ
れた類似度Ｓ_i’が高いものから順に所定の数だけ、あ
るいは所定のしきい値を越える類似度を持つパターンを
候補パターンとして選択する。このようにして選択され
た候補パターンに対する参照画像データ（形状データ及
び奥行データ）が記憶装置３８から読み出され、第２の
実施の形態と全く同様に、変形量推定手段３４が、この
参照画像データと画像変換手段３３から送られる入力画
像の居所フーリエ変換データとを用いて、参照画像と入
力画像とをできるだけ一致させるために必要な変形量を
算出し、更に逆変換手段３６が（１７）式により変形さ
れた参照画像を生成する。このようにして、参照画像変
形手段３２により生成された、変形参照画像は画像切り
出し手段３９及びパターン判定手段４０にそれぞれ入力
される。

【０１０３】パターン判定手段４０は上記の変形参照画
像と、前記画像切り出し手段１８と同様の処理を行う画
像切り出し手段３９により切り出された参照画像との間
の類似度を算出する。ここで、画像切り出し手段３９に
より切り出された画像からは背景が除去されているの
で、また、参照画像変形手段３２からの参照画像は（１
５）式の拘束条件の下で、入力画像とできるだけ一致す
るように変形されているので、この類似度の算出にあた
っては、通常は考慮する必要がある背景の問題や変形の
問題を気にする必要はない。この実施の形態では、パタ
ーン判定手段４０は切り出された画像をｆ₀として、次
式に従い最終的な類似度Ｓ_iを算出する。

【０１０４】

【数２２】 変形量推定手段３４、逆変換手段３６、画像切り出し手
段３９及びパターン判定手段４０は、選択された候補パ
ターンすべてについて順次上記と同様の処理を行い、そ
れぞれについて類似度が計算される。パターン判定手段
４０はこうして得られた類似度から最大類似度が得られ
たパターンを選択し、その最大類似度が予め定められた
しきい値を越えている場合には、それを判定結果として
出力する。

【０１０５】図７はこの第３の実施の形態の動作例を示
す。図７（Ａ）に示す入力画像に対して同図（Ｂ）に
ａ、ｂ及びｃで示す３つの候補パターンが選択されたも
のとする。候補パターンａが最終的類似度が最も高く、
候補パターンｂ及びｃはそれぞれ最終的類似度が低い。
これらのうち、候補パターンａ及びｂの形状データとし
ては、同図（Ｃ）及び（Ｅ）に示された参照画像にそれ
ぞれＤｏＧ関数によるフィルタリング処理を施して得ら
れた画像の局所フーリエ変換像データが記憶装置に３８
に記憶されている。

【０１０６】図７（Ｄ）は同図（Ｃ）の候補パターンａ
を参照画像として切り出し処理を行った結果を示し、図
７（Ｆ）は同図（Ｅ）の候補パターンｂを参照画像とし
て切り出し処理を行った結果を示している。図７（Ｄ）
から分かるように、候補パターンａの参照画像と比較し
て入力画像中の顔は回転しているのにもかかわらず、良
好に切り出し処理が行われている。それに対して、図７
（Ａ）の入力画像と異なる図７（Ｅ）の候補パターンｂ
を参照画像としたときは、切り出しは同図（Ｆ）の切り
出し結果に示すように正常には行われないことが分か
る。

【０１０７】このように、この実施の形態によれば、図
７（Ｂ）の最終的な類似度データに示すように、正しい
候補パターンが最大の最終的類似度を持ち、背景があ
り、また顔が少し回転している場合でも正しい判定処理
ができていることが分かる。

【０１０８】回転角が相当大きく、参照画像では見えて
いた部分が隠れたり、逆に参照画像では見えていなかっ
た部分が見えてきたりする場合には、当然ながら、本発
明による物体判定装置では精度が劣化する。このような
場合を避けるためには、複数のアングルから撮影した参
照物体像からそれぞれ参照データを作成し記憶させてお
く。

【０１０９】このように、本発明によれば、参照物体の
奥行データを用い、それを拘束条件として参照画像を変
形し切り出し処理を行うため、無制限な変形によって類
似しているが異なった物体を誤って同一と判定すること
なく、背景物体がある場合や対象物体像が奥行き方向の
回転、平行移動、拡大縮小変化、面内回転などによって
変化している場合でも正しく物体判定を行うことができ
る。

【０１１０】なお、本発明は以上の実施の形態に限定さ
れるものではなく、例えば参照データ作成手段１６、３
７により生成する形状データは、入力された左右画像の
うち選択した一方の画像を局所フーリエ変換して算出し
た画像を形状データとしているが、入力された左右画像
のうち選択した一方の画像を形状データとしてもよく、
また、この選択画像に対してフーリエ変換以外の何らか
の変換を施して算出した画像のデータを形状データとす
ることもできる。

【０１１１】

【発明の効果】以上説明したように、本発明によれば、
左右画像の視差が異なるために生じる、参照画像と入力
画像内の切り出し対象となる画像それぞれのパワースペ
クトルパターンが異なる場合であっても、ある拘束条件
下での予測により実質的に同一画像と判断し、対象とな
る３次元画像のみを切り出すことができる。

【０１１２】また、本発明によれば、３次元画像の２次
元投影像を用いず、直接３次元画像情報を扱えるため、
大規模な画像でも効率良く参照画像と類似な３次元画像
を入力画像から切り出すことができる。

【０１１３】また、本発明によれば、参照物体の奥行デ
ータを拘束条件として参照画像を変形し、切り出し処理
を行うため、無制限な変形によって類似しているが異な
った物体の入力画像を誤って同一と判定することを防止
することができる。

【０１１４】更に、本発明によれば、背景物体がある場
合や対象物体像が奥行方向の回転、平行移動、拡大縮小
変化、面内回転などによって変化している場合でも、正
しく物体判定を行うことができるため、従来に比べてよ
り物体判定の信頼度を向上することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図で
ある。

【図２】フィッティングパラメータを使って２次元投影
像を便宜的に再生構成した画像例を示す図である。

【図３】参照画像と入力画像内の切り出し対象となる画
像のパワースペクトルパターンが異なる場合の例を説明
するための図である。

【図４】本発明の第２の実施の形態を示すブロック図で
ある。

【図５】図４の参照データ作成手段の一例のブロック図
である。

【図６】本発明の第３の実施の形態を示すブロック図で
ある。

【図７】図６に示した実施の形態の動作例を説明するた
めの図である。

【符号の説明】

１、１１、２０、３１ 画像入力手段 ２ 局所フーリエ変換算出手段 ３ パワースペクトルパターン算出手段 ４、２２ 局所視差算出手段 ５ 同一画像予測手段 ７ 局所逆フーリエ変換算出手段 ８ 相乗平均算出手段 ９ 画像出力手段 １２、３２ 参照画像変形手段 １３、２１、３３ 画像変換手段 １４、３４ 変形量推定手段 １５、３６ 逆変換手段 １６、３７ 参照データ作成手段 １７、３８ 記憶装置 １８、３９ 画像切り出し手段 １９ 画像出力手段 ２３ 参照データ書き込み手段 ３５ 候補パターン選定手段 ４０ パターン判定手段

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 切り出しの対象となる参照画像を左右眼
   で見たときに相当する左右の画像それぞれに対して、オ
   ーバーラップを許して小領域に分割した上で各領域毎の
   フーリエ変換を実施して局所フーリエ変換像データを算
   出した後、左右画像それぞれの局所フーリエ変換像デー
   タの位相差を含む和からパワースペクトルパターンを算
   出して記憶すると共に、前記パワースペクトルパターン
   から左右画像の局所部分毎の視差を算出して記憶してお
   き、 前記参照画像を含む入力画像を左右眼で見たときに相当
   する左右の入力画像それぞれに対して、オーバーラップ
   を許して小領域に分割した上で各領域毎のフーリエ変換
   を実施して算出した局所フーリエ変換像データと、前記
   記憶しておいた前記参照画像に関する前記パワースペク
   トルパターン及び前記参照画像の左右画像の局所部分毎
   の視差とから、前記参照画像の左右画像の局所部分毎の
   視差を拘束条件とすることによって、前記参照画像と前
   記入力画像の切り出し対象となる画像間の、視差やパワ
   ースペクトルパターンの違いを予測し、この予測結果に
   基づいて前記参照画像と類似なパワースペクトルパター
   ンの画像のみを前記入力画像から切り出すことを特徴と
   する３次元参照画像切り出し方法。
2. 【請求項２】 切り出しの対象となる参照画像を左右眼
   で見たときに相当する左右の画像、及び該参照画像を含
   む入力画像を左右眼で見たときに相当する左右の入力画
   像のうち、一方の左右画像を入力する画像入力手段と、 前記画像入力手段より入力された左右画像のそれぞれに
   対して、オーバーラップを許して小領域に分割した上で
   各領域毎のフーリエ変換を実施して局所フーリエ変換像
   データを算出する局所フーリエ変換算出手段と、 前記局所フーリエ変換算出手段より入力された前記参照
   画像に関する左右画像の局所フーリエ変換像データの位
   相差を含む和からパワースペクトルパターンを算出する
   パワースペクトル算出手段と、 前記算出されたパワースペクトルパターンから前記参照
   画像に関する左右画像の局所部分毎の視差を算出する局
   所視差算出手段と、 前記パワースペクトル算出手段と前記局所視差算出手段
   の両出力を記憶する記憶装置と、 前記画像入力手段により前記参照画像を含む入力画像を
   入力したときに、前記局所フーリエ変換算出手段より得
   られる局所フーリエ変換像データと、前記記憶装置から
   得た、前記参照画像に関する前記パワースペクトルパタ
   ーン及び前記参照画像の左右画像の局所部分毎の視差と
   から、前記参照画像の左右画像の局所部分毎の視差を拘
   束条件とすることによって、前記参照画像と前記入力画
   像の切り出し対象となる画像間の、視差やパワースペク
   トルパターンの違いを予測して局所フーリエ変換像を算
   出する同一画像予測手段と、 前記同一画像予測手段からの前記入力画像内の切り出し
   対象となる画像に対する局所フーリエ変換像を受け、こ
   れを逆フーリエ変換する局所逆フーリエ変換算出手段
   と、 前記局所逆フーリエ変換算出手段からの左右画像のデー
   タと、前記画像入力手段からの前記参照画像を含む入力
   画像のデータとから画像間の相乗平均をとって出力する
   平均算出及び出力手段とを有することを特徴とする３次
   元参照画像切り出し装置。
3. 【請求項３】 前記同一画像予測手段は、次式 【数１】 参照画像と入力画像内の切り出し対象となる画像の奥行
   き方向の位置の違いを補正するためのフィッティングパ
   ラメータ、λ_Ｌ、λ_Ｒは参照画像と入力画像内の切り出
   し対象となる画像間の強度を補正するためのフィッティ
   ングパラメータ）を満足するエネルギー関数Ｅ_L及びＥ_R
   を最小とする局所フーリエ変換像 【外１】 を、次式の拘束条件 【数２】 の下で算出して出力することを特徴とする請求項２記載
   の３次元参照画像切り出し装置。
4. 【請求項４】 切り出しの対象となる参照物体を左右眼
   で見たときに相当する左右の画像を入力し、これらの左
   右の画像それぞれに対してオーバーラップを許して小領
   域に分割した上で各領域毎の視差に基づいて前記参照物
   体の奥行データを算出すると共に、前記入力された左右
   の画像のうち予め選択された一方の画像に関する形状デ
   ータを生成する参照データ作成手段と、 前記参照データ作成手段により算出された前記奥行デー
   タ及び形状データをそれぞれ参照データとして記憶する
   記憶装置と、 処理の対象となる入力画像を入力する画像入力手段と、 前記画像入力手段から入力された前記入力画像と、前記
   記憶装置から読み出した前記形状データを用いて該記憶
   装置から読み出した前記奥行データを拘束条件として、
   前記入力画像と最も一致するように変形された参照画像
   を生成する参照画像変形手段と、 前記参照画像変形手段により生成された前記参照画像を
   用いて、前記画像入力手段から入力された入力画像に対
   して切り出し処理を行う画像切り出し手段と、 前記画像切り出し手段により得られた切り出し処理結果
   を出力する画像出力手段とを有することを特徴とする３
   次元参照画像切り出し装置。
5. 【請求項５】 前記参照データ作成手段は、前記入力さ
   れた左右の画像のうち予め選択された一方の画像、若し
   くは該選択画像に何らかの変換を施した画像のデータを
   前記形状データとして生成することを特徴とする請求項
   ４記載の３次元参照画像切り出し装置。
6. 【請求項６】 前記参照画像変形手段は、 前記画像入力手段から入力された前記入力画像に対して
   オーバーラップを許して小領域に分割した上で各領域毎
   のフーリエ変換を実施して局所フーリエ変換像を算出す
   る画像変換手段と、 前記画像変換手段からの前記局所フーリエ変換像と前記
   記憶装置から読み出した前記形状データとを用いて、各
   領域毎にどれだけ参照画像を移動させれば入力画像と最
   も良く一致するかを調べ、最も良く一致する結果を生む
   移動ベクトルを暫定的移動ベクトルとして各領域毎に算
   出し、この暫定的移動ベクトルを最も良く近似する移動
   ベクトルを、前記記憶装置から読み出した前記奥行デー
   タを拘束条件として、切り出し対象となる物体が回転若
   しくは移動した場合に生じ得る各領域毎の移動ベクトル
   の中から決定する変形量推定手段と、 決定された各領域毎の前記移動ベクトルと前記記憶装置
   から読み出された前記形状データを用いて、局所逆フー
   リエ変換によって変形された前記参照画像を生成する逆
   変換手段とからなることを特徴とする請求項４記載の３
   次元参照画像切り出し装置。
7. 【請求項７】 前記参照データ作成手段は、 切り出しの対象となる参照物体を左右眼で見たときに相
   当する左右の画像を入力する参照データ作成用画像入力
   手段と、 前記画像入力手段から入力された左右の画像それぞれに
   対してオーバーラップを許して小領域に分割した上で各
   領域毎のフーリエ変換を実施して局所フーリエ変換像デ
   ータを算出する参照データ作成用画像変換手段と、 前記参照データ作成用画像変換手段からの前記左右の画
   像それぞれの局所フーリエ変換像を用いて各領域の左右
   画像間の相互相関関数を最大にするシフトの大きさを各
   領域毎の視差として算出する局所視差算出手段と、 前記参照データ作成用画像変換手段により算出された左
   右の画像の局所フーリエ変換像データのうち予め選択さ
   れた一方の画像の局所フーリエ変換像データを前記形状
   データとして前記記憶装置に記憶すると共に、前記局所
   視差算出手段により算出された前記視差を前記奥行デー
   タとして前記記憶装置に記憶する参照データ書き込み手
   段とからなることを特徴とする請求項４乃至６のうちい
   ずれか一項記載の３次元参照画像切り出し装置。
8. 【請求項８】 判定の対象となる複数の参照物体それぞ
   れを左右眼で見たときに相当する複数の左右の画像を入
   力し、これらの左右の画像それぞれに対してオーバーラ
   ップを許して小領域に分割した上で各領域毎の視差に基
   づいて前記複数の参照物体のそれぞれの奥行データを算
   出すると共に、前記入力された複数の左右の画像のうち
   予め選択された一方の画像に基づいて複数の参照物体そ
   れぞれの形状データを生成する参照データ作成手段と、 前記参照データ作成手段により算出された前記複数の参
   照物体それぞれの奥行データ及び形状データをそれぞれ
   参照データとして記憶する記憶装置と、 入力画像を入力する画像入力手段と、 前記画像入力手段から入力された前記入力画像と、前記
   記憶装置から読み出した前記複数の参照物体の形状デー
   タとのパターンマッチング処理を行い、得られた複数の
   候補パターンの中から類似度を算出し、類似度の高いも
   のから順に所定の数だけ又は所定のしきい値を越える類
   似度を持つ候補パターンを選択し、該選択した候補パタ
   ーンを前記記憶装置から読み出した前記奥行データを拘
   束条件として、前記入力画像と最も一致するように変形
   された参照画像を生成する参照画像変形手段と、 前記参照画像変形手段により生成された前記参照画像を
   用いて、前記画像入力手段から入力された入力画像に対
   して切り出し処理を行う画像切り出し手段と、 前記画像切り出し手段により得られた切り出し処理結果
   と前記参照画像変形手段により生成された前記参照画像
   との類似度を前記選択された候補パターンのそれぞれに
   ついて算出し、最大類似度が得られたパターンが予め定
   められたしきい値を越えている場合にそれを判定結果と
   して出力するパターン判定手段とを有することを特徴と
   する物体判定装置。
9. 【請求項９】 前記参照データ作成手段及び画像入力手
   段は、入力された画像に対しＤｏＧ関数による畳み込み
   積分を施した画像を入力画像として処理することを特徴
   とする請求項８記載の物体判定装置。
10. 【請求項１０】 前記参照データ作成手段は、前記入力
    された左右の画像のうち予め選択された一方の画像、若
    しくは該選択画像に何らかの変換を施した画像のデータ
    を前記形状データとして生成することを特徴とする請求
    項８記載の物体判定装置。