JPH10134021A - 相互結合型ニューラルネットワークとそれを用いた対応点決定装置 - Google Patents

Abstract

(57)【要約】 【課題】 ノイズを含み、拡大、縮小、シフト等がある
データ間の誤対応のほとんどない正確な対応点決定装
置。 【解決手段】 データ列入力部１１と、平滑化微分演算
部１２と、その出力値の符号が変化するゼロ交差位置を
検出し、最小スケールのフィルターに対するゼロ交差位
置を特徴点として決定するゼロ交差位置検出部１４と、
そこで検出された最小スケール以外のスケールのフィル
ターに関するゼロ交差位置間の情報を所定の関数で補間
するゼロ交差情報補間部１５と、そこで得られた補間値
に基づいて特徴ベクトルを生成する特徴ベクトル算出部
１６と、データ列間の特徴点における特徴ベクトルの類
似度を算出する類似度算出部１７と、相互結合型ニュー
ラルネットワークからなり、類似度を用いてデータ列間
の特徴点の対応関係を決定する対応点決定部１８とを有
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、相互結合型ニュー
ラルネットワークと、それを用いた複数の画像、音声、
波形等のデータ間の対応関係を決定する対応点決定装置
に関する。

【０００２】

【従来の技術】少なくとも２つのデータ間の対応関係を
決定するためには、優れた特徴抽出法と優れた対応関係
決定法を組み合わせることが必要となる。ノイズに強い
優れた特徴抽出法として様々なスケールのガウシアン・
ラプラシアンフィルターを利用する手法が考えられてい
る。その中、ピラミッドビジョンに代表されるようない
わゆるCoarse to fine approach （疎密法）に基づく手
法と、ゼロ交差情報に基づいたスケール空間法がよく知
られている。前者は、画像サイズが４分割されていく中
で、粗いスケールでの相関演算情報を１段細かいスケー
ルでの相関演算に加味して、効率良く画像間の相関演算
を行っており、その説明は米国特許第５，１７９，４４
１号に詳しい。後者は、スケールを連続的に変化させて
ゼロ交差曲線が消滅するときのスケール値を、最も細か
いスケールでのゼロ交差の特徴表現とするものであり、
その説明は人工知能大事典（丸善，1991）670-676 ペー
ジに詳しい。

【０００３】一方、データ間の順序関係を保ちつつ対応
関係を決定していくための優れた方法として平井−福島
モデルがある。以下、これを図面を用いて簡単に説明す
る。例えば図８（ａ）のように左画像第ｋ行目の輝度値
のグラフの極値点がＬ１からＬ６、また、図８（ｂ）の
ように右画像第ｋ行目の輝度値のグラフの極値点がＲ１
からＲ８で与えられたとする。このとき、図８（ｃ）の
ように、２次元的にニューロン素子を配置する。後述す
るように、素子間に結合関係を構築した後、左右の極値
点の類似度を各ニューロン素子に毎回流入させつつ、素
子の状態更新を繰り返していく。最終的に発火した（１
を出力した）素子の同行、同列に割り当ててある極値点
同士が対応点として決定される。

【０００４】ここで、素子間の結合関係について、図８
（ｃ）を用いて説明する。結合関係を定める拘束条件と
して、「１つの画像中の１点は、他方の画像中の高々１
点とのみ整合する」という一意性の拘束条件、及び、
「左右画像間の対応の順序を変えない」という抑制性の
拘束条件を用いる。例えば、黒丸の素子に着目した場
合、黒丸の素子と同行、同列に配置される素子は、一意
性の拘束条件から定まる抑制性結合を黒丸の素子と持
つ。また、黒丸の素子に対して、左下又は右上に位置す
る素子は、順序保存の拘束条件から定まる抑制性結合を
黒丸の素子と持つ。上記の説明では、黒丸の素子を任意
に１つ選んだが、全ての素子に対してそれぞれこの黒丸
の素子に対する結合関係と同様の関係が築かれている。
このように、平井−福島モデルは、順序保存の拘束条件
をニューラルネットワークの結合に上手に表現してお
り、その説明は、電子情報通信学会技術報告，NC91(199
1)97-102ページに詳しい。

【０００５】

【発明が解決しようとする課題】ピラミッドビジョンの
ような画像間の相関をとる領域ベースの手法では、相関
をとる画像内に部分的な拡大、縮小、シフト等がある
と、相関値が低下し、類似性判断が難しくなってしま
う。この観点からは、特徴点間の類似性を調べる特徴点
ベースの手法の方が好ましく、その中で、スケール空間
法は、ゼロ交差を特徴点とする比較的よく知られた手法
である。しかし、スケール空間法には、ゼロ交差曲線の
分岐の仕方が真の対応関係のあるデータ間で異なってし
まう場合に、対応点決定のためにはふさわしくない特徴
表現をしてしまうという問題があった。この様子を図９
を用いて説明する。真の対応関係は、Ｌ１とＲ１、Ｌ２
とＲ２、Ｌ３とＲ３がそれぞれ対応するのだが、ゼロ交
差の間隔の多少の違いによってゼロ交差曲線の分岐の仕
方が左右で異なってしまっている。このため、Ｌ１、Ｒ
３の特徴量は２σ、Ｌ２、Ｌ３、Ｒ１、Ｒ２の特徴量は
σであり、例えばＬ１とＲ３とを誤って対応付けてしま
うことにつながってしまう。

【０００６】一方、相互結合型ニューラルネットワーク
中の順序保存の拘束条件を表現している素子間結合は、
図８（ｃ）からも分かるように、黒丸の素子に対し矩形
で囲まれた素子全てと結合を持つので、結合数が非常に
多い。このため、一意性の拘束条件等の順序保存以外の
拘束条件を表現している素子間結合との重み付けのバラ
ンスの取り方が難しく、その結果、順序保存の拘束条件
が従来法では適正に作用し難かった。

【０００７】さらに、比較するデータの同じ側の端部
（左端同士、若しくは、右端同士）を対応付ける素子の
順序保存拘束を表す抑制性結合の数はゼロであり、その
素子の近く程順序保存拘束を表す抑制性結合の数が少な
くなるため、その付近の素子の方が速く発火しやすく、
データの端部から対応関係が決まりやすくなってしま
う。一般に、データの端部の情報は、比較するデータの
一方にしか存在しないことも多く、また、高速フーリエ
変換を前処理に用いると、高速フーリエ変換の性質上、
端部のデータは誤差を伴って変換されるので、データの
端部から対応関係が決まっていくと誤対応を招きやす
い。

【０００８】また、従来、順序保存の拘束条件を表す抑
制性結合からの入力の総和を素子に流入させていたが、
この方法では、順序保存の拘束条件を表す抑制性結合を
有している素子の出力値が小さくても、結合数が多けれ
ば、結合を有している素子は強い抑制を受けてしまう。
例えば、ある注目素子と順序保存の拘束条件を表す抑制
性結合を有している素子１００個が０．０１を出力する
ことと、その中の素子１個だけが１を出力することとの
間では、後者の方が順序拘束が強くなるべきだが、入力
の総和は等しくなってしまい、正しい順序拘束関係が実
現されない。

【０００９】本発明は従来技術のこれらの問題点に鑑み
てなされたものであり、その目的は、大小ノイズを含
み、部分的な拡大、縮小、シフト等があるデータ間の対
応関係を決定するための類似性判断にふさわしい特徴表
現の手段、並びに、順序保存の拘束条件が適正に作用す
る相互結合型ニューラルネットワークを提供すること、
及び、それらを用いて誤対応のほとんどないより正確な
対応点決定装置を提供することである。

【００１０】

【課題を解決するための手段】上記目的を達成する本発
明の対応点決定装置は、少なくとも２つのデータ列間の
対応関係を決定する対応点決定装置において、データ列
を入力するデータ列入力部と、前記入力データ列と空間
微分の階数及びスケールが異なる複数の平滑化微分フィ
ルターとの平滑化微分演算を行う平滑化微分演算部と、
前記フィルターに対する前記平滑化微分演算部の出力値
の符号が変化するゼロ交差位置を検出し、かつ、最小ス
ケールのフィルターに対するゼロ交差位置を特徴点とし
て決定するゼロ交差位置検出部と、前記ゼロ交差位置検
出部で検出された最小スケール以外のスケールのフィル
ターに関するゼロ交差位置に対して、前記フィルター毎
のゼロ交差位置の間の情報を所定の関数で補間するゼロ
交差情報補間部と、前記ゼロ交差情報補間部で得られた
補間値に基づいて、前記特徴点における異なるスケール
のフィルターに対する補間値を算出し、これらを成分と
する特徴ベクトルを生成する特徴ベクトル算出部と、デ
ータ列間の前記特徴点における前記特徴ベクトルの類似
度を算出する類似度算出部と、相互結合型ニューラルネ
ットワークで構成され、前記類似度を用いてデータ列間
の前記特徴点の対応関係を決定する対応点決定部とを有
することを特徴とするものである。

【００１１】この対応点決定装置においては、最小スケ
ールでのゼロ交差を特徴点とし、最小スケール以外のス
ケールでは、各スケールでのゼロ交差間を補間し、特徴
点位置でのこの補間値を特徴量として用いることによっ
て、最も信頼性のおける極値点の位置情報のみから特徴
量を抽出している。このため、大小ノイズにも頑強な特
徴表現が可能となり、データ内に部分的な拡大、縮小、
シフト等があっても、あるいは、ゼロ交差曲線の分岐の
仕方が類似データ間で異なってしまう場合にも、対応点
決定にふさわしい特徴表現を行うことができる。

【００１２】上記の対応点決定装置において、ゼロ交差
情報補間部は、最小スケール以外のスケールのフィルタ
ーに関するゼロ交差位置の間の出力値及びその変化の割
合を、ゼロ交差位置での微分値が略ゼロになる規格化さ
れた関数で補間することが望ましい。

【００１３】このように、ゼロ交差位置での微分値が略
ゼロになる（ゼロ交差位置近傍で緩やかに変化する）関
数を用いることによって、ゼロ交差の位置ずれの影響を
軽減できる。出力値及びその変化の割合の２つの情報を
組み合わせることによって、特徴点間の相違をより明確
にすることができる。

【００１４】また、本発明の第１の相互結合型ニューラ
ルネットワークは、順序保存の拘束条件から定まる素子
間結合を有する相互結合型ニューラルネットワークにお
いて、新たに発火したニューロン素子の位置に基づいて
ネットワークを構成する前記素子群を２分割するネット
ワーク分割部と、ネットワークに属するニューロン素子
の内部保持値と前記内部保持値の減衰率及び伝達関数の
傾きを初期化し、かつ、ネットワークの分割時に前記分
割されたネットワークに属するニューロン素子に対して
前記ネットワーク外の素子との結合加重をゼロに初期化
する初期化部と、前記伝達関数の傾き及び前記内部保持
値の減衰率を制御するアニーリング制御部と、前記制御
部の結果を用いて前記ニューロン素子の状態更新を繰り
返す素子状態更新部と、新たに発火する素子を検出する
発火素子検出部からなる決定論的アニーリング実行部と
を有し、前記分割されたネットワークに対して発火する
素子を求めるための処理を繰り返すことを特徴とするも
のである。

【００１５】この相互結合型ニューラルネットワークに
おいては、ネットワークを分割し、順序保存の拘束条件
を満足しない素子との素子間結合をなくしていくことに
よって、不必要なノイズに相当するような入力をカット
することができる。これにより、正しい対応関係を得や
すくなる。

【００１６】本発明の第２の相互結合型ニューラルネッ
トワークは、順序保存の拘束条件から定まる素子間結合
を有する相互結合型ニューラルネットワークにおいて、
入力する２つのデータ列間の端部近傍に関して、その対
応関係を決定するためのニューロン素子が有する前記伝
達関数の傾きの最大値の逆数と前記内部保持値の減衰率
との積を大きな値に保ったまま前記ニューロン素子の状
態更新を繰り返し、一方で、入力する２つのデータ列間
の端部近傍を除いた部分の対応関係を決定するニューロ
ン素子においては、その伝達関数の傾きの最大値の逆数
と内部保持値との積の値を状態更新に応じて徐々に下げ
ていくことを特徴とするものである。

【００１７】この相互結合型ニューラルネットワークに
おいては、全ニューロン素子の状態更新を行いつつ、周
辺部の素子の伝達関数の傾きを小さくしたまま、中心部
の素子の伝達関数の傾きを急峻にしていくことによっ
て、周辺部の素子の発火を遅らすことができる。したが
って、ネットワークの中心部から対応関係が決まってい
き、正しい対応関係を得やすくなる。

【００１８】本発明の第３の相互結合型ニューラルネッ
トワークは、順序保存の拘束条件から定まる素子間結合
を有する相互結合型ニューラルネットワークにおいて、
前記ニューラルネットワークに属する各ニューロン素子
に関して順序保存拘束条件を表現する結合を介して流入
してくる入力値の中から最大値を検出する最大値検出手
段を有し、ニューロン素子の保持する内部保持値に、順
序保存の拘束条件から定まる素子間結合からの入力値と
してこの最大値のみを加算することを特徴とするもので
ある。

【００１９】この相互結合型ニューラルネットワークに
おいては、ニューロン素子に順序保存の拘束条件を表現
する素子間結合から流入してくる値の中から最大値を検
出し、この値を素子の内部保持値に加算することによっ
て、最も拘束力の強い素子の影響をストレートに取り入
れることができる。これにより、正しい対応関係を得や
すくなる。

【００２０】本発明の前記の対応点決定装置において、
対応点決定部が上記の何れかの相互結合型ニューラルネ
ットワークで構成されているものを含むものである。こ
うすることにより、なお一層の効果があるものである。

【００２１】また、本発明は、少なくとも２つのデータ
列間の対応関係を決定する対応点決定装置において、前
記データ列の特徴点とその特徴量を算出するに際して、
３階微分のゼロ交差位置情報を利用して特徴点とその特
徴量を算出することを特徴とする対応点決定装置を含む
ものである。

【００２２】この対応点決定装置に関して、種々のスケ
ールのラプラシアンガウシアンフィルターを施した結果
から、元のデータを再構成できることはよく知られてい
る。つまり、ラプラシアンガウシアンフィルターを施し
て得られる曲面には、極めて重要な情報が含まれてい
る。その曲面の極大、極小点は、その中で最も有用な情
報である。これは、元のデータの３階微分のゼロ交差位
置である。これを特徴点として用いることで、優れた特
徴抽出を行うことができる。

【００２３】

【発明の実施の形態】以下、本発明の対応点決定装置及
びそれに用いる相互結合型ニューラルネットワークの実
施形態につてい説明する。図１、図２に本発明の対応点
決定装置の第１の実施の形態を示す。この第１の実施形
態では、異なる視点から撮影された２枚の画像（視差画
像）間の点の対応関係を決定し、被写体の奥行き情報を
抽出する例を説明する。まず、図１を用いて説明する。

【００２４】まず、２枚の視差画像を例えばＣＣＤカメ
ラのような画像入力装置からなるデータ入力部１１から
取り込む。次に、平滑化微分演算部１２において、各画
像中の高さの等しい行上の１次元画素強度データと種々
のスケールの１次元ガウス関数の１階微分及び３階微分
との合成積をとる。１次元ガウス関数は、スケール変数
をσ、空間変数をｘとすると、次式で記述される。

【００２５】 Ｇ（ｘ，σ） ＝１／｛√（２π）σ｝×ｅｘｐ｛−ｘ² ／（２σ² ）｝・・・（１） 上述の合成積の計算は、各々のフーリエ変換の積を逆フ
ーリエ変換して求められる。すなわち、種々のスケール
（例えば、σ＝０．０１５から０．００５刻みでσ＝
０．１２まで２１種類）の１次元ガウス関数の１階微分
及び３階微分をフーリエ変換したものから構成される平
滑化微分フィルターバンク１３を用意しておき、この平
滑化微分フィルターバンク１３の各値に、入力画像の各
行を１次元フーリエ変換したものを掛け合わせることに
よって積の演算を行い、最後に、そのフーリエ逆変換を
行う。この一連の手続きによって、合成積の計算と等価
なものが得られる。

【００２６】次に、ゼロ交差位置検出部１４において、
得られた合成積の各フィルター毎の１次元グラフのゼロ
交差位置を検出する。このとき、合成積の値が負から正
に変化する正のゼロ交差と、その値が正から負へ変化す
る負のゼロ交差を区別して検出する。ここで、スケール
が最小のガウス関数の３階微分との合成積から得られる
ゼロ交差を特徴点として選出する。異なる視点から得ら
れた２枚の画像中の特徴点を左右で対応付けていく際、
最小スケールにおける正のゼロ交差と負のゼロ交差を対
応候補に選ぶことはありえない（これは、例えば１階微
分の場合には、元のグラフの極大点と極小点を対応付け
ないということを意味している）。したがって、以下で
は、最小スケールにおける２つの画像に関する正と正、
負と負のゼロ交差同士のみの対応関係を最小スケール以
外のゼロ交差から得られる情報に基づいて明らかにして
いく。

【００２７】次に、ゼロ交差間情報補間部１５におい
て、最小スケール以外の各スケールにおいて算出された
ゼロ交差に対して、各スケール毎に、その隣り合うゼロ
交差間の出力値と変化の割合を、ゼロ交差位置付近にお
いては、ゼロ交差のノイズによる位置ずれの影響を少な
くするために、その変化が緩やかになるよう規格化され
た関数で補間する。例えば、変化の割合については、正
のゼロ交差での値を１、負のゼロ交差での値を−１とし
て表現し、出力値についてはそれぞれ０として、図１の
ゼロ交差間情報補間部１５内の上段及び下段に示すよう
な２つの補間関数を用いる。これらの関数は、隣り合う
正のゼロ交差と負のゼロ交差の座標位置をそれぞれzero
P 、zeroN で表すとき、以下のような式で与えられる。

【００２８】（Ａ）zeroP ＜zeroN の場合、 ｙ＝（ｘ−zeroP ）π／（zeroN −zeroP ） （zeroP ≦ｘ≦zeroN ） ・・・（２） とおいて、 ｇ_PN（ｙ）＝ｃｏｓ（ｙ） （０≦ｙ≦π） ・・・（３） ｈ_PN（ｙ）＝１−ｃｏｓ（ｙ） （０≦ｙ≦０．５π） １＋ｃｏｓ（ｙ） （０．５π≦ｙ≦π） ・・・（４） （Ｂ）zeroN ＜zeroP の場合、 ｚ＝（ｘ−zeroN ）π／（zeroP −zeroN ） （zeroN ≦ｘ≦zeroP ） ・・・（５） とおいて、 ｇ_NP（ｚ）＝−ｃｏｓ（ｚ） （０≦ｚ≦π） ・・・（６） ｈ_NP（ｚ）＝−１＋ｃｏｓ（ｚ）（０≦ｚ≦０．５π） −１−ｃｏｓ（ｚ）（０．５π≦ｚ≦π） ・・・（７） すなわち、図１のゼロ交差間情報補間部１５内の左上段
の関数が（３）式、左下段の関数が（４）式、右上段の
関数が（６）式、右下段の関数が（７）式である。な
お、ここでは、ゼロ交差位置付近においては、ゼロ交差
のノイズによる位置ずれの影響を少なくするために、そ
の変化が緩やかになるような関数（ゼロ交差位置での微
分値が略ゼロになる関数）を選んだが、この効果を期待
せずに、関数ｇ，ｈとしてそれぞれｃｏｓ，ｓｉｎの関
数を選ぶこともできる。

【００２９】次に、特徴ベクトル算出部１６において、
特徴点位置での各スケールにおける補間値を算出し、こ
れを成分とする特徴ベクトルを構成する。

【００３０】続いて、類似度算出部１７において、各特
徴点に対し算出された特徴ベクトルの左右画像間での類
似性を調べる。この類似性判断の計算は、例えば以下の
ように行う。

【００３１】２つの特徴点に対し、まず、各特徴ベクト
ルの同じ成分同士の（すなわち、各スケールにおける）
類似度を算出する。本例では、出力値と変化の割合に関
する２種類の補間関数から算出される値を成分とする２
次元ベクトルの例えば内積値を各スケールにおける類似
度として算出する。なお、内積の代わりに、ユークリッ
ド距離ｄやマンハッタン距離ｍを用いて、（１−ｄ）や
（１−ｍ）の値（負の値は０にしてもよい。）を算出し
てもよい。次に、各スケールにおける類似度を重み付き
で加算する。この例では、スケールパラメータσを等間
隔に刻んでサンプリングしたので、小さなスケール程大
きな重みを付け、各スケールでの類似度を重み付きで加
算する。あるいは、重み付けをする代わりに、スケール
が大きくなる程サンプリング間隔を広くしてもよい。こ
うして得られた値は、０から１の間に規格化されている
方が好ましい。このようにして、左画像の１ライン上の
特徴点と右画像の１ライン上の特徴点の全ての組み合わ
せに対し、類似度を算出する。

【００３２】さて、ここからは、図２を用いて説明す
る。対応点決定部１８において、上記の算出された類似
度を相互結合型ニューラルネットワークの各素子にバイ
アスとして与える。このとき、ニューラルネットワーク
の初期化部１９において、順序保存及び一意性（連続性
を加えてもよい。）の拘束条件から定まるニューロン素
子間結合の重みがあらかじめ設定されている。

【００３３】そして、初期化部１９において設定された
素子間結合の重みｗ_ij、初期化された内部保持値ｕ_i 、
内部保持値の減衰率λ、伝達関数の傾きの最大値の逆数
ｓは、決定論的アニーリング実行部２０に送られ、ま
ず、その素子状態更新部２２において、各ニューロン素
子の出力ｘ_j は、素子間結合の重みｗ_ijが掛け合わさ
れ、ｗ_ijｘ_j が他のニューロン素子への入力となる。つ
まり、素子状態更新部２２中の入力部２３において、各
ニューロン素子には、他のニューロン素子の出力ｘ_j に
素子間結合の重みｗ_ijが掛け合わされたものｗ_ijｘ_j 、
及び、バイアスθ_iが毎回流入する。この入力値を基
に、素子状態更新部２２中の加算部２４において、各ニ
ューロン素子は、内部保持値ｕ_i を次式に従って更新す
る。

【００３４】 すなわち、前回の内部保持値ｕ_i （ｔ）が減衰率λで減
衰した値（１−λ）ｕ_i （ｔ）に前記の入力値を加え、
新たな内部保持値ｕ_i （ｔ＋１）とする。そして、素子
状態更新部２２中の伝達関数出力部２５において、この
内部保持値ｕ_i（ｔ＋１）に次に（９）式のいわゆるシ
グモイド型の伝達関数ｆ（傾きの最大値の逆数をｓで表
す。）を施した値をニューロン素子の出力ｘ_i （ｔ＋
１）とする。

【００３５】 ｘ_i （ｔ＋１）＝ｆ｛ｕ_i （ｔ＋１）｝ ・・・（１０） パラメータλとｓの積を温度Ｔと呼ぶ。アニーリング制
御部２１で、この温度Ｔの値を初期値Ｔ₀ 、刻み幅ｈと
して、Ｔ＝Ｔ₀ −ｈｔ（ｔ：状態更新回数、例えばＴ₀
＝５，ｈ＝０．０１にとる。）のスケジューリングに従
って徐々に下げていきながら、上記の順序に従ってこの
ようなニューロン素子の状態更新を素子の出力に変化が
見られない定常状態に落ち着くまで繰り返して行く。な
お、このとき、ｓだけあるいはλだけ、若しくは、その
両方共に変化させるかの何れの方法を取ってもよい。定
常状態に落ち着いたときに、１を出力（発火）している
ニューロン素子によって、データ間の対応関係が決定さ
れる。

【００３６】こうして、対応点決定部１８において左右
画像間での特徴点の対応関係が決定されたら、距離算出
部２６において、例えばカメラ間の距離（移動量）と焦
点距離を既知のものとして、三角測量の原理によって被
写体の奥行き量が算出され、続いて、３次元像表示部２
７によって被写体の３次元的な形状が表示される。

【００３７】なお、以上のプロセスは、コンピュータ上
で実行してもよいし、あるいは、その一部を光学的ある
いは専用のＤＳＰあるいは電気回路で置き換えても実現
される。例えば、平滑化微分演算部１２おいては、種々
のスケールの１次元ガウス関数の１階微分及び３階微分
をフーリエ変換したものを透過型空間光変調素子に保持
し、画像をレンズで変換し、焦点位置で透過型空間光変
調素子を透過するように配置する。このとき、２次元で
なく１次元の変換を実現するには、シリンドリカルレン
ズ等を利用すればよい。また、対応点決定部１８におい
ては、よく知られたＨｏｐｆｉｅｌｄによるアナログ抵
抗回路網にアニーリング制御部をつけ加えたものとして
実現できる。

【００３８】このように、最小スケールでのゼロ交差を
特徴点とし、最小スケール以外のスケールでは、各スケ
ールでのゼロ交差間を補間し、特徴点位置でのこの補間
値を特徴量として用いることによって、データ内に部分
的な拡大、縮小、シフト等があっても、あるいは、ゼロ
交差曲線の分岐の仕方が類似データ間で異なってしまう
場合にも、対応点決定にふさわしい特徴表現を行うこと
ができたため、誤対応のほとんどない正確な対応点決定
を行うことができるようになった。

【００３９】なお、この実施形態において、よく用いら
れる２階微分のゼロ交差を用いずに、１階微分と３階微
分のゼロ交差を用いた理由について以下に説明すると、
１階微分、２階微分、３階微分のゼロ交差は、それぞれ
元のグラフの極大（極小）点、変曲点、曲率の極大（極
小）点に当たる。一般に、グラフの変曲点は、極大（極
小）点や曲率の極大（極小）点よりもノイズに弱い。し
たがって、例えば左右のカメラから２つのデータ画像を
取り込み、その２階微分のゼロ交差を調べた場合に、一
方のデータにおいては出現するが、それに本来対応すべ
き点が他方のデータ中には２階微分のゼロ交差として出
現しないことがよく発生する。これを例証するデータ
（ａ）、及び、その１階微分（ｂ）、２階微分（ｃ）、
３階微分（ｄ）のグラフを図３に示す。図３（ｂ）〜
（ｄ）において×印がゼロ交差を表す。この例からも、
２階微分のゼロ交差は対応させ難いが、１階微分と３階
微分のゼロ交差は対応させやすいことが分かる。

【００４０】また、図３（ｂ）と（ｄ）の比較からも明
らかなように、１階微分のゼロ交差よりも３階微分のゼ
ロ交差の方が密に得られる。したがって、３階微分のゼ
ロ交差を用いる方が、データ列間の対応関係をより詳細
に決定することができる。つまり、単独で使うならば、
３階微分のゼロ交差の方が好ましい。

【００４１】また、１階微分のゼロ交差位置は必ず３階
微分のゼロ交差位置に一致して得られ、２階微分のゼロ
交差位置は一般にこれらと離れた場所に出現する。ゼロ
交差近傍の情報の方がゼロ交差から離れた情報よりも信
頼できるので、１階微分と３階微分のゼロ交差を用いる
方が、２階微分と３階微分（若しくは、１階微分）のゼ
ロ交差を組み合わせて用いるよりも（もちろん、３階微
分のゼロ交差だけを用いるよりも）良い対応を得ること
ができる。

【００４２】次に、本発明の対応点決定装置の第２の実
施の形態を図４及び図５を用いて説明する。この第２の
実施形態においては、対応点決定部１８’での対応関係
決定方法以外は、第１の実施形態と同様である。まず、
対応点決定部１８’の初期化部１９’において、素子間
結合の重みｗ_ijの設定、内部保持値ｕ_i の初期化、内部
保持値の減衰率λの初期化、伝達関数の傾きの最大値の
逆数ｓの初期化を行う。次に、決定論的アニーリング実
行部２０のアニーリング制御部２１で予め定められたス
ケジューリングに従って、伝達関数の傾きの最大値の逆
数ｓと内部保持値の減衰率λとの積Ｔ（温度）の値をわ
ずかに下げ、続いて、素子状態更新部２２においてニュ
ーロン素子の状態更新を行う。このプロセスは、発火素
子検出部２８において新たに発火する（１を出力する）
素子を検出するまで、あるいは、温度Ｔが０になるまで
繰り返される。発火素子検出部２８において新たに発火
する素子を検出したら、ネットワーク分割部２９におい
て、図５に示すように、発火した素子が対応付けた２つ
のデータ中の各特徴点よりも、共に左側に位置する特徴
点同士の対応関係を表現するのに設定された素子群Ｎ１
と、共に右側に位置する特徴点同士の対応関係を表現す
るのに設定された素子群Ｎ２とにネットワークを２分割
する。各々の分割されたネットワークＮ１，Ｎ２に対し
て、再び初期化部１９’において、ネットワークに属す
る素子の内部保持値、内部保持値の減衰率及び伝達関数
の傾きを初期化する。さらに、この初期化部１９’にお
いて、分割されたネットワーク内部と外部の素子間結合
の重みを０にする（分割されたネットワーク内部に素子
間結合を限定する。）。なお、分割されたネットワーク
内部での素子間結合は、一番最初に設定されたままにし
ておく。分割されたネットワークに対して、決定論的ア
ニーリング実行部２０のアニーリング制御部２１で予め
定められたスケジューリングに従って、伝達関数の傾き
の最大値の逆数ｓと内部保持値の減衰率λとの積（温
度）の値Ｔをわずかに下げ、続いて、素子状態更新部２
２においてニューロン素子の状態更新を行う。このプロ
セスが、発火素子検出部２８において新たに発火する素
子を検出するまで、あるいは、温度Ｔが０になるまで繰
り返されるが、全ての特徴点の対応関係が決定するか、
温度Ｔが０になった時点で発火する素子がなければ終了
する。このように、ネットワークを分割し、順序保存の
拘束条件を満足しない素子との素子間結合をなくしてい
くことによって、不必要なノイズに相当するような入力
をカットすることができたため、正しい対応関係を得や
すくなった。

【００４３】次に、本発明の対応点決定装置の第３の実
施の形態を図６を用いて説明する。この第３の実施形態
においては、対応点決定部１８を構成するニューロン素
子の伝達関数の制御方法以外は、第１の実施形態と同様
である。この第３の実施形態でのニューロン素子の伝達
関数の傾き（若しくは、内部保持値の減衰率）の制御は
次のようになされる。データ入力部１１から取り込まれ
たデータの端部付近に位置する特徴点（例えば、それぞ
れの端から２つまでのゼロ交差。これは入力データの性
質によっても異なる。）の対応関係を決定するために用
意された周辺部のニューロン素子（図６の黒丸）の伝達
関数の傾きを小さな値に保ったまま、素子の状態更新を
繰り返す一方、それ以外の中心部のニューロン素子（図
６の白丸）の伝達関数の傾きを順次急峻にしつつ、ニュ
ーロン素子の状態更新を繰り返す。ニューロン素子の状
態更新則等は、第１の実施形態と同様である。このよう
に、周辺部のニューロン素子の伝達関数の傾きを小さな
値に保ったまま、状態更新を繰り返すことによって、周
辺部のニューロン素子の発火を遅らせることができ、ネ
ットワークの中心部から対応関係が決まっていくので、
正しい対応関係を得やすくなった。なお、この実施形態
の説明中にある伝達関数の傾きを徐々に急峻にしていく
操作の代わりに、内部保持値の減衰率を徐々に下げてい
く制御を行っても同様の効果が得られる。

【００４４】次に、本発明の第４の実施の形態を図７を
用いて説明する。この第４の実施形態は、対応点決定部
１８を構成する相互結合型ニューラルネットワークの状
態更新方法以外は、第１の実施形態と同様に実施され
る。この第４の実施形態での相互結合型ニューラルネッ
トワークの素子状態更新部２２’は以下のように構成さ
れる。入力部２３’において、他の素子の出力ｘ_j に素
子間結合の重みｗ’_ijが掛け合わされた値ｗ’_ijｘ
_j が、素子間結合を介して素子に流入する。このとき、
最大値検出部３０で順序保存の拘束条件を表現している
素子間結合を介して流入してくる入力値の中から最大値
を検出し、加算部２４’において、前回の内部保持値が
減衰率λで減衰した値にこの最大値を加算する。その他
の入力値、すなわち、一意性の拘束条件を表現している
素子間結合を介して流入してくる入力値やバイアスθ_i
については、その入力値をそのまま加算する。すなわ
ち、 ここで、重みｖ_ijの値は、順序保存の拘束条件を表現し
ている素子間結合以外の結合についてはゼロであり、ま
た、重みｗ’_ijの値は、一意性の拘束条件を表現してい
る素子間結合以外の結合ついてはゼロである。

【００４５】こうして得られた内部保持値ｕ_i （ｔ＋
１）に、伝達関数出力部２５において、前述の伝達関数
ｆを施して、素子は新たな値ｘ_i （ｔ＋１）を出力す
る。温度を徐々に下げつつ、上述の操作を繰り返してい
くことは、第１の実施形態と同様に実施される。このよ
うに、ニューロン素子に順序保存の拘束条件を表現する
素子間結合から流入してくる値の中から最大値を検出
し、この値を素子の内部保持値に加算することによっ
て、最も拘束力の強い素子の影響をストレートに取り入
れることができたため、正しい対応関係を得やすくなっ
た。

【００４６】なお、第２、第３、第４の実施形態をそれ
ぞれ組み合わせて用いれば、一層の効果が出ることはい
うまでもない。

【００４７】以上の本発明の相互結合型ニューラルネッ
トワークとそれを用いた対応点決定装置は、例えば次の
ように構成することができる。 〔１〕 少なくとも２つのデータ列間の対応関係を決定
する対応点決定装置において、データ列を入力するデー
タ列入力部と、前記入力データ列と空間微分の階数及び
スケールが異なる複数の平滑化微分フィルターとの平滑
化微分演算を行う平滑化微分演算部と、前記フィルター
に対する前記平滑化微分演算部の出力値の符号が変化す
るゼロ交差位置を検出し、かつ、最小スケールのフィル
ターに対するゼロ交差位置を特徴点として決定するゼロ
交差位置検出部と、前記ゼロ交差位置検出部で検出され
た最小スケール以外のスケールのフィルターに関するゼ
ロ交差位置に対して、前記フィルター毎のゼロ交差位置
の間の情報を所定の関数で補間するゼロ交差情報補間部
と、前記ゼロ交差情報補間部で得られた補間値に基づい
て、前記特徴点における異なるスケールのフィルターに
対する補間値を算出し、これらを成分とする特徴ベクト
ルを生成する特徴ベクトル算出部と、データ列間の前記
特徴点における前記特徴ベクトルの類似度を算出する類
似度算出部と、相互結合型ニューラルネットワークで構
成され、前記類似度を用いてデータ列間の前記特徴点の
対応関係を決定する対応点決定部とを有することを特徴
とする対応点決定装置。

【００４８】〔２〕 前記ゼロ交差情報補間部は、最小
スケール以外のスケールのフィルターに関するゼロ交差
位置の間の前記出力値及びその変化の割合を、ゼロ交差
位置での微分値が略ゼロになる規格化された関数で補間
することを特徴とする上記〔１〕記載の対応点決定装
置。

【００４９】〔３〕 順序保存の拘束条件から定まる素
子間結合を有する相互結合型ニューラルネットワークに
おいて、新たに発火したニューロン素子の位置に基づい
てネットワークを構成する前記素子群を２分割するネッ
トワーク分割部と、ネットワークに属するニューロン素
子の内部保持値と前記内部保持値の減衰率及び伝達関数
の傾きを初期化し、かつ、ネットワークの分割時に前記
分割されたネットワークに属するニューロン素子に対し
て前記ネットワーク外の素子との結合加重をゼロに初期
化する初期化部と、前記伝達関数の傾き及び前記内部保
持値の減衰率を制御するアニーリング制御部と、前記制
御部の結果を用いて前記ニューロン素子の状態更新を繰
り返す素子状態更新部と、新たに発火する素子を検出す
る発火素子検出部からなる決定論的アニーリング実行部
とを有し、前記分割されたネットワークに対して発火す
る素子を求めるための処理を繰り返すことを特徴とする
相互結合型ニューラルネットワーク。

【００５０】〔４〕 順序保存の拘束条件から定まる素
子間結合を有する相互結合型ニューラルネットワークに
おいて、入力する２つのデータ列間の端部近傍に関し
て、その対応関係を決定するためののニューロン素子が
有する前記伝達関数の傾きの最大値の逆数と前記内部保
持値の減衰率との積を大きな値に保ったまま前記ニュー
ロン素子の状態更新を繰り返し、一方で、入力する２つ
のデータ列間の端部近傍を除いた部分の対応関係を決定
するニューロン素子においては、その伝達関数の傾きの
最大値の逆数と内部保持値との積の値を状態更新に応じ
て徐々に下げていくことを特徴とする相互結合型ニュー
ラルネットワーク。

【００５１】〔５〕 順序保存の拘束条件から定まる素
子間結合を有する相互結合型ニューラルネットワークに
おいて、前記ニューラルネットワークに属する各ニュー
ロン素子に関して順序保存拘束条件を表現する結合を介
して流入してくる入力値の中から最大値を検出する最大
値検出手段を有し、ニューロン素子の保持する内部保持
値に、順序保存の拘束条件から定まる素子間結合からの
入力値としてこの最大値のみを加算することを特徴とす
る相互結合型ニューラルネットワーク。

【００５２】〔６〕 前記対応点決定部が上記〔３〕か
ら〔５〕の何れか１項記載の相互結合型ニューラルネッ
トワークで構成されていることを特徴とする上記〔１〕
又は〔２〕に記載の対応点決定装置。

【００５３】〔７〕 少なくとも２つのデータ列間の対
応関係を決定する対応点決定装置において、前記データ
列の特徴点とその特徴量を算出するに際して、３階微分
のゼロ交差位置情報を利用して特徴点とその特徴量を算
出することを特徴とする対応点決定装置。

【００５４】

【発明の効果】以上の説明から明らかなように、本発明
は、最も信頼性のおける極値点の位置情報のみから特徴
量を抽出しているので、大小ノイズにも頑強な特徴表現
が可能となり、データ間の部分的な拡大、縮小、シフト
等の影響の小さい類似性判断が可能となった。さらに、
相互結合型ニューラルネットワークの改良によって、順
序保存の拘束条件がより適正に作用するようになった。
これらの結果、誤対応のほとんどないより正確な対応点
決定を行うことが可能になった。

【図面の簡単な説明】

【図１】本発明の対応点決定装置の第１の実施形態の構
成の一部を示す図である。

【図２】本発明の対応点決定装置の第１の実施形態の構
成の残りを示す図である。

【図３】第１の実施形態において２階微分のゼロ交差を
用いずに１階微分と３階微分のゼロ交差を用いる理由を
説明するための図である。

【図４】第２の実施形態における対応点決定部の構成を
示す図である。

【図５】第２の実施形態におけるネットワークの分割の
仕方を説明するための図である。

【図６】第３の実施形態におけるニューロン素子の伝達
関数の傾きの制御の仕方を説明するための図である。

【図７】第４の実施形態における素子状態更新部の構成
を示す図である。

【図８】従来の平井−福島モデルを説明するための図で
ある。

【図９】従来のスケール空間法の問題点を説明するため
の図である。

【符号の説明】

１１…データ入力部 １２…平滑化微分演算部 １３…平滑化微分フィルターバンク １４…ゼロ交差位置検出部 １５…ゼロ交差間情報補間部 １６…特徴ベクトル算出部 １７…類似度算出部 １８、１８’…対応点決定部 １９、１９’…初期化部 ２０…決定論的アニーリング実行部 ２１…アニーリング制御部 ２２、２２’…素子状態更新部 ２３、２３’…入力部 ２４、２４’…加算部 ２５…伝達関数出力部 ２６…距離算出部 ２７…３次元像表示部 ２８…発火素子検出部 ２９…ネットワーク分割部 ３０…最大値検出部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 少なくとも２つのデータ列間の対応関係
   を決定する対応点決定装置において、 データ列を入力するデータ列入力部と、 前記入力データ列と空間微分の階数及びスケールが異な
   る複数の平滑化微分フィルターとの平滑化微分演算を行
   う平滑化微分演算部と、 前記フィルターに対する前記平滑化微分演算部の出力値
   の符号が変化するゼロ交差位置を検出し、かつ、最小ス
   ケールのフィルターに対するゼロ交差位置を特徴点とし
   て決定するゼロ交差位置検出部と、 前記ゼロ交差位置検出部で検出された最小スケール以外
   のスケールのフィルターに関するゼロ交差位置に対し
   て、前記フィルター毎のゼロ交差位置の間の情報を所定
   の関数で補間するゼロ交差情報補間部と、 前記ゼロ交差情報補間部で得られた補間値に基づいて、
   前記特徴点における異なるスケールのフィルターに対す
   る補間値を算出し、これらを成分とする特徴ベクトルを
   生成する特徴ベクトル算出部と、 データ列間の前記特徴点における前記特徴ベクトルの類
   似度を算出する類似度算出部と、 相互結合型ニューラルネットワークで構成され、前記類
   似度を用いてデータ列間の前記特徴点の対応関係を決定
   する対応点決定部とを有することを特徴とする対応点決
   定装置。
2. 【請求項２】 前記対応点決定部の相互結合型ニューラ
   ルネットワークが順序保存の拘束条件から定まる素子間
   結合を有する相互結合型ニューラルネットワークであっ
   て、 新たに発火したニューロン素子の位置に基づいてネット
   ワークを構成する前記素子群を２分割するネットワーク
   分割部と、 ネットワークに属するニューロン素子の内部保持値と前
   記内部保持値の減衰率及び伝達関数の傾きを初期化し、
   かつ、ネットワークの分割時に前記分割されたネットワ
   ークに属するニューロン素子に対して前記ネットワーク
   外の素子との結合加重をゼロに初期化する初期化部と、 前記伝達関数の傾き及び前記内部保持値の減衰率を制御
   するアニーリング制御部と、前記制御部の結果を用いて
   前記ニューロン素子の状態更新を繰り返す素子状態更新
   部と、新たに発火する素子を検出する発火素子検出部か
   らなる決定論的アニーリング実行部とを有し、 前記分割されたネットワークに対して発火する素子を求
   めるための処理を繰り返す相互結合型ニューラルネット
   ワークからなることを特徴とする請求項１記載の対応点
   決定装置。
3. 【請求項３】 順序保存の拘束条件から定まる素子間結
   合を有する相互結合型ニューラルネットワークにおい
   て、 新たに発火したニューロン素子の位置に基づいてネット
   ワークを構成する前記素子群を２分割するネットワーク
   分割部と、 ネットワークに属するニューロン素子の内部保持値と前
   記内部保持値の減衰率及び伝達関数の傾きを初期化し、
   かつ、ネットワークの分割時に前記分割されたネットワ
   ークに属するニューロン素子に対して前記ネットワーク
   外の素子との結合加重をゼロに初期化する初期化部と、 前記伝達関数の傾き及び前記内部保持値の減衰率を制御
   するアニーリング制御部と、前記制御部の結果を用いて
   前記ニューロン素子の状態更新を繰り返す素子状態更新
   部と、新たに発火する素子を検出する発火素子検出部か
   らなる決定論的アニーリング実行部とを有し、 前記分割されたネットワークに対して発火する素子を求
   めるための処理を繰り返すことを特徴とする相互結合型
   ニューラルネットワーク。