JPH02127783A - 特徴点対応づけ処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、計算機によるバタン認識、動画像解析、ス
テレオビジョンなどの分野において一般にパタンの変位
・変形を扱う際に、入力および参照バタンを２次元ある
いは３次元空間内の特徴点の位置ベクトルの集合で表現
しておき、参照バタン内の各特徴点に局所的線形変換を
反復的に施し。

入力バタンのいずれかの特徴点に最適に対応づけが行わ
れるように参照パタンを逐次変形していく手段を与え、
安定かつ高精度にパタンの変位・変形を抽出する汎用的
な特徴点対応づけを行う特徴点対応づけ装置に関するも
のである。

〔従来の技術〕

パタンの変位・変形を特徴点集合間の対応づけにより決
定する場合、対応づけを評価する適当な目的関数を設定
してその最小化問題として扱うのが通常である。

しかし、真の最小値を見いだすには全ての対応。

づけのしかたを試す必要があるが、その総数は特徴点数
の階乗のオーダーで増大する。これは実際上、処理量が
発散することを意味する。

このため従来より、真の最小値が得られる保証を犠牲に
しながらも、実際に試す対応づけのしかたの数を大幅に
低減する手法が提案されてきた。

それらには大別して。

（１）　　無作為に初期対応づけを与えてから目的関数
の値を減少させる対応づけの変更を探索しながら逐次修
正する手法。

（２）一定の拘束条件が成立する変位・変形のみを対象
とすることにより試すべき対応づけのしかたの範囲を制
限する手法。

があった。

（１）の手法の代表例としては、　Ｓ、Ｋｉｒｋｐａｔ
ｒｉｃｋ等の０ｐｔｉｓ＋１ｚａｔｉｏｎｂｙ　ｓｉｍ
ｍｕｌａｔｅｄ　ａｎｎｅａｌｉｎｇ（Ｓｃｉｅｎｃｅ
、　Ｖｏｌ、２２０．　ＮＯ，４５９８，１９８３）が
ある。

そこでは、与えられた初期対応づけからの微小修正を自
動生成し、そのうち目的関数の値を減少するものだけで
なく増大するものについても確率的に採用することによ
って揺らぎを実現し、できるだけ真の最小値に収束する
ように工夫している。

しかし、微小修正の自動生成法は個々の対象に応じて発
見法的に考案せねばならず汎用性に乏しい、また、得ら
れた対応づけが初期条件に依存する恐れがあるため、初
期対応づけのしかたを一定数以上試してみる必要があり
処理量が増大した。

（２）の手法の代表例としては、　Ｂ、に、Ｐ、Ｈｏｒ
ｎ等のＤｅｔｅｒｍｉｎｉｎｇ　０ｐｔｉｃａｌ　Ｆｌ
ｏｗ　（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃ
ｅ、　Ｖｏｌ、１７＋　１９８１）がある。

そこでは、まず剛体の運動のみを扱うことにより変形成
分を零としている。また、変位は微小であると仮定して
いる。さらには変位の局所的連続性を用いて特徴点の対
応づけを試みる範囲を大きく制限した。

これにより、比較的単純な手順により微小変位の抽出を
実現した。しかし、ここでの拘束条件はかなり強いもの
である。このため、一般に変形を含む有限の変位へ拡張
することは不可能であった。

〔発明が解決しようとする問題点〕

以上述べたように、パタンの変位・変形を２つの特徴点
集合間での対応づけにより決定する手法として、無作為
に選出した初期対応づけから出発して逐次微小修正を行
う手法や一定の拘束条件の成立する変位・変形のみを対
象とすることにより対応づけの範囲を制限する手法が考
えられてきた。

しかし、それぞれに欠点が残り、実用的な処理量で広い
範囲の変位・変形を扱える手法が提案されるに至ってい
ない。

この発明は、入力バタンに含まれる変位・変形が参照パ
タンに最適な局所的線形変換を反復的に施すことにより
表現できるとの仮定に立ち、実用的な処理量で特徴点の
対応マけを実現することを狙う。

すなわち、第一の特徴は対応づけの拘束条件として局所
的線形変換を用いることにある０通常の線形変換に局所
性を持たせることにより広範囲の変位・変形が扱えるよ
うになっている。

第二の特徴は反復適用により対応づけを大きい部分から
小さい部分へと階層的に決定していくことにある。これ
は線形変換の局所性を反映するための重み係数を反復回
数と共に変化させることにより実現する。

このように局所的線形変換という緩い拘束条件かつ粗か
ら密への階層的な対応づけを用いる極めて汎用的な手法
であり、上述した従来技術の間旺点を解決している。

バタンＳ＝　（Ｓｋｌ　　　との間で、ＲおよびＳ内で
の近傍領域の大きさを指定するため特徴点間の→　　　
　→ 距離１１Ｒｉ−ＲｊｌｌおよびＩＩ　Ｒｊ　−Ｓ　ｋ　
１１に基づ＜　Ｇａｕｓｓ関数型重み係数を算出し、参
照パタンＲ→ の各Ｒｉおよびその一定近傍のＲｊを局所的線形変換成
分ＡｉＲｊ＋βｉにより入力バタンＳに重ねた際の前記
重み係数を用いた相違度を最小にするようにＡｉ、βｌ
を決定し１次いで参照バタン→ Ｒの各Ｒｉ毎に前記局所的線形変換成分Ａ１Ｒ１十βｉ
を施して変形参照バタンＲ′を生成し、変形参照バタン
Ｒ′の各特徴点について最近接の入力バタンＳ内の特徴
点を対応づけて対応特徴点間距離和りを算出してその値
が閾値Ｔｈより小さい場合には特徴点対応づけ結果を出
力する。

一方、Ｄが閾値Ｔｈより大きい場合には変形参照バタン
Ｒ′を参照パタンＲと見做して再び局所的線形変換を施
し、値りが閾値Ｔｈより小さくなるまでこの操作を反復
する。その際、　Ｇａｕｓｓ関数型重み係数を反復回数
と共に漸減することにより対応づけに有効となる近傍領
域の大きさを徐々に小さくする。

この発明は、このようにバタンの広範囲な変位・変形に
対して高精度な特徴点対応づけを実用的な処理量で実現
するための特徴点対応づけ装置を提供することを目的と
する。

〔問題点を解決するための手段〕 この発明にかかる特徴点対応づけ装置は。

参照パタンＲの特徴点の位置ベクトルの集合納装置と。

納装置と。

Ｒ内およびＲとＳとの間での特徴点間の距離→　　　　
→　　　　　　　　→　　　　→１ＩＲｉ−Ｒｊ　ＩＩ
、　　１ｌＲｊ−３ｋｌｌのＧａｕｓｓ関数型めて局所
的線形変換成分ＡｉＲｊ＋βｉにより入力バタンＳに重
ねた際の前記重み係数を用いた相違度を導入してこれを
最小とする局所的線形変換→ 成分Ａｔ、　　Ｒｉが満足すべき連立−次方程式を生成
する局所的線形変換成分連立−次方程式生成装置と。

前記連立−次方程式を公知の技術により解き各→ Ｒｉについて最適な局所的線形変換成分Ａｌ。

−ン Ｒｉを決定する局所的線形変換成分決定装置と。

参照パタンＲの各Ｒｉを前記局所的線形変換成分Ａｉ、
　ＲｉによりＲ’　ｉ、＝Ａ　Ｉ　Ｒｉ＋βｉに変換し
変形参照バタンＲ′を生成する変形参照バタン生成装置
と。

変形参照バタンＲ′の各特徴点について最も距離の近い
入力バタンＳ内の特徴点を対応づけて対応特徴点間の距
離和りを算出する対応特徴点間距離和算出装置と。

前記距離和りが予め定めた閾値Ｔｈより小さい場合には
特徴点対応結果をそのまま出力し、一方間値Ｔｈより大
きい場合には変形参照バタンＲ′を参照パタンＲと見做
して特徴点間重み係数算出装置に転送し上記一連操作を
反復させる距離和比較装置と から成るものである。

〔作　用〕

Ｒｉについてその一定近傍内にある特徴点Ｒｊを−様な
線形変換成分ＡｉＲｊ＋βｉにより変形して入力バタン
Ｓに重ねた際の相違度が最小になるりＲ’１＝ＡｉＲｉ
＋βｉに変形した変形参照パタ→ ンＲ′を生成し各Ｒ′ｉに最も距離の近い入力バタンＳ
内の特徴点を対応づけることとし、その際の対応特徴点
間距離和りが閾値Ｔｈより小さい場合にはそのまま対応
結果を出力し、一方距離和りが閾値Ｔｈより大きい場合
には変形参照バタンＲ′を参照バタンＲと見做し上記局
所的線形変換操作を近傍領域の大きさを漸減しながら反
復し距離和りが閾値Ｔｈより小さくなった時点で特徴点
対応結果を出力する。

〔実施例〕

第１図はこの発明の一実施例の構成を示すブロック図で
ある。ｌは参照バタン特徴点格納装置。

２は入力バタン特徴点格納装置、３は特徴点間重み係数
算出装置、４は局所的線形変換成分連立−次方程式生成
装置、５は局所的線形変換成分決定装置、６は変形参照
バタン生成装置、７は対応特徴点間距離用算出装置、８
は距離和比較装置である。

以下、各装置の動作について具体的に説明する。

参照バタン特徴点格納装置１は、参照パタンＲを構成す
る特徴点の位置ベクトルの集合→　　　　→　　　　　
　　　→　　　　→Ｒ＝　（Ｒ１、Ｒ１、・・・、　　
Ｒｉ　＋　　ＲＭ　）を格納する。

すなわち、２次元空間であれば特徴点位置ベクトルのＸ
、Ｙ座標値、３次元空間であれば特徴点位置ベクトルの
ｘ、ｙ、ｚ座標値を添え字の順に点数骨のＭ個格納する
。入力バタン特徴点格納装置２は、入力バタンＳを構成
する特徴点の位置ベク→　　　　→　　　　　　　　→
　　　　→トルの集合Ｓ＝　（Ｓ、、ｓｔ　、・・・、
Ｓｋ、・・・。

−ン ３Ｎ）を格納する。格納形式は参照バタン特徴点格納装
置ｌと同様である。

特徴点間重み係数算出装置３は、Ｒ内およびＲ→　　　
　→ ＩＩ　Ｒｊ　−Ｓ　ｋ　ＩＩに基づく Ｇａｕｓｓ関数型重み係数 ωｉｊ、ρｊｋを次式により算出する。但し、１１・１
１はベクトルのノルムを表し９例えばユークリッドノル
ムを用いれば良い。

→　　　　→ ω１ｊ＝ｅｘｐ（−ＩＩ　Ｒｉ　　　Ｒｊ　　Ｉｆ”／
θｓ　ｔ　）（１≦Ｆ＋’Ｊ≦Ｍ） −〉　　　　→ ｐｊｋ＝ｅｘｐ（Ｉｆ　Ｒｊ　−Ｓｋ　ＩＩ”／θｄ”
）（１≦ｊ≦Ｍ、　ｌ≦に≦Ｎ）　・・・・・・（１）
ここで、θＳ、θｄは拡がりを制御するパラメータを表
し、一般にθｄはθＳより小さい値として次の比例関係
を満足するものとする。

θｄ＝７・θＳ但し、Ｔε（０，０，１，０）　　・・
−・・・（２）これら算出されたＧａｕｓｓ関数型重み
係数ωｉｊ。

ρｊｋは局所的線形変換成分連立−次方程式生成装置４
へ送出される。

局所的線形変換成分連立−次方程式生成装置４は、参照
パタンＲの各ＲｉおよびそのθＳ近傍に→ Ｒ’ｊ＝ＡｉＲｊ＋βｉを施し、得られた各Ｒ′ｊが入
力バタンＳ内のいずれかのθｄ近傍へ最も重なりが良く
なるように局所的線形変換成分Ａｔ。

Ｒｉを最適化するための連立−次方程式を生成する。こ
こで、Ａｉは２×２の行列または３×３の→ 行列でベクトルの伸縮・回転操作を表し、Ｒｉはベクト
ルの並進を表している。

→ まず、参照パタンＲの第ｉ特徴点ＲｉとそのθＳ近傍に
線形変換を施した際の入力バタンＳ内のいずれかのθｄ
近傍への重なりの度合いを次式のψｉで与える。但し、
Σｊはｊ＝１．２．・・・Ｍに関する和、Σ、はに＝１
．２．・・・、Ｎに関する和を表す。

→　　　　→　　　　→ ψｉ−Σ１ωｉｊΣ、ρｊｋｌｌ＾ｉＲｊ　＋βＨ−ｓ
ｋｌｌ”（１≦ｉ≦Ｍ）　　　・・・・・・（３）換成
分Ａｉ、βｉを決定するため、ψｉを→ Ａｉ＝（ａ＋ｗｎ）、　　Ｒｉの各成分で偏微分した値
が零となる条件を課す。すなわち ８ψｉ／θａｍｎ＝０ θ申ｉ　／　ａβｉ＝０　　　　　　　　　　　　・・
・・・・（４）→ 式（３）はＡｉ＝（ａｍｎ）、　　Ｒｉの各成分につい
て二次式であるから１式（４）により連立−次方程式が
得られる。

と記す。

Σ７ωｉｊΣｈ　９３ｋ（ａ　１１Ｒｊｘ＋　ａ　１２
Ｒｊｙ＋βｘ　−５ｋｘ）＝０ Σ７ωｔｊΣｗ　ｐ　ｊｋ（ａ　２１＋？ｊｙ＋　ａ　
２２Ｒｊｙ＋β）Ｉ　−Ｓｋｙ’）雪０ Σ；ωｉｊΣｗ　ｐ　ｊｋ　Ｒｊｘ（ａ　１１Ｒｊｘ＋
　ａ　１２Ｒｊｙ＋βＸ−３ｋｘ）＝０ Σ７ωｉｊΣｈρｊｋ　Ｒｊｙ（ａｌｌＲｊｘ＋ａ１２
Ｒｊｙ＋βＸ−５ｋｘ）　＝０ Σ、０１５８ｗ　ｐ　ｊｋ　Ｒｊｘ（ａ　２１Ｒｊｘ＋
　ａ　２２Ｒ３ｙ＋βｙ−３ｋｙ）＝０ Σ７ωｉｊΣｈ　ｐ　ｊｋ　Ｒｊｙ（ａ　２１Ｒｊｘ＋
　ａ　２２Ｒｊｙ＋βｙ−５ｋｙ）”Ｏ・・・・・・（
５） ３次元空間の場合は同様にして１２個の連立−次方程式
が得られる。

これら各Ｒｉ毎に生成された局所的線形変換成分連立−
次方程式は局所的線形変換成分決定装置５へ送出される
。

第２図に９局所的線形変換の概念図を示す０図中、◎は
参照バタンの特徴点、Ｏは入力バタンの特徴点５・は重
なった特徴点を表す。

第２図図示左側に示す如き形で、参照パタンの特徴点と
入力バタンの特徴点とが存在し、拡がり制御パラメータ
θ、が考慮されているとしており。

→ 上述のＡｉ、　βｉを用いた変形を行った結果が第２図
図示右側に示されている。そして黒丸点が対応がとれて
重なった特徴点である。より詳しくは次の通りである。

局所的線形変換成分決定装置５は１局所的線形変換酸分
連立−次方程式生成装置４から送出された連立−次方程
式（５）を公知の技術により解いて各−〉 β量を決定する。こうして得られたＡＳ、　　βｉは変
形参照バタン生成装置６に送出される。

変形参照バタン生成装置６は１局所的線形変換酸分決定
装置５から送出されたＡｉ、βｉを用い−〉 て参照パタンＲの各特徴点Ｒｉを次式により変形Ｒ′１ ＝Ａｉ ｉ ＋βｉ （１≦ｉ≦Ｍ） ・・・・・・（６） →　　　　→ これにより変形参照バタンＲ””　（Ｒ’＋　、　Ｒ’
！、・・・距離和算用装置７へ送出される。

対応特徴点間距離和算小装置７は、変形参照バ→ タンＲ′の各特徴点Ｒ′ｉについて入力バタンＳ内で最
も距離の小さい特徴点を対応づけて、その際の対応特徴
点間距離和りを算出する。すなわち、値→　　　　　　
　　　　　−一−） ここで、写像τは特徴点Ｒｉが特徴点Ｓτ（ｉ）に対応
することを記すもので特徴点対応づけ結果を表している
。距離和りおよび特徴点対応づけ結果τは距離和比較装
置８へ送出される。

距離和比較装置８は、対応特徴点間距離和算小装置７か
ら送出された距離和りを予め定めた閾値Ｔｈと比較し、
Ｄ＜Ｔｈであれば特徴点対応づけ結果τをそのまま出力
する。

一方、Ｄ≧Ｔｈの場合は局所的線形変換操作を反復する
。すなわち、変形参照バタンＲ′を参照パタンＲと見做
して特徴点間重み係数算出装置３へ送出する。その際１
重み係数の拡がりを制御するパラメータθＳ、θｄの大
きさを反復回数と共に漸減する。これにより、参照パタ
ンＲと入力バタンＳの間で大きな部分から小さな部分へ
の階層的な対応づ°けが実現される０反復回数ｐでのθ
Ｓの値をθＳψ）、初期値をθｓ　（０）と記すと９例
えば次式によりθＳの値を漸減する。

θ５（Ｐ）＝θ５（ｏ）／ｆ「（ｐ＝１．２．”・）　
　−−（８）こうして、Ｄ＜Ｔｈが満足された時点で特
徴点対応づけ結果τを出力して動作を完了する。

第１図は２次元平面上の文字バタンを例に、（ａ）。

Φ）にそれぞれ「引」の参照パタン（◎で記す）および
入力バタン（○で記す）を示し、（Ｃ）〜（０に局所的
線形変換を反復回数Ｐ＝１．２，５．１０だけ施した際
の変形参照バタンと大カバタンを重ねた図を示す、この
例では、バタンの大きさが６０×６０であり、θＳの初
期値をθ５（ｏ）＝１０．またθｄとθＳとの比例定数
をｒ　＝　０．２とした０図中、・は重なった特徴点を
表す。

即ち９局所的線形変換が反復されてゆ（につれて、第３
図（Ｃ）の状態から第３図（ｆ）の状態の如く重なり（
黒丸点）が増大してゆき、第３図（ｆ）の状態において
総ての参照バタン（◎）が重なって（・）となっている
、この図の場合には。

反復回数ｐ−１０で参照バタンの全特徴点が入力バタン
に重なり、特徴点対応づけが完了していることがわかる
。

〔発明の効果〕 以上詳細に説明したように、この発明によれば、参照バ
タンと変位・変形を含む入力バタンとの間で、参照パタ
ンの各特徴点毎に一定近傍について最適な局所的線形変
換を反復的に施すことにより入力バタンの大きい部分か
ら小さい部分への階層的対応づけが可能である。特に局
所的線形変換を最適化する際の近傍の大きさを反復回数
と共に漸減することにより、微小でない有限な変位・変
形に対しても安定かつ高精度な特徴点対応づけが実現で
きる。また１局所的線形変換の最適化が連立−次方程式
を解くことに帰着できるため１手順は単純で処理量も少
なくて済む。

このように、広くバタンの変位・変形の抽出が特徴点の
位置ベクトル集合間での対応づけと考えられる以上、こ
の発明はかなり広い範囲の変位・変形に対して少ない処
理量で高精度な特徴点対応づけを可能とする汎用的な技
術を提供している。

このため、バタン認識における文字・図形の変形抽出や
動画像理解における変位・変形の抽出、３次元奥行知覚
におけるステレオビジョンの対応点検出の分野に適用さ
れる場合に利点が極めて大きい。

【図面の簡単な説明】

第１図はこの発明の一実施例の構成を示すブロック図、
第２図は局所的線形変換の概念図、第３図は局所的線形
変換の反復による特徴点対応づけの動作を説明するため
の具体例を示した図である。 １・・・参照バタン特徴点格納装置。 ２・・・入力バタン特徴点格納装置。 ３・・・特徴点間重み係数算出装置。 ４・・・局所的線形変換成分連立−次方程式生成装置。 ５・・・局所的線形変換成分決定装置。 ６・・・変形参照バタン生成装置。 ７・・・対応特徴点間距離和算自装置。 ８・・・距離和比較装置。 特許出願人　　日本電信電話株式会社

Claims (1)

1. 【特許請求の範囲】 ２次元あるいは３次元空間内の位置ベクトルで表現され
   た特徴点集合である参照パタン ▲数式、化学式、表等があります▼（１≦ｉ≦Ｍ）およ
   び入力パタン ▲数式、化学式、表等があります▼（１≦ｋ≦Ｎ）間に
   おいて、参照パ タンＲの各特徴点▲数式、化学式、表等があります▼に
   ついて局所的線形変換成分▲数式、化学式、表等があり
   ます▼（Ａｉは２×２あるいは３×３ の行列でベクトルの伸縮・回転を表す、▲数式、化学式
   、表等があります▼は２次元あるいは３次元のベクトル
   の並進を表す）を反復的に施して入力パタンＳ内のいず
   れかの特徴点に最適に対応づけを行う装置であって、 Ｒ内およびＲとＳとの間での特徴点間距離 ▲数式、化学式、表等があります▼、▲数式、化学式、
   表等があります▼に基づくＧａｕｓｓ 関数型重み係数を算出する特徴点間重み係数算出装置と
   、 前記重み係数を用いてＲの各特徴点およびその一定近傍
   についての最適な局所的線形変換成分Ａｉ、▲数式、化
   学式、表等があります▼が満たす連立一次方程式を生成
   する局所的線形変換成分連立一次方程式生成装置と、前
   記連立一次方程式を解く局所的線形変換成分決定装置と
   、 Ｒの各特徴点▲数式、化学式、表等があります▼毎にそ
   れぞれ局所的線形変換成分Ａｉ、▲数式、化学式、表等
   があります▼を施して参照パタンを変形する変形参照パ
   タン生成装置と、 変形参照パタンＲ′の各特徴点に最も距離の近い入力パ
   タンＳ内の特徴点を対応づけそれら対応特徴点間の距離
   和Ｄを算出する対応特徴点間距離和算出装置と、 前記距離和Ｄが閾値Ｔｈより小さい場合には特徴点対応
   づけ結果を出力し、一方閾値Ｔｈより大きい場合には変
   形参照パタンＲ′を参照パタンＲと見做して再び特徴点
   間重み係数算出装置へ入力し前記局所的線形変換操作を
   反復させる距離和比較装置と を備えた ことを特徴とする特徴点対応づけ装置。