JPH10269355A

JPH10269355A - 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法

Info

Publication number: JPH10269355A
Application number: JP9095318A
Authority: JP
Inventors: Yoshihisa Shinagawa; 嘉久品川; Toshiyasu Kunii; 利泰國井
Original assignee: MONORISU KK
Current assignee: MONORISU KK
Priority date: 1997-03-27
Filing date: 1997-03-27
Publication date: 1998-10-09
Anticipated expiration: 2017-03-27
Also published as: US20020064309A1; US6347152B1; JP2927350B2; US6018592A; US6137910A

Abstract

(57)【要約】【課題】画像の特徴や画像間の対応点を良好に自動取
得する方法がほとんどなかった。【解決手段】特異点フィルタとよばれる多重解像度フ
ィルタを導入する。このフィルタは縦横２×２の４画素
ごとに輝度の極大点、極小点、二種類の鞍点を抽出し、
解像度の低い新たな画像を特異点の種類ごとに生成す
る。まずこの多重解像度フィルタで始点画像および終点
画像を階層化する（Ｓ１）。つぎに、始点階層画像と終
点階層画像の間でマッチングをとる（Ｓ２）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、多重解像度フィ
ルタ処理方法および画像マッチング方法に関する。この
発明は特に、多重解像度フィルタによって新たな画像を
生成する方法、およびその方法を利用することの可能な
画像マッチング方法に関する。

【０００２】

【従来の技術】ふたつの画像の自動的なマッチング、つ
まり画像領域や画素どうしの対応付けは、コンピュータ
ビジョンやコンピュータグラフィックスにおける最も難
しくかつ重要なテーマのひとつである。例えば、あるオ
ブジェクトに関して異なる視点からの画像間でマッチン
グがとれれば、他の視点からの画像を生成することがで
きる。右目画像と左目画像のマッチングが計算できれ
ば、立体画像を用いた写真測量も可能である。顔の画像
のモデルと他の顔の画像のマッチングがとれたとき、
目、鼻、口といった特徴的な顔の部分を抽出することが
できる。例えば人の顔と猫の顔の画像間でマッチングが
正確にとられたとき、それらの中割画像を自動的に生成
することでモーフィングを完全自動化することができ
る。

【０００３】しかし従来一般に、ふたつの画像間の対応
点は人がいちいち指定しなければならず、多大な作業工
数を要した。この問題を解消するために数多くの対応点
自動検出方法が提案されている。例えば、エピポーラ直
線を用いることによって対応点の候補の数を減らす考え
がある。しかし、その場合でも処理はきわめて複雑であ
る。複雑さを低減するために、左目画像の各点の座標は
通常右目画像でもほぼ同じ位置にあると想定される。し
かし、こうした制約を設けると、大域的特徴及び局所的
特徴を同時に満たすマッチングをとることは非常に困難
になる。

【０００４】ボリュームレンダリングでは、ボクセルを
構成するために一連の断面画像が用いられる。この場
合、従来一般に、上方の断面画像における画素が下方の
断面画像の同一箇所にある画素と対応すると仮定され、
これらの画素のペアが内挿計算に用いられる。このよう
にきわめて単純な方法を用いるため、連続する断面間の
距離が遠く、オブジェクトの断面形状が大きく変化する
場合、ボリュームレンダリングで構築されたオブジェク
トは不明瞭になりがちである。

【０００５】立体写真測量法など、エッジの検出を利用
するマッチングアルゴリズムも多い。しかしこの場合、
結果的に得られる対応点の数が少ないため、マッチング
のとれた対応点間のギャップを埋めるべく、ディスパリ
ティの値を内挿計算しなければならない。一般にあらゆ
るエッジ検出器は、それらが用いる局所的なウィンドウ
の中で画素の輝度が変化したとき、これが本当にエッジ
の存在を示唆するかどうかを判断することが難しい。エ
ッジ検出器は、本来的にすべてハイパスフィルタであ
り、エッジと同時にノイズも拾ってしまう。

【０００６】さらに別の手法として、オプティカルフロ
ーが知られている。二枚の画像が与えられたとき、オプ
ティカルフローでは画像内のオブジェクト（剛体）の動
きを検出する。その際、オブジェクトの各画素の輝度は
変化しないと仮定する。オプティカルフローでは例えば
（ｕ，ｖ）のベクトル場の滑らかさといった、いくつか
の付加的な条件とともに、各画素の動きベクトル（ｕ，
ｖ）を計算する。しかし、オプティカルフローでは画像
間の大域的な対応関係を検出することはできない。画素
の輝度の局所的な変化に注目するのみであり、画像の変
位が大きい場合、システムの誤差は顕著になる。

【０００７】画像の大域的な構造を認識するために、多
重解像度フィルタも数多く提案されてきた。それらは線
形フィルタと非線形フィルタに分類される。前者の例と
してウェーブレットがあるが、線形フィルタは一般に、
画像マッチングにはさして有用ではない。なぜなら、極
値をとる画素の輝度に関する情報がそれらの位置情報と
ともに次第に不鮮明になるためである。図１（ａ）と図
１（ｂ）はそれぞれ図１９（ａ）と図１９（ｂ）に示す
顔の画像に対して平均化フィルタを適用した結果を示し
ている。同図のごとく、極値をとる画素の輝度が平均化
によって次第に薄れるとともに、位置も平均化の影響で
シフトしていく。その結果、目（輝度の極小点）の輝度
や位置の情報は、このような粗い解像度レベルで曖昧に
なり、この解像度では正しいマッチングを計算すること
ができない。したがって、粗い解像度レベルを設けるの
が大域的なマッチングのためでありながら、ここで得ら
れたマッチングは画像の本当の特徴（目、つまり極小
点）に正確に対応しない。より精細な解像度レベルで目
が鮮明に現れたとしても、大域的なマッチングをとる際
に混入した誤差は、もはや取り返しがつかない。入力画
像にスムージング処理を加えることにより、テクスチャ
領域のステレオ情報が落ちてしまうこともすでに指摘さ
れている。

【０００８】一方、最近地形学の分野で利用されはじめ
た非線形フィルタとして一次元の「ふるい（sieve）」
演算子がある。この演算子は、所定の大きさの一次元ウ
ィンドウ内の極小値（または極大値）を選択することに
より、縮尺と空間の因果関係を保存しながら画像にスム
ージング処理を加える。その結果得られる画像は元の画
像と同じ大きさであるが、小さな波の成分が取り除かれ
ているため、より単純になる。画像の情報を落とすとい
う点で、この演算子は広い意味での「多重解像度フィル
タ」に分類することはできるが、実際にはウェーブレッ
トのように画像の解像度を変えながら画像を階層化する
わけではなく（つまり狭い意味での多重解像度フィルタ
ではなく）、画像間の対応の検出には利用できない。

【０００９】

【発明が解決しようとする課題】以上をまとめれば以下
の課題が認められる。

【００１０】１．画像の特徴を正確に、かつ比較的簡単
な処理で把握する画像処理方法が乏しかった。特に、特
徴のある点に関する情報、例えば画素値や位置を維持し
ながら特徴を抽出できる画像処理方法に関する有効な提
案が少なかった。２．画像の特徴をもとに対応点を自動検出する場合、一
般に処理が複雑であるか、ノイズ耐性が低いなどの欠点
があった。また、処理に際していろいろな制約を設ける
必要があり、大域的特徴及び局所的特徴を同時に満たす
マッチングをとることが困難だった。３．画像の大域的な構造または特徴を認識するために多
重解像度フィルタを導入しても、そのフィルタが線形フ
ィルタの場合、画素の輝度情報と位置情報が曖昧になっ
た。その結果、対応点の把握が不正確になりやすかっ
た。非線形フィルタである一次元ふるい演算子は画像を
階層化しないため、画像間の対応点の検出には利用でき
なかった。４．これらの結果、対応点を正しく把握しようとすれ
ば、結局人手による指定に頼るほか有効な手だてがなか
った。

【００１１】本発明はこれらの課題の解決を目的として
なされたものであり、画像処理の分野において、画像の
特徴の的確な把握を可能にする技術を提供するものであ
る。

【００１２】

【課題を解決するための手段】この目的のために本発明
のある態様は、新たな多重解像度の画像フィルタを提案
する。この多重解像度フィルタは画像から特異点を抽出
する。したがって、特異点フィルタともよばれる。特異
点とは画像上特徴をもつ点をいう。例として、ある領域
において画素値（画素値とは、色番号、輝度値など画像
または画素に関する任意の数値を指すものする）が最大
になる極大点、最小になる極小点、ある方向については
最大だが別の方向については最小になるような鞍点があ
る。特異点は位相幾何学上の概念であってもよい。ただ
し、その他どのような特徴を有してもよい。いかなる性
質の点を特異点と考えるかは、本発明にとって本質問題
ではない。

【００１３】この態様では、多重解像度フィルタを用い
た画像処理が行われる。まず検出工程において、第一の
画像に対し、二次元的な探索を行って特異点が検出され
る。つぎに生成工程において、検出された特異点を抽出
して第一の画像よりも解像度の低い第二の画像が生成さ
れる。第二の画像には第一の画像のもつ特異点が引き継
がれる。第二の画像は第一の画像よりも解像度が低いた
め、画像の大域的な特徴の把握に好適である。

【００１４】本発明の別の態様は特異点フィルタを用い
た画像マッチング方法に関する。この態様では、始点画
像と終点画像間のマッチングがとられる。始点画像およ
び終点画像とは、ふたつの画像の区別のために便宜的に
与えた名称であり、本質的な違いはない。

【００１５】この態様では、第一工程にて、始点画像に
特異点フィルタを施して解像度の異なる一連の始点階層
画像が生成される。第二工程では、終点画像に特異点フ
ィルタを施して解像度の異なる一連の終点階層画像が生
成される。始点階層画像、終点階層画像とは、それぞれ
始点画像、終点画像を階層化して得られる画像群をい
い、それぞれ最低２枚の画像からなる。つぎに第三工程
において、始点階層画像と終点階層画像のマッチングが
解像度レベルの階層の中で計算される。この態様によれ
ば、多重解像度フィルタによって特異点に関連する画像
の特徴が抽出され、および／または明確化されるため、
マッチングが容易になる。マッチングのための拘束条件
は特に必要としない。

【００１６】本発明のさらに別の態様も始点画像と終点
画像のマッチングに関する。この態様では、予め複数の
マッチング評価項目のそれぞれに関して評価式を設け、
それらの評価式を統合して総合評価式を定義し、その総
合評価式の極値付近に注目して最適マッチングを探索す
る。総合評価式は、評価式の少なくもひとつに係数パラ
メータを掛けたうえでそれらの評価式の総和として定義
してもよく、その場合、総合評価式またはいずれかの評
価式がほぼ極値をとる状態を検出して前記パラメータを
決定してもよい。「極値付近」または「ほぼ極値をと
る」としたのは、多少誤差を含んでいてもよいためであ
る。多少の誤差は本発明にはさして問題とならない。

【００１７】極値自体も前記パラメータに依存するた
め、極値の挙動、つまり極値の変化の様子をもとに、最
適と考えられるパラメータを決定する余地が生じる。こ
の態様はその事実を利用している。この態様によれば、
元来調整の困難なパラメータの決定を自動化する途が拓
かれる。

【００１８】

【発明の実施の形態】最初に［１］で実施の形態の要素
技術の詳述し、［２］で処理手順を具体的に説明する。
さらに［３］で実験の結果を報告する。

【００１９】［１］要素技術の詳細［１．１］イントロダクション特異点フィルタと呼ばれる新たな多重解像度フィルタを
導入し、画像間のマッチングを正確に計算する。オブジ
ェクトに関する予備知識は一切不要である。画像間のマ
ッチングの計算は、解像度の階層を進む間、各解像度に
おいて計算される。その際、粗いレベルから精細なレベ
ルへと順に解像度の階層を辿っていく。計算に必要なパ
ラメータは、人間の視覚システムに似た動的計算によっ
て完全に自動設定される。画像間の対応点を人手で特定
する必要はない。

【００２０】本実施の形態は、例えば完全に自動的なモ
ーフィング、物体認識、立体写真測量、ボリュームレン
ダリング、少ないフレームからの滑らかな動画像の生成
などに応用できる。モーフィングに用いる場合、与えら
れた画像を自動的に変形することができる。ボリューム
レンダリングに用いる場合、断面間の中間的な画像を正
確に再構築することができる。断面間の距離が遠く、断
面の形状が大きく変化する場合でも同様である。

【００２１】［１．２］特異点フィルタの階層実施の形態に係る多重解像度特異点フィルタは、画像の
解像度を落としながら、しかも画像に含まれる各特異点
の輝度及び位置を保存することができる。ここで画像の
幅をＮ、高さをＭとする。以下簡単のため、Ｎ＝Ｍ＝２
ⁿ（ｎは自然数）と仮定する。また、区間［０，Ｎ］⊂
ＲをＩと記述する。（ｉ，ｊ）における画像の画素をｐ
_(i,j)と記述する（ｉ，ｊ∈Ｉ）。

【００２２】ここで多重解像度の階層を導入する。階層
化された画像群は多重解像度フィルタで生成される。多
重解像度フィルタは、もとの画像に対して二次元的な探
索を行って特異点を検出し、検出された特異点を抽出し
てもとの画像よりも解像度の低い別の画像を生成する。
ここで第ｍレベルにおける各画像のサイズは２^m×２
^m（０≦ｍ≦ｎ）とする。特異点フィルタは次の４種類
の新たな階層画像をｎから下がる方向で再帰的に構築す
る。

【００２３】

【数１】ただしここで、

【数２】とする。以降これら４つの画像を副画像（サブイメー
ジ）と呼ぶ。ｍｉｎ x≦t≦x+1、ｍａｘ x≦t≦x+1 を
それぞれα及びβと記述すると、副画像はそれぞれ以下
のように記述できる。

【００２４】Ｐ^(m,0)＝α（ｘ）α（ｙ）ｐ^(m+1,0) Ｐ^(m,1)＝α（ｘ）β（ｙ）ｐ^(m+1,1) Ｐ^(m,2)＝β（ｘ）α（ｙ）ｐ^(m+1,2) Ｐ^(m,3)＝β（ｘ）β（ｙ）ｐ^(m+1,3) すなわち、これらはαとβのテンソル積のようなものと
考えられる。副画像はそれぞれ特異点に対応している。
これらの式から明らかなように、特異点フィルタはもと
の画像について２×２画素で構成されるブロックごとに
特異点を検出する。その際、各ブロックのふたつの方
向、つまり縦と横について、最大画素値または最小画素
値をもつ点を探索する。画素値として、実施の形態では
輝度を採用するが、画像に関するいろいろな数値を採用
することができる。ふたつの方向の両方について最大画
素値となる画素は極大点、ふたつの方向の両方について
最小画素値となる画素は極小点、ふたつの方向の一方に
ついて最大画素値となるとともに、他方について最小画
素値となる画素は鞍点として検出される。

【００２５】特異点フィルタは、各ブロックの内部で検
出された特異点の画像（ここでは１画素）でそのブロッ
クの画像（ここでは４画素）を代表させることにより、
画像の解像度を落とす。特異点の理論的な観点からすれ
ば、α（ｘ）α（ｙ）は極小点を保存し、β（ｘ）β
（ｙ）は極大点を保存し、α（ｘ）β（ｙ）及びβ
（ｘ）α（ｙ）は鞍点を保存する。

【００２６】はじめに、マッチングをとるべき始点（ソ
ース）画像と終点（デスティネーション）画像に対して
別々に特異点フィルタ処理を施し、それぞれ一連の画像
群、すなわち始点階層画像と終点階層画像を生成してお
く。始点階層画像と終点階層画像は、特異点の種類に対
応してそれぞれ４種類ずつ生成される。

【００２７】この後、一連の解像度レベルの中で始点階
層画像と終点階層画像のマッチングがとれらていく。ま
ずｐ^(m,0)を用いて極小点のマッチングがとられる。次
に、その結果に基づき、ｐ^(m,1)を用いて鞍点のマッチ
ングがとられ、ｐ^(m,2)を用いて他の鞍点のマッチング
がとられる。そして最後にｐ^(m,3)を用いて極大点のマ
ッチングがとられる。

【００２８】図１（ｃ）と図１（ｄ）はそれぞれ図１
（ａ）と図１（ｂ）の副画像ｐ^(5,0)を示している。同
様に、図１（ｅ）と図１（ｆ）はｐ^(5,1)、図１（ｇ）
と図１（ｈ）はｐ^(5,2)、図１（ｉ）と図１（ｊ）はｐ
^(5,3)をそれぞれ示している。これらの図からわかると
おり、副画像によれば画像の特徴部分のマッチングが容
易になる。まずｐ^(5,0)によって目が明確になる。目は
顔の中で輝度の極小点だからである。ｐ^(5,1)によれば
口が明確になる。口は横方向で輝度が低いためである。
ｐ^(5,2)によれば首の両側の縦線が明確になる。最後
に、ｐ^(5,3)によって耳や頬の最も明るい点が明確にな
る。これらは輝度の極大点だからである。

【００２９】特異点フィルタによれば画像の特徴が抽出
できるため、例えばカメラで撮影された画像の特徴と、
予め記録しておいたいくつかのオブジェクトの特徴を比
較することにより、カメラに映った被写体を識別するこ
とができる。

【００３０】［１．３］画像間の写像の計算始点画像の位置（ｉ，ｊ）の画素をｐ⁽ⁿ⁾ _(i,j)と書き、
同じく終点画像の位置（ｋ，ｌ）の画素をｑ⁽ⁿ⁾ _(k,l)で
記述する。ｉ，ｊ，ｋ，ｌ∈Ｉとする。画像間の写像の
エネルギー（後述）を定義する。このエネルギーは、始
点画像の画素の輝度と終点画像の対応する画素の輝度の
差、及び写像の滑らかさによって決まる。最初に最小の
エネルギーを持つｐ^(m,0)とｑ^(m,0)間の写像ｆ^(m,0)：
ｐ^(m,0)→ｑ^(m,0)が計算される。ｆ^(m,0)に基づき、最
小エネルギーを持つｐ^(m,1)、ｑ^(m, ¹⁾間の写像ｆ^(m,1)
が計算される。この手続は、ｐ^(m,3)とｑ^(m,3)の間の写
像ｆ⁽ ^m,3)の計算が終了するまで続く。各写像ｆ
^(m,i)（ｉ＝０，１，２，…）を副写像と呼ぶことにす
る。ｆ^(m,i)の計算の都合のために、ｉの順序は次式の
ように並べ替えることができる。並べ替えが必要な理由
は後述する。

【００３１】

【数３】ここでσ（ｉ）∈｛０，１，２，３｝である。

【００３２】［１．３．１］全単射始点画像と終点画像の間のマッチングを写像で表現する
場合、その写像は両画像間で全単射条件を満たすべきで
ある。両画像に概念上の優劣はなく、互いの画素が全射
かつ単射で接続されるべきだからである。しかしながら
通常の場合とは異なり、ここで構築すべき写像は全単射
のディジタル版である。実施の形態では、画素は格子点
によって特定される。

【００３３】始点副画像（始点画像について設けられた
副画像）から終点副画像（終点画像について設けられた
副画像）への写像は、ｆ^(m,s)：Ｉ／２^n-m×Ｉ／２^n-m
→Ｉ／２^n-m×Ｉ／２^n-m（ｓ＝０，１，…）によって表
される。ここで、ｆ^(m,s)（ｉ，ｊ）＝（ｋ，ｌ）は、
始点画像のｐ^(m,s) _(i,j)が終点画像のｑ^(m,s) _(k,l)に写
像されることを意味する。簡単のために、ｆ（ｉ，ｊ）
＝（ｋ，ｌ）が成り立つとき画素ｑ_(k,l)をｑ_f(i,j)と
記述する。

【００３４】実施の形態で扱う画素（格子点）のように
データが離散的な場合、全単射の定義は重要である。こ
こでは以下のように定義する（ｉ，ｉ’，ｊ，ｊ’，
ｋ，ｌは全て整数とする）。まず始めに、始点画像の平
面においてＲによって表記される各正方形領域、

【数４】を考える（ｉ＝０，…，２^m−１、ｊ＝０，…，２^m−
１）。ここでＲの各辺（エッジ）の方向を以下のように
定める。

【００３５】

【数５】この正方形は写像ｆによって終点画像平面における四辺
形に写像されなければならない。ｆ^(m,s)（Ｒ）によっ
て示される四辺形、

【数６】は、以下の全単射条件を満たす必要がある。

【００３６】１．四辺形ｆ^(m,s)（Ｒ）のエッジは互い
に交差しない。２．ｆ^(m,s)（Ｒ）のエッジの方向はＲのそれらに等し
い（図２の場合、時計回り）。３．緩和条件として収縮写像（リトラクション：retrac
tions）を許す。

【００３７】何らかの緩和条件を設けないかぎり、全単
射条件を完全に満たす写像は単位写像しかないためであ
る。ここではｆ^(m,s)（Ｒ）のひとつのエッジの長さが
０、すなわちｆ^(m,s)（Ｒ）は三角形になってもよい。
しかし、面積が０となるような図形、すなわち１点また
は１本の線分になってはならない。図２（Ｒ）がもとの
四辺形の場合、図２（Ａ）と図２（Ｄ）は全単射条件を
満たすが、図２（Ｂ）、図２（Ｃ）、図２（Ｅ）は満た
さない。

【００３８】実際のインプリメンテーションでは、写像
が全射であることを容易に保証すべく、さらに以下の条
件を課してもよい。つまり始点画像の境界上の各画素
は、終点画像において同じ位置を占める画素に写影され
るというものである。すなわち、ｆ（ｉ，ｊ）＝（ｉ，
ｊ）（ただしｉ＝０，ｉ＝２^m−１，ｊ＝０，ｊ＝２^m−
１の４本の線上）である。この条件を以下「付加条件」
とも呼ぶ。

【００３９】［１．３．２］写像のエネルギー［１．３．２．１］画素の輝度に関するコスト写像ｆのエネルギーを定義する。エネルギーが最小にな
る写像を探すことが目的である。エネルギーは主に、始
点画像の画素の輝度とそれに対応する終点画像の画素の
輝度の差で決まる。すなわち、写像ｆ^(m,s)の点（ｉ，
ｊ）におけるエネルギーＣ^(m,s) _(i,j)は次式によって定
まる。

【００４０】

【数７】ここで、Ｖ（ｐ^(m,s) _(i,j)）及びＶ（ｑ^(m,s) _f(i,j)）
はそれぞれ画素ｐ^(m,s) _(i,j)及びｑ^(m,s) _f(i,j)の輝度
である。ｆのトータルのエネルギーＣ^(m,s)は、マッチ
ングを評価するひとつの評価式であり、つぎに示すＣ
^(m,s) _(i,j)の合計で定義できる。

【００４１】

【数８】［１．３．２．２］滑らかな写像のための画素の位置に
関するコスト滑らかな写像を得るために、写像に関する別のエネルギ
ーＤ_fを導入する。このエネルギーは画素の輝度とは関
係なく、ｐ^(m,s) _(i,j)およびｑ^(m,s) _f(i,j)の位置によ
って決まる（ｉ＝０，…，２^m−１，ｊ＝０，…，２^m−
１）。点（ｉ，ｊ）における写像ｆ^(m,s)のエネルギー
Ｄ^(m,s) _(i,j)は次式で定義される。

【００４２】

【数９】ただし、係数パラメータηは０以上の実数であり、ま
た、

【数１０】

【数１１】とする。ここで、

【数１２】であり、ｉ’＜０およびｊ’＜０に対してｆ（ｉ’，
ｊ’）は０と決める。Ｅ₀は（ｉ，ｊ）及びｆ（ｉ，
ｊ）の距離で決まる。Ｅ₀は画素があまりにも離れた画
素へ写影されることを防ぐ。ただしＥ₀は、後に別のエ
ネルギー関数で置き換える。Ｅ₁は写像の滑らかさを保
証する。Ｅ₁は、ｐ_(i,j)の変位とその隣接点の変位の間
の隔たりを表す。以上の考察をもとに、マッチングを評
価する別の評価式であるエネルギーＤ_fは次式で定ま
る。

【００４３】

【数１３】［１．３．２．３］写像の総エネルギー写像の総エネルギー、すなわち複数の評価式の統合に係
る総合評価式はλＣ^(m ^,s) _f＋Ｄ^(m,s) _fで定義される。こ
こで係数パラメータλは０以上の実数である。目的は総
合評価式が極値をとる状態を検出すること、すなわち次
式で示す最小エネルギーを与える写像を見いだすことで
ある。

【００４４】

【数１４】 λ＝０及びη＝０の場合、写像は単位写像になることに
注意すべきである（すなわち、全てのｉ＝０，…，２^m
−１及びｊ＝０，…，２^m−１に対してｆ^(m,s)（ｉ，
ｊ）＝（ｉ，ｊ）となる）。後述のごとく、本実施の形
態では最初にλ＝０及びη＝０の場合を評価するため、
写像を単位写像から徐々に変形していくことができる。
仮に総合評価式のλの位置を変えてＣ^(m,s) _f＋λＤ
^(m,s) _fと定義したとすれば、λ＝０及びη＝０の場合に
総合評価式がＣ^(m,s) _fだけになり、本来何等関連のない
画素どうしが単に輝度が近いというだけで対応づけら
れ、写像が無意味なものになる。そうした無意味な写像
をもとに写像を変形していってもまったく意味をなさな
い。このため、単位写像が評価の開始時点で最良の写像
として選択されるよう係数パラメータの与えかたが配慮
されている。

【００４５】オプティカルフローもこの実施の形態同
様、画素の輝度の差と滑らかさを考慮する。しかし、オ
プティカルフローは画像の変換に用いることはできな
い。オブジェクトの局所的な動きしか考慮しないためで
ある。実施の形態に係る特異点フィルタを用いることに
よって大域的な対応関係を検出することができる。

【００４６】［１．３．３］多重解像度の導入による写
像の決定最小エネルギーを与え、全単射条件を満足する写像ｆ
_minを多重解像度の階層を用いて求める。各解像度レベ
ルにおいて始点副画像及び終点副画像間の写像を計算す
る。解像度の階層の最上位（最も粗いレベル）からスタ
ートし、各解像度レベルの写像を、他のレベルの写像を
考慮に入れながら決定する。各レベルにおける写像の候
補の数は、より高い、つまりより粗いレベルの写像を用
いることによって制限される。より具体的には、あるレ
ベルにおける写像の決定に際し、それよりひとつ粗いレ
ベルにおいて求められた写像が一種の拘束条件として課
される。

【００４７】まず、

【数１５】が成り立つとき、ｐ^(m-1,s) _(i',j')、ｑ^(m-1,s) _(i',j')
をそれぞれｐ^(m,s) _(i,j)、ｑ^(m,s) _(i,j)のｐａｒｅｎｔ
と呼ぶことにする。［ｘ］はｘを越えない最大整数であ
る。またｐ^(m,s) _(i,j)、ｑ^(m,s) _(i,j)をそれぞれｐ
^(m-1,s) _(i',j')、ｑ^(m ^-1,s) _(i',j')のｃｈｉｌｄと呼
ぶ。関数ｐａｒｅｎｔ（ｉ，ｊ）は次式で定義される。

【００４８】

【数１６】ｐ^(m,s) _(i,j)とｑ^(m,s) _(k,l)の間の写像ｆ^(m,s)は、エ
ネルギー計算を行って最小になったものを見つけること
で決定される。ｆ^(m,s)（ｉ，ｊ）＝（ｋ，ｌ）の値は
ｆ^(m-1,s)（ｍ＝１，２，…，ｎ）を用いることによっ
て、以下のように決定される。まず、ｑ^(m,s) _(k,l)は次
の四辺形の内部になければならないという条件を課し、
全単射条件を満たす写像のうち現実性の高いものを絞り
込む。

【００４９】

【数１７】ただしここで、

【数１８】である。こうして定めた四辺形を、以下ｐ^(m,s) _(i,j)の
相続（inherited）四辺形と呼ぶことにする。相続四辺
形の内部において、エネルギーを最小にする画素を求め
る。

【００５０】図３は以上の手順を示している。同図にお
いて、始点画像のＡ，Ｂ，Ｃ，Ｄの画素は、第ｍ−１レ
ベルにおいてそれぞれ終点画像のＡ’，Ｂ’，Ｃ’，
Ｄ’へ写影される。画素ｐ^(m,s) _(i,j)は、相続四辺形
Ａ’Ｂ’Ｃ’Ｄ’の内部に存在する画素ｑ^(m,s)
_f(m)(i,j)へ写影されなければならない。以上の配慮に
より、第ｍ−１レベルの写像から第ｍレベルの写像への
橋渡しがなされる。

【００５１】先に定義したエネルギーＥ₀は、第ｍレベ
ルにおける副写像ｆ^(m,0)を計算するために、次式に置
き換える。

【００５２】

【数１９】また、副写像ｆ^(m,s)を計算するためには次式を用い
る。

【００５３】

【数２０】こうしてすべての副写像のエネルギーを低い値に保つ写
像が得られる。式２０により、異なる特異点に対応する
副写像が、副写像どうしの類似度が高くなるように同一
レベル内で関連づけられる。式１９は、ｆ^(m,s)（ｉ，
ｊ）と、第ｍ−１レベルの画素の一部と考えた場合の
（ｉ，ｊ）が射影されるべき点の位置との距離を示して
いる。

【００５４】仮に、相続四辺形Ａ’Ｂ’Ｃ’Ｄ’の内部
に全単射条件を満たす画素が存在しない場合は以下の措
置をとる。まず、Ａ’Ｂ’Ｃ’Ｄ’の境界線からの距離
がＬ（始めはＬ＝１）である画素を調べる。それらのう
ち、エネルギーが最小になるものが全単射条件を満たせ
ば、これをｆ^(m,s)（ｉ，ｊ）の値として選択する。そ
のような点が発見されるか、またはＬがその上限のＬ
^(m)ｍａｘに到達するまで、Ｌを大きくしていく。Ｌ^(m)
ｍａｘは各レベルｍに対して固定である。そのような点
が全く発見されない場合、全単射の第３の条件を一時的
に無視して変換先の四辺形の面積がゼロになるような写
像も認め、ｆ^(m,s)（ｉ，ｊ）を決定する。それでも条
件を満たす点が見つからない場合、つぎに全単射の第１
及び第２条件を外す。

【００５５】多重解像度を用いる近似法は、写像が画像
の細部に影響されることを回避しつつ、画像間の大域的
な対応関係を決定するために必須である。多重解像度に
よる近似法を用いなければ、距離の遠い画素間の対応関
係を見いだすことは不可能である。その場合、画像のサ
イズはきわめて小さなものに限定しなければならず、変
化の小さな画像しか扱うことができない。さらに、通常
写像に滑らかさを要求するため、そうした画素間の対応
関係を見つけにくくしている。距離のある画素から画素
への写像のエネルギーは高いためである。多重解像度を
用いた近似法によれば、そうした画素間の適切な対応関
係を見いだすことができる。それらの距離は、解像度の
階層の上位レベル（粗いレベル）において小さいためで
ある。

【００５６】［１．４］最適なパレメータ値の自動決定既存のマッチング技術の主な欠点のひとつに、パレメー
タ調整の困難さがある。大抵の場合、パラメータの調整
は人手作業によって行われ、最適な値を選択することは
きわめて難しい。実施の形態に係る方法によれば、最適
なパラメータ値を完全に自動決定することができる。

【００５７】実施の形態に係るシステムはふたつのパレ
メータ、λ及びηを含む。端的にいえば、λは画素の輝
度の差の重みであり、ηは写像の剛性を示している。こ
れらのパラメータの値は初期値が０であり、まずη＝０
に固定してλを０から徐々に増加させる。λの値を大き
くしながら、しかも総合評価式（式１４）の値を最小に
する場合、各副写像に関するＣ^(m,s) _fの値は一般に小さ
くなっていく。このことは基本的にふたつの画像がより
マッチしなければならないことを意味する。しかし、λ
が最適値を超えると以下の現象が発生する。

【００５８】１．本来対応すべきではない画素どうし
が、単に輝度が近いというだけで誤って対応づけられ
る。２．その結果、画素どうしの対応関係がおかしくなり、
写像がくずれはじめる。

【００５９】３．その結果、式１４においてＤ^(m,s) _fが
急激に増加しようとする。４．その結果、式１４の値が急激に増加しようとするた
め、Ｄ^(m,s) _fの急激な増加を抑制するようｆ^(m,s)が変
化し、その結果Ｃ^(m,s) _fが増加する。したがって、λを
増加させながら式１４が最小値をとるという状態を維持
しつつＣ^(m,s) _fが減少から増加に転じる閾値を検出し、
そのλをη＝０における最適値とする。つぎにηを少し
づつ増やしてＣ^(m,s) _fの挙動を検査し、後述の方法でη
を自動決定する。そのηに対応してλも決まる。

【００６０】この方法は、人間の視覚システムの焦点機
構の動作に似ている。人間の視覚システムでは、一方の
目を動かしながら左右両目の画像のマッチングがとられ
る。オブジェクトがはっきりと認識できるとき、その目
が固定される。

【００６１】［１．４．１］λの動的決定 λは０から所定の刻み幅で増加されていき、λの値が変
わる度に副写像が評価される。式１４のごとく、総エネ
ルギーはλＣ^(m,s) _f＋Ｄ^(m,s) _fによって定義される。式
９のＤ^(m,s) _fは滑らかさを表すもので、理論的には単位
写像の場合に最小になり、写像が歪むほどＥ₀もＥ₁も増
加していく。Ｅ₁は整数であるから、Ｄ⁽ ^m,s) _fの最小刻
み幅は１である。このため、現在のλＣ^(m,s) _(i,j)の変
化（減少量）が１以上でなければ、写像を変化させるこ
とによって総エネルギーを減らすことはできない。なぜ
なら、写像の変化に伴ってＤ^(m,s) _fは１以上増加するた
め、λＣ^(m,s) _(i,j)が１以上減少しない限り総エネルギ
ーは減らないためである。

【００６２】この条件のもと、λの増加に伴い、正常な
場合にＣ^(m,s) _(i,j)が減少することを示す。Ｃ^(m,s)
_(i,j)のヒストグラムをｈ（ｌ）と記述する。ｈ（ｌ）
はエネルギーＣ^(m,s) _(i,j)がｌ²である画素の数であ
る。λｌ²≧１が成り立つために、例えばｌ²＝１／λの
場合を考える。λがλ₁からλ₂まで微小量変化すると
き、

【数２１】で示されるＡ個の画素が、

【数２２】のエネルギーを持つより安定的な状態に変化する。ここ
では仮に、これらの画素のエネルギーがすべてゼロにな
ると近似している。この式はＣ^(m,s) _fの値が、

【数２３】だけ変化することを示し、その結果、

【数２４】が成立する。ｈ（ｌ）＞０であるから、通常Ｃ^(m,s) _fは
減少する。しかし、λが最適値を越えようとするとき、
上述の現象、つまりＣ^(m,s) _fの増加が発生する。この現
象を検出することにより、λの最適値を決定する。

【００６３】なお、Ｈ（ｈ＞０）及びｋを定数とすると
き、

【数２５】と仮定すれば、

【数２６】が成り立つ。このときｋ≠−３であれば、

【数２７】となる。これがＣ^(m,s) _fの一般式である（Ｃは定数）。

【００６４】λの最適値を検出する際、さらに安全を見
て、全単射条件を破る画素の数を検査してもよい。ここ
で各画素の写像を決定する際、全単射条件を破る確率を
ｐ₀と仮定する。この場合、

【数２８】が成立しているため、全単射条件を破る画素の数は次式
の率で増加する。

【００６５】

【数２９】従って、

【数３０】は定数である。仮にｈ（ｌ）＝Ｈｌ^kを仮定するとき、
例えば、

【数３１】は定数になる。しかしλが最適値を越えると、上の値は
急速に増加する。この現象を検出し、Ｂ₀λ^3/2+k/2／２
^mの値が異常値Ｂ_0thresを越えるかどうかを検査し、λ
の最適値を決定することができる。同様に、Ｂ₁λ
^3/2+k/2／２^mの値が異常値Ｂ_1thresを越えるかどうかを
検査することにより、全単射の第３の条件を破る画素の
増加率Ｂ₁を確認する。ファクター２^mを導入する理由は
後述する。このシステムはこれら２つの閾値に敏感では
ない。これらの閾値は、エネルギーＣ^(m ^,s) _fの観察では
検出し損なった写像の過度の歪みを検出するために用い
ることができる。

【００６６】なお実験では、副写像ｆ^(m,s)を計算する
際、もしλが０．１を越えたらｆ^(m, ^s)の計算は止めて
ｆ^(m,s+1)の計算に移行した。λ＞０．１のとき、画素
の輝度２５５レベル中のわずか「３」の違いが副写像の
計算に影響したためであり、λ＞０．１のとき正しい結
果を得ることは困難だったためである。

【００６７】［１．４．２］ヒストグラムｈ（ｌ）Ｃ^(m,s) _fの検査はヒストグラムｈ（ｌ）に依存しない。
全単射及びその第３の条件の検査の際、ｈ（ｌ）に影響
を受けうる。実際に（λ，Ｃ^(m,s) _f）をプロットする
と、ｋは通常１付近にある。実験ではｋ＝１を用い、Ｂ
₀λ²とＢ₁λ²を検査した。仮にｋの本当の値が１未満で
あれば、Ｂ₀λ²とＢ₁λ²は定数にならず、ファクターλ
^(1-k)/2に従って徐々に増加する。ｈ（ｌ）が定数であ
れば、例えばファクターはλ^1/2である。しかし、こう
した差は閾値Ｂ_0thresを正しく設定することによって吸
収することができる。

【００６８】ここで次式のごとく始点画像を中心が（ｘ
₀，ｙ₀）、半径ｒの円形のオブジェクトであると仮定す
る。

【００６９】

【数３２】一方、終点画像は、次式のごとく中心（ｘ₁，ｙ₁）、半
径がｒのオブジェクトであるとする。

【００７０】

【数３３】ここでｃ（ｘ）はｃ（ｘ）＝ｘ^kの形であるとする。中
心（ｘ₀，ｙ₀）及び（ｘ₁，ｙ₁）が十分遠い場合、ヒス
トグラムｈ（ｌ）は次式の形となる。

【００７１】

【数３４】ｋ＝１のとき、画像は背景に埋め込まれた鮮明な境界線
を持つオブジェクトを示す。このオブジェクトは中心が
暗く、周囲にいくに従って明るくなる。ｋ＝−１のと
き、画像は曖昧な境界線を持つオブジェクトを表す。こ
のオブジェクトは中心が最も明るく、周囲にいくに従っ
て暗くなる。一般のオブジェクトはこれらふたつのタイ
プのオブジェクトの中間にあると考えてもさして一般性
を失わない。したがって、ｋは−１≦ｋ≦１として大抵
の場合をカバーでき、式２７が一般に減少関数であるこ
とが保障される。

【００７２】なお、式３４からわかるように、ｒは画像
の解像度に影響されること、すなわちｒは２^mに比例す
ることに注意すべきである。このために［１．４．１］
においてファクター２^mを導入した。

【００７３】［１．４．３］ηの動的決定パラメータηも同様の方法で自動決定できる。はじめに
η＝０とし、最も細かい解像度における最終的な写像ｆ
⁽ⁿ⁾及びエネルギーＣ⁽ⁿ⁾ _fを計算する。つづいて、ηを
ある値Δηだけ増加させ、再び最も細かい解像度におけ
る最終写像ｆ⁽ⁿ ⁾及びエネルギーＣ⁽ⁿ⁾ _fを計算し直す。
この過程を最適値が求まるまで続ける。ηは写像の剛性
を示す。次式の重みだからである。

【００７４】

【数３５】 ηが０のとき、Ｄ⁽ⁿ⁾ _fは直前の副写像と無関係に決定さ
れ、現在の副写像は弾性的に変形され、過度に歪むこと
になる。一方、ηが非常に大きな値のとき、Ｄ⁽ⁿ⁾ _fは直
前の副写像によってほぼ完全に決まる。このとき副写像
は非常に剛性が高く、画素は同じ場所に射影される。そ
の結果、写像は単位写像になる。ηの値が０から次第に
増えるとき、後述のごとくＣ⁽ⁿ⁾ _fは徐々に減少する。し
かしηの値が最適値を越えると、図４に示すとおり、エ
ネルギーは増加し始める。同図のＸ軸はη、Ｙ軸はＣ_f
である。

【００７５】この方法でＣ⁽ⁿ⁾ _fを最小にする最適なηの
値を得ることができる。しかし、λの場合に比べていろ
いろな要素が計算に影響する結果、Ｃ⁽ⁿ⁾ _fは小さく揺ら
ぎながら変化する。λの場合は、入力が微小量変化する
たびに副写像を１回計算しなおすだけだが、ηの場合は
すべての副写像が計算しなおされるためである。このた
め、得られたＣ⁽ⁿ⁾ _fの値が最小であるかどうかを即座に
判断することはできない。最小値の候補が見つかれば、
さらに細かい区間を設定することによって真の最小値を
探す必要がある。

【００７６】［１．５］スーパーサンプリング画素間の対応関係を決定する際、自由度を増やすため
に、ｆ^(m,s)の値域をＲ×Ｒに拡張することができる
（Ｒは実数の集合）。この場合、終点画像の画素の輝度
が補間され、非整数点、

【数３６】における輝度を持つｆ^(m,s)が提供される。つまりスー
パーサンプリングが行われる。実験では、ｆ^(m,s)は整
数及び半整数値をとることが許され、

【数３７】は、

【数３８】によって与えられた。

【００７７】［１．６］各画像の画素の輝度の正規化始点画像と終点画像がきわめて異なるオブジェクトを含
んでいるとき、写像の計算に元の画素の輝度がそのまま
では利用しにくい。輝度の差が大きいために輝度に関す
るエネルギーＣ^(m,s) _fが大きくなりすぎ、正しい評価が
しずらいためである。

【００７８】例えば、図２０（ａ）と図２０（ｂ）に示
すように人の顔と猫の顔のマッチングをとる場合を考え
る。猫の顔は毛で覆われており、非常に明るい画素と非
常に暗い画素が混じっている。この場合、ふたつの顔の
間の副写像を計算するために、まず副画像を正規化す
る。すなわち、最も暗い画素の輝度を０、最も明るいそ
れを２５５に設定し、他の画素の輝度は線形補間によっ
て求めておく。

【００７９】［１．７］インプリメンテーション始点画像のスキャンに従って計算がリニアに進行する帰
納的な方法を用いる。始めに、１番上の左端の画素
（ｉ，ｊ）＝（０，０）についてｆ^(m,s)の値を決定す
る。次にｉを１ずつ増やしながら各ｆ^(m,s)（ｉ，ｊ）
の値を決定する。ｉの値が画像の幅に到達したとき、ｊ
の値を１増やし、ｉを０に戻す。以降、始点画像のスキ
ャンに伴いｆ^(m,s)（ｉ，ｊ）を決定していく。すべて
の点について画素の対応が決まれば、ひとつの写像ｆ
^(m,s)が決まる。

【００８０】あるｐ_(i,j)について対応点ｑ_f(i,j)が決
まれば、つぎにｐ_(i,j+1)の対応点ｑ_f(i,j+1)が決めら
れる。この際、ｑ_f(i,j+1)の位置は全単射条件を満たす
ために、ｑ_f(i,j)の位置によって制限される。したがっ
て、先に対応点が決まる点ほどこのシステムでは優先度
が高くなる。つねに（０，０）が最も優先される状態が
つづくと、求められる最終の写像に余計な偏向が加わ
る。本実施の形態ではこの状態を回避するために、ｆ
^(m,s)を以下の方法で決めていく。

【００８１】まず（ｓｍｏｄ４）が０の場合、（０，
０）を開始点としｉ及びｊを徐々に増やしながら決めて
いく。（ｓｍｏｄ４）が１の場合、最上行の右端点を
開始点とし、ｉを減少、ｊを増加させながら決めてい
く。（ｓｍｏｄ４）が２のとき、最下行の右端点を開
始点とし、ｉ及びｊを減少させながら決めていく。（ｓ
ｍｏｄ４）が３の場合、最下行の左端点を開始点と
し、ｉを増加、ｊを減少させながら決めていく。解像度
が最も細かい第ｎレベルには副写像という概念、すなわ
ちパラメータｓが存在しないため、仮にｓ＝０及びｓ＝
２であるとしてふたつの方向を連続的に計算した。

【００８２】実際のインプリメンテーションでは、全単
射条件を破る候補に対してペナルティを与えることによ
り、候補（ｋ，ｌ）の中からできる限り全単射条件を満
たすｆ^(m,s)（ｉ，ｊ）（ｍ＝０，…，ｎ）の値を選ん
だ。第３の条件を破る候補のエネルギーＤ（ｋ、ｌ）に
はφを掛け、一方、第１または第２の条件を破る候補に
はψを掛ける。今回はφ＝２、ψ＝１０００００を用い
た。

【００８３】前述の全単射条件のチェックのために、実
際の手続として（ｋ，ｌ）＝ｆ^(m,s ⁾（ｉ，ｊ）を決定
する際に以下のテストを行った。すなわちｆ
^(m,s)（ｉ，ｊ）の相続四辺形に含まれる各格子点
（ｋ，ｌ）に対し、次式の外積のｚ成分が０以上になる
かどうかを確かめる。

【００８４】

【数３９】ただしここで、

【数４０】

【数４１】である（ここでベクトルは三次元ベクトルとし、ｚ軸は
直交右手座標系において定義される）。もしＷが負であ
れば、その候補についてはＤ^(m,s) _(k,l)にψを掛けるこ
とによってペナルティを与え、できるかぎり選択しない
ようにする。

【００８５】図５（ａ）、図５（ｂ）はこの条件を検査
する理由を示している。図５（ａ）はペナルティのない
候補、図５（ｂ）はペナルティがある候補をそれぞれ表
す。隣接画素（ｉ，ｊ＋１）に対する写像ｆ
^(m,s)（ｉ，ｊ＋１）を決定する際、Ｗのｚ成分が負で
あれば始点画像平面上において全単射条件を満足する画
素は存在しない。なぜなら、ｑ^(m,s) _(k,l)は隣接する四
辺形の境界線を越えるためである。

【００８６】［１．７．１］副写像の順序インプリメンテーションでは、解像度レベルが偶数のと
きにはσ（０）＝０、σ（１）＝１、σ（２）＝２、σ
（３）＝３、σ（４）＝０を用い、奇数のときはσ
（０）＝３、σ（１）＝２、σ（２）＝１、σ（３）＝
０、σ（４）＝３を用いた。このことで、副写像を適度
にシャッフルした。なお、本来副写像は４種類であり、
ｓは０〜３のいずれかである。しかし、実際にはｓ＝４
に相当する処理を行った。その理由は後述する。

【００８７】［１．８］補間計算始点画像と終点画像の間の写像が決定された後、対応し
あう画素の輝度が補間される。実験では、トライリニア
補間を用いた。始点画像平面における正方形ｐ_(i,j)ｐ
_(i+1,j)ｐ_(i,j+1)ｐ_(i+1,j+1)が終点画像平面上の四辺
形ｑ_f(i,j)ｑ_f(i+ _1,j)ｑ_f(i,j+1)ｑ_f(i+1,j+1)に射影さ
れると仮定する。簡単のため、画像間の距離を１とす
る。始点画像平面からの距離がｔ（０≦ｔ≦１）である
中間画像の画素ｒ（ｘ，ｙ，ｔ）（０≦ｘ≦Ｎ−１，０
≦ｙ≦Ｍ−１）は以下の要領で求められる。まず画素ｒ
（ｘ，ｙ，ｔ）の位置（ただしｘ，ｙ，ｔ∈Ｒ）を次式
で求める。

【００８８】

【数４２】つづいてｒ（ｘ，ｙ，ｔ）における画素の輝度が次の式
を用いて決定される。

【００８９】

【数４３】ここでｄｘ及びｄｙはパラメータであり、０から１まで
変化する。

【００９０】［１．９］拘束条件を課したときの写像いままでは拘束条件がいっさい存在しない場合の写像の
決定を述べた。しかし、始点画像と終点画像の特定の画
素間に予め対応関係が規定されているとき、これを拘束
条件としたうえで写像を決定することができる。

【００９１】基本的な考えは、まず始点画像の特定の画
素を終点画像の特定の画素に移す大まかな写像によって
始点画像を大まかに変形し、しかる後、写像ｆを正確に
計算する。

【００９２】まず始めに、始点画像の特定の画素を終点
画像の特定の画素に射影し、始点画像の他の画素を適当
な位置に射影する大まかな写像を決める。すなわち、特
定の画素に近い画素は、その特定の画素が射影される場
所の近くに射影されるような写像である。ここで第ｍレ
ベルの大まかな写像をＦ^(m)と記述する。

【００９３】大まかな写像Ｆは以下の要領で決める。ま
ず、いくつかの画素について写像を特定する。始点画像
についてｎ_s個の画素、

【数４４】を特定するとき、以下の値を決める。

【００９４】

【数４５】始点画像の他の画素の変位量は、ｐ_(ih,jh)（ｈ＝０，
…，ｎ_s−１）の変位に重み付けをして求められる平均
である。すなわち画素ｐ_(i,j)は、終点画像の以下の画
素に射影される。

【００９５】

【数４６】ただしここで、

【数４７】

【数４８】とする。

【００９６】つづいて、Ｆ^(m)に近い候補写像ｆがより
少ないエネルギーを持つように、その写像ｆのエネルギ
ーＤ^(m,s) _(i,j)を変更する。正確には、Ｄ
^(m,s) _(i,j)は、

【数４９】である。ただし、

【数５０】であり、κ，ρ≧０とする。最後に、前述の写像の自動
計算プロセスにより、ｆを完全に決定する。

【００９７】ここで、ｆ^(m,s)（i,j)がＦ^(m)（i,j）に
十分近いとき、つまりそれらの距離が、

【数５１】以内であるとき、Ｅ₂ ^(m,s) _(i,j)が０になることに注意
すべきである。そのように定義した理由は、各ｆ^(m,s)
（i,j)がＦ^(m)（i,j)に十分近い限り、終点画像におい
て適切な位置に落ち着くよう、その値を自動的に決めた
いためである。この理由により、正確な対応関係を詳細
に特定する必要がなく、始点画像は終点画像にマッチす
るように自動的にマッピングされる。

【００９８】［２］具体的な処理手順［１］の各要素技術による処理の流れを説明する。図６
は実施の形態の全体手順を示すフローチャートである。
同図のごとく、まず多重解像度特異点フィルタを用いた
処理を行い（Ｓ１）、つづいて始点画像と終点画像のマ
ッチングをとる（Ｓ２）。ただし、Ｓ２は必須ではな
く、Ｓ１で得られた画像の特徴をもとに画像認識などの
処理を行ってもよい。

【００９９】図７は図６のＳ１の詳細を示すフローチャ
ートである。ここではＳ２で始点画像と終点画像のマッ
チングをとることを前提としている。そのため、まず特
異点フィルタによって始点画像の階層化を行い（Ｓ１
０）、一連の始点階層画像を得る。つづいて同様の方法
で終点画像の階層化を行い（Ｓ１１）、一連の終点階層
画像を得る。ただし、Ｓ１０とＳ１１の順序は任意であ
るし、始点階層画像と終点階層画像を並行して生成して
いくこともできる。

【０１００】図８は図７のＳ１０の詳細を示すフローチ
ャートである。もとの始点画像のサイズは２ⁿ×２ⁿとす
る。始点階層画像は解像度が細かいほうから順に作られ
るため、処理の対象となる解像度レベルを示すパラメー
タｍをｎにセットする（Ｓ１００）。つづいて第ｍレベ
ルの画像ｐ^(m,0)、ｐ^(m,1)、ｐ^(m,2)、ｐ^(m,3)から特異
点フィルタを用いて特異点を検出し（Ｓ１０１）、それ
ぞれ第ｍ−１レベルの画像ｐ^(m-1,0)、ｐ^(m-1,1)、ｐ
^(m-1,2)、ｐ^(m-1,3)を生成する（Ｓ１０２）。ここでは
ｍ＝ｎであるため、ｐ^(m,0)＝ｐ^(m,1)＝ｐ^(m,2)＝ｐ
^(m,3)＝ｐ⁽ⁿ⁾であり、ひとつの始点画像から４種類の副
画像が生成される。

【０１０１】図９は第ｍレベルの画像の一部と、第ｍ−
１レベルの画像の一部の対応関係を示している。同図の
数値は各画素の輝度を示す。同図のｐ^(m,s)はｐ^(m,0)〜
ｐ^(m ^,3)の４つの画像を象徴するもので、ｐ^(m-1,0)を生
成する場合には、ｐ^(m,s)はｐ^(m,0)であると考える。
［１．２］で示した規則により、ｐ^(m-1,0)は例えば同
図で輝度を記入したブロックについて、そこに含まれる
４画素のうち「３」、ｐ^(m-1,1)は「８」、ｐ^(m-1,2)は
「６」、ｐ^(m-1,3)を「１０」をそれぞれ取得し、この
ブロックをそれぞれ取得したひとつの画素で置き換え
る。したがって、第ｍ−１レベルの副画像のサイズは２
^m-1×２^m-1になる。

【０１０２】つづいてｍをデクリメントし（図８のＳ１
０３）、ｍが負になっていないことを確認し（Ｓ１０
４）、Ｓ１０１に戻ってつぎに解像度の粗い副画像を生
成していく。この繰り返し処理の結果、ｍ＝０、すなわ
ち第０レベルの副画像が生成された時点でＳ１０が終了
する。第０レベルの副画像のサイズは１×１である。

【０１０３】図１０はＳ１０によって生成された始点階
層画像をｎ＝３の場合について例示している。最初の始
点画像のみが４つの系列に共通であり、以降特異点の種
類に応じてそれぞれ独立に副画像が生成されていく。な
お、図８の処理は図７のＳ１１にも共通であり、同様の
手順を経て終点階層画像も生成される。以上で図６のＳ
１による処理が完了する。

【０１０４】実施の形態では、図６のＳ２に進むために
マッチング評価の準備をする。図１１はその手順を示し
ている。同図のごとく、まず複数の評価式が設定される
（Ｓ３０）。［１．３．２．１］で導入した画素に関す
るエネルギーＣ^(m,s) _fと［１．３．２．２］で導入した
写像の滑らかさに関するエネルギーＤ^(m,s) _fがそれであ
る。つぎに、これらの評価式を統合して総合評価式を立
てる（Ｓ３１）。［１．３．２．３］で導入した総エネ
ルギーλＣ^(m,s) _f＋Ｄ^(m,s) _fがそれであり、［１．３．
２．２］で導入したηを用いれば、ΣΣ（λＣ^(m,s)
_(i,j)＋ηＥ₀ ^(m,s) _(i,j)＋Ｅ₁ ^(m,s) _(i,j)）（式５
２）となる。ただし、総和はｉ、ｊについてそれぞれ
０、１…、２^m−１で計算する。以上でマッチング評価
の準備が整う。

【０１０５】図１２は図６のＳ２の詳細を示すフローチ
ャートである。［１］で述べたごとく、始点階層画像と
終点階層画像のマッチングは互いに同じ解像度レベルの
画像どうしでとられる。画像間の大域的なマッチングを
良好にとるために、解像度が粗いレベルから順にマッチ
ングを計算する。特異点フィルタを用いて始点階層画像
および終点階層画像を生成しているため、特異点の位置
や輝度は解像度の粗いレベルでも明確に保存されてお
り、大域的なマッチングの結果は従来に比べて非常に優
れたものになる。

【０１０６】図１２のごとく、まず係数パラメータηを
０、レベルパラメータｍを０に設定する（Ｓ２０）。つ
づいて、始点階層画像中の第ｍレベルの４つの副画像と
終点階層画像中の第ｍレベルの４つの副画像のそれぞれ
の間でマッチングを計算し、それぞれ全単射条件を満た
し、かつエネルギーを最小にするような４種類の副写像
ｆ^(m,s)（ｓ＝０，１，２，３）を求める（Ｓ２１）。
全単射条件は［１．３．３］で述べた相続四辺形を用い
て検査される。この際、式１７、１８が示すように、第
ｍレベルにおける副写像は第ｍ−１レベルのそれらに拘
束されるため、より解像度の粗いレベルにおけるマッチ
ングが順次利用されていく。これは異なるレベル間の垂
直的参照である。なお、いまｍ＝０であってそれより粗
いレベルはないが、この例外的な処理は図１３で後述す
る。

【０１０７】一方、同一レベル内における水平的参照も
行われる。［１．３．３］の式２０のごとく、ｆ^(m,3)
はｆ^(m,2)に、ｆ^(m,2)はｆ^(m,1)に、ｆ^(m,1)はｆ^(m,0)
に、それぞれ類似するように決める。その理由は、特異
点の種類が違っても、それらがもともと同じ始点画像と
終点画像に含まれている以上、副写像がまったく異なる
という状況は不自然だからである。式２０からわかるよ
うに、副写像どうしが近いほどエネルギーは小さくな
り、マッチングが良好とみなされる。

【０１０８】なお、最初に決めるべきｆ^(m,0)について
は同一のレベルで参照できる副写像がないため、式１９
に示すごとくひとつ粗いレベルを参照する。ただし、実
験ではｆ^(m,3)まで求まった後、これを拘束条件として
ｆ^(m,0)を一回更新するという手続をとった。これは式
２０にｓ＝４を代入し、ｆ^(m,4)を新たなｆ^(m,0)とする
ことに等しい。ｆ^(m,0)とｆ^(m,3)の関連度が低くなり過
ぎる傾向を回避するためであり、この措置によって実験
結果がより良好になった。この措置に加え、実験では
［１．７．１］に示す副写像のシャッフルも行った。こ
れも本来特異点の種類ごとに決まる副写像どうしの関連
度を密接に保つ趣旨である。また、処理の開始点に依存
する偏向を回避するために、ｓの値にしたがって開始点
の位置を変える点は［１．７］で述べたとおりである。

【０１０９】図１３は第０レベルにおいて副写像を決定
する様子を示す図である。第０レベルでは各副画像がた
だひとつの画素で構成されるため、４つの副写像^f(0,s)
はすべて自動的に単位写像に決まる。図１４は第１レベ
ルにおいて副写像を決定する様子を示す図である。第１
レベルでは副画像がそれぞれ４画素で構成される。同図
ではこれら４画素が実線で示されている。いま、ｐ
^(1,s)の点ｘの対応点をｑ⁽ ^1,s)の中で探すとき、以下の
手順を踏む。

【０１１０】１．第１レベルの解像度で点ｘの左上点
ａ、右上点ｂ、左下点ｃ、右下点ｄを求める。２．点ａ〜ｄがひとつ粗いレベル、つまり第０レベルに
おいて属する画素を探す。図１４の場合、点ａ〜ｄはそ
れぞれ画素Ａ〜Ｄに属する。ただし、画素Ａ〜Ｃは本来
存在しない仮想的な画素である。３．第０レベルですでに求まっている画素Ａ〜Ｄの対応
点Ａ’〜Ｄ’をｑ^(1,s ⁾の中にプロットする。画素Ａ’
〜Ｃ’は仮想的な画素であり、それぞれ画素Ａ〜Ｃと同
じ位置にあるものとする。４．画素Ａの中の点ａの対応点ａ’が画素Ａ’の中にあ
るとみなし、点ａ’をプロットする。このとき、点ａが
画素Ａの中で占める位置（この場合、右下）と、点ａ’
が画素Ａ’の中で占める位置が同じであると仮定する。５．４と同様の方法で対応点ｂ’〜ｄ’をプロットし、
点ａ’〜ｄ’で相続四辺形を作る。６．相続四辺形の中でエネルギーが最小になるよう、点
ｘの対応点ｘ’を探す。対応点ｘ’の候補として、例え
ば画素の中心が相続四辺形に含まれるものに限定しても
よい。図１４の場合、４つの画素がすべて候補になる。

【０１１１】以上がある点ｘの対応点の決定手順であ
る。同様の処理を他のすべての点について行い、副写像
を決める。第２レベル以上のレベルでは、次第に相続四
辺形の形が崩れていくと考えられるため、図３に示すよ
うに画素Ａ’〜Ｄ’の間隔が空いていく状況が発生す
る。

【０１１２】こうして、ある第ｍレベルの４つの副写像
が決まれば、ｍをインクリメントし（図１２のＳ２
２）、ｍがｎを超えていないことを確かめて（Ｓ２
３）、Ｓ２１に戻る。以下、Ｓ２１に戻るたびに次第に
細かい解像度のレベルの副写像を求め、最後にＳ２１に
戻ったときに第ｎレベルの写像ｆ⁽ⁿ⁾を決める。この写
像はη＝０に関して定まったものであるから、ｆ
⁽ⁿ⁾（η＝０）と書く。

【０１１３】つぎに異なるηに関する写像も求めるべ
く、ηをΔηだけシフトし、ｍをゼロクリアする（Ｓ２
４）。新たなηが所定の探索打切り値η_maxを超えてい
ないことを確認し（Ｓ２５）、Ｓ２１に戻り、今回のη
に関して写像ｆ⁽ⁿ⁾（η＝Δη）を求める。この処理を
繰り返し、Ｓ２１でｆ⁽ⁿ⁾（η＝ｉΔη）（ｉ＝０，
１，…）を求めていく。ηがη_maxを超えたときＳ２６
に進み、後述の方法で最適なη＝η_optを決定し、ｆ⁽ⁿ⁾
（η＝η_opt）を最終的に写像ｆ⁽ⁿ⁾とする。

【０１１４】図１５は図１２のＳ２１の詳細を示すフロ
ーチャートである。このフローチャートにより、ある定
まったηについて、第ｍレベルにおける副写像が決ま
る。副写像を決める際、実施の形態では副写像ごとに最
適なλを独立して決める。

【０１１５】同図のごとく、まずｓとλをゼロクリアす
る（Ｓ２１０）。つぎに、そのときのλについて（およ
び暗にηについて）エネルギーを最小にする副写像ｆ
^(m,s)を求め（Ｓ２１１）、これをｆ^(m,s)（λ＝０）と
書く。異なるλに関する写像も求めるべく、λをΔλだ
けシフトし、新たなλが所定の探索打切り値λ_maxを超
えていないことを確認し（Ｓ２１３）、Ｓ２１１に戻
り、以降の繰り返し処理でｆ^(m,s)（λ＝ｉΔλ）（ｉ
＝０，１，…）を求める。λがλ_maxを超えたときＳ２
１４に進み、最適なλ＝λ_optを決定し、ｆ^(m,s)（λ＝
λ_opt）を最終的に写像ｆ^(m,s)とする（Ｓ２１４）。

【０１１６】つぎに、同一レベルにおける他の副写像を
求めるべく、λをゼロクリアし、ｓをインクリメントす
る（Ｓ２１５）。ｓが４を超えていないことを確認し
（Ｓ２１６）、Ｓ２１１に戻る。ｓ＝４になれば上述の
ごとくｆ^(m,3)を利用してｆ^(m, ⁰⁾を更新し、そのレベル
における副写像の決定を終了する。

【０１１７】図１６は、あるｍとｓについてλを変えな
がら求められたｆ^(m,s)（λ＝ｉΔλ）（ｉ＝０，１，
…）に対応するエネルギーＣ^(m,s) _fの挙動を示す図であ
る。［１．４］で述べたとおり、λが増加すると通常Ｃ
^(m,s) _fは減少する。しかし、λが最適値を超えるとＣ
^(m,s) _fは増加に転じる。そこで本実施の形態ではＣ^(m,s
⁾ _fが極小値をとるときのλをλ_optと決める。同図のよ
うにλ＞λ_optの範囲で再度Ｃ^(m,s) _fが小さくなってい
っても、その時点ではすでに写像がくずれていて意味を
なさないため、最初の極小点に注目すればよい。λ_opt
は副写像ごとに独立して決めていき、最後にｆ⁽ⁿ⁾につ
いてもひとつ定まる。

【０１１８】一方、図１７は、ηを変えながら求められ
たｆ⁽ⁿ⁾（η＝ｉΔη）（ｉ＝０，１，…）に対応する
エネルギーＣ⁽ⁿ⁾ _fの挙動を示す図である。ここでもηが
増加すると通常Ｃ⁽ⁿ⁾ _fは減少するが、ηが最適値を超え
るとＣ⁽ⁿ⁾ _fは増加に転じる。そこでＣ⁽ⁿ⁾ _fが極小値をと
るときのηをη_optと決める。図１７は図４の横軸のゼ
ロ付近を拡大した図と考えてよい。η_optが決まればｆ
⁽ⁿ⁾を最終決定することができる。

【０１１９】以上、本実施の形態によれば種々のメリッ
トが得られる。まずエッジを検出する必要がないため、
エッジ検出タイプの従来技術の課題を解消できる。ま
た、画像に含まれるオブジェクトに対する先験的な知識
も不要であり、対応点の自動検出が実現する。特異点フ
ィルタによれば、解像度の粗いレベルでも特異点の輝度
や位置を維持することができ、オブジェクト認識、特徴
抽出、画像マッチングに極めて有利である。その結果、
人手作業を大幅に軽減する画像処理システムの構築が可
能となる。

【０１２０】なお、本実施の形態について次のような変
形技術も考えられる。

【０１２１】（１）実施の形態では始点階層画像と終点
階層画像の間でマッチングをとる際にパラメータの自動
決定を行ったが、この方法は階層画像間ではなく、通常
の２枚の画像間のマッチングをとる場合全般に利用でき
る。

【０１２２】たとえば２枚の画像間で、画素の輝度の差
に関するエネルギーＥ₀と画素の位置的なずれに関する
エネルギーＥ₁のふたつを評価式とし、これらの線形和
Ｅ_tot＝αＥ₀＋Ｅ₁を総合評価式とする。この総合評価
式の極値付近に注目してαを自動決定する。つまり、い
ろいろなαについてＥ_totが最小になるような写像を求
める。それらの写像のうち、αに関してＥ₁が極小値を
とるときのαを最適パラメータと決める。そのパラメー
タに対応する写像を最終的に両画像間の最適マッチング
とみなす。

【０１２３】これ以外にも評価式の設定にはいろいろな
方法があり、例えば１／Ｅ₁と１／Ｅ₂のように、評価結
果が良好なほど大きな値をとるものを採用してもよい。
総合評価式も必ずしも線形和である必要はなく、ｎ乗和
（ｎ＝２、１／２、−１、−２など）、多項式、任意の
関数などを適宜選択すればよい。

【０１２４】パラメータも、αのみ、実施の形態のごと
くηとλのふたつの場合、それ以上の場合など、いずれ
でもよい。パラメータが３以上の場合はひとつずつ変化
させて決めていく。

【０１２５】（２）本実施の形態では、総合評価式の値
が最小になるよう写像を決めた後、総合評価式を構成す
るひとつの評価式であるＣ^(m,s) _fが極小になる点を検出
してパラメータを決定した。しかし、こうした二段回処
理の代わりに、状況によっては単に総合評価式の最小値
が最小になるようにパラメータを決めても効果的であ
る。その場合、例えばαＥ₀＋βＥ₁を総合評価式とし、
α＋β＝１なる拘束条件を設けて各評価式を平等に扱う
などの措置を講じてもよい。パラメータの自動決定の本
質は、エネルギーが最小になるようにパラメータを決め
ていく点にあるからである。

【０１２６】（３）実施の形態では各解像度レベルで４
種類の特異点に関する４種類の副画像を生成した。しか
し、当然４種類のうち１、２、３種類を選択的に用いて
もよい。例えば、画像中に明るい点がひとつだけ存在す
る状態であれば、極大点に関するｆ^(m,3)だけで階層画
像を生成しても相応の効果が得られるはずである。その
場合、同一レベルで異なる副写像は不要になるため、ｓ
に関する計算量が減る効果がある。

【０１２７】（４）本実施の形態では特異点フィルタに
よってレベルがひとつ進むと画素が１／４になった。例
えば３×３で１ブロックとし、その中で特異点を探す構
成も可能であり、その場合、レベルがひとつ進むと画素
は１／９になる。

【０１２８】（５）始点画像と終点画像がカラーの場
合、それらをまず白黒画像に変換し、写像を計算する。
その結果求められた写像を用いて始点のカラー画像を変
換する。それ以外の方法として、ＲＧＢの各成分につい
て副写像を計算してもよい。

【０１２９】［４］実験の結果この実施の形態を用いて様々な画像を補間することがで
きる。異なるふたつの視点からの画像を補間すると、中
間視点からの画像を生成することができる。これはＷＷ
Ｗにおいてきわめて有利である。なぜなら、限られた数
の画像から任意の視点画像を生成できるからである。ふ
たりの人の顔の画像を補間すれば、モーフィングを行う
ことができる。ＣＴまたはＭＲＩのデータのように三次
元オブジェクトの断面データ画像を用いれば、補間の結
果ボリュームレンダリングのための三次元オブジェクト
の正確な形状を再構築することができる。

【０１３０】図１８（ａ）、図１８（ｂ）、図１８
（ｃ）は、写像が中間視点画像を生成するために用いら
れた場合を示している。ここでは右目画像と左目画像が
補間された。図１８（ａ）は左目から見た始点画像、図
１８（ｂ）は右目から見た始点画像、図１８（ｃ）は簡
単のために［１．８］においてｔの値を０．５としたと
きの中間画像をそれぞれ示している。

【０１３１】図１９（ａ）、図１９（ｂ）、図１９
（ｃ）、図１９（ｄ）は、写像を用いて人間の顔のモー
フィングを行った場合を示している。ここではふたりの
顔を補間した。図１９（ａ）は始点画像、図１９（ｂ）
は終点画像、図１９（ｃ）は終点画像に始点画像を重ね
合わせた画像、図１９（ｄ）はｔ＝０．５のときの中間
画像をそれぞれ示している。

【０１３２】図２０（ａ）、図２０（ｂ）は、人と猫の
顔の補間に写像を用いた場合を示している。図２０
（ａ）は猫の顔、図２０（ｂ）は人の顔と猫の顔のモー
フィング画像をそれぞれ示している。人の顔として図１
９（ａ）の画像を用いた。［１．６］で説明した輝度の
正規化はこの例においてのみ用いられている。

【０１３３】図２１（ａ）、図２１（ｂ）、図２１
（ｃ）は、数多くのオブジェクトを含む画像に対して今
回の方法を適応した例を示している。図２１（ａ）は始
点画像、図２１（ｂ）は終点画像、図２１（ｃ）はｔ＝
０．５のときの中間画像をそれぞれ示す。

【０１３４】図２２（ａ）、図２２（ｂ）、図２２
（ｃ）、図２２（ｄ）は、ＭＲＩによって得られた人間
の脳の断面画像を補間するために写像を用いた結果を示
している。図２２（ａ）は始点画像、図２２（ｂ）は終
点画像（上部断面）、図２２（ｃ）はｔ＝０．５の場合
の中間画像をそれぞれ示している。また図２２（ｄ）は
四つの断面画像を用いてボリュームレンダリングを行っ
た結果を斜め方向から見た様子を示す。オブジェクトは
完全に不透明であり、補間の結果輝度が５１（＝２５５
×０．２）以上となった画素のみが表示されている。再
構築されたオブジェクトは中心付近で垂直にカットさ
れ、その内部が示されている。

【０１３５】これらの例において、ＭＲＩの画像は２５
６×２５６画素、それ以外の画像は全て５１２×５１２
画素である。画素の輝度は０〜２５５のいずれかの値を
とる。［１．３．１］で説明した付加条件は、図２１
（ａ）〜図２１（ｃ）の場合を除き、すべての例で用い
られている。これら全ての例においてＢ_0thres＝０．０
０３及びＢ_1thres＝０．５が用いられ、これらの値を変
更する必要は全くなかった。各副画像の画素の輝度は図
２０（ａ）、図２０（ｂ）の場合のみ、正規化された。

【図面の簡単な説明】

【図１】図１（ａ）とは図１（ｂ）は、ふたりの人物
の顔に平均化フィルタを施して得られる画像、図１
（ｃ）と図１（ｄ）は、ふたりの人物の顔に関して実施
の形態で求められるｐ^(5,0)の画像、図１（ｅ）と図１
（ｆ）は、ふたりの人物の顔に関して実施の形態で求め
られるｐ^(5,1)の画像、図１（ｇ）と図１（ｈ）は、ふ
たりの人物の顔に関して実施の形態で求められるｐ
^(5,2)の画像、図１（ｉ）と図１（ｊ）は、ふたりの人
物の顔に関して実施の形態で求められるｐ^(5,3)の画像
をそれぞれディスプレイ上に表示した中間調画像の写真
である。

【図２】図２（Ｒ）はもとの四辺形を示す図、図２
（Ａ）、図２（Ｂ）、図２（Ｃ）、図２（Ｄ）、図２
（Ｅ）はそれぞれ相続四辺形を示す図である。

【図３】始点画像と終点画像の関係、および第ｍレベ
ルと第ｍ−１レベルの関係を相続四辺形を用いて示す図
である。

【図４】パラメータηとエネルギーＣ_fの関係を示す
図である。

【図５】図５（ａ）、図５（ｂ）は、ある点に関する
写像が全単射条件を満たすか否かを外積計算から求める
様子を示す図である。

【図６】実施の形態の全体手順を示すフローチャート
である。

【図７】図６のＳ１の詳細を示すフローチャートであ
る。

【図８】図７のＳ１０の詳細を示すフローチャートで
ある。

【図９】第ｍレベルの画像の一部と、第ｍ−１レベル
の画像の一部の対応関係を示す図である。

【図１０】実施の形態で生成された始点階層画像を示
す図である。

【図１１】図６のＳ２に進む前に、マッチング評価の
準備の手順を示す図である。

【図１２】図６のＳ２の詳細を示すフローチャートで
ある。

【図１３】第０レベルにおいて副写像を決定する様子
を示す図である。

【図１４】第１レベルにおいて副写像を決定する様子
を示す図である。

【図１５】図１２のＳ２１の詳細を示すフローチャー
トである。

【図１６】あるｆ^(m,s)についてλを変えながら求め
られたｆ^(m,s)（λ＝ｉΔλ）に対応するエネルギーＣ
^(m,s) _fの挙動を示す図である。

【図１７】 ηを変えながら求められたｆ⁽ⁿ⁾（η＝ｉ
Δη）（ｉ＝０，１，…）に対応するエネルギーＣ⁽ⁿ⁾ _f
の挙動を示す図である。

【図１８】図１８（ａ）、図１８（ｂ）、図１８
（ｃ）はそれぞれ、あるオブジェクトに関する左目画
像、右目画像、実施の形態で生成された補間画像をディ
スプレイ上に表示した中間調画像の写真である。

【図１９】図１９（ａ）、図１９（ｂ）、図１９
（ｃ）、図１９（ｄ）はそれぞれ、ある人物の顔、別の
人物の顔、それらの重ね合わせ画像、実施の形態で生成
されたモーフィング画像をディスプレイ上に表示した中
間調画像の写真である。

【図２０】図２０（ａ）、図２０（ｂ）はそれぞれ、
猫の顔、人と猫の顔のモーフィング画像をディスプレイ
上に表示した中間調画像の写真である。

【図２１】図２１（ａ）、図２１（ｂ）、図２１
（ｃ）はそれぞれ、多数のオブジェクトが含まれる左目
画像、右目画像、実施の形態で生成された補間画像をデ
ィスプレイ上に表示した中間調画像の写真である。

【図２２】図２２（ａ）、図２２（ｂ）、図２２
（ｃ）、図２２（ｄ）はそれぞれ、ＭＲに関する始点画
像、終点画像、実施の形態で生成された補間画像、補間
画像をもとに生成されたボリュームリンダリング画像を
ディスプレイ上に表示した中間調画像の写真である。

Claims

【特許請求の範囲】

【請求項１】第一の画像に対し、二次元的な探索を行
って特異点を検出する検出工程と、検出された特異点を抽出して第一の画像よりも解像度の
低い第二の画像を生成する生成工程と、を含むことを特徴とする多重解像度フィルタ処理方法。
【請求項２】請求項１に記載の方法において、検出工程は、第一の画像を構成する複数のブロックのそ
れぞれの内部で特異点を探索する多重解像度フィルタ処
理方法。
【請求項３】請求項２に記載の方法において、検出工程は、各ブロックのふたつの方向について最大画
素値または最小画素値をもつ点を探索することによって
特異点を検出する多重解像度フィルタ処理方法。
【請求項４】請求項３に記載の方法において、検出工程は、前記ふたつの方向の両方について最大画素
値となる画素を極大点として検出する多重解像度フィル
タ処理方法。
【請求項５】請求項３に記載の方法において、検出工程は、前記ふたつの方向の両方について最小画素
値となる画素を極小点として検出する多重解像度フィル
タ処理方法。
【請求項６】請求項３に記載の方法において、検出工程は、前記ふたつの方向の一方について最大画素
値となるとともに、他方について最小画素値となる画素
を鞍点として検出する多重解像度フィルタ処理方法。
【請求項７】請求項３に記載の方法において、前記ブ
ロックはそれぞれ縦横２個ずつの合計４画素から構成さ
れ、これら４画素が極大点、極小点、および二種類の鞍
点のいずれかに分類される多重解像度フィルタ処理方
法。
【請求項８】請求項２〜７のいずれかに記載の方法に
おいて、生成工程は、各ブロックの内部で検出された特異点の画
像でそのブロックの画像を代表させることにより、画像
の解像度を落とす多重解像度フィルタ処理方法。
【請求項９】請求項２〜８のいずれかに記載の方法に
おいて、生成工程は、各ブロックの内部で検出された特異点の種
類ごとに第二の画像を生成する多重解像度フィルタ処理
方法。
【請求項１０】始点画像に多重解像度特異点フィルタ
を施して解像度の異なる一連の始点階層画像を生成する
第一工程と、終点画像に多重解像度特異点フィルタを施して解像度の
異なる一連の終点階層画像を生成する第二工程と、始点階層画像と終点階層画像のマッチングを解像度レベ
ルの階層の中で計算する第三工程と、を含むことを特徴とする画像マッチング方法。
【請求項１１】請求項１０に記載の方法において、第三工程は、始点階層画像中のある解像度レベルの画像
と、終点階層画像中の同一解像度レベルの画像間の写像
を、他の所定の解像度レベルにおける写像を考慮しなが
ら決定する画像マッチング方法。
【請求項１２】請求項１１に記載の方法において、第三工程は、前記写像を決定する際、前記他の所定の解
像度レベルにおける写像を拘束条件として用いる画像マ
ッチング方法。
【請求項１３】請求項１１、１２のいずれかに記載の
方法において、前記所定の解像度レベルは、現在写像を決定しようとし
ている解像度レベルよりも粗い解像度レベルである画像
マッチング方法。
【請求項１４】請求項１３に記載の方法において、前記所定の解像度レベルは、現在写像を決定しようとし
ている解像度レベルよりも１レベルだけ粗い解像度レベ
ルである画像マッチング方法。
【請求項１５】請求項１１〜１４のいずれかに記載の
方法において、第三工程は、まず最も粗い解像度レベルにおいて写像を
決定し、以降、次第に解像度レベルが細かくなる順に写
像を決定していく画像マッチング方法。
【請求項１６】請求項１１〜１５のいずれかに記載の
方法において、第三工程は、全単射条件を満たすよう前記写像を決定す
る画像マッチング方法。
【請求項１７】請求項１６に記載の方法において、第三工程は、全単射条件に緩和条件を加味する画像マッ
チング方法。
【請求項１８】請求項１７に記載の方法において、前記緩和条件は、写像が収縮写像になることを認める旨
の条件である画像マッチング方法。
【請求項１９】請求項１１〜１８のいずれかに記載の
方法において、第一工程および第二工程は、特異点の種類ごとにそれぞ
れ一連の始点階層画像および終点階層画像を生成し、第
三工程は特異点の種類ごとに写像を求める画像マッチン
グ方法。
【請求項２０】請求項１９に記載の方法において、第三工程は、ある特異点に関して写像を求めるとき、同
一の解像度レベルにおいてすでに求められている他の種
類の特異点に関する写像を考慮する画像マッチング方
法。
【請求項２１】請求項２０に記載の方法において、前記他の種類の特異点に関する写像との類似度が高くな
るよう条件を課して写像を求める画像マッチング方法。
【請求項２２】請求項１０〜２１のいずれかに記載の
方法において、第三工程は、複数のマッチング評価項目のそれぞれにつ
いて評価式を設け、それらの評価式を統合して総合評価
式を定義し、その総合評価式の極値付近に注目して最適
マッチングを探索することを特徴とする画像マッチング
方法。
【請求項２３】請求項２２に記載の方法において、前記総合評価式は、評価式の少なくともひとつに係数パ
ラメータを掛けたうえでそれらの評価式の総和として定
義される画像マッチング方法。
【請求項２４】請求項２３に記載の方法において、前記評価式はそれぞれ評価結果が良好なほど値が小さく
なり、前記総合評価式がとりうる極小値が最小になるよ
う前記パラメータが自動決定される画像マッチング方
法。
【請求項２５】請求項２３に記載の方法において、前記評価式はそれぞれ評価結果が良好なほど値が大きく
なり、前記総合評価式がとりうる極大値が最大になるよ
う前記パラメータが自動決定される画像マッチング方
法。
【請求項２６】請求項２３に記載の方法において、いずれかの評価式がほぼ極値をとる状態を検出し、前記
パラメータを自動決定する画像マッチング方法。
【請求項２７】請求項２２に記載の方法において、画素値に関連する第一評価式と画素の位置に関連する第
二評価式の線形和で総合評価式を定義し、少なくとも第一評価式の係数パラメータを変化させなが
ら総合評価式がほぼ極値をとるときの第一評価式の値を
記録し、第一評価式がほぼ極値をとるときの係数パラメータを検
出し、その係数パラメータを以降の評価に固定的に用いる画像
マッチング方法。
【請求項２８】始点画像と終点画像のマッチングのた
めに、複数のマッチング評価項目のそれぞれについて評
価式を設け、それらの評価式を統合して総合評価式を定
義し、その総合評価式の極値付近に注目して最適マッチ
ングを探索することを特徴とする画像マッチング方法。
【請求項２９】請求項２８に記載の方法において、前記総合評価式は、評価式の少なくともひとつに係数パ
ラメータを掛けたうえでそれらの評価式の総和として定
義される画像マッチング方法。
【請求項３０】請求項２９に記載の方法において、前記評価式はそれぞれ評価結果が良好なほど値が小さく
なり、前記総合評価式のとる極小値が最小になるよう前
記パラメータが自動決定される画像マッチング方法。
【請求項３１】請求項２９に記載の方法において、前記評価式はそれぞれ評価結果が良好なほど値が大きく
なり、前記総合評価式のとる極大値が最大になるよう前
記パラメータが自動決定される画像マッチング方法。
【請求項３２】請求項２９に記載の方法において、いずれかの評価式がほぼ極値をとる状態を検出し、前記
パラメータを自動決定する画像マッチング方法。
【請求項３３】請求項２８に記載の方法において、画素値に関連する第一評価式と画素の位置に関連する第
二評価式の線形和で総合評価式を定義し、少なくとも第一評価式の係数パラメータを変化させなが
ら総合評価式がほぼ極値をとるときの第一評価式の値を
記録し、第一評価式がほぼ極値をとるときの係数パラメータを検
出し、その係数パラメータを以降の評価に固定的に用いる画像
マッチング方法。