JP3548226B2 - イメージの整合およびモーフィングのための有限要素法 - Google Patents
イメージの整合およびモーフィングのための有限要素法 Download PDFInfo
- Publication number
- JP3548226B2 JP3548226B2 JP09511294A JP9511294A JP3548226B2 JP 3548226 B2 JP3548226 B2 JP 3548226B2 JP 09511294 A JP09511294 A JP 09511294A JP 9511294 A JP9511294 A JP 9511294A JP 3548226 B2 JP3548226 B2 JP 3548226B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- target
- mode
- eigenvector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、オブジェクトの認識、整合およびモーフィング（ｍｏｒｐｈｉｎｇ；連続変態）において遭遇する特徴対応の問題に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
整合は、例えば、原型オブジェクトが何らかの関連するオブジェクトが記述される別の「目標」座標系へ記述される、第１の「原始（ｓｏｕｒｃｅ）」座標系からの点のマッピングである。例えば、製造装置におけるカメラが、穿孔されるのを待つ部分の２次元イメージを生じる。このイメージは、ドリル位置決めシステムが応答する目標座標系に関して表現される。一方、製造装置は、穿孔されるべき場所もまた表わされる原始座標系に関する部分の原型の内部モデルを記憶する。現実の部分を適切に穿孔するために、モデルの穴の原始座標系が、穿孔が実際に生じる目標座標系に対してマップされねばならず、モデルと現実の部分は整合されねばならない。
【０００３】
整合はまた、モーフィング時の最初のステップであり、これにおいては、所与の最初の原始イメージの変態におけるオブジェクトを所与の第２の目標イメージにするために中間イメージが生成される．各中間イメージにおいては、原始イメージにおける一点と対応する１つの点が、原始イメージ点と、整合プロセスが原始イメージ点と関連する目標イメージにおける１つの点との間の内挿により配置される。
【０００４】
関連する問題はオブジェクトの認識であり、これにおいては作業は１つの取得イメージにおけるオブジェクトが内部モデルで表わされるタイプであるかどうかを決定することである。
【０００５】
これら全ての動作は、原始イメージと目標イメージとにおける特徴点の識別で開始する。これらは、典型的に、視覚的に最も興味のあるエッジ、頂点などを見出すことである。コンピュータによる実現に役立つ一般にあか抜けしないが実際に使える方法が、特徴点の識別に用いられてきた。しかし、対応は原始イメージにおける特徴点と目標イメージにおける特徴点との間に割当てられなければならない。人間の介在なしにこれを行うことは１つの問題である。
【０００６】
その理由は容易に理解することができる。対応性割当てプロセスに対する入力は、位置の座標の形態における特徴データであり、また異なるイメージにおいて対応する特徴点の座標間には直接的な関係はほとんど決して存在しない。他の特徴点と同じイメージに対する関係に基くイメージにおける異なる特徴点を特徴付ける特徴点の記述に基いて対応性を決定するため、多くの試みが然るべくなされてきた。Ｓｃｏｔｔ著「２つのパターンの特徴を関連付けるためのアルゴリズム（Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ａｓｓｏｃｉａｔｉｎｇ ｔｈｅ Ｆｅａｔｕｒｅｓ ｏｆ Ｔｗｏ Ｐａｔｔｅｒｎｓ）」（Ｐｒｏｃ．Ｒｏｙａｌ Ｓｏｃｉｅｔｙ ｏｆ Ｌｏｎｄｏｎ、２１〜２６、１９９１年）に記載される方法は、点データ間のガウスの加重距離について述べる「近接記述マトリックス」の固有ベクトルを用いる。Ｓｈａｐｉｒｏ等の「特徴に基く対応性：固有ベクトル法（Ｆｅａｔｕｒｅ−Ｂａｓｅｄ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ：ａｎ Ｅｉｇｅｎｖｅｃｔｏｒ Ａｐｐｒｏａｃｈ）」（Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ、１０（５）：２８３〜８８、１９９２年６月）は、この方法の更なる展開を記述している。
【０００７】
この近接法は、ある状況においては対応性を有効に割当てるものであるが、情報の保存、即ち特徴場所はこの記述マトリックスからは復元できない。更に、この方法が用いる計算の結果は、対応性の決定が必要条件であるモーフィング、整合あるいは他のプロセスにおいて限定された値となる。
【０００８】
【課題を解決するための手段】
モーフィング、整合およびオブジェクトの認識において人間が介在しなければならない程度を著しく低減する対応性割当て法が考案された。この方法は、共にＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ １３（７）、１９９１年７月における、Ｐｅｎｔｌａｎｄ等の「非固定運動および構造の復元（Ｒｅｃｏｖｅｒｙ ｏｆ Ｎｏｎ−Ｒｉｇｉｄ Ｍｏｔｉｏｎ ａｎｄ Ｓｔｒｕｃｔｕｒｅ）」およびＰｅｎｔｌａｎｄ等の「物理的な形状モデリングおよび認識のための閉形状の解（Ｃｌｏｓｅｄ−Ｆｏｒｍ Ｓｏｌｕｔｉｏｎｓ ｆｏｒ Ｐｈｙｓｉｃａｌｌｙ−Ｂａｓｅｄ Ｓｈａｐｅ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ）」に記載される方法の要素を用いる。これらの論文には、得られたイメージにおける節点と（固定位置の）特徴点との間にばねが取付けられた場合に、得られたイメージにおけるオブジェクトが原型変形可能な弾性体における節点の位置において生じる変位に関する記述があった。１つの形式の対応性割当てとして考えることができるばね取付け点の決定は従来の方法の１つで行われたが、変位は「モードの」変位と呼ばれるものに対して解を求めることにより見出された。この効果は、システム式を２倍にし、これにより計算的負担を著しく低減することであった。
【０００９】
本発明はまたモード変位も用いるが、これを特徴点間の対応性を見出すために用いる。特に、前記対応性の割当てプロセスの一部は、各イメージにおける特徴点を、以下に述べる方法で決定される特性を有する各弾性体（例えば、イメージが２次元ならば、「ゴム・シート」）に等間隔でおかれた「節点」として取扱うことと数学的に等価である。弾性体の（時に、変形的な）運動の種々のモード下のイメージにおける各節点の挙動が計算され、所与の節点に対する対応性は、その挙動が他のイメージにおけるその候補対のそれにどれだけ似ているかに基いて決定される。
【００１０】
Ｐｅｎｔｌａｎｄ等の論文に記載される方法と同様に、弊方法は、弾性体の運動に対して一般に用いられて弾性体の種々の運動モードを決定する「有限要素法」を用いる。弊方法は離散節点の挙動に基くものであるが、この挙動は無論、観察されるべき運動中に節点点が変位される時、変位に遭遇する運動体の残部の効果を考慮せずに決定することはできない。従って、有限要素法は、この点の静置位置（即ち、例えば原始イメージにおけるその位置）の関数としてどれかの点（典型的には、非節点）の変位と、全ての節点の変位とを生じる内挿関数を仮定することにより開始する。
【００１１】
本発明の任意の特質によれば、内挿関数は、以下に更に詳細に述べる方法で種々の節点静止位置を中心とするガウス関数の和である。このような関数は、データの次元、即ちガウス２次元に容易に適応する故に特に望ましく、ガウス関数は１次元のガウス関数に容易に分解される。更に、これら関数は、本方法が要求するある計算に対する閉形状解の展開に役立つ。
【００１２】
節点位置と非節点位置間の関係がこのように仮定されると、弾性体全体にわたる（おそらくは均一な）質量分布と、慣性エネルギと弾性エネルギ間の変換が生じる時に振動するようにその「材料」における応力／歪みの関係とを更に仮定する。これらの仮定に基いて、節点系の運動式を書き、またこれらから系の特徴的な各振動モードを表わす固有ベクトルを得ることができる。
【００１３】
固有ベクトルの各成分は、異なる節点と関連付けられ、固有ベクトルが表わす振動モードの運動におけるこの節点の相互の関与を表わす。各固有ベクトルの固有値に従って、またこれによりモード振動周波数に従って順序付けされる、所与の節点に対する関与レベルのセットが、一般化された特徴ベクトルとして総合的に考えることができ、この特徴ベクトルがこの節点を特徴スペースにおける１点と関連付ける。従って、他のイメージからその候補対までの一般化された特徴スペースにおいて１つのイメージから１つの節点がどれだけ近いかに従って節点間の対応性を割当てることができる。
【００１４】
先に述べた対応性を決定するための近接法とは異なり、本発明の方法は情報を保存するものであり、モーフィング・プロセスにおける中間的な変態を内挿しかつオブジェクトの認識のための正準記述を得る如き対応性の決定が必須である他の関数を実行するため、基礎となる有限要素法モデルを用いることができる。オブジェクトの認識に用いられる如き本発明の方法は、Ｃｏｏｔｅｓの「パラメトリック形状記述の訓練可能な方法（Ｔｒａｉｎａｂｌｅ Ｍｅｔｈｏｄ ｏｆ Ｐａｒａｍｅｔｒｉｃ Ｓｈａｐｅ Ｄｅｓｃｒｉｐｔｉｏｎ）」（Ｉｍａｇｅａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １０（５）：２８９−９４、１９９２年６月）に記載された弦長さ法の如き他のオブジェクト記述法とある類似点を有するが、弦長さ法は、完全な対応性が入力として与えられることを要求するが、弊方法はこれらの対応性を決定するものである。
【００１５】
更に、サンプルされた特徴点が埋め込まれる連続体のシミュレーションにより固有ベクトルを得ることにより、本発明は、イメージがサンプルされる方法にはほとんど感応しない。例えば、２つのイメージに非常に異なるサンプリング密度がある場合、オブジェクトの姿勢および形状が同じであっても、近接および弦長さの記述から結果として得るマトリックスは著しく異なるが、特徴点が埋め込まれる仮想材料の運動のシミュレーションに基く弊方法により生じるマトリックスは、略々同じ程度の差しか生じない。更に、弊方法は、弾性体における位置に従って仮想材料の仮定された材料特性を変化させることにより、得られる外部の情報の結果としてある特徴を強めるか弱める可能性を提供するものである。
【００１６】
【実施例】
本発明の上記および他の特徴および利点については、添付図面に関して以下に記述される。
【００１７】
図１は、本発明を具現するモーフィング・システムをブロック図において示している。実施において、適当にプログラムされた汎用コンピュータが通常はシステムの機能の大半を実行するが、このような構成は原理的に必要ではない。弊研究の大部分において、例えば、ディスクに格納されたプログラミングを用いてシステムの各部を実現するためにＳｕｎ ＳＰＡＲＣ２ワークステーションが用いられ、レーザ・プリンタおよび陰極線管により出力イメージを生成した。また、かかる研究のためソフトウエアを他のプラットフォームに変換した。しかし、当業者は、本発明がどのような形式の記憶媒体に格納されたプログラミングにより広範囲のディジタル・コンピュータにおいて具現できることを認識しよう。実際に、１つのアプリケーションが妥当であれば、別のプログラミングを必要としない専用回路を本発明の教示の実現のために使用することができる。
【００１８】
本システムの機能の大半は通常は汎用回路により実施されるが、別個の機能を表わすため別個のブロックを用いることにより慣例に従う。動作は、適当なイメージ供給源２０からのイメージにより開始する。ブロック２２似より示されるステップにおいて、イメージにおける重要な特徴点の場所がこのイメージから取出される。典型的には隅部、縁部の点などであるこのような特徴は、便利な方法で取出される。原理的には、これらの特徴は、人間の直接的な選択により取出すことさえできる。その結果は、各々が原始イメージにおける特徴点の位置を与える１組の位置ベクトルである。
【００１９】
最初に、目標イメージについても同じ操作が実行されるが、原始イメージのみからのデータの処理について論述する。簡素化のために、論議は、オブジェクトの特徴点の図心が接近し、それらの回転方位が小さくとも異なり、かつ類似したスケールで表示される、おおまかな整合状態にあるイメージに対して本方法を用いることができる方法から始める。これらの仮定は、本発明が更に一般的な問題に対して適用し得る方法を記述するために緩和される。更に説明の目的のため、イメージが２次元イメージであると仮定するが、どんな次元のイメージに対しても本方法の適合性は明らかであろう。
【００２０】
先に述べたように、本発明は、以下本文において、埋め込まれるものと仮定される弾性シートの（しばしば、変態）運動の種々のモードの運動における関与に関して「節点」と呼ぶことにする取出された特徴点の各々を特徴付けることに基くものである。これらの運動モードを識別するには、この節点系の運動式について考察する必要がある。この運動式は、弾性シートが振動しあるいは他の状態で運動する時それらの静止位置からの種々の節点の変位の変化を記述する。
【００２１】
このため、運動式はＵにおける式であり、ここでｎの節点があるならば、Ｕは２ｎの成分ベクトル（本例では、２次元の場合が仮定される）であり、弾性シートの振動中に節点が遭遇するそれらの静止位置からの変化する変位を表わす。（必要ではないが、特徴抽出プロセスが原始イメージにおける節点に対して生じる位置ベクトルは、その静止位置で考察することができる。）この運動が何であるかを決定するためには、ゴム・シートにより課される弾性力と慣性力、ならびに何らかの変換を強制するため用いられる外部の「入力」作用力を考慮することが必要である。これらの入力作用力は、節点に対してのみ加わるひとかたまりの作用力に限定されるものと仮定される。結果として得る式は、
【数１】
但し、Ｍは以下に述べる慣性効果を表わす（２ｎ×２ｎ）マトリックスであり、Ｋはこれも以下に述べる弾性効果を表わす（２ｎ×２ｎ）マトリックスであり、Ｆは各節点における作用力の２つの成分（ｘおよびｙ）を表わす２ｎ成分ベクトルである。このシートは完全に弾性を呈するものと仮定され、式が減衰定数を含まないことに注意されたい。このような仮定は便利ではあるが必要ではない。
【００２２】
Ｍの各行は、各節点における２つの慣性力成分の一方または他方と関連付けられ、１つの行の構成成分は、種々の節点における各加速度成分から結果として生じる前記慣性成分から結果として生じる慣性力成分に対する寄与成分を表わす。換言すれば、Ｍの行は、Ｕ（‥）とのスカラー積が、Ｍの行が関連する節点により生じる慣性力の２つの成分の一方または他方であるベクトルの転置である。（Ｕ（‥）はＵの頭に‥を付した記号を示す）。同様に、Ｋは、各節点似より利得弾性復元力に対する全ての節点における変位の寄与成分を表わす。
【００２３】
ＭおよびＫの決定は、節点が変位される時弾性シートにおける非節点に生じる変位に関する仮定を要求する。即ち、下記の如く変位内挿（変位補間）マトリックスＨ（ｘ）を見出す必要がある。即ち、
【数２】
但し、ｕ（ｘ）＝（ｕ，ｖ）は、その静止ポインティングがｘ＝（χ，у）である（一般に節点でない）点の変位である。シート材料が等方性であることを仮定することにより、式（２）を下式として書くことができる。即ち、
【数３】
但し、ｈｊはｘの関数である。
【００２４】
ｈｊが取るべき形態を決定するためには、最初に変態が位置の連続的関数であると仮定する。この連続性の要件は、ｘｊがｊ番目の節点の静止位置であるならば、ｕ（ｘ）はｘｊに接近する従って（ｕｊ，ｖｊ）に接近しなければならない。これは、ｈｊ（ｘ）が節点ｊにおいて１でありかつ他の全ての節点において０であることの要件を生じる。
【００２５】
これは、有限要素法が用いられる時、ガラーキン（Ｇａｌｅｒｋｉｎ）内挿子にこれまで課された基準である。本発明の一特質によれば、ｈｉを下記の形式のガウス基底関数から形成することによりこれらの基準を満たす。即ち、
【数４】
但し、σ即ち、ガウス関数の標準偏差が、所与の節点の変位が非節点の変位に著しく影響を及ぼす近傍の大きさに影響を及ぼし、ユーザは通常は、イメージのスケールに従ってσを変化させることにより性能を最適化する。
【００２６】
内挿（補間）機能Ｈの成分関数ｈｉは、ｎの基底関数ｇの各和である。即ち、
【数５】
但し、ａｉｋは、式（５）をして先に述べたガラーキン基準を満たさせる係数である。この第１の基準を満たすａｉｋのマトリックスＡは下式により与えられる。
【００２７】
【数６】
ブロック２４は、ＧおよびＡのマトリックスの計算を表わし、これから内挿（補間）関数Ｈがブロック２６により表わされるステップにおいて式（５）により決定することができる。
【００２８】
全ての節点の変位が同じであるならば他の全ての点の変位もそうであることを保証する、第２のガラーキン基準を満たすことが時に望ましい。この結果に対する充分条件は、
【数７】
平滑なイメージ内挿のため有効なこの基準は、下式で式（５）の関係を置換することにより満たすことができる。即ち、
【数８】
この変位内挿マトリックスＨ（ｘ）を決定したならば、各節点における慣性力を全ての節点における加速度に関連付ける質量マトリックスＭを決定する用意ができる。質量マトリックスＭの値を見出すために、最初に式（１）からＭの各行が各節点において遭遇するひとかたまりの慣性力の各成分を節点加速度Ｕ（‥）に関連付けることが判る。この時、ρが質量密度であるならば、ｘにおける慣性表面力（作用力／単位面積）がρｕ（‥）（ｘ）＝ρＨ（ｘ）Ｕ（‥）である。ρ（‥）はρの頭に‥を付した記号を表す。ｉ番目の節点に割付けられたこの表面力の比は、ｈｉ（ｘ）であり、即ち、無限小の領域ｄＡからｉ番目の節点で遭遇する力成分（ｆｉ，ｆｉ＋ｎ）に対する慣性力の寄与はρｈｉ（ｘ）ＨＵ（‥）ｄＡであり、従って種々の節点に割付けられる全慣性力を与えるベクトルＦＭは、
【数９】
この式は、式（１）と比較することにより、下式により質量マトリックスが与えられることを示す。即ち、
【数１０】
式（４）のガウス内挿関数が用いられるならば、積分領域Ａは無限の面となり得、またこれは通常用いられる領域である。最も簡単な場合は、質量密度ρは均一であると仮定することができるが、必要に応じて、質量密度を弾性シートにおける位置に依存させることによりある特徴を強調するのに役立つことは本発明の利点の１つである。
【００２９】
式（３）に示されるＨマトリックスにおけるゼロから、下記のことが判る。即ち、
【数１１】
但し、ｎ×ｎのサブマトリックスＭａａおよびＭｂｂは半正値の対称マトリックスであり、Ｍａａ＝Ｍｂｂである。下記のことが判る。即ち、
【数１２】
但し、
【数１３】
ブロック２８は、この質量マトリックスの計算を表わす。
【００３０】
次に、各節点における正味の復元力、即ち弾性力を全ての節点における変位に関連付ける、式（１）の応力マトリックスＫを評価する。その評価のためには、弾性シート全体にわたる応力の挙動について考察することが必要であり、これは更に歪みを決定することを含む。任意の点ｘ＝（ｘ，ｙ）における引張り歪みのｘおよびｙ成分はそれぞれ∂ｕ／∂ｙおよび∂ｖ／∂ｘである。これらから応力を決定するには、仮想のシート材料に対するヤング率Ｅとポアソン比αを仮定する。１次元の場合における応力は単に歪みにヤング率を乗じることにより決定されるが、２次元の場合は、せん断応力と、ポアソン比により与えられる角度に対する引張り歪みに対して直角の方向に引張られた弾性体が収縮しようとする傾向とを考慮に入れることが必要である。結果として得るｘ方向の引張り歪みσｘｘはβ（∂ｕ／∂ｘ＋α∂ｕ／∂ｙ）であり、ここでβ＝Ｅ／（１−α２）である。同様に、ｙ方向の引張り歪みσｙｙはβ（∂ｕ／∂ｙ＋α∂ｕ／∂ｘ）であるが、せん断応力σｘｙ＝βγ（∂ｕ／∂ｘ＋∂ｕ／∂ｙ）であり、ここでγ＝（１−α）／２である。歪みマトリックスＢを導入することにより、
【数１４】
また、内挿マトリックスＨを用いて、節点に関する非節点変位を表わせば、任意の点ｘにおける応力を下記のマトリックス式で書くことができる。即ち、
【数１５】
但し、
【数１６】
ｉ番目の節点における正味の復元力に対するこれら応力の寄与を決定するため、無限小の変位ｄｕｉがｉ番目の節点で生じる時、任意の点ｘにおける歪みを変化させる際に行われる仕事について考える。単位面積当たりの仕事は、応力とｘにおける増加した歪みの積である。増加した引張り歪みは単に（∂ｈｉ／∂ｘ）ｄｕに過ぎないが、増加したせん断応力は（∂ｈｉ／∂ｙ）ｄｕとなり、従って、増分変位ｄｕｉが任意の点ｘにおける仕事の単位面積当たり（σｘｘ∂ｈｉ／∂ｘ＋σｘｙ∂ｈｉ／∂ｙ）ｄｕｉを行う。このことは、ｉ番目の節点における正味のｘ方向の力成分ｆｉに対するｘにおけるセクションｄＡからの寄与が（σｘｘ∂ｈｉ／∂ｘ＋σｘｙ∂ｈｉ／∂ｙ）ｄＡであることを意味する。同様に、ｉ番目の節点におけるｙ成分ｆｉ＋ｎに対する寄与は、（σｙｙ∂ｈｉ／∂ｙ＋σｘｙ∂ｈｉ／∂ｘ）ｄＡである。従って、シート全体にわたり積分することにより、下式を得る。即ち、
【数１７】
但し、Ｆｋの成分は、節点における正味の復元力である。これを式（１）と比較すると、応力内挿マトリックスＫに対する下記の式を生じる。即ち、
【数１８】
Ｋａａの要素が下式の形態を呈することが判る。
【００３１】
【数１９】
Ｋｂｂの要素は下記の形態を呈する。即ち、
【数２０】
また、ＫａｂおよびＫｂａの要素は下記の形態を呈する。即ち、
【数２１】
ブロック３０は、この剛性マトリックスの計算を示す。
【００３２】
このように、式（１）における質量マトリックスＭおよび剛性マトリックスＫの値を見出し、従って、入力Ｆが与えられるならば、Ｕ（ｔ）に対して解を得ることができる。しかし、最初に、Ｆに対する特定の値を割当てることなく決定することができる系の振動「モード」を見出すことに関心がある。モードは、モードＫＭ−１の固有ベクトルφであり、即ち、下式に対する解である。
【００３３】
Ｋφ＝ω２Ｍφ
これらの解は、その対応する固有値ω２と共に容易に計算される。
【００３４】
これらの解φの数学的な意味は、これらが運動式（１）を式の分解された系として書き直すことを可能にすることである。これを示すため、これらがＭで正規直交化されるように、φの大きさを最初に任意に選択する。即ち、
【数２２】
これは、下式に書くことができる。即ち、
ΦＴＫΦ＝Ω２ （５）
また
ΦＴＭΦ＝Ｉ （６）
ここで、Ｉは恒等マトリックスであり、
Φ＝［φ１，φ２，，，φ２ｎ］
【数２３】
また、以下において明らかになる便利さの故に、
ωｉ≦ωｉ＋１
式（５）および（６）を用いて、Ｕ＝ΦＵ；即ち、Ｕ（〜）＝ΦＴＭＵとなるように定義されたモード変位Ｕ（〜）に関して運動式（１）を書き換えることができる。Ｕ（〜）はＵの頭に〜を付した記号を表す。このように、運動式（１）を書き換えると、
【数２４】
これは分解されたスカラー差式の系であり、即ち、式（７）は、その他の成分のいずれをも参照することなくモード変位ベクトルＵ（〜）のいずれかの成分について解を求めることができる。
【００３５】
ブロック３２は、固有ベクトルφの計算を表わす。これは、固有ベクトルの定義に従って固有ベクトルの方向を決定すること、および先に述べたＭの正規直交化の制約により固有ベクトルの大きさを割当てることを含む。しかし、この制約は、依然として、各固有ベクトルに対する２つのあり得る値を残し、その一方は他方の負値である。従って、以下に述べる方法でこの２つから選択する。固有ベクトルは、初期の変換に対する仮想の弾性シートの強制されない（Ｆ＝０）応答が応答ＡｉΦｉｓｉｎ（ωｉｔ＋θｉ）の加重和に分解することができる故に、関連する前後関係においてしばしば「モード形状」と呼ばれる。
【００３６】
先に述べたように、各節点を幾つかのモードにおけるその相互関与のセットにより特徴付ける。この目的のため、モード・マトリックスΦを一般化された特徴ベクトルｖｉに関して書くと、
【数２５】
その各々が各特徴に対するこのような相互関与のセットを定義し、一般化された特徴空間におけるこの特徴の場所として見做すことができる。次に、原始イメージにおける特徴と目標イメージの特徴との間の関連が、これらが一般化された特徴空間でどれだけ近いかによって決定される。
【００３７】
無論、原始イメージに対して計算された固有ベクトルおよび固有値は、一般に目標イメージのそれとは同じではなく、実際には、１つのイメージにおける特徴点の数、従ってモードの数は、一般に１つのイメージにおけるものと他におけるものとは同じではない。従って、２つの一般化された特徴ベクトル空間を対応させるために何かがなされねばならない。２つの一般化された特徴ベクトル空間の次元数を同じにさせる１つの方法は、所与の次元数における一般化された特徴ベクトルを切頭することである。より高い周波数モードがノイズに対する最も敏感なものである故に、最低周波数を成分の２５％のみを残すことによりこれを幾つかの実験で行った。（以下に説明する理由により、ある用途では最低周波数モードを更に捨てる。）ブロック３４は、このような切頭を表わす。次に、２つの一般化された特徴ベクトル空間における次元間の対応が、それらの各固有値、従ってそれらの各モード周波数の大きさにより順序付けられる時、立下がる位置に従って割当てられる。これが、特徴ベクトル成分を固有値で順序付けを行う目的である。
【００３８】
最も高い固有値モード（ならびに、以下に述べる状況では、最低固有値モード）を捨てることにより、切頭される一般化された特徴ベクトルｖｋが結果として生じ、その各々が各特徴に対する種々のモードにおける相互関与セットを定義し、また切頭される一般化された特徴空間におけるかかる特徴の場所を表わすものとして見做すことができる。図１が示すように、１つのイメージに対して行われるように述べてきた動作が、実際には両者に対して行われる。
【００３９】
本方法の全ての用途は、１つのイメージにおける１つの特徴点（即ち、節点）に対して決定される一般化された特徴ベクトルが他のイメージにおける１つの特徴点に対して決定されたものに対してどれだけ近いかを決定することに基く。明らかに、「近いこと」の多くの測定が、これに関して用いることができ、多くの基準が対応性の決定のためこのような測定に用いることができる。当業者は、種々の用途に対して大半が多少とも望ましいことを見出すことになろう。本発明が例えばオブジェクトの認識のために用いられる時、例えば、得られたイメージにおける予め定めた数または比率の特徴点に対して決定される一般化された特徴ベクトルが原型イメージにおける各特徴点に対して決定される一般化された特徴ベクトルから予め定めた閾値距離内になければ、得られたイメージにおけるあるオブジェクトが原型イメージにおけるそれと同じ種類のものでない見做される。この基準が満たされなければ、システムはこの時、オブジェクト認識ではなくモーフィングのためのシステムを表わすよう意図されても図１が説明のため表示する如き、得られたイメージにおけるオブジェクトが種類に対してテストされたものでない表示を生じることになる。
【００４０】
整合およびモーフィングの目的のため、マッピング機能の開発が基礎とするアンカー点が、その一般化された特徴ベクトルが他のイメージにおける対応する特徴から少なくとも遠い所与のイメージにおける特徴点である。２つのイメージにおける点間の対応性は、例えば、「アフィン変換（ａｆｆｉｎｉｔｙ）マトリックス」Ｚの計算で始めることにより決定することができる。原始イメージおよび目標イメージにおけるｉ番目とｊ番目の特徴点がそれぞれ切頭された一般化特徴ベクトルｖｉ，ｓ′およびｖｊ，Ｔ′により表わされるならば、Ｚの各要素ｚｉｊは下式により与えられる。即ち、
ｚｉｊ＝‖ｖｉ，ｓ′−ｖｊ，ｉ′‖２
ブロック３６はこの操作を示している。原始点ｉと目標点ｊとの間の完全な一致のためには、ｚｉｊはゼロであるが、ｚｉｊの値がより大きいと一致は劣化する。
【００４１】
この点に関して、固有ベクトル−計算法３２の符号割当ての特質に簡単に戻る。先に述べたように、固有ベクトル−定義とＭ−正規直交化の制約は、各固有ベクトルに対して２つのあり得る値を残す。固有ベクトルが２つのイメージに対して個々に計算されるため、固有ベクトルの符号が無作為に割当てられたならば、これは同じイメージにおけるさえ対応する特徴点に対して計算された一般化された特徴ベクトル間に大きな相違を生じる結果となり得る。従って、対応する特徴に対して一般化された特徴ベクトル間の相違を最小化するように符号を選択する。
【００４２】
そのためには、Ｓｈａｐｉｒｏの「視覚ベースの運動フレームワークを目指して（Ｔｏｗａｒｄｓ ａ Ｖｉｓｉｏｎ−Ｂａｓｅｄ Ｍｏｔｉｏｎ Ｆｒａｍｅｗｏｒｋ）」（Ｔｈｅ Ｏｘｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｒｏｂｏｔｉｃ Ｒｅｓｅａｒｃｈ Ｇｒｏｕｐ）による１９９１年の技術論文に記載されたものと似た方法で行う。この論文が述べるように、本方法は、２つのイメージにおけるオブジェクトが関連することを予期されること、および１つのイメージからの固有ベクトルの符号を任意に正しいと見做すことの仮定に基くものである。次に、他のイメージの計算された固有ベクトルの各々がテストされて、これもしくは逆の符号を付した固有値が特徴ベクトル間の距離を最小化するかどうかを決定する。
【００４３】
特に、反復手順においては、一時に１つの固有ベクトルが考察される。連続する固有ベクトル毎に、固有ベクトルと対応する全ての成分がゼロに設定されると考えられないことを除いて、元の計算された固有ベクトルから決定される一般化特徴ベクトルと同じものである「ゼロが並んだ」一般化特徴ベクトル間の距離を見出すことに相当する操作が行われる。その結果、要素が下式により与えられるテスト・アフィン変換マトリックスＺｑ，ｐｏｓを得る。即ち、
【数２６】
但し、ｖｑ，ｉ，ｓ（⌒）は、ｑ番目の成分後に固有ベクトルと対応する全ての成分がゼロに設定されることを除き原始イメージからのｉ番目の特徴ベクトルと同じであり、ｖｑ，ｊ，Ｔ（⌒）は、目標イメージからのｊ番目の同様に充填された特徴ベクトルである。ｖｑ，ｉ，ｓ（⌒）およびｖｑ，ｊ，Ｔ（⌒）は、ｖｑ，ｉ，ｓおよびｖｑ，ｊ，Ｔの頭にそれぞれ⌒を付した記号を示している。このマトリックスの各項は、目標イメージにおける１つの特徴と原始イメージにおける全ての特徴との間の一般化特徴空間における距離の２乗を示す。このような全ての最低値は一緒に加算される。この手順は次に、ｑ番目の目標イメージ固有ベクトルの成分の全ての符号が充填された目標イメージ・ベクトルを作るため反転される、即ち、ｖ（⌒）ｑ，ｊ，Ｔのｑ番目の成分が反転することを除いて、同じ固有ベクトルに対して反復される。最低値の和がその時小さければ、ｑ番目の目標固有ベクトルの符号は逆の値をとる。さもなければ、これらはその元の値のままである。この手順は、全ての固有ベクトル、あるいは切頭される一般化特徴空間において用いられるもの全部が考察されるまで継続する。
【００４４】
ここで対応性の決定に戻る。考察される原始点ｉが目標点ｊと対応するためには、下記の条件が課される。即ち、ｚｉｊが、（１）予め定めた閾値より小さくなければならず、また（２）ｉ番目の行とｊ番目の列の両方で最小でなければならないことである。大部分の場合、これは各節点に対する一致を生じないが、通常は多数の対応対を生じる。これらは「アンカー」点の対と見做される。
【００４５】
このようにアンカー対を識別すると、これらを用いて原始イメージからの他の点を目標イメージへマッピングする関数を決定する。特徴点の対応性からマッピング関数を決定する多くの方法が存在し、そのいずれも本発明のより広い教示に従って用いることができる。しかし、以降の事例においては、本発明の対応性決定法が容易にする方法を強調することにする。
【００４６】
比較的簡単な事例から始める。この方法は、イメージ間の方位にわずかな相違がある時に最もよい効果を生じる。本方法においては、変位−内挿マトリックスＨを、値が目標イメージにおける対応点の位置へ原始イメージにおけるアンカー点を変位する如きものである特徴点変位ベクトルＵに用いるだけで、マッピングが得られる。しかし、先に述べたように、アンカー点の決定は、通常は、全ての特徴点より少ない点に対して対応性を決定する。従って、特徴点変位ベクトルＵに対する完全な値のセットを持たない。
【００４７】
他の特徴点の変位を割当てるために、種々の方法を用いることができる。１つの簡単な方法は平衡法であり、これにおいては、他の特徴点、即ち、一致したアンカー節点に対してシミュレートする時を仮定して、外部の作用力が一致しない節点に対して加えらえない時、一致しない節点が平衡時にこれらをその相手の位置へ変位することを強制する位置を観察する。
【００４８】
平衡式では、
ＫＵ＝Ｆ
換言すれば、一致しない節点と関連するＦの成分をゼロに設定し、一致した節点と関連するＵの成分をその相手に移動する値に設定し、一致しない節点と対応するＵの成分に対する２ｎの変数における２ｎの式の結果として得るセットを解く。（典型的な等方性の例においては、ｎの変数におけるｎの式を解くことで全ての２ｎの変数に対する値を得る。）ブロック４０により示されるこの演算は、原始イメージにおける一致しない節点を一般に目標イメージにおける節点でないがアンカー点に対して見出される変位を生じる弾性シートの変形と一致する場所へ変換する値Ｕｅｑｕｉｌを生じる。
【００４９】
節点変位Ｕｅｑｕｉｌのこの値を式（２）に代入することにより、原始イメージからのいずれの点（節点または非節点）が目標イメージにおける点にマップされる変形を計算することができる。このように、２つのイメージを整合した。即ち、マッピング関数を見出したのである。即ち、
ｘｒ＝ｘｓ＋Ｈ（ｘｓ）Ｕｅｑｕｉｌ （８）
但し、ｘｒは原始イメージにおける点ｘｓがマップされる場所である。
【００５０】
別の試みは、ｎ節点の内ｐのみに対して対応性が見出されたならば、Ｕが２ｐ以上のゼロのモード成分のみからなると仮定することにより、Ｕの未知の要素を見出すことである。この試みは、下式を用いることにより、モード変位に対する解を直接に得る。即ち、
Ｕ＝ΦＵ（〜）
ｎ節点の内ｐに対して対応性を見出したならば、高い周波数の固有ベクトル（列φｉ）の２（ｎ−ｐ）を捨てることにより自由度を減少する。これにより、モード切頭変換マトリックスΦ（−）（Фの頭に−を付した記号に相当する）を生じる。次に、一致しない節点と関連するΦ（−）の行を捨てる。その結果として得る式のシステムは、２ｐの式と２ｐの未知数を有し、従ってモード変位について直接解を得ることができる。これは、再び閉じた形態における解を得ることを可能にする。
【００５１】
別の制約を課すことにより、一致しない節点におけるロードを非ゼロ化する変位に対する解を見出すことが可能である。下記の歪みエネルギＥ１を最小化する一致しない節点におけるロードを見出す。即ち、
【数２７】
未知の節点変位およびロードは、勾配の減衰を介して解くことができる。結果として得る節点変位は、モード変換を介してモード変位へ変換することができる。あるいはまた、最小の歪みエネルギを下式の如くモード変位に関して直接に測定することができる。即ち、
【数２８】
この歪みエネルギ式は、各モードと関連する２乗された振動周波数に比例するペナルティを強制する。剛体モードは理想的に歪みを生じないため、その振動周波数ωｉ＝０であることが論理的である。
【００５２】
これまでに述べたマッピングは、全てのアンカー点をそれらの相手にマップする。これは、全ての用途に対して最も望ましいマッピングではない。しかし、大半の用途に対して、所要のマッピング機能がアンカー点の相手の位置とマッピング機能がこのアンカー点をマップする位置との間の関係のある関数を最小化あるいは最大化するものとなることは真である。
【００５３】
ノイズが例えばデータに予期されるある整合用途においては、１つのイメージのアンカー点を他のアンカー点ではなく、その決定が目標節点を固定状態に保持してそのばね定数が予期されるノイズに依存するアンカー対の仮想ばねにおける点間からの定置の結果得る原始イメージの静止位置を見出すことと数学的に等価である場所へ正確に「移動」する、適正な整合の最大の可能性が達成されることが判る。このような場合、全ての変位成分が未知であることを除いて、平衡式が前のように解かれる。
【００５４】
特に、ｉ番目の原始イメージがアンカー点であり、ｘｓ，ｉがその場所であるならば、ｘｒ，ｉがこれと対応する目標イメージの特徴点の場所であるように、目標イメージの特徴点を番号を変更しよう。次に、ｉ番目の特徴点がアンカー点であるならば、
【数２９】
但し、ｋｉは予期されるノイズ・レベルに従って割当てられるばね定数であり、ｉ番目の特徴点がアンカー点でなければ、
【数３０】
これは、アンカー点が依然として未知であっても変位に比例するように制約される故に、全数の未知数に加わらない。
【００５５】
ｎは大きくなり得るため、分解された式により変位について計算により解くことが望ましい。無論、このために、モード変位Ｕ（〜）を用いることができる。即ち、その代わりに、分解式を解くことができる。即ち、
Ω２Ｕ（〜）＝ΦＴＦ
ばね定数の制限が等しくなければ、Ｆなる別のばね定数を用いても式を再び結合する。更に、より低い固有値モードのみからの変位の寄与を計算することにより、計算的負荷が更に減じられても、不正確さはほとんど生じず、またあるノイズ不良がある用途において加わる。
【００５６】
時に用いられたアンカー点からの整合を得る別の方法は、減衰項をシステムに導入し、次いで結果として生じる運動をシミュレートすることである。特に、下記の動的式が解かれる。即ち、
【数３１】
変位がない場合、Ｄ（〜）は以下に述べる方法で割当てられる診断用モード減衰マトリックスである。
【００５７】
結果として得るモードの動的平衡式は、下記の形態のｍの独立式の系として書くことができる。即ち、
【数３２】
但し、ｆ１（〜）（ｔ）は変形されたロード・ベクトルＦ（〜）＝ΦＴＦの成分である。
【００５８】
従って、モード変位は、いずれかの累次数積分手順により解くことができる。弊実現方法においては、間接的累次数積分法であるニューマーク（Ｎｅｗｍａｒｋ）法を用いる。本システムは、ロード・エネルギにおける変化が閾値δより少なくなるまで、時間的に順方向に積分される。即ち、
‖Ｆｔ−Δｔ−Ｆｔ‖２＜δ２
これは、前のようにマッピング関数が直後にくる制止変位値Ｕｅｑｕｉｌを生じる。
【００５９】
モード減衰マトリックスＤ（〜）は、レイリー（Ｒａｙｌｅｉｇｈ）減衰を仮定する故に対角成分である。レイリー減衰においては、減衰係数は質量と剛性マトリックスと線形的に関連する。即ち、
Ｄ＝αＭ＋βＫ
モード座標へ変換して、対角的なモード減衰マトリックスを得る。即ち、
【数３３】
その結果、ｉ番目のモードに対する減衰は、このモードの振動の２乗周波数の関数である。即ち、
【数３４】
但し、αおよびβは、所要の減衰レベルにより決定される定数である。例えば、α＝０．１、β＝１／（２ω２ ｐ）、ここでω２ ｐは使用される最大の固有値であり、ここに示される２Ｄの場合に良好な結果を得る。
【００６０】
＃（め１７８９）おわり
これまでに述べた如きプロセスは制限されるが重要な問題の種類に対して良好な結果を得るが、更に一般的な試みはある修正を必要とする。これらの修正は、１つのイメージの方位、絶対的位置および（または）スケールが他のそれと著しく異なる時に必要とされる。これらの状況は、２つの主な調整を必要とする。１つは切頭特徴ベクトルであり、これは一般化された特徴空間を定義し、最高のみならず最低の固有値モードを捨てることにより対応性決定を目的とする。このため、中間的な固有値モードのみが切頭特徴空間の定義のため残る。最低固有値モードは、変位および回転を表わし、従って、ゼロ固有値モードが含まれるならば切頭された一般化特徴空間が望ましからず位置と方位とに感応する、典型的に幾つかのゼロ固有値モードがある故に放棄される。他の低固有値モードのあるものもまた、スケールにおける著しい相違が予期されるならば放棄されるが、これはスケールの相違がこれらモードに（悪）影響を及ぼす傾向があるためである。これらの最低固有値モードの除去もまた、異なるカメラ角度の使用の結果生じる釣合いの悪影響を減じる。従って、２次元の場合は、典型的に切頭一般化特徴ベクトルから６つの最低固有値モードを除去してきた。
【００６１】
第２の主な調整は、スケールにおける近似的な相違が既知であれば、内挿関数に対して適当な調整を行わなければならないことである。例えば、１つのイメージにおけるあるオブジェクトが他のオブジェクトの２倍である予期されるならば、第１のイメージに対するガウス内挿基底関数において用いられる標準偏差σは第２のイメージに対するそれにおいて用いられるものの２倍であるべきである。
【００６２】
これらの２回の調整をのぞいて、アンカー点を決定する初期操作は、更に一般的な試みにおいて最初に紹介した試みと同じものである。アンカー点からのマッピング関数は、同じ方法で、即ち残りの特徴点の変位に対して解を求め、これにより決定される変位ベクトルに内挿関数を適用することによって得ることができる。
【００６３】
しかし、整合が特にモーフィングのために持ちいられる時は、Ｈｏｒｎの「単位４元数算法を用いる絶対方位の閉形態の解（Ｃｌｏｓｅｄ−Ｆｏｒｍ Ｓｏｌｕｔｉｏｎ ｏｆ Ａｂｓｏｌｕｔｅ Ｏｒｉｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｕｎｉｔ Ｑｕａｔｅｒｎｉｏｎｓ）」（Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ、第４巻、６２９ページ、１９８７年４月）に記載された方法により、アンカー対が残りの点の中間的な非変換整合のための基礎として用いられるステップを含む方法を選好する。以下に述べる方法が明白な変換、回転およびスケーリング値を与えるため、この方法の使用を選好する。このように、この方法は、連続的な中間イメージにおける連続する変位、回転およびスケーリングの割合を変態とは切離して容易に制御することを可能にする故に、それ自体モーフィングに役立つ。
【００６４】
本方法が１次元のみを持ちあるいは３次元以上を持つイメージに対して容易に適用し得ることを指摘したが、これまでの論議の目的のため事例におけるイメージが２次元であることを仮定した。しかし、スケーリングおよび剛体の変態を決定するためのＨｏｒｎの方法の以降の論議においては、本方法のある特質が２次元のイメージに対して変質され、従ってこれらの特質の３次元表現がより明瞭になる故に、イメージが３次元であることを仮定する。
【００６５】
この仮定に従って、対応性が目標イメージにおける点ｘＴ，ｉに対してそれぞれ決定された原始イメージにおいて、３次元のアンカー点から始める。
【００６６】
【数３５】
最初に、アンカー点の図心を見出す。即ち、
【数３６】
従って、剛体の変態のための変位値は、単に図心間の差：ｘ０＝ｘＴ（−）−ｘＳ（−）に過ぎない。ｘＴ（−）はｘＴの頭に−を付した記号を、ｘＳ（−）はｘの頭に−を付した記号を表している。（これは、Ｈｏｒｎの方法からの逸脱である。）。スケールを見出すため、最初に個々のベクトルから図心を差引く。結果は、それらの局部座標に関する一致した節点の場所を表わすプライム（′）を付したベクトルである。即ち、
【数３７】
次に、下式に従ってスケールを見出す。
【００６７】
【数３８】
次のステップは、回転を決定することである。Ｈｏｒｎの方法によれば、「４元数算法」によりこれを見出す。４元数算法については、４成分ベクトル、スカラーおよび正常ベクトルの複合、および３つの異なる仮数部を持つ複素数として種々記述されている。四元法算法は、その周囲に円を持つ記号により表わす。４元数は、下記のように表わすことができる。即ち、
【数３９】
但し、ｉ、ｊおよびｋは下記の如く定義される個々の仮数部である。即ち、
ｉ２＝−１，ｊ２＝−１，ｋ２＝−１，
ｉｊ＝ｋ，ｊｋ＝ｉ，ｋｉ＝ｊ，
ｊｉ＝−ｋ，ｋｊ＝ｉ，ｉｋ＝−ｊ
４元数の乗算は下記の如く然るべく定義される。即ち、
【数４０】
ドットの積もまた定義される。即ち、
【数４１】
最後に、共役複素数が４元数算法のため定義される。即ち、
【数４２】
これから下式を得る。即ち、
【数４３】
次に、正常ベクトルｒが純粋に仮想４元数により表わされるものと見做せば、
【数４４】
次に、単位ベクトルω＝［ωｘ，ωｙ，ωｚ］ｒにより定義される軸の周囲における角度θの回転の結果生じるベクトルｒ′が下記の演算により得られることが示される。即ち、
【数４５】
但し、
【数４６】
ベクトルｒ′を回転を表わす（単位の大きさの）４元数から得る回転マトリックスＲで乗じることにより、ベクトル項における等価の回転が得られる。即ち、
ｒ′＝Ｒｒ
但し、
【数４７】
次に、４元数の概念を導入する目的は、所要の回転を表わすためにこれを用いることである。所要の回転は、先に決定したスケーリングおよび変位と組合わせる時、原始イメージにおけるアンカー点を、これらの点とアンカー点が対応する目標イメージにおける点との間の最小二乗誤差を生じる目標イメージにおける場所にマップするものである。
【００６８】
Ｈｏｒｎは、４元数が４項のベクトル〔ｑ０ｑｘｑｙｑｚ〕ｒと見做されるならば、所要の誤差を最小化する回転と対応する４元数が下記のマトリックスの最も確実な固有値と対応する単位固有ベクトルであることを示す。
【００６９】
【数４８】
但し、
【数４９】
など、である。
【００７０】
この４元数から、先に述べた如き回転マトリックスＲを得ることができる。回転、変位およびスケーリングを一緒にして、
ｘｒｉｇｉｄ＝ｓＲｘｓ′＋ｘｓ（−）＋ｘ０
但し、ｘＳ（−）はｘＳの頭に−を付した記号を表す。下式により与えられる平均二乗誤差Ｅを最小化する非変態変換を生じる。即ち、
【数５０】
この概念の導入を簡素化するため、平均二乗法に基いて誤差を最小化する回転、スケールおよび変位を見出す方法について述べた。実際には、信頼度加重に基いて、即ち、これらパラメータの決定に対する各点の寄与がこれとその相手との間の一般化された特徴空間における距離に依存する方法に基いて誤差を最小化ことを選好する。例えば、アフィン変換（ａｆｆｉｎｉｔｉｅｓ）ｚｉｊに関して、重みｗｉ＝１／（１＋ｚｉｊ）を用いることができる。これらの重みを用いると、図心は加重した図心となる。即ち、
【数５１】
重みは、スケール・ファクタを決定する際に用いられる。即ち、
【数５２】
また、回転を表わす４元数が固有ベクトルであるマトリックスにおけるエントリもまた修正される。即ち、
【数５３】
その結果は、原始イメージおよび目標イメージの粗な整合を生じる非変態変換である。図２は、原型ツリーとこれにより整合される目標ツリーとを示している。図３は、変位と、回転と、スケーリングとの結果を示している。
【００７１】
ある用途においては、非変態変換のみが要求される。例えば、１つの形式のオブジェクト認識システムにおいては、受入れは２つのステップを持ち、即ち、第１は先に述べたように、一般化された特徴ベクトルによりアンカー点を識別するものである。このステップが充分な一致を生じるならば、第２のステップは、非変態変換のみの後に残る誤差が予め定めた制約内にあるかどうかを決定することである。この可能性を反映するため、図１がモーフィング装置を示すが、この図１は整合ステップ４２の「認識されないオブジェクト」を含む。ある整合用途もまた、非変態マッピングが変態に基くものよりも更に信頼し得るという仮定に基くものである。
【００７２】
しかし、モーフィングの如き他の整合用途は、変態を含み得るマッピング機能を必要とする。この目的のため、有限要素法に戻り、また説明のため、２次元イメージの弊仮定に戻る。弊方法は、原始イメージのアンカー点を非変態変換が対応する目標イメージ点へ移る中間的場所へ移ることになるアンカー点の変位を見出すことである。これらの中間的場所を結果として生じる変位は、下式に従って容易に見出される。即ち、
【数５４】
ここで、ｉ番目の特徴点はアンカー点であると仮定する。その結果の変位値は、全ての原始イメージの特徴点に対する変位を指定する変位ベクトルＵｅｑｕｉｌの要素として用いられ、先に述べた方法の１つが他のＵｅｑｕｉｌ要素を見出すために用いられる。
【００７３】
Ｕｅｑｕｉｌが決定されると、次に、これを用いてマッピング関数を見出す。内挿マトリックスＨを変位ベクトルＵｅｑｕｉｌに単に用いるだけでは、アンカー点を、非変態変換が対応する目標イメージへ移すため要求される中間点へ移動するように原始イメージを変態するマッピングを結果として生じる。従って、適正なマッピング関数は、スケーリング、剛体および変態変換を用いるために計算される。
【００７４】
【数５５】
この整合マッピングは、一般的な場合に有効であり、反映は、式（８）が式（９）の特別な場合、即ち、個々に加えられるスケーリングが１でありかつ個々に加えられる変換および回転が共にゼロであることを示す。
【００７５】
先に述べたように、マッピング関数に対しては、モードの一部のみと対応する変位成分を用いることが時に望ましい。このような場合には、マッピング関数を下記のように表わすのが便利である。即ち、
【数５６】
但し、
【数５７】
また、βは、使用されないモードと対応する要素がゼロであり他の対角要素が１である対角ベクトルである。図４は、最低の固有ベクトル・モードのみを用いる効果を示し、図５は全てのモードを用いる効果を示している。
【００７６】
整合操作を完了した後、次に残りのモーフィング操作４４（図１）を注目するが、この操作は連続的に示される、原始イメージにおけるオブジェクトを目標イメージにおけるオブジェクトへ変態するように見せる中間的イメージの生成を含む。これは、イメージ単位の内挿により行われ、多くの従来の形式のいずれでも本発明を実施するために用いることができる。更に、下記の事例のあるものは、有限要素法の結果を特に利用する方法を示すことにする。
【００７７】
１つの簡単な内挿法においては、各原始イメージの場所に対応するｋ番目の中間的イメージにおける場所が、ｋ／（Ｌ＋１）で乗じた原始場所の変位ベクトルを原始イメージの場所へ加えることによって識別され、ここでＬは中間的イメージの数である。中間的イメージにおけるこの点の値（グレースケールまたはカラー）は、原始点の値と目標点の値との間の差をｋ／（Ｌ＋１）で乗じて、その結果を原始点の値に加えることによって、原始点の値から決定される値である。
【００７８】
このような試みは簡単であるが、物理的な現実性の意味を強調する目的のための調整にそれ自体を役立てる意味では柔軟性がない。後者の目的は、前に述べた変態モードの利点を用いる方法によって供される。このような方法は、「流れの場（ｆｌｏｗ ｆｉｅｌｄｓ）」に関して述べることができる。流れの場は、所与のの原始イメージ点と対応する中間イメージ点が１つのイメージ（フレーム）から他のイメージへ「移動する」方向を表わす高いベクトル場である。ちょうど節点の変位が分解モード変位の直線的重なりとして表わすことができるように、イメージの流れの場は、非変態変換が個々には計算されない構成においては、分解モードの流れの場所の重なりとして表わすことができる。
【００７９】
ｉ番目のモードにより寄与される原始イメージと目標イメージ間の節点変態の成分は、ｉ番目のモード形状ベクトルφｉとＵｅｑｕｉｌ（〜）のｉ番目の成分との積である。このｉ番目のＵｅｑｕｉｌ（〜）を成分ｕｉ（〜）と呼ぶならば、点ｘの原始対目標の変位に対するｉ番目のモードの寄与は、下式により得られる。（Ｕｅｑｕｉ ｌ（〜）及びｕｉ（〜）はＵｅｑｕｉｌ及びｕｉの頭に〜を付した記号を表す）。即ち、
【数５８】
中間フレームに対しては、種々のモードからの寄与は、アニメーション関数βｉ（ｔ）により変調することができ、ここでｔは原始フレームでゼロの値をとり、連続的な中間フレームと共に増加しかつ目標フレームで１に達する時間を表わす変数である。これらの関数は、アニメーション制御つまみとして働き、モードの流れの場の混合を編成する。このことは、図６に示される。
【００８０】
０＜ｔ＜１なるｔの複数の値の各々に対して、中間的な変位の場ｕ（ｘ，ｔ）が、陰極線管または紙あるいはフィルム・プリンタの如き適当な表示装置４６（図１）において中間イメージを生成するように、図６に示される操作に従って決定される。即ち、原始イメージにおける複数の点ｘｓの各々に対して、ｋ番目の中間イメージにおける場所［ｘｓ＋ｕ（ｘｓ，ｔｋ）］が、下式に従って、前記原始イメージにおけるカラー値ｃｓ（ｘｓ）と、目標イメージにおける全ての対応する点におけるカラー値ｃｓ〔ｘｓ＋ｕ（ｘｓ，１）〕との間に内挿されるカラー値ｃｋが割当てされる。即ち、
【数５９】
但し、Γは、下記の如き適当なカラー内挿関数である。即ち、
【数６０】
および
【数６１】
Γおよびβｉを独立的に変化させることにより、物理的な真実性あるいはモーフィングの他の所要の特性を最大化することができる。
【００８１】
原始イメージおよび目標イメージを整合するために著しい回転が必要であったならば、先に述べた如き値Ｕｅｑｕｉｌが、原始イメージのアンカー点をこれらの対応する目標場所までずっと移動することがなく、その代わり、非変態変換が対応する目標場所を結果として生じる中間的場所のみへこれらを移動するように決定される。従って、一般的な場合に、図７に示されるプロセスに従ってモーフィングを実施する。このプロセスは下式の如く表わすことができる。即ち、
【数６２】
但し、Ｒ（ｔ）は、下式から先に述べた方法に従って生成される時間に依存する回転マトリックスである。即ち、
【数６３】
但し、
【数６４】
目標の方位に対する剛体の回転を表わす４元数はｑｒ（°）であり、θは４元数間の球面角である。（ｑｒ（°）はｑｒの頭に°を付した記号を表す）。即ち、
【数６５】
ここで述べたアンカー点決定プロセスは、広範囲の用途を有する。例えば、モーフィング用途においては、原始イメージおよび目標イメージは、必ずしもそうではないが、典型的にはカメラが生成した自然イメージをディジタル化することにより得られ、出力イメージはコンピュータ生成イメージを印刷または他の方法で表示するための適当な装置により生成される。オブジェクトの認識および整合のためのイメージ供給源はカメラでもよいが、これら供給源はまた、コンピュータ支援設計装置の如き他のイメージ生成装置でもよい。
【００８２】
無論、カメラは必ずしも簡単な２次元のスチル・カメラあるいはビデオ・カメラではない。これらは、３次元データを生成するためのステレオ・カメラでもよい。特に、医療用途に対しては、これらは単に光学式カメラではなく、Ｘ線、陽電子線、磁気共鳴、あるいは２次元、３次元、または時間が含まれるならば４次元のイメージが断層写真の如きコンピュータで実現される方法により生成される他の種類のイメージ形成装置でもよい。１次元のイメージを生成する油井ロギング装置の如き他の供給源もまた、原始イメージおよび（または）目標イメージを生成することができる。
【００８３】
本発明は広範囲の用途を持ち、従って当技術における著しい進歩をもたらすことが明らかである。
【図面の簡単な説明】
【図１】本発明の教示を用いるモーフィング法を示すブロック図である。
【図２】整合されるべき２つのイメージを示す図である。
【図３】イメージの一方の剛体の変換結果を示す図である。
【図４】最小固有値変換モードのみを用いる変態変換の結果を示す図である。
【図５】全ての変換モードを用いる変態変換の結果を示す図である。
【図６】変換と切り離してスケーリングおよび剛体変換を用いない中間イメージ生成プロセスを示すブロック図である。
【図７】スケーリング、剛体および変態変換が個々に用いられる中間イメージ生成プロセスを示すブロック図である。
【符号の説明】
２０ 原始イメージ源
２２ 特徴場所
２４ 内挿係数の計算
２６ 内挿計算
２８ 剛性マトリックスの計算
３０ 質量マトリックスの計算
３２ モード周波数の計算
３４ 切頭モード
４４ 中間イメージ生成
【産業上の利用分野】
本発明は、オブジェクトの認識、整合およびモーフィング（ｍｏｒｐｈｉｎｇ；連続変態）において遭遇する特徴対応の問題に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
整合は、例えば、原型オブジェクトが何らかの関連するオブジェクトが記述される別の「目標」座標系へ記述される、第１の「原始（ｓｏｕｒｃｅ）」座標系からの点のマッピングである。例えば、製造装置におけるカメラが、穿孔されるのを待つ部分の２次元イメージを生じる。このイメージは、ドリル位置決めシステムが応答する目標座標系に関して表現される。一方、製造装置は、穿孔されるべき場所もまた表わされる原始座標系に関する部分の原型の内部モデルを記憶する。現実の部分を適切に穿孔するために、モデルの穴の原始座標系が、穿孔が実際に生じる目標座標系に対してマップされねばならず、モデルと現実の部分は整合されねばならない。
【０００３】
整合はまた、モーフィング時の最初のステップであり、これにおいては、所与の最初の原始イメージの変態におけるオブジェクトを所与の第２の目標イメージにするために中間イメージが生成される．各中間イメージにおいては、原始イメージにおける一点と対応する１つの点が、原始イメージ点と、整合プロセスが原始イメージ点と関連する目標イメージにおける１つの点との間の内挿により配置される。
【０００４】
関連する問題はオブジェクトの認識であり、これにおいては作業は１つの取得イメージにおけるオブジェクトが内部モデルで表わされるタイプであるかどうかを決定することである。
【０００５】
これら全ての動作は、原始イメージと目標イメージとにおける特徴点の識別で開始する。これらは、典型的に、視覚的に最も興味のあるエッジ、頂点などを見出すことである。コンピュータによる実現に役立つ一般にあか抜けしないが実際に使える方法が、特徴点の識別に用いられてきた。しかし、対応は原始イメージにおける特徴点と目標イメージにおける特徴点との間に割当てられなければならない。人間の介在なしにこれを行うことは１つの問題である。
【０００６】
その理由は容易に理解することができる。対応性割当てプロセスに対する入力は、位置の座標の形態における特徴データであり、また異なるイメージにおいて対応する特徴点の座標間には直接的な関係はほとんど決して存在しない。他の特徴点と同じイメージに対する関係に基くイメージにおける異なる特徴点を特徴付ける特徴点の記述に基いて対応性を決定するため、多くの試みが然るべくなされてきた。Ｓｃｏｔｔ著「２つのパターンの特徴を関連付けるためのアルゴリズム（Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ａｓｓｏｃｉａｔｉｎｇ ｔｈｅ Ｆｅａｔｕｒｅｓ ｏｆ Ｔｗｏ Ｐａｔｔｅｒｎｓ）」（Ｐｒｏｃ．Ｒｏｙａｌ Ｓｏｃｉｅｔｙ ｏｆ Ｌｏｎｄｏｎ、２１〜２６、１９９１年）に記載される方法は、点データ間のガウスの加重距離について述べる「近接記述マトリックス」の固有ベクトルを用いる。Ｓｈａｐｉｒｏ等の「特徴に基く対応性：固有ベクトル法（Ｆｅａｔｕｒｅ−Ｂａｓｅｄ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ：ａｎ Ｅｉｇｅｎｖｅｃｔｏｒ Ａｐｐｒｏａｃｈ）」（Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ、１０（５）：２８３〜８８、１９９２年６月）は、この方法の更なる展開を記述している。
【０００７】
この近接法は、ある状況においては対応性を有効に割当てるものであるが、情報の保存、即ち特徴場所はこの記述マトリックスからは復元できない。更に、この方法が用いる計算の結果は、対応性の決定が必要条件であるモーフィング、整合あるいは他のプロセスにおいて限定された値となる。
【０００８】
【課題を解決するための手段】
モーフィング、整合およびオブジェクトの認識において人間が介在しなければならない程度を著しく低減する対応性割当て法が考案された。この方法は、共にＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ １３（７）、１９９１年７月における、Ｐｅｎｔｌａｎｄ等の「非固定運動および構造の復元（Ｒｅｃｏｖｅｒｙ ｏｆ Ｎｏｎ−Ｒｉｇｉｄ Ｍｏｔｉｏｎ ａｎｄ Ｓｔｒｕｃｔｕｒｅ）」およびＰｅｎｔｌａｎｄ等の「物理的な形状モデリングおよび認識のための閉形状の解（Ｃｌｏｓｅｄ−Ｆｏｒｍ Ｓｏｌｕｔｉｏｎｓ ｆｏｒ Ｐｈｙｓｉｃａｌｌｙ−Ｂａｓｅｄ Ｓｈａｐｅ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ）」に記載される方法の要素を用いる。これらの論文には、得られたイメージにおける節点と（固定位置の）特徴点との間にばねが取付けられた場合に、得られたイメージにおけるオブジェクトが原型変形可能な弾性体における節点の位置において生じる変位に関する記述があった。１つの形式の対応性割当てとして考えることができるばね取付け点の決定は従来の方法の１つで行われたが、変位は「モードの」変位と呼ばれるものに対して解を求めることにより見出された。この効果は、システム式を２倍にし、これにより計算的負担を著しく低減することであった。
【０００９】
本発明はまたモード変位も用いるが、これを特徴点間の対応性を見出すために用いる。特に、前記対応性の割当てプロセスの一部は、各イメージにおける特徴点を、以下に述べる方法で決定される特性を有する各弾性体（例えば、イメージが２次元ならば、「ゴム・シート」）に等間隔でおかれた「節点」として取扱うことと数学的に等価である。弾性体の（時に、変形的な）運動の種々のモード下のイメージにおける各節点の挙動が計算され、所与の節点に対する対応性は、その挙動が他のイメージにおけるその候補対のそれにどれだけ似ているかに基いて決定される。
【００１０】
Ｐｅｎｔｌａｎｄ等の論文に記載される方法と同様に、弊方法は、弾性体の運動に対して一般に用いられて弾性体の種々の運動モードを決定する「有限要素法」を用いる。弊方法は離散節点の挙動に基くものであるが、この挙動は無論、観察されるべき運動中に節点点が変位される時、変位に遭遇する運動体の残部の効果を考慮せずに決定することはできない。従って、有限要素法は、この点の静置位置（即ち、例えば原始イメージにおけるその位置）の関数としてどれかの点（典型的には、非節点）の変位と、全ての節点の変位とを生じる内挿関数を仮定することにより開始する。
【００１１】
本発明の任意の特質によれば、内挿関数は、以下に更に詳細に述べる方法で種々の節点静止位置を中心とするガウス関数の和である。このような関数は、データの次元、即ちガウス２次元に容易に適応する故に特に望ましく、ガウス関数は１次元のガウス関数に容易に分解される。更に、これら関数は、本方法が要求するある計算に対する閉形状解の展開に役立つ。
【００１２】
節点位置と非節点位置間の関係がこのように仮定されると、弾性体全体にわたる（おそらくは均一な）質量分布と、慣性エネルギと弾性エネルギ間の変換が生じる時に振動するようにその「材料」における応力／歪みの関係とを更に仮定する。これらの仮定に基いて、節点系の運動式を書き、またこれらから系の特徴的な各振動モードを表わす固有ベクトルを得ることができる。
【００１３】
固有ベクトルの各成分は、異なる節点と関連付けられ、固有ベクトルが表わす振動モードの運動におけるこの節点の相互の関与を表わす。各固有ベクトルの固有値に従って、またこれによりモード振動周波数に従って順序付けされる、所与の節点に対する関与レベルのセットが、一般化された特徴ベクトルとして総合的に考えることができ、この特徴ベクトルがこの節点を特徴スペースにおける１点と関連付ける。従って、他のイメージからその候補対までの一般化された特徴スペースにおいて１つのイメージから１つの節点がどれだけ近いかに従って節点間の対応性を割当てることができる。
【００１４】
先に述べた対応性を決定するための近接法とは異なり、本発明の方法は情報を保存するものであり、モーフィング・プロセスにおける中間的な変態を内挿しかつオブジェクトの認識のための正準記述を得る如き対応性の決定が必須である他の関数を実行するため、基礎となる有限要素法モデルを用いることができる。オブジェクトの認識に用いられる如き本発明の方法は、Ｃｏｏｔｅｓの「パラメトリック形状記述の訓練可能な方法（Ｔｒａｉｎａｂｌｅ Ｍｅｔｈｏｄ ｏｆ Ｐａｒａｍｅｔｒｉｃ Ｓｈａｐｅ Ｄｅｓｃｒｉｐｔｉｏｎ）」（Ｉｍａｇｅａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １０（５）：２８９−９４、１９９２年６月）に記載された弦長さ法の如き他のオブジェクト記述法とある類似点を有するが、弦長さ法は、完全な対応性が入力として与えられることを要求するが、弊方法はこれらの対応性を決定するものである。
【００１５】
更に、サンプルされた特徴点が埋め込まれる連続体のシミュレーションにより固有ベクトルを得ることにより、本発明は、イメージがサンプルされる方法にはほとんど感応しない。例えば、２つのイメージに非常に異なるサンプリング密度がある場合、オブジェクトの姿勢および形状が同じであっても、近接および弦長さの記述から結果として得るマトリックスは著しく異なるが、特徴点が埋め込まれる仮想材料の運動のシミュレーションに基く弊方法により生じるマトリックスは、略々同じ程度の差しか生じない。更に、弊方法は、弾性体における位置に従って仮想材料の仮定された材料特性を変化させることにより、得られる外部の情報の結果としてある特徴を強めるか弱める可能性を提供するものである。
【００１６】
【実施例】
本発明の上記および他の特徴および利点については、添付図面に関して以下に記述される。
【００１７】
図１は、本発明を具現するモーフィング・システムをブロック図において示している。実施において、適当にプログラムされた汎用コンピュータが通常はシステムの機能の大半を実行するが、このような構成は原理的に必要ではない。弊研究の大部分において、例えば、ディスクに格納されたプログラミングを用いてシステムの各部を実現するためにＳｕｎ ＳＰＡＲＣ２ワークステーションが用いられ、レーザ・プリンタおよび陰極線管により出力イメージを生成した。また、かかる研究のためソフトウエアを他のプラットフォームに変換した。しかし、当業者は、本発明がどのような形式の記憶媒体に格納されたプログラミングにより広範囲のディジタル・コンピュータにおいて具現できることを認識しよう。実際に、１つのアプリケーションが妥当であれば、別のプログラミングを必要としない専用回路を本発明の教示の実現のために使用することができる。
【００１８】
本システムの機能の大半は通常は汎用回路により実施されるが、別個の機能を表わすため別個のブロックを用いることにより慣例に従う。動作は、適当なイメージ供給源２０からのイメージにより開始する。ブロック２２似より示されるステップにおいて、イメージにおける重要な特徴点の場所がこのイメージから取出される。典型的には隅部、縁部の点などであるこのような特徴は、便利な方法で取出される。原理的には、これらの特徴は、人間の直接的な選択により取出すことさえできる。その結果は、各々が原始イメージにおける特徴点の位置を与える１組の位置ベクトルである。
【００１９】
最初に、目標イメージについても同じ操作が実行されるが、原始イメージのみからのデータの処理について論述する。簡素化のために、論議は、オブジェクトの特徴点の図心が接近し、それらの回転方位が小さくとも異なり、かつ類似したスケールで表示される、おおまかな整合状態にあるイメージに対して本方法を用いることができる方法から始める。これらの仮定は、本発明が更に一般的な問題に対して適用し得る方法を記述するために緩和される。更に説明の目的のため、イメージが２次元イメージであると仮定するが、どんな次元のイメージに対しても本方法の適合性は明らかであろう。
【００２０】
先に述べたように、本発明は、以下本文において、埋め込まれるものと仮定される弾性シートの（しばしば、変態）運動の種々のモードの運動における関与に関して「節点」と呼ぶことにする取出された特徴点の各々を特徴付けることに基くものである。これらの運動モードを識別するには、この節点系の運動式について考察する必要がある。この運動式は、弾性シートが振動しあるいは他の状態で運動する時それらの静止位置からの種々の節点の変位の変化を記述する。
【００２１】
このため、運動式はＵにおける式であり、ここでｎの節点があるならば、Ｕは２ｎの成分ベクトル（本例では、２次元の場合が仮定される）であり、弾性シートの振動中に節点が遭遇するそれらの静止位置からの変化する変位を表わす。（必要ではないが、特徴抽出プロセスが原始イメージにおける節点に対して生じる位置ベクトルは、その静止位置で考察することができる。）この運動が何であるかを決定するためには、ゴム・シートにより課される弾性力と慣性力、ならびに何らかの変換を強制するため用いられる外部の「入力」作用力を考慮することが必要である。これらの入力作用力は、節点に対してのみ加わるひとかたまりの作用力に限定されるものと仮定される。結果として得る式は、
【数１】
【００２２】
Ｍの各行は、各節点における２つの慣性力成分の一方または他方と関連付けられ、１つの行の構成成分は、種々の節点における各加速度成分から結果として生じる前記慣性成分から結果として生じる慣性力成分に対する寄与成分を表わす。換言すれば、Ｍの行は、Ｕ（‥）とのスカラー積が、Ｍの行が関連する節点により生じる慣性力の２つの成分の一方または他方であるベクトルの転置である。（Ｕ（‥）はＵの頭に‥を付した記号を示す）。同様に、Ｋは、各節点似より利得弾性復元力に対する全ての節点における変位の寄与成分を表わす。
【００２３】
ＭおよびＫの決定は、節点が変位される時弾性シートにおける非節点に生じる変位に関する仮定を要求する。即ち、下記の如く変位内挿（変位補間）マトリックスＨ（ｘ）を見出す必要がある。即ち、
【数２】
【数３】
【００２４】
ｈｊが取るべき形態を決定するためには、最初に変態が位置の連続的関数であると仮定する。この連続性の要件は、ｘｊがｊ番目の節点の静止位置であるならば、ｕ（ｘ）はｘｊに接近する従って（ｕｊ，ｖｊ）に接近しなければならない。これは、ｈｊ（ｘ）が節点ｊにおいて１でありかつ他の全ての節点において０であることの要件を生じる。
【００２５】
これは、有限要素法が用いられる時、ガラーキン（Ｇａｌｅｒｋｉｎ）内挿子にこれまで課された基準である。本発明の一特質によれば、ｈｉを下記の形式のガウス基底関数から形成することによりこれらの基準を満たす。即ち、
【数４】
【００２６】
内挿（補間）機能Ｈの成分関数ｈｉは、ｎの基底関数ｇの各和である。即ち、
【数５】
【００２７】
【数６】
【００２８】
全ての節点の変位が同じであるならば他の全ての点の変位もそうであることを保証する、第２のガラーキン基準を満たすことが時に望ましい。この結果に対する充分条件は、
【数７】
【数８】
【数９】
【数１０】
【００２９】
式（３）に示されるＨマトリックスにおけるゼロから、下記のことが判る。即ち、
【数１１】
【数１２】
【数１３】
【００３０】
次に、各節点における正味の復元力、即ち弾性力を全ての節点における変位に関連付ける、式（１）の応力マトリックスＫを評価する。その評価のためには、弾性シート全体にわたる応力の挙動について考察することが必要であり、これは更に歪みを決定することを含む。任意の点ｘ＝（ｘ，ｙ）における引張り歪みのｘおよびｙ成分はそれぞれ∂ｕ／∂ｙおよび∂ｖ／∂ｘである。これらから応力を決定するには、仮想のシート材料に対するヤング率Ｅとポアソン比αを仮定する。１次元の場合における応力は単に歪みにヤング率を乗じることにより決定されるが、２次元の場合は、せん断応力と、ポアソン比により与えられる角度に対する引張り歪みに対して直角の方向に引張られた弾性体が収縮しようとする傾向とを考慮に入れることが必要である。結果として得るｘ方向の引張り歪みσｘｘはβ（∂ｕ／∂ｘ＋α∂ｕ／∂ｙ）であり、ここでβ＝Ｅ／（１−α２）である。同様に、ｙ方向の引張り歪みσｙｙはβ（∂ｕ／∂ｙ＋α∂ｕ／∂ｘ）であるが、せん断応力σｘｙ＝βγ（∂ｕ／∂ｘ＋∂ｕ／∂ｙ）であり、ここでγ＝（１−α）／２である。歪みマトリックスＢを導入することにより、
【数１４】
【数１５】
【数１６】
【数１７】
【数１８】
【００３１】
【数１９】
【数２０】
【数２１】
【００３２】
このように、式（１）における質量マトリックスＭおよび剛性マトリックスＫの値を見出し、従って、入力Ｆが与えられるならば、Ｕ（ｔ）に対して解を得ることができる。しかし、最初に、Ｆに対する特定の値を割当てることなく決定することができる系の振動「モード」を見出すことに関心がある。モードは、モードＫＭ−１の固有ベクトルφであり、即ち、下式に対する解である。
【００３３】
Ｋφ＝ω２Ｍφ
これらの解は、その対応する固有値ω２と共に容易に計算される。
【００３４】
これらの解φの数学的な意味は、これらが運動式（１）を式の分解された系として書き直すことを可能にすることである。これを示すため、これらがＭで正規直交化されるように、φの大きさを最初に任意に選択する。即ち、
【数２２】
ΦＴＫΦ＝Ω２ （５）
また
ΦＴＭΦ＝Ｉ （６）
ここで、Ｉは恒等マトリックスであり、
Φ＝［φ１，φ２，，，φ２ｎ］
【数２３】
ωｉ≦ωｉ＋１
式（５）および（６）を用いて、Ｕ＝ΦＵ；即ち、Ｕ（〜）＝ΦＴＭＵとなるように定義されたモード変位Ｕ（〜）に関して運動式（１）を書き換えることができる。Ｕ（〜）はＵの頭に〜を付した記号を表す。このように、運動式（１）を書き換えると、
【数２４】
【００３５】
ブロック３２は、固有ベクトルφの計算を表わす。これは、固有ベクトルの定義に従って固有ベクトルの方向を決定すること、および先に述べたＭの正規直交化の制約により固有ベクトルの大きさを割当てることを含む。しかし、この制約は、依然として、各固有ベクトルに対する２つのあり得る値を残し、その一方は他方の負値である。従って、以下に述べる方法でこの２つから選択する。固有ベクトルは、初期の変換に対する仮想の弾性シートの強制されない（Ｆ＝０）応答が応答ＡｉΦｉｓｉｎ（ωｉｔ＋θｉ）の加重和に分解することができる故に、関連する前後関係においてしばしば「モード形状」と呼ばれる。
【００３６】
先に述べたように、各節点を幾つかのモードにおけるその相互関与のセットにより特徴付ける。この目的のため、モード・マトリックスΦを一般化された特徴ベクトルｖｉに関して書くと、
【数２５】
【００３７】
無論、原始イメージに対して計算された固有ベクトルおよび固有値は、一般に目標イメージのそれとは同じではなく、実際には、１つのイメージにおける特徴点の数、従ってモードの数は、一般に１つのイメージにおけるものと他におけるものとは同じではない。従って、２つの一般化された特徴ベクトル空間を対応させるために何かがなされねばならない。２つの一般化された特徴ベクトル空間の次元数を同じにさせる１つの方法は、所与の次元数における一般化された特徴ベクトルを切頭することである。より高い周波数モードがノイズに対する最も敏感なものである故に、最低周波数を成分の２５％のみを残すことによりこれを幾つかの実験で行った。（以下に説明する理由により、ある用途では最低周波数モードを更に捨てる。）ブロック３４は、このような切頭を表わす。次に、２つの一般化された特徴ベクトル空間における次元間の対応が、それらの各固有値、従ってそれらの各モード周波数の大きさにより順序付けられる時、立下がる位置に従って割当てられる。これが、特徴ベクトル成分を固有値で順序付けを行う目的である。
【００３８】
最も高い固有値モード（ならびに、以下に述べる状況では、最低固有値モード）を捨てることにより、切頭される一般化された特徴ベクトルｖｋが結果として生じ、その各々が各特徴に対する種々のモードにおける相互関与セットを定義し、また切頭される一般化された特徴空間におけるかかる特徴の場所を表わすものとして見做すことができる。図１が示すように、１つのイメージに対して行われるように述べてきた動作が、実際には両者に対して行われる。
【００３９】
本方法の全ての用途は、１つのイメージにおける１つの特徴点（即ち、節点）に対して決定される一般化された特徴ベクトルが他のイメージにおける１つの特徴点に対して決定されたものに対してどれだけ近いかを決定することに基く。明らかに、「近いこと」の多くの測定が、これに関して用いることができ、多くの基準が対応性の決定のためこのような測定に用いることができる。当業者は、種々の用途に対して大半が多少とも望ましいことを見出すことになろう。本発明が例えばオブジェクトの認識のために用いられる時、例えば、得られたイメージにおける予め定めた数または比率の特徴点に対して決定される一般化された特徴ベクトルが原型イメージにおける各特徴点に対して決定される一般化された特徴ベクトルから予め定めた閾値距離内になければ、得られたイメージにおけるあるオブジェクトが原型イメージにおけるそれと同じ種類のものでない見做される。この基準が満たされなければ、システムはこの時、オブジェクト認識ではなくモーフィングのためのシステムを表わすよう意図されても図１が説明のため表示する如き、得られたイメージにおけるオブジェクトが種類に対してテストされたものでない表示を生じることになる。
【００４０】
整合およびモーフィングの目的のため、マッピング機能の開発が基礎とするアンカー点が、その一般化された特徴ベクトルが他のイメージにおける対応する特徴から少なくとも遠い所与のイメージにおける特徴点である。２つのイメージにおける点間の対応性は、例えば、「アフィン変換（ａｆｆｉｎｉｔｙ）マトリックス」Ｚの計算で始めることにより決定することができる。原始イメージおよび目標イメージにおけるｉ番目とｊ番目の特徴点がそれぞれ切頭された一般化特徴ベクトルｖｉ，ｓ′およびｖｊ，Ｔ′により表わされるならば、Ｚの各要素ｚｉｊは下式により与えられる。即ち、
ｚｉｊ＝‖ｖｉ，ｓ′−ｖｊ，ｉ′‖２
ブロック３６はこの操作を示している。原始点ｉと目標点ｊとの間の完全な一致のためには、ｚｉｊはゼロであるが、ｚｉｊの値がより大きいと一致は劣化する。
【００４１】
この点に関して、固有ベクトル−計算法３２の符号割当ての特質に簡単に戻る。先に述べたように、固有ベクトル−定義とＭ−正規直交化の制約は、各固有ベクトルに対して２つのあり得る値を残す。固有ベクトルが２つのイメージに対して個々に計算されるため、固有ベクトルの符号が無作為に割当てられたならば、これは同じイメージにおけるさえ対応する特徴点に対して計算された一般化された特徴ベクトル間に大きな相違を生じる結果となり得る。従って、対応する特徴に対して一般化された特徴ベクトル間の相違を最小化するように符号を選択する。
【００４２】
そのためには、Ｓｈａｐｉｒｏの「視覚ベースの運動フレームワークを目指して（Ｔｏｗａｒｄｓ ａ Ｖｉｓｉｏｎ−Ｂａｓｅｄ Ｍｏｔｉｏｎ Ｆｒａｍｅｗｏｒｋ）」（Ｔｈｅ Ｏｘｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｒｏｂｏｔｉｃ Ｒｅｓｅａｒｃｈ Ｇｒｏｕｐ）による１９９１年の技術論文に記載されたものと似た方法で行う。この論文が述べるように、本方法は、２つのイメージにおけるオブジェクトが関連することを予期されること、および１つのイメージからの固有ベクトルの符号を任意に正しいと見做すことの仮定に基くものである。次に、他のイメージの計算された固有ベクトルの各々がテストされて、これもしくは逆の符号を付した固有値が特徴ベクトル間の距離を最小化するかどうかを決定する。
【００４３】
特に、反復手順においては、一時に１つの固有ベクトルが考察される。連続する固有ベクトル毎に、固有ベクトルと対応する全ての成分がゼロに設定されると考えられないことを除いて、元の計算された固有ベクトルから決定される一般化特徴ベクトルと同じものである「ゼロが並んだ」一般化特徴ベクトル間の距離を見出すことに相当する操作が行われる。その結果、要素が下式により与えられるテスト・アフィン変換マトリックスＺｑ，ｐｏｓを得る。即ち、
【数２６】
【００４４】
ここで対応性の決定に戻る。考察される原始点ｉが目標点ｊと対応するためには、下記の条件が課される。即ち、ｚｉｊが、（１）予め定めた閾値より小さくなければならず、また（２）ｉ番目の行とｊ番目の列の両方で最小でなければならないことである。大部分の場合、これは各節点に対する一致を生じないが、通常は多数の対応対を生じる。これらは「アンカー」点の対と見做される。
【００４５】
このようにアンカー対を識別すると、これらを用いて原始イメージからの他の点を目標イメージへマッピングする関数を決定する。特徴点の対応性からマッピング関数を決定する多くの方法が存在し、そのいずれも本発明のより広い教示に従って用いることができる。しかし、以降の事例においては、本発明の対応性決定法が容易にする方法を強調することにする。
【００４６】
比較的簡単な事例から始める。この方法は、イメージ間の方位にわずかな相違がある時に最もよい効果を生じる。本方法においては、変位−内挿マトリックスＨを、値が目標イメージにおける対応点の位置へ原始イメージにおけるアンカー点を変位する如きものである特徴点変位ベクトルＵに用いるだけで、マッピングが得られる。しかし、先に述べたように、アンカー点の決定は、通常は、全ての特徴点より少ない点に対して対応性を決定する。従って、特徴点変位ベクトルＵに対する完全な値のセットを持たない。
【００４７】
他の特徴点の変位を割当てるために、種々の方法を用いることができる。１つの簡単な方法は平衡法であり、これにおいては、他の特徴点、即ち、一致したアンカー節点に対してシミュレートする時を仮定して、外部の作用力が一致しない節点に対して加えらえない時、一致しない節点が平衡時にこれらをその相手の位置へ変位することを強制する位置を観察する。
【００４８】
平衡式では、
ＫＵ＝Ｆ
換言すれば、一致しない節点と関連するＦの成分をゼロに設定し、一致した節点と関連するＵの成分をその相手に移動する値に設定し、一致しない節点と対応するＵの成分に対する２ｎの変数における２ｎの式の結果として得るセットを解く。（典型的な等方性の例においては、ｎの変数におけるｎの式を解くことで全ての２ｎの変数に対する値を得る。）ブロック４０により示されるこの演算は、原始イメージにおける一致しない節点を一般に目標イメージにおける節点でないがアンカー点に対して見出される変位を生じる弾性シートの変形と一致する場所へ変換する値Ｕｅｑｕｉｌを生じる。
【００４９】
節点変位Ｕｅｑｕｉｌのこの値を式（２）に代入することにより、原始イメージからのいずれの点（節点または非節点）が目標イメージにおける点にマップされる変形を計算することができる。このように、２つのイメージを整合した。即ち、マッピング関数を見出したのである。即ち、
ｘｒ＝ｘｓ＋Ｈ（ｘｓ）Ｕｅｑｕｉｌ （８）
但し、ｘｒは原始イメージにおける点ｘｓがマップされる場所である。
【００５０】
別の試みは、ｎ節点の内ｐのみに対して対応性が見出されたならば、Ｕが２ｐ以上のゼロのモード成分のみからなると仮定することにより、Ｕの未知の要素を見出すことである。この試みは、下式を用いることにより、モード変位に対する解を直接に得る。即ち、
Ｕ＝ΦＵ（〜）
ｎ節点の内ｐに対して対応性を見出したならば、高い周波数の固有ベクトル（列φｉ）の２（ｎ−ｐ）を捨てることにより自由度を減少する。これにより、モード切頭変換マトリックスΦ（−）（Фの頭に−を付した記号に相当する）を生じる。次に、一致しない節点と関連するΦ（−）の行を捨てる。その結果として得る式のシステムは、２ｐの式と２ｐの未知数を有し、従ってモード変位について直接解を得ることができる。これは、再び閉じた形態における解を得ることを可能にする。
【００５１】
別の制約を課すことにより、一致しない節点におけるロードを非ゼロ化する変位に対する解を見出すことが可能である。下記の歪みエネルギＥ１を最小化する一致しない節点におけるロードを見出す。即ち、
【数２７】
【数２８】
【００５２】
これまでに述べたマッピングは、全てのアンカー点をそれらの相手にマップする。これは、全ての用途に対して最も望ましいマッピングではない。しかし、大半の用途に対して、所要のマッピング機能がアンカー点の相手の位置とマッピング機能がこのアンカー点をマップする位置との間の関係のある関数を最小化あるいは最大化するものとなることは真である。
【００５３】
ノイズが例えばデータに予期されるある整合用途においては、１つのイメージのアンカー点を他のアンカー点ではなく、その決定が目標節点を固定状態に保持してそのばね定数が予期されるノイズに依存するアンカー対の仮想ばねにおける点間からの定置の結果得る原始イメージの静止位置を見出すことと数学的に等価である場所へ正確に「移動」する、適正な整合の最大の可能性が達成されることが判る。このような場合、全ての変位成分が未知であることを除いて、平衡式が前のように解かれる。
【００５４】
特に、ｉ番目の原始イメージがアンカー点であり、ｘｓ，ｉがその場所であるならば、ｘｒ，ｉがこれと対応する目標イメージの特徴点の場所であるように、目標イメージの特徴点を番号を変更しよう。次に、ｉ番目の特徴点がアンカー点であるならば、
【数２９】
【数３０】
【００５５】
ｎは大きくなり得るため、分解された式により変位について計算により解くことが望ましい。無論、このために、モード変位Ｕ（〜）を用いることができる。即ち、その代わりに、分解式を解くことができる。即ち、
Ω２Ｕ（〜）＝ΦＴＦ
ばね定数の制限が等しくなければ、Ｆなる別のばね定数を用いても式を再び結合する。更に、より低い固有値モードのみからの変位の寄与を計算することにより、計算的負荷が更に減じられても、不正確さはほとんど生じず、またあるノイズ不良がある用途において加わる。
【００５６】
時に用いられたアンカー点からの整合を得る別の方法は、減衰項をシステムに導入し、次いで結果として生じる運動をシミュレートすることである。特に、下記の動的式が解かれる。即ち、
【数３１】
【００５７】
結果として得るモードの動的平衡式は、下記の形態のｍの独立式の系として書くことができる。即ち、
【数３２】
【００５８】
従って、モード変位は、いずれかの累次数積分手順により解くことができる。弊実現方法においては、間接的累次数積分法であるニューマーク（Ｎｅｗｍａｒｋ）法を用いる。本システムは、ロード・エネルギにおける変化が閾値δより少なくなるまで、時間的に順方向に積分される。即ち、
‖Ｆｔ−Δｔ−Ｆｔ‖２＜δ２
これは、前のようにマッピング関数が直後にくる制止変位値Ｕｅｑｕｉｌを生じる。
【００５９】
モード減衰マトリックスＤ（〜）は、レイリー（Ｒａｙｌｅｉｇｈ）減衰を仮定する故に対角成分である。レイリー減衰においては、減衰係数は質量と剛性マトリックスと線形的に関連する。即ち、
Ｄ＝αＭ＋βＫ
モード座標へ変換して、対角的なモード減衰マトリックスを得る。即ち、
【数３３】
【数３４】
【００６０】
＃（め１７８９）おわり
これまでに述べた如きプロセスは制限されるが重要な問題の種類に対して良好な結果を得るが、更に一般的な試みはある修正を必要とする。これらの修正は、１つのイメージの方位、絶対的位置および（または）スケールが他のそれと著しく異なる時に必要とされる。これらの状況は、２つの主な調整を必要とする。１つは切頭特徴ベクトルであり、これは一般化された特徴空間を定義し、最高のみならず最低の固有値モードを捨てることにより対応性決定を目的とする。このため、中間的な固有値モードのみが切頭特徴空間の定義のため残る。最低固有値モードは、変位および回転を表わし、従って、ゼロ固有値モードが含まれるならば切頭された一般化特徴空間が望ましからず位置と方位とに感応する、典型的に幾つかのゼロ固有値モードがある故に放棄される。他の低固有値モードのあるものもまた、スケールにおける著しい相違が予期されるならば放棄されるが、これはスケールの相違がこれらモードに（悪）影響を及ぼす傾向があるためである。これらの最低固有値モードの除去もまた、異なるカメラ角度の使用の結果生じる釣合いの悪影響を減じる。従って、２次元の場合は、典型的に切頭一般化特徴ベクトルから６つの最低固有値モードを除去してきた。
【００６１】
第２の主な調整は、スケールにおける近似的な相違が既知であれば、内挿関数に対して適当な調整を行わなければならないことである。例えば、１つのイメージにおけるあるオブジェクトが他のオブジェクトの２倍である予期されるならば、第１のイメージに対するガウス内挿基底関数において用いられる標準偏差σは第２のイメージに対するそれにおいて用いられるものの２倍であるべきである。
【００６２】
これらの２回の調整をのぞいて、アンカー点を決定する初期操作は、更に一般的な試みにおいて最初に紹介した試みと同じものである。アンカー点からのマッピング関数は、同じ方法で、即ち残りの特徴点の変位に対して解を求め、これにより決定される変位ベクトルに内挿関数を適用することによって得ることができる。
【００６３】
しかし、整合が特にモーフィングのために持ちいられる時は、Ｈｏｒｎの「単位４元数算法を用いる絶対方位の閉形態の解（Ｃｌｏｓｅｄ−Ｆｏｒｍ Ｓｏｌｕｔｉｏｎ ｏｆ Ａｂｓｏｌｕｔｅ Ｏｒｉｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｕｎｉｔ Ｑｕａｔｅｒｎｉｏｎｓ）」（Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ、第４巻、６２９ページ、１９８７年４月）に記載された方法により、アンカー対が残りの点の中間的な非変換整合のための基礎として用いられるステップを含む方法を選好する。以下に述べる方法が明白な変換、回転およびスケーリング値を与えるため、この方法の使用を選好する。このように、この方法は、連続的な中間イメージにおける連続する変位、回転およびスケーリングの割合を変態とは切離して容易に制御することを可能にする故に、それ自体モーフィングに役立つ。
【００６４】
本方法が１次元のみを持ちあるいは３次元以上を持つイメージに対して容易に適用し得ることを指摘したが、これまでの論議の目的のため事例におけるイメージが２次元であることを仮定した。しかし、スケーリングおよび剛体の変態を決定するためのＨｏｒｎの方法の以降の論議においては、本方法のある特質が２次元のイメージに対して変質され、従ってこれらの特質の３次元表現がより明瞭になる故に、イメージが３次元であることを仮定する。
【００６５】
この仮定に従って、対応性が目標イメージにおける点ｘＴ，ｉに対してそれぞれ決定された原始イメージにおいて、３次元のアンカー点から始める。
【００６６】
【数３５】
【数３６】
【数３７】
【００６７】
【数３８】
【数３９】
ｉ２＝−１，ｊ２＝−１，ｋ２＝−１，
ｉｊ＝ｋ，ｊｋ＝ｉ，ｋｉ＝ｊ，
ｊｉ＝−ｋ，ｋｊ＝ｉ，ｉｋ＝−ｊ
４元数の乗算は下記の如く然るべく定義される。即ち、
【数４０】
【数４１】
【数４２】
【数４３】
【数４４】
【数４５】
【数４６】
ｒ′＝Ｒｒ
但し、
【数４７】
【００６８】
Ｈｏｒｎは、４元数が４項のベクトル〔ｑ０ｑｘｑｙｑｚ〕ｒと見做されるならば、所要の誤差を最小化する回転と対応する４元数が下記のマトリックスの最も確実な固有値と対応する単位固有ベクトルであることを示す。
【００６９】
【数４８】
【数４９】
【００７０】
この４元数から、先に述べた如き回転マトリックスＲを得ることができる。回転、変位およびスケーリングを一緒にして、
ｘｒｉｇｉｄ＝ｓＲｘｓ′＋ｘｓ（−）＋ｘ０
但し、ｘＳ（−）はｘＳの頭に−を付した記号を表す。下式により与えられる平均二乗誤差Ｅを最小化する非変態変換を生じる。即ち、
【数５０】
【数５１】
【数５２】
【数５３】
【００７１】
ある用途においては、非変態変換のみが要求される。例えば、１つの形式のオブジェクト認識システムにおいては、受入れは２つのステップを持ち、即ち、第１は先に述べたように、一般化された特徴ベクトルによりアンカー点を識別するものである。このステップが充分な一致を生じるならば、第２のステップは、非変態変換のみの後に残る誤差が予め定めた制約内にあるかどうかを決定することである。この可能性を反映するため、図１がモーフィング装置を示すが、この図１は整合ステップ４２の「認識されないオブジェクト」を含む。ある整合用途もまた、非変態マッピングが変態に基くものよりも更に信頼し得るという仮定に基くものである。
【００７２】
しかし、モーフィングの如き他の整合用途は、変態を含み得るマッピング機能を必要とする。この目的のため、有限要素法に戻り、また説明のため、２次元イメージの弊仮定に戻る。弊方法は、原始イメージのアンカー点を非変態変換が対応する目標イメージ点へ移る中間的場所へ移ることになるアンカー点の変位を見出すことである。これらの中間的場所を結果として生じる変位は、下式に従って容易に見出される。即ち、
【数５４】
【００７３】
Ｕｅｑｕｉｌが決定されると、次に、これを用いてマッピング関数を見出す。内挿マトリックスＨを変位ベクトルＵｅｑｕｉｌに単に用いるだけでは、アンカー点を、非変態変換が対応する目標イメージへ移すため要求される中間点へ移動するように原始イメージを変態するマッピングを結果として生じる。従って、適正なマッピング関数は、スケーリング、剛体および変態変換を用いるために計算される。
【００７４】
【数５５】
【００７５】
先に述べたように、マッピング関数に対しては、モードの一部のみと対応する変位成分を用いることが時に望ましい。このような場合には、マッピング関数を下記のように表わすのが便利である。即ち、
【数５６】
【数５７】
【００７６】
整合操作を完了した後、次に残りのモーフィング操作４４（図１）を注目するが、この操作は連続的に示される、原始イメージにおけるオブジェクトを目標イメージにおけるオブジェクトへ変態するように見せる中間的イメージの生成を含む。これは、イメージ単位の内挿により行われ、多くの従来の形式のいずれでも本発明を実施するために用いることができる。更に、下記の事例のあるものは、有限要素法の結果を特に利用する方法を示すことにする。
【００７７】
１つの簡単な内挿法においては、各原始イメージの場所に対応するｋ番目の中間的イメージにおける場所が、ｋ／（Ｌ＋１）で乗じた原始場所の変位ベクトルを原始イメージの場所へ加えることによって識別され、ここでＬは中間的イメージの数である。中間的イメージにおけるこの点の値（グレースケールまたはカラー）は、原始点の値と目標点の値との間の差をｋ／（Ｌ＋１）で乗じて、その結果を原始点の値に加えることによって、原始点の値から決定される値である。
【００７８】
このような試みは簡単であるが、物理的な現実性の意味を強調する目的のための調整にそれ自体を役立てる意味では柔軟性がない。後者の目的は、前に述べた変態モードの利点を用いる方法によって供される。このような方法は、「流れの場（ｆｌｏｗ ｆｉｅｌｄｓ）」に関して述べることができる。流れの場は、所与のの原始イメージ点と対応する中間イメージ点が１つのイメージ（フレーム）から他のイメージへ「移動する」方向を表わす高いベクトル場である。ちょうど節点の変位が分解モード変位の直線的重なりとして表わすことができるように、イメージの流れの場は、非変態変換が個々には計算されない構成においては、分解モードの流れの場所の重なりとして表わすことができる。
【００７９】
ｉ番目のモードにより寄与される原始イメージと目標イメージ間の節点変態の成分は、ｉ番目のモード形状ベクトルφｉとＵｅｑｕｉｌ（〜）のｉ番目の成分との積である。このｉ番目のＵｅｑｕｉｌ（〜）を成分ｕｉ（〜）と呼ぶならば、点ｘの原始対目標の変位に対するｉ番目のモードの寄与は、下式により得られる。（Ｕｅｑｕｉ ｌ（〜）及びｕｉ（〜）はＵｅｑｕｉｌ及びｕｉの頭に〜を付した記号を表す）。即ち、
【数５８】
【００８０】
０＜ｔ＜１なるｔの複数の値の各々に対して、中間的な変位の場ｕ（ｘ，ｔ）が、陰極線管または紙あるいはフィルム・プリンタの如き適当な表示装置４６（図１）において中間イメージを生成するように、図６に示される操作に従って決定される。即ち、原始イメージにおける複数の点ｘｓの各々に対して、ｋ番目の中間イメージにおける場所［ｘｓ＋ｕ（ｘｓ，ｔｋ）］が、下式に従って、前記原始イメージにおけるカラー値ｃｓ（ｘｓ）と、目標イメージにおける全ての対応する点におけるカラー値ｃｓ〔ｘｓ＋ｕ（ｘｓ，１）〕との間に内挿されるカラー値ｃｋが割当てされる。即ち、
【数５９】
【数６０】
【数６１】
【００８１】
原始イメージおよび目標イメージを整合するために著しい回転が必要であったならば、先に述べた如き値Ｕｅｑｕｉｌが、原始イメージのアンカー点をこれらの対応する目標場所までずっと移動することがなく、その代わり、非変態変換が対応する目標場所を結果として生じる中間的場所のみへこれらを移動するように決定される。従って、一般的な場合に、図７に示されるプロセスに従ってモーフィングを実施する。このプロセスは下式の如く表わすことができる。即ち、
【数６２】
【数６３】
【数６４】
【数６５】
【００８２】
無論、カメラは必ずしも簡単な２次元のスチル・カメラあるいはビデオ・カメラではない。これらは、３次元データを生成するためのステレオ・カメラでもよい。特に、医療用途に対しては、これらは単に光学式カメラではなく、Ｘ線、陽電子線、磁気共鳴、あるいは２次元、３次元、または時間が含まれるならば４次元のイメージが断層写真の如きコンピュータで実現される方法により生成される他の種類のイメージ形成装置でもよい。１次元のイメージを生成する油井ロギング装置の如き他の供給源もまた、原始イメージおよび（または）目標イメージを生成することができる。
【００８３】
本発明は広範囲の用途を持ち、従って当技術における著しい進歩をもたらすことが明らかである。
【図面の簡単な説明】
【図１】本発明の教示を用いるモーフィング法を示すブロック図である。
【図２】整合されるべき２つのイメージを示す図である。
【図３】イメージの一方の剛体の変換結果を示す図である。
【図４】最小固有値変換モードのみを用いる変態変換の結果を示す図である。
【図５】全ての変換モードを用いる変態変換の結果を示す図である。
【図６】変換と切り離してスケーリングおよび剛体変換を用いない中間イメージ生成プロセスを示すブロック図である。
【図７】スケーリング、剛体および変態変換が個々に用いられる中間イメージ生成プロセスを示すブロック図である。
【符号の説明】
２０ 原始イメージ源
２２ 特徴場所
２４ 内挿係数の計算
２６ 内挿計算
２８ 剛性マトリックスの計算
３０ 質量マトリックスの計算
３２ モード周波数の計算
３４ 切頭モード
４４ 中間イメージ生成
Claims (13)
- 原始点と目標点とをそれぞれ含む電子的に符号化された原始イメージと目標イメージとの間でモーフィングするための方法において、
Ａ）原始点および目標点とから原始および目標の特徴点を識別し、
Ｂ）原始イメージから特徴点をサンプリングし、
Ｃ）前記原始イメージと目標イメージの特徴点の位置に対応した位置に節点を有し、且つ所定の特徴を有する弾性体をシミュレートし、
Ｄ）前記シミュレートされた弾性体の各節点の総合的運動のモードのモード形状を計算し、
Ｅ）前記モード形状に従って、前記原始特徴点と前記対応する目標特徴点の間にこれらの位置と値を内挿することにより中間イメージを生成する、
各ステップを含むことを特徴とする方法。 - 各前記モード形状は固有ベクトル成分を含む固有ベクトルであり、各固有ベクトル成分は異なる節点に関連し且つ固有ベクトルが対応するモードにおける節点の相対的関与を示し、これにより一般化した特徴ベクトルを各特徴点と関連し、一般化した特徴ベクトルの成分が、前記固有ベクトルに組み込まれるものとして、対応するモードにおける特徴点の関連する節点の前記関与を表すことを特徴とする、請求項１記載の方法。
- 原始点と目標点とをそれぞれ含む電子的に符号化された原始イメージと目標イメージとの間でモーフィングするための方法において、
Ａ）原始点および目標点とから原始および目標の特徴点を識別し、
Ｂ）原始イメージから特徴点をサンプリングし、
Ｃ）前記原始イメージと目標イメージの特徴点の位置に対応した位置に節点を有し、且つ所定の特徴を有する弾性体をシミュレートし、
Ｄ）前記シミュレートされた弾性体の各節点の総合的運動のモードのモード形状を計算し、
Ｅ）前記モード形状に従って、目標特徴点に対する原始特徴点のマッピング関数を決定し、
Ｆ）前記マッピング関数に基づいて電子的に符号化された中間イメージを生成する、
各ステップを含むことを特徴とする方法。 - 前記マッピング関数が変態でないことを特徴とする、請求項３記載の方法。
- 各前記モード形状は固有ベクトル成分を含む固有ベクトルであり、各固有ベクトル成分は異なる節点に関連し且つ固有ベクトルが対応しているモードにおける節点の相対的関与を示し、これにより一般化した特徴ベクトルを各特徴点と関連し、一般化した特徴ベクトルの成分が、前記固有ベクトルに組み込まれるものとして、対応するモードにおける特徴点の関連する節点の前記関与を表すことを特徴とする、請求項３記載の方法。
- 前記モード形状を計算するステップが、節点として全ての体部点より少ないことを表示し、かつ各シミュレートされた弾性体における他の各体部点の変位として、前記シミュレートされた弾性体の節点の変位の積の和と、前記点の位置の節点を中心とするガウス関数の各和とに等しい値を用いることを含むことを特徴とする、請求項１または３に記載の方法。
- 前記原始イメージと目標イメージとが、ａ）１次元イメージ、ｂ）２次元イメージ、ｃ）３次元イメージ、あるいはｄ）ｎ次元イメージ（但し、ｎ＞３）節点れかであることを特徴とする、請求項１または３に記載の方法。
- 原始点と目標点とをそれぞれ含む電子的に符号化された原始イメージと目標イメージとの間でモーフィングするための装置において、
Ａ）原始点および目標点とから原始および目標の特徴点をそれぞれ識別する手段と、
Ｂ）原始イメージから特徴点をサンプリングする手段と、
Ｃ）前記原始イメージと目標イメージの特徴点の位置に対応した位置に節点を有し、且つ所定の特徴を有する弾性体をシミュレートする手段と、
Ｄ）前記シミュレートされた弾性体の各節点の総合的運動のモードのモード形状を計算する手段と、
Ｅ）前記モード形状に従って、前記原始特徴点と前記対応する目標特徴点の間にこれらの位置と値を内挿することにより中間イメージを生成する手段と、
を含む装置。 - 各前記モード形状は固有ベクトル成分を含む固有ベクトルであり、各固有ベクトル成分は異なる節点に関連し且つ固有ベクトルが対応しているモードにおける節点の相対的関与を示し、これにより一般化した特徴ベクトルを各特徴点と関連し、一般化した特徴ベクトルの成分が、前記固有ベクトルに組み込まれるものとして、対応するモードにおける特徴点の関連する節点の前記関与を表すことを特徴とする、請求項８記載の装置。
- 原始点と目標点とをそれぞれ含む電子的に符号化された原始イメージと目標イメージとの間でモーフィングするための装置において、
Ａ）原始点および目標点とから原始および目標の特徴点を識別する手段と、
Ｂ）原始イメージから特徴点をサンプリングする手段と、
Ｃ）前記原始イメージと目標イメージの特徴点の位置に対応した位置に節点を有し、且つ所定の特徴を有する弾性体をシミュレートする手段と、
Ｄ）前記シミュレートされた弾性体の各節点の総合的運動のモードのモード形状を計算する手段と、
Ｅ）前記モード形状に従って、目標特徴点に対する原始特徴点のマッピング関数を決定する手段と、
Ｆ）前記マッピング関数に基づいて電子的に符号化された中間イメージを生成する手段と、
を設けてなることを特徴とする装置。 - 前記マッピング関数が変態しないことを特徴とする、請求項１０記載の装置。
- 各前記モード形状は固有ベクトル成分を含む固有ベクトルであり、各固有ベクトル成分は異なる節点に関連し且つ固有ベクトルが対応するモードにおける節点の相対的関与を示し、これにより一般化した特徴ベクトルを各特徴点と関連し、一般化した特徴ベクトルの成分が、前記固有ベクトルに組み込まれるものとして、対応するモードにおける特徴点の関連する節点の前記関与を表すことを特徴とする、請求項１０記載の装置。
- 前記原始イメージと目標イメージとが、ａ）１次元イメージ、ｂ）２次元イメージ、ｃ）３次元イメージ、あるいはｄ）ｎ次元イメージ（但し、ｎ＞３）節点れかであることを特徴とする、請求項１０に記載の装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/059,449 US5590261A (en) | 1993-05-07 | 1993-05-07 | Finite-element method for image alignment and morphing |
| US059449 | 1993-05-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0773318A JPH0773318A (ja) | 1995-03-17 |
| JP3548226B2 true JP3548226B2 (ja) | 2004-07-28 |
Family
ID=22023020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09511294A Expired - Fee Related JP3548226B2 (ja) | 1993-05-07 | 1994-05-09 | イメージの整合およびモーフィングのための有限要素法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5590261A (ja) |
| EP (1) | EP0623886A3 (ja) |
| JP (1) | JP3548226B2 (ja) |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6137909A (en) * | 1995-06-30 | 2000-10-24 | The United States Of America As Represented By The Secretary Of The Navy | System and method for feature set reduction |
| US5818461A (en) * | 1995-12-01 | 1998-10-06 | Lucas Digital, Ltd. | Method and apparatus for creating lifelike digital representations of computer animated objects |
| US5854634A (en) | 1995-12-26 | 1998-12-29 | Imax Corporation | Computer-assisted animation construction system using source poses within a pose transformation space |
| US6181747B1 (en) * | 1996-02-01 | 2001-01-30 | Hughes Electronics Corporation | Methods and systems for high compression rate encoding and decoding of quasi-stable objects in video and film |
| JP2000512039A (ja) | 1996-03-15 | 2000-09-12 | ザパ デジタル アーツ リミテッド | プログラム可能なコンピュータグラフィックオブジェクト |
| US6184892B1 (en) * | 1996-11-14 | 2001-02-06 | Fujitsu Limited | Image production processing apparatus and structural data generating apparatus for generating structural data used in the image production processing apparatus |
| US5940129A (en) * | 1996-12-06 | 1999-08-17 | Hughes Electronics Corporation | Methods and systems for super compression of prior known objects in video and film |
| US5933151A (en) * | 1997-03-26 | 1999-08-03 | Lucent Technologies Inc. | Simulated natural movement of a computer-generated synthesized talking head |
| DE69815251T2 (de) * | 1997-04-02 | 2004-04-29 | Koninklijke Philips Electronics N.V. | Bildbearbeitungssystem und -verfahren |
| US6094199A (en) * | 1997-05-23 | 2000-07-25 | University Of Washington | 3D objects morphing employing skeletons indicating symmetric differences to define intermediate objects used in morphing |
| US6362833B2 (en) * | 1998-04-08 | 2002-03-26 | Intel Corporation | Method and apparatus for progressively constructing a series of morphs between two-dimensional or three-dimensional models |
| US6535650B1 (en) * | 1998-07-21 | 2003-03-18 | Intel Corporation | Creating high resolution images |
| US6392652B1 (en) * | 1998-09-10 | 2002-05-21 | Intel Corporation | Method and apparatus for delivering animation over the internet |
| US6396496B1 (en) * | 1999-01-29 | 2002-05-28 | Mitsubishi Electric Research Laboratories, Inc. | Method for modeling graphical objects represented as surface elements |
| US6525744B1 (en) * | 1999-03-11 | 2003-02-25 | Massachusetts Institute Of Technology | Correspondence between n-dimensional surface: vector fields that are defined by surfaces and that generate surfaces which preserve characteristics of the defining surfaces |
| US7050051B1 (en) * | 2000-01-28 | 2006-05-23 | Carnegie Mellon University | Parametric shape grammar interpreter |
| US7415156B2 (en) | 2000-01-28 | 2008-08-19 | Carnegie Mellon University | Parametric shape grammar interpreter |
| US6552733B1 (en) * | 2000-04-20 | 2003-04-22 | Ati International, Srl | Configurable vertex blending circuit and method therefore |
| US6608631B1 (en) * | 2000-05-02 | 2003-08-19 | Pixar Amination Studios | Method, apparatus, and computer program product for geometric warps and deformations |
| WO2001082829A2 (en) * | 2000-05-03 | 2001-11-08 | Flock Stephen T | Prosthesis and method of making |
| US6836554B1 (en) | 2000-06-16 | 2004-12-28 | International Business Machines Corporation | System and method for distorting a biometric for transactions with enhanced security and privacy |
| US7120607B2 (en) * | 2000-06-16 | 2006-10-10 | Lenovo (Singapore) Pte. Ltd. | Business system and method using a distorted biometrics |
| US6774908B2 (en) | 2000-10-03 | 2004-08-10 | Creative Frontier Inc. | System and method for tracking an object in a video and linking information thereto |
| US7840393B1 (en) | 2000-10-04 | 2010-11-23 | Trivascular, Inc. | Virtual prototyping and testing for medical device development |
| JP4612989B2 (ja) * | 2001-01-18 | 2011-01-12 | シーメンス アクチエンゲゼルシヤフト | メカトロニクスシステムのシミュレーション方法 |
| JP4720964B2 (ja) * | 2001-05-31 | 2011-07-13 | 日本電気株式会社 | Ｆｅｍ解析方法、プログラム、およびシステム |
| DE10141186A1 (de) * | 2001-08-22 | 2003-03-20 | Siemens Ag | Einrichtung zum Bearbeiten von Bildern, insbesondere medizinischen Bildern |
| WO2003021970A1 (en) * | 2001-09-04 | 2003-03-13 | Faroudja Cognition Systems, Inc. | Low bandwidth video compression |
| US6985639B1 (en) * | 2002-04-26 | 2006-01-10 | Navteq North America, Llc | Method for quantifying relative accuracy of database segments |
| US6636804B1 (en) | 2002-04-29 | 2003-10-21 | Navigation Technologies Corp. | Method for associating the features of two geographic databases |
| GB0216819D0 (en) * | 2002-07-19 | 2002-08-28 | Kaydara Inc | Generating animation data |
| US7176915B1 (en) * | 2002-08-09 | 2007-02-13 | Avid Technology, Inc. | Subdividing rotation in a character using quaternion interpolation for modeling and animation in three dimensions |
| WO2004081878A1 (en) * | 2003-03-11 | 2004-09-23 | National University Of Singapore | Method and apparatus for generating morphing sequence |
| CN100419793C (zh) * | 2003-03-18 | 2008-09-17 | 皇家飞利浦电子股份有限公司 | 用于最佳匹配数据集的方法和装置 |
| WO2005004060A1 (ja) * | 2003-07-01 | 2005-01-13 | Honda Motor Co., Ltd. | 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム |
| EP1735734A1 (en) * | 2004-04-16 | 2006-12-27 | Autodesk, Inc. | Shape morphing control and manipulation |
| US7420574B2 (en) * | 2004-04-16 | 2008-09-02 | Autodesk, Inc. | Shape morphing control and manipulation |
| US7358978B2 (en) * | 2004-08-13 | 2008-04-15 | Microsoft Corporation | Perceptually based approach for planar shape morphing |
| US20060041375A1 (en) * | 2004-08-19 | 2006-02-23 | Geographic Data Technology, Inc. | Automated georeferencing of digitized map images |
| CN101014967A (zh) * | 2004-09-08 | 2007-08-08 | 皇家飞利浦电子股份有限公司 | 用于自动耳识别的特征提取算法 |
| US20060104484A1 (en) * | 2004-11-16 | 2006-05-18 | Bolle Rudolf M | Fingerprint biometric machine representations based on triangles |
| US7653264B2 (en) | 2005-03-04 | 2010-01-26 | The Regents Of The University Of Michigan | Method of determining alignment of images in high dimensional feature space |
| US7642929B1 (en) | 2007-04-19 | 2010-01-05 | The United States Of America As Represented By The Secretary Of The Air Force | Helicopter brown-out landing |
| US8744775B2 (en) * | 2007-12-28 | 2014-06-03 | Weyerhaeuser Nr Company | Methods for classification of somatic embryos comprising hyperspectral line imaging |
| US8199995B2 (en) * | 2008-01-29 | 2012-06-12 | Carestream Health, Inc. | Sensitometric response mapping for radiological images |
| US8836698B2 (en) | 2011-12-26 | 2014-09-16 | TrackThings LLC | Method and apparatus for identifying a 3-D object from a 2-D display of a portable unit |
| US9026896B2 (en) | 2011-12-26 | 2015-05-05 | TrackThings LLC | Method and apparatus of physically moving a portable unit to view composite webpages of different websites |
| US9965140B2 (en) | 2011-12-26 | 2018-05-08 | TrackThings LLC | Method and apparatus of a marking objects in images displayed on a portable unit |
| US8532919B2 (en) * | 2011-12-26 | 2013-09-10 | TrackThings LLC | Method and apparatus of physically moving a portable unit to view an image of a stationary map |
| WO2019209410A1 (en) | 2018-04-24 | 2019-10-31 | Blade Diagnostics Corporation | Refinement of finite element model of integrally bladed disk |
| CN113313831B (zh) * | 2021-05-24 | 2022-12-16 | 华南理工大学 | 基于极坐标图卷积神经网络的三维模型特征提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2569219B2 (ja) * | 1990-01-31 | 1997-01-08 | 富士通株式会社 | 動画像予測方式 |
-
1993
- 1993-05-07 US US08/059,449 patent/US5590261A/en not_active Expired - Fee Related
-
1994
- 1994-05-04 EP EP94303227A patent/EP0623886A3/en not_active Ceased
- 1994-05-09 JP JP09511294A patent/JP3548226B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP0623886A2 (en) | 1994-11-09 |
| EP0623886A3 (en) | 1995-02-22 |
| US5590261A (en) | 1996-12-31 |
| JPH0773318A (ja) | 1995-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3548226B2 (ja) | イメージの整合およびモーフィングのための有限要素法 | |
| Nastar et al. | Fast segmentation, tracking, and analysis of deformable objects | |
| Pentland et al. | Recovery of nonrigid motion and structure | |
| Nastar et al. | Generalized image matching: Statistical learning of physically-based deformations | |
| Nastar et al. | Frequency-based nonrigid motion analysis: Application to four dimensional medical images | |
| Pentland et al. | Closed-form solutions for physically based shape modeling and recognition | |
| Terzopoulos et al. | Physically based models with rigid and deformable components | |
| Lindstrom et al. | Evaluation of memoryless simplification | |
| JP2925528B2 (ja) | 図形物体を変形するための方法 | |
| US10140745B2 (en) | Methods and systems for computer-based animation of musculoskeletal systems | |
| Petit et al. | Tracking elastic deformable objects with an RGB-D sensor for a pizza chef robot | |
| Capell et al. | Physically based rigging for deformable characters | |
| Nastar et al. | Non-rigid motion analysis in medical images: a physically based approach | |
| De et al. | A physics-driven neural networks-based simulation system (phynness) for multimodal interactive virtual environments involving nonlinear deformable objects | |
| CA2397389A1 (en) | Image model based on n-pixels and defined in algebraic topology, and applications thereof | |
| Essa et al. | Physically-based modeling for graphics and vision | |
| Essa et al. | A unified approach for physical and geometric modeling for graphics and animation | |
| Osher et al. | Deformable models: classic, topology-adaptive and generalized formulations | |
| JPH0620055A (ja) | 画像信号処理方法とその装置 | |
| Huang et al. | A survey on fast simulation of elastic objects | |
| Vemuri et al. | Snake pedals: compact and versatile geometric models with physics-based control | |
| Mandal et al. | Dynamic smooth subdivision surfaces for data visualization | |
| Taves et al. | Dwelling on the Connection Between SO (3) and Rotation Matrices in Rigid Multibody Dynamics–Part 2: Comparison Against Formulations Using Euler Parameters or Euler Angles | |
| García et al. | Optimized linear FEM for modeling deformable objects | |
| Nastar et al. | Physically based analysis of deformations in 3D images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040416 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |