JP5281479B2 - カメラ運動・物体形状復元方法、カメラ運動・物体形状復元装置、カメラ運動・物体形状復元プログラム及びこのプログラムを記録した記録媒体 - Google Patents

Description

本発明は、カメラにより取得した時系列画像データから被写体の三次元形状、ならびにカメラの運動を取得するための技術に関するものである。

コンピュータビジョン分野では、時系列画像から撮影対象物体（被写体）の三次元形状を計測、または獲得する研究が多くなされており、時系列画像からカメラの運動と撮影対象物体の三次元形状（以下、物体形状）を同時に復元する代表的な手法に因子分解法があげられる（非特許文献１参照）。

因子分解法は画像列中における特徴点を他のフレーム間に渡って抽出、追跡した結果に、射影モデルに基づいた幾何拘束条件を与えることで、カメラ運動と物体形状を同時に復元することができる。このとき本来のカメラの射影モデルである透視投影モデルを線形射影モデルに近似し特異値分解などにより雑音除去を行うため、特徴点追跡結果に含まれる雑音にロバストであるという特徴を持つが、カメラモデルの線形近似による近似誤差が残るという課題がある。

この課題に対し、非特許文献２では線形射影モデルの因子分解法により得られたカメラ運動と物体形状から各フレームにおいて抽出された特徴点座標値と復元された物体形状を画像平面に逆投影することにより得られた特徴点座標値の差である再投影誤差を減少するように反復的に因子分解処理を繰り返すことで透視投影での因子分解を実現している。

尚、本発明に関連する平行透視投影モデルの因子分解法については非特許文献３に記載されている。

Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ："Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ ｕｎｄｅｒ ｏｒｔｈｏｇｒａｐｈｙ：ａ ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ"Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，９（２），ｐｐ．１３７−１５４（１９９２） Ｓ．Ｃｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ："Ｅｕｃｌｉｄｅａｎ Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｖｉｅｗｓ ｂｙ Ａｆｆｎｅ Ｉｔｅｒａｔｉｏｎｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１８ Ｎｏ．１１，ｐｐ．２４９５−２５０３（１９９６） Ｃ．Ｊ．Ｐｏｅｌｍａｎ ａｎｄ Ｔ．Ｋａｎａｄｅ："Ａ Ｐａｒａｐｅｒｓｐｅｃｔｉｖｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ ｆｏｒ Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ Ｒｅｃｏｖｅｒｙ"ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１９ Ｎｏ．３，ｐｐ．２０６−２１８（１９９７）

しかしながら、上記技術には以下のような課題がある。

一般に、因子分解法はカメラモデルをアフィンカメラモデルへと線形近似しているため、透視投影モデルでの因子分解法を実現するためには非特許文献２のように再投影誤差を使用した反復処理が行われる。再投影誤差を最小化問題の評価関数に用いた反復処理では、特徴点追跡結果に雑音が含まれる場合、再投影誤差が最小化し収束しても、復元解が実際の物体形状およびカメラ運動に収束したとは限らない。即ち、再投影誤差を用いた最小化は、復元された物体形状を画像平面に逆投影して、得られる特徴点座標値を各フレームにおいて抽出された特徴点座標値に近づけるようにカメラ運動および物体形状を変化させる反復処理であり、特徴点追跡結果に雑音が含まれる場合、復元結果を真値に雑音が付加された点へ近づけることになるため、得られる反復解は真値である実際のカメラ運動および物体形状とは異なるものとなる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、特徴点追跡結果に雑音が含まれる場合においても、雑音に影響されずに、透視投影モデルに基づいて、カメラ運動および物体形状を復元する方法を提供することにある。

そこで、本発明のカメラ運動・物体形状復元方法は、カメラから取得した時系列画像から前記カメラの運動と撮影対象物体の三次元形状とを復元するカメラ運動・物体形状復元方法であって、計測行列生成手段が、カメラの動きに伴って変化する時系列画像の全フレームにわたり特徴点を抽出し、この特徴点の時間的変動量から成る計測行列を生成するステップと、計測行列更新手段が、前記生成された計測行列の反復パラメータを前回の復元結果であるカメラの運動行列、撮影対象物体の形状行列に基づき更新することで前記計測行列を更新するステップと、特異値分解手段が、前記更新された計測行列を特異値分解するステップと、雑音除去手段が、前記特異分解された計測行列から雑音成分を除去するステップと、正則行列算出手段が、前記カメラと前記撮影対象物体の回転運動によって規定された計量拘束に基づく正則行列を算出するステップと、カメラ運動・物体形状復元手段が、前記雑音成分除去後の特異分解された行列と前記算出された正則行列とに基づき前記カメラの運動を示す運動行列と前記撮影対象物体の三次元形状を示す形状行列とを算出するステップと、反復判定手段が、前記計測行列の更新から前記運動行列と前記形状行列の算出に至る演算処理の停止条件に基づき当該演算処理の反復処理の継続を判定するステップとを有する。

また、本発明のカメラ運動・物体形状復元装置は、カメラから取得した時系列画像から前記カメラの運動と撮影対象物体の三次元形状とを復元するカメラ運動・物体形状復元装置であって、カメラの動きに伴って変化する時系列画像の全フレームにわたり特徴点を抽出し、この特徴点の時間的変動量から成る計測行列を生成する計測行列生成手段と、前記生成された計測行列の反復パラメータを前回の復元結果であるカメラの運動行列、撮影対象物体の形状行列に基づき更新することで前記計測行列を更新する計測行列更新手段と、前記更新された計測行列を特異値分解する特異値分解手段と、前記特異分解された計測行列から雑音成分を除去する雑音除去手段と、前記カメラと前記撮影対象物体の回転運動によって規定された計量拘束に基づく正則行列を算出する正則行列算出手段と、前記雑音成分除去後の特異分解された行列と前記算出された正則行列とに基づき前記カメラの運動を示す運動行列と前記撮影対象物体の三次元形状を示す形状行列とを算出するカメラ運動・物体形状復元手段と、前記計測行列の更新から前記運動行列と前記形状行列の算出に至る演算処理の停止条件に基づき当該演算処理の反復処理の継続を判定する反復判定手段とを備える。

尚、本発明はカメラ運動・物体形状復元装置を構成する各手段としてコンピュータを機能させるカメラ運動・物体形状復元プログラムまたはこれを記録したコンピュータ読み取り可能な記録媒体の態様とすることもできる。

したがって、以上の発明によれば、カメラモデルを線形近似せずにカメラ運動と物体形状の復元を実現できる共に特徴点追跡結果に雑音が含まれる場合でもカメラ運動及び物体形状を高精度に獲得できる。

発明の実施形態に係るカメラ運動・物体形状復元装置の構成を示すブロック図。 発明の実施形態に係るカメラ運動・物体形状復元方法のフローチャート。 カメラと外界の撮影対象物体（被写体）との幾何的関係の説明図。

本発明は、カメラで得られた時系列画像の全フレームから抽出した特徴点の時間的変動量から成る計測行列から雑音成分を除去した行列に基づき前記カメラの運動を示す行列と撮影対象物体（被写体）の三次元形状を示す行列とを算出する演算を前記雑音成分が前記演算の停止条件を満たすまで反復実行する。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。

図１に示された本発明の実施形態に係るカメラ運動・物体形状復元装置１は、画像列入力部１０１と特徴点追跡部１０２と計測行列生成部１０３と復元反復部１１０と反復判定部１１１と出力部１１２とを備える。

画像列入力部１０１はビデオカメラ等のカメラ１００から時系列画像データを取得する。

特徴点追跡部１０２は画像列入力部１０１から供された画像列画像データの全フレームにおいて撮影対象物体の特徴点を抽出して時系列に並べる。

計測行列生成部１０３は特徴点追跡部１０２から供された時系列に並べられた特徴点の時間的変動量から成る計測行列を生成する。

復元反復部１１０は計測行列生成部１０３で生成された計測行列から雑音成分を除去しこの雑音成分を除去した行列に基づきカメラ１００の運動を示す運動行列と前記撮影対象物体の三次元形状を示す形状行列とを算出する演算を実行する。さらに、復元反復部１１０は、前記雑音成分が前記演算の停止条件を満たしていない場合、前記算出した運動行列及び形状行列に基づき更新された計測行列を前記演算に供し、この演算処理を前記停止条件が満たすまで反復実行する。

復元反復部１１０はより具体的には計測行列更新部１０４と因子分解部１０５とから構成される。計測行列更新部１０４は計測行列生成部１０３で生成された計測行列の反復パラメータを前回の復元結果（カメラ１００の運動行列、撮影対象物体の形状行列）に基づき更新することで前記計測行列を更新する。因子分解部１０５は前記更新した計測行列を特異値分解等により因子分解して得た雑音成分を除去した計測行列に基づきカメラ１００の運動を示す行列と撮影対象物体の形状を示す行例とを算出する。

因子分解部１０５はより具体的には特異値分解部１０６と雑音除去部１０７と行列Ｑ算出部１０８とカメラ運動・物体形状復元部１０９とから構成される。特異値分解部１０６は計測行列更新部１０４から供された計測行列を特異値分解することにより当該計測行列を行列の積の形に分解する。雑音除去部１０７は前記計測行列から雑音成分を除去し、この雑音成分を反復判定部１１１に供し、一方、雑音除去後の成分を行列Ｑ演算部１０８に供する。行列Ｑ算出部１０８はカメラ１００と前記撮影対象物体の回転運動によって規定された計量拘束に基づく行列Ｑを算出しこの行例をカメラ運動・物体形状復元部１０９に供する。カメラ運動・物体形状復元部１０９は雑音除去部１０７で雑音成分が除去された行列と行列Ｑ算出部１０８で算出された行列Ｑとに基づきカメラ１００の運動を示す運動行列と前記撮影対象物体の三次元形状を示す形状行列とを算出する。

反復判定部１１１は復元反復部１１０（具体的には雑音除去部１０７）で除去された雑音成分が復元反復部１１０（計測行列更新部１０４、因子分解部１０５）での演算処理の停止条件を満たしているか否かに基づき演算処理の反復処理の継続を判定する。具体的な判断の方法としては、反復判定部１１１は、前記停止条件として前記雑音成分が許容値以下であるかまたは該雑音成分と一回前の演算処理における雑音成分との差分が収束若しくは許容値以下であるかに基づき前記反復実行の継続を判断する方法が例示される。反復判定部１１１での判定結果は適宜に出力部１１２を介して出力される。

出力部１１２は因子分解部１０５によって算出されたカメラ１００の運動を示す行列及び前記撮影対象物体の形状を示す行列を出力する。

ここで、因子分解部１０５に係る因子分解法について概説する（因子分解法の詳細については、非特許文献１参照）。

今、ワールド座標系における特徴点ｐの三次元座標をｓ_pとし、ｆ番目のフレームにおけるカメラ１００の姿勢を表すベクトルをｍ_f，ｎ_fで表す。この時、平行透視投影モデルでの特徴点ｐの座標（ｘ_fp，ｙ_fp）は下記の式（１）で与えられる（但し、ｃｘ_f，ｃｙ_fは各フレームにおける特徴点の平均座標値とする）。

ここで、簡単のためワールド座標の中心を撮影対象物体の中心にとり、焦点距離を１、画像列のフレーム数をＦ枚、追跡した特徴点の数をＰ個とし、下記の式（２）の計測行列Ａを生成する（ｉ番目のフレームから抽出されたｊ番目の特徴点の画像座標を（ｘ_ij，ｙ_ij）とする。ｉ＝１，２…，Ｆ，ｊ＝１，２…，Ｐ）。

次に、計測行列Ａに特異値分解などを施すことにより下記の式（３），式（４）のように、カメラ運動を表すカメラ運動行列Ｍ（２Ｆ×３）と立体形状を表す形状行列Ｓ（３×Ｐ）の２つの行列の積の形に分解する。

しかし、式（３）の分解は式（５）のように任意の３×３の正則行列Ｑによる不定性が存在するが、カメラ運動行列の要素ｍ_f，ｎ_fにカメラモデルによる拘束条件（以下、計量拘束）を与えることで式（３）の分解を一意に定められる。例えば、平行透視投影モデルにおける計量拘束は式（６）、式（７）で与えられる（平行透視投影モデルの因子分解法の詳細は非特許文献３を参照）。

図３を参照しながら本発明におけるカメラと外界の撮影対象物体との幾何的関係について説明する。図３（ａ）に示したように、例えば、ターンテーブル上で回転する撮影対象物体３００を一台の固定カメラ１００で撮影する場合において、図３（ｂ）に示すｘ−ｚ平面における回転運動を考える。ここで初期のフレームにおける三次元点Ｐ₀（Ｘ₀，Ｙ₀，Ｚ₀）が、Ｙ軸中心にθ回転した点Ｐ_i（Ｘ_i，Ｙ_i，Ｚ_i）は下記の式（８）で、Ｐ_iを画像座標系へ投影した点（ｘ_i，ｙ_i）は下記の式（９）で与えられる（但し、カメラ位置を（Ｔ_x，Ｔ_y，Ｔ_z）とする）。

式（８）より式（９）を下記の式（１０）のように変形する。

ここで、式（１０）をＰ個の特徴点のＦ番目までのフレームにわたる追跡結果に適応した場合、式（３）における計測行列Ａ、カメラ運動行列Ｍならびに物体形状行列Ｓの関係は下記の式（１１）のように定めることができる。

また、初期のフレームから第ｉ番目のフレームの回転角をθ_i、初期のフレームにおける第ｊ番目の特徴点の３次元位置を（Ｘ_j，Ｙ_j，Ｚ_j）とする（但し、ｉ＝１，２…，Ｆ，ｊ＝１，２，…，Ｐ．）。

このとき計量拘束は下記の式（１３）、式（１４）、式（１５）のように定めることができる（但し、ｉ＝１，２，…，Ｆ）。

図１及び図２を参照しながら本実施形態のカメラ運動・物体形状復元装置１によるカメラの運動及び撮影対象物体の三次元形状の復元過程（Ｓ２０１〜Ｓ２１２）について説明する。

Ｓ２０１：画像入力部１０１はカメラ１００によって撮像された時系列画像データを特徴点追跡部１０２に伝送する。

画像列入力部１０１に入力される時系列画像の例としては、撮影対象物体の周りを一周するように撮影した画像を用いる。例えば、一台の固定カメラでターンテーブル上に置かれた対象物が回転する状況を撮影した映像を用いる。また入力画像列の例として、任意の台数のカメラで撮影対象物体を囲むように配置して撮影した複数枚の画像や、固定されたカメラ１台の正面に撮影対象物体となる人物が立ち、カメラに対し顔を右から左、または左から右へ回させる一連の動作を撮影した映像などを用いてもよい。

Ｓ２０２：特徴点追跡部１０２は、入力された時系列画像の全フレームにおいて、特徴点を配置し、全画像中の特徴点を抽出し、この抽出した特徴点の画像座標を時系列に並べ、これを特徴点追跡結果として出力する。

前記特徴点の抽出方法としては、例えば、エッジ検出やハフ変換、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓなどの画像処理を用いて自動的に配置するか、または、特徴点を全フレームにわたり手動で与える手法が挙げられる。

Ｓ２０３：計測行列生成部１０３は、特徴点追跡部１０２（Ｓ２０２）から伝送された、時系列に並べられた全特徴点の画像座標から下記の式（１６）で与えられる２Ｆ×Ｐの計測行列Ａ’を生成し、計測行列更新部１０４へ伝送する。

Ｓ２０４：計測行列更新部１０４は、反復パラメータλ_ijを更新し、計測行列Ａ’の各要素に反復パラメータを乗じた式（１１）左辺の計測行列Ａを算出する。まず、第一回目の反復処理の場合、ｉ＝０、全ての反復パラメータλ_ij（ｉ＝１，２…，Ｆ，ｊ＝１，２…，Ｐ）を１とする。

Ｓ２０５：計測行列更新部１０４は計測行列Ａ’の各要素に反復パラメータを乗じることで行列Ａを算出し、因子分解部１０５へ送る。

計測行列更新処理（Ｓ２０５）では、第二回目以降の反復処理の場合、まず復元結果から各フレームにおける初期フレームからの回転角θを算出し、式（１２）に代入して反復パラメータを更新する。次に、更新されたパラメータを計測行列生成部１０３から伝送された計測行列Ａ’に乗じることにより行列Ａを算出し、因子分解部１０５の特異値分解部１０６へ送る。

Ｓ２０６：特異値分解部１０６は計測行列更新部１０４から計測行列Ａのデータを読み込みこむ。

Ｓ２０７：特異値分解部１０６は、下記の式（１７）のように、Ｕ，Ｗ，Ｖの３つの行列の積の形に分解し、雑音除去部１０７へ伝送する。但し、Ｕは２Ｆ×Ｐの行列、ＷはＰ×Ｐの対角行列、ＶはＰ×Ｐの行列である。

Ｓ２０８：雑音除去部１０７は前記特異値分解された計測行列Ａから雑音を除去する。即ち、式（１８）の右辺第二項のランク４以下の各行列成分を削除する。雑音除去された＾Ｕ，＾Ｗ，＾Ｖの３つ行列を行列Ｑ算出部１０８へ伝送、Ｗ₄₄の値を反復判定部１１１へ伝送する。

Ｓ２０９：行列Ｑ算出部１０８は、計量拘束に基づき行列Ｑを算出し、カメラ運動・物体形状復元部１０９へ伝送する。

今、図３（ｂ）のような回転運動を考える場合、計量拘束は式（１３）から式（１５）で与えられる（計量拘束から行列Ｑの詳細な算出方法は非特許文献１に開示されている）。

Ｓ２１０：カメラ運動・物体形状復元部１０９は、行列Ｑと行列＾Ｕ，＾Ｗ，＾Ｖを用いて、カメラ運動行列Ｍと物体形状行列Ｓを式（５）から算出する。

Ｓ２１１：反復判定部１１１は、雑音除去部１０７から伝送された雑音成分Ｗ₄₄の値に基づき、復元反復部１１０での反復処理（Ｓ２０５〜Ｓ２１０）の継続の判断を行う。

具体的には雑音成分Ｗ₄₄が予め定められた停止条件を満たすか否かを判断する。前記停止条件の例としては、例えば、雑音成分Ｗ₄₄がある閾値以下、または反復処理においてＷ₄₄が一定値に収束した場合、最大反復回数を満たした場合などとしてもよい。

Ｓ２１１で前記停止条件を満たしていると判断された場合はその地点で反復処理を終了させる。一方、前記停止条件を満たしていないと判断された場合は、Ｓ２１０で算出されたカメラ運動行列Ｍと物体形状行列ＳがＳ２０５での計測行列更新処理に供されて、復元反復処理（Ｓ２０５〜Ｓ２１０）が継続される。

Ｓ２１２：出力部１１２は、反復判定部１１１で反復処理が終了と判定された後、カメラ運動・物体形状復元部１０９で最終的に算出されたカメラ運動データ（カメラ運動行列Ｍ）と物体形状データ（物体形状行列Ｓ）を出力する。

以上の説明から明らかなように、カメラ運動・物体形状復元装置１によれば、カメラモデルを線形近似せずにカメラ運動と物体形状の復元を実現できる。また特徴点追跡結果に雑音が含まれる場合においても、カメラ運動および物体形状を高精度に獲得できる。

本発明に係るカメラ運動・物体形状復元装置１の機能部１０２〜１１２はコンピュータのハードウェアとプログラムの協働によって実現できる。この場合、機能部１０１から出力されたデータや機能部１０２〜１１１から出力された算出値（行列式）はコンピュータの内部メモリやハードディスク装置等の外部メモリに適宜に格納される。画像列入力部１０１は前記時系列画像データを取得して特徴点追跡部１０２に供する機能を有するものであればよく、既知のハードウェアインターフェースによって実現できる。カメラ１００と画像入力部１０１は既知の有線または無線のネットワークを介して送受信可能に接続すればよい。尚、出力部１１２から供された画像データ、計測データや判定結果は表示装置（ディスプレイ等）によって適宜に表示される。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＭＯ、ＨＤＤ等は本発明を構成する。

１…カメラ運動・物体形状復元装置
１０３…計測行列生成部（計測行列生成手段）
１０４…計測行列更新部（計測行列更新手段）
１０８…行列Ｑ算出部（行列算出手段）
１１０…復元反復部（復元反復手段）
１１１…反復判定部（反復判定手段）

Claims (6)

1. カメラから取得した時系列画像から前記カメラの運動と撮影対象物体の三次元形状とを復元するカメラ運動・物体形状復元方法であって、
   計測行列生成手段が、カメラの動きに伴って変化する時系列画像の全フレームにわたり特徴点を抽出し、この特徴点の時間的変動量から成る計測行列を生成するステップと、
   計測行列更新手段が、前記生成された計測行列の反復パラメータを前回の復元結果であるカメラの運動行列、撮影対象物体の形状行列に基づき更新することで前記計測行列を更新するステップと、
   特異値分解手段が、前記更新された計測行列を特異値分解するステップと、
   雑音除去手段が、前記特異分解された計測行列から雑音成分を除去するステップと、
   正則行列算出手段が、前記カメラと前記撮影対象物体の回転運動によって規定された計量拘束に基づく正則行列を算出するステップと、
   カメラ運動・物体形状復元手段が、前記雑音成分除去後の特異分解された行列と前記算出された正則行列とに基づき前記カメラの運動を示す運動行列と前記撮影対象物体の三次元形状を示す形状行列とを算出するステップと、
   反復判定手段が、前記計測行列の更新から前記運動行列と前記形状行列の算出に至る演算処理の停止条件に基づき当該演算処理の反復処理の継続を判定するステップと
   を有すること
   を特徴とするカメラ運動・物体形状復元方法。
2. 前記反復処理の継続を判定するステップでは、前記停止条件として前記雑音成分が許容値以下であるかまたは該雑音成分と一回前の演算処理における雑音成分との差分が収束若しくは許容値以下であるかに基づき前記反復実行の継続を判断すること
   を特徴とする請求項１に記載のカメラ運動・物体形状復元方法。
3. カメラから取得した時系列画像から前記カメラの運動と撮影対象物体の三次元形状とを復元するカメラ運動・物体形状復元装置であって、
   カメラの動きに伴って変化する時系列画像の全フレームにわたり特徴点を抽出し、この特徴点の時間的変動量から成る計測行列を生成する計測行列生成手段と、
   前記生成された計測行列の反復パラメータを前回の復元結果であるカメラの運動行列、撮影対象物体の形状行列に基づき更新することで前記計測行列を更新する計測行列更新手段と、
   前記更新された計測行列を特異値分解する特異値分解手段と、
   前記特異分解された計測行列から雑音成分を除去する雑音除去手段と、
   前記カメラと前記撮影対象物体の回転運動によって規定された計量拘束に基づく正則行列を算出する正則行列算出手段と、
   前記雑音成分除去後の特異分解された行列と前記算出された正則行列とに基づき前記カメラの運動を示す運動行列と前記撮影対象物体の三次元形状を示す形状行列とを算出するカメラ運動・物体形状復元手段と、
   前記計測行列の更新から前記運動行列と前記形状行列の算出に至る演算処理の停止条件に基づき当該演算処理の反復処理の継続を判定する反復判定手段と
   を備えること
   を特徴とするカメラ運動・物体形状復元装置。
4. 前記反復判定手段は、前記停止条件として前記雑音成分が許容値以下であるかまたは該雑音成分と一回前の演算処理における雑音成分との差分が収束若しくは許容値以下であるかに基づき前記反復実行の継続を判断すること
   を特徴とする請求項３に記載のカメラ運動・物体形状復元装置。
5. 請求項３または４に記載のカメラ運動・物体形状復元装置を構成する各手段としてコンピュータを機能させることを特徴とするカメラ運動・物体形状復元プログラム。
6. 請求項５に記載のカメラ運動・物体形状復元プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images