JP3902743B2

JP3902743B2 - カメラ運動・物体形状復元方法、装置、プログラム、同プログラムを記録した記録媒体

Info

Publication number: JP3902743B2
Application number: JP2002039217A
Authority: JP
Inventors: 勲宮川; 史朗小澤; 裕治石川; 佳織若林; 知彦有川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-02-15
Filing date: 2002-02-15
Publication date: 2007-04-11
Anticipated expiration: 2022-02-15
Also published as: JP2003242484A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力装置で取得した時系列画像データから時系列画像中の対象物の形状およびカメラの運動を復元する方法および装置に関する。
【０００２】
【従来の技術】
コンピュータビジョン分野では、時系列画像データから、対象物の形状を計測または獲得する手法として、ステレオ計測やエピポーラ解析を用いた３次元解析手法がある。また、最近では、カメラの運動と対象物の形状に関する３次元情報を同時に計測または獲得する手法の代表的な手法として、因子分解法(1)C.Tomasi,T.kanede,"Shape and Motion from Image Streams Under Orthography:A Factorization Methood"International Jornal of Vision,Vol.9,No.2.1992. 2)B.Triggs, "Factorization Method for Projective Structure and Motion" Proc.CVPR96.1996. 3)C.J Poelman,T.kanade" A Paraperspective Factorization Method for Shape and Motion Recovery" IEEE Transactions Pattern Analysis and Machine Intelligence,Vol.19,No.3,1997.))がある。
【０００３】
これらの手法によれば、対象物が撮影されている複数の時系列画像から、３次元の形状に関する情報、およびカメラ視点に関する運動を獲得、復元することができる。さらに、これらの手法を利用することにより、空撮映像から市街地の３次元（空間）データを獲得することができ、３次元（立体）地図生成の自動化が期待できる。しかし、空撮時の気象条件や市街地空撮でのビル風の影響により、また空撮映像中の雑音成分の影響により、カメラ運動の復元が困難な場合がある。
【０００４】
また、因子分解法を反復的に作用させることで、近似カメラモデル、例えば、平行透視モデルから、現実のカメラモデルに近い透視投影での因子分解が可能であるが、この手法によるカメラ運動と物体形状復元において、お互いに影響するような分解が行われるため、反復的に透視投影型の因子分解法において、カメラ運動または物体形状のどちらかに偏って復元される可能性があった。
【０００５】
反復的な透視投影型因子分解法として、以下の文献がある。
1)S.Christy and R.Horaud. "Euclidean Shape and Motion from Multiple Perspective Views by Affine Iterations" ,INRIA Technical Report RP-2421,1994.
2)S.Christy and R.Horaud, "Euclidean Shape and Motion from Multiple Perspective Views by Affine Iterations",IEEE Transactions Pattern Analysis and Machine Intelligence,Vol.18, No.11,pp.2495-2503,1996.3)S.Christy and R.Horaud, "Euclidean Reconstruction: from Paraperspective to Perspective",ECCV96,1996.
4)M.Han and T.Kanede, "Perspective Factorization Methods for Euculidean Reconstruction",CMU-RI-TR-99-22,1999
【０００６】
【発明が解決しようとする課題】
一般に、画像入力装置（カメラ）から取得した時系列画像から、カメラの動きと対象物の形状を同時に復元する場合、時系列画像に混入するランダム雑音の影響や、撮影時のカメラの微小な動きを正確に復元することは困難である。このような問題を扱うべく、コンピュータビジョンでは、因子分解法、特に、反復的透視投影型因子分解法があり、透視投影モデルを幾何的な線形モデルで近似した平行透視型因子分解法を反復的に作用させることにより、カメラの動きおよび物体形状を復元することが可能である。
【０００７】
しかし、カメラの動きと物体形状を同時に、かつ高精度に復元することは難しい。特に、空撮映像では、撮影時の気象条件や、都市部でのビル風の影響により、機体の動きはランダムに振動し、シームレスな時系列画像ではない。そのため、ランダム性雑音の影響も大きく、従来の因子分解法（反復的透視投影型因子分解法）では、常に、安定的に、カメラの動きと物体の形状を、同時に、かつ高精度に復元することは不可能である。
【０００８】
本発明の目的は、カメラ運動と物体の形状を高精度に、かつ雑音にロバストに復元するカメラ運動・物体形状復元方法、装置、プログラム、同プログラムを記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、空撮映像特有のカメラの振動に対しても、正確にカメラ運動を復元するため、時系列画像から測定した特徴点の時間的動きから、反復的透視投影型因子分解法の中で、情報基準量を算出し、これにより、雑音を除去するととも、カメラ運動の復元に必要な条件式を設定することで、雑音にロバストなカメラ運動を復元し、同時に、物体形状を復元する。また、透視投影型因子分解法を反復的に繰り返す計算において、カメラ運動または物体形状のどちらかに優勢な分解が存在するため、この優勢を検出し、カメラ運動と物体形状を同時に、かつ高精度に復元するために、カメラ運動または物体形状のどちらか優勢な方を拘束して、さらに、反復的透視投影型因子分解法を繰り返す（以下では、拘束分解と称している）ことで、分解に偏りの少ない因子分解をすることを特徴とする。
【００１０】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１１】
図１を参照すると、本発明の一実施形態のカメラ運動・物体形状復元装置は特徴点配置部１と時系列画像追跡部２と計測行列記録部３と計測行列ロード部４と情報基準量処理部５と因子分解法処理部６と正規解／反転解判定部７と解収束判定部８と計測行列生成部９で構成されている。
【００１２】
まず、特徴点配置部１により、空撮画像が時間管理で格納されている時系列画像データベース１０から、画像を１枚取り出し、これを初期画像として、その画像上に特徴点を配置する。この場合、エッジ検出、ハフ変換、ならびに、濃淡の２次元勾配などの画像処理により自動的に特徴点を配置するか、または、オペレータが視覚的に目立つ画像中の点にポイント入力するなどして、特徴点を配置する。このとき配置する特徴点の数をＰ個（ｊ＝１，２，・・・，Ｐ）とし、配置したときの特徴点の２次元座標値（ｘ_1j，ｙ_1j）：ｊ＝１，２，・・・，Ｐを記録しておく。
【００１３】
次に、時系列画像追跡部２にて、初期画像に続く時系列画像をデータベース１０から１枚ずつ読み込み、初期画像に配置した特徴点を、時系列画像間の濃淡の変化などに着目した手法などを利用することで画像追跡し、計測行列記録部３にて、各時系列画像（初期画像から第ｉ番目の画像）の特徴点の画像座標値（ｘ_ij，ｙ_ij）を記録する。時系列画像を読み出し続けた場合、初期画像に配置した特徴点の中で、画像中から消失したり、オクルージョンなどにより隠れてしまったときは、画像追跡を停止し、特徴点追跡を終了する。特徴点追跡が終了した時点で、読み出した時系列画像の数ｉ＝１，２，・・・，Ｆは、初期画像を含めてＦ枚とする。
【００１４】
計測行列記録部３では、各時系列画像における特徴点の時間的な画像座標的配置の変化量が記録されている。特徴点の時間的な画像座標的配置の変化を行列としてデータ化したものを計測行列［Ａ］と称し、式（１）のデータ形式とする。
【００１５】
【数１】

まず、計測行列ロード部４において、反復回数が１回目か２回目以上なのかを判定し、反復回数１回目のときは、計測行列記録部３から出力される計測行列を読み出し、それ以上の反復ループであるときは、正規解と反転解から生成した計測行列を読み出す。以下は、１回目の反復ループでの処理、反復回数が２回目以降の正規解、反転解としたとき、同様の処理を行う。
【００１６】
次に、情報基準量処理部５では、図２に示すような処理フローで、情報基準量が計算される。まず、計測行列データ入力部１１により計測行列［Ａ］データを入力し、共分散行列計算部１２にて、この計測行列［Ａ］の行列要素から、２×２サイズのサブ行列Ｃ_jkを要素とする以下で定義する共分散行列［Ｃ］を求める。共分散行列の計算には、文献「金谷健一、゛因子分解しない因子分解法：平行投影から透視変換へ"、電子情報通信学会パターン認識とメディア理解研究会
、ＰＲＭＵ９８−２６、１９９８」があり、この共分散行列に似た共分散行列を使用している。
【００１７】
【数２】

さらに、固有値分解計算部１３では、式（２）の共分散行列を、式（３）に示すように固有値分解し、固有値行列「Ｖ_c］を得る。ただし、式（３）での［Ｌ_c］は、それぞれの固有値に対応する固有値ベクトルから構成される行列である。
【００１８】
【数３】

次に、無効固有値検出部１４では、固有値計算部１３で求めた固有値の中から、無効な固有値を検出する。ここでの無効な固有値とは、値０にほぼ等しいと判断される固有値であり、検出方法は、固有値行列の対角要素を降順に並べたときに、固有値の値が１０^-10以下の値であるとき、無効な固有値と見なして、固有値から除外する。このようなフィルタリングを通過した固有値（全部でｐ個とする）のみを取り出す。
【００１９】
次に、情報基準量計算部１５にて、式（４）に示す情報基準量ＭＤＬ（ｋ）を計算する。ＭＤＬ（Ｋ）の計算は、文献「M.Wax and T.Kailath" Detection of Signals by Information Theoretic Criteria",IEEE Transaction Acoustics,Acoustics,Speech, and Signal Processing,Vol.ASSP-33,No.2,1985.」で定義されている式を利用する（後述のAIC（k）も同様）。
【００２０】
【数４】

最後に、情報基準量出力部１６では、式（４）のＭＤＬ（ｋ）を最小にするときのパラメータｋ＝ｎを検索し、これを情報基準量として出力する。なお、式（５）のＡＩＣ（ｋ）を計算して、この値を最小にするときのパラメータｋ＝ｎも、情報基準量として利用することもできる。
【００２１】
【数５】

図１の情報基準量処理部５にて情報基準量ｎが計算できると、次の因子分解法処理部６にてカメラ運動と物体形状を復元する。
【００２２】
図３に、因子分解法処理部６での処理フローを示す。まず、図１で記録した計測行列［Ａ］を、計測行列データ入力部２１において読み込む。次に、特異値分解処理部２２において、この行列データ［Ａ］を式（６）に示す特異値分解で行列分解する。
【００２３】
【数６】

さらに、行列分解部２３で行列分解した後、図１での情報基準量ｎにより、さらに行列を式（７）のように分離する。雑音除去部２４で式（７）の第二項を雑音成分と見なして、雑音除去する。
【００２４】
次に、カメラ運動拘束条件設定部２５で、雑音除去された、式（８）に示す行列において、ｎ×ｎサイズの行列［Ｑ］を想定し、この行列［Ｑ］を求めるためのカメラ運動拘束条件を設定する。カメラ運動拘束条件は、［Ｕ］［Ｑ］＝［Ｍ］としたとき、［Ｍ］の第ｉ行の行ベクトル
【００２５】
【外１】

と、第ｊ番目の行ベクトル
【００２６】
【外２】

に関するノルムと内積を拘束する式であり、式（９）のような連立方程式を設定する。なお、ここで求めるのは、［Ｑ]²であるため、行列［Ｑ］算出部２６で、式（１０）のように、固有値分解して、平方した行列「Ｑ］＝「Ｌ_Q］［Ｖ_Q］^1/2を得る。
【００２７】
３次元化分離部２７では、求めたｎ×ｎサイズの行列［Ｑ］から、式（１１）に示すように、行方向の４次元以上の要素を削除し、ｎ×３サイズの行列［Ｑ］を得る。
【００２８】
【数７】

【数８】

さらに、式（８）に示すように、カメラ運動出力部２８Ａ，２８Ｂにより、雑音除去された後の行列［Ｕ］によりカメラ運動［Ｍ］と、物体形状出力部２９Ａ，２９Ｂにより、雑音除去した後の行列［Ｗ］［Ｖ］により、物体形状［Ｓ］を算出する。
【００２９】
このとき、正と負の解が存在する。すなわち、正規解とする［Ｍ］と［Ｓ］のペアと、反転解とする−［Ｍ］と−［Ｓ］のペアである。図３では、正規解と反転解を求め、図１での正規解記憶部３０Ａおよび反転解記憶部３０Ｂへ転送し、それぞれ独立に格納する。
【００３０】
次に、図１にある正規解／反転解判定部７で正規解と反転解の判定を行う。正規解と反転解に対して、図４にある処理フローにより判定処理が行われる。まず、カメラ運動データ入力部３１Ａ、物体形状データ入力部３１Ｂよりカメラ運動データと物体形状データを入力し、正規解、反転解、それぞれに対して、逆投影計算部３２で式（１２）の逆投影計算を行う。ここで、正規解の場合、カメラ運動行列を［Ｍ］、各フレームに対応するカメラ運動ベクトルを
【００３１】
【外３】

とし、物体形状行列を［Ｓ］、第ｊ番目の３次元座標値ベクトルを
【００３２】
【外４】

とする。
【００３３】
【数９】

なお、ε_ijを奥行き情報とし、ここでのｋ_iおよびＴ_ziは、式（１３）から算出する。
【００３４】
【数１０】

逆投影計算は、復元されたカメラ運動行列と物体形状行列により、画像面での画像座標値を計算することである。次に、式（１２）による逆投影で求めた投影結果（ｕ_ij，ｖ_ij）と（ｘ_ij，ｙ_ij）を成分とする計測行列［Ａ］との誤差行列［δＡ］を投影誤差計算部３３で計算し、この誤差行列［δＡ］
【００３５】
【数１１】

から、［δＡ］^T［δＡ］を求め、この対角要素を加算した量を計測行列との誤差とする。誤差比較部３４で、正規解の場合の誤差と、反転解の場合の誤差のうち、どちらが小さいかを判定し、誤差を小さくする方のカメラ運動行列と物体形状行列のペアをカメラ運動・物体形状データ記憶部３５に記憶する。
【００３６】
これまで説明してきたように、反復ループにおいて、正規解ファミリー（反復回数１回目で正規解として残し、それ以降の反復で、これを親として正規解と反転解を得て、計測行列との誤差を最小にする方の解を残し、次の反復を行う系列）と反転解ファミリー（反復回数１回目で反転解として残し、それ以降の反復で、これを親として正規解と反転解を得て、計測行列との誤差を最小にする方の解を残し、次の反復を行う系列）でのカメラ運動と物体形状を独立に復元し反復を継続し、各反復で復元したとき、正規解ファミリーにおいて正規解と反転解のうちで計測行列との誤差を小さくする方の解を残し、一方、反転解ファミリーにおいて正規解と反転解のうちで計測行列との誤差を小さくする方の解を残し、次の反復ループを繰り返す。
【００３７】
次に、図１の解収束判定部８では、記憶した解が収束しているかの判定を行う。この収束の判定には、現時点での反復における計測行列との誤差と、その前後する反復時の計測行列との誤差において、二次式で近似したときの二次係数の値を監視し、この係数が値０に近いとき（または許容誤差範囲内のとき）を、収束したと判定する。収束したと判定した場合、正規解ファミリーでの現在の反復ループでの解と反復解ファミリーでの現在の反復ループでの解のうちで、計測行列との誤差を最小とする方の解を最終解として出力する。
【００３８】
一方、収束していないと判定した場合、正規ファミリーの場合の式（１５）の計測行列と、反転ファミリーの場合の式（１５）の計測行列を計測行列生成部９で生成し、次の反復ループでの処理を行う。
【００３９】
【数１２】

【００４０】
【数１３】

このとき、各反復での正規ファミリー、反転ファミリーでの解の誤差が収束していると判定したとき、反復ループを終了し、正規ファミリーでの解と反転ファミリー解のうちで、計測行列との誤差を小さくする方の解を最終解とし、カメラ運動行列と物体形状行列を出力して、処理を終える。
【００４１】
以上により、カメラ運動により表現される撮影時のカメラ姿勢と物体形状を表現する３次元座標値を獲得することが可能となる。
【００４２】
図５は図１の処理フローで得られた最終解であるカメラ運動行列と物体形状行列に対して、引き続いて処理を行う拘束分解の処理フローを示す図である。
【００４３】
まず、最終解としてのカメラ運動行列と物体形状行列データを入力する（ステップ４１Ａ，４１Ｂ）。次に、カメラ運動行列と物体形状行列から、式（１５）に従って、次の反復時で使用する計測行列［Ａ］を生成する（ステップ４２）。この計測行列［Ａ］から、１回だけの反復により、図１での処理フローに従ってカメラ運動と物体形状を復元する（ステップ４３Ａ，４３Ｂ）。
【００４４】
このとき、最終解でのカメラ運動行列と今回の反復で復元したカメラ運動行列との間の誤差、および最終解での物体形状行列と今回の反復で復元した物体形状行列との間の誤差を求め（ステップ４４Ａ，４４Ｂ）、どちらの誤差が小さいかを判定する（ステップ４５）。ここで、カメラ運動間での誤差が物体形状間での誤差よりも小さい場合運動優勢と判定し、物体形状間での誤差がカメラ運動間での誤差よりも小さい場合形状優勢と判定する。
【００４５】
次に、運動優勢と判定された場合、図１の処理フローで復元した最終解のうち、カメラ運動行列
【００４６】
【外５】

を拘束（次に反復を継続するとき、固定するという意味）し、さらに反復ループを繰り返し、物体形状行列を復元する（ステップ４６Ａ）。このときの処理フローを図６に示す。まず、式（１）の計測行列［Ａ］を読み込み（ステップ５１）、式（６）に従って特異値分解する（ステップ５２）。このとき、分解した各々の行列に対して、特異値行列［Ｗ］のランク３を境界にして式（１６）のように分離し、式（１７）のように、第二項を雑音成分と見なして除去する（ステップ５３）。
【００４７】
また、式（１７）のように分解した後、拘束しておいたカメラ運動行列をメモリからロードし（ステップ５４）、行列［Ｑ］を決定して（ステップ５５）、その反復ループにおける物体形状行列［Ｓ］を決定する（ステップ５６）。このとき、カメラ運動行列を拘束するので、どの反復においても、
【００４８】
【外６】

とする。したがって、求める行列［Ｑ］は、式（１８）に従って得る。
【００４９】
【数１４】

この［Ｑ］を使って、式（１９）に従って物体形状行列［Ｓ］を得る。
【００５０】
【数１５】

さらに、物体形状行列［Ｓ］が得られた後、式（１２）の逆投影計算を行い（ステップ５７）、元の計測行列との誤差を式（１４）に従って計算する（ステップ５８）。このとき、１つ前の反復ループでの誤差との差が許容誤差ε以下かどうか判定し（ステップ５９）、以下の場合、収束したとして反復計算を終了し、その反復ループにおけるカメラ運動行列と物体形状行列を、最終解として出力する。許容誤差を越えれば計測行列を生成する（ステップ６０）。
【００５１】
一方、形状優勢と判定された場合、図１の処理フローで復元した最終解のうち、物体形状行列
【００５２】
【外７】

を拘束（次に反復を継続するとき、固定するという意味）し、さらに反復ループを繰り返し、カメラ運動行列を復元する（ステップ４６Ｂ）。このときの処理フローを図７に示す。まず、式（１）の計測行列［Ａ］を読み込み（ステップ６１）、式（６）に従って特異値分解する（ステップ６２）。このとき、分解した各々の行列に対して、特異値行列［Ｗ］のランク３を境界にして式（１６）のように分離し、式（１７）のように、第二項を雑音成分と見なして除去する（ステップ６３）。
【００５３】
また、式（１７）のように分解した後、拘束しておいた物体形状行列をメモリからロードし（ステップ６４）、行列［Ｑ］を決定して（ステップ６５）、その反復ループにおけるカメラ運動行列［Ｍ］と物体形状行列［Ｓ］を決定する（ステップ６６）。このとき、物体形状行列を拘束するので、どの反復においても、
【００５４】
【外８】

とする。したがって、求める行列［Ｑ］は、式（２０）に従って得る。
【００５５】
【数１６】

この［Ｑ］を使って、式（２１）に従って物体形状行列［Ｍ］を得る。
【００５６】
【数１７】

さらに、カメラ運動行列［Ｍ］が得られた後、式（１２）の逆投影計算を行い（ステップ６７）、元の計測行列との誤差を式（１４）に従って計算する（ステップ６８）。このとき、１つ前の反復ループでの誤差との差が許容誤差ε以下かどうか判定し（ステップ６９）、以下の場合、収束したとして反復計算を終了し、その反復ループにおけるカメラ運動行列と物体形状行列を、最終解として出力する。許容誤差εより大きければ計測行列を生成する（ステップ７０）。
【００５７】
以上により、カメラ運動により表現される撮影時のカメラ姿勢と物体形状を表現する３次元座標値を獲得することが可能となる。
【００５８】
なお、本実施形態のカメラ運動・物体形状復元装置の処理は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、空中撮影した時系列画像から、カメラの動き、すなわち、カメラ運動と、対象物、すなわち、物体形状を高精度に獲得、復元することが可能となる。また、これまでの航空測量で用いられていた航空写真測量並の高精度な３次元立体視が可能であり、現状のセンシング技術では、より詳細な機体の動き、すなわち、カメラ運動を復元することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態のカメラ運動・物体形状復元装置のブロック図である。
【図２】情報基準量処理部５のブロック図である。
【図３】因子分解法処理部６のブロック図である。
【図４】正規解／反転解判定部７のブロック図である。
【図５】拘束分解処理のフローチャートである。
【図６】カメラ運動を拘束にした場合の拘束分解処理のフローチャートである。
【図７】物体形状を拘束にした場合の拘束分解処理のフローチャートである。
【符号の説明】
１特徴点配置部
２時系列画像追跡部
３計測行列記録部
４計測行列ロード部
５情報基準量処理部
６因子分解法処理部
７正規解／反転解判定部
８解収束判定部
９計測行列生成部
１０時系列画像データベース
１１計測行列データ入力部
１２共分散行列計算部
１３固有値分解計算部
１４無効固有値検出部
１５情報基準量計算部
１６情報基準量出力部
２１計測行列データ入力部
２２特異値分解部
２３行列分解部
２４雑音除去部
２５カメラ運動拘束条件設定部
２６行列［Ｑ］算出部
２７３次元化分離部
２８Ａ，２８Ｂカメラ運動出力部
２９Ａ，２９Ｂ物体形状出力部
３０Ａ正規解記憶部
３０Ｂ反転解記憶部
３１Ａカメラ運動データ入力部
３１Ｂ物体形状データ入力部
３２逆投影計算部
３３投影誤差計算部
３４誤差比較部
３５カメラ運動・物体形状データ記憶部
４１Ａ，４１Ｂ，・・・，５１〜６０ステップ

Claims

画像入力装置で取得した時系列画像中の対象とする画像における特徴点に関する画像座標値の時間的変化量から、対象とする時系列画像中の対象物の形状および時系列に関するカメラの運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計したデータである計測行列中の雑音成分をフィルタリングした後の正味の成分から、カメラ運動を復元するための条件式を設定する第１のステップと、
前記条件式からカメラ運動を復元し、同時に物体形状を復元し、該カメラ運動と物体形状を画像面へ逆投影して、生成された計測行列と元の計測行列との誤差を算出し、その誤差の値が収束しているかどうか、または許容誤差以内かどうか判定し、前記計測行列との誤差が収束していない、または、許容誤差以上と判定された場合に、復元されたカメラ運動と物体形状から、各時系列におけるカメラ視点から物体形状の重心までの奥行き情報を計算し、該奥行き情報を前記計測行列の各要素に掛け合わせた要素で計測行列を構成して行列要素を更新し、その更新された計測行列から透視投影モデルでのカメラ運動と物体形状を復元する反復を繰り返す第２のステップと、
第２のステップにおいて、カメラ運動と物体形状から生成された次の反復のための計測行列と、元の計測行列との誤差が収束している、または許容誤差以下と判定された場合、収束解として、その反復時点での復元されたカメラ運動と物体形状を出力し、計測行列からの分解において、カメラ運動または物体形状行列のどちらかに優勢的に分解しているかを示す傾向を検出する第３のステップと、
第３のステップにおいて、優勢と判定されたカメラ運動または物体形状の一方を固定または拘束して、第１のステップ以降の処理を繰り返し、物体形状行列またはカメラ運動行列を復元する第４のステップと
を有するカメラ運動・物体形状復元方法。
第３のステップにおいて、カメラ運動に優勢に分解されている傾向があると判定したとき、各反復ステップにおいて、更新された計測行列から部分的に分解した行列において、カメラ運動成分に相当する行列を優勢と判定した時点でのカメラ運動を保持し、この保持したカメラ運動と部分行列から物体形状を復元する、請求項１に記載の方法。
第３のステップにおいて、物体形状に優勢に分解されている傾向があると判定したとき、各反復ステップにおいて、更新された計測行列から部分的に分解した行列において、物体形状成分に相当する行列を優勢と判定した時点での物体形状行列を保持し、この保持した物体形状と部分行列からカメラ運動を復元する、請求項１に記載の方法。
前記計測行列から共分散行列を構成し、その共分散行列から情報基準量を計算し、計測行列を特異値分解してから、この情報基準量により雑音を除去し、残った部分行列から、情報基準量の次元数により、カメラ運動を拘束する条件式を設定する、請求項１に記載の方法。
前記のカメラ運動と物体形状を復元する場合、正規のカメラ運動と物体形状と反転または鏡映の関係にあるカメラ運動と物体形状を復元しながら、反復的に計測行列を更新し、透視投影モデルでのカメラ運動と物体形状を復元し、計測行列の更新の各反復処理において、次の反復処理に残す、正規または反転のカメラ運動と物体形状の組み合わせを、生成された計測行列と元の計測行列との誤差により判断し、最終的に元の計測行列に近い最も誤差の小さい組み合わせを残す、請求項１に記載の方法。
第３のステップにおいて、各反復時での計測行列と元の計測行列との誤差の値を蓄積または記憶し、その誤差の近傍の誤差曲線を多項式により近似し、該近似式の高次係数から、その反復におけるカメラ運動と物体形状への分解に関する安定性を検出し、収束する、または許容誤差以下と判定し、カメラ運動と物体形状の収束解を求める、請求項１に記載の方法。
画像入力装置で取得した時系列画像中の対象とする画像における特徴点に関する画像座標値の時間的変化量から、対象とする時系列画像中の対象物の形状および時系列に関するカメラの運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計したデータである計測行列中の雑音成分をフィルタリングした後の正味の成分から、カメラ運動を復元するための条件式を設定する第１の手段と、
前記条件式からカメラ運動を復元し、同時に物体形状を復元し、該カメラ運動と物体形状を画像面へ逆投影して、生成された計測行列と元の計測行列との誤差を算出し、その誤差の値が収束しているかどうか、または許容誤差以内かどうか判定し、前記計測行列との誤差が収束していない、または許容誤差以上と判定された場合に、復元されたカメラ運動と物体形状から、各時系列におけるカメラ視点から物体形状の重心までの奥行き情報を計算し、該奥行き情報を前記計測行列の各要素に掛け合わせた要素で計測行列を構成して行列要素を更新し、その更新された計測行列から透視投影モデルでのカメラ運動と物体形状を復元する反復を繰り返す第２の手段と、
第２の手段において、カメラ運動と物体形状から生成された次の反復のための計測行列と、元の計測行列との誤差が収束している、または許容誤差以下と判定された場合、収束解として、その反復時点での復元されたカメラ運動と物体形状を出力し、計測行列からの分解において、カメラ運動または物体形状行列のどちらかに優勢的に分解しているかを示す傾向を検出する第３の手段を有し、
第３の手段において、優勢と判定されたカメラ運動または物体形状の一方を固定または拘束して、前第１のステップ以降の処理を繰り返して、物体形状行列またはカメラ運動行列を復元するカメラ運動・物体形状復元装置。
第３の手段において、カメラ運動に優勢に分解されている傾向があると判定したとき、各反復ステップにおいて、更新された計測行列から部分的に分解した行列において、カメラ運動成分に相当する行列を優勢と判定した時点でのカメラ運動を保持し、この保持したカメラ運動と部分行列から物体形状を復元する、請求項７記載の装置。
第３の手段において、物体形状に優勢に分解されている傾向があると判定したとき、各反復ステップにおいて、更新された計測行列から部分的に分解した行列において、物体形状成分に相当する行列を優勢と判定した時点での物体形状行列を保持し、この保持した物体形状行列と部分行列からカメラ運動を復元する、請求項７に記載の装置。
前記計測行列から共分散行列を構成し、その共分散行列から情報基準量を計算し、計測行列を特異値分解してから、この情報基準量により雑音を除去し、残った部分行列から、情報基準量の次元数により、カメラ運動を拘束する条件式を設定する、請求項７記載の装置。
前記のカメラ運動と物体形状を復元する場合、正規のカメラ運動と物体形状と反転または鏡映の関係にあるカメラ運動と物体形状を復元しながら、反復的に計測行列を更新し、透視投影モデルでのカメラ運動と物体形状を復元し、計測行列の更新の各反復処理において、次の反復処理に残す、正規または反転のカメラ運動と物体形状の組み合わせを、生成された計測行列と元の計測行列との誤差により判断し、最終的に元の計測行列に近い最も誤差の小さい組み合わせを残す、請求項７に記載の装置。
第３の手段において、各反復時での計測行列と元の計測行列との誤差の値を蓄積または記憶し、その誤差の近傍の誤差曲線を多項式により近似し、該近似式の高次係数から、その反復におけるカメラ運動と物体形状への分解に関する安定性を検出し、収束する、または許容誤差以下と判定し、カメラ運動と物体形状の収束解を求める、請求項７に記載の装置。
請求項１から６のいずれか１項に記載の方法をコンピュータに実行させるためのカメラ運動・物体形状復元プログラム。
請求項１から６のいずれか１項に記載の方法をコンピュータに実行させるためのカメラ運動・物体形状復元プログラムを記録した記録媒体。