JPH10302064A - 欠陥データとの線形適合方法、動きから構造への適用方法、強度画像の特徴決定への適用方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 欠陥要素を持つ行列に低階数行列を適合させ
る方法の実現。 【解決手段】 第１段階では、移動カメラを用いて固定
場面の画像のシーケンスを得ることで、動きシーケンス
から点位置からなる第１の行列を構築し、そのシーケン
スから点の素性を確認・追跡し、その素性の座標を用い
て、一部の素性が一部の画像に存在しない一部の欠陥要
素を有する第１の行列を構築する。第２段階では、第１
の行列から列トリプルを選択し、その零空間を第２の行
列とし、第２の行列の３つの最小成分を取ることで、近
似解を得る。第３段階では、その３つの最小成分に反復
アルゴリズムを適用して、第３の行列を構築し、推定を
向上させる。最後に第４段階で、第３の行列を分解し
て、完全な場面構造を求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、欠陥データとの線
形適合、動きから構造への適用、および強度画像の特徴
決定への適用に関係する方法および装置に関するもので
ある。

【０００２】

【従来の技術】いくつかの映像上の問題は、低次元の線
形表面のデータへの適合の問題に帰することができる。
例えば、トマシら（C.Tomasi et al.(1992) "Shape and
Motion From Image Streams Under Orthography: A Fa
ctorization Method" Int.J.ofComp.Vis. 9(2):137-15
4）は、アフィン作像モデルを仮定して、雑音性画像か
ら構築されるデータ行列に階数３行列を適合させること
によって、２次元画像のシーケンスで追跡される３次元
点集合の構造および動きを求める方法を示している。ベ
ルフメウアらは（Berlhumeur et al.(1996) "What is t
he Set of Imagesof an Object Under All Possible Li
ghting Conditions?" IEEE Conf.of Comp.Vis., and Pa
t.Rec.:270-277）は、やはり雑音性データから構築され
る行列に対して階数３行列を適合させることで、凸面ラ
ンベルト対象が与える強度画像集合の特徴決定方法を示
している。この研究に基づく解法における一つの重大な
問題は、一部欠陥要素を有するデータ行列を扱う方法で
ある。動きから構造への場合、ほとんど不可避で起こる
ことであるが、動きシーケンスを通じて画像で一部の素
性を見ることができない場合、欠陥要素がデータ行列に
生じる。ベルフメウアら（P.Belhumeur et al., 1996）
によって提案された方法に従って強度の複写を構築する
には、一部の場面点の表面法線が一部の画像で光源に対
向しない場合、欠陥行列要素が生じる。それは、平滑な
対象を含む場面について起こるはずであり、ほとんどの
実際の場面で起こる可能性が高い。

【０００３】最近、いくつかの重要な映像上の問題が、
それらの問題を、何らかの重要な場面構造を示す低次元
の線形表面もしくはアフィン表面検出の問題に帰するア
フィン作像モデルを用いることで扱われるようになって
いる。例えば、ウルマンら（S.Ullman et al.(1991) "R
ecognition by Linear Combinations of Models" IEEE
Trans. PAMI 13(10):992-1007）およびバスリら（R.Bas
ri et al(1988) "TheAlignment of Objects With Smoot
h Surfaces" Computer Graphics, Vision andImage Pro
cessing: Image Understanding 57(3):331-345）の一次
結合では、各種視点からの３次元構造によって得られる
画像集合が、全ての可能な画像の空間で低次元アフィン
表面と称される。この構造を対象認識に用いる。トマシ
ら（C.Tomasi et al.(1992)）は、これに関連する考え
方を用いて、長い動きシーケンスにより動きから構造を
有効に形成している。ノイズのない画像はいずれも低次
元線形表面にあるはずであることから、そのような表面
をデータに適合させて、それを用いて構造と動きを導き
出すことができる。モ−ゼス（Y.Moses (1993) Face re
cognition: generalization to novel images Ph.D.The
sis, Weizmann Institute of Science）およびシャシュ
ア（A.Shashua (1992) Geometry and Photometry in 3D
Visual Recognition MIT TR-1401）は、単一の視点か
らであるが、点光源の位置および強度を変えながらの３
次元ランベルト構造によって得られる強度画像集合も、
可能な画像の空間における３次元線形表面として説明で
きることを示している。これらは、可能な画像の空間に
３次元線形表面を形成する（強度複写）。ベルフメウア
らは（P.Belhumeur et al. (1996)）、この結果を用い
て、凸形状対象が与え得る強度画像の集合について説明
し、複数光源と自己付影を可能としている。この研究の
いずれにおいても、妥当な仮定集合を見いだし、それを
線形とすることで、問題はかなり単純化される。

【０００４】

【発明が解決しようとする課題】これらの方法はいずれ
も、データ集合に対して低階数ｒの行列を適合させる必
要がある。この行列によって囲まれる線形空間は場面構
造に相当する。いくつかのアプローチではそれは、ノイ
ズの存在下であっても正確に階数ｒを有するｒ×ｎの行
列を構成する必要がある最小量のデータのみを獲得する
ことで行われる（S.Ullmanら(1991), Y.Moses (1993),
A.Shashua (1992)およびP.Belhumeurら(1996)参照）。
この方法は簡単であるが、ノイズに対して非常に敏感で
あり得る。ウルマンら（Ullman et al.(1991)）も、特
異値分解（ＳＶＤ）を用いて、追加画像を用いて問題を
過度に決定する場合に作られる比較的大きな行列に低階
数行列を適合させる方法を提案している。トマシら（C.
Tomasi et al.(1992)）は、長い動きシーケンスを用い
て、大きな行列を作り、次にＳＶＤを用いて最も近い低
階数行列を見いだしている。この方法は、新たな行列に
おける各要素とデータ行列の間の差の２乗の合計を最小
とする低階数行列を見いだすものである。問題を過度に
決定し、そのデータに対する最小二乗適合を見いだすこ
とで、この方法はノイズの影響を低減することができ
る。

【０００５】これらの方法で重要となる制限は、それら
が欠陥要素のないデータ行列を必要とすることである。
動きから構造の場合、それは、各点素性があらゆる画像
で見ることができなければならないことを意味してい
る。多くの場合、点は動きシーケンス時に視野から出入
りするか、あるいはシーケンス途中で他の対象によって
視界から遮断されることから、これは厳しい仮定であ
る。ある場面によって得られる強度複写を導く方法は、
各画像における照明が単一の点光源から来る画像集合を
用いるものである。場面の点が光源によって照明されな
い場合、そのデータ行列は欠陥要素を持つことになる。
従ってこれらの方法では、あらゆる目視可能な場面点を
あらゆる画像で照射する必要がある。しかしながら、滑
らかな対象がある場面では、その仮定は、光源の方向が
目視方向と同じ場合に限って満足される。すなわち、１
個の画像が可能である。より一般的には、光源が目視方
向近くにある場合にのみ、ほとんどの可視点が照射され
る。しかしながら、画像が類似の光源方向で得られた場
合は、得られる解は不安定になり得る。

【０００６】トマシら（C.Tomasi et al.(1992)）は、
欠陥要素を有する行列の簡単な発見的適合方法について
説明している。シュームらは（H.Shum et al.(1995) "P
rincipal Component Analysis With Missing Data and
Its Applications to Polyhedral Object Modeling" IE
EE Trans.PAMI 17(9):854-867）は、ワイバーグによる
反復法（T.Wiberg (1976) "Computation of Principal
Components When DataAre Missing" Proc.Second.Symp.
Computational Statistics:229-236）を関係する動き
から構造問題に適用している。この方法は、適合させた
低階数行列とデータ行列では欠落していない要素との間
の差の２乗の合計を最小とするものである。このアプロ
ーチは、局所的に最適解に収斂するという利点を持って
いる。しかしながら、全体的に最適なものが見いだされ
ることを保証するものではない。この反復法には利点が
あるが、それが良好な開始点を持たない場合は、誤った
答えに収斂する場合が多い。

【０００７】ウルマンら（S.Ullman et al (1991)）お
よびトマシら（C.Tomasi et al.(1992)）によって提案
された方法は、一致した像点のシーケンスが与えられ、
それが、アフィンであるかアフィンの部分集合（例：R.
Basri (1996) "Paraperspective Affine" Int.J. of C
omp.Vis. 19(2):169-179に記載されているような弱い正
射遠近またはparaperspective）であるカメラモデルを
用いて３次元から２次元に投影されたものと仮定するも
のである。多数の点の中心の移動を推定することで、動
きの移動成分が別個に計算されることから、我々は単純
化のために、面内移動がないと仮定する。ｐ_i＝（ｘ_i，
ｙ_i，ｚ_i）^Tをi番目の３次元点素性とする。次に、画像
変換に対するモデルは２×３行列Ｓ_iと書くことができ
る。ｐ_iによって与えられる像点をｑ_i＝（Ｘ_i，Ｙ_i）で
表すと、以下のようになる。

【０００８】

【数１６】 正投影の場合、Ｓ_iは回転行列の最初の２行である。

【０００９】そこで我々は、簡単な行列表記で画像シー
ケンス全体を表わすことができる。i番目の列がｐ_iであ
る行列をＰとすると、以下のようになる。

【００１０】

【数１７】 全ての変換Ｓ_iの全ての行を含む行列をＴで表すと、Ｔ
の２i−１行がＳ_iの最初の列であり、Ｔの２i行がその
次の列である。

【００１１】

【数１８】 最後に、全ての追跡画像点を含む単一の行列を

【００１２】

【数１９】 で表す。

【００１３】

【数２０】 の各列には、単一の点の全ての画像座標がある。すなわ
ち、

【００１４】

【数２１】 は画像iにおけるｑ_jのｘ座標を与え、

【００１５】

【数２２】 は画像iにおけるｑ_jのｙ座標を与える。そして、次のよ
うに書ける。

【００１６】

【数２３】 式中、

【００１７】

【数２４】 は、i番目の画像におけるｊ番目の雑音性像点のＸ座標
であり、

【００１８】

【数２５】 も同様に定義される。

【００１９】

【数２６】 と同じ次元の数列であって、その要素が

【００２０】

【数２７】 の相当する要素を感知する上で遭遇したノイズを示すも
のをＥとする。そうすると、画像シーケンス全体の形成
を次のように簡単に記述することができる。

【００２１】

【数２８】 さらに、次のように定義する。

【００２２】

【数２９】 誤差のないデータＱに直接アクセスしないが、

【００２３】

【数３０】 からそれを推定したい。Ｔは３つの列（以下列トリプル
もしくは端にトリプルという）を持つことから、階数３
のみを持つことができ、結果的にＱは階数３のみを持つ
ことができる（すなわち、点群と見なされるＱの列また
は行は、Ｒ^mの３次元線形部分空間（Ｒⁿ）以下を占める
に違いない。いずれの列または行も、他の３つの一次独
立列もしくは行の一次結合である。）。

【００２４】感知される像点の座標を含む行列

【００２５】

【数３１】 は、Ｑの雑音性のものであり、最大階数を有する。しか
しながら、

【００２６】

【数３２】 に最も近い階数３のＱ行列を見いだせば、Ｑの最優推定
を行うことができる。詳細には、ＳＶＤを用いて、

【００２７】

【数３３】 を最小とするＱ行列を見いだすことができる。さらに、
ＳＶＤを用いてこのＱ行列をＴとＰに分解して、アフィ
ン変換まで、３次元点の構造および動きの推定を行うこ
とができる（詳細については、C.Tomasi et al.(1992)
参照）。

【００２８】一部の画像で一部の点を見ることができな
い場合、

【００２９】

【数３４】 はそれらの点についての欠落記述項を含むことになる。
さらに、全て見ることができたとしても、誤差のないデ
ータが３階数のＱ行列を生じる可能性のあることがわか
っている（さらに、隣接する画像にある点群の中心の移
動を計算することで、データからの隣接する画像間の移
動の効果を排除することができる。そのためには、一部
の点がある画像から次の画像に常に存在すると仮定する
のみでよい。）。従って、現在

【００３０】

【数３５】 に実際に存在する要素のみとＱの相当する要素とを比較
する

【００３１】

【数３６】 に最も近いＱ行列を見いだすことで、誤差を低減するア
フィン構造および動きを見いだすことができる。そこ
で、欠落データの存在下に動きから構造を見いだす上で
の問題は、欠落要素を有するデータ行列に最も近い３階
数行列を見いだすか否かによって決まる。

【００３２】シャシュア（A.Shashua, 1992）、モーゼ
ス（Y.Moses, 1993）およびベルフメウアら（P.Belhume
ur et al., 1996）が同様の式を用いて、無限遠の点光
源に露光された３次元ランベルト構造によって形成され
る強度画像集合について説明している。その強度によっ
て計算される光源の方向を３次元ベクトル−ｈとする。
その場合、ｑ_jを画像画素ｊの強度とする。最後に、こ
の強度が、表面法線ｎ_jおよびアルベドｐ_jを有する場面
の３次元面状部分によって得られるものであると仮定す
る。そうすると、強度が下記式によって得られる。ｑ_j
＝ｈ・ｐ_jｎ_jただしこれは、正の値を提供するものであ
る（すなわち、各表面放線が光源に向かっている）。こ
れらの式から、ｈやｐ_jの絶対値を知ることはできない
ことから、ｐ_jｎ_jが単に無制約３次元ベクトルである
と、一般性を失うことなく仮定することができる（すな
わち、反射率が１未満であるという制約は、ほとんど制
限なく、ｈのスケールに対して影響がない）。次に、視
点が固定されているが、照明の強度および方向が可変で
ある画像集合を考える。ｊ番目の列がｐ_ｊｎ_ｊである場
面行列をＮとする。i番目の行がi番目の画像についての
ｈベクトルである照明行列をＨとする。さらに、ｊ番目
の列が各画像においてｊ番目の画素の強度を与えるデー
タ行列を

【００３３】

【数３７】 とする。そうすると、次の式が成り立つ。

【００３４】

【数３８】 式中、Ｅはやはり、感知誤差の行列である。やはりＱは
３階数を有する。やはり、我々の雑音性画像は、最大階
数行列

【００３５】

【数３９】 を提供するものであり、やはり、ＳＶＤを用いて

【００３６】

【数４０】 からＱ、ＨおよびＮを推定して、

【００３７】

【数４１】 に最も近い３階数行列とそれの分解とを求めることがで
きる。既報の研究で、シャシュア（A.Shashua, 1992）
およびベルフメウアら（P.Belhumeur et al., 1996）
は、３つの画像のみを用いる比較的簡単であるが確実性
の低い方法を用いて

【００３８】

【数４２】 を形成しており、その場合、

【００３９】

【数４３】 は３階数のみを持ち、Ｑの最良の推定行列である。シャ
シュア（1992）は、行列Ｎを用いて、新たな画像がＮの
行の一次結合であるか否かを求めることで、その新たな
画像が同じ場面によって形成され得るか否かを確認して
いる。

【００４０】この問題では、場面表面の法線が光源に向
かっていない場合に、

【００４１】

【数４４】 は欠陥要素を持つ。ｈ・ｐ_jｎ_jが負の場合、その場面点
は自己付影され、我々はゼロ強度とノイズを知覚し、負
の強度は知覚しない。場面点が暗いことから、それが光
源に向いていないと言うことができるが、その方向性に
ついてのそれ以上のデータは得られない。ベルフメウア
ら（1996）はＮを用いて、場面が作り出すことができ
て、その自己付影効果を可能とする画像集合について説
明するより複雑な照明円錐形を求めているが、自己付影
のない画像を用いてＮをやはり構築しなければならな
い。しかしながら、自己付影を持たない多くの画像を得
ることができれば、欠陥要素を持った

【００４２】

【数４５】 行列を構築することができる。やはり、対象の量を推定
する上での重要な問題は、欠陥要素を有する行列に対す
る最適な３階数近似を見いだすということである。

【００４３】トマシら（1992）は、欠落データを有する
行列に対する最適な３階数近似を見いだす方法を提案し
ている。その方法では最初に、欠落データを持たない行
列の直交する部分集合の位置を決定する。ＳＶＤを用い
て、この小行列に対する最適な３階数近似を見いだす。
次に、別の列（または行）の非欠陥要素に最も良く適合
する小行列の列（または行）についての基底の一次結合
を見いだすことで、その列（または行）の欠陥要素を満
たす。このようにして、その解は、同時に一つの列（ま
たは行）に反復して拡張される。次に、最急降下最小化
を用いて得られた解を最適化して、

【００４４】

【数４６】 行列に存在する全てのデータに最も近い３階数行列を見
いだす。

【００４５】過剰制限データを用いて欠陥データを満た
していることから、この解法はかなり発見的であるよう
に思われ、トマシら（1992）は、２つの動きシーケンス
に対するその有効性を示している。しかしながら、欠陥
行列要素を最初に満たす提案の方法はいくつかの欠点を
有する可能性がある。第１に、欠陥要素を有する行列の
最大の完全小行列を見いだす上での問題はＮＰ完全問題
であることから（最大クリークは容易にこの問題に帰す
ることができる）、発見的手法を用いて開始点を見いだ
さなければならない。第２に、データが対称に使用され
ない。データの小さい部分集合を用いて、最初の欠陥要
素を計算する場合があり、それによってこれらの要素に
おいてかなりの不正確さが生じる可能性がある。その不
正確さが別の欠陥要素の計算にどのように拡大するかに
ついては明らかではない。第３に、ｍ×ｎ行列の場合、
その方法はＳＶＤのＯ（最大（ｍ，ｎ））適用を必要と
する。最後に、最急降下の最終適用により、その方法が
全体的に最適な解に収束するか否かは不明である。

【００４６】シュムら（H.Shum et al.(1995)）も最
近、欠落データ問題に関係する研究を行っている。彼ら
は、有意性を加重することができる３次元データに基づ
いて構造および動きを誘導する方法の問題を検討し、低
階数行列をデータ行列に適合する上での加重最小自乗問
題に到達している。この問題について彼らは、ワイベル
グ（T.Wiberg, 1976）の報告に記載の知見による反復法
の使用を提案している。この反復法は明らかに、この論
文で検討されている欠陥データ問題にも適用することが
できる。この方法は、最急降下アプローチより良好な収
束性を持つように思われ、我々の実験ではそれを用いて
いる。この方法については、シュムらの報告（H.Shum e
t al., 1995）に詳細に記載されている。しかしなが
ら、我々の実験ではこの方法を用いることから、完全を
期すため、その記載についてここで概要を説明する。こ
こではその方法は、最小自乗問題の双線形最適化として
公式化し、次に一つの変数集合を一定としながら他の変
数を最適化する方法を反復して、各最適化を線形とする
方法として説明する。

【００４７】詳細には、最初に、欠陥要素を持たない雑
音性

【００４８】

【数４７】 行列からＱ＝ＴＰを計算したいとする。その式中、Ｑは
階数ｒのｍ×ｎ行列であり、Ｔはｍ×ｒであり、Ｐはｒ
×ｎである。ＴおよびＰの推定値を帰納的に改訂し、Ｔ
iおよびＰiを各値についての我々のi番目の推定値と称
する。最初に、ある種の初期推定を用いて、Ｔiを固定
する。次に、最小自乗法の意味でＴ_iＰ_iが

【００４９】

【数４８】 に最も近くなるようなＰ_iを求めたい。これこそが、過
剰制限線形予測問題であり、それは以下のようにして解
決することができる。

【００５０】

【数４９】 式中、Ｔ_i ^＋はＴ_iの擬逆行列である。次にＰ_iを固定し
て、次の計算を行う。

【００５１】

【数５０】 明らかに、これによって一連の推定値Ｑ、ＴおよびＰが
得られ、その場合の

【００５２】

【数５１】 の大きさは増加しない。

【００５３】わずかに変更を加えることで、

【００５４】

【数５２】 が欠陥要素を持つ場合に、その同じアルゴリズムを適用
することができる。それを行うため、Ｑ＝ＴＰを以下の
ように書き換えることができる。

【００５５】

【数５３】 式中、ＱおよびＰはベクトルとして記載されており、Ｔ
は大きいブロック対角行列として記載されており、Ｔは
ｎ回繰り返されている。やはり、Ｔを固定し、それのブ
ロック対角行列の擬逆行列に

【００５６】

【数５４】 から構築されるベクトルを掛けることで、同じ方法を適
用することができる。それによって、Ｐの新しい推定値
が得られる。その反復法の第２の部分は、Ｔを簡単にベ
クトルとして書き、Ｐの同様のブロック対角行列を構築
することで行うことができる。

【００５７】そこで、

【００５８】

【数５５】 が欠陥要素を持つ場合に、この方法を容易に修正するこ
とができる。

【００５９】

【数５６】 の欠陥要素に相当するベクトルおよびブロック対角行列
の全ての行を削除し、その方法を前述のように行う。各
ブロックの擬逆関数は別個に得ることができることか
ら、そのブロック対角行列の擬逆行列を得ることはあま
り経費を要しないことは留意すべき点である。

【００６０】従って本発明の目的は、その問題の幾何学
的構造に対する新たな洞察に基づいて、欠陥要素を持つ
行列に対して低階数行列を適合させる新規な方法を提供
することにある。我々の方法は、いくつかの望ましい性
質を有する。ノイズがない場合には、我々の方法は正確
な答えを正しく与えるか、あるいは悪化している場合は
それによって回答が得られないことを示すことができ
る。さらに、それは、完全に占有された行列の部分集合
に依存するのではなく、全てのデータを利用できる。我
々は実験的に、我々の方法がノイズの存在下に良好な結
果を与えることを示している。これらの結果は、直接使
用することができるか、あるいは反復方法の優れた開始
点として役立ち得るものである。同時に我々は、良好な
開始点なしで、反復方法で極小が追求される場合が多い
ことを示している。

【００６１】従って、いくつかの欠陥要素を有するデー
タ行列に低階数行列を適合させることで、より信頼性が
高く一般的な解を得ることができる。それにより、動き
から構造のアルゴリズムで、一部の画像で見ることがで
きない追跡場面点を用いることができ、場面が部分的に
しか照明されていない多くの画像から場面の強度を構築
することができる。

【００６２】

【課題を解決するための手段】我々は、欠陥要素を有す
る行列に低階数行列を適合させる新規な方法を提供し、
それを動きから構造問題と強度画像説明の問題の両方に
適用する方法を示す。我々の方法は、異なっているが関
係の深い関数型の最小化の問題に対する直接の解法に基
づいたものである。

【００６３】この方法は、いくつかの望ましい性質を持
っている。第１に我々は、ノイズがない場合、我々の方
法は正確な答えを正しく与えるか、あるいは悪化してい
る場合はそれによって回答が得られないことを示すこと
ができる。すなわち、適合行列が全ての非欠陥要素にお
いてデータ行列と完全に一致する場合、我々が最小化を
行う誤差関数型もゼロである。第２に、我々の方法は反
復法ではない。第３に、それは、完全に占有された行列
の部分集合に依存せずに、全てのデータを利用すること
ができる。我々は実験的に、我々の方法がノイズの存在
下に正確な結果を与えることを示している。これらの結
果は、直接使用することができるか、あるいは反復解法
の優れた開始点として役立ち得るものである。

【００６４】従って、欠陥データを有する行列に低階数
行列を適合させる新たなアルゴリズムが提供される。行
列間の差の２乗の合計を最適化するための反復法に代え
て、我々は、線形代数の標準的な手段、特にはＳＶＤを
直接用いて最適化することができる新たなコスト関数を
示すものである。その新たなコスト関数は発見的である
が、それが行列の差の２乗の合計と密接な関係を持つこ
とを我々は示す。我々の説明は３つの部分からなる。第
１に我々は、誤差のない場合のみを考えて、そのアルゴ
リズムの背景となる幾何学的直観について説明する。次
に我々は、感知誤差を考慮した基本的アルゴリズムにつ
いて説明する。最後に我々は、今後の改良についての提
言とともに、さらにそのアルゴリズムを強固なものとす
る多くの発見的改良について説明する。

【００６５】さらに、不完全なデータを提供するビデオ
シーケンスから完全な場面構造を得る方法も提供され
る。

【００６６】その方法の第１段階では、移動カメラを用
いて固定場面の画像のシーケンスを得ることで、動きシ
ーケンスから点位置からなる第１の行列を構築し、その
シーケンスから点の素性を確認・追跡し、その素性の座
標を用いて、一部の素性が一部の画像に存在しない一部
の欠陥要素を有する第１の行列を構築する。第２段階で
は、第１の行列から列のトリプルを選択し、その零空間
を第２の行列とし、第２の行列の３つの最小成分を取る
ことで、近似解を得る。第３段階では、その３つの最小
成分に反復アルゴリズムを適用して、第３の行列を構築
し、推定を向上させる。最後に第４段階で、第３の行列
を分解して、完全な場面構造を求める。

【００６７】別の実施態様では、不完全データを提供す
るビデオシーケンスから完全な場面構造を得る方法が提
供される。その方法の第１段階では、それぞれ異なった
点光源を用いて固定場面の一連の画像を得て、付影また
は反射のために信頼性のないデータを与える各画像中の
点を確認し、データの信頼性がない欠陥要素を有する強
度値の第１の行列を構築することで、複数画像からの強
度値からなる第１の行列を構築する。第２段階では、第
１の行列から列のトリプルを選択し、その零空間を第２
の行列とし、第２の行列の３つの最小成分を取ることで
近似解を得る。第３段階では、その３つの最小成分に反
復アルゴリズムを適用して、第３の行列を構築し、推定
を向上させる。最後に第４段階で、第３の行列を分解し
て、完全な場面構造を求める。

【００６８】本発明の別の態様は、不完全なデータを与
えるビデオシーケンスから完全な場面構造を与える装置
である。その装置は、固定場面の画像シーケンスを得る
ためのカメラと、そのシーケンスから点素性を確認、追
跡する手段と、動きシーケンスから点位置からなる第１
の行列を構築し、一部の素性が一部の画像で存在しない
素性の座標を用いて一部の欠陥要素を有する第１の行列
を構築し、１）第１の行列から列のトリプルを選択する
段階、２）その零空間から第２の行列を得る段階、３）
第２の行列の３つの最小の成分を得る段階、４）その３
つの最小成分に反復アルゴリズムを適用して第３の行列
の構築および推定の向上を行う段階、５）第３の行列を
分解して完全な場面構造を求める段階を有する近似解の
構築を行う計算手段を有してなる。好ましい実施態様で
は、計算手段はパーソナルコンピュータである。

【００６９】別の実施態様では、不完全データを提供す
るビデオシーケンスから完全な場面構造を得る装置が提
供される。その装置は、固定場面の一連の画像を得るた
めの複数の異なる点光源と、ならびに複数の画像からの
強度値からなる第１の行列を構築し、付影または反射の
ために信頼性のないデータを提供する各画像中の点を確
認し、データの信頼性がない欠陥データを有する強度値
の第１の行列を構築し、１）第１の行列から列トリプル
を選択する段階、２）その零空間から第２の行列を得る
段階、３）第２の行列の３つの最小の成分を得る段階、
４）その３つの最小成分に反復アルゴリズムを適用して
第３の行列の構築および推定の向上を行う段階、５）第
３の行列を分解して完全な場面構造を求める段階を有す
る近似解の構築を行う計算手段を有してなる。好ましい
実施態様では、計算手段はパーソナルコンピュータであ
る。

【００７０】

【発明の実施の形態】本発明の装置および方法について
のこれらおよび他の特徴、態様および利点に関しては、
以下の説明、添付の特許請求の範囲、ならびに添付の図
面を参照することで理解を深めることができる。

【００７１】図１には、実際の動きシーケンスの１フレ
ームを示してある。

【００７２】図２（ａ），（ｂ）には、２つの比較法に
よる、５つの解法の平均誤差を示してある。各点は、１
００回の試験で平均した、データと３階数適合との間の
誤差の２乗の合計を示してある。平均誤差を、ある点が
入っているフレームの平均部分ｆに対してプロットして
ある。適合と比較するデータが相対的に少ないことか
ら、誤差を（１−ｆ）で割ることで、誤差低減の合計を
補正する。図２（ａ）のプロットの対数目盛のプロット
には、４つの解法を示してある。図２（ｂ）では、誤差
がかなり少ない均等目盛法でプロットしている。比較の
ため、両方のプロットでＧＴ−ＩＴを示している。

【００７３】図３は、最適な利用可能解に収斂する反復
法の回数の割合を示している。

【００７４】図４は、１００回の平均での、欠陥データ
を有する強度画像に３階数行列に適合させる実験で得ら
れた平均残留誤差を示したものである。

【００７５】図５は、反復法が強度画像についての最適
利用可能解に収斂する頻度を示したものである。

【００７６】図６（ａ），（ｂ）のそれぞれは、図２
（ａ），（ｂ）に示したような実際の動きシーケンスに
ついての平均誤差を示したものである。

【００７７】図７は、最適な利用可能解に収斂する反復
法の回数の割合を示している。

【００７８】図８は、本発明の方法を実行する装置を示
したものである。

【００７９】図９は、本発明の別の方法を実行する別の
装置を示したものである。

【００８０】我々の問題の幾何学的直観を得るには、

【００８１】

【数５７】 の各列を、ｍ次元空間における点の座標を与えるものと
見ることが役立つ。この考え方で、この行列が欠陥要素
を持たない場合に、トマシら（C.Tomasi et al.,1992）
またはウルマンら（S.Ullman et al, 1991）がＳＶＤを
用いて、

【００８２】

【数５８】 におけるｍ次元点に「最も近い」３次元線形副空間Ｌを
見いだしている。Ｌは、それがこれらの点に対する距離
の２乗の合計を最小とするという点で、これらの点に最
も近い。同時にＳＶＤは、

【００８３】

【数５９】 で相当する点に最も近いＬにおける各点を見いだすこと
で、Ｑの列を構築する。

【００８４】

【数６０】 が欠陥要素を有する場合、これらの要素を満たして、モ
デルとデータの間の適合を改善することができる。欠陥
要素を有する

【００８５】

【数６１】 の列は、一部未知の座標を有する点である。すなわちそ
れは、ｍ次元空間におけるアフィン副空間である（そし
て、この空間の軸に対して平行である。）。この場合の
我々の問題は、互いの距離の２乗の合計によって求めら
れる、これらアフィン空間に最も近い３次元線形副空間
Ｌを見いだすことである。Ｑおよび

【００８６】

【数６２】 の欠陥要素は、Ｑの各列を

【００８７】

【数６３】 の相当する列によって表されるアフィン空間に最も近い
Ｌでの点に割り付けることで見いだすことができ、Ｑの
この列の欠陥要素は、Ｌに最も近いこのアフィン副空間
でその点を取ることで満たすことができる。

【００８８】ここで我々は、感知誤差がない場合（例：

【００８９】

【数６４】 が、欠陥要素以外はＱと同一である場合）に適切なアル
ゴリズムを構築する方法を示し、次に、そのアルゴリズ
ムに変更を加えて、誤差を考慮する方法について説明す
る。ノイズがない場合、Ｌは

【００９０】

【数６５】 の列によって記述されるアフィン空間全てと交差する。
交差しないこれらのアフィン副空間の３つをＡ₁、Ａ₂、
Ａ₃と称する。空間が交差しないというこの仮定は実際
には意味がないことに留意すべきである。アフィン空間
は座標軸に対して平行であることから、２つの空間は、
全ての行についてそれらが同じ値を持つか、あるいは一
方が欠陥値を持つ場合にのみ交差する。そのようなトリ
プルは、上述のアルゴリズムでは容易に捨てられる。Ｌ
はそれらのアフィン空間それぞれと共通の原点以外の特
有の点を有することから、Ｌはこれら３つの空間におけ
る点によって囲まれた空間内にあるに違いない。従っ
て、

【００９１】

【数６６】 の列の各トリプルは、ＬをＲ^mの何らかの線形副空間に
制限する。この制限の意義は、これら列における欠陥要
素の数によって決まる。列が欠陥要素を持たない場合、
それらは正確にＬを規定するものである。別法として、
列が多くの欠陥要素を有する場合、それらが生じるアフ
ィン空間は、高次元のものであり、非常に高次元の空間
を囲むと考えられる。この場合、Ｌがその空間にあると
いう制限は弱い制限である。

【００９２】トリプルから生じる線形空間の交差部を取
ることで、

【００９３】

【数６７】 の列の多くの異なるトリプルに由来する制限を組み合わ
せることができる。具体的には、

【００９４】

【数６８】 の列に相当するアフィン空間の何らかのトリプル集合を
Ｔとし、アフィン空間Ａ ₁、Ａ₂、Ａ₃における点によっ
て囲まれる線形空間をスパン（span）（Ａ₁、Ａ₂、
Ａ₃）とすると、次のようになる。

【００９５】

【数６９】 この場合部分集合を得ているのであって、同等の関係で
はないことに留意する。それはすなわち、

【００９６】

【数７０】 が３次元である場合に、Ｌは正確にわかるが、その交差
部がそれより高次元である場合、正確にはわからないと
いうことである。さらに、Ｑの階数が不明確である場合
には、

【００９７】

【数７１】 はその階数のより上の界を与えるものである。実際に
は、我々のシミュレーションは、誤差のない場合に、か
なりの量の欠陥データについて、

【００９８】

【数７２】 の列の可能なトリプルの小さい部分集合のみのサンプリ
ングを行うことで、Ｑを個別的かつ正確に決定すること
ができる。

【００９９】実際のアルゴリズムでは、感知誤差の可能
性を考慮しなければならない。誤差があると、各列に関
連するアフィン空間を横切ることで、我々のデータと完
全に一致し得る線形副空間がないことから、

【０１００】

【数７３】 は直ちに空となる。そこでその場合、この交差部にでき
るだけ近くなる線形副空間を計算する。

【０１０１】最初に、

【０１０２】

【数７４】 の列のｌトリプルを選択する。この時点では、単にこれ
らを無作為に選択している。列のi番目のトリプルによ
って囲まれる線形空間をＳ_iとする。これらの空間の交
差部を取る簡便な方法は、その補空間のスパンの余集合
を取るものである。Ｓ_iの零空間をＮ_iと称する。次に、
誤差のない場合に、

【０１０３】

【数７５】 を得る。下記の行列の零空間を取ることで、

【０１０４】

【数７６】 を計算することができる。

【０１０５】Ｎ＝［Ｎ₁Ｎ₂…Ｎ_l］ 感知誤差の存在下に、行列Ｎは最大階数を有するのが普
通であり、その零空間は空である。その場合、その零空
間に近い３次元線形空間、すなわち少量のノイズを考慮
することで、零空間に最も容易に形成される空間を見い
だしたい。それは、ＮのＳＶＤを取り、その４つの最下
位成分を見いだすことが行われる。それにより、Ｎによ
って囲まれる空間に対して最も直交に近い３次元線形副
空間としてＬの推定を行うことができる。

【０１０６】ＮのＳＶＤの３つの最下位成分は、Ｌを囲
む３つの正規直交列としてＬを表すものである。次に、
それらを用いてＱを制限する。

【０１０７】

【数７７】 の各列について、欠落していない要素と最も適合するＬ
を表す列の一次結合を見いだす。具体的には、Ｌを３つ
の正規直交性列によって表し、

【０１０８】

【数７８】 の列を

【０１０９】

【数７９】 で表し、

【０１１０】

【数８０】 の非欠陥要素の指数をｐとし、

【０１１１】

【数８１】 の非欠陥要素のみを取ることで得られる列を

【０１１２】

【数８２】 とし、同様にｐの指数を有する行からなるＬの小行列を
Ｌ^pとする。そうすると、次のように計算される。

【０１１３】

【数８３】 式中、（Ｌ^p）⁺はＬ^pの擬逆行列である。

【０１１４】ここで、このアルゴリズムを実行する上で
重要ないくつかの詳細について説明する。第１に、３つ
のアフィン空間によって囲まれる空間の零空間を計算す
る方法について説明する。３つのアフィン空間Ａ_i、
Ａ_j、Ａ_kを生じる

【０１１５】

【数８４】 の列トリプルをＣ_i、Ｃ_j、Ｃ_kとする。Ｃ_i、Ｃ_jまたは
Ｃ_kのいずれの行が一つの要素を欠落している場合、そ
の行はスパン（Ａ_i、Ａ_j、Ａ_k）の零空間の全ての要素
について零値を持つことに注目する。従って、その零空
間を計算するには、完全に占有されて、零空間の残りの
行に全て零が入った［Ｃ_iＣ_jＣ_k］の小行列の零空間を
見いだす必要があるのみである。

【０１１６】第２に、スパン（Ａ_i、Ａ_j、Ａ_k）の零空
間は、数値的不安定さのために、Ｌに対する正確な制限
ではない。簡単な例として、Ａ_i、Ａ_j、Ａ_kが、その原
点とともに、ほとんど何らかの２次元平面Ｐにある３つ
の点であると仮定する。そうすると、そのスパンは３次
元であり、感知誤差がない場合には、Ｌを正確に規定す
ると考えられる。しかしながら実際には、Ｐを含む３次
元線形副空間は、３点全ての近くにあり、ノイズが加わ
ると、そのスパンは、Ｐを含むかなり任意の３次元線形
副空間である。従って、Ｌがそのスパンにあると間違っ
て予想されるものと考えられる。しかしながらこの状況
は、容易に検出される。我々は、完全に占有された［Ｃ
_iＣ_jＣ_k］の小行列に対してＳＶＤを適用することで、
零空間を計算する。この小行列が最大階数でないかある
いはほとんど最大階数でない場合、それに由来する制限
が信頼性のないものであることがわかっている。

【０１１７】第３に、我々はＮを計算するのに用いた列
トリプルの数にｌという閾値を設定しているが、これら
３つのそれぞれがどれだけの数の列を与えるかは事前に
はわからない。従って、必要なＮの列数に対して最大値
も設定し、ｌ個のトリプルをチェックしていなかったと
しても、その値に達した時に、列トリプルの形成を停止
する。

【０１１８】第４に、式２は部分集合の関係に過ぎない
ことから、得られた列トリプルが、正確にＬを決定でき
るだけそれを制限しない可能性が常にある。Ｌは、その
３つの最小特異値に基づいて、Ｎの３つの最下位成分を
取ることで計算されることに再度留意する。Ｎの第４の
最小特異値も非常に小さい場合、Ｌについての計算が信
頼性のないものであることがわかっている。その場合は
単に、アルゴリズムによって答えが得られなかったと報
告される。ただし、ｌについてのさらに大きい値または
列トリプルの別の無作為選抜によって、より多くのデー
タが得られる可能性を期待して、計算を再度行う場合も
考えられる。

【０１１９】第５に、

【０１２０】

【数８５】 の全ての列および行を求めることができるだけのデータ
をＮが直接含まない可能性がある。例えば、選択される
列の全てのトリプルがＮのある行において１以上の欠陥
要素を有している場合、その行は全て零からなる。その
場合、計算している零空間におけるその行の値について
のデータを集めたことになる。さらに、前述のように、
（Ｌ^p）が最大階数を持たず、その擬逆行列を得ること
ができないことから、ＬによってＱ_iを推定することは
できない可能性がある。それらの状況のいずれにおいて
も、単純に、データを持っているＱの最大亜矩形（subr
ectangle）を計算し、その亜矩形を拡大して、完全矩形
の最小自乗計算を行う。

【０１２１】図８について説明すると、参照符号８００
によって表される本発明の装置を図示してある。図８
は、不完全なデータを提供するビデオシーケンスから完
全な場面構造を形成する装置８００が図示してあり、図
中、装置８００は固定場面８１０の画像シーケンスを得
るためのカメラ８２０を有している。さらに、シーケン
スを介して点素性を確認・追跡する確認・追跡手段８３
０が提供されている。好ましくは、確認・追跡手段８３
０は、トマシら（C.Tomasi and T.Kanabe, "Detection
and Tracking of Point Features," Carbegie-Mellon T
ech.Report CMU-CS-91-132, 1991）およびコックスら
（I.Cox and S.Hingorani, "An Efficient Implementat
ion of Reid's Multiple Hypothesis Tracking Algorit
hm and its Evaluation for the Purpose of Visual Tr
acking," IEEE Trans on PAMI, vol.18, no.2, pp.138-
150, Feb.1996）の報告に記載の方法などの当業界で公
知のアルゴリズムである。

【０１２２】装置８００にはさらに、動きシーケンスか
ら点位置からなる第１の行列を構築し、一部の素性が一
部の画像で存在しない素性の座標を用いて一部の欠陥要
素を有する第１の行列を構築し、１）第１の行列から列
のトリプルを選択する段階、２）その零空間から第２の
行列を得る段階、３）第２の行列の３つの最小の成分を
得る段階、４）その３つの最小成分に反復アルゴリズム
を適用して第３の行列の構築および推定の向上を行う段
階、５）第３の行列を分解して完全な場面構造を求める
段階を有してなる近似解の構築を行う計算手段が与えら
れている。計算手段８４０は好ましくは、パーソナルコ
ンピュータである。

【０１２３】図９について説明すると、参照符号９００
で表される本発明の別の装置が図示してある。図９は、
不完全なデータを提供するビデオシーケンスから完全な
場面構造を形成する装置９００が図示してある。この装
置９００は、固定場面８１０の一連の画像を得るための
独立の複数の点光源９１０を有してなる。

【０１２４】装置９００にはさらに、複数の画像からの
強度値からなる第１の行列を構築し、付影または反射の
ために信頼性のないデータを提供する各画像中の点を確
認し、データの信頼性がない欠陥データを有する強度値
の第１の行列を構築し、１）第１の行列から列トリプル
を選択する段階、２）その零空間から第２の行列を得る
段階、３）第２の行列の３つの最小の成分を得る段階、
４）その３つの最小成分に反復アルゴリズムを適用して
第３の行列の構築および推定の向上を行う段階、５）第
３の行列を分解して完全な場面構造を求める段階を有し
てなる近似解の構築を行う計算手段がある。計算手段は
好ましくは、パーソナルコンピュータである。

【０１２５】

【実施例】この項では、本発明の方法の正確さを調べる
ための実験について説明する。本発明の方法および従来
の方法は、データ行列に存在する要素と新たな３階数行
列の相当する要素の間の差の２乗の合計を最小化すると
いう同じ問題処方を検討するものである。従って、方法
によって階数３行列を見いだして、その誤差測定を低減
することにどの程度奏功するかに基づいて、それらの方
法を評価する。独立のガウス雑音がデータの信頼性を低
下させる場合に、この誤差測定は最適であり、欠陥要素
の値について事前にデータが得られないことは留意すべ
き点である。

【０１２６】次のように標識した７つの異なる方法で実
験を行う。すなわち、それ自体で本発明の方法を使用す
る「ＮＥＷ」。反復開放の開始点として使用する「ＮＥ
Ｗ−ＩＴ」。これを、無作為開始点による反復開放と比
較する。良好な開始点を持つことの重要性を明らかにす
るため、その反復法を１つの無作為開始点（ＲＡＮ
１）、３つの異なる無作為開始点（ＲＡＮ３）、あるい
は５つの異なる無作為開始点（ＲＡＮ５）で行う場合に
認められる最良の解を得る。我々はこれらの結果を（Ｇ
Ｔ）グラウンドトルースの推定値、および（ＧＴ−Ｉ
Ｔ）反復法の開始点として（ＧＴ）での解を用いること
で認められる全体的に最適な解（誤差が最も小さいも
の）の推定値とを比較する。シミュレーションしたデー
タを用いる時には、グラウンドトルースが使用できる。
実際の動きシーケンスでは、（ＧＴ）についての全ての
データに基づいた解を用いる。

【０１２７】これらの実験では、多くの特定の閾値を設
定しなければならない。１００回の反復で、あるいはそ
れが１０桁の精度で収斂するまでその反復法を行う。本
発明のアルゴリズムでは、元の行列の１０倍の列または
行を零空間（Ｎ）が占有するまで、列の３つを選択する
（列の３つが１０００個という上限があるが、実際には
それに到達することはほとんどない）。列の３つそれぞ
れに対する零空間を計算する場合、零および０．１未満
の特異値を得る。ＮのＳＶＤの３つの最下位成分を取る
ことでＬを計算する。第４の最小特異値が０．００１未
満である場合、その行列に対する明瞭な３次元零空間が
ないことから、結果に信頼性がないことを求めている。

【０１２８】２つの設定で合成データを得る。第１に、
合成動きシーケンスで点を得る。各シーケンスで、立方
体内で無作為に２０点を選択する。次に、対象をｚ軸に
ついて９０°回転させ（面内回転）、その平面で無作為
に選択される軸について９０°回転させながら、均等の
間隔で２０のフレームを得る。これによって、動きアル
ゴリズムからの構造が共通に適用されるシーケンスの種
類の簡単な例を提供するものである。次に、各点がシー
ケンスのある部分に閉塞されると仮定する。この部分
は、均等分布から各点について無作為に選ばれる。閉塞
長さの予想値を変化させて、我々の実験における欠陥要
素の数を変える。各点についての閉塞フレームは、シー
ケンスの始め、シーケンスの終わり、または始めと終わ
りの間で分割されるかのいずれかに無作為に割り付けら
れる。これら３つの条件のそれぞれが、等しい確率で起
こる。次に、要素の最大範囲の．２５％の標準偏差によ
り、ガウス雑音を加える。５００×５００画素の画像の
場合、それは１．２５画素の標準偏差に相当すると考え
られる。

【０１２９】次に、無作為強度画像を得る。最初に、１
００個の点を有する場面を得て、そのうちの全ての場面
点の表面法線を、正のｚ成分を有する単位半球での均等
な分布で選択する。０〜１の均等な分布から各点の反射
率を選択する。次に、単位強度の光源を選択し、場面表
面法線と同じ分布から引き出される方向を選択する。各
光源をその場面と組み合わせて、−１〜１の範囲の強度
で強度画像を得る。次に、標準偏差．０１でガウス雑音
を加えた。最後に、零未満の強度を欠陥値と見なした。

【０１３０】最後に、ソーニーらの報告（H.Sawhney et
al. (1990) "Description and Reconstruction from I
mage Trajectories and Rotational Motion" Int. Con
f. onComp. Vis: 494-498）に記載の実際の動きシーケ
ンスから得られたデータについて、我々のアルゴリズム
を行った。このシーケンスは、８個の画像にわたって追
跡された４０の点を含んでいた。このシーケンスでは、
無作為動きシーケンスについて説明したものと全く同じ
人工的閉塞が生じた。次に、隣接するフレームに存在す
る多数の点の中心の移動を測定し、その移動を除去する
ことで、移動の効果を補償した。次に、その行列のスケ
ールを決定することで、合成動きシーケンスの場合と同
じ次数とすることで、同じパラメータを全て適切に使用
できるようにした。これにより、全ての方法で、感知誤
差および移動を求める上での不正確さによる誤差を含ん
だ同じ行列で作業が行われるようにした。

【０１３１】図２、３、４、５、６および７では、結果
をグラフ表示している。第１の注目点は、我々の方法を
反復解法の開始点として用いた場合に最良の結果が得ら
れているという点である。動き実験においてこの方法
は、無作為開始点を用いて反復解法を１回、３回または
５回繰り返した場合よりかなり良好な結果を与える。詳
細には、閉塞されるデータが４０％または５０％で、問
題がより困難になるに連れて、我々の方法の成績の低下
は、複数の無作為開始点を用いる反復解法の場合よりか
なり遅い。強度画像への線形表面の適合においては、そ
の問題は無作為開始点を用いた場合にはかなり困難であ
ると考えられるものであるにも関わらず、我々の方法は
ほぼ完全な結果を与える。

【０１３２】第２に、反復による向上を行わずに、我々
の基本的方法によって良好な結果が得られる場合がある
ことがわかる。動きの場合、点の２０〜３０％が閉塞さ
れている場合、我々の方法は、グラウンドトルースにお
ける誤差の約２倍の誤差で解を与える。強度実験の場
合、我々の方法は、グラウンドトルースの場合よりわず
か３０％高い平均誤差で解を与える。これらの数字は、
我々の方法が、反復による向上を行わずに、良好な近似
解を与え得ることを示している。しかしながら、動きに
おける閉塞量が増えると、我々の解の質はかなり低下し
得ることは留意すべき点である。

【０１３３】第３に、かなりの量のデータ欠陥がある場
合、動き問題は非常に困難なものとなり得ることがわか
る。我々の方法であっても、データの半分が欠落してい
る場合の９０％よりわずかに高い最良解を与えるのみで
ある。動き問題の困難さは、欠陥データの数だけでな
く、特定の閉塞パターンや動きの大きさおよびフレーム
の数によっても決まるものである。しかしながら、我々
の実験は妥当な流れに基づいたものであると考えられ、
動きがさらに少なく閉塞がさらに大きいというさらに困
難な動き状況は興味深いものと考えられる。従って我々
のシミュレーションは、予備的なものではあるが、非常
に高い確率で最適解が望まれる場合、対象とする現実の
問題は、既存のアルゴリズムに対して困難な問題を提示
するものであることを示している。

【０１３４】欠陥要素を有するデータ行列の線形適合
が、最近のいくつかのアルゴリズムの中心的問題であ
る。我々は、反復解法の開始点として特に有用な、この
問題を解決する新規な方法を提供するものである。さら
に我々の実験では、一部の現実の設定では、この問題は
容易ではなく、反復解法が良好な開始点を持たずに不正
確な結果を与える場合が非常に多いことが示されてい
る。

【０１３５】以上、本発明の好ましい実施態様および実
施例と考えられるものについて説明したが、当然のこと
ながら、形式や詳細において各種の修正および変更を本
発明の精神から逸脱することなく容易に行うことができ
ることは明らかである。従って本発明は、以上説明した
通りの形のものに限定されるものではなく、添付の特許
請求の範囲内にあると考えられる全ての変更を含む構成
のものであるべきである。

【０１３６】

【発明の効果】本発明は以上説明したように構成されて
いるので、以下に記載するような効果を奏する。

【０１３７】欠陥要素を持つ行列に対して低階数行列を
適合させることができノイズがない場合には、正確な答
えを正しく与えるか、あるいは悪化している場合はそれ
によって回答が得られないことを示すことができる。

【０１３８】従って、いくつかの欠陥要素を有するデー
タ行列に低階数行列を適合させることで、より信頼性が
高く一般的な解を得ることができ、動きから構造のアル
ゴリズムで、一部の画像で見ることができない追跡場面
点を用いることができ、場面が部分的にしか照明されて
いない多くの画像から場面の強度を構築することができ
る効果がある。

【図面の簡単な説明】

【図１】実際の動きシーケンスの１フレームを示してあ
る。

【図２】（ａ），（ｂ）は、２つの比較法による、５つ
の解法の平均誤差を示してある。各点は、１００回の試
験で平均した、データと３階数適合との間の誤差の２乗
の合計を示してある。平均誤差を、ある点が入っている
フレームの平均部分ｆに対してプロットしてある。適合
と比較するデータが相対的に少ないことから、誤差を
（１−ｆ）で割ることで、誤差低減の合計を補正する。
（ａ）のプロットの対数目盛のプロットには、４つの解
法を示してある。（ｂ）では、誤差がかなり少ない均等
目盛法でプロットしている。比較のため、両方のプロッ
トでＧＴ−ＩＴを示している。

【図３】最適な利用可能解に収斂する反復法の回数の割
合を示している。

【図４】１００回の平均での、欠陥データを有する強度
画像に３階数行列に適合させる実験で得られた平均残留
誤差を示したものである。

【図５】反復法が強度画像についての最適利用可能解に
収斂する頻度を示したものである。

【図６】（ａ），（ｂ）のそれぞれは図２（ａ），
（ｂ）に示したような実際の動きシーケンスについての
平均誤差を示したものである。

【図７】最適な利用可能解に収斂する反復法の回数の割
合を示している。

【図８】本発明の方法を実行する装置を示したものであ
る。

【図９】本発明の別の方法を実行する別の装置を示した
ものである。

【符号の説明】

８００ 装置 ８１０ 固定場面 ８２０ カメラ ８３０ 確認・追跡手段 ８４０ 計算手段 ９００ 装置 ９１０ 点光源

Claims (16)

【特許請求の範囲】
1. 【請求項１】 不完全なデータを提供するビデオシーケ
   ンスから完全な場面構造を形成する方法において、 （ａ） （i）移動するカメラを用いて固定場面の画像シーケン
   スを得て、 （ii）そのシーケンスから点素性を確認・追跡し、 （iii）該点素性の座標を用いて、一部の素性が一部の
   画像で存在しない一部の欠陥要素を有する第１の行列を
   構築して、ビデオシーケンスから点位置からなる第１の
   行列を構築する段階と、 （ｂ） （i）第１の行列から列トリプルを選択し、 （ii）その零空間から第２の行列を得て、 （iii）第２の行列の３つの最小の成分を得て、近似解
   を構築する段階と、 （ｃ）その３つの最小成分に反復アルゴリズムを適用し
   て第３の行列の構築および推定の向上を行う段階と、 （ｄ）第３の行列を分解して完全な場面構造を求める段
   階と、を有してなる方法。
2. 【請求項２】 前記第１の行列が下記式で与えられる請
   求項１記載の方法。 【数１】 ［式中、 【数２】 は全ての追跡画像点を含む単一の行列であり、 【数３】 の各列には、単一の点の全ての画像座標がある。Ｘ_i,j
   は、i番目の画像におけるｊ番目の雑音性像点のＸ座標
   であり、Ｙ_i,jはi番目の画像におけるｊ番目の画像点の
   Ｙ座標である。］
3. 【請求項３】 列トリプルが無作為に選択される請求項
   １記載の方法。
4. 【請求項４】 第２の行列が下記式で与えられる請求項
   １記載の方法。 Ｎ＝［Ｎ₁Ｎ₂…Ｎ_l］ ［式中、Ｓ_iは列のi番目のトリプルによって囲まれる線
   形空間であり、Ｎ_iはＳ_iの零空間を表しており、従って
   Ｎ_iの各列は、空間Ｓ_iに対して直交するベクトルを表
   す。］
5. 【請求項５】 反復アルゴリズムが下記式で与えられる
   請求項１記載の方法。 【数４】 ［式中、Ｔ_iは、カメラの動きを表す行列Ｔの反復iでの
   推定値であり、Ｐ_iは、場面構造を表す行列の反復iでの
   推定値であり、Ｐ_i ⁺はＰ_iの擬逆行列であり、 【数５】 は全ての追跡画像点を含む単一の行列であり、 【数６】 の各列には、単一の点の全ての画像座標がある。Ｘ_i,j
   は、i番目の画像におけるｊ番目の雑音性像点のＸ座標
   であり、Ｙ_i,jはi番目の画像におけるｊ番目の画像点の
   Ｙ座標であって、 【数７】 、ＴおよびＰについての一連の推定値が得られ、 【数８】 −Ｑの大きさは非増加的である。］
6. 【請求項６】 近似解を構築する段階が、 （ａ）列の完全に占有された亜矩形の零空間を計算し
   て、列トリプルの零空間を与え、その亜矩形が実質的に
   縮重している場合に零空間を無視する小段階と、 （ｂ）何らかの所定の一定因数だけ、第１の行列より零
   空間が大きくなるまで列トリプルを選択し、第２の行列
   が所定の閾値より小さい第４の最小特異値を持つ場合に
   は全ての結果を信頼性のないものと判定する小段階と、 （ｃ）データの部分集合について正確な推定値が得られ
   る場合には、反復最小自乗法によって第２の行列を発見
   的に拡張する小段階と、を有してなる請求項１記載の方
   法。
7. 【請求項７】 不完全なデータを提供するビデオシーケ
   ンスから完全な場面構造を形成する方法において、 （ａ） （i）独立の複数の点光源で、固定場面の一連の画像を
   得て、 （ii）付影または反射のために信頼性のないデータを提
   供する各画像の点を確認し、 （iii）データの信頼性のない欠陥要素を用いて、強度
   値の第１の行列を構築して、複数の画像から強度値から
   なる第１の行列を構築する段階と、 （ｂ） （i）第１の行列から列トリプルを選択し、 （ii）その零空間から第２の行列を得て、 （iii）第２の行列の３つの最小の成分を得て、 近似解を構築する段階と、 （ｃ）その３つの最小成分に反復アルゴリズムを適用し
   て第３の行列の構築および推定の向上を行う段階と、 （ｄ）第３の行列を分解して完全な場面構造を求める段
   階と、を有してなる方法。
8. 【請求項８】 第１の行列が下記式で表される請求項７
   記載の方法。 【数９】 ［式中、 【数１０】 はｊ番目の列が各画像のｊ番目の画素の強度を与えるデ
   ータ行列であり、Ｅは感知誤差の行列であり、Ｈはi番
   目の行がi番目の画像のｈベクトルである照明行列であ
   り、ｈはその強度によってスケールを決定される点光源
   の３次元ベクトルであり、Ｎはｊ番目の列がｐ_jｎ_jであ
   る場面行列であって、ｐ_jは表面アルベドであり、ｎ_jは
   ３次元面状部分の表面法線である。］
9. 【請求項９】 列トリプルが無作為に選択される請求項
   ７記載の方法。
10. 【請求項１０】 第２の行列が下記式で与えられる請求
    項７記載の方法。 Ｎ＝［Ｎ_１Ｎ_２…Ｎ_ｌ］ ［式中、Ｓ_iは列のi番目のトリプルによって囲まれる線
    形空間であり、Ｎ_iはＳ_iの零空間を表しており、従って
    Ｎ_iの各列は、空間Ｓ_iに対して直交するベクトルを表
    す。］
11. 【請求項１１】 反復アルゴリズムが下記式で与えられ
    る請求項７記載の方法。 【数１１】 ［式中、Ｔ_iは、照明を表す行列Ｔの反復iでの推定値で
    あり、Ｐ_iは、場面点での表面法線を表す行列の反復iで
    の推定値であり、Ｐ_i ⁺はＰ_iの擬逆行列であり、 【数１２】 は全ての追跡画像点を含む単一の行列であり、 【数１３】 の各列には、単一の点の全ての画像座標がある。Ｘ_i,j
    は、i番目の画像におけるｊ番目の雑音性像点のＸ座標
    であり、Ｙ_i,jはi番目の画像におけるｊ番目の画像点の
    Ｙ座標であって、 【数１４】 、ＴおよびＰについての一連の推定値が得られ、 【数１５】 −Ｑの大きさは非増加的である。］
12. 【請求項１２】 近似解を構築する段階が、 （ａ）列の完全に占有された亜矩形の零空間を計算し
    て、列トリプルの零空間を与え、その亜矩形が実質的に
    縮重している場合に零空間を無視する小段階と、 （ｂ）何らかの所定の一定因数だけ、第１の行列より零
    空間が大きくなるまで列トリプルを選択し、第２の行列
    が所定の閾値より小さい第４の最小特異値を持つ場合に
    は全ての結果を信頼性のないものと判定する小段階と、 （ｃ）データの部分集合について正確な推定値が得られ
    る場合には、反復最小自乗法によって第２の行列を発見
    的に拡張する小段階と、を有してなる請求項７記載の方
    法。
13. 【請求項１３】 不完全なデータを与えるビデオシーケ
    ンスから完全な場面構造を与える装置において、 固定場面の画像シーケンスを得るためのカメラと、 そのシーケンスから点素性を確認・追跡する手段と、 動きシーケンスから点位置からなる第１の行列を構築
    し、一部の素性が一部の画像で存在しない素性の座標を
    用いて一部の欠陥要素を有する第１の行列を構築し、
    １）第１の行列から列トリプルを選択する段階、２）そ
    の零空間から第２の行列を得る段階、３）第２の行列の
    ３つの最小の成分を得る段階、４）その３つの最小成分
    に反復アルゴリズムを適用して第３の行列の構築および
    推定の向上を行う段階、５）第３の行列を分解して完全
    な場面構造を求める段階を有する近似解の構築を行う計
    算手段を有する装置。
14. 【請求項１４】 計算手段がパーソナルコンピュータで
    ある請求項１３記載の装置。
15. 【請求項１５】 不完全データを提供するビデオシーケ
    ンスから完全な場面構造を得る装置において、 固定場面の一連の画像を得るための複数の異なる点光源
    と、ならびに複数の画像からの強度値からなる第１の行
    列を構築し、付影または反射のために信頼性のないデー
    タを提供する各画像中の点を確認し、データの信頼性が
    ない欠陥データを有する強度値の第１の行列を構築し、
    １）第１の行列から列トリプルを選択する段階、２）そ
    の零空間から第２の行列を得る段階、３）第２の行列の
    ３つの最小の成分を得る段階、４）その３つの最小成分
    に反復アルゴリズムを適用して第３の行列の構築および
    推定の向上を行う段階、５）第３の行列を分解して完全
    な場面構造を求める段階を有する近似解の構築を行う計
    算手段と、を有してなる装置。
16. 【請求項１６】 計算手段がパーソナルコンピュータで
    ある請求項１５記載の装置。