JPH11502335A

JPH11502335A - 動体の奥行きモデル化と奥行き情報を提供する装置およびその方法

Info

Publication number: JPH11502335A
Application number: JP8528099A
Authority: JP
Inventors: ハラルドアーガァードマルテン; ヤンオットーレベルク
Original assignee: イーデーテーインテルナツィオナールディギタールテクノロギースドイッチュラントゲーエムベーハー
Priority date: 1995-03-22
Filing date: 1996-03-22
Publication date: 1999-02-23
Also published as: ZA962306B; US6252974B1; EP0815538A1; AU6726596A; KR19980702922A; WO1996029678A1

Abstract

(57)【要約】奥行き情報は直接得られないが、オクルージョン情報は導出できる場合の、信号ストリーム中の動く対象物の奥行きを間接的に評価または決定し、モデル化する装置とその方法。このために、（１）認識点を選択し特徴づける段階と、（２）各フレームの各点が可視点か隠されているかを検証し、オクルージョンリストに、オクルージョンの各観測がリストの一行に対応し各点がリストの一列に対応し、隠された点は小さな値を有し、他を隠す点は大きな値を有し、その他の点は不明点として記録されるようにオクルージョンデータを収集する段階と、（３）スコアベクトルと呼ばれる列ベクトルとローディングベクトルと呼ばれる行ベクトルと、ファクタと呼ばれる各フレームの値を有するスコアベクトルと各点の値を有するローディングベクトルを集め、オクルージョンリストに主成分分析を行う段階と、（４）対応点の奥行き情報として、最初のファクタの各ローディングベクトル要素の数値を、カメラまたは観測者に近い場合は大きな数値を、離れた場合は小さな数値を出力する段階とからなる、少なくとも二つのフレームからなる画像シーケンスの奥行きを推定する方法。

Description

【発明の詳細な説明】動体の奥行きモデル化と奥行き情報を提供する装置およびその方法発明の分野本発明は、直接には奥行き情報が得られないが、オクルージョン（隠れ）情報が導出できるような信号ストリーム中において、動体の奥行きの間接的な定量評価や決定およびモデル化を行うための装置およびその方法に関する。このようなデータの例としては、一次元あるいは二次元カメラで取ったデジタルビデオ信号がある。発明の背景レーダのような計測器と違ってビデオカメラは観測している対象物までの距離や奥行きを直接得ることはできない。水平、垂直方向の位置あるいは動きだけが直接観測できるのみである。光学的に密な物体が互いに前後して動くとき、結果として隠された物体からの信号のロスとしてオクルージョンが観測される。しかし、画像のモデル化や圧縮法にとっては、奥行きについて簡潔な描写を得ることは重要である。ここで奥行きは、カメラあるいは観測者からの視点と結ぶ線上の距離で定義される。奥行き情報は、物体を対象とした画像の圧縮システムにおいて最も必要とされ、一つの利用法として、重なった対象物を効率的に取り扱う方法がある。符号器は、奥行き情報を対象物の補正のための映像成分を割り当てるために用い、復号器は、重なった場合に最前の対象物だけが表示されるように、この奥行き情報を用いることができる。このような奥行きモデリングは、順序的あるいは定性的奥行きモデリングと呼ぶことができるであろう。奥行きが重要となる他の画像モデル化システムとしては、例えば、移動する飛行機により異なる位置から撮った地勢写真を基に自動的に地図を作成する自動地図生成システムがある。この方法では、立体記録図法の理論に基づき、それぞれの地勢に対する奥行き、高さや数値モデルが計算される。地勢の中に険しい山があるときは、一連の画像の幾つかのフレームにオクルージョンが生じる。そのようなオクルージョンは既存の幾つかの方法に対し問題を提起するかもしれないが、本発明によるシステムにおいては、情報源となる。このような奥行きモデリングは、定量的奥行きモデリングと呼ぶことができる。その他の画像モデル化システムの例としては、コンベヤベルトに隣接して設置されたカメラとロボットアームからなる廃物区分システムを考えてみる。近赤外領域で動作する数種のカメラは異なったタイプの物質、例えばプラスティックなどを認識するのに優れており、そのような分析から得られた結果は、コンベヤベルトから物を掴み出し区分貯蔵容器に投棄するロボットアームを制御するのに用いることができる。ここで重要なのは、ロボットアームは一部でも他の物と重なっていない対象物を掴もうとすることである。本発明によりカメラ画像の分析を行えば、奥行きグラフが得られ、どの対象物が他を遮蔽するかの情報が得られる。このような奥行きモデリングは、奥行きグラフモデリングと呼ぶことができる。さらに別の画像モデル化システムの例としては、自動車自動操縦用画像システムが考えられる。他の車や周りの地形と互いに遮ることが起きる。どの対象物が遮蔽し合うかだけでなく、それらの速さ、加速、また近い将来どのように遮蔽し合うかを知ることは興味深い。本発明によるそのような情報は、一つの空間部と時間部からなるbilinear（共一次内挿）モデルによって要約される。ある画像モデル化技術においては、奥行き寸法の時間変化を決定し、表現できることは有利である。現在の画像コーデック（符号器／復号器）システムは、奥行き寸法の時間変化について系統的に十分記述できない。本発明は、オクルージョン、すなわちどの点や領域がどのフレームから現れるかについての情報にのみ依存し、場面の「理解」を必要とするような奥行きについての手掛かりは不要である。そのような手掛かりとは、例えば、（カメラや観測者から）青く見える山はしばしば緑に見える山より遠いとか、水平線に近い対象物は水平線から離れた対象物より遠いとか、小さく見える顔は大きく見える顔より遠いとか、静止している物より速く動く物の方がたいてい近いとか、あるいはカメラのピントが合っている物といない物とでは奥行きが異なるなどである。また、本発明は、立体視や視差などの手段を必要としない。しかしながら、そのような情報が得られれば推定をさらに確かなものとするために用いることはできる。従って本発明の目的は、一般的には空間的に分離された信号（入力信号）から、より詳細には一次元、二次元カメラの画像データから、信号順序的な、あるいは定性的奥行き情報を導出する装置およびその方法を提供するものである。また、奥行き方向の時間的、空間的不一致を検出し、これらの不一致を分析し簡潔にモデル化することも本発明の目的である。さらに他の目的として、画像の異なる部分から定量的な奥行き情報を生成し、どんな形にでも出力することである。さらに、フレーム中の異なる部分の奥行きがどのように時間と共に変化するかの定量的な情報を生成し、どんな形にでも出力することを目的とする。さらに、奥行き情報を簡潔なモデル表現で表すことを目的とする。さらに、この簡潔なモデル表現を基に時間的・空間的な内挿および外挿を可能にすることを目的とする。さらに、「真の」奥行きを求めることなく、一連のフレームが上手く復号あるいは再構成されるようにシーケンスの詳細まで十分定量的に見積もることを目的とする。さらに、名目的・順序的な計測レベルでの定性的なオクルージョンデータを、比や差の計測レベルでの奥行き予測に変換することを目的とする。発明の概要奥行き分析は二つの主要な段階によってなされる。第一に、多数の簡単な局所オクルージョンを検出、記述する。第二に、これらのオクルージョンはロバスト（robust）分析とともに一般の奥行きモデルを導出するために分析される。この局所オクルージョンは、画像のどの部分を隠したり、あるいは隠されたりといった情報を与える、将来位置サーチ、逆方向動き推定、仮説テストや他の方法によって見出される。専門家に良く知られた技術、例えばロバスト多変量モデリング、ロバスト位相幾何（トポロジー）分類やそれらの組み合わせにより、オクルージョンを連結的に分析することができる。多変量モデリングは、奥行きオーダを変えるのにより適しており、画像の幾何学的データを利用することもできる。一方、位相幾何分類は多くの応用に有用な奥行きグラフを生成し、多変量モデリングの一つのステップとして用いることができる。この連結分析では、予備的な奥行きモデルを見つけ、局所オクルージョン間の不一致を検出する。次にこの情報は、局所オクルージョン分析を繰り返すために局所オクルージョン検知器に戻される。新たに奥行きモデルが作られ、このプロセスは収束するまで繰り返される。その結果得られる奥行きモデルには四つの型がある。第一は、関与した画像部分についての順序的な奥行きオーダであり、第二はそれらの定量的な奥行きである。第三は、少数の空間的奥行き変化パターンを表す「ローディング(loading) 」と呼ばれる空間部分と、フレーム中の各空間的奥行き変化パターンが幾つ有るかを表す「スコア(score)」と呼ばれる時間部分とからなる bilinearモデルである。第四は、画像のどの部分が他の部分を隠すかを示すオクルージョン・グラフ（または、「奥行きグラフ」）である。この四つのタイプは連結され、特に、定量的奥行きとオクルージョン・グラフの結合が得られる。多変量奥行きモデルは空間的・時間的パラメータを有しており、画面要素の奥行きやオクルージョンの起きる時点あるいはオクルージョン情報の得られない時点について予測することができる。これらの内挿・外挿は局所的な時間的・空間的滑らかさの仮定に基づいており、有益な距離情報を与える。もし観測している場面の対象物の奥行きが互いに変化したり回転した場合、局所オクルージョン・パターンに系統的な変化を生じる。多変量奥行きモデルは、そのような系統的奥行き変化によってもモデルの複雑さの増大は適度である。もし画像平面内の可視部分の動きについて信頼できる推定が得られれば、これは奥行きモデリングを安定化・補強するために利用できるし、また奥行きの推定あるいは画像平面に垂直な動きについての推定も同様である。このモデリングのアプローチは柔軟性を有するため、未知の画像シーケンスの自動分析に適している。図面の簡単な説明図１は、本発明の二つの主要な機能、すなわち局所オクルージョン検出器と大局奥行きモデル生成器についての概要を示す図である。図２は、一つの対象物が他の対象物の後ろを動く単純な場合の一次元（１Ｄ）カメラのデータを示す図である。図３は、どのように時間的モデリングが取り込まれるかを説明する図である。図４は、図３のデータに従って結果をプロットした図である。図５は、２因子の bilinear 奥行きモデルで最も良くモデル化される、一次元カメラによる回転体の動きパターンの例を示す図である。図６ａないしｆは、画像の幾何学的データが如何に奥行きモデルを向上させるか、より定量的なデータを与えるかを示す図。またこれらの図は、この方法が入力データの些細な誤りに対し強いことを示している。図７は、図６から得られた結果をプロットした図である。図８は、本発明を単一の点の代わりに対象物に応用し、対象物が重なる領域からオクルージョン・マトリックスを収集する原理を説明する図である。図９は、３つ以上の対象物が重なった場合に、どのようにオクルージョン情報を収集するかを説明する図である。図１０は、本方法において、オクルージョン領域の代わりにイノベーション領域にどのように応用するかを説明する図である。図１１は、オクルージョンマトリクスをあり得るループを有するグラフとしてどのように見なすか、如何にこれらをループのないグラフにするか、グラフが奥行き順序、一対の奥行き関係に変換されたときどのように結果が見えるかを説明する図である。図１２は、オクルージョン・マトリクスの予測を説明する図である。第一の実施例図１は、局所オクルージョン検出器１１０、大局奥行きモデル生成器１２０、オクルージョン予測器１４０、奥行きモデル１３０を含む奥行きモデラ１００からなる本発明の第一の実施例の概観である。局所オクルージョン検出器１１０は画像入力１５０を受け、画像入力のフレームを局所オクルージョン・パターンに分析し、大局奥行きモデル生成器１２０は局所オクルージョン・パターン情報を結合し奥行きモデル１３０を生成する。この奥行きモデル１３０に基づき推定奥行き１６０が出力される。この奥行きモデル１３０はまた、オクルージョン予測器１４０においてオクルージョンを予測するために用いられる。その結果は、奥行き予測１９０として出力される。この予測は局所オクルージョン検出器１１０の動作を向上するためにフィードバックされる。復号（フレームの再構成）のための奥行きモデラ１００からの出力の利用法は、ＷＯ９５／３４１２７に説明されており、ここに文献として含める。局所オクルージョン検出器１１０と大局奥行きモデル生成器１２０の連携動作について図２を参照して説明する。後述においては、平面上のカメラで得られるような単純な一次元（１Ｄ）の場合について本発明を図説する。しかしこの分野の専門家であれば、この方法を直接２次元（２Ｄ）カメラ・データの場合に一般化できることがわかるであろうし、幾つかの点でどのように２次元データに応用するか、明白な説明も為される。図２の最も左の列２０５は、真の奥行きを含む点の配置を示している。図２のそれぞれの行は、一つの画像フレームに対応する一つのオクルージョン観測結果に対応する。対象物ａｂ２１０は２つの認識点、ａ２１４とｂ２１６を有し、対象物ｃｄ２１２は２つの認識点、ｃ２１８とｄ２２０を有する。この認識点を有する対象物を上方から見た場合を前方のカメラ位置２２２と共に示してある。第二列２２５は、カメラ２２２が観測するものを図示している。第一フレームでは、二つの対象物２１０と２１２は共に完全に見ることができる。局所オクルージョン検出器１１０は特徴点検出器に基づいており、シーケンスの中に現れる特徴点のリストを保守し、それぞれの特徴点がいつ見えるかを検出するように動作する。特徴点は画像の認識できる部分であればどこでも良い。一つの可能性としては、角のような幾何学的原点を特徴点とすることであり、このことは,Ｓ．タボーン（S.Tabbone）による「ガウス演算子のラプラシアンを用いた角検出（"Corner Detection Using Laplacian of Gaussian Operator"）」（"Proceedings of Th e 8th Scandinavian Conference on Image Analysis",1993）に記述されており、ここに文献として挙げる。局所オクルージョン検出器１１０の機能は、次の疑似コードに要約される。 Initialize 特徴点リストを空白に（初期化する） For それぞれのフレームに（ついて）： Repeat フレーム中に新しい特徴点が見つかるまで（繰り返す） Search 特徴点に適合する特徴点リストへの登録を（探す） If （もし）適合がうまく行かない場合：特徴点リストへ算入する Mark このフレームについて特徴点が見つかった("Found")として（マークする） For それぞれのフレームについて： For 特徴点リスト中の特徴点について： Output 特徴点インデックスを（出力する） If（もし）このフレームについて特徴点が見つかった場合 Output "Found"を（出力する） else（さもなければ） Output "NotFound"を（出力する）この疑似コードにより、システムは特徴点に関するリストを構築する。それぞれの点は後で唯一に認識できるように特徴付けられなければならない。一つの方法は、大きさや方向のような特性を用いることである。第二の方法は、フレーム中の特徴点をリストの中から探すとき、リスト中の特徴点との一致を受けつける前に、他の特徴点に対し基準を満たすような位置付けができるような、他の特徴点との関連づけを含めることである。第三の方法は、その特徴点の周囲のレファレンスから集めた画素領域を保存することである。これらの三つの方法は結合することができる。このような特徴付けは特徴点リストの一部である。局所オクルージョン検出器１１０からの出力は従って、特徴点インデックスのリストであり、各特徴点には"Found"か"NotFound"といったラベルが付されている。この実施例では、見つからなかった特徴点は隠れているとみなされる。しかし、以下の二つの場合が考えられるであろう。第一点は、特徴点はフレーム中の対象物の変化によって Found から NotFound へ、あるいはその逆に変わり得ることである。例として顔のしわを考えてみる。最初しわが見えるとき、特徴点として集められる。次に、皮膚が伸びてしわが見えなくなったとしても、隠れているわけではない。そのような問題を解決する一つの方法は、通常オクルージョンは突然の出来事であるのに対し、しわを例とするような出現や消失は通常しばらくの間続くと仮定することである。従って、特徴点について確度の高い計算が可能である。特徴点が存在するときは高い値を、存在しないときは低い値を有し、推定値が突然しかもかなりの値変化するときにのみ、FoundまたはNotFoundを特徴点に付す。他の場合にはNeutralと付される。第二は、特徴点がフレーム外に移動する、あるいはフレーム内に入ってくる場合である。奥行き推定においては、特徴点が隠れて見えなくなるのと、カメラが向きを変えるため見えなくなるのとでは本質的に異なることである。これら二つの場合を識別するために、動き推定を用いる局所オクルージョン検出器１１０は実際に役立つ。そのような局所オクルージョン検出器について、このような応用の性質上問題にならないとの仮定の上で、以下に説明する。上記の疑似コードによれば、シーケンスは２度、フレームにわたり二つの異なるforループに従って通過する。他の可能性は、これらを二つに結合した場合で、新しい特徴点が見つかるか解析されるに応じて特徴点リストは増大または縮小する。大局奥行きモデル生成器１２０はそのような動的で更新されるデータ構造を扱えなければならないし、また局所オクルージョン検出器１１０はこのようなサイズの変化が大局奥行きモデル生成器１２０には見えないようフォーマットしなければならない。後者についての単純な方法は、一定の最大特徴点数をもつよう特徴点リストの大きさを前もって割り当てておき、所定の時間に定義されていない特徴点に対応する位置をゼロで埋めておくことである。代わりに見つからない値を用いることができるが、これについて以下に説明する。上記のタイプの表現は特殊なケースとして、Ｊ．Ｗ．Ａ．ワン（J.Y.A.Wang）とＥ．Ｈ．エーデルソン（E.H.Adelson）による「画像シーケンスのコーディングのためのレイヤ表現（Layered representation for image sequence coding）」（pp.221-224，IEEE ICASSP，vol.5，Minneapolis，Minnesota，1993）に述べられているような画像をレイヤ（layer）として表現する場合を含んでいる。ここに上記を文献として挙げる。この表現法においては、特徴点は認識可能な画素であり、特徴点リストはレイヤの集合である。本実施例では、局所オクルージョンデータは第三列２３５に記述されているように一フレームにつき一つオクルージョンリスト２３０に記載され保存される。オクルージョンリスト２３０は各点に対し一桁を有し、各フレームにおいて、各点はオクルージョンリスト２３０の対応する所に記載される。本実施例では、所定のフレーム中の可視点については＋１、不可視点については−１を記載する。第一フレームでは、全ての点は可視点なので、オクルージョンリスト２３０中には４つの＋１が現れる。Neutralと付された点は、０（ゼロ）が与えられる。＋１または−１という値の選び方は重要な問題ではない。使用する値は、状態を表示すべきであり、これに限らず多くの選択が可能である。例えば、統計的に確かな観測に対し大きな正または負の値を、不確かな観測に対しては小さな値を与えればよい。可視点について＋１、不可視点について−１とする選択は、後でわかるように、観測者に近い点については大きな正の値を与えるとする、奥行きの尺度を意味している。第二フレームで、第二行は対象物ａｂ２１４,２１６が部分的に対象物ｃｄ２１８，２２０の後方に移動し、点ｂ２１６はカメラから隠れた位置にあることを示している。その先のフレームについて第三行から第五行に、対応する局所オクルージョンデータと共に示している。オクルージョンリスト２３０が大局奥行きモデル生成器１２０の基礎である。第一の実施例では、大局奥行きモデル生成器は非中心主成分分析（Principal Co mponent Analysis:PCA）に基づく bilinear モデリングを用いて実行される。ＰＣＡは、マーテンとナエス（Marten & Naes）による「多変量較正(Multivariate Calibration)」（J．Wiley & Sons 社，Chichester UK）に述べられておりここに文献として挙げる。例で用いた全ての数値ＰＣＡ結果は、バリーＭ．ワイズ（Barry M．Wise）による「Matlabと用いるＰＬＳ道具箱(PLS Toolbox for use with Matlab)」（Eig envector technologies 社，4145Laurel Drive，West Richland，WA 99352 USA, 1994）の"mdpca"機能を用いて導出した。オクルージョンリスト２３０の中で示したデータのセットについては、全フレームの平均値は平均奥行き＝［０．２０．２１１］である。これが数フレームにわたる奥行きを見積もる最も単純な方法で、この簡単な場合には十分であろう。ここで奥行きは全てのフレームにおいて同じと仮定した。さらに柔軟な奥行き推定は、奥行きは全てのフレームにおいて必ずしも同じではないとする主成分分析によって得られる。第一の例において、一つの主成分を用いることによって主成分モデルはかなりよい一致が得られた。この主成分のうち「ローディング」２４０は空間的情報を、一方「スコア」は時間的情報を表している。各フレームについての値を有するスコアベクトルと各点についての値を有するローディングベクトルの集積したものを「ファクタ」と呼ぶ。点ａ，ｂ，ｃ，ｄについて、ファクタはそれぞれローディング［０．２７０．２７０．６５０．６５］を有し、奥行きに関し点ａとｂ、ｃとｄは同様であることを示しており、利用できるオクルージョンデータは点ａとｂの間、点ｃとｄの間の奥行きの違いについて何ら手掛かりを与えない。スコアにローディングを乗ずることにより、推定奥行きリストに示すように各フレームについての奥行きを見積もることができる。各フレームに関し、点ｃとｄの奥行き推定値は点ａとｂに比べ高く、点ｃとｄはカメラあるいは観測者に近いことを示している。必ずしも「真の」物理的奥行きとは同じではないが、それらの値は、カメラの観測と矛盾しない一連の奥行きを実際反映している。図３では、図２の例がより複雑になっており、対象物ａｂ３１０は横方向に動くだけではなく奥行き（カメラへの距離）も変化しており、あるフレームでは対象物ｃｄの後ろにあり、あるフレームではその前にある。また他のタイプの局所オクルージョン検出器１１０を仮定する。可視点か不可視点かを区別するだけでなく、図２の説明で述べているように、特徴点が隠されているとき局所オクルージョン検出器１１０はどの点が遮蔽しているのかを示すことができる。そのような局所オクルージョン検出器は動き推定を用いることにより作られる。一つの例は前述の”ワンとエーデルソン（Wang & Adelson）”でしているように、数フレームにわたって画像の領域を追跡することである。オクルージョンが生じたとき、時間的・空間的な外挿による動きの判断から最前の、または遮蔽する点は仮説テストによって見出され、他の点は隠される点のはずである。外挿した動きによって、ある点がカメラの視野外に移動すると推定されるときは、Neutral とマークされオクルージョンリスト中に不明値として表される。このような動き推定に基づいた局所オクルージョン検出器の他の例は、Ｄ．Ｐ．エリアスとＫ．Ｋ．パン（D.P.Elias and K.K.Pang）による「動き依存セグメンテーションのコヒーレント動きフィールド獲得法（Obtaining a Coherent Mot ion Field for Motion-Based Segmentation）」（Proceedings of Internationa l Picture Coding Symposium，1996，Melbourne，Australia）に示されている方法である。ここに上記を文献として挙げる。オクルージョンリスト中では他を隠す点を＋１、隠される点を−１で表し、オクルージョンに関与しない点は図３に疑問符（？）で示すように不明値として表される。図３において各フレームから推定される局所オクルージョンを第三列に記載してあり、オクルージョンリスト３３０はＡがＢの前に有ることを示す表示”Ａ＞Ｂ”で記載されるこれら局所オクルージョンを直接反映している。オクルージョン観測結果のそれぞれをオクルージョンリスト３３０の一つの行として表すこともできる。例えば第三フレームに関し、ｃ＞ａは［−１？１？］で、ｄ＞ｂを［？ −１？１］で表すことができる。この代わりに、フレーム中のオクルージョンを一つに結合してｃ＞ａとｄ＞ｂをオクルージョンリスト３３０に一つの記載、すなわち［−１ −１１１］で表す。オクルージョン観測結果のそれぞれを一つの行でと表すことは、得られるオクルージョンデータをより直接的にオクルージョンリストに表せるので、通常、より良い結果をもたらすという利点がある。フレーム中のオクルージョンを一行に表すことはフレームと bilinear モデルとの関係を単純にする利点がある。説明を単純にするために後者の方法にのみ図説する。全てのフレームにわたりオクルージョンの平均をとることは、奥行き推定にとって意味のあることではない。主成分を計算するために用いる方法は、不明な値を含む入力データを扱えなければならない。前述のバリーＭ．ワイズ（Barry M．Wise）による「Matlab と用いるＰＬＳ道具箱（PLS Toolbox for use with Matlab）」（１９９４）のマニュアルに述べられている”ｍｄｐｃａ”という機能はこの能力を有する。不明な値を扱う一つの方法として以下の方法がある。不明な値にゼロの重み付けをした主成分モデルを計算し、そのモデルに最も合わない不明値を置き換えていく。次に新しい主成分モデルを計算し、このプロセスを不明データの推定値が収束するまで繰り返す。奥行きモデリングのみならず不明値推定は、観測した単純な局所オクルージョンデータと良好な一致を得られるよう可能な限り少ない bilinear ファクタを用いてなされる。bilinear モデルの大きさは標準的な方法、たとえば交差検定により決められる。最初と最後のフレームではスコアは記載されていないが、これは局所オクルージョンが得られないからである。これらのフレームにはどのような奥行き順序も許されることを意味するので、ある種の応用には有用である。その他のフレームにはスコアの変化はなく、シーケンスを通じて奥行きの変化がないことを示している。一つのファクタの bilinear モデルは単純なオクルージョン仮定に妥当な一致を与えることが分かっている。また［−０．５ −０．５０．５０．５］の値をもつローディング３４０は、ｃ点の奥行きがｄ点と区別がつかないのと同様にａ点の奥行きがｂ点と区別がつかないという特性を有している。しかしフレーム毎にスコアは変化しており、すなわちフレーム２，３，４ではスコアは−２、フレーム６，７ではスコアは＋２であり、奥行きが変化していることを示している。この例では時間的に系統的な変化が有ることを仮定している。すなわちオクルージョンの得られないフレームについては、近傍のフレームとの時間的な内挿、外挿が用いられることを意味している。これについて図４に示す。図２に説明した方法を用い図３に示したスコアをフレーム数の関数として丸印でプロットしてある。フレーム１，５，８については丸印は無い。これらのデータに基づき最小二乗回帰によりフレーム１，５，８についても求めた値を×印と直線で示す。図４に示す解析の結果は、図３での予測スコアの列に含められている。これらの予測スコアにローディング３４０を乗じることにより予測奥行き３５０が得られる。また物理的な奥行きには直接対応していないが得られた予測奥行きはカメラで観測したデータと矛盾しない。このようにこの例では奥行き変化は定量的にモデル化される。フレームの奥行き情報はオクルージョン情報が得られないとき、時間連続の仮定を用い予測される。最小二乗回帰の代わりに他の種類の時間的内挿、外挿が不明のスコア値を埋めるために用いることができたであろう。特に不明のスコアは、近傍のフレームのスコアの平均、メジアン、あるいは加重平均により置き換えることができる。その結果はその後、ローパスフィルタ、メジアンフィルタ、自己回帰移動平均（au to-regressive moving average:ARMA）フィルタ、区分多項式（スプライン）またはそれに類似のものによって処理することができる。図には示していないが、不明値を埋めることはまたローディングについても用いることができる。ローディング要素に不明値が観測されたときは対応する点にはオクルージョンが観測されていないことを示している。近傍の値を用いて要素を埋めることは多くの応用において妥当である。スコアについての前述の議論と同じ技術が走査線カメラの応用に用いられる。２次元画像を撮る通常のカメラの場合は、例えば近傍の加重合計によって埋められる。ある場合には唯一つのファクタによる主成分分析表示は奥行きの変化を表示するには十分ではない。このことを剛体が回転している場合について図５に示す。図５の第１列から３列にオクルージョンデータを示す。一つのファクタの bilin ear モデルでは、これらのデータと適切な一致はしなかったが、二つのファクタのモデルでは一致し、従ってモデルには２次元モデルを選択した。各フレームの二つのファクタについてのスコアを８列、９列に示す。また最下段の２行は点ａ，ｂ，ｃに対応するローディングを示す。スコアに二つのファクタの各々のローディングを乗じ、その積の和をとることにより１０列から１２列に示す、点ａ，ｂ，ｃに推定奥行きデータが得られる。オクルージョン情報の観測されない点については中間的奥行き（０）として推定する。この図は複数の bilinear 動きモデルが回転による奥行き変化を扱えることを示している。複数のファクタをモデルに導入することにより、級数展開近似法としての特質を有する bilinear モデルは、非剛体の動きのようなさらに複雑な奥行き変化のモデル化にも用いることができる。これは既に前述したとおりである。ただ最終結果の人間の解釈に違いがあるかもしれない。したがって非剛体やさらに複雑な奥行き変化のモデル化についてはここでは説明しない。オクルージョン以外のデータを奥行きモデルを向上するために用いることができる。奥行き方向に垂直な動きの推定を単純な局所オクルージョンデータとともに解析した実施例を図６ａからｆに示す。図６ａにおいて、１つの輪がカメラの方を向いて形成されている。その輪上に８個の認識可能な点（輪の周辺に互いに４５度ずつ離れて位置する点ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ及びｈ）がある。それらのオクルージョンパターンは各点の間を４５度づつ回転して、７つの位置で（単純に）経時的に観測される。図６ｂは各フレームにおいてどの点が見えるかを示す。図６ｃは補助情報で拡張したオクルージョンリストを示す。この例では水平方向の動きは得られる補助情報を表している。簡単のためにより普通のピンホールカメラモデルに対し、映写型カメラモデルを仮定した。輪の半径を任意に１００に設定し、図６ｃの最も右の部分は各フレームの各点の水平位置を表している。可視点の水平位置を図６ｃの９列から１６列に示している。これらの水平位置データは、暗に輪の回転に応じた水平方向の動きを反映している。図６ａと矛盾するデータが図６ｃに含まれていることに注意すべきである。フレーム３で見えているはずの点ｄがこのフレームで不可視とマークされており、フレーム７で見えていないはずの点ｅがこのフレームで可視とマークされている。また、点ａの水平位置が１００ではなく、５０となっている。局所オクルージョン検出器のこのような典型的な誤りは、このシステムが入力データ中の適度の誤りやノイズに対しシステムが強いことを示すために挿入したものである。図５における回転体との類推から bilinear モデルの２因子を選んだ。ローディングを図６ｄに、スコアを図６ｅに奥行きの再構成を与えるローディングとスコアの積を図６ｆに示す。定性的オクルージョンデータと定量的な補助水平位置データは多変量奥行きモデル生成器においてモデル化される。水平位置データが多変量全最小二乗（結合主成分）モデルにうまく作用させるために、データは１００分の１に縮小されている。この代わりにＰＬＳ２回帰（前述の Marten & Naes,1989 による）も用いることができるであろう。図７は図６ｆの右側の予測水平位置に対して図６ｆ左側をプロットした、フレーム１に関する予測奥行きを示したものである。かなり円形の定量的予測奥行きを示している。入力奥行き情報が単に定性的オクルージョンデータと水平位置データとからなるにもかかわらず、この結果が得られたことに注意すべきである。またオクルージョンリストにエラーが含まれることを仮定していたことにも注意すべきである。結果として、オクルージョンデータのノイズや不適切を補償するため、または定量的な奥行き予測の精度を上げるため、適切な補助情報が得られる場合には奥行きモデルに取り込むことがある。この方法は直接二次元カメラの場合に拡張できる。その一つの方法は局所的動き、オクルージョン分析を一次元のかわりに二次元で行うことである。その結果得られるリストは図６ｃのようなベクトルとして表され、図６ｃの右側のように水平位置のデータでのオクルージョンリストの増大だけではなく、垂直位置データによっても増大させることができる。主成分分析の他の方法も本発明で用いることができる。結合主成分分析の代わりに他の因子分析法、例えば同様な反復不明値推定によるＰＬＳ２などを用いることができる。ＰＬＳ２回帰は「多変量較正（Multivariate Calibration）」（ H.Marten & T.Naes，J．Wiley & Sons社，1991）１４６−１６５頁に述べられている。他の文献としては、「非線形多変量分析(Nonlinear multivariate analysis)」（８章,A．Gifi，J．Wiley & Sons 社，Chichester UK，1990）がある。 bilinearモデリングにおいて不明値を扱う他の方法は、Ａ.ギフィ(A.Gifi)による「非線形多変量分析(Nonlinear multivariate analysis)」（J．Wiley & So ns 社，Chichester UK）の２．４、３、４、８章、リンゴース，Ｊ．Ｃ．、ロスカム，Ｅ．Ｅ．、ボルグ，Ｉ（Lingoes,J.C.,Roskam E.E．and Borg,I.）による「関連データの幾何学的表現(Geometric representations of relational dat a )」（Mat hesis Press,Ann Arbor,Michigan USA,1979）、マーテンとナエス（Marten & Naes：前述）１５８頁の文献に述べられている。bilinearモデリングの最適スケーリングについては前述のＡ．ギフィ（A.Gifi,1990）、リンゴース等（Lingoes,et al.,1979）、およびヤングＦ．Ｗ．,タカネＹ．,デリューＪ．による「混合測定レベル多変量データの主成分：最適スケーリング特性を有する反復最小二乗法（The prncipal components of mixed measurement level multivariate data: An alternating least squares method with optim al scaling features）」（Young，F.W.，Takane,Y.and De Leeuw,J.,1979，Psy chometrika 43(2)）の２７９−２８１頁に述べられている。少し異なる技術としてはタカネＹ．,ヤングＦ．Ｗ．による「非計量共通因子分析：最適スケーリング特性を有する反復最小二乗法（Nonmetric common factor analysis: An alternating least squares method with optimal scaling features）」（ Takane,Y.,Young，F.W.,1979，Behavio rmetrica 6）４５−５６頁に述べられている。これらの方法はすべて、本発明の範囲から考えたとき、奥行き順序を記述するファクタをもたらすという同じ機能を有しているので、以下では主成分分析あるいはＰＣＡと一括して呼ぶ。奥行きモデル生成器からの奥行きあるいはオクルージョン情報は照合や向上のために局所オクルージョン検出器にフィードバックされる。それによりオクルージョンの誤った解釈を減ずることができる。例えばあるフレームｎの場合、フレーム１，２，．．．，ｎ−１に基づきオクルージョンが予測された位置の近くにオクルージョンは期待される。したがって予測されたオクルージョンの近くのオクルージョン情報が不確かな場合はオクルージョンが存在すると解釈され、かなり離れた所でのオクルージョン情報が不確かな場合はオクルージョンは存在しないと解釈される。第二の実施例第一の実施例では本発明によるシステムは、個々の画像点についての応用として説明した。第一の実施例の方法は、それぞれが「点」として扱える画素あるいは他の基本的なものからなる画像対象物についても応用できる。しかし、個々の対象物の個々の画素についての奥行き値を必要とする場合と違い、個々の対象物に唯一つの奥行き値を必要とする場合では、必要な計算上の手順は、多数の画素に比べ少数の対象物に大部分の操作を施すことにより極めて単純化される。シーケンス中の画像を分割する方法は幾つかある。一つの方法は前述の Wang & Adelson の文献中に記載されている。レイヤ（Layer）と呼ばれる対象物は、一つあるいは複数のフレームから集めた画素値の集合とそれぞれの画素がどれくらい透明かを示す、いわゆるアルファ・マップにより定義される。個々のフレーム、個々の対象物について、所定のフレームの、所定の対象物の画素を再構成するためアルファ・マップの非ゼロ部分の画素がどのように動いたかを示すアフィン変換を計算する。対象物に対し「堅固な」アフィン変換モデルを仮定し、ロバストな動き推定と回帰法を用いるので、幾つかのフレームで対象物の間に重なりが生じた場合でも動き推定が可能である。第二の実施例における本発明の原理の例を図８を参照して以下に説明する。４つのフレーム８１０，８１５，８２０，８２５からなる原シーケンスを入力とする。３つの対象物８１１，８１２，８１３が最終的に８２６，８２７，８２８と深く重なるまで互いに移動する。以下では、簡単のため３つの対象物の背景は考慮しないが、他の対象物と同じようにこの例の中では取り扱う。この例では、対象物は重なり始める前に中間的な位置８１６，８１７，８１８を有し、十分な動き推定とセグメントについての情報が得られる。すなわち最適なシステムは対象物をうまく区分できることを意味している。抽出した対象物は分離した画像８３１，８３２，８３３として表される。これら抽出した対象物画像の強度は、フレームの内の一つから直接取ったものか、前述の Wang & Adels on の文献にあるように数フレームについて平均またはメジアンフィルタリングのようなロバスト操作により得られた結果の場合がある。あるいはＷＯ９５／０８２４０に記載のような多重ファクタモデルによって表されるものかもしれない。対象物の可視部分の動き推定は、たとえば前述の Wang & Adelson の文献にあるロバストな方法により実行することができる。この推定に基づき、シルエット８４１，８４２，８４３，８４６，８４７，８４８，８５１，８５２，８５３，８６１，８６２，８６３が再構成される。このような再構成をするに際して、動き推定や参照シルエットに応じて対象物の強度を動かさなければならない。画像を動かす方法については、文献として「デジタル画像ワーピング（Digital Im age Warping）」（第３版G.Wolberg，IEEE Computer Society Press,1994）がある。これらのシルエットが重なる領域８５４，８５５，８５６，８６４，８６５，８６６が計算される。原フレーム８１０，８１５，８２０，８２５の対応部の強度が、これら重なり領域に対応する抽出対象物８３１，８３２，８３３の部分の強度と比較される。対象物は参照位置において比較される。すなわちそれぞれの対象物について重なり領域に対応する原画像の部分は対象物の参照位置に戻され、例えば絶対値の差や二乗値の差の和または他の類似の計量値をその画素にわたって計算することにより強度を比較する。あるいは対象物はフレーム位置において比較される。すなわち対象物は動き推定を用いて再構成され、強度の差は原フレームと再構成フレームとの差として計算される。対象物ＡとＢが動いて重なったとき、ＡがＢの前にあると仮定したとき、重なり領域におけるＡと原像の差は残差（residual）として見える。同様にＢがＡの前にあると仮定したときは、重なり領域におけるＢと原像の差が残差として見える。表記「Ｒｅｓ_A>B」はＡがＢの前にあるとしたときの残差を表し、「Ｒｅｓ_B>A 」はＢがＡの前にあるとしたときの残差を表す。ここで、そのような残差を要約するのに２つの方法が与えられる。残差を要約する第一の方法は、第一の実施例を点の代わりに対象物に直接当てはめることである。この場合オクルージョンリスト８７０は各対象物に対し一列を有することになる。ＡとＢの重なり領域に関し、オクルージョンリストは最も小さい残差については＋１が、最も大きな残差については−１が登録され、それら残差の違いに応じて重み付けを計算する。この重み付けは直接残差の違いの場合もあるし、最小または最大の残差に対する相対値あるいは、Ｆ検定または類似の統計的確率値かもしれない。全ての対象物についての奥行き順序を推定するプロセスは、点の代わりに対象物を考えること、例えばインシデンス（incidence）マトリクスの各列が対象物に当たる、を除けば第一の実施例と同じである。残差を要約する第二の方法は、トポロジーに基づく分類である。グラフ上で一つの対象物は一つのノード（節：node）として表される。確率ＰでＡがＢの前にあるという仮定は、ＡからＢへ対応する強度Ｐをもったエッジ（稜線：edge）として表される。この構造は、例えば「線形代数入門（Introduction to linear algebra）」（G.Strang,pp.339-348， Wellesley-Cambridge Press,1993）で定義されているようなインシデンス（incidence）マトリクスとして表される。図１１ａからｅは、様々な重なりがどのように奥行きグラフに表されるかを説明する図である。この例では背景は考慮されていないが、３つの対象物に当てはめられた原理は背景についても応用できる。図１１ａは、２つの対象物Ａ１１１１とＢ１１１２がフレーム１１１０では重なっていないことを示している。奥行きグラフ１１１５は独立した唯２つのノード１１１６，１１１７からなっている。多くの応用にとってこれは価値のある情報である。例えば画像復号器では、重なりにＺバッファ法のようなプロセスを用いることなしに、独立して復号できる。図１１ｂは２つの対象物Ａ１１２１、Ｂ１１１２がフレーム１１２０で重なる基本的な場合について示している。これらは一カ所で重なり、ＡはＢの前（Ａ＞Ｂ）にある。奥行きグラフ１１２６は対象物Ａ１１２５が対象物Ｂ１１２７の前にあることを示す。図１１ｃはフレーム１１３０において、一つの対象物Ａ１１３１が対象物Ｂ１１３２を隠し、さらにそれが第三の対象物Ｃ１１３３を隠している。Ａ１１３１は間接的にＣ１１３３を隠しており、それは奥行きグラフ１１３６において、Ａ１１３５からＣ１１３８へ直接のエッジ（矢印）がないことに反映されている。図１１ｄは、図１１ｃのような間接の重なりと直接の重なりの組み合わせの場合を示している。図１１ｅは、３つの対象物Ａ１１５１、Ｂ１１５２、Ｃ１１５３が特定の奥行き順序ではなく重なった場合を示す。これは奥行きグラフ１１５６がループになっていることで示される。多くの実際のシーケンスでは、得られたオクルージョンが物理的に「正しい」重なりの場合もあるし、カメラのノイズや不完全な動き推定、または他の誤りの場合もある。前もってどのオクルージョンが「正しい」か、どれが「誤り」かを知ることはできない。多くの実際例では「誤り」のオクルージョンは奥行き順序、奥行きグラフでのループに矛盾を生じる傾向がある。一方でこのような誤りの重なりに対応するオクルージョンは正しいオクルージョンに比べ、時間的に系統的でない、または画素が少ない、強度差が弱いなどの傾向をしばしば有する。したがってオクルージョンについて得られる、すべてのデータを収集することが有利であり、矛盾のない奥行き順序を得るためにどのオクルージョンを無視するか見つけなければならない。図１１ｆは４つの対象物を有するフレーム１１６０を示す。対象物Ｂ１１６２が対象物Ａ１１６１とＤ１１６４を隠し、Ａ１１６１とＤ１１６４はさらにＣ１１６３を隠している。これは奥行き順序Ｂ＞Ａ＞Ｄ＞Ｃ、Ｂ＞Ｄ＞Ａ＞Ｃの両者と矛盾しない。ＡとＤの独立は図１１ａで説明したのと同じ理由で重要であるが、最前のＢ１１６２のＡ１１６１およびＣ１１６３への影響は考慮されなければならない。トポロジカルな分類は全体の順序、この場合では奥行き順序、と矛盾しない部分的順序、すなわちオクルージョンを見つけることである。このようなトポロジカルな分類はＵＮＩＸのオペレーティング・システムの中に「ｔｓｏｒｔ」というプログラムとして備えられている。「ｔｓｏｒｔ」はＵＮＩＸ版ソラリス２．４（UNIX-version Solaris 2.4）のマンページ（man-page）に記述されている。「ｔｓｏｒｔ」のような基本的なトポロジカル分類システムは、入力データにループ（tsort の man-page では「サイクル（cycle）」と呼ばれる）があるときは動作しない。入力データ中のループは、カメラのノイズや他のデータ誤りにより生ずる。このデータ誤りは、一連のフレーム・シーケンスにわたるオクルージョンの蓄積や、動き推定あるいは他の局所オクルージョン検出の部分についての最適下限の結果、または実際に相互に隠し合う対象物によって引き起こされる。どんな場合でも多くの応用にとって、このようなループは解決されなければならない。一つの実施例としては、オクルージョングラフの中の弱い強度のエッジを、ループのないグラフが得られるまで取り除くことである。ループの除去とトポロジカル分類の組み合わせはロバスト・トポロジカル分類と呼ばれる。一つの実施例として、ループの除去は以下の疑似コードによりなされる。 While ループがグラフ中に見つかる（間） Find 最も弱い強度のエッジを（見つける） Set そのエッジの強度をゼロに（設定する）ループをグラフ中に見つけるのは、幅第一（width-first）検索や連結（conne ctivity）マトリクスの累乗のような標準的な方法により行える。エッジの除去はエッジ強度に閾値を設けることである。前記の疑似コードによりエッジを除去する前、間または後で、ある閾値より強度の小さいものはゼロとすることである。一つのフレームに対し、このようなグラフを表すインシデンス・マトリクスが一つ与えられる。あるいは数フレームのインシデンス・マトリクスは、単純にインシデンス・マトリクスを連鎖することによりまとめられる。互いに隠し合う対象物の組み合わせが幾つかあるときは、強度が残差に比例するように表されている場合は強度の和をとることにより、また確率として表されている場合は掛け合わせることによりインシデンス・マトリクスの一行に結合できる。オクルージョンデータのループが他のサブシステムからのノイズや間違った結果から生じたとき、またこれらの効果によって「正しい」オクルージョンより不確かなオクルージョンが現れるときは、上記のプロセスはノイズを取り除く効果がある。ループがシーケンス中で奥行き順序が変化することや互いに隠し合う対象物により生じた場合は、上記のプロセスは可能な限り穏やかにループを破る効果がある。シーケンスの間、奥行き順序は変化してもよいが、どのフレームにおいてもループがあってはならない応用においては、ループの除去はフレーム毎に行われる。以下の例を考えてみる。シーケンス・エンコーダがシーケンスを解析し奥行き順序の変化があったときには、多重ファクタの bilinear モデルによってのみ、良好にモデル化される。オクルージョンの確かさの閾値として小さな値を用い、ループを除去するため上記の方法を用い、意味のないオクルージョンのみがプロセス中で無視される。概して、このことは bilinear 奥行きモデルにおいて必要なファクタの数を減ずることになる。次にbilinearモデルはデコーダに伝達される。グラフ中のゼロでないエッジは奥行きグラフを表している。それらはインシデンス・グラフ、リスト、他の適切なフォーマットで出力される。上記の２つの対象物の重なり領域についての、オクルージョンマトリクス情報を生じさせる、残差の計算原理は、さらに多数の対象物の場合に拡張できる。図８に３つの対象物を含む場合について示してある。さらに詳細を、図９ａから図９ｃに示す。３つの対象物９１０，９１２，９１４が重なり、それらの再構成シルエット９２０，９２２，９２４が領域９２８で一致している。図９ｃは、３つの対象物Ａ９１０，９２０、Ｂ９１２，９２２、Ｃ９１４，９２４が図９ａ、９ｂに示すように重なった領域における、一つの画素位置９２８の値を示している。強度スケール９３０上に、それぞれ所定の画素位置で対象物をデコードし再構成した画素値Ａ９３１，Ｂ９３２，Ｃ９３３を、原画像フレーム対応する画素の強度９３６と共に示してある。再構成した画素値、例えば画素Ａ９３１、はまた不確かさを有し、上限値９３４と下限値９３５が仮定されている。この不確かさは多くの原因から推定することができる。それは熱雑音のようなカメラの特性によるものかもしれないし、デジタイズ、ストア、圧縮や他のプロセスに必要な量子化に起因する画像システムの他の制限によるものかもしれない。その前のフレームの対象物や画素の位置の統計的な場合もある。あるいは、動き推定やセグメント化と共に、奥行き推定をその一部とするプロセスにおける緩和パラメータ（relaxation parameter）によって定義できるし、第一に主で確かな情報に次に詳細な点に集中するために奥行き推定にモジュール内で緩和パラメータを用いる。図９ｃの例において、元々の画素値９３６はＣの再構成画素値の不確定限度９３４，９３５の中にあり、Ｂ９３２とＣ９３３の不確定限度の外にある。再構成画素値Ｃが与えられた値と一致するが、ＡとＢは一致しない。Ａ、Ｂ、Ｃはフレーム中の同じ画素位置に対応するので、この観測は見える画素はＣの一部であることを支持しており、さらにＣはＡとＢの前面にあることを意味している。しかしこれは、ＢとＡの順序についてはほとんど情報がないことに注意すべきである。この例についての結論はＣ＞Ａかつ（ａｎｄ）Ｃ＞Ｂと、前述の違いに基づく対応する強度である。したがってＲｅｓ_C>A、Ｒｅｓ_C>B、Ｒｅｓ_A>CかつＲｅｓ_B>Cがオクルージョンリストを更新するのに用いることができる。図９ｄの例において、画素値９４０は２つの対象物ＡとＢの不確定値の中にあり、Ｃの不確定値の外にある。したがってこの画素は、ＡかＢまたは両者はＣの前面にある、すなわちＡ＞Ｃまたは（ｏｒ）Ｂ＞Ｃである。この実施例では、この「または（ｏｒ）」の関係は、ＲｅＳ_A>C、Ｒｅｓ_C>A、Ｒｅｓ_B>CかつＲｅｓ_C _>B がオクリュージョンリストを更新するのに用いることができるという点で、前節の「かつ（ａｎｄ）」の関係と同じように取り扱うことができる。図９ｅは、観測された画素強度９５０が対象物の全ての許される範囲の外にある場合である。この場合、オクルージョンについての結論は得られない。上記のプロセスは次の疑似コードに要約される。 For 重なり領域のそれぞれの画素位置（について）： For 重なりに関連するそれぞれの対象物（について） Reconstruct 画素に対応する画素値を、範囲を示す矢印とともに（再構成する） If （もし）観測した画素が矢印の範囲に適合した場合： Mark 対象物を「許容された」（"Allowed"）として（マークする） else（さもなければ） Mark 「許容されない」（"NotAllowed"）として（マークする） For 許容された対象物（について）： For 許容されない対象物（について）： Accumulate 観測した値と再構成した画素値の差に応じてオクルージョンマトリクス中にＲｅｓＡｌｌｏｗｅｄ＞ＮｏｔＡｌｌｏｗｅｄを（蓄積する）この方法は、画素のそれぞれが許容されるか、されないかというかなり難しい、イエスかノーかの判断を採っている。多くの応用にとっては、画素数は非常に大きく全出力は動きも連続的にみえるので、この方法は十分である。不確定さを許容されるか、されないかの閾値として用いるより、違った種類の許容性を生ずるものとして用いることができる。図９ｃでは観測画素値９３６は再構成画素値９３１に非常に近いので、この画素は非常に１に近い許容性を有していることを意味しているであろう。図９ｅでは観測画素値９５０はゼロの許容性を有し、図９ｄの観測画素値９４０中間的な値を有する。オクルージョン・マトリクスに蓄積される前に、残差はこの許容性と掛けられる。これはファジー論理タイプに該当する。前述ではオクルージョンは奥行き情報源として用いられた。イノベーション（ innovation）はオクルージョンと同じ現象として見えるので、したがってこれまでの全ての原理は直接応用できる。時間の方向が重要な応用として図１０を用い説明する。３つのフレーム１００１，１００２，１００３は最初互いに重なり合う３つの対象物１００５，１００６，１００７を含むが、それらは次に離れて新たなイノベーション（innovation ）と呼ばれる領域が見えてくる。第一のフレーム基づき対象物への分割がなされ、オクルージョンのため不完全な観測対象物１０１５，１０１６，１０１７に分割されたと仮定する。これらはフレームを通じて追跡でき、初期の位置１０３０，１０３１，１０３２，１０３５，１０３６，１０３７を有する。再構成１０２１，１０２２，１０２３において包含されない原フレーム１００１，１００２，１００３の一部分は、観測対象物１０１５，１０１６，１０１７として割り当てられる。たとえばこれは以下の原理による： While シーケンス中でカバーされない画素を有するフレームがある（間は）： Select 参照フレームを（選ぶ）例えば、カバーされない画素を最も多く有するフレーム For 参照フレーム中のカバーされない画素のそれぞれ（について）： For 参照フレーム近い各対象物（について）： For シーケンスの他の各対象物（について）： Find 他のフレームのどの画素が参照フレームの画素に対応するか、対象物の動きを外挿して（見つける） Collect 平均、標準偏差など画素値の統計値を（集める） Assign 最も良い統計値、例えば最小の標準偏差を与える画素を対象物に（割り当てる）このプロセスにより対象物に割り当てたイノベーションは、オクルージョンを生じさせ、よって奥行きを推定するのに用いられる。これを行うために、各フレームの動き推定に基づき最終対象物のシルエットを再構成し、重なり領域１０６０，１０６１，１０６２，１０６５，１０６６を見つけ、図８で説明したような処理を行う。図１２に示すようにインシデンス・マトリクスは予測である。インシデンス・マトリクスがシーケンス中のあるフレーム、例えば図１２ａの最初の２フレーム１２１０，１２１５、について知られていれば、他の関連するフレームのインシデンス・マトリクスは、インシデンス・マトリクスの分かっている２つのフレームの間にある場合は線形内挿により、インシデンス・マトリクスの分かっているフレームに引き続く場合は外挿により作ることができる。この一例を図１２ｂに示す。まずオクルージョンリストの中から、幾つかのフレームの結果と矛盾しないような共通の構造を選ぶ。この共通のオクルージョンリスト１２３０のオクルージョンのセットは第一行にＡ＞Ｂ、第二行にＡ＞Ｃ、第三行にＢ＞Ｃが登録されている。この例では、オクルージョンの重みを計算するため残差が用いられている、すなわち重み前述の残差に基づいている。最初のフレーム１２１０，１２１５の重み１２３５，１２４０は次のフレームの重みを予測、内挿または外挿するために用いられる。したがってこれらは矛盾を見つけ解決するための基礎となる。図１２ｃは等価なデータ構造を示す。オクルージョンリストの代わりに各対象物に一列、観測毎またはオクルージョンパターンの要約に対し一行を有する。オクルージョンマトリクス１２５０は各対象物に一行一列を当てている。オクルージョンマトリクス中の位置ｉ，ｊにおける値ｘは対象物ｉが対象物ｊを強度ｘで隠していることを示し、ここでの強度とは前述のように重み、残差の違い、確率、確度などである。一つのオクルージョンマトリクス１２６０は他のオクルージョンマトリクス１２５０，１２５５の対応する要素から予測することができる。図１２ｂまたは１２ｃによる予測は多変量技術を用いて行える。図１２ｂの重み１２３５,１２４０はbilinearモデルによりモデル化され、各フレームに一連のスコアがあり、これらのスコアは予測でき、スコアにローディングを掛けることにより重みが予測される。この方法は図１２ｃで概観したように、bilinearモデリングと再構成がマトリクスにフォーマットされる前に行ベクトルに強度がフォーマットされなければならない点を除き、オクルージョンマトリクスの場合と同じである。その他の bilinear モデリングと矛盾解決の組み合わせは以下の通りである。エンコーダは幾つかのフレームに対応するインシデンス・マトリクスを集めることができる。これらのマトリクスは、ある２つの対象物の間のオクルージョンがいつも同じ位置に起きるよう調整される。次にこれらのマトリクスの bilinear モデリングが可能になり、時間的スコアと空間的ローディングが得られる。各フレームについて bilinear モデルに矛盾があってもよい。このbilinearモデルはエンコーダからデコーダに伝達される。スコアとローディングを掛けることにより見つかった、各フレームについての再構成オクルージョンリスト中の矛盾はデコーダ側で個々のフレームに対し解消される。本発明について特に実施例を参照し説明したが、当業者であれば容易に、本発明の趣旨と範囲から逸脱せずに形式や詳細を様々に変えうることができる。したがって「複数（plurality）」という表現は、「一つまたはそれ以上の（one or more）」の意味で解釈されてもよい。

【手続補正書】特許法第１８４条の８第１項【提出日】１９９７年５月２３日【補正内容】補正書の翻訳文請求の範囲１．少なくとも二つのフレームからなる画像シーケンスの奥行きを推定する方法において認識点がフレームを通して引き続き、その認識点に基づくオクルージョン情報が、奥行きのバイリニア（bilinear）モデルを作るために用いられ、バイリニアモデルがスコア（score）マトリクスとローディング（loading）マトリクスからなり、スコアマトリクスがスコアベクトルと呼ばれる列ベクトルからなり、ローディングマトリクスがローディングベクトルと呼ばれる行ベクトルからなり、各フレームの値を有するスコアベクトルと各点の値を有するローディングベクトルの集合はファクタと呼ばれ、各フレームの奥行きがすべてのファクタからの寄与を加えることにより再構成され、各ファクタの寄与がフレームとファクタに対応するスコア値とファクタに対応するローディングベクトルの積であることを特徴とする方法。２．（１）認識点を選択し特徴づける段階と、（２）各フレームの各点が可視点か隠されているかを検証し、オクルージョンリストに、各フレームがリストの一行に対応し各点がリストの一列に対応し、可視点に対応するリスト中の要素は大きな値を有し隠された点は小さな値を有するようにオクルージョンデータを収集し、（３）オクルージョンリストにバイリニアモデリングを実行する段階と、（４）対応点の奥行き情報として、最初のファクタの各ローディングベクトル要素の数値を、カメラまたは観測者に近い場合は大きな数値を、離れた場合は小さな数値を出力する段階と、からなることを特徴とする請求項１に記載の方法。３．（１）認識点を選択し特徴づける段階と、（２）各フレームの各点が可視点か隠されているかを検証し、オクルージョンリストに、オクルージョンの各観測がリストの一行に対応し各点がリストの一列に対応し、隠された点は小さな値を有し、他を隠す点は大きな値を有し、その他の点は不明点として記録されるようにオクルージョンデータを収集し、（３）不明値を取り扱うことのできる方法を用い、オクルージョンリストにバイリニアモデリングを実行する段階と、（４）対応点の奥行き情報として、最初のファクタの各ローディングベクトル要素の数値を、カメラまたは観測者に近い場合は大きな数値を、離れた場合は小さな数値を、何らかの奥行きを示す場合は不明値を出力する段階と、からなることを特徴とする請求項１に記載の方法。４．各点について、画像の各座標の次元について一つの列を有し、その列が各フレーム中の点の座標を含むことを特徴とする請求項１から３に記載の方法。５．画像シーケンスが、少なくとも三つのフレームからなり、１以上でシーケンス中のフレームの数以下の、適切な数のファクタが選ばれ、スコアおよびローディングマトリクスの前記の適切なファクタ数に対応する部分のみが奥行きの推定をするために用いられることを特徴とする請求項１から４に記載の方法。６．（１）−（３）選択されたフレームを除き、シーケンスの各フレームについて請求項２から５の内のどれか一つの（１）−（３）を実行する段階と、さらに（４）他のフレームに対応するスコアに基づき、選択したフレームに対応するスコアを内挿または外挿する段階と、（５）前記段階（４）により内挿または外挿したスコアに得られているローディングベクトルを掛け、それにより前記フレームのオクルージョンデータを予測し、各点に対応する予測したオクルージョンデータの要素が、前記フレームの点の奥行きを表す段階と、からなることを特徴とする、少なくとも３つのフレームからなる画像シーケンスの一部で、選択されたフレームの奥行きを予測する方法。７．認識点の代わりに、映像を対象物として用いたことを特徴とする請求項１から６に記載の方法。８．映像対象物の点の奥行きが請求項１から６のどれかにより推定され、かつ映像対象物内の点の奥行き値に基づき対象物の代表奥行き値を計算することにより映像対象物の奥行きを得ることを特徴とする、少なくとも２つのフレームからなるシーケンスの映像対象物の奥行きを推定する方法。９．（１）認識点を定義し特徴づける段階と、（２）各フレームの各対象物の動きを推定する段階と、（３）第一の対象物Ａと第二の対象物Ｂがフレーム中で重なるように動くとき、対象物Ａはそのフレームに関し再構成され、再構成したものと元のものとの差を表すインジケータを計算し、その結果をオクルージョンマトリクスの位置（Ａ，Ｂ）に蓄積し、次に対象物Ｂはそのフレームに関し再構成され、再構成したものと元のものとの差を表すインジケータを計算し、その結果をオクルージョンマトリクスの位置（Ｂ，Ａ）に蓄積し、各対象物に一つの行と一つの列を有するオクルージョンマトリクスにオクルージョンデータを統合する段階と、（４）各対象物がノード（node）に変換され、オクルージョンマトリクスのゼロでない要素が、要素の行に関連するノードから要素の列に関連するノードへ向かい、オクルージョンマトリクスの値をその強度とするエッジに変換されるようなグラフにオクルージョンマトリクスを変換する段階と、（５）最も強度の弱いエッジが取り除かれ、グラフ中に残っているエッジがシーケンス中の対象物間の奥行き依存性を表すように、グラフ中のループを検出し解明する段階と、からなることを特徴とする、少なくとも２つのフレームからなるシーケンスの奥行き依存性を推定する方法。１０．請求項９の（３）段階において、オクルージョンマトリクスの要素（Ａ，Ｂ）および（Ｂ，Ａ）が対象物Ａ、Ｂの重なりのあるフレームから重なりのないフレームへ戻る動き推定から計算され、（Ａ，Ｂ）および（Ｂ，Ａ）に蓄積されるその値が、重なり領域の動き推定が重なりのないフレームの対象物ＡまたはＢを向いているかどうかに依存することを特徴とする請求項９に記載の方法。１１．少なくとも三つのフレームからなるシーケンスのうち、ある一つのフレームの奥行き依存性を予測する方法において（１）前記フレームを除く各フレームに、請求項９の（３）段階によりオクルージョンマトリクスを計算する段階と、（２）望むフレームについて、オクルージョンマトリクスの個々の要素を、内挿または外挿により予測する段階と、（３）請求項９の（４）−（５）段階を用いて、グラフ中に残っているエッジが前記フレーム中の対象物の奥行き依存性を表すように、予測オクルージョンマトリクスに基づき奥行き依存性を計算する段階とからなることを特徴とする方法。１２．（１）各フレームの認識可能な対象物点を定義し特徴づける段階と、（２）各フレームの各対象物の動きを推定する段階と、（３）各フレームについて、再構成フレームを空白に初期化することにより再構成し、すべての対象物について、推定した動きに応じて各対象物の強度を動かし、前記再構成フレームの結果を収集する段階と、（４）段階（３）の再構成により扱われなかったフレームの部分に段階（１）の対象物のあるものを割り当てる段階と、（５）段階（４）で割り当てられた部分について、請求項１から３および８のどれかにより奥行きを推定する段階とからなることを特徴とする、少なくとも２つのフレームからなるシーケンスの奥行き依存性を推定する方法。１３．ループの検出および解明が、請求項９または１０のどちらかにより推定した奥行き順序に基づくことを特徴とする請求項１１あるいは１２に記載の方法。１４．（１）認識点を選択し特徴づける手段と、（２）各フレームの各点が可視点か隠されているかを検証し、オクルージョンリストに、各フレームがリストの一行に対応し各点がリストの一列に対応し、可視点に対応するリスト中の要素が大きな値を有し隠された点は小さな値を有するようにオクルージョンデータを収集する手段と、（３）結果としてスコアベクトルと呼ばれる列ベクトルからなるスコアマトリクスと、ローディングベクトルと呼ばれる行ベクトルからなるローディングマトリクスと、ファクタと呼ばれる各フレームの値を有するスコアベクトルと各点の値を有するローディングベクトルの集合とを生じ、オクルージョンリストの一行は全てのファクタからの寄与を加えることにより再構成または近似でき、各ファクタの寄与がフレームとファクタに対応するスコア値とファクタに対応するローディングベクトルの積であるような、オクルージョンリストにバイリニアモデリングを実行する手段と、（４）対応点の奥行き情報として、最初のファクタの各ローディングベクトル要素の数値を、カメラまたは観測者に近い場合は大きな数値を、離れた場合は小さな数値を出力する手段と、からなることを特徴とする、少なくとも二つのフレームからなる画像シーケンスの奥行きを推定する装置。１５．請求項１から１３のいずれかの方法に従い用いるのに適した請求項１４に記載の装置。１６．フレームからなる画像シーケンスの奥行きを表すデータ構造において、前記フレームのそれぞれが空間パターンにおいて配列された複数のデータサンプルからなり、前記データ構造がデータプロセス・システムにより実行されるアプリケーション・プログラムが使えるように、前記データプロセス・システムのメモリ内にあり、前記データ構造が前記アプリケーション・プログラムが使うデータベース中にある情報からなり、（１）各ロード（load）の各要素が前記参照画像の一部に対応する奥行きローディングベクトルと呼ばれる、複数の空間変化パターンを有し、（２）各奥行きスコアベクトルが一つの奥行きローディングベクトルに対応し、前記スコアベクトルのそれぞれが各フレームに対応する一つの奥行きスコアを有する複数の奥行きスコアベクトルからなり、一つのフレームの前記画像各部の奥行き値が、前記フレームに対応する奥行きスコアに奥行きローディングベクトルを掛けることにより計算されることを特徴とするデータ構造。１７．フレームからなる画像シーケンスのオクルージョンの程度を表すデータ構造において、前記フレームが空間パターンにおいて配列された複数のデータサンプルからなり、前記データ構造がデータプロセス・システムにより実行されるアプリケーション・プログラムが使えるように、前記データプロセス・システムのメモリ内にあり、前記データ構造が前記アプリケーション・プログラムが使うデータベース中にある情報からなり、（１）各ロード（load）の各要素が前記参照画像の部分の一組み合わせに対応するオクルージョン・ローディングベクトルと呼ばれる、複数の変化パターンを有し、（２）各オクルージョン・スコアベクトルが一つのオクルージョン・ローディングベクトルに対応し、前記スコアベクトルのそれぞれが各フレームに対応する一つのオクルージョンスコアを有する複数のオクルージョン・スコアベクトルからなり、一つのフレームの前記参照画像部分の前記各組み合わせの間のオクルージョンの程度の近似が、前記フレームに対応するオクルージョンスコアにオクルージョンローディングベクトルを掛けることにより計算されることを特徴とするデータ構造。１８．請求項１６または１７のいずれかによるデータ構造からなることを特徴とするデータキャリア。１９．請求項１から１３のいずれかによる方法によって作られるデータ構造からなることを特徴とするデータキャリア。２０．請求項１６または１７のいずれかによるデータ構造を読むのに適した装置。２１．請求項１６または１７のいずれかによるデータ構造を伝達するのに適した装置。２２．請求項１から１３のいずれかによる方法によって作られる情報を含む信号をデコードするのに適した装置。２３．請求項１から１３のいずれかによる方法によって作られる情報を含む信号を伝達するのに適した装置。２４．請求項１６または１７のいずれかによるデータ構造を含むデータキャリアと読解装置からなることを特徴とするシステム。２５．請求項１６または１７のいずれかによるデータ構造を含むデータキャリアと伝達装置からなることを特徴とするシステム。２６．通信あるいはプロセシングのシステムにおいて、入力、ストア、アクセス、プロセシング、伝達、評価、表示または出力のために、請求項１６または１７のいずれかによるデータ構造の使用。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ (72)発明者レベルクヤンオットードイツ連邦共和国ウンターフェーニングデー−85774 フィシュテンシュトラーセ２【要約の続き】ンスの奥行きを推定する方法。

Claims

【特許請求の範囲】１．（１）認識点を選択し特徴づける段階と、（２）各フレームの各点が可視点か隠されているかを検証し、オクルージョンリストに、オクルージョンの各観測がリストの一行に対応し各点がリストの一列に対応し、隠された点は小さな値を有し、他を隠す点は大きな値を有し、その他の点は不明点として記録されるようにオクルージョンデータを収集する段階と、（３）スコアベクトルと呼ばれる列ベクトルとローディングベクトルと呼ばれる行ベクトルと、ファクタと呼ばれる各フレームの値を有するスコアベクトルと各点の値を有するローディングベクトルを集め、オクルージョンリストに主成分分析を行う段階と、（４）対応点の奥行き情報として、最初のファクタの各ローディングベクトル要素の数値を、カメラまたは観測者に近い場合は大きな数値を、離れた場合は小さな数値を出力する段階と、からなることを特徴とする、少なくとも二つのフレームからなる画像シーケンスの奥行きを推定する方法。２．（１）認識点を選択し特徴づける段階と、（２）各フレームの各点が可視点か隠されているかを検証し、オクルージョンリストに、オクルージョンの各観測がリストの一行に対応し各点がリストの一列に対応し、隠された点は小さな値を有し、隠す点は大きな値を有し、その他の点は不明値として記録される段階と、（３）スコアと呼ばれる列ベクトルとローディングと呼ばれる行ベクトルを生ずる、不明値を取り扱うことのできる方法を用い、主成分分析を実行する段階と（４）対応点の奥行き情報として、最初のファクタの各ローディングベクトル要素の数値を、カメラまたは観測者に近い場合は大きな数値を、離れた場合は小さな数値を、どのような奥行きでも持ちうる点には不明値を出力する段階と、からなることを特徴とする、少なくとも二つのフレームからなる画像シーケンスの奥行きを推定する方法。３．（１）認識点を選択し特徴づける段階と、（２）各フレームの各点が可視点か隠されているかを検証し、オクルージョンリストに、各フレームがリストの一行に対応し各点がリストの一群の列に対応し、各点についてオクルージョンを表す一列と画像の各座標次元に一列を有し、各フレームの各点に対し、可視点の場合は大きな値を不可視点の場合は小さな値を第一列の要素に与え、その他の各列の要素には、可視点の場合は列に対応する画像次元の点の画像座標に応じた値が与えられるか、不可視点の場合には不明値として記録される段階と、（３）スコアベクトルと呼ばれる列ベクトルとローディングベクトルと呼ばれる行ベクトルを生じ、各フレームの値を有するスコアベクトルと各点の値を有するローディングベクトルの集合はファクタと呼ばれ、最初のファクタのローディングベクトルが各点に対応する一群の値を有する、不明値を取り扱うことのできる方法を用い、主成分分析を実行する段階と、（４）対応点の奥行き情報として、その群の最初の数値を出力する段階と、からなることを特徴とする、少なくとも二つのフレームからなる画像シーケンスの奥行きを推定する方法。４．（１）−（３）請求項１，２，３のどれかの段階（１）−（３）からなる段階と、さらに（４）１以上でシーケンス中のフレームの数以下の、適切な数のファクタが選ぶ段階と、（５）各フレームに対し、フレームに対応するスコアに適切なファクタのローディングベクトルを掛け、それによりオクルージョンデータの再構成を得、各点について再構成したオクルージョンデータの対応する要素が、対応するフレームの点の奥行きを表わす段階と、からなることを特徴とする、少なくとも三つのフレームからなる画像シーケンスの奥行き変化をモデル化する方法。５．（１）−（３）奥行き予測を行うフレームを除き、シーケンスの各フレームについて請求項１，２，３の内のどれか一つの段階（１）−（３）、または請求項４の段階（１）−（４）を実行する段階と、さらに（４）他のフレームに対応するスコアに基づき、前記フレームに対応するスコアを内挿または外挿する段階と、（５）前記段階（４）により内挿または外挿したスコアに得られているローディングベクトルを掛け、それにより前記フレームのオクルージョンデータを予測し、各点に対応する予測したオクルージョンデータの要素が、前記フレームの点の奥行きを表す段階と、からなることを特徴とする、少なくとも３つのフレームからなる画像シーケンスの一部のフレームの奥行きを予測する方法。６．（１）認識点を定義し特徴づける段階と、（２）各フレームの各対象物が他を隠しているか隠されているかを検証し、オクルージョンリストに、オクルージョンの各観測がリストの一行に対応し各点がリストの一列に対応し、隠された対象物は小さな値を有し、他を隠す対象物は大きな値を有し、その他の対象物は不明値として記録されるようにオクルージョンデータを収集する段階と、（３）スコアベクトルと呼ばれる列ベクトルとローディングベクトルと呼ばれる行ベクトルと、ファクタと呼ばれる各フレームの値を有するスコアベクトルと各点の値を有するローディングベクトルを集め、不明値を取り扱うことのできる方法を用い、オクルージョンリストに主成分分析を行う段階と、（４）対応するフレームの奥行き情報として、最初のファクタの各ローディングベクトル要素の数値を、カメラまたは観測者に近い場合は大きな数値を、離れた場合は小さな数値を、どのような奥行きでも持ちうる対象物には不明値を出力する段階と、からなることを特徴とする、少なくとも二つのフレームからなる画像シーケンスの対象物の奥行きを推定する方法。７．（１）請求項１から５の内のどれか一つの段階（１）−（３）により点の奥行きを推定する段階と、（２）対象物内の前記各点の奥行き値に基づき対象物の奥行き代表値を見つける段階と、からなることを特徴とする、少なくとも二つのフレームからなるシーケンス内の対象物の奥行きを推定する方法。８．（１）認識対象物を定義し特徴づける段階と、（２）各フレームの各対象物の動きを推定する段階と、（３）第一の対象物Ａと第二の対象物Ｂがフレーム中で重なるように動くとき、対象物Ａはそのフレームに関し再構成され、再構成したものと元のものとの差を表すインジケータを計算し、その結果をオクルージョンマトリクスの位置（Ａ，Ｂ）に蓄積し、次に対象物Ｂはそのフレームに関し再構成され、再構成したものと元のものとの差を表すインジケータを計算し、その結果をオクルージョンマトリクスの位置（Ｂ，Ａ）に蓄積し、各対象物に一つの行と一つの列を有するオクルージョンマトリクスにオクルージョンデータを統合する段階と、（４）各対象物がノード（node）に変換され、オクルージョンマトリクスのゼロでない要素が、要素の行に関連するノードから要素の列に関連するノードへ向かい、オクルージョンマトリクスの値をその強度とするエッジに変換されるようなグラフにオクルージョンマトリクスを変換する段階と、（５）最も強度の弱いエッジが取り除かれ、グラフ中に残っているエッジがシーケンス中の対象物間の奥行き依存性を表すように、グラフ中のループを検出し解明する段階と、からなることを特徴とする、少なくとも２つのフレームからなるシーケンスの奥行き依存性を推定する方法。９．請求項８の（３）段階において、オクルージョンマトリクスの要素（Ａ，Ｂ）および（Ｂ，Ａ）が対象物Ａ、Ｂの重なりのあるフレームから重なりのないフレームへ戻る動き推定から計算され、（Ａ，Ｂ）および（Ｂ，Ａ）に蓄積されるその値が、重なり領域の動き推定が重なりのないフレームの対象物ＡまたはＢを向いているかどうかに依存することを特徴とする請求項８に記載の方法。１０．少なくとも三つのフレームからなるシーケンスのうち、ある一つのフレームの奥行き依存性を予測する方法において（１）前記フレームを除く各フレームに、請求項８の（３）段階によりオクルージョンマトリクスを計算する段階と、（２）望むフレームについて、オクルージョンマトリクスの個々の要素を、内挿または外挿により予測する段階と、（３）請求項８の（４）−（５）段階を用いて、グラフ中に残っているエッジが前記フレーム中の対象物の奥行き依存性を表すように、予測オクルージョンマトリクスに基づき奥行き依存性を計算する段階とからなることを特徴とする方法。１１．（１）各フレームの認識可能な対象物を定義し特徴づける段階と、（２）各フレームの各対象物の動きを推定する段階と、（３）各フレームについて、再構成フレームを空白に初期化することにより再構成し、すべての対象物について、推定した動きに応じて各対象物の強度を動かし、前記再構成フレームの結果を収集する段階と、（４）段階（３）の再構成により扱われなかったフレームの部分に段階（１）の対象物のあるものを割り当てる段階と、（５）段階（４）で割り当てられた部分について、請求項１から３、６および８のどれかにより奥行きを推定する段階と、からなることを特徴とする、少なくとも２つのフレームからなるシーケンスの奥行き依存性を推定する方法。１２．ループの検出および解明が、請求項８または９のどちらかにより推定した奥行き順序に基づくことを特徴とする請求項１０あるいは１１に記載の方法。１３．（１）認識点を選択し特徴づける手段と、（２）各フレームの各点が可視点か隠されているかを検証し、オクルージョンリストに、各フレームがリストの一行に対応し各点がリストの一列に対応し、可視点に対応するリスト中の要素が大きな値を有し隠された点は小さな値を有するようにオクルージョンデータを収集する手段と、（３）結果としてスコアベクトルと呼ばれる列ベクトルと、ローディングベクトルと呼ばれる行ベクトルと、ファクタと呼ばれる各フレームの値を有するスコアベクトルと各点の値を有するローディングベクトルの集合とを生ずるような、オクルージョンリストに主成分分析を実行する手段と、（４）対応点の奥行き情報として、最初のファクタの各ローディングベクトル要素の数値を、カメラまたは観測者に近い場合は大きな数値を、離れた場合は小さな数値を出力する手段と、からなることを特徴とする、少なくとも二つのフレームからなる画像シーケンスの奥行きを推定する装置。１４．請求項２から１２のいずれかの方法に従い用いるのに適した請求項１３に記載の装置。１５．フレームからなる画像シーケンスの奥行きを表すデータ構造において、前記フレームのそれぞれが空間パターンにおいて配列された複数のデータサンプルからなり、前記データ構造がデータプロセス・システムにより実行されるアプリケーション・プログラムが使えるように、前記データプロセス・システムのメモリ内にあり、前記データ構造が前記アプリケーション・プログラムが使うデータベース中にある情報からなり、（１）各ロード（load）の各要素が前記参照画像の一部に対応する奥行きローディングベクトルと呼ばれる、複数の空間変化パターンを有し、（２）各奥行きスコアベクトルが一つの奥行きローディングベクトルに対応し、前記スコアベクトルのそれぞれが各フレームに対応する一つの奥行きスコアを有する複数の奥行きスコアベクトルからなり、一つのフレームの前記画像各部の奥行き値が、前記フレームに対応する奥行きスコアに奥行きローディングベクトルを掛けることにより計算されることを特徴とするデータ構造。１６．フレームからなる画像シーケンスのオクルージョンの規則を表すデータ構造において、前記フレームが空間パターンにおいて配列された複数のデータサンプルからなり、前記データ構造がデータプロセス・システムにより実行されるアプリケーション・プログラムが使えるように、前記データプロセス・システムのメモリ内にあり、前記データ構造が前記アプリケーション・プログラムが使うデータベース中にある情報からなり、（１）各ロード（load）の各要素が前記参照画像の部分の一組み合わせに対応するオクルージョン・ローディングベクトルと呼ばれる、複数の変化パターンを有し、（２）各オクルージョン・スコアベクトルが一つのオクルージョン・ローディングベクトルに対応し、前記スコアベクトルのそれぞれが各フレームに対応する一つのオクルージョンスコアを有する複数のオクルージョン・スコアベクトルからなり、一つのフレームの前記参照画像部分の前記各組み合わせの間のオクルージョンの規則の近似が、前記フレームに対応するオクルージョンスコアにオクルージョンローディングベクトルを掛けることにより計算されることを特徴とするデータ構造。１７．請求項１５または１６のいずれかによるデータ構造からなることを特徴とするデータキャリア。１８．請求項２から１２のいずれかによる方法によって作られるデータ構造からなることを特徴とするデータキャリア。１９．請求項１５または１６のいずれかによるデータ構造を読むのに適した装置。２０．請求項１５または１６のいずれかによるデータ構造を伝達するのに適した装置。２１．請求項２から１２のいずれかによる方法によって作られる情報を含む信号をデコードするのに適した装置。２２．請求項２から１２のいずれかによる方法によって作られる情報を含む信号を伝達するのに適した装置。２３．請求項１５または１６のいずれかによるデータ構造を含むデータキャリアと読解装置からなることを特徴とするシステム。２４．請求項１５または１６のいずれかによるデータ構造を含むデータキャリアと伝達装置からなることを特徴とするシステム。２５．通信あるいはプロセシングのシステムにおいて、入力、ストア、アクセス、プロセシング、伝達、評価、表示または出力のために、請求項１５または１６のいずれかによるデータ構造の使用。