JP4679033B2 - 深度マップのメジアン値融合のためのシステムおよび方法 - Google Patents

Description

【０００１】
（関連出願の相互参照）
本特許出願は、本明細書に包含する２０００年６月２８日出願の合衆国予備出願Ｎｏ．６０／２１４７９１を基礎とし、およびその優先権を主張する。
（本発明の技術分野）
本発明は、概して動画シーケンスからグラフィックモデルを生成するためのシステムに関し、さらに詳細には、複数の較正済みのカメラの視点から画像の正確なグラフィック表現を構成するためのシステムに関する。
【０００２】
（背景情報）
コンピュータ支援画像は、コンピュータの処理およびデータ操作能力の補助により２つ以上のデジタル化された２次元の画像から、新たな２次元および３次元画像を端末スクリーン、またはグラフィック・ユーザー・インターフェースに表現する処理である。２次元（以後「２Ｄ」）画像からの３次元（以後「３Ｄ」）モデルの構成は、もともとは有限の数の２Ｄ画像によって表現された物体または景色のグラフィカル３Ｄモデルを処理の目標とする、例えばコンピュータ支援デザイン（以後「ＣＡＤ」）、３Ｄ通信販売およびバーチャルリアリティーシステムで使用される。コンピュータグラフィックスまたはコンピュータビジョンを使用することで、３Ｄモデルが構成されるもととなる２Ｄ画像は、物体又は景色の周りの異なる視点または位置から知覚された物体または景色を表現している。該画像は、物体または景色の周辺に配設した複数のカメラか、物体の写真または画像のビデオストリームを記録する、物体の周りを移動する単一のカメラから得られる。２Ｄ画像内の情報は、コンピュータベースのグラフィカル３Ｄモデルを合成するために結合および対比される。近年のコンピュータ処理能力およびデータ操作能力の進歩はコンピュータによる３Ｄモデリングを改善したが、これら３Ｄ構成システムは依然として、大きなコンピュータ処理能力、巨大なデータ記憶要求、および長い処理時間の需要により特徴づけられる。さらに、グラフィカル３Ｄモデルのような空間の体積表現は、３Ｄモデルと第２の３Ｄモデルとの結合または、新たな視点または投影中心からの空間知覚のような動的な変形に対応して容易に修正することができない。
【０００３】
通常、複数の視点またはカメラ位置からの３Ｄ画像を構成するには、まず、カメラで撮った画像が、画像によって表現された物体または景色を適切な３Ｄに再構成するために正確に結合されるように、カメラの較正が必要である。カメラまたはカメラ位置の較正は、画像を収集する各位置または視点でのカメラパラメータを獲得または計算する工程であり、そのようなパラメータにはカメラの焦点距離、画角、ポーズおよび方向などの情報が含まれる。較正情報が容易に利用できない場合、多数の較正アルゴリズムが較正情報を計算するために利用できる。あるいは、較正情報が欠けている場合、いくつかの画像再構成方法により、カメラまたは視点がある位置から他の位置へ移動するような場合のカメラ位置の較正を推定することができる。しかしながら、較正の推定では３Ｄグラフィカルモデル描写過程で付加的な変数を導入し、これが出力グラフィックを不正確にする原因となる。さらに、カメラの視点の較正には、カメラの動きおよび／または方向を事前に把握しておくことが必ず必要となるので、新たな位置へ較正された視点を外挿することにより３Ｄモデルの構成に利用できる視点または画像が限定される。
【０００４】
多重視点から物体のグラフィカル３Ｄモデルを再構成する現在の方法は、ステレオマッピングとして知られる、一度に物体の一対の画像を用いる処理であり、該処理では、物体の合成画像を生成するために２つの画像間の対応が計算される。しかしながら、物体の２つの視点のみから再生された形状情報は完全でもなく正確でもない。そのためにしばしば３Ｄモデルの形状を精緻化するためにさらなる視点からの画像を組み入れる必要がある。さらに、一部のグラフィカルシステム内では、画像または較正データにおいて既知の、または認知された誤りを調整するために、１つ以上の画像の重み付け、ワープ、および／または混合により、ステレオマップされた３Ｄモデルの形状を操作することが多い。しかしながら、そのような操作はマニュアル処理であり、合成画像の自動計算に限界があるだけでなく、重み付け、ワープ、および／または混合の適当なレベルを推定するときに誤差が導入される危険性がある。
【０００５】
物体または景色の新たな２Ｄ図および３Ｄモデルを描写するため、近年、深度マップ形式のグラフィカルな画像がステレオマッッピングに応用されている。深度マップは空間の表面を数学的に表現する値の２次元配列である。該配列の列および行は表面のｘ座標およびｙ座標上の位置情報に対応し、配列要素は特定の点またはカメラ位置から表面への深度または距離の読みである。深度マップは、物体表面の各点における強度情報、またはピクセルを深度情報に置き換えて、物体のグレースケール画像として表現され得る。それに応じて、表面の点は３Ｄグラフィック構成技術においてはピクセルと呼ばれ、本明細書の中では交換可能に使用される。
【０００６】
物体のグラフィカルな表現は、一度に１対の図を用いて、ステレオマッピングされた深度マップにより推定することができる。ステレオ深度マッピングでは、通常、２つのマップ内のピクセルに対して共通深度値を見つけるためにセクション間の整合を見つけるため、一度に２つの深度マップのセクションを比較する。しかしながら、推定された深度マップはいつも誤差を含んでいるので、マップが互いに一致し、必要な箇所で整合がとれるという保証はない。１つの悪いデータまたは誤差のあるデータの効果を最小にするために多数のデータが有効であるが、不特定多数の深度マップは誤った較正、不正確な重み付け、または特定の視野の値に関する推測による誤差を含み、深度マップ内のあらゆる誤差が最終的な合成画像へ投影されるため、同じ原理を深度マップへ応用することはできない。さらに、深度マップによる従来式のステレオマッピング法は、１つの深度マップを推定する時点で精緻化処理を終了する。
【０００７】
本発明の好適な実施形態は、複数の深度マップを３次元の物体または景色の矛盾のない正確な表現へと融合させるための現存のシステムに関連した問題を克服する。
【０００８】
（発明の趣旨）
本発明は、複数の推定された深度マップから精緻化された立体的表現の深度マップを計算するためのシステムおよび方法を目的としている。本システムは、最適な深度マップを精緻化するために、表現された画像の複数の深度マップ内の情報を利用し、新たなビューに適応された各深度マップ内の各ピクセルに対して、メジアン深度値を選択する。本システムは、適応された深度マップ内の全ての対応するピクセルの中からメジアン値に相当する適応されたピクセル深度値を選択することにより、各ピクセルについてメジアン深度マップ値を決定する。適応された深度マップは、物体または景色の新たなビューに一度に１つずつ融合される。結果として得られたメジアン値融合深度マップを使用して、新たな視点から知覚されたグラフィック画像またはビデオ画像をさらに正確に表すことができる。
【０００９】
本発明の１つの実施形態によると、本発明のシステムと方法は、物体のビューの融合深度マップを計算することを目的としており、物体の新たなビューのためのカメラ較正データを獲得することと、新たなビューのカメラ較正に基づき物体の新たなビューに物体の複数の既存の深度マップの１つ１つを適応することと、物体の新たなビューの融合深度マップの深度マップ要素を計算することを含み、ここで前記深度マップ要素のそれぞれは物体の新たなビュー内のピクセルに対応し、また前記深度マップ要素のそれぞれは適応された一群の深度マップ要素のメジアン値を備え、それぞれが複数の適応された深度マップの１つの各ピクセルに対応することを含む。
【００１０】
本発明の他の実施形態によると、本発明のシステムと方法は、複数の較正済みの視点から、所望の視点から知覚された物体のグラフィック表現を構成することを目的としており、物体の所望のビューのためのカメラ較正データを獲得することと、それぞれが物体の複数の較正済みのビューのそれぞれに対応する複数の深度マップを計算することと、計算された複数の深度マップそれぞれについて、選択された、計算された深度マップを所望のビューへ適応することと、所望のビュー内の各ピクセルについて、該各ピクセルにおけるメジアン融合深度マップ値を計算することを含み、それにより、前記ピクセルを塞ぐ適応された深度マップの数が、前記ピクセルを通過する適応された深度マップの数と同数になる。また、計算されたメジアン融合深度マップ値を利用して、所望のビューから知覚された物体のグラフィック表現を投影することを含む。
【００１１】
本発明のこれらおよび他の目的と利点は、添付の図面を参照しながら以下に記載する本発明の好適な実施例の詳細な説明から当業者は明確且つ容易に理解できる。図中、同様の要素には同じ参照番号を使用する。
【００１２】
（好ましい実施例の詳細な記載）
後述では、限定ではなく説明を目的として、本発明の理解のために特定の実施例について詳細な説明を行う。しかしながら、当業者には明白であるように、本発明は以下の詳細な実施例とは別の実施例においても実行することができる。他の実施例において、既知の方法、装置、および回路の詳細な記載は本発明を明確にするために省略する。
【００１３】
本発明は、実質的にすべての物体または景色の融合深度マップの決定のため、およびそのような物体および景色の３Ｄ画像の構成に利用することができるが、以下の論議では本発明の実施例の説明を単純にするためにそのようなすべての３Ｄアイテムを「物体」と呼ぶ。まず図１には、視点ｉから知覚された物体の一部が示されている。線セグメント、ｄ_ｉ１０６は、ビューｉの投影中心（以後ＣＯＰと表す）であるＰ_ｉ１００から広がり線Ｌ_１１０２およびＬ_２１０４により形成される画像面内において、視点ｉから見た物体のビューを表す。ビューｉは物体の複数の既存のビューのうちの１つを表し、そのカメラ較正は既に判明しているか、または計算することができる。視点ａは、物体を見る新たな所望の方向を表し、ビューａのＣＯＰであるＰ_ａ１０８におけるカメラ較正およびビューが既に判明している場合、本発明によるシステムの好適な実施例により、ビューａの最適化された深度マップとしてメジアン値融合深度マップが計算される。本発明は現在のところパーソナルまたはラップトップコンピュータでの実施を想定しているが、本発明によるメジアン値深度マップ融合システムの方法および装置は、システムの進歩的特徴を損なうことなく、多数のコンピュータまたはプロセッサ上で同様にうまく機能することができる。
【００１４】
物体のメジアン値融合深度マップを計算するための本発明による好適な実施例では、物体のビューを取得する複数の既知の方法のいずれか１つにより、第一に物体のｎ個の較正済みのビューのセット、
【数１】

を得る。本発明は最低２つの物体のビューがあれば操作可能であるが、融合深度マップの計算に利用できるビューが多いほど、結果として得られる融合深度マップは、物体のより正確なグラフィック表現となる。
【００１５】
物体のそれぞれのビューｉ（Ｖ_ｉと表す）について、物体の画像の領域に定義される関連する深度関数ｄ_ｉがある。ビューｉ内の各ピクセルｘ１１０について、深度関数は深度マップ値ｄ_ｉ（ｘ）を有する。深度マップ値ｄ_ｉ（ｘ）は、ビューｉの投影中心から、物体のビューｉ内の最も近いポイント、または物体のビューｉ内の画像ポイントｘに該当する逆投影された光線に沿ったピクセルｘまでの距離の推定値である。図１を参照すると、ビューｉ内のピクセルｘ１１０についての深度値ｄ_ｉ（ｘ）は、ＣＯＰであるＰ_ｉ１００からピクセルｘ１１０までの距離である。
【００１６】
図１、図２、および図３を参照すると、物体のイメージ領域内の任意のピクセルｘ１１０、２００、または３００は、図１のように表面ｄ_ｉ上にあるか、図２のようにＰ_ｉから見た表面よりも奥にあるか、または図３のようにＰ_ｉから見た表面の手前にあるかである。図２のように、Ｐ_ｉから見た表面ｄ_ｉの奥にあるポイントは、ビューａでは表面ｄ_ｉが有るためにＰ_ａがポイントｘ２００を「見る」ことができないため、深度マップｄ_ｉにより「塞がれている」と言われる。図３に示されているように、ｄ_ｉの前に位置するポイントは、ビューｉでは深度マップｄ_ｉにより「通過される」と言われる。連続関数として見た場合、深度マップｄ_ｉは、図１、図２および図３の平面図内の要素ｄ_ｉ１０６によりグラフィック表示された、ビューｉから知覚された空間内の表面を画定する。
【００１７】
本発明はメジアン値の数学的原理の変形を利用して、物体の既知のビュー
【数２】

に該当する複数の推定された深度マップ
【数３】

から、新たな所望のビューａの最適な深度マップｆ_ａを計算する。本発明の好適な実施例により計算される、この最適な深度マップは、後述するような、複数の深度マップを融合させて新たなビューａ内の物体の表面上にある各ピクセルｘ_ａ１１０についてメジアン深度値を決定するプロセスのために「メジアン値融合深度マップ」と名付けられる。新たなビューａ内のピクセルｘ_ａのメジアン値融合深度マップ値が、「ビューａについて一定である」と定義されるのは、物体の既知の深度マップのセット
【数４】

において、ビューａ内でｘ_ａ２００を塞ぐ深度マップの数がビューａ内でｘ_ａ３００を通過する深度マップと少なくとも同じである時である。従って、本発明のプロセスは、ビューａ内でｘ_ａ２００を塞ぐ既知の深度マップｄ_ｉの数がビューａ内でｘ_ａ３００を通過する既知の深度マップｄ_ｉと少なくとも同数になるように、新たなビューａ内の各ピクセルｘ_ａ１１０について最適な深度値を決定することである。ビューａ内の各ピクセルｘ_ａ１１０についての最適値またはメジアン値融合深度値であるｆ_ａ（ｘ_ａ）は、全深度値ｄ_ｉ（ｘ）の下限または最低値であり、従って全ピクセル
【数５】

１１０はビューａについて一定である。
【００１８】
本発明の好適な実施例によるメジアン値融合深度マップの計算について説明する前に、システムのいくつかの作用要素を定義する。システムにより計算されるビューａのメジアン値融合深度マップはｆ_ａと表し、ビューａ内のピクセルｘのメジアン値融合深度マップはｆ_ａ（ｘ）と表す。図４のフローチャートに示すように、メジアン値深度マップ融合プロセスの第１のステップのうちの１つは、ステップ４００について後述するように、ｆ_ａについて推定された最低値を設定することである。３つの２次元配列を利用して、全深度マップ
【数６】

を処理する間、融合深度値、閉塞インジケータ、および適応された深度マップの最小値の作用値を保持する。最小深度マップ値行列ｏ（ｘ_ａ）を利用して、ビューａのピクセル、ｘ_ａ、の最小深度マップを保持する。それぞれの新たな深度マップ、ｄ_ｉ、ｉ＝１、…ｎがビューａへ適応される際、ビューａに適応された深度マップｄ_ｉのピクセルｘ_ａの最小深度マップ値はｏ（ｘ_ａ）として記憶される。その後深度マップ、ｄ_ｉ、ｉ＝１、…、ｎがビューａへと適応される度に、最小深度マップ値行列ｏ（ｘ_ａ）の値または要素はリセットされる。ビューａの画像領域上に定義される支持行列、ｓ（ｘ_ａ）、は、ビューａ内の任意の目標ピクセルｘ_ａを、複数の深度マップ
【数７】

が通過するか、または塞ぐかに関する「投票」の数を保持する。ｓ（ｘ_ａ)は支持行列と呼ばれ、ｓ（ｘ_ａ）が正の値である場合、ピクセルｘ_ａにおける、より大きな深度マップ値の支持を表す。つまり、ビューａにおいて、ｘ_ａは深度マップｄ_ｉにより通過されている。ｓ（ｘ_ａ）は、ステップ４０４において、深度マップのセット
【数８】

の各反復処理のはじめにゼロに設定される。メジアン値融合深度マップの計算の間、ビューａ内の各ピクセルｘ_ａについて、ビューａに適応された深度マップｄ_ｉがポイントｘ_ａを塞ぐ場合には、ｓ（ｘ_ａ）における支持行列値から１を引く。適応された深度マップがビューａ内でｘ_ａを通過している場合、後述するように対応する支持行列値ｓ（ｘ_ａ）に１を加える。本発明は、深度マップのセット
【数９】

を処理して各ピクセルｘ_ａにおける深度マップの次の可能な候補を表すものであるため、次の深度マップ候補ｎ（ｘ_ａ）は各ピクセルｘ_ａについて計算されたメジアン値融合深度値の集積である。次の深度マップ値候補はステップ４０６において最初に∞に設定される。
【００１９】
ビューａ内の各ピクセルｘ_ａの目標メジアン値融合深度値、ｆ_ａ（ｘ_ａ）、は、次のように計算される。それぞれのビュー
【数１０】

の２つ以上の深度マップ
【数１１】

と、ビュー
【数１２】

のいずれとも異なる新たなビューａについてのカメラ較正が存在する場合に、本発明はビューａのメジアン値融合深度マップｆ_ａを計算する。メジアン値の概念を利用し、本システムは、ビューａ内の各ピクセルｘ_ａの最小深度値候補をｆ_ａの最初の深度マップ値として用いることにより、まず深度マップの最初の推定値ｆ_ａを設定する。これは、ステップ４００において、深度バッファリングを用いて、深度マップの全セット
【数１３】

を１つずつビューａ内へ適応することにより達成される。全ての適応にわたって、各ピクセルｘ_ａの最小深度値ｆ_ａ（ｘ_ａ）は、深度マップｆ_ａの最初の推定値として保持される。
【００２０】
次に、図１から図４に示すように、新たな所望のビューａのメジアン値融合深度マップを計算するために複数の既知の深度マップ
【数１４】

を処理する方法は、ステップ４０８において、一度に１つのビューずつ、ビューｉの各深度マップｄ_ｉをビューａへ適応する事から始める。各深度マップｄ_ｉをビューａへ適応する前に、ステップ４０６において最小深度マップ値行列ｏ（ｘ_ａ）の要素を∞に初期化する。深度マップｄ_ｉをビューａに適応した後、ビューａのピクセルｘ_ａである１１０、２００、および３００のそれぞれはステップ４１０で処理され、ｏ（ｘ_ａ）の各要素は、ピクセルｘ_ａ１１０、２００、および３００の最小の深度マップ値に設定される。深度マップが射線を横切って折り重なっている場合には、ピクセルｘ_ａは、逆投影された射線に沿って、ピクセルからビューａの投影中心Ｐ_ａ１０８までに相当する複数の深度マップ値または距離をそれぞれ有することができる。ｏ（ｘ）の初期化により、ビューａの処理されないピクセルの深度値はｏ（ｘ_ａ）内で∞に保持される。
【００２１】
図２のように、ビューａの全てのピクセルｘ_ａについて、ポイントｘ_ａ２００が深度マップｄ_ｉにより塞がれる場合、ステップ４１２においてそのポイントの支持行列値が１だけ減らされる。
ｏ（ｘ_ａ）≦ｆ_ａ（ｘ_ａ）の場合、ｓ（ｘ_ａ）＝ｓ（ｘ_ａ）−１に設定 （１）
【００２２】
ポイントｘ_ａの支持行列値から１が差し引かれることにより、ポイントｘ_ａはｄ_ｉで表される表面により塞がれている、すなわち該表面より奥にあることになるので、本システムは、このポイントの目標融合深度マップに対してそれ以上大きな深度値を拒否する投票を登録する。図１、および図３のように、ポイントｘ_ａ１１０および３００が適応された深度マップｄ_ｉにより塞がれていない場合、ステップ４１４において、次の深度マップ値候補ｎ（ｘ_ａ）が、ポイントｘ_ａ１１０および３００について存在する次の深度マップ値候補と、ビューｄ_ｉのビューａへの適応から得た最小深度マップ値行列要素との最小値に設定される。
ｎ（ｘ_ａ）＝ｍｉｎ（ｎ（ｘ_ａ），ｏ（ｘ_ａ））に設定 （２）
【００２３】
次の深度マップ値候補ｎ（ｘ_ａ）を設定した後、図１および図３のビューａ内のピクセルｘ_ａ１１０および３００から深度ｆ_ａ（ｘ_ａ）へ射線を逆投影する。結果として生じるピクセルｘ１１０または３００を、ステップ４１６でビューｉ内に投影することにより、ビューｉ内のピクセルｒ１１２または３０２を得、またＰ_ｉからｘ１１０または３００までの深度ｍを得る。ｘ３００が画像領域内に適切に収まり、またステップ４１８で判断されたようにｄ_ｉ（ｘ_ａ）がｍより大きい場合（図３）には、ｄ_ｉはｘ３００を通過し、ステップ４２０においてそのピクセルの支持行列値を１だけ増加する。
ｓ（ｘ_ａ）＝ｓ（ｘ_ａ）＋１に設定 （３）
【００２４】
ピクセルの支持行列値に１を加えることにより、ピクセルｘ_ａはｄ_ｉで表される表面を通過する、すなわちピクセルｘ_ａはｄ_ｉで表される表面の手前にあることになるので、システムは、このピクセルの目標融合深度マップについて、もっと大きな深度値を許可する投票を登録する。図１のように、ピクセルｘ_ａが表面ｄ_ｉ上にあると判明した場合は、そのピクセルではそれよりも大きな、または小さな深度マップ値に投票する必要がないので、該ピクセルの支持行列値は同じままである。
【００２５】
ステップ４２２では、処理されるピクセルｘ_ａ、１１０、２００、または３００が、現在のビューｉ内で処理されるべき最後のピクセルでない場合、 ビューａ内の次のピクセルについてステップ４１２に戻って処理を継続する。そうでない場合、ステップ４２４において、ｄ_ｉがセット
【数１５】

の最後の深度マップでない場合、セットの次の深度マップについてステップ４０８に戻って処理を継続する。最後の深度マップの最後のピクセルが処理されると、メジアン値融合深度マップの深度マップ値は、ステップ４２６において、ビューａの領域内の各ピクセルｘ_ａ、１１０、２００，および３００の支持行列の値を次の式で評価することにより設定される。
ビューａ内の全ピクセルｘ_ａについて、ｓ（ｘ_ａ）＞０の場合、ｆ_ａ（ｘ_ａ）＝ｎ（ｘ_ａ）に設定 （４）
【００２６】
ピクセルｘ_ａにおける支持行列の値がゼロより大きい場合には、ビューａへ適応された既知の深度マップの処理からのネット投票は、最小深度値より大きな深度値を示し、該より大きな値はピクセルｘ_ａの次の深度マップｎ（ｘ_ａ）候補に算入されている。支持行列の値が０以下の場合は、適応された深度マップのネット処理により、ピクセルｘ_ａについてより小さな深度マップ値が必要であり、ステップ４０４で計算されたｆ_ａ（ｘ_ａ）内の初期化された最小値が保持されると結論づけられる。融合深度マップｆ_ａの値のセットが更新および精緻化されると、全深度マップの処理をステップ４０２に戻って再開し、深度マップの全セットを新たなビューａにｎ−１回にわたって適応するまで繰り返して、確実にステップ４０８から４２６の処理をｎ^２回行ってから収束する。
【００２７】
図５は、本発明による例示的なメジアン値深度マップ融合システムの装置および通信リンクについて示している。図５の構成要素は、本発明のシステムに利用できる装置および経路を限定するものではなく、例示を目的としている。ビルディング５００は本発明によるビューの対象画像となりうる物体または景色を表し、カメラ５０２から５１０は物体５００を知覚することができ、その位置についての深度マップを得ることができる複数の視点または位置を表す。視点５１２は、そこからのビューについて本発明によるシステムがメジアン値融合深度マップを計算することができる新たな視点を表し、視点５１２に関連する較正データは既知である。視点５０２ないし５１０から撮影されたそれぞれの画像は、プロセッサ５１４に転送またはダウンロードされ、最終的にデータベース５１６に記憶される。対応する視点５０２ないし５１２についての較正情報は、プロセッサ５１４に転送することができ、プロセッサ５１８で計算することができ、および/またはデータベース記憶装置５１６から検索することができる。視点５０２ないし５１０についての深度マップを、複数の既知の深度マップ計算技術の１つにより計算または推定し、データベース５１６に記憶させる。或いは、プロセッサ５１４の処理機能とデータベース５１６の記憶機能を、プロセッサ５１８で表したパーソナルコンピュータのような単一の装置にまとめることができ、または複数のプロセッサ５１４、５１８、およびデータベース５１６に分散することもできる。
【００２８】
メジアン値融合深度マップの実際の計算はプロセッサ５１８で行われ、データはデータベース５１６から引き出され、また記憶される。本発明の他の実施形態では、データベース５１６による記憶装置をプロセッサ５１８に統合することができる。本発明の様々な機能特性、およびそれに対応するシステム内のメジアン値融合深度マップ計算のための装置部分である、初期化装置、選択装置、統合装置、およびプロセッサなどは、単一のプロセッサ５１８にまとめることもできるし、複数のプロセッサ５１８、および記憶装置５１６に分散することもできる。
【００２９】
メジアン値融合深度マップがプロセッサ５１８で計算され、データベース５１６に記憶されると、プロセッサ５２２を操作する任意の数の認可されたユーザーによりアクセス可能である。これらのユーザーは、メジアン値融合深度マップの２Ｄまたは３Ｄの描写を、プロセッサ５２２のスクリーンまたはグラフィックインターフェイスに表示できる、または同じ物をプリンタ５２４で印刷できる。
【００３０】
様々な機構構成要素を接続している図５の通信およびデータリンクは、無線または有線リンク、あるいはそれらの任意の組み合わせでよい。同様に、図５に示した本発明によるシステムは、本メジアン値深度マップ融合システムの進歩的特徴を損なうことなく、独立システムとして実行することができ、またはローカルエリア・ネットワーク、広域ネットワーク、イントラネット、またはインターネットのような、任意の既知のネットワーク上で、またはそのようなネットワークの組み合わせで、実行することができる。
【００３１】
上述で本発明による好適な実施例を示し、それについて記述したが、本明細書の請求の範囲とその均等物により定義される本発明の原理および精神から逸脱することなく、これらの実施形態に変更を加えることができることは、当業者にとって明らかである。
【図面の簡単な説明】
【図１】 ビューｉの深度マップを示し、図中のポイントｘはビューａの目標表面上に位置している。
【図２】 ビューｉの深度マップを示し、図中のポイントｘはビューａでは塞がれている。
【図３】 ビューｉの深度マップを示し、図中のポイントｘはビューａでは通過されている。
【図４】 ビューのメジアン値融合深度マップを構成するための例示的な方法のブロックフローチャートを示す。
【図５】 例示的なメジアン値深度マップ融合システムの装置および通信リンクを示す。

Claims (14)

1. 物体のビューの融合深度マップを計算する方法であって：
   物体の新たなビューについてカメラ較正データを獲得することと、
   新たなビューのカメラ較正に基づいて物体の新たなビューに物体の複数の既知の深度マップのそれぞれを適応することと、
   物体の新たなビューの融合深度マップの深度マップ要素を計算することとを含み、ここで前記深度マップ要素のそれぞれは物体の新たなビュー内のピクセルに対応し、また前記深度マップ要素のそれぞれは適応された深度マップ要素のセットのメジアン値を備え、それぞれが複数の適応された深度マップの１つのピクセルに対応し、
   深度マップ要素を計算する段階はさらに：
   物体の新たなビュー内の各ピクセルについて、該ピクセルに対応する新たなビューの融合深度マップの深度マップ要素を、ピクセルに対応する複数の適応された深度マップ要素の最小値で初期化することと、
   物体の新たなビューの領域内に定義される支持行列をゼロに初期化することと、
   次の深度マップ候補の要素を無限大に初期化することと、
   物体の新たなビューに適応された既知の深度マップそれぞれについて、および物体の新たなビュー内の各ピクセルについて、最小深度マップ値行列を、前記各ピクセルの最小深度マップ値で初期化することと、
   ピクセルが適応された深度マップで塞がれている場合、該ピクセルにおける支持行列を１だけ減じることと、
   ピクセルが適応された深度マップにより塞がれていない場合、且つ該ピクセルの対応する最小深度マップ値行列要素が該ピクセルの次の深度マップ要素候補よりも小さい場合、該ピクセルにおける次の深度マップ候補の要素を対応する最小深度マップ値行列要素に設定することと、
   適応された深度マップがピクセルを通過している場合、該ピクセルにおける支持行列を１だけ増加させることと、
   対応する支持行列要素がゼロより大きい新たなビュー内の各ピクセルについて、新たなビューの融合深度マップ要素を対応する次の深度マップ値候補で更新すること
   とを含む方法。
2. 物体のビューの融合深度マップを決定するための方法であって：
   融合深度マップを決定するべき物体の所望のビューを選択することと、
   それぞれが物体のビューの少なくとも一部を含む、複数の既知の深度マップを選択することと、
   複数の既知の深度マップを物体の所望のビューに適応し、所望のビュー内の各ピクセルについて、所望のビューの対応する融合深度マップ要素を、前記ピクセルに対応している複数の適応された深度マップ要素の最小深度マップ値で初期化することと、
   大きさについて融合深度マップに対応する支持行列の要素をゼロに設定することと、
   大きさについて融合深度マップに対応する次の深度マップ候補の要素を無限大に設定することと、
   複数の既知の深度マップそれぞれについて、
   既知の深度マップを物体の所望のビューに適応すること、および
   所望のビュー内のピクセルそれぞれについて、各前記ピクセルにおいて適応された深度マップの値に基づいて支持行列の対応する要素を更新すること、とを行うことと、
   所望のビュー内の各ピクセルについて、
   ピクセルの支持行列の値がゼロより大きい場合は、該ピクセルにおける融合深度マップ値を次の深度マップ候補の対応する要素に等しく設定すること
   とを含む方法。
3. 前記支持行列の対応する要素を更新する段階は：
   前記ピクセルにおける最小深度マップ値行列要素を、各前記ピクセルにおける適応された深度マップ値の最小値で初期化することと、
   前記ピクセルにおける最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値以下の場合、支持行列の対応する要素を１だけ減じることと、
   前記ピクセルにおける最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値より大きい場合、前記ピクセルに対応する次の深度マップ候補および支持行列要素を更新すること
   とを含む請求項２に記載の方法。
4. 前記次の深度マップ候補および支持行列要素を更新する段階は：
   ピクセルにおける次の深度マップ値候補を、次の深度マップ値候補と、該ピクセルに対応する最小深度マップ値行列要素との最小値に設定することと、
   適応された深度マップがピクセルを通過する場合は、ピクセルに対応する支持行列要素を１だけ増加させること
   とを含む請求項３に記載の方法。
5. 前記支持行列の要素をゼロに設定することから始まる段階を、複数の既知の深度マップの数をｎとして、ｎ−１回繰り返す、請求項２に記載の方法。
6. 物体のビューの融合深度マップを決定するための方法であって：
   融合深度マップを決定するべき物体の所望のビューを選択することと、
   それぞれが物体のビューの少なくとも一部を含む、複数の既知の深度マップを選択することと、
   複数の既知の深度マップを物体の所望のビューに適応し、所望のビュー内の各ピクセルについて、所望のビューの対応する融合深度マップ要素を、前記ピクセルに対応している複数の適応された深度マップ要素の最小深度マップ値で初期化することと、
   大きさにおいて融合深度マップに対応する支持行列の要素をゼロに設定することと、
   大きさにおいて融合深度マップに対応する次の深度マップ候補の要素を無限大に設定することと、
   複数の既知の深度マップそれぞれについて、
   既知の深度マップを物体の所望のビューに適応すること、および
   物体の所望のビュー内の各ピクセルについて、
   前記ピクセルにおける最小深度マップ値行列要素を、各前記ピクセルにおいて適応された深度マップ値の最小値で初期化すること、
   前記ピクセルの最小深度マップ値行列要素が対応するピクセルの融合深度マップ値以下の場合、支持行列の対応する要素を１だけ減じること、および
   前記ピクセルの最小深度マップ値行列要素が対応するピクセルの融合深度マップ値より大きい場合、
   ピクセルの次の深度マップ候補を、次の深度マップ値候補と、ピクセルに対応する最小深度マップ値行列要素との最小値に設定すること、および
   適応された深度マップがピクセルを通過する場合、ピクセルに対応する支持行列要素を１だけ増加することと、
   所望のビュー内の各ピクセルについて、
   ピクセルの支持行列の値がゼロより大きい場合、該ピクセルにおける融合深度マップ値を次の深度マップ候補の対応する要素に等しく設定すること
   とを含む方法。
7. 支持行列の要素をゼロに設定する段階から、ピクセルにおける融合深度マップ値を次の深度マップ候補の対応する要素に等しく設定する段階を、複数の既知の深度マップの数をｎとして、ｎ−１回繰り返す、請求項６に記載の方法。
8. 物体のビューの融合深度マップを計算するためのシステムであって：
   物体の新たなビューについてカメラ較正データを獲得する計測装置と、
   新たなビューのカメラ較正に基づいて、物体の新たなビューに物体の複数の既知の深度マップを適応させる統合装置と、
   物体の新たなビューの融合深度マップの深度マップ要素を計算するためのプロセッサと
   を備え、ここで前記深度マップ要素のそれぞれは物体の新たなビュー内のピクセルに対応し、また前記深度マップ要素のそれぞれは適応された深度マップ要素のセットのメジアン値を有し、それぞれが複数の適応された深度マップの１つのピクセルに対応し、
   プロセッサはさらに：
   物体の新たなビュー内の各ピクセルについて、該ピクセルに対応する新たなビューの融合深度マップの深度マップ要素を、ピクセルに対応する複数の適応された深度マップ要素の最小値に初期化する第１の初期化装置と、
   物体の新たなビューの領域内に定義される支持行列をゼロに初期化する第２の初期化装置と、
   次の深度マップ候補の要素を無限大に初期化する第３の初期化装置と、
   物体の新たなビューに適応された既知の深度マップそれぞれについて、および物体の新たなビュー内の各ピクセルについて、最小深度マップ値行列を、前記各ピクセルの最小深度マップ値で初期化する第四初期化装置と、
   ピクセルが適応された深度マップで塞がれている場合、該ピクセルにおける支持行列を１だけ減じる第１の計算プロセッサと、
   ピクセルが適応された深度マップにより塞がれていない場合、且つ該ピクセルの対応する最小深度マップ値行列要素が該ピクセルの次の深度マップ要素候補よりも小さい場合、該ピクセルにおける次の深度マップ候補の要素を対応する最小深度マップ値行列要素に設定する割り当て装置と、
   適応された深度マップがピクセルを通過している場合、該ピクセルにおける支持行列を１だけ増加させる第２の計算プロセッサと、
   対応する支持行列要素がゼロより大きい新たなビュー内の各ピクセルについて、新たなビューの融合深度マップ要素を対応する次の深度マップ値候補で更新する更新装置
   とを備えるシステム。
9. 物体のビューの融合深度マップを決定するためのシステムであって：
   融合深度マップを決定するべき物体の所望のビューを選択する第１の選択装置と、
   それぞれが物体のビューの少なくとも一部を含む、複数の既知の深度マップを選択する第２の選択装置と、
   複数の既知の深度マップを物体の所望のビューに適応し、所望のビュー内の各ピクセルについて、所望のビューの対応する融合深度マップ要素を、前記ピクセルに対応している複数の適応された深度マップ要素の最小深度マップ値で初期化する第１の統合装置と、
   大きさについて融合深度マップに対応する支持行列の要素をゼロに設定する第１の初期化装置と、
   大きさについて融合深度マップに対応する次の深度マップ候補の要素を無限大に設定する第２の初期化装置と、
   複数の既知の深度マップそれぞれについて、
   既知の深度マップを物体の所望のビューに適応する第２の統合装置、および
   所望のビュー内のピクセルそれぞれについて、各前記ピクセルにおいて適応された深度マップの値に基づいて支持行列の対応する要素を更新する第２のプロセッサ、とを具備する第１のプロセッサと、
   所望のビュー内の各ピクセルについて、
   ピクセルの支持行列の値がゼロより大きい場合は、該ピクセルにおける融合深度マップ値を次の深度マップ候補の対応する要素に等しく設定する更新装置
   とを備えるシステム。
10. 第２のプロセッサは：
    前記ピクセルにおける最小深度マップ値行列要素を、各前記ピクセルにおける適応された深度マップ値の最小値で初期化する第３初期化装置と、
    前記ピクセルにおける最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値以下の場合、支持行列の対応する要素を１だけ減じる第１の計算プロセッサと、
    前記ピクセルにおける最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値より大きい場合、前記ピクセルに対応する次の深度マップ候補および支持行列要素を更新する第３のプロセッサ
    とを備える請求項９に記載のシステム。
11. プロセッサは：
    ピクセルにおける次の深度マップ値候補を、次の深度マップ値候補と、該ピクセルに対応する最小深度マップ値行列要素との最小値に設定する割り当て装置と、
    適応された深度マップがピクセルを通過する場合は、ピクセルに対応する支持行列要素を１だけ増加させる第２の計算プロセッサと
    を備える請求項１０に記載のシステム。
12. 複数の既知の深度マップの数をｎとすると、第１初期化装置、第２初期化装置、第１プロセッサ、および更新装置それぞれの作用がｎ−１回繰り返される、請求項９に記載のシステム。
13. 物体のビューの融合深度マップを決定するためのシステムであって：
    融合深度マップを決定するべき物体の所望のビューを選択する第１の選択装置と、
    それぞれが物体のビューの少なくとも一部を含む、複数の既知の深度マップを選択する第２の選択装置と、
    複数の既知の深度マップを物体の所望のビューに適応し、所望のビュー内の各ピクセルについて、所望のビューの対応する融合深度マップ要素を、前記ピクセルに対応している複数の適応された深度マップ要素の最小深度マップ値で初期化する第１の統合装置と、
    大きさにおいて融合深度マップに対応する支持行列の要素をゼロに設定する第１の初期化装置と、
    大きさにおいて融合深度マップに対応する次の深度マップ候補の要素を無限大に設定する第２の初期化装置と、
    複数の既知の深度マップそれぞれについて、
    既知の深度マップを物体の所望のビューに適応する第２の統合装置、および
    物体の所望のビュー内の各ピクセルについて、
    前記ピクセルにおける最小深度マップ値行列要素を、各前記ピクセルにおいて適応された深度マップ値の最小値で初期化する第３の初期化装置、
    前記ピクセルの最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値以下の場合、支持行列の対応する要素を１だけ減らす第１の計算プロセッサ、および
    前記ピクセルの最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値より大きい場合：
    ピクセルの次の深度マップ候補を、次の深度マップ値候補と、ピクセルに対応する最小深度マップ値行列要素との最小値に設定する割り当て装置、および
    適応された深度マップがピクセルを通過する場合、ピクセルに対応する支持行列要素を１だけ増加する第２の計算プロセッサ
    を具備する第３のプロセッサ
    を具備する第２のプロセッサ
    を具備する第１のプロセッサ、および
    所望のビュー内の各ピクセルについて、
    ピクセルの支持行列の値がゼロより大きい場合、該ピクセルにおける融合深度マップ値を次の深度マップ候補の対応する要素に等しく設定する更新装置
    を具備する第４のプロセッサ
    とを含むシステム。
14. 複数の既知の深度マップの数をｎとすると、第１初期装置から更新装置までのそれぞれの作用がｎ−１回繰り返される、請求項１３に記載のシステム。

Images