JPH11509946A - 視差依存技法を用いた画像結合のための方法とシステム - Google Patents

Abstract

(57)【要約】 撮像された場面を表す複数の入力画像から３次元（３Ｄ）モザイクを発生させるシステムである。前記複数の入力画像は、１つの場面に対して少なくとも２つの画像を含み、前記少なくとも２つの画像は重なった領域を有する。本システムは、前記場面のパノラマ的展望を表す画像モザイクおよび前記場面の３次元幾何形状を表す形状モザイクを有する３Ｄモザイクを発生させる視差依存方式を用いて前記画像を組み合わせる。具体的には、ある実施の形態では、本システムは、前記撮像場面内のパラメータ表面に沿って前記入力画像を整合し、２次元画像モザイク中に前記画像を整合させる際に有用な並進ベクトルを誘導する。一旦整合されると、システムは場面内に物体を表す形状モザイクを発生する。

Description

【発明の詳細な説明】 視差依存技法を用いた画像結合のための方法とシステム 本発明は、画像処理システムに関し、より特定的には、視差依存技法（parall ax-based technique）を用いて多種の画像を１つのモザイクに結合する画像処理 システムに関する。 最近まで、画像処理システムは一般的に、ビデオフレーム、静止写真などとい った、個々システム上で、画像毎を基本に画像を処理してきた。それぞれ個々の フレームまたは写真は、フィルタをかけ、ワープを行い（warp）、および様々な パラメータ的な変換を適用することによって典型的に処理されてきた。場面のパ ノラマ写真を作るためには、個々の画像は組み合わされ、２次元的なモザイクを 、すなわち複数の個々の画像を含む画像を形成する。モザイクが単一の大きな画 像に見えるように画像の間の継ぎ目が見えないことを確実にするため、補足的な 画像処理がモザイク上でなされる。 画像の整列および継ぎ目を取り去る補足的な処理は、典型的にはコンピュータ ・ワークステーションを用いた技能者によって手動でなされる、すなわち、画像 の整列および結合処理はコンピュータで支援される。このようなコンピュータ支 援の画像処理システムにおいては、技能者が手動で処理される画像を選択し、手 動でこれらの画像を整列し、そしてコンピュータが画像に様々な画像結合処理を 適用して個々の画像の間のどのような継ぎ目または切れ目をも取り去る。画像の 操作は典型的には、マウス、トラックボール、キーボードなどといった様々なコ ンピュータ入力装置（device）を用いて達成される。手動によるモザイクの生成 は高価なので、当業者は画像モザイクを生成するための自動化されたシステムを 開発した。 モザイクを構築するための自動化されたシステムにおいては、モザイク内の情 報は一般には、２次元的な運動場（motion field）として表現される。運動は平 面の運動場として、例えばアフィン又は投影的な運動場として表される。このよ うなシステムは、１９９４年１１月１４日に提出された「モザイクに基づく画像 処理システム」というタイトルの米国特許出願第０８／３３９，４９１号におい て開示されていおり、出典を明記することによりその開示内容を本願明細書の一 部と成す。‘４１９特許出願において開示された画像処理の方式は、多数の画像 を１つまたはそれ以上の２次元的なモザイクに結合する。しかしながら、そのシ ステムは、モザイク内の運動を表す変位場において誤りを引き起こすことのある 視差運動を説明していない。 別の型の画像処理システムにおいては、多数の画像は、モザイクを生成するこ となく、相対的な位置関係の推定、レンジ（range）・マップの回復（recovery ）などといった写真測量的な情報を再生するために解析される。これらの画像解 析技術は、内部的なカメラ・パラメータ（例えば、焦点距離ピクセル解像度、ア スペクト比および画像中心）が既知であるということを仮定している。整列およ び写真測量的手法を用いる自動化された画像処理システムにおいては、整列と写 真測量的処理は次の２つのステップ、（１）領域に基づく（area-based）または 特徴に基づく（feature-based）継ぎ合わせ（match）スキームのなんらかの形式 を媒介にして様々な画像内のピクセル間の対応を確立すること、（２）３次元的 な場面情報を再生するためにピクセル変位を解析すること、を含む。 本発明は、３次元的場面モザイクを生成するための多数の画像を処理する方法 であり、多数の画像を提供するステップと、画像モザイクおよび形状モザイクを 含む前記３Ｄモザイクを構築するための前記画像を整合する（register）ステッ プとを備え、ここにおいて、前記画像モザイクは場面のパノラマ的展望図を表し 、前記形状モザイクは場面の３Ｄ幾何的図形配列を表す。 本発明はまた、多数の場面画像から３次元的な場面モザイクを生成するための システムであり、前記多数の画像を格納するための手段と、画像モザイクおよび 形状モザイクを含む３Ｄモザイクを構築するために前記画像を整合する（regist er）ための、前記格納手段に結合された整合（registration）プロセッサと、を 備え、ここにおいて、前記画像モザイクは場面のパノラマ的展望図を表し、前記 形状モザイクは場面の３Ｄ幾何形状を表す。 本発明の内容は、以下の添付図面とともになされる詳細な説明を検討すること によって容易に理解することができる。 図１は、本発明の画像処理システムを含む画像システムのブロック図を表す。 図２は、図１のシステムの入力画像および出力モザイクを概略的に表す。 図３は、参照したカメラによって発生された参照した画像、検査カメラによっ て発生された検査画像、およびカメラによって像を写された場面内の任意のパラ メータ表面の間の関係の幾何学的な表現である。 図４は、画像を整合し、整合された画像から視差情報を抽出するためのＰ−ｔ ｈｅｎ−Ｐルーチンの流れ図である。 図５は、画像を整合し、整合された画像から視差情報を抽出するためのＰ−ａ ｎｄ−Ｐルーチンの流れ図である。 図６は、本発明の画像処理システムの機能ブロック図である。 図７は、位置（ポーズ、pose）推定ルーチンの流れ図である。 図８は、３Ｄの補正されたモザイク構築ルーチンの流れ図である。 図９は、図３の平面的なＯＭＰの２次元的な幾何学表現であり、そこにおいて 場面は点を画像内に閉じ込める物体を含む。 図１０は、本発明のシステムを用いて場面内の物体の高さを見積もるための実 験装置を表す。 図１１は、現行の３Ｄモザイクの新しい展望を合成する創意的なシステムへの 応用のブロック図を表す。 ３Ｄモザイクを形成するために像に写された場面を表す多数の画像を結合する 画像処理システムが最初に説明され、ここにおいて３Ｄモザイクは、場面のパノ ラマ的展望を表す画像モザイクおよび場面の３Ｄ幾何形状を表す形状モザイクを 含む。形状モザイクは、２次元的パラメータ表面および残りの視差場（parallax field）の２次元的な画像運動に分解される運動場によって、任意の２つの画像 の間の関係を定義する。運動場とパラメータ的な並進パラメータ（translation parameter）とを生成するには多くの技術が有効でありうるけれど、以下の説明 において２つの例示的なプロセスを検討する。第１のプロセスは、プレーン・ゼ ン・パララクス（平面・そして・視差、P-then-P）として知られていて、まずパ ラメータ表面（平面、plane）を沿って画像を場面内に整合し（register）、そ れから場面の３Ｄ幾何形状を表す視差場を決定する。第２の例示的なプロセスは 、プ レーン・アンド・パララクス（平面・及び・視差、P-and-P）として知られてい て、同時に画像を整合しまた視差場を決定する。どちらのプロセスでも、整合の 結果は、パラメータ表面に沿った画像の整合を得るための並進パラメータと、パ ラメータ表面に関して場面の３Ｄ幾何形状（運動）を表す視差場と、パラメータ 表面内の運動を表す平面的な運動場とである。これらの結果は、３Ｄモザイクを 形成するために入力画像を結合するために用いられることができる。 パラメータ表面の画像運動は、本質的には、２Ｄモザイクの従来の表現である 。パラメータ表面の運動は一般的には、２次元的運動場を直接に評価するための 多くの役に立つ技術を用いて評価されるパラメータ運動場として表現される。一 般的に言えば、直接的な方式は、２次元的なモザイクを形成するために多数の画 像を整列し、また結合するために十分である。このような２次元的なモザイクは 、画像の連続（sequence）によって捕らえられた場面内の２次元的パラメータ表 面の整列を表す。このパラメータ表面は、場面内にほとんどの物体が置かれる実 際の表面での有り得、あるいは場面内にて任意に選択された仮想的な表面でも有 り得る。場面内のすべての物体は、カメラがパラメータ表面に対して運動すると 、いわゆる視差運動を生ずる。このパラメータ的な運動は視差運動場（ここでは また視差場として引用されている）によって表される。視差場は、場面内におけ る、その表面の面内に存在しない物体のための値をもつ。その表面の面に存在す る物体は視差場内で表現されるけれど、それらの物体はゼロ視差を有する。より 詳しくいえば、視差場は、パラメータ表面の前および背後にある物体と、これら 物体の、表面からの距離（高さ）、すなわち場面の３Ｄ幾何形状と、を表す。こ うして、パラメータ表面およびその平面的な運動場とを組み合わせて視差場を用 いて、そのシステムは任意の水準まで場面の３次元的復元を発生できる。焦点距 離および光学的中心のようなカメラの目盛パラメータがわかれば、そのときは場 面の３次元的復元はユークリッド的である。 図１は、多数の画像から３Ｄモザイクを発生するために用いられるような画像 処理システム１００のブロック図を表す。このシステムは、通例、ここで記述さ れるような画像処理システムとして機能するためにプログラムされた汎用計算機 である。システムはさらに、場面１０２を写す１つまたはそれ以上のカメラ１０ ４nを含む。例示的なシステム中には、２つのカメラ、カメラ１０４₁およびカメ ラ１０４₂を示す。各カメラは、単純化のために、ディジタル化されたビデオ情 報の一連のフレームを生ずるディジタル・ビデオ・カメラであると仮定されてい る。代わりに、カメラは、静止カメラ、従来のビデオ・カメラ、または赤外線セ ンサ、及び超音波センサといった別な形態のイメージ・センサ、その他であって もよく、その出力信号はシステム１００に入力信号として用いられる前に独立し てディジタル化されている。いずれにしても、各カメラ１０４₁および１０４₂は 、場面のはっきり区別された眺めをもつ画像を発生する。とりわけ、その画像は 、場面の異なる眺めを写す各カメラから選択されたフレームでありうるし、また は場面を横切ってカメラを動かして撮影する（pan）際に１つのカメラからの一 連のフレームでもありうる。どちらの場合においても、本発明の画像処理システ ムへの入力信号は、単一の場面の異なる視点から撮られた少なくとも２つの画像 である。各画像は少なくとも他の１つの画像に示される場面と部分的に重なり合 う。システム１００は、画像を１つの３Ｄモザイクに結合し、そのモザイクを出 力デバイス１０６に提示する。その出力デバイスは、ビデオ圧縮システム、ビデ オ記憶および検索システム、または３Ｄモザイクのための何か別のアプリケーシ ョンであってもよい。 図２は、システム１００への入力画像２００_nおよび入力画像に応じてそのシ ステムによって発生された出力３Ｄモザイク２０２を概略的に示す。その入力画 像は、上述されたように、一連の画像であり、そこでは各画像は異なる視点から の場面を表す。システム１００は画像を整合しまた結合し、画像モザイク２０４ 、例えばすべての画像を通して広がる任意のパラメータ表面に沿って整列された 画像を有する２次元的モザイク、を形成する。画像を整列し画像モザイクを形成 することは、パラメータ的な並進パラメータと平面運動場との両方を必要とする 。画像モザイクに加えて、システムは、画像内の３Ｄ物体を互いにまた画像内の ３Ｄ物体をパラメータ表面に関連する運動場を含む形状モザイク２０６を発生す る。その形状モザイクは視差運動場２０８を含む。平面運動場は画像から画像へ と画像内に現れるパラメータ表面での運動を表す一方で、視差の流れ場は場面内 での３Ｄ物体の視差によってパラメータ表面に関して運動を表す。Ａ．残存視差場の決定 ２つのカメラの視点を検討して、１つを「参照」カメラとし他の１つを「検査 」カメラとする（例えば、それぞれ、図１のカメラ１０４₁および１０４₂）。一 般 ody transformation）を用いて写像する。 く回転（Ｒ）によって表される。透視図を用いて、投影された点Ｐの像の座標 ここでｆはカメラの焦点距離である。 図３は、参照カメラによって発生された参照画像３０２、検査カメラによって 発生された検査画像３０４、および写された場面内の任意のパラメータ表面３０ ０の間の関係の幾何学的表現である。Ｓは関心のある表面（現実のまたは仮想の 表面３００）を表し、ＰはＳ上に位置しない場面内の周囲の（environmental） 点（例えば、物体の位置）を表し、０およびＭは各カメラの中心位置（焦点）を 表す。画像３０２上におけるＰの像はｐである。直線ＭＰは位置Ｑにおいて面Ｓ と交わる。従来のワーピング処理は、表面Ｓ上のすべての点を整列することによ って画像３０２および画像３０４を整列するために使用されていて、Ｐの画像３ ０４上の像ｐ’をＱの画像３０２上の像ｑにワープさせる（warp）。したがって 、残存視差ベクトルはｐｑであり、それは線分ＰＱの像である。ベクトルｐｑが 平面ＯＭＰ上にあることがただちに図から明らかであり、その平面はｐを通過す る エピポーラ（epipolar）平面である。そのようなベクトルは場面中の任意の点Ｐ に対して発生されるので、すべての視差ベクトルの集合は視差変位場を形作ると いうことが言える。各像点に関連づけられた視差変位ベクトルは、その像に関連 づけられたエピポーラ平面に沿って置かれるので、そのベクトルはエピポーラ場 と呼ばれる。この場は放射状の構造を持ち、各ベクトルは「エピポール（epipol e）」（別名、展開焦点（ＦＯＥ：focus of expansion））と呼ばれる画像内の 通常の原点から放出するように見える。図３において、エピポールは点「ｔ」に 位置する。図３から、エピポールは、直線ＯＭの画像３０２との交点にあること が明らかである。視差変位場は、ここではまた単に視差場または視差運動場と呼 ばれる。 残存視差情報（例えば、視差場）を決定する際して、２つの画像は、従来のパ ラメータ運動推定方法を用いてパラメータ表面に沿って整列されている（整合さ れている）と仮定されている。また、これらの整列方式は、整列または整合の「 階層的直接方式」としてその技術分野において知られている。そのような１つの 方法は、出典を明記することによりその開示内容を本願明細書の一部と成す１９ ９４年１１月１４日提出の共通譲受人による米国特許出願第０８／３３９，４９ １号に記述されている。以下に詳細に説明されるように、ひとたび本発明のシス テムが、パラメータ表面に沿って２つの画像を整列するための変換および平面運 動場を決定すれば、システムは場面内の物体のパラメータ表面の上または下の高 さを表す残存視差情報を決定する。Ｂ．画像の整列 ３Ｄ場面を正確に表現するために上で記述された一般的な原理を用いて、本シ ステムは画像整列のための並進パラメータとともに、平面のおよび視差の運動を 両方とも再生しなければならない。例示するように、システムは、画像内の運動 および変換（transformation）パラメータを決定するために、別個にまたは順次 に２つの技術を用いる。第１の技術は「順次整合」方式であり、そこにおいて、 両カメラによって写された場面内の面（パラメータ表面）が、８変数平面変換を 用いてまず整合される。それから、別個の順次に実行されるステップを用いて、 残存する視差運動が評価される。第２の技術は「同時整合」方式であり、そこに おいて、システムは、平面および視差運動場とともにパラメータ変換を同時に評 価される。 ｉ．順次整合 図４は、順次に整合を行ないまた視差場を決定するためにシステムによって実 行されるルーチン４００の流れ図を表す。場面内に平面を整合するために、シス テムは階層的直接整合の技術を用いる。この技術は、平面内の運動のための平面 流れ場モデルを用いる。ひとたび多数の画像がステップ４０２においてシステム に入力されると、ルーチンは２つの順次的なステップを実行し並進パラメータお よび運動場を決定する。すなわち、ステップ４０４において、ルーチンは平面運 動場を引き出し、ステップ４０６において、ルーチンは並進パラメータと視差場 との両方を評価する。結果として生じるルーチンからの出力４０８は、入力画像 についての関連情報、例えば、平面に沿って画像を整列するための並進パラメー タと場面の３Ｄ幾何形状を表す平面のおよび視差の運動場である。 具体的には、場面内の点の総運動ベクトルは、平面運動（ｕ_p，ｖ_p）および残 存視差運動（ｕ_r，ｖ_r）による運動ベクトルの総計として表される。こうして、 この運動ベクトルは式３で表される。 （ｕ，ｖ）＝（ｕ_p，ｕ_v）＋（ｕ_r，ｖ_r） （３） さらに、平面（2次元的な）の運動場は以下のように表される。 ｕ_p（ｘ）＝p₁x＋p₂y＋p₅＋p₇x²＋p₈xy ｖ_p（ｘ）＝p₃x＋p₄y＋p₆＋p₇xy＋p₈y² （４） ここにおいて Ｔ_2x，Ｔ_2yおよびＴ_2zはカメラ視野間の並進ベクトルを表し、Ω_x、Ω_yおよびΩ_z は角速度ベクトルを表し、ｆはカメラの焦点距離を表し、Ｎ_2x、Ｎ_2yおよびＮ_{2 z} はカメラの中心から平面への法線ベクトルを表す。残存視差ベクトルはさらに 以下のように表される。 ｕ_r（ｘ）＝γ(fT_2x−xT_2z) ｖ_r（ｘ）＝γ(fT_2y−yT_2z) （６） ここにおいて視差マグニチュード場は式７で表される。 γ＝Ｈ／Ｐ_zＴ⊥ （７） ここにおいて、Ｈは関心を持っている点の平面からの垂直距離を表し、Ｐ_zは関 心のある点の深さ（本技術分野においてレンジとも呼ばれる）を表す。Ｔ⊥は第 １の（参照の）カメラの中心から平面への垂直距離であり、ｆはカメラの焦点距 離である。画像の各点において、視差マグニチュード場γは、参照表面からの対 応する３Ｄ点の高さに正比例し、その点の深さ、すなわちカメラの中心からのそ の点の距離に反比例する。 全体の運動場を決定するために、順次の方式は、まず式４を（ｕ_p，ｖ_p）につ いて解き、それから式３を（ｕ_r，ｖ_r）について解く。荒く細かく（coarse-to- fine）反復的な様態にて整合を達成するために、多重解像度の画像ピラミッドを 形成するために、入力画像を副次標本化する（サブサンプルする、subsample） 。ピラミッドの各レベル内において、画像整合のうまく合うことのしるしとして 用いられる尺度は、画像上において関心のある選択された範囲にわたって集積さ れた差分平方の総和（ＳＳＤ）の尺度である。典型的には、システムは最初に、 選択された領域として画像全体を選択し、そのあと、整合尺度が最小化されるま でより小さな領域を再帰的に選択する。整合を完遂するために、整合の尺度は、 （以下に定義される）２次元的流れ場変数に関連して最小化される。画像領域内 の流れ場を見積もるためのＳＳＤ誤差尺度は、 であり、ここにおいて、ｘ＝（ｘ，ｙ）は画像内の点の空間的な位置、Ｉは多重 解像度のピラミッド画像の強度、ｕ（ｘ）＝（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））は 画像領域内の点（ｘ，ｙ）における像の速度を表し、（ｕ）は領域内の全体の運 動場を表す。運動場は、１組の広域的および局所的パラメータによって形作られ ている。 この技法を用いるために、システムは、ステップ４１０において、まず２つの 入力画像の各々の多重解像度のピラミッド表現（例えば、ラプラスまたはガウス ・ピラミッド）を構築する。その後に、ステップ４１２において、ルーチンは、 荒く細かくの態様で、２つの画像を互いに整合する運動パラメータを評価する。 すなわち、特にはっきりとは示されていないが、荒く細かいくの整列を達成する ために、ピラミッドのレベルにわたってルーチンを反復する。具体的には、ルー チンは、前述の平面運動場の計算を使用してまた画像ピラミッドの各レベルにお いてＳＳＤの最小化して、画像を整列する。ルーチンは、８個の運動パラメータ （ｐ₁からｐ₈）と、２つの画像内に相当数のピクセルを含む、平面（例えば、「 現実の」または物理的な表面）内の領域に関する結果として生じる運動場とを評 価する。特に、ルーチンは、なんらかのパラメータ初期値（典型的には、ゼロ） から始め、それから、粗い解像度においてＳＳＤを最小化するために繰返しパラ メータを更新し、画像ピラミッド内においてより細かい解像度で継続的に行なう 。整列の繰返しの各ステップの後に、パラメータの現在の組に基づいた変換が、 ２つの画像間の残存変位を減少するために、検査画像に適用される。参照および 検査画像は、選択された画像領域（例えば、物理的平面内の重複領域）が「目に 見える」平面に沿って整列される。ルーチンは、ステップ４１４において、整列 を達成するために更に計算を反復することが必要か否かを問いただす。その決定 は、ＳＳＤの、あらかじめ決められたしきい値ＳＳＤレベルとの比較に基づく。 もし更なる整合が必要ならば、ルーチンはステップ４１２にループする。ひとた び画像が正確に整合されると、ルーチンはステップ４１４から４０６へ進む。 ステップ４０６において、ルーチンは、並進パラメータおよび視差場を計算す るために平面流れ場の情報を使う。ステップ４１８において、式４で表現される （ｕ_p，ｖ_p）の値は、ステップ４０４で計算されるｐ₁からｐ₈の見積もられた値 を使って計算される。そして、（ｕ_p，ｖ_p）の値および式６における（ｕ_r，ｖ_r ）の表現は、ＳＳＤ関数（式８）に代入される。それから、式８は方向並進Ｔ_{2( x,y,z)} および視差ベクトル場γに関して解くために最小化される。ルーチンは、 パラメータがＳＳＤ最小化のために計算されるように、ステップ４２０から繰り 返す。明示的には示されないが、ルーチンはまた、並進パラメータの十分な精度 を得るために、ピラミッドのレベルにわたって反復する。ひとたびＳＳＤが十分 なレベルまで最小化されれば、ルーチンはステップ４０８において、出力として 、並進パラメータ、平面運動場および視差運動場を発生する。これらの値は、画 像ピラミッドの様々なレベルを用いて発生され、このようなものとして、これら のパラメータおよび運動場は多重解像度のピラミッドとして発生されるというこ とに注目されたい。このため、パラメータおよび運動場のピラミッドが、３Ｄモ ザイクの多重解像度のピラミッドを生成するために直接に使われうる。 このシステムは通例、この順次の整合処理を用い、明確に定義された平面を含 む場面を表す画像を整列する。この処理の結果は、２Ｄモザイクおよび場面内の ３Ｄ幾何形状を表す運動場を生成するために、平面に沿って画像を整列するため の一組の並進パラメータである。言い替えれば、システムは２つのステップ処理 を用いて、３Ｄモザイクを生成するために使われるパラメータを発生する：その ステップは、平面への整合（ステップ４０４）と、視差情報の決定（ステップ４ ０６）である。この２つのステップ処理は、プレーン・ゼン・パララクス（Ｐ− ｔｈｅｎ−Ｐ）方式と呼ばれている。 ｉｉ．同時整合 図５は、同時に、２つの画像を整合し視差場を生成するためのルーチン５００ を表す。この同時的な整合の方式においては、システムは、式３および式６で定 義されるものとして全体の運動ベクトルにおいて（ｕ_p，ｖ_p）および（ｕ_r，ｖ_r ）の両方に関して同時に解く。 同時整合の方式を用いると、「現実の」平面は必要でない、このため、画像は 画像内に任意に置かれる「仮想的」平面に整合されることができる。このような ものとして、この方式は順次整合の方式よりも柔軟である。 ルーチン５００が、ルーチン４００と同じ方式で始まり、そこでは、ステップ ４０２および４１０が画像を入力し、それから多重解像度のピラミッドを構築す る。そのあとに、ルーチンは、ステップ５０４において、並進パラメータ、平面 運動場および視差場を計算する。その結果は、ステップ５１０に出力される。 より具体的には、式３および式４において（ｕ，ｖ）に関する表現は、式５に 代入され、完全な対象的関数を得る。結果となる関数は、ステップ５０４で、Ｓ ＳＤに関して最小化され、同時に、画像ピラミッドの各レベルにおいて平面運動 パラメータ（ｐ₁からｐ₈）、並進の方向Ｔ_2(x,y,z)、および視差場γに関して解 く。そのようにして、この過程が、多重解像度の画像ピラミッドを用いて、粗く 細かくの形式で繰り返される。ピラミッドの粗いレベルにおいて得られた結果は 、次のレベルにおいて計算のための初期の評価として用いられる。ピラミッドの 各レベルにおいて、計算が反復されＳＳＤを最小化する。しかしながら、各反復 における結果は格納され計算結果の多重解像度のピラミッドを形成する、すなわ ち、この過程は、並進パラメータおよび運動場に関する多重解像度のピラミッド を形 成する。ステップ５０６を通過する各反復の後に、評価された運動パラメータが 、ステップ５０８において、平面整合パラメータが最小の視差場（例えば、２つ のカメラによって写された３Ｄ場面の平均平面）を生み出す仮想的な平面に対応 するように規格化される。結果は、ステップ５１０において生み出されるもので あって、平面に沿って画像を整合し、２Ｄモザイク、平面を伴って運動を表す平 面運動場、およびその平面にない場面内の物体を表す視差ベクトル場を生成する １組の並進パラメータである。言い換えれば、システムは、平面への整合および 視差情報の決定という同時的な１つのステップ過程を用いて３Ｄ整合を発生する 。この１つのステップ過程は、プレーン・アンド・パララクス（Ｐ−ａｎｄ−Ｐ ）方式と呼ばれている。 ｉｉｉ．順次的および同時的な画像整合の結合 図６は、本発明のシステム１００の機能のブロック図を表す。入力画像は一時 的に画像記憶装置６００に格納される。第１に、システム１００は順次整合を用 い参照および検査画像を整合すると共に、視差場の見積もりを与える（図４のル ーチン４００に従って動作するＰ−ｔｈｅｎ−Ｐ整合プロセッサ６０２）。第２ に、システムは同時整合を用い更なる画像整合と正確な視差場を提供する（図５ ルーチン５００に従って動作するＰ−ａｎｄ−Ｐ整合プロセッサ６０４）。もし プロセッサ６０２または６０４のいずれかが、あらかじめ決められた正確さの尺 度（例えば、ＳＳＤの最小値）内においてパラメータ表面に関する正確とみなさ れる流れ場を発生すれば、システムは画像処理を止め、３Ｄモザイクを発生し始 める。例えば、単純な形状の物体を含む場面においては、Ｐ−ｔｈｅｎ−Ｐ処理 は、場面の３Ｄモザイクを正確に生成するために十分かもしれない。多くの視差 物体を有するもっと複雑な場面は、正確な３Ｄモザイクを発生するために画像処 理の両方の形式を必要とするかもしれない。一般的に、整列の質は、検査画像と 参照画像との間の正規（normal）流れ場の大きさ（magnitude）を計算すること によって試験される。あらかじめ決められたしきい値（例えば、０．５）を越え 正規の（normal）流れを有するパラメータ表面内の領域は、整合されてないと分 類され、引き続くプロセッサによって更に処理される。もしこれらの領域が最小 のサイズを得れば、システムは画像が整合されたとみなし、次の処理は実行され な い。 ２つのプロセッサの出力は、並進パラメータおよび運動場である。３Ｄモザイ ク発生器６０６は、３Ｄモザイクを生成するために、入力画像を並進パラメータ および運動場と結合させる。上で定義したように、３Ｄモザイクは画像モザイク および形状モザイクを含み、ここにおいて画像モザイクは画像によって表される 場面のパノラマ的展望であり、形状モザイクはパノラマ的展望内における場面の ３Ｄ幾何形状を表す。 ３Ｄモザイクは、上述の基本的システムの様々な拡長および応用（６０８参照 ）において用いられうる。システムのこれらの拡張および応用は、以下にて詳細 に検討される。Ｃ．発明の拡張 本発明の有効性を高めるいくつかの選択的処理がある。第１は、存在するモザ イクに新しい視点から撮られた新画像を関係させるための単純な技術を提供する 配置評価ルーチンである。第２の拡張は、存在するモザイクを、そのモザイクに よって表される場面の新画像と結合することによって新しい３Ｄモザイクを発生 するための技術である。第３の拡張は、３Ｄモザイク内の遮り（occlusion）を 感知し処理するための技術である。 ｉ．配置評価 図７は、配置評価ルーチン７００のフローチャートである。参照画像および検 査画像の両方が与えられると、システムは、参照画像モザイクおよび参照形状モ ザイクを形成するために、上述されたＰ−ｔｈｅｎ−Ｐ処理および／またはＰ− ａｎｄ−Ｐ処理を用いて、画像の整列し、また視差場を決定する。参照モザイク は、そのとき３Ｄ場面の最初の表現として役立つ。参照画像および形状モザイク は、ステップ７０２において入力され、それからステップ７０４において多重解 像度のピラミッドに変換される。もし参照モザイクがピラミッドとして提供され ていれば、そのときはステップ７０４は無視できる。ステップ７０８において画 像ピラミッドに変換された、新視点から撮られた（ステップ７０６）場面の新画 像が与えられると、ルーチンは、ステップ７１０において、参照モザイクを形成 するために用いられる参照視野に関連した新視点の配置を計算する。新画像の配 置は、１１個の配置パラメータによって、すなわち８個の平面運動パラメータ（ ｐ₁からｐ₈）と３個の並進パラメータ（Ｔ_2(x、y、z)）とによって表される。配置 パラメータを計算するために、システムは再び、画像を整合するために上で使わ れ、またＳＳＤがあらかじめ決められた値を達成するまでステップ７１２を通っ て反復される、階層的直接技術を用いる。具体的には、視差場γが与えられると 、式８は１１個の配置パラメータを評価するために式３を用いて最小化される。 上述されたような整合方式の場合には、新画像は、場面の３Ｄ表現と新画像との 両方の画像ピラミッドにわたる粗く細かくの整合処理を用いて整列される。配置 評価ルーチンの結果は、新画像のための視差運動場、並進パラメータ、および平 面運動場である。これらの結果を用いて、以下に検討するように、新しい画像を ３Ｄモザイクに統合できる。 ｉｉ．３Ｄ補正されたモザイクの生成 場面の多数の画像を互いに関係づけ、また配置評価を用いて参照３Ｄモザイク （例えば、現行モザイク）が与えられると、システムは、新しい画像情報が利用 できるなるなら、その画像情報を用いて現行モザイクを最新のものにできる。新 しい画像からの情報を現行モザイクのなかに統合するこの処理は、３Ｄモザイク の補正として知られる。 上述されたように、３Ｄモザイクは２つの部分を含む；すなわち、場面の様々 な画像の、１つの（現実のまたは仮想の）カメラ視点への組立てを表すモザイク 画像と、その展望に対応する視差マップ（形状モザイク）とである。視差マップ はそれ自身、様々な画像を互いに関連づける視差マップを整えることによって生 成されるモザイクであるということに注目されたい。３Ｄ補正されたモザイクを 構築するために、新しい画像が現行モザイクに整合され、それから新しい画像情 報が現行モザイクに合併（マージ）される。マージされた画像およびモザイクは 、次の新しい画像に関する現行モザイクとなる補正されたモザイクになる。 図８は、３Ｄ補正されたモザイクを構築するためのルーチン８００の流れ図を 表す。ステップ８０２において、システムは現行３Ｄモザイクが供給され、それ から以下のようにモザイク組立処理が進行する。 １．ステップ８０４において、カメラは、現行モザイク内で表される場面の新 しい画像を提供する。新しい画像は場面の新しい視点から撮られる。 ２．ステップ８０６において、ルーチンは、配置評価処理を用い、現行モザイ クを新画像に整合する１１個の配置パラメータを計算する。 ３．ステップ８０８において、ルーチンは、評価された配置パラメータを使っ て現行画像モザイクを再投射することによって、新視点から撮られた合成画像を 創り出す。その再投射は、式３を使って現行画像モザイクを前方へワープするこ とにより遂行される。前方への画像のワーピングから生じる合成画像内の穴の発 生を回避するために、ルーチンは従来どおり、ウォルバーグ著「ディジタル・画 像ワーピング」ＩＥＥＥ コンピュータ・ソサエティ出版、ロス・アラミトス、 カリフォルニア（１９９０）、で説明されているように、第２の画像を追加的に 標本化する（super-sample）。その再投射は、画像内の遮り（occlusion）に敏 感である。遮り（occlusion）の感知および処理が以下に説明される。 また、新画像を現行画像モザイクに整合でき、そして新画像を現行画像モザイ クにワープできる、ということに注目すべきである。しかしながら、このワーピ ングを達成するためには、正確に新画像をワープしまた場面の３Ｄ幾何形状を捉 えるために、新画像に関わる視差情報が必要とされる。必要な視差情報を発生す るためには、モザイク内にマージされた前の画像が一時的にメモリに格納され、 また新画像に関連して視差情報を発生するために参照画像として用いられるか、 あるいは２つの新しい画像およびそれぞれの視差場がステップ８０４で作られる 。いずれの場合にも、新画像がモザイクにワープされるべきでであれば、新画像 に視差場を提供しなければならない。これは、現行画像が新画像にワープされる ときは、必要とされない。図８は、モザイクを画像にワープするための処理のみ をあらわす。 ４．ステップ８１０において、ルーチンは、合成画像を新画像内にマージし、 新しいモザイクを創る。この新モザイクは現行モザイクとして経路８１４に沿っ て供給される。合成画像は、新画像内に存在しない画像領域を含む。これらの新 領域は新画像に加えられ、その境界を拡大し新しい３Ｄモザイクを創る。マージ する過程において、円滑なモザイクの構築を達成するために、ルーチンは、合成 画像内および新画像内の共通領域の強度を一時的に平均化できるということに注 目されたい。 新しい視点に関する形状モザイクを構築するために、システムは、現行画像モ ザイクが再投射されたのと全く同じ方法で、現行形状モザイクを新画像の座標系 に前方ワープする。現行画像モザイクと新画像との間の配置パラメータが与えら れると、新画像内にて見えるのではなく現行モザイク内にて見える現行３Ｄモザ イクの内のこれらの部分の形状モザイクがまた評価されうる。再投射された形状 モザイクは、この追加的な視差情報マージされ新しい視点から見えるように３Ｄ モザイクを完成させる。 ５．ステップ８１２において、ルーチンは新しい視点から見えるように補正さ れた３Ｄモザイクを表示する。そのようにして、新しい画像情報は正確に現行３ Ｄモザイク内に包含される。 ｉｉｉ．遮りの感知および処理 遮りのために、合成画像の創出において（上で詳述したように）、第２の画像 内の２つ以上の像点が、合成画像内の同じ点に投影する。図９に見られるように 、点Ｐ，点Ｑおよび点Ｒは検査画像３０４を同じ点に投影する。もし、検査画像 ３０４に対するそれぞれの点の深さが知られていれば、そのときは点ＰおよびＱ は点Ｒによって遮られることがわかる。言い換えれば、検査カメラの視点から、 点Ｐおよび点Ｑは、箱９００によって遮られる。しかしながら、視差マップは、 各点の相対的な深さを導き出すために必要な情報を含まない。それにもかかわら ず、相対的な深さの情報は、参照画像３０２内の像点ｐ，ｑおよびｒの相対位置 から引き出しできる。画像３０２内のこれらの点は、画像内のエピポーラ線９０ ２にある。各画像（カメラ）の焦点０および焦点Ｍを線９０４で結ぶことによっ て、エピポールｍが線９０２上に定義される。焦点Ｍが焦点Ｍよりも場面に近い ことが与えられると、線９０２上の点ｍからの点の順序は遮られた点を同定する 。この例において、点ｒは点ｐ、点ｑに進み、このようなものとして、点Ｒは点 Ｐおよび点Ｑを遮る。しかしながら、焦点Ｏが焦点Ｍよりも場面に近ければ、そ のときは遮られた点の順序づけは逆になり、遮られた点は線９０２上の点ｍに最 も近くなる。システムは、画像内において遮られた点を決定するために、この比 較的単純な技術を用いる。ひとたび認識されると、遮られ た点は画像から削除され、フィルタをかけられ、あるいはそうでなければ遮られ た点によって発生された潜在的人工物が回避されるように処理される。Ｄ．３Ｄモザイクのための応用 前出の記述では、少なくとも２つの画像を単一の３Ｄモザイクに組み合わせる ために使用される画像処理システムを検討した。ビデオ情報を表すためのこのよ うな動的システムは多くの応用を持ち、その内のいくつかを以下に検討する。 ｉ．物体の高度の評価 一般に、視差の流れベクトルは、高度に正比例し深さに反比例し、ここで深さ はカメラからの物体の距離である。このようなものとして、地上にある物体の空 中から見た３Ｄモザイクを用いて、その物体の地表からの高度を評価できる。深 さを消去して物体のパラメータ表面（地表）からの高度を評価するためには、本 発明によるシステムは、空中図形の特徴的な特性（以下、空中図形特性という） を使用するために適用される。具体的には、カメラから物体への深さは典型的に は、物体の地表からの高度よりかなり大きい。最下点の（nadir）空中図形にお いては、すべての点の深さはほぼ同一であり、それ故わずかな（weak）透視投影 を用いて物体の高度を評価できる。一方、斜めに見ると、所与の画像にわたって かなりの深さの変動がある。しかしながら、斜視の空中図形におけるいかなる点 に対しても、その画像点の深さは、カメラからの視野直線（sight ray）の線を 伸張してまたそれを地表面と交差させることによって得られた仮想３Ｄ点の深さ とほぼ同一である。したがって、本システムは、地表面に関する式を評価するこ とによって、視差式４及び５における深さを因数分解できる。 本発明による画像処理システムのこの特定の応用は、変位ベクトルの大きさを 使用し高度の大きさを推論すると共に、流れベクトルの方向を使用し高度の符号 を推論する。高さの符号は、その点が平面の上にあるか下にあるかを示す。順次 的方法に関しては、並進運動が画像平面に並行である場合に関する変位ベクトル の大きさ は式９によって与えられる。 Ｔ_1z≠０の場合に関するの変位ベクトルの大きさは式１０で与えられる。 ここでは、 は、点（ｘ_w，ｙ_w）の展開焦点（ＦＯＥ）からの距離である。 であるので、空中図形特性式９と式１０は次の式１１に統合される。 ここで、Ｉ＝γ₂／γ_Fは整列パラメータと視差ベクトルの評価値から得られた測 定値であり、Ｓは並進ベクトルＴ₁と距離Ｔ₂⊥に依存する比例因数である。式１ １は式１２に書き換え、場面内の任意の画像点の高度Ｈに関して解くことができ る。 トルである。 高度評価計算を最もよく利用するには、焦点長や画像中心といった真性のカメ ラ・パラメータを、標準的な技法によって決定すべきである。しかしながら、カ メラ・パラメータを校正することもまたこれらのパラメータを演繹的に（aprior i）得ることも不可能である応用がある。このようなものとして、ある数の交互 評価方法が、焦点長および／または画像中心が既知であるかまたは未知であるか のいずれかの場合の高度を評価するために開発されてきた。 焦点長と中心とが双方とも未知であり、少なくとも３つの点の高度が既知（参 焦点長とカメラ中心が双方とも既知であれば、正規（normal）平面は式１２を 用いて評価できる。この式は、二次整合パラメータを平面の法線、並進、および 回転に関連させたが、並進方向は疑似パラメータ残余評価中に計算される。式１ ０を一緒に用いて並進方向は、６つの未知数を含む８つの式の線形な一組、すな わち正規ベクトルＮと回転ベクトルΩを提供する。式９にて使用された並進はＴ₂ であり、一方、視差フロー・ベクトルに関して計算された並進はＴ₁であるから 、パラメータｐ₁からｐ₈によって定義される二次変換が逆転される。代わりに、 逆二次変換を、視差ベクトル推定中に２つの画像を交換することによって直接的 に評価してもよい。このようなものとして、３Ｄモザイクまたはいかなる構成要 素の画像（現実であれ仮想であれ）において互いの点の高度を決定するために、 少なくとも１つの点の高度が必要である。 焦点長が未知であり画像中心が既知である場合に画像点の高度を決定するため には、場面中の２つの点の既知の高度を用いて式１２を解く。焦点長が未知であ るので、式８によって与えられる８つのパラメータをすべて利用することはでき ない。しかしながら、線形パラメータｐ₁からｐ₄は焦点長に依存せず、このよう なものとして、これらのパラメータに関連する式１０を使用できる。これらの式 を検査すると、Ｔ_z＝０のとき、正規成分Ｎ_zは決定されることができない。しか しながら、成分Ｎ_xとＮ_yはスケーリング（縮小）因数に添うように決定できる。 焦点長は未知なので、この結果はまたＴ_z≠０の場合に関して真である。このよ うなものとして、並進ベクトルはベクトル［ｆＴ_x ｆＴ_y Ｔ_z］の縮小版である 。したがって、Ｔ_zがゼロであろうとなかろうと、本方法は、ベクトルＮおよび 次い でベクトルＫの少なくとも１つの成分を決定できる。本方法は、少なくとも２つ の画像点の高度と式１２を使用し、ベクトルＫとモザイク内の任意の点の高度と を決定する。 上記の技法は、平面（地表）上に横たわるある数の物体の高度を決定するため に実験的に用いられてきた。図１０は、実験的な設定を模式的に示すものである 。具体的には、カメラ１０００は、さまざまな形状の物体１００６が置かれた平 坦な面１００４に近接した三脚１００２に搭載されている。これらの物体は高度 において平面上１インチから４．９インチの範囲である。最初は、水平線から３ ５度の角度にて平面上約６９インチ、すなわち位置１において画像をカメラで撮 影する。次に、カメラをｙ−ｚ面中に約４インチで前方に位置２へ移動する。位 置２において、第２の画像を撮る。上記の高度の評価技法は、位置２からの画像 （検査画像）を位置１において撮られた画像（参照画像）の高度に整合するため に、またさまざまな物体の高度を決定するために使用された。焦点長とカメラ中 心を知ることなくまた３点の高度が既知の場合で、本方法は全体場面の高度を決 定した。各物体の実際の高度に比較して、評価高度に関して最大の標準偏差は０ ．２インチであった。 第２の実験では、検査画像は、カメラを位置３に、例えば位置１からｘ軸に沿 って横方向に約４インチ移動させて発生された。本方法を再度用いて、画像を整 合し高度地図を発生した。この実験の結果、最大の標準偏差は０．２７インチを 示した。 前述の高度評価プロセスは３つのシナリオ、すなわち（１）カメラ情報がまっ たく未知である場合、（２）カメラの焦点長が既知でカメラ中心が未知（または その逆）である場合、（３）カメラ中心と焦点長の双方が既知である場合、の内 容について検討された。第３のシナリオにおいては、空中展望（図形）特性に関 する仮定は、無関係であり仮定されていない。第１と第２のシナリオでは、その 仮定が用いられている。それにもかかわらず、前述の式を少し修正し、高度に関 して解くためにこの仮定を使用することを避けることができる。 ２つの画像のモザイク内にて物体の高度を見いだすために使用される上記の技 法を拡張し、３つ以上の画像から成るモザイクにおける高度情報を決定できる。 マルチフレーム技法は、単一の参照画像とすべての画像にわたって伸張する１つ の参照平面とにすべての画像を整合させるバッチ方法を用いる。ひとたびすべて の画像が平面に沿って整合されると、本方法は画像フレームのおのおのの対の間 での残余視差変位ベクトルを計算する。高度マップは評価された残余視差変位ベ クトルのシーケンスから推論される。 この計算を完結させるには、式１１は式１３のように書き換えられる。 ここで、Ｉ_iとＳ_iはおのおのフレームからフレームに変化する一方、式の右側 が画像シーケンス全体にわたって一定である。このようなものとして、Ｉ_iとＳ_i の比は、モザイク全体にわたって不変な量である。 一連のＮ個の検査フレーム、及び画像平面に対する３つの画像点の高度が与え られている場合、本方法は、Ｎ＋３個の未知の値、すなわちＮ項、Ｓｉ項および ベクトルＫの値を含む３Ｎ個の線形式を解く。まず、本方法はＮ＋３個に関する 未知数の解を見つけ、次にその値を使用して式１３を解きモザイク内の他の点の 高度を評価する。焦点長および／または画像中心が既知の場合、その式は、１つ または２つのみの既知の画像高度値を使用して解くことができる。 画像高度計算を３Ｄ修正されたモザイク・ルーチンと合成し、地形のマッピン グ情報を生成できる。例えば、前述の高度評価システムを使用し地形の高度地図 を発生させて、また３Ｄ修正モザイク・ルーチンが、高度地図の発生するために 使用された同一の発生画像を使用し３Ｄ修正モザイクを発生する。その後に、新 しい展望（view）、例えば地形に対して垂直な展望、が合成され、また高度地図 を修正（新しい展望に順応するように変更）できる。このようなものとして、高 度地図は場面のいかなる任意の視点からも発生されることができる。その結果、 場面の斜視角度で捉えられる画像は、直交視点から場面の画像に変換されること でき、高度情報はその新しい視点から発生されることができる。 ｉｉ．合成図形の発生（ツイーニング（tweening）） 一般的に言えば、３Ｄ場面を表す既存の３Ｄモザイクとそのモザイクに関連し て新しい視点の配置とが与えられると、本システムは、その場面の合成画像を導 出できる。このようなものとして、場面の異なる視点を有する異なるカメラを使 用してその場面をとらえることによって、本システムは、カメラの視点以外の視 点から見た場面の展望である画像を合成できる。 図１１は、スタジオの３Ｄモザイク表現を発生させるために使用された３Ｄス タジオ１１００内のカメラ（camema(s)）のハードウエア配置を示す。このスタ ジオは、本システムが記録できるあるタイプの３Ｄ場面を単に図示している。こ れはもちろん、なんらかの３Ｄ場面と置き換えてもよい。３Ｄモザイク発生プロ セスは、上述したように、場面の複数の画像を使用し、その場面を表す１つまた は複数のモザイクを生成する。このようなものとして、２次元グリッド１１０２ は、複数の１フィートｘ１フィートの正方形を規定し、スタジオに近接した領域 内にカメラ位置を定めるために使用される。一般に、グリッド正方形の特定の寸 法、すなわちカメラ位置の数は場面の複雑さに依存して変化する。また、グリッ ドの形状は記録中の場面の種類に依存して変化し、例えばスポーツ・イベントと 行いた、ある場面はグリッドで囲まれていてもよい。 モザイクのための画像を生成するためには、カメラ１１０４はグリッド正方形 のおのおのから１つの画像（または一連の画像、例えばビデオ）を記録する。そ の画像は典型的には、各グリッド正方形に対してさまざまなカメラの移動撮影パ ン（pan）、カメラの上下の移動、回転およびズーム（zoom）の位置において記 録され、複数の視点から複数の画像を発生する。上記の画像処理システムは、各 カメラ位置において記録された様々な画像から３Ｄモザイクを発生する。同様に して、３Ｄモザイクは、各グリッド点における他のカメラ位置に対して発生され る。例えば、３Ｄモザイク１１０６、１１０８および１１１０（画像モザイク部 分のみが図示される）は、グリッド位置１１１２、１１１４および１１１６から 記録されたものとして場面を表す。これらの３Ｄモザイクはマージされ、例えば 位置１１２０から見たものとして場面を表す合成画像１１１８を発生する。合成 視点で発生された画像は、「現実の」カメラ視点ではなく、むしろ様々なモザイ ク内に含まれる情報から合成される。 本発明によるシステムは、２つのプロセスの内の１つを用いて合成画像を発生 する。場面の合成画像の展望を発生するために使用される第１のプロセスは、個 別のモザイク（例えば、モザイク１１０６、１１０８、１１１０）のおのおのを 合成視点の位置（例えば、位置１１２０）にワープする。このため、各グリッド 点に対して各３Ｄモザイクが発生されるので、３Ｄモザイクはその関連するグリ ッド点へのそれぞれと共にメモリ（モザイク記憶装置１１２２）に格納される。 新しい視点位置が与えられると、そのモザイクはメモリから呼び出され、新しい 視点からの場面を表す合成画像を発生する。撮られている場面の複雑さに依存し て、本システムはメモリ内の３Ｄモザイクまたはこれらモザイクのサブセットを 呼び出してもよく、例えば、新しい展望の位置に最も近いモザイクを呼び出すよ うにしてもよい。新しい展望発生器１１２４を使用すると、呼び出された各３Ｄ モザイクは新しい視点位置（例えば、位置１１２０）にワープされ、そのモザイ クはマージされ新しい展望の画像１１１８を形成する。画像をマージすることは 、典型的には、新しい展望画像を形成するために使用された様々なモザイクの画 素を平均化することによって遂行される。しかしながら、画像をマージする他の 形態のが当業者に知られており、これらの３Ｄモザイクに適用できる。新しい展 望発生器によって発生された結果は、場面１１００の新しい展望（例えば、画像 １１１８）となる。 第２のプロセスは、各カメラ展望の３Ｄモザイクを前に発生された３Ｄモザイ クの位置にワープする。図示されるように、カメラ位置１１１２からの３Ｄモザ イク１１０６が最初に生成され、カメラ位置１１１４から生成されたモザイク１ １０８が次に位置１１１２の座標系へワープされ、最後に、カメラ１１１８によ って生成されたモザイク１１１０が位置１１１２の座標系にワープされる。この ようなものとして、場面（特定的には示されていない）の複合３Ｄモザイクが、 参照座標系（例えば、位置１１１２）から見たものとして様々な３Ｄモザイクを 組み合わせる（マージする）ことによって発生される。もちろん、いかなる座標 系を参照座標系として用いてもよい。また、撮られている場面に依存して、各グ リッド点において発生されたすべての３Ｄモザイクより少ないモザイクが使用さ れ複合モザイクを生成してもよい。その後に、場面のいかなる合成展望が、複合 ３Ｄモザイクを合成眺望の座標系、例えば位置１１２０にワープすることによっ て生成できる。その結果が、場面の新しい展望（画像１１１８）となる。 ｉｉｉ．場面変化の検出 本発明のシステムが、移動する撮像装置（例えば、カメラ）を介して場面を監 視しまた場面の変化を検出するために使用できる。本システムは、視差と視点の 変化とによる変化にに対して訂正し、したがって、先行技術のシステムよりも本 物でない場面変化に敏感でない。 具体的には、本システムは一連の画像を組み合わせることによって変化を検出 し、３Ｄモザイク（または修正された３Ｄモザイク）を形成する。一連の画像内 の任意の画像に関して、つまり３Ｄモザイクに付加されるべき任意の新しい画像 に関して、本システムは、Ｐ−ｔｈｅｎ−Ｐプロセス、Ｐ−ａｎｄ−Ｐプロセス 、または配置評価を用いて、その連続中の前の画像および次の画像と選択された 画像を比較する。「現実の」移動物体を表す変更の「最終的な」領域は、前の画 像との比較と次の画像との比較の双方に出現する領域である。本システムは、他 のすべての変化領域を、視点の変化、つまり視差によるものであると見なす。こ の単純な発見的学習（ヒューリスティック、heuristic）は、反射や遮りなどの 視点に依存する多くの変化領域を解消するに際に非常によく動作する。 ｉｖ．他の応用分野 ３Ｄモザイクは、２Ｄモザイクが現在使用されている応用分野でも使用できる 。具体的には、画像の冗長さは連続した画像をモザイクに組み合わせることによ って除去されるので、ビデオ伝送、ビデオ記憶および検索、ならびにビデオ分析 および処理に用途をモザイクは見い出す。モザイクを使用することによって、よ り少ないビデオデータが送信したり記憶したり分析したりする際に必要とされる 。このようなものとして、本発明によるシステムによって発生される３Ｄモザイ クは、画像情報が効率的に操作され、記憶され、および／または送信される必要 がある多くの分野に用途を見いだした。 本発明の教示を組み込んださまざまな実施態様を詳細に図示し説明したが、こ れらの教示を組み込んだ他の多くの変更された実施態様が工夫されることが当業 者には明かであろう。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ベルゲン，ジェイムズ，アール. アメリカ合衆国 ニュージャージー州 ホ ープウェル イースト プロスペクト ス トリート 57 (72)発明者 アナンダン，パドマナバン アメリカ合衆国 ニュージャージー州 ロ ーレンスヴィル カーヴァー プレイス ビー−２ (72)発明者 イラニ，マイケル アメリカ合衆国 ニュージャージー州 プ リンストンジャンクション レイニング レーン 11−ビー

Claims (1)

1. 【特許請求の範囲】 １．複数の画像を処理し場面の３次元（３Ｄ）モザイクを発生させる方法であっ て、前記方法は、 該場面の複数の画像を提供するステップを備え、 前記画像を整合し、画像モザイクおよび形状モザイクを含む前記３Ｄモザイク を構築するステップを備え、前記画像モザイクは該場面のパラノマ的展望を表し 、前記形状モザイクが該場面の３次元的幾何形状を表す、 方法。 ２．前記整合ステップは、 前記複数の画像内に各画像をパラメータ表面に沿って整合し、整合された画像 を生成させるステップと、 前記整合画像に反応して、前記画像を前記パラメータ表面に沿って整列する際 に有用な並進パラメータおよびパラメータ運動場を決定するステップと、 前記場面内において物体の視差を表す視差場を発生するステップと、 を更に備える請求項１に記載の方法。 ３．前記複数の画像を複数の多重解像度ピラミッドに変換するステップを更に備 え、各画像ピラミッドは複数のレベルを含み、 前記複数の画像が予め定められた正確さに整合されるまで、前記整合ステップ および前記決定ステップは、前記多重解像度ピラミッド内において前記レベルの おのおのにわたって繰り返される、 請求項２に記載の方法。 ４．前記整合ステップは、 整合画像を生成するためにパラメータ表面に沿って前記複数の画像に前記画像 を同時に整合するステップと、 該整合された画像に反応して、該パラメータ表面に沿って該画像を整合する際 に有用な並進パラメータおよびパラメータ運動場を決定するステップと、 前記パラメータ表面にはない物体の視差を表す視差場を発生するステップと、 を更に備える請求項１に記載の方法。 ５．前記画像モザイクおよび前記形状モザイクを多重解像度ピラミッドに変換す るステップを備え、 新しい画像を多重解像度ピラミッドに変換するステップを備え、 該新しい画像を該画像モザイクおよび該形状モザイクに関連付けるための配置 パラメータを決定するステップを備え、該配置パラメータは前記新しい画像に関 する並進パラメータ、平面運動場、および視差運動場を含む、 請求項１に記載の方法。 ６．既存の３Ｄモザイクを提供するステップと、 前記既存の３Ｄモザイクに関連して新しい画像のための配置パラメータを決定 するステップと、 前記新しい画像の画像座標に前記既存の３Ｄモザイクをワープさせ合成画像を 作成するステップであって、前記合成画像は該新しい画像の該座標から該３Ｄモ ザイクの展望を表し、 前記合成画像を前記新しい画像にマージし、前記新しい画像と前記既存の３Ｄ モザイクとの組み合わせである新しい３Ｄ画像を生成するステップと、 を更に備える請求項６に記載の方法。 前記新しい画像に順次に続く次の画像を提供するステップと 前記新しい画像、前記既存の３Ｄモザイク、前記次の画像の間の変化を検出す るステップであって、前記変化は視点の変化による視差を運動として検出するこ となく前記場面内の前記運動を表す。 ７．該場面内の物体によって該場面内において遮られる前記３Ｄモザイク内の点 を検出するステップと、 該遮られた点が前記３Ｄモザイク中にアーチファクト（人工物、artifact）を 生成しないように、該検出された遮られた点を画像処理するステップと、 を更に備える請求項１に記載の方法。 ８．前記パラメータ表面に対して前記３Ｄモザイク内の点の高度を評価するステ ップを更に備え、前記点の前記高度は前記場面内の物体の点の高さを表す高度地 図を形成する、 請求項１に記載の方法。 ９．異なる視点からの場面を表す複数の３Ｄモザイクを提供するステップを更に 備え、３Ｄモザイクは各視点において発生され、 前記複数の３Ｄモザイクを参照座標系にワープさせるステップを更に備え、 前記複数の３Ｄモザイクを併合し、複合３Ｄモザイクを形成するステップを更 に更に備え、 前記場面の新しい視点のための座標を提供するステップを更に備え、 前記新しい視点の座標を前記複合３Ｄモザイクに関連付けるためにパラメータ を決定するステップを更に備え、 前記視点座標に前記複合３Ｄモザイクをワープさせ合成画像を作成するステッ プを更に備え、前記合成画像は該新しい視点から撮られた該複合３Ｄモザイクの 新しい展望を表す、 請求項１に記載の方法。 １０．異なる視点からの場面を表す複数の３Ｄモザイクを提供するステップであ って、３Ｄモザイクは各視点において発生し、 前記場面の新しい視点のための座標を提供するステップと、 前記新しい視点座標を該複数の３Ｄモザイクに関連付けるためにパラメータを 決定するステップと、 前記視点座標に前記複数の３Ｄモザイクをワープさせ合成画像を作成するステ ップであって、前記合成画像は該新しい視点から撮られた該３Ｄモザイクの新し い視点を表し、 前記複数の３Ｄモザイクをマージし前記合成画像を形成するステップと、 を更に備える請求項１に記載の方法。 １１．前記整合ステップは、 整合された画像を最初に生成するためにパラメータ表面に沿って前記複数の画 像内の各画像を整合するステップ、前記最初に整合された画像に反応して、該パ ラメータ表面に沿って該画像を最初に整列する際に有用な初期並進パラメータお よび初期パラメータ運動場を決定するステップ、該場面内にある物体の視差を表 す初期視差場を発生させるステップ、を含むプレイン−ゼン−パララックス・プ ロセスを実行するステップと、 同時に、前記複数の画像中の前記画像を前記パラメータ表面に沿って整合し整 合された最終的な画像を前記初期並進パラメータ、初期パラメータ運動場、およ び初期視差場を用いて生成し、該パラメータ表面に沿って該画像を整合させる際 に有用な最終並進パラメータおよび最終パラメータ運動場を前記整合された最終 画像に応じて決定し、該場面内の物体の視差を表す最終視差場を発生するステッ プと、 を更に備える請求項１に記載の方法。 １２．場面の複数の画像から該場面の３次元（３Ｄ）モザイクを発生するシステ ムであって、 前記複数の画像を格納する手段を備え、 画像モザイクおよび形状モザイクを含む前記３Ｄモザイクを構築するために前 記画像を整合するための、前記格納手段に接続された、整合プロセッサを備え、 前記画像モザイクは該場面のパノラマ的展望を表し、前記形状モザイクが該場面 の３次元幾何形状を表す、 システム。 １３．前記整合プロセッサは、 該画像モザイク内の該画像を整列するために使用される並進パラメータおよび パラメータ運動場を生成するために該複数の画像を通って伸張するパラメータ表 面に沿って前記画像を整列するための、それから、該場面内の物体を表す視差場 を決定するための、プレーン・ゼン・パララクス整合プロセッサを、更に備える 請求項１２に記載のシステム。 １４．前記整合プロセッサは、 該画像モザイク内の該画像を整列するために使用される並進パラメータおよび パラメータ運動場を生成するために該複数の画像を通って伸張するパラメータ表 面に沿って前記画像を整列するための、それから、該場面内の物体を表す視差場 を決定するための、プレーン・アンド・パララクス整合プロセッサを、更に備え る請求項１２に記載のシステム。