JP4634142B2 - 改善された変換および符号化技法 - Google Patents

Description

本発明は、２Ｄ画像から深さマップを導き出すための改善された技法に向けられており、詳細には、本発明は、画像シーケンスと関係づけられた１組の疎な３Ｄ点から稠密な深さマップを回復する方法に関する。
発明の背景
ストラクチャ・フロム・モーション（Structure-from-Motion（ＳｆＭ））は、カメラの平面２Ｄフィルムバックプレーン上に投影されたシーンの３Ｄ情報を回復する方法の集まりである。ＳｆＭアルゴリズムから導き出された構造情報は一般に、画像フレームごとに１つの投影マトリックスによる、画像平面における特定の２Ｄ点とその対応する３Ｄ点との関係を表現する、１組の投影マトリックスの形をとる。ＳｆＭアルゴリズムは、シーンに関するそのような構造情報を決定するために特定の画像特徴を追跡することに依拠する。一般的に言えば、画像のうちの少ないパーセンテージだけが正確に追跡され得るのであり、それらの点は通常、はっきりした強度の不連続が明確な追跡手がかりを付与する、縁端および角に存在する。

同様に、ステレオまたは多眼ディスパリティ分析が、２Ｄ画像から３Ｄ点を決定するために使用され得る。ＳｆＭ分析と同様に、３Ｄ点は、第２の画像との対応を明白に決定するために十分なコントラストが存在する場所で画像の少ないパーセンテージについて確定され得るにすぎない。

立体視画像レンダリング、ロボットナビゲーションおよび特殊効果アニメーションを含むが、これらに限らず、多くの用途において、そうした疎な３Ｄ点は不十分である。そうした用途は、画像における各２Ｄ点が３Ｄ点と関係づけられている稠密な深さマップを必要とする。

稠密な深さマップへの疎な３Ｄ点の変換のための先行技術は、疎な３Ｄデータの空間的補間かまたは、ＲＡＮＳＡＣアルゴリズムといった仮説−検証アプローチのどちらか一方に依拠する。これらの両方のアプローチは、各個別の画像フレームで利用可能な疎な３Ｄ点データを使用するにすぎない。これは２つの主要な欠点につながる。第一に、いずれかの単一の画像で利用可能な疎な点の数が、稠密な深さマップを正確に導き出すために十分でないかもしれず、第二に、１つのフレームから次のものへの深さマップの一貫性が低劣であり得る。本発明は、これらの欠点に対処する疎な３Ｄデータから稠密な深さマップを導き出す方法を開示する。

出願人は、その内容が参照によってここに開示される同時係属ＰＣＴ出願番号ＰＣＴ／ＡＵ０１／００９７５において、１つ以上の画像から深さマップを生成する方法を開示している。この方法は２つのステッププロセスを含んでいた。第１のステップにおいて、単一の画像と関係づけられた疎な深さデータが、その画像についての深さマップを生成するために使用された。第２段階では、画像シーケンスにおける各画像についての深さマップが、段階１で生成された結果を用いて生成された。この方法は理想的な状況ではうまく働くが、プロセスには多くの制限がある。出願人の先行出願では、画像シーケンスにおいて多数のキーフレームを選定することが必要であった。これらのキーフレームの各々について、対応する深さマップを生成するための式が生成され得るように、そのキーフレーム内の十分な数のピクセルについての深さデータがわかっていることが必要であった。すなわち、キーフレーム内の十分な数のピクセルについての深さが与えられれば、他のすべてのピクセルについての深さが決定され得るような関数が導き出すことができた。これらの関数がキーフレームについて生成されると、その後それらは、残りのフレームについての関数を順に生成するために使用することができた。

出願人の先行プロセスの制限のうちの１つは、２つの段階の必要性である。いかなる理由であれ第１段階で誤りが導入された場合、この誤りは第２段階全体に伝播されることが理解されるであろう。そうした状況において、結果として得られる深さマップは、満足なものではないかもしれない。

段階１が満足に完了されることはより大きな関心事であり、そのキーフレームについての深さマップを生成するための式を解くために、キーフレーム内の十分な数のピクセルについての深さがわかっていることが必要である。例えば、キーフレームが３５０，０００ピクセルを有する場合、理想的には、１７，５００ピクセル（つまりピクセルの総数の５％）についての深さが、深さマップのための関数を生成可能にするためにわかっているはずであろう。深さがわかっているピクセルの数が十分でない場合、結果として得られる深さマップの品質は妥当ではないはずである。キーフレームについての正確な深さマップを生成することができなければ、段階２がうまく完了され得ることはありそうもない。従って、深さマップの生成のための単純化された方法の必要性が存在する。
発明の目的
従って、本発明の目的は、２段階プロセスを要求せず、キーフレームにおける不可欠な数のピクセルが既知であるために深さに依存しない、２Ｄ画像シーケンスからの深さマップの生成のための改善されたシステムを提供することである。
発明の概要
上記の目的を意図して、本発明は１態様において、画像シーケンスについての少なくとも１つの深さマップを創成する方法であって、
複数のフレームの画像データを受け取るステップと、
前記複数のフレームのうちの少なくとも１つにおける複数の点の深さデータを受け取るステップと、
画像データの関数として深さ特性を確認するためのアルゴリズムを決定するために前記画像データおよび前記深さデータを利用するステップと、
前記アルゴリズムを利用して少なくとも１つの前記フレームについての深さマップを決定するステップとを含む、方法を提供する。

別の態様において、本発明は、複数のフレームを含む２Ｄ画像シーケンスについて少なくとも１つの深さマップを創成する方法を提供し、個々の前記フレームは複数の点を含んでおり、前記方法は、
少なくとも１つの前記フレームにおける複数の前記点についての深さデータを受け取るステップと、
前記深さデータを有する前記点について画像データを決定するステップと、
前記画像データと前記深さデータとの関係を符号化するためにクラシファイヤに前記深さデータおよび前記画像データを入力するステップと、
前記符号化された関係を利用して２Ｄ画像の少なくとも１つの前記フレームについての深さマップを導き出すステップとを含む。

また別の態様において、本発明は、画像シーケンスについての深さマップを創成する方法であって、
前記画像シーケンスにおける複数の点についての深さデータを受け取るステップと、
画像特性および相対位置の関数として深さ特性を確認するためのクラシファイヤを訓練するために前記深さデータを利用するステップと、
前記画像特性を利用して前記画像シーケンスの各フレームについての深さマップを創成するステップとを含む、方法を提供する。

さらに別の態様において、本発明は、画像シーケンスについての深さマップを創成する方法であって、
前記画像シーケンスを複数の画像ショットに分割するステップと、
各画像ショットについて、複数の点についての深さデータを受け取り、画像特性および相対位置の関数として深さ特性を確認するための初期アルゴリズムを創成するためのそれぞれのクラシファイヤを訓練するために前記深さデータを利用するステップと、
複数の前記ショットからの少なくとも２つの初期アルゴリズムを結合することによって少なくとも１つの結合されたアルゴリズムを創成するステップと、
前記少なくとも１つの結合されたアルゴリズムを用いて前記画像シーケンスの各フレームについての深さマップを創成するステップとを含む、方法を提供する。

別の態様において、本発明は、画像シーケンスについての少なくとも１つの深さマップを創成する方法であって、
前記画像シーケンスを複数の画像ショットに分割するステップと、
少なくとも１つの画像ショットにおける複数の点についての深さデータを受け取るステップと、
前記深さデータおよび、画像特性および相対位置の関数として深さ特性を確認するためのクラシファイヤを利用するステップと、
前記画像特性を利用して前記少なくとも１つの画像ショットの少なくとも１つのフレームについての深さマップを創成するステップとを含む、方法を提供する。

画像データは、個々の点またはピクセルについてのＲＧＢ値を含み得て、また相対ＸＹ位置を含み得る。本発明はまた、画像内の多数の点についての深さデータを決定する初期ステップを含み得る。深さデータは、手動、自動または、手動および自動手段の組合せのいずれかによって決定され得る。

画像シーケンスを一連のショットに分割する場合、本発明の好ましい実施形態は、各フレームの両側の２つのクラシファイヤの結果を結合するであろう。
発明の詳細な説明
深さマップは、特定の視点からのシーンの３Ｄ輪郭を表現する。稠密な深さマップが２Ｄ画像と関係づけられている場合、それは、画像をキャプチャするために使用されたカメラと画像における各ピクセルについて観察された物体との間の距離を符号化する。本発明の目的は、以下の手段のうちの１つから導き出され得る、３Ｄ点の疎な集合だけが与えられたとした時に深さマップを回復することである。

これを達成するために、多数の画像フレームを含んでいる画像シーケンスは、一連のショットに分解され得る。ショットは理想的には、フレーム間の差異が比較的小さい１つ以上の画像フレームを含む。画像シーケンスにおけるショット境界の頻度および配置は、そのシーケンスにおける動きに依存し得る。ショット境界は、オペレータによって手動で、またはショット検出アルゴリズムを用いて自動的に識別され得る。ショット検出アルゴリズムは、入力として画像フレームのシーケンスを受け取り、１つ以上のショット境界を出力する。ショット境界は、画像シーケンスを、任意のグループ内の連続する画像間の差異が比較的小さいものであるような１つ以上のグループに効果的に区分する。自動ショット検出アルゴリズムは一般に、画像差分化（image differencing）に基づく。例えば、ショット境界がシーケンスの２つの連続する画像間に挿入されるべきかどうかを決定するために、２つの画像の各ピクセル間の全差分が計算される。この差分が既定の閾値より上であれば、ショット境界が挿入される。

３Ｄ点は、カメラからの点の距離を表現する関係する深さ値を備える２Ｄ点として定義され得て、以下のプロセスのいずれか１つか、またはいずれかの組合せによって生成され得る。

１．ストラクチャ・フロム・モーション（Structure-from-Motion）アルゴリズム：そうしたアルゴリズムは、初めに第１の画像における多数の特徴点を識別し、以降の画像で同じ特徴点を見つけようとするであろう。物体の角または縁端といったハイコントラスト領域は一般に、追跡のために識別される最も信頼できる特徴である。十分な対応する２Ｄ点が突き止められると、３Ｄ点を導き出すことが可能である。例えば、２つの画像間で８つの対応する２Ｄ点が既知であれば、ロング・ヒギンズ（Longuet-Higgens）アルゴリズムが画像間のエピポーラ（epipolar）ジオメトリを回復するために使用され得る。カメラ較正マトリックスと組合せて、対応した２Ｄ点は、それらの回復された３Ｄ位置を見つけるために三角測量され得る。

２．ステレオまたは多眼アルゴリズム：画像シーケンスが固定した相対的構成で２台以上のカメラを用いてキャプチャされた場合、各カメラの画像間の対応が、三角測量（triangulation）によって深さ推定値を導き出すために使用され得る。ＳｆＭアルゴリズムと同様に、対応する点はハイコントラスト領域で確実に識別され得るにすぎず、そのようなアルゴリズムから決定され得る正確な３Ｄ点の数を制限する。

３．手動点対応または直接的な深さ割り当て：３Ｄ点は、２つ以上の画像における点間の対応を示すことによるか、深さ値を単一の２Ｄ点と直接関係づけることによるかのどちらか一方によって、手動で識別され得る。

本発明は、２Ｄ点（入力）と３Ｄ点（出力）との間の関係を符号化するためにクラシファイヤを使用する。クラシファイヤは、１組の入力と１組の出力との間の関係を符号化するアルゴリズムと考えることができる。クラシファイヤは、多数の異なる状態にあるとしてよい内部コンフィギュレーションを有する。監視された分類において、クラシファイヤは、その内部状態を入力と出力との間の関係の例を用いて適応させる。このプロセスは、クラシファイヤの訓練と呼ぶことができる。クラシファイヤは、上述したプロセスから導き出された３Ｄ点を用いて訓練され得る。代替として、訓練を必要としないクラシファイヤが選定され得る。

明快さの目的で、以下の画像シーケンス内で時間ｔに生起する画像における場所ｘ，ｙの２Ｄ点について説明する。

Ｐ｛ｘ，ｙ，ｔ，Ｉ｝
ここに、Ｉは点Ｐの画像特性の集合である。好ましい実施形態において、画像特性Ｉは、２Ｄ点Ｐの赤、緑および青の色成分から構成される。赤、緑および青色成分の線形または非線形の組合せ、または高次統計を含むが、それらに限らない、あらゆる他の画像特性もまた、本発明の性質に影響を及ぼすことなく使用され得る。

３Ｄ点は、次のように定義される。

Ｒ＝｛ｘ，ｙ，ｚ，ｔ，Ｉ｝
ここに、ｚは、深さまたは、点Ｒのカメラからの距離に対応する。上述した技法によって生成される３Ｄ点は、クラシファイヤを訓練するために使用され得る。クラシファイヤは、１組の２Ｄ点とそれらの対応する３Ｄ点との間の関係を符号化する。この関係が時間につれて変化すると、クラシファイヤは既定の時間間隔Ｔにわたり訓練される。好ましい実施形態において、この時間間隔は、ショット検出によって識別された通り、画像シーケンスの分解に一致する。単一の時間間隔Ｔが時間上隣接していない１つ以上のショットを含み得ることに留意しなければならない。画像シーケンスは、例えばカメラが交互にインタビューする人とインタビューされる人に焦点を合わせるニュースインタビューの間において、２つ以上の異なるシーン間で交番し得る。そうした状況では、時間間隔Ｔは、１つのシーンからの全部の画像を含み得る（例えばインタビュアー）。図３は、図の中央の３つのフレームが単一のショット２に属するように、ショット検出アルゴリズムを用いて分解された画像シーケンスを示している。フレーム１は先行ショット１４における画像であり、フレーム５は後続ショット１５における画像である。ショットにおける各画像フレームは、それと関係づけられた多数の３Ｄ点４を有する。各３Ｄ点についての深さＺが手動または自動で導き出されたかどうかは重要でなく、必要とされるのは、その深さがわかっている一連の点である。簡単のために、これらの３Ｄ点は、２Ｄ画像平面へのそれらの投影によって表現される。現在ショット内の全部の３Ｄ点は、それらがいずれのフレームにあるかに関わらず、訓練データとしてクラシファイヤに入力される。

訓練されたクラシファイヤ３は、時間間隔Ｔにわたり２Ｄ点Ｐと３Ｄ点Ｒとの間の関係またはマッピングを次のように表現することができる。

Ｃ｛Ｔ｝：Ｐ｛ｘ，ｙ，ｔ，Ｉ｝≡Ｒ｛ｘ，ｙ，ｚ，ｔ，Ｉ｝ ｔが間隔Ｔに該当する場合
言い換えると、画像フレームの特定の集合上で導き出された３Ｄ点を用いて訓練されたクラシファイヤはこの時、同じ時間間隔にわたるあらゆる他の２Ｄ点についての深さ値を回復するために使用され得る。

クラシファイヤを特定の時間間隔に制限することは、それが２Ｄ点から３Ｄ点を回復できる精度を向上させるが、時間につれて矛盾する結果につながり得る。それらの矛盾は一般に、２つのクラシファイヤの時間境界で現れる。

例えば、画像シーケンスが２つのショットに分解された状況を検討しよう。クラシファイヤは、各ショットにおける全部の３Ｄ点について訓練される。また、第１のショットがｔ_１からｔ_２まで（これらを含めて）の画像フレームを占有し、第２のショットがｔ_３からｔ_４まで（これらを含めて）の画像フレームを占有すると仮定する。ｔ_２における画像フレームは第１のクラシファイヤを用いて分類され、ｔ_３における画像フレームは第２のクラシファイヤを用いて分類される。特定の状況において、これは回復された深さマップにおける顕著な不連続を生じ得る。すなわち、第１のショットの物体は、分類の結果としてある特定の深さに現れるかもしれないが、第１のショットにおけるそれらの同じ物体が、第２のクラシファイヤの結果として第２のショットにおいて異なる深さに現れるかもしれない。この状況では、画像は見る人にとって跳びまわるように見える。

これが問題となり得る状況において、本発明の好ましい実施形態は、２つのやり方で一貫性の問題に対処する。

訓練の前に、クラシファイヤは一般に、いずれかのランダム状態に初期化される。クラシファイヤの性質に応じて、この初期状態は、訓練後のクラシファイヤの最終状態に重大な影響を及ぼし得る。Ｃ_２がＣ_１の後に生起する２つのクラシファイヤＣ_１およびＣ_２の間の一貫性を改善するために、Ｃ_２は、クラシファイヤＣ_１の初期状態と同じ状態に初期化され得る。代替として、Ｃ_２は、クラシファイヤＣ_１の一部または完全に訓練された状態を用いて初期化され得る。例えば、第１のクラシファイヤがランダム状態ｓ１に初期化されると仮定する。訓練の間、クラシファイヤは、その状態を例えばｓ１からｓ５０まで繰り返し変えるかもしれない。第１のクラシファイヤの後に第２のクラシファイヤは、例えばランダム状態の代わりに状態ｓ１０に初期化され得る。第２のクラシファイヤのいずれかの状態を伴い第１のクラシファイヤを初期化するプロセスは、第１のクラシファイヤのブートストラップと称する。ブートストラップは、開始状態が一般に最終的な訓練された状態に近いので、クラシファイヤが訓練され得る速度を増大させるという付加的な利益を有する。

結果の一貫性をさらに改善するために、２つ以上のクラシファイヤが、２Ｄ点から３Ｄ点を決定するために結合され得る。例えば、時間ｔ_１から時間ｔ_２までの時間間隔にわたって訓練されたクラシファイヤが、ｔ_１とｔ_２との間の中間点である時間上の特定の点に関係づけられていると考える。

３Ｄ点を決定したいと望むいずれかの点Ｐ｛ｘ，ｙ，ｔ，Ｉ｝について、その時間中間点が時間ｔの直前および直後に生起する２つの最も近いクラシファイヤを決定する。図４は、２つのショット１２および１３に分解された、多数の画像フレームよりなる画像シーケンスを示している。時間ｔは、個々の連続する画像フレームとともに左から右へ増す。画像シーケンスのショット１２内の画像７の一部である所与の２Ｄ点６について３Ｄ点を決定するために、２Ｄ点６の時間ｔの直前に時間中間点を備える第１のクラシファイヤ１４と、その直後に時間中間点を備える第２のクラシファイヤ１５が結合され得る。

第１のクラシファイヤ１４は３Ｄ点Ｒ_１を出力し、第２のクラシファイヤ１５は３Ｄ点Ｒ_２を出力すると仮定して、２Ｄ点Ｐが入力として与えられた場合、結合手段１８が、Ｒ_１およびＲ_２を結合することによって改善された３Ｄ点Ｒ_３を生成することができる。結合手段１８は、Ｒ_１とＲ_２とを単純に平均することができるが、理想的にはその入力の重みつき結合を使用する。好ましい実施形態において、重みは、点Ｐとクラシファイヤの時間中間点との間の時間距離に基づく。このプロセスのさらなる例証として、ｔ_１とｔ_２との間の時間間隔にわたって訓練された第１のクラシファイヤ１４の時間中間点が、Ｔ_ｍ１＝０．５＊（ｔ_１＋ｔ_２）として定義されると考える。同様に、ｔ_３とｔ_４との間の時間間隔にわたって訓練された第２のクラシファイヤ１０の時間中間点はＴ_ｍ２＝０．５＊（ｔ_３＋ｔ_４）と定義される。

第１のクラシファイヤ１４についてｗ_１＝（ｔ−ｔ_ｍ１）／（ｔ_ｍ２−ｔ_ｍ１）および第２のクラシファイヤ１５についてｗ_２＝（ｔ_ｍ２−ｔ）／（ｔ_ｍ２−ｔ_ｍ１）のそれぞれの重みを計算することによって、２つのクラシファイヤの相対的寄与を決定することができる。その後、改善された３Ｄ点Ｒ_３は次のように計算され得る。

Ｒ_３＝ｗ_１＊Ｒ_１＋ｗ_２＊Ｒ_２
代替実施形態において、重みづけは、時間近接性に対する分類誤り推定値によって決定される。

本システムが、出願人の先行システムとは、従って画像シーケンスについての深さマップの生成のためのあらゆる他の方法とも著しく異なることは理解されるであろう。図１でわかるように、出願人の先行プロセスは、多数のキーフレームの選定および、各キーフレーム内の十分な数のピクセルに関する深さが既知であることを必要とした。各キーフレームについて、十分なピクセルが深さを割り当てられていると仮定すれば、その場合、深さマップが段階１で創成できた。各キーフレームの深さマップはその後、段階２において残りのフレームに関する以降の深さマップを開発するために使用された。このプロセスは、図２で例証されている本発明と著しく異なる。図２は、画像シーケンスからキーフレームを選定することがもはや不要であることを示している。さらに、特定のフレームまたはキーフレームが、十分な数のピクセルまたは点に割り当てられた深さを有することを保証することももはや不要である。そうではなく、本発明は、深さマップを創成するために多数のフレームにわたる多数のピクセルについての深さおよび画像データを受け取る。クラシファイヤのためのデータが、特にその画像シーケンスが静止物体のものである場合、単一のフレームに由来し得ることは理解されるであろうが、この状況においてさえ、２つのキーフレームについて２つの深さマップを生成し、その後それらのキーフレーム深さマップを使用して以降の深さマップを生成していた先行システムに代わり、クラシファイヤはショットの各フレームについて深さマップを生成するために使用されるという点で、それは出願人の先行出願とは異なる。

個々の場合において各ピクセルの画像データが既知であることは理解されるであろう。すなわち、ＲＧＢ成分を考えた場合、各ピクセルについて、システムは相対ＸＹ位置および、ＲＧＢ値を知っている。必要とされることは、ショットシーケンスにわたる多数のピクセルがそれらに割り当てられた深さを有することである。この深さは、手動または自動的に、または手動および自動の組合せで割り当てられ得る。この情報はその後、本発明のクラシファイヤに渡されて、それによってショットの各フレームに関する深さマップを創成し得る。

本発明のシステムは、隣接するショットにおけるクラシファイヤを利用することによってさらに改善され得る。すなわち、単一のクラシファイヤによってのみ生成された深さマップに頼るのではなく、隣接するクラシファイヤによって生成された深さへの参照がなされる。これはやはり図５において例証されている。この場合、第１のショット１２は４フレームを含み、それらのデータはクラシファイヤ１４に供給される。同様に、隣接するショット１３は６フレームを含み、それらのデータは第２のクラシファイヤ１５に供給される。フレーム１〜１０のいずれかにおけるいずれかの点、例えば第４フレーム１７における点１６についての深さを決定するために、両方のクラシファイヤからの出力は、その点における深さを決定するために結合される。理想的には、どちらか一方のクラシファイヤへの信頼は、いずれのフレームが考慮されているかに依存して、ある特定のクラシファイヤに有利に重みづけされる。例えば、図４の例において、クラシファイヤ１５の重みづけは、第１フレームに対して第５フレームにおいて相当に大きくなるはずである。同様に、クラシファイヤ１４の重みづけは、フレーム１０についてよりもフレーム５について大きくなるであろう。

重みづけは、画像内の物体の深さが時間につれて変化し得るという事実を考慮するように設計される。また、物体の深さは、物体の履歴的な深さに加え、物体の将来的な深さの両方に対する何らかの関連を有することも理解される。種々のクラシファイヤに重みづけすることによって、ショット間のより滑らかな移行が達成され得る。

より複雑なシステムでは、移行平滑化をさらに改善するために２超のクラシファイヤを結合することが可能となり得ることが理解されるはずである。例えば、ある特定のショットについてのクラシファイヤに加え、そのショットの両側の２つの隣接するクラシファイヤを含む、３つのクラシファイヤが使用され得る。

出願人の先行システムは、その時に知られていたものから著しい進歩を遂げたと考えられた。本システムは、出願人の先行システムからさらに著しい進歩を遂げている。いずれかの画像シーケンス内のフレームについて深さマップを決定するために２段階プロセスを実行することは、もはや不要である。さらに、段階１のための深さマップを導き出すために単一のフレーム内の十分な数のピクセルがわかっていることも、もはや不要である。逆に、本発明は、単一のフレームに依拠することもできるであろうが、一連のフレームから情報を導き出し、それによってそれらのフレームの各々についての深さマップを生成することができる。さらに、本システムは、例えば図４のフレーム９によって示されたように、たとえある特定のフレームについていかなる深さデータもわからない場合でさえ、実行することができるであろう。この状況では、クラシファイヤは残りのフレームにおける既知の深さデータを使用する。

本発明の方法および装置を例示的な適用によって要約し説明したが、多数の広範に異なる実施形態および応用が本発明の教示および範囲の内にあり、ここに提示された例は例証としてのものであるにすぎず、本発明の範囲を限定するものとして解釈してはならないことは、当業者には理解されるであろう。

は、出願人の同時係属特許出願の作業を例示している。 は、本発明の動作を例証している。 は、本発明の１実施形態におけるクラシファイヤの使用を例示している。 は、隣接クラシファイヤの使用による本発明の好ましい実施形態を例示している。

Claims (20)

1. 画像シーケンスについての少なくとも１つの深さマップをコンピュータが創成する方法であって、
   前記画像シーケンスの１以上の各フレームの中の一部の、前記画像シーケンスの中の全ての点のうちの一部である複数の点についての深さデータを受け取るステップと、
   前記深さデータを有する前記複数の点についての相対位置及び前記画像シーケンスのフレーム間での相対位置の対応関係を含まない画像特性を受け取るステップと、
   画像特性および相対位置の関数として深さ特性を算出するためのクラシファイヤのアルゴリズムを決定するために、前記複数の点についての前記深さデータ、前記画像特性、及び前記相対位置を前記クラシファイヤに入力するステップと、
   前記クラシファイヤを利用して前記画像シーケンスの少なくとも１つのフレームについての深さマップを創成するステップとを含む、方法。
2. 前記画像特性はＲＧＢ値を含む、請求項１記載の方法。
3. 前記相対位置は相対ｘｙ位置を含む、請求項１または請求項２に記載の方法。
4. 前記画像シーケンス内の少なくとも所定の数の点についての深さデータを算出する初期ステップをさらに含む、請求項１〜３のうちのいずれか１つに記載の方法。
5. 前記クラシファイヤをブートストラップする初期ステップを含む、請求項１〜３のうちのいずれか１つに記載の方法。
6. 画像シーケンスについての少なくとも１つの深さマップをコンピュータが創成する方法であって、
   前記画像シーケンスを複数の画像ショットに分割するステップと、
   前記画像ショットの１以上の各フレームの中の一部の、前記画像ショットの中の全ての点のうちの一部である複数の点についての深さデータを受け取るステップと、
   前記深さデータを有する前記複数の点についての相対位置及び前記画像ショットのフレーム間での相対位置の対応関係を含まない画像特性を受け取るステップと、
   画像特性および相対位置の関数として深さ特性を算出するためのクラシファイヤのアルゴリズムを決定するために、前記複数の点についての前記深さデータ、前記画像特性、及び前記相対位置を前記クラシファイヤに入力するステップと、
   前記クラシファイヤを利用して前記少なくとも１つの画像ショットの少なくとも１つのフレームについての深さマップを創成するステップとを含む、方法。
7. 各ショットは対応するクラシファイヤを割り当てられる、請求項６記載の方法。
8. 少なくとも１つの対応するクラシファイヤが先行クラシファイヤと類似の状態に初期化される、請求項７記載の方法。
9. 画像シーケンスについての少なくとも１つの深さマップをコンピュータが創成する方法であって、
   複数のフレームのうちの１以上の各フレームの中の一部の、前記複数のフレームの中の全ての点のうちの一部である複数の点についての深さデータを受け取るステップと、
   前記深さデータを有する前記複数の点についての前記複数のフレーム間での相対位置の対応関係を含まない画像データを受け取るステップと、
   画像データの関数として深さ特性を算出するためのクラシファイヤのアルゴリズムを決定するために、前記複数の点についての前記画像データ及び前記深さデータを前記クラシファイヤに入力するステップと、
   前記クラシファイヤを利用して前記複数のフレームのうち少なくとも１つについての深さマップを決定するステップとを含む、方法。
10. 前記画像データはＲＧＢ値を含む、請求項９記載の方法。
11. 前記画像データは相対ｘｙ位置を含む、請求項９または請求項１０に記載の方法。
12. 前記画像シーケンス内の少なくとも所定の数の点についての深さデータを算出する初期ステップをさらに含む、請求項９〜１１のうちのいずれか１つに記載の方法。
13. 画像シーケンスについての少なくとも１つの深さマップをコンピュータが創成する方法であって、
    前記画像シーケンスを複数の画像ショットに分割するステップと、
    各画像ショットについて、当該画像ショットの１以上の各フレームの中の一部の、当該画像ショットの中の全ての点のうちの一部である複数の点の、深さデータ、相対位置及び当該画像ショットのフレーム間での相対位置の対応関係を含まない画像特性を受け取り、画像特性および相対位置の関数として深さ特性を算出するためのクラシファイヤの初期アルゴリズムを生成するために、前記複数の点についての前記深さデータ、前記画像特性、及び前記相対位置を前記クラシファイヤに入力するステップと、
    複数の前記ショットからの少なくとも２つの初期アルゴリズムを結合することによって、これらの初期アルゴリズムの出力を用いた出力を得るための少なくとも１つの結合されたアルゴリズムを創成するステップと、
    前記少なくとも１つの結合されたアルゴリズムを用いて前記画像シーケンスの少なくとも１つのフレームについての深さマップを創成するステップとを含む、方法。
14. 前記画像特性はＲＧＢ値を含む、請求項１３記載の方法
15. 前記相対位置は相対ｘｙ位置を含む、請求項１３または請求項１４に記載の方法。
16. 前記画像シーケンス内の少なくとも所定の数の点についての深さデータを算出する初期ステップをさらに含む、請求項１３〜１５のうちのいずれか１つに記載の方法。
17. 前記結合されたアルゴリズムは前記少なくとも２つの初期アルゴリズムの出力の平均を用いるように決定される、請求項１３〜１６のうちのいずれか１つに記載の方法。
18. 前記結合されたアルゴリズムは前記少なくとも２つの初期アルゴリズムの出力の加重平均を用いるように決定される、請求項１３〜１６のうちのいずれか１つに記載の方法。
19. 前記クラシファイヤをランダム状態に初期化する初期ステップを含む、請求項１３〜１８のうちのいずれか１つに記載の方法。
20. 少なくとも１つの前記それぞれのクラシファイヤが先行クラシファイヤと類似の状態に初期化される、請求項１３〜１８のうちのいずれか１つに記載の方法。

Images