JP4898459B2

JP4898459B2 - 奥行きマップの生成

Info

Publication number: JP4898459B2
Application number: JP2006553726A
Authority: JP
Inventors: レーデルト，ペーテル−アンドレ; エーエルンスト，ファビアン
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2004-02-17
Filing date: 2005-02-07
Publication date: 2012-03-14
Anticipated expiration: 2025-02-07
Also published as: KR20060124704A; US20070146232A1; DE602005004125T2; EP1719079B1; WO2005083630A3; WO2005083630A2; ATE382919T1; US8036451B2; CN1922631A; JP2007522589A; WO2005083631A3; WO2005083631A2; DE602005004125D1; EP1719079A2; CN100568281C; KR101183863B1

Description

本発明は、画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する方法に関する。

本発明はさらに、画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する奥行きマップ生成ユニットに関する。

本発明はさらに：
・画像に対応する信号を受け取る受領手段と、
・奥行きマップを生成するような奥行きマップ生成ユニット、
とを有する画像処理装置に関する。

本発明はさらに、画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成するための命令を有する、処理手段とメモリとを有するコンピュータ装置によって読み込まれるコンピュータプログラムプロダクトに関する。

マルチビューディスプレイ装置上で３Ｄの印象を生成するためには、異なる仮想視点からの画像をレンダリングする必要がある。これは複数の入力ビューか、何らかの３Ｄもしくは奥行き情報かのどちらかが存在していることを要求する。この奥行き情報は、記録されていることもできるし、マルチビューカメラシステムから生成されるか従来式の２Ｄビデオ素材から生成されるかすることもできる。２Ｄビデオから奥行き情報を生成するためには、いくつかの種類の奥行き情報が適用できる：運動からの構造復元（structure from motion）、ピント情報、幾何学形状および動的隠蔽（dynamic occlusion）などである。そのねらいは密な奥行きマップ、すなわちピクセルごとの奥行き値を生成することである。この奥行きマップはその後、マルチビュー画像をレンダリングして観察者に奥行きの印象を与えるのに使われる。P. A. Redert, E. A. Hendriks, and J. Biemondによる論文“Synthesis of multi viewpoint images at non-intermediate positions”, Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN0-8186-7919-0, pp.2749-2752, IEEE Computer Society, Los Alamitos, California, 1997では、入力画像および奥行きマップに基づいて奥行き情報を抽出し、マルチビュー画像をレンダリングする方法が開示されている。

本発明の一つの目的は、冒頭で述べた種類の方法であって新しい奥行き情報に基づくものを提供することである。

本発明のこの目的は、当該方法が：
・第一のピクセルから、画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されているピクセル値の間の差を組み合わせることによって、画像の前記第一のピクセルについてのコスト値を計算し、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てる、
ことを有することにおいて達成される。

本発明は、次のような観察に基づいている。画像化される場面中のオブジェクトは異なる大きさ、輝度および色をもち、ある空間的配置をもつ。いくつかのオブジェクトは他のオブジェクトを隠蔽する。画像中のピクセルの輝度および／または色の値の相違は主としてオブジェクトの表面の光沢的特徴の差に関係しており、場面中での光源に対するオブジェクトの空間的位置にも関係している。表面の光学的特徴は、たとえば、色や反射性を含む。よって、画像化される場面中で第一の画像セグメントが第一のオブジェクトに対応し、第二の画像セグメントが第二のオブジェクトに対応するとすると、輝度および／または色の比較的大きな遷移、すなわち隣接ピクセルのピクセル値の間の比較的大きな相違が、第一の画像セグメントと第二の画像セグメントとの間の遷移に対応する。当該画像の諸ピクセルについて各ピクセルから画像の所定の位置への経路上における輝度および／または色の遷移すなわちピクセル値の間の相違の数および程度を決定することによって、場面中のオブジェクトの空間的配置に関する個々の指標が獲得できる。こうした指標、すなわちコスト値は、実質的に奥行き値に変換される。この変換は好ましくはそのコスト値とある所定の定数との積である。代替的には、その変換は個々のコスト値を所定の奥行き値の範囲に規格化によってマッピングすることに対応する。

背景もまた一つまたは複数のオブジェクト、たとえば空や森、草原をなしていることを注意しておくべきだろう。

輝度および／または色の遷移に基づく奥行き値は、たとえば引用論文に記載されているようにマルチビューをレンダリングするための奥行き値として直接使うことができる。好ましくは、本発明に基づく奥行き値は上述したような代替的な奥行き情報に基づく他の奥行き値と組み合わされる。

本発明に基づく方法のある実施形態では、前記の差の第一のものは前記経路上に配置される隣接ピクセルのそれぞれの値の間の差に等しい。二つの隣り合うピクセルの間の差を計算することは比較的容易である。代替的には、差は３つ以上のピクセル値に基づく。さらなる代替では、いずれも前記経路上にあるが隣り合ってはいない２つのピクセルの間で差が計算される。たとえば、所定の距離以内に位置する個々のピクセルに対応するピクセル値のうちの最小および最大のピクセル値の間で差が計算される。好ましくは、前記経路上に配置されているピクセルの個々の値の間の差の絶対値が計算される。

本発明に基づく方法のある実施形態では、第一のピクセルについてのコスト値が、前記経路上に配置されているピクセルの値の間の差を累積することによって計算される。累積、すなわち差の積分、総和または加算を実装するのは比較的容易である。好ましくは、所定の閾値よりも大きい差のみが累積によって組み合わされる。閾値を適用することの利点は、奥行き値の決定の、画像内ノイズへの敏感さが減少することである。

本発明に基づく方法のもう一つの実施形態では、第一のピクセルについてのコスト値が、前記経路上に配置されているピクセルの値の間の差と前記差についての個別の重み付け因子との積を累積することによって計算される。重み付け因子を適用することによって、個々のピクセルに対応する奥行き値の計算のためのピクセル値の差の寄与を制御することが可能となる。例として、ある特定のピクセルの値とその隣接ピクセルの値との間の差に関係する重み付け因子の第一のものは、前記特定のピクセルと前記第一のピクセルとの間の距離に基づく。重み付け因子のこの第一のものは、典型的には、前記特定のピクセルと前記第一のピクセルとの間の距離が比較的大きい場合に比較的小さくなる。例として、ある特定のピクセルの値とその隣接ピクセルの値との間の差に関係する重み付け因子の第二のものは、前記特定のピクセルに対する前記隣接ピクセルの位置に基づく。たとえば、前記重み付け因子の第二のものは、前記隣接ピクセルが前記特定のピクセルの上に位置する場合に比較的大きくなり、前記隣接ピクセルが前記特定のピクセルの下に位置する場合に比較的小さくなる。あるいはまた、前記重み付け因子の第二のものは、第一のベクトルが前記特定のピクセルに対する前記隣接ピクセルの位置に対応し、第二のベクトルが前記第二のピクセルに対する前記第一のピクセルの位置に対応するとして、第一のベクトルと第二のベクトルとの間の角度に関係する。

本発明に基づくある実施形態は、さらに：
・第一のピクセルから、画像ピクセルの所定のサブセットに属する第三のピクセルへの第二の経路上に配置されているピクセル値の間の差を組み合わせることによって、画像の前記第一のピクセルについての第二のコスト値を計算し、
・前記コスト値および前記第二のコスト値のうちの最小値を決定し、
・前記最小値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てる、
ことを有する。

本発明に基づくこの実施形態では、奥行き値の前記第一のものは、複数の経路に関係する複数の値からの特定の選択、すなわちすなわち前記第一のピクセルから前記第二のピクセルへの最適経路に基づいている。第二のピクセルおよび第三のピクセルは互いに等しい、すなわち同じであってもよいことを注意されたい。各経路に関係するコスト値の選択または組み合わせの代替的な種類が有利である。たとえば、複数の経路に関係するコスト値の平均を計算することができる。

本発明に基づく方法のもう一つの実施形態はさらに、前記第一のピクセルについてのコスト値に基づいてある第三のピクセルについての第二のコスト値を計算することを含む。すでに計算されたコスト値を再利用することは、計算効率のよい実装につながる。典型的には、第二のコスト値の計算は、前記第一のピクセルのコスト値を前記第三のピクセルから前記第一のピクセルへの第二の経路上に配置されているさらなるピクセルのさらなる値の間の差と組み合わせることによって実行される。

画像の各ピクセルに対応するコスト値がさらなるピクセルについて計算されたさらなるコスト値に基づいて逐次的に計算される、本発明の方法のある実施形態では、画像のある第一の行のピクセルについてのコスト値の逐次の計算の第一のスキャン方向は、画像のある第二の行のピクセルについてのコスト値の逐次の計算の第二のスキャン方向とは逆向きである。典型的には、画像の各ピクセルについて奥行き値を計算しなければならない。好ましくは、ある特定のピクセルについてある特定のコスト値を計算する際に、他のピクセルについてすでに計算されているコスト値が利用される。一連のピクセルが処理される、すなわち奥行き値が計算される順序は重要である。好ましくは、その順序は、画像の諸ピクセルが行ごとに、あるいは代替的に列ごとに処理されるような順序である。ピクセルが行ごとに処理される場合、たとえば偶数行は左から右、奇数行は右から左へ、あるいはその逆など、相続く行は逆方向に処理することが有利である。本発明人らは、このジグザグ式の処理が、すべての行が同じスキャン方向に処理される処理よりもずっと良好な結果をもたらすことを観察するに至った。このジグザグ式処理に基づいて生成される奥行きマップの品質は、各経路についてコスト値を決定する、より高価な諸方法からの結果に匹敵する。より高価とは、最適経路を決定するためにより多くの経路が評価されるということを意味する。

本発明のさらなる目的の一つは、冒頭で述べた種類の奥行きマップ生成ユニットであって新しい奥行き情報に基づくものを提供することである。

本発明のこの目的は、前記生成ユニットが：
・第一のピクセルから、画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されているピクセル値の間の差を組み合わせることによって、画像の前記第一のピクセルについてのコスト値を計算する計算手段と、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てる割り当て手段、
とを有することにおいて達成される。

本発明のさらなる目的の一つは、冒頭で述べた種類の奥行きマップ生成ユニットであって新しい奥行き情報に基づいて奥行きマップを生成するよう構成されたものを有する画像処理装置提供することである。

本発明のさらなる目的の一つは、冒頭で述べた種類のコンピュータプログラムプロダクトであって新しい奥行き情報に基づいたものを提供することである。

本発明のこの目的は、当該コンピュータプログラムプロダクトが、読み込まれたのちに、前記処理手段に：
・第一のピクセルから、画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されているピクセル値の間の差を組み合わせることによって、画像の前記第一のピクセルについてのコスト値を計算し、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てる、
ことを実行する機能を提供することにおいて達成される。

奥行きマップ生成ユニットの修正およびその変形は、記載されている画像処理装置、方法およびコンピュータプログラムプロダクトの修正およびその変形に対応しうる。

本発明に基づく奥行きマップ生成ユニット、画像処理装置、方法およびコンピュータプログラムプロダクトについてこれらのことを含むさまざまな側面は、以下に付属の図面を参照しつつ述べる実装および実施形態に関連して明らかとなり、明快にされるであろう。

図面を通じて同じ参照符号は同様の部分を表すのに用いられる。

図１は、画像１００と、本発明に基づく方法を用いて生成される対応する奥行きマップ１２２とを概略的に示している。図１は、第一のオブジェクト１０６、該第一のオブジェクト１０６の背後に位置する第二のオブジェクト１０４，および該第二のオブジェクト１０４の背後に位置する第三のオブジェクト１０２を表す画像１００を示している。図１はさらに、第一のピクセル１０８から第二のピクセル１１０への経路１１２を示している。経路１１２は連結されたピクセルのグループに対応する。

一般に、画像中の一つのピクセルは８つの隣接ピクセルと連結している。すなわち、２つのピクセルが当該ピクセルに対して水平方向に位置しており、２つのピクセルが当該ピクセルに対して垂直方向に位置しており、４つのピクセルが当該ピクセルに対して斜め方向に位置している。経路１１２のピクセルどうしの対は、互いにこれら３つの仕方、すなわち互いに対して水平方向、垂直方向、または斜め方向のうちの一つの方向に位置している。

図１では、それぞれ参照符号１１４，１１６および１１８、１２０をもつピクセルからなる２対のピクセルが描かれている。第一のピクセル対１１４，１１６は経路１１２上で第一のオブジェクト１０６と第二のオブジェクト１０４との間の遷移に対応する位置に配置されている。第二のピクセル対１１８，１２０は経路１１２上で第二のオブジェクト１０４と第三のオブジェクト１０２との間の遷移に対応するもう一つの位置に配置されている。

図１はまた奥行きマップ１２２も示している。奥行きマップ１２２は第一のオブジェクト１０６に対応する奥行き値の第一のグループ１２８を含み、第二のオブジェクト１０４に対応する奥行き値の第二のグループ１２６を含み、第三のオブジェクト１０２に対応する奥行き値の第三のグループ１２４を含む。奥行き値の第一のグループ１２８の奥行き値は奥行き値の第二のグループ１２６の奥行き値よりも小さい。これは、第一のオブジェクト１０６が第二のオブジェクト１０４よりも画像１００または該画像１００に基づくマルチビュー画像の観察者により近いことを意味している。

奥行きマップ１２２は、本発明の方法に基づいて生成される。第一のピクセル１０８に対応する奥行き値１３０の生成のため、以下のステップが実行される：
・画像の第一のピクセル１０８についてのコスト値が、第一のピクセル１０８から画像のピクセルの所定のサブセットに属する第二のピクセル１１０への経路１１２上に配置されている連結されたピクセルの対１１４、１１６および１１８、１２０の値の間の差を組み合わせることにより計算される。
・第一のピクセル１０８に対応する奥行き値１３０が、前記第一のピクセル１０８についてのコスト値である定数を割ることによって計算される。

前記第二のピクセル１１０は画像１００のピクセルの所定のサブセットに属している。この場合、所定のサブセットは画像の境界にあるピクセルを含む。代替的な実施形態では、前記サブセットは境界の一部のピクセル、たとえば画像の上側の境界または画像の下側の境界のピクセルのみを含む。さらなる代替では、サブセットは画像の中央のピクセルを含む。

上で説明したように、第一のピクセル１０８について割り当てられた奥行き値は該第一のピクセル１０８についてのコスト関数に関係している。該コスト関数は遷移に基づいている、すなわち、コスト値は、第一のピクセル１０８から第二のピクセル１１０への経路上により多くの、および／またはより大きな遷移がある場合に増大する。割り当てられる奥行き値は、次のアプローチのうちの一つに基づくことができる：
・第一のピクセルは対応するコスト値が比較的小さければ比較的小さな奥行き値を割り当てられる、
・第一のピクセルは対応するコスト値が比較的大きければ比較的大きな奥行き値を割り当てられる。

まとめると、コスト値と第二のピクセル１１０の位置との間には関係があり、割り当てられる奥行き値とコスト値との間にも関係がある。表１はこれらの量の間のいくつかの可能な関係を示している。表１に挙げられている場合においては、第一のピクセル１０８は画像の中心に位置していると想定されている。

表１位置、コスト値および奥行き値の間の関係

比較的小さな奥行き値は、第一のピクセルが、当該画像に基づいて生成されるマルチビュー画像の観察者に比較的近いことを意味し、比較的大きな奥行き値は、第一のピクセルが、マルチビュー画像の観察者から比較的遠くに離れていることを意味する。

好ましくは、コスト値V(x′,y′)の計算は、座標(x′,y′)をもつピクセルからの経路のうちのある特定の一つを示す添え字をiとして、第一のピクセルから第二のピクセルへの経路P_i上に位置している諸ピクセルに割り当てられるピクセル値の差の累積に基づく。

V(x′,y′)＝Σ｛E(x,y)｜(x,y)∈P_i｝（１）
ピクセル値の差E(x,y)の計算の第一の例は式（２）で与えられる。

E(x,y)＝｜I(x,y)−I(x−a,y−b)｜（２）
ここでI(x,y)は画像の座標xおよびyをもつピクセルの輝度値であり、−1≦a≦1および−1≦b≦1である。

代替的には、ピクセル値の差E(x,y)は色の値に基づいて計算される。

E(x,y)＝｜C(x,y)−C(x−a,y−b)｜（３）
ここでC(x,y)は画像の座標xおよびyをもつピクセルの色の値である。式（４）では、ピクセル値の差E(x,y)の計算について、３つの異なる色成分R(赤)、G(緑)、B(青)に基づくさらなる代替が与えられる。

E(x,y)＝max（｜R(x,y)−R(x−a,y−b)｜, ｜G(x,y)−G(x−a,y−b)｜,
｜B(x,y)−B(x−a,y−b)｜）（４）
任意的に、ピクセル値差信号Eはフィルタ処理をして、所定の閾値に満たないあらゆるピクセル値差をある定数、たとえば0に制限する。

前述したように、好ましくは、コスト値V(x′,y′)の計算は、第一のピクセルから第二のピクセルへの経路P_i上に位置しているピクセルに割り当てられるピクセル値差の累積に基づいている。経路の集合からこの経路P_iを選択するにはいくつかのアプローチがある。

図１は、単純な戦略、すなわちピクセル１０８から所定の集合、つまり画像の左の境界に位置するピクセルの集合のピクセルへの最短距離に基づく経路を概略的に示している。これは、第一のピクセル１０８と第二のピクセル１１０が同じy座標をもつことを意味している。

図２は、代替的な経路２１６，２０２を示している。これらの代替経路のうち第一のもの２１６は第一のピクセル１０８から所定の集合、つまり画像の左の境界に位置するピクセルの集合の第二のピクセル２１４への最短経路に対応している。第二のピクセル２１４は最小コストで到達できる左の境界のピクセルに対応する。これらの代替経路のうち第一のもの２１６の経路上には、続く参照符号２１８〜２２４をもつピクセルが配置されている。

図２はまた、代替経路のうち第二のもの２０２も示している。これは上の境界に達し、最小コストをもつ経路に対応する。代替経路のうちの第二のもの２０２は不規則な形状を有していることが明確に見て取れる。代替経路のうちの第二のもの２０２の経路上には、続く参照符号２０６〜２１２をもつピクセルが配置されている。

単一の経路に基づいてコスト値V(x′,y′)を計算する代わりに、コスト値は経路の組み合わせに基づくこともできる。たとえば平均コスト値を計算してもよい。

コスト値V(x′,y′)を計算するためのさらなる代替は、さまざまなピクセル値差についての重み付け因子に基づく。

V(x′,y′)＝Σ｛W(j)E(x,y)｜(x,y)∈P_i｝（５）
この重み付け因子W(j)は好ましくは、ピクセル対のうちピクセル値差E(x,y)が計算されるほうのピクセルと第一のピクセルとの間の空間的な距離jに関係する。典型的には、この重み付け因子W(j)は空間的距離が大きいと小さくなる。

あるいはまた、重み付け因子W(j)は２つのベクトルの間の角度に関係している。図３は第一のピクセル１０８から第二のピクセル１１０への経路、第一のピクセル１０８から第二のピクセル１１０への第一のベクトル３０８および経路３００上での第三のピクセル３０２から第四のピクセル３０４への第二のベクトル３０６を概略的に示している。典型的には、重み付け因子W(j)は第一のベクトル３０８と第二のベクトル３０６との間の角度が比較的小さければ、すなわち第四のピクセル３０４の第三のピクセル３０２に対する方向が第二のピクセル１１０の第一のピクセル１０８に対する方向と一致すれば比較的大きくなる。これは、第一のベクトル３０８に揃っている遷移が該第一のベクトル３０８にたとえば垂直な遷移よりもより重要であると考えられるということを意味する。

図４は、本発明に基づく奥行きマップ生成ユニット４０１を有するマルチビュー画像生成ユニット４００を概略的に示している。マルチビュー画像生成ユニット４００は、ビデオ画像のシーケンスに基づいてマルチビュー画像のシーケンスを生成するよう構成される。マルチビュー画像生成ユニット４００は、入力コネクタ４０８においてビデオ画像のストリームを与えられ、出力コネクタ４１０および４１２においてそれぞれビデオ画像の二つの相関したストリームを出力する。ビデオ画像のこれら二つの相関したストリームはマルチビューディスプレイ装置に与えられるものである。マルチビューディスプレイ装置は、ビデオ画像の相関したストリームの第一のものに基づいて第一の系列のビューを視覚化し、ビデオ画像の相関したストリームの第二のものに基づいて第二の系列のビューを視覚化するよう構成されている。ユーザー、すなわち観察者が第一の系列のビューを左目で、第二の系列のビューを右目で観察すると、３Ｄ印象を知覚する。ビデオ画像の相関したストリームの第一のものが受領されたままのビデオ画像のシーケンスに対応して、ビデオ画像の相関したストリームの第二のものが受領されたままのビデオ画像の前記シーケンスに基づいてレンダリングされるというのでもよい。好ましくは、ビデオ画像の両方のストリームが受領されたままのビデオ画像のシーケンスに基づいてレンダリングされる。そのレンダリングは、たとえばP. A. Redert, E. A. Hendriks, and J. Biemondによる論文“Synthesis of multi viewpoint images at non-intermediate positions”, Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN0-8186-7919-0, pp.2749-2752, IEEE Computer Society, Los Alamitos, California, 1997に記載されている。あるいはまた、前記レンダリングはR. P. Berretty and F. E. Ernstによる“High-quality images from 2.5D video”, Proceedings Eurographics, Granada, 2003, Short Note 124に記載されている。

マルチビュー画像生成ユニット４００は：
・画像中の遷移に基づいて個別の入力画像についての奥行きマップを生成する奥行きマップ生成ユニット４０１、ならびに、
・前記入力画像と、前記奥行きマップ生成ユニット４０１によって与えられる前記個別の奥行きマップとに基づいてマルチビュー画像をレンダリングするレンダリングユニット４０６、
を有する。

画像の各ピクセルについて観察者への距離を表す奥行き値を有する奥行きマップを生成する前記奥行きマップ生成ユニット４０１は：
・図１、２および３のいずれかに関連して説明されているように、第一のピクセルから、画像のピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されているピクセルの値の間の差を組み合わせることによって画像の第一のピクセルについてのコスト値を計算するためのコスト値計算ユニット４０２と、
・コスト値に基づいて第一のピクセルに対応する奥行き値の第一のものを割り当てる奥行き値割り当てユニット４０４、
とを有する。

計算ユニット４０２は、時刻nでの画像の座標x′およびy′についてのコスト値信号V_F＝V(x′,y′,n)を与えるよう構成されている。この信号はピクセルごとのコスト値を表す。

コスト値信号V_Fの計算後、奥行きマップが決定される。これは式（６）で規定される：
D(x′,y′,n)＝F(V_F) （６）
ここで、D(x′,y′,n)は時刻nにおける画像の座標x′,y′をもつピクセルの奥行き値であり、関数F(j)はコスト値V(x′,y′,n)から奥行き値D(x′,y′,n)への線形または非線形変換である。この関数F(j)は好ましくは、コスト値V(x′,y′,n)に所定の定数をかける簡単なかけ算である：
D(x′,y′,n)＝αV(x′,y′,n) （７）
ある特定のピクセルについてのコスト値の計算のために、隣接ピクセルについて計算されたコスト値が提供されることがあることを注意しておくべきだろう。換言すれば、コスト値の計算は好ましくは再帰的に実行されるのである。図６と関連した説明も参照されたい。

コスト値計算ユニット４０２、奥行き値割り当てユニット４０４およびレンダリングユニット４０６は一つのプロセッサを使って実装されうる。通常、これらの関数はソフトウェアプログラムプロダクトの制御のもとで実行される。実行の間、通常はソフトウェアプログラムプロダクトはRAMのようなメモリに読み込まれ、そこから実行される。プログラムはROM、ハードディスクまたは磁気的および／もしくは光学式記憶のようなバックグラウンドメモリから読み込まれてもよいし、あるいはインターネットのようなネットワークを介して読み込まれてもよい。任意的に、特定用途向けIC（application specific integrated circuit）が開示されている機能性を提供する。

図４との関連で述べたマルチビュー画像生成ユニット４００はビデオ画像を扱うよう設計されているが、本発明に基づく奥行きマップ生成ユニットの代替的な諸実施形態は個別の画像、すなわちスチール映像に基づいて奥行きマップを生成するよう構成される。

図５は、本発明に基づく画像処理装置５００であって：
・入力画像を表すビデオ信号を受け取る受領ユニット５０２と、
・図４との関連で述べた、受け取った入力信号に基づいてマルチビュー画像を生成するマルチビュー画像生成ユニット４０１と、
・前記マルチビュー画像生成ユニット４０１によって与えられるマルチビュー画像を表示するマルチビューディスプレイ装置５０６、
とを有する装置の実施形態を概略的に示している。

ビデオ信号はアンテナまたはケーブルを介して受信される放送信号であってもよいが、VCR（Video Cassette Recorder［ビデオカセットレコーダー］）またはデジタル多用途ディスク（DVD: Digital Versatile Disk）のような記憶装置からの信号であってもよい。信号は入力コネクタ５１０にて与えられる。画像処理装置５００はたとえばテレビでありうる。代替的に、画像処理装置５００は、任意的なディスプレイ装置は含まず、出力画像をディスプレイ装置５０６を有する装置に提供する。その際、画像処理装置５００はたとえばセットトップボックス、衛星チューナー、VCRプレーヤー、DVDプレーヤーまたはレコーダーなどでありうる。任意的に、画像処理装置５００は、ハードディスクのような記憶手段または光ディスクなどのリムーバブル媒体上の記憶のための手段を有している。画像処理装置５００は映画スタジオまたは放送事業者によって利用されるシステムであってもよい。

図６は、画像１００の個々のピクセル６００〜６１４を処理するシーケンスを概略的に示している。図６では矢印６１６〜６２０によって、処理されるピクセルの順番がどうなっているかが示されている。参照符号６１０〜６１４をもつピクセルを含む画像１００の第一行は左から右に処理される。参照符号６０４〜６０８をもつピクセルを含む画像１００の第二行は右から左へと処理される。参照符号６００〜６０２をもつピクセルを含む画像１００の第三行は再び左から右に処理される。このように、画像１００の相続くピクセル行は逆向きに処理される。

ある特定のピクセルを処理するとは：
・その特定のピクセルの特定のコスト値を、その特定のピクセルから画像のピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されているピクセル値の間の差を組み合わせることによって計算し、
・前記の計算された特定のコスト値に基づいてその特定のピクセルに対応するある特定の奥行き値を構築中の奥行きマップに割り当てる、
ことを意味する。

前記特定のコスト値を計算することは、他のピクセルについてすでに計算されたコスト値に基づく。そのことを例解するために次の例を挙げておく。第一行および第二行のピクセル６０４〜６１４に対応する奥行き値がすでに決定されており、よってそれぞれの経路に対応するそれぞれのコスト値は分かっているとする。さらに、第三行のいくつかのピクセル６０２も処理がすんでいるものとする。次に、参照符号６００をもつある特定のピクセルの奥行き値を決定する必要がある。好ましくは、これは候補コスト値の次の集合を評価することによってなされる：
・当該特定ピクセル６００の左に位置するピクセル６０２のコスト値およびこれら２つのピクセルの間のピクセル値差に基づく第一の候補コスト値、
・当該特定ピクセル６００の上に位置するピクセル６０６のコスト値およびこれら２つのピクセルの間のピクセル値差に基づく第二の候補コスト値、
・当該特定ピクセル６００の左上に位置するピクセル６０４のコスト値およびこれら２つのピクセルの間のピクセル値差に基づく第三の候補コスト値、
・当該特定ピクセル６００の右上に位置するピクセル６０８のコスト値およびこれら２つのピクセルの間のピクセル値差に基づく第四の候補コスト値。

上記の候補コスト値の集合から最小コスト値を決定したのちには、その特定のピクセルから始まる経路はわかっており、対応するコスト値もわかっており、対応する奥行き値を割り当てることができる。

候補コスト値の集合は典型的にはスキャン方向に依存することは明らかであろう。たとえば、右から左へのスキャン方向の場合、候補コスト値の集合は考えている特定のピクセルの右に位置するピクセルのコスト値に基づく候補コスト値を含みうる。候補コスト値の集合は追加的なコスト値を含むこともありうる。代替的に、候補コスト値の集合はより少ないコスト値を含むこともありうる。

上述した実施形態が本発明を解説するものであって限定するものではなく、当業者は付属の請求項の範囲から外れることなく代替的な実施形態を設計できるであろうことを注意しておくべきであろう。請求項においては、括弧内に置かれた参照符号があったとしてもそれは請求項を限定するものと解釈してはならない。「有する」の語は請求項に挙げられていない要素またはステップの存在を排除しない。要素の単数形の表現はそのような要素の複数の存在を排除しない。本発明は、いくつかの相異なる要素を有するハードウェアによって、および好適にプログラミングされたコンピュータによって実装できる。いくつかの手段を列挙するユニット請求項においては、これらの手段のいくつかが同一のハードウェア項目によって具現されることもできる。第一、第二、第三などの語の使用は、いかなる順序も示さない。これらの語は名辞として解釈されるものとする。

画像および本発明に基づく方法を用いて生成される対応する奥行きマップを示す概略図である。２つの経路を示す概略図である。第一のピクセルから第二のピクセルへの経路、第一のピクセルから第二のピクセルへの第一のベクトルおよび前記経路上で第三のピクセルから第四のピクセルへの第二のベクトルを示す概略図である。本発明に基づく奥行きマップ生成ユニットを有するマルチビュー画像生成ユニットを示す概略図である。本発明に基づく画像処理装置の実施形態を概略的に示す図である。画像の各ピクセルを処理するシーケンスを示す概略図である。

Claims

画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する、コンピュータによって実行される方法であって：
・計算手段によって、第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値または色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算し、
・割り当て手段によって、前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当て、
前記第一のピクセルについてのコスト値が、前記計算手段によって、前記経路上に配置された諸ピクセルの値の差の絶対値のうち所定の閾値よりも大きいものを累積することによって計算されることを特徴とする方法。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する、コンピュータによって実行される方法であって：
・計算手段によって、第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値または色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算し、
・割り当て手段によって、前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当て、
前記第一のピクセルについてのコスト値が、前記計算手段によって、前記経路上に配置されたピクセルの値の差の絶対値と、前記差についてのそれぞれの重み付け因子との積を累積することによって計算されることを特徴とする方法。
請求項２記載の方法であって、ある特定のピクセルの値とその隣接ピクセルの値との間の差に関係する前記重み付け因子の第一のものが、前記特定のピクセルと前記第一のピクセルとの間の距離に基づいていることを特徴とする方法。
請求項２記載の方法であって、ある特定のピクセルの値とその隣接ピクセルの値との間の差に関係する前記重み付け因子の第二のものが、前記特定のピクセルに対する前記隣接ピクセルの位置に基づいていることを特徴とする方法。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する、コンピュータによって実行される方法であって：
・計算手段によって、第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値または色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算し、
・割り当て手段によって、前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当て、さらに：
・計算手段によって、前記第一のピクセルから、画像ピクセルの前記所定のサブセットに属する第三のピクセルへの第二の経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについての第二のコスト値を計算し、
・決定手段によって、前記コスト値および前記第二のコスト値のうちの最小値を決定し、
・割り当て手段によって、前記最小値に基づいて前記第一のピクセルに対応する奥行き値の前記第一のものを割り当てる、
ことを有することを特徴とする方法。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する、コンピュータによって実行される方法であって：
・計算手段によって、第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値または色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算し、
・割り当て手段によって、前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当て、
計算手段によって、前記第一のピクセルについてのコスト値に基づいてある第三のピクセルについての第三のコスト値を計算し、
前記第三のコスト値を計算するのを、前記第一のピクセルのコスト値を、前記第三のピクセルから前記第一のピクセルへの第三の経路上に配置されているさらなる諸ピクセルのさらなる値の間の差と組み合わせることによって行うことを含むことを特徴とする方法。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する、コンピュータによって実行される方法であって：
・計算手段によって、第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値または色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算し、
・割り当て手段によって、前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当て、
計算手段によって、前記第一のピクセルについてのコスト値に基づいてある第三のピクセルについての第三のコスト値を計算し、
それぞれの画像ピクセルに対応するコスト値が、さらなるピクセルについて計算されているさらなるコスト値に基づいて前記計算手段によって逐次計算され、画像のある第一の行のピクセルについてのコスト値の逐次の計算の第一のスキャン方向が、画像のある第二の行のピクセルについてのコスト値の逐次の計算の第二のスキャン方向とは逆向きであることを特徴とする方法。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する奥行きマップ生成ユニットであって：
・第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算する計算手段と、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てる割り当て手段、
とを有し、
前記第一のピクセルについてのコスト値が、前記計算手段によって、前記経路上に配置された諸ピクセルの値の差の絶対値のうち所定の閾値よりも大きいものを累積することによって計算されることを特徴とするユニット。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する奥行きマップ生成ユニットであって：
・第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算する計算手段と、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てる割り当て手段、
とを有し、
前記第一のピクセルについてのコスト値が、前記計算手段によって、前記経路上に配置されたピクセルの値の差の絶対値と、前記差についてのそれぞれの重み付け因子との積を累積することによって計算されることを特徴とするユニット。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する奥行きマップ生成ユニットであって：
・第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算する計算手段と、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てる割り当て手段、
とを有し、
計算手段が、前記第一のピクセルから、画像ピクセルの前記所定のサブセットに属する第三のピクセルへの第二の経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについての第二のコスト値を計算し、
決定手段が、前記コスト値および前記第二のコスト値のうちの最小値を決定し、
割り当て手段が、前記最小値に基づいて前記第一のピクセルに対応する奥行き値の前記第一のものを割り当てることを特徴とするユニット。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する奥行きマップ生成ユニットであって：
・第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算する計算手段と、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てる割り当て手段、
とを有し、
計算手段が、前記第一のピクセルについてのコスト値に基づいてある第三のピクセルについての第三のコスト値を計算し、
前記第三のコスト値を計算するのを、前記第一のピクセルのコスト値を、前記第三のピクセルから前記第一のピクセルへの第三の経路上に配置されているさらなる諸ピクセルのさらなる値の間の差と組み合わせることによって行うことを特徴とするユニット。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する奥行きマップ生成ユニットであって：
・第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算する計算手段と、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てる割り当て手段、
とを有し、
計算手段が、前記第一のピクセルについてのコスト値に基づいてある第三のピクセルについての第三のコスト値を計算し、
それぞれの画像ピクセルに対応するコスト値が、さらなるピクセルについて計算されているさらなるコスト値に基づいて前記計算手段によって逐次計算され、画像のある第一の行のピクセルについてのコスト値の逐次の計算の第一のスキャン方向が、画像のある第二の行のピクセルについてのコスト値の逐次の計算の第二のスキャン方向とは逆向きであることを特徴とするユニット。
・画像に対応する信号を受け取る受領手段と、
・請求項８から請求項１２のいずれか一項に記載されているように奥行きマップを生成する奥行きマップ生成ユニット、
とを有することを特徴とする画像処理装置。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成するための命令を有する、処理手段とメモリとを有するコンピュータ装置によって読み込まれるコンピュータプログラムであって、読み込まれたのちに、前記処理手段に：
・第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算し、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てることを実行する機能を提供し、
前記第一のピクセルについてのコスト値が、前記経路上に配置された諸ピクセルの値の差の絶対値のうち所定の閾値よりも大きいものを累積することによって計算されることを特徴とするコンピュータプログラム。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成するための命令を有する、処理手段とメモリとを有するコンピュータ装置によって読み込まれるコンピュータプログラムであって、読み込まれたのちに、前記処理手段に：
・第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算し、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当てることを実行する機能を提供し、
前記第一のピクセルについてのコスト値が、前記経路上に配置されたピクセルの値の差の絶対値と、前記差についてのそれぞれの重み付け因子との積を累積することによって計算されることを特徴とするコンピュータプログラム。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成するための命令を有する、処理手段とメモリとを有するコンピュータ装置によって読み込まれるコンピュータプログラムであって、読み込まれたのちに、前記処理手段に：
・第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算し、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当て、
・前記第一のピクセルから、画像ピクセルの前記所定のサブセットに属する第三のピクセルへの第二の経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについての第二のコスト値を計算し、
・前記コスト値および前記第二のコスト値のうちの最小値を決定し、
・前記最小値に基づいて前記第一のピクセルに対応する奥行き値の前記第一のものを割り当てる、
ことを実行する機能を提供することを特徴とするコンピュータプログラム。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成するための命令を有する、処理手段とメモリとを有するコンピュータ装置によって読み込まれるコンピュータプログラムであって、読み込まれたのちに、前記処理手段に：
・第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算し、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当て、
・前記第一のピクセルについてのコスト値に基づいてある第三のピクセルについての第三のコスト値を計算する、
ことを実行する機能を提供し、
前記第三のコスト値を計算するのを、前記第一のピクセルのコスト値を、前記第三のピクセルから前記第一のピクセルへの第三の経路上に配置されているさらなる諸ピクセルのさらなる値の間の差と組み合わせることによって行うことを含むことを特徴とするコンピュータプログラム。
画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成するための命令を有する、処理手段とメモリとを有するコンピュータ装置によって読み込まれるコンピュータプログラムであって、読み込まれたのちに、前記処理手段に：
・第一のピクセルから当該画像の境界に位置する画像ピクセルの所定のサブセットに属する第二のピクセルへの経路上に配置されている諸ピクセルの輝度値および色値の一方の差の絶対値に基づく値を累積することによって、画像の前記第一のピクセルについてのコスト値を計算し、
・前記コスト値に基づいて前記第一のピクセルに対応する奥行き値の第一のものを割り当て、
・前記第一のピクセルについてのコスト値に基づいてある第三のピクセルについての第三のコスト値を計算する、
ことを実行する機能を提供し、
それぞれの画像ピクセルに対応するコスト値が、さらなるピクセルについて計算されているさらなるコスト値に基づいて逐次計算され、画像のある第一の行のピクセルについてのコスト値の逐次の計算の第一のスキャン方向が、画像のある第二の行のピクセルについてのコスト値の逐次の計算の第二のスキャン方向とは逆向きであることを特徴とするコンピュータプログラム。