JP5058820B2 - 奥行きの知覚 - Google Patents

Description

本発明は、入力画像および像差（disparity）データに基づいてマルチビュー画像をレンダリングする方法に関する。

本発明はさらに、入力画像および像差データに基づいてマルチビュー画像をレンダリングするレンダリング・ユニットに関する。

本発明はさらに、そのようなレンダリング・ユニットを有する画像処理装置に関する。

本発明はさらに、入力画像および像差データに基づいてマルチビュー画像をレンダリングするための命令を有する、処理手段およびメモリを有するコンピュータ装置によってロードされるべきコンピュータ・プログラム・プロダクトに関する。

ディスプレイ装置の導入以来、リアルな三次元ディスプレイ装置は多くの者の夢であり続けてきた。そのようなディスプレイ装置につながるはずの多くの原理が研究されてきた。いくつかの原理は、ある体積中にリアルな三次元オブジェクトを生成しようとする。たとえば、2003年のSID'03のプロシーディングズ、1531‐1533掲載のA. Sullivanによる論文“Solid-state Multi-planar Volumetric Display”に開示されているディスプレイ装置では、視覚データは、高速プロジェクターによって複数の面の配列において変位される。各面は切り換え可能な散乱体である。面の数が十分多ければ、人間の脳は映像を積分してリアルな三次元オブジェクトを観察する。この原理は、視聴者が、ある範囲内において、オブジェクトをまわりから見ることを許容する。このディスプレイ装置において、すべてのオブジェクトは（半）透明である。

他の多くの原理は、両眼像差のみに基づいて三次元ディスプレイ装置を生成しようとする。これらのシステムでは、視聴者の左右の目は別の画像を知覚し、その結果、視聴者が三次元画像を知覚する。これらの概念の概観は、D. F. McAllister(編)による書籍“Stereo Computer Graphics and Other True 3-D Technologies”, Princeton University Press, 1993に見出すことができる。ある第一の原理は、たとえばCRTと組み合わせてシャッター眼鏡を使用する。奇フレームが表示される場合、左目向けの光が遮断され、偶フレームが表示される場合には右目向けの光が遮断される。

追加的な器具の必要なしに３Ｄを示すディスプレイ装置は裸眼立体視（auto-stereographic）ディスプレイ装置と呼ばれる。

第一の眼鏡なしディスプレイ装置は、視聴者の左目と右目をねらった光の円錐を生成するバリアを有する。円錐はたとえば、奇数番目と偶数番目のサブピクセル列に対応する。これらの列を適切な情報を用いてアドレス指定することにより、視聴者は、正しいスポットに位置していれば左右の目に異なる画像を得て、三次元映像を知覚することができる。

第二の眼鏡なしディスプレイ装置は、偶数番目と奇数番目のサブピクセル列を視聴者の左右の目に結像させるレンズのアレイを有する。

上述した眼鏡なしディスプレイ装置の欠点は、視聴者が固定位置に留まらなければならないということである。視聴者を案内するために、視聴者が正しい位置にいることを視聴者に示すインジケーターが提案されている。たとえば、米国特許US5986804では、バリア板が赤および緑のLEDと組み合わされ、視聴者が適正な位置にいれば視聴者は緑の光を見、そうでなければ赤の光を見る。

視聴者を固定位置に座ることから解放するため、マルチビュー裸眼立体視ディスプレイ装置が提案されている。たとえば米国特許US60064424およびUS20000912を参照。US60064424およびUS20000912において開示されているディスプレイ装置では、傾斜したレンティキュラーが使用される。ここで、レンティキュラーの幅は２サブピクセルよりも大きい。この方法では、互いに隣り合ったいくつかの画像があり、視聴者は若干、左右に動く自由をもつ。

マルチビュー・ディスプレイ装置上で三次元の印象を生成するためには、異なる仮想視点からの画像がレンダリングされる必要がある。これは、複数の入力ビューまたは何らかの３Ｄまたは奥行き情報の存在を必要とする。この奥行き情報は、記録され、マルチビュー・カメラ・システムから生成されたものでもよいし、通常の二次元ビデオ素材から生成されたものでもよい。二次元ビデオから奥行き情報を生成するためには、いくつかの種類の奥行き情報が応用できる：動きからの構造復元（structure from motion）、焦点情報、幾何学形状および動的隠蔽などである。ねらいは、稠密な奥行きマップ、すなわちピクセルごとに一つの奥行き値を生成することである。この奥行きマップがその後、マルチビュー画像をレンダリングして視聴者に奥行きの印象を与えるために使われる。P. A. Redert, E. A. Hendriks, and J. Biemondによる論文“Synthesis of multi viewpoint images at non-intermediate positions”, Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN0-8186-7919-0, pp. 2749‐2752, IEEE Computer Society, Los Alamitos, California, 1997には、奥行き情報を抽出し、入力画像と奥行きマップに基づいてマルチビュー画像をレンダリングする方法が開示されている。マルチビュー画像とは、マルチビュー・ディスプレイ装置によって表示されて三次元の印象を生成する画像の組である。典型的には、その画像の組は入力画像に基づいて生成される。これらの画像の一つの生成は、入力画像のピクセルをそれぞれのシフト量だけシフトさせることによってなされる。これらのシフト量は像差（disparity）と呼ばれる。よって、典型的には、各ピクセルについて対応する像差の値があり、それがみな一緒になって像差マップを形成する。像差の値および奥行きの値は典型的には反比例の関係にある。すなわち：
Ｓ＝Ｃ／Ｄ (1)
ここで、Sは像差、Cは定数値、Dは奥行きである。奥行きマップの生成は、像差マップの生成と等価と考えられる。

２Ｄ入力画像における均一領域、すなわち実質的にテクスチャーのない領域については、マルチビュー・ディスプレイ装置から奥行きを推定することは困難であるか、時には不可能である。通例、これは、その均一領域に対応するオブジェクトがスクリーンのレベルにあるものとして知覚される。たとえば青空のような均一な背景がある場合は、マルチビュー・ディスプレイ装置の知覚される奥行きは比較的小さい。雲のない空の場合、空はスクリーンのレベルにあると知覚され、よって正しい奥行き印象のためには、スクリーンの背後に他のオブジェクトを置くことはできない。そんなことをすれば奥行きの印象が著しく低下するからである。

冒頭に述べた種類の方法であって向上した奥行き印象をもたらす方法を提供することが本発明の目的である。

本発明のこの目的は、本方法が：
・不規則形状のオブジェクトを有する変調画像を生成する段階と；
・入力画像の一部分のピクセル値を前記変調画像のさらなるピクセル値に基づいて変調して中間画像を得る段階と；
・前記中間画像を像差データに基づいてゆがめることによってマルチビュー画像を生成する段階、
とを有することにおいて達成される。

マルチビュー・ディスプレイ装置において視聴者に三次元の印象を与えることは、第一の出力画像を左目に、第二の出力画像を右目に見せることに依拠している。これらの出力画像の間の相違が人間の脳によって三次元画像として解釈される。出力画像は、入力画像の諸オブジェクトを互いに対してシフトさせることによって構築される。シフトの量はオブジェクトの奥行きによって決定される。脳は種々のビューすなわち出力画像におけるオブジェクトの間の対応を認識し、その相違から幾何学関係を推定する。オブジェクトが実質的にテクスチャーなしである場合、目が「ロック・オン」する特徴がないので、そのような対応を付けることは難しい。均一な黒い表面を想像されたい。これを左右にシフトさせたところで変化はない。よって、視差に基づいて、この表面がどの奥行きにあるかを推定することはできないのである。

入力画像の一部分のピクセル値を変調画像のさらなるピクセル値に基づいて変調することによって、特徴が導入される。不規則形状のオブジェクトに対応するこれらの特徴は、主として、入力画像の実質的に均一な領域で見える。よって、変調が行われる前は実質的に均一であった入力画像の前記一部分に対応する領域において、可視的に異なる第一の出力画像および第二の出力画像をレンダリングすることが可能である。今や、ユーザーは、第一および第二の出力画像においてそれぞれの導入された不規則形状のオブジェクトの間で対応を付けることができる。

好ましくは、不規則形状のオブジェクトの大きさは像差データに関係している。たとえば、不規則形状のオブジェクトの平均的な大きさは、像差データの平均値と同じオーダーである。像差データが1〜15ピクセルの範囲の値を含んでいるとすると、不規則形状のオブジェクトの大きさ、すなわち高さと幅は、実質的に同じ範囲であることが有利である。好ましくは、不規則形状のオブジェクトの平均直径は、1000×1000ピクセルの画像について約7〜8ピクセルである。平均直径とは、二つのエッジの間の平均距離を意図している。

入力画像のピクセル値の変調は、入力画像にわたって拡散されたピクセルをカバーしうる。変調は好ましくは、入力画像のうち、実質的に均一な領域に対応する一部分をカバーする。好ましくは、変調は、入力画像のピクセルのある第一の部分の輝度値が増加され、一方、入力画像のピクセルのある第二の部分の輝度値が減少されるようなものである。たとえば、入力画像のピクセルの第一の部分は、変調画像のうち不規則形状のオブジェクトを表すピクセルの集合に対応し、一方、入力画像のピクセルの第二の部分は、変調画像ののうち背景を表すピクセルの別の集合に対応する。好ましくは、平均輝度値は変調によって影響されない。すなわち、入力画像の平均輝度値と中間画像の平均輝度値は実質的に互いに等しい。

本発明に基づく方法のある実施形態では、変調画像を生成する段階は：
・ノイズを生成することによって第一の画像を生成する段階と；
・前記第一の画像を低域通過フィルタでフィルタ処理して第二の画像を生じる段階と；
・閾値によって前記第二の画像のピクセルを分類して変調画像を得る段階、
とを有する。

ノイズの生成は、好ましくは乱数発生器によって実行される。低域通過フィルタの特性は、好ましくは像差データに関係している。適切な大きさで不規則形状のオブジェクトを生成するためである。分類は、つながったピクセルの諸グループが、それぞれの不規則形状のオブジェクトに属するとラベル付けされ、一方、つながったピクセルのさらなる諸グループは背景とラベル付けされるようなものである。

本発明に基づく方法のある実施形態では、ピクセル値の変調は像差データに基づく。好ましくは、輝度値の増減はあるピクセルについての局所的な奥行き値に、よって局所的な像差値に依存する。増加および／または減少の量は好ましくは、視聴者からより遠くにある入力画像のオブジェクトについてはより大きくなる。

本発明に基づく方法のある実施形態では、変調画像の生成は、入力画像が属する入力画像のシーケンスに基づいて計算される動きベクトルに基づく。本発明に基づく方法は、動きを表す入力画像のシーケンス、たとえばビデオ画像のシーケンスに適用されるとする。たとえば、パンするカメラに対応する。該入力画像のシーケンスの入力画像のそれぞれが同じ変調画像によって変調され、マルチビュー・ディスプレイ装置に表示される場合、結果は、出力画像のシーケンスを汚れた窓を通して見るかのようなものでありうる。それを防ぐため、入力画像のそれぞれが独自の変調画像によって変調されることが好ましい。特定の入力画像を変調するための変調画像は、前の入力画像、すなわちその特定の入力画像に先行する画像について生成されたさらなる変調画像に基づいていてもよい。好ましくは、前記さらなる変調画像は、その特定の入力画像を変調するための変調画像を、そのシーンにおける動きに関係した方向にシフトさせることに基づいている。好ましくは、その特定の入力画像に対応する動きベクトル場の解析またはモデル化によって計算される動きベクトルが、その特定の入力画像を変調するための変調画像をシフトさせるために適用されて、前記さらなる変調画像を達成する。

冒頭に述べた種類のレンダリング・ユニットであって向上した奥行き印象をもたらすものを提供することが本発明のさらなる目的である。

本発明のこの目的は、本レンダリング・ユニットが：
・不規則形状のオブジェクトを有する変調画像を生成する生成手段と；
・入力画像の一部分のピクセル値を前記変調画像のさらなるピクセル値に基づいて変調して中間画像を得る変調手段と；
・前記中間画像を像差データに基づいてゆがめることによってマルチビュー画像を生成する手段、
とを有することにおいて達成される。

冒頭に述べた種類のレンダリング・ユニットを有する画像処理装置であって向上した奥行き印象をもたらすものを提供することが本発明のさらなる目的である。

本発明のこの目的は、前記レンダリング・ユニットが：
・不規則形状のオブジェクトを有する変調画像を生成する生成手段と；
・入力画像の一部分のピクセル値を前記変調画像のさらなるピクセル値に基づいて変調して中間画像を得る変調手段と；
・前記中間画像を像差データに基づいてゆがめることによってマルチビュー画像を生成する手段、
とを有することにおいて達成される。

冒頭に述べた種類のコンピュータ・プログラム・プロダクトであって向上した奥行き印象をもたらすものを提供することが本発明のさらなる目的である。

本発明のこの目的は、本コンピュータ・プログラム・プロダクトが、ロードされたのち、前記処理手段に：
・不規則形状のオブジェクトを有する変調画像を生成する段階と；
・入力画像の一部分のピクセル値を前記変調画像のさらなるピクセル値に基づいて変調して中間画像を得る段階と；
・前記中間画像を像差データに基づいてゆがめることによってマルチビュー画像を生成する段階、
とを実行する機能を与えることにおいて達成される。

前記レンダリング・ユニットの修正およびその変形が、記載される前記処理装置、前記方法および前記コンピュータ・プログラム・プロダクトの修正およびその変形に対応しうる。

本発明に基づくレンダリング・ユニット、画像処理装置、方法およびコンピュータ・プログラム・プロダクトの、これらのことを含むさまざまな側面は、以下に付属の図面を参照しつつ記載される実装および実施形態から明らかとなり、それに関して明快にされるであろう。

いくつかの参照符号は、図面を通じて同様の部分を表すのに使われている。

図１は、本発明に基づく変調画像１００、入力画像１０２および中間画像１０４を示している。入力画像はビデオシーケンスからの画像である。変調画像１００は入力画像１０２と同じ大きさをもつ、すなわち、同数のピクセルを含んでいる。その場合、変調画像１００による入力画像１０２の変調はストレートである。入力画像１０２のピクセルそれぞれについて、それぞれの輝度値の増減の量に直接関係している対応するピクセルが変調画像１００内にある。あるいはまた、変調画像１００および入力画像１０２は互いに異なる大きさをもつ。その場合、入力画像１０２の変調は、変調画像１００を何度か適用することによって、あるいは変調画像１００の一部分しか適用しないことによって、実行されうる。あるいはまた、変調は、入力画像のピクセルの一部分にのみ実行される。

好ましくは、変調画像１００は、一緒になって背景をなすつながったピクセル１１４の第一のグループを含み、前景オブジェクトをなすピクセルの第二のグループ１０６〜１１２をさらに含む。これらの前景オブジェクトは不規則形状のオブジェクトである。これらの不規則形状のオブジェクト１０６〜１１２はしみのように見える。好ましくは、これらの不規則形状のオブジェクト１０６〜１１２と入力画像１０２中のオブジェクトの形との間には何の相関もない。

これらの不規則形状のオブジェクト１０６〜１１２の平均的な大きさは、像差の量、よって奥行きに関係している。異なる不規則形状のオブジェクト１０６〜１１２は互いに異なる大きさを有していてもよいことを注意しておくべきである。また、入力画像１０２の異なるピクセルについて、よって中間画像１０４についての像差の量は、典型的には偏差を示す。しかしながら、像差の平均的な大きさおよび不規則形状のオブジェクト１０６〜１１２の平均的な大きさは好ましくは同じオーダーである。

図１は、本発明に基づく中間画像１０４を示している。不規則形状のオブジェクト１０６〜１１２が明瞭に見えている。示されている中間画像１０４は、誇張された変調の効果を例解するための例にすぎないことを注意しておくべきである。好ましくは、不規則形状のオブジェクトはこれほど目に付きはしない。それはすなわち、これほど目立つべきではないということである。典型的には、変調画像１００内の相異なる輝度値の範囲および数は、入力画像１０２における輝度値の数に比べて比較的小さい。入力画像１０２の輝度値の範囲が256個の異なる値を有しているとする。その場合、典型的には、変調画像１００の輝度値の範囲は[−2,2]の値である。たとえば、ピクセルの第一のグループ、すなわち背景１１４の輝度値はみな−2または−1に等しく、ピクセルの一方で第二のグループ、すなわち不規則形状のオブジェクト１０６〜１１２の輝度値みな＋2または＋1に等しい。

図２は、本発明に基づく、レンダリング・ユニット２００のある実施形態を概略的に示している。レンダリング・ユニット２００は、入力画像１０２に基づいて第一の出力画像および第二の出力画像を有するマルチビュー画像をレンダリングするよう構成されている。入力画像１０２は画像入力コネクタ２０８において与えられる。第一の出力画像および第二の出力画像はレンダリング・ユニット２００によってその画像出力コネクタ２１０および２１２のところで与えられる。レンダリング・ユニット２００は：
・不規則形状のオブジェクト１０６〜１１２を有する変調画像１００を生成するための変調画像生成装置２０６と；
・入力画像１０２の一部分のピクセル値を、変調画像１００のさらなるピクセル値に基づいて変調して中間画像１０４を得るための変調装置２０２と；
・前記中間画像を像差データに基づく第一の変換に基づいてゆがめることによって第一の出力画像を生成し、前記中間画像を前記像差データに基づく第二の変換に基づいてゆがめることによって第二の出力画像を生成する生成装置２０４、
とを有する。

変調画像生成装置２０６、変調装置２０２および生成装置２０４は一つのプロセッサを使って実装されうる。通常、これらの機能はソフトウェア・プログラム・プロダクトの制御のもとで実行される。実行の間、通常、ソフトウェア・プログラム・プロダクトがRAMのようなメモリに読み込まれ、そこから実行される。プログラムはROM、ハードディスクまたは磁気および／または光学式記憶のようなバックグラウンド・メモリからロードされてもよいし、あるいはインターネットのようなネットワークを介してロードされてもよい。任意的に、特定用途向け集積回路（application specific integrated circuit）が開示される機能を提供する。

図４との関連で、変調画像生成装置２０６のある実施形態について述べる。

好ましくは、変調装置２０２は式２に指定されるような機能を実行するよう構成される。

L_out(x,y)＝L_in(x,y)＋g(x,y)*L_mod(x,y) (2)
ここで、
・L_inは、入力画像１０２の座標(x,y)をもつピクセルの輝度値；
・L_outは、中間画像、すなわち変調装置の出力の、座標(x,y)をもつピクセルの輝度値；
・L_modは、変調画像１００の座標(x,y)をもつピクセルの輝度値；
・g(x,y)は好ましくはユーザーによって調整可能な利得因子である。利得g(x,y)は全ピクセルについて等しくてもよいが、好ましくは各ピクセルが独自の利得因子をもつ。利得g(x,y)の実際の値は利得入力コネクタ２１４によって与えられることができる。

生成装置２０４は、第一の出力画像および第二の出力画像をレンダリングするよう構成される。レンダリングは、たとえばP. A. Redert, E. A. Hendriks, and J. Biemondによる論文“Synthesis of multi viewpoint images at non-intermediate positions”, Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN0-8186-7919-0, pp. 2749‐2752, IEEE Computer Society, Los Alamitos, California, 1997に記載されるようなものである。あるいはまた、レンダリングは、R. P. Berretty and F. E. Ernst による“HIgh-quality images from 2.5D video”, Proceedings Eurographics, Granada, 2003, Short Note 124に記載されるようなものである。前記レンダリングのために、生成デバイス２０４は像差または奥行き情報を必要とするが、これは像差入力コネクタ２１６によって与えられる。

変調画像生成装置２０６は次の二つの任意的な入力コネクタを有しうる：鮮鋭度入力コネクタ２２０および動きベクトル入力コネクタ２１８。

好ましくは、入力画像への不規則形状のオブジェクトの導入は、入力画像のうち実質的に均一な部分のみに限られる。これは、入力画像を局所的に、すなわち実質的に均一な領域においてのみ変調することによって達成されうる。あるいはまた、入力画像の画像内容、特に均一領域の存在および位置についての情報が、変調画像生成装置２０６によって考慮に入れられる。その情報は外部の鮮鋭度計算装置３０２によって与えられてもよいし、あるいはレンダリング・ユニット２００自身によって計算されてもよい。いずれの場合にも、鮮鋭度情報は、ある画像のピクセルについての鮮鋭度の値を計算することに基づいて決定される。好ましくは、その画像は、変調画像が加えられる、あるいは変調画像と組み合わされる特定の入力画像である。あるいはまた、鮮鋭度情報は、前記特定の画像が属する画像シーケンスからのある別の画像のピクセルについての鮮鋭度の値を計算することに基づいて決定される。

好ましくは、ある特定のピクセルの鮮鋭度の値は、その特定のピクセルの輝度および／または色の値と、その特定のピクセルの隣接ピクセルの輝度および／または色の値との差を計算することによって決定される。ある画像の各ピクセルの鮮鋭度の値を計算することによって、鮮鋭度マップが形成される。輝度および／または色の値の間の比較的大きな相違は比較的高い鮮鋭度の値を意味する。その後、鮮鋭度マップは解析され、任意的に適応される。すなわち、比較的低い鮮鋭度の値をもつピクセルが比較的多い第一の領域が決定され、比較的高い鮮鋭度の値をもつピクセルが比較的多い第二の領域が決定される。第一の領域は均一領域であると想定され、第二の領域はテクスチャーのある、あるいは細部のある領域であると想定される。その分類に基づいて、利得因子g(x,y)の値が決定され、変調画像１００が生成される。典型的には、これは、第一の領域に対応する変調画像１００の輝度値L_mod(x,y)が、変調の間に入力画像１００に対して全く効果をもたない、あるいは実質的な効果を全くもたないであるような値である、たとえばL_mod(x,y)＝0であり、一方、第二の領域に対応する変調画像１００の輝度値L_mod(x,y)が、変調の間に入力画像１００に対して効果をもつような値である、たとえばL_mod(x,y)＝−2,−1,1または2であるということを意味する。

前記分類情報を含む鮮鋭度マップが鮮鋭度入力コネクタ２２０によってレンダリング・ユニット２００に与えられる。

連続する入力画像に対応する連続する変調画像の生成は、完全に互いに独立して実行されてもよい。あるいはまた、ある特定の変調画像とその後の変調画像の生成の間に関係がある。連続する変調画像の生成では連続する入力画像の間の動きを考慮に入れることが有利である。特定の入力画像とその後続画像との間の動きを解析することによってシフトを決定することが可能である。好ましくは、このシフトは、次の変調画像を達成するために前記特定の変調画像をシフトさせるのに適用される。連続する入力画像の間の動きは好ましくは、動きベクトル場に基づいて動きモデルを作成することに基づく。そのような動きベクトル場は、動き推定器によって決定される。動き推定器は、たとえば、G. de Haan et al.によって論文“True-Motion Estimation with 3-D Recursive Search Block Matching”, IEEE Transactions on circuits and systems for video technology, vol. 3, no. 5, October 1993, pp. 368‐379で規定されているようなものである。

動き情報は、レンダリング・ユニット２００に、動きベクトル入力コネクタ２１８によって与えられる。

図３は、本発明に基づく、レンダリング・ユニット２００のある実施形態を有するマルチビュー画像生成ユニット３００を概略的に示している。マルチビュー画像生成ユニット３００は、ビデオ画像のシーケンスに基づいてマルチビュー画像のシーケンスを生成するよう構成されている。マルチビュー画像生成ユニット３００は、入力コネクタ３０８においてビデオ画像のストリームを与えられ、出力コネクタ３１０および３１２においてそれぞれ、ビデオ画像の二つの相関したストリームを与える。ビデオ画像のこれら二つの相関したストリームがマルチビュー・ディスプレイ装置に与えられるもので、マルチビュー・ディスプレイ装置は、ビデオ画像の相関したストリームの第一のストリームに基づいて第一のビューの系列を視覚化し、ビデオ画像の相関したストリームの第二のストリームに基づいて第二のビューの系列を視覚化するよう構成されている。ユーザー、すなわち視聴者が、第一のビューの系列を左目で、第二のビューの系列を右目で観察するとすると、そのユーザーは三次元の印象を感知する。ビデオ画像の相関したストリームの第一のストリームは受信されるままのビデオ画像のシーケンスに対応し、ビデオ画像の相関したストリームの第二のストリームは受信されるままのビデオ画像のシーケンスに基づいて本発明の方法に従ってレンダリングされているというのでもよい。

マルチビュー画像生成ユニット３００はさらに、以下のものを有している：
・入力画像のどの領域が均一であるかを判別するための鮮鋭度計算装置３０２。鮮鋭度計算装置３０２の出力は、鮮鋭度入力コネクタ２２０によってレンダリング・ユニット２００に与えられる；
・連続する入力画像の間の動きを推定するための動き推定器３０４。動き推定器３０４の出力は、動きベクトル入力コネクタ２１８によってレンダリング・ユニット２００に与えられる；
・入力画像中のさまざまなオブジェクトの奥行き情報を決定するための奥行き生成ユニット３０６。奥行き情報に基づいて、像差マップが決定され、像差入力コネクタ２１６によってレンダリング・ユニット３００に与えられる。

マルチビュー画像生成ユニット３００はビデオ画像を扱うよう設計されているが、マルチビュー画像生成ユニット３００の代替的な実施形態は、個別の画像、すなわちスチール映像に基づいてマルチビュー画像を生成するよう構成されることを注意しておくべきである。

描かれたマルチビュー画像生成ユニット３００は二つの出力コネクタ３１０および３１２を有しているが、代替的な出力方法も可能であることを注意しておくべきである。さらに、一つのマルチビュー画像をなす出力画像の数はもちろん２つに限定されるものではない。

図４は、本発明に基づく、変調画像生成装置２０６のある実施形態を概略的に示している。変調画像生成装置は以下のものを有している：
・第一の画像を生成するためのランダムノイズ発生器４０２と；
・前記第一の画像をフィルタ処理して第二の画像を生じる低域通過フィルタ４０４とを有する。前記低域通過フィルタの特性は、適切な大きさをもつ不規則形状のオブジェクトを生成するため、像差データに関係している。
・前記第二の画像のピクセル値を、所定の閾値と比較する比較装置４０６。前記第二の画像のピクセルを分類して変調画像を生じるためである。分類は、つながったピクセルの諸グループが、それぞれの不規則形状のオブジェクトに属するとラベル付けされ、一方、つながったピクセルのさらなる諸グループは背景とラベル付けされるようなものである。

図５は、本発明に基づく、画像処理装置のある実施形態を概略的に示している。該装置は以下のものを有している：
・入力画像を表すビデオ信号を受信する受信ユニット５０２と；
・図３との関連で述べた、受信した入力画像に基づいてマルチビュー画像を生成するためのマルチビュー画像生成ユニット３００と；
・マルチビュー画像生成ユニット３００によって与えられるようなマルチビュー画像を表示するマルチビュー表示装置５０４。

ビデオ信号は、アンテナまたはケーブルを介して受信される放送信号であってもよいが、VCR（ビデオ・カセット・レコーダー）またはデジタル多用途ディスク（DVD）のような記憶装置からの信号であってもよい。信号は入力コネクタ５０６において与えられる。画像処理装置５００はたとえばテレビであってもよい。あるいはまた、画像処理装置５００は任意的な表示装置を有していなくてもよく、表示装置５０４を有する装置に出力画像を与えるのでもよい。その場合、画像処理装置５００はたとえばセットトップボックス、衛星チューナー、VCRプレーヤー、DVDプレーヤーもしくはレコーダーであってもよい。任意的に、画像処理装置５００はハードディスクのような記憶手段またはたとえば光ディスクなどのリムーバブル・メディア上の記憶のための手段を有する。画像処理装置５００は、映画スタジオまたは放送局によって利用されるシステムであってもよい。

上記の諸実施形態は本発明を限定するのではなく解説するものであり、当業者は付属の請求項の範囲から外れることなく代替的な実施形態を設計できるであろうことは注意しておくべきである。請求項において、括弧内に参照符号があったとしてもその請求項を限定するものと解釈してはならない。動詞「有する」は請求項において挙げられていない要素またはステップの存在を排除しない。要素の単数形の表現はそのような要素の複数の存在を排除しない。本発明は、いくつかの相異なる要素を有するハードウェアによって、および好適にプログラミングされたコンピュータによって実装されてもよい。いくつかの手段を列挙している装置請求項においては、それらの手段のいくつかが同一のハードウェア項目によって具現されてもよい。第一、第二、第三などの語の使用はいかなる順序も示す者ではない。これらの語は名称として解釈されるべきものである。

本発明に基づく、変調画像、入力画像および中間画像を示す図である。 本発明に基づく、レンダリング・ユニットのある実施形態を示す概略図である。 本発明に基づく、レンダリング・ユニットのある実施形態を有するマルチビュー画像生成ユニットを示す概略図である。 変調画像生成装置のある実施形態を示す概略図である。 本発明に基づく、画像処理装置のある実施形態を示す概略図である。

Claims (10)

1. 入力画像および像差データに基づいてマルチビュー画像をレンダリングする方法であって：
   ・入力画像のうち少なくとも実質的に均一な部分のピクセル値を、不規則形状のオブジェクトを有する変調画像のさらなるピクセル値に基づいて変調して中間画像を得る段階と；
   ・前記中間画像を前記像差データに基づいてゆがめることによってマルチビュー画像を生成する段階、
   とを有する方法。
2. 前記不規則形状のオブジェクトの形状と前記入力画像中のオブジェクトの形状との間には相関が無い、請求項１記載の方法。
3. 前記不規則形状のオブジェクトの平均の大きさが前記像差データの平均値と同じオーダーである、請求項２記載の方法。
4. 前記入力画像の前記部分が実質的に均一な領域である、請求項１ないし３のうちいずれか一項記載の方法。
5. 請求項１ないし４のうちいずれか一項記載の方法であって、前記変調画像を生成する段階をさらに有し、当該生成段階は：
   ・ノイズを生成することによって第一の画像を生成する段階と；
   ・前記第一の画像を低域通過フィルタでフィルタ処理して第二の画像を生じる段階と；
   ・前記第二の画像のピクセルを閾値によって分類して前記変調画像を得る段階、
   とを有する方法。
6. 請求項１ないし５のうちいずれか一項記載の方法であって、前記入力画像のピクセル値の前記変調が、局所的な像差値に依存してピクセルの輝度値を増加又は減少させることを含む、方法。
7. 請求項１ないし６のうちいずれか一項記載の方法であって、変調画像を生成する段階が、前記入力画像が属している入力画像のシーケンスに基づいて計算される動きベクトルに基づいている、方法。
8. 入力画像および像差データに基づいてマルチビュー画像をレンダリングするレンダリング・ユニットであって：
   ・入力画像のうち少なくとも実質的に均一な部分のピクセル値を、不規則形状のオブジェクトを有する変調画像のさらなるピクセル値に基づいて変調して中間画像を得る変調手段と；
   ・前記中間画像を前記像差データに基づいてゆがめることによってマルチビュー画像を生成する生成手段、
   とを有するレンダリング・ユニット。
9. 入力画像に対応する信号を受信する受信手段と；
   請求項８記載のマルチビュー画像をレンダリングするレンダリング・ユニットと；
   マルチビュー画像を表示するための表示装置、
   とを有する画像処理装置。
10. 入力画像および像差データに基づいてマルチビュー画像をレンダリングするための命令を有する、処理手段およびメモリを有するコンピュータ装置によってロードされるべきコンピュータ・プログラムであって、ロードされたのちに、前記処理手段に：
    ・入力画像のうち少なくとも実質的に均一な部分のピクセル値を、不規則形状のオブジェクトを有する変調画像のさらなるピクセル値に基づいて変調して中間画像を得る段階と；
    ・前記中間画像を前記像差データに基づいてゆがめることによってマルチビュー画像を生成する段階、
    とを実行する機能を与える、コンピュータ・プログラム。

Images