JP5011316B2 - 出力画像のレンダリング - Google Patents

Description

本発明は、入力画像及び対応する深さに関連するデータのマトリクスに基づいて出力画像をレンダリングする方法に関するものであり、入力画像は第一の視点に対応し、出力画像は第一の視点とは異なる第二の視点に対応する。

また、本発明は、入力画像及び対応する深さに関連するデータのマトリクスに基づいて出力画像をレンダリングする画像レンダリングユニットに関するものであり、入力画像は第一の視点に対応し、出力画像は第一の視点とは異なる第二の視点に対応する。

さらに、本発明は、入力画像と対応する深さに関連するデータのマトリクスとを受信する受信手段、及び入力画像と対応する深さに関連するデータのマトリクスとに基づいて出力画像をレンダリングする画像レンダリングユニットとを有する画像処理装置に関する。

さらに、本発明は、入力画像及び対応する深さに関連するデータのマトリクスに基づいて出力画像を計算する命令を含む、コンピュータ装置によりロードされるべきコンピュータプログラムに関し、入力画像は第一の視点に対応し、出力画像は第一の視点とは異なる第二の視点に対応するものであり、コンピュータアレンジメントは、処理手段及びメモリを有する。

表示装置の導入以来、現実的な３次元（３Ｄ）表示装置は長年の夢であった。係る表示装置につながる多くの原理が調査されている。幾つかの原理は、所定のボリュームにおいて現実的な３次元オブジェクトを形成しようとする。たとえば、A. Sullivanによる論文“Solid-state Multi-planar Volumetric Display” in proceedings of SID’03, 1531-1533, 2003で開示されるような表示装置では、情報は、高速プロジェクタにより平面のアレイで配置される。それぞれの平面はスイッチ可能な拡散器である。平面の数が十分に多い場合、人間の脳は、画像を統合し、現実的な３Ｄオブジェクトを観察する。この原理により、見る人は、ある範囲内でオブジェクトの周りを見ることができる。この表示装置では、全てのオブジェクトは（半）透明である。

３Ｄ表示装置を形成する多くの他の試みは、両眼視差のみに基づいている。これらのシステムでは、見る人の左目及び右目は別の画像を知覚し、結果的に、見る人は３Ｄ画像を知覚する。これらの概念の概要は、D.F.McAllister(Ed.)による書籍“Stereo Computer Graphics and Other True 3D Technologies” Princeton University Press, 1993に記載されている。第一の原理は、たとえばＣＲＴと共にシャッターグラスを使用する。奇数フレームが表示される場合、左目について光がブロックされ、偶数フレームが表示される場合、右目について光がブロックされる。

ガラスのような付加的な機器の必要なしに３Ｄを示す表示装置は、自動立体映像表示装置と呼ばれる。

第一のガラスのない表示装置は、見る人の左目及び右目に狙いを付ける光の錐体を形成するためにバリアを有する。錐体は、たとえば奇数及び偶数のサブピクセルの列に対応する。これらの列を適切な情報でアドレス指定することにより、見る人は、彼が正しいスポットに位置される場合に彼の左目及び右目に異なる視野を得て、３Ｄの印象を知覚することができる。

第二のガラスのない表示装置は、見る人の左及び右目に対する奇数及び偶数のサブピクセルの列の光を画像形成するレンズのアレイを有する。

上述されたグラスのない表示装置の問題点は、見る人は固定された位置のままである必要がある点である。見る人を誘導するため、見る人が正しい位置にあることを彼に示すためのインジケータが提案されている。たとえばＵＳ５９８６８０４を参照されたい。この場合、バリアプレートは、赤及び緑のＬＥＤと結合される。見る人は良好に位置されるケースでは、彼は緑の光を見て、さもなければ赤の光を見る。

固定された位置で座っている見る人を解放するため、マルチビュー自動立体映像表示装置が提案されている。たとえばＵＳ６０６４４２４を参照されたい。ＵＳ６０６４４２４に開示される表示装置では、傾斜したレンチキュラーが使用され、これによりレンチキュラーの幅は２つのサブピクセルよりも大きい。このように、互いに隣り合う幾つかの視野が存在し、見る人は、左及び右に動く幾つかの自由度を有する。

自動立体映像表示装置の問題点は、３Ｄ画像の生成と一体となる解像度のロスである。それら表示装置は（２次元）２Ｄモードと３Ｄモードの間で、すなわちシングルビューモードとマルチビューモードとの間でスイッチ可能である点で有利である。比較的高い解像度が必要とされる場合、それが高い解像度を有するのでシングルビューモードにスイッチすることが可能である。

係るスイッチ可能な表示装置の例は、J. Eichenlaubによる論文“A lightweight compact 2D/3D auto stereoscopic LCD backlight for games, monitor and noteblook applications” in proceedings of SPICE3295, 1998に記載される。２Ｄモードと３Ｄモードとの間をスイッチするためにスイッチ可能な拡散器が使用されることが開示されている。スイッチ可能な自動立体映像表示装置の別の例は、WO2003015424に記載されており、この場合、ＬＣに基づいたレンズは、スイッチ可能なレンチキュラーを形成するためにＬＣに基づいたレンズが使用される。ＵＳ６０６９６５０を参照されたい。

３Ｄ画像を視覚化するため、表示装置には適切な画像データが提供される必要がある。好ましくは、３Ｄ画像の取得のためにマルチカメラのセットアップが使用される。しかし、多くのケースでは、画像データの取得のために通常の２Ｄカメラが使用されている。２Ｄ画像データの３Ｄ画像データへの変換のための幾つかの技術が存在する。典型的に、これらの技術は、画像コンテンツの分析に基づく。次いで、狙いは、深さマップを予測することである。深さマップは、シーンにおけるそれぞれのポイント、すなわち視点について、カメラへの距離を含む。それは、深さの値が２Ｄ画像の画素について予測されることを意味する。たとえばシャープネス、ルミナンス、オブジェクトのサイズ、及びオブジェクトの輪郭のジャンクションといった、その予測について幾つかの手掛かりが知られている。

典型的に、大きな深さの値は、視点に関して大きな距離に対応する。それは、バックグランドのオブジェクトがフォアグランドのオブジェクトよりも大きな深さの値を有することを意味する。

ひとたび、２Ｄ入力画像に属する深さマップが計算されると、３Ｄ画像又はマルチビュー画像を互いに形成する多数の画像をレンダリングすることができる。このレンダリングは、典型的に、表示装置を駆動してビューを形成するため、２Ｄ入力画像の変換を適用してそれぞれの駆動画像を計算することに基づいており、変換は予測された深さマップに基づいている。言い換えれば、このレンダリングは、１以上の出力画像が入力画像と対応する深さマップに基づいて計算されることを意味する。

典型的に、駆動画像、すなわち出力画像は、それぞれのシフト量で入力画像の画素を空間的にシフトすることで形成される。たとえば、L.McMillan及びS.Gortlerによる論文“Image-Based Rendering: A New Interface Between Computer Vision and Computer Graphics” in Computer Graphics, Vol.33, No.4, Nov.1999, pp.61-64を参照されたい。シフトの量は、視差と呼ばれる。したがって、それぞれの画素について典型的に、対応する視差の値が存在し、互いに視差のマップを形成する。

シフトによる駆動画像を形成する方法は、駆動画像における幾つかの領域における画像情報がカバーの除去のために未知のままであるという制限を有する。深さのステップでホールが生じ、ホールのサイズは、深さステップのサイズに比例する。ホールにおける情報は利用不可能であるので、ホールを充填することは推測ゲームとなる。

“Efficient depth Image Based Rendering (DIBR) with Edge dependent Filter and Interpolation” Multimedia and Expo, 2005, ICME 2005, IEEE International Conference in Amsterdam, The Netherlands, pages 1314-1317, XP010843908, ISBN: 0-7803-9331-7と題されたWan-Yu Chen等による論文は、ホールを充填する問題を解決するＤＩＢＲ方法に関する。

“Depth Image-Based Rendering, Compression and Transmission for a New Approach on 3D-TV”, Stereoscopic displays and virtual reality systems XI, vol.5291, 31 May 2004, pages 93-104, XP002444222と題されたChristopher Fehnによる論文は、既存の２ＤデジタルＴＶのフレームワークに深さの知覚を導入するのを可能にするシステムに関する。

本発明の目的は、デオクルージョン（de-occlusion）により引き起こされる目に見える比較的に低い量のアーチファクトによる、開始節で記載された種類の出力画像をレンダリングする方法を提供することにある。

本発明の上記目的は、本発明の方法が以下を有する点で達成される。予め決定された方向で深さに関連されるデータの導関数を計算することで、深さに関連されるデータのマトリクスにおけるエッジを計算するステップ。エッジの近傍に対応する入力画像の領域における画素値における変動の測定値を計算するステップ。該近傍はエッジのバックグランド側に位置される。スケーリングされた深さに関連されるデータに基づいて予め決定された方向で入力画像のそれぞれの画素値をシフトすることで出力画像を計算するステップ。スケーリングでは、大きな変動の測定値が大きな深さの低減となる。

本発明者は、ホールにおける充填により生じる場合があるアーチファクトの可視性は、バックグランドの画素値の変動に関連する。典型的に、画素値のシフトにより形成されるホールは、バックグランドの画素値で充填される。言い換えれば、バックグランドの画素値は、ホールの未知／割当てられていない画素値について予測値を計算するために使用される。エッジ近くの、すなわち深さステップのバックグランドの画素値が相互に実質的に等しい場合、バックグランドの画素値のホールへの外挿は、実質的に悩ませる画像のアーチファクトを生じない。型押しされたバックグランドのケースでは、ホールを充填するためにバックグランドの画素が使用されるとき、目に見える歪み／アーチファクトが生じる場合がある。

本発明に係る方法では、バックグランドのテクスチャの変動が比較的に高い場合、すなわち変動の測定値が比較的高い場合、深さのアーチファクトが低減される。典型的に、たとえば深さマップといった深さの関連されるデータのマトリクスは、スケーリングされた深さマップにスケーリングされ、このスケーリングされた深さマップは、その後、出力画像の計算のために使用される。代替的に、深さの低減の量は、画素値をシフトしつつ、深さに関連されるデータをスケーリングされた深さに関連されるデータに明示的にスケーリングすることなしに、暗黙に考慮される。

変動の測定値の計算について、好ましくは、バックグランドに属する画素値のみが使用される。バックグランドに対応する入力画像における領域を判定し、結果的に、入力画像におけるどの領域がフォアグランドに対応するかを判定するため、深さに関連されるデータのマトリクスにおけるエッジが検出される。エッジは、バックグランドとフォアグランド間の境界を形成する。

説明されたように、近傍は、エッジのバックグランド側に位置される。これは、エッジの第一の側に位置される領域よりも第一の視点に関して大きな深さを有するエッジのそれぞれの反対の側に位置されることを意味する。エッジの第一の側に位置される領域はフォアグランドに属する。

出力画像の視点、すなわち第二の視点に依存して、変動の測定値の計算の画素値のセットが決定される。なお、第一の視点に関する第二の視点の位置は、フォアグランドのオブジェクトのどの側で、充填される必要があるホールがデオクルージョンのために生じる場合があるかを判定する。これは、変動の測定値の計算、すなわちスケーリング量の低減がない場合に生じる潜在的な目に見えるアーチファクトの予測が、デオクルージョンの領域における領域の画素に基づくことが好ましいことを意味する。これは、バックグランドの画素値がデオクルージョン領域に対応して考慮されることを意味する。

したがって、本発明に係る出力画像をレンダリングする方法の実施の形態では、以下を含む。予め決定された方法において、第一の視点の正のサイドに第二の視点が位置される場合に、深さに関連されるデータの正の導関数は、負の導関数よりも、深さに関連されるデータのマトリクスにおけるエッジを計算するために使用される。予め決定された方法において、第一の視点の負のサイドに第二の視点が位置される場合に、深さに関連されるデータの負の導関数は、正の導関数よりも、深さに関連されるデータのマトリクスにおけるエッジを計算するために使用される。

第一のケースでは、出力画像は、入力画像の視点から右である視点に対応し、第二のケースでは、出力画像は、入力画像の視点から左である視点に対応する。これは、左から右が正であると考えられることを意味する。

選択的なエッジ検出により、入力画像における適切な領域は、変動の測定値を計算するために選択される。

出力画像をレンダリングする方法の実施の形態では、深さに関連されるデータのマトリクスにおけるエッジを計算するため、それぞれの導関数の大きさは、予め決定された閾値よりも大きい。変動の測定値の計算のため、深さマップにおける実質的なステップのみが考慮されることが好ましい。

出力画像をレンダリングする方法の実施の形態では、入力画像の領域のうちの特定の領域の第一の境界は対応するエッジに基づいて決定され、反対の境界は、予め決定された方向において、第一の境界から予め決定された画素数で位置される。好ましくは、変動の測定値の計算のために画素が選択される入力画素における領域は、選択されたエッジに基づく。好ましくは、領域の形状は、対応するエッジの形状に対応する。

本発明の更なる目的は、デオクルージョンにより生じる目に見えるアーチファクトの比較的低い量となる、開始節で記載される種類の出力画像をレンダリングする画像レンダリングユニットを提供することにある。

本発明の上記目的は、画像レンダリングユニットが以下を有する点で達成される。予め決定された方法で深さに関連されるデータの導関数を計算することで、深さに関連されるデータのマトリクスにおけるエッジを計算する第一の計算手段。エッジの近傍に対応する入力画像の領域における画素値における変動の測定値を計算する第二の計算手段。近傍は、エッジのバックグランドの側に位置される。スケーリングされた深さに関連されるデータに基づいて予め決定された方向で入力画像のそれぞれの画素値をシフトすることで出力画像を計算する第三の計算手段。スケーリングでは、変動の大きな測定値が大きな深さの低減となる。

画像処理装置において係る画像レンダリングユニットを適用することが有利である。典型的に、係る画像処理装置は、入力画像に基づいた多数の出力画像を表示し、任意に、入力画像をも表示するマルチビュー表示装置を有する。

画像レンダリングユニットの変更及びその変形は、画像処理装置の変更及びその変形に対応する場合があり、出力画像をレンダリングする方法及びコンピュータプログラムが記載される。

本発明に係る、画像レンダリングユニット、出力画像をレンダリングする方法、画像処理装置及びコンピュータプログラムのこれらの態様及び他の態様は、以下に記載される実現及び実施の形態に関して、及び添付図面を参照して明らかとなるであろう。同じ参照符号は、図面を通して同じ部材を示すために使用される。

図１は、表示装置１２０に接続される、本発明に係る画像レンダリングユニット１００の実施の形態を概念的に示す。画像レンダリングユニット１００は、入力画像と対応する深さのマップとに基づいて出力画像のセットを計算するために構成される。出力画像のセット及び典型的に入力画像は、表示装置１２０に供給される。これらの画像は、全体で表示装置１２０を駆動するための駆動画像である。表示装置１２０は、先に記載及び言及された３Ｄディスプレイである。好ましくは、表示装置１２０は、いわゆるマルチビュー表示装置であり、この表示装置は、表示装置のスクリーンに関して相互に異なる方向で多数のビューを投影するために構成される。異なる方向は、異なる視点、すなわち駆動画像により表現されているシーンが観察される異なるポイントに対応する。

画像レンダリングユニット１００は、画像レンダリングユニット１００に入力画像を供給する第一の入力コネクタ１１４を有する。典型的に、入力画像の系列が供給される。画像レンダリングユニット１００は、画像レンダリングユニット１００に対応する深さのマップを供給する第二の入力コネクタ１００を有する。典型的に、深さのマップの系列が供給される。画像レンダリングユニットは、レンダリングされるべき出力画像の要求される視点を示す制御インタフェース１１２を更に有する。

画像レンダリングユニット１００は、以下を有する。予め決定された方向で、深さの値の導関数を計算することで、深さマップにおけるエッジを検出するエッジ検出ユニット１０４。エッジの近傍に対応する入力画像の領域における画素値における変動の測定値１１６を計算するテクスチャ分析ユニット１０２。近傍は、エッジのバックグランドサイドに位置される。計算された変動の測定値に基づいてスケーリングされた深さのマップに深さのマップをスケーリングするスケーリングユニット１０６。このスケーリングでは、大きな変動の測定値が大きな深さの低減になる。スケーリングされた深さのマップに基づいて予め決定された方向における入力画像のそれぞれの画素値をシフトすることで出力画像を計算するレンダリングユニット１０８。

エッジ検出ユニット１０４、テクスチャ分析ユニット１０２、スケーリングユニット１０６及びレンダリングユニット１０８は、１つのプロセッサを使用して実現される場合がある。通常、これらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行の間、通常、ソフトウェアプログラムプロダクトは、ＲＡＭ、ハードディスク又は磁気及び／又は光ストレージのようなメモリにロードされるか、又は、インターネットのようなネットワークを介してロードされる場合がある。任意に、特定用途向け集積回路は、開示される機能を提供する。

エッジ検出ユニット１０４は、深さマップにおけるエッジを検出するために構成される。典型的に、エッジ検出は、深さマップの近傍のデータエレメント、すなわち近傍の深さの値の間の差を計算することで実行される。好ましくは、予め決定された閾値Δよりも大きい近傍の深さの値間の絶対差が考慮される。典型的に、入力画像の第一の視点とレンダリングされるべき出力画像の第二の視点との間の相互の関係に対応する予め決定された方向における深さの値の導関数のみが計算される。検出されたエッジに基づいて、及び好ましくは出力画像の視点に基づいて、入力画像における領域は、変動の測定値を計算するために決定される。これらの領域における画素は、画素のサブセットＳ_VPを形成する。サブスクリプトｖｐは、画素のサブセットが視点に依存することを示すために使用される。図２及び図３と関連して、視点と領域との間の関係が説明される。

テクスチャ分析ユニット１０２は、サブセットＳ_VPの画素における変動の測定値Ｔ_VPを計算するために構成される。式１は、変動の測定値のＴ_VPの計算の実施の形態を規定する。

ここで、Ｎ_SvpはサブセットＳ_VPにおける画素数であり、ｒ（ｘ_k,ｙ_k）は座標（ｘ_k,ｙ_k）による画素値の赤成分であり、ｇ（ｘ_k,ｙ_k）は座標（ｘ_k,ｙ_k）による画素値の緑成分であり、ｂ（ｘ_k,ｙ_k）は座標（ｘ_k,ｙ_k）による画素値の青成分であり、ｋはインデックスである。テクスチャ測定値Ｔ_VPは、領域にわたり平均化される、ｘ方向におけるある画素から次の画素への入力画像における平均の水平方向の色の変化である。赤、緑、青の色空間が使用されるが、入力画像について別の色表現も機能する。代替的に、領域における画素の輝度成分は、変動の測定値の計算のために考慮される。

なお、領域は接続された領域である必要はない。これは、変動の測定値Ｔ_VPの計算のために画素が選択される入力画像における多数の領域が存在することを意味する。

スケーリングユニット１０６は、深さのマップをスケーリングされた深さのマップにスケーリングするために構成される。このスケーリングでは、大きな変動の測定値Ｔ_VP が大きな深さの低減となる。典型的に、スケーリングは、変動の測定値Ｔ_VPの関数ｆ（Ｔ_VP）である、スケーリングファクタによる乗算である。

ここでサブスクリプトｖｐは、スケーリングされた深さのマップが視点に依存することを示すために使用される。典型的に、スケーリングは、ルックアップテーブル（ＬＵＴ）により実現される。代替的に、スケーリングは、グローバルなスケーリングではなく、深さマップのローカルなスケーリングである。

レンダリングユニット１０８は、スケーリングされた深さのマップに基づいて、予め決定された方向で入力画像のそれぞれの画素値をシフトすることで出力画像を計算するために構成される。このタイプのレンダリングの記載について、たとえば、L.McMillan及びS.Gortlerによる論文“Image-Based Rendering: A New Interface Between Computer Vision and Computer Graphics” in Computer Graphics, Vol.33, No.4, Nov.1999, pp.61-64を参照されたい。

つぎに、図２及び図３と関連して、サブセットＳ_VPが入力画像２００の視点に関してそれぞれの出力画像２０２，３０２の視点に依存することが説明される。入力画像２００が中央のビューに対応し、２つの異なる出力画像２０２，３０２が計算される必要があるとする。出力画像の最初の画像２０２は、入力画像２００から右に位置され、出力画像の第二の画像３０２は、入力画像２００から左に位置される。これは、出力画像の第一の画像２０２の視点がｘ方向において入力画像の視点の正の側に位置され、出力画像の第二の画像３０２の視点がｘ方向において入力画像２００の視点の負の側に位置されることを意味する。

図２は、入力画像２００、対応するオリジナルのスケーリングされていない深さマップ２０４、及び入力画像２００に基づいた出力画像２０２の最初の画像を概念的に示す。図２は、フォアグランドに位置されるオブジェクトの表現２０６を示し、バックグランド２０８を示す。図２では、サブセットＳ_VPの画素に対応する領域２１０が示される。深さのマップ２０４は、オブジェクト２０６に対応する深さの値の第一のセット２２２、及びバックグランドに対応する深さの値の第二のセット２２４を有する。深さマップ２０４におけるエッジ２１２は、近傍の値間のステップが比較的高く、正の符号を有する位置に配置される。エッジ２１２は、入力画像２００における領域２１０の境界のうちの１つに対応する。領域２１０の反対の境界は、予め決定された方向ｘにおいて、第一の境界から予め決定された画素数Ｂで位置される。

出力画像２０２の最初の画像は、入力画像２００で表現されるのと同じオブジェクトの別の表現２１６を示しているが、左にシフトされ、これにより、シフトの量はスケーリングされた深さマップに関連される。スケーリングされた深さのマップは、図２に示されていない。スケーリングされた深さのマップは、深さマップ２０４から導出される。

出力画像の最初の画像２０２について、ｉをインデックスとしてｚ（ｘ_i,ｙ_i）−ｚ（ｘ_i−１,ｙ_i）＞０である場合にホールが導入される。出力画像の最初の画像２０２のレンダリングのために深さのマップをスケーリングするのに要求される変動の測定値Ｔ_VPの計算のために入力画像２００における画素のサブセットＳ_VPを形成することは、０＜ｘ_j−ｘ_i＜Ｂについて画素ｊを選択することに基づいており、ここでＢは、大きさｚ（ｘ_i,ｙ_i）−ｚ（ｘ_i−１,ｙ_i）＞Δの深さの変化に対する距離である。

深さの変化、深さのステップ及び深さの値の導関数は、同じコンセプトの異なる項である。

図３は、入力画像２００、対応するオリジナル、すなわちスケーリングされていない深さマップ２０４、及び入力画像２００に基づいた出力画像３０２の第二の画像を概念的に示す。図３は、フォアグランドに位置されるオブジェクトの表現２０６を示し、バックグランド２０８を示す。図２では、また、サブセットＳ_VPの画素に対応する領域３１０が示される。深さマップ２０４は、オブジェクト２０６に対応する深さの値の第一のセット２２２と、バックグランドに対応する深さの値の第二のセット２２４を有する。深さマップ２０４におけるエッジ２１２は、近傍の値間のステップは比較的高く、負の符号を有する位置で配置される。エッジ３１２は、入力画像２００における領域３１０の境界のうちの１つに対応する。領域２１０の反対の境界は、予め決定された方向ｘとは逆に、第一の境界から予め決定された画素数Ｂで位置される。

出力画像３０２の第二の画像は、入力画像２００で表現されるのと同じオブジェクトの別の表現３１６を示すが、右にシフトされており、これにより、シフトの量は、スケーリングされた深さのマップに関連される。スケーリングされた深さのマップは、図３に示されていない。スケーリングされた深さのマップは、深さマップ２０４から導出される。

出力画像の第二の画像３０２について、ｉをインデックスとしてｚ（ｘ_i−１,ｙ_i）−ｚ（ｘ_i,ｙ_i）＞０である場合にホールが導入される。出力画像の最初の画像３０２のレンダリングのために深さのマップをスケーリングするのに要求される変動の測定値Ｔ_VPの計算のために入力画像２００における画素のサブセットＳ_VPを形成することは、０＜ｘ_j−ｘ_i＜Ｂについて画素ｊを選択することに基づいており、ここでＢは、大きさｚ（ｘ_i−１,ｙ_i）−ｚ（ｘ_i,ｙ_i）＞Δの深さの変化に対する距離である。

典型的に、出力画像の最初の画像についてスケーリングされた深さの値、及び出力画像の第二の画像３０２についてそれぞれスケーリングされた深さの値は、相互に異なる。

単一の入力画像に基づいて、駆動画像のセットは、９つのビューをもつ表示装置について形成され、これにより入力画像が駆動画像のセットの中央の画像に対応するとする。中央のビューから右に位置される、それぞれの視点を有する４つの駆動画像の第一のサブセットが存在し、中央のビューから左に位置される、それぞれの視点を有する４つの駆動画像の第二のサブセットが存在する。その場合、第一のサブセットについて、ｚ^scaled _vp=Right（ｘ,ｙ）が使用され、第二のサブセットについて、ｚ^scaled _vp=Left（ｘ,ｙ）が使用される。

図４は、本発明に係る画像処理装置４００を概念的に示し、以下を有する。入力画像を表わす信号を受信し、任意に、対応する深さマップを受信する受信手段４０２。代替的に、画像処理装置は、受信された入力画像に基づいて深さマップ自身を計算するために構成される。図１に関連して記載される画像レンダリングユニット１００。画像レンダリングユニット１００の出力画像を表示し、好ましくは、レンダリングされた出力画像と共に入力画像を表示する表示装置１２０。

信号がアンテナ又はケーブルを介して受信されたブロードキャスト信号である場合があるが、ＶＣＲ（Video Cassette Recorder）又はＤＶＤ（Digital Versatile Disk）のような記憶装置からの信号である場合がある。信号は入力コネクタ４１０で供給される。画像処理装置４００は、たとえばＴＶである場合がある。代替的に、画像処理装置４００は、任意の表示装置を有さないが、表示装置１２０を有する装置に出力画像を供給する。次いで、画像処理装置４００は、たとえばセットトップボックス、サテライトチューナ、ＶＣＲプレーヤ、ＤＶＤ又はレコーダである場合がある。任意に、画像処理装置４００は、ハードディスクのような記憶手段、又はたとえば光ディスクといった取り外し可能なメディアでの記憶手段を有する。画像処理装置４００は、映画スタジオ又は放送局により適用されるシステムである場合がある。

図５は、多数の入力画像５０２〜５０８及び対応する深さマップ５１２〜５１８をそれぞれ示す。入力画像５０２〜５０８は、バックグランドの前の林檎を全て表す。入力画像５０２〜５０８間の主要な違いは、バックグランドである。林檎の位置は、別の違いであるが、これは本明細書の文脈において問題ではない。変動の測定値により定量化することができるバックグランドにおけるテクスチャの量は異なる。

深さマップ５１２〜５１８のグレイの値は深さの値を表す。
図６は、図５の入力画像５０２〜５０８に基づいた多数の出力画像６０２〜６０８，６２２〜６２８を示す。左の列は、図５で示されるオリジナルであってスケーリングされていない深さマップにより計算される、それぞれの入力画像５０２〜５０８の出力画像６０２〜６０８を示す。特に、参照符号６０４及び６０６で示される出力画像は、林檎の右側で明らかなアーチファクトを示す。これらのアーチファクトは、比較的大きな量のテクスチャのため、特に目に見える。

中央の列は、スケーリングされた深さのマップ６１２〜６１８を示す。グレイ値は、深さの値を表す。参照符号６１２で示される図６に示されるスケーリングされた深さのマップのグレイ値を、参照符号５１２で示される図５に示されるオリジナルの深さマップのグレイ値と比較することで、前記深さのマップが実質的に相互に等しいことが分かる。これは、対応する入力画像５０２のバックグランドが実質的に一様であるために驚くことではない。しかし、参照６１６で示される図６に示されるスケーリングされた深さマップのグレイ値を、参照符号５１５で示される図５に示されるオリジナルの深さマップのグレイ値と比較することで、前記後者の深さマップは、相互に実質的に異なることが分かる。これは、深さの値のダイナミックレンジが強く低減されることを意味する。比較的大きな量のテクスチャはそのためである。

右の列は、スケーリングされた深さマップ６１２〜６１８のそれぞれに基づいてレンダリングされる出力画像６２２〜６２８を示す。図６で分かるように、特に、第二の行及び第三の行において、アーチファクトの量は強く低減される。アーチファクトの量におけるこの低減の代償は、深さの知覚の低減である。

図１〜図６に関連して記載される本発明に係る実施の形態では、あるシーンにおける、ある視点とあるポイントとの間の物理的な距離の測定値として深さが規定される。請求項は、本明細書に基づいて解釈される必要がある。代替的な量は、深さを表現するために使用することができることは明らかである。たとえば、深さは、カメラから最も離れたシーンにおける特定のポイントからの距離として表現される場合がある。これは、バックグランドが比較的低い深さを有し、フォアグランドが比較的高い深さを有することを意味する。代替的に、距離の逆数のような深さの量も使用することができる。そのケースでは、単語「大きい」及び「低減」は、「小さい」及び「増加」でそれぞれ置き換えられる。

なお、上述された実施の形態は、本発明を制限するものではなく例示するものであり、当業者であれば、特許請求の範囲から逸脱することなしに代替的な実施の形態を設計することができるであろう。単語「有する“comprising”」は、請求項で列挙されていないエレメント又はステップの存在を排除するものではない。本発明は、幾つかの個別のエレメントを有するハードウェアにより、適切にプログラムされたコンピュータにより実現される。幾つかの手段を列挙する装置の請求項では、これらの手段の幾つかは、同一アイテムのハードウェア又はソフトウェアにより実施される。単語「第一」、「第二」及び「第三」等の使用は、任意の順序を示すものではない。これらの単語は、名前として解釈されるべきである。動作の特定のシーケンスは、時に示されない限り必要とされることが意図されない。

表示装置に接続される本発明に係る画像レンダリングユニットの実施の形態を概念的に示す図である。 入力画像、深さマップ、及び入力画像と深さマップとに基づく出力画像を概念的に示す図であり、出力画像は、入力画像の右側に位置される視点に対応する。 入力画像、深さマップ、及び入力画像と深さマップとに基づく出力画像を概念的に示す図であり、出力画像は、入力画像の右側に位置される視点に対応する。 本発明に係る画像処理装置を概念的に示す図である。 多数の入力画像と対応する深さマップを示す図である。 図５の入力画像に基づいた多数の出力画像を示す図である。

Claims (9)

1. 入力画像と深さ関連データの対応するマトリクスとに基づいて出力画像をレンダリングする方法であって、
   前記入力画像は第一の視点に対応し、前記出力画像は前記第一の視点とは異なる第二の視点に対応し、
   エッジ検出ユニットにより、予め決定された方向で前記深さ関連データの微分係数を計算することで、前記深さ関連データのマトリクスにおけるエッジを計算するステップと、
   テクスチャ分析ユニットにより、前記エッジのバックグランド側に位置される前記エッジから予め決定された範囲の前記入力画像の領域における画素値における変動の量を計算するステップと、
   レンダリングユニットにより、スケーリングされた深さ関連データに基づいて予め決定された方向で前記入力画像のそれぞれの画素値をシフトすることで出力画像を計算するステップとを含み、
   スケーリングユニットによる前記スケーリングでは、前記変動の量が大きいほど深さが低減される、
   ことを特徴とする方法。
2. 前記深さ関連データのマトリクスにおけるエッジを計算する前記ステップについて、
   前記第二の視点が予め決定された方向において前記第一の視点の正の側に位置される場合、前記深さ関連データの負の微分係数よりも正の微分係数が使用され、
   前記第二の視点が予め決定された方向において前記第一の視点の負の側に位置される場合、前記深さ関連データの正の微分係数よりも負の微分係数が使用される、
   請求項１記載の出力画像をレンダリングする方法。
3. 前記深さ関連データのマトリクスにおけるエッジを計算する前記ステップについて、
   それぞれの微分係数の大きさは予め決定された閾値よりも大きい、
   請求項１又は２記載の出力画像をレンダリングする方法。
4. 前記入力画像の領域のうちの特定の領域の第一の境界は、対応するエッジに基づいて決定され、反対の境界は、予め決定された方向において、前記第一の境界から予め決定された画素数で位置される、
   請求項１乃至３の何れか記載の方法。
5. 前記スケーリングは、前記入力画像全体に実行される、
   請求項１乃至４の何れか記載の出力画像をレンダリングする方法。
6. 前記スケーリングは、局所的に計算された変動の量に依存して前記入力画像で局所的に実行される、
   請求項１乃至４の何れか記載の出力画像をレンダリングする方法。
7. 入力画像と深さ関連データの対応するマトリクスとに基づいて出力画像をレンダリングする画像レンダリング装置であって、
   前記入力画像は第一の視点に対応し、前記出力画像は前記第一の視点とは異なる第二の視点に対応し、
   予め決定された方向で前記深さ関連データの微分係数を計算することで、前記深さ関連データのマトリクスにおけるエッジを計算する第一の計算手段と、
   前記エッジのバックグランド側に位置される前記エッジから予め決定された範囲の前記入力画像の領域における画素値における変動の量を計算する第二の計算手段と、
   スケーリングされた深さ関連データに基づいて予め決定された方向で前記入力画像のそれぞれの画素値をシフトすることで出力画像を計算する第三の計算手段とを有し、
   前記スケーリングでは、前記変動の量が大きいほど深さが低減される、
   ことを特徴とする装置。
8. 入力画像と深さ関連データの対応するマトリクスとを受信する受信手段と、
   前記入力画像と前記深さ関連データの対応するマトリクスとに基づいて出力画像をレンダリングする請求項７記載の画像レンダリング装置と、
   を有する画像処理装置。
9. 入力画像と深さ関連データの対応するマトリクスとに基づいて出力画像を計算する命令を含む、コンピュータ装置によりロードされるコンピュータプログラムであって、
   前記入力画像は第一の視点に対応し、前記出力画像は前記第一の視点とは異なる第二の視点に対応し、
   前記コンピュータ装置は処理手段及びメモリを有し、
   当該コンピュータプログラムは、ロードされた後に、前記処理手段に、
   予め決定された方向で前記深さ関連データの微分係数を計算することで、前記深さ関連データのマトリクスにおけるエッジを計算するステップと、
   前記エッジのバックグランド側に位置される前記エッジから予め決められた範囲の前記入力画像の領域における画素値における変動の量を計算するステップと、
   前記変動の量が大きいほど深さが低減されるスケーリングである、スケーリングされた深さ関連データに基づいて予め決定された方向で前記入力画像のそれぞれの画素値をシフトすることで出力画像を計算するステップと、
   を実行させることを特徴とするコンピュータプログラム。

Images