JP5527856B2 - 三次元画像データ処理 - Google Patents

三次元画像データ処理 Download PDF

Info

Publication number
JP5527856B2
JP5527856B2 JP2011528482A JP2011528482A JP5527856B2 JP 5527856 B2 JP5527856 B2 JP 5527856B2 JP 2011528482 A JP2011528482 A JP 2011528482A JP 2011528482 A JP2011528482 A JP 2011528482A JP 5527856 B2 JP5527856 B2 JP 5527856B2
Authority
JP
Japan
Prior art keywords
image
transparency
depth
map
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011528482A
Other languages
English (en)
Other versions
JP2012503815A (ja
Inventor
バート ジー ビー バレンブルグ
ベルナルダス アー エム ズワーンス
ウォーコム ハラルド エイチ アー ヴァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2012503815A publication Critical patent/JP2012503815A/ja
Application granted granted Critical
Publication of JP5527856B2 publication Critical patent/JP5527856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、３次元ビデオ画像データを含む３次元画像データに関する。
３次元表示は、観察者の目に、見られているシーンについての異なる視野を供給することにより、観察体験に３次元を加える。３次元画像を表現するためのポピュラーなアプローチは、一つ以上の２次元（２Ｄ）画像に３次元の情報を供給する深度表現をプラスして使用することである。斯様なアプローチは、３次元視野が比較的低い複雑さで生成可能であって、効率的なデータ表現を供給し、これにより例えば３次元（３Ｄ）画像（及びビデオ）信号に対する格納及び通信リソース要件を低減できることを含む、多くの利点を提供する。当該アプローチは、また、３Ｄ画像データに含まれる２Ｄ画像とは異なる視点及び視野角で、２Ｄ画像が生成されることを可能にする。
単一の２Ｄ画像及び関連する深度情報により３Ｄ画像を表現する欠点は、これが、前景対象物により閉塞されている（塞がれている）背景画像領域についての情報を含まないことである。従って、シーンが、異なる視点に対してレンダリングされる場合、前景対象物の後方についての情報が現れ得ない。よって、関連する深度情報を持つ複数の２次元画像（例えば、前景画像及び背景画像）を有するマルチレイヤ画像及び深度表現を使用することが提案された。このような情報から新しい視野をレンダリングするやり方の説明は、http://research.microsoft.com/research/pubs/view.aspx?type=Technical%20Report&id=20で利用可能なSteven J.Gortler及びLi-wei HeによるRendering Layered Depth Images、Microsoft Technical Report MSTR-TR-97-09や、例えば米国特許出願ＵＳ２００７／０５７９４４号公報で見つけられる。
一つより多いレイヤを使用する（すなわち、複数の２Ｄ画像を重ねる）アプローチでは、レイヤが半透明であることを可能にすることが提案された。コンピュータグラフィックの分野では、斯様なアプローチは、例えば、Norman P. Jouppi及びChun-Fa Changによる"An Economical Hardware Technique for High-Quality Antialiasing and Transparency"、Proceedings of Eurographics/Siggraph workshop on graphics hardware 1999に説明されている。斯様なアプローチは、半透明物質（例えば、水、煙、炎）が視覚化可能であり、また種々異なる深度での対象物のエッジの改善された偽信号防止を可能にする。特に、より段階的なエッジの遷移を可能にする。よって、透明度は、半透明対象物を表わすために使用されるだけでなく、透明度の値が、どのくらいのピクセルが前景であって、どのくらいの背景が見えるかを表すように、エッジを半透明にすることにより、前景対象物のエッジの偽信号防止を可能にもする。斯様なアプローチの例は、C. Lawrence Zitnick Sing Bing Kang Matthew Uyttendaele Simon Winder Richard Szeliskiによる"High-quality video view interpolation using a layered representation"、in Proceedings of Siggraph 2004で見つけられる。
しかしながら、斯様なアプローチの問題点は、後方互換性が次善的であることである。特に、２Ｄ画像を生成するために、３Ｄ画像データは、３次元フォーマットを理解できるアルゴリズムにより処理されなければならない。従って、当該信号は、斯様な機能を持たない従来のシステムで使用できない。
また、当該アプローチの他の欠点は、幾つかのシナリオで最適な画質を提供しないことである。特に、幾つかの実施例では、画像並びに関連する深度及び透明度情報の処理は、結果的に歪んでいる前景画像対象物のレンダリングされたエッジとなるだろう。
よって、３Ｄ画像データ処理のための改善されたアプローチが有益であり、特に、増大する柔軟性、改善された後方互換性、改善された画質、促進される実行及び／又は改善されたパフォーマンスを可能にするアプローチが有益であろう。
従って、本発明は、上述の欠点の一つ又は組み合わせの一つ以上を、好ましくは緩和し、軽減し、又は排除することに努めている。
本発明の態様によると、３次元画像データの少なくとも一つの視野の画像要素をレンダリングする際の使用のために、当該３次元画像データを供給する方法であって、第１の画像を供給するステップと、第１の画像及び第２の画像の組み合わせである混合画像を供給するステップであって、第１の画像に対しては第２の画像は前景画像であり、当該組み合わせは第２の画像に対する透明度データに応じている、前記混合画像を供給するステップと、前記混合画像に関係する透明度マップを供給するステップであって、当該透明度マップは、前記混合画像のピクセルに対する透明度の値を有する、前記透明度マップを供給するステップと、前記混合画像に対する第１の深度指標マップを供給するステップであって、第１の深度指標マップは前記混合画像のピクセルに対する深度指標値を有する、第１の深度指標マップを供給するステップと、第１の画像、前記混合画像、前記透明度マップ及び第１の深度指標マップを有する前記３次元画像データを供給するステップとを有する方法が提供される。
本発明に従って供給される画像データは、３次元画像データの視野を表わす全画像及び／又は視野のピクセルのような、画像要素をレンダリングするために使用できる。本発明は、改善された３Ｄ画像処理及び／又はパフォーマンスを可能にする。特に、３Ｄ画像データは、多くの実施例で改善された後方互換性を提供する。具体的には、画像の適切な２Ｄ表現を供給するために従来の２Ｄ画像として処理できる情報と共に、３Ｄ処理を可能にする深度及び透明度情報を有する３Ｄ画像データの利点が提供される。具体的には、混合画像は、例えば２Ｄ提示装置によって２Ｄ画像として、直接示されてもよい。
具体的には、幾つかの実施例では、画像の前景及び背景は、異なる画像として別個に格納されず、その代わり、背景が（透明度に従って混合された）前景及び背景の混合バージョンと共に格納されてもよい。このとき、この２Ｄ画像は、背景及び前景両方を有する従来の２Ｄ画像と対応するので、２Ｄ提示装置により直接使用できる。しかしながら、同時に、２Ｄ画像は、他の視野角を表現する２Ｄ画像又は３Ｄ画像を生成するための３Ｄ提示装置によっても使用できる。
第１の深度指標マップが、混合画像に対する深度関係情報を提供する。よって、第１の深度指標マップは、第１及び第２の画像両方のピクセルに対する深度指標値を有する混合深度指標マップである。
３Ｄ画像データは、画像シーケンスの中の画像に対してでもよい。具体的には、３Ｄ画像データは、複数の３Ｄ画像を有するビデオシーケンスの中の画像に対してでもよい。
第１の画像が特に背景画像であって、第２の画像が特に前景画像であってもよい。
混合画像に関係する透明度マップは、特に、第２の画像に対する透明度マップに対応し、よって、透明度マップは第２の画像に対する透明度マップである。特に、透明度マップは、通常、前景透明度マップである。
本発明の任意の特徴によると、当該方法は、前記３次元画像データを有する画像信号を生成するステップを更に有する。
画像信号は、特に、一つ以上の画像を有するエンコードされた画像信号である。例えば、画像信号は、ビデオフレームの形式の複数の画像を有するビデオ信号である。当該アプローチは、従来の２Ｄ装置との後方互換性だけでなく、効率的な３Ｄ処理も可能にする画像信号が生成され、格納され、配信可能にされる。
本発明の任意の特徴によると、当該方法は、３次元画像データに応じて、３次元画像をレンダリングするステップを更に有する。
当該アプローチは、適当な機器装置により種々異なる視野角でレンダリングを可能にする一方で、後方互換性も提供する。
本発明の任意の特徴によると、当該方法は、前記３次元画像データに応じて、３次元画像を視覚化するのに使用するための前記３次元画像データの複数の視野の画像要素に対応する画像要素をレンダリングするステップを更に有する。
当該アプローチは、適当な機器装置によりレンダリングされる３Ｄ画像を可能にする一方で、後方互換性も提供する。
本発明の任意の特徴によると、当該方法は、値のセットのグループから値の第２のセットの値に応じて、前記値のセットのグループから値の第１のセットの値を修正するステップを更に有し、前記値のセットのグループは前記透明度マップの透明度の値に対応する値のセットと第１の深度指標マップの深度指標値に対応する値のセットとを有する。
これは、多くの実施例及びシナリオでの改善された画質を可能にする。特に、多くのシナリオで、第１の画像の画像対象物のエッジの周りの改善された画質を提供する。発明者らは、互いに関して透明度の値及び深度指標値を調整することにより、（相対的）前景画像対象物の改善されたレンダリングが達成できることを、特に認識した。
本発明の任意の特徴によると、当該方法は、画像対象物エッジに対応する画像領域を検出するステップを更に有し、値を修正するステップは前記画像領域に対する値を修正するステップを有する。
発明者らは、特に画像対象物のエッジが処理される場合、混合画像／前景画像に対する深度指標値及び透明度の値に基づいてレンダリングされた画像に対する改善された画質が達成できることを認識した。対象物のエッジは、混合画像に対する深度指標値及び／又は透明度の値の遷移に対応する。
本発明の任意の特徴によると、当該方法は、画像領域内の第１の深度指標マップの深度指標値と、前記透明度マップの透明度の値との間の関係を修正するステップを更に有する。
これは、多くの実施例及びシナリオで改善された画質を可能にする。特に、多くのシナリオで、第１の画像の画像対象物のエッジの周りの改善された画質を提供する。発明者らは、互いに関して透明度の値及び深度指標値を調整することにより、（相対的）前景画像対象物の改善されたレンダリングが達成できることを、特に認識した。
本発明の任意の特徴によると、前記関係を修正するステップが、画像方向に沿った前記透明度マップの透明度遷移と、前記画像方向に沿った第１の深度指標マップの深度遷移とを揃えるステップを有する。
これは、多くの実施例で、実行を容易にし、及び／又はパフォーマンスを改善する。特に、透明度の遷移と深度の遷移とを揃えることにより、（相対的）前景画像対象物のエッジの３Ｄ処理により導入される画像偽信号の低減が得られる。
本発明の任意の特徴によると、当該方法は、第１の深度指標マップの深度指標値に応じて、前記透明度マップの透明度の値を修正するステップを更に有する。
これは、多くの実施例及びシナリオで改善された画質を可能にする。特に、多くのシナリオで、第１の画像の画像対象物のエッジの周りの改善された画質を提供する。発明者らは、互いに関して透明度の値及び深度指標値を調整することにより、（相対的）前景画像対象物の改善されたレンダリングが達成できることを、特に認識した。
本発明の任意の特徴によると、透明度の値を修正するステップは、前記透明度マップの透明度遷移の一部であって、第１の深度指標（遷移）マップの深度指標の一部ではない画像領域内のより高い透明度に向かって前記透明度マップの透明度の値をバイアスするステップを有する。
これは、好適な実行を可能にし、及び／又は３Ｄ処理のための改善された画質を提供する。この特徴は、特に、画像対象物のエッジに対して３Ｄ処理により持ち込まれる画像偽信号を気付きにくくする。
本発明の任意の特徴によると、透明度の値を修正するステップは、前記画像方向に沿った第１の深度遷移マップの前記深度指標値に応じて、第１の深度遷移ポイントを決定するステップと、より高い透明度及びより低い深度の少なくとも一つの方向に第１の深度遷移ポイントから延在する画像方向に沿って、インターバルのピクセルに対するより高い透明度に向かう画像方向に沿って前記透明度マップの透明度の値をバイアスするステップとにより、画像方向に沿った透明度遷移及び深度遷移を有する画像領域の少なくとも一部内の透明度の値を修正するステップを有する。
これは、有利な実行を可能にし、及び／又は３Ｄ処理のための改善された画質を提供する。この特徴は、特に、画像対象物のエッジに対して３Ｄ処理により持ち込まれる画像偽信号を気付きにくくする。
本発明の任意の特徴によると、当該方法は、前記画像方向に沿った第１の透明度マップの透明度の値に応じて、第１の透明度遷移ポイントを決定するステップを更に有し、前記インターバルが第１の透明度ポイントから第１の深度遷移ポイントまで延在する。
これは、容易な実行を可能にする一方で、効率的なパフォーマンス及び高画質を提供する。特に、画像対象物のエッジの周りの３Ｄパフォーマンスに適応するための実際的で効率的なアプローチを可能にする。
本発明の任意の特徴によると、当該方法は、より高い透明度及びより低い深度の少なくとも一つの方向に前記深度遷移ポイントから延在する評価インターバル内の最高の透明度の値を持つ、画像方向に沿ったポイントとして、第１の透明度遷移ポイントを決定するステップを更に有する。
これは、有利な実行を可能にし、及び／又は３Ｄ処理のための改善された画質を提供する。この特徴は、特に、画像対象物のエッジに対して３Ｄ処理により持ち込まれる画像偽信号を気付きにくくする。
本発明の任意の特徴によると、前記バイアスするステップが、バイアスする前の前記インターバルの最高の透明度の値へ、前記インターバルの全ての透明度の値の透明度の値を設定するステップを有する。
これは、複雑な実行を低減し、及び／又は画像対象物のエッジへの３Ｄ処理により持ち込まれる画像偽信号の知覚を更に低減若しくは最小にする。
本発明の任意の特徴によると、当該方法は、第１の画像に対する第２の深度指標マップを供給するステップを更に有し、第２の深度指標マップが第１の画像のピクセルに対する深度指標値を有し、第１の深度遷移ポイントを決定するステップが、第２の深度指標マップの深度指標値に応じて、第１の深度遷移ポイントを更に決定するステップを有する。
これは、深度遷移ポイントを決定する特に適切な態様を可能にし、実際、深度指標値の遷移の存在を決定するために使用される。よって、当該アプローチは、画像対象物のエッジの信頼性ある検出を可能にする。第１の画像と混合画像との間の相対的深度情報は、混合画像が第１及び第２の画像それぞれにより支配されるときを示す直接的情報を供給するので、当該アプローチは、混合画像を使用するアプローチに特に適している。
本発明の任意の特徴によると、前記深度遷移ポイントを決定するステップは、第１の深度指標マップの深度指標値と第２の深度指標マップの深度指標値との比較に応じて、前記深度指標遷移ポイントを決定するステップを有する。
これは、深度遷移ポイントの効率的及び／又は正確な決定を可能にする。
本発明の任意の特徴によると、前記深度遷移ポイントを決定するステップは、第２の深度指標マップの深度指標値と第１の深度指標マップの深度指標値との間の差が閾値と交差する、画像方向に沿ったポイントとして前記深度遷移ポイントを決定するステップを有する。
これは、深度遷移ポイントの効率的及び／又は正確な決定を可能にする。
本発明の任意の特徴によると、画像方向は、走査ライン方向に一致する。
これは、特に適切な実行を可能にし、特に、深度指標値及び／又は透明度の値の複雑さは低いが効率的に高い適合だけでなく、透明度の値及び深度値についての遷移の正確な方向と結果的になる複雑さが低い処理を可能にする。
本発明の任意の特徴によると、当該方法は、前記透明度マップの透明度の値に応じて、第１の深度指標マップの深度指標値を修正するステップを更に有する。
これは、多くの実施例及びシナリオで改善された画質を可能にする。特に、多くのシナリオで、第１の画像の画像対象物のエッジの周りの改善された画質を提供する。発明者らは、互いに関して透明度の値及び深度指標値を調整することにより、（相対的）前景画像対象物の改善されたレンダリングが達成できることを、特に認識した。
本発明の任意の特徴によると、深度指標値を修正するステップが、前記透明度マップ内の透明度遷移に対応する画像領域内の前景深度指標値に向かって、第１の深度指標マップの深度指標値をバイアスするステップを有する。
これは、有利な実行を可能にし、及び／又は３Ｄ処理のための改善された画質を可能にする。この特徴は、特に、第２の画像の画像対象物からの寄与を有するピクセルが、その対象物に対応する深度を持つとみなすという増大した可能性を提供する。特別な例として、この特徴は、前景画像からの部分的寄与を持つピクセルが３Ｄ処理による前景の一部として処理されることを可能にし、これによりエラー及び偽信号を低減する。
本発明の任意の特徴によると、深度指標値を修正するステップが、画像方向に沿った第１の深度指標マップの前記深度指標値と前記透明度マップの前記透明度の値の少なくとも一つに応じて、第１の遷移ポイントを決定するステップと、より低い透明度の方向に第１の透明度ポイントから延在し、第１の透明度遷移ポイントで終わる、前記画像方向に沿ったインターバルのピクセルに対する前景深度指標値に向かって、前記画像方向に沿った第１の深度指標マップの深度指標値をバイアスするステップとにより、前記画像方向に沿った深度遷移及び透明度遷移を有する画像領域の少なくとも一部内の深度指標値を修正するステップを有する。
これは、有利な実行を可能にし、及び／又は３Ｄ処理のための改善された画質を可能にする。この特徴は、特に、第２の画像の画像対象物からの寄与を有するピクセルが、その対象物に対応する深度を持つとみなすという増大した可能性を提供する。特別な例として、この特徴は、前景画像からの部分的寄与を持つピクセルが３Ｄ処理による前景の一部として処理されることを可能にし、これによりエラー及び偽信号を低減する。
本発明の任意の特徴によると、第１の遷移ポイントが、前記透明度マップの前記透明度の値に応じて決定される第１の透明度遷移ポイントであって、前記画像方向に沿った前記透明度マップの透明度指標値に応じて、第２の透明度遷移ポイントを決定するステップであって、第２の透明度遷移ポイントが第１の透明度ポイントより低い透明度に対応する当該ステップを更に有し、前記インターバルが第１の深度遷移ポイントから第２の深度遷移ポイントまで延在する。
これは、バイアスが実施されるインターバルの改善された決定を可能にする。
本発明の任意の特徴によると、第１の遷移ポイントが、前記透明度マップの前記透明度の値に応じて決定される第１の透明度遷移ポイントであって、前記画像の方向に沿った第１の深度指標マップの深度指標値に応じて第１の深度遷移ポイントを決定するステップと、第１の深度遷移ポイントに応じて透明度検索インターバルを決定するステップとを更に有し、第１の透明度ポイントを決定するステップが、前記透明度検索インターバル内の透明度の値に応じて、第１の透明度ポイントを決定するステップを有する。
これは、バイアスが実施されるインターバルの改善された決定を可能にする。
本発明の任意の特徴によると、深度指標値をバイアスするステップが、バイアスする前の、前記インターバルに対して最も遠い前景深度指標値に対応する深度指標値へ、前記インターバルの全ての深度指標値を設定するステップを有する。
これは、複雑な実行を低減可能にし、及び／又は改善された画質を提供する。
本発明の任意の特徴によると、画像方向が走査ラインに一致する。
これは、特に適切な実行を可能にし、特に、深度指標値及び／又は透明度の値の複雑さは低いが効率的に高い適合だけでなく、透明度の値及び深度値についての遷移の正確な方向と結果的になる複雑さが低い処理を可能にする。
本発明の他の態様によると、第１の画像を供給するステップと、第１の画像及び第２の画像の組み合わせである混合画像を供給するステップであって、第２の画像は第１の画像に対する前景画像であり、当該組み合わせは第２の画像に対する透明度の値に応じている、前記混合画像を供給するステップと、前記混合画像に関係する透明度マップを供給するステップであって、当該透明度マップは前記混合画像のピクセルに対する前記透明度マップを供給するステップと、前記混合画像に対する第１の深度指標マップを供給するステップであって、第１の深度指標マップは前記混合画像のピクセルに対する深度指標値を有する、第１の深度指標マップを供給するステップと、第１の画像、前記混合画像、前記透明度マップ及び第１の深度指標マップを表現するエンコードされたデータを有する前記画像信号を生成するステップとを有する、画像信号をエンコードする方法が提供される。
本発明の任意の特徴によると、当該方法は、第１の深度指標マップの深度指標値に応じて、前記透明度マップの透明度の値を修正するステップを更に有する。
本発明の任意の特徴によると、当該方法は、前記透明度マップの透明度の値に応じて、第１の深度指標マップの深度指標値を修正するステップを更に有する。
本発明の態様によると、第１の画像を供給するステップと、第１の画像及び第２の画像の組み合わせである混合画像を供給するステップであって、第２の画像は第１の画像に対する前景画像であり、当該組み合わせは第２の画像に対する透明度の値に応じている、前記混合画像を供給するステップと、前記混合画像に関係する透明度マップを供給するステップであって、当該透明度マップは前記混合画像のピクセルに対する深度指標値を有する、前記透明度マップを供給するステップと、第１の画像、前記混合画像、前記透明度マップ及び第１の深度指標マップに応じて画像をレンダリングするステップとを有する、画像をレンダリングする方法が提供される。
本発明の任意の特徴によると、レンダリングは、第１の画像及び第２の画像の視野角とは異なる視野角に対応する画像として、画像をレンダリングするステップを有する。
本発明の任意の特徴によると、当該方法は、更に、第１の深度指標マップの深度指標値に応じて、透明度マップの透明度の値を修正するステップを有する。
本発明の任意の特徴によると、当該方法は、更に、透明度マップの透明度の値に応じて、第１の深度指標マップの深度指標値を修正するステップを有する。
本発明の他の態様によると、第１の画像を供給する手段と、第１の画像及び第２の画像の組み合わせである混合画像を供給する手段であって、第２の画像は第１の画像に対する前景画像であり、当該組み合わせは第２の画像に対する透明度の値に応じている、当該手段と、前記混合画像に関係する透明度マップを供給する手段であって、当該透明度マップは前記混合画像のピクセルに対する深度指標値を有する当該手段と、前記混合画像に対する第１の深度指標マップを供給するための手段であって、前記混合画像のピクセルに対して深度指標値を有する当該手段と、第１の画像、前記混合画像、前記透明度マップ及び第１の深度指標マップを表現するエンコードされたデータを有する前記画像信号を生成するための手段とを有する画像信号エンコーダが提供される。
本発明の任意の特徴によると、画像信号エンコーダは、更に、第１の深度指標マップの深度指標値に応じて、透明度マップの透明度の値を修正する手段を有する。
本発明の任意の特徴によると、画像信号エンコーダは、更に、透明度マップの透明度の値に応じて、第１の深度指標マップの深度指標値を修正する手段を有する。
本発明の他の態様によると、第１の画像を供給する手段と、第１の画像及び第２の画像の組み合わせである混合画像を供給する手段であって、第２の画像は第１の画像に対する前景画像であり、当該組み合わせは第２の画像に対する透明度の値に応じてなされる当該手段と、前記混合画像に関係する透明度マップを供給する手段であって、当該透明度マップは前記混合画像のピクセルに対する透明度の値を有する、当該手段と、前記混合画像に対する第１の深度指標マップを供給するための手段であって、第１の深度指標マップは前記混合画像のピクセルに対する深度指標値を有する、当該手段と、第１の画像、前記混合画像、前記透明度マップ及び第１の深度指標マップに応じて画像をレンダリングする手段とを有する、画像レンダリングユニットが提供される。
本発明の任意の特徴によると、画像レンダリングユニットは、更に、第１の深度指標マップの深度指標値に応じて、透明度マップの透明度の値を修正する手段を有する。
本発明の任意の特徴によると、画像レンダリングユニットは、更に、透明度マップの透明度の値に応じて、第１の深度指標マップの深度指標値を修正する手段を有する。
本発明の他の態様によると、第１の画像を表現するデータと、第１の画像及び第２の画像の組み合わせである混合画像を表現するデータであって、第２の画像は第１の画像に対する前景画像であり、当該組み合わせは第２の画像に対する透明度の値に応じている、当該データと、前記混合画像に関係する透明度マップを表現するデータであって、当該透明度マップは前記混合画像のピクセルに対する透明度の値を有する、当該データと、前記混合画像に対する第１の深度指標マップを表現するデータであって、第１の深度指標マップが前記混合画像のピクセルに対する深度指標値を有する、当該データとを有する画像信号が提供される。
本発明のこれら及び他の観点、特徴及び利点は、これ以降説明される実施例を参照して、明らかに説明されるだろう。
本発明の実施例が、図面を参照して、単なる例として説明されるだろう。
図１は、本発明の幾つかの実施例による３Ｄ画像データを供給するための方法の例を図示する。 図２は、本発明による幾つかの実施例による３Ｄ画像データの要素の例を図示する。 図３は、本発明の幾つかの実施例による画像信号エンコーダの例を図示する。 図４は、本発明の幾つかの実施例による画像信号エンコーダの例を図示する。 図５は、本発明の幾つかの実施例によるレンダリングユニットの例を図示する。 図６は、所与の画像方向に沿って、混合された背景及び前景に対する深度及び透明性遷移の例を図示する。 図７は、本発明の幾つかの実施例による３Ｄ画像データを供給するための方法の例を図示する。 図８は、本発明の幾つかの実施例によるレンダリングユニットの例を図示する。 図９は、所与の画像方向に沿って、混合された背景及び前景に対する深度及び透明性遷移の例を図示する。 図１０は、所与の画像方向に沿って、混合された背景及び前景に対する深度及び透明性遷移の例を図示する。
以下の説明は、ビデオ信号の単一のフレームに適用されてもよい３Ｄ画像情報の表現に適用可能な本発明の実施例に焦点を当てる。しかしながら、本発明は、このアプリケーションに限定されず、例えば静止画像、アニメーション等を含む多くの他の画像に適用されてもよいことが理解されるだろう。
図１は、３次元（３Ｄ）画像データを供給するための方法を図示する。３Ｄ画像データは、例えば、３Ｄ画像を生成するか、又はシーンの異なる２次元（２Ｄ）画像に対する異なる視点を生成するために使用される。この例では、２つの画像、深度情報及び透明度情報を組み込んだ３Ｄ画像データが生成される。他の実施例では、３Ｄデータは、より多くの層に対応するより多くの２Ｄ画像を有することは、理解されるだろう。
特に、３Ｄ画像データは、背景画像と、当該背景画像及び前景画像からの寄与を含む混合画像とだけでなく、混合画像に関係する深度及び透明度情報も有する。加えて、３Ｄ画像データは、背景画像データに対する深度情報を含んでもよい。
当該方法は、第１の画像が供給されるステップ１０１で開始する。第１の画像は、この例では、背景画像である。ステップ１０１は、第１の画像と前景画像である第２の画像との組み合わせである混合画像が供給されるステップ１０３により後続される。このように、背景画像及び前景画像は、同じシーンの重なり合う画像である。前景画像は、例えば、背景画像の前にある画像対象物、スクリーン表示情報上の付加的テキスト、サブタイトル等から構成されるか、これらを有する。
よって、混合画像は、前景だけでなく背景で起こる両方の画像対象物を表わす。前景画像成分及び背景画像成分の組み合わせは、前景画像対象物の透明度を考慮に入れる。よって、透明度の値が全く透明でない（完全に不透明）ピクセルに対して、ピクセル値は前景画像のピクセル値として選択される。逆に、透明度の値が完全に透明である（全く不透明でない）ピクセルに対して、ピクセル値は背景画像のピクセル値として選択される。半透明であるピクセル値に対して、混合画像は、前景及び背景のピクセル値を組み合わせることにより計算される。例えば、ピクセルｎに対する混合画像ピクセル値ｙは、下記のように簡単に計算される。
ｙｎ＝ｔｎ＊ｆｎ＋（１−ｔｎ）＊ｂｎ
ここで、ｆは前景画像ピクセル値であり、ｂは背景画像ピクセル値であり、ｔはピクセルｎに対する透明度の値であって、０と１との間の値である（ここで、０は完全に透明であることを表わし、１は完全に不透明であることを表わす）。
他の実施例では、画像を結合する他の手段が使用されてもよいことは、理解されるだろう。他の実施例では、画像の２層より多い層が使用され、この場合第１及び第２の画像が背景画像及び前景画像である必要はなく、画像の一方又は双方が中間画像／層でもよいことも、理解されるだろう。しかしながら、第２の画像は、第１の画像よりも更に前景にあるだろう。
ステップ１０３は、混合画像に関係する透明度マップが与えられるステップ１０５により後続される。透明度マップは、混合画像に関係する／混合画像の、ピクセルに対する透明度の値を有する。特に、透明度マップは、混合画像の各ピクセルに対する透明度の値を持つ。透明度マップは、前景画像に対する透明度マップに対応してもよいし、背景画像から混合画像に寄与していない、画像ピクセルに対して完全な不透明に対応する値と、前景画像から混合画像に寄与していない、画像ピクセルに対して完全な透明に対応する値とを、特に持ってもよい。透明度マップは、前景画像の画像対象物周りのエッジに対応する画像領域に対してだけでなく、前景画像の半透明画像対象物に対する中間の透明度の値を、更にまた持ってもよい。透明度マップは、特に、混合画像を生成するために使用される前景透明度マップと同一でもよい。
種々異なるアプローチが透明度マップを生成するために使用されてもよいことは、理解されるだろう。例えば、コンピュータ生成画像に対して、透明度の値が、例えばスーパーサンプリングを介して、又は関連する透明度を持つテクスチャを使用して、コンピュータグラフィックレンダリングプロセスにより生成されてもよい。透明度を得るための他の手段は、エッジ付近の（青若しくは緑のスクリーン記録の何れかに対する）又は複合画像からの透明度を得るためのアルファマッティング（ａｌｐｈａ ｍａｔｔｉｎｇ）として、従来から知られている技術を使用することである。更に他の態様は、半透明を重ねて（メニューを重ねるように）、透明度情報とのオーバレイを生成することである。
ステップ１０５は、深度指標マップが混合画像に対して供給されるステップ１０７により後続される。深度指標マップは、混合画像のピクセルに対する深度指標値を有する。深度指標値は、例えば、ピクセルが属する画像対象物に対する画像深度を直接反映する数値に対応してもよい。しかしながら、他の実施例では、他の深度指標値が使用されてもよいことは、理解されるだろう。例えば、深度指標値は、ピクセルに対する相違又は視差値に対応してもよい。
この例では、深度指標マップは、混合画像の各ピクセルに対する深度指標値を有する。深度指標値は、前景画像及び背景画像に対する深度指標値の混合に対応する。例えば、混合画像に対して、深度指標値は、完全な透明度に対応するピクセルを除いて、前景画像の深度指標値として採られてもよい。これらのピクセルに対して、深度指標値は、背景画像から採られてもよい。
種々異なるアプローチが、深度指標マップを生成するために使用されてもよいことは、理解されるだろう。例えば、マルチ−カメラ（立体ビデオのような）ソースに対して、深度マップは、視差の見積もりとして従来から知られているプロセスにより生成されてもよい。深度マップは、また、手動で、半手動で又は自動的な態様で、存在する２Ｄビデオ場面に加えられる。これらの方法の多くは、深度遷移を中間で対応する色遷移にかけて、前景及び背景を対称的に処理してもよい。深度マップは、また、例えばｚ−バッファの形式で、コンピュータレンダリングプロセスにより生成されてもよい。深度マップは、前景及び背景両方に対して生成されてもよく、その後、適切な規則を使用して混合される深度マップへ混合されてもよい。
ステップ１０７は、背景深度画像が供給されるステップ１０９により後続される。幾つかの実施例では、３Ｄ画像処理は、混合画像のための深度情報にだけ基づいていてもよく、ステップ１０９はオプション的なステップであることは、理解されるだろう。
ステップ１０９は、混合画像のための透明度及び深度指標マップだけでなく、背景画像、混合画像を含む３Ｄ画像データが供給されるステップ１１１により後続される。オプションとして、背景深度画像も含まれてもよい。
図２は、３Ｄ画像データの要素の例を図示する。図２は、各ピクセルに対して背景画像ピクセルの深度を示す値を持つ関連する深度指標マップ２０３を持つ背景画像２０１を具体的に図示する。この例では、３Ｄ画像データは、更に、混合画像２０５及び関連する深度指標マップ２０７を有する。具体例では、混合画像２０５は、前景画像対象物（具体例では、一つの前景画像対象物だけがある）を有する混合画像である。しかしながら、前景画像対象物がない画像領域に対しては、背景ピクセル値が前景画像にコピーされている。同様に、これらのピクセルに対して、背景深度指標値が、前景深度指標マップ２０７にコピーされている。
３Ｄ画像データは、また、各ピクセルに対して前景の透明度を示す透明度マップ２０９を有する。特に、固体の前景画像対象物の部分であるピクセル値に対して、透明度の値は、完全な不透明を示す（すなわち、前景だけが見える）。任意の前景画像対象物の外に完全にあるピクセル値に対して、透明度の値は、完全に透明であることを示す（すなわち、背景がこの場所で明瞭であり完全に見える）。更にまた、この例のゴースト画像対象物のような半透明の前景画像対象物に対して、透明度の値は、前景及び背景両方が部分的に可視であることを示す中間値を持つ。中間の透明度の値は、更にまた、前景と背景との間の滑らかな遷移を供給するために、前景画像対象物のエッジの周りに適用される。これは、アンチエリアジングパフォーマンスを改善する。
幾つかの実施例では、３Ｄ画像データは、例えば、透明度及び深度情報だけでなく、背景画像、混合画像をそれぞれ供給する個別のデータ若しくは信号として、他の処理ユニット又はアルゴリズムに供給される。また、幾つかの実施例では、３Ｄ画像データは、効果的に伝送又は格納できる３Ｄ画像信号を生成するためにエンコードされてもよい。
図３は、図１の方法に基づいて画像信号を生成するように設けられた画像信号エンコーダの例を図示する。画像信号エンコーダは、例えば、図１の方法を実行するために設けられた処理要素により実現される。具体的には、画像信号エンコーダは、ソフトウェア及びハードウェア混合計算プラットフォームとして実現される。しかしながら、他のやり方も可能であり、画像信号エンコーダは、例えば、ハードウェアだけのプラットフォームとして実行されてもよいことは、理解されるだろう。例えば、画像信号エンコーダは、所望の演算を実施するためにハードウェアでコード化される専用アプリケーションの特定の集積回路により実現されてもよい。
画像信号エンコーダは、前景画像ソース３０３及び背景画像ソース３０５に結合される画像信号生成器３０１を有する。画像信号生成器３０１は、前景画像ソース３０３から前景画像と、背景画像ソースから背景画像とを受信する。画像信号生成器３０１は、深度指標マップ及び透明度マップと共に、前景及び背景画像に対する混合画像を生成するように処理する。これらの構成要素を有する３Ｄ画像データは、当該データを画像信号へエンコードするように処理する画像エンコーダユニット３０７へ行く。特に、この処理は、ビデオ画像信号を生成するために、ビデオ信号の複数のフレームに対して繰り返される。
図４は、図３の画像信号エンコーダを更に詳細に図示する。
この例では、画像信号生成器３０１は、背景画像ソース３０５から受信される背景画像に対する深度指標マップを生成するように処理する背景深度プロセッサ４０１を有する。背景深度指標マップは、例えば、深度レベル、深度の値、背景画像の各ピクセルに対する相違値又は視差値を有するマップとして、生成される。画像に対する深度指標マップを生成するための様々なアプローチが当業者に知られていることが、理解されるだろう。例えば、深度指標マップは、半自動２Ｄ−３Ｄ変換を使用してステレオ画像から、又はコンピュータグラフィックから生成されてもよい。２Ｄビデオからの全自動深度生成も可能である。幾つかの実施例では、背景画像ソース３０５は、更に３Ｄ関連情報（様々な画像対象物又は領域に対する深度指標のような）を供給し、背景深度プロセッサ４０１は、この３Ｄデータに基づいた背景深度指標マップを決定するように処理する。
画像信号生成器３０１は、更に、前景画像ソース３０３から受信される前景画像に対する深度指標マップを生成するように処理する前景深度プロセッサ４０３を有する。前景深度指標マップは、例えば、深度レベル、深度の値、背景画像の各ピクセルに対する相違値又は視差値を有するマップとして、生成される。前景画像に対する深度指標マップは、背景深度画像に対するのと同じアプローチ及びアルゴリズムを使用して、生成される。幾つかの例では、前景画像ソース３０３は、更に、３Ｄ関連情報を供給し、背景深度プロセッサ４０１は、この３Ｄデータに基づいて背景深度指標マップを決定するように処理する。例えば、前景画像ソース３０３は、各前景画像対象物に対する深度指標と共に、全ての前景画像対象物のリストを供給する。
画像信号生成器３０１は、更に、前景及び背景画像両方からの寄与を有する混合画像を生成するために設けられた混合画像生成器４０５を有する。混合画像生成器４０５は、前景画像及び背景画像が前景に対する所望の透明度特徴を反映するように、これらの画像を結合する。例えば、前景画像は、通常、完全に不透明な前景画像対象物を有する。これらの画像対象物に属するピクセルに対して、混合画像のピクセル値は、前景画像のピクセル値に設定される。また、前景画像は、通常、前景画像対象物がない画像領域を有する。これらの画像領域に属するピクセルに対して、混合画像のピクセル値は、背景画像のピクセル値に設定される。加えて、前景画像は、通常、半透明の幾つかの領域を持つ。これは、例えば、前景画像のエッジで起こるし、自身が半透明である前景画像対象物に対して起こる。これらの領域に属するピクセルに対して、混合画像のピクセル値は、前景及び背景画像のピクセル値の線形結合として生成される。例えば、前述のように、ピクセル値は、
ｙｎ＝ｔｎ＊ｆｎ＋（１−ｔｎ）＊ｂｎ
として生成され、ここで、ｙは混合画像のピクセル値であり、ｆは前景画像のピクセル値であり、ｂは背景画像のピクセル値であり、ｔはピクセルｎに対する透明度の値であって、０から１の間の値である（０は総合的に透明であり、１は完全に不透明を表わす）。画像の混合は、前景画像ソース３０３から受信される３Ｄデータに応じて、実施される。例えば、前景画像対象物のリストは、どの画像領域が前景画像から採られ、どれが背景画像から採られるかを選択するために使用される。
この例では、前景画像ソース３０３から受信される前景画像には、前景画像に対する明示的又は潜在的透明度情報が付随する。幾つかの実施例では、前景画像は、単に多くの前景画像対象物により定められてもよいし、混合画像生成器４０５自体が、例えばカラーキーイング（緑／青）スクリーンアプローチに基づいて、例えば前景画像対象物に対する完全な不透明及び他の領域の完全な透明度を表わす透明度の値を設定することにより、透明度情報を生成するように設けられる。加えて、混合画像生成器４０５自体は、例えば、前景画像対象物のエッジ周りに段階的透明度遷移を導入することにより、半透明領域を生成する。これは、例えば、アルファ−マッティングのような処理を使用して達成される。
混合画像生成器４０５は、背景深度プロセッサ４０１及び前景深度プロセッサ４０３に結合される混合深度プロセッサ４０７に結合される。混合深度プロセッサ４０７が、背景及び前景深度指標マップを受信し、これらを混合画像に対する深度指標マップへ結合する。当該結合は、具体的には、例えば前景レイヤからの寄与を含む何れのピクセルの深度も前景の深度を付与されるべきであるという規則のような、規則の固定のセットを使用して、実施される。
画像信号生成器３０１は、更に、混合画像に関係する透明度マップを生成する透明度プロセッサ４０９を有する。通常、この透明度マップは、前景画像のための透明度マップと同一であるか、又は例えば半透明エッジを前景画像対象物へ導入することにより修正されるだろう。
この例では、前景画像ソース３０３から受信される前景画像（混合画像生成器４０５を介して）には、前景画像のための明示的又は潜在的な透明度情報が付随される。幾つかの実施例では、前景画像は、単に多くの前景画像対象物により定められてもよいし、透明度プロセッサ４０９自体が、例えば前景画像対象物に対する完全な不透明及び他の領域の完全な透明度を表わす透明度の値を設定することにより、透明度情報を生成するように設けられる。加えて、透明度プロセッサ４０９自体は、例えば、前景画像対象物のエッジ周りに段階的透明度遷移を導入することにより、半透明領域を生成する。これは、例えば、アルファ−マッティングのような処理を使用して達成される。幾つかの実施例では、混合画像生成器により生成される透明度情報が、透明度プロセッサ４０９へ送られ、透明度マップを生成するために使用される。
この例では、異なるタイプの３Ｄ画像データが、画像エンコーダユニット３０７により、別個にエンコードされる。この例では、画像エンコーダユニット３０７は、背景画像を受信し、適切なエンコードアルゴリズムを使用してエンコードする背景画像エンコーダ４１１を有する。
画像エンコーダユニット３０７は、更に、背景深度プロセッサ４０１に結合されていて、これから背景深度指標マップを受信し、適切なエンコードアルゴリズムを使用してエンコードする第１の深度マップエンコーダ４１３を有する。
画像エンコーダユニット３０７は、また、混合深度プロセッサ４０７に結合されていて、これから混合深度指標マップを受信し、適切なエンコードアルゴリズム（具体的には、第１の深度マップエンコーダ４１３により使用されるものと同じでもよい）を使用してエンコードする第２の深度マップエンコーダ４１５を有する。
画像エンコーダユニット３０７は、付加的に、混合画像生成器４０５に結合されていて、これから混合画像を受信し、適切なエンコードアルゴリズム（具体的には、背景画像エンコーダ４１１により使用されるものと同じでもよい）を使用してエンコードする混合画像エンコーダ４１７を有する。
更にまた、画像エンコーダユニット３０７は、透明度プロセッサ４０９に結合されていて、これから混合画像透明度マップを受信し、適切なエンコードアルゴリズムを使用してエンコードする透明度マップエンコーダ４１９を有する。
エンコーダ４１１−４１９全ては、エンコーダ４１１−４１９各々からエンコードされた出力データを受信して、当該データを単一の出力データファイル又はストリームへ結合する結合器４２１に結合されている。他の実施例では、データは、例えばエンコードする前に結合され、結合されたストリームがエンコードされてもよいことは、理解されるだろう。例えば、図２の画像データは、互いに隣り合って配されていて、結果がエンコードされる。このように、エンコードされた背景画像、エンコードされた混合前景及び背景画像、背景画像に対する深度指標マップ、混合画像に対する深度指標マップ、及び混合画像に関係する透明度マップを有する３Ｄ画像データが生成される。その後、この３Ｄデータは、効率的に格納され、配布され、処理される。
更にまた、３Ｄデータは、適切な処理装置が、例えば、前景及び背景画像により表わされるものとは異なる視野角からの２Ｄ又は３Ｄ画像をレンダリング可能にする。同時に、３Ｄ情報を処理する能力を持たない従来の装置は、単に混合画像を取り出して提示できる。このように、混合画像は、他の２Ｄ画像としても処理でき、前景及び背景画像情報両方を含むので、それ自体有益な画像を供給する。更にまた、アプローチは、また、３Ｄ処理のための後方互換性を提供する。具体的には、混合画像及び関連する混合深度指標マップは、これら自体、３Ｄ画像を提供するために使用できる。よって、シングルレイヤの３Ｄ処理が、３Ｄデータに基づいて実施できる。また、透明度情報を使用して（又は実際に使用できる）３Ｄ処理なしに、２つの画像レイヤ及び関連する深度指標マップに基づいた３Ｄ処理を実施することが可能である。
図１の方法は、また、３Ｄ次元のデータをエンコードするため以外の他の装置で使用されてもよいことは、理解されるだろう。例えば、アプローチは、種々異なる視野角からの２Ｄ画像又は３Ｄ画像を生成できるレンダリングユニットに使用される。
斯様なレンダリングユニットの例は、図５に図示される。レンダリングユニットは、例えば、図１の方法を実行するために配される処理要素により実現されてもよい。具体的には、レンダリングユニットは、ソフトウェア及びハードウェア混合計算プラットフォームとして実現される。しかしながら、他のやり方も可能であり、画像信号エンコーダは、例えば、ハードウェアだけのプラットフォームとして実行されてもよいことは、理解されるだろう。例えば、レンダリングユニットは、所望の演算を実施するためにハードウェアでコード化される専用アプリケーションの特定の集積回路により実現されてもよい。
レンダリングユニットは、背景画像、混合画像、混合画像に関係する透明度マップ、混合画像に対する深度指標マップ、及び背景画像に対する深度指標マップを表わすエンコードされたデータを有する信号を受信する受信器５０１を有する。受信器５０１は、具体的には、図２のエンコーダにより生成されるデータストリームを受信する。受信器５０１は、当該信号を受信し、個別のタイプのデータを抽出するように設けられる。
受信器５０１は、種々異なるタイプのデータを出力するデコーダ５０３に結合されている。デコーダ５０３は、背景画像を生成するために背景画像データをデコードする背景画像デコーダ５０５を有する。デコーダ５０３は、更にまた、混合画像を生成するために混合された前景及び背景画像データをデコードする混合画像デコーダ５０７を有する。デコーダ５０３は、また、背景深度指標マップを生成するために背景深度指標マップデータをデコードする背景深度マップデコーダ５０９を有する。加えて、デコーダ５０３は、混合画像深度指標マップを生成するために混合画像深度マップデータをデコードする混合画像深度マップデコーダ５１１を有する。最後に、デコーダ５０３は、透明度マップを生成するために透明度深度マップデータをデコードする透明度デコーダ５１３を有する。
デコーダ５０３は、更にまた、デコードデータを受信する３Ｄレンダリングユニット５１５に結合されている。このように、デコーダは、３Ｄ画像データを３Ｄレンダリングユニット５１５へ供給する。具体的には、背景画像デコーダ５０５は背景画像を３Ｄレンダリングユニット５１５へ供給し、混合画像デコーダ５０７は混合画像を３Ｄレンダリングユニット５１５へ供給し、背景深度マップデコーダ５０９は背景深度指標マップを３Ｄレンダリングユニット５１５へ供給し、混合画像深度マップデコーダ５１１は混合画像深度指標マップを３Ｄレンダリングユニット５１５へ供給し、透明度デコーダ５１３は透明度マップを３Ｄレンダリングユニット５１５へ供給する。
３Ｄレンダリングユニット５１５は、３Ｄ画像を生成するために供給された３Ｄデータを処理できる。代わりに又は付加的に、３Ｄレンダリングユニット５１５は、３Ｄ情報に基づいて、異なる方向からの２Ｄ視野をレンダリングできる。３Ｄ視野又は異なる視野角の２Ｄ視野の生成は、背景画像の深度マップだけでなく、混合画像の深度マップにも基づいている。例えば、レンダリングされる視野角ではなく、背景及び混合画像により表わされる視野角に対する前景画像対象物により塞がれる背景の領域に対して、レンダリングされるピクセル値は、背景深度指標マップの深度の値が考慮される。
マルチの視野をレンダリングするとき、一般に、前景レイヤの任意の構成要素が、前景からの任意の寄与があって供給される前景レベルで残っていることが、高い画質のための要件である。よって、前景が完全な透明でない場合、混合画像に対する深度指標が、前景レイヤにあるべきである。
しかしながら、発明者らは、通常、深度指標マップの深度遷移が、完全に透明ではない第１のピクセルと一致する傾向ではなく、むしろ完全な透明から完全な不透明（又はその逆）への遷移の中心と一致する傾向があることを認識した。
これは、レンダリングが、通常、エンコードの際に実施される混合の逆演算を含むので、重要な傾向である。これは、前景及び背景が各々自身の深度でレンダリングされることを許容する。このため、いわゆる事前乗算深度が、使用できる。
ｔｎ＊ｆｎ＝ｙｎ−（１−ｔｎ）＊ｂｎ
この前景は、混合深度データ（完全に透明ではない全てのピクセルに対する前景深度を特に示す）を使用してレンダリングでき、背景は、背景深度を使用してレンダリングできる。結果的にレンダリングされた画像は、最終結果を得るために、前景透明度のレンダリングされたバージョンを使用して結合される。この態様で、前景（例えば、図２のゴースト）及び背景（例えば、図２の教会）は、視点が変わるとき、自身の深度で独立して動く。
図６は、具体例では走査ライン（すなわち、水平方向）と一致する所与の画像方向に沿った、混合画像に対する深度及び透明度遷移を図示する。この例では、走査ラインに沿ったピクセル位置が、水平軸Ｘにより表わされるのに対し、深度ｄ及び透明度αが垂直軸により表わされる。この例では、垂直軸の増大している値は前景に対応し、減少している値は背景に対応する。このように、ｄの低い値は後方へ更に向かう深度位置に対応し、ｄの高い値は画像の前方に更に向かう深度位置に対応する。同様に、αの低い値は背景が増大する表現に対応する高い透明度の値（低い不透明）に対応し、αの高い値は前景が増大する表現に対応する低い透明度の値（高い不透明）に対応する。この例は、前景対象物が走査ラインに沿って出てくる、よって完全な透明度（α＝０）から完全な不透明さ（α＝１）への混合画像遷移となる状況を図示する。
この例でわかるように、前景が見え始める第１のポイント（Ａ）が、深度遷移の何れのポイント（Ｂ）とも一致しない。発明者らは、例えばエンコードされ、画像又は透明度情報よりも低い解像度で伝達される深度に対して、この一致しないことが、しばしば起こることに気付いた。深度の値は、例えば双方向フィルタを使用してアップスケールされてしまうシナリオにある。しかしながら、これは、見え始めるポイントと深度遷移との位置合わせよりも、むしろ前景画像対象物エッジの中心と深度遷移との位置合わせと結果的になる傾向がある。また、個別の深度指標マップ、画像及び透明度マップが通常、個別的にエンコードされ、これは結果的に、これらの間の不整合となり得る。様々な他の問題点のために、不整合が起こることが理解されるだろう。前景対象物エッジと深度遷移との間の不整合は、結果的に重大な画質劣化となる。例えば、マルチ視野レンダリングを実施するとき、閉塞されていない領域までの背景の延在部分が、依然幾らかの前景寄与を持つピクセルを繰り返すので、ストライプの偽信号がしばしば生じる。このように、前景が、背景の閉塞されていない領域へ延在されている。
発明者らは、透明度及び深度指標マップ両方が存在するシステムに対して、改善されたパフォーマンスが達成できることに気付いた。特に、発明者らは、深度指標値及び透明度の値の改善された整列が達成されるように、値を修正することにより、改善された画質が達成でき得ることに気付いた。特に、前景画像対象物のエッジに対応する遷移に沿って、透明度の値と深度指標値との間の関係が、画質を改善するために修正できる。
よって、幾つかの実施例では、図１の方法は、更に、値のセットのグループから値の第２のセットの値に応じて、値のセットのグループから値の第１のセットの値を修正するステップを有し、ここで、値のセットのグループは、透明度マップの透明度の値に対応する値のセットと、第１の深度指標マップの深度指標値に対応する値のセットとを有する。具体的には、図７に図示されるように、図１の方法は、透明度マップの透明度の値と第１の深度指標マップの深度指標値との間の関係が画像領域内で修正される追加のステップ７０１を含むように修正される。
画像領域は、具体的には、前景の画像対象物エッジに対応する画像領域である。例えば、混合画像透明度マップが走査ラインに沿ってスキャンされ、透明度遷移が起こる（例えば、完全な透明から完全な不透明へ、又は完全な不透明から完全な透明へ）ときはいつでも、この遷移と、混合画像深度指標マップに対する走査ラインに沿った対応する遷移との位置合わせが実施される。このように、位置合わせが実施される画像領域は、透明度の値の遷移を検出することにより検出される。例えば、深度指標値の遷移を検出するような、修正するための適当な画像領域を検出する他のやり方が使用されてもよいことは、理解されるだろう。
以下では、画像領域内の透明度の値と深度指標値との間の関係を修正する仕方の具体例が、説明されるだろう（画像領域を決定する仕方の例及び深度指標値と透明度の値との間の関係を修正する仕方の例を含む）。これらの例は、図８のレンダリングユニットを参照して説明されるだろう。
図８のレンダリングユニットは、混合画像深度マップデコーダ５１１及び透明度デコーダ５１３に結合される整列プロセッサ８０１を更に有することを除いて、図５のレンダリングユニットと同一である。整列プロセッサ８０１は、混合画像に対する透明度マップ及び深度指標マップを受信し、前景画像対象物のエッジに対応する遷移に対する透明度の値と深度指標値とを揃えるように処理する。整列プロセッサ８０１は、更にまた、３Ｄレンダリングユニット５１５に結合されていて、修正後、深度指標マップ及び透明度マップを当該ユニットへ送出する。
幾つかの実施例では、整列プロセッサ８０１は、深度指標値に依存して、透明度の値を調整する。他の実施例では、修正プロセッサ８０１は、代わりに又は付加的に、透明度の値に依存して、深度指標値を調整する。よって、混合画像に対する深度指標値のセット及び透明度の値のセットからなるグループから、当該グループの一つのセットの値は、当該グループの他のセットの値に応じて、修正される。幾つかの実施例では、透明度の値及び深度指標値両方が、所望の位置合わせを提供するように修正されることは、理解されるだろう。
幾つかの実施例では、整列プロセッサ８０１は、混合画像深度指標マップの深度指標値に応じて、混合画像／前景透明度マップの透明度の値を修正するように設けられる。
具体的には、整列プロセッサ８０１は、深度遷移及び透明度遷移が、画像方向、具体的には水平方向に沿って起こる、画像領域内の透明度の値を修正する。
整列プロセッサ８０１は、一度に一本の走査ライン毎に画像を処理する。走査ラインに沿って深度指標値及び／又は透明度の値がモニタされ、遷移が検出される場合、この遷移の周りの領域が当該遷移の改善された位置合わせを供給するように処理される。具体例では、透明度マップは走査ラインに沿ってスキャンされ、実質的に透明から実質的に不透明への（又はその逆）透明度の遷移が検出されるときはいつでも、整列プロセッサ８０１は、走査ラインの関連するインターバルの透明度の値を修正するように処理する。
走査ラインに対する深度及び透明度の遷移の例が、図９（図６の例に対応する）に示されている。走査ラインを処理するとき、整列プロセッサ８０１は、このように最初、透明度の遷移が起こることを検出する。その後、深度指標マップの走査ラインに対する深度指標値の対応する遷移の部分である深度遷移ポイントＢを決定するように処理する。
具体例として、図９は、具体例では走査ライン（すなわち、水平方向）に一致する、所与の画像方向に沿った混合画像に対する深度及び透明度の遷移を図示する。整列プロセッサ８０１は、最初、前景画像対象物に対応する任意の遷移を検出する。上述のように、この検出は、透明度の値に基づくが、代わりに又は付加的に、例えば深度指標値に基づくこともできる。
整列プロセッサ８０１は、深度遷移に対する深度遷移ポイントＢを決定するように処理する。深度遷移ポイントＢは、前景画像対象物の外側の深度から前景画像対象物に対応する深度への遷移の部分であるポイントに対応する。多くの種々異なるアプローチが深度遷移ポイントＢを見つけるために使用でき、異なる実施例及びシナリオで、深度遷移ポイントが深度遷移の種々異なる位置（例えば、遷移の始まり、中央又は終わり）に対応してもよいことは、理解されるだろう。深度遷移ポイントＢは、例えば混合画像深度指標マップの深度指標値から容易に決定できる。例えば、所定数のピクセル内の所与の量より多い深度遷移が起こる場合、深度指標値は、遷移の始まりと終わりとの間のほぼ中間のピクセルを見つけるように評価される。
具体例では、深度遷移ポイントＢの決定は、混合画像深度指標マップの深度指標値に基づくだけでなく、背景深度指標マップの深度指標値にも基づいている。具体的には、これらの値は、背景画像に起源があるピクセルに対して等しく、前景画像に起源があるピクセルに対しては（すなわち、前景画像対象物のピクセルに対して）大きく異なる。よって、図９の具体例では、同じピクセルに対する深度指標値間の差が、（走査ライン方向の）遷移前には非常に低く、遷移後は非常に高くなるだろう。よって、深度遷移ポイントＢは、混合画像深度指標マップ及び背景深度指標マップの深度指標値の差が所定の閾値を超えて増大するピクセル値として決定できる。前景画像から背景エリアへの遷移に対しては、深度指標ポイントは、前記差が所定の閾値より低く低減するピクセル位置として決定されることは、理解されるだろう。
背景及び混合画像深度指標値を比較する上述のアプローチは、深度遷移ポイントＢを決定するだけでなく、前景画像対象物のエッジに対応する遷移を検出するためにも使用できることも、理解されるだろう。
その後、整列プロセッサ８０１は、より高い透明度に向かって混合画像透明度の値の透明度の値（図９のαのより低い値に一致する）をバイアスするように処理する。当該バイアスは、深度遷移ポイントからより高い透明度へ向かう方向に延在するインターバル内で実施される。このように、比較的高い透明度が、前景画像対象物のエッジ遷移の部分である少なくとも幾つかのピクセル位置に導入されている。
幾つかのシナリオ及び実施例では、当該バイアスは、深度遷移ポイントＢで終わるインターバルより大きなインターバルで付加的に実施されてもよいことは、理解されるだろう。例えば、幾つかのシナリオでは、幾つかの透明度バイアスは、また、深度遷移ポイントＢから、より低い透明度の方向に延在するインターバル内で供給されてもよい。例えば、高い透明度（低いα）の値が、全体の深度遷移に対して供給されてもよい。
深度遷移ポイントＢから、増大した透明度の方向に延在するインターバルのサイズは、異なる実施例及びシナリオで異なってもよいし、異なる実施例及びシナリオで異なって決定されてもよいことは、理解されるだろう。例えば、インターバルは、単に固定のサイズを持ってもよく、よってバイアスは常に固定のインターバルサイズで実施されてもよい。例えば、前景画像対象物が、通常、例えば５−１０ピクセルの半透明エッジを持っていることが知られている場合、例えば１５ピクセルの固定インターバルサイズが使用されてもよい。
インターバルの少なくとも一つの透明度の値が、バイアスする前よりも高い透明度に一致するように調整されるようにバイアスされる。具体例として、インターバルの全てのピクセル位置に対する透明度の値は、バイアスする前にインターバルの最高透明度の値へ設定する。このように、整列プロセッサ８０１は、インターバルの最小α値を見つけ、全ての透明度の値をこのα値へ設定する。図９は、全てのα値が、具体的には、最高の透明度に対応する同一の値に設定されるような例を図示する。他の実施例では、バイアスは、単に整列プロセッサ８０１にあって、最高として可能な透明度の値（すなわち、α＝０）へ、インターバル内の全ての透明度の値を設定する。
よって、具体的に説明されたアプローチは、透明度エッジ遷移が既に始まっているが深度遷移がまだ始まっていない画像領域内のより高い透明度に向かって透明度の値をバイアスする結果となる。よって、修正する前に、この領域は、深度情報のために背景の部分としてレンダリングされるが、幾らかの前景画像対象物（例えばそのカラー）を依然含んでいるだろう。これは、結果的に画像劣化となるだろう。しかしながら、透明度の値を増大することにより、この画像劣化は低減され、実際、透明度の値を完全な透明に設定するとき、インターバル内の画像劣化が大幅に低減されるか、又は完全に取り除かれさえする。
幾つかの実施例では、バイアスするインターバルの始まり（及び結果的にインターバルのサイズ）が、透明度マップの透明度の値に応じて、透明度遷移ポイントＡを決定することにより、決定される。具体的には、深度遷移ポイントが見つけられた後、整列プロセッサ８０１は、より高い透明度の値の方向に深度遷移ポイントＢから延在する評価インターバル内の最高の透明度の値をサーチするように処理する。例えば、深度遷移ポイントＢから３０個のピクセルのインターバル内の最高の透明度の値の位置が、検出され、バイアスするインターバルの開始ポイントＡとして用いられてもよい。
このように、具体例として、図９を参照して、深度遷移ポイントＢが上述のようにして見つけられる。深度遷移ポイントＢから離れた（図９の左）固定窓内の最小α値が決定され、その後、この窓内のα値が、この最小のα値と置き換えられる。このように、バイアスするインターバルの始まりの決定は、透明度の値が遷移をフォローして安定していないシナリオでは不正確ではあるけれども、当該アプローチは、実際のアプリケーションに対して高く効果的である。
幾つかの実施例では、整列プロセッサ８０１は、混合画像／前景透明度マップの透明度の値に応じて、混合画像深度指標マップの深度指標値を修正するように設けられている。
具体的には、整列プロセッサ８０１は、深度遷移及び透明度遷移が、画像方向に沿って、具体的には水平方向に沿って起こる画像領域内の深度指標値を修正してもよい。
このように、整列プロセッサ８０１は、一度に一つの走査ラインで画像を処理する。走査ラインに沿った深度指標値及び／又は透明度の値が修正され、遷移が検出される場合、この遷移の周りの領域は、以下に説明されるように処理される。具体例では、透明度マップが、走査ラインに沿ってスキャンされ、実質的に透明から実質的に不透明へ（又はその逆）の透明度遷移が検出される場合はいつでも、整列プロセッサ８０１は、走査ラインの関連するインターバルの深度値を修正するように処理する。
走査ラインに対する深度及び透明度遷移の例が、図１０に示されている（図６及び図９の例に対応する）。走査ラインを処理するとき、整列プロセッサ８０１は、透明度遷移が起こることを、最初に検出する。整列プロセッサ８０１は、次に、深度指標マップ内の走査ラインに対する深度指標値の遷移の一部である深度遷移ポイントＢを決定するように処理する。
整列プロセッサ８０１は、透明度遷移の部分であるピクセル位置の少なくとも幾つかに対して、より低い深度値に向かって（画像の前により向かった指標に対応して、すなわち、図１０のｄの増大する値に対応して）混合画像に対する深度指標値をバイアスするように処理する。
具体的には、整列プロセッサ８０１は、遷移の部分である第１の透明度遷移ポイントＡを決定できる。このとき、整列プロセッサ８０１は、第１の透明度遷移ポイントＡで終わり、より低い透明度の方向（すなわち、前景画像対象物に向かって）延在する走査ラインに沿ったインターバルの深度指標値をバイアスする。
第１の透明度遷移ポイントＡを決定するための種々異なるアプローチ及び基準が、種々異なる実施で用いられてもよいことは、理解されるだろう。多くのシナリオでは、第１の透明度遷移ポイントＡが、高い透明度の遷移の部分にあるポイント（すなわち、画像対象物が視認でき始めるポイントに近い）に一致することが好適である。簡単な例として、第１の透明度遷移ポイントＡは、α値がほとんど完全に不透明に対応する既定の閾値と交差する位置として決定される（閾値交差の方向は、遷移が前景画像対象物へなのか、又は前景画像対象物からなのかに依存するだろう）。
より低い深度値（より前景）に向かった深度指標値のバイアスは、第１の透明度遷移ポイントで始まって、より低い透明度に向かう方向に延在するインターバルで実施される。よって、相対的に低い深度が、前景画像対象物のエッジ遷移の部分である少なくとも幾つかのピクセル位置に導入される。
低減された透明度の方向に第１の透明度遷移ポイントＡから延在するインターバルのサイズは、種々異なる実施例及びシナリオで異なってもよいし、種々異なる実施例及びシナリオで異なって決定されてもよいことは理解されるだろう。例えば、単純な例では、インターバルは、バイアスが常に実施される固定サイズを持つ。例えば、前景画像対象物が通常、例えば５−１０ピクセルの半透明エッジを持つことが知られている場合、例えば１５ピクセルの固定インターバルサイズが使用されてもよい。
バイアスは、インターバルの少なくとも一つの深度指標値が、バイアスする前より低い深度レベル（より前景に向かって）に対応するように調整されるようにする。具体例として、インターバルの全てのピクセル位置に対する深度指標値が、バイアスする前のインターバルの最低の深度値に設定される。よって、整列プロセッサ８０１は、インターバルの最大ｄ値を見つけ、全ての深度指標値をこのｄの値に設定する。図１０は、全てのｄの値が、遷移をフォローする深度指標値に一致する値に設定されるような例を図示する。他の実施例では、バイアスは、整列プロセッサ８０１内に単にあって、インターバル内の全ての深度指標値を、前景に対応する値に設定してもよい。
このように、具体的に説明されたアプローチは、透明度遷移が既に始まったが、深度遷移がまだ始まっていないエリアを含む透明度エッジ遷移に対応する画像領域内の前景に向かって深度指標値をバイアスする結果となる。よって、修正する前に、この領域は、深度情報のため背景の一部としてレンダリングされるだろうが、依然前景画像対象物を幾らか（例えば、そのカラー）含むだろう。これは、結果的に画質劣化となるだろう。しかしながら、深度指標値を低減することにより、この画質劣化は低減される。特に、当該アプローチは、前景からの寄与を含む画像ピクセルが前景画像ピクセルとして扱われることを可能にする。
幾つかの実施例では、バイアスインターバルの開始（よって、インターバルサイズ）が、走査ラインに沿った透明度指標値に応じて、第２の透明度遷移ポイントＣを決定することにより決定される。第２の透明度遷移ポイントＣは、第１の透明度遷移ポイントＡよりも低い透明度の値に対応し、すなわち、前景画像対象物自体の一部又は近くの位置に対応する。簡単な例として、第２の透明度遷移ポイントＣは、α値が完全な不透明に近い既定の閾値と交差するポイントとして決定されてもよい。
具体例では、第１の透明度遷移ポイントＡ及び第２の透明度遷移ポイントＣは、深度遷移ポイントＢの周りのインターバル内でのサーチにより見つけられる。具体的には、深度遷移ポイントＢ（及び実際に遷移の存在）は、深度指標値に応じて透明度の値が修正される状況に対して、図９を参照して説明されるのと同じアプローチを用いて、見つけられる。
このとき、深度遷移ポイントＢの周りの透明度のサーチインターバル内の透明度の値が評価され、第１の透明度遷移ポイントＡ及び第２の透明度遷移ポイントＣが、それぞれ最低、最高の透明度の値を持つポイントとして具体的に決定できる。このとき、第１の透明度遷移ポイントＡから第２の透明度遷移ポイントＣまでのインターバル内の深度指標値が、より低い深度レベルへ向かってバイアスでき、具体的には、インターバルの深度指標値は、インターバル内の最高の深度指標値へ、すなわち、第２の透明度遷移ポイントＣの深度指標値へ設定できる。
このアプローチは、ポイントＢが見つけられる正確さにかなり鈍感な傾向があるが、透明度の値が安定していない幾つかのシナリオでは結果的に劣化したパフォーマンスになる。しかしながら、このアプローチは、実際的なアプリケーションに対して高く効果的になる傾向がある。
図６、図９及び図１０の例の説明は、遷移が、走査ライン方向に一致する方向、具体的には水平走査ライン方向に沿って評価される状況に焦点を当ててきたが、アプローチは斯様なシナリオに限定されないことは、理解されるだろう。実際、他のシナリオでは、遷移は、代わりに又は追加的に、他の画像方向に沿って評価されてもよいことは、理解されるだろう。例えば、走査ライン方向に実質的に垂直な画像方向が、代わりに又は追加的に評価されてもよい。よって、図６、図９及び図１０の例は、具体的には垂直画像方向のような他の画像方向に等しく適用できる。これは、多くのシナリオで画質を改善し、具体的には、実質的に水平の画像エッジの知覚される質を改善する。他の例として、処理は、対象物エッジに実質的に垂直である方向に適用されてもよい。このように、幾つかの例では、画像対象物のエッジが検出され、特定のエッジの主要な方向が特定される。実質的に垂直な方向が、このとき決定されてもよく、説明されたアプローチがこの方向に適用されてもよい。
明確さのため上記記載は、種々異なる機能的ユニット及びプロセッサを参照して、本発明の実施例を説明したことが理解されるだろう。しかしながら、異なる機能的ユニット又はプロセッサ間の機能の適当な配給が本発明から逸脱することなく使用されてもよいことは明らかである。例えば、別個のプロセッサ又はコントローラにより実施されるべき例示された機能は、同一のプロセッサ又はコントローラにより実施されてもよい。従って、特定の機能的ユニットの参照は、厳密な論理、物理的構造、又は組織を示すよりはむしろ、説明した機能を供給するための適当な手段の参照としてのみ見られるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む適当な形式で実行できる。本発明は、オプション的に、一つ以上のデータプロセッサ及び／又はデジタル信号プロセッサを走らせるコンピュータソフトウェアとして少なくとも部分的に実行できる。本発明の実施例の要素及び部品は、適当な態様で物理的に、機能的に、及び論理的に実行されてもよい。実際に、機能は、単一のユニット、複数のユニット又は他の機能ユニットの一部で実行できる。このように、本発明は、単一のユニットで実行されてもよいし、異なるユニット及びプロセッサ間で物理的に、及び機能的に分配されてもよい。
本発明は幾つかの実施例と関連して説明されたが、ここで説明した特定の形式に限定する意図はない。むしろ、本発明の範囲は、添付の請求項によってのみ限定される。加えて、特徴が特定の実施例と関連して説明されるように見えるが、当業者は、説明された実施例の様々な特徴が本発明に従って組み合わされてもよいことを認識するだろう。請求項において、「有する」という用語は、他の要素又はステップの存在を排除しない。
更に、個別にリストされているが、複数の手段、要素、又は方法のステップは、例えば単一のユニット又はプロセッサにより実行されてもよい。加えて、個別の特徴が異なる請求項に含まれているが、これらは好適に結合でき、異なる請求項に含まれるものは、特徴の組み合わせが実行可能及び／又は有益であるのではないということを意味しない。また、一つのカテゴリの請求項に特徴を含めることは、このカテゴリの制限を意味するのではなく、むしろ特徴が適当に他の請求項カテゴリに等しく適用可能であることを示す。更に、請求項の特徴の順番は、特徴が働かなければならない特定の順番を意味するのではなく、特に方法の請求項の個別のステップの順番は、ステップがこの順番で実施されなければならないことを意味しない。むしろ、ステップは適当な順番で実施されてもよい。加えて、単一の引用は複数を排除しない。よって、引用「ａ」、［ａｎ」、「第１の」、「第２の」等は、複数を排除しない。請求項内の参照符号は、単に例を明白にするものとして提供されるのであって、何れにおいても請求項の範囲を制限するものとして解釈されるべきではない。

Claims (29)

  1. ３次元画像データの少なくとも一つの視野の画像要素をレンダリングする際の使用のために、当該３次元画像データを供給する方法であって、
    第１の画像を背景画像ソースにより供給するステップと、
    前景画像ソースからの第２の画像と、第１の画像との組み合わせである混合画像を混合画像生成器により供給するステップであって、第２の画像は第１の画像に対する前景画像であり、当該組み合わせは第２の画像に対する透明度データに応じている、前記混合画像を供給するステップと、
    前記混合画像に関係する透明度マップを透明度プロセッサにより供給するステップであって、当該透明度マップは、前記混合画像のピクセルに対する透明度の値を有する、前記透明度マップを供給するステップと、
    前記混合画像に対する第１の深度指標マップを混合深度プロセッサにより供給するステップであって、第１の深度指標マップは前記混合画像のピクセルに対する深度指標値を有する、第１の深度指標マップを供給するステップと、
    第１の画像、前記混合画像、前記透明度マップ及び第１の深度指標マップを有する前記３次元画像データを画像エンコーダユニットにより供給するステップとを、有する方法。
  2. 前記３次元画像データを有する画像信号を生成するステップを更に有する、請求項１に記載の方法。
  3. 前記３次元画像データに応じて、第１の画像及び第２の画像の視野角とは異なる視野角に対する視野をレンダリングするステップを更に有する、請求項１に記載の方法。
  4. 前記３次元画像データに応じて、３次元画像を視覚化するのに使用するための前記３次元画像データの複数の視野の画像要素に対応する画像要素をレンダリングするステップを更に有する、請求項３に記載の方法。
  5. 値のセットのグループから値の第２のセットの値に応じて、前記値のセットのグループから値の第１のセットの値を修正するステップを更に有し、前記値のセットのグループは前記透明度マップの透明度の値に対応する値のセットと第１の深度指標マップの深度指標値に対応する値のセットとを有する、請求項１に記載の方法。
  6. 画像対象物エッジに対応する画像領域を検出するステップを更に有し、値を修正するステップは前記画像領域に対する値を修正するステップを有する、請求項５に記載の方法。
  7. 画像領域内の第１の深度指標マップの深度指標値と、前記透明度マップの透明度の値との間の関係を修正するステップを更に有する、請求項１に記載の方法。
  8. 前記関係を修正するステップが、画像方向に沿った前記透明度マップの透明度遷移と、前記画像方向に沿った第１の深度指標マップの深度遷移とを揃えるステップを有する、請求項７に記載の方法。
  9. 第１の深度指標マップの深度指標値に応じて、前記透明度マップの透明度の値を修正するステップを更に有する、請求項１に記載の方法。
  10. 透明度の値を修正するステップは、前記透明度マップの透明度遷移の一部であって、第１の深度指標マップの深度指標の一部ではない画像領域内のより高い透明度に向かって前記透明度マップの透明度の値をバイアスするステップを有する、請求項９に記載の方法。
  11. 透明度の値を修正するステップは、
    前記画像方向に沿った第１の深度遷移マップの前記深度指標値に応じて、第１の深度遷移ポイントを決定するステップと、
    より高い透明度及びより低い深度の少なくとも一つの方向に第１の深度遷移ポイントから延在する画像方向に沿って、インターバルのピクセルに対するより高い透明度に向かう画像方向に沿って前記透明度マップの透明度の値をバイアスするステップとにより、画像方向に沿った透明度遷移及び深度遷移を有する画像領域の少なくとも一部内の透明度の値を修正するステップを有する、請求項９に記載の方法。
  12. 前記画像方向に沿った第１の透明度マップの透明度の値に応じて、第１の透明度遷移ポイントを決定するステップを更に有し、前記インターバルが第１の透明度ポイントから第１の深度遷移ポイントまで延在する、請求項１１に記載の方法。
  13. より高い透明度及びより低い深度の少なくとも一つの方向に前記深度遷移ポイントから延在する評価インターバル内の最高の透明度の値を持つ、画像方向に沿ったポイントとして、第１の透明度遷移ポイントを決定するステップを更に有する、請求項１２に記載の方法。
  14. 前記バイアスするステップが、バイアスする前の前記インターバルの最高の透明度の値へ、前記インターバルの全ての透明度の値の透明度の値を設定するステップを有する、請求項１１に記載の方法。
  15. 第１の画像に対する第２の深度指標マップを供給するステップを更に有し、第２の深度指標マップが第１の画像のピクセルに対する深度指標値を有し、第１の深度遷移ポイントを決定するステップが、第２の深度指標マップの深度指標値に応じて、第１の深度遷移ポイントを更に決定するステップを有する、請求項１１に記載の方法。
  16. 前記深度遷移ポイントを決定するステップは、第１の深度指標マップの深度指標値と第２の深度指標マップの深度指標値との比較に応じて、前記深度指標遷移ポイントを決定するステップを有する、請求項１５に記載の方法。
  17. 前記深度遷移ポイントを決定するステップは、第２の深度指標マップの深度指標値と第１の深度指標マップの深度指標値との間の差が閾値と交差する、画像方向に沿ったポイントとして前記深度遷移ポイントを決定するステップを有する、請求項１５に記載の方法。
  18. 前記透明度マップの透明度の値に応じて、第１の深度指標マップの深度指標値を修正するステップを更に有する、請求項１に記載の方法。
  19. 深度指標値を修正するステップが、前記透明度マップ内の透明度遷移に対応する画像領域内の前景深度指標値に向かって、第１の深度指標マップの深度指標値をバイアスするステップを有する、請求項１８に記載の方法。
  20. 深度指標値を修正するステップが、
    画像方向に沿った第１の深度指標マップの前記深度指標値と前記透明度マップの前記透明度の値の少なくとも一つに応じて、第１の遷移ポイントを決定するステップと、
    より低い透明度の方向に第１の透明度ポイントから延在し、第１の透明度遷移ポイントで終わる、前記画像方向に沿ったインターバルのピクセルに対する前景深度指標値に向かって、前記画像方向に沿った第１の深度指標マップの深度指標値をバイアスするステップとにより、
    前記画像方向に沿った深度遷移及び透明度遷移を有する画像領域の少なくとも一部内の深度指標値を修正するステップを有する、請求項１８に記載の方法。
  21. 第１の遷移ポイントが、前記透明度マップの前記透明度の値に応じて決定される第１の透明度遷移ポイントであって、
    前記画像方向に沿った前記透明度マップの透明度指標値に応じて、第２の透明度遷移ポイントを決定するステップであって、第２の透明度遷移ポイントが第１の透明度ポイントより低い透明度に対応する当該ステップを更に有し、前記インターバルが第１の深度遷移ポイントから第２の深度遷移ポイントまで延在する、請求項２０に記載の方法。
  22. 第１の遷移ポイントが、前記透明度マップの前記透明度の値に応じて決定される第１の透明度遷移ポイントであって、
    前記画像の方向に沿った第１の深度指標マップの深度指標値に応じて第１の深度遷移ポイントを決定するステップと、
    第１の深度遷移ポイントに応じて透明度検索インターバルを決定するステップとを更に有し、
    第１の透明度ポイントを決定するステップが、前記透明度検索インターバル内の透明度の値に応じて、第１の透明度ポイントを決定するステップを有する、請求項２０に記載の方法。
  23. 深度指標値をバイアスするステップが、バイアスする前の、前記インターバルに対して最も遠い前景深度指標値に対応する深度指標値へ、前記インターバルの全ての深度指標値を設定するステップを有する、請求項２０に記載の方法。
  24. 第１の画像を背景画像ソースにより供給するステップと、
    前景画像ソースからの第２の画像と、第１の画像との組み合わせである混合画像を混合画像生成器により供給するステップであって、第２の画像は第１の画像に対する前景画像であり、当該組み合わせは第２の画像に対する透明度の値に応じている、前記混合画像を供給するステップと、
    前記混合画像に関係する透明度マップを透明度プロセッサにより供給するステップであって、当該透明度マップは前記混合画像のピクセルに対する透明度の値を有する、前記透明度マップを供給するステップと、
    前記混合画像に対する第１の深度指標マップを混合深度プロセッサにより供給するステップであって、第１の深度指標マップは前記混合画像のピクセルに対する深度指標値を有する、第１の深度指標マップを供給するステップと、
    第１の画像、前記混合画像、前記透明度マップ及び第１の深度指標マップを表現するエンコードされたデータを有する３次元画像データを画像エンコーダユニットにより生成するステップとを有する、
    画像信号をエンコードする方法。
  25. 第１の深度指標マップの深度指標値に応じて、前記透明度マップの透明度の値を修正するステップを更に有する、請求項２４に記載の方法。
  26. 前記透明度マップの透明度の値に応じて、第１の深度指標マップの深度指標値を修正するステップを更に有する、請求項２４に記載の方法。
  27. 第１の画像を背景画像ソースにより供給するステップと、
    前景画像ソースからの第２の画像と、第１の画像との組み合わせである混合画像を混合画像生成器により供給するステップであって、第２の画像は第１の画像に対する前景画像であり、当該組み合わせは第２の画像に対する透明度の値に応じている、当該ステップと、
    前記混合画像に関係する透明度マップを透明度プロセッサにより供給するステップであって、当該透明度マップは前記混合画像のピクセルに対する深度指標値を有する当該ステップと、
    前記混合画像に対する第１の深度指標マップを混合深度プロセッサにより供給するステップであって、第１の深度指標マップは前記混合画像のピクセルに対する深度指標値を有する、第１の深度指標マップを供給するステップと、
    第１の画像、前記混合画像、前記透明度マップ及び第１の深度指標マップに応じて画像を３Ｄレンダリングユニットによりレンダリングするステップとを有する、
    画像をレンダリングする方法。
  28. 第１の画像を供給する手段と、
    第１の画像及び第２の画像の組み合わせである混合画像を供給する手段であって、第２の画像は第１の画像に対する前景画像であり、当該組み合わせは第２の画像に対する透明度の値に応じている、当該手段と、
    前記混合画像に関係する透明度マップを供給する手段であって、当該透明度マップは前記混合画像のピクセルに対する深度指標値を有する当該手段と、
    前記混合画像に対する第１の深度指標マップを供給するための手段であって、前記混合画像のピクセルに対して深度指標値を有する当該手段と、
    第１の画像、前記混合画像、前記透明度マップ及び第１の深度指標マップを表現するエンコードされたデータを有する３次元画像データを生成するための手段とを有する画像信号エンコーダ。
  29. 第１の画像を供給する手段と、
    第１の画像及び第２の画像の組み合わせである混合画像を供給する手段であって、第２の画像は第１の画像に対する前景画像であり、当該組み合わせは第２の画像に対する透明度の値に応じている、当該手段と、
    前記混合画像に関係する透明度マップを供給する手段であって、当該透明度マップは前記混合画像のピクセルに対する透明度の値を有する、当該手段と、
    前記混合画像に対する第１の深度指標マップを供給するための手段であって、第１の深度指標マップは前記混合画像のピクセルに対する深度指標値を有する、当該手段と、
    第１の画像、前記混合画像、前記透明度マップ及び第１の深度指標マップに応じて画像をレンダリングする手段とを有する、
    画像レンダリングユニット。
JP2011528482A 2008-09-25 2009-09-23 三次元画像データ処理 Active JP5527856B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08165057.4 2008-09-25
EP08165057 2008-09-25
PCT/IB2009/054160 WO2010035223A1 (en) 2008-09-25 2009-09-23 Three dimensional image data processing

Publications (2)

Publication Number Publication Date
JP2012503815A JP2012503815A (ja) 2012-02-09
JP5527856B2 true JP5527856B2 (ja) 2014-06-25

Family

ID=41406855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011528482A Active JP5527856B2 (ja) 2008-09-25 2009-09-23 三次元画像データ処理

Country Status (7)

Country Link
US (1) US10043304B2 (ja)
EP (1) EP2338145B1 (ja)
JP (1) JP5527856B2 (ja)
KR (1) KR20110059790A (ja)
CN (1) CN102165496B (ja)
TW (1) TWI610270B (ja)
WO (1) WO2010035223A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
US8902229B2 (en) 2010-01-13 2014-12-02 Samsung Electronics Co., Ltd. Method and system for rendering three dimensional views of a scene
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
WO2012075631A1 (en) 2010-12-08 2012-06-14 Industrial Technology Research Institute Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
JP5242667B2 (ja) 2010-12-22 2013-07-24 株式会社東芝 マップ変換方法、マップ変換装置及びマップ変換プログラム
GB201114591D0 (en) * 2011-08-23 2011-10-05 Tomtom Int Bv Methods of and apparatus for displaying map information
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
JP2014534665A (ja) 2011-09-29 2014-12-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 視差マップをフィルタリングする方法及び装置
US9471988B2 (en) 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
JP5289538B2 (ja) * 2011-11-11 2013-09-11 株式会社東芝 電子機器、表示制御方法及びプログラム
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9661307B1 (en) 2011-11-15 2017-05-23 Google Inc. Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
JP2013118468A (ja) 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
US9111350B1 (en) 2012-02-10 2015-08-18 Google Inc. Conversion of monoscopic visual content to stereoscopic 3D
KR101893771B1 (ko) 2012-05-10 2018-08-31 삼성전자주식회사 3d 정보 처리 장치 및 방법
US8644596B1 (en) 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
TWI485653B (zh) * 2012-06-28 2015-05-21 Imec Taiwan Co 成像系統及方法
NL2009616C2 (en) * 2012-10-11 2014-04-14 Ultra D Co Peratief U A Adjusting depth in a three-dimensional image signal.
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
TW201421972A (zh) * 2012-11-23 2014-06-01 Ind Tech Res Inst 立體視訊的編碼方法及其系統
CN103077557B (zh) * 2013-02-07 2016-08-24 河北大学 一种自适应分层次胸部大数据显示的实现方法
US9674498B1 (en) 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D
KR20160034259A (ko) * 2013-07-18 2016-03-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US10178373B2 (en) * 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
JP6332982B2 (ja) * 2014-01-29 2018-05-30 キヤノン株式会社 画像処理装置およびその方法
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
FR3035208B1 (fr) * 2015-04-17 2017-04-21 Thales Sa Procede de gestion et d'affichage de symboles graphiques geo-references et systeme de visualisation associe
CN106937103B (zh) * 2015-12-31 2018-11-30 深圳超多维科技有限公司 一种图像处理方法及装置
CN106937104B (zh) * 2015-12-31 2019-03-26 深圳超多维科技有限公司 一种图像处理方法及装置
CN107154032B (zh) * 2017-04-20 2019-01-29 腾讯科技（深圳）有限公司 一种图像数据处理方法和装置
EP3396949A1 (en) * 2017-04-26 2018-10-31 Koninklijke Philips N.V. Apparatus and method for processing a depth map
GB2565301A (en) 2017-08-08 2019-02-13 Nokia Technologies Oy Three-dimensional video processing
KR102022980B1 (ko) 2017-12-01 2019-09-19 클릭트 주식회사 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램
CN108881887B (zh) * 2018-07-19 2019-07-19 四川长虹电器股份有限公司 一种基于Unity3D的光场信息获取及处理方法
US10643398B2 (en) * 2018-07-23 2020-05-05 Microsoft Technology Licensing, Llc Depth ray layer for reduced visual noise
CN109598737B (zh) * 2018-12-04 2021-01-12 广东智媒云图科技股份有限公司 一种图像边缘识别方法及系统
EP3691277A1 (en) * 2019-01-30 2020-08-05 Ubimax GmbH Computer-implemented method and system of augmenting a video stream of an environment
KR102374945B1 (ko) * 2019-02-22 2022-03-16 지멘스 메디컬 솔루션즈 유에스에이, 인크. 영상 처리 방법 및 영상 처리 시스템
US11363249B2 (en) * 2019-02-22 2022-06-14 Avalon Holographics Inc. Layered scene decomposition CODEC with transparency
CN110336942B (zh) * 2019-06-28 2021-02-02 Oppo广东移动通信有限公司 一种虚化图像获取方法及终端、计算机可读存储介质
US11330196B2 (en) * 2020-10-12 2022-05-10 Microsoft Technology Licensing, Llc Estimating illumination in an environment based on an image of a reference object

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2888375B2 (ja) * 1990-11-30 1999-05-10 株式会社日立製作所 画像合成方法及び文字フオント生成方法
US5684941A (en) * 1994-09-01 1997-11-04 Cirrus Logic, Inc. Interpolation rendering of polygons into a pixel grid
US6266068B1 (en) * 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
JPH11339008A (ja) * 1998-05-26 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理装置
GB2354416B (en) * 1999-09-17 2004-04-21 Technologies Limit Imagination Depth based blending for 3D graphics systems
JP2002329210A (ja) 2001-04-27 2002-11-15 Canon Inc 画像処理装置および画像処理装置の制御方法および記憶媒体
US7081892B2 (en) * 2002-04-09 2006-07-25 Sony Computer Entertainment America Inc. Image with depth of field using z-buffer image data and alpha blending
NZ525956A (en) * 2003-05-16 2005-10-28 Deep Video Imaging Ltd Display control system for use with multi-layer displays
CN100483463C (zh) * 2003-09-17 2009-04-29 皇家飞利浦电子股份有限公司 用于在3-d图像显示屏上显示3-d图像的系统和方法
US7015926B2 (en) 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
JP4240395B2 (ja) * 2004-10-01 2009-03-18 シャープ株式会社 画像合成装置、電子機器、画像合成方法、制御プログラムおよび可読記録媒体
US20060087556A1 (en) * 2004-10-21 2006-04-27 Kazunari Era Stereoscopic image display device
WO2006067714A2 (en) 2004-12-20 2006-06-29 Koninklijke Philips Electronics N.V. Transparency change of view-obscuring objects
DE102005023195A1 (de) * 2005-05-19 2006-11-23 Siemens Ag Verfahren zur Erweiterung des Darstellungsbereiches einer Volumenaufnahme eines Objektbereiches
CN101322418B (zh) 2005-12-02 2010-09-01 皇家飞利浦电子股份有限公司 图像信号的深度相关的滤波
JP5011316B2 (ja) * 2006-02-27 2012-08-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 出力画像のレンダリング
KR101257849B1 (ko) 2006-09-29 2013-04-30 삼성전자주식회사 3차원 그래픽 객체 렌더링 방법 및 장치, 이를 위한 렌더링객체 최소화 방법 및 장치
US8588514B2 (en) * 2007-05-11 2013-11-19 Koninklijke Philips N.V. Method, apparatus and system for processing depth-related information
US7982734B2 (en) * 2007-08-01 2011-07-19 Adobe Systems Incorporated Spatially-varying convolutions for rendering soft shadow effects
US8878836B2 (en) * 2008-02-29 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same

Also Published As

Publication number Publication date
WO2010035223A1 (en) 2010-04-01
KR20110059790A (ko) 2011-06-03
CN102165496A (zh) 2011-08-24
EP2338145A1 (en) 2011-06-29
EP2338145B1 (en) 2020-04-08
US20110181588A1 (en) 2011-07-28
JP2012503815A (ja) 2012-02-09
TW201035907A (en) 2010-10-01
US10043304B2 (en) 2018-08-07
TWI610270B (zh) 2018-01-01
CN102165496B (zh) 2014-08-13

Similar Documents

Publication Publication Date Title
JP5527856B2 (ja) 三次元画像データ処理
KR101648206B1 (ko) ３차원 이미지 데이터 처리
KR101468267B1 (ko) 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
RU2551789C2 (ru) Выбор точек обзора для формирования дополнительных видов в 3d видео
US7822265B2 (en) Ghost artifact reduction for rendering 2.5D graphics
JP5173028B2 (ja) シーンの階層化深さモデルを提供するための方法及び装置並びにシーンの階層化深さモデルを有する信号
Smolic et al. Intermediate view interpolation based on multiview video plus depth for advanced 3D video systems
Muller et al. Reliability-based generation and view synthesis in layered depth video
KR102581134B1 (ko) 광 강도 이미지를 생성하기 위한 장치 및 방법
JP2015522198A (ja) 画像に対する深度マップの生成
JP2020524851A (ja) テクスチャマップ及びメッシュに基づく３ｄ画像情報の処理
KR20110015452A (ko) 입체 이미지의 블러 향상
EP4033754A1 (en) An image synthesis system and method therefor
Barenbrug Declipse 2: multi-layer image and depth with transparency made practical

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140314

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140411

R150 Certificate of patent or registration of utility model

Ref document number: 5527856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250