JP6029583B2 - 立体画像及びマルチビュー画像の伝送、処理及びレンダリングのためのシステム及び方法 - Google Patents

Description

本発明は、包括的には、色情報（例えばＲＧＢデータ）とともに深度（depth：奥行き）情報を送受信するデジタル画像処理システムに関し、より詳細には、第１のデジタル画像処理システムによって送信された深度情報及び色情報を受信しかつ使用して、１つ又は複数の３次元（３Ｄ）ビュー（例えば、立体ビュー又は自動立体ビュー）をレンダリングする方法及びデジタル画像処理システムに関する。

［関連出願の相互参照］
本願は、２０１０年７月７日に出願された米国仮特許出願第６１／３６２，１３４号の利益を主張し、この米国仮特許出願は引用することによりその全体が本明細書の一部をなすものとする。

３次元（３Ｄ）ビデオ及び画像伝送システム、特に３Ｄテレビ（３Ｄ−ＴＶ）は、近年、市場で受け入れられてきた。従来技術によるシステムに従って視聴者に３Ｄ立体画像を提示するためには、一方は視聴者の左眼用に意図され、他方は視聴者の右眼用に意図されている少なくとも２つの別個のビューを生成する必要がある。幾つかの従来技術による３Ｄ−ＴＶシステム及び方法は、既存のテレビ伝送規格と互換性を提供するように設計されてきた。例としては、フレームコンパチブルパッキング法が挙げられ、そのうちの１つは、２０１０年８月１１日付の、http://www.mpegif.org/m4if/bod/Working%20Groups/WP_MPEG_Standards_for_3DTV.pdfから得られる「Overview of MPEG Standards for 3DTV」（Motorola Corporation、2010）に記載されており、それは引用することによりその全体が本明細書の一部をなすものとする。直接言及していないが、本明細書において参照する全ての文献／文書／記事は、引用することによりその全体が本明細書の一部をなすものとする。

本質的に、フレームコンパチブルパッキング法は、２つの立体ビュー（すなわち、右眼ビュー及び左眼ビュー）をサイドバイサイド構成又はオーバーアンダー構成等、標準解像度フレームにパッキングすることによって機能する。この方法は、確かに、既存のチャネルを介した３Ｄ ＴＶコンテンツの伝送を可能にするが、不都合なことに、旧式の２Ｄテレビでの視聴者は、３Ｄ−ＴＶ、又は少なくとも３Ｄ対応セットトップボックス若しくは３Ｄ対応ＴＶなしには見ることができない、パッキングされたフレームを見ることになる。さらに、この従来技術による方法では、著しい解像度の劣化があり、それは、２つの立体フレーム（すなわち左眼フレーム及び右眼フレーム）を１つのフレームに押し込むために、フレームごとの解像度の半分が犠牲にされるためである。解像度劣化に加えて、この従来のシステム／方法を使用している放送事業者、ケーブル事業者及び衛星放送事業者等のテレビシステム事業者は、３Ｄ−ＴＶをこのように放送するために、新たな中継器のセット、増大した帯域幅又は追加のチャネルを導入することが必要であり、著しい費用がかかることになる。

フレームコンパチブルパッキング伝送方法に対する別の欠点は、両目の間の視差の量が伝送時に固定されており、受信機システムにおける種々のサイズのディスプレイが非常に種々の視差を示すことになる、ということである。エンドユーザーには、これらの問題を補償するように実際の視差を調整する機会がほとんどない。よくても、３Ｄ−ＴＶで画像を見ながら右眼表示に対して左眼表示を変位させることにより、基準視差を調整することは理論的には可能である。不都合なことに、オブジェクト間視差を調整することはできない。

本技術分野において既知である他の方法は、マルチビュービデオ符号化（Multiview Video Coding）用のＨ．２６４／ＡＶＣビデオ圧縮規格に対する改定版（すなわち、「ISO/IEC 14496-10, Advanced Video Coding, Annex H: Multiview Video Coding」）に記載されているように、帯域外でビュー間予測を符号化することにより上述した問題の多くに対処する。多くの互換性問題は、古い方のコーデックが余分なデータを破棄するようにビットストリームにおける第２の（又は他方の）ビューを符号化し、それによって単一の２Ｄビューをレンダリングすることによって改善された。このように符号化された放送は、新たなチャネルを割り当てる必要がないことによって利益があり、同じチャネルを用いて２Ｄ放送及び３Ｄ放送を送信することができる。しかしながら、フレームパッキング法と同様に、エンドユーザーは、視聴する時点で視差に対して細かく制御することができない。上述したように、よくても、視聴者は、理論的には基準視差を制御することができるが、実際のオブジェクト間視差を制御することはできない。

さらに、ステレオ放送用のこうした符号化方式に関するオーバーヘッドは２５パーセントから３５パーセントであり、したがって、事業者には著しい帯域幅のアップグレードが必要である。したがって、この種のビデオ配信における現行の帯域幅割当が、それに従って増大する。さらに、こうしたオーバーヘッドコストは、バックホールに対して徐々に増大するコストを課し、例えば、同じビデオチャネルは同じ数の衛星中継器を使用することができない。Ｈ．２６４／ＡＶＣに基づく方法による別の主な問題は、インフラ全体がＨ．２６４／ＡＶＣに基づいて構築されていると想定されているが、それは事実とは異なる、ということである。大部分の米国の国内ビデオ配信インフラは、依然としてＭＰＥＧ２に基づいている。したがって、Ｈ．２６４／ＡＶＣビデオの伝送では、依然としてＭＰＥＧ２を用いている者に対して放送及び配信符号化インフラに対する大幅なアップグレードが必要であり、それは非常に費用のかかる提案である。さらに、事業者が、３Ｄ−ＴＶ放送を受信することを望んでいる者に対して新たな規格をサポートするために顧客構内機器をアップグレードすることに関する著しいコストを引き受けることが必要であり、その結果、フレームコンパチブル方法が課すものではない追加の資本コストがかかることになる。

したがって、望ましいがまだ提供されていないものは、限定されないがＭＰＥＧ２符号化及び復号化を含む既存の伝送チェーンと完全な後方互換性がある、低い増分帯域幅コストで又は増分帯域幅コストなしで立体画像データを伝送するシステム及び方法であって、受信機システムにおいて、送信された立体画像データを高品質に再構築する方法を提供する、システム及び方法である。

３次元（３Ｄ）像を送信するように構成されている送信機及びコンピューター実装方法を提供することによって、本技術分野において上述の問題が対処され、技術的解決策が達成される。本方法は、少なくとも１つの３Ｄ画像から深度マップ（すなわちＺチャネル）及びカラーデータを抽出するステップと、深度マップの帯域幅を削減して、帯域幅削減深度マップを生成する、削減するステップと、カラーデータ内に帯域幅削減深度マップを挿入して、帯域幅削減３Ｄ画像を生成する、挿入するステップと、ディスプレイに送り出すために帯域幅削減３Ｄ画像を伝送チャネルに送出するステップと、を含む。本明細書において用いるとき、「Ｚチャネル」という用語は、画像データの単一チャネルの深度マップを表すものであり、そこでは、データの各画素は、対応するカラー画像の各画素の範囲又は距離を表す。

本発明の一実施の形態によれば、前記深度マップの帯域幅を削減することは、前記カラーデータにおける少なくとも１つのオブジェクト境界に対応する少なくとも１つの不連続性を含む、前記深度マップの少なくとも１つの領域を保持することを含む。前記深度マップの帯域幅を削減することは、前記深度マップにおける深度値を表す分布におけるモダリティに関連する深度値を除去することを更に含むことができる。本発明の一実施の形態によれば、本方法は、
前記深度マップにおける深度値のヒストグラムを生成することと、
前記ヒストグラムに対してモーダル解析を実行することと、
により、前記モダリティを特定することを更に含むことができる。本方法は、前記ヒストグラムに対してグレースケールモルフォロジークロージング演算を適用することであって、０．０又は１．０の深度値を除去する、適用することを更に含むことができる。「モダリティ」という用語は、深度値の頻度ヒストグラム等における、値の出現の頻度における主成分を指すように意図されている。こうしたモダリティは、頻度分布（複数の場合もある）の大きい極大値によって示される。０．０又は１．０の深度（Ｚ）値に言及するとき、意図されているものは、正規化された深度マップ又は０．０から１．０の範囲を有する深度マップであり、ここで、０．０は無限大での距離を示し、１．０は任意にカメラに近い点を表し、０．５はカメラシステムの自然収束点を表す。

本発明の一実施の形態によれば、本方法は、メディアン画像処理フィルターを用いて前記深度マップをフィルタリングすることを更に含むことができる。前記メディアン画像処理フィルターは５×５メディアンフィルターとすることができる。

本発明の一実施の形態によれば、本方法は、前記深度マップに対して空間デシメーション演算を実行することと、
前記深度マップに対して可逆的な統計的符号化方法を適用することと、
を更に含むことができる。前記深度マップに対して空間デシメーション演算を実行することは、前記深度マップにキュービック削減フィルターを適用することと、繰返しの連続した１オクターブバイキュービック削減を実行することとのうちの少なくとも一方を含むことができる。前記深度マップに対して可逆的な統計的符号化方法を適用することは、
前記深度マップを７ビット／画素表現に変換して、ハフマン符号化方式を用いて統計的に符号化することと、
前記深度マップに対して算術符号化を適用することと、
前記深度マップに対して２次元コードブック符号化方式を適用することと、
のうちの少なくとも１つを更に含むことができる。

本発明の一実施の形態によれば、前記カラーデータ内に前記帯域幅削減深度マップを挿入することは、前記深度マップを透かしとしてカラーデータに追加することを更に含むことができる。

また、３次元（３Ｄ）像を受信する受信機及びコンピューター実装方法を提供することによって、本技術分野において上述の問題が対処され、技術的解決策が達成される。本方法は、
帯域幅削減深度マップ及びカラーデータを含む帯域幅削減３Ｄ画像を受信するステップと、
前記カラーデータの統計的ドメインを使用するフィルターを適用して前記帯域幅削減深度マップの帯域幅を復元する、適用するステップと、
を含む。前記フィルターは、少なくとも１つのオブジェクト境界を含む前記カラーデータの不連続性を一致させることにより、前記帯域幅削減深度マップにおける不連続性を復元するように構成される。本方法は、深度画像に基づくレンダリング（ＤＩＢＲ）法を適用することであって、前記復元された深度マップ及び前記カラー画像をワープさせて、立体３Ｄディスプレイ又は自動立体３Ｄディスプレイに適した少なくとも１つのビューを構築する、適用することを更に含むことができる。

本発明の一実施の形態によれば、少なくとも１つの前記フィルターはＲＧＢＺＯフィルターである。前記ＲＧＢＺＯフィルターは、第１のドメインとしての前記帯域幅削減深度マップ、第２のドメインとしての前記カラーデータ、及び空間重み付け関数によって提供される２つのラジオシティ重み付け関数を使用する。

本発明の一実施の形態によれば、本方法は、前記帯域幅削減深度マップに対して、第１オクターブのアップスケーリングされた深度マップが生成されるまで、１オクターブバイキュービックアップスケーリング及びそれに続くＲＧＢＺＯフィルターの適用の反復を繰り返し施すステップを更に含むことができる。前記帯域幅削減深度マップに対して、１オクターブバイキュービックアップスケーリング及びそれに続くＲＧＢＺＯフィルターの適用の反復を繰り返し施すことは、前記深度マップのエッジ勾配と前記カラーデータのカラーエッジ勾配との差を含む誤差関数を最小化して、前記アップスケーリングされた深度マップの出力を正則化することができる。

本発明の一実施の形態によれば、本方法は、前記帯域幅削減深度マップに対して、１オクターブバイキュービックアップスケーリング及びそれに続くＲＧＢＺＯフィルターの適用の反復を繰り返し施すステップの前に、前記帯域幅削減深度マップに対して可逆復号化方法を適用するステップを更に含むことができる。

本発明の一実施の形態によれば、前記方法（ＤＩＢＲ法）を適用するステップは、
前記カラーデータにオプティカルフロー法を適用するステップと、
前記カラーに対して動き補償及び画像ワーピングを適用して、動き補償画素のテーブルを生成する、適用するステップと、
前記動き補償画素のテーブルから遮られた画素の候補の時間予測及び空間予測のうちの一方を適用するステップと、
前記遮られた画素の候補に対して統計的インペインティング（statistical in-painting）手順を適用するステップと、
前記統計的インペインティング手順から得られた画素をワープさせ、表示するための画像の左眼ビュー及び右眼ビューを得る、ワープさせるステップと、
を更に含むことができる。本方法は、前記深度マップからのディスオクルージョンを分類して、遮られた画素の候補の空間予測に通知する、分類するステップと、
前記深度マップにＺ平滑化法を適用して、処理済み深度マップを生成する、適用するステップと、
を更に含むことができる。前記ワープさせるステップは前記処理済み深度マップによって通知される。

本発明の一実施の形態によれば、送信機及び／又は受信機は、特定用途向け集積回路（ＡＳＩＣ）を用いて実装することができる。

本発明は、同様の参照数字が同様の要素を指す添付図面に関連して考慮される、以下に提示する例示的な実施形態の詳細な説明からより容易に理解されるであろう。

本発明の一実施形態による例示的な３Ｄデジタル処理システムのブロック図である。 本発明の一実施形態による、立体ディスプレイ用の図１の例示的な送信機のハードウェアブロック図である。 本発明の一実施形態による、立体ディスプレイ用の図１の例示的な受信機のハードウェアブロック図である。 本発明の一実施形態による、ＲＧＢ＋Ｚ変換及び送信方法の例示的なステップを示すブロック図である。 本発明の一実施形態による、図３Ａのより詳細なブロック図である。 本発明の一実施形態による、立体ディスプレイ用の受信及び変換方法の例示的なステップを示すブロック図である。 本発明の一実施形態による、マルチビュー自動立体ディスプレイ用の受信及び変換方法の例示的なステップを示すブロック図である。 本発明の一実施形態による、図２Ｂの受信機システムによって使用される例示的な深度画像に基づくレンダリング（depth-image-based rendering）（ＤＩＢＲ）法の例示的なステップを示すブロック図である。 左眼及び右眼の立体画像対の例を示す図である。 図７の立体画像対に対応するＲＧＢ＋Ｚ対を示す図である。 本発明の前処理ステップによる処理後のＺチャネルを示す図である。 本発明のデシメーションステップによる処理後のＺチャネルの拡大図である。 単純な（naive）楕円平滑化（elliptical smoothing）関数が適用された後のＺチャネルを示す図である。 ドメインとしてＲＧＢデータを利用する統計処理及び復元の後のＺチャネルを示す図である。 本発明の一実施形態による例示的な深度画像に基づくレンダリング法を介する、アップスケーリング後のデシメートされたＺチャネルを利用する、単純な再構築された左眼及び右眼の立体画像対を示す図である。 本発明の一実施形態による例示的な深度画像に基づくレンダリング法を介する、アップスケーリングされ平滑化関数により処理された後のデシメートされたＺチャネルを利用する、単純な再構築された左眼及び右眼の立体画像対を示す図である。 例示的な深度画像に基づくレンダリング法を介する、好ましい実施形態による復元されたＺチャネルを利用する、再構築された左眼及び右眼の立体画像対を示す図である。

添付図面は、本発明の概念を例示する目的のものであり、比例尺で描かれていない可能性があることが理解されるべきである。

本発明は、３次元（３Ｄ）画像を送受信するコンピューター実装画像処理方法及びコンピューター実装画像処理システムに関する。図１は、本発明の一実施形態による例示的な３Ｄデジタル処理システム１００のブロック図を示す。システム１００は、コンピューター実装受信機１０２と、コンピューター実装送信機１０４と、後述する任意選択的な深度画像に基づくレンダリング（ＤＩＢＲ）モジュール１０８と、任意選択的なディスプレイ１１０とを備えている。システム１００は、送信機１０２及び受信機１０４に通信可能に接続されているネットワーク１０４を、含まないが使用している。送信機１０２は、伝送チェーン１０１からカラーデータ（例えばＲＧＢ、ＹＵＶ等）を含む３Ｄ立体画像データを受信するか、又は送信機１０２内で３Ｄ立体画像データを生成する。送信機１０２は、限定されないがＭＰＥＧ２符号化及び復号化を含む、既存の伝送チェーン１０１と完全な後方互換性を有しながら、低い増分帯域幅コストで又は増分帯域幅コストなしで３Ｄ立体画像データの帯域幅深度情報（すなわちＺチャネル）を削減する。

カラーデータ及び帯域幅削減Ｚチャネルは、送信機１０２により、通信可能に接続されているネットワーク１０４を介してコンピューター実装受信機１０６に送信され、受信機１０６は、後述する本発明の一実施形態によるフィルターを用いて、カラーデータ及び帯域幅削減Ｚチャネルから立体画像を再構築する。後述する任意選択的な深度画像に基づくレンダリング（ＤＩＢＲ）モジュール１０８は、立体３Ｄディスプレイ又は自動立体３Ｄディスプレイ１１０に適している少なくとも１つのビュー（例えば、左眼画像又は右眼画像）を構築するように、復元されたＺチャネル及びカラーデータをワープさせるように構成されている。「深度画像に基づくレンダリング」という用語は、画像の入力及び深度マップから新規のビューを作成する技法を指す。本技術分野において多くの深度画像に基づくレンダリング法が既知であり、典型的なプロセスは、入力画像の各画素に対して水平画素オフセットを使用する。オフセットの大きさは、想定された収束点と協働して深度マップ画素値に比例するように計算され、そこでは、所与の深度マップ値（たとえば０．５）はゼロオフセットを提示するものと想定される。この収束点値を超えるか又は下回る深度値には、それぞれ、左方向への画素オフセット又は右方向への画素オフセットが割り当てられる。

本発明の一実施形態によれば、受信機１０６は、再構築された立体画像を、伝送チェーン１０１を介して更に返信することができる。

「コンピューター」又は「コンピュータープラットフォーム」という用語は、デスクトップコンピューター、ラップトップコンピューター、メインフレームコンピューター、サーバー、ハンドヘルドデバイス、デジタル信号プロセッサ（ＤＳＰ）、組込みプロセッサ（その例を、図２Ａ及び図２Ｂに関連して後に説明する）、又はデータを処理することができる任意の他のデバイス等、任意のデータ処理デバイスを含むように意図されている。「通信可能に接続された」という用語は、有線であっても無線であっても、データを通信することができる、任意のタイプの接続を含むように意図されている。「通信可能に接続された」という用語は、限定されないが、単一コンピューター内のデバイス及び／又はプログラム間、又はネットワークを介するデバイス及び／又は別個のコンピューター間の接続を含むように意図されている。「ネットワーク」という用語は、限定されないが、ＯＴＡ伝送システム（無線伝送、ＡＴＳＣ、ＤＶＢ−Ｔ）、パケット交換網を介するビデオ伝送システム（ＴＣＰ／ＩＰ、例えばインターネット）、衛星伝送システム（マイクロ波、ＭＰＥＧトランスポートストリーム又はＩＰ）、直接放送衛星伝送システム、アナログケーブル伝送システム（ＲＦ）、デジタルビデオ伝送システム（ＡＴＳＣ、ＨＤ−ＳＤＩ、ＨＤＭＩ、ＤＶＩ、ＶＧＡ）等を含むように意図されている。

送信機１０２は、例えば、送信機能が組み込まれたカメラ、カメラ送受信機システム、ビデオ符号化機器、ビデオの統計多重化機器（スタットマックス）、ビデオキャプチャカードを備えたコンピューター、ビデオファイルをスプーリング／ストリーミングするカメラメディアサーバーが取り付けられたコンピューター、ビデオファイルをスプーリング／ストリーミングするＰＣ等、任意の適切なビデオ伝送デバイスを含むことができる。受信機１０６は、任意選択的にＤＩＢＲモジュール１０８及びディスプレイ１１０を備えた、任意の適切な３Ｄビデオ受信デバイスを含むことができる。適切な３Ｄビデオ受信デバイスは、例えば、ＰＣ、タブレット、携帯電話、ＰＤＡ、ビデオ復号化機器、ビデオ多重分離機器、テレビ、テレビ配信デバイス（例えば、ＡｐｐｌｅＴＶ（商標））、テレビセットトップボックス及びＤＶＲを含むことができる。

Ｚチャネルデータが、例えばステガノグラフィー法を用いて帯域内に（すなわち、送信される３Ｄカラー画像内に）埋め込まれる場合、システム１００の幾つかの実施形態は、完全に後方互換性かつ前方互換性の２Ｄ及び３Ｄのビデオ信号方式及び伝送を提供する。「ステガノグラフィー」という用語は、概して、画像に情報を隠蔽することを指す。伝送システム１０２の関連では、「ステガノグラフィー」という用語は、人間の視聴者に見えないか又は明白でないように、Ｚチャネルをカラー画像データ内に埋め込むか又は隠蔽する手段を指す。

更にまた、ディスプレイ１１０が自動立体ディスプレイである場合、ディスプレイ１１０で３Ｄ像を見るためにメガネは不要である。

図２Ａは、本発明の一実施形態による例示的な送信機１０２のブロック図を示す。限定しない例として、送信機１０２は、１つ若しくは複数のデータ記憶システム１１１及び／又は１つ若しくは複数の画像取込みデバイス１１２（例えば、１つ若しくは複数のスチールカメラ又はビデオカメラ、シェイプカメラ、ＬＩＤＡＲ又はＩＲ写真測量法生成レンジデバイス）から、及び／又は既存の伝送チェーン１０１から、深度マップ（すなわちＺチャネル）及びカラーデータを含むデジタル化された３Ｄビデオ又は３Ｄ静止画像（まとめて「３Ｄ画像」と呼ぶ）を受信する。本発明の一実施形態によれば、１つ又は複数の３Ｄ画像を、合成して推定し、又は図７に示す例のようにステレオ画像対視差値から計算することができる。任意選択的に、デジタル化されたビデオ又は静止画像を、インターネット等のネットワーク１１３を介して受信することができる。本発明の一実施形態によれば、送信機システム１０２は、コンピューティングプラットフォーム１１６を備えており、デジタルビデオ取込みシステム１１４もまた任意選択的に備えることができる。デジタルビデオ取込みシステム１１４は、デジタルビデオのストリームを処理するか、又はアナログビデオをデジタルビデオに変換して、コンピューティングプラットフォーム１１６が処理することができる形態にする。デジタルビデオ取込みシステム１１４を、独立型ハードウェアか、又はコンピューティングプラットフォーム１１６内に直接差し込むことができるファイヤワイヤカード等のカードとすることができる。本発明の一実施形態によれば、画像取込みデバイス１１２は、無線リンク（例えば衛星と地上局との間）及びデジタルデータリンク（例えば、イーサネット、地上局とコンピューティングプラットフォーム１１６との間）等、異種のデータリンクにより、ビデオ取込みシステム１１４／コンピューティングプラットフォーム１１６とインターフェースすることができる。コンピューティングプラットフォーム１１６は、１つ若しくは複数のプロセッサ１２０を備えた、パーソナルコンピューター又はワークステーション（例えば、Ｐｅｎｔｉｕｍ−Ｍ１．８ＧＨｚ ＰＣ−１０４以上）を含むことができ、プロセッサ１２０は、ビデオデータストリーム１２４によって１つ若しくは複数のプロセッサ１２０を介して又は直接コンピューター可読媒体１２６に提供されるバスシステム１２２を含む。代替的に、コンピューティングプラットフォーム１１６を、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）に実装されるグラフィック処理ユニット（ＧＰＵ）又はデジタル信号プロセッサ（ＤＳＰ）等、集積回路として実装するか、又はその一部として実装することができる。

コンピューター可読媒体１２６を、Ｗｉｎｄｏｗｓオペレーティングシステム又はＬｉｎｕｘオペレーティングシステム等、任意選択的なオペレーティングシステムを含む、１つ又は複数のプロセッサ１２０によって実行される送信機システム１０２の命令を格納するために使用することもできる。コンピューター可読媒体１２６を、１つ又は複数のデータベースにおいて本発明のビデオクリップを格納し取出すために更に使用することができる。コンピューター可読媒体１２６は、ＲＡＭメモリ等の揮発性メモリと、フラッシュメモリ、光ディスク（複数の場合もある）及び／又はハードディスク（複数の場合もある）等の不揮発性メモリとの組合せを含むことができる。処理されたビデオデータストリーム１２８の一部を、インターネット等のネットワーク１０４に及び／又は伝送チェーン１０１に後に出力するために、コンピューター可読媒体１２６に一時的に格納することができる。

図２Ｂは、本発明の一実施形態による例示的な３Ｄ受信機１０６のブロック図である。限定しない例として、受信機１０６は、インターネット等のネットワーク１０４を介して送信機から、及び／又は既存の伝送チェーン１０１から、カラーデータ及び帯域幅削減Ｚチャネルを含むデジタル化され処理された３Ｄビデオ又は３Ｄ静止画像（まとめて「帯域幅削減３Ｄ画像」と呼ぶ）を受信する。受信機１０６は、コンピューティングプラットフォーム２１６を備えることもできる。コンピューティングプラットフォーム２１６は、１つ若しくは複数のプロセッサ２２０を備えた、パーソナルコンピューター又はワークステーション（例えば、Ｐｅｎｔｉｕｍ−Ｍ１．８ＧＨｚ ＰＣ−１０４以上）を含むことができ、プロセッサ２２０は、ビデオデータストリーム２２４によって１つ若しくは複数のプロセッサ２２０を介して又は直接コンピューター可読媒体２２６に提供されるバスシステム２２２を含む。代替的に、コンピューティングプラットフォーム２１６を、ＦＰＧＡ又はＡＳＩＣに実装されるグラフィック処理ユニット（ＧＰＵ）又はデジタル信号プロセッサ（ＤＳＰ）等、集積回路として実装するか、又はその一部として実装することができる。

コンピューター可読媒体２２６を、Ｗｉｎｄｏｗｓオペレーティングシステム又はＬｉｎｕｘオペレーティングシステム等、任意選択的なオペレーティングシステムを含む、１つ又は複数のプロセッサ２２０によって実行される受信機１０６の命令を格納するために使用することもできる。コンピューター可読媒体２２６を、１つ又は複数のデータベースにおいて本発明の処理されたビデオを格納し取出すために更に使用することができる。コンピューター可読媒体２２６は、ＲＡＭメモリ等の揮発性メモリと、フラッシュメモリ、光ディスク（複数の場合もある）及び／又はハードディスク（複数の場合もある）等の不揮発性メモリとの組合せを含むことができる。復元された３Ｄ画像を表示するように構成されたモニター２３０に後に出力するために、「復元された」深度マップ（すなわち復元されたＺチャネル）及びカラーデータを含む、処理されたビデオデータストリーム２２８（まとめて「復元された３Ｄ画像」と呼ぶ）の一部を、コンピューター可読媒体２２６に一時的に格納することができる。任意選択的に、モニター２３０に、キーボード２３２及び／又はマウス２３４、又は分析者若しくは視聴者が関心のあるオブジェクトを選択するための他の同様の周辺デバイス（複数の場合もある）（例えば、受信機１０６への入力パラメーターの制御を可能にするユーザーインターフェース要素）を備えることができる。代替的に、復元された３Ｄ画像を、伝送チェーン１０１に渡すことができる。

本発明の実施形態は、深度情報を経済的に送信するために、ステレオ像又はマルチビュー像に関連する深度マップを使用することにより、従来技術の問題を解決することに関する。本出願の説明の範囲外である、ステレオ像又はマルチビュー像から深度マップを生成する種々の方法があるが、「Improved Real-Time Stereo on Commodity Graphics Hardware」（Proceedings of the 2004 Conference on Computer Vision and Pattern Recognition Workshop（CVPRW'04）Volume 3，2004）と題するYang他による記事における教示、及び「Real-time System for High-Image Resolution Disparity Estimation」（IEEE Trans Image Process.，2007 Jan;16(1):280-5）と題するDiaz他による記事における教示は、有益であり、引用することによりその全体が本明細書の一部をなすものとする。深度マップは、適切な符号化プロセスによって有利に使用することができる特有の統計的特性を有している。Woods, Andrew J.他編、「Stereoscopic Displays and Virtual Reality Systems XIII.」（Proceedings of the SPIE，Volume 6055、pp.177〜188（2006））における「Platelet-based coding of depth maps for the transmission of multiview images」と題するMorvan他による記事には、統計的特性がより詳細に探究されている。例示的な統計的特性は、区分線形特性に向かう極めて強い傾向を含む。言い換えれば、深度画像は、カラー画像におけるオブジェクト境界と一致する鮮鋭な不連続性によって境界が画される漸次的な線形変化の大きい領域を含む。

本発明の一実施形態によれば、これらの特性を知ることにより、送信機１０２は、およそ５００〜１で深度マップ（すなわちＺチャネル）の帯域幅を削減するように構成されている。さらに、受信機１０６は、本発明の一実施形態によれば、表示するために復元された３Ｄ画像を生成するように構成されている。これにより、深度画像に基づくレンダリング法は、立体ディスプレイ又はマルチビュー自動立体ディスプレイのために高品質で１つ又は複数のビューを合成することになる。本発明の実施形態によって設計されたシステムの特定の利点は、結果としての帯域幅の削減が達成され、それにより、ＭＰＥＧ２等のコーデックによる積極的な（aggressive）低ビットレート圧縮に直面しても、ビュー画像自体のＲＧＢデータ内に深度データ（すなわちＺチャネルデータ）をロバストに埋め込むために、粗なデジタル透かし方法を使用することができる、ということである。

本発明の実施形態の主な目的は、Ｚチャネルを、ＲＧＢ品質に影響を与えることなくＲＧＢデータ内の帯域内のデジタル透かしを介して送信することができる程度まで、Ｚチャネルの帯域幅を削減することである。さらに、Ｚチャネルの帯域幅を適切に大きく削減することにより、帯域内伝送の問題が、ＭＰＥＧ２又はＨ．２６４に比較して、ＲＧＢデータの知覚符号化に帰するようになる。これにより主な問題が解決され、すなわち、伝送方法及びビットストリームからＺチャネルを分離することにより、既存の放送及び伝送チェーンとの完全な後方互換性が達成される。これは、Ｚチャネルの伝送帯域幅全体の大幅な削減によってのみ可能である。当業者には、補足的な音声チャネルデータ等、Ｚチャネルデータの帯域内伝送及び帯域外伝送の他の方法を使用することができることが理解されよう。

図３Ａは、本発明の一実施形態によるＲＧＢ＋Ｚ（すなわちカラー＋Ｚチャネル）変換及び伝送方法の例示的なステップを示すブロック図を示す。図３Ｂは、図３Ａのステップ／ブロックを更に詳細に提示する。

図３Ａ及び図３Ｂに示すステップの場合、図２Ａ及び図２Ｂにおいて上述し図８において更に例示するように、ＲＧＢデータ及びＺチャネルデータは、送信機１０２及び／又は受信機１０６に対する入力であると想定される。ここで図３Ａ及び図３Ｂを参照すると、ステップ３０２において、Ｚチャネルデータに対して前処理ステップが実行される。好ましい実施形態では、前処理ステップ３０２は、深度値のヒストグラムが生成されるサブステップ３０２ａと、０．０又は１．０の深度Ｚ値を包囲する分布において著しいモダリティがあるか否かを特定する、生成されたヒストグラムのモード解析が実行されるサブステップ３０２ｂとを含む。サブステップ３０２ｂが、こうしたモダリティが存在することを示す場合、サブステップ３０２ｃにおいて、既知のグレイスケールモルフォロジークロージング演算を実行して、０．０及び１．０の固定の外れ値が除去される（そうでない場合、本方法は、後のステップ３０２ｄに移る）。サブステップ３０２ｄにおいて、フィルタリングされたデータは、メディアン画像処理フィルターによって１回又は連続して複数回処理され、それは、例えば２回から３回反復する５×５メディアンフィルターの実行であり得る。図９に、処理された深度マップの一例を示す。前処理サブステップ３０２ａ〜３０２ｄは、ＩＲ写真測量法及び視差推定深度マップにおいて共通する数値特異点及びオクルージョン／ディスオクルージョン（disocclusion）アーチファクトに関連する、雑音及び外れ値を除去する。有利には、前処理ステップ３０２は、有用なレンジ／深度データを破壊することなく、区分線形性推定により完全に一致するようにＺチャネルを変更する。

ステップ３０４において、Ｚチャネルステップ３０２に対して空間デシメーション演算が実行される。本発明の一実施形態によれば、ステップ３０４を、キュービック削減フィルターの適用等、単一ステップで実施することができる。本発明の別の実施形態によれば、好ましいが僅かによりコストのかかる演算は、より多くの中間スケールの詳細を、すなわちサブステップ３０４ｅ〜３０４ｈにおいて保持して、繰返しの連続した１オクターブバイキュービック削減を実行する（例えば４回の削減を行い、それによりＺチャネルに関連するデータが１／２５６に削減される）。図１０は、こうしたデシメートされたＺチャネルを示す。当業者は、Ｚチャネルの帯域幅が徹底的に削減されたが、微細構造情報の全て又は一部も削減され、すなわち、最も重要なことには、オブジェクトのエッジの配置及び向きが失われたことを理解するであろう。本発明の実施形態の主な目的は、受信端でこの情報を復元することである。

ステップ３０６において、ダイナミックレンジの更なる縮小とそれに続く可逆的な統計的符号化方法とにより、データセットを更に削減することができる。１つの好ましい実施形態では、Ｚチャネルは、７ビット／画素表現に変換され、ハフマン方式で統計的に符号化される。全体的なデータ削減率は、典型的なＺチャネルビデオ系列に対して５００対１に近づく。本発明の他の実施形態によれば、ステップ３０６における可逆的方法の適用としては、限定されないが、算術符号化等の他の統計的符号化方式及び２次元コードブック方式を挙げることができる。１つの好ましい実施形態によれば、時間予測、及びデシメートされたダイナミックレンジ削減ＺチャネルデータのＤＣＴドメイン量子化により、更なる削減が可能である。

ステップ３０８において、削減したＺチャネルデータを、透かしとしてＲＧＢデータにステガノグラフィーにより追加することができる。Ｚチャネルデータを元のＲＧＢのおよそ１／５００である帯域幅を有する表現に変換することにより、この時点で、Ｚチャネルデータをデジタル透かしとしてＲＧＢデータ内で送信するために、標準的なすかし技法を使用することができる。こうした標準的な透かし技法は、ＭＰＥＧ２等の低ビットレート知覚符号化に対して非常にロバストであり得る。好ましい実施形態は、第４オクターブＺ値の関連する１６×１６ＲＧＢブロックのクロミナンス内で、所与のデシメートされた深度マップ値の７ビットの各々を符号化する。当業者により、幾つかの条件が満たされる限り非常にロバストである多くの既存の透かし埋込み方法を使用することができ、すなわち、透かしデータ自体の帯域幅が、キャリアデータより大幅に小さい帯域幅であり、そうでなければ、キャリアデータは目に見えるように影響を受けることが理解されよう。さらに、キャリアに対する透かしペイロードの帯域幅が高いことにより、知覚符号化、クロッピング、スケーリング及び色域再マッピング等、ダウンストリーム変換が適用される場合、透かしが喪失する可能性がある。本発明の実施形態は、任意の現行の透かし方法をうまく使用することができるように、Ｚチャネルデータを十分な削減で処理することを対象とする。

ステップ３１０において、次いで、透かしデータが埋め込まれた基準ビデオ又は画像のＲＧＢデータが、伝送チェーンの残りを通して伝送することができる通常のＲＧＢ画像信号又はＲＧＢビデオ信号として処理される。

当業者は、受信機において、デシメートされたＺチャネル等の送信された帯域内透かし入りＲＧＢデータ信号を、或る種の復元なしに直接利用することは、問題があることを理解するであろう。深度画像に基づくレンダリングのフレームワークにおいてこうしたＺチャネルを深度マップとして直接利用することにより、図１３に示すように著しいアーチファクトがもたらされる可能性がある。合成されたビューにおいて著しいブロッキングアーチファクトが目に見える。復元の１つの方法は、例えば、Javidi, Bahram；Okano, Fumio編「Three-Dimensional TV, Video, and Display III」（Proceedings of the SPIE、Volume 5599、pp.173〜183（2004））において「Non-Uniform Smoothing of Depth Maps Before Image-Based Rendering」と題されたTam他による記事に記載されている技法等、任意の適切な技法に従ってアップスケーリングした後、単純に、デシメートされたＺチャネルを水平軸に沿って優先的に平滑化することができる。この手法の結果を図１４に示し、それは、前景オブジェクトの著しい幾何学的歪みが目に見えることを示している。これらの歪みは、主にＺチャネルデータが実際のオブジェクトの境界を横切るときにもたらされる。実際には、ブロッキングアーチファクトを完全に除去するために十分な平滑化が適用される場合、ＺチャネルとＲＧＢチャネルとの間の全ての空間的コヒーレンスが失われ、深刻な幾何学的歪みがもたらされる。この種の左眼ビューと右眼ビューとの間の幾何学的視差及び形状の食違いは、B.Javidi他編「Three-Dimensional Imaging, Visualization, and Display」（Springer-Verlag、New York、2008 pp.417〜466）において「Working Towards Developing Human Harmonic Streoscopic Systems」と題する、Emoto他による記事において教示されているように、視聴者に深刻な苦痛をもたらすことが分かっている。

深度マップの特有の空間特性、すなわち区分線形性に向かう傾向を想起すると、元の深度マップの鮮鋭な境界は、図３Ａ及び図３Ｂに関連して上述した実施形態に従って送信された、対応するＲＧＢ画像のオブジェクト境界に強く相関することを観察することができる。本発明の一実施形態によれば、Ｚチャネルの元のエッジ不連続性を保存しかつ再現しながら、２ドメインバイラテラルフィルター（「ＲＧＢＺＯ」で示され後により詳細に説明する）及びそれに続く１オクターブアップスケーリングを、オブジェクト内のＺ勾配を平滑化するために透かし入りＲＧＢ信号に繰返し適用することができる。

図４は、本発明の実施形態による、立体ディスプレイ用の受信及び変換方法の例示的なステップを示すブロックであり、図５は、本発明の実施形態による、マルチビュー自動立体ディスプレイ用に変更された図４の方法を示す。ここで図４及び図５を参照すると、伝送チャネルの受信端において、ステップ４０２において、デシメートされたＺチャネル透かしが、受信されたＲＧＢデータからステガノグラフィーによって抽出される。ステップ４０４において、抽出されたＺ透かしに対して、可逆復号化方法が施される。ステップ４０６において、復号化されたＺチャネルデータに対して、Ｚチャネルデータを処理するためにＲＧＢデータの統計的ドメインを使用する２係数５シグマ／バイラテラルフィルターが施される。ステップ４０８、４１０において、Ｚチャネルデータに対して、連続した順番の１オクターブバイキュービックアップスケーリング及びそれに続くＲＧＢＺＯ演算の実行が、１回のＲＧＢＺＯ演算が第１オクターブのアップスケーリングされたＺチャネルに対して実行されるまで繰り返し施される。最後のＲＧＢＺＯの出力は、「復元された」Ｚチャネルを構成し、それに対して、抽出されたＲＧＢデータとともに、深度画像に基づくレンダリング（ＤＩＢＲ）法４１２が施され、それにより、「復元された」Ｚチャネルデータは、立体３Ｄディスプレイ（図４）又は自動立体３Ｄディスプレイ（図５）に適している１つ又は複数の追加のビューを構築するように、現ＲＧＢ画像をワープさせるために使用される。

本発明のＲＧＢＺＯバイラテラルフィルターは、幾つかの著しい点で従来技術によるバイラテラルフィルターとは異なる。以下の式１及び式２に定義されているような通常のバイラテラルフィルターは、レンジを構成する空間距離と、重み付けを促進する解析対象の画像内のドメインを構成するラジオシティ距離とによって、適応的にフィルター重みを計算する。より詳細には、入力画像Ｚ、出力画像Ｚ’及びサポートウィンドウ（window of support：近傍領域）Ωに対して、典型的なバイラテラルフィルターは、式１において以下のように定義される。
式中、ｇはガウス空間重み関数であり、ｒはラジオシティ重み関数である。ラジオシティに対する典型的な値としては、構成画素サンプルの輝度又は強度が挙げられる。系の入力は、通常、式２及び式３のようにｇ関数及びｒ関数を変更する定数係数σ_ｇ及びσ_ｒによって提供される。

Ｚドメインに対するラジオシティ関数ｒは、上記式３によって定義される。式２は、関数ｇにおける空間重み付けを定義する。ラジオシティ重み付けは、以下の式４〜式７とその付随する説明とによって定義される。

係数σ_ｇ及びσ_ｒの値が小さいほど、空間重み付け寄与及びラジオシティ重み付け寄与の局所性及び類似性がそれぞれ増大する。ラジオシティ関数ｒの指数の分母におけるＬ２距離尺度（すなわち、ユークリッド距離）は、エッジ及び境界局所性を十分に識別するのに輝度又は強度のみで十分である画像に適している。

好ましい実施形態では、式４における関数ｄとして、ＲＧＢデータの第２の入力により、第２の画像ラジオシティ領域が提供される。
式中、新たな第２ドメインラジオシティ関数ｄは、以下の式５によって定義され、
関数ｄは、単に輝度差ではなく、ＨＳＶ色空間における色差尺度を測定する。まず、式６におけるようにＲＧＢカラー値から色相値（ＨＳＶ空間におけるように）が計算される。

関数δは、式７におけるように定義される。

係数σ_ｇ及びσ_ｒと同様に、新たな係数σ_ｄは、ＲＧＢデータに対する類似性の局所性の尺度に影響を与える。ラジオシティ重み付けは、Ｚチャネルのみではなく、ＲＧＢチャネルによっても同様に提供される。この結合され、計算されたラジオシティ重み付けは、その後、Ｚチャネル出力に適用される。このタイプのフィルタリング演算の繰り返される反復には、アップスケーリングされたＺチャネルの出力を正則化するという効果があり、Ｚチャネルのエッジ勾配とＲＧＢチャネルのカラーエッジ勾配との差を含む誤差汎関数を最小化する。ＲＧＢチャネル及びＺチャネルの両方が０．０から１．０の範囲であると想定すると、こうしたＲＧＢＺＯフィルターの例示的なパラメーターのセットは以下のようになる。

本発明の一実施形態によれば、このＺチャネルを「復元する」ための正則化ステップを、第４オクターブから第１オクターブまでの単一アップスケーリングステップにより、最大解像度Ｚチャネルに対するＲＧＢＺＯ演算を繰返し反復して、実行することができる。これを、収束までの繰返し反復による勾配降下演算として考えることができる。本発明の一実施形態によれば、図４及び図５において上述したように１回のＲＧＢＺＯ演算が第１オクターブのアップスケーリングされたＺチャネルに対して実行されるまで、連続した順序の１オクターブバイキュービックアップスケーリング及びそれに続くＲＧＢＺＯ演算の実行を行うことにより、同じ品質の結果をはるかに低い複雑性で達成することができる。この方法の適用の結果を図１２に見ることができ、そこでは、Ｚチャネルは、上述した方法によって復元されている。明らかに、Ｚチャネルは、このとき空間的に相関されており、伝送時にデシメーションプロセスにおいて喪失した著しい量の情報が復元されている。

本発明の一実施形態によれば、上述したプロセスにより完全な復元がもたらされない（結合された送信方法及び受信方法を非可逆圧縮の方法になぞらえることができる）場合、再生されたＺチャネルデータは、元のＺチャネルデータを用いる再構築と大きく見分けがつかないことを平均観察者スコアが示唆する、立体再構築をもたらす。図１５は、こうした例示的な復元を示す。

当業者には、本発明の方法の実施形態によれば、深度マップの任意の推定を、より低い解像度で実行し、伝送チェーン１０１の任意の箇所において受信機１０６の図４に示すステップによって「処理する」ことができるか、又は図４において教示した受信機１０４の方法を利用して、相関するＲＧＢ画像が与えられると、より低い解像度及びより低い精度の深度マップから、非常に空間的に相関した、オブジェクトコヒーレントな最大解像度深度マップを生成することができることが理解されよう。これにより、深度マップの粗い近似値を、それらの最終的な供給源を問わず、計算し使用することができる。別の好ましい実施形態の一例は、B.Javidi他編「Three-Dimensional Imaging, Visualization, and Display」（Springer-Verlag、New York、2008 pp.153〜182）において「Depth Map Generation for 3-D TV: Importance of Edge and Boundary Information」と題するTam他による記事に教示されているもののような低複雑性方法を使用して、受信機において低解像度で動き又はぼけ等の他のキューから深度を推定し、図４の本方法を用いて、こうした深度マップを深度画像に基づくレンダリングに対して利用する前に処理する。

深度マップとして使用するために適切に復元されたＺチャネルを入手すると、残るものは、Ｚチャネルを使用して、ディスプレイによって必要とされる数の合成ビューを生成することである。立体ディスプレイの場合、２つのビューが必要である。本発明の実施形態による例示的なＤＩＢＲ法を図６に示す。任意のＤＩＢＲ法が扱う必要がある主な問題はオクルージョンである。前景オブジェクトが左に又は右に変位する場合、こうした変位により、明確な置換がない背景画素データが現れる可能性がある。遮られたデータを、空間的に、時間的に、又は両方の組合せにより予測する必要がある。

引用することによりその全体が本明細書の一部をなすものとする、２００９年９月８日に出願された「System and Method for Determination of Optical Flow」という発明の名称の同時係属中の米国特許出願第１２／５５５，４７２号において教示されているもののような正確なオプティカルフロー方法（ブロック６０２）により、遮られた画素に充填するためのあり得る動き補償候補（ブロック６０６）を含む、各画素に対する確率テーブルを、動き補償画像ワーピング（ブロック６０４）を介して形成することができる。さらに、適切な時間予測（ブロック６１０）が利用可能でない場合、「統計的インペインティング」として知られる種類の予測アルゴリズムを利用する空間予測（ブロック６０８）を使用することができる。「インペインティング」という用語は、画像及びビデオの喪失したか又は劣化した部分を再構築するプロセスを指す。しかしながら、第３の選択肢は、深度マップ自体を空間的にぼかすこと（ブロック６１２）であり、それには、こうしたディスオクルージョンを覆う前景オブジェクトを幾何学的に歪ませる効果がある。

実際には、例示的なＤＩＢＲ法は、画像幅の１％未満の程度の低いオクルージョンに対して幾何学的歪みを使用し、時間予測確率テーブルの利用可能性及び信頼性尺度に基づいて、時間予測及び空間予測から選択する。これを行うために、中間段階は、ディスオクルージョン（正：disocclusions）を、Ｚチャネル自体におけるデータマニフェストに基づいて４つのカテゴリー、すなわち左変位、右変位、完全Ｚ後方変位、完全Ｚ前方変位のうちの１つに分類しようと試みる（ブロック６１４）。さらに、ディスオクルージョンの水平方向の広がりが推定される。水平方向の広がりを用いて、深度マップの局所的な指向性のぼけが、著しい幾何学的歪みアーチファクトなしにディスオクルージョンを覆うか否かが判断される。そうでなければ、時間予測候補の存在が第２の選択肢であり、時間予測候補が利用可能でない場合、ディスオクルージョンタイプの分類（ブロック６１４）を用いて、インペイント手順によって使用される空間予測に対し、補間時にいずれの方向（複数の場合もある）を使用するべきかに関して通知される。

ブロック６１８及び６２０において、ブロック６０８、６１０及び６１２において前に得られたインペイント候補混合体（ブロック６１６）に基づいて、画像ワーピングによって左眼ビュー及び右眼ビューを得ることができる。

図６に示すもののようなＤＩＢＲ法を使用する利益は、事前設定されたか又はユーザーが提供したパラメーターによって可変のディスプレイサイズに適応することができるということである。例示的なシステムでは、仮想ビューの両方を、２つの仮想カメラによってシミュレートすることができる。３つのユーザー入力パラメーター、すなわち、シミュレートされた軸間距離、各仮想カメラに対するシミュレートされた焦点距離及びシミュレートされた収束点を指定することができる。

図６の例示的なＤＩＢＲ法は、右眼ビューとともに左眼ビューを再生するが、当業者により、左眼ビューとして元のＲＧＢを利用し、両ビューに対する＋０．５×焦点距離及び−０．５×焦点距離の代りに、１×焦点距離で右眼ビューのみを合成することにより、効率的使用を達成することができることが理解されよう。

図４と同様に、図５は、８ビュー自動立体出力（ブロック４１２）を生成するために使用される同じ例示的なＤＩＢＲ法を用いる、同じ好ましい実施形態を示す。

例示的な実施形態は、単に本発明を例示するものであるということ、及び当業者により、本発明の範囲から逸脱することなく、上述した実施形態の多くの変形を考案することができるということが理解されるべきである。したがって、こうした変形の全てが、添付の特許請求の範囲及びそれらの均等物の範囲に含まれることが意図されている。

Claims (17)

1. コンピューターによって実施する方法であって、
   帯域幅削減深度マップ及びカラーデータからなる帯域幅削減３Ｄ画像を受信するステップ、
   プロセッサを用いて、複数のカラー・チャネルからなる色空間内にカラーデータの色相の統計的ドメインを使用するフィルターを適用して前記帯域幅削減深度マップの帯域幅を復元し、前記フィルターは２つのラジオシティ重み付け関数を使用し、第１のラジオシティ重み付け関数が第１のドメインとしての前記帯域幅削減深度マップによって提供され、第２のラジオシティ重み付け関数が第２のドメインとしての色相値の傾きを取り入れた複数のカラー・チャネルのうちの少なくとも１つのチャネルによって前記色空間に提供されたカラーデータのマルチチャネル色差の測定によって提供され、前記フィルターが空間重み付け関数を使用するステップ及び、
   前記帯域幅削減深度マップに対して、第１オクターブのアップスケーリングされた深度マップが生成されるまで、１オクターブバイキュービックアップスケーリング及びそれに続く前記フィルターの適用の反復を繰り返し施すステップを含み、
   前記帯域幅削減深度マップに対して、１オクターブバイキュービックアップスケーリング及びそれに続く前記フィルターの適用の反復を繰り返し施すステップは、前記深度マップのエッジ勾配と前記カラーデータのカラーエッジ勾配との差を含む誤差関数を最小化して、前記アップスケーリングされた深度マップの出力を正則化することを特徴とするコンピューター実施方法。
   
2. 前記フィルターは、少なくとも１つのオブジェクト境界を含む前記カラーデータの不連続性を一致させることにより、前記帯域幅削減深度マップにおける不連続性を復元するように構成される、請求項１に記載の方法。
   
3. 深度画像に基づくレンダリング（ＤＩＢＲ）法を適用するステップであって、前記復元された深度マップ及びカラー画像をワープさせて、立体３Ｄディスプレイ又は自動立体３Ｄディスプレイに適した少なくとも１つのビューを構築する、適用するステップを更に含む、請求項１に記載の方法。
   
4. 前記ＤＩＢＲ法を適用するステップは、
   前記カラーデータにオプティカルフロー法を適用するステップと、
   前記カラーに対して動き補償及び画像ワーピングを適用して、動き補償画素のテーブルを生成する、適用するステップと、
   前記動き補償画素のテーブルから遮られた画素の候補の時間予測及び空間予測のうちの一方を適用するステップと、
   前記遮られた画素の候補に対して統計的インペインティング手順を適用するステップと、
   前記統計的インペインティング手順から得られた画素をワープさせて、表示するための画像の左眼ビュー及び右眼ビューを得る、ワープさせるステップと、
   を更に含む、請求項３に記載の方法。
   
5. 前記深度マップからのディスオクルージョンを分類して、遮られた画素の候補の空間予測に通知する、分類するステップと、
   前記深度マップにＺ平滑化法を適用して、処理済み深度マップを生成する、適用するステップと、
   を更に含む、請求項４に記載の方法。
   
6. 前記ワープさせるステップは、前記処理済み深度マップによって通知される、請求項５に記載の方法。
   
7. 前記帯域幅削減深度マップに対して、１オクターブバイキュービックアップスケーリング及びそれに続くフィルターの適用の反復を繰り返し施すステップの前に、前記帯域幅削減深度マップに対して可逆復号化方法を適用するステップを更に含む、請求項１に記載の方法。
   
8. ３次元（３Ｄ）像を処理するコンピューター実行可能命令を含むコンピューター可読不揮発性媒体であって、前記命令は、
   帯域幅削減深度マップ及びカラーデータを含む帯域幅削減３Ｄ画像を受信し、
   複数のカラー・チャネルからなる色空間内にカラーデータの色相の統計的ドメインを使用するフィルターを適用して前記帯域幅削減深度マップの帯域幅を復元し、前記フィルターは２つのラジオシティ重み付け関数を使用し、第１のラジオシティ重み付け関数が第１のドメインとしての前記帯域幅削減深度マップによって提供され、第２のラジオシティ重み付け関数が第２のドメインとしての色相値の傾きを取り入れた複数のカラー・チャネルのうちの少なくとも１つのチャネルによって前記色空間に提供されたカラーデータのマルチチャネル色差の測定によって提供され、前記フィルターが空間重み付け関数を使用し及び、
   前記帯域幅削減深度マップに対して、第１オクターブのアップスケーリングされた深度マップが生成されるまで、１オクターブバイキュービックアップスケーリング及びそれに続く前記フィルターの適用の反復を繰り返し施し、
   前記帯域幅削減深度マップに対して、１オクターブバイキュービックアップスケーリング及びそれに続く前記フィルターの適用の反復を繰り返し施す過程は、前記深度マップのエッジ勾配と前記カラーデータのカラーエッジ勾配との差を含む誤差関数を最小化して、前記アップスケーリングされた深度マップの出力を正則化することを特徴とするコンピューター可読不揮発性媒体。
   
9. 前記命令は、深度画像に基づくレンダリング（ＤＩＢＲ）法を適用して、前記復元された深度マップ及びカラー画像をワープさせて、立体３Ｄディスプレイ又は自動立体３Ｄディスプレイに適した少なくとも１つのビューを構築する、ように更に構成されている、請求項８に記載のコンピューター可読不揮発性媒体。
   
10. 少なくとも１つの前記フィルターは、前記カラーデータの統計的ドメインを使用して前記帯域幅削減深度マップの前記帯域幅を復元するように動作可能である、請求項８に記載のコンピューター可読不揮発性媒体。
    
11. 帯域幅削減深度マップを含む少なくとも１つの帯域幅削減画像を受信し復元する受信機であって、
    帯域幅削減深度マップ及びカラーデータを含む帯域幅削減３Ｄ画像を受信し、
    複数のカラー・チャネルからなる色空間内にカラーデータの色相の統計的ドメインを使用するフィルターを適用して前記帯域幅削減深度マップの帯域幅を復元し、前記フィルターは２つのラジオシティ重み付け関数を使用し、第１のラジオシティ重み付け関数が第１のドメインとしての前記帯域幅削減深度マップによって提供され、第２のラジオシティ重み付け関数が第２のドメインとしての色相値の傾きを取り入れた複数のカラー・チャネルのうちの少なくとも１つのチャネルによって前記色空間に提供されたカラーデータのマルチチャネル色差の測定によって提供され、前記フィルターが空間重み付け関数を使用し、及び、
    前記帯域幅削減深度マップに対して、第１オクターブのアップスケーリングされた深度マップが生成されるまで、１オクターブバイキュービックアップスケーリング及びそれに続く前記フィルターの適用の反復を繰り返し施し、
    前記帯域幅削減深度マップに対して、１オクターブバイキュービックアップスケーリング及びそれに続く前記フィルターの適用の反復を繰り返し施すステップは、前記深度マップのエッジ勾配と前記カラーデータのカラーエッジ勾配との差を含む誤差関数を最小化して、前記アップスケーリングされた深度マップの出力を正則化することを特徴とする受信機。
    
12. 前記帯域幅削減深度マップの帯域幅を復元することは、少なくとも１つのオブジェクト境界を含む前記カラーデータの不連続性を一致させることにより、前記帯域幅削減深度マップにおける不連続性を復元することに基づく、請求項１１に記載の受信機。
    
13. 前記復元された深度マップ及びカラー画像をワープさせて、立体３Ｄディスプレイ又は自動立体３Ｄディスプレイに適した少なくとも１つのビューを構築する、深度画像に基づくレンダリング（ＤＩＢＲ）モジュールを更に備える、請求項１１に記載の受信機。
    
14. 特定用途向け集積回路（ＡＳＩＣ）を用いて実装されている、請求項１１に記載の受信機。
    
15. ３Ｄ画像を送信し、受信し、レンダリングするシステムであって、
    少なくとも１つの３Ｄ画像から深度マップ及びカラーデータを抽出し、
    バイキュービック削減フィルターを使用して深度マップに一又はそれ以上の１オクターブデシメーションを施すことによって、前記深度マップの空間的帯域幅を削減し、
    前記深度マップにおける深度値のヒストグラムを生成し、
    前記ヒストグラムから得たモダリティに関連する深度値を除去し、
    前記ヒストグラムの複数の最大値内の最大値を演算することによって前記モダリティを選択し、深度マップ７ビット／画素帯域幅を削減し、帯域幅削減深度マップを生成し、
    前記カラーデータ内に前記帯域幅削減深度マップを挿入して、帯域幅削減３Ｄ画像を生成し、
    前記帯域幅削減３Ｄ画像を伝送チャネルに送出する
    送信機と、
    帯域幅削減深度マップ及びカラーデータからなる帯域幅削減３Ｄ画像を受信し、
    複数のカラー・チャネルからなる色空間内にカラーデータの色相の統計的ドメインを使用するフィルターを適用して前記帯域幅削減深度マップの帯域幅を復元し、前記フィルターは２つのラジオシティ重み付け関数を使用し、第１のラジオシティ重み付け関数が第１のドメインとしての前記帯域幅削減深度マップによって提供され、第２のラジオシティ重み付け関数が第２のドメインとしての色相値の傾きを取り入れた複数のカラー・チャネルのうちの少なくとも１つのチャネルによって前記色空間に提供されたカラーデータのマルチチャネル色差の測定によって提供され、前記フィルターが空間重み付け関数を使用し、及び、
    前記帯域幅削減深度マップに対して、第１オクターブのアップスケーリングされた深度マップが生成されるまで、１オクターブバイキュービックアップスケーリング及びそれに続く前記フィルターの適用の反復を繰り返し施し
    前記帯域幅削減深度マップに対して、１オクターブバイキュービックアップスケーリング及びそれに続く前記フィルターの適用の反復を繰り返し施すステップは、前記深度マップのエッジ勾配と前記カラーデータのカラーエッジ勾配との差を含む誤差関数を最小化して、前記アップスケーリングされた深度マップの出力を正則化し、
    ディスプレイ上に復元された前記深度マップ及び前記カラーデータをレンダリングする
    受信機と、を具備することを特徴とするシステム。
    
16. 前記深度マップの帯域幅を削減することは、前記カラーデータにおける少なくとも１つのオブジェクト境界に対応する少なくとも１つの不連続性を含む、前記深度マップの少なくとも１つの領域を保持することを含む、請求項１５に記載のシステム。
    
17. 前記フィルターは、少なくとも１つのオブジェクト境界を含む前記カラーデータの不連続性を一致させることにより、前記帯域幅削減深度マップにおける不連続性を復元するように構成される、請求項１５に記載のシステム。