JP5159959B2

JP5159959B2 - アップサンプリングのためにビュー間の視差に基づく適応補間を用いるデインターリーブされたビューの再構成

Info

Publication number: JP5159959B2
Application number: JP2011543630A
Authority: JP
Inventors: パハラワッタ，ペシャラ，ヴィ; トゥーラピス，アレクサンドロス; レオンタリス，アサナシオス
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2008-12-25
Filing date: 2009-12-22
Publication date: 2013-03-13
Anticipated expiration: 2029-12-22
Also published as: CN102265622B; US20110254921A1; JP2012513728A; US8605782B2; EP2371138A1; CN102265622A; EP2371138B1; DK2371138T3; KR20110106398A; KR101273232B1; ES2395363T3; WO2010075346A1

Description

本発明は、データ変換、より具体的には、ビデオ・アップコンバーティングを含むデータ・アップコンバージョンに関する。

立体映像の配信は、コンテンツ・プロバイダの長年に抱き続けてきた目標であった。ディスプレイ技術における最近の革新には、三菱及びサムスン等による３Ｄ表示可能なＤＬＰ及びプラズマディスプレイが含まれる。立体映像は、多種多様なフォーマットで配信されてよい。現在映像配信に使用されているフォーマットの１つは、チェッカーボード（ＣＢ）・インターリーブフォーマットである。

本発明者は、いずれかのフォーマットの、特に、チェッカーボード・インターリーブフォーマットのための、立体コンテンツの配信を改善する必要性を実感してきた。

一実施形態で、本発明は、少なくとも１つのビデオストリームのインターリーブされたビューを含むデータストリームを受け取るステップと、ピクセル位置での又は該ピクセル位置に対応する範囲内の前記インターリーブされたビューの第１のビューと相対するビューとの間の視差の量を決定するステップと、前記決定された視差と各ビューの特性とに基づいて選択されるフィルタを用いて前記第１のビューにおける前記ピクセル位置でのピクセル値を達成するステップとを有する方法を提供する。前記ビデオストリームは、例えば、各フレームが左右のインターリーブされたビューを有する３次元映像であってよい。前記ピクセル値は、フィルタリング又は、同じビュー、他のビュー、若しくは時間的なビューにおける他のピクセル値の考慮を含む処理を含む様々な方法で、達成されてよい。

他の実施形態で、本発明は、画像データのフレームをアップコンバートする方法であって、アップコンバートされる前記フレームを２つの部分に分けるステップと、夫々の部分をアップサンプリングするステップと、アップサンプリングされたフレームを生成するよう前記アップサンプリングされた部分を結合するステップとを有する方法を提供する。

他の実施形態で、本発明は、ビデオストリームを受け取るよう構成される入力部と、前記ビデオストリームから左画像及び右画像を取り出し、該取り出された左画像及び右画像をコンテンツ適応補間に基づいてアップサンプリングするよう構成されるフレーム発生器とを有するディスプレイを提供する。前記入力部は、ＨＤＭＩ入力を有してよく、前記ビデオストリームは、ＨＤＭＩフォーマットのチェッカーボード・インターリーブ方式３次元画像ストリームを有する。

他の実施形態で、本発明は、画像の異なるビューをアップサンプリングするよう構成され、コンテンツ適応補間器を有する装置を提供してよい。前記コンテンツ適応補間器は、例えば、ビューの１つの少なくとも一部についての補間プロセスを決定するために用いられる視差分析モジュールを有してよい。

これらの及び他の実施形態は、より完全に、以下で詳細に記載される。本発明の装置、方法、及び他の実施形態の部分は、汎用のコンピュータ、又はネットワークコンピュータでのプログラミングにおいて都合よく実施されてよく、結果は、汎用のネットワークコンピュータのいずれかに接続される出力装置に表示され、あるいは、出力又は表示のために遠隔の装置へ送信されてよい。更に、コンピュータプログラム、データシーケンス、及び／又は制御信号において表される本発明の如何なる構成要素も、無線ブロードキャスト、並びに銅配線、光ファイバケーブル及び同時ケーブルを介して伝送等を含む（しかし、これらに限られない。）あらゆる媒体として具現されてよい。

本発明の実施形態に従う、圧縮された立体画像のチェッカーボード・インターリーブ配信並びにその後のデインターリーブされたステレオビューの復号化及び表示のためのシステムの概要のブロック図である。チェッカーボード・インターリービングによって実行されるダウンサンプリング及びマルチプレキシングの例を表す図である。本発明の実施形態に従う一対のチェッカーボード・インターリーブ画像のステレオビュー再構成を表す図である。本発明の実施形態に従うバンドパスフィルタリングを用いたビュー視差分類を表す図である。本発明の実施形態に従う動き分析に基づくビュー視差分類を表す図である。本発明の実施形態に従う立体画像領域の視差依存フィルタリングの処理を表すフローチャートである。本発明の実施形態に従う一体化されたマルチハイポセシスフィルタ及び視差分析の処理を表すフローチャートである。本発明の実施形態に従うマルチハイポセシスフィルタ及び視差分析を利用する代替の処理を表すフローチャートである。本発明の実施形態に従うビュー補間のための一般的なマルチハイポセシスフィルタリングを表す図である。本発明の実施形態に従うビュー補間のためのマルチハイポセシスフィルタリングを表す図である。本発明の実施形態に従う奇数フィールド及び偶数フィールドの可分フィルタリングを表す図である。相対するビューで利用可能な前の情報に基づいて補間精度を決定するために用いられるサンプルを表す図である。

本発明及びその付随する利点のより完全な理解は、添付の図面に関連して考えられる場合に以下の詳細な記載を参照してより良く理解されることで、容易に得られるであろう。

ここで、図面（図中、同じ参照符号は、同じ又は対応する部分を示す。）、特に図１を参照して、圧縮された立体画像のチェッカーボード・インターリーブ配信並びにその後のデインターリーブされたステレオビューの復号化及び表示のために使用されるシステムの概要が表されている。配信パイプラインは、フィルタリングＦ_Ｌ，ｄ（）及びＦ_Ｒ，ｄ（）と、左右のビューのダウンサンプリングと、それらのビューのマルチプレキシングとを有する。次いで、マルチプレキシングされた画像は、ＩＳＯＭＰＥＧ−４ＡＶＣ／ＩＴＵ−ＴＨ．２６４、ＭＰＥＧ−２、ＶＣ１等（しかし、これらに限られない。）の圧縮方法を用いて圧縮され、デコーダへ送信される。次いで、マルチプレキシングされ且つ圧縮された画像は、解凍され、デマルチプレキシングされ、フィルタＦ_Ｌ，ｄ（）及びＦ_Ｒ，ｄ（）により最大解像度（full resolution）にアップコンバートされる。

チェッカーボード・インターリービング法によって実行されるダウンサンプリング及びマルチプレキシングは、更に、図２に表されている。デマルチプレキシング及びアップコンバージョンは、図３に表されている。品質を改善し、同時にアップコンバージョン処理の複雑性を維持又は低減することは、デコーダ又はディスプレイ装置において実時間で起こる必要がありうる。

本発明は、例えば、各ビューのチェッカーボード・サンプリングされた画像をアップサンプリングするために使用可能である適応（例えば、コンテンツ適応）補間技術を有する。そのような技術の１つは、アップサンプリングされているビューからの情報を、相対するビューからの情報と結合する。これは、補間されている領域が画像の低視差領域に属する（すなわち、左右のビュー画像はほとんど同じである。）場合に、最も有効である。

従って、様々な実施形態で、視差分析は、２つのビューの所与の領域について実行されてよい。視差分析のための方法の１つは、動き検出及び推定から得られる。一例において、１／（水平ピクセル距離）の固有周波数を有する水平面指向のバンドバスフィルタは、水平インターリービングによって引き起こされるアーティファクトを検出するために使用される。また、垂直面指向のバンドバスフィルタが、垂直インターリービングによって引き起こされるアーティファクトを検出するために使用されてもよい。例えば、フィルタは、フィルタリングされるサンプルから遠いサンプルほど低い重みを与えられるように、ハミング窓（［１２３４３２１］）を乗じられる（［−１１ −１１ −１１ −１］）等の標準のバンドパスフィルタであってよい。フィルタがより大きな応答をもたらす場合、それは、インターリービングによるアーティファクトの存在を示す。本発明の実施形態に従って、図４に表されているように、チェッカーボード・サンプリングの場合において、バンドバスフィルタにより水平方向及び垂直方向の両方又は一方においてチェッカーボード・インターリーブ画像をフィルタリングすることは、視差を識別するために使用されてよい。一方又は両方の方向が有意なフィルタ応答をもたらす場合、それはチェッカーボード・パターン等のインターリービング・アーティファクトの存在を暗示する。このことは、フィルタリングされる領域における左右のビューでのサンプル間の視差が大きいことを示す。

他の実施形態では、対角面指向のフィルタが同じ目的のために使用されてよく、他の実施形態では、チェッカーボード・インターリービングによって引き起こされるパターンに反応する２次元（２Ｄ）フィルタがその目的のために使用されてよい。例えば、可分（separable）フィルタは、ガウス窓を上記標準のバンドパスフィルタに適用することによって、生成され得る。また、インターリービング・アーティファクトの検出のための他の空間及び周波数領域技術は、水平方向及び垂直方向を考慮することによって、チェッカーボード・インターリービングにおける視差検出に適合され得る。

更なる他の実施形態では、視差分析は、予め利用可能な基準として、例えば、（図５に表されるように）いずれか一方のビューに対応する復号化されたピクチャを用いて、２つのデインターリーブされたビューを鑑み、動き適応又は動き補償に基づく方法によって実行されてよい。より高い歪み、又はより大きい運動ベクトルの存在は、より大きい視差の存在を示すことができる。次いで、この分析を前提として、別の処理が実行されてよい。更なる他の実施形態では、動き推定の後に、相対するビューが、ビュー間の視差を除いた後に、補間されるべき現在のビューにオーバーレイされる動き／視差補償ステップが続く。

ある実施形態において、視差推定が、２つのビューに属する対応する領域における視差がレベル“ＬＡ”であると決定する場合、タイプ“ＦＡ”の補間メカニズムが実行される。同様に、レベル“ＬＢ”、“ＬＣ”等に関し、タイプ“ＦＢ”、“ＦＣ”等の補間メカニズムが夫々適用される。多数の所定レベルの視差の夫々について、特定の対応する補間メカニズムが利用される。一実施形態で、補間メカニズムは、画像データの少なくとも１つのパラメータ（例えば、左右のビュー間の視差）に基づいて調整されるアルゴリズムである。

一例として、視差推定により、２つのビューの間の視差が低いと判断される場合は、単純なフィルタリング技術が、デインターリーブされたビューをアップコンバートするために使用されてよい。また、１つのビューの補間のためのマルチハイポセシス（multi-hypothesis）方法が、視差が低いと知られている同じ及び／又は前のインスタンスにおける相対するビューからの情報を用いて実行されてよい。図６に表されるように、立体画像領域の視差依存フィルタリングの処理は、視差が高くない場合に、補間のためのマルチハイポセシスフィルタ６４０を有する。処理は、例えば、ステレオビュー（又は他の）画像領域の分析（ステップ６１０）を有する。夫々の領域（ループ６２０）で、高い視差が存在する場合は、２次元（２Ｄ）又はより簡単なフィルタが補間のために利用される（ステップ６５０）。代替的に、高い視差が存在しない場合は、相対する（又は代わりの）ビューを用いるマルチハイポセシスフィルタ又はより複雑な補間が利用される（ステップ６４０）。

他の実施形態では、図７Ａに表されるように、複合マルチハイポセシスフィルタ７１０が、視差を決定するために利用される。視差が高いビューにおいて、マルチハイポセシスフィルタリングは、視差の量と一致する値を生成してよい。ステップ７２０で、マルチハイポセシスの結果が高い視差を示す場合は、２Ｄ又は他のフィルタが利用されてよく（ステップ７４０）、該結果が低い視差を示す場合は、選択された最良のフィルタが利用されてよい（ステップ７３０）。同じパリティの以前に補間されたビューも考慮されてよい。更なる他の実施形態では、マルチハイポセシスフィルタが視差を決定するために利用されてよく、他のマルチハイポセシスフィルタが補間のために利用されてよい。

図７Ｂは、本発明の実施形態に従う、マルチハイポセシスフィルタ及び視差分析を用いる代替の処理を表すフローチャートである。ループ７５０は、例えば、ビューの領域を試験するようセットアップされる。候補ピクセル値が複数のハイポセシスを用いて決定される（ステップ７５５）。ハイポセシスの候補又はピクセル値の結果は、例えば、他のビュー（例えば、相対するビュー）からの視差によってソートされる（ステップ７６０）。次いで、最低視差候補が、（例えば、視差閾値を上回る又は下回る）高い／低い視差について比較される（ステップ７６５）。最低視差候補が低い視差を示す場合、例えば、利用可能な最低視差候補の組合せがピクセル値を決定するために用いられる（ステップ７７０）。最低視差候補が高い視差を示す場合、例えば、単一のビューからのピクセルを用いるフィルタ７５５がピクセル値を決定するために利用される（ステップ７５５）。

図８Ａは、本発明の実施形態に従うビュー補間のための一般的なマルチハイポセシスフィルタリングを表す図である。図８Ａで、マルチハイポセシスシステム８００は、独立して、又は補助情報（Auxiliary information）８０３とともに、現在のビュー（例えば、チェッカーボード・サンプリングされたビュー８０１）を評価するエッジ分析及びフィルタ部モジュール８０１を有する。補助情報８０２には、例えば、相対するビュー、現在のビューの他の構成要素、時間的に隣接するもの等のいずれかが含まれてよい。評価により、フィルタの組８０４が生じる。各フィルタは補間結果を生成するよう動作し、補間結果は結合メカニズム（例えば、ハイポセシス結合８０５）によって結合される。結合は、例えば、平均、加重平均、又は選択等のいずれかの方法で実行されてよく、補間されたビュー８０６を生じさせる。

図８Ｂは、マルチハイポセシス補間フィルタの実施形態の例を表す。図８Ｂで、中身のない点線囲み８１５はピクセルを示し、位置（ｉ，ｊ）で、その値は、利用可能な隣接サンプルを用いて推定される必要がある。隣接サンプルのうち、Ｘによって表されるサンプルは、フィルタリングより前に利用可能であったピクセルであり、Ｘ’によって表されるサンプルは、前の行におけるフィルタリングにより利用可能となったピクセルである。

他の実施形態では、利用不可能であるとして表されている全てのサンプルは予め利用可能であってよく、それらを推定するプレフィルタリング段により、又はマルチハイポセシスフィルタリングが複数の段において繰り返し実行される繰り返し処理により、Ｘ’ピクセルとして表され得ることに留意すべきである。次いで、推定されるべきピクセルの近傍は、複数の並列フィルタリング段を受ける。これらのフィルタリング段は、例えば、垂直（例えば、８２０）、水平（例えば、８３０）、若しくは対角（例えば、８５０／８６０）補間フィルタ、隣接サンプルによるクロス・フィルタリング（例えば、８４０）、対角近傍からの外挿等の有限インパルス応答（ＦＩＲ）可分（例えば、１Ｄ）又は不可分（例えば、２Ｄ）フィルタを有してよい。あるいは、例示されている以外の他のタイプのフィルタリングが利用されてもよい。

図８における近傍は、例示的に、直ぐ隣にあるものに限定されるように示されており、且つ、フィルタの数も、明りょうさのために、限定されていることに留意すべきである。しかし、他の実施形態では、より広い近傍が使用されてよく、より大きなサポートサイズを有するフィルタ、及びより多用なフィルタの使用が可能となる。他の実施形態では、使用されるフィルタタイプは、フィルタリングされる画像領域内でエッジ方向／強さを決定する、前のエッジ分析によって示唆又は指示されてよい。エッジ又は他の分析は、例えば、利用されるフィルタを選択する際の１つのファクタであってよく、及び／又は、フィルタ自体の若しくはフィルタ自体によって利用されるファクタであってもよい。エッジ分析は、補間される現在の色成分からの情報にのみ基づくことができるが、それは、また、他の色成分からの情報も利用してよい。また、更なる他の実施形態においては、過去及び未来の両方の時間近傍を用いるフィルタも考えられてよい（例えば、３Ｄフィルタ）。

他の実施形態では、補間処理のための動き補償時間予測変数を生成するために動き適応又は動き推定技術を用いるフィルタが考えられてよい。他の実施形態では、インペインティング（inpainting）、ウェーブレット（wavelet）、コンツアレット（contourlet）、及びバンドレット（bandlet）アップサンプリング技術等の他の補間方法が、マルチハイポセシスフィルタにおいてハイポセシスを生成するために使用されてもよい。

夫々のフィルタタイプは、例えば、ピクセルについて単一の補間値を返す（本例では、垂直：Ｘ_ｉｊ ^ｖ、水平：Ｘ_ｉｊ ^ｈ、交点（cross）：Ｘ_ｉｊ ^ｍ、斜め下（diagonal down）：Ｘ_ｉｊ ^ｄｄ、斜め上（diagonal up）：Ｘ_ｉｊ ^ｄｕ）。次いで、選択処理が、それらのハイポセシスを鑑みて最終の補間値を決定するために実行される。例えば、この選択処理のために使用され得る方法は、最初に、各ハイポセシスとＯ_ｉｊとの間の差分又はコスト／距離を導き出す。Ｏ_ｉｊは、相対するビューにおける共起（co-located）サンプルである。具体的な実施形態において、この差分は：

ｄ_ｉｊ ^Ｈ＝Ｘ_ｉｊ ^Ｈ−Ｏ_ｉｊ，Ｈ∈｛ｖ，ｈ，ｍ，ｄｄ，ｄｕ，・・・｝

として、計算され得る。

上記の差分はただ１つの色成分を考えることができ、あるいは、全ての色成分が考えられてよい。このシナリオでは、上記の差分は、Ｏ_ｉｊと比較されるハイポセシスの全ての色成分についての差分を含むベクトルである。

次いで、例えば、最小絶対差を有するフィルタは、ピクセルの補間のために、例えば、最小計算器８７０によって実行されるＨ^＊＝ａｒｇｍｉｎ｜ｄ_ｉｊ ^Ｈ｜を使用するよう、最もありそうな候補として選択される。

この例では、図中８８０で表されるように、｜ｄ_ｉｊ ^Ｈ＊｜が閾値Ｔ_１よりも小さい場合、ピクセル値は、単純に、相対するビューにおける共起サンプルからコピーされてよい（すなわち、Ｘ’_ｉｊ＝Ｏ_ｉｊ）。そうではく、Ｔ_１≦｜ｄ_ｉｊ ^Ｈ＊｜≦Ｔ_２である場合は、最小の｜ｄ_ｉｊ ^Ｈ｜に対応するＸ_ｉｊ ^Ｈの値、すなわち、Ｘ_ｉｊ ^Ｈ＊が、図中８８５で表されるように、使用される。別な場合には、フィルタは、図中８９０で表されるように、デフォルトの固定２Ｄ補間器になる。

他の実施形態では、複数のフィルタが、閾値Ｔ_２を下回る値を供給する場合、その閾値を下回る全てのフィルタのＸ_ｉｊ ^Ｈの平均中央値又は加重平均が最小の代わりに使用されてよい。このように、様々な実施形態において、最小（例えば、ＭＩＮ８７０）は、例えば、様々なフィルタ構成のための閾値問い合わせ（threshold inquiry）であってよい。

一実施形態において、全てのフィルタからの値は、補間値の統計モデルを構築するために使用されてよい。統計上最もありそうに思われる値は、必ずしも閾値を下回るわけではなく、補間値として選択されてよい。統計的な尤度は、上述されたように、推定値と相対するビューのサンプルとの間の類似度によって、更には、例えば、先行エッジ分析に基づく、近隣サンプルのために選択されるフィルタに基づく、等の他の手段によって、決定されてよい。例えば、画像領域のエッジ分析が、水平エッジにありそうであると決定する場合、水平補間を実行するフィルタは、正確な推定を提供する可能性が高い。

他の実施形態では、クラスタ化された最もありそうな値が平均化されてよく、相対するビューに対する試験の前に平均推定値又は中間値を生成するに際して外れ値（outliers）の使用を回避する。使用されるフィルタの数は、また、利用可能なシステムリソース（電力、計算複雑性）に基づいて適合されてよい。利用可能なリソースが少ない場合は、少数の簡単なフィルタが使用されてよく、一方、より多くのリソースが利用可能である場合は、より複雑なフィルタが有効にされてよい。

他の実施形態では、マルチハイポセシスフィルタリングが、前の視差分析なしに実行されてよい。これは、視差が高いビューは、あらゆる場合において、大きい方の閾値よりも大きい値を生成する可能性があるからである。そのようなシステムは、例えば、図７に表されるステップに従う。他の実施形態では、隣接するピクセルの｜ｄ_ｉｊ ^Ｈ＊｜の値は、マルチハイポセシスフィルタリングが現在のピクセルにとって有用であるかどうかを決定するために、現在のピクセルのための視差推定として使用されてよい。

他の実施形態では、隣接するピクセルの補間のために選択されるフィルタは、使用されるフィルタ、及び／又は現在のピクセルの補間のために使用されるフィルタの複雑さを指示することができる。例えば、位置（ｉ，ｊ−２）にあるピクセルのために選択されるフィルタが垂直方向フィルタであった場合、垂直方向フィルタは、また、位置（ｉ，ｊ）にあるピクセルについて試験される優先度を有してよく、｜ｄ_ｉｊ ^ｖ｜＜Ｔ_２である場合、ある垂直方向の向き（すなわち、＞４５度且つ＜１３５度）を有するフィルタのみが試験される必要があり、他のフィルタは試験されない。

他の実施形態では、前の共起サンプルがピクセルの現在の近傍にあるサンプルに類似する場合、前のサンプルのために使用されるフィルタは、現在のサンプルのための予測変数として使用されてよい。他の実施形態では、共起サンプル及び関連するフィルタは、動き補償の後に決定されてよい。

他の実施形態では、空間的及び時間的に隣接する領域の視差推定は、現在の領域の視差分析の複雑さを低減及び／又は決定するために使用されてよい。例えば、前の推定（例えば、前の視差推定）からの所望の複雑さ及び／又は現在のリソースの利用可能性を鑑みて、動き推定方法、周波数分析、フィルタの長さ等のより複雑なアルゴリズムが有効又は無効にされる。更なる他の実施形態では、空間的及び時間的に隣接する領域の視差推定は、現在の領域において実行される補間の複雑さを決定するために使用されてよい。例えば、フレームが高い視差を有すると認められる場合は、最悪の場合の高い視差が次のＮ個のフレームについて仮定され、より複雑な補間技術が使用される。フレームが低い視差を有すると認められる場合は、それほど複雑でない補間技術が使用され、新しい視差分析が次のフレームに対して行われる。補間複雑性の調整は、例えば、フィルタの数を減らすこと、動き補償又は動き適応、ウェーブレット、バンドレット、インペインティングのような複雑な補間方法を回避すること等によって、実施されてよい。また、補間複雑性の調整は、視差（又は他の）分析の複雑さとは別個に又はそれと並行して行われてよく、更には、それらの補間及び／又は視差（若しくは他の）分析を行うために利用可能なリソースの現在の量を考慮して実行されてよい。

また、同じ技術は、視差分析が現在の領域に対して実行されるか否かを、隣接する領域の視差が決定することができる場合に、画像の領域内で使用されてもよい。領域は、任意であっても、あるいは、特定の形状（例えば、正方形若しくは長方形ブロック、三角形）又はサイズ（例えば、１６×１６、８×８、及び１×１）を有してもよい。隣接する領域との空間的及び時間的相関も、所与の領域がその近傍と同じ視差特性を有する可能性があるかどうかを決定するために、更には、補間のために使用されるフィルタを予測するために、使用されてよい。例となる場合において、時間的及び空間的近傍からのピクセルワイズの差は、その近傍との相関の指標として使用されてよい。

図９は、本発明の実施形態に従う、偶数フィールド及び奇数フィールドの別個のフィルタリングを表す図である。フィルタリング技術９００は、例えば、補間されるべきビューを、図９において見られるように、２つの矩形状にサンプリングされるフィールド（例えば、左ビュー偶数９２０及び左ビュー奇数９２１）に分けることを有する。次いで、（奇数及び偶数を表す）各フィールドは、長方形サポートを有する２Ｄフィルタ、可分フィルタ、エッジ適応補間フィルタ、双一次若しくは双三次補間、インペインティング、ウェーブレットに基づく補間、バンドレット、リッジレット（ridgelet）等を含む様々なフィルタリング技術の１又はそれ以上を用いて、その垂直方向及び水平方向解像度を２倍にするようアップコンバートされてよい。左奇数適応補間器９３０及び右奇数適応補間器９３１を介して示されるフィルタリングは、速度に関して並行して実行可能であるが、補間が実時間で実行され得るほど十分な処理速度を有して、例えば、時分割多重化シチュエーションにおいて、構成されてもよい。次いで、各フィールドの結果は、最終の補間されたビューを形成するよう結合されてよい（例えば、結合器９４０は、再構成された左ビューを生じさせる。）。

多数の技術が、各フィールドの結果を結合するために使用されてよい。１つの方法は、各ピクセルごとに２つの補間値の平均をとることである。他の方法は、各フィールドにおいて値の精度の推定に基づいて２つの補間値を適応結合することである。図１０は、これがどのように行われ得るのかの例を示し、相対するビュー又はフィールドにおいて利用可能な前の情報に基づいて補間精度を決定するために使用されるサンプルを表す。

図１０において、Ｘｅ及びＸｏは、夫々、偶数フィールド及び奇数フィールドにおける利用可能なサンプルを表し、Ｘ’ｅ及びＸ’ｏは、各フィールドにおける補間されたピクセルを表す。各フィールドにおける中央のピクセル（破線で囲まれている。）は、位置（ｉ，ｊ）にあるとする。その場合に、そのピクセルの最終補間値は、奇数及び偶数フィールド補間値の結合を用いて推定される必要がある。第１に、位置（ｉ，ｊ±１）及び（ｉ±２，ｊ±１）のためのサンプルは、奇数フィールドではなく偶数フィールドにおいて、補間より前に、利用可能であり、同様に、位置（ｉ±１，ｊ）及び（ｉ±１，ｊ±２）にあるサンプルは、偶数フィールドではなく奇数フィールドにおいて、補間より前に、利用可能であることに留意すべきである。従って、本発明は、所与のフィールドにおける補間の精度の推定として、ピクセル近傍内で、所与のフィールドの補間値と、相対するフィールドからの実際の値との間の差分の指標を利用してよい。差分は、二乗和差（sum squared difference）、和絶対差（sum absolute difference）等の多数の技術を用いて測定されてよい。隣接する領域は、固定窓であっても、あるいは、各フィールドのエッジ分析、又は結合された画像領域に係る前のエッジ分析に依存してもよい。差分及び処理は、現在の色成分のみを考えても、あるいは、現在のピクセルに対応する全ての色成分を考えてもよい。

このように、図１０において、（ｉ，ｊ）フィールドの補間の精度又は最終結果は、例えば、相対するフィールドの補間又は値に対する比較又は結合によって決定される（例えば、Ｘｏ（ｉ，ｊ−１）及びＸｏ（ｉ，ｊ＋１）の補間としてのフィールドＸｏ（ｉ，ｊ）の補間は、例えば、Ｘｅ（ｉ＋１，ｊ）及びＸｅ（ｉ−１，ｊ）の補間又は既知の値のいずれかであるＸｅ（ｉ，ｊ）の補間によって確認されてよい。同様に、既知の個数のフィールド値（例えば、図中１０３０で空間的に表されているもの）は、相対するフィールドにおける然るべく補間された値の確認のために補間なしで直接に使用されてよい。）。

各フィールドからの補間されるサンプルの精度の推定を鑑み、最終のピクセル値は、各フィールドからの全てのハイポセシスの重み付け結合として形成されてよい。他の実施形態では、同じビューにおける相対するパリティフィールドを用いて差分を測定することに加えて、相対するビューにおける共起ピクセルに対する差分も、特にビュー間の視差が低いと知られている場合に、使用されてよい。他の実施形態では、上記の推定に加えて、現在のフレームにおける補間サンプルと、時間的に隣接するフレームにおける共起サンプルとの間の差分が使用されてよい。他の実施形態では、上記の推定に加えて、隣接するフレームの動き補償後の共起サンプルが使用されてよい。

インペインティングは、デマルチプレキシングされたビューのアップサンプリングのために用いられてよい。本発明は、例えば、圧縮されたチェッカーボード・デマルチプレキシング・ビューのアップサンプリングに適用されるデジタル全変動（ＴＶ（total variation））インペインティング技術を適用することを有する。この場合に、例えば、Ωは、画像関数ｕが定義される最大解像度グリッドを表す。Ω_０は、利用可能なピクセルのチェッカーボード・パターンによって決定されるより低い解像度サブグリッドであるとする。Ｎ_αは、Ωにおいて各ピクセルαごとに定義される近傍であるとする。次いで、全変動スキームは、次のように定義されるエネルギＪ_λを最小化することを有する。

ここで、｜∇_αｕ｜は、次のように定義される。

ｕ_α ^０は、利用可能であるサンプルを表す（すなわち、Ω_０におけるサンプル）。上記の式は、適切な制約に従う全変動（ＴＶ）を最小化し、補間値がサンプルの元の既知の値に近いままであることを確かにする。最小化は、ｕ^（０）についての初期推定から始まって、デジタルＴＶフィルタｕ^（ｎ）＝Ｆ（ｕ^{（ｎ−１）}）を繰り返し適用することによって、達成される。方法は反復的であるから、本発明は、アルゴリズムの収束を加速させるために正確な初期推定を用いることを提案する。

一実施形態において、初期推定は、相対するビューにおける共起ピクセルを有する。他の実施形態では、初期推定は、相対するビューの視差補償されたものにおける共起ピクセルを有する。また、他の実施形態では、初期推定は、現在のビュー及び相対するビューの以前に復号化された画像から時間的に補間することによって得られるピクセルを用いて決定される。他の実施形態では、先に記載された補間方法のいずれかが、初期推定として使用されてよい。他の実施形態では、画像近傍は、動き／視差補償があろうとなかろうと、同じ又は相対するビューからの時間的近傍を含んでよい。適切な時間的近傍を導き出す動き推定は、とりわけ、ブロックベースの、アフィン変換に関する、放射線の、及びパラメータの動き推定を含め、照明補償があろうとなかろうと、如何なる動きモデルも使用することができる。本適用のために使用され得るブロックベースの動き推定のフレームワークは、拡張予想区域検索（Enhanced Predictive Zonal Search）スキームを含む。

他の実施形態では、１つの初期推定を用いることに代えて、処理は、Ｍ個のハイポセシス（例えば、同時にＭ個のハイポセシス）を用いて実行されてよい。例えば、同じ又は似た値をもたらすハイポセシスは、次の繰り返しの前に、１に折り畳まれてよい。また、一実施形態において、λの値は、チェッカーボード・インターリーブ画像の符号化において用いられる符号化パラメータ（例えば、量子化パラメータ／ビットレート）に基づいて決定されてよい。デジタルＴＶ方法に加えて、有界変動やベイズ・スキーム等のインペインティング・スキームも、チェッカーボード・サンプリング・グリッドからのアップサンプリングの場合にデジタル領域において適用されてよく、先と同じく、相対するビューにおけるピクセル値を知っていることは、インペインティング・ソリューションの収束を改善するために使用されてよいことに留意すべきである。

また、ウェーブレット、バンドレット、コンツアレット等の周波数領域のフィルタリング技術が、チェッカーボード・サンプリングされたビューのダウンサンプリング及びアップサンプリングの両方に使用されてもよい。例えば、直交ミラーフィルタは、最小のエイリアシングを有して周波数領域においてダウンサンプリング及びアップサンプリングを実行するよう、開発され得る。

バンドレットに基づく方法は、上記の全変動技術と同様に具現されてよく、先と同じく、問題は、制約なしのラグランジュ最小化として解消され得ることに留意すべきである。繰り返し処理は、ソリューションを見出すために用いられる。先と同じく、より速い収束のために、処理は、相対するビューのサンプル、時間的近傍、動き補償された時間的近傍、又はこれらのいずれかの組み合わせを用いて初期化されてよく、ラグランジュ・パラメータ及び繰り返しの数は、符号化パラメータに基づいて決定されてよい。

また、上記のフィルタのいずれの組み合わせも、画像／シーケンスの各領域のコンテンツ特徴に依存する所与の画像／シーケンスをフィルタリングするために使用されてよいことに留意すべきである。例えば、バンドレット及び他のインペインティング技術は、オブジェクトのエッジ及び高テクスチャの領域に沿って使用されてよく、より簡単なマルチハイポセシス技術が、平坦な領域及び視差が低い領域において使用可能である。フィールド分割フィルタに対して適用されるフィルタは、視差が高い領域において使用されてよい。一実施形態において、本発明は、画像の範囲の重要なパラメータを決定することを有する。例えば、その重要なパラメータは、領域内のテクスチャの量又はタイプであってよい。重要なパラメータに基づいて、フィルタが選択される。加えて、チェッカーボード・インターリービング処理より前に使用されたダウンサンプリングフィルタが知られている場合は、アップサンプリングフィルタは、ダウンサンプリングフィルタのパラメータに適応可能である。

図面に表されている本発明の好ましい実施形態について記載するに際して、特定の用語が明りょうさのために用いられている。しかし、本発明は、そのように選択された具体的用途に限定されるよう意図されず、夫々の特定の要素は、同様に動作する全ての技術的に等価なものを含むことが理解されるべきである。

本発明の部分は、コンピュータ分野において通常の知識を有する者には明らかなように、本開示の教示に従ってプログラミングされる従来の汎用の若しくは特殊化したデジタルコンピュータ又はマイクロプロセッサを用いて、都合よく実施されてよい。

適切なソフトウェアコーディングは、ソフトウェア分野において通常の知識を有する者には明らかなように、本開示の教示に基づいて、熟練のプログラマによって容易に用意され得る。また、本発明は、本開示に基づいて当業者に容易に理解されるように、特定用途向け集積回路の用意によって、又は従来のコンポーネント回路の適切なネットワークを相互接続することによって、実施されてもよい。

本発明は、コンピュータを制御し又はコンピュータに本発明の処理のいずれかを実行させるために使用され得る命令を記憶した記憶媒体であるコンピュータプログラムプロダクトを含む。記憶媒体には、フロッピーディスク（登録商標）、ミニディスク（ＭＤ）、光ディスク、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ、ＣＤ−ＲＯＭ、ＣＤ若しくはＤＶＤＲＷ＋／−、マイクロドライブ、及び光磁気ディスクを含む何らかのタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス（フラッシュカード、メモリスティックを含む。）、磁気若しくは光学式カード、ＳＩＭカード、ＭＥＭＳ、ナノシステム（分子メモリＩＣ）、ＲＡＩＤデバイス、遠隔データストレージ／アーカイブ／ウェアハウジング、あるいは、命令及び／又はデータを記憶するのに適した何らかのタイプの媒体又はデバイスが含まれ得るが、これらに限られない。

いずれか１つのコンピュータ可読媒体に記憶される場合、本発明は、汎用の／特殊化したコンピュータ若しくはマイクロプロセッサのハードウェアを制御し、コンピュータ若しくはマイクロプロセッサが本発明の結果を用いるユーザ又は他のメカニズムと対話することを可能にするソフトウェアを含む。そのようなソフトウェアには、デバイスドライバ、オペレーティングシステム、及びユーザアプリケーションが含まれ得るが、これらに限られない。最後に、そのようなコンピュータ可読媒体は、上述されるように、本発明を実行するためのソフトウェアを有する。

汎用の／特殊化したコンピュータ若しくはマイクロプロセッサのプログラミング（ソフトウェア）には、補間すること、補間の複雑性を変えること、領域を識別すること、画像の時間的に関連する部分又はビューを識別し補間すること、画像の関連する部分又はビュー間の視差を決定すること、補間方法又は処理を選択すること、コンテンツのいずれかの部分又は補間されるコンテンツに関連する他のファクタに基づいて補間方法又はプロセスを変更すること、例えば本願で記載されるフィルタ機能及び／又はそれと等価なものを実施する処理又は方法を含むフィルタを実装すること、並びに本発明の処理に従う結果の表示、記憶又は通信を含む（しかし、これらに限られない。）本発明の教示を実施するためのソフトウェアモジュールが含まれる。

本発明の様々な限定されない実施形態が例示のために与えられる。例えば、方法は、少なくとも１つのビデオストリームのインターリーブされたビューを含むデータストリームを受け取るステップと、ピクセル位置での又は該ピクセル位置に対応する範囲内の前記インターリーブされたビューの第１のビューと相対するビューとの間の視差の量を決定するステップと、前記決定された視差と各ビューの特性とに基づいて選択されるフィルタを用いて前記第１のビューにおける前記ピクセル位置でのピクセル値を達成するステップとを有する。前記ピクセル値を達成するステップは、例えば、ビュー間の前記決定された視差に基づいて選択されるハイポセシスを有するマルチハイポセシスフィルタによりフィルタリングを行うことを有してよい。少なくとも２つのビューは、例えば、３次元モーションピクチャの左チャネルビュー及び右チャネルビューを有してよい。前記ビューは、前記ビデオストリームにおける同じ場面に対応する２よりも多いビューを有してよい。前記選択されるフィルタは、補間フィルタ、前記決定された視差が視差閾値を上回る場合に、補間されるビューからのデータを用いるフィルタ（用いられるデータは、時間データ、例えば、補間されるビューからの時間データ有してよい。）、前記視差が視差閾値以下である場合、前記相対するビューからのデータを用いるフィルタ、前記視差が視差閾値以下である場合、前記相対するビューを用いるマルチハイポセシスフィルタ、高い視差範囲内の１つのフィルタ及び低い視差範囲内の異なるフィルタ（フィルタの一方又は両方は、動き補償時間方向フィルタ（Motion Compensated Temporal Filters）（ＭＣＴＦ）である。）、前記相対するビューを利用するマルチハイポセシスフィルタ（前記相対するビューの利用は、補間されるビューに対して利用するフィルタの決定の少なくとも一部に基づくこと、及び該相対するビューからの少なくとも１つのピクセルを含む加重平均のいずれか一方又は両方を有してよい。）、並びに複数の隣接するピクセルを考慮するフィルタの組を有する該マルチハイポセシスフィルタ（１又はそれ以上のハイポセシスは、前記隣接するピクセルに適用されるＦＩＲフィルタから得られてよい。）のいずれかを有してよい。ＦＩＲフィルタの使用自体は、多種多様な方法で具現されてよく、例えば、該ＦＩＲフィルタは、水平方向フィルタ、垂直方向フィルタ、水平方向若しくは水平方向以外の方向フィルタ、及び不可分フィルタのうちの１又はそれ以上を有し、あるいは、前記ＦＩＲフィルタは、変化するサポート長さを有することができる。前記マルチハイポセシスフィルタにおいて使用されるフィルタは、ウェーブレット、バンドレット、コンツアレット、及びインペインティングのうちのいずれか１つ又はそれ以上を有してよい。前記マルチハイポセシスフィルタは、相対するビューにおける共起ピクセルに基づく初期推測を有する反復型多段フィルタを更に有してよい。１つの代替案において、前記マルチハイポセシスフィルタは、動き適応方法及び動き補償方法のうちの少なくとも１つに基づいて時間補間によって決定される相対するビューにおける共起ピクセルに基づく初期推測を有する反復型多段フィルタを有する。

前記マルチハイポセシスフィルタは、更に、垂直方向フィルタリング、水平方向フィルタリング、時間方向フィルタリング、双一次又は双三次フィルタリング、最近接フィルタリング、水平方向及び垂直方向以外の少なくとも１つの方向フィルタリング、及び他のフィルタリングのうちの少なくとも２つを有するよう具現されてよい。前記マルチハイポセシスフィルタは、例えば、フィルタリングされる領域のエッジ分析に基づいて選択されたフィルタ、フィルタリングされる領域のテクスチャ又は相違及び動き分析のうちの１つに基づいて選択されたフィルタ、並びに、フィルタリングされる成分以外の色成分においてフィルタリングされる領域のエッジ、テクスチャ、又は動き分析に基づいて選択されたフィルタのいずれかを有するよう更に具現されてよい。

様々な実施形態において、前記フィルタのいずれも、例えば、前記データストリームにおけるビューのインターリーブ方式及び前記ビデオストリームに対して使用されるコーデックのうちの少なくとも１つによって引き起こされる欠陥に対処するよう特に設計されているピクセル近傍に対して動作する又は該ピクセル近傍を有する少なくとも１つのフィルタを有してよく、また、少なくとも１つのフィルタは、前段のフィルタリングにより利用可能となった隣接するピクセルを利用する。

前記視差の量を決定するステップは、例えば、マルチハイポセシスフィルタを実行し、該フィルタの結果を少なくとも部分的に前記相対するビューに基づく値と比較すること、インターリーバの特性に合わせられている水平、垂直又は２次元（可分若しくは不可分）バンドパスフィルタを実行すること、及び／又は、４×４ＤＣＴフィルタ、８×８ＤＣＴフィルタ、アダマールフィルタ、及び他のフィルタのうちの少なくとも１つを実行することのうちのいずれかを有してよい。

様々な実施形態において、フィルタ選択は、例えば、前記選択されるフィルタが視差の量に基づいて選択される場合に、第１のフィルタが第１のレベルの視差の決定に基づいて選択され、第２のフィルタが第２のレベルの視差の決定に基づいて選択され、以降、ｎ番目のフィルタが選択されるｎ番目のレベルの視差まで続くこと、前記フィルタが、前記ピクセル位置に対応する領域において、エッジ、テクスチャ及び動き等の局所的な画像特性に基づいて選択されること、前記フィルタが、前記ピクセル位置に対応する領域において、１よりも多い色成分のエッジ、テクスチャ及び動き等の局所的な画像特性に基づいて選択されること、前記選択されるフィルタが、現在のビューのインペインティング、ウェーブレット、コンツアレット、及びバンドレット・アップサンプリング技術のうちの少なくとも１つに基づく補間を有すること、前記選択されるフィルタが、現在のビューの近隣のピクセルの加重平均を有すること、前記選択されるフィルタが、現在のビューのピクセル少なくとも１つの時間近傍を用いること、前記選択されるフィルタが、前記相対するビューにおける近隣のピクセルを含む近隣のピクセルの加重平均を有すること、前記選択されるフィルタが、当該フィルタの結果と前記相対するビューにおけるサンプルとの比較に基づくこと（例えば、前記相対するビューにおける前記サンプルは、コロケート（co-located）されてよく、あるいは、前記ピクセル値とは異なる時間インスタンスからであってよい。）、並びに、前記選択されるフィルタが、前記第１のビューのピクセル位置に前記相対するビューにおけるサンプルをコピーするフィルタを有することのいずれかを有してよい。

いずれの実施形態も、ソフトウェア、ファームウェア、又は他のコンピュータ可読媒体で実現されてよく、方法は、プロセッサを有する装置におけるコンピュータ可読媒体に記憶されている命令の組において具現され、前記プロセッサにおいて前記記憶されている命令をロードし実行することで、プロセッサに当該方法のステップを実行させる。

一実施形態において、本発明は、画像データのフレームをアップコンバートする方法であって、アップコンバートされる前記フレームを２つの部分に分けるステップと、夫々の部分をアップサンプリングするステップと、アップサンプリングされたフレームを生成するよう前記アップサンプリングされた部分を結合するステップとを有する方法を有する。前記フレームを分けるステップは、該フレームをデインターリーブすることを有してよい。

一般的に、インターリーブされたフレームに用いられる場合、前記デインターリーブは、例えば、行ごと、列ごと、奇数か偶数か、及び前記フレームを更なる部分に分ける他のデインターリーブのうちの１つの使用を含むいずれかのステップを介して、実行されてよい。一実施形態において、前記デインターリーブは、チェッカーボード・デインターリーブを有する。一実施形態において、前記デインターリーブは、行ごとの後に列ごとを有する。

前記アップサンプリングするステップは、夫々の分けられた部分を元の解像度とは異なる解像度へとアップコンバートすること、夫々の分けられた部分を元の解像度の２倍の解像度へとアップコンバートすること、前記アップサンプリングするステップは、夫々の分けられた部分を元の解像度の４倍の解像度へとアップコンバートすることを有し、且つ／あるいは、長方形補間、可分フィルタ、エッジ適応補間、双一次補間、双三次補間、及び反復式多段補間のうちの少なくとも１つをサポートするフィルタ、及び／又は、動き適応フィルタ、ＭＣＴＦ、並びに、ウェーブレット、インペインティング、カーブレット、及びバンドレットのうちのいずれか１つ又はそれ以上に基づくフィルタのうちの少なくとも１つをサポートするフィルタのいずれか１つ又はそれ以上を有するフィルタを有してよい。一実施形態において、前記アップサンプリングするステップは、マルチハイポセシスフィルタを有する。該マルチハイポセシスフィルタは、様々なフィルタからのフィルタリングされた値を夫々のフィルタリングされた値の精度の推定に基づいて適応結合することを有してよい。

前記アップサンプリングされた部分を結合するステップは、例えば、対応するアップサンプリングされた値の加重平均、並びに、精度の推定に基づいて各部分からの補間値を適応結合すること（前記補間値の適応結合は、例えば、最も正確な補間器から得られる値の加重平均を有する。）のいずれかを有してよい。

前記精度の推定は、例えば、所与のフィールドの補間値と、対応する相対するフィールドの実際の値との間の差、並びに、所与のフィールドの補間値と、相対するフィールドのクラスタ化された最もありそうな値との間の差（前記差は、例えば、二乗和差、和絶対差、及び他の差分技術を有してよい。）のいずれかを有する。前記フィールドは、固定窓及びエッジ分析のうちの少なくとも１つにより決定されてよい。

一実施形態において、本発明は、ビューをデインターリーブするステップと、デジタル方式の全変動インペインティング技術により前記ビューをアップサンプリングするステップとを有し、前記インペインティング技術の初期推定は、前記デインターリーブされたビューの少なくとも１つから得られる初期推定と、繰り返しプロセスとを有する方法を有する。前記デインターリーブされたビューは、例えば、３次元画像の第１のビュー及び相対するビューを有してよい。前記繰り返しプロセスは、フィッティング制約に従う全変動方式の最小化を有する。前記最小化は、例えば、デジタル式全変動（ＴＶ）フィルタの適用によって実行されてよい。前記ＴＶフィルタは、例えば、ｕ^（０）のための初期推定から始まるｕ^（ｎ）＝Ｆ（ｕ^{（ｎ−１）}）を有してよい。前記初期推定は、例えば、前記ビューが以前にインターリーブされたフォーマットを考慮する推定を有してよい。代替的に、前記初期推定は、例えば、デインターリーブの前に前記ビューに対して利用されるコーデックを考慮する推定、少なくとも１つの時間的に隣接するピクセルを有する推定、少なくとも１つの共起ピクセルを有する推定（前記共起ピクセルは、例えば、同じビューの共起時間ピクセル、相対する又は代替のビューにおける共起ピクセル、及び相対する又は代替のビューにおける共起時間ピクセルのうちの少なくとも１つを有してよい。）、相対するビューの視差補償されたものにおける共起ピクセルを有する推定、相対するビューの視差補償されたものにおける少なくとも１つの時間的に隣接するピクセルを有する推定、現在のビュー及び相対するビューのうちの少なくとも１つにおけるピクセルの時間補間により得られるピクセルを有する推定、並びに、補間によって決定される初期推定のいずれかを有してよい。

一実施形態において、本発明は、ビデオストリームを受け取るよう構成される入力部と、前記ビデオストリームから左画像及び右画像を取り出し、該取り出された左画像及び右画像をコンテンツ適応補間に基づいてアップサンプリングするよう構成されるフレーム発生器とを有するディスプレイを有してよい。前記入力部は、例えば、ＨＤＭＩ入力部を有してよく、前記ビデオストリームは、ＨＤＭフォーマットのチェッカーボード・インターリーブ方式３次元画像ストリームを有してよい。

他の実施形態において、本発明は、画像の異なるビューをアップサンプリングするよう構成され、コンテンツ適応補間器を有する装置を有してよい。前記コンテンツ適応補間器は、例えば、ビューの１つの少なくとも一部についての補間プロセスを決定するために用いられる視差分析モジュールを有してよい。前記視差分析モジュールは、例えば、調整可能な複雑さを有してよく、前記ビューの１つの少なくも一部の空間的及び時間的に隣接する領域の少なくとも１つの視差推定は、前記視差分析モジュールの複雑さレベルを設定するために用いられる。前記コンテンツ適応補間器は、調整可能な複雑さを更に有してよく、前記ビューの１つの少なくも一部の空間的及び時間的に隣接する領域の少なくとも１つの視差推定は、前記コンテンツ適応補間器によって実行される補間の複雑さレベルを設定するために用いられる。本発明は、視差推定が視差閾値にある場合、上回る場合、又は下回る場合の判断の自由をさらに有してよく、例えば、視差閾値を上回る場合は、前記補間の複雑さレベルは、所定数Ｎのフレームについて高い複雑さに設定され、視差推定が１つの領域において高い視差閾値を上回る場合は、前記補間の複雑さレベルは、その領域並びに特定の近傍までの全ての空間的及び／又は時間的に隣接する領域ついて高い複雑さに設定され、視差推定が低い視差閾値を下回る場合は、前記補間の複雑さレベルは、所定数Ｍのフレームについて低い複雑に設定され、視差推定が１つの領域において低い視差閾値を下回る場合は、前記補間の複雑さレベルは、その領域並びに／又は特定の近傍までの空間的及び時間的に隣接する領域について低い複雑さに設定され、視差推定が１つの領域において特定の範囲内にある場合は、その領域並びに特定の近傍までの全ての空間的及び／又は時間的に隣接する領域についての前記補間の複雑さは、当該視差推定に対応するレベルに設定される。加えて、前記ビューの１つの少なくとも一部についての前記補間の複雑さは、然るべく高い又は低い視差推定に基づいて高いか又は低いかのいずれか一方に設定されてよく、前記ビューの１つの少なくとも一部についての前記補間の該設定された複雑さは、Ｎ個のフレーム部分の更なる視差推定なしに引き続き有効であってよい。

様々な実施形態において、異なるビューは、例えば、３次元画像の左ビュー及び右ビュー、同じ場面の異なるビュー、並びに、異なる場面のいずれかを有してよい。更に、前記コンテンツ適応補間器は、両方のビューの分析に基づいて前記画像の少なくとも１つのビューをアップサンプリングするために使用される補間方式を選択するよう構成される（前記両方のビューの分析は、例えば、視差分析（例えば、ビュー間の視差分析）を有してよい。）。前記視差分析は、例えば、フィルタ及び重み付けメカニズム、水平方向フィルタ、垂直方向フィルタ、対角フィルタ、及び前記ビューに対して使用される符号化技術によって引き起こされるパターンに反応するフィルタのうちの少なくとも１つ、前記ビュー間の動き補正分析及び動き推定分析のうちの少なくとも１つによる運動ベクトルのスケールの決定、並びに、同じパリティの以前に補間されたビューの考慮のいずれかを有してよい。前記ビュー間の視差が低い領域におけるサンプルは、例えば、相対するビューからのデータを用いて、アップサンプリングされてよい。

前記コンテンツ適応補間器は、例えば、第１のレベルの視差が起こる場合に、第１の補間プロセスが実行され、第２のレベルの視差が起こる場合に、第２の補間プロセスが実行され、以降、ｎ番目のレベルの視差及び対応するｎ番目の補間まで続くように、前記ビュー間の視差のレベルに基づいてｎ個の補間の中から１つを選択するように、又は補間されるピクセルの領域におけるビュー間の視差のレベルに基づいて変化する補間を開始するように構成されてよい。第１のレベルの視差は、低い視差領域を有してよく、前記第１の補間プロセスは、前記ビューにおける対応するピクセルをアップコンバートする簡単なフィルタリング技術を有してよく、漸進的により複雑なフィルタリング技術は、より高い視差の領域について使用される。

様々な実施形態において、前記コンテンツ適応補間器は、複数の段において繰り返し補間を行う構成を有してよい。前記補間器の後の方の段は、先の段で生成された補間データを使用してよい。前記コンテンツ適応補間器は、補間される画像の領域におけるエッジ分析に基づいて選択されるフィルタタイプを用いてよい。前記コンテンツ適応補間器は、例えば、補間されるピクセルの少なくとも１つの時間近傍を考慮してよい。利用される補間のタイプは、例えば、インペインティング、ウェーブレット、コンツアレット、及びバンドレット・アップサンプリングのうちの少なくとも１つを有してよい。

様々な実施形態において、実行される前記補間は、例えば、マルチハイポセシス補間を有してよく、フィルタリングされるピクセルに関する各ハイポセシスの結果は、該フィルタリングされるピクセルに対して使用されるフィルタ技術を決定するよう、相対するビューにおける共起ピクセルと比較される。各ハイポセシスの結果と前記共起ピクセルとの間の差は、第２の閾値と比較されてよく、複数のフィルタが閾値を下回る値を提供する場合は、前記閾値を下回るフィルタ結果の算術的な結合が前記補間ピクセルとして利用されてよい。前記算術的結合は、例えば、前記閾値を下回る全てのフィルタの平均及び重み平均値のうちの１つを有してよい。様々な実施形態において、次のいずれかが起こる。ハイポセシスの結果と前記共起ピクセルとの間の差がＴ１を下回る場合、前記共起ピクセルは前記補間ピクセルとしてコピーされる。あるいは、１よりも多いハイポセシスの結果と前記共起ピクセルとの間の差が第１の閾値Ｔ１と第２の閾値Ｔ２との間にある場合、Ｔ１とＴ２との間の最小差分値を有する結果が前記補間ピクセル値について用いられる。あるいは、１よりも多いハイポセシスの結果と前記共起ピクセルとの間の差がＴ２を上回る場合、デフォルト２次元フィルタが、補間されるビューのデータに対して適用される。

更なる他の実施形態において、本発明は、コンピュータ可読媒体及び該コンピュータ可読媒体に記憶されている命令の組を有し、前記命令の組は、コンピュータにロードされる場合に、該コンピュータに、３次元モーションピクチャのインターリーブされている左チャネルビュー及び右チャネルビューを含むデータストリームを受け取るステップと、ピクセル位置での又は該ピクセル位置に対応する領域での前記インターリーブされているビューの第１のビューと相対するビューとの間の視差の量を決定するステップと、前記決定された視差に基づいて選択されるフィルタを用いて前記第１のビューにおける前記ピクセル位置でのピクセル値を達成するステップとを実行させる。ここで記載されるいずれの方法又は処理も、コンピュータ可読媒体に記憶されているコンピュータ命令の組において具現されてよく、前記コンピュータ命令は、コンピュータにロードされる場合に、該コンピュータに前記方法のステップを実行させる。前記コンピュータ命令は、前記コンピュータ可読媒体に実行可能なプログラムとして記憶されるコンパイルされたコンピュータ命令であってよい。前記コンピュータ可読媒体は、例えば、ブルーレイ再生器の構成要素、及び３次元レディ・ディスプレイのコンポーネントのいずれかであってよい。

以下、本発明の例となる実施形態を列挙する。

（付記１）
少なくとも１つのビデオストリームのインターリーブされたビューを含むデータストリームを受け取るステップと、
ピクセル位置での又は該ピクセル位置に対応する範囲内の前記インターリーブされたビューの第１のビューと相対するビューとの間の視差の量を決定するステップと、
前記決定された視差と各ビューの特性とに基づいて選択されるフィルタを用いて前記第１のビューにおける前記ピクセル位置でのピクセル値を達成するステップと
を有する方法。

（付記２）
前記ピクセル値を達成するステップは、ビュー間の前記決定された視差に基づいて選択されるハイポセシスを有するマルチハイポセシスフィルタによりフィルタリングを行うことを含む、
付記１に記載の方法。

（付記３）
少なくとも２つのビューは、３次元モーションピクチャの左チャネルビュー及び右チャネルビューを有する、
付記１に記載の方法。

（付記４）
前記ビューは、前記ビデオストリームにおける同じ場面に対応する２よりも多いビューを有する、
付記１に記載の方法。

（付記５）
前記フィルタは、補間フィルタを有する、
付記１に記載の方法。

（付記６）
前記選択されるフィルタは、前記決定された視差が視差閾値を上回る場合に、補間されるビューからのデータのみを用いる、
付記１に記載の方法。

（付記７）
前記データは、前記補間されるビューからの時間データを有する、
付記６に記載の方法。

（付記８）
前記選択されるフィルタは、前記視差が視差閾値以下である場合、前記相対するビューからのデータも用いる、
付記１に記載の方法。

（付記９）
前記選択されるフィルタは、前記視差が視差閾値以下である場合、前記相対するビューを用いるマルチハイポセシスフィルタを有する、
付記１に記載の方法。

（付記１０）
前記選択されるフィルタは、高い視差範囲内の１つのフィルタを有し、且つ、前記選択されるフィルタは、低い視差範囲内の異なるフィルタを有する、
付記１に記載の方法。

（付記１１）
前記１つのフィルタ及び前記異なるフィルタの一方又は両方は、動き補償時間方向フィルタ（ＭＣＴＦ）である、
付記１０に記載の方法。

（付記１２）
低い視差におけるフィルタは、前記相対するビューを利用するマルチハイポセシスフィルタを有する、
付記１０に記載の方法。

（付記１３）
前記相対するビューの利用は、補間されるビューに対して利用するフィルタの決定の少なくとも一部に基づくことを含む、
付記１２に記載の方法。

（付記１４）
前記相対するビューの利用は、該相対するビューからの少なくとも１つのピクセルを含む加重平均を含む、
付記１２に記載の方法。

（付記１５）
前記マルチハイポセシスフィルタは、複数の隣接するピクセルを考慮するフィルタの組を有する、
付記１２に記載の方法。

（付記１６）
１又はそれ以上のハイポセシスは、前記隣接するピクセルに適用されるＦＩＲフィルタから得られる、
付記１５に記載の方法。

（付記１７）
前記ＦＩＲフィルタは、水平方向フィルタ、垂直方向フィルタ、水平方向若しくは水平方向以外の方向フィルタ、及び不可分フィルタのうちの１又はそれ以上を有する、
付記１６に記載の方法。

（付記１８）
前記ＦＩＲフィルタは、変化するサポート長さを有してよい、
付記１７に記載の方法。

（付記１９）
前記マルチハイポセシスフィルタは、ウェーブレット、バンドレット、コンツアレット、及びインペインティングのうちの少なくとも１つに基づくハイポセシスを有する、
付記１２に記載の方法。

（付記２０）
前記マルチハイポセシスフィルタは、相対するビューにおける共起ピクセルに基づく初期推測を有する反復型多段フィルタを有する、
付記１２に記載の方法。

（付記２１）
前記マルチハイポセシスフィルタは、動き適応方法及び動き補償方法のうちの少なくとも１つに基づいて時間補間によって決定される相対するビューにおける共起ピクセルに基づく初期推測を有する反復型多段フィルタを有する、
付記１２に記載の方法。

（付記２２）
前記マルチハイポセシスフィルタは、垂直方向フィルタリング、水平方向フィルタリング、時間方向フィルタリング、双一次又は双三次フィルタリング、最近接フィルタリング、水平方向及び垂直方向以外の少なくとも１つの方向フィルタリング、及び他のフィルタリングのうちの少なくとも２つを有する、
付記１２に記載の方法。

（付記２３）
前記マルチハイポセシスフィルタは、フィルタリングされる領域のエッジ分析に基づいて選択されたフィルタを有する、
付記１２に記載の方法。

（付記２４）
前記マルチハイポセシスフィルタは、フィルタリングされる領域のテクスチャ又は相違及び動き分析のうちの１つに基づいて選択されたフィルタを有する、
付記１２に記載の方法。

（付記２５）
前記マルチハイポセシスフィルタは、フィルタリングされる成分以外の色成分においてフィルタリングされる領域のエッジ、テクスチャ、又は動き分析に基づいて選択されたフィルタを有する、
付記１２に記載の方法。

（付記２６）
少なくとも１つのフィルタは、前記データストリームにおけるビューのインターリーブ方式及び前記ビデオストリームに対して使用されるコーデックのうちの少なくとも１つによって引き起こされる欠陥に対処するよう特に設計されているピクセル近傍を有する、
付記１２に記載の方法。

（付記２７）
少なくとも１つのフィルタは、前段のフィルタリングにより利用可能となった隣接するピクセルを利用する、
付記１２に記載の方法。

（付記２８）
前記視差の量を決定するステップは、マルチハイポセシスフィルタを実行し、該フィルタの結果を少なくとも部分的に前記相対するビューに基づく値と比較することを含む、
付記１に記載の方法。

（付記２９）
前記視差の量を決定するステップは、インターリーバの特性に合わせられている水平、垂直又は２次元（可分若しくは不可分）バンドパスフィルタを実行することを含む、
付記１に記載の方法。

（付記３０）
前記視差の量を決定するステップは、４×４ＤＣＴフィルタ、８×８ＤＣＴフィルタ、アダマールフィルタ、及び他のフィルタのうちの少なくとも１つを実行することを含む、
付記１に記載の方法。

（付記３１）
前記選択されるフィルタは、フィルタの組から選択される、
付記２８に記載の方法。

（付記３２）
前記選択されるフィルタは、視差の量に基づいて選択され、第１のフィルタは、第１のレベルの視差の決定に基づいて選択され、第２のフィルタは、第２のレベルの視差の決定に基づいて選択され、以降、ｎ番目のフィルタが選択されるｎ番目のレベルの視差まで続く、
付記３１に記載の方法。

（付記３３）
前記フィルタは、前記ピクセル位置に対応する領域において、エッジ、テクスチャ及び動き等の局所的な画像特性に基づいて選択される、
付記１に記載の方法。

（付記３４）
前記フィルタは、前記ピクセル位置に対応する領域において、１よりも多い色成分のエッジ、テクスチャ及び動き等の局所的な画像特性に基づいて選択される、
付記１に記載の方法。

（付記３５）
前記選択されるフィルタは、現在のビューのインペインティング、ウェーブレット、コンツアレット、及びバンドレット・アップサンプリング技術のうちの少なくとも１つに基づく補間を有する、
付記１に記載の方法。

（付記３６）
前記選択されるフィルタは、現在のビューの近隣のピクセルの加重平均を有する、
付記１に記載の方法。

（付記３７）
前記選択されるフィルタは、現在のビューのピクセル少なくとも１つの時間近傍を用いる、
付記１に記載の方法。

（付記３８）
前記選択されるフィルタは、前記相対するビューにおける近隣のピクセルを含む近隣のピクセルの加重平均を有する、
付記１に記載の方法。

（付記３９）
前記選択されるフィルタは、当該フィルタの結果と前記相対するビューにおけるサンプルとの比較に基づく、
付記１に記載の方法。

（付記４０）
前記相対するビューにおける前記サンプルは、コロケートされる、
付記３９に記載の方法。

（付記４１）
前記相対するビューにおける前記サンプルは、前記ピクセル値とは異なる時間インスタンスからである、
付記３９に記載の方法。

（付記４２）
前記選択されるフィルタは、前記第１のビューのピクセル位置に前記相対するビューにおけるサンプルをコピーするフィルタを有する、
付記１に記載の方法。

（付記４３）
プロセッサを有する装置におけるコンピュータ可読媒体に記憶されている命令の組において具現され、前記プロセッサにおいて前記記憶されている命令をロードし実行することで、プロセッサに当該方法のステップを実行させる、
付記１乃至４２のうちいずれか１つに記載の方法。

（付記４４）
プロセッサと、自身に記憶されている命令を有するコンピュータ可読媒体とを有し、前記命令は、前記プロセッサにロードされる場合に、該プロセッサに付記１に記載の方法のステップを実行させる、装置。

（付記４５）
チェッカーボード・インターリーブ方式の３次元ビデオデータの入力をサポートするよう構成される３次元レディ・ディスプレイを有する、
付記４４に記載の装置。

（付記４６）
画像データのフレームをアップコンバートする方法であって、
アップコンバートされる前記フレームを２つの部分に分けるステップと、
夫々の部分をアップサンプリングするステップと、
アップサンプリングされたフレームを生成するよう前記アップサンプリングされた部分を結合するステップと
を有する方法。

（付記４７）
前記フレームを分けるステップは、該フレームをデインターリーブすることを含む、
付記４６に記載の方法。

（付記４８）
前記デインターリーブは、行ごと、列ごと、奇数か偶数か、及び前記フレームを更なる部分に分ける他のデインターリーブのうちの１つを用いて実行される、
付記４７に記載の方法。

（付記４９）
前記デインターリーブは、チェッカーボード・デインターリーブを有する、
付記４７に記載の方法。

（付記５０）
前記デインターリーブは、行ごとの後に列ごとを有する、
付記４７に記載の方法。

（付記５１）
前記アップサンプリングするステップは、夫々の分けられた部分を元の解像度とは異なる解像度へとアップコンバートすることを含む、
付記４６に記載の方法。

（付記５２）
前記アップサンプリングするステップは、夫々の分けられた部分を元の解像度の２倍の解像度へとアップコンバートすることを含む、
付記４６に記載の方法。

（付記５３）
前記アップサンプリングするステップは、夫々の分けられた部分を元の解像度の４倍の解像度へとアップコンバートすることを含む、
付記４６に記載の方法。

（付記５４）
前記アップサンプリングするステップは、長方形補間、可分フィルタ、エッジ適応補間、双一次補間、双三次補間、及び反復式多段補間のうちの少なくとも１つをサポートするフィルタを有する、
付記４６に記載の方法。

（付記５５）
前記アップサンプリングするステップは、マルチハイポセシスフィルタを有する、
付記４６に記載の方法。

（付記５６）
前記マルチハイポセシスフィルタは、様々なフィルタからのフィルタリングされた値を夫々のフィルタリングされた値の精度の推定に基づいて適応して結合することを含む、
付記５５に記載の方法。

（付記５７）
前記アップサンプリングするステップは、動き適応フィルタ、ＭＣＴＦ、並びに、ウェーブレット、インペインティング、カーブレット、及びバンドレットのうちのいずれか１つ又はそれ以上に基づくフィルタのうちの少なくとも１つをサポートするフィルタを有する、
付記４６に記載の方法。

（付記５８）
前記アップサンプリングされた部分を結合するステップは、対応するアップサンプリングされた値の加重平均を有する、
付記４６に記載の方法。

（付記５９）
前記アップサンプリングされた部分を結合するステップは、精度の推定に基づいて各部分からの補間値を適応して結合することを含む、
付記４６に記載の方法。

（付記６０）
前記精度の推定は、所与のフィールドの補間値と、対応する相対するフィールドの実際の値との間の差を有する、
付記５９に記載の方法。

（付記６１）
前記精度の推定は、所与のフィールドの補間値と、相対するフィールドのクラスタ化された最もありそうな値との間の差を有する、
付記５９に記載の方法。

（付記６２）
前記補間値の適応結合は、最も正確な補間器から得られる値の加重平均を有する、
付記５９乃至６１のうちいずれか１つに記載の方法。

（付記６３）
前記差は、二乗和差、和絶対差、及び他の差分技術を有する、
付記６０に記載の方法。

（付記６４）
前記フィールドは、固定窓及びエッジ分析のうちの少なくとも１つにより決定される、
付記６０に記載の方法。

（付記６５）
ビューをデインターリーブするステップと、
デジタル方式の全変動インペインティング技術により前記ビューをアップサンプリングするステップと
を有し、
前記インペインティング技術の初期推定は、前記デインターリーブされたビューの少なくとも１つから得られる初期推定と、繰り返しプロセスとを有する、
方法。

（付記６６）
前記デインターリーブされたビューは、３次元画像の第１のビュー及び相対するビューを有する、
付記６５に記載の方法。

（付記６７）
前記繰り返しプロセスは、フィッティング制約に従う全変動方式の最小化を有する、
付記６５に記載の方法。

（付記６８）
前記最小化は、デジタル式全変動（ＴＶ）フィルタの適用によって実行される、
付記６７に記載の方法。

（付記６９）
前記ＴＶフィルタは、
ｕ^（０）のための初期推定から始まるｕ^（ｎ）＝Ｆ（ｕ^{（ｎ−１）}）
を有する、
付記６８に記載の方法。

（付記７０）
前記初期推定は、前記ビューが以前にインターリーブされたフォーマットを考慮する、
付記６５に記載の方法。

（付記７１）
前記初期推定は、デインターリーブの前に前記ビューに対して利用されるコーデックを考慮する、
付記６５に記載の方法。

（付記７２）
前記初期推定は、少なくとも１つの時間的に隣接するピクセルを有する、
付記６５に記載の方法。

（付記７３）
前記初期推定は、少なくとも１つの共起ピクセルを有する、
付記６５に記載の方法。

（付記７４）
前記共起ピクセルは、同じビューの共起時間ピクセル、相対する又は代替のビューにおける共起ピクセル、及び相対する又は代替のビューにおける共起時間ピクセルのうちの少なくとも１つを有する、
付記７３に記載の方法。

（付記７５）
前記初期推定は、相対するビューの視差補償されたものにおける共起ピクセルを有する、
付記６５に記載の方法。

（付記７６）
前記初期推定は、相対するビューの視差補償されたものにおける少なくとも１つの時間的に隣接するピクセルを有する、
付記６５に記載の方法。

（付記７７）
前記初期推定は、現在のビュー及び相対するビューのうちの少なくとも１つにおけるピクセルの時間補間により得られるピクセルを有する、
付記６５に記載の方法。

（付記７８）
前記初期推定を決定するよう補間を行うステップを更に有する、
付記６５に記載の方法。

（付記７９）
ビデオストリームを受け取るよう構成される入力部と、
前記ビデオストリームから左画像及び右画像を取り出し、該取り出された左画像及び右画像をコンテンツ適応補間に基づいてアップサンプリングするよう構成されるフレーム発生器と
を有するディスプレイ。

（付記８０）
前記入力部は、ＨＤＭＩ入力部を有し、前記ビデオストリームは、ＨＤＭフォーマットのチェッカーボード・インターリーブ方式３次元画像ストリームを有する、
付記７９に記載のディスプレイ。

（付記８１）
画像の異なるビューをアップサンプリングするよう構成され、コンテンツ適応補間器を有する装置。

（付記８２）
前記コンテンツ適応補間器は、ビューの１つの少なくとも一部についての補間プロセスを決定するために用いられる視差分析モジュールを有する、
付記８１に記載の装置。

（付記８３）
前記視差分析モジュールは、調整可能な複雑さを有し、前記ビューの１つの少なくも一部の空間的及び時間的に隣接する領域の少なくとも１つの視差推定は、前記視差分析モジュールの複雑さレベルを設定するために用いられる、
付記８２に記載の装置。

（付記８４）
前記コンテンツ適応補間器は、調整可能な複雑さを有し、前記ビューの１つの少なくも一部の空間的及び時間的に隣接する領域の少なくとも１つの視差推定は、前記コンテンツ適応補間器によって実行される補間の複雑さレベルを設定するために用いられる、
付記８２に記載の装置。

（付記８５）
視差推定が視差閾値を上回る場合、前記補間の複雑さレベルは、所定数Ｎのフレームについて高い複雑さに設定される、
付記８４に記載の装置。

（付記８６）
視差推定が１つの領域において高い視差閾値を上回る場合、前記補間の複雑さレベルは、その領域並びに特定の近傍までの全ての空間的及び／又は時間的に隣接する領域ついて高い複雑さに設定される、
付記８４に記載の装置。

（付記８７）
視差推定が低い視差閾値を下回る場合、前記補間の複雑さレベルは、所定数Ｍのフレームについて低い複雑に設定される、
付記８４に記載の装置。

（付記８８）
視差推定が１つの領域において低い視差閾値を下回る場合、前記補間の複雑さレベルは、その領域並びに／又は特定の近傍までの空間的及び時間的に隣接する領域について低い複雑さに設定される、
付記８４に記載の装置。

（付記８９）
視差推定が１つの領域において特定の範囲内にある場合、その領域並びに特定の近傍までの全ての空間的及び／又は時間的に隣接する領域についての前記補間の複雑さは、当該視差推定に対応するレベルに設定される、
付記８４に記載の装置。

（付記９０）
前記ビューの１つの少なくとも一部についての前記補間の複雑さは、然るべく高い又は低い視差推定に基づいて高いか又は低いかのいずれか一方に設定され、前記ビューの１つの少なくとも一部についての前記補間の該設定された複雑さは、Ｎ個のフレーム部分の更なる視差推定なしに引き続き有効である、
付記８４に記載の装置。

（付記９１）
異なるビューは、３次元画像の左ビュー及び右ビューを有する、
付記７９に記載の装置。

（付記９２）
異なるビューは、同じ場面の異なるビューを有する、
付記７９に記載の装置。

（付記９３）
異なるビューは、異なる場面を有する、
付記７９に記載の装置。

（付記９４）
前記コンテンツ適応補間器は、両方のビューの分析に基づいて前記画像の少なくとも１つのビューをアップサンプリングするために使用される補間方式を選択するよう構成される、
付記７９に記載の装置。

（付記９５）
前記両方のビューの分析は、視差分析を有する、
付記９４に記載の装置。

（付記９６）
前記ビュー間の視差が低い領域におけるサンプルは、相対するビューからのデータを用いてアップサンプリングされる、
付記９５に記載の装置。

（付記９７）
前記視差分析は、フィルタ及び重み付けメカニズムを有する、
付記９５に記載の装置。

（付記９８）
前記視差分析は、水平方向フィルタ、垂直方向フィルタ、対角フィルタ、及び前記ビューに対して使用される符号化技術によって引き起こされるパターンに反応するフィルタのうちの少なくとも１つを有する、
付記９５に記載の装置。

（付記９９）
前記視差分析は、前記ビュー間の動き補正分析及び動き推定分析のうちの少なくとも１つによる運動ベクトルのスケールの決定を有する、
付記９５に記載の装置。

（付記１００）
前記コンテンツ適応補間器は、第１のレベルの視差が起こる場合に、第１の補間プロセスが実行され、第２のレベルの視差が起こる場合に、第２の補間プロセスが実行され、以降、ｎ番目のレベルの視差及び対応するｎ番目の補間まで続くように、前記ビュー間の視差のレベルに基づいてｎ個の補間の中から１つを選択する、
付記８１に記載の装置。

（付記１０１）
前記コンテンツ適応補間器は、補間されるピクセルの領域におけるビュー間の視差のレベルに基づいて変化する補間を開始する、
付記８１に記載の装置。

（付記１０２）
第１のレベルの視差は、低い視差領域を有し、前記第１の補間プロセスは、前記ビューにおける対応するピクセルをアップコンバートする簡単なフィルタリング技術を有し、漸進的により複雑なフィルタリング技術は、より高い視差の領域について使用される、
付記１００に記載の装置。

（付記１０３）
前記視差分析は、同じパリティの以前に補間されたビューを考慮する、
付記９５に記載の装置。

（付記１０４）
両方のビューの分析は、マルチハイポセシス分析を有する、
付記８１に記載の装置。

（付記１０５）
前記コンテンツ適応補間器は、複数の段において繰り返し補間を行う、
付記８１に記載の装置。

（付記１０６）
後の段は、先の段で生成された補間データを使用する、
付記１０５に記載の装置。

（付記１０７）
前記コンテンツ適応補間器は、補間される画像の領域におけるエッジ分析に基づいて選択されるフィルタタイプを用いる、
付記８１に記載の装置。

（付記１０８）
前記コンテンツ適応補間器は、補間されるピクセルの少なくとも１つの時間近傍を考慮する、
付記８１に記載の装置。

（付記１０９）
利用される補間タイプは、インペインティング、ウェーブレット、コンツアレット、及びバンドレット・アップサンプリングのうちの少なくとも１つを含む、
付記８１に記載の装置。

（付記１１０）
前記補間は、マルチハイポセシス補間を有し、フィルタリングされるピクセルに関する各ハイポセシスの結果は、該フィルタリングされるピクセルに対して使用されるフィルタ技術を決定するよう、相対するビューにおける共起ピクセルと比較される、
付記８１に記載の装置。

（付記１１１）
各ハイポセシスの結果と前記共起ピクセルとの間の差は、第２の閾値と比較され、複数のフィルタが閾値を下回る値を提供する場合は、前記閾値を下回るフィルタ結果の算術的な結合が前記補間ピクセルとして利用される、
付記１１０に記載の装置。

（付記１１２）
前記算術的結合は、前記閾値を下回る全てのフィルタの平均及び重み平均値のうちの１つを有する、
付記１１１に記載の装置。

（付記１１３）
ハイポセシスの結果と前記共起ピクセルとの間の差がＴ１を下回る場合、前記共起ピクセルは前記補間ピクセルとしてコピーされる、
付記１１０に記載の装置。

（付記１１４）
１よりも多いハイポセシスの結果と前記共起ピクセルとの間の差が第１の閾値Ｔ１と第２の閾値Ｔ２との間にある場合、Ｔ１とＴ２との間の最小差分値を有する結果が前記補間ピクセル値について用いられる、
付記１１０に記載の装置。

（付記１１５）
１よりも多いハイポセシスの結果と前記共起ピクセルとの間の差がＴ２を上回る場合、デフォルト２次元フィルタが、補間されるビューのデータに対して適用される、
付記１１０に記載の装置。

（付記１１６）
コンピュータにロードされる場合に、該コンピュータに、
３次元モーションピクチャのインターリーブされている左チャネルビュー及び右チャネルビューを含むデータストリームを受け取るステップと、
ピクセル位置での又は該ピクセル位置に対応する領域での前記インターリーブされているビューの第１のビューと相対するビューとの間の視差の量を決定するステップと、
前記決定された視差に基づいて選択されるフィルタを用いて前記第１のビューにおける前記ピクセル位置でのピクセル値を達成するステップと
を実行させる命令の組を記憶しているコンピュータ可読媒体。

（付記１１７）
コンピュータ可読媒体に記憶されているコンピュータ命令の組において具現され、該コンピュータ命令は、コンピュータにロードされる場合に、該コンピュータに付記１１６に記載の方法を実行させる、方法。

（付記１１８）
前記コンピュータ命令は、前記コンピュータ可読媒体に実行可能なプログラムとして記憶されるコンパイルされたコンピュータ命令である、
付記１１７に記載の方法。

（付記１１９）
ブルーレイ再生器の構成要素である、
付記１１６に記載のコンピュータ可読媒体。

（付記１２０）
３次元レディ・ディスプレイのコンポーネントである、
付記１１６に記載のコンピュータ可読媒体。

本発明は、本発明及びその均等の要素又は特徴のいずれかを適切に有し、それらから成り、あるいは、原則的にそれらから成ってよい。更に、本願で例示的に開示されている本発明は、ここで具体的に開示されていようとなかろうと、いずれかの要素がない状態で実施されてよい。明らかに、本発明の多数の変形及び改良が上記記載に鑑みて可能である。従って、当然に、添付の特許請求の範囲の適用範囲内で、本発明は、ここで具体的に記載されているのとは別なふうに実施されてよい。

［関連出願の相互参照］
本願は、２００８年１２月２５日に出願された米国特許仮出願第６１／１４０８８６号明細書に基づく優先権を主張するものである。この基礎出願は、参照により本願に援用される。

Claims

３次元ビデオストリームのインターリーブされた左チャネルビュー及び右チャネルビューを含むデータストリームを受け取るステップと、
前記左チャネルビュー及び前記右チャネルビューを取り出すよう前記３次元ビデオストリームに対しデインターリービングを行うステップと、
前記左チャネルビュー及び前記右チャネルビューをアップサンプリングするステップと
を有し、
前記アップサンプリングを行うステップは、
ピクセル位置での又は該ピクセル位置に対応する範囲内の前記左チャネルビュー及び前記右チャネルビューの間の視差の量を決定するステップと、
前記左チャネルビュー及び前記右チャネルビューの一方において前記ピクセル位置で欠けているピクセル値を補間するようフィルタの組から少なくとも１つのフィルタを選択するステップと
を有し、
前記少なくとも１つのフィルタは、
前記決定された視差が視差閾値以下である場合、前記少なくとも１つの選択されたフィルタが、前記左チャネルビュー及び前記右チャネルビューの他方のデータ又は両方のビューのデータから前記欠けているピクセル値を補間し、
前記決定された視差が前記視差閾値を上回る場合、前記少なくとも１つの選択されたフィルタが、補間されるべきビューのデータから前記欠けているピクセル値を補間する
ように、少なくとも前記決定された視差に基づいて選択される、方法。
前記決定された視差が前記視差閾値以下である場合、前記少なくとも１つの選択されたフィルタは、前記他方のビューのデータからのみ前記欠けているピクセル値を補間する、
請求項１に記載の方法。
前記データは、補間されるべきビューからの時間データを有する、
請求項１に記載の方法。
前記選択されるフィルタの１又はそれ以上は、動き補償時間方向フィルタ（ＭＣＴＦ）である、
請求項１に記載の方法。
前記フィルタの組は、複数の隣接するピクセルを考慮するフィルタを有する、
請求項１に記載の方法。
前記決定された視差が前記視差閾値以下である場合に選択される前記少なくとも１つのフィルタは、前記隣接するピクセルに適用されるＦＩＲフィルタである、
請求項５に記載の方法。
前記決定された視差が前記視差閾値以下である場合に選択される前記少なくとも１つのフィルタは、動き適応方法及び動き補償方法のうちの少なくとも１つに基づいて時間補間によって決定される前記他方のビューにおける共起ピクセルに基づく初期推測を有する反復型多段フィルタである、
請求項１に記載の方法。
前記少なくとも１つのフィルタは、前記データストリームにおけるビューのインターリーブ方式及び前記ビデオストリームに対して使用されるコーデックのうちの少なくとも１つによって引き起こされる欠陥に対処するよう特に設計されているピクセル近傍を有する、
請求項１に記載の方法。
画像の異なるビューをアップサンプリングするよう構成され、コンテンツ適応補間器を有する装置であって、
前記コンテンツ適応補間器は、前記画像の第１のビュー及び第２のビューの分析に基づいて前記画像の少なくとも前記第１のビューをアップサンプリングするために用いられる少なくとも１つの補間方式を選択するよう構成され、
前記コンテンツ適応補間器は、ピクセル位置での又は該ピクセル位置に対応する範囲内の前記第１のビューと前記第２のビューとの間の決定される視差の量に少なくとも基づいて、前記ピクセル位置で欠けているピクセル値を補間するための複数の異なった補間方式を決定するために用いられる視差分析モジュールを有し、それにより、
前記決定された視差が前記視差閾値以下である場合、前記コンテンツ適応補間器は、前記第１のビュー及び前記第２のビューの両方のデータから又は前記第２のビューからのデータから前記第１のビューにおいて前記欠けているピクセル値を補間する補間方式を決定し、
前記決定された視差が前記視差閾値を上回る場合、前記コンテンツ適応補間器は、前記第１のビューのデータから前記第１のビューにおいて前記欠けているピクセル値を補間する補間方式を決定する、装置。
請求項１乃至８のうちいずれか一項に記載の方法を実行するよう構成される装置。