JP5722349B2 - ブロックに基づくインターリーブ - Google Patents

Description

本発明は、画像圧縮に関する実現に関する。様々な特定の実現は、インターリーブされた画像の圧縮に関し、インターリーブされた画像は、オーバラップするコンテンツを有する画像から形成される。
本出願は、引用により本明細書に完全な形で盛り込まれる2010年1月29日に提出された、“Macroblock
interleaving for improved 3D compression”と題された米国特許仮出願第61/337,060の出願日の利益を請求するものである。

立体画像及び多視点画像を含めて、画像を圧縮する様々な技術が知られている。AVCは、既存のISO/IEC（International Organization for Standardization /International
Electrotechnical Commission）MPEG-4（Moving Picture Experts Group-4）Part 10 AVC（Advanced Video Coding）規格／ITU-T（International Telecommunication Union, Telecommunication Sector）H.264勧告（以下「H.264/MPEG-4 AVC規格」、又は「AVC規格」「H.264規格」又はシンプルに「AVC」又は「H.264」のようなその変形と呼ぶ）を示し、係る画像を個々に圧縮するために使用される。“Ｉ”フレームは、イントラ符号化技術を使用してAVCにおいて典型的に圧縮される。

一般的な態様によれば、複数のブロックを含む第一の画像がアクセスされる。第一の画像の複数のブロックは、第一の画像のブロックを含む。複数のブロックを含む第二の画像がアクセスされる。第二の画像の複数のブロックは、第一の画像のブロックとオーバラップするコンテンツする有する第二の画像のブロックを含む。第一の画像の複数のブロックと第二の画像の複数のブロックは、インターリーブされた画像を形成するために、ブロック毎にインターリーブされる。インターリーブされた画像の少なくとも１部は、参照としての第二の画像のブロックを使用して第一の画像のブロックを符号化することで符号化される。符号化された第一の画像のブロックは、送信又は記憶のために提供される。

別の一般的な態様によれば、ビデオ信号又はビデオ信号構造は、符号化のための１以上のピクチャ部分を含む。符号化は、第一の画像の複数のブロックのブロック及び第二の画像の複数のブロックに基づくインターリーブの符号化である。第一の画像の複数のブロックは、第一の画像のブロックを含み、第二の画像の複数のブロックは、第一の画像のブロックとオーバラップするコンテンツを有する第二の画像のブロックを含む。第一の画像のブロックの符号化は、参照として第二の画像のブロックを使用する。

別の一般的な態様によれば、符号化された画像がアクセスされる。符号化された画像は、第一の画像の複数のブロック及び第二の画像の複数のブロックのブロックに基づくインターリーブの符号化である。第一の画像の複数のブロックは第一の画像のブロックを含み、第二の画像の複数のブロックは、第一の画像のブロックとオーバラップするコンテンツを有する第二の画像のブロックを含む。符号化された画像の一部が復号化される。復号化された画像の一部は、参照として第二の画像のブロックを使用して第一の画像のブロックを符号化する。復号化された部分は、処理又は表示のために提供される。

１以上の実現の詳細は、以下の添付図面及び説明において述べられる。１つの特定のやり方で記載されたとしても、実現は様々なやり方で構成又は実施される場合があることは明らかである。例えば、実現は、方法として実行されるか、例えば動作のセットを実行するように構成される装置又は動作のセットを実行する命令を記憶する装置のような装置として実施されるか、或いは信号で実施される場合がある。他の態様又は特徴は、添付図面及び特許請求の範囲と共に考慮される以下の詳細な説明から明らかとなる。

１以上の実現と共に使用される画像を符号化及び復号化するシステム及び方法を示すブロック／フローダイアグラムである。 １以上の実現と共に使用される隣接ブロックの例を示すブロック図である。 １以上の実現と共に使用される隣接する参照ブロックの例を示すブロック図である。 １以上の実現と共に使用される垂直インターリーブ及び水平インターリーブの例を示すブロック／フローダイアグラムである。 １以上の実現と共に使用される符号化方法の例を示すフローダイアグラムである。 １以上の実現と共に使用される復号化方法の例を示すフローダイアグラムである。 １以上の実現と共に使用される符号化システムの例を示すブロック／フローダイアグラムである。 １以上の実現と共に使用される復号化システムの例を示すブロック／フローダイアグラムである。 １以上の実現と共に使用されるビデオ送信システムの例を示すブロック／フローダイアグラムである。 １以上の実現と共に使用されるビデオ受信システムの例を示すブロック／フローダイアグラムである。

本出願で記載される少なくとも１つの実現は、単一の画像のマージされる立体画像のペアを圧縮する効率を改善する。この実現は、H.264圧縮アルゴリズムがイントラブロック予測を良好に利用するのを可能にするやり方で立体画像のペアを並べ替える。立体画像のペアの左のビュー及び右のビューは、マクロブロックレベルでインターリーブされる。左のビューのピクチャと右のビューのピクチャの配置は、イントラ予測効率対典型的な水平又は垂直分割スクリーンの配置を典型的に改善する。

ブロックに基づく圧縮アルゴリズム（例えばMPEG2，MPEG4）では、本発明者は、圧縮されたストリームに割り当てられる全体のビットバジェットの不均衡なパーセンテージがＩピクチャの圧縮に費やされることを判定している。なお、Ｉピクチャは、参照画像として使用されることがある。近いうちに、ブロードキャスト３Ｄビデオは、左／右の立体画像のペアを伝送するために、分割スクリーンのアプローチを頼りにする可能性がある。典型的な配置は、左及び右のピクチャであり、それぞれ半分だけ水平方向にサブサンプルされ、単一のフルサイズの複合の左＋右ピクチャを形成するために連結される。

水平方向のサブサンプリング及び垂直方向のサブサンプリングは、現在の世代の半解像度の３Ｄデコーダにおいて共に使用される。典型的に、水平方向のサブサンプリングは、1920×1080ソースマテリアルについて使用され、垂直方向のサブサンプリングは、1280×720ソースマテリアルについて使用される。

これらサブサンプリングのアプローチの利点は、複合ピクチャは、左及び右の画像の分離に関与する表示装置をもつ旧式の装置によりエンコード及びデコードすることができる。圧縮アルゴリズムがこの冗長度を良好に利用するのを可能にするやり方で左の画像と右の画像を配列し直すことで、結果として得られる圧縮された画像ストリームは、符号化されたＩ（又は参照）ピクチャの圧縮効率を増加しつつ、旧式のエンコード／デコードツールとの互換性が依然として大いに保たれる。

先のアプローチは、ＭＶＣ（多視点符号化）に対する代替として使用することができる。代替ではあるが、先のアプローチ及びＭＶＣは、２つのアプローチが異なる結果を生成する場合がある点で必ずしも等価ではない。ＭＶＣは、具体的にはＡＶＣ規格の多視点映像符号化（ＭＶＣ）拡張（Annex H）を示し、H.264/MPEG-4 AVC, MVC拡張（「MVC拡張」又はシンプルに「MVC」）と呼ばれる。MVCは、例えば立体画像のペアにおける左のビューと右のビューとの間の冗長度を利用するために開発されたH.264/MPEG-4 AVC規格の拡張である、非後方互換圧縮アルゴリズムである。

図１を参照して、イントラ符号化ピクチャ（すなわちＩピクチャ）を処理する実現を提供するシステム１００が示される。イントラ符号化ピクチャは、図１に示され、以下に記載される方法に従う。システム１００は、符号化ブロック１１０、復号化ブロック１２０、及び符号化ブロック１１０及び復号化ブロック１２０にリンクする伝送動作１３０を含む。

立体画像のペアについてフル解像度の入力ピクチャは、符号化ブロック１１０への入力うとして提供される。フル解像度の立体画像は、左のビューのピクチャ１４０及び右のビューのピクチャ１４２を含む。フル解像度の画像は、１／２だけ水平方向に次元においてダウンサンプルされて、１／２だけオリジナルの水平方向のサイズが低減される。これにより、オリジナルの水平方向のサイズの１／２の水平方向のサンプルレートの変換（SRC）となる。また、ダウンサンプリングは、サブサンプリング、レート変換又はダウンスケーリングとも呼ばれる。符号化ブロック１１０は、左のビューのピクチャ１４０をダウンサンプルするサンプラ１４４と、右のビューのピクチャ１４２をダウンサンプルするサンプラ１４６とを含む。サンプラ１４４は、水平方向の次元において左のビューのピクチャ１４０のサイズの１／２であるサンプルされた左のビューのピクチャ１４８を生成する。同様に、サンプラ１４６は、水平方向の次元において右のビューのピクチャ１４２のサイズの１／２であるサンプルされた右のビューのピクチャ１５０を生成する。

サンプルされた左のビューのピクチャ１４８及びサンプルされた右のビューのピクチャ１５０は、インターリーブされた複合ピクチャ１５２を形成するためにインターリーブされる。複合ピクチャ１５２は、サンプルされた左のビューのピクチャ１４８を１６×１６のマクロブロックに分解（区分又は分割）し、サンプルされた右のビューのピクチャ１５０を１６×１６のマクロブロックに分解し、左のビューのピクチャ１４８及び右のビューのピクチャ１５０からのマクロブロックをインターリーブすることで、複合画像１５２が形成される。

図１に示される実現では、マクロブロックは、以下の図４に関して更に説明されるように、列毎のフォーマットで交互するやり方でインターリーブされる。これにより、サンプルされた左のビューのピクチャ１４８及びサンプルされた右のビューのピクチャ１５０と同じ垂直の次元を有し、サンプルされた左のビューのピクチャ１４８及びサンプルされた右のビューのピクチャ１５０の何れかの水平方向の次元の２倍の次元を有する複合ピクチャ１５２が得られる。

符号化ブロック１１０は、複合ピクチャ１５２を符号化するＨ.２６４エンコーダ１５４を含む。符号化ブロック１１０では、複合ピクチャ１５２は、符号化されたピクチャ（図示せず）を形成するため、ＨＰ＠Ｌ４.×を使用して符号化される。ＨＰ＠Ｌ４.×は、4.0，4.1及び4.2を含むＨｉｇｈ Ｐｒｏｆｉｌｅ， ｌｅｖｅｌ ４．ｘを示す。しかし、他の実現は、例えばベースラインプロファイルの全てのレベル、メインプロファイルの全てのレベル、及びハイプロファイルの全てのレベルのようなＨ．２６４符号化プロファイルの幾つかの何れかを使用する。

エンコーダ１５４は、Ｉピクチャとして複合ピクチャ１５２を符号化し、Ｈ．２６４イントラ符号化モードを使用する。これに応じて、複合ピクチャ１５２のブロックは、参照として複合ピクチャ１５２から１以上の他のブロックを使用して符号化される。例えば、所与のブロックの予測子は、隣接ブロックの組み合わせから形成される。所与のブロックの隣接ブロックは、コーナ又はエッジでの所与のブロックに接触する８つのブロックの１つとなるように一般に定義される。図２を参照して、中央のブロックＭの８つの隣接するブロックがブロック１〜８として示される。なお、Ｈ．２６４イントラ予測モードのため、ブロック１，２，３，４及び６は、予測子として一般に許可される。

図３を参照して、様々な実現は、水平方向に左（ブロックＡ）、垂直方向の上（ブロックＢ）、及び対角線方向に右及び上（ブロックＣ）にあるブロックの組み合わせから所与のブロック（ブロックＧ）の予測子を形成する。複合ピクチャ１５２は、列毎のインターリーブを使用するため、ブロックＧはサンプルされた左のビューのピクチャ１４８又はサンプルされた右のビューのピクチャ１５０の何れかの１つからであり、ブロックＡ及びＣの両者は、他のサンプルされたピクチャからであることは明らかである。様々な実現は、ブロックＡ，Ｂ又はＣの１つ（組み合わせではない）、又は隣接しないブロックを含む他のブロックに基づいて予測子を形成する。特に、様々な実現は、ブロックＡのみに関して、又はブロックＣのみに関してブロックＧが符号化されるのを可能にする符号化モードを提供する。

ブロックＡのみ又はブロックＣのみを使用してブロックＧを符号化する係るモードは、インターリーブされない分割スクリーンフォーマットを使用する場合に比較したとき、インターリーブされた複合ピクチャ１５２を使用することで増加された符号化効率を有することが期待される（以下に記載される水平方向の分割スクリーンのピクチャ１６０を参照）。増加される効率は、他のビューから対応するブロックを使用してあるビューからのブロックを符号化することができることから、少なくとも部分的に生じることが期待される。対応するブロックが良好に揃えられた場合、残差が小さくなり、符号化するために少ないビットを必要とする。しかし、アラインメントは残差を低減し、符号化ゲインを提供するために完全である必要はない。

先に説明したように、図２に示されるブロック１，２，３及び４は、Ｈ．２６４イントラ予測におけるブロックＭの予測子として使用される。しかし、様々な実現は、立体視において、２つのピクチャにおいて、垂直方向の変位ではなく、水平方向の変位があることが期待される事実を利用するため、インターリーブを実行する。係るケースにおける最良の予測子は、他の立体視からの対応するブロックとなることが期待される。その対応するブロックは、列毎のインターリーブ後に符号化されているブロックの左にあり、行毎のインターリーブ後に符号化されているブロックの上にある。

様々な実現は、最良の参照ブロックのために、複合ピクチャ１５２においてサーチすることで、複合ピクチャ１５２のイントラ符号化を実行する。より詳細には、幾つかの係る実現は、既に符号化されている現在のピクチャのそれらの部分の再構成をサーチする。サーチのため、係るモードは、参照として予め決定された隣接ブロックブロックを単に使用するよりも、時間がかかり、プロセッサに集中する。しかし、係るモードは、所与のブロックの良好な予測を発見する利点を典型的に提供する。また、係るモードは、視差（disparity）を知る必要なしに、対応する立体画像のブロックを発見する利点を典型的に提供する。

符号化ブロック１１０は、復号化されたピクチャ１５８を生成するため、符号化されたピクチャを復号化するＨ．２６４デコーダを含む。符号化ブロック１１０の実現では、符号化されたピクチャは、ＨＰ＠Ｌ４．ｘを使用して復号化される。復号化されたピクチャ１５８は、複合ピクチャ１５２の再構築である。

符号化ブロック１１０は、復号化されたピクチャ１５８をデインターリーブして、水平方向の分割スクリーンのピクチャ１６０を形成する。水平方向の分割スクリーンのピクチャ１６０は、サンプルされた左のビューのピクチャ１４８の左のピクチャの再構築１６２を含み、サンプルされた右のビューのピクチャ１５０の右のピクチャの再構築１６４を含む。水平方向の分割スクリーンのピクチャン１６０は、参照ピクチャストレージ（図示せず）に参照ピクチャとして記憶され、符号化ブロック１１０により参照ピクチャとして使用されるために利用可能である。

Ｐ及びＢピクチャは、水平方向の分割スクリーンピクチャとして符号化される。すなわち、Ｐ及びＢピクチャについて、サンプルされた左のビューのピクチャ１４８及びサンプルされた右のビューのピクチャ１５０は、インターリーブされた復号化ピクチャではなく水平方向の分割スクリーンピクチャに形成され、エンコーダ１５４により符号化される。また、参照ピクチャは、先に示されたように、水平方向の分割スクリーンピクチャとして記憶される。Ｐ又はＢ符号化ブロックは、Ｉピクチャを示す動きのリファレンスを含み、動き予測は、水平方向の分割スクリーンの再構築されたピクチャ１６０から抽出される。

従って、符号化ブロック１１０は、Ｐ及びＢブロックに比較して、Ｉブロックについて異なる動作を実行する。例えば、Ｉブロックについて、符号化ブロック１１０は、（ｉ）符号化前にインターリーブを行い、（ｉｉ）水平方向の分割スクリーンの再構築ピクチャを形成する前のデインターリーブを行う。別の例として、Ｐ及びＢブロックについて、符号化ブロック１１０は、符号化前に分割スクリーンのピクチャを形成する。

エンコーダ１５４は、送信のために送信動作１３０に符号化されたピクチャを提供する（図示せず）。送信されたピクチャは、復号化ブロック１２０により受信される。

復号化ブロック１２０は、受信されたピクチャのＨＰ＠Ｌ４．ｘデコードを実行するＨ．２６４デコーダ１７０を含む。デコーダ１７０は、複合ピクチャ１５２の再構築である再構築されたピクチャ１７２を生成する。従って、再構築されたピクチャ１７２は、左の画像（サンプルされた左のビューの画像１４８）及び右の画像（サンプルされた右のビューのピクチャ１５０）からインターリーブされたマクロブロックを有する。典型的な実現では、デコーダ１７０は、デコーダ１５６と同じである。

復号化ブロック１２０は、再構築されたピクチャをデインターリーブして、左のピクチャの再構築１７６及び右のピクチャの再構築１７８を含む水平方向の分割スクリーンのピクチャ１７４を形成する。送信又は復号化においてエラーがない場合、（i）再構築されたピクチャ１７２は、符号化ブロック１１０から復号化されたピクチャ１５８を整合し、（ii）水平方向の分割スクリーンのピクチャ１７４が水平方向の分割スクリーンのピクチャ１６０、（iii）左のピクチャの再構築１７６は、左のピクチャの再構築１６２に整合し、及び（iv）右のピクチャの再構築１７８は、右のピクチャの再構築１６４に整合する。

復号化ブロック１２０は、オリジナルの水平方向サイズを回復するため、水平方向のサンプルレート変換を実行するサンプラ１８０を含む。サンプラ１８０は、左のビューのピクチャ１４０のオリジナルの水平方向のサイズを回復するため、左のピクチャの再構築１７６をアップサンプリングすることで、変換を実行する。サンプラ１８０は、左のビューのピクチャ１４０の再構築である再構築された左のビューのピクチャ１８４を生成する。アップサンプリングは、レート変換又はアップスケーリングとも呼ばれる。

同様に、復号化ブロック１２０は、オリジナル水平方向のサイズを回復するため、水平方向のサンプルレート変換を実行するサンプラ１８２を含む。サンプラ１８２は、右のビューのピクチャ１４２のオリジナルの水平方向のサイズを回復するため、右のピクチャの再構築１７８をアップサンプリングすることで変換を実行する。サンプラ１８２は、右のビューのピクチャ１４２の再構築である再構築された右のビューのピクチャ１８６を生成する。

再構築された左のビューのピクチャ１８４、及び再構築された右のビューのピクチャ１８６は、ディスプレイへの出力の準備ができているフル解像度のピクチャである。また、他の実現は、又は代替的に、再構成された左のビューのピクチャ１８４及び／又は再構築された右のビューのピクチャ１８６を処理のために提供する。係る処理は、例えばフィルタリング、更なる画像のレンダリング、アーチファクト低減、色修正、エッジ鮮鋭化、及び／又はオブジェクト検出を含む、表示の前に実行されるか又は表示の代わりに実行される。さらに、他の実現は、処理及び／又は表示のための出力として、水平方向の分割スクリーンのピクチャ１７４を提供する。

符号化ブロック１１０と同様に、復号化ブロック１２０は、Ｐ及びＢブックに比較して、Ｉブロックの異なる動作を実行する。例えば、Ｉブロックについて、復号化ブロック１２０は、水平方向の分割スクリーンのピクチャ１７４を形成する前に、デインターリーブを実行する。対照的に、Ｐ及びＢブロックについて、デコーダ１７０の出力は、水平方向の分割スクリーンのピクチャである。

図１のプロセスは、既存のプロセスと少なくとも大いに後方互換性がある。さらに、旧式のＨ．２６４エンコーダ及びデコーダが使用される場合がある。しかし、図１のプロセスは、全ての既存のデコードプロセスと完全に後方互換性がない。しかし、統合されたＢｌｉｔを使用する多くのデコーダ（例えばプログラマブルビットマップグラフィック装置、又は例えば複数のビットマップを組み合わせるため、ビットブロック画像転送を実行するビットブリット装置）の機能、又は左／右の分割スクリーン画像にマクロブロックインターリーブされたＩピクチャ画像を変換するＤＭＡ機能に含まれる。すなわち、既存のＨ．２６４デコーダは、デコードされた（インターリーブされたピクチャ）１５８を、水平方向の分割スクリーンのピクチャ１６０に変換するか、再構築されたピクチャ１７２を水平方向の分割スクリーンのピクチャ１７４に変換する。しかし、この変換を実行する技術が実行可能であり、統合されたＢｌｉｔ又はＤＭＡのような技術を使用して当業者により良好に行われる。さらに、係る技術は、Ｈ．２６４エンコーダへの入力として使用される、インターリーブされた画像（例えば複合ピクチャ１５２）又は分割スクリーンの連結された画像の何れかを選択的に作成するために使用される。

他の実現は、先に記載されたシステム１００の様々な態様を変更する。特定の実現及び変更が以下に記載されるが、他の変更も同様に想定される。

例えば、２つの入力画像は、立体画像のペアを形成する必要はない。様々な実現では、入力画像は、多視点システムからの画像である。

さらに、入力画像は、正確に１／２だけダウンサンプルされる必要はなく、全くダウンサンプルされる必要はない。様々な実現では、入力画像は、（i）それらのオリジナルのサンプリングレートのままであるか、（ii）１／２以外の値でダウンサンプルされるか、又は（iii）アップサンプルされる。

さらに、入力画像は、同じレートでサンプリングされる必要はない。様々な実現では、第一の入力画像は、第一のレートでサンプリングされ、第二の入力画像は、第一のレートとは異なる第二のレートでサンプリングされる。

実現は、２を超える入力画像を使用する場合がある。様々な実現は、３以上の入力画像を使用して、入力画像の全てをインターリーブする。１つの係る実現は、多視点システムからの３以上の入力ビューをインターリーブする。別の係る実現は、第一の瞬間でステレオカメラから撮影された第一の立体画像のペアと、第二の瞬間でステレオカメラから撮影された第二の立体画像のペアとを含む４つの画像をインターリーブする。

様々な実現は、入力画像をサンプリングすることに加えて、又は入力画像をサンプリングすることに代えて、入力画像を処理する。様々な実現により実行される処理は、例えば画像の画素値をフィルタリングし、画像の画素値をクリップし、ブロックを画像の境界の周りの画像に加え、又はオーバラップするコンテンツを有さないブロックを除くことを含む。

インターリーブのために使用されるブロックは、１６×１６である必要はなく、マクロブロックである必要さえない。様々な実現は、１６×１６とは異なるサイズを有するブロックを使用し、及び／又は符号化で使用されるマクロブロックのサイズとは異なるブロックサイズを使用する。また、様々な実現は、ブロックサイズを変えるか、又は選択可能なブロックサイズを使用する。Ｈ．２６４規格は、４×４ブロック及び１６×１６マクロブロックについてイントラ予測を可能にする。先の実現は、マクロブロックを使用したコンセプトを図示及び記載しているが、他の実現は、例えば４×４ブロックレベル、８×８ブロックレベル、及び４×４ブロック及び８×８ブロックの両者を使用する可変レベルを含むブロックレベルでのインターリーブを実現する。

インターリーブされた画像は、ＨＰ＠Ｌ４．ｘを使用して符号化される必要はなく、Ｈ．２６４を使用して符号化される必要さえない。様々な実現は、異なる２．２６４プロファイル又は異なる符号化スキームを使用する。例えば、Ｈ．２６４について、ハイプロファイルの全てのレベル、メインプロファイルの全てのレベル、及びベースラインプロファイルの全てのレベルが使用される場合があり、様々な実現は、これらのレベル及びプロファイルに向けられる。

符号化ブロック１１０により提供される符号化されたインターリーブされた画像は、送信される必要はない。様々な実現は、例えば符号化された画像を記憶する。

参照画像は、水平方向の分割スクリーン画像である必要はなく、全く分割スクリーン画像である必要もない。様々な実現は、例えば、参照として垂直方向の分割スクリーン画像を使用するか、参照としてインターリーブされた画像を使用するか、又は参照として個々の画像を使用する。

Ｐ及びＢピクチャは、水平方向の分割スクリーンピクチャとして符号化される必要はない。様々な実現は、Ｉピクチャについて先に行われたように、Ｐ及び／又はＢ立体画像のペアのインターリーブを実行する。これらの実現の１以上は、参照として使用される他のピクチャに関するインター符号化を使用して、インターリーブされたＰ及び／又はＢピクチャを符号化する。幾つかの係る実現の参照もまたインターリーブされたピクチャであるが、他の実現について、参照がインターリーブされない。さらに、これらの実現の幾つかは、インターリーブされたＰ又はＢピクチャにおける所与のブロックを符号化するため、インター予測モード及びイントラ予測モードの両者を考慮する。係るように、これらの実現の幾つかは、インターリーブされたＰ又はＢピクチャから所与のブロックの最適な符号化を実行する。

図４を参照して、マクロブロックレベルのインターリーブの２つの実現の更に詳細なビューが示される。図４は、立体画像のペアの左のピクチャ４１０及び右のピクチャ４２０を示す。この実現では、左のピクチャ４１０及び右のピクチャ４２０は、ファクタ２により水平方向においてダウンサンプリングされている。これら２つのピクチャ４１０及び４２０は、矢印４２５により示されるように結合され、インターリーブされたピクチャ４３０が形成される。インターリーブされたピクチャ４３０は、ピクチャ４１０及び４２０を列毎にインターリーブする。

この実現のため、エンコーダは、左から右に、行毎に、インターリーブされたピクチャ４３０を符号化する。従って、エンコーダがインターリーブされたピクチャ４３０を符号化しているとき、エンコーダが（インターリーブされたピクチャ４３０で円で囲まれる）Ｒ２２でラベル付けされたブロックに達するとき、エンコーダは、左のピクチャから（インターリーブされたピクチャ４３０で円で囲まれた）対応するブロックＬ２２を既に符号化し、Ｒ２２の符号化における使用のために利用可能なＬ２２の符号化を有する。Ｌ２２は、インターリーブされたピクチャ４３０においてＲ２２のすぐ左にある。

Ｌ２２及びＲ２２は、立体画像のペアにおける対応するブロックとして対応しており、従ってそれらのコンテンツは、かなりオーバラップしていると想定される。両方のブロックが幾つかの共通のコンテンツを有するときに、コンテンツはオーバラップする。例えば、両方のブロックが特定のオブジェクト又はバックグランドを含むときに、そのオブジェクト又はバックグランドがブロックのそれぞれにおいて同じ相対的な位置に正確にないとしても、ブロックは、共通のコンテンツを共有する。

これら対応するブロックの識別は、Ｌ２２及びＲ２２が２つのピクチャ４１０及び４２０における対応する位置を有するという事実にシンプルに基づく。すなわち、Ｌ２２及びＲ２２は、それらそれぞれのピクチャ４１０及び４２０における同じ座標（ｘ，ｙ）を有することが想定される。

他の実現は、例えば視差に基づいて対応するブロックを決定する。係る視差に基づく実現について、例えば立体画像のペアの平均の視差のような、様々な視差に基づくメトリクスが使用される。１つの係る実現では、ピクチャ４１０の平均の視差は、単一のブロックの水平方向のサイズに等しくなるように決定される。従って、ピクチャ４１０のブロックＬ１２は、ピクチャ４２０のブロックＲ１１に対応するように決定される。係る実現において、インターリービングは、インターリーブされたピクチャ４３０におけるように実行されるか、又はインターリーブは、視差に基づく場合がある。

１つの視差に基づく実現では、インターリーブされたピクチャ４３０におけるように、ブロックがインターリーブされる。しかし、対応するブロックは、隣接するブロック（neighbors）であるか又は隣接するブロックではない場合がある。Ｌ１２がＲ１１に対応する例では、それらのブロックは、インターリーブされたピクチャ４３０に示されるように、なお隣接するブロックである。しかし、視差がブロックの水平方向のサイズの２倍に等しい場合、Ｌ１３は、Ｒ１１に対応し、それらのブロックは、インターリーブされたピクチャ４３０における隣接するブロックではない。

別の視差に基づく実現では、視差に基づいてブロックがインターリーブされる。従って、Ｌ１３がＲ１１に対応する場合、それらのブロックは、それらが隣接するブロックであるようにインターリーブされる。１つの係る実現では、ピクチャ４１０の第一の２つの列は、インターリーブされたピクチャにダイレクトに挿入され、ピクチャ４１０の残りの列は、ピクチャ４２０からの列と、列毎にインターリーブされる。最後に、ピクチャ４２０の最後の残りの列は、インターリーブされたピクチャにダイレクトに挿入される。

様々な実現では、ブロック間の対応関係が完全でない。すなわち、共通のコンテンツは、対応するブロックのそれぞれにおいて同じ相対的な位置にない。例えば、視差は、ブロックの水平方向のサイズに等しくない。それにも係らず、符号化のゲインは、なお達成される。他の視差に基づく実現では、様々な入力画像からのブロックは、入力画像におけるそれらの相対的な位置に基づいてインターリーブされる。例えば、ピクチャ４１０の第一の列は、ピクチャ４２０の第一の列により後続される。しかし、インターリーブされたピクチャの個々のブロックは、良好な参照を発見するためにインターリーブされたピクチャにおいてサーチすることでイントラ符号化される。係るサーチは、サーチの前に視差を知る実現なしに、対応するブロックを識別する。

他のダウンサンプリング及びインターリーブのオプションが可能である。図４を更に参照して、左のピクチャ４１０及び右のピクチャ４２０が、先の図４の説明で前に記載されたように、水平方向におけるよりも、ファクタ２により垂直方向においてダウンサンプルされることが想定される実現が示される。さらに、垂直方向にダウンサンプルされたピクチャ４１０及び４２０は、矢印４３５により示されるように、インターリーブされたピクチャ４４０を形成するために行毎にインターリーブされる。インターリーブされたピクチャ４３０の符号化と同様に、エンコーダが（インターリーブされたピクチャ４４０において円で囲まれた）Ｒ２２でラベル付けされたブロックに達したとき、エンコーダは、左からの（インターリーブされたピクチャ４４０において円で囲まれた）対応するブロックＬ２２を既に符号化しており、Ｒ２２の符号化において使用するために利用可能なＬ２２の符号化を有する。Ｌ２２は、インターリーブされたピクチャ４４０においてＲ２２のすぐ上にある。

更に別の実現では、左及び右のピクチャは、結合されたファクタ２によりそれらのサイズを低減するため、水平方向及び垂直方向の組み合わせでダウンサンプルされる。当業者により理解されるように、水平方向及び垂直方向におけるダウンサンプリングの様々な組み合わせは、結合されたファクタ２の低減を達成するために可能である。これらのダウンサンプルされたピクチャは、行毎及び列毎のインターリーブの組み合わせを含めて、当業者にとって知られたやり方でインターリーブされる。

別の実現は、全くダウンサンプリングせず、ピクチャ４１０及び４２０は、それらのオリジナルサイズであることが想定される。この実現は、大きなインターリーブされたピクチャを生成するため、当該技術分野で知られた様々なインターリーブオプションの何れかを使用して左及び右のピクチャをシンプルに結合する。Ｈ．２６４エンコーダは、この大きなインターリーブされたピクチャを符号化する。

図４のいずれかのインターリーブのオプションの典型的な実現において、エンコーダ及びデコーダは、インターリーブされたピクチャ４３０及び４４０をデインターリーブし、図１の水平方向の分割スクリーンのピクチャにより提供されるような、典型的な左／右の水平方向の分割スクリーンのビューの再構築を形成する。しかし、他の実現では、エンコーダ及びデコーダは、この動作を実行しない。むしろ、エンコーダ及びデコーダは、インターリーブされた左及び右のビューを有する再構築されたインターリーブされたピクチャをシンプルに生成する。エンコーダは、その後のピクチャの符号化を実行するため、このインターリーブされた再構築を使用する。例えば、Ｐピクチャが参照としてインターリーブされたＩピクチャを使用して動き符号化される場合、エンコーダは、インターリーブされたＩピクチャを使用して通常のやり方で適切な動きベクトルのサーチを実行する。このやり方で、エンコーダは、左又は右のビューの何れかに対応するブロックがＰピクチャにおいて符号化されている現在のブロックの最良の「整合」であるかを判定する。他の実現は、インターリーブされた参照画像において更に離れているコンポーネント左及び右のピクチャのブロックをインターリーブが広げる事実を考慮するため、参照画像における最良の「整合」の発見において使用されるサーチウィンドウを拡大する。

図５を参照して、２つの画像の符号化において使用するための実現が示される。図５は、２つの画像、又は２つの画像の一部の符号化において使用されるプロセス５００を示す。

プロセス５００は、第一の画像のブロックにアクセスすることを含む（５１０）。第一の画像は、例えば、図１のサンプリングされた左のビューのピクチャであり、第一の画像のブロックは、例えば、サンプルされた左のビューのピクチャ１４８から左上のブロックである。

プロセス５００は、コンテンツにおける第一の画像のブロックにオーバラップする第二の画像のブロックにアクセスするステップを含む（５２０）。第二の画像は、例えば、図１のサンプルされた右のビューのピクチャ１５０である。サンプルされた左のビューのピクチャ１４８及びサンプルされた右のビューのピクチャ１５０の両者は、立体画像のペアから生成され、従ってコンテンツにおいてオーバラップすることが想定される。第二の画像のブロックは、例えば、サンプルされた右のビューのピクチャ１５０から左上のブロックである。

サンプルされた左のビューのピクチャ１４８の左上のブロックの視差が左上のブロックの水平方向のブロックサイズよりも大きい場合、コンテンツはサンプルされた右のビューのピクチャ１５０の左上のブロックのコンテンツにオーバラップしない可能性がある。先に記載されたように、例えば、特徴が２つのブロックのそれぞれにおける同じ相対的な一において揃えられない場合でさえ、２つのブロック共通の特徴を含むとき、コンテンツはオーバラップする場合がある。係るオーバラップは、多視点システムの個別のビューにおいても同様に、立体画像のペアにおいて典型的に生じる。また、コンテンツは、画像のうちの一方がフリップされたか、回転されたか、フィルタリングされたか、又はさもなければ処理されたかに係らずオーバラップする場合がある。

プロセス５００は、第一の画像のブロックを含む第一の画像からの一部、及び第二の画像のブロックを含む第二の画像からの一部をブロックインターリーブする（５３０）。２つの部分は、第一の画像と第二の画像の全体を含む場合がある。代替的に、２つの部分は、第一及び第二の画像の全て未満を含む場合がある。ブロックのインターリーブは、例えば図１の複合ピクチャ１５２を形成するため、先に記載されたように実行される。

プロセス５００は、参照としてインターリーブされた第二の画像のブロックを使用して、インターリーブされた第一の画像のブロックを符号化することを含む（５４０）。符号化は、複合ピクチャ１５２を形成するブロックを符号化するため、例えば図１のエンコーダ１５４を使用するために上述されたように実行される。例えば、列毎のインターリーブを想定して、予測子として（すなわち参照として）ブロックＡを使用した図１ＢのブロックＧの符号化により、参照として第二の画像のブロック（ブロックＡ）を使用して符号化されている第一の画像のブロック（ブロックＧ）が得られる。

図６を参照して、２つの画像の復号化で使用される実現が示される。図６は、２つの画像又は２つの画像の一部の復号化で使用されるプロセス６００を示す。

プロセス６００は、画像の符号化にアクセスするステップを含む（６１０）。画像は、２つの画像がブロック毎にインターリーブされているインターリーブされた画像である。２つの画像は、複数の第一の画像のブロックを含む第一の画像と、複数の第二の画像のブロックを含む第二の画像である。符号化は、例えば、先に説明された図１の復号化ブロック１２０により受信及び復号化される受信されたピクチャである。

プロセス６００は、アクセスされた符号化の一部を復号化することを含む（６２０）。一部は、参照として第二の画像のブロックを使用して符号化されている第一の画像のブロックの符号化を含む。第一の画像のブロックは、先に指摘されたように、サンプリングされた左のビューのピクチャ１４８からの左上のブロックである。第二の画像ブロックは、先に指摘されたように、サンプルされた左のビューのピクチャ１４８からの左上のブロックとオーバラップするコンテンツを有するようにこの説明で想定される、サンプルされた右のビューのピクチャ１５０からの左上のブロックである。復号化は、例えば、先に記載された図１のＨ．２６４デコーダ１７０により実行される。

図７を参照して、エンコーダ７００は、例えばビデオイメージャ又はデプスイメージャのような画像を符号化するために使用されるエンコーダの実現を示す。１実現では、エンコーダ７００は、図１のシステム１００におけるエンコーダ１５４として使用される。エンコーダ７００は、例えば符号化されたビットストリームに関する情報を提供するメタデータのようなデータを符号化するために使用される。エンコーダ７００は、図９に関して以下に記載されるビデオ伝送システムの一部として実現される。また、図７のブロックは、エンコーダのブロック図を提供することに加えて、符号化プロセスのフローダイアグラムを提供することが明らかである。

入力画像系列は、変位補償（displacement compensation）ブロック７２０及び変位予測（displacement estimation）ブロック７１８に同様に、加算器７０１で到達する。なお、動き又は視差の何れかを示す。加算器７０１への別の入力は、スイッチ７２３を通して受信された様々な可能性のある参照ピクチャの情報のうちの１つである。

例えば、スイッチ７２３と接続されるモード判定モジュール７２４が、符号化モードが、現在符号化されている同じピクチャからのブロックを参照するイントラ予測であると判定した場合、加算器７０１は、イントラ予測モジュール７２２からその入力を受信する。代替的に、モード判定モジュール７２４が、符号化モードが、現在符号化されているピクチャとは異なるピクチャを参照する変位補償及び予測であると判定した場合、加算器７０１は、変位補償モジュール７２０からその入力を受信する。

様々な実現では、イントラ予測モジュール７２２は、符号化されているブロックに対する隣接ブロックである１以上のブロックに基づいて、予め決定された予測子を提供する。係る隣接ブロックは、例えば符号化されているピクチャと立体画像のペアを形成するピクチャのような、別の入力画像からのインターリーブされたブロックである。様々な実現では、インタリービングは、構成ピクチャに現れる順序でブロックがインターリーブされるように、（ｘ，ｙ）座標に基づく。しかし、他の実現では、それらのブロックがそれらの構成ピクチャに位置される場所に係らず、コンテンツにおいて対応するブロックが可能な限り互いに隣接してインターリーブされるように、インターリービングは視差に基づく。

他の特定の実現は、インターリーブの前に、左のピクチャと右のピクチャとの間のシフトのブロックの整数を指定する単一の数を符号化することで、このコンセプトの実用的な使用が提供される。これにより、インターリーブを誘導するためにエンコーダで平均の視差の測定が可能となり、ストリームにおいて符号化するコストは非常に少なくて済み、表示の前のデコーダでのブロックの容易なデスクランブルが可能となる。

様々な実現では、イントラ予測モジュール７２２は、最良の参照ブロックについて符号化されたピクチャ内をサーチすることで、予測子（参照）を提供する。より詳細には、幾つかの係る実現は、既に符号化されている現在のピクチャのそれらの一部の再構築内をサーチする。幾つかの実現において、サーチは、既存のブロックの境界にあるブロックに制限される。しかし、他の実現では、サーチは、それらのブロックが既存のブロックの境界に交差するかに係らず、ブロックをサーチすることが許可される。サーチのため、係る実現は、参照として予め決定された隣接ブロックを単に使用するよりも時間がかかり且つプロセッサに処理が集中することがある。しかし、係る実現は、所与のブロックの良好な予測を発見する利点を典型的に提供する。係る実現は、視差を知る必要なしに、対応する立体画像のブロック、又は対応する多視点画像のブロックを発見する利点を典型的に提供する。

係る実現は、最小の予測イントラ予測ブロックに繋がる場合がある。さらに、様々な実現では、参照ブロックの境界は、サブピクセルの境界にあることがあり、参照の回復は、復号化の間の参照として使用される実際のブロックを回復する補間ステップを含む。ピクチャの内容に依存して、係るサブピクセルの補間の実現は、参照として隣接ブロックの使用に比較して、圧縮効率を改善する。

加算器７０１は、変換モジュール７０２に信号を供給し、変換モジュール７０２は、その入力信号を変換し、変換された信号を量子化モジュール７０４に供給する。量子化モジュール７０４は、その受信された信号で量子化を実行し、エントロピーエンコーダ７０５に量子化された情報を出力する。エントロピーエンコーダ７０５は、ビットストリームを生成するため、その入力信号にエントロピー符号化を施す。逆量子化モジュール７０６は、量子化モジュール７０４から量子化された信号を受信し、量子化された信号の逆量子化を実行する。次いで、逆変換モジュール７０８は、逆量子化モジュール７０６から逆量子化された信号を受信し、その受信された信号に逆変換を実行する。逆変換モジュール７０８の出力は加算器７０１からその出力である信号の再構築である。

加算器（より一般的には結合器とも呼ばれる）７０９は、逆変換モジュール７０８及びスイッチ７２３から受信された信号を加算（加算）結合し、イントラ予測モジュール７２２及びインループフィルタ７１０に結果として得られる信号を出力する。結果として得られる信号は、エンコーダ７００に入力される画像系列信号の再構成である。

イントラ予測モジュール７２２は、その受信された信号を使用して、先に説明されたような、イントラ予測を実行する。同様に、インループフィルタ７１０は、加算器７０９から受信された信号をフィルタリングし、参照バッファ７１２にフィルタリングされた信号を供給する。参照バッファ７１２は、変位予測モジュール７１８及び変位補償モジュール７２０に画像情報を供給する。

メタデータは、符号化されたメタデータとしてエンコーダ７００に加算され、エントロピーコーダ７０５からの出力ビットと結合される。代替的に、例えば、符号化されていないメタデータは、量子化された画像系列と共にエントロピー符号化のためにエントロピーコーダ７０５に入力される。

データは、モード判定モジュール７２４により出力ビットストリームに供給される。モード判定モジュール７２４は、所与のブロックを符号化するために使用されるモードを示す情報をビットストリームに提供する。係る情報は、参照ブロックの位置に示唆を含む。例えば、イントラ予測を使用し、参照ブロックを発見する現在のピクチャのサーチを実行する様々な実現では、視差ベクトルの情報は、イントラ予測モジュール７２２によりモード判定モジュール７２４に供給される。

以下に更に記載されるように、視差ベクトルの情報は、参照として隣接のマクロブロックの視差ベクトルを使用して異なって符号化される。さらに、視差ベクトルにおける空間的類似性が存在する可能性があるので、あるピクチャの視差ベクトルは、グループ化され、エントロピーを除くために更に符号化される。

図８を参照して、デコーダ８００は、画像をデコードして、デコードされた画像を例えば表示装置に供給するために使用されるデコーダの実現を示す。また、デコーダ８００は、例えばデコードされたビットストリームに関する情報を供給するメタデータをデコードするために使用される。１実現では、デコーダ８００は、図１のシステム１００におけるデコーダ１５６及び／又はデコーダ１７０として使用される。さらに、デコーダ８００は、例えば図１０に関して以下に記載されるビデオ受信システムの一部として実現される。図８のブロックは、デコーダのブロック図を提供することに加えて、復号化プロセスのフローダイアグラムを提供することが明らかである。

デコーダ８００は、ビットストリーム受信機８０２を使用してビットストリームを受信する。ビットストリーム受信機８０２は、ビットストリーム分析器８０４と接続され、ビットストリームをビットストリーム分析器８０４に供給する。

ビットストリーム分析器８０４は、残差ビットストリームをエントロピーデコーダ８０６に送信し、制御シンタックスエレメントをモード選択モジュール８１６に送信し、変位（動き／視差）ベクトル情報を変位補償モジュール８２６及びイントラ予測モジュール８１８に送信する。

変位ベクトル情報は、例えば動きベクトル情報又は視差ベクトル情報である。動きベクトル情報は、前の画像からの相対的な動きを示すために、インター予測で典型的に使用される。視差ベクトルの情報は、（i）個別の画像に関して視差を示すためのインター予測、又は（ii）同じ画像の一部に関して視差を示すためのイントラ予測、の何れかで典型的に使用される。当該技術分野で知られているように、視差は、２つの画像間の相対的なずれ、又は変位を典型的に示す。視差は、画像の２つの部分間の相対的なずれ又は変位を示すために使用される。

逆量子化モジュール８０８は、エントロピーデコーダ８０６から受信されたエントロピー復号化信号に逆量子化を実行する。さらに、逆変換モジュール８１０は、逆量子化モジュール８０８から受信された逆量子化された信号に逆変換を施し、加算器（結合器とも呼ばれる）に逆変換された信号を出力する。

加算器８１２は、採用された復号化モードに依存して様々な他の信号のうちの１つを受信する。例えば、モード判定モジュール８１６は、制御シンタックスエレメントを分析及び解析することで、エンコーダにより現在処理されたブロックに、変位補償又はイントラ予測符号化が実行されたかを判定する。決定されたモードに依存して、モード選択制御モジュール８１６は、加算器８１２が変位補償モジュール８２６又はイントラ予測モジュール８１８からの信号を受信することができるように、制御シンタックスエレメントに基づいて、スイッチ８１７にアクセス及び制御する。

ここで、イントラ予測モジュール８１８は、イントラ予測を実行して、現在復号化されている同じピクチャへの参照を使用してブロックを復号化する。次いで、変位補償モジュール８２６は、変位補償を実行して、現在復号化されているピクチャとは異なる別の前イン処理されたピクチャのブロックへの参照を使用してブロックを復号化する。

さらに、様々な実現のイントラ予測モジュール８１８は、イントラ予測で使用された参照ブロックの位置を識別するビットストリーム分析器８０４からの視差ベクトル情報を受信する。係る実現では、ブロックは、参照を発見するために符号化されるピクチャをサーチするイントラ符号化モードで典型的に符号化される。

予測又は補償情報信号を受信した後、加算器８１２は、例えばブロッキングアーチファクトをフィルタリングするデブロッキングフィルタのような、インーループフィルタ８１４への送信のため、予測又は補償情報信号を逆変換された信号と加算する。また、加算器８１２は、イントラ予測における使用のため、加算された信号をイントラ予測モジュール８１８に出力する。

インループフィルタ８１４は、その入力信号をフィルタリングし、デコードされたピクチャを出力する。さらに、インループフィルタ８１４は、フィルタリングされた信号を参照バッファ８２０に供給する。参照バッファ８２０は、その受信された信号を分析し、参照バッファ８２０が分析された信号を供給する、変位補償モジュール８２６による変位補償復号化を許可及び支援する。係る分析された信号は、例えば、参照として使用されている様々なピクチャの全部又は一部である。

メタデータは、ビットストリーム受信機８０２に供給されるビットストリームに含まれる。メタデータは、ビットストリーム分析器８０４により分析され、エントロピーデコーダ８０６によりデコードされる。デコードされたメタデータは、出力（図示せず）を使用してエントロピー復号化の後にデコーダ８００から抽出される。

図９を参照して、先に記載された特徴及び原理が適用されるビデオ送信システム／装置９００が示される。ビデオ送信システム９００は、例えば衛星、ケーブル、電話回線、又は地上波放送のような様々な媒体の何れかを使用して信号を送信するヘッドエンド又は送信システムである。送信は、インターネット又は幾つかの他のネットワークを通して提供される。ビデオ送信システム９００は、例えばビデオコンテンツ、及び例えば深度及び／又は視差の値を含めて深度の指標のような他のコンテンツを収集及び伝達可能である。図９のブロックは、ビデオ送信システム／装置のブロック図を提供することに加えて、ビデオ送信プロセスのフローダイアグラムを提供することが明らかである。

ビデオ伝送システム９００は、処理装置９０１から入力ビデオを受信する。１実現では、処理装置９０１は、左のビューのピクチャ１４０及び右のビューのピクチャ１４２のようなオリジナルのサイズの画像をビデオ送信システム９００にシンプルに提供する。しかし、別の実現では、処理装置９０１は、複合ピクチャ１５２が得られるインタリービングと同様に、サンプラ１４４及びサンプラ１４６の動作に関して、システム１００について上述されたダウンサンプリング及びインタリービングを実行する。処理装置９０１の様々な実現は、例えば図５のプロセス５００の処理５１０，５２０及び５３０を実現する処理装置を含む。また、処理装置９０１は、入力ピクチャがインターリーブされているかを示し、及び／又はインターリーブを記述する様々なパラメータを供給するメタデータをビデオ送信システム９００に供給する。係るパラメータは、例えばインターリーブされたピクチャの数、それぞれのピクチャの変換レート、それぞれのピクチャの変換のタイプ（例えば水平方向のサンプリング又は垂直方向のサンプリング）、又はインターリーブモード（例えば、行毎のインターリーブ又は列毎のインターリーブ）を含む。

ビデオ送信システム９００は、エンコーダ９０２及び符号化された信号を送信可能な送信機９０４を含む。エンコーダ９０２は、プロセッサ９０１からのビデオ情報を受信する。ビデオ情報は、例えば画像及び深度インジケータを含む。エンコーダ９０２は、ビデオ情報に基づいて符号化された信号を生成する。エンコーダ９０２は、例えば符号化ブロック１１０、エンコーダ１５４又はエンコーダ７００である。エンコーダ９０２は、例えば記憶又は送信のための構築されたフォーマットに情報の様々な部分を受信及び組み立てるためにアセンブリユニットを例えば含むサブモジュールを含む。情報の様々な部分は、例えば符号化又は非符号化ビデオ、符号化又は非符号化深度インジケータ及び／又は情報、並びに、例えば動きベクトル、符号化モードモジュール及びシンタックスエレメントのような符号化又は非符号化エレメントを含む。幾つかの実現では、エンコーダ９０２は、プロセッサ９０１を含み、従ってプロセッサ９０１の動作を実行する。

送信機９０４は、エンコーダ９０２からの符号化された信号を受信し、符号化された信号を１以上の出力ビットストリームで送信する。送信機９０４は、例えばプログラム信号に関連する符号化されたピクチャ及び／又は情報を表す１以上のビットストリームを有するプログラム信号を送信する。典型的な送信機は、例えば誤り訂正符号化を提供すること、信号におけるデータをインターリーブすること、信号のエネルギーをランダム化すること、及び変調器９０６を使用して１以上の搬送波を信号で変調すること、のうちの１以上のような機能を実行する。送信機９０４は、アンテナ（図示せず）を含むか、又はアンテナとインタフェースをとる。さらに、送信機９０４の実現は、変調器９０６に制限される場合がある。

図１０を参照して、上述された特徴及び原理が適用されるビデオ受信システム／装置１０００が示される。ビデオ受信システム１０００は、例えば衛星、ケーブル、電話回線、又は地上波放送のような様々な媒体を通して信号を受信する。信号は、インターネット又は幾つかの他のネットワークを通して受信される。図１０のブロックは、ビデオ受信システム／装置のブロック図を提供することに加えて、ビデオ受信プロセスのフローダイアグラムを提供することは明らかである。

ビデオ受信システム１０００は、例えば携帯電話、コンピュータ、セットトップボックス、テレビジョン、又は符号化されたビデオを受信し、例えばユーザへの表示、処理又は記憶のために復号化されたビデオを提供する他の装置である。従って、ビデオ受信システム１０００は、例えばテレビジョンのスクリーン、コンピュータモニタ、コンピュータ（記憶、処理又は表示向け）、或いは幾つかの他の記憶、処理又は表示装置にその出力を提供する。

ビデオ受信システム１０００は、ビデオ情報を含むビデオコンテンツを受信及び処理が可能である。ビデオ受信システム１０００は、例えばこの出願の実現において記載された信号のような符号化された信号を受信する受信機１００２を含む。受信機１００２は、例えば、図１の復号化ブロック１２０に受信されたピクチャを提供する信号、図７のエンコーダ７００からのビットストリームを搬送する信号、及び図９のビデオ送信システム９００からの信号出力を受信する。

受信機１００２は、例えば符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信する。典型的な受信機は、例えば変調及び符号化されたデータ信号を受信すること、復調器１００４を使用して１以上の搬送波からデータ信号を復調すること、信号におけるエネルギーをランダム化すること、信号におけるデータをデインターリーブすること、及び信号を誤り訂正復号化すること、のうちの１以上のような機能を実行する。受信機１００２は、アンテナ（図示）を含むか、アンテナとインタフェースをとる。受信機１００２の実現は、復調器１００４に制限される場合がある。

ビデオ受信システム１０００は、デコーダ１００６を含む、受信機１００２は、デコーダ１００６に受信された信号を供給する。デコーダ１００６は、例えばビデオ情報を含む復号化されたビデオ信号のような復号化された信号を出力する。デコーダ１００６は、図１のシステム１００のデコーダ１５６又はデコーダ１７０、或いは図８のデコーダ８００である。

デコーダ１００６からの出力ビデオは、１実現において、処理装置１００８に供給される。処理装置１００８は、１実現では、サンプラ１８０及びサンプラ１８２の処理と同様に、水平方向の分割スクリーンのピクチャ１７４を生じるデインターリーブに関して、システム１００の上述されたデインターリーブ及びアップスケールを実行する。幾つかの実現では、デコーダ１００６は、プロセッサ１００８を含み、従ってプロセッサ１００８の処理を実行する。他の実現では、プロセッサ１００８は、例えばセットトップボックス又はテレビジョンのようなダウンストリーム装置の一部である。

従って、特定の特徴及び態様を有する１以上の実現が提供される。しかし、記載された実現の特徴及び態様は、他の実現についても適合される。

例えば、先の特徴、態様及び実現は、左／右のステレオシステムに制限されない他のシステムに適用及び又は適合される。１つの係る実現は、ビデオピクチャ及びその対応する深度ピクチャをインターリーブする。別の係る実現は、左及び右のビューとして必ずしも関連しない多視点システムとは異なる２以上のビューをインターリーブする。

別の例として、先の実現は、マクロブロックレベルでのインターリーブを一般に記載している。しかし、インターリーブは、他の実現において他のレベルで実行される。係る他のレベルは、例えばフィールドレベル、スライスレベル、及びパーティションレベルを含む。

更に別の例として、これらの実現及び特徴は、符号化ビデオのコンテクスト及び／又は他のタイプのデータの符号化で使用される。さらに、これらの実現及び特徴は、規格のコンテキストで使用されるか、規格のコンテクストでの使用向けに適合される場合がある。係る規格は、例えばAVC、多視点符号化（MVC）向けのAVCの拡張、スケーラブルビデオ符号化（SVC）のAVCの拡張、及び提案される３次元ビデオ符号化（3DV）及び高性能映像符号化（HVC）向けのMPEG/JVT規格を含むが、他の規格（既存又将来的）が使用される場合がある。勿論、実現及び特徴は、規格において使用される必要はない。

様々な実現は、「画像」及び／又は「ピクチャ」を示す。用語「画像」及び「ピクチャ」は、本明細書を通して交換可能に使用され、広義の用語であることが意図される。「イメージ」又は「ピクチャ」は、例えばフレーム又はフィールドの全部又は一部である。用語「ビデオ」は、画像（又はピクチャ）の系列を示す。画像、又はピクチャは、例えば様々なビデオコンポーネント又はそれらの組み合わせを含む。係るコンポーネント、又はそれらの組み合わせは、例えば、輝度、色度、（YUV又はYCbCr又はYPbPrの）Y、（YUVの）U、（YUVの）V、（YCbCrの）Cb、（YCbCrの）Cr、（YPbPrの）Pb、（YPbPrの）Pr、（RGBの）赤、（RGBの）緑、（RGBの）青、S-Video、これらの成分の何れかのネガティブ又はポジティブを含む。「画像」又は「ピクチャ」は、又は代替的に、例えば典型的な２次元ビデオ、２次元ビデオピクチャの視差マップ、２次元ビデオピクチャに対応する深度マップ、又はエッジマップを含む様々な異なるタイプのコンテンツを示す場合がある。

さらに、本出願又はその特許請求の範囲は、様々な情報の部分を「判定する」。情報の判定は、例えば情報の推定、情報の計算、情報の予測、情報の識別、又はメモリからの情報の検索、のうちの１以上を含む。

以下「／」、「及び／又は」及び「少なくとも１つの」の使用について、例えば「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合、第二の列挙されたオプション（Ｂ）なしでの第一の列挙されたオプション（Ａ）の選択、第一の列挙されたオプション（Ａ）なしでの第二の列挙されたオプション（Ｂ）の選択、又は両方のオプション（Ａ及びＢ）の選択を含むことが意図される。更なる例として、「Ａ，Ｂ及び／又はＣ」、「Ａ，Ｂ及びＣの少なくとも１つ」及び「Ａ，Ｂ又はＣの少なくとも１つ」の場合、係る記載は、第二（Ｂ）及び第三（Ｃ）の列挙されたオプションの選択がない第一の列挙されたオプション（Ａ）の選択、又は第一（Ａ）及び第三（Ｃ）の列挙されたオプションの選択がない第二の列挙されたオプション（Ｂ）の選択、又は第一（Ａ）及び第二（Ｂ）の列挙されたオプションの選択がない第三の列挙されたオプション（Ｃ）の選択、又は第三の列挙されたオプション（Ｃ）の選択がない第一及び第二の列挙されたオプション（Ａ及びＢ）の選択、又は、第二の列挙されたオプション（Ｂ）の選択がない第一及び第三の列挙されたオプション（Ａ及びＣ）の選択、又は第一の列挙されたオプション（Ａ）の選択がない第二及び第三の列挙されたオプション（Ｂ及びＣ）の選択、或いは、全ての３つのオプション（Ａ及びＢ及びＣ）の選択を含む。これは、当業者にとって容易に明らかであるように、任意のサイズのリストについて拡張される場合がある。なお、この節に記載される記載の何れもが、列挙されないエレメントを含まないように、選択を制限することが意図されない。例えば「Ａ及び／又はＢ」は、「Ａ」及び「Ｂ」の選択を排除しない。

本発明の「１実施の形態」又は「実施の形態」又は「１実現」或いは「実現」は、その他の変形例と同様に、実施の形態と共に記載される特定の特徴、構造、特性等が本発明の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書を通して様々な場所で現れる記載「１実施の形態では」又は「実施の形態では」又は「１実現では」或いは「実現では」の実現は、他の変形例と同様に、必ずしも、同じ実施の形態を全て示すものではない。さらに、これらの記載（例えば「１実施の形態では」）は、１つのみの可能な実施の形態が存在することを示すことが意図されず、むしろ、特定の実施の形態が説明されるという事実に注意を引き付けるものである。

本明細書で記載された実現は、例えば方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号で実現される。（例えば方法としてのみ説明される）単一の実現の形式の文脈でのみ記載されているとしても、説明される特徴の実現は、（例えば装置又はプログラムといった）他の形式で実現される場合もある。装置は、例えば適切なハードウェア、ソフトウェア及び／又はファームウェアで実現される場合がある。本方法は、例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジック装置を含む、一般に処理装置と呼ばれる、例えばプロセッサのような装置で実現される。また、プロセッサは、例えばコンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（ＰＤＡ）のような通信装置、及びエンドユーザ又は装置間で情報の通信を容易にする他の装置を含む。

本明細書で記載される様々なプロセス及び特徴の実現は、例えばデータ符号化及び復号化と関連される機器又はアプリケーションといった、様々な異なる機器又はアプリケーションで実施される。係る機器の例は、エンコーダ、デコーダ、デコーダからのポストプロセッサの処理出力、エンコーダに入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ及び他の通信装置を含む。明らかであるように、機器は、携帯電話である場合があり、移動車両に設置されることさえある。

さらに、本方法は、プロセッサにより実行される命令により実現されるが、係る命令（及び／又は実現により生成されるデータ値）は、例えば集積回路、ソフトウェアキャリア又は、例えばハードディスク、コンパクトディスク、ランダムアクセスメモリ（ＲＡＭ）、又はリードオンリメモリ（ＲＯＭ）のような他の記憶装置のようなプロセッサ読取り可能な媒体に記憶される。命令は、プロセッサ読取り可能な媒体で有形に実施されるアプリケーションプログラムを形成する場合がある。命令は、例えばハードウェア、ファームウェア、ソフトウェア又は組み合わせである場合がある。命令は、例えばオペレーティングシステム、個別のアプリケーション、又は２つの組み合わせで発見される。従って、プロセッサは、プロセスを実行するように構成される装置及びプロセスを実行する命令を有する（記憶装置のような）プロセッサ読取り可能な媒体を含む装置の両者として特徴付けされる。さらに、プロセッサ読取り可能な媒体は、命令に加えて、又は命令に代わって、実現により生成されたデータ値を記憶する場合がある。

当業者にとって明らかであるように、実現は、例えば記憶又は送信される情報を伝送するためにフォーマットされる様々な信号を生成する場合がある。情報は、例えば、ある方法を実行する命令、又は記載される実現のうちの１つにより生成されるデータを含む。係る信号は、例えば電磁波（例えばスペクトルの無線周波部分を使用）又はベースバンド信号として、フォーマットされる場合がある。フォーマットは、例えばデータストリームを符号化すること、及び符号化されたデータストリームで搬送波を変調することを含む。搬送が搬送する情報は、例えばアナログ又はデジタル情報である場合がある。信号は、既知であるように、様々な異なる有線又は無線リンクを通して転送される。信号は、プロセッサ読取り可能な媒体で記憶される。

多数の実現が記載された。それにもかかわらず、様々な変更が行われることを理解されたい。例えば、異なる実現のエレメントは、他の実現を生成するために組み合わせられ、補足され、変更され、又は除去される場合がある。さらに、当業者であれば、他の構成及びプロセスがそれら開示されたものいついて置き変えられること、結果として得られる実現が開示された実現と同じ結果を少なくとも実質的に達成するために、少なくとも実質的に同じやり方で同じ機能を少なくとも実質的に実行することを理解されうであろう。従って、これらの実現及び他の実現は、この開示により想定され、この開示の範囲に含まれる。

Claims (17)

1. 複数のブロックを含む第一の画像にアクセスする、前記第一の画像の前記複数のブロックは第一の画像のブロックを含むステップと、
   複数のブロックを含む第二の画像にアクセスする、前記第二の画像の前記複数のブロックは前記第一の画像のブロックとオーバラップするコンテンツを有する第二の画像のブロックを含むステップと、
   前記第一の画像の前記複数のブロックと前記第二の画像の前記複数のブロックとをブロックに基づいてインターリーブして、インターリーブされた画像を形成するステップであって、前記インターリーブは、視差に基づいて、前記第一の画像のブロックと前記第二の画像のブロックとが互いに対応しているかを判定し、前記第一の画像のブロックと前記第二の画像のブロックとを、前記第一の画像のブロックと前記第二の画像のブロックとが前記インタリーブされた画像において隣接するようにインタリーブすることを含む、ステップと、
   前記第二の画像のブロックを参照として使用して前記第一の画像のブロックを符号化することで、前記インターリーブされた画像の少なくとも１部を符号化するステップと、
   符号化された第一の画像のブロックを送信又は記憶のために提供するステップと、
   を含む方法。
2. 複数のブロックを含む第一の画像にアクセスする、前記第一の画像の前記複数のブロックは第一の画像のブロックを含む手段と、
   複数のブロックを含む第二の画像にアクセスする、前記第二の画像の前記複数のブロックは前記第一の画像のブロックとオーバラップするコンテンツを有する第二の画像のブロックを含む手段と、
   前記第一の画像の前記複数のブロックと前記第二の画像の前記複数のブロックとをブロックに基づいてインターリーブして、インターリーブされた画像を形成する手段であって、前記インターリーブは、視差に基づいて前記第一の画像のブロックと前記第二の画像のブロックとが互いに対応しているかを判定し、前記第一の画像のブロックと前記第二の画像のブロックとを前記第一の画像のブロックと前記第二の画像のブロックとが前記インタリーブされた画像において隣接するようにインタリーブすることを含む、手段と、
   前記第二の画像のブロックを参照として使用して前記第一の画像のブロックを符号化することで、前記インターリーブされた画像の少なくとも１部を符号化する手段と、
   符号化された第一の画像のブロックを送信又は記憶のために提供する手段と、
   を備える装置。
3. 複数のブロックを含む第一の画像にアクセスする、前記第一の画像の前記複数のブロックは第一の画像のブロックを含むステップと、
   複数のブロックを含む第二の画像にアクセスする、前記第二の画像の前記複数のブロックは前記第一の画像のブロックとオーバラップするコンテンツを有する第二の画像のブロックを含むステップと、
   前記第一の画像の前記複数のブロックと前記第二の画像の前記複数のブロックとをブロックに基づいてインターリーブして、インターリーブされた画像を形成するステップであって、前記インターリーブは、視差に基づいて、前記第一の画像のブロックと前記第二の画像のブロックとが互いに対応しているかを判定し、前記第一の画像のブロックと前記第二の画像のブロックとを、前記第一の画像のブロックと前記第二の画像のブロックとが前記インタリーブされた画像において隣接するようにインタリーブすることを含む、ステップと、
   前記第二の画像のブロックを参照として使用して前記第一の画像のブロックを符号化することで、前記インターリーブされた画像の少なくとも１部を符号化するステップと、
   符号化された第一の画像のブロックを送信又は記憶のために提供するステップと、
   を１以上のプロセッサに集合的に実行させる命令を記録したコンピュータ読み取り可能な記録媒体。
4. 第一の画像のブロックを含む複数のブロックを含む第一の画像にアクセスし、
   前記第一の画像のブロックとオーバラップするコンテンツを有する第二の画像のブロックを含む複数のブロックを含む第二の画像にアクセスし、
   前記第一の画像の前記複数のブロックと前記第二の画像の前記複数のブロックとをブロックに基づいてインターリーブして、インターリーブされた画像を形成する、前記インターリーブは、視差に基づいて、前記第一の画像のブロックと前記第二の画像のブロックとが互いに対応しているかを判定し、前記第一の画像のブロックと前記第二の画像のブロックとを、前記第一の画像のブロックと前記第二の画像のブロックとが前記インタリーブされた画像において隣接するようにインタリーブすることを含む、
   ように集合的に構成される１以上のプロセッサと、
   前記第二の画像のブロックを参照として使用して前記第一の画像のブロックを符号化することで、前記インターリーブされた画像の少なくとも１部を符号化し、
   符号化された第一の画像のブロックを送信又は記憶のために提供する
   エンコーダと、
   を備える装置。
5. 符号化された画像にアクセスするステップであって、前記符号化された画像は第一の画像の複数のブロックと第二の画像の複数のブロックとのブロックに基づくインターリーブの符号化であり、前記第一の画像の前記複数のブロックは第一の画像のブロックを含み、前記第二の画像の前記複数のブロックは前記第一の画像のブロックとオーバラップするコンテンツを有する第二の画像のブロックを含み、、前記インターリーブは、視差に基づいて、前記第一の画像のブロックと前記第二の画像のブロックとが互いに対応しているかを判定し、前記第一の画像のブロックと前記第二の画像のブロックとを、前記第一の画像のブロックと前記第二の画像のブロックとが前記インタリーブされた画像において隣接するようにインタリーブすることを含む、ステップと、
   前記第二の画像のブロックを参照として使用して前記第一の画像のブロックを符号化する符号化された画像の一部を復号化するステップと、
   復号化された一部を処理又は表示のために提供するステップと、
   を含む方法。
6. 前記第一の画像のブロックはマクロブロックである、
   請求項１又は５記載の方法。
7. 前記符号化又は復号化はＨ．２６４のイントラ符号化モードを使用したＨ．２６４符号化又は復号化を含む、
   請求項１、５又は６記載の方法。
8. 前記第一の画像のブロックを符号化又は復号化することは、前記第一の画像のブロックの視差の値に基づいて前記第二の画像のブロックを識別することを含む、
   請求項１、５乃至７の何れか記載の方法。
9. 前記インターリーブは、前記第一の画像と前記第二の画像とにおける相対的な位置に基づくブロックのインターリーブを含む、
   請求項１、５乃至８の何れか記載の方法。
10. 前記インターリーブは、前記第一の画像における前記複数のブロックの視差の値に基づくブロックのインターリーブを含む、
    請求項１、５乃至８の何れか記載の方法。
11. 前記第一の画像のブロックと前記第二の画像のブロックとは、前記インターリーブされた画像において隣接するブロックである、
    請求項１、５乃至１０の何れか記載の方法。
12. 符号化された画像にアクセスする手段であって、前記符号化された画像は第一の画像の複数のブロックと第二の画像の複数のブロックとのブロックに基づくインターリーブの符号化であり、前記第一の画像の前記複数のブロックは第一の画像のブロックを含み、前記第二の画像の前記複数のブロックは前記第一の画像のブロックとオーバラップするコンテンツを有する第二の画像のブロックを含み、、前記インターリーブは、視差に基づいて、前記第一の画像のブロックと前記第二の画像のブロックとが互いに対応しているかを判定し、前記第一の画像のブロックと前記第二の画像のブロックとを、前記第一の画像のブロックと前記第二の画像のブロックとが前記インタリーブされた画像において隣接するようにインタリーブすることを含む、手段と、
    前記第二の画像のブロックを参照として使用して前記第一の画像のブロックを符号化する符号化された画像の一部を復号化する手段と、
    復号化された一部を処理又は表示のために提供する手段と、
    を備える装置。
13. 請求項１、５乃至１１の何れか記載の方法を実行する装置。
14. 第一の画像の複数のブロックと第二の画像の複数のブロックとのブロックに基づくインターリーブの符号化である、符号化された画像にアクセスするステップであって、前記第一の画像の前記複数のブロックは第一の画像のブロックを含み、前記第二の画像の前記複数のブロックは前記第一の画像のブロックとオーバラップするコンテンツを有する第二の画像のブロックを含み、前記インターリーブは前記第一の画像における前記複数のブロックの視差の値に基づくブロックのインターリーブを含む、ステップと、
    前記第二の画像のブロックを参照として使用して前記第一の画像のブロックを符号化する符号化された画像の一部を復号化するステップと、
    復号化された一部を処理又は表示のために提供するステップと、
    を１以上のプロセッサに集合的に実行させる命令を記憶したプロセッサ読取り可能な記録媒体。
15. １以上のプロセッサに請求項１、５乃至１１の何れか記載の方法を集合的に実行させる命令を記憶したプロセッサ読取り可能な記録媒体。
16. 第一の画像の複数のブロックと第二の画像の複数のブロックとのブロックに基づくインターリーブの符号化である、符号化された画像にアクセスするステップであって、前記第一の画像の前記複数のブロックは、第一の画像のブロックを含み、前記第二の画像の前記複数のブロックは、前記第一の画像のブロックとオーバラップするコンテンツを有する第二の画像のブロックを含み、前記インターリーブは、視差に基づいて、前記第一の画像のブロックと前記第二の画像のブロックとが互いに対応しているかを判定し、前記第一の画像のブロックと前記第二の画像のブロックとを、前記第一の画像のブロックと前記第二の画像のブロックとが前記インタリーブされた画像において隣接するようにインタリーブすることを含む、ステップと、
    前記第二の画像のブロックを参照として使用して前記第一の画像のブロックを符号化する符号化された画像の一部を復号化するステップと、
    復号化された一部を処理又は表示のために提供するステップと、
    を実行するように構成されるデコーダを備える装置。
17. 前記デコーダはエンコーダの一部である、請求項１６記載の装置。

Images