JP6449852B2 - 関心領域の符号化のための動き制限タイルセット - Google Patents

Description

エンジニアは、（ソースコーディング又はソース符号化とも呼ばれる）圧縮を使用してデジタルビデオのビットレートを減少させる。圧縮は、ビデオ情報を低ビットレートの形式に変換することにより、ビデオ情報を記憶及び伝送するコストを低減する。（復号とも呼ばれる）圧縮解除は、圧縮された形式から元の情報のバージョンを再構築する。「コーデック」はエンコーダ／デコーダシステムである。

過去２０年にわたって、様々なビデオコーデック規格が採用されており、このような規格には、ＩＴＵ‐Ｔ Ｈ．２６１、Ｈ．２６２（ＭＰＥＧ−２又はＩＳＯ/ＩＥＣ １３８１８−２）、Ｈ．２６３及びＨ．２６４（ＡＶＣ又はＩＳＯ／ＩＥＣ １４４９６−１０）規格、ＭＰＥＧ−１（ＩＳＯ／ＩＥＣ １１１７２−２)及びＭＰＥＧ−４ ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）規格並びにＳＭＰＴＥ ４２１Ｍ規格が含まれる。より最近では、ＨＥＶＣ規格（ＩＴＵ‐Ｔ Ｈ．２６５又はＩＳＯ／ＩＥＣ ２３００８−２)が承認された。ビデオコーデック規格は、典型的に、符号化ビデオストリームのシンタックスについてのオプションを定義し、これにより、特定の特徴が符号化及び復号に使用されるときのビットストリームのパラメータを詳述する。多くの場合において、ビデオコーデック規格は、デコーダが、復号において一致する結果を達成するために実行すべき復号操作に関する詳細も提供する。コーデック規格だけでなく、様々な独自仕様のコーデックフォーマットも、符号化ビデオビットストリームのシンタックスについての他のオプション及び対応する復号操作を定義する。

２０１３年１月のバージョンのＨＥＶＣ規格では（Ｂｒｏｓｓ等著、「High Efficiency Video Coding（ＨＥＶＣ） Text Specification Draft ８」、JCTVC-L1003_v34、２０１３年１月を参照されたい）、ピクチャが、矩形領域の複数のタイルに分割される。シンタックス要素のtiles_enabled_flagが１に等しいとき、ピクチャはタイルから構成される。タイルは、ピクチャ内の水平及び垂直境界を定義し、ピクチャ内でタイル列とタイル行に従って編成される。タイルが使用されるとき、ＨＥＶＣビットストリームのシンタックス及びＨＥＶＣ復号処理は、同じピクチャ内のタイル境界に対するイントラピクチャ予測の依存性をなくし、かつ同じピクチャ内のタイル境界に対するエントロピー復号の依存性をなくすように構造化される。しかしながら、２０１３年１月のバージョンのＨＥＶＣ規格によると、インターピクチャ予測の依存性はタイル境界に関しては制限されない。

要約すると、詳細な説明では、動き制限タイルセット（ＭＣＴＳ：motion-constrained tile set）のための制御データを伝達し、使用する際の革新を提示する。例えば本革新は、タイルの１つ以上の指定されたセット内のインターピクチャ予測処理が、他のピクチャ内のタイルの各々対応するセット内の領域のみを参照するよう制限されることを指示するよう、制御データの伝達及び使用をサポートする。これは関心領域の符号化、復号及び表示、符号化データを選択されたタイルセットに限定するようトランスコーディングすること、損失のロバスト性、そして符号化及び／又は復号における並行性を促進することができる。

本明細書で説明される革新の一態様によると、ビデオエンコーダ又は他のツールは、複数のピクチャを符号化して符号化データを生成し、この場合、複数のピクチャの各々が複数のタイルに分割される。例えばツールは、特定の境界を越えるインターピクチャ予測の依存性がタイルのセットについて制限されるべきかどうかを判断し、そうである場合、その特定の境界を越えるインターピクチャ予測の依存性がタイルのセットについて回避されるように、符号化中の動き推定を制限する。一部の実装では、特定の境界は、ピクチャごとに同じタイルセットの境界であるが、他の実装では、特定の境界を、インターピクチャ予測に使用される別のタイルセット又は他の１つ若しくは複数の領域の境界とすることができる。ツールは、符号化データを、特定の境界を越えるインターピクチャ予測の依存性が、複数のタイルのうちの１つ以上のタイルの所与のタイルセットについて制限されることを示す制御データとともに出力する。タイルの複数のセットについてインターピクチャ予測の依存性を制限することは、符号化における並行処理の使用を促進することができ、関心領域の復号機能又は漸進的デコーダリフレッシュ機能を提供することを助けることもできる。

本明細書で説明される革新の別の態様によると、ビデオデコーダ又は他のツールは、複数のピクチャについての符号化データを受け取り、この場合、複数のピクチャの各々が、複数のタイルに分割される。ツールは、特定の境界を越えるインターピクチャ予測の依存性が、複数のタイルのうちの１つ以上のタイルの所与のタイルセットについて制限されることを示す制御データも受け取る。ツールは次いで、符号化データを処理し、例えば所与のタイルセットの外部にあるピクチャの部分を符号化せずに、所与のタイルセットを複数のピクチャ内の関心領域として復号する。あるいは、符号化データの処理の一部として、ツールは、所与のタイルセットの外部にあるピクチャの部分についての符号化データを除去し、所与のタイルセットの符号化データを新たなビットストリームとして編成して、符号化データをトランスコードする。あるいは、符号化データの処理の一部として、所与のタイルセット以外の、符号化データの少なくとも一部の損失の検出があると、デコーダは、損失回復の一部として、所与のタイルセットをデコードする。また、タイルの複数のセットについてインターピクチャ予測の依存性を制限することは、復号における並行処理の使用を促進することができる。

例示の実装において、所与のタイルセットは、そのタイルセットの１つ以上のタイルを含む１つ以上のタイル矩形として、制御データ内でパラメータ化される。例えばタイルセット内の所与のタイル矩形について、制御データは、（タイル矩形の左上の角及びタイル矩形の右下の角といった）タイル矩形の２つの角を識別するシンタックス要素を含む。制御データは、タイルセットの識別子と、タイルセット内のタイル矩形の総数（count）を示すカウントパラメータと、タイルセット内の各タイル矩形について、タイル矩形の位置を示すシンタックス要素を含むこともできる。

例示の実装において、複数のピクチャは、同様に分割されて、各ピクチャ内にタイルを生成する。典型的に、所与のタイルセットは、複数のピクチャの各々に対して同一である。しかしながら、一部の場合には、所与のタイルセットは、複数のピクチャの少なくとも一部のピクチャの間で異なる可能性がある。あるいは、異なるピクチャを異なる方法でタイルに分割することができる。

例示の実装において、制御データは、タイルセット境界を越えるインターピクチャ予測の依存性がタイルセットについて制限されることを示す補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）である。あるＳＥＩメッセージは、単一のタイルセットのインターピクチャ予測の依存性に対処し、異なるＳＥＩメッセージは異なるタイルセットに対処することができる。あるいは、単一のＳＥＩメッセージが、複数のタイルセットの各々についてのインターピクチャ予測の依存性に対処する。あるいは、ＳＥＩメッセージの代わりに、制御データは、タイルセット境界を越えるインターピクチャ予測の依存性がタイルセットについて制限されることをその値により示す、フラグとすることもできる。あるいは、制御データは何らかの他の形式をとることもできる。

ＭＣＴＳ制御データの伝達及び使用を、方法の一部として、方法を実行するよう適合されたコンピューティングデバイスの一部として、あるいはコンピューティングデバイスに方法を実行させるためのコンピュータ実行可能命令を記憶する有形のコンピュータ読取可能媒体の一部として実装することができる。

本発明の上記及び他の目的、特徴及び利点は、以下の詳細な説明からより明らかになるであろう。以下の詳細な説明は添付の図面を参照して進められる。

記述した数例の実施形態を実装することができる例示のコンピューティングデバイスの図である。 記述した数例の実施形態を実装することができる例示のネットワーク環境の図である。 記述した数例の実施形態を実装することができる例示のネットワーク環境の図である。 例示のエンコーダシステムの図であり、このエンコーダシステムとともに記述した数例の実施形態を実装することができる。 例示のデコーダシステムの図であり、このデコーダシステムとともに記述した数例の実施形態を実装することができる。 例示のビデオエンコーダを示す図であり、このビデオエンコーダとともに記述した数例の実施形態を実装することができる。 例示のビデオエンコーダを示す図であり、このビデオエンコーダとともに記述した 例示のビデオデコーダを示す図であり、このビデオデコーダとともに記述した数例の実施形態を実装することができる。 タイルセットに編成され得る、タイルに分割されるフレームの例を示す図である。 タイルセットに編成され得る、タイルに分割されるフレームの例を示す図である。 タイルセットに編成され得る、タイルに分割されるフレームの例を示す図である。 タイルセットに編成され得る、タイルに分割されるフレームの例を示す図である。 タイルセットに編成され得る、タイルに分割されるフレームの例を示す図である。 タイルセットに編成され得る、タイルに分割されるフレームの例を示す図である。 タイルセットに編成され得る、タイルに分割されるフレームの例を示す図である。 タイルセット境界における動き制限を伴わない、タイルセットの予測ユニットについての動き推定及び動き補償予測を示す図である。 タイルセット境界における動き制限を伴う、タイルセットの予測ユニットについての動き推定及び動き補償予測を示す図である。 ＭＣＴＳを有するピクチャの並行符号化及び並行復号の例を示す図である。 ＭＣＴＳを有するピクチャの関心領域復号の例を示す図である。 ＭＣＴＳを有するピクチャのトランスコーディングの例を示す図である。 ＭＣＴＳを有するピクチャの漸進的デコーダリフレッシュ機能の例を示す図である。 例示の実装におけるＭＣＴＳのためのＳＥＩメッセージのシンタックスを示すテーブルである。 例示の実装におけるＭＣＴＳのためのＳＥＩメッセージのシンタックスを示すテーブルである。 例示の実装におけるＭＣＴＳのためのＳＥＩメッセージのシンタックスを示すテーブルである。 ＭＣＴＳ制御データを伝達するための一般化した方法を示すフローチャートである。 ＭＣＴＳの選択的使用を伴う符号化のための例示的な方法を示すフローチャートである。 ＭＣＴＳ制御データとともに伝達される符号化データを処理するための一般化した方法を示すフローチャートである。

詳細な説明は、動き制限タイルセット（ＭＣＴＳ）のための制御データの伝達及び／又は使用のためのアプローチを提示する。特に、詳細な説明は、タイルの１つ以上の指定されたセット内のインターピクチャ予測処理が他のピクチャ内のタイルの同じセット内の領域のみを参照するよう制限されることを指示する、制御データの伝達及び使用のための革新を提示する。様々な例において、ＭＣＴＳ制御データのための補足エンハンスメント情報（ＳＥＩ）メッセージのシンタックス及びセマンティクスが提示される。ＭＣＴＳ制御データは、関心領域の復号及び表示の複雑なスケーラブル性、符号化データを選択されたタイルセットに限定するようトランスコーディングすること、損失のロバスト性、そして符号化及び／又は復号における並行性を促進することができる。

本明細書で説明される操作は、適切に、エンコーダ（例えばビデオエンコーダ）、デコーダ（例えばビデオデコーダ）又はトランスコードツール（例えばビデオトランスコーダ）によって実行されるように説明されるが、多くの場合、これらの操作を代替的に、別のタイプのメディア処理ツール（例えばアップサンプリング用のビデオプロセッサ、ダウンサンプリング用のビデオプロセッサ）によって実行することもできる。

本明細書で説明される革新の一部は、ＨＥＶＣ規格に特有のシンタックス要素及び操作に関連して例示される。例えばＨＥＶＣ規格のドラフト版のJCTVC-L100（「High Efficiency Video Coding（ＨＥＶＣ） Text Specification Draft ８」、JCTVC-L1003_v34、２０１３年１月）への参照を行うが、その開示内容は参照により本明細書に組み込まれる。本明細書で説明される革新を、他の規格又はフォーマットについて実装することもできる。

より具体的には、本明細書で説明される実施例に対する様々な代替が可能である。例えば本明細書で説明される方法の一部を、説明される方法の動作の順序を変更することにより、一部の方法の動作を分割し、反復又は省略すること等により変更することができる。開示される技術の様々な態様を組み合わせて、あるいは別個に使用することができる。異なる実施形態は、説明される革新の１つ又は複数を用いる。本明細書で説明される革新の幾つかは、背景技術として示した問題の１つ又は複数に対処する。典型的には、所与の技術／ツールは、そのような問題の全ては解決しない。

＜Ｉ．例示のコンピューティングシステム＞
図１は、説明される幾つかの革新が実装され得る適切なコンピューティングシステム（１００）の一般化された例を図示している。革新は多様な汎用又は専用のコンピューティングシステムにおいて実装され得るので、コンピューティングシステム（１００）は、使用又は機能の範囲に関して如何なる限定も示唆するように意図されていない。

図１を参照すると、コンピューティングシステム（１００）は、１つ以上の処理ユニット（１１０、１１５）及びメモリ（１２０、１２５）を含む。処理ユニット（１１０、１１５）は、コンピュータ実行可能命令を実行する。処理ユニットは、汎用の中央処理ユニット（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）のプロセッサ又は任意の他のタイプのプロセッサとすることができる。マルチ処理システムでは、マルチ処理ユニットがコンピュータ実行可能命令を実行して処理能力を向上させる。例えば図１は、中央処理ユニット（１１０）だけでなく、グラフィクス処理ユニット又はコプロセッシングユニット（１１５）を示している。有形のメモリ（１２０、１２５）は、揮発性メモリ（例えばレジスタ、キャッシュ、ＲＡＭ）、不揮発性メモリ（例えばＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等）又は処理ユニットによってアクセス可能なこれらの２つの何らかの組合せでとすることができる。メモリ（１２０、１２５）は、ＭＣＴＳ制御データの伝達及び／又は使用のための１つ以上の革新を実装するソフトウェア（１８０）を、処理ユニットによる実行に適したコンピュータ実行可能な命令の形で格納する。

コンピューティングシステムは、追加の特徴を有することがある。例えばコンピューティングシステム（１００）は、ストレージ（１４０）、１つ以上の入力デバイス（１５０）、１つ以上の出力デバイス（１６０）及び１つ以上の通信接続（１７０）を含む。バス、コントローラ又はネットワークといった相互接続機構（図示せず）がコンピューティングシステム（１００）のコンポーネントを相互接続する。典型的には、オペレーティングシステムソフトウェア（図示せず）が、コンピューティングシステム（１００）上で実行する他のソフトウェアのためにオペレーティング環境を提供し、コンピューティングシステム（１００）のコンポーネントの動作を調整する。

有形のストレージ（１４０）は、取外し可能であっても取外し不可能であってもよく、磁気ディスク、磁気テープ若しくはカセット、ＣＤ−ＲＯＭ、ＤＶＤ又は情報を記憶するのに使用することができ、かつコンピューティングシステム（１００）内でアクセスすることができる任意の他の媒体を含む。ストレージ（１４０）は、ＭＣＴＳ制御データの伝達及び／又は使用のための１つ以上の革新を実装するソフトウェア（１８０）のために命令を格納する。

入力デバイス（１５９）は、キーボード、マウス、ペン若しくはトラックボールといったタッチ入力デバイス、音声入力デバイス、スキャニングデバイス又はコンピューティングシステム（１００）へ入力を提供する別のデバイスとすることができる。ビデオについて、入力デバイス（１５０）は、カメラ、ビデオカード、ＴＶチューナーカード、又はアナログ若しくはデジタル形式のビデオ入力、又はコンピューティングシステム（１００）へのビデオサンプルを読み込むＣＤ−ＲＯＭ若しくはＣＤ−ＲＷを受け取る同様のデバイスであってよい。出力デバイス（１６０）は、ディスプレイ、プリンタ、スピーカ、ＣＤライター又はコンピューティングシステム（１００）からの出力を提供する別のデバイスとすることができる。

通信接続部（１７０）は、通信媒体を介した別のコンピューティングエンティティへの通信を可能にする。通信媒体は、コンピュータ実行可能命令、オーディオ若しくはビデオ入力若しくは出力又は他のデータといった情報を、変調されたデータ信号で伝達する。変調されたデータ信号は、信号内に情報を符号化するような方法で設定又は変更された特性のうちの１つ又は複数を有する信号である。限定ではなく例として、通信媒体は電子、光、ＲＦ又は他の担体を使用することができる。

本革新を、コンピュータ読取可能媒体の一般的なコンテキストで説明することができる。コンピュータ読取可能媒体は、コンピューティング環境内でアクセスすることができる任意の利用可能な媒体である。限定ではなく例として、コンピューティングシステム（１００）により、コンピュータ読取可能媒体は、メモリ（１２０、１２５）、ストレージ（１４０）及び上記のいずれかの組合せを含む。

本革新を、プログラムモジュールに含まれるコンピュータ実行可能命令といった、対象となる実際のプロセッサ又は仮想プロセッサ上のコンピューティングシステム内で実行されるコンピュータ実行可能命令の一般的なコンテキストで説明することができる。一般に、プログラムモジュールは、特定のタスクを実行するか、特定の抽象データ型を実装する、ルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造等を含む。プログラムモジュールの機能は、様々な実施形態において望まれるように、プログラムモジュール間で組み合わせてもよく、分割されてもよい。プログラムモジュールのためのコンピュータ実行可能命令は、ローカル又は分散コンピューティングシステムにおいて実行され得る。

「システム」及び「デバイス」という用語は、本明細書では交換可能に使用される。文脈がそうでないことを明らかに示していない限り、いずれの用語もコンピューティングシステム又はコンピューティングデバイスのタイプに関する如何なる限定も示唆しない。一般に、コンピューティングシステム又はコンピューティングデバイスは、ローカルとすることも分散させることもでき、本明細書で説明される機能を実装するソフトウェアとともに、専用のハードウェア及び／又は汎用のハードウェアの任意の組合せを含むことができる。

開示される方法を、開示される方法のいずれかを実行するよう構成される専用のコンピューティングハードウェアを使用して実装することもできる。例えば開示される方法を、開示される方法のいずれかを実装するように特別に設計されるか構成される、集積回路（例えばＡＳＩＣ（ＡＳＩＣ、デジタル信号処理ユニット（ＤＳＰ）、グラフィクス処理ユニット（ＧＰＵ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなプログラマブル論理デバイス（ＰＬＤ）等）によって実装することができる。

説明の目的で、詳細な説明では「決定する」及び「使用する」等のような用語を使用して、コンピューティングシステムにおける演算操作を説明する。これらの用語は、コンピュータによって実行される操作の高レベルな抽象化であり、人間によって行われる動作と混同されるべきではない。これらの用語に対応する実際のコンピュータの操作は、実装に応じて変化する。

＜ＩＩ．例示のネットワーク環境＞
図２ａ及び図２ｂは、ビデオエンコーダ（２２０）及びビデオデコーダ（２７０）を含む例示のネットワーク環境（２０１、２０２）を示す。エンコーダ（２２０）及びデコーダ（２７０）は、適切な通信プロトコルを使用してネットワーク（２５０）を介して接続される。ネットワーク（２５０）は、インターネット又は別のコンピュータネットワークを含むことができる。

図２ａに示されるネットワーク環境（２０１）において、各リアルタイム通信（ＲＴＣ）ツール（２１０）は、双方向通信のためにエンコーダ（２２０）とデコーダ（２７０）の双方を含む。所与のエンコーダ（２２０）は、ＨＥＶＣ規格、ＳＭＰＴＥ ４２１Ｍ規格、ＩＳＯ‐ＩＥＣ １４４９６‐１０規格（Ｈ．２６４又はＡＶＣとしても知られる）、別の規格又は独自仕様のフォーマットに準拠した出力を生成することができ、対応するデコーダ（２７０）が、エンコーダ（２２０）からの符号化データを受け入れる。双方向通信は、ビデオ会議、ビデオ電話又は他の２者の通信シナリオの一部とすることができる。図２ａのネットワーク環境（２０１）は、２つのリアルタイム通信ツール（２１０）を含むが、ネットワーク環境（２０１）は、代わりに、多者通信に参加する３つ又はそれ以上のリアルタイム通信ツール（２１０）を含むことができる。

リアルタイム通信ツール（２１０）は、エンコーダ（２２０）による符号化を管理する。図３は、リアルタイム通信ツール（２１０）に含まれ得る例示のエンコーダシステム（３００）を示す。代替として、リアルタイム通信ツール（２１０）は別のデコーダシステムを使用する。リアルタイム通信ツール（２１０）は、デコーダ（２７０）による復号も管理する。図４は、リアルタイム通信ツール（２１０）に含まれ得る例示のデコーダシステム（４００）を示す。代替として、リアルタイム通信ツール（２１０）は別のデコーダシステムを使用する。

図２ｂに示されるネットワーク環境（２０２）において、符号化ツール（２１２）は、デコーダ（２７０）を含む複数の再生ツール（２１４）への配信用に、ビデオを符号化するエンコーダ（２２０）を含む。一方向通信を、ビデオ監視システム、ウェブカメラモニタリングシステム、リモートデスクトップ会議プレゼンテーション又はビデオが符号化されて、ある場所から１つ以上の他の場所に送信される他のシナリオに提供することができる。図２ｂのネットワーク環境（２０２）は、２つの再生ツール（２１４）を含むが、ネットワーク環境（２０２）は、より多く又はより少ない再生ツール（２１４）を含むことができる。一般に、再生ツール（２１４）は、符号化ツール（２１２）と通信して、受け取るべき再生ツール（２１４）用のビデオのストリームを決定する。再生ツール（２１４）は、ストリームを受け取り、受け取った符号化データを適切な期間の間バッファリングして、復号及び再生を開始する。

図３は、符号化ツール（２１２）に含まれ得る例示のエンコーダシステム（３００）を示す。代替として、符号化ツール（２１２）は別のエンコーダシステムを使用する。符号化ツール（２１２）は、１つ以上の再生ツール（２１４）との接続を管理するためにサーバ側コントローラロジックも含むことができる。図４は、再生ツール（２１４）に含まれ得る例示のデコーダシステム（４００）を示す。代替として、再生ツール（２１４）は別のデコーダシステムを使用する。再生ツール（２１４）は、符号化ツール（２１２）との接続を管理するためにクライアント側コントローラロジックも含むことができる。

＜ＩＩＩ．例示のエンコーダシステム＞
図３は、例示のエンコーダシステム（３００）のブロック図であり、説明される幾つかの実施形態は、このエンコーダシステムとの関連で実装され得る。エンコーダシステム（３００）は、リアルタイム通信用の低遅延符号化モード、トランスコードモード及びファイル若しくはストリームからのメディア再生のための通常の符号化モードといった、複数の符号化モードのうちのいずれかで動作する能力を有する汎用の符号化ツールとすることができ、あるいはそのような符号化モードの１つに対して適合される専用の符号化ツールとすることもできる。エンコーダシステム（３００）を、オペレーティングシステムモジュールとして、アプリケーションライブラリの一部として、あるいはスタンドアロンのアプリケーションとして実装することができる。全体として、エンコーダシステム（３００）は、ビデオソース（３１０）からソースビデオフレーム（３１１）のシーケンスを受け取り、チャネル（３９０）への出力として符号化データを生成する。チャネルへ出力される符号化データは、ＭＣＴＳ制御データ（例えばＭＣＴＳのためのＳＥＩメッセージ）を含むことができる。

ビデオソース（３１０）は、カメラ、チューナーカード、記憶媒体又は他のデジタルビデオソースとすることができる。ビデオソース（３１０）は、例えば毎秒３０フレームのフレームレートで、ビデオフレームのシーケンスを生成する。本明細書で使用されるとき、「フレーム」という用語は、一般に、ソースの符号化又は再構築された画像データを指す。プログレッシブビデオでは、フレームはプログレッシブビデオフレームである。インタレースビデオでは、例示の実施形態によると、インタレースビデオフレームは、符号化の前にデインタレースされる。あるいは、２つの相補インタレースビデオフィールドは、インタレースビデオフレーム又は別個のフィールドとして符号化される。プログレッシブビデオフレームを示すだけでなく、「フレーム」又は「ピクチャ」という用語は、単一の対になっていないビデオフィールド、相補的な対のビデオフィールド、所与の時間にビデオオブジェクトを表すビデオオブジェクト平面又はより大きな画像内の関心領域を示すことができる。ビデオオブジェクト平面又は領域は、あるシーンの複数のオブジェクト又は領域を含む、より大きな画像の一部とすることができる。

到着ソースフレーム（３１１）は、複数のフレームバッファ記憶エリア（３２１、３２２，．．．、３２ｎ）を含むソースフレームの一時メモリ記憶エリア（３２０）内に格納される。フレームバッファ（３２１、３２２等）は、ソースフレーム記憶エリア（３２０）内に１つのソースフレームを保持する。ソースフレーム（３２２）のうちの１つ以上がフレームバッファ（３２１、３２２等）内に格納された後、フレームセレクタ（３３０）は、個々のソースフレームをソースフレームの記憶エリア（３２０）から周期的に選択する。フレームがフレームセレクタ（３３０）によってエンコーダ（３４０）への入力用に選択される順序は、フレームがビデオソース（３１０）によって生成される順序と異なっていてよく、例えばフレームは時間的な後方予測を容易にするために、前方からの順序であってもよい。エンコーダ（３４０）の前に、エンコーダシステム（３００）は、符号化の前に選択フレーム（３３１）の事前処理（例えばフィルタリング）を実行するプリプロセッサ（図示せず）を含むことができる。事前処理は、符号化のための主成分及び副成分への色空間変換を含むことができる。

エンコーダ（３４０）は、選択フレーム（３３１）を符号化して符号化フレーム（３４１）を生成し、また、メモリ管理制御動作（ＭＭＣＯ：memory management control operation）信号（３４２）又は参照ピクチャセット（ＲＰＳ：reference picture set）情報も生成する。現在のフレームが、符号化された最初のフレームでない場合、その符号化プロセスを実行するとき、エンコーダ（３４０）は、復号フレームの一時メモリ記憶エリア（３６０）に格納されている１つ以上の先行して符号化／復号されたフレーム（３６９）を使用することができる。そのような格納済みの復号されたフレーム（３６９）は、現在のソースフレーム（３３１）のコンテンツのインターフレーム予測のための参照フレームとして使用される。一般に、エンコーダ（３４０）は、タイルへの分割、動き推定及び補償、周波数変換、量子化及びエントロピー符号化といった、符号化タスクを実行する複数の符号化モジュールを含む。エンコーダ（３４０）によって実行される正確な操作は、圧縮フォーマットに応じて変わり得る。出力の符号化データのフォーマットは、ＨＥＶＣフォーマット、Windows（登録商標）メディアビデオフォーマット、ＶＣ−１フォーマット、ＭＰＥＧ−ｘフォーマット（例えばＭＰＥＧ−１、ＭＰＥＧ−２又はＭＰＥＧ−４）、Ｈ．２６ｘフォーマット（例えばＨ．２６１、Ｈ．２５６２、Ｈ．２６３、Ｈ．２６４）又は別のフォーマットとすることができる。

エンコーダ（３４０）は、１つのフレームを、同じサイズ又は異なるサイズの複数のタイルに分割することができる。例えばエンコーダ（３４０）は、フレームを、フレーム境界によりフレーム内のタイルの水平境界と垂直境界を定義するタイル行及びタイル列に従って分割し、この場合、各タイルは矩形領域である。エンコーダ（３４０）は次いで、タイルを１つ以上のタイルセットにグループ化する。この場合、１つのタイルセットは、上記タイルのうちの１つ以上を含むグループである。タイルセット内のタイルは、フレーム内で隣接する可能性がある。あるいは、タイルセットは、フレーム内の隣接しないタイルを含む可能性がある。典型的に、あるフレームについて定義されるタイルセットは、一連のフレーム内の他のフレームについて（例えばフレームのグループについて、全体のシーケンスについて）定義されるものと同じタイルセットである。

エンコーダ（３４０）は、参照フレームからの予測に関して、インター符号化された予測フレームを表す。動き推定器は、１つ以上の参照フレーム（３６９）に対するソースフレーム（３３１）のサンプルのブロック又は他のセットの動きを推定する。複数の参照フレームが使用されるとき、複数の参照フレームは、異なる時間的方向又は同じ時間的方向からのものとすることができる。動き推定の一部として、エンコーダ（３４０）は、動き補償予測の参照領域が参照フレーム内の同じタイルセット内に収まるように、現在のフレームのタイルセット内のブロックの動きベクトルを制限することができる。動き補償予測の参照領域は、現在のフレームのサンプルの予測単位（prediction unit）（例えばブロック）について動き補償予測値を生成するのに使用される、参照フレーム内のサンプルの領域である。動き補償予測は、部分的位置補間（fractional-position interpolation）のように、予測単位のサイズと比べて幾らか大きい参照フレーム内の領域のサンプルにフィルタリングを適用する処理を伴うことがある。言い換えると、現在のフレームの予測単位について、動き補償予測値を計算するのに使用される動き補償予測の参照領域は、通常の予測単位のサイズの境界を超える拡張をサポートする補間フィルタの使用により、予測単位よりも大きなサイズを有することができる。そのようなＭＣＴＳを使用することは、タイルセットについての関心領域の復号、トランスコーディング及び並行復号のための機能を促進することができる。動き推定器は、エントロピー符号化される動きベクトル情報のような動き情報を出力する。動き補償器は、動きベクトルを参照フレーム（３６９）に適用して、動き補償予測値を決定する。

エンコーダは、ブロックの動き補償予測値と、対応する元の値との差を（存在する場合）決定する。これらの予測差分値（prediction residual value）は、周波数変換、量子化及びエントロピー符号化を使用して更に符号化される。例えばエンコーダ（３４０）は、ピクチャ、タイル、スライス及び／又はビデオの他の部分について量子化パラメータ（ＱＰ）の値を設定し、それに従って、変換係数を量子化する。同様に、イントラ予測では、エンコーダ（３４０）は、ブロックについてイントラ予測値を決定し、予測差分値を決定し、（周波数変換、量子化及びエントロピー符号化を用いて）予測差分値を符号化する。特に、エンコーダ（３４０）のエントロピーコーダは、量子化された変換係数値だけでなく、特定のサイド情報（例えば動きベクトル情報、ＱＰ値、モード決定、パラメータ選択）を圧縮する。典型的なエントロピー符号化技術は、Ｅｘｐ−Ｇｏｌｏｍｂ符号化、算術符号化、差分符号化、ハフマン符号化、ランレングス符号化、Ｖ２Ｖ（variable-length-to-variable-length）符号化、Ｖ２Ｆ（variable-length-to-fixed-length）符号化、ＬＺ符号化、辞書符号化、ＰＩＰＥ（probability interval partitioning entropy coding）符号化及び上記の組合せを含む。エントロピーコーダは、異なる種類の情報に異なる符号化技術を使用することができ、特定の符号化技術において複数の符号化テーブルから選択することができる。

符号化フレーム（３４１）及びＭＭＣＯ／ＲＰＳ情報（３４２）は、復号処理エミュレータ（３５０）によって処理される。復号処理エミュレータ（３５０）は、デコーダの機能の一部、例えばエンコーダ（３４０）によって動き推定及び補償で使用される参照フレームを再構築する復号タスクを実装する。復号処理エミュレータ（３５０）は、ＭＭＣＯ／ＲＰＳ情報（３４２）を使用して、符号化すべき後続フレームのイントラフレーム予測において参照フレームとして使用するために、所与の符号化フレーム（３４１）を再構築して格納する必要があるかどうかを判断する。ＭＭＣＯ／ＲＰＳ情報（３４２）が、符号化フレーム（３４２）を格納する必要があることを示す場合、復号処理エミュレータ（３５０）は、符号化フレーム（３４１）を受け取って対応する復号フレーム（３５１）を生成する、デコーダによって実施されるであろう、復号処理をモデル化する。そのようにする際に、エンコーダ（３４０）が、復号フレームの記憶エリア（３６０）内に格納されている復号フレーム（３６９）を使用しているとき、復号処理エミュレータ（３５０）も、記憶エリア（３６０）からの復号フレーム（３６９）を復号処理の一部として使用する。

復号フレームの一時メモリ記憶エリア（３６０）は、複数のフレームバッファ記憶エリア（３６１、３６２、．．．、３６ｎ）を含む。復号処理エミュレータ（３５０）は、エンコーダ（３４０）によって参照フレームとして使用するために必要とされなくなったフレームを有するいずれかのフレームバッファ（３６１、３６２等）を識別するために、ＭＭＯ／ＲＰＳ情報（３４２）を使用して記憶エリア（３６０）のコンテンツを管理する。復号処理をモデル化した後に、復号処理エミュレータ（３５０）は、新たに復号されたフレーム（３５１）を、この手法で識別されたフレームバッファ（３６１、３６２等）内に格納する。

符号化フレーム（３４１）及びＭＭＣＯ／ＲＰＳ情報（３４２）は、一時的な符号化データエリア（３７０）にバッファされる。符号化データエリア（３７０）に集約される符号化データは、基本的な符号化ビットストリームのシンタックスの一部として、１つ以上のピクチャの符号化データを含む。符号化データエリア（３７０）に集約される符号化データは、（例えば１つ以上のＳＥＩメッセージ又はビデオユーサビリティ情報（ＶＳＩ）メッセージ内の１つ以上のパラメータとして）符号化されたビデオデータに関連するメディアメタデータも含むことができる。そのようなメディアメタデータは、ＭＣＴＳ制御データ（例えばＭＣＴＳ用のＳＥＩメッセージ）を示すシンタックス要素を含むことができる。

一時的な符号化データエリア（３７０）からの集約データ（３７１）は、チャネルエンコーダ（３８０）によって処理される。チャネルエンコーダ（３８０）は、集約データを、（例えばＩＳＯ／ＩＥＣ １４４９６−１２といったメディアコンテナフォーマットに従って）メディアストリームとしての伝送のためにパッケージ化することができ、この場合、チャネルエンコーダ（３８０）は、シンタックス要素を、メディア伝送ストリームのシンタックスの一部として追加することができる。そのようなシンタックスは、ＭＣＴＳ制御データを示すシンタックス要素を含むことができる。あるいは、チャネルエンコーダ（３８０）は、（例えばＩＳＯ／ＩＥＣ １４４９６−１２といったメディアコンテナフォーマットに従って）ファイルとしての記憶のために集約データを編成することができ、この場合、チャネルエンコーダ（３８０）は、シンタックス要素を、メディアストレージファイルのシンタックスの一部として追加することができる。そのようなシンタックスは、ＭＣＴＳ制御データを示すシンタックス要素を含むことができる。あるいは、より一般的に、チャネルエンコーダ（３８０）は、１つ以上のメディアシステム多重化プロトコル又はトランスポートプロトコルを実装することができ、この場合、チャネルエンコーダ（３８０）は、シンタックス要素を、プロトコルのシンタックスの一部として追加することができる。やはり、そのようなシンタックスは、ＭＣＴＳ制御データを示すシンタックス要素を含むことができる。チャネルエンコーダ（３８０）は、ストレージ、通信接続部又は出力用の別のチャネルを表すチャネル（３９０）に出力を提供する。

＜ＩＶ．例示のデコーダシステム＞
図４は、例示のデコーダシステム（４００）のブロック図であり、説明される幾つかの実施形態は、このデコーダシステムとの関連で実装され得る。デコーダシステム（４００）は、リアルタイム通信用の低遅延復号モード及びファイル若しくはストリームからのメディア再生のための通常の復号モードといった、複数の復号モードのうちのいずれかで動作する能力を有する汎用の復号ツールとすることができ、あるいはそのような復号モードの１つに対して適合される専用の復号ツールとすることもできる。デコーダシステム（４００）を、オペレーティングシステムモジュールとして、アプリケーションライブラリの一部として、あるいはスタンドアロンのアプリケーションとして実装することができる。全体として、デコーダシステム（４００）は、チャネル（４１０）から符号化データを受け取り、再構築されたフレームを、出力先（４９０）への出力として生成する。符号化データは、ＭＣＴＳ制御データを示すシンタックス要素を含むことができる。

デコーダシステム（４００）は、チャネル（４１０）を含む。チャネル（４１０）は、ストレージ、通信接続又は入力としての符号化データ用の別のチャネルを表すことができる。チャネル（４１０）は、チャネル符号化された、符号化データを生成することができる。チャネルデコーダ（４２０）は、符号化データを処理することができる。例えばチャネルデコーダ（４２０）は、（例えばＩＳＯ／ＩＥＣ １４４９６−１２のようなメディアコンテナフォーマットに従って）伝送のためにメディアストリームとして集約されたデータを、パッケージ解除し、この場合、チャネルデコーダ（４２０）は、メディア伝送ストリームのシンタックスの一部として追加されたシンタックス要素を解析することができる。そのようなシンタックスは、ＭＣＴＳ制御データを示すシンタックス要素を含むことができる。あるいは、チャネルデコーダ（４２０）は、（例えばＩＳＯ／ＩＥＣ １４４９６−１２のようなメディアコンテナフォーマットに従って）記憶のためにファイルとして集約された符号化ビデオデータを分割することができ、この場合、チャネルデコーダ（４２０）は、メディア記憶ファイルのシンタックスの一部として追加されたシンタックス要素を解析することができる。そのようなシンタックスは、ＭＣＴＳ制御データを示すシンタックス要素を含むことができる。あるいは、より一般的には、チャネルデコーダ（４２０）は、１つ以上のメディアシステム逆多重化プロトコル又はトランスポートプロトコルを実装することができ、この場合、チャネルデコーダ（４２０）は、プロトコルのシンタックスの一部として追加されたシンタックス要素を解析することができる。やはり、そのようなシンタックスは、ＭＣＴＳ制御データを示すシンタックス要素を含むことができる。

チャネルデコーダ（４２０）から出力される符号化データ（４２１）は、十分な量のデータが受け取られるまで、一時的な符号化データエリア（４３０）に格納される。符号化データ（４２１）は、符号化フレーム（４３１）及びＭＭＣＯ／ＲＰＳ情報（４３２）を含む。符号化データエリア（４３０）内の符号化データ（４２１）は、基本の符号化データビデオビットストリームのシンタックスの一部として、１つ以上のピクチャの符号化データを含む。符号化データエリア（４３０）内の符号化データ（４２１）は、（例えば１つ以上のＳＥＩメッセージ又はＶＵＩメッセージ内の１つ以上のパラメータとして）符号化ビデオデータに関連するメディアメタデータも含むことができる。そのようなメディアメタデータは、（例えばＳＥＩメッセージの一部として）ＭＣＴＳ制御データを示すシンタックス要素を含むことができる。

一般に、符号化データエリア（４３０）は、符号化データ（４２１）がデコーダ（４５０）によって使用されるまで、符号化データ（４２１）を一時的に格納する。その時点で、符号化フレーム（４３１）及びＭＭＣＯ／ＲＰＳ情報（４３２）の符号化データは、符号化データエリア（４３０）からデコーダ（４５０）へ転送される。復号が続くと、新たな符号化データが、符号化データエリア（４３０）に追加されて、符号化データエリア（４３０）内に残っている最も古い符号化データが、デコーダ（４５０）に転送される。

デコーダ（４５０）は、符号化フレーム（４３１）を周期的に復号して、対応する復号フレーム（４５１）を生成する。必要に応じて、その復号処理を実行するとき、デコーダ（４５０）は、１つ以上の先行して復号されたフレーム（４６９）を、インターフレーム予測の参照フレームとして使用することができる。デコーダ（４５０）は、そのような先行して復号されたフレーム（４６９）を、復号フレームの一時メモリ記憶エリア（４６０）から読み出す。一般に、デコーダ（４５０）は、エントロピー復号、逆量子化、逆周波数変換、動き補償及びタイルのマージといった、復号タスクを実行する複数の復号モジュールを含む。デコーダ（４５０）によって実行される正確な操作は、圧縮フォーマットに応じて変わり得る。

例えばデコーダ（４５０）は、圧縮フレーム又はフレームのシーケンスの符号化データを受け取り、復号されたフレーム（４５１）を含む出力を生成する。デコーダ（４５０）では、バッファが、圧縮フレームの符号化データを受け取り、そして適切な時に、受け取った符号化データを、エントロピーデコーダに対して利用可能にする。エントロピーデコーダは、典型的には、エンコーダで実行されたエントロピー符号化の逆を適用して、エントロピー符号化された量子化データ及びエントロピー符号化されたサイド情報をエントロピー復号する。動き補償器は、動き情報を１つ以上の参照フレームに適用して、再構築されているフレームのサブブロック及び／又はブロック（一般的にはブロック）の動き補償予測を形成する。イントラ予測モジュールは、隣接する先行して再構築されたサンプル値から、現在のブロック値のサンプル値を空間的に予測することができる。デコーダ（４５０）は、予測残差も再構築する。逆量子化器は、エントロピー復号データを逆量子化する。例えばデコーダ（４５０）は、ビットストリーム内のシンタックス要素に基づいて、ピクチャ、タイル、スライス及び／又はビデオの他の部分についてＱＰの値を設定し、これに応じて変換係数を逆量子化する。逆周波数変換器は、量子化された周波数領域データを、空間領域情報に変換する。予測フレームについて、デコーダ（４５０）は、再構築された予測残差を動き補償予測と組み合わせて、再構築フレームを形成する。デコーダ（４５０）は、同様に、予測残差をイントラ予測からの空間予測値と組み合わせることができる。ビデオデコーダ（４５０）における動き補償のループは、適応的な非ブロック化フィルタを含み、復号フレーム（４５１）内のブロック境界の行及び／又は列にわたる不連続性を取り除く。

デコーダ（４５０）は、実装に応じて様々な方法でＭＣＴＳ制御データを使用することができる。例えばデコーダ（４５０）は、異なるタイルのセットを並行に復号することを決定するときに、ＭＣＴＳ制御データを使用することができる。あるいは、デコーダ（４５０）は、関心領域としての表示用に選択されたタイルセットのみを復号し、タイルセットの外部にあるフレームの部分は復号しないことを決定するときに、ＭＣＴＳ制御データを使用することができる。

復号フレームの一時メモリ記憶エリア（４６０）は、複数のフレームバッファ記憶エリア（４６１、４６２、．．．、４６ｎ）を含む。復号フレームの記憶エリア（４６０）は、復号ピクチャのバッファの例である。デコーダ（４５０）は、ＭＭＣＯ／ＲＰＳ情報（４３２）を使用して、復号フレーム（４５１）を格納することができるフレームバッファ（４６１、４６２等）を識別する。デコーダ（４５０）は、そのフレームバッファ内に復号フレーム（４５１）を格納する。

出力シーケンサ（４８０）は、ＭＭＣＯ／ＲＰＳ情報（４４２）を使用して、出力順で生成されるべき次のフレームが、復号フレームの記憶エリア（４６０）内でいつ利用可能になるかを識別する。出力順で生成されるべき次のフレーム（４８１）が、復号フレームの記憶エリア（４６０）内で利用可能になると、これは、出力シーケンサ（４８０）によって読み出されて、出力先（４９０）（例えばディスプレイ）に出力される。一般に、フレームが、出力シーケンサ（４８０）によって復号フレームの記憶エリア（４６０）から出力される順序は、フレームがデコーダ（４５０）によって復号される順序とは異なっていてよい。

＜Ｖ．例示のビデオエンコーダ＞
図５ａ及び図５ｂは、一般的なビデオエンコーダ（５００）のブロック図であり、記述した数例の実施形態は、このビデオエンコーダ（５００）との関連で実装され得る。エンコーダ（５００）は、入力ビデオ信号（５０５）として現在のピクチャを含むビデオピクチャのシーケンスを受け取り、出力として符号化データを符号化ビデオビットストリーム（５９５）内に生成する。

エンコーダ（５００）は、ブロックベースであり、実装に応じたブロックフォーマットを使用する。ブロックは、異なる段階、例えば周波数変換やエントロピー符号化の段階で更にサブ分割され得る。例えばピクチャを、６４×６４ブロック、３２×３２ブロック又は１６×１６ブロックに分割することができ、これを今度は、符号化及び復号用のピクセル値のより小さなブロック及びサブブロックに分割することができる。

エンコーダ（５００）は、イントラピクチャ符号化及び／又はインターピクチャ符号化を使用して、ピクチャを圧縮する。エンコーダ（５００）のコンポーネントの多くが、イントラピクチャ符号化とインターピクチャ符号化の双方に使用される。これらのコンポーネントによって実行される正確な操作は、圧縮されている情報のタイプに応じて変わる可能性がある。

タイル化モジュール（５１０）は、任意選択で、１つのピクチャを同じサイズ又は異なるサイズの複数のタイルに分割する。例えばタイル化モジュール（５１０）は、ピクチャを、ピクチャ境界によりピクチャ内でタイルの水平及び垂直境界を定義する、タイル行とタイル列とに従って分割する。この場合、各タイルは矩形の領域である。タイル化モジュール（５１０）は、これらのタイルを１つ以上のタイルセットにグループ化することができ、この場合、１つのタイルセットは、これらのタイルのうちの１つ以上から成るグループである。タイルセット内のタイルは、ピクチャ内で隣接する可能性がある。あるいは、タイルセットは、ピクチャ内の隣接しないタイルを含む可能性がある。典型的には、ピクチャについて定義されるタイルセットは、ピクチャシーケンス内の他のピクチャについて（例えばピクチャのグループについて、全体のシーケンスについて）定義されるものと同じタイルセットである。

一般的な符号化制御部（５２０）は、入力ビデオ信号（５０５）についてのピクチャだけでなく、エンコーダ（５００）の様々なモジュールからのフィードバック（図示せず）を受け取る。全体的に、一般的な符号化制御部（５２０）は、制御信号（図示せず）を、（タイル化モジュール（５１０）、変換器／スケーラ／量子化器（５３０）、スケーラ／逆変換器（５３５）、イントラピクチャ推定器（５４０）、動き推定器（５５０）及びイントラ／インタースイッチといった）他のモジュールに提供して、符号化中に符号化パラメータを設定及び変更する。一般的な符号化制御部（５２０）は、符号化中に、例えば速度ひずみ分析を実行して、中間結果を評価することもできる。一般的な符号化制御部（５２０）は、符号化中になされた決定を示す一般的な制御データを生成し、これにより、対応するデコーダは、一貫性のある決定を行うことができる。一般的な制御データ（５２２）は、ヘッダーフォーマット器／エントロピーコーダ（５９０）に提供される。一般的な符号化制御部（５２０）は、符号化中にＭＣＴＳを使用すべきかどうかを決定することができる。

現在のピクチャが、インターピクチャ予測を使用して予測される場合、動き推定器（５５０）は、１つ以上の参照ピクチャに対して、入力ビデオ信号（５０５）の現在のピクチャのピクセル値のブロック、サブブロック又は他のセットの動きを推定する。復号ピクチャバッファ（５７０）は、１つ以上の再構築された、先行して符号化されたピクチャを、参照ピクチャとして使用するためにバッファする。複数の参照ピクチャが使用されるとき、複数の参照ピクチャは、異なる時間的方向からのものとすることもでき、同じ時間的方向からのものとすることもできる。現在のピクチャのＭＣＴＳについて、動き推定の一部として、動き推定器（５５０）は、動き補償予測処理によって参照される領域が参照ピクチャ内の同じタイルセット内に収まるように、タイルセット内のブロックについて動きベクトルを制限することができる。

動き推定器（５５０）は、動きベクトルデータ及び参照ピクチャ選択データといった動きデータ（５５２）をサイド情報として生成する。動きデータ（５５２）は、ヘッダーフォーマット器／エントロピーコーダ（５９０）並びに動き補償器（５５５）に提供される。

動き補償器（５５５）は、動きベクトルを、復号ピクチャバッファ（５７０）からの再構築された参照フレームに適用する。動き補償器（５５５）は、現在のピクチャについて動き補償予測を生成する。

エンコーダ（５００）内の別個の経路において、イントラピクチャ推定器（５４０）は、入力ビデオ信号（５０５）の現在のピクチャのピクセル値のブロック、サブブロック又は他のセットについてイントラピクチャ予測をどのように実行するかについて決定する。イントラピクチャ符号化を使用して、現在のピクチャを全体的に又は部分的に符号化することができる。現在のピクチャの再構築（５３８）の値を使用して、イントラピクチャ推定器（５４０）は、現在のピクチャの現在のブロック、サブブロック等のピクセル値を、現在のピクチャの隣接する先行して再構築されたピクセル値から、どのように空間的に予測するかについて決定する。イントラピクチャ推定器（５４０）は、予測モードデータといったイントラ予測データ（５４２）を、サイド情報として生成する。イントラ予測データ（５４２）は、ヘッダーフォーマット器／エントロピーコーダ（５９０）並びにイントラピクチャ予測器（５４５）に提供される。予測モードデータに従って、イントラピクチャ予測器（５４５）は、現在のピクチャの現在のブロック又はサブブロックのピクセル値を、現在のピクチャの隣接する先行して再構築されたピクセル値から空間的に予測する。

イントラ／インタースイッチは、ピクセル値の所与のブロック、サブブロック又は他のセットについての予測（５５８）として使用するために、動き補償予測又はイントラピクチャ予測の値を選択する。予測（５５８）のサブブロック、ブロック等と、入力ビデオ信号（５０５）の元の現在のピクチャの対応する部分との間の差（存在する場合）は、そのサブブロック、ブロック等についての残差（５１８）である。現在のピクチャの再構築の間に、再構築された残差値は、予測（５５８）と組み合わされて、ビデオ信号（５０５）からの元のコンテンツの再構築（５３８）を生成する。しかしながら、損失のある圧縮では、何らかの情報がビデオ信号（５０５）から失われたままである。

変換器／スケーラ／量子化器（５３０）では、周波数変換器が、空間領域のビデオ情報を周波数領域（すなわち、空間的変換）のデータへ変換する。ブロックベースのビデオ符号化について、周波数変換器は、離散コサイン変換、その整数近似又は別のタイプの前方ブロック変換を予測残差データのブロック又はサブブロック（あるいは予測値（５５８）がヌルである場合はピクセル値データ）に適用し、周波数変換係数のブロック／サブブロックを生成する。スケーラ／量子化器は、次いで変換係数をスケーリング及び量子化する。例えば量子化器は、フレームごとに、タイルごとに、スライスごとに、ブロックごとに又は他の基準で変わるステップサイズで、非均一のスカラー量子化を周波数領域データに適用する。量子化された変換係数データ（５３２）は、ヘッダーフォーマット器／エントロピーコーダ（５９０）に提供される。

スケーラ／逆変換器（５３５）では、スケーラ／逆量子化器は、量子化された変換係数に対して、逆スケーリング及び逆量子化を実行する。逆周波数変換器は、逆周波数変換を実行して、再構築された予測残差又はピクセル値のブロック／サブブロックを生成する。エンコーダ（５００）は、再構築された残差を、予測（５５８）の値（例えば動き補償予測値、イントラピクチャ予測値）と組み合わせて、再構築（５３８）を形成する。

イントラピクチャ予測のために、再構築（５３８）の値を、イントラピクチャ推定器（５４０）及びイントラピクチャ予測器（５４５）にフィードバックすることができる。インターピクチャ予測のために、再構築（５３８）の値を更にフィルタリングすることができる。フィルタリング制御部（５６０）は、ビデオ信号（５０５）の所与のピクチャについて、再構築（５３８）の値に対して非ブロック化フィルタリング及びサンプル適応的オフセット（ＳＡＯ）フィルタリングをどのように実行するかを決定する。フィルタリング制御部（５６０）は、フィルタ制御データ（５６２）を生成し、このフィルタ制御データ（５６２）は、ヘッダーフォーマット器／エントロピーコーダ（５９０）及びマージ／フィルタ部（５６５）に提供される。

マージ／フィルタ部（５６５）では、エンコーダ（５００）は、異なるタイルからのコンテンツを、ピクチャの再構築されたバージョンへとマージする。エンコーダ（５００）は、フレーム内の境界を越える不連続性を適応的に取り除くよう、非ブロック化フィルタリングとＳＡＯフィルタリングをフィルタ制御データ（５６２）に応じて選択的に実行する。タイル境界は、エンコーダ（５００）の設定に応じて、選択的にフィルタされる可能性があり、あるいは全くフィルタされないこともある。復号ピクチャバッファ（５７０）は、再構築された現在のピクチャを、後続の動き補償予測における使用のためにバッファする。

ヘッダーフォーマット器／エントロピーコーダ（５９０）は、一般的な制御データ（５２２）、量子化された変換係数データ（５３２）、イントラ予測データ（５４２）、動きデータ（５５２）及びフィルタ制御データ（５６２）をフォーマットし、かつ／又はエントロピー符号化する。例えばヘッダーフォーマット器／エントロピーコーダ（５９０）は、コンテキスト適応型のバイナリ算術符号化を、様々なシンタックス要素のエントロピー符号化のために使用する。ヘッダーフォーマット器／エントロピーコーダ（５９０）は、符号化ビデオビットストリーム（５９５）内に符号化データを提供する。符号化ビデオビットストリーム（５９５）のフォーマットは、ＨＥＶＣフォーマット、Windows（登録商標）メディアビデオフォーマット、ＶＣ−１フォーマット、ＭＰＥＧ−ｘフォーマット（例えばＭＰＥＧ−１、ＭＰＥＧ−２又はＭＰＥＧ−４）、Ｈ．２６ｘフォーマット（例えばＨ．２６１、Ｈ．２６２、Ｈ．２６３、Ｈ．２６４）又は別のフォーマットとすることができる。

所望の圧縮の実装及びタイプに応じて、エンコーダのモジュールを追加し、省略し、複数のモジュールに分割し、他のモジュールと組み合わせて、かつ／又は同様のモジュールと置換することができる。代替的な実施形態において、異なるモジュール及び／又はモジュールの他の構成を用いるエンコーダが、説明される技術の１つ以上を実装する。エンコーダの具体的な実施形態は、典型的に、エンコーダ（５００）の変形又は補足されたバージョンを使用する。エンコーダ（５００）内のモジュール間について図示されている関係はエンコーダ内の情報の一般的な流れを示しており、他の関係は簡潔性のために図示されていない。

＜ＶＩ．例示のビデオデコーダ＞
図６は、一般的なビデオデコーダ（６００）のブロック図であり、記述した数例の実施形態は、このビデオデコーダ（６００）との関連で実装され得る。デコーダ（６００）は、符号化ビデオビットストリーム（６０５）内の符号化データを受け取り、再構築されるビデオ（６９５）用のピクチャを含む出力を生成する。符号化ビデオビットストリーム（６０５）のフォーマットは、ＨＥＶＣフォーマット、Windows（登録商標）メディアビデオフォーマット、ＶＣ−１フォーマット、ＭＰＥＧ−ｘフォーマット（例えばＭＰＥＧ−１、ＭＰＥＧ−２又はＭＰＥＧ−４）、Ｈ．２６ｘフォーマット（例えばＨ．２６１、Ｈ．２６２、Ｈ．２６３、Ｈ．２６４）又は別のフォーマットとすることができる。

デコーダ（６００）は、ブロックベースであり、実装に応じたブロックフォーマットを使用する。例えばピクチャを、６４×６４ブロック、３２×３２ブロック又は１６×１６ブロックに分割することができ、これを今度は、復号用のピクセル値のより小さなブロック及びサブブロックに分割することができる。

デコーダ（６００）は、イントラピクチャ復号及び／又はインターピクチャ復号を使用して、ピクチャを圧縮解除する。デコーダ（６００）のコンポーネントの多くが、イントラピクチャ復号とインターピクチャ復号の双方に使用される。これらのコンポーネントによって実行される正確な操作は、圧縮解除されている情報のタイプに応じて変わる可能性がある。

バッファは、符号化ビデオビットストリーム（６０５）内の符号化データを受け取り、受け取った符号化データを、パーサ／エントロピーデコーダ（６１０）に利用可能にする。パーサ／エントロピーデコーダ（６１０）は、典型的にはエンコーダ（５００）において実行されたエントロピー符号化の逆（例えばコンテキスト適応型のバイナリ算術復号）を適用することで、エントロピー符号化されたデータをエントロピー復号する。解析及びエントロピー復号の結果として、パーサ／エントロピーデコーダ（６１０）は、一般的な制御データ（６２２）、量子化された変換係数データ（６３２）、イントラ予測データ（６４２）、動きデータ（６５２）及びフィルタ制御データ（６６２）を生成する。

一般的な復号制御部（６２０）は、一般的な制御データ（６２２）を受け取り、制御信号（図示せず）を、（スケーラ／逆変換器（６３５）、イントラピクチャ予測器（６４５）、動き補償器（６５５）及びイントラ／インタースイッチといった）他のモジュールに提供して、復号中に復号パラメータを設定及び変更する。ＭＣＴＳ制御データに基づいて、一般的な復号制御部（６２０）は、復号中に、ＭＣＴＳをどのように（例えば選択されたタイルセットの関心領域の復号のために、異なるタイルセットの並行復号のために）利用するかについて決定することができる。

現在のピクチャが、インターピクチャ予測を使用して予測される場合、動き補償器（６５５）は、動きベクトルデータ及び参照ピクチャ選択データといった、動きデータ（６５２）を受け取る。動き補償器（６５５）は、動きベクトルを、復号ピクチャバッファ（６７０）からの再構築された参照ピクチャに適用する。動き補償器（６５５）は、現在のピクチャのサブブロック及び／又はブロックについて、動き補償予測を生成する。復号ピクチャバッファ（６７０）は、１つ以上の先行して再構築されたピクチャを、参照ピクチャとしての使用のために格納する。

デコーダ（６００）内の別個の経路において、イントラピクチャ予測器（６４５）は、予測モードデータといったイントラ予測データ（６４２）を受け取る。現在のピクチャの再構築（６３８）の値を使用して、予測モードデータに応じて、イントラピクチャ予測器（６４５）は、現在のピクチャの現在のブロック又はサブブロックのピクセル値を、現在のピクチャの隣接する先行して再構築されたピクセル値から空間的に予測する。

イントラ／インタースイッチは、ピクセル値の所与のブロック、サブブロック又は他のセットについての予測（６５８）として使用するために、動き補償予測又はイントラピクチャ予測の値を選択する。デコーダ（６００）は、予測（６５８）を、再構築された残差値と組み合わせて、ビデオ信号（５０５）からの元のコンテンツの再構築（６３８）を生成する。

残差を再構築するために、スケーラ／逆変換器（６３５）は、量子化された変換係数データ（６３２）を受け取って処理する。スケーラ／逆変換器（６３５）において、スケーラ／逆量子化器は、量子化された変換係数に対して逆スケーリング及び逆量子化を実行する。逆周波数変換器は、逆周波数変換を実行し、再構築された予測残差又はピクセル値のブロック／サブブロックを生成する。例えば逆周波数変換器は、逆グロック変換を周波数変換係数に適用し、ピクセル値データ又は予測残差データを生成する。逆周波数変換は、逆離散コサイン変換、その整数近似又は別のタイプの逆周波数変換とすることができる。

イントラピクチャ予測のために、再構築（６３８）の値を、イントラピクチャ予測器（６４５）にフィードバックすることができる。インターピクチャ予測のために、再構築（６３８）の値を更にフィルタリングすることができる。マージ／フィルタ部（６６５）では、デコーダ（６００）は、異なるタイルからのコンテンツを、ピクチャの再構築されたバージョンにマージする。デコーダ（６００）は、フレーム内の境界を越える不連続性を適応的に取り除くよう、非ブロック化フィルタリングとＳＡＯフィルタリングを、フィルタ制御データ（６６２）及びフィルタ適応のルールに従って選択的に実行する。デコーダ（６００）の設定に応じて、タイル境界は選択的にフィルタされる可能性があり、あるいは全くフィルタされないこともある。復号ピクチャバッファ（６７０）は、再構築された現在のピクチャを、後続の動き補償予測における使用のためにバッファする。

デコーダ（６００）は、事後処理の非ブロック化フィルタも含むことができる。事後処理の非ブロック化フィルタは、任意選択により、再構築されたピクチャ内の不連続性を取り除く。（非リング（de-ring）化フィルタリングのような）他のフィルタを、事後処理のフィルタリングの一部として適用することもできる。

所望の圧縮解除の実装及びタイプに応じて、デコーダのモジュールを追加し、省略し、複数のモジュールに分割し、他のモジュールと組み合わせて、かつ／又は同様のモジュールと置換することができる。代替的な実施形態において、異なるモジュール及び／又はモジュールの他の構成を用いるデコーダが、説明される技術の１つ以上を実装する。デコーダの具体的な実施形態は、典型的に、デコーダ（６００）の変形又は補足されたバージョンを使用する。デコーダ（６００）内のモジュール間について図示されている関係はデコーダ内の情報の一般的な流れを示しており、他の関係は簡潔性のために図示されていない。

＜ＶＩＩ．動き制限タイルセットのための制御データの伝達と使用＞
このセクションは、動き制限タイルセット（ＭＣＴＳ）のための制御データの伝達と使用についての様々な革新を提示する。一般に、ＭＣＴＳ制御データは、タイルの１つ以上の指定されたセット（ＭＣＴＳ）内におけるインターピクチャ予測の処理が、特定の領域（例えば他のピクチャ内のタイルの各々対応するセット内の領域）のみを参照するよう制限されることを指示する。本革新は、デコーダが、各ピクチャのコンテンツ全体を復号する必要なく、符号化ビデオシーケンスのピクチャ内の指定されたＭＣＴＳを正しく復号することを可能にすることができる。符号化ビデオ内のインターピクチャ予測の依存性が、特定の境界（例えばタイルセットの境界）にわたって制限されるときを示す明示的な指示を提供することにより、ＭＣＴＳ制御データは、関心領域の復号及び表示のための複雑なスケーラブル性を促進し、簡単なトランスコーディングを可能にし、改善された損失のロバスト性を提供し、そして向上したデコーダの並行性を可能にすることができる。

ＨＥＶＣ規格のバージョンに応じて、補足エンハンスメント情報（ＳＥＩ）メッセージ内で信号伝達されるようなＭＣＴＳ制御データについて、様々な例が提供される。そのようなＭＣＴＳ制御データのＳＥＩメッセージは、ＨＥＶＣフォーマットに容易に組み込むことができる。

Ａ．例示のタイル及びタイルセット
一般に、タイルは、ピクチャの矩形の領域である。タイルは、タイル列とタイル行に応じてピクチャ内で配置される。したがって、タイルは、ピクチャ内の水平及び垂直境界を定義する。ピクチャ内のタイルを、均一にサイズ調整することができ、あるいは、ピクチャ内のタイルはサイズが異なっていてもよい。

２０１３年１月のバージョンのＨＥＶＣ規格では、例えばピクチャを複数のタイルに分割することができる。tiles_enabled_flagというシンタックス要素は、ピクチャパラメータセット（ＰＰＳ）で伝達される。tiles_enabled_flagが１のとき、ピクチャはタイルに分けられ、タイル列の数、タイル行の数及びサイズの情報が伝達される。サイズ情報は、全てのタイルについて均一のサイズを指示することができ、あるいはタイルごとに指定のサイズを伝達することもできる。Ｂｒｏｓｓ等著の「High Efficiency Video Coding(HEVC) Text Specification Draft 8」、JCTVC-L1003_v34、２０１３年１月を参照されたい。

一般に、タイルは、一部の符号化処理について、他のタイルとは独立に符号化される。２０１３年１月のバージョンのＨＥＶＳ規格によると、タイルが使用されるとき、ＨＥＶCビットストリームのシンタックス及びＨＥＶC復号処理は、（１）同じピクチャ内のタイル境界を越えるイントラピクチャ予測の依存性と、（２）同じピクチャ内のタイル境界を越えるエントロピー符号化／復号とをなくすように構造化される。ループフィルタリングは、タイル境界にわたって選択的に無効にされるが、一部の場合には許可される。しかしながら、インターピクチャ予測の依存性は、タイル境界に対して制限されない。タイル内の予測単位は、参照ピクチャ内において、その参照ピクチャ内の配置されたタイルの空間的境界の外部にある領域を参照することができる。したがって、２０１３年１月のバージョンのＨＥＶＣ規格のタイルでは、インターピクチャ予測用の参照として使用される他のピクチャ内の他のタイルとの関連では、タイルについて独立的な関係は必要とされない。

タイルセットは、ピクチャ内の１つ以上のタイルの配置である。タイルセットを、ピクチャ内のタイルの１つ以上の範囲として指定することができる。次のセクションで説明されるように、動き制限タイルセット（ＭＣＴＳ）は、インターピクチャ予測の依存性が、ピクチャごとにタイルセット内の領域に限定されるタイルセットである。簡単な場合では、シリーズ内のピクチャは、同じ構成のタイルセットを有し、このため、現在のピクチャ内のタイルセットは、その参照ピクチャ内の配置されたタイルセットを有する。

図７ａは、１６個の均一サイズのタイルに分割されたフレーム（７０１）を示している。タイルの総数は実装に依存し、何らかの他の値を有することができる（例えば９、２０又は２５個のタイル）。図７ｂ〜図７ｇでは、タイルは、異なる方法でタイルセットにグループ化される。

タイルセットは複数のタイルを含むことができる。例えば図７ｂは、フレーム（７０２）を示しており、フレーム（７０２）の中央にある４つのタイルは、１つのタイルセット：タイルセットＡとして編成されている。代替的に、タイルセットが単一のタイルを含む可能性がある。極端な場合では、ピクチャ内の各タイルが、それ自身タイルセット（例えば図７ａのフレームの１６個のタイルについてそれぞれ、１６個のタイルセット）として定義される可能性がある。

タイルセット内のタイルの総数及びタイルセット内のタイルの構成は、利用可能なタイルから任意に指定されることが可能である。例えば図７ｃは、フレーム（７０３）を示しており、フレーム（７０３）の６つのフレームが１つのタイルセット：タイルセットＡとして編成されている。残りのタイルは、いずれのタイルセットでもない。フレームの所与のタイルをタイルセットに割り当てることができ、タイルセット以外のままにすることもできる。

図７ｄは、１６個のタイル全てがタイルセットに割り当てられているフレーム（７０４）を示している。タイルセットＡは、フレーム（７０４）の中央にある４つのタイルを含み、タイルセットＢは、フレーム（７０４）のタイルセットＡのタイルを囲む残り１２個のタイルを含んでいる。

図７ｂ〜図７ｄでは、所与のタイルセットのタイルは隣接しているが、タイルセット内のタイルが隣接する必要性はない。例えば図７ｅは、８個のタイルがタイルセットＡに割り当てられ、８個のタイルがタイルセットＢに割り当てられているフレーム（７０５）を示している。タイルセットＢの８個のタイルは、フレーム（７０５）内のタイルセットＡの反対側の２つの領域に分けられている。

多くの場合、タイルセットは、図７ｂ〜図７ｅに図示されるように、フレームの中央に１つ以上のタイルを含む。タイルのこの構成は、（例えば意図される焦点が中央にあるとき、あるいは識別される領域がビデオ会議の話し手の顔を含むとき）関心領域の復号に有益であり得る。図７ｂ及び図７ｄに示される構成は、中央のタイルセット（タイルセットＡ）とフレームと間のアスペクト比が変わらないという更なる利点を提供する。

一方、図７ｆは、タイルが４つのタイルセットＡ、Ｂ、Ｃ及びＤに割り当てられるフレーム（７０６）を示しており、４つのタイルセットＡ、Ｂ、Ｃ及びＤがフレーム（７０６）の全てを覆っている。各タイルセットは４つのタイルを有する。タイルセットのこの構成は、並行の符号化及び復号を促進することができる。特に、ＭＣＴＳでは、（符号化中の）動き推定と（符号化又は復号中の）動き補償を、タイルセットＡ、Ｂ、Ｃ及びＤについて並行に実行することができる。

図７ｂ〜図７ｆでは、１つのタイルは、最大でも１つのタイルセットの一部である。しかしながら、一部の実装では、１つのタイルを複数のタイルのセットの一部とすることができる。図７ｇは、フレーム（７０７）の３つの異なるビューを示しており、このフレーム（７０７）内では、タイルの幾つかが複数のタイルセットの一部であり、タイルセットの幾つかが単一のタイルセットの一部であり、タイルセットの幾つかはいずれのタイルセットの一部でもない。図７ｂに示されるフレーム（７０７）では、タイルの一番上の行のタイルは、タイルセットＡ、（タイルセットＡと重複する）タイルセットＢ及び（タイルセットＡ及びタイルセットＢと重複する）タイルセットＣの一部である。２行目のタイルは、タイルセットＢとタイルセットＣの一部である。３行目のタイルはタイルセットＣの一部であり、４行目のタイルは、いずれのタイルセットの一部でもない。このようなタイルの構成は、所与のピクチャの符号化及び復号に使用されるタイルセットがシーケンス内のピクチャごとに変化するとき、あるいはタイルセット用のリフレッシュ可能な領域のサイズ、形状及び／又は位置が、シーケンス内のピクチャごとに変化することを許容されるとき、漸進的デコーダリフレッシュのような機能を促進することができる。

Ｂ．動き制限タイルセット（概要）
動き制限タイルセット（ＭＣＴＳ）は、インターピクチャ予測の依存性が、特定の１つの領域又は複数の領域に限定されるタイルセットである。多くの場合、特定の領域は、ピクチャごとに同じタイルセット内である。しかしながら、他の場合には、特定の領域は、別のタイルセット内であるか、インターピクチャ予測に使用される参照ピクチャの何らかの他の１つ又は複数の領域である。一般に、ＭＣＴＳの外部の他のタイルセット又は領域の復号とは独立に、所与のＭＣＴＳについて動き補償を実行することが可能である。これが可能であるのは、インターピクチャ予測が、参照ピクチャ内のＭＣＴＳの外部（すなわち、参照ピクチャ内の配置されたタイルセットの外部）の領域を参照しないように制限されるためである。

ＭＣＴＳのための符号化は、動き推定中の動きベクトルを検索する際の制限を通して実装され得る。動きベクトルの検索範囲は、タイルセット境界によって限定される。

図８は、タイルセット境界における動き制限を“伴わない”、タイルセットの予測単位についての動き推定及び動き補償予測を示している。現在のフレーム（８２０）は、サンプルのブロック又はサブブロックである予測単位（８２４）を有するタイルセットＡ（８２２）を含む。予測単位（８２４）についての動きベクトル（８２６）は、予測単位（８２４）の動き補償予測値を生成するのに使用される参照フレーム（８１０）内の領域（８１４）に関連付けられる。領域（８１４）は、部分的に参照フレーム（８１０）内の配置されたタイルセットＡ（８１２）内に置かれ、部分的に参照フレーム（８１０）内のタイルセットＡ（８１２）の外部に置かれている。タイルセットＡはＭＣＴＳではないので、タイルセットＡの外部にあるサンプル値の位置を参照する、タイルセットＡの予測単位のインターピクチャ予測処理に制限はない。その結果、現在のフレーム（８２０）の予測単位（８２４）の正しい復号は、参照フレーム（８１０）内のタイルセット（８１２）の外部の値の再構築に依存する。

対照的に、図９は、タイルセット境界における動き制限を“伴う”、タイルセットの予測単位についての動き推定及び動き補償予測を示している。現在のフレーム（９２０）は、サンプルのブロック又はサブブロックである予測単位（９２４）を有するタイルセットＡ（９２２）を含む。予測単位（９２４）についての動きベクトル（９２６）は、予測単位（９２４）の動き補償予測値を生成するのに使用される参照フレーム（９１０）内の領域（９１４）に関連付けられる。部分的又は全体的にタイルセットＡ（９１２）の外側にある領域が、予測単位（９２４）についてより良い予測を与え得る場合であっても、動き推定範囲に対する制限に起因して、エンコーダは、参照フレーム（９１０）内の配置されたタイルセット（９１２）内にその全体が含まれる領域を使用する。タイルセットＡはＭＣＴＳであるので、タイルセットＡ内の予測単位についてのインターピクチャ予測処理は、タイルセットＡの外側にあるサンプル値の位置を参照することはできない。その結果、現在のフレーム（９２０）の予測単位（９２４）の正しい復号は、参照フレーム（９１０）内のタイルセット（９１２）の外部の値の再構築に依存しない。

したがって、ＭＣＴＳを伴うインターピクチャ予測の依存性は、タイルセット境界にわたって制限される。しかしながら、タイルセット内のタイル境界を越える動きは、依然として許容される。タイルについてイントラピクチャ予測の依存性及び算術符号化の依存性に対する制限は依然として適用される。（例えば非ブロック化フィルタリングのための）フィルタリング操作がタイル境界にまたがって行われるとき、タイルセットの境界の一部が影響を受けることがある。その結果、符号化中に使用される参照フレームのサンプル値が、復号中に使用される参照フレームのサンプル値に正確に一致しないことがある。特に、復号中にＭＣＴＳのみが復号される場合、ＭＣＴＳのタイルセット境界のサンプル値は、そのようなタイルセット境界を越えるループフィルタリングが実行されないので、参照フレーム内で相違することがある。これは、完全なピクチャ復号と比べて、ＭＣＴＳのみの復号の品質に若干の負の影響を有する可能性がある。

ＭＣＴＳの復号は、核となる復号処理への変化は伴わない。しかしながら、デコーダは、ＭＣＴＳ制御データを使用して、ピクチャの異なる部分の別個のタイルセットについて復号をどのように並列化するかについて決定し、あるいは以下で説明されるようにＲＯＩ復号を実行するよう決定してもよい。

Ｃ．ＭＣＴＳ及びＭＣＴＳ制御データの例示の使用
このセクションは、並行符号化及び復号、関心領域の復号及び表示、簡単なトランスコーディング及び損失の回復を含め、ＭＣＴＳ及びＭＣＴＳ制御データの様々な使用を説明する。ＭＣＴＳ制御データは、通常のビデオ符号化／復号のための有益な機能を可能にし、複雑なスケーラブル性のためのスケーラブルな拡張としても見ることができる。

１．並行符号化及び／又は並行復号
エンコーダは、多くの符号化操作のために、別個のＭＣＴＳを並行に符号化することができる。エンコーダは、その符号化処理を、タイルセットによって定義される領域について領域固有の方法で分割する。ＭＣＴＳ制御データを使用して、対応するデコーダは、多くの復号操作のために、別個のＭＣＴＳを並行に復号することができる。デコーダは、その復号処理を、タイルセットによって定義される領域について領域固有の方法で分割する。特に、所与のタイルセットの動き補償について、エンコーダ（又はデコーダ）は、その所与のタイルセットの外側の領域について、参照ピクチャのサンプル値にアクセスする必要がない。したがって、参照ピクチャの全体の再構築を待つ必要なく、異なるＭＣＴＳを並行に符号化又は復号することができる。

図１０は、ＭＣＴＳを有するピクチャについての並行符号化及び並行復号の例（１０００）を示している。図１０では、エンコーダ（１０１０）は、入力ビデオ信号（１００５）を受け取り、これを（図７ｆのように）４つのタイルセットＡ、Ｂ、Ｃ及びＤにタイル化し、それぞれのタイルセットを並行に符号化する。（エンコーダ（１０１０）の一部の符号化処理、例えばループフィルタリングは、異なるタイルセットについて並行に実行されない）。エンコーダ（１０１０）は、タイルセットＡ、Ｂ、Ｃ及びＤの符号化データを有する符号化ビデオビットストリーム（１０１５）を生成する。符号化ビデオビットストリーム（１０１５）は、ＭＣＴＳ制御データも含む。

符号化ビデオビットストリーム（１０１５）は、ネットワーク（１０２０）を介してデコーダ（１０３０）に伝達される。ＭＣＴＳ制御データを使用して並行復号の機会を識別すると、デコーダ（１０３０）は、それぞれのタイルセットを並行に復号して、タイルセットの再構築されたコンテンツをマージし、再構築されたビデオ（１０３５）を生成する。（デコーダ（１０３０）の一部の復号処理、例えばループフィルタリングは、異なるタイルセットについて並行に実行されない）。

図１０は、並行符号化と並行復号の双方を示しているが、代替として、並行符号化のみが実装され、あるいは並行復号のみが実装される。また、図１０では、並行処理の例の数がタイルセットの数（すなわち４）に一致する符号化と復号を示しているが、代替的には、並行処理の例の数はタイルセットの数よりも少ない。

２．ＲＯＩ復号
タイルセット境界に対するインターピクチャ予測が制限されるとき、関心領域（ＲＯＩ）の復号及び表示とは独立に、タイルセットを復号して表示することができる。デコーダは、１つ以上の選択されたタイルセットのＲＯＩ復号及び表示のためにＭＣＴＳ制御データを使用することができる。この場合、ピクチャ全体の代わりに、タイルセットによって指定されたタイルのサブセットのみが復号されて表示される。例えばデコーダは、完全なピクチャの符号化データをデコードする代わりに、選択されたタイルセットの符号化データを含む符号化ビデオビットストリームのサブセットを復号する。

図１１は、ＭＣＴＳを有するピクチャについてのＲＯＩ復号の例（１１００）を示している。図１１では、エンコーダ（１１１０）は、入力ビデオ信号（１１０５）を受け取って、（図７ｂのように）タイルセットＡを含むようにタイル化し、このビデオを符号化する。エンコーダ（１１１０）は、タイルセットＡをＭＣＴＳとして符号化する。エンコーダ（１１１０）は、ＭＣＴＳとしてタイルセットＡを含む、ピクチャ全体の符号化データを有する符号化ビデオビットストリーム（１１１５）を生成する。符号化ビデオビットストリーム（１１１５）は、ＭＣＴＳ制御データも含む。

符号化ビデオビットストリーム（１１１５）は、ネットワーク（１１２０）を介してデコーダ（１１３０）に伝達される。ＭＣＴＳ制御データを使用して並行復号の機会を識別すると、デコーダ（１１３０）は、タイルセットＡの符号化データを復号して、タイルセットＡの再構築されたビデオ（１１３５）を生成する。

ＲＯＩ復号は、ＲＯＩ復号のために選択されたタイルセットが単一の矩形領域であるときに、特に有益であり、そのような単一の矩形領域は、図７ｂ又は図７ｄのように単一のタイル又は複数タイルの隣接する矩形のエリアであり得る。例えば単一の矩形のエリアを、小さなディスプレイデバイスにおける表示用に復号することができる。あるいは、単一の矩形のエリアを、ピクチャインピクチャの表示ウィンドウとしての表示用に復号することができる。あるいは、単一の矩形のエリアを、（例えば多者会議のために）他のビットストリームから生成される小さな領域を有する合成画像（composite）の一部としての表示用に復号することができる。

さらに、リアルタイム通信のような帯域幅が限定されるシナリオでは、ＭＣＴＳの伝達及び使用は、異なる復号／表示解像度について異なるストリーミングビットレートを用いて、ＲＯＩのスケーラブル性の新たな次元を可能にする。これは、ビデオコンテンツが異種のチャネルを通して異なるデバイスに配信されるシナリオに有益である可能性がある。例えばビットストリームは、（ａ）中央のＭＣＴＳが最も低いビットレートとピクチャサイズを提供し、（ｂ）中央のＭＣＴＳに加えて、最初の同心リング領域がより高いビットレートとピクチャサイズを提供し、（ｃ）中央のＭＣＴＳに加えて、最初の２つの同心リング領域が更に高いビットレートとピクチャサイズを提供するように、中央のＭＣＴＳの周囲の１つ以上の同心「リング」領域として構成されるＭＣＴＳとして編成されることが可能である。あるいは、ＭＣＴＳを、他の方法で組み合わせるために編成することができる。

ＲＯＩ復号のための１つ以上の領域を指定するＭＣＴＳ制御データを、パン走査（pan-scan）メタデータとの関連で使用することができる。例えばパン走査ＳＥＩメッセージは、ＲＯＩ表示のための矩形の仕様を許容する。ＲＯＩ復号を制御するＭＣＴＳ ＳＥＩメッセージとともに、パン走査ＳＥＩメッセージは更にＲＯＩ表示を可能にすることができる。

３．トランスコーディング
一部の場合において、トランスコーダは、簡単な低遅延トランスコーディング操作を実行して、より大きなピクチャサイズを有するビデオのための符号化ビデオビットストリームから、１つ以上の選択されたタイルセットの符号化データを抽出し、より小さいピクチャサイズを有するビデオのための新たな符号化ビデオビットストリームを生成する。例えばＨＥＶＣトランスコーディングでは、ＭＣＴＳが矩形のエリアであるとき、トランスコーダは、高レベルのシンタックス要素のみを修正することにより、（符号化ツリーのユニットレベル及びそれ以下のデータのような）低レベルのデータを完全に符号化及び再復号する必要なく、ＭＣＴＳのための新たな符号化ビデオストリームを生成することができる。

図１２は、ＭＣＴＳを有するピクチャについてのトランスコーディングの例（１２００）を示している。図１２では、エンコーダ（１２１０）は、入力ビデオ信号（１２０５）を受け取って、（図７ｂのように）タイルセットＡを含むようにタイル化し、このビデオを符号化する。エンコーダ（１２１０）は、タイルセットＡをＭＣＴＳとして符号化する。エンコーダ（１２１０）は、ＭＣＴＳとしてのタイルセットＡを含む、ピクチャ全体の符号化データを有する符号化ビデオビットストリーム（１２１５）を生成する。符号化ビデオビットストリーム（１２１５）は、ＭＣＴＳ制御データも含む。

符号化ビデオビットストリーム（１２１５）は、ネットワーク（１２２０）を介してトランスコーダ（１２３０）に伝達される。ＭＣＴＳ制御データを使用してトランスコードの機会を識別すると、トランスコーダ（１２３０）は、タイルセットＡの外部のピクチャ領域についての符号化データを破棄し、タイルセットＡのみの符号化データを有する、符号化ビデオビットストリーム（１２３５）を生成する。

ＨＥＶＣ実装では、ＭＣＴＳが矩形でないとき、あるいは矩形であるがトランスコードされないときであっても、一部の場合において、ＭＣＴＳを復号するのに必要なビットストリームのサブセットを、そのようなＭＣＴＳビットストリームのサブセットに対して動作することが可能なデコーダにデータを送信する前に抽出することができる。

４．損失のロバスト性及び回復
ＭＣＴＳ制御データの伝達及び使用は、データ損失に対するロバスト性及びデータ損失からの回復を改善することもできる。デコーダに、復号されるピクチャ内の領域ごとの依存関係の明示的な指示を提供することにより、デコーダは、幾つかの領域（タイルセット）の復号を、他の領域（タイルセット）についての符号化データが破損されるか他の方法で失われたときに完了することができる。

５．漸進的デコーダリフレッシュ
エンコーダは、一部の実装において、ＭＣＴＳ制御データを使用して漸進的デコーダリフレッシュ機能を実装することができる。例えばあるタイルが（図７ｇの例のように）複数のタイルセットの一部であり得るとき、タイルの１番上の行が１つのＭＣＴＳを定義するとともに、タイルの上２行が第２のＭＣＴＳを定義し、タイルの上３行が第３のＭＣＴＳを定義すること等ができる。エンコーダは、漸進的デコーダリフレッシュ機能のためにそのようなＭＣＴＳを使用することができる。

図１３は、ＭＣＴＳを伴う漸進的デコーダ機能の例（１３００）を示す。シリーズ内の１つのピクチャ（１３０１）（図１３のピクチャ３０）について、エンコーダは、ＭＣＴＳ Ａの領域をリフレッシュする。エンコーダは、（後のフレームでＭＣＴＳ Ａとして符号化されることになる）タイルの一番上の行を、イントラピクチャ符号化を使用して符号化する。ピクチャ（１３０１）のタイルの他の行の符号化は制限されない。

シリーズ内の次のピクチャ（１３０２）（図１３のピクチャ３１）について、エンコーダは、ＭＣＴＳ Ａ内の領域に対する依存性を有するインターピクチャ予測及びイントラピクチャ符号化を使用して、ＭＣＴＳ Ｂの領域をリフレッシュする。エンコーダは、タイルの一番上の行をＭＣＴＳとして符号化する。このＭＣＴＳ（ＭＣＴＳ Ａとする）を、先行ピクチャ内の配置されたタイルセット（ピクチャ３０内のタイルの一番上の行）に関連するインターピクチャ予測を使用して、符号化することができる。エンコーダは、ピクチャ（１３０２）内のタイルの２番目の行を、イントラピクチャ符号化を使用して符号化する。ピクチャ（１３０２）のタイルの他の行の符号化は制限されない。

シリーズ内の次のピクチャ（１３０３）（図１３のピクチャ３２）について、エンコーダは、ＭＣＴＳ Ｂ内の領域に対する依存性を有するインターピクチャ予測及びイントラピクチャ符号化を使用して、ＭＣＴＳ Ｃの領域をリフレッシュする。エンコーダは、タイルの上２行をＭＣＴＳとして符号化する。このＭＣＴＳ（ＭＣＴＳ Ｂ）を、先行ピクチャ内の配置されたタイルセット（ピクチャ３１内のタイルの上２行）に関連するインターピクチャ予測を使用して、符号化することができる。エンコーダは、ピクチャ（１３０３）内のタイルの３番目の行を、イントラピクチャ符号化を使用して符号化する。ピクチャ（１３０３）のタイルの他の行の符号化は制限されない。

シリーズ内の最後のピクチャ（１３０４）（図１３のピクチャ３３）について、エンコーダは、ＭＣＴＳ Ｃ内の領域に対する依存性を有するインターピクチャ予測及びイントラピクチャ符号化を使用して、ピクチャをリフレッシュする。エンコーダは、タイルの上３行をＭＣＴＳとして符号化する。このＭＣＴＳ（ＭＣＴＳ Ｃ）を、先行ピクチャ内の配置されたタイルセット（ピクチャ３２内のタイルの上３行）に関連するインターピクチャ予測を使用して、符号化することができる。エンコーダは、ピクチャ（１３０４）内のタイルの最後の行を、イントラピクチャ符号化を使用して符号化する。この時点で、ピクチャ内のタイルの行は、段階的にリフレッシュされている。

あるいは、エンコーダは、図１３内においてグレーで影を付けられている領域（イントラピクチャ符号化領域）が、イントラピクチャ符号化を使用して、あるいはリフレッシュされた参照ピクチャ内の「下位（subordinate）」の非対応領域に関連するインターピクチャ符号化を使用して符号化されることを可能にすることにより、漸進的デコーダリフレッシュ機能を実装することができる。エンコーダは、イントラピクチャ符号化をすることと、そのようなインターピクチャ符号化することを、ブロックごとに決めることができる。例えば第３のピクチャ（１３０３）内の影付きの領域については、直前にリフレッシュされた第２のピクチャ（１３０２）の領域（タイルの上２行）に関連するイントラピクチャ符号化又はインターピクチャ符号化を使用して、ブロックを符号化することができる。この付加的な柔軟性は、圧縮性能を改善し得る。

図１３は、（ａ）参照ピクチャ内で参照される１つ以上の領域と、（ｂ）これらに依存する現在のピクチャの１つ以上の領域との間の関係が、ピクチャによって動的に変化するという、より一般的なシナリオの具体的な事例を示している。そのようなシナリオでは、タイルセットの参照可能な領域のサイズ、形状及び／又は位置は、シーケンス内のピクチャによって変化することを許容される。

そのような動的な変化を実装する１つの方法は、ピクチャごとにＭＣＴＳ制御データを伝達することである。ピクチャのためのＭＣＴＳ制御データは、そのピクチャの符号化及び復号のために（機能する）アクティブなＭＣＴＳを識別することができ、この場合、インターピクチャ予測の依存性は、識別されたＭＣＴＳのために使用される任意の参照ピクチャ内の配置されたタイルセット内に収まるように制限される。例えば現在のピクチャについてＭＣＴＳ Ｂが識別される場合、インターピクチャ予測の依存性は、（ＭＣＴＳ Ｂがその参照ピクチャについて識別されなかった場合であっても）任意の参照ピクチャ内のＭＣＴＳ Ｂの領域内に収まるよう制限される。

ＭＣＴＳ制御データがピクチャごとに伝達されるとき、あるアプローチでは、そのピクチャについて識別されたＭＣＴＳ内のタイルを明示的に指定する。別のアプローチでは、符号化ビデオシーケンスの全てのピクチャ（又はピクチャのグループ）について、ＭＣＴＳの共通のセットを使用し、次いで、ＭＣＴＳの共通のセット内の識別子の値を使用して、ピクチャについてアクティブなＭＣＴＳを識別する。例えばＭＣＴＳの共通のセットが、４つ、５つ又は６つの（重複する可能性のある）ＭＣＴＳを含み、所与のピクチャについてのＭＣＴＳ制御データは、そのピクチャの符号化及び復号のためのアクティブなＭＣＴＳとしてＭＣＴＳ ２を識別する。

そのような動的な変化を実装する別の方法は、ピクチャごとに、そのピクチャについてアクティブなＭＣＴＳを識別し、かつ参照ピクチャの１つ以上のタイルセット参照領域も識別する、ＭＣＴＳ制御データを伝達することである。例えばＭＣＴＳ制御データは、所与の現在のピクチャについてＭＣＴＳを識別し、参照ピクチャ内のタイルセット参照領域を識別する。現在のピクチャについて、異なるタイルセット参照領域を異なる参照ピクチャ内で識別することができる。識別されたタイルセット参照領域を、（本明細書で説明される多くの例で想定されるように）現在のピクチャの識別されたＭＣＴＳとともに配置することができ、あるいは異なるサイズ、形状又は位置を有することができる。現在のピクチャについて、タイルセット参照領域を、（タイルの矩形として又は任意の領域として）明示的に伝達することができ、あるいは識別子の値によって、それぞれの参照ピクチャのために適用するＭＣＴＳの共通のセットから識別することができる。例えば参照ピクチャを、その参照ピクチャが符号化されたときに定義された１つ以上のＭＣＴＳに関連付けることができ、（符号化順において）後のピクチャが、参照ピクチャについて先行して定義された１つ以上のＭＣＴＳの識別子の値によって、参照ピクチャ内のタイルセット参照領域を指定することができる。

Ｄ．ＭＣＴＳ制御データの例示的な伝達
このセクションは、ＭＣＴＳ制御データのシンタックス及びセマンティクスの例を説明する。

１．ＭＣＴＳ ＳＥＩメッセージの第１の例のシンタックス及びセマンティクス
図１４ａは、ある例示の実装におけるＭＣＴＳ ＳＥＩメッセージのシンタックス（１４０１）を示している。図１４ａでは、motion_constrained_tile_setのＳＥＩメッセージは、左ビットの先頭（left bit first）（（ue(v)）を有する符号なし整数のゼロ次 Ｅｘｐ−Ｇｏｌｏｍｂ符号化を使用して符号化される様々なシンタックス要素、並びにフラグとして伝達される幾つかのシンタックス要素を含む。ＭＣＴＳ ＳＥＩメッセージのシンタックス（１４０１）は、ＨＥＶＣ規格と互換性があり、このセクションは、ＨＥＶＣ規格で定義される様々なシンタックス要素への参照を含む。

図１４ａに示されるＭＣＴＳ ＳＥＩメッセージでは、ＭＣＴＳ ＳＥＩメッセージの範囲は完全な符号化ビデオシーケンスである。ＭＣＴＳ ＳＥＩメッセージが符号化ビデオシーケンスの任意のアクセスユニット（access unit）内に存在するとき、これは、符号化ビデオシーケンスのうち、復号順で最初のアクセスユニットについて存在する。ＭＣＴＳ ＳＥＩメッセージは、符号化ビデオシーケンスの他のアクセスユニットについて存在することもある。

符号化ビデオシーケンス内のアクティブな任意のピクチャパラメータセット（ＰＰＳ）についてtiles_enabled_flagが０である場合、ＭＣＴＳ ＳＥＩメッセージは、その符号化ビデオシーケンスについて存在しない。この場合（tiles_enabled_flagが０）、タイルは、少なくとも一部のピクチャについて有効にされない。タイルが符号化ビデオシーケンスのピクチャについて有効にされない場合であっても、符号化ビデオシーケンス内のピクチャは、同じようにタイルに分割されるべきである。すなわち、ＭＣＴＳ ＳＥＩメッセージは、符号化ビデオシーケンスについてアクティブな全てのＰＰＳが、ピクチャがどのようにタイルに分割されるかを指定するシンタックス要素、num_tile_columns_minus1、num_tile_rows_minus1、uniform_spacing_flag、column_width_minus1［i］及びrow_height_minus1［i］について同じ値を有しない限り、符号化ビデオシーケンスについて存在しない。この制限は、tiles_fixed_structure_flagが１に等しいことに関連付けられる制限と同様である。（ビデオユーサビリティ情報内で伝達されるtiles_fixed_structure_flagが１である場合、符号化ビデオシーケンスに対してアクティブなＰＰＳは全て、同じ数のタイル列、同じ数のタイル行及び同じ情報サイズを有し、上記の値が０である場合、これらは、異なるＰＰＳにおいて異なる可能性がある）。

ＭＣＴＳ ＳＥＩメッセージは、タイルセット、すなわちＭＣＴＳを識別する。ＭＣＴＳ ＳＥＩメッセージの存在は、識別されたＭＣＴＳの外部にあるサンプル値と、識別されたＭＣＴＳの外部にある１つ以上のサンプル値を使用して導出される部分的なサンプル位置（fractional sample position）のサンプル値とが、識別されたＭＣＴＳ内でのいずれのサンプルのインター予測にも使用されないように、インターピクチャ予測が制限されることを示す。ＭＣＴＳを識別するシンタックス要素は、次の通りに定義される。

シンタックス要素num_tile_rects_in_set_minus1は、１の追加により、識別されたＭＣＴＳ内のタイルの矩形領域（タイル矩形の例）の数を指定する。num_tile_rects_in_set_minus1の値は、０から(num_tile_columns_minus1＋1)＊(num_tile_rows_minus1＋1)−1までの範囲である。

シンタックス要素left_tile_column［i］及びtop_tile_row［i］はそれぞれ、ＭＣＴＳの矩形領域（タイル矩形の例）内の左上のタイルのタイル列とタイル行を識別する。シンタックス要素width_in_tile_columns_minus1［i］は、１の追加により、タイル列の単位でＭＣＴＳの矩形領域（タイル矩形の例）の幅を示す。width_in_tile_columns_minus1［i］の値は、０からnum_tile_columns_minus1−left_tile_column［i］までの範囲である。シンタックス要素height_in_tile_rows_minus1［i］は、１の追加により、タイル行の単位でＭＣＴＳの矩形領域（タイル矩形の例）の高さを示す。height_in_tile_rows_minus1［i］の値は、０からnum_tile_rows_minus1−top_tile_column［i］までの範囲である。

したがって、ＭＣＴＳは、ＭＣＴＳ ＳＥＩメッセージ内で識別されるタイルの１つ以上の矩形領域（タイル矩形）の組合せである。

図１４ａでは、ＭＣＴＳ ＳＥＩメッセージは別のシンタックス要素を含み、この別のシンタックス要素は、ＭＣＴＳのみの復号の際に品質に不利な影響を与え得るかどうかを評価するためにデコーダによって使用され得る。シンタックス要素exact_sample_value_match_flagが０に等しいとき、符号化ビデオシーケンス内において、（ａ）ＭＣＴＳの外部にある符号化ツリーのブロックが復号されず、（ｂ）ＭＣＴＳの境界が、復号処理の目的のためにピクチャ境界として扱われるときは、識別されたＭＣＴＳ内の各サンプルの値は、ピクチャの符号化ツリーのブロックが全て復号されるときの同じサンプルの値と正確に同じではない可能性がある。一方、シンタックス要素exact_sample_value_match_flagが１に等しいとき、符号化ビデオシーケンス内において、（ａ）ＭＣＴＳに属さない符号化ツリーのブロックが復号されず、（ｂ）ＭＣＴＳの境界が、復号処理の目的のためにピクチャ境界として扱われるときは、ＭＣＴＳ内の各サンプルの値は、符号化ビデオシーケンス内の全てのピクチャの符号化ツリーのブロックが全て復号されるときに取得されるであろうサンプルの値と正確に同じである。exact_sample_value_match_flagを１に等しく設定することは、シンタックス要素loop_filter_across_tiles_enabled_flag、pps_loop_filter_across_slices_enabled_flag、pps_deblocking_filter_disabled_flag。slice_loop_filter_across_slices_enabled_flag、slice_deblocking_filter_disabled_flag、sample_adaptive_offset_enabled_flag、slice_sao_luma_flag及びslice_sao_chroma_flagの値の特定の組合せにより可能であり得る。

図１４ａでは、ＭＣＴＳ ＳＥＩメッセージは、ＲＯＩ復号とともにＲＯＩ表示に使用され得る他のシンタックス要素も含む。pan_scan_rect_flagが０のとき、mcts_psr_id要素はＭＣＴＳ ＳＥＩメッセージ内に存在しない。pan_scan_rect_flagが１のとき、mcts_psr_idは存在する。シンタックス要素mcts_psr_idは、識別されたＭＣＴＳが、少なくとも、符号化ビデオシーケンス内で、mcts_psr_idに等しいpan_scan_rect_idを有するパン走査矩形を覆うことを示す。pan_scan_rect_flagが１のとき、mcts_psr_idに等しいpan_scan_rect_idを有する少なくとも１つのパン走査矩形が、符号化ビデオシーケンス内に存在する。

図１４ａに示されるＭＣＴＳ ＳＥＩメッセージのシンタックス（１４０１）では、複数のＭＣＴＳ ＳＥＩメッセージが、符号化ビデオシーケンスに関連付けられてよく、その各々がＭＣＴＳを識別する。結果として、１つより多くの個別のＭＣＴＳが符号化ビデオシーケンス内で機能し得る。

２．ＭＣＴＳ ＳＥＩメッセージの第２の例のシンタックス及びセマンティクス
図１４ｂは、別の例示の実装のＭＣＴＳ ＳＥＩメッセージのシンタックス（１４０２）を示している。図１４ａのように、motion_constrained_tile_group_setのＳＥＩメッセージは、ue（v）符号化を使用して符号化される様々なシンタックス要素、並びにフラグとして伝達される幾つかのシンタックス要素を含む。ＭＣＴＳ ＳＥＩメッセージのシンタックス（１４０２）は、ＨＥＶＳ規格と互換性があり、このセクションは、ＨＥＶＳ規格で定義される様々なシンタックス要素への参照を含む。

図１４ｂに図示される存在すべきＭＣＴＳ ＳＥＩメッセージでは、（タイルを有するピクチャを示す）符号化ビデオシーケンス内の全てのアクティブＰＰＳについて、tiles_enabled_flagが１に等しくセットされ、符号化ビデオシーケンスにおいてtiles_fixed_structure_flagが１に等しくセットされる。これは、符号化ビデオシーケンスについてアクティブなＰＰＳのすべてが、符号化ビデオシーケンス内のピクチャについて同じ数のタイル列、同じ数のタイル行、同じサイズの情報を指定することを示す。

存在するとき、ＭＣＴＳ ＳＥＩメッセージは、符号化ビデオシーケンスの最初の一次ピクチャ（first primary picture）、リンク切れアクセス（ＢＬＡ：broken link access）ピクチャ又は即時復号リフレッシュ（ＩＤＲ：instantaneous decoding refresh）ピクチャに関連付けられる場合にのみ現れる。ＭＣＴＳ ＳＥＩメッセージのターゲットピクチャのセットは、関連付けられる最初の一次符号化（primary coded）ピクチャ（これを含む）で始まり、（ａ）後続の一次符号化ＢＬＡ又はＩＤＲピクチャ（これを含まない）で終了するか、又は（ｂ）後続の一次符号化ＢＬＡ又はＩＤＲピクチャが存在しないとき、復号順で、符号化ビデオシーケンス内の最後の一次符号化ピクチャ（これを含む）で終了する、復号順序の全ての隣接する一次符号化ピクチャを含む。

ＭＣＴＳ ＳＥＩメッセージは、１つ以上のタイルの集合であるタイルセット、すなわちＭＣＴＳを識別する。ＭＣＴＳの１つ以上のタイルのグループ（タイル矩形の例）は、top_left［i］及びbottom_right［i］というシンタックス要素によって識別される。separate_colour_plane_flagが１のとき、「一次符号化ピクチャ」という用語は、同じcolour_plane_idを有するＮＡＬ単位に対応する、対応一次符号化ピクチャの部分を表す。ＭＣＴＳ ＳＥＩメッセージは、ターゲットピクチャセット内の各ピクチャについて、インターピクチャ予測が次のように制限されることを示す。すなわち、ＭＣＴＳの外部のサンプル値と、ＭＣＴＳの外部の１つ以上のサンプル値を使用して導出される部分的なサンプル位置のサンプル値とのいずれも、ＭＣＴＳ内のいずれかのサンプルのインターピクチャ予測には使用されない。

ＭＣＴＳは、ＭＣＴＳ ＳＥＩメッセージ内で識別されるタイルの１つ以上の矩形領域の組合せ（タイル矩形の例であるタイルグループ）である。要素num_tile_groups_in_set_minus1は、１の追加により、ＭＣＴＳ内のタイルグループ（タイル矩形の例）の数を指定する。num_tile_groups_in_set_minus1の許容される範囲は、０から(num_tile_columns_minus1＋1)× (num_tile_rows_minus1＋1)−1までである。

シンタックス要素top_left［i］及びbottom_right［i］はそれぞれ、符号化ツリーブロックの単位で、制限されるインターピクチャ予測を用いるタイルグループ（タイル矩形の例）の左上の角及び右下の角を指定する。top_left［i］及びbottom_right［i］の値は、ピクチャのラスター操作におけるタイルグループユニットの位置である。各矩形ｉについて、top_left［i］及びbottom_right［i］の値は、以下の制限に従う：
・top_left［i］は、bottom_right［i］以下である；
・bottom_right［i］は、PicSizeInCtbsY未満である；
・（top_left［i］％PicWidthInCtbsY）は、（top_left［i］％PicWidthInCtbsY ）の値以下である；
・top_left［i］及びbottom_right［i］によって指定される矩形は、１つ以上の完全なタイルを含む。

図１４ｂにおいて、ＭＣＴＳ ＳＥＩメッセージは、ＲＯＩ復号とともにＲＯＩ表示に使用することができる他のシンタックス要素を含む。シンタックス要素pan_scan_rect_flagが０のとき、pan_scan_rect_idは存在しない。pan_scan_rect_flagが１のとき、pan_scan_rect_idは存在する。シンタックス要素pan_scan_rect_idは、指定されたＭＣＴＳが、少なくとも、ターゲットピクチャセット内でpan_scan_rect_idによって識別されるパン走査矩形を覆うことを示す。

図１４ｂに示されるＭＣＴＳ ＳＥＩメッセージのシンタックス（１４０２）では、複数のＭＣＴＳ ＳＥＩメッセージを、同じターゲットピクチャセットに関連付けることができる。したがって、１つより多くのＭＣＴＳがターゲットピクチャセット内でアクティブであり得る。

３．ＭＣＴＳ ＳＥＩメッセージの第３の例のシンタックス及びセマンティクス
図１４ｃは、別の例示の実装におけるＭＣＴＳ ＳＥＩメッセージのシンタックス（１４０３）を示す。ＭＣＴＳ ＳＥＩメッセージの存在は、それぞれの識別されたタイルセットの外部のサンプル値と、識別されたタイルセットの外部の１つ以上のサンプル値を使用して導出される部分的なサンプル位置にあるサンプル値とが、識別されたタイルセット内のいずれのサンプルのインター予測にも使用されないように、インター予測処理が制限されることを示す。このセクションで示されることを除いて、図１４ｃに示されるＭＣＴＳ ＳＥＩメッセージのシンタックス（１４０３）は、図１４ａに示されるＭＣＴＳ ＳＥＩメッセージのシンタックス（１４０１）と同じである。

１つより多くのＭＣＴＳ ＳＥＩメッセージが、符号化ビデオシーケンスのアクセスユニット内に存在するとき、これらは、同一のコンテンツを含むものとする。各アクセスユニット内のＭＣＴＳ ＳＥＩメッセージの数は５を超えないものとする。

num_sets_in_message_minus1は、１の追加により、ＳＥＩメッセージ内で識別されるＭＣＴＳの数を指定する。num_sets_in_message_minus1の値は、０から２５５までの範囲である。

mcts_id［i］というシンタックス要素は、ｉ番目の識別されるタイルセットの目的を識別するのに使用され得る識別番号を含む。例えばmcts_id［i］というシンタックス要素を使用して、特定の目的のために符号化ビデオシーケンスから抽出されべきエリアを識別することができる。mcts_id［i］の値は、０から２^３２−２までの範囲とする。０から２５５まで及び５１２から２^３１−１までのmcts_id［i］の値は、アプリケーション（application）によって決定される通りに使用され得る。２５６から５１１まで及び２^３１から２^３２−２までのmcts_id［i］の値は、将来の使用のために保存される。２５６から５１１までの範囲又は２^３１から２^３２−２までの範囲のmcts_id［i］の値に遭遇したデコーダは、これを無視する（これをビットストリームから除去して破棄する）。

残りのシンタックス要素num_tile_rects_in_set_minus1［i］、left_tile_column［i］［j］、top_tile_row［i］［j］、width_in_tile_columns_minus1［i］［j］、height_in_tile_rows_minus1［i］［j］、exact_sample_value_match_flag［i］、pan_scan_rect_flag［i］及びmcts_psr_id［i］は、一般に、図１４ａの例示のＭＣＴＳ ＳＥＩメッセージのシンタックス（１４０１）に関連して説明した意味を有する。しかしながら、各シンタックス要素について、ループカウンタの変数ｉは、ＭＣＴＳ ＳＥＩメッセージ内で指定されるｉ番目のＭＣＴＳについてのシンタックス要素の値を示し、ループカウンタの変数ｊは、所与のＭＣＴＳ内のｊ番目のタイル矩形についての値を示す。あるいは、left_tile_column［i］［j］、top_tile_row［i］［j］、width_in_tile_columns_minus1［i］［j］height_in_tile_rows_minus1［i］［j］を使用する代わりに、所与のタイル矩形についての２つのシンタックス要素はそれぞれ、タイルラスタ走査順に、タイル矩形内の左上のタイルのタイル位置と、タイル矩形内の右下のタイルのタイル位置を識別することができる。

４．ＭＣＴＳ制御データの代替的なシンタックス及びセマンティクス
２つの先行するセクションでは、１つのＭＣＴＳ ＳＥＩメッセージが１つのＭＣＴＳを指定し、このＭＣＴＳ内のタイル（１つ又は複数）を識別する。このアプローチでは、単一の符号化ビデオシーケンスについて複数のＭＣＴＳが存在するとき、ＭＣＴＳ制御データについて複数のＳＥＩメッセージが存在する可能性があり、各ＭＣＴＳ ＳＥＩメッセージは、同じ符号化ビデオシーケンス内の異なるＭＣＴＳを指定する。

あるいは、単一のＭＣＴＳ ＳＥＩメッセージは、複数のＭＣＴＳを指定することができる。例えばＭＣＴＳ ＳＥＩメッセージのシンタックス内の外側のループは、それぞれのＭＣＴＳについて反復する。所与のＭＣＴＳについて、シンタックス及びセマンティクスは、２つの先行するセクションのうち１つの例に従って、ＭＣＴＳについてのタイルの領域（タイル矩形）及び関連するパン走査の矩形等を識別することができる。

２つの先行するセクションでは、ＭＣＴＳ ＳＥＩメッセージは、識別されたタイルセットがＭＣＴＳであることを示唆する。あるいは、ＭＣＴＳ ＳＥＩメッセージは、ピクチャを複数のタイルセットへと分解することができ、ＭＣＴＳ ＳＥＩメッセージ内のタイルセットごとのフラグが、タイルセットがＭＣＴＳであるかＭＣＴＳでないかを示す。

２つの先行するセクションでは、ＭＣＴＳ ＳＥＩメッセージの範囲は、（図１４ａの例のような）符号化ビデオシーケンスであってよく、あるいは、潜在的には、あるＢＬＡ又はＩＤＲピクチャ（これを含む）と、（図１４ｂの例のような）別のＢＬＡ又はＩＤＲピクチャとの間のピクチャグループであってもよい。あるいは、ＭＣＴＳ ＳＥＩメッセージは、ピクチャごとに伝達されるか、何らかの他の範囲を有する可能性がある。

先行する２つのセクションでは、ＭＣＴＳ ＳＥＩメッセージによって影響されるピクチャは、タイルセット及びタイルが、符号化ビデオシーケンス（又はピクチャのグループ）内のピクチャごとに変わらないように、同じ構成のタイルセットを有する。あるいは、ＭＣＴＳの参照可能な領域のサイズ、形状及び／又は位置が、符号化ビデオシーケンス（又はピクチャのグループ）内のピクチャごとに変わる可能性もある。

先行する２つのセクションでは、ＭＣＴＳ制御データはＳＥＩメッセージである。あるいは、ＭＣＴＳ制御データは、タイルセット境界を越えるインターピクチャ予測の依存性が、所与のタイルセットについて制限されることを示す、何らかの他の形式のメタデータ又は基本のビデオビットストリームのシンタックス要素とすることができる。

Ｆ．ＭＣＴＳ制御データを伝達及び使用するための方法
図１５は、ＭＣＴＳ制御データを伝達するための一般化した方法（１５００）を示している。図３又は図５に関連して上述したようなビデオエンコーダ又は他のツールが方法（１５００）を実行する。

ツールは、複数のピクチャを符号化して符号化データを生成する（１５１０）。複数のピクチャの各々が、複数のタイルに分割される。例えば複数のピクチャはそれぞれ、そのピクチャについての複数のタイルを定義するタイル行及びタイル列に分割され、複数のタイルの各々が矩形の領域を有する。例示の実装では、複数のピクチャはそれぞれ、全く同じように分割されて、複数のピクチャの各々の中に複数のタイルを生成する。あるいは、異なるピクチャを、異なる方法でタイルに分割することもできる。

ツールは、符号化データを、特定の境界（例えばタイルセット境界）を越えるインターピクチャ予測の依存性が、上記の複数のタイルのうちの１つ以上のタイルの所与のタイルセット（ＭＣＴＳ）について制限されることを示す制御データとともに出力する（１５２０）。制御データは、複数のタイルのいずれが、所与のＭＣＴＳ内にあるかを識別する１つ以上のシンタックス要素を含むことができる。

例示の実装において、所与のタイルセットは、そのタイルセットの１つ以上のタイルを含む１つ以上のタイル矩形として、制御データ内でパラメータ化される。例えばタイルセット内の所与のタイル矩形について、制御データは、（タイル矩形の左上の角及びタイル矩形の右下の角といった）タイル矩形の２つの角を識別するシンタックス要素を含む。制御データは、タイルセットの識別子と、タイルセット内のタイル矩形の総数を示すカウントパラメータと、タイルセット内の各タイル矩形について、タイル矩形の位置（例えばタイル矩形の場所、幅及び高さ）を示すシンタックス要素を含むこともできる。

より具体的には、シンタックス要素は、所与のＭＣＴＳ内のタイル領域の総数を示すカウントパラメータを含むことができ、この場合において、タイル領域の各々は、複数のタイルのうちの１つ以上のタイルを覆う領域である。シンタックス要素は、所与のタイルセット内のタイル領域の各々について、タイル領域の位置（例えばタイル領域の場所、幅及び高さ）を示す１つ以上の位置パラメータを含むことができる。

制御データは、他のシンタックス要素を含むことができる。例えば制御データは、（ａ）所与のＭＣＴＳの外側にある複数のピクチャの部分が符号化されない場合に、所与のＭＣＴＳについて再構築されたサンプルが、（ｂ）所与のＭＣＴＳの外側にある複数のピクチャの部分が符号化される場合に、所与のＭＣＴＳについて再構築されたサンプルに、正確に一致するかどうかを示すフラグを含む。あるいは、制御データは、所与のＭＣＴＳによって覆われるパン走査の矩形の識別子を含む。

例示の実装において、制御データは、単一のＭＣＴＳのためのＳＥＩメッセージであり、タイルセット境界を越えるインターピクチャ予測の依存性が、その所与のＭＣＴＳについて制限されることを示す。この場合、制御データは、その所与のＭＣＴＳ及び１つ以上の他のＭＣＴＳの各々について、異なるＳＥＩメッセージを含むことができる。代替的に、制御データは、所与のＭＣＴＳ及び１つ以上の他のＭＣＴＳを含む複数のＭＣＴＳのための単一のＳＥＩメッセージである。あるいは、制御データは、タイルセット境界を越えるインターピクチャフレーム予測の依存性が、所与のタイルセットについて制限されるかどうかを値により示す、フラグとすることができる。あるいは、制御データは、何らかの他の形式をとることができる。

例示の実装において、所与のタイルセットは、複数のピクチャの各々に対して同一である。あるいは、所与のタイルセットは、複数のピクチャの少なくとも一部のピクチャの間で異なる。

制御データは、特定の境界を越えるインターピクチャ予測の依存性が、複数のタイルのうちの１つ以上の他のタイルセットの各々について制限されることを指示することもできる。これは、例えば符号化（１５１０）が、所与のＭＣＴＳ及び１つ以上の他のＭＣＴＳの符号化の少なくとも一部の段階について、並行処理を使用しているときの事例であり得る。

ツールは、この方法（１５００）を単位ごと（例えばシーケンスごと、グループごと）に繰り返すことができる。簡潔性のために、図１５では、方法（１５００）が、他の符号化処理との関連でどのように動作するかについては示していない。

図１６は、ＭＣＴＳの選択的使用を伴う符号化のための例示の方法（１６００）を示している。図３又は図５に関連して上述したようなビデオエンコーダ又は他のツールが、方法（１６００）を実行する。

ツールは、現在のピクチャを符号化のためにタイルに分割する（１６１０）。ツールは、これらのタイルのうちの１つ以上のタイルの所与のセットについて、動きを制限するかどうかを決定する（１６２０）。動きを制限する場合、ツールは、タイルセット境界における動き制限を伴ってＭＣＴＳのタイルを符号化し（１６３０）、タイルセット境界を越えるインターピクチャ予測の依存性が、ＭＣＴＳについて回避されるように、符号化中の動き推定を制限する。ツールは、タイルセット境界を越えるインターピクチャ予測の依存性がそのタイルセットについて制限されることを示す制御データとともに、符号化データを出力する（１６４０）。そうでない場合（タイルについて動きが制限されない場合）、ツールは、タイルセット境界における動き制限なしにタイルを符号化し（１６５０）、符号化データを出力する（１６６０）。ツールは、ピクチャ内のいずれかの他のタイルについて符号化を継続すべきかどうかを確認し（１６２０）、継続する場合、１つ以上の残りのタイルをＭＣＴＳとして符号化すべきか否かを決定する。現在のピクチャを符号化した後、ツールは、シリーズ内の次のピクチャについて継続すべきかどうかを決定する（１６８０）。

図１７は、ＭＣＴＳ制御データとともに伝達される符号化データを処理するための一般化した方法（１７００）を示している。図４又は図６に関連して上述したようなビデオデコーダ又は他のツールが、方法（１７００）を実行する。

ツールは、複数のピクチャについての符号化データを受け取る（１７１０）。複数のピクチャの各々が、複数のタイルに分割される。例えば複数のピクチャはそれぞれ、そのピクチャについての複数のタイルを定義するタイル行及びタイル列に分割され、複数のタイルの各々が矩形領域を有する。例示の実装では、複数のピクチャはそれぞれ、全く同じように分割されて、複数のピクチャの各々の中に複数のタイルを生成する。あるいは、異なるピクチャを、異なる方法でタイルに分割することもできる。

ツールは、特定の境界（例えばタイルセット境界）を越えるインターピクチャ予測の依存性が、上記の複数のタイルのうちの１つ以上のタイルの所与のタイルセット（ＭＣＴＳ）について制限されることを示す制御データを受け取る（１７２０）。制御データは、複数のタイルのいずれが所与のＭＣＴＳ内にあるかを識別する１つ以上のシンタックス要素を含むことができる。

例示の実装において、所与のタイルセットは、そのタイルセットの１つ以上のタイルを含む１つ以上のタイル矩形として、制御データ内でパラメータ化される。例えばタイルセット内の所与のタイル矩形について、制御データは、（タイル矩形の左上の角及びタイル矩形の右下の角といった）タイル矩形の２つの角を識別するシンタックス要素を含む。制御データは、タイルセットの識別子と、タイルセット内のタイル矩形の総数を示すカウントパラメータと、タイルセット内の各タイル矩形について、タイル矩形の位置（例えばタイル矩形の場所、幅及び高さ）を示すシンタックス要素を含むこともできる。

より具体的には、シンタックス要素は、所与のＭＣＴＳ内のタイル領域の総数を示すカウントパラメータを含むことができ、この場合において、タイル領域の各々は、複数のタイルのうちの１つ以上のタイルを覆う領域である。シンタックス要素は、所与のタイルセット内のタイル領域の各々について、タイル領域の位置（例えばタイル領域の場所、幅及び高さ）を示す１つ以上の位置パラメータを含むことができる。

制御データは、他のシンタックス要素を含むことができる。例えば制御データは、（ａ）所与のＭＣＴＳの外側にある複数のピクチャの部分が符号化されない場合に、所与のＭＣＴＳについて再構築されたサンプルが、（ｂ）所与のＭＣＴＳの外側にある複数のピクチャの部分が符号化される場合に、所与のＭＣＴＳについて再構築されたサンプルに、正確に一致するかどうかを示すフラグを含む。あるいは、制御データは、所与のＭＣＴＳによって覆われるパン走査の矩形の識別子を含む。

例示の実装において、制御データは、単一のＭＣＴＳのためのＳＥＩメッセージであり、タイルセット境界を越えるインターピクチャ予測の依存性が、その所与のＭＣＴＳについて制限されることを示す。この場合、制御データは、その所与のＭＣＴＳ及び１つ以上の他のＭＣＴＳの各々について、異なるＳＥＩメッセージを含むことができる。代替的に、制御データは、所与のＭＣＴＳ及び１つ以上の他のＭＣＴＳを含む複数のＭＣＴＳのための単一のＳＥＩメッセージである。あるいは、制御データは、タイルセット境界を越えるインターピクチャフレーム予測の依存性が、所与のタイルセットについて制限されるかどうかをその値により示す、フラグとすることができる。あるいは、制御データは、何らかの他の形式をとることができる。

例示の実装において、所与のタイルセットは、複数のピクチャの各々に対して同一である。あるいは、所与のタイルセットは、複数のピクチャの少なくとも一部のピクチャの間で異なる。

ツールは、符号化データを処理する（１７３０）。例えば符号化データの処理の一部として、ツールは、所与のＭＣＴＳを複数のピクチャ内の関心領域として復号し、この場合、所与のＭＣＴＳの外側にある複数のピクチャの部分を符号化する必要はない。あるいは、符号化データの処理の一部として、ツールは、所与のＭＣＴＳの外側にある複数のピクチャの部分についての符号化データを除外し、所与のＭＣＴＳの符号化データを新たなビットストリームとして編成することにより、符号化データをトランスコードする。制御データは、特定の境界を越えるインターピクチャ予測の依存性が、１つ以上の他のＭＣＴＳの各々について制限されることを示すこともできる。この場合、符号化データの処理は、所与のＭＣＴＳ及び１つ以上の他のＭＣＴＳの復号の少なくとも一部の段階について並行処理を使用する復号を含むことができる。

ツールは、この方法（１７００）を単位ごと（例えばシーケンスごと、グループごと）に繰り返すことができる。簡潔性のために、図１７では、方法（１７００）が、他の符号化処理との関連でどのように動作するかについては示していない。

開示される本発明の原理が適用され得る多くの可能性のある実施形態を考慮して、例示の実施形態は、単に本発明の好適な例示に過ぎず、本発明の範囲を限定するものとして解釈されるべきでないことを認識されたい。むしろ、本発明の範囲は、特許請求の範囲によって定義される。したがって、本発明に係る特許請求の範囲が、これらの特許請求の範囲内及び精神内にあるものを全て含むことを主張する。

Claims (12)

1. コンピュータシステムにおいて、
   符号化データを生成するよう、複数のピクチャを符号化するステップであって、前記複数のピクチャの各々が複数のタイルに分割される、ステップと、
   特定の境界を越えるインターピクチャ予測の依存性が前記複数のタイルのうちの１つ以上のタイルの所与のタイルセットについて制限されることを示す制御データとともに、前記符号化データを出力するステップであって、前記所与のタイルセットは、前記複数のタイルのうちの前記１つ以上のタイルを覆う１つ以上のタイル領域として前記制御データ内でパラメータ化され、前記制御データは、タイルセット境界を越えるインターピクチャ予測の依存性が前記所与のタイルセットについて制限されることを示す、補足エンハンスメント情報（ＳＥＩ）メッセージであり、前記ＳＥＩメッセージは、前記所与のタイルセットのみを復号するときに前記所与のタイルセットの品質が不利な影響を受け得るかどうかを評価するためにデコーダによって使用可能なシンタックス要素を含む、ステップと、
   を含み、
   前記シンタックス要素は、（ａ）前記所与のタイルセットの外側にある部分が復号されない場合に前記所与のタイルセットについて再構築されるサンプル値が、（ｂ）前記所与のタイルセットの外側にある前記部分の全てが復号される場合に前記所与のタイルセットについて再構築されるサンプル値と正確に一致するよう制限されるかどうかを示すフラグであり、
   前記１つ以上のタイル領域は、１つ以上のタイル矩形であり、前記ＳＥＩメッセージは、前記所与のタイルセット内の前記１つ以上のタイル矩形のうちの所与のタイル矩形について、前記所与のタイル矩形の２つの角を特定するシンタックス要素を更に含む、方法。
2. 特定の境界を越えるインターピクチャ予測の依存性が前記所与のタイルセットについて制限されるべきかどうかを決定するステップと、
   制限されるべき場合、特定の境界を越えるインターピクチャ予測の依存性が、前記所与のタイルセットについて回避されるように、前記の符号化における動き推定を制限するステップと、
   を更に含む、請求項１に記載の方法。
3. 前記制御データは更に、特定の境界を越えるインターピクチャ予測の依存性が、前記複数のタイルのうちの１つ以上の他のタイルセットの各々について制限されることを示し、前記の符号化するステップは、（１）前記所与のタイルセット及び前記１つ以上の他のタイルセットの符号化の少なくとも一部の段階について、並行処理を使用するか、又は（２）漸進的デコーダリフレッシュ機能を提供するよう、前記所与のタイルセット及び１つ以上の他のタイルセットを構成する、
   請求項１に記載の方法。
4. コンピュータシステムにおいて、
   複数のピクチャについての符号化データを受信するステップであって、前記複数のピクチャの各々が複数のタイルに分割されている、ステップと、
   特定の境界を越えるインターピクチャ予測の依存性が前記複数のタイルのうちの１つ以上のタイルの所与のタイルセットについて制限されることを示す、制御データを受け取るステップであって、前記所与のタイルセットは、前記複数のタイルのうちの前記１つ以上のタイルを覆う１つ以上のタイル領域として前記制御データ内でパラメータ化され、前記制御データは、タイルセット境界を越えるインターピクチャ予測の依存性が前記所与のタイルセットについて制限されることを示す、補足エンハンスメント情報（ＳＥＩ）メッセージであり、前記ＳＥＩメッセージは、前記所与のタイルセットのみを復号するときに前記所与のタイルセットの品質が不利な影響を受け得るかどうかを評価するためにデコーダによって使用可能なシンタックス要素を含む、ステップと、
   前記符号化データを処理するステップと、
   を含み、
   前記シンタックス要素は、（ａ）前記所与のタイルセットの外側にある部分が復号されない場合に前記所与のタイルセットについて再構築されるサンプル値が、（ｂ）前記所与のタイルセットの外側にある前記部分の全てが復号される場合に前記所与のタイルセットについて再構築されるサンプル値と正確に一致するよう制限されるかどうかを示すフラグであり、
   前記１つ以上のタイル領域は、１つ以上のタイル矩形であり、前記ＳＥＩメッセージは、前記所与のタイルセット内の前記１つ以上のタイル矩形のうちの所与のタイル矩形について、前記所与のタイル矩形の２つの角を特定するシンタックス要素を更に含む、方法。
5. 前記の処理するステップは、
   前記所与のタイルセットの外側にある前記複数のピクチャの部分の復号を行うことなく、前記所与のタイルセットを前記複数のピクチャ内の関心領域として復号するステップと；
   前記符号化データをトランスコードするステップであって、該トランスコードが：
   前記所与のタイルセットの外側にある前記複数のピクチャの部分についての符号化データを除外することと、
   前記所与のタイルセットについての符号化データを新たなビットストリームとして編成することと、
   を含む、前記符号化データをトランスコードするステップと；
   前記所与のタイルセット及び前記複数のタイルのうちの１つ以上の他のタイルセットの復号の少なくとも一部の段階について、並行処理を使用する復号ステップであって、前記制御データは更に、特定の境界を越えるインターピクチャ予測の依存性が、前記複数のタイルのうちの前記１つ以上の他のタイルセットの各々について制限されることを示す、復号ステップと；
   のうちのいずれか１つを含む、請求項４に記載の方法。
6. 前記所与のタイルセットの外側にある前記部分が復号されず、前記所与のタイルセットの前記境界が、復号する目的のためにピクチャ境界として扱われるとき、
   前記フラグが０に等しい場合、（ａ）前記所与のタイルセットについて再構築されるサンプル値は、（ｂ）前記所与のタイルセットの外側にある前記部分の全てが復号される場合に前記所与のタイルセットについて再構築されるサンプル値と同じであるよう制限されず、
   前記フラグが１に等しい場合、（ａ）前記所与のタイルセットについて再構築されるサンプル値は、（ｂ）前記所与のタイルセットの外側にある前記部分の全てが復号される場合に前記所与のタイルセットについて再構築されるサンプル値と同じであるよう制限される、
   請求項４に記載の方法。
7. 前記制御データは更に、
   前記所与のタイルセットの識別子と、
   前記所与のタイルセット内のタイル矩形の数を示すカウントパラメータと、
   を含む、請求項１乃至５のいずれか一項に記載の方法。
8. 前記２つの角は、前記所与のタイル矩形の左上の角と、前記所与のタイル矩形の右下の角である、
   請求項５に記載の方法。
9. 前記制御データは更に、特定の境界を超えるインターピクチャ予測の依存性が、前記複数のタイルのうちの１つ以上の他のタイルセットの各々について制限されることを示し、前記制御データは更に、
   タイルセットの数を示すパラメータと、
   前記所与のタイルセット及び１つ以上の他のタイルセットの各々について、当該タイルセットの識別子と、
   を含む、
   請求項１乃至５のいずれか一項に記載の方法。
10. 前記複数のタイルは、ピクチャ境界を用いて、前記複数のピクチャ内における前記複数のタイルの水平境界と垂直境界を定義する、タイル行及びタイル列に従って編成される、
    請求項１乃至５のいずれか一項に記載の方法。
11. プログラムされるとき、コンピュータシステムに請求項１乃至１０のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
12. 請求項１乃至１０のいずれか一項に記載の方法を実行するよう適合されるコンピュータシステム。

Images