JP7201820B2 - ビデオコーディング方法及び機器 - Google Patents

Description

［技術分野］
本開示は、概して、ビデオコーディングに関し、具体的には、ビデオコーディングにおける増大した圧縮をサポートするために画像をタイルグループにパーティションするメカニズムに関する。

比較的短いビデオでも描写するために必要なビデオデータの量は相当なものになり得る。これは、データが限られた帯域幅能力を有する通信ネットワークに渡りストリーミングされる又はその他の場合に通信されるとき、困難をもたらすことがある。したがって、ビデオデータは、通常、今日の電気通信ネットワークに渡り通信される前に、圧縮される。ビデオが記憶装置に格納されるとき、メモリリソースが限られていることがあるので、ビデオのサイズも問題になり得る。ビデオ圧縮装置は、送信又は記憶の前に、ソースにおいてビデオデータをコーディングするためにソフトウェア及び／又はハードウェアを度々使用し、それによりデジタルビデオ画像を表現するために必要なデータの量を削減する。圧縮されたデータは、次に、ビデオデータを復号するビデオ伸長装置により宛先において受信される。限られたネットワークリソース及びより高いビデオ品質の増え続ける要求に伴い、画像品質を僅かしか又は全く犠牲にせずに圧縮率を向上する改良された圧縮及び伸長技術が望ましい。

実施形態では、本開示は、エンコーダにおいて実施される方法を含み、前記方法は、
前記エンコーダのプロセッサにより、ピクチャを複数のタイルにパーティションするステップと、
前記プロセッサにより、前記タイルの数をタイルグループに割り当てるステップと、
前記プロセッサにより、前記タイルグループがラスタスキャンタイルグループであるとき第１値に、前記タイルグループが長方形タイルグループであるとき第２値に設定されたフラグを符号化するステップであって、前記フラグはビットストリームのパラメータセットに符号化される、ステップと、
前記プロセッサにより、前記タイルグループに基づき、前記タイルを前記ビットストリームに符号化するステップと、
デコーダへの通信のために、前記エンコーダのメモリに前記ビットストリームを格納するステップと、を含む。幾つかのビデオコーディングシステムは、ラスタスキャン順序で指定されたタイルを含むタイルグループを利用する。他のシステムは、仮想現実（virtual reality (VR)）、遠隔会議、及びコーディング方式に基づく他の関心領域において、サブピクチャ抽出をサポートするために、長方形タイルグループを利用する。更に他のシステムは、ビデオコーディングアプリケーションのタイプに依存して、どのタイプのタイルグループを使用すべきかを、エンコーダが選択することを可能にする。本発明の態様は、対応するタイルグループがラスタスキャンか又は長方形かを示すフラグを含む。このアプローチは、適正な復号をサポートするための適正なタイルグループコーディング方式をデコーダに警告する。従って、開示のフラグは、エンコーダ／デコーダ（コーデック）が、異なる使用ケースのために複数のタイルグループ方式をサポートすることを可能にし、従ってエンコーダ及びデコーダの両方の機能を向上する。更に、開示のフラグのシグナリングは、コーディング効率を向上し、従って、エンコーダ及び／又はデコーダにおけるメモリリソース使用、処理リソース使用、及び／又はネットワークリソース使用を削減する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記フラグが長方形タイルグループフラグであることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記フラグが符号化される前記パラメータセットが、シーケンスパラメータセットであることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記フラグが符号化される前記パラメータセットが、ピクチャパラメータセットであることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記プロセッサにより、前記タイルグループに含まれる前記タイルを示すために、前記タイルグループの最初のタイルの識別子と、前記タイルグループの最後のタイルの識別子と、を前記ビットストリームに符号化するステップ、を更に含むことを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記タイルグループの前記最初のタイルの前記識別子、及び前記タイルグループの前記最後のタイルの前記識別子は、前記ビットストリーム内のタイルグループヘッダに符号化されることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記タイルグループが前記ラスタスキャンタイルグループであるとき、前記タイルグループへのタイルの包含は、
前記タイルグループの前記最初のタイルと前記タイルグループの前記最後のタイルとの間のタイルの数を、前記タイルグループ内のタイルの数として決定するステップと、
前記タイルグループ内の前記タイルの数に基づき、タイルの包含を決定するステップと、
により決定されることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記タイルグループが前記長方形タイルグループであるとき、前記タイルグループへのタイルの包含は、
前記タイルグループの前記最初のタイルと前記タイルグループの前記最後のタイルとの間のデルタ値を決定するステップと、
前記デルタ値及び前記ピクチャ内のタイル列の数に基づき、タイルグループ行の数を決定するステップと、
前記デルタ値及び前記ピクチャ内の前記タイル列の数に基づき、タイルグループ列の数を決定するステップと、
前記タイルグループ行の数及び前記タイルグループ列の数に基づき、前記タイルの包含を決定するステップと、
により決定されることを提供する。

実施形態では、本開示は、デコーダにおいて実施される方法を含み、前記方法は、
前記デコーダのプロセッサにより、受信機を介して、複数のタイルにパーティションされたピクチャを含むビットストリームを受信するステップであって、前記タイルの数はタイルグループに含まれる、ステップと、
前記プロセッサにより、前記ビットストリームのパラメータセットからフラグを取得するステップと、
前記プロセッサにより、前記フラグが第１値に設定されているとき、前記タイルグループがラスタスキャンタイルグループであると決定するステップと、
前記プロセッサにより、前記フラグが第２値に設定されているとき、前記タイルグループが長方形タイルグループであると決定するステップと、
前記プロセッサにより、前記タイルグループが前記ラスタスキャンタイルグループか又は長方形タイルグループかに基づき、前記タイルグループについてタイルの包含を決定するステップと、
前記プロセッサにより、前記タイルグループに基づき、前記タイルを復号して復号タイルを生成するステップと、
前記プロセッサにより、前記復号タイルに基づき、表示のために再構成ビデオシーケンスを生成するステップと、
を含む。幾つかのビデオコーディングシステムは、ラスタスキャン順序で指定されたタイルを含むタイルグループを利用する。他のシステムは、ＶＲ、遠隔会議、及びコーディング方式に基づく他の関心領域において、サブピクチャ抽出をサポートするために、長方形タイルグループを利用する。更に他のシステムは、ビデオコーディングアプリケーションのタイプに依存して、どのタイプのタイルグループを使用すべきかを、エンコーダが選択することを可能にする。本発明の態様は、対応するタイルグループがラスタスキャンか又は長方形かを示すフラグを含む。このアプローチは、適正な復号をサポートするための適正なタイルグループコーディング方式をデコーダに警告する。従って、開示のフラグは、コーデックが、異なる使用ケースのために複数のタイルグループ方式をサポートすることを可能にし、従ってエンコーダ及びデコーダの両方の機能を向上する。更に、開示のフラグのシグナリングは、コーディング効率を向上し、従って、エンコーダ及び／又はデコーダにおけるメモリリソース使用、処理リソース使用、及び／又はネットワークリソース使用を削減する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記フラグが長方形タイルグループフラグであることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記フラグを含む前記パラメータセットが、シーケンスパラメータセットであることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記フラグを含む前記パラメータセットが、ピクチャパラメータセットであることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記プロセッサにより、前記タイルグループに含まれる前記タイルを決定するために、前記タイルグループの最初のタイルの識別子と、前記タイルグループの最後のタイルの識別子と、を取得するステップ、を更に含むことを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記タイルグループの前記最初のタイルの前記識別子、及び前記タイルグループの前記最後のタイルの前記識別子は、前記ビットストリーム内のタイルグループヘッダにから取得することを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記タイルグループが前記ラスタスキャンタイルグループであるとき、前記タイルグループへのタイルの包含は、
前記タイルグループの前記最初のタイルと前記タイルグループの前記最後のタイルとの間のタイルの数を、前記タイルグループ内のタイルの数として決定するステップと、
前記タイルグループ内の前記タイルの数に基づき、タイルの包含を決定するステップと、
により決定されることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記タイルグループが前記長方形タイルグループであるとき、前記タイルグループへのタイルの包含は、
前記タイルグループの前記最初のタイルと前記タイルグループの前記最後のタイルとの間のデルタ値を決定するステップと、
前記デルタ値及び前記ピクチャ内のタイル列の数に基づき、タイルグループ行の数を決定するステップと、
前記デルタ値及び前記ピクチャ内の前記タイル列の数に基づき、タイルグループ列の数を決定するステップと、
前記タイルグループ行の数及び前記タイルグループ列の数に基づき、前記タイルの包含を決定するステップと、
により決定されることを提供する。

実施形態では、本開示は、ビデオコーディング装置であって、
プロセッサと、前記プロセッサに接続された受信機と、前記プロセッサに接続された送信機と、を含み、前記プロセッサ、受信機、及び送信機は、上述の態様のいずれかの方法を実行するよう構成される、ビデオコーディング装置を含む。

一実施形態では、本開示は、ビデオコーディング装置による使用のためのコンピュータプログラムプロダクトを含む非一時的コンピュータ可読媒体であって、前記コンピュータプログラムプロダクトは、プロセッサにより実行されると前記ビデオコーディング装置に前述の態様のいずれかの方法を実行させる、前記非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体を含む。

実施形態では、本開示は、エンコーダであって、
ピクチャを複数のタイルにパーティションするパーティション手段と、
前記タイルの数をタイルグループに含める包含手段と、
符号化手段であって、
前記タイルグループがラスタスキャンタイルグループであるとき第１値に、前記タイルグループが長方形タイルグループであるとき第２値に設定されたフラグを符号化し、前記フラグはビットストリームのパラメータセットに符号化され、
タイルの包含に基づき、前記タイルを前記ビットストリームに符号化する、符号化手段と、
デコーダへの通信のために、前記ビットストリームを格納する格納手段と、
を含むエンコーダを含む。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記エンコーダが、上述の態様のいずれかの方法を実行するよう更に構成されることを提供する。

実施形態では、本開示は、デコーダであって、
複数のタイルにパーティションされたピクチャを含むビットストリームを受信する受信手段であって、前記タイルの数はタイルグループに含まれる、受信手段と、
前記ビットストリームのパラメータセットからフラグを取得する取得手段と、
決定手段であって、
前記フラグが第１値に設定されているとき、前記タイルグループがラスタスキャンタイルグループであると決定し、
前記フラグが第２値に設定されているとき、前記タイルグループが長方形タイルグループであると決定し、
前記タイルグループが前記ラスタスキャンタイルグループか又は長方形タイルグループかに基づき、前記タイルグループについてタイルの包含を決定する、決定手段と
前記タイルグループに基づき、前記タイルを復号して復号タイルを生成する復号手段と、
前記復号タイルに基づき、表示のために再構成ビデオシーケンスを生成する生成手段と、
を含むデコーダを含む。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記デコーダが、上述の態様のいずれかの方法を実行するよう更に構成されることを提供する。

明確さを目的として、前述の実施形態のうちのいずれか１つは、他の前述の実施形態のうちの任意の１つ以上と結合されて、本開示の範囲内にある新しい実施形態を生成してよい。

上述及び他の特徴は、添付の図面及び請求の範囲と関連して取り入れられる以下の詳細な説明から一層明確に理解されるだろう。

本開示のより完全な理解のために、ここで、添付の図面及び詳細な説明と関連して以下の簡単な説明を参照する。ここで同様の参照符号は同様の部分を表す。

ビデオ信号をコーディングする例示的な方法のフローチャートである。

ビデオコーディングのための例示的なコーディング及び復号（コーデック）システムの概略図である。

例示的なビデオエンコーダを示す概略図である。

例示的なビデオデコーダを示す概略図である。

符号化ビデオシーケンスを含む例示的なビットストリームを示す概略図である。

ラスタスキャンタイルグループにパーティションされた例示的なピクチャを示す概略図である。

長方形タイルグループにパーティションされた例示的なピクチャを示す概略図である。

例示的なビデオコーディング装置の概略図である。

ピクチャをビットストリームに符号化する例示的な方法のフローチャートである。

ビットストリームからピクチャを復号する例示的な方法のフローチャートである。

ビットストリーム内のビデオピクチャシーケンスをコーディングする例示的なシステムの概略図である。

初めに理解されるべきことに、１つ以上の実施形態の説明的実装が以下に提供されるが、開示のシステム及び／又は方法は、現在知られているか又は既存かに関わらず、任意の数の技術を用いて実装されてよい。本開示は、ここに図示され説明される例示的な設計及び実装を含む以下に説明する説明的実装、図面、及び技術に決して限定されるべきではなく、添付の請求の範囲の範囲内で、それらの均等物の全範囲と共に、変更されてよい。

コーディング木ブロック（coding tree block (CTB)）、コーディング木単位（coding tree unit (CTU)）、コーディング単位（coding unit (CU)）、コーディングビデオシーケンス（coded video sequence (CVS)）、共同ビデオ専門家チーム（Joint Video Experts Team (JVET)）、動き制約タイルセット（motion constrained tile set (MCTS)）、最大転送単位（maximum transfer unit (MTU)）、ネットワーク抽象化レイヤ（network abstraction layer (NAL)）、ピクチャ順序カウント（picture order count (POC)）、生バイトシーケンスペイロード（raw byte sequence payload (RBSP)）、シーケンスパラメータセット（sequence parameter set (SPS)）、バーサタイルビデオコーディング（versatile video coding (VVC)）、及びワーキングドラフト（working draft (WD)）のような種々の略語がここで利用される。

多くのビデオ圧縮技術が、最小限のデータ損失によりビデオファイルのサイズを削減するために利用され得る。例えば、ビデオ圧縮技術は、ビデオシーケンスの中のデータ冗長性を低減又は除去するために、空間（例えば、イントラピクチャ）予測及び／又は時間（例えば、インターピクチャ）予測を実行することを含み得る。ブロックに基づくビデオコーディングでは、ビデオスライス（例えば、ビデオピクチャ又はビデオピクチャの部分）は、木ブロック、コーディング木ブロック（coding tree block (CTB)）、コーディング木単位（coding tree unit (CTU)）、コーディング単位（coding unit (CU)）、及び／又はコーディングノードとも呼ばれてよいビデオブロックにパーティションされてよい。ピクチャのイントラコーディング（Ｉ）スライス内のビデオブロックは、同じピクチャ内の近隣ブロックの中の参照サンプルに対して空間予測を用いてコーディングされる。ピクチャのインターコーディング片方向予測（Ｐ）又は双方向予測（Ｂ）スライス内のビデオブロックは、同じピクチャ内の近隣ブロックの中の参照サンプルに対する空間予測、又は他の参照ピクチャ内の参照サンプルに対する時間予測を利用してコーディングされてよい。ピクチャは、フレーム及び／又は画像と呼ばれてよく、参照ピクチャは、参照フレーム及び／又は参照画像と呼ばれてよい。空間又は時間予測は、画像ブロックを表す予測ブロックを生じる。残差データは、元の画像ブロックと予測ブロックとの間のピクセル差を表す。従って、インターコーディングブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、及びコーディングブロックと予測ブロックとの間の差を示す残差データに従い符号化される。イントラコーディングブロックは、イントラコーディングモード及び残差データに従い符号化される。更なる圧縮のために、残差データは、ピクセルドメインから変換ドメインへと変換されてよい。これらは、量子化されてよい残差変換係数を生じる。量子化済み変換係数は、最初に、２次元アレイに構成されてよい。量子化済み変換係数は、１次元ベクトルの変換係数を生成するためにスキャンされてよい。エントロピーコーディングは、更に多くの圧縮を達成するために適用されてよい。このようなビデオ圧縮技術は、以下に更に詳細に議論される。

符号化ビデオが正確に復号されることを保証するために、ビデオは、対応するビデオコーディング規格に従い符号化及び復号される。ビデオコーディング規格は、国際電気通信連合（International Telecommunication Union (ITU)）標準化部門（ITU－T）Ｈ．２６１、国際標準化機構／国際電気標準会議（International Organization for Standardization/International Electrotechnical Commission (ISO/IEC)）動画専門家グループ（Motion Picture Experts Group (MPEG)）－１ Ｐａｒｔ２、ＩＴＵ－Ｔ Ｈ．２６２、又はＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｐａｒｔ２、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ２、ＩＴＵ－Ｔ Ｈ．２６４又はＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ１０としても知られている高度ビデオコーディング（Advanced Video Coding (AVC)）、及びＩＴＵ－Ｔ Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られている高効率ビデオコーディング（High Efficiency Video Coding (HEVC)）を含む。ＡＶＣは、スケーラブル映像コーディング（Scalable Video Coding (SVC)）、多視点映像コーディング（Multiview Video Coding (MVC)）、及び多視点映像コーディング及び奥行き（Multiview Video Coding plus Depth (MVC+D)）、並びに３次元（three dimensional (３D)）ＡＶＣ（３D－AVC）のような拡張を含む。ＨＥＶＣは、スケーラブルＨＥＶＣ（Scalable HEVC (SHVC)）、多視点ＨＥＶＣ（Multiview HEVC (MV－HEVC)）、及び３Ｄ ＨＥＶＣ（３D－HEVC）のような拡張を含む。ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣの共同ビデオ専門家チーム（joint video experts team (JVET)）は、バーサタイルビデオコーディング（Versatile Video Coding (VVC)）と呼ばれるビデオコーディング規格を開発し始めている。ＶＶＣは、ＪＶＥＴ－Ｌ１００１－ｖ５を含むワーキングドラフト（Working Draft (WD)）に含まれる。

ビデオ画像をコーディングするために、画像は先ずパーティションされ、パーティションはビットストリームにコーディングされる。種々のピクチャパーティション方式が利用可能である。例えば、画像は、通常スライス、依存スライス、タイルに、及び／又は波面並列処理（Wavefront Parallel Processing (WPP)）に従い、パーティションできる。簡単のために、ＨＥＶＣは、ビデオコーディングのためにスライスをＣＴＢのグループにパーティションするとき、通常スライス、依存スライス、タイル、ＷＰＰ、及びそれらの組合せのみが使用できるように、エンコーダを制約する。このようなパーティションは、最大転送単位（Maximum Transfer Unit (MTU)）サイズ適合、並列処理、及び削減されたエンドツーエンド遅延をサポートするために適用できる。ＭＴＵは、単一パケットの中で送信できる最大データ量を示す。パケットペイロードがＭＴＵを超える場合、該ペイロードは、フラグメント化と呼ばれる処理を通じて２個のパケットに分割される。

単にスライスとも呼ばれる通常スライスは、ループフィルタリング動作による何からの相互依存性にも拘わらず、同じピクチャ内の他の通常スライスと独立に再構成可能な画像のパーティションされた部分である。各々の通常スライスは、送信のために、それ自体のネットワーク抽象化層（Network Abstraction Layer (NAL)）単位の中にカプセル化される。更に、ピクチャ内予測（イントラサンプル予測、動き情報予測、コーディングモード予測）、及びスライス境界に跨がるエントロピーコーディング依存性は、独立した再構成をサポートするために無効にされてよい。このような独立した再構成は、並列化をサポートする。例えば、通常スライスに基づく並列化は、最小限のインタープロセッサ及びインターコア通信を利用する。しかしながら、各々の通常スライスは独立なので、各スライスは、個別のスライスヘッダに関連付けられる。通常スライスの使用は、スライス毎のスライスヘッダのビットコストにより、及びスライス境界に跨がる予測の欠如により、相当なコーディングオーバヘッドを生じ得る。更に、通常スライスは、ＭＴＵサイズ要件の適合をサポートするために利用されてよい。具体的に、通常スライスは別個のＮＡＬ単位にカプセル化され、独立にコーディングされ得るので、スライスを複数のパケットに分解することを防ぐために、各々の通常スライスは、ＭＴＵ方式におけるＭＴＵよりも小さいべきである。このように、並列化の目的と、ＭＴＵサイズ適合の目的とは、ピクチャ内のスライスレイアウトに対して矛盾する要求を課すことがある。

依存スライスは、通常スライスと同様であるが、短縮されたスライスヘッダを有し、ピクチャ内予測を壊すことなく、画像木ブロック境界のパーティションを可能にする。従って、依存スライスは、通常スライスが複数のＮＡＬ単位にフラグメント化されることを可能にし、これは、通常スライス全体の符号化が完了する前に、通常スライスの部分を送出可能にすることにより、削減されたエンドツーエンド遅延をもたらす。

タイルは、タイルの列及び行を生成する水平及び垂直境界により生成される画像のパーティションされた部分である。タイルはラスタスキャン順序（右から左へ、及び上から下へ）でコーディングされてよい。ＣＴＢのスキャン順序はタイル内でローカルである。従って、第１タイル内のＣＴＢは、次のタイル内のＣＴＢに進む前に、ラスタスキャン順序でコーディングされる。通常スライスと同様に、タイルは、ピクチャ内予測依存性、並びにエントロピー復号依存性を壊す。しかしながら、タイルは、個々のＮＡＬ単位に含まれなくてよく、従って、タイルはＭＴＵサイズ適合のために使用されなくてよい。各タイルは１つのプロセッサ／コアにより処理でき、近隣タイルを復号する処理ユニットの間でピクチャ内予測のために利用されるインタープロセッサ／インターコア通信は、（隣接タイルが同じスライス内にあるとき）共有スライスヘッダを運ぶこと、及びループフィルタリングに関連する再構成サンプル及びメタデータの共有を実行することに限定され得る。１つより多くのタイルがスライスに含まれるとき、スライス内の最初のエントリポイントオフセット以外の各タイルのエントリポイントバイトオフセットは、スライスヘッダの中でシグナリングされてよい。スライス及びタイル毎に、以下の条件のうちの少なくとも１つが満たされるべきである。１）スライス内の全部のコーディング木ブロックが同じタイルに属する、及び、２）タイル内の全部のコーディング木ブロックが同じスライスに属する。

ＷＰＰでは、画像はＣＴＢの単一の行にパーティションされる。エントロピー復号及び予測メカニズムは、他の行の中のＣＴＢからのデータを使用してよい。並列処理は、ＣＴＢ行の並列復号を通じて可能にされる。例えば、現在の行は、先行する行と並列に復号されてよい。しかしながら、現在の行の復号は、２ＣＴＢだけ、先行する行の復号処理から遅れる。この遅延は、現在の行の中の現在ＣＴＢの上のＣＴＢ及び右上のＣＴＢに関連するデータが、現在ＣＴＢがコーディングされる前に利用可能になることを保証する。このアプローチは、図式的に表すと波面として現れる。この時差のある開始は、最大で画像が含むＣＴＢ行と同じ数のプロセッサ／コアによる並列化を可能にする。ピクチャ内の近隣木ブロック行の間のピクチャ内予測が許可されるので、ピクチャ内予測を可能にするインタープロセッサ／インターコア通信が重要になり得る。ＷＰＰパーティションは、ＮＡＬ単位サイズを考慮する。従って、ＷＰＰは、ＭＴＵサイズ適合をサポートしない。しかしながら、通常スライスは、特定のコーディングオーバヘッドを伴い、ＷＰＰと関連して使用でき、所望のＭＴＵサイズ適合を実施する。

タイルは、動き制約タイルセットも含んでよい。動き制約タイルセット（motion constrained tile set (MCTS)）は、関連する動きベクトルがＭＣＴＳの内部にあるフルサンプル位置を、及び補間のためにＭＣＴＳ内のフルサンプル位置のみを必要とする分数サンプル位置を指すよう制限されるように設計されたタイルセットである。更に、ＭＣＴＳの外部のブロックから導出される時間動きベクトル予測のための動きベクトル候補の使用は、許されない。このように、各ＭＣＴＳは、ＭＣＴＳに含まれないタイルの存在無しに、独立に復号されてよい。時間ＭＣＴＳ補足強化情報（supplemental enhancement information (SEI)）メッセージは、ビットストリーム内のＭＣＴＳの存在を示すために、及びＭＣＴＳをシグナリングするために、使用されてよい。ＭＣＴＳ ＳＥＩメッセージは、ＭＣＴＳの確認ビットストリームを生成するためにＭＣＴＳサブビットストリーム抽出（ＳＥＩメッセージのセマンティクスの部分として指定される）で使用できる補足情報を提供する。情報は、抽出情報セットの数を含み、それぞれが、ＭＣＴＳの数を定義し、ＭＣＴＳサブビットストリーム抽出処理の間に使用されるべき置換ビデオパラメータセット（replacement video parameter set (VPS)）、シーケンスパラメータセット（sequence parameter set (SPS)）、及びピクチャパラメータセット（picture parameter set (PPS)）の生バイトシーケンスペイロード（raw bytes sequence payload (RBSP)）バイトを含む。ＭＣＴＳサブビットストリーム抽出処理に従いサブビットストリームを抽出するとき、スライスアドレスに関連するシンタックス要素（first_slice_segment_in_pic_flag及びslice_segment_addressを含む）の１つ又は全ては抽出されたサブビットストリームの中で異なる値を利用し得るので、パラメータセット（ＶＰＳ、ＳＰＳ、及びＰＰＳ）は書き換えられ又は置き換えられてよく、スライスヘッダは更新されてよい。

本開示は、種々のタイリング方式に関連する。具体的に、画像がタイルにパーティションされるとき、このようなタイルはタイルグループに割り当てられることができる。タイルグループは、例えば関心領域の表示をサポートするために及び／又は並列処理をサポートするために別個に抽出されコーディングされることのできる関連するタイルのセットである。タイルは、タイルグループに割り当てられることができ、対応するパラメータ、関数、コーディングツール、等のグループ毎の適用を可能にする。例えば、タイルグループはＭＣＴＳを含んでよい。別の例として、タイルグループは、別個に処理され及び／又は抽出されてよい。幾つかのシステムは、ラスタスキャンメカニズムを利用して、対応するタイルグループを生成する。ここで使用されるとき、ラスタスキャンタイルグループは、ラスタスキャン順序でタイルを割り当てることにより生成されるタイルグループである。ラスタスキャン順序は、最初のタイル及び最後のタイルの間で、右から左へ及び上から下へと連続的に進行する。ラスタスキャンタイルグループは、例えば並列処理をサポートするために幾つかのアプリケーションにとって有用であり得る。

しかしながら、ラスタスキャンタイルグループは、幾つかの場合には効率的でない場合がある。例えば、仮想現実（virtual reality (VR)）アプリケーションでは、環境は、ピクチャに符号化された球として記録される。ユーザは、次に、ピクチャのユーザの選択したサブピクチャを閲覧することにより、環境を経験できる。ユーザの選択したサブピクチャは、関心領域と呼ばれてよい。環境の部分をユーザが選択的に知覚することを可能にすることは、ユーザが該環境内に存在するという感覚を生成する。このように、ピクチャのうちの非選択部分は、見えなくてよく、従って破棄される。従って、ユーザの選択したサブピクチャは、非選択サブピクチャと異なる方法で扱われてよい（例えば、非選択サブピクチャは、より低い解像度でシグナリングされてよく、レンダリングの間に、より簡易なメカニズムを用いて処理されてよい、等である）。タイルグループは、サブピクチャの間でこのような異なる扱いを可能にする。しかしながら、ユーザの選択したサブピクチャは、通常、長方形及び／又は正方形領域である。従って、ラスタスキャンタイルグループは、そのような使用例には有用でない場合がある。

これらの問題を克服するために、幾つかのシステムは長方形タイルグループを利用する。長方形タイルグループは、全体として見ると長方形形状を生じるタイルセットを含むタイルグループである。長方形形状は、ここで使用されるとき、各辺がそれぞれ９０°の角度で２つの他の辺に接続されるように正確に４辺が接続された形状である。両方のタイルグループアプローチ（例えば、ラスタスキャンタイルグループ、及び長方形タイルグループ）は、利点及び欠点を有し得る。従って、ビデオコーディングシステムは、両方のアプローチをサポートすることを望み得る。しかしながら、ビデオコーディングシステムは、両方のアプローチが利用可能であるとき、タイルグループの使用を効率的にシグナリングすることができない場合がある。例えば、これらのアプローチのシグナリングの単純なマージは、エンコーダ及び／又はデコーダにおいて非効率であり及び／又はプロセッサ集中的な複雑なシンタックス構造をもたらし得る。本開示は、ビデオコーディング技術におけるこれら及び他の問題を解決するためのメカニズムを提示する。

ここに開示されるのは、簡易且つコンパクトなシグナリングを利用することによりラスタスキャンタイルグループ及び長方形タイルグループの使用を調和させる種々のメカニズムである。このようなシグナリングは、コーディング効率を向上し、従って、エンコーダ及び／又はデコーダにおけるメモリリソース使用、処理リソース使用、及び／又はネットワークリソース使用を削減する。これらのアプローチを調和させるために、エンコーダは、タイルグループのどのタイプが利用されるかを示すフラグをシグナリングできる。例えば、フラグは、ＳＰＳ及び／又はＰＰＳのようなパラメータセットの中でシグナリングされてよい長方形タイルグループフラグであってよい。フラグは、エンコーダがラスタスキャンタイルグループ又は長方形タイルグループを使用しているかを示すことができる。エンコーダは、従って、タイルグループの中の最初及び最後のタイルを単にシグナリングすることにより、タイルグループメンバシップを示すことができる。最初のタイル、最後のタイル、及びタイルグループタイプの指示に基づき、デコーダは、どのタイルがタイルグループに含まれているかを決定できる。従って、各タイルグループ内の全部のタイルの完全なリストは、ビットストリームから省略されることができ、このことがコーディング効率を向上させる。例えば、タイルグループがラスタスキャンタイルグループである場合、タイルグループに割り当てられたタイルは、タイルグループの最初のタイルと最後のタイルとの間のタイルの数を決定し、及び最初のタイルと最後のタイルとの間の識別子を有する該多数のタイルをタイルグループに追加することにより、決定できる。タイルグループが長方形タイルグループである場合、異なるアプローチが使用できる。例えば、タイルグループの最初のタイルと最後のタイルとの間のデルタ値が決定できる。次に、タイルグループの行の数、及びタイルグループの列の数が、デルタ値及びピクチャ内のタイル列の数に基づき決定できる。タイルグループ内のタイルは、次に、タイルグループの行の数及びタイルグループの列の数に基づき決定できる。これら及び他の例は、以下に詳細に説明される。

図１は、ビデオ信号のコーディングの例示的な動作方法１００のフローチャートである。具体的に、ビデオ信号はエンコーダで符号化される。符号化処理は、ビデオファイルサイズを削減するために、種々のメカニズムを利用することにより、ビデオ信号を圧縮する。小さなファイルサイズほど、関連する帯域幅オーバヘッドを削減しながら、ユーザに向けて圧縮されたビデオファイルを送信することを可能にする。デコーダは、次に、エンドユーザに表示するために、圧縮されたビデオガイルを復号して元のビデオ信号を再構成する。復号処理は、通常、符号化処理のミラーであり、デコーダがビデオ信号を矛盾無く再構成することを可能にする。

ステップ１０１で、ビデオ信号はエンコーダに入力される。例えば、ビデオ信号は、メモリに格納された非圧縮ビデオファイルであってよい。別の例として、ビデオファイルは、ビデオカメラのようなビデオキャプチャ装置によりキャプチャされ、ビデオのライブストリーミングをサポートするために符号化されてよい。ビデオファイルは、オーディオコンポーネント及びビデオコンポーネントの両方を含んでよい。ビデオコンポーネントは、シーケンスの中で閲覧されるとき、動きの視覚的印象を与える一連の画像フレームを含む。フレームは、ここではルマ成分（又はルマサンプル）と呼ばれる光、及びクロマ成分（又はクロマサンプル）と呼ばれる色、の観点で表現されるピクセルを含む。幾つかの例では、フレームは、３次元表示をサポートするために、深さ値も含んでよい。

ステップ１０３で、ビデオはブロックにパーティションされる。パーティションは、圧縮のために、各フレーム内のピクセルを正方形及び／又は長方形ブロックに細分化することを含む。例えば、高効率ビデオコーディング（High Efficiency Video Coding(HEVC)）（H.２６５及びMPEG－H Part２としても知られる）では、フレームは、先ず、所定のサイズ（例えば、６４ピクセル×６４ピクセル）のブロックであるコーディング木単位（coding tree unit(CTU)）に分割できる。ＣＴＵは、ルマ及びクロマサンプルの両方を含む。コーディング木は、ＣＴＵをブロックに分割し、次に、更なる符号化をサポートする構成が達成されるまで、ブロックを繰り返し細分化するために利用されてよい。例えば、フレームのルマ成分は、個々のブロックが比較的同種の光の値を含むまで、細分化されてよい。さらに、フレームのクロマ成分は、個々のブロックが比較的同種の色の値を含むまで、細分化されてよい。したがって、パーティションメカニズムは、ビデオフレームの内容に依存して変化する。

ステップ１０５で、ステップ１０３でパーティションされた画像ブロックを圧縮するために、種々の圧縮メカニズムが利用される。例えば、インター予測及び／又はイントラ予測が利用されてよい。インター予測は、共通のシーンの中のオブジェクトは連続フレームで現れる傾向があるという事実を利用するよう設計される。したがって、参照フレーム内のオブジェクトを描写するブロックは、隣接フレーム内で繰り返し示される必要がない。具体的には、テーブルのようなオブジェクトは、複数のフレームに渡り、一定の位置に留まってよい。したがって、テーブルは一度示され、隣接フレームは参照フレームに戻り参照できる。複数のフレームに渡りオブジェクトを一致させるために、パターンマッチングメカニズムが利用されてよい。さらに、例えばオブジェクトの動き又はカメラの動きにより、動くオブジェクトが複数のフレームに渡り表示されてよい。特定の例として、ビデオは、複数のフレームに渡りスクリーンを横に移動する自動車を示してよい。このような動きを示すために、動きベクトルが利用できる。動きベクトルは、フレーム内のオブジェクトの座標から参照フレーム内の該オブジェクトの座標へのオフセットを提供する２次元ベクトルである。したがって、インター予測は、現在フレーム内の画像ブロックを、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルのセットとして、符号化できる。

イントラ予測は、共通フレーム内のブロックを符号化する。イントラ予測は、ルマ及びクロマ成分がフレーム内で密集する傾向があるという事実を利用する。例えば、木の一部の緑のパッチは、同様の緑のパッチに隣接して位置する傾向がある。イントラ予測は、複数の方向予測モード（例えば、ＨＥＶＣでは３３個）、平面モード、及び直流（direct current(DC)）モードを利用する。方向モードは、現在ブロックが対応する方向の近隣ブロックのサンプルと同様／同じであることを示す。平面モードは、行／列（例えば、平面）に沿う一連のブロックが行の端にある近隣ブロックに基づき補間できることを示す。平面モードは、事実上、変化する値の比較的一定の勾配を利用することにより、行／列に渡る光／色の円滑な遷移を示す。ＤＣモードは、境界円滑化のために利用され、ブロックが方向予測モードの角度方向に関連する全部の近隣ブロックのサンプルに関連する平均値と同様／同じであることを示す。したがって、イントラ予測ブロックは、実際の値の代わりに、種々の関係予測モードとして、画像ブロックを表すことができる。さらに、インター予測ブロックは、実際の値の代わりに、動きベクトル値として、画像ブロックを表すことができる。いずれの場合にも、予測ブロックは、幾つかの場合に画像を正確に表さないことがある。任意の差が残差ブロックに格納される。ファイルを更に圧縮するために、変換が残差ブロックに適用されてよい。

ステップ１０７で、種々のフィルタリング技術が適用されてよい。ＨＥＶＣでは、フィルタは、インループフィルタリング方式に従い適用される。上述のブロックに基づく予測は、デコーダにおいて濃淡のむらのある画像の生成をもたらし得る。さらに、ブロックに基づく予測方式は、ブロックを符号化し、次に、参照ブロックとして後に使用するために、符号化したブロックを再構成し得る。インループフィルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、及びサンプル適応型オフセット（sample adaptive offset(SAO)）フィルタをブロック／フィルタに繰り返し適用する。これらのフィルタは、このような濃淡のむらのアーチファクトを緩和し、その結果、符号化されたファイルは正確に再構成できる。さら、これらのフィルタは、再構成された参照ブロック内のアーチファクトを緩和し、その結果、再構成された参照ブロックに基づき符号化される後のブロック内で追加アーチファクトを生じる可能性が低い。

ビデオ信号がパーティションされ、圧縮され、及びフィルタリングされると、結果として生じるデータは、ステップ１０９でビットストリーム内に符号化される。ビットストリームは、上述のデータ、及びデコーダにおける適正なビデオ信号再構成をサポートするための任意の所望のシグナリングデータを含む。例えば、このようなデータは、パーティションデータ、予測データ、残差ブロック、及びデコーダにコーディング指示を提供する種々のフラグを含んでよい。ビットストリームは、要求によりデコーダへ向けて送信するために、メモリに格納されてよい。ビットストリームは、複数のデコーダへ向けてブロードキャスト及び／又はマルチキャストされてもよい。ビットストリームの生成は反復処理である。したがって、ステップ１０１、１０３、１０５、１０７、及び１０９は、多数のフレーム及びブロックに渡り連続して及び／又は同時に生じてよい。図１に示す順序は明確さ及び議論の容易さのために提示され、ビデオコーディング処理を特定の順序に限定することを意図しない。

ステップ１１１で、デコーダは、ビットストリームを受信し、復号処理を開始する。具体的に、デコーダは、エントロピー復号方式を利用して、ビットストリームを対応するシンタックス及びビデオデータに変換する。ステップ１１１で、デコーダは、ビットストリームからのシンタックスを利用して、フレームのパーティションを決定する。パーティションは、ステップ１０３におけるブロックパーティションの結果と一致するべきである。ステップ１１１で利用されるようなエントロピー符号化／復号は、以下に説明される。エンコーダは、圧縮処理の間に、入力画像内の値の空間的位置に基づき幾つかの可能な選択肢からブロックパーティション方式を選択するような、多くの選択肢を生成する。正確な選択肢をシグナリングすることは、膨大な数のビンを利用し得る。ここで使用されるように、ビンは、変数として扱われる２進値である（例えば、コンテキストに依存して変化し得るビット値）。エントロピーコーディングは、許容可能な選択肢のセットを残して、エンコーダが特定の場合に明らかに実行可能ではない任意の選択肢を廃棄することを可能にする。各々の許容可能な選択肢は、次にコードワードを割り当てられる。コードワードの長さは、許容可能な選択肢の数に基づく（例えば、２個の選択肢に対して１つのビン、３～４個の選択肢に対して２つのビン、等）。エンコーダは、次に、選択された選択肢についてコードワードを符号化する。この方式は、全ての可能な選択肢の潜在的に大きな集合からの選択をユニークに示すのとは反対に、可能な選択肢の小さな部分集合からの選択をユニークに示すために望ましい程度の大きさなので、コードワードのサイズを削減する。デコーダは、次に、エンコーダと同様の方法で許容可能な選択肢の集合を決定することにより、選択を復号する。許容可能な選択肢の集合を決定することにより、デコーダは、コードワードを読み出し、エンコーダにより行われた選択を決定できる。

ステップ１１３で、デコーダは、ブロック復号を実行する。具体的に、デコーダは、逆変換を利用して残差ブロックを生成する。次に、デコーダは、残差ブロック及び対応する予測ブロックを利用して、パーティションに従い画像ブロックを再構成する。予測ブロックは、エンコーダにおいてステップ１０５で生成されたイントラ予測ブロック及びインター予測ブロックの両方を含んでよい。再構成画像ブロックは、次に、ステップ１１１で決定されたパーティションデータに従い再構成ビデオ信号のフレームへと位置付けられる。ステップ１１３のシンタックスも、上述のようなエントロピーコーディングによりビットストリームの中でシグナリングされてよい。

ステップ１１５で、エンコーダにおけるステップ１０７と同様の方法で、再構成ビデオ信号のフレームに対してフィルタリングが実行される。例えば、ノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、及びＳＡＯフィルタが、ブロッキングアーチファクトを除去するためにフレームに適用されてよい。フレームがフィルタリングされると、ビデオ信号は、エンドユーザによる閲覧のためにステップ１１７においてディスプレイへと出力できる。

図２は、ビデオコーディングのための例示的なコーディング及び復号（コーデック）システム２００の概略図である。具体的に、コーデックシステム２００は、動作方法１００の実装をサポートするための機能を提供する。コーデックシステム２００は、エンコーダ及びデコーダの両方の中で利用されるコンポーネントを示すために一般化される。コーデックシステム２００は、パーティションされたビデオ信号２０１を生じる、動作方法１００におけるステップ１０１及び１０３に関して上述したビデオ信号を受信しパーティションする。コーデックシステム２００は、次に、方法１００におけるステップ１０５、１０７、及び１０９に関して上述したエンコーダとして動作するとき、パーティションされたビデオ信号２０１をコーディングビットストリームへと圧縮する。デコーダとして動作するとき、コーデックシステム２００は、動作方法１００におけるステップ１１１、１１３、１１５、及び１１７に関して上述したようにビットストリームから出力ビデオ信号を生成する。コーデックシステム２００は、汎用コーダ制御コンポーネント２１１、変換スケーリング及び量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、イントラピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、動き推定コンポーネント２２１、スケーリング及び逆変換コンポーネント２２９、フィルタ制御分析コンポーネント２２７、インループフィルタコンポーネント２２５、復号ピクチャバッファコンポーネント２２３、及びヘッダフォーマット及びコンテキスト適応型２進算術コーディング（ontext adaptive binary arithmetic coding(CABAC)）コンポーネント２３１を含む。このようなコンポーネントは図示のように結合される。図２では、黒線は符号化／復号されるべきデータの動きを示し、一方で、破線は他のコンポーネントの動作を制御する制御データの動きを示す。コーデックシステム２００のコンポーネントは、エンコーダ内に全て存在してよい。デコーダは、コーデックシステム２００のコンポーネントの一部を含んでよい。例えば、デコーダは、イントラピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、スケーリング及び逆変換コンポーネント２２９、インループフィルタコンポーネント２２５、及び復号ピクチャバッファコンポーネント２２３を含んでよい。これらのコンポーネントはここで説明される。

パーティションされたビデオ信号２０１は、コーディング木によりピクセルのブロックへとパーティションされた、キャプチャされたビデオシーケンスである。コーディング木は、種々の分割モードを利用して、ピクセルのブロックをより小さなピクセルのブロックへと細分化する。これらのブロックは、次に、より小さなブロックへと更に細分化できる。ブロックは、コーディング木上のノードと呼ばれてよい。より大きな親ノードは、より小さな子ノードへと分割される。ノードが細分化される回数は、ノード／コーディング木の深さと呼ばれる。分割されたブロックは、幾つかの場合にはコーディング単位（coding unit(CU)）に含まれ得る。例えば、ＣＵは、ルマブロック、赤色差分クロマ（Cr）ブロック、及び青色差分クロマ（Cb）ブロック、ならびにＣＵの対応するシンタックス命令を含むＣＴＵの副部分であり得る。分割モードは、利用される分割モードに依存して変化する形状のそれぞれ２、３、又は４個の子ノードにノードをパーティションするために利用される２分木（binary tree(BT)）、３分木（triple tree(TT)）、及び４分木（quad tree(QT)）を含んでよい。パーティションされたビデオ信号２０１は、汎用コーダ制御コンポーネント２１１、変換スケーリング及び量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、フィルタ制御分析コンポーネント２２７、及び動き推定コンポーネント２２１へと圧縮のために転送される。

汎用コーダ制御コンポーネント２１１は、アプリケーション制約に従いビットストリームへのビデオシーケンスの画像のコーディングに関連する決定を行うよう構成される。例えば、汎用コーダ制御コンポーネント２１１は、再構成品質に対するビットレート／ビットストリームサイズの最適化を管理する。このような決定は、記憶空間／帯域幅の利用可能性、及び画像解像度要求に基づき行われてよい。汎用コーダ制御コンポーネント２１１は、また、バッファアンダーラン及びオーバラン問題を緩和するために、変換速度の観点でバッファ利用を管理する。これらの問題に対応するために、汎用コーダ制御コンポーネント２１１は、他のコンポーネントによるパーティション、予測、及びフィルタリングを管理する。例えば、汎用コーダ制御コンポーネント２１１は、解像度を増大するために圧縮複雑性を動的に増大させ、解像度及び帯域幅使用を低減するために帯域幅使用を増大し又は圧縮複雑性を減少させてよい。したがって、汎用コーダ制御コンポーネント２１１は、コーデックシステム２００の他のコンポーネントを制御して、ビデオ信号再構成品質とビットレート関心事とのバランスをとる。汎用コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを生成する。制御データも、デコーダにおける復号のためのパラメータをシグナリングするためにビットストリーム内に符号化されるようヘッダフォーマット及びＣＡＢＡＣコンポーネント２３１へ転送される。

パーティションされたビデオ信号２０１は、インター予測のために、動き推定コンポーネント２２１及び動き補償コンポーネント２１９へも送信される。パーティションされたビデオ信号２０１のフレーム又はスライスは、複数のビデオブロックに分割されてよい。動き推定コンポーネント２２１及び動き補償コンポーネント２１９は、１つ以上の参照フレームの中の１つ以上のブロックに関連して、受信したビデオブロックのインター予測コーディングを実行し、一時的予測を提供する。コーデックシステム２００は、例えばビデオデータの各ブロックについて適切なコーディングモードを選択するために、複数のコーディングパスを実行してよい。

動き推定コンポーネント２２１及び動き補償コンポーネント２１９は、高度に統合されてよいが、概念的目的のために別個に示される。動き推定コンポーネント２２１により実行される動き推定は、ビデオブロックについて動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、予測ブロックに関連してコーディングオブジェクトの配置を示してよい。予測ブロックは、ピクセル差分の観点で、コーディングされるべきブロックに厳密に一致すると分かったブロックである。予測ブロックは、参照ブロックとも呼ばれてよい。このようなピクセル差分は、絶対値差分の和（sum of absolute difference(SAD)）、平方差分の和（sum of square difference(SSD)）、又は他の差分メトリックにより決定されてよい。ＨＥＶＣは、ＣＴＵ、コーディング木ブロック（coding tree block(CTB)）、及びＣＵを含む幾つかのコーディングオブジェクトを利用する。例えば、ＣＴＵは、ＣＴＢに分割でき、ＣＴＢは次にＣＵに含むためにＣＢに分割できる。ＣＵは、予測データを含む予測単位（prediction unit(PU)）及び／又はＣＵの変換された残差データを含む変換単位（transform unit(TU)）として符号化できる。動き推定コンポーネント２２１は、レート歪み最適化処理の部分としてレート歪み分析を用いて、動きベクトル、ＰＵ及びＴＵを生成する。例えば、動き推定コンポーネント２２１は、現在ブロック／フレームについて複数の参照ブロック、複数の動きベクトル、等を決定してよく、最適なレート歪み特性を有する参照ブロック、動きベクトル、等を選択してよい。最適なレート歪み特性は、ビデオ再構成の品質（例えば、圧縮によるデータ損失の量）及びコーディング効率（例えば、最終的な符号化のサイズ）の両方のバランスをとる。

幾つかの例では、コーデックシステム２００は、復号ピクチャバッファコンポーネント２２３に格納された参照ピクチャのサブ整数ピクチャ位置の値を計算してよい。例えば、ビデオコーデックシステム２００は、参照ピクチャの４分の１ピクセル位置、８分の１ピクセル位置、又は他の分数ピクセル位置の値を補間してよい。したがって、動き推定コンポーネント２２１は、完全ピクセル位置及び分数ピクセル位置に関連して動き探索を実行し、分数ピクセル精度で動きベクトルを出力してよい。動き推定コンポーネント２２１は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することにより、インターコーディングスライスの中のビデオブロックのＰＵについて、動きベクトルを計算する。動き推定コンポーネント２２１は、計算した動きベクトルを動きデータとして、符号化のためにヘッダフォーマット及びＣＡＢＡＣコンポーネント２３１へ、動きを動き補償コンポーネント２１９へ出力する。

動き補償コンポーネント２１９により実行される動き補償は、動き推定コンポーネント２２１により決定された動きベクトルに基づき、予測ブロックをフェッチする又は生成することを含んでよい。ここでも、動き推定コンポーネント２２１及び動き補償コンポーネント２１９は、幾つかの例では機能的に統合されてよい。現在ビデオブロックのＰＵの動きベクトルを受信すると、動き補償コンポーネント２１９は、動きベクトルの指す予測ブロックの位置を特定してよい。次に、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算してピクセル差分値を形成することにより、残差ビデオブロックが形成される。一般に、動き推定コンポーネント２２１は、ルマ成分に関連して動き推定を実行し、動き補償コンポーネント２１９は、クロマ成分及びルマ成分の両方についてルマ成分に基づき計算された動きベクトルを使用する。予測ブロック及び残差ブロックは、変換スケーリング及び量子化コンポーネント２１３へ転送される。

パーティションされたビデオ信号２０１は、イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７へも送信される。動き推定コンポーネント２２１及び動き補償コンポーネント２１９と同様に、イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７は、高度に統合されてよいが、概念的目的のために別個に示される。上述のようなフレーム間の動き推定コンポーネント２２１及び動き補償コンポーネント２１９により実行されるインター予測の代わりに、イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７は、現在フレーム内のブロックに関連して現在ブロックをイントラ予測する。特に、イントラピクチャ推定コンポーネント２１５は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定する。幾つかの例では、イントラピクチャ推定コンポーネント２１５は、複数のテストされたイントラ予測モードから、現在ブロックを符号化するための適切なイントラ予測モードを選択する。選択したイントラ予測モードは、次に、符号化のためにヘッダフォーマット及びＣＡＢＡＣコンポーネント２３１へ転送される。

例えば、イントラピクチャ推定コンポーネント２１５は、種々のテストされたイントラ予測モードについてレート歪み分析を用いてレート歪み値を計算し、テストしたモードの中で最適なレート歪み特性を有するイントラ予測モードを選択する。レート歪み分析は、一般に、符号化ブロックと、符号化されて該符号化ブロックを生成した元の未符号化ブロックとの間の歪み（又は誤差）の量、並びに符号化ブロックを生成するために使用されたビットレート（例えば、ビット数）を決定する。イントラピクチャ推定コンポーネント２１５は、種々の符号化ブロックについて歪み及びレートから比を計算して、ブロックについて、どのイントラ予測モードが最適なレート歪み値を示すかを決定する。さらに、イントラピクチャ推定コンポーネント２１５は、レート歪み最適化（rate－distortion optimization(RDO)）に基づき、深さモデル化モード（depth modeling mode(DMM)）を用いて深さマップの深さブロックをコーディングするよう構成されてよい。

イントラピクチャ予測コンポーネント２１７は、エンコーダに実装されるとき、イントラピクチャ推定コンポーネント２１５により決定された、選択されたイントラ予測モードに基づき、予測ブロックから残差ブロックを生成し、又は、デコーダに実装されるとき、ビットストリームから残差ブロックを読み出してよい。残差ブロックは、行列として表現される、予測ブロックと元のブロックとの間の値の差分を含む。残差ブロックは、次に、変換スケーリング及び量子化コンポーネント２１３へ転送される。イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７は、ルマ及びクロマ成分の両方に対して動作してよい。

変換スケーリング及び量子化コンポーネント２１３は、残差ブロックを更に圧縮するよう構成される。変換スケーリング及び量子化コンポーネント２１３は、離散コサイン変換（discrete cosine transform(DCT)）、離散サイン変換（discrete sine transform(DST)）、又は概念的に類似する変換のような変換を残差ブロックに適用して、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、又は他の種類の変換も使用され得る。変換は、残差情報を、ピクセル値ドメインから周波数ドメインのような変換ドメインへと変換してよい。変換スケーリング及び量子化コンポーネント２１３は、また、例えば周波数に基づき、変換された残差情報をスケーリングするよう構成される。このようなスケーリングは、倍率を残差情報に適用することを含む。その結果、異なる周波数情報は異なる粒度で量子化され、これは再構成ビデオの最終的な視覚的品質に影響を与え得る。変換スケーリング及び量子化コンポーネント２１３は、また、ビットレートを更に低減するために、変換係数を量子化するよう構成される。量子化処理は、係数の一部又は全部に関連するビット深さを低減してよい。量子化の程度は、量子化パラメータを調整することにより、変更されてよい。幾つかの例では、変換スケーリング及び量子化コンポーネント２１３は、次に、量子化された変換係数を含む行列のスキャンを実行してよい。量子化された変換係数は、ビットストリーム内に符号化されるために、ヘッダフォーマット及びＣＡＢＡＣコンポーネント２３１へ転送される。

スケーリング及び逆変換コンポーネント２２９は、動き推定をサポートするために、変換スケーリング及び量子化コンポーネント２１３の逆処理を適用する。スケーリング及び逆変換コンポーネント２２９は、逆スケーリング、変換、及び／又は量子化を適用して、例えば別の現在ブロックのための予測ブロックになり得る参照ブロックとして後に使用するために、ピクセルドメインの残差ブロックを再構成する。動き推定コンポーネント２２１及び／又は動き補償コンポーネント２１９は、後のブロック／フレームの動き推定で使用するために、残差ブロックを対応する予測ブロックに加算して戻すことにより、参照ブロックを計算してよい。スケーリング、量子化、及び変換の間に生成されたアーチファクトを低減するために、再構成された参照ブロックにフィルタが適用される。このようなアーチファクトは、そうでなければ、後続のブロックが予測されるときに不正確な予測を生じ（及び追加アーチファクトを生成し）得る。

フィルタ制御分析コンポーネント２２７及びインループフィルタコンポーネント２２５は、残差ブロックに及び／又は再構成画像ブロックにフィルタを適用する。例えば、スケーリング及び逆変換コンポーネント２２９からの変換された残差ブロックは、元の画像ブロックを再構成するために、イントラピクチャ予測コンポーネント２１７及び／又は動き補償コンポーネント２１９からの対応する予測ブロックと結合されてよい。フィルタは、次に、再構成画像ブロックに適用されてよい。幾つかの例では、フィルタは、代わりに、残差ブロックに適用されてよい。図２の他のコンポーネントと同様に、フィルタ制御分析コンポーネント２２７及びインループフィルタコンポーネント２２５は、高度に統合され一緒に実装されてよいが、概念的目的のために別個に示される。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、このようなフィルタがどのように適用されるかを調整するための複数のパラメータを含む。フィルタ制御分析コンポーネント２２７は、再構成された参照ブロックを分析して、このようなフィルタが適用されるべき場合を決定し、対応するパラメータを設定する。このようなデータは、ヘッダフォーマット及びＣＡＢＡＣコンポーネント２３１へ、符号化のためのフィルタ制御データとして転送される。インループフィルタコンポーネント２２５は、フィルタ制御データに基づき、このようなフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、及び適応型ループフィルタを含んでよい。このようなフィルタは、例に依存して、（例えば、再構成されたピクセルブロック上の）空間／ピクセルドメインにおいて、又は周波数ドメインにおいて、適用されてよい。

エンコーダとして動作するとき、フィルタリングされた再構成画像ブロック、残差ブロック、及び／又は予測ブロックは、上述のように動き推定において後に使用するために、復号ピクチャバッファコンポーネント２２３に格納される。デコーダとして動作するとき、復号ピクチャバッファコンポーネント２２３は、出力ビデオ信号の部分として、再構成されフィルタリングされたブロックを格納しディスプレイへ向けて転送する。復号ピクチャバッファコンポーネント２２３は、予測ブロック、残差ブロック、及び／又は再構成画像ブロックを格納することの可能な任意のメモリ装置であってよい。

ヘッダフォーマット及びＣＡＢＡＣコンポーネント２３１は、コーデックシステム２００の種々のコンポーネントからデータを受信し、デコーダへ向けて送信するためにこのようなデータをコーディングビットストリームに符号化する。具体的に、ヘッダフォーマット及びＣＡＢＡＣコンポーネント２３１は、一般制御データ及びフィルタ制御データのような制御データを符号化するために種々のヘッダを生成する。さらに、イントラ予測及び動きデータを含む予測データ、並びに量子化された変換係数データの形式の残差データは、全てビットストリーム内に符号化される。最終的なビットストリームは、元のパーティションされたビデオ信号２０１を再構成するためにデコーダにより所望される全ての情報を含む。このような情報は、イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）、種々のブロックの符号化コンテキストの定義、最も有望なイントラ予測モードの指示、パーティション情報の指示、等も含んでよい。このようなデータは、エントロピーコーディングを利用することにより、符号化されてよい。例えば、情報は、コンテキスト適応型可変長コーディング（context adaptive variable length coding(CAVLC)）、シンタックスに基づくコンテキスト適応型２進算術コーディング（syntax－based context－adaptive binary arithmetic coding(SBAC)）、確率区間パーティショニングエントロピー（probability interval partitioning entropy(PIPE)）コーディング、又は別のエントロピーコーディング技術を利用することにより、符号化されてよい。エントロピーコーディングに従い、コーディングされたビットストリームは、別の装置（例えば、ビデオデコーダ）へ送信され、又は後の送信又は読み出しのために保存されてよい。

図３は、例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００は、コーデックシステム２００の符号化機能を実装するために、及び／又は動作方法１００のステップ１０１、１０３、１０５、１０７及び／又は１０９を実装するために、利用されてよい。エンコーダ３００は、入力ビデオ信号をパーティションして、実質的にパーティションされたビデオ信号２０１と同様であるパーティションされたビデオ信号３０１を生じる。パーティションされたビデオ信号３０１は、次に、エンコーダ３００のコンポーネントにより圧縮されビットストリームに符号化される。

具体的に、パーティションされたビデオ信号３０１は、イントラ予測のためにイントラピクチャ予測コンポーネント３１７へ転送される。イントラピクチャ予測コンポーネント３１７は、イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７と実質的に同様であってよい。パーティションされたビデオ信号３０１は、復号ピクチャバッファコンポーネント３２３の中の参照ブロックに基づくインター予測のために動き補償コンポーネント３２１へも転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１及び動き補償コンポーネント２１９と実質的に同様であってよい。イントラピクチャ予測コンポーネント３１７及び動き補償コンポーネント３２１からの予測ブロック及び残差ブロックは、残差ブロックの変換及び量子化のために、変換及び量子化コンポーネント３１３へ転送される。変換及び量子化コンポーネント３１３は、変換スケーリング及び量子化コンポーネント２１３と実質的に同様であってよい。変換され量子化された残差ブロック及び対応する予測ブロックは（関連する制御データと一緒に）、ビットストリームへのコーディングのためにエントロピーコーディングコンポーネント３１３へ転送される。エントロピーコーディングコンポーネント３３１は、ヘッダフォーマット及びＣＡＢＡＣコンポーネント２３１と実質的に同様であってよい。

変換され量子化された残差ブロック及び／又は対応する予測ブロックは、また、動き補償コンポーネント３２１による使用のために参照ブロックへと再構成するために、変換及び量子化コンポーネント３１３から逆変換及び量子化コンポーネント３２９へ転送される。逆変換及び量子化コンポーネント３２９は、スケーリング及び逆変換コンポーネント２２９と実質的に同様であってよい。インループフィルタコンポーネント３２５の中のインループフィルタも、例に依存して、残差ブロック及び／又は再構成された参照ブロックに適用される。インループフィルタコンポーネント３２５は、フィルタ制御分析コンポーネント２２７及びインループフィルタコンポーネント２２５と実質的に同様であってよい。インループフィルタコンポーネント３２５は、インループフィルタコンポーネント２２５に関して議論したような複数のフィルタを含んでよい。フィルタリングされたブロックは、次に、動き補償コンポーネント３２１により参照ブロックとして使用するために、復号ピクチャバッファコンポーネント３２３に格納される。復号ピクチャバッファコンポーネント３２３は、復号ピクチャバッファコンポーネント２２３と実質的に同様であってよい。

図４は、例示的なビデオデコーダ４００を示すブロック図である。ビデオエンコーダ４００は、コーデックシステム２００の復号機能を実装するために、及び／又は動作方法１００のステップ１１１、１１３、１１５及び／又は１１７を実装するために、利用されてよい。デコーダ４００は、例えばエンコーダ３００からビットストリームを受信し、エンドユーザに表示するためにビットストリームに基づき再構成された出力ビデオ信号を生成する。

ビットストリームは、エントロピー復号コンポーネント４３３により受信される。エントロピー復号コンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディングのようなエントロピー復号方式、又は他のエントロピーコーディング技術を実装するよう構成される。例えば、エントロピー復号コンポーネント４３３は、ビットストリーム内にコードワードとして符号化された追加データを解釈するために、ヘッダ情報を利用してコンテキストを提供してよい。復号された情報は、一般制御データ、フィルタ制御データ、パーティション情報、動きデータ、予測データ、及び残差ブロックからの量子化済み変換係数のような、ビデオ信号を復号するための任意の所望の情報を含む。量子化済み変換係数は、残差ブロックへと再構成するために、逆変換及び量子化コンポーネント４２９へ転送される。逆変換及び量子化コンポーネント４２９は、逆変換及び量子化コンポーネント３２９と同様であってよい。

再構成残差ブロック及び／又は予測ブロックは、イントラ予測動作に基づき画像ブロックへと再構成するために、イントラピクチャ予測コンポーネント４１７へ転送される。イントラピクチャ予測コンポーネント４１７は、イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７と同様であってよい。具体的に、イントラピクチャ予測コンポーネント４１７は、フレーム内の参照ブロックの位置を特定するために予測モードを利用し、結果に残差ブロックを適用して、イントラ予測された画像ブロックを再構成する。再構成されたイントラ予測された画像ブロック及び／又は残差ブロック、及び対応するインター予測データは、それぞれ復号ピクチャバッファコンポーネント２２３及びインループフィルタコンポーネント２２５と実質的に同様であってよいインループフィルタコンポーネント４２５を介して復号ピクチャバッファコンポーネント４２３へ転送される。インループフィルタコンポーネント４２５は、再構成画像ブロック、残差ブロック、及び／又は予測ブロックをフィルタリングし、そのような情報は復号ピクチャバッファコンポーネント４２３に格納される。復号ピクチャバッファコンポーネント４２３からの再構成画像ブロックは、インター予測のために動き補償コンポーネント４２１へ転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１及び／又は動き補償コンポーネント２１９と実質的に同様であってよい。具体的に、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを利用して、予測ブロックを生成し、結果に残差ブロックを提供して、画像ブロックを再構成する。結果として生じた再構成ブロックは、インループフィルタコンポーネント４２５を介して、復号ピクチャバッファコンポーネント４２３へ転送されてもよい。復号ピクチャバッファコンポーネント４２３は、パーティション情報によりフレームへと再構成できる、追加再構成画像ブロックを格納し続けてよい。このようなフレームは、シーケンス内に配置されてもよい。シーケンスは、再構成された出力ビデオ信号としてディスプレイに向けて出力される。

図５は、符号化ビデオシーケンスを含む例示的なビットストリーム５００を示す概略図である。例えば、ビットストリーム５００は、コーデックシステム２００及び／又はデコーダ４００による復号のために、コーデックシステム２００及び／又はエンコーダ３００により生成できる。別の例として、ビットストリーム５００は、デコーダによりステップ１１１で使用するために、方法１００のステップ１０９でエンコーダにより生成されてよい。

ビットストリーム５００は、シーケンスパラメータセット（sequence parameter set (SPS)）５１０、複数のピクチャパラメータセット（picture parameter set (PPS)）５１２、タイルグループヘッダ５１４、及び画像データ５２０を含む。ＳＰＳ５１０は、ビットストリーム５００に含まれるビデオシーケンス内の全部のピクチャに共通のシーケンスデータを含む。このようなデータは、ピクチャサイジング、ビット深さ、コーディングツールパラメータ、ビットレート制約、等を含み得る。ＰＰＳ５１２は、１つ以上の対応するピクチャに固有のパラメータを含む。従って、ビデオシーケンス内の各ピクチャは、１つのＰＰＳ５１２を参照してよい。ＰＰＳ５１２は、対応するピクチャ内のタイルについて利用可能なコーディングツール、量子化パラメータ、オフセット、ピクチャ固有コーディングツールパラメータ（例えば、フィルタ制御）、等を示すことができる。タイルグループヘッダ５１４は、ピクチャ内の各タイルグループに固有のパラメータを含む。従って、ビデオシーケンス内のタイルグループ毎に１個のタイルグループヘッダ５１４があってよい。タイルグループヘッダ５１４は、タイルグループ情報、ピクチャ順序カウント（picture order count (POC)）、参照ピクチャリスト、予測重み、タイルエントリポイント、デブロッキングパラメータ、等を含んでよい。留意すべきことに、幾つかのシステムは、スライスヘッダとしてタイルグループヘッダ５１４を参照し、このような情報を、タイルグループの代わりにスライスをサポートするために使用する。

画像データ５２０は、インター予測及び／又はイントラ予測に従い符号化されたビデオデータ、並びに対応する変換された量子化済み残差データを含む。このような画像データ５２０は、符号化の前に画像をパーティションするために使用されたパーティションに従いソートされる。例えば、画像データ５２０内の画像は、１つ以上のタイルグループ５２１に分割される。各タイルグループ５２１は、１つ以上のタイル５２３を含む。タイル５２３は、コーディング木単位（coding tree unit (CTU)）に更に分割される。ＣＴＵは、コーディング木に基づきコーディングブロックに更に分割される。コーディングブロックは、次に、予測メカニズムに従い符号化／復号できる。画像／ピクチャは、１つ以上のタイルグループ５２１及び１つ以上のタイル５２３を含み得る。

タイルグループ５２１は、例えば関心領域の表示をサポートするために及び／又は並列処理をサポートするために別個に抽出されコーディングされることのできる関連するタイル５２３のセットである。ピクチャは、１つ以上のタイルグループ５２１を含んでよい。各タイルグループ５２１は、対応するタイルグループヘッダ５１４内のコーディングツールを参照する。従って、現在タイルグループ５２１は、対応するタイルグループヘッダ５１４内のデータを変更することにより、他のタイルグループ５２１と異なるコーディングツールを用いてコーディングできる。タイルグループ５２１は、タイル５２３をタイルグループ５２１に割り当てるために使用されたメカニズムの観点で説明され得る。ラスタスキャン順序で割り当てられたタイル５２３を含むタイルグループ５２１は、ラスタスキャンタイルグループと呼ばれてよい。長方形（又は正方形）を生成するために割り当てられたタイル５２３を含むタイルグループ５２１は、長方形タイルグループと呼ばれてよい。図６～７は、それぞれ、以下により詳細に議論されるラスタスキャンタイルグループ及び長方形タイルグループの例を含む。

タイル５２３は、水平及び垂直境界により生成されるピクチャのパーティションされた部分である。タイル５２３は、長方形及び／又は正方形であってよい。ピクチャは、タイル５２３の行及び列にパーティションされてよい。タイル５２３の行は、水平方向に隣接するように位置付けられて、ピクチャの左境界から右境界までの連続ライン（逆も同様である）を生成するタイル５２３のセットである。タイル５２３の列は、垂直方向に隣接するように位置付けられて、ピクチャの上境界から下境界までの連続ライン（逆も同様である）を生成するタイル５２３のセットである。タイル５２３は、例に依存して、他のタイル５２３に基づく予測を可能にしてよく、又はそうでなくてよい。例えば、タイルグループ５２１は、ＭＣＴＳとして指定されたタイル５２３のセットを含んでよい。ＭＣＴＳの中のタイル５２３は、ＭＣＴＳの外部のタイル５２３によってではなく、ＭＣＴＳの中の他のタイル５２３からの予測によりコーディングできる。タイル５２３は、更にＣＴＵにパーティションできる。コーディング木は、ＣＴＵをコーディングブロックにパーティションするために利用でき、コーディングブロックはイントラ予測又はインター予測に従いコーディングできる。

各タイル５２３は、ピクチャ内でユニークなタイルインデックス５２４を有してよい。タイルインデックス５２４は、あるタイル５２３を別のものと区別するために使用できる、手順通りに選択された数値識別子である。例えば、タイルインデックス５２４は、ラスタスキャン順序で数値的に増大してよい。ラスタスキャン順序は、左から右へ及び上から下へである。留意すべきことに、幾つかの例では、タイル５２３は、タイル識別子（identifier (ID)）も割り当てられてよい。タイルＩＤは、あるタイル５２３を別のものと区別するために使用できる、割り当てられた識別子である。幾つかの例では、計算は、タイルインデックス５２４の代わりにタイルＩＤを利用してよい。幾つかの例では、更に、タイルＩＤは、タイルインデックス５２４と同じ値を有するよう割り当てられることができる。幾つかの例では、タイルインデックス５２４及び／又はＩＤは、タイル５２３を含むタイルグループ５２１の境界を示すためにシグナリングされてよい。更に、タイルインデックス５２４及び／又はＩＤは、タイル５２３に関連付けられた画像データ５２０を、表示のための正しい位置にマッピングするために利用されてよい。

上述のように、タイルグループ５２１は、ラスタスキャンタイルグループ又は長方形タイルグループであってよい。本開示は、コーディング効率の向上及び複雑性の低減をサポートする方法で、コーデックが両方のタイルグループ５２１のタイプをサポートすることを可能にするための、シグナリングメカニズムを含む。タイルグループフラグ５３１は、対応するタイルグループ５２１がラスタスキャンか長方形かをシグナリングするために利用できるデータ単位である。タイルグループフラグ５３１は、例に依存して、ＳＰＳ５１０又はＰＰＳ５１２でシグナリングできる。タイルグループ５２１に割り当てられたタイル５２３は、最初のタイル５３２及び最後のタイル５３３をビットストリーム５００の中で示すことにより、シグナリングできる。例えば、最初のタイル５３２は、タイルグループ５２１の中の最初の位置にあるタイル５２３のタイルインデックス５２４又はＩＤを含んでよい。最初の位置は、長方形タイルグループでは左上角であり、ラスタスキャンタイルグループでは最小インデックス／ＩＤである。更に、最後のタイル５３３は、タイルグループ５２１の中の最後の位置にあるタイル５２３のタイルインデックス５２４又はＩＤを含んでよい。最後の位置は、長方形タイルグループでは右下角であり、ラスタスキャンタイルグループでは最大インデックス／ＩＤである。

タイルグループフラグ５３１、最初のタイル５３２、及び最後のタイル５３３は、デコーダがタイルグループ５２１内のタイル５２３を決定することを可能にするための十分な情報を提供する。例えば、ラスタスキャンメカニズムは最初のタイル５３２及び最後のタイル５３３に基づき、ラスタスキャンタイルグループの中のタイル５２３を決定できる。更に、長方形メカニズムは最初のタイル５３２及び最後のタイル５３３に基づき、長方形タイルグループの中のタイル５２３を決定できる。これは、対応するタイルグループ５２１の中の他のタイル５２３のタイルインデックス５２４を、ビットストリーム５００から省略することを可能にする。これは、ビットストリーム５００のサイズを削減し、従って、コーディング効率を向上させる。このように、タイルグループフラグ５３１は、どのタイル５２３がタイルグループ５２１に割り当てられているかを決定するためにどのメカニズムを利用すべきかをデコーダが決定することを可能にするための十分な情報を提供する。

従って、エンコーダは、ビットストリーム５００又はそのサブ部分についてラスタスキャンを使用すべきか又は長方形タイルグループを使用すべきかを決定できる。エンコーダは、次に、従って、タイルグループフラグ５３１を設定できる。更に、エンコーダは、タイル５２３をタイルグループ５２１に割り当て、最初のタイル５３２及び最後のタイル５３３をビットストリーム５００に含めることができる。エンコーダにおける仮説参照デコーダ（hypothetical reference decoder (HRD)）は、次に、タイルグループフラグ５３１、最初のタイル５３２、及び最後のタイル５３３に基づき、タイルグループ５２１へのタイル５２３の割り当てを決定できる。ＨＲＤは、ＲＤＯの間に最適コーディングアプローチを選択することの部分として、デコーダにおいて復号結果を予測するエンコーダ側モジュールのセットである。更に、デコーダは、ビットストリーム５００を受信し、タイルグループフラグ５３１、最初のタイル５３２、及び最後のタイル５３３に基づき、タイルグループ５２１の割り当てを決定できる。具体的に、エンコーダにおけるＨＲＤ及びデコーダにおけるＨＲＤは両方とも、タイルグループフラグ５３１に基づきラスタスキャンメカニズム又は長方形メカニズムを選択し得る。ＨＲＤ及びデコーダは、次に、選択したメカニズムを利用して、最初のタイル５２３及び最後のタイル５３３に基づき、タイル５２３のタイルグループ５２１への割り当てを決定できる。

以下は、上述のメカニズムの特定の例である。

この例では、タイルグループフラグ５３１は、rectangular_tile_group_flagとして示され、長方形メカニズム（例えば、ｉｆ文）又はラスタスキャンメカニズム（例えば、else文）を選択するために利用できる。長方形メカニズムは、タイルグループの最初のタイルとタイルグループの最後のタイルとの間のデルタ値を決定する。タイルグループの行の数は、ピクチャ内のタイルの列の数に１を加算したものにより、デルタ値を除算することにより、決定される。タイルグループの列の数は、ピクチャ内のタイルの列の数に１を加算したものを法とするデルタ値により決定される。タイル割り当ては、次に、タイルグループの行の数及びタイルグループの列の数に基づき決定できる（例えば、if文の中のfor loop）。一方で、ラスタスキャンメカニズムは、タイルグループの最初のタイルとタイルグループの最後のタイルとの間のタイルの数を決定する。タイルはラスタスキャン順序でインデックスされるので、ラスタスキャンメカニズムは、次に、決定したタイルの数を、ラスタスキャン順序でタイルグループに加算できる（例えば、else文の中のfor loop）。

図６は、ラスタスキャンタイルグループ６２１にパーティションされた例示的なピクチャ６００を示す概略図である。例えば、ピクチャ６００は、例えばコーデックシステム２００、エンコーダ３００、及び／又はデコーダ４００により、ビットストリーム５００に符号化され、それから復号できる。更に、ピクチャ６００は、方法１００に従い符号化及び復号をサポートするためにパーティションされることができる。

ピクチャ６００は、ラスタスキャンタイルグループ６２１、６２４、及び６２５に割り当てられたタイル６２３を含み、これらはそれぞれタイルグループ５２１及びタイル５２３と実質的に同様であってよい。タイル６２３は、タイル６２３毎に、ラスタスキャン順序でラスタスキャンタイルグループ６２１、６２４、及び６２５に割り当てられる。ラスタスキャンタイルグループ６２１、６２４、及び６２５の間の境界を明確に示すために、各タイルグループは、太字体の輪郭で囲まれる。更に、タイルグループ６２１は、タイルグループ境界の間を更に区別するために、影により示される。更に留意すべきことに、ピクチャ６００は、任意の数のラスタスキャンタイルグループ６２１、６２４、及び６２５にパーティションされてよい。議論の明確化のために、以下の説明は、ラスタスキャンタイルグループ６２１に関連する。しかしながら、タイル６２３は、ラスタスキャンタイルグループ６２１と同様の方法でラスタスキャンタイルグループ６２４及び６２５に割り当てられる。

示されるように、最初のタイル６２３ａ、最後のタイル６２３ｂ、及び最初のタイル６２３ａ及び最後のタイル６２３ｂの間の影付きタイルの全ては、ラスタスキャン順序でタイルグループ６２１に割り当てられる。示されるように、ラスタスキャン順序に従い進行するメカニズム（例えば、プロセッサ上で動作する方法）は、最初のタイル６２３ａをタイルグループ６２１に割り当て、次に、（左から右へ）右ピクチャ６００境界に達するまで（最後のタイル６２３ｂに達しない限り）各タイル６２３をタイルグループ６２１に割り当てるよう進行する。ラスタスキャン順序は、次に、タイル６２３の次の行に（例えば、上の行から下の行へ向かって）進む。本ケースでは、最初のタイル６２３ａは最初の行にあり、従って、次の行は２番目の行である。具体的に、ラスタスキャン順序は、左ピクチャ６００境界にある２番目の行の最初のタイルへと進み、次に、右ピクチャ６００境界に達するまで、左から右へ２番目の行を横に進む。ラスタスキャンは、次に、この場合には３番目の行である次の行へ移動し、左のピクチャ６００の境界にある３番目の行の最初のタイルからの割り当てに進む。ラスタスキャンは、次に、３番目の行を横に右へ移動する。この順序は、最後のタイル６２３ｂに達するまで続く。この時点で、タイルグループ６２１は完了する。タイルグループ６２１の下及び／又は右の追加のタイル６２３は、同様の方法でラスタスキャン順序でタイルグループ６２５に割り当てることができる。タイルグループ６２１の上及び／又は左のタイル６２３は、同様の方法でタイルグループ６２４に割り当てられる。

図７は、長方形タイルグループ７２１にパーティションされた例示的なピクチャ７００を示す概略図である。例えば、ピクチャ７００は、例えばコーデックシステム２００、エンコーダ３００、及び／又はデコーダ４００により、ビットストリーム５００に符号化され、それから復号できる。更に、ピクチャ７００は、方法１００に従い符号化及び復号をサポートするためにパーティションされることができる。

ピクチャ７００は、長方形タイルグループ７２１に割り当てられたタイル７２３を含み、これらはそれぞれタイルグループ５２１及びタイル５２３と実質的に同様であってよい。長方形タイルグループ７２１に割り当てられたタイル７２３は、太字体の輪郭により囲まれるように図７に示される。更に、選択された長方形タイルグループ７２１は、長方形タイルグループ７２１の間を明確に描写するために影を付けられる。示されるように、長方形タイルグループ７２１は、長方形形状を作るタイル７２３のセットを含む。留意すべきことに、正方形は長方形の特定の場合であるので、長方形タイルグループ７２１は正方形であってもよい。示されるように、長方形は４辺を有し、各辺は直角（例えば、９０°の角度）により２つの他の辺に接続される。長方形タイルグループ７２１ａは、最初のタイル７２３ａ及び最後のタイル７２３ｂを含む。最初のタイル７２３ａは、長方形タイルグループ７２１ａの左上角であり、最後のタイルは、長方形タイルグループ７２１ａの右下角にある。最初のタイル７２３ａ及び最後のタイル７２３ｂを含む行及び列の中又はそれらの間に含まれるタイル７２３も、タイル毎に、長方形タイルグループ７２１ａに割り当てられる。示されるように、この方式はラスタスキャンと異なる。例えば、タイル７２３ｃは、ラスタスキャン順序では最初のタイル７２３ａと最後のタイル７２３ｂとの間にあるが、同じ長方形タイルグループ７２１ａに含まれない。長方形タイルグループ７２１ａは、関連するジオメトリにより、ラスタスキャンタイルグループ６２１よりも計算上複雑になることがある。しかしながら、長方形タイルグループ７２１はより柔軟である。例えば、長方形タイルグループ７２１ａは、最初のタイル７２３とピクチャ７００の右境界との間の（例えば、タイル７２３ｃのような）全てのタイルを含まずに、異なる行からのタイル７２３を含んでよい。長方形タイルグループ７２１ａは、左ピクチャ境界と最後のタイル７２３ｂとの間の選択されたタイルを除外してもよい。例えば、タイル７２３ｄは、タイルグループ７２１ａから除外される。

従って、長方形タイルグループ７２１及びラスタスキャンタイルグループ６２１は、それぞれ異なる利点を有し、従って、それぞれ異なる使用例により適してよい。例えば、ラスタスキャンタイルグループ６２１は、ピクチャ６００全体が表示されるときにより有利であってよく、長方形タイルグループ７２１は、サブピクチャのみが表示されるときにより有利であってよい。しかしながら、上述のように、最初のタイルインデックスと最後のタイルインデックスのみがビットストリームの中でシグナリングされるとき、どのタイルがタイルグループに割り当てられるかを決定するために、異なるメカニズムが利用されてよい。従って、どのタイルグループタイプが利用されるかを示すフラグが、適切なラスタスキャン又は長方形メカニズムを選択するためにデコーダ又はＨＲＤにより使用できる。タイルグループへのタイルの割り当ては、次に、タイルグループ内の最初のタイル及び最後のタイルを利用することにより、決定できる。

以上を利用することにより、ビデオコーディングシステムが改良できる。従って、本開示は、ビデオコーディングにおけるタイルのグループ化に対する種々の改良を説明する。より具体的には、本開示は、２つの異なるタイルグループ概念、ラスタスキャンに基づくタイルグループ、及び長方形タイルグループをサポートするためのシグナリング及び導出処理を説明する。一例では、対応するタイルグループにより直接又は間接に参照されるパラメータセットの中で、フラグが利用される。フラグは、どのタイルグループアプローチが使用されるかを指定する。フラグは、シーケンスパラメータセット、ピクチャパラメータセット、又はタイルグループにより直接又は間接に参照される別のタイプのパラメータセットのようなパラメータセットの中でシグナリングできる。特定の例として、フラグはrectangular_tile_group_flagであってよい。幾つかの例では、２以上のビットを有する指示が定義され、対応するタイルグループにより直接又は間接に参照されるパラメータセットの中でシグナリングされてよい。指示は、どのタイルグループアプローチが使用されるかを指定してよい。このような指示を用いて、２つ以上のタイルグループアプローチがサポートできる。指示をシグナリングするためのビットの数は、サポートされるべきタイルグループアプローチの数に依存する。幾つかの例では、フラグ又は指示は、タイルグループヘッダの中でシグナリングできる。

タイルグループに含まれる最初のタイル及び最後のタイルを示す情報をシグナリングすることは、どのタイルがラスタスキャンタイルグループ又は長方形タイルグループに含まれるかを示すのに十分であってよい。タイルグループに含まれるタイルの導出は、（フラグ又は指示により示されてよい）使用されるタイルグループアプローチ、タイルグループの中の最初のタイルの情報、及びタイルグループの中の最後のタイルの情報に依存してよい。特定のタイルを識別するための情報は、以下：タイルインデックス、タイルＩＤ（タイルインデックスと異なる場合）、タイルに含まれるＣＴＵ（例えば、タイルに含まれる最初のＣＴＵ）、又はタイルに含まれるルマサンプル（例えば、タイルに含まれる最初のルマサンプル）、のうちのいずれかであり得る。

以下は、上述のメカニズムの特定の実施形態である。ピクチャパラメータセットＲＢＳＰシンタックスは以下の通りであってよい。

tile_id_len_minus１に１を加えたものは、存在するときＰＰＳの中のシンタックス要素tile_id_val[i][j]、及びＰＰＳを参照するタイルグループヘッダの中のシンタックス要素first_tile_id及びlast_tile_idを表すために使用されるビットの数を指定する。tile_id_len_minus１の値は、Ceil(Log２(NumTilesInPic)～１５の両端を含むその範囲内であってよい。rectangular_tile_group_flagは、１に等しく設定されるとき、ＰＰＳを参照するタイルグループがピクチャの長方形領域を形成する１つ以上のタイルを含むものであることを指定してよい。rectangular_tile_group_flagは、０に等しく設定されるとき、ＰＰＳを参照するタイルグループがピクチャのラスタスキャン順序で連続する１つ以上のタイルを含むものであることを指定してよい。

タイルグループヘッダシンタックスは、以下の通りであってよい。

single_tile_in_tile_group_flagは、１に等しく設定されるとき、タイルグループ内に１つのタイルのみがあることを指定してよい。single_tile_in_tile_group_flagは、０に等しく設定されるとき、タイルグループ内に１つより多くのタイルがあることを指定してよい。first_tile_idは、タイルグループの最初のタイルのタイルＩＤを指定してよい。first_tile_idの長さは、tile_id_len_minus１＋１個のビットであってよい。first_tile_idの値は、同じコーディングピクチャの任意の他のコーディングタイルグループのfirst_tile_idの値と等しくてはならない。ピクチャ内に１つより多くのタイルグループがあるとき、ピクチャ内のタイルグループの復号順は、first_tile_id.の値の昇順であってよい。last_tile_idは、タイルグループの最後のタイルのタイルＩＤを指定してよい。last_tile_idの長さは、tile_id_len_minus１＋１個のビットであってよい。存在しないとき、last_tile_idの値はfirst_tile_idに等しいと推定されてよい。

タイルグループ内のタイルの数を指定する変数NumTilesInTileGroup、及びタイルグループ内のｉ番目のタイルのタイルインデックスを指定するTgTileIdx[i]は、以下のように導出されてよい。

一般的なタイルグループデータシンタックスは、以下の通りであってよい。

図８は、例示的なビデオコーディング装置８００の概略図である。ビデオコーディング装置８００は、ここに説明したような開示の例／実施形態を実施するのに適する。ビデオコーディング装置８００は、ダウンストリームポート８２０、アップストリームポート８５０、及び／又は、ネットワークを介してデータアップストリーム及び／又はダウンストリームを通信する送信機及び／又は受信機を含むトランシーバユニット（Tx/Rx）８１０を含む。ビデオコーディング装置８００は、データを処理する論理ユニット及び／又は中央処理ユニット（central processing unit(CPU)）を含むプロセッサ８３０、及びデータを格納するメモリ８３２も含む。ビデオコーディング装置８００は、電気、光－電気（optical－to－electrical(OE)）コンポーネント、電気－光（electrical－to－optical(EO)）コンポーネント、及び／又は、電気、光又は無線通信ネットワークを介するデータの通信のためにアップストリームポート８５０及び／又はダウンストリームポート８２０に接続される無線通信コンポーネント、も含んでよい。ビデオコーディング装置８００は、データをユーザに及びから通信する入力及び／又は出力（input and/or output(I/O)）装置８６０も含んでよい。I/O装置８６０は、ビデオデータを表示するディスプレイ、オーディオデータを出力するスピーカ、等のような出力装置を含んでよい。I/O装置８６０は、キーボード、マウス、トラックボール、等のような入力装置、及び／又は、そのような出力装置とインタフェースする対応するインタフェースも含んでよい。

プロセッサ８３０は、ハードウェア及びソフトウェアにより実装される。プロセッサ８３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサ）、フィールドプログラマブルゲートアレイ（field－programmable gate array(FPGA)）、特定用途向け集積回路（application specific integrated circuit (ASIC)）、及びデジタル信号プロセッサ（digital signal processor(DSP)）として実装されてよい。プロセッサ８３０は、ダウンストリームポート８２０、Ｔｘ／Ｒｘ８１０、アップストリームポート８５０、及びメモリ８３２と通信する。プロセッサ８３０は、コーディングモジュール８１４を含む。コーディングモジュール８１４は、ビットストリーム５００、ピクチャ６００、及び／又はピクチャ７００を利用してよい方法１００、９００、及び１０００のような、ここに説明した開示の実施形態を実施する。コーディングモジュール８１４は、ここに説明した任意の他の方法／メカニズムも実施してよい。さらに、コーディングモジュール８１４は、コーデックシステム２００、エンコーダ３００、及び／又はデコーダ４００を実装してよい。例えば、コーディングモジュール８１４は、画像をタイルグループ及び／又はタイルに、タイルをＣＴＵに、ＣＴＵをブロックにパーティションし、エンコーダとして動作するときブロックを符号化できる。更に、コーディングモジュール８１４は、ラスタスキャン又は長方形タイルグループを選択し、このような選択をビットストリームの中でシグナリングできる。コーディングモジュール８１４は、タイルグループへのタイルの割り当ての決定をサポートするために、最初のタイル及び最後のタイルもシグナリングしてよい。デコーダ又はＨＲＤとして動作するとき、コーディングモジュール８１４は、使用されるタイルグループのタイプを決定し、最初のタイル及び最後のタイルに基づきタイルグループに割り当てられたタイルを決定できる。従って、コーディングモジュール８１４は、ビデオデータをパーティションし及びコーディングするとき、ビデオコーディング装置８００に追加の機能及び／又はコーディング効率を提供させる。従って、コーディングモジュール８１４は、ビデオコーディング装置８００の機能を向上し、並びに、ビデオコーディング技術に特有の問題を解決する。更に、コーディングモジュール８１４は、ビデオコーディング装置８００の異なる状態への変換を実施する。代替として、コーディングモジュール８１４は、メモリ８３２に格納されプロセッサ８３０により実行される命令として（例えば、非一時的媒体に格納されたコンピュータプログラムプロダクトとして）実装できる。

メモリ８３２は、ディスク、テープドライブ、個体ドライブ、読み出し専用メモリ（read only memory(ROM)）、ランダムアクセスメモリ（random access memory(RAM)）、フラッシュメモリ、三値連想メモリ（ternary content－addressable memory(TCAM)）、静的ランダムアクセスメモリ（static random－access memory (SRAM)）、等のような１つ以上のメモリ種類を含む。メモリ８３２は、プログラムが実行のために選択されるとき該プログラムを格納するため、及びプログラムの実行中に読み出される命令及びデータを格納するための、オーバフローデータ記憶装置として使用されてよい。

図９は、ピクチャ６００及び／又は７００のようなピクチャを、ビットストリーム５００のようなビットストリームに符号化する例示的な方法９００のフローチャートである。方法９００は、方法１００を実行するとき、コーデックシステム２００、エンコーダ３００、及び／又はビデオコーディング装置８００のようなエンコーダにより利用されてよい。

方法９００は、エンコーダが複数のピクチャを含むビデオシーケンスを受信し、例えばユーザ入力に基づき該ビデオシーケンスをビットストリームに符号化することを決定するとき、開始してよい。ビデオシーケンスは、符号化の前に更なるパーティションのためにピクチャ／画像／フレームにパーティションされる。ステップ９０１で、ピクチャは、複数のタイルにパーティションされる。更に、タイルは、複数のタイルグループに割り当てられ、従って、タイルのサブセットがタイルグループに割り当てられる。幾つかの例では、タイルグループはラスタスキャンタイルグループである。他の例では、タイルグループは長方形タイルグループである。

ステップ９０３で、フラグはビットストリームに符号化される。フラグは、タイルグループがラスタスキャンタイルグループであるとき第１値に、タイルグループが長方形タイルグループであるとき第２値に設定できる。フラグは、ビットストリームのパラメータセットに符号化されてよい。例えば、フラグが符号化されるパラメータセットは、シーケンスパラメータセット又はピクチャパラメータセットであってよい。幾つかの例では、フラグは長方形タイルグループフラグである。

ステップ９０５で、タイルグループの最初のタイルの識別子及びタイルグループの最後のタイルの識別子が、ビットストリームに符号化される。タイルグループの最初のタイル及びタイルグループの最後のタイルは、タイルグループに割り当てられるタイルを示すために使用されてよい。幾つかの例では、タイルグループの最初のタイルの識別子、及びタイルグループの最後のタイルの識別子は、ビットストリームの中のタイルグループヘッダに符号化される。

フラグ、タイルグループの最初のタイル及びタイルグループの最後のタイルは、タイルグループに対するタイルの割り当てを決定するために、デコーダにより及び／又はエンコーダにおけるＨＲＤにより使用できる。フラグにより示されるように、タイルグループがラスタスキャンタイルグループであるとき、タイルグループに対するタイルの割り当ては、以下のように決定できる。タイルグループの最初のタイルとタイルグループの最後のタイルとの間のタイルの数は、タイルグループ内のタイルの数として決定できる。タイルの割り当ては、次に、タイルグループ内のタイルの数に基づき決定できる。フラグにより示されるように、タイルグループが長方形タイルグループであるとき、タイルグループに対するタイルの割り当ては、以下のように決定できる。タイルグループの最初のタイルとタイルグループの最後のタイルとの間のデルタ値が決定できる。タイルグループの行の数は、デルタ値及びピクチャ内のタイル列の数に基づき決定できる。タイルグループの列の数も、デルタ値及びピクチャ内のタイル列の数に基づき決定できる。タイルの割り当ては、次に、タイルグループの行の数及びタイルグループの列の数に基づき決定できる。

ステップ９０７で、タイルは、タイルの割り当てに基づき、ビットストリームに符号化される。ステップ９０９で、ビットストリームは、デコーダへ向けた通信のために格納されてもよい。

図１０は、ピクチャ６００及び／又は７００のようなピクチャを、ビットストリーム５００のようなビットストリームから復号する例示的な方法１０００のフローチャートである。方法１０００は、方法１００を実行するとき、コーデックシステム２００、デコーダ４００、及び／又はビデオコーディング装置８００のようなデコーダにより利用されてよい。例えば、方法１０００は、方法９００に応答して利用されてよい。

方法１０００は、例えば方法９００の結果として、デコーダがビデオシーケンスを表すコーディングデータのビットストリームを受信し始めるときに、開始してよい。ステップ１００１で、ビットストリームがデコーダにおいて受信される。ビットストリームは、複数のタイルにパーティションされたピクチャを含む。タイルは、複数のタイルグループに割り当てられ、従って、タイルのサブセットがタイルグループに割り当てられる。幾つかの例では、タイルグループはラスタスキャンタイルグループである。他の例では、タイルグループは長方形タイルグループである。

ステップ１００３で、ビットストリームのパラメータセットから、フラグが取得される。フラグが第１値に設定されるとき、タイルグループは、ラスタスキャンタイルグループであると決定される。フラグが第２値に設定されるとき、タイルグループは長方形タイルグループであると決定される。例えば、フラグを含むパラメータは、シーケンスパラメータセット又はピクチャパラメータセットであってよい。幾つかの例では、フラグは長方形タイルグループフラグである。

ステップ１００５で、タイルグループに割り当てられるタイルの決定をサポートするために、タイルグループの最初のタイルの識別子及びタイルグループの最後のタイルの識別子が、取得される。幾つかの例では、タイルグループの最初のタイルの識別子、及びタイルグループの最後のタイルの識別子は、ビットストリームの中のタイルグループヘッダから取得される。

ステップ１００７で、タイルグループのタイルの割り当ては、タイルグループがラスタスキャンタイルグループか又は長方形タイルグループかに基づき決定される。例えば、フラグ、タイルグループの最初のタイル及びタイルグループの最後のタイルは、タイルグループについてタイルの割り当てを決定するために使用できる。フラグにより示されるように、タイルグループがラスタスキャンタイルグループであるとき、タイルグループに対するタイルの割り当ては、以下のように決定できる。タイルグループの最初のタイルとタイルグループの最後のタイルとの間のタイルの数は、タイルグループ内のタイルの数として決定できる。タイルの割り当ては、次に、タイルグループ内のタイルの数に基づき決定できる。フラグにより示されるように、タイルグループが長方形タイルグループであるとき、タイルグループに対するタイルの割り当ては、以下のように決定できる。タイルグループの最初のタイルとタイルグループの最後のタイルとの間のデルタ値が決定できる。タイルグループの行の数は、デルタ値及びピクチャ内のタイル列の数に基づき決定できる。タイルグループの列の数も、デルタ値及びピクチャ内のタイル列の数に基づき決定できる。タイルの割り当ては、次に、タイルグループの行の数及びタイルグループの列の数に基づき決定できる。

ステップ１００９で、タイルグループに対するタイルの割り当てに基づき復号タイルを生成するために、タイルが復号される。再構成ビデオシーケンスも、復号タイルに基づき表示のために生成され得る。

図１１は、ビットストリーム５００のようなビットストリームの中の、ピクチャ６００及び／又は７００のようなピクチャのビデオシーケンスをコーディングする例示的なシステム１１００の概略図である。システム１１００は、コーデックシステム２００のようなエンコーダ及びデコーダ、エンコーダ３００、デコーダ４００、及び／又はビデオコーディング装置８００により実装されてよい。更に、システム１１００は、方法１００、９００、及び／又は１０００を実施するとき、利用されてよい。

システム１１００は、ビデオエンコーダ１１０２を含む。ビデオエンコーダ１１０２は、ピクチャを複数のタイルにパーティションするパーティションモジュール１１０１を含む。ビデオエンコーダ１１０２は、タイルグループにタイルの数を含める包含モジュール１１０３を更に含む。ビデオエンコーダ１１０２は、タイルグループがラスタスキャンタイルグループであるとき第１値に、タイルグループが長方形タイルグループであるとき第２値に設定されたフラグを符号化し、フラグはビットストリームのパラメータセットに符号化され、タイルグループに基づきビットストリームにタイルを符号化する符号化モジュール１１０５を更に含む。ビデオエンコーダ１１０２は、デコーダへ向けた通信のためにビットストリームを格納する格納モジュール１１０７を更に含む。ビデオエンコーダ１１０２は、使用されるタイルグループのタイプ及びタイルグループに含まれるタイルを決定することをサポートするために、ビットストリームを送信する送信モジュール１１０９を更に含む。ビデオエンコーダ１１０２は、方法９００のステップのうちのいずれかを実行するよう更に構成されてよい。

システム１１００は、ビデオデコーダ１１１０も含む。ビデオデコーダ１１１０は、複数のタイルにパーティションされたピクチャを含むビットストリームを受信する受信モジュール１１１１を含む。ここで、タイルの数がタイルグループに含まれる。ビデオデコーダ１１１０は、ビットストリームのパラメータセットからフラグを取得する取得モジュール１１１３を更に含む。ビデオデコーダ１１１０は、フラグが第１値に設定されているときタイルグループがラスタスキャンタイルグループであることを決定し、フラグが第２値に設定されているときタイルグループが長方形タイルグループであることを決定し、タイルグループがラスタスキャンタイルグループか又は長方形タイルグループかに基づきタイルグループについてタイルの包含を決定する決定モジュール１１１５を更に含む。ビデオデコーダ１１１０は、タイルを復号してタイルグループに基づき復号タイルを生成する復号モジュール１１１７を更に含む。ビデオデコーダ１１１０は、復号タイルに基づき表示のために再構成ビデオシーケンスを生成する生成モジュール１１１９を更に含む。ビデオデコーダ１１１０は、方法１０００のステップのうちのいずれかを実行するよう更に構成されてよい。

第１コンポーネントと第２コンポーネントとの間に線、トレース、又は別の媒体を除き仲介コンポーネントが存在しないとき、第１コンポーネントは、第２コンポーネントに直接接続される。第１コンポーネントと第２コンポーネントとの間に線、トレース、又は別の媒体以外の仲介コンポーネントが存在するとき、第１コンポーネントは、第２コンポーネントに間接接続される。用語「接続される」及びその変形は、直接接続及び間接接続の両方を含む。用語「約」の使用は、特に断りのない限り、後続の数値の±１０％を含む範囲を意味する。

更に理解されるべきことに、ここに説明された例示的な方法のステップは、必ずしも説明された順に実行される必要はなく、このような方法のステップの順は、単なる例であると理解されるべきである。同様に、追加ステップがこのような方法に含まれてよく、特定のステップは、本開示の種々の実施形態に従う方法において、省略され又は結合されてよい。

幾つかの実施形態が本開示において提供されたが、開示のシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形式で実施され得ることが理解され得る。本発明の例は、説明のためであり限定的ではないと考えられるべきであり、ここに与えられた詳細事項に限定されることを意図しない。例えば、種々の要素又はコンポーネントは、結合され、又は別のシステムに統合されてよく、或いは、特定の機能は、省略され又は実施されなくてよい。

さらに、種々の実施形態において説明され示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、コンポーネント、技術、又は方法と結合され又は統合されてよい。変更、代用、及び改造の他の例は、当業者により確認され、ここに開示した精神及び範囲から逸脱することなく行われてよい。

Claims (18)

1. エンコーダにおいて実施される方法であって、前記方法は、
   前記エンコーダのプロセッサにより、ピクチャを複数のタイルにパーティションするステップと、
   前記プロセッサにより、前記タイルの数をタイルグループに含めるステップと、
   前記プロセッサにより、前記タイルグループがラスタスキャンタイルグループであるとき第１値に、前記タイルグループが長方形タイルグループであるとき第２値に設定されたフラグを符号化するステップであって、前記フラグはビットストリームのパラメータセットに符号化され、前記ラスタスキャンタイルグループは、前記ピクチャのラスタスキャン順序で連続するタイルを含み、前記長方形タイルグループは、集合的に前記ピクチャの長方形領域を形成するタイルを含む、ステップと、
   前記プロセッサにより、前記タイルグループに基づき、前記タイルを前記ビットストリームに符号化するステップと、
   を含む方法。
2. 前記方法は、デコーダへの通信のために、前記エンコーダのメモリに前記ビットストリームを格納するステップを更に含む請求項１に記載の方法。
3. 前記フラグが符号化される前記パラメータセットは、シーケンスパラメータセットである、請求項１～２のいずれかに記載の方法。
4. 前記フラグが符号化される前記パラメータセットは、ピクチャパラメータセットである、請求項１～２のいずれかに記載の方法。
5. 前記プロセッサにより、前記タイルグループに含まれる前記タイルを示すために、前記タイルグループの最初のタイルの識別子と、前記タイルグループの最後のタイルの識別子と、を前記ビットストリームに符号化するステップ、を更に含む請求項１～４のいずれかに記載の方法。
6. 前記タイルグループの前記最初のタイルの前記識別子、及び前記タイルグループの前記最後のタイルの前記識別子は、前記ビットストリーム内のタイルグループヘッダに符号化される、請求項５に記載の方法。
7. デコーダにおいて実施される方法であって、前記方法は、
   前記デコーダのプロセッサにより、受信機を介して、複数のタイルにパーティションされたピクチャを含むビットストリームを受信するステップであって、前記タイルの数はタイルグループに含まれる、ステップと、
   前記プロセッサにより、前記ビットストリームのパラメータセットからフラグを取得するステップであって、
   前記フラグは、前記フラグが第１値に設定されているとき、前記タイルグループがラスタスキャンタイルグループであり、前記フラグが第２値に設定されているとき、前記タイルグループが長方形タイルグループであることを示し、前記ラスタスキャンタイルグループは、前記ピクチャのラスタスキャン順序で連続するタイルを含み、前記長方形タイルグループは、集合的に前記ピクチャの長方形領域を形成するタイルを含む、ステップと、
   前記プロセッサにより、前記タイルグループが前記ラスタスキャンタイルグループか又は長方形タイルグループかに基づき、前記タイルグループのタイルを復号するステップと、
   を含む方法。
8. 前記方法は、前記プロセッサにより、前記復号されたタイルに基づき、表示のために再構成ビデオシーケンスを生成するステップを更に含む請求項７に記載の方法。
9. 前記フラグを含む前記パラメータセットは、シーケンスパラメータセットである、請求項７～８のいずれかに記載の方法。
10. 前記フラグを含む前記パラメータセットは、ピクチャパラメータセットである、請求項７～８のいずれかに記載の方法。
11. 前記プロセッサにより、前記タイルグループに含まれる前記タイルを決定するために、前記タイルグループの最初のタイルの識別子と、前記タイルグループの最後のタイルの識別子と、を取得するステップ、を更に含む請求項７～１０のいずれかに記載の方法。
12. 前記タイルグループの前記最初のタイルの前記識別子、及び前記タイルグループの前記最後のタイルの前記識別子は、前記ビットストリーム内のタイルグループヘッダから取得される、請求項１１に記載の方法。
13. 前記タイルグループが前記ラスタスキャンタイルグループであるとき、前記タイルを復号する前記ステップは、
    前記タイルグループの前記最初のタイルと前記タイルグループの前記最後のタイルとの間のタイルの数を、前記タイルグループ内のタイルの数として決定するステップと、
    前記タイルグループ内の前記タイルの数に基づき、タイルを復号するステップと、
    により決定される、請求項１１又は１２に記載の方法。
14. 前記タイルグループが前記長方形タイルグループであるとき、前記タイルを復号する前記ステップは、
    前記タイルグループの前記最初のタイルと前記タイルグループの前記最後のタイルとの間のデルタ値を決定するステップと、
    前記デルタ値及び前記ピクチャ内のタイル列の数に基づき、タイルグループ行の数を決定するステップと、
    前記デルタ値及び前記ピクチャ内の前記タイル列の数に基づき、タイルグループ列の数を決定するステップと、
    前記タイルグループ行の数及び前記タイルグループ列の数に基づき、前記タイルを復号するステップと、
    により決定される、請求項１１～１３のいずれかに記載の方法。
15. ビデオコーディング装置であって、
    プロセッサと、前記プロセッサに接続された受信機と、前記プロセッサに接続された送信機と、を含み、前記プロセッサ、受信機、及び送信機は、請求項１～１４のいずれかに記載の方法を実行するよう構成される、ビデオコーディング装置。
16. 請求項１～１４のいずれかに記載の方法を実行する処理回路を含むビデオ符号化装置。
17. コンピュータ又はプロセッサで実行されると請求項１～１４のいずれかに記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
18. コンピュータ装置により実行されると、前記コンピュータ装置に請求項１～１４のいずれかに記載の方法を実行させるプログラムコードを記憶している非一時的コンピュータ可読媒体。

Images