JP7234373B2 - タイル及びサブ画像の分割 - Google Patents

Description

関連出願の相互参照
本出願は、2019年3月11日に出願された米国仮特許出願第62／816，846号の優先権を主張し、この特許の開示内容は、参照することによってその全体が本明細書に組み込まれる。

本開示は、一連の先進的な映像符号化技術に関する。より詳細には、タイル及びサブ画像分割設計に関する。

非公式には汎用映像符号化（Versatile Video Coding、VVC）として知られる、映像符号化標準が開発中である。

本開示のいくつかの実施形態は、VVCに関する問題、及びその他の問題に対処する。

いくつかの実施形態において、方法が提供される。方法は、符号化映像ストリームのサブビットストリームを復号するために、少なくとも1つのプロセッサによって実行されてもよく、符号化映像ストリームは、画像の第1のサブ画像及び第2のサブ画像の符号化されたバージョンを含む。本方法は、サブビットストリームを受信するステップと、サブ画像及びタイル分割を使用して、第2のサブ画像とは無関係に、画像の第1のサブ画像を復号するステップであって、（i）第1のサブ画像は画像の第1の長方形領域を含み、第2のサブ画像は画像の第2の長方形領域を含み、第2の長方形領域は第1の長方形領域とは異なり、（ii）第1のサブ画像及び第2のサブ画像は、それぞれ少なくとも1つのタイルを含み、（iii）第1のサブ画像及び第2のサブ画像は、共通のタイルを共有しない、ステップを含む。

一実施形態では、本方法は、サブ画像及びタイル分割を使用して、第1のサブ画像とは無関係に、画像の第2のサブ画像を復号するステップであって、第1のサブ画像の少なくとも1つのタイルが、第1の複数のタイルであり、第2のサブ画像の少なくとも1つのタイルが、第2の複数のタイルである、ステップをさらに含む。一実施形態では、第1のサブ画像を復号するステップは、第2のサブ画像を復号するステップとは異なるタイルスキャン順序で実行される。一実施形態では、第1のサブ画像を復号するステップ、及び第2のサブ画像を復号するステップは、サブ画像及びタイル分割を使用して実行され、第1のサブ画像の第1の複数のタイルは、少なくとも1つの第1のタイルグループに分類され、第2のサブ画像の第2の複数のタイルは、少なくとも1つの第2のタイルグループに分類され、少なくとも1つの第1のタイルグループのタイルは、少なくとも1つの第2のタイルグループに1つも配置されない。一実施形態では、少なくとも1つの第1のタイルグループのうちの1つは、非長方形のタイルグループである。一実施形態では、第1のサブ画像が復号技術に従って復号され、少なくとも1つの第1のタイルグループの2つのタイルグループ間の境界における、タイルグループレベルのループフィルタリング制御は、2つのタイルグループのそれぞれが長方形の場合にのみ可能になる。

一実施形態では、サブビットストリームを受信するステップは、符号化映像ストリームを受信することを含み、符号化映像ストリームは、第1のサブ画像及び第2のサブ画像を含む、画像のサブ画像を分割する方法についての情報を有する、シーケンスパラメータセット（SPS）を含む。一実施形態では、受信した符号化映像ストリームは、第1のサブ画像の少なくとも1つのタイル、及び第2のサブ画像の少なくとも1つのタイルを含む、画像のタイルを分割する方法についての情報を有する、画像パラメータセット（PPS）を含む。一実施形態では、受信した符号化映像ストリームは、第1のサブ画像の適応ループフィルタ（ALF）係数を信号送信するアクティブパラメータセット（APS）を含む。

いくつかの実施形態において、復号器が提供される。復号器は、符号化映像ストリームのサブビットストリームを復号するためのものであって、符号化映像ストリームは、画像の第1のサブ画像及び第2のサブ画像の符号化されたバージョンを含む。復号器は、コンピュータプログラムコードを記憶するように構成されたメモリと、サブビットストリームを受信し、コンピュータプログラムコードにアクセスし、コンピュータプログラムコードによって命令された通りに動作するように構成された、少なくとも1つのプロセッサとを備えてもよい。コンピュータプログラムコードは、少なくとも1つのプロセッサに、サブ画像及びタイル分割を使用して、第2のサブ画像とは無関係に、画像の第1のサブ画像を復号させるように構成された、復号コードを含んでもよく、（i）第1のサブ画像は画像の第1の長方形領域を含み、第2のサブ画像は画像の第2の長方形領域を含み、第2の長方形領域は第1の長方形領域とは異なり、（ii）第1のサブ画像及び第2のサブ画像は、それぞれ少なくとも1つのタイルを含み、（iii）第1のサブ画像及び第2のサブ画像は、共通のタイルを共有しない。

一実施形態では、復号コードは、少なくとも1つのプロセッサに、サブ画像及びタイル分割を使用して、第1のサブ画像とは無関係に、画像の第2のサブ画像を復号させるようにさらに構成され、
第1のサブ画像の少なくとも1つのタイルが、第1の複数のタイルであり、第2のサブ画像の少なくとも1つのタイルが、第2の複数のタイルである。一実施形態では、復号コードは、少なくとも1つのプロセッサに、第2のサブ画像の復号に使用されるタイルスキャン順序とは異なるタイルスキャン順序で、第1のサブ画像を復号させるように構成される。一実施形態では、復号コードは、少なくとも1つのプロセッサに、サブ画像及びタイル分割を使用して、第1のサブ画像及び第2のサブ画像を復号させるように構成され、第1のサブ画像の第1の複数のタイルは、少なくとも1つの第1のタイルグループに分類され、第2のサブ画像の第2の複数のタイルは、少なくとも1つの第2のタイルグループに分類され、少なくとも1つの第1のタイルグループのタイルは、少なくとも1つの第2のタイルグループに1つも配置されない。一実施形態では、少なくとも1つの第1のタイルグループのうちの1つは、非長方形のタイルグループである。一実施形態では、復号コードは、少なくとも1つのプロセッサに、復号技術に従って復号させるように構成され、少なくとも1つの第1のタイルグループの2つのタイルグループ間の境界における、タイルグループレベルのループフィルタリング制御は、2つのタイルグループのそれぞれが長方形の場合にのみ可能になる。

一実施形態では、復号器は、サブビットストリームを含む符号化映像ストリームを受信するように構成され、符号化映像ストリームは、第1のサブ画像及び第2のサブ画像を含む画像のサブ画像を分割する方法についての第1の情報を有する、シーケンスパラメータセット（SPS）を含み、復号コードが、少なくとも1つのプロセッサに、第1の情報に従って画像のサブ画像を分割させるように構成される。一実施形態では、符号化映像ストリームは、第1のサブ画像の少なくとも1つのタイルと、第2のサブ画像の少なくとも1つのタイルとを含む画像のタイルを分割する方法についての第2の情報を有する、画像パラメータセット（PPS）を含み、復号コードは、少なくとも1つのプロセッサに、第2の情報に従って画像のタイルを分割させるように構成される。一実施形態では、符号化映像ストリームは、第1のサブ画像の適応ループフィルタ（ALF）係数を信号送信するアクティブパラメータセット（APS）を含み、復号コードは、少なくとも1つのプロセッサに、第1のサブ画像の復号にAPSを使用させるように構成される。

いくつかの実施形態において、コンピュータ命令を記憶する非一時的なコンピュータ可読媒体が提供される。コンピュータ命令は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサが、サブ画像及びタイル分割を使用して、符号化映像ストリームの画像の第2のサブ画像とは無関係に、符号化映像ストリームの画像の第1のサブ画像を復号し、（i）第1のサブ画像は画像の第1の長方形領域を含み、第2のサブ画像は画像の第2の長方形領域を含み、第2の長方形領域は第1の長方形領域とは異なり、（ii）第1のサブ画像及び第2のサブ画像は、それぞれ少なくとも1つのタイルを含み、（iii）第1のサブ画像及び第2のサブ画像は、共通のタイルを共有しない。

一実施形態では、コンピュータ命令は、少なくとも1つのプロセッサによって実行されると、さらに少なくとも1つのプロセッサに、サブ画像及びタイル分割を使用して、第1のサブ画像とは無関係に、画像の第2のサブ画像を復号させ、第1のサブ画像の少なくとも1つのタイルが、第1の複数のタイルであり、第2のサブ画像の少なくとも1つのタイルが、第2の複数のタイルである。

本開示の主題のさらなる特徴、性質、及びさまざまな利点は、以下の詳細な説明、及び添付の図面でより明らかになるであろう。

実施形態による、通信システムの簡素化されたブロック図の概略図である。 実施形態による、ストリーミングシステムの簡素化されたブロック図の概略図である。 実施形態による、映像復号器及び表示装置の簡素化されたブロック図の概略図である。 実施形態による、映像符号器及び映像ソースの簡素化されたブロック図の概略図である。 サブ画像及びタイルを示す、実施形態の画像の図である。 サブ画像及びタイルグループを示す、実施形態の画像の図である。 サブ画像、タイルグループ、及びタイルを示す、実施形態の画像の図である。 実施形態のシステムの概略図である。 実施形態のコンポジット映像の概略図である。 タイルグループのタイル境界をまたいで処理する、適応ループフィルタの概略図である。 実施形態の方法を示す図である。 実施形態を実施するのに適したコンピュータシステムの図である。

図1は、本開示の実施形態による、通信システム100の簡素化されたブロック図を示す。システム100は、ネットワーク150を介して相互接続された、少なくとも2つの端末110、120を含んでもよい。データの一方向伝送の場合、第1の端末110は、ネットワーク150を介してもう一方の端末120に送信する映像データをローカル位置で符号化してもよい。第2の端末120は、ネットワーク150からもう一方の端末の符号化された映像データを受信し、符号化されたデータを復号して、回復された映像データを表示してもよい。一方向のデータ伝送は、媒体供給用途などにおいて一般的であろう。

図1は、例えば、ビデオ会議中に生じる場合がある、符号化された映像の双方向伝送をサポートするために提供される、第2の対の端末130、140を示す。データの双方向伝送の場合、各端末130、140は、ネットワーク150を介してもう一方の端末に送信する、ローカル位置で捕捉した映像データを符号化してもよい。各端末130、140は、もう一方の端末によって送信された符号化された映像データを受信してもよく、符号化されたデータを復号してもよく、かつ回復された映像データをローカルの表示装置に表示してもよい。

図1において、端末110～140は、例えば、サーバ、パソコン、及びスマートフォン、かつ／又は任意の他の種類の端末であってもよい。例えば、端末（110～140）は、ノートパソコン、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のビデオ会議機器であってもよい。ネットワーク150は、符号化された映像データを端末110～140間に伝達する、有線及び／又は無線通信ネットワークなどを含む任意の数のネットワークを表す。通信ネットワーク150は、回線交換チャネル及び／又はパケット交換チャネルでデータを交換してもよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／又はインターネットを含む。本考察の目的のために、ネットワーク150のアーキテクチャ及びトポロジは、以下で説明されない限り、本開示の運用には無関係な場合がある。

図2は、開示される主題の適用例として、ストリーミング環境における映像符号器及び復号器の配置を示す。開示される主題は、例えば、ビデオ会議や、デジタルテレビや、CD、DVD、メモリスティックなどのデジタル媒体への圧縮映像の記憶などを含む、他の映像使用用途に使用することができる。

図2に示すように、ストリーミングシステム200は、映像ソース201及び符号器203を備える、捕捉サブシステム（213）を含んでもよい。ストリーミングシステム200は、少なくとも1つのストリーミングサーバ205及び／又は少なくとも1つのストリーミングクライアント206をさらに備えてもよい。

映像ソース201は、例えば、圧縮されていない映像サンプルストリーム202を生成することができる。映像ソース201は、例えば、デジタルカメラであってもよい。符号化映像ビットストリームと比較してデータ量が大きいことを強調するために太線で示されているサンプルストリーム202は、カメラ201に結合された符号器203によって処理することができる。以下でより詳細に説明するように、符号器203は、開示される主題の態様を可能にする、又は実施するために、ハードウェア、ソフトウェア、又はこれらの組合せを含むことができる。符号器203はさらに、符号化された映像ビットストリーム204を生成してもよい。圧縮されていない映像サンプルストリーム202と比較してデータ量が小さいことを強調するために細線で示されている符号化された映像ビットストリーム204は、後で使用するためにストリーミングサーバ205に記憶することができる。1つ以上のストリーミングクライアント206は、符号化された映像ビットストリーム204のコピーであってもよい映像ビットストリーム209を検索するために、ストリーミングサーバ205にアクセスすることができる。

ストリーミングクライアント206は、映像復号器210及び表示装置212を備えることができる。映像復号器210は、例えば、符号化された映像ビットストリーム204の着信したコピーである映像ビットストリーム209を復号して、発信する映像サンプルストリーム211を生成し、映像サンプルストリーム211は、表示装置212、又は他の表示装置（図示せず）に表示することができる。一部のストリーミングシステムでは、映像ビットストリーム204、209は、いくつかの映像符号化／圧縮標準に従って符号化することができる。このような標準の例は、これに限定されないが、ITU－T勧告H．265を含む。非公式には汎用映像符号化（Versatile Video Coding、VVC）として知られる、映像符号化標準が開発中である。本開示の実施形態は、VVCとの関連において使用されてもよい。

図3は、本開示の実施形態による、表示装置212に取り付けられた映像復号器210の、例示的な機能ブロック図である。

映像復号器210は、チャネル312、受信機310、バッファメモリ315、エントロピー復号器／構文解析器320、スケーラ／逆変換ユニット351、イントラ予測ユニット352、動き補償予測ユニット353、集約装置355、ループフィルタユニット356、参照画像メモリ357、及び現画像メモリ358を備えてもよい。少なくとも1つの実施形態において、映像復号器210は、集積回路、一連の集積回路、及び／又は他の電子回路を備えてもよい。映像復号器210はさらに、部分的に又は全体的に、関連するメモリを備えた1つ以上のCPUで実行するソフトウェアとして具体化されてもよい。

この実施形態、及び他の実施形態では、受信機310は、復号器210によって復号される1つ以上の符号化された映像シーケンスを受信してもよく、1つの符号化された映像シーケンスを同時に受信してもよく、符号化された映像シーケンスそれぞれの復号は、他の符号化された映像シーケンスとは無関係である。符号化された映像シーケンスは、チャネル312から受信されてもよく、チャネル312は、符号化された映像データを記憶する記憶装置と連結する、ハードウェア／ソフトウェアであってもよい。受信機310は、符号化された音声データ及び／又は補助データストリームなどの他のデータとともに符号化された映像データを受信してもよく、これはそれぞれが使用するエンティティ（図示せず）に転送されてもよい。受信機310は、符号化された映像シーケンスを他のデータから分離してもよい。ネットワークのジッタに対抗するために、受信機310とエントロピー復号器／構文解析器320（以下「構文解析器」とする）との間にバッファメモリ315が結合されてもよい。受信機310が、帯域幅及び制御性が充分な記憶装置／転送装置から、又はアイソシンクロナスネットワークからデータを受信しているときは、バッファ315は使用されない場合がある、或いは小さくすることができる。バッファ315は、インターネットなどのベストエフォートのパケットネットワークで使用するために必要とされる場合があり、比較的大型で、適応可能なサイズにすることができる。

映像復号器210は、エントロピー符号化された映像シーケンスからシンボル321を再構築するために、構文解析器320を備えてもよい。このようなシンボルの分類は、例えば、復号器210の動作を管理するのに使用される情報、並びに復号器に結合され得る、図2に示すような表示装置212などの表示装置を制御するための、潜在的な情報を含む。表示装置のための制御情報は、例えば、補助拡張情報（Supplementary Enhancement Information）（SEIメッセージ）、又は映像有用性情報（Video Usability Information、VUI）パラメータ集合フラグメント（図示せず）の形態にされてもよい。構文解析器320は、受信した符号化された映像シーケンスを、構文解析／エントロピー復号してもよい。符号化された映像シーケンスの符号は、映像符号化技術又は標準に従っていてもよく、可変長符号化、ハフマン符号化、文脈依存又は非文脈依存の算術符号化などを含む、当業者によく知られている原理に従っていてもよい。構文解析器320は、符号化された映像シーケンスから、グループに対応する少なくとも1つのパラメータに基づいて、映像復号器内の、画素のサブグループの少なくとも1つに対する、一群のサブグループパラメータを抽出してもよい。サブグループは、画像のグループ（GOP）、画像、タイル、スライス、マクロブロック、符号化ユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含むことができる。また、構文解析器320は、符号化された映像シーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出してもよい。

構文解析器320は、シンボル321を生成するために、バッファ315から受信した映像シーケンスにエントロピー復号／構文解析動作を実行してもよい。

シンボル321の再構築は、符号化された映像又はその部分の種別（例えば、インター画像及びイントラ画像、インターブロック及びイントラブロック）、並びに他の要素に応じて、複数の異なるユニットを含むことができる。どのユニットが含まれるか、そしてどのように含まれるかについては、構文解析器320によって符号化された映像シーケンスから構文解析された、サブグループ制御情報によって制御することができる。構文解析器320と、以下で説明する複数のユニットとの間のこのようなサブグループ制御情報の流れは、明確にするために図示されていない。

すでに述べた機能ブロック以外に、復号器210は、以下で説明するように、概念的にいくつかの機能ユニットに再分割することができる。商業的な制約の下で運用される実際の実施では、このようなユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示する主題を説明する目的のためには、以下の機能ユニットに概念的に再分割するのが適切である。

1つのユニットは、スケーラ／逆変換ユニット351であってもよい。スケーラ／逆変換ユニット351は、量子化変換係数、並びに制御情報を受信してもよく、これには、構文解析器320からの（複数の）シンボル321として、使用する変換、ブロックサイズ、量子化因子、量子化スケーリング行列などが含まれている。スケーラ／逆変換ユニット351はサンプル値を含むブロックを出力でき、これを集約装置355に入力することができる。

場合によっては、スケーラ／逆変換351の出力サンプルは、イントラ符号化されたブロックに関係することができ、つまり、以前に再構築された画像からの予測情報を使用していないブロックは、現画像の以前に再構築された部分からの予測情報を使用することができる。このような予測情報は、イントラ画像予測ユニット352によって提供することができる。場合によっては、イントラ画像予測ユニット352は、現画像メモリ358内の現在の（部分的に再構築された）画像から取り出した、周囲のすでに再構築された情報を使用して、再構築中のブロックと同じサイズ及び形状のブロックを生成する。集約装置355は、場合により、イントラ予測ユニット352が生成した予測情報をサンプル毎に、スケーラ／逆変換ユニット351によって提供された出力サンプル情報に追加する。

他の事例では、スケーラ／逆変換ユニット351の出力サンプルはインター符号化され、かつ潜在的には動き補償されたブロックに関係することができる。このような事例では、動き補償予測ユニット353が、予測に使用するサンプルを取り出すために、参照画像メモリ357にアクセスすることができる。ブロックに関連するシンボル321に従って、取り出されたサンプルを動き補償した後に、これらのサンプルは、出力サンプル情報を生成するように、集約装置355によってスケーラ／逆変換ユニット351の出力（この場合は残差サンプル又は残差信号と呼ばれる）に追加することができる。動き補償予測ユニット353が予測サンプルを取り出す参照画像メモリ357内のアドレスは、動きベクトルによって制御することができる。動きベクトルは、シンボル321の形態で動き補償予測ユニット353に使用可能で、例えば、X、Y、及び参照画像成分を有することができる。また動き補償は、サブサンプルの正確な動きベクトルが使用されているときに参照画像メモリ357から取り出されたサンプル値の補間、動きベクトル予測機構などを含むことができる。

集約装置355の出力サンプルは、ループフィルタユニット356のさまざまなループフィルタリング技術にかけることができる。映像圧縮技術は、符号化映像ビットストリームに含まれるパラメータによって制御され、構文解析器320からのシンボル321としてループフィルタユニット356に対して使用可能になる、ループ内フィルタ技術を含むことができるが、さらに、符号化された画像又は符号化された映像シーケンスの以前の（復号順で）部分の復号中に取得されたメタ情報にも応答し、同様に以前に再構築されてループフィルタリングされたサンプル値にも応答することができる。

ループフィルタユニット356の出力は、表示装置212などの表示装置に出力でき、かつ以後のインター画像予測に使用するために参照画像メモリ357に記憶できる、サンプルストリームであってもよい。

いくつかの符号化画像は、いったん完全に再構築されると、以後の予測用の参照画像として使用することができる。符号化画像が完全に再構築され、符号化された画像が（例えば、構文解析器320によって）参照画像として特定されていると、現画像メモリ358に記憶されている現在の参照画像が参照画像メモリ357の一部になることができ、後続の符号化された画像の再構築を開始する前に、新しい現画像メモリを再配分することができる。

映像復号器210は、ITU－T Rec．H．265などの標準に記述され得る所定の映像圧縮技術に従って、復号動作を実行してもよい。符号化された映像シーケンスは、映像圧縮技術又は標準の構文を遵守しているという意味において、映像圧縮技術文書又は標準で、かつ具体的にはそこに記述されているプロファイルで指定される通りに、使用される映像圧縮技術又は標準によって指定される構文に従っているといえる。また、一部の映像圧縮技術又は標準を遵守するために、符号化された映像シーケンスの複雑性は、映像圧縮技術又は標準のレベルによって規定される範囲内にあってもよい。場合によっては、水準によって最大画像サイズ、最大フレームレート、最大再構築サンプルレート（例えば、メガサンプル／秒で測定される）、最大参照画像サイズなどが制限される。水準によって設定される制限は、場合によっては、仮想参照復号器（Hypothetical Reference Decoder、HRD）仕様、及び符号化された映像シーケンスで信号送信されたHRDバッファ管理のメタデータによってさらに制限される可能性がある。

一実施形態では、受信機310は、符号化された映像とともに追加（冗長）データを受信してもよい。追加データは、（複数の）符号化された映像シーケンスの一部として含められてもよい。追加データは、映像復号器210によって、データを適切に復号するため、かつ／又は元の映像データをより正確に再構築するために使用されてもよい。追加データは、例えば、時間的、空間的、又はSNR強化層、冗長スライス、冗長画像、転送エラー修正コードなどの形態であってもよい。

図4は、本開示の実施形態による、映像ソース201に関連付けられた映像符号器203の、例示的な機能ブロック図である。

映像符号器203は、例えば、ソース符号器430である符号器、符号化エンジン432、（ローカル）復号器433、参照画像メモリ434、予測子435、送信機440、エントロピー符号器445、コントローラ450、及びチャネル460を備えてもよい。

符号器203は、符号器203によって符号化される映像を捕捉し得る映像ソース201（符号器の一部ではない）から、映像サンプルを受信してもよい。

映像ソース201は、符号器203によって符号化されるソース映像シーケンスを、任意の適切なビット深度（xビット、10ビット、12ビット～など）、任意の色空間（BT．601 Y CrCB、RGBなど）、及び任意の適切なサンプリング構造（Y CrCb 4：2：0、Y CrCb 4：4：4など）にすることが可能なデジタル映像サンプルストリームの形態で提供し得る。媒体供給システムでは、映像ソース201は、以前に準備した映像を記憶している記憶装置であってもよい。ビデオ会議システムでは、映像ソース203は、ローカル画像情報を映像シーケンスとして捕捉するカメラであってもよい。映像データは、シーケンスで見たときに動きを伝える複数の個別の画像として提供されてもよい。画像自体は画素の空間的配列として編成されてもよく、各画素は、使用時のサンプリング構造、色空間などに応じて1つ以上のサンプルを含むことができる。当業者であれば、画素とサンプルとの関係を容易に理解できるであろう。以下、サンプルを中心に説明する。

一実施形態によれば、符号器203は、リアルタイムで、又は用途によって必要とされる他の時間制約下で、ソース映像シーケンスの画像を符号化し圧縮して、符号化された映像シーケンス443にし得る。適切な符号化速度にすることが、コントローラ450の1つの機能であってもよい。コントローラ450はさらに、後述するように他の機能ユニットを制御してもよく、かつこれらのユニットに機能的に結合されてもよい。明確にするために、結合については図示しない。コントローラ450によって設定されたパラメータは、レート制御関連パラメータ（画像スキップ、量子化、レート－歪み最適化技術のラムダ値など）、画像サイズ、画像のグループ（GOP）のレイアウト、最大動きベクトル検索範囲などを含むことができる。当業者であれば、コントローラ450の他の機能は、いくつかのシステム設計用に最適化された映像符号器203に関連し得るため、容易に特定することができる。

いくつかの映像符号器は、当業者には「符号化ループ」として容易に認識されるもので動作する。簡単に説明すると、いくつかの映像圧縮技術において、シンボル及び符号化映像ビットストリーム間の圧縮が可逆であるときは、符号化ループは、ソース符号器430（符号化される入力画像、及び参照画像に基づくシンボルの生成に関与する）の符号化部と、符号器203に組み込まれた（ローカル）復号器433とからなっていてもよく、復号器433は、（リモート）復号器も生成するサンプルデータを生成するために、シンボルを再構築する。再構築されたサンプルストリームは、参照画像メモリ434に入力されてもよい。シンボルストリームの復号が、復号器の位置（ローカル又はリモート）とは無関係に、結果としてビットパーフェクト（bit－exact）になると、参照画像メモリのコンテンツもまた、ローカル符号器とリモート符号器との間でビットパーフェクトになる。言い換えれば、符号器の予測部は、参照画像サンプルを、復号中に予測を使用しているときに復号器が「みなす」ものとまったく同じサンプル値と「みなす」。参照画像共時性のこの基本原理（及び、例えばチャネルエラーのために共時性を維持できない場合は、結果として生じるドリフト）は、当業者には知られている。

「ローカル」復号器433の動作は、「リモート」復号器210とほぼ同じであってもよく、これについては、図3に関連してすでに詳細に上述した。しかしながら、シンボルが使用可能であり、かつエントロピー符号器445及び構文解析器320によって、シンボルを符号化された映像シーケンスに可逆的に符号化／復号できるので、チャネル312、受信機310、バッファ315、及び構文解析器320を含む、復号器210のエントロピー復号部は、ローカル復号器433で完全に実施されなくてもよい。

現時点で考えられることとして、復号器内に存在する、構文解析／エントロピー復号を除く復号器技術はいずれも、対応する符号器内にもほぼ同一の機能的形態で存在することが必要になろう。このため、開示される主題は復号器の動作に重点を置いている。符号器技術の説明は、包括的に述べられている復号器技術の逆であってもよいため、省略することができる。いくつかの領域においてのみ、より詳細な説明が必要とされ以下で説明される。

ソース符号器430は、その動作の一部として動き補償された予測符号化を実行してもよく、「参照フレーム」として指定された映像シーケンスから、1つ以上の以前に符号化されたフレームに関して、入力フレームを予測的に符号化する。この方法では、符号化エンジン432は、入力フレームの画素ブロックと、入力フレームに対する（複数の）予測参照として選択され得る（複数の）参照フレームの画素ブロックとの差異を符号化する。

ローカル映像復号器433は、ソース符号器430によって生成されたシンボルに基づいて、参照フレームとして指定され得るフレームの符号化された映像データを復号してもよい。符号化エンジン432の動作は、好適には非可逆の工程であってもよい。符号化された映像データが、映像復号器（図4には図示せず）で復号されるときは、再構築された映像シーケンスは、通常はいくつかのエラーを伴う、ソース映像シーケンスの複製であってもよい。ローカル映像復号器433は、映像復号器によって参照フレームに対して実行されてもよく、かつ再構築された参照フレームが参照画像メモリ434に記憶されるようにし得る、復号工程を複製する。この方法では、符号器203は、遠端の映像復号器（伝送エラーのない）によって取得される、再構築された参照フレームと共通のコンテンツを有する、再構築された参照フレームのコピーを局所的に記憶してもよい。

予測子435は、符号化エンジン432用の予測検索を実行してもよい。つまり、予測子435は、符号化される新しいフレームに対して、参照画像メモリ434からサンプルデータ（候補参照画素ブロックとしての）、又は参照画像動きベクトル、ブロック形状などのいくつかのメタデータを検索してもよく、これは新しい画像の適切な予測参照として機能する。予測子435は、適切な予測参照を見つけるために、ブロック×画素ブロックを基準として、サンプルで動作してもよい。場合によっては、予測子435によって取得された検索結果によって決定されるように、入力画像は、参照画像メモリ434に記憶された複数の参照画像から引き出された予測参照を有してもよい。

コントローラ450は、例えば、映像データの符号化に使用される、パラメータ及びサブグループパラメータの設定を含む、映像符号器430の符号化動作を管理してもよい。

前述した全機能ユニットの出力は、エントロピー符号器445でエントロピー符号化されてもよい。エントロピー符号器は、さまざまな機能ユニットによって生成されると、ハフマン符号化、可変長符号化、算術符号化などとして当業者に知られている技術でシンボルを可逆圧縮することによって、シンボルを符号化された映像シーケンスに変換する。

送信機440は、通信チャネル460を介した送信に備えるために、エントロピー符号器445によって生成された際に、符号化された映像シーケンスをバッファリングしてもよく、これは、符号化された映像データを記憶する記憶装置に対するハードウェア／ソフトウェア連携であってもよい。送信機440は、映像符号器430の符号化された映像データを、送信される他のデータ、例えば、符号化された音声データ及び／又は補助データストリーム（ソースは図示せず）とマージしてもよい。

コントローラ450は、符号器203の動作を管理してもよい。符号化中に、コントローラ450は、符号化された画像のそれぞれにいくつかの符号化画像種別を割り当ててもよく、これは、各画像に適用され得る符号化技術に影響を及ぼす場合がある。例えば、画像は、しばしばイントラ画像（I画像）、予測画像（P画像）、又は双方向予測画像（B画像）として割り当てられ得る。

イントラ画像（Iピクチャ）は、予測のソースとしてシーケンス内の他のフレームを使用せずに符号化及び復号され得るものである。いくつかの映像コーデックは、例えば、即時復号器リフレッシュ（Independent Decoder Refresh、IDR）画像を含む、異なる種類のイントラ画像を許容する。当業者には、このようなIピクチャの変形、並びにその各用途及び特徴が知られている。

予測画像（Pピクチャ）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものである。

双方向予測画像（Bピクチャ）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものである。同様に多重予測画像は、1つのブロックを再構築するために、2つよりも多い参照画像、及び関連するメタデータを使用することができる。

ソース画像は、通常は空間的に複数のサンプルブロック（例えば、それぞれ4x4、8x8、4x8、又は16x16サンプルのブロック）に再分割されて、ブロック毎に符号化されてもよい。ブロックは、ブロックの各画像に適用された符号割当てによって決定される際に、他の（すでに符号化された）ブロックを参照して予測的に符号化されてもよい。例えば、Iピクチャのブロックは、非予測的に符号化されてもよく、或いは同じ画像のすでに符号化されたブロックを参照して、予測的に符号化されてもよい（空間予測又はイントラ予測）。Pピクチャの画素ブロックは、1つの以前に符号化された参照画像を参照して、空間予測によって、又は時間予測によって、非予測的に符号化されてもよい。Bピクチャのブロックは、1つ又は2つの以前に符号化された参照画像を参照して、空間予測によって、又は時間予測によって、非予測的に符号化されてもよい。

映像符号器203は、ITU－T Rec．H．265などの所定の映像符号化技術又は標準に従って、符号化動作を実行してもよい。その動作において、映像符号器203はさまざまな圧縮動作を実行してもよく、これには入力映像シーケンスで時間的及び空間的冗長性を利用する予測符号化動作が含まれる。したがって符号化された映像データは、使用される映像符号化技術又は標準によって指定された構文に従っていてもよい。

一実施形態では、送信機440は、符号化された映像とともに追加データを送信してもよい。映像符号器430は、符号化された映像シーケンスの一部としてこのようなデータを含んでもよい。追加データは、時間／空間／SNR強化層、冗長画像及びスライス、補足拡張情報（Supplementary Enhancement Information、SEI）メッセージ、視覚的有用性情報（Visual Usability Information、VUI）パラメータ集合フラグメントなどの他の形式の冗長データを含んでもよい。

本開示の符号器及び復号器は、タイル及びサブ画像分割設計に従って、映像ストリームを符号化し復号し得る。タイル及びサブ画像分割設計を使用する、方法を含む実施形態は、個別に、或いは任意の順序で組み合わされて使用されてもよい。また、実施形態の方法、符号器、及び復号器はそれぞれ、処理回路（例えば、1つ以上のプロセッサ又は1つ以上の集積回路）によって実施されてもよい。実施形態では、1つ以上の実施形態のタイル及びサブ画像分割設計に従って映像ストリームの符号化及び復号を実行するために、1つ以上のプロセッサが、非一時的なコンピュータ可読媒体に記憶されているプログラムを実行する。本開示におけるタイル及びサブ画像分割設計のいくつかの態様について、以下で説明する。

汎用映像符号化（Versatile Video Coding、VVC）その他いくつかの映像圧縮標準には、以下の特徴を持つ動き制限タイルセット（MCTS）様の機能を含めることが有用である。（1）サブビットストリームが、タイルのサブセットの復号に必要な、映像符号化層（VCL）と、ネットワーク抽象化層（NAL）と、非VCL NALユニットとを含み、サブビットストリームは、画像全体を構成している全タイルをカバーする、1つのVVCビットストリームから抽出することができる。（2）抽出されたサブビットストリームは、NALユニットを参照することなくVVC復号器で独立して復号可能になる。

上述した特徴を伴うこのような分割機構は、MCTS（動き制限タイルセット）又はサブ画像と呼ばれてもよい。「タイルグループ」という用語と「タイルセット」という用語との混同を避けるために、本開示では、上述の分割機構を説明するために「サブ画像」という用語が使用される。

実施形態におけるタイル及びサブ画像分割設計の、非限定的な例示的な構造について、図5A～図5Cを参照しながら以下で説明する。一実施形態では、映像ストリームは複数の画像500を含む。各画像500は1つ以上のサブ画像510を含んでもよく、各サブ画像510は、例えば図5A～図5Bに示すように、1つ以上のタイル530を含む。サブ画像510及びタイル530の大きさ及び形状は、図5A～図5Bによって限定されることはなく、任意の形状又は大きさにすることができる。各サブ画像510のタイル510は、例えば図5B～図5Cに示すように、1つ以上のタイルグループ520に分割されてもよい。タイルグループ520の大きさ及び形状は、図5B～図5Cによって限定されることはなく、任意の形状又は大きさにすることができる。一実施形態では、タイルグループ520のいずれにも1つ以上のタイル530が提供されなくてもよい。一実施形態では、同じサブ画像510内のタイルグループ520が、1つ以上のタイル530を共有してもよい。本開示の実施形態は、タイル及びサブ画像分割設計に従って、映像ストリームを復号し符号化してもよく、サブ画像510、タイルグループ520、及びタイル530が規定され使用される。

本開示のサブ画像設計の実施形態は、JVET－M0261によるサブ画像設計の態様を含んでもよい。

また、本開示のサブ画像設計の実施形態は、以下の特徴によって、本開示のサブ画像設計を没入型メディアに使用する場合の有用性が強化される。

（1）各サブ画像510は、異なるランダムアクセス周期と、異なるインター予測構造とを有してもよい。このような特徴は、ビューポート依存の360度ストリーミングに、不等なランダムアクセス周期を持たせるために使用され得る。ビューポート依存の360度ストリーミングでは、動的コンテンツを含む集中領域のみが視聴者に注目され得る一方で、その他の背景領域はゆっくり変化してもよい。異なるGOP構造と異なるランダムアクセス周期とを持つことにより、全体の視覚的品質を良くしながら、特定の領域に高速アクセスするのを補助することができる。

（2）サブ画像510は、互いに異なるリサンプリング率を有していてもよい。このような特徴により、背景領域（例えば、360度における上部及び下部、PCCにおける非動的なオブジェクト）の品質を、全体のビット効率のために効率的に犠牲にすることができる。

（3）画像500を構成している複数のサブ画像510は、単一の符号器によって符号化され単一の復号器によって復号されてもよく、又はそうされなくてもよい。例えば、サブ画像510が符号器で独立的に符号化できる一方で、別のサブ画像510が別の符号器で符号化される。次に、これらのサブ画像510に対応するサブビットストリームを組み合わせて1つのビットストリームにすることができ、これを復号器で復号することができる。このような特徴は、例えば、Eスポーツのコンテンツで使用されてもよい。例えば、一実施形態において、ゲーム（ビデオゲームなど）に参加している何人かの競技者（競技者1～競技者N）がいて、これらの各競技者のゲームビュー及びカメラビューが捕捉され伝送される場合がある。各視聴者が選択した競技者によって、メディアプロセッサが、（例えば、次の競技者の）関連するゲームビューをグループ化し、グループを映像に変換することができる。

実施形態では、ゲームをプレイしている各競技者の画像を捕捉するカメラがあってもよい。例えば、図6に示すように、実施形態は、競技者1のビデオ画像611を捕捉するカメラ610のカメラ、競技者2のビデオ画像612を捕捉するカメラ610のカメラなどを含んでもよい。また、メモリを有する1つ以上のプロセッサが、観察者ビュー620と競技者ビュー630とを含むビデオ画像を捕捉してもよい。観察者ビュー620はそれぞれ、ゲームの観覧者ビューなどであり、ゲームの競技者は、活動的にゲームをプレイしている間は見られない場合がある。例えば、観覧者ビューは、競技者が見る視点とは異なる、ビデオゲームの世界の全体像であってもよく、かつ／又はゲームを見ている観覧者を補助する情報を含んでもよく、情報は、活動的にプレイしている競技者が見られるようにはならない。観察者ビュー620は、第1の観察者ビュー621を含む、1つ以上の観察者ビューを含んでもよい。競技者ビュー630はそれぞれ、ゲームをプレイしている各競技者が見るビューであってもよい。例えば、第1の競技者ビュー631は、ゲームのプレイ中に競技者1が見るビデオゲームの画像であってもよく、第2の競技者ビュー632は、ゲームのプレイ中に競技者2が見るビデオゲームの画像であってもよい。

カメラ610のビデオ画像、観察者ビュー620、及び競技者ビュー630は、コンポジタ640によって受信されてもよい。実施形態では、任意の数のこのようなビデオ画像が、各符号器によって個別に符号化されてもよく、かつ／又は1つ以上のビデオ画像が、単一の符号器で共に符号化されてもよい。コンポジタ640は、ビデオ画像が1つ以上の符号器によって符号化された後、ビデオ画像が符号化される前、又はビデオ画像が復号された後で、ビデオ画像を受信してもよい。コンポジタ640は、符号器及び／又は復号器としても機能し得る。レイアウト＆ストリーム選択660などの入力に基づいて、コンポジタ640は、カメラ610、観察者ビュー620、及び競技者ビュー630からの2つ以上のビデオ画像の特定のコンポジットを、図7に示すコンポジット映像690として、トランスコーダ650に提供してもよい。トランスコーダ650は、コンポジット映像690をトランスコードし、コンポジット映像690を表示する1つ以上の表示装置を含み得るメディアシンク680に、コンポジット映像690を出力する。トランスコーダ650は、ネットワークモニタ670によって監視されてもよい。

図7に示すように、トランスコードされたコンポジット映像690は、例えば、競技者1のビデオ画像611、競技者2のビデオ画像612、第1の競技者ビュー631、第2の競技者ビュー632、及び第1の観察者ビュー621のコンポジットを含んでもよい。しかしながら、コンポジット映像690として、コンポジタ640に提供された任意のビデオ画像の任意の数の任意の組合せが共にコンポジットされてもよい。

一実施形態では、サブ画像設計は、以下の特徴及び技術詳細を含む。（1）サブ画像510は長方形領域である。（2）サブ画像510は、複数のタイル530に分割されてもよく、或いは分割されなくてもよい。（3）複数のタイル530に分割された場合、各サブ画像510は、それ自身のタイルスキャン順序を有する。（4）サブ画像510内のタイル530は、組み合わせて長方形又は非長方形のタイルグループ520にすることができるが、別のサブ画像510に属するタイル530は、共にグループ化することはできない。

本開示の実施形態におけるサブ画像設計の、少なくとも以下の（1）～（7）の態様は、JVET－M0261とは区別される。

（1）一実施形態では、各サブ画像510は、それ自身のSPS、PPS、及びAPSを参照してもよいが、ただし各SPSが全てのサブ画像分割情報を含む場合がある。

（a）一実施形態では、サブ画像分割及びレイアウト（報知）情報は、SPSで信号送信されてもよい。例えば、復号されたサブ画像、及びサブ画像510の出力サイズが信号送信されてもよい。例えば、サブ画像510の参照画像リスト（RPL）情報が信号送信されてもよい。一実施形態では、各サブ画像510は、同じ画像内に同じRPL情報を有していてもよく、或いは有していなくてもよい。（b）一実施形態では、サブ画像510のタイル分割情報は、PPSで信号送信されてもよい。（c）一実施形態では、サブ画像510のALF係数が、APSで信号送信されてもよい。（d）一実施形態では、複数のサブ画像510が、任意のパラメータセット又はSEIメッセージを参照することができる。

（2）一実施形態では、サブ画像IDがNALユニットヘッダで信号送信されてもよい。

（3）一実施形態では、サブ画像境界をまたいだ全ての復号プロセス（例えば、ループ内フィルタリング、動き補償）が拒否され得る。

（4）一実施形態では、サブ画像510の境界は、動き補償のために延長されパディングされてもよい。一実施形態では、境界が延長されているかどうかを示すフラグが、SPSで信号送信されてもよい。

（5）一実施形態では、復号されたサブ画像510が出力用にリサンプルされてもよく、又はリサンプルされなくてもよい。一実施形態では、リサンプリング率を計算するために、SPSで信号送信された、復号されたサブ画像サイズと、出力サブ画像サイズとの間の空間率が使用されてもよい。

（6）一実施形態では、サブビットストリームの抽出に関しては、サブ画像IDに対応するVCL NALユニットが抽出され、その他は除去される。サブ画像IDを有するVCL NALユニットに参照されるパラメータセットが抽出され、その他は除去される。

（7）一実施形態では、サブビットストリームの組み立てに関しては、同じPOC値を持つ全VCL NALユニットが、同じアクセスユニット（AU）と交互配置されてもよい。SPS内のサブ画像510の分割情報は、必要に応じて書き換えられる。サブ画像ID及び任意のパラメータセットIDが、必要に応じて書き換えられる。

本開示の実施形態のシーケンスパラメータセットRBSP構文を以下の表1に示す。

「num＿sub＿pictures＿in＿pic」は、SPSを参照する各画像500内の、サブ画像510の数を指定する。

「signalled＿sub＿pic＿id＿length＿minus1」が1であれば、存在する場合は構文要素「sub＿pic＿id［i］」と、タイルグループヘッダ内の構文要素「tile＿group＿sub＿pic＿id［i］」とを表すのに使用される、ビット数を指定する。「signalled＿sub＿pic＿id＿length＿minus1」の値は、0から15までの範囲内であってもよい。

「dec＿sub＿pic＿width＿in＿luma＿samples［i］」は、符号化された映像シーケンスにおけるルマサンプルのユニット内の、i番目の復号されたサブ画像510の幅を指定する。「dec＿sub＿pic＿width＿in＿luma＿samples［i］」は0でなくてもよく、「MinCbSizeY」の整数倍であってもよい。

「dec＿sub＿pic＿height＿in＿luma＿samples［i］」は、符号化された映像シーケンスにおけるルマサンプルのユニット内の、i番目の復号されたサブ画像510の高さを指定する。「dec＿sub＿pic＿height＿in＿luma＿samples［i］」は0でなくてもよく、「MinCbSizeY」の整数倍であってもよい。

「output＿sub＿pic＿width＿in＿luma＿samples［i］」は、ルマサンプルのユニット内の、i番目の出力サブ画像510の幅を指定する。「output＿sub＿pic＿width＿in＿luma＿samples」は、0でなくてもよい。

「output＿sub＿pic＿height＿in＿luma＿samples［i］」は、ルマサンプルのユニット内の、i番目の出力サブ画像510の高さを指定する。「output＿sub＿pic＿height＿in＿luma＿samples」は、0でなくてもよい。

「sub＿pic＿id［i］」は、i番目のサブ画像510のサブ画像識別子を指定する。「sub＿pic＿id［i］」構文要素の長さは、「sub＿pic＿id＿length＿minus1」＋1ビットである。存在しないときは、「sub＿pic＿id［i］」の値は0に設定される。

「left＿top＿pos＿x＿in＿luma＿samples［i］」は、i番目のサブ画像510の、第1の画素の列位置を指定する。

「left＿top＿pos＿y＿in＿luma＿samples［i］」は、i番目のサブ画像510の、第1の画素の行位置を指定する。

一実施形態では、各サブ画像510は、復号後に、その対応する出力サブ画像サイズにリサンプルされる。一実施形態では、サブ画像510は、別のサブ画像510Aの領域と重ね合わせることはできない。一実施形態では、全サブ画像の出力サイズ及び位置によって構成される、画像サイズの幅及び高さは、「pic＿width＿in＿luma＿samples」及び「pic＿height＿in＿luma＿samples」と等しくてもよいが、サブ画像のサブセットで構成される部分的な画像領域は復号することができる。

本開示の実施形態のタイルグループヘッダの構文を以下の表2に示す。

「tile＿group＿sub＿pic＿id」は、現在のタイルグループが属するサブ画像の、サブ画像識別子を指定する。

HEVC内のタイルは、（1）並列復号プロセス、（2）部分伝送及び部分復号、という2つの主な使用事例をサポートするために設計された。第1の使用事例は、基本的にはHEVC内の元のタイルを使用することによって実現したが、インター予測動作についてはまだいくらかの依存性が残っている。第2の使用事例は、任意の方法ではあったが、動き制限タイルセット（MCTS）と呼ばれる追加のSEIメッセージを使用することによって実現した。VVCでは、同じタイル設計がHEVCから受け継がれたが、複数の使用事例をサポートするために、新しい方式であるいわゆるタイルグループが適用された。

本開示は、3／6自由度をサポートするVR360、その他の没入型コンテンツにおけるビューポートに基づく伝送に使用され得る、サブ画像設計を含む実施形態を提供する。このような機能は、VVCが将来の没入型コンテンツサービスに広く使用されるために有用であろう。また、タイル境界にまたがる依存性を持たない完全な並列復号を可能にするために、完全な機能を有することが望ましい。

より良好な並列処理能力を提供するために、2つの構文要素（「loop＿filter＿across＿tiles＿enabled＿flag」及び「loop＿filter＿across＿tile＿groups＿enabled＿flag」）が使用されてもよい。これらの構文要素は、タイル境界又はタイルグループ境界をそれぞれまたいで、ループ内フィルタリング動作が実行されないことを示す。本開示の実施形態では、上記の2つの構文要素は、2つの追加の構文要素と共に含まれていてもよい。2つの追加の構文要素は、タイル境界又はタイルグループ境界をそれぞれまたいで、インター予測動作が実行される、又は実行されないことを示し得る。これらのセマンティクスにおいて、インター予測動作は、例えば、時間的動き補償、現画像参照、時間的動きベクトル予測、及び画像間の任意のパラメータ予測動作を含む。したがって、本開示の実施形態では、HEVCなどの符号化／復号の標準において、動き制限されたタイルセットではなく、動き制限されたタイルが使用されてもよい。この機能は、サブ画像又はMCTS方式と相互互換性を有することができる。

上記の構文要素は、少なくとも以下の2つの使用事例に対して有用である。（1）タイル／タイルグループ境界をまたいだ依存性を持たない完全な並列復号プロセス、（2）VCL NALユニットをトランスコードすることのない、タイルグループのレイアウトの再構成。

第1の使用事例に関しては、画像500が2つのタイルグループ520に分割されて伝送される場合であっても、タイルグループ520が複数のタイル530を含んでいるときは、複数の復号器がタイルグループ520を並列して復号することができる。このようにして、完全な並列処理能力が有用になる。

第2の使用事例は、VR360ビューポートに依存した処理の使用事例に関する。対象となるビューポートが、2つのタイルグループ間の境界に移行されると、対象となるビューポートを表示するために、復号器は、2つのタイルグループを受信して復号することが必要になる場合がある。しかしながら、説明した構文要素を有する本開示の実施形態では、1つのみのタイルグループ520が対象となるビューポート全体を含むように、PPS内のタイルグループ520の分割情報を、例えば、サーバ又はクラウドプロセッサによって更新でき、復号器に1つのタイルグループ520を伝送することができる。この瞬時の再分割は、全タイルが動き制限タイルとして符号化されるときは、VLCレベルの変更なしで可能になる。

本開示の実施形態の構文要素の例を以下に示す。

本開示の実施形態の画像パラメータセットRBSP構文を以下の表3に示す。

「full＿parallel＿decoding＿enabled＿flag」が1であれば、タイル境界をまたいだ処理及び予測がいずれも拒否されることを指定する。

「loop＿filter＿across＿tiles＿enabled＿flag」が1であれば、PPSを参照する画像内で、ループ内フィルタリング動作がタイル境界をまたいで実行されることを指定する。「loop＿filter＿across＿tiles＿enabled＿flag」が0であれば、PPSを参照する画像内で、ループ内フィルタリング動作がタイル境界をまたいで実行されないことを指定する。ループ内フィルタリング動作は、例えば、非ブロック化フィルタ動作、サンプル適応オフセットフィルタ動作、及び適応ループフィルタ動作を含む。存在しない場合は、loop＿filter＿across＿tiles＿enabled＿flagの値は0になると推定され得る。

「loop＿filter＿across＿tile＿groups＿enabled＿flag」が1であれば、PPSを参照する画像内で、ループ内フィルタリング動作がタイルグループ境界をまたいで実行されることを指定する。「loop＿filter＿across＿tile＿group＿enabled＿flag」が0であれば、PPSを参照する画像内で、ループ内フィルタリング動作がタイルグループ境界をまたいで実行されないことを指定する。ループ内フィルタリング動作は、例えば、非ブロック化フィルタ動作、サンプル適応オフセットフィルタ動作、及び適応ループフィルタ動作を含む。存在しない場合は、「loop＿filter＿across＿tile＿groups＿enabled＿flag」の値は0になると推定され得る。

「inter＿prediction＿across＿tiles＿enabled＿flag」が1であれば、PPSを参照する画像内で、インター予測動作がタイル境界をまたいで実行されることを指定する。「inter＿prediction＿across＿tiles＿enabled＿flag」が0であれば、PPSを参照する画像内で、インター予測動作がタイル境界をまたいで実行されないことを指定する。インター予測動作は、例えば、時間的動き補償、現画像参照、時間的動きベクトル予測、及び画像間の任意のパラメータ予測動作を含む。存在しない場合は、「inter＿prediction＿across＿tiles＿enabled＿flag」の値は0になると推定され得る。

「inter＿prediction＿across＿tile＿groups＿enabled＿flag」が1であれば、PPSを参照する画像内で、インター予測動作がタイルグループ境界をまたいで実行されることを指定する。「inter＿prediction＿across＿tile＿groups＿enabled＿flag」が0であれば、PPSを参照する画像内で、インター予測動作がタイルグループ境界をまたいで実行されないことを指定する。インター予測動作は、例えば、時間的動き補償、現画像参照、時間的動きベクトル予測、及び画像間の任意のパラメータ予測動作を含む。存在しない場合は、「inter＿prediction＿across＿tile＿groups＿enabled＿flag」の値は0になると推定され得る。

VVCでは、タイル設計はHEVCにおけるものと同様であるが、複数の実施形態をサポートするために、これに限定されないが、（1）部分伝送及び復号、（2）並列復号プロセス、及び（3）MTUサイズのタイル粒度とのマッチングを含む、「タイルグループ」とも呼ばれる新しい方式が適用された。

並列処理のために、タイルグループ境界をまたいだループ内フィルタリングプロセスを選択的に許可するための2つの構文要素（「loop＿filter＿across＿tiles＿enabled＿flag」及び「loop＿filter＿across＿tile＿groups＿enabled＿flag」）が使用されてもよい。しかしながら、このような構文要素では、タイルグループ境界をまたいだループ内フィルタリングを不可にする一方で、タイル境界をまたいだフィルタリングを可能にすることで、タイルグループが非長方形のときはフィルタリングプロセスが複雑になる場合がある。図8に示すように、適応ループフィルタ（ALF）は、2つのタイルグループ820のタイルグループ境界をまたいで、7x7の菱形フィルタ840で処理される。タイルグループ820が非長方形であれば、そのフィルタリングプロセスは混乱する。どの画素が現在のタイルグループに属するかを識別するために、各画素、各フィルタ係数に対して境界確認プロセスが必須となる。時間的動き補償の場合と、現画像参照の場合とに違いはない。動き補償のためにタイルグループ境界で境界延長が適用されれば、そのパディングプロセスもまた複雑になる。

本開示の実施形態によれば、タイルグループの境界における、タイルグループレベルのループフィルタリング（又は他の任意の動作）制御は、長方形のタイルグループに対してのみ許可される。したがって、フィルタリングプロセス及びパディングプロセスにおける混乱をうまく回避することができる。

さらに、フラグ「loop＿filter＿across＿tile＿groups＿enabled＿flag」は、single＿tile＿per＿tile＿group＿flagが1のときは信号送信されなくてもよい。したがって、本開示の実施形態は、例えば、表4に示すように、以下の画像パラメータセットRBSP構文を含んでもよい。

「loop＿filter＿across＿tile＿groups＿enabled＿flag」が1であれば、PPSを参照する画像内で、ループ内フィルタリング動作がタイルグループ境界をまたいで実行されることを指定する。「loop＿filter＿across＿tile＿group＿enabled＿flag」が0であれば、PPSを参照する画像内で、ループ内フィルタリング動作がタイルグループ境界をまたいで実行されないことを指定する。ループ内フィルタリング動作は、例えば、非ブロック化フィルタ動作、サンプル適応オフセットフィルタ動作、及び適応ループフィルタ動作を含む。存在しない場合は、「loop＿filter＿across＿tile＿groups＿enabled＿flag」の値は、loop＿filter＿across＿tiles＿enabled＿flagの値と等しくなると推定され得る。

一実施形態では、符号化映像ストリームのサブビットストリームを復号するために、少なくとも1つのプロセッサによって方法が実行されてもよい。符号化映像ストリームは、1つ以上の画像500に対する、複数のサブ画像510の符号化されたバージョンを含んでもよい。

図9に示すように、本方法は、サブビットストリーム（850）を受信する、少なくとも1つのプロセッサを含んでもよい。一実施形態では、サブビットストリームは、1つ以上の画像500の、1つ以上のサブ画像510についての情報を含んでもよく、1つ以上の画像500の、他のサブ画像510についての情報を含まなくてもよい。サブビットストリームを受信した後で、少なくとも1つのプロセッサは、サブビットストリームに含まれているサブ画像510を復号してもよい。例えば、サブビットストリームが、1つの画像の第1のサブ画像及び第2のサブ画像についての情報を含んでいると仮定すると、少なくとも1つのプロセッサは、タイル及びサブ画像分割設計を使用する本開示の復号技術に従って、第2のサブ画像とは無関係に、画像の第1のサブ画像を復号してもよい（860）。第1のサブ画像を復号するステップは、第1のサブ画像のタイルを復号することを含んでもよい。少なくとも1つのプロセッサは、タイル及びサブ画像分割設計を使用する本開示の復号技術に従って、画像の第2のサブ画像をさらに復号してもよい（870）。第2のサブ画像を復号するステップは、第2のサブ画像のタイルを復号することを含んでもよい。

実施形態では、少なくとも1つのプロセッサは、本開示のタイル及びサブ画像分割設計に従って1つ以上の画像500のサブ画像510を符号化し、本開示のタイル及びサブ画像分割設計に従って復号するために、1つ以上の符号化されたサブ画像510を含む、映像ビットストリームの1つ以上のサブビットストリームを、1つ以上の復号器に送信してもよい。

実施形態では、本開示の復号器（例えば、映像復号器210）は、メモリに記憶されているコンピュータプログラムコードにアクセスし、コンピュータプログラムコードに命令された通りに動作することによって、本開示の復号方法を実行し得る。例えば、一実施形態では、コンピュータプログラムコードは、復号器に、本開示のタイル及びサブ画像分割設計を使用する復号技術に従って、第2のサブ画像とは無関係に、画像の第1のサブ画像を復号させ、さらに復号器に、本開示のタイル及びサブ画像分割設計を使用する復号技術に従って、第1のサブ画像とは無関係に、画像の第2のサブ画像を復号させるように構成された、復号コードを含んでもよい。

実施形態では、本開示の符号器（例えば、符号器203）は、メモリに記憶されているコンピュータプログラムコードにアクセスし、コンピュータプログラムコードに命令された通りに動作することによって、本開示の符号化方法を実行し得る。例えば、一実施形態では、コンピュータプログラムコードは、符号器に、本開示のタイル及びサブ画像分割設計に従って1つ以上の画像500のサブ画像510を符号化させるように構成された、符号化コードを含んでもよい。コンピュータプログラムコードは、本開示のタイル及びサブ画像分割設計に従って復号するために、1つ以上の符号化されたサブ画像510を含む、映像ビットストリームの1つ以上のサブビットストリームを1つ以上の復号器に送信するように構成された、送信コードをさらに含んでもよい。

前述した技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実施でき、1つ以上のコンピュータ可読媒体に物理的に記憶される。例えば、図10は、本開示のいくつかの実施形態を実施するのに適したコンピュータシステム900を示す。

コンピュータソフトウェアは、任意の適切な機械コード又はコンピュータ言語を使用して符号化でき、これは、コンピュータ中央処理ユニット（CPU）、グラフィック処理ユニット（GPU）などによって、直接、又は解釈、マイクロコードの実行などを介して実行できる命令を含むコードを作成するために、アセンブリ、コンパイル、リンクなどの機構に従ってもよい。

命令は、パソコン、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、IoT（internet of things）装置など、さまざまな種類のコンピュータ又はその構成要素で実行することができる。

図10に示すコンピュータシステム900の構成要素は本来例示的であって、本開示の実施形態を実施するコンピュータソフトウェアの使用又は機能の範囲に対して、限定を示唆することは意図されていない。構成要素の構成は、コンピュータシステム900の非限定的な実施形態に示されている構成要素のいずれか1つ、又は構成要素の組合せに関して、依存性を有するものとも要件を有するものとも解釈されてはならない。

コンピュータシステム900は、いくつかの人的インターフェース入力装置を備えてもよい。このような人的インターフェース入力装置は、例えば、触覚入力（キーを押す、スワイプする、データグローブを動かすなど）、音声入力（声、手をたたくなど）、視覚入力（身振りなど）、嗅覚入力（図示せず）による、1人以上のユーザによる入力に応答し得る。人的インターフェース装置は、音声（発話、音楽、周囲音など）、画像（走査画像、静止画カメラで取得される写真画像など）、映像（二次元映像、立体映像を含む三次元映像など）などの人による意識的な入力に必ずしも直接関与しない、いくつかの媒体の捕捉にさらに使用することができる。

入力人的インターフェース装置は、キーボード901、マウス902、トラックパッド903、タッチスクリーン910、データグローブ、ジョイスティック905、マイク906、スキャナ907、カメラ908のうちの1つ以上を含んでもよい（それぞれ1つのみが図示されている）。

コンピュータシステム900は、いくつかの人的インターフェース出力装置を備えてもよい。このような人的インターフェース出力装置は、触覚出力、音声、光、及び臭い／味など、1人以上のユーザの感覚を刺激し得る。このような人的インターフェース出力装置は、触覚出力装置（例えば、タッチスクリーン910、データグローブ、又はジョイスティック905による触覚フィードバック、ただし入力装置として機能しない触覚フィードバック装置もあり得る）を含んでもよい。例えば、このような装置は、音声出力装置（スピーカ909、ヘッドホン（図示せず））、視覚出力装置（それぞれがタッチスクリーン入力能力を有するか又は有さず、それぞれが触覚フィードバック能力を有するか又は有さず、そのうちのいくつかは二次元映像出力、又は立体出力などの手段によって三次元を上回る出力を出力可能であってもよい、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン910など、VRグラス（図示せず）、ホログラフィック表示、煙発生装置（smoke tank（図示せず））、並びにプリンタ（図示せず））であってもよい。

コンピュータシステム900は、人的にアクセス可能な記憶装置、及びCD／DVDなどの媒体921を含むCD／DVD ROM／RW920、USBメモリ（thumb－drive）922、取り外し可能なハードドライブ又はソリッドステートドライブ923、テープ及びフロッピーディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの専門化されたROM／ASIC／PLDに基づく装置（図示せず）を含む光学媒体などの、その関連媒体をさらに含むことができる。

ここで開示されている主題に関して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波その他の一時的な信号は含まないことを当業者にはさらに理解されたい。

コンピュータシステム900は、1つ以上の通信ネットワークに対するインターフェースをさらに備えることができる。ネットワークは、例えば、無線、有線、光であってもよい。ネットワークはさらに、ローカル、広域、メトロポリタン、車載及び産業用、リアルタイム、遅延耐性などであってもよい。ネットワークの例は、イーサネットなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含む移動体通信ネットワーク、ケーブルテレビ、衛星テレビ、及び地上波テレビを含む有線テレビ又は無線の広域デジタルネットワーク、車載及びCANBusを含む産業用ネットワークなどを含む。いくつかのネットワークは一般に、いくつかの汎用データポート又は周辺バス（949）（例えば、コンピュータシステム900のUSBポート）に取り付けられる外部ネットワークインターフェースアダプタを必要とし、他のネットワークは一般に、後述するようにシステムバスに取り付けることによって（例えば、イーサネットインターフェースをPCコンピュータシステムに、又は移動体通信ネットワークインターフェースをスマートフォンのコンピュータシステムに）、コンピュータシステム900のコアに統合される。このような任意のネットワークを使用して、コンピュータシステム900は他のエンティティと通信することができる。このような通信は、一方向通信、受信専用通信（例えば、テレビ放送）、一方向送信専用通信（例えば、CANbusからCANbusに送信する装置）、或いは、例えば、ローカル又は広域デジタルネットワークを使用する、他のコンピュータシステムに対する双方向通信であってもよい。このような通信は、クラウドコンピューティング環境955との通信を含むことができる。前述したように、いくつかのプロトコル及びプロトコルスタックをこのような各ネットワーク及び各ネットワークインターフェースに使用することができる。

前述した人的インターフェース装置、人的にアクセス可能な記憶装置、及びネットワークインターフェース954は、コンピュータシステム900のコア940に取り付けることができる。

コア940は、1つ以上の中央処理ユニット（CPU）941、グラフィック処理ユニット（GPU）942、FPGA（Field Programmable Gate Areas）の形態の専門化されたプログラム可能処理ユニット943、いくつかのタスク用のハードウェアアクセラレータ944などを含むことができる。このような装置は、読出し専用メモリ（ROM）945、ランダムアクセスメモリ946、内部のユーザがアクセスできないハードドライブ、SSDなど947の内部大容量記憶装置とともに、システムバス948を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス948は、追加のCPU、GPUなどによる拡張が可能なように、1つ以上の物理プラグの形態でアクセスすることができる。周辺装置は、コアのシステムバス948に直接取り付ける、又は周辺バス949を介して取り付けることができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。コア940にグラフィックアダプタ950が含まれていてもよい。

CPU941、GPU942、FPGA943、及びアクセラレータ944は、前述したコンピュータコードを作成できるいくつかの命令を、組み合わせて実行することができる。コンピュータコードは、ROM945又はRAM946に記憶させることができる。過渡的なデータもRAM946に記憶でき、これに反し永続的なデータは、例えば、内部大容量記憶装置947に記憶することができる。キャッシュメモリを使用することによって、任意のメモリ装置に素早く記憶し検索することが可能になり、1つ以上のCPU941、GPU942、大容量記憶装置947、ROM945、RAM946などに密接に関連付けることができる。

コンピュータ可読媒体は、さまざまなコンピュータ実施動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計され構築されたものにすることができ、或いはコンピュータソフトウェアの分野の当業者によく知られ、当業者が使用可能な種類のものであってもよい。

例として、かつ制限する目的ではなく、アーキテクチャ900、具体的にはコア940を有するコンピュータシステムは、1つ以上の有形のコンピュータ可読媒体に具体化されたソフトウェアを実行する、（複数の）プロセッサ（CPU、GPU、FPGA、アクセラレータなど）の結果としての機能性を提供することができる。このようなコンピュータ可読媒体は、先に紹介したようなユーザがアクセス可能な大容量記憶装置、並びにコア内部大容量記憶装置947又はROM945などの、非一時的な性質を持つ、コア940のいくつかの記憶装置に関連する媒体であってもよい。本開示のさまざまな実施形態を実施するソフトウェアは、このような装置に記憶させて、コア940によって実行することができる。コンピュータ可読媒体は、特定の需要に従って、1つ以上のメモリ装置又はチップを含むことができる。ソフトウェアは、コア940及び具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM946に記憶されているデータ構造の定義、及びソフトウェアによって定義された工程に従ったこのようなデータ構造の変更を含む、本明細書で説明する特定の工程、又は特定の工程の特定の部分を実行させることができる。これに加えて、又はこれに代えて、コンピュータシステムは、回路（例えば、アクセラレータ944）に配線された、或いは回路で具体化された論理の結果としての機能性を提供でき、本明細書で説明する特定の工程、又は特定の工程の特定の部分を実行するために、ソフトウェアの代わりに、又はソフトウェアとともに動作させることができる。ソフトウェアに対する言及は、必要に応じて論理を包含することができ、その逆もまた可能である。コンピュータ可読媒体に対する言及は、必要に応じて実行するソフトウェアを記憶する（集積回路（IC）などの）回路、実行する論理を具体化する回路、又はその両方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組合せを包含する。

本開示は、いくつかの非限定的な実施形態について説明してきたが、変更、置換、及びさまざまな代替的な等価物があり、これらは本開示の範囲内に含まれる。したがって当業者であれば、本明細書に明確に図示又は説明されていなくても、本開示の原理を具体化し、したがってその原理と範囲内に含まれる多くのシステム及び方法を考案できることは理解されよう。

100 通信システム
110 第1の端末
120 第2の端末
130 第2の対の端末
140 第2の対の端末
150 通信ネットワーク
200 ストリーミングシステム
201 映像ソース
202 圧縮されていない映像サンプルストリーム
203 映像符号器
204 映像ビットストリーム
205 ストリーミングサーバ
206 ストリーミングクライアント
209 映像ビットストリーム
210 映像復号器
211 映像サンプルストリーム
212 表示装置
213 捕捉サブシステム
310 受信機
312 チャネル
315 バッファメモリ
320 構文解析器
321 シンボル
351 スケーラ／逆変換ユニット
352 イントラ画像予測ユニット
353 動き補償予測ユニット
355 集約装置
356 ループフィルタユニット
357 参照画像メモリ
358 現画像メモリ
430 ソース符号器
432 符号化エンジン
433 ローカル復号器
434 参照画像メモリ
435 予測子
440 送信機
443 ソース映像シーケンス
445 エントロピー符号器
450 コントローラ
460 通信チャネル
500 画像
510 サブ画像
520 タイルグループ
530 タイル
610 カメラ
611 ビデオ画像
612 ビデオ画像
620 観察者ビュー
621 第1の観察者ビュー
630 競技者ビュー
631 第1の競技者ビュー
632 第2の競技者ビュー
640 コンポジタ
650 トランスコーダ
660 レイアウト＆ストリーム選択
670 ネットワークモニタ
680 メディアシンク
690 コンポジット映像
820 タイルグループ
840 菱形フィルタ
900 コンピュータシステム
901 キーボード
902 マウス
903 トラックパッド
905 ジョイスティック
906 マイク
907 スキャナ
908 カメラ
909 スピーカ
910 タッチスクリーン
920 光学媒体
921 媒体
922 USBメモリ
923 ソリッドステートドライブ
940 コア
941 中央処理ユニット（CPU）
942 グラフィック処理ユニット（GPU）
943 FPGA
944 アクセラレータ
945 読出し専用メモリ（ROM）
946 ランダムアクセスメモリ
947 内部大容量記憶装置
948 システムバス
949 周辺バス
950 グラフィックアダプタ
954 ネットワークインターフェース
955 クラウドコンピューティング環境

Claims (10)

1. 符号化映像ストリームのサブビットストリームを復号するために、少なくとも1つのプロセッサによって実行される方法であって、前記符号化映像ストリームは、画像の第1のサブ画像及び第2のサブ画像の符号化されたバージョンを含み、前記方法は、
   前記サブビットストリームを受信する、ステップと、
   サブ画像、タイルグループ、及びタイル分割を使用して、前記第2のサブ画像とは無関係に、前記画像の前記第1のサブ画像を復号するステップであって、
   （i）前記第1のサブ画像は前記画像の第1の長方形領域であり、前記第2のサブ画像は前記画像の第2の長方形領域であり、前記第2の長方形領域は前記第1の長方形領域とは異なり、
   （ii）前記第1のサブ画像は第1の複数のタイルを含み、前記第2のサブ画像は少なくとも1つのタイルを含み、
   （iii）前記第1のサブ画像及び前記第2のサブ画像は、共通のタイルを共有せず、
   （iv）前記第1のサブ画像の前記第1の複数のタイルは、少なくとも2つの第1のタイルグループに分類され、
   （v）前記第1のサブ画像が復号技術に従って復号され、前記少なくとも2つの第1のタイルグループ間の境界におけるループフィルタリング制御が、前記少なくとも2つの第1のタイルグループのそれぞれが長方形の場合にのみ許可される、ステップと、
   を含む、方法。
2. 前記サブ画像、タイルグループ、及びタイル分割を使用して、前記第1のサブ画像とは無関係に、前記画像の前記第2のサブ画像を復号するステップであって、
   前記第2のサブ画像の前記少なくとも1つのタイルが、第2の複数のタイルである、ステップをさらに含む、請求項1に記載の方法。
3. 前記第1のサブ画像を復号する前記ステップが、前記第2のサブ画像を復号する前記ステップとは異なるタイルスキャン順序で実行される、
   請求項2に記載の方法。
4. 前記第1のサブ画像を復号する前記ステップ、及び前記第2のサブ画像を復号する前記ステップが、前記サブ画像、タイルグループ、及びタイル分割を使用して実行され、
   前記第2のサブ画像の前記第2の複数のタイルは、少なくとも1つの第2のタイルグループに分類され、
   前記少なくとも2つの第1のタイルグループのタイルは、前記少なくとも1つの第2のタイルグループに1つも配置されない、
   請求項2又は3に記載の方法。
5. 前記少なくとも2つの第1のタイルグループのうちの1つが、非長方形のタイルグループである、請求項4に記載の方法。
6. 前記サブビットストリームを受信する前記ステップが、前記符号化映像ストリームを受信することを含み、前記符号化映像ストリームが、前記第1のサブ画像及び前記第2のサブ画像並びに第1のサブ画像識別子及び第2のサブ画像識別子を含む、前記画像のサブ画像を分割する方法についての情報を有する、シーケンスパラメータセット（SPS）を含む、
   請求項1から5のいずれか一項に記載の方法。
7. 受信した前記符号化映像ストリームが、前記第1のサブ画像の前記少なくとも1つのタイル、及び前記第2のサブ画像の前記少なくとも1つのタイルを含む、前記画像のタイルを分割する方法についての情報を有する、画像パラメータセット（PPS）を含む、
   請求項6に記載の方法。
8. 受信した前記符号化映像ストリームが、前記第1のサブ画像の適応ループフィルタ（ALF）係数を信号送信するアクティブパラメータセット（APS）を含む、
   請求項6又は7に記載の方法。
9. 請求項1から8のいずれか一項に記載の方法を実行するためのコンピュータプログラムコードを記憶しているメモリと、
   前記コンピュータプログラムコードによって命令された通りに動作するように構成された、少なくとも1つのプロセッサとを備えた
   復号器。
10. コンピュータプログラムであって、前記コンピュータプログラムは、少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
    請求項1から8のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

Images