JP2024059896A - 区分けされたイントラ符号化のコンセプト - Google Patents

Abstract

【課題】イントラ符号化の符号化効率を高める符号化及び復号装置を提供する。【解決手段】復号装置は、所定の変換ブロックについて所定の変換ブロックのサイズが所定の閾値サイズを超えるかどうかをチェックすることによって選択された変換を選択する手段と、所定の変換ブロックのサイズが所定の閾値サイズを超える場合に選択された変換を選択するためのデフォルトの方法を使用する手段と、所定の変換ブロックのサイズが所定の閾値サイズを超えない場合に所定の変換ブロックについてデータストリーム内で送信されたインデックスによって変換の所定のリストから指される変換を選択された変換として使用する手段と、を含む。【選択図】図１

Description

本出願は、たとえば、ハイブリッドビデオコーデックなどのブロックに基づくコーデックにおいて使用するためのイントラ符号化のコンセプトに関する。

特定のブロックが与えられたものとして、イントラ予測は、HEVCにおいては、特定のパターン、つまり、33個の角度モード(angular mode)ならびにDCモードおよび平面モード(planar mode)に従って近隣のブロックの復号された境界サンプルを外挿することによって実行される。そして、レート歪みコストを最小化する1つのイントラ予測モードが、デコーダにシグナリングされる。知られているコーデックが多くのイントラ予測モード(IPM)をサポートするにも関わらず、それらによって実現されるイントラ予測は、より高い符号化効率につながるより優れたイントラ予測子(predictor)を見つけるための開発の対象であり続けている。これは、HEVCだけでなく、イントラ予測を使用するその他のブロックに基づくコーデックにも関連する。ブロックの内側を効率的に符号化するのに好適であるイントラ予測モードのセットを見つけることは、より正確な予測子が予測残差を削減し、それによって、予測残差を符号化することに関連するシグナリングオーバーヘッドを削減するという事実があるので、シグナリングオーバーヘッドの観点で見たイントラ予測モードをシグナリングするためのオーバーヘッドと、これらのイントラ予測モードによって得られる予測子の結果的品質とを考慮に入れる必要がある。イントラ予測モードに関連するシグナリングオーバーヘッドを低く保つために、イントラ予測されるブロックは、大きくあるべきである、つまり、イントラ予測モードがシグナリングされる粒度は、粗く保たれるべきであるが、一方で、より大きなブロックの空間予測は、イントラ予測されるブロックの内側のサンプル、つまり、予測されるべきサンプルからこのブロックの近隣の既に復号された/符号化されたサンプル、つまり、参照サンプルまでのより長い平均サンプル距離が原因で正確さがより低くなる傾向がある。HEVCは、変換残差ブロック(transform residual block)がそれらの変換残差ブロックの対応する符号化ユニットのイントラ予測モードを継承することを可能にすることによってこのジレンマを軽減し、変換残差ブロックは、それらの対応する符号化ユニットに対して葉ブロックを形成し、符号化ユニットは、マルチツリー再分割(multi-tree subdivisioning)によってそれらの葉ブロックに再分割される。しかし、これは、変換ブロックへのそれぞれのイントラ符号化される符号化ユニットの再区分をエンコーダからデコーダにシグナリングするためのシグナリングオーバーヘッドをやはり必要とする。

したがって、イントラ符号化の符号化効率をさらに高める直ぐに使えるコンセプトを持つことが好ましい。

したがって、より効率的なイントラ符号化のためのコンセプトを提供することが、本発明の目的である。

この目的は、本出願の独立請求項の対象によって達成される。

本発明は、区画の数が2つ以上になるようにして所定のブロックを区画に区分けすることによって特定のイントラ符号化モードを使用してピクチャの特定のブロックがイントラ予測符号化されるイントラ予測符号化を使用するピクチャのブロックに基づく符号化に関する。区画は、再構築の目的で、特定のブロックに関してシグナリングされたイントラ予測符号化モードを使用する空間予測と、それに続いて、そうして得られた予測子を予測残差を使用して補正することとを順に経て、その結果、前の区画に関して、サンプルの再構築が、次の、そのとき最新の区画を処理するときにデコーダによって利用され得る。第1の態様によれば、所定のブロックの区画が処理される区画の順序が、少なくとも2つの異なる順序の中から選択される。明示的または暗黙的シグナリングのコンセプトが、エンコーダとデコーダと間で同期した選択を維持するために使用される可能性がある。したがって、選択は、1つの区画の順序が所定のブロックに当てはまる一方で、区分けされたイントラ予測のコンセプトを使用してやはり符号化され、同じサイズおよび形状であり、同じ方法で区画に区分けされる別のブロックに別の順序が当てはまる可能性があることを可能にする。エンコーダのための区画処理順序を選択する際の自由、または区画処理順序をサイズ、形状、および区分け以外のパラメータに依存させることは、区分けされたイントラ予測モードの効果を高めるのに効果的である。

前の態様と組み合わされる可能性があり、または前の態様なしに使用される可能性がある本発明のさらなる態様によれば、区分けは、区画が所定の次元と垂直に所定のブロックと同じ幅になるように1つの次元に沿って行われるが、所定の次元に沿って測定される区画の幅は、少なくとも2つの異なる幅の設定またはオプションの中から選択される。明示的または暗黙的シグナリングのコンセプトが、エンコーダとデコーダと間で同期した選択を維持するために使用される可能性がある。したがって、選択は、区分けが同じサイズおよび形状のブロックの間で変えられる可能性がある一方、この変化に関連するオーバーヘッドがある程度低く保たれることを可能にする。選択は、たとえば、所定のブロックのためのイントラ符号化モードが角度モードであるか否かに応じてなど、所定のブロックのためのイントラ符号化モードに応じて行われる可能性がある。選択は、少なくとも2つの異なる幅の設定のうちの1つを指示する所定のブロックに関するデータストリーム内のインデックスに依存させられる可能性もある。区画は、区分けの次元に沿って1つまたは複数のサンプルの幅である可能性がある。1ブロック内で、区分けの/所定の方向に沿った区画の幅は、変わる可能性がある。1つの区画が、1サンプル幅である可能性があり、つまり、1次元のストライプ(stripe)である一方、別の区画は、2サンプル以上の幅であり、サンプルの2次元の領域(field)である。区分けに関連するシグナリングオーバーヘッドは、止めさせられる可能性があり、または低く保たれる可能性がある。したがって、区分けは、イントラ予測モードがデータストリーム内でシグナリングされる所定のブロックのシグナリングオーバーヘッドを全体として低く保ち、それにもかかわらず、所定のブロックのサンプルのそれらの既に再構築された/符号化された近隣の参照サンプルからの平均距離を短くする機会をエンコーダおよびデコーダに与えることを可能にする。後者は、少なくとも部分的に所定のブロック自体の中、つまり、それらがある区画のために使用される予測子の補正のために利用可能になるように予測残差が既に決定された既に処理された区画の中にある。

前の態様のいずれかと組み合わされるかまたは後者なしに使用される可能性がある本発明のさらなる態様によれば、所定のブロックの区画を順に再構築する前にすべての区画に関してデータストリームから復号された予測残差を有することによって、デコーダの動作が、実装の観点でより効果的にされる。

また、前の態様のいずれかと組み合わされるかまたは後者なしに使用される可能性がある本発明のさらなる態様によれば、現在の区画に関する予測子を導出する際に、現在の区画の近隣の1つまたは複数の既に再構築されたサンプルのうちの、所定の区画の順序に従って現在の区画に先立つ区画の再構築されたサンプルをまだクリッピングされていない状態で使用し、再構築されたサンプルをまだクリッピングされていない状態から許容されるサンプル値の範囲にクリッピングされた状態にクリッピングして所定のブロックを最終的に再構築することによって、デコーダの動作が、実装の観点でより効果的にされ、つまり、エンコーダ側で、クリッピングは、デコーダとの参照の同期を維持するためにその後符号化されるブロックのための予測の参照として機能するためのそのようなサンプルの再構築されたバージョンを得るために実行されるに過ぎない。

本発明の有利な態様が、独立請求項の対象である。本出願の好ましい実施形態が、図に関連して下で説明される。

本出願の実施形態によるイントラ予測のコンセプトが実装される可能性があるエンコーダに関する例としてピクチャを予測符号化するための装置のブロック図を示す図である。 本出願の実施形態によるイントラ予測のコンセプトが実装される可能性があるデコーダに関する例として、図1の装置に合うピクチャを予測復号するための装置のブロック図を示す図である。 それぞれ、符号化モードの選択、変換の選択、および変換の実行のための再分割の設定の可能性を示すために予測残差信号と、予測信号と、再構築された信号との間の関係の例を示す概略図である。 異なる区分けの次元、つまり、水平分割と垂直分割との間の選択を可能にする実施形態によるイントラ符号化されるブロックの区分け処理を示す概略図である。 区分けのオプションに従って処理されるイントラ符合されるブロックの区画の順番に行われる処理を示す概略図である。 区画のための埋めるプロセスの予測される導出を示す概略図である。 区画の順序の決定をイントラ予測されるブロックに関連するイントラ予測モードに依存させる可能性を示すために、それぞれ水平分割モードおよび垂直分割モードによって分割され、それぞれそれらに関連する2つの異なるイントラ予測モードを 有する区分けされるイントラ予測されるブロックに関する例を示す図である。 区分けのオプションを使用して処理されるイントラ予測されるブロック80のために費やされる可能な信号伝達を示す概略図である。 実施形態による区画の予測残差を送信する可能な方法を示す概略図である。 イントラ予測モードの区分けが通常のイントラ予測モードのいずれよりも良くならないことが明らかであるときにテストを中止することが可能であるためのイントラ予測モードの区分けに関連する符号化コストに関する部分和の決定を示す概略図である。 実施形態による区画のモードのテストを実行するためのエンコーダのモードまたは動作の流れ図である。 さらなる実施形態としてイントラ符合されるブロックの代替的な区分けに関する例を示す図である。 さらなる実施形態としてイントラ符合されるブロックの代替的な区分けに関する例を示す図である。

図の以下の説明は、イントラ予測コーデックに関する実施形態が組み込まれる可能性がある符号化フレームワークに関する例を形成するために、動画のピクチャを符号化するためのブロックに基づく予測コーデックのエンコーダおよびデコーダの説明の提示から始まる。前のエンコーダおよびデコーダが、図1から図3に関連して説明される。以下、本出願のイントラ予測のコンセプトの実施形態の説明は、そのようなコンセプトが図1および図2のエンコーダおよびデコーダにそれぞれどのようにして組み込まれる可能性があるかについての説明と一緒に提示されるが、続く図4以降を用いて説明される実施形態は、図1および図2のエンコーダおよびデコーダの基礎となる符号化フレームワークによって動作しないエンコーダおよびデコーダを形成するために使用される可能性もある。

図1は、変換に基づく残差符号化を例示的に使用してピクチャ12をデータストリーム14に予測的に符号化するための装置を示す。装置またはエンコーダは、参照符号10を使用して示される。図2は、対応するデコーダ20、すなわち、やはり変換に基づく残差復号を使用してデータストリーム14からピクチャ12'を予測的に復号するように構成された装置20を示し、アポストロフィは、デコーダ20によって再構築されたピクチャ12'が、予測残差信号の量子化によって引き起こされる符号化損失の点から見て装置10によってもともと符号化されたピクチャ12からずれることを示すために使用された。図1および図2は、変換に基づく予測残差符号化を例示的に使用するが、本出願の実施形態は、この種の予測残差符号化に限定されない。これは、以降で概説されるように、図1および図2に関連して説明されるその他の詳細にも当てはまる。

エンコーダ10は、予測残差信号を空間-スペクトル変換にかけ、そうして得られた予測残差信号をデータストリーム14に符号化するように構成される。同様に、デコーダ20は、データストリーム14から予測残差信号を復号し、そうして得られた予測残差信号をスペクトル-空間変換にかけるように構成される。

内部的に、エンコーダ10は、元の信号、つまり、ピクチャ12からの予測信号26のずれを測定するために予測残差24を生成する予測残差信号形成器22を含む可能性がある。予測残差信号形成器22は、たとえば、元の信号、つまり、ピクチャ12から予測信号を差し引く減算器である可能性がある。そのとき、エンコーダ10は、予測残差信号24を空間-スペクトル変換にかけてスペクトル領域の予測残差信号24'を得る変換器28をさらに含み、スペクトル領域の予測残差信号24'は、それから、やはりエンコーダ10に含まれる量子化器32による量子化を受ける。そうして量子化された予測残差信号24''が、ビットストリーム14に符号化される。この目的で、エンコーダ10は、任意で、変換され、量子化された予測残差信号をデータストリーム14にエントロピー符号化するエントロピーコーダ34を含む可能性がある。予測信号26が、データストリーム14に符号化され、データストリーム14から復号可能な予測残差信号24''に基づいてエンコーダ10の予測段階36によって生成される。この目的で、予測段階36は、図1に示されるように内部に、量子化損失を除いて信号24'に対応するスペクトル領域の予測残差信号24'''を得るために予測残差信号24''を逆量子化する逆量子化器38と、それに続く、量子化損失を除いて元の予測残差信号24に対応する予測残差信号24''''を得るために後の予測残差信号24'''を逆変換、つまり、スペクトル-空間変換にかける逆変換器40とを含む可能性がある。そして、予測段階36の合成器42が、再構築された信号46、つまり、元の信号12の再構築を得るために予測信号26と予測残差信号24''''とを加算によるなどして再合成する。再構築された信号46は、信号12'に対応する可能性がある。それから、予測段階36の予測モジュール44が、たとえば、空間予測、つまり、イントラ予測および/または時間予測、つまり、インター予測を使用することによって信号46に基づいて予測信号26を生成する。

同様に、デコーダ20は、内部的に、予測段階36に対応し、予測段階36に対応する方法で相互に接続された構成要素から構成される可能性がある。特に、デコーダ20のエントロピーデコーダ50は、データストリームから量子化されたスペクトル領域の予測残差信号24''をエントロピー復号する可能性があり、すると、予測段階36のモジュールに関連して上で説明された方法で相互に接続され、協力する逆量子化器52、逆変換器54、合成器56、および予測モジュール58が、予測残差信号24''に基づいて再構築された信号を復元し、その結果、図２に示されるように、合成器56の出力が、再構築された信号、つまり、ピクチャ12'をもたらす。

上で特に説明されていないが、エンコーダ10が、たとえば、何らかのレートおよび歪みの基準、つまり、符号化コストを最適化するようになど何らかの最適化方式によって、たとえば、予測モード、モーションパラメータなどを含むいくつかの符号化パラメータを設定する可能性があることは、極めて明らかである。たとえば、エンコーダ10およびデコーダ20ならびに対応するモジュール44、58は、それぞれ、イントラ符号化およびインター符号化などの異なる予測モードをサポートする可能性がある。エンコーダおよびデコーダがこれらの予測モードのタイプを切り替える粒度は、それぞれ符号化セグメントまたは符号化ブロックへのピクチャ12および12'の再分割に対応する可能性がある。これらの符号化セグメントの単位で、たとえば、ピクチャは、イントラ符号化されるブロックおよびインター符号化されるブロックに再分割される可能性がある。イントラ符号化されるブロックは、下でより詳細に概説されるようにそれぞれのブロックの空間的な既に符号化された/復号された近隣に基づいて予測される。方向性または角度イントラ予測モードを含むいくつかのイントラ符号化モードが存在し、それぞれのイントラ符号化されるセグメントのために選択される可能性があり、方向性または角度イントラ予測モードによれば、それぞれのセグメントが、それぞれの方向性イントラ符号化モードに固有である特定の方向に沿った近隣のサンプル値をそれぞれのイントラ符号化されるセグメントに外挿することによって満たされる。イントラ符号化モードは、たとえば、それぞれのイントラ符号化されるブロックに関する予測がそれぞれのイントラ符号化されるセグメント内のすべてのサンプルにDC値を割り振るDC符号化モード、ならびに/またはそれぞれのブロックの予測が近隣のサンプルに基づいて2次元線形関数によって定義される平面の傾きおよびオフセットを操作することによってそれぞれのイントラ符号化されるブロックのサンプル位置上で2次元線形関数によって示されるサンプル値の空間分布であるものと近似もしくは決定される空間イントラ符号化モードなどの1つまたは複数のさらなるモードも含む可能性がある。それらに比べると、インター符号化されるブロックは、たとえば、時間的に予測される可能性がある。インター符号化されるブロックに関しては、モーションベクトルが、データストリーム内でシグナリングされる可能性があり、モーションベクトルは、それぞれのインター符号化されるブロックに関する予測信号を得るために既に符号化された/復号されたピクチャがサンプリングされる、ピクチャ12が属するビデオの既に符号化されたピクチャの部分の空間的変位を示す。これは、量子化されたスペクトル領域の予測残差信号24''を表すエントロピー符号化された変換係数のレベルなどの、データストリーム14によって含まれる残差信号符号化に加えて、データストリーム14が、符号化モードを様々なブロックに割り振るための符号化モードパラメータと、インター符号化されるセグメントに関するモーションパラメータなどのブロックの一部に関する予測パラメータと、それぞれセグメントへのピクチャ12および12'の再分割を制御し、シグナリングするパラメータなどの任意のさらなるパラメータとをそのストリーム内に符号化する可能性があることを意味する。デコーダ20は、これらのパラメータを使用して、エンコーダがしたのと同じようにしてピクチャを再分割し、セグメントに同じ予測モードを割り振り、同じ予測信号をもたらす同じ予測を実行する。

図3は、一方の再構築された信号、つまり、再構築されたピクチャ12'と、他方のデータストリームでシグナリングされた予測残差信号24''''と予測信号26との合成との間の関係を示す。上で既に示されたように、合成は、加算である可能性がある。予測信号26は、図3に、説明のために斜線を使用して示されるイントラ符号化されるブロックおよび説明のために斜線なしで示されるインター符号化されるブロックへのピクチャエリアの再分割として示される。再分割は、ブロックの行および列もしくはブロックへのピクチャエリアの規則的な再分割、またはブロックへの四分木再分割などの様々なサイズの葉ブロックへのピクチャ12のマルチツリー再分割などの任意の再分割である可能性があり、これらの混合が、図3に示され、図3において、ピクチャエリアは、まず木の根ブロックの行および列に再分割され、それらが、それからさらにマルチツリー再分割によって再分割される。やはり、データストリーム14は、イントラ符号化されるブロック80に関してイントラ符号化モードをそのストリーム内に符号化する可能性があり、これは、それぞれのイントラ符号化されるブロック80にいくつかのサポートされるイントラ符号化モードのうちの1つを割り振る。さらなる詳細が、下で説明される。インター符号化されるブロック82に関して、データストリーム14は、1つまたは複数のモーションパラメータをそのストリーム内に符号化する可能性がある。概して、インター符号化されるブロック82は、時間的に符号化されることに限定されない。代替的に、インター符号化されるブロック82は、ピクチャ12が属するビデオの既に符号化されたピクチャ、またはエンコーダおよびデコーダがそれぞれスケーラブルなエンコーダおよびデコーダである場合は別の視野または階層的により下のレイヤのピクチャなどの現在のピクチャ12自体の外の既に符号化された部分から予測された任意のブロックである可能性がある。図3の予測残差信号24''''も、ブロック84へのピクチャエリアの再分割として示される。これらのブロックは、これらのブロックを符号化ブロック80および82と区別するために変換ブロックと呼ばれる可能性がある。実際、図3は、エンコーダ10およびデコーダ20が、それぞれブロックへのピクチャ12およびピクチャ12'の2つの異なる再分割、つまり、それぞれ符号化ブロック80および82への1つの再分割と、ブロック84への別の再分割とを使用する可能性があることを示す。両方の再分割は、同じである可能性があり、つまり、各符号化ブロック80および82が、同時に変換ブロック84を形成する可能性があるが、図3は、たとえば、ブロック80および82の2つのブロックの間の任意の境界が2つのブロック84の間の境界を覆うか、または言い換えると、各ブロック80/82が変換ブロック84のうちの1つと一致するかもしくは変換ブロック84の一団と一致するかのどちらかになるように、変換ブロック84への再分割が符号化ブロック80/82への再分割の拡張を形成する場合を示す。しかし、再分割は、互いに独立して決定または選択される可能性もあり、したがって、変換ブロック84は、代替的に、ブロック80/82の間のブロックの境界をまたぐ可能性がある。変換ブロック84への再分割に関する限り、したがって、ブロック80/82への再分割に関連して挙げられたのと同様のことが当てはまり、つまり、ブロック84は、行および列に配列されたブロック/ブロックへのピクチャエリアの規則的な再分割の結果、ピクチャエリアの反復的なマルチツリー再分割の結果、またはこれらの組合せ、または任意のその他のタイプのブロック分割である可能性がある。単に余談として、ブロック80、82、および84は正方形、長方形、またはいかなるその他の形状であることにも限定されないことが留意される。

図3は、予測信号26と予測残差信号24''''との合成が直ちに再構築された信号12'をもたらすことを示す。しかし、代替的な実施形態によれば、2つ以上の予測信号26が予測残差信号24''''と組み合わされてピクチャ12'をもたらす可能性があることに留意されたい。

図3において、変換セグメント84は、以下の意義を持つ。変換器28および逆変換器54が、これらの変換セグメント84単位にそれらの変換を実行する。たとえば、多くのコーデックは、すべての変換ブロック84のために何らかのタイプのDSTまたはDCTを使用する。一部のコーデックは、変換セグメント84の一部に関して予測残差信号が空間領域で直接符号化されるように変換をスキップすることを可能にする。しかし、下で説明される実施形態によれば、エンコーダ10およびデコーダ20は、それらがいくつかの変換をサポートするようにして構成される。たとえば、エンコーダ10およびデコーダ20によってサポートされる変換は、以下を含む可能性がある。
・DCT-II (またはDCT-III)、DCTは離散コサイン変換を表す
・DST-IV、DSTは離散サイン変換を表す
・DCT-IV
・DST-VII
・恒等変換(IT)

当然、変換器28がこれらの変換の順方向変換のバージョンのすべてをサポートする一方、デコーダ20または逆変換器54は、それらの対応する後ろ向きのまたは逆方向のバージョン、すなわち、以下をサポートする。
・逆DCT-II (または逆DCT-III)
・逆DST-IV
・逆DCT-IV
・逆DST-VII
・恒等変換(IT)

以降の説明は、どの変換がエンコーダ10およびデコーダ20によってサポートされる可能性があるかに関してさらに詳細を示す。どんな場合も、サポートされる変換のセットは、1つのスペクトル-空間または空間-スペクトル変換などの1つの変換を含むだけである可能性があることに留意されたい。

上で既に概説されたように、図1～図3は、本出願によるエンコーダおよびデコーダに関する特定の例を形成するために下でさらに説明されるイントラ予測のコンセプトが実施される可能性がある例として提示された。図1および図2のエンコーダおよびデコーダは、それぞれ、本明細書において下で説明されるエンコーダおよびデコーダの可能な実装を示す。下でより詳細に述べられるように、本出願によるイントラ予測に関する後で説明される実施形態を図1および図2のエンコーダおよびデコーダに組み込むとき、図1のエンコーダおよび図2のデコーダは、少なくとも、1つのオプションとして、下でより詳細に述べられるようにしてイントラ予測されるブロック80を処理することをサポートする。したがって、以降で説明される実施形態は、下でより詳細に述べられるようにしてイントラ符号化されるブロック80を処理する図1のエンコーダ10と等価なエンコーダに言及し、それらの実施形態は、図2のデコーダに対して当てはまり、したがって、図2のデコーダは、イントラ符号化されるブロックが下でより詳細に述べられるようにして処理される実施形態によるデコーダの例を示す。しかし、図1および図2は、特定の例であるに過ぎない。しかし、本出願の実施形態によるエンコーダは、下でより詳細に述べられるコンセプトを使用してピクチャ12のブロックに基づくエンコーダを実行する可能性があり、たとえば、このエンコーダがビデオエンコーダでない、このエンコーダがインター予測をサポートしない、またはブロック80への再分割が図3に例示されたのとは異なる方法で実行される、またはさらにはこのエンコーダが変換予測残差符号化を使用せず、たとえば、代わりに直接空間領域において予測残差を符号化するなどの点で図1のエンコーダと異なる可能性がある。同様に、本出願の実施形態によるデコーダは、下でさらに述べられるイントラ予測符号化のコンセプトを使用してデータストリーム14からのピクチャ12'のブロックに基づく復号を実行する可能性があるが、たとえば、このデコーダがビデオデコーダではなく静止画デコーダである、このデコーダがイントラ予測をサポートしない、またはこのデコーダが図3に関連して説明されたのとは異なる方法でピクチャ12'をブロックに再分割する、および/またはこのデコーダが、変換領域においてデータストリーム14から予測残差を導出せず、たとえば、空間領域において導出するなどの点で図2のデコーダ20と異なる可能性がある。

そうは言っても、以下の説明は、本出願の実施形態によるイントラ予測の説明に焦点を合わせる。本明細書において提示されるイントラ予測によれば、図4のブロック80などのイントラ予測されるブロックは、区画に分割されることを可能にされる。一部の実施形態によれば、これらの区画は、固定的に1次元の水平な区画または1次元の垂直な区画であるが、本明細書において何度か述べられるように、この状況は、例であると理解され、例は、区画がより幅広であるか、または区分けが特定の区分けの方向/次元に沿ってブロックを区分けするのではなく、たとえば、さらに個々に区画に区分けされる区画の列を最初に定義するマルチツリー区分けまたは何か他の区分けを使用して動作する区分けを含む、任意のその他の方法での1および/または2次元の区画への区分けを実行する別の性質のものでさえあるかのどちらかである代替的な実施形態にたどり着くように変更される可能性がある。下で説明されるようにブロックを処理することの可用性は、任意のサイズのイントラ予測されるブロック80のために提供されるか、または特定のサイズよりも大きいブロックなど、ブロックサイズの予め定義された範囲内のブロック80に制限される可能性がある。区画に関連する「1次元の」は、区画が単に区画の次元に沿って1サンプルの幅であるという事実を指し、一方、区分けに関連する「1次元の」または「1Dの」は、それによって区分けの方向と垂直な方向に完全なブロック上に延びる区画/ストライプを生じる、1つの方向に沿った区画へのブロックの区分けを指す。

たとえば、図4を参照されたい。図4は、イントラ予測されるブロック80、つまり、復号されるブロックまたは符号化されるブロックを左側に示す。イントラ予測されるブロック80は、大きさW×Hを有する。つまり、イントラ予測されるブロック80は、大きさW×Hのブロックであり、それぞれ、Hは、サンプル数で測定されたブロック80の高さであり、Wは、サンプル数で測定されたブロック80の幅である。図4によれば、利用可能な2つの分割または区分けのオプション、すなわち、ブロック80が垂直軸、すなわち、区画の次元104に沿っていくつかの区画1021、1022、1023、および1024に分割または区分けされる水平分割100が存在する。以下の説明において適用される例である図4の例によれば、各パーティション1021から1024は、両矢印106によって示されるように1サンプル幅であり、したがって、ブロック80から生じる区画1021から1024の数は、H、すなわち、ブロック80のサンプル108を単位としたブロック80の高さに等しいが、たとえば、次元104に沿ったブロック80の区分けが、区画の次元に沿ったブロック80のサイズを予め定義された数の区画に均等に分散させることによって、たとえば3以上である予め定義された数の区画102iをもたらす方法またはこれらの混合で行われる可能性があるなど、区分けが、エンコーダとデコーダとの間で合意された異なる方法によってエンコーダおよびデコーダにより実行される可能性もあることは明らかであるに違いない。また、さらなる実施形態によれば、結果として得られる区画が区分けの方向を横切る方向にブロック上を全体に延びるストライプ状になるようにして区分けが1つの特定の方向に沿って行われるという点での区分け自体の1次元の性質さえも、下で広くFIPSと呼ばれる別の区分けのコンセプトをもたらすように変更される可能性がある。

図4に図示され、参照符号110によって示されるその他の符号化オプションは、ブロック80を垂直な区画1121、1122、…、1128に分割することに対応する。つまり、オプション110によれば、ブロック80が、水平軸、すなわち、水平方向の区画の次元104に沿って区画112iに区分けされる。オプション100の場合、各区画102iが、ブロック80と同じ幅であり、つまり、ブロックの幅Wを有する一方、区画112iは、ブロック80の高さHを採用し、つまり、高さHを有する。かいつまんで言うと、オプション100の説明と同様にして、垂直分割110は、ブロック80をW個の区画112iに分割する可能性があり、Wは、サンプル108の数で測定されたブロック80の水平方向の幅を表し、したがって、各区画112iは、水平方向に1サンプルの幅であるが、しかし、オプション110による区分けは、エンコーダとデコーダとの間で合意された別の方法で実行される可能性がある。

したがって、図4によれば、エンコーダは、ブロック80を水平分割オプション100に従ってH個のW×1の区画102iにまたは垂直分割オプション110に従ってW個の1×Hの区画112iに自由に区分けすることができ、ブロック80のためにエンコーダによって選択された分割オプションが、たとえば、データストリーム14内の対応する区画次元フラグ114によるなどしてデータストリーム14内でシグナリングされる可能性がある。しかし、本出願の実施形態が、データストリーム内のフラグ114を必要とすることなく単にデフォルトでオプション100および110のうちの1つを使用するエンコーダおよびデコーダも包含することは明らかであるに違いない。さらに、フラグ114は、その他の例においては、エンコーダからデコーダにブロック80に関してデータストリーム14内でシグナリングされるイントラ符号化モード116に応じてデータストリーム14内で運ばれる可能性がある。イントラ符号化モードは、上で概説されたように、たとえば、角度モードおよび任意でDCモードまたは平面モードなどの1つまたは複数の非角度モードを含む利用可能な/サポートされるイントラ符号化モードのセットのうちの1つを示す可能性がある。つまり、フラグ114は、以降でさらに検討されない代替的な実施形態によれば、条件付きでイントラ符号化モード116に依存するようにしてデータストリーム14内で運ばれる可能性がある。以降で説明される実施形態によれば、フラグ114は、データストリーム14内でブロック80に関してシグナリングされるイントラ符号化モード116とは独立してブロック80に関してデータストリーム14内に存在する。しかし、たった今検討されたイントラ符号化されるブロック80の区分けの処理と、以降で概説されるようにブロック80のイントラ符号化を処理する異なる方法との間のフラグの切り替えに関連して、依存関係が存在する可能性がある。

本出願の実施形態によれば、区画102/112の各々が、このようにして区画を順に処理することによって個々に予測され、変換され、量子化され、符号化される。したがって、特定の区画の再構築されたサンプルが、ブロック80が区分けされた区画の中で区画の順序でいずれかの次の区画102/112を予測するために使用されることが可能であり、このようにして、イントラ予測のプロセスが、ブロック80が区分けされた区画102/112を巡回する。図5は、オプション100に従って分割されたイントラ予測されるブロック80を例示的に示す。ブロック80の各区画1021から1024は、予測、つまり、それぞれの区画102iの予測子の導出と、予測残差に関連するタスク、つまり、予測残差を使用する予測子の補正とを経る。後者のタスクは、予測残差と予測子とを合成することによって実行される可能性がある。これは、再構築のためにデコーダにおいて行われる。エンコーダは、つまりはエンコーダの復号されたピクチャバッファをピクチャの再構築によって満たすことによって予測ループをデコーダと同期されたままに保つために、予測残差に関連するタスクとして、たとえば、変換および量子化を含む予測残差の決定と、予測残差を使用する予測子の補正とを実行する。今述べたタスク、つまり、予測および残差の処理は、区画1021から1024に関して個々におよび順に実行される。現在処理されている区画に関するそれらの2つのステップの後、区画の順序に従って次の区画102iが、同じようにして処理される。区画の順序は、図5において3つの矢印126を使用して例示的に示される。

図5は、ブロック80の一番上の左のピクセルを含む区画が、図5の区画1021から1024へのインデックスの割り振りに対応して直下の隣の区画1022に進むなどする前に最初に処理されることを示すが、この順序は、例であるに過ぎず、以下の説明が明らかにするように、この区画の順序は、イントラ符号化モードおよび/またはブロック80のサイズなどのその他の設定に依存するようにして選択される可能性があり、前者の依存関係が、以降で検討される。

下でさらに検討される例において、区画の順序126は、区画の順序が、それぞれ、分割タイプ100の場合、上から下にまたは下から上に進み、区画タイプ110の場合、左から右または右から左に進むように直ぐ後に続く区画が互いに直接隣接するようにして区画102/112をたどっていく区画の順序の間で変わるだけである。しかし、その他の例も考えられることが、述べられるべきである。たとえば、区画の順序は、今概説された順序で2回のスキャンでスキャンされるようにして選択される可能性があり、1回目のスキャンで、何が適用されるにせよ、上から下、下から上、左から右、または右から左に1区画おきに処理し、それから、順序の同じ方向にまたは反対方向にそれらの区画の間の残りの区画を処理する。

いずれの場合も、図5は、最初に処理される、現在処理されている区画となる第1の区画1021を示す。第1の区画、ここでは例示的に1021、に関して、ブロック80の第1の区画を処理するときにはブロック80のサンプルがまだ処理されていない、つまり、再構築または符号化されていないので、区画1021に関する予測子を形成するために使用される近隣のサンプルのセット1181は、単に、ブロック80の境界の外にあるサンプルに基づいて選択される可能性がある。つまり、セット1181のサンプルは、任意の予測およびデータストリーム内で送信される予測残差を使用した対応する予測子の補正を用いてエンコーダにおいて既に再構築されている。それらのサンプルは、既に符号化された/復号されたピクチャブロックに属し、インター符号化されたまたはイントラ符号化されたまたは任意のその他の符号化をされたブロックである可能性がある。第1の区画1021の予測子を形成するために使用される近隣のサンプルのセット1181のサンプルの数および厳密な位置に関して、それらは、ブロック80に割り振られたイントラ符号化モードに依存する。このイントラ符号化モードは、以下で検討されるように、ブロック80のあらゆる区画の処理のために一緒にまたは等しく使用される。第1の区画1021の処理を終えるために、セット1181の1つまたは複数の既に再構築された/符号化されたサンプルに応じてこの区画1021を埋めることによってデコーダおよびエンコーダにおいて導出されたこの区画1021に関する予測子に関して、その予測子の予測残差が、エンコーダに関する限り、つまり、上で概説されたように変換および量子化によって決定され、それから、この予測残差が、--データストリーム内で送信される、つまり、量子化損失を含むバージョンでは--データストリーム14内の予測残差を使用して予測子を補正することによるこの区画1021の再構築のために使用される。図5は、たとえば、例示的に1201に区画1021に関する予測残差を示す。つまり、1201は、区画1021の予測残差の変換に対応する変換係数を含み、データ1201の記述は、下でより詳細に検討される。

ここで区画の順序で次の区画、つまり、図5の例においては区画1022に目を向ける。区画1022に関する予測子を導出するために使用される近隣の既に再構築された/符号化されたサンプルのセットが今やブロック80の外にあるサンプルおよび/またはブロック80内のサンプル、つまり、任意の既に処理された区画、ここでは現在、図5の例の区画1021内にあるサンプルから構成される可能性がある限りにおいて状況は変化しており、これらのサンプルに関して、予測残差は、既に決定されており、データストリーム14内で既に利用可能である。つまり、エンコーダおよびデコーダは、この区画1022に関する予測子を導出し、その後に、エンコーダにおける予測残差の決定と、それぞれエンコーダおよびデコーダにおける予測子の補正のための予測残差の使用とが続く。それから、このプロセスは、並びの次の区画、つまり、区画の順序で次の区画を用いて続けられ、それによって、ブロック80のすべての区画を順に処理する。

上述のように、区画の順序126は、間を置かずに連続する区画が直ぐ隣の区画になるように区画をたどっていくのとは別の方法で選択されることが可能である可能性がある。つまり、区画の順序は、ある区画から次の区画に飛ぶ可能性がある。これは、それぞれの区分け102iを埋めることによってそれぞれの予測子を導出するために使用される近隣のサンプルのセット118iが、図5に示されるそれぞれの区画の直ぐ隣のサンプルに限定されないことを示唆する。これは、区画の順序126の始まりの選択にも関連する。たとえば、区画1024が区画の順序で第1の区画であるものと仮定する。そのとき、その区画の予測子は、ブロック80の左および上の、ブロック80の外周に平行してあるサンプルを集める図5に示されていない近隣のサンプルのセット1184に応じてその区画を埋めることによって導出される可能性がある。セット1184のサンプルの一部は、区画1024と直接隣り合わない。ところで、これは、ブロック80を通常のイントラ予測で埋める際に最後のサンプルの行をまとめて埋める状況に対応する。今述べた可能性は、任意のその後処理される区画、つまり、区画の順序で第2の区画以降の区画に関しても当てはまる。つまり、それらの近隣のサンプルのセット118iも、それぞれの区画102iに直接隣接しないサンプルを含む可能性がある。またさらに、連続した区画が互いに直接隣り合うようにして区画をたどっていくように区画の順序を限定しない場合、任意の第2のまたは後続の処理される区画102iの参照サンプルのセット118iは、それぞれの区画102iの左および上にあるサンプルを集めるだけではない可能性があり、ブロック80のいずれかの区画が区画の順序に従って区画1021よりも前に処理されたかどうかに応じてそれぞれの区画1021よりも下にあるサンプルである可能性もある。つまり、セット180iは、区画102iの2つ以上の側方にあるサンプルを含む可能性がある。

かいつまんで言うと、図5は、ここでは例示的に水平な区画に関連してブロック80の区画102/112の逐次的な処理を示すが、この説明は、垂直な区画112iに関連する垂直モード110にも当てはまる。各区画102iに関して、対応する予測残差120iが、データストリーム14に含まれる。データ1201から1204までは、ブロック80に関する予測残差、つまり120を一緒に形成する。変換残差符号化は、本出願の代替的な実施形態によれば使用されない可能性があり、つまり、ブロック80の予測残差120は、たとえば、直接空間領域においてデータストリーム14内でシグナリングされる可能性がある。この場合、様々な区画1021から1024に関するデータ1201から1204は、各データ部分120iがそれぞれの区画102iの特定の変換に関するシグナリングを表す図5に示されるようにデータストリーム14内に区画毎のフィールドを含まない可能性がある。むしろ、ブロック80に関する予測残差120は、その場合、データ14の1つのフィールドを形成する可能性がある。デコーダは、特定の区画102iを処理するとき、この代替的な実施形態においては、フィールド120からこの区画102iに関する予測残差についての情報を収集する。この手順は、量子化が空間領域において行われる可能性があるように変換の完全可逆バージョンを使用するときにも適用される可能性がある。

したがって、図5は、エンコーダおよびデコーダにおいて、各区画102iに関して2つのタスク、すなわち、1) それぞれの区画1021に関する予測または予測子、つまり、それぞれの区画102iの各サンプルに関する予測されたサンプル値を生じる予測導出タスク122と、2) 後で行われる予測残差に関連するタスク、つまり、データストリーム14に予測残差を入れるための予測残差の量子化を含むエンコーダにおける予測残差の導出、ならびにこの区画102iに関する再構築されたサンプルを得るために予測残差および予測子を合成するかまたは補正することによるそれぞれの区画102iのサンプルの再構築とが実行されることを示した。後者の再構築されたサンプルは、予測導出タスクのための、区画の順序126で次に続くその後処理される区画102jの近隣のサンプルのセット118jのための蓄積として機能する可能性がある。

本出願の実施形態の詳細のさらなる説明を始める前に、図6は、現在処理されている区画102iを満たすことによる予測の導出のプロセス122を示し、水平な区画102の図解が単に説明のために選択されたこと、および同じ説明が垂直な区画112にも関連することを思い出されたい。図6は、現在処理されている区画102iと、既に再構築された/符号化された近隣のサンプルのその区画の対応するセット118iとを示す。図5に関連して上で述べられたように、セット118iは、区画102iに直接隣り合うまたは近接するサンプル128に限定されない可能性がある。しかし、区分けのおかげで、区画102iのサンプルとセット118iのサンプル128との間の平均距離130は、ブロック80のすべてのサンプルで平均されるとき、たとえば、H.264またはHEVCから知られるようにブロック80のイントラ予測を実行するのと比べてより短い。図5に関連して説明されたように、予測子の導出または埋めること122は、ブロック80に関連するイントラ予測モードを使用して各区画102iに関して実行され、このモードが、利用可能なイントラ予測モードのセットのうちの1つを示す。このセットは、角度または方向132が互いに異なる角度または方向性モードを含む可能性があり、角度または方向132に沿って、近隣のサンプルのセット118iのサンプルの内容が、区画102iのサンプル134にコピーされる。このコピーを実行するために、区画102iの各サンプル134の予測が、サンプル134に対して方向132の反対向きの方向にあるセット118iのいくつかの近隣のサンプル134に基づいて導出される可能性がある。近隣のサンプル134の数は、たとえば、サンプルのセット118iのサンプル128の間のペル間位置(inter-pel position)を導出するために使用される補間フィルタのカーネルによって定義される。図6は、たとえば、セット118iの3つのサンプル128が現在処理されている区画102iの1つのサンプル134の予測を計算するために使用されることを示す。比較的短い平均距離130のおかげで、区画102iのサンプル134毎の参照サンプル134の数は、少なく保たれる可能性がある。さらなる詳細が、以降で提示される。しかし、完全性のために、利用可能なイントラ予測モードのセットは、近隣のサンプルのセット118iに対して平均を実行することによって1つのDC値を導出することによって区画102iのすべてのサンプル134にこのDC値が割り振られるDCモードも含む可能性があることに留意されたい。さらに、平面モードが存在する可能性があり、平面モードによれば、サンプル134に関する予測値が、近隣のサンプル118iに基づいて線形関数の勾配およびオフセットを導出することによって区画102i内のサンプル位置上でこの線形関数によって定義される。さらに、近隣のセット118iは、ブロック80のために選択されたイントラ予測モードに応じて異なる可能性があり、たとえば、角度モードと非角度モードのDC/平面との間で特に異なる可能性があることに留意されたい。

たとえば、最新のJEMデコーダには、利用可能な67個のイントラ予測モードが存在し、それらのうちの65個が角度モードであり、それらのうちの2つ、DCおよび平面波、非方向性のテクスチャをモデル化する。ブロック80が次元104に沿って区画に区分け/分割され、結果として得られる区画が次元104を横切るようにブロックの幅いっぱいに延び、方向104に沿って1サンプル幅または2サンプル以上の幅である、上でおよび以降で概説される区画102/112に関して実行される1D区画モード、つまり、予測子の導出122、ならびにフレキシブルイントラ予測サブパーティション(Flexible Intra Prediction Subpartitions)モードという名前を用いて下でさらに説明されるように区分けプロセスを抽象化することによってそこから直接生じる実施形態は、それらのうちのいずれかと組み合わされることが可能であるか、または言い換えると、それらのうちのいずれかを使用して実装される可能性がある。図5に関連して既に説明されたように、符号化ユニットCUなどの1つのブロック80のすべての区画102/112は、ブロック80の同じ関連付けられたイントラ予測モードを使用し、それによって、イントラ予測モード116がブロック80に関してデータストリーム14内で一度送信される必要があるだけであるので信号伝達の余計なオーバーヘッドを防止する。

つまり、予測122は、サブ区画が2次元である場合、JEMデコーダで概説された通常の場合と同じようにして実行される可能性がある。しかし、サブ区画が1-Dのサブ区画、つまり、ラインである場合、水平であろうと垂直であろうと、サブ区画は、JEMと比べて予測プロセス122がそれに応じて調整されるように現在処理されている区画102/112に関して計算される。連続した区画が互いに直接隣り合うようにして区画をたどっていくための区画の順序を選択する場合、予測プロセス122は、第1のライン、つまり、既に再構築された/符号化された近隣に最も近いラインに関してだけであるがJEMの通常の場合に対応する可能性がある(区画が1サンプル幅の場合。そうでなければ、予測プロセス122は普通の場合と同様である)。場合によっては、HEVCとJEMとの両方が、参照サンプル128または結果として得られる予測子に対して適用される特定のフィルタの使用を許す。これは、境界の不連続を少なくするために参照サンプル128から遠く離れている予測ブロック80内のサンプルをよりうまく予測するために通常の場合に役立つ。しかし、区画102/112への区分けを使用することによって、近くのピクセルの間の高い相関を利用することが可能であり、目的であるべきである。

つまり、短くされた平均距離130が、利用されるべきである。過度な平滑化は、この品質を下げる。したがって、エンコーダまたはデコーダが両方のタイプのイントラ予測、つまり、図4から図6に関連して以下で概説される区分けを使用するイントラ予測を実行することができるとするならば、イントラフィルタ、つまり、予測子の導出122に関わるフィルタが、無効化されるか、または少なくとも区画のサンプル134毎の寄与するサンプル134の数が、ブロック80に関するイントラ予測がブロックに対して実行されるかもしくはHEVCによって実行される、つまり、長方形ブロックへのブロック80の階層的な四分木再分割の葉ブロックに分解される通常の場合に1つのサンプルに寄与するサンプルの数に比べて削減されるかのどちらかである。

上で示された検討から明らかになったように、予測残差に関連するタスク124を実行するために、デコーダは、たとえば、データストリーム14から現在処理されている区画のそれぞれの予測残差の変換を復号し、予測残差を生成するためにこの変換にスペクトル-空間変換などの逆変換を実行し、そして、予測残差が、合成/加算によって122において得られた予測子を補正するために使用される。予測残差に関連するタスク124は、予測ループをデコーダと同期されたままに保つためにエンコーダにおいて行われる。さらに、エンコーダは、現在処理されている区画に関して122を使用して決定された予測子の予測誤差の変換を実行し、予測子の予測誤差を空間-スペクトル変換とそれに続く変換係数の量子化とにかけ、それから変換をデータストリーム14に符号化して現在処理されている区画102iの対応するデータ120iを生成する。変換に関して、ブロック80内のすべての区画102/112は、この同じ変換を使用して処理される可能性がある。変換は、たとえば、DST-VIIが使用される可能性がある平面モードの場合を除いてDCT-IIである可能性がある。このため、変換のスキップ、つまり、空間領域における符号化、EMT (EMT = 明示的多核変換(Explicit multiple core transform))、NSST (NSST = モード依存非分離型副変換(non-separable secondary transform))などの、エンコーダおよびデコーダがその他のブロックに使用する可能性がある変換および逆変換に関連するすべてのツールは、不必要なさらにビットを避けるために、図4から図7に関連してこれまでに概説され、下でさらに概説される区分け方法でイントラ予測モードを使用してブロック80が符号化される場合、無効化される可能性がある。さらに代替的に、変換は、線形変換である可能性があり、そのタイプは、イントラ予測モード、専用のシンタックス要素、および所定の区画の順序のうちの1つまたは複数に基づいて選択される。

現在処理されているブロック80の区画102/112がそれを使用して順に処理される区画の順序126に関して既にいくらか述べられた。この実施形態は、例であるに過ぎず、区画の順序は、代替的な実施形態によれば静的である可能性があり、または下で例が明示されるその他の実施形態によれば異なる方法で変更される可能性があることが強調されるべきである。図7は、図5においては矢印126を使用して示された可能な区画/処理順序を記された付番によって示す。ここで、この順序は、記された番号の昇順に従う。図5は、順序126がブロック80の左上のピクセル/サンプル140を含む区画から始まり、最も下の区画まで下向きに進む例を示した。同様に、分割タイプが垂直であるとすれば、処理順序は、やはり左上のピクセル/サンプルを含む最も左の区画から始まり、右に向かって進む。しかし、これは、すべての既存のイントラ予測モードに関して最適な場合ではない。これは、斜めのモードに関するブロック80の垂直なおよび水平な区分けも示す図7に例示され、つまり、コピーの角度/方向132は、左下から右上側に向かって45°を指し、34、つまり、コピーの角度/方向132は、左上から右下に向かって-45°を指す。前者の場合、分割が水平である場合、ブロック80の左上の角から開始することは、再構築されたサンプルが続く区画の予測にいかなる影響も与えない区画を生成する。したがって、各区画の再構築されたサンプルが区画の順序で次の区画を予測するために使用され得るようにブロックの左下の角から開始することがより妥当である。しかしながら、垂直分割においては、上述の図において気付かれ得るようにこれは必要でない。一方、モード34は、サンプルが垂直分割と水平分割との両方において両側から来ることを考えると、これらの問題のいずれもない。したがって、両方の分割において通常の処理順序が使用される可能性がある。

Table I (表1)は、イントラ予測モードおよび分割タイプに応じた処理順序の完全なリストを示す。

信号伝達のオーバーヘッドに関連してここまでに説明された実施形態をまとめて、図8が参照される。図8は、本出願の実施形態によってブロック80に関して何が送信されるのかについて示す。特に、どのイントラ予測モードがブロック80に適用されるべきであるかについてシグナリングするイントラ予測モード信号伝達116が存在する。したがって、信号伝達116は、たとえば、角度モードのうちの1つ、または角度モードならびにDCおよび平面などの非角度モードを含む利用可能なモードのうちの1つを示す。この信号伝達116に加えて、エンコーダによってデータストリーム14に符号化され、デコーダによってブロック80に関してデータストリーム14から復号される区分けフラグ160が存在し、区分けフラグ160は、図4から図7による区分け処理がブロック80に適用されるかどうか、またはブロック80がまとめてもしくは一塊でなど「通常通りに」処理されるかどうか、つまり、ブロック80の外のサンプルだけがブロック80内の各サンプルを予測するための参照サンプルの蓄積118を形成するために使用されるかどうかを示す。やはり、この実施形態は、以下でさらに説明されるように、上述の実施形態を変更することによって得られる代替実施形態を直接的に示唆する。代替的に、フラグ160は、一方で図4から図7に関連して検討された区分け処理と、さらに順に処理される変化ブロックへの四分木再分割を使用するが、データストリーム14内で分解をシグナリングしなければならないという短所があるブロック80の分解とを切り替える可能性がある。区分けフラグ160が図4による区分けを示す場合、データストリーム14は、ブロック80に関して、図4に関連して検討された区分けタイプ100と区分けタイプ110とを切り替える区分け次元フラグ114を含む。そして、区分けフラグ160がこの区分けオプションを示す場合にブロック80が再分割/区分けされるブロック80の各区画に関して、データストリーム14は、上で示されたように変換領域などにおいてそれぞれの区画の予測残差が符号化されたシグナリング/データ1201を含む。

図8に関連して、予測残差データ1201、1202、…は、区画に対応する順序/符号化の順序126でデータストリーム14に符号化される可能性があることに留意されたい。後者は、上で検討されたように、信号伝達116によって示されるイントラ予測モードによって一意に決定される可能性がある。しかし、代替的な実施形態は、区分けの順序126が少なくとも部分的にデータストリーム14内の任意の追加的な信号伝達に基づいて決定されることである。

本明細書において示される説明に対するさらなる代替は、信号伝達116が区分けオプションが使用されるのか否かを示すために代替的に使用される可能性があるという事実である。言い換えると、通常、1つのシンタックス要素が、信号伝達116および160の責任を負う可能性がある。そのようなシンタックス要素は、イントラ予測モードとブロックの区分けが使用されるか否かのインジケーションとの組合せにそれぞれが対応するある範囲の値のうちの1つを取る。そのような場合、イントラ予測モードのサブセットに関してだけ区分けを提供することも可能である。そして最後に、区分けフラグ160は、信号伝達116によって示されるイントラ予測モードが利用可能なイントラ予測モードの特定のサブセットを呈する場合にだけ条件付きでデータストリーム14内で運ばれる可能性もある。

図9は、特定の区画102/112iの予測残差を有するデータ120iがどのように見える可能性があるかについて例示的に示す。図9の実施形態によれば、予測残差が、変換領域においてデータストリーム14に符号化される。つまり、エンコーダは、変換180によって予測残差の変換182を生成し、デコーダは、逆変換184によって予測残差および空間領域を導出する。図9は、たとえば、異なるスペクトル周波数fに対応する変換182の変換係数186を示す。データ120iは、変換182がいずれかの意味のある変換係数186を含むかどうか、つまり、変換182が完全にゼロであるか否かを示す符号化ブロックフラグ(coded block flag) CBF188を含む可能性がある。CBF 188が設定される場合、変換182は、ゼロでなく、データ120iは、最も低いまたはDC係数196から始まる有意な変換係数、つまり、非ゼロの変換係数186の増加するスペクトル周波数に沿った(軸194を参照されたい)最後の位置を示す(192)最後の位置(LP)シンタックス要素190を含む可能性がある。そのとき、データ120iは、196から192までの変換係数をシグナリングするシグナリング198を含む。

つまり、図9は、各区画102i/112iがCBF 188、LP 190、および変換係数データ198によってデータストリーム14に符号化されたその区画の予測残差を有する可能性があることを示す。つまり、n個の区画102/112を有するブロック80に関して、n個のCBF 188が存在することになり、非ゼロのCBF 188を有する各区画につき1つのLP 190が存在することになり、これらの区画に関する変換係数データ198だけが、関連付けられた非ゼロのCBF 188を有する。係数データ198は、次のこと、つまり、区画が1サンプル幅である場合、各LP 190が1つの座標、つまり、水平分割100に関してはxおよび垂直分割110に関してはyのみを必要とする(そうでない場合、各LP 190は通常通り2つの座標を必要とする)ことを例外として、通常通りに処理されるイントラ予測されるブロック、つまり、区分けフラグ160が非区分けオプションを示すブロック80に関して行われるのと同様にして符号化される可能性がある。しかし、2次元の区画の場合、LP 190は、ランクインジケーションを使用するかまたはxおよびy座標を使用するかのどちらかでスキャン方向または経路に沿った最後の位置を示す。各CBF 188のコンテキストは、既に符号化されたCBF、つまり、区画の順序126で前の区画のCBFの値になるように選択される可能性がある。さらに、区分けが原因で、変換係数データ198は、異なる形状に関連する。つまり、変換182も、異なる形状を有する。変換182は、図4に関連して検討されたように、区画が1次元の区画である場合、1次元の変換である。つまり、変換182は、分割タイプ100または110に応じて変換係数186の長さW/Hのベクトルである可能性がある。

図8のフラグ160および114ならびにそれらの符号化に関して、以下のことが留意される。ブロック80が区画102/112に分割されるべきかどうかを示すフラグ160は、フラグ114がブロック80に関してデータストリーム14内で運ばれるかどうかを判定するために調べられる条件を定義する。特に、フラグ160が区画102/112への区分けを示す場合、フラグ114が、データストリーム14内に存在し、分割100/110のどちらのタイプが実行されるべきか、つまり、水平かまたは垂直かについてシグナリングするためにデコーダに送信される。フラグCBFとまったく同じように、フラグ114も、コンテキスト依存エントロピー符号化/復号を使用して符号化される可能性がある。フラグ114のコンテキストは、ブロック80のイントラ予測モードに応じた3つの可能性、すなわち、非角度モードのための0、水平モードのための1、および垂直モードのための2を有する可能性がある。

図9はCBF 188が現在のブロック80の区画i毎に1回存在する可能性があることを示したが、追加的にまたは代替的に、現在のブロックの区画120iの変換182は、それぞれが1つまたは複数のサブブロックに分けられる可能性があり、データ120i内のサブブロック毎にシグナリングされる符号化サブブロックフラグ(coded sub-block flag)が、そのサブブロック内の変換係数186がすべてゼロであるのかまたはそれらのうちの少なくとも1つの係数が非ゼロであるのかを示す。したがって、符号化サブブロックフラグが非ゼロの係数の存在をシグナリングするサブブロック内の係数186のみが、符号化される。符号化サブブロックフラグがいかなる非ゼロの係数もないことをシグナリングするサブブロック内のその他の係数は、デコーダ側でゼロであると推測される。各区画120iが別々に変換されるとき、1つの区画に属するサブブロックは、その区画の変換182のスペクトル成分が異なり、その変換の中でそれらのサブブロックが含む変換係数186が異なることに留意されたい。たとえば、サブブロックは、それぞれの区画102i/112iが両方が4サンプル140以上であるx (区画の幅)およびy (区画の高さ)の次元を有する限り、および結果として、それぞれの区画102i/112iの変換180が両方が4係数186以上であるxおよびyの次元を有する限り、それらのサブブロックが4×4の係数ブロックになるようにして設定され得る。4×Nの区画の場合、サブブロックは、m個の4×4のサブブロックの列を形成し、m*4=Nであり、mは整数である。N×4の区画の場合、サブブロックは、m個の4×4のサブブロックの行を形成し、m*4=Nであり、mは整数である。より広い区画に関しては、行および列に配列された4×4のサブブロックの配列が、生じる可能性がある。しかし、実施形態に応じて、そのような区画、つまり4サンプルよりも広いおよび/または4サンプルの幅の区画は発生しない可能性がある。発生するか否かにかかわらず、より狭い区画、つまり、区画の次元のうちの1つが4サンプル未満である区画、つまり、少なくとも1つの次元xまたはyの幅が4サンプル未満である区画に関して、それぞれが変換180の係数の異なるグループを集めるサブブロックへの区画の変換180のサブブロック区分けは、サブブロックが現在のブロックのサイズに関するすべての可能な場合の最少数M個の係数を有するように行われる可能性がある。つまり、区画は、1つの次元に沿ってブロック幅Nと同じ大きさに設定される可能性があり、区分けは、もう一方の次元104に沿って行われる。したがって、各区画の変換180は、サイズ1×N、2×N、N×1、またはN×2である可能性がある。実際、特定の区画の変換180は、この区画のサンプル数に等しい数の係数を有する可能性がある。1×Nの区画/変換の場合、サブブロックは、そのとき、m個の1×Mのサブブロックの列を形成する可能性があり、m*M=Nであり、mは整数である。N×1の区画の場合、サブブロックは、m個のM×1のサブブロックの行を形成し、m*M=Nであり、mは整数である。2×Nの区画/変換の場合、サブブロックは、そのとき、m個の2×(M/2)のサブブロックの列を形成する可能性があり、m*(M/2)=Nであり、mは整数である。N×2の区画の場合、サブブロックは、m個の(M/2)×2のサブブロックの行を形成する可能性があり、m*(M/2)=Nであり、mは整数である。これが、係数の最少数に関してM=16の例示的な場合に関するTable 1 (表2)に例示的に示される。

図9はCBF 188が現在のブロック80の区画i毎に1回存在する可能性があることを示したが、現在のブロック80に関する区画の中のn個の区画のうちの少なくとも1つが非ゼロのCBF188を持つことが、デコーダとエンコーダとの間で合意される可能性がある。このため、nがサブ区画の数であり、符号化の順序で最初のn-1個のサブ区画がゼロのCBFを生成した場合、n番目の区画のCBFは、1であると推測される。したがって、そのCBFを復号する必要はなく、そのCBFは符号化されない。したがって、データ1201から120n-1のCBFがゼロであることをシグナリングした場合、データ120nのCBFはなくなり、デコーダは、このCBFが少なくとも1つの非ゼロの係数がその区画の変換に存在することをシグナリングすると推測する。

イントラ符号化モードの信号伝達116に関する限り、以下のことが当てはまる可能性がある。符号化モードの信号伝達116は、最高確率モード(MPM: most probable mode)のリストのうちの1つを指すポインタまたはインデックスとして送信される可能性がある。そして今度は、後者のMPMのリストが、空間的におよび/または時間的に近隣のイントラ予測モードなどの既に符号化された/復号されたイントラ予測されたブロックのために使用されたイントラ予測モードに基づいて同じようにしてエンコーダおよびエンコーダによって決定される可能性がある。したがって、MPMのリストは、利用可能な/サポートされるイントラ予測モード、つまり、上述の角度モードならびに/またはDCモードおよび平面モードのうちの1つもしくは複数の適切なサブセットを表す可能性がある。上述のように、これまで通り、つまり、まとめて、またはそのようなイントラ予測されるブロックが反復的な四分木区分けを使用して区分けされる変換ブロック単位でイントラ予測されるイントラ予測されるブロックの他に、図のブロック80などのLIPまたはISP方式を使用するイントラ予測されるブロックが存在する可能性がある。両方のタイプのイントラ予測されるブロックが、利用可能な/サポートされるイントラ予測モードの同じセットをサポートする可能性がある。後の通常の/古典的なイントラ予測されるブロックに関して、MPMフラグが、データストリーム内でシグナリングされる可能性があり--デコーダがMPMフラグを復号し、エンコーダがMPMフラグを符号化する--ブロックのモードがMPMのリストから選択されるかどうかを示し、その場合、このMPMへのポインタ/インデックスが送信され--デコーダがポインタ/インデックスを復号し、エンコーダがポインタ/インデックスを符号化する--MPMフラグが、ブロック80などのLIPまたはISP方式を使用するイントラ予測されるブロックの場合、MPMのリストの制限をシグナリングすると推測される。特定の通常の/古典的なイントラ予測されるブロックに関して、MPMフラグがMPMモードのいずれも使用されないことをシグナリングする場合、インデックス/ポインタが、データストリーム内でそのブロックに関して存在せず、イントラ予測モードの残りのリストへの代わりのポインタ/インデックスが、そのブロックに関してデータストリーム内で代わりに送信される。残りのリストは、利用可能な/サポートされるイントラ予測モードのセットの適切なサブセットである可能性もあり、特に、利用可能な/サポートされるイントラ予測モードのセットと比べてMPMのリストの補集合である可能性があり、つまり、利用可能な/サポートされるイントラ予測モードのセットのあらゆる元は、MPMのリストの元であるかまたは残りのセットの元であるかのどちらかである。MPMのリストへのポインタ/インデックスは、VLC符号化される可能性があり、一方、残りのセットへのポインタ/インデックスは、固定長符号を使用して符号化される可能性がある。当然、LIPまたはISP方式のイントラ予測されるブロックに関してさえ、MPMフラグが送信され、エンコーダが利用可能な/サポートされるイントラ予測モードのセットから任意のモードを自由に選択することができ、選択されたモードがMPMのリスト内にあるのかまたは残りのセットの中にあるのかに応じてMPMフラグを設定する可能性がある。

MPMのリストは、同じである可能性があり、つまり、通常の/古典的なイントラ予測されるブロックに関しておよびISP/LIPのイントラ予測されるブロックに関してエンコーダおよびエンコーダによって同じようにして決定される可能性がある。しかし、ISP/LIPのイントラ予測されるブロックに関するMPMのリストへの制限およびMPMのリストの使用をシグナリングするMPMフラグの推測が適用されるか否かにかかわらず、代替的に、MPMのリストは、ISP/LIPモードの統計に適応するためにISP/LIPのイントラ予測されるブロックに関して異なって決定される可能性がある。たとえば、MPMのリストは、MPのリストからDCイントラモードを除外し、ISP水平分割、つまり、水平方向104に関して水平なイントラモードを優先し、垂直分割、つまり、垂直方向104に関して垂直なイントラモードを優先するように変更される可能性がある。つまり、通常の/古典的なイントラ予測されるブロックに関して、MPMのリストは、利用可能な/サポートされるイントラ予測モードのセットの適切なサブセットを形成する可能性があり、モードは、特定のコンセプトによって選択され、順序付けられる。ISP/LIPのイントラ予測されるブロック80に関して、MPMインデックスは、フラグ114によってシグナリングされる区分けの方向104に依存するおよび/またはDCモードを除いたもしくはDCおよび平面モードを除いた利用可能な/サポートされるイントラ予測モードのセットの適切なサブセット、つまり、利用可能な/サポートされるイントラ予測モードのセットの角度モードの適切なサブセットを形成するMPMのリストを指す可能性がある。既に符号化された/復号されたイントラ予測されたブロックの前に使用されたイントラ予測モードに基づくMPMのリストの構築は、フラグ114が区分けの方向104が水平であることを示す場合、水平な次元により近い角度イントラ予測の方向の角度モードを選び、フラグ114が区分けの方向104が垂直であることを示す場合、垂直な次元により近い角度イントラ予測の方向の角度モードを選ぶ可能性がある。

今示された説明に関連して、通常通り処理されるイントラ予測モードと本明細書において概説される区分けを使用して処理されるイントラ予測モードとの間の並置は存在する必要がないことが、やはり留意される。つまり、エンコーダおよびデコーダは、本明細書において提示される区分けを必ず使用してイントラ予測されるブロック80を処理する可能性があり、そのとき、それに応じて、区分けフラグ160は、たとえば、使用されなくなる。しかし、フラグ160にシグナリングされる区分けオプションがエンコーダに関する1つの決定として利用可能である場合、以下の説明が、どのようにしてエンコーダが決定を実行するか、または区画モードが特定のブロック80に関して使用されるべきかどうかおよびどちらの分割タイプ、つまり、水平かもしくは垂直かどちらが最も良い分割タイプであるかを見つけ出すかについての可能性を明らかにする。これを実行するために、エンコーダは、各ブロックのための異なるイントラ予測モードに関して両方のオプションをテストするべきである。エンコーダが通常のオプションなどの1つのオプションだけを有する場合と比較して、エンコーダは、したがって、より多くのオプションがテストされなければならないのでより遅くなる。この影響を少なくするために、フラグ160によってシグナリングされる区画モードが、以下の戦略に従ってエンコーダによってテストされる可能性がある。図10および図11を参照する。
1) 1D区画モード(または後で説明される修正された実施形態によるフレキシブルイントラ予測サブパーティション)は、テストされる最後のイントラモードである。
2) Cminが、1D区画モード(または後で説明される修正された実施形態によるフレキシブルイントラ予測サブパーティション)がテストされる瞬間のそれまでの最小コストであるものとする。
3) テストされるイントラモードと分割タイプとの組合せを選択する。
4) ブロックが、N個の区画に分割され、iが、これらの区画の各々のインデックスを表すものとして、i = [1, N]である。
5) あらゆる区画が符号化された後、その区画のサブコスト(subcost) Jiが計算される。したがって、我々は、区画iが符号化された後に利用可能なすべてのサブコストの合計を知ることができ、合計は、

である。この手順が、図10に示され、図10は、したがって、ブロック全体の最終的なコストを得るための区画のサブコストの蓄積を示す。
6) あらゆる区画が処理された後、式Si<Cminが評価される。これが真である場合、我々は、終わりまで区画の符号化を続ける。そうでない場合、このテストモードがCminよりも低いRDコストをもたらさないことが保証され、したがって、プロセスが中止され、我々はイントラモードと分割タイプとの次の組合せに移る。
7) すべての区画が符号化される場合、テストモードが最良のモードであり、Cminがそれに応じて更新される。

この手順の利点は、1Dの区分け(または後で説明される修正された実施形態によるフレキシブルイントラ予測サブパーティション)モードが既存の最小コストよりも低いコストをもたらさないことが既に知られていることが可能であるので、この手順が必要のない区画の処理を避けることである。さらに、この手順は、RD損失の点でいかなる欠点も持たない。プロセス全体が、図11に流れ図として示される。

上述の実施形態のすべては、方向104を横切る1サンプル幅のストライプで行われるものとして区分けを示すが、実施形態の説明の特定の詳細が1次元であることを利用しない限り、区分けは、代替的に、区分けがより広い幅になるようにして行われ、それによって、2次元の区画をもたらす可能性がある。区分けに関連するさらなる代替が、下で明示される。

言い換えると、上の説明において、イントラ予測されるW×Hのブロック80が1-Dの区画102/112またはラインに分割されるラインに基づくイントラ予測(LIP: Line-based Intra Prediction)符号化モードツールを含むものとして簡潔に説明される可能性がある実施形態が、説明された。そのとき、結果として得られるライン102/112の各々が予測され、変換され、量子化され、エントロピー符号化される残差信号が生成され、最後に、係数が、デコーダに送信されるために記述された。そのようなラインの再構築されたサンプルが、次のラインなどを予測するために使用され得る。このプロセスが、元のブロック内の1-Dの区画が符号化されるまで繰り返される。

しかし、修正が、このLIPのコンセプトに関して実行され得る。本出願の実施形態が区分け/分割の方向104に沿って1サンプル幅の区画102/112を有することに限定されないことは、図4を検討するときに上で既に示された。次に説明される実施形態において、分割の方向104に沿った幅は、1) イントラ予測モードが角度モードであるかまたは非角度モードであるか、および2) その方向104に沿ったイントラ予測されるブロックの幅に基づいて定義される。
1) W×Hの(WおよびHは2の累乗であると仮定される)ブロック80が、大きさw×hのK個の等しい区画102/112に水平にまたは垂直に(たとえば、デコーダに送信されるシンタックス要素114によって示される)分割されることが可能であり、大きさw×hの値が、Table II (表3)に示される。Table II (表3)によれば、たとえば、非角度イントラモードを使用して予測され、垂直分割される(つまり、方向104が垂直である)、W = 16、H = 8のブロックは、4つの区画102に分割され、それらの区画102のすべてが、大きさw = 16およびh = 2を持つ。この例が、図12aに示される。同じブロック80が角度イントラモードを使用して予測されるならば、ブロック80は、8個の区画102に分割され、それらの区画102の各々が、大きさw = 16およびh = 1を持つ。

2) 代替的に、W×Hの(WおよびHは2の累乗であると仮定される)ブロック80が、大きさw×hのK個の等しい区画に水平にまたは垂直に(たとえば、デコーダに送信されるシンタックス要素114によって示される)分割されることが可能であり、Kの値は、固定されておらず(したがって、Kの値はシンタックス要素によってデコーダに送信される)、値の範囲は、2からSまでの間の2の任意の累乗であることが可能であり、Sは、分割されている次元(垂直分割に関しては幅および水平分割に関しては高さ)の値である。Wおよびhの値は、Table III (表4)に示されるように取得される。

その代わりに、次元104に沿った区画の幅が、ブロック80に関して直接シグナリングされる可能性がある。
3) 代替的に、W×Hの(WおよびHは2の累乗であると仮定される)ブロック80が、i = 1, 2, …, Kとして大きさwi×hiのK個の区画(KはWおよびHに応じて決まる)に水平にまたは垂直に(たとえば、デコーダに送信されるシンタックス要素114によって示される)分割されることが可能である。分割が水平である場合、S = H、si = hiであり、分割が垂直である場合、S = W、si = wiであるものとする。siの値の様々なオプションが、次元104に沿ったブロック80の幅を測るSの異なる値に関してTable IV (表5)に示され、siは、次元104に沿った区画iの幅を測る。

デコーダによって使用されるオプションは、決まっているか、またはデコーダ側で既存のパラメータの値に従って暗黙的に決定され得る。
4) 代替的に、W×Hの(WおよびHは2の累乗であると仮定される)ブロック80が、i = 1, 2, …, Kとして大きさwi×hiのK個の区画(KはWおよびHに応じて決まる)に水平にまたは垂直に(たとえば、デコーダに送信されるシンタックス要素114によって示される)分割されることが可能である。分割が水平である場合、S = H、si = hiであり、分割が垂直である場合、S = W、si = wiであるものとする。siの値は、例3に提示された3つのオプションのうちのどれがブロックをサブ区画に分割するために使用されるべきかを示すシンタックス要素を通じて決定される。

したがって、上の例1から4に例示されたように、区分けは、区画が所定の次元と垂直に所定のブロックと同じ幅になるように1つの次元104に沿って行われる可能性があるが、所定の次元104に沿って測定される区画の幅は、少なくとも2つの異なる幅の設定またはオプションの中から選択される。明示的または暗黙的シグナリングのコンセプトが、エンコーダとデコーダと間で同期した選択を維持するために使用される可能性がある。したがって、選択は、区分けが同じサイズおよび形状のブロックの間で変えられる可能性がある一方、この変化に関連するオーバーヘッドがある程度低く保たれることを可能にする。選択は、たとえば、所定のブロックのためのイントラ符号化モードが角度モードであるか否かに応じてなど、所定のブロックのためのイントラ符号化モードに応じて行われる可能性がある。選択は、4番の例に示されたように、少なくとも2つの異なる幅の設定のうちの1つを指示する所定のブロックに関するデータストリーム内のインデックスに依存させられる可能性もある。区画は、区分けの次元に沿って1つまたは複数のサンプルの幅である可能性がある。1ブロック内で、区分けの/所定の方向に沿った区画の幅は、変わる可能性がある。1つの区画が、1サンプル幅である可能性があり、つまり、1次元のストライプである一方、別の区画は、2サンプル以上の幅であり、サンプルの2次元の領域である。

さらに、上で提示されたLIPのコンセプトの実施形態の一部の場合、2つのタイプの処理順序--上の例においては区画の順序126と呼ばれる--が、各ブロック80のために利用可能であることが提案され、最終的に適用される処理の順序は、ブロック80のために使用されるイントラモードに応じて選択される。しかし、上述のように、区画の順序126に関する決定に関する代替が存在する。処理順序126は、サブ区画102/112がどの順序で処理されるべきかを示す。可能な処理順序126は、左上のサブ区画から始まることと、それから、水平分割の場合は下にもしくは垂直分割の場合は右になど所定の順序、または区画への別の区分けが使用される場合はラスタスキャンの方法などの任意のその他の順序で継続することとからなる。概して、処理順序126は、それぞれのサブ区画が復号される/処理されるときにデコーダ側で利用可能な既存のパラメータによって決定される可能性がある。つまり、デコーダに関して、処理順序126は、オンザフライで、つまり、様々なサブ区画102/112を予測するとともに決定される何かである可能性がある。そのような既存のパラメータは、イントラモード、サブ区画のインデックス、元のブロックの大きさ、サブ区画の大きさ、現在の区画のCBFフラグなどを含む可能性がある。順序126は、デコーダに直接シグナリングされる可能性もある。

区画102/112への同じ区分けを使用して区分けされたイントラ予測にかけられるブロック80に関してさえも区画の順序を変更する動機は、図5に関連して上で既に検討された考え、つまり、区画102/112が処理される順序126を変更することが様々な区画102/112に予測の正確さを分散させることを可能にすることに由来する可能性がある。たとえば、上で例示されたように、区画の順序126に従って最初に処理されるように近隣のサンプルのセット118から遠く離れている区画102/112を選択するとき、これは、その区画が区画の順序126に従って最後に処理されるとした場合よりもその区画のイントラ予測が悪化することを意味し、それは、後者の場合、その区画を埋めるために使用される参照がより近くに、つまり、参照サンプルのセット118に面するその区画の側方においてその区画に隣接する区画にあるからである。たとえば、図5の場合、区画1024に関して得られるイントラ予測の結果が、区画の順序126に従って最初である(したがって、予測がブロック80の外の近隣のサンプルに基づいて得られる)場合、区画1024が区画の順序126に従って最後に処理される場合(その場合、区画1024は区画1024に対して直接隣接するサンプルを包含すし、たとえば、区画1023のサンプルを含む近隣のサンプルのセットに基づいて予測を生成する)と比べてより大きな予測残差を引き起こすことは明らかである。しかし、残りの区画に関しては、逆が当てはまる。区画1024を最初に処理する場合、区画1024に関する予測残差を使用するその区画の再構築が、区画の順序126に従って任意のその後処理される区画の近隣のサンプルのセット118iに含められる可能性があり、それによって、たとえば、図5の各区画1021から1023の内部をこれらの区画の両側からブロック80のイントラ予測モードを使用して予測することを可能にする。区画1024を処理する場合、近隣のサンプルのセット118iは、i = 1, …, 4として区画102iの各々に関してそれぞれの区画の片側にだけある。つまり、区画1021から1023に関して、状況は反対である。これらの区画に関して、予測残差は、区画1024を最後に処理するのに比べて区画1024を最初に処理する場合、小さくなる。さらに、上でやはり既に説明されたこと、つまり、順序が隣り合う区画を連続してたどっていく2つのオプションの間を切り替えられる可能性があるだけでなく、まず所定の順序に従って1区画おきに処理し、それから、同じ順序または反対の所定の順序で残りの区画を処理するなどのさらなる区画の順序126を許す可能性もあることが考慮されるべきである。どのオプションが最良であるかが、エンコーダ側で様々な順序のオプションをテストすることによって決定される可能性があり、データストリーム内でブロック80のための順序126に関するそれぞれの追加の信号伝達を送信するか、または順序126が、同じサイズおよび形状であり、同じ方法で区画102/112に区分けされるブロック80に関してさえも順序126が同じではなくこれらのブロック80の間で変化するようにして、ブロック80もしくは近隣のブロックに関してデータストリーム内で送信されるシンタックス要素に応じてエンコーダ側およびデコーダ側で同じ方法で選択される可能性があるかのどちらかである。

したがって、ブロック80の区画が処理される区画の順序が、少なくとも2つの異なる順序の中から選択される可能性がある。明示的または暗黙的シグナリングのコンセプトが、エンコーダとデコーダと間で同期した選択を維持するために使用される可能性がある。したがって、選択は、1つの区画の順序が所定のブロックに当てはまる一方で、区分けされたイントラ予測のコンセプトを使用してやはり符号化され、同じサイズおよび形状であり、同じ方法で区画に区分けされる別のブロックに別の順序が当てはまる可能性があることを可能にする。エンコーダのための区画処理順序を選択する際の自由、または区画処理順序をサイズ、形状、および区分け以外のパラメータに依存させることは、区分けされたイントラ予測モードの効果を高めるのに効果的である。効果は、特定の区画102iの予測子の導出のために、少なくとも2つの異なる順序からの所定のブロックのための所定の区画の順序126の選択に依存する方法で参照サンプル118iを採り入れるときにより一層大きい可能性がある。特に、示されるように、採り入れられる参照サンプル118iは、1つの利用可能なまたは選択可能な区画の順序の場合、現在の区画の2つの対向する側方にある可能性があり、一方、採り入れられる参照サンプル118iは、別の選択可能な区画の順序の場合、区画120iの2つの対向する側方のうちの一方だけにある可能性がある。次元104に沿った区分けの場合、「側方」は、垂直な方向104の場合は上側および下側ならびに水平な方向の場合は左側および右側などのその方向に沿って向いている区画120iの側方である可能性があるが、下でやはり簡潔にそれらが検討されるように別の区分けの場合、「側方」は、単に、ブロック80の外にある参照サンプルのセット118iのサンプルに面する区分けの1つの側方、およびブロック80の中、つまり、既に処理された区画のうちの1つの中にある参照サンプルのセット118iのサンプルに面する区分けの1つの側方として定義される可能性がある。たとえば、少なくとも2つの異なる選択可能な順序のうちの1つは、所定のブロックの左上の角から最も離れた区画から始まって区画をたどっていく可能性があるが、少なくとも2つの異なる選択可能な順序のうちの別の1つは、所定のブロックの左上の角に最も近い区画から始まって区画をたどっていく可能性がある。

対処される別の問題は、残差の符号化に関連する。残差の符号化は、上述のように、変換符号化を使用して行われる可能性がある。各サブ区画102/112は、デコーダに送信されるその区画自体の符号化ブロックフラグ(CBF) 188、最後の位置(LP)シンタックス要素190、および変換係数198をデータストリーム内に有する可能性がある。したがって、K個のサブ区画102/112を有するCUなどのブロック80に関して、K個のCBF 188、および非ゼロのCBFを有する各区画102/112に関して1つのLP 190が存在する。各CBF 188を符号化するために使用されるコンテキストは、--たとえば、順序126に従って--同じブロック内の既に符号化されたサブ区画のCBFの値に依存する可能性がある。さらに、説明されたコンセプトがあらゆるブロックに対して使用されるか否かを示すため、あるいはたとえばデータストリーム全体もしくは特定のピクチャに対応する範囲でまたは特定のピクチャのスライスに関して、本明細書において説明される区分けされたイントラ予測のコンセプトが範囲内のあらゆるイントラ予測されるブロック80に対して使用されるか否か、または一部が一塊で、つまり、ただ1つの区画に区分けされているかのように処理されるためにシグナリングされるかどうかを示すために、さらなるまだ言及されていないシンタックス要素がデータストリーム内でデコーダに送信される可能性がある。

同様に、各サブ区画が1つの変換を使用して別々に変換される可能性があり、それによって、すべてゼロに量子化されない各区画102/112に関する1つの変換をもたらすことが上で説明された。特定の区画102/112に関する変換として、その区画102/112の次元のうちの1つが1である場合を除いて2-D変換が使用される可能性があり、その区画102/112の次元のうちの1つが1である場合は1-D変換が適用される。変換の核は、DCT-IIまたはサブ区画が復号されるときにデコーダにおいて既存のパラメータによって決定される任意のその他の変換であることが可能である。たとえば、変換は、イントラモードと、サブ区画のインデックスと、サブ区画の大きさとの組合せ、または後者のパラメータの何らかのサブセットに従って選択される可能性がある。変換は、デコーダに直接、または言い換えると、たとえば、ブロック80内のすべての区画に関してもしくは1つのブロック80の各区画102/112に関して別々に送信される追加のシンタックス要素の形態でシグナリングされる可能性もある。

1つの態様は、ブロック80の区画102/112の残差が、空間領域におけるまたは各区画の予測残差を変換係数がさらに量子化される変換に区画毎に独立してかけることによって到達される何らかの中間変換領域における量子化の後、しかし、無損失または可逆であるさらなる変換にかけられる可能性があるという事実に関連するやはり既に上で検討された態様に関連する。したがって、デコーダは、ブロック80全体のための変換の変換係数のレベルを取得し、変換の変換係数のレベルを無損失の逆変換にかけて空間領域における各区画102/112に関する予測残差を取得することができ、または空間領域の予測残差からの中間変換領域が、各区画102/112に関する再変換によって得られる。

上述の実施形態の変更形態によれば、区分けは、次元104に沿った区分けの形式とは異なるように行われる可能性があることに留意されたい。そのような変更形態を使用するイントラ予測符号化は、フレキシブルイントラ予測サブパーティション(FIPS)などの名前を与えられる可能性がある。ストライプ102/112への区分けの代わりに、ブロック80の分割区分けは、ブロック80の任意の長方形のサブ区画をもたらす可能性がある。フレキシブルイントラ予測サブパーティション(FIPS)は、W×Hのイントラ予測されるブロック80をサイズwi×hiのK個の長方形の重なり合わないサブ区画に分割し、i = 1, 2, …, Kである。サブ区画の結果として得られるレイアウトは、完全にコンパクトであり、これは、サブ区画の面積の合計が元のブロックの面積に等しい、つまり、

であることを示唆する。図12bは、ブロック80のそのような一般化された分割の例を示し、参照符号102は、区画のために再使用された。この場合、16×8のブロック80が、大きさがTable V (表6)に定義されるK = 7個のサブ区画102に分割される。

上述の実施形態は、今述べた区分けの例示的な区分けをもたらす。たとえば、図4は、ブロック80のそのようなFIPS分割の2つの例を示す。しかし、この場合、すべてのサブ区画102/112は、同じサイズを有する。特に、次元104と垂直に、それらの区画102/112は、ブロックの幅であり、一方、次元104に沿って、それらの区画102/112は、次元104に沿ったブロックの幅の特定の割合に対応する等しい幅である。上の区画102/112のいずれかのように、FIPSの生成されるサブ区画102の各々が、予測され、結果として得られる残差信号が、たとえば、個々に変換され、量子化され、符号化される。したがって、そのサブ区画102の再構築された値が、まだ符号化/復号されていないその他のサブ区画102を予測するために使用される可能性がある。たとえば、図12bに示されるブロック80の場合、1番のサブ区画が、最初に予測される可能性があり、それから、その第1の再構築されたサンプルが、2番のおよび3番のサブ区画を予測するために使用される可能性がある。このプロセスは、すべてのサブ区画が符号化され/復号されるまで繰り返される。

FIPSの一般化をまとめると、区画102/112へのイントラ予測されるブロック80の区分けが、たとえば、変化するサイズの長方形の区画へのブロック80の反復的なマルチツリー再分割または区分けを定義する任意のその他の可能性を使用するなど上で検討されたのと異なる方法で定義され、データストリームによってシグナリングされる可能性がある。たとえば、区分けは、その区分けに基づいてブロック80の区画が水平なストライプ102であるのかまたは垂直なストライプ112であるのかを判定するために、ストライプの横断の幅、つまり、それぞれ、水平なストライプ102の高さおよび垂直なストライプ112の幅に関する限り、イントラ予測モードに応じて、上で検討されたように次元104の導出によって定義される可能性がある。たとえば、処理/区画の順序126を変更する可能性などの上で検討されたすべてのその他の可能性は、そのままであり、その変更は、イントラ予測モードのパラメータに加えて、または様々な区画に関してデータストリーム内で送信される予測残差から導出可能な情報などのデータストリーム内で送信される何らかのその他の情報に従って、上で検討されたように、イントラ予測モード、ブロック80に関してデータストリーム内で送信される何らかのシンタックス要素に依存する可能性がある。

さらに、ブロック80の様々な区画に関する予測残差が、これらの区画の個々のイントラ予測に関連する代替的な方法で順に1区画ずつ量子化され、データストリームに符号化されることは、上で既に検討された。これは、図5に関連してならびに図10および図11に関連して説明された。しかし、デコーダは、一方の残差の復号と、一方のイントラ予測と他方の予測残差とを組み合わせることによる様々な区画の再構築との間を交互に変わることによって復号を実行する必要がない。つまり、特定のブロック80を復号する際、デコーダは、様々な区画に関する予測残差120の復号を、様々な区画の個々のイントラ予測を含む実際の再構築手順から切り離す可能性がある。図5を参照すると、デコーダは、1つの処理タスクによってすべての区画の予測残差120、つまり、ブロック80に関する予測残差1201から1204をデータストリーム14から復号する可能性があり、デコーダは、別のタスクによって、ブロック80の内部を区画の順序126に従って1区画ずつ再構築するために区画102iの予測残差120iを使用する可能性がある。この目的で、デコーダは、第2のタスクにおいて、ブロック80のイントラ予測モードを使用して各区画120iに関するイントラ予測を実行し、それから、第1のタスクから得られた予測残差120iを足し、それから、空間予測と、それに続く、イントラ予測の結果を補正するためにその区画の予測残差を使用する再構築とを実行するために区画の順序126で次の区画120i+1に進むことによってブロック80の再構築を継続する。デコーダは、予測および予測残差を使用した予測の補正を実行する第2のタスクを開始する前にデータストリーム14から予測残差120を導出する第1のタスクを完全に実行する可能性があるか、またはデコーダは、特定の区画102iの予測残差120iがその予測残差120iが必要とされるとき、つまり、その区画102iの予測の結果がブロックのイントラ予測モードを使用して取得され、補正される必要があるときに準備ができていることを保証するための措置を提供することによって2つのタスクを並列に実行する可能性があるかのどちらかである。特に、第1のタスクまたはフェーズの間、デコーダは、すべての非ゼロの区画、つまり、予測残差120iが非ゼロになるようにシグナリングされるすべての区画102に関するすべての逆変換を並列に実行する可能性がある。

単に余談として、区画iの残差120iが変換領域で量子化される上の実施形態によれば、これらの区画の再構築されたサンプルが、特定の許容されるサンプル値の範囲を外れる、つまり、超えるかまたは後に続く可能性があることが起こる可能性がある。上で検討されたように、それらの再構築されたサンプルは、順序126で後に続く区画jのための参照サンプル118jの構成要素として機能する可能性がある。実施形態によれば、これらのサンプルは、これらのサンプルが順序126で後に続く区画jを予測することを目的とするので残され、ブロック80全体のための最終的なクリッピングステップとしてブロック80のこれらのサンプルのクリッピングを実行し、たとえば、それによって、デコーダの側の実装のしやすさを高める。したがって、区画102iに関する予測子を導出する際、現在の区画のための参照として機能する1つまたは複数の既に再構築されたサンプル118iの中にある、予測の順序126に従ってこの区画102iに先立つ区画の再構築されたサンプルは、まだクリッピングされていない状態で使用される可能性があり、まだクリッピングされていない状態から許容されるサンプル値の範囲にクリッピングされた状態に再構築されたサンプルをクリッピングすることは、所定のブロックを最終的に再構築するために、順番に再構築を実行した後、最後に行われる。エンコーダ側で、クリッピングは、デコーダとの参照の同期を保つために後で符号化されるブロックのための予測の参照として機能するためのそのようなサンプルの再構築されたバージョンを取得する目的のためにだけ実行される。たとえば、この最終的な整頓の類いのクリッピングは、例に過ぎず、クリッピングは、代替的に、直ちに、つまり、区画iの再構築されたサンプルが後で処理される区画jのための参照サンプル118jとして機能する前に実行される可能性がある。

ここまでに検討された実施形態の中で、1つが、具体的な例を使用して下で説明される。特に、この実施形態によれば、データストリーム14は、イントラ符号化されるブロック80に関して、イントラ符号化されるブロック80がLIPまたはISP方式を使用して符号化されるか否かを分割モードフラグ160によってシグナリングする。データストリーム14内の対応するシンタックス要素は、intra_subpartitions_mode_flagと命名される可能性がある。たとえば、このフラグが1である場合、イントラ符号化されるブロック80は、LIPまたはISP方式を使用して符号化される可能性があり、ブロック80は、そうでない場合、通常のイントラ予測を使用して符号化される。LIPまたはISP方式は、たとえば、特定の1つまたは複数の条件が満たされる場合に限って、現在のイントラ符号化されるブロック80のために利用可能である可能性がある。1つまたは複数の条件は、たとえば、イントラ符号化されるブロック80が、たとえば、ブロック80のサンプルの数の観点で何らかの最小サイズよりも大きい必要があること、および/またはイントラ符号化されるブロック80が、たとえば、大きな変換のサイズにつながらないように少なくとも水平と垂直との両方で特定の大きさを超えることを許されない可能性があることを含む可能性がある。より正確に言えば、LSPまたはISPモードは、ブロック80が少なくとも1つの方向、つまり、水平方向または垂直方向に今述べた最大の変換に関連するサイズ以下である場合にのみ利用可能である可能性がある。したがって、intra_subpartitions_mode_flagは、ブロック80が今述べた条件を満たす場合にのみデータストリーム内に存在する可能性がある。そうでない場合、デコーダは、イントラ符号化されるブロック80が通常通りにイントラ符号化されると推測する可能性がある。区画次元フラグ114は、分割モードフラグintra_subpartitions_mode_flagがイントラ符号化されるブロック80がLSPまたはISP符号化されるブロックであることを示す場合、イントラ符号化されるブロック80に関してさらにシグナリングされる可能性がある。しかし、このintra_subpartitions_mode_flagは、必ず明示的にシグナリングされる訳ではなく、特定の状況の場合、特定の区画の次元104を示すと推測される可能性がある。たとえば、イントラ符号化されるブロック80が上述の最大の変換のサイズを超える幅を有する(しかし、超えない高さを有する)場合、区画の次元104は、水平であることを義務付けられる可能性があり、ブロック80の高さが今述べた最高の変換のサイズを超える(しかし、幅は最高の変換のサイズを超えない)場合、次元104は、垂直であることを義務付けられる可能性がある。どちらの場合も、intra_subpartitions_split_flagは、データストリーム内で明示的にシグナリングされず、それに応じてデコーダによって推測される。イントラ符号化モード116は、上で概説されたように、つまり、エンコーダおよびデコーダの側で構築される最も確率が高いイントラ予測モードのリストの使用によってデータストリーム内でシグナリングされる可能性がある。LIPまたはISPイントラ符号化されるブロック80に関して、データストリーム14は、たとえば、intra_luma_mpm_IDXと呼ばれる、必ず可能性があるイントラ予測モードのリストを指すMPMリストポインタによってイントラ符号化モードをシグナリングする可能性があるが、このポインタは、イントラ符号化されるブロックがLIPまたはISP方式で符号化されない場合、データストリーム14内でMPMフラグを前に置かれる。たとえばintra_luma_mpm_flagと呼ばれるそのMPMフラグが特定のフラグ状態を有する場合、最も確率が高いイントラ予測モードのリストへのポインタの代わりに、イントラ予測モードの残りのリストへのポインタが、データストリーム内でシグナリングされる。しかし、上述のように、これは、例であるに過ぎず、イントラ予測モードのシグナリング可能なセットは、通常通りに符号化されるイントラ予測されるブロックとLIPまたはISPイントラ予測されるブロックとの両方に関して同じである、つまり、すべてのサポートされるイントラ予測モードを包含する可能性がある可能性がある。たとえば、intra_luma_mpm_flagが、両方のタイプのイントラ符号化されるブロックに関して送信される可能性がある。代替的に、両方のタイプのイントラ予測されるブロックに関して送信されるポインタは、両方のタイプのイントラ符号化されるブロックに関して、いかなるMPMフラグもなしに、サポートされるイントラ予測モードの完全なリストを直接指す可能性がある。イントラ符号化されるブロック80がLIPまたはISP方式を使用して符号化される場合、区画102/112の数は、以下のように定義される可能性がある。特に、エンコーダおよびデコーダが、ブロック80のサイズに応じて区画の数を決定する可能性がある。信号は、データストリーム内で送信されない。小さなブロックサイズに関して、数は2である可能性があり、一方、そうでない場合、区画102/112の数は4である。区画のイントラ予測およびデータストリームへの予測残差の符号化が実行される区画の順序は、水平方向n14の場合は最も左の区画および垂直な区画の方向の場合は最も上の区画から最も遠い区画まで順に区画の方向104に沿って進む可能性がある。シグナリングは、これに関しても送信されない。残差の変換は、上述のように、区画102/112毎に行われる可能性がある。つまり、各区画が、別々の変換される可能性がある。それに比べて、通常通りにイントラ符号化されるブロック80の場合、変換の数は、次の通り、イントラ符号化されるブロック80のサイズに依存する可能性がある、つまり、イントラ符号化されるブロックが水平方向におよび垂直方向に上述の最大の変換のサイズよりも小さい場合、イントラ符号化されるブロック80の残差は、1つの変換を使用して符号化され、つまり、ブロック80の残差は、完全に1つの変換にかけられる。水平方向に最大の変換のサイズを超える場合、イントラ符号化されるブロック80は、2等分されるかまたは水平方向に対応する数の変換ブロックに分割され、その結果、それらの半分または変換ブロックが、最大の変換のサイズを満たし、ブロック80の残差が、変分/変換ブロック毎に1つの変換にかけられる。同じことが、垂直方向に最大の変換のサイズを超えるブロック80の場合に当てはまる。垂直方向と水平方向との両方で最大の変換のサイズを超える場合、4つまたは対応する数の変換が、このブロック80の4つの四半分またはブロック80の規則的な2次元の再分割のブロック80の残差を対応する数の変換ブロックに変換するために使用される。さらに、通常通りにイントラ符号化されるブロック80の処理は、通常通りにイントラ符号化されるブロックがまとめてイントラ予測されるという点でLIPまたはISP符号化されるイントラ符号化されるブロック80の処理から外れる可能性がある。つまり、通常通りにイントラ符号化されるブロック80は、再区分けされない。さらなる違いは、ブロック80の予測残差を符号化するための変換の符号化に関連する可能性がある。各変換に関して、tu_cbf_lumaなどの符号化ブロックフラグ188が送信される可能性があるが、通常通りにイントラ符号化されるブロック80に関して、このフラグは、ブロック80内の各変換に関して必ず符号化される可能性があり、このフラグは、ブロック80がLIPまたはISP符号化され、前の変換に関するすべての前のCBFがゼロである場合、そのブロック80の最後の変換に関して1であると推測される可能性がある。さらに、各変換内のサブブロックの大きさの選択は、一方の通常通りにイントラ符号化されるブロック80と他方のLIPまたはISP符号化されるブロック80との間で異なる可能性がある。詳細は、上で明示された。しかし、代替的に、サブブロックへの変換182の再分割は、通常通りにイントラ符号化されるブロックおよびLIPまたはISP符号化されるブロックに関して等しく行われる可能性がある可能性がある。たとえば、log2SbWおよびlog2SbHが、サブブロックの幅および高さの対数のペアであり、log2TbWidthおよびlog2TbHeightは、それぞれ、変換の幅および高さの対数のペアであるとする。そのとき、サブブロックの大きさは、以下の通りに決定される可能性がある。
log2SbW = ( Min( log2TbWidth, log2TbHeight ) < 2 ? 1 : 2 )
log2SbH = log2SbW
if( log2TbWidth < 2 ) {
log2SbW = log2TbWidth
log2SbH = 4 - log2SbW
} else if ( log2TbHeight < 2 ) {
log2SbH = log2TbHeight
log2SbW = 4 - log2SbH
}

上の擬似コードは、Table 1 (表2)に明示されたサイズのサブブロックをもたらす。イントラ符号化されるブロック80の固有の最小サイズおよび通常通りにイントラ符号化されるブロックが再分割されないことが原因で、通常通りにイントラ符号化されるブロック80に関しては、4×4の係数のサブブロックだけが生じる可能性がある。最後に、今概説された例は、2つの区画102/112のみに区分けされるイントラ予測されるブロックを含む様々なサイズのLIPまたはISPイントラ予測されるブロックにつながる可能性があるが、そのようなLIPまたはISPイントラ予測されるブロックが存在するかどうかに関係なく、3つ以上の区画に区分けされるLIPまたはISPイントラ予測されるブロックが存在することに留意されたい。

したがって、上の説明は、特に、データストリーム14内でピクチャの所定のブロック80に関するイントラ符号化モード116をシグナリングすることおよび所定のブロック80を区画102i/112iに区分けすることを含むピクチャ12のブロックに基づく符号化のコンセプトを明らかにしており、所定のブロックの区画は、現在の区画に関して、後の区画に進む前に、イントラ符号化モードに応じた方法で現在の区画の近隣の1つまたは複数の既に再構築された/符号化されたサンプルに応じて現在の区画を埋めることによって現在の区画に関する予測子を導出し(122)、データストリーム内でシグナリングされた予測残差120iを使用して予測子を補正すること(122)によって現在の区画を再構築することによって順に区画を順にたどっていく所定の区画の順序126に従って再構築されることになる。上述のように、区分けは、区画が所定の次元104に垂直に所定のブロック80と同じ幅になるように所定の次元に沿って行われる可能性があり、所定の次元104に沿って測られる区画の幅は、ブロックのサイズもしくは大きさまたは所定の次元に沿ったブロックの大きさに応じて所定のブロックが区分けされる区画の数を選択することによるなどして、所定のブロックのサイズに応じるなど、少なくとも2つの異なる幅の設定からデータストリームに応じてエンコーダおよびデコーダによって選択される可能性がある。すべての区画に関する予測残差の符号化が、特にコンテキストの選択および/または符号化のシンタックスの観点で、上述のコンセプトのいずれかを使用して行われる可能性がある。さらに、MPMのリストの構築を含むまたは除くモードの送信に関するコンセプトのいずれかが、使用される可能性がある。

いくつかの態様が装置の文脈で説明されたが、これらの態様が対応する方法の説明も示し、ブロックまたはデバイスが方法のステップまたは方法のステップの特徴に対応することは、明らかである。同じように、方法のステップの文脈で説明された態様は、対応する装置の対応するブロックもしくは物もしくは特徴の説明も示す。方法のステップの一部またはすべては、たとえば、マイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置によって(またはそれを使用して)実行される可能性がある。一部の実施形態において、最も重要な方法のステップのうちの1つまたは複数は、そのような装置によって実行される可能性がある。

発明のデータストリームは、デジタルストレージ媒体に記憶されることが可能であるか、またはワイヤレス送信媒体もしくはインターネットなどの有線送信媒体などの送信媒体上で送信されることが可能である。

特定の実装の要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアに実装され得る。実装は、それぞれの方法が実行されるようにプログラミング可能なコンピュータシステムと協力する(または協力することができる)、電子的に読み取り可能な制御信号を記憶するデジタルストレージ媒体、たとえば、フロッピー(登録商標)ディスク、DVD、Blue-Ray(登録商標)、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使用して行われ得る。したがって、デジタルストレージ媒体は、コンピュータ可読である可能性がある。

本発明による一部の実施形態は、本明細書において説明された方法のうちの1つが実行されるように、プログラミング可能なコンピュータシステムと協力することができる、電子的に読み取り可能な制御信号を有するデータ担体を含む。

概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されることが可能であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの1つを実行するように機能する。プログラムコードは、たとえば、機械可読担体上に記憶される可能性がある。

その他の実施形態は、機械可読担体上に記憶される、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含む。

言い換えると、発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに本明細書において説明された方法のうちの1つを実行する
ためのプログラムコードを有するコンピュータプログラムである。

発明の方法のさらなる実施形態は、したがって、記録された、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含むデータ担体(またはデジタルストレージ媒体、もしくはコンピュータ可読媒体)である。データ担体、デジタルストレージ媒体、または記録された媒体は、概して有形であるおよび/または非一時的である。

発明の方法のさらなる実施形態は、したがって、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続を介して、たとえば、インターネットを介して転送されるように構成される可能性がある。

さらなる実施形態は、本明細書において説明された方法のうちの1つを実行するように構成されたまたは適合された処理手段、たとえば、コンピュータまたはプログラマブルロジックデバイスを含む。

さらなる実施形態は、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムをインストールされたコンピュータを含む。

本発明によるさらなる実施形態は、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを受信機に(たとえば、電子的にまたは光学的に)転送するように構成された装置またはシステムを含む。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどである可能性がある。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを含む可能性がある。

一部の実施形態においては、本明細書において説明された方法の機能の一部またはすべてを実行するために、プログラマブルロジックデバイス(たとえば、フィールドプログラマブルゲートアレイ)が使用される可能性がある。一部の実施形態において、フィールドプログラマブルゲートアレイは、本明細書において説明された方法のうちの1つを実行するためにマイクロプロセッサと協力する可能性がある。概して、方法は、任意のハードウェア装置によって実行されることが好ましい。

本明細書において説明された装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装される可能性がある。

本明細書において説明された装置、または本明細書において説明された装置の任意の構成要素は、少なくとも部分的にハードウェアにおよび/またはソフトウェアに実装される可能性がある。

本明細書において説明された方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行される可能性がある。

本明細書において説明された方法、または本明細書において説明された装置の任意の構成要素は、少なくとも部分的にハードウェアによっておよび/またはソフトウェアによって実行される可能性がある。

上述の実施形態は、本発明の原理を例示するに過ぎない。本明細書において説明された構成および詳細の修正および変更は当業者に明らかであろうことが、理解される。したがって、添付の特許請求項の範囲によってのみ限定され、本明細書の実施形態の記載および説明によって提示された特定の詳細によって限定されないことが意図される。

10 装置、エンコーダ
12 ピクチャ
12' ピクチャ
14 データストリーム、ビットストリーム
20 装置、デコーダ
22 予測残差信号形成器
24 予測残差
24' スペクトル領域の予測残差信号
24'' 量子化された予測残差信号
24''' スペクトル領域の予測残差信号
24'''' 予測残差信号
26 予測信号
28 変換器
32 量子化器
34 エントロピーコーダ
36 予測段階
38 逆量子化器
40 逆変換器
42 合成器
44 予測モジュール
46 再構築された信号
50 エントロピーデコーダ
52 逆量子化器
54 逆変換器
56 合成器
58 予測モジュール
80 イントラ符号化されるブロック
82 インター符号化されるブロック
84 変換ブロック、変換セグメント
100 水平分割
102 サブ区画
1021 区画
1022 区画
1023 区画
1024 区画
102i 区画
102j その後処理される区画
104 区画の次元
106 両矢印
108 サンプル
110 垂直分割
112i 区画
112 区画
114 区画次元フラグ
116 イントラ符号化モード、イントラ予測モード信号伝達
118 参照サンプルの蓄積
1181 近隣のサンプルのセット
1184 近隣のサンプルのセット
118i 近隣のサンプルのセット
118j 近隣のサンプルのセット
1201 データ、予測残差
1202 データ
1203 データ
1204 データ
122 予測導出タスク、予測プロセス
124 予測残差に関連するタスク
126 区画の順序、区分けの順序
128 サンプル
130 平均距離
132 角度、方向
134 サンプル
140 サンプル
160 区分けフラグ、分割モードフラグ
180 変換
182 変換
184 逆変換
186 変換係数
188 符号化ブロックフラグCBF、符号化区画フラグ、符号化サブブロックフラグ
190 最後の位置(LP)構文要素、最後の位置インジケーション
194 軸
196 最も低いまたはDC係数
198 シグナリング、変換係数データ
n14 水平方向__

Claims (33)

1. データストリームからのピクチャの復号化方法であって、
   前記データストリームからの前記ピクチャのブロックの分割モードフラグを復号化することであって、前記ブロックは反復的マルチツリー再分割を用いて木の根ブロックから再分割された葉ブロックである、復号化することと、
   前記ブロックのイントラ符号化モードを決定することと、
   前記分割モードフラグが第１の分割モードを示すという決定に応答して、
   前記ブロックが区分けされる区画の数を決定することであって、区画の大きさに沿って測定される前記区画の幅は非明示的な通知を用いて少なくとも２つの異なる幅設定から決定される、決定することと、
   前記ブロックのイントラ符号化モードに基づいて区画の順序に従って前記ブロックの各区画を順に再構成することと、
   前記分割モードフラグが第２の分割モードを示すという決定に応答して、前記イントラ符号化モードに基づいて空間イントラ予測を用いて前記ブロックを再構築することであって、前記ブロックを再構成するため前記空間イントラ予測を用いることは、
   水平及び垂直再分割の葉ブロック境界に沿って前記ブロックの階層的マルチツリー再分割の葉ブロックに前記ブロックを更に再分割することと、
   前記ブロックの前記葉ブロックを順にたどる葉ブロックの順序に従って前記ブロックの前記葉ブロックを順に再構成することと、
   を含む、復号化方法。
2. 前記分割モードフラグが前記第１の分割モードを示すとき、前記区画の順序に従って前記ブロックの各区画を順に再構成することは、現在の区画について、以降の区画に進む前に、
   前記現在の区画の近傍の１つ以上の既に再構成されたサンプルに基づいて、前記ブロックの前記イントラ符号化モードを利用して前記現在の区画の予測子を導出することと、
   前記データストリームにおいて通知される前記現在の区画の予測残差と前記予測子とを合成することと、
   を含む、請求項１に記載の復号化方法。
3. 変換領域において前記データストリームから前記予測残差を復号化することと、
   前記予測子と合成するため前記予測残差を空間領域に再変換することと、
   をさらに含む、請求項２に記載の復号化方法。
4. 区画毎の変換を利用して、変換領域において前記データストリームから前記予測残差を復号化することをさらに含み、
   前記変換は、イントラ予測モード、専用シンタックス要素又は前記区画のサイズの少なくとも１つに基づいて選択される、請求項２に記載の復号化方法。
5. 前記イントラ符号化モードに基づいて前記区画の幅を決定することをさらに含む、請求項１に記載の復号化方法。
6. 前記ブロックに関連する前記データストリームに表現されるインデックスを特定することであって、前記インデックスは前記少なくとも２つの異なる幅設定を示す、特定することと、
   前記インデックスに基づいて前記区画の幅を決定することと、
   をさらに含む、請求項１に記載の復号化方法。
7. 前記データストリームから前記ブロックの区画次元フラグを復号化することと、
   区画サイズが前記区画次元フラグに基づいて水平方向又は垂直方向であると決定することと、
   をさらに含む、請求項１に記載の復号化方法。
8. コンテキストを用いたコンテキスト依存エントロピー復号化を利用して、前記区画次元フラグを復号化することであって、前記コンテキストは前記イントラ符号化モードに基づく、復号化することをさらに含む、請求項７に記載の復号化方法。
9. 前記イントラ符号化モードが非角度モードであるとき、前記コンテキストは第１のコンテキストであり、
   前記イントラ符号化モードが水平モードであるとき、前記コンテキストは第２のコンテキストであり、又は、
   前記イントラ符号化モードが垂直モードであるとき、前記コンテキストは第３のコンテキストである、請求項８に記載の復号化方法。
10. 前記イントラ符号化モードに依存して前記区画の順序を設定することをさらに含む、請求項１に記載の復号化方法。
11. データストリームからのピクチャの復号化装置であって、
    前記データストリームからの前記ピクチャのブロックの分割モードフラグを復号化することであって、前記ブロックは反復的マルチツリー再分割を用いて木の根ブロックから再分割された葉ブロックである、復号化することと、
    前記ブロックのイントラ符号化モードを決定することと、
    前記分割モードフラグが第１の分割モードを示すという決定に応答して、
    前記ブロックが区分けされる区画の数を決定することであって、区画の大きさに沿って測定される前記区画の幅は非明示的な通知を用いて少なくとも２つの異なる幅設定から決定される、決定することと、
    前記ブロックのイントラ符号化モードに基づいて区画の順序に従って前記ブロックの各区画を順に再構成することと、
    前記分割モードフラグが第２の分割モードを示すという決定に応答して、前記イントラ符号化モードに基づいて空間イントラ予測を用いて前記ブロックを再構築することと、
    を実行するよう構成されるプロセッサを有し、
    前記ブロックを再構成するため前記空間イントラ予測を用いるため、前記プロセッサはさらに、
    水平及び垂直再分割の葉ブロック境界に沿って前記ブロックの階層的マルチツリー再分割の葉ブロックに前記ブロックを更に再分割することと、
    前記ブロックの前記葉ブロックを順にたどる葉ブロックの順序に従って前記ブロックの前記葉ブロックを順に再構成することと、
    を実行するよう構成される、復号化装置。
12. 前記分割モードフラグが前記第１の分割モードを示すとき、前記区画の順序に従って前記ブロックの各区画を順に再構成することは、前記プロセッサがさらに、現在の区画について、以降の区画に進む前に、
    前記現在の区画の近傍の１つ以上の既に再構成されたサンプルに基づいて、前記ブロックの前記イントラ符号化モードを利用して前記現在の区画の予測子を導出することと、
    前記データストリームにおいて通知される前記現在の区画の予測残差と前記予測子とを合成することと、
    を実行するよう構成される、請求項１１に記載の復号化装置。
13. 前記プロセッサはさらに、
    変換領域において前記データストリームから前記予測残差を復号化することと、
    前記予測子と合成するため前記予測残差を空間領域に再変換することと、
    をさらに実行するよう構成される、請求項１２に記載の復号化装置。
14. 前記プロセッサはさらに、
    区画毎の変換を利用して、変換領域において前記データストリームから前記予測残差を復号化するよう構成され、
    前記変換は、イントラ予測モード、専用シンタックス要素又は前記区画のサイズの少なくとも１つに基づいて選択される、請求項１２に記載の復号化装置。
15. 前記プロセッサはさらに、前記イントラ符号化モードに基づいて前記区画の幅を決定するよう構成される、請求項１１に記載の復号化装置。
16. 前記プロセッサはさらに、
    前記ブロックに関連する前記データストリームに表現されるインデックスを特定することであって、前記インデックスは前記少なくとも２つの異なる幅設定を示す、特定することと、
    前記インデックスに基づいて前記区画の幅を決定することと、
    を実行するよう構成される、請求項１１に記載の復号化装置。
17. 前記プロセッサはさらに、
    前記データストリームから前記ブロックの区画次元フラグを復号化することと、
    区画サイズが前記区画次元フラグに基づいて水平方向又は垂直方向であると決定することと、
    を実行するよう構成される、請求項１１に記載の復号化装置。
18. 前記プロセッサはさらに、コンテキストを用いたコンテキスト依存エントロピー復号化を利用して、前記区画次元フラグを復号化するよう構成され、前記コンテキストは前記イントラ符号化モードに基づく、請求項１７に記載の復号化装置。
19. 前記イントラ符号化モードが非角度モードであるとき、前記コンテキストは第１のコンテキストであり、
    前記イントラ符号化モードが水平モードであるとき、前記コンテキストは第２のコンテキストであり、又は、
    前記イントラ符号化モードが垂直モードであるとき、前記コンテキストは第３のコンテキストである、請求項１８に記載の復号化装置。
20. 前記プロセッサはさらに、前記イントラ符号化モードに依存して前記区画の順序を設定するよう構成される、請求項１１に記載の復号化装置。
21. 電子装置のプロセッサによって実行されると、前記プロセッサに、
    データストリームからのピクチャのブロックの分割モードフラグを復号化することであって、前記ブロックは反復的マルチツリー再分割を用いて木の根ブロックから再分割された葉ブロックである、復号化することと、
    前記ブロックのイントラ符号化モードを決定することと、
    前記分割モードフラグが第１の分割モードを示すという決定に応答して、
    前記ブロックが区分けされる区画の数を決定することであって、区画の大きさに沿って測定される前記区画の幅は非明示的な通知を用いて少なくとも２つの異なる幅設定から決定される、決定することと、
    前記ブロックのイントラ符号化モードに基づいて区画の順序に従って前記ブロックの各区画を順に再構成することと、
    前記分割モードフラグが第２の分割モードを示すという決定に応答して、前記イントラ符号化モードに基づいて空間イントラ予測を用いて前記ブロックを再構築することと、
    を実行させる命令を記憶する非一時的なコンピュータ可読媒体であって、
    実行されると、少なくとも１つの前記プロセッサに前記ブロックを再構成するため前記空間イントラ予測を用いさせる命令は、実行されると、少なくとも１つの前記プロセッサに、
    水平及び垂直再分割の葉ブロック境界に沿って前記ブロックの階層的マルチツリー再分割の葉ブロックに前記ブロックを更に再分割することと、
    前記ブロックの前記葉ブロックを順にたどる葉ブロックの順序に従って前記ブロックの前記葉ブロックを順に再構成することと、
    を実行させる命令を含む、非一時的なコンピュータ可読媒体。
22. 実行されると、少なくとも１つの前記プロセッサに、前記分割モードフラグが前記第１の分割モードを示すとき、前記区画の順序に従って前記ブロックの各区画を順に再構成させる命令は、実行されると、少なくとも１つの前記プロセッサに、現在の区画について、以降の区画に進む前に、
    前記現在の区画の近傍の１つ以上の既に再構成されたサンプルに基づいて、前記ブロックの前記イントラ符号化モードを利用して前記現在の区画の予測子を導出することと、
    前記データストリームにおいて通知される前記現在の区画の予測残差と前記予測子とを合成することと、
    を実行させる命令を含む、請求項２１に記載の非一時的なコンピュータ可読媒体。
23. 実行されると、少なくとも１つの前記プロセッサに、
    変換領域において前記データストリームから前記予測残差を復号化することと、
    前記予測子と合成するため前記予測残差を空間領域に再変換することと、
    を実行させる命令を含む、請求項２２に記載の非一時的なコンピュータ可読媒体。
24. 実行されると、少なくとも１つの前記プロセッサに、
    区画毎の変換を利用して、変換領域において前記データストリームから前記予測残差を復号化させる命令を含み、
    前記変換は、イントラ予測モード、専用シンタックス要素又は前記区画のサイズの少なくとも１つに基づいて選択される、請求項２２に記載の非一時的なコンピュータ可読媒体。
25. 実行されると、少なくとも１つの前記プロセッサに、前記イントラ符号化モードに基づいて前記区画の幅を決定させる命令を含む、請求項２１に記載の非一時的なコンピュータ可読媒体。
26. 実行されると、少なくとも１つの前記プロセッサに、
    前記ブロックに関連する前記データストリームに表現されるインデックスを特定することであって、前記インデックスは前記少なくとも２つの異なる幅設定を示す、特定することと、
    前記インデックスに基づいて前記区画の幅を決定することと、
    を実行させる命令を含む、請求項２１に記載の非一時的なコンピュータ可読媒体。
27. 実行されると、少なくとも１つの前記プロセッサに、
    前記データストリームから前記ブロックの区画次元フラグを復号化することと、
    区画サイズが前記区画次元フラグに基づいて水平方向又は垂直方向であると決定することと、
    を実行させる命令を含む、請求項２１に記載の非一時的なコンピュータ可読媒体。
28. 実行されると、少なくとも１つの前記プロセッサに、コンテキストを用いたコンテキスト依存エントロピー復号化を利用して、前記区画次元フラグを復号化させる命令を含み、前記コンテキストは前記イントラ符号化モードに基づく、請求項２７に記載の非一時的なコンピュータ可読媒体。
29. 前記イントラ符号化モードが非角度モードであるとき、前記コンテキストは第１のコンテキストであり、
    前記イントラ符号化モードが水平モードであるとき、前記コンテキストは第２のコンテキストであり、又は、
    前記イントラ符号化モードが垂直モードであるとき、前記コンテキストは第３のコンテキストである、請求項２８に記載の非一時的なコンピュータ可読媒体。
30. 実行されると、少なくとも１つの前記プロセッサに、前記イントラ符号化モードに依存して前記区画の順序を設定させる命令を含む、請求項２１に記載の非一時的なコンピュータ可読媒体。
31. データストリームへのピクチャの符号化方法であって、
    前記データストリームに前記ピクチャのブロックの分割モードフラグを符号化することであって、前記ブロックは反復的マルチツリー再分割を用いて木の根ブロックから再分割された葉ブロックである、符号化することと、
    前記ブロックのイントラ符号化モードを決定することと、
    前記分割モードフラグが第１の分割モードを示すという決定に応答して、
    前記ブロックが区分けされる区画の数を決定することと、
    前記ピクチャのブロックを前記数の区画に区分けすることであって、区画の大きさに沿って測定される前記区画の幅は非明示的な通知を用いて少なくとも２つの異なる幅設定から決定される、区分けすることと、
    前記イントラ符号化モードに基づいて区画の順序に従って前記ブロックの各区画を順に再構成することと、
    前記分割モードフラグが第２の分割モードを示すという決定に応答して、前記イントラ符号化モードに基づいて空間イントラ予測を用いて前記ブロックを処理することであって、前記ブロックを再構成するため前記空間イントラ予測を用いることは、
    水平及び垂直再分割の葉ブロック境界に沿って前記ブロックの階層的マルチツリー再分割の葉ブロックに前記ブロックを更に再分割することと、
    前記葉ブロックを順にたどる葉ブロックの順序に従って前記ブロックの前記葉ブロックを順に処理することと、
    を含む、符号化方法。
32. データストリームへのピクチャの符号化装置であって、
    前記データストリームに前記ピクチャのブロックの分割モードフラグを符号化することであって、前記ブロックは反復的マルチツリー再分割を用いて木の根ブロックから再分割された葉ブロックである、符号化することと、
    前記ブロックのイントラ符号化モードを決定することと、
    前記分割モードフラグが第１の分割モードを示すという決定に応答して、
    前記ブロックが区分けされる区画の数を決定することと、
    前記ピクチャのブロックを前記数の区画に区分けすることであって、区画の大きさに沿って測定される前記区画の幅は非明示的な通知を用いて少なくとも２つの異なる幅設定から決定される、区分けすることと、
    前記イントラ符号化モードに基づいて区画の順序に従って前記ブロックの各区画を順に再構成することと、
    前記分割モードフラグが第２の分割モードを示すという決定に応答して、前記イントラ符号化モードに基づいて空間イントラ予測を用いて前記ブロックを処理することと、
    を実行するよう構成されるプロセッサを有し、
    前記ブロックを再構成するため前記空間イントラ予測を用いるため、前記プロセッサはさらに
    水平及び垂直再分割の葉ブロック境界に沿って前記ブロックの階層的マルチツリー再分割の葉ブロックに前記ブロックを更に再分割することと、
    前記葉ブロックを順にたどる葉ブロックの順序に従って前記ブロックの前記葉ブロックを順に処理することと、
    を実行するよう構成される、符号化装置。
33. 電子装置のプロセッサによって実行されると、前記プロセッサに、
    データストリームにピクチャのブロックの分割モードフラグを符号化することであって、前記ブロックは反復的マルチツリー再分割を用いて木の根ブロックから再分割された葉ブロックである、符号化することと、
    前記ブロックのイントラ符号化モードを決定することと、
    前記分割モードフラグが第１の分割モードを示すという決定に応答して、
    前記ブロックが区分けされる区画の数を決定することと、
    前記ピクチャのブロックを前記数の区画に区分けすることであって、区画の大きさに沿って測定される前記区画の幅は非明示的な通知を用いて少なくとも２つの異なる幅設定から決定される、区分けすることと、
    前記イントラ符号化モードに基づいて区画の順序に従って前記ブロックの各区画を順に再構成することと、
    前記分割モードフラグが第２の分割モードを示すという決定に応答して、前記イントラ符号化モードに基づいて空間イントラ予測を用いて前記ブロックを処理することと、
    を実行させる命令を記憶する非一時的なコンピュータ可読媒体であって、
    実行されると、少なくとも１つの前記プロセッサに、前記ブロックを再構成するため前記空間イントラ予測を用いさせる命令は、実行されると、少なくとも１つの前記プロセッサに、
    水平及び垂直再分割の葉ブロック境界に沿って前記ブロックの階層的マルチツリー再分割の葉ブロックに前記ブロックを更に再分割することと、
    前記葉ブロックを順にたどる葉ブロックの順序に従って前記ブロックの前記葉ブロックを順に処理することと、
    を実行させる命令を含む、非一時的なコンピュータ可読媒体。

Images