JP7023236B2 - ピクチャデータを含む符号化単位をイントラ予測符号化／復号するための方法およびデバイスであって、前記イントラ予測符号化が予測木および変換木に依存する、方法およびデバイス - Google Patents

Description

１．分野
本原理は、概して、ピクチャ／映像のイントラ符号化およびイントラ復号に関する。

２．背景
本項目は、以下で説明および／または特許請求される本原理の様々な態様に関連し得る当技術分野の様々な態様を読者に紹介することを意図される。この論考は、本原理の様々な態様をより理解し易くするための背景情報を読者に提供するのに役立つと考えられる。従って、これらの説明は、これを踏まえて読まれるべきであり、先行技術を容認するものとして読まれるべきではないことを理解すべきである。

以下では、ピクチャは、例えば、ピクチャ（または映像）の画素値に関連するすべての情報、ならびにピクチャ（または映像）を視覚化および／または復号するためのディスプレイおよび／または他の任意のデバイスによって使用することができるすべての情報を指定する特定のピクチャ／映像フォーマットの１つまたはいくつかのサンプルアレイ（画素データ）を含む。ピクチャは、第１のサンプルアレイの形状の少なくとも１つの成分（通常、ルマ（または輝度）成分）を含み、場合により少なくとも１つの他のサンプルアレイの形状の少なくとも１つの他の成分（通常、色成分）を含む。あるいは、同等に、同じ情報は、従来の３色ＲＧＢ表現など、カラーサンプルアレイのセットによって表すこともできる。

画素データは、Ｃ値のベクトルによって表すことができ、ここで、Ｃは、成分の数である。ベクトルの各値は、ビット数で表され、ビット数は、画素値の最大ダイナミックレンジを定義する。

ピクチャブロックは、このピクチャに属する画素のセットを意味し、ピクチャブロックの画素データは、このピクチャブロックに属する画素の値を意味する。

Ｈ．２６５／ＨＥＶＣ（高効率映像符号化（ＨＥＶＣ）、ＩＴＵ－Ｔ勧告Ｈ．２６５｜国際規格ＩＳＯ／ＩＥＣ ２３００８－２、１０／２０１４）またはＪＥＭ（「Algorithm Description of Joint Exploration Test Model 1 (JEM 1)」、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１５７９０、２０１５年１０月、ジュネーブ、ＣＨ）のようないくつかの映像圧縮規格では、ピクチャ（映像）のシーケンスのピクチャは、いわゆる符号化木単位（ＣＴＵ）に分割され、そのサイズは、典型的には、６４×６４、１２８×１２８または２５６×２５６画素である。

各ＣＴＵは、図１に示されるように、圧縮領域において符号化木によって表される。これは、ＣＴＵの四分木分割であり、各葉は、符号化単位（ＣＵ）と呼ばれる。

符号化単位（ＣＵ）は、ピクチャブロックを符号化するための主要な情報を含み、予測単位（ＰＵ）および変換単位（ＴＵ）にさらにパーティション化することができる。

次いで、各ＣＵには、いくつかのイントラまたはインター予測パラメータ（予測情報）が与えられる。そうするため、各ＣＵは、特定のパーティションタイプに従って１つまたは複数の予測単位（ＰＵ）に空間的にパーティション化され、各ＰＵには、いくつかの予測情報が割り当てられる。イントラまたはインター符号化モードは、ＣＵレベルにおいて割り当てられる。

従って、予測単位（ＰＵ）は、ピクチャブロック内の画素値を予測するための情報を含み、変換単位（ＴＵ）は、ピクチャブロックの画素を表し、ピクチャブロックの画素に対し、変換と、従って符号化プロセスの残りの部分とが適用される。

図２は、ＨＥＶＣに従ってＣＵを予測単位にパーティション化する例を示す。

パーティションタイプは、ＣＵのイントラ予測とインター予測との両方に対して使用できる唯一のものである正方形パーティションタイプ（２Ｎ×２ＮおよびＮ×Ｎ）と、ＣＵのインター予測に対してのみ使用される対称的な非正方形パーティションタイプ（２Ｎ×Ｎ、Ｎ×２Ｎ）と、ＣＵのインター予測に対してのみ使用される非対称的なパーティション（ｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＤ、２Ｎ×ｎＵ）とを含む。

ＨＥＶＣは、ＣＵのインター予測に対して動き情報パーティション化を実行できることを開示している。実際に、ＣＵのインター予測のために存在する２Ｎ×Ｎ、Ｎ×２Ｎおよび非対称的なパーティションは、ＣＵに含まれる予測情報を表すための非正方形パーティションタイプの例である。

その上、ＨＥＶＣは、ＣＵのイントラまたはインター予測のためのパーティションタイプの選択に対する制約を課す。すなわち、
－ ＣＵのルマ成分のイントラ予測のためのパーティションタイプが正方形パーティションタイプではない場合、クロマ成分のイントラ予測のためのパーティションタイプは、正方形パーティションタイプ２Ｎ×２Ｎに等しく設定される。
－ 非正方形パーティションタイプがＣＵのインター予測に対して使用されるとき、ＣＵを変換単位（ＴＵ）にさらに分割するために使用される変換木は、各ＴＵが予測単位に空間的に埋め込まれるように制約される。

その上、ＨＥＶＣの現在のバージョンによれば、非正方形パーティション化タイプが所定のＣＵに対して使用されるとき、変換木の単位のサイズは、予測木とは無関係に決定される。

本原理によって対処される問題は、イントラ符号化単位における圧縮効率を改善する方法において、圧縮領域で符号化済みのピクチャをどのように効率的に表すかということである。

３．概要
以下は、本原理のいくつかの態様の基本的な理解を提供するために、本原理の簡単な概要を提示する。この概要は、本原理の広範な要約ではない。本原理の重要なまたは必須の要素を特定することは意図されない。以下の概要は、単に、以下で提供されるより詳細な説明の前置きとして、簡略化された形態で本原理のいくつかの態様を提示する。

本原理は、ピクチャデータを含む符号化単位をイントラ予測符号化するための方法であって、前記イントラ予測符号化は、予測木および変換木に依存する、方法を用いて、先行技術の欠点の少なくとも１つを改善することを目指す。方法は、
－ 非正方形パーティションタイプに従って符号化単位を空間的にパーティション化することにより、前記予測木を得ることと、
－ 前記変換木の葉の各々が、前記得られた予測木の独自の単位に埋め込まれるように前記符号化単位から前記変換木を決定することと、
－ 前記変換木の葉のサイズおよび前記非正方形パーティションタイプを信号で伝達することと
をさらに含む。

前記非正方形パーティションタイプは、非正方形パーティションタイプであり得る。従って、新しい非正方形パーティションタイプは、ＨＥＶＣによって現在推奨されているようなイントラにおける２Ｎ×２ＮおよびＮ×Ｎの既存のタイプに追加される。

これらは、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎのタイプを含み、それらは、既にインター予測のために存在する。加えて、他のＰＵの形状がこのセットに追加され得る。

これらの本原理の背景にある基本的な考えは、想定されるＰＵの形状の豊富なセットが圧縮領域においてピクチャデータをより正確に表すのに役立つというものである。

以下で詳細に説明されるように、本原理は、コーデック設計における２Ｎ×２ＮおよびＮ×Ｎと異なるイントラパーティションのサポートを可能にする技術的手段を含む。

具体的には、本原理は、ＰＵがいくつかのＴＵを正確に埋め込むと仮定すると、いかなるイントラ予測単位形状もサポートする。ＴＵは、いくつかの異なるＰＵと空間的に重複することはできない。

ＣＵのイントラ符号化に適応させるため、予測単位の形状に従って変換木を処理するための具体的な方法が以下で提案される。

その上、本原理は、ルマ成分に対してＰＵの非正方形パーティション化が使用される際、ルマおよびクロマ成分においてＣＵのパーティション化を切り離すことも提案する。

それらの態様の他の態様によれば、本原理は、上記の方法を実装するように構成されたプロセッサを含むデバイスと、このプログラムがコンピュータ上で実行されると、上記の方法のステップを実行するためのプログラムコード命令を含むコンピュータプログラム製品と、少なくとも上記の方法のステップをプロセッサに実行させるための命令をその中に格納したプロセッサ可読媒体と、前記プログラムがコンピューティングデバイス上で実行されると、上記の方法のステップを実行するためのプログラムコードの命令を保持する非一時的記憶媒体とに関する。

本原理の具体的な本質ならびに本原理の他の目的、利点、特徴および使用は、添付の図面と併せて取り入れられる例の以下の説明から明らかになるであろう。

４．図面の簡単な説明
図面では、本原理の例が示される。

ＨＥＶＣによる符号化に関連してピクチャデータのパーティション化を示す。 ＨＥＶＣによる予測単位へのＣＵのパーティション化の例を示す。 ＣＵのイントラ予測に対して使用される非正方形パーティションタイプの例を示す。 ＣＵのイントラ予測に対して使用される非正方形パーティションタイプの例を示す。 ＣＵに関連する変換木葉を走査するための例を示す。 ＣＵに関連する変換木葉を走査するための例を示す。 ＣＵに関連する変換木葉を走査するための例を示す。 ＣＵに関連する変換木葉を走査するための例を示す。 ＣＵに関連する変換木葉を走査するための例を示す。 ＣＵに関連する変換木葉を走査するための例を示す。 本原理の例によるデバイスのアーキテクチャの例を示す。 本原理の例による通信ネットワーク上で通信する２つのリモートデバイスを示す。 本原理の例による信号の構文を示す。

同様のまたは同じ要素は、同じ参照番号で参照される。

６．本原理の例の説明
本原理は、本原理の例が示される添付の図を参照して以下でより詳細に説明される。しかし、本原理は、多くの代替の形態で具体化することができ、本明細書に記載される例に限定されるものと解釈すべきではない。従って、本原理は、様々な変更形態および代替の形態が可能であるが、その具体的な例は、図面では例として示され、本明細書で詳細に説明される。しかし、開示される特定の形態に本原理を限定することは意図されず、むしろ、本開示は、請求項によって定義されるような本原理の趣旨および範囲内に入るすべての変更形態、均等物および代替形態を包含することを理解すべきである。

本明細書で使用される専門用語は、特定の例について説明するためのものに過ぎず、本原理を限定することを意図されない。本明細書で使用される場合、単数形「１つの（a）」、「１つの（an）」および「その（the）」は、文脈で明確に示されない限り、複数形も含むことを意図する。「含む」、「含んでいる」、「包含する」および／または「包含している」という用語は、本明細書で使用される場合、記述される特徴、整数、ステップ、動作、要素および／またはコンポーネントの存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、コンポーネントおよび／またはそれらの群の存在または追加を除外しないことがさらに理解されるであろう。その上、ある要素が別の要素に「応答する」または「接続される」ものとして言及される場合、その要素は、他の要素に直接応答するかまたは接続することも、介在要素を存在させることもできる。対照的に、ある要素が他の要素に「直接応答する」または「直接接続される」ものとして言及される場合、介在要素は存在しない。本明細書で使用される場合、「および／または」という用語は、関連リストアイテムの１つまたは複数のあらゆる組合せを含み、「／」と短縮することができる。

「第１の」、「第２の」などの用語は、本明細書において様々な要素を説明するために使用することができるが、これらの要素は、これらの用語によって限定されるべきではないことが理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、本原理の教示から逸脱することなく、第１の要素は、第２の要素と呼ぶことができ、同様に、第２の要素は、第１の要素と呼ぶことができる。

図のいくつかは、通信の主要な方向を示すために通信経路上に矢印を含むが、通信は、描写される矢印とは反対の方向でも起こり得ることを理解されたい。

いくつかの例は、ブロック図および動作上のフローチャートに関して説明され、各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能命令を含む回路素子、モジュールまたはコードの一部分を表す。また、他の実装形態では、ブロックで記述される機能は、記述される順序以外で起こり得ることにも留意すべきである。例えば、実際に、関与する機能性に応じて、連続して示される２つのブロックを実質的に同時に実行することも、場合によりブロックを逆の順序で実行することもできる。

本明細書における「例によれば」または「例では」への言及は、例と関係して説明された特定の特徴、構造または特性が本原理の少なくとも１つの実装形態に含まれ得ることを意味する。本明細書の様々な箇所における「例によれば」または「例では」という記載の出現は、必ずしもすべてが同じ例を指すとは限らず、別個のまたは代替の例が必ずしも他の例の相互排他的なものであるとも限らない。

請求項で見られる参照番号は、単なる例示であり、請求項の範囲への限定効果を有さないものとする。

明示的に説明されてはいないが、本例および変形形態は、いかなる組合せまたは部分組合せでも採用することができる。

本原理は、ピクチャの符号化／復号のために説明されているが、以下で説明されるように、シーケンスの各ピクチャは、順次符号化／復号されるため、ピクチャ（映像）のシーケンスの符号化／復号まで拡張される。

本原理は、符号化単位のイントラ予測のためのイントラパーティションタイプの豊富なセットを含む。最初に、図３ａに示されるように、ＨＥＶＣにおいて定義されるように、ＣＵのインター予測のために既に存在する２Ｎ×２ＮおよびＮ×Ｎと異なるすべてのパーティションタイプが既存のコーデック設計に追加される。

加えて、本原理は、新しい非正方形パーティションタイプのサポートを可能にする。実際に、ＨＥＶＣおよびＪＥＭにおいてこれまで行われてきたように、変換木が予測単位（ＰＵ）へのパーティション化とは完全に無関係の状態にされる場合、これらの新しいイントラパーティションのサポートは不可能である。以下では、イントラでのこれらの新しいイントラパーティションのサポートを可能にする技術的手段について説明する。

本原理は、ピクチャデータを含む符号化単位ＣＵをイントラ予測符号化するための方法であって、前記イントラ予測符号化は、予測木および変換木に依存する、方法に関する。方法は、
－ 非正方形パーティションタイプに従って符号化単位を空間的にパーティション化することにより、前記予測木を得ることと、
－ 前記変換木の葉の各々が、前記得られた予測木の独自の単位に埋め込まれるように前記変換木を決定することと、
－ 前記変換木の葉のサイズおよび前記非正方形パーティションタイプを信号で伝達することと
をさらに含む。

実施形態によれば、方法は、前記得られた予測木の同じ単位に埋め込まれる変換木の葉が、前記得られた予測木の別の単位に埋め込まれる変換木の葉を走査することを開始する前にすべて走査されるように、前記非正方形パーティションタイプに従って変換木走査順序を決定することをさらに含む。

実施形態によれば、変換木走査順序は、Ｚ走査順序である。

実施形態によれば、同じ変換木の葉は、同じサイズを有する。

ここで、方法のそのような実施形態を詳細に説明する。

ＣＵのイントラ予測のための非正方形パーティションタイプをサポートするための第１の技術的手段は、イントラ予測されたＣＵに含まれるいかなるＴＵも、その同一場所に位置するＰＵ内に空間的に埋め込まれることを保証することを目的とする。これは、それらの完全に再構築されたバージョンで利用可能な周囲の参照サンプルに基づくイントラ予測の実行を可能にするために、イントラにおいて（インター予測においてではない）必須である。

そうするため、本原理は、イントラ予測のために非正方形パーティションタイプが考慮される場合、以下の方法でＣＵをパーティション化することを課す。すなわち、
－ ＣＵは、最大のサイズの葉が、ＣＵの予測単位に埋め込まれると仮定して、これらの葉で作られている１つの変換木に分割される。変換木葉へのこの分割は、エンコーダおよびデコーダ側において同期的に実行され、ＣＵ（符号化単位）およびＰＵ（予測木の単位）のサイズおよび形状に応じて完全に推論される。

この特性の利点は、現在のイントラＣＵに対して非正方形ＰＵが選択された場合でも、閉ループ方式でＴＵ（変換木の単位）ごとに１つずつイントラ予測を行えることを保証することである。

変換木葉は、変換木走査順序に従って処理され（エンコーダおよびデコーダ側）、変換木走査順序は、ＰＵのタイプに依存する。この走査順序は、デコーダによって知られている。その走査順序は、所定の予測単位に空間的に位置するすべての変換木葉が、別のＰＵに空間的に位置する変換木葉の処理を開始する前に処理されることを保証するように設計される。ＰＵインデックス作成順序は、変換木葉の処理（復号または符号化）中に配慮される。

この特性の利点は、非正方形イントラＰＵが使用される際、イントラ予測モードのレート歪み最適化をエンコーダ側で扱い易くすることである。それにより、実際に、次のＰＵの処理を開始する前に、所定の予測単位と関連付けられたイントラ予測モードを選択することができる。これは、既存のＺ－Ｓａｎ走査順序が採用される事例では当てはまらないであろう。初期の２Ｎ×２ＮおよびＮ×Ｎを用いると、所定のＣＵの変換木を処理するためのＨＥＶＣ Ｚ走査順序は、ＰＵインデックス作成順序と同じ順序に自然に従うことに留意されたい。

図４は、ＣＵに関連する変換木葉を走査する例を示し、左側は、先行技術であり、右側は、埋め込まれた四分木である。

第１の実施形態（実施形態ＴＵ－１）によれば、各変換木葉に含まれる変換単位は、四分木方式で処理される（復号および符号化される）。これは、各変換木葉が、四分木に従ってより小さいＴＵに分けられることを意味する。この四分木は、四分木方式で分けられる上記で紹介される変換木葉を越えて変換木をさらに拡張する。これは、図４の右側に示される。ＴＵサイズは、エンコーダ側のレート歪み最適化プロセスによって決定され、既存の変換木符号化構文を通じて信号で伝達される。各変換木の復号または符号化中に採用されるＴＵ走査順序は、ＨＥＶＣまたはＪＥＭの事例のようにＺ走査順序（図４の右側を参照されたい）であり得る。

この特性の利点は、所定のＣＵおよびＰＵタイプと関連付けられた変換単位のレート歪み最適セットを見出すことを可能にすることである。具体的には、可能な場合、できる限り大きい変換単位を使用することができる。

２Ｎ×ｎＵパーティションタイプに対する、パーティションタイプに応じた変換木推論表現の別の例は、図５に示される。図から分かるように、実施形態（ＴＴ－１）によれば、変換木葉は、独自の予測単位に埋め込まれた各変換木葉ができる限り大きいサイズを有するように推測される。

所定の実施形態（ＴＴＳ－１）によれば、予測単位内の各変換木葉を連続して処理するために使用される走査順序は、変換木葉間のＺ走査順序に従う（図５の中央を参照されたい）。

図５：左側：符号化単位（ＣＵ）の非対称的なパーティション化（２Ｎ×ｎＵ）。中央：各ＰＵに空間的に含まれる変換木葉を復号および符号化するために使用されるＺ走査順序（ＴＴＳ－１）（中央）。右側：考慮されるＣＵに含まれるＴＵ間で使用される、結果として得られた走査順序。

別の実施形態（ＴＴＳ－２）によれば、非正方形予測単位に含まれる変換木葉の処理は、これらの変換木葉間のラスタ走査順序に従う。これは、図６の中央に示される。

図６：左側：符号化単位（ＣＵ）の非対称的なパーティション化（２Ｎ×ｎＵ）。中央：各ＰＵに空間的に含まれる変換木葉を復号および符号化するために使用されるラスタ走査順序（ＴＴＳ－２）（中央）。右側：考慮されるＣＵに含まれるＴＵ間で使用される、結果として得られた走査順序。

別の実施形態（ＴＴ－２）によれば、変換木葉は、各予測単位が等しいサイズの変換木葉によって空間的にカバーされるように符号化単位を分割する。これは、図７および図８の中央に示される。

図７：符号化単位（ＣＵ）の非対称的なパーティション化（２Ｎ×ｎＵ）。中央：等しいサイズ（ＴＴ－２）を有する、各ＰＵに空間的に含まれる変換木葉を復号および符号化するために使用されるＺ走査順序（ＴＴＳ－１）（中央）。右側：考慮されるＣＵに含まれるＴＵ間で使用される、結果として得られた走査順序。

この最後の実施形態（ＴＴ－２）では、独自のＰＵに空間的に含まれる各変換木葉を符号化および復号する走査順序は、Ｚ走査順序（実施形態ＴＴＳ－１、図７の中央またはラスタ走査順序（実施形態ＴＴＳ－２、図８の中央）に従い得る。

図８：左側：符号化単位（ＣＵ）の非対称的なパーティション化（２Ｎ×ｎＵ）。中央：等しいサイズ（ＴＴ－２）を有する、各ＰＵに空間的に含まれる変換木葉を復号および符号化するために使用されるラスタ走査順序（ＴＴＳ－２）（中央）。右側：考慮されるＣＵに含まれるＴＵ間で使用される、結果として得られた走査順序。

その上、イントラＣＵに対して選択されたパーティション化に基づくクロマ成分ＰＵタイプの推論を配慮する。図９の左下によって示されるように、ＣＵのルマ成分を分けるために非正方形パーティション化が選択された際、ＣＵのクロマ成分を分けるために２Ｎ×２Ｎの予測単位タイプが使用される。

その上、クロマ変換木に関し、それは、ルマ成分において決定された変換木組織から完全に推測することができる。これは、ＨＥＶＣおよびＪＥＭにおいて既に指定されている規則に従う。これは、図９の右下の図に示される。

図９：左上：符号化単位（ＣＵ）の非対称的なパーティション化（２Ｎ×ｎＵ）。中央上：各ＰＵに含まれる変換木葉を復号および符号化するために使用されるＺ走査順序（ＴＴＳ－１）（中央）。右上：考慮されるＣＵに含まれるＴＵ間で使用される、結果として得られた走査順序。左下：非正方形ルマパーティション化の事例におけるクロマＰＵタイプ。右下：ルマ変換木から推測されたクロマ変換単位。

本原理は、ピクチャデータを符号化するための方法であって、前記ピクチャデータは、少なくとも１つの符号化単位を形成する、方法にさらに関する。従って、前記符号化単位の少なくとも１つは、上記で説明されるような本原理による符号化方法に従って符号化される。

本原理は、ピクチャデータを含む符号化単位をイントラ予測復号するための方法であって、前記イントラ予測復号は、予測木および変換木に依存する、方法にさらに関する。方法は、
－ 前記変換木の葉のサイズおよび非正方形パーティションタイプを得ることと、
－ 前記非正方形パーティションタイプに従って予測木を構築することと、
－ 前記変換木の葉に従って、かつ前記変換木の葉の各々が、前記構築された予測木の独自の単位に埋め込まれるように変換木を構築することと
をさらに含む。

本原理は、ピクチャデータを復号するための方法であって、前記ピクチャデータは、少なくとも１つの符号化単位を形成する、方法にさらに関する。従って、前記符号化単位の少なくとも１つは、上記で説明されるような本原理による復号方法に従って復号される。

復号方法の様々な実施形態および変形形態は、上記の説明から（具体的には図１～９の説明から）容易に推測することができる。

図１～９では、モジュールは、区別可能な物理ユニットと関係があってもなくともよい機能ユニットである。例えば、これらのモジュールまたはそれらのいくつかは、特有のコンポーネントまたは回路にまとめることも、ソフトウェアの機能性に寄与することもできる。それに反して、いくつかのモジュールは、別個の物理的実体から潜在的に構成することができる。本原理に適合する装置は、純粋なハードウェアを使用して、例えば、ＡＳＩＣ、ＦＰＧＡもしくはＶＬＳＩ（それぞれ＜＜特定用途向け集積回路＞＞、＜＜フィールドプログラマブルゲートアレイ＞＞、＜＜超大規模集積回路＞＞）などの専用ハードウェアを使用して、あるいはデバイスに埋め込まれたいくつかの統合電子コンポーネントから、またはハードウェアコンポーネントとソフトウェアコンポーネントとの混合物から実装される。

図１０は、図１～９に関連して説明される方法を実装するように構成することができるデバイス１００の例示的なアーキテクチャを表す。

デバイス１００は、データおよびアドレスバス１０１によってリンクされている以下の要素：
－ 例えば、ＤＳＰ（またはデジタル信号プロセッサ）であるマイクロプロセッサ１０２（またはＣＰＵ）、
－ ＲＯＭ（または読み取り専用メモリ）１０３、
－ ＲＡＭ（またはランダムアクセスメモリ）１０４、
－ アプリケーションから送信用のデータを受信するためのＩ／Ｏインタフェース１０５、および
－ バッテリ１０６
を含む。

例によれば、バッテリ１０６は、デバイスの外部のものである。言及されるメモリの各々では、本明細書で使用される「レジスタ」という用語は、小容量のエリア（数ビット）または非常に大きいエリア（例えば、全プログラムまたは大量の受信もしくは復号データ）に対応し得る。ＲＯＭ １０３は、プログラムおよびパラメータを少なくとも含む。ＲＯＭ １０３は、本原理による技法を実行するためのアルゴリズムおよび命令を格納することができる。電源を入れると、ＣＰＵ １０２は、ＲＡＭにプログラムをアップロードし、対応する命令を実行する。

ＲＡＭ １０４は、プログラム（ＣＰＵ １０２によって実行され、デバイス１００の電源を入れた後にアップロードされる）をレジスタに含み、入力データをレジスタに含み、方法の異なる状態の中間データをレジスタに含み、方法の実行のために使用される他の変数をレジスタに含む。

本明細書で説明される実装形態は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装することができる。実装の単一の形態に関連してのみ論じられる（例えば、方法またはデバイスとしてのみ論じられる）場合でも、論じられる特徴の実装形態は、他の形態（例えば、プログラム）で実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェアおよびファームウェアで実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路またはプログラマブル論理デバイスを含む、例えば、一般に処理デバイスを指す装置（例えば、プロセッサなど）で実装することができる。また、プロセッサは、例えば、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。

符号化またはエンコーダの例によれば、符号化予定のピクチャデータまたは符号化単位は、供給源から得られる。例えば、供給源は、
－ ローカルメモリ（１０３または１０４）（例えば、ビデオメモリまたはＲＡＭ（もしくはランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（もしくは読み取り専用メモリ）、ハードディスク）、
－ 記憶装置インタフェース（１０５）（例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインタフェース）、
－ 通信インタフェース（１０５）（例えば、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）または無線インタフェース（ＩＥＥＥ８０２．１１インタフェースもしくはBluetooth（登録商標）インタフェースなど））、および
－ ピクチャ捕捉回路（例えば、センサ、例えば、ＣＣＤ（もしくは電荷結合素子）またはＣＭＯＳ（もしくは相補型金属酸化膜半導体）など）
を含むセットに属する。

復号またはデコーダの例によれば、復号済みのピクチャデータまたは復号済みの符号化単位は、送り先に送信される。具体的には、送り先は、
－ ローカルメモリ（１０３または１０４）（例えば、ビデオメモリまたはＲＡＭ、フラッシュメモリ、ハードディスク）、
－ 記憶装置インタフェース（１０５）（例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインタフェース）、
－ 通信インタフェース（１０５）（例えば、有線インタフェース（例えば、バスインタフェース（例えば、ＵＳＢ（もしくはユニバーサルシリアルバス））、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース、ＨＤＭＩ（高解像度マルチメディアインタフェース）インタフェース）または無線インタフェース（ＩＥＥＥ８０２．１１インタフェース、WiFi（登録商標）もしくはBluetooth（登録商標）インタフェースなど））、
－ ディスプレイ
を含むセットに属する。

符号化またはエンコーダの例によれば、信号Ｓが生成される。

信号Ｓは、ピクチャデータを含む符号化単位をイントラ予測復号するための方法に関連する復号パラメータを有する。前記イントラ予測復号は、予測木および変換木に依存する。信号Ｓは、前記変換木を構築するために使用される前記変換木の葉のサイズと、前記予測木を構築するために使用される非正方形パーティションタイプとを説明する情報データを含むようにフォーマットされる。

変形形態によれば、情報データは、前記得られた予測木の同じ単位に埋め込まれる変換木の葉が、前記得られた予測木の別の単位に埋め込まれる変換木の葉を走査することを開始する前にすべて走査されるように、変換木走査順序を決定するために使用されることがさらに意図されている。

信号Ｓは、送り先に送信される。例として、信号Ｓは、ローカルまたはリモートメモリ（例えば、ビデオメモリ（１０４）またはＲＡＭ（１０４）、ハードディスク（１０３））に格納される。変形形態では、一方または両方のビットストリームは、記憶装置インタフェース（１０５）（例えば、大容量記憶装置、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインタフェース）に送られ、かつ／または通信インタフェース（１０５）（例えば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンクまたは放送ネットワークとのインタフェース）上で送信される。

復号またはデコーダの例によれば、信号Ｓは、供給源から得られる。例示的には、信号Ｓは、ローカルメモリ（例えば、ビデオメモリ（１０４）、ＲＡＭ（１０４）、ＲＯＭ（１０３）、フラッシュメモリ（１０３）またはハードディスク（１０３））から読み取られる。変形形態では、信号Ｓは、記憶装置インタフェース（１０５）（例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスクまたは磁気サポートとのインタフェース）から受信され、かつ／または通信インタフェース（１０５）（例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンクまたは放送ネットワークとのインタフェース）から受信される。

例によれば、デバイス１００は、図１～９に関連して説明される符号化方法を実装するように構成され、
－ モバイルデバイス、
－ 通信デバイス、
－ ゲームデバイス、
－ タブレット（またはタブレットコンピュータ）、
－ ラップトップ、
－ 静止ピクチャカメラ、
－ ビデオカメラ、
－ 符号化チップ、
－ 静止ピクチャサーバ、および
－ 映像サーバ（例えば、放送サーバ、ビデオオンデマンドサーバまたはウェブサーバ）
を含むセットに属する。

例によれば、デバイス１００は、上記で説明される復号方法を実装するように構成され、
－ モバイルデバイス、
－ 通信デバイス、
－ ゲームデバイス、
－ セットトップボックス、
－ ＴＶセット、
－ タブレット（またはタブレットコンピュータ）、
－ ラップトップ
－ ディスプレイ、および
－ 復号チップ
を含むセットに属する。

図１１に示される本原理の例によれば、通信ネットワークNET上の２つのリモートデバイスＡおよびＢ間の送信に関連して、デバイスＡは、上記で説明されるように、ピクチャデータまたは符号化単位を符号化するための方法を実装するように構成されたメモリＲＡＭおよびＲＯＭに関連するプロセッサを含み、デバイスＢは、上記で説明されるように、復号するための方法を実装するように構成されたメモリＲＡＭおよびＲＯＭに関連するプロセッサを含む。

例によれば、ネットワークは、デバイスＡから復号デバイス（デバイスＢを含む）に静止ピクチャまたは映像ピクチャを放送するように適応された放送ネットワークである。

信号Ｓは、デバイスＡによって送信され、デバイスＢによって受信されることが意図される。

図１２は、パケットベースの送信プロトコル上でデータが送信される際のそのような信号の構文の例を示す。各送信パケットＰは、ヘッダ（Ｈ）およびペイロード（PAYLOAD）を含む。ヘッダ（Ｈ）のビットは、例えば、信号Ｓによって伝えられた情報データを表すことを専門とする。変形形態では、複数のフラグは、信号Ｓによって伝えられる情報データを表すために使用することができ、各フラグは、例えば、変換および／または予測木のノードと関連付けられる。

本明細書で説明される様々なプロセスおよび特徴の実装形態は、様々な異なる機器またはアプリケーションで具体化することができる。そのような機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、およびピクチャもしくは映像を処理するための他の任意のデバイス、または他の通信デバイスを含む。明確であるべきように、機器は、モバイルであり得、移動車両に設置することさえも可能である。

加えて、方法は、プロセッサによって実行される命令によって実装することができ、そのような命令（および／または実装形態によって生成されたデータ値）は、コンピュータ可読記憶媒体上に格納することができる。コンピュータ可読記憶媒体は、コンピュータ可読プログラム製品の形態を取ることができ、コンピュータ可読プログラム製品は、１つまたは複数のコンピュータ可読媒体において具体化され、その上で具体化されたコンピュータ可読プログラムコードを有し、コンピュータ可読プログラムコードは、コンピュータによって実行可能である。コンピュータ可読記憶媒体は、本明細書で使用される場合、情報をその中に格納するための固有の能力およびそれからの情報の回収を提供するための固有の能力が与えられた非一時的記憶媒体と見なされる。コンピュータ可読記憶媒体は、例えば、これらに限定されないが、電子、磁気、光、電磁、赤外線もしくは半導体システム、装置もしくはデバイス、または前述の適切な任意の組合せであり得る。当業者であれば容易に認識できるように、以下：ポータブルコンピュータディスケット、ハードディスク、読み取り専用メモリ（ＲＯＭ）、消去型プログラム可能読み取り専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または前述の適切な任意の組合せは、本原理が当てはまるコンピュータ可読記憶媒体のより具体的な例を提供する一方で単なる例示であり、網羅的なリストでないことが認識されるべきである。

命令は、プロセッサ可読媒体上で有形に具体化されたアプリケーションプログラムを形成することができる。

命令は、例えば、ハードウェア、ファームウェア、ソフトウェアまたは組合せにおけるものであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーションまたはその２つの組合せで見出すことができる。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体（記憶装置など）を含むデバイスとの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えてまたは命令の代わりに、実装形態によって生成されたデータ値を格納することができる。

当業者に明らかであるように、実装形態は、例えば、格納または送信することができる、情報を伝えるようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明される実装形態の１つによって生成されたデータを含み得る。例えば、信号は、本原理の説明される例の構文を書き込むかもしくは読み取るための規則をデータとして伝えるように、または本原理の説明される例によって書き込まれた実際の構文－値をデータとして伝えるようにフォーマットすることができる。そのような信号は、例えば、電磁波として（例えば、スペクトルの高周波部分を使用して）またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化すること、および符号化されたデータストリームで搬送波を変調することを含み得る。信号が伝える情報は、例えば、アナログまたはデジタル情報であり得る。信号は、知られているように、様々な異なる有線または無線リンク上で送信することができる。信号は、プロセッサ可読媒体上に格納することができる。

多くの実装形態について説明してきた。それにもかかわらず、様々な変更形態がなされ得ることが理解されるであろう。例えば、他の実装形態を生成するために、異なる実装形態の要素を組み合わせることも、補足することも、変更することも、除去することもできる。加えて、当業者は、開示されるものの代わりに、他の構造およびプロセスを代用することができ、結果として得られる実装形態は、開示される実装形態と少なくとも実質的に同じ結果を達成するために、少なくとも実質的に同じ方法で少なくとも実質的に同じ機能を実行することを理解するであろう。従って、これらのおよび他の実装形態が本出願によって企図される。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
ピクチャデータを含む符号化単位をイントラ予測符号化するための方法であって、前記イントラ予測符号化は、予測木および変換木に依存する、方法において、
－ 非正方形パーティションタイプに従って前記符号化単位を空間的にパーティション化することにより、前記予測木を得ることと、
－ 前記変換木の葉の各々が、前記得られた予測木の独自の単位に埋め込まれるように前記符号化単位から前記変換木を決定することと、
－ 前記変換木の前記葉のサイズおよび前記非正方形パーティションタイプを信号で伝達することと
をさらに含むことを特徴とする方法。
（付記２）
前記得られた予測木の同じ単位に埋め込まれる前記変換木の前記葉が、前記得られた予測木の別の単位に埋め込まれる前記変換木の葉を走査することを開始する前にすべて走査されるように、前記非正方形パーティションタイプに従って変換木走査順序を決定することをさらに含む、付記１に記載の方法。
（付記３）
前記変換木走査順序は、Ｚ走査順序である、付記１に記載の方法。
（付記４）
同じ変換木の前記葉は、同じサイズを有する、付記１～３のいずれか一に記載の方法。
（付記５）
ピクチャデータを含む符号化単位をイントラ予測符号化するためのデバイスであって、前記イントラ予測符号化は、予測木および変換木に依存する、デバイスにおいて、
－ 非正方形パーティションタイプに従って前記符号化単位を空間的にパーティション化することにより、前記予測木を得ることと、
－ 前記変換木の葉の各々が、前記得られた予測木の独自の単位に埋め込まれるように前記符号化単位から前記変換木を決定することと、
－ 前記変換木の前記葉のサイズおよび前記非正方形パーティションタイプを信号で伝達することと
を行うように構成されたプロセッサをさらに含むことを特徴とするデバイス。
（付記６）
ピクチャデータをイントラ予測符号化するための方法であって、前記ピクチャデータは、少なくとも１つの符号化単位を形成する、方法において、前記符号化単位の少なくとも１つは、付記１～４のいずれか一に記載の方法に従ってイントラ予測符号化されることを特徴とする方法。
（付記７）
ピクチャデータをイントラ予測符号化するためのデバイスであって、前記ピクチャデータは、少なくとも１つの符号化単位を形成する、デバイスにおいて、付記６に記載の方法に従って前記符号化単位の少なくとも１つをイントラ予測符号化するように構成されたプロセッサを含むことを特徴とするデバイス。
（付記８）
ピクチャデータを含む符号化単位をイントラ予測復号するための方法であって、前記イントラ予測復号は、予測木および変換木に依存する、方法において、
－ 前記変換木の葉のサイズおよび非正方形パーティションタイプを得ることと、
－ 前記非正方形パーティションタイプに従って前記予測木を構築することと、
－ 前記変換木の前記葉に従って、かつ前記変換木の葉の各々が、前記構築された予測木の独自の単位に埋め込まれるように前記変換木を構築することと
をさらに含むことを特徴とする方法。
（付記９）
前記得られた予測木の同じ単位に埋め込まれる前記変換木の前記葉が、前記得られた予測木の別の単位に埋め込まれる前記変換木の葉を走査することを開始する前にすべて走査されるように、前記非正方形パーティションタイプに従って変換木走査順序を決定することをさらに含む、付記８に記載の方法。
（付記１０）
ピクチャデータを含む符号化単位をイントラ予測復号するためのデバイスであって、前記イントラ予測復号は、予測木および変換木に依存する、デバイスにおいて、
－ 前記変換木の葉のサイズおよび非正方形パーティションタイプを得ることと、
－ 前記非正方形パーティションタイプに従って前記予測木を構築することと、
－ 前記変換木の前記葉に従って、かつ前記変換木の葉の各々が、前記構築された予測木の独自の単位に埋め込まれるように前記変換木を構築することと
を行うように構成されたプロセッサを含むことを特徴とするデバイス。
（付記１１）
少なくとも１つの符号化単位を形成するピクチャデータをイントラ予測復号するための方法において、前記符号化単位の少なくとも１つは、付記８または９に記載の方法に従ってイントラ予測復号されることを特徴とする方法。
（付記１２）
少なくとも１つの符号化単位を形成するピクチャデータをイントラ予測復号するためのデバイスにおいて、付記８または９に記載の方法に従って前記符号化単位の少なくとも１つをイントラ予測復号するように構成されたプロセッサを含むことを特徴とするデバイス。
（付記１３）
ピクチャデータを含む符号化単位をイントラ予測復号するための方法に関連する復号パラメータを有する信号であって、前記イントラ予測復号は、予測木および変換木に依存する、信号において、前記変換木を構築するために使用される前記変換木の葉のサイズと、前記予測木を構築するために使用される非正方形パーティションタイプとを説明する情報データを含むようにフォーマットされることを特徴とする信号。
（付記１４）
前記非正方形パーティションタイプは、前記得られた予測木の同じ単位に埋め込まれる前記変換木の前記葉が、前記得られた予測木の別の単位に埋め込まれる前記変換木の葉を走査することを開始する前にすべて走査されるように、変換木走査順序を決定するために使用されることがさらに意図される、付記１３に記載の信号。
（付記１５）
プログラムがコンピュータ上で実行されると、付記１、７、８または１１のいずれか一に記載の方法のステップを実行するためのプログラムコード命令を含むコンピュータプログラム製品。
（付記１６）
プログラムがコンピューティングデバイス上で実行されると、付記１、７、８または１１のいずれか一に記載の方法のステップを実行するためのプログラムコードの命令を保持する非一時的記憶媒体。

Claims (17)

1. － 予測木の同じ予測単位に空間的に含まれる変換木の複数の葉が、前記予測木の前記同じ予測単位とは異なる別の予測単位に空間的に含まれる前記変換木の葉を走査することを開始する前にすべて走査されるように、非正方形パーティションタイプに従って変換木走査順序を決定すること
   － 前記予測木は、前記非正方形パーティションタイプに従って、ピクチャデータを含む符号化単位を予測単位に空間的にパーティション化することによって得られること、および
   － 前記変換木は、前記変換木の葉の各々が、前記予測木の同一場所に位置する予測単位内に空間的に含まれるように前記符号化単位から得られることを含む方法であって、
   － 前記方法は、前記予測木、前記変換木および前記変換木走査順序に依存して前記符号化単位をイントラ予測符号化することをさらに含む、方法。
2. 前記変換木の前記葉のサイズおよび前記非正方形パーティションタイプを信号で伝達することをさらに含む、請求項１に記載の方法。
3. 前記同じ予測単位内の前記葉の前記変換木走査順序は、Ｚ走査順序である、請求項１または２に記載の方法。
4. 同じ変換木の前記葉は、同じサイズを有する、請求項１～３のいずれか一項に記載の方法。
5. － 予測木の同じ予測単位に空間的に含まれる変換木の複数の葉が、前記予測木の前記同じ予測単位とは異なる別の予測単位に空間的に含まれる前記変換木の葉を走査することを開始する前にすべて走査されるように、非正方形パーティションタイプに従って変換木走査順序を決定すること
   － 前記予測木は、前記非正方形パーティションタイプに従って、ピクチャデータを含む符号化単位を空間的にパーティション化することによって得られること、および
   － 前記変換木は、前記変換木の葉の各々が、前記予測木の同一場所に位置する予測単位内に空間的に含まれるように前記符号化単位から得られることとを行うように構成されたプロセッサを含み、
   前記プロセッサは、前記予測木、前記変換木および前記変換木走査順序に依存して前記符号化単位をイントラ予測符号化するようにさらに構成された、デバイス。
6. 前記プロセッサは、前記変換木の前記葉のサイズおよび前記非正方形パーティションタイプを信号で伝達するようにさらに構成される、請求項５に記載のデバイス。
7. 前記同じ予測単位内の前記葉の前記変換木走査順序は、Ｚ走査順序である、請求項５または６に記載のデバイス。
8. 同じ変換木の前記葉は、同じサイズを有する、請求項５～７のいずれか一項に記載のデバイス。
9. － 非正方形パーティションタイプに従って予測木を構築することと、
   － 変換木を、前記変換木の葉のサイズに従って、かつ前記変換木の葉の各々が前記予測木の予測単位に空間的に含まれるように構築することと、
   － 前記予測木の同じ予測単位に空間的に含まれる前記変換木の複数の葉が、前記予測木の前記同じ予測単位とは異なる別の予測単位に空間的に含まれる前記変換木の葉を走査することを開始する前にすべて走査されるように、前記非正方形パーティションタイプに従って変換木走査順序を決定することとを含む方法であって、
   前記方法は、ピクチャデータを含む符号化単位をイントラ予測復号することをさらに含み、前記イントラ予測復号は、前記予測木および前記変換木に依存する、方法。
10. 前記変換木の前記葉の前記サイズおよび前記非正方形パーティションタイプを信号から受信することをさらに含む、請求項９に記載の方法。
11. 前記同じ予測単位内の前記葉の前記変換木走査順序は、Ｚ走査順序である、請求項９または１０に記載の方法。
12. 同じ変換木の前記葉は、同じサイズを有する、請求項９～１１のいずれか一項に記載の方法。
13. － 非正方形パーティションタイプに従って予測木を構築することと、
    － 変換木を、前記変換木の葉のサイズに従って、かつ前記変換木の葉の各々が前記予測木の予測単位に空間的に含まれるように構築することと、
    － 前記予測木の同じ予測単位に空間的に含まれる前記変換木の複数の葉が、前記予測木の前記同じ予測単位とは異なる別の予測単位に空間的に含まれる前記変換木の葉を走査することを開始する前にすべて走査されるように、前記非正方形パーティションタイプに従って変換木走査順序を決定することとを行うように構成されたプロセッサを含み、
    前記プロセッサは、ピクチャデータを含む符号化単位をイントラ予測復号するようにさらに構成され、前記イントラ予測復号は、前記予測木および前記変換木に依存する、デバイス。
14. 前記プロセッサは、前記変換木の前記葉の前記サイズおよび前記非正方形パーティションタイプを信号から受信するようにさらに構成される、請求項１３に記載のデバイス。
15. 前記同じ予測単位内の前記葉の前記変換木走査順序は、Ｚ走査順序である、請求項１３または１４に記載のデバイス。
16. 同じ変換木の前記葉は、同じサイズを有する、請求項１３～１５のいずれか一項に記載のデバイス。
17. プログラムがコンピュータ上で実行されると、請求項１～４または９～１２のいずれか一項に記載の方法のステップを実行するためのプログラムコード命令を含むコンピュータプログラム。

Images