JP6913755B2 - 広角イントラ予測によるビデオおよび画像の符号化 - Google Patents

Description

本出願に記載の各種実施形態は、方向性イントラ予測に基づく画像および／またはビデオの符号化に関する。異なる複数の態様について、画像およびビデオの符号化で方向性イントラ予測を使用するための方法、装置、システム、およびコンピュータプログラム製品、さらにその信号またはデータ構造が説明される。

背景

本セクションは、請求項に記載の発明に背景や文脈を添えることを意図したものである。本稿の説明は、特許化可能であって、既に必ずしも概念化、特許化されていないものを含みうる。したがって、本稿で別途記載しない限り、本セクションの内容は、本願の明細書および請求項に対する先行技術ではなく、本セクションに含めることで先行技術として認められるものではない。

方向性イントラ予測は、予測対象ブロック内で、方向性をもって、境界サンプルを推定することで、ブロック周りの復号サンプルに基づいて、予測サンプル（すなわち画素値）のブロックを生成する。この予測ブロックを、画像ブロックの符号化の基盤として利用してもよい。また、元のブロックを直接符号化する代わりに、予測ブロックと、元ブロックとの間の予測誤差を符号化してもよい。一般的に、予測が良好であるほど、画像の符号化効率は高い。典型的には、例えば、インター符号化画像と比較して、イントラ符号化画像が最大の符号化画像となる。

したがって、方向性イントラ予測に基づく画像およびビデオの符号化を向上する手段が求められている。

摘要

上記問題を軽減する改良された方法と、その方法を実施する技術的機器が発明されている。本発明の各種態様には、各独立請求項の記載を特徴とする方法、装置、サーバ、クライアントおよびコンピュータプログラムを記憶するコンピュータ可読媒体が含まれる。本発明の各種実施形態は、各従属請求項に開示されている。

本明細書では、広角予測方向によるイントラピクチャ方向性予測用の方法、装置、システム、コンピュータプログラム製品および信号が提示される。広角とは、参照位置から予測される画素への方向が、左上方向（「上」および「左」方向の中間の方向）に対して鈍角となることを指す。当該広角予測モード（すなわち方向）は、選択されたモードとして直接ビットストリームに符号化してもよい。使用時の広角方向、その数、正確な方向、確率は、予測されるブロックの形状により決定されてもよい。広角モードは、その反転モードにより、従来の狭角モードに対応してもよい。この反転モードは、基本狭角モードに対して反対、基本的に反対、または傾いているが、ある程度反対であってもよい。基本モードと広角モードのいずれを使用するか選択可能である。

第１の態様では復号方法が提供され、当該方法は、符号化画像データを含むビットストリームを受信することと、コンピュータメモリ内の当該ビットストリームから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成することと、予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測することと、前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向であり、複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成することと、前記ビットストリームから画像ブロックを復号する際に当該予測された画像ブロックを使用して、復号された画像ブロックを取得することとを含む。

前記予測された画像ブロックは、ある形状を有してもよい。前記方法は、前記ビットストリームから当該形状を判定することを含んでもよい。前記方法は、前記形状に基づいて、前記イントラピクチャ方向性予測において使用される方向性予測モードを判定することと、前記画素値を予測する際に、前記方向性予測モードから前記予測方向を選択することと、を含んでもよい。前記方法は、前記イントラピクチャ方向性予測において使用される予測モードを判定することと、前記形状に基づいて、可能性の高い予測モードを判定することと、前記予測方向が当該可能性の高い予測モードのうちの１つであるかを示す前記ビットストリームから、インジケータを復号することと、前記可能性の高い予測モードから前記予測方向を選択することと、を含んでもよい。前記方法は、前記イントラピクチャ方向性予測に使用される方向性予測モードを判定することと、前記ビットストリームから方向インジケータを復号することと、当該方向インジケータに関連付けられている基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択することと、を含んでもよい。前記方法は、前記ビットストリームから予測方向選択インジケータを復号することと、当該予測方向選択インジケータを使用して、前記基本方向と前記広角方向から前記画素値を予測するための前記予測方向を選択することと、を含んでもよい。前記方法は、前記形状に基づいて、基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択することを含んでもよい。前記基本方向は、前記広角方向と実質的に反対方向となるように、前記広角方向に関連付けられていてもよい。前記基本方向は、前記広角方向と実質的に反対方向とならないように、かつ前記広角方向とは左上方向の反対側となるように、前記広角方向に関連付けられていてもよい。２つ以上の広角方向が１つの基本方向に関連付けられていてもよく、２つ以上の基本方向が同一の広角方向に関連付けられていてもよく、またはその両方であってもよい。前記方法は、前記イントラピクチャ方向性予測において使用される予測モードを判定することと、前記ビットストリームから方向インジケータを復号することと、前記形状を使用して、当該方向インジケータに関連付けられている基本方向と広角方向との間の前記画素値を予測するための予測された予測方向を形成することと、当該予測された予測方向に基づいて前記予測方向を選択することと、を含んでもよい。

第２の態様では、符号化方法が提供され、当該方法は、符号化される画像データを受信することと、コンピュータメモリ内の前記画像データからイントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成することと、予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測することと、前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向であり、複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成することと、画像ブロックをビットストリームに符号化する際に、当該予測された画像ブロックを使用することとを含む。前記符号化方法はその一部として、本稿の採番された例に記載されているように、前記復号方法と同様の特徴を備えてもよい。

第３の態様では、本稿の採番された例に記載されているように、前記復号方法を実施させるように構成されたデコーダが提供される。

第４の態様では、本稿の採番された例に記載されているように、前記符号化方法を実施させるように構成されたエンコーダが提供される。

第５の態様では、本稿の採番された例に記載されているように、復号システムが提供される。

第６の態様では、本稿の採番された例に記載されているように、符号化システムが提供される。

第７の態様では、本稿の採番された例に記載されているように、復号コンピュータプログラム製品が提供される。

第８の態様では、本稿の採番された例に記載されているように、符号化コンピュータプログラム製品が提供される。

第９の態様では、本稿の採番された例に記載されているように、非一時的コンピュータ可読媒体に実施される信号が提供される。

以下では、添付の図面を参照して本発明の各種実施形態をより詳細に説明する。
画像またはビデオの符号化および復号用システムおよびデバイスを示す。 画像またはビデオの符号化および復号用システムおよびデバイスを示す。 エンコーダおよびデコーダのブロック図である。 エンコーダおよびデコーダのブロック図である。 画像の方向性イントラ予測を示す。 図３ｂ〜ｄは、画像の方向性イントラ予測を示す。 図４ａ〜ｄは、画像の広角方向性イントラ予測を示す。 広角方向性イントラ予測モードを示す。 広角方向性イントラ予測モードを示す。 広角方向性イントラ予測モードを示す。 広角方向性イントラ予測モードを示す。 広角方向性イントラ予測モードを示す。 図６ａ、図６ｂは、広角方向性イントラ予測を利用した符号化および復号を示すフローチャートである。 広角方向性イントラ予測を利用した符号化および復号を示すフローチャートである。 広角方向性イントラ予測を利用した符号化および復号を示すフローチャートである。

例示的実施形態の説明

以下に、本発明のいくつかの実施形態を、ビデオの符号化および復号の文脈に準じて説明する。ただし、本発明はビデオの符号化および復号に限定されず、静止画像の符号化および復号、画像およびビデオ形式間の変換（トランスコーディング）に利用されてもよい。実際に、異なる様々な実施形態は、画像またはビデオの符号化や復号用の方向性イントラ予測が求められる任意の環境に幅広く適用されうる。

図１ａおよび図１ｂは、各例に係る、画像および／またはビデオの符号化および／または送信用のシステムおよびデバイスを示す。図１ａにおいて、異なる複数のデバイスが、インターネットまたはローカルエリアネットワークのような固定ネットワーク１１０、あるいはモバイル通信ネットワーク１２０を介して接続されてもよい。モバイル通信ネットワーク１２０は、ＧＳＭ（Global System for Mobile communications）ネットワーク、３Ｇネットワーク、３．５Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、無線ＬＡＮ（Wireless Local Area Network：ＷＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはその他現行または将来的なネットワークを含む。異なる複数のネットワークは、通信インタフェース１８０により互いに接続される。ネットワークは、ルータやスイッチのような、データ取り扱い用のネットワーク要素と、基地局１３０および１３１のような、異なる複数のデバイスをネットワークにアクセス可能にするための通信インタフェースとを備える。基地局１３０、１３１はそれ自体が、固定接続１７６または無線接続１７７を介してモバイルネットワーク１２０に接続されている。

ネットワークに接続された複数のサーバが存在してもよい。図１ａの例では、画像または動画アクセスまたはストリーミング用のネットワークサービスを提供し、固定ネットワーク１１０に接続されたサーバ１４０と、画像／動画データの処理（例えば、符号化またはトランスコーディング）用であって、固定ネットワーク１１０に接続されたサーバ１４１と、例えば、画像／動画共有サービスのようなネットワークサービスを提供し、モバイルネットワーク１２０に接続されたサーバ１４２と、が示される。例えばコンピュータ１４０、１４１、１４２のような上述のデバイスのいくつかは、固定または無線ネットワーク１１０に存在する通信要素と共に、インターネットを構築するようなものであってもよい。

また、複数のエンドユーザデバイスが存在してもよい。当該デバイスは、携帯電話およびスマートフォン１５１、インターネットアクセスデバイス（インターネットタブレット）１５０、各種サイズおよび形式のパーソナルコンピュータ１６０、テレビおよびその他視聴用デバイス１６１、ビデオデコーダおよびプレーヤ１６２、ビデオカメラ１６３、およびその他エンコーダを含む。これらデバイス１５０、１５１、１６０、１６１、１６２、および１６３も、複数のパーツから形成されてもよい。各種デバイスは、インターネットへの固定接続１７０、１７１、１７２、１８０等の通信接続、インターネット１１０への無線接続１７３、モバイルネットワーク１２０への固定接続１７５、モバイルネットワーク１２０への無線接続１７８、１７９、１８２を介してネットワーク１１０および１２０に接続される。接続１７１から１８２は、通信接続の各端において、通信インタフェースに実現される。各種デバイスは、本稿記載の例にしたがって、画像およびビデオを生成、変換、送信、受信、復号、表示してもよい。

図１ｂは、画像またはビデオデータの符号化および復号（さらにトランスコーディング、すなわち、異なる形式での復号および符号化）用のデバイスを示す。図１ｂに示すように、サーバ１４０は、メモリ１４５と、１つまたは複数のプロセッサ１４６、１４７と、例えば、符号化および／または復号機能を実現するために、メモリ１４５内に存在するコンピュータプログラムコード１４８とを含む。異なるサーバ１４１、１４２は、各サーバに関する機能を利用するために、少なくともこれら同一の要素を含んでもよい。同様に、エンドユーザデバイス１５１は、メモリ１５２と、少なくとも１つのプロセッサ１５３、１５６と、例えば、デバイスカメラからの画像データの符号化または復号を実現するために、メモリ１５２内に存在するコンピュータプログラムコード１５４とを含む。エンドユーザデバイスは、例えば複数のフレームまたは静止画像を含むビデオストリームのような、画像データを取得する１つまたは複数のカメラ１５５および１５９を有してもよい。エンドユーザデバイスはさらに、音を拾うための、１つまたは２つ以上のマイクロフォン１５７および１５８をさらに含んでもよい。異なるエンドユーザデバイス１５０、１６０は、各デバイスに関する機能を利用するために、少なくともこれら同一の要素を含んでもよい。エンドユーザデバイスはさらに、グラフィカルユーザインタフェースを見るためのスクリーンを備えてもよい。エンドユーザデバイスおよびサーバはさらに、その他デバイスと通信するため、１つのモジュール内に実現される各種通信モジュールまたは通信機能を備えてもよい。

各種エンドユーザデバイスおよびサーバは、通信デバイスまたは通信機能を有するその他デバイスの形式であってもよい。例えば、デバイスは玩具、キッチン用電子機器等の家電、娯楽デバイス（テレビ、音楽／メディアデバイス）、さらにまたは建物、衣服、車両、または互いに通信するその他デバイスの一部であってもよい。

なお、異なる実施形態は、異なる要素内で、異なる部位が実施可能であることを理解されたい。例えば、画像データ（画像またはビデオ）の受信および変換は、すべてデバイス１５０、１５１または１６０のような１つのユーザデバイス、もしくは１つのサーバデバイス１４０、１４１、または１４２で実行されてもよいし、または複数のユーザデバイス１５０、１５１、１６０間、複数のネットワークデバイス１４０、１４１、１４２間、もしくはユーザデバイス１５０、１５１、１６０およびネットワークデバイス１４０、１４１、１４２の両方の間で実行されてもよい。例えば、画像データ（画像またはビデオ）は、単一のデバイスで形成および記憶されてもよい。画像データの符号化は、別のデバイスで行われ、復号はさらに別にデバイス（例えば、サーバ）で行われてもよい。例えば、機能を実行するための関連ソフトウェアが、単一のデバイスに存在してもよいし、上述のように複数のデバイス間に分散してもよい。これにより、例えば、デバイスはいわゆるクラウドを形成する。

異なる実施形態は、モバイルデバイスや、任意でサーバ上で動作するソフトウェアで実現されてもよい。携帯電話には、少なくともメモリ、プロセッサ、ディスプレイ、キーパッド、人感センサハードウェア、２Ｇ、３Ｇ、ＷＬＡＮ他等の通信手段が設けられてもよい。異なるデバイスは、タッチスクリーン（シングルタッチまたはマルチタッチ）のようなハードウェア、およびネットワーク・ポジショニングまたはグローバル・ポジショニング・システム（ＧＰＳ）モジュール等の測位手段を有してもよい。デバイス上に、各種アプリケーションが存在してもよい。例えば、カレンダーアプリケーション、連絡アプリケーション、地図アプリケーション、メッセージアプリケーション、ブラウザアプリケーション、ギャラリーアプリケーション、ビデオプレーヤアプリケーション、さらにオフィスおよび／または個人用の各種その他アプリケーションである。デバイスは、その他デバイスと通信するための各種通信モジュールを有してもよい。

ビデオコーデックは、入力ビデオを記憶／送信に適した圧縮表現に変換するエンコーダと、圧縮ビデオ表現を、視聴可能な形式に解凍するデコーダとからなる。典型的には、エンコーダは、元のビデオシーケンスから一部の情報を破棄することで、よりコンパクトなビデオ表現にする（すなわち、より低いビットレートにする）。

典型的なハイブリッドビデオコーデック（例えば、ＩＴＵ−Ｔ Ｈ．２６３およびＨ．２６４）は、ビデオ情報を二段階で符号化する。まずは、所与のピクチャ領域（または「ブロック」）における画素値を予測する。この予測は、例えば動き補償手段（符号化されているブロックに強く関連する、既に符号化されたビデオフレームの１つ内の領域を見つけ、示す）、または空間的手段（符号化されるブロックの周りの画素値を特定の方法で使用する）によって行われる。次に、画素の予測ブロックと、画素の元のブロックとの間の差分である予測誤差が符号化される。これは、典型的には、画素値間の差分を特定の手法（例えば、離散コサイン変換（ＤＣＴ）またはその変形）で変換し、係数を量子化し、量子化された係数をエントロピー符号化することで実現される。量子化処理の性能を変更することで、エンコーダは画素表現の精度（ピクチャ品質）と、得られる符号化ビデオ表現のサイズ（ファイルサイズまたは送信ビットレート）との間のバランスを制御できる。

図２ａはエンコーダと、それが実行する符号化方法を示す。図２ａにおいて、符号化される画像Ｉ_ｎが、エンコーダへの入力となる。入力画像は、静止画像またはビデオ信号のフレームでありうる。画像ブロックＰ'_ｎの予測表現は、入力される画像データから減算されて予測誤差信号Ｄ_ｎが得られるように生成される。予測誤差信号は、変換Ｔおよび量子化Ｑにより符号化される。逆量子化Ｑ^−１および逆変換Ｔ^−１により得られた再構成された予測誤差信号Ｄ'_ｎが、仮再構成画像Ｉ'_ｎを生成するために使用される。画像ブロックＰ'_ｎの予測表現は、モードに応じて（モード選択ＭＳ）、イントラ予測Ｐ_{ｉｎｔｒａ}またはインター予測Ｐ_{ｉｎｔｅｒ}により取得されうる。インター予測において、適宜フィルタリングＦおよび参照フレームメモリＲＦＭを使用して、最終再構成画像Ｒ'_ｎを記憶する。参照フレームメモリ内の画像は、デコーダにより、復号処理の結果として最終的に得られた画像に対応する。変換、量子化後の予測誤差、モード選択、およびその他符号化パラメータは、エントロピーエンコーダＥによりエントロピー符号化される。得られたビットストリームは、記憶または送信され、その後デコーダにより復号できる。

図２ａに示すようなエンコーダは、符号化画像データを復号して、復号画像データが予測処理に使用できるようにするデコーダを備えてもよい。復号画像データは、例えば、参照ピクチャバッファのようなバッファに記憶される。エンコーダが予測により入力ビデオデータを復号する場合、バッファからのバッファされた復号データが使用される。エンコーダはさらに、より高速処理を実現するため、入力ビデオデータを予測の基礎としてもよい。しかし、そのような手法の場合、デコーダが予測の基礎として使用する符号化および復号ビデオデータは、エンコーダにより使用される入力ビデオデータと異なるため、符号化誤差が生じてしまう。

ＨＥＶＣ［１］等のいくつかのビデオコーデックでは、ビデオピクチャはピクチャの領域を網羅する複数の符号化単位（ＣＵ）に分割される。ＣＵは、当該ＣＵ内のサンプルに対する予測処理を定義する１つまたは複数の予測単位（ＰＵ）と、当該ＣＵ内のサンプルに対する予測誤差符号化処理を定義する１つまたは複数の変換単位（ＴＵ）とからなる。典型的には、ＣＵはサンプルの、正方形または長方形ブロックからなる。そのサイズは、所定組の可能なＣＵサイズから選択可能である。典型的には、設定可能な最大サイズを有するＣＵは、最大符号化単位（Largest Coding Unit：ＬＣＵ）、またはコーディングツリーユニット（Coding Tree Unit：ＣＴＵ）と称され、ビデオピクチャは非重複のＣＴＵに分割される。ＣＴＵはさらに、より小さなＣＵの組合せに分割できる。例えば、これはＣＴＵや結果として得られたＣＵを再帰的に分割することで実現される。典型的には、得られたＣＵはそれぞれ、少なくとも１つのＰＵと、これに関連付けられた少なくとも１つのＴＵとを有する。各ＰＵおよびＴＵは、それぞれ予測処理および予測誤差符号化処理の粒度を増すために、さらにより小さなＰＵおよびＴＵに分割できる。各ＰＵは、それに関連付けられた予測情報を有する。この情報は、当該ＰＵ内の画素にどのような予測が適用されるかを定義するものである（例えば、インター予測ＰＵのための動きベクトル情報と、イントラ予測ＰＵのためのイントラ予測方向性情報）。同様に、各ＴＵは、当該ＴＵ内のサンプルのための予測誤差復号処理を示す情報に関連付けられる（例えば、ＤＣＴ係数情報を含む）。典型的には、各ＣＵについて予測誤差符号化が適用されるか否かが、ＣＵレベルでシグナリングされる。ＣＵに関連付けられた予測誤差残差がない場合、当該ＣＵに対するＴＵが存在しないと考えられる。典型的には、画像のＣＵへの分割、ＣＵのＰＵおよびＴＵへの分割が、ビットストリームでシグナリングされる。これにより、デコーダは、これら単位の所望の構造を再生できる。

インター予測（時間予測とも称されうる）、動き補償、または動き補償予測により、時間的冗長性が低減する。インター予測の基となるのは、以前に復号されたピクチャである。イントラ予測は、同一のピクチャ内の隣接画素が相関する可能性が高いという事実を利用する。イントラ予測は、空間または変換領域内で実行できる。すなわち、サンプル値も変換係数も予測可能である。典型的には、イントラ予測はイントラ符号化で利用され、その場合、インター予測は適用されない。

符号化手順により得られるものの１つとして、動きベクトルおよび量子化変換係数等の符号化パラメータ組が挙げられる。多くのパラメータは、まずは空間または時間的に隣接したパラメータから予測することで、より効率的にエントロピー符号化できる。例えば、動きベクトルを空間的に隣接した動きベクトルから予測し、動きベクトル予測子に関する差分のみを符号化してもよい。１つまたは複数の静止画像の符号化の場合、その結果としての出力は画像ビットストリームと称され、ビデオの符号化の場合、その結果としての出力はビデオビットストリームと称されてもよい。

デコーダは、画素ブロックの予測表現を生成するエンコーダと同様の予測手段を適用し（エンコーダにより生成され、圧縮表現に記憶された動きまたは空間情報を利用する）、予測誤差復号（空間画素領域内の、量子化予測誤差信号を回復する予測誤差符号化と逆の処理）を適用して、出力ビデオを再構成する。予測および予測誤差復号手段を適用した後、デコーダは予測と予測誤差信号（画素値）とを加算して、出力ビデオフレームを生成する。デコーダ（およびエンコーダ）は、追加的なフィルタリング手段を適用して、表示および／またはビデオシーケンスにおける後続のフレーム用の予測参照としての記憶のために送る前に、出力ビデオの品質を向上してもよい。

図２ｂは、デコーダとそれによる復号方法を示す。図２ｂにおいて、入力ビットストリームが、エントロピーデコーダＥ^−１により復号されて、予測誤差信号および復号モード情報が得られる。予測誤差は、逆量子化Ｑ^−１および逆変換Ｔ^−１により復号されて、再構成予測誤差信号Ｄ'_ｎが得られる。モードに応じて、イントラまたはインター予測Ｐを利用した画素予測により、画像ブロックＰ'_ｎの予測表現が得られる。参照フレームメモリＲＦＭにより、既に復号されたピクチャが記憶される。再構成予測誤差信号Ｄ'_ｎと、画像ブロックＰ'_ｎの予測表現から、仮再構成画像Ｉ'_ｎが得られる。この仮再構成画像Ｉ'_ｎはイントラ予測において使用可能で、フィルタリングＦを通じて最終再構成画像Ｒ'_ｎを取得するために使用可能である。出力された最終再構成画像Ｒ'_ｎは、参照ピクチャメモリＲＦＭに記憶され、ユーザに表示されてもよい。

Ｈ．２６４／ＡＶＣおよびＨ．２６５エンコーダの入力と、Ｈ．２６４／ＡＶＣおよびＨ．２６５デコーダの出力それぞれの基本単位はピクチャである。ピクチャは、フレームまたはフィールドでありうる。フレームは、輝度サンプルと、対応する彩度サンプルの行列を含む。フィールドは、フレームの交互のサンプル行の組であり、ソース信号がインタレースされる場合に、エンコーダ入力として使用されうる。Ｈ．２６４／ＡＶＣおよびＨ．２６５において、マクロブロックは輝度サンプルの１６×１６ブロックと、対応する彩度サンプルのブロックである。例えば、４：２：０サンプリングパターンにおいて、マクロブロックは、各彩度成分について彩度サンプルの８×８ブロックを１つ含む。Ｈ．２６４／ＡＶＣおよびＨ．２６５において、ピクチャは１つまたは複数のスライス群に区画され、各スライス群は、１つまたは複数のスライスを含む。Ｈ．２６４／ＡＶＣおよびＨ．２６５において、スライスは整数個のブロックからなる。

符号化サンプル値を示すためにサンプル値予測および変換符号化を利用する手法に代えて、または加えて、カラーパレット式符号化を利用してもよい。パレット式符号化とは、色と関連指標の組であるパレットが定義され、符号化単位内の各サンプルの値が、パレット内の対応する指標を示すことで表現される、複数の同様の手法である。パレット式符号化によると、比較的少ない色数で（テキストやシンプルなグラフィックのような、コンピュータ画面コンテンツを示す画像領域等）、符号化単位内で高い符号化効率を実現できる。パレット符号化の符号化効率を向上するために、異なる複数の種類のパレット指標予測手法を利用してもよい。あるいは、パレット指標は、効率的により大きな同種画像領域を示すことが可能なように、ランレングス方式で符号化されてもよい。また、ＣＵが当該ＣＵ内で繰り返さないサンプル値を含む場合、エスケープ符号化を利用してもよい。エスケープ符号化されたサンプルは、いずれのパレット指標も参照することなく送信される。その代わりに、その値は、各エスケープ符号化サンプルについて個別に示される。

典型的なビデオコーデックでは、動き情報は、各動き補償画像ブロックに関連付けられた動きベクトルにより示される。これら動きベクトルは、符号化される（エンコーダ側）または復号される（デコーダ側）ピクチャにおける画像ブロックの、既に符号化または復号されたピクチャの１つにおける予測ソースブロックに対するずれを示す。動きベクトルを効率的に表すために、これらは典型的にはブロック固有予測動きベクトルに対して異なる符号化がなされる。典型的なビデオコーデックにおいては、予測動きベクトルは所定の方法で生成される。例えば、隣接した複数のブロックの符号化または復号動きベクトルの中央値を取るのである。動きベクトル予測を生成する別の方法として、時間参照ピクチャにおける隣接したブロックおよび／または同位置のブロックからの予測候補リストを生成し、選択された候補を動きベクトル予測子としてシグナリングしてもよい。動きベクトル値の予測に加えて、既に符号化／復号ピクチャの参照インデクスを予測してもよい。典型的には、参照インデクスは時間参照ピクチャにおける隣接したブロックおよび／または同位置ブロックから予測される。さらに、典型的な高効率ビデオコーデックは、追加的な動き情報符号化／復号メカニズムを利用する。これはいわゆるマージング／マージモードと呼ばれるものであって、あらゆる動きフィールド情報（各利用可能な参照ピクチャリストに対する動きベクトルと、対応する参照ピクチャインデクスとを含む）が、変更／修正を一切介さずに、予測、使用される。同様に、動きフィールド情報は、時間参照ピクチャにおける隣接したブロックおよび／または同位置ブロックの動きフィールド情報を使用して予測される。使用される動きフィールド情報は、利用可能な隣接／同位置ブロックの動きフィールド情報で満たされた動きフィールド候補リスト内でシグナリングされる。

典型的には、ビデオコーデックは、１つのソース画像からの動き補償予測（単方向予測）と、２つのソースからの予測（双方向予測）に対応する。単方向予測の場合、単一の動きベクトルが適用される。双方向予測の場合、２つの動きベクトルがシグナリングされ、２つのソースからの動き補償予測が平均化されて、最終サンプル予測が生成される。重み付け予測の場合、２つの予測の相対重みが調整できる。またはシグナリングされたオフセットを予測信号に加えることができる。

インターピクチャ予測用に動き補償を適用することに加え、イントラピクチャ予測に同様の手法を適用できる。この場合、変位ベクトルが、符号化または復号されるブロックの予測を生成するために、サンプルのブロックが同一のピクチャのどこからコピーできるかを示す。このようなイントラブロックコピー手法は、テキストまたはその他グラフィックのような、フレーム内の繰返し構造が存在する場合、符号化の効率を大幅に上げることができる。

典型的なビデオコーデックは、動き補償またはイントラ予測後の予測残差はまず変換カーネル（ＤＣＴ等）により変換されて、その後符号化される。この理由は、残差間はある程度相関することが多く、変換はこの相関の低減に寄与する場合が多く、符号化の効率化が図られるためである。

典型的なビデオエンコーダは、ラグランジュ費用関数を利用して、理想的な符号化モード、例えば所望のマクロブロックモードと、これに関連付けられた動きベクトルとを見つける。この種の費用関数は、重み係数λを利用して、非可逆符号化方法に起因する（正確な、または推定された）画像歪みと、画像領域内の画素値を表すのに必要な（正確な、または推定された）情報量とを結びつける。
Ｃ ＝ Ｄ ＋ λＲ （数１）
式中、Ｃは最小化されるラグランジュ費用、Ｄはモードおよびベクトルを考慮した画像歪み（例えば平均平方誤差）、Ｒはデコーダ内で画像ブロックを再構成するのに必要なデータを表すのに要するビット数（候補動きベクトルを表すデータ量を含む）を表す。

スケーラブルなビデオの符号化は、１ビットストリームが異なるビットレート、解像度、またはフレームレートの複数のコンテンツ表現を含みうる、符号化構造を指す。このような場合、受信側は、その特性に応じて、所望の表現を抽出できる（例えば、ディスプレイデバイスに最も適した解像度）。あるいは、サーバまたはネットワーク要素が、例えばネットワーク特性または受信側の処理能力に応じて、受信側に送られるビットストリームの一部を抽出できる。典型的には、スケーラブルビットストリームは、「ベース層」と、１つまたは複数の強化層とからなる。ベース層は、可能な最低画質ビデオを提供するものである。１つまたは複数の強化層は、低層と共に受信、復号された際に、ビデオ品質を上げるものである。典型的には、強化層の符号化効率を上げるために、当該層の符号化表現は、低層に依存する。例えば、低層から、強化層の動きおよびモード情報を予測可能である。同様に、低層の画素データを利用して、強化層の予測を生成できる。

画質スケーラビリティ（いわゆる信号雑音比またはＳＮＲ）および／または空間スケーラビリティ用のスケーラブルビデオコーデックは以下のとおり実現される。ベース層に対して、従来の非スケーラブルビデオエンコーダおよびデコーダが使用される。ベース層の再構成／符号化ピクチャは、強化層用の参照ピクチャバッファに含まれる。インター予測用の（１つまたは複数の）参照ピクチャリストを利用するＨ．２６４／ＡＶＣ、ＨＥＶＣ、および同様のコーデックにおいては、ベース層復号ピクチャを、（１つまたは複数の）参照ピクチャリストに挿入して、強化層の復号参照ピクチャ同様に強化層ピクチャの符号化／復号を実行してもよい。したがって、エンコーダはベース層参照ピクチャを、インター予測参照として選択し、典型的には、符号化ビットストリーム内の参照ピクチャインデクスにより、その使用を示す。デコーダは、ビットストリームから、例えば、参照ピクチャインデクスから、ベース層ピクチャが、強化層に対するインター予測参照として使用されることを復号される。復号ベース層ピクチャが、強化層に対する予測参照として使用される場合、それはレイヤ間参照ピクチャと称される。

画質スケーラビリティに加えて、以下のスケーラビリティモードが存在する。
・空間スケーラビリティ：ベース層ピクチャが、強化層ピクチャよりも低解像度で復号される。
・ビット深度スケーラビリティ：ベース層ピクチャが、強化層ピクチャ（例えば１０または１２ビット）よりも低いビット深度（例えば８ビット）で符号化される。
・彩度形式スケーラビリティ：強化層ピクチャが、彩度に関して、ベース層ピクチャ（例えば４：２：０形式）よりも高い忠実度（例えば４：４：４彩度形式で符号化）となる。

すべての上述のスケーラビリティにおいて、ベース層情報を使用して、追加ビットレートオーバーヘッドを最低限に抑えるように、強化層を符号化することができる。

スケーラビリティは、２つの基本的な方法で実現可能である。すなわち、スケーラブル表現の低層から、画素値またはシンタクスの予測を実行する新しい符号化モードを導入するか、高層の参照ピクチャバッファ（復号ピクチャバッファ（Decoded Picture Buffer：ＤＰＢ））に対する低層ピクチャに配置するのである。前者の方がより柔軟で、大抵の場合、より高符号化効率を実現できる。一方で、後者の、参照フレーム式スケーラビリティの場合、実現可能な符号化効率ゲインの大部分を損なわずに、単層コーデックに対して最小の変化で、極めて効率的に実現できる。基本的に、参照フレーム式スケーラビリティコーデックは、ＤＰＢ管理を外部手段に任せるだけで、全層に対して、同じハードウェアまたはソフトウェア実装を利用して、実現できる。

並行処理を利用可能にするため、画像を、個別に符号化、復号可能な画像セグメント（スライスまたはタイル）に分割できる。スライスは、典型的には、初期の符号化または復号順序で処理される、所与の数の基本符号化単位から構成される画像セグメントである。タイルは、典型的には、少なくともある程度は個別フレームとして処理される長方形画像領域として定義された画像セグメントを指す。

従来の方向性イントラ予測では、ブロックの上から−４５から＋４５度、左から−４５から＋４５度の範囲に、利用可能な方向組が限定される。斜め右上から斜め左下に広がるこの１８０度範囲は、従来の正方形イントラ予測ブロックには十分である。例えば、Ｈ．２６４／ＡＶＣおよびＨ．２６５／ＨＥＶＣビデオの符号化規格は、正方形予測ブロックおよびイントラ予測方向による従来の空間イントラ予測を使用する。その範囲は、ブロックの上から−４５から＋４５度、左から−４５から＋４５度となる。

図３ａは、Ｈ．２６５／ＨＥＶＣビデオの符号化規格で使用されるイントラ予測方向組を示す。左の境界からの水平予測と、上の境界からの垂直予測との数値は、−３２から＋３２の範囲で、１／３２サンプル精度で、サンプル距離毎に、投影差分を定義する。言い換えると、方向性イントラ予測に利用される参照画素（１つまたは複数）は、利用される予測およびイントラ予測方向に利用される境界からの水平および垂直距離により決定できる。例えば、＋３２という値は、予測サンプルと、参照サンプルとの間の各サンプル単位についての＋３２／３２参照位置変位に対応する（すなわち、＋４５度予測角度を利用）。別の例として、水平予測の−１７という値は、（垂直）境界から４画素から離れた画素が、予測される画素に対して−６８／３２の参照位置を有することを意味する。すなわち、予測される画素が存在するレベルから、２番目と３番目の画素の間に参照画素位置があり、予測される画素の値は、２番目と３番目の画素値の重み付け平均として（２８×ａ_２＋４×ａ_３）／３２で得られる。一般的に、イントラ予測方向を使用して、参照画素または予測用画素を決定する。参照画素（１つまたは複数）は、予測された画素値の決定に利用される。これは例えば、参照画素値の重み付け平均による。ブロック境界（またはブロック境界の延長上）に直接隣接する画素を参照画素として利用できる。さらに／あるいは、ブロック境界からさらに離れた画素も利用できる。

図３ｂは、予測ブロック内の各サンプルが、予測処理において、同じ予測方向を利用する手法を示す。図３ｂにおいて、丸い画素は、予測サンプルのブロックを示し、黒い四角は、参照サンプルの行を示す。さらに、図３ｂは、固定予測方向の、第１および第２サンプル行についての予測投影を示す。上述のように、真上の参照サンプルからのずれが計算されることで、予測サンプルの第１列について、ずれはｄとなり、予測サンプルの第２列について、ずれは２ｄとなり、以下同様となる。

図３ｃは、参照行からの予測対象サンプル行の距離に応じて変化するイントラ予測方向を適用する場合を示す。図３ｃにおいて、予測投影は、参照サンプルからの垂直距離に基づいて評価される。第１、第２、第３、第４行のずれは、ｄ_１、ｄ_１＋ｄ_２、ｄ_１＋ｄ_２＋ｄ_３、ｄ_１＋ｄ_２＋ｄ_３＋ｄ_４となる。ずれの増分ｄ_１、ｄ_２、ｄ_３、ｄ_４は大きさが異なる。例えば、大きさが大小する。言い換えると、予測対象ブロック内の予測方向は可変である。例えば、予測対象の第１行の予測方向が決まっており、その第１予測方向から、その他の行の予測方向が計算されてもよい。

図３ｄは、ブロックレベルで同様の手法を適用する場合を示す。予測された画素値の各４×４予測ブロックは、ブロックの位置に基づいて計算されている明確な予測方向を有する。ブロックの第１行のブロックは、当該ブロックの上方の参照サンプルを予測の参照に使用できる。ブロックの第１行のブロックより下方のブロックは、それらの真上のブロック内のサンプルを予測の参照に使用できる。各ブロックは、その予測方向が個別に、互いの相対ブロック位置に基づいて（あるいは、定義された原点に対して）決定されている。したがって、予測方向はブロック間に変化する場合があり、予測対象画素の第１行のずれは、ここではｄ_１、ｄ_２、ｄ_３、ｄ_４となる。

上述のように、重み付け平均を利用して、参照画素値から予測された画素値を取得してもよい。一行の参照画素に加え、複数行の参照画素を利用してもよい。予測処理の目的は、一貫性があり、平滑な予測ブロックを提供することで、残りの予測誤差信号を効率的に符号化できるようにすることであると理解されたい。実際、エンコーダは異なる複数の予測方向でブロックを符号化し、最高の符号化効率が得られる予測方向を選択してもよい。

利用可能な方向性予測方向（方向性予測モードとも称する）は、方向性予測モード組を形成するものと理解できる。例えば、Ｈ．２６５／ＨＥＶＣビデオの符号化規格で利用される方向性イントラ予測方向組または方向性イントラ予測モード組は、水平予測では−３２、−２６、−２１、−１７、−１３、−９、−５、−２、０、＋２、＋５、＋９、＋１３、＋１７、＋２１、＋２６、＋３２で、垂直予測では−３２、−２６、−２１、−１７、−１３、−９、−５、−２、０、＋２、＋５、＋９、＋１３、＋１７、＋２１、＋２６、＋３２である。方向−３２は、水平および垂直予測方向に一致する。図３ａにおいて、水平予測における方向＋３２は、＋３２垂直予測方向と真逆である。別の予測方向組も利用できる。例えば、共同探索テストモデル４（Joint Exploration Test Model：ＪＥＭ４）は、イントラ予測方向がＨ．２６５／ＨＥＶＣと同じ角度範囲で、四角（正方形および非正方形）予測ブロックに対応する。ただし、Ｈ．２６５／ＨＥＶＣ方向間により多くの予測方向が導入される。

図３ａに示すように、予測の左上方向は、予測対象の正方形ブロックの中心から、当該ブロックの左上角への、４５度方向であると理解できる。左上方向は、より一般的には、水平（左）および垂直（上）方向の間の、左上への４５度方向として理解されたい。この左上方向を参照として利用でき、例えば図３ａにおけるすべての予測方向が、左上方向に対して０度、鋭角（９０度未満）、または直角（９０度）のいずれかとなる。図３ａにおいて、角度αは、水平予測方向（ブロックの左の参照サンプルからの予測）を示し、角度βは、垂直予測方向（ブロックの上方の参照サンプルからの予測）を示す。図３ａにおける破線は、境界の水平および垂直境界またはその境界の延長戦と、左上方向に対する直角（９０度）線を示す。小図中の数字は、予測方向についての大図の数字に対応する。小図における表記に応じた図形は、後続の図でも使用される。

ただし、非正方形ブロックの場合、特に予測ブロックの水平および垂直寸法間の比率が大きい場合、この図３ａの予測方向の選択は不十分となりうる。例えば図３ａのような従来のイントラ予測モードにおいて、非正方形予測ブロックの場合、０と＋４５度との間の方向（完全垂直方向と、右上からの４５度予測との間、または完全水平方向と、左下方向からの４５度予測）においてブロックの境界のいずれに対して直接繋がりのない大量の有効な参照サンプルがありうる。これらの場合、予測方向を１８０度「反転」または回転し、ブロックの別の境界上の参照サンプルを使用して（左境界ではなく上境界、または上境界ではなく左境界）、同様の方向構造での予測サンプルブロックが、予測サンプルと元のサンプルとが高相関で生成できる。ここから、従来の−４５から＋４５を超えて、垂直および水平予測に対する角度範囲に延びる、すなわち、左上方向から−９０から９０度を超えて延びる予測方向組の利用が可能となる。新たなイントラ予測方向による符号化効率をさらに向上するため、これら広角イントラ予測方向はビットストリームでシグナリングされてもよいし、組み合わせて双方向予測イントラブロックを生成できることをここで説明する。

ここで、従来の水平または垂直方向から４５度よりも広がる、すなわち、左上方向から鈍角になるように広がるイントラ予測方向組を利用した（広角予測）ビデオ／画像符号器が提供される。利用可能な予測モード（方向）は、予測単位の形状に基づいて選択されてもよい。例えば、予測単位のより狭い方向からの狭角が反転されて、広角予測方向が利用できるようにする。ブロックの概略方向性を最初に示すモード情報が、ビットストリームにおいて符号化されてもよい（これは、後続の予測単位の方向性予測に使用できる）。この概略予測方向性に対して、その方向性の互いに反対の２方向が、いずれも予測モードとして利用可能であるか確認される。両方が利用可能であると確認されると、その２方向のいずれが使用されるかが示される。基本方向および広角方向は、ブロックの形状または寸法に基づいて、確率が異なりうる。

以下に、広角予測を説明する。すなわち、予測対象画素の左上方向に対して鈍角内の参照サンプルを利用した予測である。図４ａは、予測対象ブロックＰと、予測処理の参照に利用可能な再構成済み領域Ｒと、まだ処理されていない利用不能領域Ｕとを有する画像を示す。

図４ｂは、ブロックの左および上境界上の参照サンプルを示す。既に復号された参照サンプルを、黒円で示す。利用不能な参照サンプルを、白円で示す。そのような利用不能な参照サンプルは、まだ復号／処理されていない、または画像縁の先にありうる。当該利用不能な参照サンプルは、同じ境界上の最近傍の利用可能参照サンプルのパディング、すなわち最近傍の利用可能参照サンプル等の利用可能参照サンプルからの値をコピーすることで生じうる。予測方向が左上方向から直角内にあれば、水平および垂直方向のいずれにおける、参照サンプルの必要数は、ｗ＋ｈ＋１となる。これは、垂直予測において、真上からの最大ずれが、ブロックの高さｈと等しく（４５度右上予測方向）、ブロックの幅がｗであるためであり、水平予測も同様の論理となる。左上角の画素は常に必要である。

図４ｃは、非正方形予測ブロックを示し、ブロックの最も右のサンプルについて水平＋４５度予測を示し（長い矢印）、ブロックの最も右のサンプルについて垂直＋４５度予測を示す（短い矢印）。図示のように、利用不能な参照画素（最も下）は１つのみである。

図４ｄは、非正方形予測ブロックと、０から＋４５度の間の角度の（すなわち左上方向に対して鋭角である）水平予測（長い矢印）と、その反転モード（広角モード）である、＋４５度を超える角度の（すなわち左上方向に対して鈍角である）垂直予測（短い矢印）を示す。図示のように、追加参照サンプル４１０（または黒い塗り潰しパターンで示す、２つ以上の追加参照サンプル）を上の行で使用する。これにより、広角方向（短い矢印）からの予測が可能となる。このような長方形の非正方形ブロックに対する広角、すなわち鈍角方向性イントラ予測の場合、広角予測に利用される参照画素（図４ｄの最も右の画素４１０）が予測対象ブロックの多くの画素により近くなるという利点がある。すなわち、狭角方向における基本参照サンプル（図４ｄの下から３つ目の参照画像４２０）よりも、予測対象画素に対してより高い相関が得られるのである。

従来の角度を利用する場合（図３ａにおける−３２から＋３２の方向）、例えば、利用できるのはせいぜいｗ＋ｈ個の「上および右上」参照サンプルと、左上角サンプル１つである。広角モードの場合、それ以上に必要となる。上のｗ＋ｈ個のサンプルを超えるサンプルについて、参照サンプルとして利用可能かを確認してもよい。あるいは、そのような「遠い」参照サンプルは、利用不能として捉えられ、それらの代わりに、利用可能と示された再近傍の参照サンプルを利用してパディング（コピー）された値を使用してもよい。

図５ａは、方向性イントラ予測モード（方向）組を示す。対応する広角モード５２０、５２２、５２５、５２７を（それぞれ）有する元モード５１０、５１２、５１５、５１７を丸点で示し、対応する広角モードを四角点で示す。このような基本モードと広角モードは、いわゆる広角方向性イントラ予測対をなすものと理解されたい。ここでは、（５１０、５２０）、（５１２、５２２）、（５１５、５２５）、（５１７、５２７）の各対である。これら対は、例えば狭角モードで示される関連概略方向性を有してもよく、対（５１０、５２０）に対しては＋２１等となる。また、＋４５度水平および垂直モード（図５ａにおいて、＋３２サンプル変位が示される）は、基本モード−広角モード対として表されうる。これは、概略方向性（＋３２）と、さらに従来の２つの個別モードの表現の代わりに、２方向のいずれを有効にするかを指定するものである。

図５ｂ、５ｃ、５ｄ、５ｅは、関連付けられた広角モードのいくつかの例を示す。図５ｂの左図では、基本（鋭角）モード５３０の正反対に「反転された」広角モード５４０を示す。広角モード５４０の左上方向に対する角度は、基本モード５３０から得られる。具合的には、１８０度から基本モード角度を減算することで得られる。すなわち、基本モード角度がαで鋭角だとすると、左上方向に対する広角モードの角度は１８０°−αとなる。図５ｂの右図に示すように、広角モード５４２は対応する基本狭角（鋭角）モード５３２の正反対でなくてもよく、略反対、あるいは正反対ではないが反対側でありうる。言い換えると、広角モードとは、左上方向（図５ｂで強調されている方向）に対して鈍角となる方向を有し、左上方向に対して基本モードの反対側にあるものであってもよい。

図５ｃ（左画像）は、基本（狭角）モードおよび広角モードとの間の、対を形成しない対応関係を示す。例えば、同じ広角モード５６０に関連付けられた２つの基本モード（狭角モード）５５０、５５２がありうる。これにより、異なるモードの数が減ることで、符号化効率が向上しうる。さらに、これにより予測ブロックに近い参照画素の選択が可能となりうる。同様に、１つの基本狭角モード５５５に対して、２つ以上の広角モード５６５、５６７が関連付けられうる。これにより、関連付けられた広角モードがある基本モードの数が減ることにより、符号化効率の上昇が図られうる。

図５ｄは、方向性予測広角モード組の概念を示す。広角モード組は、四角で示されており、広角モード組５８０、５８２、５８４を含む。これら広角モードは、丸で示される基本モード５７０、５７２、５７４に関連付けられてもよい。このような広角モード組は、ビットストリームで通信されてもよい。定義され、ビットストリームで通信される広角モード組が複数ありうる。符号化および復号に使用される広角モード組は、広角モード組インジケータと共に、ビットストリームで通信されてもよい。当該インジケータは、例えばピクチャヘッダまたはスライスヘッダ、あるいはピクチャまたはスライスから参照されるパラメータ組に配置されてもよい。

図５ｅは、１つまたは複数の広角モード組が使用されうることを示す。例えば、モード５９０、５９１、５９２は、１つの広角モード組内にあり、モード５９５、５９６、５９７が別のモード組内にあってもよい。符号化および復号において、これらのモード組は、使用されるモード組が直接ビットストリームで通信され、そのモード組からのモードがビットストリームで通信されるように使用されてもよい。

本発明に係るビデオまたは画像デコーダまたはエンコーダは、予測モード組に対する従来の制限である＋４５度よりも大きい角度の空間イントラ予測方向を含んでもよい。これは、従来の正方形予測ブロックに対してもある程度有効だが、非正方形の長方形予測ブロックで特に有効であることが確認されている。すなわち、従来の予測方向のいくつかは、ブロックの狭角側の方向に適用されると、予測ブロックの境界から、多くの参照サンプルが切り離されることが確認されている。同様の方向性のテキスト構造を、略逆方向から生成できる（予測方向を、正確に、または略１８０度「反転」または回転することによる）。そのような動作により、予測ブロックに対して、多くの参照サンプルがより近く隣接するため、統計的により良い予測が提供でき、その結果、符号化効率ゲインが確認される。

完全水平または完全垂直に対して、＋４５度を超える方向性の広角予測モードの場合、直接予測が従来のイントラモード符号化手段で符号化できる。すなわち、これらは利用可能な予測モードのリストに追加でき、これらモードそれぞれに、個別モード番号が割り当てられる。復号イントラ予測モードが広角モードを参照する場合、イントラ予測処理において、示された方向からのサンプル予測が実行される。非正方形予測ブロックの場合、この処理が修正され、ブロックの形状が復号処理の一部として考慮されることが有利である。これを実現する一つの可能性として、ブロックの長手方向となる主方向に対してのみ、＋４５度を超える方向性方向性の広角モードを含めることが考えられる。例えば、予測ブロックの幅が１６サンプルで、予測ブロックの高さが４サンプルである場合、方向性イントラ予測モードの組は、−４５から＋４５度内の角度の狭角水平モードと、−４５から＋４５度内の角度の狭角垂直モードと、＋４５度を超える角度の１つまたは複数の広角垂直モード（例えば図５ｅに示す）とを含むように構成される。さらに、広角モードの数と方向性もブロックの形状に依存してもよい。例えば、幅と高さの比率が２：１である場合に、利用可能なモードのリスト内に所与の数の広角方向が含まれ、比率が４：１であれば、別の数の広角方向が同リストに含まれてもよい。同様に、予測ブロックの形状により、ブロックについての利用可能なモードのリスト内に、いくつの狭角モード（−４５から＋４５度）が含まれるかが定義されてもよい。例えば、これにより、ブロックが細長いほど、より多くの広角モードが含まれる。なお、広角（鈍角）方向を選択することで、予測対象の非正方形ブロックの場合に、鋭角予測方向よりも、より信頼性の高い予測が実現できうる。

広角モードを示す１つの可能性として、あらゆるブロックサイズに対して、−４５度から＋４５度の範囲の角度の従来の狭角イントラ予測方向組を有効にし、ブロック形状に応じて関連付けられた「反転」広角モードを有する狭角モードを判定してもよい（図５ｄに示す）。このようにして、デコーダはまずブロックの概略方向性を定義する狭角予測モードを復号し、当該モードが関連付けられた広角モードを有するモードを示す場合、追加識別子「基本モードの代わりに広角モードを使用」をさらに復号してもよい。当該識別子は、モードが従来の狭角モードとして解されるか、反転広角モードとして解されるかを定義する。この種の手法は、最終的な予測モードの予測に対して狭角モードが使用できるため、便利である。すなわち、ブロックに対してサンプル予測処理が生成するテキスチャの方向性を定義する。＋４５度を超える角度の広角方向を、単純に独立したモードとして予測モードのリストに追加する場合、結果として得られるモードのリストは、同じ方向性を生成し、異なる参照サンプルを有するモード対を含む。これにより、後続のブロックの方向性予測の信頼性が下がりうる。

別の形態として、予測ブロックに対して利用可能なイントラ予測モードの数を一定として、指定されたモード数を、デコーダは予測ブロックの形状に応じて可変に解釈してもよい。例えば、予測モードに関連付けられたいくつかの方向は、ブロックの形状に応じて、正確に、または略１８０度「反転」されてもよい（図５ｂ参照）。例えば、図５ａを参照して、予測ブロックの幅が高さより大きい場合、変位パラメータ＋２１および＋２６に関連付けられた水平狭角予測は、それぞれ変位パラメータ＋４８および＋３９の垂直広角モードとして解することができる（その左よりも上の参照サンプルに対して、予測ブロックの相対距離が短いため、垂直予測がより良く働くと考えられるため）。同様に、予測ブロックの幅が高さより小さい場合、変位パラメータ＋２１および＋２６に関連付けられた垂直狭角予測は、それぞれ変位パラメータ＋４８および＋３９の水平広角モードとして解することができる。これら予測方向の選択は例示的であり、実際には異なる数の、狭角と反転広角の変位パラメータが異なるモードを、広角候補として選択できる。

別形態として、予測ブロックに利用可能なイントラ予測モードの数を一定にして、予測ブロックの形状または寸法に基づいて、モードのエントロピー符号化および復号を変更してもよい。例えば、主方向性が異なる予測方向を復号するため、計算デコーダは、異なるコンテキストを利用してもよい。デコーダはまず、ビットストリームから水平、垂直主方向のいずれを使用するかの指標を読み、主予測方向と、ブロックの形状に基づいて、異なるテキストモード間を切り替えてもよい。あるいは、最も可能性の高いモード予測（すなわち、選択された予測モードが優先モードの１つであることを示すシンタクス要素を有する）を利用する手法の場合、優先モードリストは、ブロックの形状に基づいて構成されてもよい。例えば、予測ブロックの幅が高さよりも大きい場合、水平候補の前またはその代わりに垂直候補モードが組に含まれてもよい。ブロックの幅が高さよりも小さい場合、垂直候補の前またはその代わりに水平候補モードがリストに含まれてもよい。

言い換えると、ブロック形状についての情報は、使用される広角方向性予測モードの数、使用する広角方向性予測モード、使用する広角方向性予測モード組、異なるモードの可能性等に影響しうる。このようにブロック形状の情報を利用することで、符号化効率の向上が図られうる。これは、情報のすべてを明確に符号化する必要はなく、より可能性の高いパラメータ値に割り当てられるコードワードをより短くすることができるためである。

ブロック形状に基づいて、最も可能性を高いモードを選択することは、従来の狭角イントラピクチャ方向性予測と共に利用されてもよい。

所定の精度で、元のモードの逆を利用することで、元の狭角モードの変位パラメータから、「反転した」広角変位パラメータを計算できる（図５ｂ左パネル参照）。例えば、精度１／３２サンプルの変位パラメータの場合、次の整数計算により、元の狭角変位パラメータｄＮから、広角変位パラメータｄＷが計算できる。
ｉｎｖｅｒｓｅＡｎｇｌｅ（ｄＮ）＝（２５６×３２）／ｄＮ
ｄＷ＝３２×ｉｎｖｅｒｓｅＡｎｇｌｅ（ｄＮ）＞＞８
式中、＞＞はビットシフト演算を示す（これは、計算構造に応じて、略切り捨てまたは四捨五入される、１０２４／ｄＮの計算結果に対応しうる）。このようにして「反転した」広角変位パラメータを定義することで、ｄＷの最終計算において、パラメータが２の冪乗になりえない割り算を避けられるという利点がある。これにより、ｉｎｖｅｒｓｅＡｎｇｌｅ（ｄＮ）の中間値が事前計算でき、メモリバッファに記憶されて、エンコーダまたはデコーダによりｄＷの評価が必要である際に使用される。異なる方法でｄＷを定義してもよい。例えば、ｄＮに対して、線形または逆依存性を有さなくてもよい。ｄＮの値に応じて、エンコーダと対応するデコーダにおいて、経験則により求められ、同じ値に設定されてもよい。

別形態として、１つの狭角モードに複数の広角モードが関連付けられてもよいし、１つの広角モードに２つ以上の狭角モードが関連付けられてもよい（図５ｃ参照）。エンコーダおよびデコーダはさらに、狭角モードと、関連付けられた広角反転モードのサンプル予測を組み合わせて予測を生成することで、双方向予測サンプルを生成してもよい。これは例えば、予測サンプルを参照サンプルからの距離に基づいて重み付けすること、またはその他の手法により実現してもよい。双方向予測の場合にも、またはより一般的には単方向予測の場合、広角モードに対するずれ指標があってもよい。これにより、ブロックの所望のテキスチャ構造により良く一致するように調整できる。

従来の−４５から＋４５度の狭角予測は、予測ブロックの左上角から、最大でブロック幅＋ブロック高さ分だけ離間した参照サンプルが必要である（図２ｂおよび図２ｃに示す）。＋４５度を超える広角予測の場合、より離間した参照サンプルがいくつか必要となりうる。一つの可能性として、パディングを使用して（最近傍の利用可能参照サンプルの値をコピーする）、ブロックの左上座標からブロック幅＋高さよりも大きな距離の参照サンプルを生成できる。別の可能性として、狭角参照サンプルの範囲について利用されたものと同様の利用可能条件の、処理済みサンプルを利用できる。

予測ブロックの品質をさらに向上するため、フィルタリングやその他の調整動作を、広角イントラモードと利用するサンプル予測の前（例えば、参照サンプル用）または後に実行してもよい（例えば、予測ブロックの側部または内部をフィルタリング）。

ビデオまたは画像デコーダはさらに、（完全に水平または完全に垂直方向である）主予測方向に対して−４５度から＋４５度の間の角度を有する狭角方向性イントラ予測モードと、主予測方向に対して＋４５度を超える角度の広角モードとの間で選択するように構成されてもよい。

＋４５度以上の角度の１つまたは複数の広角予測モードが利用可能かは、予測ブロックの形状に依存する。

ビデオまたは画像デコーダは、予測モード識別子を復号し、復号モードに関連付けられた利用可能な「反転」モード（広角モード）があるかを確認し、その確認に基づいて、元の予測方向か、その逆方向を利用するかを判定する第２識別子を復号する。

元の（基本）予測方向は、第１予測サンプル変位パラメータの、ブロックの第１境界からの基本サンプルを利用してもよい。広角予測方向は、第２予測サンプル変位パラメータの、ブロックの第２境界からのサンプルを使用してもよい（図３ｂ参照）。ブロックの第１境界は、ブロックの第２境界とは異なり、第１予測サンプル変位パラメータは、第２予測サンプル変位パラメータと同じでも異なっていてもよい。

利用可能なイントラ予測モード組は、予測ブロックの形状（すなわち、長方形ブロック構造の場合、予測ブロックの幅および高さ）に依存してもよい。

所与の識別子を有する方向性イントラ予測モードは、ブロックの幅が高さより大きい場合、第１角度を有すると解され、ブロックの幅が高さより小さい場合、第２角度を有すると解されてもよい。第１角度は、第２角度とは異なる。

第１イントラ予測モードは、完全に水平または完全に垂直な主方向に対して、−４５度から＋４５度の間の角度を有し、第１イントラ予測モードの主方向とは異なる主方向に対して少なくとも＋４５度の角度を有する、対応する広角モードを有してもよい。

イントラ予測モードのエントロピー復号に対するコンテキスト選択は、ブロックの形状に依存してもよい。例えば、二値計算デコーダは、ブロックが正方形か否かに応じて、モード識別子に対して異なる推定された可能性を利用してもよい。すなわち、正方形ブロックに対しては、左および上方向に対して略同一の可能性を仮定し、ブロックが正方形でなければ、長い方の縁の方向にバイアスをかける。実際、これにより符号化されるより可能性の高いシンボルに対して、より短いコードワードが利用されるため、符号化効率が向上する。

エンコーダおよびデコーダは、ブロックの形状に基づいて、予測ブロックに対する最も可能性の高いモード組を特定し、選択されたモードが最も可能性の高いモードの１つであるかを示す識別子を符号化／復号してもよい。

エンコーダおよびデコーダは、ブロックの形状に基づいて、予測ブロックに対する最も可能性の高いモード組を特定し、その最も可能性の高いモードのうち、ブロックに対して選択されたものを示す識別子を符号化／復号してもよい。

提案された方法およびデバイスは、方向性イントラ予測の精度を上げうる。これはさらに、利用可能な予測モードのリスト内に、方向性が反対の複数の方向性予測モードが存在する場合に、効率的なシグナリング機構を提供する。

図６ａは、復号方法のフローチャートを示す。フェーズ６１０において、受信したイントラピクチャ方向性予測用のビットストリームから参照画素が形成されてもよい。フェーズ６１２において、画素値を予測して予測ブロックを取得してもよい。この予測は、上述のように広角予測方向を使用して実行されてもよい。フェーズ６１４において、取得された広角イントラ予測ブロックを使用して、ビットストリームからの画像ブロックの復号を行ってもよい。予測誤差信号は、ビットストリームから復号され、予測された画像ブロックに加えて、復号された画像ブロックを取得してもよい。

図６ｂは、符号化方法のフローチャートを示す。フェーズ６１６において、符号化する画像データから参照画素を生成してもよい。これら参照画素を、後続のイントラピクチャ方向性予測で使用してもよい。フェーズ６１８において、上述のように広角予測方向により画素値を予測して、予測ブロックを取得してもよい。フェーズ６１９において、広角イントラ予測ブロックを使用して、画像ブロックをビットストリームに符号化してもよい。符号化される画像ブロックから予測ブロックを差し引いて、予測誤差信号を取得してもよい。誤差信号と、イントラピクチャ方向性予測用のパラメータおよびインジケータとをビットストリームに符号化してもよい。

図６ｃは、復号方法のフローチャートを示す。フェーズ６２０において、受信したイントラピクチャ方向性予測用のビットストリームから、参照画素を生成してもよい。フェーズ６２２において、ビットストリームから、予測するブロックの形状を判定してもよい。フェーズ６２４において、当該形状に基づいて使用されている方向性予測モードを判定してもよい。フェーズ６２６において、使用されている方向性予測モードが、形状により判定された、可能性の高いモードのうちの１つであるかを判定してもよい。フェーズ６３０において、ビットストリームからモード選択インジケータが受信されてもよい。フェーズ６３４において、使用されるモードが、基本モードと、基本モードの反転モードとの間で選択されてもよい。フェーズ６３６において、ブロックの形状に基づいて、使用されるモードが選択されてもよい。フェーズ６３８において、ブロックの形状に基づいて、予測されたモードから使用されるモードが選択されてもよい。フェーズ６４０において、画素値を予測して予測ブロックを取得してもよい。この予測は、上述のように広角予測方向を使用して実行されてもよい。フェーズ６４２において、取得された広角イントラ予測ブロックが、ビットストリームからの画像ブロックの復号に使用されてもよい。予測誤差信号は、ビットストリームから復号され、予測された画像ブロックに加えて、復号された画像ブロックを取得してもよい。図６ｃの方法において、フェーズは、図示の順番と順番が異なっていてもよい。個別のフェーズを、実行しても、省略してもよい。異なる複数のフェーズを組み合わせたり、代替物として扱ったりしてもよい。

図６ｄは、符号化方法のフローチャートである。フェーズ６６０において、符号化する画像データから参照画素を生成してもよい。これら参照画素を、後続のイントラピクチャ方向性予測で使用してもよい。フェーズ６６２において、予測するブロックの形状を判定して、それを後続の方向性予測で使用できるようにしてもよい。フェーズ６６４において、当該形状に基づいて使用されている方向性予測モードを判定してもよい。フェーズ６６７において、使用されている方向性予測モードが、形状により判定された、可能性の高いモードのうちの１つであるかを判定してもよい。フェーズ６７０において、モード選択インジケータがビットストリームに符号化されてもよい。フェーズ６７２において、使用されるモードが、基本モードと、基本モードの反転モードとの間で選択されてもよい。フェーズ６７４において、ブロックの形状に基づいて、使用されるモードが選択されてもよい。フェーズ６７６において、ブロックの形状に基づいて、予測されたモードから使用されるモードが選択されてもよい。フェーズ６８０において、上述のように広角予測方向により画素値を予測して、予測ブロックを取得してもよい。フェーズ６８２において、広角イントラ予測ブロックを使用して、画像ブロックをビットストリームに符号化してもよい。符号化する画像ブロックから予測ブロックを差し引いて、予測誤差信号を取得してもよい。誤差信号と、イントラピクチャ方向性予測用のパラメータおよびインジケータとをビットストリームに符号化してもよい。図６ｄの方法において、フェーズは、図示の順番と順番が異なっていてもよい。個別のフェーズを、実行しても、省略してもよい。異なる複数のフェーズを組み合わせたり、代替物として扱ったりしてもよい。

以下に、採番された例を挙げる。

１．
・ 符号化画像データを含むビットストリームを受信することと、
・ コンピュータメモリ内の当該ビットストリームから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成することと、
・ 予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測することであって、ここで前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向である、予測することと、
・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成することと、
・ 前記ビットストリームから画像ブロックを復号する際に当該予測された画像ブロックを使用して、復号された画像ブロックを取得することと、
を含む方法。

２．前記予測された画像ブロックはある形状を有し、
・ 前記ビットストリームから当該形状を判定することと、
・ 前記形状に基づいて、前記イントラピクチャ方向性予測に使用される方向性予測モードを判定することと、
・ 前記画素値を予測する際に、前記方向性予測モードから前記予測方向を選択することと、
を含む、例１に記載の方法。

３．前記予測された画像ブロックはある形状を有し、
・ 前記ビットストリームから当該形状を判定することと、
・ 前記イントラピクチャ方向性予測において使用される予測モードを判定することと、
・ 前記形状に基づいて、可能性の高い予測モードを判定することと、
・ 前記予測方向が当該可能性の高い予測モードのうちの１つであるかを示す前記ビットストリームから、インジケータを復号することと、
・ 前記可能性の高い予測モードから前記予測方向を選択することと、
を含む、例１または２に記載の方法。

４．
・ 前記イントラピクチャ方向性予測に使用される方向性予測モードを判定することと、
・ 前記ビットストリームから方向インジケータを復号することと、
・ 当該方向インジケータに関連付けられている基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択することと、
を含む、例１から３のいずれかに記載の方法。

５．
・ 前記ビットストリームから予測方向選択インジケータを復号することと、
・ 当該予測方向選択インジケータを使用して、前記基本方向と前記広角方向から前記画素値を予測するための前記予測方向を選択することと、
を含む、例４に記載の方法。

６．前記予測された画像ブロックはある形状を有し、
・ 前記ビットストリームから当該形状を判定することと、
・ 前記形状に基づいて、基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択することと、
を含む、例４に記載の方法。

７．前記基本方向は、前記広角方向と実質的に反対方向となるように、前記広角方向に関連付けられている、例４から６のいずれかに記載の方法。

８．前記基本方向は、前記広角方向と実質的に反対方向とならないように、かつ前記広角方向とは左上方向の反対側となるように、前記広角方向に関連付けられている、例４から６のいずれかに記載の方法。

９．２つ以上の広角方向が１つの基本方向に関連付けられており、または２つ以上の基本方向が同一の広角方向に関連付けられており、またはその両方である、例４から８のいずれかに記載の方法。

１０．前記予測された画像ブロックはある形状を有し、
・ 前記ビットストリームから当該形状を判定することと、
・ 前記イントラピクチャ方向性予測において使用される予測モードを判定することと、
・ 前記ビットストリームから方向インジケータを復号することと、
・ 前記形状を使用して、当該方向インジケータに関連付けられている基本方向と広角方向との間の前記画素値を予測するための予測された予測方向を形成することと、
・ 前記予測された予測方向に基づいて前記予測方向を選択することと、
を含む、例１から９のいずれかに記載の方法。

１１．
・ 符号化される画像データを受信することと、
・ コンピュータメモリ内の前記画像データから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成することと、
・ 予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測することであって、ここで前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向である、予測することと、
・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成することと、
・ 画像ブロックをビットストリームに符号化する際に、当該予測された画像ブロックを使用することと、
を含む方法。

１２．前記予測された画像ブロックはある形状を有し、
・ 前記形状に基づいて、前記イントラピクチャ方向性予測に使用される方向性予測モードを判定することと、
・ 前記画素値を予測する際に、前記方向性予測モードから前記予測方向を選択することと、
を含む、例１１に記載の方法。

１３．前記予測された画像ブロックはある形状を有し、
・ 前記イントラピクチャ方向性予測において使用される予測モードを判定することと、
・ 前記形状に基づいて、可能性の高い予測モードを判定することと、
・ 前記可能性の高い予測モードから前記予測方向を選択することと、
・ 前記予測方向が当該可能性の高い予測モードのうちの１つであるかを示す前記ビットストリームにインジケータを符号化することと、
を含む、例１１または１２に記載の方法。

１４．
・ 前記イントラピクチャ方向性予測に使用される方向性予測モードを判定することと、
・ 方向インジケータに関連付けられている基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択することと、
・ 前記ビットストリームに方向インジケータを符号化することと、
を含む、例１１から１３のいずれかに記載の方法。

１５．
・ 予測方向選択インジケータを使用して、前記基本方向と前記広角方向から前記画素値を予測するための前記予測方向を選択することと、
・ 予測方向選択インジケータを前記ビットストリームに符号化することと、
を含む、例１４に記載の方法。

１６．前記復号された画像ブロックはある形状を有し、
・ 前記形状に基づいて、基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択することを含む、例１４に記載の方法。

１７．前記基本方向は、前記広角方向と実質的に反対方向となるように、前記広角方向に関連付けられている、例１４から１６のいずれかに記載の方法。

１８．前記基本方向は、前記広角方向と実質的に反対方向とならないように、かつ前記広角方向とは左上方向の反対側となるように、前記広角方向に関連付けられている、例１４から１６のいずれかに記載の方法。

１９．２つ以上の広角方向が１つの基本方向に関連付けられており、または２つ以上の基本方向が同一の広角方向に関連付けられており、またはその両方である、例１４から１８のいずれかに記載の方法。

２０．前記復号された画像ブロックはある形状を有し、
・ 前記イントラピクチャ方向性予測において使用される予測モードを判定することと、
・ 前記形状を使用して、方向インジケータに関連付けられている基本方向と広角方向との間の前記画素値を予測するための予測された予測方向を形成することと、
・ 前記予測された予測方向に基づいて前記予測方向を選択することと、
・ 前記ビットストリームに方向インジケータを符号化することと、
を含む、例１１から１９のいずれかに記載の方法。

２１．少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備える装置であって、前記メモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に少なくとも、
・ 符号化画像データを含むビットストリームを受信することと、
・ コンピュータメモリ内の当該ビットストリームから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成することと、
・ 予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測することであって、ここで前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向である、予測することと、
・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成することと、
・ 前記ビットストリームから画像ブロックを復号する際に当該予測された画像ブロックを使用して、復号された画像ブロックを取得することと、を実行させるように構成される、装置。

２２．前記予測された画像ブロックはある形状を有し、前記装置に、
・ 前記ビットストリームから前記形状を判定することと、
・ 前記形状に基づいて、前記イントラピクチャ方向性予測において使用される方向性予測モードを判定することと、
・ 前記画素値の予測において、当該方向性予測モードから前記予測方向を選択することと、を実行させるコンピュータプログラムコードを備える、例２１に記載の装置。

２３．前記予測された画像ブロックはある形状を有し、前記装置に、
・ 前記ビットストリームから前記形状を判定することと、
・ 前記イントラピクチャ方向性予測において使用される予測モードを判定することと、
・ 前記形状に基づいて、可能性の高い予測モードを判定することと、
・ 前記予測方向が当該可能性の高い予測モードのうちの１つであるかを示す前記ビットストリームから、インジケータを復号することと、
・ 前記可能性の高い予測モードから前記予測方向を選択することと、を実行させるコンピュータプログラムコードを備える、例２１または２２に記載の装置。

２４．前記装置に、
・ 前記イントラピクチャ方向性予測において使用される方向性予測モードを判定することと、
・ 前記ビットストリームから方向インジケータを復号することと、
・ 当該方向インジケータに関連付けられている基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択することと、を実行させるコンピュータプログラムコードを備える、例２１から２３のいずれかに記載の装置。

２５．前記装置に、
・ 前記ビットストリームから予測方向選択インジケータを復号することと、
・ 当該予測方向選択インジケータを使用して、前記基本方向と前記広角方向から前記画素値を予測するための前記予測方向を選択することと、を実行させるコンピュータプログラムコードを備える、例２４に記載の装置。

２６．前記予測された画像ブロックはある形状を有し、前記装置に、
・ 前記ビットストリームから前記形状を判定することと、
・ 前記形状に基づいて、基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択することと、を実行させるコンピュータプログラムコードを備える、例２４に記載の装置。

２７．前記基本方向は、前記広角方向と実質的に反対方向となるように、前記広角方向に関連付けられている、例２４から２６のいずれかに記載の装置。

２８．前記基本方向は、前記広角方向と実質的に反対方向とならないように、かつ前記広角方向とは左上方向の反対側となるように、前記広角方向に関連付けられている、例２４から２６のいずれかに記載の装置。

２９．２つ以上の広角方向が１つの基本方向に関連付けられており、または２つ以上の基本方向が同一の広角方向に関連付けられており、またはその両方である、例２４から２８のいずれかに記載の装置。

３０．前記予測された画像ブロックはある形状を有し、前記装置に、
・ 前記イントラピクチャ方向性予測において使用される予測モードを判定することと、
・ 前記形状を使用して、方向インジケータに関連付けられている基本方向と広角方向との間の前記画素値を予測するための予測された予測方向を形成することと、
・ 当該予測された予測方向に基づいて前記予測方向を選択することと、
・ 前記ビットストリームに前記方向インジケータを符号化することと、を実行させるコンピュータプログラムコードを備える、例２１から２９のいずれかに記載の装置。

３１．少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備えるシステムであって、前記メモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記システムに少なくとも、
・ 符号化画像データを含むビットストリームを受信することと、
・ コンピュータメモリ内の当該ビットストリームから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成することと、
・ 予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測することであって、ここで前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向である、予測することと、
・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成することと、
・ 前記ビットストリームから画像ブロックを復号する際に当該予測された画像ブロックを使用して、復号された画像ブロックを取得することと、を実行させるように構成される、システム。

３２．少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備えるシステムであって、前記メモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記システムに少なくとも、
・ 符号化される画像データを受信することと、
・ コンピュータメモリ内の前記画像データから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成することと、
・ 予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測することであって、ここで前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向である、予測することと、
・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成し、
・ 画像ブロックをビットストリームに符号化する際に、当該予測された画像ブロックを使用することと、を実行させるように構成される、システム。

３３．
・ 符号化画像データを含むビットストリームを受信する手段と、
・ コンピュータメモリ内の当該ビットストリームから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成する手段と、
・ 予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測する手段であって、ここで前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向である、予測する手段と、
・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成する手段と、
・ 前記ビットストリームから画像ブロックを復号する際に当該予測された画像ブロックを使用して、復号された画像ブロックを取得する手段と、を備える装置。

３４．前記予測された画像ブロックはある形状を有し、
・ 前記ビットストリームから当該形状を判定する手段と、
・ 前記形状に基づいて、前記イントラピクチャ方向性予測に使用される方向性予測モードを判定する手段と、
・ 前記画素値を予測する際に、前記方向性予測モードから前記予測方向を選択する手段と、
を備える、例３３に記載の装置。

３５．前記予測された画像ブロックはある形状を有し、
・ 前記ビットストリームから当該形状を判定する手段と、
・ 前記イントラピクチャ方向性予測において使用される予測モードを判定する手段と、
・ 前記形状に基づいて、可能性の高い予測モードを判定する手段と、
・ 前記予測方向が当該可能性の高い予測モードのうちの１つであるかを示す前記ビットストリームから、インジケータを復号する手段と、
・ 前記可能性の高い予測モードから前記予測方向を選択する手段と、を備え、例３３または３４に記載の装置。

３６．
・ 前記イントラピクチャ方向性予測に使用される方向性予測モードを判定する手段と、
・ 前記ビットストリームから方向インジケータを復号する手段と、
・ 方向インジケータに関連付けられている基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択する手段と、
を備える、例３３から３５のいずれかに記載の装置。

３７．
・ 前記ビットストリームから予測方向選択インジケータを復号する手段と、
・ 当該予測方向選択インジケータを使用して、前記基本方向と前記広角方向から前記画素値を予測するための前記予測方向を選択する手段と、
を備える、例３６に記載の装置。

３８．前記予測された画像ブロックはある形状を有し、
・ 前記ビットストリームから当該形状を判定する手段と、
・ 前記形状に基づいて、基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択する手段と、
を備える、例３６に記載の装置。

３９．前記基本方向は、前記広角方向と実質的に反対方向となるように、前記広角方向に関連付けられている、例３６から３８のいずれかに記載の装置。

４０．前記基本方向は、前記広角方向と実質的に反対方向とならないように、かつ前記広角方向とは左上方向の反対側となるように、前記広角方向に関連付けられている、例３６から３８のいずれかに記載の装置。

４１．２つ以上の広角方向が１つの基本方向に関連付けられており、または２つ以上の基本方向が同一の広角方向に関連付けられており、またはその両方である、例３６から４０のいずれかに記載の装置。

４２．前記予測された画像ブロックはある形状を有し、
・ 前記ビットストリームから当該形状を判定する手段と、
・ 前記イントラピクチャ方向性予測において使用される予測モードを判定する手段と、
・ 前記ビットストリームから方向インジケータを復号する手段と、
・ 前記形状を使用して、前記方向インジケータに関連付けられている基本方向と広角方向との間の前記画素値を予測するための予測された予測方向を形成する手段と、
・ 前記予測された予測方向に基づいて前記予測方向を選択する手段と、
を備える、例３３から４１のいずれかに記載の装置。

４３．
・ 符号化される画像データを受信する手段と、
・ コンピュータメモリ内の前記画像データから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成する手段と、
・ 予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測する手段であって、ここで前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向である、予測する手段と、
・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成する手段と、
・ 画像ブロックをビットストリームに符号化する際に、当該予測された画像ブロックを使用する手段と、を備える装置。

４４．前記予測された画像ブロックはある形状を有し、
・ 前記形状に基づいて、前記イントラピクチャ方向性予測に使用される方向性予測モードを判定する手段と、
・ 前記画素値を予測する際に、前記方向性予測モードから前記予測方向を選択する手段と、
を備える、例４３に記載の装置。

４５．前記予測された画像ブロックはある形状を有し、
・ 前記イントラピクチャ方向性予測において使用される予測モードを判定する手段と、
・ 前記形状に基づいて、可能性の高い予測モードを判定する手段と、
・ 前記可能性の高い予測モードから前記予測方向を選択する手段と、
・ 前記予測方向が当該可能性の高い予測モードのうちの１つであるかを示す前記ビットストリームにインジケータを符号化する手段と、
を備える、例４３または４４に記載の装置。

４６．
・ 前記イントラピクチャ方向性予測に使用される方向性予測モードを判定する手段と、
・ 前記方向インジケータに関連付けられている基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択する手段と、
・ 前記ビットストリームに方向インジケータを符号化する手段と、
を備える、例４３から４５のいずれかに記載の装置。

４７．
・ 予測方向選択インジケータを使用して、前記基本方向と前記広角方向から前記画素値を予測するための前記予測方向を選択する手段と、
・ 予測方向選択インジケータを前記ビットストリームに符号化する手段と、
を備える、例４６に記載の装置。

４８．前記復号された画像ブロックはある形状を有し、
・ 前記形状に基づいて、基本方向と広角方向とから前記画素値を予測するための前記予測方向を選択する手段を備える、例４６に記載の装置。

４９．前記基本方向は、前記広角方向と実質的に反対方向となるように、前記広角方向に関連付けられている、例４６から４８のいずれかに記載の装置。

５０．前記基本方向は、前記広角方向と実質的に反対方向とならないように、かつ前記広角方向とは左上方向の反対側となるように、前記広角方向に関連付けられている、例４６から４８のいずれかに記載の装置。

５１．２つ以上の広角方向が１つの基本方向に関連付けられており、または２つ以上の基本方向が同一の広角方向に関連付けられており、またはその両方である、例４６から５０のいずれかに記載の装置。

５２．前記復号された画像ブロックはある形状を有し、
・ 前記イントラピクチャ方向性予測において使用される予測モードを判定する手段と、
・ 前記形状を使用して、方向インジケータに関連付けられている基本方向と広角方向との間の前記画素値を予測するための予測された予測方向を形成する手段と、
・ 前記予測された予測方向に基づいて前記予測方向を選択する手段と、
・ 前記ビットストリームに方向インジケータを符号化する手段と、
を備える、例４３から５１のいずれかに記載の装置。

５３．非一時的コンピュータ可読媒体に実施されるビットストリーム信号であって、前記信号は、デコーダに復号されると、前記デコーダに、当該ビットストリーム信号から画像データを復号させるように構成され、前記信号は、イントラピクチャ方向性予測を使用して形成された符号化された予測誤差信号を含み、ここで予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックに、予測された画素値が形成されており、前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向であり、前記ビットストリーム信号は、前記デコーダに、前記予測方向を前記ビットストリームの復号のための広角予測方向となるように選択させるように構成される。

５４．非一時的コンピュータ可読媒体に実施されるビットストリーム信号であって、前記信号は、デコーダに復号されると、前記デコーダに、当該ビットストリーム信号から画像データを復号させるように構成され、前記信号は、復号される画像ブロックの形状を判定するための情報を含み、当該復号は予測方向を使用したイントラピクチャ方向性予測を利用し、可能性の高い予測モードが前記形状と関連付けられており、前記デコーダに前記ビットストリームの復号のための前記予測方向を選択させるべく、前記ビットストリームは、前記予測方向が前記形状に関連付けられた当該可能性の高い予測モードのうちの１つであるかを示すインジケータを含む。

本発明の各種実施形態は、メモリ内のコンピュータプログラムコードの助けによって実現することができ、関連する装置に本発明を実施させる。例えば、デバイスは、データを操作、送受信するための回路や電子部品、メモリ内のコンピュータプログラムコード、さらにコンピュータプログラムコード実行中に、デバイスに実施形態の特徴を実施させるプロセッサを備えてもよい。さらに、サーバのようなネットワークデバイスは、データを操作、送受信するための回路や電子部品、メモリ内のコンピュータプログラムコード、さらにコンピュータプログラムコード実行中に、ネットワークデバイスに実施形態の特徴を実施させるプロセッサを備えてもよい。

本発明が上述の実施形態のみに限定されるものではなく、添付の請求項の範囲内で変更できることは明らかである。

Claims (15)

1. 方法であって、
   ・ 符号化画像データを含むビットストリームを受信することと、
   ・ コンピュータメモリ内の当該ビットストリームから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成することと、
   ・ 画像ブロックに対するイントラ予測モードを判定することと、
   を含み、前記イントラ予測モードを判定することが、
   ・ 前記ビットストリームから前記画像ブロックの幅及び高さを決定することと；
   ・ 前記幅が前記高さよりも大きい場合、第１の変位パラメータを用いる少なくとも一つの水平イントラ予測モードを、第２の変位パラメータを用いる垂直広角イントラ予測モードと解釈することと；
   ・ 前記幅が前記高さよりも小さい場合、第３の変位パラメータを用いる少なくとも一つの垂直イントラ予測モードを、第４の変位パラメータを用いる水平広角イントラ予測モードと解釈することと；
   を含み、
   前記第１の変位パラメータ及び前記第４の変位パラメータは、前記画像ブロックの中心を基準とした前記画像ブロックの左水平方向からの角度変位に関係するパラメータであり、前記左水平方向から半時計回りに正の値、時計回りに負の値をとるパラメータであり、
   前記第２の変位パラメータ及び前記第３の変位パラメータは、前記画像ブロックの中心を基準とした前記画像ブロックの垂直上方向からの角度変位に関係するパラメータであり、前記垂直上方向から時計回りに正の値、半時計回りに負の値をとるパラメータであり、
   前記第１の変位パラメータ、前記第２の変位パラメータ、前記第３の変位パラメータ、前記第４の変位パラメータは、いずれも方向性イントラ予測モード組のいずれかに対応し、前記第２の変位パラメータは前記第１の変位パラメータより大きく、前記第４の変位パラメータは前記第３の変位パラメータより大きく、前記垂直広角イントラ予測モードは、前記画像ブロックの中心から前記画像ブロックの左上角への方向を０度の基準方向として該基準方向から時計回りに９０度を超える予測方向を使用する垂直イントラ予測モードであり、前記水平広角イントラ予測モードは、前記基準方向から反時計回りに９０度を超える予測方向を使用する水平イントラ予測モードであり、
   前記方法は更に、
   ・ 予測された画素値を形成する際に、前記予測された画素に対する広角予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測することと、
   ・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成することと、
   ・ 前記ビットストリームから画像ブロックを復号する際に当該予測された画像ブロックを使用して、復号された画像ブロックを取得することと、
   を含み、ここで前記広角予測方向は、前記基準方向から時計回り又は反時計回りに９０度を超える方向である、方法。
2. 前記幅が前記高さよりも大きい場合、前記広角予測方向として、前記基準方向から時計回りに９０度より大きな方向性に対応する変位パラメータを用いる垂直広角イントラ予測方向を選択することを含む、請求項１に記載の方法。
3. 前記高さが前記幅よりも大きい場合、前記広角予測方向として、前記基準方向から反時計回りに９０度より大きな方向性に対応する変位パラメータを用いる水平広角イントラ予測方向を選択することを含む、請求項１又は２に記載の方法。
4. 複数のイントラ予測モードを特定することと；
   前記複数のイントラ予測モードの各々について、前記高さ及び前記幅に基づいて該イントラ予測モードを解釈することにより、変位パラメータを特定することと；
   を含み、前記基準方向から時計回り又は反時計回りに９０度を超える予測方向を使用するイントラ予測モードの数は、前記画像ブロックが細長いほど多い、請求項１から３のいずれかに記載の方法。
5. ・ 前記イントラピクチャ方向性予測に使用される方向性予測モードを判定することと、
   ・ 前記ビットストリームから方向インジケータを復号することと、
   ・ 当該方向インジケータに関連付けられている狭角方向と広角方向とから前記画素値を予測するための前記予測方向を選択することと、
   を含み、ここで前記狭角方向は前記基準方向から時計回り又は反時計回りに９０度を超えない方向であり、前記広角方向は、前記基準方向から時計回り又は反時計回りに９０度を超える方向である、請求項１から４のいずれかに記載の方法。
6. ・ 前記ビットストリームから予測方向選択インジケータを復号することと、
   ・ 当該予測方向選択インジケータを使用して、前記狭角方向と前記広角方向から前記画素値を予測するための前記予測方向を選択することと、
   を含む、請求項５に記載の方法。
7. ・ 前記高さ及び前記幅に基づいて、前記狭角方向と前記広角方向とから前記画素値を予測するための前記予測方向を選択することと、
   を含む、請求項６に記載の方法。
8. 方法であって、
   ・ 符号化される画像データを受信することと、
   ・ コンピュータメモリ内の前記画像データから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成することと、
   ・ 画像ブロックに対するイントラ予測モードを判定することと、
   を含み、前記イントラ予測モードを判定することが、
   ・ 前記画像ブロックの幅及び高さを決定することと；
   ・ 前記幅が前記高さよりも大きい場合、広角予測方向として、垂直上方向を０度として時計回りに＋４５度より大きな方向性を用いる垂直広角イントラ予測方向を選択することと；
   ・ 前記高さが前記幅よりも大きい場合、広角予測方向として、水平左方向を０度として反時計回りに４５度より大きな方向性を用いる水平広角イントラ予測方向を選択することと；
   を含み、前記方法は更に、
   ・ 予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測することと、
   ・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成することと、
   ・ 画像ブロックをビットストリームに符号化する際に、当該予測された画像ブロックを使用することと、
   を含む方法。
9. ・ 前記イントラピクチャ方向性予測に使用される方向性予測モードを判定することと、
   ・ 方向インジケータに関連付けられている狭角方向と広角方向とから前記画素値を予測するための前記予測方向を選択することと、を含み、
   ・ 前記ビットストリームに方向インジケータを符号化することと、
   を含み、ここで前記狭角方向は、前記画像ブロックの中心から前記画像ブロックの左上角への方向を０度の基準方向として、前記基準方向から時計回り又は反時計回りに９０度を超えない方向であり、前記広角方向は、前記基準方向から時計回り又は反時計回りに９０度を超える方向である、請求項８に記載の方法。
10. 装置であって、
    ・ 符号化画像データを含むビットストリームを受信する手段と、
    ・ コンピュータメモリ内の当該ビットストリームから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成する手段と、
    ・ 画像ブロックに対するイントラ予測モードを判定する手段と、
    を備え、前記イントラ予測モードを判定することが、
    ・ 前記ビットストリームから前記画像ブロックの幅及び高さを決定することと；
    ・ 前記幅が前記高さよりも大きい場合、第１の変位パラメータを用いる少なくとも一つの水平イントラ予測モードを、第２の変位パラメータを用いる垂直広角イントラ予測モードと解釈することと；
    ・ 前記幅が前記高さよりも小さい場合、第３の変位パラメータを用いる少なくとも一つの垂直イントラ予測モードを、第４の変位パラメータを用いる水平広角イントラ予測モードと解釈することと；
    を含み、
    前記第１の変位パラメータ及び前記第４の変位パラメータは、前記画像ブロックの中心を基準とした前記画像ブロックの左水平方向からの角度変位に関係するパラメータであり、前記左水平方向から半時計回りに正の値、時計回りに負の値をとるパラメータであり、
    前記第２の変位パラメータ及び前記第３の変位パラメータは、前記画像ブロックの中心を基準とした前記画像ブロックの垂直上方向からの角度変位に関係するパラメータであり、前記垂直上方向から時計回りに正の値、半時計回りに負の値をとるパラメータであり、
    前記第１の変位パラメータ、前記第２の変位パラメータ、前記第３の変位パラメータ、前記第４の変位パラメータは、いずれも方向性イントラ予測モード組のいずれかに対応し、前記第２の変位パラメータは前記第１の変位パラメータより大きく、前記第４の変位パラメータは前記第３の変位パラメータより大きく、前記垂直広角イントラ予測モードは、前記画像ブロックの中心から前記画像ブロックの左上角への方向を０度の基準方向として該基準方向から時計回りに９０度を超える予測方向を使用する垂直イントラ予測モードであり、前記水平広角イントラ予測モードは、前記基準方向から反時計回りに９０度を超える予測方向を使用する水平イントラ予測モードであり、
    前記装置は更に、
    ・ 予測された画素値を形成する際に、前記予測された画素に対する予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測する手段であって、ここで前記予測方向は、前記予測された画素の左上方向に対して鈍角を形成する広角予測方向である、予測する手段と、
    ・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成する手段と、
    ・ 前記ビットストリームから画像ブロックを復号する際に当該予測された画像ブロックを使用して、復号された画像ブロックを取得する手段と、
    を備える、装置。
11. 装置であって、
    ・ 符号化される画像データを受信する手段と、
    ・ コンピュータメモリ内の前記画像データから、イントラピクチャ方向性予測のための参照画素値を有する参照画素の組を形成する手段と、
    ・ 画像ブロックに対するイントラ予測モードを判定する手段と、
    を備え、前記イントラ予測モードを判定することが、
    ・ 前記画像ブロックの幅及び高さを決定することと；
    ・ 前記幅が前記高さよりも大きい場合、広角予測方向として、垂直上方向を０度として時計回りに＋４５度より大きな方向性を用いる垂直広角イントラ予測方向を選択することと；
    ・ 前記高さが前記幅よりも大きい場合、広角予測方向として、水平左方向を０度として反時計回りに４５度より大きな方向性を用いる水平広角イントラ予測方向を選択することと；
    を含み、前記装置は更に、
    ・ 予測された画素値を形成する際に、前記予測された画素に対する前記広角予測方向から選択された１つまたは複数の参照画素の値を使用することにより、イントラピクチャ方向性予測によって予測された画像ブロックにおける画素値を予測する手段と、
    ・ 複数の画素に対して前記画素予測を繰り返して、予測された画像ブロックを形成する手段と、
    ・ 画像ブロックをビットストリームに符号化する際に、当該予測された画像ブロックを使用する手段と、
    を備える、装置。
12. 少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備える装置であって、前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサに実行されると、前記装置に、請求項１から７のいずれかに記載の方法を実施させる、装置。
13. 装置の少なくとも１つのプロセッサに実行されると、前記装置に、請求項１から７のいずれかに記載の方法を実施させるプログラムコードを含む、コンピュータプログラム。
14. 少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備える装置であって、前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサに実行されると、前記装置に、請求項８又は９に記載の方法を実施させる、装置。
15. 装置の少なくとも１つのプロセッサに実行されると、前記装置に、請求項８又は９に記載の方法を実施させるプログラムコードを含む、コンピュータプログラム。

Images