JP7047777B2 - 画像データ符号化及び復号化 - Google Patents

画像データ符号化及び復号化 Download PDF

Info

Publication number
JP7047777B2
JP7047777B2 JP2018561498A JP2018561498A JP7047777B2 JP 7047777 B2 JP7047777 B2 JP 7047777B2 JP 2018561498 A JP2018561498 A JP 2018561498A JP 2018561498 A JP2018561498 A JP 2018561498A JP 7047777 B2 JP7047777 B2 JP 7047777B2
Authority
JP
Japan
Prior art keywords
image
prediction
region
prediction direction
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018561498A
Other languages
English (en)
Other versions
JP2019520743A (ja
Inventor
カール ジェームス シャーマン
ニコラス イアン サンダース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2019520743A publication Critical patent/JP2019520743A/ja
Application granted granted Critical
Publication of JP7047777B2 publication Critical patent/JP7047777B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、画像データ符号化及び復号化に関する。
本明細書の「背景技術」の記載は、本出願における背景を一般的に説明するためのものである。本発明者らの技術は、この背景技術の欄で説明される範囲において、本出願の出願時点で従来技術でないのであれば従来技術と見なしてはならない説明の側面と同様に、明示又は黙示を問わず、本出願に対する従来技術として認められるものではない。
ビデオデータを周波数領域表現に変換し、得られた周波数領域係数を量子化し、その後、当該量子化された係数に或る種のエントロピー符号化を適用するビデオデータ符号化システム及びビデオデータ復号化システムがいくつか存在する。これにより、ビデオデータを圧縮することができる。対応する復号化又は解凍技術を適用することにより、元のビデオデータを再構築して復元する。
例えば、H.264/MPEG-4 Advanced Video Coding(AVC)に用いられるもの等、現行のビデオコーデック(コーダ兼デコーダ)は、主に、連続するビデオフレーム間の差異を符号化するだけでデータの圧縮を行う。当該コーデックは、いわゆるマクロブロックの規則的な配列を用いる。これらのマクロブロックはそれぞれ、先行のビデオフレーム中の対応のマクロブロックとの比較領域として用いられる。次いで、当該マクロブロックの画像領域は、ビデオシーケンス内の対応する現在及び先行のマクロブロック間又はビデオシーケンスのうちの1つのフレーム内の隣り合うマクロブロック間に見られる動きの度合いに応じて符号化される。
上記H.264/MPEG-4 AVCに対する後継技術として、H.265又はMPEG-H Part 2としても知られるHEVC(High Efficiency Video Coding)が提案されている。これは、HEVCのビデオ品質を向上させると共にデータ圧縮比をH.264の二倍にすること、及びH.264を128×96~7680×4320画素解像度の範囲でスケーラブルとすることを目的としている。これは、概ね128キロビット/秒~800メガビット/秒のビットレートに相当する。
国際公開第2013/023518号 米国特許出願公開第2012/082222号明細書
本開示は、上記処理に伴う問題に対処する又はこれらの問題を軽減させることを目的とする。
本開示によれば、画像を複数の画像領域として符号化する画像エンコーダであって、各上記画像領域のサイズ及び形状の少なくとも一方を選択する上記画像エンコーダと、上記画像の現在の領域の現在のサンプルを、上記同一の画像の1つ又は複数の参照サンプルに対して、上記現在のサンプルと上記参照サンプルの参照位置との間の予測方向に応じて予測するイントラ画像予測部とを具備し、上記予測方向は、セットの候補予測方向から選択され、上記イントラ画像予測部は、上記画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用するように構成され、上記態様は、上記領域形状及び上記画像内の上記領域の位置のうちの1つ又は複数である画像データ符号化装置が提供される。
本開示の各側面及び特徴は、添付の特許請求の範囲において定義される。
なお、上述の一般的な説明及び以降の詳細な説明は、本技術の一例であり、本技術を限定するものではないことが理解されるべきである。
ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ/ビデオ(A/V)データ送受信システムを示す概略図である。 ビデオデータ解凍を行うビデオ表示システムを示す概略図である。 ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ/ビデオ記憶システムを示す概略図である。 ビデオデータの圧縮を行うビデオカメラを示す概略図である。 記憶媒体を示す概略図である。 記憶媒体を示す概略図である。 ビデオデータ圧縮及び解凍装置を示す概略図である。 予測部を示す概略図である。 部分的に符号化された画像を示す概略図である。 セットのあり得るイントラ予測方向を示す概略図である。 セットの予測モードを示す概略図である。 イントラ予測処理を示す概略図である。 モード選択方法を示す概略フローチャートである。 モードサブセット選択方法を示す概略フローチャートである。 非正方形ブロックを示す概略図である。 非正方形ブロックを示す概略図である。 最確モードを用いた方法を示す概略フローチャートである。 MPM選択方法を示す概略フローチャートである。 符号化技術を示す概略フローチャートである。 符号化技術を示す概略フローチャートである。 符号化技術を示す概略フローチャートである。 符号化技術を示す概略フローチャートである。 符号化ブロックを示す概略図である。 画像を示す概略図である。 方法を示す概略フローチャートである。 方法を示す概略フローチャートである。 方法を示す概略フローチャートである。 方法を示す概略フローチャートである。
添付図面と共に以降の詳細な説明を参照することによって、本技術の完全な理解及びその優位性の多くが容易に理解される。
次に各図面を参照すると、図1~図4には、以下に説明する本技術の各実施形態に係る圧縮装置及び/又は解凍装置を利用する装置又はシステムが概略的に示されている。
以下に説明する全てのデータ圧縮装置及び/又はデータ解凍装置は、ハードウェアで実現されてもよいし、例えば、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)又はフィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、或いはこれらの組み合わせ等のようなプログラム可能なハードウェアとして、汎用コンピュータ等の汎用データ処理装置上で動作するソフトウェアで実現されてもよい。ソフトウェア及び/又はファームウェアで実現される実施形態の場合、このようなソフトウェア及び/又はファームフェア、並びに、このようなソフトウェア及び/又はファームウェアが記憶又は提供される非一時的なデータ記録媒体が本技術の実施形態と見なされることが理解されるであろう。
図1は、ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ/ビデオデータ送受信システムを示す概略図である。
入力オーディオ/ビデオ信号10は、少なくともオーディオ/ビデオ信号10のビデオ要素を圧縮するビデオデータ圧縮装置20に供給され、例えば、ケーブル、光ファイバ、無線リンク等の送信ルート30に沿って送信される。圧縮された信号は、解凍装置40によって処理され、これにより、出力オーディオ/ビデオ信号50が提供される。リターンパスでは、圧縮装置60がオーディオ/ビデオ信号を圧縮し、当該オーディオ/ビデオ信号は送信ルート30に沿って解凍装置70に送信される。
したがって、圧縮装置20及び解凍装置70は、送信リンクの1つのノードを構成することができる。また、解凍装置40及び圧縮装置60は、当該送信リンクの他の1つのノードを構成することができる。もちろん、送信リンクが単方向である場合は、これらのノードのうちの一方のノードのみが圧縮装置を必要とし、他方のノードのみが解凍装置を必要とすることになる。
図2は、ビデオデータ解凍を行うビデオ表示システムを示す概略図である。具体的には、圧縮されたオーディオ/ビデオ信号100は解凍装置110によって処理され、これにより、表示装置120上で表示することができる解凍信号が提供される。解凍装置110は、例えば、表示装置120と同じ筐体内に設けることにより、表示装置120と一体的に形成してもよい。或いは、解凍装置110は、(例えば)いわゆるセットトップボックス(STB:Set Top Box)として提供されてもよい。なお、「セットトップ」という用語は、当該ボックスを表示装置120に対して特定の方向又は位置に配置する必要があることを意味するわけではない。この用語は、単に、周辺機器として表示部に接続可能なデバイスを示すために当該技術分野で使用されているに過ぎない。
図3は、ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ/ビデオ記憶システムを示す概略図である。入力オーディオ/ビデオ信号130は、圧縮信号を生成する圧縮装置140に供給され、例えば、磁気ディスク装置、光ディスク装置、磁気テープ装置、又は半導体メモリやその他の記憶装置等の固体記憶装置等の記憶装置150に記憶される。再生時においては、圧縮データが記憶装置150から読み出され、解凍装置160に送られて解凍される。これにより、出力オーディオ/ビデオ信号170が提供される。
圧縮又は符号化された信号及び当該信号を記憶する非一過性の装置可読記憶媒体等の記憶媒体が本技術の実施形態として見なされることが理解されるであろう。
図4は、ビデオデータの圧縮を行うビデオカメラを示す概略図である。図4において、CCD(Charge Coupled Device)イメージセンサ及びそれに付随する制御及び読出電子機器等の画像キャプチャ装置180は、圧縮装置190に送るビデオ信号を生成する。1つ又は複数のマイクロフォン200は、圧縮装置190に送るオーディオ信号を生成する。圧縮装置190は、記憶及び/又は送信する(ステージ220として包括的に表す)圧縮オーディオ/ビデオ信号210を生成する。
以下に説明する技術は、主に、ビデオデータの圧縮及び解凍に関する。オーディオデータの圧縮を行うために、以下に説明するビデオデータ圧縮技術と共に多くの既存の技術を用いて圧縮オーディオ/ビデオ信号を生成してもよいことが理解されるであろう。したがって、オーディオデータの圧縮について別途説明は行わない。また、特に、放送品質ビデオデータにおいて、ビデオデータに関連するデータレートは一般的に、(圧縮及び非圧縮を問わず)オーディオデータに関連するデータレートよりもはるかに高いことも理解されるであろう。したがって、非圧縮オーディオデータを圧縮ビデオデータに追加して圧縮オーディオ/ビデオ信号とすることができることが理解されるであろう。さらに、本発明の実施形態(図1~図4参照)はオーディオ/ビデオデータに関するものであるが、以下に説明する技術は、単にビデオデータを処理(すなわち、圧縮、解凍、記憶、表示、及び/又は送信)するシステムに使用してもよいことが理解されるであろう。すなわち、これらの実施形態は、必ずしもオーディオデータ処理と関連している必要はなく、ビデオデータの圧縮に適用することができる。
図5及び図6は、装置20、60によって生成される(例えば)圧縮データ、装置110に入力される圧縮データ、又は記憶媒体又はステージ150、220を記憶する記憶媒体を示す概略図である。図5は、磁気ディスク又は光ディスク等のディスク型記憶媒体を示す概略図である。図6は、フラッシュメモリ等の固体記憶媒体を示す概略図である。なお、図5及び図6は、コンピュータによって実行されることによって後述の方法のうちの1つ又は複数の方法を当該コンピュータに実行させるコンピュータソフトウェアを記憶する非一過性の装置可読記憶媒体の例も示す。
図7は、ビデオデータ圧縮及び解凍装置の概略図である。
制御部343は、ビデオデータ圧縮及び解凍装置の全体的な動作を制御する。制御部343は、特に、圧縮モードについて言えば、ブロックのサイズ及び形状等の種々の動作形態を選択する選択器として動作することによって、試行符号化処理を制御する。また、制御部343は、ビデオデータが符号化されるに当たって損失が生じるか否かを制御する。この制御部は、画像エンコーダ又は画像デコーダ(場合による)の一部と見なされる。入力ビデオ信号300の連続画像は、加算部310及び画像予測部320に供給される。画像予測部320については、図8を参照して後で詳述する。画像エンコーダ又は画像デコーダ(場合による)は、図8のイントラ画像予測部と共に、図7に示す装置を構成する。しかしながら、この画像エンコーダ又は画像デコーダは、必ずしも図7に示す全ての特徴を必要とするわけではない。
加算部310は、「+」入力上で入力ビデオ信号300を受信し、「-」入力上で画像予測部320の出力を受信する事実上の減算(負の加算)動作を実行する。これにより、入力画像から予測画像が減算される。この結果、実画像と予測画像との差を表すいわゆる残差画像信号330が生成される。
残差画像信号を生成する理由の1つは次の通りである。説明を行うデータ符号化技術、すなわち、残差画像信号に適用される技術は、符号化される画像において「エネルギー」が少ない場合に、より効率的に作用する傾向がある。ここで、「効率的」という用語は、生成した符号化データの量が少ないことを示す。特定の画像品質レベルにおいては、生成するデータができるだけ少ないことが望ましい(且つ、「効率的」と考えられる)。残差画像における「エネルギー」は、残差画像に含まれる情報量に関連する。仮に、予測画像と実画像とが同一だとすると、これら2つの画像の差(すなわち、残差画像)は、ゼロの情報(ゼロエネルギー)を含み、非常に容易に少量の符号化データに符号化することができる。一般的に、予測画像の内容が、符号化される画像の内容と同様になるように、予測処理を或る程度良好に実行することができる場合、残差画像データは、入力画像よりも情報が少なく(エネルギーが少ない)、容易に少量の符号化データに符号化することができると予想される。
(残差又は差分画像を符号化する)エンコーダとして動作する装置の残りの部分を説明する。残差画像データ330は、残差画像データのブロック又は領域の離散コサイン変換(DCT:Discrete Cosine Transform)表現を生成する変換部340に供給される。このDCT技術自体は広く知られているため、ここでは詳しく説明しない。また、DCTの使用は、一構成例の例示に過ぎない。他の変換方式として、例えば、離散サイン変換(DST:Discrete Sine Transform)を用いることができるであろう。変換方式は、例えば、1つの変換方式に別の変換方式が(直接的又は間接的に)続く構成等、個々の変換方式を組み合わせてもよい。変換方式の選択は、明示的に決定されてもよく、且つ/又は、エンコーダ及びデコーダを構成するのに用いられる付帯情報(side information)に依存してもよい。
変換部340の出力、すなわち、画像データにおける各変換ブロックに対する一連のDCT係数は、量子化部350に供給される。量子化スケーリング要素による単純な乗算から、量子化パラメータの制御下における複雑なルックアップテーブルの応用に至るまで、様々な量子化技術がビデオデータ圧縮の分野において広く知られている。その目的として一般的なものには2つある。1つ目は、変換データが取り得る値を量子化処理により減少させることである。2つ目は、変換データの値がゼロである可能性を量子化処理により増加させることである。これらにより、少量の圧縮ビデオデータの生成において、後述するエントロピー符号化処理をより効率的に行うことができる。
スキャン部360により、データスキャン処理が適用される。スキャン処理の目的は、非ゼロの量子化変換係数をできるだけひとまとめにするため、また、もちろん、これにより、ゼロ値の係数をできるだけひとまとめにするために、量子化変換データを再整理することである。これらの機能により、いわゆるランレングス符号化又は同様の技術を効率的に適用することができる。したがって、スキャン処理は、(a)スキャンの一部として全ての係数が一度は選択されるように、且つ、(b)スキャンにより所望の再整理を行うことができるように、「スキャン順」に従って、量子化変換データ、及び、特に、変換及び量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。有効な結果をもたらすスキャン順の一例は、いわゆるUp-right Diagonalスキャン順である。
スキャンされた係数は、その後、エントロピーエンコーダ(EE)370に送られる。この場合もやはり、各種エントロピー符号化を実行してもよい。2つの例は、いわゆるCABAC(Context Adaptive Binary Coding)システムの変形、及び、いわゆるCAVLC(Context Adaptive Variable-Length Coding)システムの変形である。一般的に、CABACは効率がよいと考えられている。或る研究では、CABACにおける符号化出力データの量は、同等の画像品質に対して、CAVLCよりも10~20%少ないことが示されている。しかしながら、CAVLCが示す(実行する上での)複雑性のレベルは、CABACの複雑性のレベルよりもはるかに低いと考えられている。なお、スキャン処理及びエントロピー符号化処理は、別々の処理として示されているが、実際には、組み合わせるか、又は、一緒に扱うことができる。すなわち、エントロピーエンコーダへのデータの読み出しは、スキャン順で行うことができる。これは、後述する各逆処理の場合も同様である。
エントロピーエンコーダ370の出力により、例えば、予測部320が予測画像を生成する方法を定義する(上述及び/又は後述の)追加データと共に、圧縮出力ビデオ信号380が提供される。
一方、予測部320自体の動作は解凍された圧縮出力データに依存するため、リターンパスも提供される。
この機能の理由は以下の通りである。解凍処理(後述する)における適切なステージで、解凍された残差データが生成される。この解凍残差データは、出力画像を生成するために、予測画像に追加する必要がある(なぜなら、元の残差データは、入力画像と予測画像との差であったため)。圧縮側と解凍側とでこの処理が同等となるように、予測部320によって生成される予測画像は、圧縮処理中及び解凍処理中において、同一であるべきである。もちろん、装置は、解凍時において元の入力画像にアクセスすることができない。装置がアクセスすることができるのは、解凍画像のみである。したがって、圧縮時において、予測部320は、解凍された圧縮画像に基づいて(少なくともインター画像符号化について)その予測を行う。
エントロピーエンコーダ370により実行されるエントロピー符号化処理は、(少なくともいくつかの例では)「無損失(lossless)」であると考えられる。すなわち、エントロピーエンコーダ370に最初に供給されたデータと全く同じデータに置き換えることができる。したがって、このような例では、リターンパスは、エントロピー符号化ステージよりも前に実装することができる。実際、スキャン部360によって実行されるスキャン処理も無損失であると考えられるが、本実施形態では、リターンパス390は、量子化部350の出力から、補足逆量子化部420の入力までとされている。ステージによって損失が生じる又は損失が生じる可能性がある場合、当該ステージは、リターンパスによって形成されるフィードバックループに含めてもよい。例えば、エントロピー符号化ステージは、例えば、ビットをパリティ情報において符号化する技術によって、少なくとも原理的には損失を生じるものとされ得る。このような例では、エントロピー符号化及び復号化は、フィードバックループの一部を形成する必要がある。
一般的には、エントロピーデコーダ410、逆スキャン部400、逆量子化部420、逆変換部430は、それぞれ、エントロピーエンコーダ370、スキャン部360、量子化部350、及び変換部340の逆機能を提供する。ここでは、圧縮処理について説明を続け、入力圧縮ビデオ信号を解凍するための処理については、別途後述する。
圧縮処理において、スキャンされた係数は、リターンパス390により量子化部350から、スキャン部360の逆動作を実行する逆量子化部420に送られる。逆量子化処理及び逆変換処理が逆量子化部420、逆変換部430により実行され、圧縮-解凍残差画像信号440が生成される。
画像信号440は、加算部450で予測部320の出力に追加され、再構築出力画像460が生成される。これにより、後述するように、画像予測部320への1つの入力が構成される。
受信した圧縮ビデオ信号470を解凍するために適用される処理について説明する。圧縮ビデオ信号470は、まず、エントロピーデコーダ410に供給され、そこから逆スキャン部400、逆量子化部420、及び逆変換部430の順に供給される。その後、加算部450によって画像予測部320の出力に追加される。したがって、デコーダ側では、デコーダは、残差画像を再構築し、これを(ブロック単位で)(加算部450によって)予測画像に適用することで各ブロックを復号化する。端的に言うと、加算部450の出力460が出力解凍ビデオ信号480を形成する。実際には、信号を出力する前に、さらに(例えば、フィルタ560を用いて)フィルタリングを任意選択で施してもよい。このフィルタ560は、図8に示す。図8に比べて全体的な構成を示す図7では、フィルタ560は、見易さのために省略している。
図7及び図8に示す装置は、圧縮装置又は解凍装置として動作することができる。二種類の装置の機能が実質的に重複する。スキャン部360及びエントロピーエンコーダ370は、解凍モードでは使用されない。予測部320(後で詳述する)及び他の各部の動作は、受信した圧縮ビットストリームに含まれるモード及びパラメータ情報に従い、自らはこれらの情報を生成しない。
図8は、予測画像の生成を示す概略図であり、特に、画像予測部320の動作を示している。
2つの基本的な予測モードが画像予測部320によって実行される。2つの基本的な予測モードとは、いわゆるイントラ画像予測及びいわゆるインター画像予測又は動き補償(MC:Motion-Compensated)予測である。エンコーダ側では、これらの予測はそれぞれ、予測対象である現在のブロックについて予測方向を検出し、(同じ(イントラ)又は別の(インター)画像における)他のサンプルに応じてサンプルの予測ブロックを生成することを含む。加算部310又は450により、予測ブロックと実際のブロックとの差異を符号化又は復号化することで、ブロックをそれぞれ符号化又は復号化する。
(デコーダ側又はエンコーダの逆復号化側では、この予測方向の検出は、どの方向がエンコーダで用いられたかを示す、エンコーダによる符号化データに関係付けられたデータに応じるものであってもよい。或いは、当該予測方向の検出は、エンコーダで決定された要素と同じものに応じるものであってもよい。)
イントラ画像予測は、同一画像内から得られるデータにおける画像ブロック又は領域の内容の予測を基礎としている。これは、他のビデオ圧縮技術における、いわゆるIフレーム符号化に対応する。しかし、画像全体をイントラ符号化によって符号化するIフレーム符号化とは対照的に、本実施形態では、イントラ符号化及びインター符号化の選択を、ブロック毎に行うことができる。他の実施形態では、当該選択が依然として画像毎に行われる。
動き補償予測は、インター画像予測の一例であり、他の隣接画像又は近接画像において、現在の画像において符号化される画像詳細のソースを定義しようとする動き情報が用いられる。したがって、理想的な例では、予測画像における画像データのブロックの内容は、隣接画像において同じ位置又はわずかに異なる位置に存在する対応ブロックを示す参照(動きベクトル)として、非常に容易に符号化することができる。
「ブロックコピー」予測として知られる技術は、現在の予測ブロックを生成するためにコピーすべき、同一の画像内の現在の予測ブロックから変位した位置にある、サンプルから成るブロックを示すベクトルを用いるため、いくつかの点において、上記2つの予測のハイブリッドと言える。
図8に戻る。図8には(イントラ画像予測及びインター画像予測に対応する)2つの画像予測構成が示されており、その予測結果が、加算部310及び450に供給するための予測画像のブロックを提供するように、(例えば、制御部343の)モード信号510の制御下において乗算部500によって選択される。当該選択は、どちらを選択すれば最少の「エネルギー」(上述のように、符号化が必要な情報の量と考えてもよい)となるかに基づいて行われ、また、当該選択は、符号化出力データストリームでデコーダに通知される。これに関して、例えば、入力画像から、2つのバージョンの予測画像の領域を試行減算し、差分画像の各ピクセル値を2乗し、乗算値を合計し、当該2つのバージョンのうち、その画像領域に関連する差分画像の平均乗算値が低いのはどちらのバージョンかを特定することによって、画像エネルギーを検出することができる。他の例では、選択毎に又はあり得る選択毎に試行符号化を実行することができる。そして、符号化に必要なビット数及び当該画像に対する歪みのうちの一方又は両方に関する、あり得る選択毎の費用に応じて選択が行われる。
イントラ予測システムでは、実際の予測は、信号460の一部として受信された画像ブロックに基づいて行われる。すなわち、予測は、解凍装置において全く同じ予測を行うことができるように、符号化-復号化画像ブロックに基づいて行われる。しかしながら、データを入力ビデオ信号300から導出して、イントラモード選択部520により、イントラ画像予測部530の動作を制御することもできる。
インター画像予測では、動き補償(MC)予測部540は、例えば、動き推定部550によって入力ビデオ信号300から導出された動きベクトル等の動き情報を用いる。動き補償予測部540は、これら動きベクトルを再構築画像460に適用し、インター画像予測のブロックを生成する。
したがって、イントラ画像予測部530及び動き補償予測部540(推定部550と共に動作する)はそれぞれ、予測対象である現在のブロックについての予測方向を検出する検出部として、また、予測方向によって画定される他のサンプルに応じてサンプルの予測ブロック(加算部310及び450に送る予測結果の一部をなす)を生成する生成部として動作する。
ここで、信号460に適用される処理について説明する。まず、信号460は、フィルタ部560によって任意選択でフィルタリングされる。フィルタ部560については、以下でさらに詳細に説明する。この処理では、変換部340が実行する、ブロックに基づく処理及び後続の動作に対する影響を排除する、又は少なくとも軽減させるために「非ブロック化(deblocking)」フィルタが適用される。サンプルアダプティブオフセット(SAO:Sample Adaptive Offsetting)フィルタを用いることも可能である。また、再構築信号460及び入力ビデオ信号300を処理することによって得られる係数を使用して、適応ループフィルタが任意選択で適用される。この適応ループフィルタは、公知の技術を使用して、フィルタリング対象のデータに対して適応フィルタ係数を適用するフィルタの一種である。すなわち、フィルタ係数は、各種要素に基づいて変化し得る。どのフィルタ係数を用いるかを定義するデータは、符号化出力データストリームの一部に挿入される。
装置が解凍装置として動作している場合、フィルタ部560からのフィルタリングされた出力は、実際には、出力ビデオ信号480を形成する。この信号は、1つ又は複数の画像又はフレーム記憶部570に記憶される。連続画像の記憶は、動き補償予測処理、特に、動きベクトルの生成において必要となる。必要なメモリを確保するため、画像記憶部570に記憶される画像は、圧縮形式で保持され、その後、動きベクトルの生成に用いるために解凍されてもよい。この特定の目的のために、公知のいかなる圧縮/解凍システムを用いてもよい。記憶画像は、より高い解像度の記憶画像を生成する補間フィルタ580に送られる。この例では、補間フィルタ580によって出力される補間画像の解像度が、輝度チャンネルが4:2:0である場合に画像記憶部570に記憶された画像の4倍(各寸法)となるように、色チャンネルが4:2:0である場合に画像記憶部570に記憶された画像の8倍(各寸法)となるように、中間サンプル(サブサンプル)が生成される。補間画像は、動き推定部550及び動き補償予測部540への入力として送られる。
ここで、圧縮処理のために画像を分割する方法について説明する。基本的なレベルでは、圧縮対象の画像は、サンプルから成るブロック又は領域の配列として考えることができる。このような画像のブロック又は領域への分割は、参照によりその内容が本明細書に援用されるBross他著「High Efficiency Video Coding(HEVC)text specification draft 6」、JCTVC-H1003_d0(November 2011)に記載されているような決定木によって行うことができる。いくつかの例では、結果として得られるブロック又は領域は、様々なサイズを有し、場合によっては、決定木により、全体的に当該画像内の画像特徴の配列に沿った形状を有する。これだけでも符号化効率を向上させることができる。というのも、類似の画像特徴を表す又はこれらに沿うサンプルは、このような構成によって、グループ化される傾向にあるからである。いくつかの例では、異なるサイズの正方形ブロック又は領域(例えば、4×4サンプル~例えば64×64、又はより大きいブロック)が、選択に利用可能である。他の構成例では、(例えば、垂直方向又は水平方向に配向された)矩形ブロック等の異なる形状のブロック又は領域を用いることができる。他の非正方形及び非矩形ブロックも包含される。このような画像のブロック又は領域への分割結果として、(少なくとも本例では)画像のサンプルがそれぞれ1つの、さらには、1つのみの係るブロック又は領域サンプルに割り当てられる。
これより、イントラ予測処理について説明する。一般的に、イントラ予測は、同一の画像において先に符号化及び復号化されたサンプルからサンプルの現在のブロックの予測結果を生成することを含む。
図9は、部分的に符号化された画像800を示す概略図である。ここで、当該画像は、左上から右下に向かってブロック単位で符号化されている。画像全体の処理において符号化途中にあるブロックの一例を、ブロック810として示す。上方の影付き領域820からブロック810の左側までは既に符号化されている。ブロック810の内容のイントラ画像予測のために、影付き領域820のうちのいずれも利用することができるが、それより下方の影なし領域を利用することはできない。
いくつかの例では、より大きいブロック(CU(Coding Unit)と称する)が、図9を参照して説明した順序等の順序で符号化されるように、画像をブロック単位で符号化する。CU毎に、(行われたブロック分割処理に応じて)CUは、セットの2つ以上のより小さいブロック又はTU(Transform Unit)として処理される可能性がある。これによって、当該画像がCU単位で符号化されるような符号化の階層順が与えられる。各CUは、可能性として、TU単位で符号化される。なお、現在のCTU(Coding Tree Unit)内の個々のTU(ブロック分割のツリー構造において最大のノード)について、上述した(CU毎の、次いで、TU毎の)符号化の階層順は、現在のCUにおいて先に符号化されたサンプルが存在し、当該TUの符号化に利用可能であり得ることを意味する。これらのサンプルは、例えば、当該TUの右上又は左下に存在する。
ブロック810は、CUを表す。上述したように、イントラ画像予測処理のために、これは、セットのより小さい単位に細分化してもよい。現在のTU830の一例をCU810内に示す。より一般的には、画像は、シグナリング情報及び変換後のデータを効率的に符号化することができるように、領域又はサンプル群に分割される。情報のシグナリングは、当該変換の構造に対して、実際には、予測情報又は予測そのものの構造に対して、細分化されたものから成る異なるツリー構造を必要とし得る。このような理由から、CUは、変換ブロック又は領域、予測ブロック又は領域及び予測情報の構造に対して異なるツリー構造を有し得る。HEVC等のいくつかの例では、当該構造は、葉ノードが1つ又は複数の予測単位及び1つ又は複数のTUを含む、CUのいわゆる四分木とすることができる。TUは、画像のルマ及びクロマ表現に対応する複数の変換ブロックを含むことができ、予測方式は、変換ブロックレベルで適用可能であると考えることができる。いくつかの例では、特定のサンプル群に適用されるパラメータは、主にブロックレベルで定義されると考えることができる。このブロックレベルは、変換構造と同じ粒度ではない可能性がある。
イントラ画像予測は、現在のTUを考慮する前に符号化されたサンプルを考慮する。当該サンプルは、現在のTUの上方及び/又は左側のサンプルである。必要なサンプルの予測元となるサンプルは、現在のTUに対して異なる位置又は方向に存在し得る。現在の予測単位に対していずれの方向が適しているかを決定するために、例示的なエンコーダのモード選択部520は、候補方向毎に利用可能なTU構造の組み合わせを全て試し、圧縮効率が最高となる予測方向及びTU構造を選択することができる。
画像は、「スライス」毎に符号化されてもよい。一例では、スライスは、水平方向に隣接するCU群である。しかしながら、より一般的には、残差画像全体でスライスを構成することができ、或いは、スライスを単一のCU又はCUの行等とすることもできる。スライスは、独立した単位として符号化されるため、エラーに対する回復力が或る程度得られる。エンコーダ及びデコーダの状態は、スライス境界で完全にリセットされる。例えば、イントラ予測はスライス境界を跨いでは行われない。このため、スライス境界は、画像境界として処理される。
図10は、考えられる(候補となる)セットの予測方向を示す概略図である。予測単位に対して方向候補を全て利用可能である。方向は、現在のブロック位置に対する水平及び垂直移動により決定されるが、予測「モード」として符号化される。当該セットの方向を図11に示す。なお、いわゆるDCモードは、周囲にある上部及び左側のサンプルの単純算術平均を表す。また、図10に示す方向のセットは一例に過ぎない。他の例では、(例えば)65の角度モードにDC及びplanarを合わせたセット(合計67のモード)で一セットとする。他のモード数も採用可能である。
一般的に、システムは、予測方向の検出後、予測方向によって確定された他のサンプルに応じてサンプルの予測ブロックを生成するように動作可能である。いくつかの例では、画像エンコーダは、画像のサンプル又は領域毎に選択された予測方向を識別するデータを符号化するように構成される。
図12は、イントラ予測処理を示す概略図である。このイントラ予測処理では、サンプルから成るブロック又は領域910のサンプル900を、当該サンプルに関連するイントラ予測モードによって確定された方向930に応じて同一の画像の他の参照サンプル920から導出する。本例の参照サンプル920は、対象のブロック910の上方及び左側のブロックが元となっており、サンプル900の予測値は、参照サンプル920に対して方向930に沿ってトラッキングすることによって得られる。方向930は、単一の個別の参照サンプルを示してもよいが、より一般的には、周辺の参照サンプルの補間値を予測値として用いる。なお、ブロック910は、図12に示すように正方形であってもよく、矩形等の他の形状であってもよい。
図11に示すあり得るイントラ予測モードのセット全体から任意のブロックにおける任意のサンプルを選択させる代わりに、このサンプルの選択元となるイントラ予測モードのセットを制限するための技術を以下に説明する。なお、イントラ予測モードのセットは、少なくともいくつかの場合に適用されるものであって、適用されない場合もあり得る。この種の基本的な例示的処理を図13に示す。図13は、モード選択方法を示す概略フローチャートである。図13は、より広範な予測、圧縮又は解凍アルゴリズムの一部をなし、単に、モード選択に関連する処理の一部に関する。
ステップ940において、対象のサンプルを含むブロック(例えば、ブロック910)がいわゆる「小」ブロックであるか否かを判定する。ここで、対象のブロックは、上述のTUと称されるブロック等、イントラ予測を適用中のブロックである。例えば、「小」ブロックは、サンプルの4×4ブロックとして画定されてもよく、異なる定義を用いてもよい(例えば、8×8ブロック又はより小さいブロック)。非正方形ブロックの場合、「小」ブロックは、(例えば)4以下のサンプルから成る少なくとも1つの寸法を有するブロックとして定義してもよい。正方形ブロックの場合、少なくとも、サンプルの4×4ブロックとして「小ブロック」が定義される場合、本技術を用いることで利点が得られることが試験により実証されている。
現在のブロックが小ブロックとして分類されている場合、本制御処理は、ステップ950に進む。ステップ950において、利用可能なモードから成る第1のセットを、モード選択処理時に選択されるように提供する。現在のブロックが小ブロックとして分類されていない場合、本制御処理は、ステップ960に進む。ステップ960において、モードから成る第2のセットを、選択されるように提供する。次いで、本制御処理は、ステップ970に進む。ステップ970において、適した予測モードを通常の方法で選択する。但し、これは、関連のセットから選択する。
第1のセット(「小ブロック」に適用可能である)は、非小ブロックに適用可能である第2のセットより少ない利用可能なモードを含む。
いくつかの実施形態では、ビットレートの利点は、より少ないセットのモードしか小ブロックに利用させないことによって得られる。これは、利用可能なセットのモード数が減ると、(あり得るモードのセットの中から)現在選択されているモードのIDを符号化するためのデータ量を減少させることができるためである。なお、小ブロックのために、利用可能なモードのより多いセットを利用する場合と、利用可能なモードのより少ないセットを利用する場合とでの予測精度の差異は、ゼロ又は微量であり得る。換言すると、小ブロックの場合、非常に精細な方向解像度を与えるセットの利用可能な予測モードが不要となり得る。これは、この精細な解像度セットでは、近接するモードについては、同一又は酷似した結果が得られるためである。したがって、小ブロックの場合、利用可能な予測モードのセットを制限することによって、精度の低い(又は著しく低い)予測を必ずしも招くことなく、ビットレートを節約することができる。
図14は、図13の場合よりも一般的な場合を示す概略フローチャートである。当該概略フローチャートでは、ステップ1000において、ブロックサイズ及び/又は形状のうち一方又は両方の態様を検出する。これに応じて、ステップ1010において、利用可能な予測モードから成る適したサブセットを選択する。この選択によって、ステップ1020において、当該ブロック内のサンプルに適用可能であるモードを、当該選択されたサブセットから選択することができる。この図14のより一般的な処理は、(図13の単に2つのセットではなく)モードの複数の別のセット又はサブセットが当該検出されたブロックの態様に応じて利用可能とされる可能性を有する。
このサブセットの選択は、これらの例においてブロック全体に適用され(適用されない例は後述する)、且つ、選択されたサブセットを示す別個のデータを送信する必要なく、(少なくともこれらの例では)エンコーダ及びデコーダで同じ選択処理が行われるように十分に決定論的な方法で行われる。したがって、例えば、上述した単純な例では、(例えば)4×4の任意のブロックサイズの場合、或る一定のサブセットが提供され、他のブロックサイズの場合、別のセットの利用可能な予測モードが提供される。この情報は、いずれのサブセットが使用されているかを確定するためにビットストリームの一部として送信される付加的な情報を必要とすることなく、エンコーダ及びデコーダの両方で導出可能である。例えば、(例えば)4×4ブロックが他のブロックより少ないセットの利用可能なモードを用いる場合の例では、エンコーダ及びデコーダは両方とも、4×4ブロックが処理される度に、このより少ないセットが用いられることをエンコーダからデコーダに明示的に示す必要なく、所定の又は予め共有されている構成情報に基づいて、任意の4×4ブロック用のより小さいサブセットを有する。以下に説明する他の例についても同様の考慮がなされる。つまり、それぞれの場合において、或るブロックに関する利用可能なモードのセットは、当該ブロックの符号化又は復号化(適用可能な場合)においてエンコーダ及びデコーダに利用可能である情報から導出可能である。
図7及び図8に示す各符号化構成は、図13及び図14のフローチャートに従って動作し、画像を複数の画像領域として符号化する画像エンコーダであって、各前記画像領域のサイズ及び形状の少なくとも一方を選択する前記画像エンコーダと、画像の現在の領域の現在のサンプルを、前記同一の画像の1つ又は複数の参照サンプルに対して、前記現在のサンプルと前記参照サンプルの参照位置との間の予測方向に応じて予測するイントラ画像予測部とを具備し、前記予測方向は、セットの候補予測方向から選択され、前記イントラ画像予測部は、前記画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用するように構成され、前記態様は、前記領域形状及び前記画像内の前記領域の位置のうちの1つ又は複数である画像データ符号化装置の一例を提供する。任意選択で、当該態様は、領域サイズをさらに含む。
同様に、図7及び図8に示す各復号化構成は、図13及び図14のフローチャートに従って動作し、画像を、各々のサイズ及び形状をそれぞれ有する複数の画像領域として復号化する画像デコーダと、前記画像の現在の領域の現在のサンプルを、前記同一の画像の1つ又は複数の参照サンプルに対して、前記現在のサンプルと前記参照サンプルの参照位置との間の予測方向に応じて予測するイントラ画像予測部とを具備し、前記予測方向は、セットの候補予測方向から選択され、前記イントラ画像予測部は、前記画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用するように構成され、前記態様は、前記領域形状及び前記画像内の前記領域の位置のうちの1つ又は複数である画像データ復号化装置の一例を提供する。任意選択で、当該態様は、領域サイズをさらに含む。
図13及び図14の例示的な説明では、前記態様は、少なくとも前記領域サイズをさらに含み、前記イントラ画像予測部は、より小さい画像領域に対して、より少ないセットの候補予測方向を適用し、より大きい画像領域に対して、より多いセットの候補予測方向を適用するように構成される。例えば、前記画像予測部は、閾値サイズ以下の少なくとも1つの寸法を有する画像領域に対して、より少ないセットの候補予測方向を適用するように構成されることができる(例えば、4×4ブロック、又は4以下のサンプルから成る少なくとも1つの寸法を有する非正方形ブロック)。方向の対応のセットが利用可能なまま、複数の異なるサイズ閾値を用いることができる。
図15及び図16は、非正方形ブロックの例を示す概略図である。非正方形ブロックは、画像が分割されるブロックのサイズ及び形状を画像内の画像特徴の配置に適合させるために実行されるブロック-サイズ及び形状選択処理の一部として、一般的な符号化システムに用いることができる。非正方形ブロックは、一部のビデオサンプリング方式の場合等、サンプル解像度が水平方向及び垂直方向に異なる場合にも用いることができる。
図15には、垂直方向の非正方形ブロックを示す。この例では、モードのサブセットは、以下のように選択することができる。つまり、(a)利用可能なモード総数が、正方形ブロックと比較して(又は、少なくとも、(例えば)「大」(非小)正方形ブロックに適用可能であるフルセットと比較して)少なくなるように、且つ、(b)このように減少したモード内では、あり得る参照サンプルを上方よりも当該ブロックの左側により多く反映させることで、象限1040よりも象限1030に数が集中するように、モードのサブセットを選択することができる。同様に、図16には、水平方向に配向された矩形ブロックを示す。全体的なモード数は減少しており、残りのモードは、象限1060よりも象限1050に集中する。
したがって、図16及び図17は、前記態様は、少なくとも前記領域形状(サイズ等の他の特徴も含み得るが)を含み、前記イントラ画像予測部は、非正方形の画像領域に対して、より少ないセットの候補予測方向を適用し、正方形の画像領域に対して、より多いセットの候補予測方向を適用するように構成される構成についての例を示す。例えば、非正方形の画像領域用のより少ない前記セットの候補予測方向は、前記非正方形の画像領域の向きに応じた予測方向の範囲に向かって重み付けされてもよい。
図17は、最確モード(MPM:Most Probable Mode)を用いた方法を示す概略フローチャートである。
いくつかの構成例では、いわゆる最確モードは、先に符号化/復号化されたブロックに適用可能であるモードから導出される。この処理の目的は、以下の通りである。(a)MPMの導出を符号化時のエンコーダ及び復号化時のデコーダにおいて同じ様式で行うことで、双方が任意の特定のサンプルについて同じMPMを扱えるようにすること、(b)現在のブロックと、MPMの導出元である先に符号化されたブロックとで画像内容が類似している場合、少なくとも、現在のブロックのサンプルもMPMを利用することになるという有利な機会を提供すること、そして、(c)フルセットのMPMのうちの任意のMPMと比較して、可能性として、ビットストリームのより少量のデータでMPMを符号化することができるようにすること、である。したがって、現在のブロックのサンプルについて、これが、1つ又は複数の先に(例えば、先行して)符号化されたブロックから導出されたMPMである場合、選択されたモードをより少量のデータで符号化することができる。これは、例えば、67のモードから成る群の中から1つのモードを指定する必要があるのではなく、単に、「このサンプルは、先のブロックから前もって構成された処理によって導出された最確モードを用いている」ことを示すため、短いデータコードを用いることができるためである。したがって、モード選択が画像領域内で類似していると仮定すると、これにより、全体的にビットレートを節約することができる。
用語「最確モード」は、当該技術分野で使用されるものであるため、便宜上、ここで用いている。「より共通して用いられるモード」は、これらのモードに関連して用いられ得る別の用語である。MPMという用語は、先行するサンプルから導出されたモードが、特定のサンプルのために選択されるものとして最適である絶対的な最高の可能性を意味するものではない。しかしながら、いわゆるMPMは、先行するサンプルのために共通して用いられるモードであり、又は、先行するサンプルのために共通して用いられるモードから導出される傾向があるため、これらは、一般的に、現在のサンプルに適用可能である可能性が高い。
なお、2つ以上のMPMを導出することができる。この用語「MPM」は、(2つ以上の)モードが同様に最も適当であることを意味するのではなく、セットの2つ以上のMPMとして、これらが現在のサンプルに適用可能である可能性が高いことが意図されている。
これら最確モードは、先行するブロックから、また、とりわけ当該ブロックに含まれるサンプルのために選択されたモードから導出される。図17を参照すると、ステップ1100において、先行する符号化ブロックのサンプルに適用可能であるモードであるセットの候補モードを導出する。ステップ1110において、例えば、候補モードのうち最も共通する1つ又は複数のモード又はこれら最も共通する1つ又は複数の候補モードから導出されたモードとして、1つ又は複数の最確モードから成る群を生成する。ステップ1120において、現在のサンプルのためにモードを1つ選択する。ステップ1130において、選択したモードが、1つ又は複数の最確モードのうちの1つのモードであるか否かを検出する。YESの場合、ステップ1140において、現在のモードを最確モードとして短いデータコードを用いて符号化する。
なお、ステップ1120の処理は、例えば、モード毎の試行符号化又は符号化効率を示す情報の導出によって、利用可能なモードのセット全体の中からの選択を含んでもよい。しかし、エンコーダのいくつかの例では、MPMとして識別されたモードは、ステップ1120に用いる試行アルゴリズムに起因して、他の非最確モードよりも、当該サンプル用のモードとして選択されるものとして適当である可能性がある。したがって、MPMの選択は、いずれのモードがステップ1120で選択されるかに対する影響をそれ自体が有し得る。
いくつかの例では、ステップ1110においてMPMを1つ選択してもよい。他の例では、例えば、「上側」モード及び「左側」モード等、MPMを2つ以上選択してもよい。これら「上側」モード及び「左側」モードは、「左側」モードが図11の範囲2~18に相当し、「上側」モードが、図11の範囲18~34に相当し得る。MPMの選択には、エンコーダ側及びデコーダ側で同一に適用される限り、種々のルールを適用することができる。これらの特定のルールは、一般的なレベルでは、本例には技術的に重要ではない。しかしながら、適用され得るルールのいくつかの例及び変形例を以下に説明する。
再び図17を参照すると、特定のサンプルのために現在選択されているモードが最確モードではない場合、本制御処理は、ステップ1150に進む。ステップ1150において、67のモードから成るセットのうちの残りのモードを、2つのサブセットに分割する。ここで、これら2つのサブセットは、サブセット「X」及びサブセット「Y」と称する。例えば、サブセットXは、数値で表すモード順(図11)に配置される残りの(非最確)モードの4つおきとしてもよい。この場合、サブセットYは、数値順の他の残りの非最確モードから形成され得る。
ステップ1160において、選択されたモードがサブセットX又はサブセットYに含まれるか否かを検出し、本制御処理は、ステップ1170及びステップ1180のいずれか一方に進み、いずれのサブセットに当該モードが含まれるかに応じて当該モードを符号化する。
したがって、図17の構成は、1つ又は複数の先に符号化された画像領域に対して共通して用いられた予測方向に応じて1つ又は複数の適当な予測方向を検出すると共に、前記予測方向を識別する前記データを、(i)前記予測方向が、検出された適当な予測方向であることを示すデータ、及び(ii)残りの前記候補予測方向の中から前記予測方向を識別するデータのいずれか一方として符号化するように構成される前記画像エンコーダの一例を提供する。
なお、上述した動作と合わせて図17の最確モード動作を考慮し、少なくともいくつかの例では、先行するブロックが大(非小)ブロックである場合、この「最確モード」の検出によって「大ブロック」モードが検出される傾向にある。これは、いくつかの理由により、先行する大ブロックに含まれるより多くのサンプルによって適用されることになる統計上の重み付けと同じくらい単純なものとすることができる。いずれにせよ、フルセットの予測モードより少数の、少なくともいくつかのブロックサイズ及び/又はブロック形状が利用可能とされるため、図18は、実際には、最確モード(先行するブロック(複数可)から検出される)が、現在のブロックに用いるのに利用可能なサブセットに含まれない場合に対処する方法を示す概略フローチャートである。一例では、このような事態は、最確モードが、先行する大ブロックに含まれるサンプルに適用可能であるモードから導出されたものであるのに対して、現在のサンプルが小ブロックに含まれており、当該特定のモードは小ブロックに用いるのに利用可能なモードではない場合に起こる。
図18を参照すると、ステップ1200において、(ステップ1100の)候補モードが現在のブロックサイズに適用可能である(つまり、当該現在のブロックサイズに関連して用いるために利用可能である)サブセットに含まれるか否かを検出する。YESの場合、候補モード(それが最確モードとなる他の要件に合うと想定する)を、ステップ1210において最確モードとして選択する。NOの場合、ステップ1220において、再び当該候補が選択の要件に合ったと想定し、(角度領域において)候補モードに隣接するモードを最確モードとして選択する。最確モードが2つの隣接モードを有するとして、隣接モードを選択するのに或るルールを用いることができる。ステップ1220において、例えば、1つの利用可能なモードが任意の他のモードよりも近い場合、最も近い利用可能なモードを選択することができる、又は、1つの利用可能なモードが任意の他のモードよりも近くない場合、次に最も低い数が付された利用可能なモードを選択する。
換言すると、いくつかの例では、1つ又は複数の他の画像領域に比べて、より少ないセットの候補予測方向を有する所定の画像領域について、検出された適当な予測方向が、前記所定の画像領域に適用可能である前記セットの候補予測方向の一部ではない場合、前記画像エンコーダは、前記所定の画像領域に適用可能である前記セットに含まれる近接した予測方向に対して、前記検出された適当な予測方向をマッピングするように構成される。
サブセットX及びYについての説明を参照すると、いくつかの例では、前記(ii)残りの前記候補予測方向の中から前記予測方向を識別するデータは、前記予測方向が、前記残りの候補予測方向から成る2つ以上の異なるサイズの相補的な下位群のうちの1つに含まれるか否かの指標を含む。
小ブロックの場合、又は、モードの選択肢がフルセットの他の利用可能なモードよりも少なくされる場合、この利用可能なモード数の制限を実現するための方法は単に、図17で参照されるサブセットYの使用を防止することである。しかしながら、これを行うために、再度、何らかの機構を設けて、選択されたモード(ステップ1120で選択される)が実際にはサブセットXに含まれないことに対処する必要がある。換言すると、いくつかの例では、前記画像エンコーダは、前記画像領域の前記態様に応じて、前記相補的な下位群のうちの一部の相補的な下位群の予測方向の符号化を阻止し、符号化される前記1つ又は複数の下位群には含まれない予測方向の場合、前記画像領域の前記態様において最も近い予測方向に対して前記予測方向をマッピングするように構成される。図19は、これを実現する技術の一例を示す。
図19を参照する。ステップ1230は、図17のステップ1160の代替である。ステップ1230において、ステップ1120で選択されたモード(ステップ1130で検出された最確モードではない)がサブセットXに含まれるか否かを判定する。YESの場合、図17のステップ1170に対応するステップ1240において当該モードを符号化する。NOの場合、ステップ1250において、(例えば)単一の最も近い隣接モードが存在する場合、サブセットX内の最も近い利用可能な隣接モードを選択することによって、又は、2つの等距離モードが存在する場合、(例えば)サブセットX内の次に最も低い数が付されたモードを選択することによって、この選択されたモードを、サブセットX内に存在する(角領域内の)最も近い利用可能なモードに変更する。次いで、ステップ1260において、この新しく選択されたモードを符号化する。
図20は、サブセットXを使用するのみのシステムの文脈で、サブセットXのモードの開始点の単純な任意選択に比べて、サブセットXに含まれる各モードを可能性としてより有益にする技術を示す概略フローチャートである。
上述したように、いくつかの例では、サブセットXは、数値順に配置された、残りの(非最確)モードの4つおきの(又はn個おきの)モードを含む。このn個の中から1つを選択するための開始点は、任意に設定可能であると共に(エンコーダ及びデコーダにおいて同じ様式で設定される限り)、図20では、この開始点は、最確モードとして選択され、これらのモードのうちの1つ又は複数からの最長距離(例えば、角距離)が得られる、又は、少なくとも、最低限必要な角距離を実現するように設定する。これは、サブセットXを制限することによって提供されるより少数の利用可能なモードでさえ、依然として、有益な角度の広がりを用意することができることを意味する。
図20に示す各ステップは、図17のステップ1150の機能の一部を含む。ステップ1270において、1つ又は複数の(ステップ1110で先に選択した)最確モードを検出する。任意のステップ1280において、現在のブロックのブロックサイズに応じて最短距離を設定する。例えば、より長い最短距離をいわゆる小ブロックに適用することができる。次いで、ステップ1290において、各最確モードとサブセットXの任意の要素との距離が少なくとも最短距離となるようにサブセットXを導出する。
したがって、いくつかの例では、前記画像エンコーダは、符号化される前記1つ又は複数の下位群における前記予測方向が、前記検出された適当な予測方向に対して少なくとも閾値の分離角を有するように、前記相補的な下位群を選択するように構成される。前記閾値の分離角は、任意選択で、前記画像領域の態様に応じたもの(ステップ1280)であってもよい。
図21は、図17のステップ1110での最確モードの選択に関する概略フローチャートである。ステップ1100で設定された候補最確モードで開始し、候補最確モードのセットに隣接するモードが存在する場合、各対の隣接するモードのうちの一方のモードを、ステップ1300で設定候補から外す。ステップ1310(図17のステップ1110に部分的に対応する)において、ステップ1300で変更された修正後の候補リストから最確モードを選択する。この技術によって、酷似した角度モードが2つ以上の最確モードとして選択されないようにすることができる。したがって、いくつかの例では、前記画像エンコーダは、前記適当な予測方向の検出において、前記適当な予測方向同士の分離角を最小とするように構成される。
図22は、図17のステップ1110における最確モードの選択に関する概略フローチャートである。ステップ1100で設定された候補最確モードで開始し、ステップ1320において、角度上最も近いMPM候補を検出し、これらの2つの角度の平均をとる。これは、例えば、(図11の例示的な番号付け方式を用いて)それらのモード数の平均を算出した後、最も近い整数に、又は(別の例では)次に高い又は次に低い整数に丸めることによって実現される。次いで、この平均化されたモードは、導出元となった当該2つのモードの代わりに候補MPMを構成する。本制御処理は、モード選択ステップ1330(図17のステップ1110に部分的に対応する)に進む。
他の例(本明細書のいずれかに記載の例と組み合わせてもよいし、組み合わせなくてもよい)では、サンプルのためのセットの候補予測方向は、ブロック又は領域内のサンプルの変動(pulsation)によって変化し得る。一例として、図23は、各副領域(副領域1410及び1420として概略的に示す)を有するブロック1400を示す概略図である。ここでは、当該セットの利用可能な予測方向は、ブロックの他の副領域及び(いずれの副領域にも含まれない)中央部のうちの一方又は両方と比較して、その数及び/又は分布又はあり得る方向の分布の重み付けが異なり得る。例えば、図23に示すような副領域は、ブロック内のそれらの位置によって、予測方向の一定の範囲に関係付けられるのにより適当であり得るため、それぞれの場合において、上述の図15及び図16と同様の様式で、この適当な角度範囲に応じて重み付けされたサブセットの予測方向を提供することができる。したがって、これにより、サンプルに適用可能であるセットの候補予測方向を、前記画像領域内の前記サンプルの位置に応じて変化させるように構成される前記画像エンコーダの一例が提供される。
他の例(本明細書のいずれかに記載の例と組み合わせてもよいし、組み合わせなくてもよい)では、セットの利用可能な予測方向は、画像内のブロック又は領域の位置に応じて変化し得る。図24は、画像1430を示す概略図である。上側の行1440の各ブロックは、それらの上側のサンプルについて同一の又はダミーの参照サンプルを用いる。これは、実画像サンプルが当該画像の範囲外では利用できないためである。そして、左側の列1450の各ブロックは、それらの左側のサンプルについて同一の又はダミーの参照サンプルを用いる。したがって、行1440については、上側に向かう予測方向の解像度を精細にする必要はない。また、列1450については、左側に向かう予測方向の解像度を精細にする必要はない。これらの例示的な状況のそれぞれにおいて、セットの利用可能な予測方向は、(行1440の各ブロック用の上側に向かう方向の数と、列1450の各ブロック用の左側に向かう方向の数とを減らすように)減少させることができる。
したがって、図24は、前記態様は、少なくとも前記画像内の前記領域位置を含む一例を示す。例えば、画像の周辺に存在し、ダミー又は繰り返しの参照サンプルが用いられる画像領域について、ダミー又は繰り返しの参照サンプル側に向かわない予測方向の範囲に向かってセットの候補予測方向を重み付けする。
図25は、画像の複数の画像領域のうちの各画像領域のサイズ及び形状の少なくとも一方を選択し(ステップ1500)、前記画像を前記複数の画像領域として符号化し(ステップ1510)、前記画像の現在の領域の現在のサンプルを、前記同一の画像の1つ又は複数の参照サンプルに対して、前記現在のサンプルと前記参照サンプルの参照位置との間の予測方向に応じてイントラ画像予測する(ステップ1520)画像データ符号化方法を示す概略フローチャートである。
図26の概略フローチャートによると、少なくともいくつかの例において、前記イントラ画像予測ステップ1520は、所定の画像領域に対して、前記所定の画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用することであって、前記態様は、前記領域形状及び前記画像内の前記所定の画像領域の位置(任意選択で領域サイズも)のうちの1つ又は複数である、異なる二セット以上の候補予測方向を適用する(ステップ1530)こと、及び前記所定の画像領域内のサンプルのための前記予測方向を、前記画像領域に適用可能である前記候補予測方向から成る前記セットから選択する(ステップ1540)ことを含む。
図27は、画像を、各々のサイズ及び形状をそれぞれ有する複数の画像領域として復号化し(ステップ1550)、前記画像の現在の領域の現在のサンプルを、前記同一の画像の1つ又は複数の参照サンプルに対して、前記現在のサンプルと前記参照サンプルの参照位置との間の予測方向に応じてイントラ画像予測する(ステップ1560)画像データ復号化方法を示す概略フローチャートである。
図28の概略フローチャートによると、少なくともいくつかの例において、前記イントラ画像予測ステップ1560は、所定の画像領域に対して、前記所定の画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用することであって、前記態様は、前記領域形状及び前記画像内の前記所定の画像領域の位置(任意選択で領域サイズも)のうちの1つ又は複数である、異なる二セット以上の候補予測方向を適用する(ステップ1570)こと、及び前記所定の画像領域内のサンプルのための前記予測方向を、前記画像領域に適用可能である前記候補予測方向から成る前記セットから選択する(ステップ1580)ことを含む。
本開示の実施形態の各態様及び特徴は、以下の番号付けされた項によって定義される。
1. 画像を複数の画像領域として符号化する画像エンコーダであって、各上記画像領域のサイズ及び形状の少なくとも一方を選択する上記画像エンコーダと、
上記画像の現在の領域の現在のサンプルを、上記同一の画像の1つ又は複数の参照サンプルに対して、上記現在のサンプルと上記参照サンプルの参照位置との間の予測方向に応じて予測するイントラ画像予測部と
を具備し、
上記予測方向は、セットの候補予測方向から選択され、
上記イントラ画像予測部は、上記画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用するように構成され、上記態様は、上記領域形状及び上記画像内の上記領域の位置のうちの1つ又は複数である
画像データ符号化装置。
2. 上記項目1に記載の画像データ符号化装置であって、
上記態様は、少なくとも上記領域サイズをさらに含み、
上記イントラ画像予測部は、より小さい画像領域に対して、より少ないセットの候補予測方向を適用し、より大きい画像領域に対して、より多いセットの候補予測方向を適用するように構成される
画像データ符号化装置。
3. 上記項目2に記載の画像データ符号化装置であって、
上記画像予測部は、閾値サイズ以下の少なくとも1つの寸法を有する画像領域に対して、より少ないセットの候補予測方向を適用するように構成される
画像データ符号化装置。
4. 上記項目1~3のいずれか一項に記載の画像データ符号化装置であって、
上記態様は、少なくとも上記領域形状を含み、
上記イントラ画像予測部は、非正方形の画像領域に対して、より少ないセットの候補予測方向を適用し、正方形の画像領域に対して、より多いセットの候補予測方向を適用するように構成される
画像データ符号化装置。
5. 上記項目4に記載の装置であって、
請求項4に記載の画像データ符号化装置であって、
非正方形の画像領域用のより少ない上記セットの候補予測方向は、上記非正方形の画像領域の向きに応じた予測方向の範囲に向かって重み付けされる
画像データ符号化装置。
6. 先行の項目のいずれか一項に記載の画像データ符号化装置であって、
上記画像エンコーダは、上記画像のサンプル又は領域毎に選択された上記予測方向を識別するデータを符号化するように構成される
画像データ符号化装置。
7. 上記項目6に記載の画像データ符号化装置であって、
上記画像エンコーダは、1つ又は複数の先に符号化された画像領域に対して共通して用いられた予測方向に応じて1つ又は複数の適当な予測方向を検出すると共に、上記予測方向を識別する上記データを、
(i)上記予測方向が、検出された適当な予測方向であることを示すデータ、及び
(ii)残りの上記候補予測方向の中から上記予測方向を識別するデータ
のいずれか一方として符号化するように構成される
画像データ符号化装置。
8. 上記項目7に記載の画像データ符号化装置であって、
1つ又は複数の他の画像領域に比べて、より少ないセットの候補予測方向を有する所定の画像領域について、検出された適当な予測方向が、上記所定の画像領域に適用可能である上記セットの候補予測方向の一部ではない場合、上記画像エンコーダは、上記所定の画像領域に適用可能である上記セットに含まれる近接した予測方向に対して、上記検出された適当な予測方向をマッピングするように構成される
画像データ符号化装置。
9. 上記項目7又は8に記載の画像データ符号化装置であって、
上記(ii)残りの上記候補予測方向の中から上記予測方向を識別するデータは、上記予測方向が、上記残りの候補予測方向から成る2つ以上の異なるサイズの相補的な下位群のうちの1つに含まれるか否かの指標を含む
画像データ符号化装置。
10. 上記項目9に記載の画像データ符号化装置であって、
上記画像エンコーダは、上記画像領域の上記態様に応じて、上記相補的な下位群のうちの一部の相補的な下位群の予測方向の符号化を阻止し、符号化される上記1つ又は複数の下位群には含まれない予測方向の場合、上記画像領域の上記態様において最も近い予測方向に対して上記予測方向をマッピングするように構成される
画像データ符号化装置。
11. 上記項目9又は10に記載の画像データ符号化装置であって、
上記画像エンコーダは、符号化される上記1つ又は複数の下位群における上記予測方向が、上記検出された適当な予測方向に対して少なくとも閾値の分離角(angular separation)を有するように、上記相補的な下位群を選択するように構成される
画像データ符号化装置。
12. 上記項目11に記載の画像データ符号化装置であって、
上記閾値の分離角は、上記画像領域の態様に応じたものである
画像データ符号化装置。
13. 上記項目7~12のいずれか一項に記載の画像データ符号化装置であって、
上記画像エンコーダは、上記適当な予測方向の検出において、上記適当な予測方向同士の分離角を最小とするように構成される
画像データ符号化装置。
14. 先行の項目のいずれか一項に記載の画像データ符号化装置であって、
上記態様は、少なくとも上記画像内の上記領域位置を含む
画像データ符号化装置。
15. 上記項目14に記載の画像データ符号化装置であって、
上記画像の周辺に位置すると共にダミー又は繰り返しの参照サンプルが用いられる画像領域について、上記セットの候補予測方向は、上記ダミー又は繰り返しの参照サンプル側に向かわない予測方向の範囲に向かって重み付けされる
画像データ符号化装置。
16. 先行の項目のいずれか一項に記載の画像データ符号化装置であって、
上記画像エンコーダは、サンプルに適用可能であるセットの候補予測方向を、上記画像領域内の上記サンプルの位置に応じて変化させるように構成される
画像データ符号化装置。
17. 先行の項目のいずれか一項に記載の画像データ符号化装置を具備するビデオ記憶装置、ビデオキャプチャ装置、ビデオ送信装置、又はビデオ受信装置。
18. 画像を、各々のサイズ及び形状をそれぞれ有する複数の画像領域として復号化する画像デコーダと、
上記画像の現在の領域の現在のサンプルを、上記同一の画像の1つ又は複数の参照サンプルに対して、上記現在のサンプルと上記参照サンプルの参照位置との間の予測方向に応じて予測するイントラ画像予測部と
を具備し、
上記予測方向は、セットの候補予測方向から選択され、
上記イントラ画像予測部は、上記画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用するように構成され、上記態様は、上記領域形状及び上記画像内の上記領域の位置のうちの1つ又は複数である
画像データ復号化装置。
19. 上記項目18に記載の画像データ復号化装置を具備するビデオ記憶装置、ビデオキャプチャ装置、ビデオ送信装置、又はビデオ受信装置。
20. 画像の複数の画像領域のうちの各画像領域のサイズ及び形状の少なくとも一方を選択し、
上記画像を上記複数の画像領域として符号化し、
上記画像の現在の領域の現在のサンプルを、上記同一の画像の1つ又は複数の参照サンプルに対して、上記現在のサンプルと上記参照サンプルの参照位置との間の予測方向に応じてイントラ画像予測し、
上記イントラ画像予測ステップは、
所定の画像領域に対して、上記所定の画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用することであって、上記態様は、上記領域形状及び上記画像内の上記所定の画像領域の位置のうちの1つ又は複数である、異なる二セット以上の候補予測方向を適用すること、及び
上記所定の画像領域内のサンプルのための上記予測方向を、上記画像領域に適用可能である上記候補予測方向から成る上記セットから選択すること
を含む、
画像データ符号化方法。
21. コンピュータによって実行され、上記項目20に記載の画像データ符号化方法を上記コンピュータに実行させるコンピュータソフトウェア。
22. 上記項目21に記載のソフトウェアを記憶する非一過性の機械可読記憶媒体。
23. 画像を、各々のサイズ及び形状をそれぞれ有する複数の画像領域として復号化し、
上記画像の現在の領域の現在のサンプルを、上記同一の画像の1つ又は複数の参照サンプルに対して、上記現在のサンプルと上記参照サンプルの参照位置との間の予測方向に応じてイントラ画像予測し、
上記イントラ画像予測ステップは、
所定の画像領域に対して、上記所定の画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用することであって、上記態様は、上記領域形状及び上記画像内の上記所定の画像領域の位置のうちの1つ又は複数である、異なる二セット以上の候補予測方向を適用すること、及び
上記所定の画像領域内のサンプルのための上記予測方向を、上記画像領域に適用可能である上記候補予測方向から成る上記セットから選択すること
を含む、
画像データ復号化方法。
24. コンピュータによって実行され、上記項目23に記載の画像データ復号化方法を上記コンピュータに実行させるコンピュータソフトウェア。
25. 上記項目24に記載のソフトウェアを記憶する非一過性の機械可読記憶媒体。
26. 上記項目20に記載の画像データ符号化方法に従って生成される符号化データを含むデータ信号。
上述の技術は、ビデオサンプリング方式の1つ又は複数の構成要素に、例えば、ルミナンス及び/又はクロミナンス及び/又はクロミナンスサンプルの構成要素が別様にサンプリングされる場合に単独で適用可能である。
同様に、これらの技術は、画像内の4×4(又は「小」)ブロック全てに必ずしも適用する必要はない。いくつかの例では、任意の或る特定の画像の場合、イントラ画像予測部は、サイズ又は形状等の共通の態様を有するこれら画像領域全てに対して、同じセットの候補予測方向を適用する必要はない。いくつかの実施形態では、別のセットの候補予測方向は、共通のサイズ又は形状を有する画像内のこれらの画像領域のサブセットに適用してもよい。
記載した種々の異なる技術は、サンプルに又はサンプルから成るブロック又は領域に適用可能である候補モードセットの選択は、上述の考慮すべき事項又は態様のうちの1つ又は複数(サブセット又は群全体)の任意の順列を考慮することができるように組み合わせることができることが理解されるであろう。
本開示の実施形態が、少なくとも部分的にソフトウェア制御式データ処理装置によって実施されるものとして記載されている限り、係るソフトウェアを保持する、光ディスク、磁気ディスク、半導体メモリ等の非一過性の装置可読媒体も、本開示の一実施形態を代表するものと見なされることが理解されるであろう。
もちろん、本開示の多くの変更形態及び変形が上記教示を鑑みて可能である。したがって、添付の特許請求の範囲から逸脱しない限り、本技術は、本明細書で詳述したものとは異なる方法で実施してもよいことを理解されたい。

Claims (15)

  1. 画像を複数の画像領域として符号化する画像エンコーダであって、各前記画像領域のサイズ及び形状の少なくとも一方を選択する前記画像エンコーダと、
    前記画像の現在の領域の現在のサンプルを、前記画像の1つ又は複数の参照サンプルに対して、前記現在のサンプルと前記参照サンプルの参照位置との間の予測方向に応じて予測するイントラ画像予測部と
    を具備し、
    前記予測方向は、セットの候補予測方向から選択され、
    前記イントラ画像予測部は、前記画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用するように構成され、前記態様は、領域形状を少なくとも含み、
    前記イントラ画像予測部は、前記領域形状が非正方形の、垂直方向又は水平方向への配向を持つ矩形である場合に、前記予測方向の数が配向方向に直交する方向の象限に集中する予測方向のセットを用い
    前記画像エンコーダは、前記画像のサンプル又は領域毎に選択された前記予測方向を識別するデータを符号化するように構成され、
    前記画像エンコーダは、1つ又は複数の先に符号化された画像領域に対して共通して用いられた予測方向に応じて1つ又は複数の適当な予測方向を検出すると共に、前記予測方向を識別する前記データを、
    (i)前記予測方向が、検出された適当な予測方向であることを示すデータ、及び
    (ii)残りの前記候補予測方向の中から前記予測方向を識別するデータ
    のいずれか一方として符号化するように構成され、
    前記(ii)残りの前記候補予測方向の中から前記予測方向を識別するデータは、前記予測方向が、前記残りの候補予測方向から成る2つ以上の異なるサイズの相補的な下位群のうちの1つに含まれるか否かの指標を含み、
    前記画像エンコーダは、前記画像領域の前記態様に応じて、前記相補的な下位群のうちの一部の相補的な下位群の予測方向の符号化を阻止し、符号化される前記1つ又は複数の下位群には含まれない予測方向の場合、前記画像領域の前記態様において最も近い予測方向に対して前記予測方向をマッピングするように構成される
    画像データ符号化装置。
  2. 請求項1に記載の画像データ符号化装置であって、
    前記態様は、少なくとも前記領域サイズをさらに含み、
    前記イントラ画像予測部は、より小さい画像領域に対して、より少ないセットの候補予測方向を適用し、より大きい画像領域に対して、より多いセットの候補予測方向を適用するように構成される
    画像データ符号化装置。
  3. 請求項2に記載の画像データ符号化装置であって、
    前記イントラ画像予測部は、閾値サイズ以下の少なくとも1つの寸法を有する画像領域に対して、より少ないセットの候補予測方向を適用するように構成される
    画像データ符号化装置。
  4. 請求項1に記載の画像データ符号化装置であって、
    前記態様は、少なくとも前記領域形状を含み、
    前記イントラ画像予測部は、非正方形の画像領域に対して、より少ないセットの候補予測方向を適用し、正方形の画像領域に対して、より多いセットの候補予測方向を適用するように構成される
    画像データ符号化装置。
  5. 請求項に記載の画像データ符号化装置であって、
    1つ又は複数の他の画像領域に比べて、より少ないセットの候補予測方向を有する所定の画像領域について、検出された適当な予測方向が、前記所定の画像領域に適用可能である前記セットの候補予測方向の一部ではない場合、前記画像エンコーダは、前記所定の画像領域に適用可能である前記セットに含まれる近接した予測方向に対して、前記検出された適当な予測方向をマッピングするように構成される
    画像データ符号化装置。
  6. 請求項に記載の画像データ符号化装置であって、
    前記画像エンコーダは、符号化される前記1つ又は複数の下位群における前記予測方向が、前記検出された適当な予測方向に対して少なくとも閾値の分離角(angular separation)を有するように、前記相補的な下位群を選択するように構成される
    画像データ符号化装置。
  7. 請求項6に記載の画像データ符号化装置であって、
    前記画像エンコーダは、前記適当な予測方向の検出において、前記適当な予測方向同士の分離角を最小とするように構成される
    画像データ符号化装置。
  8. 請求項1に記載の画像データ符号化装置であって、
    前記態様は、少なくとも前記画像内の領域位置を含む
    画像データ符号化装置。
  9. 画像を、各々のサイズ及び形状をそれぞれ有する複数の画像領域として復号化する画像デコーダと、
    前記画像の現在の領域の現在のサンプルを、前記画像の1つ又は複数の参照サンプルに対して、前記現在のサンプルと前記参照サンプルの参照位置との間の予測方向に応じて予測するイントラ画像予測部と
    を具備し、
    前記予測方向は、セットの候補予測方向から選択され、
    前記イントラ画像予測部は、前記画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用するように構成され、前記態様は、前記領域形状を少なくとも含み、
    前記イントラ画像予測部は、前記領域形状が非正方形の、垂直方向又は水平方向への配向を持つ矩形である場合に、前記予測方向の数が配向方向に直交する方向の象限に集中する予測方向のセットを用い
    前記画像デコーダは、前記画像のサンプル又は領域毎に選択された前記予測方向を識別するデータを復号化するように構成され、
    前記画像デコーダは、1つ又は複数の先に復号化された画像領域に対して共通して用いられた予測方向に応じて1つ又は複数の適当な予測方向を検出すると共に、前記予測方向を識別する前記データを、
    (i)前記予測方向が、検出された適当な予測方向であることを示すデータ、及び
    (ii)残りの前記候補予測方向の中から前記予測方向を識別するデータ
    のいずれか一方として復号化するように構成され、
    前記(ii)残りの前記候補予測方向の中から前記予測方向を識別するデータは、前記予測方向が、前記残りの候補予測方向から成る2つ以上の異なるサイズの相補的な下位群のうちの1つに含まれるか否かの指標を含み、
    前記画像デコーダは、前記画像領域の前記態様に応じて、前記相補的な下位群のうちの一部の相補的な下位群の予測方向の復号化を阻止し、復号化される前記1つ又は複数の下位群には含まれない予測方向の場合、前記画像領域の前記態様において最も近い予測方向に対して前記予測方向をマッピングするように構成される
    画像データ復号化装置。
  10. 画像の複数の画像領域のうちの各画像領域のサイズ及び形状の少なくとも一方を選択し、
    前記画像を前記複数の画像領域として符号化し、
    前記画像の現在の領域の現在のサンプルを、前記画像の1つ又は複数の参照サンプルに対して、前記現在のサンプルと前記参照サンプルの参照位置との間の予測方向に応じてイントラ画像予測し、
    前記イントラ画像予測ステップは、
    所定の画像領域に対して、前記所定の画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用することであって、前記態様は、前記領域形状を少なくとも含み、前記領域形状が非正方形の、垂直方向又は水平方向への配向を持つ矩形である場合に、前記予測方向の数が配向方向に直交する方向の象限に集中する予測方向のセットを用いること、及び
    前記所定の画像領域内のサンプルのための前記予測方向を、前記画像領域に適用可能である前記候補予測方向から成る前記セットから選択すること
    を含み、
    前記符号化するステップは、前記画像のサンプル又は領域毎に選択された前記予測方向を識別するデータを符号化するように構成され、
    前記符号化するステップは、1つ又は複数の先に符号化された画像領域に対して共通して用いられた予測方向に応じて1つ又は複数の適当な予測方向を検出すると共に、前記予測方向を識別する前記データを、
    (i)前記予測方向が、検出された適当な予測方向であることを示すデータ、及び
    (ii)残りの前記候補予測方向の中から前記予測方向を識別するデータ
    のいずれか一方として符号化するように構成され、
    前記(ii)残りの前記候補予測方向の中から前記予測方向を識別するデータは、前記予測方向が、前記残りの候補予測方向から成る2つ以上の異なるサイズの相補的な下位群のうちの1つに含まれるか否かの指標を含み、
    前記符号化するステップは、前記画像領域の前記態様に応じて、前記相補的な下位群のうちの一部の相補的な下位群の予測方向の符号化を阻止し、符号化される前記1つ又は複数の下位群には含まれない予測方向の場合、前記画像領域の前記態様において最も近い予測方向に対して前記予測方向をマッピングするように構成される
    画像データ符号化方法。
  11. コンピュータによって実行され、請求項10に記載の画像データ符号化方法を前記コンピュータに実行させるコンピュータソフトウェア。
  12. 請求項11に記載のソフトウェアを記憶する非一過性の機械可読記憶媒体。
  13. 画像を、各々のサイズ及び形状をそれぞれ有する複数の画像領域として復号化し、
    前記画像の現在の領域の現在のサンプルを、前記画像の1つ又は複数の参照サンプルに対して、前記現在のサンプルと前記参照サンプルの参照位置との間の予測方向に応じてイントラ画像予測し、
    前記イントラ画像予測ステップは、
    所定の画像領域に対して、前記所定の画像領域の態様に応じて、異なる二セット以上の候補予測方向を適用することであって、前記態様は、前記領域形状及びを少なくとも含み、前記領域形状が非正方形の、垂直方向又は水平方向への配向を持つ矩形である場合に、前記予測方向の数が配向方向に直交する方向の象限に集中する予測方向のセットを用いること、及び
    前記所定の画像領域内のサンプルのための前記予測方向を、前記画像領域に適用可能である前記候補予測方向から成る前記セットから選択すること
    を含み、
    前記復号化するステップは、前記画像のサンプル又は領域毎に選択された前記予測方向を識別するデータを復号化するように構成され、
    前記復号化するステップは、1つ又は複数の先に復号化された画像領域に対して共通して用いられた予測方向に応じて1つ又は複数の適当な予測方向を検出すると共に、前記予測方向を識別する前記データを、
    (i)前記予測方向が、検出された適当な予測方向であることを示すデータ、及び
    (ii)残りの前記候補予測方向の中から前記予測方向を識別するデータ
    のいずれか一方として復号化するように構成され、
    前記(ii)残りの前記候補予測方向の中から前記予測方向を識別するデータは、前記予測方向が、前記残りの候補予測方向から成る2つ以上の異なるサイズの相補的な下位群のうちの1つに含まれるか否かの指標を含み、
    前記復号化するステップは、前記画像領域の前記態様に応じて、前記相補的な下位群のうちの一部の相補的な下位群の予測方向の復号化を阻止し、復号化される前記1つ又は複数の下位群には含まれない予測方向の場合、前記画像領域の前記態様において最も近い予測方向に対して前記予測方向をマッピングするように構成される
    画像データ復号化方法。
  14. コンピュータによって実行され、請求項13に記載の画像データ復号化方法を前記コンピュータに実行させるコンピュータソフトウェア。
  15. 請求項14に記載のソフトウェアを記憶する非一過性の機械可読記憶媒体。
JP2018561498A 2016-05-23 2017-04-20 画像データ符号化及び復号化 Active JP7047777B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1609015.1 2016-05-23
GB1609015.1A GB2550579A (en) 2016-05-23 2016-05-23 Image data encoding and decoding
PCT/GB2017/051096 WO2017203203A1 (en) 2016-05-23 2017-04-20 Intra encoding and decoding with variable intra prediction direction sets

Publications (2)

Publication Number Publication Date
JP2019520743A JP2019520743A (ja) 2019-07-18
JP7047777B2 true JP7047777B2 (ja) 2022-04-05

Family

ID=56369791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018561498A Active JP7047777B2 (ja) 2016-05-23 2017-04-20 画像データ符号化及び復号化

Country Status (6)

Country Link
US (1) US10863176B2 (ja)
EP (1) EP3466073A1 (ja)
JP (1) JP7047777B2 (ja)
CN (2) CN109155852B (ja)
GB (1) GB2550579A (ja)
WO (1) WO2017203203A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810703A (zh) * 2016-04-29 2021-12-17 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
JP6956543B2 (ja) * 2017-07-03 2021-11-02 日本放送協会 決定装置、符号化装置、復号装置及びプログラム
US10778971B2 (en) 2018-06-01 2020-09-15 Tencent America LLC Method and apparatus for video coding
WO2020017987A1 (en) * 2018-06-29 2020-01-23 Huawei Technologies Co., Ltd Intra-prediction apparatus, encoding apparatus, decoding apparatus and methods
US11956460B2 (en) * 2018-08-31 2024-04-09 Hulu, LLC Selective template matching in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013023518A1 (en) 2011-08-17 2013-02-21 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction using non-square blocks
JP2014075652A (ja) 2012-10-03 2014-04-24 Canon Inc 画像符号化装置及び方法
JP2014530537A (ja) 2011-09-12 2014-11-17 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオ・コーディングにおける非正方形変換ユニットおよび予測ユニット

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
WO2011127964A2 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
JP2012023597A (ja) * 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
KR101530284B1 (ko) * 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US8923395B2 (en) 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
GB2496194A (en) * 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013023518A1 (en) 2011-08-17 2013-02-21 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction using non-square blocks
JP2014530537A (ja) 2011-09-12 2014-11-17 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオ・コーディングにおける非正方形変換ユニットおよび予測ユニット
JP2014075652A (ja) 2012-10-03 2014-04-24 Canon Inc 画像符号化装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN, Jianle et al.,Algorithm Description of Joint Exploration Test Model 2,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: San Diego, USA, 20-26 February 2016, [JVET-B1001_v3],JVET-B1001 (version 3),ITU-T,2016年03月25日,pp. 6-7
SHIODERA, Taichiro et al.,Block Based Extra/Inter-Polating Prediction for Intra Coding,2007 IEEE International Conference on Image Processing,IEEE,2007年11月12日,Vol. 6,pp. VI-445 - VI-448,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4379617,<DOI: 10.1109/ICIP.2007.4379617>

Also Published As

Publication number Publication date
US20200029076A1 (en) 2020-01-23
CN116016949A (zh) 2023-04-25
GB2550579A (en) 2017-11-29
US10863176B2 (en) 2020-12-08
WO2017203203A1 (en) 2017-11-30
CN109155852A (zh) 2019-01-04
EP3466073A1 (en) 2019-04-10
JP2019520743A (ja) 2019-07-18
GB201609015D0 (en) 2016-07-06
CN109155852B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
JP6050478B2 (ja) データ符号化及び復号化
KR20220151140A (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
JP7047777B2 (ja) 画像データ符号化及び復号化
RU2760234C2 (ru) Кодирование и декодирование данных
KR101974952B1 (ko) 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR20140046055A (ko) 계수들의 직사각형 블록의 양자화 및 역양자화를 위한 방법들 및 장치
US11290709B2 (en) Image data encoding and decoding
JP2023156438A (ja) データ符号化方法及び装置、データ復号化方法及び装置、画像処理装置
WO2015008478A1 (en) Modified coding for a transform skipped block for cabac in hevc
JP2021500818A (ja) 画像データ符号化及び復号化
JP2022000953A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
KR101802375B1 (ko) 시간적 후보 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치
JP7451161B2 (ja) 符号化装置、復号装置、及びプログラム
JP7441638B2 (ja) 符号化装置、復号装置、及びプログラム
KR20210156256A (ko) 인트라 예측 방법 및 장치
KR20220027162A (ko) 픽처의 서브-섹션들에 대한 독립적인 cabac
JP7388900B2 (ja) 符号化装置、復号装置、及びプログラム
US20220078430A1 (en) Image data encoding and decoding
JP2022548685A (ja) 画像データの符号化及び復号化
JP2022538007A (ja) 画像データ符号化及び復号化
JP2021093634A (ja) 符号化装置、復号装置、及びプログラム
GB2585044A (en) Image data encoding and decoding
WO2019081928A1 (en) CODING AND DECODING IMAGE DATA

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220112

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220112

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220120

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R151 Written notification of patent or utility model registration

Ref document number: 7047777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151