JP2024026375A - 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体 - Google Patents

画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体 Download PDF

Info

Publication number
JP2024026375A
JP2024026375A JP2023211230A JP2023211230A JP2024026375A JP 2024026375 A JP2024026375 A JP 2024026375A JP 2023211230 A JP2023211230 A JP 2023211230A JP 2023211230 A JP2023211230 A JP 2023211230A JP 2024026375 A JP2024026375 A JP 2024026375A
Authority
JP
Japan
Prior art keywords
prediction
block
unit
intra
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023211230A
Other languages
English (en)
Inventor
ソン ヒュン チョ
Seung-Hyun Cho
ジュン ウォン カン
Jung Won Kang
ヒュン スク コ
Hyun-Suk Ko
スン チャン リム
Sung-Chang Lim
ジン ホー リー
Jin Ho Lee
ハ ヒュン リー
Ha-Hyun Lee
ドン サン ジュン
Dong San Jun
フイ ヨン キム
Hui Yong Kim
ビョン ウー ジョン
Byeung-Woo Jeon
ナム ウク キム
Nam-Uk Kim
ソン スー ジョン
Seung-Su Jeon
ジン ソー チョイ
Jin Soo Choi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sungkyunkwan University Research and Business Foundation
Original Assignee
Sungkyunkwan University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sungkyunkwan University Research and Business Foundation filed Critical Sungkyunkwan University Research and Business Foundation
Publication of JP2024026375A publication Critical patent/JP2024026375A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】圧縮効率が向上した画像符号化/復号化方法及び装置を提供する。【解決手段】本発明に係る画像復号化方法は、予測モードインデックスを復号化するステップと、予測モードインデックスが関数ベースの画面内予測を指示するかどうかを判断するステップと、予測モードインデックスが関数ベースの画面内予測を指示する場合、関数を生成するための変数を誘導するステップと、誘導された変数に基づいて関数を生成するステップと、生成された関数を用いて画面内予測を行うステップと、を含む。【選択図】図7

Description

本発明は、画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体
に関する。具体的には、本発明は、関数を用いた画面内予測を行う画像符号化/復号化方
法、装置、及び本発明の画像符号化方法又は装置によって生成されたビットストリームを
保存した記録媒体に関する。
最近、高解像度、高品質の画像、例えばHD(High Definition)画像
及びUHD(Ultra High Definition)画像への需要が多様な応用
分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比
べて相対的にデータ量が増加するので、従来の有線・無線ブロードバンド回線などの媒体
を用いて画像データを送信したり従来の記憶媒体を用いて保存したりする場合には、送信
費用と保存費用が増加することになる。このような画像データの高解像度、高品質化に伴
って発生する問題を解決するためには、より高い解像度及び画質を有する画像に対する高
効率画像符号化(encoding)/復号化(decoding)技術が求められる。
画像圧縮技術として、現在ピクチャの以前又は以後のピクチャから、現在ピクチャに含
まれている画素値を予測する画面間(inter)予測技術、現在ピクチャ内の画素情報
を用いて、現在ピクチャに含まれている画素値を予測する画面内(intra)予測技術
、残余信号のエネルギーを圧縮するための変換及び量子化技術、出現頻度の高い値に短い
符号を割り当て、出現頻度の低い値に長い符号を割り当てるエントロピー符号化技術など
の様々な技術が存在し、これらの画像圧縮技術を利用して画像データを効果的に圧縮して
送信又は保存することができる。
本発明は、圧縮効率が向上した画像符号化/復号化方法及び装置を提供することを目的
とする。
また、本発明は、関数を用いた画面内予測を行う画像符号化/復号化方法及び装置を提
供することを目的とする。
また、本発明は、本発明の画像符号化方法又は装置によって生成されたビットストリー
ムを保存した記録媒体を提供することを目的とする。
本発明による画像復号化方法は、予測モードインデックスを復号化するステップと、予
測モードインデックスが関数ベースの画面内予測を指示するかどうかを判断するステップ
と、予測モードインデックスが関数ベースの画面内予測を指示する場合、関数を生成する
ための変数を誘導するステップと、誘導された変数に基づいて関数を生成するステップと
、生成された関数を用いて画面内予測を行うステップとを含むことができる。
本発明によれば、圧縮効率が向上した画像符号化/復号化方法及び装置を提供すること
ができる。
また、本発明によれば、関数を用いた画面内予測を行う画像符号化/復号化方法及び装
置を提供することができる。
また、本発明によれば、本発明の画像符号化方法又は装置によって生成されたビットス
トリームを保存した記録媒体を提供することができる。
本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。 本発明が適用される復号化装置の一実施形態に係る構成を示すブロック図である。 画像を符号化及び復号化するときの画像の分割構造を示す概略図である。 画面内予測過程の実施形態を説明するための図である。 画面内予測に使用されたモードにインデックスを付与した一実施形態を示す図である。 動作分類2の場合の画面内予測モードのインデックス情報の一実施形態を示す図である。 動作分類2を行う復号化器の動作の一実施形態を説明するための図である。 動作分類2を行う復号化器の動作の他の実施形態を説明するための図である。 動作分類3を行う復号化器の動作の一実施形態を説明するための図である。 現在ブロックの画面内予測に使用できる周辺の復元サンプルラインを例示的に示す図である。
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので
、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ところが、これは本発
明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれ
るすべての変更、均等物ないし代替物を含むものと理解されるべきである。図面において
類似する参照符号は、様々な側面にわたって同一又は類似の機能を指し示す。図面におけ
る要素の形状及び大きさなどは、より明確な説明のために誇張することがある。後述する
例示的実施形態についての詳細な説明は、特定の実施形態を例示として示す添付図面を参
照する。これらの実施形態は、当業者が実施形態を実施し得る程度に十分に詳細に説明さ
れる。様々な実施形態は、互いに異なるが、相互に排他的である必要はないことが理解さ
れるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形
態に関連して本発明の精神及び範囲を逸脱することなく、様々な実施形態に実現できる。
また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、実施形態の精
神及び範囲を逸脱することなく変更可能であることが理解されるべきである。したがって
、後述する詳細な説明は、限定的な意味として取るものではなく、例示的な実施形態の範
囲は、適切に説明されるならば、それらの請求項が主張するのと均等なすべての範囲及び
添付の請求項によってのみ限定される。
本発明において、用語「第1」、「第2」などは多様な構成要素の説明に使用できるが
、これらの構成要素は上記の用語により限定されてはならない。これらの用語は、一つの
構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を
外れない限り、第1構成要素は第2構成要素と命名することができ、同様に、第2構成要
素も第1構成要素と命名することができる。用語「及び/又は」は、複数の関連した記載
項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。
本発明のある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いる
とした場合には、その他の構成要素に直接連結されている或いは接続されていることもあ
るが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに
対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」
いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
本発明の実施形態に示す構成部は、互いに異なる特徴的な機能を示すために独立に図示
されるもので、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位から
なることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部に羅列
して含むもので、各構成部のうちの少なくとも2つの構成部が合わせられて一つの構成部
をなすか、或いは一つの各構成部が複数の構成部に分けられて機能を行うことができ、こ
のような各構成部の統合された実施形態及び分離された実施形態も、本発明の本質から外
れない限り、本発明の権利範囲に含まれる。
本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、
本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、
複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に
記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせが存在
することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、
構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解さ
れるべきである。つまり、本発明において、特定の構成を「含む」と記述する内容は、該
当構成以外の構成を排除するものではなく、追加の構成が本発明の実施又は本発明の技術
的思想の範囲に含まれ得ることを意味する。
本発明の一部の構成要素は、本発明において本質的な機能を行う不可欠の構成要素では
なく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上
のために使用される構成要素を除く、本発明の本質の実現に必要不可欠な構成部のみを含
んで実現でき、単に性能向上のために使用される選択的構成要素を除く必須構成要素のみ
を含む構造も本発明の権利範囲に含まれる。
以下、図面を参照して、本発明の実施形態について具体的に説明する。本明細書の実施
形態を説明するにあたり、関連した公知の構成又は機能についての具体的な説明が本明細
書の要旨を曖昧にするおそれがあると判断された場合、その詳細な説明は省略し、図面上
の同一の構成要素については同一の参照符号を使用し、同一の構成要素についての重複説
明は省略する。
また、以下において、画像は動画像(video)を構成する一つのピクチャを示すこ
ともあり、動画像自体を示すこともある。例えば、「画像の符号化及び/又は復号化」は
、「ビデオの符号化及び/又は復号化」を意味することができ、「ビデオを構成する画像
のうちの一つの画像の符号化及び/又は復号化」を意味することもできる。ここで、ピク
チャは画像と同じ意味を持つことができる。
用語説明
符号化器(Encoder):符号化(Encoding)を行う装置を意味する。
復号化器(Decoder):復号化(Decodng)を行う装置を意味する。
ブロック(Block):サンプル(Sample)のM×N配列である。ここで、M
とNは正の整数値を意味し、ブロックは一般に2次元形状のサンプル配列を意味すること
ができる。ブロックはユニットを意味することができる。現在ブロックは、符号化時に符
号化の対象となる符号化対象ブロック、復号化時に復号化の対象となる復号化対象ブロッ
クを意味することができる。また、現在ブロックは符号化ブロック、予測ブロック、残予
ブロック及び変換ブロックのうちの少なくとも一つであり得る。
サンプル(Sample):ブロックを構成する基本単位である。ビット深度(bit
depth、B)に応じて0から2Bd-1までの値で表現できる。本発明において
、サンプルは画素又はピクセルと同じ意味で使用できる。
ユニット(Unit):画像符号化及び復号化の単位を意味する。画像の符号化及び復
号化において、ユニットは、一つの画像を分割した領域であり得る。また、ユニットは、
一つの画像を細分化されたユニットに分割して符号化或いは復号化するとき、その分割さ
れた単位を意味することができる。画像の符号化及び復号化において、ユニットごとに、
予め定義された処理が行われ得る。一つのユニットは、ユニットに比べてより小さい大き
さを持つサブユニットにさらに分割できる。機能に応じて、ユニットは、ブロック(Bl
ock)、マクロブロック(Macroblock)、符号化ツリーユニット(Codi
ng Tree Unit)、符号化ツリーブロック(Coding Tree Blo
ck)、符号化ユニット(Coding Unit)、符号化ブロック(Coding
Block)、予測ユニット(Prediction Unit)、予測ブロック(Pr
ediction Block)、残予ユニット(Residual Unit)、残予
ブロック(Residual Block)、変換ユニット(Transform Un
it)、変換ブロック(Transform Block)などを意味することができる
。また、ユニットは、ブロックと区分して指し示すために、輝度(Luma)成分ブロッ
ク、それに対応する色差(Chroma)成分ブロック、及び各ブロックに対する構文要
素を含むことを意味することができる。ユニットは、様々なサイズと形状を持つことがで
き、特に、ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、
2次元的に表現できる幾何学的図形を含むことができる。また、ユニット情報は、符号化
ユニット、予測ユニット、残予ユニット、変換ユニットなどを指し示すユニットのタイプ
、ユニットの大きさ、ユニットの深さ、ユニットの符号化及び復号化順序などのうちの少
なくとも一つを含むことができる。
符号化ツリーユニット(Coding Tree Unit):一つの輝度成分(Y)
符号化ツリーブロックに関連した2つの色差成分(Cb、Cr)符号化ツリーブロックか
ら構成される。また、前記ブロックと各ブロックに対する構文要素を含むことを意味する
こともできる。各符号化ツリーユニットは、符号化ユニット、予測ユニット、変換ユニッ
トなどのサブユニットを構成するために、四分木(quad tree)、二分木(bi
nary tree)などの一つ以上の分割方式を用いて分割できる。入力画像の分割の
ように画像の復号化/符号化過程で処理単位となるピクセルブロックを指し示すための用
語として使用できる。
符号化ツリーブロック(Coding Tree Block):Y符号化ツリーブロ
ック、Cb符号化ツリーブロック及びCr符号化ツリーブロックのうちのいずれかを示す
ための用語として使用できる。
周辺ブロック(Neighbor block):現在ブロックに隣接するブロックを
意味する。現在ブロックに隣接するブロックは、現在ブロックと境界が接しているブロッ
ク、又は現在ブロックから所定の距離内に位置するブロックを意味することができる。周
辺ブロックは、現在ブロックの頂点に隣接するブロックを意味することができる。ここで
、現在ブロックの頂点に隣接するブロックとは、現在ブロックの横に隣接する隣接ブロッ
クと縦に隣接するブロック、又は現在ブロックの縦に隣接する隣接ブロックと横に隣接す
るブロックであり得る。周辺ブロックは、復元された周辺ブロックを意味することもある
復元された周辺ブロック(Reconstructed Neighbor Bloc
k):現在ブロックの周辺に空間的(Spatial)/時間的(Temporal)に
既に符号化或いは復号化された周辺ブロックを意味する。このとき、復元された周辺ブロ
ックは、復元された周辺ユニットを意味することができる。復元された空間的周辺ブロッ
クは、現在ピクチャ内のブロックでありながら符号化及び/又は復号化を介して既に復元
されたブロックであり得る。復元された時間的周辺ブロックは、参照ピクチャ内で現在ピ
クチャの現在ブロックと同じ位置の復元されたブロック又はその周辺ブロックであり得る
ユニット深さ(Depth):ユニットが分割された程度を意味する。ツリー構造(T
ree Structure)において、ルートノード(Root Node)は深さが
最も浅く、リーフノード(Leaf Node)は深さが最も深いといえる。また、ユニ
ットをツリー構造で表現したときにユニットが存在するレベル(Level)がユニット
深さを意味することができる。
ビットストリーム(Bitstream):符号化された画像情報を含むビットの列を
意味する。
パラメータセット(Parameter Set):ビットストリーム内の構造のうち
のヘッダー情報に該当する。ビデオパラメータセット(video parameter
set)、シーケンスパラメータセット(sequence parameter s
et)、ピクチャパラメータセット(picture parameter set)、
適応パラメータセット(adaptation parameter set)のうちの
少なくとも一つがパラメータセットに含まれ得る。また、パラメータセットはスライス(
slice)ヘッダー及びタイル(tile)ヘッダー情報を含むこともできる。
パーシング(Parsing):ビットストリームをエントロピー復号化して構文要素
(Syntax Element)の値を決定することを意味するか、或いはエントロピ
ー復号化自体を意味することができる。
シンボル(Symbol):符号化/復号化対象ユニットの構文要素、符号化パラメー
タ(coding parameter)、変換係数(Transform Coeff
icient)の値などのうちの少なくとも一つを意味することができる。また、シンボ
ルは、エントロピー符号化の対象或いはエントロピー復号化の結果を意味することができ
る。
予測ユニット(Prediction Unit):画面間予測、画面内予測、画面間
補償、画面内補償、動き補償などの予測を行うときの基本ユニットを意味する。一つの予
測ユニットは、サイズが小さい複数のパーティション(Partition)又はサブ予
測ユニットに分割されてもよい。
予測ユニットパーティション(Prediction Unit Partition
):予測ユニットが分割された形状を意味する。
変換ユニット(Transform Unit):変換、逆変換、量子化、逆量子化、変
換係数符号化/復号化のように残余信号(residual signal)符号化/復
号化を行うときの基本ユニットを意味する。一つの変換ユニットは、分割されてサイズの
小さい複数の変換ユニットに分割できる。
スケーリング(Scaling):変換係数レベルに因数を掛ける過程を意味する。変
換係数レベルに対するスケーリングの結果として変換係数を生成することができる。スケ
ーリングを逆量子化(dequantization)とも呼ぶことができる。
量子化パラメータ(Quantization Parameter):量子化におい
て変換係数に対して変換係数レベル(transform coefficient l
evel)を生成するときに使用する値を意味することができる。又は、逆量子化におい
て変換係数レベルをスケーリング(scaling)して変換係数を生成するときに使用
する値を意味することもできる。量子化パラメータは、量子化ステップサイズ(step
size)にマッピングされた値であり得る。
デルタ量子化パラメータ(Delta Quantization Paramete
r):予測された量子化パラメータと符号化/復号化対象ユニットの量子化パラメータと
の差分値を意味する。
スキャン(Scan):ブロック或いは行列内係数の順序をソートする方法を意味する
。例えば、2次元配列を1次元配列状にソートすることをスキャンという。又は、1次元
配列を2次元配列状にソートすることもスキャン或いは逆スキャン(Inverse S
can)と呼ぶことができる。
変換係数(Transform Coefficient):符号化器で変換を行って
から生成された係数値を意味する。復号化器でエントロピー復号化及び逆量子化のうちの
少なくとも一つを行ってから生成された係数値を意味することもできる。変換係数又は残
予信号に量子化を適用した、量子化されたレベル又は量子化変換係数レベル(trans
form coefficient level)も変換係数の意味に含まれ得る。
量子化されたレベル(Quantized Level):符号化器で変換係数又は残
余信号に量子化を行って生成された値を意味する。又は、復号化器で逆量子化を行う前に
逆量子化の対象となる値を意味することもできる。同様に、変換及び量子化の結果である
量子化変換係数レベルも量子化されたレベルの意味に含まれ得る。
ノンゼロ変換係数(Non-zero Transform Coefficient
):値の大きさが0ではない変換係数、或いは値の大きさが0ではない変換係数レベルを
意味する。
量子化行列(Quantization Matrix):画像の主観的画質或いは客
観的画質を向上させるために量子化或いは逆量子化過程で利用する行列を意味する。量子
化行列をスケーリングリスト(scaling list)とも呼ぶことができる。
量子化行列係数(Quantization Matrix Coefficient
):量子化行列内の各元素(element)を意味する。量子化行列係数を行列係数(
matrix coefficient)とも呼ぶことができる。
基本行列(Default Matrix):符号化器と復号化器で予め定義されてい
る所定の量子化行列を意味する。
非基本行列(Non-default Matrix):符号化器と復号化器で予め定
義されず、ユーザーによってシグナリングされる量子化行列を意味する。
図1は本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図であ
る。
符号化装置100は、エンコーダ、ビデオ符号化装置又は画像符号化装置であり得る。
ビデオは、一つ以上の画像を含むことができる。符号化装置100は、一つ以上の画像を
順次符号化することができる。
図1を参照すると、符号化装置100は、動き予測部111、動き補償部112、イン
トラ予測部120、スイッチ115、減算器125、変換部130、量子化部140、エ
ントロピー符号化部150、逆量子化部160、逆変換部170、加算器175、フィル
タ部180、及び参照ピクチャバッファ190を含むことができる。
符号化装置100は、入力画像に対してイントラモード及び/又はインターモードで符
号化を行うことができる。また、符号化装置100は、入力画像に対する符号化を介して
ビットストリームを生成することができ、生成されたビットストリームを出力することが
できる。生成されたビットストリームは、コンピュータ可読記録媒体に保存されるか、或
いは有線/無線伝送媒体を介してストリミングされ得る。予測モードとしてイントラモー
ドが使用される場合、スイッチ115はイントラに転換でき、予測モードとしてインター
モードが使用される場合、スイッチ115はインターに転換できる。ここで、イントラモ
ードは画面内予測モードを意味することができ、インターモードは画面間予測モードを意
味することができる。符号化装置100は、入力画像の入力ブロックに対する予測ブロッ
クを生成することができる。また、符号化装置100は、予測ブロックが生成された後、
入力ブロック及び予測ブロックの差分(residual)を符号化することができる。
入力画像は、現在符号化の対象である現在画像と称されることもある。入力ブロックは、
現在符号化の対象である現在ブロック或いは符号化対象ブロックと称されることもある。
予測モードがイントラモードである場合、イントラ予測部120は、現在ブロックの周
辺に既に符号化/復号化されたブロックのピクセル値を参照画素として用いることができ
る。イントラ予測部120は、参照画素を用いて空間的予測を行うことができ、空間的予
測を介して入力ブロックに対する予測サンプルを生成することができる。ここで、イント
ラ予測は画面内予測を意味することができる。
予測モードがインターモードである場合には、動き予測部111は、動き予測過程で参
照画像から入力ブロックと最もよくマッチする領域を検索することができ、検索された領
域を用いて動きベクトルを導出することができる。参照画像は参照ピクチャバッファ19
0に保存できる。
動き補償部112は、動きベクトルを用いる動き補償を行うことにより、予測ブロック
を生成することができる。ここで、インター予測は画面間予測或いは動き補償を意味する
ことができる。
前記動き予測部111と動き補償部112は、動きベクトルの値が整数値を持たない場
合に参照画像内の一部の領域に対して補間フィルタ(Interpolation Fi
lter)を適用して予測ブロックを生成することができる。画面間予測或いは動き補償
を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニッ
トの動き予測及び動き補償方法がスキップモード(Skip Mode)、マージモード
(Merge mode)、向上した動きベクトル予測(Advanced Motio
n Vector Prediction、AMVP)モード、及び現在ピクチャ参照モ
ードのうちのいずれの方法であるかを判断することができ、各モードに応じて、画面間予
測或いは動き補償を行うことができる。
減算器125は、入力ブロック及び予測ブロックの差分を用いて残余ブロック(res
idual block)を生成することができる。残余ブロックは残余信号とも称され
る。残余信号は、原信号と予測信号との差(difference)を意味することがで
きる。又は、残余信号は、原信号と予測信号との差を変換(transform)するか
、量子化するか、又は変換及び量子化することにより生成された信号であり得る。残余ブ
ロックはブロック単位の残余信号であり得る。
変換部130は、残余ブロックに対して変換(transform)を行って変換係数
(transform coefficient)を生成することができ、変換係数を出
力することができる。ここで、変換係数は、残余ブロックに対する変換を行うことにより
生成された係数値であり得る。変換省略(transform skip)モードが適用
される場合、変換部130は残余ブロックに対する変換を省略することもできる。
変換係数又は残余信号に量子化を適用することにより、量子化されたレベル(quan
tized level)が生成できる。以下、実施形態では、量子化されたレベルも変
換係数と称されることがある。
量子化部140は、変換係数又は残余信号を量子化パラメータに基づいて量子化するこ
とにより、量子化されたレベルを生成することができ、量子化されたレベルを出力するこ
とができる。このとき、量子化部140では、量子化行列を用いて変換係数を量子化する
ことができる。
エントロピー符号化部150は、量子化部140で算出された値、又は符号化過程で算
出された符号化パラメータ(Coding Parameter)値などに対して確率分
布によるエントロピー符号化を行うことにより、ビットストリーム(bitstream
)を生成することができ、ビットストリームを出力することができる。エントロピー符号
化部150は、画像のピクセルに関する情報及び画像の復号化のための情報に対するエン
トロピー符号化を行うことができる。例えば、画像の復号化のための情報は構文要素(s
yntax element)などを含むことができる。
エントロピー符号化が適用される場合、高い発生確率を有するシンボル(symbol
)に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビット
が割り当てられてシンボルが表現されることにより、符号化対象シンボルに対するビット
列のサイズが減少できる。エントロピー符号化部150は、エントロピー符号化のために
指数ゴロム(exponential Golomb)、CAVLC(Context-
Adaptive Variable Length Coding)、CABAC(C
ontext-Adaptive Binary Arithmetic Coding
)などの符号化方法を使用することができる。例えば、エントロピー符号化部150は、
可変長符号化(Variable Length Coding/Code;VLC)テ
ーブルを用いてエントロピー符号化を行うことができる。また、エントロピー符号化部1
50は、対象シンボルの2値化(binarization)方法及び対象シンボル/ビ
ン(bin)の確率モデル(probability model)を導出した後、導出
された2値化方法、確率モデル、コンテキストモデル(Context Model)を
用いて算術符号化を行うこともできる。
エントロピー符号化部150は、変換係数レベルを符号化するために、変換係数スキャ
ニング(Transform Coefficient Scanning)方法を介し
て2次元のブロック形状係数を1次元のベクトルに変更することができる。
符号化パラメータ(Coding Parameter)は、構文要素のように符号化
器で符号化されて復号化器へシグナリングされる情報(フラグ、インデックスなど)だけ
でなく、符号化或いは復号化過程で誘導される情報を含むことができ、画像を符号化又は
復号化するときに必要な情報を意味することができる。例えば、ユニット/ブロックサイ
ズ、ユニット/ブロック深さ、ユニット/ブロック分割情報、ユニット/ブロック分割構
造、四分木分割か否か、二分木分割か否か、二分木分割の方向(横方向或いは縦方向)、
二分木分割の形態(対称分割或いは非対称分割)、画面内予測モード/方向、参照サンプ
ルフィルタリング方法、予測ブロックフィルタリング方法、予測ブロックフィルタタップ
、予測ブロックフィルタ係数、画面間予測モード、動き情報、動きベクトル、参照画像イ
ンデックス、画面間予測方向、画面間予測インジケータ、参照画像リスト、参照画像、動
きベクトル予測候補、動きベクトル候補リスト、マージモードの使用有無、マージ候補、
マージ候補リスト、スキップ(skip)モードの使用有無、補間フィルタの種類、補間
フィルタタップ、補間フィルタ係数、動きベクトルのサイズ、動きベクトル表現の精度、
変換種類、変換サイズ、1次変換の使用有無情報、2次変換の使用有無情報、1次変換イ
ンデックス、2次変換インデックス、残予信号有無情報、符号化ブロックパターン(Co
ded Block Pattern)、符号化ブロックフラグ(Coded Bloc
k Flag)、量子化パラメータ、量子化行列、画面内ループフィルタの適用か否か、
画面内ループフィルタ係数、画面内ループフィルタタップ、画面内ループフィルタの形状
/形態、デブロッキングフィルタの適用か否か、デブロッキングフィルタ係数、デブロッ
キングフィルタタップ、デブロッキングフィルタの強度、デブロッキングフィルタの形状
/形態、適応的サンプルオフセットの適用か否か、適応的サンプルオフセット値、適応的
サンプルオフセットのカテゴリー、適応的サンプルオフセットの種類、適応的ループ内フ
ィルタの適用か否か、適応的ループ内フィルタ係数、適応的ループ内フィルタタップ、適
応的ループ内フィルタの形状/形態、二値化/逆二値化方法、コンテキストモデル決定方
法、コンテキストモデルアップデート方法、レギュラーモードの実行有無、バイパスモー
ドの実行有無、コンテキストビン、バイパスビン、変換係数、変換係数レベル、変換係数
レベルのスキャニング方法、画像ディスプレイ/出力順序、スライス識別情報、スライス
タイプ、スライス分割情報、タイル識別情報、タイルタイプ、タイル分割情報、ピクチャ
タイプ、ビット深度、輝度信号或いは色差信号に対する情報のうちの少なくとも一つの値
又は組み合わせ形態が符号化パラメータに含まれ得る。
ここで、フラグ或いはインデックスをシグナリング(signaling)するという
のは、エンコーダでは該当フラグ或いはインデックスをエントロピー符号化(Entro
py Encoding)してビットストリーム(Bitstream)に含むことを意
味することができ、デコーダではビットストリームから当該フラグ或いはインデックスを
エントロピー復号化(Entropy Decoding)することを意味することがで
きる。
符号化装置100がインター予測を用いた符号化を行う場合、符号化された現在画像は
、後で処理される他の画像に対する参照画像として使用できる。よって、符号化装置10
0は、符号化された現在画像をさらに復元又は復号化することができ、復元又は復号化さ
れた画像を参照画像として保存することができる。
量子化されたレベルは、逆量子化部160で逆量子化(dequantization
)でき、逆変換部170で逆変換(inverse transform)できる。逆量
子化及び/又は逆変換された係数は、加算器175を介して予測ブロックと合わせられ得
る。逆量子化及び/又は逆変換された係数と予測ブロックとを合わせることにより、復元
ブロック(reconstructed block)が生成できる。ここで、逆量子化
及び/又は逆変換された係数は、逆量子化及び逆変換のうちの少なくとも一つが行われた
係数を意味し、復元された残余ブロックを意味することができる。
復元ブロックはフィルタ部180を経ることができる。フィルタ部180は、デブロッ
キングフィルタ(deblocking filter)、サンプル適応的オフセット(
Sample Adaptive Offset;SAO)、適応的ループフィルタ(A
daptive Loop Filter;ALF)などの少なくとも一つを復元ブロッ
ク又は復元画像に適用することができる。フィルタ部180はインループフィルタ(in
-loop filter)とも称される。
デブロッキングフィルタは、ブロック間の境界に生じたブロック歪みを除去することがで
きる。デブロッキングフィルタを行うか否かを判断するために、ブロックに含まれている
幾つかの列又は行に含まれているピクセルに基づいて、現在ブロックにデブロッキングフ
ィルタを適用するか否かを判断することができる。ブロックにデブロッキングフィルタを
適用する場合、必要なデブロッキングフィルタリング強度に応じて、互いに異なるフィル
タを適用することができる。
サンプル適応的オフセットを用いて符号化エラーを補償するために、ピクセル値に適正
オフセット(offset)値を加えることができる。サンプル適応的オフセットは、デ
ブロッキングを行った画像に対してピクセル単位で原本画像とのオフセットを補正するこ
とができる。画像に含まれているピクセルを一定数の領域に区分した後、オフセットを行
うべき領域を決定し、該当領域にオフセットを適用する方法、又は各ピクセルのエッジ情
報を考慮してオフセットを適用する方法を使用することができる。
適応的ループフィルタは、復元画像と原画像とを比較した値に基づいてフィルタリング
を行うことができる。画像に含まれているピクセルを所定のグループに分けた後、当該グ
ループに適用されるべきフィルタを決定してグループごとに差別的にフィルタリングを行
うことができる。適応的ループフィルタを適用するか否かに関連した情報は、符号化ユニ
ット(Coding Unit、CU)別にシグナリングでき、それぞれのブロックに応
じて、適用される適応的ループフィルタの形状及びフィルタ係数は異なり得る。
フィルタ部180を経た復元ブロック又は復元画像は、参照ピクチャバッファ190に
保存できる。図2は本発明が適用される復号化装置の一実施形態に係る構成を示すブロッ
ク図である。
復号化装置200はデコーダ、ビデオ復号化装置又は画像復号化装置であり得る。
図2を参照すると、復号化装置200は、エントロピー復号化部210、逆量子化部2
20、逆変換部230、イントラ予測部240、動き補償部250、加算器255、フィ
ルタ部260、及び参照ピクチャバッファ270を含むことができる。
復号化装置200は、符号化装置100から出力されたビットストリームを受信するこ
とができる。復号化装置200は、コンピュータ可読記録媒体に保存されたビットストリ
ームを受信するか、或いは有線/無線伝送媒体を介してストリミングされるビットストリ
ームを受信することができる。復号化装置200は、ビットストリームに対してイントラ
モード又はインターモードで復号化を行うことができる。また、復号化装置200は、復
号化を介して復元された画像又は復号化された画像を生成することができ、復元された画
像又は復号化された画像を出力することができる。
復号化に使用される予測モードがイントラモードである場合、スイッチがイントラに転
換できる。復号化に使用される予測モードがインターモードである場合、スイッチがイン
ターに転換できる。
復号化装置200は、入力されたビットストリームを復号化し、復元された残余ブロッ
ク(reconstructed residual block)を取得することがで
き、予測ブロックを生成することができる。復元された残余ブロック及び予測ブロックが
取得されると、復号化装置200は、復元された残余ブロックと予測ブロックを加えるこ
とにより、復号化の対象となる復元ブロックを生成することができる。復号化対象ブロッ
クは現在ブロックと称されることもある。
エントロピー復号化部210は、ビットストリームに対する確率分布に基づくエントロ
ピー復号化を行うことにより、シンボルを生成することができる。生成されたシンボルは
、量子化されたレベル形態のシンボルを含むことができる。ここで、エントロピー復号化
方法は、上述したエントロピー符号化方法の逆過程であり得る。
エントロピー復号化部210は、変換係数レベルを復号化するために、変換係数のスキ
ャニング方法によって1次元のベクトル形態係数を2次元のブロック形態に変更すること
ができる。
量子化されたレベルは、逆量子化部220で逆量子化でき、逆変換部230で逆変換で
きる。量子化されたレベルは、逆量子化及び/又は逆変換が行われた結果であって、復元
された残余ブロックとして生成できる。このとき、逆量子化部220は、量子化されたレ
ベルに量子化行列を適用することができる。
イントラモードが使用される場合、イントラ予測部240は、復号化対象ブロック周辺
の、既に復号化されたブロックのピクセル値を用いる空間的予測を行うことにより、予測
ブロックを生成することができる。
インターモードが使用される場合、動き補償部250は、動きベクトル及び参照ピクチ
ャバッファ270に保存されている参照画像を用いる動き補償を行うことにより、予測ブ
ロックを生成することができる。前記動き補償部250は、動きベクトルの値が整数値を
持たない場合に参照画像内の一部の領域に対して補間フィルタを適用して予測ブロックを
生成することができる。動き補償を行うために、符号化ユニットを基準に、該当符号化ユ
ニットに含まれている予測ユニットの動き補償方法がスキップモード、マージモード、A
MVPモード、及び現在ピクチャ参照モードのうちのいずれであるかを判断することがで
き、各モードに応じて動き補償を行うことができる。
加算器225は、復元された残余ブロック及び予測ブロックを加算して復元ブロックを
生成することができる。フィルタ部260は、デブロッキングフィルタ、サンプル適応的
オフセット及び適応的ループフィルタのうちの少なくとも一つを復元ブロック又は復元画
像に適用することができる。フィルタ部260は復元画像を出力することができる。復元
ブロック又は復元画像は、参照ピクチャバッファ270に保存されてインター予測に使用
できる。
図3は画像を符号化及び復号化するときの画像の分割構造を示す概略図である。図3は
一つのユニットが複数のサブユニットに分割される実施形態を概略的に示す。
画像を効率よく分割するために、符号化及び復号化において、符号化ユニット(Cod
ing Unit;CU)が使用できる。画像符号化/復号化の基本単位として符号化ユ
ニットが使用できる。また、画像符号化/復号化の際に、画面内モード及び画面間モード
が区分される単位で符号化ユニットを使用することができる。符号化ユニットは、予測、
変換、量子化、逆変換、逆量子化、又は変換係数の符号化/復号化過程のために使用され
る基本単位であり得る。
図3を参照すると、画像300は、最大符号化ユニット(Largest Codin
g Unit;LCU)単位で順次分割され、LCU単位で分割構造が決定される。ここ
で、LCUは、符号化ツリーユニット(Coding Tree Unit;CTU)と
同一の意味で使用できる。ユニットの分割は、ユニットに該当するブロックの分割を意味
することができる。ブロック分割情報には、ユニットの深さ(depth)に関する情報
が含まれ得る。深さ情報は、ユニットが分割される回数及び/又は程度を示すことができ
る。一つのユニットは、ツリー構造(tree structure)に基づいて深さ情
報をもって階層的に分割できる。それぞれの分割されたサブユニットは、深さ情報を持つ
ことができる。深さ情報は、CUの大きさを示す情報であり、各CUごとに保存できる。
分割構造は、LCU310内での符号化ユニット(Coding Unit;CU)の
分布を意味することができる。このような分布は、一つのCUを複数(2、4、8、16
などを含む2以上の正の整数)のCUに分割するか否かによって決定することができる。
分割により生成されたCUの横幅と縦幅は、それぞれ分割前のCUの横幅の半分及び縦幅
の半分であるか、分割された個数に応じて分割前のCUの横幅よりも小さいサイズ及び縦
幅よりも小さいサイズを持つことができる。CUは複数のCUに再帰的に分割できる。C
Uの分割は、予め定義された深さ又は予め定義されたサイズまで再帰的に行われ得る。例
えば、LCUの深さは0であり、最小符号化ユニット(Smallest Coding
Unit;SCU)の深さは予め定義された最大深さであり得る。ここで、LCUは、
上述したように、最大の符号化ユニットのサイズを持つ符号化ユニットであり、SCUは
、最小の符号化ユニットのサイズを持つ符号化ユニットであり得る。LCU310から分
割が始まり、分割によってCUの横幅及び/又は縦幅が減少するたびに、CUの深さは1
ずつ増加する。
また、CUが分割されるか否かに対する情報は、CUの分割情報を介して表現できる。
分割情報は1ビットの情報であり得る。SCUを除いた全てのCUは、分割情報を含むこ
とができる。例えば、分割情報の値が第1値であれば、CUが分割されなくてもよく、分
割情報の値が第2値であれば、CUが分割されてもよい。
図3を参照すると、深さ0のLCUは64×64ブロックであり得る。0は最小深さで
あり得る。深さ3のSCUは8×8ブロックであり得る。3は最大深さであり得る。32
×32ブロック及び16×16ブロックのCUはそれぞれ深さ1及び深さ2で表現できる
例えば、一つの符号化ユニットが4つの符号化ユニットに分割される場合、分割された
4つの符号化ユニットの横幅及び縦幅は、分割される前の符号化ユニットの横幅及び縦幅
と比較してそれぞれの半分のサイズを持つことができる。一例として、32×32サイズ
の符号化ユニットが4つの符号化ユニットに分割される場合、分割された4つの符号化ユ
ニットはそれぞれ16×16のサイズを持つことができる。一つの符号化ユニットが4つ
の符号化ユニットに分割される場合、符号化ユニットは四分木(quad-tree)状
に分割されたといえる。
例えば、一つの符号化ユニットが2つの符号化ユニットに分割される場合、分割された
2つの符号化ユニットの横幅或いは縦幅は、分割される前の符号化ユニットの横幅或いは
縦幅と比較して半分のサイズを持つことができる。一例として、32×32サイズの符号
化ユニットが2つの符号化ユニットに縦分割される場合、分割された2つの符号化ユニッ
トは、それぞれ16×32のサイズを持つことができる。一つの符号化ユニットが2つの
符号化ユニットに分割される場合、符号化ユニットは二分木(binary-tree)
状に分割されたといえる。図3のLCU320は、四分木分割及び二分木分割が全て適用
されたLCUの一例である。
図4は画面内予測過程の実施形態を説明するための図である。
画面内予測モードは、非方向性モード又は方向性モードであり得る。非方向性モードは
、DCモード又はプランナー(Planar)モードであり得る。方向性モード(ang
ular mode)は、特定の方向又は角度を持つ予測モードであり得る。前記画面内
予測モードは、モード番号、モード値、モード数及びモード角度のうちの少なくとも一つ
で表現できる。画面内予測モードの数は、前記非方向性及び方向性モードを含む一つ以上
のM個であり得る。
画面内予測モードの数は、ブロックのサイズを問わず、N個に固定できる。又は、画面
内予測モードの数は、ブロックのサイズ及び/又は色成分(color compone
nt)のタイプに応じて異なり得る。例えば、ブロックのサイズが大きくなるほど、画面
内予測モードの数は多くなり得る。又は、ルマ成分ブロックの画面内予測モードの数は、
色差成分ブロックの画面内予測モードの数よりも多いことがある。
現在ブロックを画面内予測するために、復元された周辺ブロックに含まれるサンプルが
、現在ブロックの参照サンプルとして利用可能であるかどうかを検査するステップが行わ
れ得る。現在ブロックの参照サンプルとして利用できないサンプルが存在する場合、復元
された周辺ブロックに含まれているサンプルのうちの少なくとも一つのサンプル値をコピ
ー及び/又は補間した値を用いて、参照サンプルとして利用できないサンプルのサンプル
値に置き換えた後、現在ブロックの参照サンプルとして利用することができる。
画面内予測の際に、画面内予測モード及び現在ブロックのサイズのうちの少なくとも一
つに基づいて、参照サンプル又は予測サンプルのうちの少なくとも一つにフィルタを適用
することができる。
プランナーモードの場合は、現在ブロックの予測ブロックを生成するとき、予測対象サ
ンプルの予測ブロック内の位置に応じて、現在サンプルの上側及び左側参照サンプル、現
在ブロックの右上側及び左下側参照サンプルの重み付け和を用いて、予測対象サンプルの
サンプル値を生成することができる。また、DCモードの場合は、現在ブロックの予測ブ
ロックを生成するとき、現在ブロックの上側及び左側参照サンプルの平均値を用いること
ができる。また、方向性モードの場合は、現在ブロックの上側、左側、右上側、及び/又
は左下側参照サンプルを用いて予測ブロックを生成することができる。予測サンプル値の
生成のために、実数単位の補間を行うこともできる。
現在ブロックの画面内予測モードは、現在ブロックの周辺に存在するブロックの画面内
予測モードから予測してエントロピー符号化/復号化することができる。現在ブロックと
周辺ブロックの画面内予測モードが同一であれば、所定のフラグ情報を用いて、現在ブロ
ックと周辺ブロックの画面内予測モードが同一であるという情報をシグナリングすること
ができる。また、複数の周辺ブロックの画面内予測モードのうち、現在ブロックの画面内
予測モードと同じ画面内予測モードに対するインジケータ情報をシグナリングすることが
できる。現在ブロックと周辺ブロックの画面内予測モードが互いに異なる場合、周辺ブロ
ックの画面内予測モードに基づいてエントロピー符号化/復号化を行うことにより、現在
ブロックの画面内予測モード情報をエントロピー符号化/復号化することができる。
以下、関数ベースの画面内予測を行って画面内予測の誤差を減らすことができる方法及び
装置について説明する。
画像の圧縮に用いられる画面内予測は、画面間予測に比べて、一般に大きい予測誤差を
発生させて圧縮効果に劣るという問題がある。特に、画面内予測の対象サンプルが予測に
用いられる参照サンプルから遠く離れているほど、予測誤差が大きくなる。画面内予測の
場合は、選択されたイントラ予測モードの方向性に基づいて、予測すべきブロックの外郭
参照サンプルから外挿法(extrapolation)を用いて予測サンプルを生成す
るため、予測対象ブロック内のサンプルが選択された予測モードの方向性とは異なる性質
を持つ場合、予測の精度が低下するおそれがある。
本発明で使用できる関数は、正規(Normal)関数、ラプラシアン(Laplac
ian)関数、コサイン(Cosine)関数、ベータ(Beta)関数、指数(Exp
onential)関数、対数正規(Lognormal)関数、ガンマ(Gamma)
関数、パレート(Pareto)関数、均等(Uniform)関数、トライアンギュラ
ー(Triangular)関数及びロジスティック(Logistic)関数のうちの
少なくとも一つであり、関数の種類は、これに限定されない。また、関数は、原画像を介
して規定されてもよく、参照サンプルを用いて得られる変数を介して規定されてもよい。
或いは、一つ又はそれ以上の参照サンプルを用いて近似された関数が規定されてもよい。
本発明によれば、所定の関数を用いることにより、現在ブロックに対する予測サンプル
を生成することができる。例えば、本発明に係る画面内予測は、数式1の正規関数を用い
て行われ得る。
前記数式1は、参照サンプルを用いて生成することができる一変数正規分布の関数であ
る。前記数式1において、xは参照サンプルの位置情報であり、aは正規分布関数の平均
値であり、正規分布のピーク値がある位置情報である。bは、正規分布における標準偏差
値を意味し、正規分布の広がり程度を示す情報である。cは正規分布の振幅(ampli
tude)を意味する。
前記数式1の一変数正規分布をそれぞれの参照サンプルで近似し、近似過程は数式3乃
至数式6の通りである。
数式2は、正規分布の積分(integration)整理を利用した積分方程式であ
る。当該積分方程式の二つの積分項をそれぞれ数式3と数式4の漸化式で近似することが
できる。
項に対する漸化式であり得る。前記数式において、rは参照サンプル値であり得る。こ
こで、kは参照サンプルの順序を意味する。xはk番目の参照サンプルの位置を意味す
る。参照サンプルの場合、xの値が整数であるため、kとxは同じ値であるといえる
数式3と数式4の漸化式に基づいてエラーが最小化される式を求めると、AとBは、数
式5の通りに表わすことができる。
前記数式5を用いて計算されたAとBに基づいて、下記数式6を用いることにより、a、
b、cを計算することができる。
数式5及び数式6に基づいて、上側の参照サンプルと左側の参照サンプルに対してそれぞ
れ近似して出てきた値を、数式1に代入する。2つの数式1をコンボリューション(co
nvolution)することにより、二変数(bivariate)関数を誘導するこ
とができる。
その結果、数式7のように予測サンプル位置x、yに基づいて関数ベースの予測サンプル
を生成して使用することができる。数式7において、x、yは2次元ブロックにおける位
置情報を意味する。
関数ベースの画面内予測の動作は、三つの場合に分けて説明できる。これをそれぞれ
動作分類1、動作分類2、動作分類3と定義するとき、動作分類1は、関数ベースの画面
内予測のみを画面内予測符号化に使用する場合である。動作分類1の動作は、次の通りで
ある。
図1のイントラ予測部120は、一つの関数或いは複数の関数を生成して関数ベース
の予測を行うことができる。この際、符号化器は、使用可能な複数の関数のうちのいずれ
かを選択することができる。一つの関数を選択するための方法として、レート・歪みコス
ト(rate-distortion cost)が最小となる関数を選択することがで
きる。関数の種類別に関数を定義するのに必要な変数を決定することができる。前記変数
を決定するときは、参照サンプルを使用することができる。又は、符号化対象画像を使用
することができる。又は、既に符号化された画像の全部又は一部の領域を使用することが
できる。
図5は画面内予測に使用されたモードにインデックスを付与した一実施形態を示す図
である。
画面内予測のために選択された予測モードを指示するために、図5に示すインデック
スを使用することができる。このとき、選択された予測モードを指示するインデックスは
、ビットストリームの構文要素(Syntax Element)を伝送するための様々
な段階を介して符号化及び/又は伝送することができる。例えば、前記インデックスは、
SPS(Sequence Parameter Set)、VPS(Video Pa
rameter Set)、CU(Coding Unit)、CTU(Coding
Tree Unit)、TU(Transform Unit)、PU(Predict
ion Unit)、Slice、GOP(Group Of Pictures)単位
などの段階のうちの少なくとも一つを介して伝送できる。
符号化器は、画面内予測のために選択された予測モードを指示するインデックスを符号化
し、当該関数を規定するための変数を符号化することができる。符号化器は符号化された
情報を伝送し、復号化器はこれを受信して復号化することができる。
関数を規定するための変数は、二つのグループに分類できる。変数グループ1に該当す
る変数は、符号化器が復号化器へ伝送しなくても、復号化器の内部で既に受信された参照
サンプル又は既に受信された又は既に復元された画像データを用いて、該当変数値を自体
的に把握することができる。したがって、復号化器は、予測モードを指示するインデック
スを受信すると、変数グループ1に該当する変数を自体的に推定(誘導)して画面内予測
に使用することができる。
変数グループ2に該当する変数は、その値を符号化器が復号化器へ伝送することを特徴
とする。又は、実現に応じて、復号化器が、所定の精度でインデックスが指示する関数を
推定(誘導)した後、変数グループ2に属する変数値を用いてその関数をより正確に決定
するようにしてもよい。この場合、復号化器は、画面内予測モードを指示するインデック
スを受信すると、変数グループ2に該当する変数を受信して画面内予測に使用することが
できる。
動作分類2は、関数ベースの画面内予測の他に、他の画面内予測モード(例えば、方向
性予測、DC及び/又はPlanar予測モードなど)のうちのいずれかのモードを選択
することができる。もちろん、この場合にも、レート・歪みコスト(rate-dist
ortion cost)が最小となる予測モードを選択することができる。図1のイン
トラ予測部120でDC、Planar、方向性予測などの予測モードと関数ベースの予
測モードが一緒に競争して、レート・歪みコスト(rate-distortion c
ost)が最小となるモードを選択することができる。このとき、関数ベースの予測モー
ドは、一つの関数のみ、或いは複数の関数を使用することができる。
図6は動作分類2の場合の画面内予測モードのインデックス情報の一実施形態を示す図
である。
動作分類2の場合、符号化器は、レート・歪みコスト(rate-distortio
n cost)が最小となるイントラ予測モードを選択することができる。最小のレート
・歪みコストを探すために、複数のイントラ予測モードに対するレート・歪みコストを計
算することができる。関数ベースの予測の場合は、利用可能な関数の種類別に、その関数
を定義する変数を参照サンプル又は入力画像を用いて推定(誘導)することができる。こ
のとき、最小コストを有するモードが決定されると、図6に示すようなインデックス値が
符号化(伝送)できる。このとき、インデックスがSPS、VPS、CU、CTU、TU
、PU、Slice、GOP単位などの様々な段階のうちの少なくとも一つの段階を介し
て伝送できるのは、前述した通りである。関数ベースのモードに該当する変数グループ1
又は変数グループ2についての説明は、動作分類1について説明した通りである。
図7は動作分類2を行う復号化器の動作の一実施形態を説明するための図である。
動作分類2を行う復号化器は、ビットストリームの入力を受けて、エントロピー復号化、
逆変換、逆量子化過程などを経て予測誤差信号を復元することができる。復元された予測
誤差信号は、予測サンプルと合わせられて復元画像を得ることができる。このとき、予測
サンプルを生成するために、画面内予測方法を指示する予測モードインデックスの伝送を
ビットストリームを介して符号化器から受けて復号化することができる(S710)。
ステップS720で、前記予測モードインデックスが関数ベースの画面内予測を指示す
るかどうかが判断できる。
前記予測モードインデックスが関数ベースの画面内予測を指示する場合には(すなわち
、S720でYes)、該当するモードに対する変数が誘導できる(S730)。具体的
には、予測モードインデックスが指示する予測モードに変数グループ1が存在すると、周
辺参照サンプルなどを用いて変数グループ1を誘導することができる。予測モードインデ
ックスが指示する予測モードに変数グループ2が存在する場合には、変数グループ2に該
当する変数値を受信されたビットストリームからパーシング(復号化)することにより誘
導することができる。周辺参照サンプルなどに基づいて誘導された変数(変数グループ1
)と、さらにビットストリームからパーシングして誘導された変数(変数グループ2)の
うちの少なくとも一つに基づいて関数を生成し(S740)、生成された関数を用いて予
測サンプルを生成することができる(S750)。
前記予測モードインデックスが関数ベースの画面内予測を指示しない場合には(すなわち
、S720でNo)、DC、Planar及び方向性(Angular)予測モードのう
ちのいずれかに基づいて画面内予測を行うことにより、予測サンプルを生成することがで
きる(S750)。
動作分類2の場合は、前述したように、DC、Planar、方向性予測などと関数予
測モードのうちの一つを指示する予測モードインデックスを用いて、復号化に使用される
イントラ予測モードを把握することができる。しかし、必ずしもこれに限定されず、所定
の情報(例えば、FBIP_flag)をシグナリングすることにより、一つの関数或い
は複数の関数を使用することもできる。FBIP_flag(Function Bas
ed Intra Prediction Flag)は、本発明に係る関数ベースの画
面内予測が行われるかどうかを指示する情報であり得る。
符号化器は、FBIP_flagを符号化してビットストリームを介して復号化器へ伝
送し、復号化器は、ビットストリームからFBIP_flagを受信することができる。
図8は動作分類2を行う復号化器の動作の他の実施形態を説明するための図である。
ステップS810で、ビットストリームからFBIP_flagを復号化することがで
きる。ステップS820で、FBIP_flag値がチェックできる。FBIP_fla
g値が第1値であれば、復号化器はDC、Planar、方向性予測などの予測モード情
報をパーシングすることなく、関数ベースの予測モード情報とこれに関連する情報(例え
ば、変数グループ2に該当する変数値に関する情報)をビットストリームから復号化する
ことができる(S830)。また、復号化器は、周辺参照サンプルなどを用いて、変数グ
ループ1に該当する変数を誘導し、ビットストリームから追加パーシングされた情報に基
づいて、変数グループ2に該当する変数を誘導することができる(S840)。前記誘導
された変数グループ1及び変数グループ2に該当する変数を用いて関数を生成し(S85
0)、生成された関数を用いて予測サンプルを生成することができる(S870)。前
もしFBIP_flag値が第2値であれば、復号化器は、DC、Planar、方向
性予測などの予測モード情報をパーシングし(S860)、パーシングされた予測モード
が指示するDC、Planar、方向性予測などの一つの方法で画面内予測を行うことが
できる(S870)。前記第2値は、例えば0であり得る。
動作分類3の場合は、DC、Planar、方向性予測などの予測モードによって生成
された予測サンプルを、関数ベースの予測モードを介して得られる追加情報を用いて補完
することができる。図1のイントラ予測部120でDC、Planar、方向性予測など
の予測モードに関数ベースの画面内予測を介して得られる追加情報を用いて補完を行うこ
とができる。前記補完は重み付け和又は重みの積によって実現できる。このとき、関数ベ
ースの画面内予測は、一つの関数のみ、或いは複数の関数を使用することができる。
動作分類3の符号化器は、レート・歪みコスト(rate-distortion c
ost)が最小となるイントラ予測モードを選択することができる。DC、Planar
、方向性予測などの予測モードを介して生成された予測サンプルと、関数ベースの補完を
行って生成された予測サンプルを用いて、レート・歪みコストを計算することができる。
関数ベースの予測が補完モードとして使用される場合、FBIP_flagを第1値(例
えば、1)に決定して伝送することができる。関数ベースの補完モードが使用されない場
合、FBIP_flagを第2値(例えば、0)に決定して伝送することができる。
関数ベースの予測が補完モードとして使用されるときに最小コストを持つと、FBIP
_flagは1に決定されて符号化できる。この場合、図5に示されたインデックスが伝
送できる。このとき、インデックスはSPS、VPS、CU、CTU、TU、PU、Sl
ice、GOP単位などの複数の段階のうちの少なくとも一つの段階を介して伝送できる
のは、前述した通りである。関数ベースのモードに該当する変数グループ1又は変数グル
ープ2についての説明は、動作分類1について説明した通りである。
図9は動作分類3を行う復号化器の動作の一実施形態を説明するための図である。
動作分類3を行う復号化器は、ビットストリームの入力を受け、エントロピー復号化、逆
変換、逆量子化過程などを経て予測誤差信号を復元することができる。復元された予測誤
差信号は、予測サンプルと合わせられて復元画像を得ることができる。
復号化器は、DC、Planar、方向性予測などの予測モードに基づいて予測サンプ
ルを生成することができる(S910)。その後、FBIP_flagをビットストリー
ムから復号化し(S920)、FBIP_flagが第2値(例えば、0)であれば(ス
テップS930でNo)、追加の過程なしに、前記生成された予測サンプルが最終予測サ
ンプルとして決定できる(S970)。
FBIP_flagが第1値(例えば、1)(ステップS930でYes)であり、選
択された関数ベースの予測モードに該当する変数グループ1が存在すれば、周辺参照サン
プルなどを用いて、変数グループ1に該当する変数値を誘導することができる。また、選
択された関数ベースの予測モードに該当する変数グループ2が存在すれば、変数グループ
2に該当する変数値をビットストリームから復号化することができる(S940)。周辺
参照サンプルから得た変数(変数グループ1)とさらにビットストリームからパーシング
して誘導された変数(変数グループ2)のうちの少なくとも一つに基づいて関数を生成し
(S950)、生成された関数を用いて予測サンプルを生成することができる(S960
)。
最後に、DC、Planar、方向性予測などの予測モードを用いて生成された予測サ
ンプル(ステップS910で生成された予測サンプル)と関数ベースの予測モードを用い
て生成された予測サンプル(ステップS960で生成された予測サンプル)の重み付け和
或いは重みの積によって最終予測サンプルを生成することができる(S970)。
又は、前記変数グループ1又は変数グループ2のうちの少なくとも一つを介して生成さ
れた関数を用いて、オフセットサンプルを生成することもできる。DC、Planar、
方向性予測などの予測モードを介して生成された予測サンプルに対して、前記オフセット
サンプルを加算又は減算して、最終予測サンプルを生成することもできる。又は、前述し
た関数ベースの予測モードを介して生成された予測サンプルとオフセットサンプルをすべ
て用いて、最終予測サンプルを生成することもできる。
動作分類3に基づいて重み付け和を計算する方法は、下記数式8に基づいて行われ得る

前記数式8において、P´は重み付け和によって生成された予測サンプル、PはDC、
Planar、方向性予測などによって生成された予測サンプル、Pは関数ベースの予
測サンプル、αは重みをそれぞれ意味することができる。
動作分類3に応じて重みを乗じる方法は、下記数式9に基づいて行われ得る。
前記数式9において、P´は重みを乗じて生成された予測サンプル、PはDC、Pla
nar、方向性予測などによって生成された予測サンプル、αは関数ベースの重みをそれ
ぞれ意味することができる。すなわち、重みを乗じる方法は、DC、Planar、方向
性予測などの予測モードによって生成された予測サンプルに関数ベースの重みを乗じる方
式である。この時、例えば、正規分布関数ベースの重みを求めるときは、振幅(ampl
itude)を示す数式6のcが
として使用できる。
現在ブロック(例えば、PU)の周辺参照サンプルを用いて、関数(例えば、正規分布
関数)ベースの予測サンプルの変数を予測することができる。現在ブロックの原信号を参
照して、関数ベースの予測サンプルの変数を予測することができる。現在ブロックの予測
サンプルを生成するために、関数ベースの予測サンプルを、符号化器/復号化器に既に定
義されたN個の画面内予測モード(例えば、35種類の画面内予測モード)の代わりに使
用することができる。
現在ブロックに対して画面内予測を行うとき、外挿法を用いた画面内予測モード(例え
ば、符号化器/復号化器に既に定義されたN個の画面内予測モード)に関数ベースの画面
内予測モードを追加してレート・歪みコスト(Rate-distortion cos
t)を競争させて、さらに良い予測モードを使用することができる。現在ブロックに対し
て外挿法を用いた画面内予測モード(例えば、符号化器/復号化器に既に定義されたN個
の画面内予測モード)と関数ベースの画面内予測モードとを重み付け和して予測サンプル
として使用することができる。現在ブロックの予測サンプルを符号化器/復号化器に既に
定義されたN個の画面内予測モードに基づいて生成するとき、関数の分布に従うように予
測器を実現することもできる。現在ブロックの属性に応じて、関数ベースの画面内予測技
法を適用するかどうかを決定することができる。ここで、属性は、現在ブロックのサイズ
、形状(例えば、正方形かどうか、横/縦方向の非正方形かどうかなど)、深さ(例えば
、分割深さ)、変換係数の存否、変換スキップの有無、1次変換か2次変換か、輝度成分
か色差成分かのうちの少なくとも一つを意味することができる。関数ベースの画面内予測
技法は、特定の成分要素(例えば、輝度成分)に対してのみ適用できる。
現在ブロックに対して関数ベースの画面内予測を適用するかどうかは、現在ブロックの
周辺ブロックから誘導できる。前記周辺ブロックは、現在ブロックの所定の位置に隣接す
るブロックであって、左下側、左側、左上側、上側及び右上側ブロックのうちの少なくと
も一つであり得る。
図10は現在ブロックの画面内予測に利用可能な周辺の復元サンプルラインを例示的に
示す図である。
図10に示すように、現在ブロックに隣接する一つ以上の復元サンプルラインを用いて
、参照サンプルが構成できる。
例えば、図10に示された複数の復元サンプルラインの中からいずれか一つを選択し、
選択された復元サンプルラインを用いて参照サンプルを構成することができる。前記選択
された復元サンプルラインは、複数の復元サンプルラインの中から特定のラインに固定的
に選択できる。又は、前記選択された復元サンプルラインは、複数の復元サンプルライン
の中から特定のラインに適応的に選択できる。この時、選択される復元サンプルラインに
対するインジケータがシグナリングできる。
例えば、図10に示された複数の復元サンプルラインのうちの一つ以上の復元サンプル
ラインの組み合わせを用いて、参照サンプルを構成することができる。一例として、参照
サンプルは、一つ以上の復元サンプルの重み付け和(又は加重平均)で構成できる。前記
重み付け和に用いられる重みは、現在ブロックからの距離に基づいて付与できる。この際
、現在ブロックに近いほど、より大きい重みが付与でき、例えば、下記数式10が使用で
きる。
又は、現在ブロックからの距離又は画面内予測モードのうちの少なくとも一つに基づ
いて、複数の復元サンプルの平均値、最大値、最小値、中央値及び最頻値のうちの少なく
とも一つの値を用いて参照サンプルを構成することができる。
又は、連続する複数の復元サンプルの値の変化(変化量)に基づいて、参照サンプル
を構成することができる。例えば、連続する二つの復元サンプルの値がしきい値以上異な
るかどうか、連続する複数の復元サンプルの値が連続的に又は不連続的に変化するかどう
かなどの少なくとも一つに基づいて参照サンプルを構成することができる。例えば、re
c[-1、-1]とrec[-2、-1]がしきい値以上異なる場合、ref[-1、-
1]はrec[-1、-1]と決定されるか、rec[-1、-1]に所定の重みを与え
た加重平均を適用した値と決定され得る。例えば、連続する複数の復元サンプルの値が現
在ブロックに近づくほどnずつ変わる場合、参照サンプルref[-1、-1]=rec
[-1、-1]-nと決定できる。
前記参照サンプルの構成に用いられる復元サンプルラインの個数、位置、構成方法の
うちの少なくとも一つは、現在ブロックの上側又は左側の境界がピクチャ、スライス、タ
イル、符号化ツリーブロック(CTB)のうちの少なくとも一つの境界に該当する場合に
よって異なるように決定できる。
たとえば、復元サンプルライン1と2を用いて参照サンプルを構成するにあたり、現
在ブロックの上側境界がCTB境界に該当する場合、上側に対しては復元サンプルライン
1を用い、左側に対しては復元サンプルライン1及び2を用いることができる。
たとえば、復元サンプルライン1乃至4を用いて参照サンプルを構成するにあたり、現
在ブロックの上側境界がCTB境界に該当する場合、上側に対しては復元サンプルライン
1及び2を用い、左側に対しては復元サンプルライン1乃至4を用いることができる。
たとえば、復元サンプルライン2を用いて参照サンプルを構成するにあたり、現在ブロ
ックの上側境界がCTB境界に該当する場合、上側に対しては復元サンプルライン1を用
い、左側に対しては復元サンプルライン2を用いることができる。
上記の過程を介して構成される参照サンプルのラインは、一つ以上の複数であり得る。
前記現在ブロックの上側の参照サンプル構成方法と左側の参照サンプル構成方法とが異
なり得る。
上記の方法のうちの少なくとも一つで参照サンプルを構成したことを示す情報を符号化
/復号化することができる。例えば、複数の復元サンプルラインを使用したかどうかを示
す情報を符号化/復号化することができる。
上述のように、複数の参照サンプルラインから誘導された一つ又は複数のラインの参照
サンプルは、本発明の参照サンプルとして使用できる。
これらの実施形態は、符号化器及び復号化器で同様の方法で行われ得る。
前記実施形態を適用する順序は、符号化器と復号化器で互いに異なってもよく、符号化
器と復号化器で互いに同じでもよい。
輝度及び色差信号それぞれに対して前記実施形態を行うことができ、輝度及び色差信号
に対する前記実施形態を同様に行うことができる。
本発明の実施形態が適用されるブロックの形状は、正方形状(square)或いは非
正方形状(non-square)を有することができる。
本発明の前記実施形態は、符号化ブロック、予測ブロック、変換ブロック、ブロック、
現在ブロック、符号化ユニット、予測ユニット、変換ユニット、ユニット及び現在ユニッ
トのうちの少なくとも一つのサイズに応じて適用できる。ここでのサイズは、前記実施形
態が適用されるために、最小サイズ及び/又は最大サイズとして定義されてもよく、前記
実施形態が適用される固定サイズとして定義されてもよい。また、前記実施形態は、第1
サイズでは第1実施形態が適用されてもよく、第2サイズでは第2実施形態が適用されて
もよい。すなわち、前記実施形態は、サイズに応じて複合的に適用できる。また、本発明
の前記実施形態は、最小サイズ以上及び最大サイズ以下の場合にのみ適用されてもよい。
すなわち、前記実施形態は、ブロックサイズが一定の範囲内に含まれる場合にのみ適用さ
れてもよい。
例えば、現在ブロックのサイズが8×8以上である場合にのみ、前記実施形態が適用で
きる。例えば、現在ブロックのサイズが4×4である場合にのみ、前記実施形態が適用で
きる。例えば、現在ブロックのサイズが16×16以下である場合にのみ、前記実施形態
が適用できる。例えば、現在ブロックのサイズが16×16以上であり、64×64以下
である場合にのみ前記実施形態が適用できる。
本発明の実施形態は、時間的階層(temporal layer)に応じて適用でき
る。前記実施形態が適用可能な時間的階層を識別するために、別途の識別子(ident
ifier)がシグナリングされ、当該識別子によって特定された時間的階層に対して前
記実施形態が適用できる。ここでの識別子は、前記実施形態が適用可能な最下位階層及び
/又は最上位階層と定義されてもよく、前記実施形態が適用される特定の階層を指示する
ものと定義されてもよい。また、前記実施形態が適用される固定された時間的階層が定義
されてもよい。
例えば、現在画像の時間的階層が最下位階層である場合にのみ、前記実施形態が適用で
きる。例えば、現在画像の時間的階層識別子が1以上である場合にのみ、前記実施形態が
適用できる。例えば、現在画像の時間的階層が最上位階層である場合にのみ、前記実施形
態が適用できる。
本発明の実施形態が適用されるスライスの種類(slice type)が定義され、
当 該スライスの種類に応じて本発明の前記実施形態が適用できる。
上述した実施形態において、これらの方法は、一連のステップ又はユニットでフローチ
ャートに基づいて説明されているが、本発明は、これらのステップの順序に限定されるも
のではなく、あるステップは、上述したのとは異なるステップと異なる順序で又は同時に
発生することができる。また、当該技術分野における通常の知識を有する者であれば、フ
ローチャートに示されたステップが排他的ではなく、他のステップが含まれるか、フロー
チャートの一つ又はそれ以上のステップが本発明の範囲に影響することなく削除できるこ
とを理解することができるだろう。
上述した実施形態は、様々な態様の例示を含む。様々な態様を示すためのすべての可能
な組み合わせを記述することはできないが、当該技術分野における通常の知識を有する者
は、他の組み合わせが可能であることを認識することができるだろう。よって、本発明は
、以下の特許請求の範囲内に属するすべての様々な交替、修正及び変更を含むといえる。
以上説明した本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行でき
るプログラム命令の形で実現され、コンピュータ可読記録媒体に記録できる。前記コンピ
ュータ可読記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は
組み合わせて含むことができる。前記コンピュータ可読記録媒体に記録されるプログラム
命令は、本発明のために特別に設計及び構成されたもの、又はコンピュータソフトウェア
分野の当業者に公知されて使用可能なものである。コンピュータ可読記録媒体の例には、
ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体、CD-ROM、D
VDなどの光記録媒体、フロプティカルディスク(floptical disk)など
の磁気-光媒体(magneto-optical media)、及びROM、RAM
、フラッシュメモリなどのプログラム命令を保存し実行するように特別に構成されたハー
ドウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られる機械語
コードだけでなく、インタプリターなどを用いてコンピュータによって実行できる高級言
語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために一つ以上
のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。
以上で、本発明が、具体的な構成要素などの特定の事項、限定された実施形態及び図面
によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたもの
に過ぎず、本発明は前記実施形態に限定されるものではない。本発明の属する技術分野に
おける通常の知識を有する者であれば、このような記載から多様な修正及び変形を図るこ
とができる。
よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、後述す
る特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形したすべて
のものは本発明の思想の範疇に属するというべきである。
本発明は、画像の符号化/復号化に利用可能である。

Claims (1)

  1. 予測モードインデックスを復号化するステップと、
    予測モードインデックスが関数ベースの画面内予測を指示するかどうかを判断するステッ
    プと、
    予測モードインデックスが関数ベースの画面内予測を指示する場合、関数を生成するた
    めの変数を誘導するステップと、
    誘導された変数に基づいて関数を生成するステップと、
    生成された関数を用いて画面内予測を行うステップとを含む、画像復号化方法。
JP2023211230A 2016-11-29 2023-12-14 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体 Pending JP2024026375A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160159884 2016-11-29
KR10-2016-0159884 2016-11-29
JP2019528700A JP2020501427A (ja) 2016-11-29 2017-11-27 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体
PCT/KR2017/013606 WO2018101687A1 (ko) 2016-11-29 2017-11-27 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019528700A Division JP2020501427A (ja) 2016-11-29 2017-11-27 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体

Publications (1)

Publication Number Publication Date
JP2024026375A true JP2024026375A (ja) 2024-02-28

Family

ID=62241484

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019528700A Pending JP2020501427A (ja) 2016-11-29 2017-11-27 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体
JP2023211230A Pending JP2024026375A (ja) 2016-11-29 2023-12-14 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019528700A Pending JP2020501427A (ja) 2016-11-29 2017-11-27 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体

Country Status (6)

Country Link
US (3) US10869049B2 (ja)
EP (1) EP3550835A4 (ja)
JP (2) JP2020501427A (ja)
KR (3) KR102387909B1 (ja)
CN (5) CN116962687A (ja)
WO (1) WO2018101687A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117560488A (zh) * 2017-07-06 2024-02-13 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
WO2019078686A1 (ko) * 2017-10-20 2019-04-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20190046704A (ko) * 2017-10-26 2019-05-07 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
WO2019235891A1 (ko) * 2018-06-08 2019-12-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2020056798A1 (zh) * 2018-09-21 2020-03-26 华为技术有限公司 一种视频编解码的方法与装置
WO2020075862A1 (ja) * 2018-10-12 2020-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
CN113875237A (zh) * 2019-04-10 2021-12-31 韩国电子通信研究院 用于在帧内预测中用信号传送预测模式相关信号的方法和装置
KR20210134043A (ko) * 2019-04-17 2021-11-08 엘지전자 주식회사 Bdpcm을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2023091780A1 (en) * 2021-11-22 2023-05-25 Beijing Dajia Internet Information Technology Co., Ltd. Planar mode improvement for intra prediction
KR20230174182A (ko) * 2022-06-20 2023-12-27 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101138393B1 (ko) * 2005-07-15 2012-04-26 삼성전자주식회사 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
RU2549157C1 (ru) * 2010-04-23 2015-04-20 М энд К ХОЛДИНГС ИНК. Устройство для кодирования движущегося изображения
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
KR101924885B1 (ko) * 2010-07-14 2018-12-04 가부시키가이샤 엔.티.티.도코모 비디오 코딩을 위한 저 복잡성 인트라 예측
US9025661B2 (en) * 2010-10-01 2015-05-05 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding
KR101643528B1 (ko) * 2011-01-12 2016-07-27 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
JP2013034162A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP6034010B2 (ja) * 2011-10-24 2016-11-30 ソニー株式会社 符号化装置、符号化方法、およびプログラム
KR20130049522A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
WO2013074964A1 (en) 2011-11-16 2013-05-23 Vanguard Software Solutions, Inc. Video compression for high efficiency video coding
CN103891283B (zh) * 2011-12-05 2018-03-16 Lg电子株式会社 帧内预测的方法和设备
JP2013141187A (ja) * 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
JP5947405B2 (ja) * 2012-02-01 2016-07-06 ノキア テクノロジーズ オーユー ビデオ符号化方法および装置
JP6787667B2 (ja) * 2012-09-21 2020-11-18 ノキア テクノロジーズ オサケユイチア ビデオコーディングのための方法と装置
US9813709B2 (en) * 2012-09-28 2017-11-07 Nippon Telegraph And Telephone Corporation Intra-prediction encoding method, intra-prediction decoding method, intra-prediction encoding apparatus, intra-prediction decoding apparatus, program therefor and recording medium having program recorded thereon
KR102445274B1 (ko) * 2012-10-01 2022-09-20 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
KR102114252B1 (ko) * 2013-07-05 2020-05-22 삼성전자 주식회사 영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 장치
GB2516424A (en) * 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
US10142627B2 (en) * 2015-06-18 2018-11-27 Qualcomm Incorporated Intra prediction and intra mode coding
CN117560488A (zh) * 2017-07-06 2024-02-13 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质

Also Published As

Publication number Publication date
US10869049B2 (en) 2020-12-15
CN110024385B (zh) 2023-06-30
CN116647679A (zh) 2023-08-25
JP2020501427A (ja) 2020-01-16
KR20180061027A (ko) 2018-06-07
US20200021828A1 (en) 2020-01-16
CN116962687A (zh) 2023-10-27
KR20220051319A (ko) 2022-04-26
KR102387909B1 (ko) 2022-04-18
KR102467487B1 (ko) 2022-11-16
CN116723314A (zh) 2023-09-08
WO2018101687A1 (ko) 2018-06-07
US11503316B2 (en) 2022-11-15
CN117041564A (zh) 2023-11-10
EP3550835A4 (en) 2020-04-29
EP3550835A1 (en) 2019-10-09
US20230007829A1 (en) 2023-01-12
KR20220158210A (ko) 2022-11-30
CN110024385A (zh) 2019-07-16
US20210067794A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
KR102613966B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102487618B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102595069B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102658040B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP7150810B2 (ja) 画像復号方法及び画像符号化方法
JP2024026375A (ja) 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体
KR20220127801A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20230156294A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20240074723A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102688470B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20240115220A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20240116681A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20240116682A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20240113893A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240111