JP7330184B2 - 画像復号化方法、画像符号化方法及びビットストリーム伝送方法 - Google Patents

画像復号化方法、画像符号化方法及びビットストリーム伝送方法 Download PDF

Info

Publication number
JP7330184B2
JP7330184B2 JP2020529379A JP2020529379A JP7330184B2 JP 7330184 B2 JP7330184 B2 JP 7330184B2 JP 2020529379 A JP2020529379 A JP 2020529379A JP 2020529379 A JP2020529379 A JP 2020529379A JP 7330184 B2 JP7330184 B2 JP 7330184B2
Authority
JP
Japan
Prior art keywords
block
filter
information
diagonal
block classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020529379A
Other languages
English (en)
Other versions
JP2021505074A5 (ja
JP2021505074A (ja
Inventor
サン チャン リム
ジュン ウォン カン
ハ ヒュン リ
ドン サン ジュン
ヒュン サク コウ
ジン ホ リ
フイ ヨン キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2021505074A publication Critical patent/JP2021505074A/ja
Publication of JP2021505074A5 publication Critical patent/JP2021505074A5/ja
Priority to JP2023129198A priority Critical patent/JP2023138676A/ja
Application granted granted Critical
Publication of JP7330184B2 publication Critical patent/JP7330184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像符号化／復号化方法、装置、及びビットストリームを保存した記録媒体に関する。具体的には、本発明は、ループ内フィルタリングをベースとする画像符号化／復号化方法及び装置に関する。
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な応用分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて相対的にデータ量が増加するので、従来の有線・無線ブロードバンド回線などの媒体を用いて画像データを伝送したり従来の記憶媒体を用いて保存したりする場合には、伝送費用と保存費用が増加することになる。このような画像データの高解像度、高品質化に伴って発生する問題を解決するためには、より高い解像度及び画質を有する画像に対する高効率画像符号化（ｅｎｃｏｄｉｎｇ）／復号化（ｄｅｃｏｄｉｎｇ）技術が求められる。
画像圧縮技術として、現在ピクチャの以前又は以後のピクチャから、現在ピクチャに含まれている画素値を予測する画面間（ｉｎｔｅｒ）予測技術、現在ピクチャ内の画素情報を用いて、現在ピクチャに含まれている画素値を予測する画面内（ｉｎｔｒａ）予測技術、残余信号のエネルギーを圧縮するための変換及び量子化技術、出現頻度の高い値に短い符号を割り当て、出現頻度の低い値に長い符号を割り当てるエントロピー符号化技術などの様々な技術が存在し、これらの画像圧縮技術を利用して画像データを効果的に圧縮して伝送又は保存することができる。
デブロッキングフィルタは、ブロックの境界に対して縦方向のフィルタリング及び横方向のフィルタリングを行い、ブロック間の境界で発生するブロッキング現象を減少させることに目的があるが、デブロッキングフィルタは、ブロック境界のフィルタリング時に原本画像と復元画像との歪みを最小化することはできないという欠点がある。
サンプル適応的オフセットは、リンギング現象の減少のために、画素単位で隣接する画素との画素値の比較を経て、特定の画素にオフセットを加えたり、画素値が特定の範囲に属する画素に対してオフセットを加えたりする方法である。サンプル適応的オフセットは、レート－歪み最適化を用いて、原本画像と復元画像との歪みを一部最小化するが、原本画像と復元画像間の歪みの差が大きい場合には、歪み最小化の観点で限界が存在する。
本発明は、ループ内フィルタリングを用いた画像符号化／復号化方法及び装置を提供することを目的とする。
また、本発明は、画像符号化器／復号化器の計算複雑度及びメモリアクセス帯域幅を減少させるために副標本ベースのブロック分類を用いたループ内フィルタリング方法及び装置を提供することを目的とする。
また、本発明は、画像符号化器／復号化器の計算複雑度、メモリ要求量及びメモリアクセス帯域幅を減少させるために多重フィルタ形状（ｍｕｌｔｉｐｌｅ ｆｉｌｔｅｒ ｓｈａｐｅｓ）を用いたループ内フィルタリング方法及び装置を提供することを目的とする。
また、本発明は、本発明の画像符号化／復号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
本発明によれば、符号化ユニットに対するフィルタ情報を復号化するステップと、前記符号化ユニットをブロック分類単位で分類するステップと、前記フィルタ情報を用いて、前記ブロック分類単位で分類された符号化ユニットをフィルタリングするステップと、を含む、画像復号化方法が提供できる。
本発明による画像復号化方法において、前記ブロック分類単位で分類された符号化ユニットにブロック分類インデックスを割り当てるステップをさらに含み、前記ブロック分類インデックスは方向性情報と活動性情報を用いて決定できる。
本発明による画像復号化方法において、前記方向性情報及び活動性情報のうちの少なくとも一つは、縦方向、横方向、第１対角方向及び第２対角方向のうちの少なくとも一つに対する勾配（ｇｒａｄｉｅｎｔ）値に基づいて決定できる。
本発明による画像復号化方法において、前記勾配値は、前記ブロック分類単位での１Ｄラプラシアン演算を用いて取得できる。
本発明による画像復号化方法において、前記１Ｄラプラシアン演算は、前記演算の実行位置がサブサンプリングされた１Ｄラプラシアン演算であり得る。
本発明による画像復号化方法において、前記勾配値は、時間的階層識別子（ｔｅｍｐｏｒａｌ ｌａｙｅｒ ｉｄｅｎｔｉｆｉｅｒ）に基づいて決定できる。
本発明による画像復号化方法において、前記フィルタ情報は、フィルタリング実行有無、フィルタ係数値、フィルタ個数、フィルタタップ数（フィルタ長）情報、フィルタ形状情報、フィルタ種類情報、ブロック分類インデックスに対する固定されたフィルタ使用有無情報、及びフィルタの対称形状に関する情報のうちの少なくとも一つを含むことができる。
本発明による画像復号化方法において、前記フィルタ形状情報は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形の形状のうちの少なくとも一つの情報を含むことができる。
本発明による画像復号化方法において、前記フィルタ係数値は、前記ブロック分類単位で分類された符号化ユニットに基づいて幾何学的変換されたフィルタ係数値を含むことができる。
本発明による画像復号化方法において、フィルタの対称形状に関する情報は、点対称、横対称、縦対称及び対角対称形状のうちの少なくとも一つの情報を含むことができる。
また、本発明によれば、符号化ユニットをブロック分類単位で分類するステップと、前記符号化ユニットに対するフィルタ情報を用いて、前記ブロック分類単位で分類された符号化ユニットをフィルタリングするステップと、前記フィルタ情報を符号化するステップと、を含む、画像符号化方法が提供できる。
本発明による画像符号化方法において、前記ブロック分類単位で分類された符号化ユニットにブロック分類インデックスを割り当てるステップをさらに含み、前記ブロック分類インデックスは方向性情報と活動性情報を用いて決定できる。
本発明による画像符号化方法において、前記方向性情報及び活動性情報のうちの少なくとも一つは、縦方向、横方向、第１対角方向及び第２対角方向のうちの少なくとも一つに対する勾配（ｇｒａｄｉｅｎｔ）値に基づいて決定できる。
本発明による画像符号化方法において、前記勾配値は、前記ブロック分類単位での１Ｄラプラシアン演算を用いて取得できる。
本発明による画像符号化方法において、前記１Ｄラプラシアン演算は、前記演算の実行位置がサブサンプリングされた１Ｄラプラシアン演算であり得る。
本発明による画像符号化方法において、前記勾配値は、時間的階層識別子に基づいて決定できる。
本発明による画像符号化方法において、前記フィルタ情報は、フィルタリング実行有無、フィルタ係数値、フィルタ個数、フィルタタップ数（フィルタ長）情報、フィルタ形状情報、フィルタ種類情報、ブロック分類インデックスに対する固定されたフィルタ使用有無情報、及びフィルタの対称形状に関する情報のうちの少なくとも一つを含むことができる。
本発明による画像符号化方法において、前記フィルタ形状情報は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形の形状のうちの少なくとも一つの情報を含むことができる。
本発明による画像符号化方法において、前記フィルタ係数値は、前記ブロック分類単位で分類された符号化ユニットに基づいて幾何学的変換されたフィルタ係数値を含むことができる。
また、本発明に係る記録媒体は、本発明による画像符号化方法によって生成されたビットストリームを保存することができる。
本発明によれば、ループ内フィルタリングを用いた画像符号化／復号化方法及び装置が提供できる。
また、本発明によれば、画像符号化器／復号化器の計算複雑度及びメモリアクセス帯域幅を減少させるために副標本ベースのブロック分類を用いたループ内フィルタリングの方法及び装置が提供できる。
また、本発明によれば、画像符号化器／復号化器の計算複雑度、メモリ要求量及びメモリアクセス帯域幅を減少させるために多重フィルタ形状を用いたループ内フィルタリング方法及び装置が提供できる。
また、本発明によれば、本発明の画像符号化／復号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供できる。
また、本発明によれば、画像の符号化及び／又は復号化の効率を向上させることができる。
本発明が適用される符号化装置の一実施形態による構成を示すブロック図である。 本発明が適用される復号化装置の一実施形態による構成を示すブロック図である。 画像を符号化及び復号化するときの画像の分割構造を示す概略図である。 画面内予測過程の実施形態を説明するための図である。 画面間予測過程の実施形態を説明するための図である。 変換及び量子化の過程を説明するための図である。 本発明の一実施形態による画像復号化方法を示すフローチャートである。 本発明の一実施形態による画像符号化方法を示すフローチャートである。 横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する他の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する他の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する他の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する他の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する他の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する他の例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 時間的階層識別子が最上位階層である場合における横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。 本発明の一実施形態による１Ｄラプラシアン演算を代えるさまざまな演算技法を示す図である。 本発明の一実施形態による菱形形状のフィルタを示す図である。 本発明の一実施形態によるフィルタタップ数が５×５であるフィルタを示す図である。 本発明の一実施形態による様々なフィルタ形状を示す図である。 本発明の一実施形態による様々なフィルタ形状を示す図である。 本発明の一実施形態による横又は縦対称フィルタを示す図である。 本発明の一実施形態による正方形、八角形、雪片、菱形形状のフィルタに対して幾何学的変換を行ったフィルタを示す図である。 本発明の一実施形態による９×９菱形形状のフィルタ係数を５×５正方形形状のフィルタ係数に変換する過程を示す図である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。 副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する別の例である。
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ところが、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものと理解されるべきである。図面において類似する参照符号は、様々な側面にわたって同一又は類似の機能を指し示す。図面における要素の形状及び大きさなどは、より明確な説明のために誇張することがある。後述する例示的実施形態についての詳細な説明は、特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が実施形態を実施し得る程度に十分に詳細に説明される。様々な実施形態は、互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲を逸脱することなく、様々な実施形態に実現できる。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、実施形態の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として取るものではなく、例示的な実施形態の範囲は、適切に説明されるならば、それらの請求項が主張するのと均等な全ての範囲及び添付の請求項によってのみ限定される。
本発明において、用語「第１」、「第２」などは多様な構成要素の説明に使用できるが、これらの構成要素は上記の用語により限定されてはならない。これらの用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素も第１構成要素と命名することができる。用語「及び／又は」は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。
本発明のある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いるとした場合には、その他の構成要素に直接連結されている或いは接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
本発明の実施形態に示す構成部は、互いに異なる特徴的な機能を示すために独立に図示されるもので、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部に羅列して含むもので、各構成部のうちの少なくとも２つの構成部が合わせられて一つの構成部をなすか、或いは一つの各構成部が複数の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施形態及び分離された実施形態も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせが存在することを指定するものであり、一つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解されるべきである。つまり、本発明において、特定の構成を「含む」と記述する内容は、該当構成以外の構成を排除するものではなく、追加の構成が本発明の実施又は本発明の技術的思想の範囲に含まれ得ることを意味する。
本発明の一部の構成要素は、本発明において本質的な機能を行う不可欠の構成要素ではなく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上のために使用される構成要素を除く、本発明の本質の実現に必要不可欠な構成部のみを含んで実現でき、単に性能向上のために使用される選択的構成要素を除く必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
以下、図面を参照して、本発明の実施形態について具体的に説明する。本明細書の実施形態を説明するにあたり、関連した公知の構成又は機能についての具体的な説明が本明細書の要旨を曖昧にするおそれがあると判断された場合、その詳細な説明は省略し、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素についての重複説明は省略する。
以下において、画像は、動画像（ｖｉｄｅｏ）を構成する１つのピクチャ（ｐｉｃｔｕｒｅ）を意味することもあり、動画像自体を意味することもある。例えば、「画像の符号化及び／又は復号化」は、「動画像の符号化及び／又は復号化」を意味することもあり、「動画像を構成する画像のうちのいずれかの画像の符号化及び／又は復号化」を意味することもある。
以下において、用語「動画像」及び「ビデオ」は、同じ意味で使用されることもあり、入れ替わって使用されることもある。
以下において、対象画像は、符号化の対象である符号化対象画像、及び／又は復号化の対象である復号化対象画像であり得る。また、対象画像は、符号化装置に入力された入力画像であってもよく、復号化装置に入力された入力画像であってもよい。ここで、対象画像は、現在の画像と同じ意味を持つことができる。
以下において、用語「画像」、「ピクチャ」、「フレーム（ｆｒａｍｅ）」及び「スクリーン（ｓｃｒｅｅｎ）」は、同じ意味で使用されることもあり、入れ替わって使用されることもある。
以下において、対象ブロックは、符号化の対象である符号化対象ブロック、及び／又は復号化の対象である復号化対象ブロックであり得る。また、対象ブロックは、現在符号化及び／又は復号化の対象である現在ブロックであってもよい。例えば、用語「対象ブロック」及び「現在ブロック」は、同じ意味で使用されることもあり、入れ替わって使用されることもある。
以下において、用語「ブロック」及び「ユニット」は、同じ意味で使用されることもあり、入れ替わって使用されることもある。又は、「ブロック」は特定のユニットを示すことができる。
以下において、用語「領域（ｒｅｇｉｏｎ）」及び「セグメント（ｓｅｇｍｅｎｔ）」は、入れ替わって使用されることもある。
以下において、特定の信号は、特定のブロックを示す信号であり得る。例えば、原（ｏｒｉｇｉｎａｌ）信号は、対象ブロックを示す信号であり得る。予測（ｐｒｅｄｉｃｔｉｏｎ）信号は、予測ブロックを示す信号であり得る。残余（ｒｅｓｉｄｕａｌ）信号は、残余ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を示す信号であり得る。
実施形態において、特定の情報、データ、フラグ（ｆｌａｇ）、インデックス（ｉｎｄｅｘ）及び要素（ｅｌｅｍｅｎｔ）、属性（ａｔｔｒｉｂｕｔｅ）などのそれぞれは、値を持つことができる。情報、データ、フラグ、インデックス及び要素、属性などの値「０」は、論理偽（ｌｏｇｉｃａｌ ｆａｌｓｅ）又は第１の予め定義された（ｐｒｅｄｅｆｉｎｅｄ）値を示すことができる。いわば、値「０」、偽、論理偽及び第１の予め定義された値は、入れ替わって使用されることもある。情報、データ、フラグ、インデックス及び要素、属性などの値「１」は、論理真（ｌｏｇｉｃａｌ ｔｒｕｅ）又は第２の予め定義された値を示すことができる。いわば、値「１」、真、論理真及び第２の予め定義された値は、入れ替わって使用されることもある。
行、列、又はインデックス（ｉｎｄｅｘ）を示すためにｉ又はｊなどの変数が使用されるとき、ｉの値は０以上の整数であってもよく、１以上の整数であってもよい。いわば、実施形態において、行、列、及びインデックスは０からカウントされることもあり、１からカウントされることもある。
用語説明
符号化器（Ｅｎｃｏｄｅｒ）：符号化（Ｅｎｃｏｄｉｎｇ）を行う装置を意味する。すなわち、符号化装置を意味することができる。
復号化器（Ｄｅｃｏｄｅｒ）：復号化（Ｄｅｃｏｄｎｇ）を行う装置を意味する。すなわち、復号化装置を意味することができる。
ブロック（Ｂｌｏｃｋ）：サンプル（Ｓａｍｐｌｅ）のＭ×Ｎ配列である。ここで、ＭとＮは正の整数値を意味することができ、ブロックは一般に２次元形状のサンプル配列を意味することができる。ブロックはユニットを意味することができる。現在ブロックは、符号化時に符号化の対象となる符号化対象ブロック、復号化時に復号化の対象となる復号化対象ブロックを意味することができる。また、現在ブロックは符号化ブロック、予測ブロック、残予ブロック及び変換ブロックのうちの少なくとも一つであり得る。
サンプル（Ｓａｍｐｌｅ）：ブロックを構成する基本単位である。ビット深度（ｂｉｔ ｄｅｐｔｈ、Ｂｄ）に応じて０から２Ｂｄ－１までの値で表現できる。本発明において、サンプルは画素又はピクセルと同じ意味で使用できる。すなわち、サンプル、画素、ピクセルは互いに同じ意味を持つことができる。
ユニット（Ｕｎｉｔ）：画像符号化及び復号化の単位を意味することができる。画像の符号化及び復号化において、ユニットは、一つの画像を分割した領域であり得る。また、ユニットは、一つの画像を細分化されたユニットに分割して符号化或いは復号化するとき、その分割された単位を意味することができる。すなわち、一つの画像は複数のユニットに分割できる。画像の符号化及び復号化において、ユニット別に、予め定義された処理が行われ得る。一つのユニットは、ユニットに比べてより小さい大きさを持つサブユニットにさらに分割できる。機能に応じて、ユニットは、ブロック（Ｂｌｏｃｋ）、マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ）、符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）、残予ユニット（Ｒｅｓｉｄｕａｌ Ｕｎｉｔ）、残予ブロック（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）、変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）などを意味することができる。また、ユニットは、ブロックと区分して指し示すために、輝度（Ｌｕｍａ）成分ブロック、それに対応する色差（Ｃｈｒｏｍａ）成分ブロック、及び各ブロックに対する構文要素を含むことを意味することができる。ユニットは、様々なサイズと形状を持つことができ、特に、ユニットの形状は、正方形だけでなく、長方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。また、ユニット情報は、符号化ユニット、予測ユニット、残予ユニット、変換ユニットなどを指し示すユニットのタイプ、ユニットの大きさ、ユニットの深さ、ユニットの符号化及び復号化順序などのうちの少なくとも一つを含むことができる。
符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）：一つの輝度成分（Ｙ）符号化ツリーブロックに関連した２つの色差成分（Ｃｂ，Ｃｒ）符号化ツリーブロックから構成される。また、前記ブロックと各ブロックに対する構文要素を含むことを意味することもできる。各符号化ツリーユニットは、符号化ユニット、予測ユニット、変換ユニットなどのサブユニットを構成するために、四分木（ｑｕａｄ ｔｒｅｅ）、二分木（ｂｉｎａｒｙ ｔｒｅｅ）、三分木（ｔｅｒｎａｒｙ ｔｒｅｅ）などの一つ以上の分割方式を用いて分割できる。入力画像の分割の如く画像の復号化／符号化過程で処理単位となるサンプルブロックを指し示すための用語として使用できる。ここで、四分木は、４分割ツリー（ｑｕａｒｔｅｒｎａｒｙ ｔｒｅｅ）を意味することができる。
符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）：Ｙ符号化ツリーブロック、Ｃｂ符号化ツリーブロック及びＣｒ符号化ツリーブロックのうちのいずれかを示すための用語として使用できる。
周辺ブロック（Ｎｅｉｇｈｂｏｒ ｂｌｏｃｋ）：現在ブロックに隣接するブロックを意味することができる。現在ブロックに隣接するブロックは、現在ブロックと境界が接しているブロック、又は現在ブロックから所定の距離内に位置するブロックを意味することができる。周辺ブロックは、現在ブロックの頂点に隣接するブロックを意味することができる。ここで、現在ブロックの頂点に隣接するブロックとは、現在ブロックの横に隣接する隣接ブロックと縦に隣接するブロック、又は現在ブロックの縦に隣接する隣接ブロックと横に隣接するブロックであり得る。周辺ブロックは、復元された周辺ブロックを意味することもある。
復元された周辺ブロック（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｎｅｉｇｈｂｏｒ Ｂｌｏｃｋ）：現在ブロックの周辺に空間的（Ｓｐａｔｉａｌ）／時間的（Ｔｅｍｐｏｒａｌ）に既に符号化或いは復号化された周辺ブロックを意味することができる。このとき、復元された周辺ブロックは、復元された周辺ユニットを意味することができる。復元された空間的周辺ブロックは、現在ピクチャ内のブロックでありながら符号化及び／又は復号化を介して既に復元されたブロックであり得る。復元された時間的周辺ブロックは、参照画像内で現在ピクチャの現在ブロックと対応する位置の復元されたブロック又はその周辺ブロックであり得る。
ユニット深さ（Ｄｅｐｔｈ）：ユニットが分割された程度を意味することができる。ツリー構造（Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）における最上位ノード（Ｒｏｏｔ Ｎｏｄｅ）は、分割されていない最初のユニットに対応することができる。最上位ノードは、ルートノードと呼ばれることもある。また、最上位ノードは、最小の深さ値を持つことができる。このとき、最上位ノードは、レベル（Ｌｅｖｅｌ）０の深さを持つことができる。レベル１の深さを持つノードは、最初のユニットが一度分割されることにより生成されたユニットを示すことができる。レベル２の深さを持つノードは、最初のユニットが二回分割されることにより生成されたユニットを示すことができる。レベルｎの深さを持つノードは、最初のユニットがｎ回分割されることにより生成されたユニットを示すことができる。リーフノード（Ｌｅａｆ Ｎｏｄｅ）は、最下位ノードであり、それ以上分割できないノードであり得る。リーフノードの深さは最大レベルであり得る。例えば、最大レベルの予め定義された値は３であり得る。ルートノードは深さが最も浅く、リーフノードは深さが最も深いといえる。また、ユニットをツリー構造で表現したとき、ユニットが存在するレベルがユニット深さを意味することができる。
ビットストリーム（Ｂｉｔｓｔｒｅａｍ）：符号化された画像情報を含むビットの列を意味することができる。
パラメータセット（Ｐａｒａｍｅｔｅｒ Ｓｅｔ）：ビットストリーム内の構造のうちのヘッダー（ｈｅａｄｅｒ）情報に該当する。ビデオパラメータセット（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、適応パラメータセット（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）のうちの少なくとも一つがパラメータセットに含まれ得る。また、パラメータセットは、スライス（ｓｌｉｃｅ）ヘッダー、タイルグループ（ｔｉｌｅ ｇｒｏｕｐ）ヘッダー及びタイル（ｔｉｌｅ）ヘッダー情報を含むこともできる。また、前記タイルグループは、さまざまなタイルを含むグループを意味することができ、スライスと同一の意味であり得る。
パーシング（Ｐａｒｓｉｎｇ）：ビットストリームをエントロピー復号化して構文要素（Ｓｙｎｔａｘ Ｅｌｅｍｅｎｔ）の値を決定することを意味するか、或いはエントロピー復号化自体を意味することができる。
シンボル（Ｓｙｍｂｏｌ）：符号化／復号化対象ユニットの構文要素、符号化パラメータ（ｃｏｄｉｎｇ ｐａｒａｍｅｔｅｒ）、変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）の値などのうちの少なくとも一つを意味することができる。また、シンボルは、エントロピー符号化の対象或いはエントロピー復号化の結果を意味することができる。
予測モード（Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅ）：画面内予測で符号化／復号化されるモード、又は画面間予測で符号化／復号化されるモードを指し示す情報であり得る。
予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）：画面間予測、画面内予測、画面間補償、画面内補償、動き補償など、予測を行うときの基本単位を意味することができる。一つの予測ユニットは、より小さいサイズを有する複数のパーティション（Ｐａｒｔｉｔｉｏｎ）又は複数のサブ予測ユニットに分割されてもよい。複数のパーティションも予測又は補償の実行における基本単位であり得る。予測ユニットの分割によって生成されたパーティションも予測ユニットであり得る。
予測ユニットパーティション（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ Ｐａｒｔｉｔｉｏｎ）：予測ユニットが分割された形態を意味することができる。
参照画像リスト（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ）：画面間予測或いは動き補償に使用される一つ以上の参照画像を含むリストを意味することができる。参照画像リストの種類は、ＬＣ（Ｌｉｓｔ Ｃｏｍｂｉｎｅｄ）、Ｌ０（Ｌｉｓｔ ０）、Ｌ１（Ｌｉｓｔ １）、Ｌ２（Ｌｉｓｔ ２）、Ｌ３（Ｌｉｓｔ ３）などが挙げられる。画面間予測には、一つ以上の参照画像リストが使用できる。
画面間予測インジケータ（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｉｎｄｉｃａｔｏｒ）： 現在ブロックの画面間予測方向（一方向予測、双方向予測など）を意味することができる。又は、現在ブロックの予測ブロックを生成するときに使用される参照画像の個数を意味することができる。又は、現在ブロックに対して画面間予測或いは動き補償を行うときに使用される予測ブロックの個数を意味することができる。
予測リスト活用フラグ（ｐｒｅｄｉｃｔｉｏｎ ｌｉｓｔ ｕｔｉｌｉｚａｔｉｏｎ ｆｌａｇ）：特定の参照画像リスト内の少なくとも一つの参照画像を用いて予測ブロックを生成するか否かを示す。予測リスト活用フラグを用いて画面間予測インジケータを導出することができ、逆に画面間予測インジケータを用いて予測リスト活用フラグを導出することができる。例えば、予測リスト活用フラグが第１の値「０」を指示する場合には、当該参照画像リスト内の参照画像を用いて予測ブロックを生成しないことを示すことができ、第２の値「１」を指示する場合には、当該参照画像リストを用いて予測ブロックを生成することができることを示すことができる。
参照画像インデックス（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｉｎｄｅｘ）：参照画像リストにおいて特定の参照画像を指し示すインデックスを意味することができる。
参照画像（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ）：画面間予測或いは動き補償のために特定のブロックが参照する画像を意味することができる。又は、参照画像は、画面間予測又は動き補償のために現在ブロックが参照する参照ブロックを含む画像であり得る。以下、用語「参照ピクチャ」及び「参照画像」は、同一の意味で使用されることもあり、入れ替わって使用されることもある。
動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）：画面間予測或いは動き補償に使用される２次元ベクトルであり得る。動きベクトルは、符号化／復号化対象ブロックと参照ブロックとの間のオフセットを意味することができる。例えば、（ｍｖＸ，ｍｖＹ）は動きベクトルを示すことができる。ｍｖＸは水平（ｈｏｒｉｚｏｎｔａｌ）成分、ｍｖＹは垂直（ｖｅｒｔｉｃａｌ）成分を示すことができる。
探索領域（Ｓｅａｒｃｈ Ｒａｎｇｅ）：探索領域は、画面間予測のうち、動きベクトルに対する探索が行われる２次元の領域であり得る。例えば、探索領域のサイズはＭｘＮであり得る。Ｍ及びＮはそれぞれ正の整数であり得る。
動きベクトル候補（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ）：動きベクトルを予測するときに予測候補となるブロック、或いはそのブロックの動きベクトルを意味することができる。また、動きベクトル候補は、動きベクトル候補リストに含まれてもよい。
動きベクトル候補リスト（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）：一つ以上の動きベクトル候補を用いて構成されたリストを意味することができる。
動きベクトル候補インデックス（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ Ｉｎｄｅｘ）：動きベクトル候補リスト内の動きベクトル候補を示すインジケータを意味することができる。動きベクトル予測器（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）のインデックス（ｉｎｄｅｘ）であってもよい。
動き情報（Ｍｏｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）：動きベクトル、参照画像インデックス、画面間予測インジケータだけでなく、予測リスト活用フラグ、参照画像リスト情報、参照画像、動きベクトル候補、動きベクトル候補インデックス、マージ候補、マージンインデックスなどのうちの少なくとも一つを含む情報を意味することができる。
マージ候補リスト（Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）：一つ以上のマージ候補を用いて構成されたリストを意味することができる。
マージ候補（Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ）：空間マージ候補、時間マージ候補、組み合わせマージ候補、組み合わせ双予測マージ候補、ゼロマージ候補などを意味することができる。マージ候補は、画面間予測インジケータ、各リストに対する参照画像インデックス、動きベクトル、予測リスト活用フラグ、画面間予測インジケータなどの動き情報を含むことができる。
マージインデックス（Ｍｅｒｇｅ Ｉｎｄｅｘ）：マージ候補リスト内のマージ候補を指し示すインジケータを意味することができる。また、マージインデックスは、空間的／時間的に現在ブロックと隣接するように復元されたブロックのうち、マージ候補を誘導したブロックを示すことができる。また、マージインデックスは、マージ候補が持つ動き情報のうちの少なくとも一つを示すことができる。
変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）：変換、逆変換、量子化、逆量子化、変換係数符号化／復号化のように残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）符号化／復号化を行うときの基本単位を意味することができる。一つの変換ユニットは、分割されてサイズがさらに小さい複数のサブ変換ユニットに分割できる。ここで、変換／逆変換は、１次変換／逆変換及び２次変換／逆変換のうちの少なくとも一つを含むことができる。
スケーリング（Ｓｃａｌｉｎｇ）：量子化されたレベルに因数を掛ける過程を意味することができる。量子化されたレベルに対するスケーリングの結果として変換係数を生成することができる。スケーリングを逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）とも呼ぶことができる。
量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）：量子化において変換係数を用いて量子化されたレベル（ｑｕａｎｔｉｚｅｄ ｌｅｖｅｌ）を生成するときに使用する値を意味することができる。又は、逆量子化において量子化されたレベルをスケーリング（ｓｃａｌｉｎｇ）して変換係数を生成するときに使用する値を意味することもできる。量子化パラメータは、量子化ステップサイズ（ｓｔｅｐ ｓｉｚｅ）にマッピングされた値であり得る。
デルタ量子化パラメータ（Ｄｅｌｔａ Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）：予測された量子化パラメータと符号化／復号化対象ユニットの量子化パラメータとの差分（ｄｉｆｆｅｒｅｎｃｅ）値を意味することができる。
スキャン（Ｓｃａｎ）：ユニット、ブロック或いは行列内係数の順序をソートする方法を意味することができる。例えば、２次元配列を１次元配列にソートすることをスキャンという。又は、１次元配列を２次元配列にソートすることもスキャン或いは逆スキャン（Ｉｎｖｅｒｓｅ Ｓｃａｎ）と呼ぶことができる。
変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）：符号化器で変換を行ってから生成された係数値を意味することができる。復号化器でエントロピー復号化及び逆量子化のうちの少なくとも一つを行ってから生成された係数値を意味することもできる。変換係数又は残予信号に量子化を適用した量子化レベル又は量子化変換係数レベルも変換係数の意味に含まれ得る。
量子化レベル（Ｑｕａｎｔｉｚｅｄ Ｌｅｖｅｌ）：符号化器で変換係数又は残余信号に量子化を行って生成された値を意味することができる。又は、復号化器で逆量子化を行う前に逆量子化の対象となる値を意味することもできる。同様に、変換及び量子化の結果である量子化変換係数レベルも量子化レベルの意味に含まれ得る。
ノンゼロ変換係数（Ｎｏｎ－ｚｅｒｏ Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）：値の大きさが０ではない変換係数、或いは値の大きさが０ではない変換係数レベル、或いは量子化されたレベルを意味することができる。
量子化行列（Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ）：画像の主観的画質或いは客観的画質を向上させるために量子化或いは逆量子化過程で利用する行列を意味することができる。量子化行列をスケーリングリスト（ｓｃａｌｉｎｇ ｌｉｓｔ）とも呼ぶことができる。
量子化行列係数（Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ Ｃｏｅｆｆｉｃｉｅｎｔ）：量子化行列内の各元素（ｅｌｅｍｅｎｔ）を意味することができる。量子化行列係数を行列係数（ｍａｔｒｉｘ ｃｏｅｆｆｉｃｉｅｎｔ）とも呼ぶことができる。
基本行列（Ｄｅｆａｕｌｔ Ｍａｔｒｉｘ）：符号化器と復号化器で予め定義されている所定の量子化行列を意味することができる。
非基本行列（Ｎｏｎ－ｄｅｆａｕｌｔ Ｍａｔｒｉｘ）：符号化器と復号化器で予め定義されず、ユーザによってシグナリングされる量子化行列を意味することができる。
統計値（ｓｔａｔｉｓｔｉｃ ｖａｌｕｅ）：演算可能な特定の値を有する変数、符号化パラメータ、定数などの少なくとも一つに対する統計値は、当該特定値の平均値、和値、重み付け平均値、重み付け和値、最小値、最大値、最頻値、中央値及び補間値のうちの少なくとも一つであり得る。
図１は本発明が適用される符号化装置の一実施形態による構成を示すブロック図である。
符号化装置１００は、エンコーダ、ビデオ符号化装置又は画像符号化装置であり得る。ビデオは、一つ以上の画像を含むことができる。符号化装置１００は、一つ以上の画像を順次符号化することができる。
図１を参照すると、符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０、及び参照ピクチャバッファ１９０を含むことができる。
符号化装置１００は、入力画像に対してイントラモード及び／又はインターモードで符号化を行うことができる。また、符号化装置１００は、入力画像に対する符号化を介して符号化された情報を含むビットストリームを生成することができ、生成されたビットストリームを出力することができる。生成されたビットストリームは、コンピュータ可読記録媒体に保存できるか、或いは有線／無線伝送媒体を介してストリミングできる。予測モードとしてイントラモードが使用される場合、スイッチ１１５はイントラに転換でき、予測モードとしてインターモードが使用される場合、スイッチ１１５はインターに転換できる。ここで、イントラモードは画面内予測モードを意味することができ、インターモードは画面間予測モードを意味することができる。符号化装置１００は、入力画像の入力ブロックに対する予測ブロックを生成することができる。また、符号化装置１００は、予測ブロックが生成された後、入力ブロック及び予測ブロックの差分（ｒｅｓｉｄｕａｌ）を用いて残余ブロックを符号化することができる。入力画像は、現在符号化の対象である現在画像と称されることもある。入力ブロックは、現在符号化の対象である現在ブロック或いは符号化対象ブロックと称されることもある。
予測モードがイントラモードである場合、イントラ予測部１２０は、現在ブロックの周辺に既に符号化／復号化されたブロックのサンプルを参照サンプルとしても用いることができる。イントラ予測部１２０は、参照サンプルを用いて現在ブロックに対する空間的予測を行うことができ、空間的予測を介して入力ブロックに対する予測サンプルを生成することができる。ここで、イントラ予測は画面内予測を意味することができる。
予測モードがインターモードである場合には、動き予測部１１１は、動き予測過程で参照画像から入力ブロックと最もよくマッチする領域を検索することができ、検索された領域を用いて動きベクトルを導出することができる。この際、前記領域として探索領域を使用することができる。参照画像は、参照ピクチャバッファ１９０に保存できる。ここで、参照画像に対する符号化／復号化が処理されたとき、参照ピクチャバッファ１９０に保存できる。
動き補償部１１２は、動きベクトルを用いる動き補償を行うことにより、現在ブロックに対する予測ブロックを生成することができる。ここで、インター予測は画面間予測或いは動き補償を意味することができる。
前記動き予測部１１１と動き補償部１１２は、動きベクトルの値が整数値を持たない場合に参照画像内の一部の領域に対して補間フィルタ（Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を適用して予測ブロックを生成することができる。画面間予測或いは動き補償を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニットの動き予測及び動き補償方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ ｍｏｄｅ）、向上した動きベクトル予測（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、ＡＭＶＰ）モード、及び現在ピクチャ参照モードのうちのいずれの方法であるかを判断することができ、各モードに応じて、画面間予測或いは動き補償を行うことができる。
減算器１２５は、入力ブロック及び予測ブロックの差分を用いて残余ブロックを生成することができる。残余ブロックは残余信号とも称される。残余信号は、原信号と予測信号との差（ｄｉｆｆｅｒｅｎｃｅ）を意味することができる。又は、残余信号は、原信号と予測信号との差を変換（ｔｒａｎｓｆｏｒｍ）するか、量子化するか、又は変換及び量子化することにより生成された信号であり得る。残余ブロックはブロック単位の残余信号であり得る。
変換部１３０は、残余ブロックに対して変換（ｔｒａｎｓｆｏｒｍ）を行って変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成することができ、生成された変換係数を出力することができる。ここで、変換係数は、残余ブロックに対する変換を行うことにより生成された係数値であり得る。変換省略（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）モードが適用される場合、変換部１３０は残余ブロックに対する変換を省略することもできる。
変換係数又は残余信号に量子化を適用することにより、量子化レベル（ｑｕａｎｔｉｚｅｄ ｌｅｖｅｌ）が生成できる。以下、実施形態では、量子化レベルも変換係数と称されることがある。
量子化部１４０は、変換係数又は残余信号を量子化パラメータに基づいて量子化することにより量子化レベルを生成することができ、生成された量子化レベルを出力することができる。このとき、量子化部１４０では、量子化行列を用いて変換係数を量子化することができる。
エントロピー符号化部１５０は、量子化部１４０で算出された値、又は符号化過程で算出された符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）値などに対して確率分布によるエントロピー符号化を行うことにより、ビットストリーム（ｂｉｔｓｔｒｅａｍ）を生成することができ、ビットストリームを出力することができる。エントロピー符号化部１５０は、画像のサンプルに関する情報及び画像の復号化のための情報に対するエントロピー符号化を行うことができる。例えば、画像の復号化のための情報は構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）などを含むことができる。
エントロピー符号化が適用される場合、高い発生確率を有するシンボル（ｓｙｍｂｏｌ）に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることにより、符号化対象シンボルに対するビット列のサイズが減少できる。エントロピー符号化部１５０は、エントロピー符号化のために指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などの符号化方法を使用することができる。例えば、エントロピー符号化部１５０は、可変長符号化（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ／Ｃｏｄｅ；ＶＬＣ）テーブルを用いてエントロピー符号化を行うことができる。また、エントロピー符号化部１５０は、対象シンボルの２値化（ｂｉｎａｒｉｚａｔｉｏｎ）方法及び対象シンボル／ビン（ｂｉｎ）の確率モデル（ｐｒｏｂａｂｉｌｉｔｙ ｍｏｄｅｌ）を導出した後、導出された２値化方法、確率モデル、コンテキストモデル（Ｃｏｎｔｅｘｔ Ｍｏｄｅｌ）を用いて算術符号化を行うこともできる。
エントロピー符号化部１５０は、変換係数レベル（量子化レベル）を符号化するために、変換係数スキャニング（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法を介して２次元のブロック形態（ｆｏｒｍ）係数を１次元のベクトルに変更することができる。
符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）は、構文要素のように符号化器で符号化されて復号化器へシグナリングされる情報（フラグ、インデックスなど）だけでなく、符号化過程或いは復号化過程で誘導される情報を含むことができ、画像を符号化又は復号化するときに必要な情報を意味することができる。例えば、ユニット／ブロックサイズ、ユニット／ブロック深さ、ユニット／ブロック分割情報、ユニット／ブロック形態、ユニット／ブロック分割構造、四分木分割か否か、二分木分割か否か、二分木分割の方向（横方向或いは縦方向）、二分木分割の形態（対称分割或いは非対称分割）、三分木分割か否か、三分木分割の方向（横方向或いは縦方向）、三分木分割の形態（対称分割或いは非対称分割）、複合型ツリー分割か否か、複合型ツリー分割の方向（横方向或いは縦方向）、複合型ツリー分割の形態（対称分割或いは非対称分割）、複合型ツリーの分割ツリー（二分木或いは三分木）、予測モード（画面内予測又は画面間予測）、画面内輝度予測モード／方向、画面内色差予測モード／方向、画面内分割情報、画面間分割情報、符号化ブロック分割フラグ、予測ブロック分割フラグ、変換ブロック分割フラグ、参照サンプルフィルタリング方法、参照サンプルフィルタタップ、参照サンプルフィルタ係数、予測ブロックフィルタリング方法、予測ブロックフィルタタップ、予測ブロックフィルタ係数、予測ブロック境界フィルタリング方法、予測ブロック境界フィルタタップ、予測ブロック境界フィルタ係数、画面内予測モード、画面間予測モード、動き情報、動きベクトル、動きベクトル差分、参照画像インデックス、画面間予測方向、画面間予測インジケータ、予測リスト活用フラグ、参照画像リスト、参照画像、動きベクトル予測インデックス、動きベクトル予測候補、動きベクトル候補リスト、マージモードの使用有無、マージインデックス、マージ候補、マージ候補リスト、スキップ（ｓｋｉｐ）モードの使用有無、補間フィルタの種類、補間フィルタタップ、補間フィルタ係数、動きベクトルのサイズ、動きベクトルの表現精度、変換種類、変換サイズ、１次変換の使用有無情報、２次変換の使用有無情報、１次変換インデックス、２次変換インデックス、残予信号有無情報、符号化ブロックパターン（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）、符号化ブロックフラグ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ）、量子化パラメータ、残余量子化パラメータ、量子化行列、画面内ループフィルタの適用か否か、画面内ループフィルタ係数、画面内ループフィルタタップ、画面内ループフィルタの形状／形態、デブロッキングフィルタの適用か否か、デブロッキングフィルタ係数、デブロッキングフィルタタップ、デブロッキングフィルタの強度、デブロッキングフィルタの形状／形態、適応的サンプルオフセットの適用か否か、適応的サンプルオフセット値、適応的サンプルオフセットのカテゴリー、適応的サンプルオフセットの種類、適応的ループフィルタの適用か否か、適応的ループフィルタ係数、適応的ループフィルタタップ、適応的ループフィルタの形状／形態、二値化／逆二値化方法、コンテキストモデル決定方法、コンテキストモデルアップデート方法、レギュラーモードの実行有無、バイパスモードの実行有無、コンテキストビン、バイパスビン、重要係数、フラグ、最後の重要係数フラグ、係数グループ単位符号化フラグ、最後の重要係数位置、係数値が１よりも大きいかに対するフラグ、係数値が２よりも大きいかに対するフラグ、係数値が３よりも大きいかに対するフラグ、残りの係数値情報、符号（ｓｉｇｎ）情報、復元された輝度サンプル、復元された色差サンプル、残余輝度サンプル、残余色差サンプル、輝度変換係数、色差変換係数、輝度量子化レベル、色差量子化レベル、変換係数レベルスキャニング方法、復号化器側面動きベクトル探索領域の大きさ、復号化器側面動きベクトル探索領域の形態、復号化器側面動きベクトル探索回数、ＣＴＵのサイズ情報、最小ブロックのサイズ情報、最大ブロックのサイズ情報、最大ブロックの深さ情報、最小ブロックの深さ情報、画像ディスプレイ／出力順序、スライス識別情報、スライスタイプ、スライス分割情報、タイル識別情報、タイルタイプ、タイル分割情報、タイルグループ識別情報、タイルグループタイプ、タイルグループ分割情報、ピクチャタイプ、入力サンプルビット深度、復元サンプルビット深度、残余サンプルビット深度、変換係数ビット深度、量子化レベルビット深度、輝度信号に対する情報、色差信号に対する情報のうちの少なくとも一つの値又は組み合わせ形態が符号化パラメータに含まれ得る。
ここで、フラグ或いはインデックスをシグナリング（ｓｉｇｎａｌｉｎｇ）するというのは、エンコーダでは該当フラグ或いはインデックスをエントロピー符号化（Ｅｎｔｒｏｐｙ Ｅｎｃｏｄｉｎｇ）してビットストリーム（Ｂｉｔｓｔｒｅａｍ）に含むことを意味することができ、デコーダではビットストリームから当該フラグ或いはインデックスをエントロピー復号化（Ｅｎｔｒｏｐｙ Ｄｅｃｏｄｉｎｇ）することを意味することができる。
符号化装置１００がインター予測を用いた符号化を行う場合、符号化された現在画像は、後で処理される他の画像に対する参照画像として使用できる。よって、符号化装置１００は、符号化された現在画像をさらに復元又は復号化することができ、復元又は復号化された画像を参照画像として参照ピクチャバッファ１９０に保存することができる。
量子化レベルは、逆量子化部１６０で逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）でき、逆変換部１７０で逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）できる。逆量子化及び／又は逆変換された係数は、加算器１７５を介して予測ブロックと合わせられ得る。逆量子化及び／又は逆変換された係数と予測ブロックとを合わせることにより、復元ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｂｌｏｃｋ）が生成できる。ここで、逆量子化及び／又は逆変換された係数は、逆量子化及び逆変換のうちの少なくとも一つが行われた係数を意味し、復元された残余ブロックを意味することができる。
復元ブロックはフィルタ部１８０を経ることができる。フィルタ部１８０は、デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応的オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ；ＳＡＯ）、適応的ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ；ＡＬＦ）などの少なくとも一つを復元サンプル、復元ブロック又は復元画像に適用することができる。フィルタ部１８０はインループフィルタ（ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ）とも称される。
デブロッキングフィルタは、ブロック間の境界から生じたブロック歪みを除去することができる。デブロッキングフィルタを行うか否かを判断するために、ブロックに含まれている幾つかの列又は行に含まれているサンプルに基づいて、現在ブロックにデブロッキングフィルタを適用するか否かを判断することができる。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度に応じて、互いに異なるフィルタを適用することができる。
サンプル適応的オフセットを用いて符号化エラーを補償するために、サンプル値に適正オフセット（ｏｆｆｓｅｔ）値を加えることができる。サンプル適応的オフセットは、デブロッキングを行った画像に対してサンプル単位で原本画像とのオフセットを補正することができる。画像に含まれているサンプルを一定数の領域に区分した後、オフセットを行うべき領域を決定し、該当領域にオフセットを適用する方法、又は各サンプルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。
適応的ループフィルタは、復元画像と原画像とを比較した値に基づいてフィルタリングを行うことができる。画像に含まれているサンプルを所定のグループに分けた後、当該グループに適用されるべきフィルタを決定してグループごとに差別的にフィルタリングを行うことができる。適応的ループフィルタを適用するか否かに関連した情報は、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）別にシグナリングでき、それぞれのブロックに応じて、適用される適応的ループフィルタの形状及びフィルタ係数は異なり得る。
フィルタ部１８０を経た復元ブロック又は復元画像は、参照ピクチャバッファ１９０に保存できる。フィルタ部１８０を経た復元ブロックは、参照画像の一部であり得る。いわば、参照画像は、フィルタ１８０を経た復元ブロックからなる復元画像であり得る。保存された参照画像は、以後、画面間予測或いは動き補償に使用できる。
図２は本発明が適用される復号化装置の一実施形態による構成を示すブロック図である。
復号化装置２００はデコーダ、ビデオ復号化装置又は画像復号化装置であり得る。
図２を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、加算器２５５、フィルタ部２６０、及び参照ピクチャバッファ２７０を含むことができる。
復号化装置２００は、符号化装置１００から出力されたビットストリームを受信することができる。復号化装置２００は、コンピュータ可読記録媒体に保存されたビットストリームを受信するか、或いは有線／無線伝送媒体を介してストリミングされるビットストリームを受信することができる。復号化装置２００は、ビットストリームに対してイントラモード又はインターモードで復号化を行うことができる。また、復号化装置２００は、復号化を介して復元された画像又は復号化された画像を生成することができ、復元された画像又は復号化された画像を出力することができる。
復号化に使用される予測モードがイントラモードである場合、スイッチがイントラに転換できる。復号化に使用される予測モードがインターモードである場合、スイッチがインターに転換できる。
復号化装置２００は、入力されたビットストリームを復号化し、復元された残余ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を取得することができ、予測ブロックを生成することができる。復元された残余ブロック及び予測ブロックが取得されると、復号化装置２００は、復元された残余ブロックと予測ブロックとを加算することにより、復号化の対象となる復元ブロックを生成することができる。復号化対象ブロックは現在ブロックと称されることもある。
エントロピー復号化部２１０は、ビットストリームに対する確率分布に基づくエントロピー復号化を行うことにより、シンボルを生成することができる。生成されたシンボルは、量子化レベル形態のシンボルを含むことができる。ここで、エントロピー復号化方法は、上述したエントロピー符号化方法の逆過程であり得る。
エントロピー復号化部２１０は、変換係数レベル（量子化レベル）を復号化するために、変換係数のスキャニング方法によって１次元のベクトル形態係数を２次元のブロック形態に変更することができる。
量子化レベルは、逆量子化部２２０で逆量子化でき、逆変換部２３０で逆変換できる。量子化レベルは、逆量子化及び／又は逆変換が行われた結果であって、復元された残余ブロックとして生成できる。このとき、逆量子化部２２０は、量子化レベルに量子化行列を適用することができる。
イントラモードが使用される場合、イントラ予測部２４０は、復号化対象ブロック周辺の、既に復号化されたブロックのサンプル値を用いる空間的予測を現在ブロックに対して行うことにより、予測ブロックを生成することができる。
インターモードが使用される場合、動き補償部２５０は、動きベクトル及び参照ピクチャバッファ２７０に保存されている参照画像を用いる動き補償を現在ブロックに対して行うことにより、予測ブロックを生成することができる。前記動き補償部２５０は、動きベクトルの値が整数値を持たない場合に参照画像内の一部の領域に対して補間フィルタを適用して予測ブロックを生成することができる。動き補償を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニットの動き補償方法がスキップモード、マージモード、ＡＭＶＰモード、及び現在ピクチャ参照モードのうちのいずれの方法であるかを判断することができ、各モードに応じて動き補償を行うことができる。
加算器２２５は、復元された残余ブロック及び予測ブロックを加算して復元ブロックを生成することができる。フィルタ部２６０は、デブロッキングフィルタ、サンプル適応的オフセット及び適応的ループフィルタのうちの少なくとも一つを復元ブロック又は復元画像に適用することができる。フィルタ部２６０は復元画像を出力することができる。復元ブロック又は復元画像は、参照ピクチャバッファ２７０に保存されてインター予測に使用できる。フィルタ部２６０を経た復元ブロックは、参照画像の一部であり得る。いわば、参照画像は、フィルタ部２６０を経た復元ブロックからなる復元画像であり得る。保存された参照画像は、以後、画面間予測或いは動き補償に使用できる。
図３は画像を符号化及び復号化するときの画像の分割構造を示す概略図である。図３は一つのユニットが複数のサブユニットに分割される実施形態を概略的に示す。
画像を効率よく分割するために、符号化及び復号化において、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）が使用できる。画像符号化／復号化の基本単位として符号化ユニットが使用できる。また、画像符号化／復号化の際に、画面内予測モード及び画面間予測モードが区分される単位で符号化ユニットを使用することができる。符号化ユニットは、予測、変換、量子化、逆変換、逆量子化、又は変換係数の符号化／復号化の過程のために使用される基本単位であり得る。
図３を参照すると、画像３００は、最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＬＣＵ）単位で順次分割され、ＬＣＵ単位で分割構造が決定される。ここで、ＬＣＵは、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ；ＣＴＵ）と同一の意味で使用できる。ユニットの分割は、ユニットに該当するブロックの分割を意味することができる。ブロック分割情報には、ユニットの深さ（ｄｅｐｔｈ）に関する情報が含まれ得る。深さ情報は、ユニットが分割される回数及び／又は程度を示すことができる。一つのユニットは、ツリー構造（ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）に基づいて深さ情報をもって階層的に複数のサブユニットに分割できる。いわば、ユニット及び該ユニットの分割によって生成されたサブユニットは、ノード及び該ノードの子ノードにそれぞれ対応することができる。それぞれの分割されたサブユニットは、深さ情報を持つことができる。深さ情報は、ＣＵの大きさを示す情報であり、ＣＵごとに保存できる。ユニット深さは、ユニットが分割された回数及び／又は程度を示すので、サブユニットの分割情報は、サブユニットの大きさに関する情報を含むこともできる。
分割構造は、ＣＴＵ３１０内での符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）の分布を意味することができる。このような分布は、一つのＣＵを複数（２、４、８、１６などを含む２以上の正の整数）のＣＵに分割するか否かによって決定することができる。分割により生成されたＣＵの横幅と縦幅は、それぞれ分割前のＣＵの横幅の半分及び縦幅の半分であるか、分割された個数に応じて分割前のＣＵの横幅よりも小さいサイズ及び縦幅よりも小さいサイズを持つことができる。ＣＵは複数のＣＵに再帰的に分割できる。再帰的分割によって、分割されたＣＵの横幅及び縦幅のうちの少なくとも一つのサイズが分割前のＣＵの横幅及び縦幅のうちの少なくとも一つに比べて減少できる。ＣＵの分割は、予め定義された深さ又は予め定義されたサイズまで再帰的に行われ得る。例えば、ＣＴＵの深さは０であり、最小符号化ユニット（Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＳＣＵ）の深さは予め定義された最大深さであり得る。ここで、ＣＴＵは、上述したように、最大の符号化ユニットサイズを持つ符号化ユニットであり、ＳＣＵは、最小の符号化ユニットのサイズを持つ符号化ユニットであり得る。ＣＴＵ３１０から分割が始まり、分割によってＣＵの横幅及び／又は縦幅が減少するたびに、ＣＵの深さは１ずつ増加する。例えば、それぞれの深さ別に、分割されないＣＵは２Ｎ×２Ｎサイズを有することができる。また、分割されるＣＵの場合、２Ｎ×２ＮサイズのＣＵが、Ｎ×Ｎサイズを有する４つのＣＵに分割できる。Ｎのサイズは深さが１ずつ増加するたびに半分に減少することができる。
また、ＣＵが分割されるか否かに対する情報は、ＣＵの分割情報を介して表現できる。分割情報は１ビットの情報であり得る。ＳＣＵを除いた全てのＣＵは、分割情報を含むことができる。例えば、分割情報の値が第１の値であれば、ＣＵが分割されなくてもよく、分割情報の値が第２の値であれば、ＣＵが分割されてもよい。
図３を参照すると、深さ０のＣＴＵは６４×６４ブロックであり得る。０は最小深さであり得る。深さ３のＳＣＵは８×８ブロックであり得る。３は最大深さであり得る。３２×３２ブロック及び１６×１６ブロックのＣＵはそれぞれ深さ１及び深さ２で表現できる。
例えば、一つの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットの横幅及び縦幅は、分割される前の符号化ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２×３２サイズの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットはそれぞれ１６×１６のサイズを持つことができる。一つの符号化ユニットが４つの符号化ユニットに分割される場合、符号化ユニットは四分木（ｑｕａｄ－ｔｒｅｅ）状に分割（四分木分割、ｑｕａｄ－ｔｒｅｅ ｐａｒｔｉｔｉｏｎ）されたといえる。
例えば、一つの符号化ユニットが２つの符号化ユニットに分割される場合、分割された２つの符号化ユニットの横幅或いは縦幅は、分割される前の符号化ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２×３２サイズの符号化ユニットが２つの符号化ユニットに縦分割される場合、分割された２つの符号化ユニットは、それぞれ１６×３２のサイズを有することができる。一例として、８×３２サイズの符号化ユニットが２つの符号化ユニットに横分割される場合、分割された２つの符号化ユニットは、それぞれ８×１６のサイズを有することができる。一つの符号化ユニットが２つの符号化ユニットに分割される場合、符号化ユニットは二分木（ｂｉｎａｒｙ－ｔｒｅｅ）状に分割（二分木分割、ｂｉｎａｒｙ－ｔｒｅｅ ｐａｒｔｉｔｉｏｎ）されたといえる。
例えば、一つの符号化ユニットが３つの符号化ユニットに分割される場合、分割される前に符号化ユニットの横幅或いは縦幅を１：２：１の比率で分割することにより、３つの符号化ユニットに分割することができる。一例として、１６ｘ３２サイズの符号化ユニットが３つの符号化ユニットに横分割される場合、分割された３つの符号化ユニットは、上側からそれぞれ１６ｘ８、１６ｘ１６及び１６ｘ８のサイズを有することができる。一例として、３２ｘ３２サイズの符号化ユニットが３つの符号化ユニットに縦分割される場合、分割された３つの符号化ユニットは、左側からそれぞれ８ｘ３２、１６ｘ３２及び８ｘ３２のサイズを有することができる。一つの符号化ユニットが３つの符号化ユニットに分割される場合、符号化ユニットは、三分木（ｔｅｒｎａｒｙ－ｔｒｅｅ）状に分割（三分木分割、ｔｅｒｎａｒｙ－ｔｒｅｅ ｐａｒｔｉｔｉｏｎ）されたといえる。
図３のＣＴＵ３２０は、四分木分割、二分木分割及び三分木分割が全て適用されたＣＴＵの一例である。
前述したように、ＣＴＵを分割するために、四分木分割、二分木分割及び三分木分割のうちの少なくとも一つが適用できる。それぞれの分割は、所定の優先順位に基づいて適用できる。例えば、ＣＴＵに対して四分木分割が優先的に適用できる。それ以上四分木分割できない符号化ユニットは、四分木のリーフノードに該当することができる。四分木のリーフノードに該当する符号化ユニットは、二分木及び／又は三分木のルートノードになることができる。つまり、四分木のリーフノードに該当する符号化ユニットは、二分木分割されるか、三分木分割されるか、或いはそれ以上分割できない。このとき、四分木のリーフノードに該当する符号化ユニットを二分木分割又は三分木分割して生成された符号化ユニットに対しては、再び四分木分割が行われないようにすることにより、ブロックの分割及び／又は分割情報のシグナリングを効果的に行うことができる。
四分木の各ノードに該当する符号化ユニットの分割は、クワッド分割情報を用いてシグナリングできる。第１の値（例えば、「１」）を有するクワッド分割情報は、該当符号化ユニットが四分木分割されることを指示することができる。第２の値（例えば、「０」）を有するクワッド分割情報は、当該符号化ユニットが四分木分割されないことを指示することができる。クワッド分割情報は、所定の長さ（例えば、１ビット）を有するフラグであり得る。
二分木分割と三分木分割との間には、優先順位が存在しないこともある。つまり、四分木のリーフノードに該当する符号化ユニットは、二分木分割又は三分木分割できる。また、二分木分割又は三分木分割により生成された符号化ユニットは、再び二分木分割又は三分木分割されるか、或いはそれ以上分割できない。
二分木分割と三分木分割との間に優先順位が存在しない場合の分割は、複合型ツリー分割（ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ ｐａｒｔｉｔｉｏｎ）と呼ぶことがある。すなわち、四分木のリーフノードに該当する符号化ユニットは、複合型ツリー（ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）のルートノードになることができる。複合型ツリーの各ノードに該当する符号化ユニットの分割は、複合型ツリーの分割か否かの情報、分割方向情報及び分割ツリー情報のうちの少なくとも一つを用いてシグナリングできる。前記複合型ツリーの各ノードに該当する符号化ユニットの分割のために、分割か否かの情報、分割方向情報及び分割ツリー情報が順次シグナリングされてもよい。
第１の値（例えば、「１」）を有する複合型ツリーの分割か否かの情報は、当該符号化ユニットが複合型ツリー分割されることを指示することができる。第２の値（例えば、「０」）を有する複合型ツリーの分割か否かの情報は、該当符号化ユニットが複合型ツリー分割されないことを指示することができる。
複合型ツリーの各ノードに該当する符号化ユニットが複合型ツリー分割される場合、当該符号化ユニットは、分割方向情報をさらに含むことができる。分割方向情報は、複合型ツリー分割の分割方向を指示することができる。第１の値（例えば、「１」）を有する分割方向情報は、当該符号化ユニットが縦方向に分割されることを指示することができる。第２の値（例えば、「０」）を有する分割方向情報は、当該符号化ユニットが横方向に分割されることを指示することができる。
複合型ツリーの各ノードに該当する符号化ユニットが複合型ツリー分割される場合、当該符号化ユニットは、分割ツリー情報をさらに含むことができる。分割ツリー情報は、複合型ツリー分割のために使用されたツリーを指示することができる。第１の値（例えば、「１」）を有する分割ツリー情報は、当該符号化ユニットが二分木分割されることを指示することができる。第２の値（例えば、「０」）を有する分割ツリー情報は、当該符号化ユニットが三分木分割されることを指示することができる。
分割か否かの情報、分割ツリー情報及び分割方向情報は、それぞれ所定の長さ（例えば、１ビット）を有するフラグであり得る。
クワッド分割情報、複合型ツリーの分割か否かの情報、分割方向情報及び分割ツリー情報のうちの少なくとも一つは、エントロピー符号化／復号化できる。前記情報のエントロピー符号化／復号化のために、現在符号化ユニットに隣接する周辺符号化ユニットの情報が利用できる。例えば、左側符号化ユニット及び／又は上側符号化ユニットの分割形態（分割か否か、分割ツリー及び／又は分割方向）は、現在符号化ユニットの分割形態に類似する確率が高い。よって、周辺符号化ユニットの情報に基づいて、現在符号化ユニットの情報のエントロピー符号化／復号化のためのコンテキスト情報を誘導することができる。このとき、周辺符号化ユニットの情報には、当該符号化ユニットのクワッド分割情報、複合型ツリーの分割か否かの情報、分割方向情報及び分割ツリー情報のうちの少なくとも一つが含まれ得る。
他の実施形態として、二分木分割と三分木分割のうち、二分木分割が優先的に実行できる。すなち、二分木分割が先に適用され、二分木のリーフノードに該当する符号化ユニットを三分木のルートノードとして設定することもできる。この場合、三分割木のノードに該当する符号化ユニットに対しては、四分木分割及び二分木分割が行われないことがある。
四分木分割、二分木分割及び／又は三分木分割によってそれ以上分割されない符号化ユニットは、符号化、予測及び／又は変換の単位になることができる。すなわち、予測及び／又は変換のために符号化ユニットがそれ以上分割されないことがある。したがって、符号化ユニットを予測ユニット及び／又は変換ユニットに分割するための分割構造、分割情報などがビットストリームに存在しないことがある。
ただし、分割の単位となる符号化ユニットのサイズが最大変換ブロックのサイズよりも大きい場合、該当符号化ユニットは、最大変換ブロックのサイズと同じか或いは小さいサイズになるまで再帰的に分割できる。例えば、符号化ユニットのサイズが６４ｘ６４であり、最大変換ブロックのサイズが３２ｘ３２である場合、前記符号化ユニットは、変換のために、４つの３２ｘ３２ブロックに分割できる。例えば、符号化ユニットのサイズが３２ｘ６４であり、最大変換ブロックのサイズが３２ｘ３２である場合、前記符号化ユニットは、変換のために、２つの３２ｘ３２ブロックに分割できる。この場合には、変換のための符号化ユニットの分割か否かは、別にシグナリングされず、前記符号化ユニットの横又は縦と最大変換ブロックの横又は縦との比較によって決定できる。例えば、符号化ユニットの横が最大変換ブロックの横よりも大きい場合、符号化ユニットは、縦に２等分できる。また、符号化ユニットの縦が最大変換ブロックの縦よりも大きい場合、符号化ユニットは横方向に２等分できる。
符号化ユニットの最大及び／又は最小サイズに関する情報、変換ブロックの最大及び／又は最小サイズに関する情報は、符号化ユニットの上位レベルでシグナリング又は決定できる。前記上位レベルは、例えば、シーケンスレベル、ピクチャレベル、スライスレベル、タイルグループレベル、タイルレベルなどであってもよい。例えば、符号化ユニットの最小サイズは４ｘ４と決定されてもよい。例えば、変換ブロックの最大サイズは６４ｘ６４と決定されてもよい。例えば、変換ブロックの最小サイズは４ｘ４と決定されてもよい。
四分木のリーフノードに該当する符号化ユニットの最小サイズ（四分木の最小サイズ）に関する情報、及び／又は複合型ツリーのルートノードからリーフノードに至る最大深さ（複合型ツリーの最大深さ）に関する情報は、符号化ユニットの上位レベルでシグナリング又は決定できる。前記上位レベルは、例えば、シーケンスレベル、ピクチャレベル、スライスレベル、タイルグループレベル、タイルレベルなどであってもよい。前記四分木の最小サイズに関する情報、及び／又は前記複合型ツリーの最大深さに関する情報は、画面内スライスと画面間スライスのそれぞれに対してシグナリング又は決定できる。
ＣＴＵのサイズと変換ブロックの最大サイズに関する差分情報は、符号化ユニットの上位レベルでシグナリング又は決定できる。前記上位レベルは、例えば、シーケンスレベル、ピクチャレベル、スライスレベル、タイルグループレベル、タイルレベルなどであってもよい。二分木の各ノードに該当する符号化ユニットの最大サイズ（二分木の最大サイズ）に関する情報は、符号化ツリーユニットの大きさと前記差分情報に基づいて決定できる。三分木の各ノードに該当する符号化ユニットの最大サイズ（三分木の最大サイズ）は、スライスのタイプによって異なる値を持つことができる。例えば、画面内スライスである場合には、三分木の最大サイズは３２ｘ３２であってもよい。また、例えば、画面間スライスである場合には、三分木の最大サイズは１２８ｘ１２８であってもよい。例えば、二分木の各ノードに該当する符号化ユニットの最小サイズ（二分木の最小サイズ）及び／又は三分木の各ノードに該当する符号化ユニットの最小サイズ（三分木の最小サイズ）は、符号化ブロックの最小サイズとして設定できる。
別の例として、二分木の最大サイズ及び／又は三分木の最大サイズは、スライスレベルでシグナリング又は決定できる。また、二分木の最小サイズ及び／又は三分木の最小サイズは、スライスレベルでシグナリング又は決定できる。
前述した様々なブロックのサイズ及び深さ情報に基づいて、クワッド分割情報、複合型ツリーの分割か否かの情報、分割ツリー情報及び／又は分割方向情報などがビットストリームに存在しても存在しなくてもよい。
例えば、符号化ユニットのサイズが四分木の最小サイズよりも大きくなければ、前記符号化ユニットはクワッド分割情報を含まず、当該クワッド分割情報は第２の値に推論できる。
例えば、複合型ツリーのノードに該当する符号化ユニットのサイズ（横及び縦）が二分木の最大サイズ（横及び縦）、及び／又は三分木の最大サイズ（横及び縦）よりも大きい場合、前記符号化ユニットは、二分木分割及び／又は三分木分割されないことがある。それにより、前記複合型ツリーの分割か否かの情報は、シグナリングされず、第２の値に推論できる。
又は、複合型ツリーのノードに該当する符号化ユニットのサイズ（横及び縦）が二分木の最小サイズ（横及び縦）と同じであるか、或いは符号化ユニットのサイズ（横及び縦）が三分木の最小サイズ（横及び縦）の二倍と同じである場合、前記符号化ユニットは、二分木分割及び／又は三分木分割されないことがある。それにより、前記複合型ツリーの分割か否かの情報は、シグナリングされず、第２の値に推論できる。なぜなら、前記符号化ユニットを二分木分割及び／又は三分木分割する場合は、二分木の最小サイズ及び／又は三分木の最小サイズよりも小さい符号化ユニットが生成されるためである。
又は、複合型ツリーのノードに該当する符号化ユニットの複合型ツリー内の深さが複合型ツリーの最大深さと同じである場合、前記符号化ユニットは、二分木分割及び／又は三分木分割されないことがある。それにより、前記複合型ツリーの分割か否かの情報は、シグナリングされず、第２の値に推論できる。
又は、複合型ツリーのノードに該当する符号化ユニットに対して垂直方向の二分木分割、水平方向の二分木分割、垂直方向の三分木分割及び水平方向の三分木分割のうちの少なくとも一つが可能である場合にのみ、前記複合型ツリーの分割か否かの情報をシグナリングすることができる。そうでない場合、前記符号化ユニットは、二分木分割及び／又は三分木分割されないことがある。それにより、前記複合型ツリーの分割か否かの情報は、シグナリングされず、第２の値に推論できる。
又は、複合型ツリーのノードに該当する符号化ユニットに対して垂直方向の二分木分割と水平方向の二分木分割が全て可能であるか、或いは垂直方向の三分木分割と水平方向の三分木分割が全て可能である場合にのみ、前記分割方向の情報をシグナリングすることができる。そうでない場合、前記分割方向情報は、シグナリングされず、分割が可能な方向を指示する値に推論できる。
又は、複合型ツリーのノードに該当する符号化ユニットに対して垂直方向の二分木分割と垂直方向の三分木分割が全て可能であるか、或いは水平方向の二分木分割と水平方向の三分木分割が全て可能である場合にのみ、前記分割ツリー情報をシグナリングすることができる。そうでない場合、前記分割ツリー情報は、シグナリングされず、分割が可能なツリーを指示する値に推論できる。
図４は画面内予測過程の実施形態を説明するための図である。
図４の中心から外郭への矢印は、画面内予測モードの予測方向を示すことができる。
画面内符号化及び／又は復号化は、現在ブロックの周辺ブロックの参照サンプルを用いて行われ得る。周辺ブロックは、復元された周辺ブロックであり得る。例えば、画面内符号化及び／又は復号化は、復元された周辺ブロックが含む参照サンプルの値又は符号化パラメータを用いて行われ得る。
予測ブロックは、画面内予測の実行の結果として生成されたブロックを意味することができる。予測ブロックは、ＣＵ、ＰＵ及びＴＵのうちの少なくとも一つに該当することができる。予測ブロックの単位は、ＣＵ、ＰＵ及びＴＵのうちの少なくとも一つの大きさであり得る。予測ブロックは、２×２、４×４、１６×１６、３２×３２又は６４×６４などのサイズを有する正方形形状のブロックであってもよく、２×８、４×８、２×１６、４×１６及び８×１６などのサイズを有する長方形形状のブロックであってもよい。
画面内予測は、現在ブロックに対する画面内予測モードに応じて行われ得る。現在ブロックが持つことができる画面内予測モードの個数は、所定の固定値であり、予測ブロックの属性に応じて異なるように決定された値であり得る。例えば、予測ブロックの属性は、予測ブロックの大きさ及び予測ブロックの形状などを含むことができる。
画面内予測モードの個数は、ブロックの大きさに関係なく、Ｎ個に固定できる。又は、例えば、画面内予測モードの個数は、３、５、９、１７、３４、３５、３６、６５、又は６７などであり得る。又は、画面内予測モードの個数は、ブロックの大きさ及び／又は色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）のタイプによって異なり得る。例えば、色成分が輝度（ｌｕｍａ）信号であるか、色差（ｃｈｒｏｍａ）信号であるかによって、画面内予測モードの個数が異なり得る。例えば、ブロックの大きさが大きくなるほど画面内予測モードの個数は多くなり得る。又は、輝度成分ブロックの画面内予測モードの個数は、色差成分ブロックの画面内予測モードの個数よりも多いことがある。
画面内予測モードは、非方向性モード又は方向性モードであり得る。非方向性モードは、ＤＣモード又はプランナー（Ｐｌａｎａｒ）モードであり得る。方向性モード（ａｎｇｕｌａｒ ｍｏｄｅ）は、特定の方向又は角度を持つ予測モードであり得る。前記画面内予測モードは、モード番号、モード値、モード数字、モード角度及びモード方向のうちの少なくとも一つで表現できる。画面内予測モードの個数は、前記非方向性及び方向性モードを含む一つ以上のＭ個であり得る。
現在ブロックを画面内予測するために復元された周辺ブロックに含まれるサンプルが現在ブロックの参照サンプルとして利用可能であるか否かを検査するステップが行われ得る。現在ブロックの参照サンプルとして利用不可能なサンプルが存在する場合、復元された周辺ブロックに含まれているサンプルのうちの少なくとも一つのサンプル値をコピー及び／又は補間した値を用いて、参照サンプルとして利用不可能なサンプルのサンプル値と置き換えた後、現在ブロックの参照サンプルとして利用可能である。
画面内予測時の画面内予測モード及び現在ブロックの大きさのうちの少なくとも一つに基づいて、参照サンプル又は予測サンプルのうちの少なくとも一つにフィルタを適用することができる。
プランナーモードの場合には、現在ブロックの予測ブロックを生成するとき、予測対象サンプルの予測ブロック内の位置に基づいて、現在サンプルの上側及び左側参照サンプル、現在ブロックの右上側及び左下側参照サンプルの重み付け和を用いて、予測対象サンプルのサンプル値を生成することができる。また、ＤＣモードの場合には、現在ブロックの予測ブロックを生成するとき、現在ブロックの上側及び左側参照サンプルの平均値を用いることができる。また、方向性モードの場合には、現在ブロックの上側、左側、右上側及び／又は左下側参照サンプルを用いて予測ブロックを生成することができる。予測サンプル値を生成するために、実数単位の補間を行うこともできる。
現在ブロックの画面内予測モードは、現在ブロックの周辺に存在するブロックの画面内予測モードから予測してエントロピー符号化／復号化することができる。現在ブロックと周辺ブロックの画面内予測モードが同一であれば、所定のフラグ情報を用いて、現在ブロックと周辺ブロックの画面内予測モードが同一であるという情報をシグナリングすることができる。また、複数の周辺ブロックの画面内予測モードのうち、現在ブロックの画面内予測モードと同じ画面内予測モードに対するインジケータ情報をシグナリングすることができる。現在ブロックと周辺ブロックの画面内予測モードが互いに異なる場合、周辺ブロックの画面内予測モードに基づいてエントロピー符号化／復号化を行うことにより、現在ブロックの画面内予測モード情報をエントロピー符号化／復号化することができる。
図５は画面間予測過程の実施形態を説明するための図である。
図５に示された四角形は画像を示すことができる。また、図４における矢印は、予測方向を示すことができる。各画像は、符号化タイプによってＩピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉ－ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）などに分類できる。
Ｉピクチャは、画面間予測なしに、画面内予測を介して符号化／復号化できる。Ｐピクチャは、一方向（例えば、順方向又は逆方向）に存在する参照画像のみを利用する画面間予測を介して符号化／復号化できる。Ｂピクチャは、双方向（例えば、順方向及び逆方向）に存在する参照画像を利用する画面間予測を介して符号化／復号化できる。また、Ｂピクチャの場合、双方向に存在する参照画像を利用する画面間予測、又は順方向及び逆方向のうちの一方向に存在する参照画像を利用する画面間予測を介して符号化／復号化できる。ここで、双方向は順方向及び逆方向であり得る。ここで、画面間予測が使用される場合、符号化器では画面間予測或いは動き補償を行うことができ、復号化器ではそれに対応する動き補償を行うことができる。
以下、実施形態による画面間予測について具体的に説明される。
画面間予測或いは動き補償は、参照画像及び動き情報を用いて行われ得る。
現在ブロックに対する動き情報は、符号化装置１００及び復号化装置２００のそれぞれによって画面間予測中に導出できる。動き情報は、復元された周辺ブロックの動き情報、コロケーテッドブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ；ｃｏｌ ｂｌｏｃｋ）の動き情報及び／又はコロケーテッドブロックに隣接するブロックを用いて導出できる。コロケーテッドブロックは、既に復元されたコロケーテッドピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ；ｃｏｌ ｐｉｃｔｕｒｅ）内で現在ブロックの空間的位置に対応するブロックであり得る。ここで、コロケーテッドピクチャは参照画像リストに含まれている少なくとも一つの参照画像のうちの一つのピクチャであり得る。
動き情報の導出方式は、現在ブロックの予測モードによって異なり得る。例えば、画面間予測のために適用される予測モードとして、ＡＭＶＰモード、マージモード、スキップモード、現在ピクチャ参照モードなどがあり得る。ここで、マージモードを動きマージモード（ｍｏｔｉｏｎ ｍｅｒｇｅ ｍｏｄｅ）と呼ぶこともある。
例えば、予測モードとしてＡＭＶＰが適用される場合、復元された周辺ブロックの動きベクトル、コロケーテッドブロックの動きベクトル、コロケーテッドブロックに隣接するブロックの動きベクトル、及び（０，０）動きベクトルのうちの少なくとも一つを動きベクトル候補として決定して、動きベクトル候補リスト（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を生成することができる。生成された動きベクトル候補リストを用いて動きベクトル候補を誘導することができる。誘導された動きベクトル候補に基づいて、現在ブロックの動き情報を決定することができる。ここで、コロケーテッドブロックの動きベクトル又はコロケーテッドブロックに隣接するブロックの動きベクトルを時間動きベクトル候補（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ）と呼ぶことがあり、復元された周辺ブロックの動きベクトルを空間動きベクトル候補（ｓｐａｔｉａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ ）と呼ぶことがある。
符号化装置１００は、現在ブロックの動きベクトルと動きベクトル候補との動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を計算することができ、ＭＶＤをエントロピー符号化することができる。また、符号化装置１００は、動きベクトル候補インデックスをエントロピー符号化してビットストリームを生成することができる。動きベクトル候補インデックスは、動きベクトル候補リストに含まれている動きベクトル候補の中から選択された最適な動きベクトル候補を指示することができる。復号化装置２００は、動きベクトル候補インデックスをビットストリームからエントロピー復号化し、エントロピー復号化された動きベクトル候補インデックスを用いて、動きベクトル候補リストに含まれている動きベクトル候補の中から復号化対象ブロックの動きベクトル候補を選択することができる。また、復号化装置２００は、エントロピー復号化されたＭＶＤと動きベクトル候補との和を用いて復号化対象ブロックの動きベクトルを導出することができる。
ビットストリームは、参照画像を指示する参照画像インデックスなどを含むことができる。参照画像インデックスは、エントロピー符号化されてビットストリームを介して符号化装置１００から復号化装置２００へシグナリングできる。復号化装置２００は、誘導された動きベクトルと参照画像インデックス情報に基づいて復号化対象ブロックに対する予測ブロックを生成することができる。
動き情報の導出方式の他の例として、マージモードがある。マージモードとは、複数のブロックに対する動きの併合を意味することができる。マージモードは、現在ブロックの動き情報を周辺ブロックの動き情報から誘導するモードを意味することができる。マージモードが適用される場合、復元された周辺ブロックの動き情報及び／又はコロケーテッドブロックの動き情報を用いて、マージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を生成することができる。動き情報は、１）動きベクトル、２）参照画像インデックス、及び３）画面間予測インジケータのうちの少なくとも一つを含むことができる。予測インジケータは、一方向（Ｌ０予測、Ｌ１予測）又は双方向であり得る。
マージ候補リストは、動き情報が保存されたリストを示すことができる。マージ候補リストに保存される動き情報は、現在ブロックに隣接する周辺ブロックの動き情報（空間マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ））、参照画像における、現在ブロックに対応する（ｃｏｌｌｏｃａｔｅｄ）ブロックの動き情報（時間マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ））、既にマージ候補リストに存在する動き情報の組み合わせによって生成された新しい動き情報及びゼロマージ候補のうちの少なくとも一つであり得る。
符号化装置１００は、マージフラグ（ｍｅｒｇｅ ｆｌａｇ）及びマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）のうちの少なくとも一つをエントロピー符号化してビットストリームを生成した後、復号化装置２００へシグナリングすることができる。マージフラグは、ブロック別にマージモードを行うか否かを示す情報であり、マージインデックスは、現在ブロックに隣接する周辺ブロックのうちのどのブロックとマージを行うかについての情報であり得る。例えば、現在ブロックの周辺ブロックは、現在ブロックの左側隣接ブロック、上側隣接ブロック及び時間的隣接ブロックのうちの少なくとも一つを含むことができる。
スキップモードは、周辺ブロックの動き情報をそのまま現在ブロックに適用するモードであり得る。スキップモードが使用される場合、符号化装置１００は、どのブロックの動き情報を現在ブロックの動き情報として用いるかについての情報をエントロピー符号化してビットストリームを介して復号化装置２００へシグナリングすることができる。このとき、符号化装置１００は、動きベクトル差分情報、符号化ブロックフラグ及び変換係数レベル（量子化レベル）のうちの少なくとも一つに関する構文要素を復号化装置２００へシグナリングしなくてもよい。
現在ピクチャ参照モードは、現在ブロックが属する現在ピクチャ内の既に復元された領域を用いた予測モードを意味することができる。この際、前記既に復元された領域を特定するために、ベクトルが定義できる。現在ブロックが現在ピクチャ参照モードで符号化されるか否かは、現在ブロックの参照画像インデックスを用いて符号化できる。現在ブロックが現在ピクチャ参照モードで符号化されたブロックであるか否かを示すフラグ或いはインデックスがシグナリングされてもよく、現在ブロックの参照画像インデックスを用いて類推されてもよい。現在ブロックが現在ピクチャ参照モードで符号化された場合、現在ピクチャは、現在ブロックのための参照画像リスト内で固定位置又は任意の位置に追加できる。前記固定位置は、例えば、参照画像インデックスが０である位置又は最後の位置であり得る。現在ピクチャが参照画像リスト内で任意の位置に追加される場合、前記任意の位置を示す別途の参照画像インデックスがシグナリングされてもよい。
図６は変換及び量子化の過程を説明するための図である。
図６に示すように、残余信号に変換及び／又は量子化過程を行うことにより、量子化されたレベルが生成できる。前記残余信号は、原本ブロックと予測ブロック（画面内予測ブロック或いは画面間予測ブロック）間の差分で生成できる。ここで、予測ブロックは、画面内予測又は画面間予測によって生成されたブロックであり得る。ここで、変換は、１次変換及び２次変換のうちの少なくとも一つを含むことができる。残余信号に対して１次変換を行うと、変換係数が生成でき、変換係数に２次変換を行うことにより、２次変換係数が生成できる。
１次変換（Ｐｒｉｍａｒｙ Ｔｒａｎｓｆｏｒｍ）は、所定の複数の変換方法のうちの少なくとも一つを用いて行われ得る。一例として、所定の複数の変換方法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又はＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）ベースの変換などを含むことができる。１次変換が行われた後に生成される変換係数に２次変換（Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）を行うことができる。１次変換及び／又は二次変換の際に適用される変換方法は、現在ブロック及び／又は周辺ブロックの符号化パラメータのうちの少なくとも一つに基づいて決定できる。又は、変換方法を指示する変換情報がシグナリングされてもよい。
１次変換及び／又は２次変換が行われた結果又は残余信号に量子化を行うことにより、量子化レベルを生成することができる。量子化レベルは、画面内予測モード又はブロックの大きさ／形状のうちの少なくとも一つに基づいて右上側対角スキャン、垂直スキャン、水平スキャンのうちの少なくとも一つによってスキャニング（ｓｃａｎｎｉｎｇ）できる。例えば、右上側（ｕｐ－ｒｉｇｈｔ）対角スキャニングを用いてブロックの係数をスキャンすることにより、１次元ベクトル形式に変更させることができる。変換ブロックの大きさ及び／又は画面内予測モードに応じて、右上側対角スキャンの代わりに、２次元のブロック形状係数を列方向にスキャンする垂直スキャン、２次元のブロック形状係数を行方向にスキャンする水平スキャンが使用されてもよい。スキャニングされた量子化レベルは、エントロピー符号化されてビットストリームに含まれ得る。
復号化器では、ビットストリームをエントロピー復号化して量子化レベルを生成することができる。量子化レベルは、逆スキャニング（Ｉｎｖｅｒｓｅ Ｓｃａｎｎｉｎｇ）されて２次元のブロック形状に整列できる。この時、逆スキャニングの方法として、右上側対角スキャン、垂直スキャン及び水平スキャンのうち少なくとも一つが行われ得る。
量子化レベルに逆量子化を行うことができ、２次逆変換の実行有無に応じて２次逆変換を行うことができ、２次逆変換が行われた結果に１次逆変換の実行有無に応じて１次逆変換を行うことにより、復元された残余信号が生成できる。
以下、図７乃至図５５ｄを参照して、本発明の一実施形態に係る副標本ベースのブロック分類を用いたループ内フィルタリング方法について後述する。
本発明において、ループ内フィルタリング（ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）は、デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒｉｎｇ）、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、双方向フィルタリング（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ）、及び適応的ループ内フィルタリング（ａｄａｐｔｉｖｅ ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）のうちの少なくとも一つを含むことができる。
画面内／画面間予測ブロックと復元された残余ブロックとを合わせて生成された復元画像に、前記デブロッキングフィルタリングと前記サンプル適応的オフセットのうちの少なくとも一つを行うことにより、復元画像内に存在するブロッキング現象（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）とリンギング（ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔ）を効果的に減少させることができる。しかし、デブロッキングフィルタは、ブロックの境界に対して縦方向のフィルタリング及び横方向のフィルタリングを行うことにより、ブロック間の境界で発生するブロッキング現象を減少させることに目的があるが、デブロッキングフィルタは、ブロック境界のフィルタリング時に原本画像と復元画像との歪みを最小化することはできないという欠点がある。また、サンプル適応的オフセットは、リンギング現象の減少のために画素単位で隣接する画素との画素値の比較を経て、特定の画素にオフセットを加えたり、画素値が特定の範囲に属する画素に対してオフセットを加えたりする方法であり、サンプル適応的オフセットは、レート－歪み最適化を用いて、原本画像と復元画像との歪みを一部最小化するが、原本画像と復元画像との歪みの差が大きい場合には、歪み最小化の観点で限界が存在する。
前記双方向フィルタリングは、フィルタリングが行われる領域内の中心サンプルと領域内の他のサンプルとの距離、及びサンプル間の値の差に基づいてフィルタ係数が決定されてフィルタリングを行うことを意味することができる。
前記適応的ループ内フィルタリングは、復元画像に原本画像と復元画像間の歪みを最小化するフィルタを適用することにより、原本画像と復元画像との歪みを最小化するフィルタリングを意味することができる。
本発明において、特別な記載がない限り、ループ内フィルタリングは、適応的ループ内フィルタリングを意味することができる。
本発明において、フィルタリングは、サンプル、ブロック、ＣＵ、ＰＵ、ＴＵ、ＣＴＵ、スライス、タイル、タイルグループ、画像（ピクチャ）及びシーケンスのうちの少なくとも一つの単位にフィルタを適用することを意味することができる。前記フィルタリングは、ブロック分類、フィルタリング実行、フィルタ情報符号化／復号化のうちの少なくとも一つを含むことができる。
本発明において、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ、符号化ユニット）、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、予測ユニット）、ＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、変換ユニット）、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、符号化ツリーユニット）は、それぞれＣＢ（Ｃｏｄｉｎｇ Ｂｌｏｃｋ、符号化ブロック）、ＰＢ（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ、予測ブロック）、ＴＢ（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ、変換ブロック）、ＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ、符号化ツリーブロック）と同じ意味であり得る。
本発明において、ブロックは、ＣＵ、ＰＵ、ＴＵ、ＣＢ、ＰＢ、ＴＢなど、符号化／復号化過程内で使用されるブロック或いはユニット単位のうちの少なくとも一つを意味することができる。
前記ループ内フィルタリングは、双方向フィルタリング、デブロッキングフィルタリング、サンプル適応的オフセット、適応的ループ内フィルタリングの順に復元画像に適用されて復号画像を生成することができる。しかし、ループ内フィルタリングに含まれるフィルタリング間の順序を変更して復元画像に適用することにより、復号画像を生成することができる。
一例として、デブロッキングフィルタリング、サンプル適応的オフセット、適応的ループ内フィルタリングの順に復元画像にループ内フィルタリングを適用することができる。
他の例として、双方向フィルタリング、適応的ループ内フィルタリング、デブロッキングフィルタリング、サンプル適応的オフセットの順に復元画像にループ内フィルタリングを適用することができる。
別の例として、適応的ループ内フィルタリング、デブロッキングフィルタリング、サンプル適応的オフセットの順に復元画像にループ内フィルタリングを適用することができる。
別の例として、適応的ループ内フィルタリング、サンプル適応的オフセット、デブロッキングフィルタリングの順に復元画像にループ内フィルタリングを適用することができる。
本発明において、復号画像は、画面内予測ブロック或いは画面間予測ブロックに復元残余ブロックを加えて生成される復元ブロックで構成された復元画像に対してループ内フィルタリング或いは後処理フィルタリングを行った結果画像を意味することができる。また、本発明において、復号サンプル／ブロック／ＣＴＵ／画像などと復元サンプル／ブロック／ＣＴＵ／画像などの意味は、互いに異ならず、同一であることを意味することもできる。
前記適応的ループ内フィルタリングは、復元画像に適用されて復号画像を生成することができる。又は、適応的ループ内フィルタリングは、デブロッキングフィルタリング、サンプル適応的オフセット及び双方向フィルタリングのうちの少なくとも一つが行われた復号画像に適用できる。また、適応的ループ内フィルタリングは、適応的ループ内フィルタリングが行われた復号画像に適用できる。この場合には、適応的ループ内フィルタリングを復元又は復号画像に対してＮ回繰り返し行うことができる。このとき、Ｎは正の整数である。
前記ループ内フィルタリング方法のうちの少なくとも一つのフィルタリングが行われた復号画像に対してループ内フィルタリングを行うことができる。例えば、ループ内フィルタリング方法のうちの少なくとも一つが行われた復号画像に対してループ内フィルタリング方法のうちの少なくとも他の一つのフィルタリングが行われる場合には、前記ループ内フィルタリング方法のうちの少なくとも他の一つに使用されるパラメータが変更され、パラメータの変更されたループ内フィルタリング方法が前記復号画像に適用できる。この時、前記パラメータは、符号化パラメータ、フィルタ係数、フィルタタップ数（フィルタ長）、フィルタ形状、フィルタ種類、フィルタリング実行回数、フィルタ強度、及びしきい値のうちの少なくとも一つを含むことができる。
前記フィルタ係数は、フィルタを構成する係数を意味することができ、復元サンプルに掛けられる、マスク（ｍａｓｋ）形状における特定のマスク位置に該当する係数値を意味することができる。
前記フィルタタップ数はフィルタ長を意味し、フィルタが特定の１つの方向に対して対称的（ｓｙｍｍｅｔｒｉｃ）特性を持つ場合には、実際符号化／復号化の対象となるフィルタ係数は半分に減少できる。また、前記フィルタタップは、横方向におけるフィルタの広さを意味するか、縦方向におけるフィルタの高さを意味することができる。また、前記フィルタタップは、２次元フィルタ形態において横方向におけるフィルタの広さと縦方向におけるフィルタの高さを一緒に意味することができる。また、フィルタは、特定の２つ以上の方向に対して対称的特徴を持つことができる。
前記フィルタ形状は、フィルタがマスク形状を持つ場合、菱形（ｄｉａｍｏｎｄ／ｒｈｏｍｂｕｓ）、長方形（ｎｏｎ－ｓｑｕａｒｅ）、正方形（ｓｑｕａｒｅ）、台形（ｔｒａｐｅｚｏｉｄ）、対角（ｄｉａｇｏｎａｌ）、雪片（ｓｎｏｗｆｌａｋｅ）、シャープ（ｓｈａｒｐ）、クローバー（ｃｌｏｖｅｒ）、十字架（ｃｒｏｓｓ）、三角形、五角形、六角形、八角形、十角形、十二角形など２次元で表現できる幾何学的図形又はこれらの組み合わせの形状を意味することができる。又は、フィルタ形状は、３次元フィルタを２次元的に投射（ｐｒｏｊｅｃｔｉｏｎ）させた形状であり得る。
前記フィルタ種類は、ウィーナーフィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）、低域通過フィルタ（ｌｏｗ－ｐａｓｓ ｆｉｌｔｅｒ）、高域通過フィルタ（ｈｉｇｈ－ｐａｓｓ ｆｉｌｔｅｒ）、線形フィルタ（ｌｉｎｅａｒ ｆｉｌｔｅｒ）、非線形フィルタ（ｎｏｎ－ｌｉｎｅａｒ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などのフィルタを意味することができる。
本発明では、前記様々なフィルタ種類の中でもウィーナーフィルタを中心に説明するが、これに限定されるものではなく、前記様々なフィルタ種類に対して本発明の実施形態又は実施形態の組み合わせが適用できる。
適応的ループ内フィルタリングのフィルタ種類としてウィーナーフィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）を用いることができる。ウィーナーフィルタは、最適の線形フィルタ（ｏｐｔｉｍａｌｌｉｎｅａｒ ｆｉｌｔｅｒ）であって、画像内のノイズ（ｎｏｉｓｅ）、ブラーリング（ｂｌｕｒｒｉｎｇ）、歪み（ｄｉｓｔｏｒｔｉｏｎ）を効果的に除去して符号化効率を向上させることにその目的がある。このとき、ウィーナーフィルタは、原本画像と復元／復号画像との歪みを最小化するように設計できる。
前記フィルタリング方法の少なくとも一つは、符号化過程或いは復号化過程内で行われ得る。このとき、符号化過程或いは復号化過程は、スライス、タイル、タイルグループ、ピクチャ、シーケンス、ＣＴＵ、ブロック、ＣＵ、ＰＵ及びＴＵ単位のうちの少なくとも一つの単位で符号化過程或いは復号化過程が行われることを意味することができる。前記フィルタリング方法の少なくとも一つは、スライス、タイル、タイルグループ、ピクチャなどの単位で符号化過程或いは復号化過程内で行われ得る。例えば、ウィーナーフィルタは、適応的ループ内フィルタリングの形で符号化過程或いは復号化過程内で行われ得る。つまり、適応的ループ内フィルタリングにおけるループ内とは、符号化過程或いは復号化過程内でフィルタリングが行われるという意味である。適応的ループ内フィルタリングが行われる場合、適応的ループ内フィルタリングが行われた復号画像は、追って符号化／復号化される画像の参照画像として使用できる。このとき、追って符号化／復号化される画像では、適応的ループ内フィルタリングが行われた復号画像を参照して、画面間予測又は動き補償を行うことができるので、適応的ループ内フィルタリングが行われた復号画像の符号化効率だけでなく、前記追って符号化／復号化される画像の符号化効率も向上できる。
また、前記フィルタリング方法の少なくとも一つは、ＣＴＵ単位或いはブロック単位の符号化過程或いは復号化過程内で行われ得る。例えば、ウィーナーフィルタは、適応的ループ内フィルタリングの形でＣＴＵ単位或いはブロック単位の符号化過程或いは復号化過程内で行われ得る。すなわち、適応的ループ内フィルタリングにおけるループ内とは、ＣＴＵ単位或いはブロック単位の符号化過程或いは復号化過程内でフィルタリングが行われるという意味である。ＣＴＵ単位或いはブロック単位で適応的ループ内フィルタリングが行われる場合、適応的ループ内フィルタリングが行われた復号ＣＴＵ或いは復号ブロックは、追って符号化／復号化されるＣＴＵ或いはブロックの参照ＣＴＵ或いは参照ブロックとして使用されることも可能である。このとき、追って符号化／復号化されるＣＴＵ或いはブロックでは、適応的ループ内フィルタリングが行われた復号ＣＴＵ或いは復号ブロックを参照して画面内予測などを行うことができるので、適応的ループ内フィルタリングが行われた復号ＣＴＵ或いは復号ブロックの符号化効率だけでなく、前記追って符号化／復号化されるＣＴＵ或いはブロックの符号化効率も向上できる。
また、前記フィルタリング方法の少なくとも一つは、後処理フィルタリングの形で復号化過程後に行われ得る。例えば、ウィーナーフィルタは後処理フィルタの形態で復号化過程後に適用できる。ウィーナーフィルタが復号化過程後に適用される場合には、画像出力（ディスプレイ）の前に復元／復号画像にウィーナーフィルタが適用できる。後処理フィルタリングが行われる場合、後処理フィルタリングが行われた復号画像は、追って符号化／復号化される画像の参照画像として使用できない。
適応的ループ内フィルタリングは、ブロックベースのフィルタ適応を使用することができる。ここで、ブロックベースのフィルタ適応とは、多数のフィルタの中から、ブロックごとに使用されるフィルタが適応的に選択されるということを意味することができる。前記ブロックベースのフィルタ適応はブロック分類を意味することができる。
図７は本発明の一実施形態による画像復号化方法を示すフローチャートである。
図７を参照すると、復号化器は符号化ユニットに対するフィルタ情報を復号化することができる（Ｓ７０１）。
前記フィルタ情報は、符号化ユニットに対してのみ限定されるものではなく、スライス、タイル、タイルグループ、ピクチャ、シーケンス、ＣＴＵ、ブロック、ＣＵ、ＰＵ、ＴＵなどに対するフィルタ情報を意味することができる。
一方、前記フィルタ情報は、フィルタリング実行有無、フィルタ係数値、フィルタ個数、フィルタタップ数（フィルタ長）情報、フィルタ形状情報、フィルタ種類情報、ブロック分類インデックスに対する固定されたフィルタ使用有無情報、及びフィルタの対称形状に関する情報のうちの少なくとも一つを含むことができる。
一方、前記フィルタ形状情報は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形の形状のうちの少なくとも一つの情報を含むことができる。
一方、前記フィルタ係数値は、ブロック分類単位で分類されたブロックに基づいて幾何学的変換されたフィルタ係数値を含むことができる。
一方、フィルタの対称形状に関する情報は、点対称、横対称、縦対称及び対角対称形状のうちの少なくとも一つの情報を含むことができる。
また、復号化器は、前記符号化ユニットをブロック分類単位で分類することができる（Ｓ７０２）。また、復号化器は、前記ブロック分類単位で分類された符号化ユニットにブロック分類インデックスを割り当てることができる。
前記ブロック分類は、符号化ユニット単位で行われることに限定されるものではなく、スライス、タイル、タイルグループ、ピクチャ、シーケンス、ＣＴＵ、ブロック、ＣＵ、ＰＵ、ＴＵなどの単位で行われ得る。
一方、前記ブロック分類インデックスは、方向性情報と活動性情報を用いて決定できる。
一方、前記方向性情報及び活動性情報のうちの少なくとも一つは、縦方向、横方向、第１対角方向及び第２対角方向のうちの少なくとも一つに対する勾配（ｇｒａｄｉｅｎｔ）値に基づいて決定できる。
一方、前記勾配値は、前記ブロック分類単位での１Ｄラプラシアン演算を用いて取得できる。
一方、前記１Ｄラプラシアン演算は、前記演算の実行位置がサブサンプリングされた１Ｄラプラシアン演算であり得る。
一方、前記勾配値は、時間的階層識別子（ｔｅｍｐｏｒａｌ ｌａｙｅｒ ｉｄｅｎｔｉｆｉｅｒ）に基づいて決定できる。
また、復号化器は、前記フィルタ情報を用いて、前記ブロック分類単位で分類された符号化ユニットをフィルタリングすることができる（Ｓ７０３）。
前記フィルタリングの対象は、符号化ユニットに限定されるものではなく、スライス、タイル、タイルグループ、ピクチャ、シーケンス、ＣＴＵ、ブロック、ＣＵ、ＰＵ、ＴＵなどであり得る。
図８は本発明の一実施形態による画像符号化方法を示すフローチャートである。
図８を参照すると、符号化器は、符号化ユニットをブロック分類単位で分類することができる（Ｓ８０１）。また、符号化器は、前記ブロック分類単位で分類された符号化ユニットにブロック分類インデックスを割り当てることができる。
前記ブロック分類は、符号化ユニット単位で行われることに限定されるものではなく、スライス、タイル、タイルグループ、ピクチャ、シーケンス、ＣＴＵ、ブロック、ＣＵ、ＰＵ、ＴＵなどの単位で行われ得る。
一方、前記ブロック分類インデックスは、方向性情報と活動性情報を用いて決定できる。
一方、前記方向性情報及び活動性情報のうちの少なくとも一つは、縦方向、横方向、第１対角方向及び第２対角方向のうちの少なくとも一つに対する勾配値に基づいて決定できる。
一方、前記勾配値は、前記ブロック分類単位での１Ｄラプラシアン演算を用いて取得できる。
一方、前記１Ｄラプラシアン演算は、前記演算の実行位置がサブサンプリングされた１Ｄラプラシアン演算であり得る。
一方、前記勾配値は、時間的階層識別子に基づいて決定できる。
また、符号化器は、前記符号化ユニットに対するフィルタ情報を用いて、前記ブロック分類単位で分類された符号化ユニットをフィルタリングすることができる（Ｓ８０２）。
前記フィルタリングの対象は、符号化ユニットに限定されるものではなく、スライス、タイル、タイルグループ、ピクチャ、シーケンス、ＣＴＵ、ブロック、ＣＵ、ＰＵ、ＴＵなどであり得る。
一方、前記フィルタ情報は、フィルタ実行有無、フィルタ係数値、フィルタ個数、フィルタタップ数（フィルタ長）情報、フィルタ形状情報、フィルタ種類情報、ブロック分類インデックスに対する固定されたフィルタ使用有無情報、及びフィルタの対称形状に関する情報のうちの少なくとも一つを含むことができる。
一方、前記フィルタ形状情報は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形の形状のうちの少なくとも一つの情報を含むことができる。
一方、前記フィルタ係数値は、ブロック分類単位で分類されたブロックに基づいて幾何学的変換されたフィルタ係数値を含むことができる。
また、符号化器は、前記フィルタ情報を符号化することができる（Ｓ８０３）。
前記フィルタ情報は、スライス、タイル、タイルグループ、ピクチャ、シーケンス、ＣＴＵ、ブロック、ＣＵ、ＰＵ、ＴＵなどに対するフィルタ情報を意味することができる。
符号化器では、適応的ループ内フィルタリングは、ブロック分類（ｂｌｏｃｋ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ステップ、フィルタリング（ｆｉｌｔｅｒｉｎｇ）実行ステップ、及びフィルタ情報（ｆｉｌｔｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）符号化ステップで構成できる。
より詳細には、符号化器では、ブロック分類ステップ、フィルタ係数誘導ステップ、フィルタリング実行決定ステップ、フィルタ形状決定ステップ、フィルタリング実行ステップ、フィルタ情報符号化ステップなどで構成できる。前記フィルタ係数誘導ステップ、前記フィルタリング実行決定ステップ、前記フィルタ形状決定ステップは、本発明の範囲から外れるので、本発明で具体的な言及はしないが、次のとおり簡略に説明することができる。したがって、符号化器は、ブロック分類ステップ、フィルタリング実行ステップ、フィルタ情報符号化ステップを含むことができる。
フィルタ係数誘導ステップでは、原本画像とフィルタリングが適用された画像との歪み（ｄｉｓｔｏｒｔｉｏｎ）を最小化する観点から、ウィーナーフィルタ係数を誘導することができる。この際、ブロック分類インデックスごとにウィーナーフィルタ係数を誘導することができる。また、フィルタタップ数及びフィルタ形状のうちの少なくとも一つに応じてウィーナーフィルタ係数を誘導することができる。ウィーナーフィルタ係数を誘導するとき、復元サンプルに対する自己相関関数（ａｕｔｏ－ｃｏｒｒｅｌａｔｉｏｎ ｆｕｎｃｔｉｏｎ）、原本サンプル及び復元サンプルに対する相互相関関数（ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ ｆｕｎｃｔｉｏｎ）、自己相関行列及び相互相関行列を誘導することができる。誘導された自己相関行列と相互相関行列を用いてウィナー－ホープ方程式（Ｗｉｅｎｅｒ－Ｈｏｐｆ ｅｑｕａｔｉｏｎ）を誘導してフィルタ係数を計算することができる。このとき、ウィンナー－ホープ方程式にガウス消去（Ｇａｕｓｓｉａｎ ｅｌｉｍｉｎａｔｉｏｎ）法、或いはコレスキー分解法（Ｃｈｏｌｅｓｋｙ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｍｅｔｈｏｄ）を用いてフィルタ係数を計算することができる。
フィルタリング実行決定ステップでは、スライス／ピクチャ／タイル／タイルグループ単位で適応的ループ内フィルタリングを適用するか、ブロック単位で適応的ループ内フィルタリングを適用するか、適応的ループ内フィルタリングを適用しないかなどをレート－歪み最適化（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ）の観点から決定することができる。ここで、レート（ｒａｔｅ）は、符号化すべきフィルタ情報を含むことができる。また、歪みは、原本画像と復元画像との差或いは原本画像とフィルタリングされた復元画像との差に対する値であり得る。ＭＳＥ（Ｍｅａｎ ｏｆ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）、ＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などが使用できる。このとき、フィルタリング実行決定ステップでは、輝度成分だけでなく、色差成分に対するフィルタリング実行も決定することができる。
フィルタ形状決定ステップでは、適応的ループ内フィルタリングを適用するとき、どんな形態のフィルタ形状を使用するか、どんなタップ数のフィルタを使用するかなどをレート－歪み最適化の観点から決定することができる。
一方、復号化器では、フィルタ情報復号化ステップ、ブロック分類ステップ、フィルタリング実行ステップを含むことができる。
本発明における重複説明を避けるために、フィルタ情報符号化ステップとフィルタ情報復号化ステップとを合わせてフィルタ情報符号化／復号化ステップとして後述する。
以下、ブロック分類ステップについて後述する。
復元画像内のＮ×Ｍブロック単位（又は、ブロック分類単位）でブロック分類インデックス（ｂｌｏｃｋ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｎｄｅｘ）を割り当てて、各ブロックをＬ個だけ分類することができる。ここで、復元／復号画像だけでなく、復元／復号スライス、復元／復号タイルグループ、復元／復号タイル、復元／復号ＣＴＵ、復元／復号ブロックなどのうちの少なくとも一つに対してブロック分類インデックスを割り当てることができる。
ここで、Ｎ、Ｍ、Ｌは正の整数であり得る。例えば、ＮとＭはそれぞれ２、４、８、１６及び３２のいずれかであり、Ｌは４、８、１６、２０、２５及び３２のいずれかであり得る。もし、ＮとＭがそれぞれ１である場合、ブロック単位のブロック分類ではなく、サンプル単位のサンプル分類が行われ得る。また、ＮとＭが互いに異なる正の整数値を持つ場合には、Ｎ×Ｍブロック単位が非正方形の形状を持つことができる。また、ＮとＭが互いに同じ正の整数値を持つことができる。
例えば、復元画像を２×２ブロック単位で合計２５種類のブロック分類インデックスを割り当てることができる。例えば、復元画像を４×４ブロック単位で合計２５種類のブロック分類インデックスを割り当てることができる。
前記ブロック分類インデックスは、０乃至Ｌ－１の値を持つことができ、又は、１乃至Ｌの値を持つこともできる。
前記ブロック分類インデックスＣは、方向性（ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）Ｄ値と活動性（ａｃｔｉｖｉｔｙ）Ａ値を量子化したＡｑ値のうちの少なくとも一つをベースとし、数式１で表すことができる。
［数式１］
数式１中、定数値５は、一例であって、Ｊ値を使用することができる。このとき、ＪはＬよりも小さい値を持つ正の整数であり得る。
本発明の一実施形態によれば、２×２ブロック分類の場合、１Ｄラプラシアン（Ｌａｐｌａｃｉａｎ）演算を用いて縦方向、横方向、第１対角（１３５度対角）方向、第２対角（４５度対角）方向によるそれぞれの勾配（ｇｒａｄｉｅｎｔ）値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２は、数式２乃至数式５で表すことができる。前記勾配値の和を用いて前記Ｄ値とＡ値を導出することができる。前記勾配値の和は、一実施形態であり、勾配値の統計値が勾配値の和を代替して使用できる。
［数式２］
［数式３］
［数式４］
［数式５］
数式２乃至数式５中、ｉとｊそれぞれは２×２ブロック内の左上側の横位置と縦位置を意味し、Ｒ（ｉ，ｊ）は（ｉ，ｊ）位置における復元サンプル値を意味することができる。
また、数式２乃至数式５中、ｋとｌそれぞれは、方向によるサンプル単位１Ｄラプラシアン演算の結果Ｖｋ、ｌ、Ｈｋ、ｌ、Ｄ１ｋ、ｌ、Ｄ２ｋ、ｌの和が計算される横範囲と縦範囲を意味することができる。前記それぞれの方向によるサンプル単位１Ｄラプラシアン演算の結果は、それぞれの方向によるサンプル単位の勾配（ｇｒａｄｉｅｎｔ）値を意味することができる。すなわち、１Ｄラプラシアン演算の結果は、勾配値を意味することができる。前記１Ｄラプラシアン演算は、縦方向、横方向、第１対角方向、第２対角方向それぞれに対して行われ得る。該当方向に対する勾配値を示すことができる。また、前記１Ｄラプラシアン演算は、縦方向、横方向、第１対角方向、第２対角方向それぞれに対して行われた結果がそれぞれＶｋ、ｌ、Ｈｋ、ｌ、Ｄ１ｋ、ｌ、Ｄ２ｋ、ｌを意味することができる。
一例として、ｋとｌは、互いに同じ範囲を持つことができる。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが同一であってもよい。
他の例として、ｋとｌは、互いに異なる範囲を持つことができる。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが異なってもよい。
別の例として、ｋはｉ－２乃至ｉ＋３の範囲、ｌはｊ－２乃至ｊ＋３の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が６×６サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。
別の例として、ｋはｉ－１乃至ｉ＋２の範囲、ｌはｊ－１乃至ｊ＋２の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が４×４サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。
別の例として、ｋはｉ乃至ｉ＋１の範囲、ｌはｊ乃至ｊ＋１の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が２×２サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさと同一であってもよい。
別の例として、１Ｄラプラシアン演算の結果の和が計算される範囲は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つの２次元幾何学的形状であってもよい。
別の例として、ブロック分類単位の形状は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つの２次元幾何学的形状であってもよい。
別の例として、前記１Ｄラプラシアン演算の和が計算される範囲は、Ｓ×Ｔのサイズを持つことができる。このとき、ＳとＴは、０を含む正の整数であり得る。
一方、前記第１対角を示すＤ１と前記第２対角を示すＤ２は、前記第１対角を示すＤ０と前記第２対角を示すＤ１を意味することもある。
本発明の一実施形態によれば、４×４ブロック分類の場合、１Ｄラプラシアン演算を用いて縦方向、横方向、第１対角方向、第２対角方向による各勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２は、数式６乃至数式９で表すことができる。前記勾配値の和を用いて前記Ｄ値とＡ値を導出することができる。前記勾配値の和は一実施形態である。勾配値の統計値が勾配値の和を代替して使用できる。
［数式６］
［数式７］
［数式８］
［数式９］
数式６乃至数式９中、ｉとｊそれぞれは、４×４ブロック内の左上側の横位置と縦位置を意味し、Ｒ（ｉ，ｊ）は、（ｉ，ｊ）位置における復元サンプル値を意味することができる。
また、数式６乃至数式９中、ｋとｌそれぞれは、方向によるサンプル単位１Ｄラプラシアン演算の結果Ｖｋ、ｌ、Ｈｋ、ｌ、Ｄ１ｋ、ｌ、Ｄ２ｋ、ｌの和が計算される横範囲と縦範囲を意味することができる。前記それぞれの方向によるサンプル単位１Ｄラプラシアン演算の結果は、それぞれの方向によるサンプル単位の勾配（ｇｒａｄｉｅｎｔ）値を意味することができる。すなわち、１Ｄラプラシアン演算の結果は勾配値を意味することができる。前記１Ｄラプラシアン演算は、縦方向、横方向、第１対角方向、第２対角方向それぞれに対して行われ、該当方向に対する勾配値を示すことができる。また、前記１Ｄラプラシアン演算は、縦方向、横方向、第１対角方向、第２対角方向それぞれに対して行われた結果がそれぞれＶｋ、ｌ、Ｈｋ、ｌ、Ｄ１ｋ、ｌ、Ｄ２ｋ、ｌを意味することができる。
一例として、ｋとｌは、互いに同じ範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さが同一であってもよい。
他の例として、ｋとｌは、互いに異なる範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが異なってもよい。
別の例として、ｋはｉ－２乃至ｉ＋５の範囲、ｌはｊ－２乃至ｊ＋５の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が８×８サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。
別の例として、ｋはｉ乃至ｉ＋３の範囲、ｌはｊ乃至ｊ＋３の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が４×４サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさと同一であってもよい。
別の例として、１Ｄラプラシアン演算の結果の和が計算される範囲は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つの２次元幾何学的形状であってもよい。
別の例として、前記１Ｄラプラシアン演算の和が計算される範囲は、Ｓ×Ｔのサイズを持ってもよい。このとき、ＳとＴは、０を含む正の整数であり得る。
別の例として、ブロック分類単位の形状は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つの２次元幾何学的形状であってもよい。
図９は横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。
図９の例のように、４×４ブロック分類の場合、縦方向、横方向、第１対角方向、第２対角方向による勾配値を決定する一例である。
角方向による各勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向による各１Ｄラプラシアン演算の結果を示す。すなわち、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。図９において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
本発明の一実施形態によれば、４×４ブロック分類の場合、１Ｄラプラシアン演算を用いて縦方向、横方向、第１対角方向、第２対角方向による各勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２を数式１０乃至数式１３で表すことができる。前記勾配値は、ブロック分類の計算複雑度を減少させるため、副標本（又は、サブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ））に基づいて表すことができる。前記勾配値の和を用いて前記Ｄ値とＡ値を導出することができる。前記勾配値の和は一実施形態である。勾配値の統計値が勾配値の和を代替して使用できる。
［数式１０］
［数式１１］
［数式１２］
［数式１３］
数式１０乃至数式１３中、ｉとｊそれぞれは、４×４ブロック内の左上側の横位置と縦位置を意味し、Ｒ（ｉ，ｊ）は、（ｉ，ｊ）位置における復元サンプル値を意味することができる。
また、数式１０乃至数式１３中、ｋとｌそれぞれは、方向によるサンプル単位１Ｄラプラシアン演算の結果Ｖｋ、ｌ、Ｈｋ、ｌ、Ｄ１ｋ、ｌ、Ｄ２ｋ、ｌの和が計算される横範囲と縦範囲を意味することができる。前記それぞれの方向によるサンプル単位１Ｄラプラシアン演算の結果は、それぞれの方向によるサンプル単位勾配（ｇｒａｄｉｅｎｔ）値を意味することができる。つまり、１Ｄラプラシアン演算の結果は勾配値を意味することができる。前記１Ｄラプラシアン演算は、縦方向、横方向、第１対角方向、第２対角方向それぞれに対して行われ、当該方向に対する勾配値を示すことができる。また、前記１Ｄラプラシアン演算は、縦方向、横方向、第１対角方向、第２対角方向それぞれに対して行われた結果がそれぞれＶｋ、ｌ、Ｈｋ、ｌ、Ｄ１ｋ、ｌ、Ｄ２ｋ、ｌを意味することができる。
一例として、ｋとｌは、互いに同じ範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが同一であってもよい。
他の例として、ｋとｌは、互いに異なる範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが異なってもよい。
別の例として、ｋはｉ－２乃至ｉ＋５の範囲、ｌはｊ－２乃至ｊ＋５の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が８×８サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。
別の例として、ｋはｉ乃至ｉ＋３の範囲、ｌはｊ乃至ｊ＋３の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が４×４サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさと同一であってもよい。
別の例として、１Ｄラプラシアン演算の結果の和が計算される範囲は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つの２次元幾何学的形状であってもよい。
別の例として、前記１Ｄラプラシアン演算の和が計算される範囲は、Ｓ×Ｔのサイズを持ってもよい。このとき、ＳとＴは、０を含む正の整数であり得る。
別の例として、ブロック分類単位の形状は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つの２次元幾何学的形状であってもよい。
本発明の一実施形態によれば、前記副標本に基づいて勾配値を計算する方法は、計算しようとする勾配値の方向によって、１Ｄラプラシアン演算の和が計算される範囲内で当該方向に位置したサンプルに１Ｄラプラシアン演算を行って勾配値を計算することができる。ここで、１Ｄラプラシアン演算の和が計算される範囲内のサンプルのうちの少なくとも一つで行われた１Ｄラプラシアン演算の結果に対して統計値を計算して勾配値の統計値を算出することができる。このとき、統計値は、和（ｓｕｍ）、重み付け和或いは平均値のいずれかであり得る。
一例として、横方向の勾配値の計算の際に、１Ｄラプラシアン演算の和が計算される範囲内で行内の全てのサンプルの位置では１Ｄラプラシアン演算を行うが、１Ｄラプラシアン演算の和が計算される範囲内の各行をＰ行ずつスキップして横方向の勾配値を計算することができる。ここで、Ｐは正の整数である。
他の例として、縦方向の勾配値の計算の際に、１Ｄラプラシアン演算の和が計算される範囲内で列内の全てのサンプルの位置では１Ｄラプラシアン演算を行うが、１Ｄラプラシアン演算の和が計算される範囲内の各列をＰ列ずつスキップして縦方向の勾配値を計算することができる。ここで、Ｐは正の整数である。
別の例として、第１対角方向の勾配値の計算の際に、１Ｄラプラシアン演算の和が計算される範囲内で横方向及び縦方向のうちの少なくとも一つの方向に対して、Ｐ列及びＱ行のうちの少なくとも一つに対してスキップして存在するサンプルの位置で１Ｄラプラシアン演算を行うことにより、第１対角方向の勾配値を計算することができる。ここで、ＰとＱは、０を含む正の整数である。
別の例として、第２対角方向の勾配値を計算する際に、１Ｄラプラシアン演算の和が計算される範囲内で横方向及び縦方向のうちの少なくとも一つの方向に対して、Ｐ列及びＱ行のうちの少なくとも一つに対してスキップして存在するサンプルの位置で１Ｄラプラシアン演算を行うことにより、第２対角方向の勾配値を計算することができる。ここで、ＰとＱは、０を含む正の整数である。
本発明の一実施形態によれば、前記副標本に基づいて勾配値を計算する方法は、１Ｄラプラシアン演算の和が計算される範囲内に位置した少なくとも一つのサンプルに１Ｄラプラシアン演算を行うことにより、勾配値を計算することができる。ここで、１Ｄラプラシアン演算の和が計算される範囲内のサンプルのうちの少なくとも一つで行われた１Ｄラプラシアン演算の結果に対して統計値を計算して勾配値の統計値を算出することができる。このとき、統計値は、和（ｓｕｍ）、重み付け和或いは平均値のいずれかであり得る。
一例として、勾配値の計算の際に、１Ｄラプラシアン演算の和が計算される範囲内で行内の全てのサンプルの位置では１Ｄラプラシアン演算を行うが、１Ｄラプラシアン演算の和が計算される範囲内の各行をＰ行ずつスキップしながら勾配値を計算することができる。ここで、Ｐは正の整数である。
他の例として、勾配値の計算の際に、１Ｄラプラシアン演算の和が計算される範囲内で、列内の全てのサンプルの位置では１Ｄラプラシアン演算を行うが、１Ｄラプラシアン演算の和が計算される範囲内の各列をＰ列ずつスキップしながら勾配値を計算することができる。ここで、Ｐは正の整数である。
別の例として、勾配値の計算の際に、１Ｄラプラシアン演算の和が計算される範囲内で、横方向及び縦方向のうちの少なくとも一つの方向に対して、Ｐ列及びＱ行のうちの少なくとも一つに対してスキップして存在するサンプルの位置で１Ｄラプラシアン演算を行うことにより、勾配値を計算することができる。ここで、ＰとＱは、０を含む正の整数である。
別の例として、勾配値の計算の際に、１Ｄラプラシアン演算の和が計算される範囲内で、横方向及び縦方向に対して、Ｐ列及びＱ行に対してスキップして存在するサンプルの位置で１Ｄラプラシアン演算を行うことにより、勾配値を計算することができる。ここで、ＰとＱは、０を含む正の整数である。
一方、前記勾配は、横方向の勾配、縦方向の勾配、第１対角方向の勾配及び第２対角方向の勾配のうちの少なくとも一つを含むことができる。
図１０乃至図１２は副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。
図１０の例のように、２×２ブロック分類の場合、副標本に基づいて縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。すなわち、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図１０において、ブロック分類インデックスＣは、陰影が表示された２×２ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
本発明の図面においてＶ、Ｈ、Ｄ１、Ｄ２が表示されていないサンプルの位置では、各方向による１Ｄラプラシアン演算が行われないことを意味することができる。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２が表示されているサンプルの位置でのみ各方向による１Ｄラプラシアン演算が行われることを意味することができる。もし、１Ｄラプラシアン演算が行われない場合は、該当サンプルに対する１Ｄラプラシアン演算の結果は、特定の値Ｈに決定することができる。ここで、Ｈは、負の整数、０及び正の整数のうちの少なくとも一つであり得る。
図１１の例のように、４×４ブロック分類の場合、副標本に基づいて縦方向、横方向、第１対角方向、第２対角方向による各勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図１１において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図１２の例のように、４×４ブロック分類の場合、副標本に基づいて縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図１２において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲とブロック分類単位の大きさが同一であってもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
本発明の一実施形態によれば、副標本に基づいてＮ×Ｍブロック単位内の特定の位置に存在するサンプルに対して１Ｄラプラシアン演算を行って勾配値を計算することができる。このとき、特定の位置は、ブロック内での絶対的な位置、相対的な位置のうちの少なくとも一つであり得る。ここで、１Ｄラプラシアン演算の和が計算される範囲内のサンプルのうちの少なくとも一つで行われた１Ｄラプラシアン演算の結果に対して統計値を計算して勾配値の統計値を算出することができる。このとき、統計値は、和（ｓｕｍ）、重み付け和或いは平均値のいずれかであり得る。
一例として、絶対的な位置である場合には、Ｎ×Ｍブロック内の左上側位置を意味してもよい。
他の例として、絶対的な位置である場合には、Ｎ×Ｍブロック内の右下側位置を意味してもよい。
別の例として、相対的な位置である場合には、Ｎ×Ｍブロック内の中央位置を意味してもよい。
本発明の一実施形態によれば、副標本に基づいてＮ×Ｍブロック単位内のＲ個のサンプルに対して１Ｄラプラシアン演算を行うことにより、勾配値を計算することができる。このとき、Ｒは、０を含む正の整数である。また、前記Ｒは、ＮとＭの積と同じかそれより小さくてもよい。ここで、１Ｄラプラシアン演算の和が計算される範囲内のサンプルのうちの少なくとも一つで行われた１Ｄラプラシアン演算の結果に対して統計値を計算して勾配値の統計値を算出することができる。このとき、統計値は、和（ｓｕｍ）、重み付け和或いは平均値のいずれかであり得る。
一例として、Ｒが１である場合には、Ｎ×Ｍブロック内で１つのサンプルに対してのみ１Ｄラプラシアン演算を行ってもよい。
他の例として、Ｒが２である場合には、Ｎ×Ｍブロック内で２つのサンプルに対してのみ１Ｄラプラシアン演算を行ってもよい。
別の例として、Ｒが４である場合には、Ｎ×Ｍブロック内で４つのサンプルに対してのみ１Ｄラプラシアン演算を行ってもよい。
本発明の一実施形態によれば、副標本に基づいて１Ｄラプラシアン演算の和が計算される範囲であるＮ×Ｍ内のＲ個のサンプルに対して１Ｄラプラシアン演算を行って勾配値を計算することができる。このとき、Ｒは、０を含む正の整数である。また、前記Ｒは、ＮとＭの積と同じかそれより小さくてもよい。ここで、１Ｄラプラシアン演算の和が計算される範囲内のサンプルのうちの少なくとも一つで行われた１Ｄラプラシアン演算の結果に対して統計値を計算して勾配値の統計値を算出することができる。このとき、統計値は、和（ｓｕｍ）、重み付け和或いは平均値のいずれかであり得る。
一例として、Ｒが１である場合には、１Ｄラプラシアン演算の和が計算される範囲であるＮ×Ｍ内で１つのサンプルに対してのみ１Ｄラプラシアン演算を行ってもよい。
他の例として、Ｒが２である場合には、１Ｄラプラシアン演算の和が計算される範囲であるＮ×Ｍ内で２つのサンプルに対してのみ１Ｄラプラシアン演算を行ってもよい。
別の例として、Ｒが４である場合には、１Ｄラプラシアン演算の和が計算される範囲であるＮ×Ｍ内で４つのサンプルに対してのみ１Ｄラプラシアン演算を行ってもよい。
図１３乃至図１８は、副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する他の例である。
図１３の例のように、４×４ブロック分類の場合には、副標本に基づいてＮ×Ｍブロック単位内の特定の位置に存在するサンプルを用いて縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図１３において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲とブロック分類単位の大きさが同一であってもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図１４の例のように、４×４ブロック分類の場合には、副標本に基づいてＮ×Ｍブロック単位内の特定の位置に存在するサンプルを用いて縦方向、横方向、第１対角方向、第２対角方向による各勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図１４において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより小さくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図１５の例のように、４×４ブロック分類の場合には、副標本に基づいてＮ×Ｍブロック単位内の特定の位置に存在するサンプルを用いて縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。すなわち、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図１５において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより小さくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図１６の例のように、４×４ブロック分類の場合には、副標本に基づいてＮ×Ｍブロック単位内の特定の位置に存在するサンプルを用いて縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図１６において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより小さくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図１７の例のように、４×４ブロック分類の場合には、副標本に基づいてＮ×Ｍブロック単位内の特定の位置に存在するサンプルを用いて縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図１７において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより小さくてもよい。ここで、１Ｄラプラシアン演算の和が計算される範囲が１×１であるので、１Ｄラプラシアン演算の和を行うことなく勾配値が計算できる。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図１８の例のように、２×２ブロック分類の場合には、副標本に基づいてＮ×Ｍブロック単位内の特定の位置に存在するサンプルを用いて縦方向、横方向、第１対角方向、第２対角方向による各勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図１８において、ブロック分類インデックスＣは、陰影が表示された２×２ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより小さくてもよい。ここで、１Ｄラプラシアン演算の和が計算される範囲が１×１であるので、１Ｄラプラシアン演算の和を行うことなく勾配値が計算できる。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図１９乃至図３０は特定のサンプル位置で横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。前記特定のサンプル位置は、ブロック分類単位内でサブサンプリングされたサンプル位置であり、１Ｄラプラシアン演算の和が計算される範囲内でサブサンプリングされたサンプル位置であり得る。また、前記特定のサンプル位置は、ブロックごとに同一であってもよい。逆に、前記特定のサンプル位置は、ブロックごとに異なってもよい。また、前記特定のサンプル位置は、計算しようとする１Ｄラプラシアン演算の方向に関係なく同一であってもよい。逆に、前記特定のサンプル位置は、計算しようとする１Ｄラプラシアン演算の方向によって異なってもよい。
図１９の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図１９において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図１９の例のように、１Ｄラプラシアン演算の方向に関係なく、１Ｄラプラシアン演算が行われる特定のサンプル位置が同一であってもよい。また、図１９の例のように１Ｄラプラシアン演算が行われるサンプル位置のパターンは、チェッカー盤（ｃｈｅｃｋｂｏａｒｄ）パターン或いはｑｕｉｎｃｕｎｘパターンとすることができる。また、１Ｄラプラシアン演算が行われるサンプル位置は、１Ｄラプラシアン演算の和が計算される範囲又はブロック分類単位又はブロック単位内で横方向（ｘ軸方向）及び縦方向（ｙ軸方向）に全て偶数値を持つか、或いは全て奇数値を持つ位置を意味することができる。
図２０の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図２０において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図２０の例のように、１Ｄラプラシアン演算の方向に関係なく、１Ｄラプラシアン演算が行われる特定のサンプル位置が同一であり得る。また、図２０の例のように１Ｄラプラシアン演算が行われるサンプル位置のパターンは、チェッカー盤（ｃｈｅｃｋｂｏａｒｄ）パターン或いはｑｕｉｎｃｕｎｘパターンとすることができる。また、１Ｄラプラシアン演算が行われるサンプル位置は、１Ｄラプラシアン演算の和が計算される範囲又はブロック分類単位又はブロック単位で横方向（ｘ軸方向）及び縦方向（ｙ軸方向）にそれぞれ偶数値及び奇数値を持つか、或いはそれぞれ奇数値及び偶数値を持つ位置を意味することができる。
図２１の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図２１において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細く実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図２２の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図２２において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図２３の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図２３において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲とブロック分類単位の大きさが同一であってもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図２３の例のように、１Ｄラプラシアン演算の方向に関係なく、１Ｄラプラシアン演算が行われる特定のサンプル位置が同一であり得る。また、図２３の例のように１Ｄラプラシアン演算が行われるサンプル位置のパターンは、チェッカー盤（ｃｈｅｃｋｂｏａｒｄ）パターン或いはｑｕｉｎｃｕｎｘパターンとすることができる。また、１Ｄラプラシアン演算が行われるサンプル位置は、１Ｄラプラシアン演算の和が計算される範囲又はブロック分類単位又はブロック単位内で横方向（ｘ軸方向）及び縦方向（ｙ軸方向）に全て偶数値を持つか、或いは全て奇数値を持つ位置を意味することができる。
図２４の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちのなくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図２４において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲とブロック分類単位の大きさが同一であってもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図２４の例のように、１Ｄラプラシアン演算の方向に関係なく、１Ｄラプラシアン演算が行われる特定のサンプル位置が同一であり得る。また、図２４の例のように１Ｄラプラシアン演算が行われるサンプル位置のパターンは、チェッカー盤（ｃｈｅｃｋｂｏａｒｄ）パターン或いはｑｕｉｎｃｕｎｘパターンとすることができる。また、１Ｄラプラシアン演算が行われるサンプル位置は、１Ｄラプラシアン演算の和が計算される範囲又はブロック分類単位又はブロック単位で横方向（ｘ軸方向）及び縦方向（ｙ軸方向）にそれぞれ偶数値及び奇数値を持つか、或いはそれぞれ奇数値及び偶数値を持つ位置を意味することができる。
図２５の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図２５において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲とブロック分類単位の大きさが同一であってもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図２６の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。図２６において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲とブロック分類単位の大きさが同一であってもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。前記特定のサンプル位置は、ブロック分類単位内の全てのサンプル位置を意味することができる。
図２７の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図２７において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲とブロック分類単位の大きさが同一であってもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
図２８の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向による各１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。図２８において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。前記特定のサンプル位置は、１Ｄラプラシアン演算の和が計算される範囲内の全てのサンプル位置を意味することができる。
図２９の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。図２９において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。前記特定のサンプル位置は、１Ｄラプラシアン演算の和が計算される範囲内の全てのサンプル位置を意味することができる。
図３０の例のように、４×４ブロック分類の場合には、特定のサンプル位置で勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図３０において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示す。
一方、本発明の一実施形態によれば、前記勾配値の計算方法のうちの少なくとも一つは、時間的階層識別子（ｔｅｍｐｏｒａｌ ｌａｙｅｒ ｉｄｅｎｔｉｆｉｅｒ）に応じて行われるか否かが決定できる。
例えば、２×２ブロック分類の場合、数式２乃至５は、数式１４のように一つの式で表すことができる。
［数式１４］
数式１４中、ｄｉｒは横方向、縦方向、第１対角方向、第２対角方向を含み、よって、ｇｄｉｒは縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２を意味することができる。また、ｉとｊそれぞれは、２×２ブロック内の横位置と縦位置を意味し、Ｇｄｉｒは縦方向、横方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算の結果Ｖｋ、ｌ、Ｈｋ、ｌ、Ｄ１ｋ、ｌ、Ｄ２ｋ、ｌを意味することができる。
このとき、現在画像（又は復元画像）の時間的階層識別子が最上位階層であれば、現在画像（又は復元画像）で２×２ブロック分類の場合、数式１４は数式１５で表すことができる。
［数式１５］
数式１５中、Ｇｄｉｒ（ｉ０，ｊ０）は縦方向、横方向、第１対角方向、第２対角方向による２×２ブロック内の左上側位置における勾配値を意味する。
図３１は時間的階層識別子が最上位階層である場合の横方向、縦方向、第１対角方向、第２対角方向による勾配値を決定する一例である。
図３１を参照すると、縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２の計算は、各２×２ブロックで左上側のサンプル位置（すなわち、陰影が表示されたサンプル位置）でのみ勾配を計算することにより、単純化させることができる。
本発明の一実施形態によれば、１Ｄラプラシアン演算の和が計算される範囲内のサンプルのうちの少なくとも一つで行われた１Ｄラプラシアン演算の結果に対して重み（重み付け係数（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒ））を適用し、重み付け和（ｗｅｉｇｈｔｅｄ ｓｕｍ）を計算して勾配値の統計値を算出することができる。この時、前記重み付け和の代わりに重み付け平均値、中央値、最小値、最大値、最頻値などの統計値のうちの少なくとも一つが使用できる。
重みを適用することや重み付け和を計算することは、現在ブロック、周辺ブロックに関連する様々な条件或いは符号化パラメータに基づいて決定できる。
一例として、重み付け和は、サンプル単位、サンプルグループ単位、ライン単位及びブロック単位のうちの少なくとも一つの単位で計算できる。このとき、サンプル単位、サンプルグループ単位、ライン単位及びブロック単位のうちの少なくとも一つの単位で重みを異にして重み付け和を計算することができる。
他の例として、重み値は、前記現在ブロックの大きさ、現在ブロックの形状、サンプル位置のうちの少なくとも一つに応じて異ならせて適用することができる。
別の例として、符号化器と復号化器で予め設定された基準に基づいて、前記重み付け和の実行を決定することができる。
別の例として、現在ブロック及び周辺ブロックのうちの少なくとも一つのブロックの大きさ、ブロックの形状、画面内予測モードなどの符号化パラメータのうちの少なくとも一つを用いて適応的に重みを決定することができる。
別の例として、現在ブロック及び周辺ブロックのうちの少なくとも一つのブロックの大きさ、ブロックの形状、画面内予測モードなどの符号化パラメータのうちの少なくとも一つを用いて、適応的に重み付け和の実行有無を決定することができる。
別の例として、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きい場合には、ブロック分類単位内のサンプルに適用される少なくとも一つの重み値は、ブロック分類単位以外のサンプルに適用される少なくとも一つの重み値より大きくてもよい。
別の例として、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさと同一である場合には、ブロック分類単位内のサンプルに適用される重み値は、全て同一であってもよい。
一方、前記重み及び／又は前記重み付け和の実行有無についての情報は、符号化器でエントロピー符号化されて復号化器へシグナリングできる。
本発明の一実施形態によれば、前記縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つの値を計算するとき、現在サンプルの周辺に利用可能（ａｖａｉｌａｂｌｅ）でないサンプルが存在する場合には、パディング（ｐａｄｄｉｎｇ）を行った後、パディングされたサンプルを用いて勾配値を計算することができる。前記パディングは、前記利用可能でないサンプルに隣接し、利用可能なサンプル値を前記利用可能でないサンプル値にコピーする方式を意味することができる。又は、前記利用可能でないサンプルに隣接し、利用可能なサンプル値に基づいて取得されたサンプル値或いは統計値を用いることができる。前記パディングは、Ｐ列の個数及びＲ行の個数だけ繰り返し行うことができる。ここで、ＰとＲは正の整数であり得る。
ここで、利用可能でないサンプルは、ＣＴＵ、ＣＴＢ、スライス、タイル、タイルグループ、ピクチャ境界外に存在するサンプルを意味することができる。また、利用可能でないサンプルは、現在サンプルの属するＣＴＵ、ＣＴＢ、スライス、タイル、タイルグループ及びピクチャの少なくとも一つと互いに異なるＣＴＵ、ＣＴＢ、スライス、タイル、タイルグループ及びピクチャのうちの少なくとも一つに属するサンプルを意味することができる。
本発明の一実施形態によれば、前記縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つの値を計算するとき、所定のサンプルを利用しなくてもよい。
一例として、前記縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つの値を計算するとき、パディングされたサンプルを利用しなくてもよい。
他の例として、前記縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算するとき、現在サンプルの周辺に利用可能でないサンプルが存在する場合には、前記利用可能でないサンプルを勾配値の和の計算に使用しなくてもよい。
別の例として、前記縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つの値を計算するとき、現在サンプルの周辺に存在するサンプルがＣＴＵ或いはＣＴＢ境界外に位置する場合には、前記周辺に存在するサンプルを勾配値の和の計算に使用しなくてもよい。
本発明の一実施形態によれば、前記１Ｄラプラシアン演算値のうちの少なくとも一つの値を計算するとき、現在サンプルの周辺に利用可能でないサンプルが存在する場合には、前記利用可能でないサンプルに隣接し、利用可能なサンプル値を前記利用可能でないサンプル値にコピーする方式であるパディングを行った後、パディングされたサンプルを用いて１Ｄラプラシアン演算を行うことができる。
本発明の一実施形態によれば、前記１Ｄラプラシアン演算の際に、所定のサンプルを利用しなくてもよい。
一例として、前記１Ｄラプラシアン演算の際に、パディングされたサンプルを利用しなくてもよい。
他の例として、前記１Ｄラプラシアン演算値のうちの少なくとも一つの値を計算するとき、現在サンプルの周辺に利用可能でないサンプルが存在する場合には、前記利用可能でないサンプルを１Ｄラプラシアン演算に使用しなくてもよい。
別の例として、前記１Ｄラプラシアン演算値のうちの少なくとも一つの値を計算するとき、現在サンプルの周辺に存在するサンプルがＣＴＵ或いはＣＴＢ境界外に位置する場合には、前記周辺に存在するサンプルを１Ｄラプラシアン演算には使用しなくてもよい。
本発明の一実施形態によれば、前記縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つの値を計算するとき、或いは前記１Ｄラプラシアン演算値のうちの少なくとも一つの値を計算するとき、デブロッキングフィルタリング、適応的サンプルオフセット及び適応的ループ内フィルタリングのうちの少なくとも一つが適用されたサンプルを使用することができる。
本発明の一実施形態によれば、前記縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つの値を計算するとき、或いは前記１Ｄラプラシアン演算値のうちの少なくとも一つの値を計算するとき、現在サンプルの周辺に存在するサンプルがＣＴＵ或いはＣＴＢ境界外に位置する場合には、当該サンプルにデブロッキングフィルタリング、適応的サンプルオフセット、及び適応的ループ内フィルタリングのうちの少なくとも一つを適用することができる。
又は、前記縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つの値を計算するとき、或いは前記１Ｄラプラシアン演算値のうちの少なくとも一つの値を計算するとき、現在サンプルの周辺に存在するサンプルがＣＴＵ或いはＣＴＢ境界外に位置する場合には、当該サンプルにデブロッキングフィルタリング、適応的サンプルオフセット及び適応的ループ内フィルタリングのうちの少なくとも一つを適用しなくてもよい。
本発明の一実施形態によれば、１Ｄラプラシアン演算の和が計算される範囲内にＣＴＵ或いはＣＴＢ境界外などに位置して利用可能でないサンプルが含まれる場合、当該利用可能でないサンプルにデブロッキングフィルタリング、適応的サンプルオフセット及び適応的ループ内フィルタリングのうちの少なくとも一つを適用せずに、１Ｄラプラシアン演算の和を計算するときに使用することができる。
本発明の一実施形態によれば、ブロック分類単位内にＣＴＵ或いはＣＴＢ境界外などに位置して利用可能でないサンプルが含まれる場合、当該利用可能でないサンプルにデブロッキングフィルタリング、適応的サンプルオフセット及び適応的ループ内フィルタリングのうちの少なくとも一つを適用せずに、１Ｄラプラシアン演算を計算するときに使用することができる。
一方、前記副標本に基づいて勾配値を計算する方法は、１Ｄラプラシアン演算の和が計算される範囲内の全体サンプルではなく、１Ｄラプラシアン演算の和が計算される範囲内の副標本サンプルに対して１Ｄラプラシアン演算が行われるので、ブロック分類ステップに必要な乗算演算、シフト（ｓｈｉｆｔ）演算、加算演算、絶対値演算などの演算数が減少することができる。また、復元サンプルを使用するときに必要なメモリアクセス帯域幅（ｍｅｍｏｒｙ ａｃｃｅｓｓ ｂａｎｄｗｉｄｔｈ）も減少させることができ、これにより符号化器及び復号化器の複雑度を減少させることができる。特に、前記副標本サンプルに対して１Ｄラプラシアン演算を行うことは、符号化器及び復号化器のハードウェア実現時にブロック分類ステップにかかる時間（ｔｉｍｉｎｇ）を減らすことができるので、ハードウェア実現複雑度の観点からも利点がある。
また、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさと同じかそれより小さい場合には、ブロック分類ステップに必要な加算演算の数が減少することができる。また、復元サンプルを使用するときに必要なメモリアクセス帯域幅も減少させることができ、これにより符号化器及び復号化器の複雑度を減少させることができる。
一方、前記副標本に基づいて勾配値を計算する方法は、計算しようとする縦方向、横方向、第１対角方向、第２対角方向の勾配値に応じて１Ｄラプラシアン演算の対象となるサンプルの位置、サンプルの個数、及びサンプル位置の方向のうちの少なくとも一つを異ならせて縦方向、横方向、第１対角方向、第２対角方向の勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。
また、前記副標本に基づいて勾配値を計算する方法は、計算しようとする縦方向、横方向、第１対角方向、第２対角方向の勾配値に関係なく、１Ｄラプラシアン演算の対象となるサンプルの位置、サンプルの個数、及びサンプル位置の方向のうちの少なくとも一つを同一にして縦方向、横方向、第１対角方向、第２対角方向の勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。
また、前記勾配値を計算する方法のうちの少なくとも一つの組み合わせを用いて、縦方向、横方向、第１対角方向、第２対角方向の勾配値による１Ｄラプラシアン演算及び縦方向、横方向、第１対角方向、第２対角方向に対するそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる。
本発明の一実施形態によれば、縦方向、横方向、第１対角方向、第２対角方向に対するそれぞれの勾配値の合計ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも二つの値を互いに比較することができる。
一例として、前記勾配値の和を計算した後、縦方向の勾配値の和ｇｖと横方向の勾配値の和ｇｈとを比較して、横方向及び縦方向に対する勾配値の和の最大値
と最小値
を数式１６の例のように誘導することができる。
［数式１６］
このとき、縦方向の勾配値の和ｇｖと横方向の勾配値の和ｇｈとを比較するために、数式１７の例のように前記勾配値の和同士の大きさを互いに比較することができる。
［数式１７］
他の例として、第１対角方向の勾配値の和ｇｄ１と第２対角方向の勾配値の和ｇｄ２とを比較して、第１対角方向及び第２対角方向に対する勾配値の和の最大値
と最小値
を数式１８の例のように誘導することができる。
［数式１８］
このとき、第１対角方向の勾配値の和ｇｄ１と第２対角方向の勾配値の和ｇｄ２とを比較するために、数式１９の例のように前記勾配値の和同士の大きさを互いに比較することができる。
［数式１９］
本発明の一実施形態によれば、方向性Ｄ値を算出するために、前記最大値及び前記最小値を次のとおり２つのしきい値ｔ１及びｔ２と比較することができる。
方向性Ｄ値は、０を含む正の整数であり得る。一例として、方向性Ｄ値は、０乃至４の間の値を持つことができる。他の例として、方向性Ｄ値は、０乃至２の間の値を持つことができる。
また、方向性Ｄ値は、当該領域の特徴に応じて決定できる。例えば、方向性Ｄ値が０である場合にはテクスチャ（ｔｅｘｔｕｒｅ）領域、方向性Ｄ値が１である場合には強い水平／垂直方向性、方向性Ｄ値が２である場合には弱い水平／垂直方向性、方向性Ｄ値が３である場合には強い第１／第２対角方向性、方向性Ｄ値が４である場合には弱い第１／第２対角方向性をそれぞれ意味することができる。前記方向性Ｄ値の決定は、下記ステップ１乃至ステップ４によって行われ得る。
ステップ１：
と
が満足すれば、Ｄ値を０に設定
ステップ２：
が満足すれば、ステップ３に移行し、そうでなければ、ステップ４に移行
ステップ３：
が満足すれば、Ｄ値を２に設定し、そうでなければ、Ｄ値を１に設定
ステップ４：
が満足すれば、Ｄ値を４に設定し、そうでなければ、Ｄ値を３に設定
ここで、しきい値ｔ１及びｔ２は正の整数である。ｔ１及びｔ２は、同じ値を持ってもよく、異なる値を持ってもよい。一例として、ｔ１及びｔ２はそれぞれ２、９であってもよい。他の例として、ｔ１及びｔ２はそれぞれ１であってもよい。別の例として、ｔ１及びｔ２はそれぞれ１、９であってもよい。
活動性Ａ値は、２×２ブロック分類の場合、数式２０の例のように表すことができる。
［数式２０］
一例として、ｋとｌは、互いに同じ範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが同一であってもよい。
他の例として、ｋとｌは、互いに異なる範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが異なってもよい。
別の例として、ｋはｉ－２乃至ｉ＋３の範囲、ｌはｊ－２乃至ｊ＋３の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が６×６サイズであってもよい。
別の例として、ｋはｉ－１乃至ｉ＋２の範囲、ｌはｊ－１乃至ｊ＋２の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が４×４サイズであってもよい。
別の例として、ｋはｉ乃至ｉ＋１の範囲、ｌはｊ乃至ｊ＋１の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が２×２サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさと同一であってもよい。
別の例として、１Ｄラプラシアン演算の結果の和が計算される範囲は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つの２次元幾何学的形状であってもよい。
また、活動性Ａ値は、４×４ブロック分類の場合、数式２１の例のように表すことができる。
［数式２１］
一例として、ｋとｌは、互いに同じ範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが同一であってもよい。
他の例として、ｋとｌは、互いに異なる範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが異なってもよい。
別の例として、ｋはｉ－２乃至ｉ＋５の範囲、ｌはｊ－２乃至ｊ＋５の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が８×８サイズであってもよい。
別の例として、ｋはｉ乃至ｉ＋３の範囲、ｌはｊ乃至ｊ＋３の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が４×４サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさと同一であってもよい。
別の例として、１Ｄラプラシアン演算の結果の和が計算される範囲は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つの２次元幾何学的形状であってもよい。
また、活動性Ａ値は、２×２ブロック分類の場合、数式２２の例のように表すことができる。ここで、第１対角方向及び第２対角方向に対する１Ｄラプラシアン演算値のうちの少なくとも一つを、活動性Ａ値を算出するときにさらに使用することができる。
［数式２２］
一例として、ｋとｌは、互いに同じ範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが同一であってもよい。
他の例として、ｋとｌは、互いに異なる範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが異なってもよい。
別の例として、ｋはｉ－２乃至ｉ＋３の範囲、ｌはｊ－２乃至ｊ＋３の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が６×６サイズであってもよい。
別の例として、ｋはｉ－１乃至ｉ＋２の範囲、ｌはｊ－１乃至ｊ＋２の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が４×４サイズであってもよい。
別の例として、ｋはｉ乃至ｉ＋１の範囲、ｌはｊ乃至ｊ＋１の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が２×２サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさと同一であってもよい。
別の例として、１Ｄラプラシアン演算の結果の和が計算される範囲は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つの２次元幾何学的形状であってもよい。
また、活動性Ａ値は、４×４ブロック分類の場合、数式２３の例のように表すことができる。ここで、第１対角方向及び第２対角方向に対する１Ｄラプラシアン演算値のうちの少なくとも一つを、活動性Ａ値を算出するときにさらに使用することができる。
［数式２３］
一例として、ｋとｌは、互いに同じ範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さとが同一であってもよい。
他の例として、ｋとｌは、互いに異なる範囲を持ってもよい。すなわち、１Ｄラプラシアン演算の和が計算される範囲の横長さと縦長さが異なってもよい。
別の例として、ｋはｉ－２乃至ｉ＋５の範囲、ｌはｊ－２乃至ｊ＋５の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が８×８サイズであってもよい。
別の例として、ｋはｉ乃至ｉ＋３の範囲、ｌはｊ乃至ｊ＋３の範囲を持つため、１Ｄラプラシアン演算の和が計算される範囲が４×４サイズであってもよい。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさと同一であってもよい。
別の例として、１Ｄラプラシアン演算の結果の和が計算される範囲は、菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つの２次元幾何学的形状であってもよい。
一方、前記活動性Ａ値は、量子化されてＩとＪの間の範囲の量子化した活動性Ａｑ値を持つことができる。ここで、ＩとＪは、それぞれ０を含む正の整数であり、それぞれ０と４であってもよい。
量子化した活動性Ａｑ値は、所定の方式を用いて決定することができる。
一例として、量子化した活動性Ａｑ値は、数式２４の例のように表すことができる。この場合、量子化した活動性Ａｑ値は、特定の最小値Ｘ及び特定の最大値Ｙの範囲内に含まれ得る。
［数式２４］
数式２４で量子化した活動性Ａｑ値は、前記活動性Ａ値に特定の定数Ｗ値を掛け、Ｒだけ右シフト演算を行うことにより算出できる。このとき、Ｘ、Ｙ、Ｗ、Ｒは、０を含む正の整数である。一例として、Ｗは２４であってもよく、Ｒは１３であってもよい。他の例として、Ｗは６４であってもよく、Ｒは（３＋Ｎビット）であってもよい。例えば、Ｎは正の整数であり、８又は１０であってもよい。別の例として、Ｗは３２であり、Ｒは（３＋Ｎビット）であってもよい。例えば、Ｎは正の整数であり、８又は１０であってもよい。
他の例として、前記量子化した活動性Ａｑ値は、ルックアップテーブル（ＬＵＴ、Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）方式を用いて、活動性Ａ値と量子化した活動性Ａｑ値とのマッピング関係を設定することができる。すなわち、活動性Ａ値に演算を行い、前記ルックアップテーブルを用いて、量子化した活動性Ａｑ値を算出することができる。このとき、前記演算は乗算、除算演算、右シフト演算、左シフト演算、加算及び減算のうちの少なくとも一つを含むことができる。
一方、色差成分の場合、前記ブロック分類過程を行わず、Ｋ個のフィルタでそれぞれの色差成分に対してフィルタリングを行うことができる。ここで、Ｋは、０を含む正の整数であり、１であってもよい。また、色差成分の場合、前記ブロック分類過程を行わず、対応する位置の輝度成分で決定したブロック分類インデックスを用いてフィルタリングを行うことができる。また、色差成分の場合、色差成分に対するフィルタ情報がシグナリングされず、固定された形態のフィルタが用いられ得る。
図３２は本発明の一実施形態に係る１Ｄラプラシアン演算を代えるさまざまな演算技法を示す図である。
本発明の一実施形態によれば、前記１Ｄラプラシアン演算の代わりに、図３２に記載された演算のうちの少なくとも一つを使用することができる。図３２を参照すると、前記演算は、２Ｄラプラシアン、２Ｄソーベル（Ｓｏｂｅｌ）、２Ｄエッジ抽出及び２Ｄ ＬｏＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）演算のうちの少なくとも一つを含むことができる。ここで、ＬｏＧ演算は、ガウシアン（Ｇａｕｓｓｉａｎ）フィルタとラプラシアンフィルタとが組み合わせられた形態で復元サンプルに対して適用されることを意味することができる。この他に、１Ｄ／２Ｄエッジ抽出フィルタのうちの少なくとも一つが１Ｄラプラシアン演算の代わりに使用できる。また、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）演算が使用できる。ここで、ＤｏＧ演算は、内部パラメータが異なるガウシアンフィルタ同士が結合された形で復元サンプルに対して適用されることを意味することができる。
また、前記方向性Ｄ値或いは前記活動性Ａ値を算出するために、Ｎ×ＭサイズのＬｏＧ演算が使用できる。ここで、ＮとＭは正の整数であってもよい。一例として、図３２（ｉ）の５×５ ２Ｄ ＬｏＧ、図３２（ｊ）の９×９ ２Ｄ ＬｏＧ演算のうちの少なくとも一つが使用されてもよい。他の例として、２Ｄ ＬｏＧ演算の代わりに１Ｄ ＬｏＧ演算が使用されてもよい。
本発明の一実施形態によれば、輝度ブロックの各２×２ブロックは、方向性と２Ｄラプラシアン活動性に基づいて分類できる。例えば、ソーベルフィルタを用いて横／縦勾配特性を得ることができる。方向性Ｄ値は、数式２５乃至数式２６を用いて取得できる。
代表ベクトルは、所定のウィンドウサイズ（例えば、６×６ブロック）内の勾配ベクトルに対して［数式２５］の条件が満足するように計算できる。Θによって方向と変形が識別できる。
［数式２５］
前記ウィンドウ内での代表ベクトルと各勾配ベクトルとの類似度は、数式２６のように内積を用いて計算できる。
［数式２６］
そして、方向性Ｄ値は、数式２６で計算されたＳ値を用いて決定することができる。
ステップ１：
であれば、Ｄ値を０に設定
ステップ２：
及び
であれば、Ｄ値を２に設定し、そうでなければ、Ｄ値を１に設定
ステップ３：
及び
であれば、Ｄ値を４に設定し、そうでなければ、Ｄ値を３に設定
ここで、全体ブロック分類インデックスは、合計２５個であり得る。
本発明の一実施形態によれば、復元サンプル
のブロック分類は、数式２７で表すことができる。
［数式２７］
数式２７中、Ｉは、復元サンプル
の全てのサンプル位置の集合である。Ｄは、各サンプル位置（ｉ，ｊ）に対してクラスインデックス
を割り当てる分類子である。また、クラス
は、クラスインデックスｋが分類子Ｄによって割り当てられた全てのサンプルの集まりである。前記クラスは４つの異なる分類子を支援し、それぞれの分類子はＫ＝２５又は２７のクラスを提供することができる。復号化器で使用される分類子は、スライスレベルでシグナリングされる構文要素ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿ｉｄｘによって指定できる。
であるクラス
が与えられると、次のステップのように進行する。
ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿ｉｄｘ＝０であれば、前記方向性と活性性に基づいたブロック分類子
が利用できる。分類子は、Ｋ＝２５個のクラスを提供することができる。
ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿ｉｄｘ＝１であれば、サンプルベースの特徴分類子
が分類子として利用できる。
は、数式２８に基づいて各サンプル
の量子化サンプル値を用いることができる。
［数式２８］
ここで、Ｂはサンプルのビット深度であり、クラスＫの数はＫ＝２７に設定され、演算子
は大きくない一番大きい整数に四捨五入する演算を指定する。
ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿ｉｄｘ＝２であれば、順位に基づいたサンプルベースの特徴分類子
が利用できる。
は、後述する数式３０で表すことができる。
は、サンプル値
をその周辺の８つのサンプルと比較して大きさの順に羅列する分類子であり、数式２９で表すことができる。
［数式２９］
分類子
は、０乃至８の間の値を持つことができる。サンプル
が、（ｉ，ｊ）を中心とする３×３ブロック内で一番大きいサンプルであれば、
の値は０である。
が二番目に大きいサンプルであれば、
の値は１である。
［数式３０］
数式３０中、Ｔ１とＴ２は予め定義されたしきい値である。すなわち、サンプルの動的範囲が３つのバンドに分けられ、各バンドの内部で当該ローカル周辺内のサンプルのｒａｎｋが追加基準として使用される。順位に基づいたサンプルベースの特徴分類子は、Ｋ＝２７個のクラスを提供することができる。
ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿ｉｄｘ＝３であれば、順位と地域変化量ベースの特徴分類子
が利用できる。
は数式３１で表すことができる。
［数式３１］
数式３１中、Ｔ３或いはＴ４は予め定義されたしきい値である。各サンプル位置（ｉ，ｊ）における地域変化量
は、数式３２で表すことができる。
［数式３２］
各サンプルがまずローカル変数
に基づいて３つのクラスのうちのいずれかの要素として分類されることを除いては、
と同様の分類子である。その後、各クラス内において、ローカルの周辺にあるサンプルの順位が２７個のクラスを提供する追加基準として使用できる。
本発明の一実施形態によれば、スライスレベルにおいて、ＩｎｔｅｎｓｉｔｙＣｌａｓｓｉｆｉｅｒ、ＨｉｓｔｏｇｒａｍＣｌａｓｓｉｆｉｅｒ、ＤｉｒｅｃｔｉｏｎａｌＡｃｔｉｖｉｔｙＣｌａｓｓｉｆｉｅｒなどの３つのピクセル分類方法を使用する最大１６個のフィルタセットが現在スライスに利用できる。ＣＴＵレベルにおいて、スライスヘッダーからシグナリングされる制御フラグに基づいて、ＮｅｗＦｉｌｔｅｒＭｏｄｅ、ＳｐａｔｉａｌＦｉｌｔｅｒＭｏｄｅ、ＳｌｉｃｅＦｉｌｔｅｒＭｏｄｅの３つのモードがＣＴＵ単位で支援できる。
ここで、前記ＩｎｔｅｎｓｉｔｙＣｌａｓｓｉｆｉｅｒは、ＳＡＯのバンドオフセットと類似していてもよい。サンプル強度の範囲は３２個のグループに分けられ、グループインデックスは処理されるサンプルの強度に基づいて決定できる。
また、ＳｉｍｉｌａｒｉｔｙＣｌａｓｓｉｆｉｅｒは、５×５菱形フィルタ形状において周辺サンプルをフィルタリング対象サンプルと比較するために使用できる。フィルタリング対象サンプルのグループインデックスは、まず０に初期化できる。周辺サンプルとフィルタリング対象サンプルとの差が所定の一つのしきい値よりも大きい場合には、グループインデックスは１だけ増加できる。また、周辺サンプルとフィルタリング対象サンプルとの差が、予め定義されたしきい値よりも２倍以上大きい場合、グループインデックスにさらに１を加えることができる。このとき、ＳｉｍｉｌａｒｉｔｙＣｌａｓｓｉｆｉｅｒには２５個のグループがあり得る。
また、ＲｏｔＢＡＣｌａｓｓｉｆｉｅｒは、一つの２×２ブロックに対する１Ｄラプラシアン演算の和が計算される範囲が６×６から４×４に縮小できる。この分類には、最大２５個のグループがあり得る。グループの数は、様々な分類子において最大２５又は３２であるが、スライスフィルタ集合のフィルタ数は、最大１６個に制限できる。すなわち、符号化器は、連続するグループをマージし、マージされたグループの数を１６と同じかそれより小さく維持することができる。
本発明の一実施形態によれば、前記ブロック分類インデックスを決定する際に、現在ブロックと周辺ブロックのうちの少なくとも一つの符号化パラメータに基づいてブロック分類インデックスが決定できる。前記符号化パラメータのうちの少なくとも一つによってブロック分類インデックスが互いに異なり得る。この時、前記符号化パラメータは、予測モード（画面間予測であるか画面内予測であるか）、画面内予測モード、画面間予測モード、画面間予測インジケータ、動きベクトル、参照画像インデックス、量子化パラメータ、現在ブロックの大きさ、現在ブロックの形状、ブロック分類単位の大きさ、符号化ブロックフラグ／パターンのうちの少なくとも一つを含むことができる。
一例として、前記ブロック分類は、量子化パラメータに基づいて決定できる。例えば、量子化パラメータがしきい値Ｔよりも小さい場合には、Ｊ個のブロック分類インデックスを使用することができ、量子化パラメータがしきい値Ｒよりも大きい場合には、Ｈ個のブロック分類インデックスを使用することができ、そうでない場合には、Ｇ個のブロック分類インデックスを使用することができる。ここで、Ｔ、Ｒ、Ｊ、Ｈ、Ｇは、０を含む正の整数である。また、ＪはＨと同じかそれより大きくてもよい。ここで、量子化パラメータの値が相対的に大きいほど少ない個数のブロック分類インデックスを使用することができる。
他の例として、前記ブロック分類は、現在ブロックの大きさに応じて決定できる。例えば、現在ブロックの大きさがしきい値Ｔよりも小さい場合には、Ｊ個のブロック分類インデックスを使用することができ、現在ブロックの大きさがしきい値Ｒよりも大きい場合には、Ｈ個のブロック分類インデックスを使用することができ、そうでない場合には、Ｇ個のブロック分類インデックスを使用することができる。ここで、Ｔ、Ｒ、Ｊ、Ｈ、Ｇは、０を含む正の整数である。また、Ｊは、Ｈと同じかそれより大きくてもよい。ここで、ブロックの大きさが相対的に大きいほど少ない個数のブロック分類インデックスを使用することができる。
別の例として、前記ブロック分類は、ブロック分類単位の大きさに応じて決定できる。例えば、ブロック分類単位の大きさがしきい値Ｔよりも小さい場合には、Ｊ個のブロック分類インデックスを使用することができ、ブロック分類単位の大きさがしきい値Ｒよりも大きい場合には、Ｈ個のブロック分類インデックスを使用することができ、そうでない場合には、Ｇ個のブロック分類インデックスを使用することができる。ここで、Ｔ、Ｒ、Ｊ、Ｈ、Ｇは、０を含む正の整数である。また、Ｊは、Ｈと同じかそれより大きくてもよい。ここで、ブロック分類単位の大きさが相対的に大きいほど少ない個数のブロック分類インデックスを使用することができる。
本発明の一実施形態によれば、以前画像内の対応位置の勾配値の和、現在ブロックの周辺ブロックの勾配値の和、及び現在ブロック分類単位周辺のブロック分類単位の勾配値の和のうちの少なくとも一つの勾配値の和を、現在ブロックの勾配値の和及び現在ブロック分類単位の勾配値の和のうちの少なくとも一つとして決定することができる。ここで、以前画像内の対応位置は、現在画像内の対応復元サンプルと対応する空間的位置を持つ以前画像内の位置或いは周辺位置であり得る。
一例として、現在ブロック単位の縦方向、横方向の勾配値の和ｇｖ、ｇｈのうちの少なくとも一つと、現在ブロック分類単位周辺のブロック分類単位の横方向、縦方向の勾配値の和のうちの少なくとも一つとの差がしきい値Ｅ以下である場合、現在ブロック分類単位周辺のブロック分類単位の第１対角方向、第２対角方向の勾配値の和ｇｄ１、ｇｄ２のうちの少なくとも一つを、現在ブロック単位の勾配値の和のうちの少なくとも一つとして決定することができる。ここで、しきい値Ｅは、０を含む正の整数である。
他の例として、現在ブロック単位の縦方向、横方向の勾配値の和ｇｖ、ｇｈの和と現在ブロック分類単位周辺のブロック分類単位の横方向、縦方向の勾配値の和との差がしきい値Ｅ以下である場合、現在ブロック分類単位周辺のブロック分類単位の勾配値の和のうちの少なくとも一つを、現在ブロック単位の勾配値の和のうちの少なくとも一つとして決定することができる。ここで、しきい値Ｅは、０を含む正の整数である。
別の例として、現在ブロック単位内復元サンプルのうちの少なくとも一つの統計値と、現在ブロック分類単位周辺のブロック分類単位内復元サンプルのうちの少なくとも一つの統計値との差がしきい値Ｅ以下である場合、現在ブロック単位周辺のブロック分類単位の勾配値の和のうちの少なくとも一つを、現在ブロック単位の勾配値の和のうちの少なくとも一つとして決定することができる。ここで、しきい値Ｅは、０を含む正の整数である。そして、しきい値Ｅは、現在ブロックの空間的隣接ブロック及び／又は時間的隣接ブロックから誘導することができる。また、しきい値Ｅは、符号化器及び復号化器に予め定義された値であり得る。
本発明の一実施形態によれば、以前画像内対応位置のブロック分類インデックス、現在ブロックの周辺ブロックのブロック分類インデックス、及び現在ブロック分類単位周辺のブロック分類単位のブロック分類インデックスのうちの少なくとも一つのブロック分類インデックスを、現在ブロックのブロック分類インデックス、及び現在ブロック分類単位のブロック分類インデックスのうちの少なくとも一つとして決定することができる。
一例として、現在ブロック単位の縦方向、横方向の勾配値の和ｇｖ、ｇｈのうちの少なくとも一つと、現在ブロック分類単位周辺のブロック分類単位の横方向、縦方向の勾配値の和のうちの少なくとも一つとの差がしきい値Ｅ以下である場合、現在ブロック分類単位周辺のブロック分類単位のブロック分類インデックスを、現在ブロック単位のブロック分類インデックスとして決定することができる。ここで、しきい値Ｅは、０を含む正の整数である。
他の例として、現在ブロック単位の縦方向、横方向の勾配値の和ｇｖ、ｇｈの和と現在ブロック分類単位周辺のブロック分類単位の横方向、縦方向の勾配値の和との差がしきい値Ｅ以下である場合、現在ブロック分類単位周辺のブロック分類単位のブロック分類インデックスを、現在ブロック単位のブロック分類インデックスとして決定することができる。ここで、しきい値Ｅは、０を含む正の整数である。
別の例として、現在ブロック単位内復元サンプルのうちの少なくとも一つの統計値と、現在ブロック分類単位周辺のブロック分類単位内復元サンプルのうちの少なくとも一つの統計値との差がしきい値Ｅ以下である場合、現在ブロック単位周辺のブロック分類単位のブロック分類インデックスを、現在ブロック単位のブロック分類インデックスとして決定することができる。ここで、しきい値Ｅは、０を含む正の整数である。
別の例として、前記ブロック分類インデックスを決定する方法のうちの少なくとも一つの組み合わせを用いて、ブロック分類インデックスを決定することができる。
以下、フィルタリング実行ステップについて後述する。
本発明の一実施形態によれば、前記決定されたブロック分類インデックスに対応するフィルタを用いて復元／復号画像内のサンプル又はブロックに対してフィルタリングを行うことができる。前記フィルタリングの実行時に、Ｌ種類のフィルタの中からいずれかのフィルタが選択できる。前記Ｌは、０を含む正の整数であり得る。
一例として、前記ブロック分類単位でＬ種類のフィルタの中からいずれか一つのフィルタが選択され、復元／復号画像に対して復元／復号サンプル単位でフィルタリングを行うことができる。
他の例として、前記ブロック分類単位でＬ種類のフィルタの中からいずれか一つのフィルタが選択され、復元／復号画像に対してブロック分類単位でフィルタリングを行うことができる。
別の例として、前記ブロック分類単位でＬ種類のフィルタの中からいずれか一つのフィルタが選択され、復元／復号画像に対してＣＵ単位でフィルタリングを行うことができる。
別の例として、前記ブロック分類単位でＬ種類のフィルタの中からいずれか一つのフィルタが選択され、復元／復号画像に対してブロック単位でフィルタリングを行うことができる。
別の例として、前記ブロック分類単位でＬ種類のフィルタの中からＵ個のフィルタが選択され、復元／復号画像に対して復元／復号サンプル単位でフィルタリングを行うことができる。このとき、Ｕは正の整数である。
別の例として、前記ブロック分類単位でＬ種類のフィルタの中からＵ個のフィルタが選択され、復元／復号画像に対してブロック分類単位でフィルタリングを行うことができる。このとき、Ｕは正の整数である。
別の例として、前記ブロック分類単位でＬ種類のフィルタの中からＵ個のフィルタが選択され、復元／復号画像に対してＣＵ単位でフィルタリングを行うことができる。このとき、Ｕは正の整数である。
別の例として、前記ブロック分類単位でＬ種類のフィルタの中からＵ個のフィルタが選択され、復元／復号画像に対してブロック単位でフィルタリングを行うことができる。このとき、Ｕは正の整数である。
一方、前記Ｌ種類のフィルタをフィルタセット（ｆｉｌｔｅｒ ｓｅｔ）と表現することができる。
本発明の一実施形態によれば、前記Ｌ種類のフィルタは、フィルタ係数、フィルタタップ数（フィルタ長）、フィルタ形状及びフィルタ種類のうちの少なくとも一つが互いに異なり得る。
一例として、前記Ｌ種類のフィルタは、ブロック、ＣＵ、ＰＵ、ＴＵ、ＣＴＵ、スライス、タイル、タイルグループ、画像（ピクチャ）及びシーケンスのうちの少なくとも一つの単位でフィルタ係数、フィルタタップ数（フィルタ長）、フィルタ形状及びフィルタ種類のうちの少なくとも一つが互いに同一であってもよい。
他の例として、前記Ｌ種類のフィルタは、ブロック、ＣＵ、ＰＵ、ＴＵ、ＣＴＵ、スライス、タイル、タイルグループ、画像（ピクチャ）及びシーケンスのうちの少なくとも一つの単位でフィルタ係数、フィルタタップ数（フィルタ長）、フィルタ形状及びフィルタ種類のうちの少なくとも一つが互いに異なってもよい。
また、前記フィルタリングは、サンプル、ブロック、ＣＵ、ＰＵ、ＴＵ、ＣＴＵ、スライス、タイル、タイルグループ、画像（ピクチャ）及びシーケンスのうちの少なくとも一つの単位で同じフィルタ或いは互いに異なるフィルタを用いて行われ得る。
また、前記フィルタリングは、サンプル、ブロック、ＣＵ、ＰＵ、ＴＵ、ＣＴＵ、スライス、タイル、タイルグループ、画像（ピクチャ）及びシーケンスのうちの少なくとも一つの単位でフィルタリングを行うかに対するフィルタリング実行有無情報に基づいて行われ得る。前記フィルタリング実行有無情報は、サンプル、ブロック、ＣＵ、ＰＵ、ＴＵ、ＣＴＵ、スライス、タイル、タイルグループ、画像（ピクチャ）及びシーケンスのうちの少なくとも一つの単位で符号化器から復号化器へシグナリングされる情報であり得る。
本発明の一実施形態によれば、前記フィルタリングのためのフィルタとして、菱形（ｄｉａｍｏｎｄ、ｒｈｏｍｂｕｓ）のフィルタ形状を有し、フィルタタップ数が互いに異なるＮ種類のフィルタを使用することができる。ここで、Ｎは正の整数であり得る。例えば、フィルタタップ数が５×５、７×７、９×９である菱形は、図３３のように表すことができる。
図３３は本発明の一実施形態に係る菱形形状のフィルタを示す図である。
図３３を参照すると、フィルタタップ数が５×５、７×７、９×９である菱形形状の３つのフィルタのうちどのフィルタを使用するかについての情報を符号化器から復号化器へシグナリングするために、ピクチャ／タイル／タイルグループ／スライス／シーケンス単位でフィルタインデックス（ｆｉｌｔｅｒ ｉｎｄｅｘ）をエントロピー符号化／復号化することができる。つまり、ビットストリーム内のシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライスヘッダー（ｓｌｉｃｅ ｈｅａｄｅｒ）、スライスデータ（ｓｌｉｃｅ ｄａｔａ）、タイルヘッダー（ｔｉｌｅ ｈｅａｄｅｒ）、タイルグループヘッダー（ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒ）などにフィルタインデックスをエントロピー符号化／復号化することができる。
本発明の一実施形態によれば、符号化器／復号化器でフィルタタップ数が１つに固定されている場合、前記フィルタインデックスをエントロピー符号化／復号化せずに、当該フィルタを用いて符号化器／復号化器でフィルタリングを行うことができる。ここで、前記フィルタタップ数は、輝度成分の場合には７×７菱形形状であり、色差成分の場合には５×５菱形形状であり得る。
本発明の一実施形態によれば、前記３種類の菱形形状のフィルタのうちの少なくとも一つは、輝度成分及び色差成分のうちの少なくとも一つの復元／復号サンプルフィルタリングに使用できる。
一例として、輝度成分復元／復号サンプルには、図３３の３種類の菱形形状のフィルタのうちの少なくとも一つのフィルタが復元／復号サンプルフィルタリングに使用できる。
他の例として、色差成分復元／復号サンプルには、図３３の５×５菱形形状のフィルタが復元／復号サンプルフィルタリングに使用できる。
別の例として、色差成分復元／復号サンプルには、前記色差成分に対応する輝度成分から選択されたフィルタを用いてフィルタリングが行われ得る。
一方、図３３の各フィルタ形状内の数字は、フィルタ係数インデックス（ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔ ｉｎｄｅｘ）を表し、フィルタを中心にフィルタ係数インデックスが対称形状を持つことができる。すなわち、図３３のフィルタを点対称フィルタ（ｐｏｉｎｔ ｓｙｍｍｅｔｒｉｃ ｆｉｌｔｅｒ）形状とすることができる。
一方、図３３（ａ）に示すように９×９菱形形状のフィルタの場合は合計２１個のフィルタ係数、図３３（ｂ）に示すように７×７菱形形状のフィルタの場合は合計１３個のフィルタ係数、図３３（ｃ）に示すように５×５菱形形状のフィルタの場合は合計７個のフィルタ係数がエントロピー符号化／復号化できる。つまり、最大２１個のフィルタ係数をエントロピー符号化／復号化しなければならない。
また、図３３（ａ）に示すように９×９菱形形状のフィルタの場合はサンプルあたり合計２１個の乗算、図３３（ｂ）に示すように７×７菱形形状のフィルタの場合はサンプルあたり合計１３個の乗算、図３３（ｃ）に示すように５×５菱形形状のフィルタの場合はサンプルあたり合計７個の乗算が必要である。つまり、サンプルあたり最大２１個の乗算を用いてフィルタリングを行わなければならない。
また、図３３（ａ）に示すように９×９菱形形状のフィルタの場合は、９×９サイズを有するので、ハードウェア実現時にフィルタの縦長さの半分である４ラインのラインバッファ（ｌｉｎｅ ｂｕｆｆｅｒ）が必要である。つまり、最大４つのラインに対するラインバッファが必要である。
本発明の一実施形態によれば、前記フィルタリングのためのフィルタとして、フィルタタップ数は全て５×５と同一であるが、フィルタ形状が菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形などのうちの少なくとも一つを含むフィルタが使用できる。例えば、フィルタタップ数が５×５であり、フィルタ形状が正方形、八角形、雪片、菱形の形状である場合は、図３４のように表すことができる。
ここで、フィルタタップ数は５×５に限定されず、３×３、４×４、５×５、６×６、７×７、８×８、９×９、５×３、７×３、９×３、７×５、９×５、９×７、１１×７など、Ｈ×Ｖのフィルタタップを持つ少なくとも一つのフィルタが使用できる。ここで、ＨとＶは、正の整数であり、互いに同じ値を持ってもよく、互いに異なる値を持ってもよい。また、ＨとＶのうちの少なくとも一つは、符号化器／復号化器で予め定義された値であり、符号化器から復号化器へシグナリングされる値であり得る。また、ＨとＶのうちのいずれか一つの値を用いて、もう一つの値が定義できる。また、ＨとＶの値を用いて、Ｈ又はＶの最終値が定義できる。
一方、図３４の例のようなフィルタのうちどのフィルタを使用するかについての情報を符号化器から復号化器へシグナリングするために、ピクチャ／タイル／タイルグループ／スライス／シーケンス単位でフィルタインデックスをエントロピー符号化／復号化することができる。つまり、ビットストリーム内のシーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダー、スライスデータ、タイルヘッダー、タイルグループヘッダーなどにフィルタインデックスをエントロピー符号化／復号化することができる。
一方、図３４の例のような正方形、八角形、雪片、菱形形状のフィルタのうちの少なくとも一つは、輝度成分及び色差成分のうちの少なくとも一つの復元／復号サンプルフィルタリングに使用できる。
一方、図３４の各フィルタ形状内の数字は、フィルタ係数インデックスを表し、フィルタを中心にフィルタ係数インデックスが対称形状を持つことができる。すなわち、図３４のフィルタを点対称フィルタ形状とすることができる。
本発明の一実施形態によれば、復元画像をサンプル単位でフィルタリングする場合、各画像／スライス／タイル／タイルグループごとにどのフィルタ形状を使用するかを符号化器でレート－歪み最適化の観点から決定することができる。また、前記決定されたフィルタ形状を用いてフィルタリングを行うことができる。図３４のようなフィルタ形状に応じて符号化効率の向上程度、フィルタ情報の量（フィルタ係数の個数）などが異なるので、画像／スライス／タイル／タイルグループ単位で最適なフィルタ形状を決定する必要がある。つまり、画像の解像度、画像特性、ビットレート（ｂｉｔ ｒａｔｅ）などによって、図３４の例のようなフィルタ形状の中で最適なフィルタ形状が異なるように決定できる。
本発明の一実施形態によれば、図３４の例のようなフィルタを用いることが、図３３の例のようなフィルタを用いることと比較して符号化器／復号化器の計算複雑度を減少させることができる。
一例として、図３４（ａ）に示すように５×５正方形形状のフィルタの場合は合計１３個のフィルタ係数、図３４（ｂ）に示すように５×５八角形形状のフィルタの場合は合計１１個のフィルタ係数、図３４（ｃ）に示すように５×５雪片形状のフィルタの場合は合計９個のフィルタ係数、図３４（ｃ）に示すように５×５菱形形状のフィルタの場合は合計７個のフィルタ係数がエントロピー符号化／復号化できる。つまり、フィルタの形状によって、エントロピー符号化／復号化対象のフィルタ係数の個数が異なり得る。ここで、図３４の例のようなフィルタの中のフィルタ係数の最大個数（１３個）は、図３３の例のようなフィルタの中のフィルタ係数の最大数（２１個）よりも小さい。したがって、図３４の例のようなフィルタを用いる場合、エントロピー符号化／復号化対象フィルタ係数の個数が減少するので、符号化器／復号化器の計算複雑度を減少させることができる。
他の例として、図３４（ａ）に示すように５×５正方形形状のフィルタの場合はサンプルあたり合計１３個の乗算、図３４（ｂ）に示すように５×５八角形形状のフィルタの場合はサンプルあたり合計１１個の乗算、図３４（ｃ）に示すように５×５雪片形状のフィルタの場合はサンプルあたり合計９個の乗算、図３４（ｄ）に示すように５×５菱形形状のフィルタの場合はサンプルあたり合計７個の乗算が必要である。図３４の例のようなフィルタの中のフィルタのサンプルあたりの最大乗算数（１３個）が図３３の例のようなフィルタの中のフィルタのサンプルあたりの最大乗算数（２１個）よりも小さい。したがって、図３４の例のようなフィルタを用いる場合、サンプルあたりの乗算数が減少するので、符号化器／復号化器の計算複雑度を減少させることができる。
別の例として、図３４の例のようなフィルタにおいて、各フィルタ形状は全て５×５サイズを持つので、ハードウェア実現時にフィルタの縦長さの半分である２ラインのラインバッファが必要である。ここで、図３４の例のようなフィルタを実現するのに必要なラインバッファのライン数（２個）が、図３３の例のようなフィルタを実現するのに必要なラインバッファのライン数（４個）よりも小さい。したがって、図３４の例のようなフィルタを用いる場合、ラインバッファのサイズを低減させることができ、符号化器／復号化器の実現複雑度、メモリ要求量、メモリアクセス帯域幅を減少させることができる。
本発明の一実施形態によれば、前記フィルタリングのためのフィルタとして、フィルタ形状が菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形のうちの少なくとも一つを含むフィルタが使用できる。例えば、図３５ａ及び／又は図３５ｂの例のように正方形、八角形、雪片、菱形、六角形、長方形、十字架、ショップ、クローバー、対角の形状などを持つことができる。
一例として、図３５ａ及び／又は図３５ｂにおいてフィルタの縦長さが５であるフィルタのうちの少なくとも一つを用いてフィルタセットを構成した後、フィルタリングを行うことができる。
他の例として、図３５ａ及び／又は図３５ｂにおいてフィルタの縦長さが３であるフィルタのうちの少なくとも一つを用いてフィルタセットを構成した後、フィルタリングを行うことができる。
別の例として、図３５ａ及び／又は図３５ｂにおいてフィルタの縦長さが５及び３であるフィルタのうちの少なくとも一つを用いてフィルタセットを構成した後、フィルタリングを行うことができる。
一方、図３５ａ及び／又は図３５ｂにおいて、フィルタの形状は、フィルタの縦長さ３或いは５を基準に設計したものであるが、これに限定されず、フィルタの縦長さがＭである場合に設計してフィルタリングに使用することができる。ここで、Ｍは正の整数である。
一方、図３５ａ及び／又は図３５ｂの例のようなフィルタのうち、Ｈだけのフィルタセットを構成してどのフィルタを使用するかについての情報を符号化器から復号化器へシグナリングするために、ピクチャ／タイル／タイルグループ／スライス／シーケンス単位でフィルタインデックスをエントロピー符号化／復号化することができる。ここで、Ｈは正の整数である。つまり、ビットストリーム内のシーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダー、スライスデータ、タイルヘッダー、タイルグループヘッダーなどにフィルタインデックスをエントロピー符号化／復号化することができる。
一方、前記菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形形状のフィルタのうちの少なくとも一つは、輝度成分及び色差成分のうちの少なくとも一つの復元／復号サンプルフィルタリングに使用できる。
一方、図３５ａ及び／又は図３５ｂの各フィルタ形状内の数字は、フィルタ係数インデックスを示し、フィルタを中心にフィルタ係数インデックスが対称形状を持つ。すなわち、図３５ａ及び／又は図３５ｂのフィルタを点対称フィルタ形状とすることができる。
本発明の一実施形態によれば、図３５ａ及び／又は図３５ｂの例のようなフィルタを用いることが、図３３の例のようなフィルタを用いることと比較して符号化器／復号化器の計算複雑度を減少させることができる。
一例として、図３５ａ及び／又は図３５ｂの例のようなフィルタのうちの少なくとも一つを用いる場合、図３３の例のような９×９菱形形状のフィルタ係数の個数よりもエントロピー符号化／復号化対象フィルタ係数の個数を減少させることができ、符号化器／復号化器の計算複雑度を減少させることができる。
他の例として、図３５ａ及び／又は図３５ｂの例のようなフィルタのうちの少なくとも一つを用いる場合、図３３の例のような９×９菱形形状のフィルタ係数のフィルタリングに必要なサンプルあたりの乗算数よりも乗算数を減少させることができ、符号化器／復号化器の計算複雑度を減少させることができる。
別の例として、図３５ａ及び／又は図３５ｂの例のようなフィルタのうちの少なくとも一つを用いる場合、図３３の例のような９×９菱形形状のフィルタ係数のフィルタリングに必要なラインバッファのライン数よりもラインバッファのライン数を減少させることができ、符号化器／復号化器の実現複雑度、メモリ要求量、メモリアクセス帯域幅を減少させることができる。
本発明の一実施形態によれば、前記点対称フィルタ形状の代わりに、図３６の例のように横／縦対称フィルタ（ｈｏｒｉｚｏｎｔａｌ／ｖｅｒｔｉｃａｌ ｓｙｍｍｅｔｒｉｃ ｆｉｌｔｅｒ）形状のうちの少なくとも一つを含むフィルタをフィルタリングに使用することができる。又は、点対称、横／縦対称フィルタの他に、対角対称フィルタも使用することができる。図３６において、各フィルタ形状内の数字はフィルタ係数インデックスを示すことができる。
一例として、図３６においてフィルタの縦長さが５であるフィルタのうちの少なくとも一つを用いてフィルタセットを構成した後、フィルタリングを行うことができる。
他の例として、図３６においてフィルタの縦長さが３であるフィルタのうちの少なくとも一つを用いてフィルタセットを構成した後、フィルタリングを行うことができる。
別の例として、図３６においてフィルタの縦長さが５及び３であるフィルタのうちの少なくとも一つを用いてフィルタセットを構成した後、フィルタリングを行うことができる。
一方、図３６において、フィルタの形状は、フィルタの縦長さ３或いは５を基準に設計したものであるが、これに限定されず、フィルタの縦長さがＭである場合に設計してフィルタリングに使用することができる。ここで、Ｍは正の整数である。
一方、図３６の例のようなフィルタのうちＨだけのフィルタセットを構成してどのフィルタを使用するかについての情報を符号化器から復号化器へシグナリングするために、ピクチャ／タイル／タイルグループ／スライス／シーケンス単位でフィルタインデックスをエントロピー符号化／復号化することができる。ここで、Ｈは正の整数である。つまり、ビットストリーム内のシーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダー、スライスデータ、タイルヘッダー、タイルグループヘッダーなどにフィルタインデックスをエントロピー符号化／復号化することができる。
一方、前記菱形、長方形、正方形、台形、対角、雪片、シャープ、クローバー、十字架、三角形、五角形、六角形、八角形、十角形及び十二角形形状のフィルタのうちの少なくとも一つは、輝度成分及び色差成分のうちの少なくとも一つの復元／復号サンプルフィルタリングに使用できる。
本発明の一実施形態によれば、図３６の例のようなフィルタを用いることが、図３３の例のようなフィルタを用いることと比較して符号化器／復号化器の計算複雑度を減少させることができる。
一例として、図３６の例のようなフィルタのうちの少なくとも一つを用いる場合、図３３の例のような９×９菱形形状のフィルタ係数の個数よりもエントロピー符号化／復号化対象フィルタ係数の個数を減少させることができ、符号化器／復号化器の計算複雑度を減少させることができる。
他の例として、図３６の例のようなフィルタのうちの少なくとも一つを用いる場合、図３３の例のような９×９菱形形状のフィルタ係数のフィルタリングに必要なサンプルあたりの乗算数よりも乗算数を減少させることができ、符号化器／復号化器の計算複雑度を減少させることができる。
別の例として、図３６の例のようなフィルタのうちの少なくとも一つを用いる場合、図３３の例のような９×９菱形形状のフィルタ係数のフィルタリングに必要なラインバッファのライン数よりもラインバッファのライン数を減少させることができ、符号化器／復号化器の実現複雑度、メモリ要求量、メモリアクセス帯域幅を減少させることができる。
本発明の一実施形態によれば、前記ブロック分類単位でフィルタリングを行う前に、ブロック分類単位で計算された勾配値の和（すなわち、縦方向、横方向、第１対角方向、第２対角方向による各勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２）のうちの少なくとも一つに基づいてフィルタ係数ｆ（ｋ，ｌ）に幾何学的変換（ｇｅｏｍｅｔｒｉｃ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を行うことができる。このとき、フィルタ係数に対する幾何学的変換は、フィルタに９０度回転（ｒｏｔａｔｉｏｎ）、１８０度回転、２７０度回転、第２対角方向フリッピング（ｆｌｉｐｐｉｎｇ）、第１対角方向フリッピング、垂直方向フリッピング、水平方向フリッピング、垂直及び水平方向フリッピング、ズームイン／アウト（ｚｏｏｍ ｉｎ／ｏｕｔ）のうちの少なくとも一つを行うことにより、幾何学的変換されたフィルタを算出することを意味することができる。
一方、前記フィルタ係数に幾何学的変換を行った後、前記幾何学的変換されたフィルタ係数を用いて復元／復号サンプルをフィルタリングすることは、フィルタが適用される復元／復号サンプルのうちの少なくとも一つに対して幾何学的変換を行った後、フィルタ係数を用いて復元／復号サンプルをフィルタリングすることと同一であり得る。
本発明の一実施形態によれば、幾何学的変換は、数式３３乃至数式３５の例のように行われ得る。
［数式３３］
［数式３４］
［数式３５］
ここで、数式３３は第２対角方向フリッピング、数式３４は垂直方向フリッピング、数式３５は９０度回転に関する式を表す一例である。数式３４乃至数式３５中、Ｋは横方向及び縦方向に対するフィルタタップ数（フィルタ長）であり、０≦ｋ、ｌ≦Ｋ－１はフィルタ係数の座標を意味することができる。例えば、（０，０）は左上コーナー（ｃｏｒｎｅｒ）を意味し、（Ｋ－１，Ｋ－１）は右下コーナーを意味することができる。
また、表１は勾配値の和によるフィルタ係数ｆ（ｋ，ｌ）に適用される幾何学的変換種類の一例を示す。
図３７は本発明の一実施形態による正方形、八角形、雪片、菱形形状のフィルタに対して幾何学的変換を行ったフィルタを示す図である。
図３７を参照すると、正方形、八角形、雪片、菱形形状のフィルタ係数に第２対角方向フリッピング、垂直方向フリッピング及び９０度回転のうちの少なくとも一つの幾何学的変換を行うことができる。そして、前記幾何学的変換によって取得されたフィルタ係数をフィルタリングに使用することができる。一方、前記フィルタ係数に幾何学的変換を行った後、前記幾何学的変換されたフィルタ係数を用いて復元／復号サンプルをフィルタリングすることは、フィルタが適用される復元／復号サンプルのうちの少なくとも一つに対して幾何学的変換を行った後、フィルタ係数を用いて復元／復号サンプルをフィルタリングすることと同一であり得る。
本発明の一実施形態によれば、復元／復号サンプル
に対して前記フィルタリングを行うことにより、フィルタリングされた復号サンプル
を生成することができる。前記フィルタリングされた復号サンプルは、数式３６の例のように表すことができる。
［数式３６］
数式３６中、Ｌは横方向或いは縦方向によるフィルタタップ数（フィルタ長）であり、
はフィルタ係数である。
一方、前記フィルタリングの実行時にフィルタリングされた復号サンプル
にオフセットＹ値を加えることができる。前記オフセットＹ値は、エントロピー符号化／復号化できる。また、オフセットＹ値は、現在復元／復号サンプルの値と周辺復元／復号サンプルの値のうちの少なくとも一つの統計値を用いて算出できる。また、前記オフセットＹ値は、現在復元／復号サンプルと周辺復元／復号サンプルのうちの少なくとも一つの符号化パラメータに基づいて決定できる。ここで、Ｙは、０を含む整数である。
一方、前記フィルタリングされた復号サンプルは、Ｎビット内で表現されるように切り捨てを行うことができる。ここで、Ｎは正の整数である。例えば、復元／復号サンプルに対してフィルタリングを行うことにより、生成されたフィルタリングされた復号サンプルに１０ビットで切り捨てる場合には、最終の復号サンプル値は０乃至１０２３の間の値を持つことができる。
本発明の一実施形態によれば、色差成分の場合、輝度成分のフィルタリング情報に基づいてフィルタリングが実行できる。
一例として、色差成分の復元画像フィルタリングは、輝度成分の復元画像フィルタリングが行われる場合にのみ実行できる。ここで、色差成分の復元画像フィルタリングは、Ｕ（Ｃｒ）及びＶ（Ｃｂ）成分のうちの少なくとも一つに対して実行できる。
他の例として、色差成分の場合、対応する輝度成分のフィルタ係数、フィルタタップ数、フィルタ形状及びフィルタリング実行有無情報のうちの少なくとも一つを用いてフィルタリングを行うことができる。
本発明の一実施形態によれば、前記フィルタリングの実行時に、現在サンプルの周辺に利用可能でないサンプルが存在する場合には、パディングを行った後、パディングされたサンプルを用いてフィルタリングを行うことができる。前記パディングは、前記利用可能でないサンプルに隣接し、利用可能なサンプル値を前記利用可能でないサンプル値にコピーする方式を意味することができる。又は、前記利用可能でないサンプルに隣接し、利用可能なサンプル値に基づいて取得されたサンプル値或いは統計値を用いることができる。前記パディングは、Ｐ列の個数及びＲ行の個数だけ繰り返し行うことができる。ここで、ＰとＲは正の整数であり得る。
ここで、利用可能でないサンプルは、ＣＴＵ、ＣＴＢ、スライス、タイル、タイルグループ、ピクチャ境界外に存在するサンプルを意味することができる。また、利用可能でないサンプルは、現在サンプルの属するＣＴＵ、ＣＴＢ、スライス、タイル、タイルグループ及びピクチャのうちの少なくとも一つと互いに異なるＣＴＵ、ＣＴＢ、スライス、タイル、タイルグループ及びピクチャのうちの少なくとも一つに属するサンプルを意味することができる。
また、フィルタリングの実行時に、所定のサンプルを利用しなくてもよい。
一例として、前記フィルタリングの実行時に、パディングされたサンプルを利用しなくてもよい。
他の例として、前記フィルタリングの実行時に、現在サンプルの周辺に利用可能でないサンプルが存在する場合には、前記利用可能でないサンプルをフィルタリングに利用しなくてもよい。
別の例として、前記フィルタリングの実行時に、現在サンプルの周辺に存在するサンプルがＣＴＵ或いはＣＴＢ境界外に位置する場合には、前記周辺に存在するサンプルをフィルタリングに利用しなくてもよい。
また、前記フィルタリングの実行時に、デブロッキングフィルタリング、適応的サンプルオフセット及び適応的ループ内フィルタリングのうちの少なくとも一つが適用されたサンプルを使用することができる。
また、前記フィルタリングの実行時に、現在サンプルの周辺に存在するサンプルがＣＴＵ或いはＣＴＢ境界外に位置する場合には、デブロッキングフィルタリング、適応的サンプルオフセット及び適応的ループ内フィルタリングのうちの少なくとも一つを適用しなくてもよい。
また、前記フィルタリングに使用されるサンプルに、ＣＴＵ或いはＣＴＢ境界外などに位置して利用可能でないサンプルが含まれる場合、当該利用可能でないサンプルにデブロッキングフィルタリング、適応的サンプルオフセット及び適応的ループ内フィルタリングのうちの少なくとも一つを適用せずに、フィルタリングに使用することができる。
本発明の一実施形態によれば、前記フィルタリングの実行時に、ＣＵ、ＰＵ、ＴＵ、ブロック、ブロック分類単位、ＣＴＵ及びＣＴＢの少なくとも一つの境界周辺に存在するサンプルのうちの少なくとも一つに対してフィルタリングを行うことができる。この時、前記境界は、垂直方向境界、水平方向境界及び対角方向境界のうちの少なくとも一つを含むことができる。また、前記境界周辺に存在するサンプルは、境界を基準にＵ行、Ｕ列及びＵサンプルのうちの少なくとも一つであり得る。ここで、Ｕは正の整数であり得る。
本発明の一実施形態によれば、前記フィルタリングの実行時に、ＣＵ、ＰＵ、ＴＵ、ブロック、ブロック分類単位、ＣＴＵ及びＣＴＢの少なくとも一つの境界周辺に存在するサンプルを除いた、ブロックの内部に存在するサンプルのうちの少なくとも一つに対してフィルタリングを行うことができる。この時、前記境界は、垂直方向境界、水平方向境界及び対角方向境界のうちの少なくとも一つを含むことができる。また、前記境界周辺に存在するサンプルは、境界を基準にＵ行、Ｕ列及びＵサンプルのうちの少なくとも一つであり得る。ここで、Ｕは正の整数であり得る。
本発明の一実施形態によれば、前記フィルタリングの実行時に、現在ブロック及び周辺ブロックのうちの少なくとも一つの符号化パラメータに基づいて、行うか否かが決定できる。この時、前記符号化パラメータは、予測モード（画面間予測であるか、画面内予測であるか）は、画面内予測モード、画面間予測モード、画面間予測インジケータ、動きベクトル、参照画像インデックス、量子化パラメータ、現在ブロックの大きさ、現在ブロックの形状、ブロック分類単位の大きさ、符号化ブロックフラグ／パターンのうちの少なくとも一つを含むことができる。
また、前記フィルタリングの実行時に、現在ブロック及び周辺ブロックのうちの少なくとも一つの符号化パラメータに基づいて、フィルタ係数、フィルタタップ数（フィルタ長）、フィルタ形状及びフィルタ種類のうちの少なくとも一つが決定できる。前記符号化パラメータのうちの少なくとも一つに基づいて、フィルタ係数、フィルタタップ数（フィルタ長）、フィルタ形状及びフィルタ種類のうちの少なくとも一つが互いに異なり得る。
一例として、前記フィルタリングの際に使用されるフィルタの個数は、量子化パラメータに基づいて決定できる。例えば、量子化パラメータがしきい値Ｔよりも小さい場合、Ｊ個のフィルタをフィルタリングに使用することができ、量子化パラメータがしきい値Ｒよりも大きい場合、Ｈ個のフィルタをフィルタリングに使用することができ、そうでない場合、Ｇ個のフィルタをフィルタリングに使用することができる。ここで、Ｔ、Ｒ、Ｊ、Ｈ、Ｇは、０を含む正の整数である。また、Ｊは、Ｈと同じかそれより大きくてもよい。ここで、量子化パラメータの値が相対的に大きいほど少ない個数のフィルタを使用することができる。
他の例として、前記フィルタリングの際に使用されるフィルタの個数は、現在ブロックの大きさに応じて決定できる。例えば、現在ブロックの大きさがしきい値Ｔよりも小さい場合には、Ｊ個のフィルタを使用することができ、現在ブロックの大きさがしきい値Ｒよりも大きい場合には、Ｈ個のフィルタを使用することができ、そうでない場合には、Ｇ個のフィルタを使用することができる。ここで、Ｔ、Ｒ、Ｊ、Ｈ、Ｇは、０を含む正の整数である。また、ＪはＨと同じかそれより大きくてもよい。ここで、ブロックの大きさが相対的に大きいほど少ない個数のフィルタを使用することができる。
別の例として、前記フィルタリングの際に使用されるフィルタの個数は、ブロック分類単位の大きさに応じて決定できる。例えば、ブロック分類単位の大きさがしきい値Ｔよりも小さい場合には、Ｊ個のフィルタを使用することができ、ブロック分類単位の大きさがしきい値Ｒよりも大きい場合には、Ｈ個のフィルタを使用することができ、そうでない場合には、Ｇ個のフィルタを使用することができる。ここで、Ｔ、Ｒ、Ｊ、Ｈ、Ｇは、０を含む正の整数である。また、Ｊは、Ｈと同じかそれより大きくてもよい。ここで、ブロック分類単位の大きさが相対的に大きいほど少ない個数のフィルタを使用することができる。
別の例として、前記フィルタリング方法のうちの少なくとも一つの組み合わせを用いてフィルタリングを行うことができる。
以下、フィルタ情報符号化／復号化のステップについて後述する。
本発明の一実施形態によれば、フィルタ情報は、ビットストリーム内のスライスヘッダーとスライスデータ内の一番目のＣＴＵ構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）との間でエントロピー符号化／復号化できる。
また、フィルタ情報は、ビットストリーム内のシーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダー、スライスデータ、タイルヘッダー、タイルグループヘッダー、ＣＴＵ、ＣＴＢなどでエントロピー符号化／復号化できる。
一方、前記フィルタ情報には、輝度成分フィルタリング実行有無情報、色差成分フィルタリング実行有無、フィルタ係数の値、フィルタの個数、フィルタタップ数（フィルタ長）情報、フィルタ形状情報、フィルタ種類情報、スライス／タイル／タイルグループ／ピクチャ／ＣＴＵ／ＣＴＢ／ブロック／ＣＵ単位フィルタリング実行有無情報、ＣＵ単位フィルタリング実行有無情報、ＣＵ最大深さフィルタリング情報、ＣＵ単位フィルタリング実行有無情報、以前参照画像フィルタ使用有無情報、以前参照画像フィルタインデックス、ブロック分類インデックスに対する固定されたフィルタ使用有無情報、固定されたフィルタに対するインデックス情報、フィルタマージ情報、輝度成分及び色差成分に異なるフィルタを使用するか否かの情報、フィルタの対称形状に関する情報のうちの少なくとも一つが含まれ得る。
ここで、前記フィルタタップ数は、フィルタの横長さ、フィルタの縦長さ、フィルタの第１対角長さ、フィルタの第２対角長さ、フィルタの横と縦の長さ、及びフィルタ内フィルタ係数の個数のうちの少なくとも一つであり得る。
一方、フィルタ情報には、最大Ｌ個の輝度フィルタが含まれ得る。ここで、Ｌは正の整数であり、２５であってもよい。また、フィルタ情報には、最大Ｌ個の色差フィルタが含まれ得る。ここで、Ｌは正の整数であり、１であってもよい。
一方、１つのフィルタには、最大Ｋ個の輝度フィルタ係数が含まれ得る。ここで、Ｋは正の整数であり、１３であってもよい。また、フィルタ情報には、最大Ｋ個の色差フィルタ係数が含まれ得る。ここでは、Ｋは正の整数であり、７であってもよい。
例えば、フィルタの対称形状に関する情報は、フィルタ形状が点対称形状、横対称形状、縦対称形状またはこれらの組み合わせ形状に関する情報であってもよい。
一方、フィルタ係数のうちの一部の係数のみシグナリングすることができる。例えば、フィルタが対称形状である場合には、フィルタの対称形状に関する情報と対称になるフィルタ係数セットのうちのいずれかのセットのみシグナリングすることができる。また、例えば、フィルタ中心のフィルタ係数は、暗示的に導出できるため、シグナリングされなくてもよい。
本発明の一実施形態によれば、前記フィルタ情報のうちのフィルタ係数値は符号化器で量子化でき、量子化されたフィルタ係数値がエントロピー符号化できる。同様に、復号化器で、量子化されたフィルタ係数値がエントロピー復号化でき、量子化されたフィルタ係数値が逆量子化されてフィルタ係数値に復元されることも可能である。前記フィルタ係数値は、固定されたＭビット（ｂｉｔ）で表現できる値の範囲内に量子化され、逆量子化されることも可能である。また、前記フィルタ係数のうちの少なくとも一つは、互いに異なるビットで量子化され、逆量子化されることも可能である。逆に、前記フィルタ係数のうちの少なくとも一つは、互いに同一のビットで量子化され、逆量子化されることも可能である。また、前記Ｍビットは、量子化パラメータに基づいて決定できる。また、前記Ｍビットは、符号化器及び復号化器で予め定義された定数値であり得る。ここで、Ｍは、正の整数であり、８或いは１０であってもよい。また、前記Ｍビットは、符号化器／復号化器でサンプルを表現するのに必要なビット数と同じかそれより小さくてもよい。例えば、サンプルを表現するのに必要なビット数が１０であれば、前記Ｍは８であり得る。フィルタ内のフィルタ係数のうちの第１フィルタ係数は－２Ｍから２Ｍ－１までの値を持つことができ、第２フィルタ係数は、０から２Ｍ－１までの値を持つことができる。ここで、第１フィルタ係数は、フィルタ係数のうちの中心フィルタ係数を除いた残りのフィルタ係数を意味することができ、第２フィルタ係数は、フィルタ係数のうちの中心フィルタ係数を意味することができる。
また、前記フィルタ情報の中でも、フィルタ係数値は、符号化器及び復号化器のうちの少なくとも一つで切り捨てられ、切り捨て（ｃｌｉｐｐｉｎｇ に関する最小値及び最大値のうちの少なくとも一つがエントロピー符号化／復号化できる。前記フィルタ係数値は、最小値及び最大値の範囲内に切り捨てられ得る。また、前記最小値及び最大値のうちの少なくとも一つは、フィルタ係数ごとに互いに異なる値を持つことができる。逆に、前記最小値及び最大値のうちの少なくとも一つは、フィルタ係数ごとに互いに同じ値を持つことができる。また、前記最小値及び最大値のうちの少なくとも一つは、量子化パラメータに基づいて決定できる。また、前記最小値及び最大値のうちの少なくとも一つは、符号化器及び復号化器で予め定義された定数値であり得る。
本発明の一実施形態によれば、前記フィルタ情報のうちの少なくとも一つは、現在ブロック及び周辺ブロックのうちの少なくとも一つの符号化パラメータに基づいてエントロピー符号化／復号化できる。この時、前記符号化パラメータは、予測モード（画面間予測であるか、画面内予測であるか）、画面内予測モード、画面間予測モード、画面間予測インジケータ、動きベクトル、参照画像インデックス、量子化パラメータ、現在ブロックの大きさ、現在ブロックの形状、ブロック分類単位の大きさ、符号化ブロックフラグ／パターンのうちの少なくとも一つを含むことができる。
例えば、前記フィルタ情報の中でも、フィルタの個数は、ピクチャ／スライス／タイルグループ／タイル、ＣＴＵ／ＣＴＢ／ブロックの量子化パラメータに基づいて決定できる。具体的には、量子化パラメータがしきい値Ｔよりも小さい場合には、Ｊ個のフィルタをエントロピー符号化／復号化することができ、量子化パラメータがしきい値Ｒよりも大きい場合には、Ｈ個のフィルタをエントロピー符号化／復号化することができ、そうでない場合には、Ｇ個のフィルタをエントロピー符号化／復号化することができる。ここで、Ｔ、Ｒ、Ｊ、Ｈ、Ｇは、０を含む正の整数である。また、Ｊは、Ｈと同じかそれより大きくてもよい。ここで、量子化パラメータの値が相対的に大きいほど少ない個数のフィルタをエントロピー符号化／復号化することができる。
本発明の一実施形態によれば、輝度成分及び色差成分のうちの少なくとも一つに対するフィルタリング実行有無は、フィルタリング実行有無情報（フラグ）を用いることができる。
一例として、輝度成分及び色差成分のうちの少なくとも一つに対するフィルタリング実行有無は、ＣＴＵ／ＣＴＢ／ＣＵ／ブロック単位のフィルタリング実行有無情報（フラグ）を用いることができる。例えば、ＣＴＢ単位のフィルタリング実行有無情報が第１の値である場合には、当該ＣＴＢに対してフィルタリングを行ってもよく、第２の値である場合には、当該ＣＴＢに対してフィルタリングを行わなくてもよい。このとき、ＣＴＢごとにフィルタリング実行有無情報がエントロピー符号化／復号化できる。別の例として、ＣＵの最大深さ或いは最小サイズに関する情報（ＣＵ最大深さのフィルタリング情報）をさらにエントロピー符号化／復号化することにより、当該最大深さ或いは最小サイズまでのみＣＵ単位フィルタリング実行有無情報をエントロピー符号化／復号化することができる。
例えば、ＣＵ単位のフラグは、ブロック構造（ｂｌｏｃｋ ｓｔｒｕｃｔｕｒｅ）に応じて正方形ブロック分割と非正方形ブロック分割が可能な場合、正方形ブロック分割の深さまでのみエントロピー符号化／復号化できる。また、ＣＵ単位のフラグは、さらに非正方形ブロック分割の深さまでエントロピー符号化／復号化できる。
他の例として、輝度成分及び色差成分のうちの少なくとも一つに対するフィルタリング実行有無情報は、ブロック単位のフラグを用いることができる。例えば、ブロック単位のフラグが第１の値である場合には、当該ブロックに対してフィルタリングを行ってもよく、第２の値である場合には、当該ブロックに対してフィルタリングを行わなくてもよい。前記ブロック単位のサイズはＮ×Ｍであり、ＮとＭは正の整数であり得る。
別の例として、輝度成分及び色差成分のうちの少なくとも一つに対するフィルタリング実行有無情報は、ＣＴＵ単位のフラグを用いることができる。例えば、ＣＴＵ単位のフラグが第１の値である場合には、当該ＣＴＵに対してフィルタリングを行ってもよく、第２の値である場合には、当該ＣＴＵフィルタリングを行わなくてもよい。前記ＣＴＵ単位のサイズはＮ×Ｍであり、ＮとＭは正の整数であり得る。
別の例として、輝度成分及び色差成分のうちの少なくとも一つに対するフィルタリング実行有無は、ピクチャ／スライス／タイルグループ／タイル種類に基づいて決定でき、輝度成分及び色差成分のうちの少なくとも一つに対するフィルタリング実行有無情報は、ピクチャ／スライス／タイルグループ／タイル単位のフラグを用いることができる。
本発明の一実施形態によれば、エントロピー符号化／復号化すべきフィルタ係数の量を減少させるために、互いに異なるブロック分類に該当するフィルタ係数をマージ（ｍｅｒｇｅ）することができる。このとき、フィルタ係数がマージされるか否かに対するフィルタマージ情報がエントロピー符号化／復号化できる。
また、エントロピー符号化／復号化すべきフィルタ係数の量を減少させるために、参照画像のフィルタ係数を用いて現在画像のフィルタ係数として使用することができる。このとき、参照画像のフィルタ係数を用いる方法を時間的フィルタ係数予測とすることができる。例えば、前記時間的フィルタ係数予測は、画面間予測画像（Ｂ／Ｐ－画像／スライス／タイルグループ／タイル）に使用できる。一方、参照画像のフィルタ係数はメモリに保存できる。また、現在画像で参照画像のフィルタ係数を使用する場合、現在画像に対してフィルタ係数のエントロピー符号化／復号化を省略することができる。この場合、どの参照画像のフィルタ係数を使用するかに対する以前参照画像フィルタインデックスがエントロピー符号化／復号化できる。
一例として、時間的フィルタ係数予測を使用する場合、フィルタセットの候補リストを構成することができる。新しいシーケンスを復号化する前に、フィルタセットの候補リストは空いているが、一つの画像を復号化するたびに、当該画像のフィルタ係数は、フィルタセットの候補リストに含まれ得る。もし、フィルタセットの候補リスト内のフィルタの個数が最大フィルタ個数Ｇに達すると、新しいフィルタは、復号化の順序上、最も古いフィルタを代替することができる。つまり、ＦＩＦＯ（ｆｉｒｓｔ－ｉｎ－ｆｉｒｓｔ－ｏｕｔ）方式でフィルタセットの候補リストを更新することができる。ここで、Ｇは、正の整数であり、６であってもよい。フィルタセットの候補リスト内フィルタの重複を防止するために、時間的フィルタ係数予測を使用していない画像のフィルタ係数がフィルタセットの候補リストに含まれ得る。
他の例として、時間的フィルタ係数予測を使用する場合、時間的拡張性（ｔｅｍｐｏｒａｌ ｓｃａｌａｂｉｌｉｔｙ）を支援するために、多数の時間的階層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）インデックスに対するフィルタセットの候補リストを構成することができる。つまり、時間的階層ごとにフィルタセットの候補リストを構成することができる。例えば、各時間的階層に対するフィルタセットの候補リストは、以前復号画像のうち、時間的階層インデックスと同じかそれより小さい復号画像のフィルタセットを含むことができる。また、各画像に対する復号化の後、当該画像に対するフィルタ係数は、当該画像の時間的階層インデックスと同じかそれより大きい時間的階層インデックスを持つフィルタセットの候補リストに含まれ得る。
本発明の一実施形態によれば、前記フィルタリングは、固定されたフィルタ（ｆｉｘｅｄ ｆｉｌｔｅｒ）セットを用いることができる。
画面内予測画像（Ｉ画像／スライス／タイルグループ／タイル）では、時間的フィルタ係数予測を使用することができないが、各ブロック分類インデックスに応じて、最大１６種類の固定されたフィルタセットのうちの少なくとも一つのフィルタをフィルタリングに使用することができる。固定されたフィルタセットを使用するか否かを符号化器から復号化器へシグナリングするために、各ブロック分類インデックスに対する固定されたフィルタ使用有無情報がエントロピー符号化／復号化でき、固定されたフィルタを使用する場合、固定されたフィルタに対するインデックス情報もエントロピー符号化／復号化することができる。もし、特定のブロック分類インデックスに対して固定されたフィルタを使用する場合にも、フィルタ係数はエントロピー符号化／復号化でき、エントロピー符号化／復号化されるフィルタ係数と固定されたフィルタ係数を用いて復元画像をフィルタリングすることができる。
また、前記画面間予測画像（Ｂ／Ｐ－画像／スライス／タイルグループ／タイル）でも、前記固定されたフィルタセットを用いることができる。
また、前記適応的ループ内フィルタリングは、フィルタ係数のエントロピー符号化／復号化なしに、固定されたフィルタで行われ得る。ここで、固定されたフィルタは、符号化器と復号化器で予め定義したフィルタセットを意味することができる。このとき、フィルタ係数のエントロピー符号化／復号化なしに、符号化器と復号化器で予め定義したフィルタセットのうちのどのフィルタ或いはどのフィルタセットを使用するかに対する固定されたフィルタに対するインデックス情報をエントロピー符号化／復号化することができる。前記ブロック分類単位、ブロック単位、ＣＵ単位、ＣＴＵ単位、スライス、タイル、タイルグループ及びピクチャ単位のうちの少なくとも一つの単位でフィルタ係数値、フィルタタップ数（フィルタ長）及びフィルタ形状のうちの少なくとも一つが他の固定されたフィルタでフィルタリングを行うことができる。
一方、前記固定されたフィルタセット内の少なくとも一つのフィルタに対して、フィルタタップ数及びフィルタ形状が異なるフィルタに変換することができる。例えば、図３８の例のように、９×９菱形形状のフィルタ係数を５×５正方形形状のフィルタ係数に変換することができる。具体的には、後述するように９×９菱形形状のフィルタ係数を５×５正方形形状のフィルタ係数に変換することができる。
一例として、９×９菱形形状のフィルタ係数インデックス０、２、６に該当するフィルタ係数の和は、５×５正方形形状のフィルタ係数インデックス２に割り当てられてもよい。
他の例として、９×９菱形形状のフィルタ係数インデックス１、５に該当するフィルタ係数の和は、５×５正方形形状のフィルタ係数インデックス１に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数インデックス３、７に該当するフィルタ係数の和は、５×５正方形形状のフィルタ係数インデックス３に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数インデックス４に該当するフィルタ係数は、５×５正方形形状のフィルタ係数インデックス０に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数インデックス８に該当するフィルタ係数は、５×５正方形形状のフィルタ係数インデックス４に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数インデックス９、１０に該当するフィルタ係数の和は、５×５正方形形状のフィルタ係数インデックス５に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数インデックス１１に該当するフィルタ係数は、５×５正方形形状のフィルタ係数インデックス６に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数のインデックス１２に該当するフィルタ係数は、５×５正方形形状のフィルタ係数インデックス７に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数インデックス１３に該当するフィルタ係数は、５×５正方形形状のフィルタ係数インデックス８に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数インデックス１４、１５に該当するフィルタ係数の和は、５×５正方形形状のフィルタ係数インデックス９に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数インデックス１６、１７、１８に該当するフィルタ係数の和は、５×５正方形形状のフィルタ係数インデックス１０に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数インデックス１９に該当するフィルタ係数は、５×５正方形形状のフィルタ係数インデックス１１に割り当てられてもよい。
別の例として、９×９菱形形状のフィルタ係数インデックス２０に該当するフィルタ係数は、５×５正方形形状のフィルタ係数インデックス１２に割り当てられてもよい。
一方、表２は、９×９菱形形状のフィルタ係数を５×５正方形形状のフィルタ係数に変換してフィルタ係数を生成する一例を示す。
表２において、９×９菱形形状のフィルタのうちの少なくとも一つのフィルタ係数の和は、対応する５×５正方形形状のフィルタのうちの少なくとも一つのフィルタ係数の和と同一であり得る。
一方、９×９菱形形状のフィルタ係数に対する最大１６種類の固定されたフィルタセットを使用する場合は、最大２１個のフィルタ係数×２５個のフィルタ×１６種類をメモリに保存しなければならない。もし、５×５正方形形状のフィルタ係数に対する最大１６種類の固定されたフィルタセットを使用する場合は、最大１３個のフィルタ係数×２５個のフィルタ×１６種類をメモリに保存しなければならない。このとき、５×５正方形形状の固定されたフィルタ係数を保存するのに必要なメモリの大きさは、９×９菱形形状の固定されたフィルタ係数を保存するのに必要なメモリの大きさより小さいので、符号化器／復号化器の実現時に必要なメモリ要求量、メモリアクセス帯域幅を減少させることができる。
一方、色差成分復元／復号サンプルには、対応する位置の輝度成分から選択されたフィルタのフィルタタップ数及び／又はフィルタ形状が変換されたフィルタを用いてフィルタリングを行うことができる。
本発明の一実施形態によれば、所定の固定されたフィルタからフィルタ係数予測が禁止できる。
本発明の一実施形態によれば、乗算演算をシフト演算で代替することができる。まず、輝度及び／又は色差ブロックのフィルタリングを行うために使用されるフィルタ係数を２つのグループに分けることができる。例えば、第１グループ｛Ｌ０、Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ７、Ｌ８、Ｌ９、Ｌ１０、Ｌ１４、Ｌ１５、Ｌ１６、Ｌ１７｝及びその残り係数を含む第２グループに分けることができる。第１グループは、｛－６４、－３２、－１６、－８、－４、０、４、８、１６、３２、６４｝の係数値を持つように制限できる。このとき、第１グループに含まれているフィルタ係数と復元／復号サンプルに対する乗算演算は、単一のビットシフト演算で実現できる。したがって、第１グループに含まれているフィルタ係数は、シグナリングオーバーヘッドを減らすために、２値化の前にそれぞれビットシフト演算が行われた値にマッピングできる。
本発明の一実施形態によれば、色差成分に対するブロック分類及び／又はフィルタリング実行有無決定は、同じ位置の輝度成分の結果を直接再利用することができる。また、色差成分のフィルタ係数は、輝度成分のフィルタ係数を再利用することができ、例えば、一定の５×５菱形フィルタ形状を使用することができる。
一例として、輝度成分に対する９×９フィルタ形状から色差成分に対する５×５フィルタ形状にフィルタ係数を変換することができる。このとき、最も外側のフィルタ係数は０に設定できる。
他の例として、輝度成分の５×５フィルタ形状の場合、前記フィルタ係数は、色差成分のフィルタ係数と同一であり得る。つまり、輝度成分のフィルタ係数が色差成分のフィルタ係数にそのまま適用できる。
別の例として、色差成分のフィルタリングに使用されるフィルタ形状を５×５に維持するために、５×５菱形フィルタ形状の外側にあるフィルタ係数に対しては、５×５菱形の境界にある係数値で代替することができる。
一方、輝度ブロックと色差ブロックに対して個別にループ内フィルタリングを行うことができる。色差ブロックの個別的適応的ループ内フィルタリング支援有無に対してピクチャ／スライス／タイルグループ／タイルＣＴＵ／ＣＴＢのレベルで制御フラグをシグナリングすることができる。輝度ブロックと色差ブロックに統合的に適応的ループ内フィルタリングを行うモード、又は輝度ブロックと色差ブロックに対して個別に適応的ループ内フィルタリングモードを支援するフラグをシグナリングすることができる。
本発明の一実施形態によれば、前記フィルタ情報のうちの少なくとも一つをエントロピー符号化／復号化する際に、下記の２値化（ｂｉｎａｒｉｚａｔｉｏｎ）方法のうちの少なくとも一つを用いることができる。
切り捨てられたライス（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）２値化方法
Ｋ次数指数－ゴロム（Ｋ－ｔｈ ｏｒｄｅｒ Ｅｘｐ＿Ｇｏｌｏｍｂ）２値化方法
制限されたＫ次数指数－ゴロム（Ｋ－ｔｈ ｏｒｄｅｒ Ｅｘｐ＿Ｇｏｌｏｍｂ）２値化方法
固定長（Ｆｉｘｅｄ－ｌｅｎｇｔｈ）２値化方法
単項（Ｕｎａｒｙ）２値化方法
切り捨てられた単項（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ）２値化方法
一例として、輝度フィルタと色差フィルタに対するフィルタ係数値は、輝度フィルタと色差フィルタで互いに異なる２値化方法を用いてエントロピー符号化／復号化できる。
他の例として、輝度フィルタに対するフィルタ係数値は、輝度フィルタ内係数同士に互いに異なる２値化方法を用いてエントロピー符号化／復号化できる。また、輝度フィルタに対するフィルタ係数値は、輝度フィルタ内係数同士に互いに同じ２値化方法を用いてエントロピー符号化／復号化できる。
別の例として、色差フィルタに対するフィルタ係数値は、色差フィルタ内係数同士に互いに異なる２値化方法を用いてエントロピー符号化／復号化できる。また、色差フィルタに対するフィルタ係数値は、色差フィルタ内係数同士に互いに同じ２値化方法を用いてエントロピー符号化／復号化できる。
また、前記フィルタ情報のうちの少なくとも一つをエントロピー符号化／復号化するとき、周辺ブロックのフィルタ情報のうちの少なくとも一つ、或いは以前に符号化／復号化されたフィルタ情報のうちの少なくとも一つ、或いは以前画像で符号化／復号化されたフィルタ情報を用いて、コンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を決定することができる。
また、前記フィルタ情報のうちの少なくとも一つをエントロピー符号化／復号化するとき、互いに異なる成分のフィルタ情報のうちの少なくとも一つを用いてコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を決定することができる。
また、前記フィルタ係数をエントロピー符号化／復号化するとき、フィルタ内の他のフィルタ係数のうちの少なくとも一つを用いてコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を決定することができる。
また、前記フィルタ情報のうちの少なくとも一つをエントロピー符号化／復号化するとき、周辺ブロックのフィルタ情報のうちの少なくとも一つ、或いは以前に符号化／復号化されたフィルタ情報のうちの少なくとも一つ、或いは以前画像で符号化／復号化されたフィルタ情報をフィルタ情報に対する予測値として用いて、エントロピー符号化／復号化することができる。
また、前記フィルタ情報のうちの少なくとも一つをエントロピー符号化／復号化するとき、互いに異なる成分のフィルタ情報のうちの少なくとも一つをフィルタ情報に対する予測値として用いてトロピー符号化／復号化することができる。
また、前記フィルタ係数をエントロピー符号化／復号化するとき、フィルタ内の他のフィルタ係数のうちの少なくとも一つを予測値として用いてエントロピー符号化／復号化することができる。
また、前記フィルタ情報エントロピー符号化／復号化方法のうちの少なくとも一つの組み合わせを用いて、フィルタ情報をエントロピー符号化／復号化することができる。
本発明の一実施形態によれば、前記適応的ループ内フィルタリングは、ブロック、ＣＵ、ＰＵ、ＴＵ、ＣＢ、ＰＢ、ＴＢ、ＣＴＵ、ＣＴＢ、スライス、タイル、タイルグループ及びピクチャ単位のうちの少なくとも一つの単位で行われ得る。前記単位で行われる場合、ブロック分類ステップ、フィルタリング実行ステップ、フィルタ情報符号化／復号化ステップが、前記ブロック、ＣＵ、ＰＵ、ＴＵ、ＣＢ、ＰＢ、ＴＢ、ＣＴＵ、ＣＴＢ、スライス、タイル、タイルグループ及びピクチャ単位のうちの少なくとも一つの単位で行われることを意味することができる。
本発明の一実施形態によれば、前記適応的ループ内フィルタリングは、デブロッキングフィルタ、サンプル適応的オフセット及び双方向フィルタリングのうちの少なくとも一つを行うか否かによって実行有無が決定できる。
一例として、現在画像内の復元／復号サンプルのうち、デブロッキングフィルタ、サンプル適応的オフセット及び双方向フィルタリングの少なくとも一つが適用されたサンプルに対しては、適応的ループ内フィルタリングを行ってもよい。
他の例として、現在画像内の復元／復号サンプルのうち、デブロッキングフィルタ、サンプル適応的オフセット及び双方向フィルタリングの少なくとも一つが適用されたサンプルに対しては、適応的ループ内フィルタリングを行わなくてもよい。
別の例として、現在画像内の復元／復号サンプルのうち、デブロッキングフィルタ、サンプル適応的オフセット及び双方向フィルタリングの少なくとも一つが適用されたサンプルの場合、ブロック分類の実行なしにＬ個のフィルタを用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行うことができる。ここで、Ｌは正の整数である。
本発明の一実施形態によれば、前記適応的ループ内フィルタリングは、現在画像のスライスタイプ（ｓｌｉｃｅ ｔｙｐｅ）或いはタイルグループタイプに応じて実行有無が決定できる。
一例として、現在画像のスライス或いはタイルグループタイプがＩ－スライス或いはＩ－タイルグループである場合にのみ、前記適応的ループ内フィルタリングが行われてもよい。
他の例として、現在画像のスライス或いはタイルグループタイプがＩ－スライス、Ｂ－スライス、Ｐ－スライス、Ｉ－タイルグループ、Ｂ－タイルグループ及びＰ－タイルグループのうちの少なくとも一つである場合に、前記適応的ループ内フィルタリングが行われてもよい。
別の例として、現在画像のスライス或いはタイルグループタイプがＩ－スライス、Ｂ－スライス、Ｐ－スライス、Ｉ－タイルグループ、Ｂ－タイルグループ及びＰ－タイルグループのうちの少なくとも一つである場合、現在画像に対して適応的ループ内フィルタリングの際に、ブロック分類の実行なしにＬ個のフィルタを用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行ってもよい。ここで、Ｌは正の整数である。
別の例として、現在画像のスライス或いはタイルグループタイプがＩ－スライス、Ｂ－スライス、Ｐ－スライス、Ｉ－タイルグループ、Ｂ－タイルグループ及びＰ－タイルグループのうちの少なくとも一つである場合、１つのフィルタ形状を用いて適応的ループ内フィルタリングを行ってもよい。
別の例として、現在画像のスライス或いはタイルグループタイプがＩ－スライス、Ｂ－スライス、Ｐ－スライス、Ｉ－タイルグループ、Ｂ－タイルグループ及びＰ－タイルグループのうちの少なくとも一つである場合、１つのフィルタタップ数を用いて適応的ループ内フィルタリングを行ってもよい。
別の例として、現在画像のスライス或いはタイルグループタイプがＩ－スライス、Ｂ－スライス、Ｐ－スライス、Ｉ－タイルグループ、Ｂ－タイルグループ及びＰ－タイルグループのうちの少なくとも一つである場合、Ｎ×Ｍブロックサイズ単位でブロック分類及びフィルタリングのうちの少なくとも一つを行ってもよい。このとき、ＮとＭは正の整数であり、４であってもよい。
本発明の一実施形態によれば、前記適応的ループ内フィルタリングは、現在画像が参照画像として使用されるか否かに応じて実行有無が決定できる。
一例として、現在画像が追って符号化／復号化される画像の参照画像として使用される場合、現在画像に対して前記適応的ループ内フィルタリングが行われてもよい。
他の例として、現在画像が追って符号化／復号化される画像の参照画像として使用されない場合、現在画像に対して前記適応的ループ内フィルタリングが行われなくてもよい。
別の例として、現在画像が追って符号化／復号化される画像の参照画像として使用されない場合、現在画像に対する適応的ループ内フィルタリングの際に、ブロック分類の実行なしにＬ個のフィルタを用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行ってもよい。ここで、Ｌは正の整数である。
別の例として、現在画像が追って符号化／復号化される画像の参照画像として使用されない場合、１つのフィルタ形状を用いて適応的ループ内フィルタリングを行ってもよい。
別の例として、現在画像が追って符号化／復号化される画像の参照画像として使用されない場合、１つのフィルタタップ数を用いて適応的ループ内フィルタリングを行ってもよい。
別の例として、現在画像が追って符号化／復号化される画像の参照画像として使用されない場合、Ｎ×Ｍブロックサイズ単位でブロック分類及びフィルタリングのうちの少なくとも一つを行ってもよい。このとき、ＮとＭは正の整数であり、４であってもよい。
本発明の一実施形態によれば、前記適応的ループ内フィルタリングは、時間的階層識別子に基づいて実行有無が決定できる。
一例として、現在画像の時間的階層識別子が最下位階層０を指示する場合、現在画像に対して前記適応的ループ内フィルタリングが行われてもよい。
他の例として、現在画像の時間的階層識別子が最上位階層を指示する場合（例えば、４）、現在画像に対して前記適応的ループ内フィルタリングが行われてもよい。
別の例として、現在画像の時間的階層識別子が最上位階層を指示する場合（例えば、４）、現在画像に対する適応的ループ内フィルタリングの際に、ブロック分類の実行なしにＬ個のフィルタを用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行ってもよい。ここで、Ｌは正の整数である。
別の例として、現在画像の時間的階層識別子が最上位階層を指示する場合（例えば、４）、１つのフィルタ形状を用いて適応的ループ内フィルタリングを行ってもよい。
別の例として、現在画像の時間的階層識別子が最上位階層を指示する場合（例えば、４）、１つのフィルタタップ数を用いて適応的ループ内フィルタリングを行ってもよい。
別の例として、現在画像の時間的階層識別子が最上位階層を指示する場合（例えば、４）、Ｎ×Ｍブロックサイズ単位でブロック分類及びフィルタリングのうちの少なくとも一つを行ってもよい。このとき、ＮとＭは正の整数であり、４であってもよい。
本発明の一実施形態によれば、前記ブロック分類方法のうちの少なくとも一つは、時間的階層識別子（ｔｅｍｐｏｒａｌ ｌａｙｅｒ ｉｄｅｎｔｉｆｉｅｒ）に基づいて実行有無が決定できる。
一例として、現在画像の時間的階層識別子が最下位階層０を指示する場合、現在画像に対して前記ブロック分類方法のうちの少なくとも一つが行われてもよい。
他の例として、現在画像の時間的階層識別子が最上位階層を指示する場合（例えば、４）、現在画像に対して前記ブロック分類方法のうちの少なくとも一つが行われてもよい。
別の例として、時間階層識別子の値に応じて、前記ブロック分類方法の中でも互いに異なるブロック分類方法が行われてもよい。
別の例として、現在画像の時間的階層識別子が最上位階層を指示する場合（例えば、４）、現在画像に対する適応的ループ内フィルタリングの際に、ブロック分類の実行なしにＬ個のフィルタを用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行ってもよい。ここで、Ｌは正の整数である。
別の例として、現在画像の時間的階層識別子が最上位階層を指示する場合（例えば、４）、１つのフィルタ形状を用いて適応的ループ内フィルタリングを行ってもよい。
別の例として、現在画像の時間的階層識別子が最上位階層を指示する場合（例えば、４）、１つのフィルタタップ数を用いて適応的ループ内フィルタリングを行ってもよい。
別の例として、現在画像の時間的階層識別子が最上位階層を指示する場合（例えば、４）、Ｎ×Ｍブロックサイズ単位でブロック分類及びフィルタリングのうちの少なくとも一つを行ってもよい。このとき、ＮとＭは正の整数であり、４であってもよい。
一方、現在画像に対する適応的ループ内フィルタリングの際に、ブロック分類の実行なしにＬ個のフィルタを用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行うことができる。ここで、Ｌは正の整数である。この時、前記時間的階層識別子に関係なく、ブロック分類を行わずにＬ個のフィルタを用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行うことができる。
一方、現在画像に対する適応的ループ内フィルタリングの際に、ブロック分類の実行有無に関係なく、Ｌ個のフィルタを用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行うことができる。ここで、Ｌは正の整数である。この時、前記時間的階層識別子及びブロック分類の実行有無に関係なく、Ｌ個のフィルタを用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行うことができる。
一方、１つのフィルタ形状を用いて適応的ループ内フィルタリングを行うことができる。この際、ブロック分類を行わず、１つのフィルタ形状を用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行うことができる。又は、ブロック分類の実行有無に関係なく、１つのフィルタ形状を用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行うことができる。
一方、１つのフィルタタップ数を用いて適応的ループ内フィルタリングを行うことができる。この際、ブロック分類を行わず、１つのフィルタタップ数を用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行うことができる。又は、ブロック分類の実行有無に関係なく、１つのフィルタタップ数を用いて現在画像内の復元／復号サンプルに対して適応的ループ内フィルタリングを行うことができる。
一方、前記適応的ループ内フィルタリングは、特定の単位ごとに行われ得る。例えば、前記特定の単位は、ピクチャ、スライス、タイル、タイルグループ、ＣＴＵ、ＣＴＢ、ＣＵ、ＰＵ、ＴＵ、ＣＢ、ＰＢ、ＴＢ、Ｍ×Ｎサイズのブロックのうちの少なくとも一つの単位であり得る。ここで、ＭとＮは正の整数であり、互いに同じ値を持つか或いは互いに異なる値を持つことができる。また、ＭとＮのうちの少なくとも一つは、符号化器／復号化器で予め定義された値であり、符号化器から復号化器へシグナリングされる値であり得る。
一方、図３９乃至図５５ｄは副標本に基づいて横方向、縦方向、第１対角方向、第２対角方向による勾配値の和を決定する別の例である。
図３９乃至図５５ｄを参照すると、４×４輝度ブロック単位でフィルタリングが行われ得る。この際、４×４輝度ブロック単位で互いに異なるフィルタ係数を用いてフィルタリングが行われ得る。前記４×４輝度ブロックを分類するために、サブサンプリングされたラプラシアン演算が行われ得る。また、フィルタリングのためのフィルタ係数は、それぞれの４×４輝度ブロックごとに変更できる。また、それぞれの４×４輝度ブロックは、最大２５個のクラスの一つに分類できる。また、４×４輝度ブロックのフィルタインデックスに対応する分類インデックスは、前記ブロックの方向性及び／又は量子化活動性値に基づいて誘導できる。ここで、それぞれの４×４輝度ブロックに対する方向性及び／又は量子化活動性値を計算するために、垂直方向、水平方向、第１対角方向及び／又は第２対角方向の各勾配値の和は、８×８ブロック範囲内のサブサンプリングされた位置で計算された１Ｄラプラシアン演算結果を合算することにより計算できる。
具体的には、図３９を参照すると、４×４ブロック分類の場合、副標本に基づいて縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる（以下、「第１方法」という。）。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦（垂直）方向、横（水平）方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの横方向、縦方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図３９において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示すことができる。
ここで、図４０ａ乃至図４０ｄは前記第１方法によるブロック分類の符号化／復号化過程を示す一例である。また、図４１ａ乃至図４１ｄは、前記第１方法によるブロック分類の符号化／復号化過程を示す他の例である。また、図４２ａ乃至図４２ｄは、前記第１方法によるブロック分類の符号化／復号化過程を示す別の例である。
図４３を参照すると、４×４ブロック分類の場合、副標本に基づいて縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる（以下、「第２方法」という。）。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの横方向、縦方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図４３において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられる。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさよりも大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示すことができる。
具体的には、第２方法は、座標ｘ値と座標ｙ値が全て偶数であるか、或いは座標ｘ値と座標ｙ値が全て奇数である場合には、前記（ｘ，ｙ）位置で１Ｄラプラシアン演算が行われることを意味することができる。もし、座標ｘ値と座標ｙ値が全て偶数ではないか、或いは座標ｘ値と座標ｙ値が全て奇数ではない場合には、前記（ｘ，ｙ）位置での１Ｄラプラシアン演算結果は０に割り当てられる。つまり、座標ｘ値と座標ｙ値に基づいて、チェッカー盤（ｃｈｅｃｋｅｒｂｏａｒｄ）パターンで１Ｄラプラシアン演算が行われることを意味することができる。
一方、図４３を参照すると、前記横方向、縦方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われる位置が同一であり得る。つまり、縦方向、横方向、第１対角方向又は第２対角方向に関係なく、一つの（ｕｎｉｆｉｅｄ）サブサンプリングされた１Ｄラプラシアン演算位置を用いて前記各方向に対する１Ｄラプラシアン演算が行われ得る。
ここで、図４４ａ乃至図４４ｄは、前記第２方法によるブロック分類の符号化／復号化過程を示す一例である。また、図４５ａ乃至図４５ｄは、前記第２方法によるブロック分類の符号化／復号化過程を示す他の例である。また、図４６ａ乃至図４６ｄは前記第２方法によるブロック分類の符号化／復号化過程を示す別の例である。また、図４７ａ乃至図４７ｄは前記第２方法によるブロック分類の符号化／復号化過程を示す別の例である。
図４８を参照すると、４×４ブロック分類の場合、副標本に基づいて縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる（以下、「第３方法」という。）。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの横方向、縦方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図４８において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示すことができる。
具体的には、第３方法は、座標ｘ値及び座標ｙ値のうちのいずれかが偶数であり、もう一つは奇数である場合、前記（ｘ，ｙ）位置で１Ｄラプラシアン演算が行われることを意味することができる。もし、座標ｘ値及び座標ｙ値が全て偶数であるか、或いは座標ｘ値及び座標ｙ値が全て奇数である場合には、前記（ｘ，ｙ）位置での１Ｄラプラシアン演算結果は０に割り当てられ得る。つまり、座標ｘ値及び座標ｙ値に基づいて、チェッカー盤（ｃｈｅｃｋｅｒｂｏａｒｄ）パターンで１Ｄラプラシアン演算が行われることを意味することができる。
一方、図４８を参照すると、前記横方向、縦方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われる位置が同一であり得る。つまり、縦方向、横方向、第１対角方向又は第２対角方向に関係なく、一つの（ｕｎｉｆｉｅｄ）サブサンプリングされた１Ｄラプラシアン演算位置を用いて前記各方向に対する１Ｄラプラシアン演算が行われ得る。
ここで、図４９ａ乃至図４９ｄは前記第３方法によるブロック分類の符号化／復号化過程を示す一例である。また、図５０ａ乃至図５０ｄは前記第３方法によるブロック分類の符号化／復号化過程を示す他の例である。また、図５１ａ乃至図５１ｄは前記第３方法によるブロック分類の符号化／復号化過程を示す別の例である。
図５２を参照すると、４×４ブロック分類の場合、副標本に基づいて縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの勾配値の和ｇｖ、ｇｈ、ｇｄ１、ｇｄ２のうちの少なくとも一つを計算することができる（以下、「第４方法」という。）。ここで、Ｖ、Ｈ、Ｄ１、Ｄ２は、サンプル単位で縦方向、横方向、第１対角方向、第２対角方向によるそれぞれの１Ｄラプラシアン演算の結果を示す。つまり、Ｖ、Ｈ、Ｄ１、Ｄ２の位置でそれぞれの横方向、縦方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われ得る。また、１Ｄラプラシアン演算が行われる位置がサブサンプリングできる。図５２において、ブロック分類インデックスＣは、陰影が表示された４×４ブロック単位で割り当てられ得る。このとき、１Ｄラプラシアン演算の和が計算される範囲がブロック分類単位の大きさより大きくてもよい。ここで、細い実線に含まれている四角形は、各復元サンプル位置を示し、太い実線は、１Ｄラプラシアン演算の和が計算される範囲を示すことができる。
具体的には、第４方法は、横方向にはサブサンプリングせずに、縦方向にのみサブサンプリングされた（ｘ，ｙ）位置で１Ｄラプラシアン演算が行われることを意味することができる。つまり、１行ずつスキップしながら１Ｄラプラシアン演算が行われることを意味することができる。
一方、図５２を参照すると、前記横方向、縦方向、第１対角方向、第２対角方向による１Ｄラプラシアン演算が行われる位置が同一であり得る。つまり、縦方向、横方向、第１対角又は第２対角方向に関係なく、一つの（ｕｎｉｆｉｅｄ）サブサンプリングされた１Ｄラプラシアン演算位置を用いて前記各方向に対する１Ｄラプラシアン演算が行われ得る。
ここで、図５３ａ乃至図５３ｄは前記第４方法によるブロック分類の符号化／復号化過程を示す一例である。また、図５４ａ乃至図５４ｄは前記第４方法によるブロック分類の符号化／復号化過程を示す他の例である。また、図５５ａ乃至図５５ｄは前記第４方法によるブロック分類の符号化／復号化過程を示す別の例である。
一方、図３９乃至図５５ｄの例を介して計算された勾配値を用いて、方向性Ｄ値及び活動性Ａ値を量子化した活動性Ａｑ値のうちの少なくとも一つを誘導する残りの過程は、前述したループ内フィルタリング過程と類似している。
一方、前記副標本に基づいて勾配値を計算する方法は、１Ｄラプラシアン演算の和が計算される範囲内の全体サンプルではなく、１Ｄラプラシアン演算の和が計算される範囲内（例えば、８×８ブロック）の副標本サンプルに対して１Ｄラプラシアン演算が行われるので、ブロック分類ステップに必要な乗算演算、シフト（ｓｈｉｆｔ）演算、加算演算、絶対値演算などの演算数が減少する。これにより、符号化器及び復号化器の計算複雑度を減少させることができる。
前記第１方法乃至第４方法によれば、サブサンプリングされた１Ｄラプラシアン演算に基づいた４×４ブロック分類の場合、８×８の範囲内のサブサンプリングされた位置で計算された１Ｄラプラシアン演算結果であるＶ、Ｈ、Ｄ１、Ｄ２は、垂直方向、水平方向、第１対角方向、第２対角方向によるそれぞれの勾配値を誘導するために、各４×４輝度ブロックに対して合算される。したがって、８×８の範囲で前記勾配値の全てを計算するために、７２０＋２４０回の加算、２８８回の比較、１４４回のシフトが要求される。
一方、従来のループ内フィルタリング方法によれば、４×４ブロック分類の場合、８×８の範囲内の全ての位置で計算された１Ｄラプラシアン演算結果であるＶ、Ｈ、Ｄ１、Ｄ２は、垂直方向、水平方向、第１対角方向、第２対角方向によるそれぞれの勾配値を誘導するために、各４×４輝度ブロックに対して合算される。したがって、８×８の範囲で前記勾配値の全てを計算するために、１５８６＋２４０回の加算、５７６回の比較、１４４回のシフトが要求される。
そして、前記計算された勾配値を用いて方向性Ｄ値及び活動性Ａ値を量子化した活動性Ａｑ値を誘導する残りの過程は、８回の加算、２８回の比較、８回の乗算、２０回のシフトが要求される。
したがって、８×８の範囲内で前記第１方法乃至第４方法を用いたブロック分類方法は、最終的に９６８回の加算、３１６回の比較、８回の乗算、１６４回のシフトが要求される。また、サンプルあたりの演算は１５．１２５回の加算、４．９３７５回の比較、０．１２５回の乗算、２．５６２５回のシフトが要求される。
一方、８×８の範囲内で前記従来のループ内フィルタリング方法を用いたブロック分類方法は、最終的に１８３２回の加算、６０４回の比較、８回の乗算、１６４回のシフトが要求される。また、サンプルあたりの演算は、２８．６２５回の加算、９．４３７５回の比較、０．１２５回の乗算、２．５６２５回のシフトが要求される。
したがって、与えられたブロックサイズ（例えば、８×８の範囲）に対する計算複雑度は、前記第１方法乃至第４方法を用いたブロック分類方法が、前記従来のループ内フィルタリング方法を用いたブロック分類方法での総演算と比較して少なくとも演算数の４４．１７％を削減することができる。また、前記第１方法乃至第４方法を用いたブロック分類方法が、前記従来のループ内フィルタリング方法を用いたブロック分類方法における動作と比較して、少なくとも動作回数の１７．０２％を削減することができる。
本発明に係るコンピュータ可読記録媒体は、符号化ユニットをブロック分類単位で分類するステップと、前記符号化ユニットに対するフィルタ情報を用いて、前記ブロック分類単位で分類された符号化ユニットをフィルタリングするステップと、前記フィルタ情報を符号化するステップとを含む画像符号化方法で生成されたビットストリームを保存することができる。前記ブロック分類は、符号化ユニット単位で行われることのみに限定するのではなく、スライス、タイル、タイルグループ、ピクチャ、シーケンス、ＣＴＵ、ブロック、ＣＵ、ＰＵ、ＴＵなどの単位で行われ得る。また、前記フィルタリングの対象は、符号化ユニットに限定されるものではなく、スライス、タイル、タイルグループ、ピクチャ、シーケンス、ＣＴＵ、ブロック、ＣＵ、ＰＵ、ＴＵなどであり得る。また、前記フィルタ情報は、符号化ユニットに対してのみ限定されるものではなく、スライス、タイル、タイルグループ、ピクチャ、シーケンス、ＣＴＵ、ブロック、ＣＵ、ＰＵ、ＴＵなどに対するフィルタ情報を意味することができる。
これらの実施形態は、符号化器及び復号化器で同様の方法で行われ得る。
これらの実施形態の少なくとも一つ或いは少なくとも一つの組み合わせを用いて画像を符号化／復号化することができる。
前記実施形態を適用する順序は、符号化器と復号化器で互いに異なってもよく、符号化器と復号化器で互いに同じであってもよい。
輝度及び色差信号それぞれに対して前記実施形態を行うことができ、輝度及び色差信号に対する前記実施形態を同様に行うことができる。
本発明の実施形態が適用されるブロックの形状は、正方形（ｓｑｕａｒｅ）或いは非正方形（ｎｏｎ－ｓｑｕａｒｅ）の形状を有することができる。
本発明の前記実施形態は、符号化ブロック、予測ブロック、変換ブロック、ブロック、現在ブロック、符号化ユニット、予測ユニット、変換ユニット、ユニット及び現在ユニットのうちの少なくとも一つのサイズに応じて適用できる。ここでのサイズは、前記実施形態が適用されるために、最小サイズ及び／又は最大サイズに定義されてもよく、前記実施形態が適用される固定サイズに定義されてもよい。また、前記実施形態は、第１サイズでは第１実施形態が適用されてもよく、第２サイズでは第２実施形態が適用されてもよい。すなわち、前記実施形態は、サイズに応じて複合的に適用できる。また、本発明の前記実施形態は、最小サイズ以上及び最大サイズ以下の場合にのみ適用されてもよい。すなわち、前記実施形態は、ブロックサイズが一定の範囲内に含まれる場合にのみ適用されてもよい。
例えば、現在ブロックのサイズが８×８以上である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが４×４である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが１６×１６以下である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが１６×１６以上６４×６４以下である場合にのみ、前記実施形態が適用できる。
本発明の実施形態は、時間的階層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）に応じて適用できる。前記実施形態が適用可能な時間的階層を識別するために、別途の識別子（ｉｄｅｎｔｉｆｉｅｒ）がシグナリングされ、当該識別子によって特定された時間的階層に対して前記実施形態が適用できる。ここでの識別子は、前記実施形態が適用可能な最下位階層及び／又は最上位階層と定義されてもよく、前記実施形態が適用される特定の階層を指示するものと定義されてもよい。また、前記実施形態が適用される固定された時間的階層が定義されてもよい。
例えば、現在画像の時間的階層が最下位階層である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層識別子が１以上である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層が最上位階層である場合にのみ、前記実施形態が適用できる。
本発明の実施形態が適用されるスライスタイプ（ｓｌｉｃｅ ｔｙｐｅ）或いはタイルグループタイプが定義され、当該スライス或いはタイルグループタイプの種類に応じて本発明の前記実施形態が適用できる。
上述した実施形態において、方法等は、一連のステップ又はユニットであって、フローチャートに基づいて説明されているが、本発明は、これらのステップの順序に限定されるものではなく、あるステップは、上述したのとは異なるステップと異なる順序で又は同時に発生することができる。また、当該技術分野における通常の知識を有する者であれば、フローチャートに示されたステップが排他的ではなく、他のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本発明の範囲に影響することなく削除できることを理解することができるだろう。
上述した実施形態は、様々な態様の例示を含む。様々な態様を示すための全ての可能な組み合わせを記述することはできないが、当該技術分野における通常の知識を有する者は、他の組み合わせが可能であることを認識することができるだろう。よって、本発明は、以下の特許請求の範囲内に属する全ての様々な交替、修正及び変更を含むといえる。
以上説明した本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行できるプログラム命令の形で実現され、コンピュータ可読記録媒体に記録できる。前記コンピュータ可読記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ可読記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたもの、又はコンピュータソフトウェア分野の当業者に公知されて使用可能なものである。コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られる機械語コードだけでなく、インタプリターなどを用いてコンピュータによって実行できる高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。
以上で、本発明が、具体的な構成要素などの特定の事項、限定された実施形態及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施形態に限定されるものではない。本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形した全てのものは本発明の思想の範疇に属するというべきである。
本発明は、画像の符号化／復号化に利用可能である。

Claims (11)

  1. フィルタ情報を復号化するステップと、
    符号化ツリーブロック内のサンプルをブロック分類単位で分類するステップと、
    前記ブロック分類単位で分類された前記サンプルを有する前記符号化ツリーブロックにブロック分類インデックスを割り当てるステップと、
    前記フィルタ情報及び前記ブロック分類インデックスを用いて、前記ブロック分類単位で分類された前記サンプルを有する前記符号化ツリーブロックにフィルタリングを適用するステップと、
    を含み、
    前記ブロック分類インデックスが、方向性情報及び活動性情報を用いて決定され、
    前記方向性情報及び前記活動性情報のうちの少なくとも一つが、縦方向、横方向、第１対角方向及び第２対角方向のうちの少なくとも一つに対する勾配（ｇｒａｄｉｅｎｔ）値に基づいて決定され、
    前記勾配値が、前記ブロック分類単位での１Ｄラプラシアン演算を用いて取得され、
    前記１Ｄラプラシアン演算が、前記ブロック分類単位に含まれ、横位置及び縦位置が前記ブロック分類単位でいずれも偶数である位置といずれも奇数である位置とにある特定のサンプルに対してのみ行われる、
    画像復号化方法。
  2. 前記活動性情報が、前記ブロック分類単位に含まれる前記特定のサンプルの位置に基づいて決定された演算領域における１Ｄラプラシアン演算の和に基づいて導出される、
    請求項１に記載の画像復号化方法。
  3. 前記特定のサンプルの位置が（ｉ，ｊ）である場合、前記演算領域の横位置がｉ－２乃至ｉ＋５に決定され、前記演算領域の縦位置がｊ－２乃至ｊ＋５に決定される、
    請求項２に記載の画像復号化方法。
  4. 前記符号化ツリーブロックが輝度成分ブロックである場合、前記フィルタリングが、７×７菱形形状のフィルタを用いて適用され、
    前記符号化ツリーブロックが色差成分ブロックである場合、前記フィルタリングが、５×５菱形形状のフィルタを用いて適用される、
    請求項１に記載の画像復号化方法。
  5. 前記フィルタリングが適用される前記符号化ツリーブロックのサンプルの周辺サンプルの中に利用可能でない周辺サンプルが存在する場合、前記フィルタリングが、前記利用可能でない周辺サンプルに対してパディングを行うことによって適用される、
    請求項１に記載の画像復号化方法。
  6. 前記フィルタリングに用いられるフィルタ係数値が、８ビットで表される値である、
    請求項１に記載の画像復号化方法。
  7. 前記フィルタ情報が、フィルタリング実行有無情報、フィルタ係数値、フィルタ個数、フィルタタップ数（フィルタ長）、フィルタ形状情報、フィルタ種類情報、ブロック分類インデックスに対する固定されたフィルタ使用有無情報、及びフィルタの対称形状に関する情報のうちの少なくとも一つを含む、
    請求項６に記載の画像復号化方法。
  8. 前記フィルタリング実行有無情報が、前記符号化ツリーブロックの各色成分に対してフィルタリングを実行するかを示す情報を含み、
    前記各色成分に対してフィルタリングを実行するかを示す情報が、符号化ツリーブロック単位でエントロピー復号化される、
    請求項７に記載の画像復号化方法。
  9. 前記フィルタ係数値に関する情報が、前記符号化ツリーブロックの各色成分のフィルタ係数値に関する情報を含み、
    前記フィルタリングに用いられる前記フィルタ係数値が、前記各色成分のフィルタ係数値に関する情報に基づいて、色成分ごとに決定される、
    請求項７に記載の画像復号化方法。
  10. 符号化ツリーブロック内のサンプルをブロック分類単位で分類するステップと、
    前記ブロック分類単位で分類された前記サンプルを有する前記符号化ツリーブロックにブロック分類インデックスを割り当てるステップと、
    フィルタ情報及び前記ブロック分類インデックスを用いて、前記ブロック分類単位で分類された前記サンプルを有する前記符号化ツリーブロックにフィルタリングを適用するステップと、
    前記フィルタ情報を符号化するステップと、
    を含み、
    前記ブロック分類インデックスが、方向性情報及び活動性情報を用いて決定され、
    前記方向性情報及び前記活動性情報のうちの少なくとも一つが、縦方向、横方向、第１対角方向及び第２対角方向のうちの少なくとも一つに対する勾配値に基づいて決定され、
    前記勾配値が、前記ブロック分類単位での１Ｄラプラシアン演算を用いて取得され、
    前記１Ｄラプラシアン演算が、前記ブロック分類単位に含まれ、横位置及び縦位置が前記ブロック分類単位でいずれも偶数である位置といずれも奇数である位置とにある特定のサンプルに対してのみ行われる、
    画像符号化方法。
  11. 符号化ツリーブロック内のサンプルをブロック分類単位で分類するステップと、
    前記ブロック分類単位で分類された前記サンプルを有する前記符号化ツリーブロックにブロック分類インデックスを割り当てるステップと、
    フィルタ情報及び前記ブロック分類インデックスを用いて、前記ブロック分類単位で分類された前記サンプルを有する前記符号化ツリーブロックにフィルタリングを適用するステップと、
    前記フィルタ情報を符号化するステップと、
    を含み、
    前記ブロック分類インデックスが、方向性情報及び活動性情報を用いて決定され、
    前記方向性情報及び前記活動性情報のうちの少なくとも一つが、縦方向、横方向、第１対角方向及び第２対角方向のうちの少なくとも一つに対する勾配値に基づいて決定され、
    前記勾配値が、前記ブロック分類単位での１Ｄラプラシアン演算を用いて取得され、
    前記１Ｄラプラシアン演算が、前記ブロック分類単位に含まれ、横位置及び縦位置が前記ブロック分類単位でいずれも偶数である位置といずれも奇数である位置とにある特定のサンプルに対してのみ行われる、
    画像符号化方法によって生成されたビットストリームを伝送するビットストリーム伝送方法。
JP2020529379A 2017-11-29 2018-11-29 画像復号化方法、画像符号化方法及びビットストリーム伝送方法 Active JP7330184B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023129198A JP2023138676A (ja) 2017-11-29 2023-08-08 画像復号化方法、画像符号化方法及びコンピュータ可読記録媒体

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
KR20170162230 2017-11-29
KR10-2017-0162230 2017-11-29
KR20180068908 2018-06-15
KR10-2018-0068908 2018-06-15
KR20180082117 2018-07-16
KR10-2018-0082117 2018-07-16
KR10-2018-0106849 2018-09-07
KR20180106849 2018-09-07
KR20180114424 2018-09-21
KR10-2018-0114424 2018-09-21
KR10-2018-0115327 2018-09-27
KR20180115327 2018-09-27
KR20180118377 2018-10-04
KR10-2018-0118377 2018-10-04
KR10-2018-0129908 2018-10-29
KR20180129908 2018-10-29
PCT/KR2018/015014 WO2019107994A1 (ko) 2017-11-29 2018-11-29 루프내 필터링을 이용한 영상 부호화/복호화 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023129198A Division JP2023138676A (ja) 2017-11-29 2023-08-08 画像復号化方法、画像符号化方法及びコンピュータ可読記録媒体

Publications (3)

Publication Number Publication Date
JP2021505074A JP2021505074A (ja) 2021-02-15
JP2021505074A5 JP2021505074A5 (ja) 2021-05-06
JP7330184B2 true JP7330184B2 (ja) 2023-08-21

Family

ID=66664123

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020529379A Active JP7330184B2 (ja) 2017-11-29 2018-11-29 画像復号化方法、画像符号化方法及びビットストリーム伝送方法
JP2023129198A Pending JP2023138676A (ja) 2017-11-29 2023-08-08 画像復号化方法、画像符号化方法及びコンピュータ可読記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023129198A Pending JP2023138676A (ja) 2017-11-29 2023-08-08 画像復号化方法、画像符号化方法及びコンピュータ可読記録媒体

Country Status (6)

Country Link
US (3) US11290715B2 (ja)
EP (1) EP3720129A4 (ja)
JP (2) JP7330184B2 (ja)
KR (1) KR102643115B1 (ja)
CN (5) CN115802034A (ja)
WO (1) WO2019107994A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3704858A1 (en) * 2017-11-01 2020-09-09 Vid Scale, Inc. Methods for simplifying adaptive loop filter in video coding
CN110650349B (zh) * 2018-06-26 2024-02-13 中兴通讯股份有限公司 一种图像编码方法、解码方法、编码器、解码器及存储介质
WO2020131891A1 (en) * 2018-12-17 2020-06-25 Futurewei Technologies, Inc. Harmonization of raster scan and rectangular tile groups in video coding
KR20210095138A (ko) 2018-12-19 2021-07-30 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020141892A1 (ko) 2019-01-01 2020-07-09 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
US11910024B2 (en) 2019-03-11 2024-02-20 Qualcomm Incorporated Boundary handling for adaptive loop filtering
CN109862371A (zh) * 2019-03-12 2019-06-07 北京大学深圳研究生院 一种基于帧内预测的编解码方法、装置及滤波器
CN113632493A (zh) * 2019-03-13 2021-11-09 北京字节跳动网络技术有限公司 变换跳过模式中的子块变换
CN113994671B (zh) 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
CN114424539A (zh) 2019-06-14 2022-04-29 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
US20220248006A1 (en) * 2019-06-17 2022-08-04 Electronics And Telecommunications Research Institute Adaptive in-loop filtering method and apparatus
WO2020256491A1 (ko) * 2019-06-19 2020-12-24 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20220024020A (ko) * 2019-06-25 2022-03-03 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 모션 보상 처리 방법, 인코더, 디코더 및 저장 매체
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
JP7291845B2 (ja) 2019-07-11 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングにおけるサンプルパディング
WO2021008546A1 (en) 2019-07-15 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Accessing samples across video unit boundaries in adaptive loop filtering
CN114128284A (zh) 2019-08-08 2022-03-01 松下电器（美国）知识产权公司 用于视频编码的系统和方法
US11197030B2 (en) 2019-08-08 2021-12-07 Panasonic Intellectual Property Corporation Of America System and method for video coding
US11140388B2 (en) * 2019-09-06 2021-10-05 Tencent America LLC Method and apparatus for non-linear loop filtering
WO2021049593A1 (en) 2019-09-11 2021-03-18 Panasonic Intellectual Property Corporation Of America System and method for video coding
KR20220061980A (ko) 2019-09-22 2022-05-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서의 패딩 프로세스
KR20220063177A (ko) 2019-09-27 2022-05-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 상이한 비디오 유닛들 간의 적응적 루프 필터링
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
CN115053522A (zh) * 2019-12-12 2022-09-13 Lg电子株式会社 采用自适应环路滤波器的视频或图像编码
WO2021145726A1 (ko) * 2020-01-15 2021-07-22 엘지전자 주식회사 적응적 루프 필터링 기반 영상 코딩 장치 및 방법
WO2021145728A1 (ko) * 2020-01-15 2021-07-22 엘지전자 주식회사 인루프 필터링 기반 영상 코딩 장치 및 방법
KR20220112828A (ko) * 2020-01-15 2022-08-11 엘지전자 주식회사 필터링 관련 정보 시그널링 기반 영상 코딩 장치 및 방법
US11394967B2 (en) * 2020-04-26 2022-07-19 Tencent America LLC Geometric cross-component filtering
US11546638B2 (en) * 2020-12-08 2023-01-03 Tencent America LLC Method and apparatus for video filtering
US11818343B2 (en) 2021-03-12 2023-11-14 Tencent America LLC Sample offset with predefined filters
CN113132740A (zh) * 2021-03-25 2021-07-16 中山大学 基于自适应环路滤波重建帧的方法、系统及存储介质
CN113422966B (zh) * 2021-05-27 2024-05-24 绍兴市北大信息技术科创中心 一种多模型cnn环路滤波方法
WO2022271635A1 (en) * 2021-06-22 2022-12-29 Beijing Dajia Internet Information Technology Co., Ltd. Side window bilateral filtering for video coding
WO2024042098A1 (en) * 2022-08-23 2024-02-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding a picture using filtering blocks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015515829A (ja) 2012-04-09 2015-05-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコード化のためのｌｃｕベースの適応ループフィルタ処理
WO2016130801A1 (en) 2015-02-11 2016-08-18 Qualcomm Incorporated Coding tree unit (ctu) level adaptive loop filter (alf)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711211B1 (en) 2000-05-08 2004-03-23 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
US20100091127A1 (en) * 2008-09-30 2010-04-15 University Of Victoria Innovation And Development Corporation Image reconstruction method for a gradient camera
US20120320973A1 (en) 2010-03-09 2012-12-20 Thomson Licensing Methods and apparatus for a classification-based loop filter
KR101750046B1 (ko) * 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
JP2012065120A (ja) * 2010-09-15 2012-03-29 Sharp Corp フィルタ係数設定装置、フィルタ係数設定方法、および、画像符号化装置
KR102111917B1 (ko) 2011-06-30 2020-05-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
US9204171B1 (en) 2011-09-28 2015-12-01 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9807403B2 (en) * 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
CN103096060B (zh) 2011-11-08 2017-03-29 乐金电子(中国)研究开发中心有限公司 帧内图像预测编解码的自适应环路滤波方法及装置
KR20140019221A (ko) 2012-07-17 2014-02-14 한국전자통신연구원 인루프 필터링 방법 및 이를 이용하는 장치
CN104813669B (zh) * 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US10477232B2 (en) * 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
US11405611B2 (en) * 2016-02-15 2022-08-02 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding
CN109155857B (zh) * 2016-03-11 2023-05-30 数字洞察力有限公司 视频编码方法以及装置
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
KR20230098714A (ko) * 2016-09-30 2023-07-04 로즈데일 다이나믹스 엘엘씨 영상 처리 방법 및 이를 위한 장치
US10708591B2 (en) * 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding
US11418816B2 (en) * 2017-09-20 2022-08-16 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015515829A (ja) 2012-04-09 2015-05-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコード化のためのｌｃｕベースの適応ループフィルタ処理
WO2016130801A1 (en) 2015-02-11 2016-08-18 Qualcomm Incorporated Coding tree unit (ctu) level adaptive loop filter (alf)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chen, Jianle et al.，Algorithm Description of Joint Exploration Test Model 7 (JEM 7)，JVET-G1001 (version 1)，ITU，2017年08月19日，pp.37-40，JVET-G1001-v1.docx

Also Published As

Publication number Publication date
US20210218962A1 (en) 2021-07-15
US11943436B2 (en) 2024-03-26
CN115955562A (zh) 2023-04-11
KR102643115B1 (ko) 2024-03-04
JP2023138676A (ja) 2023-10-02
CN111615828A (zh) 2020-09-01
EP3720129A4 (en) 2021-08-25
CN116055748A (zh) 2023-05-02
US11290715B2 (en) 2022-03-29
KR20190063452A (ko) 2019-06-07
WO2019107994A1 (ko) 2019-06-06
CN115802034A (zh) 2023-03-14
US20240137507A1 (en) 2024-04-25
JP2021505074A (ja) 2021-02-15
CN115941941A (zh) 2023-04-07
US20220295058A1 (en) 2022-09-15
CN111615828B (zh) 2023-01-10
EP3720129A1 (en) 2020-10-07

Similar Documents

Publication Publication Date Title
JP7330184B2 (ja) 画像復号化方法、画像符号化方法及びビットストリーム伝送方法
KR102557090B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102595070B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN111149359B (zh) 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
JP2022191450A (ja) ビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体
KR20230113261A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한기록 매체
CN113940085B (zh) 自适应环内滤波方法和设备
CN116866585A (zh) 对图像解码和编码的方法以及存储压缩视频数据的装置
KR20180065953A (ko) 비디오 신호 처리 방법 및 장치
KR20210063258A (ko) 적응적 루프내 필터링 방법 및 장치
KR102654647B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200033212A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180061025A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN110720220B (zh) 视频信号处理方法及装置
KR20230170597A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
KR20230142372A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
KR20230141648A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
GB2591563A (en) Method and apparatus for processing video signal

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230808

R150 Certificate of patent or registration of utility model

Ref document number: 7330184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113