JP7467467B2 - イントラ予測基盤の画像符号化／復号化方法及び装置 - Google Patents

イントラ予測基盤の画像符号化／復号化方法及び装置 Download PDF

Info

Publication number
JP7467467B2
JP7467467B2 JP2021533307A JP2021533307A JP7467467B2 JP 7467467 B2 JP7467467 B2 JP 7467467B2 JP 2021533307 A JP2021533307 A JP 2021533307A JP 2021533307 A JP2021533307 A JP 2021533307A JP 7467467 B2 JP7467467 B2 JP 7467467B2
Authority
JP
Japan
Prior art keywords
block
intra prediction
current block
pixel
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021533307A
Other languages
English (en)
Other versions
JPWO2020139060A5 (ja
JP2022515992A (ja
Inventor
キム、ギベク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B1 Institute of Image Technology Inc
Original Assignee
B1 Institute of Image Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B1 Institute of Image Technology Inc filed Critical B1 Institute of Image Technology Inc
Publication of JP2022515992A publication Critical patent/JP2022515992A/ja
Publication of JPWO2020139060A5 publication Critical patent/JPWO2020139060A5/ja
Application granted granted Critical
Publication of JP7467467B2 publication Critical patent/JP7467467B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像符号化／復号化方法及び装置に関する。
最近、高解像度・高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像やＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像などに対する需要が様々な応用分野で増加しており、これにより高効率の画像圧縮技術が議論されている。
画像圧縮技術として、現在ピクチャの以前又は以後ピクチャから現在ピクチャに含まれている画素値を予測するインター予測技術、現在ピクチャ内の画素情報を用いて、現在ピクチャに含まれている画素値を予測するイントラ予測技術、出現頻度の高い値に短い符号を割り当て、出現頻度の低い値に長い符号を割り当てるエントロピー符号化技術などの様々な技術が存在し、これらの画像圧縮技術を利用して画像データを効果的に圧縮して伝送又は格納することができる。
本発明は、効率的なブロック分割方法及び装置を提供することを目的とする。
本発明は、イントラ予測モード誘導方法及び装置を提供することを目的とする。
本発明は、イントラ予測のための参照領域を決定する方法及び装置を提供することを目的とする。
本発明は、成分のタイプによるイントラ予測方法及び装置を提供することを目的とする。
本発明の画像符号化／復号化方法及び装置は、現在ブロックのイントラ予測のための参照領域を決定し、前記現在ブロックのイントラ予測モードを誘導し、前記参照領域と前記イントラ予測モードに基づいて、前記現在ブロックを復号化することができる。
本発明の画像符号化／復号化方法及び装置において、符号化／復号化装置に既に定義されたイントラ予測モードは、ＭＰＭ候補群とＮｏｎ－ＭＰＭ候補群に区分され、前記ＭＰＭ候補群は、第１候補グループ又は第２候補グループのうちの少なくとも一つを含むことができる。
本発明の画像符号化／復号化方法及び装置において、前記現在ブロックのイントラ予測モードは、前記第１候補グループ又は前記第２候補グループのうちのいずれか一つから誘導できる。
本発明の画像符号化／復号化方法及び装置において、前記第１候補グループは、前記復号化装置に既に定義されたデフォルトモードで構成され、前記第２候補グループは、複数のＭＰＭ候補で構成されることができる。
本発明の画像符号化／復号化方法及び装置において、前記デフォルトモードは、Ｐｌａｎａｒモード、ＤＣモード、垂直モード、水平モード、垂直モード又は対角モードのうちの少なくとも一つであることができる。
本発明の画像符号化／復号化方法及び装置において、前記複数のＭＰＭ候補は、周辺ブロックのイントラ予測モード、前記周辺ブロックのイントラ予測モードからｎ値を減算して取得されたモード、又は前記周辺ブロックのイントラ予測モードにｎ値を加算して取得されたモードのうちの少なくとも一つを含み、ｎは１、２又はそれ以上の自然数を意味することができる。
本発明の画像符号化／復号化方法及び装置において、前記複数のＭＰＭ候補は、ＤＣモード、垂直モード、水平モード、前記垂直モードに対してｍ値を減算又は加算して取得されたモード、又は前記水平モードに対してｍ値を減算又は加算して取得されたモードのうちの少なくとも一つを含み、ｍは１、２、３、４又はそれ以上の自然数であることができる。
本発明の画像符号化／復号化方法及び装置において、符号化装置は、現在ブロックのイントラ予測モードが属する候補グループを決定し、前記候補グループを識別するフラグを符号化し、復号化装置は、符号化装置でシグナリングされるフラグに基づいて前記第１候補グループ又は前記第２候補グループのうちのいずれか一つを選択することができる。
本発明の画像符号化／復号化方法及び装置において、前記誘導されたイントラ予測モードは、前記誘導されたイントラ予測モードに所定のオフセットを適用して変更できる。
本発明の画像符号化／復号化方法及び装置において、前記オフセットの適用は、前記現在ブロックの大きさ、形状、分割情報、イントラ予測モードの値又は成分タイプのうちの少なくとも一つに基づいて選択的に行われ得る。
本発明の画像符号化／復号化方法及び装置において、前記参照領域を決定するステップは、前記参照領域に属する利用不可画素を探索するステップと、前記利用不可画素を利用可能画素で代替するステップと、を含むことができる。
本発明の画像符号化／復号化方法及び装置において、前記利用可能画素は、ビット深度値に基づいて決定されるか、或いは前記利用不可画素の左側、右側、上端又は下端のうちの少なくとも一つに隣接する画素であることができる。
本発明は、適応的なブロック分割によってイントラ予測符号化／復号化の効率を向上させることができる。
本発明によれば、ＭＰＭ候補群に基づくイントラ予測モードの誘導を介してより正確かつ効率的に予測を行うことができる。
本発明によれば、色差ブロックの場合、成分間参照基盤の予測モードを別のグループとして定義することにより、色差ブロックのイントラ予測モードの誘導をより効率よく行うことができる。
本発明によれば、イントラ予測のための参照領域の利用不可画素を所定の利用可能画素で代替することにより、イントラ予測の精度と効率を向上させることができる。
本発明によれば、成分間参照に基づいて画面間予測の効率を向上させることができる。
本発明の一実施形態による画像符号化装置を示すブロック図である。 本発明の一実施形態による画像復号化装置を示すブロック図である。 本発明が適用される一実施形態として、ピクチャを複数のフラグメント領域に分割する方法を示す図である。 本発明が適用される一実施形態として、画像符号化／復号化装置に既に定義されたイントラ予測モードを示す例示図である。 本発明が適用される一実施形態として、イントラ予測に基づいて現在ブロックを復号化する方法を示す図である。 本発明が適用される一実施形態として、参照領域の利用不可画素を代替する方法を示す図である。 本発明が適用される一実施形態として、イントラ予測モードを変更／補正する方法を示す図である。 本発明が適用される一実施形態として、成分間参照に基づく予測方法を示す図である。 本発明が適用される一実施形態として、参照領域を構成する方法を示す図である。 本発明が適用される一実施形態として、ステップ別にイントラ予測モードセットを構成する例示図である。 本発明が適用される一実施形態として、イントラ予測モードを複数の候補群に分類する方法を示す図である。 本発明が適用される一実施形態として、現在ブロックとそれに隣接する画素を示す例示図である。 本発明が適用される一実施形態として、イントラ予測をステップ別に行う方法を示す図である。 本発明が適用される一実施形態として、イントラ予測のための任意の画素に対する例示図である。 本発明が適用される一実施形態として、任意の画素に基づいて複数のサブ領域に区画される例示図である。
本発明の画像符号化／復号化方法及び装置は、現在ブロックのイントラ予測のための参照領域を決定し、前記現在ブロックのイントラ予測モードを誘導し、前記参照領域と前記イントラ予測モードに基づいて、前記現在ブロックを復号化することができる。
本発明の画像符号化／復号化方法及び装置において、符号化／復号化装置に既に定義されたイントラ予測モードは、ＭＰＭ候補群とＮｏｎ－ＭＰＭ候補群に区分され、前記ＭＰＭ候補群は、第１候補グループ又は第２候補グループのうちの少なくとも一つを含むことができる。
本発明の画像符号化／復号化方法及び装置において、前記現在ブロックのイントラ予測モードは、前記第１候補グループ又は前記第２候補グループのうちのいずれか一つから誘導できる。
本発明の画像符号化／復号化方法及び装置において、前記第１候補グループは、前記復号化装置に既に定義されたデフォルトモードで構成され、前記第２候補グループは、複数のＭＰＭ候補で構成されることができる。
本発明の画像符号化／復号化方法及び装置において、前記デフォルトモードは、Ｐｌａｎａｒモード、ＤＣモード、垂直モード、水平モード、垂直モード又は対角モードのうちの少なくとも一つであることができる。
本発明の画像符号化／復号化方法及び装置において、前記複数のＭＰＭ候補は、周辺ブロックのイントラ予測モード、前記周辺ブロックのイントラ予測モードからｎ値を減算して取得されたモード、又は前記周辺ブロックのイントラ予測モードにｎ値を加算して取得されたモードのうちの少なくとも一つを含み、ｎは１、２又はそれ以上の自然数を意味することができる。
本発明の画像符号化／復号化方法及び装置において、前記複数のＭＰＭ候補は、ＤＣモード、垂直モード、水平モード、前記垂直モードに対してｍ値を減算又は加算して取得されたモード、又は前記水平モードに対してｍ値を減算又は加算して取得されたモードのうちの少なくとも一つを含み、ｍは１、２、３、４又はそれ以上の自然数であることができる。
本発明の画像符号化／復号化方法及び装置において、符号化装置は、現在ブロックのイントラ予測モードが属する候補グループを決定し、前記候補グループを識別するフラグを符号化し、復号化装置は、符号化装置でシグナリングされるフラグに基づいて前記第１候補グループ又は前記第２候補グループのうちのいずれか一つを選択することができる。
本発明の画像符号化／復号化方法及び装置において、前記誘導されたイントラ予測モードは、前記誘導されたイントラ予測モードに所定のオフセットを適用して変更できる。
本発明の画像符号化／復号化方法及び装置において、前記オフセットの適用は、前記現在ブロックの大きさ、形状、分割情報、イントラ予測モードの値又は成分タイプのうちの少なくとも一つに基づいて選択的に行われ得る。
本発明の画像符号化／復号化方法及び装置において、前記参照領域を決定するステップは、前記参照領域に属する利用不可画素を探索するステップと、前記利用不可画素を利用可能画素で代替するステップを含むことができる。
本発明の画像符号化／復号化方法及び装置において、前記利用可能画素は、ビット深度値に基づいて決定されるか、或いは前記利用不可画素の左側、右側、上端又は下端のうちの少なくとも一つに隣接する画素であることができる。
［発明の実施のための形態］
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ところが、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物乃至代替物を含むものと理解されるべきである。各図面を説明しながら、同様の参照符号を同様の構成要素に対して使用した。
用語「第１」、「第２」などは多様な構成要素の説明に使用できるが、これらの構成要素は上記の用語によって限定されてはならない。これらの用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲から外れることなく、第１構成要素は第２構成要素と命名することができ、これと同様に、第２構成要素も第１構成要素と命名することができる。用語「及び／又は」は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。
ある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いるとした場合には、その他の構成要素に直接連結されている或いは接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解されるべきである。
以下、添付図面を参照して、本発明の好適な実施形態をより詳細に説明する。図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素についての重複説明は省略する。
図１は本発明の一実施形態に係る画像符号化装置を示すブロック図である。
図１を参照すると、画像符号化装置１００は、ピクチャ分割部１１０、予測部１２０、１２５、変換部１３０、量子化部１３５、再整列部１６０、エントロピー符号化部１６５、逆量子化部１４０、逆変換部１４５、フィルタ１５０及びメモリ１５５を含むことができる。
図１に示された各構成部は、画像符号化装置で互いに異なる特徴的な機能を示すために独立して図示したものであって、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうちの少なくとも二つの構成部が組み合わせられて一つの構成部をなすか、或いは一つの構成部が複数の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施形態及び分離された実施形態も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
また、一部の構成要素は、本発明において本質的な機能を行う不可欠の構成要素ではなく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上のために使用される構成要素を除く、本発明の本質の実現に必要不可欠な構成部のみを含んで実現でき、単に性能向上のために使用される選択的構成要素を除く必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
ピクチャ分割部１１０は、入力されたピクチャを少なくとも一つの処理単位に分割することができる。このとき、処理単位は、予測単位（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ）であってもよく、変換単位（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ）であってもよく、符号化単位（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ）であってもよい。ピクチャ分割部１１０では、一つのピクチャに対して複数の符号化単位、予測単位及び変換単位の組み合わせに分割し、所定の基準（例えば、費用関数）として一つの符号化単位、予測単位及び変換単位の組み合わせを選択してピクチャを符号化することができる。
例えば、一つのピクチャは複数の符号化単位に分割できる。ピクチャから符号化単位を分割するためには、四分木構造（Ｑｕａｄ Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）などの再帰的なツリー構造を使用することができるが、一つの画像又は最大大きさの符号化単位（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ）又は符号化ツリー単位（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）をルートにして他の符号化単位に分割される符号化単位は、分割された符号化単位の個数だけの子ノードをもって分割され得る。一定の制限に応じてそれ以上分割されない符号化ユニットは、リーフノードとなる。つまり、一つの符号化単位に対して正方形分割のみが可能であると仮定した場合、一つの符号化単位は、最大４つの異なる符号化単位に分割され得る。
以下、本発明の実施形態では、符号化単位は、符号化を行う単位の意味で使用することもあり、復号化を行う単位の意味で使用することもある。
予測単位は、一つの符号化単位内で同じ大きさの少なくとも一つの正方形又は長方形などの形状をもって分割されたものであってもよく、一つの符号化単位内で分割された予測単位のうちのいずれかがもう一つの予測単位とは異なる形状及び／又は大きさを有するように分割されたものであってもよい。
符号化単位を基礎としてイントラ予測を行う予測単位を生成するときに最小符号化単位ではない場合、複数の予測単位Ｎ×Ｎに分割せずにイントラ予測を行うことができる。
予測部１２０、１２５は、インター予測を行うインター予測部１２０と、イントラ予測を行うイントラ予測部１２５とを含むことができる。予測単位に対してインター予測を使用するか或いはイントラ予測を行うかを決定し、各予測方法による具体的な情報（例えば、イントラ予測モード、動きベクトル、参照ピクチャなど）を決定することができる。このとき、予測が行われる処理単位と、予測方法及び具体的な内容が定められる処理単位とは互いに異なり得る。例えば、予測方法と予測モードなどは予測単位で決定され、予測の実行は変換単位で行われてもよい。 生成された予測ブロックと原本ブロックとの残差値（残差ブロック）は、変換部１３０に入力できる。また、予測のために使用した予測モード情報、動きベクトル情報などは、残差値と一緒にエントロピー符号化部１６５で符号化されて復号化器に伝達され得る。特定の符号化モードを使用する場合、予測部１２０、１２５を介して予測ブロックを生成せずに、原本ブロックをそのまま符号化して復号化部に伝送することも可能である。
インター予測部１２０は、現在ピクチャの以前ピクチャ又は以後ピクチャのうちの少なくとも一つのピクチャの情報に基づいて予測単位を予測することもでき、場合によっては、現在ピクチャ内の符号化が完了した一部領域の情報に基づいて予測単位を予測することもできる。インター予測部１２０は、参照ピクチャ補間部、動き予測部、動き補償部を含むことができる。
参照ピクチャ補間部では、メモリ１５５から参照ピクチャ情報の提供を受け、参照ピクチャで整数画素以下の画素情報を生成することができる。輝度画素の場合、１／４画素単位で整数画素以下の画素情報を生成するためにフィルタ係数を異にするＤＣＴベースの８タップ補間フィルタ（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）が使用できる。色差信号の場合、１／８画素単位で整数画素以下の画素情報を生成するためにフィルタ係数を異にするＤＣＴベースの４タップ補間フィルタ（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）が使用できる。
動き予測部は、参照ピクチャ補間部によって補間された参照ピクチャに基づいて動き予測を行うことができる。動きベクトルを算出するための方法として、ＦＢＭＡ（Ｆｕｌｌ ｓｅａｒｃｈ－ｂａｓｅｄ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ａｌｇｏｒｉｔｈｍ）、ＴＳＳ（Ｔｈｒｅｅ Ｓｔｅｐ Ｓｅａｒｃｈ）、ＮＴＳ（Ｎｅｗ Ｔｈｒｅｅ－Ｓｔｅｐ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ）などの様々な方法が使用できる。動きベクトルは、補間された画素に基づいて１／２又は１／４画素単位の動きベクトル値を持つことができる。動き予測部では、動き予測方法を異にして現在予測単位を予測することができる。動き予測方法として、スキップ（Ｓｋｉｐ）方法、マージ（Ｍｅｒｇｅ）方法、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法、イントラーブロックコピー（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）方法などの様々な方法が使用できる。
イントラ予測部１２５は、現在ピクチャ内の画素情報である現在ブロック周辺の参照画素情報に基づいて予測単位を生成することができる。現在予測単位の周辺ブロックがインター予測を行ったブロックであって、参照画素がインター予測を行った画素である場合、インター予測を行ったブロックに含まれる参照画素を、周辺のイントラ予測を行ったブロックの参照画素情報で代替して使用することができる。つまり、参照画素が利用可能でない場合は、利用可能でない参照画素情報を、利用可能な参照画素のうちの少なくとも一つの参照画素で代替して使用することができる。
イントラ予測における予測モードは、参照画素情報を予測方向に応じて使用する方向性予測モードと、予測の実行時に方向性情報を使用しない非方向性モードとを有することができる。輝度情報を予測するためのモードと色差情報を予測するためのモードとが互いに異なることができ、色差情報を予測するために、輝度情報を予測するために使用されたイントラ予測モード情報又は予測された輝度信号情報を活用することができる。
イントラ予測を行う際に予測単位の大きさと変換単位の大きさとが同じである場合には、予測単位の左側に存在する画素、左上端に存在する画素、上端に存在する画素に基づいて予測単位に対するイントラ予測を行うことができる。しかし、イントラ予測を行う際に予測単位の大きさと変換ユニットの大きさとが互いに異なる場合には、変換単位を基礎とした参照画素を用いてイントラ予測を行うことができる。また、最小符号化単位に対してのみＮ×Ｎ分割を使用するイントラ予測を使用することができる。
イントラ予測方法は、予測モードに応じて参照画素にＡＩＳ（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルタを適用した後、予測ブロックを生成することができる。参照画素に適用されるＡＩＳフィルタの種類は互いに異なることができる。イントラ予測方法を行うために、現在予測単位のイントラ予測モードは、現在予測単位の周辺に存在する予測単位のイントラ予測モードから予測することができる。周辺予測単位から予測されたモード情報を用いて現在予測単位の予測モードを予測する場合、現在予測単位と周辺予測単位のイントラ予測モードが同一であれば、所定のフラグ情報を用いて、現在予測単位と周辺予測単位の予測モードが同一であるという情報を伝送することができ、もし現在予測単位と周辺予測単位の予測モードが互いに異なれば、エントロピー符号化を行って現在ブロックの予測モード情報を符号化することができる。
また、予測部１２０、１２５で生成された予測単位に基づいて予測を行った予測ブロックと予測単位の原本ブロックとの差異値である残差値（Ｒｅｓｉｄｕａｌ）情報を含む残差ブロックが生成できる。生成された残差ブロックは、変換部１３０に入力できる。
変換部１３０では、原本ブロックと予測部１２０、１２５を介して生成された予測単位の残差値（ｒｅｓｉｄｕａｌ）情報を含む残差ブロックをＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴなどの変換方法を用いて変換させることができる。残差ブロックを変換するためにＤＣＴを適用するか、ＤＳＴを適用するか、或いはＫＬＴを適用するかは、残差ブロックを生成するために使用された予測単位のイントラ予測モード情報に基づいて決定することができる。
量子化部１３５は、変換部１３０で周波数領域に変換された値を量子化することができる。ブロックに応じて又は画像の重要度に応じて、量子化係数は変わり得る。量子化部１３５で算出された値は、逆量子化部１４０と再整列部１６０に提供できる。
再整列部１６０は、量子化された残差値に対して係数値の再整列を行うことができる。
再整列部１６０は、係数スキャニング（Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法によって２次元のブロック形態係数を１次元のベクトル形態に変更することができる。例えば、再整列部１６０では、ジグザグスキャン（Ｚｉｇ－Ｚａｇ Ｓｃａｎ）方法を用いてＤＣ係数から高周波数領域の係数までスキャンして１次元のベクトル形態に変更することができる。変換単位の大きさ及びイントラ予測モードに応じて、ジグザグスキャンの代わりに、２次元のブロック形態係数を列方向にスキャンする垂直スキャン、２次元のブロック形態係数を行方向にスキャンする水平スキャンが使用されてもよい。つまり、変換単位の大きさ及びイントラ予測モードに応じて、ジグザグスキャン、垂直方向スキャン及び水平方向スキャンのうち、どのスキャン方法が使用されるかを決定することができる。
エントロピー符号化部１６５は、再整列部１６０によって算出された値に基づいてエントロピー符号化を行うことができる。エントロピー符号化は、例えば、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などのさまざまな符号化方法を使用することができる。
エントロピー符号化部１６５は、再整列部１６０及び予測部１２０、１２５から符号化単位の残差値係数情報及びブロックタイプ情報、予測モード情報、分割単位情報、予測単位情報及び伝送単位情報、動きベクトル情報、参照フレーム情報、ブロックの補間情報、フィルタリング情報などの様々な情報を符号化することができる。
エントロピー符号化部１６５では、再整列部１６０から入力された符号化単位の係数値をエントロピー符号化することができる。
逆量子化部１４０及び逆変換部１４５では、量子化部１３５で量子化された値を逆量子化し、変換部１３０で変換された値を逆変換する。逆量子化部１４０及び逆変換部１４５で生成された残差値（Ｒｅｓｉｄｕａｌ）は、予測部１２０、１２５に含まれている動き推定部、動き補償部及びイントラ予測部を介して予測された予測単位と合わせられて復元ブロック（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｂｌｏｃｋ）を生成することができる。
フィルタ部１５０は、デブロッキングフィルタ、オフセット補正部及びＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）のうちの少なくとも一つを含むことができる。
デブロッキングフィルタは、復元されたピクチャにおけるブロック間の境界により生じたブロック歪みを除去することができる。デブロッキングを行うか否かを判断するために、ブロックに含まれている幾つかの列又は行に含まれている画素に基づいて、現在ブロックにデブロッキングフィルタを適用するか否かを判断することができる。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度に応じて強いフィルタ（Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ）又は弱いフィルタ（Ｗｅａｋ Ｆｉｌｔｅｒ）を適用することができる。また、デブロッキングフィルタを適用するにあたり、垂直フィルタリング及び水平フィルタリングを行う場合、水平方向のフィルタリング及び垂直方向のフィルタリングが並行処理されるようにすることができる。
オフセット補正部は、デブロッキングを行った画像に対して画素単位で原本画像とのオフセットを補正することができる。特定のピクチャに対するオフセット補正を行うために、画像に含まれている画素を一定数の領域に区分した後、オフセットを行う領域を決定し、該当領域にオフセットを適用する方法、又は各画素のエッジ情報を考慮してオフセットを適用する方法を使用することができる。
ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒｉｎｇ）は、フィルタリングした復元画像と原本画像とを比較した値に基づいて行われ得る。画像に含まれている画素を所定のグループに分けた後、該当グループに適用される一つのフィルタを決定し、グループごとに差別的にフィルタリングを行うことができる。ＡＬＦを適用するか否かに関連した情報は、輝度信号は符号化単位別に伝送でき、それぞれのブロックに応じて適用されるＡＬＦフィルタの形状及びフィルタ係数は変わり得る。また、適用対象ブロックの特性を問わずに、同じ形態（固定された形態）のＡＬＦフィルタが適用されてもよい。
メモリ１５５は、フィルタ部１５０を介して算出された復元ブロック又はピクチャを格納することができ、格納された復元ブロック又はピクチャは、インター予測を行うときに予測部１２０、１２５に提供できる。
図２は本発明の一実施形態による画像復号化装置を示すブロック図である。
図２を参照すると、画像復号化器２００は、エントロピー復号化部２１０、再整列部２１５、逆量子化部２２０、逆変換部２２５、予測部２３０、２３５、フィルタ部２４０、及びメモリ２４５を含むことができる。
画像符号化器から画像ビットストリームが入力された場合、入力されたビットストリームは、画像符号化器と逆の手順で復号化できる。
エントロピー復号化部２１０は、画像符号化器のエントロピー符号化部でエントロピー符号化を行ったのと逆の手順でエントロピー復号化を行うことができる。例えば、画像符号化器で行われた方法に対応して、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などのさまざまな方法が適用できる。
エントロピー復号化部２１０では、符号化器で行われたイントラ予測及びインター予測に関連した情報を復号化することができる。
再整列部２１５は、エントロピー復号化部２１０でエントロピー復号化されたビットストリームを符号化部で再整列した方法に基づいて再整列を行うことができる。１次元のベクトル形態で表現された係数を再び２次元のブロック形態の係数に復元して再整列を行うことができる。再整列部２１５は、符号化部で行われた係数スキャニングに関連する情報の提供を受け、当該符号化部で行われたスキャニングの順序に基づいて逆にスキャニングする方法によって再整列を行うことができる。
逆量子化部２２０は、符号化器から提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を行うことができる。
逆変換部２２５は、画像符号化器で行った量子化結果に対して変換部で行った変換、すなわち、ＤＣＴ、ＤＳＴ及びＫＬＴに対して逆変換、すなわち、逆ＤＣＴ、逆ＤＳＴ及び逆ＫＬＴを行うことができる。逆変換は、画像符号化器で決定された伝送単位に基づいて行われ得る。画像復号化器の逆変換部２２５では、予測方法、現在ブロックの大きさ及び予測方向などの複数の情報に応じて変換技法（例えば、ＤＣＴ、ＤＳＴ、ＫＬＴ）が選択的に行われ得る。
予測部２３０、２３５は、エントロピー復号化部２１０から提供された予測ブロック生成関連情報、及びメモリ２４５から提供された以前に復号化されたブロック又はピクチャ情報に基づいて、予測ブロックを生成することができる。
前述したように、画像符号化器での動作と同様にイントラ予測を行うときに予測単位の大きさと変換単位の大きさとが同一である場合には、予測単位の左側に存在する画素、左上端に存在する画素、上端に存在するする画素に基づいて予測単位に対するイントラ予測を行うが、イントラ予測を行うときに予測単位の大きさと変換単位の大きさとが互いに異なる場合には、変換単位に基づく参照画素を用いてイントラ予測を行うことができる。また、最小符号化単位に対してのみＮ×Ｎ分割を使用するイントラ予測を使用することもできる。
予測部２３０、２３５は、予測単位判別部、インター予測部及びイントラ予測部を含むことができる。予測単位判別部は、エントロピー復号化部２１０から入力される予測単位情報、イントラ予測方法の予測モード情報、インター予測方法の動き予測関連情報などの様々な情報の入力を受け、現在符号化単位において予測単位を区分し、予測単位がインター予測を行うか、それともイントラ予測を行うかを判別することができる。インター予測部２３０は、画像符号化装置から提供された現在予測単位のインター予測に必要な情報を用いて、現在予測単位が含まれている現在ピクチャの以前ピクチャ又は以後ピクチャのうちの少なくとも一つのピクチャに含まれている情報に基づいて、現在予測単位に対するインター予測を行うことができる。又は、現在予測単位が含まれている現在ピクチャ内で、既に復元された一部領域の情報に基づいてインター予測を行うこともできる。
インター予測を行うために符号化単位を基準に該当符号化単位に含まれている予測単位の動き予測方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ Ｍｏｄｅ）、ＡＭＶＰモード（ＡＭＶＰ Ｍｏｄｅ）及びイントラブロックコピーモードのうちのいずれの方法であるかを判断することができる。
イントラ予測部２３５は、現在ピクチャ内の画素情報に基づいて予測ブロックを生成することができる。予測単位がイントラ予測を行った予測単位である場合、画像符号化器から提供された予測単位のイントラ予測モード情報に基づいてイントラ予測を行うことができる。イントラ予測部２３５には、ＡＩＳ（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルタ、参照画素補間部及びＤＣフィルタを含むことができる。ＡＩＳフィルタは、現在ブロックの参照画素にフィルタリングを行う部分であって、現在予測単位の予測モードに応じてフィルタの適用有無を決定して適用することができる。画像符号化器から提供された予測単位の予測モード及びＡＩＳフィルタ情報を用いて現在ブロックの参照画素にＡＩＳフィルタリングを行うことができる。現在ブロックの予測モードがＡＩＳフィルタリングを行わないモードである場合、ＡＩＳフィルタは適用されなくてもよい。
参照画素補間部は、予測単位の予測モードが参照画素を補間した画素値に基づいてイントラ予測を行う予測単位である場合、参照画素を補間して整数値以下の画素単位の参照画素を生成することができる。現在予測単位の予測モードが、参照画素を補間せずに予測ブロックを生成する予測モードである場合、参照画素は補間されなくてもよい。ＤＣフィルタは、現在ブロックの予測モードがＤＣモードである場合、フィルタリングを介して予測ブロックを生成することができる。
復元されたブロック又はピクチャは、フィルタ部２４０に提供できる。フィルタ部２４０は、デブロッキングフィルタ、オフセット補正部、ＡＬＦを含むことができる。
画像符号化器から当該ブロック又はピクチャにデブロッキングフィルタを適用するか否かについての情報、及びデブロッキングフィルタを適用した場合に強いフィルタを適用したのか或いは弱いフィルタを適用したのかについての情報の提供を受けることができる。画像復号化器のデブロッキングフィルタでは、画像符号化器から提供されたデブロッキングフィルタ関連情報の提供を受け、画像復号化器で当該ブロックに対するデブロッキングフィルタリングを行うことができる。
オフセット補正部は、符号化時に画像に適用されたオフセット補正の種類及びオフセット値の情報などに基づいて、復元された画像に対してオフセット補正を行うことができる。
ＡＬＦは、符号化装置から提供されたＡＬＦ適用有無情報、ＡＬＦ係数情報などに基づいて符号化単位に適用できる。このようなＡＬＦ情報は、特定のパラメータセットに含まれて提供されてもよい。
メモリ２４５は、復元されたピクチャ又はブロックを格納して参照ピクチャ又は参照ブロックとして使用できるようにすることができ、また、復元されたピクチャを出力部へ提供することができる。
本明細書において、符号化単位、符号化ブロック、現在ブロックなどは、同じ意味で解釈できる。後述する実施形態は、前記画像符号化装置及び／又は画像復号化装置の対応ユニットで実行できる。
図３は本発明が適用される一実施形態として、ピクチャを複数のフラグメント領域に分割する方法を示す図である。
一つのピクチャは、所定のフラグメント領域に分割できる。本発明に係るフラグメント領域は、サブピクチャ（ｓｕｂｐｉｃｔｕｒｅ）、スライス（ｓｌｉｃｅ）、タイル（ｔｉｌｅ）、符号化ツリー単位（ＣＴＵ）又は符号化単位（ＣＵ）のうちの少なくとも一つを含むことができる。
図３を参照すると、ピクチャ３００は、一つ又はそれ以上のサブピクチャを含むことができる。つまり、ピクチャは、一つのサブピクチャで構成されることもでき、図３に示すように複数のサブピクチャに分割されることもできる。
サブピクチャは、符号化の設定に応じて分割情報が異なるように構成できる。（１）例えば、ピクチャを横切る垂直又は水平ラインに基づく一括的な分割方式でサブピクチャを取得することができる。（２）又は、各サブピクチャの特徴情報（位置、大きさ、形状など。形状は長方形を仮定して後述）に基づく部分的な分割方式でサブピクチャを取得することができる。
（１）前者の場合、サブピクチャを区画する垂直又は水平ラインに基づいてサブピクチャの分割情報が構成できる。
前記ライン基盤の分割は、均等又は非均等分割のうちの一つの方式を使用することができる。均等方式が使用される場合には、各ラインの分割個数に関する情報が発生することができ、非均等方式が使用される場合には、各ライン間の間隔情報（幅又は高さ）が発生することができる。符号化の設定に応じて、均等又は非均等分割方式のうちの一つが使用でき、方式選択情報が明示的に発生することもできる。垂直と水平ラインに均等又は非均等分割方式が一括して適用できる。又は、垂直ラインと水平ラインに適用される方法を異ならせる場合も可能である。前記分割情報に基づいてサブピクチャの個数情報が誘導できる。
前記ライン間の間隔情報は、ｎ個のサンプル単位、ＣＴＵサイズ、（２＊ＣＴＵサイズ）、（４＊ＣＴＵサイズ）などの単位で符号化されたものであり得る。ここで、ｎは４、８、１６、３２、６４、１２８、２５６又はそれ以上の自然数であることができる。前記発生する情報は、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）及びピクチャヘッダ（ＰＨ）のうちの少なくとも一つのレベルでシグナリングできる。
（２）後者の場合は、サブピクチャの位置情報（例えば、各サブピクチャの左上端、右上端、左下端、右下端位置などを示す情報）、サイズ情報（例えば、幅又は高さを示す情報）、サブピクチャの個数情報などからサブピクチャの分割情報が構成できる。
サブピクチャの個数を特定する情報（以下、個数情報）は、符号化装置で符号化され、復号化装置は、符号化された個数情報に基づいて、一つのピクチャを構成するサブピクチャの個数を決定することができる。前記個数情報は、ＶＰＳ、ＳＰＳ、ＰＰＳ及びＰＨのうちの少なくとも一つのレベルでシグナリングできる。又は、サブピクチャの分割情報（位置、サイズ情報など）に基づいてサブピクチャの個数情報を黙示的に誘導することもできる。
各サブピクチャの位置を特定する情報（以下、位置情報）は、当該サブピクチャの既に約束された位置のｘ座標又はｙ座標を含むことができる。既に約束された位置は、当該サブピクチャの左上端、右上端、左下端及び右下端の中から定められることができる。前記位置情報は、符号化装置で符号化され、復号化装置は、符号化された位置情報に基づいて、各サブピクチャの位置を決定することができる。ここで、ｘ座標／ｙ座標は、ｎ個のサンプル単位、ＣＴＵサイズ、（２＊ＣＴＵサイズ）、（４＊ＣＴＵサイズ）などの単位で表現できる。ここで、ｎは１、２、４、８、１６、３２、６４、１２８、２５６又はそれ以上の自然数であることができる。一例として、サブピクチャの左上端ＣＴＵのｘ座標とｙ座標で位置情報を符号化した場合には、ＣＴＵ（ＣｔｂＳｉｚｅ）の単位で幅と高さがそれぞれ２と３であれば、サブピクチャの位置（左上端）は（２＊ＣｔｂＳｉｚｅ、３＊ＣｔｂＳｉｚｅ）と決定できる。
各サブピクチャのサイズを特定する情報（以下、サイズ情報）は、当該サブピクチャの幅情報と高さ情報のうちの少なくとも一つを含むことができる。ここで、幅／高さ情報は、ｎ個のサンプル単位、ＣＴＵサイズ、（２＊ＣＴＵサイズ）、（４＊ＣＴＵサイズ）などの単位で符号化されたものであり得る。ここで、ｎは４、８、１６、３２、６４、１２８、２５６又はそれ以上の自然数であることができる。一例として、幅情報がＣＴＵサイズ（ＣｔｂＳｉｚｅ）の単位で符号化された場合において、幅情報が６であれば、サブピクチャの幅は（６＊ＣｔｂＳｉｚｅ）と決定できる。
前述した位置情報とサイズ情報は、ピクチャに属するサブピクチャの個数が２つ以上である場合に限って符号化／復号化されるように制限されることもできる。すなわち、前記個数情報に基づくサブピクチャの個数が２つより大きいか同じである場合には、位置情報とサイズ情報がシグナリングされ、そうでない場合には、サブピクチャはピクチャと同じ位置／サイズに設定できる。ただし、サブピクチャの個数が２つ以上である場合であっても、ピクチャの左上端に位置する一番目のサブピクチャに対する位置情報はシグナリングされず、二番目のサブピクチャに対する位置情報からシグナリングされることができる。また、ピクチャの最後のサブピクチャに対する位置情報又はサイズ情報のうちの少なくとも一つは、シグナリングされないことができる。
図３を参照すると、一つのサブピクチャは、一つ又はそれ以上のスライスを含むことができる。つまり、一つのサブピクチャは一つのスライスで構成されることもでき、複数のスライスに分割されることもできる。サブピクチャは、水平方向に分割された複数のスライスで構成されることもでき、垂直方向に分割された複数のスライスで構成されることもできる。
一つのピクチャ又はサブピクチャに属するスライスの個数を特定する情報（以下、個数情報）は、符号化装置で符号化され、復号化装置は、符号化された個数情報に基づいて、一つのピクチャ又はサブピクチャを構成するサブピクチャの個数を決定することができる。前記個数情報は、ＶＰＳ、ＳＰＳ、ＰＰＳ及びＰＨのうちの少なくとも一つのレベルでシグナリングされることができる。ただし、前記個数情報は、長方形状のスライスが許容される場合、又は一つのサブピクチャが一つのスライスで構成されていない場合のうちの少なくとも一つの条件を満足するときにのみシグナリングされることができる。
各スライスのサイズを特定する情報（以下、サイズ情報）は、当該スライスの幅情報と高さ情報のうちの少なくとも一つを含むことができる。ここで、幅／高さ情報は、タイル、ＣＴＵの単位で符号化されたものであり得る。
ただし、一つのスライスが複数のサブピクチャにまたがるように分割されることは許容されない可能性がある。つまり、一つのサブピクチャを一つ又はそれ以上のスライスを完全に含むように区画できる。又は、一つのサブピクチャを構成するスライスは、水平方向又は垂直方向のうちのいずれか一つの方向にのみ分割されるように制限されることもできる。
図３を参照すると、一つのサブピクチャ又はスライス３１０は、一つ又はそれ以上のタイルを含むことができる。つまり、一つのスライスは、一つのタイルで構成されることもでき、複数のタイルで構成されることもできる。ただし、これに限定されず、一つのタイルに複数のスライスが含まれることも許容されることができる。一例として、一つのスライスは、一つのタイルに属する複数のＣＴＵ行のサブセット（ｓｕｂｓｅｔ）で構成できる。この場合、一つのタイルに属するスライスの個数を特定する情報（以下、個数情報）は、符号化装置で符号化され、復号化装置は、符号化された個数情報に基づいて、一つのタイルを構成するスライスの個数を決定することができる。各スライスのサイズを特定する情報（以下、サイズ情報）は、当該スライスの幅情報と高さ情報のうちの少なくとも一つを含むことができる。ここで、幅／高さ情報は、ＣＴＵサイズの単位で符号化されたものであり得る。ただし、一つのスライスが複数のＣＴＵ行のサブセット（ｓｕｂｓｅｔ）で構成された場合、当該スライスの高さ情報のみがシグナリングされ、幅情報はシグナリングされないことができる。前記個数／サイズ情報は、ＶＰＳ、ＳＰＳ、ＰＰＳ及びＰＨのうちの少なくとも一つのレベルでシグナリングされることができる。
前述した個数、位置、大きさに関する情報のうちの少なくとも一つは、ピクチャが所定のフラグメント領域に分割される場合に限って要求される。一例として、前記情報は、当該ピクチャが複数のスライス又はタイルに分割される場合に限ってシグナリングされることができる。このため、現在ピクチャが複数のスライス又はタイルに分割されるか否かを示す別のフラグが使用できる。前記フラグは、ＶＰＳ、ＳＰＳ、ＰＰＳ及びＰＨのうちの少なくとも一つのレベルでシグナリングされることができる。
図３を参照すると、一つのタイルは、複数のＣＴＵで構成でき、一つのＣＴＵ３２０（以下、「第１ブロック」という）は、垂直ライン又は水平ラインのうちの少なくとも一つによって複数のサブブロック（以下、「第２ブロック」という）に分割できる。前記垂直ラインと水平ラインは、一つ、二つ又はそれ以上であり得る。以下、第１ブロックは、ＣＴＵに制限されず、ＣＴＵから分割された符号化ブロック（ＣＵ）、予測符号化／復号化の基本単位である予測ブロック（ＰＵ）、又は変換符号化／復号化の基本単位である変換ブロック（ＴＵ）であり得る。前記第１ブロックは、正方形のブロックであってもよく、非正方形のブロックであってもよい。
前記第１ブロックの分割は、四分木（ｑｕａｄ ｔｒｅｅ）だけでなく、二分木（ｂｉｎａｒｙ ｔｒｅｅ）、三分木（ｔｅｒｎａｒｙ ｔｒｅｅ）などのマルチツリーに基づいて行われ得る。
具体的に、四分木分割（ＱＴ）は、第１ブロックを４つの第２ブロックに四分割する分割タイプである。例えば、２Ｎ×２Ｎの第１ブロックがＱＴ分割により分割される場合、第１ブロックは、サイズＮ×Ｎの４つの第２ブロックに四分割できる。ＱＴは、正方形のブロックにのみ適用されるように制限できるが、非正方形のブロックに適用することも可能である。
二分木分割（ＢＴ）は、第１ブロックを２つの第２ブロックに二分割する分割タイプである。ＢＴは、水平二分木（以下、Ｈｏｒｉｚｏｎｔａｌ ＢＴ）と垂直二分木（以下、Ｖｅｒｔｉｃａｌ ＢＴ）を含むことができる。Ｈｏｒｉｚｏｎｔａｌ ＢＴは、一つの水平ラインによって第１ブロックが二つの第２ブロックに二分割される分割タイプである。前記二分割は、対称もしくは非対称的に行われ得る。例えば、２Ｎ×２Ｎの第１ブロックがＨｏｒｉｚｏｎｔａｌ ＢＴ分割により分割される場合には、第１ブロックは、高さの比率が（ａ：ｂ）である二つの第２ブロックに分割できる。ここで、ａとｂは同じ値であってもよく、ａはｂよりも大きいか小さくてもよい。Ｖｅｒｔｉｃａｌ ＢＴは、一つの垂直ラインによって第１ブロックが二つの第２ブロックに二分割される分割タイプである。前記二分割は、対称もしくは非対称的に行われ得る。例えば、２Ｎ×２Ｎの第１ブロックがＶｅｒｔｉｃａｌ ＢＴ分割により分割される場合、第１ブロックは、幅の比率が（ａ：ｂ）である二つの第２ブロックに分割できる。ここで、ａとｂは同じ値であってもよく、ａはｂよりも大きいか小さくてもよい。
三分木分割（ＴＴ）は、第１ブロックを３つの第２ブロックに三分割する分割タイプである。同様に、ＴＴは水平三分木（以下、Ｈｏｒｉｚｏｎｔａｌ ＴＴ）と垂直三分木（以下、Ｖｅｒｔｉｃａｌ ＴＴ）を含むことができる。Ｈｏｒｉｚｏｎｔａｌ ＴＴは、二つの水平ラインによって第１ブロックが三つの第２ブロックに三分割される分割タイプである。例えば、２Ｎ×２Ｎの第１ブロックがＨｏｒｉｚｏｎｔａｌ ＴＴ分割により分割される場合、第１ブロックは、高さの比率が（ａ：ｂ：ｃ）である三つの第２ブロックに分割できる。ここで、ａ、ｂ、ｃは同じ値であってもよい。又は、ａとｃは同一であり、ｂはａよりも大きいか小さくてもよい。例えば、ａとｃは２であり、ｂは１であり得る。Ｖｅｒｔｉｃａｌ ＴＴは、二つの垂直ラインによって第１ブロックが三つの第２ブロックに三分割される分割タイプである。例えば、２Ｎ×２Ｎの第１ブロックがＶｅｒｔｉｃａｌ ＴＴにより分割される場合、第１ブロックは、幅の比率が（ａ：ｂ：ｃ）である三つの第２ブロックに分割できる。ここで、ａ、ｂ、ｃは同じ値であってもよく、互いに異なる値であってもよい。又は、ａとｃは同一であり、ｂはａよりも大きいか小さくてもよい。又は、ａとｂは同一であり、ｃはａよりも大きいか小さくてもよい。又は、ｂとｃは同一であり、ａはｂよりも大きいか小さくてもよい。例えば、ａとｃは２であり、ｂは１であり得る。
前述した分割は、符号化装置からシグナリングされる分割情報に基づいて行われ得る。前記分割情報は、分割タイプ情報、分割方向情報又は分割比率情報のうちの少なくとも一つを含むことができる。
前記分割タイプ情報は、符号化／復号化装置に既に定義された分割タイプのいずれかを特定することができる。前記既に定義された分割タイプは、ＱＴ、Ｈｏｒｉｚｏｎｔａｌ ＢＴ、Ｖｅｒｔｉｃａｌ ＢＴ、Ｈｏｒｉｚｏｎｔａｌ ＴＴ、Ｖｅｒｔｉｃａｌ ＴＴ又は非分割モード（Ｎｏ ｓｐｌｉｔ）のうちの少なくとも一つを含むことができる。又は、前記分割タイプ情報は、ＱＴ、ＢＴ又はＴＴが適用されるか否かについての情報を意味することもある。これはフラグ或いはインデックスの形態で符号化できる。一例として、分割タイプ情報は、ＱＴが適用されるか否かを示す第１フラグ、又はＢＴ又はＴＴが適用されるか否かを示す第２フラグのうちの少なくとも一つを含むことができる。第２フラグに応じて、ＢＴ又はＴＴのうちのいずれか一つが選択的に使用できる。ただし、第１フラグは、第１ブロックの大きさが所定の閾値の大きさと同じかそれより小さい場合に限ってシグナリングされることができる。閾値の大きさは、６４、１２８又はそれ以上の自然数であり得る。第１ブロックの大きさが閾値の大きさよりも大きい場合、第１ブロックはＱＴ分割のみを用いて分割されるように強制できる。また、第２フラグは、第１フラグに応じてＱＴが適用されない場合に限ってシグナリングされることができる。
前記分割方向情報は、ＢＴ又はＴＴの場合、水平方向に分割されるか、それとも垂直方向に分割されるかを示すことができる。前記分割比率情報は、ＢＴ又はＴＴの場合、第２ブロックの幅及び／又は高さの比率を示すことができる。
図３に示されたブロック３２０は、８Ｎ×８Ｎの大きさであり、分割デプスがｋである正方形のブロック（以下、「第１ブロック」という）と仮定する。第１ブロックの分割情報がＱＴ分割を指示する場合、第１ブロックは、４つのサブブロック（以下、「第２ブロック」という）に四分割できる。前記第２ブロックは、４Ｎ×４Ｎの大きさであり、（ｋ＋１）の分割デプスを持つことができる。
前記４つの第２ブロックは、ＱＴ、ＢＴ、ＴＴ又は非分割モードのうちのいずれかに基づいて再び分割できる。例えば、第２ブロックの分割情報がＨｏｒｉｚｏｎｔａｌ ＢＴを表す場合、前記第２ブロックは、二つのサブブロック（以下、「第３ブロック」という）に二分割できる。この際、前記第３ブロックは、４Ｎ×２Ｎの大きさであり、（ｋ＋２）の分割デプスを持つことができる。
前記第３ブロックも、ＱＴ、ＢＴ、ＴＴ又は非分割モードのうちのいずれかに基づいて再び分割できる。例えば、前記第３ブロックの分割情報がＶｅｒｔｉｃａｌ ＢＴを表す場合、前記第３ブロックは、二つのサブブロック３２１、３２２に二分割できる。この時、前記サブブロック３２１、３２２は、２Ｎ×２Ｎの大きさであり、（ｋ＋３）の分割デプスを持つことができる。又は、前記第３ブロックの分割情報がＨｏｒｉｚｏｎｔａｌ ＢＴを表す場合、前記第３ブロックは、二つのサブブロック３２３、３２４に二分割できる。この時、前記サブブロック４１３、４１４は、４Ｎ×Ｎの大きさであり、（ｋ＋３）の分割デプスを持つことができる。
前記分割は、周辺ブロックとは独立的或いは並列的に行われてもよく、所定の優先順位に基づいて順次行われてもよい。
分割対象である現在ブロックの分割情報は、現在ブロックの上位ブロックの分割情報又は周辺ブロックの分割情報のうちの少なくとも一つに基づいて従属的に決定されることもできる。例えば、前記第２ブロックがＨｏｒｉｚｏｎｔａｌ ＢＴ分割により分割され、上端の第３ブロックがＶｅｒｔｉｃａｌ ＢＴ分割により分割された場合、下端の第３ブロックはＶｅｒｔｉｃａｌ ＢＴ分割により分割される必要がない。下端の第３ブロックがＶｅｒｔｉｃａｌ ＢＴ分割により分割される場合、これは第２ブロックがＱＴ分割により分割されるのと同じ結果が出るからである。したがって、下端の第３ブロックの分割情報（特に、分割方向情報）は、符号化が省略でき、復号化装置は、下端の第３ブロックが水平方向に分割されるように設定することができる。
前記上位ブロックは、前記現在ブロックの分割デプスよりも小さい分割デプスを持つブロックを意味することができる。例えば、現在ブロックの分割デプスが（ｋ＋２）である場合、上位ブロックの分割デプスは（ｋ＋１）であり得る。前記周辺ブロックは、現在ブロックの上側或いは左側に隣接するブロックであることができる。前記周辺ブロックは、現在ブロックと同じ分割デプスを持つブロックであることができる。
前述した分割は、符号化／復号化の最小単位まで繰り返し行われ得る。最小単位に分割された場合、当該ブロックに対する分割情報は、符号化装置からそれ以上シグナリングされない。前記最小単位に対する情報は、最小単位の大きさ又は形態のうちの少なくとも一つを含むことができる。前記最小単位の大きさは、ブロックの幅、高さ、幅と高さのうちの最小値或いは最大値、幅と高さの和、画素数、分割デプスなどで表現できる。前記最小単位に対する情報は、ビデオシーケンス、ピクチャ、スライス又はブロック単位のうちの少なくとも一つでシグナリングできる。又は、前記最小単位に対する情報は、符号化／復号化装置に既に約束された値であってもよい。前記最小単位に対する情報は、ＣＵ、ＰＵ、ＴＵに対してそれぞれシグナリングできる。一つの最小単位に対する情報がＣＵ、ＰＵ、ＴＵに同様に適用されてもよい。以下、後述する実施形態のブロックは、前述したブロック分割によって取得されたものであり得る。
本発明の一実施形態によるブロック分割は、支援可能な範囲内で取得でき、そのためのブロック分割設定情報が支援できる。例えば、ｍ×ｎの大きさ（例えば、ｍとｎは２、４、８、１６、３２、６４、１２８などの自然数）の最大符号化ブロック（ＣＴＵ）、最小符号化ブロック、最大変換ブロック、最小変換ブロック、ブロック別の最大分割デプスｋ（例えば、符号化／変換×Ｉｎｔｒａ／Ｉｎｔｅｒ×ＱＴ／ＢＴ／ＴＴなど。ｋは０、１、２又はそれ以上）などがブロック分割設定情報に含まれることができる。これは、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＨ及びスライスヘッダのうちの少なくとも一つのレベルでシグナリングされることができる。
前述した一部のフラグメント領域（サブピクチャ、スライス、タイルなど）の場合、各フラグメント領域を区画／分割（例えば、フラグメント領域の位置、大きさ情報を誘導など）するためには、所定の基礎情報（例えば、ＣＴＵやタイルなどのように、当該フラグメント領域の下位又は基礎単位に対する情報）が要求されることができる。このとき、ＶＰＳ－ＳＰＳ－ＰＰＳなどの順に行うこともできるが、同時多発的な符号化／復号化のためなら、前記基礎情報を各フラグメント領域の区画／分割が支援されるレベルに提供することが必要であることができる。
例えば、ＳＰＳにおいてＣＴＵ情報が発生（固定的に発生）することができ、これに基づいて、サブピクチャ（ＳＰＳにおける処理を仮定）の分割有無に応じてＣＴＵ情報が使用（分割される場合）できる。又は、スライス、タイル（ＰＰＳにおける処理を仮定）の分割有無に応じてＣＴＵ情報が発生（分割される場合。さらに発生）することができ、これに基づいてスライス、タイルに分割されることができる。
まとめると、フラグメント画像の区画／分割に使用される基礎情報は、一つのレベルで発生することができる。又は、フラグメント画像の種類に応じて、区画／分割に使用される基礎情報は、二つ以上のレベルで発生することもできる。
フラグメント画像の種類に関係なく、フラグメント画像の区画に参照される基礎情報（シンタックス又はフラグ）は、一つのレベルで発生することができる。又は、フラグメント画像に応じて、各フラグメント画像の区画に参照される基礎情報は、複数のレベルで発生することもできる。この時、前記基礎情報は、二つ以上のレベルで発生及び存在することができても、同じ値又は情報を持つように設定して一つのレベルで発生及び存在するのと同じ効果を維持することができる。しかし、前記基礎情報の場合、同じ値又は情報を持たせることが基本的な設定であり得る。これに限定せず、異なる値又は情報を持つ変形も可能である。
図４は本発明が適用される一実施形態として、画像符号化／復号化装置に既に定義されたイントラ予測モードを示す例示図である。
図４を参照すると、既に定義されたイントラ予測モードは、６７個のモードで構成された予測モード候補群として定義でき、具体的には６５個の方向性モード（２番乃至６６番）と二つの非方向性モード（ＤＣ、Ｐｌａｎａｒ）を含むことができる。このとき、方向性モードは、傾き（例えば、ｄｙ／ｄｘ）又は角度情報（Ｄｅｇｒｅｅ）に区分できる。上記の例で説明されるイントラ予測モードの全部又は一部が輝度成分又は色差成分の予測モード候補群に含まれてもよく、その他の追加的なモードが予測モード候補群に含まれてもよい。
また、カラー空間間の相関性を用いて符号化／復号化が完了した他のカラー空間の復元ブロックを現在ブロックの予測に使用することができ、これを支援する予測モードを含むことができる。例えば、色差成分の場合には、現在ブロックと対応する輝度成分の復元されたブロックを用いて現在ブロックの予測ブロックを生成することができる。つまり、カラー空間間の相関性を考慮して、復元されたブロックに基づいて予測ブロックを生成することができる。
符号化／復号化の設定に基づいて予測モード候補群を適応的に決定することができる。予測の精度を高めるための目的で候補群の数を増やすことができ、予測モードに応じたビット量を減らすための目的で候補群の数を減らすことができる。
例えば、Ａ候補群（６７個。６５個の方向性モードと二つの非方向性モード）、Ｂ候補群（３５個。３３個の方向性モードと二つの非方向性モード）、Ｃ候補群（１８個。１７個の方向性モードと一つの非方向性モード）などの候補群のうちのいずれかを選択することができ、ブロックの大きさと形状に応じて適応的に候補群が選択又は決定できる。
また、符号化／復号化の設定に基づいて予測モード候補群の構成を多様に持つことができる。例えば、図４のようにモードの間が均等に予測モード候補群を構成するか、或いは、図４で１８番モードと３４番モードとの間のモードの個数が２番モードと１８番モードとの間のモードの個数よりもさらに多く候補群を構成することができる。又は、その逆の場合が可能である。ブロックの形状（つまり、正方形、幅が高さよりも大きい非正方形、高さが幅よりも大きい非正方形など）に応じて適応的に候補群を構成することができる。
例えば、現在ブロックの幅が高さよりも大きい場合には、２番乃至１８番に属するイントラ予測モードの全部又は一部は利用されず、６７番乃至８０番に属するイントラ予測モードの全部又は一部で代替できる。一方、現在ブロックの幅が高さよりも小さい場合には、５０番乃至６６番に属するイントラ予測モードの全部又は一部は利用されず、－１４番乃至－１番に属するイントラ予測モードの全部又は一部で代替できる。
本発明において特別な言及がないとき、均等なモード間隔を有する既に定義された一つの予測モード候補群（Ａ候補群）でイントラ予測を行う場合を仮定して説明するが、本発明の主要要素が、前記説明のような適応的なイントラ予測設定にも変更適用が可能である。
図５は本発明が適用される一実施形態として、イントラ予測に基づいて現在ブロックを復号化する方法を示すものである。
図５を参照すると、現在ブロックのイントラ予測のための参照領域を決定することができる（Ｓ５００）。
本発明による参照領域は、現在ブロックの左側、上端、左上端、左下端又は右上端のうちの少なくとも一つに隣接する領域であり得る。また、図５に示していないが、参照領域は、現在ブロックの右側、右下端又は下端のうちの少なくとも一つに隣接する領域をさらに含むことができる。これは、現在ブロックのイントラ予測モード、符号化／復号化順序、スキャン順序などに基づいて選択的に利用できる。
符号化／復号化装置は、イントラ予測に利用可能な複数の画素ラインを定義することができる。複数の画素ラインは、現在ブロックに隣接する第１画素ライン、第１画素ラインに隣接する第２画素ライン、第２画素ラインに隣接する第３画素ライン、又は第３画素ラインに隣接する第４画素ラインのうちの少なくとも一つを含むことができる。
例えば、符号化／復号化の設定に基づいて、複数の画素ラインは、第１乃至第４画素ラインを全て含むこともでき、第３画素ラインを除いた残りの画素ラインのみを含むこともできる。又は、複数の画素ラインは、第１画素ライン及び第４画素ラインのみを含むか、或いは第１画素ライン乃至第３画素ラインのみを含むこともできる。
現在ブロックは、前記複数の画素ラインのうちのいずれか一つ又はそれ以上の画素ラインを選択し、これを参照領域として用いることができる。このとき、前記選択は、符号化装置でシグナリングされるインデックス（ｒｅｆＩｄｘ）に基づいて行われ得る。又は、前記選択は、所定の符号化情報に基づいて行われ得る。ここで、符号化情報は、現在ブロックの大きさ、形状、分割タイプ、イントラ予測モードが非方向性モードであるか否か、イントラ予測モードが水平方向性であるか否か、イントラ予測モードの角度又は成分タイプのうちの少なくとも一つを含むことができる。
例えば、イントラ予測モードがＰｌａｎａｒモード又はＤＣモードである場合には、第１画素ラインのみが用いられるように制限できる。又は、現在ブロックの大きさが所定の閾値と同じかそれよりも小さい場合、第１画素ラインのみが用いられるように制限できる。ここで、大きさは、現在ブロックの幅又は高さのうちのいずれか（例えば、最大値、最小値など）、幅と高さの和、又は現在ブロックに属するサンプルの個数で表現できる。又は、イントラ予測モードが所定の閾値角度よりも大きい場合（又は、所定の閾値角度よりも小さい場合）、第１画素ラインのみが用いられるように制限できる。前記閾値角度は、前述した予測モード候補群のうち、モード２、モード６６に対応するイントラ予測モードの角度であり得る。
一方、前記参照領域の画素のうちの少なくとも一つが利用不可である場合が発生することがあり、このような場合、利用不可画素は、既に決定されたデフォルト値で代替されるか、或いは利用可能画素で代替され得る。これについては、図６を参照して詳細に説明する。
図５を参照すると、現在ブロックのイントラ予測モードを誘導することができる（Ｓ５１０）。
現在ブロックは、輝度ブロックと色差ブロックを含む概念であり、前記イントラ予測モードは、輝度ブロックと色差ブロックそれぞれに対して決定できる。以下、復号化装置に既に定義されたイントラ予測モードは、非方向性モード（Ｐｌａｎａｒモード、ＤＣモード）及び６５個の方向性モードで構成されることを仮定する。
１．輝度ブロックの場合
前述した既に定義されたイントラ予測モードは、ＭＰＭ候補群とＮｏｎ－ＭＰＭ候補群に区分できる。現在ブロックのイントラ予測モードは、ＭＰＭ候補群又はＮｏｎ－ＭＰＭ候補群のうちのいずれかを選択的に用いて誘導できる。このために、現在ブロックのイントラ予測モードがＭＰＭ候補群から誘導されるか否かを示すフラグ（以下、第１フラグ）が使用できる。例えば、第１フラグが第１値である場合には、ＭＰＭ候補群が使用され、第１フラグが第２値である場合には、Ｎｏｎ－ＭＰＭ候補群が使用され得る。
具体的に、第１フラグが第１値である場合には、現在ブロックのイントラ予測モードは、少なくとも一つのＭＰＭ候補を含むＭＰＭ候補群（ｃａｎｄＭｏｄｅＬｉｓｔ）及びＭＰＭインデックスに基づいて決定できる。ＭＰＭ候補群は、ＭＰＭ候補群に属するＭＰＭ候補のうちのいずれか一つを特定する情報であり得る。ＭＰＭインデックスは、ＭＰＭ候補群に複数のＭＰＭ候補が属する場合に限ってシグナリングできる。
これに対し、第１フラグが第２値である場合（すなわち、ＭＰＭ候補群に現在ブロックのイントラ予測モードと同じＭＰＭ候補が存在しない場合）、現在ブロックのイントラ予測モードは、シグナリングされる残余モード情報に基づいて決定できる。前記残余モード情報は、ＭＰＭ候補を除いた残りのモードのうちのいずれか一つを特定することができる。
以下、ＭＰＭ候補群を決定する方法について説明する。
（実施形態１）ＭＰＭ候補群は、隣接ブロックのイントラ予測モードｍｏｄｅＡ、（ｍｏｄｅＡ－ｎ）、（ｍｏｄｅＡ＋ｎ）又はデフォルトモードのうちの少なくとも一つを含むことができる。前記ｎ値は、１、２、３、４又はそれ以上の整数であり得る。前記隣接ブロックは、現在ブロックの左側及び／又は上端に隣接するブロックを意味することができる。但し、これに限定されず、隣接ブロックは、左上端、左下端又は右上端に隣接するブロックのうちの少なくとも一つを含むこともできる。デフォルトモードは、Ｐｌａｎａｒモード、ＤＣモード、又は所定の方向性モードのうちの少なくとも一つであることができる。所定の方向性モードは、水平モード（ｍｏｄｅＶ）、垂直モード（ｍｏｄｅＨ）、（ｍｏｄｅＶ－ｋ）、（ｍｏｄｅＶ＋ｋ）、（ｍｏｄｅＨ－ｋ）又は（ｍｏｄｅＨ＋ｋ）のうちの少なくとも一つを含むことができる。ここで、ｋは１、２、３、４、５、又はそれ以上の整数であり得る。
前記ＭＰＭインデックスは、ＭＰＭ候補群のＭＰＭのうち、現在ブロックのイントラ予測モードと同じＭＰＭを特定することができる。つまり、ＭＰＭインデックスによって特定されたＭＰＭが現在ブロックのイントラ予測モードに設定できる。
（実施形態２）ＭＰＭ候補群は、ｍ個の候補グループに区分されることもできる。ｍは２、３、４又はそれ以上の整数であり得る。以下、説明の便宜のために、ＭＰＭ候補群は、第１候補グループと第２候補グループに区分されることを仮定する。
符号化／復号化装置は、第１候補グループ又は第２候補グループのうちのいずれか一つを選択することができる。前記選択は、現在ブロックのイントラ予測モードが第１候補グループに属するか、それとも第２候補グループに属するかを特定するフラグ（以下、第２フラグ）に基づいて行われ得る。例えば、第２フラグが第１値である場合には、現在ブロックのイントラ予測モードは、第１候補グループから誘導され、そうでない場合には、現在ブロックのイントラ予測モードは、第２候補グループから誘導され得る。
具体的には、第２フラグに基づいて第１候補グループが用いられる場合には、第１候補グループに属する複数のデフォルトモードのうちのいずれかを特定する第１ＭＰＭインデックスがシグナリングされることができる。シグナリングされた第１ＭＰＭインデックスに対応するデフォルトモードは、現在ブロックのイントラ予測モードに設定されることができる。これに対し、第１候補グループが一つのデフォルトモードで構成された場合には、前記第１ＭＰＭインデックスはシグナリングされず、現在ブロックのイントラ予測モードは、第１候補グループのデフォルトモードに設定されることができる。
第２フラグに基づいて第２候補グループが用いられる場合には、第２候補グループに属する複数のＭＰＭ候補のうちのいずれかを特定する第２ＭＰＭインデックスがシグナリングされることができる。シグナリングされた第２ＭＰＭインデックスに対応するＭＰＭ候補は、現在ブロックのイントラ予測モードに設定されることができる。これに対し、第２候補グループが一つのＭＰＭ候補で構成された場合、前記第２ＭＰＭインデックスはシグナリングされず、現在ブロックのイントラ予測モードは第２候補グループのＭＰＭ候補に設定されることができる。
一方、前記第２フラグは、前述した第１フラグが第１値である場合（条件１）に限ってシグナリングできる。また、前記第２フラグは、現在ブロックの参照領域が第１画素ラインと決定された場合に限ってシグナリングされることができる。現在ブロックが隣接していない画素ラインを参照する場合、第１候補グループのＭＰＭ候補が使用されないように制限されることができる。又は、逆に、第２フラグに基づいて、現在ブロックのイントラ予測モードが第１候補グループから誘導される場合、現在ブロックが第１画素ラインだけを参照するように制限されることもできる。
また、現在ブロックがサブブロック単位のイントラ予測を行わない場合（条件２）に限って第２フラグがシグナリングできる。逆に、現在ブロックがサブブロック単位のイントラ予測を行う場合、前記フラグは、シグナリングされず、復号化装置で第２値に設定されることもできる。
前述した条件１又は２のうちのいずれか一つの条件を満足する場合には、第２フラグがシグナリングされることもでき、条件１及び２の両方を満足する場合には、第２フラグがシグナリングされるように設定されることもできる。
第１候補グループは、既に定義されたデフォルトモードで構成できる。前記デフォルトモードは、方向性モード又は非方向性モードのうちの少なくとも一つであることができる。例えば、方向性モードは、垂直モード、水平モード又は対角線モードのうちの少なくとも一つを含むことができる。非方向性モードは、Ｐｌａｎａｒモード又はＤＣモードのうちの少なくとも一つを含むことができる。
第１候補グループは、ｒ個の非方向性モード又は方向性モードのみで構成されることができる。ｒは１、２、３、４、５又はそれ以上の整数であることができる。ｒは符号化／復号化装置に既に約束された固定値であることもでき、所定の符号化パラメータに基づいて可変的に決定されることもできる。
第２候補グループは、複数のＭＰＭ候補を含むことができる。ただし、第２候補グループは、第１候補グループに属するデフォルトモードを含まないように制限されることができる。前記ＭＰＭ候補の個数は、２つ、３つ、４つ、５つ、６つ又はそれ以上であることができる。ＭＰＭ候補の個数は、符号化／復号化装置に既に約束された固定値であるか、符号化パラメータに基づいて可変的に決定され得る。ＭＰＭ候補は、現在ブロックに隣接する周辺ブロックのイントラ予測モードに基づいて誘導できる。周辺ブロックは、現在ブロックの左側、上端、左上端、左下端又は右上端の少なくとも一つに隣接するブロックであることができる。
具体的には、左側ブロックのイントラ予測モード（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ）と上端ブロックのイントラ予測モード（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ）とが同一であるか否か、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが非方向性モードであるか否かを考慮して、ＭＰＭ候補が決定されることができる。
［ＣＡＳＥ１］例えば、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡが非方向性モードではない場合、現在ブロックのＭＰＭ候補は、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ－ｎ）、（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ＋ｎ）又は非方向性モードのうちの少なくとも一つを含むことができる。ここで、ｎは１、２又はそれ以上の整数であることができる。前記非方向性モードは、Ｐｌａｎａｒモード又はＤＣモードのうちの少なくとも一つを含むことができる。一例として、現在ブロックのＭＰＭ候補は、下記表１のように決定できる。表１のｉｎｄｅｘは、ＭＰＭ候補の位置又は優先順位を特定するが、これに限定されない。
Figure 0007467467000001
［ＣＡＳＥ２］又は、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢとが同一ではなく、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢの両方とも非方向性モードでない場合には、現在ブロックのＭＰＭ候補は、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ、（ｍａｘＡＢ－ｎ）、（ｍａｘＡＢ＋ｎ）、（ｍｉｎＡＢ－ｎ）、（ｍｉｎＡＢ＋ｎ）又は非方向性モードのうちの少なくとも一つを含むことができる。ここで、ｍａｘＡＢとｍｉｎＡＢは、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢのうちの最大値と最小値をそれぞれ意味し、ｎは１、２又はそれ以上の整数であることができる。前記非方向性モードは、Ｐｌａｎａｒモード又はＤＣモードのうちの少なくとも一つを含むことができる。一例として、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢの差異値（Ｄ）に基づいて、第２候補群の候補モードは、下記表２のように決定できる。表２のｉｎｄｅｘは、ＭＰＭ候補の位置又は優先順位を特定するが、これに限定されない。
Figure 0007467467000002
前述した表２において、ＭＰＭ候補のうち、いずれかはｍｉｎＡＢに基づいて誘導され、他の一つはｍａｘＡＢに基づいて誘導される。ただし、これに限定されず、ＭＰＭ候補はｍｉｎＡＢに関係なくｍａｘＡＢに基づいて誘導でき、逆に、ｍａｘＡＢに関係なくｍｉｎＡＢに基づいて誘導できる。
［ＣＡＳＥ３］ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢとが同一ではなく、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢのうちのいずれか一つのみが非方向性モードである場合、現在ブロックのＭＰＭ候補は、ｍａｘＡＢ、（ｍａｘＡＢ－ｎ）、（ｍａｘＡＢ＋ｎ）又は非方向性モードのうちの少なくとも一つを含むことができる。ここで、ｍａｘＡＢは、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢのうちの最大値を意味し、ｎは１、２又はそれ以上の整数であることができる。前記非方向性モードは、Ｐｌａｎａｒモード又はＤＣモードのうちの少なくとも一つを含むことができる。一例として、現在ブロックのＭＰＭ候補は下記表３のように決定できる。表３のｉｎｄｅｘは、ＭＰＭ候補の位置又は優先順位を特定するが、これに限定されない。
Figure 0007467467000003
［ＣＡＳＥ４］ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢとが同一ではなく、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢの両方とも非方向性モードである場合、現在ブロックのＭＰＭ候補は、非方向性モード、垂直モード、水平モード、（垂直モード－ｍ）、（垂直モード＋ｍ）、（水平モード－ｍ）又は（水平モード＋ｍ）のうちの少なくとも一つを含むことができる。ここで、ｍは１、２、３、４又はそれ以上の整数であることができる。前記非方向性モードは、Ｐｌａｎａｒモード又はＤＣモードのうちの少なくとも一つを含むことができる。一例として、現在ブロックのＭＰＭ候補は、下記表５のように決定できる。表４のｉｎｄｅｘは、ＭＰＭ候補の位置又は優先順位を特定するが、これに限定されない。例えば、水平モードにｉｎｄｅｘ１が割り当てられるか、或いは最も大きいｉｎｄｅｘが割り当てられることができる。また、ＭＰＭ候補は、対角線モード（例えば、モード２、モード３４、モード６６）、（対角線モード－ｍ）又は（対角線モード＋ｍ）のうちの少なくとも一つを含むこともできる。
Figure 0007467467000004
前述した過程を経て復号化されたイントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅ）は、所定のオフセットに基づいて変更／補正できる。これは図７を参照して詳しく説明する。
２．色差ブロックの場合
色差ブロックのための既に定義されたイントラ予測モードは、第１グループと第２グループに区分できる。ここで、第１グループは成分間参照基盤の予測モードで構成され、第２グループは前述した既に定義されたイントラ予測モードの全部又は一部で構成され得る。
色差ブロックのイントラ予測モードは、前記第１グループ又は第２グループのうちのいずれかを選択的に用いて誘導できる。前記選択は、所定の第３フラグに基づいて行われ得る。前記第３フラグは、色差ブロックのイントラ予測モードが第１グループに基づいて誘導されるか、或いは第２グループに基づいて誘導されるかを示すことができる。
例えば、前記第３フラグが第１値である場合には、色差ブロックのイントラ予測モードは、第１グループに属する一つ又はそれ以上の成分間参照基盤の予測モードのうちのいずれかに決定できる。これについては、図８で詳細に説明する。
これに対し、第３フラグが第２値である場合には、色差ブロックのイントラ予測モードは、第２グループに属する複数のイントラ予測モードのうちのいずれかに決定できる。一例として、第２グループは表５のように定義でき、色差ブロックのイントラ予測モードは、符号化装置でシグナリングされる情報（ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）と輝度ブロックのイントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅＹ）に基づいて誘導できる。
Figure 0007467467000005
表５によれば、色差ブロックのイントラ予測モードは、前記シグナリングされた情報と輝度ブロックのイントラ予測モードに基づいて決定できる。表５に記載されたモード番号は、図４でのモード番号に対応する。例えば、シグナリングされた情報ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅの値が０である場合には、色差ブロックのイントラ予測モードは、輝度ブロックのイントラ予測モードに応じて対角モード（６６）又はＰｌａｎａｒモード（０）に決定されることができる。又は、シグナリングされた情報ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅの値が４である場合には、色差ブロックのイントラ予測モードは、輝度ブロックのイントラ予測モードと同一に設定できる。一方、輝度ブロックのイントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅＹ）は、輝度ブロック内の特定の位置を含むサブブロックのイントラ予測モードであることができる。ここで、輝度ブロック内の特定の位置は、色差ブロック内の中央位置に対応することができる。
ただし、色差ブロック内の中央位置に対応する輝度ブロック内のサブブロックが利用不可である場合が発生することができる。ここで、利用不可とは、当該サブブロックがイントラモードで符号化されていない場合であることができる。たとえば、当該サブブロックがインターモード又は現在ピクチャ参照モードで符号化された場合のように、サブブロックがイントラ予測モードを持っていない場合には、当該サブブロックは利用不可と判断できる。この場合、輝度ブロックのイントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅＹ）は、符号化／復号化装置に既に約束されたモードに設定されることができる。ここで、既に約束されたモードは、Ｐｌａｎａｒモード、ＤＣモード、垂直モード又は水平モードのうちのいずれか一つであることができる。
図５を参照すると、イントラ予測のための参照領域とイントラ予測モードに基づいて、現在ブロックを復号化することができる（Ｓ５２０）。
前記現在ブロックの復号化は、現在ブロックのサブブロック単位で行われ得る。このために、現在ブロックは複数のサブブロックに分割できる。ここで、現在ブロックは、リーフノード（ｌｅａｆ ｎｏｄｅ）に該当することができる。リーフノードは、より小さい符号化ブロックにそれ以上分割されない符号化ブロックを意味することができる。つまり、リーフノードは、前述したツリー基盤のブロック分割を介してそれ以上分割されないブロックを意味することができる。
前記分割は、現在ブロックの大きさに基づいて行われ得る（実施形態１）。
例えば、現在ブロックの大きさが所定の閾値の大きさよりも小さい場合、現在ブロックは、垂直又は水平方向に二分割できる。逆に、現在ブロックの大きさが前記閾値の大きさと同じかそれより大きい場合には、現在ブロックは、垂直又は水平方向に四分割できる。前記閾値の大きさは、符号化装置でシグナリングされてもよく、復号化装置に既に定義された固定値であってもよい。例えば、閾値の大きさはＮ×Ｍで表現され、ＮとＭは４、８、１６又はそれ以上であってもよい。前記ＮとＭは、同一であるように設定されてもよく、互いに異なるように設定されてもよい。
又は、現在ブロックの大きさが所定の閾値の大きさよりも小さい場合には、現在ブロックは非分割（ｎｏｎ－ｓｐｌｉｔ）され、そうでない場合には、現在ブロックは二分割又は四分割できる。
前記分割は、現在ブロックの形状に基づいて行われ得る（実施形態２）。
例えば、現在ブロックの形状が正方形である場合には、現在ブロックは四分割され、そうでない場合には、現在ブロックは二分割され得る。逆に、現在ブロックの形状が正方形である場合には、現在ブロックは二分割され、そうでない場合には、現在ブロックは四分割され得る。
又は、現在ブロックの形状が正方形である場合には、現在ブロックは二分割又は四分割され、そうでない場合には、現在ブロックは非分割され得る。逆に、現在ブロックの形状が正方形である場合には、現在ブロックは非分割され、そうでない場合には、現在ブロックは二分割又は四分割され得る。
前述した実施形態１又は２のうちのいずれかが選択的に適用されて分割されてもよく、実施形態１と２の組み合わせに基づいて分割されてもよい。
前記二分割は、垂直又は水平のうちのいずれかの方向に二分割されるものであり、前記四分割は、垂直又は水平のうちのいずれかの方向に四分割されるか、或いは垂直及び水平方向に四分割されることを含むことができる。
前記実施形態では、二分割又は四分割を説明するが、これに限定されず、現在ブロックは、垂直又は水平方向に三分割されてもよい。この場合、幅又は高さの比が（１：１：２）、（１：２：１）又は（２：１：１）であり得る。
サブブロック単位への分割か否か、四分割か否か、分割「ｎｕｍ」、分割個数などに関する情報は、符号化装置からシグナリングされてもよく、所定の符号化パラメータに基づいて復号化装置で可変的に決定されてもよい。ここで、符号化パラメータは、ブロックの大きさ／形状、分割タイプ（四分割、二分割、三分割）、イントラ予測モード、イントラ予測のための隣接画素の範囲／位置、成分タイプ（例えば、輝度、色差）、変換ブロックの最大／最小大きさ、変換タイプ（例えば、変換スキップ、ＤＣＴ２、ＤＳＴ７、ＤＣＴ８）などを意味することができる。
現在ブロックのサブブロックは、所定の優先順位に基づいて順次予測／復元できる。この場合、現在ブロックの第１サブブロックに対して予測／復元され、第２サブブロックは、既に復号化された第１サブブロックを参照して予測／復元され得る。前記優先順位に関連して、上→下の順に予測／復元するが、上端と下端の各サブブロックは左→右の順に予測／復元できる。又は、上→下の順に予測／復元するが、上端及び下端の各サブブロックは右→左の順に予測／復元できる。又は、下→上の順に予測／復元するが、下端及び上端の各サブブロックは左→右の順に予測／復元できる。又は、下→上の順に予測／復元するが、下端及び上端の各サブブロックは右→上の順に予測／復元できる。又は、左→右の順に予測／復元するが、左側及び右側の各サブブロックは上→下の順に予測／復元できる。又は、左→右の順に予測／復元するが、左側及び右側の各サブブロックは下→上の順に予測／復元できる。又は、右→左の順に予測／復元するが、右側及び左側の各サブブロックは上→下の順に予測／復元できる。又は、右→左の順に予測／復元するが、右側及び左側の各サブブロックは下→上の順に予測／復元できる。
符号化／復号化装置は、前述した順序のいずれか一つを定義し、これを固定的に使用することができる。又は、符号化／復号化装置は、前述した順序のうちの少なくとも２つを定義し、これらのうちのいずれかを選択的に使用することもできる。このため、既に定義された順序のうちのいずれかを特定するインデックス又はフラグが符号化されてシグナリングされ得る。
図６は本発明が適用される一実施形態として、参照領域の利用不可画素を代替する方法を示すものである。
前述したように、参照領域は第１画素ライン乃至第４画素ラインのうちのいずれか一つに決定できる。ただし、本実施形態では、説明の便宜のために参照領域が第１画素ラインである場合を仮定する。本実施形態は、第２画素ライン乃至第４画素ラインについても同一／類似に適用できる。
参照領域の画素が全て利用不可である場合、当該画素は、ビット深度（ｂｉｔｄｅｐｔｈ）によって表現される画素値の範囲又は画像の実際画素値の範囲のうちのいずれか一つの値で代替できる。例えば、画素値範囲の最大値、最小値、中央値、平均値などが代替される値に該当することができる。ビット深度が８である場合、ビット深度の中央値で代替する場合、参照領域のすべての画素は１２８で埋められることができる。
ただし、そうでない場合、すなわち、参照領域の画素がすべて利用不可ではないが、参照領域の画素のうちの少なくとも一つが利用不可である場合、現在ブロックの上端参照領域、左側参照領域、右側参照領域又は下端参照領域のうちの少なくとも一つに対して代替過程が行われ得る。説明の便宜のために、現在ブロックの左側、上端、右側参照領域を中心に説明する。
（ＳＴＥＰ１）現在ブロック（予測ブロック）に隣接する左上端画素（ＴＬ）が利用不可であるか否かを判断する。もし左上端画素（ＴＬ）が利用不可である場合、当該画素はビット深度の中央値で代替できる。
（ＳＴＥＰ２）上端参照領域に利用不可画素が存在するかを順次探索することができる。ここで、上端参照領域は、現在ブロックの上端又は右上端に隣接する画素ラインのうちの少なくとも一つを含むことができる。上端参照領域の長さは、現在ブロックの幅（ｎＷ）、（２＊ｎＷ）、又は幅と高さの和（ｎＷ＋ｎＨ）と同一であることができる。
ここで、探索は、左側から右側の方向に行われることができる。このとき、画素ｐ［ｘ］［－１］が利用不可であると判断された場合、画素ｐ［ｘ］［－１］は、周辺画素ｐ［ｘ－１］［－１］で代替できる。又は、探索は、右側から左側の方向に行われることもできる。このとき、画素ｐ［ｘ］［－１］が利用不可であると判断された場合、画素ｐ［ｘ］［－１］は、周辺画素ｐ［ｘ＋１］［－１］で代替できる。
（ＳＴＥＰ３）左側参照領域に利用不可画素が存在するかを順次探索することができる。ここで、左側参照領域は、現在ブロックの左側又は左下端に隣接する画素ラインのうちの少なくとも一つを含むことができる。左側参照領域の長さは、現在ブロックの高さ（ｎＨ）、（２＊ｎＨ）、又は幅と高さの和（ｎＷ＋ｎＨ）と同一であることができる。
ここで、探索は、上端から下端の方向に行われることができる。このとき、画素ｐ［－１］［ｙ］が利用不可であると判断された場合、画素ｐ［－１］［ｙ］は、周辺画素ｐ［－１］［ｙ－１］で代替できる。又は、探索は、下端から上端の方向に行われることもできる。このとき、画素ｐ［－１］［ｙ］が利用不可であると判断された場合、画素ｐ［－１］［ｙ］は、周辺画素ｐ［－１］［ｙ＋１］で代替できる。
（ＳＴＥＰ４）右側参照領域に利用不可画素が存在するかを順次探索することができる。ここで、右側参照領域は、現在ブロックの右側に隣接する画素ラインを含むことができる。右側参照領域の長さは、現在ブロックの高さ（ｎＨ）と同一であることができる。
ここで、探索は、上端から下端の方向に行われることができる。このとき、画素ｐ［ｎＷ］［ｙ］が利用不可であると判断された場合、画素ｐ［ｎＷ］［ｙ］は、周辺画素ｐ［ｎＷ］［ｙ－１］で代替できる。又は、探索は、下端から上端の方向に行われることもできる。このとき、画素ｐ［ｎＷ］［ｙ］が利用不可であると判断された場合には、画素ｐ［ｎＷ］［ｙ］は、周辺画素ｐ［ｎＷ］［ｙ＋１］で代替できる。
又は、右側参照領域に対しては、別途の探索過程が省略できる。その代わりに、右側参照領域の利用不可画素は、ビット深度の中央値で埋められることができる。又は、右側参照領域の利用不可画素は、現在ブロックに隣接する右上端画素ＴＲ又は右下端画素ＢＲのうちのいずれかで代替されるか、或いはこれらの代表値で代替され得る。ここで、代表値は、平均値、最大値、最小値、最頻値、中央値などで表現できる。又は、右側参照領域の利用不可画素は、右上端画素ＴＲと右下端画素ＢＲのそれぞれに所定の重みを適用して誘導できる。このとき、重みは、右側参照領域の利用不可画素と右上端画素ＴＲ間の第１距離と、右側参照領域の利用不可画素と右下端画素ＢＲ間の第２距離を考慮して決定できる。前記右下端画素ＢＲは、現在ブロックに隣接する左上端画素ＴＬ、右上端画素ＴＲ又は左下端画素ＢＬのうちのいずれか一つで埋められるか、左上端画素ＴＬ、右上端画素ＴＲ又は左下端画素ＢＬのうちの少なくとも２つの代表値で代替できる。ここで、代表値は、前述した通りである。又は、前記右下端画素ＢＲは、左上端画素ＴＬ、右上端画素ＴＲ又は左下端画素ＢＬのうちの少なくとも２つにそれぞれ所定の重みを適用して誘導できる。ここで、重みは、前記右下端画素ＢＲとの距離を考慮して決定できる。
一方、前述した代替過程は、上端→左側→右側の優先順序で行われることに限定されない。例えば、代替過程は、左側→上端→右側の優先順序で行われ得る。又は、代替過程は、上端及び左側参照領域に対して並列的に行われ、その後、右側参照領域に対して行われることもできる。また、ＳＴＥＰ１過程は、左側→上端→右側の優先順序で代替過程が行われる場合には省略できる。
図７は本発明が適用される一実施形態として、イントラ予測モードを変更／補正する方法を示す図である。
復号化されたイントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅ）は、所定のオフセットに基づいて変更できる。前記オフセットの適用は、ブロックの属性、すなわち、サイズ、形状、分割情報、分割デプス、イントラ予測モードの値、又は成分タイプのうちの少なくとも一つに基づいて選択的に行われ得る。ここで、ブロックは、前記現在ブロック及び／又は現在ブロックの周辺ブロックを意味することができる。
前記分割情報は、現在ブロックが複数のサブブロックに分割されるか否かを示す第１情報、分割方向（例えば、水平又は垂直）を示す第２情報、又は分割されたサブブロックの個数に関する第３情報のうちの少なくとも一つを含むことができる。前記分割情報は、符号化装置で符号化されてシグナリングされることができる。又は、前記分割情報の一部は、前述したブロックの属性に基づいて復号化装置で可変的に決定されることもでき、符号化／復号化装置に既に定義された固定値に設定されることもできる。
例えば、前記第１情報が第１値である場合には、現在ブロックは、複数のサブブロックに分割され、そうでない場合には、現在ブロックは、複数のサブブロックに分割されないことができる（ＮＯ＿ＳＰＬＩＴ）。現在ブロックが複数のサブブロックに分割される場合には、前記第２情報に基づいて、現在ブロックは、水平分割（ＨＯＲ＿ＳＰＬＩＴ）又は垂直分割（ＶＥＲ＿ＳＰＬＩＴ）できる。この際、現在ブロックはｋ個のサブブロックに分割できる。ここで、ｋは２、３、４又はそれ以上の整数であることができる。又は、ｋは１、２、４などのように２の指数乗に制限できる。又は、現在ブロックの幅又は高さのうちの少なくとも一つが４であるブロック（例えば、４×８、８×４）の場合には、前記ｋは２に設定され、そうでない場合には、前記ｋは４、８又は１６に設定されることができる。現在ブロックが非分割である場合（ＮＯ＿ＳＰＬＩＴ）、前記ｋは１に設定されることができる。
前記現在ブロックは、互いに同一の幅と高さを持つサブブロックに分割されることもでき、互いに異なる幅と高さを持つサブブロックに分割されることもできる。現在ブロックは、前述したブロックの属性に関係なく、符号化／復号化装置に既に約束されたＮ×Ｍブロック単位（例えば、２×２、２×４、４×４、８×４、８×８など）に分割されることもできる。
前記オフセットは、現在ブロックの大きさが所定の閾値Ｔ１と同じかそれより小さい場合にのみ適用できる。ここで、閾値Ｔ１は、オフセットが適用される最大ブロックサイズを意味することができる。又は、現在ブロックの大きさが所定の閾値Ｔ２と同じかそれより大きい場合にのみ適用されることもできる。このとき、閾値Ｔ２は、オフセットが適用される最小ブロックサイズを意味することができる。前記閾値は、ビットストリームを介してシグナリングされることもできる。又は、前述したブロックの属性のうちの少なくとも一つに基づいて、復号化装置で可変的に決定されることもでき、符号化／復号化装置に既に約束された固定値でもあり得る。
又は、前記オフセットは、現在ブロックの形状がｎｏｎ－ｓｑｕａｒｅである場合にのみ適用できる。一例として、次の条件を満足する場合には、現在ブロックのＩｎｔｒａＰｒｅｄＭｏｄｅに所定のオフセット（例えば、６５）が加算できる。
－ｎＷ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ ｎＨ
－ＩｎｔｒａＰｒｅｄＭｏｄｅ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ ｏｒ ｅｑｕａｌ ｔｏ ２
－ＩｎｔｒａＰｒｅｄＭｏｄｅ ｉｓ ｌｅｓｓ ｔｈａｎ（ｗｈＲａｔｉｏ＞１）？（８＋２＊ｗｈＲａｔｉｏ）：８
ここで、ｎＷとｎＨは現在ブロックの幅と高さをそれぞれ意味し、ｗｈＲａｔｉｏはＡｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ））に設定できる。
又は、次の条件を満足する場合、現在ブロックのＩｎｔｒａＰｒｅｄＭｏｄｅに対して所定のオフセット（例えば、６７）を減算することができる。
－ｎＨ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ ｎＷ
－ＩｎｔｒａＰｒｅｄＭｏｄｅ ｉｓ ｌｅｓｓ ｔｈａｎ ｏｒ ｅｑｕａｌ ｔｏ ６６
－ＩｎｔｒａＰｒｅｄＭｏｄｅ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ（ｗｈＲａｔｉｏ＞１）？（６０－２＊ｗｈＲａｔｉｏ）：６０
前述したように、現在ブロックの属性を考慮して、現在ブロックのイントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅ）に対してオフセットを加算／減算して、最終イントラ予測モードを決定することができる。ただし、これに限定されず、オフセットの適用は、現在ブロックの代わりに、サブブロックの属性（例えば、サイズ、形状）を考慮して、同一／類似に行われることもできる。
図８は本発明が適用される一実施形態として、成分間参照に基づく予測方法を示すものである。
現在ブロックは、成分のタイプによって輝度ブロックと色差ブロックに分類できる。色差ブロックは、既に復元された輝度ブロックの画素を用いて予測でき、これを成分間参照と呼ぶ。本実施形態では、色差ブロックは（ｎＴｂＷ×ｎＴｂＨ）の大きさを有し、色差ブロックに対応する輝度ブロックは（２＊ｎＴｂＷ×２＊ｎＴｂＨ）の大きさを有することを仮定する。
図８を参照すると、色差ブロックのイントラ予測モードを決定することができる（Ｓ８００）。
図５で考察したように、第３フラグに基づいて、色差ブロックのイントラ予測モードは、第１グループに属する一つ又はそれ以上の成分間参照基盤の予測モードのうちのいずれか一つに決定できる。第１グループは、成分間参照基盤の予測モードのみで構成できる。符号化／復号化装置は、成分間参照基盤の予測モードとして、ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＴＲＡ＿Ｌ＿ＣＣＬＭ、又はＩＮＴＲＡ＿Ｔ＿ＣＣＬＭのうちの少なくとも一つを定義することができる。ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭは、輝度／色差ブロックに隣接する左側及び上端領域をすべて参照するモードであり、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭは、輝度／色差ブロックに隣接する左側領域を参照するモードであり、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭは、輝度／色差ブロックに隣接する上端領域を参照するモードであることができる。
前記成分間参照基盤の予測モードのうちのいずれか一つを選択するために、所定のインデックスが使用できる。前記インデックスは、ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ、又はＩＮＴＲＡ＿Ｔ＿ＣＣＬＭのうちのいずれか一つを特定する情報であることができる。前記インデックスは、前記第３フラグが第１値である場合に限ってシグナリングされることができる。第１グループに属する成分間参照基盤の予測モードと各予測モードに割り当てられたインデックスは、下記表６のとおりである。
Figure 0007467467000006
表６は各予測モードに割り当てられるインデックスの一例に過ぎず、これに限定されない。つまり、表６に示すように、ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭの優先順序でインデックスが割り当てられてもよく、ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭの優先順序でインデックスが割り当てられてもよい。或いは、ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭがＩＮＴＲＡ＿Ｔ＿ＣＣＬＭ又はＩＮＴＲＡ＿Ｌ＿ＣＣＬＭよりも低い優先順序を持つこともできる。前記第３フラグは、成分間参照が許容されるか否かを示す情報に基づいて選択的にシグナリングできる。例えば、前記情報の値が１である場合には、前記第３フラグがシグナリングされ、そうでない場合には、前記第３グラフはシグナリングされないことができる。ここで、情報は後述する所定の条件に基づいて０又は１に決定できる。
（条件１）成分間参照に基づく予測が許容されるか否かを示す第４フラグが０である場合には、前記情報は０に設定できる。前記第４フラグは、ＶＰＳ、ＳＰＳ、ＰＰＳ及びスライスヘッダのうちの少なくとも一つでシグナリングできる。
（条件２）次のサブ条件のうちの少なくとも一つを満足する場合には、前記情報は１に設定できる。
－ｑｔｂｔｔ＿ｄｕａｌ＿ｔｒｅｅ＿ｉｎｔｒａ＿ｆｌａｇの値が０である場合
－スライスタイプがＩスライスではない場合
－符号化ツリーブロックの大きさが６４×６４よりも小さい場合
前記条件２で、ｑｔｂｔｔ＿ｄｕａｌ＿ｔｒｅｅ＿ｉｎｔｒａ＿ｆｌａｇは、符号化ツリーブロックがサイズ６４×６４の符号化ブロックに黙示的に分割され、サイズ６４×６４の符号化ブロックがデュアルツリーに分割されるか否かを示すことができる。前記デュアルツリーは、輝度成分と色差成分が互いに独立した分割構造をもって分割される方式を意味することができる。前記符号化ツリーブロックの大きさ（ＣｔｂＬｏｇ２Ｓｉｚｅ）は、符号化／復号化装置に既に定義された大きさ（例えば、６４×６４、１２８×１２８、２５６×２５６）であってもよく、符号化装置で符号化されてシグナリングされてもよい。
（条件３）次のサブ条件のうちの少なくとも一つを満足する場合には、前記情報は１に設定できる。
－第１上位ブロックの幅と高さが６４である場合
－第１上位ブロックのデプスが（ＣｔｂＬｏｇ２Ｓｉｚｅ－６）と同一であり、第１上位ブロックがＨｏｒｉｚｏｎｔａｌ ＢＴ分割により分割され、第２上位ブロックが６４×３２である場合
－第１上位ブロックのデプスが（ＣｔｂＬｏｇ２Ｓｉｚｅ－６）よりも大きい場合
－第１上位ブロックのデプスが（ＣｔｂＬｏｇ２Ｓｉｚｅ－６）と同一であり、第１上位ブロックがＨｏｒｉｚｏｎｔａｌ ＢＴ分割により分割され、第２上位ブロックがＶｅｒｔｉｃａｌ ＢＴ分割により分割された場合
前記条件３で、第１上位ブロックは、現在色差ブロックを下位ブロックとして含むブロックであり得る。例えば、現在色差ブロックのデプスがｋである場合には、第１上位ブロックのデプスは（ｋｎ）であり、ｎは１、２、３、４又はそれ以上であり得る。前記第１上位ブロックのデプスは、四分木ベースの分割によるデプスのみを意味するか、或いは四分木、二分木又は三分木のうちの少なくとも一つの分割によるデプスを意味することができる。前記第２上位ブロックは、第１上位ブロックに属する下位ブロックであって、現在色差ブロックよりも小さいデプスを、第１上位ブロックよりも大きいデプスを持つことができる。例えば、現在色差ブロックのデプスがｋである場合、第２上位ブロックのデプスは（ｋ－ｍ）であり、ｍはｎよりも小さい自然数であり得る。
前述した条件１～３のいずれか一つも満足しない場合、前記情報は０に設定できる。
但し、条件１～３のうちの少なくとも一つを満足する場合でも、次のサブ条件のうちの少なくとも一つを満足する場合には、前記情報は０に再設定できる。
－第１上位ブロックが６４×６４であり、前述したサブブロック単位の予測を行う場合
－第１上位ブロックの幅又は高さのうちの少なくとも一つが６４よりも小さく、第１上位ブロックのデプスが（ＣｔｂＬｏｇ２Ｓｉｚｅ－６）と同じである場合
図８を参照すると、色差ブロックの成分間参照のための輝度領域を特定することができる（Ｓ８１０）。
前記輝度領域は、輝度ブロック、又は輝度ブロックに隣接する隣接領域のうちの少なくとも一つを含むことができる。ここで、輝度ブロックは、画素ｐＹ［ｘ］［ｙ］（ｘ＝０．．ｎＴｂＷ＊２－１、ｙ＝０．．ｎＴｂＨ＊２－１）を含む領域として定義できる。前記画素は、インループフィルタが適用される前の復元値を意味することができる。
前記隣接領域は、左側隣接領域、上端隣接領域又は左上端隣接領域のうちの少なくとも一つを含むことができる。前記左側隣接領域は、画素ｐＹ［ｘ］［ｙ］（ｘ＝－１．．－３、ｙ＝０．．２＊ｎｕｍＳａｍｐＬ－１）を含む領域に設定できる。前記設定は、ｎｕｍＳａｍｐＬの値が０よりも大きい場合に限って行われ得る。前記上端隣接領域は、画素ｐＹ［ｘ］［ｙ］（ｘ＝０．．２＊ｎｕｍＳａｍｐＴ－１、ｙ＝－１．．－３）を含む領域に設定できる。前記設定は、ｎｕｍＳａｍｐＴの値が０よりも大きい場合に限って行われ得る。前記左上端隣接領域は、画素ｐＹ［ｘ］［ｙ］（ｘ＝－１、ｙ＝－１、－２）を含む領域に設定できる。上記の設定は、輝度ブロックの左上端領域が利用可能である場合に限って行われ得る。
前述したｎｕｍＳａｍｐＬ及びｎｕｍＳａｍｐＴは、現在ブロックのイントラ予測モードに基づいて決定できる。ここで、現在ブロックは色差ブロックを意味することができる。
例えば、現在ブロックのイントラ予測モードがＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭである場合、下記数式１のように誘導できる。ここで、ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭは、成分間参照が現在ブロックの左側及び上端に隣接する領域に基づいて行われるモードを意味することができる。
［数式１］
ｎｕｍＳａｍｐＴ＝ａｖａｉｌＴ？ｎＴｂＷ：０
ｎｕｍＳａｍｐＬ＝ａｖａｉｌＬ？ｎＴｂＨ：０
数式１によると、ｎｕｍＳａｍｐＴは、現在ブロックの上端隣接領域が利用可能である場合にはｎＴｂＷに誘導され、そうでない場合には０に誘導され得る。同様に、ｎｕｍＳａｍｐＬは、現在ブロックの左側隣接領域が利用可能である場合にはｎＴｂＨに誘導され、そうでない場合には０に誘導され得る。
これに対し、現在ブロックのイントラ予測モードがＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭではない場合には、下記数式２のように誘導できる。
［数式２］
ｎｕｍＳａｍｐＴ＝（ａｖａｉｌＴ＆＆ｐｒｅｄＭｏｄｅＩｎｔｒａ＝＝ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭ）？（ｎＴｂＷ＋ｎｕｍＴｏｐＲｉｇｈｔ）：０
ｎｕｍＳａｍｐＬ＝（ａｖａｉｌＬ＆＆ｐｒｅｄＭｏｄｅＩｎｔｒａ＝＝ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ）？（ｎＴｂＨ＋ｎｕｍＬｅｆｔＢｅｌｏｗ）：０
数式２において、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭは、成分間参照が現在ブロックの上端に隣接する領域に基づいて行われるモードを意味し、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭは、成分間参照が現在ブロックの左側に隣接する領域に基づいて行われるモードを意味することができる。ｎｕｍＴｏｐＲｉｇｈｔは、色差ブロックの右上端に隣接する領域に属する全部又は一部画素の個数を意味することができる。一部の画素は、当該領域の最下端画素ライン（ｒｏｗ）に属する画素のうちの利用可能画素を意味することができる。利用可能に対する判断は左から右方向に画素の利用可能か否かを順次判断し、これは利用不可画素が発見されるまで行われ得る。ｎｕｍＬｅｆｔＢｅｌｏｗは、色差ブロックの左下端に隣接する領域に属する全部又は一部の画素の個数を意味することができる。一部の画素は、当該領域の最右側画素ライン（ｃｏｌｕｍｎ）に属する画素のうちの利用可能画素を意味することができる。利用可能に対する判断は上から下方向に画素の利用可能か否かを順次判断し、これは利用不可画素が発見されるまで行われ得る。
図８を参照すると、Ｓ８１０で特定された輝度領域に対してダウンサンプリングが行われ得る（Ｓ８２０）。
前記ダウンサンプリングは、１．輝度ブロックに対するダウンサンプリング、２．輝度ブロックの左側隣接領域に対するダウンサンプリング、又は３．輝度ブロックの上端隣接領域に対するダウンサンプリングのうちの少なくとも一つを含むことができ、以下に詳細に考察する。
１．輝度ブロックに対するダウンサンプリング
（実施形態１）
ダウンサンプリングされた輝度ブロックの画素ｐＤｓＹ［ｘ］［ｙ］（ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１）は、輝度ブロックの対応画素ｐＹ［２＊ｘ］［２＊ｙ］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側、右側、上端又は下端のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＤｓＹ［ｘ］［ｙ］は、下記数式３のように誘導できる。
［数式３］
ｐＤｓＹ［ｘ］［ｙ］＝（ｐＹ［２＊ｘ］［２＊ｙ－１］＋ｐＹ［２＊ｘ－１］［２＊ｙ］＋４＊ｐＹ［２＊ｘ］［２＊ｙ］＋ｐＹ［２＊ｘ＋１］［２＊ｙ］＋ｐＹ［２＊ｘ］［２＊ｙ＋１］＋４）＞＞３
但し、現在ブロックの左側／上端隣接領域が利用不可能である場合が存在することができる。もし現在ブロックの左側隣接領域が利用不可能である場合、ダウンサンプリングされた輝度ブロックの画素ｐＤｓＹ［０］［ｙ］（ｙ＝１．．ｎＴｂＨ－１）は、輝度ブロックの対応画素ｐＹ［０］［２＊ｙ］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の上端又は下端のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＤｓＹ［０］［ｙ］（ｙ＝１．．ｎＴｂＨ－１）は、下記数式４のように誘導できる。
［数式４］
ｐＤｓＹ［０］［ｙ］＝（ｐＹ［０］［２＊ｙ－１］＋２＊ｐＹ［０］［２＊ｙ］＋ｐＹ［０］［２＊ｙ＋１］＋２）＞＞２
もし現在ブロックの上端隣接領域が利用不可能である場合、ダウンサンプリングされた輝度ブロックの画素ｐＤｓＹ［ｘ］［０］（ｘ＝１．．ｎＴｂＷ－１）は、輝度ブロックの対応画素ｐＹ［２＊ｘ］［０］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側又は右側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＤｓＹ［ｘ］［０］（ｘ＝１．．ｎＴｂＷ－１）は、下記数式５のように誘導できる。
［数式５］
ｐＤｓＹ［ｘ］［０］＝（ｐＹ［２＊ｘ－１］［０］＋２＊ｐＹ［２＊ｘ］［０］＋ｐＹ［２＊ｘ＋１］［０］＋２）＞＞２
一方、ダウンサンプリングされた輝度ブロックの画素ｐＤｓＹ［０］［０］は、輝度ブロックの対応画素ｐＹ［０］［０］及び／又は周辺画素に基づいて誘導できる。周辺画素の位置は、現在ブロックの左側／上端隣接領域の利用可能か否かによって異なるように決定できる。
例えば、左側隣接領域が利用可能であり、上端隣接領域が利用可能でない場合には、ｐＤｓＹ［０］［０］は、下記数式６のように誘導できる。
［数式６］
ｐＤｓＹ［０］［０］＝（ｐＹ［－１］［０］＋２＊ｐＹ［０］［０］＋ｐＹ［１］［０］＋２）＞＞２
これに対し、左側隣接領域が利用可能でなく、上端隣接領域が利用可能である場合には、ｐＤｓＹ［０］［０］は、下記数式７のように誘導できる。
［数式７］
ｐＤｓＹ［０］［０］＝（ｐＹ［０］［－１］＋２＊ｐＹ［０］［０］＋ｐＹ［０］［１］＋２）＞＞２
一方、左側及び上端隣接領域の両方とも利用可能でない場合、ｐＤｓＹ［０］［０］は、輝度ブロックの対応画素ｐＹ［０］［０］に設定できる。
（実施形態２）
ダウンサンプリングされた輝度ブロックの画素ｐＤｓＹ［ｘ］［ｙ］（ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１）は、輝度ブロックの対応画素ｐＹ［２＊ｘ］［２＊ｙ］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の下端、左側、右側、左下端又は右下端のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＤｓＹ［ｘ］［ｙ］は、下記数式８のように誘導できる。
［数式８］
ｐＤｓＹ［ｘ］［ｙ］＝（ｐＹ［２＊ｘ－１］［２＊ｙ］＋ｐＹ［２＊ｘ－１］［２＊ｙ＋１］＋２＊ｐＹ［２＊ｘ］［２＊ｙ］＋２＊ｐＹ［２＊ｘ］［２＊ｙ＋１］＋ｐＹ［２＊ｘ＋１］［２＊ｙ］＋ｐＹ［２＊ｘ＋１］［２＊ｙ＋１］＋４）＞＞３
但し、もし現在ブロックの左側隣接領域が利用不可能である場合、ダウンサンプリングされた輝度ブロックの画素ｐＤｓＹ［０］［ｙ］（ｙ＝０．．ｎＴｂＨ－１）は、輝度ブロックの対応画素ｐＹ［０］［２＊ｙ］及び下端の周辺画素に基づいて誘導できる。例えば、画素ｐＤｓＹ［０］［ｙ］（ｙ＝０．．ｎＴｂＨ－１）は、下記数式９のように誘導できる。
［数式９］
ｐＤｓＹ［０］［ｙ］＝（ｐＹ［０］［２＊ｙ］＋ｐＹ［０］［２＊ｙ＋１］＋１）＞＞１
輝度ブロックのダウンサンプリングは、前述した実施形態１及び２のうちのいずれかに基づいて行われ得る。この時、所定のフラグに基づいて実施形態１又は２のうちのいずれかが選択できる。前記フラグは、ダウンサンプリングされた輝度画素が原輝度画素と同じ位置を持つか否かを示すことができる。例えば、前記フラグが第１値である場合には、ダウンサンプリングされた輝度画素が原輝度画素と同じ位置を持つ。これに対し、前記フラグが第２値である場合には、ダウンサンプリングされた輝度画素は、原輝度画素と水平方向には同じ位置を持つが、垂直方向にはハーフペル（ｈａｌｆ ｐｅｌ）だけシフトされた位置を持つ。
２．輝度ブロックの左側隣接領域に対するダウンサンプリング
（実施形態１）
ダウンサンプリングされた左側隣接領域の画素ｐＬｅｆｔＤｓＹ［ｙ］（ｙ＝０．．ｎｕｍＳａｍｐＬ－１）は、左側隣接領域の対応画素ｐＹ［－２］［２＊ｙ］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側、右側、上端又は下端のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＬｅｆｔＤｓＹ［ｙ］は、下記数式１０のように誘導できる。
［数式１０］
ｐＬｅｆｔＤｓＹ［ｙ］＝（ｐＹ［－２］［２＊ｙ－１］＋ｐＹ［－３］［２＊ｙ］＋４＊ｐＹ［－２］［２＊ｙ］＋ｐＹ［－１］［２＊ｙ］＋ｐＹ［－２］［２＊ｙ＋１］＋４）＞＞３
但し、現在ブロックの左上端隣接領域が利用不可能である場合、ダウンサンプリングされた左側隣接領域の画素ｐＬｅｆｔＤｓＹ［０］は、左側隣接領域の対応画素ｐＹ［－２］［０］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側又は右側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＬｅｆｔＤｓＹ［０］は、下記数式１１のように誘導できる。
［数式１１］
ｐＬｅｆｔＤｓＹ［０］＝（ｐＹ［－３］［０］＋２＊ｐＹ［－２］［０］＋ｐＹ［－１］［０］＋２）＞＞２
（実施形態２）
ダウンサンプリングされた左側隣接領域の画素ｐＬｅｆｔＤｓＹ［ｙ］（ｙ＝０．．ｎｕｍＳａｍｐＬ－１）は、左側隣接領域の対応画素ｐＹ［－２］［２＊ｙ］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の下側、左側、右側、左下端又は右下端のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＬｅｆｔＤｓＹ［ｙ］は、下記数式１２のように誘導できる。
［数式１２］
ｐＬｅｆｔＤｓＹ［ｙ］＝（ｐＹ［－１］［２＊ｙ］＋ｐＹ［－１］［２＊ｙ＋１］＋２＊ｐＹ［－２］［２＊ｙ］＋２＊ｐＹ［－２］［２＊ｙ＋１］＋ｐＹ［－３］［２＊ｙ］＋ｐＹ［－３］［２＊ｙ＋１］＋４）＞＞３
同様に、左側隣接領域のダウンサンプリングは、前述した実施形態１及び２のうちのいずれかに基づいて行われ得る。この時、所定のフラグに基づいて実施形態１又は２のうちのいずれかが選択できる。前記フラグは、ダウンサンプリングされた輝度画素が原輝度画素と同じ位置を持つか否かを示し、これは、前述した通りである。
一方、左側隣接領域に対するダウンサンプリングは、ｎｕｍＳａｍｐＬ値が０よりも大きい場合に限って行われ得る。ｎｕｍＳａｍｐＬ値が０よりも大きい場合とは、現在ブロックの左側隣接領域が利用可能であり、現在ブロックのイントラ予測モードはＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ又はＩＮＴＲＡ＿Ｌ＿ＣＣＬＭである場合を意味することができる。
３．輝度ブロックの上端隣接領域に対するダウンサンプリング
（実施形態１）
ダウンサンプリングされた上端隣接領域の画素ｐＴｏｐＤｓＹ［ｘ］（ｘ＝０．．ｎｕｍＳａｍｐＴ－１）は、上端隣接領域が輝度ブロックとは異なるＣＴＵに属するか否かを考慮して誘導できる。
上端隣接領域が輝度ブロックと同じＣＴＵに属する場合、ダウンサンプリングされた上端隣接領域の画素ｐＴｏｐＤｓＹ［ｘ］は、上端隣接領域の対応画素ｐＹ［２＊ｘ］［－２］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側、右側、上端又は下端のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＴｏｐＤｓＹ［ｘ］は、下記数式１３のように誘導できる。
［数式１３］
ｐＴｏｐＤｓＹ［ｘ］＝（ｐＹ［２＊ｘ］［－３］＋ｐＹ［２＊ｘ－１］［－２］＋４＊ｐＹ［２＊ｘ］［－２］＋ｐＹ［２＊ｘ＋１］［－２］＋ｐＹ［２＊ｘ］［－１］＋４）＞＞３
これに対し、上端隣接領域が輝度ブロックとは異なるＣＴＵに属する場合、ダウンサンプリングされた上端隣接領域の画素ｐＴｏｐＤｓＹ［ｘ］は、上端隣接領域の対応画素ｐＹ［２＊ｘ］［－１］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側又は右側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＴｏｐＤｓＹ［ｘ］は、下記数式１４のように誘導できる。
［数式１４］
ｐＴｏｐＤｓＹ［ｘ］＝（ｐＹ［２＊ｘ－１］［－１］＋２＊ｐＹ［２＊ｘ］［－１］＋ｐＹ［２＊ｘ＋１］［－１］＋２）＞＞２
又は、現在ブロックの左上端隣接領域が利用不可能である場合、前記周辺画素は、対応画素の上端又は下端のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＴｏｐＤｓＹ［０］は、下記数式１５のように誘導できる。
［数式１５］
ｐＴｏｐＤｓＹ［０］＝（ｐＹ［０］［－３］＋２＊ｐＹ［０］［－２］＋ｐＹ［０］［－１］＋２）＞＞２
又は、現在ブロックの左上端隣接領域が利用不可能であり、上端隣接領域が輝度ブロックとは異なるＣＴＵに属する場合、画素ｐＴｏｐＤｓＹ［０］は、上側隣接領域の画素ｐＹ［０］［－１］に設定できる。
（実施形態２）
ダウンサンプリングされた上端隣接領域の画素ｐＴｏｐＤｓＹ［ｘ］（ｘ＝０．．ｎｕｍＳａｍｐＴ－１）は、上端隣接領域が輝度ブロックとは異なるＣＴＵに属するか否かを考慮して誘導できる。
上端隣接領域が輝度ブロックと同じＣＴＵに属する場合、ダウンサンプリングされた上側隣接領域の画素ｐＴｏｐＤｓＹ［ｘ］は、上端隣接領域の対応画素ｐＹ［２＊ｘ］［－２］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の下端、左側、右側、左下端又は右下端のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＴｏｐＤｓＹ［ｘ］は、下記数式１６のように誘導できる。
［数式１６］
ｐＴｏｐＤｓＹ［ｘ］＝（ｐＹ［２＊ｘ－１］［－２］＋ｐＹ［２＊ｘ－１］［－１］＋２＊ｐＹ［２＊ｘ］［－２］＋２＊ｐＹ［２＊ｘ］［－１］＋ｐＹ［２＊ｘ＋１］［－２］＋ｐＹ［２＊ｘ＋１］［－１］＋４）＞＞３
これに対し、上端隣接領域が輝度ブロックとは異なるＣＴＵに属する場合、ダウンサンプリングされた上端隣接領域の画素ｐＴｏｐＤｓＹ［ｘ］は、上端隣接領域の対応画素ｐＹ［２＊ｘ］［－１］及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側又は右側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＴｏｐＤｓＹ［ｘ］は、下記数式１７のように誘導できる。
［数式１７］
ｐＴｏｐＤｓＹ［ｘ］＝（ｐＹ［２＊ｘ－１］［－１］＋２＊ｐＹ［２＊ｘ］［－１］＋ｐＹ［２＊ｘ＋１］［－１］＋２）＞＞２
又は、現在ブロックの左上端隣接領域が利用不可能である場合、前記周辺画素は、対応画素の上端又は下端のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素ｐＴｏｐＤｓＹ［０］は、下記数式１８のように誘導できる。
［数式１８］
ｐＴｏｐＤｓＹ［０］＝（ｐＹ［０］［－２］＋ｐＹ［０］［－１］＋１）＞＞１
又は、現在ブロックの左上端隣接領域が利用不可能であり、上端隣接領域が輝度ブロックとは異なるＣＴＵに属する場合、画素ｐＴｏｐＤｓＹ［０］は、上端隣接領域の画素ｐＹ［０］［－１］に設定できる。
同様に、上端隣接領域のダウンサンプリングは、前述した実施形態１及び２のうちのいずれかに基づいて行われ得る。この時、所定のフラグに基づいて実施形態１又は２のうちのいずれかが選択できる。前記フラグは、ダウンサンプリングされた輝度画素が原輝度画素と同じ位置を持つか否かを示し、これは、前述したとおりである。
一方、上端隣接領域に対するダウンサンプリングは、ｎｕｍＳａｍｐＴ値が０よりも大きい場合に限って行われ得る。ｎｕｍＳａｍｐＴ値が０よりも大きい場合とは、現在ブロックの上端隣接領域が利用可能であり、現在ブロックのイントラ予測モードはＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ又はＩＮＴＲＡ＿Ｔ＿ＣＣＬＭである場合を意味することができる。
前述した輝度ブロックの左側又は上端隣接領域のうちの少なくとも一つ（以下、輝度参照領域）に対するダウンサンプリングは、特定の位置の対応画素ｐＹ［－２］［２＊ｙ］及び周辺画素のみを用いて行われることができる。ここで、特定の位置は、色差ブロックの左側又は上端隣接領域のうちの少なくとも一つ（以下、色差参照領域）に属する複数の画素の中から選択された画素の位置に基づいて決定できる。
前記選択された画素は、色差参照領域において奇数番目に位置する画素であるか、或いは偶数番目に位置する画素であることができる。又は、前記選択された画素は、開始画素、及び開始画素から所定の間隔ごとに位置する一つ又はそれ以上の画素であることができる。ここで、開始画素は、色差参照領域において一番目、二番目又は三番目に位置する画素であることができる。前記間隔は、１つ、２つ、３つ、４つ又はそれ以上のサンプル間隔であることができる。例えば、前記間隔が１つのサンプル間隔である場合、選択された画素は、ｎ番目の画素、（ｎ＋２）番目の画素などを含むことができる。選択された画素の個数は、２つ、４つ、６つ、８つ又はそれ以上であることができる。
前記選択された画素の個数、開始画素及び間隔は、色差参照領域の長さ（つまり、ｎｕｍＳａｍｐＬ及び／又はｎｕｍＳａｍｐＴ）又は色差ブロックのイントラ予測モードのうちの少なくとも一つに基づいて可変的に決定できる。又は、選択された画素の個数は、色差参照領域の長さ及び色差ブロックのイントラ予測モードに関係なく、符号化／復号化装置に既に約束された固定個数（例えば、４つ）であることができる。
図８を参照すると、色差ブロックの成分間参照のためのパラメータを誘導することができる（Ｓ８３０）。
前記パラメータは、重み又はオフセットのうちの少なくとも一つを含むことができる。前記パラメータは、現在ブロックのイントラ予測モードを考慮して決定できる。前記パラメータは、色差参照領域の選択された画素、及び輝度参照領域のダウンサンプリングを介して取得された画素を用いて誘導できる。
具体的には、輝度参照領域のダウンサンプリングを介して取得されたｎ個の画素間の大きさの比較を行うことにより、ｎ個の画素を２つのグループに分類することができる。例えば、第１グループは、ｎ個の画素のうち、相対的に大きい値を持つ画素のグループであり、第２グループは、ｎ個のサンプルのうち、第１グループの画素を除いた残りの画素のグループであることができる。すなわち、第２グループは、相対的に小さい値を持つ画素のグループであることができる。ここで、ｎは４、８、１６又はそれ以上であることができる。第１グループに属する画素の平均値を最大値（ＭａｘＬ）に設定し、第２グループに属する画素の平均値を最小値（ＭｉｎＬ）に設定することができる。
前記輝度参照領域のダウンサンプリングを介して取得されたｎ個の画素に対するグループ化に基づいて、色差参照領域の選択された画素をグループ化することができる。輝度参照領域に対する第１グループの画素に対応する色差参照領域の画素を用いて、色差参照領域に対する第１グループを構成し、輝度参照領域に対する第２グループの画素に対応する色差参照領域の画素を用いて、色差参照領域に対する第２グループを構成することができる。同様に、第１グループに属する画素の平均値を最大値（ＭａｘＣ）に設定し、第２グループに属する画素の平均値を最小値（ＭｉｎＣ）に設定することができる。
前記算出された最大値（ＭａｘＬ、ＭａｘＣ）及び最小値（ＭｉｎＬ、ＭｉｎＣ）に基づいて、前記パラメータの重み及び／又はオフセットを誘導することができる。
色差ブロックは、ダウンサンプリングされた輝度ブロックとパラメータに基づいて予測できる（Ｓ８４０）。
色差ブロックは、ダウンサンプリングされた輝度ブロックの画素に、既に誘導された重み又はオフセットのうちの少なくとも一つを適用して予測できる。
図９は本発明が適用される一実施形態として、参照領域を構成する方法を示す図である。
本発明に係る参照領域は、現在ブロックの隣接する領域であることができる。次に、カテゴリー別に参照領域が分類されて各参照領域を利用可能画素で構成する方法について説明する。説明の便宜のために、現在ブロックの左側、上端、右側参照領域を中心に説明する。後述する実施形態で述べていない説明は、図６で説明した実施形態を介して参照又は誘導できる。
図９を参照すると、参照領域の画素を所定のカテゴリーに区分することができる（ＳＡ００）。
参照領域はｋ個のカテゴリーに区分／分類することができ、ｋは１、２、３又はそれ以上の整数であることができる。又は、ｋは２以下の整数に制限できる。参照領域は、画像タイプ（Ｉ／Ｐ／Ｂ）、成分タイプ（Ｙ／Ｃｂ／Ｃｒなど）、ブロックの属性（大きさ、形状、分割情報、分割デプスなど）、参照画素の位置などに基づいて、所定のカテゴリーのうちのいずれか一つに分類できる。ここで、ブロックは、現在ブロック及び／又は現在ブロックの周辺ブロックを意味することができる。
例えば、ブロックの大きさによって所定のカテゴリーに分類できる。この際、ブロックの大きさは、閾値の大きさによって支援範囲が定められることができる。各閾値の大きさは、幅（Ｗ）と高さ（Ｈ）でＷ、Ｈ、Ｗ×Ｈ、Ｗ＊Ｈと表現できる。ＷとＨは４、８、１６、３２などの自然数であることができる。閾値の大きさは２つ以上支援され、ブロックが持つことが可能な最小値、最大値などの支援範囲の設定に使用できる。
又は、参照画素の位置によって所定のカテゴリーに分類できる。この時、前記参照画素の位置は、画素単位によって定義することができるか、或いは当該参照画素の属するブロックの方向（左、右、上、下、左上、右上、左下、右下方向）によって定義することができる。
図６を参照すると、左上端画素（ＴＬ）、右上端画素（ＴＲ）、左下端画素（ＢＬ）、右下端画素（ＢＲ）の位置の中に含まれるか否かによって定義することができる。また、現在ブロックの幅（２＊ｎＷ）、高さ（２＊ｎＨ）、又は幅と高さの和（ｎＷ＋ｎＨ）に基づいて位置するＴＬ０、ＴＬ１、ＴＲ０、ＴＲ１、ＢＬ０、ＢＬ１、ＢＲ０、ＢＲ１画素位置の中に含まれるか否かによって定義することができる。また、図１２を参照すると、上、下、左、右ブロックの両端に位置する画素であるＴ０、Ｔ３、Ｂ０、Ｂ３、Ｌ０、Ｌ３、Ｒ０、Ｒ３画素位置の中に含まれるか否かによって定義することができる。又は、各ブロックの中間に位置する画素（Ｔ１、Ｌ２、Ｂ２、Ｒ１など）の中に含まれるか否かによって定義することができる。
前記様々な符号化要素に基づいて参照領域（参照画素）をカテゴリー別に分類することができる。
図９を参照すると、参照領域に属する利用不可画素を探索することができる（ＳＡ１０）。
参照領域に利用不可画素が存在するかを順次探索することができる。図６を参照すると、探索の開始位置は、ＴＬ、ＴＲ、ＢＬ、ＢＲの中で定められることができるが、これに限定されない。このとき、順次行われる場合には、探索の開始位置は１つに設定することができるが、並列的に行われる場合のために２つ以上に設定してもよい。
利用不可画素の探索領域は、前記探索の開始位置に基づいて定められることができる。もし１つの探索位置が指定された場合（ＴＬと仮定）には、上端参照領域又は左側参照領域を右側参照領域よりも先に探索をすることができるが、符号化設定（並列処理）ではそうでないことができる。
ここで、探索方向は、時計方向又は反時計方向の中から定められることができる。このとき、参照領域全体を対象に、前記時計方向又は反時計方向のうちの一つを選択することができる。又は、参照領域の位置に基づいて適応的に選択することができる。つまり、上端／下端／左側／右側参照領域に時計方向又は反時計方向のうちのいずれか一つの探索方向を支援することができる。ここで、前記参照領域の位置が現在ブロックの幅（ｎＷ）、高さ（ｎＨ）にのみ限定されて配置されない（つまり、２＊ｎＷ、２＊ｎＨ、ｎＷ＋ｎＨなどに含まれる参照領域も含む）を理解しなければならない。
ここで、時計方向の場合は、左側参照領域では下端から上端への方向、上端参照領域では左側から右側への方向、右側参照領域では上端から下端への方向、下端参照領域では右側から左側への方向を意味することができる。反時計方向は、時計方向から逆に誘導できる。
たとえば、現在ブロックに隣接する左上端画素ＴＬから探索を開始するとき、上端参照領域と右側参照領域は、時計方向（左→右、上→下）に探索することができる。そして、左側参照領域と下端参照領域は、反時計方向（上→下、左→右）に探索することができる。ただし、前記説明は、一部の例示に過ぎず、様々な変形の例が可能である。
図９を参照すると、カテゴリー別に設定された方法を用いて利用可能画素で代替することができる（ＳＡ２０）。
利用不可画素は、既に決定されたデフォルト値（例えば、画素値の範囲の中央値など）で代替することができる。又は、所定の利用可能画素に基づいて代替することができるが、１つ以上の隣接する利用可能画素をコピー、線形外挿、内挿などを介して取得した値で利用可能画素を代替することができる。まず、各画素の位置に基づいてカテゴリーを区分する過程を先行する。次に、前記各方法が複数のカテゴリーに応じてどのように適用されるかについての例示を挙げ、前記利用不可画素は対象画素と称する。
一例＜１＞として、対象画素は、参照領域に利用可能画素が存在する場合には、利用可能画素に基づいて取得された画素値を用いて代替することができ、参照領域に利用可能画素が存在しない場合には、デフォルト値で代替することができる。
一例＜２＞として、対象画素は、探索の開始位置を含んで対象画素の前に利用可能画素が存在する場合には、利用可能画素に基づいて取得された画素値を用いて代替することができ、対象画素の前に利用可能画素が存在しない場合には、デフォルト値で代替することができる。
一例＜３＞として、対象画素は、デフォルト値で代替することができる。
＜１＞の場合、参照領域に利用可能画素が存在するか否かに応じて、利用可能画素で代替する方法を説明している。＜２＞の場合、以前の探索過程中に利用可能画素が存在するか否かに応じて利用可能画素で代替する方法を説明している。＜３＞の場合、１つの固定的な利用可能画素で代替する方法を説明している。
もし１つのカテゴリーが支援される場合、前記＜１＞乃至＜３＞で一つの利用可能画素で代替する方法を使用することができる。もし２つ以上のカテゴリーが支援される場合、１つのカテゴリーに属する照画素は、＜１＞乃至＜３＞の中からいずれか一つを選択し、他のカテゴリーに属する参照画素は、＜１＞乃至＜３＞の中からいずれか一つを選択して使用することができる。
図９を参照すると、参照領域を利用可能画素で構成することができる（ＳＡ３０）。そして、画面内予測（イントラ予測）を行うことができる（ＳＡ４０）。
前述した実施形態を介して、参照領域の利用不可画素を対象としてカテゴリーに区分してカテゴリーによる利用可能画素を代替する方法について説明した。また、利用不可画素だけでなく、利用可能画素でも、カテゴリーに応じてデフォルト値で代替するか、或いは他の利用可能画素で代替するか、或いは他の利用可能画素に基づいて取得された値で代替するなどの変形が可能である。
図１０は本発明が適用される一実施形態として、ステップ別にイントラ予測モードセットを構成する例示図である。
図１０の（Ｓｔｅｐ１）を参照すると、様々な予測モード候補群の構成が支援でき、その中のいずれか一つを黙示的又は明示的に選択することができる。前記予測モード候補群は、モードの個数、方向性モードの傾き情報（ｄｙ／ｄｘ）、方向性モードの支援範囲などによって区分できる。このとき、モードの個数の場合、ｋ個（方向性ａ個、非方向性ｂ個）で構成されても、ａ又はｂが異なる予測モード候補群が存在することができる。
予測モード候補群選択情報は、明示的に発生することができ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＨ及びスライスヘッダのうちの少なくとも一つのレベルでシグナリングできる。又は、符号化の設定に基づいて黙示的に予測モード候補群が選択できる。このとき、画像タイプ（Ｉ／Ｐ／Ｂ）、成分タイプ、ブロックの属性（大きさ、形状、分割情報、分割デプスなど）に基づいて前記符号化の設定が定義できる。ここで、ブロックは、現在ブロック及び／又は現在ブロックの周辺ブロックを意味することができ、本実施形態では、同様に適用される説明であり得る。
（Ｓｔｅｐ１）を介して一つの予測モード候補群が選定（本例では、Ｂが選定）されると、これに基づいてイントラ予測又は予測モード符号化を行うことができる。又は、効率的な候補群の構成のための作業を行うことができ、これを（Ｓｔｅｐ２）を介して考察する。
図１０の（Ｓｔｅｐ２）を参照すると、一部の予測モードの構成を多様に構成することができ、この中の一つを黙示的又は明示的に選択することができる。（Ｂ０）乃至（Ｂ２）は、一部の方向の予測モード（図面における点線）はよく使用されないことを仮定した候補構成であり得る。
予測モード候補群選択情報は、明示的に発生することができ、ＣＴＵ、符号化ブロック、予測ブロック、変換ブロックなどでシグナリングできる。又は、符号化の設定に基づいて黙示的に予測モード候補群が選択でき、符号化の設定は以前の様々な符号化要素で定義できる。
ここで、ブロックの形状は、ブロックの幅／高さの比（Ｗ：Ｈ）に基づいて細密化することができるが、Ｗ：Ｈのすべての可能な割合に合わせて予測モード候補群も異なるように構成できるか、或いはＷ：Ｈの一定割合に限って予測モード候補群が異なるように構成できる。
（Ｓｔｅｐ２）を介して一つの予測モード候補群が選定（本例では、Ｂ１が選定）されると、これに基づいてイントラ予測又は予測モード符号化を行うことができる。又は、効率的な候補群の構成のための作業を行うことができ、これを（Ｓｔｅｐ ３）を介して考察する。
図１０の（Ｓｔｅｐ３）を参照すると、予測モード候補群の数が多いため、一部の予測モード（図面における点線）はよく使用されないことを仮定した候補構成であり得る。
予測モード候補群選択情報は、明示的に発生することができ、ＣＴＵ、符号化ブロック、予測ブロック、変換ブロックなどでシグナリングできる。又は、符号化の設定に基づいて黙示的に予測モード候補群が選択でき、符号化の設定は以前の様々な符号化要素で定義できる。そして、ブロックの予測モードや位置などが符号化の設定を定義するのにさらに考慮される要素であり得る。
このとき、予測モード、ブロックの位置は、現在ブロックの隣接する隣接ブロックの情報を意味することができる。つまり、現在ブロックと隣接ブロックの属性情報に基づいて、よく使用されないものと推定される予測モードを誘導し、当該モードを予測モード候補群から除外することができる。
例えば、隣接ブロックは、図１２のＴＬ、Ｔ０、ＴＲ０、Ｌ０、ＢＬ０位置を含むとき、当該ブロックの予測モードが一部の方向性（左上から右下への方向）を有すると仮定する。この際、現在ブロックの予測モードは、高い確率で一部の方向性を持つものと予想することができるが、次の処理可能性が存在することができる。
例えば、予測モード候補群内のモードに対していずれもイントラ予測を行うことができる。そして、予測モード候補群に基づいて予測モード符号化を行うことができる。
又は、一部のモードは、除去された予測モード候補群内のモードに対してイントラ予測を行うことができる。そして、一部のモードは、除去された予測モード候補群に基づいて予測モード符号化を行うことができる。
上記の例を比較すると、発生確率が低いと思われる予測モードを、実際予測及び符号化過程（ｎｏｎ－ＭＰＭなどとして含むことができる）で含めて進めるか、或いは除去して進めるかが区分される特性であることができる。
（Ｂ２１）の場合、隣接ブロックの予測モードとは異なる方向性を有する予測モードを一部除去した構成であり得るが、当該方向性モードが実際に発生する場合のためにまばらに配置された一部のモードが除去された例示であり得る。
図１１は本発明が適用される一実施形態として、イントラ予測モードを複数の候補群に分類する方法を示すものである。
次に、イントラ予測モードの復号化のために一つ以上の候補群に分類する場合について説明する。これは、前述したＭＰＭ候補群、Ｎｏｎ－ＭＰＭ候補群と同一又は類似の概念であることができる。そこで、本実施形態で言及していない部分は、以前の実施形態によって同一又は類似に誘導することができる。本実施形態の場合、様々な候補群の個数への拡張と候補群の構成方法について後述する。
現在ブロックのイントラ予測モードは、複数の候補群のうちのいずれか一つを選択的に用いて誘導できるが、このために（候補群の個数－１）以下の個数だけ選択フラグが使用できる。
例えば、３つの候補群（Ａ、Ｂ、Ｃ）に予測モードが分類される場合には、現在ブロックのイントラ予測モードがＡ候補群から誘導されるか否かを示すフラグ（第１フラグ）が使用できる。
このとき、第１フラグが第１値である場合には、Ａ候補群が使用され、第１フラグが第２値である場合には、現在ブロックのイントラ予測モードがＢ候補群から誘導されるか否かを示すフラグ（第２フラグ）が使用され得る。
このとき、第２フラグが第１値である場合には、Ｂ候補群が使用され、第２フラグが第２値である場合には、Ｃ候補群が使用され得る。上記の例では、３つの候補群が支援され、このために、第１フラグと第２フラグ、合計２つの選択フラグが使用できる。
前記候補群のうちのいずれか一つが選択されるとき、現在ブロックのイントラ予測モードは、候補群及び候補群インデックスに基づいて決定できる。候補群インデックスは、候補群に属する候補のうちのいずれか一つを特定する情報であることができる。候補群インデックスは、候補群に複数の候補が属する場合に限ってシグナリングできる。
上記の例を用いて、３つの候補群が支援されるときの選択フラグに関する構成を説明した。前記構成のように優先順位の高い候補群から現在ブロックの予測モードが誘導されるか否かを示すフラグが順次支援（例えば、第１フラグ→第２フラグの順序）できる。つまり、所定の候補群選択フラグが発生し、当該候補群が選定されなければ、その次の順位の候補群の選択フラグが発生する構成であることができる。
又は、前記選択フラグとは異なる意味を持つ構成であることができる（ＥＥ）。たとえば、現在ブロックのイントラ予測モードがＡ又はＢ候補群から誘導されるか否かを示すフラグ（第１フラグ）が使用できる。
このとき、第１フラグが第１値である場合には、Ｃ候補群が使用され、第１フラグが第２値である場合には、現在ブロックのイントラ予測モードがＡ候補群から誘導されるか否かを示すフラグ（第２フラグ）が使用され得る。
このとき、第２フラグが第１値である場合、Ａ候補群が使用され、第２フラグが第２値である場合には、Ｂ候補群が使用され得る。
Ａ、Ｂ、Ｃ候補群はそれぞれｍ、ｎ、ｐ個の候補を持つことができ、ｍは１、２、３、４、５、６又はそれ以上の整数であることができる。ｎは１、２、３、４、５、６又はそれ以上の整数であることができる。又は、ｎは１０～４０の間の整数であることができる。ｐは（予測モードの総数－ｍ－ｎ）個であり得る。ここで、ｍはｎと同じかそれより小さいことができ、ｎはｐと同じかそれより小さいことができる。
他の例として、４つの候補群（Ａ、Ｂ、Ｃ、Ｄ）に予測モードが分類される場合には、現在ブロックのイントラ予測モードがＡ、Ｂ、Ｃ候補群から誘導されるか否かを示すフラグ（第１フラグ、第２フラグ、第３フラグ）が使用できる。
このとき、第２フラグは、第１フラグが第２値である場合に発生することができ、第３フラグは、第２フラグが第２値である場合に発生することができる。すなわち、第１フラグが第１値である場合にはＡ候補群、第２フラグが第１値である場合にはＢ候補群がそれぞれ使用できる。そして、第３フラグが第１値である場合にはＣ候補群、第３フラグが第２値である場合にはＤ候補群がそれぞれ使用できる。本例は、３つの候補群構成の一部例示（ＥＥ）のように反対される構成も可能である。
又は、第２フラグは、第１フラグが第１値である場合に発生することができ、第３フラグは、第１フラグが第２値である場合に発生することができる。第２フラグが第１値である場合にはＡ候補群、第２フラグが第２値である場合にはＢ候補群がそれぞれ使用できる。第３フラグが第１値である場合にはＣ候補群、第３フラグが第２値である場合にはＤ候補群がそれぞれ使用できる。
Ａ、Ｂ、Ｃ、Ｄ候補群はそれぞれｍ、ｎ、ｐ、ｑ個の候補を持つことができ、ｍは１、２、３、４、５、６又はそれ以上の整数であることができる。ｎは１、２、３、４、５、６又はそれ以上の整数であることができる。又は、ｎは８～２４の間の整数であることができる。ｐは６、７、８、９、１０、１１、１２などの整数であることができる。又は、ｐは１０～３２の間の整数であることができる。ｑは（予測モードの総数－ｍ－ｎ－ｐ）であることができる。ここで、ｍはｎと同じかそれより小さいことができ、ｎはｐと同じかそれより小さいことができ、ｐはｑと同じかそれより小さいことができる。
次に、複数の候補群が支援されるとき、各候補群を構成する方法について説明する。複数の候補群を支援する理由は、効率的なイントラ予測モード復号化のための目的にある。つまり、現在ブロックのイントラ予測モードと同一であると予想される予測モードは、優先順位の高い候補群で構成し、そうでない予測モードは、優先順位の低い候補群で構成するのにその目的がある。
例えば、図１１において、それぞれｃａｔｅｇｏｒｙ２（ａ）、ｃａｔｅｇｏｒｙ３（ｂとｃ）、ｃａｔｅｇｏｒｙ４（ｄ）が優先順位の最も低い候補群である場合には、以前の優先順位の候補群のどこにも含まれていない予測モードで候補群が構成できる。本実施形態において、前記候補群は、以前の候補群に含まれていない残りの予測モードで構成されるので、後述する各候補群を構成する予測モード間の優先順位に無関係（つまり、優先順位を考慮せずに、以前の候補群に含まれていない残りのモードでのみ構成）な候補群であると仮定する。そして、候補群間の優先順位（重要度）は、図１１のように昇順（ｃａｔｅｇｏｒｙ１→ｃａｔｅｇｏｒｙ２→ｃａｔｅｇｏｒｙ３→ｃａｔｅｇｏｒｙ４）であると仮定し、後述する例における優先順位は、各候補群を構成するために予測モードの羅列に使用される用語であることを仮定する。
前述したＭＰＭ候補群のように、隣接ブロックの予測モード、デフォルトモード、所定の方向性モードなどで候補群を構成することができる。その中でも最も発生可能性の高い予測モードに少ないビット量を割り当てるための目的で候補群構成のための所定の優先順位を定めて候補群を構成することができる。
図１１の（ａ）を参照すると、第１候補群（Ｃａｔｅｇｏｒｙ１）のための優先順位が支援できる。前記優先順位に基づいて、第１候補群の個数に合わせて第１候補群の構成を完了すると、残りの予測モード（ｂ、ｊなど）は第２候補群（Ｃａｔｅｇｏｒ ２）で構成することができる。
図１１の（ｂ）を参照すると、第１候補群と第２候補群のための共通の優先順位が支援できる。前記優先順位に基づいて、第１候補群の個数に合わせて第１候補群の構成を完了する。第１候補群に最終的に含まれている予測モード（ｅ）以後の優先順位（ｃ以後）に基づいて、第２候補群の個数に合わせて第２候補群の構成を完了する。そして、残りの予測モード（ｂ、ｊなど）は、第３候補群（Ｃａｔｅｇｏｒｙ３）で構成することができる。
図１１の（ｃ）を参照すると、第１候補群と第２候補群のための個々の優先順位（第１優先順位、第２優先順位）が支援できる。第１優先順位に基づいて、第１候補群の個数に合わせて第１候補群の構成を完了する。そして、第２優先順位に基づいて、第２候補群の個数に合わせて第２候補群の構成を完了する。そして、残りの予測モード（ｂ、ｗ、ｘなど）は第３候補群で構成することができる。
ここで、第２優先順位は、従来の優先順位（第１優先順位）のように隣接ブロックの予測モード＜１＞、デフォルトモード＜２＞、所定の方向性モード＜３＞などに基づいて設定できる。ただし、第１優先順位とは異なる重要度に基づいて、優先順位が設定（例えば、第１優先順位が１－２－３の順で構成されたならば、第２優先順位は３－２－１の順で構成など）されることもできる。また、第２優先順位は、以前の候補群に含まれているモードが何であるかに応じて可変的に構成でき、現在ブロックの隣接ブロックのモードにも影響を受けることができる。第２優先順位は、第１優先順位とは異なるように構成されることが基本原則であり得るが、第１候補群の構成に応じて第２優先順位の構成が部分的な影響を受けることができることを理解することができる。本段落において、第１優先順位（以前順位）と第１候補群（以前候補群）、そして第２優先順位（現在順位）と第２候補群（現在候補群）は、数字のように固定的な順位に限って説明されるものではないことをやはり理解しなければならない。
図１１の（ｄ）を参照すると、第１候補群と第２候補群のための共通の優先順位（第１優先順位）が支援され、第３候補群のための個々の優先順位（第２優先順位）が支援され得る。第１優先順位に基づいて、第１候補群の個数に合わせて第１候補群の構成を完了する。第１候補群に最終的に含まれた予測モード（ｄ）以後の優先順位（ｅ以後）に基づいて、第２候補群の個数に合わせて第２候補群の構成を完了する。そして、第２優先順位に基づいて、第３候補群の個数に合わせて第３候補群の構成を完了する。そして、残りの予測モード（ｕ、ｆなど）は、第４候補群で構成することができる。
本発明の一実施形態によれば、現在ブロックのイントラ予測モードは、予測モードを１つ又はそれ以上の候補群で構成することができ、これに基づいて予測モード復号化を行うことができる。このとき、候補群の構成のために使用される優先順位が一つ又はそれ以上支援できる。前記優先順位は、一つ又はそれ以上の候補群の構成過程に使用できる。
上記の例では、二つ以上の優先順位が支援される場合、以前の候補群（第１候補群）に使用された優先順位（第１優先順位）とは別個の優先順位（第２優先順位）を、他の候補群（第２候補群）に使用する場合について説明した。これは、一つの候補群内のすべての候補が一つの優先順位に基づいて構成される場合に該当することができる。
また、第１候補群に使用された第１優先順位は、第２候補群の一部の候補構成に使用することができる。すなわち、第２候補群の一部の候補（ｃａｎｄ＿Ａ）は、第１優先順位（第１候補群に含まれていないモードから開始）に基づいて決定され、第２候補群の一部の候補（又は残りの候補。ｃａｎｄ＿Ｂ）は、第２優先順位に基づいて決定され得る。このとき、ｃａｎｄ＿Ａは、０、１、２、３、４、５又はそれ以上の整数であることができる。すなわち、第１候補群を構成するときに未だ含まれていない予測モードは、第２候補群に含ませる構成であることができる。
例えば、３つの候補群が支援され、第１候補群は２つの候補で構成され、第１優先順位は隣接するブロック（例えば、左、上）の予測モード、所定の方向性モード（例えば、Ｖｅｒ、Ｈｏｒなど）、所定の非方向性モード（例えば、ＤＣ、Ｐｌａｎａｒなど）で定められることができる（例えば、Ｐｍｏｄｅ＿Ｌ－Ｐｍｏｄｅ＿Ｕ－ＤＣ－Ｐｌａｎａｒ－Ｖｅｒ－Ｈｏｒなど）。第１優先順位に基づいて、第１候補群の個数に合わせて候補群の構成を完了する（例えば、Ｐｍｏｄｅ＿Ｌ、Ｐｍｏｄｅ＿Ｕ）。
このとき、第２候補群は、６つの候補で構成され、第２優先順位は、隣接するブロックの予測モードに所定の間隔（１、２、３、４又はそれ以上の整数）を有する方向性モード、一定の傾き（ｄｙ／ｄｘ１：１、１：２、２：１、４：１、１：４など）の方向性モードで定められることができる（例えば、Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ－Ｄｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔ－Ｄｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ－＜Ｐｍｏｄｅ＿Ｌ＋２＞、＜Ｐｍｏｄｅ＿Ｕ＋２＞など）。
前記第２候補群は、第２優先順位に基づいて、第２候補群の個数に合わせて候補群を構成することができる。又は、前記第２候補群の２つの候補は、第１優先順位に基づいて構成（ＤＣ、Ｐｌａｎａｒ）することができ、残りの４つの候補は、第２優先順位に基づいて構成（ＤＤＬ、ＤＤＲ、ＤＵＲ）することができる。
説明の便宜のために、第１候補群、第２候補群、第１優先順位のように以前の説明と同じ用語を使用するが、複数の候補群の中で候補群間の優先順位が１番目と２番目に固定されたものではないことに留意すべきである。
まとめると、予測モード復号化のために複数の候補群に分類され、一つ以上の優先順位が支援されるとき、所定の候補群は、１つ又はそれ以上の優先順位に基づいて構成できる。
図１２は本発明が適用される一実施形態として、現在ブロックとそれに隣接する画素を示す例示図である。
図１２を参照すると、現在ブロックに属する画素ａ～ｐとそれに隣接する画素を示している。詳細には、現在ブロックに隣接する、参照可能な画素Ｒｅｆ＿Ｔ、Ｒｅｆ＿Ｌ、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿ＴＲ、Ｒｅｆ＿ＢＬ、及び、現在ブロックに隣接する、参照不可能な画素Ｂ０～Ｂ３、Ｒ０～Ｒ３、ＢＲを示す。これは、一部の符号化順序、スキャン順序などが固定的な状況（現在ブロックの左、上、左上、右上、左下のブロックは参照可能）であることを仮定して示す図であり、前記符号化設定の変化に応じて、異なる構成に変形可能であることを理解すべきである。
図１３は本発明が適用される一実施形態として、イントラ予測をステップ別に行う方法を示すものである。
現在ブロックは、左、右、上、下方向の中に位置した画素を用いてイントラ予測を行うことができる。この時、図１２に示すように、参照可能な画素だけでなく、参照不可能な画素が存在することができる。参照可能な画素だけでなく、参照不可能な画素位置も、画素値をよく推定してこれを活用することにより、符号化効率を向上させることができる。
図１３を参照すると、任意の画素値を取得することができる（ＳＢ００）。
ここで、任意の画素は、現在ブロックを中心に参照不可能な画素又は現在ブロックの内部画素がその対象となることができる。次に、図面を用いて、任意の画素位置について説明する。
図１４は本発明が適用される一実施形態として、イントラ予測のための任意の画素に対する例示図である。
図１４を参照すると、現在ブロックの外部に位置し、参照不可能な画素ｃだけでなく、現在ブロックの内部に位置する画素ａ、ｂも、前記任意の画素対象となることができる。以下は、現在ブロックの大きさがＷｉｄｔｈ×Ｈｅｉｇｈｔであり、左上側の座標が（０、０）であることを仮定する。
図１４のａ、ｂは（０、０）～（Ｗｉｄｔｈ－１、Ｈｅｉｇｈｔ－１）に位置することができる。
一例として、現在ブロックの境界ライン（左、右、上、下）に位置することができる。たとえば、現在ブロックの右側列である（Ｗｉｄｔｈ－１、０）～（Ｗｉｄｔｈ－１、Ｈｅｉｇｈｔ－１）又は現在ブロックの下端行である（０、Ｈｅｉｇｈｔ－１）～（Ｗｉｄｔｈ－１、Ｈｅｉｇｈｔ－１）に位置することができる。
一例として、現在ブロックの奇数又は偶数の列と行に位置することができる。たとえば、現在ブロックの偶数列に位置することができるか、或いは現在ブロックの奇数列に位置することができる。又は、現在ブロックの偶数行と奇数列に位置することができるか、或いは現在ブロックの奇数行と奇数列に位置することができる。ここで、前記奇数や偶数の他に、ｋの倍数又は指数乗２ｋに該当する列又は行に位置することもでき、ｋは１、２、３、４、５又はそれ以上の整数であることができる。
図１４のｃは参照可能な画素と現在ブロックを外れた箇所に位置することができる。
一例として、現在ブロックの境界ライン（本例では右、下）に位置することができる。たとえば、現在ブロックの右側境界である（Ｗｉｄｔｈ、０）～（Ｗｉｄｔｈ、Ｈｅｉｇｈｔ）又は現在ブロックの下端境界である（０、Ｈｅｉｇｈｔ）～（Ｗｉｄｔｈ、Ｈｅｉｇｈｔ）に位置することができる。
一例として、現在ブロックの奇数又は偶数の列と行に位置することができる。たとえば、現在ブロックの右側境界越えの偶数行に位置することができるか、或いは現在ブロックの下端境界越えの奇数列に位置することができる。ここで、前記奇数や偶数の他に、ｋの倍数又は指数乗２ｋに該当する列又は行に位置することもでき、ｋは１、２、３、４、５又はそれ以上の整数であることができる。
現在ブロックのイントラ予測のために使用／参照される任意の画素は、ｍ個であることができ、ｍは１、２、３、４又はそれ以上であることができる。又は、任意の画素の個数は、現在ブロックの大きさ（幅又は高さ）に基づいて設定されることもできる。たとえば、Ｗｉｄｔｈ／ｗ＿ｆａｃｔｏｒ個、Ｈｅｉｇｈｔ／ｈ＿ｆａｃｔｏｒ個、又は（Ｗｉｄｔｈ＊Ｈｅｉｇｈｔ）／ｗｈ＿ｆａｃｔｏｒ個の任意の画素がイントラ予測のために使用できる。ここで、ｗ＿ｆａｃｔｏｒ、ｈ＿ｆａｃｔｏｒは、それぞれブロックの幅と高さに基づいて、分割値として使用される、既に決定された値であることができ、１、２、４、８などの整数であることができる。ここで、ｗｈ＿ｆａｃｔｏｒは、ブロックの大きさに基づいて分割値として使用される、既に決定された値であることができ、２、４、８、１６などの整数であることができる。
また、任意の画素の個数は、画像タイプ、成分タイプ、ブロックの属性、イントラ予測モードなどの全部又は一部の符号化要素に基づいて定められることもできる。
前記過程によって取得された任意の画素は、当該画素値を参照可能な領域から取得することができる。例えば、任意の画素を基準に水平又は垂直方向に位置する、参照可能な画素に基づいて、画素値を取得することができる。
このとき、（＜１＞水平方向／＜２＞垂直方向）に位置する一つ又はそれ以上の画素（ｋ個。ｋは１、２、３、４、５、６などの整数）からコピー又は重み平均などを介して取得された値を、任意の画素の画素値として取得することができる。前記（＜１＞水平方向／＜２＞垂直方向）は、任意の画素の座標のうち、（＜１＞ｙ成分／＜２＞ｘ成分）が同一又は類似である、参照可能な画素が画素値の取得に使用／参照されることもできるが、広い意味で現在ブロックの（＜１＞左側方向／＜２＞上端方向）に位置した、参照可能な画素が任意の画素の画素値の取得に使用できる形態への拡張も可能である。
前記水平又は垂直方向のうち、いずれか一つの方向に基づいて画素値が取得できるか、或いは両方に基づいて画素値が取得できる。このとき、様々な符号化要素（画像タイプ、ブロックの属性などのように、前述した例で説明する）に基づいて画素値取得設定が定められることができる。
たとえば、現在ブロックは、幅が高さよりもさらに大きい長方形の形状である場合には、垂直方向に位置する、参照可能な画素に基づいて、任意の画素の画素値を取得することができる。又は、垂直方向と水平方向に位置する、参照可能な画素に基づいて、それぞれの１次画素値を取得した場合には、水平方向で取得された１次画素値よりも垂直方向で取得された１次画素値に重みをさらに適用して２次画素値（すなわち、任意の画素の画素値）を取得することができる。
又は、現在ブロックは、高さが幅よりもさらに大きい長方形の形状である場合には、水平方向に位置する、参照可能な画素に基づいて、任意の画素の画素値を取得することができる。又は、垂直方向と水平方向に位置する、参照可能な画素に基づいて、それぞれの１次画素値を取得した場合には、垂直方向で取得された１次画素値よりも水平方向で取得された１次画素値に重みをさらに適用して２次画素値（つまり、任意の画素の画素値）を取得することができる。もちろん、上記の例に限定されず、反対される構成も可能である。
また、所定の候補リストを構成し、その中の少なくとも一つを選択して任意の画素の画素値を取得することができ、ＣＴＵ、符号化ブロック、予測ブロック、変換ブロックなどの単位のいずれか一つでシグナリングされることができる。この時、前記候補リストは、既に決定された値で構成されることができるか、或いは前述した現在ブロックに隣接する参照可能な画素に基づいて構成されることもできる。このとき、候補リストの個数は、２、３、４、５又はそれ以上の整数であることができる。又は、１０～２０の間の整数又は２０～４０の間の整数又は１０～４０の間の整数であることができる。
ここで、前記候補リストは、画素値が候補として構成できるか、或いは画素値を誘導する数式、特徴値などが候補として構成できる。後者の場合は、任意の画素の位置（ｘ又はｙ座標）と画素値を求める数式又は特徴値に基づいて、様々な画素値が任意の画素単位で誘導されることもできる。
上記の説明のように一つ以上の任意の画素が取得され、それに基づいてイントラ予測が行われることができる。以下は、説明の便宜のために、任意の画素が一つである場合を仮定する。しかし、後述する例が、任意の画素が２つ以上取得される場合でも同一又は類似に拡張適用できることは明らかである。
図１３を参照すると、任意の画素に基づいて複数のサブ領域に区画することができる（ＳＢ１０）。
ここで、サブ領域は、任意の画素を基準に水平又は垂直ラインに基づいて区画でき、サブ領域の個数は２、３、４又はそれ以上の整数であることができる。次の図面を用いて、サブ領域の構成について説明する。
図１５は本発明が適用される一実施形態として、任意の画素に基づいて複数のサブ領域に区画される例示図である。
図１５を参照すると、任意の画素ｄの垂直又は水平ラインである所定のサブ領域ｂ、ｃが取得でき、垂直ラインと水平ラインに基づいて所定のサブ領域ａが取得できる。
このとき、任意の画素と、垂直方向に参照可能な画素Ｔとの間にサブ領域ｂが取得でき、任意の画素と、水平方向に参照可能な画素Ｌとの間にサブ領域ｃが取得できる。このとき、サブ領域ｂとｃは、常に固定的に生じる領域ではなく、現在ブロックの任意の画素関連設定（例えば、ｂ又はｃも任意の画素である場合など）に基づいて二つのうちの一つだけ発生した場合も可能である。もしサブ領域ｂとｃのうちの一つだけ発生する場合には、サブ領域ａは発生しない構成であってもよい。
図１５に示すように、Ｔ又はＬは現在ブロックの隣接する参照可能な画素を意味することができる。又は、Ｔ又はＬは、任意の画素ｄの垂直又は水平方向に位置したｄとは異なる任意の画素ｅ、ｆを意味することもできる。これは、任意の画素ｄも他の任意の画素のＴ又はＬである可能性もあるという意味である。
上記の例のように、現在ブロック内の任意の画素の個数や配置などに基づいて、サブ領域の大きさが定められることができる。
例えば、任意の画素が２つ以上存在し、１マスの間隔で位置する場合には、サブ領域ａ、ｂ、ｃはそれぞれ１×１の大きさを持つことができる。又は、任意の画素が１つ存在し、図１４のｃに位置する場合には、サブ領域ａ、ｂ、ｃはそれぞれ（Ｗｉｄｔｈ×Ｈｅｉｇｈｔ）、（１×Ｈｅｉｇｈｔ）、（Ｗｉｄｔｈ×１）の大きさを持つことができる。
図１３を参照すると、所定の順序に従って画面内予測（イントラ予測）を行うことができる（ＳＢ２０）。
ここで、任意の画素の位置に応じて、一部のサブ領域は、イントラ予測のための予測値として使用できるか、或いはイントラ予測のための一時的参照値として使用できる。
例えば、任意の画素（又はサブ領域ｄ）が図１４のｃに位置する場合には、サブ領域ｂとｃが現在ブロックの外部に位置し、サブ領域ａのみがイントラ予測の対象となることができる。又は、任意の画素が図１４のｃの上側に位置する場合には、サブ領域ｂは現在ブロックの外部に位置し、サブ領域ａとｃはイントラ予測の対象となることができる。又は、任意の画素が図１４のｃの左側に位置する場合には、サブ領域ｃは現在ブロックの外部に位置し、サブ領域ａとｂはイントラ予測の対象となることができる。又は、任意の画素が現在ブロックの内部に位置する場合には、サブ領域ａ、ｂ、ｃはイントラ予測の対象となることができる。
上記の例のように、任意の画素の位置に応じて、イントラ予測の対象となるか或いは一時的参照値として使用できる。
以下、任意の画素が現在ブロックの内部に位置する場合を仮定して説明するが、前記位置への変更が起こっても、後述する例が同一又は類似に適用されて理解できる。
任意の画素位置及び画素値は前のステップで取得したので、サブ領域ａ、ｂ、ｃの中で所定の優先順位に従って各サブ領域取得過程を経ることができる。たとえば、ｂ→ｃ又はｃ→ｂの順で各サブ領域の画素値を取得し、サブ領域ａの画素値を取得することができる。
サブ領域ｂの場合は、任意の画素ｄ又はＴに基づいて画素値を取得することができる。サブ領域ｃの場合は、任意の画素ｄ又はＬに基づいて画素値を取得することができる。
図示されてはいないが、左上側の画素をＴＬ（つまり、Ｔの水平ラインとＬの垂直ラインとの交差点）と仮定しよう。ＴＬとＴが現在ブロックの上端に位置する場合、ＴＬとＴとの間の画素は参照可能である。また、ＴＬとＬが現在ブロックの左側に位置する場合、ＴＬとＬとの間の画素は参照可能である。前記参照可能な画素は、現在ブロックの隣接ブロックに属するからである。
これに対し、ＴＬ又はＴの中の一つでも現在ブロックの内部に位置する場合、ＴＬとＴとの間の画素は参照可能である。また、ＴＬ又はＬの中の一つでも現在ブロックの内部に位置する場合、ＴＬとＬとの間の画素は参照可能である。前記参照可能な画素は、他の任意の画素に基づいて取得されたサブ領域である可能性があるからである。
そのため、サブ領域ａの場合は、サブ領域ｂ、ｃ、そしてＴＬとＴとの間の参照可能な領域及びＴＬとＬとの間の参照可能な領域に基づいて画素値を取得することができる。もちろん、ＴＬ、Ｔ、Ｌ、ｄが前記サブ領域ａの画素値の取得に使用されることも可能である。ここで、任意の画素も参照可能であることを意味する。
前記過程を介して任意の画素に基づいて現在ブロックのイントラ予測を行うことができる。
任意の画素に基づいてイントラ予測を行うことは、イントラ予測モードのうちの一つのモードとして構成できるか、或いは従来のモードを代替する構成として含まれることができる。
又は、予測方法のうちの一つの候補として区分し、そのための選択情報が発生することもできる。例えば、方向性モード又は非方向性モードに基づいてイントラ予測を行う方法の追加予測方法として考慮できる。前記選択情報は、ＣＴＵ、符号化ブロック、予測ブロック、変換ブロックなどでシグナリングできる。
以下、前記任意の画素位置が図１４のｃである場合を仮定して説明する。ただし、これに限定されず、別の位置に配置される場合にも、後述する内容が同一又は類似に適用できる。次に、図１２を参照して説明する。
現在ブロック、及び現在ブロックの右、下ブロックは、符号化されていないが、参照可能な領域のデータに基づいて推定することができる。
たとえば、現在ブロックの右側と下側境界に隣接する領域であるＲｅｆ＿ＴＲ、Ｒｅｆ＿ＢＬなどでデータをそのままコピーするか或いは誘導し、これを現在ブロックの右側又は下側境界に埋めることができる。一例として、右側境界はＴ３、ＴＲ０、ＴＲ１などの画素のうちの一つをそのままコピーして埋めるか、或いはＴ３、ＴＲＯ、ＴＲ１などにフィルタリングを適用して取得されたた値を埋めることができる。
又は、現在ブロックの隣接する領域であるＲｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿Ｌ、Ｒｅｆ＿ＴＲ、Ｒｅｆ＿ＢＬなどでデータをそのままコピーするか或いは誘導し、これを現在ブロックの右下側境界に埋めることができる。一例として、前記隣接する領域で１つ又はそれ以上の画素に基づいて取得された値を、現在ブロックの右下側境界に埋めることができる。
ここで、現在ブロックの右側境界は（ｄ～ｐ）又は（Ｒ０～Ｒ３）であることができる。現在ブロックの下側境界は（ｍ～ｐ）又は（Ｂ０～Ｂ３）であることができる。現在ブロックの右下側境界は、ｐ、ＢＲ、Ｒ３、Ｂ３のうちの一つであることができる。
次の例では、右側境界をＲ０～Ｒ３、下側境界をＢ０～Ｂ３、右下側境界をＢＲと仮定する。
（右側境界と下側境界処理）
たとえば、右側境界は、垂直方向に隣接するＴ３、ＴＲ０、ＴＲ１のうちのいずれか一つをコピーして埋め、下側境界は、水平方向に隣接するＬ３、ＢＬ０、ＢＬ１のうちのいずれか一つをコピーして埋めることができる。
又は、右側境界は、垂直方向に隣接するＴ３、ＴＲ０、ＴＲ１に対して重み平均を取った値で埋め、下側境界は、水平方向に隣接するＬ３、ＢＬ０、ＢＬ１に対して重み平均を取った値で埋めることができる。
前記右側境界と前記下側境界の値を取得した後、これに基づいて現在ブロックのイントラ予測を行うことができる。
（右下側境界処理）
例えば、右下側境界はＴ３、ＴＲ０、ＴＲ１、Ｌ３、ＢＬ０、ＢＬ１のうちのいずれか一つをコピーして埋めることができる。又は、Ｔ３、ＴＲ０、ＴＲ１のうちのいずれか一つとＬ３、ＢＬ０、ＢＬ１のうちのいずれか一つを重み平均した値で埋めることができる。又は、Ｔ３、ＴＲ０、ＴＲ１に対して重み平均を取った値と、Ｌ３、ＢＬ０、ＢＬ１に対して重み平均を取った値のうちのいずれか一つを埋めることができる。又は、Ｔ３、ＴＲ０、ＴＲ１に対して１次重み平均を取った値と、Ｌ３、ＢＬ０、ＢＬ１に対して１次重み平均を取った値とを２次重み平均した値で埋めることができる。
前記右下側境界の値を取得した後、これに基づいて右側境界又は下側境界の値を取得することができ、右側境界又は下側境界に基づいて現在ブロックのイントラ予測を行うことができる。
次に、右下側境界処理について説明する。
ＴＬ、ＴＲ０、ＢＬ０、ＢＲの位置を考慮する構成を仮定する。ここで、ＢＲは、右下側境界の画素を意味し、ＴＲ０はＢＲの垂直方向に位置する参照可能な画素、ＢＬ０はＢＲの水平方向に位置する参照可能な画素、ＴＬは現在ブロックの左上側境界又はＴＲ０の水平方向とＢＬ０の垂直方向との交差点に位置する参照可能な画素であることができる。
前記画素位置に基づいて、現在ブロックの方向性、特徴情報（例えば、エッジなど）を推定することができる。
一例＜１＞として、ＴＬからＢＲへと対角線方向に移動するとき、画素値が徐々に増加又は減少することができる。このとき、ＴＬはＴＲ０とＢＬ０よりも大きいか同じであれば、ＢＲはＴＲ０とＢＬ０よりも小さいか同じであることができる。又は、反対の構成であってもよい。
一例＜２＞として、ＢＬ０からＴＲ０へと対角線方向に移動するとき、画素値が徐々に増加又は減少することができる。このとき、ＢＬ０はＴＬとＢＲよりも大きいか同じであれば、ＴＲ０はＴＬとＢＲよりも小さいか同じであることができる。又は、反対の構成であってもよい。
一例＜３＞として、左（ＴＬ、ＢＬ０）から右（ＴＲ０、ＢＲ）へと水平方向に移動するとき、画素値が徐々に増加又は減少することができる。このとき、ＴＬはＴＲ０よりも大きいか同じであれば、ＢＬ０はＢＲよりも大きいか同じであることができる。又は、反対の構成であってもよい。
一例＜４＞として、上端（ＴＬ、ＴＲ０）から下端（ＢＬ０、ＢＲ）へと垂直方向に移動するとき、画素値が徐々に増加又は減少することができる。このとき、ＴＬはＢＬ０よりも大きいか同じであれば、ＴＲ０はＢＲよりも大きいか同じであることができる。又は、反対の構成であってもよい。
上記の例のような画像特徴が現在ブロックに存在すれば、これを用いて右下側境界を予想することができる。このとき、推定対象画素の垂直又は水平方向に位置する画素と、各画素の垂直又は水平方向の交差点である画素などが要求でき、これらの画素値の比較などに基づいて推定対象画素を予測することができる。
＜１＞例示：ＴＬ＜＝ＴＲ０、ＴＬ＜＝ＢＬ０の条件であるときは、ＴＬからＢＲ側に増加する傾向であることを推定し、画素間の差分値に基づいてＢＲ値を誘導（予測）することができる。
例えば、ＴＲ０に（ＢＬ０－ＴＬ）値を加えてＢＲ画素値を誘導するか、或いはＢＬ０に（ＴＲ０－ＴＬ）値を加えてＢＲ画素値を誘導するか、或いは前の二つを平均又は重み平均してＢＲ画素値を誘導することができる。
＜２＞例示：ＴＬ＞＝ＢＬ０、ＴＬ＜＝ＴＲ０の条件であるときは、ＢＬ０からＴＲ０側に増加する傾向であることを推定し、画素間の差分値に基づいてＢＲ値を誘導することができる。
例えば、ＴＲ０から（ＴＬ－ＢＬ０）値を差し引いてＢＲ画素値を誘導するか、或いはＢＬ０に（ＴＲ０－ＴＬ）値を加えてＢＲ画素値を誘導するか、或いは前の二つを平均又は重み平均してＢＲ画素値を誘導する。
上記の例は、現在ブロックを中心に隣接する所定の画素に基づいてブロックの特性を推定し、任意の画素（ＢＲ）を予測する場合について説明している。一方、制限的な画素によりブロックの特徴を正確に把握するのは困難なことがある。一例として、前記ＢＲを誘導するために参照される画素の一部にインパルス成分が存在する場合、正確な特徴の把握が困難なことがある。
このため、現在ブロックの上端領域と左側領域の特性情報（例えば、分散、標準偏差など）を算出することができる。一例として、ＴＬとＴＲ０との間の画素の特性情報、又はＴＬとＢＬ０との間の画素の特性情報がブロックの増加又は減少などをよく反映すると判断されると、前記ＴＬ、ＴＲ０、ＢＬ０などの現在ブロックの所定の画素に基づいてＢＲのような任意の画素の値を誘導する方法を使用することができる。
本開示の様々な実施形態は、すべての可能な組み合わせを羅列したのではなく、本開示の代表的な様相を説明するためのものであり、様々な実施形態で説明する事項は、独立して適用されてもよく、二つ以上の組み合わせで適用されてもよい。
また、本開示の様々な実施形態は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、一つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
本開示の範囲は、様々な実施形態の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能な命令（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又は命令などが格納されて装置又はコンピュータ上で実行可能な非一時的コンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。
本発明は、ビデオ信号を符号化／復号化するために利用可能である。

Claims (4)

  1. 復号化装置がイントラ予測に基づいて画像を復号化する方法であって、
    前記画像内の現在ブロックのイントラ予測のための参照画素ラインを決定するステップと、
    前記現在ブロックのイントラ予測モードを決定するステップと、
    前記参照画素ラインおよび前記イントラ予測モードに基づいて、前記現在ブロックを予測するステップと、を含み、
    前記現在ブロックは、輝度ブロックおよび色差ブロックを含み、前記現在ブロックの前記イントラ予測モードは、前記輝度ブロックおよび前記色差ブロックのそれぞれを決定し、
    前記色差ブロックの前記イントラ予測モードを決定するステップが、
    符号化装置からシグナリングされた第１フラグに基づいて、第１モードグループおよび第２モードグループのうちの１つを選択するステップであって、前記第１モードグループは、成分間参照基盤の予測モードのみを含み、前記第２モードグループは、前記復号化装置で既に定義された６７個のイントラ予測モードを含み、前記６７個のイントラ予測モードは、２個の非方向性モードと６５個の方向性モードとで構成され、前記第１フラグが、前記色差ブロックの前記イントラ予測モードが前記第１モードグループに属するかまたは前記第２モードグループに属するかを特定するステップと、
    前記選択された１つから前記色差ブロックの前記イントラ予測モードを誘導するステップと、
    を含む、画像復号化方法。
  2. 前記輝度ブロックの参照画素ラインは、前記符号化装置からシグナリングされたインデックス情報と、複数の参照画素ライン候補とに基づいて決定され、
    前記インデックス情報は、前記複数の参照画素ライン候補のうちの１つを特定し、
    前記複数の参照画素ライン候補は、前記輝度ブロックに隣接する第１画素ライン、前記第１画素ラインに隣接する第２画素ライン、または前記第２画素ラインに隣接する第３画素ラインのうちの少なくとも１つを含む、請求項１に記載の画像復号化方法。
  3. 符号化装置がイントラ予測に基づいて画像を符号化する方法であって、
    前記画像内の現在ブロックのイントラ予測のための参照画素ラインを決定するステップと、
    前記現在ブロックのイントラ予測モードを決定するステップと、
    前記現在ブロックの原本ブロックおよび前記現在ブロックの予測ブロックに基づいて、前記現在ブロックの残差ブロックを取得するステップであって、前記予測ブロックが、前記参照画素ラインおよび前記イントラ予測モードに基づいて取得されるステップと、
    前記残差ブロックを符号化して、符号化された画像のビットストリームを生成するステップと、を含み、
    前記現在ブロックは、輝度ブロックおよび色差ブロックを含み、前記現在ブロックの前記イントラ予測モードは、前記輝度ブロックおよび前記色差ブロックのそれぞれを決定し、
    前記色差ブロックの前記イントラ予測モードは、第１モードグループおよび第２モードグループのうちの１つに属し、前記第１モードグループは、成分間参照基盤の予測モードのみを含み、前記第２モードグループは、前記符号化装置で既に定義された６７個のイントラ予測モードを含み、前記６７個のイントラ予測モードは、２個の非方向性モードと６５個の方向性モードとで構成され、
    前記色差ブロックの前記イントラ予測モードが前記第１モードグループに属するかまたは前記第２モードグループに属するかを特定するフラグが、符号化されて前記ビットストリームに含まれる、画像符号化方法。
  4. ビットストリームを送信するビットストリーム送信方法であって、
    画像符号化方法に基づいて画像を符号化することによって、前記ビットストリームを生成するステップと、
    前記ビットストリームを送信するステップと、を含み、
    前記画像符号化方法は、
    前記画像内の現在ブロックのイントラ予測のための参照画素ラインを決定するステップと、
    前記現在ブロックのイントラ予測モードを決定するステップと、
    前記現在ブロックの原本ブロックおよび前記現在ブロックの予測ブロックに基づいて、前記現在ブロックの残差ブロックを取得するステップであって、前記予測ブロックが、前記参照画素ラインおよび前記イントラ予測モードに基づいて取得されるステップと、
    前記残差ブロックを符号化して、符号化された画像の前記ビットストリームを生成するステップと、を含み、
    前記現在ブロックは、輝度ブロックおよび色差ブロックを含み、前記現在ブロックの前記イントラ予測モードは、前記輝度ブロックおよび前記色差ブロックのそれぞれを決定し、
    前記色差ブロックの前記イントラ予測モードは、第１モードグループおよび第２モードグループのうちの１つに属し、前記第１モードグループは、成分間参照基盤の予測モードのみを含み、前記第２モードグループは、符号化装置で既に定義された６７個のイントラ予測モードを含み、前記６７個のイントラ予測モードは、２個の非方向性モードと６５個の方向性モードとで構成され、
    前記色差ブロックの前記イントラ予測モードが前記第１モードグループに属するかまたは前記第２モードグループに属するかを特定するフラグが、符号化されて前記ビットストリームに含まれる、ビットストリーム送信方法。
JP2021533307A 2018-12-28 2019-12-30 イントラ予測基盤の画像符号化／復号化方法及び装置 Active JP7467467B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2018-0173164 2018-12-28
KR20180173164 2018-12-28
KR20180173228 2018-12-29
KR10-2018-0173228 2018-12-29
PCT/KR2019/018740 WO2020139060A1 (ko) 2018-12-28 2019-12-30 인트라 예측 기반의 영상 부호화/복호화 방법 및 장치

Publications (3)

Publication Number Publication Date
JP2022515992A JP2022515992A (ja) 2022-02-24
JPWO2020139060A5 JPWO2020139060A5 (ja) 2023-01-11
JP7467467B2 true JP7467467B2 (ja) 2024-04-15

Family

ID=71127350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533307A Active JP7467467B2 (ja) 2018-12-28 2019-12-30 イントラ予測基盤の画像符号化／復号化方法及び装置

Country Status (15)

Country Link
US (4) US10951886B2 (ja)
EP (1) EP3905677A4 (ja)
JP (1) JP7467467B2 (ja)
KR (1) KR20200083356A (ja)
CN (1) CN113261282A (ja)
AU (1) AU2019416633A1 (ja)
BR (1) BR112021012650A2 (ja)
CA (1) CA3125318A1 (ja)
CL (6) CL2021001711A1 (ja)
CO (1) CO2021008542A2 (ja)
MX (2) MX2021007764A (ja)
PE (1) PE20212021A1 (ja)
SG (1) SG11202106789YA (ja)
WO (1) WO2020139060A1 (ja)
ZA (2) ZA202104512B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
IL279503B1 (en) * 2018-06-25 2024-05-01 Guangdong Oppo Mobile Telecommunications Corp Ltd Interior-frame and device prediction method
KR20200028860A (ko) 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
MX2021007764A (es) * 2018-12-28 2021-08-05 B1 Institute Image Technology Inc Metodo y dispositivo de codificacion/decodificacion de video a base de intra prediccion.
MX2021008347A (es) * 2019-01-09 2021-10-13 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.
MX2021011032A (es) * 2019-03-11 2021-12-15 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
WO2021045147A1 (ja) * 2019-09-06 2021-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
KR20210034536A (ko) * 2019-09-20 2021-03-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11477450B2 (en) * 2019-12-20 2022-10-18 Zte (Uk) Limited Indication of video slice height in video subpictures
US11917136B2 (en) * 2021-07-15 2024-02-27 Tencent America LLC Intra mode coding
CN115988206B (zh) * 2023-03-21 2024-03-26 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY169636A (en) 2011-06-27 2019-04-24 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
KR101846250B1 (ko) * 2011-12-14 2018-04-06 주식회사 스카이미디어테크 적중률이 높은 ｍｐｍ을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
SG10201900582XA (en) * 2015-03-02 2019-02-27 Hfi Innovation Inc Method and apparatus for intrabc mode with fractional-pel block vector resolution in video coding
WO2016182317A1 (ko) * 2015-05-12 2016-11-17 삼성전자 주식회사 인트라 예측을 수행하는 영상 복호화 방법 및 그 장치 및 인트라 예측을 수행하는 영상 부호화 방법 및 그 장치
US10587873B2 (en) * 2015-10-13 2020-03-10 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal
CN117499650A (zh) * 2016-04-29 2024-02-02 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
CN114584765A (zh) 2016-04-29 2022-06-03 英迪股份有限公司 解码和编码视频的方法以及传送比特流的方法
US20170374369A1 (en) * 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation
JP6792996B2 (ja) * 2016-10-12 2020-12-02 日本放送協会 符号化装置、復号装置及びプログラム
WO2018116925A1 (ja) * 2016-12-21 2018-06-28 シャープ株式会社 イントラ予測画像生成装置、画像復号装置、および画像符号化装置
CN117640963A (zh) * 2018-02-23 2024-03-01 英迪股份有限公司 对图像进行解码或编码的方法和传输图像的数据的方法
US10448026B1 (en) * 2018-07-09 2019-10-15 Tencent America LLC Method and apparatus for block vector signaling and derivation in intra picture block compensation
US10798376B2 (en) * 2018-07-17 2020-10-06 Tencent America LLC Method and apparatus for video coding
KR20200028860A (ko) * 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
US11659163B2 (en) * 2018-12-17 2023-05-23 Industry Academy Cooperation Foundation Of Sejong University Video encoding/decoding method and device
MX2021007764A (es) * 2018-12-28 2021-08-05 B1 Institute Image Technology Inc Metodo y dispositivo de codificacion/decodificacion de video a base de intra prediccion.

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, Jianle Chen, and Shan Liu，Versatile Video Coding (Draft 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L1001 (version 11)，12th Meeting: Macao, CN，2018年12月20日，pp.34-36,70-75
Benjamin Bross, Jianle Chen, Shan Liu, and Ye-Kui Wang，Versatile Video Coding (Draft 7)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P2001 (version 14)，16th Meeting: Geneva, CH，2019年11月14日，pp.67-71,172-175

Also Published As

Publication number Publication date
US20210044830A1 (en) 2021-02-11
US11677933B2 (en) 2023-06-13
KR20200083356A (ko) 2020-07-08
PE20212021A1 (es) 2021-10-18
MX2023007397A (es) 2023-07-05
WO2020139060A1 (ko) 2020-07-02
US20230269370A1 (en) 2023-08-24
JP2022515992A (ja) 2022-02-24
CL2023001948A1 (es) 2023-12-22
MX2021007764A (es) 2021-08-05
CL2023001946A1 (es) 2023-12-22
CA3125318A1 (en) 2020-07-02
CL2022001094A1 (es) 2023-02-03
US20210160483A1 (en) 2021-05-27
CN113261282A (zh) 2021-08-13
US10951918B2 (en) 2021-03-16
EP3905677A1 (en) 2021-11-03
CO2021008542A2 (es) 2021-07-30
CL2021001711A1 (es) 2021-12-24
CL2023001950A1 (es) 2023-12-22
US20210044798A1 (en) 2021-02-11
ZA202210186B (en) 2023-11-29
BR112021012650A2 (pt) 2021-11-03
SG11202106789YA (en) 2021-07-29
ZA202104512B (en) 2024-02-28
US10951886B2 (en) 2021-03-16
CL2023001947A1 (es) 2023-12-22
AU2019416633A1 (en) 2021-08-19
EP3905677A4 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
JP7467467B2 (ja) イントラ予測基盤の画像符号化／復号化方法及び装置
KR102416257B1 (ko) 비디오 신호 처리 방법 및 장치
CN110063056B (zh) 用于处理视频信号的方法和设备
CN113873241B (zh) 用于对视频进行解码的方法和用于对视频进行编码的方法
US20220078480A1 (en) Method and apparatus for processing video signal
KR20180123674A (ko) 비디오 신호 처리 방법 및 장치
JP2024050708A (ja) イントラ予測を用いた画像符号化／復号化方法及び装置
CN116347074A (zh) 使用样点滤波的图像编码/解码方法和设备
CN116744022A (zh) 用于对视频进行编码和解码的方法
CN109983776B (zh) 视频信号处理方法和设备
KR102619997B1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN116366838A (zh) 对图像进行解码和编码的方法以及传输方法
US20190037216A1 (en) Video signal encoding/decoding method and apparatus for same
US20240098262A1 (en) Method and apparatus for encoding/decoding an image based on in-loop filter
RU2809684C2 (ru) Способ и устройство кодирования/декодирования видео на основе интра-предсказания
CN113873242B (zh) 用于对视频进行解码的方法和用于对视频进行编码的方法
KR20230134995A (ko) 영상 부호화/복호화 방법 및 장치
KR20230002090A (ko) 화면내 예측 기반의 비디오 신호 부호화/복호화 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
KR20230002091A (ko) 화면내 예측 기반의 비디오 신호 부호화/복호화 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
KR20240038618A (ko) 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체
KR20230043747A (ko) 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체
KR20230134999A (ko) 영상 부호화/복호화 방법 및 장치
KR20240014456A (ko) 영상 부호화/복호화 방법 및 비트스트림을 저장하는기록 매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150