JP7314307B2 - スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング - Google Patents

スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング Download PDF

Info

Publication number
JP7314307B2
JP7314307B2 JP2021561761A JP2021561761A JP7314307B2 JP 7314307 B2 JP7314307 B2 JP 7314307B2 JP 2021561761 A JP2021561761 A JP 2021561761A JP 2021561761 A JP2021561761 A JP 2021561761A JP 7314307 B2 JP7314307 B2 JP 7314307B2
Authority
JP
Japan
Prior art keywords
information
aps
scaling
video
scaling list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021561761A
Other languages
English (en)
Other versions
JP2022529461A (ja
Inventor
パルリ シータル
スンファン キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2022529461A publication Critical patent/JP2022529461A/ja
Priority to JP2023114481A priority Critical patent/JP2023126404A/ja
Application granted granted Critical
Publication of JP7314307B2 publication Critical patent/JP7314307B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本技術は、ビデオまたは映像コーディングに関し、例えば、スケーリングリストデータのシグナリングベースのコーディング技術に関する。
最近、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が多様な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して映像データを送信し、または既存の格納媒体を利用して映像／ビデオデータを格納する場合、送信費用と格納費用が増加される。
また、最近、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。
これにより、前記のような多様な特性を有する高解像度、高品質の映像／ビデオの情報を効果的に圧縮して送信または格納し、再生するために、高効率の映像／ビデオ圧縮技術が要求される。
また、圧縮効率を向上させて主観的／客観的ビジュアル品質を高めるために、スケーリング過程での適応的周波数別加重量子化（ａｄａｐｔｉｖｅ ｆｒｅｑｕｅｎｃｙ ｗｅｉｇｈｔｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ）技術に関する議論がある。このような技術を効率的に適用するために関連した情報をシグナリングする方法が必要である。
本文書の技術的課題は、ビデオ／映像コーディング効率を上げる方法及び装置を提供することにある。
本文書の他の技術的課題は、スケーリング過程でのコーディング効率を上げる方法及び装置を提供することにある。
本文書の他の技術的課題は、スケーリング過程で使われるスケーリングリストを効率的に構成する方法及び装置を提供することにある。
本文書の他の技術的課題は、スケーリング過程で使われるスケーリングリスト関連情報を階層的にシグナリングする方法及び装置を提供することにある。
本文書の他の技術的課題は、スケーリングリストベースのスケーリング過程を効率的に適用する方法及び装置を提供することにある。
本文書の一実施例によると、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）を介してスケーリングリストデータがシグナリングされることができ、ヘッダ情報（ピクチャヘッダ／スライスヘッダ／タイルグループヘッダ等）を介してスケーリングリストデータのために参照されるＡＰＳのＩＤを示すＡＰＳ識別情報（ＡＰＳ ＩＤ）がシグナリングされることができる。
本文書の一実施例によると、ＡＰＳを介してＡＰＳパラメータのタイプ情報がシグナリングされることができ、ＡＰＳパラメータのタイプ情報に基づいて、該当ＡＰＳがスケーリングリストデータ（スケーリングリストパラメータ）ＡＰＳであるかどうかが指示されることができる。
本文書の一実施例によると、スケーリングリストデータの可用可否を示す可用フラグ情報が階層的にシグナリングされることができ、上位レベルシンタックス（例えば、ＳＰＳ）でシグナリングされる可用フラグ情報に基づいて、下位レベルシンタックス（例えば、ピクチャヘッダ／スライスヘッダ／タイプグループヘッダ等）での可用フラグ情報がシグナリングされることができる。
本文書の一実施例によると、一般制限情報シンタックスを介して制限フラグ情報がシグナリングされることができ、制限フラグ情報に基づいてスケーリングリストデータの可用フラグ情報に対する使用可否を指示することができる。
本文書の一実施例によると、スケーリングリストデータ関連ＡＰＳのＩＤ個数を示すＡＰＳ ＩＤ個数情報がヘッダ情報を介してシグナリングされることができ、ＡＰＳ ＩＤ個数ほどのスケーリングリストデータ関連ＡＰＳの識別情報シンタックス要素がシグナリングされることができる。
本文書の一実施例によると、デコーディング装置により実行されるビデオ／映像デコーディング方法を提供する。前記ビデオ／映像デコーディング方法は、本文書の実施例で開示された方法を含むことができる。
本文書の一実施例によると、ビデオ／映像デコーディングを実行するデコーディング装置を提供する。前記デコーディング装置は、本文書の実施例で開示された方法を実行することができる。
本文書の一実施例によると、エンコーディング装置により実行されるビデオ／映像エンコーディング方法を提供する。前記ビデオ／映像エンコーディング方法は、本文書の実施例で開示された方法を含むことができる。
本文書の一実施例によると、ビデオ／映像エンコーディングを実行するエンコーディング装置を提供する。前記エンコーディング装置は、本文書の実施例で開示された方法を実行することができる。
本文書の一実施例によると、本文書の実施例のうち少なくとも一つに開示されたビデオ／映像エンコーディング方法によって生成されたエンコーディングされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
本文書の一実施例によると、デコーディング装置により本文書の実施例のうち少なくとも一つに開示されたビデオ／映像デコーディング方法を実行するようにするエンコーディングされた情報またはエンコーディングされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
本文書は、多様な効果を有することができる。例えば、本文書の一実施例によると、全般的な映像／ビデオ圧縮効率を上げることができる。また、本文書の一実施例によると、効率的なスケーリング過程を適用することによってコーディング効率を上げて主観的／客観的ビジュアル品質を向上させることができる。また、本文書の一実施例によると、スケーリング過程で使われるスケーリングリストを効率的に構成でき、これを介してスケーリングリスト関連情報を階層的にシグナリングできる。また、本文書の一実施例によると、スケーリングリストベースのスケーリング過程を効率的に適用することによってコーディング効率が増加されることができる。
本文書の具体的な実施例を介して得ることができる効果は、以上で羅列された効果に制限されない。例えば、関連した技術分野の通常の知識を有する者（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が本文書から理解し、または誘導できる多様な技術的効果が存在できる。それによって、本文書の具体的な効果は、本文書に明示的に記載されたものに制限されずに、本文書の技術的特徴から理解され、または誘導されることができる多様な効果を含むことができる。
本文書の実施例に適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。 本文書の実施例が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。 本文書の実施例が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。 本文書の実施例が適用可能な概略的なビデオ／映像エンコーディング方法の一例を示す。 本文書の実施例が適用可能な概略的なビデオ／映像デコーディング方法の一例を示す。 コーディングされた映像／ビデオに対する階層構造を例示的に示す。 本文書の実施例（ら）によるビデオ／映像エンコーディング方法の一例を概略的に示す流れ図である。 本文書の実施例（ら）によるビデオ／映像デコーディング方法の一例を概略的に示す流れ図である。 本文書に開示された実施例が適用されることができるコンテンツストリーミングシステムの例を示す。
本文書は、多様な変更を加えることができ、種々な実施例を有することができ、特定実施例を図面に例示し、詳細に説明しようとする。しかしながら、これは、本文書を特定実施例に限定しようとするものではない。本文書で常用する用語は、単に特定の実施例を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本文書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。
一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて一つの構成をなすこともでき、一つの構成を複数の構成に分けることもできる。各構成が統合及び／または分離された実施例も本文書の本質から外れない限り、本文書の権利範囲に含まれる。
本文書において“ＡまたはＢ（Ａ ｏｒ Ｂ）”は“ただＡ”、“ただＢ”または“ＡとＢの両方とも”を意味することができる。また、本文書において“ＡまたはＢ（Ａ ｏｒ Ｂ）”は“Ａ及び／またはＢ（Ａ ａｎｄ／ｏｒ Ｂ）”と解釈されることができる。例えば、本文書において“Ａ、ＢまたはＣ（Ａ、Ｂ ｏｒ Ｃ）”は“ただＡ”、“ただＢ”、“ただＣ”、または“Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”を意味することができる。
本文書で使われるスラッシュ（／）や読点（ｃｏｍｍａ）は“及び／または（ａｎｄ／ｏｒ）”を意味することができる。例えば、“Ａ／Ｂ”は“Ａ及び／またはＢ”を意味することができる。それによって、“Ａ／Ｂ”は“ただＡ”、“ただＢ”、または“ＡとＢの両方とも”を意味することができる。例えば、“Ａ、Ｂ、Ｃ”は“Ａ、ＢまたはＣ”を意味することができる。
本文書において“少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）”は、“ただＡ”、“ただＢ”または“ＡとＢの両方とも”を意味することができる。また、本文書において“少なくとも一つのＡまたはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）”や“少なくとも一つのＡ及び／またはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）”という表現は“少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）”と同じく解釈されることができる。
また、本文書において“少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”は、“ただＡ”、“ただＢ”、“ただＣ”、または“Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”を意味することができる。また、“少なくとも一つのＡ、ＢまたはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ｏｒ Ｃ）”や“少なくとも一つのＡ、Ｂ及び／またはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ａｎｄ／ｏｒ Ｃ）”は“少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”を意味することができる。
また、本文書で使われる括弧は“例えば（ｆｏｒ ｅｘａｍｐｌｅ）”を意味することができる。具体的に、“予測（イントラ予測）”で表示された場合、“予測”の一例として“イントラ予測”が提案されたものである。他の表現としては、本文書の“予測”は“イントラ予測”に制限（ｌｉｍｉｔ）されるものではなく、“イントラ予測”が“予測”の一例として提案されたものである。また、“予測（即ち、イントラ予測）”で表示された場合も、“予測”の一例として“イントラ予測”が提案されたものである。
本文書は、ビデオ／映像コーディングに関する。例えば、本文書に開示された方法／実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準に開示される方法に適用されることができる。また、本文書に開示された方法／実施例は、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）または次世代ビデオ／映像コーディング標準（例えば、Ｈ．２６７またはＨ．２６７）に開示される方法に適用されることができる。
本文書ではビデオ／映像コーディングに関する多様な実施例を提示し、他の言及がない限り、前記実施例は、互いに組み合わせて実行されることもできる。
本文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャは、一つ以上のスライス／タイルで構成されることができる。タイルは、ピクチャ内の特定タイル列及び特定タイル列以内のＣＴＵの四角領域である（Ａ ｔｉｌｅ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｗｉｔｈｉｎ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｃｏｌｕｍｎ ａｎｄ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｒｏｗ ｉｎ ａ ｐｉｃｔｕｒｅ）。前記タイル列は、ＣＴＵの四角領域であり、前記四角領域は、前記ピクチャの高さと同じ高さを有し、幅は、ピクチャパラメータセット内のシンタックス要素により明示されることができる（Ｔｈｅ ｔｉｌｅ ｃｏｌｕｍｎ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｅｑｕａｌ ｔｏ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ ａｎｄ ａ ｗｉｄｔｈ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）。前記タイル行は、ＣＴＵの四角領域であり、前記四角領域は、ピクチャパラメータセット内のシンタックス要素により明示される幅を有し、高さは、前記ピクチャの高さと同じである（Ｔｈｅ ｔｉｌｅ ｒｏｗ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ａｎｄ ａ ｗｉｄｔｈ ｅｑｕａｌ ｔｏ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルスキャンは、ピクチャをパーティショニングするＣＴＵの特定の順次的オーダリングを示すことができ、前記ＣＴＵは、タイル内のＣＴＵラスタースキャンで連続的に整列されることができ、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタースキャンで連続的に整列されることができる（Ａ ｔｉｌｅ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｔｉｌｅ ｗｈｅｒｅａｓ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。スライスは、単一ＮＡＬユニットに排他的に含まれることができる、整数個の完全なタイルまたはピクチャのタイル内の整数個の連続的な完全なＣＴＵ行を含むことができる（Ａ ｓｌｉｃｅ ｉｎｃｌｕｄｅｓ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｌｅｔｅ ｔｉｌｅｓ ｏｒ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｃｏｎｓｅｃｕｔｉｖｅ ｃｏｍｐｌｅｔｅ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ｏｆ ａ ｐｉｃｔｕｒｅ ｔｈａｔ ｍａｙ ｂｅ ｅｘｃｌｕｓｉｖｅｌｙ ｃｏｎｔａｉｎｅｄ ｉｎ ａ ｓｉｎｇｌｅ ＮＡＬ ｕｎｉｔ）。
一方、一つのピクチャは、二つ以上のサブピクチャに区分されることができる。サブピクチャは、ピクチャ内の一つ以上のスライスの四角領域である（ａｎ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ｓｌｉｃｅｓ ｗｉｔｈｉｎ ａ ｐｉｃｔｕｒｅ）。
ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち少なくとも一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）、または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。
また、本文書において、量子化／逆量子化及び／または変換／逆変換のうち少なくとも一つは、省略されることができる。量子化／逆量子化が省略される場合、量子化された変換係数は、変換係数と呼ばれることができる。変換／逆変換が省略される場合、変換係数は、係数またはレジデュアル係数と呼ばれることもでき、または、表現の統一性のために、 依然として変換係数と呼ばれることもできる。
本文書において、量子化された変換係数及び変換係数は、各々、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれることができる。この場合、レジデュアル情報は、変換係数（ら）に関する情報を含むことができ、変換係数（ら）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。レジデュアル情報（または、変換係数（ら）に関する情報）に基づいて変換係数が導出されることができ、変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。スケーリングされた変換係数に対する逆変換（変換）に基づいて、レジデュアルサンプルが導出されることができる。これは本文書の他の部分でも同様に適用／表現されることができる。
本文書において、一つの図面内で個別的に説明される技術的特徴は、個別的に具現されることもでき、同時に具現されることもできる。
以下、添付図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同じ構成要素に対しては、同じ参照符号を使用し、同じ構成要素に対して重複した説明は、省略されることができる。
図１は、本文書の実施例に適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。
図１を参照すると、ビデオ／映像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。
前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
ビデオソースは、ビデオ／映像のキャプチャ、合成または生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成されることができ、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。
エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。
送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。
デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／映像をデコーディングすることができる。
レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
図２は、本文書の実施例が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、エンコーディング装置とは、映像エンコーディング装置及び／またはビデオエンコーディング装置を含むことができる。
図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって一つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。
映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／またはターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／またはターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すこともでき、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。
エンコーディング装置２００は、入力映像信号（原本ブロック、原本サンプルアレイ）からインター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力映像信号（原本ブロック、原本サンプルアレイ）から予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または、離れて位置することもできる。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用されることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。
インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは、同じであってもよく、異なってもよい。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは違ってレジデュアル信号が送信されない場合がある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることによって、現在ブロックの動きベクトルを指示することができる。
予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することもできる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、または、パレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち少なくとも一つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。
前記予測部（インター予測部２２１及び／または前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられ、またはレジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうち少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じ大きさを有するピクセルブロックに適用されることもでき、正方形でない可変大きさのブロックに適用されることもできる。
量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信し、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコーディング方法を実行することができる。エントロピーエンコーディング部２４０は、量子化された変換係数外に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコーディング装置からデコーディング装置に伝達／シグナリングされる情報及び／またはシンタックス要素は、ビデオ／映像情報に含まれることができる。前記ビデオ／映像情報は、前述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、または、デジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／または格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコーディング部２４０に含まれることもできる。
量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部１５５は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることによって、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャエンコーディング及び／または復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置１００とデコーディング装置における予測ミスマッチを避けることができ、符号化効率も向上させることができる。
メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。
図３は、本文書の実施例が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。以下、デコーディング装置とは、映像デコーディング装置及び／またはビデオデコーディング装置を含むことができる。
図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。
ビデオ／映像情報を含むビットストリームが入力されると、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを利用してデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／またはターナリツリー構造にしたがって分割されることができる。コーディングユニットから一つ以上の変換ユニットが導出されることができる。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。
デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／または前記一般制限情報にも基づいてピクチャをデコーディングすることができる。本文書で後述されるシグナリング／受信される情報及び／またはシンタックス要素は、前記デコーディング手順を介してデコーディングされ、前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基づいてビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳しく、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するｂｉｎを受信し、デコーディング対象のシンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ｂｉｎの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってｂｉｎの発生確率を予測してｂｉｎの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、文脈モデル決定後、次のシンボル／ｂｉｎの文脈モデルのためにデコーディングされたシンボル／ｂｉｎの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出することができる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコーディング部３１０の構成要素であることもある。一方、本文書によるデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち少なくとも一つを含むことができる。
逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコーディング装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。
予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。
予測部３２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、または、パレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／映像情報に含まれてシグナリングされることができる。
イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。
インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。
加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／またはイントラ予測部３３１を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。
加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達することができる。
本文書において、エンコーディング装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施例は、各々、デコーディング装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同一または対応するように適用されることができる。
前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。予測されたブロックは、エンコーディング装置及びデコーディング装置で同じく導出され、エンコーディング装置は、原本ブロックの原本サンプル値自体でない原本ブロックと予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、レジデュアルブロックと予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、原本ブロックと予測されたブロックとの間のレジデュアルブロックを導出し、レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、レジデュアル情報は、量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックとレジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
イントラ予測は、現在ブロックが属するピクチャ（以下、現在ピクチャという）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する隣接参照サンプルが導出されることができる。現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの左側（ｌｅｆｔ）境界に隣接したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接した総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接した総２×ｎＷ個のサンプル及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接した１個のサンプルを含むことができる。または、現在ブロックの隣接参照サンプルは、複数列の上側隣接サンプル及び複数行の左側隣接サンプルを含むこともできる。また、現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接した１個のサンプルを含むこともできる。
ただし、現在ブロックの隣接参照サンプルのうち一部は、まだデコーディングされない、または利用可能でない場合がある。この場合、デコーダは、利用可能なサンプルとして利用可能でないサンプルを代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）して予測に使用する隣接参照サンプルを構成することができる。または、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して予測に使用する隣接参照サンプルを構成することができる。
隣接参照サンプルが導出された場合、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ii）現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて予測サンプルを誘導することもできる。（ｉ）の場合は、非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｏｎａｌ）モードまたは非角度（ｎｏｎ－ａｎｇｕｌａｒ）モードと呼ばれ、（ii）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。
また、隣接参照サンプルのうち現在ブロックの予測サンプルを基準にして、現在ブロックのイントラ予測モードの予測方向に位置する第１の隣接サンプルと前記予測方向の反対方向に位置する第２の隣接サンプルとの補間を介して予測サンプルが生成されることもできる。前述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることができる。また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ、ＬＭ）を利用してルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭモードまたはＣＣＬＭ（ｃｈｒｏｍａ ｃｏｍｐｏｎｅｎｔ ＬＭ）モードと呼ばれることができる。
また、フィルタリングされた隣接参照サンプルに基づいて現在ブロックの臨時予測サンプルを導出し、既存の隣接参照サンプル、即ち、フィルタリングされない隣接参照サンプルのうち、前記イントラ予測モードによって導出された少なくとも一つの参照サンプルと臨時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して現在ブロックの予測サンプルを導出することもできる。前述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。
また、現在ブロックの隣接多重参照サンプルラインの中から最も予測正確度が高い参照サンプルラインを選択して該当ラインで予測方向に位置する参照サンプルを利用して予測サンプルを導出し、この時に使われた参照サンプルラインをデコーディング装置に指示（シグナリング）する方法でイントラ予測符号化を実行することができる。前述した場合は、多重参照ライン（ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）イントラ予測またはＭＲＬベースのイントラ予測と呼ばれることができる。
また、現在ブロックを垂直または水平のサブパーティションに分けて同じイントラ予測モードに基づいてイントラ予測を実行し、サブパーティション単位で隣接参照サンプルを導出して利用できる。即ち、この場合、現在ブロックに対するイントラ予測モードがサブパーティションに同じく適用され、サブパーティション単位で隣接参照サンプルを導出して利用することによって、場合によって、イントラ予測性能を高めることができる。このような予測方法は、ＩＳＰ（ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）ベースのイントラ予測と呼ばれることができる。
前述したイントラ予測方法は、イントラ予測モードと区分してイントラ予測タイプと呼ばれることができる。イントラ予測タイプは、イントラ予測技法または付加イントラ予測モードなど、多様な用語で呼ばれることができる。例えば、イントラ予測タイプ（または、付加イントラ予測モードなど）は、前述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうち少なくとも一つを含むことができる。前記ＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定イントラ予測タイプを除外した一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、前記のような特定イントラ予測タイプが適用されない場合、一般的に適用されることができ、前述したイントラ予測モードに基づいて予測が実行されることができる。一方、必要によって、導出された予測サンプルに対する後処理フィルタリングが実行されることもできる。
具体的に、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、隣接参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。また、必要によって、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが実行されることもできる。
イントラ予測が適用される場合、隣接ブロックのイントラ予測モードを利用して現在ブロックに適用されるイントラ予測モードが決定されることができる。例えば、デコーディング装置は、現在ブロックの隣接ブロック（例えば、左側及び／または上側隣接ブロック）のイントラ予測モード及び追加的な候補モードに基づいて導出されたＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）リスト内のＭＰＭ候補のうち一つを受信されたＭＰＭインデックスに基づいて選択でき、または、ＭＰＭ候補（及びプラナーモード）に含まれない残りのイントラ予測モードのうち一つをリメイニングイントラ予測モード情報に基づいて選択できる。ＭＰＭリストは、プラナーモードを候補として含む場合または含まない場合で構成されることができる。例えば、ＭＰＭリストがプラナーモードを候補として含む場合、ＭＰＭリストは、６個の候補を有することができ、ＭＰＭリストがプラナーモードを候補として含まない場合、ＭＰＭリストは、５個の候補を有することができる。ＭＰＭリストがプラナーモードを候補として含まない場合、現在ブロックのイントラ予測モードがプラナーモードでないことを示すｎｏｔプラナーフラグ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）がシグナリングされることができる。例えば、ＭＰＭフラグが先にシグナリングされ、ＭＰＭインデックス及びｎｏｔプラナーフラグは、ＭＰＭフラグの値が１である場合にシグナリングされることができる。また、ＭＰＭインデックスは、ｎｏｔプラナーフラグの値が１である場合にシグナリングされることができる。ここで、ＭＰＭリストがプラナーモードを候補として含まないように構成されることは、プラナーモードがＭＰＭでないことを意味するより、ＭＰＭで常にプラナーモードが考慮されるため、先にフラグ（ｎｏｔ ｐｌａｎａｒ ｆｌａｇ）をシグナリングしてプラナーモードであるかどうかを先に確認するためである。
例えば、現在ブロックに適用されるイントラ予測モードがＭＰＭ候補（及びプラナーモード）内にあるか、または、リメイニングモード内にあるかは、ＭＰＭフラグ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）に基づいて指示されることができる。ＭＰＭフラグの値１は、現在ブロックに対するイントラ予測モードがＭＰＭ候補（及びプラナーモード）内にあることを示すことができ、ＭＰＭ ｆｌａｇの値０は、現在ブロックに対するイントラ予測モードがＭＰＭ候補（及びプラナーモード）内に無いことを示すことができる。ｎｏｔプラナーフラグ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）値０は、現在ブロックに対するイントラ予測モードがプラナーモードであることを示すことができ、ｎｏｔプラナーフラグ値１は、現在ブロックに対するイントラ予測モードがプラナーモードでないことを示すことができる。ＭＰＭインデックスは、ｍｐｍ＿ｉｄｘまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘシンテックス要素の形態でシグナリングされることができ、リメイニングイントラ予測モード情報は、ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒシンテックス要素の形態でシグナリングされることができる。例えば、リメイニングイントラ予測モード情報は、全体イントラ予測モードのうちＭＰＭ候補（及びプラナーモード）に含まれない残りのイントラ予測モードを予測モード番号順にインデクシングしてそのうち一つを指すことができる。イントラ予測モードは、ルマ成分（サンプル）に対するイントラ予測モードである。以下、イントラ予測モード情報は、ＭＰＭ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）、ｎｏｔ ｐｌａｎａｒ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）、ＭＰＭインデックス（例えば、ｍｐｍ＿ｉｄｘまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）、リメイニングイントラ予測モード情報（ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）のうち少なくとも一つを含むことができる。本文書において、ＭＰＭリストは、ＭＰＭ候補リスト、ｃａｎｄＭｏｄｅＬｉｓｔなど、多様な用語で呼ばれることができる。ＭＩＰ（ｍａｔｒｉｘ－ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が現在ブロックに適用される場合、ＭＩＰのための別途のｍｐｍ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｆｌａｇ）、ｍｐｍインデックス（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｉｄｘ）、リメイニングイントラ予測モード情報（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）がシグナリングされることができ、ｎｏｔ ｐｌａｎａｒ ｆｌａｇはシグナリングされない。
即ち、一般的に映像に対するブロック分割されると、コーディングしようとする現在ブロックと隣接（ｎｅｉｇｈｂｏｒｉｎｇ）ブロックは、類似する映像特性を有するようになる。したがって、現在ブロックと隣接ブロックは、互いに同じまたは類似するイントラ予測モードを有する確率が高い。したがって、エンコーダは、現在ブロックのイントラ予測モードをエンコーディングするために、隣接ブロックのイントラ予測モードを利用することができる。
例えば、エンコーダ／デコーダは、現在ブロックに対するＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅｓ）リストを構成することができる。ＭＰＭリストは、ＭＰＭ候補リストと示すこともできる。ここで、ＭＰＭとは、イントラ予測モードコーディング時、現在ブロックと隣接ブロックの類似性を考慮してコーディング効率を向上させるために利用されるモードを意味することができる。前述したように、ＭＰＭリストは、プラナーモードを含んで構成されることもでき、または、プラナーモードを除外して構成されることもできる。例えば、ＭＰＭリストがプラナーモードを含む場合、ＭＰＭリストの候補の個数は６個である。そして、ＭＰＭリストがプラナーモードを含まない場合、ＭＰＭリストの候補の個数は５個である。エンコーダ／デコーダは、５個または６個のＭＰＭを含むＭＰＭリストを構成することができる。
ＭＰＭリストを構成するために、デフォルトイントラモード（Ｄｅｆａｕｌｔ ｉｎｔｒａ ｍｏｄｅｓ）、隣接イントラモード（Ｎｅｉｇｈｂｏｕｒ ｉｎｔｒａ ｍｏｄｅｓ）、及び導出されたイントラモード（Ｄｅｒｉｖｅｄ ｉｎｔｒａ ｍｏｄｅｓ）の三つの種類のモードが考慮されることができる。このとき、隣接イントラモードのために、二つの隣接ブロック、即ち、左側隣接ブロック及び上側隣接ブロックが考慮されることができる。
前述したように、もし、ＭＰＭリストがプラナーモードを含まないように構成する場合、前記リストからプラナー（ｐｌａｎａｒ）モードが除外され、前記ＭＰＭリスト候補の個数は、５個に設定されることができる。
また、イントラ予測モードのうち、非方向性モード（または、非角度モード）は、現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）ベースのＤＣモードまたは補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）ベースのプラナー（ｐｌａｎａｒ）モードを含むことができる。
インター予測が適用される場合、エンコーディング装置／デコーディング装置の予測部は、ブロック単位でインター予測を実行して予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャ（ら）のデータ要素（例えば、サンプル値、または動き情報）に依存した方法で導出される予測を示すことができる（Ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｃａｎ ｂｅ ａ ｐｒｅｄｉｃｔｉｏｎ ｄｅｒｉｖｅｄ ｉｎ ａ ｍａｎｎｅｒ ｔｈａｔ ｉｓ ｄｅｐｅｎｄｅｎｔ ｏｎ ｄａｔａ ｅｌｅｍｅｎｔｓ（例えば、ｓａｍｐｌｅ ｖａｌｕｅｓ ｏｒ ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）ｏｆ ｐｉｃｔｕｒｅ（ｓ） ｏｔｈｅｒ ｔｈａｎ ｔｈｅ ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ）。現在ブロックにインター予測が適用される場合、参照ピクチャインデックスが指す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロックまたはサンプル単位で予測できる。動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。また、動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測が適用される場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。参照ブロックを含む参照ピクチャと時間的隣接ブロックを含む参照ピクチャは、同じであってもよく、異なってもよい。時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、現在ブロックの隣接ブロックに基づいて動き情報候補リストが構成されることができ、現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するために、どの候補が選択（使用）されるかを指示するフラグまたはインデックス情報がシグナリングされることができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は、選択された隣接ブロックの動き情報と同じである。スキップモードの場合、マージモードとは違って、レジデュアル信号が送信されない。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を利用して現在ブロックの動きベクトルを導出することができる。
動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）によってＬ０動き情報及び／またはＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトルまたはＭＶＬ０と呼ばれることができ、Ｌ１方向の動きベクトルは、Ｌ１動きベクトルまたはＭＶＬ１と呼ばれることができる。Ｌ０動きベクトルに基づく予測はＬ０予測と呼ばれることができ、Ｌ１動きベクトルに基づく予測はＬ１予測と呼ばれることができ、Ｌ０動きベクトル及びＬ１動きベクトルの両方ともに基づく予測は対（Ｂｉ）予測と呼ばれることができる。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連した動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連した動きベクトルを示すことができる。参照ピクチャリストＬ０は、現在ピクチャより出力順序上以前ピクチャを参照ピクチャとして含むことができ、参照ピクチャリストＬ１は、現在ピクチャより出力順序上以後ピクチャを含むことができる。以前ピクチャは、順方向（参照）ピクチャと呼ばれることができ、以後ピクチャは、逆方向（参照）ピクチャと呼ばれることができる。参照ピクチャリストＬ０は、現在ピクチャより出力順序上以後ピクチャを参照ピクチャとしてさらに含むことができる。この場合、参照ピクチャリストＬ０内で以前ピクチャが先にインデクシングされ、以後ピクチャは、その次にインデクシングされることができる。参照ピクチャリストＬ１は、現在ピクチャより出力順序上以前ピクチャを参照ピクチャとしてさらに含むことができる。この場合、参照ピクチャリストＬ１内で以後ピクチャが先にインデクシングされ、以前ピクチャは、その次にインデクシングされることができる。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応されることができる。
図４は、本文書の実施例が適用可能な概略的なビデオ／映像エンコーディング方法の一例を示す。
図４に開示された方法は、前述した図２のエンコーディング装置２００により実行されることができる。具体的に、Ｓ４００は、エンコーディング装置２００のインター予測部２２１またはイントラ予測部２２２により実行されることができ、Ｓ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０は、各々、エンコーディング装置２００の減算部２３１、変換部２３２、量子化部２３３、エントロピーエンコーディング部２４０により実行されることができる。
図４を参照すると、エンコーディング装置は、現在ブロックに対する予測を介して予測サンプルを導出することができる（Ｓ４００）。エンコーディング装置は、現在ブロックにインター予測を実行するか、または、イントラ予測を実行するかを決定することができ、具体的なインター予測モードまたは具体的なイントラ予測モードをＲＤコストに基づいて決定できる。決定されたモードによって、エンコーディング装置は、現在ブロックに対する予測サンプルを導出することができる。
エンコーディング装置は、現在ブロックに対する原本サンプルと予測サンプルを比較してレジデュアルサンプルを導出することができる（Ｓ４１０）。
エンコーディング装置は、レジデュアルサンプルに対する変換手順を介して変換係数を導出し（Ｓ４２０）、導出された変換係数を量子化し、量子化された変換係数を導出することができる（Ｓ４３０）。
エンコーディング装置は、予測情報及びレジデュアル情報を含む映像情報をエンコーディングし、エンコーディングされた映像情報をビットストリーム形態で出力できる（Ｓ４４０）。予測情報は、予測手順に関連した情報であって、予測モード情報及び動き情報に関する情報（例えば、インター予測が適用される場合）などを含むことができる。レジデュアル情報は、量子化された変換係数に関する情報を含むことができる。レジデュアル情報は、エントロピーコーディングされることができる。
出力されたビットストリームは、格納媒体またはネットワークを介してデコーディング装置に伝達されることができる。
図５は、本文書の実施例が適用可能な概略的なビデオ／映像デコーディング方法の一例を示す。
図５に開示された方法は、前述した図３のデコーディング装置３００により実行されることができる。具体的に、Ｓ５００は、デコーディング装置３００のインター予測部３３２またはイントラ予測部３３１により実行されることができる。Ｓ５００において、ビットストリームに含まれている予測情報をデコーディングして関連シンタックス要素の値を導出する手順は、デコーディング装置３００のエントロピーデコーディング部３１０により実行されることができる。Ｓ５１０、Ｓ５２０、Ｓ５３０、Ｓ５４０は、各々、デコーディング装置３００のエントロピーデコーディング部３１０、逆量子化部３２１、逆変換部３２２、加算部３４０により実行されることができる。
図５を参照すると、デコーディング装置は、エンコーディング装置で実行された動作と対応される動作を実行することができる。デコーディング装置は、受信された予測情報に基づいて現在ブロックに対するインター予測またはイントラ予測を実行して予測サンプルを導出することができる（Ｓ５００）。
デコーディング装置は、受信されたレジデュアル情報に基づいて現在ブロックに対する量子化された変換係数を導出することができる（Ｓ５１０）。デコーディング装置は、エントロピーデコーディングを介してレジデュアル情報から量子化された変換係数を導出することができる。
デコーディング装置は、量子化された変換係数を逆量子化して変換係数を導出することができる（Ｓ５２０）。
デコーディング装置は、変換係数に対する逆変換手順を介してレジデュアルサンプルを導出する（Ｓ５３０）。
デコーディング装置は、予測サンプル及びレジデュアルサンプルに基づいて現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成することができる。（Ｓ５４０）。以後、復元ピクチャにインループフィルタリング手順がさらに適用されることができることは、前述の通りである。
一方、前述したように、エンコーディング装置の量子化部は、変換係数に量子化を適用して量子化された変換係数を導出することができ、エンコーディング装置の逆量子化部またはデコーディング装置の逆量子化部は、量子化された変換係数に逆量子化を適用して変換係数を導出することができる。
一般的に、ビデオ／映像コーディングでは、量子化率を変化させることができ、変化された量子化率を利用して圧縮を調節することができる。具現観点では、複雑度を考慮して量子化率を直接使用する代わりに量子化パラメータ（ＱＰ、ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）を使用することができる。例えば、０から６３までの整数値の量子化パラメータを使用することができ、各量子化パラメータ値は、実際量子化率に対応されることができる。ルマ成分（ルマサンプル）に対する量子化パラメータ（ＱＰＹ）とクロマ成分（クロマサンプル）に対する量子化パラメータ（ＱＰＣ）は、異なるように設定されることができる。
量子化過程は、変換係数（Ｃ）を入力とし、量子化率（Ｑｓｔｅｐ）に分けて、これに基づいて量子化された変換係数（Ｃ`）を得ることができる。このとき、計算複雑度を考慮して量子化率にスケールを掛け算して整数形態にし、スケール値に該当する値ほどシフト演算を実行することができる。量子化率とスケール値の掛け算に基づいて量子化スケール（ｑｕａｎｔｉｚａｔｉｏｎ ｓｃａｌｅ）が導出されることができる。即ち、ＱＰによって量子化スケールが導出されることができる。変換係数（Ｃ）に量子化スケールを適用し、これに基づいて量子化された変換係数（Ｃ`）を導出することもできる。
逆量子化過程は、量子化過程の逆過程で量子化された変換係数（Ｃ`）に量子化率（Ｑｓｔｅｐ）を掛け算して、これに基づいて復元された変換係数（Ｃ``）を得ることができる。この場合、量子化パラメータによってレベルスケール（ｌｅｖｅｌ ｓｃａｌｅ）が導出されることができ、量子化された変換係数（Ｃ`）にレベルスケールを適用し、これに基づいて復元された変換係数（Ｃ``）を導出することができる。復元された変換係数（Ｃ``）は、変換及び／または量子化過程での損失（ｌｏｓｓ）によって最初変換係数（Ｃ）と多少差がある。したがって、エンコーディング装置でもデコーディング装置と同じく逆量子化を実行する。
また、周波数によって量子化強度を調節する適応的周波数別加重量子化（ａｄａｐｔｉｖｅ ｆｒｅｑｕｅｎｃｙ ｗｅｉｇｈｔｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ）技術が適用されることができる。適応的周波数別加重量子化技術は、周波数別に量子化強度を異なるように適用する方法である。適応的周波数別加重量子化は、あらかじめ定義された量子化スケーリングマトリクスを利用して各周波数別量子化強度を異なるように適用できる。即ち、前述した量子化／逆量子化の過程は、量子化スケーリングマトリクスに基づいてさらに実行されることができる。例えば、現在ブロックのサイズ及び／または現在ブロックのレジデュアル信号を生成するために、現在ブロックに適用された予測モードがインター予測であるか、または、イントラ予測であるかによって、異なる量子化スケーリングマトリクスが使われることができる。量子化スケーリングマトリクスは、量子化マトリクスまたはスケーリングマトリクスと呼ばれることができる。量子化スケーリングマトリクスは、あらかじめ定義されることができる。また、周波数適応的スケーリングのために、量子化スケーリングマトリクスに対する周波数別量子化スケール情報がエンコーディング装置で構成／エンコーディングされてデコーディング装置にシグナリングされることができる。周波数別量子化スケール情報は、量子化スケーリング情報と呼ばれることができる。周波数別量子化スケール情報は、スケーリングリストデータ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ）を含むことができる。スケーリングリストデータに基づいて（修正された）量子化スケーリングマトリクスが導出されることができる。また、周波数別量子化スケール情報は、スケーリングリストデータの存否可否を指示する存否フラグ（ｐｒｅｓｅｎｔ ｆｌａｇ）情報を含むことができる。または、スケーリングリストデータが上位レベル（例えば、ＳＰＳ）でシグナリングされた場合、より下位レベル（例えば、ＰＰＳ ｏｒ ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒ ｅｔｃ）でスケーリングリストデータが修正されるかどうかを指示する情報などがさらに含まれることができる。
前述したように、スケーリングリストデータは、量子化／逆量子化に使われる（周波数ベースの量子化）スケーリングマトリクスを示すためにシグナリングされることができる。
デフォルト及びユーザ定義スケーリングマトリクスのシグナリング支援は、ＨＥＶＣ標準に存在し、現在ＶＶＣ標準に採択された。しかし、ＶＶＣ標準の場合、下記の機能のシグナリングのための追加的支援が統合された。
－スケーリングマトリクスのための３つモード：ＯＦＦ、ＤＥＦＡＵＬＴ、ＵＳＥＲ＿ＤＥＦＩＮＥＤ
－ブロックに対するさらに大きい大きさ範囲（ルマの場合、４×４～６４×６４、クロマの場合、２×２～３２×３２）
－四角形変換ブロック（ＴＢｓ）
－依存的量子化（Ｄｅｐｅｎｄｅｎｔ ｑｕａｎｔｉｚａｔｉｏｎ）
－多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ；ＭＴＳ）
－高周波係数をゼロにする変換（Ｌａｒｇｅ ｔｒａｎｓｆｏｒｍｓ ｗｉｔｈ ｚｅｒｏｉｎｇ－ｏｕｔ ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ ｃｏｅｆｆｉｃｉｅｎｔｓ）
－イントラサブブロックパーティショニング（Ｉｎｔｒａ ｓｕｂ－ｂｌｏｃｋ ｐａｒｔｉｔｉｏｎｉｎｇ；ＩＳＰ）
－イントラブロックコピー（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ；ＩＢＣ）（現在ピクチャ参照（ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ ｒｅｆｅｒｅｎｃｉｎｇ；ＣＰＲ）ともいう）
－全てのＴＢサイズに対するＤＥＦＡＵＬＴスケーリングマトリクス、デフォルト値は１６
スケーリングマトリクスは、全てのサイズに対する変換スキップ（Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ；ＴＳ）及び二次変換（Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ；ＳＴ）に適用されてはならないという点に留意しなければならない。
以下では、ＶＶＣ標準でスケーリングリストを支援するための上位レベルシンタックス（Ｈｉｇｈ Ｌｅｖｅｌ Ｓｙｎｔａｘ；ＨＳＬ）構造が詳細に説明される。まず、スケーリングリストがデコーディングされる現在ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）に対して可用であるということを指示するために、フラグがシーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ）を介してシグナリングされることができる。その次に、前記フラグが可用な場合、ＳＰＳでスケーリングリストに特定データが存在するかを示すために追加フラグがパーシングされることができる。これは表１のように示すことができる。
表１は、ＣＶＳに対するスケーリングリストを説明するためにＳＰＳから抄出したものである。
前記表１のＳＰＳシンタックスに含まれているシンタックス要素のセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表２のように示すことができる。
前記表１及び表２を参照すると、ＳＰＳからｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナリングされることができる。例えば、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、スケーリングリストが変換係数に対するスケーリング過程に使われることを示すことができ、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、スケーリングリストが変換係数に対するスケーリング過程に使われないことを示すことができる。このとき、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがＳＰＳからさらにシグナリングされることができる。例えば、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）シンタックス構造がＳＰＳに存在することを示し、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）シンタックス構造がＳＰＳに存在しないことを示すことができる。ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、０に類推されることができる。
また、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＰＰＳ）でフラグ（例：ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）が先にパーシングされることができる。このフラグが可用な場合、ＰＰＳでｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）がパーシングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）が先にＳＰＳで存在し、後にＰＰＳでパーシングされる場合、ＰＰＳでのデータがＳＰＳでのデータに優先することができる。以下の表３は、スケーリングリストデータを説明するためにＰＰＳから抄出したものである。
前記表３のＰＰＳシンタックスに含まれているシンタックス要素のセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表４のように示すことができる。
前記表３及び表４を参照すると、ＰＰＳからｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがシグナリングされることができる。例えば、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合、ＰＰＳを参照するピクチャに使われたスケーリングリストデータが、活性ＳＰＳにより特定されたスケーリングリスト及びＰＰＳにより特定されたスケーリングリストに基づいて導出されることを示すことができる。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、ＰＰＳを参照するピクチャに使われたスケーリングリストデータが、活性ＳＰＳにより特定されたスケーリングリストと同じであると類推されることを示すことができる。このとき、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、０にならなければならない。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１であり、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０であり、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、スケーリングリストデータセマンティクスで説明されたように、デフォルトスケーリングリストデータがスケーリングファクタ（ＳｃａｌｉｎｇＦａｃｔｏｒ）配列を導出するのに使われることができる。
スケーリングリストは、次の量子化マトリクス大きさに対してＶＶＣ標準で定義されることができる。これは、以下の表５のように示すことができる。量子化マトリクスに対する支援範囲は、ＨＥＶＣ標準で４×４、８×８、１６×１６及び３２×３２で２×２と６４×６４を含むように拡張された。
前記表５は、使われた全ての量子化マトリクス大きさに対するｓｉｚｅＩｄを定義している。前述した組み合わせを使用して、ｓｉｚｅＩｄ、コーディングユニットの予測モード（ＣｕＰｒｅｄＭｏｄｅ）、及びカラー成分の相異なる組み合わせに対してｍａｔｒｉｘＩｄが割り当てられることができる。ここで、考慮されることができるＣｕＰｒｅｄＭｏｄｅは、インター、イントラ、及びＩＢＣ（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）である。イントラモードとＩＢＣモードは、同じく扱われることができる。したがって、与えられたカラー成分に対して同じｍａｔｒｉｘＩｄ（ｓ）が共有されることができる。ここで、考慮されることができるカラー成分は、ルマ（Ｌｕｍａ（Ｙ））及び二つのカラー成分（Ｃｂ及びＣｒ）である。割り当てられたｍａｔｒｉｘＩｄは、以下の表６のように示すことができる。
表６は、ｓｉｚｅＩｄ、予測モード、及びカラー成分によるｍａｔｒｉｘＩｄを示す。
以下の表７は、スケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））に対するシンタックス構造の一例を示す。
前記表７のシンタックスに含まれているシンタックス要素のセマンティクスは、以下の表８のように示すことができる。
前記表７及び表８を参照すると、スケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））を抽出するために、１から始めて６までの全てのｓｉｚｅＩｄ及び０から５までのｍａｔｒｉｘＩｄに対し、スケーリングリストデータは、２×２クロマ成分及び６４×６４ルマ成分に適用されることができる。その次に、スケーリングリストの値が参照スケーリングリストの値と同じであるかどうか示すためにフラグ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ）がパーシングされることができる。参照スケーリングリストは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］により示される。しかし、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が１である場合、スケーリングリストデータは、明示的にシグナリングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａが０である場合、表９乃至表１２に示すように、デフォルト値を有するＤＥＦＡＵＬＴモードが使われることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａの他の値である場合、前記表８のセマンティクスに示すようにｒｅｆＭａｔｒｉｘＩｄが先に決定されることができる。
明示的シグナリングにおいて、即ち、ＵＳＥＲ＿ＤＥＦＩＮＥＤモードで、シグナリングされる係数の最大個数が先に決定されることができる。量子化ブロックサイズ２×２、４×４及び８×８の場合、全ての係数がシグナリングされることができる。８×８より大きいサイズの場合、即ち、１６×１６、３２×３２及び６４×６４の場合、６４個の係数のみがシグナリングされることができる。即ち、８×８基本マトリクスがシグナリングされ、残りの係数は、基本マトリクスからアップサンプリングされることができる。
以下の表９は、ＳｃａｌｉｎｇＬｉｓｔ［１］［ｍａｔｒｉｘＩｄ］［ｉ］（ｉ＝０..３）のデフォルト値を示す一例である。
以下の表１０は、ＳｃａｌｉｎｇＬｉｓｔ［２］［ｍａｔｒｉｘＩｄ］［ｉ］（ｉ＝０..１５）のデフォルト値を示す一例である。
以下の表１１は、ＳｃａｌｉｎｇＬｉｓｔ［３..５］［ｍａｔｒｉｘＩｄ］［ｉ］（ｉ＝０..６３）のデフォルト値を示す一例である。
以下の表１２は、ＳｃａｌｉｎｇＬｉｓｔ［６］［ｍａｔｒｉｘＩｄ］［ｉ］（ｉ＝０..６３）のデフォルト値を示す一例である。
前述したように、デフォルトスケーリングリストデータは、スケーリングファクタ（ＳｃａｌｉｎｇＦａｃｔｏｒ）を導出するのに使われることができる。
５次元配列のスケーリングファクタＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄ］［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］（ここで、ｘ、ｙ＝０..（１＜＜ｓｉｚｅＩｄ）－１）は、前記表５に示す変数ｓｉｚｅＩｄ及び前記表６に示す変数ｍａｔｒｉｘＩｄによって、スケーリングファクタの配列を示すことができる。
以下の表１３は、前述したデフォルトスケーリングリストに基づいて量子化マトリクス大きさによってスケーリングファクタを導出する例示を示す。
四角形大きさの量子化マトリクスに対して、５次元配列のスケーリングファクタＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄＷ］［ｓｉｚｅＩｄＨ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］（ここで、ｘ＝０..（１＜＜ｓｉｚｅＩｄＷ）－１、ｙ＝０..（１＜＜ｓｉｚｅＩｄＨ）－１、ｓｉｚｅＩｄＷ！＝ｓｉｚｅＩｄＨ）は、以下の表１５に示す変数ｓｉｚｅＩｄＷ及びｓｉｚｅＩｄＨによってスケーリングファクタの配列を示すことができ、以下の表１４のように導出されることができる。
四角形大きさの量子化マトリクスは、下記の条件を満たすサンプルに対してゼロにしなければならない。
－ｘ＞３２
－ｙ＞３２
－デコーディングされたＴＵは、デフォルト変換モードにコーディングされずに、（１＜＜ｓｉｚｅＩｄＷ）＝＝３２及びｘ＞１６
－デコーディングされたＴＵは、デフォルト変換モードにコーディングされずに、（１＜＜ｓｉｚｅＩｄＨ）＝＝３２及びｙ＞１６
以下の表１５は、量子化マトリクス大きさによってｓｉｚｅＩｄＷ及びｓｉｚｅＩｄＨを示す一例である。
以下、本文書では量子化／逆量子化の過程で適応的周波数別加重量子化技術を適用するにあたって、スケーリングリストデータを効率的にシグナリングする方法に関して提案する。
図６は、コーディングされた映像／ビデオに対する階層構造を例示的に示す。
図６を参照すると、コーディングされた映像／ビデオは、映像／ビデオのデコーディング処理及びその自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を送信して格納する下位システム、及びＶＣＬと下位システムとの間に存在してネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されている。
ＶＣＬでは、圧縮された映像データ（スライスデータ）を含むＶＣＬデータを生成し、または、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセットまたは映像のデコーディング過程に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。
ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダ情報（ＮＡＬユニットヘッダ）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどを意味する。ＮＡＬユニットヘッダには該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。
また、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰのよってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットとに区分されることができる。ＶＣＬ ＮＡＬユニットは、映像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、映像をデコーディングするために必要な情報（パラメータセットまたはＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。
ＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格によってヘッダ情報を付けてネットワークを介して送信されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などのような所定規格のデータ形態で変形されて多様なネットワークを介して送信されることができる。
前述したように、ＮＡＬユニットは、該当ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）によってＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。
例えば、ＮＡＬユニットが映像に対する情報（スライスデータ）を含むかどうかによって、大別して、ＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプとに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。
下記は、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセットの種類などによって特定されたＮＡＬユニットタイプの一例である。
－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ
－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＤＰＳを含むＮＡＬユニットに対するタイプ
－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＶＰＳを含むＮＡＬユニットに対するタイプ
－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ
－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＰＰＳを含むＮＡＬユニットに対するタイプ
－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）ＮＡＬ ｕｎｉｔ：ＰＨを含むＮＡＬユニットに対するタイプ
前述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、シンタックス情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。例えば、前記シンタックス情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値に特定されることができる。
一方、前述したように、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダ及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス（スライスヘッダ及びスライスデータ集合）に対して一つのピクチャヘッダがさらに付加されることができる。ピクチャヘッダ（ピクチャヘッダシンタックス）は、ピクチャに共通的に適用できる情報／パラメータを含むことができる。本文書において、タイルグループは、スライスまたはピクチャに混用または代替されることができる。また、本文書において、タイルグループヘッダは、スライスヘッダまたはピクチャヘッダに混用または代替されることができる。
スライスヘッダ（スライスヘッダシンタックス）は、スライスに共通的に適用できる情報／パラメータを含むことができる。ＡＰＳ（ＡＰＳシンタックス）またはＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライスまたはピクチャに共通的に適用できる情報／パラメータを含むことができる。ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通的に適用できる情報／パラメータを含むことができる。ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤに共通的に適用できる情報／パラメータを含むことができる。ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通的に適用できる情報／パラメータを含むことができる。ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の接合（ｃｏｎｃａｔｅｎａｔｉｏｎ）に関連した情報／パラメータを含むことができる。本文書において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、ピクチャヘッダシンタックス、スライスヘッダシンタックスのうち少なくとも一つを含むことができる。
本文書において、エンコーディング装置からデコーディング装置にエンコーディングされてビットストリーム形態でシグナリングされる映像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、スライスヘッダに含まれている情報、ピクチャヘッダに含まれている情報、ＡＰＳに含まれている情報、ＰＰＳに含まれている情報、ＳＰＳに含まれている情報、ＶＰＳに含まれている情報、及び／またはＤＰＳに含まれている情報を含むことができる。また、前記映像／ビデオ情報は、ＮＡＬユニットヘッダの情報をさらに含むことができる。
一方、ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）は、ＶＶＣ標準でＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）とＬＭＣＳ（Ｌｕｍａ Ｍａｐｐｉｎｇ ｗｉｔｈ Ｃｈｒｏｍａ Ｓｃａｌｉｎｇ）手順のための情報を送信するのに使われている。また、ＡＰＳは、他のデータ構造（即ち、他のシンタックス構造）を送信するのに使われることができるように拡張可能な構造を有している。これにより、本文書は、周波数別加重量子化のために使われるスケーリングリストデータをＡＰＳを介してパーシング／シグナリングする方法を提案する。
スケーリングリストデータは、前述したように、量子化／逆量子化の過程で適用されることができる周波数別加重量子化のための量子化スケール情報であり、スケールファクタと各周波数インデックスを関連させるリストである。
一実施例として、以下の表１６は、スケーリングリストデータを送信するのに使われるＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）構造の一例を示す。
前記表１６のＡＰＳシンタックスに含まれているシンタックス要素のセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表１７のように示すことができる。
前記表１６及び表１７を参照すると、ＡＰＳでａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、他のシンタックス要素の参照のためのＡＰＳに対する識別子を提供する。即ち、ＡＰＳは、ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素に基づいて識別されることができる。ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、ＡＰＳ ＩＤ情報と呼ばれることができる。ＡＰＳは、ピクチャ間に共有されることができ、ピクチャ内の他のタイルグループでは異なる場合がある。
また、ＡＰＳでａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素がパーシング／シグナリングされることができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅは、以下の表１８に示すように、ＡＰＳで送信されるＡＰＳパラメータのタイプを示すことができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素は、ＡＰＳパラメータタイプ情報またはＡＰＳタイプ情報と呼ばれることができる。
例えば、以下の表１８は、ＡＰＳを介して送信されることができるＡＰＳパラメータのタイプを示す例示であり、各ＡＰＳパラメータタイプは、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値に対応して示すことができる。
前記表１８を参照すると、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅは、該当ＡＰＳのタイプを分類するためのシンタックス要素である。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が０である場合、該当ＡＰＳタイプは、ＡＬＦ＿ＡＰＳであり、該当ＡＰＳは、ＡＬＦデータを運ぶことができ、ＡＬＦデータは、フィルタ／フィルタ係数を導出するためのＡＬＦパラメータを含むことができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が１である場合、該当ＡＰＳタイプは、ＬＭＣＳ＿ＡＰＳであり、該当ＡＰＳは、ＬＭＣＳデータを運ぶことができ、ＬＭＣＳデータは、ＬＭＣＳモデル／ｂｉｎ／マッピングインデックスを導出するためのＬＭＣＳパラメータを含むことができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が２である場合、該当ＡＰＳタイプは、ＳＣＡＬＩＮＧ＿ＡＰＳであり、該当ＡＰＳは、ＳＣＡＬＩＮＧリストデータを運ぶことができ、ＳＣＡＬＩＮＧリストデータは、周波数ベースの量子化スケーリングマトリクス／スケーリングファクタ／スケーリングリストの値を導出するためのスケーリングリストデータパラメータを含むことができる。
例えば、前記表１６のように、ＡＰＳでａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素がパーシング／シグナリングされることができ、このとき、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅが値が０を示す場合（即ち、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅがＡＬＦ＿ＡＰＳを示す場合）、ＡＬＦデータ（即ち、ａｌｆ＿ｄａｔａ（））がパーシング／シグナリングされることができる。または、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅが値が１を示す場合（即ち、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅがＬＭＣＳ＿ＡＰＳを示す場合）、ＬＭＣＳデータ（即ち、ｌｍｃｓ＿ｄａｔａ（））がパーシング／シグナリングされることができる。または、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅが値が２を示す場合（即ち、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅがＳＣＡＬＩＮＧ＿ＡＰＳを示す場合）、スケーリングリストデータ（即ち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））がパーシング／シグナリングされることができる。
また、前記表１６及び表１７を参照すると、ＡＰＳでａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、ＡＰＳ拡張データフラグ（ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ）シンタックス要素が存在するかどうかを指示することができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、例えば、ＶＶＣ標準の以後バージョンのための拡張ポイントを提供するために使われることができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素は、ＡＰＳ拡張フラグと呼ばれることができる。例えば、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が０である場合、ＡＰＳ拡張データフラグ（ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ）がＡＰＳ ＲＢＳＰシンタックス構造に存在しないことを示すことができる。または、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が１である場合、ＡＰＳ拡張データフラグ（ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ）がＡＰＳ ＲＢＳＰシンタックス構造に存在することを示すことができる。
ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素に基づいてａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素は、ＡＰＳ拡張データフラグと呼ばれることができる。例えば、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が１である場合、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇがパーシング／シグナリングされることができ、このとき、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇは、任意の値を有することができる。
前述したように、本文書の一実施例によると、スケーリングリストデータを示すためのデータタイプ（例：ＳＣＡＬＩＮＧ＿ＡＰＳ）を割り当て、データタイプを示すシンタックス要素（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）をパーシング／シグナリングすることで効率的にスケーリングリストデータを運ぶことができる。即ち、本文書の一実施例によると、スケーリングリストデータを統合したＡＰＳの構造を使用することができる。
一方、現在ＶＶＣ標準でスケーリングリストデータ（即ち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））の使用は、まず、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）でスケーリングリストデータの可用可否を示すフラグ（即ち、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が存在するかに基づいて指示されることができる。もし、前記フラグ（即ち、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）がイネイブルされる場合（即ち、スケーリングリストデータが可用であることを示す場合であって、１または真である場合）、他のフラグ（即ち、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）がパーシングされることができる。また、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがイネイブルされる場合（即ち、スケーリングリストデータがＳＰＳに存在することを示す場合であって、１または真である場合）、スケーリングリストデータ（即ち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））がパーシングされることができる。即ち、現在ＶＶＣ標準ではスケーリングリストデータをＳＰＳでシグナリングしている。この場合、ＳＰＳがセッション交渉を可能にして一般的に帯域外に送信されるため、デコーディングプロセスの間に使われることができ、変換ブロックのスケーリングファクタの決定と関連した情報でスケーリングリストデータを送信することが不必要である。デコーダがＳＰＳでスケーリングリストデータを送信すると、デコーダは、スケーリングリストデータから取得された情報を格納するために相当な量のメモリを確保する必要があり、また、変換ブロックデコーディングで使われる時まで前記情報を維持する必要がある。したがって、このような過程は、ＳＰＳレベルで不必要であり、下位レベルでパーシング／シグナリングされることがより効果的である。これにより、本文書は、スケーリングリストデータを効果的にパーシング／シグナリングするために階層的構造を提案する。
一実施例として、スケーリングリストデータを上位レベルシンタックスであるＳＰＳからパーシング／シグナリングせずに、より下位レベルシンタックスであるＰＰＳ、タイルグループヘッダ、スライスヘッダ、及び／または他の適切なヘッダでパーシング／シグナリングできるようにする。
例えば、以下の表１９のようにＳＰＳシンタックスを修正することができる。以下の表１９は、ＣＶＳに対するスケーリングリストを説明するためのＳＰＳシンタックスの一例を示す。
前記表１９のＳＰＳシンタックスに含まれているシンタックス要素のセマンティクスは、以下の表２０のように示すことができる。
前記表１９及び表２０を参照すると、ＳＰＳでｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、その値が０であるか、または、１であるかに基づいてスケーリングリストが可用であるかどうかを示すことができる。例えば、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、スケーリングリストが変換係数に対するスケーリング過程に使われることを示し、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、スケーリングリストが変換係数に対するスケーリング過程に使われないことを示すことができる。
即ち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、スケーリングリスト可用フラグと呼ばれることができ、ＳＰＳ（または、ＳＰＳレベル）でシグナリングされることができる。即ち、ＳＰＳレベルでシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値に基づいて、該当ＳＰＳを参照するＣＶＳ内のピクチャに対して基本的にスケーリングリストが可用であるように決定されることができる。そして、ＳＰＳより下位レベル（例：ＰＰＳ、タイルグループヘッダ、スライスヘッダ、及び／または他の適切なヘッダ）で追加的な可用フラグをシグナリングしてスケーリングリストを取得することができる。
前述したように、本文書の一実施例によると、ＳＰＳレベルではスケーリングリスト（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））を直接的にシグナリングせずに、スケーリングリスト可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）のみを明示的にシグナリングするように構成されることができる。以後、ＳＰＳでの可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて下位レベルシンタックスで個別的にスケーリングリスト（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））をパーシングすることができる。したがって、本文書の一実施例によると、スケーリングリストデータが階層的構造によってパーシング／シグナリングされることができるため、よりコーディング効率を向上させることができる。
一方、スケーリングリストデータの存在有無及び使用有無は、ツールイネイブリングフラグ（ｔｏｏｌ ｅｎａｂｌｉｎｇ ｆｌａｇ）の存在を条件とする。ここで、ツールイネイブリングフラグは、該当ツールをイネイブリングするかどうかを示す情報であって、例えば、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素を含むことができる。即ち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、スケーリングリストデータの可用可否を示すことによって、スケーリングリストをイネイブリングするかを指示するのに使われることができる。しかし、このツールは、デコーダに対する構文上制約があるべきである。即ち、このツールは、現在ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）のデコーディングに使われていないということをデコーダに知らせる制限フラグ（ｃｏｎｓｔｒａｉｎｔ ｆｌａｇ）があるべきである。したがって、本文書は、スケーリングリストデータに対する制限フラグが適用される方法を提案する。
一実施例として、以下の表２１は、制限フラグを使用してスケーリングリストデータをシグナリングするシンタックス（例：一般制限情報シンタックス）の一例を示す。
前記表２１のシンタックスに含まれているシンタックス要素のセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表２２のように示すことができる。
前記表２１及び表２２を参照すると、制限フラグがｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）を介してパーシング／シグナリングされることができる。ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）は、一般制限情報フィールドまたは制限フラグに関する情報と呼ばれる。例えば、制限フラグとしてｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇシンタックス要素が使われることができる。ここで、制限フラグは、適合したビットストリーム属性（ｃｏｎｆｏｒｍａｎｃｅ ｂｉｔｓｔｒｅａｍ ｐｒｏｐｅｒｔｉｅｓ）を指定するのに使われることができる。例えば、ｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇシンタックス要素の値が１である場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に指定されるべきビットストリーム適合（ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍａｎｃｅ）要求事項を示し、ｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇシンタックス要素の値が０である場合、制限が無いことを示すことができる。
一方、前述したように、本文書の実施例によると、スケーリングリストデータは、階層的構造を介して伝達されることができる。これによって、本文書は、スライスヘッダを介してパーシング／シグナリングされることができるスケーリングリストデータの構造を提案する。ここで、スライスヘッダは、タイルグループヘッダと呼ばれることもでき、またはピクチャヘッダに混用または代替されることもできる。
一実施例として、以下の表２３は、スケーリングリストデータをシグナリングするためのスライスヘッダシンタックスの一例を示す。
前記表２３のスライスヘッダシンタックスに含まれているシンタックス要素のセマンティクスは、以下の表２４のように示すことができる。
前記表２３及び表２４を参照すると、スライスヘッダでｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、使用中であるＰＰＳに対する識別子を示すことができる。即ち、ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、該当スライスで参照するＰＰＳを識別するための情報であって、ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示すことができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０乃至６３の範囲内でなければならない。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、スライスで参照するＰＰＳ識別情報またはＰＰＳ ＩＤ情報ということができる。
また、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、現在スライスでスケーリングリストが可用であるかどうかを示すことができる。例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、スケーリングリストが現在スライスで可用であることを示すことができ、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、スケーリングリストが現在スライスで可用でないことを示すことができる。または、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、その値は、０に類推されることができる。
このとき、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、上位レベルシンタックス（即ち、ＳＰＳ）でシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定されることができる。例えば、ＳＰＳでシグナリングされたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合（即ち、上位レベルでスケーリングリストデータが可用であるように決定された場合）、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇをパーシングし、該当スライスでスケーリングリストを使用してスケーリング過程を実行するかどうかを決定することができる。
また、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、該当スライスで参照するＡＰＳに対する識別子を示すことができる。即ち、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、該当スライスで参照するスケーリングリストデータを含んでいるＡＰＳのＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を示すことができる。一方、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄと同じＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有するＡＰＳ ＮＡＬユニット（即ち、スケーリングリストデータを含むＡＰＳ ＮＡＬユニット）のＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）が、コーディングされるスライスＮＡＬユニットのＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）より小さいまたは同じでなければならない。
また、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定されることができる。例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄの値が１である場合（即ち、スライスヘッダでスケーリングリストが可用であるように決定された場合）、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄをパーシングすることができる。以後、前記パーシングされたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄが指示するＡＰＳからスケーリングリストデータを取得することができる。
また、同じ値のＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有する複数のＳＣＡＬＩＮＧ ＤＡＴＡ ＡＰＳ（スケーリングリストデータを含む複数のＡＰＳ）が同一ピクチャ内の二つ以上のスライスにより参照される場合、同じ値のＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有する複数のＳＣＡＬＩＮＧ ＤＡＴＡ ＡＰＳは、同じ内容を含まなければならない。
また、前述したシンタックス要素が存在する場合、スライスヘッダシンタックス要素ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ、及びｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの各々の値は、コーディングされるピクチャ内の全てのスライスヘッダで同じでなければならない。
前述したように、本文書の一実施例によると、スケーリングリストデータを効率的にシグナリングするために階層的構造を使用することができる。即ち、上位レベル（ＳＰＳシンタックス）でスケーリングリストデータの可用可否を示す可用フラグ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を先にシグナリングし、以後、下位レベル（例：スライスヘッダ、ピクチャヘッダ等）で追加的な可用フラグ（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をシグナリングすることで各下位レベルでスケーリングリストデータを使用するかを決定することができる。また、下位レベル（例：スライスヘッダ、ピクチャヘッダ等）を介して該当スライスまたはタイルグループで参照するＡＰＳ ＩＤ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）をシグナリングし、ＡＰＳ ＩＤ情報により識別されるＡＰＳからスケーリングリストデータを導出することができる。
また、本文書は、階層的構造によってスケーリングリストデータをシグナリングするにあたって、前述した表２３及び表２４で提案された方法のように適用されることもでき、以下の表２５のようなスライスヘッダの構造を介してスケーリングリストデータを伝達することもできる。
一実施例として、以下の表２５は、スケーリングリストデータをシグナリングするためのスライスヘッダシンタックスの一例を示す。ここで、スライスヘッダは、タイルグループヘッダと呼ばれることもでき、またはピクチャヘッダに混用または代替されることもできる。
前記表２５のスライスヘッダシンタックスに含まれているシンタックス要素のセマンティクスは、以下の表２６のように示すことができる。
前記表２５及び表２６を参照すると、スライスヘッダでｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、使用中であるＰＰＳに対する識別子を示すことができる。即ち、ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、該当スライスで参照するＰＰＳを識別するための情報であって、ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示すことができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０乃至６３の範囲内でなければならない。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、スライスで参照するＰＰＳ識別情報またはＰＰＳ ＩＤ情報ということができる。
また、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、該当スライスで参照するＡＰＳに対する識別子を示すことができる。即ち、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、該当スライスで参照するスケーリングリストデータを含んでいるＡＰＳのＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を示すことができる。一例として、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄと同じＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有するＡＰＳ ＮＡＬユニット（即ち、スケーリングリストデータを含むＡＰＳ ＮＡＬユニット）のＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）が、コーディングされるスライスＮＡＬユニットのＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）より小さいまたは同じでなければならない。
このとき、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、上位レベルシンタックス（即ち、ＳＰＳ）でシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定されることができる。例えば、ＳＰＳでシグナリングされたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合（即ち、上位レベルでスケーリングリストデータが可用であるように決定された場合）、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄをパーシングすることができる。以後、前記パーシングされたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄが指示するＡＰＳからスケーリングリストデータを取得することができる。
即ち、本実施例によると、スケーリングリストデータを含むＡＰＳ ＩＤは、ＳＰＳ内の対応するフラグ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）がイネイブルされる場合、パーシングされることができるため、前述した表２５に示すように、上位レベルシンタックス（即ち、ＳＰＳ）でシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいて該当下位レベル（例えば、スライスヘッダまたはピクチャヘッダ）で参照するスケーリングリストデータを含むＡＰＳ ＩＤ（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）情報をパーシングすることができる。
また、本文書は、スケーリングリストデータをシグナリングするために複数のＡＰＳを使用する方法に関して提案する。以下では、本文書の一実施例によってスケーリングリストデータを含む複数のＡＰＳ ＩＤを効率的にシグナリングする方法を説明する。この方法は、ビットストリームマージ（ｍｅｒｇｅ）の間に有用である。
一実施例として、以下の表２７は、複数のＡＰＳを使用してスケーリングリストデータをシグナリングするためのスライスヘッダシンタックスの一例を示す。ここで、スライスヘッダは、タイルグループヘッダと呼ばれることもでき、または、ピクチャヘッダに混用または代替されることもできる。
前記表２７のスライスヘッダシンタックスに含まれているシンタックス要素のセマンティクスは、以下の表２８のように示すことができる。
前記表２７及び表２８を参照すると、スライスヘッダでｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は使用中であるＰＰＳに対する識別子を示すことができる。即ち、ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、該当スライスで参照するＰＰＳを識別するための情報であって、ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示すことができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０乃至６３の範囲内でなければならない。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、スライスで参照するＰＰＳ識別情報またはＰＰＳ ＩＤ情報ということができる。
また、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、現在スライスでスケーリングリストが可用であるかどうかを示すことができる。例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、スケーリングリストが現在スライスで可用であることを示すことができ、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、スケーリングリストが現在スライスで可用でないことを示すことができる。または、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、その値は、０に類推されることができる。
このとき、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、上位レベルシンタックス（即ち、ＳＰＳ）でシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定されることができる。例えば、ＳＰＳでシグナリングされたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合（即ち、上位レベルでスケーリングリストデータが可用であるように決定された場合）、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇをパーシングし、該当スライスでスケーリングリストを使用してスケーリング過程を実行するかどうかを決定することができる。
また、スライスヘッダでｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１シンタックス要素がパーシング／シグナリングされることができる。ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１シンタックス要素は、該当スライスにより参照されるスケーリングリストデータを含むＡＰＳの個数を指示するための情報である。例えば、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１シンタックス要素の値に１を加えた値がＡＰＳ個数である。ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１の値は、０乃至７の範囲内でなければならない。
ここで、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１シンタックス要素は、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定されることができる。例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合（即ち、該当スライスでスケーリングリストデータが可用であるように決定された場合）、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１をパーシングすることができる。この場合、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１の値に基づいてｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ［ｉ］シンタックス要素がパーシング／シグナリングされることができる。
即ち、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ［ｉ］は、ｉ番目のスケーリングリストデータを含むＡＰＳ（即ち、ｉ番目のＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ）の識別子（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を示すことができる。即ち、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１シンタックス要素により指示されるＡＰＳ個数ほどＡＰＳ ＩＤ情報がシグナリングされることができる。一方、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ［ｉ］と同じＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有するＡＰＳ ＮＡＬユニット（即ち、スケーリングリストデータを含むＡＰＳ ＮＡＬユニット）のＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）が、コーディングされるスライスＮＡＬユニットのＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）より小さいまたは同じでなければならない。
また、同じ値のＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有する複数のＳＣＡＬＩＮＧ ＤＡＴＡ ＡＰＳ（スケーリングリストデータを含む複数のＡＰＳ）が同一ピクチャ内の二つ以上のスライスにより参照される場合、同じ値のＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有する複数のＳＣＡＬＩＮＧ ＤＡＴＡ ＡＰＳは、同じ内容を含まなければならない。
以下の図面は、本文書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な用語や名称（例えば、シンタックス／シンタックス要素の名称など）は、例示的に提示されたものであるため、本文書の技術的特徴が以下の図面に使われた具体的な名称に制限されるものではない。
図７は、本文書の実施例（ら）によるビデオ／映像エンコーディング方法の一例を概略的に示す流れ図である。
図７に開示された方法は、図２に開示されたエンコーディング装置２００により実行されることができる。具体的に、図７のステップＳ７００は、図２に開示された減算部２３１により実行されることができ、図７のステップＳ７１０は、図２に開示された変換部２３２により実行されることができ、図７のステップＳ７２０～Ｓ７３０は、図２に開示された量子化部２３３により実行されることができ、図７のステップＳ７４０は、図２に開示されたエントロピーエンコーディング部２４０により実行されることができる。また、図７に開示された方法は、本文書で詳述した実施例を含んで実行されることができる。したがって、図７では前述した実施例と重複する内容に関して具体的な説明を省略または簡単にする。
図７を参照すると、エンコーディング装置は、現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ７００）。
一実施例として、まず、エンコーディング装置は、現在ブロックに対する予測モードを決定して予測サンプルを導出することができる。例えば、エンコーディング装置は、現在ブロックにインター予測を実行するか、または、イントラ予測を実行するかを決定することができ、また、ＲＤコストに基づいて具体的なインター予測モードまたは具体的なイントラ予測モードを決定することができる。エンコーディング装置は、決定された予測モードによって予測を実行して現在ブロックに対する予測サンプルを導出することができる。このとき、インター予測またはイントラ予測など、本文書に開示された多様な予測方法が適用されることができる。また、エンコーディング装置は、現在ブロックに適用された予測と関連した情報（例えば、予測モード情報）を生成してエンコーディングできる。
そして、エンコーディング装置は、現在ブロックに対する原本サンプルと予測サンプルを比較してレジデュアルサンプルを導出することができる。
エンコーディング装置は、レジデュアルサンプルに基づいて変換係数を導出することができる（Ｓ７１０）。
一実施例として、エンコーディング装置は、レジデュアルサンプルに対する変換過程を介して変換係数を導出することができる。このとき、エンコーディング装置は、コーディング効率を考慮して現在ブロックに対する変換適用可否を決定することができる。即ち、エンコーディング装置は、レジデュアルサンプルに対して変換が適用されるかを決定することができる。例えば、レジデュアルサンプルに対して変換が適用されない場合、エンコーディング装置は、レジデュアルサンプルを変換係数として導出することができる。または、レジデュアルサンプルに対して変換が適用される場合、エンコーディング装置は、レジデュアルサンプルに対する変換を実行して変換係数を導出することができる。この場合、エンコーディング装置は、現在ブロックに対して変換が適用されるかどうかに基づいて変換スキップフラグ情報を生成してエンコーディングできる。変換スキップフラグ情報は、現在ブロックに対して変換が適用されたか、または、変換がスキップ（ｓｋｉｐ）されたかを示す情報である。
エンコーディング装置は、変換係数に基づいて量子化された変換係数を導出することができる（Ｓ７２０）。
一実施例として、エンコーディング装置は、変換係数に対する量子化過程を適用して量子化された変換係数を導出することができる。このとき、エンコーディング装置は、周波数によって量子化強度を調節する周波数別加重量子化を適用することができる。この場合、量子化過程は、周波数別量子化スケール値に基づいてさらに実行されることができる。周波数別加重量子化のための量子化スケール値は、スケーリングマトリクスを使用して導出されることができる。例えば、エンコーディング装置／デコーディング装置は、あらかじめ定義されたスケーリングマトリクスを使用することもでき、エンコーディング装置でスケーリングマトリクスに対する周波数別量子化スケール情報を構成してエンコーディングし、これをデコーディング装置にシグナリングすることができる。周波数別量子化スケール情報は、スケーリングリストデータを含むことができる。スケーリングリストデータに基づいて（修正された）スケーリングマトリクスが導出されることができる。
また、エンコーディング装置は、デコーディング装置と同様に、逆量子化過程を実行することができる。この場合、エンコーディング装置は、スケーリングリストデータに基づいて（修正された）スケーリングマトリクスを導出し、これに基づいて量子化された変換係数に逆量子化を適用して復元された変換係数を導出することができる。このとき、復元された変換係数は、変換／量子化過程での損失によって最初変換係数とは差がある。
ここで、スケーリングマトリクスは、前述した周波数ベースの量子化スケーリングマトリクスを指すことができ、説明の便宜によって、量子化スケーリングマトリクス、量子化マトリクス、スケーリングマトリクス、スケーリングリストなどに混用または代替して使われることができ、本実施例で使われた具体的な名称に制限されるものではない。
即ち、エンコーディング装置は、量子化過程を実行するにあたって、周波数別加重量子化をさらに適用でき、このとき、スケーリングマトリクスに対する情報としてスケーリングリストデータを生成することができる。この過程は、表５乃至表１５を例に上げて具体的に説明したため、本実施例では重複的な内容や具体的な説明を省略する。
エンコーディング装置は、量子化された変換係数に対する情報を含むレジデュアル情報を生成することができる（Ｓ７３０）。
ここで、レジデュアル情報は、量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。
エンコーディング装置は、映像情報（または、ビデオ情報）をエンコーディングすることができる（Ｓ７４０）。ここで、映像情報は、前記レジデュアル情報を含むことができる。また、映像情報は、前記予測と関連した情報（例えば、予測モード情報）を含むことができる。また、映像情報は、前記スケーリングリストデータに関する情報を含むことができる。即ち、映像情報は、エンコーディング過程で導出される多様な情報を含むことができ、このような多様な情報を含んでエンコーディングされることができる。
一実施例として、映像情報は、本文書で詳述した実施例（ら）による多様な情報を含むことができ、前述した表１乃至２８のうち少なくとも一つに開示された情報を含むことができる。
例えば、映像情報は、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むことができる。ＡＰＳは、ＡＰＳ識別情報（ＡＰＳ ＩＤ情報）及びＡＰＳパラメータのタイプ情報を含むことができる。また、ＡＰＳは、ＡＰＳパラメータのタイプ情報に基づいてスケーリングリストデータを含むことができる。スケーリングリストデータは、前述したように、量子化／逆量子化の過程で使われるスケーリングリスト／スケーリングマトリクス／スケールファクタを導出するためのスケーリングリストパラメータを含むことができる。即ち、スケーリングリストデータは、スケーリングリストを構成するのに使われるシンタックス要素を含むことができる。
一例として、ＡＰＳは、前述した表１６のように構成されることができる。ＡＰＳ識別情報は、前記表１６及び表１７で説明されたａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄである。ＡＰＳパラメータのタイプ情報は、前記表１６乃至表１８で説明されたａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅである。例えば、ＡＰＳパラメータのタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がスケーリングリストデータを含むＡＰＳであることを示すＳＣＡＬＩＮＧ＿ＡＰＳタイプである場合（または、ＡＰＳパラメータのタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）の値が２である場合）、ＡＰＳは、スケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））を含むことができる。即ち、エンコーディング装置は、スケーリングリストデータを含むＡＰＳであることを示すＳＣＡＬＩＮＧ＿ＡＰＳタイプ情報に基づいて、ＡＰＳを介してスケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））をシグナリングすることができる。
また、例えば、映像情報は、ヘッダ情報を含むことができる。ヘッダ情報は、現在ブロックを含むスライスまたはピクチャに関連したヘッダ情報であって、例えば、ピクチャヘッダまたはスライスヘッダを含むことができる。ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ識別情報を含むことができる。ヘッダ情報に含まれているスケーリングリストデータ関連ＡＰＳ識別情報は、スケーリングリストデータを含んでいるＡＰＳの識別情報を示すことができる。一例として、ヘッダ情報に含まれているスケーリングリストデータ関連ＡＰＳ識別情報は、前記表２３乃至表２６で説明されたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄであって、現在ブロックを含むスライス／ピクチャにより参照されるＡＰＳ（スケーリングリストデータを含む）に対する識別情報である。即ち、スケーリングリストデータ関連ＡＰＳ識別情報に基づいて、スケーリングリストデータを含むＡＰＳが識別されることができる。
また、例えば、映像情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含むことができる。ＳＰＳは、スケーリングリストデータの可用可否を示す第１の可用フラグ情報を含むことができる。一例として、ＳＰＳは、前述した表１９のように構成されることができ、第１の可用フラグ情報は、前記表１９及び表２０で説明されたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。
このとき、スケーリングリストデータが可用であることを示す第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて（例：第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ識別情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）を含むことができる。一例として、エンコーディング装置は、前述した表２３及び表２５のように、第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてヘッダ情報を介してスケーリングリストデータを含むＡＰＳの識別情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）をシグナリングすることができる。
また、例えば、ヘッダ情報は、ピクチャまたはスライスでのスケーリングリストデータの可用可否を示す第２の可用フラグ情報を含むことができる。一例として、第２の可用フラグ情報は、前記表２３及び表２４で説明されたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。
このとき、スケーリングリストデータが可用であることを示す第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて（例：第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を含むことができる。そして、第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて（例：第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ識別情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）を含むことができる。一例として、エンコーディング装置は、前述した表２３のように、ＳＰＳでシグナリングされる第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて、ヘッダ情報を介して第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をシグナリングすることができ、以後、第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて、ヘッダ情報を介してスケーリングリストデータ関連ＡＰＳ識別情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）をシグナリングすることができる。
また、例えば、映像情報は、第１の可用フラグ情報の使用に関する制限フラグ情報を含むことができる。一例として、制限フラグ情報は、前述した表２１及び表２２で説明されたｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇである。制限フラグ情報（例：ｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ）は、一般制限情報シンタックス（例：ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（））に含まれてシグナリングされることができる。例えば、制限フラグ情報（例：ｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ）の値が１である場合、第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が０に設定されるように一般制限情報シンタックス（例：ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（））を介して制限を設けることができる。または、制限フラグ情報（例：ｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ）の値が０である場合、第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に対する制限が無いことを示すことができる。
また、例えば、映像情報は、現在ブロックを含むスライスまたはピクチャに関連したヘッダ情報を含むことができる。例えば、ヘッダ情報は、ピクチャヘッダまたはスライスヘッダを含むことができる。ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ識別情報の個数を示すＡＰＳ個数情報を含むことができる。この場合、ヘッダ情報は、ＡＰＳ個数情報に基づいて導出されるＡＰＳ識別情報個数ほどのスケーリングリストデータ関連ＡＰＳ識別情報を含むことができる。
一例として、ＡＰＳ個数情報は、前記表２７及び表２８で説明されたｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１である。表２７で説明されたように、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１の値に１を加えた値がＡＰＳ識別情報個数である。したがって、ＡＰＳ識別情報個数（ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１の値に１を加えた値）ほどのｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄがヘッダ情報に含まれることができる。
前述したような多様な情報を含む映像情報は、エンコーディングされてビットストリーム形態で出力されることができる。ビットストリームは、ネットワークまたは（デジタル）格納媒体を介してデコーディング装置に送信されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。
図８は、本文書の実施例（ら）によるビデオ／映像デコーディング方法の一例を概略的に示す流れ図である。
図８に開示された方法は、図３に開示されたデコーディング装置３００により実行されることができる。具体的に、図８のステップＳ８００～Ｓ８１０は、図３に開示されたエントロピーデコーディング部３１０により実行されることができ、図８のステップＳ８２０は、図３に開示された逆量子化部３２１により実行されることができ、図８のステップＳ８３０は、図３に開示された逆変換部３２２により実行されることができ、図８のステップＳ８４０は、図３に開示された加算部３４０により実行されることができる。また、図８に開示された方法は、本文書で詳述した実施例を含んで実行されることができる。したがって、図８では前述した実施例と重複する内容に関して具体的な説明を省略または簡単にする。
図８を参照すると、デコーディング装置は、ビットストリームから映像情報（または、ビデオ情報）を受信することができる（Ｓ８００）。
一実施例として、デコーディング装置は、ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。このとき、映像情報は、レジデュアル情報を含むことができ、レジデュアル情報は、量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。また、映像情報は、予測と関連した情報（例えば、予測モード情報）を含むことができる。また、映像情報は、スケーリングリストデータに関する情報を含むことができる。即ち、映像情報は、デコーディング過程で必要な多様な情報を含むことができ、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてデコーディングされることができる。
一実施例として、映像情報は、本文書で詳述した実施例（ら）による多様な情報を含むことができ、前述した表１乃至２８のうち少なくとも一つに開示された情報を含むことができる。
例えば、映像情報は、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むことができる。ＡＰＳは、ＡＰＳ識別情報及びＡＰＳパラメータのタイプ情報を含むことができる。また、ＡＰＳは、ＡＰＳパラメータのタイプ情報に基づいてスケーリングリストデータを含むことができる。スケーリングリストデータは、前述したように、量子化／逆量子化の過程で使われるスケーリングリスト／スケーリングマトリクス／スケールファクタを導出するためのスケーリングリストパラメータを含むことができる。即ち、スケーリングリストデータは、スケーリングリストを構成するのに使われるシンタックス要素を含むことができる。
一例として、ＡＰＳは、前述した表１６のように構成されることができる。ＡＰＳ識別情報は、前記表１６及び表１７で説明されたａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄである。ＡＰＳパラメータのタイプ情報は、前記表１６乃至表１８で説明されたａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅである。例えば、ＡＰＳパラメータのタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がスケーリングリストデータを含むＡＰＳであることを示すＳＣＡＬＩＮＧ＿ＡＰＳタイプである場合（または、ＡＰＳパラメータのタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）の値が２である場合）、ＡＰＳは、スケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））を含むことができる。即ち、デコーディング装置は、スケーリングリストデータを含むＡＰＳであることを示すＳＣＡＬＩＮＧ＿ＡＰＳタイプ情報に基づいて、ＡＰＳを介してスケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））を取得してパーシングできる。
また、例えば、映像情報は、ヘッダ情報を含むことができる。ヘッダ情報は、現在ブロックを含むスライスまたはピクチャに関連したヘッダ情報であって、例えば、ピクチャヘッダまたはスライスヘッダを含むことができる。また、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ識別情報を含むことができる。ヘッダ情報に含まれているスケーリングリストデータ関連ＡＰＳ識別情報は、スケーリングリストデータを含んでいるＡＰＳの識別情報を示すことができる。一例として、ヘッダ情報に含まれているスケーリングリストデータ関連ＡＰＳ識別情報は、前記表２３乃至表２６で説明されたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄであって、現在ブロックを含むスライス／ピクチャにより参照されるＡＰＳ（スケーリングリストデータを含む）に対する識別情報である。即ち、デコーディング装置は、ヘッダ情報のＡＰＳ識別情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）に基づいてＡＰＳを識別し、前記ＡＰＳからスケーリングリストデータを取得することができる。
また、例えば、映像情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含むことができる。ＳＰＳは、スケーリングリストデータの可用可否を示す第１の可用フラグ情報を含むことができる。一例として、ＳＰＳは、前述した表１９のように構成されることができ、第１の可用フラグ情報は、前記表１９及び表２０で説明されたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。
このとき、スケーリングリストデータが可用であることを示す第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて（例：第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ識別情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）を含むことができる。一例として、デコーディング装置は、前述した表２３及び表２５のように、第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてヘッダ情報を介してスケーリングリストデータを含むＡＰＳの識別情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）を取得することができる。
また、例えば、ヘッダ情報は、ピクチャまたはスライスでのスケーリングリストデータの可用可否を示す第２の可用フラグ情報を含むことができる。一例として、第２の可用フラグ情報は、前記表２３及び表２４で説明されたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。
このとき、スケーリングリストデータが可用であることを示す第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて（例：第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を含むことができる。そして、第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて（例：第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ識別情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）を含むことができる。一例として、デコーディング装置は、前述した表２３のように、ＳＰＳでシグナリングされる第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて、ヘッダ情報を介して第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を取得することができ、以後、第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて、ヘッダ情報を介してスケーリングリストデータ関連ＡＰＳ識別情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）を取得することができる。
また、例えば、映像情報は、第１の可用フラグ情報の使用に関する制限フラグ情報を含むことができる。一例として、制限フラグ情報は、前述した表２１及び表２２で説明されたｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇである。制限フラグ情報（例：ｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ）は、一般制限情報シンタックス（例：ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（））に含まれてシグナリングされることができる。例えば、制限フラグ情報（例：ｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ）の値が１である場合、第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が０に設定されるように一般制限情報シンタックス（例：ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（））を介して制限を設けることができる。または、制限フラグ情報（例：ｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ）の値が０である場合、第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に対する制限が無いことを示すことができる。
また、例えば、映像情報は、現在ブロックを含むスライスまたはピクチャに関連したヘッダ情報を含むことができる。例えば、ヘッダ情報は、ピクチャヘッダまたはスライスヘッダを含むことができる。また、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ識別情報の個数を示すＡＰＳ個数情報を含むことができる。この場合、ヘッダ情報は、ＡＰＳ個数情報に基づいて導出されるＡＰＳ識別情報個数ほどのスケーリングリストデータ関連ＡＰＳ識別情報を含むことができる。
一例として、ＡＰＳ個数情報は、前記表２７及び表２８で説明されたｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１である。表２７で説明されたように、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１の値に１を加えた値がＡＰＳ識別情報個数である。したがって、ＡＰＳ識別情報個数（ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１の値に１を加えた値）ほどのｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄがヘッダ情報に含まれることができる。
デコーディング装置は、現在ブロックに対する量子化された変換係数を導出することができる（Ｓ８１０）。
一実施例として、デコーディング装置は、映像情報に含まれているレジデュアル情報を取得することができる。レジデュアル情報は、前述したように、量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、レジデュアル情報に含まれている量子化された変換係数情報に基づいて現在ブロックに対する量子化された変換係数を導出することができる。
デコーディング装置は、量子化された変換係数に基づいて変換係数を導出することができる（Ｓ８２０）。
一実施例として、デコーディング装置は、量子化された変換係数に対する逆量子化過程を適用して変換係数を導出することができる。このとき、デコーディング装置は、周波数によって量子化強度を調節する周波数別加重量子化を適用することができる。この場合、逆量子化過程は、周波数別量子化スケール値に基づいてさらに実行されることができる。周波数別加重量子化のための量子化スケール値は、スケーリングマトリクスを使用して導出されることができる。例えば、デコーディング装置は、あらかじめ定義されたスケーリングマトリクスを使用することもでき、エンコーディング装置からシグナリングされるスケーリングマトリクスに対する周波数別量子化スケール情報を使用することができる。周波数別量子化スケール情報は、スケーリングリストデータを含むことができる。スケーリングリストデータに基づいて（修正された）スケーリングマトリクスが導出されることができる。
即ち、デコーディング装置は、逆量子化過程を実行するにあたって、周波数別加重量子化をさらに適用できる。このとき、デコーディング装置は、スケーリングリストデータに基づいて量子化された変換係数に対する逆量子化過程を適用して変換係数を導出することができる。
一実施例として、デコーディング装置は、映像情報に含まれているＡＰＳを取得することができ、ＡＰＳに含まれているＡＰＳパラメータのタイプ情報に基づいてスケーリングリストデータを取得することができる。例えば、デコーディング装置は、スケーリングリストデータを含むＡＰＳであることを示すＳＣＡＬＩＮＧ＿ＡＰＳタイプ情報に基づいて、ＡＰＳに含まれているスケーリングリストデータを取得することができる。この場合、デコーディング装置は、スケーリングリストデータに基づいてスケーリングマトリクスを導出することができ、スケーリングマトリクスに基づいてスケーリングファクタを導出することができ、スケーリングファクタに基づいて逆量子化を適用して変換係数を導出することができる。このようなスケーリングリストデータに基づいてスケーリングを実行する過程は、表５乃至表１５を例に上げて具体的に説明したため、本実施例では重複的な内容や具体的な説明を省略する。
また、デコーディング装置は、逆量子化過程で周波数別加重量子化を適用するかどうか（即ち、逆量子化過程で（周波数ベースの量子化）スケーリングリストを使用して変換係数を導出するかどうか）を判断することができる。例えば、デコーディング装置は、映像情報に含まれているＳＰＳから取得された第１の可用フラグ及び／または映像情報に含まれているヘッダ情報から取得された第２の可用フラグ情報に基づいて、スケーリングリストデータの使用可否を決定することができる。もし、第１の可用フラグ及び／または第２の可用フラグ情報に基づいてスケーリングリストデータを使用することに決定された場合、デコーディング装置は、ヘッダ情報に含まれているスケーリングリストデータ関連ＡＰＳ識別情報に基づいて該当ＡＰＳを識別し、前記識別されたＡＰＳからスケーリングリストデータを取得することができる。
デコーディング装置は、変換係数に基づいてレジデュアルサンプルを導出することができる（Ｓ８３０）。
一実施例として、デコーディング装置は、現在ブロックに対する変換係数に対して逆変換を実行して現在ブロックのレジデュアルサンプルを導出することができる。このとき、デコーディング装置は、現在ブロックに対して逆変換を適用するかどうかを示す情報（即ち、変換スキップフラグ情報）を取得し、この情報（即ち、変換スキップフラグ情報）に基づいてレジデュアルサンプルを導出することができる。
例えば、変換係数に対して逆変換が適用されない場合（現在ブロックに対して変換スキップフラグ情報の値が１である場合）、デコーディング装置は、変換係数を現在ブロックのレジデュアルサンプルとして導出することができる。または、変換係数に対して逆変換が適用される場合（現在ブロックに対して変換スキップフラグ情報の値が０である場合）、デコーディング装置は、変換係数に対して逆変換して現在ブロックのレジデュアルサンプルを導出することができる。
デコーディング装置は、レジデュアルサンプルに基づいて復元サンプルを生成することができる（Ｓ８４０）。
一実施例として、デコーディング装置は、映像情報に含まれている予測情報（例えば、予測モード情報）に基づいて現在ブロックに対するインター予測を実行するか、または、イントラ予測を実行するかを決定することができ、前記決定によって予測を実行して現在ブロックに対する予測サンプルを導出することができる。そして、デコーディング装置は、予測サンプルとレジデュアルサンプルに基づいて復元サンプルを生成することができる。このとき、デコーディング装置は、予測モードによって予測サンプルを復元サンプルとして利用することもでき、または、予測サンプルにレジデュアルサンプルを加えて復元サンプルを生成することもできる。また、復元サンプルに基づいて復元ブロックまたは復元ピクチャを導出することができる。以後、デコーディング装置は、必要によって、主観的／客観的画質を向上させるために、デブロッキングフィルタリング及び／またはＳＡＯ手順のようなインループフィルタリング手順を前記復元ピクチャに適用できることは、前述の通りである。
前述した実施例において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本文書の実施例は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または流れ図の一つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除可能であることを理解することができる。
前述した本文書による方法は、ソフトウェア形態で具現されることができ、本文書によるエンコーディング装置及び／またはデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を実行する装置に含まれることができる。
本文書で実施例がソフトウェアで具現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。例えば、各図面で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。この場合、具現のための情報（例えば、ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）またはアルゴリズムがデジタル格納媒体に格納されることができる。
また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、画像電話ビデオ装置、運送手段端末（例えば、車両（自律走行車両を含む）、飛行機端末、船舶端末等）、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置ではゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。また、本文書によるデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み込むことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取り可能な記録媒体に格納され、または有無線通信ネットワークを介して送信されることができる。
また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例によりコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。
図９は、本文書に開示された実施例が適用されることができるコンテンツストリーミングシステムの例を示す。
図９を参照すると、本文書の実施例に適用されるコンテンツストリーミングシステムは、大別して、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。
前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略されることができる。
前記ビットストリームは、本文書の実施例に適用されるエンコーディング方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。
前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
前記ストリーミングサーバは、メディア格納所及び／またはエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間格納することができる。
前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末（ｓｍａｒｔｗａｔｃｈ）、グラス型端末（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジがある。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
本文書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本文書の方法請求項の技術的特徴が組み合わせて装置で具現されることができ、本文書の装置請求項の技術的特徴が組み合わせて方法で具現されることができる。また、本文書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせて装置で具現されることができ、本文書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせて方法で具現されることができる。

Claims (9)

  1. デコーディング装置により実行される映像デコーディング方法において、
    ビットストリームからレジデュアル情報を含む映像情報を取得するステップと、
    前記レジデュアル情報に基づいて現在ブロックに対する量子化された変換係数を導出するステップと、
    前記量子化された変換係数に基づいて変換係数を導出するステップと、
    前記変換係数に基づいてレジデュアルサンプルを導出するステップと、
    前記レジデュアルサンプルに基づいて復元サンプルを生成するステップと、を含み、
    前記映像情報は、アダプテーションパラメータセット（ＡＰＳ）を含み、
    前記ＡＰＳは、ＡＰＳ識別情報及びＡＰＳパラメータのタイプ情報を含み、
    前記タイプ情報に基づいて、前記ＡＰＳは、スケーリングリストデータを含み、
    前記スケーリングリストデータは、前記量子化された変換係数に対する逆量子化過程で使われるスケーリングリストパラメータを含み、
    前記変換係数を導出するステップは、
    前記ＡＰＳに含まれている前記タイプ情報に基づいて前記スケーリングリストデータを取得するステップと、
    前記スケーリングリストデータに基づいて前記量子化された変換係数に前記逆量子化過程を適用して前記変換係数を導出するステップと、を含み、
    前記映像情報は、ヘッダ情報を含み、
    前記ヘッダ情報は、前記スケーリングリストデータに関連するＡＰＳ識別情報を含み、
    前記スケーリングリストデータは、前記ヘッダ情報の前記ＡＰＳ識別情報に基づいて前記ＡＰＳを識別することにより、前記ＡＰＳから取得され、
    前記映像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
    前記ＳＰＳは、前記スケーリングリストデータが可用であるか否かを示すことに関連する第１の可用フラグ情報を含み、
    前記スケーリングリストデータが可用であることを示すことに関連する前記第１の可用フラグ情報に基づいて、前記ヘッダ情報から前記スケーリングリストデータに関連する前記ＡＰＳ識別情報が取得され、
    前記ヘッダ情報は、ピクチャまたはスライスにおいて前記スケーリングリストデータが可用であるか否かを示すことに関連する第２の可用フラグ情報を含み、
    前記第１の可用フラグ情報に基づいて、前記ヘッダ情報から前記第２の可用フラグ情報が取得され、
    前記第２の可用フラグ情報に基づいて、前記ヘッダ情報から前記スケーリングリストデータに関連する前記ＡＰＳ識別情報が取得される、映像デコーディング方法。
  2. 前記ヘッダ情報は、ピクチャヘッダまたはスライスヘッダを含む、請求項１に記載の映像デコーディング方法。
  3. 前記映像情報は、前記第１の可用フラグ情報の使用に関する制限フラグ情報を含み、
    前記制限フラグ情報の値が１であることに基づいて、前記第１の可用フラグ情報の値が０に設定される、請求項１に記載の映像デコーディング方法。
  4. 前記映像情報は、前記現在ブロックを含むスライスに関連したヘッダ情報を含み、
    前記ヘッダ情報は、前記スケーリングリストデータに関連する前記ＡＰＳ識別情報の個数を示すことに関連するＡＰＳ個数情報を含み、前記スケーリングリストデータに関連する前記ＡＰＳ識別情報は、前記ＡＰＳ個数情報に基づいて導出される個数だけ含まれる、請求項１に記載の映像デコーディング方法。
  5. 映像エンコーディング装置により実行される映像エンコーディング方法において、
    現在ブロックに対するレジデュアルサンプルを導出するステップと、
    前記レジデュアルサンプルに基づいて変換係数を導出するステップと、
    前記変換係数に量子化過程を適用して量子化された変換係数を導出するステップと、
    前記量子化された変換係数に対する情報を含むレジデュアル情報を生成するステップと、
    前記レジデュアル情報を含む映像情報をエンコーディングするステップと、を含み、
    前記映像情報は、アダプテーションパラメータセット（ＡＰＳ）を含み、
    前記ＡＰＳは、スケーリングリストパラメータを含むスケーリングリストデータを含み、
    前記ＡＰＳは、ＡＰＳ識別情報及びＡＰＳパラメータのタイプ情報を含み、
    前記タイプ情報に基づいて、前記ＡＰＳは、前記スケーリングリストデータを含み、
    前記映像情報は、ヘッダ情報を含み、
    前記ヘッダ情報は、前記スケーリングリストデータに関連するＡＰＳ識別情報を含み、
    前記ヘッダ情報の前記ＡＰＳ識別情報は、前記スケーリングリストデータを含む前記ＡＰＳの識別情報を明示し、
    前記映像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
    前記ＳＰＳは、前記スケーリングリストデータが可用であるか否かを示すことに関連する第１の可用フラグ情報を含み、
    前記スケーリングリストデータが可用であることを示すことに関連する前記第１の可用フラグ情報に基づいて、前記ヘッダ情報は、前記スケーリングリストデータに関連する前記ＡＰＳ識別情報を含み、
    前記ヘッダ情報は、ピクチャまたはスライスにおいて前記スケーリングリストデータが可用であるか否かを示すことに関連する第２の可用フラグ情報を含み、
    前記第１の可用フラグ情報に基づいて、前記ヘッダ情報は、前記第２の可用フラグ情報を含み、
    前記第２の可用フラグ情報に基づいて、前記ヘッダ情報は、前記スケーリングリストデータに関連する前記ＡＰＳ識別情報を含む、映像エンコーディング方法。
  6. 前記ヘッダ情報は、ピクチャヘッダまたはスライスヘッダを含む、請求項５に記載の映像エンコーディング方法。
  7. 前記映像情報は、前記第１の可用フラグ情報の使用に関する制限フラグ情報を含み、
    前記制限フラグ情報の値が１であることに基づいて、前記第１の可用フラグ情報の値が０に設定される、請求項５に記載の映像エンコーディング方法。
  8. 前記映像情報は、前記現在ブロックを含むスライスに関連したヘッダ情報を含み、
    前記ヘッダ情報は、前記スケーリングリストデータに関連する前記ＡＰＳ識別情報の個数を示すことに関連するＡＰＳ個数情報を含み、前記スケーリングリストデータに関連する前記ＡＰＳ識別情報は、前記ＡＰＳ個数情報に基づいて導出される個数だけ含まれる、請求項５に記載の映像エンコーディング方法。
  9. 映像情報に対するデータを送信する方法であって、
    レジデュアル情報を含む前記映像情報のビットストリームを取得するステップと、
    前記レジデュアル情報を含む前記映像情報のビットストリームを含む前記データを送信するステップと、を含み、
    前記ビットストリームは、現在ブロックに対するレジデュアルサンプルを導出し、前記レジデュアルサンプルに基づいて変換係数を導出し、前記変換係数に量子化過程を適用して量子化された変換係数を導出し、前記量子化された変換係数に対する情報を含むレジデュアル情報を生成し、前記レジデュアル情報を含む前記映像情報をエンコーディングすることに基づいて生成され、
    前記映像情報は、アダプテーションパラメータセット（ＡＰＳ）を含み、
    前記ＡＰＳは、スケーリングリストパラメータを含むスケーリングリストデータを含み、
    前記ＡＰＳは、ＡＰＳ識別情報及びＡＰＳパラメータのタイプ情報を含み、
    前記タイプ情報に基づいて、前記ＡＰＳは、前記スケーリングリストデータを含み、
    前記映像情報は、ヘッダ情報を含み、
    前記ヘッダ情報は、前記スケーリングリストデータに関連するＡＰＳ識別情報を含み、
    前記ヘッダ情報の前記ＡＰＳ識別情報は、前記スケーリングリストデータを含む前記ＡＰＳの識別情報を明示し、
    前記映像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
    前記ＳＰＳは、前記スケーリングリストデータが可用であるか否かを示すことに関連する第１の可用フラグ情報を含み、
    前記スケーリングリストデータが可用であることを示すことに関連する前記第１の可用フラグ情報に基づいて、前記ヘッダ情報は、前記スケーリングリストデータに関連する前記ＡＰＳ識別情報を含み、
    前記ヘッダ情報は、ピクチャまたはスライスにおいて前記スケーリングリストデータが可用であるか否かを示すことに関連する第２の可用フラグ情報を含み、
    前記第１の可用フラグ情報に基づいて、前記ヘッダ情報は、前記第２の可用フラグ情報を含み、
    前記第２の可用フラグ情報に基づいて、前記ヘッダ情報は、前記スケーリングリストデータに関連する前記ＡＰＳ識別情報を含む、方法。
JP2021561761A 2019-04-15 2020-04-07 スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング Active JP7314307B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023114481A JP2023126404A (ja) 2019-04-15 2023-07-12 スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962834375P 2019-04-15 2019-04-15
US62/834,375 2019-04-15
PCT/KR2020/004693 WO2020213867A1 (ko) 2019-04-15 2020-04-07 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023114481A Division JP2023126404A (ja) 2019-04-15 2023-07-12 スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング

Publications (2)

Publication Number Publication Date
JP2022529461A JP2022529461A (ja) 2022-06-22
JP7314307B2 true JP7314307B2 (ja) 2023-07-25

Family

ID=72838307

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021561761A Active JP7314307B2 (ja) 2019-04-15 2020-04-07 スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング
JP2023114481A Pending JP2023126404A (ja) 2019-04-15 2023-07-12 スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023114481A Pending JP2023126404A (ja) 2019-04-15 2023-07-12 スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング

Country Status (6)

Country Link
US (1) US20220159279A1 (ja)
EP (1) EP3958568A4 (ja)
JP (2) JP7314307B2 (ja)
KR (1) KR20210122863A (ja)
CN (1) CN113711606A (ja)
WO (1) WO2020213867A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213866A1 (ko) * 2019-04-15 2020-10-22 엘지전자 주식회사 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
KR20200143298A (ko) * 2019-06-14 2020-12-23 한국전자통신연구원 양자화 행렬 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
TW202143716A (zh) * 2020-04-14 2021-11-16 法商內數位Ｖｃ控股法國公司 對可適性色彩轉換及色度聯合編碼之尺度清單控制
CN115486071A (zh) * 2020-04-30 2022-12-16 寰发股份有限公司 视频编解码中施加比特流约束的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008387A1 (ja) 2016-07-04 2018-01-11 ソニー株式会社 画像処理装置および方法
WO2018067051A1 (en) 2016-10-05 2018-04-12 Telefonaktiebolaget Lm Ericsson (Publ) Deringing filter for video coding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034161A (ja) * 2011-06-28 2013-02-14 Sharp Corp 画像復号装置、画像符号化装置、および符号化データのデータ構造
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
CN108924570B (zh) * 2012-01-20 2021-08-24 韩国电子通信研究院 使用量化矩阵的视频编解码方法
CN104205819B (zh) * 2012-02-01 2017-06-30 诺基亚技术有限公司 用于视频编码的方法和装置
CN104255031B (zh) * 2012-02-29 2017-12-22 Lg 电子株式会社 层间预测方法和使用层间预测方法的装置
EP2984826B1 (en) * 2013-04-08 2019-12-18 HFI Innovation Inc. Method and apparatus for quantization matrix signaling and representation in scalable video coding
EP3560204A4 (en) * 2016-12-23 2019-12-04 Telefonaktiebolaget LM Ericsson (publ) DERINGING FILTER FOR VIDEO CODING
US10735770B2 (en) * 2018-09-13 2020-08-04 Tencent America LLC Method and device using high layer syntax architecture for coding and decoding
KR20200080187A (ko) * 2018-12-26 2020-07-06 한국전자통신연구원 양자화 행렬 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN114365497A (zh) * 2019-07-08 2022-04-15 Lg电子株式会社 基于缩放列表参数的视频或图像编码
US11418814B2 (en) * 2020-05-22 2022-08-16 Tencent America LLC Constraint on syntax elements for still picture profiles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008387A1 (ja) 2016-07-04 2018-01-11 ソニー株式会社 画像処理装置および方法
WO2018067051A1 (en) 2016-10-05 2018-04-12 Telefonaktiebolaget Lm Ericsson (Publ) Deringing filter for video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, et al.，"Versatile Video Coding (Draft 4)"，Document: JVET-M1001-v5，JVET-M1001 (version 5)，[online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年02月27日，Pages 33 and 34，[令和4年12月22日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=5755> and <URL: https://jvet-experts.org/doc_end_user/documents/13_Marrakech/wg11/JVET-M1001-v5.zip>.
Nael OUEDRAOGO, et al.，"On APS referring and updating"，Document: JCTVC-I0189r1，JCTVC-I0189 (version 3)，[online], Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2012年04月28日，Pages 1-14，インターネット, <URL: http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I0189-v3.zip>.（特許庁学術文献等データベース受入日：2014年1月24日）.
Ye-Kui Wang, et al.，"On APS partial update"，Document: JCTVC-H0505r1，JCTVC-H0505 (version 2)，[online], Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，2012年02月01日，Pages 1-5，インターネット, <URL: http://phenix.it-sudparis.eu/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H0505-v2.zip>.（特許庁学術文献等データベース受入日：2013年12月20日）.

Also Published As

Publication number Publication date
JP2023126404A (ja) 2023-09-07
US20220159279A1 (en) 2022-05-19
EP3958568A1 (en) 2022-02-23
KR20210122863A (ko) 2021-10-12
EP3958568A4 (en) 2023-01-11
JP2022529461A (ja) 2022-06-22
CN113711606A (zh) 2021-11-26
WO2020213867A1 (ko) 2020-10-22

Similar Documents

Publication Publication Date Title
US11496734B2 (en) Cross component filtering-based image coding apparatus and method
JP7314307B2 (ja) スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング
US11818344B2 (en) Adaptive loop filter-based video or image coding
US11917145B2 (en) Adaptive loop filter-based video or image coding
US11743468B2 (en) Filtering-based image coding device and method
US11683532B2 (en) Image coding device and method for controlling loop filtering
KR20220017439A (ko) 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
US20240129510A1 (en) Method and device for coding image/video on basis of prediction weighted table
US20240056566A1 (en) Inter prediction method and apparatus in image/video coding system
US20230344986A1 (en) Filtering-based image coding device and method
US20230396807A1 (en) Video or image coding based on signaling of scaling list data
US11595697B2 (en) Adaptive loop filtering-based image coding apparatus and method
US20240064305A1 (en) Slice type-based image/video coding method and apparatus
JP7492066B2 (ja) スケーリングリストデータに基づく画像またはビデオコーディング
JP2023501322A (ja) 映像／ビデオコーディング方法及び装置
JP2023118843A (ja) 映像／ビデオコーディング方法及び装置
KR20210130235A (ko) 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
US11647232B2 (en) Image coding device and method for controlling loop filtering
US20230164321A1 (en) In-loop filtering-based image coding device and method
US20220337849A1 (en) Scaling list parameter-based video or image coding
KR20210129224A (ko) 스케일링 리스트 기반 비디오 또는 영상 코딩
US12010349B2 (en) Adaptive loop filtering-based image coding apparatus and method
JP2023503660A (ja) ピクチャ分割情報をシグナリングする方法及び装置
JP2023118851A (ja) 映像／ビデオエンコーディング／デコーディングシステムにおけるスライスに関する情報のシグナリング方法及び装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230712

R150 Certificate of patent or registration of utility model

Ref document number: 7314307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150