JP6606794B2 - データ符号化及び復号化 - Google Patents

データ符号化及び復号化 Download PDF

Info

Publication number
JP6606794B2
JP6606794B2 JP2018077039A JP2018077039A JP6606794B2 JP 6606794 B2 JP6606794 B2 JP 6606794B2 JP 2018077039 A JP2018077039 A JP 2018077039A JP 2018077039 A JP2018077039 A JP 2018077039A JP 6606794 B2 JP6606794 B2 JP 6606794B2
Authority
JP
Japan
Prior art keywords
prediction
samples
chrominance
video decoding
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018077039A
Other languages
English (en)
Other versions
JP2018142970A (ja
Inventor
ジェームス アレキサンダー ガメイ
ニコラス イアン サンダース
カール ジェームス シャーマン
ポール ジェームス シルコック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2018142970A publication Critical patent/JP2018142970A/ja
Application granted granted Critical
Publication of JP6606794B2 publication Critical patent/JP6606794B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems
    • H04N11/28—High-definition television systems involving bandwidth reduction, e.g. subsampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

［関連技術の相互参照］
本出願は、２０１２年６月２２日、２０１２年６月２２日、２０１２年４月２６日に英国知的財産庁において提出されたＧＢ １２１１０７２．２、ＧＢ１２１１０７３．０及びＧＢ１２０７４５９．７における先の出願日の優先権の利益を主張し、その出願の全体の内容は、参照により本出願に組み込まれる。
本発明は、データ符号化及び復号化に関する。
この「背景技術」で説明される事項は、一般的には本出願における背景を説明するためのものである。この背景技術の欄で説明される範囲での現在における発明者の技術は、本出願の出願時点で従来技術ではない可能性がある説明の側面と同様に、明示的にも暗示的にも、本願に対する従来技術として認めるものではない。
ビデオデータを周波数領域表現に変換し、周波数領域係数を量子化し、その後、量子化係数に対して何らかのエントロピ符号化を適用する、いくつかのビデオデータ符号化及び復号化システムが存在している。これにより、ビデオデータの圧縮が実現される。元のビデオデータの再構築バージョンを復元するためには、対応する復号化又は解凍技術が適用される。
Ｈ．２６４／ＭＰＥＧ−４ アドバンスド・ビデオ符号化（ＡＶＣ：Advanced Video Coding）などで使用されているような、現在におけるビデオコーデック（コーダ‐デコーダ）は、主に、連続的なビデオフレーム間における差を符号化するだけでデータ圧縮を実現している。これらのコーデックは、マクロブロックと呼ばれる規則的なアレイを使用している。マクロブロックのそれぞれは、以前のビデオフレームにおける対応するマクロブロックとの比較領域として使用される。また、マクロブロック内における画像領域は、そのとき、ビデオシーケンスにおける、対応する現在及び以前のマクロブロック間、あるいは、ビデオシーケンスにおける単フレーム内の隣接マクロブロック間において見出された移動度に応じて符号化される。
Ｈ．２６５又はＭＰＥＧ−Ｈパート２としても知られている高効率ビデオ符号化（ＨＥＶＣ：High Efficiency Video Coding）は、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの後継案である。ＨＥＶＣでは、ビデオ画質が改善され、Ｈ．２６４と比べてデータ圧縮率が２倍とされている。また、ピクセル解像度が１２８×９６から７６８０×４３２０まで拡張可能であり、大まかには、１２８ｋｂｉｔ／ｓから８００Ｍｂｉｔ／ｓまでの範囲のビットレートに等しい。
ＨＥＶＣでは、いわゆる４：２：０ブロック構造は、民生装置に対して提案され、各クロマチャネルで使用されるデータ量は、ルマチャネルにおける１／４とされている。これは、人間は、主観的に色よりも明るさの変化に対して敏感であるためであり、また、品質の客観的な損失を伴わずに、より多くの圧縮及び／又は色チャネルにおけるより少ない情報を実現することができるためである。
ＨＥＶＣでは、既存のＨ．２６４及びＭＰＥＧ標準で見られるマクロブロックの代わりに、可変サイズ構造である符号ユニット（ＣＵ：Coding Unit）に基づく柔軟な配列が用いられる。
このため、ビデオフレーム内の画像データを符号化するとき、一様に分散されたマクロブロックを使用する代わりに、外見上の画像の複雑さ又は検出された動きレベルに応じてＣＵのサイズを選択することができる。従って、フレーム間の微小な動き及びフレーム内の微小な変動を持つ領域において、非常に優れた圧縮を実現することができ、さらに、フレーム間での大きな動き又は画像における複雑さを持つ領域において優れた画像品質を維持することができる。
各ＣＵは、ピクチャ内又はピクチャ間予測タイプにおける１以上の可変ブロックサイズ予測ユニット（ＰＵ：Prediction Unit）と、空間ブロック変換及び量子化のための係数を含む１以上の変換ユニット（ＴＵ：Transform Unit）とを含んでいる。
さらに、ＰＵ及びＴＵブロックは、輝度（luminance）又は明るさ（Brightness）のチャネルである、グレースケールのチャネルとも考えられるルマ（Ｙ）と、２つの色差又はクロミナンス（クロマ）チャネルであるＣｂ及びＣｒとを含む３つのチャネルそれぞれに対して提供される。これらのチャネルは、ルマチャネルのグレースケール画像に対して色を提供する。必要に応じて、Ｙ、ルミナンス及びルマという用語は、ここでは、同じ意味で使用され、同様に、Ｃｂ及びＣｒ、並びに、クロミナンス及びクロマという用語は同じ意味で使用され、クロミナンス及びクロマは、一般的に"Ｃｒ及びＣｒの一方又は両方"の意味で使用され、一方で、特定のクロミナンスチャネルが議論されるときに、用語Ｃｂ又はＣｒによって区別される。
一般的には、ＰＵがルマ部分及びクロマ部分を有している点を除いて、ＰＵは、チャネル独立性であると考えられる。一般的には、これは、各チャネルに対するＰＵの一部を形成するサンプルが、画像の同じ領域を表しており、これにより３つのチャネル間におけるＰＵ間に一定の関係がもたらされることを意味している。例えば、４：２：０ビデオでは、ルマについての８×８ＰＵは、ルマ部分と同じ領域を表す、４：２：０ビデオにおけるルマデータと比較される４：２：０クロマデータのサブサンプリングされた特性であるためにピクセル数が少ないＰＵのクロマ部分とともに、対応するクロマについての４×４ＰＵを常に有している。２つのクロマチャネルは、イントラ予測情報を共有し、また、３つのチャネルは、インター予測情報を共有する。同様に、ＴＵ構造も３つのチャネル間で一定の関係を有している。
しかしながら、専門の放送及びデジタルシネマ装置では、クロマチャネルにおいてより少ない圧縮（又は、より多くの情報）を実現することが望ましいが、これは、現在又はＨＥＶＣ処理における動作に影響を及ぼす可能性がある。
本願は、このような処理により発生する問題に対処し又は軽減する。本発明の各側面及び特徴は、添付の特許請求の範囲において定義される。なお、上述の一般的な説明及び以降の詳細な説明は、本発明の一例であり、これらに限定されるものではない。
データ圧縮及び解凍を使用するオーディオ／ビデオデータ送受信システムを示す概略図である。 ビデオデータ圧縮を使用するビデオ表示システムを示す概略図である。 ビデオデータ圧縮及び解凍を使用するオーディオ／ビデオ記憶システムを示す概略図である。 ビデオデータ圧縮を使用するビデオカメラを示す概略図である。 ビデオデータ圧縮及び解凍装置を示す概略図である。 予測画像の生成を示す概略図である。 最大符号化ユニット（ＬＣＵ：Largest Coding Unit）を示す概略図である。 ４つの符号化ユニット（ＣＵ：Coding Unit）の組を示す概略図である。 小さな符号化ユニットにサブ分割された図８の符号化ユニットを示す概略図である。 小さな符号化ユニットにサブ分割された図８の符号化ユニットを示す概略図である。 予測ユニット（ＰＵ：Prediction Unit）の配列を示す概略図である。 変換ユニット（ＴＵ：Transform Unit）の配列を示す概略図である。 部分的に符号化された画像を示す概略図である。 可能なイントラ予測方向の組を示す概略図である。 予測モードの組を示す概略図である。 右上り斜めスキャンを示す概略図である。 ビデオ圧縮装置を示す概略図である。 可能なブロックサイズを示す概略図である。 可能なブロックサイズを示す概略図である。 クロマ及びルマブロックからの共同位置情報の使用を示す概略図である。 一方のクロマチャネルからの共同位置情報が他のクロマチャネルについて使用される状況を示す概略図である。 ルマ‐クロマモードに使用されるピクセルを示す概略図である。 ルマ予測モードの組を示す概略図である。 水平にまばらなクロマチャネルに適用された、図２２の方向を示す概略図である。 長方形クロマピクセル配列にマッピングされた、図２２の方向示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ４：２：０についての量子化パラメータテーブルを示す概略図である。 ４：２：２についての量子化パラメータテーブルを示す概略図である。 量子化変数テーブルを示す概略図である。 量子化変数テーブルを示す概略図である。
添付図面と共に以降の詳細な説明を参照することによって、本発明の完全な理解及びその優位性の多くが容易に理解されるであろう。
図面を参照して、図１〜図４には、本発明の実施形態に関連して、以降で説明される圧縮及び／又は解凍装置を利用する装置及びシステムが概略的に示されている。
以降で説明される全てのデータ圧縮及び／又は解凍装置は、ハードウェアで実現されてもよいし、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）、あるいはこれらの組み合わせなどのようなプログラム可能なハードウェアとして、汎用コンピュータなどの汎用データ処理装置上で動作するソフトウェアで実現されてもよい。ソフトウェア及び／又はファームウェアで実現される実施形態の場合、このようなソフトウェア及び／又はファームフェア、並びに、このようなソフトウェア及び／又はファームウェアが記憶又は提供される非一時的なデータ記録媒体が、本発明の実施形態であると考えられる。
図１は、ビデオデータ圧縮及び解凍を使用するオーディオ／ビデオデータ送受信システムを示す概略図である。
入力オーディオ／ビデオ信号１０は、例えば、ケーブル、光ファイバ、無線リンク等の送信ルート３０に沿って送信されるオーディオ／ビデオ信号１０のビデオ要素を少なくとも圧縮するビデオデータ圧縮装置２０へ供給される。圧縮された信号は、解凍装置４０によって処理されて、出力オーディオ／ビデオ信号５０が提供される。戻りパスでは、圧縮装置６０は、送信ルート３０に沿って解凍装置７０へと送信されるオーディオ／ビデオ信号を圧縮する。
圧縮装置２０及び解凍装置７０は、それ故、送信リンクにおける１つのノードを形成することができる。また、解凍装置４０及び圧縮装置６０は、送信リンクにおける他の１つのノードを形成することができる。もちろん、送信リンクが単方向である場合、一方のノードのみが圧縮装置として要求され、他方のモードのみが解凍装置として要求される。
図２は、ビデオデータ解凍を使用するビデオ表示システムを模式的に示す図である。特に、圧縮されたオーディオ／ビデオ信号１００は解凍装置１１０によって処理され、表示装置１２０上で表示され得る解凍信号が提供される。解凍装置１１０は、表示装置１２０の不可欠な部分として実現され、例えば、表示装置として同じケージング内に提供される。あるいは、解凍装置１１０は、（例えば、）いわゆるセットトップボックス（ＳＴＢ：Set Top Box）として提供されてもよい。なお、"セットトップ"との表現は、表示装置１２０に対して特定の方向又は位置に位置されるボックスに対する要求を意味しているのではなく、単に、周辺機器として表示部に接続可能なデバイスを示すためにこの用語は使用されている。
図３は、ビデオデータ圧縮及び解凍を使用するオーディオ／ビデオ記憶システムを示す概略図である。入力オーディオ／ビデオ信号１３０は、例えば、磁気ディスク装置、光ディスク装置、磁気テープ装置、あるいは、半導体メモリやその他の記憶装置などの半導体記憶装置などの記憶装置１５０によって記憶される圧縮信号を生成する圧縮装置１４０に供給される。再生においては、圧縮データが記憶装置１５０から読み出されて、解凍のために解凍装置１６０を通され、これにより出力オーディオ／ビデオ信号１７０が提供される。
なお、圧縮又は符号化信号、並びに、この信号を記憶する記憶媒体は、本発明の一実施形態であると考えられる。
図４は、ビデオデータ圧縮を使用するビデオカメラを示す概略図である。図４において、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサや、関連する制御及び読み出しの電子機器などの画像キャプチャ装置１８０は、圧縮装置１９０を通されるビデオ信号を生成する。１つのマイクロフォン（あるいは複数のマイクロフォン）２００は、圧縮装置１９０を通されるオーディオ信号を生成する。圧縮装置１９０は、記憶及び／又は送信される圧縮オーディオ／ビデオ信号を生成する（概略ステージ２２０として一般的に表されている）。
以降で述べられる技術は、主に、ビデオデータ圧縮及び解凍に関連している。なお、圧縮オーディオ／ビデオ信号を生成するために、多くの既存の技術が、以降で説明されるビデオデータ圧縮技術と共にオーディオデータ圧縮に使用されてもよい。対応して、オーディオデータ圧縮についての分離した説明は行わない。また、特に、放送品質ビデオデータにおいて、ビデオデータに関連するデータレートは、一般的に、オーディオデータに関連するデータレートよりも非常に高い（圧縮及び非圧縮を問わず）。従って、非圧縮オーディオデータは、圧縮オーディオ／ビデオ信号を形成するために、圧縮ビデオデータと一緒にすることができる。さらに、図示される例（図１〜図４参照）は、オーディオ／ビデオデータに関連しているが、以降で説明される技術は、単にビデオデータを扱う（つまり、圧縮、記憶、表示及び送信する）システムにおける使用されてもよい。つまり、この実施形態は、必ずしも関連するオーディオデータの処理を必要とすることなく、ビデオデータ圧縮に適用することができる。
図５は、ビデオデータ圧縮及び解凍装置を示す概略図である。
コントローラ３４３は、装置の全体の動作を制御し、特に、圧縮モードを参照するとき、（以降で説明される）試験的符号化処理を制御して、ＣＵ、ＰＵ、ＴＵブロックサイズ等の動作の各種モードを選択する。
入力ビデオ信号３００の連続画像は、加算部３１０及び画像予測部３２０に供給される。画像予測部３２０は、図６を参照して後に詳述される。加算部３１０は、実際には減算（負の加算）動作を実行し、"＋"入力上で入力ビデオ信号３００を受信し、"−"入力上で画像予測部３２０の出力を受信し、これにより、予測画像が入力画像から減算される。この結果は、実画像及び予測画像の差を表すいわゆる残差画像信号３３０である。
残差画像信号がなぜ生成されるのかについての１つの理由について説明する。説明されるデータ符号化技術、つまり、残差画像信号に適用される技術は、符号化される画像において小さな"エネルギー"しかない場合に、より効率的に処理を行うためのものである。ここで、"効率的"との用語は、少量の符号化データの生成について言及しており、特に画像品質レベルについては、できるだけ少量のデータを生成することが望ましい（"効率"が考慮されて）。残差画像における"エネルギー"は、残差画像に含まれる情報量に関連している。仮に、予測画像が実画像と一致している場合、これらの２つの間の差（つまり、残差画像）は、ゼロの情報（ゼロエネルギー）を含み、非常に簡単に少量の符号化データに符号化することができる。一般的には、仮に、予測処理が合理的に効果的に動作される場合、その予想は、残差画像データが、入力画像よりも少ない情報（小さなエネルギー）を含み、より簡単に少量の符号化データに符号化することができるという予想となる。
残差画像データは、残差画像データの離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）表現を生成する変換ユニット３４０へと供給される。このＤＣＴ技術自体は、広く知られており、ここでの詳細な説明は行わない。しかしながら、特に、ＤＣＴ動作が適用されるデータの異なるブロックの選択に関して、以降で詳細に説明される装置で使用される技術の側面が存在する。これらについては、図７〜図１２を参照して以降で説明する。いくつかの実施形態では、ＭＤＤＴ（Mode Dependent Directional Transform）として知られるシステムにおいて、ＤＣＴの代わりに、異なる周波数分離変換が選択的に使用されてもよく、これについては、以降で説明する。ここでは、ＤＣＴ変換が使用されると仮定する。
変換ユニット３４０の出力、つまり、画像データにおける各変換ブロックのＤＣＴ係数の組は、量子化部３５０へと供給される。各種量子化技術は、量子化スケーリング要素による単純な乗算から、量子化パラメータの制御下における複雑なルックアップテーブルの応用に至るまで、ビデオデータ圧縮の分野において広く知られている。その一般的な目的は２つの要素からなる。第１に、量子化処理は、変換データにおける可能値の数を減少させる。第２に、量子化処理は、変換データの値がゼロとなる可能性を増加させることができる。これらの両者は、少量の圧縮ビデオデータの生成において、後述のエントロピ符号化処理をより効率的に動作させることができる。
データスキャニング処理がスキャン部３６０によって適用される。スキャニング処理の目的は、非ゼロの量子化係数が全体でできるだけ多く集合するように、また、もちろん、その結果、ゼロ値の係数が全体でできるだけ多く集合するようにするために、量子化変換データを再整理することにある。これらの特徴により、いわゆるランレングス符号化、又は同様の技術が効率的に適用される。つまり、スキャニング処理は、（ａ）全ての係数がスキャンの一部として一度は選択されるように、且つ（ｂ）スキャンが望ましい再整理を提供するように、"スキャニング順"に応じて、量子化変換データから、特に、変換及び量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。いくつかの実施形態では、いわゆるＭＤＣＳ（Mode Dependent Coefficient Scanning）が使用されてもよく、スキャンパターンはブロックからブロックへと変わってもよい。このような構成は、後に詳述する。ここでは、右上り斜め方向スキャンが使用されていると仮定する。
スキャンされた係数は、その後、エントロピエンコーダ３７０を通される。この場合もやはり、各種のタイプのエントロピ符号化が用いられてもよい。２つの例は、いわゆるＣＡＢＡＣ（Context Adaptive Binary Coding）システムの変形、及び、いわゆるＣＡＶＬＣ（Context Adaptive Variable-Length Coding）システムの変形である。一般的に、ＣＡＢＣは、より良い効率の提供が考慮されており、或る研究では、ＣＡＶＬＣと比べて同等の画像品質について、符号化出力データの品質において１０−２０％の減少がみられる。しかしながら、ＣＡＶＬＣは、（その実現において）ＣＡＢＡＣよりも大幅に低いレベルの複雑さを表すことが考慮されている。なお、スキャニング処理及びエントロピ符号化処理は、別々に処理されるとして示されているが、実際には、これらは全体として組み合わせるか、または、扱うことができる。つまり、エントロピ符号化におけるデータの読み出しは、スキャン順で行われ得る。対応する考え方は、以降で説明される各逆処理に適用される。なお、出願時点で検討中の現在のＨＥＶＣ文書は、ＣＡＶＬＣ係数エンコーダの可能性をもはや含んではいない。
エントロピエンコーダ３７０の出力は、例えば、予測部３２０が予測画像を生成する方法を定義する加えられたデータ（上述及び／又は後述）と共に、圧縮出力ビデオ信号３８０を提供する。
一方、予測部３２０自身の動作は圧縮出力データの解凍バージョンに依存するため、戻りパスも提供される。
この特徴について説明する。解凍処理（後述）における適切なステージで残差データの解凍バージョンが生成される。この解凍残差データは、出力画像を生成するために、予測画像に加えられなくてはならない（なぜなら、元の残差データは、入力画像及び予測画像の差であったため）。圧縮側及び解凍側の間でこの処理が比較可能なように、予測部３２０によって生成された予測画像は、圧縮処理中及び解凍処理中において、同じであるべきである。もちろん、解凍では、装置は、元の入力画像へアクセスできず、解凍画像へのみアクセスできる。従って、圧縮では、予測部３２０は、圧縮画像の解凍バージョンに基づいてその予測を行う（少なくとも、インター画像符号化について）。
エントロピ符号化部３７０により実行されるエントロピ符号化処理は、"無損失（lossless）"であると考えられ、つまり、エントロピ符号化部３７０に最初に供給された正確に同じデータに逆にして至ることができる。従って、戻りパスは、エントロピ符号化ステージよりも前に実行され得る。実際には、スキャン部３６０によって実行されるスキャニング処理も無損失であると考えられるが、本実施形態では、戻りパス３９０は、量子化部３５０の出力から、逆量子化部４２０の入力までとされている。
一般的には、エントロピ復号化部４１０、逆スキャン部４００、逆量子化部４２０、逆変換部４３０は、それぞれ、エントロピ符号化部３７０、スキャン部３６０、量子化部３５０及び変換部３４０の逆機能を提供する。ここでは、圧縮処理について説明を続け、入力圧縮ビデオ信号を解凍するための処理については後に別で説明を行う。
圧縮処理では、スキャン係数は、戻りパス３９０により量子化部３５０から、スキャン部３６０の逆動作を実行する逆量子化部４２０へと導かれる。逆量子化及び逆変換処理は、圧縮−解凍残差画像信号４４０を生成するユニット４２０、４３０により実行される。
加算部４５０で画像信号４４０が予測部３２０の出力に加えられて、再構築出力画像４６０が生成される。これは、画像予測部３２０への１つの形成し、これについて以降で説明する。
受信された圧縮ビデオ信号の解凍に適用される処理について説明すると、信号は、エントロピ復号化部４１０に供給され、加算部４５０により画像予測部３２０の出力に加えられる前に、そこから逆スキャン部４００、逆量子化部４２０及び逆変換部４３０の列へと導かれる。単刀直入に言うと、加算部４５０の出力４６０は、出力解凍ビデオ信号４８０を形成する。実際には、信号の出力の前に、さらなるフィルタリングが適用されてもよい。
従って、図５及び図６の装置は、圧縮装置又は解凍装置として動作することができる。この２種類の装置の機能は重複する部分が非常に多い。スキャン部３６０及びエントロピ符号化部３７０は、解凍モードでは使用されず、予測部３２０（詳細は後述）及び他のユニットの動作は、受信された圧縮ビットストリームに含まれるか、あるいは、関連づけられたモード及びパラメータ情報に従う（このような情報自体を生成するのではなく）。
図６は、予測画像の生成を示す概略図であり、特に、画像予測部３２０の動作を示している。
いわゆるイントラ画像予測、並びに、いわゆるインター画像予測若しくは動き補償（ＭＣ：Motion-Compensated）予測の２つの基本的な予測モードが存在する。
イントラ画像予測は、同じ画像内からの、データ上の画像ブロックの内容の予測を基礎としている。これは、他のビデオ圧縮技術における、いわゆるＩ−フレーム符号化に対応する。画像全体がイントラ符号化されるＩ−フレーム符号化とは対照的に、本実施形態では、イントラ及びインター符号化間における選択がブロック毎を基準として行われ、一方で本発明の他の実施形態では、その選択が依然として画像毎を基準として行われる。
動き補償予測は、インター画像予想の一例であり、他の隣接又は近接画像において、現在の画像における画像詳細のソースを定義することを試みる動き情報を使用する。従って、理想的な例では、予測画像における画像データのブロックの内容は、隣接画像における同じかわずかに異なる位置において対応するブロックを指し示すリファレンス（動きベクトル）として、非常に単純に符号化され得る。
図６に戻り、図６には２つの画像予測構成（イントラ及びインター画像予測に対応）が示されており、その結果が、モード信号５１０の制御下において、乗算部５００によって選択されて、加算部３１０及び４５０に供給するための予測画像のブロックが提供される。この選択は、どちらを選択すれば最小の"エネルギー"となるかに基づいて行われ（上述のように、符号化を要求する情報内容が考慮されてもよい）、また、この選択は、符号化された出力データストリーム内でエンコーダに通知される。このコンテキストでは、例えば、入力画像から、予測画像の２つのバージョンの領域を試行減算し、差分画像の各ピクセル値を２乗し、乗算値を合計し、その画像領域に関連する差分画像における低い平均乗算値生じさせる、２つのバージョンのうちの一方を定義するによって、画像エネルギーを検出することができる。
実際の予測は、イントラ予測システムにおいて、信号４６０の一部として受信された画像ブロックに基づいて行われ、つまり、予測は、正確に同じ予測が解凍装置において可能なように、符号化−復号化画像ブロックに基づいて行われる。しかしながら、データは、イントラ画像予測部５３０の動作を制御するイントラモード選択部５２０により、入力ビデオ信号３００から抽出されてもよい。
インター画像予測では、動き補償（ＭＣ）予測部５４０は、例えば、動き推定部５５０によって入力ビデオ信号３００から抽出された動きベクトルなどの動き情報を使用する。これらの動きベクトルは、インター画像予測のブロックを生成する動き補償予測部５４０によって、再構築画像４６０の処理バージョンに適用される。
信号４６０に適用される処理について説明する。まず、信号は、フィルタ部５６０によってフィルタリングされ、これについて、以降でさらに詳細に説明する。この処理では、変換ユニット３４０により実行されるブロック基準処理及び後続の動作に対する影響を除去するか、少なくとも低減させる"非ブロック化（deblocking）"フィルタが適用される。サンプル適応オフセット（ＳＡＯ：Sample Adaptive Offsetting）フィルタ（後述）が用いられてもよい。また、再構築信号４６０及び入力ビデオ信号３００を処理することによって抽出された係数を使用して、適応ループフィルタが適用される。この適応ループフィルタは、公知の技術を使用して、フィルタリングされるデータに対して適応フィルタ係数を適用するフィルタの一種である。つまり、フィルタ係数は、各種要素に基づいて変化し得る。使用されるフィルタ係数を定義するデータは、符号化された出力データストリームの一部としてストリームに含められる。
適応フィルタリングは、画像復元のためのイン‐ループフィルタを示す。ＬＣＵは、ＬＣＵ内の各ＣＵについて抽出される、フィルタの選択及びＡＬＦのＯＮ／ＯＦＦ状態と共に、最大で１６のフィルタによってフィルタリングすることができる。現在、この制御は、ＣＵレベルではなく、ＬＣＵレベルで行われる。
フィルタ部５６０からのフィルタリングされた出力は、実際には、装置が圧縮装置として動作しているときに、出力ビデオ信号４８０を形成する。この信号は、１以上の画像又はフレーム記憶部５７０に記憶され、連続画像の記憶は、動き補償予測処理、特に、動きベクトルの生成において要求される。記憶の要求を軽減するため、画像記憶部５７０内の記憶画像は、圧縮形式とされ、その後、動きベクトルの生成に使用するために解凍されてもよい。この特定の目的のために、どのような公知の圧縮／解凍システムが用いられてもよい。記憶画像は、記憶画像のより高い解像度バージョンを生成する補間フィルタ５８０を通され、この例では、補間フィルタ５８０によって出力される補間画像の解像度が、４：２：０のルミナンスチャネルについて、画像記憶部５７０に記憶された画像の４倍（各面積）、かつ、４：２：０のクロミナンスチャネルについて、画像記憶部５７０に記憶された画像の８倍（各面積）となるように、中間サンプル（サブサンプル）が生成される。補間画像は、動き推定部５５０への入力、動き補間予測部５４０の入力として通される。
本発明の一実施形態では、乗算部６００を使用して、入力ビデオ信号のデータ値に４の要素を掛け合わせ（効率的には、単にデータ値を２ビット左にシフトさせる）、分割部又は右‐シフト部６１０を使用して、装置の出力で、対応する分割動作（２ビット右にシフト）を適用するため、更に追加のステップが提供される。従って、左へのシフト及び右へのシフトは、装置の内部動作について、データを純粋に変更させる。この方法では、如何なるデータ丸め誤差の影響も低減されるため、装置内において高い計算精度を提供することができる。
圧縮処理のために画像が分割される方法について説明する。基本的なレベルでは、圧縮される画像はサンプルブロックの配列であると考えらえる。便宜的に、検討されている最大のこのようなブロックは、典型的な６４×６４サンプルの正方形配列を表すいわゆる最大符号化ユニット（Largest Coding Unit）７００である（ＬＣＵのサイズは、ＨＥＶＣ文書等によって定義された最大サイズまでエンコーダにより設定可能である）。ここで、ルミナンスサンプルについて説明する。４：４：４、４：２：２、４：２：０または４：４：４：４（ＧＢＲ＋キーデータ）などのクロミナンスモードに応じて、ルミナンスブロックに対応する、対応クロミナンスサンプルの数に違いがある。
３つの基本的なブロックの種類は、符号化ユニット、予測ユニット及び変換ユニットである。一般的には、ＬＣＵの再帰的な分割では、例えば、ブロックサイズ及びブロック符号化パラメータ（予測又は残差符号化モードなど）が、符号化される画像の特定の特徴に応じて設定されるといった方法で、入力画像が分割される。
ＬＣＵは、いわゆる符号化ユニット（ＣＵ）に分割されてもよい。符号化ユニットは、常に正方形であり、また、８×８サンプルとＬＣＵ７００の最大サイズとの間のサイズを有している。符号化ユニットは、ツリー構造の一種として構成されていてもよく、例えば、第１の分割が図８に示すように行われて、３２×３２サンプルの符号化ユニットが与えられる。続いて行われる分割は、１６×１６サンプルの符号化ユニット７２０（図９）及び潜在的な８×８サンプルの符号化ユニット（図１０）が与えられるように、選択的な基準に基づいて行われてもよい。全体的に、この処理は、それぞれＬＣＵと同じくらい大きいか、あるいは、８×８サンプルと同じくらい小さいＣＵブロックの容量適応符号化ツリー構造を提供することができる。出力ビデオデータの符号化は、符号化ユニット構造に基づいて行われ、つまり１つのＬＣＵが符号化され、その後、処理が次のＬＣＵに移る。
図１１は、予測ユニット（ＰＵ）の配列を示す概略図である。予測ユニットは、画像予測処理に関連する情報を搬送するための基本的なユニットであり、換言すると、図５の装置からの出力ビデオ信号を形成するためのエントロピ符号化された残差画像に加えられる追加データである。一般的に、予測ユニットは、その形状が正方形には限られない。これらは、特に、１つの正方形符号化ユニットの半分を形成する長方形など、他の形状を採ることができる（例えば、８×８ＣＵは、８×４又は４×８ＰＵを持ち得る）。画像特徴に合わせられるＰＵの採用は、ＨＥＶＣの必須の部分ではないが、その一般的な目的は、エンコーダが、隣接予測ユニットの境界に、ピクチャ内の実オブジェクトの境界に合わせられるようにし、異なる予測パラメータが異なる実オブジェクトに適用することができるようにするためである。各符号化ユニットは、１以上の予測ユニットを含んでいてもよい。
図１２は、変換ユニット（ＴＵ）の配列を示す概略図である。変換ユニットは、変換及び量子化処理における基本的なユニットである。変換ユニットは、正方形であっても正方形でなくてもよく、４×４から３２×３２までのサンプルサイズを採ることができる。各符号化ユニットは１以上の変換ユニットを含むことができる。図１２における頭字語ＳＤＩＰ−Ｐは、いわゆる短距離イントラ予測分割を示している。この配列では、１つの面積変換のみが使用されており、４×Ｎブロックに、入力データと共にＮ変換が行われ、現在のＳＤＩＰ−Ｐ内の以前に復号化された隣接ブロック及び以前に符号化された隣接線に基づく変換が行われる。現在、ＳＤＩＰ−Ｐは，本願の出願時点でのＨＥＶＣには含まれていない。
上述のように、符号化は、１つのＬＣＵについて行われ、その後、次のＬＣＵ、・・のように行われる。ＬＣＵ内では、符号化はＣＵ毎に行われる。ＣＵ内では、符号化は、１つのＴＵに対して行われ、その後、次のＴＵ、・・のように行われる。
イントラ予測処理について説明する。一般的には、イントラ予測は、同じ画像内における以前の符号化及び復号化サンプルからの現在のサンプルのブロック（予測ユニット）における予測の生成を含む。図１３は、部分的に符号化された画像８００を示す概略図である。ここで、画像は、ＬＣＵ基準で、左上から右下へと符号化が行われている。画像全体として扱うことによって部分的に符号化されたＬＣＵの一例がブロック８１０として示されている。上部の斜線領域８２０及びブロック８１０の左側は既に符号化されている。ブロック８１０の内容のイントラ画像予測は、斜線領域８２０のいずも利用することができるが、その下の斜線が付されていない領域を利用することができない。しかしながら、現在のＬＣＵ内における個々のＴＵについては、上述の符号化の階層順（ＣＵ毎、ＴＵ毎）は、例えば、そのＴＵの右上又は左下のＴＵの符号化に利用可能な、現在のＬＣＵにおける以前に符号化されたサンプルが存在する可能性があることを意味している。
ブロック８１０は、上述のように、イントラ画像予測処理を行うためのＬＣＵを表しており、より小さな予測ユニット及び変換ユニットの組へと変換されてもよい。現在のＴＵ８３０の一例がＬＣＵ８１０内に示されている。
イントラ画像予測は、例えば、現在のＴＵの上及び／又は左に位置する、考慮される現在のＴＵよりも前に符号化されたサンプルが考慮される。要求されるサンプルが予測されるソースサンプルは、現在のＴＵに関連する異なる位置又は方向に位置していてもよい。現在の予測ユニットについてどの方法が適切であるかを決定するために、エンコーダのモード選択部５２０は、各候補方向について利用可能なＴＵ構造の全ての組み合わせを試し、最良の圧縮効率を有するＰＵ方向及びＴＵ構造を選択してもよい。
ピクチャは、"スライス"基準で符号化されてもよい。１つの例では、スライスは、ＬＣＵの水平隣接グループである。しかし、より一般的には、残差画像全体は、スライス、単ＬＣＵであり得るスライス、又はＬＣＵの行であり得るスライス等を形成する。スライスは、独立ユニットとして、これらが符号化されたときの誤差に復元力を与えることができる。エンコーダ及びデコーダの状態は、スライス境界で完全にリセットされる。例えば、イントラ予測は、スライス境界をまたいで実行されず、スライス境界は、この目的のために画像境界として扱われる。
図１４は、可能な（候補）予測方向の組を示す概略図である。３４の候補方向の一式は、８×８、１６×１６又は３２×３２の予測ユニットに利用可能である。予測ユニットサイズが、４×４及び６４×６４サンプルである特殊なケースでは、それらに利用可能な候補方向における、減らされた組が使用される（それぞれ、１７候補方向及び５候補方向）。方向は、現在のブロック位置に関連する水平及び垂直移動により決定されるが、予測モードとして符号される。その組が図１５に示されている。なお、いわゆるＤＣモードは、上部及び左側のサンプルの周囲の単純算術平均を表す。
図１６は、スキャン部３６０により適用されるスキャンパターンの一例である、いわゆる右上り斜めスキャンを示す概略図である。図１６において、このパターンでは、８×８ＤＣＴ係数のブロックの一例が、ブロックの左上の位置８４０に位置するＤＣ係数と共に示されており、左上の位置８４０に対する下側及び右側の距離を増やす係数により表される水平及び垂直空間周波数が増加される。
ブロック構成及びＣＵ、ＰＵ、ＴＵ構造のバリエーションについて以降で説明する。これについては、上述の図５及び図６に示された装置と多くの点で類似する、図１７の装置の説明において説明する。実際に、多くの同じ参照番号が使用され、これらの部分については説明を省略する。
図５及び図６との主な実質的な違いは、フィルタ５６０（図６）であり、図１７では、フィルタは、非ブロック化フィルタ１０００及び関連する符号化決定ブロック１０３０、サンプル適応オフセット（ＳＡＯ）フィルタ１０１０及び関連する係数生成部１０４０、並びに、適応ループフィルタ（ＡＬＦ）１０２０及び関連する係数生成部１０５０を含むものとしてより詳細に示されている。
非ブロック化フィルタ１０００は、ブロック符号化技術が使用されるときに、ＣＵ、ＰＵ及びＴＵ境界間を形成し得る鋭いエッジを平滑化することによって、歪みを低減し、表示品質及び予測性能を改善することを試みる。
ＳＡＯフィルタ１０１０は、再構築ピクセルを、異なるカテゴリーに分類し、その後、ピクセルの各カテゴリーのためのオフセットを単純に加算することによって、歪みを低減させることを試みる。ピクセル明度及びエッジ特性がピクセル分類に使用される。符号化効率をさらに改善するために、ピクチャは、オフセットパラメータの局所化のための複数の領域に分割され得る。
ＡＬＦ１０２０は、再構築及びソースフレーム間の差が最小化されるように、圧縮ピクチャの復元を試みる。ＡＬＦの係数は、フレーム基準で算出及び送信される。ＡＬＦはフレーム全体又は局所的領域に対して適用され得る。
上述のように、提案されているＨＥＶＣ文書は、４：２：０方式として知られる特定のクロマサンプリング方式を使用している。４：２：０方式は、家庭／民生装置に使用し得る。しかしながら、いくつかの他の方式も使用可能である。
特に、いわゆる４：４：４方式は、いくらかの忠実性の損失を伴う、専門の放送、マスタ及びデジタルシネマに使用することができる。
これらの方式及び対応する可能なＰＵ及びＴＵブロック構造について以降で説明する。
さらに、他の方式は、４：０：０モノクローム方式を含む。
４：４：４方式では、３つのＹ、Ｃｂ及びＣｒチャネルは、それぞれ同じサンプルレートを有している。従って、原則的には、この方式では、クロマデータの量がルマデータの量の２倍になる。
従って、ＨＥＶＣにおいて、この方式では、３つのＹ、Ｃｂ及びＣｒチャネルは、それぞれ、同じサイズのＰＵ及びＴＵを有しており、この場合、例えば、８×８ルマブロックは、２つのクロマチャネルそれぞれに対する、対応する８×８クロマブロックを有している。
結果として、この方式では、通常、各チャネルにおけるブロックサイズ間において、直接的な１：１の関係が存在する。
４：２：２方式では、ルマサンプルレートの半分で、２つのクロマ要素がサンプリングされる（例えば、垂直又は水平サブサンプリングが使用されるが、便宜的に、水平サブサンプリングであると仮定する）。このため、原則的には、この方式では、クロマデータが２つのクロマチャネル間で分割されて、クロマデータの量及びルマデータの量が同じとなる。
従って、ＨＥＶＣにおいて、この方式では、Ｃｂ及びＣｒチャネルは、ルマチャネルに対して、異なるサイズのＰＵ及びＴＵを有しており、この場合、例えば、８×８ルマブロックは、各クロマブロックに対して、対応する４（幅）×８（高さ）クロマブロックを持ち得る。
従って、特に、この方式では、クロマブロックは、正方形ルマブロックに対応していたとしても、非正方形とされる。
現在において提案されているＨＥＶＣ４：２：０方式では、２つのクロマ要素が、ルマのサンプルレートの１／４でサンプリングされる（例えば、垂直及び水平サブサンプリングが使用される）。このため、原則的には、この方式では、クロマデータの量がルマデータの量の半分になる。
従って、ＨＥＶＣにおいて、この方式では、さらにＣｂ及びＣｒチャネルは、ルマチャネルに対して、異なるサイズのＰＵ及びＴＵを有している。この場合、例えば、８×８ルマブロックは、各クロマチャネルに対して、対応する４×４クロマブロックを有している。
上述の方式は、その技術分野において、口語表現において'チャネル比''４：２：０チャネル比'などとして知られている。しかしながら、上述の説明から理解されるように、実際には、これは、Ｙ、Ｃｂ及びＣｒが、上述の比で圧縮又は提供されるといったことを常に意味しているのではない。従って、チャネル比とは呼ばれてはいるものの、これは、文字通りの意味として捉えられるべきではない。実際に、４：２：０での正確な比は、４：１：１である（４：２：２方式及び４：４：４での比は、実際に正しい）。
図１８ａ及び図１８ｂを参照して特定の構成を説明する前に、一般的な技術についてまとめ、又は再考する。
最大符号化ユニット（ＬＣＵ）は、ルート（根）・ピクチャ・オブジェクトである。これは、典型的には、６４×６４ルマピクセルに等しいエリアを覆う。また、再帰的に分割されて、符号化ユニット（ＣＵ）のツリー階層構造を形成する。一般的には、３つのチャネル（１つのルマチャネル及び２つのクロマチャネル）は、同じＣＵツリー階層を持つ。とはいうものの、チャネル比に基づき、特定のルマＣＵは、対応するクロマＣＵとは異なる数のピクセルを含むことがある。
ツリー階層の最後のＣＵ、つまり、再帰的な分割処理の結果としての最小のＣＵ（リーフ（葉）ＣＵとも呼ばれる）は、その後、予測ユニット（ＰＵ）へと分割される。３つのチャネル（１つのルマチャネル及び２つのクロマチャネル）は、クロマチャネルについて、対応するＰＵのサンプルが少なすぎる場合（この場合には、このチャネルについて、１つのＰＵだけが利用可能）を除いて、同じＰＵ構造を有している。一般的にイントラＰＵの最小の面積は４サンプルとされるが、インターＰＵの最小面積は４ルマサンプル（又は、４：２：０について２クロマサンプル）とすることができる。最小ＣＵサイズにおける制限は、いずれのチャネルについての少なくとも１つのＰＵに対して常に十分に大きい。
リーフ（葉）ＣＵは、変換ユニット（ＴＵ）にも分割される。ＴＵは、大きすぎる場合（例えば、３２×３２超のサンプル）さらなるＴＵに分割され得る（しなければならない）。現在、レベル２として設定されている最大のツリー深さとなるまでＴＵが分割され得るように、制限が適用される。つまり、各ＣＵについて高々１６個のＴＵが存在し得る。図示された最小の許容ＴＵサイズは、４×４サンプルであり、また、最大の許容ＴＵサイズは、３２×３２サンプルである。この場合もやはり、３つのチャネルは、可能な限り同じＴＵ構造を有するが、仮に、サイズ制限のために、与えられたチャネルについて特定の深さにＴＵを分割することができない場合、ＴＵは大きいサイズのままである。４つのＴＵへの分割方法は２×２とする必要はなく、４×１又は１×４とすることができるが、いわゆる非正方形四分木変換配列（ＮＳＱＴ：Non-Square Quad-tree Transform）は類似している。
図１８Ａ及び図１８Ｂを参照して、ルマブロックを表す"Ｙ"、クロマブロックの代表的な１つを一般的な意味で表す"Ｃ"、及びピクセルを表す数字と共に、可能な異なるブロックサイズが、ＣＵ、ＰＵ及びＴＵブロックについてまとめられている。'インター'は、インターフレーム予測ＰＵを意味する（イントラフレーム予測ＰＵの対義語）。多くの場合、ルマブロックについてのブロックサイズのみが示されている。関連するクロマブロックにおける対応するサイズは、チャネル比に応じてルマブロックサイズに関連づけられる。従って、４：４：４では、クロマチャネルは、図１８Ａ及び図１８Ｂに示されたルマブロックと同じブロックサイズを有している。４：２：２及び４：２：０では、クロマブロックは、それぞれ、チャネル比に応じて、対応するルマブロックよりも少ないピクセルを有している。
図１８Ａ及び図１８Ｂに示されている配列は、４つの可能なＣＵサイズ（６４×６４、３２×３２、１６×１６及び８×８ルマピクセル）に関係している。これらの各ＣＵは、ＰＵオプション（列１１４０で示される）及びＴＵオプション（列１１５０で示される）における対応する行を有している。上記のように定義された可能なＣＵサイズについて、オプションの行は、１１００、１１１０、１１２９及び１１３０でそれぞれ示されている。
なお、現在、６４×６４が最大ＣＵサイズとされているが、この制限は変更することができる。各行１１００・・１１３０内において、ＣＵサイズに適用可能な異なるＰＵオプションが示されている。これらのＰＵ設定に適用可能なＴＵオプションが、各ＰＵオプションに水平に揃えられて示されている。
なお、いくつかのケースでは、多くのＰＵオプションが提供される。上述のように、ＰＵ設定の選択における装置の目的は、異なる予測パラメータが異なる実オブジェクトに適用され得るようにするために、ピクチャ内の実オブジェクトの境界を一致させる（できるだけ近づける）ことにある。
ブロックサイズ及び形状、並びにＰＵは、コントローラ３４３の制御下において、エンコーダ基準で決定される。現在の方法では、多くの方向に対して多くのＴＵツリー構造の試行が行われ、各レベルで最良の"コスト"が得られる。ここで、コストは、各ブロック構造による歪み、雑音、誤差、又はビットレートの尺度で表現されてもよい。従って、特定の要求される品質測定に対する最小のビットレート、要求されるビットレートに対する最小の歪み（誤差、雑音、これらの組み合わせ）、あるいは、これらの組み合わせを与える１つの試行を選択する前に、上述のツリー構造及び階層において、許される範囲で、エンコーダは、ブロックサイズ及び形状における２以上の（あるいは全ての利用可能な）変更を試してもよい。
特定のＰＵ設定が選択されると、各レベルの分割が適用されて、対応するＴＵが生成される。１１００を参照して、６４×６４ＰＵの場合、このブロックサイズは、ＴＵとして使用されるには大きすぎるので、第１のレベルの分割（"レベル０"（分割されていない）から"レベル１"）が強制されて、４つの３２×３２ルマＰＵの配列となる。ＴＵの変換及び量子化が実行される前に分割が実行されて、これのそれぞれが、必要に応じて、ツリー階層において分割される（"レベル１"から"レベル２"）。ＴＵツリーのける最大数のレベルは、例えば、ＨＥＶＣ文書によって限定される。
６４×６４ルマピクセルＣＵでは、他の選択肢がＣＵのサイズ及び形状に提供される。これらは、インター符号化ピクチャとの使用のみが制限され、いくつかのケースでは、いわゆるＡＭＰオプション有効化との使用が制限される。ＡＭＰは、非対称動き分割であり、ＰＵを非対称に分割する。
同様に、いくつかのケースでは、選択肢がＴＵサイズ及び形状に提供される。仮に、ＮＱＳＴ（非正方形四分木変換、典型的には、非正方形ＴＵを許容している）が有効化される場合、レベル１及び／又はレベル２への分割が図示のように実行され、一方、ＮＱＳＴが無効化される場合、ＴＵサイズは、そのＣＵサイズについての各最大ＴＵのパターンの分割に従う。
同様の選択肢が他のＣＵサイズに提供される。
図１８Ａ及び図１８Ｂに図示が確定的であるとして、図１８Ａ及び図１８Ｂにおける図示に加えて、同じ情報の数字部分が下記の表に示されている。"ｎ／ａ"は、許可されないモードを示す。水平ピクセルサイズが初めに列挙されている。３番目の数字が与えられている場合、ブロックサイズの例の数に関連しており、（水平）×（垂直）×（例の数）ブロックとなっている。Ｎは、整数である。
各種４：２：０、４：２：２及び４：４：４ブロック構造
明らかなように、４：２：０及び４：４：４方式は、イントラ予測符号化について、正方形のＰＵブロックを有している。さらに、現在、４：２：０方式は、４×４ピクセルのＰＵ及びＴＵブロックを許可している。
従って、上述のように、４：４：４モードでは、ルマ及びクロマブロックは、同じサイズとされ（クロマデータはサブサンプリングされない）、そして、４×４ＣＵに対して、ＰＵ又はＴＵは、予め許容された最小の４×４ピクセルよりも少なくする必要はないので、本発明に係る一実施形態では、４：４：４方式で、ＣＵブロックに対する再帰が、８×８ピクセルではなく、４×４ピクセルまで許容されることが提案される。
同様に、４：４：４方式では、本発明の一実施形態において、各Ｙ、Ｃｒ、Ｃｂチャネル、又は、Ｙ及び２つのＣｒ、Ｃｂチャネルは、各ＣＵツリー階層構造を有し得る。フラグは、階層構造又は階層構造の方式が使用される信号が使用されてもよい。このアプローチは、４：４：４ＲＧＢ色空間方式においても使用され得る。しかしながら、代わりに、クロマ及びルマのためのツリー階層が独立であってもよい。
４：２：０方式における８×８ＣＵに係る一例では、結果的に４つの４×４ルマＰＵ及び１つの４×４クロマＰＵとなる。従って、２倍のクロマデータを持つ４：２：２方式では、このケースでの１つの選択肢は、２つの４×４クロマＰＵを持つことであり、ここで、例えば、底のクロマブロックは底の左のルマブロックの位置に対応する。しかしながら、このケースにおける１つの非正方形４×８クロマＰＵの使用は、他の４：２：２ＰＵよりもより相応しい。
４：２：０方式では、原則的に、イントラ予測符号化ではなく、インター予測符号化の特定のクラスに対して許容された幾つかの非正方形ＴＵが存在する。しかしながら、インター予測符号化では、非正方形四分木変換（ＮＳＱＴ）が無効化される場合（これは、４：２：０方式に対する現在のデフォルトである）、全てのＴＵが正方形となる。従って、実際には、４：２：０方式では、現在、正方形ＴＵが強制されている。例えば、１６×１６、４：２：０ルマＴＵは、各Ｃｂ及びＣｒの８×８、４：２：０クロマＴＵに対応している。
しかしながら、上述のように、４：２：２方式は、非正方形ＰＵを有し得る。従って、本発明の一実施形態では、４：２：２方式に対して、非正方形を許可することが提案される。
例えば、１６×１６、４：２：２ルマＴＵは、２つの各Ｃｂ及びＣｒ ８×８、４：２：２クロマＴＵに対応していてもよく、この実施形態では、代わりに、各Ｃｂ及びＣｒ ８×１６、４：２：２クロマＴＵに対応していてもよい。
非正方形ＴＵとすること、つまり、ＴＵを少なくすることは、これらに含まれる情報が少なくなる可能性があるので、より効率的である。しかしながら、これは、後述するように、このようなＴＵの変換及びスキャニング処理に影響を及ぼしてしまう可能性がある。
４：４：４方式では、本発明の一実施形態において、クロマブロックよりもさらに分割される場合、ルマブロックが（例えば）４×４ブロックにまで分割されることを防止することができる。
最後に、４：４：４方式では、ＴＵ構造チャネル独立性を有し、シーケンス、ピクチャ、スライス、細かなレベルで選択可能とすることが望ましい。
上述のように、ＮＳＱＴは、現在、ＨＥＶＣの４：２：０方式において無効とされている。しかしながら、仮に、インターピクチャ予測について、ＮＳＱＴが有効化され、かつ、非対称動き分割（ＡＭＰ）が許可されれば、ＰＵが非対称に分割されることが許可され、従って、例えば、１６×１６ＣＵは、４×１６ＰＵ及び１２×１６ＰＵを有し得る。これらの状況下では、４：２：０及び４：２：２方式のそれぞれについて、ブロック構造のさらなる検討が重要になる。
４：２：０方式では、ＮＳＱＴにおいて、ＴＵの最小幅／高さは、４ルマ／クロマサンプルに制限されている。
従って、非限定例では、１６×４／１６×１２ルマＰＵ構造は、ルマＴＵが１×４垂直ブロック方式にあり、クロマＴＵが２×２ブロック方式にある、４つの１６×４ルマＴＵ及び４つの４×４クロマＴＵを有している。
分割が水平ではなく、垂直である同様の方式では、４×１６／１２×１６ルマＰＵ構造は、ルマＴＵが４×１水平ブロック方式にあり、クロマＴＵが２×２ブロック方式にある、４つの４×１６ルマＴＵ及び４つの４×４クロマＴＵを有している。
４：２：２方式について、ＮＳＱＴにおいて非限定例では、４×１６／１２×１６ルマＰＵ構造は、ルマＴＵが４×１水平ブロック方式にあり、クロマＴＵが２×２ブロック方式にある、４つの４×１６ルマＴＵ及び４つの４×８クロマＴＵを有している。
しかしながら、異なる構造がいくつかのケースで考慮され得る。従って、本発明の一実施形態では、ＮＳＱＴでの非限定例において、１６×４／１６×１２ルマＰＵ構造は、（ルマ及びクロマＴＵは１×４垂直ブロック方式にあるが、）ＰＵレイアウトに合わせられた４つの１６×４ルマＴＵ及び４つの×４クロマＴＵを有している（２×２ブロック方式における４つの４×８クロマＴＵの４：２：０方式とは対照的に）。
ルマ及びクロマＴＵは、２×２ブロック配列であるが、同様に、３２×８ＰＵは、４つの１６×４ルマＴＵ及び４つの８×４クロマＴＵを有し得る。
従って、より一般的には、４：２：２方式では、ＮＳＱＴにおいて、ＴＵブロックサイズは、非対称ＰＵブロックレイアウトに合わせて選択される。従って、ＮＳＱＴは、通常、ＴＵの境界をＰＵの境界に合わせることを許可しており、これにより、発生する高周波数アーティファクトが低減される。
一般的には、本発明の実施形態は、４：２：２フォーマットビデオ信号の画像に対して動作可能な、ビデオ符号化方法、装置又はプログラムに関連する。符号化される画像は、符号化のために、符号化ユニット、予測ユニット、変換ユニットに分割され、符号化ユニットは、ルミナンスサンプル及び対応するクロミナンスサンプルの正方形配列であり、符号化ユニット内には２以上の予測ユニットが存在し、また、符号化ユニット内には１以上の変換ユニットが存在し、予測ユニットは、予測の基本的なユニットであり、単予測ユニット内のすべてのサンプルは、共通の予測技術を使用して予測され、変換ユニットは変換及び量子化の基本的なユニットである。
非正方形変換モード（ＮＳＱＴモード等）が有効化されて、非正方形予測ユニットが許可される。選択的に、非対称動き分割が有効化されて、単符号化ユニットに対応する２以上の予測ユニット間で非対称性が許可される。
コントローラ３４３は、例えば、ＰＵに対応する画像の一部における画像特徴を検出し、そのＰＵに対するＴＵブロックサイズを選択して、ＴＵ境界を、画像の一部における画像特徴のエッジに合わせることによって、予測ユニットのブロックレイアウトに合わせる変換ユニットブロックサイズの選択を制御する。
上述のこの規則は、ブロックサイズの組合せが利用可能であることを規定している。エンコーダは、単に異なる組み合わせを試してもよい。上述のように、試行は、全ての利用可能な選択肢の内の２以上を含んでいてもよい。試行符号化処理は、コスト機能の評価に応じて選択されたコスト機能測定及び結果に応じて実行されてもよい。
３つのレベルのバリエーションが存在する場合、ＣＵサイズ及び形状、ＰＵサイズ及び形状、並びに、ＴＵサイズ及び形状について、試行符号化される多くの変形を導くことができる。このバリエーションを減らすため、システムは、各ＣＵサイズについて許容可能な、任意に選択された１つのＰＵ／ＴＵ設定を使用することによって、ＣＵに対して試行符号化を行うことができ、そして、ＣＵサイズが選択され、ＰＵサイズ及び形状が、設定毎に異なるＰＵオプションを試行符号化することによって選択され得る。そして、ＣＵ及びＰＵが選択され、システムは、全ての適用可能なＴＵ設定を試して最終的なＴＵ設定を選択することができる。
他の可能性として、いくつかのエンコーダが、ブロック設定の一定の選択を使用してもよく、上述の組み合わせの限定的なサブセットを許容してもよい。
イントラ予測
４：２：０イントラ予測
図２２を参照して、イントラ予測では、ＨＥＶＣは、角度クロマ予測を認めている。導入のため、図２２は、ルマブロックに適用可能な３５予測モードを示しており、この３５予測モードのうちの３３は、現在の予測サンプル位置１００のためのサンプルの参照のために方向を特定する。
ＨＥＶＣは、クロマがＤＣ、垂直、水平、平面、ＤＭ＿クロマ及びＬＭ＿クロマモードを持つことを認めいている。
ＤＭ＿クロマは、使用される予測モードが共同位置ルマＰＵと同じであることを意味している（図２２に示されている３５のうちの１つ）。
ＬＭ＿クロマ（線形モードクロマ）は、共同位置ルマサンプル（必要に応じてチャネル比をダウンサンプリング）が予測クロマサンプルを抽出するために使用されることを意味する。このケースでは、仮に、ＤＭ＿クロマ予測モードに、選択されたＤＣ、垂直、水平、平面が採用される場合、クロマ予測リストにおけるエントリは、モード３４を使用して置き換えられる。ＬＭ＿クロマモードでは、クロマピクセルが予測されるルマピクセルが、ルマ及びクロマ間の線形関係に応じて、スケーリングされる（適切な場合にはオフセットが適用）。この線形関係は、ピクセルの周囲から抽出され、抽出は、次に移る前に、１つのブロックの符号化を終えたデコーダで、ブロック毎を基準として実行され得る。
特に、予測モード２−３４は、４５°〜２２５°の角度範囲、つまり、正方形の半分の対角線をサンプリングする。上述のように、イントラピクチャ予測について正方形クロマＰＵのみが使用されるため、これは、４：２：０方式の場合に有用である。
各種４：２：２イントラ予測
一方、上述のように、４：２：２方式は、ルマＰＵが正方形である場合でも、長方形（非正方形）クロマＰＵを持ち得る。あるいは、この逆もまた真となっており、長方形ルマＰＵは、正方形クロマＰＵに対応し得る。この相違の理由は、４：２：２では、クロマは、垂直方向ではなく、水平方向（ルマに関連）にサブサンプリングされるためである。従って、ルマブロック及び対応するクロマブロックのアスペクト比は、異なると予想される。従って、４：２：２フォーマットは、クロミナンスサンプルがルミナンスサンプルよりも低い水平及び／又は垂直サンプリングレートを持つビデオフォーマットの一例（４：２：０等の他の例もある）を表しており、クロミナンス水平解像度に対するルミナンス水平解像度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なり、ルミナンスサンプルのブロックが、クロミナンスサンプルの対応するブロックとは異なるアスペクト比を持つことになる。
従って、本発明の一実施形態では、対応するルマブロックとは異なるアスペクト比を持つクロマＰＵについて、方向のためにマッピングテーブルが要求される。長方形ＰＵについてアスペクト比が１対２である場合、例えば、モード１８（現在１３５°の角度である）は、１２３°に再マッピングされる。代わりに、現在のモード１８の選択が、現在のモード２２の選択に再マッピングされてもよく、同様の効果がある。
従って、より一般的には、非正方形ＰＵについて、参照サンプルの方向及び選択されたイントラ予測モードの間の異なるマッピングは、正方形ＰＵと比較して提供される。
より一般的には、非方向モードを含む如何なるモードも、経験的証拠に基づいて再マッピングされ得る。
このようなマッピングは、多対１の関係となり得、４：２：２クロマＰＵの全てのモードについて説明を行うと、説明が冗長となってしまう。従って、このケースでは、例えば、１７モード（角分解能の半分に対応）のみについて説明する。これに代えて、あるいは、これに加えて、不均一な方法において、これらのモードは、角度的に分散されていてもよい。
同様に、サンプル位置でピクセルを予測するときに参照サンプルで使用される平滑化フィルタは、４：２：０方式において、クロマではなく、ルマピクセルの平滑化のみに使用される等、別々で使用されてもよい。一方、４：２：２及び４：４：４方式では、このフィルタは、クロマＰＵについて使用されてもよい。４：２：２方式では、やはり、ＰＵの異なるアスペクト比に応じてフィルタが修正されてもよく、例えば、近接水平モードにおけるサブセットに対してのみ使用されてもよい。モードのサブセットの一例は、好ましくは、２−１８及び３４であり、より好ましくは７−１４である。４：２：２では、参照サンプルの左列のみの平滑化が本発明の一実施形態において実行される。
これらの構成についての詳細は後述する。
各種４：４：４：イントラ予測
４：４：４方式では、クロマ及びルマＰＵは、同じサイズであり、従って、クロマＰＵに対するイントラ予測モードは、共同位置ルマＰＵと同じであってもよいし（分離モードを符号化しないことによって、ビッドストリームにおけるオーバーヘッドを削減するため）、より好ましくは、独自に選択されてもよい。
後者の場合、本発明の一実施形態では、１つが、ＣＵにおけるＰＵに対して、１、２又は３の異なる予測モードを有している。
第１の例では、Ｙ、Ｃｂ及びＣｒ ＰＵは、全て同じイントラ予測モードを使用する。
第２の例では、Ｙ ＰＵは、１つのイントラ予測モードを使用し、かつ、Ｃｂ及びＣｒ ＰＵは、独自に選択された他の１つのイントラ予測モードを使用する。
第３の例では、Ｙ、Ｃｂ及びＣｒ ＰＵは、それぞれ独自に選択されたイントラ予測モードをそれぞれ使用する。
なお、クロマチャネル（又は各クロマチャネル）に対して独自な予測モードを持つことで、色予測精度が改善される。しかし、これは、符号化データの一部として独自な予測モードを通信するための追加的なデータオーバーヘッドの費用となる。
これを軽減するため、モードの数の選択が高レベルシンタックスにおいて示されてもよい（例えば、シーケンス、ピクチャ、スライスレベルで）。代わりに、独自なモードの数がビデオフォーマットから抽出されてもよく、例えば、ＣＢＲは、３まで持つことができ、一方、ＹＣｂＣｒは、２までに制限される。
モードの独自の選択に加えて、利用可能なモードが、４：４：４方式において４：２：０方式とは異なることが許可されてもよい。
例えば、ルマ及びクロマＰＵは、同じサイズであるため、クロマＰＵは、全ての３５＋ＬＭ＿クロマ＋ＤＭ＿クロマ方向へのアクセスで有効である。従って、それぞれ独自の予測モードを持つＹ、Ｃｂ及びＣｒの場合、Ｃｂチャネルは、ＤＭ＿クロマ及びＬＭ＿クロマにアクセス可能であり、一方、Ｃｒチャネルは、ＤＭ＿クロマＹ、ＤＭ＿クロマ＿Ｃｂ、ＬＭ＿クロマ＿Ｙ及びＬＭ＿クロマ＿Ｃｂにアクセス可能である。これらは、ルマチャネルへの参照を、Ｙ又はＣｂクロマチャネルへの参照へと換える。
最確モードのリストを抽出し、そのリストのインデックスを送信することによって、ルマ予測モードは信号化され、クロマ予測モードが独自である場合、各チャネルに対して最確モードの独自リストを抽出する必要がある。
最後に、上述の４：２：２のケースに関する同様の方法では、４：４：４方式において、サンプル位置でピクセルを予測するときに参照サンプルに使用される平滑化フィルタは、ルマＰＵと同様の方法でクロマＰＵに対して使用されてもよい。現在、イントラ予測の前に、［１、２、１］ローパスフィルタが参照サンプルに適用され得る。
クロマＴＵに適用可能な１つのイントラ予測は、共同位置ルマサンプルでの予測サンプルに基づく。このような構成が図１９において概略的に示されており、Ｃｂ、Ｃｒ及びＹチャネルにおける小さな正方形によって表されるＴＵ１２００の配列（ソース画像の領域から）が、Ｃｂ及びＹチャネル、並びに、Ｃｒ及びＹチャネルにおいて画像特徴間で空間に揃えられて示されている（暗及び明で網掛けされたボックス１２００で概略的に示される）。この例では、共同位置ルマサンプルでの予測サンプルに基づくことをクロマＴＵに強制させることが有用である。実際には、特定の特徴が１または２のチャネルでのみ現れ、一般的に、３つのチャネルの画像内容は異なる。
本発明の実施形態では、ＣｒＴＵでは、ＬＭ＿クロマは、Ｃｂチャネルからの共同位置サンプルに選択的に基づき得る（あるいは、他の実施形態では、依存が逆になり得る）。このような構成が図２０において概略的に示されている。ここで、空間的に揃えられたＴＵが、Ｃｒ、Ｃｂ及びＹチャネル間で示されている。"ソース"とラベル付けされたさらなるＴＵの組は、全体として見られるカラーピクチャの略図である。ソース画像内に表れている画像特徴（左上三角形及び右下三角形）は、実際には、ルミナンスにおける変化を表しているのではなく、２つの三角形領域間でのクロミナンスの変化のみを表している。この場合、ＣｒについてＬＭ＿クロマがルミナンスサンプルに基づくと、予測が低精度になってしまうが、Ｃｂサンプルに基づけば優れた予測が得られる。
どのＬＭ＿クロマモードが使用されるかの決定は、異なる選択肢（ＬＭ＿クロマを、共同位置ルマ又は共同位置クロマサンプルに基づかせる選択肢を含む）の試行符号化に基づいて、コントローラ３４３及び／又はモードコントローラ５２０によって実行され、上述と同様に、どのモードを選択するかの決定が、異なる試行符号化に応じてコスト機能を評価することによって実行される。コスト機能の例は、雑音、歪み、誤差レート及びビットレートである。試行符号化に従うモードの中から、最も低い１以上のコスト機能を与えるモードが選択される。
図２１は、本発明の一実施形態に係る、イントラ予測について参照サンプルを得ることに使用される方法を示す概略図である。図２１を参照して、符号化はスキャニングパターンに応じて実行され、一般的には、符号化される現在のブロックの上及び左のブロックの符号化バージョンが、符号処理に適用可能である。左下又は右上のサンプルが、ＬＣＵ内の既に符号化された他のＴＵの一部として既に符号化されている場合、しばしば、これらのサンブルが使用される。例えば、上述のように図１３が参照される。
網掛け領域１２１０は、現在のＴＵ、つまり、現在符号化されているＴＵを表している。
４：２：０及び４：２：２方式では、現在のＴＵのすぐ左に位置するピクセルの列は、水平サブサンプリングであるので、共同位置ルミナンス及びクロミナンスサンプルを含まない。換言すると、これは、４：２：０及び４：２：２フォーマットは、ルミナンスピクセルの半分のクロミナンスピクセルを有しており、全てのルミナンスサンプル位置が挙動位置クロミナンスサンプルを有しているのではないためである。従って、ルミナンスサンサンプルが、ＴＵのすぐ左のピクセルの列に存在していることがあるが、クロミナンスサンプルは存在しない。従って、本発明の一実施形態では、現在のＴＵの左の２つのサンプルが位置する列が、ＬＭ＿クロマに対して参照サンプルを提供することに使用される。なお、現在のＴＵのすぐ左の列が確実に共同位置ルマ及びクロマサンプルを含むという点で、４：４：４では状況が異なる。この列は、それ故、参照サンプルの提供に使用され得る。
参照サンプルは、以下のように使用される。
ＬＭ＿クロマモードでは、予測クロマサンプルが、線形関係に応じて、再構築ルマサンプルから抽出される。従って、一般的には、ＴＵ内の予測クロミナンス値は、以下の式によって与えられる。
ＰＣ＝ａ＋ｂＰＬ
ここで、ＰＣは、クロミナンスサンプル値であり、ＰＬは、そのサンプル位置での再構築ルミナンスサンプル値であり、ａ及びｂは、定数である。この定数は、既に符号化されたサンプル位置にある（上側参照）、そのブロックのすぐ上の行及びそのブロックのすぐ左の列における再構築ルマサンプル及びクロマサンプルの間の関係を検出することによって、特定のブロックについて抽出される。
本発明の実施形態では、定数ａ及びｂが以下のように抽出される。
ａ＝Ｒ（ＰＬ'，ＰＣ'）／Ｒ（ＰＬ'，ＰＬ'）
ここで、Ｒは、線形（少なくとも正方形）回帰関数を表しており、ＰＬ'及びＰＣ'は、それぞれ、上述の隣接行及び列からのルミナンス及びクロミナンスサンプルである。
ｂ＝mean（ＰＣ'）−ａ mean（ＰL'）
４：４：４では、ＰＬ'及びＰＣ'値は、現在のＴＵのすぐ左の列及現在のＴＵのすぐ上の行から得られる。４：２：２では、ＰＬ'及びＰＣ'値は、現在のＴＵのすぐ上の行、及び現在のＴＵの左のエッジから離れた２つのサンプル位置の隣接ブロックの列から得られる。４：２：０（垂直方向及び水平方向にサブサンプリングされる）では、ＰＬ'及びＰＣ'値は、理想的には、現在のＴＵの上の２つの行における行から得られるが、実際には、現在のＴＵの上の１つのサンプル位置の隣接ブロックにおける行、及び現在のＴＵの左のエッジから離れた２つのサンプル位置の隣接ブロックにおける列から得られる。これは、メモリ内において、データにおける追加的な行全体が維持されてしまうことを防止するためである。このため、４：２：０及び４：２：２は、同様の方法で扱われる。
従って、これらの技術は、画像の領域を表すクロミナンスサンプルの現在のブロックが、
画像の同じ領域を表すルミナンスサンプル（再構築ルミナンスサンプル等）の共同位置ブロックに対するクロミナンスサンプルの関係を抽出することによって符号化されるクロミナンス予測モードを有するビデオ符号化方法に適用する。この関係（線形関係等）は、既に符号化された隣接ブロックからの共同位置ルミナンス及びクロミナンスサンプルを比較することによって抽出される。クロミナンスサンプルは、その関係に応じてルミナンスサンプルから抽出され、また、予測クロミナンスサンプル及び実クロミナンスサンプルの差が残差データとして符号化される。
クロミナンスサンプルが、ルミナンスサンプルと同じサンプリングレートを持つ第１のサンプリング解像度（４：４：４等）では、共同位置サンプルは、現在のブロックに隣接するサンプル位置にあるサンプルである。
クロミナンスサンプルが、ルミナンスサンプルよりも低いサンプリングレートを持つ第２のサンプリング解像度（４：２：２又は４：２：０等）では、既に符号化された隣接ブロックから最も近い、共同位置ルミナンス及びクロミナンスサンプルの列又は行が、共同位置サンプルの提供に使用される。あるいは、第２のサンプリング解像度が、４：２：０サンプリング解像度である場合、対応して位置されるサンプルは、現在のブロックに隣接するサンプルの行であり、また、既に符号化された隣接ブロックから最も近い、対応して位置されるルミナンス及びクロミナンスサンプルの列又は行である。
図２２は、ルマサンプルに対して適用可能な予測角を示す概略図である。予測される現在のピクセルが、ピクセル１２２０として図の中央に示されている。小さなドット１２３０は、隣接ピクセルを表している。現在のピクセルの上又は左側に位置するこれらは、既に符号化されているので、予測を生成するための参照サンプルとして利用可能である。他のピクセルは、現在分かっておらず（ピクセル１２２０を予測する時点で）、やがてそれら自身で予測される。
各番号付けされた予測方向は、現在の予測ピクセルを生成するために使用される現在のブロックにおける上又は左のエッジ上の候補参照サンプルのグループ内からの参照サンプル１２３０を示している。小さなブロックの場合、予測方向は、参照サンプル間の位置を示し、隣接参照サンプル間の線形補間（現在の予測モードによって示された方向によって指摘されたサンプル位置の両側）が使用される。
クロマサンプルに対するイントラ角予測の説明に移り、４：２：０では、クロマサンプルが相対的に少ないので、予測方向が少なくて済む。一方、ＤＭ＿クロマモードが選択された場合、現在のクロマブロックが、共同位置ルマブロックと同じ予測方向を使用する。これは、イントラ予測でのルマ方向がクロマにも同様に適用可能であることを意味している。
しかしながら、４：２：２におけるクロマサンプルでは、クロマブロックがルマブロックとは異なるアスペクト比を有している場合、ＤＭ＿クロマが選択されたとき、ルマと同じ予測アルゴリズム及び方向が使用されることが直感に反して考慮され得る。例えば、サンプルの正方形ルマ配列に対する４５°の線は、長方形サイズのサンプルの配列であっても、クロサンプルに対して依然として４５°の線をマッピングする。正方形グリッドを長方形グリッド上に重ね合わせることは、４５°の線が実際には２６．６°の線をマッピングすることを意味する。
図２３は、予測される現在のピクセル１２２０について、４：２：２におけるクロマピクセルに適用されるイントラ予測方向を示す概略図である。なお、４：２：２は、ルマチャネルと比べて、クロマチャネルにおいて半分の水平サンプルレートを有しているため、
水平方向に、垂直方向の半分のピクセルが存在する。
図２４は、４：２：２クロマピクセルの、正方形グリッドへの変換又はマッピング、並びに、その後にどのようにして変換が予測方向を変化させるかを示す模式図である。
ルマ予測方向が破線１２４０として示されている。クロマピクセル１２５０は、対応するルマ配列（図２２等参照）の半分の幅の長方形配列１２６０を与える正方形グリッドに再マッピングされる。図２３に示される予測方向は、長方形配列に再マッピングされている。方向における一部では（ルマ方向及びクロマ方向となる組）、重複か、又は近い関係がある。例えば、ルマ配列における方向２は、実質的に、クロマ配列における方向６に重なる。しかしながら、それの略半分のルマ方向対応するクロマ方向を有してない。一例は、ルマ方向３番である。また、いくつかのクロマ方向（２−５）は、ルマ配列に等しくなく、また、いくつかのルマ方向（３１−３４）は、クロマ配列と等しくない。しかし、一般的に、図２４に示す重ね合わせは、ルマ及びクロマチャネルに対して同じ角度を使用することが不適切であることを明示している。
従って、クロマについて適切な予測角を抽出するために、（ａ）ＤＭ＿クロマが選択され、（ｂ）現在使用中のＤＭ＿クロマモードが、クロマ予測方向が共同位置ルマブロックの方向であることを示している場合、以下の処理が適用される。
（ｉ）通常のＨＥＶＣルールに応じて、ルマ方向に応じて、イントラ予測角ステップ及びその逆数を抽出する。
（ｉｉ）ルマ方向が略垂直である場合（つまり、例えば、１８〜３４番のモード全体）、イントラ予測角ステップは、半分にされる、その逆数が２倍とされる
（ｉｉｉ）あるいは、ルマ方向が略水平である場合（つまり、例えば、２〜１７番のモード全体）、イントラ予測角ステップは、２倍にされ、逆数が半分とされる。
従って、本発明のこれらの実施形態に係るビデオ符号化若しくは復号化方法、装置又はプログラムは、ルミナンス及びクロミナンスサンプルが、予測される現在のサンプルに関連する予測方向に応じて、他の各参照サンプルから予測される。４：２：２などのモードでは、クロミナンスサンプルが、ルミナンスサンプルよりも低い水平及び／又は垂直サンプリングレートを持ち、クロミナンス水平解像度に対するルミナンス水平解像度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なる。つまり、これは、ルミナンスサンプルのブロックが、対応するクロミナンスサンプルのブロックとは異なるアスペクト比を持つことを意味している。
イントラフレーム予測部５３０は、例えば、予測される現在のサンプルの組に関する第１のアスペクト比の第１のグリッドに関連して定義される第１の予測方向を検出する検出部として動作可能であり、また、予測方向に予測マッピングを適用して、異なるアスペクト比の第２のグリッドに関連して定義された第２の予測方向を生成する方向マッピング部として動作可能である。従って、予測部５３０は、方向マッピング部の一例を表している。予測部５４０は、他の対応する例を提供してもよい。
本発明の実施形態では、第１の予測方向の検出に使用される第１のグリッドは、ルミナンスサンプル及びクロミナンスサンプルのうちの一方のサンプル位置に関して定義され、第２の予測方向の生成に使用される第２のグリッドは、ルミナンスサンプル及びクロミナンスサンプルのうち他方のサンプル位置に関して定義される。本明細書において説明される特定の例では、ルミナンス予測方向が修正されて、クロミナンス予測方向が提供されてもよい。しかし、他の方法が用いられてもよい。
特に、この技術は、参照サンプルが、予測されるサンプルとして同じ各画像から抽出される（例えば、各画像から抽出される圧縮データからの再構築された）サンプルであるイントラ予測に適用可能である。
少なくともいくつかの構成では、第１の予測方向は、現在のルミナンスサンプルを含むルミナンスサンプルの正方形ブロックに応じて定義され、第２の予測方向は、現在のクロナンスサンプルを含むルミナンスサンプルの長方形ブロックに応じて定義される。
２つのクロミナンス要素についての独立予測モードを提供することもできる。このような構成では、クロミナンスサンプルは、第１及び第２のクロミナンス要素のサンプルを含み、この技術は、第１のクロミナンス要素（Ｃｂ等）に対して上述の方向マッピングを適用し、第２のクロミナンス要素（Ｃｒ等）に対して異なる予測モードを提供する。この技術は、（例えば）第１のクロミナンス要素のサンプルからの第２のクロミナンス要素を予測してもよい。
ビデオデータは４：２：２フォーマットとすることができ、例えば、デコーダ又は符号化方向の場合、予測方向は、符号化ビデオデータにおける予測方向を定義するデータを検出することによって検出されてもよい。
一般的に、本発明の実施形態は、クロミナンス要素に対して（例えば、各ルミナンス及びクロミナンス要素で別々に）独立予測モードを提供することができる。ビデオ符号化方法に関連するこれらの実施形態では、画像のルミナンス及びクロミナンスサンプルが、予測されるサンプルに関連する予測方向に応じて同じ画像から抽出された他の各参照サンプルから予測され、クロミナンスサンプルが、ルミナンスサンプルよりも低い水平及び／又は垂直サンプリングレートを持ち、クロミナンス水平解像度に対するルミナンス水平解像度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なり、ルミナンスサンプルのブロックが、対応するクロミナンスサンプルのブロックとは異なるアスペクト比を持ち、クロミナンスサンプルが、第１及び第２のクロミナンス要素を含む。
イントラフレームモード選択部５２０は、第１のクロミナンス要素（Ｃｂ等）の現在のクロミナンスサンプルを予測するための１以上の参照サンプルの選択を定義する予測モードを選択する。また、第１のクロミナンス要素の現在のクロミナンスサンプルと共同位置に位置された、第２のクロミナンス要素（Ｃｒ等）の現在のクロミナンスサンプルを予測するための１以上の参照サンプルの異なる選択を定義する異なる予測モードを選択する。
参照サンプルフィルタは、水平サンプル又は垂直サンプル（若しくは両方）に選択的に適用され得る。上述のように、フィルタは、３−タップ正規化"１−２−１"フィルタとすることができ、左下及び右上を除いたすべてのルマ参照サンプルに現在、適用される（Ｎ×Ｎブロックのサンプルはひとまとめにされて、サイズ２Ｎ＋１の単１Ｄ配列が生成され、その後、選択的にフィルタリングされる）。本発明の実施形態では、４：２：２について、最初（左側エッジ）又は最後（上側エッジ）のＮ＋１クロマサンプルにのみ適用されるか（左下、右上及び左上は調整されない点に留意）、４：２：２及び４：４：４について、全てのクロマサンプルに適用される。
本発明の実施形態は、予測されるサンプルに関連する予測モードに応じて、ルミナンス並びに第１及び第２のクロミナンス要素サンプルが予測されるビデオ符号化若しくは復号化方法、装置又はプログラムであって、第１のクロミナンス要素のサンプルから第２のクロミナンス要素のサンプルを予測するビデオ符号化若しくは復号化方法、装置又はプログラムを提供する。いくつかの実施形態では、予測されるサンプルに関連する予測モードは、サンプルが予測される１以上の他の各参照サンプルを定義する予測方向を示し得る。
本発明の実施形態は、予測されるサンプルに関連する予測モードに応じて、他の各参照サンプルから、ルミナンス並びに第１及び第２のクロミナンス要素サンプルが予測されるビデオ符号化若しくは復号化方法、装置又はプログラムであって、参照サンプルをフィルタリングするビデオ符号化若しくは復号化方法、装置又はプログラムを提供する。
図１９及び図２０を参照して説明したように、異なる予測モードは、第２のクロミナンス要素のサンプルが第１のクロミナンス要素のサンプルから予測されるモードを含むことが可能である。
なお、モード０及び１は、角予測モードではなく、従って、この処理には含まれない。上記した処理の効果は、図２４に示したようにクロマ予測方向をルマ予測方向にマッピングすることである。
４：２：０では、純粋な水平予測モード（ルマモード１０）又は純粋な垂直予測モード（ルマモード２６）が選択された場合、予測ＴＵの上又は左のエッジが、ルマチャネルのみについてフィルタリングの対象となる。水平予測モードでは、上の行が垂直方向にフィルタリングされる。垂直モードでは、左の列が水平方向にフィルタリングされる。
サンプルの列の水平方向でのフィルタリングは、サンプルの列の順で、各サンプルに水平指向フィルタを適用するものとして理解し得る。従って、個々のサンプルについて、その値は、サンプルの現在の値及びそのサンプルから水平方向に移されたサンプル位置にある１以上の他のサンプル（つまり、問題となっているそのサンプルの左及び／又は右に位置する１以上の他のサンプル）の現在の値から生成されたフィルタ値に基づいて、フィルタの動作によって修正される。
サンプルの行の垂直方向でのフィルタリングは、サンプルの行の順で、各サンプルに垂直指向フィルタを適用するものとして理解し得る。従って、個々のサンプルについて、その値は、サンプルの現在の値及びそのサンプルから垂直方向に移されたサンプル位置にある１以上の他のサンプル（つまり、問題となっているそのサンプルの上及び／又は下に位置する１以上の他のサンプル）の現在の値から生成されたフィルタ値に基づいて、フィルタの動作によって修正される。
上述のエッジピクセルフィルタリング処理の１つの目的は、予測においてブロック基準エッジ効果を低減して、これにより、残差画像データにおけるエネルギーを減らすという点にある。
本発明の実施形態では、対応するフィルタリング処理が、４：４：４及び４：２：２におけるクロマＴＵについて提供される。水平サブサンプリングを考慮すると、１つの提案は、４：２：２においてクロマＴＵの上の行についてのみフィルタリングを行い、一方、４：４：４において、上の行及び左の列の両方についてフィルタリングを行う（必要に応じて、選択されたモードに基づいて）というものである。多くの有用な詳細が取り除かれてしまうことを防止するために、これらの領域にのみフィルタリングを行うことは適切であり、（取り除かれた場合）残差画像データの増加エネルギーが導かれる。
４：２：０では、ＤＣモードが選択された場合、ルマチャネルのみについて、予測ＴＵの上又は左のエッジがフィルタリングの対象となる。
このフィルタリングは、ＤＣモードにおいて、フィルタが、両エッジにおける全てのサンプルに対して、ａ（１×近接外側サンプル＋３＊エッジサンプル）／４平均動作を行うというものであってもよい。
Ｈ／Ｖフィルタは、近接外側サンプル及びエッジサンプルの平均である。
本発明の実施形態において、このフィルタリング処理は、４：４：４及び４：２：２におけるクロマＴＵにも提供される。この場合もやはり、水平サブサンプリングが考慮され、いくつかの本発明の実施形態では、４：２：２においてクロマＴＵの上の行についてのみフィルタリングが行われ、一方、４：４：４において、上の行及び左の列についてフィルタリングが行われる。
従って、この技術は、４：４：４フォーマット又は４：２：２フォーマットにおけるルミナンス及びクロミナンスサンプルが、予測されるサンプルのブロックに関連する予測方向に応じて、他の各サンプルから予測されるビデオ符号化若しくは復号化方法、装置又はプログラムに適用され得る。
本技術の実施形態において、予測方向は、予測される現在のブロックに関して検出される。クロミナンスサンプルの予測ブロックは、予測方向によって定義される他のクロミナンスサンプルに応じて生成される。仮に、検出された予測方向が実質的に垂直（例えば、正確に垂直なモードの＋／−ｎ角度モード以内、ここで、ｎは（例えば、）２）である場合、クロミナンスサンプルの予測ブロックにおいてサンプルの左列がフィルタリングされる（例えば、水平方向）。あるいは、仮に、検出された予測方向が実質的に水平（例えば、正確に水平なモードの＋／−ｎ角度モード以内、ここで、ｎは（例えば、）２）である場合、クロミナンスサンプルの予測ブロックにおいてサンプルの上の行がフィルタリングされる（例えば、水平方向）。その後、フィルタリングされた予測クロミナンスブロック及び実際のクロミナンスブロックの差が、例えば、残差データとして符号化される。代わりに、試験は、実質的に垂直又は水平なモードではなく、正確に垂直又は水平なモードであってもよい。＋／−ｎの許容範囲は、他のものではなく、１つの試験（水平又は垂直）に適用され得る。本発明の実施形態では、予測ブロックの左列又は上行のみがフィルタリングされてもよく、また、フィルタリングは、水平指向フィルタ又は垂直指向フィルタそれぞれが実行されてもよい。
フィルタ処理後、本技術の実施形態では、フィルタリングされた予測クロマブロック及び実クロマブロックの差を符号化するか（エンコーダで）、又は、フィルタリングされた予測クロマブロックに符号化された差を適用してブロックを符号化する（デコーダで）。
インター予測
なお、ＨＥＶＣにおけるインター予想は、既に長方形ＰＵを許容しており、従って、４：２：２及び４：４：４モードは、ＰＵインター予測処理に既に適合可能である。
ビデオ画像の各フレームは、実際のシーンの離散サンプリングであり、結果的に、各ピクセルは、色及び明るさの現実世界での勾配におけるステップ幅の近似である。
この点を考慮し、以前のビデオフレームにおける値から、新たなビデオフレームにおけるピクセルのＹ、Ｃｂ又はＣｒ値を予測するとき、元の現実世界での勾配をより良く推定し、新たなピクセルに対する明るさ又は色をより正確に選択するために、以前のビデオフレームにおけるピクセルが補間される。従って、ビデオフレーム間で位置を示すのに使用される動きベクトルは、整数のピクセル解像度に限られない。正確には、この動きベクトルは、補間画像内におけるサブピクセル位置を示すことができる。
４：２：０インター予測
図２５及び図２６を参照して、４：２：０方式では、上述のように、典型的には、８×８ルマＰＵ１３００は、Ｃｂ及びＣｒ ４×４クロマＰＵ１３１０に関連付けられる。従って、同じ効果的な解像度までルマ及びクロマピクセルデータを補間するために、異なる補間フィルタが使用される。
例えば、８×８ ４：２：０ ルマＰＵでは、補間が１／４ピクセルであり、また、８タップ×４フィルタは、最初に水平に適用され、その後、同じ８タップ×４フィルタが垂直方向に適用されて、ルマＰＵが各方向に効果的に４回伸ばされ、図２５に示すように、補間配列が形成される。一方、対応する４×４ ４：２：０クロマＰＵは、同じ最終解像度を生成するために補間された１／８ピクセルであり、従って、４タップ×８フィルタが、最初に水平方向に適用され、その後、同じ４タップ×８フィルタが垂直方向に適用されて、４：２：０クロマＰＵが各方向に効果的に８回伸ばされ、図２６に示すように、配列１３３０が形成される。
４：２：２インター予測
ルマＰＵ１３５０及び１組の対応するクロマＰＵ１３６０が示されている図２７及び図２８を参照して、４：２：２方式での同様の構成について説明する。図２８を参照して、上述のように、４：２：２方式では、クロマＰＵ１３６０は、非正方形とすることができ、また、８×８ ４：２：２ルマＰＵの場合、クロマＰＵは、典型的には、Ｃｂ及びＣｒチャネルのそれぞれに対する４（幅）×８（高さ）４：２：２クロマＰＵとされる。なお、図２８では便宜的に、クロマＰＵは、非正方形ピクセルの正方形の網掛け配列として描かれており、一般的には、ＰＵ１３６０は、４（水平）×８（垂直）ピクセル配列である。
一方、それ故、クロマＰＵで垂直方向に既存の８タップ×４ルマフィルタを使用できる可能性があり、実際上、補間クロマＰＵの偶数分数位置の１つに関心があるのみであるため、本発明の一実施形態では、垂直方向の補間については既存の４タップ×８クロマフィルタで十分とされる。
従って、図２７には、垂直方向で補間画像を形成するために使用される偶数分数の結果だけでなく、従来のように８タップ×４フィルタで補間された８×８ ４：２：２ルマＰＵ１３５０、並びに、水平及び垂直方向において既存の４タップ×８クロマフィルタで補間された４×８ ４：２：２クロマＰＵ１３６０が示されている。
これらの技術は、インター画像予測を使用して、入力ビデオデータを符号化するビデオ符号化若しくは復号化方法、装置又はプログラムに適用可能であり、各クロミナンス要素は、ルミナンス要素における１／Ｍの水平解像度を持ち、ルミナンス要素における１／Ｎの垂直解像度を持ち、ここで、Ｍ及びＮは、１以上の整数であり、例えば、４：２：２では、Ｍ＝２、Ｎ＝１であり、４：２：０では、Ｍ＝２、Ｎ＝２である。
フレーム記憶部５７０は、現在の画像を予測する１以上の画像を記憶する。
補間フィルタ５８０は、補間された予測ユニットのルミナンス要素が、記憶画像の対応する部分のＰ倍の水平解像度を持ち、記憶画像の対応する部分のＱ倍の垂直解像度を持つように、記憶された画像の予測ユニットの高解像度バージョンを補間し、ここで、Ｐ及びＱは、１を超える整数である。現在の例では、Ｐ＝Ｑ＝４であり、補間フィルタ５８０が１／４サンプル解像度で補間画像を生成する。
動き推定部５５０は、現在の画像及び１以上の補間記憶画像の間のインター画像の動きを検出して、現在の画像の予測ユニット及び１以上の予測画像の領域の間の動きベクトルを生成する。
動き補償予測部５４０は、各動きベクトルによって示された補間記憶画像の領域に関して、現在の画像の予測ユニットの動き補償予測を生成する。
補間フィルタ５８０の動作の説明に戻り、実施形態に係るこのフィルタは、ａ×Ｒ水平及び×Ｓ垂直補間フィルタを、記憶画像のクロミナンス要素に適用して、補間クロミナンス予測ユニットを生成し、ここで、Ｒは、（Ｕ×Ｍ×Ｐ）に等しく、Ｓは、（Ｖ×Ｎ×Ｑ）に等しく、Ｕ及びＶは、１以上の整数であり、また、フィルタは、補間クロミナンス予測ユニットをサブサンプリングし、その水平解像度がＵ倍で分割され、かつ、その垂直解像度がＶ倍で分割され、これにより、ＭＰ×ＮＱサンプルのブロックが生成される。
従って、４：２：２の場合、補間フィルタ５８０は、水平及び垂直にａ×８補間を適用し、一方で、例えば、補間出力においてサンプルを２つおきに使用して、垂直に２倍でサブサンプリングを行う。
この技術は、それ故、同じ（例えば、×８）フィルタが、４：２：０及び４：２：２で使用されることを許容しているが、４：２：２では、サブサンプリングのさらなるステップが必要とされる。
本発明の実施形態では、上述のように、補間クロミナンス予測ユニットは、同じ×Ｒ及び×Ｓ補間フィルタを使用して補間された４：２：０フォーマット予測ユニットのサンプルの高さの２倍の高さを持つ。
異なるフィルタを提供する必要性は、４：２：０入力ビデオデータ及び４：２：２入力ビデオデータについて、特に、同じ×Ｒ水平及び×Ｓ垂直補間フィルタを使用することによって、これらの技術を使用して回避又は軽減することができる。
上述のように、補間クロミナンス予測ユニットをサブサンプリングするステップにおいて、垂直方向に補間クロミナンス予測ユニットのサンプルをＶおきに使用し、及び／または垂直方向に補間クロミナンス予測ユニットのサンプルをＵおきに使用する。
本発明の実施形態において、予測ユニットについてルミナンス動きベクトルを抽出し、独自に、その予測ニットについて１以上のクロミナンス動きベクトルを抽出してもよい。
本発明の実施形態では、少なくとも１つのＲ及びＳが、２以上の値に等しく、また本発明の実施形態では、×Ｒ水平及び×Ｓ垂直補間フィルタも、記憶画像のルミナンス要素に適用される。
各種４：４：４インター予測
拡張により、既存の４タップ×８クロマフィルタについて、偶数分数の結果のみを使用するという同じ考え方は、８×８ ４：４：４クロマＰＵについて垂直方向及び水平方向の両方に適用することができる。
さらにこれらの例では、×８クロマフィルタがルマを含む全ての補間に使用されてもよい。
他の各種インター予測
動きベクトル（ＭＶ：Motion Vector）抽出に係る一実施形態では、ＰスライスにおけるＰＵに対して１つの動きベクトルが生成される（及びＢスライスにおけるＰＵに対する２つのベクトルが生成される（ＭＰＥＧ Ｐ及びＢフレームと同様の方法で、Ｐスライスは、予測フレームから予測され、Ｂスライスは、予測及び後フレームから予測される））。
特に、４：２：０方式に係る実施形態では、ベクトルが全てのチャネルで共通とされ、さらに、クロマデータは、動きベクトルの計算に使用される必要がない。つまり、全てのチャネルは、ルマデータに基づく動きベクトルを使用する。
本発明に係る一実施形態では、４：２：２方式において、クロマベクトルは、ルマから独立して抽出することができ（つまり、Ｃｂ及びＣｒチャネルに対する動きベクトルは、別々に抽出できる）、また、４：４：４方式において、クロマベクトルは、Ｃｂ及びＣｒのそれぞれに対してさらに独立とすることができる。
変換
ＨＥＶＣでは、ほとんどの画像は、以前に符号化／復号化されたフレームから、動きベクトルとして符号化され、動きベクトルは、これらの他の復号化されたフレームにおいて、現在の画像の良い近似をどこからコピーするかをデコーダに示す。この結果は、現在の画像の近似バージョンである。その後、ＨＥＶＣは、近似バージョン及び正確な画像間における誤差であるいわゆる残差（residual）を符号化する。この残差は、実際の画像を直接的に特定するよりも、非常に少ない情報で済む。しかしながら、それでもやはり、一般的には、全体のビットレートをさらに低減させるために、この残差の情報を圧縮することが好ましい。
ＨＥＶＣを含む多くの符号化方法では、このようなデータは、整数コサイン変換（ＩＣＴ：Integer Cosine Transform）を使用して空間周波数領域に変換され、また、典型的には、所望の圧縮レベルに応じて、低空間周波数データを保ち、高空間周波数データを除去することによって圧縮が達成される。
４：２：０変換
特に、共通量子化／圧縮方法に忠実であるため、ＨＥＶＣで使用される空間周波数変換では、慣例的に、４の累乗での係数（例えば、６４周波数係数）が生成される。４：２：０方式における正方形ＴＵは、全て４の累乗であり、従って、達成が容易である。
仮に、ＮＳＱＴ動作が有効化される場合、いくつかの非正方形変換が、４×１６などの非正方形ＴＵに対して利用可能であるが、やはりこれらは６４係数となり、つまり、やはり４の累乗である。
各種４：２：２及び４：４：４変換
４：２：２方式は、４の累乗ではない非正方形ＴＵを生成することができる。例えば、４×８ＴＵは３２ピクセルを有しており、また、３２は４の累乗ではない。
従って、本発明における一実施形態では、４の累乗ではない数の係数に対する正方形変換が使用されてもよい。なお、修正が後続の量子化処理で要求される。
あるいは、本発明の一実施形態では、非正方形ＴＵは、変換について４の累乗の領域をもつ正方形ブロックに分割され、その後、結果としての係数を、インターリーブするこができる。
例えば、４×８ブロック（８行の４サンプル）では、奇数／偶数垂直サンプルはが、２つの正方形ブロックに分割され得る。あるいは、４×８ブロックでは、上の４×４ピクセル及び下の４×４ピクセルは、２つの正方形ブロックを形成することができる。あるいは、やはり、４×８ブロックでは、下位及び上位周波数の４×４ブロックを形成するために、ハール ウェーブレット分解が使用され得る。
これらの選択肢はいずれも利用可能であり、また、特定の代替手段の選択が、信号化又はデコーダによって抽出されてもよい。
その他の変換モード
４：２：０方式においては、残差データがビットストリームに無損失で（変換、量子化、又はさらなるフィルタリングなしで）含まれるようにする提案フラグ（いわゆる、qpprime_y_zero_transquant_bypass_flag）が存在する。
従って、このような実施形態は、ルミナンス及びクロミナンスサンプルが予測され、サンプル及び各予測サンプル間の差が符号化され、ルミナンス差データが出力ビッドストリームに無損失で含まれているかを示し、独自に、クロミナンス差データがビットストリームに無損失で含まれているかを示すインジケータを利用するビデオ符号化又は復号化方法に相当する。
本発明の一実施形態では、ルマチャネルに対するフラグが、クロマチャネルとは別とされることが提案される。従って、４：２：２方式では、このようなフラグがルマチャネル及びクロマチャネルで別々に提供され、また、４：４：４方式では、このようなフラグが、ルマ及びクロマチャネルのどちらかに別々に提供されるか、あるいは、１つのフラグが、３つのチャネルのそれぞれに対して提供される。これにより、４：２：２及び４：４：４方式に関連する、増加するクロマデータレートが認識され、例えば、クロマデータと共に圧縮された無損失ルマデータが有効化される。
イントラ予測符号化では、モード依存方向変換（ＭＤＤＴ：Mode-Dependent Directional Transform）は、ＴＵに対する水平又は垂直ＩＣＴ（または両ＩＣＴ）が、イントラ予測方向に基づく整数サイン変換に置き換えられることを許容している。４：２：０方式では、これは、クロマＴＵに適用されない。しかしながら、本発明の一実施形態では、４：２：２及び４：４：４クロマＴＵに対して適用することが提案される。なお、ＩＳＴは、現在、４サンプル変換次元（垂直又は水平）についてのみ定義されおり、従って、現在、４×８クロマＴＵに垂直に適用され得ない。ＭＤＤＴについては後述する。
ビデオ符号化方法では、本発明の各種の実施形態は、ルミナンス差データが出力ビットストリームに無損失で含まれているかどうか、及び、独立して、クロマ差データがビットストリームに無損失で含まれているかどうかを示し、このような指示によって定義された形式で、関連するデータを符号化及び含めるように構成され得る。
量子化
４：２：０方式では、量子化演算が、クロミナンス（色）及びルミナンス（輝度）で同じであり、量子化パラメータ（ＱＰ：Quantization Parameter）のみが異なる。
クロミナンスに対するＱＰは、ルミナンスＱｐから以下の様にして算出される。
QPcb = scalingTable［QPluminances＋chroma_qp_index_offset］
QPcr = scalingTable［QPluminances＋second_chroma_qp_index_offset］
ここで、scalingTableは、図２９Ａ及び図２９Ｂに示すように定義され（それぞれ４：２：０、４：２：２に対応）、"chroma_qp_index_offset"及び"second_chroma_qp_index_offset"は、ピクチャ・パラメータ・セットにおいて定義され、Ｃｒ及びＣｂについて同じ又は異なる。換言すると、角括弧内の値は、スケーリングテーブル（図２９Ａ及びＢ）内における"インデックス"を定義し、そして、スケーリングテーブルは、ＱＰの修正値（"値"）を与える。
なお、"chroma_qp_index_offset"及び"second_chroma_qp_index_offset"は、代わりに、それぞれ"cb_qp_offset"及び"cr_qp_offset"とされてもよい。
クロミナンスチャネルは、典型的には、含まれる情報がルミナンスよりも少なく、従って、小さな大きさの係数を有しており、クロミナンスＱＰにおけるこの制限は、重い量子化レベルで、全てのクロミナンスの細部が損失してしまうことを防止する。
４：２：０におけるＱＰ−因子（divisor）の関係は、ＱＰにおける６の増加が因子の倍増に等しいような対数的な関係である（量子化ステップサイズは、本明細書において他の箇所で説明するが、使用の前にＱによってさらに修正されてもよい）。従って、５１−３９＝１２によるスケーリングテーブルにおける最大の差は、因子における４倍の変化を表している。
しかしながら、本発明の一実施形態は、４：２：２方式について、４：２：０方式の２倍のクロマ情報を含む可能性があり、スケーリングテーブルにおける最大クロミナンスＱＰ値は、４５に上げられ得る（つまり、因子を持つ）。同様に、４：４：４方式では、スケーリングテーブルにおける最大クロミナンスＱＰ値は、５１に上げられ得る（つまり、同じ因子）。この場合、スケーリングテーブルは、実質的に冗長とされるが、動作効率の単純さは保たれる（つまり、システムは、各方式で同じ方法でテーブルを参照することによって動作するため）。従って、より一般的には、本発明の一実施形態では、クロマＱＰ因子は、４：２：０方式に関連する符号化方式における情報量に対応して修正される。
従って、本発明の実施形態は、量子化ステップサイズを定義する選択された量子化パラメータに応じて、４：４：４又は４：２：２における周波数変換ルミナンス及びクロミナンス要素ビデオデータのブロックを量子化するビデオ符号化及び復号化方法に適用される。量子化パラメータの関連性（例えば、図２９Ａ又は図２９Ｂにおける適切なテーブル）は、ルミナンス及びクロミナンス量子化パラメータ間で定義され、この関連性では、最大クロミナンス量子化ステップサイズが、４：２：２フォーマットについて最大ルミナンス量子化ステップサイズよりも小さく（例えば４５）、一方、４：４：４フォーマットについて最大ルミナンス量子化ステップサイズに等しい（例えば５１）。量子化処理では、周波数変換データの各要素が、各量子化ステップサイズから抽出された各値によって分割され、この結果が整数値に丸められて、量子化空間周波数データの対応するブロックが生成される。
なお、分割及び丸めのステップは、各量子化ステップサイズ（又は、それから抽出されたデータ、例えば、Ｑの応用による例）に応じた、一般的な量子化ステージを示す例である。
本発明の実施形態は、空間周波数係数を量子化するための量子化パラメータ又はインデックス（ルミナンスについてのＱＰ）を選択することを含み、量子化パラメータは、ルミナンスデータに適用可能なＱＰテーブルに応じた、量子化ステップサイズの組のそれぞれの基準となる。量子化パラメータの関連性を定義する処理では、クロミナンス要素について、選択された量子化パラメータに応じて、修正された量子化パラメータのテーブルを参照し、このとき、（ｉ）第１のクロミナンス要素に関して、第１のオフセット（chroma_qp_index_offset等）を量子化パラメータに加え、量子化インデックス＋第１のオフセットについて、テーブルにおいて、エントリに対応する修正量子化インデックスを選択し、（ｉｉ）第２のクロミナンス要素に関して、第２のオフセット（second_chroma_qp_index_offset等）を量子化パラメータに加え、量子化インデックス＋第２のオフセットについて、テーブルにおいて、エントリに対応する修正量子化インデックスを選択し、ルミナンスデータ、並びに、第１及び第２のクロミナンス要素についての第１及び第２の修正量子化インデックスにおける量子化パラメータに応じて、組における各量子化ステップサイズを参照する。別の観点では、処理の一例では、空間周波数係数を量子化するための量子化パラメータを選択し、量子化パラメータは、量子化パラメータの組のそれぞれの基準となり、定義するステップでは、クロミナンス要素について、選択された量子化パラメータに応じて、修正された量子化パラメータのテーブルを参照し、参照するステップでは、各クロミナンス要素について、各オフセットに量子化パラメータを加え、量子化パラメータ＋各オフセットについて、テーブルにおいて、エントリに対応する修正された量子化パラメータを選択し、ルミナンスデータ、並びに、第１及び第２のクロミナンス要素についての第１及び第２の修正量子化パラメータにおける量子化パラメータに応じて、組における各量子化ステップサイズを参照する。
この技術は、特に、セット内における量子化ステップサイズの連続値が対数関数的に関連しており、ｍ（ｍは整数）の量子化パラメータにおける変化が、ｐ倍（ｐは、１よりも大きい整数）の量子化ステップサイズの変化を表す構成に適用することができる。本実施形態では、ｍ＝６、ｐ＝２である。
本発明の実施形態では、上述のように、最大ルミナンス量子化パラメータは５１であり、４：２：２フォーマットについて最大クロミナンス量子化パラメータは４５であり、４：４：４フォーマットについて最大クロミナンス量子化パラメータは５１である。
本発明の実施形態では、第１及び第２のオフセットは、符号化ビデオデータに関連づけられて通信され得る。
４：２：０変換では、下記の式を使用して、真正規化Ｎ×Ｎ ＤＣＴ Ａ'から、Ａが最初に（変換ユニット３４０により）生成される。
Ａｉｊ＝ｉｎｔ（６４×√Ｎ×Ａ'ｉｊ）
ここで、ｉ及びｊは、行列内の位置を示す。正規化変換に応じたスケーリングは、高精度化を提供し、小数計算の必要性を回避し、内部精度を高める。
ＸがＡ及びＡＴの両方に乗算されるので、Ａｉｊの丸めによる差は無視され、結果としての係数は、下記の共通スケーリングファクターによる真正規化Ｍ×Ｎ（Ｍ＝高さ、Ｎ＝幅）ＤＣＴのものとは異なる。
（６４×√Ｎ）（６４×√Ｍ）＝４０９６√Ｎ√Ｍ
なお、共通スケーリングファクターは、この例とは異なり得る。また、Ａ及びＡＴの両方への行列乗算は、いわゆるバタフライ方法などの様々な方法で実行され得る。重要なことは、実行される動作が従来の行列乗算と同じであるかどうかということであり、特定の従来の動作順で実行されるかどうかということではない。
ＨＥＶＣでは、２の累乗になるので、スケーリングファクターは、多数のビットによるバイナリ左シフトビット幅動作TransformSihftに等しい。
TransformShift＝（１２＋０．５ｌｏｇ２（Ｎ）＋０．５ｌｏｇ２（Ｍ））
内部ビッド精度における要求を減らすために、変換処理中、係数は（正の丸めを使用して）２回右にシフトされる。
Shift１＝ｌｏｇ２（Ｎ）＋bitDepth−９
Shift２＝ｌｏｇ２（Ｍ）＋６
結果として、前変換処理を終え、量子化部に入る係数は、以下の式によって効果的に左側にシフトされる。
resultingShift ＝（１２＋０．５ｌｏｇ２（ＮＭ））−（Shift１＋Shift２）
＝（１２＋０．５ｌｏｇ２（Ｎ）＋０．５ｌｏｇ２（Ｍ））−（ｌｏｇ２（Ｎ）＋bitDepth−９＋ｌｏｇ２（Ｍ）＋６）
＝１５−（０．５ｌｏｇ２（Ｎ）＋０．５ｌｏｇ２（Ｍ）＋bitDepth）
４：２：０では、周波数変換によって生成された周波数分離（例えば、ＤＣＴ）係数は、正規化ＤＣＴ処理の（２resultingShift）倍である。
本発明のいくつかの実施形態では、ブロックは、正方形又は４：１のアスペクト比の長方形である。従って、Ｎ×Ｍのブロックサイズは、以下のいずれかである。
Ｎ＝Ｍ、この場合、resultingShiftは、整数かつ、Ｓ＝Ｎ＝Ｍ＝sqrt（ＮＭ）である。
０．５Ｎ＝２Ｍ又は２Ｎ＝０．５Ｍ、この場合、resultingShiftは、整数かつ、Ｓ＝sqrt（ＮＭ）である。
resultingShift ＝１５−（０．５ｌｏｇ２（Ｎ）＋０．５ｌｏｇ２（Ｍ）＋bitDepth）
＝１５−（ｌｏｇ２（Ｓ）＋bitDepth）
係数は、その後、量子化され、ここで、量子化因子は、量子化パラメータに応じて抽出される。
なお、resultingShiftは、整数に等しく、従って、共通スケーリングファクターは、２の累乗の整数であり、変換処理の全体の左シフト'resultingShift'も、等しいが逆である右シフト'quantTransformRightShift'の適用によって、この段階で考慮される。
resultingShiftが整数であるため、このビットシフト動作が可能である。
なお、因子−ＱＰ（量子化パラメータ又はインデックス）関係は、上述のように、６によるＱＰにおける増加が、因子を２倍にする効果を有し、一方で、３によるＱＰの減少が、sqrt（２）（２の平方根）倍による因子の減少の効果を有する基数２出力曲線に従う。
４：２：２におけるクロマフォーマットに起因して、多くのＴＵ幅：高さ（Ｎ：Ｍ）比が存在する。
Ｎ＝Ｍ（前から） ここで、Ｓ＝Ｎ＝Ｍ＝sqrt（ＮＭ）である（resultingShifは整数）。
０．５Ｎ＝２Ｍ及び２Ｎ＝０．５Ｍ（前から） ここで、Ｓ＝sqrt（ＮＭ）である（resultingShifは整数）。
Ｎ＝２Ｍ ここで、Ｓ＝sqrt（ＮＭ）である。
２Ｍ＝Ｎ ここで、Ｓ＝sqrt（ＮＭ）である。
４Ｎ＝０．５Ｍ ここで、Ｓ＝sqrt（ＮＭ）である。
resultingShift＝＝１５−（ｌｏｇ２（Ｓ）＋bitDepth）
これら後者の３つの状況では、"resultingShift"は整数ではない。例えばこれは、ビデオデータサンプルのブロックの少なくともいくつかがＭ×Ｎサンプルであって、Ｎ／Ｍの平方根が２の整数乗に等しくならない場合に当てはまる。このようなブロックサイズは、いくつかの実施形態において、クロマサンプルについて起こり得る。
したがって、このような場合には、以下のような手法が知られている。すなわち、ビデオ符号化方法またはビデオ復号化方法においては、装置またはプログラムが、変換行列の次元に応じた量によって正規化された変換の値毎にそれぞれスケーリングされた整数値のアレイを有する変換行列を用いて、複数ブロックからなるビデオデータサンプルを周波数変換することで、複数のブロックからなる量子化空間周波数データを生成し、その空間周波数データを、選択された量子化ステップのサイズに応じて量子化するように動作する。当該量子化ステップは、ビデオデータサンプルのブロックを、変換行列及びその転置行列によって行列乗算することによって当該ブロックを周波数変換して、スケーリングされた空間周波数係数のブロックを生成するステップを含む。この空間周波数係数はそれぞれ、共通のスケーリングファクター（例えば、"resultingShift"）のために、ビデオデータサンプルの上記ブロックの正規化された周波数変換の結果として生じる空間周波数係数よりも大きくなる。
したがって量子化段階においては、適切なビットシフト処理であっても、単純な方法で処理をキャンセルするためには用いることができない。
この問題に対する解決策が以下の通り提案される。
量子化部段階において、右シフトを適用する：
quantTransformRightShift＝１５−ｌｏｇ２（Ｓ'）−bitDepth
ここで、値Ｓ'は以下から導出される。
resultingShift- quantTransformRightShift＝＋１／２
ここで、quantTransformRightShiftは整数である。
このシフト間の差１／２は、２の平方根を乗算することに等しい。すなわち、ここでは、係数は２の平方根倍だけ大きくなるため、ビットシフトは整数ビットシフトとなる。
この量子化プロセスのために、（ＱＰ＋３）の量子化パラメータを適用する。これにより、量子化因子が２の平方根という因数によって効果的に増加し、これにより２の平方根のスケール因子をそれより前のステップからキャンセルできる。
したがって、これらのステップ（すなわち、ビデオ符号化方法及びビデオ復号化方法において、（または対応する装置またはプログラムにおいて、）変換行列の次元に応じた量によって正規化された変換行列の値毎にそれぞれスケーリングされた整数値のアレイを有する変換行列を用いて、複数ブロックからなるビデオデータサンプルを周波数変換することで、複数のブロックからなる量子化空間周波数データを生成し、その空間周波数データを、選択された量子化ステップのサイズに応じて量子化するように動作し、当該量子化ステップは、ビデオデータサンプルのブロックを、変換行列及びその転置行列によって行列乗算することによって当該ブロックを周波数変換して、スケーリングされた空間周波数係数のブロックを生成するステップを含み、この空間周波数係数はそれぞれ、共通のスケーリングファクター（例えば、"resultingshift"）のために、ビデオデータサンプルの上記ブロックの正規化された周波数変換の結果として生じる空間周波数係数よりも大きくなること。）は以下のように要約される。
空間周波数係数の量子化のための量子化ステップサイズを選択する。スケーリングされた各空間周波数係数を２ｎの倍数（ｎは整数）で分割するために、ｎビットシフト（例えば、quantTransformRightShift）を適用する。２ｎで割り切れる共通の剰余スケーリングファクター（例えば、resultingShift- quantTransformRightShift）を検出する。
例えば、上述の状況では、量子化ステップサイズは剰余スケーリングファクターに従って修正された量子化ステップサイズを生成し、ブロックにおいてスケーリングされた各空間周波数係数は、当該修正された量子化ステップサイズに依存する値によって除算され、その結果が整数値へ丸められて、量子化空間周波数データのブロックが生成される。
上述したように、量子化ステップサイズの修正は、ＱＰが量子化ステップサイズのテーブル内にマッピングされた場合に、ＱＰに対してオフセット値を単に加えて異なる量子化ステップサイズを選択するだけで実行可能である。
上記係数はこれにより元のＱＰに対して正しい大きさのものになる。
上記変換行列は、変換行列の次元に応じた量によって正規化された変換行列の値毎にそれぞれスケーリングされた整数値の配列を有する。
その結果、Ｓ'に要求される値は常に下記のように導かれる；
Ｓ'＝sqrt（２＊Ｍ＊Ｎ）
これに代えて、Ｓ'は下記のように導かれてもよい；
resultingShift−quantTransformRightShift＝−１／２
この場合、Ｓ'= sqrt(１／２＊Ｍ＊Ｎ)であり、適用される量子化パラメータは（ＱＰ−３）である。
これらのいずれの場合（ＱＰに３を加える場合またはＱＰから３を減じる場合）も、量子化ステップサイズを選択するステップは、量子化インデックス（例えばＱＰ）を選択することを含む。この量子化インデックスは、各量子化ステップサイズのテーブルにおける各エントリを定義する。また修正ステップは、異なる量子化ステップサイズを選択して、上記異なる量子化ステップサイズと、当初選択された量子化ステップサイズとの比が実質的に剰余スケーリングファクターと等しくなるように、量子化インデックスを変更することを含む。
これは、本実施形態のように、テーブル中の量子化ステップサイズの連続する値が対数的に関連しており、ｍ（ｍは整数）という量子化インデックス（例えばＱＰ）の変更が、ｐという因数（ｐは２以上の整数）による量子化ステップサイズの変更と等しい場合に、特に効果的である。本実施形態では、ｍ＝６、ｐ＝２であり、ＱＰにおける６の増加は、入力される量子化ステップサイズが２倍になることを意味し、ＱＰにおける６の減少は、出力される量子化ステップサイズが１／２になることを意味する。
上述したように、上記変更は、ルミナンスサンプルに関して量子化インデックス（例えば、基数であるＱＰ）を選択し、ルミナンスサンプルに関して選択された量子化インデックスに対して量子化インデックスオフセットを生成し、クロミナンス要素のそれぞれ又は双方のサンプルについて、量子化インデックスオフセットを剰余スケーリングファクターに従って変更し、量子化インデックスオフセットを、符号化されたビデオデータに関連して通信することで実行可能である。ＨＥＶＣの実施形態では、２つのクロマチャンネルに対するＱＰオフセットは、ビットストリームで送信される。これらのステップは、（剰余スケーリングファクターを構成する）±３のＱＰオフセットがこれらのオフセットに組み込まれ、またはそれらのオフセットがクロマＱＰを導くために用いられる場合にインクリメント／デクリメントされるようなシステムに対応する。
ここで、ＱＰオフセットは、異なる形態のブロックが用いられた場合には、±3である必要はない。±３というのは、例えば４：２：２ビデオについて、上述したブロックの形態及びアスペクト比に適用可能なオフセット値を指すのみである。
いくつかの実施形態では、ｎ（入力されるビットシフト）は２ｎが共通のスケーリングファクター以上になるように選択されてもよい。他の実施形態では、ｎは２ｎが共通のスケーリングファクター以下になるように選択されてもよい。開示の実施形態（上記両方の設定を用いる）では、ビットシフトｎは、共通のスケーリングファクターに２番目に（いずれの方向でも）近くなるように選択される。これにより、剰余スケーリングファクターは２未満の大きさを有する因数を表すこととなる。
他の実施形態では、上記量子化ステップサイズの修正は、単に量子化ステップサイズと剰余スケーリングファクターに応じて因数を乗算することで実行されてもよい。すなわち、上記修正はインデックスＱＰの修正を伴わなくてもよい。
また、上述した量子化ステップサイズは、変換されたサンプルが除算される実際の量子化ステップサイズである必要はない。このように導き出される量子化ステップサイズは、さらに修正され得る。例えば、ある手法では、量子化ステップサイズは、行列値（Ｑ行列）のそれぞれのエントリによって、異なる最終量子化ステップサイズが、係数の量子化ブロックにおける異なる係数位置において用いられるように、さらに修正される。
また、４：２：０方式では、最大のクロマＴＵは１６×１６であるが、４：２：２方式では、ＴＵは１６×３２であってもよく、４：４：４のスキームでは、ＴＵは３２×３２であってもよい。結果的に、一実施形態では、クロマＴＵが３２×３２である量子化行列（Ｑ行列）が提案される。同様に、Ｑ行列は、より大きな正方形のＱ行列のサブサンプリングとしての実施形態とともに、１６×３２等の非正方形の行列として定義される。
Ｑ行列は、以下の(1)から(5)のいずれかによっても定義され得る。
（１）グリッド中の値（４×４及び８×８のＱ行列において）
（２）より小さいまたはより大きい行列から空間補間されたもの；
ＨＥＶＣでは、より大きい行列がより小さい参照Ｑ行列の係数の各グループから導出され得る。また、より小さい行列が、より大きい行列からサブサンプリングされ得る。ここで、この補間またはサブサンプリングは、あるチャンネル比内で実行され得る。例えば、あるチャンネル用のより大きい行列は、他のチャンネル用のより小さい行列から補間され得る。
（３）他のＱ行列との比較によって（すなわち、異なる値または差分）；
したがって差分のみ送信される必要がある。
単に図示のために小さい例を挙げると、１つのチャンネル比用の特定の行列が、４：２：０における４×４の行列として以下のように定義され得る。
（ａ ｂ）
（ｃ ｄ）
ここで、ａ、ｂ、ｃ及びｄはそれぞれ係数である。これは参照行列として動作する。
そうすると、開示の各実施形態は、他のチャンネル比についての類似のサイズの行列に対して、異なる値のセットを以下のように定義できる。
（diff１ diff２）
（diff３ diff４）
これにより、他のチャンネル比用にＱ行列を生成するために、行列間の差異は、参照行列に行列を加えたことによるものである。
これらの差異に代えて、他のチャンネル比用に、乗算因数からなる行列が定義されてもよい。例えば、（ｉ）乗算因数からなる行列は、行列が参照行列と乗算されて他のチャンネル比用のＱ行列が生成され、または、（ｉｉ）参照行列における各係数が個別に各因数と乗算され他のチャンネル比用のＱ行列が生成される。
（４）他のＱ行列の関数として；
例えば、他の行列とのスケーリング比（上記の例におけるａ、ｂ、ｃ、ｄの各値がいくつかの因数と乗算され、または各値に同じ差分値が加えられたもの）である。これは、差分データまたは因数データを送信するのに必要なデータを削減することになる。したがって、それら関数の係数のみが送信されればよい（例えばスケーリング比）。
（５）方程式／関数（例えば、区分的線形曲線、指数関数、多項式）として
したがって、行列の導出には、方程式の係数のみ、または上記のいずれかの組み合わせが送信されればよい。例えば、ａ、ｂ、ｃ、ｄは実際、行列内の係数位置（ｉ、ｊ）と依存関係を有する関数として定義され得る。（ｉ、ｊ）は、例えば、行列の左から右に亘る係数位置と、上部から下部に亘る係数位置を表す。一つの例として、以下のものが挙げられる。
coefficient i,j＝３ｉ＋２ｊ
ここで、行列は、ＨＥＶＣ環境では、スケーリングリストとして参照され得る。量子化がスキャニング工程の後に適用される実施形態では、スキャンされたデータは、連続したデータサンプルからなる線形ストリームとなり得る。このような例では、Ｑ行列の概念はやはり適用できるが、行列（またはスキャニングリスト）は１×Ｎの行列として考えられ、１×Ｎの行列内のＮのデータ値の配列は、それぞれのＱ行列の値が適用されるスキャンされたサンプルの配列に対応する。換言すると、スキャンされたデータにおけるデータの配列（スキャンパターンに応じた空間周波数）と、１×ＮのＱ行列におけるデータ配列には、１：１の関係が成立する。
ここで、いくつかの実装では、ＤＣＴ（周波数分離）段階は回避または省略され得るが、量子化段階は実行され得る。
他の有用な情報は、前のチャンネルまたは最初の（初期の）チャンネルといった、その値が関係する他の行列の付加的な指標を含む。例えば、上述したように、Ｃｒ用の行列はＹ用の行列またはＣｂ用の行列のスケーリングされた要素となり得る。
したがって、開示の実施形態は、（付加的に）ビデオデータサンプルのブロックに対して周波数変換処理を実行し、配列されたサンプルブロック（例えば、周波数変換サンプルの配列されたブロック）内の異なるそれぞれのブロック位置に用いるための、選択された量子化ステップサイズと量子化ステップサイズを修正するデータの行列とにしたがって、ビデオデータを（空間周波数データとして）量子化することで、量子化空間周波数データのブロックを生成可能なビデオ符号化方法またはビデオ復号化方法（及び対応する装置またはプログラム）を提供できる。当該方法は、少なくとも２つの異なるクロミナンスサブサンプリングフォーマットについて適用可能である。
クロミナンスサブサンプリングフォーマットの少なくとも１つのために、１以上の量子化行列が、上記クロミナンスサブサンプリングフォーマットの参照行列用に定義された１以上の参照量子化行列に関する１以上の所定の修正として定義される。
開示の実施形態では、上記定義ステップは、参照量子化行列の複数の値からそれぞれ取り込まれた値の行列として、１以上の量子化行列を定義することを含む。他の実施形態では、上記定義ステップは、参照量子化行列の値からそれぞれサブサンプリングされた値の行列として、１以上の量子化行列を定義することを含む。
開示の実施形態では、上記定義ステップは、参照量子化行列の対応する値に関する差分の行列として、１以上の量子化行列定義することを含む。
開示の実施形態では、上記定義ステップは、参照量子化行列の値の所定の関数として、１以上の量子化行列を定義することを含む。この場合、所定の関数は多項式関数であってもよい。
開示の実施形態では、例えば符号化ビデオデータの一部またはその関連データとして、下記の（ｉ）及び（ｉｉ）うち１つまたは両方が提供される。
（ｉ）符号化されたビデオデータについて、参照量子化行列を示すための参照指示データ
（ｉｉ）符号化されたデータの値について、１以上の所定の修正を示すための修正指示データ
これらの技術は、クロミナンスサブサンプリングフォーマットのうちの２つが４：４：４フォーマット及び４：２：２フォーマットである場合に特に適用できる。
ＨＥＶＣ４：２：０におけるＱ行列の数は、昨今では、対応するチャンネル用の変換サイズごとに６つであり、イントラ及びインターごとに１セットである。４：４：４ＧＢＲの場合、量子化行列のいずれかのセットが、全てのチャンネルについて使用可能であり、または、量子化行列の３つの各セットが使用可能である。
開示の実施形態では、少なくとも行列のうち少なくとも１つは１×Ｎ行列である。これは、（上述したように、）１以上の行列が、実際にはスケーリングリストまたはそれと同様のものであり、線形の１×Ｎに配列された係数のアレイである場合である。
ここで提案した方法は、適用されたＱＰをインクリメントまたはデクリメントすることを含む。しかし、これは様々な手法で実現され得る。
ＨＥＶＣでは、２つのクロマチャンネル用のＱＰオフセットは、ビットストリームで送信される。これらのオフセットに±３が取り込まれ、またはそれらがクロマＱＰを導出するのに用いられる場合には±３がインクリメントまたはデクリメントされる。
上述したように、ＨＥＶＣでは、（ルナＱＰ＋クロマオフセット）が、クロマＱＰを導出するためにテーブルへのインデックスとして用いられる。このテーブルは、±３を取り込むように修正され得る（すなわち、元のテーブルの値が３によってインクリメントまたはデクリメントされる）。
クロマＱＰが導出された後、通常のＨＥＶＣプロセスにより、処理結果が３だけインクリメントまたはデクリメントされる。
順方向または逆方向の量子化のために、量子化係数または量子化ステップサイズ（inverseQStep/scaledQStep）を取得するためのテーブルへのインデックスとして、（ＱＰ ％ ６）が用いられることで、除算／乗算プロセスが実施される。（ＱＰ ％ ６は、６を法とするＱＰを意味する。）上述したように、これは変換データに適用される最終の量子化ステップサイズを表すものではなく、当該量子化ステップサイズは使用前にＱ行列によってさらに修正され得る。
ＨＥＶＣのデフォルトテーブルは６の長さを有し、８つの（２倍の）値をカバーする。これは単に記憶容量に関する要求を軽減するためであり、テーブルは、実際の使用のために、ＱＰの法（ｍｏｄ ６）に従ってテーブル中のエントリを選択することで拡張され、所定の基準値からの（ＱＰ-６を法とするＱＰ）の差に従って、適切な２の累乗によって乗算または除算される。
本実施形態は、ＱＰ値におけるオフセット±３を実現するために変形され得る。このオフセットは、テーブルルックアッププロセスにおいて適用されてもよいし、それに代えて修正されたＱＰを使った上記法プロセスが実行されてもよい。オフセットは、テーブルルックアップにおいて適用されることが想定されているが、テーブルにおける追加のエントリが以下のように提供されてもよい。
１つ目の代替手法は、テーブルを３つのエントリによって拡張することである。ここで、新しいエントリは下記の通りである（インデックス値６−８用）。
図３０に例示されたテーブルは、［（ＱＰ％６）＋３］（ＱＰインクリメント法）によってインデックスされている。ＱＰ％６は、６を法とするＱＰを意味する。
図３１に例示されたテーブルは、［（ＱＰ％６）−３］（ＱＰデクリメント法）によってインデックスされており、インデックス値−１から−３用に追加のエントリを有している。
エントロピ符号化
基本的なエントロピ符号化では、符号語が入力データシンボルに割り当てられ、最短の利用可能な符号語が、入力データにおける最も確からしいシンボルに割り当てられる。平均すると、その結果は、無損失であるが、入力データのごく小さなリプレゼンテーションがある。
この基本的な方法は、シンボル確率が、しばしば直前のデータ上で暫定的であることを考慮することによってさらに改善され、これにより、割り当てプロセスのコンテキストが適応される。
このような方法では、コンテキスト変数（ＣＶ：Context Variable）が使用されて各確率モデルの選択が決定され、このようなＣＶが、ＨＥＶＣ４：２：０方式において提供される。
４：２：２方式のエントロピ符号化を拡張するために、例えば、８×８ルマＴＵに対して４×４ＴＵでなく、４×８クロマＴＵが使用され、選択的に、単純に垂直方向で同じＣＶの選択を繰り返すことによって、コンテキスト変数が提供される。
しかしながら、本発明の一実施形態では、ＣＶの選択は、左上の係数（高エネルギー、ＤＣ及び／又は低空間周波数係数）に対しては繰り返して行われず、代わりに、新たなＣＶが抽出される。この場合、例えば、ルママップからマッピングが抽出されてもよい。この方法は、４：４：４方式において使用されてもよい。
符号化の間、４：２：０方式では、いわゆるジグザグスキャン（zig-scan）が、高周波数から低周波数へと順番に係数をスキャンする。しかしながら、この場合もやはり、４：２：２方式におけるクロマＴＵは非正方形であり、従って、本発明の一実施形態では、さらに水平方向とされるように、より一般的には、ＴＵのアスペクト比に対応して、スキャンの角度が傾けられた異なるクロマスキャンが提案される。
重要性マップのＣＶの選択のための近接、並びに、１又は２大きいＣＶの選択のためのｃ１／ｃ２システムが、対応して適応される。
同様に、本発明の一実施形態では、最後の有意係数（復号化における開始位置となる）は、共同位置ルマＴＵにおける最後の有意位置から差動的に符号化されたクロマＴＵに対する最後の有意位置で、４：４：４方式に対して調整を行うこともできる。
係数スキャニングは、特定のＴＵサイズに依存する予測モードで行うこともできる。従って、イントラ予測モードに基づく同じＴＵサイズに対して、異なるスキャンオーダが使用され得る。
４：２：０方式では、モード依存係数スキャニング（ＭＤＣＳ：Mode Dependent Coefficient Scanning）は、イントラ予測について４×４／８×８ルマＴＵ及び４×４クロマＴＵに適用されるのみである。
本発明の一実施形態では、４：２：２方式において、ＭＤＣＳが、イントラ予測について４×８及び８×４クロマＴＵに適用されることが提案される。同様に、４：４：４方式において、ＭＤＣＳが８×８及び４×４クロマＴＵに適用されることが提案される。
インループフィルタ
非ブロック化（Deblocking）
非ブロック化は、全てのＣＵ、ＰＵ及びＴＵ境界に適用され、ＣＵ／ＰＵ／ＴＵ形状は、考慮されない。フィルタ強度及びサイズは、局所的な統計に依存し、また、非ブロック化は、８×８ルマピクセルの粒度を持つ。
従って、４：２：０方式に適用される現在の非ブロック化が、４：２：２及び４：４：４方式においても適用されると予測される。
サンプル適応オフセット
サンプル適応オフセット（ＳＡＯ：Sample Adaptive Offsetting）では、各チャネルは、完全に独立である。ＳＡＯは、四分木を使用して、各チャネルについて画像データを分割し、生成されたブロックは、その大きさが少なくとも１つのＬＣＵの大きさとされる。リーフブロックは、ＬＣＵ境界に合わせられ、各リーフは、エンコーダにより決定された、３つのモードのうちの１つで動作することができる（中央バンドオフセット、サイドバンドオフセット、又はエッジオフセット）。各リーフは、そのピクセルを分類し、また、エンコーダは、ＳＡＯ入力データ及びソースデータを比較することによって、１６カテゴリのそれぞれに対するオフセット値を導き出す。これらのオフセットは、デコーダに送られる。復号化されたピクセルカテゴリに対するオフセットは、その値に加えられて、ソースからの偏差が最小化される。
さらに、ＳＡＯは、ピクチャレベルで有効化又は無効化され、仮に、ルマで有効化される場合、各クロマチャネルとは別に有効化され得る。
従って、この処理は、下層ブロック方式に対して非常に透過的であり、４：２：０方式に適用されている現在のＳＡＯが、４：２：２及び４：４：４方式に対しても適用可能であると予測される。
適応ループフィルタリング
４：２：０方式では、適用ループフィルタリング（ＡＬＦ：Adaptive Loop Filtering）は、基準設定において無効とされている。しかしながら、原則的には（許されるなら）、ＡＬＦは、クロマについてピクチャ全体に適用される。
ＡＬＦでは、ルマサンプルは、１５カテゴリのうちの１つに記憶され、各カテゴリは、異なるウィナー型フィルタを使用する。
これに反して、４：２：０では、クロマサンプルは、分類されておらず、Ｃｂに対して１つ、Ｃｒに対して１つのウィナー型フィルタが存在するのみである。
従って、本発明の一実施形態では、４：２：２及び４：４：４方式での増加するクロマ情報を考慮して、クロマサンプルが、例えば、４：２：２について７カテゴリに、４：４：４について１５カテゴリに分類されることが提案される。
一方、４：２：０方式では、ＡＬＦは、ＡＬＦ制御フラグ（ＡＬＦ制御深度によって特定されたＣＵレベルまで）を使用する、ＣＵ毎を基準としたルマについて無効とされ、ピクチャ毎を基準としたクロマについて無効とされる。
従って、本発明の一実施形態では、クロマについて１つまたは２つのチャネル固有ＡＬＦ制御フラグを有する４：２：２又は４：４：４方式が提案される。
シンタックス
ＨＥＶＣでは、４：２：０、４：２：２又は４：４：４方式を示すために、シーケンスレベルで示されるシンタックスが提案されている。しかしながら、本発明の一実施形態では、このレベルで、４：４：４ＧＢＲをも示すことが提案される。
データ信号
上述の符号化装置の変形例により生成されたデータ信号及び、このような信号を送信する記憶装置又は伝送媒体は、本発明の実施形態を表すと考えられることが理解されよう。
上述の実施形態の各特徴は、以下の番号の条項によって定義される。
１． 4:2:2フォーマットのビデオ信号の画像において使用可能なビデオ符号化方法であって、
符号化されるべき画像を、複数の符号化ユニット、複数の予測ユニット、及び複数の変換ユニットへ分割し、前記符号化ユニットは、ルミナンスサンプル及び対応するクロミナンスサンプルの方形のアレイであり、１つの前記符号化ユニット内に１つ以上の予測ユニット及び１つ以上の変換ユニットが存在し、前記予測ユニットは、予測処理の基本ユニットであって１つの予測ユニット内の全てのサンプルが共通の予測技術を用いて予測され、前記変換ユニットは、変換及び量子化の基礎ユニットであり、
非方形の予測ユニットを許容すべく非方形変換処理を可能とし、
変換ユニットのブロックサイズを、前記予測ユニットのブロック配列に合致するように選択する
ビデオ符号化方法。
２． 上記１に記載のビデオ符号化方法であって、
１つの符号化ユニットに対応する２つ以上の予測ユニット間の非対称を許容すべく非対称運動を可能とすることをさらに含む
ビデオ符号化方法。
３． 上記１または２に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、
前記予測ユニットに対応する画像の一部から画像特徴を検出すること、及び、
前記変換ユニットの境界を前記画像の一部における画像特徴のエッジと一致させるように前記予測ユニットについての変換ユニットブロックサイズを選択すること
をさらに含むビデオ符号化方法。
４． 上記３に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、
各予測ユニットのサイズについて定義された部分からなるツリー階層にしたがって、符号化ユニットから導出される１以上の変換ユニット用に変換ユニットのブロックサイズを選択することを含む
ビデオ符号化方法。
５． 上記１〜４のいずれか１項に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、選択された符号化ユニット及び予測ユニットの構造にしたがって、下記の表から変換ユニットのブロックサイズを選択することを含み、
上記表中、レベル０、レベル１、レベル２は、上記ツリー階層の部分における連続するレベルを示し、n/aは世用されないモードを示し、各ブロックサイズは（幅寸法）×（高さ寸法）×（存在する場合、事例の数）を示し、Nは１より大きい整数を示す
ビデオ符号化方法。
６． 上記１〜４のいずれか１項に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、選択された符号化ユニット及び予測ユニットの構造にしたがって、下記の表から変換ユニットのブロックサイズを選択することを含み、
上記表中、レベル０、レベル１、レベル２は、上記ツリー階層の部分における連続するレベルを示し、n/aは世用されないモードを示し、各ブロックサイズは（幅寸法）×（高さ寸法）×（存在する場合、事例の数）を示し、Nは１より大きい整数を示す
ビデオ符号化方法。
７． 上記１〜６のいずれか１項に記載のビデオ符号化方法であって、
非方形の変換ユニットを、当該変換ユニットの変換または量子化の前に、複数の方形ユニットへと分割するステップをさらに有する
ビデオ符号化方法。
８． コンピュータによって起動され、コンピュータに上記１〜７のいずれか１項の方法を実行させるプログラム。
９． 上記８に記載のプログラムを記憶した機械読み取り可能な非一時的記憶媒体。
１０． 上記１〜７のいずれか１項に記載の方法にしたがって生成された符号化データを含むデータ信号。
１１． 4:2:2フォーマットのビデオ信号の画像において使用可能なビデオ符号化装置であって、
符号化されるべき画像を、複数の符号化ユニット、複数の予測ユニット、及び複数の変換ユニットへ分割し、前記符号化ユニットは、ルミナンスサンプル及び対応するクロミナンスサンプルの方形のアレイであり、１つの前記符号化ユニット内に１つ以上の予測ユニット及び１つ以上の変換ユニットが存在し、前記予測ユニットは、予測処理の基本ユニットであって１つの予測ユニット内の全てのサンプルが共通の予測技術を用いて予測され、前記変換ユニットは、変換及び量子化の基礎ユニットであり、
非方形の予測ユニットを許容すべく非方形変換処理を可能とし、
変換ユニットのブロックサイズを、前記予測ユニットのブロック配列に合致するように選択する
ように構成された制御部を有する
ビデオ符号化装置。
上述の実施形態はさらに、以下の番号の条項によって定義される。
１． 入力ビデオデータの符号化にインター予測を用いるビデオ復号化方法であって、各クロミナンス要素は、ルミナンス要素の１／Ｍの水平方向の解像度及び１／Ｎの垂直方向の解像度を有し、上記Ｍ及びＮは１以上の整数であり、上記方法は、
現在の画像より先の１以上の画像を記憶し、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のＰ倍の水平解像度とＱ倍の垂直解像度を有するように（Ｐ及びＱは２以上の整数）、前記記憶された画像のより高解像度のバージョンの予測ユニットを補間し、
現在の画像と１以上の記憶された補間画像との間のインター画像の動きを検出して、現在の画像の予測ユニットと１以上の先の画像の領域との間の動きベクトルを生成し、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の画像の予測ユニットの動き補償予測を生成し、
前記補間ステップは、記憶された画像のクロミナンス要素に対して、水平方向がｘＲ、垂直方向がｘＳの補間フィルタを適用して補間クロミナンス予測ユニットを生成し（Ｒは（ＵｘＭｘＰ）に等しく、Ｓは（ＶｘＮｘＱ）に等しく、Ｕ及びＣは１以上の整数である）、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がUの因数によって分割され、その垂直解像度がＶの因数によって分割され、ＭＰｘＮＱサンプルのブロックが生成されるようにする
ことを含むビデオ復号化方法。
ここで、上記検出ステップは、復号化処理においては必要ではない場合もある。これは、デコーダは、エンコーダによって提供された（例えば、ビデオデータストリームの一部として）動きベクトルを使用することができるからである。
２． 上記１に記載のビデオ復号化方法であって、
上記Ｍ＝２かつＮ＝１である
ビデオ復号化方法。
３． 上記２に記載のビデオ復号化方法であって、
上記入力ビデオデータは４：２：２フォーマットである
ビデオ復号化方法。
４． 上記３に記載のビデオ復号化方法であって、
上記補間クロミナンス予測ユニットは、そのサンプルにおいて、上記ｘＲ及びｘＳの補間フィルタを用いて補間された４：２：０フォーマットの予測ユニットの２倍の高さを有する
ビデオ復号化方法。
５． 上記２に記載のビデオ復号化方法であって、
当該方法は、上記水平方向ｘＲ、垂直方向ｘＳの同じ補間フィルタを用いて、４：２：０入力ビデオデータと４：２：２入力ビデオデータとで別個に動作可能である
ビデオ復号化方法。
６． 上記１〜５のいずれか１項に記載のビデオ復号化方法であって、
Ｐ＝４である
ビデオ復号化方法。
７． 上記１〜６のいずれか１項に記載のビデオ復号化方法であって、
Ｑ＝４である
ビデオ復号化方法。
８． 上記１〜７のいずれか１項に記載のビデオ復号化方法であって、
上記補間クロミナンス予測ユニットのサブサンプリングステップは、垂直方向において、補間クロミナンス予測ユニットの各Ｖ番目のサンプルを用いる
ビデオ復号化方法。
９． 上記１〜８のいずれか１項に記載のビデオ復号化方法であって、
上記補間クロミナンス予測ユニットのサブサンプリングステップは、垂直方向において、補間クロミナンス予測ユニットの各Ｕ番目のサンプルを用いる
ビデオ復号化方法。
１０． 上記１〜９のいずれか１項に記載のビデオ復号化方法であって、
予測ユニット用にルミナンス動きベクトルを導出するステップと、
上記予測ユニット用に、上記ルミナンス予測動きベクトルの導出とは独立して、クロミナンス動きベクトルを導出するステップと
をさらに有するビデオ復号化方法。
１１． 上記１〜１０のいずれか１項に記載のビデオ復号化方法であって、
少なくとも上記ＲとＳの一方は２以上である
ビデオ復号化方法。
１２． 上記１〜１１のいずれか１項に記載のビデオ復号化方法であって、
水平方向ｘＲ及び垂直方向ｘＳの補間フィルタを、上記記憶された画像のルミナンス要素に適用するステップをさらに有する
ビデオ復号化方法。
１３． 上記１〜１２のいずれか１項に記載のビデオ復号化方法であって、
上記サブサンプリングステップは、補間クロミナンス予測ユニットのサンプルのサブセットを選択することを含む
ビデオ復号化方法。
１４． 入力ビデオデータの符号化にインター予測を用いるビデオ符号化方法であって、各クロミナンス要素は、ルミナンス要素の１／Ｍの水平方向の解像度及び１／Ｎの垂直方向の解像度を有し、上記Ｍ及びＮは１以上の整数であり、上記方法は、
現在の画像より先の１以上の画像を記憶し、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のＰ倍の水平解像度とＱ倍の垂直解像度を有するように（Ｐ及びＱは２以上の整数）、前記記憶された画像のより高解像度のバージョンの予測ユニットを補間し、
現在の画像と１以上の記憶された補間画像との間のインター画像の動きを検出して、現在の画像の予測ユニットと１以上の先の画像の領域との間の動きベクトルを生成し、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の画像の予測ユニットの動き補償予測を生成し、
前記補間ステップは、記憶された画像のクロミナンス要素に対して、水平方向がｘＲ、垂直方向がｘＳの補間フィルタを適用して補間クロミナンス予測ユニットを生成し（Ｒは（ＵｘＭｘＰ）に等しく、Ｓは（ＶｘＮｘＱ）に等しく、Ｕ及びＣは１以上の整数である）、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がUの因数によって分割され、その垂直解像度がＶの因数によって分割され、ＭＰｘＮＱサンプルのブロックが生成されるようにする
ことを含むビデオ符号化方法。
１５． コンピュータによって起動され、コンピュータに上記１〜１４のいずれか１項の方法を実行させるプログラム。
１６． 上記１５に記載のプログラムを記憶した機械読み取り可能な非一時的記憶媒体。
１７． 上記１〜１４のいずれか１項に記載の方法にしたがって生成された符号化データを含むデータ信号。
１８． 入力ビデオデータの符号化にインター予測を用いるビデオ復号化装置であって、各クロミナンス要素は、ルミナンス要素の１／Ｍの水平方向の解像度及び１／Ｎの垂直方向の解像度を有し、上記Ｍ及びＮは１以上の整数であり、上記装置は、
現在の画像より先の１以上の画像を記憶する記憶部と、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のＰ倍の水平解像度とＱ倍の垂直解像度を有するように（Ｐ及びＱは２以上の整数）、前記記憶された画像のより高解像度のバージョンの予測ユニットを補間する補間部と、
現在の画像と１以上の記憶された補間画像との間のインター画像の動きを検出して、現在の画像の予測ユニットと１以上の先の画像の領域との間の動きベクトルを生成する検出部と、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の画像の予測ユニットの動き補償予測を生成する生成部とを有し、
前記補間部は、
記憶された画像のクロミナンス要素に対して、水平方向がｘＲ、垂直方向がｘＳの補間フィルタを適用して補間クロミナンス予測ユニットを生成し（Ｒは（ＵｘＭｘＰ）に等しく、Ｓは（ＶｘＮｘＱ）に等しく、Ｕ及びＣは１以上の整数である）、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がUの因数によって分割され、その垂直解像度がＶの因数によって分割され、ＭＰｘＮＱサンプルのブロックが生成されるようにする
ビデオ復号化装置。
１９． 入力ビデオデータの符号化にインター予測を用いるビデオ符号化装置であって、各クロミナンス要素は、ルミナンス要素の１／Ｍの水平方向の解像度及び１／Ｎの垂直方向の解像度を有し、上記Ｍ及びＮは１以上の整数であり、上記装置は、
現在の画像より先の１以上の画像を記憶する記憶部と、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のＰ倍の水平解像度とＱ倍の垂直解像度を有するように（Ｐ及びＱは２以上の整数）、前記記憶された画像のより高解像度のバージョンの予測ユニットを補間する補間部と、
現在の画像と１以上の記憶された補間画像との間のインター画像の動きを検出して、現在の画像の予測ユニットと１以上の先の画像の領域との間の動きベクトルを生成する検出部と、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の画像の予測ユニットの動き補償予測を生成する生成部とを有し、
前記補間部は、
記憶された画像のクロミナンス要素に対して、水平方向がｘＲ、垂直方向がｘＳの補間フィルタを適用して補間クロミナンス予測ユニットを生成し（Ｒは（ＵｘＭｘＰ）に等しく、Ｓは（ＶｘＮｘＱ）に等しく、Ｕ及びＣは１以上の整数である）、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がUの因数によって分割され、その垂直解像度がＶの因数によって分割され、ＭＰｘＮＱサンプルのブロックが生成されるようにする
ビデオ符号化装置。
２０． 上記１８または１９に記載の装置を有する、ビデオ捕捉装置、表示装置、送信装置、受信装置、または記憶装置。

Claims (21)

  1. ４：２：０フォーマットビデオ信号及び４：２：２フォーマットビデオ信号を復号化するためのビデオ復号化方法であって、
    前記ビデオ信号は、復号化されたルミナンスサンプル及び復号化されたクロミナンスサンプルが予測される同じ画像から抽出された他の参照サンプルから予測されたルミナンスサンプル及びクロミナンスサンプルを含み、
    前記４：２：０フォーマットビデオ信号について、各参照サンプルから抽出された前記ルミナンスサンプル及び前記クロミナンスサンプルは、正方形の対角線による半分における１８０度の範囲における予測方向を持つ角度予測モードに基づいて予測され、
    前記４：２：２フォーマットビデオ信号について、参照サンプルから抽出された前記ルミナンスサンプルは、正方形の対角線による半分における１８０度の範囲における予測方向を持つ角度予測モードに基づいて予測され、参照サンプルから抽出された前記クロミナンスサンプルは、第１のアスペクト比のグリッドに関連する第１の予測モードに基づいて予測され、当該第１の予測モードには、第２のアスペクト比のグリッドに関連する第２の予測モードを生成するように方向マッピングが適用され、前記クロミナンスサンプルは、前記第１の予測モードを修正して生成された前記第２の予測モードに基づいて予測される
    ビデオ復号化方法。
  2. 請求項１に記載のビデオ復号化方法であって、
    前記第１のアスペクト比のグリッドは、前記ルミナンスサンプルの正方形ブロックに関して定義される
    ビデオ復号化方法。
  3. 請求項１又は２に記載のビデオ復号化方法であって、
    前記第２のアスペクト比のグリッドは、前記クロミナンスサンプルの長方形ブロックに関して定義される
    ビデオ復号化方法。
  4. 請求項１乃至３のうちいずれか１項に記載のビデオ復号化方法であって、
    前記クロミナンスサンプルの予測モードの修正は、前記クロミナンスサンプルの予測方向を修正する
    ビデオ復号化方法。
  5. 請求項４に記載のビデオ復号化方法であって、
    前記クロミナンスサンプルの予測モードの修正は、少なくとも幾つかの前記クロミナンスサンプルの予測方向の角度を減らす
    ビデオ復号化方法。
  6. 請求項１乃至５のうちいずれか１項に記載のビデオ復号化方法であって、
    前記４：２：０フォーマットビデオ信号及び前記４：２：２フォーマットビデオ信号について、他の参照サンプルからの予測は、前記角度予測モードとは異なり前記予測方向を持たない予測モードを含む
    ビデオ復号化方法。
  7. 請求項１乃至６のうちいずれか１項に記載のビデオ復号化方法であって、
    前記予測方向は、予測される現在のサンプルの組の上側及び左側に並べられたサンプルの水平な行及び垂直な列を含む候補参照サンプルのグループに関連するサンプル位置を定義する
    ビデオ復号化方法。
  8. 請求項１乃至７のうちいずれか１項に記載のビデオ復号化方法であって、
    方向マッピングの適用において、前記第１のアスペクト比のグリッドに関する予測モードがルックアップテーブルを用いて再マッピングされ、前記ルックアップテーブルは、前記第２の予測モードの対応値を提供する
    ビデオ復号化方法。
  9. 請求項１乃至８のうちいずれか１項に記載のビデオ復号化方法であって、
    前記４：２：２フォーマットビデオ信号について、前記第１のアスペクト比のグリッドに関連する前記予測モードは、サンプルの組における前記ルミナンスサンプルの予測に使用され、前記第２の予測モードは、前記サンプルの組における前記クロミナンスサンプルの予測に使用される
    ビデオ復号化方法。
  10. コンピュータに実行されると、コンピュータに、請求項１乃至９のうちいずれか１項に記載のビデオ復号化方法を実行させるプログラム。
  11. ４：２：０フォーマットビデオ信号及び４：２：２フォーマットビデオ信号を復号化するためのビデオ復号化装置であって、
    前記ビデオ信号は、復号化されたルミナンスサンプル及び復号化されたクロミナンスサンプルが予測された同じ画像から抽出された他の参照サンプルから予測されたルミナンスサンプル及びクロミナンスサンプルを含み、
    前記ビデオ復号化装置は、
    前記４：２：０フォーマットビデオ信号について、正方形の対角線による半分における１８０度の範囲における予測方向を持つ角度予測モードに基づいて各参照サンプルから抽出された前記ルミナンスサンプル及び前記クロミナンスサンプルを予測するための予測モードを検出する検出部を備え、
    前記検出部は、前記４：２：２フォーマットビデオ信号について、正方形の対角線による半分における１８０度の範囲における予測方向を持つ角度予測モードに基づいて参照サンプルから抽出された前記ルミナンスサンプルを予測するための予測モードを検出し、第１のアスペクト比のグリッドに関連する第１の予測モードに基づいて、参照サンプルから抽出された前記クロミナンスサンプルを予測し、当該第１の予測モードには、前記第１のアスペクト比と異なる第２のアスペクト比のグリッドに関連する第２の予測モードを生成するように方向マッピングを適用し、前記第１の予測モードを修正して生成された前記第２の予測モードに基づいて前記クロミナンスサンプルを予測する
    ビデオ復号化装置。
  12. 請求項１１に記載のビデオ復号化装置であって、
    前記第１のアスペクト比のグリッドは、前記ルミナンスサンプルの正方形ブロックに関して定義される
    ビデオ復号化装置。
  13. 請求項１１又は１２に記載のビデオ復号化装置であって、
    前記第２のアスペクト比のグリッドは、前記クロミナンスサンプルの長方形ブロックに関して定義される
    ビデオ復号化装置。
  14. 請求項１１乃至１３のうちいずれか１項に記載のビデオ復号化装置であって、
    前記クロミナンスサンプルの予測モードの修正は、前記クロミナンスサンプルの予測方向を修正する
    ビデオ復号化装置。
  15. 請求項１４に記載のビデオ復号化装置であって、
    前記クロミナンスサンプルの予測モードの修正は、少なくとも幾つかの前記クロミナンスサンプルの予測方向の角度を減らす
    ビデオ復号化装置。
  16. 請求項１１乃至１５のうちいずれか１項に記載のビデオ復号化装置であって、
    前記４：２：０フォーマットビデオ信号及び前記４：２：２フォーマットビデオ信号について、他の参照サンプルからの予測は、前記角度予測モードとは異なり前記予測方向を持たない予測モードを含む
    ビデオ復号化装置。
  17. 請求項１１乃至１６のうちいずれか１項に記載のビデオ復号化装置であって、
    前記予測方向は、予測される現在のサンプルの組の上側及び左側に並べられたサンプルの水平な行及び垂直な列を含む候補参照サンプルのグループに関連するサンプル位置を定義する
    ビデオ復号化装置。
  18. 請求項１１乃至１７のうちいずれか１項に記載のビデオ復号化装置であって、
    前記方向マッピング部は、前記第１のアスペクト比のグリッドに関する予測モードをルックアップテーブルを用いて再マッピングし、前記ルックアップテーブルは、前記第２の予測モードの対応値を提供する
    ビデオ復号化装置。
  19. 請求項１１乃至１８のうちいずれか１項に記載のビデオ復号化装置であって、
    前記４：２：２フォーマットビデオ信号について、前記第１のアスペクト比のグリッドに関連する前記予測モードは、サンプルの組における前記ルミナンスサンプルの予測に使用され、前記第２の予測モードは、前記サンプルの組における前記クロミナンスサンプルの予測に使用される
    ビデオ復号化装置。
  20. 請求項１１乃至１９のうちいずれか１項に記載のビデオ復号化装置を含むビデオ受信装置。
  21. イメージセンサと、ビデオ符号化器と、表示部と、復号化されたビデオ信号が前記表示部により出力される請求項１１乃至１９のうちいずれか１項に記載のビデオ復号化装置とを含むビデオキャプチャ装置。
JP2018077039A 2012-04-26 2018-04-12 データ符号化及び復号化 Active JP6606794B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
GB1207459.7 2012-04-26
GB1207459.7A GB2501535A (en) 2012-04-26 2012-04-26 Chrominance Processing in High Efficiency Video Codecs
GB1211072.2 2012-06-22
GB1211073.0A GB2501551A (en) 2012-04-26 2012-06-22 Partitioning Image Data into Coding, Prediction and Transform Units in 4:2:2 HEVC Video Data Encoding and Decoding
GB1211072.2A GB2501550A (en) 2012-04-26 2012-06-22 Subsampling Interpolated Chrominance Prediction Units in Video Encoding and Decoding
GB1211073.0 2012-06-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016129527A Division JP6325606B2 (ja) 2012-04-26 2016-06-30 データ符号化及び復号化

Publications (2)

Publication Number Publication Date
JP2018142970A JP2018142970A (ja) 2018-09-13
JP6606794B2 true JP6606794B2 (ja) 2019-11-20

Family

ID=46330504

Family Applications (11)

Application Number Title Priority Date Filing Date
JP2015507590A Pending JP2015518339A (ja) 2012-04-26 2013-04-08 データ符号化及び復号化
JP2015507604A Active JP6128707B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507605A Active JP5965054B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507601A Active JP5986294B2 (ja) 2012-04-26 2013-04-26 ビデオ符号化、復号化におけるクロミナンス処理方法及び処理装置
JP2015507603A Active JP6328613B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507602A Active JP6050478B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2016129527A Active JP6325606B2 (ja) 2012-04-26 2016-06-30 データ符号化及び復号化
JP2016227411A Active JP6231647B2 (ja) 2012-04-26 2016-11-24 データ符号化及び復号化
JP2017202338A Active JP6407389B2 (ja) 2012-04-26 2017-10-19 データ符号化及び復号化
JP2018077038A Active JP6503492B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化
JP2018077039A Active JP6606794B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化

Family Applications Before (10)

Application Number Title Priority Date Filing Date
JP2015507590A Pending JP2015518339A (ja) 2012-04-26 2013-04-08 データ符号化及び復号化
JP2015507604A Active JP6128707B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507605A Active JP5965054B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507601A Active JP5986294B2 (ja) 2012-04-26 2013-04-26 ビデオ符号化、復号化におけるクロミナンス処理方法及び処理装置
JP2015507603A Active JP6328613B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507602A Active JP6050478B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2016129527A Active JP6325606B2 (ja) 2012-04-26 2016-06-30 データ符号化及び復号化
JP2016227411A Active JP6231647B2 (ja) 2012-04-26 2016-11-24 データ符号化及び復号化
JP2017202338A Active JP6407389B2 (ja) 2012-04-26 2017-10-19 データ符号化及び復号化
JP2018077038A Active JP6503492B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化

Country Status (13)

Country Link
US (20) US9948929B2 (ja)
EP (8) EP2842321A2 (ja)
JP (11) JP2015518339A (ja)
KR (6) KR102104400B1 (ja)
CN (14) CN104285445A (ja)
AU (5) AU2013254448B2 (ja)
BR (3) BR112014026035B1 (ja)
CA (6) CA2871556C (ja)
GB (13) GB2501535A (ja)
MX (3) MX343351B (ja)
RU (4) RU2751080C2 (ja)
TW (5) TWI575942B (ja)
WO (9) WO2013160656A2 (ja)

Families Citing this family (212)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5688136B2 (ja) * 2010-04-23 2015-03-25 エム アンド ケー ホールディングス インコーポレイテッド 映像を符号化する装置及び方法
CN103283237B (zh) * 2010-12-22 2017-03-22 Lg电子株式会社 帧内预测方法和使用该方法的设备
US10645398B2 (en) * 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
CN103918265B (zh) 2011-11-07 2018-09-18 英特尔公司 跨通道残余预测
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9667994B2 (en) * 2012-10-01 2017-05-30 Qualcomm Incorporated Intra-coding for 4:2:2 sample format in video coding
CN104782125B (zh) * 2012-11-08 2019-03-15 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统
US9743091B2 (en) 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
CN109379600B (zh) 2013-03-29 2023-04-11 Jvc 建伍株式会社 图像解码装置以及图像解码方法
AU2013202653A1 (en) * 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
GB2513110A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
GB2513111A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
EP2984837B1 (en) * 2013-04-08 2018-01-17 GE Video Compression, LLC Inter-component prediction
US9961358B2 (en) 2013-04-09 2018-05-01 Mediatek Singapore Pte. Ltd. Method and apparatus for non-square intra mode coding
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
CN105474639B (zh) * 2013-07-10 2018-08-07 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序
CA2917419C (en) * 2013-07-24 2020-07-14 Microsoft Technology Licensing, Llc Scanning orders for non-transform coding
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
KR101530774B1 (ko) * 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
RU2654129C2 (ru) 2013-10-14 2018-05-16 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений
WO2015054812A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
KR101530782B1 (ko) 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
MX364028B (es) * 2013-12-27 2019-04-11 Sony Corp Aparato y metodo de procesamiento de imagenes.
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
JP5897159B2 (ja) 2014-02-25 2016-03-30 キヤノン株式会社 表示装置及びその制御方法
EP3334159A1 (en) 2014-03-03 2018-06-13 Sony Corporation Strong intra smoothing for in rext 4:4:4 and 32x32
EP3253059A1 (en) 2014-03-04 2017-12-06 Microsoft Technology Licensing, LLC Block flipping and skip mode in intra block copy prediction
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
WO2015182342A1 (ja) * 2014-05-26 2015-12-03 シャープ株式会社 画像復号装置、および、画像符号化装置
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
CN105493505B (zh) 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
CN106664416B (zh) * 2014-07-06 2019-11-05 Lg电子株式会社 处理视频信号的方法及其装置
AU2014408228B2 (en) 2014-09-30 2019-09-19 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
GB2532420A (en) 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
EP3051818A1 (en) 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
US10057587B2 (en) * 2015-01-31 2018-08-21 Qualcomm Incorporated Coding escape pixels for palette mode coding
WO2016124158A1 (en) * 2015-02-05 2016-08-11 Mediatek Inc. Methods and apparatus of decoding process for palette syntax
US10462461B2 (en) 2015-02-27 2019-10-29 Kddi Corporation Coding device and decoding device which allow encoding of non-square blocks
US10291932B2 (en) * 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search
WO2016145162A2 (en) * 2015-03-12 2016-09-15 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations
CN107409208B (zh) * 2015-03-27 2021-04-20 索尼公司 图像处理装置、图像处理方法以及计算机可读存储介质
JP6593934B2 (ja) * 2015-05-21 2019-10-23 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 映像動き補償のための装置および方法
TWI816224B (zh) * 2015-06-08 2023-09-21 美商Ｖｉｄ衡器股份有限公司 視訊解碼或編碼方法及裝置
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
FR3038484B1 (fr) * 2015-07-01 2017-07-28 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
CN108353185B (zh) * 2015-08-28 2022-09-13 株式会社Kt 用于处理视频信号的方法和设备
WO2017043786A1 (ko) * 2015-09-10 2017-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2017041271A1 (en) * 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
WO2017073362A1 (ja) * 2015-10-30 2017-05-04 ソニー株式会社 画像処理装置および方法
BR112018010207A2 (pt) 2015-11-18 2018-11-21 Mediatek Inc método e aparelho para o modo de predição intra usando filtro de predição intra em compressão de vídeo e imagem
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
KR20180075660A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US20170150186A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Flexible transform tree structure in video coding
CA3014259A1 (en) * 2016-02-12 2017-08-17 Thomson Licensing A method and device for intra-predictive encoding/decoding a coding unit comprising picture data, said intra-predictive encoding depending on a prediction tree and a transform tree
RU2706228C1 (ru) 2016-02-12 2019-11-15 Хуавей Текнолоджиз Ко., Лтд. Способ и устройство выбора порядка сканирования
EP3412028B1 (en) 2016-02-12 2024-04-03 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
EP3220643A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US20170332103A1 (en) * 2016-05-13 2017-11-16 Intel Corporation Interleaving luma and chroma coefficients to reduce the intra prediction loop dependency in video encoders and decoders
CA3025334C (en) * 2016-05-25 2021-07-13 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet coding of video data
US11039175B2 (en) * 2016-05-27 2021-06-15 Sharp Kabushiki Kaisha Systems and methods for varying quantization parameters
US11039147B2 (en) 2016-05-28 2021-06-15 Mediatek Inc. Method and apparatus of palette mode coding for colour video data
ES2935261T3 (es) * 2016-05-28 2023-03-03 Hfi Innovation Inc Método y aparato de codificación de modo de paleta para datos de video de color
CN114222137A (zh) * 2016-05-28 2022-03-22 世宗大学校产学协力团 构成预测运动矢量列表的方法
US10687003B2 (en) 2016-08-04 2020-06-16 Omnivision Technologies, Inc. Linear-logarithmic image sensor
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
CN116389728A (zh) * 2016-09-20 2023-07-04 株式会社Kt 对视频进行解码和编码的方法以及传输方法
EP3509298A4 (en) * 2016-09-30 2020-07-22 LG Electronics Inc. -1- METHOD AND DEVICE FOR BLOCK PARTITIONING AND INTRAPREDICATION IN AN IMAGE CODING SYSTEM
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
CN117041574A (zh) 2016-10-28 2023-11-10 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
US20190342545A1 (en) * 2016-10-28 2019-11-07 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus for same
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
US10666937B2 (en) * 2016-12-21 2020-05-26 Qualcomm Incorporated Low-complexity sign prediction for video coding
KR102327944B1 (ko) * 2016-12-23 2021-11-17 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트로부터 방향성 인트라 예측 모드를 제거하기 위한 인트라 예측 장치
CN110115035B (zh) * 2016-12-23 2022-12-06 华为技术有限公司 一种用于通知定向帧内预测模式集合中的扩展定向帧内预测模式的编码装置
WO2018117892A1 (en) * 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd. An intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
KR20230124092A (ko) * 2017-03-31 2023-08-24 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법및 화상 복호 방법
KR102257829B1 (ko) * 2017-04-13 2021-05-28 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
CN114501005A (zh) * 2017-04-28 2022-05-13 夏普株式会社 图像解码装置以及图像编码装置
CN108989820B (zh) * 2017-06-03 2022-07-05 上海天荷电子信息有限公司 各阶段采用各自相应色度采样格式的数据压缩方法和装置
RU2759218C2 (ru) * 2017-06-21 2021-11-11 Вид Скейл, Инк. Адаптивное квантование для кодирования 360-градусного видео
CN117336509A (zh) * 2017-07-06 2024-01-02 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
US10567772B2 (en) * 2017-07-11 2020-02-18 Google Llc Sub8×8 block processing
CN109274969B (zh) * 2017-07-17 2020-12-22 华为技术有限公司 色度预测的方法和设备
CN115442606A (zh) * 2017-07-31 2022-12-06 韩国电子通信研究院 对图像编码和解码的方法及存储比特流的计算机可读介质
CN107483934B (zh) * 2017-08-17 2019-12-10 西安万像电子科技有限公司 编解码方法、装置和系统
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
RU2669874C1 (ru) * 2017-09-15 2018-10-16 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" (ФГУП "ГосНИИАС") Способы и устройство сжатия изображений. Способ и устройство восстановления изображений
CN117201779A (zh) * 2017-09-21 2023-12-08 株式会社Kt 视频信号处理方法及装置
US11166013B2 (en) 2017-10-09 2021-11-02 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10812798B2 (en) * 2017-10-19 2020-10-20 Qualcomm Incorporated Chroma quantization parameter (QP) offset
US10368071B2 (en) * 2017-11-03 2019-07-30 Arm Limited Encoding data arrays
EP3490253A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Encoding and decoding methods and corresponding devices
CN108063947B (zh) * 2017-12-14 2021-07-13 西北工业大学 一种基于像素纹理的无损参考帧压缩方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN111602393B (zh) * 2018-01-15 2022-10-21 三星电子株式会社 编码方法及其设备以及解码方法及其设备
GB2570711B (en) * 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
US11069026B2 (en) 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
EP3764645A4 (en) 2018-03-09 2021-12-08 Electronics and Telecommunications Research Institute METHOD AND APPARATUS FOR IMAGE CODING / DECODING USING SAMPLE FILTER
JP6982525B2 (ja) * 2018-03-16 2021-12-17 Kddi株式会社 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム
JP2021523586A (ja) 2018-03-25 2021-09-02 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッドＢ１ Ｉｎｓｔｉｔｕｔｅ Ｏｆ Ｉｍａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 映像符号化／復号化方法及び装置
WO2019188467A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像処理装置および方法
EP3688986B1 (en) * 2018-04-01 2021-10-27 LG Electronics Inc. An image coding method based on a quantization parameter derivation
EP3777172A4 (en) 2018-04-02 2022-01-19 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR DRIVING QUANTIFICATION PARAMETERS FOR VIDEO BLOCKS DURING VIDEO CODING
US11259023B2 (en) * 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding
CN112042190B (zh) * 2018-04-24 2024-01-23 三星电子株式会社 视频编码方法和装置以及视频解码方法和装置
US10949087B2 (en) 2018-05-15 2021-03-16 Samsung Electronics Co., Ltd. Method for rapid reference object storage format for chroma subsampled images
US11449256B2 (en) 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
WO2019234613A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with partition into 3 sub-blocks by horizontal and vertical splits
KR20210015963A (ko) * 2018-06-29 2021-02-10 후아웨이 테크놀러지 컴퍼니 리미티드 인트라-예측을 위한 디바이스 및 방법
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10382772B1 (en) 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding
US11509932B2 (en) 2018-07-11 2022-11-22 Intellectual Discovery Co., Ltd. Intra-frame prediction-based video coding method and device
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
CN116132668A (zh) * 2018-08-09 2023-05-16 Oppo广东移动通信有限公司 视频图像分量的预测方法和装置、及计算机存储介质
CN112567743A (zh) * 2018-08-15 2021-03-26 日本放送协会 图像编码装置、图像解码装置及程序
CN112771865A (zh) * 2018-08-23 2021-05-07 交互数字Vc控股法国公司 使用参数化模型对量化矩阵进行编解码
CN110876061B (zh) * 2018-09-03 2022-10-11 华为技术有限公司 色度块预测方法及装置
CN112740685B (zh) 2018-09-19 2024-06-07 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
WO2020060077A1 (ko) * 2018-09-20 2020-03-26 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10469845B1 (en) * 2018-09-21 2019-11-05 Tencent America, Llc Method and apparatus for intra mode coding
WO2020060449A1 (en) * 2018-09-23 2020-03-26 Huawei Technologies Co., Ltd. Method and apparatus for intra reference sample interpolation filter switching
US11303904B2 (en) * 2018-09-28 2022-04-12 Qualcomm Incorporated Rectangular block transform scaling
EP3854087A4 (en) * 2018-10-09 2022-07-06 HFI Innovation Inc. METHOD AND APPARATUS FOR CODING OR DECODING USING REFERENCE SAMPLES DETERMINED BY PREDEFINED CRITERIA
US11140404B2 (en) * 2018-10-11 2021-10-05 Tencent America LLC Method and apparatus for video coding
CN112889277A (zh) * 2018-10-22 2021-06-01 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
WO2020085955A1 (en) * 2018-10-26 2020-04-30 Huawei Technologies Co., Ltd. Method and apparatus for reference sample filtering
CN113039791B (zh) 2018-11-06 2024-02-23 北京字节跳动网络技术有限公司 帧内预测的参数推导中的复杂度降低
WO2020094153A1 (en) * 2018-11-09 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Component based loop filter
WO2020098786A1 (en) * 2018-11-16 2020-05-22 Mediatek Inc. Method and apparatus of luma-chroma separated coding tree coding with constraints
US11438583B2 (en) * 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
KR20210084567A (ko) 2018-11-28 2021-07-07 주식회사 윌러스표준기술연구소 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
EP3893507A4 (en) * 2018-12-07 2022-09-21 Sharp Kabushiki Kaisha PREDICTIVE PICTURE GENERATING DEVICE, MOVING PICTURE DECODING DEVICE, MOVING PICTURE CODING DEVICE AND PREDICTIVE PICTURE GENERATING METHOD
CN116962710A (zh) 2018-12-15 2023-10-27 华为技术有限公司 图像重建方法和装置
JP2020098984A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
HUE065272T2 (hu) * 2018-12-21 2024-05-28 Beijing Dajia Internet Information Eljárás és berendezés video kódolásnál affine mozgásvektorok származtatására színkomponensekhez
EP3895423A4 (en) 2018-12-23 2022-06-22 Huawei Technologies Co., Ltd. ENCODER, DECODER AND RELATED METHODS USING AN ADAPTIVE LOOP FILTER
BR112021016925A2 (pt) 2019-02-27 2021-11-03 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes
US20200288130A1 (en) * 2019-03-07 2020-09-10 Qualcomm Incorporated Simplification of sub-block transforms in video coding
CN117956147A (zh) * 2019-03-08 2024-04-30 佳能株式会社 自适应环路滤波器
KR102639936B1 (ko) 2019-03-08 2024-02-22 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리에서 모델-기반 변형에 대한 제약들
CN114143548B (zh) 2019-03-11 2023-02-14 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码
AU2019201653A1 (en) * 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
CA3122752A1 (en) * 2019-03-24 2020-10-01 Huawei Technologies Co., Ltd. Method and apparatus for chroma intra prediction in video coding
CN116320472A (zh) * 2019-03-25 2023-06-23 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
CN113785588B (zh) 2019-04-12 2023-11-24 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的色度编解码模式确定
CN118200567A (zh) 2019-04-16 2024-06-14 Lg电子株式会社 图像解码和编码方法、数据的发送方法及存储介质
CN113767623B (zh) * 2019-04-16 2024-04-02 北京字节跳动网络技术有限公司 用于视频编解码的自适应环路滤波
US10764507B1 (en) 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
CA3135968C (en) * 2019-04-18 2024-05-14 Beijing Bytedance Network Technology Co., Ltd. Restriction on applicability of cross component mode
JP7317991B2 (ja) 2019-04-23 2023-07-31 北京字節跳動網絡技術有限公司 クロスコンポーネント依存性を低減するための方法
BR112021000379A2 (pt) * 2019-04-26 2021-04-13 Huawei Technologies Co., Ltd. Método e aparelho para sinalização de função de mapeamento de parâmetro de quantização de croma
KR20210148321A (ko) * 2019-04-27 2021-12-07 주식회사 윌러스표준기술연구소 인트라 예측 기반 비디오 신호 처리 방법 및 장치
CN110266316B (zh) * 2019-05-08 2023-02-21 创新先进技术有限公司 一种数据压缩、解压方法、装置和设备
WO2020228718A1 (en) * 2019-05-13 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Interaction between transform skip mode and other coding tools
JP7265040B2 (ja) 2019-05-13 2023-04-25 北京字節跳動網絡技術有限公司 変換スキップ・モードのブロック寸法設定
CN113841397A (zh) * 2019-05-15 2021-12-24 现代自动车株式会社 影像编码和解码方法及装置
CN117354528A (zh) 2019-05-22 2024-01-05 北京字节跳动网络技术有限公司 基于子块使用变换跳过模式
WO2020239017A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. One-step downsampling process in matrix-based intra prediction
CN113950836B (zh) * 2019-06-05 2024-01-12 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
KR102594690B1 (ko) 2019-06-11 2023-10-26 엘지전자 주식회사 크로마 양자화 파라미터 데이터 기반 영상 디코딩 방법 및 그 장치
CN114208169A (zh) * 2019-06-11 2022-03-18 Lg电子株式会社 用于色度分量的图像解码方法及其装置
TW202106017A (zh) * 2019-06-21 2021-02-01 法商內數位Ｖｃ控股法國公司 用於視訊編碼及解碼的單一索引量化矩陣設計
JP7418478B2 (ja) 2019-06-22 2024-01-19 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのためのシンタックス要素
KR102452870B1 (ko) * 2019-06-25 2022-10-07 닛폰 호소 교카이 인트라 예측 장치, 화상 복호 장치, 및 프로그램
US11368693B2 (en) * 2019-07-01 2022-06-21 Sony Group Corporation Forward and inverse quantization for point cloud compression using look-up tables
CN116668699A (zh) * 2019-07-05 2023-08-29 Lg电子株式会社 图像编码/解码设备和图像数据的发送方法
CN117395396A (zh) 2019-07-07 2024-01-12 北京字节跳动网络技术有限公司 色度残差缩放的信令通知
EP3994886A4 (en) 2019-08-06 2022-12-28 Beijing Bytedance Network Technology Co., Ltd. VIDEO ZONE PARTITION ACCORDING TO COLOR FORMAT
CN117395420A (zh) 2019-08-15 2024-01-12 字节跳动有限公司 用于调色板逸出符号的熵编解码
EP4000269A4 (en) 2019-08-15 2022-09-07 ByteDance Inc. PALLET MODE WITH DIFFERENT DIVISION STRUCTURES
WO2021040251A1 (en) * 2019-08-23 2021-03-04 Samsung Electronics Co., Ltd. Intra prediction method and device using the same, encoding and decoding method and device using the same based on intra prediction
EP4013058A4 (en) * 2019-08-27 2023-02-22 Hyundai Motor Company VIDEO ENCODING AND DECODING USING DIFFERENTIAL ENCODING
EP4008109A4 (en) 2019-09-02 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. ENCODING MODE DETERMINATION BASED ON COLOR FORMAT
JP7321364B2 (ja) 2019-09-14 2023-08-04 バイトダンス インコーポレイテッド ビデオコーディングにおけるクロマ量子化パラメータ
JP7232160B2 (ja) * 2019-09-19 2023-03-02 Ｔｖｓ Ｒｅｇｚａ株式会社 画質回路、映像処理装置および信号特徴検出方法
CN114424545A (zh) * 2019-09-19 2022-04-29 字节跳动有限公司 用于调色板模式的量化参数推导
CN118055248A (zh) 2019-09-21 2024-05-17 北京字节跳动网络技术有限公司 处理视频数据的方法、装置以及计算机可读记录介质
EP4035384A4 (en) * 2019-09-23 2023-08-16 Alibaba Group Holding Limited MOTION COMPENSATION INTERPOLATION FILTER WITH REFERENCE DOWNSAMPLE
WO2021061018A1 (en) * 2019-09-24 2021-04-01 Huawei Technologies Co., Ltd. Method and apparatus of combined intra-inter prediction
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
JP7443509B2 (ja) 2019-10-14 2024-03-05 バイトダンス インコーポレイテッド ビデオコーディングにおけるクロマ量子化パラメータの使用
WO2021108676A1 (en) * 2019-11-27 2021-06-03 Beijing Dajia Internet Information Technology Co., Ltd Deblocking filtering for video coding
WO2021118977A1 (en) 2019-12-09 2021-06-17 Bytedance Inc. Using quantization groups in video coding
WO2021133236A1 (en) * 2019-12-24 2021-07-01 Telefonaktiebolaget Lm Ericsson (Publ) Virtual boundary processing for adaptive loop filtering
KR20230107417A (ko) * 2019-12-30 2023-07-14 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 데이터의 크로마 및 루마 성분의 교차 성분결정
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
US11197001B2 (en) 2020-02-05 2021-12-07 Tencent America LLC Method and apparatus for interactions between decoder-side intra mode derivation and adaptive intra prediction modes
CN116193125A (zh) * 2020-04-30 2023-05-30 北京达佳互联信息技术有限公司 用于针对视频编解码的预测相关残差缩放的方法和设备
GB2599433A (en) * 2020-10-02 2022-04-06 Sony Group Corp Data encoding and decoding
TWI776294B (zh) * 2020-11-30 2022-09-01 中華電信股份有限公司 光框架交換機
CN113099229B (zh) * 2021-02-22 2022-08-09 浙江大华技术股份有限公司 块划分方法、帧间预测方法、视频编码方法及相关装置
WO2023131211A1 (en) * 2022-01-05 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602285A (en) * 1983-04-08 1986-07-22 Ampex Corporation System and method for transforming and filtering a video image
GB9013217D0 (en) * 1990-06-13 1990-08-01 Indep Broadcasting Authority Evaluation of detail in video images,and applications thereof
US5294974A (en) * 1992-07-24 1994-03-15 Matsushita Electric Corporation Of America High-definition video encoding system having color-sensitive quantization
JPH07121687A (ja) * 1993-10-20 1995-05-12 Sony Corp 画像コーデック用プロセッサおよびアクセスパターン変換方法
KR100208375B1 (ko) * 1995-12-27 1999-07-15 윤종용 동화상 부호화 방법 및 장치
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
EP1835762A3 (en) * 1996-05-28 2007-10-03 Matsushita Electric Industrial Co., Ltd. decoding apparatus with intra prediction
FR2752474B1 (fr) 1996-08-14 1998-12-31 Iona Donescu Procede de transformation du signal image sur des supports de forme arbitraire
KR100442229B1 (ko) * 1996-09-13 2004-10-08 엘지전자 주식회사 간이형hdtv비디오디코더및디코딩방법
TW366648B (en) 1996-10-24 1999-08-11 Matsushita Electric Ind Co Ltd Method of supplementing pixel signal coding device, and pixel signal decoding device
WO1999016252A1 (en) * 1997-09-19 1999-04-01 Sony Electronics Inc. Motion compensated digital video decoding with buffered picture storage memory map
AR025609A1 (es) 1999-09-13 2002-12-04 Hoffmann La Roche Formulaciones lipidas solidas
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
JP4254147B2 (ja) * 2001-11-30 2009-04-15 ソニー株式会社 画像情報符号化方法及び装置、並びにプログラム及び記録媒体
EP1467569A4 (en) * 2002-01-18 2007-11-14 Toshiba Kk METHOD AND APPARATUS FOR ENCODING IMAGES IN MOTION, DECODING METHOD AND APPARATUS
CN100448285C (zh) 2002-12-18 2008-12-31 索尼株式会社 信息处理设备和信息处理方法
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
AU2003246127A1 (en) * 2003-06-06 2005-01-04 Mediatek Inc. Apparatus and method for format converting and mixing video signal
US7333544B2 (en) * 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7193656B2 (en) * 2003-08-14 2007-03-20 Broadcom Corporation Line address computer for providing coefficients to a chroma filter
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
KR101136629B1 (ko) * 2004-01-30 2012-04-23 파나소닉 주식회사 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램
KR100813958B1 (ko) 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
KR101138392B1 (ko) * 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
CN101176087B (zh) 2005-03-23 2011-12-28 阿尔卡特朗讯公司 从网络节点实现对数字多媒体内容的播放列表搜索的系统和方法
CA2609648A1 (en) * 2005-04-29 2006-11-09 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting fast fine granular scalability
WO2007027008A1 (en) * 2005-07-15 2007-03-08 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image
CA2610276C (en) * 2005-07-22 2013-01-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
EP2733951A1 (en) 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Method for decoding moving picture using adaptive scanning
CN101496406B (zh) * 2006-03-23 2012-02-01 三星电子株式会社 图像编码/解码方法和设备
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
RU2430485C2 (ru) 2006-10-10 2011-09-27 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования видеоинформации, устройства для реализации этого способа, программы для реализации этого способа и носители информации для записи этих программ
US8121195B2 (en) 2006-11-30 2012-02-21 Lsi Corporation Memory reduced H264/MPEG-4 AVC codec
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
KR101539240B1 (ko) * 2007-06-14 2015-07-30 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
WO2009035149A1 (ja) * 2007-09-12 2009-03-19 Sony Corporation 画像処理装置及び画像処理方法
JP2009081579A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 動画像復号装置、および動画像復号方法
US8194741B2 (en) * 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
JP2009206911A (ja) * 2008-02-28 2009-09-10 Mitsubishi Electric Corp 動画像変換装置
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
KR101493905B1 (ko) * 2008-08-12 2015-03-02 삼성전자 주식회사 영상처리장치 및 영상처리방법
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP4952685B2 (ja) * 2008-08-26 2012-06-13 株式会社Ｊｖｃケンウッド 映像信号符号化装置
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US9055293B2 (en) * 2008-10-15 2015-06-09 France Telecom Prediction of an image by compensation during forward movement
EP2187647A1 (en) * 2008-11-12 2010-05-19 Sony Corporation Method and device for approximating a DC coefficient of a block of pixels of a frame
CN101742328B (zh) * 2008-11-14 2013-03-27 北京中星微电子有限公司 图像残差矩阵整数变换方法及装置、反变换方法及装置
US8578272B2 (en) 2008-12-31 2013-11-05 Apple Inc. Real-time or near real-time streaming
TW201028018A (en) 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
US20100178038A1 (en) * 2009-01-12 2010-07-15 Mediatek Inc. Video player
JP2010177809A (ja) * 2009-01-27 2010-08-12 Toshiba Corp 動画像符号化装置および動画像復号装置
JP5502336B2 (ja) * 2009-02-06 2014-05-28 パナソニック株式会社 映像信号符号化装置及び、映像信号符号化方法
JP5275454B2 (ja) 2009-03-31 2013-08-28 パナソニック株式会社 画像復号装置
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP5169978B2 (ja) 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
US8761531B2 (en) * 2009-07-09 2014-06-24 Qualcomm Incorporated Image data compression involving sub-sampling of luma and chroma values
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US8477845B2 (en) 2009-10-16 2013-07-02 Futurewei Technologies, Inc. Predictive adaptive scan ordering for video coding
KR101751559B1 (ko) * 2009-10-30 2017-06-27 선 페이턴트 트러스트 복호방법, 복호장치, 부호화 방법 및 부호화 장치
TW201143448A (en) * 2009-10-30 2011-12-01 Panasonic Corp Image encoding method, image decoding method, image encoding device and image decoding device
WO2011061880A1 (ja) 2009-11-19 2011-05-26 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP5488612B2 (ja) 2009-12-28 2014-05-14 富士通株式会社 動画像符号化装置および動画像復号装置
TWI562600B (en) * 2010-02-08 2016-12-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding
US20110200108A1 (en) * 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
CN102164284A (zh) * 2010-02-24 2011-08-24 富士通株式会社 视频解码方法和系统
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US8929440B2 (en) 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
CN102860009A (zh) * 2010-04-13 2013-01-02 松下电器产业株式会社 编码失真除去方法、编码方法、解码方法、编码失真除去装置、编码装置、及解码装置
CN102236502A (zh) 2010-04-21 2011-11-09 上海三旗通信科技有限公司 一种移动终端压力触控手势识别的人机交互方式
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
CA3011221C (en) * 2010-07-20 2019-09-03 Ntt Docomo, Inc. Video prediction encoding and decoding for partitioned regions while determining whether or not to use motion information from neighboring regions
PT3125561T (pt) * 2010-08-17 2018-05-08 M&K Holdings Inc Método para restaurar um modo de previsão intra
ES2868133T3 (es) * 2010-09-27 2021-10-21 Lg Electronics Inc Método para partición de bloque y dispositivo de decodificación
CN102447895B (zh) 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
CN101938657B (zh) * 2010-10-07 2012-07-04 西安电子科技大学 高效视频编码中编码单元自适应划分方法
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
EP2651137A4 (en) * 2010-12-08 2016-03-02 Lg Electronics Inc INTRA-PREDICTION METHOD, ENCODING APPARATUS, AND DECODING APPARATUS USING THE SAME
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
GB2487242A (en) * 2011-01-17 2012-07-18 Sony Corp Interpolation Using Shear Transform
JP2012186617A (ja) 2011-01-31 2012-09-27 Sony Corp 画像処理装置および方法
RU2609094C2 (ru) 2011-02-10 2017-01-30 Сони Корпорейшн Устройство и способ обработки изображений
JP2012175615A (ja) 2011-02-24 2012-09-10 Sony Corp 画像処理装置及び画像処理方法
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
US20120230418A1 (en) * 2011-03-08 2012-09-13 Qualcomm Incorporated Coding of transform coefficients for video coding
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
WO2012176405A1 (ja) * 2011-06-20 2012-12-27 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
JP5678814B2 (ja) 2011-06-20 2015-03-04 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム
JP5990948B2 (ja) * 2011-06-22 2016-09-14 セイコーエプソン株式会社 プロジェクター
GB2492130A (en) * 2011-06-22 2012-12-26 Canon Kk Processing Colour Information in an Image Comprising Colour Component Sample Prediction Being Based on Colour Sampling Format
WO2012176684A1 (ja) * 2011-06-22 2012-12-27 ソニー株式会社 画像処理装置および方法
KR101668583B1 (ko) * 2011-06-23 2016-10-21 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
JP5614381B2 (ja) 2011-06-23 2014-10-29 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20130044811A1 (en) * 2011-08-18 2013-02-21 Hyung Joon Kim Content-Based Adaptive Control of Intra-Prediction Modes in Video Encoding
EP2745506A2 (en) * 2011-09-08 2014-06-25 Motorola Mobility LLC Methods and apparatus for quantization and dequantization of a rectangular block of coefficients
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
GB201119180D0 (en) 2011-11-07 2011-12-21 Sony Corp Data encoding and decoding
GB2496194A (en) 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
GB2496201A (en) 2011-11-07 2013-05-08 Sony Corp Context adaptive data encoding and decoding
GB2496197A (en) 2011-11-07 2013-05-08 Sony Corp Frequency Domain Video Data Reordering for Encoding
ES2794582T3 (es) * 2011-11-08 2020-11-18 Toshiba Kk Procedimiento de decodificación de imágenes y aparato de decodificación de imágenes
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
JP5995448B2 (ja) 2012-01-19 2016-09-21 シャープ株式会社 画像復号装置、および画像符号化装置
US8581753B2 (en) * 2012-01-19 2013-11-12 Sharp Laboratories Of America, Inc. Lossless coding technique for CABAC in HEVC
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
EP2805492B1 (en) * 2012-01-19 2018-11-14 VID SCALE, Inc. System and method of video coding quantization and dynamic range control
US9106936B2 (en) * 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
US9123278B2 (en) * 2012-02-24 2015-09-01 Apple Inc. Performing inline chroma downsampling with reduced power consumption
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
US9667994B2 (en) * 2012-10-01 2017-05-30 Qualcomm Incorporated Intra-coding for 4:2:2 sample format in video coding

Also Published As

Publication number Publication date
US9686548B2 (en) 2017-06-20
CA2870591A1 (en) 2013-10-31
JP2015518341A (ja) 2015-06-25
GB2501547A (en) 2013-10-30
US20150063460A1 (en) 2015-03-05
EP4243421A3 (en) 2023-11-29
EP4243420A2 (en) 2023-09-13
BR112014026021A8 (pt) 2021-06-22
MX2014012847A (es) 2015-10-22
GB2501555A (en) 2013-10-30
GB201211619D0 (en) 2012-08-15
CN104247425A (zh) 2014-12-24
RU2014147451A (ru) 2016-06-20
CA2870602A1 (en) 2013-10-31
GB201220836D0 (en) 2013-01-02
GB201211067D0 (en) 2012-08-01
CN104255029B (zh) 2017-11-24
KR20140145606A (ko) 2014-12-23
GB2501550A (en) 2013-10-30
JP2015518340A (ja) 2015-06-25
US20150063457A1 (en) 2015-03-05
EP2842317A1 (en) 2015-03-04
AU2016204227B2 (en) 2018-09-06
AU2013254443A1 (en) 2014-10-23
MX2014012565A (es) 2014-12-05
CA2871556A1 (en) 2013-10-31
CN108347604A (zh) 2018-07-31
GB2501554B (en) 2014-09-24
JP2018129858A (ja) 2018-08-16
JP5965054B2 (ja) 2016-08-03
CN108347604B (zh) 2022-03-04
GB2501553A (en) 2013-10-30
EP2842315B1 (en) 2023-07-12
US20200014916A1 (en) 2020-01-09
WO2013160697A1 (en) 2013-10-31
RU2017116180A (ru) 2019-01-28
GB2501546A (en) 2013-10-30
EP4243421A2 (en) 2023-09-13
CA2871556C (en) 2017-08-29
WO2013160656A3 (en) 2013-12-19
CN107734330A (zh) 2018-02-23
JP2017055444A (ja) 2017-03-16
GB201211073D0 (en) 2012-08-01
JP2016201813A (ja) 2016-12-01
BR112014026021A2 (pt) 2017-06-27
RU2751080C2 (ru) 2021-07-08
CN111182299A (zh) 2020-05-19
AU2013254448A1 (en) 2014-11-06
CN108366257B (zh) 2022-03-25
KR20190077110A (ko) 2019-07-02
MX345237B (es) 2017-01-23
BR112014026024A8 (pt) 2021-06-22
GB2501556A (en) 2013-10-30
WO2013160696A1 (en) 2013-10-31
US20190222833A1 (en) 2019-07-18
JP2018142970A (ja) 2018-09-13
US20170339402A1 (en) 2017-11-23
BR112014026035B1 (pt) 2023-02-07
JP6231647B2 (ja) 2017-11-15
US20170272743A1 (en) 2017-09-21
JP2015518343A (ja) 2015-06-25
CN104255030B (zh) 2018-04-03
RU2599935C2 (ru) 2016-10-20
AU2013254444A1 (en) 2014-10-23
TW201817239A (zh) 2018-05-01
US10841572B2 (en) 2020-11-17
US10440358B2 (en) 2019-10-08
US10827169B2 (en) 2020-11-03
GB2501551A (en) 2013-10-30
US10205941B2 (en) 2019-02-12
TW201408081A (zh) 2014-02-16
US20150172652A1 (en) 2015-06-18
MX343351B (es) 2016-11-03
US20180227577A1 (en) 2018-08-09
US10419750B2 (en) 2019-09-17
JP6050478B2 (ja) 2016-12-21
JP2015515236A (ja) 2015-05-21
US20170359576A1 (en) 2017-12-14
US20150078447A1 (en) 2015-03-19
CN104272739A (zh) 2015-01-07
CA2870596A1 (en) 2013-10-31
WO2013160700A1 (en) 2013-10-31
TWI575942B (zh) 2017-03-21
JP6325606B2 (ja) 2018-05-16
US20150085924A1 (en) 2015-03-26
KR20170054561A (ko) 2017-05-17
WO2013160695A1 (en) 2013-10-31
GB201211072D0 (en) 2012-08-01
CN104285445A (zh) 2015-01-14
US9674531B2 (en) 2017-06-06
WO2013160656A2 (en) 2013-10-31
US9693058B2 (en) 2017-06-27
RU2014147453A (ru) 2016-06-20
CN110225337A (zh) 2019-09-10
EP4243420A3 (en) 2023-11-22
EP3442229A1 (en) 2019-02-13
KR101734974B1 (ko) 2017-05-15
CN104247425B (zh) 2018-11-06
AU2018217304A1 (en) 2018-09-06
KR20150003219A (ko) 2015-01-08
GB2501548A (en) 2013-10-30
BR112014026024A2 (pt) 2017-06-27
CN104272739B (zh) 2018-04-20
CN104255029A (zh) 2014-12-31
GB2501549A (en) 2013-10-30
US11252402B2 (en) 2022-02-15
EP2842321A2 (en) 2015-03-04
GB201211069D0 (en) 2012-08-01
CN104255030A (zh) 2014-12-31
US20150043641A1 (en) 2015-02-12
GB201211070D0 (en) 2012-08-01
BR112014026035A2 (pt) 2020-06-30
CN109068135A (zh) 2018-12-21
US20150117527A1 (en) 2015-04-30
GB201211628D0 (en) 2012-08-15
JP6503492B2 (ja) 2019-04-17
CN108366257A (zh) 2018-08-03
TWI711301B (zh) 2020-11-21
CA3028883A1 (en) 2013-10-31
EP2842314A2 (en) 2015-03-04
WO2013160694A4 (en) 2014-01-03
TWI611689B (zh) 2018-01-11
JP5986294B2 (ja) 2016-09-06
GB2501566A (en) 2013-10-30
US20220150468A1 (en) 2022-05-12
GB201211623D0 (en) 2012-08-15
CA2870596C (en) 2019-02-12
JP6128707B2 (ja) 2017-05-17
CN104247426A (zh) 2014-12-24
CA2870591C (en) 2023-10-03
TWI677236B (zh) 2019-11-11
GB2501554A (en) 2013-10-30
CN110933409A (zh) 2020-03-27
RU2619888C2 (ru) 2017-05-19
TW201937934A (zh) 2019-09-16
US10291909B2 (en) 2019-05-14
CN111182299B (zh) 2024-02-09
RU2014147445A (ru) 2016-06-10
US10531083B2 (en) 2020-01-07
CA2870602C (en) 2022-08-09
EP2842315A1 (en) 2015-03-04
MX2014012846A (es) 2015-10-22
CN108134931B (zh) 2022-03-01
US10616572B2 (en) 2020-04-07
KR20170041288A (ko) 2017-04-14
JP6328613B2 (ja) 2018-05-23
TW201408080A (zh) 2014-02-16
WO2013160698A1 (en) 2013-10-31
WO2013160693A2 (en) 2013-10-31
GB201211629D0 (en) 2012-08-15
AU2018217304B2 (en) 2020-08-06
WO2013160699A1 (en) 2013-10-31
TW201408079A (zh) 2014-02-16
US20200213584A1 (en) 2020-07-02
CA3028883C (en) 2021-10-26
JP2015518339A (ja) 2015-06-25
JP2015518342A (ja) 2015-06-25
CN108134931A (zh) 2018-06-08
US11109019B2 (en) 2021-08-31
GB2501535A (en) 2013-10-30
US20180160112A1 (en) 2018-06-07
BR112014026021B1 (pt) 2023-12-19
MX346235B (es) 2017-03-13
EP2842314B1 (en) 2021-06-02
GB201211066D0 (en) 2012-08-01
CA3128787A1 (en) 2013-10-31
CN109068135B (zh) 2023-03-14
AU2013254444B2 (en) 2015-10-29
CN107734330B (zh) 2020-04-28
US9948929B2 (en) 2018-04-17
US9686547B2 (en) 2017-06-20
KR20180030263A (ko) 2018-03-21
US20190191154A1 (en) 2019-06-20
WO2013160693A3 (en) 2013-12-19
TWI586152B (zh) 2017-06-01
KR101840025B1 (ko) 2018-03-20
AU2013254448B2 (en) 2015-11-19
AU2016204227A1 (en) 2016-07-14
RU2603548C2 (ru) 2016-11-27
JP6407389B2 (ja) 2018-10-17
US10244232B2 (en) 2019-03-26
GB201211075D0 (en) 2012-08-01
US20200177874A1 (en) 2020-06-04
US10674144B2 (en) 2020-06-02
GB201207459D0 (en) 2012-06-13
EP2842316A1 (en) 2015-03-04
US10499052B2 (en) 2019-12-03
US9826231B2 (en) 2017-11-21
US20180124392A1 (en) 2018-05-03
CA3128787C (en) 2023-09-26
US20190253702A1 (en) 2019-08-15
JP2018042263A (ja) 2018-03-15
GB2501557A (en) 2013-10-30
US11770519B2 (en) 2023-09-26
KR101994597B1 (ko) 2019-06-28
KR102104400B1 (ko) 2020-04-24
CN110933409B (zh) 2023-06-27
RU2017116180A3 (ja) 2020-05-27
WO2013160694A1 (en) 2013-10-31

Similar Documents

Publication Publication Date Title
JP6606794B2 (ja) データ符号化及び復号化
KR20170007069A (ko) 파노라믹 비디오의 왜곡보정 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190527

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191101

R150 Certificate of patent or registration of utility model

Ref document number: 6606794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150