JP6231647B2 - データ符号化及び復号化 - Google Patents

データ符号化及び復号化 Download PDF

Info

Publication number
JP6231647B2
JP6231647B2 JP2016227411A JP2016227411A JP6231647B2 JP 6231647 B2 JP6231647 B2 JP 6231647B2 JP 2016227411 A JP2016227411 A JP 2016227411A JP 2016227411 A JP2016227411 A JP 2016227411A JP 6231647 B2 JP6231647 B2 JP 6231647B2
Authority
JP
Japan
Prior art keywords
block
samples
data
prediction
chrominance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016227411A
Other languages
English (en)
Other versions
JP2017055444A (ja
Inventor
ジェームス アレキサンダー ガメイ
ジェームス アレキサンダー ガメイ
ニコラス イアン サンダース
ニコラス イアン サンダース
カール ジェームス シャーマン
カール ジェームス シャーマン
ポール ジェームス シルコック
ポール ジェームス シルコック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Sony Corp
Original Assignee
Sony United Kingdom Ltd
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd, Sony Corp filed Critical Sony United Kingdom Ltd
Publication of JP2017055444A publication Critical patent/JP2017055444A/ja
Application granted granted Critical
Publication of JP6231647B2 publication Critical patent/JP6231647B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/24High-definition television systems
    • H04N11/28High-definition television systems involving bandwidth reduction, e.g. subsampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/547Motion estimation performed in a transform domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

[関連技術の相互参照]
本出願は、2012年6月29日、2012年4月26日に英国知的財産庁において提
出されたGB 1211628.1、及びGB1207459.7における先の出願日の
優先権の利益を主張し、その出願の全体の内容は、参照により本出願に組み込まれる。
本発明は、データ符号化及び復号化に関する。
この「背景技術」で説明される事項は、一般的には本出願における背景を説明するため
のものである。この背景技術の欄で説明される範囲での現在における発明者の技術は、本
出願の出願時点で従来技術ではない可能性がある説明の側面と同様に、明示的にも暗示的
にも、本願に対する従来技術として認めるものではない。
ビデオデータを周波数領域表現に変換し、周波数領域係数を量子化し、その後、量子化
係数に対して何らかのエントリ符号化を適用する、いくつかのビデオデータ符号化及び復
号化システムが存在している。これにより、ビデオデータの圧縮が実現される。元のビデ
オデータの再構築バージョンを復元するためには、対応する復号化又は解凍技術が適用さ
れる。
H.264/MPEG−4 アドバンスド・ビデオ符号化(AVC:Advanced Video C
oding)などで使用されているような、現在におけるビデオコーデック(コーダ‐デコー
ダ)は、主に、連続的なビデオフレーム間における差を符号化するだけでデータ圧縮を実
現している。これらのコーデックは、マクロブロックと呼ばれる規則的なアレイを使用し
ている。マクロブロックのそれぞれは、以前のビデオフレームにおける対応するマクロブ
ロックとの比較領域として使用される。また、マクロブロック内における画像領域は、そ
のとき、ビデオシーケンスにおける、対応する現在及び以前のマクロブロック間、あるい
は、ビデオシーケンスにおける単フレーム内の隣接マクロブロック間において見出された
移動度に応じて符号化される。
H.265又はMPEG−Hパート2としても知られている高効率ビデオ符号化(HE
VC:High Efficiency Video Coding)は、H.264/MPEG−4AVCの後継案で
ある。HEVCでは、ビデオ画質が改善され、H.264と比べてデータ圧縮率が2倍と
されている。また、ピクセル解像度が128×96から7680×4320まで拡張可能
であり、大まかには、128kbit/sから800Mbit/sまでの範囲のビットレ
ートに等しい。
HEVCでは、いわゆる4:2:0ブロック構造は、民生装置に対して提案され、各ク
ロマチャネルで使用されるデータ量は、ルマチャネルにおける1/4とされている。これ
は、人間は、主観的に色よりも明るさの変化に対して敏感であるためであり、また、品質
の客観的な損失を伴わずに、より多くの圧縮及び/又は色チャネルにおけるより少ない情
報を実現することができるためである。
HEVCでは、既存のH.264及びMPEG標準で見られるマクロブロックの代わり
に、可変サイズ構造である符号ユニット(CU:Coding Unit)に基づく柔軟な配列が用
いられる。
このため、ビデオフレーム内の画像データを符号化するとき、一様に分散されたマクロ
ブロックを使用する代わりに、外見上の画像の複雑さ又は検出された動きレベルに応じて
CUのサイズを選択することができる。従って、フレーム間の微小な動き及びフレーム内
の微小な変動を持つ領域において、非常に優れた圧縮を実現することができ、さらに、フ
レーム間での大きな動き又は画像における複雑さを持つ領域において優れた画像品質を維
持することができる。
各CUは、ピクチャ内又はピクチャ間予測タイプにおける1以上の可変ブロックサイズ
予測ユニット(PU:Prediction Unit)と、空間ブロック変換及び量子化のための係数
を含む1以上の変換ユニット(TU:Transform Unit)とを含んでいる。
さらに、PU及びTUブロックは、輝度(luminance)又は明るさ(Brightness)のチ
ャネルである、グレースケールのチャネルとも考えられるルマ(Y)と、2つの色差又は
クロミナンス(クロマ)チャネルであるCb及びCrとを含む3つのチャネルそれぞれに
対して提供される。これらのチャネルは、ルマチャネルのグレースケール画像に対して色
を提供する。必要に応じて、Y、ルミナンス及びルマという用語は、ここでは、同じ意味
で使用され、同様に、Cb及びCr、並びに、クロミナンス及びクロマという用語は同じ
意味で使用され、クロミナンス及びクロマは、一般的に"Cr及びCrの一方又は両方"の
意味で使用され、一方で、特定のクロミナンスチャネルが議論されるときに、用語Cb又
はCrによって区別される。
一般的には、PUがルマ部分及びクロマ部分を有している点を除いて、PUは、チャネ
ル独立性であると考えられる。一般的には、これは、各チャネルに対するPUの一部を形
成するサンプルが、画像の同じ領域を表しており、これにより3つのチャネル間における
PU間に一定の関係がもたらされることを意味している。例えば、4:2:0:ビデオで
は、ルマについての8×8PUは、ルマ部分と同じ領域を表す、4:2:0ビデオにおけ
るルマデータと比較される4:2:0クロマデータのサブサンプリングされた特性である
ためにピクセル数が少ないPUのクロマ部分とともに、対応するクロマについての4×4
PUを常に有している。2つのクロマチャネルは、イントラ予測情報を共有し、また、3
つのチャネルは、インター予測情報を共有する。同様に、TU構造も3つのチャネル間で
一定の関係を有している。
しかしながら、専門の放送及びデジタルシネマ装置では、クロマチャネルにおいてより
少ない圧縮(又は、より多くの情報)を実現することが望ましいが、これは、現在又はH
EVC処理における動作に影響を及ぼす可能性がある。
本願は、このような処理により発生する問題に対処し又は軽減する。本発明の各側面及
び特徴は、添付の特許請求の範囲において定義される。なお、上述の一般的な説明及び以
降の詳細な説明は、本発明の一例であり、これらに限定されるものではない。
データ圧縮及び解凍を使用するオーディオ/ビデオデータ送受信システムを示す概略図である。 ビデオデータ圧縮を使用するビデオ表示システムを示す概略図である。 ビデオデータ圧縮及び解凍を使用するオーディオ/ビデオ記憶システムを示す概略図である。 ビデオデータ圧縮を使用するビデオカメラを示す概略図である。 ビデオデータ圧縮及び解凍装置を示す概略図である。 予測画像の生成を示す概略図である。 最大符号化ユニット(LCU:Largest Coding Unit)を示す概略図である。 4つの符号化ユニット(CU:Coding Unit)の組を示す概略図である。 小さな符号化ユニットにサブ分割された図8の符号化ユニットを示す概略図である。 小さな符号化ユニットにサブ分割された図8の符号化ユニットを示す概略図である。 予測ユニット(PU:Prediction Unit)の配列を示す概略図である。 変換ユニット(TU:Transform Unit)の配列を示す概略図である。 部分的に符号化された画像を示す概略図である。 可能なイントラ予測方向の組を示す概略図である。 予測モードの組を示す概略図である。 右上り斜めスキャンを示す概略図である。 ビデオ圧縮装置を示す概略図である。 可能なブロックサイズを示す概略図である。 可能なブロックサイズを示す概略図である。 クロマ及びルマブロックからの共同位置情報の使用を示す概略図である。 一方のクロマチャネルからの共同位置情報が他のクロマチャネルについて使用される状況を示す概略図である。 ルマ‐クロマモードに使用されるピクセルを示す概略図である。 ルマ予測モードの組を示す概略図である。 水平にまばらなクロマチャネルに適用された、図22の方向を示す概略図である。 長方形クロマピクセル配列にマッピングされた、図22の方向示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 4:2:0についての量子化パラメータテーブルを示す概略図である。 4:2:2についての量子化パラメータテーブルを示す概略図である。 量子化変数テーブルを示す概略図である。 量子化変数テーブルを示す概略図である。 角ステップを修正するための構成を示す概略図である。 角ステップの修正を示す概略図である。 スキャンパターンを示す概略図である。 スキャンパターンを示す概略図である。 予測モードに応じたスキャンパターンの選択を示す概略図である。 長方形クロマブロックについての予測モードに応じたスキャンパターンの選択を示す概略図である。 スキャンパターンの選択のための構成を示す概略図である。 周波数分離変換の選択のための構成を示す概略図である。 CABACエンコーダを示す概略図である。 以前に提案された近隣割り当てを示す概略図である。 以前に提案された近隣割り当てを示す概略図である。 以前に提案された近隣割り当てを示す概略図である。 以前に提案された近隣割り当てを示す概略図である。 本発明の一実施形態に係るコンテキスト可変割り当てを示す概略図である。 本発明の一実施形態に係るコンテキスト可変割り当てを示す概略図である。 本発明の一実施形態に係るコンテキスト可変割り当てを示す概略図である。 本発明の一実施形態に係るコンテキスト可変割り当てを示す概略図である。 本発明の一実施形態に係るコンテキスト可変割り当てを示す概略図である。 本発明の一実施形態に係るコンテキスト可変割り当てを示す概略図である。
添付図面と共に以降の詳細な説明を参照することによって、本発明の完全な理解及びそ
の優位性の多くが容易に理解されるであろう。
図面を参照して、図1〜図4には、本発明の実施形態に関連して、以降で説明される圧
縮及び/又は解凍装置を利用する装置及びシステムが概略的に示されている。
以降で説明される全てのデータ圧縮及び/又は解凍装置は、ハードウェアで実現されて
もよいし、例えば、ASIC(Application Specific Integrated Circuit)またはFP
GA(Field Programmable Gate Array)、あるいはこれらの組み合わせなどのようなプ
ログラム可能なハードウェアとして、汎用コンピュータなどの汎用データ処理装置上で動
作するソフトウェアで実現されてもよい。ソフトウェア及び/又はファームウェアで実現
される実施形態の場合、このようなソフトウェア及び/又はファームフェア、並びに、こ
のようなソフトウェア及び/又はファームウェアが記憶又は提供される非一時的なデータ
記録媒体が、本発明の実施形態であると考えられる。
図1は、ビデオデータ圧縮及び解凍を使用するオーディオ/ビデオデータ送受信システ
ムを示す概略図である。
入力オーディオ/ビデオ信号10は、例えば、ケーブル、光ファイバ、無線リンク等の
送信ルート30に沿って送信されるオーディオ/ビデオ信号10のビデオ要素を少なくと
も圧縮するビデオデータ圧縮装置20へ供給される。圧縮された信号は、解凍装置40に
よって処理されて、出力オーディオ/ビデオ信号50が提供される。戻りパスでは、圧縮
装置60は、送信ルート30に沿って解凍装置70へと送信されるオーディオ/ビデオ信
号を圧縮する。
圧縮装置20及び解凍装置70は、それ故、送信リンクにおける1つのノードを形成す
ることができる。また、解凍装置40及び圧縮装置60は、送信リンクにおける他の1つ
のノードを形成することができる。もちろん、送信リンクが単方向である場合、一方のノ
ードのみが圧縮装置として要求され、他方のモードのみが解凍装置として要求される。
図2は、ビデオデータ解凍を使用するビデオ表示システムを模式的に示す図である。特
に、圧縮されたオーディオ/ビデオ信号100は解凍装置110によって処理され、表示
装置120上で表示され得る解凍信号が提供される。解凍装置110は、表示装置120
の不可欠な部分として実現され、例えば、表示装置として同じケージング内に提供される
。あるいは、解凍装置110は、(例えば、)いわゆるセットトップボックス(STB:
Set Top Box)として提供されてもよい。なお、"セットトップ"との表現は、表示装置1
20に対して特定の方向又は位置に位置されるボックスに対する要求を意味しているので
はなく、単に、周辺機器として表示部に接続可能なデバイスを示すためにこの用語は使用
されている。
図3は、ビデオデータ圧縮及び解凍を使用するオーディオ/ビデオ記憶システムを示す
概略図である。入力オーディオ/ビデオ信号130は、例えば、磁気ディスク装置、光デ
ィスク装置、磁気テープ装置、あるいは、半導体メモリやその他の記憶装置などの半導体
記憶装置などの記憶装置150によって記憶される圧縮信号を生成する圧縮装置140に
供給される。再生においては、圧縮データが記憶装置150から読み出されて、解凍のた
めに解凍装置160を通され、これにより出力オーディオ/ビデオ信号170が提供され
る。
なお、圧縮又は符号化信号、並びに、この信号を記憶する記憶媒体は、本発明の一実施
形態であると考えられる。
図4は、ビデオデータ圧縮を使用するビデオカメラを示す概略図である。図4において
、例えば、CCD(Charge Coupled Device)イメージセンサや、関連する制御及び読み
出しの電子機器などの画像キャプチャ装置180は、圧縮装置190を通されるビデオ信
号を生成する。1つのマイクロフォン(あるいは複数のマイクロフォン)200は、圧縮
装置190を通されるオーディオ信号を生成する。圧縮装置190は、記憶及び/又は送
信される圧縮オーディオ/ビデオ信号を生成する(概略ステージ220として一般的に表
されている)。
以降で述べられる技術は、主に、ビデオデータ圧縮及び解凍に関連している。なお、圧
縮オーディオ/ビデオ信号を生成するために、多くの既存の技術が、以降で説明されるビ
デオデータ圧縮技術と共にオーディオデータ圧縮に使用されてもよい。対応して、オーデ
ィオデータ圧縮についての分離した説明は行わない。また、特に、放送品質ビデオデータ
において、ビデオデータに関連するデータレートは、一般的に、オーディオデータに関連
するデータレートよりも非常に高い(圧縮及び非圧縮を問わず)。従って、非圧縮オーデ
ィオデータは、圧縮オーディオ/ビデオ信号を形成するために、圧縮ビデオデータと一緒
にすることができる。さらに、図示される例(図1〜図4参照)は、オーディオ/ビデオ
データに関連しているが、以降で説明される技術は、単にビデオデータを扱う(つまり、
圧縮、記憶、表示及び送信する)システムにおける使用されてもよい。つまり、この実施
形態は、必ずしも関連するオーディオデータの処理を必要とすることなく、ビデオデータ
圧縮に適用することができる。
図5は、ビデオデータ圧縮及び解凍装置を示す概略図である。
コントローラ343は、装置の全体の動作を制御し、特に、圧縮モードを参照するとき
、(以降で説明される)試験的符号化処理を制御して、CU、PU、TUブロックサイズ
等の動作の各種モードを選択する。
入力ビデオ信号300の連続画像は、加算部310及び画像予測部320に供給される
。画像予測部320は、図6を参照して後に詳述される。加算部310は、実際には減算
(負の加算)動作を実行し、"+"入力上で入力ビデオ信号300を受信し、"−"入力上で
画像予測部320の出力を受信し、これにより、予測画像が入力画像から減算される。こ
の結果は、実画像及び予測画像の差を表すいわゆる残差画像信号330である。
残差画像信号がなぜ生成されるのかについての1つの理由について説明する。説明され
るデータ符号化技術、つまり、残差画像信号に適用される技術は、符号化される画像にお
いて小さな"エネルギー"しかない場合に、より効率的に処理を行うためのものである。こ
こで、"効率的"との用語は、少量の符号化データの生成について言及しており、特に画像
品質レベルについては、できるだけ少量のデータを生成することが望ましい("効率"が考
慮されて)。残差画像における"エネルギー"は、残差画像に含まれる情報量に関連してい
る。仮に、予測画像が実画像と一致している場合、これらの2つの間の差(つまり、残差
画像)は、ゼロの情報(ゼロエネルギー)を含み、非常に簡単に少量の符号化データに符
号化することができる。一般的には、仮に、予測処理が合理的に効果的に動作される場合
、その予想は、残差画像データが、入力画像よりも少ない情報(小さなエネルギー)を含
み、より簡単に少量の符号化データに符号化することができるという予想となる。
残差画像データは、残差画像データの離散コサイン変換(DCT:Discrete Cosine
Transform)表現を生成する変換ユニット340へと供給される。このDCT技術自体は
、広く知られており、ここでの詳細な説明は行わない。しかしながら、特に、DCT動作
が適用されるデータの異なるブロックの選択に関して、以降で詳細に説明される装置で使
用される技術の側面が存在する。これらについては、図7〜図12を参照して以降で説明
する。いくつかの実施形態では、MDDT(Mode Dependent Directional Transform)と
して知られるシステムにおいて、DCTの代わりに、異なる周波数分離変換が選択的に使
用されてもよく、これについては、以降で説明する。ここでは、DCT変換が使用される
と仮定する。
変換ユニット340の出力、つまり、画像データにおける各変換ブロックのDCT係数
の組は、量子化部350へと供給される。各種量子化技術は、量子化スケーリング要素に
よる単純な乗算から、量子化パラメータの制御下における複雑なルックアップテーブルの
応用に至るまで、ビデオデータ圧縮の分野において広く知られている。その一般的な目的
は2つの要素からなる。第1に、量子化処理は、変換データにおける可能値の数を減少さ
せる。第2に、量子化処理は、変換データの値がゼロとなる可能性を増加させることがで
きる。これらの両者は、少量の圧縮ビデオデータの生成において、後述のエントロピ符号
化処理をより効率的に動作させることができる。
データスキャニング処理がスキャン部360によって適用される。スキャニング処理の
目的は、非ゼロの量子化係数を全体でできるだけ多く集合させ、また、もちろん、その
結果、ゼロ値の係数を全体でできるだけ多く集合させるために、量子化変換データを
再整理することにある。これらの特徴により、いわゆるランレングス符号化、又は同様の
技術が効率的に適用される。つまり、スキャニング処理は、(a)全ての係数がスキャン
の一部として一度は選択されるように、且つ(b)スキャンが望ましい再整理を提供する
ように、"スキャニング順"に応じて、量子化変換データから、特に、変換及び量子化され
た画像データのブロックに対応する係数のブロックから係数を選択することを含む。いく
つかの実施形態では、いわゆるMDCS(Mode Dependent Coefficient Scanning)が使
用されてもよく、スキャンパターンはブロックからブロックへと変わってもよい。このよ
うな構成は、後に詳述する。ここでは、右上り斜め方向スキャンが使用されていると仮定
する。
スキャンされた係数は、その後、エントロピエンコーダ370を通される。この場合も
やはり、各種のタイプのエントロピ符号化が用いられてもよい。2つの例は、いわゆるC
ABAC(Context Adaptive Binary Coding)システムの変形、及び、いわゆるCAVL
C(Context Adaptive Variable-Length Coding)システムの変形である。一般的に、C
ABCは、より良い効率の提供が考慮されており、或る研究では、CAVLCと比べて同
等の画像品質について、符号化出力データの品質において10−20%の減少がみられる
。しかしながら、CAVLCは、(その実現において)CABACよりも大幅に低いレベ
ルの複雑さを表すことが考慮されている。なお、スキャニング処理及びエントロピ符号化
処理は、別々に処理されるとして示されているが、実際には、これらは全体として組み合
わせるか、または、扱うことができる。つまり、エントロピ符号化におけるデータの読み
出しは、スキャン順で行われ得る。対応する考え方は、以降で説明される各逆処理に適用
される。なお、出願時点で検討中の現在のHEVC文書は、CAVLC係数エンコーダの
可能性をもはや含んではいない。
エントロピエンコーダ370の出力は、例えば、予測部320が予測画像を生成する方
法を定義する加えられたデータ(上述及び/又は後述)と共に、圧縮出力ビデオ信号38
0を提供する。
一方、予測部320自身の動作は圧縮出力データの解凍バージョンに依存するため、戻
りパスも提供される。
この特徴について説明する。解凍処理(後述)における適切なステージで残差データの
解凍バージョンが生成される。この解凍残差データは、出力画像を生成するために、予測
画像に加えられなくてはならない(なぜなら、元の残差データは、入力画像及び予測画像
の差であったため)。圧縮側及び解凍側の間でこの処理が比較可能なように、予測部32
0によって生成された予測画像は、圧縮処理中及び解凍処理中において、同じであるべき
である。もちろん、解凍では、装置は、元の入力画像へアクセスできず、解凍画像へのみ
アクセスできる。従って、圧縮では、予測部320は、圧縮画像の解凍バージョンに基づ
いてその予測を行う(少なくとも、インター画像符号化について)。
エントロピ符号化部370により実行されるエントロピ符号化処理は、"無損失(lossl
ess)"であると考えられ、つまり、エントロピ符号化部370に最初に供給された正確に
同じデータに逆にして至ることができる。従って、戻りパスは、エントロピ符号化ステー
ジよりも前に実行され得うる。実際には、スキャン部360によって実行されるスキャニ
ング処理も無損失であると考えられるが、本実施形態では、戻りパス390は、量子化部
350の出力から、優待逆量子化部420の入力までとされている。
一般的には、エントロピ復号化部410、逆スキャン部400、逆量子化部420、逆
変換部430は、それぞれ、エントロピ符号化部370、スキャン部360、量子化部3
50及び変換部340の逆機能を提供する。ここでは、圧縮処理について説明を続け、入
力圧縮ビデオ信号を解凍するための処理については後に別で説明を行う。
圧縮処理では、スキャン係数は、戻りパス390により量子化部350から、スキャン
部360の逆動作を実行する逆量子化部420へと導かれる。逆量子化及び逆変換処理は
、圧縮−解凍残差画像信号440を生成するユニット420、430により実行される。
加算部450で画像信号440が予測部320の出力に加えられて、再構築出力画像4
60が生成される。これは、画像予測部320への1つの形成し、これについて以降で説
明する。
受信された圧縮ビデオ信号の解凍に適用される処理について説明すると、信号は、エン
トロピ復号化部410に供給され、加算部450により画像予測部320の出力に加えら
れる前に、そこから逆スキャン部400、逆量子化部420及び逆変換部430の列へと
導かれる。単刀直入に言うと、加算部450の出力460は、出力解凍ビデオ信号480
を形成する。実際には、信号の出力の前に、さらなるフィルタリングが適用されてもよい
従って、図5及び図6の装置は、圧縮装置又は解凍装置として動作することができる。
この2種類の装置の機能は重複する部分が非常に多い。スキャン部360及びエントロピ
符号化部370は、解凍モードでは使用されず、予測部320(詳細は後述)及び他のユ
ニットの動作は、受信された圧縮ビットストリームに含まれるか、あるいは、関連づけら
れたモード及びパラメータ情報に従う(このような情報自体を生成するのではなく)。
図6は、予測画像の生成を示す概略図であり、特に、画像予測部320の動作を示して
いる。
いわゆるイントラ画像予測、並びに、いわゆるインター画像予測若しくは動き補償(M
C:Motion-Compensated)予測の2つの基本的な予測モードが存在する。
イントラ画像予測は、同じ画像内からの、データ上の画像ブロックの内容の予測を基礎
としている。これは、他のビデオ圧縮技術における、いわゆるI−フレーム符号化に対応
する。画像全体がイントラ符号化されるI−フレーム符号化とは対照的に、本実施形態で
は、イントラ及びインター符号化間における選択がブロック毎を基準として行われ、一方
で本発明の他の実施形態では、その選択が依然として画像毎を基準として行われる。
動き補償予測は、インター画像予想の一例であり、他の隣接又は近接画像において、現
在の画像における画像詳細のソースを定義することを試みる動き情報を使用する。従って
、理想的な例では、予測画像における画像データのブロックの内容は、隣接画像における
同じかわずかに異なる位置において対応するブロックを指し示すリファレンス(動きベク
トル)として、非常に単純に符号化され得る。
図6に戻り、図6には2つの画像予測構成(イントラ及びインター画像予測に対応)が
示されており、その結果が、モード信号510の制御下において、乗算部500によって
選択されて、加算部310及び450に供給するための予測画像のブロックが提供される
。この選択は、どちらを選択すれば最小の"エネルギー"となるかに基づいて行われ(上述
のように、符号化を要求する情報内容が考慮されてもよい)、また、この選択は、符号化
された出力データストリーム内でエンコーダに通知される。このコンテキストでは、例え
ば、入力画像から、予測画像の2つのバージョンの領域を試行減算し、差分画像の各ピク
セル値を2乗し、乗算値を合計し、その画像領域に関連する差分画像における低い平均乗
算値生じさせる、2つのバージョンのうちの一方を定義するによって、画像エネルギーを
検出することができる。
実際の予測は、イントラ予測システムにおいて、信号460の一部として受信された画
像ブロックに基づいて行われ、つまり、予測は、正確に同じ予測が解凍装置において可能
なように、符号化−復号化画像ブロックに基づいて行われる。しかしながら、データは、
イントラ画像予測部530の動作を制御するイントラモード選択部520により、入力ビ
デオ信号300から抽出されてもよい。
インター画像予測では、動き補償(MC)予測部540は、例えば、動き推定部550
によって入力ビデオ信号300から抽出された動きベクトルなどの動き情報を使用する。
これらの動きベクトルは、インター画像予測のブロックを生成する動き補償予測部540
によって、再構築画像460の処理バージョンに適用される。
信号460に適用される処理について説明する。まず、信号は、フィルタ部560によ
ってフィルタリングされ、これについて、以降でさらに詳細に説明する。この処理では、
変換ユニット340により実行されるブロック基準処理及び後続の動作に対する影響を除
去するか、少なくとも低減させる"非ブロック化(deblocking)"フィルタが適用される。
サンプル適応オフセット(SAO:Sample Adaptive Offsetting)フィルタ(後述)が用
いられてもよい。また、再構築信号460及び入力ビデオ信号300を処理することによ
って抽出された係数を使用して、適応ループフィルタが適用される。この適応ループフィ
ルタは、公知の技術を使用して、フィルタリングされるデータに対して適応フィルタ係数
を適用するフィルタの一種である。つまり、フィルタ係数は、各種要素に基づいて変化し
得る。使用されるフィルタ係数を定義するデータは、符号化された出力データストリーム
の一部としてストリームに含められる。
適応フィルタリングは、画像復元のためのイン‐ループフィルタを示す。LCUは、L
CU内の各CUについて抽出される、フィルタの選択及びALFのON/OFF状態と共
に、最大で16のフィルタによってフィルタリングすることができる。現在、この制御は
、CUレベルではなく、LCUレベルで行われる。
フィルタ部560からのフィルタリングされた出力は、実際には、装置が圧縮装置とし
て動作しているときに、出力ビデオ信号480を形成する。この信号は、1以上の画像又
はフレーム記憶部570に記憶され、連続画像の記憶は、動き補償予測処理、特に、動き
ベクトルの生成において要求される。記憶の要求を軽減するため、画像記憶部570内の
記憶画像は、圧縮形式とされ、その後、動きベクトルの生成に使用するために解凍されて
もよい。この特定の目的のために、どのような公知の圧縮/解凍システムが用いられても
よい。記憶画像は、記憶画像のより高い解像度バージョンを生成する補間フィルタ580
を通され、この例では、補間フィルタ580によって出力される補間画像の解像度が、4
:2:0のルミナンスチャネルについて、画像記憶部570に記憶された画像の4倍(各
面積)、かつ、4:2:0のクロミナンスチャネルについて、画像記憶部570に記憶さ
れた画像の8倍(各面積)となるように、中間サンプル(サブサンプル)が生成される。
補間画像は、動き推定部550への入力、動き補間予測部540の入力として通される。
本発明の一実施形態では、乗算部600を使用して、入力ビデオ信号のデータ値に4の
要素を掛け合わせ(効率的には、単にデータ値を2ビット左にシフトさせる)、分割部又
は右‐シフト部610を使用して、装置の出力で、対応する分割動作(2ビット右にシフ
ト)を適用するため、更に追加のステップが提供される。従って、左へのシフト及び右への
シフトは、装置の内部動作について、データを純粋に変更させる。この方法では、如何な
るデータ丸め誤差の影響も低減されるため、装置内において高い計算精度を提供すること
ができる。
圧縮処理のために画像が分割される方法について説明する。基本的なレベルでは、圧縮
される画像はサンプルブロックの配列であると考えらえる。便宜的に、検討されている最
大のこのようなブロックは、典型的な64×64サンプルの正方形配列を表すいわゆる最
大符号化ユニット(Largest Coding Unit)700である(LCUのサイズは、HEVC
文書等によって定義された最大サイズまでエンコーダにより設定可能である)。ここで、
ルミナンスサンプルについて説明する。4:4:4、4:2:2、4:2:0または4:
4:4:4(GBR+キーデータ)などのクロミナンスモードに応じて、ルミナンスブロ
ックに対応する、対応クロミナンスサンプルの数に違いがある。
3つの基本的なブロックの種類は、符号化ユニット、予測ユニット及び変換ユニットで
ある。一般的には、LCUの再帰的な分割では、例えば、ブロックサイズ及びブロック符
号化パラメータ(予測又は残差符号化モードなど)が、符号化される画像の特定の特徴に
応じて設定されるといった方法で、入力画像が分割される。
LCUは、いわゆる符号化ユニット(CU)に分割されてもよい。符号化ユニットは、
常に正方形であり、また、8×8サンプルとLCU700の最大サイズとの間のサイズを
有している。符号化ユニットは、ツリー構造の一種として構成されていてもよく、例えば
、第1の分割が図8に示すように行われて、32×32サンプルの符号化ユニットが与え
られる。続いて行われる分割は、16×16サンプルの符号化ユニット720(図9)及
び潜在的な8×8サンプルの符号化ユニット(図10)が与えられるように、選択的な基
準に基づいて行われてもよい。全体的に、この処理は、それぞれLCUと同じくらい大き
いか、あるいは、8×8サンプルと同じくらい小さいCUブロックの容量適応符号化ツリ
ー構造を提供することができる。出力ビデオデータの符号化は、符号化ユニット構造に基
づいて行われ、つまり1つのLCUが符号化され、その後、処理が次のLCUに移る。
図11は、予測ユニット(PU)の配列を示す概略図である。予測ユニットは、画像予
測処理に関連する情報を搬送するための基本的なユニットであり、換言すると、図5の装
置からの出力ビデオ信号を形成するためのエントロピ符号化された残差画像に加えられる
追加データである。一般的に、予測ユニットは、その形状が正方形には限られない。これ
らは、特に、1つの正方形符号化ユニットの半分を形成する長方形など、他の形状を採る
ことができる(例えば、8×8CUは、8×4又は4×8PUを持ち得る)。画像特徴に
合わせられるPUの採用は、HEVCの必須の部分ではないが、その一般的な目的は、エ
ンコーダが、隣接予測ユニットの境界に、ピクチャ内の実オブジェクトの境界に合わせら
れるようにし、異なる予測パラメータが異なる実オブジェクトに適用することができるよ
うにするためである。各符号化ユニットは、1以上の予測ユニットを含んでいてもよい。
図12は、変換ユニット(TU)の配列を示す概略図である。変換ユニットは、変換及
び量子化処理における基本的なユニットである。変換ユニットは、正方形であっても正方
形でなくてもよく、4×4から32×32までのサンプルサイズを採ることができる。各
符号化ユニットは1以上の変換ユニットを含むことができる。図12における頭字語SD
IP−Pは、いわゆる短距離イントラ予測分割を示している。この配列では、1つの面積
変換のみが使用されており、4×Nブロックに、入力データと共にN変換が行われ、現在
のSDIP−P内の以前に復号化された隣接ブロック及び以前に符号化された隣接線に基
づく変換が行われる。現在、SDIP−Pは,本願の出願時点でのHEVCには含まれて
いない。
上述のように、符号化は、1つのLCUについて行われ、その後、次のLCU、・・の
ように行われる。LCU内では、符号化はCU毎に行われる。CU内では、符号化は、1
つのTUに対して行われ、その後、次のTU、・・のように行われる。
イントラ予測処理について説明する。一般的には、イントラ予測は、同じ画像内におけ
る以前の符号化及び復号化サンプルからの現在のサンプルのブロック(予測ユニット)に
おける予測の生成を含む。図13は、部分的に符号化された画像800を示す概略図であ
る。ここで、画像は、LCU基準で、左上から右下へと符号化が行われている。画像全体
として扱うことによって部分的に符号化されたLCUの一例がブロック810として示さ
れている。上部の斜線領域820及びブロック810の左側は既に符号化されている。ブ
ロック810の内容のイントラ画像予測は、斜線領域820のいずも利用することができ
るが、その下の斜線が付されていない領域を利用することができない。しかしながら、現
在のLCU内における個々のTUについては、上述の符号化の階層順(CU毎、TU毎)
は、例えば、そのTUの右上又は左下のTUの符号化に利用可能な、現在のLCUにおけ
る以前に符号化されたサンプルが存在する可能性があることを意味している。
ブロック810は、上述のように、イントラ画像予測処理を行うためのLCUを表して
おり、より小さな予測ユニット及び変換ユニットの組へと変換されてもよい。現在のTU
830の一例がLCU810内に示されている。
イントラ画像予測は、例えば、現在のTUの上及び/又は左に位置する、考慮される現
在のTUよりも前に符号化されたサンプルが考慮される。要求されるサンプルが予測され
るソースサンプルは、現在のTUに関連する異なる位置又は方向に位置していてもよい。
現在の予測ユニットについてどの方法が適切であるかを決定するために、エンコーダのモ
ード選択部520は、各候補方向について利用可能なTU構造の全ての組み合わせを試し
、最良の圧縮効率を有するPU方向及びTU構造を選択してもよい。
ピクチャは、"スライス"基準で符号化されてもよい。1つの例では、スライスは、LC
Uの水平隣接グループである。しかし、より一般的には、残差画像全体は、スライス、単
LCUであり得るスライス、又はLCUの行であり得るスライス等を形成する。スライス
は、独立ユニットとして、これらが符号化されたときの誤差に復元力を与えることができ
る。エンコーダ及びデコーダの状態は、スライス境界で完全にリセットされる。例えば、
イントラ予測は、スライス境界をまたいで実行されず、スライス境界は、この目的のため
に画像境界として扱われる。
図14は、可能な(候補)予測方向の組を示す概略図である。34の候補方向の一式は
、8×8、16×16又は32×32の予測ユニットに利用可能である。予測ユニットサ
イズが、4×4及び64×64サンプルである特殊なケースでは、それらに利用可能な候
補方向における、減らされた組が使用される(それぞれ、17候補方向及び5候補方向)
。方向は、現在のブロック位置に関連する水平及び垂直移動により決定されるが、予測モ
ードとして符号される。その組が図15に示されている。なお、いわゆるDCモードは、
上部及び左側のサンプルの周囲の単純算術平均を表す。
図16は、スキャン部360により適用されるスキャンパターンの一例である、いわゆ
る右上り斜めスキャンを示す概略図である。図16において、このパターンでは、8×8
DCT係数のブロックの一例が、ブロックの左上の位置840に位置するDC係数と共に
示されており、左上の位置840に対する下側及び右側の距離を増やす係数により表され
る水平及び垂直空間周波数が増加される。
ブロック構成及びCU、PU、TU構造のバリエーションについて以降で説明する。こ
れについては、上述の図5及び図6に示された装置と多くの点で類似する、図17の装置
の説明において説明する。実際に、多くの同じ参照番号が使用され、これらの部分につい
ては説明を省略する。
図5及び図6との主な実質的な違いは、フィルタ560(図6)であり、図17では、フ
ィルタは、非ブロック化フィルタ1000及び関連する符号化決定ブロック1030、サ
ンプル適応オフセット(SAO)フィルタ1010及び関連する係数生成部1040、並
びに、適応ループフィルタ(ALF)1020及び関連する係数生成部1050を含むも
のとしてより詳細に示されている。
非ブロック化フィルタ1000は、ブロック符号化技術が使用されるときに、CU、P
U及びTU境界間を形成し得る鋭いエッジを平滑化することによって、歪みを低減し、表
示品質及び予測性能を改善することを試みる。
SAOフィルタ1010は、再構築ピクセルを、異なるカテゴリーに分類し、その後、
ピクセルの各カテゴリーのためのオフセットを単純に加算することによって、歪みを低減
させることを試みる。ピクセル明度及びエッジ特性がピクセル分類に使用される。符号化
効率をさらに改善するために、ピクチャは、オフセットパラメータの局所化のための複数
の領域に分割され得る。
ALF1020は、再構築及びソースフレーム間の差が最小化されるように、圧縮ピク
チャの復元を試みる。ALFの係数は、フレーム基準で算出及び送信される。ALFはフ
レーム全体又は局所的領域に対して適用され得る。
上述のように、提案されているHEVC文書は、4:2:0方式として知られる特定の
クロマサンプリング方式を使用している。4:2:0方式は、家庭/民生装置に使用し得
る。しかしながら、いくつかの他の方式も使用可能である。
特に、いわゆる4:4:4方式は、いくらかの忠実性の損失を伴う、専門の放送、マス
タ及びデジタルシネマに使用することができる。
これらの方式及び対応する可能なPU及びTUブロック構造について以降で説明する。
さらに、他の方式は、4:0:0モノクローム方式を含む。
4:4:4方式では、3つのY、Cb及びCrチャネルは、それぞれ同じサンプルレー
トを有している。従って、原則的には、この方式では、クロマデータの量がルマデータの
量の2倍になる。
従って、HEVCにおいて、この方式では、3つのY、Cb及びCrチャネルは、それ
ぞれ、同じサイズのPU及びTUを有しており、この場合、例えば、8×8ルマブロック
は、2つのクロマチャネルそれぞれに対する、対応する8×8クロマブロックを有してい
る。
結果として、この方式では、通常、各チャネルにおけるブロックサイズ間において、直
接的な1:1の関係が存在する。
4:2:2方式では、ルマサンプルレートの半分で、2つのクロマ要素がサンプリング
される(例えば、垂直又は水平サブサンプリングが使用されるが、便宜的に、水平サブサ
ンプリングであると仮定する)。このため、原則的には、この方式では、クロマデータが
2つのクロマチャネル間で分割されて、クロマデータの量及びルマデータの量が同じとな
る。
従って、HEVCにおいて、この方式では、Cb及びCrチャネルは、ルマチャネルに
対して、異なるサイズのPU及びTUを有しており、この場合、例えば、8×8ルマブロ
ックは、各クロマブロックに対して、対応する4(幅)×8(高さ)クロマブロックを持
ち得る。
従って、特に、この方式では、クロマブロックは、正方形ルマブロックに対応していた
としても、非正方形とされる。
現在において提案されているHEVC4:2:0方式では、2つのクロマ要素が、ルマ
のサンプルレートの1/4でサンプリングされる(例えば、垂直及び水平サブサンプリン
グが使用される)。このため、原則的には、この方式では、クロマデータの量がルマデー
タの量の半分になる。
従って、HEVCにおいて、この方式では、さらにCb及びCrチャネルは、ルマチャ
ネルに対して、異なるサイズのPU及びTUを有している。この場合、例えば、8×8ル
マブロックは、各クロマチャネルに対して、対応する4×4クロマブロックを有している
上述の方式は、その技術分野において、口語表現において'チャネル比''4:2:0チ
ャネル比'などとして知られている。しかしながら、上述の説明から理解されるように、
実際には、これは、Y、Cb及びCrが、上述の比で圧縮又は提供されるといったことを
常に意味しているのではない。従って、チャネル比とは呼ばれてはいるものの、これは、
文字通りの意味として捉えられるべきではない。実際に、4:2:0での正確な比は、4
:1:1である(4:2:2方式及び4:4:4での比は、実際に正しい)。
図18a及び図18bを参照して特定の構成を説明する前に、一般的な技術についてま
とめ、又は再考する。
最大符号化ユニット(LCU)は、ルート(根)・ピクチャ・オブジェクトである。こ
れは、典型的には、64×64ルマピクセルに等しいエリアを覆う。また、再帰的に分割
されて、符号化ユニット(CU)のツリー階層構造を形成する。一般的には、3つのチャ
ネル(1つのルマチャネル及び2つのクロマチャネル)は、同じCUツリー階層を持つ。
とはいうものの、チャネル比に基づき、特定のルマCUは、対応するクロマCUとは異な
る数のピクセルを含むことがある。
ツリー階層の最後のCU、つまり、再帰的な分割処理の結果としての最小のCU(リー
フ(葉)CUとも呼ばれる)は、その後、予測ユニット(PU)へと分割される。3つの
チャネル(1つのルマチャネル及び2つのクロマチャネル)は、クロマチャネルについて
、対応するPUのサンプルが少なすぎる場合(この場合には、このチャネルについて、1
つのPUだけが利用可能)を除いて、同じPU構造を有している。一般的にイントラPU
の最小の面積は4サンプルとされるが、インターPUの最小面積は4ルマサンプル(又は
、4:2:0について2クロマサンプル)とすることができる。最小CUサイズにおける
制限は、いずれのチャネルについての少なくとも1つのPUに対して常に十分に大きい。
リーフ(葉)CUは、変換ユニット(TU)にも分割される。TUは、大きすぎる場合
(例えば、32×32超のサンプル)さらなるTUに分割され得る(しなければならない
)。現在、レベル2として設定されている最大のツリー深さとなるまでTUが分割され得
るように、制限が適用される。つまり、各CUについて高々16個のTUが存在し得る。
図示された最小の許容TUサイズは、4×4サンプルであり、また、最大の許容TUサイ
ズは、32×32サンプルである。この場合もやはり、3つのチャネルは、可能な限り同
じTU構造を有するが、仮に、サイズ制限のために、与えられたチャネルについて特定の
深さにTUを分割することができない場合、TUは大きいサイズのままである。4つのT
Uへの分割方法は2×2とする必要はなく、4×1又は1×4とすることができるが、い
わゆる非正方形四分木変換配列(NSQT:Non-Square Quad-tree Transform)は類似し
ている。
図18A及び図18Bを参照して、ルマブロックを表す"Y"、クロマブロックの代表的
な1つを一般的な意味で表す"C"、及びピクセルを表す数字と共に、可能な異なるブロッ
クサイズが、CU、PU及びTUブロックについてまとめられている。'インター'は、イ
ンターフレーム予測PUを意味する(イントラフレーム予測PUの対義語)。多くの場合
、ルマブロックについてのブロックサイズのみが示されている。関連するクロマブロック
における対応するサイズは、チャネル比に応じてルマブロックサイズに関連づけられる。
従って、4:4:4では、クロマチャネルは、図18A及び図18Bに示されたルマブロ
ックと同じブロックサイズを有している。4:2:2及び4:2:0では、クロマブロッ
クは、それぞれ、チャネル比に応じて、対応するルマブロックよりも少ないピクセルを有
している。
図18A及び図18Bに示されている配列は、4つの可能なCUサイズ(64×64、
32×32、16×16及び8×8ルマピクセル)に関係している。これらの各CUは、
PUオプション(列1140で示される)及びTUオプション(列1150で示される)
における対応する行を有している。上記のように定義された可能なCUサイズについて、
オプションの行は、1100、1110、1129及び1130でそれぞれ示されている
なお、現在、64×64が最大CUサイズとされているが、この制限は変更することが
できる。各行1100・・1130内において、CUサイズに適用可能な異なるPUオプ
ションが示されている。これらのPU設定に適用可能なTUオプションが、各PUオプシ
ョンに水平に揃えられて示されている。
なお、いくつかのケースでは、多くのPUオプションが提供される。上述のように、P
U設定の選択における装置の目的は、異なる予測パラメータが異なる実オブジェクトに適
用され得るようにするために、ピクチャ内の実オブジェクトの境界を一致させる(できる
だけ近づける)ことにある。
ブロックサイズ及び形状、並びにPUは、コントローラ343の制御下において、エン
コーダ基準で決定される。現在の方法では、多くの方向に対して多くのTUツリー構造の
試行が行われ、各レベルで最良の"コスト"が得られる。ここで、コストは、各ブロック構
造による歪み、雑音、誤差、又はビットレートの尺度で表現されてもよい。従って、特定
の要求される品質測定に対する最小のビットレート、要求されるビットレートに対する最
小の歪み(誤差、雑音、これらの組み合わせ)、あるいは、これらの組み合わせを与える
1つの試行を選択する前に、上述のツリー構造及び階層において、許される範囲で、エン
コーダは、ブロックサイズ及び形状における2以上の(あるいは全ての利用可能な)変更
を試してもよい。
特定のPU設定が選択されると、各レベルの分割が適用されて、対応するTUが生成さ
れる。1100を参照して、64×64PUの場合、このブロックサイズは、TUとして
使用されるには大きすぎるので、第1のレベルの分割("レベル0"(分割されていない)
から"レベル1")が強制されて、4つの32×32ルマPUの配列となる。TUの変換及
び量子化が実行される前に分割が実行されて、これのそれぞれが、必要に応じて、ツリー
階層において分割される("レベル1"から"レベル2")。TUツリーのける最大数のレベ
ルは、例えば、HEVC文書によって限定される。
64×64ルマピクセルCUでは、他の選択肢がCUのサイズ及び形状に提供される。
これらは、インター符号化ピクチャとの使用のみが制限され、いくつかのケースでは、い
わゆるAMPオプション有効化との使用が制限される。AMPは、非対称動き分割であり
、PUを非対称に分割する。
同様に、いくつかのケースでは、選択肢がTUサイズ及び形状に提供される。仮に、N
QST(非正方形四分木変換、典型的には、非正方形TUを許容している)が有効化され
る場合、レベル1及び/又はレベル2への分割が図示のように実行され、一方、NQST
が無効化される場合、TUサイズは、そのCUサイズについての各最大TUのパターンの
分割に従う。
同様の選択肢が他のCUサイズに提供される。
図18A及び図18Bに図示が確定的であるとして、図18A及び図18Bにおける図
示に加えて、同じ情報の数字部分が下記の表に示されている。"n/a"は、許可されない
モードを示す。水平ピクセルサイズが初めに列挙されている。3番目の数字が与えられて
いる場合、ブロックサイズの例の数に関連しており、(水平)×(垂直)×(例の数)ブ
ロックとなっている。Nは、整数である。
各種4:2:0、4:2:2及び4:4:4ブロック構造
明らかなように、4:2:0及び4:4:4方式は、イントラ予測符号化について、正
方形のPUブロックを有している。さらに、現在、4:2:0方式は、4×4ピクセルの
PU及びTUブロックを許可している。
従って、上述のように、4:4:4モードでは、ルマ及びクロマブロックは、同じサイ
ズとされ(クロマデータはサブサンプリングされない)、そして、4×4CUに対して、
PU又はTUは、予め許容された最小の4×4ピクセルよりも少なくする必要はないので
、本発明に係る一実施形態では、4:4:4方式で、CUブロックに対する再帰が、8×
8ピクセルではなく、4×4ピクセルまで許容されることが提案される。
同様に、4:4:4方式では、本発明の一実施形態において、各Y、Cr、Cbチャネ
ル、又は、Y及び2つのCr、Cbチャネルは、各CUツリー階層構造を有し得る。フラ
グは、階層構造又は階層構造の方式が使用される信号が使用されてもよい。このアプロー
チは、4:4:4RGB色空間方式においても使用され得る。しかしながら、代わりに、
クロマ及びルマのためのツリー階層が独立であってもよい。
4:2:0方式における8×8CUに係る一例では、結果的に4つの4×4ルマPU及
び1つの4×4クロマPUとなる。従って、2倍のクロマデータを持つ4:2:2方式で
は、このケースでの1つの選択肢は、2つの4×4クロマPUを持つことであり、ここで
、例えば、底のクロマブロックは底の左のルマブロックの位置に対応する。しかしながら
、このケースにおける1つの非正方形4×8クロマPUの使用は、他の4:2:2PUよ
りもより相応しい。
4:2:0方式では、原則的に、イントラ予測符号化ではなく、インター予測符号化の
特定のクラスに対して許容された幾つかの非正方形TUが存在する。しかしながら、イン
ター予測符号化では、非正方形四分木変換(NSQT)が無効化される場合(これは、4
:2:0方式に対する現在のデフォルトである)、全てのTUが正方形となる。従って、
実際には、4:2:0方式では、現在、正方形TUが強制されている。例えば、16×1
6、4:2:0ルマTUは、各Cb及びCrの8×8、4:2:0クロマTUに対応して
いる。
しかしながら、上述のように、4:2:2方式は、非正方形PUを有し得る。従って、
本発明の一実施形態では、4:2:2方式に対して、非正方形を許可することが提案され
る。
例えば、16×16、4:2:2ルマTUは、2つの各Cb及びCr 8×8、4:2
:2クロマTUに対応していてもよく、この実施形態では、代わりに、各Cb及びCr
8×16、4:2:2クロマTUに対応していてもよい。
非正方形TUとすること、つまり、TUを少なくすることは、これらに含まれる情報が
少なくなる可能性があるので、より効率的である。しかしながら、これは、後述するよう
に、このようなTUの変換及びスキャニング処理に影響を及ぼしてしまう可能性がある。
4:4:4方式では、本発明の一実施形態において、クロマブロックよりもさらに分割
される場合、ルマブロックが(例えば)4×4ブロックにまで分割されることを防止する
ことができる。
最後に、4:4:4方式では、TU構造チャネル独立性を有し、シーケンス、ピクチャ
、スライス、細かなレベルで選択可能とすることが望ましい。
上述のように、NSQTは、現在、HEVCの4:2:0方式において無効とされてい
る。しかしながら、仮に、インターピクチャ予測について、NSQTが有効化され、かつ
、非対称動き分割(AMP)が許可されれば、PUが非対称に分割されることが許可され
、従って、例えば、16×16CUは、4×16PU及び12×16PUを有し得る。こ
れらの状況下では、4:2:0及び4:2:2方式のそれぞれについて、ブロック構造の
さらなる検討が重要になる。
4:2:0方式では、NSQTにおいて、TUの最小幅/高さは、4ルマ/クロマサン
プルに制限されている。
従って、非限定例では、16×4/16×12ルマPU構造は、ルマTUが1×4垂直
ブロック方式にあり、クロマTUが2×2ブロック方式にある、4つの16×4ルマTU
及び4つの4×4クロマTUを有している。
分割が水平ではなく、垂直である同様の方式では、4×16/12×16ルマPU構造
は、ルマTUが4×1水平ブロック方式にあり、クロマTUが2×2ブロック方式にある
、4つの4×16ルマTU及び4つの4×4クロマTUを有している。
4:2:2方式について、NSQTにおいて非限定例では、4×16/12×16ルマ
PU構造は、ルマTUが4×1水平ブロック方式にあり、クロマTUが2×2ブロック方
式にある、4つの4×16ルマTU及び4つの4×8クロマTUを有している。
しかしながら、異なる構造がいくつかのケースで考慮され得る。従って、本発明の一実施
形態では、NSQTでの非限定例において、16×4/16×12ルマPU構造は、(ル
マ及びクロマTUは1×4垂直ブロック方式にあるが、)PUレイアウトに合わせられた
4つの16×4ルマTU及び4つの×4クロマTUを有している(2×2ブロック方式に
おける4つの4×8クロマTUの4:2:0方式とは対照的に)。
ルマ及びクロマTUは、2×2ブロック配列であるが、同様に、32×8PUは、4つ
の16×4ルマTU及び4つの8×4クロマTUを有し得る。
従って、より一般的には、4:2:2方式では、NSQTにおいて、TUブロックサイ
ズは、非対称PUブロックレイアウトに合わせて選択される。従って、NSQTは、通常
、TUの境界をPUの境界に合わせることを許可しており、これにより、発生する高周波
数アーティファクトが低減される。
一般的には、本発明の実施形態は、4:2:2フォーマットビデオ信号の画像に対して
動作可能な、ビデオ符号化方法、装置又はプログラムに関連する。符号化される画像は、
符号化のために、符号化ユニット、予測ユニット、変換ユニットに分割され、符号化ユニ
ットは、ルミナンスサンプル及び対応するクロミナンスサンプルの正方形配列であり、符
号化ユニット内には2以上の予測ユニットが存在し、また、符号化ユニット内には1以上
の変換ユニットが存在し、予測ユニットは、予測の基本的なユニットであり、単予測ユニ
ット内のすべてのサンプルは、共通の予測技術を使用して予測され、変換ユニットは変換
及び量子化の基本的なユニットである。
非正方形変換モード(NSQTモード等)が有効化されて、非正方形予測ユニットが許
可される。選択的に、非対称動き分割が有効化されて、単符号化ユニットに対応する2以
上の予測ユニット間で非対称性が許可される。
コントローラ343は、例えば、PUに対応する画像の一部における画像特徴を検出し
、そのPUに対するTUブロックサイズを選択して、TU境界を、画像の一部における画
像特徴のエッジに合わせることによって、予測ユニットのブロックレイアウトに合わせる
変換ユニットブロックサイズの選択を制御する。
上述のこの規則は、ブロックサイズの組合せが利用可能であることを規定している。エ
ンコーダは、単に異なる組み合わせを試してもよい。上述のように、試行は、全ての利用
可能な選択肢の内の2以上を含んでいてもよい。試行符号化処理は、コスト機能の評価に
応じて選択されたコスト機能測定及び結果に応じて実行されてもよい。
3つのレベルのバリエーションが存在する場合、CUサイズ及び形状、PUサイズ及び
形状、並びに、TUサイズ及び形状について、試行符号化される多くの変形を導くことが
できる。このバリエーションを減らすため、システムは、各CUサイズについて許容可能
な、任意に選択された1つのPU/TU設定を使用することによって、CUに対して試行
符号化を行うことができ、そして、CUサイズが選択され、PUサイズ及び形状が、設定
毎に異なるPUオプションを試行符号化することによって選択され得る。そして、CU及
びPUが選択され、システムは、全ての適用可能なTU設定を試して最終的なTU設定を
選択することができる。
他の可能性として、いくつかのエンコーダが、ブロック設定の一定の選択を使用しても
よく、上述の組み合わせの限定的なサブセットを許容してもよい。
イントラ予測
4:2:0イントラ予測
図22を参照して、イントラ予測では、HEVCは、角度クロマ予測を認めている。導
入のため、図22は、ルマブロックに適用可能な35予測モードを示しており、この35
予測モードのうちの33は、現在の予測サンプル位置100のためのサンプルの参照のた
めに方向を特定する。
HEVCは、クロマがDC、垂直、水平、平面、DM_クロマ及びLM_クロマモード
を持つことを認めいている。
DM_クロマは、使用される予測モードが共同位置ルマPUと同じであることを意味し
ている(図22に示されている35のうちの1つ)。
LM_クロマ(線形モードクロマ)は、共同位置ルマサンプル(必要に応じてチャネル
比をダウンサンプリング)が予測クロマサンプルを抽出するために使用されることを意味
する。このケースでは、仮に、DM_クロマ予測モードに、選択されたDC、垂直、水平
、平面が採用される場合、クロマ予測リストにおけるエントリは、モード34を使用して
置き換えられる。LM_クロマモードでは、クロマピクセルが予測されるルマピクセルが
、ルマ及びクロマ間の線形関係に応じて、スケーリングされる(適切な場合にはオフセッ
トが適用)。この線形関係は、ピクセルの周囲から抽出され、抽出は、次に移る前に、1
つのブロックの符号化を終えたデコーダで、ブロック毎を基準として実行され得る。
特に、予測モード2−34は、45°〜225°の角度範囲、つまり、正方形の半分の
対角線をサンプリングする。上述のように、イントラピクチャ予測について正方形クロマ
PUのみが使用されるため、これは、4:2:0方式の場合に有用である。
各種4:2:2イントラ予測
一方、上述のように、4:2:2方式は、ルマPUが正方形である場合でも、長方形(
非正方形)クロマPUを持ち得る。あるいは、この逆もまた真となっており、長方形ルマ
PUは、正方形クロマPUに対応し得る。この相違の理由は、4:2:2では、クロマは
、垂直方向ではなく、水平方向(ルマに関連)にサブサンプリングされるためである。従
って、ルマブロック及び対応するクロマブロックのアスペクト比は、異なると予想される
。従って、4:2:2フォーマットは、クロミナンスサンプルがルミナンスサンプルより
も低い水平及び/又は垂直サンプリングレートを持つビデオフォーマットの一例(4:2
:0等の他の例もある)を表しており、クロミナンス水平解像度に対するルミナンス水平
解像度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なり、
ルミナンスサンプルのブロックが、クロミナンスサンプルの対応するブロックとは異なる
アスペクト比を持つことになる。
従って、本発明の一実施形態では、対応するルマブロックとは異なるアスペクト比を持
つクロマPUについて、方向のためにマッピングテーブルが要求される。長方形PUにつ
いてアスペクト比が1対2である場合、例えば、モード18(現在135°の角度である
)は、123°に再マッピングされる。代わりに、現在のモード18の選択が、現在のモ
ード22の選択に再マッピングされてもよく、同様の効果がある。
従って、より一般的には、非正方形PUについて、参照サンプルの方向及び選択された
イントラ予測モードの間の異なるマッピングは、正方形PUと比較して提供される。
より一般的には、非方向モードを含む如何なるモードも、経験的証拠に基づいて再マッ
ピングされ得る。
このようなマッピングは、多対1の関係となり得、4:2:2クロマPUの全てのモー
ドについて説明を行うと、説明が冗長となってしまう。従って、このケースでは、例えば
、17モード(角分解能の半分に対応)のみについて説明する。これに代えて、あるいは
、これに加えて、不均一な方法において、これらのモードは、角度的に分散されていても
よい。
同様に、サンプル位置でピクセルを予測するときに参照サンプルで使用される平滑化フ
ィルタは、4:2:0方式において、クロマではなく、ルマピクセルの平滑化のみに使用
される等、別々で使用されてもよい。一方、4:2:2及び4:4:4方式では、このフ
ィルタは、クロマPUについて使用されてもよい。4:2:2方式では、やはり、PUの
異なるアスペクト比に応じてフィルタが修正されてもよく、例えば、近接水平モードにお
けるサブセットに対してのみ使用されてもよい。モードのサブセットの一例は、好ましく
は、2−18及び34であり、より好ましくは7−14である。4:2:2では、参照サ
ンプルの左列のみの平滑化が本発明の一実施形態において実行される。
一般的には、説明される実施形態では、予測される現在サンプルの組に対応する第1の
アスペクト比の第1のグリッドとの関係で第1の予測方向が定義され、予測マッピングが
予測方向に適用されて、異なるアスペクト比の第2のグリッドとの関係で定義される第1
の予測方向が生成される。第1の予測方向は、現在のルミナンスサンプルを含むルミナン
スサンプルの正方形ブロックに応じて定義されてもよく、第2の予測方向は、現在のクロ
ミナンスサンプルを含むクロミナンスサンプルの長方形ブロックに応じて定義されてもよ
い。これらの構成についての詳細は後述する。
各種4:4:4:イントラ予測
4:4:4方式では、クロマ及びルマPUは、同じサイズであり、従って、クロマPU
に対するイントラ予測モードは、共同位置ルマPUと同じであってもよいし(分離モード
を符号化しないことによって、ビッドストリームにおけるオーバーヘッドを削減するため
)、より好ましくは、独自に選択されてもよい。
後者の場合、本発明の一実施形態では、1つが、CUにおけるPUに対して、1、2又
は3の異なる予測モードを有している。
第1の例では、Y、Cb及びCr PUは、全て同じイントラ予測モードを使用する。
第2の例では、Y PUは、1つのイントラ予測モードを使用し、かつ、Cb及びCr
PUは、独自に選択された他の1つのイントラ予測モードを使用する。
第3の例では、Y、Cb及びCr PUは、それぞれ独自に選択されたイントラ予測モ
ードをそれぞれ使用する。
なお、クロマチャネル(又は各クロマチャネル)に対して独自な予測モードを持つこと
で、色予測精度が改善される。しかし、これは、符号化データの一部として独自な予測モ
ードを通信するための追加的なデータオーバーヘッドの費用となる。
これを軽減するため、モードの数の選択が高レベルシンタックスにおいて示されてもよ
い(例えば、シーケンス、ピクチャ、スライスレベルで)。代わりに、独自なモードの数
がビデオフォーマットから抽出されてもよく、例えば、CBRは、3まで持つことができ
、一方、YCbCrは、2までに制限される。
モードの独自の選択に加えて、利用可能なモードが、4:4:4方式において4:2:
0方式とは異なることが許可されてもよい。
例えば、ルマ及びクロマPUは、同じサイズであるため、クロマPUは、全ての35+
LM_クロマ+DM_クロマ方向へのアクセスで有効である。従って、それぞれ独自の予
測モードを持つY、Cb及びCrの場合、Cbチャネルは、DM_クロマ及びLM_クロ
マにアクセス可能であり、一方、Crチャネルは、DM_クロマY、DM_クロマ_Cb
、LM_クロマ_Y及びLM_クロマ_Cbにアクセス可能である。これらは、ルマチャ
ネルへの参照を、Y又はCbクロマチャネルへの参照へと換える。
最確モードのリストを抽出し、そのリストのインデックスを送信することによって、ル
マ予測モードは信号化され、クロマ予測モードが独自である場合、各チャネルに対して最
確モードの独自リストを抽出する必要がある。
最後に、上述の4:2:2のケースに関する同様の方法では、4:4:4方式において
、サンプル位置でピクセルを予測するときに参照サンプルに使用される平滑化フィルタは
、ルマPUと同様の方法でクロマPUに対して使用されてもよい。現在、イントラ予測の
前に、[1、2、1]ローパスフィルタが参照サンプルに適用され得る。
クロマTUに適用可能な1つのイントラ予測は、共同位置ルマサンプルでの予測サンプ
ルに基づく。このような構成が図19において概略的に示されており、Cb、Cr及びY
チャネルにおける小さな正方形によって表されるTU1200の配列(ソース画像の領域
から)が、Cb及びYチャネル、並びに、Cr及びYチャネルにおいて画像特徴間で空間
に揃えられて示されている(暗及び明で網掛けされたボックス1200で概略的に示され
る)。この例では、共同位置ルマサンプルでの予測サンプルに基づくことをクロマTUに
強制させることが有用である。実際には、特定の特徴が1または2のチャネルでのみ現れ
、一般的に、3つのチャネルの画像内容は異なる。
本発明の実施形態では、CrTUでは、LM_クロマは、Cbチャネルからの共同位置
サンプルに選択的に基づき得る(あるいは、他の実施形態では、依存が逆になり得る)。
このような構成が図20において概略的に示されている。ここで、空間的に揃えられたT
Uが、Cr、Cb及びYチャネル間で示されている。"ソース"とラベル付けされたさらな
るTUの組は、全体として見られるカラーピクチャの略図である。ソース画像内に表れて
いる画像特徴(左上三角形及び右下三角形)は、実際には、ルミナンスにおける変化を表
しているのではなく、2つの三角形領域間でのクロミナンスの変化のみを表している。こ
の場合、CrについてLM_クロマがルミナンスサンプルに基づくと、予測が低精度にな
ってしまうが、Cbサンプルに基づけば優れた予測が得られる。
どのLM_クロマモードが使用されるかの決定は、異なる選択肢(LM_クロマを、共
同位置ルマ又は共同位置クロマサンプルに基づかせる選択肢を含む)の試行符号化に基づ
いて、コントローラ343及び/又はモードコントローラ520によって実行され、上述
と同様に、どのモードを選択するかの決定が、異なる試行符号化に応じてコスト機能を評
価することによって実行される。コスト機能の例は、雑音、歪み、誤差レート及びビット
レートである。試行符号化に従うモードの中から、最も低い1以上のコスト機能を与える
モードが選択される。
図21は、本発明の一実施形態に係る、イントラ予測について参照サンプルを得ること
に使用される方法を示す概略図である。図21を参照して、符号化はスキャニングパター
ンに応じて実行され、一般的には、符号化される現在のブロックの上及び左のブロックの
符号化バージョンが、符号処理に適用可能である。左下又は右上のサンプルが、LCU内
の既に符号化された他のTUの一部として既に符号化されている場合、しばしば、これら
のサンブルが使用される。例えば、上述のように図13が参照される。
網掛け領域1210は、現在のTU、つまり、現在符号化されているTUを表している
4:2:0及び4:2:2方式では、現在のTUのすぐ左に位置するピクセルの列は、
水平サブサンプリングであるので、共同位置ルミナンス及びクロミナンスサンプルを含ま
ない。換言すると、これは、4:2:0及び4:2:2フォーマットは、ルミナンスピク
セルの半分のクロミナンスピクセルを有しており、全てのルミナンスサンプル位置が挙動
位置クロミナンスサンプルを有しているのではないためである。従って、ルミナンスサン
サンプルが、TUのすぐ左のピクセルの列に存在していることがあるが、クロミナンスサ
ンプルは存在しない。従って、本発明の一実施形態では、現在のTUの左の2つのサンプ
ルが位置する列が、LM_クロマに対して参照サンプルを提供することに使用される。な
お、現在のTUのすぐ左の列が確実に共同位置ルマ及びクロマサンプルを含むという点で
、4:4:4では状況が異なる。この列は、それ故、参照サンプルの提供に使用され得る
参照サンプルは、以下のように使用される。
LM_クロマモードでは、予測クロマサンプルが、線形関係に応じて、再構築ルマサン
プルから抽出される。従って、一般的には、TU内の予測クロミナンス値は、以下の式に
よって与えられる。
=a+bP
ここで、Pは、クロミナンスサンプル値であり、Pは、そのサンプル位置での再構
築ルミナンスサンプル値であり、a及びbは、定数である。この定数は、既に符号化され
たサンプル位置にある(上側参照)、そのブロックのすぐ上の行及びそのブロックのすぐ
左の列における再構築ルマサンプル及びクロマサンプルの間の関係を検出することによっ
て、特定のブロックについて抽出される。
本発明の実施形態では、定数a及びbが以下のように抽出される。
a=R(P',P')/R(P',P')
ここで、Rは、線形(少なくとも正方形)回帰関数を表しており、P'及びP'は、
それぞれ、上述の隣接行及び列からのルミナンス及びクロミナンスサンプルである。
b=mean(P')−a mean(PL')
4:4:4では、P'及びP'値は、現在のTUのすぐ左の列及現在のTUのすぐ上
の行から得られる。4:2:2では、P'及びP'値は、現在のTUのすぐ上の行、及
び現在のTUの左のエッジから離れた2つのサンプル位置の隣接ブロックの列から得られ
る。4:2:0(垂直方向及び水平方向にサブサンプリングされる)では、P'及びP
'値は、理想的には、現在のTUの上の2つの行における行から得られるが、実際には
、現在のTUの上の1つのサンプル位置の隣接ブロックにおける行、及び現在のTUの左
のエッジから離れた2つのサンプル位置の隣接ブロックにおける列から得られる。これは
、メモリ内において、データにおける追加的な行全体が維持されてしまうことを防止する
ためである。このため、4:2:0及び4:2:2は、同様の方法で扱われる。
従って、これらの技術は、画像の領域を表すクロミナンスサンプルの現在のブロックが

画像の同じ領域を表すルミナンスサンプル(再構築ルミナンスサンプル等)の共同位置ブ
ロックに対するクロミナンスサンプルの関係を抽出することによって符号化されるクロミ
ナンス予測モードを有するビデオ符号化方法に適用する。この関係(線形関係等)は、既
に符号化された隣接ブロックからの共同位置ルミナンス及びクロミナンスサンプルを比較
することによって抽出される。クロミナンスサンプルは、その関係に応じてルミナンスサ
ンプルから抽出され、また、予測クロミナンスサンプル及び実クロミナンスサンプルの差
が残差データとして符号化される。
クロミナンスサンプルが、ルミナンスサンプルと同じサンプリングレートを持つ第1の
サンプリング解像度(4:4:4等)では、共同位置サンプルは、現在のブロックに隣接
するサンプル位置にあるサンプルである。
クロミナンスサンプルが、ルミナンスサンプルよりも低いサンプリングレートを持つ第
2のサンプリング解像度(4:2:2又は4:2:0等)では、既に符号化された隣接ブ
ロックから最も近い、共同位置ルミナンス及びクロミナンスサンプルの列又は行が、共同
位置サンプルの提供に使用される。あるいは、第2のサンプリング解像度が、4:2:0
サンプリング解像度である場合、対応して位置されるサンプルは、現在のブロックに隣接
するサンプルの行であり、また、既に符号化された隣接ブロックから最も近い、対応して
位置されるルミナンス及びクロミナンスサンプルの列又は行である。
図22は、ルマサンプルに対して適用可能な予測角を示す概略図である。予測される現
在のピクセルが、ピクセル1220として図の中央に示されている。小さなドット123
0は、隣接ピクセルを表している。現在のピクセルの上又は左側に位置するこれらは、既
に符号化されているので、予測を生成するための参照サンプルとして利用可能である。他
のピクセルは、現在分かっておらず(ピクセル1220を予測する時点で)、やがてそれ
ら自身で予測される。
各番号付けされた予測方向は、現在の予測ピクセルを生成するために使用される現在の
ブロックにおける上又は左のエッジ上の候補参照サンプルのグループ内からの参照サンプ
ル1230を示している。小さなブロックの場合、予測方向は、参照サンプル間の位置を
示し、隣接参照サンプル間の線形補間(現在の予測モードによって示された方向によって
指摘されたサンプル位置の両側)が使用される。
クロマサンプルに対するイントラ角予測の説明に移り、4:2:0では、クロマサンプ
ルが相対的に少ないので、予測方向が少なくて済む。一方、DM_クロマモードが選択さ
れた場合、現在のクロマブロックが、共同位置ルマブロックと同じ予測方向を使用する。
これは、イントラ予測でのルマ方向がクロマにも同様に適用可能であることを意味してい
る。
しかしながら、4:2:2におけるクロマサンプルでは、クロマブロックがルマブロッ
クとは異なるアスペクト比を有している場合、DM_クロマが選択されたとき、ルマと同
じ予測アルゴリズム及び方向が使用されることが直感に反して考慮され得る。例えば、サ
ンプルの正方形ルマ配列に対する45°の線は、長方形サイズのサンプルの配列であって
も、クロサンプルに対して依然として45°の線をマッピングする。正方形グリッドを長
方形グリッド上に重ね合わせることは、45°の線が実際には26.6°の線をマッピン
グすることを意味する。
図23は、予測される現在のピクセル1220について、4:2:2におけるクロマピ
クセルに適用されるイントラ予測方向を示す概略図である。なお、4:2:2は、ルマチ
ャネルと比べて、クロマチャネルにおいて半分の水平サンプルレートを有しているため、
水平方向に、垂直方向の半分のピクセルが存在する。
図24は、4:2:2クロマピクセルの、正方形グリッドへの変換又はマッピング、並
びに、その後にどのようにして変換が予測方向を変化させるかを示す模式図である。
ルマ予測方向が破線1240として示されている。クロマピクセル1250は、対応す
るルマ配列(図22等参照)の半分の幅の長方形配列1260を与える正方形グリッドに
再マッピングされる。図23に示される予測方向は、長方形配列に再マッピングされてい
る。方向における一部では(ルマ方向及びクロマ方向となる組)、重複か、又は近い関係
がある。例えば、ルマ配列における方向2は、実質的に、クロマ配列における方向6に重
なる。しかしながら、それの略半分のルマ方向対応するクロマ方向を有してない。一例は
、ルマ方向3番である。また、いくつかのクロマ方向(2−5)は、ルマ配列に等しくな
く、また、いくつかのルマ方向(31−34)は、クロマ配列と等しくない。しかし、一
般的に、図24に示す重ね合わせは、ルマ及びクロマチャネルに対して同じ角度を使用す
ることが不適切であることを明示している。
図33は、予測方向を定義する"角ステップ"を修正するための構成(コントローラ34
3の機能の一部として実現されてもよい)を示す模式図である。図33では、ルックアッ
プデーブルなどのサポートデータを利用することによって、角ステップが、入力角ステッ
プによってインデックスされた修正部1500へ供給される。入力角ステップの出力角ス
テップへのマッピング、又は、所定の修正アルゴリズム若しくは関数を定義するデータは
、入力角ステップによって定義された方向を、出力角ステップによって定義された方向に
マッピングする。
一方、図33の詳細な動作の説明の前に、予測角の抽出におけるさらなる背景、特に、
"角ステップ"について説明する。
上述のように、イントラ予測動作では、現在のブロック内のサンプルは、1以上の参照
サンプルから予測される。これらは、現在のブロック1560の上の行及び現在のブロッ
クの左の列を形成する候補参照サンプルのグループから選択される。図33は、候補参照
サンプルのこのような行1520及び列1530を示す概略図である。
候補参照サンプル内では、特定の予測動作に使用される実サンプルが予測方向によって
示される。これが"角ステップ"で表現される。略垂直な予測方向(このコンテキストにお
ける方向は、行1520における参照サンプルに対処するもの)では、角ステップは、予
測される現在のサンプルの位置1550が垂直に上に移されたサンプル位置1540の左
又は右へのオフセットである。略水平な予測方向(このコンテキストにおける方向は、列
1530における参照サンプルに対処するもの)では、角ステップは、現在のサンプルの
位置1550が水平に左に移されたサンプル位置1570の上又は下へのオフセットであ
る。
それ故、角ステップは、ゼロである場合があり(純粋に水平又は純粋に垂直な予測方向
である場合)、いずれかの方向(上、下、左、右)への移動を表す場合がある。
実際には、本発明の実施形態内における計算のため、列1530及び行1520は、候
補参照サンプルの組を提供し、列1530の下側から開始して行1520の右端へと進め
る単規則線形配列であると考えられてもよい。本発明の一実施形態では、線形配列は、(
予測部530の一部を形成するフィルタによって、)フィルタリングされて、線形配列に
沿って平滑化又はローパスフィルタリング動作が適用される。適切な平滑化フィルタの一
例は、正規化1−2−1フィルタであり、つまり、フィルタは、特定のサンプル(参照サ
ンプルとしての機能を果たす目的のみ)を、サンプルの1/4の合計によって左(線形配
列内)に移動させ、そのサンプルの1/2及びサンプルの1/4により右(線形配列内)
に移動させる。平滑化フィルタは、全ての配列又は配列のサブセットに適用可能である(
行または列に起因するサンプル等)。
(a)DM_クロマが選択され、(b)現在使用中のDM_クロマモードが、クロマ予
測方向が共同位置ルマブロックの方向であることを示している場合、角ステップ値を修正
する修正部1500によって次の処理が適用される。なお、処理は、角ステップの逆であ
る。この値は、予測を生成するために実行される計算の便利な特徴として使用され得るが
、これは、本発明の説明にとって重要な角ステップのバリエーションである。
(i)ルマ方向に応じて、イントラ予測角ステップ(及び選択的に、その逆)を抽出す
る。
(ii)ルマ方向が略垂直である場合(つまり、例えば、18〜34番のモード全体)
、イントラ予測角ステップは、半分にされる(その逆は2倍)。
(iii)あるいは、ルマ方向が略水平である場合(つまり、例えば、2〜17番のモ
ード全体)、イントラ予測角ステップは、2倍にされる(その逆は半分)。
これらの計算は、サンプル位置のルマグリッドに関して抽出された予測を、4:2:2
又はサンプル位置のサブサンプリングされたクロマグリッドに適用可能な方向にマッピン
グするために、角ステップを修正する所定のアルゴリズムを有する修正部1500による
応用の一例である。入力角ステップを出力角ステップにマッピングするルックアップテー
ブルを代わりに参照する修正部1500によって、同様の結果が得られる。
従って、これらの実施形態では、予測方向が、予測される現在のサンプルの組の上又は
左に配置された水平行及び垂直列をそれぞれ含む候補参照サンプルのグループに関連する
サンプル位置を定義する。予測部530は、上述のように、参照サンプルの線形配列とし
て候補参照サンプルのグループを整理し、線形配列に沿う方向で線形配列参照サンプルに
平滑化フィルタを適用するフィルタリング処理を実行する。
マッピングを実行する処理は、角ステップに応じて実行することができ、例えば、現在
のサンプルに対する予測方向は、角ステップに関連して定義され、略垂直な予測方向に対
する角ステップは、現在のサンプルから垂直に移動されたその行内のサンプル位置に関連
する、候補参照サンプルのグループのサンプル位置の水平行に沿うオフセットであり、略
水平な予測方向に対する角ステップは、現在のサンプルから水平に移動されたその列内の
サンプル位置に関連する、候補参照サンプルのグループのサンプル位置の垂直列に沿うオ
フセットであり、また、オフセットにより示される水平行又は垂直列に沿うサンプル位置
は、現在のサンプルの予測に使用されるサンプル位置の指示を提供する。
いくつかの実施形態では、方向マッピングを適用するステップにおいて、第1の予測方
向に対応する角ステップに所定の関数を適用してもよい。このような関数の一例は、上記
した通りである。
すなわち、第1の予測方向に応じて、角ステップを抽出し、
(i)第1の予測方向が略垂直である場合、各角ステップを半分にして、第2の予測方向
の角ステップを生成し、
(ii)第1の予測方向が略水平である場合、各角ステップを2倍にして、第2の予測方
向の角ステップを生成する。
本発明の一実施形態では、角ステップ(修正ステップで抽出等)が整数ではない場合、
現在のサンプルの予測を提供するために、角ステップは、補間のための候補参照サンプル
(例えば、その方向によって指示される位置の両側に位置する2つのサンプル)のグルー
プにおける2以上のサンプル位置のグループを定義することに使用される。
本発明の他の実施形態では、方向マッピングを適用するステップにおいて、第1の予測
方向を使用して、第2の予測方向の対応値を提供するルックアップテーブルを示す。
本発明の実施形態によれば、第1の予測方向を検出するステップにおいて、符号化動作
の場合、2以上の候補予測方向の試行に応じて、予測方向を選択し、又は、復号化動作の
場合、復号化されるビデオデータに関連する予測方向を定義する情報を検出する。これは
、符号化及び復号化システムの実施形態を区別する一般的なポイントであり、デコーダで
は、特定のパラメータが、符号化データ又はこれに関連するものに提供され、エンコーダ
では、このようなパラメータが、符号化されたデータをデコーダに伝えるために生成され
る。
本発明の実施形態では、第1の予測方向が、サンプルの組のルミナンスサンプルの予測
のために使用され、適用ステップにより第1の予測方向から抽出された第2の予測方向が
、サンプルの組のクロミナンスサンプルの予測のために使用される。
本発明の一実施形態は、予測されるサンプルに関連する予測モードに応じて、ルミナン
ス並びに第1及び第2のクロミナンス要素サンプルが予測されるビデオ符号化又は復号化
方法であって、第1のクロミナンス要素のサンプルから第2のクロミナンス要素のサンプ
ルを予測するビデオ符号化又は復号化方法を提供する。
本発明の一実施形態は、サンプルの組が、予測されるサンプルに関連する予測方向に応
じて、他の各参照サンプルから予測され、予測方向が、サンプル位置を定義し、予測され
る現在のサンプルの組に関連して配置された候補参照サンプルのグループに関連するビデ
オ符号化又は復号化方法であって、
参照サンプルの線形配列として候補参照サンプルのグループを整列させ、
線形配列に沿う方向で線形配列の参照サンプルに対して平滑化フィルタを適用する
ビデオ符号化又は復号化方法を提供する。
画像のルミナンス及びクロミナンスサンプルが、予測されるサンプルに関連する予測方
向に応じて、同じ画像から抽出された他の各参照サンプルから予測され、クロミナンスサ
ンプルが、ルミナンスサンプルよりも低い水平及び/又は垂直サンプリングレートを持ち
、クロミナンス水平解像度に対するルミナンス水平解像度の比が、クロミナンス垂直解像
度に対するルミナンス垂直解像度の比とは異なり、ルミナンスサンプルのブロックが、対
応するクロミナンスサンプルのブロックとは異なるアスペクト比を持ち、クロミナンスサ
ンプルが、第1及び第2のクロミナンス要素を含むビデオ符号化又は復号化方法であって

第1のクロミナンス要素の現在のクロミナンスサンプルを予測するための、1以上の参
照サンプル又は参照値の選択を定義する予測モードを選択し、
第1のクロミナンス要素の現在のクロミナンスサンプルと共同の位置とされた、第2の
クロミナンス要素の現在のクロミナンスサンプルを予測するための、1以上の参照サンプ
ル又は参照値の異なる選択を定義する異なる予測モードを選択する
ビデオ符号化又は復号化方法。
ルミナンス及びクロミナンスサンプルが、予測されるサンプルに関連する予測方向に応
じて、他の各参照サンプルから予測され、クロミナンスサンプルが、ルミナンスサンプル
よりも低い水平及び/又は垂直サンプリングレートを持ち、クロミナンス水平解像度に対
するルミナンス水平解像度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像
度の比とは異なり、ルミナンスサンプルのブロックが、対応するクロミナンスサンプルの
ブロックとは異なるアスペクト比を持つビデオ符号化又は復号化方法であって、
アスペクト比における差に基づいて、ルミナンス及びクロミナンスサンプルに対して異
なる各予測アルゴリズムを適用する
ビデオ符号化又は復号化方法。
図33は、使用されている技術の一例を示している。角ステップ1580は、ルマグリ
ッドに応じて抽出される(ルマサンプル予測に関しても使用可能であるが、現在の説明に
おいては、ルマグリッド及び処理に応じて抽出されるということで十分である。つまり、
実際上、ルマ予測のために使用されない)。4:2:2クロマサンプル1580の配列が
同じグリッドにおいて2倍の幅で示されているが、このようなケースでは、同じ予測方向
1590の使用が、異なる参照サンプル(垂直に位置されたサンプル1540からの異な
るオフセット)を指し示している。従って、角ステップが上記した処理に応じて修正され
て、
クロマグリッドにおいて同じ予測方向を表す現在のクロマ参照サンプルを指し示す修正さ
れた角ステップ1600が提供される。
従って、本発明のこれらの実施形態に係るビデオ符号化若しくは復号化方法、装置又は
プログラムは、ルミナンス及びクロミナンスサンプルが、予測される現在のサンプルに関
連する予測方向に応じて、他の各参照サンプルから予測される。4:2:2などのモード
では、クロミナンスサンプルが、ルミナンスサンプルよりも低い水平及び/又は垂直サン
プリングレートを持ち、クロミナンス水平解像度に対するルミナンス水平解像度の比が、
クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なる。つまり、これは
、ルミナンスサンプルのブロックが、対応するクロミナンスサンプルのブロックとは異な
るアスペクト比を持つことを意味している。
イントラフレーム予測部530は、例えば、予測される現在のサンプルの組に関する第
1のアスペクト比の第1のグリッドに関連して定義される第1の予測方向を検出する検出
部として動作可能であり、また、予測方向に予測マッピングを適用して、異なるアスペク
ト比の第2のグリッドに関連して定義された第2の予測方向を生成する方向マッピング部
として動作可能である。従って、予測部530は、方向マッピング部の一例を表している
。予測部540は、他の対応する例を提供してもよい。
本発明の実施形態では、第1の予測方向の検出に使用される第1のグリッドは、ルミナ
ンスサンプル及びクロミナンスサンプルのうちの一方のサンプル位置に関して定義され、
第2の予測方向の生成に使用される第2のグリッドは、ルミナンスサンプル及びクロミナ
ンスサンプルのうち他方のサンプル位置に関して定義される。本明細書において説明され
る特定の例では、ルミナンス予測方向が修正されて、クロミナンス予測方向が提供されて
もよい。しかし、他の方法が用いられてもよい。
特に、この技術は、参照サンプルが、予測されるサンプルとして同じ各画像から抽出さ
れる(例えば、各画像から抽出される圧縮データからの再構築された)サンプルであるイ
ントラ予測に適用可能である。
少なくともいくつかの構成では、第1の予測方向は、現在のルミナンスサンプルを含む
ルミナンスサンプルの正方形ブロックに応じて定義され、第2の予測方向は、現在のクロ
ナンスサンプルを含むルミナンスサンプルの長方形ブロックに応じて定義される。
2つのクロミナンス要素についての独立予測モードを提供することもできる。このよう
な構成では、クロミナンスサンプルは、第1及び第2のクロミナンス要素のサンプルを含
み、この技術は、第1のクロミナンス要素(Cb等)に対して上述の方向マッピングを適
用し、第2のクロミナンス要素(Cr等)に対して異なる予測モードを提供する。この技
術は、(例えば)第1のクロミナンス要素のサンプルからの第2のクロミナンス要素を予
測してもよい。
ビデオデータは4:2:2フォーマットとすることができ、例えば、デコーダ又は符号
化方向の場合、予測方向は、符号化ビデオデータにおける予測方向を定義するデータを検
出することによって検出されてもよい。
一般的に、本発明の実施形態は、クロミナンス要素に対して(例えば、各ルミナンス及
びクロミナンス要素で別々に)独立予測モードを提供することができる。ビデオ符号化方
法に関連するこれらの実施形態では、画像のルミナンス及びクロミナンスサンプルが、予
測されるサンプルに関連する予測方向に応じて同じ画像から抽出された他の各参照サンプ
ルから予測され、クロミナンスサンプルが、ルミナンスサンプルよりも低い水平及び/又
は垂直サンプリングレートを持ち、クロミナンス水平解像度に対するルミナンス水平解像
度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なり、ルミ
ナンスサンプルのブロックが、対応するクロミナンスサンプルのブロックとは異なるアス
ペクト比を持ち、クロミナンスサンプルが、第1及び第2のクロミナンス要素を含む。
イントラフレームモード選択部520は、第1のクロミナンス要素(Cb等)の現在の
クロミナンスサンプルを予測するための1以上の参照サンプルの選択を定義する予測モー
ドを選択する。また、第1のクロミナンス要素の現在のクロミナンスサンプルと共同位置
に位置された、第2のクロミナンス要素(Cr等)の現在のクロミナンスサンプルを予測
するための1以上の参照サンプルの異なる選択を定義する異なる予測モードを選択する。
参照サンプルフィルタは、水平サンプル又は垂直サンプル(若しくは両方)に選択的に
適用され得る。上述のように、フィルタは、3−タップ正規化"1−2−1"フィルタとす
ることができ、左下及び右上を除いたすべてのルマ参照サンプルに現在、適用される(N
×Nブロックのサンプルはひとまとめにされて、サイズ2N+1の単1D配列が生成され
、その後、選択的にフィルタリングされる)。本発明の実施形態では、4:2:2につい
て、最初(左側エッジ)又は最後(上側エッジ)のN+1クロマサンプルにのみ適用され
るか(左下、右上及び左上は調整されない点に留意)、4:2:2及び4:4:4につい
て、全てのクロマサンプルに適用される。
本発明の実施形態は、予測されるサンプルに関連する予測モードに応じて、ルミナンス
並びに第1及び第2のクロミナンス要素サンプルが予測されるビデオ符号化若しくは復号
化方法、装置又はプログラムであって、第1のクロミナンス要素のサンプルから第2のク
ロミナンス要素のサンプルを予測するビデオ符号化若しくは復号化方法、装置又はプログ
ラムを提供する。いくつかの実施形態では、予測されるサンプルに関連する予測モードは
、サンプルが予測される1以上の他の各参照サンプルを定義する予測方向を示し得る。
本発明の実施形態は、予測されるサンプルに関連する予測モードに応じて、他の各参照
サンプルから、ルミナンス並びに第1及び第2のクロミナンス要素サンプルが予測される
ビデオ符号化若しくは復号化方法、装置又はプログラムであって、参照サンプルをフィル
タリングするビデオ符号化若しくは復号化方法、装置又はプログラムを提供する。
図19及び図20を参照して説明したように、異なる予測モードは、第2のクロミナン
ス要素のサンプルが第1のクロミナンス要素のサンプルから予測されるモードを含むこと
が可能である。
なお、モード0及び1は、角予測モードではなく、従って、この処理には含まれない。
上記した処理の効果は、図24に示したようにクロマ予測方向をルマ予測方向にマッピン
グすることである。
4:2:0では、純粋な水平予測モード(ルマモード10)又は純粋な垂直予測モード
(ルマモード26)が選択された場合、予測TUの上又は左のエッジが、ルマチャネルの
みについてフィルタリングの対象となる。水平予測モードでは、上の行が垂直方向にフィ
ルタリングされる。垂直モードでは、左の列が水平方向にフィルタリングされる。
サンプルの列の水平方向でのフィルタリングは、サンプルの列の順で、各サンプルに水
平指向フィルタを適用するものとして理解し得る。従って、個々のサンプルについて、そ
の値は、サンプルの現在の値及びそのサンプルから水平方向に移されたサンプル位置にあ
る1以上の他のサンプル(つまり、問題となっているそのサンプルの左及び/又は右に位
置する1以上の他のサンプル)の現在の値から生成されたフィルタ値に基づいて、フィル
タの動作によって修正される。
サンプルの行の垂直方向でのフィルタリングは、サンプルの行の順で、各サンプルに垂
直指向フィルタを適用するものとして理解し得る。従って、個々のサンプルについて、そ
の値は、サンプルの現在の値及びそのサンプルから垂直方向に移されたサンプル位置にあ
る1以上の他のサンプル(つまり、問題となっているそのサンプルの上及び/又は下に位
置する1以上の他のサンプル)の現在の値から生成されたフィルタ値に基づいて、フィル
タの動作によって修正される。
上述のエッジピクセルフィルタリング処理の1つの目的は、予測においてブロック基準
エッジ効果を低減して、これにより、残差画像データにおけるエネルギーを減らすという
点にある。
本発明の実施形態では、対応するフィルタリング処理が、4:4:4及び4:2:2に
おけるクロマTUについて提供される。水平サブサンプリングを考慮すると、1つの提案
は、4:2:2においてクロマTUの上の行についてのみフィルタリングを行い、一方、
4:4:4において、上の行及び左の列の両方についてフィルタリングを行う(必要に応
じて、選択されたモードに基づいて)というものである。多くの有用な詳細が取り除かれ
てしまうことを防止するために、これらの領域にのみフィルタリングを行うことは適切で
あり、(取り除かれた場合)残差画像データの増加エネルギーが導かれる。
4:2:0では、DCモードが選択された場合、ルマチャネルのみについて、予測TU
の上又は左のエッジがフィルタリングの対象となる。
このフィルタリングは、DCモードにおいて、フィルタが、両エッジにおける全てのサ
ンプルに対して、a(1×近接外側サンプル+3エッジサンプル)/4平均動作を行う
というものであってもよい。
H/Vフィルタは、近接外側サンプル及びエッジサンプルの平均である。
本発明の実施形態において、このフィルタリング処理は、4:4:4及び4:2:2に
おけるクロマTUにも提供される。この場合もやはり、水平サブサンプリングが考慮され
、いくつかの本発明の実施形態では、4:2:2においてクロマTUの上の行についての
みフィルタリングが行われ、一方、4:4:4において、上の行及び左の列についてフィ
ルタリングが行われる。
従って、この技術は、4:4:4フォーマット又は4:2:2フォーマットにおけるル
ミナンス及びクロミナンスサンプルが、予測されるサンプルのブロックに関連する予測方
向に応じて、他の各サンプルから予測されるビデオ符号化若しくは復号化方法、装置又は
プログラムに適用され得る。
本技術の実施形態において、予測方向は、予測される現在のブロックに関して検出され
る。クロミナンスサンプルの予測ブロックは、予測方向によって定義される他のクロミナ
ンスサンプルに応じて生成される。仮に、検出された予測方向が実質的に垂直(例えば、
正確に垂直なモードの+/−n角度モード以内、ここで、nは(例えば、)2)である場
合、クロミナンスサンプルの予測ブロックにおいてサンプルの左列がフィルタリングされ
る(例えば、水平方向)。あるいは、仮に、検出された予測方向が実質的に水平(例えば
、正確に水平なモードの+/−n角度モード以内、ここで、nは(例えば、)2)である
場合、クロミナンスサンプルの予測ブロックにおいてサンプルの上の行がフィルタリング
される(例えば、水平方向)。その後、フィルタリングされた予測クロミナンスブロック
及び実際のクロミナンスブロックの差が、例えば、残差データとして符号化される。代わ
りに、試験は、実質的に垂直又は水平なモードではなく、正確に垂直又は水平なモードで
あってもよい。+/−nの許容範囲は、他のものではなく、1つの試験鹿(水平又は垂直
)に適用され得る。
インター予測
なお、HEVCにおけるインター予想は、既に長方形PUを許容しており、従って、4
:2:2及び4:4:4モードは、PUインター予測処理に既に適合可能である。
ビデオ画像の各フレームは、実際のシーンの離散サンプリングであり、結果的に、各ピ
クセルは、色及び明るさの現実世界での勾配におけるステップ幅の近似である。
この点を考慮し、以前のビデオフレームにおける値から、新たなビデオフレームにおけ
るピクセルのY、Cb又はCr値を予測するとき、元の現実世界での勾配をより良く推定
し、新たなピクセルに対する明るさ又は色をより正確に選択するために、以前のビデオフ
レームにおけるピクセルが補間される。従って、ビデオフレーム間で位置を示すのに使用
される動きベクトルは、整数のピクセル解像度に限られない。正確には、この動きベクト
ルは、補間画像内におけるサブピクセル位置を示すことができる。
4:2:0インター予測
図25及び図26を参照して、4:2:0方式では、上述のように、典型的には、8×
8ルマPU1300は、Cb及びCr 4×4クロマPU1310に関連付けられる。従
って、同じ効果的な解像度までルマ及びクロマピクセルデータを補間するために、異なる
補間フィルタが使用される。
例えば、8×8 4:2:0 ルマPUでは、補間が1/4ピクセルであり、また、8
タップ×4フィルタは、最初に水平に適用され、その後、同じ8タップ×4フィルタが垂
直方向に適用されて、ルマPUが各方向に効果的に4回伸ばされ、図25に示すように、
補間配列が形成される。一方、対応する4×4 4:2:0クロマPUは、同じ最終解像
度を生成するために補間された1/8ピクセルであり、従って、4タップ×8フィルタが
、最初に水平方向に適用され、その後、同じ4タップ×8フィルタが垂直方向に適用され
て、4:2:0クロマPUが各方向に効果的に8回伸ばされ、図26に示すように、配列
1330が形成される。
4:2:2インター予測
ルマPU1350及び1組の対応するクロマPU1360が示されている図27及び図
28を参照して、4:2:2方式での同様の構成について説明する。図28を参照して、
上述のように、4:2:2方式では、クロマPU1360は、非正方形とすることができ
、また、8×8 4:2:2ルマPUの場合、クロマPUは、典型的には、Cb及びCr
チャネルのそれぞれに対する4(幅)×8(高さ)4:2:2クロマPUとされる。なお
、図28では便宜的に、クロマPUは、非正方形ピクセルの正方形の網掛け配列として描
かれており、一般的には、PU1360は、4(水平)×8(垂直)ピクセル配列である
一方、それ故、クロマPUで垂直方向に既存の8タップ×4ルマフィルタを使用できる
可能性があり、実際上、補間クロマPUの偶数分数位置の1つに関心があるのみであるた
め、本発明の一実施形態では、垂直方向の補間については既存の4タップ×8クロマフィ
ルタで十分とされる。
従って、図27には、垂直方向で補間画像を形成するために使用される偶数分数の結果
だけでなく、従来のように8タップ×4フィルタで補間された8×8 4:2:2ルマP
U1350、並びに、水平及び垂直方向において既存の4タップ×8クロマフィルタで補
間された4×8 4:2:2クロマPU1360が示されている。
これらの技術は、インター画像予測を使用して、入力ビデオデータを符号化するビデオ
符号化若しくは復号化方法、装置又はプログラムに適用可能であり、各クロミナンス要素
は、ルミナンス要素における1/Mの水平解像度を持ち、ルミナンス要素における1/N
の垂直解像度を持ち、ここで、M及びNは、1以上の整数であり、例えば、4:2:2で
は、M=2、N=1であり、4:2:0では、M=2、N=2である。
フレーム記憶部570は、現在の画像を予測する1以上の画像を記憶する。
補間フィルタ850は、補間された予測ユニットのルミナンス要素が、記憶画像の対応
する部分のP倍の水平解像度を持ち、記憶画像の対応する部分のQ倍の垂直解像度を持つ
ように、記憶された画像の予測ユニットの高解像度バージョンを補間し、ここで、P及び
Qは、1を超える整数である。現在の例では、P=Q=4であり、補間フィルタ580が
1/4サンプル解像度で補間画像を生成する。
動き推定部550は、現在の画像及び1以上の補間記憶画像の間のインター画像の動き
を検出して、現在の画像の予測ユニット及び1以上の予測画像の領域の間の動きベクトル
を生成する。
動き補償予測部540は、各動きベクトルによって示された補間記憶画像の領域に関し
て、現在の画像の予測ユニットの動き補償予測を生成する。
補間フィルタ580の動作の説明に戻り、実施形態に係るこのフィルタは、a×R水平
及び×S垂直補間フィルタを、記憶画像のクロミナンス要素に適用して、補間クロミナン
ス予測ユニットを生成し、ここで、Rは、(U×M×P)に等しく、Sは、(V×N×Q
)に等しく、U及びVは、1以上の整数であり、また、フィルタは、補間クロミナンス予
測ユニットをサブサンプリングし、その水平解像度がU倍で分割され、かつ、その垂直解
像度がV倍で分割され、これにより、MP×NQサンプルのブロックが生成される。
従って、4:2:2の場合、補間フィルタ580は、水平及び垂直にa×8補間を適用
し、一方で、例えば、補間出力においてサンプルを2つおきに使用して、垂直に2倍でサ
ブサンプリングを行う。
この技術は、それ故、同じ(例えば、×8)フィルタが、4:2:0及び4:2:2で
使用されることを許容しているが、4:2:2では、サブサンプリングのさらなるステッ
プが必要とされる。
本発明の実施形態では、上述のように、補間クロミナンス予測ユニットは、同じ×R及
び×S補間フィルタを使用して補間された4:2:0フォーマット予測ユニットのサンプ
ルの高さの2倍の高さを持つ。
異なるフィルタを提供する必要性は、4:2:0入力ビデオデータ及び4:2:2入力
ビデオデータについて、特に、同じ×R水平及び×S垂直補間フィルタを使用することに
よって、これらの技術を使用して回避又は軽減することができる。
上述のように、補間クロミナンス予測ユニットをサブサンプリングするステップにおい
て、垂直方向に補間クロミナンス予測ユニットのサンプルをVおきに使用し、及び/また
は垂直方向に補間クロミナンス予測ユニットのサンプルをUおきに使用する。
本発明の実施形態において、予測ユニットについてルミナンス動きベクトルを抽出し、
独自に、その予測ニットについて1以上のクロミナンス動きベクトルを抽出してもよい。
本発明の実施形態では、少なくとも1つのR及びSが、2以上の値に等しく、また本発
明の実施形態では、×R水平及び×S垂直補間フィルタも、記憶画像のルミナンス要素に
適用される。
各種4:4:4インター予測
拡張により、既存の4タップ×8クロマフィルタについて、偶数分数の結果のみを使用
するという同じ考え方は、8×8 4:4:4クロマPUについて垂直方向及び水平方向
の両方に適用することができる。
さらにこれらの例では、×8クロマフィルタがルマを含む全ての補間に使用されてもよ
い。
他の各種インター予測
動きベクトル(MV:Motion Vector)抽出に係る一実施形態では、Pスライスにおけ
るPUに対して1つの動きベクトルが生成される(及びBスライスにおけるPUに対する
2つのベクトルが生成される(MPEG P及びBフレームと同様の方法で、Pスライス
は、予測フレームから予測され、Bスライスは、予測及び後フレームから予測される))
特に、4:2:0方式に係る実施形態では、ベクトルが全てのチャネルで共通とされ、
さらに、クロマデータは、動きベクトルの計算に使用される必要がない。つまり、全ての
チャネルは、ルマデータに基づく動きベクトルを使用する。
本発明に係る一実施形態では、4:2:2方式において、クロマベクトルは、ルマから
独立して抽出することができ(つまり、Cb及びCrチャネルに対する動きベクトルは、
別々に抽出できる)、また、4:4:4方式において、クロマベクトルは、Cb及びCr
のそれぞれに対してさらに独立とすることができる。
本発明の実施形態は、画像のルミナンス及びクロミナンスサンプルが、予測されるサン
プルに関連する予測モードに応じて、同じ画像から抽出された他の各参照サンプルから予
測され、クロミナンスサンプルが、第1及び第2のクロミナンス要素を含み、少なくとも
幾つかのサンプルについて、画像領域に対応するルミナンス及びクロミナンス要素それぞ
れに対して同じ予測モードを選択するビデオ符号化若しくは復号化方法を提供する。
本発明の実施形態は、画像のルミナンス及びクロミナンスサンプルが、予測されるサン
プルに関連する予測モードに応じて、同じ画像から抽出された他の各参照サンプルから予
測され、クロミナンスサンプルが、第1及び第2のクロミナンス要素を含み、少なくとも
幾つかのサンプルについて、画像領域に対応するルミナンス及びクロミナンス要素それぞ
れに対して異なる各予測モードを選択するビデオ符号化若しくは復号化方法を提供する。
いずれの場合にも、同じ予測モード又は異なる各予測モードが、画像領域に対応するル
ミナンス及びクロミナンス要素それぞれに対して使用可能であり、この選択は、画像シー
ケンス、画像、又は画像領域に応じて行われる。
符号化動作における予測モード方式を選択するために、実施形態は、例えば、ルミナン
ス及びクロミナンス要素について同じ予測モードを使用して、画像領域の第1の試行符号
化を実行し、ルミナンス及びクロミナンス要素について異なる各予測モードを使用して、
その画像領域の第2の試行符号化を実行し、第1及び第2の試行符号化によって符号化さ
れたデータに基づいて、ピクチャシーケンス、ピクチャ又はピクチャの領域に使用するた
めの、同じ予測モード又は異なる各予測モードを選択する。
試行結果の処理は、本発明の実施形態では、第1の及び第2の試行符号化によって符号
化されたデータの1以上の所定の特性を検出すること、検出された1以上の特性に基づい
て、ピクチャシーケンス、ピクチャ又はピクチャの領域に使用するための、同じ予測モー
ド又は異なる各予測モードを選択することを含んでいてもよい。1以上の特性は、例えば
画像雑音、画像歪み、画像データ品質からなる組から選択される。選択は、個々の画像ス
ライス又は画像ブロックについて行うことができる。本発明の実施形態は、例えば、予測
モードに関して本出願において説明された番号付け方法を使用して、同じ予測モード又は
異なる予測モードが使用されるかどうかを示し、同じ予測モードが使用される場合に単予
測モードの指示を示し、異なる各予測モードが使用される場合に、その各予測モードの指
示を示す符号化されたビデオ信号(例えば、符号化データストリームの一部として、デー
タストリーム内の1以上のデータフラグとして)に情報を関連付ける。
復号化動作を実行する実施形態では、この方法は、符号化のためのビデオデータに関連
づけられた情報を検出してもよく、この情報は、同じ予測モード又は異なる予測モードが
、復号化のためのビデオデータに関連付けられているかを定義する。仮にこのような情報
(例えば、データストリームに対して所定位置にある1ビットフラグ)が、同じ予測モー
ドが使用されることを示している場合、デコーダは、1つの要素(ルマ等)について定義
された予測モード情報を、他の要素(クロマ等)の復号化に適用する。若しくは、デコー
ダは、個々に特定された予測モードを、各要素に適用する。
本発明の実施形態では、上述のように、画像は、4:2:2又は4:4:4ビデオ信号
の一部を形成する。
変換
HEVCでは、ほとんどの画像は、以前に符号化/復号化されたフレームから、動きベ
クトルとして符号化され、動きベクトルは、これらの他の復号化されたフレームにおいて
、現在の画像の良い近似をどこからコピーするかをデコーダに示す。この結果は、現在の
画像の近似バージョンである。その後、HEVCは、近似バージョン及び正確な画像間に
おける誤差であるいわゆる残差(residual)を符号化する。この残差は、実際の画像を直
接的に特定するよりも、非常に少ない情報で済む。しかしながら、それでもやはり、一般
的には、全体のビットレートをさらに低減させるために、この残差の情報を圧縮すること
が好ましい。
HEVCを含む多くの符号化方法では、このようなデータは、整数コサイン変換(IC
T:Integer Cosine Transform)を使用して空間周波数領域に変換され、また、典型的に
は、所望の圧縮レベルに応じて、低空間周波数データを保ち、高空間周波数データを除去
することによって圧縮が達成される。
4:2:0変換
特に、共通量子化/圧縮方法に忠実であるため、HEVCで使用される空間周波数変換
では、慣例的に、4の累乗での係数(例えば、64周波数係数)が生成される。4:2:
0方式における正方形TUは、全て4の累乗であり、従って、達成が容易である。
仮に、NSQT動作が有効化される場合、いくつかの非正方形変換が、4×16などの
非正方形TUに対して利用可能であるが、やはりこれらは64係数となり、つまり、やは
り4の累乗である。
各種4:2:2及び4:4:4変換
4:2:2方式は、4の累乗ではない非正方形TUを生成することができる。例えば、
4×8TUは32ピクセルを有しており、また、32は4の累乗ではない。
従って、本発明における一実施形態では、4の累乗ではない数の係数に対する正方形変
換が使用されてもよい。なお、修正が後続の量子化処理で要求される。
あるいは、本発明の一実施形態では、非正方形TUは、変換について4の累乗の領域を
もつ正方形ブロックに分割され、その後、結果としての係数を、インターリーブするこが
できる。
例えば、4×8ブロック(8行の4サンプル)では、奇数/偶数垂直サンプルはが、2
つの正方形ブロックに分割され得る。あるいは、4×8ブロックでは、上の4×4ピクセ
ル及び下の4×4ピクセルは、2つの正方形ブロックを形成することができる。あるいは
、やはり、4×8ブロックでは、下位及び上位周波数の4×4ブロックを形成するために
、ハール ウェーブレット分解が使用され得る。
これらの選択肢はいずれも利用可能であり、また、特定の代替手段の選択が、信号化又
はデコーダによって抽出されてもよい。
その他の変換モード
4:2:0方式においては、残差データがビットストリームに無損失で(変換、量子化
、又はさらなるフィルタリングなしで)含まれるようにする提案フラグ(いわゆる、qppr
ime_y_zero_transquant_bypass_flag)が存在する。
従って、このような実施形態は、ルミナンス及びクロミナンスサンプルが予測され、サ
ンプル及び各予測サンプル間の差が符号化され、ルミナンス差データが出力ビッドストリ
ームに無損失で含まれているかを示し、独自に、クロミナンス差データがビットストリー
ムに無損失で含まれているかを示すインジケータを利用するビデオ符号化又は復号化方法
に相当する。
本発明の一実施形態では、ルマチャネルに対するフラグが、クロマチャネルとは別とさ
れることが提案される。従って、4:2:2方式では、このようなフラグがルマチャネル
及びクロマチャネルで別々に提供され、また、4:4:4方式では、このようなフラグが
、ルマ及びクロマチャネルのどちらかに別々に提供されるか、あるいは、1つのフラグが
、3つのチャネルのそれぞれに対して提供される。これにより、4:2:2及び4:4:
4方式に関連する、増加するクロマデータレートが認識され、例えば、クロマデータと共
に圧縮された無損失ルマデータが有効化される。
イントラ予測符号化では、モード依存方向変換(MDDT:Mode-Dependent Direction
al Transform)は、TUに対する水平又は垂直ICT(または両ICT)が、イントラ予
測方向に基づく整数サイン変換に置き換えられることを許容している。4:2:0方式で
は、これは、クロマTUに適用されない。しかしながら、本発明の一実施形態では、4:
2:2及び4:4:4クロマTUに対して適用することが提案される。なお、ISTは、
現在、4サンプル変換次元(垂直又は水平)についてのみ定義されおり、従って、現在、
4×8クロマTUに垂直に適用され得ない。MDDTについては後述する。
ビデオ符号化方法では、本発明の各種の実施形態は、ルミナンス差データが出力ビット
ストリームに無損失で含まれているかどうか、及び、独立して、クロマ差データがビット
ストリームに無損失で含まれているかどうかを示し、このような指示によって定義された
形式で、関連するデータを符号化及び含めるように構成され得る。
量子化
4:2:0方式では、量子化演算が、クロミナンス(色)及びルミナンス(輝度)で同
じであり、量子化パラメータ(QP:Quantization Parameter)のみが異なる。
クロミナンスに対するQPは、ルミナンスQpから以下の様にして算出される。
QPcb = scalingTable[QPluminances+chroma_qp_index_offset]
QPcr = scalingTable[QPluminances+second_chroma_qp_index_offset]
ここで、scalingTableは、図29A及び図29Bに示すように定義され(それぞれ4:
2:0、4:2:に対応)、"chroma_qp_index_offset"及び"second_chroma_qp_index_of
fset"は、ピクチャ・パラメータ・セットにおいて定義され、Cr及びCrについて同じ
又は異なる。換言すると、角括弧内の値は、スケーリングテーブル(図29A及びB)内
における"インデックス"を定義し、そして、スケーリングテーブルは、QPの修正値("
値")を与える。
なお、"chroma_qp_index_offset"及び"second_chroma_qp_index_offset"は、代わりに
、それぞれ"cb_qp_offset"及び"cr_qp_offset"とされてもよい。
クロミナンスチャネルは、典型的には、含まれる情報がルミナンスよりも少なく、従っ
て、小さな大きさの係数を有しており、クロミナンスQPにおけるこの制限は、重い量子
化レベルで、全てのクロミナンスの細部が損失してしまうことを防止する。
4:2:0におけるQP−因子(divisor)の関係は、QPにおける6の増加が因子の
倍加に等しい対数である(量子化ステップサイズは、本明細書において他の箇所で説明す
るが、使用の前にQによってさらに修正されてもよい)。従って、51−39=12によ
るスケーリングテーブルにおける最大の差は、因子における4倍の変化を表している。
しかしながら、本発明の一実施形態は、4:2:2方式について、4:2:0方式の2
倍のクロマ情報を含む可能性があり、スケーリングテーブルにおける最大クロミナンスQ
P値は、45乗される(つまり、因子を持つ)。同様に、4:4:4方式では、スケーリ
ングテーブルにおける最大クロミナンスQP値は、51乗される(ちまり、同じ因子)。
この場合、スケーリングテーブルは、実質的に冗長とされるが、動作効率の単純さは保た
れる(つまり、システムは、各方式で同じ方法でテーブルを参照することによって動作す
るため)。従って、より一般的には、本発明の一実施形態では、クロマQP因子は、4:
2:0方式に関連する符号化方式における情報量に対応して修正される。
従って、本発明の実施形態は、量子化ステップサイズを定義する選択された量子化パラ
メータに応じて、4:4:4又は4:2:2における周波数変換ルミナンス及びクロミナ
ンス要素ビデオデータのブロックを量子化するビデオ符号化及び復号化方法に適用される
。量子化パラメータの関連性(例えば、図29A又は図29Bにおける適切なテーブル)
は、ルミナンス及びクロミナンス量子化パラメータ間で定義され、この関連性では、最大
クロミナンス量子化ステップサイズが、4:2:2フォーマットについて最大ルミナンス
量子化ステップサイズよりも小さく(例えば45)、一方、4:4:4フォーマットにつ
いて最大ルミナンス量子化ステップサイズに等しい(例えば51)。量子化処理では、周
波数変換データの各要素が、各量子化ステップサイズから抽出された各値によって分割さ
れ、この結果が整数値に丸められて、量子化空間周波数データの対応するブロックが生成
される。
なお、分割及び丸めのステップは、各量子化ステップサイズ(又は、それから抽出され
たデータ、例えば、Qの応用による例)に応じた、一般的な量子化ステージを示す例であ
る。
本発明の実施形態は、空間周波数係数を量子化するための量子化パラメータ又はインデ
ックス(ルミナンスについてのQP)を選択することを含み、量子化パラメータは、ルミ
ナンスデータに適用可能なQPテーブルに応じた、量子化ステップサイズの組のそれぞれ
の基準となる。量子化パラメータの関連性を定義する処理では、クロミナンス要素につい
て、選択された量子化パラメータに応じて、修正された量子化パラメータのテーブルを参
照し、このとき、(i)第1のクロミナンス要素に関して、第1のオフセット(chroma_q
p_index_offset等)を量子化パラメータに加え、量子化インデックス+第1のオフセット
について、テーブルにおいて、エントリに対応する修正量子化インデックスを選択し、(
ii)第2のクロミナンス要素に関して、第2のオフセット(second_chroma_qp_index_o
ffset等)を量子化パラメータに加え、量子化インデックス+第2のオフセットについて
、テーブルにおいて、エントリに対応する修正量子化インデックスを選択し、ルミナンス
データ、並びに、第1及び第2のクロミナンス要素についての第1及び第2の修正量子化
インデックスにおける量子化パラメータに応じて、組における各量子化ステップサイズを
参照する。別の観点では、処理の一例では、空間周波数係数を量子化するための量子化パ
ラメータを選択し、量子化パラメータは、量子化パラメータの組のそれぞれの基準となり
、定義するステップでは、クロミナンス要素について、選択された量子化パラメータに応
じて、修正された量子化パラメータのテーブルを参照し、参照するステップでは、各クロ
ミナンス要素について、各オフセットに量子化パラメータを加え、量子化パラメータ+各
オフセットについて、テーブルにおいて、エントリに対応する修正された量子化パラメー
タを選択し、ルミナンスデータ、並びに、第1及び第2のクロミナンス要素についての第
1及び第2の修正量子化パラメータにおける量子化パラメータに応じて、組における各量
子化ステップサイズを参照する。
本発明の実施形態では、上述のように、最大ルミナンス量子化パラメータは51であり
、4:2:2フォーマットについて最大クロミナンス量子化パラメータは45であり、4
:4:4フォーマットについて最大クロミナンス量子化パラメータは51である。
本発明の実施形態では、第1及び第2のオフセットは、符号化ビデオデータに関連づけ
られて通信され得る。
4:2:0変換では、下記の式を使用して、真正規化N×N DCT A'から、Aが
最初に(変換ユニット340により)生成される。
ij=int(64×√N×A'ij
ここで、i及びjは、内の位置を示す。正規化変換に応じたスケーリングは、高精度化
を提供し、小数計算の必要性を回避し、内部精度を高める。
XがA及びAの両方に乗算されるので、Aijの丸めによる差は無視され、結果とし
ての係数は、下記の共通スケーリング倍数による真正規化M×N(M=高さ、N=幅)D
CTのものとは異なる。
(64×√N)(64×√M)=4096√N√M
なお、共通スケーリング倍数は、この例とは異なり得る。また、A及びAの両方に乗
算されるは、いわゆるバタフライ方法などの様々な方法で実行され得る。重要なことは、
実行される動作が従来の乗算と同じであるかどうかということであり、特定の従来の動作
順で実行されるかどうかということではない。
HEVCでは、2の累乗になるので、スケーリング倍数は、多数のビットによるバイナ
リ左シフトビット幅動作TransformSihftに等しい。
TransformShift=(12+0.5log(N)+0.5log(M))
内部ビッド精度における要求を減らすために、変換処理中、係数は(正の丸めを使用し
て)2回右にシフトされる。
Shift1=log(N)+bitDepth−9
Shift2=log(M)+bitDepth+6
結果として、前変換処理を終え、量子化部に入る係数は、以下の式によって効果的に左
側にシフトされる。
resultingShift =(12+0.5log(NM))−(Shift1+Shift2)
=(12+0.5log(N)+0.5log(M))−(log
(N)+bitDepth−9+log(M)+6)
=15−(0.5log(N)+0.5log(M)+bitDepth)
4:2:0では、周波数変換によって生成された周波数分離(例えば、DCT)係数は
、正規化DCT処理の(2resultingShift)倍である。
本発明のいくつかの実施形態では、ブロックは、正方形又は2:1のアスペクト比の長
方形である。従って、N×Mのブロックサイズは、以下のいずれかである。
N=M、この場合、resultingShiftは、整数かつ、S=N=M=sqrt(NM)である。
0.5N=2M又は2N=0.5M、この場合、resultingShiftは、整数かつ、S=sq
rt(NM)である。
resultingShift =15−(0.5log(N)+0.5log(M)+bitDepth

=15−(log(S)+bitDepth)
係数は、その後、量子化され、ここで、量子化因子は、量子化パラメータに応じて抽出
される。
なお、resultingShiftは、整数に等しく、従って、共通スケーリング倍数は、2の累乗
の整数であり、変換処理の全体の左シフト'resultingShift'も、等しいが逆である右シフ
ト'quantTransformRightShift'の適用によって、この段階で考慮される。
resultingShiftが整数であるため、このビットシフト動作が可能である。
なお、因子−QP(量子化パラメータ又はインデックス)関係は、上述のように、6に
よるQPにおける増加が、因子を2倍にする効果を有し、一方で、3によるQPの減少が
、sqrt(2)(2の平方根)倍による因子の減少の効果を有する基数2出力曲線に従う。
4:2:2のけるクロマフォーマットに起因して、多くのTU幅:高さ(N:M)比が
存在する。
N=M(前から) ここで、S=N=M=sqrt(NM)
である(resultingShifは整数)。
0.5N=2M及び2N=0.5M(前から) ここで、S=sqrt(NM)である(re
sultingShifは整数)。
N=2M ここで、S=sqrt(NM)である

2M=N ここで、S=sqrt(NM)である

4N=0.5M ここで、S=sqrt(NM)である

resultingShift==15−(log(S)+bitDepth)
これら後者の3つの状況では、"resultingShift"は整数ではない。例えばこれは、ビデ
オデータサンプルのブロックの少なくともいくつかがM×Nサンプルであって、N/Mの
平方根が2の整数乗に等しくならない場合に当てはまる。このようなブロックサイズは、
いくつかの実施形態において、クロマサンプルについて起こり得る。
したがって、このような場合には、以下のような手法が知られている。すなわち、ビデ
オ符号化方法またはビデオ復号化方法においては、装置またはプログラムが、変換行列の
次元に応じた量によって正規化された変換の値毎にそれぞれスケーリングされた整数値の
アレイを有する変換行列を用いて、複数ブロックからなるビデオデータサンプルを周波数
変換することで、複数のブロックからなる量子化空間周波数データを生成し、その空間周
波数データを、選択された量子化ステップのサイズに応じて量子化するように動作する。
当該量子化ステップは、ビデオデータサンプルのブロックを、変換行列及びその転置行列
によって行列乗算することによって当該ブロックを周波数変換して、スケーリングされた
空間周波数係数のブロックを生成するステップを含む。この空間周波数係数はそれぞれ、
共通のスケーリングファクター(例えば、"resultingShift")のために、ビデオデータサ
ンプルの上記ブロックの正規化された周波数変換の結果として生じる空間周波数係数より
も大きくなる。
したがって量子化段階においては、適切なビットシフト処理であっても、単純な方法で
処理をキャンセルするためには用いることができない。
この問題に対する解決策が以下の通り提案される。
量子化部段階において、右シフトを適用する:
quantTransformRightShift=15−log(S')−bitDepth
ここで、値S'は以下のように導出される。
esultingShift- quantTransformRightShift=+1/2
ここで、quantTransformRightShiftは整数である。
このシフト間の差1/2は、2の平方根を乗算することに等しい。すなわち、ここでは
、係数は2の平方根倍だけ大きくなるため、ビットシフトは整数ビットシフトとなる。
この量子化プロセスのために、(QP+3)の量子化パラメータを適用する。これによ
り、量子化因子が2の平方根という因数によって効果的に増加し、これにより2の平方根
のスケール因子をそれより前のステップからキャンセルできる。
したがって、これらのステップ(すなわち、ビデオ符号化方法及びビデオ復号化方法に
おいて、(または対応する装置またはプログラムにおいて、)変換行列の次元に応じた量
によって正規化された変換行列の値毎にそれぞれスケーリングされた整数値のアレイを有
する変換行列を用いて、複数ブロックからなるビデオデータサンプルを周波数変換するこ
とで、複数のブロックからなる量子化空間周波数データを生成し、その空間周波数データ
を、選択された量子化ステップのサイズに応じて量子化するように動作し、当該量子化ス
テップは、ビデオデータサンプルのブロックを、変換行列及びその転置行列によって行列
乗算することによって当該ブロックを周波数変換して、スケーリングされた空間周波数係
数のブロックを生成するステップを含み、この空間周波数係数はそれぞれ、共通のスケー
リングファクター(例えば、"resultingshift")のために、ビデオデータサンプルの上記
ブロックの正規化された周波数変換の結果として生じる空間周波数係数よりも大きくなる
こと。)は以下のように要約される。
空間周波数係数の量子化のための量子化ステップサイズを選択する。スケーリングされ
た各空間周波数係数を2の倍数(nは整数)で分割するために、nビットシフト(例え
ば、quantTransformRightShift)を適用する。2で割り切れる共通の剰余スケーリング
ファクター(例えば、resultingShift- quantTransformRightShift)を検出する。
例えば、上述の状況では、量子化ステップサイズは剰余スケーリングファクターに従っ
て修正された量子化ステップサイズを生成し、ブロックにおいてスケーリングされた各空
間周波数係数は、当該修正された量子化ステップサイズに依存する値によって除算され、
その結果が整数値へ丸められて、量子化空間周波数データのブロックが生成される。
上述したように、量子化ステップサイズの修正は、QPが量子化ステップサイズのテー
ブル内にマッピングされた場合に、QPに対してオフセット値を単に加えて異なる量子化
ステップサイズを選択するだけで実行可能である。
上記係数はこれにより元のQPに対して正しい大きさのものになる。
上記変換行列は、変換行列の次元に応じた量によって正規化された変換行列の値毎にそ
れぞれスケーリングされた整数値の配列を有する。
その結果、S'に要求される値は常に下記のように導かれる;
S'=sqrt(2N)
これに代えて、S'は下記のように導かれてもよい;
resultingShift−quantTransformRightShift=−1/2
この場合、S'= sqrt(1/2N)であり、適用される量子化パラメータは(QP
−3)である。
これらのいずれの場合(QPに3を加える場合またはQPから3を減じる場合)も、量
子化ステップサイズを選択するステップは、量子化インデックス(例えばQP)を選択す
ることを含む。この量子化インデックスは、各量子化ステップサイズのテーブルにおける
各エントリを定義する。また修正ステップは、異なる量子化ステップサイズを選択して、
上記異なる量子化ステップサイズと、当初選択された量子化ステップサイズとの比が実質
的に剰余スケーリングファクターと等しくなるように、量子化インデックスを変更するこ
とを含む。
これは、本実施形態のように、テーブル中の量子化ステップサイズの連続する値が対数
的に関連しており、m(mは整数)という量子化インデックス(例えばQP)の変更が、
pという因数(pは2以上の整数)による量子化ステップサイズの変更と等しい場合に、
特に効果的である。本実施形態では、m=6、p=2であり、QPにおける6の増加は、
入力される量子化ステップサイズが2倍になることを意味し、QPにおける6の減少は、
出力される量子化ステップサイズが1/2になることを意味する。
上述したように、上記変更は、ルミナンスサンプルに関して量子化インデックス(例え
ば、基数であるQP)を選択し、ルミナンスサンプルに関して選択された量子化インデッ
クスに対して量子化インデックスオフセットを生成し、クロミナンス要素のそれぞれ又は
双方のサンプルについて、量子化インデックスオフセットを剰余スケーリングファクター
に従って変更し、量子化インデックスオフセットを、符号化されたビデオデータに関連し
て通信することで実行可能である。HEVCの実施形態では、2つのクロマチャンネルに
対するQPオフセットは、ビットストリームで送信される。これらのステップは、(剰余
スケーリングファクターを構成する)±3のQPオフセットがこれらのオフセットに組み
込まれ、またはそれらのオフセットがクロマQPを導くために用いられる場合にインクリ
メント/デクリメントされるようなシステムに対応する。
ここで、QPオフセットは、異なる形態のブロックが用いられた場合には、±3である
必要はない。±3というのは、例えば4:2:2ビデオについて、上述したブロックの形
態及びアスペクト比に適用可能なオフセット値を指すのみである。
いくつかの実施形態では、n(入力されるビットシフト)は2が共通のスケーリング
ファクター以上になるように選択されてもよい。他の実施形態では、nは2が共通のス
ケーリングファクター以下になるように選択されてもよい。開示の実施形態(上記両方の
設定を用いる)では、ビットシフトnは、共通のスケーリングファクターに2番目に(い
ずれの方向でも)近くなるように選択される。これにより、剰余スケーリングファクター
は2未満の大きさを有する因数を表すこととなる。
他の実施形態では、上記量子化ステップサイズの修正は、単に量子化ステップサイズと
剰余スケーリングファクターに応じて因数を乗算することで実行されてもよい。すなわち
、上記修正はインデックスQPの修正を伴わなくてもよい。
また、上述した量子化ステップサイズは、変換されたサンプルが除算される実際の量子
化ステップサイズである必要はない。このように導き出される量子化ステップサイズは、
さらに修正され得る。例えば、ある手法では、量子化ステップサイズは、行列値(Q行列
)のそれぞれのエントリによって、異なる最終量子化ステップサイズが、係数の量子化ブ
ロックにおける異なる係数位置において用いられるように、さらに修正される。
また、4:2:0方式では、最大のクロマTUは16×16であるが、4:2:2方式
では、TUは16×32であってもよく、4:4:4のスキームでは、TUは32×32
であってもよい。結果的に、一実施形態では、クロマTUが32×32である量子化行列
(Q行列)が提案される。同様に、Q行列は、より大きな正方形のQ行列のサブサンプリ
ングとしての実施形態とともに、16×32等の非正方形の行列として定義される。
Q行列は、以下の(1)から(5)のいずれかによっても定義され得る。
(1)グリッド中の値(4×4及び8×8のQ行列において)
(2)より小さいまたはより大きい行列から空間補間されたもの;
HEVCでは、より大きい行列がより小さい参照Q行列の係数の各グループから導出さ
れ得る。また、より小さい行列が、より大きい行列からサブサンプリングされ得る。ここ
で、この補間またはサブサンプリングは、あるチャンネル比内で実行され得る。例えば、
あるチャンネル用のより大きい行列は、他のチャンネル用のより小さい行列から補間され
得る。
(3)他のQ行列との比較によって(すなわち、異なる値または差分);
したがって差分のみ送信される必要がある。
単に図示のために小さい例を挙げると、1つのチャンネル比用の特定の行列が、4:2
:0における4×4の行列として以下のように定義され得る。
(a b)
(c d)
ここで、a、b、c及びdはそれぞれ係数である。これは参照行列として動作する。
そうすると、開示の各実施形態は、他のチャンネル比についての類似のサイズの行列に
対して、異なる値のセットを以下のように定義できる。
(diff1 diff2)
(diff3 diff4)
これにより、他のチャンネル比用にQ行列を生成するために、行列間の差異は、参照行
列に行列を加えたことによるものである。
これらの差異に代えて、他のチャンネル比用に、乗算因数からなる行列が定義されても
よい。例えば、(i)乗算因数からなる行列は、行列が参照行列と乗算されて他のチャン
ネル比用のQ行列が生成され、または、(ii)参照行列における各係数が個別に各因数
と乗算され他のチャンネル比用のQ行列が生成される。
(4)他のQ行列の関数として;
例えば、他の行列とのスケーリング比(上記の例におけるa、b、c、dの各値がいく
つかの因数と乗算され、または各値に同じ差分値が加えられたもの)である。これは、差
分データまたは因数データを送信するのに必要なデータを削減することになる。したがっ
て、それら関数の係数のみが送信されればよい(例えばスケーリング比)。
(5)方程式/関数(例えば、区分的線形曲線、指数関数、多項式)として
したがって、行列の導出には、方程式の係数のみ、または上記のいずれかの組み合わせ
が送信されればよい。例えば、a、b、c、dは実際、行列内の係数位置(i、j)と依
存関係を有する関数として定義され得る。(i、j)は、例えば、行列の左から右に亘る
係数位置と、上部から下部に亘る係数位置を表す。一つの例として、以下のものが挙げら
れる。
coefficient i,j=3i+2j
ここで、行列は、HEVC環境では、スケーリングリストとして参照され得る。量子化
がスキャニング工程の後に適用される実施形態では、スキャンされたデータは、連続した
データサンプルからなる線形ストリームとなり得る。このような例では、Q行列の概念は
やはり適用できるが、行列(またはスキャニングリスト)は1×Nの行列として考えられ
、1×Nの行列内のNのデータ値の配列は、それぞれのQ行列の値が適用されるスキャン
されたサンプルの配列に対応する。換言すると、スキャンされたデータにおけるデータの
配列(スキャンパターンに応じた空間周波数)と、1×NのQ行列におけるデータ配列に
は、1:1の関係が成立する。
ここで、いくつかの実装では、DCT(周波数分離)段階は回避または省略され得るが
、量子化段階は実行され得る。
他の有用な情報は、前のチャンネルまたは最初の(初期の)チャンネルといった、その
値が関係する他の行列の付加的な指標を含む。例えば、上述したように、Cr用の行列は
Y用の行列またはCb用の行列のスケーリングされた要素となり得る。
したがって、開示の実施形態は、(付加的に)ビデオデータサンプルのブロックに対し
て周波数変換処理を実行し、配列されたサンプルブロック(例えば、周波数変換サンプル
の配列されたブロック)内の異なるそれぞれのブロック位置に用いるための、選択された
量子化ステップサイズと量子化ステップサイズを修正するデータの行列とにしたがって、
ビデオデータを(空間周波数データとして)量子化することで、量子化空間周波数データ
のブロックを生成可能なビデオ符号化方法またはビデオ復号化方法(及び対応する装置ま
たはプログラム)を提供できる。当該方法は、少なくとも2つの異なるクロミナンスサブ
サンプリングフォーマットについて適用可能である。
クロミナンスサブサンプリングフォーマットの少なくとも1つのために、1以上の量子
化行列が、上記クロミナンスサブサンプリングフォーマットの参照行列用に定義された1
以上の参照量子化行列に関する1以上の所定の修正として定義される。
開示の実施形態では、上記定義ステップは、参照量子化行列の複数の値からそれぞれ取
り込まれた値の行列として、1以上の量子化行列を定義することを含む。他の実施形態で
は、上記定義ステップは、参照量子化行列の値からそれぞれサブサンプリングされた値の
行列として、1以上の量子化行列を定義することを含む。
開示の実施形態では、上記定義ステップは、参照量子化行列の対応する値に関する差分
の行列として、1以上の量子化行列定義することを含む。
開示の実施形態では、上記定義ステップは、参照量子化行列の値の所定の関数として、
1以上の量子化行列を定義することを含む。この場合、所定の関数は多項式関数であって
もよい。
開示の実施形態では、例えば符号化ビデオデータの一部またはその関連データとして、
下記の(i)及び(ii)うち1つまたは両方が提供される。
(i)符号化されたビデオデータについて、参照量子化行列を示すための参照指示データ
(ii)符号化されたデータの値について、1以上の所定の修正を示すための修正指示デ
ータ
これらの技術は、クロミナンスサブサンプリングフォーマットのうちの2つが4:4:
4フォーマット及び4:2:2フォーマットである場合に特に適用できる。
HEVC4:2:0におけるQ行列の数は、昨今では、対応するチャンネル用の変換サ
イズごとに6つであり、イントラ及びインターごとに1セットである。4:4:4GBR
の場合、量子化行列のいずれかのセットが、全てのチャンネルについて使用可能であり、
または、量子化行列の3つの各セットが使用可能である。
開示の実施形態では、少なくとも行列のうち少なくとも1つは1×N行列である。これ
は、(上述したように、)1以上の行列が、実際にはスケーリングリストまたはそれと同
様のものであり、線形の1×Nに配列された係数のアレイである場合である。
ここで提案した方法は、適用されたQPをインクリメントまたはデクリメントすること
を含む。しかし、これは様々な手法で実現され得る。
HEVCでは、2つのクロマチャンネル用のQPオフセットは、ビットストリームで送
信される。これらのオフセットに±3が取り込まれ、またはそれらがクロマQPを導出す
るのに用いられる場合には±3がインクリメントまたはデクリメントされる。
上述したように、HEVCでは、(ルナQP+クロマオフセット)が、クロマQPを導
出するためにテーブルへのインデックスとして用いられる。このテーブルは、±3を取り
込むように修正され得る(すなわち、元のテーブルの値が3によってインクリメントまた
はデクリメントされる)。
クロマQPが導出された後、通常のHEVCプロセスにより、処理結果が3だけインク
リメントまたはデクリメントされる。
順方向または逆方向の量子化のために、量子化係数または量子化ステップサイズ(inve
rseQStep/scaledQStep)を取得するためのテーブルへのインデックスとして、(QP %
6)が用いられることで、除算/乗算プロセスが実施される。(QP % 6は、6を法と
するQPを意味する。)上述したように、これは変換データに適用される最終の量子化ス
テップサイズを表すものではなく、当該量子化ステップサイズは使用前にQ行列によって
さらに修正され得る。
HEVCのデフォルトテーブルは6の長さを有し、8つの(2倍の)値をカバーする。
これは単に記憶容量に関する要求を軽減するためであり、テーブルは、実際の使用のため
に、QPの法(mod 6)に従ってテーブル中のエントリを選択することで拡張され、
所定の基準値からの(QP-6を法とするQP)の差に従って、適切な2の累乗によって
乗算または除算される。
本実施形態は、QP値におけるオフセット±3を実現するために変形され得る。このオ
フセットは、テーブルルックアッププロセスにおいて適用されてもよいし、それに代えて
修正されたQPを使った上記法プロセスが実行されてもよい。オフセットは、テーブルル
ックアップにおいて適用されることが想定されているが、テーブルにおける追加のエント
リが以下のように提供されてもよい。
1つ目の代替手法は、テーブルを3つのエントリによって拡張することである。ここで
、新しいエントリは下記の通りである(インデックス値6−8用)。
図30に例示されたテーブルは、[(QP%6)+3](QPインクリメント法)によ
ってインデックスされている。QP%6は、6を法とするQPを意味する。
図31に例示されたテーブルは、[(QP%6)−3](QPデクリメント法)によっ
てインデックスされており、インデックス値−1から−3用に追加のエントリを有してい
る。
エントロピ符号化
基本的なエントロピ符号化では、符号語が入力データシンボルに割り当てられ、最短の
利用可能な符号語が、入力データにおける最も確からしいシンボルに割り当てられる。平
均すると、その結果は、無損失であるが、入力データのごく小さなリプレゼンテーション
がある。
この基本的な方法は、シンボル確率が、しばしば直前のデータ上で暫定的であることを
考慮することによってさらに改善され、これにより、割り当てプロセスのコンテキストが
適応される。
このような方法では、コンテキスト変数(CV:Context Variable)が使用されて各確
率モデルの選択が決定され、このようなCVが、HEVC4:2:0方式において提供さ
れる。
4:2:2方式のエントロピ符号化を拡張するために、例えば、8×8ルマTUに対し
て4×4TUでなく、4×8クロマTUが使用され、選択的に、単純に垂直方向で同じC
Vの選択を繰り返すことによって、コンテキスト変数が提供される。
しかしながら、本発明の一実施形態では、CVの選択は、左上の係数(高エネルギー、
DC及び/又は低空間周波数係数)に対しては繰り返して行われず、代わりに、新たなC
Vが抽出される。この場合、例えば、ルママップからマッピングが抽出されてもよい。こ
の方法は、4:4:4方式において使用されてもよい。
符号化の間、4:2:0方式では、いわゆるジグザグスキャン(zig-scan)が、高周波
数から低周波数へと順番に係数をスキャンする。しかしながら、この場合もやはり、4:
2:2方式におけるクロマTUは非正方形であり、従って、本発明の一実施形態では、さ
らに水平方向とされるように、より一般的には、TUのアスペクト比に対応して、スキャ
ンの角度が傾けられた異なるクロマスキャンが提案される。
重要性マップのCVの選択のための近接、並びに、1又は2大きいCVの選択のための
c1/c2システムが、対応して適応される。
同様に、本発明の一実施形態では、最後の有意係数(復号化における開始位置となる)
は、共同位置ルマTUにおける最後の有意位置から差動的に符号化されたクロマTUに対
する最後の有意位置で、4:4:4方式に対して調整を行うこともできる。
係数スキャニングは、特定のTUサイズに依存する予測モードで行うこともできる。従
って、イントラ予測モードに基づく同じTUサイズに対して、異なるスキャンオーダが使
用され得る。
4:2:0方式では、モード依存係数スキャニング(MDCS:Mode Dependent Coeff
icient Scanning)は、イントラ予測について4×4/8×8ルマTU及び4×4クロマ
TUに適用されるのみである。
本発明の一実施形態では、4:2:2方式において、MDCSが、イントラ予測につい
て4×8及び8×4クロマTUに適用されることが提案される。同様に、4:4:4方式
において、MDCSが8×8及び4×4クロマTUに適用されることが提案される。
インループフィルタ
非ブロック化(Deblocking)
非ブロック化は、全てのCU、PU及びTU境界に適用され、CU/PU/TU形状は
、考慮されない。フィルタ強度及びサイズは、局所的な統計に依存し、また、非ブロック
化は、8×8ルマピクセルの粒度を持つ。
従って、4:2:0方式に適用される現在の非ブロック化が、4:2:2及び4:4:
4方式においても適用されると予測される。
サンプル適応オフセット
サンプル適応オフセット(SAO:Sample Adaptive Offsetting)では、各チャネルは
、完全に独立である。SAOは、四分木を使用して、各チャネルについて画像データを分
割し、生成されたブロックは、その大きさが少なくとも1つのLCUの大きさとされる。
リーフブロックは、LCU境界に合わせられ、各リーフは、エンコーダにより決定された
、3つのモードのうちの1つで動作することができる(中央バンドオフセット、サイドバ
ンドオフセット、又はエッジオフセット)。各リーフは、そのピクセルを分類し、また、
エンコーダは、SAO入力データ及びソースデータを比較することによって、16カテゴ
リのそれぞれに対するオフセット値を導き出す。これらのオフセットは、デコーダに送ら
れる。復号化されたピクセルカテゴリに対するオフセットは、その値に加えられて、ソー
スからの偏差が最小化される。
さらに、SAOは、ピクチャレベルで有効化又は無効化され、仮に、ルマで有効化され
る場合、各クロマチャネルとは別に有効化され得る。
従って、この処理は、下層ブロック方式に対して非常に透過的であり、4:2:0方式
に適用されている現在のSAOが、4:2:2及び4:4:4方式に対しても適用可能で
あると予測される。
適応ループフィルタリング
4:2:0方式では、適用ループフィルタリング(ALF:Adaptive Loop Filtering
)は、基準設定において無効とされている。しかしながら、原則的には(許されるなら)
、ALFは、クロマについてピクチャ全体に適用される。
ALFでは、ルマサンプルは、15カテゴリのうちの1つに記憶され、各カテゴリは、
異なるウィナー型フィルタを使用する。
これに反して、4:2:0では、クロマサンプルは、分類されておらず、Cbに対して
1つ、Crに対して1つのウィナー型フィルタが存在するのみである。
従って、本発明の一実施形態では、4:2:2及び4:4:4方式での増加するクロマ
情報を考慮して、クロマサンプルが、例えば、4:2:2について7カテゴリに、4:4
:4について15カテゴリに分類されることが提案される。
一方、4:2:0方式では、ALFは、ALF制御フラグ(ALF制御深度によって特
定されたCUレベルまで)を使用する、CU毎を基準としたルマについて無効とされ、ピ
クチャ毎を基準としたクロマについて無効とされる。
従って、本発明の一実施形態では、クロマについて1つまたは2つのチャネル固有AL
F制御フラグを有する4:2:2又は4:4:4方式が提案される。
シンタックス
HEVCでは、4:2:0、4:2:2又は4:4:4方式を示すために、シーケンス
レベルで示されるシンタックスが提案されている。しかしながら、本発明の一実施形態で
は、このレベルで、4:4:4GBRをも示すことが提案される。
MDDT及びMDCS
ここで、モード依存方向性変換及びモード依存係数スキャニングの利用について説明す
る。なお、その両方を同じシステムで実施してもよいし、一方を利用して他方を利用しな
くてもよいし、両方を利用しなくてもよい。
まず、図34〜図38を参照して、MDCSについて説明する。
いわゆる右上り斜めスキャンパターンについては図16を参照して上述した。このスキ
ャンパターンを利用して、DCT係数などの周波数分離係数を処理する順番を得る。右上
り斜めスキャンパターンはスキャンパターンの一例であるが、他のパターンを利用するこ
ともできる。他の2つのスキャンパターンの例を、4×4ブロックの例を用いて、図34
及び図35に概略的に示す。具体的には、水平スキャンパターン(図34)及び垂直スキ
ャンパターン(図35)の2例である。
MDCSにおいて、スキャンパターンは、利用する予測モードに基づいて、2つ以上の
候補スキャンパターンからなる群から選択される。
本例は、右上り斜めスキャンパターン、水平パターン、及び垂直パターンの3つの候補
スキャンパターンからなる群に関する。しかしながら、2つ以上の候補パターンからなる
異なる群を利用してもよい。
図36を参照して、垂直スキャンパターンは、水平線から閾角度(モード番号)以内に
収まる(大部分が水平な)モード6〜14に対して用いられる。水平スキャンパターンは
、垂直線から閾角度(モード番号)以内に収まる(大部分が垂直な)モード22〜30に
対して用いられる。図36においては単に「斜め」スキャンとして示される右上り斜めス
キャンパターンは、他のモードに対して用いられる。
図37は、クロマサンプルの長方形配列に適用可能な方向予測モードに対する2つの候
補スキャンパターン(垂直及び水平スキャンパターン)の考えられるマッピングを示す概
略図である。このパターンは、ルマサンプルに対して用いたパターン(図36)と異なる
図38は、スキャンパターンの選択のための構成を示す概略図である。この構成により
、例えば、コントローラ343の機能の一部を実現することができる。
選択部1620は、現在のブロックに対する予測モード及びルックアップテーブル16
30に応答する。ルックアップテーブル1630は、スキャンパターンに対して予測モー
ドをマッピングする。選択部1620は、選択されたスキャンパターンを示すデータを出
力する。
MDCSは、4:2:2及び4:4:4に対して有効であってもよい。予測モードに対
するスキャンパターンのマッピングは、4:2:0に対するマッピングと同じでもよいし
、異なっていてもよい。各チャネル比は、それぞれのマッピングを有していてもよいし(
この場合、選択部1620は、そのチャネル比に対して同様に応答してもよい)、マッピ
ングは全てのチャネル比に対して同じでもよい。MDCSは、例えば、閾値以下の一定の
サイズのブロックのみに適用してもよい。例えば、MDCSを適用可能な最大TUサイズ
は、以下のとおりである。
クロマに対して、MDCSは無効にしてもよいし、4×4(ルマ)TUのみに制限して
もよいし、水平スキャン又は垂直スキャンのみを用いるTUに制限してもよい。MDCS
機能の実施は、チャネル比により異なっていてもよい。
したがって、本発明の実施形態によれば、予測されるサンプルと元のサンプルとの差が
周波数分離及び符号化される4:2:2又は4:4:4のビデオデータを符号化する方法
であって、2つ以上の候補予測モードの組からサンプルが有する複数のブロックのそれぞ
れに対して選択される予測対象サンプル関連の予測モードに従って、画像のルミナンスサ
ンプル及び/又はクロミナンスサンプルを同じ画像から得られる他のそれぞれの参照サン
プルを基に予測する工程と、上記サンプルと上記予測サンプルそれぞれとの差を検出する
工程と、周波数分離変換によりサンプルのブロックに対して検出された差を周波数分離し
て、対応する1組の周波数分離係数を生成する工程と、クロミナンスサンプルとルミナン
スサンプルとで異なるマッピングであり、少なくとも4:4:4フォーマットに対して異
なるスキャンパターンと予測モードとのマッピング(したがって、言い換えれば、マッピ
ングは4:4:4クロマデータと4:4:4ルマデータとで異なり、4:2:2ルマデー
タと4:2:2クロマデータとでは異なっていても、異なっていなくてもよい)により、
サンプルのブロックに対する上記予測モードに基づいて、上記1組の周波数分離係数を符
号化する順番を定義する2つ以上の候補スキャンパターンからなる組からスキャンパター
ンを選択する工程と、選択されたスキャンパターンに従って、周波数分離された差のデー
タを周波数分離係数の順番で符号化する工程とを含む符号化方法が提供される。
マッピングは4:2:2ルミナンスデータと4:2:2クロミナンスデータとで異なっ
ていてもよい。
マッピングは、4:2:2ビデオデータと4:4:4ビデオデータとで異なっていても
よい。
本発明の諸実施形態では、ルミナンスサンプルの現在のブロックのサイズは、4×4サ
ンプル又は8×8サンプルである。また、本発明の実施形態は、1組の候補サイズからサ
ンプルの現在のブロックのサイズを選択する工程と、選択したブロックサイズが上記候補
サイズのうち所定のサブセットの1つであった場合、上記スキャンパターンの選択工程を
適用する工程とを含む。このようにして、いくつかのブロックサイズに関してマッピング
処理を適用することができ、他のブロックサイズに関しては適用しないようにすることが
できる。マッピングは、ルミナンスサンプルに関するもののみに(4:2:2に対して)
適用してもよい。
本発明の諸実施形態では、1組の候補スキャンパターンは、ルミナンスサンプルとクロ
ミナンスサンプルとで利用方法が異なる。
上記選択工程において、1組の大部分が水平な予測モードに関して水平スキャンパター
ンを選択し、1組の大部分が垂直な予測モードに関して垂直スキャンパターンを選択し、
他の予測モードに関して斜め垂直パターンを選択してもよい。
本発明の実施形態によれば、予測されるサンプルと元のサンプルとの差が周波数分離及
び符号化される4:2:2又は4:4:4のビデオデータを復号化する方法であって、2
つ以上の候補予測モードの組からサンプルが有する複数のブロックのそれぞれに対して選
択される予測対象サンプル関連の予測モードに従って、画像のルミナンスサンプル及び/
又はクロミナンスサンプルを同じ画像から得られる他のそれぞれの参照サンプルを基に予
測する工程と、クロミナンスサンプルとルミナンスサンプルとで異なるマッピングであり
、少なくとも4:4:4フォーマットに対して異なるスキャンパターンと予測モードとの
マッピング(したがって、言い換えれば、マッピングは4:4:4クロマデータと4:4
:4ルマデータとで異なり、4:2:2ルマデータと4:2:2クロマデータとでは異な
っていても、異なっていなくてもよい)により、サンプルのブロックに対する上記予測モ
ードに基づいて、上記1組の周波数分離係数を符号化する順番を定義する2つ以上の候補
スキャンパターンからなる組からスキャンパターンを選択する工程と、選択されたスキャ
ンパターンに従って、復号化対象サンプルとそれぞれの予測サンプルとの差を示す周波数
分離したデータである周波数分離された差のデータを周波数分離係数の順番で復号化する
工程とを含む復号化方法が提供される。
MDTTに関して、図39は、予測モードに従って周波数分離変換を選択するための構
成を示す概略図である。この構成により、変換ユニット又はコントローラの機能の一部を
実現することができる。
選択部1700は、現在の予測モードを定義するデータを受信し、受信したモードに基
づいて(2つ以上の候補変換からなる組から)変換を選択する。この変換は、変換エンジ
ン1710が変換データ記憶部に記憶された必要な変換を示すデータに基づいて、画像サ
ンプルを周波数変換係数に変換するにより適用される。
候補変換の例としては、離散コサイン変換(DCT)、離散サイン変換(DST)、カ
ルーネン・レーベ変換、及びサンプルの現在のブロックでの乗算を行うためのそれぞれの
行と列によって定義される変換が挙げられる。
MDDTは、例えば、4:4:4システムにおける4×4クロマブロックに関して有効
であってもよい。しかしながら、本発明の諸実施形態では、MDDTは4:2:2データ
に関して有効である。
したがって、本発明の実施形態によれば、4:2:2又は4:4:4のビデオデータを
符号化する方法であって、2つ以上の候補予測モードの組からサンプルが有する複数のブ
ロックのそれぞれに対して選択される予測対象サンプル関連の予測モードに従って、画像
のルミナンスサンプル及び/又はクロミナンスサンプルを同じ画像から得られる他のそれ
ぞれの参照サンプルを基に予測する工程と、上記サンプルと上記予測サンプルそれぞれと
の差を検出する工程と、クロミナンスサンプルとルミナンスサンプルとで異なるマッピン
グであり、少なくとも4:4:4フォーマットに対して異なるスキャンパターンと予測モ
ードとのマッピング(したがって、言い換えれば、マッピングは4:4:4クロマデータ
と4:4:4ルマデータとで異なり、4:2:2ルマデータと4:2:2クロマデータと
では異なっていても、異なっていなくてもよい)により、サンプルの現在のブロックに関
連する上記予測モードに従って、2つ以上の候補周波数分離変換から周波数分離変換を選
択する工程と、選択された周波数分離変換を用いて、検出された差を周波数分離すること
により符号化する工程とを含む符号化方法が提供される。
この候補変換は、離散コサイン変換、離散サイン変換、カルーネン・レーベ変換、及び
(例えば、TXTにより変換が定義されるように(ただし、Tは変換であり、上付きの
Tはの転置を表し、Xは形式のサンプルのブロックを表す))サンプルの現在のブロック
での乗算を行うためのそれぞれの行と列によって定義される変換からなるリストから選択
された2つ以上の変換を含んでもよい。
上述のように、本発明の諸実施形態では、予測対象サンプルのブロックに関連する予測
モードは、1つ又は複数の他のそれぞれの参照サンプルを定義する予測方向を示し、又は
、例えば、DC予測モードを示してもよい。この参照サンプルを基に、そのブロックの各
サンプルが予測される。
本発明の諸実施形態では、予測モードと周波数分離変換とのマッピングは、4:2:2
フォーマットに対しては、ルミナンスデータとクロミナンスデータとで異なっていてもよ
い。
本発明の諸実施形態では、ルミナンスサンプルの現在のブロックのサイズは、4×4サ
ンプルである。あるいは、上記方法は、1組の候補サイズからサンプルの現在のブロック
のサイズを選択する工程と、選択したブロックサイズが、上記1組の候補サイズの所定の
サブセットの1つである場合、MDDTがいくつか(全てではない)のブロック(例えば
TU)サイズに対してのみ利用されるように上記周波数分離変換の選択工程を適用する工
程を含んでもよい。
本発明の諸実施形態では、上記検出された差を符号化する工程は、サンプルのブロック
に対する上記予測モードに基づいて、それぞれが上記1組の周波数分離係数を符号化する
順番を定義する2つ以上の候補スキャンパターンからなる組からスキャンパターンを選択
する工程と、選択されたスキャンパターンに従って、上記周波数分離された差のデータを
周波数分離係数の順番で符号化する工程とを含む。すなわち、これはMDCSとMDDT
とを利用するシステムを表す。
符号化ブロックフラグ
符号化ブロックフラグ(CBF)は、ルマTUに対して、そのTUが非ゼロ係数を含む
か否かを示すために用いられる。これにより、符号化対象データを有しないブロックをス
キップする符号化処理を可能にする簡単なyes/noの応答が提供される。
いくつかの構成では、CBFはクロマデータに対して用いられるが、各分割レベルで提
供される。これは、クロマ成分は情報量が少ないことが多く、クロマブロックは、対応す
るルマブロックがデータを含まないことが分かる分割レベルよりも高い分割レベルのゼロ
データを含むことが分かるためである。
しかしながら、いくつかの実施形態では、CBFフラグを割り当てるために、クロマは
ルマと全く同じように扱われる。
(CABAC符号化及びコンテキストモデル化)
図40は、CABACエントロピーエンコーダの動作を示す概略図である。
CABACエンコーダは、バイナリデータ、すなわち、0と1という2つの記号のみで
表されるデータに関して動作する。このエンコーダは、「コンテキスト」、すなわち既に
符号化されたデータを基に次のデータに対する確率モデルを選択する、いわゆるコンテキ
ストモデル化処理を利用する。コンテキストの選択は、既に復号化されたデータを基に、
デコーダに渡される符号化データストリームにさらなる(コンテキストを規定する)デー
タを追加する必要なくデコーダにおいて同じ決定を行うことができるように決定論的な方
法で実施される。
図40を参照して、符号化対象の入力データは、すでにバイナリ形式である場合、バイ
ナリコンバータ1900に渡してもよい。すなわち、データが既にバイナリ形式であれば
、コンバータ1900は(模式スイッチ1910によって)無視される。本実施形態では
、バイナリ形式への変換は、実際には、量子化DCT(又は他の周波数分離した)係数の
データを一連のバイナリ「マップ」として表すことにより実施される。これについては後
述する。
バイナリデータは、その後、「正規」経路と「バイパス」経路(この2つの経路は別々
の経路として概略的に示されているが、後述する本発明の諸実施形態では、実際には、わ
ずかに異なるパラメータを用いることにより同じ処理段階で実施することができる)とい
う2つの処理経路の1つにおいて処理してもよい。バイパス経路は、必ずしも正規経路と
同じ形式のコンテキストモデル化を利用しない、いわゆるバイパスコーダ1920を採用
する。CABAC符号化のいくつかの例では、特にデータのバッチを急速に処理する必要
がある場合に、このバイパス経路を選択することができる。しかしながら、本実施形態で
は、いわゆる「バイパス」データの2つの特徴を記載する。1つ目の特徴は、バイパスデ
ータは、単に50%の確率を示す固定コンテキストモデルを用いて、CABACエンコー
ダ(1950、1960)により処理されるということである。2つ目の特徴は、バイパ
スデータは、特に係数符号データ等の、あるカテゴリーのデータに関するということであ
る。一方、正規の経路は、模式スイッチ1930及び1940により選択される。この経
路は、コンテキストモデラ1950によって処理され、その後符号化エンジン1960に
よって処理されるデータに関与する。
図40に示すエントロピーエンコーダは、ブロックが0の値のデータのみを含む場合、
データ(すなわち、例えば、残りの画像のブロックに関する係数のブロックに対応するデ
ータ)のブロックを単一値として符号化する。このカテゴリーに含まれない各ブロック、
すなわち、少なくとも非ゼロのデータを含むブロックに対しては、「重要性マップ」が作
成される。この重要性マップは、符号化対象データのブロックにおけるそれぞれの位置に
対して、そのブロックにおいて対応する係数が非ゼロであるか否かを示す。バイナリ形式
の重要性マップデータ自体は、CABAC符号化される。重要性マップを利用することは
、重要性マップが重要性はゼロであると示す係数に対してデータを符号化する必要がない
ので、圧縮に役立つ。また、重要性マップは、最後の高周波数/末尾のゼロ係数全ての符
号化を省略できるように、ブロックにおける最後の非ゼロ係数を示す特別なコードを含む
ことができる。符号化ビットストリームにおいて、重要性マップの後には、重要性マップ
によって規定される非ゼロ係数の値を定義するデータが続く。
他のレベルのマップデータを作成し、CABAC符号化する。その例の1つは、重要性
マップにより「非ゼロ」として示されるマップ位置における係数データが、実際には「1
」の値を有するか否かを、バイナリ値(1=yes、0=no)として定義するマップで
ある。他の例のマップは、重要性マップにより「非ゼロ」として示されるマップ位置にお
ける係数データが、実際には「2」の値を有するか否かを規定する。さらに他の例のマッ
プは、重要性マップによって係数データが「非ゼロ」であると示されるマップ位置に対し
て、そのデータが「2を超える」値を有するか否かを示す。さらに他の例のマップは、「
非ゼロ」と特定されたデータに対して、(+に対して1、−に対して0(勿論逆でもよい
)等の所定のバイナリ表記を用いて)そのデータ値の符号を示す。
本発明の諸実施形態では、重要性マップ及び他のマップは、例えば、量子化DCT係数
を基に、スキャンユニット360により生成され、ジグザグスキャニング処理(又は上述
のスキャニング処理から選択されるスキャニング処理)を受けた後、CABAC符号化さ
れる。
一般的に言うと、CABAC符号化は、既に符号化されている他のデータに基づいて、
符号化対象の次のビットに対して、コンテキスト、すなわち確率モデルを予測する工程に
関与する。次のビットが、確率モデルにより「最も高い」と特定されたビットと同じであ
る場合、「次のビットは確率モデルと一致する」という情報は、非常に効率よく符号化す
ることができる。それと比較して、「次のビットは確率モデルと一致しない」という情報
を符号化するのは効率的ではない。したがって、エンコーダの良好な動作のために、コン
テキストデータの由来は重要である。「適用可能」という用語は、次の(まだ符号化され
ていない)データに良好に適合させようとして、そのコンテキスト、すなわち確率モデル
が適用されること、又は符号化の間に変更されることを意味する。
簡単な例示として、書き言葉の英語において、「U」という文字は比較的珍しい。しか
しながら、「Q」という文字の直後に位置する文字では、「U」は実際、一般的に用いら
れる。したがって、確率モデルは「U」という確率を非常に低い値として設定する可能性
があるが、現在の文字が「Q」であれば、次の文字としての「U」に対する確率モデルは
、非常に高い確率値に設定することができる。
本構成では、少なくとも重要性マップ及び非ゼロ値が1(又は2)であるか否かを示す
マップに対してCABAC符号化を利用する。これら実施形態においてバイパス処理はC
ABAC符号化と同一であるが、確率モデルは1及び0の等しい(0.5:0.5)確率
分布で固定であるという事実に対しては、少なくとも符号データ及び値が2を超える値で
あるか否かを示すマップに対して用いられる。2を超える値として特定されたこれらデー
タ位置に対して、いゆわるエスケープデータ符号化を個別に実施して、そのデータの実際
の値を符号化することができる。この符号化は、ゴロムライス符号化技術を含んでもよい
CABACコンテキストモデル化及び符号化処理は、WD4:Working Draft 4 of Hig
h-Efficiency Video Coding, JCTVC-F803_d5, Draft ISO/IEC 23008-HEVC; 201x(E) 2011
-10-28に詳細に記載されている。
コンテキスト変数は、スライスの処理の最後にリセットされる。
ここで、ビデオデータを符号化する方法であって、画像のルミナンスサンプル及び/又
はクロミナンスサンプルのブロックを、他のそれぞれの参照サンプル又は値から予測する
工程と、ブロックにおける上記サンプルと上記予測サンプルそれぞれとの差を検出する工
程と、係数によって表される空間周波数周に従って小さい方から順序付けされる波数分離
係数の対応する配列を生成するように、各ブロックに関して検出された差を周波数分離す
る工程と、特定の係数値を有する係数の確率を示すコンテキスト変数に対して係数を符号
化するコンテキスト適用可能な算術符号を用いて上記周波数分離係数をエントロピー符号
化する工程とを含み、上記エントロピー符号化工程は、非矩形のサブ配列である2つ以上
の係数群に各配列を分割する工程と、その配列又は近隣のサンプルのブロックに対応する
配列において、上記係数によって示される空間周波数に従って、1つ又は複数の近隣の係
数群における係数の値に基づいて係数を符号化するためのコンテキスト変数を選択する工
程とを含む符号化方法について説明する。
これは、近隣サブ配列において非ゼロ係数があるか否かに従って、サブ配列(係数のブ
ロックの一部であるサブ配列)を基に、サブ配列に設定される係数位置へコンテキスト変
数の割り当てパターンを割り当てることを可能にする近隣コンテキスト変数割り当てとし
て知られることもある。周波数分離データとともに使用するために選択されたスキャンパ
ターンは、エントロピー符号化工程が、1つ又は複数の候補スキャンパターンからなる組
から選択されたスキャンパターンに応じた順番で、配列の係数を符号化する工程を含むよ
うに、関連性があってもよい。係数の各サブ配列は、その配列に適用可能なスキャンパタ
ーンで定義される順番で並べられたn個の連続した係数の組であると考えることができる
。なお、nは配列における係数の数の整数因子である。例えば、nは16でもよい。
図41A〜図41Dは、以前に提案された近隣割り当てを示す概略図である。
本発明の諸実施形態では、選択工程において、各群において連続した係数のサブセット
がスキャン順でそれぞれの候補コンテキスト変数に割り当てられるように、群における係
数を1組の候補コンテキスト変数の1つに割り当てる。図42A〜図43Bに示す例では
、垂直スキャン順を用いて、その順番で割り当てが実施される。図44において、水平ス
キャン順を用いて、その順番で割り当てを実施する。
上述のように、上記選択工程は、近隣係数がゼロ値を有するか否かに依存する。各係数
の群に対して、2つの候補コンテキスト係数が存在してもよい。
ここで、図42A、図42B、図43A、図43B、及び図44の説明に戻る。各図で
は、配列において水平空間周波数が左から右へ向かって増加し、垂直空間周波数が上から
下に向かって増加するように、係数を順序付けるフォーマットを採用している。
データ喪失(例えば、写真又はスライスのエッジにあるデータ、又はまだ符号化されて
いないデータ)に対する処理としては、2つの選択肢がある。一方の選択肢(図42A)
では、現在の群の近隣の1群の係数がまだ周波数分離されていない場合、選択工程におい
て、現在の群における係数に対するコンテキスト変数を選択するために、その群にゼロ値
が割り当てられる。他方の選択肢(図42B)では、現在の群の近隣の第1の群の係数が
まだ周波数分離されていないが、現在の群の近隣の第2の群が周波数分離されている場合
、選択処理において、現在の群における係数に対するコンテキスト変数を選択するために
第2の群の値が第1の群に割り当てられる。
図42A及び図42Bを参照して、現在の群の右の群及び下の群が非ゼロ係数データを
含む場合、選択工程により現在の群の最初のm個の係数に1つのコンテキスト変数をスキ
ャン順で割り当て、他のコンテキスト変数を現在の群の残りの係数に割り当てる。現在の
群の右の群が非ゼロデータを含むが現在の群の下の群が非ゼロデータを含まない場合、選
択工程により1つのコンテキスト変数を現在の群の上半分に割り当て、現在の群の残りの
係数に他のコンテキスト変数を割り当てる。現在の群の下にある群が非ゼロデータを含む
が現在の群の右の群が非ゼロデータを含まない場合、選択工程により現在の群の最初のp
個の係数に1つのコンテキスト変数をスキャン順で割り当て、他のコンテキスト変数を現
在の群の残りの係数に割り当てる。現在の群の下にある群が非ゼロデータを含むが現在の
群の右の群が非ゼロデータを含まない場合、選択工程により1つのコンテキスト変数を現
在の群の右半分にスキャン順で割り当て、他のコンテキスト変数を現在の群の残りの係数
に割り当てる。図に示す例では、m及びpは整数であり、mとpは等しくない。特に、図
に示す例では、現在の群が8×2又は2×8係数のサブ配列を含み、mは13、pは6で
ある。
図に示す方法は、少なくとも1次元において少なくとも8サンプルのサイズを有するサ
ンプルのブロックに適用可能である。例は、8×8ブロック、又はそれ以上のサイズのブ
ロックである。
本技術は、サンプル(TU)のブロックのうち少なくともいくつかのブロックが矩形で
も、非矩形でも、利用可能である。
ここで、図45を参照して、本発明の実施形態によれば、画像のルミナンスサンプル及
び/又はクロミナンスサンプルのブロックを他のそれぞれの参照サンプル又は値から予測
する工程と、ブロック内のサンプルとそれぞれの予測サンプルとの差を検出する工程と、
その1つはブロックのDC値を表す係数が表す空間周波数に従って順序付けされた周波数
分離係数の対応する配列を生成するように各ブロックに関して検出された差を周波数分離
する工程と、特定の係数値を有する係数の確率を示すコンテキスト変数に対して係数を符
号化するコンテキスト適用可能な算術コードを用いて周波数分離係数をエントロピー符号
化する工程とを含むビデオデータを符号化する方法であって、上記エントロピー符号化工
程は、各配列を非矩形のサブ配列である2以上の係数群に分割する工程と、矩形のサブ配
列に適用可能なコンテキスト変数割り当ての位置繰り返しを実施し、DC係数に対するコ
ンテキスト変数の割り当ての位置繰り返しを実施しないことにより、係数が表す空間周波
数に係る非矩形のサブ配列に関して生成したそれぞれの係数を符号化するためにコンテキ
スト変数の割り当てを生成する工程とを含む符号化方法が提供される。図45に示すよう
に、8×16サブ配列に対する割り当てパターンは、8×8サブ配列割り当てパターンか
ら得られる値繰り返しパターンであるが、DC割り当て(図に示す左上の隅)は値繰り返
しではない。
データ信号
上述の符号化装置の変形例により生成されたデータ信号及び、このような信号を送信す
る記憶装置又は伝送媒体は、本発明の実施形態を表すと考えられることが理解されよう。
処理方法、符号化方法、又は復号化方法を上述したが、このような方法を実施するよう
に構成された装置もまた本発明の実施形態を表すと考えられることが理解されよう。この
ような技術を組み込んだビデオ記憶装置、伝送装置、キャプチャ装置、及び/又は表示装
置は、本発明の実施形態を表すと考えられることも理解されよう。
本発明の実施形態はソフトウェア制御のデータ処理装置により、少なくとも部分的に、
実施されると記載した限りにおいて、そのようなソフトウェアを有する光ディスク、磁気
ディスク、半導体メモリ等の非一時的なコンピュータ可読媒体も、本発明の実施形態を表
すと考えられることが理解されよう。
上述の教示に照らして本発明の種々の変更及び変形が可能であることは明白である。し
たがって、本発明は、添付の請求の範囲内において、特に記述したものとは異なる態様に
て実施してもよいことが理解されるべきである。
実施形態の各特徴が以下の項によって定義されている。
1. ビデオデータ符号化法であって、
他の各参照サンプル又は値から、画像のルミナンス及び/又はクロミナンスサンプルの
ブロックを予測し、
ブロックにおけるサンプル及び各予測サンプル間の差を検出し、
各ブロックについての検出された差を周波数分離して、係数によって表される空間周波
数の増加に応じて順番付けられた空間分離係数の対応する配列を生成し、
特定の係数値を持つ係数の確率を示すコンテキスト変数について、係数を符号化するコ
ンテキスト適応算術コードを使用して、周波数分離係数をエントロピ符号化し、
エントロピ符号化を行うステップにおいて、
各配列を2以上の係数グループに分割し、グループは、非正方形サブ配列であり、
係数によって表される空間周波数に応じて、かつ、配列又はサンプルの近接ブロックに
対応する配列における係数の1以上の隣接グループにおける係数の値に基づいて、係数を
符号化するためのコンテキスト変数を選択する
方法。
2. 上記1.に記載の方法であって、
エントロピ符号化を行うステップにおいて、
1以上の候補スキャンパターンの組から選択されたスキャンパターンに基づいて、順番
に配列の係数を符号化する
方法。
3. 上記2.に記載の方法であって、
配列における係数の各グループは、配列に適用可能なスキャンパターンによって定義さ
れた順番で連続するn組の係数を含み、nは、配列における係数の数の整数倍である
方法。
4. 上記3.に記載の方法であって、
n=16である
方法。
5.上記各項のうちいずれか1つに記載の方法であって、
選択するステップにおいて、

各グループ内で、連続する係数のサブセットが、スキャン順に各候補コンテキスト変数
の1つにそれぞれ割り当てられるように、候補コンテキスト変数の組の1つに、グループ
における係数が割り当てられる
方法。
6.上記各項のうちいずれか1つに記載の方法であって、
選択するステップは、隣接係数がゼロの値を持つかどうかに基づく
方法。
7.上記6.に記載の方法であって、
係数の各グループに対して、2つの候補コンテキスト変数が存在する
方法。
8.上記6.又は7.に記載の方法であって、
水平空間周波数が、配列内において左から右へ増え、かつ、垂直空間周波数が配列内に
おいて上から下に増えるように、配列内において係数が順番付けられ、
現在のグループの右及び下の両グループが、非ゼロ係数データを含む場合、一方のコン
テキスト変数が、選択ステップによって、スキャン順で、現在のグループの第1のm係数
に割り当てられ、他方のコンテキスト係数が、現在のグループの残留係数に割り当てられ

現在のグループの右のグループが非ゼロデータを有するが、現在のグループの下のグル
ープが有しない場合、一方のコンテキスト変数が、選択ステップによって、現在のグルー
プの上半分に割り当てられ、他方のコンテキスト変数が、現在のグループの残留係数に割
り当てられ、
現在のグループの下のグループが非ゼロデータを有するが、現在のグループの右のグル
ープが有しない場合、一方のコンテキスト変数が選択ステップによって、現在のグループ
の第1のp係数にスキャン順で割り当てられ、他方のコンテキスト係数が現在のグループ
の残留係数に割り当てられ、
現在のグループの下のグループが非ゼロデータを有しておらず、現在のグループの右の
グループも有していない場合、一方のコンテキスト変数が選択ステップによって、スキャ
ン順で現在のグループの第1のp係数に割り当てられ、他方のコンテキスト変数が現在の
残留係数に割り当てられ、
ここで、m及びpは整数であり、mはpと等しくない
方法。
9. 上記8.に記載の方法であって、
現在のグループは、サブ配列8×2又は2×8係数を含み、m=13、p=6である
方法。
10.上記6.〜9.のうちいずれか1つに記載の方法であって、
現在のグループに隣接する係数のグループが、まだ周波数分離されていない場合、選択
ステップは、現在のグループの係数ためのコンテキスト変数を選択する目的で、ゼロ値を
グループに対して割り当てる
方法。
11.上記6.〜9.のうちいずれか1つに記載の方法であって、現在のグループに隣接
する係数の第1のグループが、まだ周波数分離されていない場合が、現在のグループに近
接する第2のグループが周波数分離されている場合、現在のグループにおける係数のため
のコンテキスト係数を選択する目的で、第2のグループの値の、第1のグループへの割り
当てを選択する
方法。
12.上記各項のうちいずれか1つに記載された方法であって、
サンプルのブロックが少なくとも1次元に、少なくとも8サンプルのサイズを有する
方法。
13.上記各項のうちいずれか1つに記載の方法であって、
少なくとも幾つかのサンプルブロックは、正方形である
方法。
14.上記各項のうちいずれか1つに記載の方法であって、
少なくとも幾つかのサンプルブロックは、非正方形である
方法。
15.ビデオデータ符号化方法であって、
他の各参照サンプル又は値から、画像のルミナンス及び/又はクロミナンスサンプルの
ブロックを予測し、
ブロック内のサンプル及び各予測サンプルの差を検出し、
各ブロックに対応する検出された差を周波数分離して、係数によって表された空間周波
数に応じて順序付けられた周波数分離係数の対応する配列を生成し、1つの係数は、ブロ
ックの値を表し、
特定の係数値を持つ係数の確率を示すコンテキスト変数に関する係数を符号化するコン
テキスト算術コードを使用して、周波数分離係数をエントロピ符号化し、
エントロピ符号化において、
各配列を2以上の係数グループに分割し、グループは、非正方形サブ配列であり、
dc係数へのコンテキスト係数の割り当てを繰り返して位置させずに、正方形サブ配列
に摘要可能なコンテキスト変数を繰り返して位置させることによって、係数によって表さ
れる空間周波数に応じて、非正方形サブ配列について生成された各係数を符号化するため
に、コンテキスト変数の割り当てを生成する
方法。
16.上記15.に記載の方法であって、
非正方形ブロックについて、dc係数に割り当てられたコンテキスト変数は、他のどの
係数にも割り当てられない
方法。
17.コンピュータにより実行されると、コンピュータに、上記各項のうちいずれか1つ
に記載された方法を実行させるプログラム。
18.上記17.に記載のプログラムを記憶する、コンピュータ読み取り可能な非一時的
記録媒体。
19.上記1.〜16.のうちいずれか一つの方法によって生成された符号化データを含
むデータ信号。
20. ビデオデータ符号化装置であって、
他の各参照サンプル又は値から、画像のルミナンス及び/又はクロミナンスサンプルの
ブロックを予測する予測部と、
ブロックにおけるサンプル及び各予測サンプル間の差を検出する検出部と、
各ブロックについての検出された差を周波数分離して、係数によって表される空間周波
数の増加に応じて順番付けられた空間分離係数の対応する配列を生成する変換部と、
特定の係数値を持つ係数の確率を示すコンテキスト変数について、係数を符号化するコ
ンテキスト適応算術コードを使用して、周波数分離係数をエントロピ符号化するエントロ
ピ符号化部とを具備し、
エントロピ符号化部は、
各配列を2以上の係数グループに分割し、グループは、非正方形サブ配列であり、
係数によって表される空間周波数に応じて、かつ、配列又はサンプルの近接ブロックに
対応する配列における係数の1以上の隣接グループにおける係数の値に基づいて、係数を
符号化するためのコンテキスト変数を選択する
装置。
21.ビデオデータ符号化装置であって、
他の各参照サンプル又は値から、画像のルミナンス及び/又はクロミナンスサンプルの
ブロックを予測する予測部と、
ブロック内のサンプル及び各予測サンプルの差を検出する検出部と、
各ブロックについての検出された差を周波数分離して、係数によって表される空間周波
数の増加に応じて順番付けられた空間分離係数の対応する配列を生成する変換部と、

各ブロックに対応する検出された差を周波数分離して、係数によって表された空間周波
数に応じて順序付けられた周波数分離係数の対応する配列を生成し、1つの係数は、ブロ
ックの値を表す変換部と、
特定の係数値を持つ係数の確率を示すコンテキスト変数に関する係数を符号化するコン
テキスト算術コードを使用して、周波数分離係数をエントロピ符号化するエントロピ符号
化部と、
エントロピ符号化部は、
各配列を2以上の係数グループに分割し、グループは、非正方形サブ配列であり、
dc係数へのコンテキスト係数の割り当てを繰り返して位置させずに、正方形サブ配列
に摘要可能なコンテキスト変数を繰り返して位置させることによって、係数によって表さ
れる空間周波数に応じて、非正方形サブ配列について生成された各係数を符号化するため
に、コンテキスト変数の割り当てを生成する
装置。
22.上記21.または22.を備えるビデオ記憶、送信、キャプチャ又は表示装置。
さらに、各実施形態が以下の項によって定義される。
1. ビデオデータ符号化又は復号化法であって、
画像のルミナンス及びクロミナンスサンプルが、予測されるサンプルに関連づけられた
予測モードに応じて、同じ画像から抽出された他の各参照サンプルから予測され、クロミ
ナンスサンプルが第1及び第2のクロミナンス要素を含み、
少なくとも幾つかのサンプルについて、画像領域に対応する各ルミナンス及びクロミナ
ンス要素で同じ予測モードを選択する
方法。
2. ビデオデータ符号化又は復号化法であって、
画像のルミナンス及びクロミナンスサンプルが、予測されるサンプルに関連づけられた
予測モードに応じて、同じ画像から抽出された他の各参照サンプルから予測され、クロミ
ナンスサンプルが第1及び第2のクロミナンス要素を含み、
少なくとも幾つかのサンプルについて、画像領域に対応する各ルミナンス及びクロミナ
ンス要素で異なる予測モードを選択する
3.上記1.または2.に記載の方法であって、
画像領域に対応する各ルミナンス及びクロミナンス要素で同じ予測モード又は異なる予
測モードを選択し、選択は、画像シーケンス、画像、又は画像領域に応じて行われる
方法。
4.上記3.に記載の方法であって、
符号化動作において、
ルミナンス及びクロミナンス要素で同じ予測モードを使用して、画像領域の第1の試行
符号化を実行し、
ルミナンス及びクロミナンス要素で異なる予測モードを使用して、画像領域の第2の試
行符号化を実行し、
第1及び第2の試行符号化によって符号化されたデータに基づいて、ピックチャシーケ
ンス、ピクチャ、又はピクチャ領域で使用するための、同じ予測モード又は異なる予測モ
ードを選択する
方法。
5. 上記4.に記載の方法であって、
第1及び第2の試行符号化によって符号化されたデータの1以上の所定の特性を検出し

検出された1以上の特性に基づいて、ピックチャシーケンス、ピクチャ、又はピクチャ
領域で使用するための、同じ予測モード又は異なる予測モードを選択する
方法。
6.1以上の特性は、
画像ノイズ
画像歪み、及び
画像データ品質
により構成される組から選択された特性を含む
方法。
7. 上記4〜6.のうちいずれか1つに記載の方法であって、
選択は、個々の画像スライス又は画像ブロックについて行われる
方法。
8.上記4〜7.のうちいずれか1つに記載の方法であって、
同じ予測モード及び異なる予測モードのどちらが使用されるかを示す符号化されたビデ
オ信号に情報を関連づけ、同じ予測モードが用いられる場合、単予測モードを識別し、ま
たは、異なる予測モードである場合、それらの異なる予測モードを識別する
方法。
9. 上記1.〜3のうちいずれかに記載の方法であって、
復号化のためのビデオデータに関連づけられた情報を検出し、情報は、同じ予測モード
又は異なる予測モードが復号化のためのビデオデータに関連付けられているかどうかを定
義する
方法。
10.上記各項のうちいずれか1つに記載の方法であって、
画像は、4:2:2又は4:4:4ビデオ信号の一部を形成する
方法。
11.コンピュータにより実行されると、コンピュータに、上記各項のうちいずれか1つ
に記載された方法を実行させるプログラム。
12.上記11.に記載のプログラムを記憶する、コンピュータ読み取り可能な非一時的
記録媒体。
13.上記1.〜10.のうちいずれか一つの方法によって生成された符号化データを含
むデータ信号。
14. ビデオデータ符号化又は復号化装置であって、
画像のルミナンス及びクロミナンスサンプルが、予測されるサンプルに関連づけられた
予測モードに応じて、同じ画像から抽出された他の各参照サンプルから予測され、クロミ
ナンスサンプルが第1及び第2のクロミナンス要素を含み、
少なくとも幾つかのサンプルについて、画像領域に対応する各ルミナンス及びクロミナ
ンス要素で同じ予測モードを選択する制御部
を具備する装置。
15. ビデオデータ符号化又は復号化装置であって、
画像のルミナンス及びクロミナンスサンプルが、予測されるサンプルに関連づけられた
予測モードに応じて、同じ画像から抽出された他の各参照サンプルから予測され、クロミ
ナンスサンプルが第1及び第2のクロミナンス要素を含み、
少なくとも幾つかのサンプルについて、画像領域に対応する各ルミナンス及びクロミナ
ンス要素で異なる予測モードを選択する制御部
を具備する装置。
16.上記14.又は15.に記載の装置であって、
制御部は、画像シーケンス、画像、又は画像領域に応じて、画像領域に対応する各ルミ
ナンス及びクロミナンス要素で同じ予測モード又は異なる予測モードを選択する
装置。
17.上記14〜16.のうちいずれか1つの装置を含むビデオ記憶、送信、キャプチャ
、又は表示装置。

Claims (15)

  1. 受信されたビットストリームから、データにおいてイントラ予測が有効化されているかどうかを検出し、かつ、前記ビットストリームにおいて表された、サンプルのブロックの予測モードを検出するパラメータ検出部と、
    周波数係数をスキャンするための複数のスキャンパターンからスキャンパターンを決定する選択部であって、前記スキャンパターンは、マッピングにより前記予測モードと関連付けられ、前記マッピングは、クロミナンスサンプルとルミナンスサンプルとで異なり、前記クロミナンスサンプル及び前記ルミナンスサンプルは、ブロック内に配置され、前記クロミナンスサンプルのブロックは、前記ルミナンスサンプルのブロックとは異なるアスペクト比を有する、選択部と、
    前記予測モードに依存する決定されたスキャンパターンの順番で、前記クロミナンスサンプルのブロック及び前記ルミナンスサンプルのブロックを表す周波数係数をスキャンし、前記ビットストリームからのビデオデータを復号化する復号化部と
    を具備するデータ復号化装置。
  2. 請求項1に記載のデータ復号化装置であって、
    前記パラメータ検出部は、前記イントラ予測が有効化されているかどうかを示し、かつ、サンプルのブロックの前記予測モードを示す前記ビットストリームにおけるパラメータ情報を検出する
    データ復号化装置。
  3. 請求項1に記載のデータ復号化装置であって、
    前記マッピングは、ルックアップテーブル内の記憶されたデータである
    データ復号化装置。
  4. 請求項1に記載のデータ復号化装置であって、
    前記復号化部は、さらに、前記ビデオデータの復号化の一部としてフィルタリングを適用する
    データ復号化装置。
  5. 請求項1に記載のデータ復号化装置であって、
    サンプルのブロックの前記予測モードは、予測方向である
    データ復号化装置。
  6. 請求項5に記載のデータ復号化装置であって、
    前記予測モードは、33方向の予測方向から選択される
    データ復号化装置。
  7. 請求項1に記載のデータ復号化装置であって、
    前記選択部は、略垂直な予測モードについて水平スキャンパターンを決定し、略水平な予測モードについて垂直スキャンパターンを決定し、その他の予測モードについて斜めスキャンパターンを決定する
    データ復号化装置。
  8. 請求項1に記載のデータ復号化装置であって、
    前記ビットストリームは、4:2:2ビデオデータを表し、前記マッピングは、前記ルミナンスサンプルの4:2:2ブロックと、前記クロミナンスサンプルの4:2:2ブロックとで異なる
    データ復号化装置。
  9. 請求項8に記載のデータ復号化装置であって、
    前記ルミナンスサンプルのブロックは、8×8ブロックであり、前記クロミナンスサンプルのブロックは、4×8ブロックである
    データ復号化装置。
  10. 請求項8に記載のデータ復号化装置であって、
    前記ルミナンスサンプルの4:2:2ブロック及び前記クロミナンスサンプルの4:2:2ブロックは、変換ユニットである
    データ復号化装置。
  11. 受信されたビットストリームから、データにおいてイントラ予測が有効化されているかどうか検出し、
    前記ビットストリームにおいて表された、サンプルのブロックの予測モードを検出し、
    周波数係数をスキャンするための複数のスキャンパターンからスキャンパターンを決定し、前記スキャンパターンは、マッピングにより前記予測モードと関連付けられ、前記マッピングは、前記クロミナンスサンプルと前記ルミナンスサンプルとで異なり、前記クロミナンスサンプル及び前記ルミナンスサンプルは、ブロック内に配置され、前記クロミナンスサンプルのブロックは、前記ルミナンスサンプルのブロックとは異なるアスペクト比を有し、
    前記予測モードに依存する決定されたスキャンパターンの順番で、前記クロミナンスサンプルのブロック及び前記ルミナンスサンプルのブロックを表す周波数係数をスキャンし、
    前記ビットストリームからのビデオデータを復号化する
    データ復号化方法。
  12. 請求項11に記載のデータ復号化方法であって、
    略垂直な予測モードについて水平スキャンパターンを決定し、略水平な予測モードについて垂直スキャンパターンを決定し、その他の予測モードについて斜めスキャンパターンを決定する
    データ復号化方法。
  13. 請求項11に記載のデータ復号化方法であって、
    前記ビットストリームは、4:2:2ビデオデータを表し、前記マッピングは、前記ルミナンスサンプルの4:2:2ブロックと、前記クロミナンスサンプルの4:2:2ブロックとで異なる
  14. コンピュータにより実行されると、請求項11〜13のうちいずれか1項に記載のデータ復号化方法を前記コンピュータに実行させる
    プログラム。
  15. 請求項1〜10のうちいずれか1項に記載のデータ復号化装置を含む、ビデオ記憶装置、ビデオ受信装置、ビデオキャプチャ装置、又は、ビデオ表示装置。
JP2016227411A 2012-04-26 2016-11-24 データ符号化及び復号化 Active JP6231647B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
GB1207459.7A GB2501535A (en) 2012-04-26 2012-04-26 Chrominance Processing in High Efficiency Video Codecs
GB1207459.7 2012-04-26
GB1211623.2 2012-06-29
GB1211629.9 2012-06-29
GB1211628.1A GB2501556A (en) 2012-04-26 2012-06-29 Encoding / Decoding Video Data Using Selected Frequency Separation Transform in HEVC
GB1211629.9A GB2501557A (en) 2012-04-26 2012-06-29 Entropy Encoding Frequency Separated Residuals in HEVC
GB1211628.1 2012-06-29
GB1211623.2A GB2501555A (en) 2012-04-26 2012-06-29 Selecting the Same or Different Prediction Modes for Luminance and Chrominance Samples of a Video Sequence Image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015507602A Division JP6050478B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017202338A Division JP6407389B2 (ja) 2012-04-26 2017-10-19 データ符号化及び復号化

Publications (2)

Publication Number Publication Date
JP2017055444A JP2017055444A (ja) 2017-03-16
JP6231647B2 true JP6231647B2 (ja) 2017-11-15

Family

ID=46330504

Family Applications (11)

Application Number Title Priority Date Filing Date
JP2015507590A Pending JP2015518339A (ja) 2012-04-26 2013-04-08 データ符号化及び復号化
JP2015507601A Active JP5986294B2 (ja) 2012-04-26 2013-04-26 ビデオ符号化、復号化におけるクロミナンス処理方法及び処理装置
JP2015507602A Active JP6050478B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507605A Active JP5965054B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507603A Active JP6328613B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507604A Active JP6128707B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2016129527A Active JP6325606B2 (ja) 2012-04-26 2016-06-30 データ符号化及び復号化
JP2016227411A Active JP6231647B2 (ja) 2012-04-26 2016-11-24 データ符号化及び復号化
JP2017202338A Active JP6407389B2 (ja) 2012-04-26 2017-10-19 データ符号化及び復号化
JP2018077039A Active JP6606794B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化
JP2018077038A Active JP6503492B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化

Family Applications Before (7)

Application Number Title Priority Date Filing Date
JP2015507590A Pending JP2015518339A (ja) 2012-04-26 2013-04-08 データ符号化及び復号化
JP2015507601A Active JP5986294B2 (ja) 2012-04-26 2013-04-26 ビデオ符号化、復号化におけるクロミナンス処理方法及び処理装置
JP2015507602A Active JP6050478B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507605A Active JP5965054B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507603A Active JP6328613B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507604A Active JP6128707B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2016129527A Active JP6325606B2 (ja) 2012-04-26 2016-06-30 データ符号化及び復号化

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2017202338A Active JP6407389B2 (ja) 2012-04-26 2017-10-19 データ符号化及び復号化
JP2018077039A Active JP6606794B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化
JP2018077038A Active JP6503492B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化

Country Status (13)

Country Link
US (20) US9948929B2 (ja)
EP (8) EP2842321A2 (ja)
JP (11) JP2015518339A (ja)
KR (6) KR20170041288A (ja)
CN (14) CN104285445A (ja)
AU (5) AU2013254444B2 (ja)
BR (3) BR112014026021B1 (ja)
CA (6) CA3028883C (ja)
GB (13) GB2501535A (ja)
MX (3) MX343351B (ja)
RU (4) RU2599935C2 (ja)
TW (5) TWI611689B (ja)
WO (9) WO2013160656A2 (ja)

Families Citing this family (217)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2857849C (en) * 2010-04-23 2020-02-11 Soo Mi Oh Apparatus and method for encoding a moving picture
PL4124034T3 (pl) * 2010-12-22 2024-01-03 Lg Electronics Inc. Predykcja wewnątrzramkowa w kodowaniu wideo
US10645398B2 (en) * 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
EP2777250B1 (en) 2011-11-07 2017-05-31 Intel Corporation Cross-channel residual prediction
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9332257B2 (en) 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
AU2013344305A1 (en) * 2012-11-08 2015-03-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
EP3697092B1 (en) 2013-03-29 2021-09-29 JVCKENWOOD Corporation Image decoding device, image decoding method, and image decoding program
AU2013202653A1 (en) * 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
CN113259683B (zh) * 2013-04-08 2024-08-23 Ge视频压缩有限责任公司 分量间预测
GB2513111A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
GB2513110A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
EP2936816B1 (en) * 2013-04-09 2020-04-29 MediaTek Singapore Pte Ltd. Method and apparatus for non-square intra mode coding
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
US10171818B2 (en) * 2013-07-24 2019-01-01 Microsoft Technology Licensing, Llc Scanning orders for non-transform coding
US9510002B2 (en) * 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
WO2015054813A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
JP6336058B2 (ja) 2013-10-14 2018-06-06 マイクロソフト テクノロジー ライセンシング,エルエルシー ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
KR101530782B1 (ko) * 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR102336932B1 (ko) * 2013-12-27 2021-12-08 소니그룹주식회사 화상 처리 장치 및 방법
BR112016015080A2 (pt) 2014-01-03 2017-08-08 Microsoft Technology Licensing Llc Predição de vetor de bloco em codificação / decodificação de vídeo e imagem
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
JP5897159B2 (ja) * 2014-02-25 2016-03-30 キヤノン株式会社 表示装置及びその制御方法
CN106062779B (zh) 2014-03-03 2019-09-20 索尼公司 针对rext中的强帧内平滑
MX361228B (es) 2014-03-04 2018-11-29 Microsoft Technology Licensing Llc Inversión de bloque y modo de omisión en predicción de intracopia de bloque.
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックIpマネジメント株式会社 動画像符号化装置および動画像符号化方法
JP6653860B2 (ja) * 2014-05-26 2020-02-26 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
EP3158734A1 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
WO2016006894A1 (ko) * 2014-07-06 2016-01-14 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
EP3917146A1 (en) 2014-09-30 2021-12-01 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
GB2532420A (en) 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
EP3051818A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
US10057587B2 (en) * 2015-01-31 2018-08-21 Qualcomm Incorporated Coding escape pixels for palette mode coding
CN107211149A (zh) * 2015-02-05 2017-09-26 联发科技股份有限公司 调色板语法的解码操作装置与方法
EP3264771A4 (en) * 2015-02-27 2018-08-29 KDDI Corporation Coding device and decoding device
US10291932B2 (en) * 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search
WO2016145162A2 (en) * 2015-03-12 2016-09-15 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations
CN107409208B (zh) * 2015-03-27 2021-04-20 索尼公司 图像处理装置、图像处理方法以及计算机可读存储介质
EP3286917A1 (en) * 2015-05-21 2018-02-28 Huawei Technologies Co. Ltd. Apparatus and method for video motion compensation
KR102539009B1 (ko) * 2015-06-08 2023-05-31 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
FR3038484B1 (fr) * 2015-07-01 2017-07-28 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
GB2557809B (en) 2015-08-28 2021-12-01 Kt Corp Method and device for processing video signal
WO2017041271A1 (en) * 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
CN108028923B (zh) * 2015-09-10 2021-08-20 Lg电子株式会社 视频编码系统中的帧内预测方法和设备
US20180302629A1 (en) * 2015-10-30 2018-10-18 Sony Corporation Image processing apparatus and method
CN109076237A (zh) * 2015-11-18 2018-12-21 联发科技股份有限公司 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
WO2017090993A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
EP3412028B1 (en) 2016-02-12 2024-04-03 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
EP3414902A1 (en) * 2016-02-12 2018-12-19 Thomson Licensing A method and device for intra-predictive encoding/decoding a coding unit comprising picture data, said intra-predictive encoding depending on a prediction tree and a transform tree
SG11201806811TA (en) 2016-02-12 2018-09-27 Huawei Tech Co Ltd Method and apparatus for scan order selection
EP3220643A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
US10567759B2 (en) * 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
US20170332103A1 (en) * 2016-05-13 2017-11-16 Intel Corporation Interleaving luma and chroma coefficients to reduce the intra prediction loop dependency in video encoders and decoders
US10567808B2 (en) * 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
EP3466072A4 (en) * 2016-05-27 2019-04-10 Sharp Kabushiki Kaisha SYSTEMS AND METHOD FOR VARIATING QUANTIZING PARAMETERS
WO2017209455A2 (ko) * 2016-05-28 2017-12-07 세종대학교 산학협력단 비디오 신호의 부호화 또는 복호화 방법 및 장치
CN113727109B (zh) * 2016-05-28 2023-12-29 寰发股份有限公司 用于彩色视频数据的调色板模式编解码的方法及装置
US11039147B2 (en) 2016-05-28 2021-06-15 Mediatek Inc. Method and apparatus of palette mode coding for colour video data
US10687003B2 (en) 2016-08-04 2020-06-16 Omnivision Technologies, Inc. Linear-logarithmic image sensor
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10368107B2 (en) * 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
CN116405671A (zh) 2016-09-20 2023-07-07 株式会社Kt 用于对视频进行解码和编码的方法以及传输方法
US20200036985A1 (en) * 2016-09-30 2020-01-30 Lg Electronics Inc. Method and apparatus for block partitioning and intra prediction in image coding system
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
US20190342545A1 (en) * 2016-10-28 2019-11-07 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus for same
WO2018080122A1 (ko) 2016-10-28 2018-05-03 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
US20180176582A1 (en) 2016-12-21 2018-06-21 Qualcomm Incorporated Low-complexity sign prediction for video coding
KR102574714B1 (ko) 2016-12-23 2023-09-06 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트를 확장하기 위한 인트라 예측 장치
KR102371266B1 (ko) 2016-12-23 2022-03-07 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트로부터 방향성 인트라 예측 모드를 제거하기 위한 인트라 예측 장치
HUE062025T2 (hu) * 2016-12-23 2023-09-28 Huawei Tech Co Ltd Kódoló berendezés egy kiterjesztési irányú intra-predikciós mód jelzésére irányított intra-predikciós módok csoportján belül
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
EP3606072A4 (en) 2017-03-31 2020-07-22 Panasonic Intellectual Property Corporation of America IMAGE CODING DEVICE, IMAGE DECODING DEVICE, IMAGE CODING METHOD AND IMAGE DECODING METHOD
CN110622511B (zh) * 2017-04-13 2022-04-15 Lg 电子株式会社 图像编码/解码方法及其设备
US10939137B2 (en) * 2017-04-28 2021-03-02 Sharp Kabushiki Kaisha Image decoding device and image encoding device
CN108989820B (zh) * 2017-06-03 2022-07-05 上海天荷电子信息有限公司 各阶段采用各自相应色度采样格式的数据压缩方法和装置
JP7406378B2 (ja) * 2017-06-21 2023-12-27 ヴィド スケール インコーポレイテッド 360度ビデオ符号化のための適応的量子化
CN117440151A (zh) * 2017-07-06 2024-01-23 Lx 半导体科技有限公司 图像解码方法、图像编码方法、发送方法和数字存储介质
US10567772B2 (en) * 2017-07-11 2020-02-18 Google Llc Sub8×8 block processing
CN109274969B (zh) 2017-07-17 2020-12-22 华为技术有限公司 色度预测的方法和设备
CN115550651A (zh) * 2017-07-31 2022-12-30 韩国电子通信研究院 对图像编码和解码的方法及存储比特流的计算机可读介质
CN107483934B (zh) * 2017-08-17 2019-12-10 西安万像电子科技有限公司 编解码方法、装置和系统
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
RU2669874C1 (ru) * 2017-09-15 2018-10-16 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" (ФГУП "ГосНИИАС") Способы и устройство сжатия изображений. Способ и устройство восстановления изображений
CN117221555A (zh) 2017-09-21 2023-12-12 株式会社Kt 视频信号处理方法及装置
KR102488330B1 (ko) * 2017-10-09 2023-01-12 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US10812798B2 (en) * 2017-10-19 2020-10-20 Qualcomm Incorporated Chroma quantization parameter (QP) offset
US10368071B2 (en) * 2017-11-03 2019-07-30 Arm Limited Encoding data arrays
EP3490253A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Encoding and decoding methods and corresponding devices
CN108063947B (zh) * 2017-12-14 2021-07-13 西北工业大学 一种基于像素纹理的无损参考帧压缩方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11825117B2 (en) 2018-01-15 2023-11-21 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, and decoding method and apparatus therefor
GB2570711B (en) * 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
US11069026B2 (en) 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
CN116347074A (zh) 2018-03-09 2023-06-27 韩国电子通信研究院 使用样点滤波的图像编码/解码方法和设备
JP6982525B2 (ja) * 2018-03-16 2021-12-17 Kddi株式会社 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム
US11438577B2 (en) 2018-03-25 2022-09-06 B1 Institute Of Image Technology, Inc. Image encoding/decoding method and device
CN111937398B (zh) * 2018-03-30 2023-04-21 索尼公司 图像处理装置和方法
EP3688986B1 (en) * 2018-04-01 2021-10-27 LG Electronics Inc. An image coding method based on a quantization parameter derivation
CN111919446B (zh) 2018-04-02 2022-10-28 夏普株式会社 解码视频图片中的当前视频块的方法
US11259023B2 (en) * 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding
CN117834858A (zh) * 2018-04-24 2024-04-05 三星电子株式会社 视频编码方法和装置以及视频解码方法和装置
US11449256B2 (en) 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
US10949087B2 (en) 2018-05-15 2021-03-16 Samsung Electronics Co., Ltd. Method for rapid reference object storage format for chroma subsampled images
WO2019234605A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Extended quad-tree with asymmetric sub-blocks and different tree for chroma
CA3104611C (en) * 2018-06-29 2023-12-19 Huawei Technologies Co., Ltd. Device and method for intra-prediction
US10284860B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
CN112425161A (zh) * 2018-07-11 2021-02-26 英迪股份有限公司 基于帧内预测的视频编码方法和装置
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
AU2018436324B2 (en) * 2018-08-09 2022-12-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video image component prediction method and apparatus, and computer storage medium
WO2020036132A1 (ja) * 2018-08-15 2020-02-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
CN112771865A (zh) * 2018-08-23 2021-05-07 交互数字Vc控股法国公司 使用参数化模型对量化矩阵进行编解码
CN110876061B (zh) * 2018-09-03 2022-10-11 华为技术有限公司 色度块预测方法及装置
CN118524204A (zh) 2018-09-19 2024-08-20 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
WO2020060077A1 (ko) * 2018-09-20 2020-03-26 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10469845B1 (en) * 2018-09-21 2019-11-05 Tencent America, Llc Method and apparatus for intra mode coding
WO2020060449A1 (en) * 2018-09-23 2020-03-26 Huawei Technologies Co., Ltd. Method and apparatus for intra reference sample interpolation filter switching
US11303904B2 (en) * 2018-09-28 2022-04-12 Qualcomm Incorporated Rectangular block transform scaling
US11178397B2 (en) * 2018-10-09 2021-11-16 Mediatek Inc. Method and apparatus of encoding or decoding using reference samples determined by predefined criteria
US11140404B2 (en) 2018-10-11 2021-10-05 Tencent America LLC Method and apparatus for video coding
CN118612424A (zh) * 2018-10-22 2024-09-06 松下电器(美国)知识产权公司 编码装置、解码装置、发送装置以及非暂时性存储介质
WO2020085955A1 (en) * 2018-10-26 2020-04-30 Huawei Technologies Co., Ltd. Method and apparatus for reference sample filtering
EP3861736A4 (en) 2018-11-06 2022-03-30 Beijing Bytedance Network Technology Co., Ltd. POSITION DEPENDENT INTRAPREDICTION
WO2020094153A1 (en) * 2018-11-09 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Component based loop filter
TWI729569B (zh) * 2018-11-16 2021-06-01 聯發科技股份有限公司 帶有約束的亮度-色度單獨的編碼樹編碼的方法和設備
US11438583B2 (en) * 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
WO2020111843A1 (ko) * 2018-11-28 2020-06-04 주식회사 윌러스표준기술연구소 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
WO2020108591A1 (en) 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
WO2020116455A1 (ja) * 2018-12-07 2020-06-11 シャープ株式会社 予測画像生成装置、動画像復号装置、動画像符号化装置、および予測画像生成方法
EP3890321A4 (en) * 2018-12-15 2022-05-11 Huawei Technologies Co., Ltd. IMAGE RECONSTRUCTION METHOD AND APPARATUS
JP2020098984A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
CN113412624A (zh) * 2018-12-21 2021-09-17 北京达佳互联信息技术有限公司 用于推导针对色度分量的仿射运动矢量的视频编解码的方法和装置
EP3895423A4 (en) * 2018-12-23 2022-06-22 Huawei Technologies Co., Ltd. ENCODER, DECODER AND RELATED METHODS USING AN ADAPTIVE LOOP FILTER
BR112021016925A2 (pt) 2019-02-27 2021-11-03 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes
US20200288130A1 (en) * 2019-03-07 2020-09-10 Qualcomm Incorporated Simplification of sub-block transforms in video coding
EP3935860A1 (en) * 2019-03-08 2022-01-12 Canon Kabushiki Kaisha An adaptive loop filter
EP3918800A4 (en) 2019-03-08 2022-07-06 Beijing Bytedance Network Technology Co., Ltd. SIGNALING TRANSFORMATION INFORMATION IN VIDEO PROCESSING
CN117676139A (zh) * 2019-03-11 2024-03-08 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码
AU2019201653A1 (en) 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
EP3888361B1 (en) * 2019-03-24 2024-04-24 Huawei Technologies Co., Ltd. Method and apparatus for chroma intra prediction in video coding
JP7480170B2 (ja) * 2019-03-25 2024-05-09 オッポ広東移動通信有限公司 画像予測方法、エンコーダー、デコーダー及び記憶媒体
WO2020207502A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Most probable mode list construction for matrix-based intra prediction
CN113767623B (zh) * 2019-04-16 2024-04-02 北京字节跳动网络技术有限公司 用于视频编解码的自适应环路滤波
AU2020258920B2 (en) 2019-04-16 2023-06-29 Lg Electronics Inc. Transform in intra prediction-based image coding
BR112021019564A2 (pt) * 2019-04-18 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
US10764507B1 (en) 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
AU2020263199B2 (en) 2019-04-23 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
EP4346205A3 (en) * 2019-04-26 2024-04-24 Huawei Technologies Co., Ltd. Method and apparatus for signaling of mapping function of chroma quantization parameter
US20220217366A1 (en) * 2019-04-27 2022-07-07 Wilus Institute Of Standards And Technology Inc. Method and device for processiong video signal on basis of intra prediction
CN110266316B (zh) * 2019-05-08 2023-02-21 创新先进技术有限公司 一种数据压缩、解压方法、装置和设备
CN117221558A (zh) 2019-05-08 2023-12-12 北京字节跳动网络技术有限公司 跨分量编解码的适用性条件
BR112021022307A2 (pt) 2019-05-13 2021-12-28 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador
WO2020228716A1 (en) * 2019-05-13 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Usage of transquant bypass mode for multiple color components
KR20200132753A (ko) * 2019-05-15 2020-11-25 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
CN113853787B (zh) 2019-05-22 2023-12-22 北京字节跳动网络技术有限公司 基于子块使用变换跳过模式
CN113924775B (zh) 2019-05-31 2023-11-14 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的限制的上采样
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
KR102594692B1 (ko) 2019-06-11 2023-10-26 엘지전자 주식회사 크로마 성분에 대한 영상 디코딩 방법 및 그 장치
KR102594690B1 (ko) 2019-06-11 2023-10-26 엘지전자 주식회사 크로마 양자화 파라미터 데이터 기반 영상 디코딩 방법 및 그 장치
TW202106017A (zh) * 2019-06-21 2021-02-01 法商內數位Vc控股法國公司 用於視訊編碼及解碼的單一索引量化矩陣設計
EP3973707A4 (en) 2019-06-22 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CHROMA REST SCALE SYNTAX ELEMENT
JP7030246B2 (ja) * 2019-06-25 2022-03-04 日本放送協会 イントラ予測装置、画像復号装置、及びプログラム
US11368693B2 (en) * 2019-07-01 2022-06-21 Sony Group Corporation Forward and inverse quantization for point cloud compression using look-up tables
CN116668699A (zh) 2019-07-05 2023-08-29 Lg电子株式会社 图像编码/解码设备和图像数据的发送方法
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
CN117241033A (zh) 2019-08-06 2023-12-15 北京字节跳动网络技术有限公司 使用屏幕内容编码工具进行视频编码和解码
JP7494289B2 (ja) 2019-08-15 2024-06-03 バイトダンス インコーポレイテッド 異なるパーティション構造をもつパレット・モード
CN117395420A (zh) 2019-08-15 2024-01-12 字节跳动有限公司 用于调色板逸出符号的熵编解码
CN117319649A (zh) * 2019-08-20 2023-12-29 北京字节跳动网络技术有限公司 经变换跳过的块的残差编解码
WO2021040251A1 (en) * 2019-08-23 2021-03-04 Samsung Electronics Co., Ltd. Intra prediction method and device using the same, encoding and decoding method and device using the same based on intra prediction
CN118764623A (zh) * 2019-08-27 2024-10-11 现代自动车株式会社 利用差分编码的视频编码和解码
CN114342400B (zh) 2019-09-02 2024-06-28 北京字节跳动网络技术有限公司 基于色彩格式的编解码模式确定
KR20220058534A (ko) * 2019-09-14 2022-05-09 바이트댄스 아이엔씨 크로마 디블로킹 필터링을 위한 양자화 파라미터
JP7232160B2 (ja) * 2019-09-19 2023-03-02 Tvs Regza株式会社 画質回路、映像処理装置および信号特徴検出方法
BR112022005150A2 (pt) * 2019-09-19 2022-06-14 Bytedance Inc Método de processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
KR20220065758A (ko) * 2019-09-20 2022-05-20 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 코딩 블록의 스케일링 프로세스
JP7332795B2 (ja) 2019-09-21 2023-08-23 北京字節跳動網絡技術有限公司 クロマ・イントラモードのベースとなるサイズ制約
CN114667734A (zh) * 2019-09-23 2022-06-24 阿里巴巴集团控股有限公司 通过重采样执行运动补偿插值的滤波器
WO2021061018A1 (en) 2019-09-24 2021-04-01 Huawei Technologies Co., Ltd. Method and apparatus of combined intra-inter prediction
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
EP4029264A4 (en) 2019-10-14 2022-11-23 ByteDance Inc. JOINT CODING OF CHROMINANCE RESIDUE AND FILTERING IN VIDEO PROCESSING
CA3159806A1 (en) * 2019-11-01 2021-05-06 Lg Electronics Inc. Transform-based method for coding image, and device therefor
EP4066506A4 (en) * 2019-11-27 2023-12-06 Beijing Dajia Internet Information Technology Co., Ltd. DEBLOCKING FILTER FOR VIDEO CODING
EP4055827A4 (en) 2019-12-09 2023-01-18 ByteDance Inc. USING QUANTIFICATION GROUPS IN VIDEO CODING
WO2021125309A1 (ja) * 2019-12-18 2021-06-24 ソニーグループ株式会社 画像処理装置および方法
WO2021133236A1 (en) * 2019-12-24 2021-07-01 Telefonaktiebolaget Lm Ericsson (Publ) Virtual boundary processing for adaptive loop filtering
WO2021138354A1 (en) * 2019-12-30 2021-07-08 Beijing Dajia Internet Information Technology Co., Ltd. Cross component determination of chroma and luma components of video data
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
US11197001B2 (en) * 2020-02-05 2021-12-07 Tencent America LLC Method and apparatus for interactions between decoder-side intra mode derivation and adaptive intra prediction modes
WO2021222871A1 (en) * 2020-04-30 2021-11-04 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for prediction dependent residual scaling for video coding
GB2599433A (en) * 2020-10-02 2022-04-06 Sony Group Corp Data encoding and decoding
TWI776294B (zh) * 2020-11-30 2022-09-01 中華電信股份有限公司 光框架交換機
CN113099229B (zh) * 2021-02-22 2022-08-09 浙江大华技术股份有限公司 块划分方法、帧间预测方法、视频编码方法及相关装置
CN118765503A (zh) * 2022-01-05 2024-10-11 抖音视界有限公司 用于视频处理的方法、装置及介质

Family Cites Families (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602285A (en) * 1983-04-08 1986-07-22 Ampex Corporation System and method for transforming and filtering a video image
GB9013217D0 (en) * 1990-06-13 1990-08-01 Indep Broadcasting Authority Evaluation of detail in video images,and applications thereof
US5294974A (en) * 1992-07-24 1994-03-15 Matsushita Electric Corporation Of America High-definition video encoding system having color-sensitive quantization
JPH07121687A (ja) * 1993-10-20 1995-05-12 Sony Corp 画像コーデック用プロセッサおよびアクセスパターン変換方法
KR100208375B1 (ko) * 1995-12-27 1999-07-15 윤종용 동화상 부호화 방법 및 장치
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
CN1183769C (zh) * 1996-05-28 2005-01-05 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
FR2752474B1 (fr) * 1996-08-14 1998-12-31 Iona Donescu Procede de transformation du signal image sur des supports de forme arbitraire
KR100442229B1 (ko) * 1996-09-13 2004-10-08 엘지전자 주식회사 간이형hdtv비디오디코더및디코딩방법
TW366648B (en) 1996-10-24 1999-08-11 Matsushita Electric Ind Co Ltd Method of supplementing pixel signal coding device, and pixel signal decoding device
AU9388298A (en) * 1997-09-19 1999-04-12 Sony Electronics Inc. Motion compensated digital video decoding with buffered picture storage memory map
AR025609A1 (es) 1999-09-13 2002-12-04 Hoffmann La Roche Formulaciones lipidas solidas
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
JP4254147B2 (ja) * 2001-11-30 2009-04-15 ソニー株式会社 画像情報符号化方法及び装置、並びにプログラム及び記録媒体
SG152047A1 (en) * 2002-01-18 2009-05-29 Toshiba Kk Video encoding method and apparatus and video decoding method and apparatus
CN100448285C (zh) 2002-12-18 2008-12-31 索尼株式会社 信息处理设备和信息处理方法
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
CN1778118A (zh) * 2003-06-06 2006-05-24 联发科技股份有限公司 用于影像信号的格式转换及混合的装置与方法
JP4815107B2 (ja) * 2003-07-16 2011-11-16 三星電子株式会社 カラー平面間予測を利用した無損失映像符号化/復号化方法及び装置
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7193656B2 (en) * 2003-08-14 2007-03-20 Broadcom Corporation Line address computer for providing coefficients to a chroma filter
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7630435B2 (en) * 2004-01-30 2009-12-08 Panasonic Corporation Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof
KR100813958B1 (ko) 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 H.264/avc 비디오 디코더의 디블록킹 필터
KR101138392B1 (ko) * 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
US9130799B2 (en) 2005-03-23 2015-09-08 Alcatel Lucent System and method for effectuating playlist seeking with respect to digital multimedia content from a network node
WO2006118383A1 (en) * 2005-04-29 2006-11-09 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting fast fine granular scalability
KR101424969B1 (ko) * 2005-07-15 2014-08-04 삼성전자주식회사 영상 복호화 방법
CN102176754B (zh) 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
EP2733952A1 (en) 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Method for encoding moving picture using adaptive scanning
CN101496406B (zh) * 2006-03-23 2012-02-01 三星电子株式会社 图像编码/解码方法和设备
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
BRPI0719239A2 (pt) 2006-10-10 2014-10-07 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo, aparelhos para os mesmos, programas para os mesmos, e meios de armazenamento para gravação dos programas
US8121195B2 (en) 2006-11-30 2012-02-21 Lsi Corporation Memory reduced H264/MPEG-4 AVC codec
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
KR101539240B1 (ko) * 2007-06-14 2015-07-30 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
US8619853B2 (en) * 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
WO2009035149A1 (ja) * 2007-09-12 2009-03-19 Sony Corporation 画像処理装置及び画像処理方法
JP2009081579A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 動画像復号装置、および動画像復号方法
US8194741B2 (en) * 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
JP2009206911A (ja) * 2008-02-28 2009-09-10 Mitsubishi Electric Corp 動画像変換装置
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
KR101493905B1 (ko) * 2008-08-12 2015-03-02 삼성전자 주식회사 영상처리장치 및 영상처리방법
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP4952685B2 (ja) * 2008-08-26 2012-06-13 株式会社Jvcケンウッド 映像信号符号化装置
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
WO2010043809A1 (fr) * 2008-10-15 2010-04-22 France Telecom Prediction d'une image par compensation en mouvement en avant
EP2187647A1 (en) * 2008-11-12 2010-05-19 Sony Corporation Method and device for approximating a DC coefficient of a block of pixels of a frame
CN101742328B (zh) * 2008-11-14 2013-03-27 北京中星微电子有限公司 图像残差矩阵整数变换方法及装置、反变换方法及装置
US8578272B2 (en) 2008-12-31 2013-11-05 Apple Inc. Real-time or near real-time streaming
TW201028018A (en) 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
US20100178038A1 (en) * 2009-01-12 2010-07-15 Mediatek Inc. Video player
JP2010177809A (ja) * 2009-01-27 2010-08-12 Toshiba Corp 動画像符号化装置および動画像復号装置
JP5502336B2 (ja) * 2009-02-06 2014-05-28 パナソニック株式会社 映像信号符号化装置及び、映像信号符号化方法
WO2010113227A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 画像復号装置
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
US8761531B2 (en) * 2009-07-09 2014-06-24 Qualcomm Incorporated Image data compression involving sub-sampling of luma and chroma values
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US8477845B2 (en) * 2009-10-16 2013-07-02 Futurewei Technologies, Inc. Predictive adaptive scan ordering for video coding
WO2011052216A1 (ja) * 2009-10-30 2011-05-05 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
EP2495973B1 (en) * 2009-10-30 2019-02-27 Sun Patent Trust Decoding method, decoder apparatus, encoding method, and encoder apparatus
JPWO2011061880A1 (ja) 2009-11-19 2013-04-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2011080806A1 (ja) * 2009-12-28 2011-07-07 富士通株式会社 動画像符号化装置および動画像復号装置
US9736486B2 (en) * 2010-02-08 2017-08-15 Nokia Technologies Oy Apparatus, a method and a computer program for video coding
US20110200108A1 (en) * 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
CN102164284A (zh) * 2010-02-24 2011-08-24 富士通株式会社 视频解码方法和系统
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US8929440B2 (en) 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
CN102860009A (zh) * 2010-04-13 2013-01-02 松下电器产业株式会社 编码失真除去方法、编码方法、解码方法、编码失真除去装置、编码装置、及解码装置
CN102236502A (zh) 2010-04-21 2011-11-09 上海三旗通信科技有限公司 一种移动终端压力触控手势识别的人机交互方式
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
ES2820437T3 (es) * 2010-07-20 2021-04-21 Ntt Docomo Inc Método de codificación predictiva de imágenes, dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes y programa de decodificación predictiva de imágenes
PL3125552T3 (pl) * 2010-08-17 2018-09-28 M&K Holdings Inc. Sposób przywracania trybu intra-predykcji
KR101719448B1 (ko) * 2010-09-27 2017-03-23 엘지전자 주식회사 블록 분할 방법 및 복호화 장치
CN102447895B (zh) * 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
CN101938657B (zh) * 2010-10-07 2012-07-04 西安电子科技大学 高效视频编码中编码单元自适应划分方法
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
KR102696949B1 (ko) * 2010-12-08 2024-08-20 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
GB2487242A (en) * 2011-01-17 2012-07-18 Sony Corp Interpolation Using Shear Transform
JP2012186617A (ja) 2011-01-31 2012-09-27 Sony Corp 画像処理装置および方法
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
JP2012175615A (ja) 2011-02-24 2012-09-10 Sony Corp 画像処理装置及び画像処理方法
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
US9338449B2 (en) * 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
KR101753551B1 (ko) * 2011-06-20 2017-07-03 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램을 저장한 기록매체
JP5678814B2 (ja) * 2011-06-20 2015-03-04 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム
GB2492130A (en) * 2011-06-22 2012-12-26 Canon Kk Processing Colour Information in an Image Comprising Colour Component Sample Prediction Being Based on Colour Sampling Format
CN103597833A (zh) * 2011-06-22 2014-02-19 索尼公司 图像处理装置以及方法
JP5990948B2 (ja) * 2011-06-22 2016-09-14 セイコーエプソン株式会社 プロジェクター
JP5614381B2 (ja) * 2011-06-23 2014-10-29 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
CN105791835A (zh) 2011-06-23 2016-07-20 Jvc建伍株式会社 图像编码装置和图像编码方法
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20130044811A1 (en) * 2011-08-18 2013-02-21 Hyung Joon Kim Content-Based Adaptive Control of Intra-Prediction Modes in Video Encoding
JP5770378B2 (ja) * 2011-09-08 2015-08-26 モトローラ モビリティ エルエルシーMotorola Mobility Llc 係数の矩形ブロックを量子化及び逆量子化するための方法及び機器
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
GB2496197A (en) 2011-11-07 2013-05-08 Sony Corp Frequency Domain Video Data Reordering for Encoding
GB201119180D0 (en) 2011-11-07 2011-12-21 Sony Corp Data encoding and decoding
GB2496194A (en) 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
GB2496201A (en) 2011-11-07 2013-05-08 Sony Corp Context adaptive data encoding and decoding
KR101665921B1 (ko) * 2011-11-08 2016-10-12 가부시끼가이샤 도시바 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
EP2805492B1 (en) * 2012-01-19 2018-11-14 VID SCALE, Inc. System and method of video coding quantization and dynamic range control
JP5995448B2 (ja) 2012-01-19 2016-09-21 シャープ株式会社 画像復号装置、および画像符号化装置
US8581753B2 (en) * 2012-01-19 2013-11-12 Sharp Laboratories Of America, Inc. Lossless coding technique for CABAC in HEVC
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
US9106936B2 (en) * 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
US9123278B2 (en) * 2012-02-24 2015-09-01 Apple Inc. Performing inline chroma downsampling with reduced power consumption
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding

Also Published As

Publication number Publication date
US20220150468A1 (en) 2022-05-12
US9686547B2 (en) 2017-06-20
GB201211072D0 (en) 2012-08-01
WO2013160656A3 (en) 2013-12-19
JP2015518341A (ja) 2015-06-25
AU2013254448A1 (en) 2014-11-06
GB201220836D0 (en) 2013-01-02
CN108366257B (zh) 2022-03-25
WO2013160698A1 (en) 2013-10-31
TW201937934A (zh) 2019-09-16
GB201211628D0 (en) 2012-08-15
GB201211075D0 (en) 2012-08-01
EP4243421A2 (en) 2023-09-13
WO2013160699A1 (en) 2013-10-31
US20150078447A1 (en) 2015-03-19
JP6407389B2 (ja) 2018-10-17
EP4243420A3 (en) 2023-11-22
JP6606794B2 (ja) 2019-11-20
KR20140145606A (ko) 2014-12-23
US9948929B2 (en) 2018-04-17
AU2018217304B2 (en) 2020-08-06
US20170339402A1 (en) 2017-11-23
GB2501555A (en) 2013-10-30
KR102104400B1 (ko) 2020-04-24
RU2017116180A3 (ja) 2020-05-27
MX345237B (es) 2017-01-23
CA3028883C (en) 2021-10-26
CN104285445A (zh) 2015-01-14
KR101840025B1 (ko) 2018-03-20
MX2014012846A (es) 2015-10-22
US20200014916A1 (en) 2020-01-09
CA2870596C (en) 2019-02-12
CA2870591C (en) 2023-10-03
GB2501549A (en) 2013-10-30
US20170272743A1 (en) 2017-09-21
MX346235B (es) 2017-03-13
RU2014147445A (ru) 2016-06-10
CN109068135B (zh) 2023-03-14
CN104272739A (zh) 2015-01-07
TW201408081A (zh) 2014-02-16
CA3028883A1 (en) 2013-10-31
WO2013160694A1 (en) 2013-10-31
EP2842315B1 (en) 2023-07-12
US20150063460A1 (en) 2015-03-05
EP3442229A1 (en) 2019-02-13
KR20170041288A (ko) 2017-04-14
WO2013160695A1 (en) 2013-10-31
RU2014147451A (ru) 2016-06-20
CN108134931A (zh) 2018-06-08
CA2870602C (en) 2022-08-09
US10841572B2 (en) 2020-11-17
EP2842314B1 (en) 2021-06-02
GB2501554A (en) 2013-10-30
BR112014026024A2 (pt) 2017-06-27
JP6050478B2 (ja) 2016-12-21
JP2015515236A (ja) 2015-05-21
US20150117527A1 (en) 2015-04-30
CN109068135A (zh) 2018-12-21
US9674531B2 (en) 2017-06-06
KR20180030263A (ko) 2018-03-21
CA2871556A1 (en) 2013-10-31
JP5986294B2 (ja) 2016-09-06
US20180160112A1 (en) 2018-06-07
EP2842316A1 (en) 2015-03-04
US10205941B2 (en) 2019-02-12
MX2014012565A (es) 2014-12-05
GB201211623D0 (en) 2012-08-15
CN108366257A (zh) 2018-08-03
WO2013160700A1 (en) 2013-10-31
CN104247425B (zh) 2018-11-06
TW201817239A (zh) 2018-05-01
CN111182299A (zh) 2020-05-19
TWI586152B (zh) 2017-06-01
US10419750B2 (en) 2019-09-17
BR112014026024A8 (pt) 2021-06-22
CA3128787A1 (en) 2013-10-31
US20150172652A1 (en) 2015-06-18
US20180227577A1 (en) 2018-08-09
BR112014026035B1 (pt) 2023-02-07
CN108134931B (zh) 2022-03-01
AU2013254448B2 (en) 2015-11-19
RU2014147453A (ru) 2016-06-20
US10531083B2 (en) 2020-01-07
US9693058B2 (en) 2017-06-27
CN108347604A (zh) 2018-07-31
GB2501556A (en) 2013-10-30
EP2842315A1 (en) 2015-03-04
WO2013160693A3 (en) 2013-12-19
RU2619888C2 (ru) 2017-05-19
JP2017055444A (ja) 2017-03-16
WO2013160697A1 (en) 2013-10-31
BR112014026021A8 (pt) 2021-06-22
CN104255030B (zh) 2018-04-03
JP6503492B2 (ja) 2019-04-17
GB201211066D0 (en) 2012-08-01
US10291909B2 (en) 2019-05-14
EP2842321A2 (en) 2015-03-04
US10499052B2 (en) 2019-12-03
US9826231B2 (en) 2017-11-21
JP2015518342A (ja) 2015-06-25
US10674144B2 (en) 2020-06-02
JP2016201813A (ja) 2016-12-01
US20170359576A1 (en) 2017-12-14
US20190222833A1 (en) 2019-07-18
CN104255029B (zh) 2017-11-24
AU2016204227A1 (en) 2016-07-14
US11252402B2 (en) 2022-02-15
TW201408080A (zh) 2014-02-16
CN107734330A (zh) 2018-02-23
KR101734974B1 (ko) 2017-05-15
TWI611689B (zh) 2018-01-11
GB2501554B (en) 2014-09-24
US9686548B2 (en) 2017-06-20
TWI711301B (zh) 2020-11-21
WO2013160694A4 (en) 2014-01-03
US10827169B2 (en) 2020-11-03
KR20190077110A (ko) 2019-07-02
WO2013160656A2 (en) 2013-10-31
AU2016204227B2 (en) 2018-09-06
MX2014012847A (es) 2015-10-22
US10616572B2 (en) 2020-04-07
JP2018129858A (ja) 2018-08-16
GB201211067D0 (en) 2012-08-01
GB201207459D0 (en) 2012-06-13
JP6128707B2 (ja) 2017-05-17
CN104255029A (zh) 2014-12-31
EP2842314A2 (en) 2015-03-04
KR20170054561A (ko) 2017-05-17
MX343351B (es) 2016-11-03
CN110225337A (zh) 2019-09-10
CA2871556C (en) 2017-08-29
RU2751080C2 (ru) 2021-07-08
GB2501553A (en) 2013-10-30
EP4243420A2 (en) 2023-09-13
WO2013160693A2 (en) 2013-10-31
JP2015518340A (ja) 2015-06-25
JP2018042263A (ja) 2018-03-15
CN104247425A (zh) 2014-12-24
US20190253702A1 (en) 2019-08-15
GB2501557A (en) 2013-10-30
JP6325606B2 (ja) 2018-05-16
US20150043641A1 (en) 2015-02-12
EP4243421A3 (en) 2023-11-29
KR20150003219A (ko) 2015-01-08
GB201211070D0 (en) 2012-08-01
CA2870591A1 (en) 2013-10-31
GB2501535A (en) 2013-10-30
KR101994597B1 (ko) 2019-06-28
CA2870596A1 (en) 2013-10-31
EP2842317A1 (en) 2015-03-04
US20200177874A1 (en) 2020-06-04
CN110933409A (zh) 2020-03-27
US10244232B2 (en) 2019-03-26
CN107734330B (zh) 2020-04-28
JP2018142970A (ja) 2018-09-13
CA3128787C (en) 2023-09-26
GB201211629D0 (en) 2012-08-15
BR112014026021A2 (pt) 2017-06-27
CN104255030A (zh) 2014-12-31
AU2013254443A1 (en) 2014-10-23
JP2015518339A (ja) 2015-06-25
WO2013160696A1 (en) 2013-10-31
US11109019B2 (en) 2021-08-31
JP6328613B2 (ja) 2018-05-23
CN104247426A (zh) 2014-12-24
AU2018217304A1 (en) 2018-09-06
BR112014026021B1 (pt) 2023-12-19
CN104272739B (zh) 2018-04-20
JP2015518343A (ja) 2015-06-25
GB2501546A (en) 2013-10-30
TWI575942B (zh) 2017-03-21
GB201211069D0 (en) 2012-08-01
CN108347604B (zh) 2022-03-04
US11770519B2 (en) 2023-09-26
AU2013254444A1 (en) 2014-10-23
US10440358B2 (en) 2019-10-08
GB2501550A (en) 2013-10-30
GB2501566A (en) 2013-10-30
US20150085924A1 (en) 2015-03-26
CA2870602A1 (en) 2013-10-31
RU2603548C2 (ru) 2016-11-27
AU2013254444B2 (en) 2015-10-29
CN110225337B (zh) 2024-08-30
JP5965054B2 (ja) 2016-08-03
TW201408079A (zh) 2014-02-16
GB201211619D0 (en) 2012-08-15
GB2501548A (en) 2013-10-30
GB2501551A (en) 2013-10-30
US20150063457A1 (en) 2015-03-05
GB2501547A (en) 2013-10-30
GB201211073D0 (en) 2012-08-01
US20200213584A1 (en) 2020-07-02
CN110933409B (zh) 2023-06-27
US20180124392A1 (en) 2018-05-03
TWI677236B (zh) 2019-11-11
RU2017116180A (ru) 2019-01-28
US20190191154A1 (en) 2019-06-20
RU2599935C2 (ru) 2016-10-20
BR112014026035A2 (pt) 2020-06-30
CN111182299B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
JP6407389B2 (ja) データ符号化及び復号化
KR20200036835A (ko) 쿼드 트리를 이용한 블록 정보 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR20170007069A (ko) 파노라믹 비디오의 왜곡보정 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171019

R150 Certificate of patent or registration of utility model

Ref document number: 6231647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250