JP6325606B2 - データ符号化及び復号化 - Google Patents

データ符号化及び復号化 Download PDF

Info

Publication number
JP6325606B2
JP6325606B2 JP2016129527A JP2016129527A JP6325606B2 JP 6325606 B2 JP6325606 B2 JP 6325606B2 JP 2016129527 A JP2016129527 A JP 2016129527A JP 2016129527 A JP2016129527 A JP 2016129527A JP 6325606 B2 JP6325606 B2 JP 6325606B2
Authority
JP
Japan
Prior art keywords
block
video
quantization
chroma
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016129527A
Other languages
English (en)
Other versions
JP2016201813A (ja
Inventor
ジェームス アレキサンダー ガメイ
ジェームス アレキサンダー ガメイ
ニコラス イアン サンダース
ニコラス イアン サンダース
カール ジェームス シャーマン
カール ジェームス シャーマン
ポール ジェームス シルコック
ポール ジェームス シルコック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Sony Corp
Original Assignee
Sony United Kingdom Ltd
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd, Sony Corp filed Critical Sony United Kingdom Ltd
Publication of JP2016201813A publication Critical patent/JP2016201813A/ja
Application granted granted Critical
Publication of JP6325606B2 publication Critical patent/JP6325606B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/24High-definition television systems
    • H04N11/28High-definition television systems involving bandwidth reduction, e.g. subsampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/547Motion estimation performed in a transform domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

[関連技術の相互参照]
本出願は、2012年6月22日、2012年6月22日、2012年4月26日に英
国知的財産庁において提出されたGB 1211072.2、GB1211073.0及
びGB1207459.7における先の出願日の優先権の利益を主張し、その出願の全体
の内容は、参照により本出願に組み込まれる。
本発明は、データ符号化及び復号化に関する。
この「背景技術」で説明される事項は、一般的には本出願における背景を説明するため
のものである。この背景技術の欄で説明される範囲での現在における発明者の技術は、本
出願の出願時点で従来技術ではない可能性がある説明の側面と同様に、明示的にも暗示的
にも、本願に対する従来技術として認めるものではない。
ビデオデータを周波数領域表現に変換し、周波数領域係数を量子化し、その後、量子化係数に対して何らかのエントロピ符号化を適用する、いくつかのビデオデータ符号化及び復号化システムが存在している。これにより、ビデオデータの圧縮が実現される。元のビデオデータの再構築バージョンを復元するためには、対応する復号化又は解凍技術が適用される。
H.264/MPEG−4 アドバンスド・ビデオ符号化(AVC:Advanced Video C
oding)などで使用されているような、現在におけるビデオコーデック(コーダ‐デコー
ダ)は、主に、連続的なビデオフレーム間における差を符号化するだけでデータ圧縮を実
現している。これらのコーデックは、マクロブロックと呼ばれる規則的なアレイを使用し
ている。マクロブロックのそれぞれは、以前のビデオフレームにおける対応するマクロブ
ロックとの比較領域として使用される。また、マクロブロック内における画像領域は、そ
のとき、ビデオシーケンスにおける、対応する現在及び以前のマクロブロック間、あるい
は、ビデオシーケンスにおける単フレーム内の隣接マクロブロック間において見出された
移動度に応じて符号化される。
H.265又はMPEG−Hパート2としても知られている高効率ビデオ符号化(HE
VC:High Efficiency Video Coding)は、H.264/MPEG−4AVCの後継案で
ある。HEVCでは、ビデオ画質が改善され、H.264と比べてデータ圧縮率が2倍と
されている。また、ピクセル解像度が128×96から7680×4320まで拡張可能
であり、大まかには、128kbit/sから800Mbit/sまでの範囲のビットレ
ートに等しい。
HEVCでは、いわゆる4:2:0ブロック構造は、民生装置に対して提案され、各ク
ロマチャネルで使用されるデータ量は、ルマチャネルにおける1/4とされている。これ
は、人間は、主観的に色よりも明るさの変化に対して敏感であるためであり、また、品質
の客観的な損失を伴わずに、より多くの圧縮及び/又は色チャネルにおけるより少ない情
報を実現することができるためである。
HEVCでは、既存のH.264及びMPEG標準で見られるマクロブロックの代わり
に、可変サイズ構造である符号ユニット(CU:Coding Unit)に基づく柔軟な配列が用
いられる。
このため、ビデオフレーム内の画像データを符号化するとき、一様に分散されたマクロ
ブロックを使用する代わりに、外見上の画像の複雑さ又は検出された動きレベルに応じて
CUのサイズを選択することができる。従って、フレーム間の微小な動き及びフレーム内
の微小な変動を持つ領域において、非常に優れた圧縮を実現することができ、さらに、フ
レーム間での大きな動き又は画像における複雑さを持つ領域において優れた画像品質を維
持することができる。
各CUは、ピクチャ内又はピクチャ間予測タイプにおける1以上の可変ブロックサイズ
予測ユニット(PU:Prediction Unit)と、空間ブロック変換及び量子化のための係数
を含む1以上の変換ユニット(TU:Transform Unit)とを含んでいる。
さらに、PU及びTUブロックは、輝度(luminance)又は明るさ(Brightness)のチ
ャネルである、グレースケールのチャネルとも考えられるルマ(Y)と、2つの色差又は
クロミナンス(クロマ)チャネルであるCb及びCrとを含む3つのチャネルそれぞれに
対して提供される。これらのチャネルは、ルマチャネルのグレースケール画像に対して色
を提供する。必要に応じて、Y、ルミナンス及びルマという用語は、ここでは、同じ意味
で使用され、同様に、Cb及びCr、並びに、クロミナンス及びクロマという用語は同じ
意味で使用され、クロミナンス及びクロマは、一般的に"Cr及びCrの一方又は両方"の
意味で使用され、一方で、特定のクロミナンスチャネルが議論されるときに、用語Cb又
はCrによって区別される。
一般的には、PUがルマ部分及びクロマ部分を有している点を除いて、PUは、チャネ
ル独立性であると考えられる。一般的には、これは、各チャネルに対するPUの一部を形
成するサンプルが、画像の同じ領域を表しており、これにより3つのチャネル間における
PU間に一定の関係がもたらされることを意味している。例えば、4:2:0:ビデオで
は、ルマについての8×8PUは、ルマ部分と同じ領域を表す、4:2:0ビデオにおけ
るルマデータと比較される4:2:0クロマデータのサブサンプリングされた特性である
ためにピクセル数が少ないPUのクロマ部分とともに、対応するクロマについての4×4
PUを常に有している。2つのクロマチャネルは、イントラ予測情報を共有し、また、3
つのチャネルは、インター予測情報を共有する。同様に、TU構造も3つのチャネル間で
一定の関係を有している。
しかしながら、専門の放送及びデジタルシネマ装置では、クロマチャネルにおいてより
少ない圧縮(又は、より多くの情報)を実現することが望ましいが、これは、現在又はH
EVC処理における動作に影響を及ぼす可能性がある。
本願は、このような処理により発生する問題に対処し又は軽減する。本発明の各側面及
び特徴は、添付の特許請求の範囲において定義される。なお、上述の一般的な説明及び以
降の詳細な説明は、本発明の一例であり、これらに限定されるものではない。
データ圧縮及び解凍を使用するオーディオ/ビデオデータ送受信システムを示す概略図である。 ビデオデータ圧縮を使用するビデオ表示システムを示す概略図である。 ビデオデータ圧縮及び解凍を使用するオーディオ/ビデオ記憶システムを示す概略図である。 ビデオデータ圧縮を使用するビデオカメラを示す概略図である。 ビデオデータ圧縮及び解凍装置を示す概略図である。 予測画像の生成を示す概略図である。 最大符号化ユニット(LCU:Largest Coding Unit)を示す概略図である。 4つの符号化ユニット(CU:Coding Unit)の組を示す概略図である。 小さな符号化ユニットにサブ分割された図8の符号化ユニットを示す概略図である。 小さな符号化ユニットにサブ分割された図8の符号化ユニットを示す概略図である。 予測ユニット(PU:Prediction Unit)の配列を示す概略図である。 変換ユニット(TU:Transform Unit)の配列を示す概略図である。 部分的に符号化された画像を示す概略図である。 可能なイントラ予測方向の組を示す概略図である。 予測モードの組を示す概略図である。 右上り斜めスキャンを示す概略図である。 ビデオ圧縮装置を示す概略図である。 可能なブロックサイズを示す概略図である。 可能なブロックサイズを示す概略図である。 クロマ及びルマブロックからの共同位置情報の使用を示す概略図である。 一方のクロマチャネルからの共同位置情報が他のクロマチャネルについて使用される状況を示す概略図である。 ルマ‐クロマモードに使用されるピクセルを示す概略図である。 ルマ予測モードの組を示す概略図である。 水平にまばらなクロマチャネルに適用された、図22の方向を示す概略図である。 長方形クロマピクセル配列にマッピングされた、図22の方向示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 4:2:0についての量子化パラメータテーブルを示す概略図である。 4:2:2についての量子化パラメータテーブルを示す概略図である。 量子化変数テーブルを示す概略図である。 量子化変数テーブルを示す概略図である。
添付図面と共に以降の詳細な説明を参照することによって、本発明の完全な理解及びそ
の優位性の多くが容易に理解されるであろう。
図面を参照して、図1〜図4には、本発明の実施形態に関連して、以降で説明される圧
縮及び/又は解凍装置を利用する装置及びシステムが概略的に示されている。
以降で説明される全てのデータ圧縮及び/又は解凍装置は、ハードウェアで実現されて
もよいし、例えば、ASIC(Application Specific Integrated Circuit)またはFP
GA(Field Programmable Gate Array)、あるいはこれらの組み合わせなどのようなプ
ログラム可能なハードウェアとして、汎用コンピュータなどの汎用データ処理装置上で動
作するソフトウェアで実現されてもよい。ソフトウェア及び/又はファームウェアで実現
される実施形態の場合、このようなソフトウェア及び/又はファームフェア、並びに、こ
のようなソフトウェア及び/又はファームウェアが記憶又は提供される非一時的なデータ
記録媒体が、本発明の実施形態であると考えられる。
図1は、ビデオデータ圧縮及び解凍を使用するオーディオ/ビデオデータ送受信システ
ムを示す概略図である。
入力オーディオ/ビデオ信号10は、例えば、ケーブル、光ファイバ、無線リンク等の
送信ルート30に沿って送信されるオーディオ/ビデオ信号10のビデオ要素を少なくと
も圧縮するビデオデータ圧縮装置20へ供給される。圧縮された信号は、解凍装置40に
よって処理されて、出力オーディオ/ビデオ信号50が提供される。戻りパスでは、圧縮
装置60は、送信ルート30に沿って解凍装置70へと送信されるオーディオ/ビデオ信
号を圧縮する。
圧縮装置20及び解凍装置70は、それ故、送信リンクにおける1つのノードを形成す
ることができる。また、解凍装置40及び圧縮装置60は、送信リンクにおける他の1つ
のノードを形成することができる。もちろん、送信リンクが単方向である場合、一方のノ
ードのみが圧縮装置として要求され、他方のモードのみが解凍装置として要求される。
図2は、ビデオデータ解凍を使用するビデオ表示システムを模式的に示す図である。特
に、圧縮されたオーディオ/ビデオ信号100は解凍装置110によって処理され、表示
装置120上で表示され得る解凍信号が提供される。解凍装置110は、表示装置120
の不可欠な部分として実現され、例えば、表示装置として同じケージング内に提供される
。あるいは、解凍装置110は、(例えば、)いわゆるセットトップボックス(STB:
Set Top Box)として提供されてもよい。なお、"セットトップ"との表現は、表示装置1
20に対して特定の方向又は位置に位置されるボックスに対する要求を意味しているので
はなく、単に、周辺機器として表示部に接続可能なデバイスを示すためにこの用語は使用
されている。
図3は、ビデオデータ圧縮及び解凍を使用するオーディオ/ビデオ記憶システムを示す
概略図である。入力オーディオ/ビデオ信号130は、例えば、磁気ディスク装置、光デ
ィスク装置、磁気テープ装置、あるいは、半導体メモリやその他の記憶装置などの半導体
記憶装置などの記憶装置150によって記憶される圧縮信号を生成する圧縮装置140に
供給される。再生においては、圧縮データが記憶装置150から読み出されて、解凍のた
めに解凍装置160を通され、これにより出力オーディオ/ビデオ信号170が提供され
る。
なお、圧縮又は符号化信号、並びに、この信号を記憶する記憶媒体は、本発明の一実施
形態であると考えられる。
図4は、ビデオデータ圧縮を使用するビデオカメラを示す概略図である。図4において
、例えば、CCD(Charge Coupled Device)イメージセンサや、関連する制御及び読み
出しの電子機器などの画像キャプチャ装置180は、圧縮装置190を通されるビデオ信
号を生成する。1つのマイクロフォン(あるいは複数のマイクロフォン)200は、圧縮
装置190を通されるオーディオ信号を生成する。圧縮装置190は、記憶及び/又は送
信される圧縮オーディオ/ビデオ信号を生成する(概略ステージ220として一般的に表
されている)。
以降で述べられる技術は、主に、ビデオデータ圧縮及び解凍に関連している。なお、圧
縮オーディオ/ビデオ信号を生成するために、多くの既存の技術が、以降で説明されるビ
デオデータ圧縮技術と共にオーディオデータ圧縮に使用されてもよい。対応して、オーデ
ィオデータ圧縮についての分離した説明は行わない。また、特に、放送品質ビデオデータ
において、ビデオデータに関連するデータレートは、一般的に、オーディオデータに関連
するデータレートよりも非常に高い(圧縮及び非圧縮を問わず)。従って、非圧縮オーデ
ィオデータは、圧縮オーディオ/ビデオ信号を形成するために、圧縮ビデオデータと一緒
にすることができる。さらに、図示される例(図1〜図4参照)は、オーディオ/ビデオ
データに関連しているが、以降で説明される技術は、単にビデオデータを扱う(つまり、
圧縮、記憶、表示及び送信する)システムにおける使用されてもよい。つまり、この実施
形態は、必ずしも関連するオーディオデータの処理を必要とすることなく、ビデオデータ
圧縮に適用することができる。
図5は、ビデオデータ圧縮及び解凍装置を示す概略図である。
コントローラ343は、装置の全体の動作を制御し、特に、圧縮モードを参照するとき
、(以降で説明される)試験的符号化処理を制御して、CU、PU、YUブロックサイズ
等の動作の各種モードを選択する。
入力ビデオ信号300の連続画像は、加算部310及び画像予測部320に供給される
。画像予測部320は、図6を参照して後に詳述される。加算部310は、実際には減算
(負の加算)動作を実行し、"+"入力上で入力ビデオ信号300を受信し、"−"入力上で
画像予測部320の出力を受信し、これにより、予測画像が入力画像から減算される。こ
の結果は、実画像及び予測画像の差を表すいわゆる残差画像信号330である。
残差画像信号がなぜ生成されるのかについての1つの理由について説明する。説明され
るデータ符号化技術、つまり、残差画像信号に適用される技術は、符号化される画像にお
いて小さな"エネルギー"しかない場合に、より効率的に処理を行うためのものである。こ
こで、"効率的"との用語は、少量の符号化データの生成について言及しており、特に画像
品質レベルについては、できるだけ少量のデータを生成することが望ましい("効率"が考
慮されて)。残差画像における"エネルギー"は、残差画像に含まれる情報量に関連してい
る。仮に、予測画像が実画像と一致している場合、これらの2つの間の差(つまり、残差
画像)は、ゼロの情報(ゼロエネルギー)を含み、非常に簡単に少量の符号化データに符
号化することができる。一般的には、仮に、予測処理が合理的に効果的に動作される場合
、その予想は、残差画像データが、入力画像よりも少ない情報(小さなエネルギー)を含
み、より簡単に少量の符号化データに符号化することができるという予想となる。
残差画像データは、残差がオズデータの離散コサイン変換(DCT:Discrete Cosine
Transform)表現を生成する変換ユニット340へと供給される。このDCT技術自体は
、広く知られており、ここでの詳細な説明は行わない。しかしながら、特に、DTC動作
が適用されるデータの異なるブロックの選択に関して、以降で詳細に説明される装置で使
用される技術の側面が存在する。これらについては、図7〜図12を参照して以降で説明
する。いくつかの実施形態では、MDDT(Mode Dependent Directional Transform)と
して知られるシステムにおいて、DTCの代わりに、異なる周波数分離変換が選択的に使
用されてもよく、これについては、以降で説明する。ここでは、DCT変換が使用される
と仮定する。
変換ユニット340の出力、つまり、画像データにおける各変換ブロックのDCT係数
の組は、量子化部350へと供給される。各種量子化技術は、量子化スケーリング要素に
よる単純な乗算から、量子化パラメータの制御下における複雑なルックアップテーブルの
応用に至るまで、ビデオデータ圧縮の分野において広く知られている。その一般的な目的
は2つの要素からなる。第1に、量子化処理は、変換データにおける可能値の数を減少さ
せる。第2に、量子化処理は、変換データの値がゼロとなる可能性を増加させることがで
きる。これらの両者は、少量の圧縮ビデオデータの生成において、後述のエントロピ符号
化処理をより効率的に動作させることができる。
データスキャニング処理がスキャン部360によって適用される。スキャニング処理の
目的は、非ゼロの量子化係数が全体でできるだけ多くなるように、また、もちろん、その
結果、ゼロ値の係数が全体でできるだけ多くなるようにするために、量子化変換データを
再整理することにある。これらの特徴により、いわゆるランレングス符号化、又は同様の
技術が効率的に適用される。つまり、スキャニング処理は、(a)全ての係数がスキャン
の一部として一度は選択されるように、且つ(b)スキャンが望ましい再整理を提供する
ように、"スキャニング順"に応じて、量子化変換データから、特に、変換及び量子化され
た画像データのブロックに対応する係数のブロックから係数を選択することを含む。いく
つかの実施形態では、いわゆるMDCS(Mode Dependent Coefficient Scanning)が使
用されてもよく、スキャンパターンはブロックからブロックへと変わってもよい。このよ
うな構成は、後に詳述する。ここでは、右上り斜め方向スキャンが使用されていると仮定
する。
スキャンされた係数は、その後、エントロピエンコーダ370を通される。この場合も
やはり、各種のタイプのエントロピ符号化が用いられてもよい。2つの例は、いわゆるC
ABAC(Context Adaptive Binary Coding)システムの変形、及び、いわゆるCAVL
C(Context Adaptive Variable-Length Coding)システムの変形である。一般的に、C
ABCは、より良い効率の提供が考慮されており、或る研究では、CAVLCと比べて同
等の画像品質について、符号化出力データの品質において10−20%の減少がみられる
。しかしながら、CAVLCは、(その実現において)CABACよりも大幅に低いレベ
ルの複雑さを表すことが考慮されている。なお、スキャニング処理及びエントロピ符号化
処理は、別々に処理されるとして示されているが、実際には、これらは全体として組み合
わせるか、または、扱うことができる。つまり、エントロピ符号化におけるデータの読み
出しは、スキャン順で行われ得る。対応する考え方は、以降で説明される各逆処理に適用
される。なお、出願時点で検討中の現在のHEVC文書は、CAVLC係数エンコーダの
可能性をもはや含んではいない。
エントロピエンコーダ370の出力は、例えば、予測部320が予測画像を生成する方
法を定義する加えられたデータ(上述及び/又は後述)と共に、圧縮出力ビデオ信号38
0を提供する。
一方、予測部320自身の動作は圧縮出力データの解凍バージョンに依存するため、戻
りパスも提供される。
この特徴について説明する。解凍処理(後述)における適切なステージで残差データの
解凍バージョンが生成される。この解凍残差データは、出力画像を生成するために、予測
画像に加えられなくてはならない(なぜなら、元の残差データは、入力画像及び予測画像
の差であったため)。圧縮側及び解凍側の間でこの処理が比較可能なように、予測部32
0によって生成された予測画像は、圧縮処理中及び解凍処理中において、同じであるべき
である。もちろん、解凍では、装置は、元の入力画像へアクセスできず、解凍画像へのみ
アクセスできる。従って、圧縮では、予測部320は、圧縮画像の解凍バージョンに基づ
いてその予測を行う(少なくとも、インター画像符号化について)。
エントロピ符号化部370により実行されるエントロピ符号化処理は、"無損失(lossless)"であると考えられ、つまり、エントロピ符号化部370に最初に供給された正確に同じデータに逆にして至ることができる。従って、戻りパスは、エントロピ符号化ステージよりも前に実行され得る。実際には、スキャン部360によって実行されるスキャニング処理も無損失であると考えられるが、本実施形態では、戻りパス390は、量子化部350の出力から、逆量子化部420の入力までとされている。
一般的には、エントロピ復号化部410、逆スキャン部400、逆量子化部420、逆
変換部430は、それぞれ、エントロピ符号化部370、スキャン部360、量子化部3
50及び変換部340の逆機能を提供する。ここでは、圧縮処理について説明を続け、入
力圧縮ビデオ信号を解凍するための処理については後に別で説明を行う。
圧縮処理では、スキャン係数は、戻りパス390により量子化部350から、スキャン
部360の逆動作を実行する逆量子化部420へと導かれる。逆量子化及び逆変換処理は
、圧縮−解凍残差画像信号440を生成するユニット420、430により実行される。
加算部450で画像信号440が予測部320の出力に加えられて、再構築出力画像4
60が生成される。これは、画像予測部320への1つの形成し、これについて以降で説
明する。
受信された圧縮ビデオ信号の解凍に適用される処理について説明すると、信号は、エン
トロピ復号化部410に供給され、加算部450により画像予測部320の出力に加えら
れる前に、そこから逆スキャン部400、逆量子化部420及び逆変換部430の列へと
導かれる。単刀直入に言うと、加算部450の出力460は、出力解凍ビデオ信号480
を形成する。実際には、信号の出力の前に、さらなるフィルタリングが適用されてもよい
従って、図5及び図6の装置は、圧縮装置又は解凍装置として動作することができる。
この2種類の装置の機能は重複する部分が非常に多い。スキャン部360及びエントロピ
符号化部370は、解凍モードでは使用されず、予測部320(詳細は後述)及び他のユ
ニットの動作は、受信された圧縮ビットストリームに含まれるか、あるいは、関連づけら
れたモード及びパラメータ情報に従う(このような情報自体を生成するのではなく)。
図6は、予測画像の生成を示す概略図であり、特に、画像予測部320の動作を示して
いる。
いわゆるイントラ画像予測、並びに、いわゆるインター画像予測若しくは動き補償(M
C:Motion-Compensated)予測の2つの基本的な予測モードが存在する。
イントラ画像予測は、同じ画像内からの、データ上の画像ブロックの内容の予測を基礎
としている。これは、他のビデオ圧縮技術における、いわゆるI−フレーム符号化に対応
する。画像全体がイントラ符号化されるI−フレーム符号化とは対照的に、本実施形態で
は、イントラ及びインター符号化間における選択がブロック毎を基準として行われ、一方
で本発明の他の実施形態では、その選択が依然として画像毎を基準として行われる。
動き補償予測は、インター画像予想の一例であり、他の隣接又は近接画像において、現
在の画像における画像詳細のソースを定義することを試みる動き情報を使用する。従って
、理想的な例では、予測画像における画像データのブロックの内容は、隣接画像における
同じかわずかに異なる位置において対応するブロックを指し示すリファレンス(動きベク
トル)として、非常に単純に符号化され得る。
図6に戻り、図6には2つの画像予測構成(イントラ及びインター画像予測に対応)が
示されており、その結果が、モード信号510の制御下において、乗算部500によって
選択されて、加算部310及び450に供給するための予測画像のブロックが提供される
。この選択は、どちらを選択すれば最小の"エネルギー"となるかに基づいて行われ(上述
のように、符号化を要求する情報内容が考慮されてもよい)、また、この選択は、符号化
された出力データストリーム内でエンコーダに通知される。このコンテキストでは、例え
ば、入力画像から、予測画像の2つのバージョンの領域を試行減算し、差分画像の各ピク
セル値を2乗し、乗算値を合計し、その画像領域に関連する差分画像における低い平均乗
算値生じさせる、2つのバージョンのうちの一方を定義するによって、画像エネルギーを
検出することができる。
実際の予測は、イントラ予測システムにおいて、信号460の一部として受信された画
像ブロックに基づいて行われ、つまり、予測は、正確に同じ予測が解凍装置において可能
なように、符号化−復号化画像ブロックに基づいて行われる。しかしながら、データは、
イントラ画像予測部530の動作を制御するイントラモード選択部520により、入力ビ
デオ信号300から抽出されてもよい。
インター画像予測では、動き補償(MC)予測部540は、例えば、動き推定部550
によって入力ビデオ信号300から抽出された動きベクトルなどの動き情報を使用する。
これらの動きベクトルは、インター画像予測のブロックを生成する動き補償予測部540
によって、再構築画像460の処理バージョンに適用される。
信号460に適用される処理について説明する。まず、信号は、フィルタ部560によ
ってフィルタリングされ、これについて、以降でさらに詳細に説明する。この処理では、
変換ユニット340により実行されるブロック基準処理及び後続の動作に対する影響を除
去するか、少なくとも低減させる"非ブロック化(deblocking)"フィルタが適用される。
サンプル適応オフセット(SAO:Sample Adaptive Offsetting)フィルタ(後述)が用
いられてもよい。また、再構築信号460及び入力ビデオ信号300を処理することによ
って抽出された係数を使用して、適応ループフィルタが適用される。この適応ループフィ
ルタは、公知の技術を使用して、フィルタリングされるデータに対して適応フィルタ係数
を適用するフィルタの一種である。つまり、フィルタ係数は、各種要素に基づいて変化し
得る。使用されるフィルタ係数を定義するデータは、符号化された出力データストリーム
の一部としてストリームに含められる。
適応フィルタリングは、画像復元のためのイン‐ループフィルタを示す。LCUは、L
CU内の各CUについて抽出される、フィルタの選択及びALFのON/OFF状態と共
に、最大で16のフィルタによってフィルタリングすることができる。現在、この制御は
、CUレベルではなく、LCUレベルで行われる。
フィルタ部560からのフィルタリングされた出力は、実際には、装置が圧縮装置とし
て動作しているときに、出力ビデオ信号480を形成する。この信号は、1以上の画像又
はフレーム記憶部570に記憶され、連続画像の記憶は、動き補償予測処理、特に、動き
ベクトルの生成において要求される。記憶の要求を軽減するため、画像記憶部570内の
記憶画像は、圧縮形式とされ、その後、動きベクトルの生成に使用するために解凍されて
もよい。この特定の目的のために、どのような公知の圧縮/解凍システムが用いられても
よい。記憶画像は、記憶画像のより高い解像度バージョンを生成する補間フィルタ580
を通され、この例では、補間フィルタ580によって出力される補間画像の解像度が、4
:2:0のルミナンスチャネルについて、画像記憶部570に記憶された画像の4倍(各
面積)、かつ、4:2:0のクロミナンスチャネルについて、画像記憶部570に記憶さ
れた画像の8倍(各面積)となるように、中間サンプル(サブサンプル)が生成される。
補間画像は、動き推定部550への入力、動き補間予測部540の入力として通される。
本発明の一実施形態では、乗算部600を使用して、入力ビデオ信号のデータ値に4の
要素を掛け合わせ(効率的には、単にデータ値を2ビット左にシフトさせる)、分割部又
は右‐シフト部610を使用して、装置の出力で、対応する分割動作(2ビット右にシフ
ト)を適用するため、更に光学ステージが提供される。従って、左へのシフト及び右への
シフトは、装置の内部動作について、データを純粋に変更させる。この方法では、如何な
るデータ丸め誤差の影響も低減されるため、装置内において高い計算精度を提供すること
ができる。
圧縮処理のために画像が分割される方法について説明する。基本的なレベルでは、圧縮
される画像はサンプルブロックの配列であると考えらえる。便宜的に、検討されている最
大のこのようなブロックは、典型的な64×64サンプルの正方形配列を表すいわゆる最
大符号化ユニット(Largest Coding Unit)700である(LCUのサイズは、HEVC
文書等によって定義された最大サイズまでエンコーダにより設定可能である)。ここで、
ルミナンスサンプルについて説明する。4:4:4、4:2:2、4:2:0または4:
4:4:4(GBR+キーデータ)などのクロミナンスモードに応じて、ルミナンスブロ
ックに対応する、対応クロミナンスサンプルの数に違いがある。
3つの基本的なブロックの種類は、符号化ユニット、予測ユニット及び変換ユニットで
ある。一般的には、LCUの再帰的な分割では、例えば、ブロックサイズ及びブロック符
号化パラメータ(予測又は残差符号化モードなど)が、符号化される画像の特定の特徴に
応じて設定されるといった方法で、入力画像が分割される。
LCUは、いわゆる符号化ユニット(CU)に分割されてもよい。符号化ユニットは、
常に正方形であり、また、8×8サンプルとLCU700の最大サイズとの間のサイズを
有している。符号化ユニットは、ツリー構造の一種として構成されていてもよく、例えば
、第1の分割が図8に示すように行われて、32×32サンプルの符号化ユニットが与え
られる。続いて行われる分割は、16×16サンプルの符号化ユニット720(図9)及
び潜在的な8×8サンプルの符号化ユニット(図10)が与えられるように、選択的な基
準に基づいて行われてもよい。全体的に、この処理は、それぞれLCUと同じくらい大き
いか、あるいは、8×8サンプルと同じくらい小さいCUブロックの容量適応符号化ツリ
ー構造を提供することができる。出力ビデオデータの符号化は、符号化ユニット構造に基
づいて行われ、つまり1つのLCUが符号化され、その後、処理が次のLCUに移る。
図11は、予測ユニット(PU)の配列を示す概略図である。予測ユニットは、画像予
測処理に関連する情報を搬送するための基本的なユニットであり、換言すると、図5の装
置からの出力ビデオ信号を形成するためのエントロピ符号化された残差画像に加えられる
追加データである。一般的に、予測ユニットは、その形状が正方形には限られない。これ
らは、特に、1つの正方形符号化ユニットの半分を形成する長方形など、他の形状を採る
ことができる(例えば、8×8CUは、8×4又は4×8PUを持ち得る)。画像特徴に
合わせられるPUの採用は、HEVCの必須の部分ではないが、その一般的な目的は、エ
ンコーダが、隣接予測ユニットの境界に、ピクチャ内の実オブジェクトの境界に合わせら
れるようにし、異なる予測パラメータが異なる実オブジェクトに適用することができるよ
うにするためである。各符号化ユニットは、1以上の予測ユニットを含んでいてもよい。
図12は、変換ユニット(TU)の配列を示す概略図である。変換ユニットは、変換及
び量子化処理における基本的なユニットである。変換ユニットは、正方形であっても正方
形でなくてもよく、4×4から32×32までのサンプルサイズを採ることができる。各
符号化ユニットは1以上の変換ユニットを含むことができる。図12における頭字語SD
IP−Pは、いわゆる短距離イントラ予測分割を示している。この配列では、1つの面積
変換のみが使用されており、4×Nブロックに、入力データと共にN変換が行われ、現在
のSDIP−P内の以前に復号化された隣接ブロック及び以前に符号化された隣接線に基
づく変換が行われる。現在、SDIP−Pは,本願の出願時点でのHEVCには含まれて
いない。
上述のように、符号化は、1つのLCUについて行われ、その後、次のLCU、・・の
ように行われる。LCU内では、符号化はCU毎に行われる。CU内では、符号化は、1
つのTUに対して行われ、その後、次のTU、・・のように行われる。
イントラ予測処理について説明する。一般的には、イントラ予測は、同じ画像内におけ
る以前の符号化及び復号化サンプルからの現在のサンプルのブロック(予測ユニット)に
おける予測の生成を含む。図13は、部分的に符号化された画像800を示す概略図であ
る。ここで、画像は、LCU基準で、左上から右下へと符号化が行われている。画像全体
として扱うことによって部分的に符号化されたLCUの一例がブロック810として示さ
れている。上部の斜線領域820及びブロック810の左側は既に符号化されている。ブ
ロック810の内容のイントラ画像予測は、斜線領域820のいずも利用することができ
るが、その下の斜線が付されていない領域を利用することができない。しかしながら、現
在のLCU内における個々のTUについては、上述の符号化の階層順(CU毎、TU毎)
は、例えば、そのTUの右上又は左下のTUの符号化に利用可能な、現在のLCUにおけ
る以前に符号化されたサンプルが存在する可能性があることを意味している。
ブロック810は、上述のように、イントラ画像予測処理を行うためのLCUを表して
おり、より小さな予測ユニット及び変換ユニットの組へと変換されてもよい。現在のTU
830の一例がLCU810内に示されている。
イントラ画像予測は、例えば、現在のTUの上及び/又は左に位置する、考慮される現
在のTUよりも前に符号化されたサンプルが考慮される。要求されるサンプルが予測され
るソースサンプルは、現在のTUに関連する異なる位置又は方向に位置していてもよい。
現在の予測ユニットについてどの方法が適切であるかを決定するために、エンコーダのモ
ード選択部520は、各候補方向について利用可能なTU構造の全ての組み合わせを試し
、最良の圧縮効率を有するPU方向及びTU構造を選択してもよい。
ピクチャは、"スライス"基準で符号化されてもよい。1つの例では、スライスは、LC
Uの水平隣接グループである。しかし、より一般的には、残差画像全体は、スライス、単
LCUであり得るスライス、又はLCUの行であり得るスライス等を形成する。スライス
は、独立ユニットとして、これらが符号化されたときの誤差に復元力を与えることができ
る。エンコーダ及びデコーダの状態は、スライス境界で完全にリセットされる。例えば、
イントラ予測は、スライス境界をまたいで実行されず、スライス境界は、この目的のため
に画像境界として扱われる。
図14は、可能な(候補)予測方向の組を示す概略図である。34の候補方向の一式は
、8×8、16×16又は32×32の予測ユニットに利用可能である。予測ユニットサ
イズが、4×4及び64×64サンプルである特殊なケースでは、それらに利用可能な候
補方向における、減らされた組が使用される(それぞれ、17候補方向及び5候補方向)
。方向は、現在のブロック位置に関連する水平及び垂直移動により決定されるが、予測モ
ードとして符号される。その組が図15に示されている。なお、いわゆるDCモードは、
上部及び左側のサンプルの周囲の単純算術平均を表す。
図16は、スキャン部360により適用されるスキャンパターンの一例である、いわゆ
る右上り斜めスキャンを示す概略図である。図16において、このパターンでは、8×8
DCT係数のブロックの一例が、ブロックの左上の位置840に位置するDC係数と共に
示されており、左上の位置840に対する下側及び右側の距離を増やす係数により表され
る水平及び垂直空間周波数が増加される。
ブロック構成及びCU、PU、TU構造のバリエーションについて以降で説明する。こ
れについては、上述の図5及び図6に示された装置と多くの点で類似する、図17の装置
の説明において説明する。実際に、多くの同じ参照番号が使用され、これらの部分につい
ては説明を省略する。
図5及び図6との主な実質的な違いは、フィルタ560(図6)であり、図17では、フィルタは、非ブロック化フィルタ1000及び関連する符号化決定ブロック1030、サンプル適応オフセット(SAO)フィルタ1010及び関連する係数生成部1040、並びに、適応ループフィルタ(ALF)1020及び関連する係数生成部1050を含むものとしてより詳細に示されている。
非ブロック化フィルタ1000は、ブロック符号化技術が使用されるときに、CU、P
U及びTU境界間を形成し得る鋭いエッジを平滑化することによって、歪みを低減し、表
示品質及び予測性能を改善することを試みる。
SAOフィルタ1010は、再構築ピクセルを、異なるカテゴリーに分類し、その後、
ピクセルの各カテゴリーのためのオフセットを単純に加算することによって、歪みを低減
させることを試みる。ピクセル明度及びエッジ特性がピクセル分類に使用される。符号化
効率をさらに改善するために、ピクチャは、オフセットパラメータの局所化のための複数
の領域に分割され得る。
ALF1020は、再構築及びソースフレーム間の差が最小化されるように、圧縮ピク
チャの復元を試みる。ALFの係数は、フレーム基準で算出及び送信される。ALFはフ
レーム全体又は局所的領域に対して適用され得る。
上述のように、提案されているHEVC文書は、4:2:0方式として知られる特定の
クロマサンプリング方式を使用している。4:2:0方式は、家庭/民生装置に使用し得
る。しかしながら、いくつかの他の方式も使用可能である。
特に、いわゆる4:4:4方式は、いくらかの忠実性の損失を伴う、専門の放送、マス
タ及びデジタルシネマに使用することができる。
これらの方式及び対応する可能なPU及びTUブロック構造について以降で説明する。
さらに、他の方式は、4:0:0モノクローム方式を含む。
4:4:4方式では、3つのY、Cb及びCrチャネルは、それぞれ同じサンプルレー
トを有している。従って、原則的には、この方式では、クロマデータの量がルマデータの
量の2倍になる。
従って、HEVCにおいて、この方式では、3つのY、Cb及びCrチャネルは、それ
ぞれ、同じサイズのPU及びTUを有しており、この場合、例えば、8×8ルマブロック
は、2つのクロマチャネルそれぞれに対する、対応する8×8クロマブロックを有してい
る。
結果として、この方式では、通常、各チャネルにおけるブロックサイズ間において、直
接的な1:1の関係が存在する。
4:2:2方式では、ルマサンプルレートの半分で、2つのクロマ要素がサンプリング
される(例えば、垂直又は水平サブサンプリングが使用されるが、便宜的に、水平サブサ
ンプリングであると仮定する)。このため、原則的には、この方式では、クロマデータが
2つのクロマチャネル間で分割されて、クロマデータの量及びルマデータの量が同じとな
る。
従って、HEVCにおいて、この方式では、Cb及びCrチャネルは、ルマチャネルに
対して、異なるサイズのPU及びTUを有しており、この場合、例えば、8×8ルマブロ
ックは、各クロマブロックに対して、対応する4(幅)×8(高さ)クロマブロックを持
ち得る。
従って、特に、この方式では、クロマブロックは、正方形ルマブロックに対応していた
としても、非正方形とされる。
現在において提案されているHEVC4:2:0方式では、2つのクロマ要素が、ルマ
のサンプルレートの1/4でサンプリングされる(例えば、垂直及び水平サブサンプリン
グが使用される)。このため、原則的には、この方式では、クロマデータの量がルマデー
タの量の半分になる。
従って、HEVCにおいて、この方式では、さらにCb及びCrチャネルは、ルマチャ
ネルに対して、異なるサイズのPU及びTUを有している。この場合、例えば、8×8ル
マブロックは、各クロマチャネルに対して、対応する4×4クロマブロックを有している
上述の方式は、その技術分野において、口語表現において'チャネル比''4:2:0チ
ャネル比'などとして知られている。しかしながら、上述の説明から理解されるように、
実際には、これは、Y、Cb及びCrが、上述の比で圧縮又は提供されるといったことを
常に意味しているのではない。従って、チャネル比とは呼ばれてはいるものの、これは、
文字通りの意味として捉えられるべきではない。実際に、4:2:0での正確な比は、4
:1:1である(4:2:2方式及び4:4:4での比は、実際に正しい)。
図18a及び図18bを参照して特定の構成を説明する前に、一般的な技術についてま
とめ、又は再考する。
最大符号化ユニット(LCU)は、ルート(根)・ピクチャ・オブジェクトである。こ
れは、典型的には、64×64ルマピクセルに等しいエリアを覆う。また、再帰的に分割
されて、符号化ユニット(CU)のツリー階層構造を形成する。一般的には、3つのチャ
ネル(1つのルマチャネル及び2つのクロマチャネル)は、同じCUツリー階層を持つ。
とはいうものの、チャネル比に基づき、特定のルマCUは、対応するクロマCUとは異な
る数のピクセルを含むことがある。
ツリー階層の最後のCU、つまり、再帰的な分割処理の結果としての最小のCU(リー
フ(葉)CUとも呼ばれる)は、その後、予測ユニット(PU)へと分割される。3つの
チャネル(1つのルマチャネル及び2つのクロマチャネル)は、クロマチャネルについて
、対応するPUのサンプルが少なすぎる場合(この場合には、このチャネルについて、1
つのPUだけが利用可能)を除いて、同じPU構造を有している。一般的にイントラPU
の最小の面積は4サンプルとされるが、インターPUの最小面積は4ルマサンプル(又は
、4:2:0について2クロマサンプル)とすることができる。最小CUサイズにおける
制限は、いずれのチャネルについての少なくとも1つのPUに対して常に十分に大きい。
リーフ(葉)CUは、変換ユニット(TU)にも分割される。TUは、大きすぎる場合
(例えば、32×32超のサンプル)さらなるTUに分割され得る(しなければならない
)。現在、レベル2として設定されている最大のツリー深さとなるまでTUが分割され得
るように、制限が適用される。つまり、各CUについて高々16個のTUが存在し得る。
図示された最小の許容TUサイズは、4×4サンプルであり、また、最大の許容TUサイ
ズは、32×32サンプルである。この場合もやはり、3つのチャネルは、可能な限り同
じTU構造を有するが、仮に、サイズ制限のために、与えられたチャネルについて特定の
深さにTUを分割することができない場合、TUは大きいサイズのままである。4つのT
Uへの分割方法は2×2とする必要はなく、4×1又は1×4とすることができるが、い
わゆる非正方形四分木変換配列(NSQT:Non-Square Quad-tree Transform)は類似し
ている。
図18A及び図18Bを参照して、ルマブロックを表す"Y"、クロマブロックの代表的
な1つを一般的な意味で表す"C"、及びピクセルを表す数字と共に、可能な異なるブロッ
クサイズが、CU、PU及びTUブロックについてまとめられている。'インター'は、イ
ンターフレーム予測PUを意味する(イントラフレーム予測PUの対義語)。多くの場合
、ルマブロックについてのブロックサイズのみが示されている。関連するクロマブロック
における対応するサイズは、チャネル比に応じてルマブロックサイズに関連づけられる。
従って、4:4:4では、クロマチャネルは、図18A及び図18Bに示されたルマブロ
ックと同じブロックサイズを有している。4:2:2及び4:2:0では、クロマブロッ
クは、それぞれ、チャネル比に応じて、対応するルマブロックよりも少ないピクセルを有
している。
図18A及び図18Bに示されている配列は、4つの可能なCUサイズ(64×64、
32×32、16×16及び8×8ルマピクセル)に関係している。これらの各CUは、
PUオプション(列1140で示される)及びTUオプション(列1150で示される)
における対応する行を有している。上記のように定義された可能なCUサイズについて、
オプションの行は、1100、1110、1129及び1130でそれぞれ示されている
なお、現在、64×64が最大CUサイズとされているが、この制限は変更することが
できる。各行1100・・1130内において、CUサイズに適用可能な異なるPUオプ
ションが示されている。これらのPU設定に適用可能なTUオプションが、各PUオプシ
ョンに水平に揃えられて示されている。
なお、いくつかのケースでは、多くのPUオプションが提供される。上述のように、P
U設定の選択における装置の目的は、異なる予測パラメータが異なる実オブジェクトに適
用され得るようにするために、ピクチャ内の実オブジェクトの境界を一致させる(できる
だけ近づける)ことにある。
ブロックサイズ及び形状、並びにPUは、コントローラ343の制御下において、エン
コーダ基準で決定される。現在の方法では、多くの方向に対して多くのTUツリー構造の
試行が行われ、各レベルで最良の"コスト"が得られる。ここで、コストは、各ブロック構
造による歪み、雑音、誤差、又はビットレートの尺度で表現されてもよい。従って、特定
の要求される品質測定に対する最小のビットレート、要求されるビットレートに対する最
小の歪み(誤差、雑音、これらの組み合わせ)、あるいは、これらの組み合わせを与える
1つの試行を選択する前に、上述のツリー構造及び階層において、許される範囲で、エン
コーダは、ブロックサイズ及び形状における2以上の(あるいは全ての利用可能な)変更
を試してもよい。
特定のPU設定が選択されると、各レベルの分割が適用されて、対応するTUが生成さ
れる。1100を参照して、64×64PUの場合、このブロックサイズは、TUとして
使用されるには大きすぎるので、第1のレベルの分割("レベル0"(分割されていない)
から"レベル1")が強制されて、4つの32×32ルマPUの配列となる。TUの変換及
び量子化が実行される前に分割が実行されて、これのそれぞれが、必要に応じて、ツリー
階層において分割される("レベル1"から"レベル2")。TUツリーのける最大数のレベ
ルは、例えば、HEVC文書によって限定される。
64×64ルマピクセルCUでは、他の選択肢がCUのサイズ及び形状に提供される。
これらは、インター符号化ピクチャとの使用のみが制限され、いくつかのケースでは、い
わゆるAMPオプション有効化との使用が制限される。AMPは、非対称動き分割であり
、PUを非対称に分割する。
同様に、いくつかのケースでは、選択肢がTUサイズ及び形状に提供される。仮に、N
QST(非正方形四分木変換、典型的には、非正方形TUを許容している)が有効化され
る場合、レベル1及び/又はレベル2への分割が図示のように実行され、一方、NQST
が無効化される場合、TUサイズは、そのCUサイズについての各最大TUのパターンの
分割に従う。
同様の選択肢が他のCUサイズに提供される。
図18A及び図18Bに図示が確定的であるとして、図18A及び図18Bにおける図
示に加えて、同じ情報の数字部分が下記の表に示されている。"n/a"は、許可されない
モードを示す。水平ピクセルサイズが初めに列挙されている。3番目の数字が与えられて
いる場合、ブロックサイズの例の数に関連しており、(水平)×(垂直)×(例の数)ブ
ロックとなっている。Nは、整数である。
各種4:2:0、4:2:2及び4:4:4ブロック構造
明らかなように、4:2:0及び4:4:4方式は、イントラ予測符号化について、正
方形のPUブロックを有している。さらに、現在、4:2:0方式は、4×4ピクセルの
PU及びTUブロックを許可している。
従って、上述のように、4:4:4モードでは、ルマ及びクロマブロックは、同じサイ
ズとされ(クロマデータはサブサンプリングされない)、そして、4×4CUに対して、
PU又はYUは、予め許容された最小の4×4ピクセルよりも少なくする必要はないので
、本発明に係る一実施形態では、4:4:4方式で、CUブロックに対する再帰が、8×
8ピクセルではなく、4×4ピクセルまで許容されることが提案される。
同様に、4:4:4方式では、本発明の一実施形態において、各Y、Cr、Cbチャネ
ル、又は、Y及び2つのCr、Cbチャネルは、各CUツリー階層構造を有し得る。フラ
グは、階層構造又は階層構造の方式が使用される信号が使用されてもよい。このアプロー
チは、4:4:4RGB色空間方式においても使用され得る。しかしながら、代わりに、
クロマ及びルマのためのツリー階層が独立であってもよい。
4:2:0方式における8×8CUに係る一例では、結果的に4つの4×4ルマPU及
び1つの4×4クロマPUとなる。従って、2倍のクロマデータを持つ4:2:2方式で
は、このケースでの1つの選択肢は、2つの4×4クロマPUを持つことであり、ここで
、例えば、底のクロマブロックは底の左のルマブロックの位置に対応する。しかしながら
、このケースにおける1つの非正方形4×8クロマPUの使用は、他の4:2:2PUよ
りもより相応しい。
4:2:0方式では、原則的に、イントラ予測符号化ではなく、インター予測符号化の
特定のクラスに対して許容された幾つかの非正方形TUが存在する。しかしながら、イン
ター予測符号化では、非正方形四分木変換(NSQT)が無効化される場合(これは、4
:2:0方式に対する現在のデフォルトである)、全てのTUが正方形となる。従って、
実際には、4:2:0方式では、現在、正方形TUが強制されている。例えば、16×1
6、4:2:0ルマTUは、各Cb及びCrの8×8、4:2:0クロマTUに対応して
いる。
しかしながら、上述のように、4:2:2方式は、非正方形PUを有し得る。従って、
本発明の一実施形態では、4:2:2方式に対して、非正方形を許可することが提案され
る。
例えば、16×16、4:2:2ルマTUは、2つの各Cb及びCr 8×8、4:2
:2クロマTUに対応していてもよく、この実施形態では、代わりに、各Cb及びCr
8×16、4:2:2クロマTUに対応していてもよい。
非正方形TUとすること、つまり、TUを少なくすることは、これらに含まれる情報が
少なくなる可能性があるので、より効率的である。しかしながら、これは、後述するよう
に、このようなTUの変換及びスキャニング処理に影響を及ぼしてしまう可能性がある。
4:4:4方式では、本発明の一実施形態において、クロマブロックよりもさらに分割
される場合、ルマブロックが(例えば)4×4ブロックにまで分割されることを防止する
ことができる。
最後に、4:4:4方式では、TU構造チャネル独立性を有し、シーケンス、ピクチャ
、スライス、細かなレベルで選択可能とすることが望ましい。
上述のように、NSQTは、現在、HEVCの4:2:0方式において無効とされてい
る。しかしながら、仮に、インターピクチャ予測について、NSQTが有効化され、かつ
、非対称動き分割(AMP)が許可されれば、PUが非対称に分割されることが許可され
、従って、例えば、16×16CUは、4×16PU及び12×16PUを有し得る。こ
れらの状況下では、4:2:0及び4:2:2方式のそれぞれについて、ブロック構造の
さらなる検討が重要になる。
4:2:0方式では、NSQTにおいて、TUの最小幅/高さは、4ルマ/クロマサン
プルに制限されている。
従って、非限定例では、16×4/16×12ルマPU構造は、ルマTUが1×4垂直
ブロック方式にあり、クロマTUが2×2ブロック方式にある、4つの16×4ルマTU
及び4つの4×4クロマTUを有している。
分割が水平ではなく、垂直である同様の方式では、4×16/12×16ルマPU構造
は、ルマTUが4×1水平ブロック方式にあり、クロマTUが2×2ブロック方式にある
、4つの4×16ルマTU及び4つの4×4クロマTUを有している。
4:2:2方式について、NSQTにおいて非限定例では、4×16/12×16ルマ
PU構造は、ルマTUが4×1水平ブロック方式にあり、クロマTUが2×2ブロック方
式にある、4つの4×16ルマTU及び4つの4×8クロマTUを有している。
しかしながら、異なる構造がいくつかのケースで考慮され得る。従って、本発明の一実施
形態では、NSQTでの非限定例において、16×4/16×12ルマPU構造は、(ル
マ及びクロマTUは1×4垂直ブロック方式にあるが、)PUレイアウトに合わせられた
4つの16×4ルマTU及び4つの×4クロマTUを有している(2×2ブロック方式に
おける4つの4×8クロマTUの4:2:0方式とは対照的に)。
ルマ及びクロマTUは、2×2ブロック配列であるが、同様に、32×8PUは、4つ
の16×4ルマTU及び4つの8×4クロマTUを有し得る。
従って、より一般的には、4:2:2方式では、NSQTにおいて、TUブロックサイ
ズは、非対称PUブロックレイアウトに合わせて選択される。従って、NSQTは、通常
、TUの境界をPUの境界に合わせることを許可しており、これにより、発生する高周波
数アーティファクトが低減される。
一般的には、本発明の実施形態は、4:2:2フォーマットビデオ信号の画像に対して
動作可能な、ビデオ符号化方法、装置又はプログラムに関連する。符号化される画像は、
符号化のために、符号化ユニット、予測ユニット、変換ユニットに分割され、符号化ユニ
ットは、ルミナンスサンプル及び対応するクロミナンスサンプルの正方形配列であり、符
号化ユニット内には2以上の予測ユニットが存在し、また、符号化ユニット内には1以上
の変換ユニットが存在し、予測ユニットは、予測の基本的なユニットであり、単予測ユニ
ット内のすべてのサンプルは、共通の予測技術を使用して予測され、変換ユニットは変換
及び量子化の基本的なユニットである。
非正方形変換モード(NSQTモード等)が有効化されて、非正方形予測ユニットが許
可される。選択的に、非対称動き分割が有効化されて、単符号化ユニットに対応する2以
上の予測ユニット間で非対称性が許可される。
コントローラ343は、例えば、PUに対応する画像の一部における画像特徴を検出し
、そのPUに対するTUブロックサイズを選択して、TU境界を、画像の一部における画
像特徴のエッジに合わせることによって、予測ユニットのブロックレイアウトに合わせる
変換ユニットブロックサイズの選択を制御する。
上述のこの規則は、ブロックサイズの組合せが利用可能であることを規定している。エ
ンコーダは、単に異なる組み合わせを試してもよい。上述のように、試行は、全ての利用
可能な選択肢の内の2以上を含んでいてもよい。試行符号化処理は、コスト機能の評価に
応じて選択されたコスト機能測定及び結果に応じて実行されてもよい。
3つのレベルのバリエーションが存在する場合、CUサイズ及び形状、PUサイズ及び
形状、並びに、TUサイズ及び形状について、試行符号化される多くの変形を導くことが
できる。このバリエーションを減らすため、システムは、各CUサイズについて許容可能
な、任意に選択された1つのPU/TU設定を使用することによって、CUに対して試行
符号化を行うことができ、そして、CUサイズが選択され、PUサイズ及び形状が、設定
毎に異なるPUオプションを試行符号化することによって選択され得る。そして、CU及
びPUが選択され、システムは、全ての適用可能なTU設定を試して最終的なTU設定を
選択することができる。
他の可能性として、いくつかのエンコーダが、ブロック設定の一定の選択を使用しても
よく、上述の組み合わせの限定的なサブセットを許容してもよい。
イントラ予測
4:2:0イントラ予測
図22を参照して、イントラ予測では、HEVCは、角度クロマ予測を認めている。導
入のため、図22は、ルマブロックに適用可能な35予測モードを示しており、この35
予測モードのうちの33は、現在の予測サンプル位置100のためのサンプルの参照のた
めに方向を特定する。
HEVCは、クロマがDC、垂直、水平、平面、DM_クロマ及びLM_クロマモード
を持つことを認めいている。
DM_クロマは、使用される予測モードが共同位置ルマPUと同じであることを意味し
ている(図22に示されている35のうちの1つ)。
LM_クロマ(線形モードクロマ)は、共同位置ルマサンプル(必要に応じてチャネル
比をダウンサンプリング)が予測クロマサンプルを抽出するために使用されることを意味
する。このケースでは、仮に、DM_クロマ予測モードに、選択されたDC、垂直、水平
、平面が採用される場合、クロマ予測リストにおけるエントリは、モード34を使用して
置き換えられる。LM_クロマモードでは、クロマピクセルが予測されるルマピクセルが
、ルマ及びクロマ間の線形関係に応じて、スケーリングされる(適切な場合にはオフセッ
トが適用)。この線形関係は、ピクセルの周囲から抽出され、抽出は、次に移る前に、1
つのブロックの符号化を終えたデコーダで、ブロック毎を基準として実行され得る。
特に、予測モード2−34は、45°〜225°の角度範囲、つまり、正方形の半分の
対角線をサンプリングする。上述のように、イントラピクチャ予測について正方形クロマ
PUのみが使用されるため、これは、4:2:0方式の場合に有用である。
各種4:2:2イントラ予測
一方、上述のように、4:2:2方式は、ルマPUが正方形である場合でも、長方形(
非正方形)クロマPUを持ち得る。あるいは、この逆もまた真となっており、長方形ルマ
PUは、正方形クロマPUに対応し得る。この相違の理由は、4:2:2では、クロマは
、垂直方向ではなく、水平方向(ルマに関連)にサブサンプリングされるためである。従
って、ルマブロック及び対応するクロマブロックのアスペクト比は、異なると予想される
。従って、4:2:2フォーマットは、クロミナンスサンプルがルミナンスサンプルより
も低い水平及び/又は垂直サンプリングレートを持つビデオフォーマットの一例(4:2
:0等の他の例もある)を表しており、クロミナンス水平解像度に対するルミナンス水平
解像度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なり、
ルミナンスサンプルのブロックが、クロミナンスサンプルの対応するブロックとは異なる
アスペクト比を持つことになる。
従って、本発明の一実施形態では、対応するルマブロックとは異なるアスペクト比を持
つクロマPUについて、方向のためにマッピングテーブルが要求される。長方形PUにつ
いてアスペクト比が1対2である場合、例えば、モード18(現在135°の角度である
)は、123°に再マッピングされる。代わりに、現在のモード18の選択が、現在のモ
ード22の選択に再マッピングされてもよく、同様の効果がある。
従って、より一般的には、非正方形PUについて、参照サンプルの方向及び選択された
イントラ予測モードの間の異なるマッピングは、正方形PUと比較して提供される。
より一般的には、非方向モードを含む如何なるモードも、経験的証拠に基づいて再マッ
ピングされ得る。
このようなマッピングは、多対1の関係となり得、4:2:2クロマPUの全てのモー
ドについて説明を行うと、説明が冗長となってしまう。従って、このケースでは、例えば
、17モード(角分解能の半分に対応)のみについて説明する。これに代えて、あるいは
、これに加えて、不均一な方法において、これらのモードは、角度的に分散されていても
よい。
同様に、サンプル位置でピクセルを予測するときに参照サンプルで使用される平滑化フ
ィルタは、4:2:0方式において、クロマではなく、ルマピクセルの平滑化のみに使用
される等、別々で使用されてもよい。一方、4:2:2及び4:4:4方式では、このフ
ィルタは、クロマPUについて使用されてもよい。4:2:2方式では、やはり、PUの
異なるアスペクト比に応じてフィルタが修正されてもよく、例えば、近接水平モードにお
けるサブセットに対してのみ使用されてもよい。モードのサブセットの一例は、好ましく
は、2−18及び34であり、より好ましくは7−14である。4:2:2では、参照サ
ンプルの左列のみの平滑化が本発明の一実施形態において実行される。
これらの構成についての詳細は後述する。
各種4:4:4:イントラ予測
4:4:4方式では、クロマ及びルマPUは、同じサイズであり、従って、クロマPU
に対するイントラ予測モードは、共同位置ルマPUと同じであってもよいし(分離モード
を符号化しないことによって、ビッドストリームにおけるオーバーヘッドを削減するため
)、より好ましくは、独自に選択されてもよい。
後者の場合、本発明の一実施形態では、1つが、CUにおけるPUに対して、1、2又
は3の異なる予測モードを有している。
第1の例では、Y、Cb及びCr PUは、全て同じイントラ予測モードを使用する。
第2の例では、Y PUは、1つのイントラ予測モードを使用し、かつ、Cb及びCr
PUは、独自に選択された他の1つのイントラ予測モードを使用する。
第3の例では、Y、Cb及びCr PUは、それぞれ独自に選択されたイントラ予測モ
ードをそれぞれ使用する。
なお、クロマチャネル(又は各クロマチャネル)に対して独自な予測モードを持つこと
で、色予測精度が改善される。しかし、これは、符号化データの一部として独自な予測モ
ードを通信するための追加的なデータオーバーヘッドの費用となる。
これを軽減するため、モードの数の選択が高レベルシンタックスにおいて示されてもよ
い(例えば、シーケンス、ピクチャ、スライスレベルで)。代わりに、独自なモードの数
がビデオフォーマットから抽出されてもよく、例えば、CBRは、3まで持つことができ
、一方、YCbCrは、2までに制限される。
モードの独自の選択に加えて、利用可能なモードが、4:4:4方式において4:2:
0方式とは異なることが許可されてもよい。
例えば、ルマ及びクロマPUは、同じサイズであるため、クロマPUは、全ての35+
LM_クロマ+DM_クロマ方向へのアクセスで有効である。従って、それぞれ独自の予
測モードを持つY、Cb及びCrの場合、Cbチャネルは、DM_クロマ及びLM_クロ
マにアクセス可能であり、一方、Crチャネルは、DM_クロマY、DM_クロマ_Cb
、LM_クロマ_Y及びLM_クロマ_Cbにアクセス可能である。これらは、ルマチャ
ネルへの参照を、Y又はCbクロマチャネルへの参照へと換える。
最確モードのリストを抽出し、そのリストのインデックスを送信することによって、ル
マ予測モードは信号化され、クロマ予測モードが独自である場合、各チャネルに対して最
確モードの独自リストを抽出する必要がある。
最後に、上述の4:2:2のケースに関する同様の方法では、4:4:4方式において
、サンプル位置でピクセルを予測するときに参照サンプルに使用される平滑化フィルタは
、ルマPUと同様の方法でクロマPUに対して使用されてもよい。現在、イントラ予測の
前に、[1、2、1]ローパスフィルタが参照サンプルに適用され得る。
クロマTUに適用可能な1つのイントラ予測は、共同位置ルマサンプルでの予測サンプ
ルに基づく。このような構成が図19において概略的に示されており、Cb、Cr及びY
チャネルにおける小さな正方形によって表されるTU1200の配列(ソース画像の領域
から)が、Cb及びYチャネル、並びに、Cr及びYチャネルにおいて画像特徴間で空間
に揃えられて示されている(暗及び明で網掛けされたボックス1200で概略的に示され
る)。この例では、共同位置ルマサンプルでの予測サンプルに基づくことをクロマTUに
強制させることが有用である。実際には、特定の特徴が1または2のチャネルでのみ現れ
、一般的に、3つのチャネルの画像内容は異なる。
本発明の実施形態では、CrTUでは、LM_クロマは、Cbチャネルからの共同位置
サンプルに選択的に基づき得る(あるいは、他の実施形態では、依存が逆になり得る)。
このような構成が図20において概略的に示されている。ここで、空間的に揃えられたT
Uが、Cr、Cb及びYチャネル間で示されている。"ソース"とラベル付けされたさらな
るTUの組は、全体として見られるカラーピクチャの略図である。ソース画像内に表れて
いる画像特徴(左上三角形及び右下三角形)は、実際には、ルミナンスにおける変化を表
しているのではなく、2つの三角形領域間でのクロミナンスの変化のみを表している。こ
の場合、CrについてLM_クロマがルミナンスサンプルに基づくと、予測が低精度にな
ってしまうが、Cbサンプルに基づけば優れた予測が得られる。
どのLM_クロマモードが使用されるかの決定は、異なる選択肢(LM_クロマを、共
同位置ルマ又は共同位置クロマサンプルに基づかせる選択肢を含む)の試行符号化に基づ
いて、コントローラ343及び/又はモードコントローラ520によって実行され、上述
と同様に、どのモードを選択するかの決定が、異なる試行符号化に応じてコスト機能を評
価することによって実行される。コスト機能の例は、雑音、歪み、誤差レート及びビット
レートである。試行符号化に従うモードの中から、最も低い1以上のコスト機能を与える
モードが選択される。
図21は、本発明の一実施形態に係る、イントラ予測について参照サンプルを得ること
に使用される方法を示す概略図である。図21を参照して、符号化はスキャニングパター
ンに応じて実行され、一般的には、符号化される現在のブロックの上及び左のブロックの
符号化バージョンが、符号処理に適用可能である。左下又は右上のサンプルが、LCU内
の既に符号化された他のTUの一部として既に符号化されている場合、しばしば、これら
のサンブルが使用される。例えば、上述のように図13が参照される。
網掛け領域1210は、現在のTU、つまり、現在符号化されているTUを表している
4:2:0及び4:2:2方式では、現在のTUのすぐ左に位置するピクセルの列は、
水平サブサンプリングであるので、共同位置ルミナンス及びクロミナンスサンプルを含ま
ない。換言すると、これは、4:2:0及び4:2:2フォーマットは、ルミナンスピク
セルの半分のクロミナンスピクセルを有しており、全てのルミナンスサンプル位置が挙動
位置クロミナンスサンプルを有しているのではないためである。従って、ルミナンスサン
サンプルが、TUのすぐ左のピクセルの列に存在していることがあるが、クロミナンスサ
ンプルは存在しない。従って、本発明の一実施形態では、現在のTUの左の2つのサンプ
ルが位置する列が、LM_クロマに対して参照サンプルを提供することに使用される。な
お、現在のTUのすぐ左の列が確実に共同位置ルマ及びクロマサンプルを含むという点で
、4:4:4では状況が異なる。この列は、それ故、参照サンプルの提供に使用され得る
参照サンプルは、以下のように使用される。
LM_クロマモードでは、予測クロマサンプルが、線形関係に応じて、再構築ルマサン
プルから抽出される。従って、一般的には、TU内の予測クロミナンス値は、以下の式に
よって与えられる。
=a+bP
ここで、Pは、クロミナンスサンプル値であり、Pは、そのサンプル位置での再構
築ルミナンスサンプル値であり、a及びbは、定数である。この定数は、既に符号化され
たサンプル位置にある(上側参照)、そのブロックのすぐ上の行及びそのブロックのすぐ
左の列における再構築ルマサンプル及びクロマサンプルの間の関係を検出することによっ
て、特定のブロックについて抽出される。
本発明の実施形態では、定数a及びbが以下のように抽出される。
a=R(P',P')/R(P',P')
ここで、Rは、線形(少なくとも正方形)回帰関数を表しており、P'及びP'は、
それぞれ、上述の隣接行及び列からのルミナンス及びクロミナンスサンプルである。
b=mean(P')−a mean(PL')
4:4:4では、P'及びP'値は、現在のTUのすぐ左の列及現在のTUのすぐ上
の行から得られる。4:2:2では、P'及びP'値は、現在のTUのすぐ上の行、及
び現在のTUの左のエッジから離れた2つのサンプル位置の隣接ブロックの列から得られ
る。4:2:0(垂直方向及び水平方向にサブサンプリングされる)では、P'及びP
'値は、理想的には、現在のTUの上の2つの行における行から得られるが、実際には
、現在のTUの上の1つのサンプル位置の隣接ブロックにおける行、及び現在のTUの左
のエッジから離れた2つのサンプル位置の隣接ブロックにおける列から得られる。これは
、メモリ内において、データにおける追加的な行全体が維持されてしまうことを防止する
ためである。このため、4:2:0及び4:2:2は、同様の方法で扱われる。
従って、これらの技術は、画像の領域を表すクロミナンスサンプルの現在のブロックが

画像の同じ領域を表すルミナンスサンプル(再構築ルミナンスサンプル等)の共同位置ブ
ロックに対するクロミナンスサンプルの関係を抽出することによって符号化されるクロミ
ナンス予測モードを有するビデオ符号化方法に適用する。この関係(線形関係等)は、既
に符号化された隣接ブロックからの共同位置ルミナンス及びクロミナンスサンプルを比較
することによって抽出される。クロミナンスサンプルは、その関係に応じてルミナンスサ
ンプルから抽出され、また、予測クロミナンスサンプル及び実クロミナンスサンプルの差
が残差データとして符号化される。
クロミナンスサンプルが、ルミナンスサンプルと同じサンプリングレートを持つ第1の
サンプリング解像度(4:4:4等)では、共同位置サンプルは、現在のブロックに隣接
するサンプル位置にあるサンプルである。
クロミナンスサンプルが、ルミナンスサンプルよりも低いサンプリングレートを持つ第
2のサンプリング解像度(4:2:2又は4:2:0等)では、既に符号化された隣接ブ
ロックから最も近い、共同位置ルミナンス及びクロミナンスサンプルの列又は行が、共同
位置サンプルの提供に使用される。あるいは、第2のサンプリング解像度が、4:2:0
サンプリング解像度である場合、対応して位置されるサンプルは、現在のブロックに隣接
するサンプルの行であり、また、既に符号化された隣接ブロックから最も近い、対応して
位置されるルミナンス及びクロミナンスサンプルの列又は行である。
図22は、ルマサンプルに対して適用可能な予測角を示す概略図である。予測される現
在のピクセルが、ピクセル1220として図の中央に示されている。小さなドット123
0は、隣接ピクセルを表している。現在のピクセルの上又は左側に位置するこれらは、既
に符号化されているので、予測を生成するための参照サンプルとして利用可能である。他
のピクセルは、現在分かっておらず(ピクセル1220を予測する時点で)、やがてそれ
ら自身で予測される。
各番号付けされた予測方向は、現在の予測ピクセルを生成するために使用される現在の
ブロックにおける上又は左のエッジ上の候補参照サンプルのグループ内からの参照サンプ
ル1230を示している。小さなブロックの場合、予測方向は、参照サンプル間の位置を
示し、隣接参照サンプル間の線形補間(現在の予測モードによって示された方向によって
指摘されたサンプル位置の両側)が使用される。
クロマサンプルに対するイントラ角予測の説明に移り、4:2:0では、クロマサンプ
ルが相対的に少ないので、予測方向が少なくて済む。一方、DM_クロマモードが選択さ
れた場合、現在のクロマブロックが、共同位置ルマブロックと同じ予測方向を使用する。
これは、イントラ予測でのルマ方向がクロマにも同様に適用可能であることを意味してい
る。
しかしながら、4:2:2におけるクロマサンプルでは、クロマブロックがルマブロッ
クとは異なるアスペクト比を有している場合、DM_クロマが選択されたとき、ルマと同
じ予測アルゴリズム及び方向が使用されることが直感に反して考慮され得る。例えば、サ
ンプルの正方形ルマ配列に対する45°の線は、長方形サイズのサンプルの配列であって
も、クロサンプルに対して依然として45°の線をマッピングする。正方形グリッドを長
方形グリッド上に重ね合わせることは、45°の線が実際には26.6°の線をマッピン
グすることを意味する。
図23は、予測される現在のピクセル1220について、4:2:2におけるクロマピ
クセルに適用されるイントラ予測方向を示す概略図である。なお、4:2:2は、ルマチ
ャネルと比べて、クロマチャネルにおいて半分の水平サンプルレートを有しているため、
水平方向に、垂直方向の半分のピクセルが存在する。
図24は、4:2:2クロマピクセルの、正方形グリッドへの変換又はマッピング、並
びに、その後にどのようにして変換が予測方向を変化させるかを示す模式図である。
ルマ予測方向が破線1240として示されている。クロマピクセル1250は、対応す
るルマ配列(図22等参照)の半分の幅の長方形配列1260を与える正方形グリッドに
再マッピングされる。図23に示される予測方向は、長方形配列に再マッピングされてい
る。方向における一部では(ルマ方向及びクロマ方向となる組)、重複か、又は近い関係
がある。例えば、ルマ配列における方向2は、実質的に、クロマ配列における方向6に重
なる。しかしながら、それの略半分のルマ方向対応するクロマ方向を有してない。一例は
、ルマ方向3番である。また、いくつかのクロマ方向(2−5)は、ルマ配列に等しくな
く、また、いくつかのルマ方向(31−34)は、クロマ配列と等しくない。しかし、一
般的に、図24に示す重ね合わせは、ルマ及びクロマチャネルに対して同じ角度を使用す
ることが不適切であることを明示している。
従って、クロマについて適切な予測角を抽出するために、(a)DM_クロマが選択さ
れ、(b)現在使用中のDM_クロマモードが、クロマ予測方向が共同位置ルマブロック
の方向であることを示している場合、以下の処理が適用される。
(i)通常のHEVCルールに応じて、ルマ方向に応じて、イントラ予測角ステップ及
びその逆数を抽出する。
(ii)ルマ方向が略垂直である場合(つまり、例えば、18〜34番のモード全体)
、イントラ予測角ステップは、半分にされる、その逆数が2倍とされる
(iii)あるいは、ルマ方向が略水平である場合(つまり、例えば、2〜17番のモ
ード全体)、イントラ予測角ステップは、2倍にされ、逆数が半分とされる。
従って、本発明のこれらの実施形態に係るビデオ符号化若しくは復号化方法、装置又は
プログラムは、ルミナンス及びクロミナンスサンプルが、予測される現在のサンプルに関
連する予測方向に応じて、他の各参照サンプルから予測される。4:2:2などのモード
では、クロミナンスサンプルが、ルミナンスサンプルよりも低い水平及び/又は垂直サン
プリングレートを持ち、クロミナンス水平解像度に対するルミナンス水平解像度の比が、
クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なる。つまり、これは
、ルミナンスサンプルのブロックが、対応するクロミナンスサンプルのブロックとは異な
るアスペクト比を持つことを意味している。
イントラフレーム予測部530は、例えば、予測される現在のサンプルの組に関する第
1のアスペクト比の第1のグリッドに関連して定義される第1の予測方向を検出する検出
部として動作可能であり、また、予測方向に予測マッピングを適用して、異なるアスペク
ト比の第2のグリッドに関連して定義された第2の予測方向を生成する方向マッピング部
として動作可能である。従って、予測部530は、方向マッピング部の一例を表している
。予測部540は、他の対応する例を提供してもよい。
本発明の実施形態では、第1の予測方向の検出に使用される第1のグリッドは、ルミナ
ンスサンプル及びクロミナンスサンプルのうちの一方のサンプル位置に関して定義され、
第2の予測方向の生成に使用される第2のグリッドは、ルミナンスサンプル及びクロミナ
ンスサンプルのうち他方のサンプル位置に関して定義される。本明細書において説明され
る特定の例では、ルミナンス予測方向が修正されて、クロミナンス予測方向が提供されて
もよい。しかし、他の方法が用いられてもよい。
特に、この技術は、参照サンプルが、予測されるサンプルとして同じ各画像から抽出さ
れる(例えば、各画像から抽出される圧縮データからの再構築された)サンプルであるイ
ントラ予測に適用可能である。
少なくともいくつかの構成では、第1の予測方向は、現在のルミナンスサンプルを含む
ルミナンスサンプルの正方形ブロックに応じて定義され、第2の予測方向は、現在のクロ
ナンスサンプルを含むルミナンスサンプルの長方形ブロックに応じて定義される。
2つのクロミナンス要素についての独立予測モードを提供することもできる。このよう
な構成では、クロミナンスサンプルは、第1及び第2のクロミナンス要素のサンプルを含
み、この技術は、第1のクロミナンス要素(Cb等)に対して上述の方向マッピングを適
用し、第2のクロミナンス要素(Cr等)に対して異なる予測モードを提供する。この技
術は、(例えば)第1のクロミナンス要素のサンプルからの第2のクロミナンス要素を予
測してもよい。
ビデオデータは4:2:2フォーマットとすることができ、例えば、デコーダ又は符号
化方向の場合、予測方向は、符号化ビデオデータにおける予測方向を定義するデータを検
出することによって検出されてもよい。
一般的に、本発明の実施形態は、クロミナンス要素に対して(例えば、各ルミナンス及
びクロミナンス要素で別々に)独立予測モードを提供することができる。ビデオ符号化方
法に関連するこれらの実施形態では、画像のルミナンス及びクロミナンスサンプルが、予
測されるサンプルに関連する予測方向に応じて同じ画像から抽出された他の各参照サンプ
ルから予測され、クロミナンスサンプルが、ルミナンスサンプルよりも低い水平及び/又
は垂直サンプリングレートを持ち、クロミナンス水平解像度に対するルミナンス水平解像
度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なり、ルミ
ナンスサンプルのブロックが、対応するクロミナンスサンプルのブロックとは異なるアス
ペクト比を持ち、クロミナンスサンプルが、第1及び第2のクロミナンス要素を含む。
イントラフレームモード選択部520は、第1のクロミナンス要素(Cb等)の現在の
クロミナンスサンプルを予測するための1以上の参照サンプルの選択を定義する予測モー
ドを選択する。また、第1のクロミナンス要素の現在のクロミナンスサンプルと共同位置
に位置された、第2のクロミナンス要素(Cr等)の現在のクロミナンスサンプルを予測
するための1以上の参照サンプルの異なる選択を定義する異なる予測モードを選択する。
参照サンプルフィルタは、水平サンプル又は垂直サンプル(若しくは両方)に選択的に
適用され得る。上述のように、フィルタは、3−タップ正規化"1−2−1"フィルタとす
ることができ、左下及び右上を除いたすべてのルマ参照サンプルに現在、適用される(N
×Nブロックのサンプルはひとまとめにされて、サイズ2N+1の単1D配列が生成され
、その後、選択的にフィルタリングされる)。本発明の実施形態では、4:2:2につい
て、最初(左側エッジ)又は最後(上側エッジ)のN+1クロマサンプルにのみ適用され
るか(左下、右上及び左上は調整されない点に留意)、4:2:2及び4:4:4につい
て、全てのクロマサンプルに適用される。
本発明の実施形態は、予測されるサンプルに関連する予測モードに応じて、ルミナンス
並びに第1及び第2のクロミナンス要素サンプルが予測されるビデオ符号化若しくは復号
化方法、装置又はプログラムであって、第1のクロミナンス要素のサンプルから第2のク
ロミナンス要素のサンプルを予測するビデオ符号化若しくは復号化方法、装置又はプログ
ラムを提供する。いくつかの実施形態では、予測されるサンプルに関連する予測モードは
、サンプルが予測される1以上の他の各参照サンプルを定義する予測方向を示し得る。
本発明の実施形態は、予測されるサンプルに関連する予測モードに応じて、他の各参照
サンプルから、ルミナンス並びに第1及び第2のクロミナンス要素サンプルが予測される
ビデオ符号化若しくは復号化方法、装置又はプログラムであって、参照サンプルをフィル
タリングするビデオ符号化若しくは復号化方法、装置又はプログラムを提供する。
図19及び図20を参照して説明したように、異なる予測モードは、第2のクロミナン
ス要素のサンプルが第1のクロミナンス要素のサンプルから予測されるモードを含むこと
が可能である。
なお、モード0及び1は、角予測モードではなく、従って、この処理には含まれない。
上記した処理の効果は、図24に示したようにクロマ予測方向をルマ予測方向にマッピン
グすることである。
4:2:0では、純粋な水平予測モード(ルマモード10)又は純粋な垂直予測モード
(ルマモード26)が選択された場合、予測TUの上又は左のエッジが、ルマチャネルの
みについてフィルタリングの対象となる。水平予測モードでは、上の行が垂直方向にフィ
ルタリングされる。垂直モードでは、左の列が水平方向にフィルタリングされる。
サンプルの列の水平方向でのフィルタリングは、サンプルの列の順で、各サンプルに水
平指向フィルタを適用するものとして理解し得る。従って、個々のサンプルについて、そ
の値は、サンプルの現在の値及びそのサンプルから水平方向に移されたサンプル位置にあ
る1以上の他のサンプル(つまり、問題となっているそのサンプルの左及び/又は右に位
置する1以上の他のサンプル)の現在の値から生成されたフィルタ値に基づいて、フィル
タの動作によって修正される。
サンプルの行の垂直方向でのフィルタリングは、サンプルの行の順で、各サンプルに垂
直指向フィルタを適用するものとして理解し得る。従って、個々のサンプルについて、そ
の値は、サンプルの現在の値及びそのサンプルから垂直方向に移されたサンプル位置にあ
る1以上の他のサンプル(つまり、問題となっているそのサンプルの上及び/又は下に位
置する1以上の他のサンプル)の現在の値から生成されたフィルタ値に基づいて、フィル
タの動作によって修正される。
上述のエッジピクセルフィルタリング処理の1つの目的は、予測においてブロック基準
エッジ効果を低減して、これにより、残差画像データにおけるエネルギーを減らすという
点にある。
本発明の実施形態では、対応するフィルタリング処理が、4:4:4及び4:2:2に
おけるクロマTUについて提供される。水平サブサンプリングを考慮すると、1つの提案
は、4:2:2においてクロマTUの上の行についてのみフィルタリングを行い、一方、
4:4:4において、上の行及び左の列の両方についてフィルタリングを行う(必要に応
じて、選択されたモードに基づいて)というものである。多くの有用な詳細が取り除かれ
てしまうことを防止するために、これらの領域にのみフィルタリングを行うことは適切で
あり、(取り除かれた場合)残差画像データの増加エネルギーが導かれる。
4:2:0では、DCモードが選択された場合、ルマチャネルのみについて、予測TU
の上又は左のエッジがフィルタリングの対象となる。
このフィルタリングは、DCモードにおいて、フィルタが、両エッジにおける全てのサ
ンプルに対して、a(1×近接外側サンプル+3エッジサンプル)/4平均動作を行う
というものであってもよい。
H/Vフィルタは、近接外側サンプル及びエッジサンプルの平均である。
本発明の実施形態において、このフィルタリング処理は、4:4:4及び4:2:2に
おけるクロマTUにも提供される。この場合もやはり、水平サブサンプリングが考慮され
、いくつかの本発明の実施形態では、4:2:2においてクロマTUの上の行についての
みフィルタリングが行われ、一方、4:4:4において、上の行及び左の列についてフィ
ルタリングが行われる。
従って、この技術は、4:4:4フォーマット又は4:2:2フォーマットにおけるル
ミナンス及びクロミナンスサンプルが、予測されるサンプルのブロックに関連する予測方
向に応じて、他の各サンプルから予測されるビデオ符号化若しくは復号化方法、装置又は
プログラムに適用され得る。
本技術の実施形態において、予測方向は、予測される現在のブロックに関して検出され
る。クロミナンスサンプルの予測ブロックは、予測方向によって定義される他のクロミナ
ンスサンプルに応じて生成される。仮に、検出された予測方向が実質的に垂直(例えば、
正確に垂直なモードの+/−n角度モード以内、ここで、nは(例えば、)2)である場
合、クロミナンスサンプルの予測ブロックにおいてサンプルの左列がフィルタリングされ
る(例えば、水平方向)。あるいは、仮に、検出された予測方向が実質的に水平(例えば
、正確に水平なモードの+/−n角度モード以内、ここで、nは(例えば、)2)である
場合、クロミナンスサンプルの予測ブロックにおいてサンプルの上の行がフィルタリング
される(例えば、水平方向)。その後、フィルタリングされた予測クロミナンスブロック
及び実際のクロミナンスブロックの差が、例えば、残差データとして符号化される。代わ
りに、試験は、実質的に垂直又は水平なモードではなく、正確に垂直又は水平なモードで
あってもよい。+/−nの許容範囲は、他のものではなく、1つの試験(水平又は垂直)
に適用され得る。本発明の実施形態では、予測ブロックの左列又は上行のみがフィルタリ
ングされてもよく、また、フィルタリングは、水平指向フィルタ又は垂直指向フィルタそ
れぞれが実行されてもよい。
フィルタ処理後、本技術の実施形態では、フィルタリングされた予測クロマブロック及
び実クロマブロックの差を符号化するか(エンコーダで)、又は、フィルタリングされた
予測クロマブロックに符号化された差を適用してブロックを符号化する(デコーダで)。
インター予測
なお、HEVCにおけるインター予想は、既に長方形PUを許容しており、従って、4
:2:2及び4:4:4モードは、PUインター予測処理に既に適合可能である。
ビデオ画像の各フレームは、実際のシーンの離散サンプリングであり、結果的に、各ピ
クセルは、色及び明るさの現実世界での勾配におけるステップ幅の近似である。
この点を考慮し、以前のビデオフレームにおける値から、新たなビデオフレームにおけ
るピクセルのY、Cb又はCr値を予測するとき、元の現実世界での勾配をより良く推定
し、新たなピクセルに対する明るさ又は色をより正確に選択するために、以前のビデオフ
レームにおけるピクセルが補間される。従って、ビデオフレーム間で位置を示すのに使用
される動きベクトルは、整数のピクセル解像度に限られない。正確には、この動きベクト
ルは、補間画像内におけるサブピクセル位置を示すことができる。
4:2:0インター予測
図25及び図26を参照して、4:2:0方式では、上述のように、典型的には、8×8ルマPU1300は、Cb及びCr 4×4クロマPU1310に関連付けられる。従って、同じ効果的な解像度までルマ及びクロマピクセルデータを補間するために、異なる補間フィルタが使用される。
例えば、8×8 4:2:0 ルマPUでは、補間が1/4ピクセルであり、また、8
タップ×4フィルタは、最初に水平に適用され、その後、同じ8タップ×4フィルタが垂
直方向に適用されて、ルマPUが各方向に効果的に4回伸ばされ、図25に示すように、
補間配列が形成される。一方、対応する4×4 4:2:0クロマPUは、同じ最終解像
度を生成するために補間された1/8ピクセルであり、従って、4タップ×8フィルタが
、最初に水平方向に適用され、その後、同じ4タップ×8フィルタが垂直方向に適用され
て、4:2:0クロマPUが各方向に効果的に8回伸ばされ、図26に示すように、配列
1330が形成される。
4:2:2インター予測
ルマPU1350及び1組の対応するクロマPU1360が示されている図27及び図
28を参照して、4:2:2方式での同様の構成について説明する。図28を参照して、
上述のように、4:2:2方式では、クロマPU1360は、非正方形とすることができ
、また、8×8 4:2:2ルマPUの場合、クロマPUは、典型的には、Cb及びCr
チャネルのそれぞれに対する4(幅)×8(高さ)4:2:2クロマPUとされる。なお
、図28では便宜的に、クロマPUは、非正方形ピクセルの正方形の網掛け配列として描
かれており、一般的には、PU1360は、4(水平)×8(垂直)ピクセル配列である
一方、それ故、クロマPUで垂直方向に既存の8タップ×4ルマフィルタを使用できる
可能性があり、実際上、補間クロマPUの偶数分数位置の1つに関心があるのみであるた
め、本発明の一実施形態では、垂直方向の補間については既存の4タップ×8クロマフィ
ルタで十分とされる。
従って、図27には、垂直方向で補間画像を形成するために使用される偶数分数の結果
だけでなく、従来のように8タップ×4フィルタで補間された8×8 4:2:2ルマP
U1350、並びに、水平及び垂直方向において既存の4タップ×8クロマフィルタで補
間された4×8 4:2:2クロマPU1360が示されている。
これらの技術は、インター画像予測を使用して、入力ビデオデータを符号化するビデオ
符号化若しくは復号化方法、装置又はプログラムに適用可能であり、各クロミナンス要素
は、ルミナンス要素における1/Mの水平解像度を持ち、ルミナンス要素における1/N
の垂直解像度を持ち、ここで、M及びNは、1以上の整数であり、例えば、4:2:2で
は、M=2、N=1であり、4:2:0では、M=2、N=2である。
フレーム記憶部570は、現在の画像を予測する1以上の画像を記憶する。
補間フィルタ580は、補間された予測ユニットのルミナンス要素が、記憶画像の対応
する部分のP倍の水平解像度を持ち、記憶画像の対応する部分のQ倍の垂直解像度を持つ
ように、記憶された画像の予測ユニットの高解像度バージョンを補間し、ここで、P及び
Qは、1を超える整数である。現在の例では、P=Q=4であり、補間フィルタ580が
1/4サンプル解像度で補間画像を生成する。
動き推定部550は、現在の画像及び1以上の補間記憶画像の間のインター画像の動き
を検出して、現在の画像の予測ユニット及び1以上の予測画像の領域の間の動きベクトル
を生成する。
動き補償予測部540は、各動きベクトルによって示された補間記憶画像の領域に関し
て、現在の画像の予測ユニットの動き補償予測を生成する。
補間フィルタ580の動作の説明に戻り、実施形態に係るこのフィルタは、a×R水平
及び×S垂直補間フィルタを、記憶画像のクロミナンス要素に適用して、補間クロミナン
ス予測ユニットを生成し、ここで、Rは、(U×M×P)に等しく、Sは、(V×N×Q
)に等しく、U及びVは、1以上の整数であり、また、フィルタは、補間クロミナンス予
測ユニットをサブサンプリングし、その水平解像度がU倍で分割され、かつ、その垂直解
像度がV倍で分割され、これにより、MP×NQサンプルのブロックが生成される。
従って、4:2:2の場合、補間フィルタ580は、水平及び垂直にa×8補間を適用
し、一方で、例えば、補間出力においてサンプルを2つおきに使用して、垂直に2倍でサ
ブサンプリングを行う。
この技術は、それ故、同じ(例えば、×8)フィルタが、4:2:0及び4:2:2で
使用されることを許容しているが、4:2:2では、サブサンプリングのさらなるステッ
プが必要とされる。
本発明の実施形態では、上述のように、補間クロミナンス予測ユニットは、同じ×R及
び×S補間フィルタを使用して補間された4:2:0フォーマット予測ユニットのサンプ
ルの高さの2倍の高さを持つ。
異なるフィルタを提供する必要性は、4:2:0入力ビデオデータ及び4:2:2入力
ビデオデータについて、特に、同じ×R水平及び×S垂直補間フィルタを使用することに
よって、これらの技術を使用して回避又は軽減することができる。
上述のように、補間クロミナンス予測ユニットをサブサンプリングするステップにおい
て、垂直方向に補間クロミナンス予測ユニットのサンプルをVおきに使用し、及び/また
は垂直方向に補間クロミナンス予測ユニットのサンプルをUおきに使用する。
本発明の実施形態において、予測ユニットについてルミナンス動きベクトルを抽出し、
独自に、その予測ニットについて1以上のクロミナンス動きベクトルを抽出してもよい。
本発明の実施形態では、少なくとも1つのR及びSが、2以上の値に等しく、また本発
明の実施形態では、×R水平及び×S垂直補間フィルタも、記憶画像のルミナンス要素に
適用される。
各種4:4:4インター予測
拡張により、既存の4タップ×8クロマフィルタについて、偶数分数の結果のみを使用
するという同じ考え方は、8×8 4:4:4クロマPUについて垂直方向及び水平方向
の両方に適用することができる。
さらにこれらの例では、×8クロマフィルタがルマを含む全ての補間に使用されてもよ
い。
他の各種インター予測
動きベクトル(MV:Motion Vector)抽出に係る一実施形態では、Pスライスにおけ
るPUに対して1つの動きベクトルが生成される(及びBスライスにおけるPUに対する
2つのベクトルが生成される(MPEG P及びBフレームと同様の方法で、Pスライス
は、予測フレームから予測され、Bスライスは、予測及び後フレームから予測される))
特に、4:2:0方式に係る実施形態では、ベクトルが全てのチャネルで共通とされ、
さらに、クロマデータは、動きベクトルの計算に使用される必要がない。つまり、全ての
チャネルは、ルマデータに基づく動きベクトルを使用する。
本発明に係る一実施形態では、4:2:2方式において、クロマベクトルは、ルマから
独立して抽出することができ(つまり、Cb及びCrチャネルに対する動きベクトルは、
別々に抽出できる)、また、4:4:4方式において、クロマベクトルは、Cb及びCr
のそれぞれに対してさらに独立とすることができる。
変換
HEVCでは、ほとんどの画像は、以前に符号化/復号化されたフレームから、動きベ
クトルとして符号化され、動きベクトルは、これらの他の復号化されたフレームにおいて
、現在の画像の良い近似をどこからコピーするかをデコーダに示す。この結果は、現在の
画像の近似バージョンである。その後、HEVCは、近似バージョン及び正確な画像間に
おける誤差であるいわゆる残差(residual)を符号化する。この残差は、実際の画像を直
接的に特定するよりも、非常に少ない情報で済む。しかしながら、それでもやはり、一般
的には、全体のビットレートをさらに低減させるために、この残差の情報を圧縮すること
が好ましい。
HEVCを含む多くの符号化方法では、このようなデータは、整数コサイン変換(IC
T:Integer Cosine Transform)を使用して空間周波数領域に変換され、また、典型的に
は、所望の圧縮レベルに応じて、低空間周波数データを保ち、高空間周波数データを除去
することによって圧縮が達成される。
4:2:0変換
特に、共通量子化/圧縮方法に忠実であるため、HEVCで使用される空間周波数変換
では、慣例的に、4の累乗での係数(例えば、64周波数係数)が生成される。4:2:
0方式における正方形TUは、全て4の累乗であり、従って、達成が容易である。
仮に、NSQT動作が有効化される場合、いくつかの非正方形変換が、4×16などの
非正方形TUに対して利用可能であるが、やはりこれらは64係数となり、つまり、やは
り4の累乗である。
各種4:2:2及び4:4:4変換
4:2:2方式は、4の累乗ではない非正方形TUを生成することができる。例えば、
4×8TUは32ピクセルを有しており、また、32は4の累乗ではない。
従って、本発明における一実施形態では、4の累乗ではない数の係数に対する正方形変
換が使用されてもよい。なお、修正が後続の量子化処理で要求される。
あるいは、本発明の一実施形態では、非正方形TUは、変換について4の累乗の領域を
もつ正方形ブロックに分割され、その後、結果としての係数を、インターリーブするこが
できる。
例えば、4×8ブロック(8行の4サンプル)では、奇数/偶数垂直サンプルはが、2
つの正方形ブロックに分割され得る。あるいは、4×8ブロックでは、上の4×4ピクセ
ル及び下の4×4ピクセルは、2つの正方形ブロックを形成することができる。あるいは
、やはり、4×8ブロックでは、下位及び上位周波数の4×4ブロックを形成するために
、ハール ウェーブレット分解が使用され得る。
これらの選択肢はいずれも利用可能であり、また、特定の代替手段の選択が、信号化又
はデコーダによって抽出されてもよい。
その他の変換モード
4:2:0方式においては、残差データがビットストリームに無損失で(変換、量子化
、又はさらなるフィルタリングなしで)含まれるようにする提案フラグ(いわゆる、qppr
ime_y_zero_transquant_bypass_flag)が存在する。
従って、このような実施形態は、ルミナンス及びクロミナンスサンプルが予測され、サ
ンプル及び各予測サンプル間の差が符号化され、ルミナンス差データが出力ビッドストリ
ームに無損失で含まれているかを示し、独自に、クロミナンス差データがビットストリー
ムに無損失で含まれているかを示すインジケータを利用するビデオ符号化又は復号化方法
に相当する。
本発明の一実施形態では、ルマチャネルに対するフラグが、クロマチャネルとは別とさ
れることが提案される。従って、4:2:2方式では、このようなフラグがルマチャネル
及びクロマチャネルで別々に提供され、また、4:4:4方式では、このようなフラグが
、ルマ及びクロマチャネルのどちらかに別々に提供されるか、あるいは、1つのフラグが
、3つのチャネルのそれぞれに対して提供される。これにより、4:2:2及び4:4:
4方式に関連する、増加するクロマデータレートが認識され、例えば、クロマデータと共
に圧縮された無損失ルマデータが有効化される。
イントラ予測符号化では、モード依存方向変換(MDDT:Mode-Dependent Direction
al Transform)は、TUに対する水平又は垂直ICT(または両ICT)が、イントラ予
測方向に基づく整数サイン変換に置き換えられることを許容している。4:2:0方式で
は、これは、クロマTUに適用されない。しかしながら、本発明の一実施形態では、4:
2:2及び4:4:4クロマTUに対して適用することが提案される。なお、ISTは、
現在、4サンプル変換次元(垂直又は水平)についてのみ定義されおり、従って、現在、
4×8クロマTUに垂直に適用され得ない。MDDTについては後述する。
ビデオ符号化方法では、本発明の各種の実施形態は、ルミナンス差データが出力ビット
ストリームに無損失で含まれているかどうか、及び、独立して、クロマ差データがビット
ストリームに無損失で含まれているかどうかを示し、このような指示によって定義された
形式で、関連するデータを符号化及び含めるように構成され得る。
量子化
4:2:0方式では、量子化演算が、クロミナンス(色)及びルミナンス(輝度)で同
じであり、量子化パラメータ(QP:Quantization Parameter)のみが異なる。
クロミナンスに対するQPは、ルミナンスQpから以下の様にして算出される。
QPcb = scalingTable[QPluminances+chroma_qp_index_offset]
QPcr = scalingTable[QPluminances+second_chroma_qp_index_offset]
ここで、scalingTableは、図29A及び図29Bに示すように定義され(それぞれ4:2:0、4:2:に対応)、"chroma_qp_index_offset"及び"second_chroma_qp_index_offset"は、ピクチャ・パラメータ・セットにおいて定義され、Cr及びCbについて同じ又は異なる。換言すると、角括弧内の値は、スケーリングテーブル(図29A及びB)内における"インデックス"を定義し、そして、スケーリングテーブルは、QPの修正値("値")を与える。
なお、"chroma_qp_index_offset"及び"second_chroma_qp_index_offset"は、代わりに
、それぞれ"cb_qp_offset"及び"cr_qp_offset"とされてもよい。
クロミナンスチャネルは、典型的には、含まれる情報がルミナンスよりも少なく、従っ
て、小さな大きさの係数を有しており、クロミナンスQPにおけるこの制限は、重い量子
化レベルで、全てのクロミナンスの細部が損失してしまうことを防止する。
4:2:0におけるQP−因子(divisor)の関係は、QPにおける6の増加が因子の倍に等しいような対数的な関係である(量子化ステップサイズは、本明細書において他の箇所で説明するが、使用の前にQによってさらに修正されてもよい)。従って、51−39=12によるスケーリングテーブルにおける最大の差は、因子における4倍の変化を表している。
しかしながら、本発明の一実施形態は、4:2:2方式について、4:2:0方式の2倍のクロマ情報を含む可能性があり、スケーリングテーブルにおける最大クロミナンスQP値は、45に上げられ得る(つまり、因子を持つ)。同様に、4:4:4方式では、スケーリングテーブルにおける最大クロミナンスQP値は、51に上げられ得るまり、同じ因子)。この場合、スケーリングテーブルは、実質的に冗長とされるが、動作効率の単純さは保たれる(つまり、システムは、各方式で同じ方法でテーブルを参照することによって動作するため)。従って、より一般的には、本発明の一実施形態では、クロマQP因子は、4:2:0方式に関連する符号化方式における情報量に対応して修正される。
従って、本発明の実施形態は、量子化ステップサイズを定義する選択された量子化パラ
メータに応じて、4:4:4又は4:2:2における周波数変換ルミナンス及びクロミナ
ンス要素ビデオデータのブロックを量子化するビデオ符号化及び復号化方法に適用される
。量子化パラメータの関連性(例えば、図29A又は図29Bにおける適切なテーブル)
は、ルミナンス及びクロミナンス量子化パラメータ間で定義され、この関連性では、最大
クロミナンス量子化ステップサイズが、4:2:2フォーマットについて最大ルミナンス
量子化ステップサイズよりも小さく(例えば45)、一方、4:4:4フォーマットにつ
いて最大ルミナンス量子化ステップサイズに等しい(例えば51)。量子化処理では、周
波数変換データの各要素が、各量子化ステップサイズから抽出された各値によって分割さ
れ、この結果が整数値に丸められて、量子化空間周波数データの対応するブロックが生成
される。
なお、分割及び丸めのステップは、各量子化ステップサイズ(又は、それから抽出され
たデータ、例えば、Qの応用による例)に応じた、一般的な量子化ステージを示す例であ
る。
本発明の実施形態は、空間周波数係数を量子化するための量子化パラメータ又はインデ
ックス(ルミナンスについてのQP)を選択することを含み、量子化パラメータは、ルミ
ナンスデータに適用可能なQPテーブルに応じた、量子化ステップサイズの組のそれぞれ
の基準となる。量子化パラメータの関連性を定義する処理では、クロミナンス要素につい
て、選択された量子化パラメータに応じて、修正された量子化パラメータのテーブルを参
照し、このとき、(i)第1のクロミナンス要素に関して、第1のオフセット(chroma_q
p_index_offset等)を量子化パラメータに加え、量子化インデックス+第1のオフセット
について、テーブルにおいて、エントリに対応する修正量子化インデックスを選択し、(
ii)第2のクロミナンス要素に関して、第2のオフセット(second_chroma_qp_index_o
ffset等)を量子化パラメータに加え、量子化インデックス+第2のオフセットについて
、テーブルにおいて、エントリに対応する修正量子化インデックスを選択し、ルミナンス
データ、並びに、第1及び第2のクロミナンス要素についての第1及び第2の修正量子化
インデックスにおける量子化パラメータに応じて、組における各量子化ステップサイズを
参照する。別の観点では、処理の一例では、空間周波数係数を量子化するための量子化パ
ラメータを選択し、量子化パラメータは、量子化パラメータの組のそれぞれの基準となり
、定義するステップでは、クロミナンス要素について、選択された量子化パラメータに応
じて、修正された量子化パラメータのテーブルを参照し、参照するステップでは、各クロ
ミナンス要素について、各オフセットに量子化パラメータを加え、量子化パラメータ+各
オフセットについて、テーブルにおいて、エントリに対応する修正された量子化パラメー
タを選択し、ルミナンスデータ、並びに、第1及び第2のクロミナンス要素についての第
1及び第2の修正量子化パラメータにおける量子化パラメータに応じて、組における各量
子化ステップサイズを参照する。
この技術は、特に、セット内における量子化ステップサイズの連続値が対数関数的に関連しており、m(mは整数)の量子化パラメータにおける変化が、倍(pは、1よりも大きい整数)の量子化ステップサイズの変化を表す構成に適用することができる。本実施形態では、=6、=2である。
本発明の実施形態では、上述のように、最大ルミナンス量子化パラメータは51であり、4:2:2フォーマットについて最大クロミナンス量子化パラメータは45であり、4:44フォーマットについて最大クロミナンス量子化パラメータは51である。
本発明の実施形態では、第1及び第2のオフセットは、符号化ビデオデータに関連づけ
られて通信され得る。
4:2:0変換では、下記の式を使用して、真正規化N×N DCT A'から、Aが最初に(変換ユニット340により)生成される。
ij=int(64×√N×A'ij
ここで、i及びjは、行列内の位置を示す。正規化変換に応じたスケーリングは、高精度化を提供し、小数計算の必要性を回避し、内部精度を高める。
XがA及びAの両方に乗算されるので、Aijの丸めによる差は無視され、結果としての係数は、下記の共通スケーリングファクターによる真正規化M×N(M=高さ、N=幅)DCTのものとは異なる。
(64×√N)(64×√M)=4096√N√M
なお、共通スケーリングファクターは、この例とは異なり得る。また、A及びAの両方への行列乗算、いわゆるバタフライ方法などの様々な方法で実行され得る。重要なことは、実行される動作が従来の行列乗算と同じであるかどうかということであり、特定の従来の動作順で実行されるかどうかということではない。
HEVCでは、2の累乗になるので、スケーリングファクターは、多数のビットによるバイナリ左シフトビット幅動作TransformSihftに等しい。
TransformShift=(12+0.5log(N)+0.5log(M))
内部ビッド精度における要求を減らすために、変換処理中、係数は(正の丸めを使用して)2回右にシフトされる。
Shift1=log(N)+bitDepth−9
Shift2=log(M)+
結果として、前変換処理を終え、量子化部に入る係数は、以下の式によって効果的に左
側にシフトされる。
resultingShift =(12+0.5log(NM))−(Shift1+Shift2)
=(12+0.5log(N)+0.5log(M))−(log
(N)+bitDepth−9+log(M)+6)
=15−(0.5log(N)+0.5log(M)+bitDepth)
4:2:0では、周波数変換によって生成された周波数分離(例えば、DCT)係数は
、正規化DCT処理の(2resultingShift)倍である。
本発明のいくつかの実施形態では、ブロックは、正方形又は:1のアスペクト比の長方形である。従って、N×Mのブロックサイズは、以下のいずれかである。
N=M、この場合、resultingShiftは、整数かつ、S=N=M=sqrt(NM)である。
0.5N=2M又は2N=0.5M、この場合、resultingShiftは、整数かつ、S=sqrt(NM)である。
resultingShift =15−(0.5log(N)+0.5log(M)+bitDepth)
=15−(log(S)+bitDepth)
係数は、その後、量子化され、ここで、量子化因子は、量子化パラメータに応じて抽出
される。
なお、resultingShiftは、整数に等しく、従って、共通スケーリングファクターは、2の累乗の整数であり、変換処理の全体の左シフト'resultingShift'も、等しいが逆である右シフト'quantTransformRightShift'の適用によって、この段階で考慮される。
resultingShiftが整数であるため、このビットシフト動作が可能である。
なお、因子−QP(量子化パラメータ又はインデックス)関係は、上述のように、6に
よるQPにおける増加が、因子を2倍にする効果を有し、一方で、3によるQPの減少が
、sqrt(2)(2の平方根)倍による因子の減少の効果を有する基数2出力曲線に従う。
4:2:2におけるクロマフォーマットに起因して、多くのTU幅:高さ(N:M)比が存在する。
N=M(前から) ここで、S=N=M=sqrt(NM)である(resultingShifは整数)。
0.5N=2M及び2N=0.5M(前から) ここで、S=sqrt(NM)である(resultingShifは整数)。
N=2M ここで、S=sqrt(NM)である。
2M=N ここで、S=sqrt(NM)である。
4N=0.5M ここで、S=sqrt(NM)である。
resultingShift==15−(log(S)+bitDepth)
これら後者の3つの状況では、"resultingShift"は整数ではない。例えばこれは、ビデ
オデータサンプルのブロックの少なくともいくつかがM×Nサンプルであって、N/Mの
平方根が2の整数乗に等しくならない場合に当てはまる。このようなブロックサイズは、
いくつかの実施形態において、クロマサンプルについて起こり得る。
したがって、このような場合には、以下のような手法が知られている。すなわち、ビデ
オ符号化方法またはビデオ復号化方法においては、装置またはプログラムが、変換行列の
次元に応じた量によって正規化された変換の値毎にそれぞれスケーリングされた整数値の
アレイを有する変換行列を用いて、複数ブロックからなるビデオデータサンプルを周波数
変換することで、複数のブロックからなる量子化空間周波数データを生成し、その空間周
波数データを、選択された量子化ステップのサイズに応じて量子化するように動作する。
当該量子化ステップは、ビデオデータサンプルのブロックを、変換行列及びその転置行列
によって行列乗算することによって当該ブロックを周波数変換して、スケーリングされた
空間周波数係数のブロックを生成するステップを含む。この空間周波数係数はそれぞれ、
共通のスケーリングファクター(例えば、"resultingShift")のために、ビデオデータサ
ンプルの上記ブロックの正規化された周波数変換の結果として生じる空間周波数係数より
も大きくなる。
したがって量子化段階においては、適切なビットシフト処理であっても、単純な方法で
処理をキャンセルするためには用いることができない。
この問題に対する解決策が以下の通り提案される。
量子化部段階において、右シフトを適用する:
quantTransformRightShift=15−log (S')−bitDepth
ここで、値S'は以下から導出される。
resultingShift- quantTransformRightShift=+1/2
ここで、quantTransformRightShiftは整数である。

このシフト間の差1/2は、2の平方根を乗算することに等しい。すなわち、ここでは
、係数は2の平方根倍だけ大きくなるため、ビットシフトは整数ビットシフトとなる。
この量子化プロセスのために、(QP+3)の量子化パラメータを適用する。これによ
り、量子化因子が2の平方根という因数によって効果的に増加し、これにより2の平方根
のスケール因子をそれより前のステップからキャンセルできる。
したがって、これらのステップ(すなわち、ビデオ符号化方法及びビデオ復号化方法に
おいて、(または対応する装置またはプログラムにおいて、)変換行列の次元に応じた量
によって正規化された変換行列の値毎にそれぞれスケーリングされた整数値のアレイを有
する変換行列を用いて、複数ブロックからなるビデオデータサンプルを周波数変換するこ
とで、複数のブロックからなる量子化空間周波数データを生成し、その空間周波数データ
を、選択された量子化ステップのサイズに応じて量子化するように動作し、当該量子化ス
テップは、ビデオデータサンプルのブロックを、変換行列及びその転置行列によって行列
乗算することによって当該ブロックを周波数変換して、スケーリングされた空間周波数係
数のブロックを生成するステップを含み、この空間周波数係数はそれぞれ、共通のスケー
リングファクター(例えば、"resultingshift")のために、ビデオデータサンプルの上記
ブロックの正規化された周波数変換の結果として生じる空間周波数係数よりも大きくなる
こと。)は以下のように要約される。
空間周波数係数の量子化のための量子化ステップサイズを選択する。スケーリングされ
た各空間周波数係数を2の倍数(nは整数)で分割するために、nビットシフト(例え
ば、quantTransformRightShift)を適用する。2で割り切れる共通の剰余スケーリング
ファクター(例えば、resultingShift- quantTransformRightShift)を検出する。
例えば、上述の状況では、量子化ステップサイズは剰余スケーリングファクターに従っ
て修正された量子化ステップサイズを生成し、ブロックにおいてスケーリングされた各空
間周波数係数は、当該修正された量子化ステップサイズに依存する値によって除算され、
その結果が整数値へ丸められて、量子化空間周波数データのブロックが生成される。
上述したように、量子化ステップサイズの修正は、QPが量子化ステップサイズのテー
ブル内にマッピングされた場合に、QPに対してオフセット値を単に加えて異なる量子化
ステップサイズを選択するだけで実行可能である。
上記係数はこれにより元のQPに対して正しい大きさのものになる。
上記変換行列は、変換行列の次元に応じた量によって正規化された変換行列の値毎にそ
れぞれスケーリングされた整数値の配列を有する。
その結果、S'に要求される値は常に下記のように導かれる;
S'=sqrt(2N)
これに代えて、S'は下記のように導かれてもよい;
resultingShift−quantTransformRightShift=−1/2
この場合、S'= sqrt(1/2N)であり、適用される量子化パラメータは(QP
−3)である。
これらのいずれの場合(QPに3を加える場合またはQPから3を減じる場合)も、量
子化ステップサイズを選択するステップは、量子化インデックス(例えばQP)を選択す
ることを含む。この量子化インデックスは、各量子化ステップサイズのテーブルにおける
各エントリを定義する。また修正ステップは、異なる量子化ステップサイズを選択して、
上記異なる量子化ステップサイズと、当初選択された量子化ステップサイズとの比が実質
的に剰余スケーリングファクターと等しくなるように、量子化インデックスを変更するこ
とを含む。
これは、本実施形態のように、テーブル中の量子化ステップサイズの連続する値が対数
的に関連しており、m(mは整数)という量子化インデックス(例えばQP)の変更が、
pという因数(pは2以上の整数)による量子化ステップサイズの変更と等しい場合に、
特に効果的である。本実施形態では、m=6、p=2であり、QPにおける6の増加は、
入力される量子化ステップサイズが2倍になることを意味し、QPにおける6の減少は、
出力される量子化ステップサイズが1/2になることを意味する。
上述したように、上記変更は、ルミナンスサンプルに関して量子化インデックス(例え
ば、基数であるQP)を選択し、ルミナンスサンプルに関して選択された量子化インデッ
クスに対して量子化インデックスオフセットを生成し、クロミナンス要素のそれぞれ又は
双方のサンプルについて、量子化インデックスオフセットを剰余スケーリングファクター
に従って変更し、量子化インデックスオフセットを、符号化されたビデオデータに関連し
て通信することで実行可能である。HEVCの実施形態では、2つのクロマチャンネルに
対するQPオフセットは、ビットストリームで送信される。これらのステップは、(剰余
スケーリングファクターを構成する)±3のQPオフセットがこれらのオフセットに組み
込まれ、またはそれらのオフセットがクロマQPを導くために用いられる場合にインクリ
メント/デクリメントされるようなシステムに対応する。
ここで、QPオフセットは、異なる形態のブロックが用いられた場合には、±3である
必要はない。±3というのは、例えば4:2:2ビデオについて、上述したブロックの形
態及びアスペクト比に適用可能なオフセット値を指すのみである。
いくつかの実施形態では、n(入力されるビットシフト)は2が共通のスケーリング
ファクター以上になるように選択されてもよい。他の実施形態では、nは2が共通のス
ケーリングファクター以下になるように選択されてもよい。開示の実施形態(上記両方の
設定を用いる)では、ビットシフトnは、共通のスケーリングファクターに2番目に(い
ずれの方向でも)近くなるように選択される。これにより、剰余スケーリングファクター
は2未満の大きさを有する因数を表すこととなる。
他の実施形態では、上記量子化ステップサイズの修正は、単に量子化ステップサイズと
剰余スケーリングファクターに応じて因数を乗算することで実行されてもよい。すなわち
、上記修正はインデックスQPの修正を伴わなくてもよい。
また、上述した量子化ステップサイズは、変換されたサンプルが除算される実際の量子
化ステップサイズである必要はない。このように導き出される量子化ステップサイズは、
さらに修正され得る。例えば、ある手法では、量子化ステップサイズは、行列値(Q行列
)のそれぞれのエントリによって、異なる最終量子化ステップサイズが、係数の量子化ブ
ロックにおける異なる係数位置において用いられるように、さらに修正される。
また、4:2:0方式では、最大のクロマTUは16×16であるが、4:2:2方式
では、TUは16×32であってもよく、4:4:4のスキームでは、TUは32×32
であってもよい。結果的に、一実施形態では、クロマTUが32×32である量子化行列
(Q行列)が提案される。同様に、Q行列は、より大きな正方形のQ行列のサブサンプリ
ングとしての実施形態とともに、16×32等の非正方形の行列として定義される。
Q行列は、以下の(1)から(5)のいずれかによっても定義され得る。
(1)グリッド中の値(4×4及び8×8のQ行列において)
(2)より小さいまたはより大きい行列から空間補間されたもの;
HEVCでは、より大きい行列がより小さい参照Q行列の係数の各グループから導出さ
れ得る。また、より小さい行列が、より大きい行列からサブサンプリングされ得る。ここ
で、この補間またはサブサンプリングは、あるチャンネル比内で実行され得る。例えば、
あるチャンネル用のより大きい行列は、他のチャンネル用のより小さい行列から補間され
得る。
(3)他のQ行列との比較によって(すなわち、異なる値または差分);
したがって差分のみ送信される必要がある。
単に図示のために小さい例を挙げると、1つのチャンネル比用の特定の行列が、4:2
:0における4×4の行列として以下のように定義され得る。
(a b)
(c d)
ここで、a、b、c及びdはそれぞれ係数である。これは参照行列として動作する。
そうすると、開示の各実施形態は、他のチャンネル比についての類似のサイズの行列に
対して、異なる値のセットを以下のように定義できる。
(diff1 diff2)
(diff3 diff4)
これにより、他のチャンネル比用にQ行列を生成するために、行列間の差異は、参照行
列に行列を加えたことによるものである。
これらの差異に代えて、他のチャンネル比用に、乗算因数からなる行列が定義されても
よい。例えば、(i)乗算因数からなる行列は、行列が参照行列と乗算されて他のチャン
ネル比用のQ行列が生成され、または、(ii)参照行列における各係数が個別に各因数
と乗算され他のチャンネル比用のQ行列が生成される。
(4)他のQ行列の関数として;
例えば、他の行列とのスケーリング比(上記の例におけるa、b、c、dの各値がいく
つかの因数と乗算され、または各値に同じ差分値が加えられたもの)である。これは、差
分データまたは因数データを送信するのに必要なデータを削減することになる。したがっ
て、それら関数の係数のみが送信されればよい(例えばスケーリング比)。
(5)方程式/関数(例えば、区分的線形曲線、指数関数、多項式)として
したがって、行列の導出には、方程式の係数のみ、または上記のいずれかの組み合わせ
が送信されればよい。例えば、a、b、c、dは実際、行列内の係数位置(i、j)と依
存関係を有する関数として定義され得る。(i、j)は、例えば、行列の左から右に亘る
係数位置と、上部から下部に亘る係数位置を表す。一つの例として、以下のものが挙げら
れる。
coefficient i,j=3i+2j
ここで、行列は、HEVC環境では、スケーリングリストとして参照され得る。量子化
がスキャニング工程の後に適用される実施形態では、スキャンされたデータは、連続した
データサンプルからなる線形ストリームとなり得る。このような例では、Q行列の概念は
やはり適用できるが、行列(またはスキャニングリスト)は1×Nの行列として考えられ
、1×Nの行列内のNのデータ値の配列は、それぞれのQ行列の値が適用されるスキャン
されたサンプルの配列に対応する。換言すると、スキャンされたデータにおけるデータの
配列(スキャンパターンに応じた空間周波数)と、1×NのQ行列におけるデータ配列に
は、1:1の関係が成立する。
ここで、いくつかの実装では、DCT(周波数分離)段階は回避または省略され得るが
、量子化段階は実行され得る。
他の有用な情報は、前のチャンネルまたは最初の(初期の)チャンネルといった、その
値が関係する他の行列の付加的な指標を含む。例えば、上述したように、Cr用の行列は
Y用の行列またはCb用の行列のスケーリングされた要素となり得る。
したがって、開示の実施形態は、(付加的に)ビデオデータサンプルのブロックに対し
て周波数変換処理を実行し、配列されたサンプルブロック(例えば、周波数変換サンプル
の配列されたブロック)内の異なるそれぞれのブロック位置に用いるための、選択された
量子化ステップサイズと量子化ステップサイズを修正するデータの行列とにしたがって、
ビデオデータを(空間周波数データとして)量子化することで、量子化空間周波数データ
のブロックを生成可能なビデオ符号化方法またはビデオ復号化方法(及び対応する装置ま
たはプログラム)を提供できる。当該方法は、少なくとも2つの異なるクロミナンスサブ
サンプリングフォーマットについて適用可能である。
クロミナンスサブサンプリングフォーマットの少なくとも1つのために、1以上の量子
化行列が、上記クロミナンスサブサンプリングフォーマットの参照行列用に定義された1
以上の参照量子化行列に関する1以上の所定の修正として定義される。
開示の実施形態では、上記定義ステップは、参照量子化行列の複数の値からそれぞれ取
り込まれた値の行列として、1以上の量子化行列を定義することを含む。他の実施形態で
は、上記定義ステップは、参照量子化行列の値からそれぞれサブサンプリングされた値の
行列として、1以上の量子化行列を定義することを含む。
開示の実施形態では、上記定義ステップは、参照量子化行列の対応する値に関する差分
の行列として、1以上の量子化行列定義することを含む。
開示の実施形態では、上記定義ステップは、参照量子化行列の値の所定の関数として、
1以上の量子化行列を定義することを含む。この場合、所定の関数は多項式関数であって
もよい。
開示の実施形態では、例えば符号化ビデオデータの一部またはその関連データとして、
下記の(i)及び(ii)うち1つまたは両方が提供される。
(i)符号化されたビデオデータについて、参照量子化行列を示すための参照指示データ
(ii)符号化されたデータの値について、1以上の所定の修正を示すための修正指示デ
ータ
これらの技術は、クロミナンスサブサンプリングフォーマットのうちの2つが4:4:
4フォーマット及び4:2:2フォーマットである場合に特に適用できる。
HEVC4:2:0におけるQ行列の数は、昨今では、対応するチャンネル用の変換サ
イズごとに6つであり、イントラ及びインターごとに1セットである。4:4:4GBR
の場合、量子化行列のいずれかのセットが、全てのチャンネルについて使用可能であり、
または、量子化行列の3つの各セットが使用可能である。
開示の実施形態では、少なくとも行列のうち少なくとも1つは1×N行列である。これ
は、(上述したように、)1以上の行列が、実際にはスケーリングリストまたはそれと同
様のものであり、線形の1×Nに配列された係数のアレイである場合である。
ここで提案した方法は、適用されたQPをインクリメントまたはデクリメントすること
を含む。しかし、これは様々な手法で実現され得る。
HEVCでは、2つのクロマチャンネル用のQPオフセットは、ビットストリームで送
信される。これらのオフセットに±3が取り込まれ、またはそれらがクロマQPを導出す
るのに用いられる場合には±3がインクリメントまたはデクリメントされる。
上述したように、HEVCでは、(ルナQP+クロマオフセット)が、クロマQPを導
出するためにテーブルへのインデックスとして用いられる。このテーブルは、±3を取り
込むように修正され得る(すなわち、元のテーブルの値が3によってインクリメントまた
はデクリメントされる)。
クロマQPが導出された後、通常のHEVCプロセスにより、処理結果が3だけインク
リメントまたはデクリメントされる。
順方向または逆方向の量子化のために、量子化係数または量子化ステップサイズ(inve
rseQStep/scaledQStep)を取得するためのテーブルへのインデックスとして、(QP %
6)が用いられることで、除算/乗算プロセスが実施される。(QP % 6は、6を法と
するQPを意味する。)上述したように、これは変換データに適用される最終の量子化ス
テップサイズを表すものではなく、当該量子化ステップサイズは使用前にQ行列によって
さらに修正され得る。
HEVCのデフォルトテーブルは6の長さを有し、8つの(2倍の)値をカバーする。
これは単に記憶容量に関する要求を軽減するためであり、テーブルは、実際の使用のため
に、QPの法(mod 6)に従ってテーブル中のエントリを選択することで拡張され、
所定の基準値からの(QP-6を法とするQP)の差に従って、適切な2の累乗によって
乗算または除算される。
本実施形態は、QP値におけるオフセット±3を実現するために変形され得る。このオ
フセットは、テーブルルックアッププロセスにおいて適用されてもよいし、それに代えて
修正されたQPを使った上記法プロセスが実行されてもよい。オフセットは、テーブルル
ックアップにおいて適用されることが想定されているが、テーブルにおける追加のエント
リが以下のように提供されてもよい。
1つ目の代替手法は、テーブルを3つのエントリによって拡張することである。ここで
、新しいエントリは下記の通りである(インデックス値6−8用)。
図30に例示されたテーブルは、[(QP%6)+3](QPインクリメント法)によ
ってインデックスされている。QP%6は、6を法とするQPを意味する。
図31に例示されたテーブルは、[(QP%6)−3](QPデクリメント法)によっ
てインデックスされており、インデックス値−1から−3用に追加のエントリを有してい
る。
エントロピ符号化
基本的なエントロピ符号化では、符号語が入力データシンボルに割り当てられ、最短の
利用可能な符号語が、入力データにおける最も確からしいシンボルに割り当てられる。平
均すると、その結果は、無損失であるが、入力データのごく小さなリプレゼンテーション
がある。
この基本的な方法は、シンボル確率が、しばしば直前のデータ上で暫定的であることを
考慮することによってさらに改善され、これにより、割り当てプロセスのコンテキストが
適応される。
このような方法では、コンテキスト変数(CV:Context Variable)が使用されて各確
率モデルの選択が決定され、このようなCVが、HEVC4:2:0方式において提供さ
れる。
4:2:2方式のエントロピ符号化を拡張するために、例えば、8×8ルマTUに対し
て4×4TUでなく、4×8クロマTUが使用され、選択的に、単純に垂直方向で同じC
Vの選択を繰り返すことによって、コンテキスト変数が提供される。
しかしながら、本発明の一実施形態では、CVの選択は、左上の係数(高エネルギー、
DC及び/又は低空間周波数係数)に対しては繰り返して行われず、代わりに、新たなC
Vが抽出される。この場合、例えば、ルママップからマッピングが抽出されてもよい。こ
の方法は、4:4:4方式において使用されてもよい。
符号化の間、4:2:0方式では、いわゆるジグザグスキャン(zig-scan)が、高周波
数から低周波数へと順番に係数をスキャンする。しかしながら、この場合もやはり、4:
2:2方式におけるクロマTUは非正方形であり、従って、本発明の一実施形態では、さ
らに水平方向とされるように、より一般的には、TUのアスペクト比に対応して、スキャ
ンの角度が傾けられた異なるクロマスキャンが提案される。
重要性マップのCVの選択のための近接、並びに、1又は2大きいCVの選択のための
c1/c2システムが、対応して適応される。
同様に、本発明の一実施形態では、最後の有意係数(復号化における開始位置となる)
は、共同位置ルマTUにおける最後の有意位置から差動的に符号化されたクロマTUに対
する最後の有意位置で、4:4:4方式に対して調整を行うこともできる。
係数スキャニングは、特定のTUサイズに依存する予測モードで行うこともできる。従
って、イントラ予測モードに基づく同じTUサイズに対して、異なるスキャンオーダが使
用され得る。
4:2:0方式では、モード依存係数スキャニング(MDCS:Mode Dependent Coeff
icient Scanning)は、イントラ予測について4×4/8×8ルマTU及び4×4クロマ
TUに適用されるのみである。
本発明の一実施形態では、4:2:2方式において、MDCSが、イントラ予測につい
て4×8及び8×4クロマTUに適用されることが提案される。同様に、4:4:4方式
において、MDCSが8×8及び4×4クロマTUに適用されることが提案される。
インループフィルタ
非ブロック化(Deblocking)
非ブロック化は、全てのCU、PU及びTU境界に適用され、CU/PU/TU形状は
、考慮されない。フィルタ強度及びサイズは、局所的な統計に依存し、また、非ブロック
化は、8×8ルマピクセルの粒度を持つ。
従って、4:2:0方式に適用される現在の非ブロック化が、4:2:2及び4:4:
4方式においても適用されると予測される。
サンプル適応オフセット
サンプル適応オフセット(SAO:Sample Adaptive Offsetting)では、各チャネルは
、完全に独立である。SAOは、四分木を使用して、各チャネルについて画像データを分
割し、生成されたブロックは、その大きさが少なくとも1つのLCUの大きさとされる。
リーフブロックは、LCU境界に合わせられ、各リーフは、エンコーダにより決定された
、3つのモードのうちの1つで動作することができる(中央バンドオフセット、サイドバ
ンドオフセット、又はエッジオフセット)。各リーフは、そのピクセルを分類し、また、
エンコーダは、SAO入力データ及びソースデータを比較することによって、16カテゴ
リのそれぞれに対するオフセット値を導き出す。これらのオフセットは、デコーダに送ら
れる。復号化されたピクセルカテゴリに対するオフセットは、その値に加えられて、ソー
スからの偏差が最小化される。
さらに、SAOは、ピクチャレベルで有効化又は無効化され、仮に、ルマで有効化され
る場合、各クロマチャネルとは別に有効化され得る。
従って、この処理は、下層ブロック方式に対して非常に透過的であり、4:2:0方式
に適用されている現在のSAOが、4:2:2及び4:4:4方式に対しても適用可能で
あると予測される。
適応ループフィルタリング
4:2:0方式では、適用ループフィルタリング(ALF:Adaptive Loop Filtering
)は、基準設定において無効とされている。しかしながら、原則的には(許されるなら)
、ALFは、クロマについてピクチャ全体に適用される。
ALFでは、ルマサンプルは、15カテゴリのうちの1つに記憶され、各カテゴリは、
異なるウィナー型フィルタを使用する。
これに反して、4:2:0では、クロマサンプルは、分類されておらず、Cbに対して
1つ、Crに対して1つのウィナー型フィルタが存在するのみである。
従って、本発明の一実施形態では、4:2:2及び4:4:4方式での増加するクロマ
情報を考慮して、クロマサンプルが、例えば、4:2:2について7カテゴリに、4:4
:4について15カテゴリに分類されることが提案される。
一方、4:2:0方式では、ALFは、ALF制御フラグ(ALF制御深度によって特
定されたCUレベルまで)を使用する、CU毎を基準としたルマについて無効とされ、ピ
クチャ毎を基準としたクロマについて無効とされる。
従って、本発明の一実施形態では、クロマについて1つまたは2つのチャネル固有AL
F制御フラグを有する4:2:2又は4:4:4方式が提案される。
シンタックス
HEVCでは、4:2:0、4:2:2又は4:4:4方式を示すために、シーケンス
レベルで示されるシンタックスが提案されている。しかしながら、本発明の一実施形態で
は、このレベルで、4:4:4GBRをも示すことが提案される。
データ信号
上述の符号化装置の変形例により生成されたデータ信号及び、このような信号を送信す
る記憶装置又は伝送媒体は、本発明の実施形態を表すと考えられることが理解されよう。
上述の実施形態の各特徴は、以下の番号の条項によって定義される。
1. 4:2:2フォーマットのビデオ信号の画像において使用可能なビデオ符号化方法であ
って、
符号化されるべき画像を、複数の符号化ユニット、複数の予測ユニット、及び複数の変
換ユニットへ分割し、前記符号化ユニットは、ルミナンスサンプル及び対応するクロミナ
ンスサンプルの方形のアレイであり、1つの前記符号化ユニット内に1つ以上の予測ユニ
ット及び1つ以上の変換ユニットが存在し、前記予測ユニットは、予測処理の基本ユニッ
トであって1つの予測ユニット内の全てのサンプルが共通の予測技術を用いて予測され、
前記変換ユニットは、変換及び量子化の基礎ユニットであり、
非方形の予測ユニットを許容すべく非方形変換処理を可能とし、
変換ユニットのブロックサイズを、前記予測ユニットのブロック配列に合致するように
選択する
ビデオ符号化方法。
2. 上記1に記載のビデオ符号化方法であって、
1つの符号化ユニットに対応する2つ以上の予測ユニット間の非対称を許容すべく非対
称運動を可能とすることをさらに含む
ビデオ符号化方法。
3. 上記1または2に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、
前記予測ユニットに対応する画像の一部から画像特徴を検出すること、及び、
前記変換ユニットの境界を前記画像の一部における画像特徴のエッジと一致させるよ
うに前記予測ユニットについての変換ユニットブロックサイズを選択すること
をさらに含むビデオ符号化方法。
4. 上記3に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、
各予測ユニットのサイズについて定義された部分からなるツリー階層にしたがって、符
号化ユニットから導出される1以上の変換ユニット用に変換ユニットのブロックサイズを
選択することを含む
ビデオ符号化方法。
5. 上記1〜4のいずれか1項に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、選択された符号化ユニット
及び予測ユニットの構造にしたがって、下記の表から変換ユニットのブロックサイズを選
択することを含み、
上記表中、レベル0、レベル1、レベル2は、上記ツリー階層の部分における連続する
レベルを示し、n/aは世用されないモードを示し、各ブロックサイズは(幅寸法)×(高
さ寸法)×(存在する場合、事例の数)を示し、Nは1より大きい整数を示す
ビデオ符号化方法。
6. 上記1〜4のいずれか1項に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、選択された符号化ユニット
及び予測ユニットの構造にしたがって、下記の表から変換ユニットのブロックサイズを選
択することを含み、
上記表中、レベル0、レベル1、レベル2は、上記ツリー階層の部分における連続する
レベルを示し、n/aは世用されないモードを示し、各ブロックサイズは(幅寸法)×(高
さ寸法)×(存在する場合、事例の数)を示し、Nは1より大きい整数を示す
ビデオ符号化方法。
7. 上記1〜6のいずれか1項に記載のビデオ符号化方法であって、
非方形の変換ユニットを、当該変換ユニットの変換または量子化の前に、複数の方形ユ
ニットへと分割するステップをさらに有する
ビデオ符号化方法。
8. コンピュータによって起動され、コンピュータに上記1〜7のいずれか1項の方法
を実行させるプログラム。
9. 上記8に記載のプログラムを記憶した機械読み取り可能な非一時的記憶媒体。
10. 上記1〜7のいずれか1項に記載の方法にしたがって生成された符号化データを
含むデータ信号。
11. 4:2:2フォーマットのビデオ信号の画像において使用可能なビデオ符号化装置で
あって、
符号化されるべき画像を、複数の符号化ユニット、複数の予測ユニット、及び複数の
変換ユニットへ分割し、前記符号化ユニットは、ルミナンスサンプル及び対応するクロミ
ナンスサンプルの方形のアレイであり、1つの前記符号化ユニット内に1つ以上の予測ユ
ニット及び1つ以上の変換ユニットが存在し、前記予測ユニットは、予測処理の基本ユニ
ットであって1つの予測ユニット内の全てのサンプルが共通の予測技術を用いて予測され
、前記変換ユニットは、変換及び量子化の基礎ユニットであり、
非方形の予測ユニットを許容すべく非方形変換処理を可能とし、
変換ユニットのブロックサイズを、前記予測ユニットのブロック配列に合致するよう
に選択する
ように構成された制御部を有する
ビデオ符号化装置。
上述の実施形態はさらに、以下の番号の条項によって定義される。
1. 入力ビデオデータの符号化にインター予測を用いるビデオ復号化方法であって、各
クロミナンス要素は、ルミナンス要素の1/Mの水平方向の解像度及び1/Nの垂直方向
の解像度を有し、上記M及びNは1以上の整数であり、上記方法は、
現在の画像より先の1以上の画像を記憶し、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のP倍
の水平解像度とQ倍の垂直解像度を有するように(P及びQは2以上の整数)、前記記憶
された画像のより高解像度のバージョンの予測ユニットを補間し、
現在の画像と1以上の記憶された補間画像との間のインター画像の動きを検出して、現
在の画像の予測ユニットと1以上の先の画像の領域との間の動きベクトルを生成し、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の
画像の予測ユニットの動き補償予測を生成し、
前記補間ステップは、記憶された画像のクロミナンス要素に対して、水平方向がxR、
垂直方向がxSの補間フィルタを適用して補間クロミナンス予測ユニットを生成し(Rは
(UxMxP)に等しく、Sは(VxNxQ)に等しく、U及びCは1以上の整数である
)、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がUの
因数によって分割され、その垂直解像度がVの因数によって分割され、MPxNQサンプ
ルのブロックが生成されるようにする
ことを含むビデオ復号化方法。
ここで、上記検出ステップは、復号化処理においては必要ではない場合もある。これは
、デコーダは、エンコーダによって提供された(例えば、ビデオデータストリームの一部
として)動きベクトルを使用することができるからである。
2. 上記1に記載のビデオ復号化方法であって、
上記M=2かつN=1である
ビデオ復号化方法。
3. 上記2に記載のビデオ復号化方法であって、
上記入力ビデオデータは4:2:2フォーマットである
ビデオ復号化方法。
4. 上記3に記載のビデオ復号化方法であって、
上記補間クロミナンス予測ユニットは、そのサンプルにおいて、上記xR及びxSの補
間フィルタを用いて補間された4:2:0フォーマットの予測ユニットの2倍の高さを有
する
ビデオ復号化方法。
5. 上記2に記載のビデオ復号化方法であって、
当該方法は、上記水平方向xR、垂直方向xSの同じ補間フィルタを用いて、4:2:
0入力ビデオデータと4:2:2入力ビデオデータとで別個に動作可能である
ビデオ復号化方法。
6. 上記1〜5のいずれか1項に記載のビデオ復号化方法であって、
P=4である
ビデオ復号化方法。
7. 上記1〜6のいずれか1項に記載のビデオ復号化方法であって、
Q=4である
ビデオ復号化方法。
8. 上記1〜7のいずれか1項に記載のビデオ復号化方法であって、
上記補間クロミナンス予測ユニットのサブサンプリングステップは、垂直方向において
、補間クロミナンス予測ユニットの各V番目のサンプルを用いる
ビデオ復号化方法。
9. 上記1〜8のいずれか1項に記載のビデオ復号化方法であって、
上記補間クロミナンス予測ユニットのサブサンプリングステップは、垂直方向において
、補間クロミナンス予測ユニットの各U番目のサンプルを用いる
ビデオ復号化方法。
10. 上記1〜9のいずれか1項に記載のビデオ復号化方法であって、
予測ユニット用にルミナンス動きベクトルを導出するステップと、
上記予測ユニット用に、上記ルミナンス予測動きベクトルの導出とは独立して、クロミ
ナンス動きベクトルを導出するステップと
をさらに有するビデオ復号化方法。
11. 上記1〜10のいずれか1項に記載のビデオ復号化方法であって、
少なくとも上記RとSの一方は2以上である
ビデオ復号化方法。
12. 上記1〜11のいずれか1項に記載のビデオ復号化方法であって、
水平方向xR及び垂直方向xSの補間フィルタを、上記記憶された画像のルミナンス要
素に適用するステップをさらに有する
ビデオ復号化方法。
13. 上記1〜12のいずれか1項に記載のビデオ復号化方法であって、
上記サブサンプリングステップは、補間クロミナンス予測ユニットのサンプルのサブセ
ットを選択することを含む
ビデオ復号化方法。
14. 入力ビデオデータの符号化にインター予測を用いるビデオ符号化方法であって、
各クロミナンス要素は、ルミナンス要素の1/Mの水平方向の解像度及び1/Nの垂直方
向の解像度を有し、上記M及びNは1以上の整数であり、上記方法は、
現在の画像より先の1以上の画像を記憶し、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のP倍
の水平解像度とQ倍の垂直解像度を有するように(P及びQは2以上の整数)、前記記憶
された画像のより高解像度のバージョンの予測ユニットを補間し、
現在の画像と1以上の記憶された補間画像との間のインター画像の動きを検出して、現
在の画像の予測ユニットと1以上の先の画像の領域との間の動きベクトルを生成し、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の
画像の予測ユニットの動き補償予測を生成し、
前記補間ステップは、記憶された画像のクロミナンス要素に対して、水平方向がxR、
垂直方向がxSの補間フィルタを適用して補間クロミナンス予測ユニットを生成し(Rは
(UxMxP)に等しく、Sは(VxNxQ)に等しく、U及びCは1以上の整数である
)、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がUの
因数によって分割され、その垂直解像度がVの因数によって分割され、MPxNQサンプ
ルのブロックが生成されるようにする
ことを含むビデオ符号化方法。
15. コンピュータによって起動され、コンピュータに上記1〜14のいずれか1項の
方法を実行させるプログラム。
16. 上記15に記載のプログラムを記憶した機械読み取り可能な非一時的記憶媒体。
17. 上記1〜14のいずれか1項に記載の方法にしたがって生成された符号化データ
を含むデータ信号。
18. 入力ビデオデータの符号化にインター予測を用いるビデオ復号化装置であって、
各クロミナンス要素は、ルミナンス要素の1/Mの水平方向の解像度及び1/Nの垂直方
向の解像度を有し、上記M及びNは1以上の整数であり、上記装置は、
現在の画像より先の1以上の画像を記憶する記憶部と、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のP倍
の水平解像度とQ倍の垂直解像度を有するように(P及びQは2以上の整数)、前記記憶
された画像のより高解像度のバージョンの予測ユニットを補間する補間部と、
現在の画像と1以上の記憶された補間画像との間のインター画像の動きを検出して、現
在の画像の予測ユニットと1以上の先の画像の領域との間の動きベクトルを生成する検出
部と、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の
画像の予測ユニットの動き補償予測を生成する生成部とを有し、
前記補間部は、
記憶された画像のクロミナンス要素に対して、水平方向がxR、垂直方向がxSの補
間フィルタを適用して補間クロミナンス予測ユニットを生成し(Rは(UxMxP)に等
しく、Sは(VxNxQ)に等しく、U及びCは1以上の整数である)、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がU
の因数によって分割され、その垂直解像度がVの因数によって分割され、MPxNQサン
プルのブロックが生成されるようにする
ビデオ復号化装置。
19. 入力ビデオデータの符号化にインター予測を用いるビデオ符号化装置であって、
各クロミナンス要素は、ルミナンス要素の1/Mの水平方向の解像度及び1/Nの垂直方
向の解像度を有し、上記M及びNは1以上の整数であり、上記装置は、
現在の画像より先の1以上の画像を記憶する記憶部と、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のP倍
の水平解像度とQ倍の垂直解像度を有するように(P及びQは2以上の整数)、前記記憶
された画像のより高解像度のバージョンの予測ユニットを補間する補間部と、
現在の画像と1以上の記憶された補間画像との間のインター画像の動きを検出して、現
在の画像の予測ユニットと1以上の先の画像の領域との間の動きベクトルを生成する検出
部と、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の
画像の予測ユニットの動き補償予測を生成する生成部とを有し、
前記補間部は、
記憶された画像のクロミナンス要素に対して、水平方向がxR、垂直方向がxSの補
間フィルタを適用して補間クロミナンス予測ユニットを生成し(Rは(UxMxP)に等
しく、Sは(VxNxQ)に等しく、U及びCは1以上の整数である)、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がU
の因数によって分割され、その垂直解像度がVの因数によって分割され、MPxNQサン
プルのブロックが生成されるようにする
ビデオ符号化装置。
20. 上記18または19に記載の装置を有する、ビデオ捕捉装置、表示装置、送信装
置、受信装置、または記憶装置。


Claims (18)

  1. 空間周波数データのブロックに対して周波数変換の適用により周波数変換を行って、当該空間周波数データのブロックの正規化周波数変換により生じるビデオデータサンプルについて、共通スケーリングファクターによりそれぞれスケーリングされたビデオデータサンプルのブロックを生成し、量子化ステップサイズに応じて逆量子化を行うように動作可能なビデオ復号化装置であって、
    前記スケーリングされたビデオデータサンプルのブロックにnビットシフトを適用して(nは整数)のファクターによって除算するように構成されるシフト部と、
    で除算された前記共通スケーリングファクターである剰余スケーリングファクターを検出するように構成される検出部と、
    前記量子化ステップサイズを前記剰余スケーリングファクターに従って修正して、修正された量子化ステップサイズを生成するように構成されるデータ修正部と、
    前記スケーリングされたビデオデータサンプルのブロックのそれぞれを、前記修正された量子化ステップサイズに依存する値で乗算するように構成される乗算部
    を具備するビデオ復号化装置。
  2. 請求項1に記載のビデオ復号化装置であって、
    量子化ステップサイズのテーブルにおける各エントリを定義する量子化インデックスを選択するように構成される選択部
    をさらに具備するビデオ復号化装置。
  3. 請求項2に記載のビデオ復号化装置であって、
    前記データ修正部は、異なる量子化ステップサイズと、当初選択された量子化ステップサイズとの比が実質的に前記剰余スケーリングファクターと等しくなるように、前記異なる量子化ステップサイズを選択するために、前記量子化インデックスを変更するように構成される
    ビデオ復号化装置。
  4. 請求項3に記載のビデオ復号化装置であって、
    前記選択部は、ルミナンスサンプルに関する量子化インデックスを選択し、クロミナンス要素のそれぞれ又は双方のサンプルについて、前記ルミナンスサンプルに関して選択された前記量子化インデックスに対して量子化インデックスオフセットを生成するように構成され、
    前記データ修正部は、前記量子化インデックスオフセットを前記剰余スケーリングファクターに従って変更するように構成される
    ビデオ復号化装置。
  5. 請求項2〜4のいずれか一項に記載のビデオ復号化装置であって、
    前記テーブル内の前記量子化ステップサイズの連続する値が対数的に関連しており、m(mは整数)という量子化インデックスの変更が、pというファクター(pは2以上の整数)による量子化ステップサイズの変更を表す
    ビデオ復号化装置。
  6. 請求項5に記載のビデオ復号化装置であって、
    m=6かつp=2である
    ビデオ復号化装置。
  7. 請求項6に記載のビデオ復号化装置であって、
    前記データ修正部は、前記量子化インデックスを±3により修正するように構成される
    ビデオ復号化装置。
  8. 請求項1〜のいずれか一項に記載のビデオ復号化装置であって、
    が前記共通スケーリングファクター以上になるようにnを選択するように構成される
    ビデオ復号化装置。
  9. 請求項1〜のいずれか一項に記載のビデオ復号化装置であって、
    が前記共通スケーリングファクター以下になるようにnを選択するように構成される
    ビデオ復号化装置。
  10. 請求項1に記載のビデオ復号化装置であって、
    前記データ修正部は、前記量子化ステップサイズを、前記剰余スケーリングファクターに応じたファクターにより乗算するように構成される
    ビデオ復号化装置。
  11. 請求項1〜10のいずれか一項に記載のビデオ復号化装置であって、
    前記ビデオデータサンプルのブロックの少なくともいくつかは、M×Nサンプルを含み、N/Mの平方根が2の整数乗に等しくない
    ビデオ復号化装置。
  12. 請求項11に記載のビデオ復号化装置であって、
    前記ビデオデータサンプルのブロックの少なくともいくつかは、クロミナンスサンプルのブロックである
    ビデオ復号化装置。
  13. 請求項12に記載のビデオ復号化装置であって、
    前記ビデオデータサンプルは、4:2:2フォーマット内にある
    ビデオ復号化装置。
  14. ビデオデータサンプルのブロックを周波数変換することによって、空間周波数データのブロックを生成し、選択された量子化ステップサイズに応じて量子化を行うように動作可能なビデオ符号化装置であって、
    前記ビデオデータサンプルのブロックを周波数変換して、空間周波数係数のブロックを生成するように構成される周波数変換部であって、前記空間周波数係数はそれぞれ、共通スケーリングファクターにより、当該ビデオデータサンプルのブロックの正規化周波数変換により生じる空間周波数係数に対してスケーリングされる、周波数変換部と、
    量子化のための量子化ステップサイズを選択するように構成される選択部と、
    スケーリングされた空間周波数係数にnビットシフトを適用して、2(nは整数)のファクターによって除算するように構成されるシフト部と、
    で除算された前記共通スケーリングファクターである剰余スケーリングファクターを検出するように構成される検出部と、
    前記量子化ステップサイズを前記剰余スケーリングファクターに従って修正して、修正された量子化ステップサイズを生成するように構成されるデータ修正部と、
    前記スケーリングされた空間周波数係数を、前記修正された量子化ステップサイズに依存する値によって除算し、除算結果を整数値へ丸めるように構成される除算部と
    を具備する
    ビデオ符号化装置。
  15. 空間周波数データのブロックに対して周波数変換の適用により周波数変換を行って、当該空間周波数データのブロックの正規化周波数変換により生じるビデオデータサンプルについて、共通スケーリングファクターによりそれぞれスケーリングされたビデオデータサンプルのブロックを生成し、量子化ステップサイズに応じて逆量子化を行うように動作可能なビデオ復号化方法であって、
    前記スケーリングされたビデオデータサンプルのブロックにnビットシフトを適用してを2(nは整数)のファクターによって除算し、
    で除算された前記共通スケーリングファクターである剰余スケーリングファクターを検出し、
    前記量子化ステップサイズを前記剰余スケーリングファクターに従って修正して、修正された量子化ステップサイズを生成し、
    前記スケーリングされたビデオデータサンプルのブロックのそれぞれを、前記修正された量子化ステップサイズに依存する値で乗算する
    デオ復号化方法。
  16. ビデオデータサンプルのブロックを周波数変換することによって、空間周波数データのブロックを生成し選択された量子化ステップサイズに応じて量子化を行うように動作可能なビデオ符号化方法であって、
    前記ビデオデータサンプルのブロックを周波数変換して、空間周波数係数のブロックを生成し、前記空間周波数係数はそれぞれ、共通スケーリングファクターにより、当該ビデオデータサンプルのブロックの正規化周波数変換により生じる空間周波数係数に対してスケーリングされ、
    量子化のための量子化ステップサイズを選択し、
    スケーリングされた空間周波数係数にnビットシフトを適用して、2(nは整数)のファクターによって除算を行い、
    で除算された前記共通スケーリングファクターである剰余スケーリングファクターを検出し、
    前記量子化ステップサイズを前記剰余スケーリングファクターに従って修正して、修正された量子化ステップサイズを生成し、
    前記スケーリングされた空間周波数係数のそれぞれを、前記修正された量子化ステップサイズに依存する値によって除算し、除算結果を整数値へ丸める
    ビデオ符号化方法。
  17. コンピュータにより実行されると、コンピュータに、請求項15又は16に記載された方法を実行させるプログラム。
  18. 請求項17に記載のプログラムを記憶する、コンピュータ読み取り可能な非一時的記録媒体。
JP2016129527A 2012-04-26 2016-06-30 データ符号化及び復号化 Active JP6325606B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
GB1207459.7A GB2501535A (en) 2012-04-26 2012-04-26 Chrominance Processing in High Efficiency Video Codecs
GB1207459.7 2012-04-26
GB1211073.0A GB2501551A (en) 2012-04-26 2012-06-22 Partitioning Image Data into Coding, Prediction and Transform Units in 4:2:2 HEVC Video Data Encoding and Decoding
GB1211072.2A GB2501550A (en) 2012-04-26 2012-06-22 Subsampling Interpolated Chrominance Prediction Units in Video Encoding and Decoding
GB1211073.0 2012-06-22
GB1211072.2 2012-06-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015507605A Division JP5965054B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2018077039A Division JP6606794B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化
JP2018077038A Division JP6503492B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化

Publications (2)

Publication Number Publication Date
JP2016201813A JP2016201813A (ja) 2016-12-01
JP6325606B2 true JP6325606B2 (ja) 2018-05-16

Family

ID=46330504

Family Applications (11)

Application Number Title Priority Date Filing Date
JP2015507590A Pending JP2015518339A (ja) 2012-04-26 2013-04-08 データ符号化及び復号化
JP2015507604A Active JP6128707B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507602A Active JP6050478B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507601A Active JP5986294B2 (ja) 2012-04-26 2013-04-26 ビデオ符号化、復号化におけるクロミナンス処理方法及び処理装置
JP2015507605A Active JP5965054B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507603A Active JP6328613B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2016129527A Active JP6325606B2 (ja) 2012-04-26 2016-06-30 データ符号化及び復号化
JP2016227411A Active JP6231647B2 (ja) 2012-04-26 2016-11-24 データ符号化及び復号化
JP2017202338A Active JP6407389B2 (ja) 2012-04-26 2017-10-19 データ符号化及び復号化
JP2018077039A Active JP6606794B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化
JP2018077038A Active JP6503492B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化

Family Applications Before (6)

Application Number Title Priority Date Filing Date
JP2015507590A Pending JP2015518339A (ja) 2012-04-26 2013-04-08 データ符号化及び復号化
JP2015507604A Active JP6128707B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507602A Active JP6050478B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507601A Active JP5986294B2 (ja) 2012-04-26 2013-04-26 ビデオ符号化、復号化におけるクロミナンス処理方法及び処理装置
JP2015507605A Active JP5965054B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化
JP2015507603A Active JP6328613B2 (ja) 2012-04-26 2013-04-26 データ符号化及び復号化

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2016227411A Active JP6231647B2 (ja) 2012-04-26 2016-11-24 データ符号化及び復号化
JP2017202338A Active JP6407389B2 (ja) 2012-04-26 2017-10-19 データ符号化及び復号化
JP2018077039A Active JP6606794B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化
JP2018077038A Active JP6503492B2 (ja) 2012-04-26 2018-04-12 データ符号化及び復号化

Country Status (13)

Country Link
US (20) US9948929B2 (ja)
EP (8) EP2842321A2 (ja)
JP (11) JP2015518339A (ja)
KR (6) KR20170041288A (ja)
CN (14) CN104285445A (ja)
AU (5) AU2013254443A1 (ja)
BR (3) BR112014026035B1 (ja)
CA (6) CA3028883C (ja)
GB (13) GB2501535A (ja)
MX (3) MX345237B (ja)
RU (4) RU2619888C2 (ja)
TW (5) TWI586152B (ja)
WO (9) WO2013160656A2 (ja)

Families Citing this family (211)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE034476T2 (en) * 2010-04-23 2018-02-28 M&K Holdings Inc Equipment for image coding
PL2658263T3 (pl) * 2010-12-22 2023-03-13 Lg Electronics Inc. Sposób predykcji wewnątrzramkowej i urządzenie wykorzystujące ten sposób
US10645398B2 (en) * 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
JP2014534746A (ja) * 2011-11-07 2014-12-18 インテル コーポレイション クロスチャネル残差予測
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
WO2014071439A1 (en) * 2012-11-08 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9332257B2 (en) 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
EP3606074B1 (en) 2013-03-29 2020-12-30 JVC KENWOOD Corporation Image decoding device, image decoding method, and image decoding program
AU2013202653A1 (en) * 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
GB2513111A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
GB2513110A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
KR20230131286A (ko) * 2013-04-08 2023-09-12 지이 비디오 컴프레션, 엘엘씨 성분-간 예측
EP2936816B1 (en) * 2013-04-09 2020-04-29 MediaTek Singapore Pte Ltd. Method and apparatus for non-square intra mode coding
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
CN105474639B (zh) * 2013-07-10 2018-08-07 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序
RU2624464C1 (ru) * 2013-07-24 2017-07-04 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Порядки сканирования для кодирования без преобразования
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
KR101530774B1 (ko) * 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
JP6336058B2 (ja) 2013-10-14 2018-06-06 マイクロソフト テクノロジー ライセンシング,エルエルシー ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
AU2013403224B2 (en) 2013-10-14 2018-10-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
KR101530782B1 (ko) * 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
CN105850134B (zh) 2013-12-27 2020-02-14 索尼公司 图像处理装置及方法
KR102258427B1 (ko) 2014-01-03 2021-06-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
JP5897159B2 (ja) * 2014-02-25 2016-03-30 キヤノン株式会社 表示装置及びその制御方法
US10230992B2 (en) 2014-03-03 2019-03-12 Sony Corporation Strong intra smoothing for in RExt
US10368091B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックIpマネジメント株式会社 動画像符号化装置および動画像符号化方法
JP6653860B2 (ja) * 2014-05-26 2020-02-26 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
EP4354856A2 (en) 2014-06-19 2024-04-17 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
WO2016006894A1 (ko) * 2014-07-06 2016-01-14 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
RU2679201C2 (ru) 2014-09-30 2019-02-06 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Правила для режимов внутрикадрового прогнозирования, когда активируется волновая параллельная обработка данных
GB2532420A (en) 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
EP3051818A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
US10057587B2 (en) * 2015-01-31 2018-08-21 Qualcomm Incorporated Coding escape pixels for palette mode coding
US9900624B2 (en) * 2015-02-05 2018-02-20 Mediatek Inc. Methods and apparatus of decoding process for palette syntax
WO2016136106A1 (ja) * 2015-02-27 2016-09-01 Kddi株式会社 符号化装置及び復号装置
US10291932B2 (en) * 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search
WO2016145162A2 (en) * 2015-03-12 2016-09-15 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations
US10362305B2 (en) * 2015-03-27 2019-07-23 Sony Corporation Image processing device, image processing method, and recording medium
CA2986613C (en) * 2015-05-21 2020-04-28 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
TWI750637B (zh) * 2015-06-08 2021-12-21 美商Vid衡器股份有限公司 螢幕內容編碼區塊內複製模式
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
FR3038484B1 (fr) * 2015-07-01 2017-07-28 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
ES2677193B1 (es) * 2015-08-28 2019-06-19 Kt Corp Procedimiento y dispositivo para procesar señales de vídeo
WO2017041271A1 (en) * 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
JP6599552B2 (ja) * 2015-09-10 2019-10-30 エルジー エレクトロニクス インコーポレイティド ビデオコーディングシステムにおけるイントラ予測方法及び装置
WO2017073362A1 (ja) * 2015-10-30 2017-05-04 ソニー株式会社 画像処理装置および方法
US20180332292A1 (en) * 2015-11-18 2018-11-15 Mediatek Inc. Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
KR20180075660A (ko) 2015-11-24 2018-07-04 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US20170150176A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
CN108702508B (zh) * 2016-02-12 2023-04-11 交互数字Vc控股公司 用于帧内预测编码/解码的方法和设备
CA3014271C (en) 2016-02-12 2020-10-20 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
SG11201806810YA (en) 2016-02-12 2018-09-27 Huawei Tech Co Ltd Method and apparatus for scan order selection
EP3220643A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US20170332103A1 (en) * 2016-05-13 2017-11-16 Intel Corporation Interleaving luma and chroma coefficients to reduce the intra prediction loop dependency in video encoders and decoders
MX2018014493A (es) * 2016-05-25 2019-08-12 Arris Entpr Llc Particionamiento binario, ternario, cuaternario para jvet.
CN109196863B (zh) * 2016-05-27 2021-07-30 夏普株式会社 用于改变量化参数的系统和方法
US11039147B2 (en) 2016-05-28 2021-06-15 Mediatek Inc. Method and apparatus of palette mode coding for colour video data
CN114222139A (zh) * 2016-05-28 2022-03-22 世宗大学校产学协力团 视频信号的解码方法
EP3449633A4 (en) * 2016-05-28 2019-12-18 MediaTek Inc. METHOD AND DEVICE OF A PALLET MODE CODING FOR COLOR VIDEO DATA
US10687003B2 (en) 2016-08-04 2020-06-16 Omnivision Technologies, Inc. Linear-logarithmic image sensor
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
CN116437079A (zh) 2016-09-20 2023-07-14 株式会社Kt 对视频进行解码和编码的方法以及传输方法
WO2018062921A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
WO2018079888A1 (ko) * 2016-10-28 2018-05-03 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN116647677A (zh) 2016-10-28 2023-08-25 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
US10609367B2 (en) 2016-12-21 2020-03-31 Qualcomm Incorporated Low-complexity sign prediction for video coding
EP3552393B1 (en) * 2016-12-23 2023-03-08 Huawei Technologies Co., Ltd. An encoding apparatus for signaling an extension directional intra-prediction mode within a set of directional intra-prediction modes
CN112188194B (zh) 2016-12-23 2021-08-03 华为技术有限公司 帧内预测装置、方法、编解码装置及计算机可读存储介质
WO2018117891A1 (en) 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd. An intra-prediction apparatus for removing a directional intra-prediction mode from a set of predetermined directional intra-prediction modes
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
CN116684604A (zh) 2017-03-31 2023-09-01 松下电器(美国)知识产权公司 图像编码装置、图像解码装置及存储介质
EP3609183B1 (en) * 2017-04-13 2023-05-03 LG Electronics Inc. Image encoding/decoding method and device therefor
CN114422780A (zh) * 2017-04-28 2022-04-29 夏普株式会社 图像解码装置以及图像编码装置
CN108989820B (zh) * 2017-06-03 2022-07-05 上海天荷电子信息有限公司 各阶段采用各自相应色度采样格式的数据压缩方法和装置
EP3643063A1 (en) * 2017-06-21 2020-04-29 Vid Scale, Inc. Adaptive quantization for 360-degree video coding
CN117336509A (zh) * 2017-07-06 2024-01-02 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
US10567772B2 (en) * 2017-07-11 2020-02-18 Google Llc Sub8×8 block processing
CN109274969B (zh) 2017-07-17 2020-12-22 华为技术有限公司 色度预测的方法和设备
KR102450506B1 (ko) * 2017-07-31 2022-10-05 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN107483934B (zh) * 2017-08-17 2019-12-10 西安万像电子科技有限公司 编解码方法、装置和系统
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
RU2669874C1 (ru) * 2017-09-15 2018-10-16 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" (ФГУП "ГосНИИАС") Способы и устройство сжатия изображений. Способ и устройство восстановления изображений
CA3065914A1 (en) * 2017-09-21 2019-03-28 Kt Corporation Video signal processing method and device
US11166013B2 (en) 2017-10-09 2021-11-02 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10812798B2 (en) * 2017-10-19 2020-10-20 Qualcomm Incorporated Chroma quantization parameter (QP) offset
US10368071B2 (en) * 2017-11-03 2019-07-30 Arm Limited Encoding data arrays
EP3490253A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Encoding and decoding methods and corresponding devices
CN108063947B (zh) * 2017-12-14 2021-07-13 西北工业大学 一种基于像素纹理的无损参考帧压缩方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN115695789A (zh) * 2018-01-15 2023-02-03 三星电子株式会社 编码方法及其设备以及解码方法及其设备
GB2570711B (en) * 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
TWI690728B (zh) * 2018-03-02 2020-04-11 聯發科技股份有限公司 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
WO2019172705A1 (ko) 2018-03-09 2019-09-12 한국전자통신연구원 샘플 필터링을 이용한 영상 부호화/복호화 방법 및 장치
JP6982525B2 (ja) * 2018-03-16 2021-12-17 Kddi株式会社 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム
JP2021523586A (ja) 2018-03-25 2021-09-02 ビー1、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッドB1 Institute Of Image Technology, Inc. 映像符号化/復号化方法及び装置
CN111937398B (zh) * 2018-03-30 2023-04-21 索尼公司 图像处理装置和方法
SI3941052T1 (sl) * 2018-04-01 2024-02-29 Lg Electronics Inc. Naprava za kodiranje slik in pripadajoči postopek na podlagi izpeljave kvantizacijskega parametra
EP3777172A4 (en) 2018-04-02 2022-01-19 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR DRIVING QUANTIFICATION PARAMETERS FOR VIDEO BLOCKS DURING VIDEO CODING
US11259023B2 (en) * 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding
CN117834857A (zh) * 2018-04-24 2024-04-05 三星电子株式会社 视频编码方法和装置以及视频解码方法和装置
US11449256B2 (en) 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
US10949087B2 (en) 2018-05-15 2021-03-16 Samsung Electronics Co., Ltd. Method for rapid reference object storage format for chroma subsampled images
WO2019234612A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
KR20230127354A (ko) * 2018-06-29 2023-08-31 후아웨이 테크놀러지 컴퍼니 리미티드 인트라-예측을 위한 디바이스 및 방법
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10382772B1 (en) 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding
KR20200006932A (ko) 2018-07-11 2020-01-21 인텔렉추얼디스커버리 주식회사 화면내 예측 기반의 비디오 코딩 방법 및 장치
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
CN116033149A (zh) * 2018-08-09 2023-04-28 Oppo广东移动通信有限公司 视频图像分量的预测方法和装置、及计算机存储介质
JP7424982B2 (ja) 2018-08-15 2024-01-30 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11457214B2 (en) * 2018-08-23 2022-09-27 Interdigital Vc Holdings France, Sas Coding of quantization matrices using parametric models
CN110876061B (zh) * 2018-09-03 2022-10-11 华为技术有限公司 色度块预测方法及装置
WO2020060185A1 (ko) 2018-09-19 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020060077A1 (ko) * 2018-09-20 2020-03-26 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10469845B1 (en) 2018-09-21 2019-11-05 Tencent America, Llc Method and apparatus for intra mode coding
WO2020060449A1 (en) 2018-09-23 2020-03-26 Huawei Technologies Co., Ltd. Method and apparatus for intra reference sample interpolation filter switching
US11303904B2 (en) * 2018-09-28 2022-04-12 Qualcomm Incorporated Rectangular block transform scaling
EP3854087A4 (en) * 2018-10-09 2022-07-06 HFI Innovation Inc. METHOD AND APPARATUS FOR CODING OR DECODING USING REFERENCE SAMPLES DETERMINED BY PREDEFINED CRITERIA
US11140404B2 (en) * 2018-10-11 2021-10-05 Tencent America LLC Method and apparatus for video coding
WO2020085955A1 (en) * 2018-10-26 2020-04-30 Huawei Technologies Co., Ltd. Method and apparatus for reference sample filtering
KR20210089133A (ko) 2018-11-06 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측에 대한 단순화된 파라미터 유도
WO2020094154A1 (en) * 2018-11-09 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Improvements for region based adaptive loop filter
CN117857791A (zh) * 2018-11-16 2024-04-09 寰发股份有限公司 带有约束的亮度-色度单独的编码树编解码的方法和设备
US11438583B2 (en) * 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
WO2020111843A1 (ko) 2018-11-28 2020-06-04 주식회사 윌러스표준기술연구소 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
WO2020108591A1 (en) 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
WO2020116455A1 (ja) * 2018-12-07 2020-06-11 シャープ株式会社 予測画像生成装置、動画像復号装置、動画像符号化装置、および予測画像生成方法
CN116405686A (zh) * 2018-12-15 2023-07-07 华为技术有限公司 图像重建方法和装置
JP2020098984A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
EP3884675B1 (en) * 2018-12-21 2023-11-29 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding for deriving affine motion vectors for chroma components
CN113498605A (zh) 2018-12-23 2021-10-12 华为技术有限公司 编码器、解码器及使用自适应环路滤波器的相应方法
CN113508396A (zh) 2019-02-27 2021-10-15 华为技术有限公司 视频译码中的亮度映射与色度缩放自适应参数集
US20200288130A1 (en) * 2019-03-07 2020-09-10 Qualcomm Incorporated Simplification of sub-block transforms in video coding
EP3935860A1 (en) * 2019-03-08 2022-01-12 Canon Kabushiki Kaisha An adaptive loop filter
JP7277599B2 (ja) 2019-03-08 2023-05-19 北京字節跳動網絡技術有限公司 映像処理におけるモデルベース再整形に対する制約
AU2019201653A1 (en) * 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
CN117676139A (zh) * 2019-03-11 2024-03-08 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码
EP4351135A2 (en) * 2019-03-24 2024-04-10 Huawei Technologies Co., Ltd. Method and apparatus for chroma intra prediction in video coding
WO2020192085A1 (zh) * 2019-03-25 2020-10-01 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
AU2020256658A1 (en) 2019-04-12 2021-10-28 Beijing Bytedance Network Technology Co., Ltd. Most probable mode list construction for matrix-based intra prediction
CN113767623B (zh) * 2019-04-16 2024-04-02 北京字节跳动网络技术有限公司 用于视频编解码的自适应环路滤波
JP7214894B2 (ja) 2019-04-16 2023-01-30 エルジー エレクトロニクス インコーポレイティド イントラ予測ベースの映像コーディングにおける変換
US10764507B1 (en) 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
WO2020211869A1 (en) * 2019-04-18 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation in cross component mode
EP3935855A4 (en) 2019-04-23 2022-09-21 Beijing Bytedance Network Technology Co., Ltd. METHOD OF CROSS-COMPONENT DEPENDENCE REDUCTION
CN116760984A (zh) * 2019-04-26 2023-09-15 华为技术有限公司 用于指示色度量化参数映射函数的方法和装置
WO2020222484A1 (ko) * 2019-04-27 2020-11-05 주식회사 윌러스표준기술연구소 인트라 예측 기반 비디오 신호 처리 방법 및 장치
CN110266316B (zh) * 2019-05-08 2023-02-21 创新先进技术有限公司 一种数据压缩、解压方法、装置和设备
SG11202112518SA (en) 2019-05-13 2021-12-30 Beijing Bytedance Network Technology Co Ltd Block dimension settings of transform skip mode
CN113826398B (zh) * 2019-05-13 2022-11-29 北京字节跳动网络技术有限公司 变换跳过模式和其它编解码工具之间的交互
KR20200132753A (ko) * 2019-05-15 2020-11-25 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
CN117354528A (zh) 2019-05-22 2024-01-05 北京字节跳动网络技术有限公司 基于子块使用变换跳过模式
CN114051735A (zh) 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
CN114208169A (zh) 2019-06-11 2022-03-18 Lg电子株式会社 用于色度分量的图像解码方法及其装置
KR20230151079A (ko) 2019-06-11 2023-10-31 엘지전자 주식회사 크로마 양자화 파라미터 데이터 기반 영상 디코딩 방법 및 그 장치
TW202106017A (zh) * 2019-06-21 2021-02-01 法商內數位Vc控股法國公司 用於視訊編碼及解碼的單一索引量化矩陣設計
KR20220024006A (ko) 2019-06-22 2022-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링을 위한 신택스 요소
WO2020262408A1 (ja) * 2019-06-25 2020-12-30 日本放送協会 イントラ予測装置、画像復号装置、及びプログラム
US11368693B2 (en) * 2019-07-01 2022-06-21 Sony Group Corporation Forward and inverse quantization for point cloud compression using look-up tables
CN114391258B (zh) 2019-07-05 2023-07-18 Lg电子株式会社 基于亮度映射的视频或图像编码
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
EP3994886A4 (en) 2019-08-06 2022-12-28 Beijing Bytedance Network Technology Co., Ltd. VIDEO ZONE PARTITION ACCORDING TO COLOR FORMAT
CN114930822A (zh) 2019-08-15 2022-08-19 字节跳动有限公司 用于调色板逸出符号的熵编解码
KR20220044278A (ko) 2019-08-15 2022-04-07 바이트댄스 아이엔씨 상이한 분할 구조들을 갖는 팔레트 모드
WO2021040251A1 (en) * 2019-08-23 2021-03-04 Samsung Electronics Co., Ltd. Intra prediction method and device using the same, encoding and decoding method and device using the same based on intra prediction
CN114270842A (zh) * 2019-08-27 2022-04-01 现代自动车株式会社 利用差分编码的视频编码和解码
BR112022003732A2 (pt) * 2019-09-02 2022-10-11 Beijing Bytedance Network Tech Co Ltd Método e aparelho para processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
MX2022002815A (es) * 2019-09-14 2022-04-06 Bytedance Inc Parametro de cuantificacion para filtrado de desbloqueo de croma.
WO2021055782A1 (en) * 2019-09-19 2021-03-25 Bytedance Inc. Quantization parameter derivation for palette mode
JP7232160B2 (ja) * 2019-09-19 2023-03-02 Tvs Regza株式会社 画質回路、映像処理装置および信号特徴検出方法
BR112022005109A2 (pt) 2019-09-21 2023-03-14 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
JP2022548521A (ja) 2019-09-23 2022-11-21 アリババ グループ ホウルディング リミテッド 参照ダウンサンプリングありの動き補償補間のためのフィルタ
EP4022922A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR COMBINED INTRA-INTER PREDICTION
WO2021072177A1 (en) 2019-10-09 2021-04-15 Bytedance Inc. Cross-component adaptive loop filtering in video coding
CN114556924B (zh) 2019-10-14 2024-01-26 字节跳动有限公司 视频处理中色度残差的联合编解码与滤波的方法、装置及介质
CN114762352A (zh) * 2019-11-27 2022-07-15 北京达佳互联信息技术有限公司 用于视频编解码的去块滤波
KR20220106116A (ko) 2019-12-09 2022-07-28 바이트댄스 아이엔씨 비디오 코딩에서 양자화 그룹 사용
EP4049448A4 (en) * 2019-12-24 2023-03-08 Telefonaktiebolaget Lm Ericsson (Publ) VIRTUAL BORDER PROCESSING FOR ADAPTIVE LOOP FILTERING
KR20230107417A (ko) * 2019-12-30 2023-07-14 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 데이터의 크로마 및 루마 성분의 교차 성분결정
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
US11197001B2 (en) 2020-02-05 2021-12-07 Tencent America LLC Method and apparatus for interactions between decoder-side intra mode derivation and adaptive intra prediction modes
WO2021222871A1 (en) * 2020-04-30 2021-11-04 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for prediction dependent residual scaling for video coding
GB2599433A (en) * 2020-10-02 2022-04-06 Sony Group Corp Data encoding and decoding
TWI776294B (zh) * 2020-11-30 2022-09-01 中華電信股份有限公司 光框架交換機
CN113099229B (zh) * 2021-02-22 2022-08-09 浙江大华技术股份有限公司 块划分方法、帧间预测方法、视频编码方法及相关装置
WO2023131211A1 (en) * 2022-01-05 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602285A (en) * 1983-04-08 1986-07-22 Ampex Corporation System and method for transforming and filtering a video image
GB9013217D0 (en) * 1990-06-13 1990-08-01 Indep Broadcasting Authority Evaluation of detail in video images,and applications thereof
US5294974A (en) * 1992-07-24 1994-03-15 Matsushita Electric Corporation Of America High-definition video encoding system having color-sensitive quantization
JPH07121687A (ja) * 1993-10-20 1995-05-12 Sony Corp 画像コーデック用プロセッサおよびアクセスパターン変換方法
KR100208375B1 (ko) * 1995-12-27 1999-07-15 윤종용 동화상 부호화 방법 및 장치
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
DE69709835T2 (de) * 1996-05-28 2002-08-22 Matsushita Electric Ind Co Ltd Vorrichtung zur bildvorhersage und decodierung
FR2752474B1 (fr) 1996-08-14 1998-12-31 Iona Donescu Procede de transformation du signal image sur des supports de forme arbitraire
KR100442229B1 (ko) * 1996-09-13 2004-10-08 엘지전자 주식회사 간이형hdtv비디오디코더및디코딩방법
TW366648B (en) 1996-10-24 1999-08-11 Matsushita Electric Ind Co Ltd Method of supplementing pixel signal coding device, and pixel signal decoding device
AU9388298A (en) * 1997-09-19 1999-04-12 Sony Electronics Inc. Motion compensated digital video decoding with buffered picture storage memory map
AR025609A1 (es) 1999-09-13 2002-12-04 Hoffmann La Roche Formulaciones lipidas solidas
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
JP4254147B2 (ja) * 2001-11-30 2009-04-15 ソニー株式会社 画像情報符号化方法及び装置、並びにプログラム及び記録媒体
EP1830577A1 (en) * 2002-01-18 2007-09-05 Kabushiki Kaisha Toshiba Video decoding method and apparatus
CN100448285C (zh) 2002-12-18 2008-12-31 索尼株式会社 信息处理设备和信息处理方法
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
AU2003246127A1 (en) * 2003-06-06 2005-01-04 Mediatek Inc. Apparatus and method for format converting and mixing video signal
US7333544B2 (en) * 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7193656B2 (en) * 2003-08-14 2007-03-20 Broadcom Corporation Line address computer for providing coefficients to a chroma filter
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
EP1714484A4 (en) * 2004-01-30 2009-03-18 Panasonic Corp BILDCODE AND DECODE PROCESSING; DEVICE AND PROGRAM THEREFOR
KR100813958B1 (ko) 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 H.264/avc 비디오 디코더의 디블록킹 필터
KR101138392B1 (ko) * 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
KR20080004503A (ko) 2005-03-23 2008-01-09 알까뗄 루슨트 네트워크 노드로부터의 디지털 멀티미디어 콘텐츠에 대하여플레이리스트 탐색을 실행하는 시스템 및 방법
RU2340115C1 (ru) * 2005-04-29 2008-11-27 Самсунг Электроникс Ко., Лтд. Способ кодирования видеосигналов и устройство, поддерживающее быстрый алгоритм точной масштабируемости по качеству
KR101424969B1 (ko) * 2005-07-15 2014-08-04 삼성전자주식회사 영상 복호화 방법
BRPI0611672A2 (pt) * 2005-07-22 2009-01-13 Mitsubishi Electric Corp codificador e decodificador de imagem, mÉtodo de codificaÇço de imagem, programa de codificaÇço de imagem, meio de gravaÇço legÍvel por computador, mÉtodo de decodificaÇço de imagem, programa de decodificaÇço de imagem, e, corrente de bits codificada por imagem
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
EP2733952A1 (en) * 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Method for encoding moving picture using adaptive scanning
CN101496406B (zh) * 2006-03-23 2012-02-01 三星电子株式会社 图像编码/解码方法和设备
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
WO2008044637A1 (fr) * 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Procédés de codage et de décodage vidéo, leur dispositif, leur programme, et le support de stockage contenant le programme
US8121195B2 (en) 2006-11-30 2012-02-21 Lsi Corporation Memory reduced H264/MPEG-4 AVC codec
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
KR101539240B1 (ko) * 2007-06-14 2015-07-30 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US8139875B2 (en) * 2007-06-28 2012-03-20 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8265144B2 (en) 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
JP5212373B2 (ja) * 2007-09-12 2013-06-19 ソニー株式会社 画像処理装置及び画像処理方法
JP2009081579A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 動画像復号装置、および動画像復号方法
US8194741B2 (en) * 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
JP2009206911A (ja) * 2008-02-28 2009-09-10 Mitsubishi Electric Corp 動画像変換装置
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
KR101493905B1 (ko) * 2008-08-12 2015-03-02 삼성전자 주식회사 영상처리장치 및 영상처리방법
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP4952685B2 (ja) * 2008-08-26 2012-06-13 株式会社Jvcケンウッド 映像信号符号化装置
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US9055293B2 (en) * 2008-10-15 2015-06-09 France Telecom Prediction of an image by compensation during forward movement
EP2187647A1 (en) * 2008-11-12 2010-05-19 Sony Corporation Method and device for approximating a DC coefficient of a block of pixels of a frame
CN101742328B (zh) * 2008-11-14 2013-03-27 北京中星微电子有限公司 图像残差矩阵整数变换方法及装置、反变换方法及装置
US8578272B2 (en) 2008-12-31 2013-11-05 Apple Inc. Real-time or near real-time streaming
TW201028018A (en) 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
US20100178038A1 (en) * 2009-01-12 2010-07-15 Mediatek Inc. Video player
JP2010177809A (ja) * 2009-01-27 2010-08-12 Toshiba Corp 動画像符号化装置および動画像復号装置
JP5502336B2 (ja) * 2009-02-06 2014-05-28 パナソニック株式会社 映像信号符号化装置及び、映像信号符号化方法
JP5275454B2 (ja) * 2009-03-31 2013-08-28 パナソニック株式会社 画像復号装置
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
US8761531B2 (en) * 2009-07-09 2014-06-24 Qualcomm Incorporated Image data compression involving sub-sampling of luma and chroma values
JP5234368B2 (ja) * 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US8477845B2 (en) * 2009-10-16 2013-07-02 Futurewei Technologies, Inc. Predictive adaptive scan ordering for video coding
WO2011052216A1 (ja) * 2009-10-30 2011-05-05 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
KR101751559B1 (ko) * 2009-10-30 2017-06-27 선 페이턴트 트러스트 복호방법, 복호장치, 부호화 방법 및 부호화 장치
JPWO2011061880A1 (ja) 2009-11-19 2013-04-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2011080806A1 (ja) 2009-12-28 2011-07-07 富士通株式会社 動画像符号化装置および動画像復号装置
TWI562600B (en) * 2010-02-08 2016-12-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding
US20110200108A1 (en) * 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
CN102164284A (zh) * 2010-02-24 2011-08-24 富士通株式会社 视频解码方法和系统
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US8929440B2 (en) 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
JPWO2011129090A1 (ja) * 2010-04-13 2013-07-11 パナソニック株式会社 符号化歪み除去方法、符号化方法、復号化方法、符号化歪み除去装置、符号化装置、および復号化装置
CN102236502A (zh) 2010-04-21 2011-11-09 上海三旗通信科技有限公司 一种移动终端压力触控手势识别的人机交互方式
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9215470B2 (en) 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
ES2785606T3 (es) * 2010-07-20 2020-10-07 Ntt Docomo Inc Dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes
PL3125553T3 (pl) * 2010-08-17 2018-09-28 M&K Holdings Inc. Sposób kodowania trybu intra-predykcji
CN108737843B (zh) 2010-09-27 2022-12-27 Lg 电子株式会社 用于分割块的方法和解码设备
CN102447895B (zh) 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
CN101938657B (zh) * 2010-10-07 2012-07-04 西安电子科技大学 高效视频编码中编码单元自适应划分方法
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
KR101912307B1 (ko) * 2010-12-08 2018-10-26 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
GB2487242A (en) * 2011-01-17 2012-07-18 Sony Corp Interpolation Using Shear Transform
JP2012186617A (ja) 2011-01-31 2012-09-27 Sony Corp 画像処理装置および方法
RU2609094C2 (ru) 2011-02-10 2017-01-30 Сони Корпорейшн Устройство и способ обработки изображений
JP2012175615A (ja) 2011-02-24 2012-09-10 Sony Corp 画像処理装置及び画像処理方法
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
US9338449B2 (en) * 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
JP5678814B2 (ja) * 2011-06-20 2015-03-04 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム
KR101589388B1 (ko) * 2011-06-20 2016-01-27 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 또한 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
US20140104383A1 (en) * 2011-06-22 2014-04-17 Sony Corporation Image processing device and method
GB2492130A (en) * 2011-06-22 2012-12-26 Canon Kk Processing Colour Information in an Image Comprising Colour Component Sample Prediction Being Based on Colour Sampling Format
JP5990948B2 (ja) * 2011-06-22 2016-09-14 セイコーエプソン株式会社 プロジェクター
KR101668583B1 (ko) 2011-06-23 2016-10-21 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
JP5614381B2 (ja) * 2011-06-23 2014-10-29 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20130044811A1 (en) * 2011-08-18 2013-02-21 Hyung Joon Kim Content-Based Adaptive Control of Intra-Prediction Modes in Video Encoding
MX2014002749A (es) * 2011-09-08 2014-04-16 Motorola Mobility Llc Metodos y aparato para cuantificacion y descuantificacion de un bloque rectangular de coeficientes.
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
GB2496201A (en) 2011-11-07 2013-05-08 Sony Corp Context adaptive data encoding and decoding
GB201119180D0 (en) 2011-11-07 2011-12-21 Sony Corp Data encoding and decoding
GB2496194A (en) 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
GB2496197A (en) 2011-11-07 2013-05-08 Sony Corp Frequency Domain Video Data Reordering for Encoding
BR112014004645B1 (pt) * 2011-11-08 2022-04-26 Kabushiki Kaisha Toshiba Método de codificação de imagem e aparelho de codificação de imagem
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
EP2805492B1 (en) * 2012-01-19 2018-11-14 VID SCALE, Inc. System and method of video coding quantization and dynamic range control
US8581753B2 (en) * 2012-01-19 2013-11-12 Sharp Laboratories Of America, Inc. Lossless coding technique for CABAC in HEVC
JP5995448B2 (ja) 2012-01-19 2016-09-21 シャープ株式会社 画像復号装置、および画像符号化装置
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
US9106936B2 (en) * 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
US9123278B2 (en) * 2012-02-24 2015-09-01 Apple Inc. Performing inline chroma downsampling with reduced power consumption
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding

Also Published As

Publication number Publication date
WO2013160699A1 (en) 2013-10-31
AU2013254448B2 (en) 2015-11-19
TWI677236B (zh) 2019-11-11
US11109019B2 (en) 2021-08-31
EP2842314B1 (en) 2021-06-02
MX345237B (es) 2017-01-23
CN108347604A (zh) 2018-07-31
US10531083B2 (en) 2020-01-07
JP5965054B2 (ja) 2016-08-03
RU2619888C2 (ru) 2017-05-19
US10674144B2 (en) 2020-06-02
US20150063457A1 (en) 2015-03-05
RU2017116180A (ru) 2019-01-28
TWI575942B (zh) 2017-03-21
US9686548B2 (en) 2017-06-20
US20150043641A1 (en) 2015-02-12
RU2599935C2 (ru) 2016-10-20
BR112014026021A8 (pt) 2021-06-22
JP2018042263A (ja) 2018-03-15
GB2501556A (en) 2013-10-30
JP2016201813A (ja) 2016-12-01
CN104255029A (zh) 2014-12-31
MX2014012847A (es) 2015-10-22
AU2013254448A1 (en) 2014-11-06
US20200014916A1 (en) 2020-01-09
MX2014012846A (es) 2015-10-22
CA2870596A1 (en) 2013-10-31
US20150078447A1 (en) 2015-03-19
EP2842317A1 (en) 2015-03-04
GB2501566A (en) 2013-10-30
US20180124392A1 (en) 2018-05-03
GB2501554A (en) 2013-10-30
GB2501553A (en) 2013-10-30
EP3442229A1 (en) 2019-02-13
KR20170054561A (ko) 2017-05-17
AU2018217304B2 (en) 2020-08-06
US10616572B2 (en) 2020-04-07
CA2871556A1 (en) 2013-10-31
GB2501557A (en) 2013-10-30
KR102104400B1 (ko) 2020-04-24
JP2015518340A (ja) 2015-06-25
TWI611689B (zh) 2018-01-11
CN104255030B (zh) 2018-04-03
US10419750B2 (en) 2019-09-17
GB201211070D0 (en) 2012-08-01
CA2870596C (en) 2019-02-12
EP2842314A2 (en) 2015-03-04
WO2013160656A3 (en) 2013-12-19
TWI711301B (zh) 2020-11-21
CA2870591A1 (en) 2013-10-31
US10244232B2 (en) 2019-03-26
AU2013254444A1 (en) 2014-10-23
GB201207459D0 (en) 2012-06-13
GB201211066D0 (en) 2012-08-01
US9686547B2 (en) 2017-06-20
CA2871556C (en) 2017-08-29
CN104272739A (zh) 2015-01-07
KR20140145606A (ko) 2014-12-23
CN108347604B (zh) 2022-03-04
GB201211069D0 (en) 2012-08-01
US20150172652A1 (en) 2015-06-18
KR20170041288A (ko) 2017-04-14
JP5986294B2 (ja) 2016-09-06
AU2016204227A1 (en) 2016-07-14
US10841572B2 (en) 2020-11-17
EP4243421A3 (en) 2023-11-29
JP2018129858A (ja) 2018-08-16
US20170339402A1 (en) 2017-11-23
JP2015518339A (ja) 2015-06-25
BR112014026024A2 (pt) 2017-06-27
GB201211067D0 (en) 2012-08-01
JP2015518341A (ja) 2015-06-25
MX2014012565A (es) 2014-12-05
CA3028883A1 (en) 2013-10-31
KR20190077110A (ko) 2019-07-02
US20150063460A1 (en) 2015-03-05
EP2842321A2 (en) 2015-03-04
EP2842315B1 (en) 2023-07-12
GB201211629D0 (en) 2012-08-15
US20190222833A1 (en) 2019-07-18
CA2870602A1 (en) 2013-10-31
US20170359576A1 (en) 2017-12-14
CN108366257B (zh) 2022-03-25
BR112014026035B1 (pt) 2023-02-07
RU2603548C2 (ru) 2016-11-27
GB201211619D0 (en) 2012-08-15
CN108134931B (zh) 2022-03-01
BR112014026021A2 (pt) 2017-06-27
BR112014026035A2 (pt) 2020-06-30
RU2014147445A (ru) 2016-06-10
TW201408081A (zh) 2014-02-16
WO2013160694A4 (en) 2014-01-03
CN104247425B (zh) 2018-11-06
CA2870602C (en) 2022-08-09
KR101734974B1 (ko) 2017-05-15
BR112014026024A8 (pt) 2021-06-22
KR20180030263A (ko) 2018-03-21
GB2501548A (en) 2013-10-30
WO2013160693A3 (en) 2013-12-19
GB201211075D0 (en) 2012-08-01
AU2013254444B2 (en) 2015-10-29
CN104255030A (zh) 2014-12-31
CN111182299B (zh) 2024-02-09
BR112014026021B1 (pt) 2023-12-19
US20190191154A1 (en) 2019-06-20
RU2751080C2 (ru) 2021-07-08
GB201220836D0 (en) 2013-01-02
RU2014147451A (ru) 2016-06-20
WO2013160695A1 (en) 2013-10-31
WO2013160656A2 (en) 2013-10-31
GB2501550A (en) 2013-10-30
TW201408080A (zh) 2014-02-16
US20200177874A1 (en) 2020-06-04
US9948929B2 (en) 2018-04-17
GB2501555A (en) 2013-10-30
MX346235B (es) 2017-03-13
US9674531B2 (en) 2017-06-06
KR101994597B1 (ko) 2019-06-28
KR101840025B1 (ko) 2018-03-20
JP2018142970A (ja) 2018-09-13
US11252402B2 (en) 2022-02-15
CN108134931A (zh) 2018-06-08
CN111182299A (zh) 2020-05-19
CA3128787A1 (en) 2013-10-31
AU2018217304A1 (en) 2018-09-06
WO2013160698A1 (en) 2013-10-31
GB201211073D0 (en) 2012-08-01
US11770519B2 (en) 2023-09-26
JP2017055444A (ja) 2017-03-16
TWI586152B (zh) 2017-06-01
GB2501554B (en) 2014-09-24
CA3028883C (en) 2021-10-26
CN104285445A (zh) 2015-01-14
US10440358B2 (en) 2019-10-08
US10827169B2 (en) 2020-11-03
CA2870591C (en) 2023-10-03
KR20150003219A (ko) 2015-01-08
RU2017116180A3 (ja) 2020-05-27
WO2013160697A1 (en) 2013-10-31
TW201408079A (zh) 2014-02-16
EP4243420A2 (en) 2023-09-13
CN108366257A (zh) 2018-08-03
TW201817239A (zh) 2018-05-01
US20180227577A1 (en) 2018-08-09
WO2013160700A1 (en) 2013-10-31
GB2501551A (en) 2013-10-30
RU2014147453A (ru) 2016-06-20
US20150117527A1 (en) 2015-04-30
WO2013160696A1 (en) 2013-10-31
US20190253702A1 (en) 2019-08-15
CN110933409A (zh) 2020-03-27
CN107734330B (zh) 2020-04-28
EP2842315A1 (en) 2015-03-04
JP6407389B2 (ja) 2018-10-17
GB2501535A (en) 2013-10-30
US9826231B2 (en) 2017-11-21
CN104255029B (zh) 2017-11-24
JP2015515236A (ja) 2015-05-21
JP6503492B2 (ja) 2019-04-17
US10205941B2 (en) 2019-02-12
GB2501549A (en) 2013-10-30
CA3128787C (en) 2023-09-26
EP2842316A1 (en) 2015-03-04
US10291909B2 (en) 2019-05-14
EP4243420A3 (en) 2023-11-22
CN104247425A (zh) 2014-12-24
WO2013160693A2 (en) 2013-10-31
US20150085924A1 (en) 2015-03-26
CN110933409B (zh) 2023-06-27
JP2015518343A (ja) 2015-06-25
JP6128707B2 (ja) 2017-05-17
US20220150468A1 (en) 2022-05-12
AU2016204227B2 (en) 2018-09-06
US9693058B2 (en) 2017-06-27
MX343351B (es) 2016-11-03
TW201937934A (zh) 2019-09-16
AU2013254443A1 (en) 2014-10-23
CN109068135A (zh) 2018-12-21
CN110225337A (zh) 2019-09-10
JP2015518342A (ja) 2015-06-25
GB201211072D0 (en) 2012-08-01
CN104272739B (zh) 2018-04-20
WO2013160694A1 (en) 2013-10-31
CN109068135B (zh) 2023-03-14
GB201211623D0 (en) 2012-08-15
EP4243421A2 (en) 2023-09-13
US20200213584A1 (en) 2020-07-02
GB2501546A (en) 2013-10-30
CN104247426A (zh) 2014-12-24
US20180160112A1 (en) 2018-06-07
JP6231647B2 (ja) 2017-11-15
US20170272743A1 (en) 2017-09-21
JP6050478B2 (ja) 2016-12-21
GB2501547A (en) 2013-10-30
CN107734330A (zh) 2018-02-23
JP6606794B2 (ja) 2019-11-20
JP6328613B2 (ja) 2018-05-23
GB201211628D0 (en) 2012-08-15
US10499052B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
JP6606794B2 (ja) データ符号化及び復号化
KR102113267B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR20170007069A (ko) 파노라믹 비디오의 왜곡보정 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180412

R150 Certificate of patent or registration of utility model

Ref document number: 6325606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350