JP7460748B2 - クロマ残差スケーリングのシグナリング - Google Patents
クロマ残差スケーリングのシグナリング Download PDFInfo
- Publication number
- JP7460748B2 JP7460748B2 JP2022500709A JP2022500709A JP7460748B2 JP 7460748 B2 JP7460748 B2 JP 7460748B2 JP 2022500709 A JP2022500709 A JP 2022500709A JP 2022500709 A JP2022500709 A JP 2022500709A JP 7460748 B2 JP7460748 B2 JP 7460748B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- block
- luma
- chroma
- scaling factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011664 signaling Effects 0.000 title description 4
- 241000023320 Luma <angiosperm> Species 0.000 claims description 373
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 373
- 238000000034 method Methods 0.000 claims description 317
- 230000008569 process Effects 0.000 claims description 75
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims 1
- 239000000523 sample Substances 0.000 description 121
- 238000005192 partition Methods 0.000 description 43
- 230000006870 function Effects 0.000 description 37
- 239000013598 vector Substances 0.000 description 37
- 238000013507 mapping Methods 0.000 description 36
- 230000000007 visual effect Effects 0.000 description 30
- 238000009795 derivation Methods 0.000 description 23
- 230000001419 dependent effect Effects 0.000 description 17
- 238000004590 computer program Methods 0.000 description 12
- 239000011449 brick Substances 0.000 description 11
- 230000009977 dual effect Effects 0.000 description 11
- 238000012821 model calculation Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 239000013074 reference sample Substances 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 4
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 1
- 241000208199 Buxus sempervirens Species 0.000 description 1
- 241001502919 Gambusia luma Species 0.000 description 1
- 108700026244 Open Reading Frames Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007519 figuring Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Description
2.1.1 HEVC/H.265におけるイントラ予測
イントラ予測は、考慮された色チャネルで以前に再構成されたサンプルを使用して、与えられたTB(transform block)に対するサンプルを生成することを伴う。イントラ予測モードはルマチャネルとクロマチャネルに対して別々にシグナリングされ、クロマチャネルイントラ予測モードは、「DM_CHROMA」モードを介してルマチャネルイントラ予測モードに任意選択で依存する。イントラ予測モードはPB(prediction block)レベルでシグナリングされるが、CUの残りのクワッドツリー階層にしたがってイントラ予測プロセスは、TBレベルで適用され、それにより1つのTBのコーディングがCU内の次のTBのコーディングに影響することを可能にし、したがって基準値として使用されるサンプルまでの距離を短縮する。
2.2.1 VVCコーディングアーキテクチャ
HEVCを越えた将来のビデオコーディング技術を探求するため、2015年にVCEGとMPEGによってJVET(Joint Video Exploration Team)が設立された。JVETミーティングは四半期に1回開催されており、新たなコーディング標準は、HEVCと比較して50%のビットレート低減をターゲットにしている。新しいビデオコーディング標準は、2018年4月のJVETミーティングでVVC(Versatile Video Coding)として正式に命名され、その時にVVCテストモデル(VTM)の最初のバージョンがリリースされた。VVC標準化に寄与する継続的な努力が行われているため、JVETミーティング毎に新しいコーディング技術がVVC標準に採択されている。VVCワーキングドラフトおよびテストモデルVTMは、その後毎回ミーティング後に更新される。VVCプロジェクトは現在、2020年7月のミーティングで技術的完成(FDIS)を目指している。
ルマコンポーネントとクロマコンポーネントは、Iスライスに対して別個のパーティションツリーを有することができる。別々のツリーパーティショニングは、CTUレベルではなく、64×64ブロックレベル未満である。VTMソフトウェアでは、デュアルツリーのオンとオフを制御するSPSフラグがある。
2.2.3.1 67イントラ予測モード
ナチュラルビデオで提示された任意のエッジ方向を捕捉するために、VTM4における方向イントラモードの数は、HEVCで使用されるように33から65に拡張される。HEVCにおけるものではない新しい方向モードは、図2において点線の矢印として示され、平面モードおよびDCモードは、同じままである。これらのより高密度の指向性イントラ予測モードは、すべてのブロックサイズおよびルマとクロマイントラ予測の両方に適用される。
クロスコンポーネント冗長性を低減するために、CCLM(cross-component linear model)予測モードが、VTM4において使用され、これに対して、クロマサンプルは、以下のような線形モデルを使用して同じCUの再構成されたルマサンプルに基づいて予測される:
線形モデルパラメータαおよびβは、2つのサンプルからのルマ値とクロマ値の関係から導出され、2つのサンプルは、最小サンプル値とダウンサンプリングされた近隣のルマサンプルのセット内の最大サンプルを有するルマサンプルと、対応するクロマサンプルである。
線形モデルパラメータαとβは、以下の式にしたがって取得される。
以下の仕様は、JVET-M1001の修正ワーキングドラフトおよびJVET-N0271の採択に基づく。採択されたJVET-N0220の修正を太字と下線で示す。
(外1)
VTM4は、HEVCとは異なる多くのイントラコーディングツールを含み、たとえば、以下の特徴が、ボックツリー構造の上のVVCテストモデル3に含まれている。
・ ワイドアングルモード拡張を有する67イントラモード、
・ ブロックサイズおよびモード依存4タップ補間フィルタ
・ 位置依存型イントラ予測結合(PDPC)
・ クロスコンポーネント線形モデルイントラ予測
・ 複数の参照線イントラ予測
・ イントラサブパーティション
2.2.4.1 CIIP(Combinedinter and intra prediction)
VTM4では、CUがマージモードでコーディングされるとき、CUが少なくとも64ルマサンプル(すなわち、CU幅×CU高さが64以上)を含む場合、結合されたインター/イントラ予測(CIIP)モードが現在のCUに適用されるかどうかを示すために追加フラグがシグナリングされる。
VTM4は、HEVCとは異なる多くのコーディングツールを含み、たとえば、以下の特徴が、ボックツリー構造の上のVVCテストモデル3に含まれている。
・ アフィン動きインター予測
・ サブブロックベースの時間的動きベクトル予測
・ 適応動きベクトル分解能
・ 時間的動き予測のための8×8ブロックベースの運動圧縮
・ 高精度(1/16pel)動きベクトル記憶と、ルマコンポーネントの8タップ補間フィルタとクロマコンポーネントの4タップ補間フィルタによる動き補正
・ 三角パーティション
・ 結合イントラおよびインター予測
・ MMVD(Merge with MVD)
・ 対称MVDコーディング
・ 双方向オプティカルフロー
・ 復号器側動きベクトル精密化
・ 双予測加重平均
VTM4では、ループ内フィルタが合計3つある。ブロック解除フィルタとSAO(HEVCにおける2つのループフィルタ)の他に、適応ループフィルタ(ALF)がVTM4に適用される。VTM4におけるフィルタリングプロセスの順序は、ブロック解除フィルタ、SAOおよびALFである。
VTM4では、LMCS(luma mapping with chroma scaling)と呼ばれるコーディングツールが、ループフィルタの前に新しい処理ブロックとして追加される。LMCSは、1)適応区分線形モデルに基づくルマコンポーネントのループ内マッピング、2)クロマコンポーネントに対してルマ依存クロマ残差スケーリングが適用される、という2つの主要なコンポーネントを有する。図4は、復号器の視点からのLMCSアーキテクチャを示す。図4の点線の影付きブロックは、処理がマップされたドメインのどこに適用されるかを示し、これらには、逆量子化、逆変換、ルマイントラ予測とルマ残差の加算を含む。図4の影のないブロックは、処理が元の(すなわち、マッピングされていない)ドメインにおいて適用されるところを示し、これらは、ブロック解除、ALF、およびSAOなどのループフィルタ、動き補償予測、クロマイントラ予測、クロマ予測とクロマ残差の加算、および参照ピクチャとして復号されたピクチャの記憶を含む。図4のクロスハッチングされた影付きブロックは、ルマ信号の順方向および逆方向マッピング、並びにルマ依存クロマスケーリングプロセスを含む新しいLMCS機能ブロックである。VVCにおける他の大部分のツールと同様に、LMCSは、SPSフラグを使用してシーケンスレベルで有効/無効にすることができる。
ルマコンポーネントのループ内マッピングは、圧縮効率を改善するために、ダイナミックレンジにわたってコードワードを再配分することによって入力信号のダイナミックレンジを調整する。ルママッピングは、順方向マッピング関数FwdMapと対応する逆方向マッピング関数InvMapを利用する。FwdMap関数は、16の等しいピースの区分線形モデルを使用してシグナリングされる。InvMap関数はシグナリングされる必要はなく、代わりにFwdMap関数から導出される。
1) OrgCW=64
2) i=0:16に対して、InputPivot[i]=i*OrgCW
3) i=0:16に対して、MappedPivot[i]は以下のように計算される。
MappedPivot[0]=0;
for(i=0;i<16;i++)
MappedPivot[i+1]=MappedPivot[i]+SignalledCW[i]
ここで、SignaledCW[i]は、i番目のピースに対するシグナリングされるコードワード数である。
代替的には、オンザフライ計算が使用されてもよい。順方向マッピング関数FwdMapを例にとる。ルマサンプルが属するピースを理解するために、サンプル値を6ビット(16の等しいピースに対応する)右シフトする。次いで、そのピースに対する線形モデルパラメータを検索し、オンザフライで適用して、マッピングされたルマ値を計算する。それぞれ、iをピースインデックス、a1をInputPivot[i]、a2をInputPivot[i+1]、b1をMappedPivot[i]、b2をMappedPivot[i+1]とする。FwdMap関数は以下のように評価される。
クロマ残差スケーリングは、ルマ信号と対応するクロマ信号との間の相互作用を補償するように設計されている。クロマ残差スケーリングが有効であるかどうかは、タイルグループレベルでもシグナリングされる。ルママッピングが有効になっており、デュアルツリーパーティション(セパレートクロマツリーとしても知られる)が現在のタイルグループに適用されていない場合、ルマ依存のクロマ残差スケーリングが有効にされているかどうかを示すために、追加のフラグがシグナリングされる。ルママッピングが使用されないとき、または現在のタイルグループにデュアルツリーパーティションが使用される場合、ルマ依存クロマの残差スケーリングは無効にされる。さらに、ルマ依存クロマ残差スケーリングは、面積が4以下のクロマブロックについては常に無効にされる。
(1) InvMap関数に基づいて、avgY′が属する区分線形モデルのインデックスYIdxを求める。
(2) CScaleInv=cScaleInv[YIdx]であり、cScaleInv[]は、予め計算された16ピースのLUTである。
現在のブロックが、イントラ、CIIP、またはイントラブロックコピー(IBC、現在のピクチャ参照またはCPRとしても知られる)モードとしてコーディングされる場合、avgY′は、イントラ、CIIP、またはIBC予測ルマ値の平均として計算され、そうでなければ、avgY′は、順方向マッピングされたインター予測ルマ値(図4のY′pred)の平均として計算される。サンプルベースで実行されるルママッピングとは異なり、CScaleInvはクロマブロック全体に対する定数値である。CScaleInvにより、クロマ残差スケーリングは、以下のように適用される。
符号化器側:
以下の仕様は、JVET-M1001の修正ワーキングドラフトおよびJVET-N0220の採択に基づく。
採択されたJVET-N0220の修正を太字、下線で示す。
(外2)
1. LMCS/CCLMの現在の設計は、以下の問題を有する。
LMCSコーディングツールでは、クロマ残差スケーリングファクタは、並置されたルマ予測ブロックの平均値によって導出され、これは、LMCSクロマ残差スケーリングにおけるクロマサンプルを処理するためのレイテンシをもたらす。
a) シングル/共有ツリーの場合、レイテンシは、(a)全ルマブロックのすべての予測サンプルが利用可能になるのを待つこと、および(b)(a)によって取得されたすべてのルマ予測サンプルを平均化することによって引き起こされる。
b) デュアルツリー/セパレートツリーの場合、Iスライスではルマとクロマコンポーネントのセパレートブロックパーティショニング構造が有効になっているため、レイテンシはさらに悪くなる。したがって、1つのクロマブロックが複数のルマブロックに対応し、1つの4×4クロマブロックが64×64ルマブロックに対応してもよい。したがって、最悪の場合は、64×64ルマブロック全体のすべての予測サンプルが利用可能になるまで、現在の4×4クロマブロックのクロマ残差スケーリングファクタが待つ必要があることがあることである。一言で言えば、デュアル/セパレートツリーにおけるレイテンシの問題は、はるかに深刻である。
2. CCLMコーディングツールでは、クロマ内予測のためのCCLMモデル計算は、ルマブロックとクロマブロックの両方の左および上の参照サンプルに依存する。また、クロマブロックに対するCCLM予測は、同一CUの並置されたルマ再構成されたサンプルに依存する。これは、デュアル/セパレートツリーでの高いレイテンシを引き起される。
・ デュアル/セパレートツリーの場合、1つの4×4クロマブロックは、64×64ルマブロックに対応してもよい。したがって、最悪の場合、現在のクロマブロックのCCLMプロセスは、対応する64×64ルマブロック全体が再構成されるまで待つ必要があることがあることである。このレイテンシの問題は、デュアル/セパレートツリーにおけるLMCSクロマスケーリングと同様である。
この問題に取り組むために、ルマ依存クロマ残差スケーリング、CCLM、および異なる色コンポーネントからの情報に依存する他のコーディングツールにおけるクロコンポーネント依存性を除去/低減/制限するためのいくつかの方法を提案する。
(xTbY,yTbY)=(xTbC<<1,yTbC<<1)
図5に示すように、現在のクロマブロックの左上のサンプルは、クロマピクチャにおける(x=16,y=16)に位置し、その並置されたルマブロックの左上のサンプルは、ルマピクチャにおいて並置されたルマブロックのブロックパーティションにかかわらず、ルマピクチャにおける(x=32,y=32)に位置する。別の例として、同じ色コンポーネントを用いて、図6に示すように、現在のフレーム内の現在のブロックの左上のサンプルの位置と、参照フレーム内の並置されたブロックの左上のサンプルの位置は同じでなければならず、現在のブロックの左上のサンプルが現在のフレームにおいて(x,y)であるとすると、現在のブロックの並置されたブロックの左上のサンプルが参照フレームにおいて同じ位置(x,y)を有する。
LMCSのクロマスケーリングレイテンシの除去とCCLMのモデル計算
1. インターコーディングされたブロックに対して、参照フレームにおける現在のブロックの1つ以上の参照サンプルを使用してLMCSモードでのクロマ残差スケーリングファクタを導出してもよいことを提案する。
a) 一例では、参照ルマサンプルを直接使用してクロマ残差スケーリングファクタを導出してもよい。
i. 代替的には、補間を、まず、参照サンプルに適用してもよく、補間されたサンプルを使用してクロマ残差スケーリングファクタを導出してもよい。
ii. 代替的には、異なる参照フレームにおける参照サンプルを利用して、クロマ残差スケーリングファクタの導出に使用される最終参照サンプルを導出してもよい。
1) 一例では、双予測コーディングされたブロックに対して、上記の方法を適用してもよい。
iii. 一例では、参照サンプルの強度は、クロマ残差スケーリングファクタを導出するために使用される前に、再リシェイプドメインに変換されてもよい。
iv. 一例では、参照サンプルの線形結合を使用して、クロマ残差スケーリングファクタを導出してもよい。
1) たとえば、a×S+bを使用してクロマ残差スケーリングファクタを導出し、Sは、参照サンプルであり、aおよびbは、パラメータである。一例では、aおよびbは、LIC(Localized Illuminate Compensation)によって導出されてもよい。
b) 一例では、参照フレームにおける参照ルマサンプルの位置は、現在のブロックの動きベクトルに依存してもよい。
i. 一例では、参照サンプルは、参照ピクチャにあり、現在のルマブロックと同じ幅と高さを有する参照ルマブロックに属する。参照ピクチャにおける参照ルマサンプルの位置は、現在のピクチャにおけるその対応するルマサンプルの位置に動きベクトルを加算したものとして計算される。
ii. 一例では、参照ルマサンプルの位置は、現在のルマブロックの左上(または中央、または右下)のサンプルの位置と現在のブロックの動きベクトルによって導出されてもよく、参照フレームにおける対応するルマサンプルと呼ばれる。
1) 一例では、整数動きベクトルを使用して、参照フレームにおける対応するルマサンプルを導出してもよい。一例では、1つのブロックに関連する動きベクトルは、ゼロに近づくように丸められるか、またはゼロから離れるように丸められて、整数動きベクトルを導出してもよい。
2) 代替的には、分数運動ベクトルを使用して、参照フレームにおける対応するルマサンプルを導出してもよく、補間プロセスは、分数参照サンプルを導出するために必要とされてもよい。
iii. 代替的には、参照ルマサンプルの位置は、現在のルマブロックの左上(または中央、または右下)サンプルの位置によって導出されてもよい。
iv. 代替的には、参照フレームにおいていくつかの予め定義された位置での複数の対応するルマサンプルをピックして、クロマ残差スケーリングファクタを計算してもよい。
c) 一例では、複数参照ルマサンプルの中央値または平均値を使用して、クロマ残差スケーリングファクタを導出してもよい。
d) 一例では、予め定義された参照フレームにおける参照ルマサンプルを使用して、クロマ残差スケーリングファクタを導出してもよい。
i. 一例では、予め定義された参照フレームは、参照ピクチャリスト0の0に等しい参照インデックスを有するものであってもよい。
ii. 代替的には、予め定義された参照フレームに対する参照インデックスおよび/または参照ピクチャリストを、シーケンス/ピクチャ/タイルグループ/スライス/タイル/CTU行/ビデオユニットレベルでシグナリングしてもよい。
iii. 代替的には、複数の参照フレームにおける参照ルマサンプルを導出してもよく、平均値または重み付け平均値を利用して、クロマ残差スケーリングファクタを取得してもよい。
2. LMCSモードでルマサンプルからクロマ残差スケーリングファクタを導出するかどうか、および導出する方法は、現在のブロックが双予測を適用するかどうかに依存してもよいことを提案する。
a) 一例では、クロマ残差スケーリングファクタは、各予測方向に対して個別に導出される。
3. LMCSモードでルマサンプルからクロマ残差スケーリングファクタを導出するかどうか、および導出する方法は、現在のブロックがサブブロックベースの予測を適用するかどうかに依存してもよいことを提案する。
a) 一例では、サブブロックベースの予測はアフィン予測である。
b) 一例では、サブブロックベースの予測はATMVP(Alternative Temporal Motion Vector Prediction)である。
c) 一例では、クロマ残差スケーリングファクタは、各サブブロックに対して個別に導出される。
d) 一例では、クロマ残差スケーリングファクタは、たとえサブブロックによって予測されるとしても、ブロック全体に対して導出される。
i. 一例では、1つの選択されたサブブロック(たとえば、左上サブブロック)の動きベクトルを使用して、箇条書き1に記載されているように、現在のブロックの参照サンプルを識別してもよい。
4. クロマ残差スケーリングファクタを導出するために使用されるルマ予測値は、最終ルマ予測値の代わりに中間ルマ予測値であってもよいことを提案する。
a) 一例では、BDOF(Bi-Directional Optical Flow、BIOとしても知られる)のプロセス前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
b) 一例では、DMVR(Decoder-side Motion Vector Refinement)のプロセス前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
c) 一例では、LICのプロセス前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
d) 一例では、JVET-N0236で提案されているPROF(Prediction Refinement Optical Flow)プロセス前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
5. 中間動きベクトルは、参照サンプルを識別するために使用されてもよい。
a) 一例では、BDOFまたは/およびDMVRまたは/および他のDMVD法のプロセス前の動きベクトルを使用して、参照サンプルを識別してもよい。
b) 一例では、JVET-N0236で提案されているPROF(Prediction Refinement Optical Flow)のプロセス前の動きベクトルを使用して、参照サンプルを識別してもよい。
6. 現在のブロックがインターモードでコーディングされるときに、上記の方法が適用可能であってもよい。
7. IBCコーディングブロックに対して、現在のフレームの参照ブロックにおける1つ以上の参照サンプルを使用して、LMCSモードでのクロマ残差スケーリングファクタを導出してもよいことが提案される。ブロックIBCコーディングされるときに、用語「動きベクトル」は、参照ピクチャが現在のピクチャとしてセットされる「ブロックベクトル」とも呼ばれる。
a) 一例では、参照サンプルは、現在のピクチャにおいて、現在のブロックと同じ幅および高さを有する参照ブロックに属する。参照サンプルの位置は、その対応するサンプルの位置に運動ベクトルを加算したものとして計算されてもよい。
b) 一例では、参照ルマサンプルの位置は、現在のルマブロックの左上(、中央、または右下)サンプルの位置に動きベクトルを加算することによって導出されてもよい。
c) 代替的には、参照ルマサンプルの位置は、現在のルマブロックの左上(、中央、または右下)サンプルの位置に現在のブロックのブロックベクトルを加算することによって導出される。
d) 代替的には、現在のルマブロックの参照領域におけるいくつかの予め定義sあれた位置にある複数の対応するルマサンプルをピックして、クロマ残差スケーリングファクタを計算してもよい。
e) 一例では、複数の対応するルマサンプルが、クロマ残差スケーリングファクタを導出するための関数で計算されてもよい。
i. たとえば、複数の対応するルマサンプルの中央値または平均値を計算して、クロマ残差スケーリングファクタを導出してもよい。
f) 一例では、参照サンプルの強度は、クロマ残差スケーリングファクタを導出するために使用される前に、再リシェイプドメインに変換されてもよい。
i. 代替的には、参照サンプルの強度は、クロマ残差スケーリングファクタを導出するために使用される前に、元のドメインに変換されてもよい。
8. 現在のフレームにおける現在のルマブロックの識別された位置に位置する1つ以上の予測/再構成されたサンプルが、LMCSモードでの現在のクロマブロックに対するクロマ残差スケーリングファクタを導出するために使用されてもよいことを提案する。
a) 一例では、現在のブロックがインターコーディングされている場合、現在のルマブロックの中央に位置するルマ予測(または再構成)サンプルをピックして、クロマ残差スケーリングファクタを導出してもよい。
b) 一例では、最初のMxNルマ予測(または再構成)サンプルの平均値をピックして、クロマ残差スケーリングファクタを導出してもよく、MxNは、並置されたルマブロックサイズwidthxheightより小さい可能性がある。
9. CCLMモデルを計算するために使用された手順の全部または一部は、LMCSモードでの現在のクロマブロックのクロマ残差スケーリングファクタの導出に使用されてもよいことを提案する。
a) 一例では、CCLMモデルパラメータ導出プロセスにおいて、並置されたルマブロックの近隣のルマサンプルの識別された位置に位置する参照サンプルを利用して、クロマ残差スケーリングファクタを導出してもよい。
i. 一例では、これらの参照サンプルを直接使用してもよい。
ii. 代替的には、ダウンサンプリングをこれらの参照サンプルに適用してもよく、ダウンサンプリングした参照サンプルを適用してもよい。
b) 一例では、CCLMモデル計算のために選択されたS個の参照サンプルのうちのK個が、LMCSモードでのクロマ残差スケーリングファクタの導出のために使用されてもよい。たとえば、Kは、1に等しく、Sは、4に等しい。
c) 一例では、CCLMモードでの並置されたルマブロックの参照サンプルの平均/最小/最大値が、LMCSモードでのクロマ残差スケーリングファクタの導出に使用されてもよい。
10. クロマ残差スケーリングファクタの導出のためにサンプルを選択する方法は、現在のブロックのコーディングされた情報に依存してもよい。
a) コーディングされた情報は、QP、コーディングモード、POC、イントラ予測モード、動き情報などを含む。
b) 一例として、IBCコーディングされたブロックまたは非IBCコーディングされたブロックに対して、サンプルの選択する方法が異なってもよい。
c) 一例として、参照ピクチャと現在のピクチャとの間のPOC距離などの参照ピクチャ情報に基づいて、サンプルを選択する方法が異なってもよい。
11. クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算は、並置されたルマブロックの左上のサンプルをカバーする対応するルマブロックの近隣のサンプルに依存してもよいことを提案する。
本発明において、「コーディングブロック」は、HEVC仕様またはVVCワーキングドラフトに指定されるCU/TU/PUなどのビデオコーディング領域を指してもよい。
a) 「対応するルマコーディングロック」は、並置されたルマコーディングブロックの左上の位置をカバーするコーディングブロックとして定義されてもよい。
i. 図5は、デュアルツリーの場合のイントラコーディングされたクロマブロックに対して、クロマコンポーネントのCTUパーティションが、ルマコンポーネントのCTUパーティションとは異なってもよい例を示す。まず、現在のクロマブロックの並置されたルマブロックの左上のサンプルをカバーする「対応するルマコーディングブロック」を検索する。次いで、「対応するルマコーディングブロック」のブロックサイズ情報を使用して、「対応するルマコーディングブロック」の左上のサンプルを導出することができ、並置されたルマブロックの左上のサンプルをカバーする「対応するルマコーディングブロック」の左上のサンプルは、(x=32,y=16)に位置する。
b) 一例では、ブロックサイズ/パーティション/位置/調整は、並置されたルマコーディングブロックの左上のサンプルをカバーする「対応するルマコーディングブロック」の位置を導出するために必要とされてもよい。
i. 一例では、ブロックサイズ、および/またはブロックパーティション、および/またはブロック調整は、ルマコンポーネントなどの指定の色コンポーネントの各ブロックに対して記憶されてもよい。
ii. 一例では、「対応するルマコーディングブロック」および現在のブロックは、常に同じCTUまたはCTU行内にあってもよく、したがって、ブロックサイズ/パーティション/位置/調整の記憶がラインバッファに存在しないことがある。
c) 一例では、「対応するルマコーディングブロック」に含まれない再構成されたサンプルを使用して、クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよい。
i. 一例では、「対応するルマコーディングブロック」に隣接した再構成されたサンプルを使用して、クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよい。
1) 一例では、「対応するルマコーディングブロック」の左の近隣の列および/または上方の近隣の行に位置するN個のサンプルを使用して、クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよく、N=1....2W+2Hであり、WおよびHは、「対応するルマコーディングブロック」の幅および高さである。
a) 「対応するルマコーディングブロック」の左上のサンプルが(xCb,yCb)であるとすると、一例では、上方の近隣のルマサンプルは(xCb+W/2,yCb-1)または(xCb-1,yCb-1)に位置してもよい。代替的な例では、左の近隣のルマサンプルが(xCb+W-1,yCb-1)に位置してもよい。
b) 一例では、近隣のサンプルの位置は固定されていてもよく、および/または予め定義されたチェック順序であってもよい。
2) 一例では、N個の近隣のサンプルのうちの1個を選択して、クロマ残留スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよい。N=3であり、3つの近隣のサンプル(xCb-1,yCb-H-1)、(xCb+W/2,yCb-1)、(xCb-1,yCb-1)のチェック順序を仮定すると、チェックリストの最初の利用可能な近隣のサンプルが選択されて、クロマ残差スケーリングファクタを導出してもよい。
3) 一例では、「対応するルマコーディングブロック」の左の近隣の列および/または上の近隣の行に位置するN個のサンプルの中央値または平均値を使用して、クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよく、N=1...2W+2Hであり、WおよびHは「対応するルマコーディングブロック」の幅および高さである。
d) 一例では、クロマ残差スケーリングを実行するかどうかは、対応するルマブロックの「利用可能な」近隣のサンプルに依存してもよい。
i. 一例では、近隣のサンプルの「可用性」は、現在のブロック/サブブロックの符号化モード、または近隣のサンプルの符号化モードに依存してもよい。
1) 一例では、インターモードでコーディングされたブロックに対して、イントラモードまたは/およびIBCモードまたは/およびCIIPモードまたは/およびLICモードでコーディングされた近隣のサンプルは、「利用不可」とみなされてもよい。
2) 一例では、インターモードでコーディングされたブロックに対して、近隣のサンプルは、拡散フィルタまたは/およびバイラテラルフィルタまたは/またはHadamard変換フィルタを用いる近隣のサンプルは、「利用不可」とみなされてもよい。
ii. 一例では、近隣のサンプルの「可用性」は、現在のピクチャ/タイル/タイルグループ/VPDU/スライスの幅および/または高さに依存してもよい。
1) 一例では、近隣のブロックが現在のピクチャの外側に位置する場合、「利用できない」ものとして扱われる。
iii. 一例では、「利用可能な」近隣のサンプルがないときに、クロマ残留スケーリングを禁止してもよい。
iv. 一例では、「利用可能な」近隣のサンプルの数がK(K>=1)より小さいときに、クロマ残差スケーリングを禁止してもよい。
v. 代替的には、利用できない近隣のサンプルは、クロマ残留スケーリングが常に適用され得るように、デフォルトの固定値、パディング、または置換によって充填されてもよい。
1) 一例では、近隣のサンプルが利用できない場合、1<<(bitDepth-1)で充填されてもよく、bitDepthはルマ/クロマコンポーネントのサンプルのビット深度を指定する。
2) 代替的には、近隣のサンプルが利用できない場合、左/右/上/下の近隣に位置する周囲のサンプルからパディングすることにより充填されてもよい。
3) 代替的には、近隣のサンプルが利用できない場合、予め定義されたチェック順序で、最初の利用可能な隣接するサンプルによって置き換えられてもよい。
4) 代替的には、近隣のサンプルが利用できない場合、予めに定義されたフィルタ/マッピングされた値(たとえば、1<<(bitDepth-1)のフィルタ/マッピングされた値であり、bitDepthは、ルマ/クロマコンポーネントのサンプルのビット深度を指定する)によって充填されてもよい。
a) 一例では、フィルタリング/マッピングプロセスは、LMCSの順方向マッピングのLUTインデックス化であってもよい。
e) 一例では、クロマ残差スケーリングを実行するかどうか、および実行する方法は、現在のブロックのコーディングモードおよび/または近隣のブロックのコーディングモードに依存してもよい。
i. 「現在のブロック」は、現在のクロマブロックを指してもよいし、並置されたルマブロック、または、並置されたクロマブロックの少なくとも1つのサンプルをカバーする対応するルマブロックを指してもよい。「近隣のブロック」(隣接ブロックまたは非隣接ブロック)は、現在のクロマブロックに近隣のクロマブロックを指してもよいし、現在のルマブロックに近隣のルマブロックを参照してもよい。
ii. 一例では、1つのルマの近隣のブロックのコーディングモードは、現在のブロックの左上の座標に対して相対的に(-1,-1)の位置などの所与の位置をカバーするように利用されてもよい。
iii. 一例では、複数の近隣のブロックのコーディングモードは、現在のブロックの左上の座標に対する相対的に(x,-1)(たとえば、xは、0~ブロックの幅から1を引いたもの)の位置、および/または現在のブロックの左上の座標に対する相対的に(-1,y)(たとえば、yは、-1~ブロックの高さから1を引いたもの)の位置など、複数の複数の位置をカバーするように利用されてもよい。
iv. 一例では、1つの近隣のブロックの再構成が、X-コーディングされるように、現在のスライス/タイルグループにおけるサンプルにアクセスすることを必要とする場合、クロマ残差スケーリングは無効にされる。
1) たとえば、モードXはイントラモードであってもよい。
2) たとえば、モードXはCIIPモードであってもよい。
3) たとえば、モードXはIBCモードであってもよい。
4) 一例では、現在のブロックがCIIPコーディングではなくインターコーディングされており、対応するルマブロックに近隣の近隣ブロックがモードXでコーディングされている場合、クロマ残差スケーリングは無効にされる。
v. 一例では、1つの近隣のブロックの再構成が、X-コーディングされるように、現在のスライス/タイルグループにおけるサンプルにアクセスすることを必要とする場合、デフォルト値を使用して、クロマ残差スケーリングファクタを導出してもよい。
1) たとえば、モードXはイントラモードであってもよい。
2) たとえば、モードXはCIIPモードであってもよい。
3) たとえば、モードXはIBCモードであってもよい。
4) 一例では、現在のブロックがCIIPコーディングではなくインターコーディングされており、対応するルマブロックの近隣ブロックがモードXでコーディングされている場合、デフォルト値を使用して、クロマ残差スケーリングファクタを導出してもよい。
5) 一例では、デフォルト値はルマ/クロマサンプルのビット深度に依存してもよい。
6) 一例では、デフォルト値をフィルタリング/マッピングされた値1<<(bitDepth-1)にセットしてもよく、bitDepthは、ルマ/クロマコンポーネントのサンプルのビット深度を指定する。一例では、フィルタリング/マッピングプロセスは、LMCSの順方向マッピングのLUTインデックス化であってもよい。
f) 一例では、「対応するルマコーディングブロック」に近隣のフィルタ/マッピングされた再構成されたサンプルを使用して、クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよい。
i. 一例では、フィルタリング/マッピングプロセスは、イントラブロックのための参照平滑化フィルタリング、バイラテラルフィルタなどの後フィルタリング、ハードマード変換ベースのフィルタ、リシェイパードメインの順方向マッピングなどを含んでもよい。
12. 固定値を使用して、現在のスライス/タイルグループにおけるある数のクロマブロック(CUまたはTUなど)に対してクロマ残差スケーリングファクタを導出してもよいことを提案する。
a) 一例では、N個のクロマブロックに対するクロマ残差スケーリングファクタは、固定値によって導出してもよく、Nは、現在のスライス/タイルグループにおける1~クロマブロックの総数である。
b) 一例では、固定値を用いて、その値が属する区分線形モデルのインデックスを見つけ、次に、導出された区分インデックスからクロマ残差スケーリングファクタを計算してもよい。一例では、固定値はルマサンプルの内部ビット深度に依存してもよい。
c) 一例では、固定値を直接使用して、クロマ残差スケーリングファクタを表してもよい。
d) 一例では、固定値および/または固定クロマ残差スケーリングファクタは、ピクチャ/スライス/タイルグループのタイプ(たとえば、IまたはPまたはBスライス)および/またはブロックのコーディングモード(たとえば、イントラモードまたはインターモード)に依存してもよい。
e) 一例では、固定値は、異なるピクチャ/スライス/タイルグループ/タイルに対して異なってもよい。
f) 一例では、固定されたクロマ残差スケーリングファクタを直接使用して、LMCSにおけるクロマ残差を直接スケーリングしてもよい。
i. 一例では、固定クロマ残差スケーリングファクタは、DPS/SPS/PPS/VPS/APS/スライスヘッダ/タイルグループヘッダなどのビデオユニットにおいてシグナリングされてもよい。
ii. 一例では、ピクチャ/スライス/タイルグループ/タイルに対する固定クロマ残差スケーリングファクタは、ピクチャ/スライス/タイルグループ/タイルにおけるルマサンプルのリシェイプのためのマッピング関数(たとえば、区分線形関数)に依存してもよい。
1) 一例では、固定クロマ残差スケーリングファクタは、JVET-M1001-v7で定義されるアレイInvScaleCoeff[]および/またはアレイScaleCoeff[]に依存してもよい。
a) たとえば、ピクチャ/スライス/タイルグループ/タイルに対する固定クロマ残差スケーリングファクタによって依存されるアレイInvScaleCoeff[]および/またはアレイScaleCoeff[]を使用して、ピクチャ/スライス/タイルグループ/タイルのルマサンプルをリシェイプしてもよい。
2) 一例では、固定クロマ残差スケーリングファクタは、ルマサンプルをリシェイプするために使用される区分線形関数のすべてのスケーリングファクタの中の最小値/最大値/中央値/平均値によって導出されてもよい。
a) たとえば、固定クロマ残差スケーリングファクタは、InvScaleCoeff[i]の最小値/最大値/中央値/平均値によって導出されてもよく、iは、最小インデックス(JVET-M1001-v7のlmcs_min_bin_idxなど)~最大インデックス(JVET-M1001-v7のLmcsMaxBinIdxなど)である。
i. たとえば、固定クロマ残差スケーリングファクタは、InvScaleCoeff[i]の最小値/最大値/中央値/平均値に等しくてもよく、iは、最小インデックス(JVET-M1001-v7で定義されるlmcs_min_bin_idxなど)~最大インデックス(JVET-M1001-v7で定義されるLmcsMaxBinIdxなど)である。
ii. 代替的には、固定クロマ残差スケーリングファクタは、InvScaleCoeff[i]の最小値/最大値/中央値/平均値によって導出されてもよく、iは、最小インデックス(0など)~最大インデックス(15など)であり、JVET-M1001-v7で定義されるlmcsCW[i]は、0に等しくない。
iii. 上記の例において、InvScaleCoeff[i]の中央値は、InvScaleCoeff[j]として計算されてもよく、jは、有効なインデックス、たとえば、j=(最小インデックス+最大インデックス)>>1、j=(最小インデックス+最大インデックス+1)>>1またはj=(最大インデックス-最小インデックス)>>1である。一例では、InvScaleCoeff[]の最小インデックスは、JVET-M1001-v7で定義されるlmcs_min_bin_idxまたは0であってもよく、InvScaleCoeff[]の最大インデックスは、JVET-M1001-v7で定義されるLmcsMaxBinIdxまたはSize-1であってもよく、Sizeは、アレイInvScaleCoeff_sort[]のサイズを表す。
1. 代替的には、アレイInvScaleCoeffまたはその部分(たとえば、JVET-M1001-v7で定義されるInvScaleCoeff[lmcs_min_bin_idx]~InvScaleCoeff[LmcsMaxBinIdx])は、まず、昇順または降順でソートされて、InvScaleCoeff_sortによって示されるソートされたアレイを形成してもよい。一例では、固定クロマ残差スケーリングファクタは、InvScaleCoeff_sort[j]として導出されてもよく、jは、有効なインデックスであり、たとえば、j=(最小インデックス+最大インデックス)>>1またはj=(最小インデックス+最大インデックス+1)>>1である。一例では、InvScaleCoeff_sort[]の最小インデックスは0であってもよく、InvScaleCoeff_sort[]の最大インデックスはSize-1であってもよく、Sizeは、アレイInvScaleCoeff_sort[]のサイズを表し、たとえばSize=16である。
iv. 上記の例では、InvScaleCoeff[i]の最小値に対して、それはInvScaleCoeff[j]として計算されてもよく、jは、有効なインデックスであり、たとえばjは、最小インデックス(JVET-M1001-v7で定義されるlmcs_min_bin_idxなど)または0に等しい。
1. 代替的には、アレイInvScaleCoeffまたはその部分(たとえば、JVET-M1001-v7で定義されるInvScaleCoeff[lmcs_min_bin_idx]~InvScaleCoeff[LmcsMaxBinIdx])は、まず、昇順または降順でソートされて、InvScaleCoeff_sortによって示されるソートされたアレイを形成してもよい。一例では、固定クロマ残差スケーリングファクタは、InvScaleCoeff_sort[j]として導出されてもよく、jは、有効なインデックスであり、たとえば、jは、昇順でのInvScaleCoeff_sort[]アレイの最小インデックスに等しいか、またはjは、降順でのInvScaleCoeff_sort[]アレイの最大インデックスに等しい。一例では、InvScaleCoeff_sort[]の最小インデックスは0であってもよく、InvScaleCoeff_sort[]の最大インデックスはSize-1であってもよく、Sizeは、アレイInvScaleCoeff_sort[]のサイズを表し、たとえばSize=16である。
v. 上記の例では、InvScaleCoeff[i]の最大値は、InvScaleCoeff[j]によって計算されてもよく、jは、有効なインデックスであり、たとえば、jは、最大インデックスまたは15であってもよい。
vi. 代替的には、アレイInvScaleCoeffまたはその部分(たとえば、JVET-M1001-v7で定義されるInvScaleCoeff[lmcs_min_bin_idx]~InvScaleCoeff[LmcsMaxBinIdx])は、まず、昇順または降順でソートされて、InvScaleCoeff_sortによって示されるソートされたアレイを形成してもよい。一例では、固定クロマ残差スケーリングファクタは、InvScaleCoeff_sort[j]から導出されてもよく、jは、有効なインデックスであり、たとえば、jは、昇順でのInvScaleCoeff_sort[]アレイの最大インデックスに等しいか、または、降順でのInvScaleCoeff_sort[]アレイの最小インデックスまたは0に等しい。一例では、InvScaleCoeff_sort[]の最小インデックスは0であってもよく、InvScaleCoeff_sort[]の最大インデックスはSize-1であってもよく、Sizeは、アレイInvScaleCoeff_sort[]のサイズを表し、たとえばSize=16である。
g) 一例では、固定値が区分関数インデックスを表わすために使用されて、クロマスケーリングファクタを導出してもよい。
i. 一例では、固定値は、DPS/SPS/PPS/VPS/APS/スライスヘッダ/タイルグループヘッダなどのビデオユニットにおいてシグナリングされてもよい。
ii. 一例では、固定値は、区分関数インデックスを識別するために使用されてもよいルマサンプル強度を表してもよく、識別された区分関数インデックスは、クロマスケーリングファクタを見つけるためにさらに使用される。
1) 一例では、固定値は0、(1<<lumaBitDepth)-1、または1<<(lumaBitDepth-1)に等しくてもよく、lumaBitDepthは、lルマサンプルのビット深度を示す。
2) 一例では、固定値が区分関数の入力範囲にある場合、区分関数が識別される。
3) 一例では、固定値が区分関数の出力範囲にある場合、区分関数が識別される。
4) 一例では、固定値は、選択された値(たとえば、最大、最小、中央)であってもよく、またはリシェイプされたドメインにおいて選択されたサンプル値(たとえば、2つの値の平均)にしたがって導出されてもよい。
a) クロマスケーリングファクタがInvScaleCoeff[idxYInv]と等しく、idxYInvは、リシェイプされた変数v、idxYInv=getPWLIdxInv(v)によって導出される区分インデックスであるとする。fFwdReshaper()関数は、元のドメインの変数k(すなわち、kは元のドメインルマサンプル値でもよい)を、リシェイプされたドメインの変数v、すなわちv=fFwdReshaper(k))に変換するために使用される。minYをJVET-M1001-v7で定義されるlmcs_min_bin_idxによって示される元のドメインの範囲における最小ルマ値、maxYをJVET-M1001-v7で定義されるLmcsMaxBinIdxで示される元のドメインの範囲における最大ルマ値とする。
i. たとえば、固定区分関数インデックスidxYInvは、getPWLIdxInv(fFwdReshaper[0])に等しくてもよい。
ii. たとえば、固定区分関数インデックスidxYInvは、getPWLIdxInv(fFwdReshaper[(1<<lumaBitDepth)-1])に等しくてもよい。
iii. たとえば、固定区分関数インデックスidxYInvは、getPLIdxInv((fFwdReshaper[0]+fFwdReshaper[(1<<lumaBitDepth)-1]+offset)>>1)に等しくてもよく、たとえば、offset=0または1である。
iv. たとえば、固定区分関数インデックスidxYInvは、getPWLIdxInv(fFwdReshaper[minY])に等しくてもよい。
v. たとえば、固定区分関数インデックスidxYInvは、getPWLIdxInv(fFwdReshaper[maxY])に等しくてもよい。
vi. たとえば、固定区分関数インデックスidxYInvは、getPWLIdxInv((fFwdReshaper[minY]+fFwdReshaper[maxY]+offset)>>1)に等しくてもよい。たとえば、offset=0または1である。
iii. 一例では、固定値は、クロマスケーリングファクタを見つけるために使用されてもよい固定区分関数インデックスを表してもよい。
1) 一例では、固定値は、LMCS構成プロセスで使用される最小ビンインデックス(たとえば、lmcs_min_bin_idx)に等しくてもよい。
2) 一例では、固定値は、LMCS構成プロセスで使用される最大ビンインデックス(たとえば、LmcsMaxBinIdx)と等しくてもよい。
3) 一例では、固定値は、LMCS構成プロセスで使用される最大ビンインデックスおよび最小ビンインデックスの平均に等しくてもよい。
h) 一例では、固定値はシグナリングされず、DPS/SPS/PPS/VPS/APS/スライスヘッダ/タイルグループヘッダなどのビデオユニットにおいて導出されてもよい。
i. たとえば、固定クロマスケーリングファクタは、APSレベルでシグナリングされるlmcsデータ(VVC仕様JVET-M1001-v7で定義されるlmcs_data()など)の要素、および/またはSPSレベルでシグナリングされるビット深度(ルマビット深度など)にしたがって導出されてもよい。
ii.たとえば、固定クロマスケーリングファクタは、APSレベルで導出されてもよい。
1) 一例では、異なるクロマスケーリングファクタは、異なるAPSユニットで導出されてもよい。
2) 一例では、クロマスケーリングファクタの数は、APSユニットの最大数に依存してもよい。すなわち、クロマスケーリングファクタの数は、Tより小さく、T=32などである。
3) 一例では、1つのスライス/タイル/ピクチャに対する固定クロマスケーリングファクタは、APSレベルで利用可能なすべてのクロマスケーリングファクタから選択されてもよい。
4) 一例では、固定クロマスケーリングファクタは、スライス/タイル/ピクチャレベルで決定され、すべてのCU/PU/TUクロマコンポーネントに使用される。
クロマ残留スケーリングおよび/またはCCLMを適用するかどうかの制限
13. クロマ残差スケーリングまたはCCLMを適用するかどうかは、対応するルマブロックおよび/または並置されたルマブロックのパーティションに依存してもよいことを提案する。
a) 一例では、クロスコンポーネント情報でツールを有効または無効にするかどうかは、並置されたルマ(たとえば、YコンポーネントまたはGコンポーネント)ブロック内のCU/PU/TUの数に依存してもよい。
i. 一例では、並置されたルマ(たとえば、YまたはGコンポーネント)ブロック内のCU/PU/TUの数が数のしきい値を超える場合、そのようなツールは無効にされてもよい。
ii. 代替的には、クロスコンポーネント情報でツールを有効にするか無効にするかは、パーティションツリーの深度に依存してもよい。
1) 一例では、並置されたルマブロック内のCUの最大(、最小、平均、または他のバリエーション)4分木深度が閾値を超える場合、そのようなツールは無効にされてもよい。
2) 一例では、並置されたルマブロック内のCUの最大(、最小、平均、または他のバリエーション)BTおよび/またはTT深度深度が閾値を超える場合、そのようなツールは無効にされてもよい。
iii. 代替的には、さらに、クロスコンポーネント情報でツールを有効または無効にするかどうかは、クロマブロックのブロック寸法に依存してもよい。
iv. 代替的には、クロスコンポーネント情報を有するツールを有効または無効にするかどうかは、並置されたルマが複数のVPDU/予め定義された領域サイズをクロスするかどうかに依存してもよい。
v. 上述の議論における閾値は、固定数であってもよく、シグナリングされてもよく、または標準的なプロファイル/レベル/層に依存してもよい。
b) 一例では、現在のクロマブロックの並置されたルマブロックが複数のパーティション(たとえば、図7)によって分割されている場合、クロマ残差スケーリングおよび/またはCCLMを禁止してもよい。
i. 代替的には、(たとえば、1つのCU/TU/PU内で)現在のクロマブロックの並置されたルマブロックがスプリットされていない場合、クロマ残差スケーリングおよび/またはCCLMを適用してもよい。
c) 一例では、現在のクロマブロックの並置されたルマブロックがM個以上のCU/PU/TUが含む場合、クロマ残差スケーリングおよび/またはCCLMを禁止してもよい。
i. 一例では、Mは、1より大きい整数であってもよい。
ii. 一例では、Mは、それがCCLMであるか、クロマ残差スケーリングプロセスであるかに依存してもよい。
iii. Mは、固定数であってもよく、シグナリングされてもよく、または標準プロファイル/レベル/階層に依存してもよい。
d) 並置されたルマブロック内の上述のCUは、並置されたルマブロック内のすべてのCUと解釈されてもよい。代替的には、並置されたルマブロック内のCUは、並置されたルマブロックの境界に沿ったCUのような、並列ルマブロック内の部分的なCUと解釈されてもよい。
e) 並置されたルマブロック内の上述のCUは、サブCUまたはサブブロックと解釈されてもよい。
i. たとえば、サブCUまたはサブブロックがATMVPで使用されてもよい。
ii. たとえば、サブCUまたはサブブロックがアフィン予測に使用されてもよい。
iii. たとえば、サブCUまたはサブブロックがイントラサブパーティション(ISP)モードに使用されてもよい。
f) 一例では、コロケーションされたルマブロックの左上のルマサンプルをカバーするCU/PU/TUが予め定義されたルマブロックのサイズより大きい場合、クロマ残差スケーリングおよび/またはCCLMが禁止されてもよい。
i. 一例を図8に示すが、並置されたルマブロックは32×32であるが、64×64に等しいサイズの対応するルマブロック内にあるため、予め定義されたルマブロックサイズが32×64である場合、この場合、クロマ残差スケーリングおよび/またはCCLMは禁止される。
ii. 代替的には、現在のクロマブロックの並置されたものがスプリットされておらず、並置されたルマブロックの左上のルマサンプルをカバーする対応するルマブロックが、予め定義された境界ボックス内に完全に含まれている場合、現在のクロマブロックに対するクロマ残差スケーリングおよび/またはCCLMを適用してもよい。バウンディングボックスは、図9に示されるように、WxHで示される幅Wおよび高さHを有する長方形として定義されてもよく、対応するルマブロックは幅32および高さ64を有し、バウンディングボックスは幅40および高さ70を有する。
1) 一例では、境界ボックスのサイズWxHは、CTU幅および/または高さにしたがって、CU幅および/または高さにしたがって、または任意の値にしたがってって定義されてもよい。
g) 一例では、現在のクロマブロックの並置されたルマブロックが複数のパーティションによって分割されている場合、並置されたルマブロックの予め定義されたパーティション内の予測サンプル(または再構成されたサンプル)のみを使用して、LMCSモードでのクロマ残差スケーリングファクタを導出する。
i. 一例では、並置されたルマブロックの第1のパーティションにおけるすべての予測サンプル(または再構成されたサンプル)の平均を使用して、LMCSモードでのクロマ残差スケーリングファクタを導出する。
ii. 代替的には、並置されたルマブロックの第1のパーティションにおける左上の予測サンプル(または再構成されたサンプル)を使用して、LMCSモードでのクロマ残差スケーリングファクタを導出する。
iii. 代替的には、並置されたルマブロックの第1パーティションにおける中心予測サンプル(または再構成されたサンプル)を使用して、LMCSモードでのクロマ残差スケーリングファクタを導出する。
h) CCLMおよびLMCSなどのクロスコンポーネントツールを適用するかどうか、またはどのように適用するかは、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUのコーディングモードに依存してもよいことを提案する。
i. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUがアフィンモードでコーディングされる場合、クロスコンポーネントツールは無効にされる。
ii. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUが双予測でコーディングされる場合、クロスコンポーネントツールは無効にされる。
iii. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUがBDOFでコーディングされる場合、クロスコンポーネントツールは無効にされる。
iv. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUがDMVRでコーディングされる場合、クロスコンポーネントツールは無効にされる。
v. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUが、JVET-N0217で提案されている行列アフィン変換モードでコーディングされる場合、クロスコンポーネントツールは無効にされる。
vi. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUがインターモードでコーディングされる場合、クロスコンポーネントツールは無効にされる。
vii. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUがISPモードでコーディングされる場合、クロスコンポーネントツールは無効にされる。
viii. 一例では、「並列化されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCU」は、対応するルマブロックを指してもよい。
i). CCLM/LMCSが禁止されているときに、CCLM/LMCSの使用の指示のシグナリングを省略してもよい。
j). 本開示において、CCLMは、LMモード、LM-Tモード、およびLM-Lモードを含む、CCLMの任意のバリアントモードを指してもよい。
14. CCLMおよびLMCSなどのクロスコンポーネントツールに適用するかどうか、および適用する方法がクロマブロックの一部に対して実行してもよいことを提案する。
a). 一例では、CCLMやLMCSなどのクロスコンポーネントツールをクロマサブブロックレベルで適用するかどうか、および適用する方法。
i. 一例では、クロマサブブロックは、クロマCU内の2×2または4×4ブロックとして定義される。
ii. 一例では、クロマサブブロックに対して、現在のクロマCUの対応するルマコーディングブロックが、サブブロックの対応するブロックのすべてのサンプルをカバーするときに、CCLMを適用してもよい。
iii. 一例では、クロマサブブロックに対して、対応するブロックのすべてのサンプルが現在のクロマCUの対応するルマコーディングブロックによってカバーされていないときに、CCLMは適用されない。
iv. 一例では、CCLMまたはLMCSのパラメータは、サブブロックをクロマCUとして扱うように、各クロマサブブロックに対して導出される。
v. 一例では、CCLMまたはLMCSがクロマサブブロックに適用されるときに、並置されたブロックのサンプルが使用されてもよい。
15. CCLMなどのクロスコンポーネントツールを適用するかどうか、どのように適用するかは、ブロック寸法および/またはパーティション情報および/またはパーティション構造タイプ(たとえば、デュアルツリーまたは単一ツリー)に依存してもよいことを提案する。
a) 一例では、CCLMをクロマデュアルツリーパーティションに対して無効にしてもよい。
b) 一例では、CCLMをブロック寸法に応じて条件付きで無効にしてもよい。
i. 一例では、現在のブロック寸法がWB×HBであるとすると、WB、HB、および2つの整数T1とT2の間の関係に依存して、以下のCCLMを無効にしてもよい。
1) 一例では、WB≧T1かつHB≧T2である場合、CCLMを無効にしてもよい。たとえば、T1=T2=8である。
2) 一例では、WB*HB≧T1である場合、CCLMを無効にしてもよい。たとえば、T1=64である。
3) 一例では、Min(WB,HB)≧T1である場合、CCLMを無効にしてもよい。たとえば、T1=8である。
4) 一例では、Max(WB,HB)≧T1である場合、CCLMを無効にしてもよい。たとえば、T1=8である。
5) 一例では、WB≦T1かつHB≦T2である場合、CCLMを無効にしてもよい。たとえば、T1=T2=16である。
6) 一例では、WB*HB≦T1である場合、CCLMを無効にしてもよい。たとえば、T1=4096である。
7) 一例では、Min(WB,HB)≦T1である場合、CCLMを無効にしてもよい。たとえば、T1=64である。
8) 一例では、Max(WB,HB)≦T1である場合、CCLMを無効にしてもよい。たとえば、T1=64である。
c) 一例では、ブロック寸法および/またはパーティション情報によってCCLMを制限してもよい。
i. 一例では、寸法WB×HBを有するクロマブロックに対して、以下の条件の1つ以上が満たされる場合、CCLMを無効にする。たとえば、WB=HB=32である。以下の箇条書きでは、並置されたルマブロックの寸法は、(sh×WB)×(sv×HB)であってもよく、shとsvはスケーリングファクタである。たとえば、色フォーマットが4:2:0であるときに、sh=sv=2である。
1) 現在のクロマブロックは水平スプリットによるリーフノードにあり、並置されたルマブロックは垂直スプリットによるリーフノードにある。
a) 1つの例では、現在のクロマブロックはSPLIT_TT_HORモードでスプリットされ、並置されたルマブロックはSPLIT_TT_VERモードでスプリットされる。
b) 1つの例では、現在のクロマブロックはSPLIT_TT_HORモードでスプリットされ、並置されたルマブロックはSPLIT_BT_VERモードでスプリットされる。
c) 1つの例では、現在のクロマブロックはSPLIT_BT_HORモードでスプリットされ、並置されたルマブロックはSPLIT_TT_VERモードでスプリットされる。
d) 1つの例では、現在のクロマブロックはSPLIT_BT_HORモードでスプリットされ、並置されたルマブロックはSPLIT_BT_VERモードでスプリットされる。
2) 現在のクロマブロックは垂直スプリットによるリーフノードにあり、並置されたルマブロックは水平スプリットによるリーフノードにある。
a) 一例では、現在のクロマブロックはSPLIT_TT_VERモードでスプリットされ、並置されたルマブロックはSPLIT_TT_HORモードでスプリットされる。
b) 一例では、現在のクロマブロックはSPLIT_TT_VERモードでスプリットされ、並置されたルマブロックはSPLIT_BT_HORモードでスプリットされる。
c) 一例では、現在のクロマブロックはSPLIT_BT_VERモードでスプリットされ、並置されたルマブロックはSPLIT_TT_HORモードでスプリットされる。
d) 一例では、現在のクロマブロックはSPLIT_BT_VERモードでスプリットされ、並置されたルマブロックはSPLIT_BT_HORモードでスプリットされる。
d) 一例では、CCLMがブロックに対して無効にされている場合、CCLMに関係する構文要素は、ブロックにおいてシグナリングされなくてもよい。
i. 代替的には、CCLMがブロックに対して無効にされている場合、CCLMに関係する構文要素はシグナリングされてもよいが、CCLMモードは、適合ビットストリームでブロックにおいて使用されるべきではない。
ii. 代替的には、CCLMがブロックに対して無効にされている場合、CCLMに関係する構文要素がシグナリングされてもよい。
CCLMモードがシグナリングされる場合、planarまたはDCなどのデフォルトモードが適用されてもよい。
LMCSモードにおけるクロマ残差スケーリングの適用性
16. ルマ依存クロマ残差スケーリングを適用できるかどうかは、JVET-M1001で指定されたタイルグループヘッダに加えて、他の構文レベルでシグナリングされてもよいことを提案する。
a) たとえば、chroma_residual_scale_flagは、(たとえば、SPSにおける)シーケンスレベル、(たとえば、PPSまたはピクチャヘッダにおける)ピクチャレベル、(たとえば、スライスヘッダにおける)スライスレベル、タイルレベル、CTU行レベル、CTUレベル、CUレベルでシグナリングされてもよい。1に等しいchroma_residual_scale_flagは、シグナリングされた構文レベル未満のCUに対してクロマ残差スケーリングを有効にすることを指定する。0に等しいchroma_residual_scale_flagは、シグナリングされた構文レベル未満に対してクロマ残留スケーリングを有効にしないことを指定する。chroma_residual_scale_flagが存在しないときに、0に等しいと推論される。
b) 一例では、クロマ残差スケーリングがパーティションノードレベルで制約されている場合。chroma_residual_scale_flagは、シグナリングされず、パーティションノードによってカバーされるCUに対して0であると推論されてもよい。一例では、パーティションノードは、CTUであってもよい(CTUは、4分ツリーパーティションのルートノードとして扱われる)。
c) 一例では、32x32以下のクロマブロックサイズにクロマ残差スケーリングが制約されている場合、chroma_resistance_scale_flagはシグナリングされず、32x32以下のクロマブロックサイズに対して0であると推論されてもよい。
CCLMモードの適用性
17. CCLMモードを適用できるかどうかは、JVET-M1001で指定されたspsレベルに加えて、他の構文レベルでシグナリングされてもよいことを提案する。
a) たとえば、それは、(たとえば、PPSまたはピクチャヘッダにおける)ピクチャレベル、(たとえば、スライスヘッダにおける)スライスレベル、(たとえば、タイルグループヘッダにおける)タイルグループレベル、タイルレベル、CTU行レベル、CTUレベル、CUレベルでシグナリングされてもよい。
b) 一例では、CCLMを適用できない場合、cclm_flagはシグナリングされず、0であると推論されてもよい。
i. 一例では、8x8以下のクロマブロックサイズにクロマ残差スケーリングが制約されている場合、cclm_flagはシグナリングされず、8x8以下のクロマブロックサイズに対して0であると推論されてもよい。
イントラモードとインターモードのクロマ残差スケーリングファクタの導出の統一
18. クロマ残差スケーリングファクタは、ルマブロックを符号化/復号した後に導出され、記憶され、以下のコーディングされたブロックに使用されてもよい。
a) 一例では、ルマブロックにおける特定の予測サンプルまたは/および中間予測サンプルまたは/および再構成されたサンプルまたは/およびループフィルタリング前(たとえば、ブロック解除フィルタまたは/およびSAOフィルタまたは/およびバイラテラルフィルタまたは/およびHadamard変換フィルタまたは/およびALFフィルタによって処理される前)の再構成されたサンプルは、クロマ残差スケーリングファクタの導出に使用されてもよい。
i. たとえば、ルマブロックの下の行または/および右の列における部分サンプルは、クロマ残差スケーリングファクタの導出に使用されてもよい。
b) シングルツリーの場合、イントラモードまたは/およびIBCモードまたはインターモードでコーディングされたブロックを符号化するときに、導出された近隣のブロックのクロマ残差スケーリングファクタは、現在のブロックのスケーリングファクタを導出するために使用されてもよい。
i. 一例では、特定の近隣のブロックを順番にチェックしてもよく、最初の利用可能なクロマ残差スケーリングファクタは、現在のブロックに使用されてもよい。
ii. 一例では、特定の近隣のブロックを順番にチェックしてもよく、スケーリングファクタは、最初のK個の利用可能な近隣のクロマ残差スケーリングファクタに基づいて導出されてもよい。
iii. 一例では、インターモードまたは/およびCIIPモードでコーディングされたブロックに対して、近隣のブロックがイントラモードまたは/およびIBCモードまたは/およびCIIPモードでコーディングされた場合、近隣のブロックのクロマ残差スケーリングファクタは「利用できない」とみなされてもよい。
iv. 一例では、近隣のブロックは、左(または左上)->上(または右上)の順にチェックされてもよい。
代替的には、近隣のブロックは、上(または右上)->左(または左上)の順にチェックされてもよい。
c) セパレートツリーの場合、クロマブロックを符号化するときに、対応するルマブロックが最初に識別される。次いで、導出されたその(たとえば、対応するルマブロック)近隣のブロックのクロマ残差スケーリングファクタは、現在のブロックのスケーリングファクタを導出するために使用されてもよい。
i. 一例では、特定の近隣のブロックを順番にチェックしてもよく、最初に利用可能なクロマ残差スケーリングファクタを現在のブロックに使用してもよい。
ii. 一例では、特定の近隣のブロックを順番にチェックしてもよく、スケーリングファクタは、最初のK個の利用可能な近隣のクロマ残差スケーリングファクタに基づいて導出されてもよい。
d) 近隣のブロックは、予め定義された順序でチェックしてもよい。
i. 一例では、近隣のブロックは、左(または左上)->上(または右上)の順にチェックされてもよい。
ii. 一例では、近隣のブロックは、上(または右上)->左(または左上)の順にチェックされてもよい。
iii. 一例では、近隣のブロックは、左下->左->右上->上->左上の順にチェックされてもよい。
iv. 一例では、近隣のブロックは、左->上->右上->左下->左上の順にチェックされてもよい。
e) 一例では、クロマ残差スケーリングを適用するかどうかは、近隣のブロックの「可用性」に依存してもよい。
i. 一例では、「利用可能な」近隣のブロックがないときに、クロマ残留スケーリングを禁止してもよい。
ii. 一例では、「利用可能な」近隣のブロックの数がK(K>=1)より小さいときに、クロマ残差スケーリングを禁止してもよい。
iii. 代替的には、「利用可能な」近隣のブロックがないときに、クロマ残差スケーリングファクタはデフォルト値によって導出されてもよい。
1) 一例では、デフォルト値1<<(BitDepth-1)を使用して、クロマ残差スケーリングファクタを導出してもよい。
f) 一例では、現在のクロマブロックのクロマ残差スケーリングファクタを記憶し、次のコーディングされたブロックに使用してもよい。
g) 一例では、クロマ残差スケーリングファクタの記憶をラインバッファから除去してもよい。
i. 一例では、現在のブロックとアクセスされる近隣の(隣接または非隣接)ブロックが異なる領域内にあるときに、そのクロマ残留スケーリングファクタは「利用できない」とみなされてもよく、現在のブロックのクロマ残差スケーリングファクタの導出に使用されなくてもよい。
1) 領域は、スライス、タイル、タイルグループ、CTU行、またはCTUであってもよい。
2) 代替的には、そのクロマ残差スケーリングファクタは、そのような場合にデフォルト値としてみなされてもよい。
3) 代替的には、クロマ残差スケーリングは、そのような場合に適用することができない。
h) 一例では、現在のクロマブロックのクロマ残差スケーリングファクタをオンザフライで更新してもよく、以下のブロックのスケーリングファクタ導出のために履歴テーブルに保存してもよい。
i. 履歴テーブルは、FIFO(first-infirst-out)方法で更新してもよい。
ii. クロマブロックを復号/符号化した後、クロマ残差スケーリングファクタが(たとえば、ルマ値にしたがって)導出されてもよく、FIFO履歴テーブルに記憶されてもよい。
iii. 一例では、FIFO履歴テーブルは、多くとも1エントリを含んでもよい。この場合、導出された最新の復号されたブロックのクロマ残差スケーリングファクタは、現在のブロックに使用される。
iv. 一例では、履歴テーブルは、ピクチャおよび/またはスライスおよび/またはタイルグループおよび/またはタイルおよび/またはCTU行および/またはCTUを符号化/復号する前にリフレッシュされる。
1) 一例では、デフォルトのクロマ残差スケーリングファクタは、履歴テーブルがリフレッシュされるときに履歴テーブルに入れてもよい。
2) 一例では、FIFO履歴テーブルがリフレッシュされるときに、履歴テーブルは空にセットされる。
クロマ残差スケーリングのための新しい構文要素
19. 1つ以上の新しい構文要素がシグナリングされて、クロマ残差スケーリングプロセスで使用されるスケーリングファクタを導出してもよいことを提案する。
a) 一例では、LMCSコーディングツールのクロマ残差スケーリングのために、構文要素をLMCS APSデータ(VVC仕様におけるlmcs_data()など)に追加してもよい。
b) 一例では、構文要素は、SPS/スライスヘッダ/タイルグループヘッダ/PPS/ピクチャヘッダ/ブリック/CTU行/CTU/CUなどに追加されてもよい。
i. 構文要素がビデオユニットにおいてシグナリングされる場合、それらはビデオユニットに関連するすべてのブロックにおけるスケーリングファクタを制御してもよい。たとえば、それらがスライスヘッダにおいてシグナリングされる場合、それらは、スライス内のすべてのブロックにおけるスケーリングファクタを制御してもよい。
1) 代替的には、構文要素がビデオユニットにおいてシグナリングされる場合、それらは、ビデオユニットに関連するいくつかのブロックにおけるスケーリングファクタを制御してもよい。
ii. 一例では、構文要素は、VPDUレベルでシグナリングされてもよい。
iii. 一例では、構文要素は、VPDUレベルとCTUレベルとの間でより小さいサイズを有するユニットに対してシグナリングされてもよい。
1) 一例として、CTU幅をW、VPDU幅をW′とする。ユニットは、min(W<W′)にセットされる。
iv. 一例では、CUサイズがVPDUより大きいとき、構文要素は、1つのレベル(たとえば、VPDU)でシグナリングされてもよい。そうでなければ、構文要素は別のレベル(たとえば、CU)でシグナリングされてもよい。
c) 一例では、新しい構文要素、すなわち、たとえば、lmcs_crs_fixed_bin_idxは、クロマ残差スケーリングのためのクロマスケーリングファクタを導出するようにコーディングされてもよい。
i. 一例では、lmcs_crs_fixed_bin_idxを使用して、スケーリングファクタを導出するために使用される代表的なルマ値を提示してもよい。
ii. 代替的には、lmcs_crs_fixed_bin_idxを使用して、ルックアップテーブルChromaScaleCoeffのインデックスなど、スケーリングファクタを導出するために使用されるインデックスを提示してもよい。
iii. 代替的には、さらに、lmcs_crs_fixed_bin_idxの値は[k0,k1]の範囲にあるものとする。一例では、lmcs_crs_fixed_bin_idxの範囲は、クロマスケーリング構成プロセスによるルナマッピングにおける最小(たとえば、lmcs_min_bin_idx)および/または最大ビンインデックスの範囲、たとえば、[0,15]に等しくセットされてもよい。
1) 一例では、lmcs_crs_fixed_bin_idxは、適合したビットストリームの有効な範囲になければなりません。
2) 一例では、lmcs_crs_fixed_bin_idxは、有効な範囲になければならない方式でコーディングされる。
iv. 代替的には、さらに、lmcs_crs_fixed_bin_idxは、固定長、切り捨てられた単項、単項、exp-golombコーディングでコーディングされてもよい。
v. 代替的には、さらに、lmcs_crs_fixed_bin_idxは、クロマスケーリング構成プロセスによるルナマッピングにおいて使用される最小および最大ビンインデックスの平均を使用することなどにより、(たとえば、(lmcs_min_bin_idx+lmcs_max_bin_idx+offset)>>1)予測的にコーディングされてもよく、オフセットが予測として0または1にセットされている。代替的には、lmcs_min_bin_idxまたはlmcs_max_bin_idxが、予測として使用されてもよい。
vi. 代替的には、lmcs_crs_fixed_bin_idxは条件付きでコーディングされる。
1) 一例では、現在の色フォーマットが4:0:0でないとき。
2) 一例では、別々の平面コーディングが無効になっているとき。
3) 一例では、ChromaArrayTypeが0に等しくないとき。
4) 一例では、クロマ残差スケーリングが有効になっているとき。
d) 一例では、新しい構文要素によって導出された固定クロマスケーリングファクタが、同じLMCSモデルを共有するすべてのクロマ残差スケーリングブロックに使用されてもよい。
i. 一例では、lmcs_crs_fixed_bin_idxによってインデックス付けされた固定クロマスケーリングファクタが、IDR/CRA/IRAPピクチャに一度計算され、IDR/CRA/IRAPピクチャのすべてのブロックに使用される。
ii. 一例では、lmcs_crs_fixed_bin_idxによってインデックス付けされた固定クロマスケーリングファクタが、IDR/CRA/IRAPピクチャに一度計算され、次のIDR/CRA/IRAPピクチャの前のインターコーディングされたピクチャの全てのブロックに使用される。
e) 一例では、構文要素(たとえば、フラグ)は、ビデオユニット/領域におけるすべてのブロック(CTU/VPDU/CUなど)が同じスケーリングファクタを共有するかどうかを表すために、シグナリングまたは導出されてもよい。
i. 一例では、ビデオユニット/領域は、シーケンス/ピクチャ/スライス/タイル/ブリック/CTU行/CTU/VPDUなどであってもよい。
ii. 一例では、構文要素は、SPS/スライスヘッダ/タイルグループヘッダ/PPS/ピクチャヘッダ/ブリック/CTU行/CTU/VPDUレベルなどでシグナリングされてもよい。
iii. 一例では、ビデオユニット/領域におけるすべてのブロック(CTU/VPDU/CUなど)が同じスケーリングファクタを共有しないことを構文要素が示す場合、1つ以上の余分な構文要素が、1つ以上のブロックのスケーリングファクタを示すために、シグナリングまたは導出されてもよい。
f) 一例では、同じスケーリングファクタを共有するビデオユニットにおけるCTU/VPDU/CU(Tと示す)の数は、シーケンス/ピクチャ/スライス/タイル/ブリック/CTU行/CTU/VPDUなどのビデオ領域レベルでシグナリングまたは導出されてもよい。
i. 一例では、同じスケーリングファクタを共有するビデオユニットにおいてCTU/VPDU/CU(Tと示す)の数は、(T-1)がTの代わりにコーディングされるなどの予測的な方法でコーディングされてもよく、代替的には、(ビデオユニット-T内のCTU/VPDU/CUの数)が代わりにコーディングされてもよい。
ii. 一例では、同じスケーリングファクタを共有するビデオユニットにおいてCTU/VPDU/CU(Tと示す)の数は、SPS/スライスヘッダ/タイルグループヘッダ/PPS/ピクチャヘッダ/ブリック/CTU行/CTU/VPDUレベルなどでシグナリングされてもよい。
iii. 一例では、ビデオユニット内のすべてのT個の連続したCTU/VPDU/CUは、同じスケーリングファクタを共有してもよい。
1) 第1のCTU/VPDU/CUおよび第2のCTU/VPDU/CUは、第1のCTU/VPDU/CUが復号された後に第2のCTU/VPDU/CUが復号される場合、連続として定義される。
iv. 一例では、Tは、現在のビデオユニットにおけるCTU/VPDU/CUの数と等しくてもよい。
v. 一例では、Tは、[T1,T2]の範囲(両端を含む)にあってもよい。たとえば、T1は1に等しく、T2は現在のビデオユニットにおけるCTU/VPDU/CUの数に等しい。
1) 一例では、Tは、範囲にしたがってシグナリングされてもよい。たとえば、T-T1はシグナリングされてもよく、T-T1の最大シグナリング値はT2-T1である。
2) 一例では、Tは適合したビットストリームから解析された範囲になければならない。
vi.一例では、Tは予測的な方法でコーディングされてもよい。
1) 一例では、Tは、固定数によって予測されてもよい。
2) 一例では、Tは、その以前にコーディングされたビデオユニット/領域の情報を使用して予測的な方法でコーディングされてもよい。
a) たとえば、同じスケーリングファクタを共有する第1のビデオユニットにおいてCTU/VPDU/CU(T1と示す)の数は、同じスケーリングファクタを共有する第2のビデオユニットにおけるCTU/VPDU/CU(T2と示す)の数によって予測されてもよい。
vii. T(予測後であってもよい)は、単項/切り捨てられた単項/固定長/指数関数的ゴロム/切り捨てられた2値コードとして2値化されてもよい。
viii. T(予測後であってもよい)は、1つ以上のコンテキストを使用して、コンテキストまたは算術コーディングなしで、バイパスコーディングによりコーディングされてもよい。
ix. 一例では、Tは複数の変数から導出されてもよく、これはシグナリングされてもよい。
1) たとえば、TがM×Nに等しいとき、MおよびNはTの代わりにシグナリングされてもよい。
a) Tについてこの箇条書きで開示されている方法は、Mおよび/またはNにも適用してもよい。
g) 一例では、同じスケーリングファクタを共有するビデオユニットにおいてCTU/VPDU/CUの領域は、SPS/スライスヘッダ/タイルグループヘッダ/PPS/ピクチャヘッダ/ブリック/CTU行レベル/CTU/VPDUなどでシグナリングまたは導出されてもよい。
i. 一例では、ビデオユニットがラスタ走査順序である数のCTU/VPDU/CUを含む場合、同じスケーリングファクタを共有するビデオユニットにおけるCTU/VPDU/CUの領域は、最初のCTU/VPDU/CUアドレス(またはインデックス)および/または最後のCTU/VPDU/CUアドレス(またはインデックス)および/またはCTU/VPDU/CUの数によって表されてもよい。
1) 一例では、最初のCTU/VPDU/CUアドレス(インデックス)および最後のCTU/VPDU/CUインデックスは、シグナリングされてもよい。
2) 一例では、最初のCTU/VPDU/CUインデックスと、同じスケーリングファクタを共有するCTU/VPDU/CUの数とが、シグナリングされてもよい。
ii. 一例では、ビデオユニットが、ピクチャ内の矩形領域を集合的に形成するある数のCTU/VPDU/CUを含む場合、同じスケーリングファクタを共有するビデオユニットにおいてCTU/VPDU/CUの領域は、左上のCTU/VPDU/CUアドレス(またはインデックス)および右下のCTU/VPDU/CUアドレス(またはインデックス)によって表わされてもよい。
1) 一例では、左上のCTU/VPDU/CUアドレス(またはインデックス)および右下のCTU/VPDU/CUアドレス(またはインデックス)がシグナリングされてもよい。
2) 一例では、最初のCTU/VPDU/CUアドレス(またはインデックス)および最後のCTU/VPDU/CUインデックスは、シグナリングされてもよい。
3) 一例では、最初のCTU/VPDU/CUアドレス(またはインデックス)と、同じスケーリングファクタを共有するCTU/VPDU/CUの数とが、シグナリングされてもよい。
iii. 一例では、領域は、その幅(Wと示す)および高さ(Hと示す)として定義される。Wは、ビデオユニット/領域においてW個のCTU/VPDU/CUがあることを意味してもよく、Hは、ビデオユニット/領域においてH個のCTU/VPDU/CUがあることを意味してもよい。
1) 一例では、同じのクロマスケーリングファクタを共有する領域においてコーディングされたCTU/VPDU/CUの数は、領域の1つ以上の部分が現在のピクチャ、スライス、タイルまたはレンガから外れている場合、W×H未満であってもよい。
2) 一例では、Wは、現在のビデオユニットの幅に沿ったCTU/VPDU/CU数と等しくてもよい。
3) 一例では、Hは、現在のビデオユニットの高さに沿ったCTU/VPDU/CU数と等しくてもよい。
4) 一例では、Wは、[W1,W2]の範囲(両端を含む)にあってもよい。たとえば、W1は1に等しく、W2は現在のビデオユニットのCTU行のCTU数に等しい。
a) 一例では、Wは、範囲にしたがってシグナリングされてもよい。たとえば、W-W1はシグナリングされ、W-W1の最大シグナリング値はW2-W1である。
b) 一例では、Wは適合したビットストリームから解析された範囲になければならない。
5) 一例では、Hは、[H1,H2]の範囲(両端を含む)にあってもよい。たとえば、H1は1に等しく、H2は現在のビデオユニットのCTU列のCTU数に等しい。
a) 一例では、Hは、範囲にしたがってシグナリングされてもよい。たとえば、H-H1はシグナリングされ、H-H1の最大シグナリング値はH2-H1である。
b) 一例では、Hは適合したビットストリームから解析された範囲になければならない。
6) 一例では、WまたはHは、予測的な方法でコーディングされてもよい。
a) 一例では、WまたはHは、固定数によって予測されてもよい。
b) 一例では、WまたはHは、以前にコーディングされたビデオユニット/領域の情報を使用して予測的な方法でコーディングされてもよい。
i. たとえば、同じスケーリングファクタを共有する第1の領域のWまたはHは、同じスケーリングファクタを共有する第2の領域のWまたはHによって予測されてもよい。
7) WまたはH(予測後であってもよい)は、単項/切り捨てられた単項/固定長/指数関数的ゴロム/切り捨てられた2値コードとして2値化されてもよい。
8) WまたはH(予測後であってもよい)は、1つ以上のコンテキストを使用したコンテキストまたは算術コーディングなしで、バイパスコーディングでコーディングされてもよい。
iv. 一例では、W×HのCTU/VPDU/CUを有する第1の領域およびW×H のCTU/VPDU/CUを有する第2の領域は、順次復号されてもよい。
v. 一例では、2つの領域におけるCTUは、インターリーブ方式で復号されてもよい。
- たとえば、復号順序は、第1の領域の第1の行におけるCTUであってもよい。
- 第2の領域の最初の行におけるCTU。
- 第1の領域の最初の行におけるCTU。
- 第2の領域の第2の列におけるCTU。
- 第1の領域の2行におけるCTU。
20. クロマスケーリングファクタの指示は、連続するビデオユニット/領域間で予測コーディングされてもよい。
a) 一例では、各ビデオユニット/領域がクロマ残差スケーリング情報をシグナリングするために、構文要素(たとえば、フラグ)が、それが以前にコーディングされたビデオユニット/領域と同じであるかどうかを示すために、シグナリングまたは導出されてもよい。
b) 一例では、現在のビデオユニットのクロマスケーリングファクタと以前のビデオユニットのクロマスケーリングファクタとの間の差がシグナリングされてもよい。
i. たとえば、1つ以上の構文要素は、差を示すためにシグナリングされてもよい。
1) 一例では、絶対デルタおよびデルタ符号フラグなどの2つの構文要素が、差を表すためにシグナリングされてもよい。
a) 一例では、デルタ符号フラグが、絶対デルタにしたがって条件付きでシグナリングされてもよい。一例では、絶対デルタが0に等しい場合、デルタ符号フラグはシグナリングされない。
ii. たとえば、差がシグナリングされない場合、0であると推論され、シグナリングされたクロマスケーリングファクタが以前のクロマスケーリングファクタと同じであることを意味してもよい。
21. 本発明における用語「スケーリングファクタ」は、スケーリングファクタインデックスまたはスケーリングファクタ値を指してもよい。「同じスケーリングファクタを共有する」とは、「同じスケーリングファクタインデックスを共有する」または「同じスケーリングファクタ値を共有する」ことを指してもよい。
a) 一例では、ブロックにおけるサンプルは同じスケーリングファクタインデックスを共有してもよいが、それらは異なるスケーリングファクタ値を有してもよい。
b) 一例では、ブロックにおけるサンプルは同じスケーリングファクタインデックスを共有してもよいが、それらは同じスケーリングファクタ値を有してもよい。
22. 本発明のビデオユニット/領域は、シーケンス/GOP(Pictures of Pictures)/イントラピリオド/ピクチャ/スライス/タイル/ブリック/VPDU/CTU 行/CTUのグループ/CTU/CUを指してもよい。
5.1 実施形態1
以下に論じる例示的な実施形態は、セクション4の項目11の例示的な方法についてのものである。
新たに追加された部分は下線および太字のテキストで示し、VVCのワーキングドラフトから削除された部分、二重角括弧[[..]]および太字で示す。
修正は、最新のVVCワーキングドラフト(JVET-M1007-v7)とJVET-N220-v3での新しい採択に基づく。
このプロセスへの入力は、以下のようである。
- 現在のピクチャの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
2. 変数varScaleは、以下のように導出される。
- tu_cbf_cIdx[xCurr][yCurr]が1に等しい場合、以下を適用する。
以下の実施形態は、本発明の説明の項目11の方法についてのものである。
新たに追加された部分は、下線と太字で示し、VVCのワーキングドラフトから削除された部分は、二重角括弧[[..]]と太字のテキストで示す。
修正は、最新のVVCワーキングドラフト(JVET-M1007-v7)とJVET-N220-v3での新しい採択に基づく。
実施形態#2と#1の相違点は以下のように挙げられる。
- 複数の近隣のルマサンプルをチェックし、クロマ残差スケーリングファクタを導出する。
- 近隣のルマサンプルが利用できないとき、または、近隣のルマがINTRA/CIIP/IBCモードでコーディングされる一方で、現在のものがINTERモードでコーディングされるときに、#2はクロマ残差スケーリングファクタの導出にデフォルト値を使用する。
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
- tile_group_chroma_residual_scale_flagが0に等しいか、またはnCurrSw*nCurrShが4以下の場合、以下を適用する。
- 変数varScaleの導出では、以下の順序付けされたステップを適用する。
- 変数invAvgLumaは、以下のように導出される。
- 変数varScaleは、以下のように導出される。
- tu_cbf_cIdx[xCurr][yCurr]が1に等しい場合、以下を適用する。
以下の実施形態は、本発明の説明の項目12の方法についてのものである。
新たに追加された部分は太字の斜体で強調表示され、VVCのワーキングドラフトから削除された部分は二重角括弧[[..]]と太字のテキストで強調表示される。
修正は、最新のVVCワーキングドラフト(JVET-M1007-v7)とJVET-N220-v3での新しい採択に基づく。
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
(外6)
5.4 実施形態4
以下の実施形態は、本発明の説明の項目12の方法についてのものである。
新たに追加された部分は、太字の斜体で強調表示され、VVCのワーキングドラフトから削除された部分は、二重角括弧[[..]]で強調表示される。
修正は、最新のVVCワーキングドラフト(JVET-M1007-v7)とJVET-N220-v3での新しい採択に基づく。
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
- slice_chroma_residual_scale_flagが0に等しいか、またはnCurrSw*nCurrShが4以下の場合、以下を適用する。
- 変数varScaleの導出では、以下の順序付けされたステップを適用する。
1. 変数invAvgLumaは、以下のように導出される。
3. 変数varScaleは、以下のように導出される。
- tu_cbf_cIdx[xCurr][yCurr]が1に等しい場合、以下を適用する。
以下の実施形態は、本発明の説明の項目12の方法についてのものである。
新しく追加された部分は、太字の斜体で強調表示され、VVCワーキングドラフトから削除された部分は、二重角括弧[[..]]強調表示される。修正は、最新のVVCワーキングドラフト(JVET-M1007-v7)とJVET-N220-v3での新しい採択に基づく。
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
- slice_chroma_residual_scale_flagが0に等しいか、nCurrSw*nCurrShが4以下の場合、以下を適用する。
- [[
- 変数varScaleの導出では、以下の順序付けされたステップを適用する。
1. 変数invAvgLumaは、以下のように導出される。
3. 変数varScaleは、以下のように導出される。
- recSamplesは、以下のように導出される。
- tu_cbf_cIdx[xCurr][yCurr]が1に等しい場合、以下を適用する。
以下の実施形態は、前項のリストの項目19の方法についてのものである。
JVET-N1001-v8で指定されているワーキングドラフトは、以下のように変更されてもよい(強調のために下線または太字の斜体を使用、削除には文字列)。
7.3.5.4 クロマスケーリングデータ構文によるルママッピング
(外8)
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のクロマ変換ブロックのコーディングされたブロックフラグを指定する変数tuCbfChroma
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
- 次の条件のうちの1つがtrueである場合、recSamples[xCurr+i][yCurr+j]は、Clip1C(presamples[i][j]+resSamples[i][j])に等しくセットされる。
- slice_chroma_residual_scale_flagが0に等しい
- nCurrSw*nCurrShが4以下である
- tu_cbf_cb[xCurr][yCurr]が0に等しく、tu_cbf_cr[xCurr][yCurr]が0に等しい
- そうでなければ、以下を適用する。
- [[
- 変数varScaleの導出では、以下の順序付けされたステップを適用する。
1. 変数invAvgLumaは、以下のように導出される。
3. 変数varScaleは、以下のように導出される。
- recSamplesは、以下のように導出される。
- tuCbfChromaが1に等しい場合、以下を適用する。
以下の実施形態は、本発明の説明の項目12の方法についてのものである。
JVET-N1001-v8で指定されているワーキングドラフトは、以下のように変更してもよい。
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のクロマ変換ブロックのコーディングされたブロックフラグを指定する変数tuCbfChroma
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
- 以下の条件のうちの1つがtrueである場合、recSamples[xCurr+i][yCurr+j]は、Clip1C(preSamples[i][j]+resSamples[i][j])に等しくセットされる。
- slice_chroma_residual_scale_flagが0に等しい。
- nCurrSw*nCurrShが4以下である。
- tu_cbf_cb[xCurr][yCurr]が0に等しく、tu_cbf_cr[xCurr][yCurr]が0に等しい。
- そうでなければ、以下を適用する。
- [[
- 変数varScaleの導出では、以下の順序付けされたステップを適用する。
1. 変数invAvgLumaは、以下のように導出される。
3. 変数varScaleは、以下のように導出される。
- recSamplesは、以下のように導出される。
- tuCbfChromaが1に等しい場合、以下を適用する。
図10は、ビデオ処理装置1000のブロック図である。装置1000は、本明細書に記載される方法のうちの1つ以上を実装するために使用されてもよい。装置1000は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機などで具体化されてもよい。装置1000は、1つ以上のプロセッサ1002、1つ以上のメモリ1004、およびビデオ処理ハードウェア1006を含んでもよい。プロセッサ1002は、本文書に記載される1つ以上の方法(方法800および900を含むが、これらに限定されない)を実装するように構成されてもよい。メモリ(複数のメモリ)1004は、本明細書に記載される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用されてもよい。ビデオ処理ハードウェア1006は、ハードウェア回路において、本文書に記載されるいくつかの技術を実装するために使用されてもよい。
現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換を実行することを含み、変換中、現在のビデオブロックの第2のセットの色コンポーネント値は、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値から導出され、第1のセットの色コンポーネント値は、ビデオコーディングステップの線形モデルにおいて使用可能である、方法。
対応するルマブロックの近隣のサンプルが利用できないことに応答して、利用できないサンプルを他のサンプルで、置換する、充填する、またはパディングすることをさらに含む、項28に記載の方法。
対応するルマブロックに近隣のサンプルに平滑化フィルタを適用することをさらに含む、項28に記載の方法。
現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換を実行することであって、変換中、現在のビデオブロックの第2のセットの色コンポーネント値は、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値から導出され、第1のセットの色コンポーネント値は、ビデオコーディングステップの線形モデルにおいて使用可能である、ことと、
1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値が現在のビデオブロックの並置されたルマブロックであると決定することに応答して、現在のビデオブロックの並置されたルマブロックに関連する1つ以上の条件に基づいて、現在のビデオブロックの第2のセットの色コンポーネント値の導出を選択的に有効または無効にすることと、を含む、方法。
現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換を実行することであって、変換中、現在のビデオブロックの第2のセットの色コンポーネント値は、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値から導出され、第1のセットの色コンポーネント値は、ビデオコーディングステップの線形モデルにおいて使用可能である、ことと、
現在のビデオブロックまたは現在のビデオブロックの近隣のビデオブロックの1つ以上のプロパティが満たされると決定することに応答して、現在のビデオブロックの第2のセットの色コンポーネント値の導出を選択的に有効または無効にすることと、を含む方法。
規則に基づいて、少なくとも2つのコンポーネントブロックを含むビデオブロックとビデオブロックのビットストリーム表現との間の変換に対してクロスコンポーネントコーデックツールの適用性を決定することと、クロコンポーネントコーデックツールを選択的に使用して変換を実行することと、を含む、方法。
Claims (11)
- ビデオデータを処理する方法であって、
ビデオの現在のクロマビデオブロックと前記ビデオのビットストリームとの間の変換中、スケーリングプロセスが前記現在のクロマビデオブロックのクロマ残差サンプルに適用されることを決定することと、
前記決定に基づいて前記変換を実行することと、を含み、
前記スケーリングプロセスにおいて、前記クロマ残差サンプルは、前記現在のクロマビデオブロックを再構成するために使用される前に、少なくとも1つのスケーリングファクタに基づいてスケーリングされ、
前記現在のクロマビデオブロックを含むビデオ領域内の1つ以上のクロマビデオブロックは、前記スケーリングプロセスにおいて、少なくとも1つの同じスケーリングファクタを共有し、前記ビデオ領域は、仮想パイプラインデータユニットであり、
前記少なくとも1つのスケーリングファクタは、
前記ビデオのビデオユニットの1つ以上の近隣のルマブロックの各々の可用性をチェックすることであって、前記ビデオユニットは、ルマブロックであり、前記現在のクロマビデオブロックの左上のサンプルに対応するルマサンプルに基づいて決定される、ことと、
前記1つ以上の近隣のルマブロックの各々の可用性に基づいて、前記ビデオユニットの近隣のルマサンプルを検索するかどうかを決定することであって、前記近隣のルマサンプルは、前記ビデオユニットの近隣の予め定義された位置に位置する、ことと、
前記1つ以上の近隣のルマブロックの少なくとも1つが利用可能である場合に、平均動作によって、前記近隣のルマサンプルを使用して計算された平均ルマ変数に基づいて、前記少なくとも1つのスケーリングファクタを導出することと、を行うことによって導出され、
すべての近隣のルマブロックが利用不可であると決定されたことに応答して、前記少なくとも1つのスケーリングファクタが、前記平均ルマ変数をデフォルト値に等しくセットすることによって導出され、
前記デフォルト値は、1<<(bitDepth-1)に等しく、bitDepthは、前記ビデオのビット深度である、方法。 - 前記ビデオ領域内の前記1つ以上のクロマビデオブロックは、前記スケーリングプロセスを適用する前記ビデオ領域内のすべてのクロマビデオブロックに対応する、請求項1に記載の方法。
- 前記近隣のルマサンプルは、前記ビデオユニットの1つ以上の左の近隣のサンプル列または1つ以上の上の近隣のサンプル行のうちの少なくとも1つを含む、請求項1に記載の方法。
- 前記近隣のルマサンプルの総数は、前記仮想パイプラインデータユニットのサイズ情報に依存する、請求項1~3のいずれか一項に記載の方法。
- 前記スケーリングプロセスは、区分線形モデルに基づいており、インデックスが、前記平均ルマ変数が属するピースを識別し、前記少なくとも1つのスケーリングファクタが、前記インデックスに基づいて導出される、請求項1~4のいずれか一項に記載の方法。
- ピクチャレベル以下の前記スケーリングプロセスの有効または無効を示す構文要素が、前記現在のクロマビデオブロックに関連する前記ピクチャレベルに条件付きで含まれ、
前記構文要素の値が1に等しいことに応答して、前記ピクチャレベル以下の前記スケーリングプロセスの適用が有効になり、前記構文要素の前記値がゼロに等しいことに応答して、前記ピクチャレベル以下の前記スケーリングプロセスの適用が無効にされる、請求項1~5のいずれか一項に記載の方法。 - 前記変換は、前記現在のクロマビデオブロックを前記ビットストリームに符号化することを含む、請求項1~6のいずれか一項に記載の方法。
- 前記変換は、前記ビットストリームから前記現在のクロマビデオブロックを復号することを含む、請求項1~6のいずれか一項に記載の方法。
- プロセッサと、命令をその上に有する非一時的なメモリとを含む、ビデオデータを処理するための装置であって、前記命令は、前記プロセッサによって実行されると、前記命令は、前記プロセッサに、
ビデオの現在のクロマビデオブロックと前記ビデオのビットストリームとの間の変換中、スケーリングプロセスが前記現在のクロマビデオブロックのクロマ残差サンプルに適用されることを決定することと、
前記決定に基づいて前記変換を実行することと、を行わせ、
前記スケーリングプロセスにおいて、前記クロマ残差サンプルは、前記現在のクロマビデオブロックを再構成するために使用される前に、少なくとも1つのスケーリングファクタに基づいてスケーリングされ、
前記現在のクロマビデオブロックを含むビデオ領域内の1つ以上のクロマビデオブロックは、前記スケーリングプロセスにおいて、少なくとも1つの同じスケーリングファクタを共有し、前記ビデオ領域は、仮想パイプラインデータユニットであり、
前記少なくとも1つのスケーリングファクタは、
前記ビデオのビデオユニットの1つ以上の近隣のルマブロックの各々の可用性をチェックすることであって、前記ビデオユニットは、ルマブロックであり、前記現在のクロマビデオブロックの左上のサンプルに対応するルマサンプルに基づいて決定される、ことと、
前記1つ以上の近隣のルマブロックの各々の可用性に基づいて、前記ビデオユニットの近隣のルマサンプルを検索するかどうかを決定することであって、前記近隣のルマサンプルは、前記ビデオユニットの近隣の予め定義された位置に位置する、ことと、
前記1つ以上の近隣のルマブロックの少なくとも1つが利用可能である場合に、平均動作によって、前記近隣のルマサンプルを使用して計算された平均ルマ変数に基づいて、前記少なくとも1つのスケーリングファクタを導出することと、を行うことによって導出され、
すべての近隣のルマブロックが利用不可であると決定されたことに応答して、前記少なくとも1つのスケーリングファクタが、前記平均ルマ変数をデフォルト値に等しくセットすることによって導出され、
前記デフォルト値は、1<<(bitDepth-1)に等しく、bitDepthは、前記ビデオのビット深度である、装置。 - 命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
ビデオの現在のクロマビデオブロックと前記ビデオのビットストリームとの間の変換中、スケーリングプロセスが前記現在のクロマビデオブロックのクロマ残差サンプルに適用されることを決定することと、
前記決定に基づいて前記変換を実行することと、を行わせ、
前記スケーリングプロセスにおいて、前記クロマ残差サンプルは、前記現在のクロマビデオブロックを再構成するために使用される前に、少なくとも1つのスケーリングファクタに基づいてスケーリングされ、
前記現在のクロマビデオブロックを含むビデオ領域内の1つ以上のクロマビデオブロックは、前記スケーリングプロセスにおいて、少なくとも1つの同じスケーリングファクタを共有し、前記ビデオ領域は、仮想パイプラインデータユニットであり、
前記少なくとも1つのスケーリングファクタは、
前記ビデオのビデオユニットの1つ以上の近隣のルマブロックの各々の可用性をチェックすることであって、前記ビデオユニットは、ルマブロックであり、前記現在のクロマビデオブロックの左上のサンプルに対応するルマサンプルに基づいて決定される、ことと、
前記1つ以上の近隣のルマブロックの各々の可用性に基づいて、前記ビデオユニットの近隣のルマサンプルを検索するかどうかを決定することであって、前記近隣のルマサンプルは、前記ビデオユニットの近隣の予め定義された位置に位置する、ことと、
前記1つ以上の近隣のルマブロックの少なくとも1つが利用可能である場合に、平均動作によって、前記近隣のルマサンプルを使用して計算された平均ルマ変数に基づいて、前記少なくとも1つのスケーリングファクタを導出することと、を行うことによって導出され、
すべての近隣のルマブロックが利用不可であると決定されたことに応答して、前記少なくとも1つのスケーリングファクタが、前記平均ルマ変数をデフォルト値に等しくセットすることによって導出され、
前記デフォルト値は、1<<(bitDepth-1)に等しく、bitDepthは、前記ビデオのビット深度である、非一時的なコンピュータ可読記憶媒体。 - ビデオのビットストリームを記憶するための方法であって、前記方法は、
スケーリングプロセスが前記ビデオの現在のクロマビデオブロックのクロマ残差サンプルに適用されることを決定することと、
前記決定に基づいて前記ビットストリームを生成することと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記録することと、を含み、
前記スケーリングプロセスにおいて、前記クロマ残差サンプルは、前記現在のクロマビデオブロックを再構成するために使用される前に、少なくとも1つのスケーリングファクタに基づいてスケーリングされ、
前記現在のクロマビデオブロックを含むビデオ領域内の1つ以上のクロマビデオブロックは、前記スケーリングプロセスにおいて、少なくとも1つの同じスケーリングファクタを共有し、前記ビデオ領域は、仮想パイプラインデータユニットであり、
前記少なくとも1つのスケーリングファクタは、
前記ビデオのビデオユニットの1つ以上の近隣のルマブロックの各々の可用性をチェックすることであって、前記ビデオユニットは、ルマブロックであり、前記現在のクロマビデオブロックの左上のサンプルに対応するルマサンプルに基づいて決定される、ことと、
前記1つ以上の近隣のルマブロックの各々の可用性に基づいて、前記ビデオユニットの近隣のルマサンプルを検索するかどうかを決定することであって、前記近隣のルマサンプルは、前記ビデオユニットの近隣の予め定義された位置に位置する、ことと、
前記1つ以上の近隣のルマブロックの少なくとも1つが利用可能である場合に、平均動作によって、前記近隣のルマサンプルを使用して計算された平均ルマ変数に基づいて、前記少なくとも1つのスケーリングファクタを導出することと、を行うことによって導出され、
すべての近隣のルマブロックが利用不可であると決定されたことに応答して、前記少なくとも1つのスケーリングファクタが、前記平均ルマ変数をデフォルト値に等しくセットすることによって導出され、
前記デフォルト値は、1<<(bitDepth-1)に等しく、bitDepthは、前記ビデオのビット深度である、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023207153A JP2024019443A (ja) | 2019-07-07 | 2023-12-07 | クロマ残差スケーリングのシグナリング |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019094964 | 2019-07-07 | ||
CNPCT/CN2019/094964 | 2019-07-07 | ||
PCT/CN2020/100573 WO2021004445A1 (en) | 2019-07-07 | 2020-07-07 | Signaling of chroma residual scaling |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023207153A Division JP2024019443A (ja) | 2019-07-07 | 2023-12-07 | クロマ残差スケーリングのシグナリング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022540117A JP2022540117A (ja) | 2022-09-14 |
JP7460748B2 true JP7460748B2 (ja) | 2024-04-02 |
Family
ID=74115055
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022500709A Active JP7460748B2 (ja) | 2019-07-07 | 2020-07-07 | クロマ残差スケーリングのシグナリング |
JP2023207153A Pending JP2024019443A (ja) | 2019-07-07 | 2023-12-07 | クロマ残差スケーリングのシグナリング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023207153A Pending JP2024019443A (ja) | 2019-07-07 | 2023-12-07 | クロマ残差スケーリングのシグナリング |
Country Status (5)
Country | Link |
---|---|
US (2) | US11533487B2 (ja) |
EP (1) | EP3977738A4 (ja) |
JP (2) | JP7460748B2 (ja) |
CN (2) | CN114128280B (ja) |
WO (1) | WO2021004445A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7277599B2 (ja) | 2019-03-08 | 2023-05-19 | 北京字節跳動網絡技術有限公司 | 映像処理におけるモデルベース再整形に対する制約 |
WO2020211869A1 (en) | 2019-04-18 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Parameter derivation in cross component mode |
EP3935855A4 (en) | 2019-04-23 | 2022-09-21 | Beijing Bytedance Network Technology Co., Ltd. | METHOD OF CROSS-COMPONENT DEPENDENCE REDUCTION |
KR102641796B1 (ko) | 2019-05-08 | 2024-03-04 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 교차-성분 코딩의 적용가능성에 대한 조건들 |
KR20220024006A (ko) * | 2019-06-22 | 2022-03-03 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 크로마 잔차 스케일링을 위한 신택스 요소 |
JP7460748B2 (ja) | 2019-07-07 | 2024-04-02 | 北京字節跳動網絡技術有限公司 | クロマ残差スケーリングのシグナリング |
EP4011068A4 (en) * | 2019-08-06 | 2023-08-09 | OP Solutions, LLC | IMPLICIT SIGNALING OF ADAPTIVE RESOLUTION MANAGEMENT BASED ON FRAME TYPE |
US11425405B2 (en) * | 2019-11-15 | 2022-08-23 | Qualcomm Incorporated | Cross-component adaptive loop filter in video coding |
JPWO2021100450A1 (ja) * | 2019-11-21 | 2021-05-27 | ||
WO2021136504A1 (en) * | 2019-12-31 | 2021-07-08 | Beijing Bytedance Network Technology Co., Ltd. | Cross-component prediction with multiple-parameter model |
US20210400257A1 (en) * | 2020-06-18 | 2021-12-23 | Lg Electronics Inc. | Image encoding/decoding method and apparatus for signaling high level information for tool control based on colour representation format, and computer-readable recording medium strong bitstream |
US20230396799A1 (en) * | 2022-06-06 | 2023-12-07 | Tencent America LLC | Signaling method for scaling parameter in chroma from luma intra prediction mode |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009050889A1 (ja) | 2007-10-15 | 2009-04-23 | Panasonic Corporation | 映像復号方法及び映像符号化方法 |
WO2018016381A1 (en) | 2016-07-22 | 2018-01-25 | Sharp Kabushiki Kaisha | Systems and methods for coding video data using adaptive component scaling |
Family Cites Families (121)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5281752B2 (ja) | 2007-02-28 | 2013-09-04 | 日本無機株式会社 | フィルタパック及びそれを用いたエアフィルタ |
US9571856B2 (en) | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
WO2020084511A1 (en) | 2018-10-23 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Simplified entropy coding for sub-block based motion information list |
WO2011126272A2 (en) | 2010-04-05 | 2011-10-13 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation |
SG10201502226SA (en) | 2010-04-09 | 2015-05-28 | Mitsubishi Electric Corp | Moving image encoding device and moving image decoding device |
PL3621306T3 (pl) | 2010-04-13 | 2022-04-04 | Ge Video Compression, Llc | Kodowanie wideo przy wykorzystaniu podpodziałów obrazów multidrzewa |
HUE035494T2 (en) | 2010-09-30 | 2018-05-02 | Samsung Electronics Co Ltd | A method for interplaying images using a smooth interpolation filter |
BR112013016095B1 (pt) | 2010-12-23 | 2022-08-16 | Samsung Electronics Co., Ltd. | Método de decodificar uma imagem, e método de codificar uma imagem |
WO2012090504A1 (en) | 2010-12-28 | 2012-07-05 | Panasonic Corporation | Methods and apparatuses for coding and decoding video stream |
WO2012175003A1 (en) | 2011-06-20 | 2012-12-27 | Mediatek Singapore Pte. Ltd. | Method and apparatus of chroma intra prediction with reduced line memory |
KR20130058524A (ko) | 2011-11-25 | 2013-06-04 | 오수미 | 색차 인트라 예측 블록 생성 방법 |
JP5375938B2 (ja) | 2011-12-14 | 2013-12-25 | ソニー株式会社 | 復号装置及び方法 |
CN103227917B (zh) | 2012-01-31 | 2016-12-14 | 华为技术有限公司 | 解码方法和装置 |
US9451258B2 (en) | 2012-04-03 | 2016-09-20 | Qualcomm Incorporated | Chroma slice-level QP offset and deblocking |
CN104471940B (zh) | 2012-04-16 | 2017-12-15 | 联发科技(新加坡)私人有限公司 | 色度帧内预测方法及装置 |
GB2501535A (en) | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
JP2015526013A (ja) | 2012-07-02 | 2015-09-07 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute | 映像符号化方法及び装置、並びに映像復号化方法及び装置 |
US9516309B2 (en) | 2012-07-09 | 2016-12-06 | Qualcomm Incorporated | Adaptive difference domain spatial and temporal reference reconstruction and smoothing |
US9350899B2 (en) | 2012-09-14 | 2016-05-24 | Qualcomm Incorporated | Methods and device for efficient resampling and resizing of digital images |
AU2012232992A1 (en) * | 2012-09-28 | 2014-04-17 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the transform units of a coding unit |
US9648319B2 (en) | 2012-12-12 | 2017-05-09 | Qualcomm Incorporated | Device and method for scalable coding of video information based on high efficiency video coding |
GB2513111A (en) | 2013-04-08 | 2014-10-22 | Sony Corp | Data encoding and decoding |
US9503733B2 (en) | 2013-04-10 | 2016-11-22 | ARRIS Enterprises, LLC | Re-sampling with phase offset adjustment for luma and chroma to signal adaptive filters in scalable video coding |
US10015515B2 (en) | 2013-06-21 | 2018-07-03 | Qualcomm Incorporated | Intra prediction from a predictive block |
EP2843949B1 (en) | 2013-06-28 | 2020-04-29 | Velos Media International Limited | Methods and devices for emulating low-fidelity coding in a high-fidelity coder |
US9648330B2 (en) * | 2013-07-15 | 2017-05-09 | Qualcomm Incorporated | Inter-color component residual prediction |
KR101869882B1 (ko) | 2013-10-11 | 2018-06-25 | 브이아이디 스케일, 인크. | Hevc 확장을 위한 하이 레벨 구문 |
US9648332B2 (en) | 2013-10-28 | 2017-05-09 | Qualcomm Incorporated | Adaptive inter-color component residual prediction |
US10397607B2 (en) | 2013-11-01 | 2019-08-27 | Qualcomm Incorporated | Color residual prediction for video coding |
WO2015100522A1 (en) | 2013-12-30 | 2015-07-09 | Mediatek Singapore Pte. Ltd. | Methods for inter-component residual prediction |
US11070810B2 (en) | 2014-03-14 | 2021-07-20 | Qualcomm Incorporated | Modifying bit depths in color-space transform coding |
KR20160132857A (ko) | 2014-03-14 | 2016-11-21 | 삼성전자주식회사 | 스케일러블 비디오 부호화/복호화 방법 및 장치 |
US9930348B2 (en) | 2014-03-14 | 2018-03-27 | Qualcomm Incorporated | Coefficient level coding in a video coding process |
US10142642B2 (en) | 2014-06-04 | 2018-11-27 | Qualcomm Incorporated | Block adaptive color-space conversion coding |
US10200700B2 (en) | 2014-06-20 | 2019-02-05 | Qualcomm Incorporated | Cross-component prediction in video coding |
US20150373350A1 (en) | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Temporal motion vector prediction (tmvp) indication in multi-layer codecs |
JP2017531382A (ja) * | 2014-09-12 | 2017-10-19 | ヴィド スケール インコーポレイテッド | ビデオ符号化のための成分間相関解除 |
US9918105B2 (en) * | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
US20170244975A1 (en) | 2014-10-28 | 2017-08-24 | Mediatek Singapore Pte. Ltd. | Method of Guided Cross-Component Prediction for Video Coding |
US9998742B2 (en) | 2015-01-27 | 2018-06-12 | Qualcomm Incorporated | Adaptive cross component residual prediction |
DE202016009107U1 (de) | 2015-02-19 | 2022-04-27 | Magic Pony Technology Limited | Visuelle Verarbeitung durch zeitliche und räumliche Interpolation |
US10455249B2 (en) | 2015-03-20 | 2019-10-22 | Qualcomm Incorporated | Downsampling process for linear model prediction mode |
GB201603144D0 (en) | 2016-02-23 | 2016-04-06 | Magic Pony Technology Ltd | Training end-to-end video processes |
WO2016164235A1 (en) | 2015-04-06 | 2016-10-13 | Dolby Laboratories Licensing Corporation | In-loop block-based image reshaping in high dynamic range video coding |
WO2016167538A1 (ko) | 2015-04-12 | 2016-10-20 | 엘지전자(주) | 비디오 신호의 인코딩, 디코딩 방법 및 그 장치 |
US20180167615A1 (en) | 2015-06-07 | 2018-06-14 | Sharp Kabushiki Kaisha | Systems and methods for optimizing video coding based on a luminance transfer function or video color component values |
TWI764870B (zh) | 2015-07-28 | 2022-05-21 | 法商內數位麥德遜專利控股有限公司 | 視訊訊號處理裝置及方法 |
WO2017053432A1 (en) | 2015-09-21 | 2017-03-30 | Vid Scale, Inc. | Inverse reshaping for high dynamic range video coding |
US20170105014A1 (en) | 2015-10-08 | 2017-04-13 | Qualcomm Incorporated | Luma-driven chroma scaling for high dynamic range and wide color gamut contents |
JP2017538381A (ja) | 2015-10-09 | 2017-12-21 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | ビデオ符号化における成分間予測 |
US20170150176A1 (en) | 2015-11-25 | 2017-05-25 | Qualcomm Incorporated | Linear-model prediction with non-square prediction units in video coding |
EP3414901A4 (en) | 2016-02-08 | 2018-12-26 | Sharp Kabushiki Kaisha | Systems and methods for transform coefficient coding |
GB2548358A (en) | 2016-03-15 | 2017-09-20 | Nokia Technologies Oy | A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video |
US10455228B2 (en) | 2016-03-21 | 2019-10-22 | Qualcomm Incorporated | Determining prediction parameters for non-square blocks in video coding |
EP3433833B1 (en) | 2016-03-23 | 2021-07-07 | Dolby Laboratories Licensing Corporation | Encoding and decoding reversible production-quality single-layer video signals |
CN109417620B (zh) | 2016-03-25 | 2021-04-27 | 松下知识产权经营株式会社 | 用于使用信号依赖型自适应量化将运动图像编码及解码的方法及装置 |
JP6846442B2 (ja) | 2016-05-19 | 2021-03-24 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ画像のためのクロマ再構成 |
WO2017201139A1 (en) | 2016-05-19 | 2017-11-23 | Dolby Laboratories Licensing Corporation | Chroma reshaping for high dynamic range images |
CN112689147B (zh) | 2016-05-28 | 2023-10-13 | 寰发股份有限公司 | 视频数据处理方法以及装置 |
CN109076210B (zh) | 2016-05-28 | 2021-04-09 | 联发科技股份有限公司 | 视频编解码方法和装置 |
US10484712B2 (en) | 2016-06-08 | 2019-11-19 | Qualcomm Incorporated | Implicit coding of reference line index used in intra prediction |
US10390015B2 (en) | 2016-08-26 | 2019-08-20 | Qualcomm Incorporated | Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction |
US10419757B2 (en) | 2016-08-31 | 2019-09-17 | Qualcomm Incorporated | Cross-component filter |
EP3510772B1 (en) | 2016-09-09 | 2020-12-09 | Dolby Laboratories Licensing Corporation | Coding of high dynamic range video using segment-based reshaping |
US10652575B2 (en) | 2016-09-15 | 2020-05-12 | Qualcomm Incorporated | Linear model chroma intra prediction for video coding |
JP2018056685A (ja) | 2016-09-27 | 2018-04-05 | 株式会社ドワンゴ | 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム |
CN109804625A (zh) | 2016-10-04 | 2019-05-24 | 韩国电子通信研究院 | 对图像编码/解码的方法和装置及存储比特流的记录介质 |
US10477240B2 (en) | 2016-12-19 | 2019-11-12 | Qualcomm Incorporated | Linear model prediction mode with sample accessing for video coding |
US10873746B2 (en) | 2016-12-21 | 2020-12-22 | Sharp Kabushiki Kaisha | Intra prediction image generation device using cross-component liner model, image decoding apparatus, and image coding apparatus using same |
JP2020031252A (ja) | 2016-12-22 | 2020-02-27 | シャープ株式会社 | 画像復号装置及び画像符号化装置 |
US20180199062A1 (en) | 2017-01-11 | 2018-07-12 | Qualcomm Incorporated | Intra prediction techniques for video coding |
US11025903B2 (en) | 2017-01-13 | 2021-06-01 | Qualcomm Incorporated | Coding video data using derived chroma mode |
US10694181B2 (en) | 2017-01-27 | 2020-06-23 | Qualcomm Incorporated | Bilateral filters in video coding with reduced complexity |
EP3386198A1 (en) | 2017-04-07 | 2018-10-10 | Thomson Licensing | Method and device for predictive picture encoding and decoding |
WO2018236031A1 (ko) | 2017-06-21 | 2018-12-27 | 엘지전자(주) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
CN117793378A (zh) | 2017-06-29 | 2024-03-29 | 杜比实验室特许公司 | 整合的图像整形和视频编码 |
EP3425911A1 (en) | 2017-07-06 | 2019-01-09 | Thomson Licensing | A method and a device for picture encoding and decoding |
US10778978B2 (en) | 2017-08-21 | 2020-09-15 | Qualcomm Incorporated | System and method of cross-component dynamic range adjustment (CC-DRA) in video coding |
WO2019054200A1 (ja) | 2017-09-15 | 2019-03-21 | ソニー株式会社 | 画像処理装置および方法 |
JP2021010046A (ja) | 2017-10-06 | 2021-01-28 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
US20190116376A1 (en) | 2017-10-12 | 2019-04-18 | Qualcomm Incorporated | Motion vector predictors using affine motion model in video coding |
CN117097903A (zh) | 2018-02-14 | 2023-11-21 | 杜比实验室特许公司 | 在视频编码中利用率失真优化进行图像再成形 |
US11190790B2 (en) | 2018-04-01 | 2021-11-30 | Lg Electronics Inc. | Parallel processing method for color component of video signal, and device therefor |
CN109005408B (zh) | 2018-08-01 | 2020-05-29 | 北京奇艺世纪科技有限公司 | 一种帧内预测方法、装置及电子设备 |
GB2590844B (en) | 2018-08-17 | 2023-05-03 | Beijing Bytedance Network Tech Co Ltd | Simplified cross component prediction |
CN110896480A (zh) | 2018-09-12 | 2020-03-20 | 北京字节跳动网络技术有限公司 | 交叉分量线性模型中的尺寸相关的下采样 |
SG11202104480RA (en) | 2018-11-05 | 2021-05-28 | Beijing Bytedance Network Technology Co Ltd | Interpolation for inter prediction with refinement |
KR20210089133A (ko) | 2018-11-06 | 2021-07-15 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 인트라 예측에 대한 단순화된 파라미터 유도 |
CA3121671A1 (en) | 2018-12-07 | 2020-06-11 | Beijing Bytedance Network Technology Co., Ltd. | Context-based intra prediction |
CN113273213A (zh) | 2018-12-31 | 2021-08-17 | 韩国电子通信研究院 | 图像编码/解码方法和设备以及存储比特流的记录介质 |
CN113994668A (zh) | 2019-02-01 | 2022-01-28 | 北京字节跳动网络技术有限公司 | 基于环路整形的滤波过程 |
SG11202109131PA (en) | 2019-02-22 | 2021-09-29 | Huawei Tech Co Ltd | Method and apparatus for affine based inter prediction of chroma subblocks |
JP2022521698A (ja) | 2019-02-22 | 2022-04-12 | 北京字節跳動網絡技術有限公司 | イントラ予測のための隣接サンプル選択 |
CA3128769C (en) | 2019-02-24 | 2023-01-24 | Beijing Bytedance Network Technology Co., Ltd. | Parameter derivation for intra prediction |
EP3703366A1 (en) | 2019-02-28 | 2020-09-02 | InterDigital VC Holdings, Inc. | Method and device for picture encoding and decoding |
BR112021013611A2 (pt) | 2019-02-28 | 2021-09-14 | Interdigital Vc Holdings, Inc. | Método e dispositivo para codificação e decodificação de imagens |
JP2022523925A (ja) * | 2019-03-04 | 2022-04-27 | アリババ グループ ホウルディング リミテッド | 映像コンテンツを処理するための方法及びシステム |
CN117560509A (zh) | 2019-03-04 | 2024-02-13 | 北京字节跳动网络技术有限公司 | 视频处理中滤波信息的两级信令 |
US20200288159A1 (en) * | 2019-03-08 | 2020-09-10 | Qualcomm Incorporated | Combined residual coding in video coding |
JP7277599B2 (ja) | 2019-03-08 | 2023-05-19 | 北京字節跳動網絡技術有限公司 | 映像処理におけるモデルベース再整形に対する制約 |
US20200288126A1 (en) * | 2019-03-08 | 2020-09-10 | Qualcomm Incorporated | Reshaping filter average calculation for video coding |
CN113574889B (zh) | 2019-03-14 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 环路整形信息的信令和语法 |
US11582454B2 (en) | 2019-03-25 | 2023-02-14 | Hfi Innovation Inc. | Method and apparatus of the quantization matrix computation and representation for video coding |
US20220217405A1 (en) | 2019-04-03 | 2022-07-07 | Lg Electronics Inc. | Video or image coding for modifying reconstructed picture |
WO2020211869A1 (en) | 2019-04-18 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Parameter derivation in cross component mode |
CN113711604B (zh) | 2019-04-20 | 2023-10-27 | 北京字节跳动网络技术有限公司 | 视频编解码中色度和亮度语法元素的信令 |
EP3935855A4 (en) | 2019-04-23 | 2022-09-21 | Beijing Bytedance Network Technology Co., Ltd. | METHOD OF CROSS-COMPONENT DEPENDENCE REDUCTION |
CN111866510A (zh) | 2019-04-30 | 2020-10-30 | 华为技术有限公司 | 视频序列的帧内预测方法及装置 |
KR102641796B1 (ko) | 2019-05-08 | 2024-03-04 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 교차-성분 코딩의 적용가능성에 대한 조건들 |
WO2020231139A1 (ko) | 2019-05-16 | 2020-11-19 | 엘지전자 주식회사 | 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩 |
US11388406B2 (en) | 2019-05-20 | 2022-07-12 | Dolby Laboratories Licensing Corporation | Piece-wise-linear mapping for in-loop reshaping in image coding |
JP2021002780A (ja) | 2019-06-21 | 2021-01-07 | シャープ株式会社 | 動画像復号装置および動画像符号化装置 |
KR20220024006A (ko) | 2019-06-22 | 2022-03-03 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 크로마 잔차 스케일링을 위한 신택스 요소 |
JP7460748B2 (ja) | 2019-07-07 | 2024-04-02 | 北京字節跳動網絡技術有限公司 | クロマ残差スケーリングのシグナリング |
JP2022539887A (ja) | 2019-07-11 | 2022-09-13 | 北京字節跳動網絡技術有限公司 | 映像符号化におけるイントラブロックコピーのためのビットストリーム適合性の制約 |
WO2021201515A1 (ko) | 2020-04-02 | 2021-10-07 | 엘지전자 주식회사 | Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체 |
US11601657B2 (en) | 2020-04-02 | 2023-03-07 | Qualcomm Incorporated | LUMA mapping with chroma scaling (LMCS) in video coding |
US11375212B2 (en) | 2020-04-18 | 2022-06-28 | Qualcomm Incorporated | Flexible chroma processing for dynamic range adjustment |
WO2021256107A1 (ja) | 2020-06-15 | 2021-12-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラム |
US20210400257A1 (en) | 2020-06-18 | 2021-12-23 | Lg Electronics Inc. | Image encoding/decoding method and apparatus for signaling high level information for tool control based on colour representation format, and computer-readable recording medium strong bitstream |
WO2022115698A1 (en) | 2020-11-30 | 2022-06-02 | Beijing Dajia Internet Information Technology Co., Ltd. | Chroma coding enhancement in cross-component sample adaptive offset |
-
2020
- 2020-07-07 JP JP2022500709A patent/JP7460748B2/ja active Active
- 2020-07-07 CN CN202080049914.0A patent/CN114128280B/zh active Active
- 2020-07-07 EP EP20836333.3A patent/EP3977738A4/en active Pending
- 2020-07-07 WO PCT/CN2020/100573 patent/WO2021004445A1/en unknown
- 2020-07-07 CN CN202311354527.XA patent/CN117395396A/zh active Pending
-
2022
- 2022-01-03 US US17/567,717 patent/US11533487B2/en active Active
- 2022-10-31 US US17/977,471 patent/US11956439B2/en active Active
-
2023
- 2023-12-07 JP JP2023207153A patent/JP2024019443A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009050889A1 (ja) | 2007-10-15 | 2009-04-23 | Panasonic Corporation | 映像復号方法及び映像符号化方法 |
WO2018016381A1 (en) | 2016-07-22 | 2018-01-25 | Sharp Kabushiki Kaisha | Systems and methods for coding video data using adaptive component scaling |
Non-Patent Citations (4)
Also Published As
Publication number | Publication date |
---|---|
KR20220029594A (ko) | 2022-03-08 |
WO2021004445A1 (en) | 2021-01-14 |
CN114128280A (zh) | 2022-03-01 |
US20230096945A1 (en) | 2023-03-30 |
JP2022540117A (ja) | 2022-09-14 |
EP3977738A1 (en) | 2022-04-06 |
JP2024019443A (ja) | 2024-02-09 |
US11533487B2 (en) | 2022-12-20 |
US20220124340A1 (en) | 2022-04-21 |
EP3977738A4 (en) | 2022-08-17 |
US11956439B2 (en) | 2024-04-09 |
CN114128280B (zh) | 2023-11-14 |
CN117395396A (zh) | 2024-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7460748B2 (ja) | クロマ残差スケーリングのシグナリング | |
JP7418478B2 (ja) | クロマ残差スケーリングのためのシンタックス要素 | |
JP7302009B2 (ja) | クロスコンポーネントモードの利用可能性に対する制約 | |
JP7407206B2 (ja) | クロスコンポーネントコーディングの適用条件 | |
JP7317991B2 (ja) | クロスコンポーネント依存性を低減するための方法 | |
US20230016377A1 (en) | Techniques for modifying quantization parameter in transform skip mode | |
CN114208174B (zh) | 预测过程中的调色板模式编解码 | |
JP2024003124A (ja) | 行列ベースイントラ予測における制約されたアップサンプリングプロセス | |
US20220078410A1 (en) | Chroma intra mode derivation in screen content coding | |
CN113632462A (zh) | 默认的环内整形参数 | |
JP7401689B2 (ja) | インループフィルタリングと映像タイルとの間の相互作用 | |
JPWO2020216246A5 (ja) | ||
KR102660738B1 (ko) | 크로마 잔차 스케일링의 시그널링 | |
KR102660668B1 (ko) | 크로스 컴포넌트 의존성 감소를 위한 방법들 | |
JP2023521119A (ja) | ビデオコーディングにおけるスキップブロックの変換のための最小許容量子化 | |
CN117716690A (zh) | 自适应双边滤波器的使用条件 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230501 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231207 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240321 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7460748 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |