JP7460748B2 - クロマ残差スケーリングのシグナリング - Google Patents

クロマ残差スケーリングのシグナリング Download PDF

Info

Publication number
JP7460748B2
JP7460748B2 JP2022500709A JP2022500709A JP7460748B2 JP 7460748 B2 JP7460748 B2 JP 7460748B2 JP 2022500709 A JP2022500709 A JP 2022500709A JP 2022500709 A JP2022500709 A JP 2022500709A JP 7460748 B2 JP7460748 B2 JP 7460748B2
Authority
JP
Japan
Prior art keywords
video
block
luma
chroma
scaling factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022500709A
Other languages
English (en)
Other versions
JP2022540117A (ja
Inventor
デン,ジピン
ザン,リー
リュウ,ホンビン
ザン,カイ
シュイ,ジィジォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022540117A publication Critical patent/JP2022540117A/ja
Priority to JP2023207153A priority Critical patent/JP2024019443A/ja
Application granted granted Critical
Publication of JP7460748B2 publication Critical patent/JP7460748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Description

の出願は、2019年7月7日に出願された国際特許出願第PCT/CN2019/094964号の優先権および利益を主張する国際出願第PCT/CN2020/100573号に基づく。すべての前述の特許願は、全体として参照により本明細書に組み込まれる。
本特許文書は、ビデオおよび画像コーディング/復号技術、デバイスおよびシステムに関する。
ビデオ圧縮の進歩にもかかわらず、デジタルビデオは、依然として、インターネットおよび他のデジタル通信ネットワークにおける最大の帯域幅使用を占めている。ビデオを受信および表示することが可能な接続ユーザデバイスの数が増加するにつれて、デジタルビデオの利用に対する帯域幅需要は増加し続けることが予想される。
ディジタルビデオコーディングに関係するデバイス、システムおよび方法、具体的には、ビデオコーディングにおけるクロスコンポーネント線形モデル(cross-component linear model、CCLM)予測モードのための単純化された線形モデル導出が記載される。記載された方法は、既存のビデオコーディング標準(たとえば、HEVC(High Efficiency Video Coding))および将来のビデオコーディング標準(たとえば、VVC(Versatile Video Coding))またはコーデックの両方に適用され得る。
1つの代表的な態様では、開示された技術は、ビデオ処理のための方法を提供するために使用され得る。本方法は、ビジュアルメディアデータの現在のビデオユニットと現在のビデオユニットのビットストリーム表現との間の変換を実行することを含み、ビットストリーム表現は、フォーマット規則にしたがって構成されており、フォーマット規則は、現在のビデオユニットをコーディングするためにクロマ残差がスケーリングされるスケーリングファクタを示す1つ以上の構文要素がビットストリーム表現に選択的に含まれるビデオセグメントのレベルを指定する。
1つの代表的な態様では、開示された技術は、ビデオ処理のための方法を提供するために使用され得る。本方法は、1つ以上のビデオブロックを含む1つ以上のビデオ領域を含むビジュアルメディアデータと、ビジュアルメディアデータのビットストリーム表現との間で変換を実行することを含み、ビットストリーム表現がフォーマット規則に適合し(conforms to)、フォーマット規則は、ビデオ領域内の1つ以上のビデオブロックが、変換のルマ依存クロマ残留スケーリングステップにおいて、同じクロマスケーリングファクタを有することを指定する。
1つの代表的な態様では、開示された技術は、ビデオ処理のための方法を提供するために使用され得る。本方法は、ビジュアルメディアデータの現在のビデオユニットとビジュアルメディアデータのビットストリーム表現との間の変換を実行することを含み、ビットストリーム表現は、現在のビデオユニットの変換のクロマ残差スケーリングステップに関連するスケーリングファクタを示すビットストリーム表現における1つ以上の構文要素がビットストリーム表現において予測的にコーディングされることを指定するフォーマット規則に適合する。
さらに別の代表的な態様では、上述の方法は、プロセッサ実行可能コードの形態で具体化され、コンピュータ可読プログラム媒体に記憶される。
さらに別の代表的な態様では、上述の方法を実行するように構成または動作可能なデバイスが開示される。デバイスは、この方法を実装するようにプログラムされたプロセッサを含み得る。
さらに別の例示的な態様では、上述の方法を実装するように構成されているプロセッサを含むビデオ符号化および/または復号装置が開示される。
さらに別の例示的な態様では、コンピュータ可読媒体が開示される。コンピュータ可読媒体は、上述の方法のうちの1つを具体化するプロセッサ実行可能コードを記憶する。
開示された技術の上記の態様および特徴は、図面、明細書および特許請求の範囲により詳細に記載されている。
HEVCにおけるangularイントラ予測モードの一例を示す。
HEVCではない方向モードの例を示す。
CCLMモードに関連する一例を示す。
クロマスケーリングアーキテクチャによるルママッピングの一例を示す。
ルマブロックとクロマブロックの異なる色フォーマットの一例を示す。
ルマブロックとクロマブロックの同じ色フォーマットの一例を示す。
複数のフォーマットをカバーする並置されたルマブロックの一例を示す。
より大きなルマブロック内のルマブロックの一例を示す。
より大きなルマブロック内および境界ボックス内のルマブロックの一例を示す。
本文書に記載されたビジュアルメディア復号またはビジュアルメディア符号化技術を実装するためのハードウェアプラットフォームの一例のブロック図である。
開示された技術に従った、クロスコンポーネント予測のための線形モデル導出のための例示的な方法のフローチャートを示す。
開示された技術を実装することができる例示的なビデオ処理システムのブロック図である。
視覚的媒体処理の例示的な方法のためのフローチャートである。
視覚的媒体処理の例示的な方法のためのフローチャートである。
視覚的媒体処理の例示的な方法のためのフローチャートである。
2.1 HEVCに対する簡単なレビュー
2.1.1 HEVC/H.265におけるイントラ予測
イントラ予測は、考慮された色チャネルで以前に再構成されたサンプルを使用して、与えられたTB(transform block)に対するサンプルを生成することを伴う。イントラ予測モードはルマチャネルとクロマチャネルに対して別々にシグナリングされ、クロマチャネルイントラ予測モードは、「DM_CHROMA」モードを介してルマチャネルイントラ予測モードに任意選択で依存する。イントラ予測モードはPB(prediction block)レベルでシグナリングされるが、CUの残りのクワッドツリー階層にしたがってイントラ予測プロセスは、TBレベルで適用され、それにより1つのTBのコーディングがCU内の次のTBのコーディングに影響することを可能にし、したがって基準値として使用されるサンプルまでの距離を短縮する。
HEVCは、DCモード、Planarモード、および33の指向性または「angular」イントラ予測モードの35のイントラ予測モードを含む。33のangularイントラ予測モードが図1に示されている。
クロマ色チャネルに関連するPBに対しては、イントラ予測モードは、Planar、DC、水平、垂直、「DM_CHROMA」モード、または時には対角モード「34」のいずれかで指定される。
クロマフォーマット4:2:2および4:2:0に対して、クロマPBは(それぞれ)2つまたは4つのルマPBと重複してもよく、この場合、DM_CHROMAのルマ方向はこれらのルマPBの左上から取られる。
DM_CHROMAモードは、ルマ色チャネルPBのイントラ予測モードがクロマ色チャネルPBに適用されることを示す。これは比較的一般的なので、intra_chroma_pred_modeの最確モードコーディングスキームは、このモードが選択される方を支持してバイアスされる。
2.2 VVC(Versatile Video Coding)アルゴリズムの説明
2.2.1 VVCコーディングアーキテクチャ
HEVCを越えた将来のビデオコーディング技術を探求するため、2015年にVCEGとMPEGによってJVET(Joint Video Exploration Team)が設立された。JVETミーティングは四半期に1回開催されており、新たなコーディング標準は、HEVCと比較して50%のビットレート低減をターゲットにしている。新しいビデオコーディング標準は、2018年4月のJVETミーティングでVVC(Versatile Video Coding)として正式に命名され、その時にVVCテストモデル(VTM)の最初のバージョンがリリースされた。VVC標準化に寄与する継続的な努力が行われているため、JVETミーティング毎に新しいコーディング技術がVVC標準に採択されている。VVCワーキングドラフトおよびテストモデルVTMは、その後毎回ミーティング後に更新される。VVCプロジェクトは現在、2020年7月のミーティングで技術的完成(FDIS)を目指している。
これまでのほとんどの標準と同様に、VVCは、インターピクチャおよびイントラピクチャ予測および変換コーディングとエントロピーコーディングを組み合わせたブロックベースのハイブリッドコーディングアーキテクチャを有している。ピクチャパーティショニング構造は、入力ビデオをコーディングツリーユニット(CTU)と呼ばれるブロックに分割する。CTUは、同じ予測モード(たとえば、イントラまたはインター)を共有する領域を定義するリーフコーディングユニット(CU)を有するコーディングユニット(CU)に、ネスト化されたマルチタイプツリー構造を有する四分木を使用してスプリットされる。本文書では、用語「ユニット」は、すべての色コンポーネントをカバーする画像の領域を定義し、用語「ブロック」は、特定の色コンポーネント(たとえばルマ)をカバーする領域を定義するために使用され、4:2:0のようなクロマサンプリング形式を考慮するときには、空間的位置が異なることがある。
2.2.2 VVCのデュアル/セパレートツリーパーティション
ルマコンポーネントとクロマコンポーネントは、Iスライスに対して別個のパーティションツリーを有することができる。別々のツリーパーティショニングは、CTUレベルではなく、64×64ブロックレベル未満である。VTMソフトウェアでは、デュアルツリーのオンとオフを制御するSPSフラグがある。
2.2.3 VVCにおけるイントラ予測
2.2.3.1 67イントラ予測モード
ナチュラルビデオで提示された任意のエッジ方向を捕捉するために、VTM4における方向イントラモードの数は、HEVCで使用されるように33から65に拡張される。HEVCにおけるものではない新しい方向モードは、図2において点線の矢印として示され、平面モードおよびDCモードは、同じままである。これらのより高密度の指向性イントラ予測モードは、すべてのブロックサイズおよびルマとクロマイントラ予測の両方に適用される。
2.2.3.2 クロスコンポーネント線形モデル予測(CCLM)
クロスコンポーネント冗長性を低減するために、CCLM(cross-component linear model)予測モードが、VTM4において使用され、これに対して、クロマサンプルは、以下のような線形モデルを使用して同じCUの再構成されたルマサンプルに基づいて予測される:
Figure 0007460748000001
ここで、pred(i,j)は、CU内の予測されるクロマサンプルを表し、rec(i,j)は、同じCUのダウンサンプリングされた再構成されたルマサンプルを表す。
線形モデルパラメータαおよびβは、2つのサンプルからのルマ値とクロマ値の関係から導出され、2つのサンプルは、最小サンプル値とダウンサンプリングされた近隣のルマサンプルのセット内の最大サンプルを有するルマサンプルと、対応するクロマサンプルである。
線形モデルパラメータαとβは、以下の式にしたがって取得される。
Figure 0007460748000002
ここで、YとXは、最大のルマサンプル値を有するルマサンプルのルマ値とクロマ値を表す。また、XとYは、それぞれ最小ルマサンプルを有するルマサンプルのルマ値とクロマ値を表す。図3は、左および上のサンプルの位置とCCLMモードに関与する現在のブロックのサンプルの例を示す。
パラメータαを計算する除算演算は、ルックアップテーブルを用いて実装される。テーブルの記憶に必要なメモリを低減するために、diff値(最大値と最小値の差)とパラメータαを指数表記で表される。たとえば、diffは、4ビットの有効部分と指数を用いて近似される。したがって、1/diffに対する表は、以下のように仮数の16個の値に対して16個の要素に低減される。
Figure 0007460748000003
これは、計算の複雑さと、必要なテーブルを記憶するのに必要なメモリサイズの両方を低減する利点を有する。
上記のテンプレートと左テンプレートを使用して線形モデル係数を計算することができるほか、LM_AモードとLM_Lモードと呼ばれる他の2つのLMモードでもこれらを使用することができる。
LM_Aモードでは、上記のテンプレートのみを使用して線形モデル係数を計算する。より多くのサンプルを得るために、上記のテンプレートを(W+H)に拡張する。LM_Lモードでは、左テンプレートのみを使用して線形モデル係数を計算する。より多くのサンプルを得るために、左テンプレートを(H+W)に拡張する。
非四角ブロックの場合、上記のテンプレートをW+Wに拡張し、左のテンプレートはH+Hに拡張する。
4:2:0ビデオシーケンスのクロマサンプル位置に合わせるために、2タイプのダウンサンプリングフィルタをルマサンプルに適用し、水平方向と垂直方向の両方で2対1のダウンサンプリング比を達成する。ダウンサンプリングフィルタの選択は、SPSレベルフラグによって指定される。2つのダウンサンプリングフィルタは、以下の通りであり、これらは、それぞれ「type-0」と「type-2」のコンテンツに対応している。
Figure 0007460748000004
上限基準線がCTU境界にあるときに、ダウンサンプリングされたルマサンプルを作成するためには、1つのルマライン(イントラ予測における一般的なラインバッファ)のみが使用されることに留意する。
このパラメータ計算は、復号プロセスの一部として実行され、単に符号化器探索演算として実行されるだけではない。その結果、αとβの値を復号器に搬送するための構文は使用されない。
クロマイントラモードコーディングの場合、クロマイントラモードコーディングに合計8つのイントラモードが許容されている。これらのモードは、5つの従来のイントラモードと3つのクロスコンポーネント線形モデルモード(CCLM、LM_AおよびLM_L)を含む。クロマモードコーディングは、対応するルマブロックのイントラ予測モードに直接依存する。Iスライスではルマコンポーネントとクロマコンポーネントの別個のブロックパーティショニング構造が有効であるため、1つのクロマブロックが複数のルマブロックに対応することがある。したがって、クロマDMモードでは、現在のクロマブロックの中心位置をカバーする対応するルマブロックのイントラ予測モードが直接継承される。
2.2.3.2.1 対応する修正ワーキングドラフト(JVET-N0271)
以下の仕様は、JVET-M1001の修正ワーキングドラフトおよびJVET-N0271の採択に基づく。採択されたJVET-N0220の修正を太字と下線で示す。
(外1)
Figure 0007460748000005
Figure 0007460748000006
Figure 0007460748000007
Figure 0007460748000008
Figure 0007460748000009
Figure 0007460748000010
Figure 0007460748000011
Figure 0007460748000012
Figure 0007460748000013
Figure 0007460748000014
2.2.3.3 その他のイントラ予測態様
VTM4は、HEVCとは異なる多くのイントラコーディングツールを含み、たとえば、以下の特徴が、ボックツリー構造の上のVVCテストモデル3に含まれている。
・ ワイドアングルモード拡張を有する67イントラモード、
・ ブロックサイズおよびモード依存4タップ補間フィルタ
・ 位置依存型イントラ予測結合(PDPC)
・ クロスコンポーネント線形モデルイントラ予測
・ 複数の参照線イントラ予測
・ イントラサブパーティション
2.2.4 VVCにおけるインター予測
2.2.4.1 CIIP(Combinedinter and intra prediction)
VTM4では、CUがマージモードでコーディングされるとき、CUが少なくとも64ルマサンプル(すなわち、CU幅×CU高さが64以上)を含む場合、結合されたインター/イントラ予測(CIIP)モードが現在のCUに適用されるかどうかを示すために追加フラグがシグナリングされる。
CIIP予測を形成するために、イントラ予測モードを最初に2つの追加構文要素から導出される。DC、planar、水平、または垂直の4つまでの可能なイントラ予測モードを使用することができる。次いで、通常のイントラおよびインター復号プロセスを使用して、インター予測およびイントラ予測信号が導出される。最後に、CIIP予測を取得するために、インターおよびイントラ予測信号の加重平均を実行する。
2.2.4.2 その他のインター予測態様
VTM4は、HEVCとは異なる多くのコーディングツールを含み、たとえば、以下の特徴が、ボックツリー構造の上のVVCテストモデル3に含まれている。
・ アフィン動きインター予測
・ サブブロックベースの時間的動きベクトル予測
・ 適応動きベクトル分解能
・ 時間的動き予測のための8×8ブロックベースの運動圧縮
・ 高精度(1/16pel)動きベクトル記憶と、ルマコンポーネントの8タップ補間フィルタとクロマコンポーネントの4タップ補間フィルタによる動き補正
・ 三角パーティション
・ 結合イントラおよびインター予測
・ MMVD(Merge with MVD)
・ 対称MVDコーディング
・ 双方向オプティカルフロー
・ 復号器側動きベクトル精密化
・ 双予測加重平均
2.2.5 ループ内フィルタ
VTM4では、ループ内フィルタが合計3つある。ブロック解除フィルタとSAO(HEVCにおける2つのループフィルタ)の他に、適応ループフィルタ(ALF)がVTM4に適用される。VTM4におけるフィルタリングプロセスの順序は、ブロック解除フィルタ、SAOおよびALFである。
VTM4では、SAOとブロック解除フィルタリングプロセスはHEVCにおけるものとほぼ同じである。
VTM4では、クロマスケーリングによるルママッピングと呼ばれる新しいプロセスが追加された(このプロセスは、以前は適応ループ内リシェイパーとして知られていた)。この新しいプロセスは、ブロック解除の前に実行される。
2.2.6 LMCS(Luma mapping with chroma scaling、ループ内リシェイプとしても知られる)
VTM4では、LMCS(luma mapping with chroma scaling)と呼ばれるコーディングツールが、ループフィルタの前に新しい処理ブロックとして追加される。LMCSは、1)適応区分線形モデルに基づくルマコンポーネントのループ内マッピング、2)クロマコンポーネントに対してルマ依存クロマ残差スケーリングが適用される、という2つの主要なコンポーネントを有する。図4は、復号器の視点からのLMCSアーキテクチャを示す。図4の点線の影付きブロックは、処理がマップされたドメインのどこに適用されるかを示し、これらには、逆量子化、逆変換、ルマイントラ予測とルマ残差の加算を含む。図4の影のないブロックは、処理が元の(すなわち、マッピングされていない)ドメインにおいて適用されるところを示し、これらは、ブロック解除、ALF、およびSAOなどのループフィルタ、動き補償予測、クロマイントラ予測、クロマ予測とクロマ残差の加算、および参照ピクチャとして復号されたピクチャの記憶を含む。図4のクロスハッチングされた影付きブロックは、ルマ信号の順方向および逆方向マッピング、並びにルマ依存クロマスケーリングプロセスを含む新しいLMCS機能ブロックである。VVCにおける他の大部分のツールと同様に、LMCSは、SPSフラグを使用してシーケンスレベルで有効/無効にすることができる。
2.2.6.1 区分線形モデルによるルママッピング
ルマコンポーネントのループ内マッピングは、圧縮効率を改善するために、ダイナミックレンジにわたってコードワードを再配分することによって入力信号のダイナミックレンジを調整する。ルママッピングは、順方向マッピング関数FwdMapと対応する逆方向マッピング関数InvMapを利用する。FwdMap関数は、16の等しいピースの区分線形モデルを使用してシグナリングされる。InvMap関数はシグナリングされる必要はなく、代わりにFwdMap関数から導出される。
ルママッピングモデルは、タイルグループレベルでシグナリングされる。存在フラグが、最初にシグナリングされる。ルママッピングモデルが現在のタイルグループに存在する場合、対応する区分線形モデルパラメータがシグナリングされる。区分線形モデルは、入力信号のダイナミックレンジを16の等しいピースにパーティショニングし、各ピースに対して、その線形マッピングパラメータは、そのピースに割り当てられたコードワードの数を使用して表現される。10ビット入力を例にとる。16のピースの各々は、デフォルトでそれに割り当てられた64コードワードを有する。シグナリングされるコードワード数は、スケーリングファクタを計算し、そのピースに対してそれに応じてマッピング関数を調整するために使用される。タイルグループレベルでは、別のLMCS有効フラグが、図4に示されるようなLMCSプロセスが現在のタイルグループに適用されるかどうかを示すためにシグナリングされる。
FwdMap区分線形モデルの各i(i=0...15)番目のピースは、2つの入力ピボット点InputPivot[]と2つの出力(マッピングされた)ピボット点MappedPivot[]によって定義される。
InputPivot[]とMappedPivot[]は、(10ビットビデオを想定して)以下のように計算される。
1) OrgCW=64
2) i=0:16に対して、InputPivot[i]=i*OrgCW
3) i=0:16に対して、MappedPivot[i]は以下のように計算される。

MappedPivot[0]=0;
for(i=0;i<16;i++)
MappedPivot[i+1]=MappedPivot[i]+SignalledCW[i]
ここで、SignaledCW[i]は、i番目のピースに対するシグナリングされるコードワード数である。
図4に示すように、インターコーディングされたブロックに対して、動き補償予測がマップされたドメインにおいて実行される。言い換えれば、DPBの参照信号に基づいて動き補償予測ブロックYpredが計算された後、FwdMap関数
Figure 0007460748000015
を適用して元のドメインのルマ予測ブロックをマップされたドメインにマップする。イントラコーディングされたブロックでは、マップされたドメインでイントラ予測が実行されるため、FwdMap関数は適用されない。再構成されたブロックYが計算された後、InvMap関数
Figure 0007460748000016
を適用して、マップされたドメインにおいて再構成されたルマ値を元のドメインにおける再構成されたルマ値に戻すように変換する。InvMap関数は、イントラおよびインタールマブロックの両方に適用される。
ルママッピングプロセス(順方向および/または逆方向マッピング)は、ルックアップテーブル(LUT)またはオンザフライ計算のいずれかを使用して実装することができる。LUTが使用される場合、FwdMapLUTおよびInvMapLUTは、タイルグループレベルでの使用のために、予め計算され、予め記憶することが可能であり、順方向および逆方向のマッピングは、それぞれ
Figure 0007460748000017
および
Figure 0007460748000018
として単純に実装することができる。
代替的には、オンザフライ計算が使用されてもよい。順方向マッピング関数FwdMapを例にとる。ルマサンプルが属するピースを理解するために、サンプル値を6ビット(16の等しいピースに対応する)右シフトする。次いで、そのピースに対する線形モデルパラメータを検索し、オンザフライで適用して、マッピングされたルマ値を計算する。それぞれ、iをピースインデックス、a1をInputPivot[i]、a2をInputPivot[i+1]、b1をMappedPivot[i]、b2をMappedPivot[i+1]とする。FwdMap関数は以下のように評価される。
Figure 0007460748000019
InvMap関数は同様の方法でオンザフライで計算することができるが、例外は、マッピングされたドメイン内のピースが等しいサイズではないため、サンプル値が属するピースを理解するときに、単純な右ビットシフトの代わりに条件付きチェックを適用する必要があることである。
2.2.6.2 ルマ依存性クロマ残差スケーリング
クロマ残差スケーリングは、ルマ信号と対応するクロマ信号との間の相互作用を補償するように設計されている。クロマ残差スケーリングが有効であるかどうかは、タイルグループレベルでもシグナリングされる。ルママッピングが有効になっており、デュアルツリーパーティション(セパレートクロマツリーとしても知られる)が現在のタイルグループに適用されていない場合、ルマ依存のクロマ残差スケーリングが有効にされているかどうかを示すために、追加のフラグがシグナリングされる。ルママッピングが使用されないとき、または現在のタイルグループにデュアルツリーパーティションが使用される場合、ルマ依存クロマの残差スケーリングは無効にされる。さらに、ルマ依存クロマ残差スケーリングは、面積が4以下のクロマブロックについては常に無効にされる。
クロマ残差スケーリングは、対応するルマ予測ブロックの平均値(イントラコーディングされたブロックとインターコーディングされたブロックの両方について)に依存します。avgY′をルマ予測ブロックの平均として表す。CScaleInvの値は以下の手順で計算される。
(1) InvMap関数に基づいて、avgY′が属する区分線形モデルのインデックスYIdxを求める。
(2) CScaleInv=cScaleInv[YIdx]であり、cScaleInv[]は、予め計算された16ピースのLUTである。
現在のブロックが、イントラ、CIIP、またはイントラブロックコピー(IBC、現在のピクチャ参照またはCPRとしても知られる)モードとしてコーディングされる場合、avgY′は、イントラ、CIIP、またはIBC予測ルマ値の平均として計算され、そうでなければ、avgY′は、順方向マッピングされたインター予測ルマ値(図4のY′pred)の平均として計算される。サンプルベースで実行されるルママッピングとは異なり、CScaleInvはクロマブロック全体に対する定数値である。CScaleInvにより、クロマ残差スケーリングは、以下のように適用される。
符号化器側:
Figure 0007460748000020
復号器側:
Figure 0007460748000021
2.2.6.3 JVET-N0220の採択を有するJVET-M1001_v7における対応するワーキングドラフト
以下の仕様は、JVET-M1001の修正ワーキングドラフトおよびJVET-N0220の採択に基づく。
採択されたJVET-N0220の修正を太字、下線で示す。
Figure 0007460748000022

(外2)
Figure 0007460748000023
Figure 0007460748000024
Figure 0007460748000025
3. 既存の実装の欠点
1. LMCS/CCLMの現在の設計は、以下の問題を有する。
LMCSコーディングツールでは、クロマ残差スケーリングファクタは、並置されたルマ予測ブロックの平均値によって導出され、これは、LMCSクロマ残差スケーリングにおけるクロマサンプルを処理するためのレイテンシをもたらす。
a) シングル/共有ツリーの場合、レイテンシは、(a)全ルマブロックのすべての予測サンプルが利用可能になるのを待つこと、および(b)(a)によって取得されたすべてのルマ予測サンプルを平均化することによって引き起こされる。
b) デュアルツリー/セパレートツリーの場合、Iスライスではルマとクロマコンポーネントのセパレートブロックパーティショニング構造が有効になっているため、レイテンシはさらに悪くなる。したがって、1つのクロマブロックが複数のルマブロックに対応し、1つの4×4クロマブロックが64×64ルマブロックに対応してもよい。したがって、最悪の場合は、64×64ルマブロック全体のすべての予測サンプルが利用可能になるまで、現在の4×4クロマブロックのクロマ残差スケーリングファクタが待つ必要があることがあることである。一言で言えば、デュアル/セパレートツリーにおけるレイテンシの問題は、はるかに深刻である。
2. CCLMコーディングツールでは、クロマ内予測のためのCCLMモデル計算は、ルマブロックとクロマブロックの両方の左および上の参照サンプルに依存する。また、クロマブロックに対するCCLM予測は、同一CUの並置されたルマ再構成されたサンプルに依存する。これは、デュアル/セパレートツリーでの高いレイテンシを引き起される。
・ デュアル/セパレートツリーの場合、1つの4×4クロマブロックは、64×64ルマブロックに対応してもよい。したがって、最悪の場合、現在のクロマブロックのCCLMプロセスは、対応する64×64ルマブロック全体が再構成されるまで待つ必要があることがあることである。このレイテンシの問題は、デュアル/セパレートツリーにおけるLMCSクロマスケーリングと同様である。
4. 例示的な技術および実施形態
この問題に取り組むために、ルマ依存クロマ残差スケーリング、CCLM、および異なる色コンポーネントからの情報に依存する他のコーディングツールにおけるクロコンポーネント依存性を除去/低減/制限するためのいくつかの方法を提案する。
以下に記載される詳細な実施形態は、一般的な概念を説明するための例として見なされるべきである。これらの実施形態は、狭義に解釈されるべきではない。さらに、これらの実施形態は、任意の方式で組み合わせることができる。
以下の箇条書きは、LMCS/CCLMに明示的に言及しているが、この方法は、異なる色コンポーネントからの情報に依存する他のコーディングツールにも適用可能であることに留意する。追加的に、下記に言及される用語「ルマ(luma)」と「クロマ(chroma)」は、それぞれRGB色フォーマットにおける「Gコンポーネント」や「B/Rコンポーネント」などの「第1の色コンポーネント」と「第2の色コンポーネント」に置き換えてもよい。
以下の議論では、「並置されたサンプル/ブロック」の定義は、VVCワーキングドラフトJVET-M1001の並置された(collocated)サンプル/blockの定義と整合する。より具体的には、4:2:0の色フォーマットにおいて、クロマブロックの左上のサンプルが位置(xTbC,yTbC)にあるとすると、並置されたルマブロックの位置(xTbY,yTbY)の左上のサンプルは、以下のように導出される。
(xTbY,yTbY)=(xTbC<<1,yTbC<<1)
図5に示すように、現在のクロマブロックの左上のサンプルは、クロマピクチャにおける(x=16,y=16)に位置し、その並置されたルマブロックの左上のサンプルは、ルマピクチャにおいて並置されたルマブロックのブロックパーティションにかかわらず、ルマピクチャにおける(x=32,y=32)に位置する。別の例として、同じ色コンポーネントを用いて、図6に示すように、現在のフレーム内の現在のブロックの左上のサンプルの位置と、参照フレーム内の並置されたブロックの左上のサンプルの位置は同じでなければならず、現在のブロックの左上のサンプルが現在のフレームにおいて(x,y)であるとすると、現在のブロックの並置されたブロックの左上のサンプルが参照フレームにおいて同じ位置(x,y)を有する。
以下の説明では、「対応するブロック」は、現在のブロックとは異なる位置を有してもよい。たとえば、現在のブロックと参照フレーム内のそれと対応するブロックとの間に動きシフトがあるかもしれない。図6に示されるように、現在のブロックが現在のフレーム内の(x,y)に位置し、それが運動ベクトル(mvx,mvy)を有するとすると、現在のブロックの対応するブロックは、参照フレームにおいて(x+mvx,y+mvy)に位置してもよい。また、IBCコーディングされたブロックでは、並置されたルマブロック(ゼロベクトルで示される)と対応するルマブロック(非ゼロBVで示される)が、現在のフレームの異なる場所に位置する可能性がある。別の例では、ルマブロックのパーティションがクロマブロックのパーティション(Iスライスのデュアルツリーパーティション)と整合しない場合、現在のクロマブロックの並置されたルマブロックは、並置されたルマブロックの左上のサンプルをカバーするオーバーラップしたルマコーディングブロックのパーティションサイズに依存する、より大きなルマブロックに属することがある。図5に示すように、太字の矩形がブロックのパーティションを示すと仮定すると、64×64ルマブロックはまずBTによってスプリットされ、次いで64×64ルマブロックの右の部分はTTによってさらに分割され、それぞれ32×16、32×32、32×16に等しいサイズの3つのルマブロックをもたらす。したがって、現在のクロマブロックの並置されたルマブロックの左上のサンプル(x=32、y=32)を見ると、それは、TTパーティションの中央の3×32ルマブロックに属する。この場合、並置されたルマブロックの左上のサンプルをカバーする対応するルマブロックを「対応するルマブロック」と呼ぶ。したがって、この例では、対応するルマブロックの左上のサンプルは(x=32、y=16)に位置する。
以下、DMVD(decoder-side motion vector derivation)は、BDOF(BIOとしても知られる)または/およびDMVR(decode-side motion vector refinement)またはFRUC(frame rate up-conversion)または復号器における動きベクトルまたは予測サンプル値を精緻化する他の方法を表すために使用される。
LMCSのクロマスケーリングレイテンシの除去とCCLMのモデル計算
1. インターコーディングされたブロックに対して、参照フレームにおける現在のブロックの1つ以上の参照サンプルを使用してLMCSモードでのクロマ残差スケーリングファクタを導出してもよいことを提案する。
a) 一例では、参照ルマサンプルを直接使用してクロマ残差スケーリングファクタを導出してもよい。
i. 代替的には、補間を、まず、参照サンプルに適用してもよく、補間されたサンプルを使用してクロマ残差スケーリングファクタを導出してもよい。
ii. 代替的には、異なる参照フレームにおける参照サンプルを利用して、クロマ残差スケーリングファクタの導出に使用される最終参照サンプルを導出してもよい。
1) 一例では、双予測コーディングされたブロックに対して、上記の方法を適用してもよい。
iii. 一例では、参照サンプルの強度は、クロマ残差スケーリングファクタを導出するために使用される前に、再リシェイプドメインに変換されてもよい。
iv. 一例では、参照サンプルの線形結合を使用して、クロマ残差スケーリングファクタを導出してもよい。
1) たとえば、a×S+bを使用してクロマ残差スケーリングファクタを導出し、Sは、参照サンプルであり、aおよびbは、パラメータである。一例では、aおよびbは、LIC(Localized Illuminate Compensation)によって導出されてもよい。
b) 一例では、参照フレームにおける参照ルマサンプルの位置は、現在のブロックの動きベクトルに依存してもよい。
i. 一例では、参照サンプルは、参照ピクチャにあり、現在のルマブロックと同じ幅と高さを有する参照ルマブロックに属する。参照ピクチャにおける参照ルマサンプルの位置は、現在のピクチャにおけるその対応するルマサンプルの位置に動きベクトルを加算したものとして計算される。
ii. 一例では、参照ルマサンプルの位置は、現在のルマブロックの左上(または中央、または右下)のサンプルの位置と現在のブロックの動きベクトルによって導出されてもよく、参照フレームにおける対応するルマサンプルと呼ばれる。
1) 一例では、整数動きベクトルを使用して、参照フレームにおける対応するルマサンプルを導出してもよい。一例では、1つのブロックに関連する動きベクトルは、ゼロに近づくように丸められるか、またはゼロから離れるように丸められて、整数動きベクトルを導出してもよい。
2) 代替的には、分数運動ベクトルを使用して、参照フレームにおける対応するルマサンプルを導出してもよく、補間プロセスは、分数参照サンプルを導出するために必要とされてもよい。
iii. 代替的には、参照ルマサンプルの位置は、現在のルマブロックの左上(または中央、または右下)サンプルの位置によって導出されてもよい。
iv. 代替的には、参照フレームにおいていくつかの予め定義された位置での複数の対応するルマサンプルをピックして、クロマ残差スケーリングファクタを計算してもよい。
c) 一例では、複数参照ルマサンプルの中央値または平均値を使用して、クロマ残差スケーリングファクタを導出してもよい。
d) 一例では、予め定義された参照フレームにおける参照ルマサンプルを使用して、クロマ残差スケーリングファクタを導出してもよい。
i. 一例では、予め定義された参照フレームは、参照ピクチャリスト0の0に等しい参照インデックスを有するものであってもよい。
ii. 代替的には、予め定義された参照フレームに対する参照インデックスおよび/または参照ピクチャリストを、シーケンス/ピクチャ/タイルグループ/スライス/タイル/CTU行/ビデオユニットレベルでシグナリングしてもよい。
iii. 代替的には、複数の参照フレームにおける参照ルマサンプルを導出してもよく、平均値または重み付け平均値を利用して、クロマ残差スケーリングファクタを取得してもよい。
2. LMCSモードでルマサンプルからクロマ残差スケーリングファクタを導出するかどうか、および導出する方法は、現在のブロックが双予測を適用するかどうかに依存してもよいことを提案する。
a) 一例では、クロマ残差スケーリングファクタは、各予測方向に対して個別に導出される。
3. LMCSモードでルマサンプルからクロマ残差スケーリングファクタを導出するかどうか、および導出する方法は、現在のブロックがサブブロックベースの予測を適用するかどうかに依存してもよいことを提案する。
a) 一例では、サブブロックベースの予測はアフィン予測である。
b) 一例では、サブブロックベースの予測はATMVP(Alternative Temporal Motion Vector Prediction)である。
c) 一例では、クロマ残差スケーリングファクタは、各サブブロックに対して個別に導出される。
d) 一例では、クロマ残差スケーリングファクタは、たとえサブブロックによって予測されるとしても、ブロック全体に対して導出される。
i. 一例では、1つの選択されたサブブロック(たとえば、左上サブブロック)の動きベクトルを使用して、箇条書き1に記載されているように、現在のブロックの参照サンプルを識別してもよい。
4. クロマ残差スケーリングファクタを導出するために使用されるルマ予測値は、最終ルマ予測値の代わりに中間ルマ予測値であってもよいことを提案する。
a) 一例では、BDOF(Bi-Directional Optical Flow、BIOとしても知られる)のプロセス前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
b) 一例では、DMVR(Decoder-side Motion Vector Refinement)のプロセス前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
c) 一例では、LICのプロセス前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
d) 一例では、JVET-N0236で提案されているPROF(Prediction Refinement Optical Flow)プロセス前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
5. 中間動きベクトルは、参照サンプルを識別するために使用されてもよい。
a) 一例では、BDOFまたは/およびDMVRまたは/および他のDMVD法のプロセス前の動きベクトルを使用して、参照サンプルを識別してもよい。
b) 一例では、JVET-N0236で提案されているPROF(Prediction Refinement Optical Flow)のプロセス前の動きベクトルを使用して、参照サンプルを識別してもよい。
6. 現在のブロックがインターモードでコーディングされるときに、上記の方法が適用可能であってもよい。
7. IBCコーディングブロックに対して、現在のフレームの参照ブロックにおける1つ以上の参照サンプルを使用して、LMCSモードでのクロマ残差スケーリングファクタを導出してもよいことが提案される。ブロックIBCコーディングされるときに、用語「動きベクトル」は、参照ピクチャが現在のピクチャとしてセットされる「ブロックベクトル」とも呼ばれる。
a) 一例では、参照サンプルは、現在のピクチャにおいて、現在のブロックと同じ幅および高さを有する参照ブロックに属する。参照サンプルの位置は、その対応するサンプルの位置に運動ベクトルを加算したものとして計算されてもよい。
b) 一例では、参照ルマサンプルの位置は、現在のルマブロックの左上(、中央、または右下)サンプルの位置に動きベクトルを加算することによって導出されてもよい。
c) 代替的には、参照ルマサンプルの位置は、現在のルマブロックの左上(、中央、または右下)サンプルの位置に現在のブロックのブロックベクトルを加算することによって導出される。
d) 代替的には、現在のルマブロックの参照領域におけるいくつかの予め定義sあれた位置にある複数の対応するルマサンプルをピックして、クロマ残差スケーリングファクタを計算してもよい。
e) 一例では、複数の対応するルマサンプルが、クロマ残差スケーリングファクタを導出するための関数で計算されてもよい。
i. たとえば、複数の対応するルマサンプルの中央値または平均値を計算して、クロマ残差スケーリングファクタを導出してもよい。
f) 一例では、参照サンプルの強度は、クロマ残差スケーリングファクタを導出するために使用される前に、再リシェイプドメインに変換されてもよい。
i. 代替的には、参照サンプルの強度は、クロマ残差スケーリングファクタを導出するために使用される前に、元のドメインに変換されてもよい。
8. 現在のフレームにおける現在のルマブロックの識別された位置に位置する1つ以上の予測/再構成されたサンプルが、LMCSモードでの現在のクロマブロックに対するクロマ残差スケーリングファクタを導出するために使用されてもよいことを提案する。
a) 一例では、現在のブロックがインターコーディングされている場合、現在のルマブロックの中央に位置するルマ予測(または再構成)サンプルをピックして、クロマ残差スケーリングファクタを導出してもよい。
b) 一例では、最初のMxNルマ予測(または再構成)サンプルの平均値をピックして、クロマ残差スケーリングファクタを導出してもよく、MxNは、並置されたルマブロックサイズwidthxheightより小さい可能性がある。
9. CCLMモデルを計算するために使用された手順の全部または一部は、LMCSモードでの現在のクロマブロックのクロマ残差スケーリングファクタの導出に使用されてもよいことを提案する。
a) 一例では、CCLMモデルパラメータ導出プロセスにおいて、並置されたルマブロックの近隣のルマサンプルの識別された位置に位置する参照サンプルを利用して、クロマ残差スケーリングファクタを導出してもよい。
i. 一例では、これらの参照サンプルを直接使用してもよい。
ii. 代替的には、ダウンサンプリングをこれらの参照サンプルに適用してもよく、ダウンサンプリングした参照サンプルを適用してもよい。
b) 一例では、CCLMモデル計算のために選択されたS個の参照サンプルのうちのK個が、LMCSモードでのクロマ残差スケーリングファクタの導出のために使用されてもよい。たとえば、Kは、1に等しく、Sは、4に等しい。
c) 一例では、CCLMモードでの並置されたルマブロックの参照サンプルの平均/最小/最大値が、LMCSモードでのクロマ残差スケーリングファクタの導出に使用されてもよい。
10. クロマ残差スケーリングファクタの導出のためにサンプルを選択する方法は、現在のブロックのコーディングされた情報に依存してもよい。
a) コーディングされた情報は、QP、コーディングモード、POC、イントラ予測モード、動き情報などを含む。
b) 一例として、IBCコーディングされたブロックまたは非IBCコーディングされたブロックに対して、サンプルの選択する方法が異なってもよい。
c) 一例として、参照ピクチャと現在のピクチャとの間のPOC距離などの参照ピクチャ情報に基づいて、サンプルを選択する方法が異なってもよい。
11. クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算は、並置されたルマブロックの左上のサンプルをカバーする対応するルマブロックの近隣のサンプルに依存してもよいことを提案する。
本発明において、「コーディングブロック」は、HEVC仕様またはVVCワーキングドラフトに指定されるCU/TU/PUなどのビデオコーディング領域を指してもよい。
a) 「対応するルマコーディングロック」は、並置されたルマコーディングブロックの左上の位置をカバーするコーディングブロックとして定義されてもよい。
i. 図5は、デュアルツリーの場合のイントラコーディングされたクロマブロックに対して、クロマコンポーネントのCTUパーティションが、ルマコンポーネントのCTUパーティションとは異なってもよい例を示す。まず、現在のクロマブロックの並置されたルマブロックの左上のサンプルをカバーする「対応するルマコーディングブロック」を検索する。次いで、「対応するルマコーディングブロック」のブロックサイズ情報を使用して、「対応するルマコーディングブロック」の左上のサンプルを導出することができ、並置されたルマブロックの左上のサンプルをカバーする「対応するルマコーディングブロック」の左上のサンプルは、(x=32,y=16)に位置する。
b) 一例では、ブロックサイズ/パーティション/位置/調整は、並置されたルマコーディングブロックの左上のサンプルをカバーする「対応するルマコーディングブロック」の位置を導出するために必要とされてもよい。
i. 一例では、ブロックサイズ、および/またはブロックパーティション、および/またはブロック調整は、ルマコンポーネントなどの指定の色コンポーネントの各ブロックに対して記憶されてもよい。
ii. 一例では、「対応するルマコーディングブロック」および現在のブロックは、常に同じCTUまたはCTU行内にあってもよく、したがって、ブロックサイズ/パーティション/位置/調整の記憶がラインバッファに存在しないことがある。
c) 一例では、「対応するルマコーディングブロック」に含まれない再構成されたサンプルを使用して、クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよい。
i. 一例では、「対応するルマコーディングブロック」に隣接した再構成されたサンプルを使用して、クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよい。
1) 一例では、「対応するルマコーディングブロック」の左の近隣の列および/または上方の近隣の行に位置するN個のサンプルを使用して、クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよく、N=1....2W+2Hであり、WおよびHは、「対応するルマコーディングブロック」の幅および高さである。
a) 「対応するルマコーディングブロック」の左上のサンプルが(xCb,yCb)であるとすると、一例では、上方の近隣のルマサンプルは(xCb+W/2,yCb-1)または(xCb-1,yCb-1)に位置してもよい。代替的な例では、左の近隣のルマサンプルが(xCb+W-1,yCb-1)に位置してもよい。
b) 一例では、近隣のサンプルの位置は固定されていてもよく、および/または予め定義されたチェック順序であってもよい。
2) 一例では、N個の近隣のサンプルのうちの1個を選択して、クロマ残留スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよい。N=3であり、3つの近隣のサンプル(xCb-1,yCb-H-1)、(xCb+W/2,yCb-1)、(xCb-1,yCb-1)のチェック順序を仮定すると、チェックリストの最初の利用可能な近隣のサンプルが選択されて、クロマ残差スケーリングファクタを導出してもよい。
3) 一例では、「対応するルマコーディングブロック」の左の近隣の列および/または上の近隣の行に位置するN個のサンプルの中央値または平均値を使用して、クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよく、N=1...2W+2Hであり、WおよびHは「対応するルマコーディングブロック」の幅および高さである。
d) 一例では、クロマ残差スケーリングを実行するかどうかは、対応するルマブロックの「利用可能な」近隣のサンプルに依存してもよい。
i. 一例では、近隣のサンプルの「可用性」は、現在のブロック/サブブロックの符号化モード、または近隣のサンプルの符号化モードに依存してもよい。
1) 一例では、インターモードでコーディングされたブロックに対して、イントラモードまたは/およびIBCモードまたは/およびCIIPモードまたは/およびLICモードでコーディングされた近隣のサンプルは、「利用不可」とみなされてもよい。
2) 一例では、インターモードでコーディングされたブロックに対して、近隣のサンプルは、拡散フィルタまたは/およびバイラテラルフィルタまたは/またはHadamard変換フィルタを用いる近隣のサンプルは、「利用不可」とみなされてもよい。
ii. 一例では、近隣のサンプルの「可用性」は、現在のピクチャ/タイル/タイルグループ/VPDU/スライスの幅および/または高さに依存してもよい。
1) 一例では、近隣のブロックが現在のピクチャの外側に位置する場合、「利用できない」ものとして扱われる。
iii. 一例では、「利用可能な」近隣のサンプルがないときに、クロマ残留スケーリングを禁止してもよい。
iv. 一例では、「利用可能な」近隣のサンプルの数がK(K>=1)より小さいときに、クロマ残差スケーリングを禁止してもよい。
v. 代替的には、利用できない近隣のサンプルは、クロマ残留スケーリングが常に適用され得るように、デフォルトの固定値、パディング、または置換によって充填されてもよい。
1) 一例では、近隣のサンプルが利用できない場合、1<<(bitDepth-1)で充填されてもよく、bitDepthはルマ/クロマコンポーネントのサンプルのビット深度を指定する。
2) 代替的には、近隣のサンプルが利用できない場合、左/右/上/下の近隣に位置する周囲のサンプルからパディングすることにより充填されてもよい。
3) 代替的には、近隣のサンプルが利用できない場合、予め定義されたチェック順序で、最初の利用可能な隣接するサンプルによって置き換えられてもよい。
4) 代替的には、近隣のサンプルが利用できない場合、予めに定義されたフィルタ/マッピングされた値(たとえば、1<<(bitDepth-1)のフィルタ/マッピングされた値であり、bitDepthは、ルマ/クロマコンポーネントのサンプルのビット深度を指定する)によって充填されてもよい。
a) 一例では、フィルタリング/マッピングプロセスは、LMCSの順方向マッピングのLUTインデックス化であってもよい。
e) 一例では、クロマ残差スケーリングを実行するかどうか、および実行する方法は、現在のブロックのコーディングモードおよび/または近隣のブロックのコーディングモードに依存してもよい。
i. 「現在のブロック」は、現在のクロマブロックを指してもよいし、並置されたルマブロック、または、並置されたクロマブロックの少なくとも1つのサンプルをカバーする対応するルマブロックを指してもよい。「近隣のブロック」(隣接ブロックまたは非隣接ブロック)は、現在のクロマブロックに近隣のクロマブロックを指してもよいし、現在のルマブロックに近隣のルマブロックを参照してもよい。
ii. 一例では、1つのルマの近隣のブロックのコーディングモードは、現在のブロックの左上の座標に対して相対的に(-1,-1)の位置などの所与の位置をカバーするように利用されてもよい。
iii. 一例では、複数の近隣のブロックのコーディングモードは、現在のブロックの左上の座標に対する相対的に(x,-1)(たとえば、xは、0~ブロックの幅から1を引いたもの)の位置、および/または現在のブロックの左上の座標に対する相対的に(-1,y)(たとえば、yは、-1~ブロックの高さから1を引いたもの)の位置など、複数の複数の位置をカバーするように利用されてもよい。
iv. 一例では、1つの近隣のブロックの再構成が、X-コーディングされるように、現在のスライス/タイルグループにおけるサンプルにアクセスすることを必要とする場合、クロマ残差スケーリングは無効にされる。
1) たとえば、モードXはイントラモードであってもよい。
2) たとえば、モードXはCIIPモードであってもよい。
3) たとえば、モードXはIBCモードであってもよい。
4) 一例では、現在のブロックがCIIPコーディングではなくインターコーディングされており、対応するルマブロックに近隣の近隣ブロックがモードXでコーディングされている場合、クロマ残差スケーリングは無効にされる。
v. 一例では、1つの近隣のブロックの再構成が、X-コーディングされるように、現在のスライス/タイルグループにおけるサンプルにアクセスすることを必要とする場合、デフォルト値を使用して、クロマ残差スケーリングファクタを導出してもよい。
1) たとえば、モードXはイントラモードであってもよい。
2) たとえば、モードXはCIIPモードであってもよい。
3) たとえば、モードXはIBCモードであってもよい。
4) 一例では、現在のブロックがCIIPコーディングではなくインターコーディングされており、対応するルマブロックの近隣ブロックがモードXでコーディングされている場合、デフォルト値を使用して、クロマ残差スケーリングファクタを導出してもよい。
5) 一例では、デフォルト値はルマ/クロマサンプルのビット深度に依存してもよい。
6) 一例では、デフォルト値をフィルタリング/マッピングされた値1<<(bitDepth-1)にセットしてもよく、bitDepthは、ルマ/クロマコンポーネントのサンプルのビット深度を指定する。一例では、フィルタリング/マッピングプロセスは、LMCSの順方向マッピングのLUTインデックス化であってもよい。
f) 一例では、「対応するルマコーディングブロック」に近隣のフィルタ/マッピングされた再構成されたサンプルを使用して、クロマ残差スケーリングファクタおよび/またはCCLMのモデル計算を導出してもよい。
i. 一例では、フィルタリング/マッピングプロセスは、イントラブロックのための参照平滑化フィルタリング、バイラテラルフィルタなどの後フィルタリング、ハードマード変換ベースのフィルタ、リシェイパードメインの順方向マッピングなどを含んでもよい。
12. 固定値を使用して、現在のスライス/タイルグループにおけるある数のクロマブロック(CUまたはTUなど)に対してクロマ残差スケーリングファクタを導出してもよいことを提案する。
a) 一例では、N個のクロマブロックに対するクロマ残差スケーリングファクタは、固定値によって導出してもよく、Nは、現在のスライス/タイルグループにおける1~クロマブロックの総数である。
b) 一例では、固定値を用いて、その値が属する区分線形モデルのインデックスを見つけ、次に、導出された区分インデックスからクロマ残差スケーリングファクタを計算してもよい。一例では、固定値はルマサンプルの内部ビット深度に依存してもよい。
c) 一例では、固定値を直接使用して、クロマ残差スケーリングファクタを表してもよい。
d) 一例では、固定値および/または固定クロマ残差スケーリングファクタは、ピクチャ/スライス/タイルグループのタイプ(たとえば、IまたはPまたはBスライス)および/またはブロックのコーディングモード(たとえば、イントラモードまたはインターモード)に依存してもよい。
e) 一例では、固定値は、異なるピクチャ/スライス/タイルグループ/タイルに対して異なってもよい。
f) 一例では、固定されたクロマ残差スケーリングファクタを直接使用して、LMCSにおけるクロマ残差を直接スケーリングしてもよい。
i. 一例では、固定クロマ残差スケーリングファクタは、DPS/SPS/PPS/VPS/APS/スライスヘッダ/タイルグループヘッダなどのビデオユニットにおいてシグナリングされてもよい。
ii. 一例では、ピクチャ/スライス/タイルグループ/タイルに対する固定クロマ残差スケーリングファクタは、ピクチャ/スライス/タイルグループ/タイルにおけるルマサンプルのリシェイプのためのマッピング関数(たとえば、区分線形関数)に依存してもよい。
1) 一例では、固定クロマ残差スケーリングファクタは、JVET-M1001-v7で定義されるアレイInvScaleCoeff[]および/またはアレイScaleCoeff[]に依存してもよい。
a) たとえば、ピクチャ/スライス/タイルグループ/タイルに対する固定クロマ残差スケーリングファクタによって依存されるアレイInvScaleCoeff[]および/またはアレイScaleCoeff[]を使用して、ピクチャ/スライス/タイルグループ/タイルのルマサンプルをリシェイプしてもよい。
2) 一例では、固定クロマ残差スケーリングファクタは、ルマサンプルをリシェイプするために使用される区分線形関数のすべてのスケーリングファクタの中の最小値/最大値/中央値/平均値によって導出されてもよい。
a) たとえば、固定クロマ残差スケーリングファクタは、InvScaleCoeff[i]の最小値/最大値/中央値/平均値によって導出されてもよく、iは、最小インデックス(JVET-M1001-v7のlmcs_min_bin_idxなど)~最大インデックス(JVET-M1001-v7のLmcsMaxBinIdxなど)である。
i. たとえば、固定クロマ残差スケーリングファクタは、InvScaleCoeff[i]の最小値/最大値/中央値/平均値に等しくてもよく、iは、最小インデックス(JVET-M1001-v7で定義されるlmcs_min_bin_idxなど)~最大インデックス(JVET-M1001-v7で定義されるLmcsMaxBinIdxなど)である。
ii. 代替的には、固定クロマ残差スケーリングファクタは、InvScaleCoeff[i]の最小値/最大値/中央値/平均値によって導出されてもよく、iは、最小インデックス(0など)~最大インデックス(15など)であり、JVET-M1001-v7で定義されるlmcsCW[i]は、0に等しくない。
iii. 上記の例において、InvScaleCoeff[i]の中央値は、InvScaleCoeff[j]として計算されてもよく、jは、有効なインデックス、たとえば、j=(最小インデックス+最大インデックス)>>1、j=(最小インデックス+最大インデックス+1)>>1またはj=(最大インデックス-最小インデックス)>>1である。一例では、InvScaleCoeff[]の最小インデックスは、JVET-M1001-v7で定義されるlmcs_min_bin_idxまたは0であってもよく、InvScaleCoeff[]の最大インデックスは、JVET-M1001-v7で定義されるLmcsMaxBinIdxまたはSize-1であってもよく、Sizeは、アレイInvScaleCoeff_sort[]のサイズを表す。
1. 代替的には、アレイInvScaleCoeffまたはその部分(たとえば、JVET-M1001-v7で定義されるInvScaleCoeff[lmcs_min_bin_idx]~InvScaleCoeff[LmcsMaxBinIdx])は、まず、昇順または降順でソートされて、InvScaleCoeff_sortによって示されるソートされたアレイを形成してもよい。一例では、固定クロマ残差スケーリングファクタは、InvScaleCoeff_sort[j]として導出されてもよく、jは、有効なインデックスであり、たとえば、j=(最小インデックス+最大インデックス)>>1またはj=(最小インデックス+最大インデックス+1)>>1である。一例では、InvScaleCoeff_sort[]の最小インデックスは0であってもよく、InvScaleCoeff_sort[]の最大インデックスはSize-1であってもよく、Sizeは、アレイInvScaleCoeff_sort[]のサイズを表し、たとえばSize=16である。
iv. 上記の例では、InvScaleCoeff[i]の最小値に対して、それはInvScaleCoeff[j]として計算されてもよく、jは、有効なインデックスであり、たとえばjは、最小インデックス(JVET-M1001-v7で定義されるlmcs_min_bin_idxなど)または0に等しい。
1. 代替的には、アレイInvScaleCoeffまたはその部分(たとえば、JVET-M1001-v7で定義されるInvScaleCoeff[lmcs_min_bin_idx]~InvScaleCoeff[LmcsMaxBinIdx])は、まず、昇順または降順でソートされて、InvScaleCoeff_sortによって示されるソートされたアレイを形成してもよい。一例では、固定クロマ残差スケーリングファクタは、InvScaleCoeff_sort[j]として導出されてもよく、jは、有効なインデックスであり、たとえば、jは、昇順でのInvScaleCoeff_sort[]アレイの最小インデックスに等しいか、またはjは、降順でのInvScaleCoeff_sort[]アレイの最大インデックスに等しい。一例では、InvScaleCoeff_sort[]の最小インデックスは0であってもよく、InvScaleCoeff_sort[]の最大インデックスはSize-1であってもよく、Sizeは、アレイInvScaleCoeff_sort[]のサイズを表し、たとえばSize=16である。
v. 上記の例では、InvScaleCoeff[i]の最大値は、InvScaleCoeff[j]によって計算されてもよく、jは、有効なインデックスであり、たとえば、jは、最大インデックスまたは15であってもよい。
vi. 代替的には、アレイInvScaleCoeffまたはその部分(たとえば、JVET-M1001-v7で定義されるInvScaleCoeff[lmcs_min_bin_idx]~InvScaleCoeff[LmcsMaxBinIdx])は、まず、昇順または降順でソートされて、InvScaleCoeff_sortによって示されるソートされたアレイを形成してもよい。一例では、固定クロマ残差スケーリングファクタは、InvScaleCoeff_sort[j]から導出されてもよく、jは、有効なインデックスであり、たとえば、jは、昇順でのInvScaleCoeff_sort[]アレイの最大インデックスに等しいか、または、降順でのInvScaleCoeff_sort[]アレイの最小インデックスまたは0に等しい。一例では、InvScaleCoeff_sort[]の最小インデックスは0であってもよく、InvScaleCoeff_sort[]の最大インデックスはSize-1であってもよく、Sizeは、アレイInvScaleCoeff_sort[]のサイズを表し、たとえばSize=16である。
g) 一例では、固定値が区分関数インデックスを表わすために使用されて、クロマスケーリングファクタを導出してもよい。
i. 一例では、固定値は、DPS/SPS/PPS/VPS/APS/スライスヘッダ/タイルグループヘッダなどのビデオユニットにおいてシグナリングされてもよい。
ii. 一例では、固定値は、区分関数インデックスを識別するために使用されてもよいルマサンプル強度を表してもよく、識別された区分関数インデックスは、クロマスケーリングファクタを見つけるためにさらに使用される。
1) 一例では、固定値は0、(1<<lumaBitDepth)-1、または1<<(lumaBitDepth-1)に等しくてもよく、lumaBitDepthは、lルマサンプルのビット深度を示す。
2) 一例では、固定値が区分関数の入力範囲にある場合、区分関数が識別される。
3) 一例では、固定値が区分関数の出力範囲にある場合、区分関数が識別される。
4) 一例では、固定値は、選択された値(たとえば、最大、最小、中央)であってもよく、またはリシェイプされたドメインにおいて選択されたサンプル値(たとえば、2つの値の平均)にしたがって導出されてもよい。
a) クロマスケーリングファクタがInvScaleCoeff[idxYInv]と等しく、idxYInvは、リシェイプされた変数v、idxYInv=getPWLIdxInv(v)によって導出される区分インデックスであるとする。fFwdReshaper()関数は、元のドメインの変数k(すなわち、kは元のドメインルマサンプル値でもよい)を、リシェイプされたドメインの変数v、すなわちv=fFwdReshaper(k))に変換するために使用される。minYをJVET-M1001-v7で定義されるlmcs_min_bin_idxによって示される元のドメインの範囲における最小ルマ値、maxYをJVET-M1001-v7で定義されるLmcsMaxBinIdxで示される元のドメインの範囲における最大ルマ値とする。
i. たとえば、固定区分関数インデックスidxYInvは、getPWLIdxInv(fFwdReshaper[0])に等しくてもよい。
ii. たとえば、固定区分関数インデックスidxYInvは、getPWLIdxInv(fFwdReshaper[(1<<lumaBitDepth)-1])に等しくてもよい。
iii. たとえば、固定区分関数インデックスidxYInvは、getPLIdxInv((fFwdReshaper[0]+fFwdReshaper[(1<<lumaBitDepth)-1]+offset)>>1)に等しくてもよく、たとえば、offset=0または1である。
iv. たとえば、固定区分関数インデックスidxYInvは、getPWLIdxInv(fFwdReshaper[minY])に等しくてもよい。
v. たとえば、固定区分関数インデックスidxYInvは、getPWLIdxInv(fFwdReshaper[maxY])に等しくてもよい。
vi. たとえば、固定区分関数インデックスidxYInvは、getPWLIdxInv((fFwdReshaper[minY]+fFwdReshaper[maxY]+offset)>>1)に等しくてもよい。たとえば、offset=0または1である。
iii. 一例では、固定値は、クロマスケーリングファクタを見つけるために使用されてもよい固定区分関数インデックスを表してもよい。
1) 一例では、固定値は、LMCS構成プロセスで使用される最小ビンインデックス(たとえば、lmcs_min_bin_idx)に等しくてもよい。
2) 一例では、固定値は、LMCS構成プロセスで使用される最大ビンインデックス(たとえば、LmcsMaxBinIdx)と等しくてもよい。
3) 一例では、固定値は、LMCS構成プロセスで使用される最大ビンインデックスおよび最小ビンインデックスの平均に等しくてもよい。
h) 一例では、固定値はシグナリングされず、DPS/SPS/PPS/VPS/APS/スライスヘッダ/タイルグループヘッダなどのビデオユニットにおいて導出されてもよい。
i. たとえば、固定クロマスケーリングファクタは、APSレベルでシグナリングされるlmcsデータ(VVC仕様JVET-M1001-v7で定義されるlmcs_data()など)の要素、および/またはSPSレベルでシグナリングされるビット深度(ルマビット深度など)にしたがって導出されてもよい。
ii.たとえば、固定クロマスケーリングファクタは、APSレベルで導出されてもよい。
1) 一例では、異なるクロマスケーリングファクタは、異なるAPSユニットで導出されてもよい。
2) 一例では、クロマスケーリングファクタの数は、APSユニットの最大数に依存してもよい。すなわち、クロマスケーリングファクタの数は、Tより小さく、T=32などである。
3) 一例では、1つのスライス/タイル/ピクチャに対する固定クロマスケーリングファクタは、APSレベルで利用可能なすべてのクロマスケーリングファクタから選択されてもよい。
4) 一例では、固定クロマスケーリングファクタは、スライス/タイル/ピクチャレベルで決定され、すべてのCU/PU/TUクロマコンポーネントに使用される。
クロマ残留スケーリングおよび/またはCCLMを適用するかどうかの制限
13. クロマ残差スケーリングまたはCCLMを適用するかどうかは、対応するルマブロックおよび/または並置されたルマブロックのパーティションに依存してもよいことを提案する。
a) 一例では、クロスコンポーネント情報でツールを有効または無効にするかどうかは、並置されたルマ(たとえば、YコンポーネントまたはGコンポーネント)ブロック内のCU/PU/TUの数に依存してもよい。
i. 一例では、並置されたルマ(たとえば、YまたはGコンポーネント)ブロック内のCU/PU/TUの数が数のしきい値を超える場合、そのようなツールは無効にされてもよい。
ii. 代替的には、クロスコンポーネント情報でツールを有効にするか無効にするかは、パーティションツリーの深度に依存してもよい。
1) 一例では、並置されたルマブロック内のCUの最大(、最小、平均、または他のバリエーション)4分木深度が閾値を超える場合、そのようなツールは無効にされてもよい。
2) 一例では、並置されたルマブロック内のCUの最大(、最小、平均、または他のバリエーション)BTおよび/またはTT深度深度が閾値を超える場合、そのようなツールは無効にされてもよい。
iii. 代替的には、さらに、クロスコンポーネント情報でツールを有効または無効にするかどうかは、クロマブロックのブロック寸法に依存してもよい。
iv. 代替的には、クロスコンポーネント情報を有するツールを有効または無効にするかどうかは、並置されたルマが複数のVPDU/予め定義された領域サイズをクロスするかどうかに依存してもよい。
v. 上述の議論における閾値は、固定数であってもよく、シグナリングされてもよく、または標準的なプロファイル/レベル/層に依存してもよい。
b) 一例では、現在のクロマブロックの並置されたルマブロックが複数のパーティション(たとえば、図7)によって分割されている場合、クロマ残差スケーリングおよび/またはCCLMを禁止してもよい。
i. 代替的には、(たとえば、1つのCU/TU/PU内で)現在のクロマブロックの並置されたルマブロックがスプリットされていない場合、クロマ残差スケーリングおよび/またはCCLMを適用してもよい。
c) 一例では、現在のクロマブロックの並置されたルマブロックがM個以上のCU/PU/TUが含む場合、クロマ残差スケーリングおよび/またはCCLMを禁止してもよい。
i. 一例では、Mは、1より大きい整数であってもよい。
ii. 一例では、Mは、それがCCLMであるか、クロマ残差スケーリングプロセスであるかに依存してもよい。
iii. Mは、固定数であってもよく、シグナリングされてもよく、または標準プロファイル/レベル/階層に依存してもよい。
d) 並置されたルマブロック内の上述のCUは、並置されたルマブロック内のすべてのCUと解釈されてもよい。代替的には、並置されたルマブロック内のCUは、並置されたルマブロックの境界に沿ったCUのような、並列ルマブロック内の部分的なCUと解釈されてもよい。
e) 並置されたルマブロック内の上述のCUは、サブCUまたはサブブロックと解釈されてもよい。
i. たとえば、サブCUまたはサブブロックがATMVPで使用されてもよい。
ii. たとえば、サブCUまたはサブブロックがアフィン予測に使用されてもよい。
iii. たとえば、サブCUまたはサブブロックがイントラサブパーティション(ISP)モードに使用されてもよい。
f) 一例では、コロケーションされたルマブロックの左上のルマサンプルをカバーするCU/PU/TUが予め定義されたルマブロックのサイズより大きい場合、クロマ残差スケーリングおよび/またはCCLMが禁止されてもよい。
i. 一例を図8に示すが、並置されたルマブロックは32×32であるが、64×64に等しいサイズの対応するルマブロック内にあるため、予め定義されたルマブロックサイズが32×64である場合、この場合、クロマ残差スケーリングおよび/またはCCLMは禁止される。
ii. 代替的には、現在のクロマブロックの並置されたものがスプリットされておらず、並置されたルマブロックの左上のルマサンプルをカバーする対応するルマブロックが、予め定義された境界ボックス内に完全に含まれている場合、現在のクロマブロックに対するクロマ残差スケーリングおよび/またはCCLMを適用してもよい。バウンディングボックスは、図9に示されるように、WxHで示される幅Wおよび高さHを有する長方形として定義されてもよく、対応するルマブロックは幅32および高さ64を有し、バウンディングボックスは幅40および高さ70を有する。
1) 一例では、境界ボックスのサイズWxHは、CTU幅および/または高さにしたがって、CU幅および/または高さにしたがって、または任意の値にしたがってって定義されてもよい。
g) 一例では、現在のクロマブロックの並置されたルマブロックが複数のパーティションによって分割されている場合、並置されたルマブロックの予め定義されたパーティション内の予測サンプル(または再構成されたサンプル)のみを使用して、LMCSモードでのクロマ残差スケーリングファクタを導出する。
i. 一例では、並置されたルマブロックの第1のパーティションにおけるすべての予測サンプル(または再構成されたサンプル)の平均を使用して、LMCSモードでのクロマ残差スケーリングファクタを導出する。
ii. 代替的には、並置されたルマブロックの第1のパーティションにおける左上の予測サンプル(または再構成されたサンプル)を使用して、LMCSモードでのクロマ残差スケーリングファクタを導出する。
iii. 代替的には、並置されたルマブロックの第1パーティションにおける中心予測サンプル(または再構成されたサンプル)を使用して、LMCSモードでのクロマ残差スケーリングファクタを導出する。
h) CCLMおよびLMCSなどのクロスコンポーネントツールを適用するかどうか、またはどのように適用するかは、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUのコーディングモードに依存してもよいことを提案する。
i. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUがアフィンモードでコーディングされる場合、クロスコンポーネントツールは無効にされる。
ii. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUが双予測でコーディングされる場合、クロスコンポーネントツールは無効にされる。
iii. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUがBDOFでコーディングされる場合、クロスコンポーネントツールは無効にされる。
iv. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUがDMVRでコーディングされる場合、クロスコンポーネントツールは無効にされる。
v. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUが、JVET-N0217で提案されている行列アフィン変換モードでコーディングされる場合、クロスコンポーネントツールは無効にされる。
vi. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUがインターモードでコーディングされる場合、クロスコンポーネントツールは無効にされる。
vii. たとえば、並置されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCUがISPモードでコーディングされる場合、クロスコンポーネントツールは無効にされる。
viii. 一例では、「並列化されたルマブロックの少なくとも1つのサンプルをカバーする1つ以上のルマCU」は、対応するルマブロックを指してもよい。
i). CCLM/LMCSが禁止されているときに、CCLM/LMCSの使用の指示のシグナリングを省略してもよい。
j). 本開示において、CCLMは、LMモード、LM-Tモード、およびLM-Lモードを含む、CCLMの任意のバリアントモードを指してもよい。
14. CCLMおよびLMCSなどのクロスコンポーネントツールに適用するかどうか、および適用する方法がクロマブロックの一部に対して実行してもよいことを提案する。
a). 一例では、CCLMやLMCSなどのクロスコンポーネントツールをクロマサブブロックレベルで適用するかどうか、および適用する方法。
i. 一例では、クロマサブブロックは、クロマCU内の2×2または4×4ブロックとして定義される。
ii. 一例では、クロマサブブロックに対して、現在のクロマCUの対応するルマコーディングブロックが、サブブロックの対応するブロックのすべてのサンプルをカバーするときに、CCLMを適用してもよい。
iii. 一例では、クロマサブブロックに対して、対応するブロックのすべてのサンプルが現在のクロマCUの対応するルマコーディングブロックによってカバーされていないときに、CCLMは適用されない。
iv. 一例では、CCLMまたはLMCSのパラメータは、サブブロックをクロマCUとして扱うように、各クロマサブブロックに対して導出される。
v. 一例では、CCLMまたはLMCSがクロマサブブロックに適用されるときに、並置されたブロックのサンプルが使用されてもよい。
15. CCLMなどのクロスコンポーネントツールを適用するかどうか、どのように適用するかは、ブロック寸法および/またはパーティション情報および/またはパーティション構造タイプ(たとえば、デュアルツリーまたは単一ツリー)に依存してもよいことを提案する。
a) 一例では、CCLMをクロマデュアルツリーパーティションに対して無効にしてもよい。
b) 一例では、CCLMをブロック寸法に応じて条件付きで無効にしてもよい。
i. 一例では、現在のブロック寸法がWB×HBであるとすると、WB、HB、および2つの整数T1とT2の間の関係に依存して、以下のCCLMを無効にしてもよい。
1) 一例では、WB≧T1かつHB≧T2である場合、CCLMを無効にしてもよい。たとえば、T1=T2=8である。
2) 一例では、WB*HB≧T1である場合、CCLMを無効にしてもよい。たとえば、T1=64である。
3) 一例では、Min(WB,HB)≧T1である場合、CCLMを無効にしてもよい。たとえば、T1=8である。
4) 一例では、Max(WB,HB)≧T1である場合、CCLMを無効にしてもよい。たとえば、T1=8である。
5) 一例では、WB≦T1かつHB≦T2である場合、CCLMを無効にしてもよい。たとえば、T1=T2=16である。
6) 一例では、WB*HB≦T1である場合、CCLMを無効にしてもよい。たとえば、T1=4096である。
7) 一例では、Min(WB,HB)≦T1である場合、CCLMを無効にしてもよい。たとえば、T1=64である。
8) 一例では、Max(WB,HB)≦T1である場合、CCLMを無効にしてもよい。たとえば、T1=64である。
c) 一例では、ブロック寸法および/またはパーティション情報によってCCLMを制限してもよい。
i. 一例では、寸法WB×HBを有するクロマブロックに対して、以下の条件の1つ以上が満たされる場合、CCLMを無効にする。たとえば、WB=HB=32である。以下の箇条書きでは、並置されたルマブロックの寸法は、(sh×WB)×(sv×HB)であってもよく、shとsvはスケーリングファクタである。たとえば、色フォーマットが4:2:0であるときに、sh=sv=2である。
1) 現在のクロマブロックは水平スプリットによるリーフノードにあり、並置されたルマブロックは垂直スプリットによるリーフノードにある。
a) 1つの例では、現在のクロマブロックはSPLIT_TT_HORモードでスプリットされ、並置されたルマブロックはSPLIT_TT_VERモードでスプリットされる。
b) 1つの例では、現在のクロマブロックはSPLIT_TT_HORモードでスプリットされ、並置されたルマブロックはSPLIT_BT_VERモードでスプリットされる。
c) 1つの例では、現在のクロマブロックはSPLIT_BT_HORモードでスプリットされ、並置されたルマブロックはSPLIT_TT_VERモードでスプリットされる。
d) 1つの例では、現在のクロマブロックはSPLIT_BT_HORモードでスプリットされ、並置されたルマブロックはSPLIT_BT_VERモードでスプリットされる。
2) 現在のクロマブロックは垂直スプリットによるリーフノードにあり、並置されたルマブロックは水平スプリットによるリーフノードにある。
a) 一例では、現在のクロマブロックはSPLIT_TT_VERモードでスプリットされ、並置されたルマブロックはSPLIT_TT_HORモードでスプリットされる。
b) 一例では、現在のクロマブロックはSPLIT_TT_VERモードでスプリットされ、並置されたルマブロックはSPLIT_BT_HORモードでスプリットされる。
c) 一例では、現在のクロマブロックはSPLIT_BT_VERモードでスプリットされ、並置されたルマブロックはSPLIT_TT_HORモードでスプリットされる。
d) 一例では、現在のクロマブロックはSPLIT_BT_VERモードでスプリットされ、並置されたルマブロックはSPLIT_BT_HORモードでスプリットされる。
d) 一例では、CCLMがブロックに対して無効にされている場合、CCLMに関係する構文要素は、ブロックにおいてシグナリングされなくてもよい。
i. 代替的には、CCLMがブロックに対して無効にされている場合、CCLMに関係する構文要素はシグナリングされてもよいが、CCLMモードは、適合ビットストリームでブロックにおいて使用されるべきではない。
ii. 代替的には、CCLMがブロックに対して無効にされている場合、CCLMに関係する構文要素がシグナリングされてもよい。
CCLMモードがシグナリングされる場合、planarまたはDCなどのデフォルトモードが適用されてもよい。
LMCSモードにおけるクロマ残差スケーリングの適用性
16. ルマ依存クロマ残差スケーリングを適用できるかどうかは、JVET-M1001で指定されたタイルグループヘッダに加えて、他の構文レベルでシグナリングされてもよいことを提案する。
a) たとえば、chroma_residual_scale_flagは、(たとえば、SPSにおける)シーケンスレベル、(たとえば、PPSまたはピクチャヘッダにおける)ピクチャレベル、(たとえば、スライスヘッダにおける)スライスレベル、タイルレベル、CTU行レベル、CTUレベル、CUレベルでシグナリングされてもよい。1に等しいchroma_residual_scale_flagは、シグナリングされた構文レベル未満のCUに対してクロマ残差スケーリングを有効にすることを指定する。0に等しいchroma_residual_scale_flagは、シグナリングされた構文レベル未満に対してクロマ残留スケーリングを有効にしないことを指定する。chroma_residual_scale_flagが存在しないときに、0に等しいと推論される。
b) 一例では、クロマ残差スケーリングがパーティションノードレベルで制約されている場合。chroma_residual_scale_flagは、シグナリングされず、パーティションノードによってカバーされるCUに対して0であると推論されてもよい。一例では、パーティションノードは、CTUであってもよい(CTUは、4分ツリーパーティションのルートノードとして扱われる)。
c) 一例では、32x32以下のクロマブロックサイズにクロマ残差スケーリングが制約されている場合、chroma_resistance_scale_flagはシグナリングされず、32x32以下のクロマブロックサイズに対して0であると推論されてもよい。
CCLMモードの適用性
17. CCLMモードを適用できるかどうかは、JVET-M1001で指定されたspsレベルに加えて、他の構文レベルでシグナリングされてもよいことを提案する。
a) たとえば、それは、(たとえば、PPSまたはピクチャヘッダにおける)ピクチャレベル、(たとえば、スライスヘッダにおける)スライスレベル、(たとえば、タイルグループヘッダにおける)タイルグループレベル、タイルレベル、CTU行レベル、CTUレベル、CUレベルでシグナリングされてもよい。
b) 一例では、CCLMを適用できない場合、cclm_flagはシグナリングされず、0であると推論されてもよい。
i. 一例では、8x8以下のクロマブロックサイズにクロマ残差スケーリングが制約されている場合、cclm_flagはシグナリングされず、8x8以下のクロマブロックサイズに対して0であると推論されてもよい。
イントラモードとインターモードのクロマ残差スケーリングファクタの導出の統一
18. クロマ残差スケーリングファクタは、ルマブロックを符号化/復号した後に導出され、記憶され、以下のコーディングされたブロックに使用されてもよい。
a) 一例では、ルマブロックにおける特定の予測サンプルまたは/および中間予測サンプルまたは/および再構成されたサンプルまたは/およびループフィルタリング前(たとえば、ブロック解除フィルタまたは/およびSAOフィルタまたは/およびバイラテラルフィルタまたは/およびHadamard変換フィルタまたは/およびALFフィルタによって処理される前)の再構成されたサンプルは、クロマ残差スケーリングファクタの導出に使用されてもよい。
i. たとえば、ルマブロックの下の行または/および右の列における部分サンプルは、クロマ残差スケーリングファクタの導出に使用されてもよい。
b) シングルツリーの場合、イントラモードまたは/およびIBCモードまたはインターモードでコーディングされたブロックを符号化するときに、導出された近隣のブロックのクロマ残差スケーリングファクタは、現在のブロックのスケーリングファクタを導出するために使用されてもよい。
i. 一例では、特定の近隣のブロックを順番にチェックしてもよく、最初の利用可能なクロマ残差スケーリングファクタは、現在のブロックに使用されてもよい。
ii. 一例では、特定の近隣のブロックを順番にチェックしてもよく、スケーリングファクタは、最初のK個の利用可能な近隣のクロマ残差スケーリングファクタに基づいて導出されてもよい。
iii. 一例では、インターモードまたは/およびCIIPモードでコーディングされたブロックに対して、近隣のブロックがイントラモードまたは/およびIBCモードまたは/およびCIIPモードでコーディングされた場合、近隣のブロックのクロマ残差スケーリングファクタは「利用できない」とみなされてもよい。
iv. 一例では、近隣のブロックは、左(または左上)->上(または右上)の順にチェックされてもよい。
代替的には、近隣のブロックは、上(または右上)->左(または左上)の順にチェックされてもよい。
c) セパレートツリーの場合、クロマブロックを符号化するときに、対応するルマブロックが最初に識別される。次いで、導出されたその(たとえば、対応するルマブロック)近隣のブロックのクロマ残差スケーリングファクタは、現在のブロックのスケーリングファクタを導出するために使用されてもよい。
i. 一例では、特定の近隣のブロックを順番にチェックしてもよく、最初に利用可能なクロマ残差スケーリングファクタを現在のブロックに使用してもよい。
ii. 一例では、特定の近隣のブロックを順番にチェックしてもよく、スケーリングファクタは、最初のK個の利用可能な近隣のクロマ残差スケーリングファクタに基づいて導出されてもよい。
d) 近隣のブロックは、予め定義された順序でチェックしてもよい。
i. 一例では、近隣のブロックは、左(または左上)->上(または右上)の順にチェックされてもよい。
ii. 一例では、近隣のブロックは、上(または右上)->左(または左上)の順にチェックされてもよい。
iii. 一例では、近隣のブロックは、左下->左->右上->上->左上の順にチェックされてもよい。
iv. 一例では、近隣のブロックは、左->上->右上->左下->左上の順にチェックされてもよい。
e) 一例では、クロマ残差スケーリングを適用するかどうかは、近隣のブロックの「可用性」に依存してもよい。
i. 一例では、「利用可能な」近隣のブロックがないときに、クロマ残留スケーリングを禁止してもよい。
ii. 一例では、「利用可能な」近隣のブロックの数がK(K>=1)より小さいときに、クロマ残差スケーリングを禁止してもよい。
iii. 代替的には、「利用可能な」近隣のブロックがないときに、クロマ残差スケーリングファクタはデフォルト値によって導出されてもよい。
1) 一例では、デフォルト値1<<(BitDepth-1)を使用して、クロマ残差スケーリングファクタを導出してもよい。
f) 一例では、現在のクロマブロックのクロマ残差スケーリングファクタを記憶し、次のコーディングされたブロックに使用してもよい。
g) 一例では、クロマ残差スケーリングファクタの記憶をラインバッファから除去してもよい。
i. 一例では、現在のブロックとアクセスされる近隣の(隣接または非隣接)ブロックが異なる領域内にあるときに、そのクロマ残留スケーリングファクタは「利用できない」とみなされてもよく、現在のブロックのクロマ残差スケーリングファクタの導出に使用されなくてもよい。
1) 領域は、スライス、タイル、タイルグループ、CTU行、またはCTUであってもよい。
2) 代替的には、そのクロマ残差スケーリングファクタは、そのような場合にデフォルト値としてみなされてもよい。
3) 代替的には、クロマ残差スケーリングは、そのような場合に適用することができない。
h) 一例では、現在のクロマブロックのクロマ残差スケーリングファクタをオンザフライで更新してもよく、以下のブロックのスケーリングファクタ導出のために履歴テーブルに保存してもよい。
i. 履歴テーブルは、FIFO(first-infirst-out)方法で更新してもよい。
ii. クロマブロックを復号/符号化した後、クロマ残差スケーリングファクタが(たとえば、ルマ値にしたがって)導出されてもよく、FIFO履歴テーブルに記憶されてもよい。
iii. 一例では、FIFO履歴テーブルは、多くとも1エントリを含んでもよい。この場合、導出された最新の復号されたブロックのクロマ残差スケーリングファクタは、現在のブロックに使用される。
iv. 一例では、履歴テーブルは、ピクチャおよび/またはスライスおよび/またはタイルグループおよび/またはタイルおよび/またはCTU行および/またはCTUを符号化/復号する前にリフレッシュされる。
1) 一例では、デフォルトのクロマ残差スケーリングファクタは、履歴テーブルがリフレッシュされるときに履歴テーブルに入れてもよい。
2) 一例では、FIFO履歴テーブルがリフレッシュされるときに、履歴テーブルは空にセットされる。
クロマ残差スケーリングのための新しい構文要素
19. 1つ以上の新しい構文要素がシグナリングされて、クロマ残差スケーリングプロセスで使用されるスケーリングファクタを導出してもよいことを提案する。
a) 一例では、LMCSコーディングツールのクロマ残差スケーリングのために、構文要素をLMCS APSデータ(VVC仕様におけるlmcs_data()など)に追加してもよい。
b) 一例では、構文要素は、SPS/スライスヘッダ/タイルグループヘッダ/PPS/ピクチャヘッダ/ブリック/CTU行/CTU/CUなどに追加されてもよい。
i. 構文要素がビデオユニットにおいてシグナリングされる場合、それらはビデオユニットに関連するすべてのブロックにおけるスケーリングファクタを制御してもよい。たとえば、それらがスライスヘッダにおいてシグナリングされる場合、それらは、スライス内のすべてのブロックにおけるスケーリングファクタを制御してもよい。
1) 代替的には、構文要素がビデオユニットにおいてシグナリングされる場合、それらは、ビデオユニットに関連するいくつかのブロックにおけるスケーリングファクタを制御してもよい。
ii. 一例では、構文要素は、VPDUレベルでシグナリングされてもよい。
iii. 一例では、構文要素は、VPDUレベルとCTUレベルとの間でより小さいサイズを有するユニットに対してシグナリングされてもよい。
1) 一例として、CTU幅をW、VPDU幅をW′とする。ユニットは、min(W<W′)にセットされる。
iv. 一例では、CUサイズがVPDUより大きいとき、構文要素は、1つのレベル(たとえば、VPDU)でシグナリングされてもよい。そうでなければ、構文要素は別のレベル(たとえば、CU)でシグナリングされてもよい。
c) 一例では、新しい構文要素、すなわち、たとえば、lmcs_crs_fixed_bin_idxは、クロマ残差スケーリングのためのクロマスケーリングファクタを導出するようにコーディングされてもよい。
i. 一例では、lmcs_crs_fixed_bin_idxを使用して、スケーリングファクタを導出するために使用される代表的なルマ値を提示してもよい。
ii. 代替的には、lmcs_crs_fixed_bin_idxを使用して、ルックアップテーブルChromaScaleCoeffのインデックスなど、スケーリングファクタを導出するために使用されるインデックスを提示してもよい。
iii. 代替的には、さらに、lmcs_crs_fixed_bin_idxの値は[k0,k1]の範囲にあるものとする。一例では、lmcs_crs_fixed_bin_idxの範囲は、クロマスケーリング構成プロセスによるルナマッピングにおける最小(たとえば、lmcs_min_bin_idx)および/または最大ビンインデックスの範囲、たとえば、[0,15]に等しくセットされてもよい。
1) 一例では、lmcs_crs_fixed_bin_idxは、適合したビットストリームの有効な範囲になければなりません。
2) 一例では、lmcs_crs_fixed_bin_idxは、有効な範囲になければならない方式でコーディングされる。
iv. 代替的には、さらに、lmcs_crs_fixed_bin_idxは、固定長、切り捨てられた単項、単項、exp-golombコーディングでコーディングされてもよい。
v. 代替的には、さらに、lmcs_crs_fixed_bin_idxは、クロマスケーリング構成プロセスによるルナマッピングにおいて使用される最小および最大ビンインデックスの平均を使用することなどにより、(たとえば、(lmcs_min_bin_idx+lmcs_max_bin_idx+offset)>>1)予測的にコーディングされてもよく、オフセットが予測として0または1にセットされている。代替的には、lmcs_min_bin_idxまたはlmcs_max_bin_idxが、予測として使用されてもよい。
vi. 代替的には、lmcs_crs_fixed_bin_idxは条件付きでコーディングされる。
1) 一例では、現在の色フォーマットが4:0:0でないとき。
2) 一例では、別々の平面コーディングが無効になっているとき。
3) 一例では、ChromaArrayTypeが0に等しくないとき。
4) 一例では、クロマ残差スケーリングが有効になっているとき。
d) 一例では、新しい構文要素によって導出された固定クロマスケーリングファクタが、同じLMCSモデルを共有するすべてのクロマ残差スケーリングブロックに使用されてもよい。
i. 一例では、lmcs_crs_fixed_bin_idxによってインデックス付けされた固定クロマスケーリングファクタが、IDR/CRA/IRAPピクチャに一度計算され、IDR/CRA/IRAPピクチャのすべてのブロックに使用される。
ii. 一例では、lmcs_crs_fixed_bin_idxによってインデックス付けされた固定クロマスケーリングファクタが、IDR/CRA/IRAPピクチャに一度計算され、次のIDR/CRA/IRAPピクチャの前のインターコーディングされたピクチャの全てのブロックに使用される。
e) 一例では、構文要素(たとえば、フラグ)は、ビデオユニット/領域におけるすべてのブロック(CTU/VPDU/CUなど)が同じスケーリングファクタを共有するかどうかを表すために、シグナリングまたは導出されてもよい。
i. 一例では、ビデオユニット/領域は、シーケンス/ピクチャ/スライス/タイル/ブリック/CTU行/CTU/VPDUなどであってもよい。
ii. 一例では、構文要素は、SPS/スライスヘッダ/タイルグループヘッダ/PPS/ピクチャヘッダ/ブリック/CTU行/CTU/VPDUレベルなどでシグナリングされてもよい。
iii. 一例では、ビデオユニット/領域におけるすべてのブロック(CTU/VPDU/CUなど)が同じスケーリングファクタを共有しないことを構文要素が示す場合、1つ以上の余分な構文要素が、1つ以上のブロックのスケーリングファクタを示すために、シグナリングまたは導出されてもよい。
f) 一例では、同じスケーリングファクタを共有するビデオユニットにおけるCTU/VPDU/CU(Tと示す)の数は、シーケンス/ピクチャ/スライス/タイル/ブリック/CTU行/CTU/VPDUなどのビデオ領域レベルでシグナリングまたは導出されてもよい。
i. 一例では、同じスケーリングファクタを共有するビデオユニットにおいてCTU/VPDU/CU(Tと示す)の数は、(T-1)がTの代わりにコーディングされるなどの予測的な方法でコーディングされてもよく、代替的には、(ビデオユニット-T内のCTU/VPDU/CUの数)が代わりにコーディングされてもよい。
ii. 一例では、同じスケーリングファクタを共有するビデオユニットにおいてCTU/VPDU/CU(Tと示す)の数は、SPS/スライスヘッダ/タイルグループヘッダ/PPS/ピクチャヘッダ/ブリック/CTU行/CTU/VPDUレベルなどでシグナリングされてもよい。
iii. 一例では、ビデオユニット内のすべてのT個の連続したCTU/VPDU/CUは、同じスケーリングファクタを共有してもよい。
1) 第1のCTU/VPDU/CUおよび第2のCTU/VPDU/CUは、第1のCTU/VPDU/CUが復号された後に第2のCTU/VPDU/CUが復号される場合、連続として定義される。
iv. 一例では、Tは、現在のビデオユニットにおけるCTU/VPDU/CUの数と等しくてもよい。
v. 一例では、Tは、[T1,T2]の範囲(両端を含む)にあってもよい。たとえば、T1は1に等しく、T2は現在のビデオユニットにおけるCTU/VPDU/CUの数に等しい。
1) 一例では、Tは、範囲にしたがってシグナリングされてもよい。たとえば、T-T1はシグナリングされてもよく、T-T1の最大シグナリング値はT2-T1である。
2) 一例では、Tは適合したビットストリームから解析された範囲になければならない。
vi.一例では、Tは予測的な方法でコーディングされてもよい。
1) 一例では、Tは、固定数によって予測されてもよい。
2) 一例では、Tは、その以前にコーディングされたビデオユニット/領域の情報を使用して予測的な方法でコーディングされてもよい。
a) たとえば、同じスケーリングファクタを共有する第1のビデオユニットにおいてCTU/VPDU/CU(T1と示す)の数は、同じスケーリングファクタを共有する第2のビデオユニットにおけるCTU/VPDU/CU(T2と示す)の数によって予測されてもよい。
vii. T(予測後であってもよい)は、単項/切り捨てられた単項/固定長/指数関数的ゴロム/切り捨てられた2値コードとして2値化されてもよい。
viii. T(予測後であってもよい)は、1つ以上のコンテキストを使用して、コンテキストまたは算術コーディングなしで、バイパスコーディングによりコーディングされてもよい。
ix. 一例では、Tは複数の変数から導出されてもよく、これはシグナリングされてもよい。
1) たとえば、TがM×Nに等しいとき、MおよびNはTの代わりにシグナリングされてもよい。
a) Tについてこの箇条書きで開示されている方法は、Mおよび/またはNにも適用してもよい。
g) 一例では、同じスケーリングファクタを共有するビデオユニットにおいてCTU/VPDU/CUの領域は、SPS/スライスヘッダ/タイルグループヘッダ/PPS/ピクチャヘッダ/ブリック/CTU行レベル/CTU/VPDUなどでシグナリングまたは導出されてもよい。
i. 一例では、ビデオユニットがラスタ走査順序である数のCTU/VPDU/CUを含む場合、同じスケーリングファクタを共有するビデオユニットにおけるCTU/VPDU/CUの領域は、最初のCTU/VPDU/CUアドレス(またはインデックス)および/または最後のCTU/VPDU/CUアドレス(またはインデックス)および/またはCTU/VPDU/CUの数によって表されてもよい。
1) 一例では、最初のCTU/VPDU/CUアドレス(インデックス)および最後のCTU/VPDU/CUインデックスは、シグナリングされてもよい。
2) 一例では、最初のCTU/VPDU/CUインデックスと、同じスケーリングファクタを共有するCTU/VPDU/CUの数とが、シグナリングされてもよい。
ii. 一例では、ビデオユニットが、ピクチャ内の矩形領域を集合的に形成するある数のCTU/VPDU/CUを含む場合、同じスケーリングファクタを共有するビデオユニットにおいてCTU/VPDU/CUの領域は、左上のCTU/VPDU/CUアドレス(またはインデックス)および右下のCTU/VPDU/CUアドレス(またはインデックス)によって表わされてもよい。
1) 一例では、左上のCTU/VPDU/CUアドレス(またはインデックス)および右下のCTU/VPDU/CUアドレス(またはインデックス)がシグナリングされてもよい。
2) 一例では、最初のCTU/VPDU/CUアドレス(またはインデックス)および最後のCTU/VPDU/CUインデックスは、シグナリングされてもよい。
3) 一例では、最初のCTU/VPDU/CUアドレス(またはインデックス)と、同じスケーリングファクタを共有するCTU/VPDU/CUの数とが、シグナリングされてもよい。
iii. 一例では、領域は、その幅(Wと示す)および高さ(Hと示す)として定義される。Wは、ビデオユニット/領域においてW個のCTU/VPDU/CUがあることを意味してもよく、Hは、ビデオユニット/領域においてH個のCTU/VPDU/CUがあることを意味してもよい。
1) 一例では、同じのクロマスケーリングファクタを共有する領域においてコーディングされたCTU/VPDU/CUの数は、領域の1つ以上の部分が現在のピクチャ、スライス、タイルまたはレンガから外れている場合、W×H未満であってもよい。
2) 一例では、Wは、現在のビデオユニットの幅に沿ったCTU/VPDU/CU数と等しくてもよい。
3) 一例では、Hは、現在のビデオユニットの高さに沿ったCTU/VPDU/CU数と等しくてもよい。
4) 一例では、Wは、[W1,W2]の範囲(両端を含む)にあってもよい。たとえば、W1は1に等しく、W2は現在のビデオユニットのCTU行のCTU数に等しい。
a) 一例では、Wは、範囲にしたがってシグナリングされてもよい。たとえば、W-W1はシグナリングされ、W-W1の最大シグナリング値はW2-W1である。
b) 一例では、Wは適合したビットストリームから解析された範囲になければならない。
5) 一例では、Hは、[H1,H2]の範囲(両端を含む)にあってもよい。たとえば、H1は1に等しく、H2は現在のビデオユニットのCTU列のCTU数に等しい。
a) 一例では、Hは、範囲にしたがってシグナリングされてもよい。たとえば、H-H1はシグナリングされ、H-H1の最大シグナリング値はH2-H1である。
b) 一例では、Hは適合したビットストリームから解析された範囲になければならない。
6) 一例では、WまたはHは、予測的な方法でコーディングされてもよい。
a) 一例では、WまたはHは、固定数によって予測されてもよい。
b) 一例では、WまたはHは、以前にコーディングされたビデオユニット/領域の情報を使用して予測的な方法でコーディングされてもよい。
i. たとえば、同じスケーリングファクタを共有する第1の領域のWまたはHは、同じスケーリングファクタを共有する第2の領域のWまたはHによって予測されてもよい。
7) WまたはH(予測後であってもよい)は、単項/切り捨てられた単項/固定長/指数関数的ゴロム/切り捨てられた2値コードとして2値化されてもよい。
8) WまたはH(予測後であってもよい)は、1つ以上のコンテキストを使用したコンテキストまたは算術コーディングなしで、バイパスコーディングでコーディングされてもよい。
iv. 一例では、W×HのCTU/VPDU/CUを有する第1の領域およびW×H のCTU/VPDU/CUを有する第2の領域は、順次復号されてもよい。
v. 一例では、2つの領域におけるCTUは、インターリーブ方式で復号されてもよい。
- たとえば、復号順序は、第1の領域の第1の行におけるCTUであってもよい。
- 第2の領域の最初の行におけるCTU。
- 第1の領域の最初の行におけるCTU。
- 第2の領域の第2の列におけるCTU。
- 第1の領域の2行におけるCTU。
20. クロマスケーリングファクタの指示は、連続するビデオユニット/領域間で予測コーディングされてもよい。
a) 一例では、各ビデオユニット/領域がクロマ残差スケーリング情報をシグナリングするために、構文要素(たとえば、フラグ)が、それが以前にコーディングされたビデオユニット/領域と同じであるかどうかを示すために、シグナリングまたは導出されてもよい。
b) 一例では、現在のビデオユニットのクロマスケーリングファクタと以前のビデオユニットのクロマスケーリングファクタとの間の差がシグナリングされてもよい。
i. たとえば、1つ以上の構文要素は、差を示すためにシグナリングされてもよい。
1) 一例では、絶対デルタおよびデルタ符号フラグなどの2つの構文要素が、差を表すためにシグナリングされてもよい。
a) 一例では、デルタ符号フラグが、絶対デルタにしたがって条件付きでシグナリングされてもよい。一例では、絶対デルタが0に等しい場合、デルタ符号フラグはシグナリングされない。
ii. たとえば、差がシグナリングされない場合、0であると推論され、シグナリングされたクロマスケーリングファクタが以前のクロマスケーリングファクタと同じであることを意味してもよい。
21. 本発明における用語「スケーリングファクタ」は、スケーリングファクタインデックスまたはスケーリングファクタ値を指してもよい。「同じスケーリングファクタを共有する」とは、「同じスケーリングファクタインデックスを共有する」または「同じスケーリングファクタ値を共有する」ことを指してもよい。
a) 一例では、ブロックにおけるサンプルは同じスケーリングファクタインデックスを共有してもよいが、それらは異なるスケーリングファクタ値を有してもよい。
b) 一例では、ブロックにおけるサンプルは同じスケーリングファクタインデックスを共有してもよいが、それらは同じスケーリングファクタ値を有してもよい。
22. 本発明のビデオユニット/領域は、シーケンス/GOP(Pictures of Pictures)/イントラピリオド/ピクチャ/スライス/タイル/ブリック/VPDU/CTU 行/CTUのグループ/CTU/CUを指してもよい。
5. 実施形態
5.1 実施形態1
以下に論じる例示的な実施形態は、セクション4の項目11の例示的な方法についてのものである。
新たに追加された部分は下線および太字のテキストで示し、VVCのワーキングドラフトから削除された部分、二重角括弧[[..]]および太字で示す。
修正は、最新のVVCワーキングドラフト(JVET-M1007-v7)とJVET-N220-v3での新しい採択に基づく。
8.7.5.4 クロマサンプルに対するルマ依存クロマ残差スケーリングプロセスによるピクチャ再構成
このプロセスへの入力は、以下のようである。
- 現在のピクチャの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
このプロセスの出力は、再構成されたクロマピクチャサンプルアレイrecSamplesである。
(外3)
Figure 0007460748000026
再構成されたクロマピクチャサンプルrecSamplesは、i=0..nCurrSw-1、j=0..nCurrSh-1について以下のように導出される。
(外4)
Figure 0007460748000027
Figure 0007460748000028
変数idxYInvは、invAvgLumaを入力、idxYInvを出力として、8.7.5.3.2項に指定されている区分関数インデックスの識別を呼び出すことによって導出される。
2. 変数varScaleは、以下のように導出される。
Figure 0007460748000029
- recSamplesは、以下のように導出される。
- tu_cbf_cIdx[xCurr][yCurr]が1に等しい場合、以下を適用する。
Figure 0007460748000030
- そうでなければ(tu_cbf_cIdx[xCurr][yCurr]が0に等しい場合)、以下を適用する。
Figure 0007460748000031
5.2 実施形態2
以下の実施形態は、本発明の説明の項目11の方法についてのものである。
新たに追加された部分は、下線と太字で示し、VVCのワーキングドラフトから削除された部分は、二重角括弧[[..]]と太字のテキストで示す。
修正は、最新のVVCワーキングドラフト(JVET-M1007-v7)とJVET-N220-v3での新しい採択に基づく。
実施形態#2と#1の相違点は以下のように挙げられる。
- 複数の近隣のルマサンプルをチェックし、クロマ残差スケーリングファクタを導出する。
- 近隣のルマサンプルが利用できないとき、または、近隣のルマがINTRA/CIIP/IBCモードでコーディングされる一方で、現在のものがINTERモードでコーディングされるときに、#2はクロマ残差スケーリングファクタの導出にデフォルト値を使用する。
8.7.5.4 クロマサンプルに対するルマ依存クロマ残差スケーリングプロセスによるピクチャ再構成
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
このプロセスの出力は、再構成されたクロマピクチャサンプルアレイrecSamplesである。
(外5)
Figure 0007460748000032
Figure 0007460748000033
再構成されたクロマピクチャサンプルrecSamplesは、i=0..nCurrSw-1、j=0..nCurrSh-1について以下のように導出される。
- tile_group_chroma_residual_scale_flagが0に等しいか、またはnCurrSw*nCurrShが4以下の場合、以下を適用する。
Figure 0007460748000034
- そうでなければ(tile_group_chroma_residual_scale_flagが1に等しく、nCurrSw*nCurrShが4より大きい場合)、以下を適用する。
- 変数varScaleの導出では、以下の順序付けされたステップを適用する。
- 変数invAvgLumaは、以下のように導出される。
Figure 0007460748000035
変数idxYInvは、invAvgLumaを入力、idxYInvを出力として、8.7.5.3.2項に指定されている区分関数インデックスの識別を呼び出すことによって導出される。
- 変数varScaleは、以下のように導出される。
Figure 0007460748000036
- recSamplesは、以下のように導出される。
- tu_cbf_cIdx[xCurr][yCurr]が1に等しい場合、以下を適用する。
Figure 0007460748000037
- そうでなければ(tu_cbf_cIdx[xCurr][yCurr]が0に等しい場合)、以下を適用する。
Figure 0007460748000038
5.3 実施形態3
以下の実施形態は、本発明の説明の項目12の方法についてのものである。
新たに追加された部分は太字の斜体で強調表示され、VVCのワーキングドラフトから削除された部分は二重角括弧[[..]]と太字のテキストで強調表示される。
修正は、最新のVVCワーキングドラフト(JVET-M1007-v7)とJVET-N220-v3での新しい採択に基づく。
8.7.5.4 クロマサンプルに対するルマ依存クロマ残差スケーリングプロセスによるピクチャ再構成
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
このプロセスの出力は、再構成されたクロマピクチャサンプルアレイrecSamplesである。
再構成されたクロマピクチャサンプルrecSamplesは、i=0..nCurrSw-1、j=0..nCurrSh-1について以下のように導出される。
(外6)
Figure 0007460748000039
Figure 0007460748000040
5.4 実施形態4
以下の実施形態は、本発明の説明の項目12の方法についてのものである。
新たに追加された部分は、太字の斜体で強調表示され、VVCのワーキングドラフトから削除された部分は、二重角括弧[[..]]で強調表示される。
修正は、最新のVVCワーキングドラフト(JVET-M1007-v7)とJVET-N220-v3での新しい採択に基づく。
8.7.5.4 クロマサンプルに対するルマ依存クロマ残差スケーリングプロセスによるピクチャ再構成
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
このプロセスの出力は、再構成されたクロマピクチャサンプルアレイrecSamplesである。
再構成されたクロマピクチャサンプルrecSamplesは、i=0..nCurrSw-1、j=0..nCurrSh-1について以下のように導出される。
- slice_chroma_residual_scale_flagが0に等しいか、またはnCurrSw*nCurrShが4以下の場合、以下を適用する。
Figure 0007460748000041
- そうでなければ(slice_chroma_residual_scale_flagが1に等しく、nCurrSw*nCurrShが4より大きい場合)、以下を適用する。
- 変数varScaleの導出では、以下の順序付けされたステップを適用する。
1. 変数invAvgLumaは、以下のように導出される。
Figure 0007460748000042
2. 変数idxYInvは、invAvgLumaを入力、idxYInvを出力として、8.7.5.3.2項に指定されている区分関数インデックスの識別を呼び出すことによって導出される。
3. 変数varScaleは、以下のように導出される。
Figure 0007460748000043
- recSamplesは、以下のように導出される。
- tu_cbf_cIdx[xCurr][yCurr]が1に等しい場合、以下を適用する。
Figure 0007460748000044
- そうでなければ(tu_cbf_cIdx[xCurr][yCurr]が0に等しい場合)、以下を適用する。
Figure 0007460748000045
5.5 実施形態5
以下の実施形態は、本発明の説明の項目12の方法についてのものである。
新しく追加された部分は、太字の斜体で強調表示され、VVCワーキングドラフトから削除された部分は、二重角括弧[[..]]強調表示される。修正は、最新のVVCワーキングドラフト(JVET-M1007-v7)とJVET-N220-v3での新しい採択に基づく。
7.4.5.4 クロマスケーリングデータセマンティクスによるルママッピング
変数ChromaScaleCoeff[i](i=0...15)は、以下のように導出される。
(外7)
Figure 0007460748000046
8.7.5.4 クロマサンプルに対するルマ依存クロマ残差スケーリングプロセスによるピクチャ再構成
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
このプロセスの出力は、再構成されたクロマピクチャサンプルアレイrecSamplesである。
再構成されたクロマピクチャサンプルrecSamplesは、i=0..nCurrSw-1、j=0..nCurrSh-1について以下のように導出される。
- slice_chroma_residual_scale_flagが0に等しいか、nCurrSw*nCurrShが4以下の場合、以下を適用する。
Figure 0007460748000047
- そうでなければ(slice_chroma_residual_scale_flagが1に等しく、nCurrSw*nCurrShが4より大きい場合)、以下を適用する。
- [[
- 変数varScaleの導出では、以下の順序付けされたステップを適用する。
1. 変数invAvgLumaは、以下のように導出される。
Figure 0007460748000048
2. 変数idxYInvは、invAvgLumaを入力、idxYInvを出力として、8.7.5.3.2項に指定されている区分関数インデックスの識別を呼び出すことによって導出される。
3. 変数varScaleは、以下のように導出される。
Figure 0007460748000049
]]
- recSamplesは、以下のように導出される。
- tu_cbf_cIdx[xCurr][yCurr]が1に等しい場合、以下を適用する。
Figure 0007460748000050
- そうでなければ(tu_cbf_cIdx[xCurr][yCurr]が0に等しい場合)、以下を適用する。
Figure 0007460748000051
5.6 実施形態6
以下の実施形態は、前項のリストの項目19の方法についてのものである。
JVET-N1001-v8で指定されているワーキングドラフトは、以下のように変更されてもよい(強調のために下線または太字の斜体を使用、削除には文字列)。
7.3.5.4 クロマスケーリングデータ構文によるルママッピング
Figure 0007460748000052
7.4.6.4 クロマスケーリングデータセマンティクスによるルママッピング
(外8)
Figure 0007460748000053
変数ChromaScaleCoeff[i](i=0...15)は、以下のように導出される。
(外9)
Figure 0007460748000054
8.7.5.3 クロマサンプルに対するルマ依存クロマ残差スケーリングプロセスによるピクチャ再構成
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のクロマ変換ブロックのコーディングされたブロックフラグを指定する変数tuCbfChroma
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
このプロセスの出力は、再構成されたクロマピクチャサンプルアレイrecSamplesである。
再構成されたクロマピクチャサンプルrecSamplesは、i=0..nCurrSw-1、j=0..nCurrSh-1について以下のように導出される。
- 次の条件のうちの1つがtrueである場合、recSamples[xCurr+i][yCurr+j]は、Clip1C(presamples[i][j]+resSamples[i][j])に等しくセットされる。
- slice_chroma_residual_scale_flagが0に等しい
- nCurrSw*nCurrShが4以下である
- tu_cbf_cb[xCurr][yCurr]が0に等しく、tu_cbf_cr[xCurr][yCurr]が0に等しい
- そうでなければ、以下を適用する。
- [[
- 変数varScaleの導出では、以下の順序付けされたステップを適用する。
1. 変数invAvgLumaは、以下のように導出される。
Figure 0007460748000055
2. 変数idxYInvは、入力をinvAvgLumaに等しくセットされた変数lumaSampleとし、出力をidxYInvとして、8.8.2.3項で指定されたルマサンプルのための区分関数インデックスプロセスの識別を呼び出すことによって導出される。
3. 変数varScaleは、以下のように導出される。
Figure 0007460748000056
]]
- recSamplesは、以下のように導出される。
- tuCbfChromaが1に等しい場合、以下を適用する。
Figure 0007460748000057
- そうでなければ(tu_cbfが0に等しい場合)、以下を適用する。
Figure 0007460748000058
5.7 実施形態7
以下の実施形態は、本発明の説明の項目12の方法についてのものである。
JVET-N1001-v8で指定されているワーキングドラフトは、以下のように変更してもよい。
7.4.6.4 クロマスケーリングデータセマンティクスによるルママッピング
変数ChromaScaleCoeff[i](i=0...15)は、以下のように導出される。
(外10)
Figure 0007460748000059
8.7.5.3 クロマサンプルに対するルマ依存クロマ残差スケーリングプロセスによるピクチャ再構成
このプロセスへの入力は、以下のようである。
- 現在のサンプルの左上のサンプルに対する現在の変換ブロックの左上のサンプルの位置(xCurr,yCurr)
- 変換ブロック幅を指定する変数nCurrSw
- 変換ブロック高さを指定する変数nCurrSh
- 現在のクロマ変換ブロックのコーディングされたブロックフラグを指定する変数tuCbfChroma
- 現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples
- 現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
このプロセスの出力は、再構成されたクロマピクチャサンプルアレイrecSamplesである。
再構成されたクロマピクチャサンプルrecSamplesは、i=0..nCurrSw-1、j=0..nCurrSh-1について以下のように導出される。
- 以下の条件のうちの1つがtrueである場合、recSamples[xCurr+i][yCurr+j]は、Clip1C(preSamples[i][j]+resSamples[i][j])に等しくセットされる。
- slice_chroma_residual_scale_flagが0に等しい。
- nCurrSw*nCurrShが4以下である。
- tu_cbf_cb[xCurr][yCurr]が0に等しく、tu_cbf_cr[xCurr][yCurr]が0に等しい。
- そうでなければ、以下を適用する。
- [[
- 変数varScaleの導出では、以下の順序付けされたステップを適用する。
1. 変数invAvgLumaは、以下のように導出される。
Figure 0007460748000060
2. 変数idxYInvは、入力をinvAvgLumaに等しくセットされた変数lumaSampleとし、出力をidxYInvとして、8.8.2.3項で指定されたルマサンプルのための区分関数インデックスプロセスの識別を呼び出すことによって導出される。
3. 変数varScaleは、以下のように導出される。
Figure 0007460748000061
]]
- recSamplesは、以下のように導出される。
- tuCbfChromaが1に等しい場合、以下を適用する。
Figure 0007460748000062
- そうでなければ(tu_cbfが0に等しい場合)、以下を適用する。
Figure 0007460748000063
6.開示された技術の例示的な実装
図10は、ビデオ処理装置1000のブロック図である。装置1000は、本明細書に記載される方法のうちの1つ以上を実装するために使用されてもよい。装置1000は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機などで具体化されてもよい。装置1000は、1つ以上のプロセッサ1002、1つ以上のメモリ1004、およびビデオ処理ハードウェア1006を含んでもよい。プロセッサ1002は、本文書に記載される1つ以上の方法(方法800および900を含むが、これらに限定されない)を実装するように構成されてもよい。メモリ(複数のメモリ)1004は、本明細書に記載される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用されてもよい。ビデオ処理ハードウェア1006は、ハードウェア回路において、本文書に記載されるいくつかの技術を実装するために使用されてもよい。
いくつかの実施形態において、ビデオコーディング方法は、図10に関して記載されるようにハードウェアプラットフォーム上に実装される装置を使用して実装されてもよい。
図11は、開示された技術に従った、クロスコンポーネント予測のための線形モデル導出のための例示的な例1100のフローチャートを示す。本方法1100は、ステップ1110において、現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換を実行することを含み、変換中、現在のビデオブロックの第2のセットの色コンポーネント値は、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値から導出され、第1のセットの色コンポーネント値は、ビデオコーディングステップの線形モデルにおいて使用可能である。
いくつかの実施形態は、以下の項ベースのフォーマットを使用して記載されてもよい。
(項1)ビデオ処理のための方法であって、
現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換を実行することを含み、変換中、現在のビデオブロックの第2のセットの色コンポーネント値は、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値から導出され、第1のセットの色コンポーネント値は、ビデオコーディングステップの線形モデルにおいて使用可能である、方法。
(項2)第1のセットの色コンポーネント値は、ビデオコーディングステップの線形モデルにおいて使用する前に補間される、項1に記載の方法。
(項3)第1のセットの色コンポーネント値の線形結合が、線形モデルにおけるパラメータとして使用可能である、項1~2のいずれか一項に記載の方法。
(項4)1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値の位置は、少なくとも部分的に、現在のビデオブロックの動き情報に基づいて選択される、項1に記載の方法。
(項5)1つ以上の参照フレームにおけるルマコンポーネント値の位置は、現在のビデオブロックにおける対応するルマコンポーネント値の位置と、現在のビデオブロックの動き情報とから計算される、項4に記載の方法。
(項6)対応するルマコンポーネント値の位置は、現在のビデオブロックにおける左上のサンプル、中央のサンプル、または右下のサンプルである、項5に記載の方法。
(項7)現在のビデオブロックの動き情報は、整数動きベクトルまたは分数動きベクトルに対応する、項6に記載の方法。
(項8)分数動きベクトルは、1つ以上の参照フレームにおける分数ルマコンポーネント値を使用して導出される、項7に記載の方法。
(項9)整数運動ベクトルは、ゼロに近づくか、ゼロから離れるように丸めることによって導出される、項7に記載の方法。
(項10)1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値の位置は、予め定義された位置である、項1に記載の方法。
(項11)第1のセットの色コンポーネント値の中央値または平均値が、現在のビデオブロックの第2のセットの色コンポーネント値を導出するために使用される、項1~10のいずれか一項に記載の方法。
(項12)1つ以上の参照フレームが予め定義された参照フレームである、項1~11のいずれか一項に記載の方法。
(項13)予め定義された参照フレームは、参照ピクチャリストの参照インデックスを有するフレームを含む、項12に記載の方法。
(項14)参照インデックスはゼロであり、参照ピクチャリストはゼロである、項13に記載の方法。
(項15)参照インデックスおよび/または参照ピクチャリストは、シーケンス、ピクチャ、タイル、グループ、スライス、タイル、コーディングツリーユニット、またはビデオブロックのうちの1つ以上に関連するビットストリーム表現においてシグナリングされる、項13載の方法。
(項16)現在のビデオブロックの第2のセットの色コンポーネント値は、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値の数学的平均または加重平均から導出される、項1に記載の方法。
(項17)現在のビデオブロックの第2のセットの色コンポーネント値は、現在のビデオブロックが双予測でコーディングされたブロックであるかどうかに基づいて、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値から選択的に導出される、項1に記載の方法。
(項18)現在のビデオブロックの第2のセットの色コンポーネント値は、第1のセットの色コンポーネント値の第1の各予測方向に対して個別に導出される、項17に記載の方法。
(項19)現在のビデオブロックの第2のセットの色コンポーネント値は、現在のビデオブロックがサブブロックベースの予測に関連するかどうかに基づいて、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値から選択的に導出される、項1に記載の方法。
(項20)サブブロックベースの予測は、アフィン予測または代替時間的動きベクトル予測(ATMVP)に対応する、項1に記載の方法。
(項21)現在のビデオブロックの第2のセットの色コンポーネント値は、個々のサブブロックに対して導出される、項19~20のいずれか1つ以上に記載の方法。
(項22)現在のビデオブロックの第2のセットの色コンポーネント値は、サブブロックベースの予測にかかわらず、現在のビデオブロック全体に対して導出される、項19~21のいずれか1つ以上に記載の方法。
(項23)1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値は、少なくとも部分的に、現在のビデオブロックのサブブロックの動きベクトルに基づいて選択される、項19~22のいずれか1つ以上に記載の方法。
(項24)1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値は、中間色コンポーネント値である、項1~23のいずれか1つ以上に記載の方法。
(項25)ビデオコーディングステップは、別のビデオコーディングステップに先行する、項1~24のいずれか1つ以上に記載の方法。
(項26)1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値は、現在のビデオブロックまたは現在のビデオブロックのサブブロックの中間動きベクトルに少なくとも部分的に基づいて選択され、中間動きベクトルは、別のビデオコーディングステップの前に計算される、項25に記載の方法。
(項27)別のビデオコーディングステップは、BDOF(Bi-Directional Optical Flow)ステップ、DMVR(decoder-side motion vector refinement)ステップ、PROF(prediction refinement optical flow)ステップの1つまたはその組み合わせを含む、項24~26のいずれか1つ以上に記載の方法。
(項28)1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値が、対応するルマブロックに関連するMxNルマコンポーネント値に対応する、項1~27のいずれか1つ以上に記載の方法。
(項29)対応するルマブロックは、現在のビデオブロックの並置されたルマブロックである、項28に記載の方法。
(項30)MとNの積が、現在のビデオブロックの並置されたルマブロックのブロック幅とブロック高さの積より小さい、項29に記載の方法。
(項31)1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値は、並置されたルマブロックの近隣のルマサンプルの位置で識別された参照サンプルの少なくとも一部分に対応する、項27~30のいずれか1つ以上に記載の方法。
(項32)第1のセットの色コンポーネント値は、ビデオコーディングステップの線形モデルにおいて使用する前に、ダウンサンプリングされる、項1~31のいずれか1つ以上に記載の方法。
(項33)現在のビデオブロックの第2のセットの色コンポーネント値は、現在のビデオブロックの量子化パラメータ、コーディングモード、またはPOC(picture order count)のうちの1つ以上の情報に少なくとも部分的に基づいて選択される、項1に記載の方法。
(項34)近隣のルマサンプルの位置は、並置されたルマブロックの左上のサンプルがカバーされるようにする、項31に記載の方法。
(項35)1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値は、対応するルマブロックの外部の位置で識別された参照サンプルの少なくとも一部分に対応する、項28に記載の方法。
(項36)現在のビデオブロックの第2のセットの色コンポーネント値は、対応するルマブロックの近隣のサンプルの可用性に基づいて、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値から選択的に導出される、項28に記載の方法。
(項37)対応するルマブロックの近隣のサンプルの可用性は、現在のビデオブロックのコーディングモードの使用、対応するルマブロックの近隣のサンプルのコーディングモードの使用、対応するルマブロックのコーディングモードの使用、1つ以上の近隣のビデオブロックのコーディングモードの使用、対応するルマブロックの近隣のサンプルに関連するタイプのフィルタの使用、または現在のビデオブロックまたはそのサブブロックに対する対応するルマブロックの近隣のサンプルの位置のうちの1つ以上に基づく。
(項38)
対応するルマブロックの近隣のサンプルが利用できないことに応答して、利用できないサンプルを他のサンプルで、置換する、充填する、またはパディングすることをさらに含む、項28に記載の方法。
(項39)
対応するルマブロックに近隣のサンプルに平滑化フィルタを適用することをさらに含む、項28に記載の方法。
(項40)ビデオ処理のための方法であって、
現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換を実行することであって、変換中、現在のビデオブロックの第2のセットの色コンポーネント値は、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値から導出され、第1のセットの色コンポーネント値は、ビデオコーディングステップの線形モデルにおいて使用可能である、ことと、
1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値が現在のビデオブロックの並置されたルマブロックであると決定することに応答して、現在のビデオブロックの並置されたルマブロックに関連する1つ以上の条件に基づいて、現在のビデオブロックの第2のセットの色コンポーネント値の導出を選択的に有効または無効にすることと、を含む、方法。
(項41)現在のビデオブロックの並置されたルマブロックに関連する1つ以上の条件は、並置されたルマブロックのパーティションサイズ、並置されたルマブロックのいくつかのコーディングユニットの数が閾値を達すること、並置されたルマブロックの左上のルマサンプルが閾値を達すること、並置されたルマブロックのパーティションツリーの深度、並置されたルマブロックの左上のルマサンプルをカバーする対応するルマブロック、並置されたルマブロックもしくは現在のビデオブロックの寸法、または対応するルマブロックが、並置されたルマブロックの左上のルマサンプルをカバーし、予め定義されたサイズのバウンディングボックス内に追加的に含まれることを含む、項40に記載の方法。
(項42)導出を選択的に有効または無効にすることを示す情報は、ビットストリーム表現に含まれる、項40に記載の方法。
(項43)対応するルマブロックの近隣のサンプルの可用性は、予め定義された順序にしたがって近隣のサンプルをチェックすることに関連する、項28に記載の方法。
(項44)並置されたルマブロックおよび現在のビデオブロックは、同じコーディングツリーユニットまたはコーディングツリーユニットの同じ行に関連する、項41に記載の方法。
(項45)ビデオ処理のための方法であって、
現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換を実行することであって、変換中、現在のビデオブロックの第2のセットの色コンポーネント値は、1つ以上の参照フレームに含まれる第1のセットの色コンポーネント値から導出され、第1のセットの色コンポーネント値は、ビデオコーディングステップの線形モデルにおいて使用可能である、ことと、
現在のビデオブロックまたは現在のビデオブロックの近隣のビデオブロックの1つ以上のプロパティが満たされると決定することに応答して、現在のビデオブロックの第2のセットの色コンポーネント値の導出を選択的に有効または無効にすることと、を含む方法。
(項46)現在のビデオブロックまたは現在のビデオブロックの近隣のビデオブロックの1つ以上のプロパティは、現在のビデオブロックの空間位置に対する空間位置をカバーする近隣のルマブロックに対応する、項45に記載の方法。
(項47)現在のビデオブロックまたは現在のビデオブロックの近隣のビデオブロックの1つ以上のプロパティは、現在のビデオブロックの空間位置に対する現在のビデオブロックの近隣のビデオブロックの空間位置に対応する、項45に記載の方法。
(項48)近隣のビデオブロックの再構成が、現在のビデオブロックのコーディングモードに少なくとも部分的に基づくと決定することに応答して、現在のビデオブロックの第2のセットの色コンポーネント値の導出を無効にすることをさらに含む、項45に記載の方法。
(項49)現在のビデオブロックがインターコーディングされたブロックであって、結合されたインターおよびイントラ予測コーディングされたブロックではなく、現在のビデオブロックの対応するルマブロックに近隣のブロックが、イントラコーディングされたブロック、CIIP(combined inter and intra prediction)ブロック、またはIBC(intra block copy)コーディングされたブロックであると決定することに応答して、現在のビデオブロックの第2のセットの色コンポーネント値の導出を無効にすることをさらに含む、項45に記載の方法。
(項50)現在のビデオブロックがインターコーディングされたブロックであって、結合されたインターおよびイントラ予測コーディングされたブロックではなく、現在のビデオブロックの対応するルマブロックに近隣のブロックが、イントラコーディングされたブロック、CIIP(combined inter and intra prediction)ブロック、またはIBC(intra block copy)コーディングされたブロックであると決定することに応答して、現在のビデオブロックの第2のセットの色コンポーネント値の導出を有効にすることであって、第1のセットの色コンポーネント値は固定値である、ことをさらに含む、項45に記載の方法。
(項51)第1のセットの色コンポーネント値は、固定値である、項45に記載の方法。
(項52)固定値は、ビデオコーディングステップの線形モデルの区分インデックスに対応する、項51に記載の方法。
(項53)近隣のサンプルは、現在のビデオブロックに隣接(adjacent)していても非隣接(non-adjacent)していてもよい、項1~52のいずれか1つ以上に記載の方法。
(項54)近隣のサンプルは、現在のビデオブロックに近隣のクロマブロックまたは現在のビデオブロックに近隣のクロマブロックに関連付けられてもよい、項1~52のいずれか1つ以上に記載の方法。
(項55)現在のビデオブロックが、クロマブロック、並置されたルマブロック、または並置されたクロマブロックの左上のルマサンプルをカバーする対応するルマブロックに対応する、項1~54のいずれか1つ以上に記載の方法。
(項56)現在のビデオブロックの第2のセットの色コンポーネント値は、1つ以上の他のビデオブロックと関連して使用するために記憶される、項1~54のいずれか1つ以上に記載の方法。
(項57)線形モデルがCCLM(cross-component linear model)に対応し、ビデオコーディングステップがLMCS(luma mapping with chroma scaling)モードに対応する、項1~56のいずれか1つ以上に記載の方法。
(項58)現在のビデオブロックが、インターコーディングされたブロック、双予測コーディングされたブロック、CIIP(combined inter and intra prediction)ブロック、またはIBC(intra block copy)コーディングされたブロックである、項1~57のいずれか1つ以上に記載の方法。
(項59)現在のビデオブロックの第2のセットの色コンポーネント値は、ビットストリーム表現における他のビデオブロックと関連付けられた使用のために記憶される、項1~58のいずれか1つ以上に記載の方法。
(項60)現在のビデオブロックの第2のセットの色コンポーネント値は、他のビデオブロックに含まれる近隣のビデオブロックによる選択的な可用性または非可用性のためにラインバッファに記憶され、現在のビデオブロックおよび近隣のビデオブロックは、異なるスライス、タイル、タイルグループ、コーディングツリーユニット、またはコーディングツリーユニットの行に関連付けられる、項59に記載の方法。
(項61)現在のビデオブロックの第2のセットの色コンポーネント値は、固定値である、項60に記載の方法。
(項62)現在のビデオブロックの第2のセットの色コンポーネント値は、導出されない、項60に記載の方法。
(項63)現在のビデオブロックの第2のセットの色コンポーネント値の導出が防止される、項59に記載の方法。
(項64)現在のビデオブロックの第2のセットの色コンポーネント値は、他のビデオブロックに含まれる近隣のビデオブロックによる選択的な可用性または非可用性についてのテーブルに記憶される、項59に記載の方法。
(項65)現在のビデオブロックの第2のセットの色コンポーネント値は、動的に更新される、項64に記載の方法。
(項66)現在のビデオブロックの第2のセットの色コンポーネント値は、他のビデオブロックの以前のビデオブロックと同じである、項65に記載の方法。
(項67)現在のビデオブロックの第2のセットの色コンポーネント値は、FIFO(first in first out)方式で動的に更新される、項64に記載の方法。
(項68)第1のセットの色コンポーネント値はルマサンプル値に対応し、第2のセットの色コンポーネント値はクロマスケーリングファクタに対応する、項1~67のいずれか1つ以上に記載の方法。
(項69)ビデオ処理のための方法であって、
規則に基づいて、少なくとも2つのコンポーネントブロックを含むビデオブロックとビデオブロックのビットストリーム表現との間の変換に対してクロスコンポーネントコーデックツールの適用性を決定することと、クロコンポーネントコーデックツールを選択的に使用して変換を実行することと、を含む、方法。
(項70)規則は、現在のビデオブロックの寸法に基づく、項69に記載の方法。
(項71)規則は、現在のビデオブロックのパーティション情報に基づく、項69~70に記載の方法。
(項72)規則は、現在のビデオブロックのパーティションツリー構造に基づく、項69~71のいずれか一項に記載の方法。
(項73)パーティションツリー構造は、デュアルツリーまたは単一ツリーのうちの1つである、項72に記載の方法。
(項74)規則は、現在のビデオブロックが、デュアルツリーパーティションツリー構造を有するクロマブロックであることにより、クロコンポーネントコーデックツールを無効にすることを指定する、項72に記載の方法。
(項75)規則は、ビットストリーム表現におけるクロスコーデックツールの構文要素のシグナリングを省略することを指定する、項69~74のいずれか一項に記載の方法。
項69~75の追加の例および態様は、セクション4の項目15に記載されている。
(項76)プロセッサと、命令をその上に有する非一時的なメモリとを含むビデオシステムにおける装置であって、命令は、プロセッサによって実行されると、命令によって、プロセッサに、項1~75のいずれか一項に記載の方法を実装させる、装置。
(項77)非一時的コンピュータ可読媒体に記憶された非一時的コンピュータプログラム製品であって、項1~75のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
図12は、本明細書に開示される様々な技術を実装することができる例示的なビデオ処理システム1200を示すブロック図である。様々な実装は、システム1200のコンポーネントの一部または全部を含んでもよい。システム1200は、ビデオコンテンツを受信するための入力1202を含んでもよい。ビデオコンテンツは、生または圧縮されていないフォーマット、たとえば、8または10ビットのマルチコンポーネント画素値で受信されてもよいし、圧縮されたか、または符号化されたフォーマットであってもよい。入力1202は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、PON(passive optical network)などの有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェースなどの無線インターフェースを含む。
システム1200は、本文書に記載されている様々なコーディングまたは符号化方法を実装し得るコーディングコンポーネント1204を含んでもよい。コーディングコンポーネント1204は、ビデオのコーディングされた表現を生成するために、入力1202からコーディングコンポーネント1204の出力へのビデオの平均ビットレートを低減してもよい。したがって、コーディング技術は、ビデオ圧縮またはビデオトランスコーディング技術と呼ばれることがある。コーディングコンポーネント1204の出力は、コンポーネント1206によって表されるように、記憶されるか、または接続された通信を介して送信されてもよい。入力1202で受信されたビデオの記憶されたか、または通信されたビットストリーム(またはコーディングされた)表現は、ディスプレイインターフェース1210に送信される画素値または表示可能なビデオを生成するために、コンポーネント1208によって使用されてもよい。ビットストリーム表現からユーザが見ることができるビデオを生成するプロセスは、ビデオ解凍と呼ばれることがある。さらに、特定のビデオ処理動作は、「コーディング」動作またはツールと称されるが、コーディングツール若しくは動作は、符号化器で使用されるか、またはコーディングの結果を反転する、対応する復号ツール若しくは動作は、復号器によって実行されることが理解されるであろう。
周辺バスインターフェースまたはディスプレイインターフェースの例としては、USB(universal serial bus)、HDMI(登録商標)(high definition multimedia interface)またはディスプレイポートなどを含む。記憶インターフェースの例としては、SATA(serial advanced technology attachment)、PCI、IDEインターフェースなどを含む。本明細書に記載されている技術は、携帯電話、ラップトップ、スマートフォン、またはデジタルデータ処理および/またはビデオディスプレイを実行することが可能な他のデバイスなどの様々な電子デバイスに具体化されてもよい。
図13は、視覚的媒体処理の例示的な方法である。このフローチャートのステップは、本文書のセクション4の例19bii~ivに関連して議論される。ステップ1302で、プロセスは、ビジュアルメディアデータの現在のビデオユニットと現在のビデオユニットのビットストリーム表現との間の変換を実行し、ビットストリーム表現は、フォーマット規則にしたがって構成されており、フォーマット規則は、現在のビデオユニットをコーディングするためにクロマ残差がスケーリングされるスケーリングファクタを示す1つ以上の構文要素がビットストリーム表現に選択的に含まれるビデオセグメントのレベルを指定する。
図14は、ビジュアルメディア処理の例示的な方法のためのフローチャートである。このフローチャートのステップは、本文書のセクション4の例19eに関連して論じられている。ステップ1402で、プロセスは、1つ以上のビデオブロックを含む1つ以上のビデオ領域を含むビジュアルメディアデータと、ビジュアルメディアデータのビットストリーム表現との間で変換を実行し、ビットストリーム表現がフォーマット規則に適合し、フォーマット規則は、ビデオ領域内の1つ以上のビデオブロックが、変換のルマ依存クロマ残留スケーリングステップにおいて、同じクロマスケーリングファクタを有することを指定する。
図15は、ビジュアルメディア処理の例示的な方法のためのフローチャートである。このフローチャートのステップは、本文書のセクション4の例20に関連して論じられている。ステップ1502で、プロセスは、ビジュアルメディアデータの現在のビデオユニットとビジュアルメディアデータのビットストリーム表現との間の変換を実行し、ビットストリーム表現は、現在のビデオユニットの変換のクロマ残差スケーリングステップに関連するスケーリングファクタを示すビットストリーム表現における1つ以上の構文要素がビットストリーム表現において予測的にコーディングされることを指定するフォーマット規則に適合する。
本文書のいくつかの実施形態は、項ベースの形式で提示され、好ましくは、これらの実施形態に組み込まれてもよい。
(項1)ビジュアルメディア処理方法であって、1つ以上のビデオブロックを含む1つ以上のビデオ領域を含むビジュアルメディアデータと、ビジュアルメディアデータのビットストリーム表現との間で変換を実行することを含み、ビットストリーム表現がフォーマット規則に適合し、フォーマット規則は、ビデオ領域内の1つ以上のビデオブロックが、変換のルマ依存クロマ残留スケーリングステップにおいて、同じクロマスケーリングファクタを有することを指定する、方法。
(項2)ビデオ領域は、仮想パイプラインデータユニット(VPDU)である、項1に記載の方法。
(項3)フォーマット規則は、さらに、同じクロマスケーリングファクタを有するブロックの総数が、構文要素によって示されるか、または変換において導出されることを指定する、項1に記載の方法。
(項4)ビデオ領域内の1つ以上のブロックは、ビデオ領域内のすべてのブロックに対応する、項1~2のいずれか一項に記載の方法。
(項5)変換に使用されるビットストリーム表現における構文要素は、シーケンスパラメータセット(SPS)レベルおよび/またはスライスヘッダレベルおよび/またはタイルグループヘッダレベルおよび/またはピクチャパラメータセット(PPS)レベルおよび/またはピクチャヘッダレベルおよび/またはブリックレベルおよび/またはコーディングツリーユニット(CTU)行レベルおよび/またはコーディングツリーユニット(CTU)レベルおよび/またはコーディングユニット(CU)レベルおよび/または仮想パイプラインデータユニット(VPDU)レベルおよび/またはブロックレベルのうちの1つに含まれる、項1~4のいずれか1つ以上に記載の方法。
(項6)1つ以上のビデオ領域内の少なくとも2つのブロックが、異なるクロマスケーリングファクタを有することを検出することに応答して、フォーマット規則は、さらに、ビットストリーム表現に追加の構文要素を含めることを指定し、追加の構文要素は、少なくとも2つのブロックに対する異なるクロマスケーリングファクタを導出するために使用される、項1~5のいずれか1つ以上に記載の方法。
(項7)ビデオ領域内の1つ以上のビデオブロックが、変換のルマ依存クロマ残差スケーリングステップにおいて、同じクロマスケーリングファクタを有することを検出することに応答して、フォーマット規則は、さらに、同じクロマスケーリングファクタを有するブロックの総数を示す変換に使用される構文要素の使用を指定する、項1に記載の方法。
(項8)フォーマット規則は、さらに、構文要素の以前の値が構文要素の現在の値を導出するために使用されるように、予測技術を使用して、構文要素をビットストリーム表現に含めることを指定する、項7に記載の方法。
(項9)予測技術は、同じクロマスケーリングファクタを有するビデオ領域内のブロックの総数を使用することを含む、項8に記載の方法。
(項10)ビットストリーム表現に含まれる構文要素は、ビデオ領域のレベルに関連し、ビデオ領域のレベルは、シーケンスパラメータセット(SPS)レベルおよび/またはスライスヘッダレベルおよび/またはタイルグループヘッダレベルおよび/またはピクチャパラメータセット(PPS)および/またはピクチャヘッダレベルおよび/またはブリックレベルおよび/またはコーディングツリーユニット(CTU)行レベルおよび/またはコーディングツリーユニット(CTU)レベルおよび/またはコーディングユニット(CU)レベルおよび/または仮想パイプラインデータユニット(VPDU)レベルおよび/またはブロックレベルのうちの1つを含む、項6~9のいずれか1つ以上に記載の方法。
(項11)ビデオ領域内の1つ以上のブロックは、固定長の連続した間隔でビジュアルメディアデータ内で離間しており、第2のブロックは、第2のブロックが第1のブロックに続いて復号される場合、第1のブロックに連続するように定義される、項1~10のいずれか1つ以上に記載の方法。
(項12)同じクロマスケーリングファクタを有するブロックの総数は、ビデオ領域内のすべてのブロックに等しい、項7に記載の方法。
同じクロマスケーリングファクタを有するブロックの総数は、[T1,T2]として表現される所定の範囲にあり、T1およびT2は、両方とも所定の範囲に含まれる、項7に記載の方法。
(項14)T1は1に等しく、T2はビデオ領域内のブロックの総数に等しい、項13に記載の方法。
(項15)ビットストリーム表現に含まれる構文要素は、範囲[T1,T2]に基づく、項14に記載の方法。
(項16)ビットストリーム表現に含まれる構文要素は、ビデオ領域内のブロックの総数とT1の差に対応するか、または構文要素の最大値は、T1とT2の差に等しい、項15に記載の方法。
(項17)フォーマット規則は、さらに、ビットストリーム表現がフォーマット規則に適合するために、ビデオ領域内のブロックの総数がビットストリーム適合制約を満たすことを指定し、ビットストリーム適合制約は、ビデオ領域内のブロックの総数が定義された間隔内にあることを指定する、項13~16のいずれか1つ以上に記載の方法。
(項18)フォーマット規則は、さらに、同じスケーリングファクタを有する2つのビデオユニットに対して、第1のビデオユニットの変換に使用される構文要素が、第2のビデオユニットの変換に使用される構文要素を導出するために使用されるように、予測技法を使用して、構文要素をビットストリーム表現に含めることを指定する、項7に記載の方法。
(項19)構文要素は、コーディング技術の適用後にビットストリーム表現に含められる、項7~18のいずれか1つ以上に記載の方法。
(項20)コーディング技術は、単項コード、切り捨てられた単項コード、固定長コード、指数関数的ゴロムコード、または切り捨てられた2項コードのうちの1つを含む、項19に記載の方法。
(項21)コーディング技術は、コンテキストなしのバイパスコーディング、または1つ以上のコンテキストを使用する算術コーディングのうちの1つを含む、項19に記載の方法。
(項22)ビデオ領域内の複数のブロックが、変換のルマ依存クロマ残差スケーリングステップにおいて同じクロマスケーリングファクタを有することを検出することに応答して、フォーマット規則は、さらに、ビデオ領域を示す構文要素の使用を指定する、項2または3に記載の方法。
(項23)ビデオ領域に含まれる複数のブロックは、ラスタ走査順序にしたがって配置される、項22に記載の方法。
(項24)ビデオ領域は、複数のブロックのうちの最初のブロックに関連するインデックス、および/または複数のブロックのうちの最後のブロックに関連するインデックス、および/または複数のブロックの総カウントを使用して説明される、項23に記載の方法。
(項25)ビデオ領域は、矩形形状を有する領域を含み、ビデオ領域は、左上ブロックに関連するインデックスと、右上ブロックに関連するインデックスとを使用して説明される、項22~24のいずれか1つ以上に記載の方法。
(項26)ビデオ領域は、矩形形状を有する領域を含み、ビデオ領域は、矩形形状を有する領域の寸法を使用して説明される、項22~24のいずれ1つ以上に記載の方法。
(項27)ビデオ領域に対応するインデックスが、ビットストリーム表現における構文要素として含まれる、項22~26のいずれか1つ以上に記載の方法。
(項28)矩形形状を有する領域の寸法は、幅および/または高さを含み、複数のブロックの総カウントは、矩形形状を有する領域の幅および高さの積より小さい、項22~27のいずれか1つ以上に記載の方法。
(項29)矩形形状を有する領域の幅は、矩形形状を有する領域の幅に沿った方向に整列された複数のブロックの数に等しい、項28に記載の方法。
(項30)矩形形状を有する領域の高さは、矩形形状を有する領域の高さに沿った方向に整列された複数のブロックの数に等しい、項28に記載の方法。
(項31)矩形形状を有する領域の寸法は、各々が[T1、T2]として表される予め定義された範囲にある幅および/または高さを含み、T1およびT2の両方とも予め定義された範囲に含まれる、項26~27のいずれか1つ以上に記載の方法。
(項32)T1は1に等しく、T2はビデオ領域のCTU列におけるCTUの総数に等しい、項31に記載の方法。
(項33)ビットストリーム表現に含まれる構文要素が範囲[T1,T2]に基づく、項31~32のいずれか1つ以上に記載の方法。
(項34)ビットストリーム表現に含まれる構文要素は、矩形形状を有する領域の幅とT1と差に対応する、項33に記載の方法。
(項35)ビットストリーム表現に含まれる構文要素は、矩形形状を有する領域の高さとT1の差に対応する、項33に記載の方法。
(項36)構文要素の最大値がT1とT2の差に等しい、条項34~35のいずれか1つ以上に記載の方法。
(項37)フォーマット規則は、さらに、ビットストリーム表現がフォーマット規則に適合するために、矩形形状を有する領域の寸法が、各々がビットストリーム適合制約を満たす幅および/または高さを含むことを指定し、ビットストリーム適合制約は、矩形形状を有する領域の寸法が、各々が定義された間隔内にある幅および/または高さを含むことを指定する、項31~36のいずれか1つ以上に記載の方法。
(項38)フォーマット規則は、さらに、固定数が構文要素を予測するために使用されるように、予測技術を使用して、構文要素をビットストリーム表現に含めることを指定する、項37に記載の方法。
(項39)フォーマット規則は、さらに、同じスケーリングファクタを有する矩形形状の2つのビデオ領域に対して、第1の領域の変換に使用される構文要素が、第2の領域の変換に使用される構文要素を導出されるために使用されるように、予測技術を使用して、構文要素をビットストリーム表現に含めることを指定する、項37に記載の方法。
(項40)構文要素は、コーディング技術の適用後にビットストリーム表現に含められる、項25~39のいずれか1つ以上に記載の方法。
(項41)コーディング技術は、単項コード、切り捨てられた単項コード、固定長コード、指数関数的ゴロムコード、または切り捨てられた2項コードのうちの1つを含む、項40に記載の方法。
(項42)コーディング技術は、コンテキストなしのバイパスコーディング、または1つ以上のコンテキストを使用する算術コーディングのうちの1つを含む、項40に記載の方法。
(項43)第2の領域の変換が、第1の領域の変換の後に逐次的に実行される、項37に記載の方法。
(項44)コーディングツリーユニット(CTU)が第1の領域および第2の領域に関連し、第2の領域におけるCTUの変換が、第1の領域におけるCTUの変換とインターリーブされる、項39に記載の方法。
(項45)変換順序は、第1の領域における第1の行のCTU、第2の領域における第1の行のCTU、第1の領域における第1の行のCTU、第2の領域における第2の行のCTU、および第1の領域における第2の行のCTUを含む、項44に記載の方法。
(項46)構文要素の使用は、構文要素をビットストリーム表現に含めることに対応する、項7に記載の方法。
(項47)フォーマット規則は、さらに、同じクロマスケーリングファクタを有するブロックの総数が、変換に関連する導出にしたがって計算されることを指定する、項1~3に記載の方法。
(項48)同じクロマスケーリングファクタを有するブロックの総数が、ビデオ領域のレベルにある、項46~47のいずれか1つ以上に記載の方法。
(項49)変換に関連する導出は、ビデオブロックのサイズに基づく、項48に記載の方法。
(項50)変換に関連する導出は、ビデオブロックのサイズに依存する最小値または最大値と、予め定義された数との間の範囲にある、項48に記載の方法。
(項51)ビデオ領域の寸法は、ビデオブロックのサイズに基づく、項26に記載の方法。
(項52)ビデオ領域の寸法は、ビデオブロックのサイズに依存する最小値または最大値と、予め定義された数との間にある、項26に記載の方法。
(項53)予め定義された数は64である、項50または52に記載の方法。
(項54)ビジュアルメディア処理方法であって、ビジュアルメディアデータの現在のビデオユニットと現在のビデオユニットのビットストリーム表現との間の変換を実行することを含み、ビットストリーム表現は、フォーマット規則にしたがって構成されており、フォーマット規則は、現在のビデオユニットをコーディングするためにクロマ残差がスケーリングされるスケーリングファクタを示す1つ以上の構文要素がビットストリーム表現に選択的に含まれるビデオセグメントのレベルを指定する、方法。
(項55)フォーマット規則は、ビデオセグメントがビジュアルメディアデータの仮想パイプラインデータユニット(VPDU)に対応することを指定する、項54に記載の方法。
(項56)フォーマット規則は、ビデオセグメントが仮想パイプラインデータユニット(VPDU)およびコーディングツリーユニット(CTU)のうちの小さい方に対応することを指定する、項54に記載の方法。
(項57)VPDUの幅がW′であり、CTUの幅がWである場合に、ビデオセグメントの幅は、WおよびW′の最小に等しい、項56に記載の方法。
(項58)フォーマット規則は、現在のビデオユニットのサイズが仮想パイプラインデータユニット(VPDU)のサイズより小さい場合に、1つ以上の構文要素が現在のビデオユニットレベルで含まれることを指定する、項54に記載の方法。
(項59)フォーマット規則は、現在のビデオユニットのサイズが仮想パイプラインデータユニット(VPDU)のサイズより大きい場合に、1つ以上の構文要素が現在のビデオユニットレベルで含まれることを指定する、項54に記載の方法。
(項60)フォーマット規則は、1つ以上の構文要素が、ビデオセグメントのレベルに関連するすべてのビデオユニットに対するスケーリングファクタを導出するために使用されることを指定する、項54~59のいずれか1つ以上に記載の方法。
(項61)フォーマット規則は、1つ以上の構文要素が、ビデオセグメントのレベルに関連するビデオユニットのサブセットに対するスケーリングファクタを導出するために使用されることを指定する、項54~59のいずれか1つ以上に記載の方法。
(項62)ビデオセグメントのレベルは、シーケンスパラメータセット(SPS)レベルおよび/またはスライスヘッダレベルおよび/またはタイルグループヘッダレベルおよび/またはピクチャパラメータセット(PPS)レベルおよび/またはピクチャヘッダレベルおよび/またはブリックレベルおよび/またはコーディングツリーユニット(CTU)レベルおよび/またはコーディングツリーユニット(CTU)レベルおよび/またはコーディングユニット(CU)レベルおよび/または仮想パイプラインデータユニット(VPDU)レベルおよび/またはブロックレベルのうちの1つを含む、項54~61のいずれか1つ以上に記載の方法。
(項63)フォーマット規則は、ビデオセグメントが閾値サイズ条件を満たすことを決定すると、1つ以上の構文要素がビットストリーム表現に選択的に含まれることを指定する、項54~62のいずれか1つ以上に記載の方法。
(項64)閾値サイズ条件が、コーディングツリーユニット(CTU)幅と仮想パイプラインデータユニット(VPDU)幅の比較に基づく、項54~63に記載の方法。
(項65)ビジュアルメディア処理のための方法であって、ビジュアルメディアデータの現在のビデオユニットとビジュアルメディアデータのビットストリーム表現との間の変換を実行することを含み、ビットストリーム表現は、現在のビデオユニットの変換のクロマ残差スケーリングステップに関連するスケーリングファクタを示すビットストリーム表現における1つ以上の構文要素がビットストリーム表現において予測的にコーディングされることを指定するフォーマット規則に適合する、方法。
(項66)予測的にコーディングされることは、ビットストリーム表現に、第2のビデオユニットのスケーリングファクタが、以前に変換された第1のビデオユニットのスケーリングファクタと同じであるかどうかを示す指示を含めることを含む、項65に記載の方法。
(項67)予測的にコーディングされることは、ビットストリーム表現に、第2のビデオユニットのスケーリングファクタと、以前に変換された第1のビデオユニットのスケーリングファクタとの間のコーディングされた差の指示を含めることを含む、項65に記載の方法。
(項68)指示は、コーディングされた差の符号および/またはコーディングされた差の絶対値を含む、項67に記載の方法。
(項69)コーディングされた差がビットストリーム表現に含まれない場合に、第2のビデオユニットのスケーリングファクタは第1のビデオユニットのスケーリングファクタと同じであると推論する、項67に記載の方法。
(項70)項1~69のいずれか1つ以上に記載の方法を実装するように構成されているプロセッサを含む、ビデオ符号化器装置。
(項71)項1~69のいずれか1つ以上に記載の方法を実装するように構成されているプロセッサを含む、ビデオ復号器装置。
(項72)コードが記憶されたコンピュータ可読媒体であって、コードは、項1~69のいずれか1つ以上に記載の方法を実装するためのプロセッサ実行可能命令を具体化する、コンピュータ可読媒体。
本文書において、「ビデオ処理」または「ビジュアルメディア処理」という用語は、ビデオ符号化、ビデオ復号、ビデオ圧縮またはビデオ解凍を指してもよい。たとえば、ビデオ圧縮アルゴリズムは、ビデオの画素表現から対応するビットストリーム表現へ、またはその逆への変換の間に適用されてもよい。現在のビデオブロックのビットストリーム表現は、たとえば、構文によって定義されるように、ビットストリーム内の異なる場所に同時配置されるかまたは拡散されるビットに対応し得る。たとえば、マクロブロックは、変換されコーディングされたエラー残差値の観点から、また、ビットストリーム内のヘッダおよび他のフィールド内のビットを使用して符号化されてもよい。さらに、変換中に、デコーダは、上述の解決策に記載されるように、決定に基づいて、いくつかのフィールドが存在し得るか、または存在しない可能性があることを知ることで、ビットストリームを解析してもよい。同様に、符号化器は、特定の構文フィールドが含まれているか、含まれていないかを決定し、それに応じて、コーディングされた表現から構文フィールドを含めるか、または除外することによって、コーディングされた表現を生成してもよい。開示された技術は、サブブロックベースの動きベクトル精密化の使用を含む技術を使用して圧縮効率を改善するために、ビデオ符号化器または復号器において具体化され得ると理解されよう。
前述から、本明細書において、説明の目的で、本開示の技術の特定の実施形態が記載されているが、本発明の範囲を逸脱することなく、様々な修正を行うことができることが理解されるであろう。したがって、本開示の技術は、添付の特許請求の範囲によるものを除き、限定されない。
この特許文書に記載されている主題および機能動作の実装は、この明細書に開示されている構造およびそれらの構造的等価物を含む、様々なシステム、デジタル電子回路、もしくはコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらのうちの1つ以上の組み合わせにおいて実装することができる。本明細書に記載された主題の実装は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置による、またはデータ処理装置の動作を制御するための、有形および非一時的コンピュータ可読媒体に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装することができる。コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝搬信号に影響を与える組成物、またはそれらのうちの1つ以上の組み合わせとすることができる。用語「データ処理ユニット」または「データ処理装置」は、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を生成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの1つ以上の組み合わせを構成するコードを含むことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイル型またはインタープリタ型言語を含む、任意の形式のプログラミング言語で書くことができ、それは、スタンドアロンプログラムとして、またはコンピューティング環境における使用に好適なモジュール、コンポーネント、サブルーチン、または他のユニットとしてのものを含む、任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応しない。プログラムは、他のプログラムまたはデータを保持するファイルの一部分(たとえば、マークアップ言語文書に記憶される1つ以上のスクリプト)、問題のプログラム専用の単一ファイル、または複数の調整されたファイル(たとえば、1つ以上のモジュール、サブプログラム、またはコードの一部分を記憶するファイル)に記憶することができる。コンピュータプログラムは、1つのコンピュータまたは1つのサイトに配置されるか、または複数のサイトに分散され、通信ネットワークによって相互接続される複数のコンピュータで実行されるように展開することができる。
本明細書に記載されているプロセスおよび論理フローは、入力データ上で動作し、出力を生成することによって機能を実行するために、1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって実行することができる。プロセスおよび論理フローはまた、特別目的論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行することができ、装置は、これらとして実装することができる。
コンピュータプログラムの実行に好適なプロセッサは、例として、汎用および専用マイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般的に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信するだろう。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つ以上のメモリデバイスである。一般的に、コンピュータはまた、データを記憶するための1つ以上の大容量記憶デバイス、たとえば、磁気ディスク、光磁気ディスク、または光ディスクからデータを受信したり、これらにデータを転送したり、またはその両方を行うことを含むか、それらを行うように動作可能に結合されるだろう。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに好適なコンピュータ可読媒体は、例として、半導体メモリデバイス、たとえば、EPROM、EEPROM、およびフラッシュメモリデバイスを含む、すべての形式の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは、特別目的論理回路によって補足されるか、またはこれに組み込むことができる。
明細書は、図面と共に、単に例示的と考慮されることを意図しており、例示的とは例を意味する。本明細書で使用される場合、「または」の使用は、コンテキストが他のことを明確に示さない限り、「および/または」を含むことを意図している。
この特許文書は多くの詳細が含むが、これらは、いずれかの発明の範囲または請求項に記載され得るものに対する限定ではなく、特定の発明の特定の実施形態に固有であり得る特徴の記載と解釈されるべきである。別々の実施形態のコンテキストでこの特許文書に記載されている特定の特徴はまた、単一の実施形態で組み合わせて実装することができる。逆に、単一の実施形態のコンテキストで記載される様々な特徴はまた、複数の実施形態において別々に、または任意の好適なサブコンビネーションで実装することができる。さらに、特徴は、特定の組み合わせにおいて作用するものとして上述され、最初にそれ自体請求項に記載されてもよいが、請求項に記載された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから削除することができ、請求項に記載された組み合わせは、サブコンビネーションまたはサブコンビネーションの変形を対象としてもよい。
同様に、図面には特定の順序で動作が示されているが、これは、所望の結果を達成するために、このような動作を特定の順序でまたは順次に実行すること、または、示されたすべての動作を実行することを要求するものとして理解されるべきではない。さらに、この特許文書に記載されている実施形態における様々なシステムコンポーネントの分離は、すべての実施形態においてこのような分離を必要とするものとして理解されるべきではない。
少数の実装および例が記載されているに過ぎず、この特許文書に記載され、示されているものに基づいて、他の実装、拡張および変形を行うことができる。

Claims (11)

  1. ビデオデータを処理する方法であって、
    ビデオの現在のクロマビデオブロックと前記ビデオのビットストリームとの間の変換中、スケーリングプロセスが前記現在のクロマビデオブロックのクロマ残差サンプルに適用されることを決定することと、
    前記決定に基づいて前記変換を実行することと、を含み、
    前記スケーリングプロセスにおいて、前記クロマ残差サンプルは、前記現在のクロマビデオブロックを再構成するために使用される前に、少なくとも1つのスケーリングファクタに基づいてスケーリングされ、
    前記現在のクロマビデオブロックを含むビデオ領域内の1つ以上のクロマビデオブロックは、前記スケーリングプロセスにおいて、少なくとも1つの同じスケーリングファクタを共有し、前記ビデオ領域は、仮想パイプラインデータユニットであり、
    前記少なくとも1つのスケーリングファクタは、
    前記ビデオのビデオユニットの1つ以上の近隣のルマブロックの各々の可用性をチェックすることであって、前記ビデオユニットは、ルマブロックであり、前記現在のクロマビデオブロックの左上のサンプルに対応するルマサンプルに基づいて決定される、ことと、
    前記1つ以上の近隣のルマブロックの各々の可用性に基づいて、前記ビデオユニットの近隣のルマサンプルを検索するかどうかを決定することであって、前記近隣のルマサンプルは、前記ビデオユニットの近隣の予め定義された位置に位置する、ことと、
    前記1つ以上の近隣のルマブロックの少なくとも1つが利用可能である場合に、平均動作によって、前記近隣のルマサンプルを使用して計算された平均ルマ変数に基づいて、前記少なくとも1つのスケーリングファクタを導出することと、を行うことによって導出され、
    すべての近隣のルマブロックが利用不可であると決定されたことに応答して、前記少なくとも1つのスケーリングファクタが、前記平均ルマ変数をデフォルト値に等しくセットすることによって導出され、
    前記デフォルト値は、1<<(bitDepth-1)に等しく、bitDepthは、前記ビデオのビット深度である、方法。
  2. 前記ビデオ領域内の前記1つ以上のクロマビデオブロックは、前記スケーリングプロセスを適用する前記ビデオ領域内のすべてのクロマビデオブロックに対応する、請求項1に記載の方法。
  3. 前記近隣のルマサンプルは、前記ビデオユニットの1つ以上の左の近隣のサンプル列または1つ以上の上の近隣のサンプル行のうちの少なくとも1つを含む、請求項1に記載の方法。
  4. 前記近隣のルマサンプルの総数は、前記仮想パイプラインデータユニットのサイズ情報に依存する、請求項1~のいずれか一項に記載の方法。
  5. 前記スケーリングプロセスは、区分線形モデルに基づいており、インデックスが、前記平均ルマ変数が属するピースを識別し、前記少なくとも1つのスケーリングファクタが、前記インデックスに基づいて導出される、請求項1~のいずれか一項に記載の方法。
  6. ピクチャレベル以下の前記スケーリングプロセスの有効または無効を示す構文要素が、前記現在のクロマビデオブロックに関連する前記ピクチャレベルに条件付きで含まれ、
    前記構文要素の値が1に等しいことに応答して、前記ピクチャレベル以下の前記スケーリングプロセスの適用が有効になり、前記構文要素の前記値がゼロに等しいことに応答して、前記ピクチャレベル以下の前記スケーリングプロセスの適用が無効にされる、請求項1~のいずれか一項に記載の方法。
  7. 前記変換は、前記現在のクロマビデオブロックを前記ビットストリームに符号化することを含む、請求項1~のいずれか一項に記載の方法。
  8. 前記変換は、前記ビットストリームから前記現在のクロマビデオブロックを復号することを含む、請求項1~のいずれか一項に記載の方法。
  9. プロセッサと、命令をその上に有する非一時的なメモリとを含む、ビデオデータを処理するための装置であって、前記命令は、前記プロセッサによって実行されると、前記命令は、前記プロセッサに、
    ビデオの現在のクロマビデオブロックと前記ビデオのビットストリームとの間の変換中、スケーリングプロセスが前記現在のクロマビデオブロックのクロマ残差サンプルに適用されることを決定することと、
    前記決定に基づいて前記変換を実行することと、を行わせ、
    前記スケーリングプロセスにおいて、前記クロマ残差サンプルは、前記現在のクロマビデオブロックを再構成するために使用される前に、少なくとも1つのスケーリングファクタに基づいてスケーリングされ、
    前記現在のクロマビデオブロックを含むビデオ領域内の1つ以上のクロマビデオブロックは、前記スケーリングプロセスにおいて、少なくとも1つの同じスケーリングファクタを共有し、前記ビデオ領域は、仮想パイプラインデータユニットであり、
    前記少なくとも1つのスケーリングファクタは、
    前記ビデオのビデオユニットの1つ以上の近隣のルマブロックの各々の可用性をチェックすることであって、前記ビデオユニットは、ルマブロックであり、前記現在のクロマビデオブロックの左上のサンプルに対応するルマサンプルに基づいて決定される、ことと、
    前記1つ以上の近隣のルマブロックの各々の可用性に基づいて、前記ビデオユニットの近隣のルマサンプルを検索するかどうかを決定することであって、前記近隣のルマサンプルは、前記ビデオユニットの近隣の予め定義された位置に位置する、ことと、
    前記1つ以上の近隣のルマブロックの少なくとも1つが利用可能である場合に、平均動作によって、前記近隣のルマサンプルを使用して計算された平均ルマ変数に基づいて、前記少なくとも1つのスケーリングファクタを導出することと、を行うことによって導出され、
    すべての近隣のルマブロックが利用不可であると決定されたことに応答して、前記少なくとも1つのスケーリングファクタが、前記平均ルマ変数をデフォルト値に等しくセットすることによって導出され、
    前記デフォルト値は、1<<(bitDepth-1)に等しく、bitDepthは、前記ビデオのビット深度である、装置。
  10. 命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
    ビデオの現在のクロマビデオブロックと前記ビデオのビットストリームとの間の変換中、スケーリングプロセスが前記現在のクロマビデオブロックのクロマ残差サンプルに適用されることを決定することと、
    前記決定に基づいて前記変換を実行することと、を行わせ、
    前記スケーリングプロセスにおいて、前記クロマ残差サンプルは、前記現在のクロマビデオブロックを再構成するために使用される前に、少なくとも1つのスケーリングファクタに基づいてスケーリングされ、
    前記現在のクロマビデオブロックを含むビデオ領域内の1つ以上のクロマビデオブロックは、前記スケーリングプロセスにおいて、少なくとも1つの同じスケーリングファクタを共有し、前記ビデオ領域は、仮想パイプラインデータユニットであり、
    前記少なくとも1つのスケーリングファクタは、
    前記ビデオのビデオユニットの1つ以上の近隣のルマブロックの各々の可用性をチェックすることであって、前記ビデオユニットは、ルマブロックであり、前記現在のクロマビデオブロックの左上のサンプルに対応するルマサンプルに基づいて決定される、ことと、
    前記1つ以上の近隣のルマブロックの各々の可用性に基づいて、前記ビデオユニットの近隣のルマサンプルを検索するかどうかを決定することであって、前記近隣のルマサンプルは、前記ビデオユニットの近隣の予め定義された位置に位置する、ことと、
    前記1つ以上の近隣のルマブロックの少なくとも1つが利用可能である場合に、平均動作によって、前記近隣のルマサンプルを使用して計算された平均ルマ変数に基づいて、前記少なくとも1つのスケーリングファクタを導出することと、を行うことによって導出され、
    すべての近隣のルマブロックが利用不可であると決定されたことに応答して、前記少なくとも1つのスケーリングファクタが、前記平均ルマ変数をデフォルト値に等しくセットすることによって導出され、
    前記デフォルト値は、1<<(bitDepth-1)に等しく、bitDepthは、前記ビデオのビット深度である、非一時的なコンピュータ可読記憶媒体。
  11. ビデオのビットストリームを記憶するための方法であって、前記方法は、
    スケーリングプロセスが前記ビデオの現在のクロマビデオブロックのクロマ残差サンプルに適用されることを決定することと、
    前記決定に基づいて前記ビットストリームを生成することと、
    前記ビットストリームを非一時的なコンピュータ可読記録媒体に記録することと、を含み、
    前記スケーリングプロセスにおいて、前記クロマ残差サンプルは、前記現在のクロマビデオブロックを再構成するために使用される前に、少なくとも1つのスケーリングファクタに基づいてスケーリングされ、
    前記現在のクロマビデオブロックを含むビデオ領域内の1つ以上のクロマビデオブロックは、前記スケーリングプロセスにおいて、少なくとも1つの同じスケーリングファクタを共有し、前記ビデオ領域は、仮想パイプラインデータユニットであり、
    前記少なくとも1つのスケーリングファクタは、
    前記ビデオのビデオユニットの1つ以上の近隣のルマブロックの各々の可用性をチェックすることであって、前記ビデオユニットは、ルマブロックであり、前記現在のクロマビデオブロックの左上のサンプルに対応するルマサンプルに基づいて決定される、ことと、
    前記1つ以上の近隣のルマブロックの各々の可用性に基づいて、前記ビデオユニットの近隣のルマサンプルを検索するかどうかを決定することであって、前記近隣のルマサンプルは、前記ビデオユニットの近隣の予め定義された位置に位置する、ことと、
    前記1つ以上の近隣のルマブロックの少なくとも1つが利用可能である場合に、平均動作によって、前記近隣のルマサンプルを使用して計算された平均ルマ変数に基づいて、前記少なくとも1つのスケーリングファクタを導出することと、を行うことによって導出され、
    すべての近隣のルマブロックが利用不可であると決定されたことに応答して、前記少なくとも1つのスケーリングファクタが、前記平均ルマ変数をデフォルト値に等しくセットすることによって導出され、
    前記デフォルト値は、1<<(bitDepth-1)に等しく、bitDepthは、前記ビデオのビット深度である、方法。
JP2022500709A 2019-07-07 2020-07-07 クロマ残差スケーリングのシグナリング Active JP7460748B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023207153A JP2024019443A (ja) 2019-07-07 2023-12-07 クロマ残差スケーリングのシグナリング

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019094964 2019-07-07
CNPCT/CN2019/094964 2019-07-07
PCT/CN2020/100573 WO2021004445A1 (en) 2019-07-07 2020-07-07 Signaling of chroma residual scaling

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023207153A Division JP2024019443A (ja) 2019-07-07 2023-12-07 クロマ残差スケーリングのシグナリング

Publications (2)

Publication Number Publication Date
JP2022540117A JP2022540117A (ja) 2022-09-14
JP7460748B2 true JP7460748B2 (ja) 2024-04-02

Family

ID=74115055

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022500709A Active JP7460748B2 (ja) 2019-07-07 2020-07-07 クロマ残差スケーリングのシグナリング
JP2023207153A Pending JP2024019443A (ja) 2019-07-07 2023-12-07 クロマ残差スケーリングのシグナリング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023207153A Pending JP2024019443A (ja) 2019-07-07 2023-12-07 クロマ残差スケーリングのシグナリング

Country Status (5)

Country Link
US (2) US11533487B2 (ja)
EP (1) EP3977738A4 (ja)
JP (2) JP7460748B2 (ja)
CN (2) CN114128280B (ja)
WO (1) WO2021004445A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7277599B2 (ja) 2019-03-08 2023-05-19 北京字節跳動網絡技術有限公司 映像処理におけるモデルベース再整形に対する制約
WO2020211869A1 (en) 2019-04-18 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation in cross component mode
EP3935855A4 (en) 2019-04-23 2022-09-21 Beijing Bytedance Network Technology Co., Ltd. METHOD OF CROSS-COMPONENT DEPENDENCE REDUCTION
KR102641796B1 (ko) 2019-05-08 2024-03-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 교차-성분 코딩의 적용가능성에 대한 조건들
KR20220024006A (ko) * 2019-06-22 2022-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링을 위한 신택스 요소
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
EP4011068A4 (en) * 2019-08-06 2023-08-09 OP Solutions, LLC IMPLICIT SIGNALING OF ADAPTIVE RESOLUTION MANAGEMENT BASED ON FRAME TYPE
US11425405B2 (en) * 2019-11-15 2022-08-23 Qualcomm Incorporated Cross-component adaptive loop filter in video coding
JPWO2021100450A1 (ja) * 2019-11-21 2021-05-27
WO2021136504A1 (en) * 2019-12-31 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. Cross-component prediction with multiple-parameter model
US20210400257A1 (en) * 2020-06-18 2021-12-23 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling high level information for tool control based on colour representation format, and computer-readable recording medium strong bitstream
US20230396799A1 (en) * 2022-06-06 2023-12-07 Tencent America LLC Signaling method for scaling parameter in chroma from luma intra prediction mode

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009050889A1 (ja) 2007-10-15 2009-04-23 Panasonic Corporation 映像復号方法及び映像符号化方法
WO2018016381A1 (en) 2016-07-22 2018-01-25 Sharp Kabushiki Kaisha Systems and methods for coding video data using adaptive component scaling

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5281752B2 (ja) 2007-02-28 2013-09-04 日本無機株式会社 フィルタパック及びそれを用いたエアフィルタ
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
WO2020084511A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified entropy coding for sub-block based motion information list
WO2011126272A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation
SG10201502226SA (en) 2010-04-09 2015-05-28 Mitsubishi Electric Corp Moving image encoding device and moving image decoding device
PL3621306T3 (pl) 2010-04-13 2022-04-04 Ge Video Compression, Llc Kodowanie wideo przy wykorzystaniu podpodziałów obrazów multidrzewa
HUE035494T2 (en) 2010-09-30 2018-05-02 Samsung Electronics Co Ltd A method for interplaying images using a smooth interpolation filter
BR112013016095B1 (pt) 2010-12-23 2022-08-16 Samsung Electronics Co., Ltd. Método de decodificar uma imagem, e método de codificar uma imagem
WO2012090504A1 (en) 2010-12-28 2012-07-05 Panasonic Corporation Methods and apparatuses for coding and decoding video stream
WO2012175003A1 (en) 2011-06-20 2012-12-27 Mediatek Singapore Pte. Ltd. Method and apparatus of chroma intra prediction with reduced line memory
KR20130058524A (ko) 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
JP5375938B2 (ja) 2011-12-14 2013-12-25 ソニー株式会社 復号装置及び方法
CN103227917B (zh) 2012-01-31 2016-12-14 华为技术有限公司 解码方法和装置
US9451258B2 (en) 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
CN104471940B (zh) 2012-04-16 2017-12-15 联发科技(新加坡)私人有限公司 色度帧内预测方法及装置
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
JP2015526013A (ja) 2012-07-02 2015-09-07 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 映像符号化方法及び装置、並びに映像復号化方法及び装置
US9516309B2 (en) 2012-07-09 2016-12-06 Qualcomm Incorporated Adaptive difference domain spatial and temporal reference reconstruction and smoothing
US9350899B2 (en) 2012-09-14 2016-05-24 Qualcomm Incorporated Methods and device for efficient resampling and resizing of digital images
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9648319B2 (en) 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
GB2513111A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
US9503733B2 (en) 2013-04-10 2016-11-22 ARRIS Enterprises, LLC Re-sampling with phase offset adjustment for luma and chroma to signal adaptive filters in scalable video coding
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
EP2843949B1 (en) 2013-06-28 2020-04-29 Velos Media International Limited Methods and devices for emulating low-fidelity coding in a high-fidelity coder
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
KR101869882B1 (ko) 2013-10-11 2018-06-25 브이아이디 스케일, 인크. Hevc 확장을 위한 하이 레벨 구문
US9648332B2 (en) 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
US10397607B2 (en) 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US11070810B2 (en) 2014-03-14 2021-07-20 Qualcomm Incorporated Modifying bit depths in color-space transform coding
KR20160132857A (ko) 2014-03-14 2016-11-21 삼성전자주식회사 스케일러블 비디오 부호화/복호화 방법 및 장치
US9930348B2 (en) 2014-03-14 2018-03-27 Qualcomm Incorporated Coefficient level coding in a video coding process
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US10200700B2 (en) 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
US20150373350A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Temporal motion vector prediction (tmvp) indication in multi-layer codecs
JP2017531382A (ja) * 2014-09-12 2017-10-19 ヴィド スケール インコーポレイテッド ビデオ符号化のための成分間相関解除
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US20170244975A1 (en) 2014-10-28 2017-08-24 Mediatek Singapore Pte. Ltd. Method of Guided Cross-Component Prediction for Video Coding
US9998742B2 (en) 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
DE202016009107U1 (de) 2015-02-19 2022-04-27 Magic Pony Technology Limited Visuelle Verarbeitung durch zeitliche und räumliche Interpolation
US10455249B2 (en) 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
WO2016164235A1 (en) 2015-04-06 2016-10-13 Dolby Laboratories Licensing Corporation In-loop block-based image reshaping in high dynamic range video coding
WO2016167538A1 (ko) 2015-04-12 2016-10-20 엘지전자(주) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
US20180167615A1 (en) 2015-06-07 2018-06-14 Sharp Kabushiki Kaisha Systems and methods for optimizing video coding based on a luminance transfer function or video color component values
TWI764870B (zh) 2015-07-28 2022-05-21 法商內數位麥德遜專利控股有限公司 視訊訊號處理裝置及方法
WO2017053432A1 (en) 2015-09-21 2017-03-30 Vid Scale, Inc. Inverse reshaping for high dynamic range video coding
US20170105014A1 (en) 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents
JP2017538381A (ja) 2015-10-09 2017-12-21 テレフオンアクチーボラゲット エルエム エリクソン(パブル) ビデオ符号化における成分間予測
US20170150176A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
EP3414901A4 (en) 2016-02-08 2018-12-26 Sharp Kabushiki Kaisha Systems and methods for transform coefficient coding
GB2548358A (en) 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
US10455228B2 (en) 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
EP3433833B1 (en) 2016-03-23 2021-07-07 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
CN109417620B (zh) 2016-03-25 2021-04-27 松下知识产权经营株式会社 用于使用信号依赖型自适应量化将运动图像编码及解码的方法及装置
JP6846442B2 (ja) 2016-05-19 2021-03-24 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のためのクロマ再構成
WO2017201139A1 (en) 2016-05-19 2017-11-23 Dolby Laboratories Licensing Corporation Chroma reshaping for high dynamic range images
CN112689147B (zh) 2016-05-28 2023-10-13 寰发股份有限公司 视频数据处理方法以及装置
CN109076210B (zh) 2016-05-28 2021-04-09 联发科技股份有限公司 视频编解码方法和装置
US10484712B2 (en) 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US10390015B2 (en) 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
US10419757B2 (en) 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
EP3510772B1 (en) 2016-09-09 2020-12-09 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
US10652575B2 (en) 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
JP2018056685A (ja) 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
CN109804625A (zh) 2016-10-04 2019-05-24 韩国电子通信研究院 对图像编码/解码的方法和装置及存储比特流的记录介质
US10477240B2 (en) 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
US10873746B2 (en) 2016-12-21 2020-12-22 Sharp Kabushiki Kaisha Intra prediction image generation device using cross-component liner model, image decoding apparatus, and image coding apparatus using same
JP2020031252A (ja) 2016-12-22 2020-02-27 シャープ株式会社 画像復号装置及び画像符号化装置
US20180199062A1 (en) 2017-01-11 2018-07-12 Qualcomm Incorporated Intra prediction techniques for video coding
US11025903B2 (en) 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US10694181B2 (en) 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
EP3386198A1 (en) 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
WO2018236031A1 (ko) 2017-06-21 2018-12-27 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN117793378A (zh) 2017-06-29 2024-03-29 杜比实验室特许公司 整合的图像整形和视频编码
EP3425911A1 (en) 2017-07-06 2019-01-09 Thomson Licensing A method and a device for picture encoding and decoding
US10778978B2 (en) 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
WO2019054200A1 (ja) 2017-09-15 2019-03-21 ソニー株式会社 画像処理装置および方法
JP2021010046A (ja) 2017-10-06 2021-01-28 シャープ株式会社 画像符号化装置及び画像復号装置
US20190116376A1 (en) 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
CN117097903A (zh) 2018-02-14 2023-11-21 杜比实验室特许公司 在视频编码中利用率失真优化进行图像再成形
US11190790B2 (en) 2018-04-01 2021-11-30 Lg Electronics Inc. Parallel processing method for color component of video signal, and device therefor
CN109005408B (zh) 2018-08-01 2020-05-29 北京奇艺世纪科技有限公司 一种帧内预测方法、装置及电子设备
GB2590844B (en) 2018-08-17 2023-05-03 Beijing Bytedance Network Tech Co Ltd Simplified cross component prediction
CN110896480A (zh) 2018-09-12 2020-03-20 北京字节跳动网络技术有限公司 交叉分量线性模型中的尺寸相关的下采样
SG11202104480RA (en) 2018-11-05 2021-05-28 Beijing Bytedance Network Technology Co Ltd Interpolation for inter prediction with refinement
KR20210089133A (ko) 2018-11-06 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측에 대한 단순화된 파라미터 유도
CA3121671A1 (en) 2018-12-07 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
CN113273213A (zh) 2018-12-31 2021-08-17 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
CN113994668A (zh) 2019-02-01 2022-01-28 北京字节跳动网络技术有限公司 基于环路整形的滤波过程
SG11202109131PA (en) 2019-02-22 2021-09-29 Huawei Tech Co Ltd Method and apparatus for affine based inter prediction of chroma subblocks
JP2022521698A (ja) 2019-02-22 2022-04-12 北京字節跳動網絡技術有限公司 イントラ予測のための隣接サンプル選択
CA3128769C (en) 2019-02-24 2023-01-24 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
EP3703366A1 (en) 2019-02-28 2020-09-02 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
BR112021013611A2 (pt) 2019-02-28 2021-09-14 Interdigital Vc Holdings, Inc. Método e dispositivo para codificação e decodificação de imagens
JP2022523925A (ja) * 2019-03-04 2022-04-27 アリババ グループ ホウルディング リミテッド 映像コンテンツを処理するための方法及びシステム
CN117560509A (zh) 2019-03-04 2024-02-13 北京字节跳动网络技术有限公司 视频处理中滤波信息的两级信令
US20200288159A1 (en) * 2019-03-08 2020-09-10 Qualcomm Incorporated Combined residual coding in video coding
JP7277599B2 (ja) 2019-03-08 2023-05-19 北京字節跳動網絡技術有限公司 映像処理におけるモデルベース再整形に対する制約
US20200288126A1 (en) * 2019-03-08 2020-09-10 Qualcomm Incorporated Reshaping filter average calculation for video coding
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
US11582454B2 (en) 2019-03-25 2023-02-14 Hfi Innovation Inc. Method and apparatus of the quantization matrix computation and representation for video coding
US20220217405A1 (en) 2019-04-03 2022-07-07 Lg Electronics Inc. Video or image coding for modifying reconstructed picture
WO2020211869A1 (en) 2019-04-18 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation in cross component mode
CN113711604B (zh) 2019-04-20 2023-10-27 北京字节跳动网络技术有限公司 视频编解码中色度和亮度语法元素的信令
EP3935855A4 (en) 2019-04-23 2022-09-21 Beijing Bytedance Network Technology Co., Ltd. METHOD OF CROSS-COMPONENT DEPENDENCE REDUCTION
CN111866510A (zh) 2019-04-30 2020-10-30 华为技术有限公司 视频序列的帧内预测方法及装置
KR102641796B1 (ko) 2019-05-08 2024-03-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 교차-성분 코딩의 적용가능성에 대한 조건들
WO2020231139A1 (ko) 2019-05-16 2020-11-19 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
US11388406B2 (en) 2019-05-20 2022-07-12 Dolby Laboratories Licensing Corporation Piece-wise-linear mapping for in-loop reshaping in image coding
JP2021002780A (ja) 2019-06-21 2021-01-07 シャープ株式会社 動画像復号装置および動画像符号化装置
KR20220024006A (ko) 2019-06-22 2022-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링을 위한 신택스 요소
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
JP2022539887A (ja) 2019-07-11 2022-09-13 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのビットストリーム適合性の制約
WO2021201515A1 (ko) 2020-04-02 2021-10-07 엘지전자 주식회사 Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US11601657B2 (en) 2020-04-02 2023-03-07 Qualcomm Incorporated LUMA mapping with chroma scaling (LMCS) in video coding
US11375212B2 (en) 2020-04-18 2022-06-28 Qualcomm Incorporated Flexible chroma processing for dynamic range adjustment
WO2021256107A1 (ja) 2020-06-15 2021-12-23 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム
US20210400257A1 (en) 2020-06-18 2021-12-23 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling high level information for tool control based on colour representation format, and computer-readable recording medium strong bitstream
WO2022115698A1 (en) 2020-11-30 2022-06-02 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component sample adaptive offset

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009050889A1 (ja) 2007-10-15 2009-04-23 Panasonic Corporation 映像復号方法及び映像符号化方法
WO2018016381A1 (en) 2016-07-22 2018-01-25 Sharp Kabushiki Kaisha Systems and methods for coding video data using adaptive component scaling

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, et al.,"Versatile Video Coding (Draft 4)",Document: JVET-M1001-v7, [online],JVET-N0847 (version 2),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2019年03月25日,Pages 118-119,[令和4年11月11日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=6602> and <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0847-v2.zip>.,(See document file "JVET-N0847_DraftText.docx" in the zip file "JVET-N0847-v2.zip".)
Jianle Chen, et al.,"Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5)",Document: JVET-N1002-v2, [online],JVET-N1002 (version 2),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2019年06月11日,Pages 1-5,15,16,66-70,[令和5年1月26日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=6641> and <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N1002-v2.zip>.
Taoran Lu, et al.,"Non-CE2: alternative solutions for chroma residual scaling factors derivation for dual tree",Document: JVET-O0429-v2, [online],JVET-O0429 (version 2),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2019年07月04日,Pages 1-10,[令和5年1月26日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=7034> and <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0429-v2.zip>.,(See document file "JVET-O0429_CRS_DualT-v2.docx" in the zip file "JVET-O0429-v2.zip".)
Yi-Wen Chen, et al.,"Single depth intra coding mode in 3D-HEVC",Proceedings of 2015 IEEE International Symposium on Circuits and Systems (ISCAS),IEEE,2015年05月27日,Pages 1130-1133,ISBN: 978-1-4799-8391-9, <DOI: 10.1109/ISCAS.2015.7168837>.

Also Published As

Publication number Publication date
KR20220029594A (ko) 2022-03-08
WO2021004445A1 (en) 2021-01-14
CN114128280A (zh) 2022-03-01
US20230096945A1 (en) 2023-03-30
JP2022540117A (ja) 2022-09-14
EP3977738A1 (en) 2022-04-06
JP2024019443A (ja) 2024-02-09
US11533487B2 (en) 2022-12-20
US20220124340A1 (en) 2022-04-21
EP3977738A4 (en) 2022-08-17
US11956439B2 (en) 2024-04-09
CN114128280B (zh) 2023-11-14
CN117395396A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
JP7460748B2 (ja) クロマ残差スケーリングのシグナリング
JP7418478B2 (ja) クロマ残差スケーリングのためのシンタックス要素
JP7302009B2 (ja) クロスコンポーネントモードの利用可能性に対する制約
JP7407206B2 (ja) クロスコンポーネントコーディングの適用条件
JP7317991B2 (ja) クロスコンポーネント依存性を低減するための方法
US20230016377A1 (en) Techniques for modifying quantization parameter in transform skip mode
CN114208174B (zh) 预测过程中的调色板模式编解码
JP2024003124A (ja) 行列ベースイントラ予測における制約されたアップサンプリングプロセス
US20220078410A1 (en) Chroma intra mode derivation in screen content coding
CN113632462A (zh) 默认的环内整形参数
JP7401689B2 (ja) インループフィルタリングと映像タイルとの間の相互作用
JPWO2020216246A5 (ja)
KR102660738B1 (ko) 크로마 잔차 스케일링의 시그널링
KR102660668B1 (ko) 크로스 컴포넌트 의존성 감소를 위한 방법들
JP2023521119A (ja) ビデオコーディングにおけるスキップブロックの変換のための最小許容量子化
CN117716690A (zh) 自适应双边滤波器的使用条件

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240321

R150 Certificate of patent or registration of utility model

Ref document number: 7460748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150