JP7436519B2 - イントラブロックコピー予測を備えたパレットモード - Google Patents

イントラブロックコピー予測を備えたパレットモード Download PDF

Info

Publication number
JP7436519B2
JP7436519B2 JP2021569246A JP2021569246A JP7436519B2 JP 7436519 B2 JP7436519 B2 JP 7436519B2 JP 2021569246 A JP2021569246 A JP 2021569246A JP 2021569246 A JP2021569246 A JP 2021569246A JP 7436519 B2 JP7436519 B2 JP 7436519B2
Authority
JP
Japan
Prior art keywords
block
palette
mode
video
entries
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021569246A
Other languages
English (en)
Other versions
JP2022532800A (ja
Inventor
ウェイジャ ジュー
リー ジャン
ジジョン シュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Publication of JP2022532800A publication Critical patent/JP2022532800A/ja
Application granted granted Critical
Publication of JP7436519B2 publication Critical patent/JP7436519B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
本願は、2019年5月31日出願の国際特許出願第PCT/CN2019/089506号の優先権と利益を主張する、2020年5月28日出願の国際特許出願第PCT/US/2020/034913号に基づく。前述の特許出願はすべて、参照によりその全体が本明細書に組み込まれる。
本明細書は、映像および画像符号化、復号化技術に関する。
デジタル映像は、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
開示された技術は、映像を符号化または復号化するためにパレット符号化モードを用いる映像または画像のデコーダまたはエンコーダの実施形態によって使用され得る。
1つの例示的な態様において、映像復号化方法が開示される。この方法は、映像の映像ユニットと映像の符号化表現との変換のために、規則に従って変換中に使用される代表値のパレットの最大エントリ数を判定することと、パレットを使用して変換を行うことを含み、その規則は映像ユニットの特性に従って最大エントリ数を指定する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の現在の映像ブロックと映像の符号化表現との間の変換のために、規則に従って現在の映像ブロックのためのパレットモード符号化ツールの使用に基づいて、現在の映像ブロックの非ブロック化プロセスに使用される1つ以上の符号化パラメータを判定することと、1つ以上の符号化パラメータを使用して変換を行うこととを含み、その規則は、パレットモード符号化ツールにより符号化された映像ブロックの1つ以上の符号化パラメータが、他の符号化ツールのパラメータとは異なって導出されることを指定し、パレットモード符号化ツールは、符号化中に、代表サンプル値のパレットを使用して現在の映像ブロックを符号化表現に表現すること、または、復号化中に代表サンプル値のパレットを使用して、符号化表現から現在の映像ブロックを再構成することを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の現在の映像ブロックと映像の符号化表現との間の変換のために、規則に従って現在の映像ブロックに複合パレットモード(CPM)の使用に基づいて現在の映像ブロックに適用される非ブロック化処理に使用される1つ以上のパラメータを判定することと、その1つ以上のパラメータを使用して変換を行うことを含み、その規則は、符号化表現が、別の符号化モードを使用して符号化された隣接する映像ブロックに使用されるものと同じ構文要素を使用して1つ以上のパラメータの指示を含むことを指定し、そのCPM符号化ツールは、代表エントリのパレットの使用と、イントラブロックコピーモードによって導出された1つ以上のサンプルと組み合わせることによって、現在の映像ブロックを表現または再構成することを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の現在の映像ブロックと映像の符号化表現との変換のために、規則に基づいて隣接する映像ブロックの符号化モードに基づいて現在の映像ブロックに適用される非ブロック化プロセスに使用されるパラメータを判定することと、その判定に基づいて変換を行うことを含み、その規則は、隣接する映像ブロックがイントラ予測モードと組み合わせたパレットモード(PCIP)または別の符号化モードを使用して符号化された場合に同じパラメータ使用することを指定し、PCIPは、イントラ予測を使用して現在の映像ブロックの予測ブロックを導出することと、現在の映像ブロックに関連付けられたパレット情報を使用して予測ブロックを微調整することを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の現在の映像ブロックと映像の符号化表現との間の変換を行うことを含み、現在の映像ブロックは、パレット符号化モードまたはイントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)である符号化モードに従って符号化表現で表現され、符号化表現は、現在の映像ブロックのためのフラグを含み、フラグは、規則に従って、現在の映像ブロックが非ゼロ係数を有するかどうかを示し、規則は、フラグが、現在の映像ブロックの符号化表現における符号化モードまたはエスケープ画素の存在に応じた値を有することを指定し、パレット符号化モードは、代表サンプル値のパレットを使用して現在の映像ブロックを表現または再構成することを含み、CPMは、代表エントリのパレットの使用をイントラブロックコピーモードによって導出された1つ以上のサンプルと組み合わせることによって現在の映像ブロックを表現または再構築することを含み、PCIPは、イントラ予測を使用して現在の映像ブロックの予測ブロックを導出することと、パレット情報を使用して予測ブロックを改良する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、複数の映像ブロックからなる映像とその映像の符号化表現との間の変換のために、対応する映像ブロックの符号化に代表値のパレットを用いる、パレットモード、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)を含む符号化モードに関連した複数の映像ブロックの各々の条件に基づいて複数映像ブロックの各々に対する非ブロック化処理の適用可能性を判定することと、その判定に基づいて変換を行うこととを含み、そのパレットモードは対応する映像ブロックに適用可能であり、対応する映像ブロックの画素を符号化するためにコンポーネント値のパレットを使用し、PCIPは対応する映像ブロックに適用可能であり、イントラ予測を使用して対応する映像ブロックの予測ブロックを導出し、パレット情報を使用して予測ブロックを微調整し、CPMは、対応する映像ブロックに適用可能であり、代表エントリのパレットの使用とイントラブロックコピーモードにより導出された1つ以上のサンプルとを組み合わせることによって、対応する映像ブロック内のサンプルを表現または再構成する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、複合パレットモード(CPM)を用いて符号化された現在の映像ブロックと、現在の映像ブロックの符号化表現との間の変換を行うことを含み、符号化表現は、映像領域に適用されるイントラモード、インターモード、イントラブロックコピーモード、またはパレットモードの指示とは別の映像領域レベルでのCPMの指示を含み、CPMは、代表エントリのパレットの使用とイントラブロックコピーモードによって導出された1つ以上のサンプルとを組み合わせることによって、現在の映像ブロック内のサンプルを再構成することを可能にする。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の色成分の現在の映像ブロックと現在の映像ブロックの符号化表現との間の変換を行うことを含み、現在の映像ブロックは、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)を含む符号化モードを使用して符号化され、符号化モードに関連する構文要素は映像の色成分の特性、または現在の映像ブロックに使用されている分割構造や平面符号化に基づいて、選択的に符号化表現に含まれ、PCIPは現在の映像ブロックに適用されて、イントラ予測を使用して現在の映像ブロックの予測ブロックを導出し、パレット情報を使用して予測ブロックを微調整し、CPMは現在の映像ブロックに適用され、代表エントリのパレットの使用と、イントラブロックコピーモードによって導出された1つ以上のサンプルとを組み合わせて、現在の映像ブロックのサンプルを表現または再構成する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の現在のクロマブロックと映像の符号化表現との間の変換を行うことを含み、現在のクロマブロックは符号化モードを使用して符号化され、符号化表現は、現在のクロマブロックに対応する輝度ブロックの1つ以上の選択された領域の符号化情報に基づいて、符号化モードの指示を選択的に含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、複数の映像ブロックを含む映像ピクチャと映像ピクチャの符号化表現との間の変換を行うことを含み、映像ブロックは、映像ブロックを符号化するために代表値のパレットを使用する符号化モードを用いて符号化され、符号化モードの構文要素は現在の映像ブロックに適用される1つ以上の予測モードの値に基づいて信号通知される。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、現在の映像ブロックの第1の符号化表現と、代表エントリのパレットを選択的に使用することによって現在の映像ブロック内のサンプルを再構成することを可能にする複合パレットモード(CPM)を使用して符号化された現在の映像ブロックとの第1の変換を行うことであって、現在の映像ブロックは現在の映像ブロックに関連付けられた動きベクトルを有することと、次の映像ブロックと次の映像ブロックの第2の符号化表現との間の第2の変換を行うことであって、第2の変換中の次の映像ブロックの動き情報を予測するために現在の映像ブロックに関連付けられた動き情報が用いられることとを含む。
別の例示的な態様において、別の映像処理方法が開示される。現在のビデオブロックの第1の符号化表現と、イントラ予測を使用して現在のビデオブロックの予測ブロックを導出し、パレット情報を使用して予測ブロックを微調整することを可能にするイントラ予測モードと組み合わせたパレットモード(PCIP)を使用して符号化された現在のビデオブロックとの第1の変換を行うことであって、現在の映像ブロックは現在の映像ブロックに関連付けられたイントラ予測方向を有していることと、次のビデオブロックと、次のビデオブロックの第2の符号化表現との間の第2の変換を行うことであって、第2の変換中に現在のビデオブロックのイントラモードが次のビデオブロックのイントラモード予測子として用いられることとを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上の映像ブロックを含む映像ピクチャと映像ピクチャの符号化表現との間の変換中においてパレット関連の符号化モードが使用されることに起因し、スケーリング行列の使用が無効であると判定することと、スケーリング行列の使用が無効であるとの判定に基づいて変換を行うこととを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上の映像ブロックを含む映像ピクチャと映像ピクチャの符号化表現との間の変換中にパレット関連の符号化モードが使用されることに起因し、スケーリング行列の使用が許可されていることを判定することと、スケーリング行列の使用が許可されているとの判定に基づいて変換を行うこととを含む。
別の例示的な態様において、上述された方法は、処理装置を含む映像デコーダによって実装されてもよい。
別の例示的な態様において、上述された方法は、処理装置を含む映像エンコーダによって実装されてもよい。
さらに別の例示的な態様において、これらの方法は、処理装置実行可能命令の形式で実施されてもよく、コンピュータ可読プログラム媒体に記憶されてもよい。
これらの、および他の態様は、本明細書でさらに説明される。
イントラブロックコピーの説明図を示す。 空間的に隣接する候補の例を示す。 パレットモードで符号化されたブロックの例を示す。 パレットエントリを信号通知するためのパレット予測子の使用例を示す。 水平方向および垂直方向の横断走査の例を示す。 パレットインデックスの符号化の例を示す。 マルチタイプのツリー分割モードの例を示す。 フィルタのオン/オフ決定および強/弱フィルタの選択に関与する画素の例を示す。 イントラ予測と組み合わせたパレットモードの実装例を示す。 複合パレットモードの実装例を示す。 イントラ予測の67モード(方向)の例を示す。 現在の映像ブロックの左上の隣接の例を示す。 クロマブロックの対応する輝度領域の例を示す。 映像処理装置の例を示すブロック図である。 映像処理装置の例を示すブロック図である。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。
本明細書は、伸張または復号化されたデジタル映像または画像の品質を向上させるために、画像または映像ビットストリームのデコーダによって使用できる様々な技術を提供する。簡潔にするために、本明細書では、用語「映像」は、一連のピクチャ(従来から映像と呼ばれる)および個々の画像の両方を含むように使用される。さらに、映像エンコーダは、さらなる符号化に使用される復号化されたフレームを再構成するために、符号化の処理中にこれらの技術を実装してもよい。
本明細書では、理解を容易にするために章の見出しを使用しており、1つの章に開示された実施形態をその章にのみ限定するものではない。このように、ある章の実施形態は、他の章の実施形態と組み合わせることができる。
1 発明の概要
本明細書は、映像符号化技術に関する。具体的には、映像符号化におけるパレットモードに関する。HEVCのような既存の映像符号化規格に適用してもよいし、規格(Versatile Video Coding)を確定させるために適用してもよい。本発明は、将来の映像符号化規格または映像コーデックにも適用可能である。
2 初期の協議
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Mode)[3,4]と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間にJoint Video Expert Team(JVET)が発足し、HEVCと比較して50%のビットレート削減を目標にVVC規格の策定に取り組んでいる。
VVCドラフトの最新バージョン、即ち、Versatile Video Coding(ドラフト4)は、以下を参照することができる。
phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5755
VTMと呼ばれるVVCの最新の参照ソフトウェアは、以下で確認することができる。
vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-4.0
2.1 イントラブロックコピー
イントラブロックコピー(IBC)、別名、現在のピクチャの参照(CPR)は、HEVCスクリーンコンテンツ符号化拡張機能(HEVC-SCC)と現在のVVCテストモデル(VTM-4.0)に採用されている。IBCは、動き補償の概念をインターフレーム符号化からイントラフレーム符号化に拡張する。図1に示すように、現在のブロックは、IBCが適用される場合、同じピクチャ内の1つの参照ブロックによって予測される。現在のブロックを符号化または復号化する前に、参照ブロックにおけるサンプルは既に再構成されていなければならない。IBCは、カメラでキャプチャされたほとんどのシーケンスに対してそれほど効率的ではないが、スクリーンコンテンツに対しては、有意な符号化利得を示す。その理由は、スクリーンコンテンツピクチャにおいて、アイコン、文字等の繰り返しパターンが多いためである。IBCは、これらの繰り返しパターン間の冗長性を有効に除去することができる。HEVC-SCCにおいて、インター符号化ユニット(CU)は、現在のピクチャをその参照ピクチャとして選択する場合、IBCを適用することができる。この場合、動きベクトル(MV)をブロックベクトル(BV)と改称し、BVは常に整数画素精度を有する。メインプロファイルHEVCに適合するように、現在のピクチャは、復号化ピクチャバッファ(DPB)における“長期”参照ピクチャとしてマークされる。なお、同様に、複数のビュー/3D映像符号化規格において、ビュー間の参照ピクチャも“長期”参照ピクチャとしてマークされる。
BVがその参照ブロックを見つけた後、この参照ブロックをコピーすることで予測を生成することができる。残差は、元の信号から参照画素を減算することによって得ることができる。そして、他の符号化モードと同様に、変換および量子化を適用することができる。
図1は、イントラブロックコピーの説明図を示す。
しかしながら、参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、画素値の一部または全部は規定されない。基本的に、このような問題に対処するために2つの解決策がある。1つは、このような状況、例えばビットストリーム適合性を許可しないことである。もう1つは、これらの未定義の画素値にパディングを適用することである。以下のサブセッションでは、解決策を詳細に説明する。
2.2 HEVCスクリーンコンテンツ符号化拡張機能におけるIBC
HEVCのスクリーンコンテンツ符号化拡張機能において、1つのブロックが現在のピクチャを参照として使用する場合、以下の仕様のテキストに示すように、参照ブロック全体が利用可能な再構成された領域内にあることを保証すべきである。
変数offsetXおよびoffsetYは、以下のように導出される。
offsetX=(ChromaArrayType==0)?0:(mvCLX[0]&0×7?2:0) (8-106)
offsetY=(ChromaArrayType==0)?0:(mvCLX[1]&0×7 ?2:0) (8-107)
参照ピクチャが現在のピクチャである場合、輝度動きベクトルmvLXは、以下の制約に従うべきであることが、ビットストリーム適合性の要件である。
-6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb,yCb)と等しく設定された(xCurr,yCurr)と、(xPb+(mvLX[0]>>2)-offsetX,yPb+(mvLX[1]>>2)-offsetY)に等しく設定された隣接する輝度位置(xNbY,yNbY)と、が入力として呼び出されると、出力はTRUEとなる。
-6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb.yCb)と等しく設定された(xCurr,yCurr)、(xPb+(mvLX[0]>>2)+nPbW-1+offsetX,yPb+(mvLX[1]>>2)+nPbH-1+offsetY)に等しく設定された隣接する輝度位置(xNbY,yNbY)を入力として呼び出されると、出力はTRUEとなる。
-以下の条件の一方または両方がTRUEであること。
- (mvLX[0]>>2)+nPbW+xB1+offsetXの値が0以下である。
- (mvLX[1]>>2)の値+nPbH+yB1+offsetYが0以下である。
- 以下の条件がTRUEとなること。
(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCurr/CtbSizeY<=yCurr/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY
(8-108)
このように、参照ブロックが現在のブロックと重複するケース、または参照ブロックがピクチャの外にあるケースは発生しない。参照ブロックまたは予測ブロックを埋める必要がない。
2.3. VVC試験モデルにおけるIBC
現在のVVC試験モデル、すなわち、VTM-4.0設計において、参照ブロック全体は現在の符号化ツリーユニット(CTU)を有するべきであり、現在のブロックと重複しない。よって、参照または予測ブロックをパディングする必要がない。IBCフラグは、現在のCUの予測モードとして符号化される。このように、各CUに対して、MODE_INTRA、MODE_INTER、およびMODE_IBCという全部で3つの予測モードが存在する。
2.3.1 IBCマージモード
IBCマージモードにおいて、IBCマージ候補リストにおけるエントリを指すインデックスをビットストリームから構文解析する。このIBCマージリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
●ステップ1:空間的候補の導出
●ステップ2:HMVP候補の挿入
●ステップ3:対の平均候補の挿入
空間的マージ候補の導出において、位置A1、1、0、およびBにある候補の中から、最大4つのマージ候補を選択する。導出の順序はA、B、B、A、Bである。位置A、B、B、AのいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはIBCモードで符号化されていない場合にのみ、位置Bが考慮される。位置Aの候補を加えた後、残りの候補を挿入すると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。
空間的候補を挿入した後、IBCマージリストサイズが依然として最大IBCマージリストサイズより小さい場合、HMVPテーブルからのIBC候補を挿入することができる。HMVP候補の挿入にあたり、冗長性チェックを行う。
最後に、対の平均候補をIBCマージリストに挿入する。
マージ候補によって特定される参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、マージ候補は無効なマージ候補と呼ばれる。
なお、IBCマージリストに無効なマージ候補を挿入してもよい。
VVCにはJVET-N0843を採用されている。JVET-N0843では、IBCのマージモードとAMVPモードのBV予測子は、次の要素で構成される共通の予測子リストを共有する。
●2つの空間的に隣接する位置(図2のようにA1、B1)
●5つのHMVPエントリ
●デフォルトではゼロベクトル
マージモードの場合、このリストの最初の6エントリまでが使用される。AMVPモードの場合、このリストの最初の2つのエントリが使用される。また、リストは共有マージリスト領域の要件に準拠している(SMR内で同じリストを共有)。
上述のBV予測モジュール候補リストに加え、JVET-N0843は、HMVP候補と既存のマージ候補(A1,B1)とのプルーニング作業を簡素化することも提案している。簡素化した場合、第1のHMVP候補と空間的マージ候補とを比較するだけであるため、最大2回までのプルーニング演算でよい。
最近のVVC及びVTM5において、前回のVTM及びVVCバージョンにおいて、現在のビットストリーム制約に加え、128×128のIBCモードを無効にするための構文制約を明確に使用することが提案され、これにより、IBCフラグの存在がCUのサイズ<128×128に依存するようになる。
2.3.2 IBC AMVPモード
IBC AMVPモードでは、IBC AMVPリストにおけるエントリを指すAMVPインデックスが、ビットストリームから構文解析される。このIBC AMVPリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
●ステップ1:空間的候補の導出
○利用可能な候補が見つかるまで、A0,A1をチェックする。
○利用可能な候補が見つかるまで、B0、B1、B2をチェックする。
●ステップ2:HMVP候補の挿入
●ステップ3:ゼロ候補の挿入
空間的候補を挿入した後、IBC AMVPリストサイズが依然として最大IBC AMVPリストサイズより小さい場合、HMVPテーブルからのIBC候補を挿入することができる。
最後に、IBC AMVPリストにゼロ候補を挿入する。
2.3.3 クロマIBCモード
現在のVVCにおいて、クロマIBCモードにおける動き補償は、サブブロックレベルで行われる。クロマブロックは、複数のサブブロックに分割される。各サブブロックは、対応する輝度ブロックが1つのブロックベクトルを有するかどうかを判定し、存在する場合、有効性を判定する。現在のVTMにはエンコーダ制約があり、現在のクロマCUにおけるすべてのサブブロックが有効な輝度ブロックベクトルを有するかどうかについて、クロマIBCモードをテストする。例えば、YUV 420映像において、クロマブロックはN×Mであり、そして、コロケーション輝度領域は2N×2Mである。クロマブロックのサブブロックサイズは2×2である。クロマmv導出、次にブロックコピー処理を実行するには、いくつかのステップがある。
1)クロマブロックは、まず、(N>>1)*(M>>1)個のサブブロックに分割される。
2)左上のサンプルが(x,y)に配置されている各サブブロックは、(2x,2y)に配置されている同じ左上のサンプルを含んだ対応する輝度ブロックをフェッチする。
3)エンコーダは、フェッチした輝度ブロックのブロックベクトル(bv)をチェックする。以下の条件の1つを満たす場合、bvは無効であると見なされる。
a.対応する輝度ブロックのbvは存在しない。
b.bvによって識別される予測ブロックは、まだ再構成されていない。
c.bvで識別される予測ブロックは、現在のブロックと部分的にまたは完全に重複している。
4)サブブロックのクロマ動きベクトルは、対応する輝度サブブロックの動きベクトルに設定される。
すべてのサブブロックが有効なbvを見つけた場合、エンコーダにおいてIBCモードが許可される。
IBCブロックの復号処理を以下に示す。IBCモードでのクロマmvの導出に関する部分は、太字とイタリック体で強調表示されている。
8.6.1 IBC予測において符号化されたユニットを符号化するための一般的な復号処理
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
- 単一ツリーを使用するか二重ツリーを使用するかを指定する変数ツリータイプ、および二重ツリーを使用する場合、現在のツリーが輝度成分に対応するか色度成分に対応するかを指定する。
この処理の出力は、インループ・フィルタリング前の修正された再構成画像である。
輝度位置(xCb,yCb)、輝度サンプルcbWidthにおける現在の符号化ブロックの幅、輝度サンプルcbHeightにおける現在の符号化ブロックの高さ、及び変数treeTybeを入力として、8.7.1項に規定される量子化パラメータの導出処理を呼び出す。
ibc予測モードで符号化されたユニットを符号化するための復号プロセスは、以下の順序付けられたステップからなる。
1. 現在の符号化ユニットの動きベクトル成分は、以下のように導出される。
1. treeTypeがSINGLE_TREEまたはDUAL_TREE_LUMAに等しい場合、以下が適用される。
- 輝度符号化ブロックの位置(xCb,yCb)と、輝度符号化ブロックの幅cbWidthと、輝度符号化ブロックの高さcbHeightとを入力とし、輝度動きベクトルmvL[0][0]を出力として、項目8.6.2.1に規定された動きベクトル成分の導出処理が呼び出される。
- ツリータイプがSINGLE_TREEに等しい場合、8.6.2.9項のクロマ動きベクトルの導出処理が、入力として輝度動きベクトルmvL[0][0]、出力としてクロマ動きベクトルmvC[0][0]を用いて実行される。
- 水平方向numSbX及び垂直方向numSbYにおける輝度符号化サブブロックの数は、いずれも1に設定される。
1. そうでない場合、もしツリータイプがDUAL_TREE_CHROMAに等しい場合、以下が適用される。
- 水平方向NUMSBX及び垂直方向NUMBYにおけるLUMA符号化サブブロックの数は、次のように導出される。
numSbX=(cbWidth>>2) (8-886)
numSbY=(cbHeight>>2) (8-887)
Figure 0007436519000001
- 8.6.2.9項のクロマ動きベクトルの導出処理は、mvL[xSbIdx][ySbIdx]を入力とし、mvC[xSbIdx][ySbIdx]を出力として呼び出される。
- クロマ動きベクトルmvC[xSbIdx][ySbIdx]が以下の制約に従うことは、ビットストリーム適合性の要件である。
- 6.4.X項で規定されているブロック利用可能性の導出プロセス[ED.(BB):隣接するブロック利用可能性チェックプロセスTBD]が、現在のクロマ位置(xCurr,yCurr)を(xCb/SubWidthC,yCb/SubHeightC)に等しく、隣接するクロマ位置(xCb/SubWidthC+(mvC[xSbIdx][ySbIdx][0]>>5),yCb/SubHeightC+(mvC[xSbIdx][ySbIdx][1]>>5))を入力として呼び出されると、出力はTRUEとなる。
- 6.4.X項で規定されているブロック利用可能性の導出プロセス[ED.(BB):隣接するブロック利用可能性チェックプロセスTBD]が、現在のクロマ位置(xCurr,yCurr)を(xCb/SubWidthC,yCb/SubHeightC)に等しく、隣接するクロマ位置(xCb/SubWidthC+(mvC[xSbIdx][ySbIdx][0]>>5)+cbWidth/SubWidthC-1,yCb/SubHeightC+(mvC[xSbIdx][ySbIdx][1]>>5)+cbHeight/SubHeightC-1)を入力として呼び出されると、出力はTRUEとなる。
- 次の条件の一方または両方がtrueであること。
- (mvC[xSbIdx][ySbIdx][0]>>5)+xSbIdx*2+2は0以下である。
- (mvC[xSbIdx][ySbIdx][1]>>5)+ySbIdx*2+2は0以下である。
2.現在の符号化ユニットの予測サンプルは、以下のように導出される。
- treeTypeがSINGLE_TREEまたはDUAL_TREE_LUMAに等しい場合、現在の符号化ユニットの予測サンプルは以下のように導出される。
● 8.6.3.1項に規定されるibcブロックの復号処理は、輝度符号化ブロックの位置(xCb,yCb)、輝度符号化ブロックの幅cbWidth、輝度符号化ブロックの高さcbHeight、水平方向numSbX、垂直方向numSbYにおける輝度符号化サブブロックの数、輝度動きベクトルmvL[xSbIdx][ySbIdx]xSbIdx=0..numSbX-1、およびSbIdx=0..numSbY-1、および変数cIdxを0に等しく入力として設定し、予測輝度サンプルの(cbWidth)×(cbHeight)配列predSamplesであるibc予測サンプル(predSamples)を出力として呼び出される。
- あるいは、treeTypeがSINGLE_TREEまたはDUAL_TREE_CHROMAに等しい場合、現在の符号化ユニットの予測サンプルは、以下のように導出される。
●8.6.3.1項に規定されるibcブロックの復号処理は、輝度符号化ブロックの位置(xCb,yCb)、輝度符号化ブロックの幅cbWidth、輝度符号化ブロックの高さcbHeight、水平方向numSbX、垂直方向numSbYにおける輝度符号化サブブロックの数、xSbIdx=0..numSbX-1、ySbIdx=0..numSbY-1を有するクロマ動きベクトルmvC[xSbIdx]、ySbIdx=0..numSbY-1、および変数cIdxを1に等しく入力として設定し、ibc予測サンプル(predSamples)は、クロマ成分Cbに対する予測クロマサンプルの(cbWidth/2)×(cbHeight/2)配列predSamplesCbであるibc予測サンプル(predSamples)を出力として呼び出される。
●8.6.3.1項に規定されるibcブロックの復号処理は、輝度符号化ブロックの位置(xCb,yCb)、輝度符号化ブロックの幅cbWidth、輝度符号化ブロックの高さcbHeight、水平方向numSbX、垂直方向numSbYにおける輝度符号化サブブロックの数、xSbIdx=0..numSbX-1、ySbIdx=0..numSbY-1を有するクロマ動きベクトルmvC[xSbIdx]、ySbIdx=0..numSbY-1、および変数cIdxを2に等しく入力として設定し、ibc予測サンプル(predSamples)は、クロマ成分Crに対する予測クロマサンプルの(cbWidth/2)×(cbHeight/2)配列predSamplesCrであるibc予測サンプル(predSamples)を出力として呼び出される。
3.変数NumSbX[xCb][yCb]、NumSbY[xCb][yCb]は、それぞれnumSbX、numSbYに等しく設定される。
4.現在の符号化ユニットの残差サンプルは、以下のように導出される。
- treeTypeがSINGLE_TREEに等しい場合またはtreeTypeがDUAL_TREE_LUMAに等しい場合、8.5.8項に規定されるインター予測モードで符号化された符号化ブロックの残差信号の復号処理は、位置(xTb0,yTb0)を輝度位置(xCb,yCb)に等しく、幅nTbWを輝度符号化ブロック幅cbWidthに等しく、高さnTbHを輝度符号化ブロック高さcbHeightに等しく、変数cldxsetを0に等しく入力として設定し、配列resSamplesを出力として、呼び出される。
- treeTypeがSINGLE_TREEに等しい場合またはtreeTypeがDUAL_TREE_CHROMAに等しい場合、8.5.8項に規定されるインター予測モードで符号化された符号化ブロックの残差信号の復号処理は、位置(xTb0,yTb0)をクロマ位置(xCb/2,yCb/2)に等しく、幅nTbWをクロマ符号化ブロック幅cbWidth/2に等しく、高さnTbHをクロマ符号化ブロック高さcbHeight/2に等しく、変数cldxsetを1に等しく入力として設定し、配列resSamplesCbを出力として、呼び出される。
- treeTypeがSINGLE_TREEに等しい場合またはtreeTypeがDUAL_TREE_CHROMAに等しい場合、8.5.8項に規定されるインター予測モードで符号化された符号化ブロックの残差信号の復号処理は、位置(xTb0,yTb0)をクロマ位置(xCb/2,yCb/2)に等しく、幅nTbWをクロマ符号化ブロック幅cbWidth/2に等しく、高さnTbHをクロマ符号化ブロック高さcbHeight/2に等しく、変数cldxsetを2に等しく入力として設定し、配列resSamplesCrを出力として、呼び出される。
5.現在の符号化ユニットの再構成されたサンプルは、以下のように導出される。
- treeTypeが、SINGLE_TREEに等しい場合またはtreeTypeがDUAL_TREE_LUMAに等しい場合、8.7.5項で規定されているカラーコンポーネントの画像再構成処理がブロック位置(xB,yB)を(xCb,yCb)に等しく、ブロック幅bWidthをcbWidthに等しく、ブロック高さbHeightをcbHeightに等しく、変数cIdxを0に等しく、(cbWidth)×(cbHeight)配列predSamplesをpredSamplesに等しく、(cbWidth)×(cbHeight)配列resSamplesをresSamplesに等しく、入力として設定して起動され、出力はループ内フィルタリング前の修正再構成画像となる。
- treeTypeがSINGLE_TREEに等しい場合またはtreeTypeがDUAL_TREE_CHROMAに等しい場合、8.7.5項で規定されているカラーコンポーネントの画像再構成処理がブロック位置(xB,yB)を(xCb/2,yCb/2)に等しく、ブロック幅bWidthをcbWidth/2に等しく、ブロック高さbHeightをcbHeight/2に等しく、変数cIdxを1に等しく、(cbWidth/2)×(cbHeight/2)配列predSamplesをpredSamplesCbに等しく、(cbWidth/2)×(cbHeight/2)配列resSamplesをresSamplesCbに等しく、入力として設定して起動され、出力はループ内フィルタリング前の修正再構成画像となる。
- treeTypeがSINGLE_TREEに等しい場合またはtreeTypeがDUAL_TREE_CHROMAに等しい場合、8.7.5項で規定されているカラーコンポーネントの画像再構成処理がブロック位置(xB,yB)を(xCb/2,yCb/2)に等しく、ブロック幅bWidthをcbWidth/2に等しく、ブロック高さbHeightをcbHeight/2に等しく、変数cIdxを2に等しく、(cbWidth/2)×(cbHeight/2)配列predSamplesをpredSamplesCrに等しく、(cbWidth/2)×(cbHeight/2)配列resSamplesをresSamplesCrに等しく、入力として設定して起動され、出力はループ内フィルタリング前の修正再構成画像となる。
2.4 適応型動きベクトル解像度(AMVR)
HEVCにおいて、use_integer_mv_flagがスライスヘッダにおいて0であるとき、1/4輝度サンプルの単位で動きベクトル差分(MVD:Motion Vector Difference)(動きベクトルとCUの予測動きベクトルとの差)が信号通知される。VVCにおいて、CUレベルの適応型動きベクトル解像度(AMVR)スキームが導入される。AMVRは、CUのMVDを異なる精度で符号化することを可能にする。現在のCUのモード(通常のAMVPモードまたはアフィンAVMPモード)に基づいて、現在のCUのMVDは、以下のように適応的に選択できる。
- 通常AMVPモード:1/4輝度サンプル、整数輝度サンプルまたは4輝度サンプル。
- アフィンAMVPモード:1/4輝度サンプル、整数輝度サンプルまたは1/16輝度サンプル。
現在のCUが少なくとも1つの非ゼロMVDモジュールを有する場合、CUレベルMVD解像度指示が条件付きで信号通知される。すべてのMVDモジュール(すなわち、参照リストL0及び参照リストL1の水平及び垂直MVDの両方)がゼロである場合、1/4輝度サンプルMVD解像度が推測される。
少なくとも1つの非ゼロMVDモジュールの構成要素を有するCUの場合、1/4輝度サンプルMVD精度がCUにおいて使用されるかどうかを示すために、第1のフラグが信号通知される。第1のフラグが0である場合、さらなる信号伝達は必要とされず、現在のCUのために1/4輝度サンプルMVD精度が使用される。そうでない場合、通常のAMVP CUのために整数輝度サンプルまたは4輝度サンプルのMVD精度が使用されるかどうかを示すために、第2のフラグが信号通知される。同じ第2のフラグは、整数輝度サンプルまたは1/16輝度サンプルのMVD精度がアフィンAMVP CUに使用されるかどうかを示すために使用される。再構成されたMVが意図された精度(1/4輝度サンプル、1/4輝度サンプル、または4輝度サンプル)を有することを保証するために、CUの動きベクトル予測モジュールは、MVDと加算される前に、MVDと同じ精度に丸められる。動きベクトル予測子をゼロに向かって丸める(すなわち、負の動きベクトル予測子を正の無限大に向かって丸め、正の動きベクトル予測モジュールを負の無限大に向かって丸める)。
エンコーダは、RDチェックを使用して、現在のCUの動きベクトルの解像度を決定する。各MVD解像度に対してCUレベルのRDチェックを常に3回実行することを回避するために、VTM4では、1/4ルマサンプル以外のMVD精度のRDチェックは、条件付きでのみ呼び出される。通常のAVMPモードの場合、まず、1/4輝度サンプルMVD精度及び整数輝度サンプルMV精度のRDコストを計算する。次に、整数輝度サンプルMVD精度のRDコストと1/4輝度サンプルMVD精度のRDコストを比較し、4輝度サンプルMVD精度のRDコストをさらにチェックする必要があるかどうかを決定する。1/4輝度サンプルMVD精度のRDコストが整数輝度サンプルMVD精度のRDコストよりもずっと小さい場合、4輝度サンプルMVD精度のRDチェックは省略される。アフィンAMVPモードにおいて、アフィンマージ/スキップモード、マージ/スキップモード、1/4輝度サンプリングMVD精度通常AMVPモード、1/4輝度サンプリングMVD精度アフィンAMVPモードのレート-歪みコストをチェックした後、アフィンインターモードを選択しなかった場合、1/16輝度サンプリングMV精度、1-pel MV精度アフィンインターモードはチェックされない。また、1/16輝度サンプル及び1/4輝度サンプルMV精度アフィンインターモードにおける探索開始点として、1/4輝度サンプルMV精度アフィンインターモードで得られたアフィンパラメータを用いる。
2.5 HEVCスクリーンコンテンツ符号化拡張機能におけるパレットモード(HEVC-SCC)
パレットモードの背景にある基本的な考えは、CUにおけるサンプルを代表的な色値の小さな集合で表現することである。この集合をパレットと呼ぶ。また、エスケープシンボルの後に(場合によっては量子化された)成分値を信号通知することによって、パレットの外側にあるサンプルを示すこともできる。これを図3に示す。
HEVC-SCCにおけるパレットモードでは、パレットおよびインデックスマップを符号化するために予測方式が用いられる。
2.5.1 パレットエントリの符号化
パレットエントリを符号化するために、パレット予測子が維持される。SPSにおいて、パレットの最大サイズおよびパレット予測子が信号通知される。HEVC-SCCにおいて、palette_predictor_initializer_present_flagがPPSに導入される。このフラグが1である場合、ビットストリームにおいて、パレット予測子を初期化するためのエントリが信号通知される。パレット予測子は、各CTU行、各スライス、および各タイルの始めに初期化される。palette_predictor_initializer_present_flagの値によって、パレット予測子を0にリセットするか、またはPPSに信号通知されたパレット予測子の初期化エントリを使用してパレット予測子を初期化する。HEVC-SCCでは、PPSレベルでパレット予測子の初期化を明確に無効にするために、サイズ0のパレット予測子初期化モジュールを有効化した。
パレット予測子のエントリごとに、再利用フラグが通知され、現在のパレットの一部であるかどうかが示される。これを図4に示す。再利用フラグは、ゼロのランレングス符号化を使用して送信される。この後、新しいパレットエントリの数は、次数0の指数ゴロム符号を使用して通知される。最後に、新しいパレットエントリのコンポーネント値が通知される。
2.5.2 パレットインデックスの符号化
パレットインデックスは、図5に示すように、水平方向および垂直方向の横断走査を使用して符号化される。palette_transpose_flagを使用して、ビットストリームにおける走査順序を明確に信号通知する。以下のサブセクションでは、走査が水平であると仮定する。
パレットインデックスは、2つのメインパレットサンプルモード‘INDEX’と‘COPY_ABOVE’を使用して符号化される。前述のように、エスケープシンボルも‘INDEX’モードとして信号送信され、最大パレットサイズに等しいインデックスが割り当てられる。モードは、一番上の行を除いて、または前のモードが‘COPY_ABOVE’であった場合を除いて、フラグを使用して通知される。‘COPY_ABOVE’モードでは、上の行のサンプルのパレットインデックスをコピーする。‘INDEX’モードにおいて、パレットインデックスは明確に信号通知される。‘INDEX’モードと‘COPY_ABOVE’モードの両方の場合、同じモードを使用して符号化される後続のサンプルの数を規定する実行値を信号通知する。エスケープシンボルが‘INDEX’または‘COPY_ABOVE’モードにおける実行の一部である場合、エスケープシンボルごとにエスケープ成分値が信号通知される。パレットインデックスの符号化を図6に示す。
この構文順序は、以下のようにして実行される。まず、CUのためのインデックス値の数が信号通知される。これに続いて、トランケーテッドバイナリ符号化(truncated binary coding)を使用して、CU全体の実際のインデックス値を信号通知する。バイパスモードでは、インデックスの数およびインデックス値の両方が符号化される。これにより、インデックス関連バイパスビンがグループ化される。次に、パレットサンプルモード(必要な場合)および実行は、インターリーブ方式で信号通知される。最後に、CU全体のためのエスケープサンプルに対応する成分エスケープ値をグループ化し、バイパスモードで符号化する。
インデックス値を信号通知した後、追加の構文要素last_run_type_flagを信号通知する。この構文要素は、インデックスの数と連動して、ブロックにおける最後の実行に対応する実行値を信号通知する必要をなくす。
HEVC-SCCでは、パレットモードは、4:2:2、4:2:0、およびモノクロのクロマフォーマットに対しても有効になる。パレットエントリおよびパレットインデックスの信号通知は、すべてのクロマフォーマットに対してほぼ同じである。非モノクロフォーマットの場合、各パレットエントリは、3つの成分からなる。モノクロフォーマットの場合、各パレットエントリは単一の成分からなる。サブサンプリングされたクロマ方向の場合、クロマサンプルは、2で割り切れる輝度サンプル指数に関連付けられる。CUのパレットインデックスを再構成した後、1つのサンプルに単一の成分しか関連付けられていない場合、パレットエントリの第1の成分のみが使用される。信号通知における唯一の違いは、エスケープ成分値である。エスケープサンプルごとに、信号通知されるエスケープ成分値の数は、そのサンプルに関連付けられた成分の数によって異なってもよい。
2.6 変換スキップモードにおける係数符号化
JVET-M0464及びJVET-N0280において、残差符号化を変換スキップレベルの統計及び信号特性に適応させるために、TS(Transform Skip)モードにおける係数符号化についていくつかの改良が提案されている。
提案された変形例を以下に示す。
前回の有意な走査位置なし:残差信号は予測後の空間残差を反映しており、TSに対して変換によるエネルギー圧縮は行われないので、変換ブロックの右下隅の末尾にゼロまたは有意でないレベルがより高い確率で後続することはもはやなくなる。従って、この場合、最後の重要な走査位置信号送信は省略される。
サブブロックCBF:最後の重要な走査位置信号がない場合、TSのcoded_sub_block_flagを有するサブブロックCBF信号は、次のように変更されることが必要である。
●量子化のために、前述の有意でないシーケンスは、依然として変換ブロック内でローカルに発生し得る。したがって、前記のように最後の有意な走査位置が削除され、最後を除くすべてのCGがゼロ係数を持つ場合を除いて、すべてのサブブロックに対してcoded_sub_block_flagが符号化されるため、最後のCGに対してcoded_sub_block_flagを符号化する必要がない。
●DC周波数位置をカバーするサブブロック(左上のサブブロック)のcoded_sub_block_flagは、特殊な場合を提示する。VVC草案3において、このサブブロックのcoded_sub_block_flagは決して信号通知されず、常に1に等しいと推測される。最後の有意な走査位置が別のサブブロックに位置する場合、それは、DCサブブロックの外側に少なくとも1つの有意なレベルがあることを意味する。その結果、DCサブブロックは、このサブブロックのcoded_subblock_flagが1に等しいと推測されるが、ゼロ/非有意レベルのみを含んでもよい。TSに最後の走査位置情報がない場合、各サブブロックのcoded_sub_block_flagが通知される。これは、他のcoded_sub_block_flag構文要素が既に0に等しい場合を除き、DCサブブロックのcoded_sub_block_flagをも含む。この場合、DC coded_sub_block_flagは1に等しいと推測される(inferDcSbCbf=1)。このDCサブブロックには少なくとも1つの有意なレベルがなければならないので、このDCサブブロックにおける他のすべてのsig_coeff_flag構文要素が0に等しい場合、(0,0)における第1の位置のsig_coeff_flag構文要素は信号通知されず、1に等しくなるように導出される(inferSbDcSigCoefflag=1)。
●coded_sub_block_flagのコンテクストモデリングを変更する。コンテクストモデルインデックスは、coded_sub_block_flagの左側への和と、coded_sub_block_flagの現在のサブブロック上への和と、両方の論理和として計算される。
sig_coeff_flagコンテクストモデリング:sig_coeff_flagコンテクストモデルにおけるローカルテンプレートは、現在地の走査位置の左側(NB)及び上側(NB)の隣接のみを含むように修正される。コンテクストモデルオフセットは、重要な隣接位置sig_coeff_flag[NB]+sig_coeff_flag[NB]の個数に過ぎない。そこで、今回の変換区間における対角dに応じて異なるコンテクスト集合を選択することを排除する。その結果、sig_coeff_flagを符号化するための3つのコンテクストモデル及び1つのコンテクストモデル集合が得られる。
abs_level_gt1_flag and par_level_flag context modelling:abs_level_gt1_flag及びpar_level_flagには1つのコンテクストモデルを用いる。
abs_remainder符号化:変換スキップ残差絶対レベルの経験的分布は、典型的には、依然としてラプラシアンまたは幾何学的分布に適応するが、変換係数絶対レベルよりも大きい不安定性が存在する。具体的には、残留絶対値レベルの場合、連続して実現する窓内の分散が高くなる。これは、abs_remainder構文の二値化及びコンテクストモデリングを以下のように修正する動機となる。
●2値化においてより高いカットオフ値、即ち、sig_coeff_flag、abs_level_gt1_flag、par_level_flag、及びabs_level_gt3を用いた符号化からabs_remainderのRice符号への移行点と、各ビンの位置に専用のコンテクストモデルを用いることで、より高い圧縮効率が得られる。カットオフを大きくすると、より多くの“Xより大きい”フラグがもたらされ、例えば、カットオフに達するまで、abs_level_gt5_flag、abs_level_gt7_flag等を導入していく。カットオフ自体は5に固定される(numGtFlags=5)。
●ライスパラメータ導出のためのテンプレートを修正し、すなわち、現在の走査位置の左側の隣接及び上側の隣接のみを、sig_coeff_flagコンテクストモデリングのためのローカルテンプレートに類似していると見なす。
coeff_sign_flagコンテクストモデリング:符号のシーケンス内の不安定性及び予測残差がしばしば偏っていることに起因して、全体的な経験的分布がほぼ均一に分布している場合であっても、符号はコンテクストモデルを使用して符号化され得る。符号の符号化には1つの専用コンテクストモデルが使用され、符号はsig_coeff_flagの後に構文解析されて、すべてのコンテクスト符号化ビンが一緒にまとめられる。
2.7 量子化残差ブロック差動パルスコード変調(QR-BDPCM)
JVET-M0413において、量子化された残差ブロック差動パルスコード変調(QR-BDPCM)が、スクリーンコンテンツを効率的に符号化するために提案されている。
QR-BDPCMで使用される予測方向は、垂直予測モードおよび水平予測モードであり得る。イントラ予測は、イントラ予測と同様に、予測方向(水平または垂直予測)にサンプルコピーすることで、ブロック全体で予測する。残差を量子化し、量子化された残差とその予測子(水平または垂直)量子化値との間のデルタを符号化する。これは、以下のように説明することができる。サイズM(行)×N(列)のブロックについて、ri,j,0≦i≦M-1、0≦j≦N-1を、上または左ブロックの境界サンプルからのフィルタリングされていないサンプルを使用して、水平方向(予測ブロックに対して左隣の画素値を1ラインずつコピーする)または垂直方向(予測ブロックにおける各ラインに上隣のラインをコピーする)にイントラ予測を行った後の予測残差とする。Q(r)、0≦i≦M-1、0≦j≦N-1は、残差rの量子化バージョンを表し、この場合、残差は、元のブロックと予測ブロック値との間の差である。次に、ブロックDPCMが量子化された残差サンプルに適用され、その結果、要素r i,jを有する修正されたM×N個の配列Rが得られる。垂直BDPCMが信号通知されると、以下のようになる。
Figure 0007436519000002
水平予測の場合、類似した規則が適用され、残差量子化サンプルは、以下の式によって得られる。
Figure 0007436519000003
残差量子化サンプルr i,jはデコーダに送られる。
デコーダ側では、上記の計算を逆にして、Q(ri,j)、0≦i≦M-1、0≦j≦N-1を生成する。垂直予測の場合、以下となる。
Figure 0007436519000004
水平方向の場合、以下となる。
Figure 0007436519000005
逆量子化された残差Q-1(Q(ri,j))をイントラブロック予測値に加算し、再構成されたサンプル値を生成する。
このスキームの主な利点は、逆方向のDPCMを、係数の構文解析中にオンザフライで行うことができ、係数の構文解析中に予測子を追加するだけで済むこと、または、構文解析後に行うことができることである。
QR-BDPCMの本文変更案を以下に示す。
7.3.6.5 符号化ユニット構文
Figure 0007436519000006
Figure 0007436519000007
dbpcm_flag[x0][y0]が1の場合、位置(x0,y0)の輝度符号化ブロックを含む符号化ユニットにbdpcm_dir_flagが存在することを指定する
bdpcm_dir_Zflag[x0][y0]=0は、bdpcmブロックで使用される予測方向が水平であることを指定し、そうでない場合、垂直である。
2.8 パーティション構造
HEVCにおいて、CTUは、様々な局所的特徴に適応するように、符号化ツリーと呼ばれる4分木構造を用いてCUに分割される。インターピクチャ(時間的)予測またはイントラピクチャ(空間的)予測を使用する、ピクチャ領域を符号化するかどうかの決定は、葉CUレベルで行われる。各葉CUは、PU分割タイプに応じて1つ、2つまたは4つのPUに更に分割することができる。1つのPUの内部では、同じ予測処理が適用され、PU単位で関連情報がデコーダに送信される。PU分割タイプに基づく予測処理を適用して残差ブロックを得た後、CUのためのコーディングツリー符号化ツリーに類似した別の4分木構造に基づいて、葉CUを変換ユニット(TU)に分割することができる。HEVC構造の重要な特徴の1つは、CU、PU、TUを含む複数のパーティション概念を有することである。
VVCにおいて、2値及び3値分割セグメンテーション構造を使用するネストされたマルチタイプツリーを有する四分木は、複数の区分ユニットタイプの概念に取って代わる。即ち、それは、最大変換長さに対して大き過ぎるサイズを有するCUに必要な場合を除き、CU、PU、及びTU概念の分離を排除し、且つCU区分形状のためのより多くの柔軟性をサポートする。符号化ツリー構造において、CUは正方形または長方形のいずれかを有することができる。まず、符号化ツリーユニット(CTU)を4分木構造で分割する。そして、四分木の葉のノードは、マルチタイプのツリー構造によってさらに区分され得る。図7に示すとおり、マルチタイプツリー構造の分岐タイプには、垂直二分岐(SPLIT_BT_VER)、水平二分岐(SPLIT_BT_HOR)、垂直三分岐(SPLIT_TT_VER)、水平三分岐(SPLIT_TT_HOR)の4つがある。マルチタイプの木の葉のノードは、符号化ユニット(CU)と呼ばれ、CUが大き過ぎて最大変換長にならない限り、このセグメント化は、それ以上の分割なしに、予測及び変換処理に使用される。これは、ほとんどの場合、CU、PU、及びTUが、ネストされたマルチタイプのツリー符号化ブロック構造を有する四分木において、同じブロックサイズを有することを意味する。サポートされる最大変換長がCUの色成分の幅または高さよりも小さい場合、この例外が生じる。また、輝度及びクロマ成分は、Iタイル上に別個の区分構造を有する。さらに、JVET-K0353およびJVET-K0354は、CTU/CUレベルで個別のパーティション構造を使用するかどうかを判定するためにフラグを信号化通知することを提案している。
2.9 VTM-4.0における非ブロック化スキーム
なお、以下の説明において、pNMは、垂直エッジに対してM行目の左側のN番目のサンプル、または水平エッジに対してM列目の上側のN番目のサンプルを表し、qNMは、垂直エッジに対してM行目の右側のN番目のサンプル、または水平エッジに対して、M列目の下側のN番目のサンプルを表す。pNおよびqNの例を図8に示す。
なお、以下の説明において、pNは、垂直エッジに対して行の左側のN番目のサンプル、または、水平エッジに対して列の上側のN番目のサンプルを表し、qNは、垂直エッジに対して行の右側のN番目のサンプル、または水平エッジに対して、列の下側のN番目のサンプルを表す。
1つの単位として4行に対してフィルタのオン/オフの決定を行う。図8は、フィルタのオン/オフ決定に関与する画素を示す。最初の4行のための2つの赤いボックスにおける6つの画素は、4行のためのフィルタのオン/オフを判定するために用いられる。2番目の4行のための2つの赤いボックス内の6つの画素は、第2の4行のためのフィルタのオン/オフを判定するために用いられる。
現在のVTM、つまりVTM-4.0では、JVET-M0471で説明されている非ブロック化スキームが使用される。まずピクチャの垂直エッジを選別する。そして、垂直エッジフィルタリング処理で修正されたサンプルを入力として、ピクチャの水平エッジをフィルタリングする。各CTUのCTBにおける垂直および水平エッジは、符号化ユニットごとに別個に処理される。符号化ユニットにおける符号化ブロックの垂直エッジは、符号化ブロックの左側のエッジから始まり、符号化ブロックの右側に向かってそれらの幾何学的順にエッジを通って進むようにフィルタリングされる。符号化ユニットにおける符号化ブロックの水平エッジは、符号化ブロックの上側のエッジから始まり、符号化ブロックの下側に向かってそれらの幾何学的順にエッジを通って進むようにフィルタリングされる。
2.9.1 境界の決定
8×8のブロック境界にフィルタリングを適用する。さらに、それは、(例えば、アフィン動き予測、ATMVPを使用しているため)変換ブロックの境界または符号化サブブロックの境界でなければならない。そのような境界でない場合、フィルタは無効にされる。
2.9.2 境界強度計算
変換ブロックの境界/符号化サブブロックの境界の場合、それが8×8グリッドに位置する場合、それをフィルタリングしてもよくジのためのbS[xD][yD]([xD][yD]は座標を表す)の設定は、以下のように定義される。
- サンプルpまたはqは、イントラ予測モードで符号化された符号化ユニットの符号化ブロックにある場合、bS[xD][yD]は、2に等しく設定される。
- あるいは、ブロックエッジが変換ブロックエッジでもあり、サンプルp0またはq0が、1つ以上の非ゼロ変換係数レベルを含む変換イントラブロックにある場合、bS[xD][yD]は、1に等しく設定される。
- あるいは、サンプルpを含む符号化サブブロックの予測モードが、サンプルqを含む符号化サブブロックの予測モードと異なる場合、bS[xD][yD]は、1に等しく設定される。
- あるいは、以下の条件の1つ以上が真である場合、bS[xD][yD]を1に等しく設定する。
- サンプルp0を含む符号化サブブロックおよびサンプルqを含む符号化サブブロックは、いずれもIBC予測モードで符号化され、2つの符号化サブブロックの予測に用いられる動きベクトルの水平または垂直成分の絶対差は、1/4輝度サンプル単位で4以上である。
- サンプルpを含む符号化サブブロックの予測のために、サンプルqを含む符号化サブブロックの予測とは異なる参照ピクチャまたは異なる数の動きベクトルが使用される。
注1 - 2つの符号化サブブロックに使用される参照ピクチャが同じであるかまたは異なるかは、予測を形成するのに参照ピクチャリスト0へのインデックスを使用するか、または参照ピクチャリスト1へのインデックスを使用して形成するかに関わらず、且つ参照ピクチャリスト内のインデックス位置が異なるかどうかに関わらず、どのピクチャが参照されるかによってのみに基づいて判定される。
注2 - (xSb,ySb)を含む左上のサンプルを有する符号化サブブロックの予測に使用される動きベクトルの数は、PredFlagL0[xSb][ySb]+PredFlagL1[xSb][ySb]に等しい。
- 1つの動きベクトルは、サンプルpを含む符号化サブブロックを予測するために使用され、1つの動きベクトルは、サンプルqを含む符号化サブブロックを予測するために使用され、使用される動きベクトルの水平または垂直成分の絶対差は、1/4輝度サンプル単位で4以上である。
- 2つの動きベクトルおよび2つの異なる参照ピクチャを使用して、サンプルpを含む符号化サブブロックを予測し、同じ2つの参照ピクチャの2つの動きベクトルを使用して、サンプルqを含む符号化サブブロックを予測し、同じ参照ピクチャの2つの符号化サブブロックの予測に使用される2つの動きベクトルの水平または垂直成分の絶対差は、1/4輝度サンプル単位で4以上である。
- 同じ参照ピクチャの2つの動きベクトルを使用して、サンプルpを含む符号化サブブロックを予測し、同じ参照ピクチャの2つの動きベクトルを使用して、サンプルqを含む符号化サブブロックを予測し、以下の条件の両方が成り立つ。
- 2つの符号化サブブロックの予測に使用されるリスト0の動きベクトルの水平または垂直成分の間の絶対差は、1/4輝度サンプルにおいて4以上である、または2つの符号化サブブロックの予測に使用されるリスト1の動きベクトルの水平または垂直成分の間の絶対差は、4分の1輝度サンプル単位で4以上である。
- サンプルpを含む符号化サブブロックの予測に使用されるリスト0動きベクトルの水平または垂直成分と、サンプルqを含む符号化サブブロックの予測に使用されるリスト1動きベクトルとの間の絶対差は、1/4輝度サンプル単位で4以上であるか、またはサンプルpを含む符号化サブブロックの予測に使用されるリスト1動きベクトルの水平または垂直成分と、サンプルqを含む符号化サブブロックの予測に使用されるリスト0動きベクトルとの間の絶対差は、1/4輝度サンプル単位で4以上である。
- あるいは、変数bS[xD][yD]を0に設定する。
表1および表2にBSの計算規則をまとめる。
表1:境界強度(SPS IBCが無効な場合)
Figure 0007436519000008
表2:境界強度(SPS IBCが有効な場合)
Figure 0007436519000009
2.9.3 輝度成分の非ブロック化決定
非ブロック化決定処理は、このサブセクションで説明する。
より広く、強い輝度フィルタは、条件1、条件2、および条件3の全てがTRUEである場合にのみ使用されるフィルタである。
条件1は、“大ブロック条件”である。この条件は、P側およびQ側のサンプルが、それぞれ変数bSidePisLargeBlkおよびbSideQisLargeBlkによって表現される大ブロックに属するかどうかを検出する。bSidePisLargeBlkおよびbSideQisLargeBlkは、以下のように定義される。
bSidePisLargeBlk=((エッジタイプが垂直かつpがwidth>=32のCUに属する)||(エッジタイプが水平かつpがheight>=32のCUに属する))?TRUE:FALSE
bSideQisLargeBlk=((エッジタイプが垂直かつqがwidth>=32のCUに属する)||(エッジタイプが垂直かつqがheight>=32のCUに属する))?TRUE:FALSE
bSidePisLargeBlkおよびbSideQisLargeBlkに基づいて、条件1を以下のように定義する。
Condition1=(bSidePisLargeBlk||bSidePisLargeBlk)?TRUE:FALSE
次に、条件1が真である場合、さらに条件2をチェックする。まず、以下の変数を導出する。
- dp0,dp3,dq0,dq3をまずHEVCとして導出する
- if(p側が32以上)
dp0=(dp0+Abs(p5-2*p4+p3)+1)>>1
dp3=(dp3+Abs(p5-2*p4+p3)+1)>>1
- if(q側が32以上)
dq0=(dq0+Abs(q5-2*q4+q3)+1)>>1
dq3=(dq3+Abs(q5-2*q4+q3)+1)>>1
条件2=(d<β)?TRUE:FALSE
章2.2.4に示すとおり、式中、d=dp0+dq0+dp3+dq3である。
条件1および条件2が有効である場合、いずれかのブロックがサブブロックを使用するかどうかをさらにチェックする。
If(bSidePisLargeBlk)
If(mode block P==SUBBLOCKMODE)
Sp=5
else
Sp=7
else
Sp=3
If(bSideQisLargeBlk)
If(mode block Q==SUBBLOCKMODE)
Sq=5
else
Sq=7
else
Sq=3
最後に、条件1および条件2の両方が有効である場合、提案された非ブロック化方法は、以下のように定義される条件3(大ブロックの強いフィルタ条件)をチェックする。
条件3のStrongFilterConditionにおいて、以下の変数を導出する。
dpqはHEVCと同様に導出される。
sp=Abs(p-p)、HEVCと同様に導出される
if(p側が32以上)
if(Sp==5)
sp=(sp+Abs(p-p)+1)>>1
else
sp=(sp+Abs(p-p)+1)>>1
sq=Abs(q-q)は、HEVCと同様に導出される
if(q側が32以上)
If(Sq==5)
sq=(sq+Abs(q-q)+1)>>1
else
sq=(sq+Abs(q-q)+1)>>1
HEVCと同様に、StrongFilterCondition=(dpqは(β>>2)未満、sp+sqは(3*β>>5)未満、およびAbs(p-q)は(5*t+1)>>1)?TRUE:FALSE.
2.9.4 輝度のためのより強い非ブロック化フィルタ(より大きいブロックのために設計される)
バイリニアフィルタは、境界の両側のサンプルが1つの大ブロックに属する場合に用いられる。1つの大ブロックに属する1つのサンプルは、垂直エッジの場合、幅≧32であり、水平エッジの場合、高さ≧32であるときとして定義される。
バイリニアフィルタを以下に示す。
次に、上述のHEVC非ブロック化において、i=0~Sp-1では、ブロックの境界サンプルp、j=0~Sq-1ではq(pi、qiは、垂直エッジをフィルタリングする行内のi番目のサンプル、または水平エッジをフィルタリングする列内のi番目のサンプル)を、以下のように線形補間によって置き換える。
- p’=(f*Middles,t+(64-f)*P+32>>6),clipped to p±tcPD
- q’=(g*Middles,t+(64-f)*Q+32>>6),clipped to q±tcPD
ここで、tcPDおよびtcPD項は、章2.3.6に記載の位置依存クリッピングであり、g,f,Middles,t,PおよびQは、以下に示される。
Figure 0007436519000010
2.9.5 クロマの非ブロック化制御
クロマの強いフィルタは、ブロックの境界の両側に用いられる。ここで、クロマフィルタは、クロマエッジの両側が8(クロマ位置)以上である場合に選択され、3つの条件付きで、1番目のものが、境界強度ならびに大ブロックのためのものである、という決定が満たされる。提案されたフィルタは、クロマサンプルドメインにおいて、ブロックのエッジに直交するブロックの幅または高さが8以上である場合に適用できる。第2および第3のものは、基本的にはHEVC輝度の非ブロック化の決定と同じであり、それぞれオン/オフ決定および強いフィルタの決定となっている。
第1の決定において、表2に示すように、クロマフィルタリングのために境界強度(bS)が修正される。表2の条件を順次チェックする。条件が満たされている場合、残りの優先順位の低い条件はスキップされる。
大ブロックの境界が検出された場合、bSが2に等しいか、またはbSが1に等しいとき、クロマ非ブロック化が行われる。
第2および第3の条件は、基本的には、以下のように、HEVC輝度の強いフィルタの決定と同様である。
第2の条件において、
その後、HEVC輝度非ブロック化と同様にdを導出する。
第2の条件は、dがβより小さい場合、TRUEとなる。
第3の条件において、StrongFilterConditionは、以下のように導出される。
dpqはHEVCと同様に導出される。
sp=Abs(p-p)、HEVCと同様に導出される
sq=Abs(q-q)は、HEVCと同様に導出される
HEVC設計におけるように、StrongFilterCondition=(dpqが(β>>2)未満であり、sp+sqが(β>>3)未満であり、Abs(p_q)が(5*t+1)>>1未満である。)
2.9.6 クロマ用の強い非ブロック化フィルタ
以下のようなクロマ用の強い非ブロック化フィルタが定義される。
’=(3*p+2*p+p+p+q+4)>>3
’=(2*p+p+2*p+p+q+q+4)>>3
’=(p+p+p+2*p+q+q+q+4)>>3
提案されたクロマフィルタは、4×4クロマサンプルグリッドに対して非ブロック化を行う。
2.9.7 位置依存クリッピング
位置依存クリッピングtcPDは、境界で7個、5個、および3個のサンプルを修正する強く長いフィルタを含む輝度フィルタリング処理の出力サンプルに適用される。量子化誤差分布を仮定して、より高い量子化ノイズを有すると予想されるサンプルに対して、クリッピング値を増加させることが提案され、よって、再構成されたサンプル値の真のサンプル値からのより高い偏差を有することが予想される。
非対称フィルタでフィルタリングされた各PまたはQ境界について、章2.3.3における意思決定処理の結果に基づいて、位置依存閾値テーブルが、副情報としてデコーダに提供される2つのテーブル(即ち、Tc7およびTc3を以下にまとめる)から選択される。
Tc7={6,5,4,3,2,1,1};
Tc3={6,4,2};
tcPD=(Sp==3)?Tc3:Tc7;
tcQD=(Sq==3)?Tc3:Tc7;
短い対称フィルタでフィルタリングされるPまたはQ境界に対しては、より小さい位置依存閾値が適用される。
Tc3={3,2,1};
閾値を定義した後、tcPおよびtcQクリッピング値に従って、フィルタリングされたp’およびq’サンプル値をクリッピングする。
p’’=Clip3(p’+tcP,p’-tcP,p’);
q’’=Clip3(q’+tcQ,q’-tcQ,q’);
ここで、p’、q’はフィルタリングされたサンプル値であり、p’’、q’’はクリッピング後の出力サンプル値であり、tcP、tcPはVVC tcパラメータ、tcPD、tcQDから導出されるクリッピング閾値である。関数Clip3は、VVCに規定されているような、クリッピング関数である。
2.9.8 サブブロックの非ブロック化調整
両方のロングフィルタを使用する並列フレンドリな非ブロック化およびサブブロック非ブロック化を可能にするために、ロングフィルタは、ロングフィルタのための輝度制御に示すように、サブブロック非ブロック化(AFFINE、ATMVP、またはDMVR)を使用する側でのサンプルの修正が、最大で5つまでに制限される。さらに、サブブロックの非ブロック化は、CUまたは暗黙のTU境界に近い8×8グリッド上のサブブロック境界の修正が、各側において最大2つまでのサンプルに制限されるように調整される。
以下は、CU境界と整列されていないサブブロック境界に適用される。
If(modeblockQ==SUBBLOCKMODE && edge !=0){
if(!(implicitTU&&(edge==(64/4))))
if(edge==2||edge==(orthogonalLength-2)||edge==(56/4)||edge==(72/4))
Sp=Sq=2;
else
Sp=Sq=3;
else
Sp=Sq=bSideQisLargeBlk?5:3
この場合、0に等しいエッジはCU境界に対応し、2に等しいかまたは直交長さ-2に等しいエッジは、CU境界からのサブブロックの境界8サンプルに対応する。ここで、TUの暗黙的分割が使用される場合、暗黙的TUは真である。
2.9.9 輝度/クロマ用の4CTU/2CTU行バッファへの制限
水平エッジがCTU境界と整列している場合、水平エッジのフィルタリングは、輝度の場合、Sp=3、クロマの場合、Sp=1、Sq=1に制限する。
2.10 イントラ予測モードと組み合わせたパレットモード(PCIP)
JVET-M0051では、イントラ予測と組み合わせたパレットモードが提案されている。この方式では、デコーダは最初にイントラ予測方法に基づいて予測ブロックを導出する。次に、デコーダはパレットとインデックスマップをデコードする。デコーダは、デコードパレット情報を使用して、予測ブロックを微調整し、ブロックを再構成する。
図9にパレット情報とイントラ予測情報を組み合わせた例を示す。最初に、デコーダは予測ブロックを生成する(画素値A0~A15)。そして、デコーダはパレットモードでインデックスマップを復号する。ブロックを再構成するために、復号化されたインデックスが“0”に等しい場合、図2-6に示すように、対応する画素は“P”としてマークされる。“P”とマークされた画素は、イントラ予測ブロックの画素値によって再構成される。それ以外の場合は、C0、C1などのパレットカラーで画素が再構成される。
2.11 複合パレットモード(CPM)
JVET-N0259と同様に、複合パレットモードのサンプルは、現在のインデックスが0のときにIBC予測で同一位置に配置されたサンプルをコピーすることで再構成できる。それ以外の場合、現在のサンプルはパレットの色によって再構成される。図10は、提案されたパレットモードを示している。
複合パレットモードでは、輝度ブロックで、最初に使用可能なマージ候補を使用してIBC予測が生成されるため、IBC予測の動き情報を通知する必要はない。クロマブロックでは、CPMの動き補償はVTM4の動き補償と同じである。
さらに、エスケープ画素の符号化も修正される。元のサンプルと同一位置に配置されたIBC予測サンプルの間の量子化された残差が信号通知される。デコーダでは、提案されたパレットモードのすべてのエスケープ画素が、復号化された残差とIBC予測を組み合わせて再構成される。
2.12 JVET-N0185の67のイントラ予測モードを使用したイントラモード符号化
自然映像に表される任意のエッジ方向をキャプチャするために、VTM4における指向性イントラモードの数は、HEVCで使用されるように、33から65に拡張される。HEVCにない新しい指向性モードは、図11に赤い点線の矢印で示されており、平面モードと直流モードは同じままである。これらのより密度の高い指向性イントラ予測モードは、すべてのブロックサイズ、および輝度および彩度イントラ予測の両方に適用される。
MRL符号化ツールおよびISP符号化ツールの適用の有無にかかわらず、イントラブロックに対して統一された6-MPMリストが提案される。MPMリストは、図12に示すように、VTM4.0などの場合、左上の隣接するブロックのイントラモードに基づいて構成される。
ここで、左側のモードをLeftとし、上記ブロックのモードをAboveとすると、統合MPMリストは、以下のステップで順に構成される。
- 隣接するブロックのイントラ予測モードが無効である場合、そのイントラモードはデフォルトで平面に設定される。
- LeftとAboveが同じかつ両方ともに角度がある場合、
○ MPMリスト→{Planar,Left,Left-1,Left+1,DC,Left-2}
- LeftとAboveが異なりかつ両方ともに角度がある場合、
○ MaxモードをLeftとAboveでより大きいモードに設定する。
○ LeftモードとAboveモードとの差が2~62の範囲内にある場合
■ MPMリスト→{Planar,Left,Above,DC、Max-1,Max+1}
○ あるいは、
■ MPMリスト→{Planar,Left,Above,DC,Max-2,Max+2}
- LeftとAboveが異なり、LeftおよびAboveの一方が角度モードであり、他方が非角度モードである場合、
○ MaxモードをLeftとAboveでより大きいモードに設定する。
○ MPMリスト→{Planar,Max,DC,Max-1,Max+1,Max-2}
- モードLeftおよびAboveの両方が非角度モードである場合、
○ MPMリスト→{Planar,DC,V,H,V-4,V+4}
なお、モードインデックス(例えば、Max+2)が範囲[0,66]を超えた場合、他の有効なモードインデックスに置き換えられてもよい。
第1のMPM候補、すなわち、Planarモードは、残りのMPM候補とは別個に信号通知される。
より詳細な構文、意味論、及び復号化処理を以下に説明する:
7.3.6.5 符号化ユニット構文
Figure 0007436519000011
Figure 0007436519000012
構文要素intra_luma_mpm_flag[x0][y0]、intra_luma_not_planar_flag[x0][y0]、intra_luma_mpm_idx[x0][y0]およびintra_luma_mpm_remainder[x0][y0]は、輝度サンプルのイントラ予測モードを指定する。配列インデックスx0,y0は、ピクチャの左上輝度サンプルに対する、考慮される符号化ブロックの左上輝度サンプルの位置(x0,y0)を指定する。intra_luma_mpm_flag[x0][y0]が1に等しい場合、第8.4.2項に従って、隣接するイントラ予測符号化ユニットから前記イントラ予測モードを推論する。
intra_luma_mpm_flag[x0][y0]が存在しない(例えば、ISPが有効化されている、またはMRLが有効化されている(参照インデックス>0を有する))場合、それは1に等しいと推論される。
intra_luma_not_planar_flag[x0][y0]が存在しない場合(例えば、MRLが使用可能)、1に等しいと推測される。
8.4.2 輝度イントラ予測モードのための導出処理
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
この処理において、輝度イントラ予測モードIntraPredModeY[xCb][yCb]が導出される。
表8-1に、イントラ予測モードIntraPredModeY[xCb][yCb]の値とその関連名称を示す。
表8-1 - イントラ予測モードの指定とその関連名称の仕様
Figure 0007436519000013
備考 -:イントラ予測モードINTRA_LT_CCLM、INTRA_L_CCLM、INTRA_T_CCLMは、クロマ成分にのみ適用可能である。
IntraPredModeY[xCb][yCb]は、以下のように導出される。
- intra_luma_not_planar_flag[xCb][yCb]が1に等しい場合、以下の順序付けられたステップ:
1.隣接位置(xNbA、yNbA)および(xNbB、yNbB)は、それぞれ、(xCb-1,yCb+cbHeight-1)および(xCb+cbWidth-1,yCb-1)に等しく設定される。
2.XをAまたはBのいずれかに置き換える場合、変数candIntraPredModeXは、以下のように導出される。
- 6.4.X項[Ed.(BB):隣接ブロックの可用性導出処理tbd]で規定されるブロックの可用性導出処理は、入力として、(xCb,yCb)に等しく設定された位置(xCurr,yCurr)と、(xNbX,yNbX)に等しく設定した隣接位置(xNbY,yNbY)で呼び出され、出力をavailableXに割り当てる。
- 候補イントラ予測モードcandIntraPredModeXは、以下のように導出される。
- 以下の条件の1つ以上が真である場合、candIntraPredModeXをINTRA_PLANARに等しく設定する。
- 変数availableXはFALSEに等しい。
- CuPredMode[xNbX][yNbX]はMODE_INTRAに等しくなく、かつciip_flag[xNbX][yNbX]は1に等しくない。
- pcm_flag[xNbX][yNbX]は1に等しい。
- XがBに等しく、yCb_1が((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)未満である。
- あるいは、candIntraPredModeXをIntraPredModeY[xNbX][yNbX]に等しく設定する。
3.x=0..4の場合のcandModeList[x]は、以下のように導出される。
- candIntraPredModeBがcandIntraPredModeAに等しく、candIntraPredModeAがINTRA_DCよりも大きい場合、candModeList[x](x=0..4)は、以下のように導出される。
candModeList[0]=candIntraPredModeA (8-10)
candModeList[1]=2+((candIntraPredModeA+61)%64) (8-12)
candModeList[2]=2+((candIntraPredModeA-1)%64) (8-13)
candModeList[3]=INTRA_DC (8-11)
candModeList[4]=2+((candIntraPredModeA+60)%64) (8-14)
- candIntraPredModeBがcandIntraPredModeAに等しくなく、candIntraPredModeAまたはcandIntraPredModeBがINTRA_DCよりも大きい場合、以下が適用される。
- 変数minABおよびmaxABは、以下のように導出される。
minAB=Min(candIntraPredModeA,candIntraPredModeB) (8-24)
maxAB=Max(candIntraPredModeA,candIntraPredModeB) (8-25)
- candIntraPredModeA及びcandIntraPredModeBの両方がINTRA_DCよりも大きい場合、x=0..4の場合のcandModeList[x]は、以下のように導出される。
candModeList[0]=candIntraPredModeA (8-27)
candModeList[1]=candIntraPredModeB (8-29)
candModeList[2]=INTRA_DC (8-29)
- maxAB-minABが2~62の範囲内にある場合、以下が適用される。
candModeList[3]=2+((maxAB+61)%64) (8-30)
candModeList[4]=2+((maxAB-1)%64) (8-31)
- そうでない場合、以下が適用される。
candModeList[3]=2+((maxAB+60)%64) (8-32)
candModeList[4]=2+((maxAB)%64) (8-33)
- そうでない場合(candIntraPredModeAまたはcandIntraPredModeB>INTRA_DC)、x=0..4のcandModeList[x]は、以下のように導出される。
candModeList[0]=maxAB (8-65)
candModeList[1]=INTRA_DC (8-66)
candModeList[2]=2+((maxAB+61)%64) (8-66)
candModeList[3]=2+((maxAB-1)%64) (8-67)
candModeList[4]=2+((maxAB+60)%64) (8-68)
- そうでない場合、以下が適用される。
candModeList[0]=INTRA_DC (8-71)
candModeList[1]=INTRA_ANGULAR50 (8-72)
candModeList[2]=INTRA_ANGULAR18 (8-73)
candModeList[3]=INTRA_ANGULAR46 (8-74)
candModeList[4]=INTRA_ANGULAR54 (8-75)
4.IntraPredModeY[xCb][yCb]は、以下の手順を適用することによって導出される。
- intra_luma_mpm_flag[xCb][yCb]が1に等しい場合、IntraPredModeY[xCb][yCb]は、candModeList[intra_luma_mpm_idx[xCb][yCb]]と等しく設定される。
- そうでない場合、IntraPredModeY[xCb][yCb]は以下の順のステップを適用することにより、導出される。
1.candModeList[i]がcandModeList[j]よりも大きい(i=0..3、各i,j=(i+1)..4)場合、両方の値は、以下のようにスワップされる。
(candModeList[i],candModeList[j])=Swap(candModeList[i],candModeList[j]) (8-94)
2.IntraPredModeY[xCb][yCb]は以下の順のステップで導出される。
i.IntraPredModeY[xCb][yCb]はintra_luma_mpm_remainder[xCb][yCb]と等しく設定される。
ii.IntraPredModeY[xCb][yCb]の値が1増加する。
iii.i=0~4の場合、IntraPredModeY[xCb][yCb]がcandModeList[i]以上である場合、IntraPredModeY[xCb][yCb]の値が1増加する。
- そうでない場合(intra_luma_not_planar_flag[xCb][yCb]は0と等しい)、IntraPredModeY[xCb][yCb]はINTRA_PLANARと等しく設定される。
x=xCb..xCb+cbWidth-1およびy=yCb..yCb+cbHeight-1の場合、変数IntraPredModeY[x][y]は、IntraPredModeY[xCb][yCb]と等しく設定される。
2.13 履歴ベースのマージ候補の導出
履歴ベースのMVP(HMVP)マージ候補は、空間MVPおよびTMVPの後にマージリストに追加される。この方法では、あらかじめ符号化されたブロックの動き情報がテーブルに保存され、現在のCUのMVPとして使用される。符号化/復号化処理中、複数のHMVP候補を有するテーブルが維持される。新しいCTU行が検出されると、テーブルはリセット(空)される。非サブブロックインター符号化CUがある場合は常に、関連する動き情報が新しいHMVP候補としてテーブルの最後のエントリに追加される。
VTM5では、HMVPテーブルサイズSは5に設定されている。これは、最大5つの履歴ベースのMVP(HMVP)候補をテーブルに追加できることを示している。新しい動き候補をテーブルに挿入する際には、制約付き先入れ先出し(FIFO)規則が使用され、この規則では、冗長性チェックが最初に適用され、テーブルに同一のHMVPがあるかどうかが確認される。見つかった場合、同一のHMVPがテーブルから削除され、その後、すべてのHMVP候補が前方に移動される。HMVP候補は、マージ候補リスト構築処理において使用され得る。表内の最新のいくつかのHMVP候補が順番にチェックされ、TMVP候補の後に候補リストに挿入される。冗長性チェックは、HMVP候補から空間的マージ候補に適用される。
2.14スケーリングリスト
スケーリングリスト(c.f.量子化行列)は、(逆)量子化プロセス中に適用できる。HEVCでは、ユーザ定義のスケーリング値がPPSで信号通知され、可能なTBサイズ、色成分、予測タイプ(イントラ/インター)ごとに、独自のスケーリングリストを持つことができる。ただし、4:4:4RExtクロマフォーマットにのみ使用される32×32クロマブロックは除かれる。16×16および32×32スケーリングリストの場合、スケーリングリストは、DC周波数位置に対応するエントリに使用される値とともに、必要なサイズに値が繰り返される8×8グリッドの値で指定される。
3 従来技術の技術的限界の例
パレットモードまたはそのバリアント(PCIPやCPMなど)で符号化されたブロックでは、いくつかの問題が発生する。
1.パレットモードは、非ブロック化処理で特別に処理する必要がある場合がある。
2.CPMおよび/またはPCIPは、符号化効率を高めるためのイントラ予測モードとして扱うことができる。
3.CPMで符号化されたブロックのMV/BVは、符号化効率を高めるために、連続するブロックのMV/BV予測として使用され得る。
4.PCIPで符号化されたブロックのイントラ予測方向は、符号化効率のための連続するブロックのイントラモード予測として使用され得る。
5.VTMと同様に、クロマCPMはサブブロックレベルで動きベクトルの導出を行う必要があるため、複雑さは増加する。
6.クロマPCIPの信号通知は、クロマIBCモードの可用性を考慮していない。
4 例示的な実施形態
以下に列記される実施形態は、一般的な概念を説明するための例であると考えられるべきである。これらの実施形態は狭い意味で解釈されるべきではない。さらに、リストされた技法は、例えば、符号化効率を改善し、復号化または符号化の複雑さを軽減するために、任意の方法で組み合わせることができる。
以下に説明する方法は、現在のパレットモード、PCIP、CPM、または残差符号化のためにパレットに依存する可能性のある他の符号化方法に適用することができる。
1.パレットモードは、非ブロック化処理で既存の符号化モード(たとえば、イントラ、インター、IBC)に加えて、別のモード(たとえば、MODE_PLT)として扱われ得る。
a.一例として、P側およびQ側のブロックが両方ともパレットモードで符号化されている場合、境界強度を0に設定することができる。
b.一例として、一方の側のブロックAがパレットモードで符号化され、他方の側のブロックBがパレットモードで符号化されていない場合、境界強度は、ブロックBの情報にのみ依存してもよい。
i.一例として、ブロックBはイントラモードで符号化されている。このような場合、境界強度を2に設定してもよい。
ii.一例において、ブロックBはIBCモードで符号化されている。このような場合、ブロックBが少なくとも1つの非ゼロ係数を有する場合、境界強度は1に設定してもよい。
iii.一例において、ブロックBはIBCモードで符号化されている。このような場合、ブロックBのすべての係数が0であれば、境界強度を0に設定してもよい。
c.一例として、上記の方法は、PCIP、CPMまたは他のパレット関連の方法にも適用され得る。
2.CPMは、非ブロック化処理において(たとえば、境界強度の導出など)、IBCモードと同様に扱うことができる。
a.あるいは、CPMは、非ブロック化処理において(たとえば、境界強度の導出など)、パレットモードと同様に扱うことができる。
b.あるいは、CPMは、非ブロック化処理において(たとえば、境界強度の導出など)、イントラモードと同様に扱うことができる。
c.あるいは、非ブロック化フィルタを適用する方法は、CPMの使用法に依存する場合がある。
3.PCIPは、非ブロック化処理において(たとえば、境界強度の導出など)、イントラモードと同様に扱うことができる。
a.あるいは、PCIPは、非ブロック化処理において(たとえば、境界強度の導出など)、パレットモードと同様に扱うことができる。
b.あるいは、非ブロック化フィルタを適用する方法は、PCIPの使用法に依存する場合がある。
4.パレット符号化ブロック/CPM/PCIPの符号化ブロックフラグは、固定値に設定することも、ブロック内のエスケープ画素の存在に依存することもある。
a.一例として、符号化されたブロックフラグを0に設定することができる。
b.一例として、符号化されたブロックフラグを1に設定することができる。
c.一例として、現在のブロックにエスケープ画素がない場合、符号化されたブロックフラグを0に設定することができる。
d.一例として、現在のブロックに少なくとも1つのエスケープ画素がある場合、符号化されたブロックフラグを1に設定することができる。
5.パレットモード、および/またはCPMおよび/またはPCIPで符号化されたサンプルはブロック解除されない場合がある。
a.一例として、P側またはQ側のブロックがCPMおよび/またはPCIPで符号化されている場合、P側および/またはQ側のサンプルはブロック解除されない可能性がある。
b.一例として、P側のブロックがCPMおよび/またはPCIPで符号化され、Q側のブロックがこれらのモードで符号化されていない場合、P側のサンプルはブロック解除されない可能性があり、逆もまた同様である。
c.一例として、CPMモードの場合、非ブロック化フィルタは、IBC予測からコピーされたサンプルに対してのみ行われ得る。パレットエントリの他のサンプルはブロック解除されない場合がある。
d.一例として、PCIPモードの場合、非ブロック化フィルタは、イントラ予測からコピーされたサンプルに対してのみ行われ得る。パレットエントリの他のサンプルはブロック解除されない場合がある。
6.変換ユニット/予測ユニット/符号化ブロック/領域に対するCPMの使用の指示は、イントラモード、インターモード、IBCモードおよびパレットモードを含み得る既存の予測モードとは別に符号化され得る。
a.一例として、予測モードに関連する構文要素(例えば、cu_skip_flag、pred_mode_flag、pred_mode_ibc_flag、およびcu_palette_flag)は、CPMの使用の指示の前に符号化することができる。
i.代替的に、さらに、CPMの使用の指示は、予測モードに基づいて条件付きで信号通知されてもよい。
1.一例では、CPMモードがブロック内コピーモード(すなわち、MODE_IBC)である場合、CPMモードの使用の表示のシグナリングはスキップされ得る。さらに、現在の予測モードがMODE_IBCである場合、CPMの使用の指示がFALSEであると推測されてもよい。
7.色成分のCPMおよび/またはPCIP関連の構文を通知するかどうかは、パーティション構造および/またはカラーフォーマットおよび/または個別のプレーン符号化に依存する場合がある。
a.一例として、クロマ成分の場合、単一のツリーが適用されると、CPMおよび/またはPCIP関連の構文の信号通知がスキップされる場合がある。
b.あるいは、クロマ成分の場合、デュアルツリーが適用されている場合、CPMおよび/またはPCIP関連の構文が通知される場合がある。
c.あるいは、カラーフォーマットが4:0:0の場合、クロマブロックのCPMおよび/またはPCIP関連の構文の信号通知をスキップできる。
i.あるいは、さらに、それらは依然として信号通知され得るが、復号化プロセスでは使用されない。
8.クロマブロックのCPMモードの使用の指示の信号通知は、対応する輝度ブロック内の1つ以上の選択されたブロックの符号化された情報(例えば、予測モード)に基づくことができる。
a.一例として、選択された輝度ブロックの少なくとも1つがIBCモードで符号化されている場合、クロマブロックのCPMの指示が信号通知され得る。
i.あるいは、選択されたすべての輝度ブロックがIBCモードで符号化されている場合、クロマブロックのCPMの指示が信号通知される場合がある。
ii.あるいは、選択されたブロックがイントラブロックコピーモード(すなわち、MODE_IBC)で符号化されていない場合、クロマCPMの使用の指示が信号通知されない場合がある。さらに、選択されたブロックの予測モードがMODE_IBCではない場合には、CPMの使用の指示がデフォルト値(たとえば、false)であると推測されてもよい。
iii.あるいは、選択されたすべてのブロックがイントラブロックコピーモード(すなわち、MODE_IBC)で符号化されていない場合、クロマCPMの使用の指示が信号通知されない場合がある。さらに、選択されたすべてのブロックがIBCモードで符号化されていない場合、CPMの使用の指示がデフォルト値(たとえば、false)であると推測されてもよい。
b.一例において、選択された輝度ブロックのサイズは、最小のCU/PU/TUサイズまたはモーション/モードストレージ用のユニット(4×4など)であり得る。
c.一例として、選択された輝度ブロックは、対応する輝度領域の中央、左上、右上、左下、または右下の位置をカバーするCU/PU/TUであってもよい。対応する輝度領域の例を図4-1に示す。
i.一例において、現在のクロマブロックの左上の座標が(x0、y0)であり、現在のクロマブロックの幅と高さがそれぞれw0とh0であると仮定する。対応する輝度領域の左上のサンプルの座標、対応する輝度領域の幅と高さは、カラーフォーマットに従ってスケーリングしてもよい。
a)4:2:0カラーフォーマットの場合、同一位置に配置された輝度領域の左上の座標は(2*x0、2*y0)であり、その幅と高さはそれぞれ2*w0と2*h0である。
b)4:4:4カラーフォーマットの場合、同一位置に配置された輝度領域の左上の座標は(x0、y0)であり、その幅と高さはそれぞれw0とh0である。
ii.同一位置に配置された輝度領域の左上の座標が(x、y)であり、その幅と高さがWとHであるとすると、中心位置の座標は次のようになり得る。
a) (x+W/2,y+H/2)
b) (x+W/2-1,y+H/2-1)
c) (x+W/2,y+H/2-1)
d) (x+W/2-1,y+H/2)
iii.同一位置に配置された輝度領域の左上の座標が(x、y)であり、その幅と高さがWとHであるとすると、左上の位置の座標は(x、y)になり得る。
iv.同一位置に配置された輝度領域の左上の座標が(x、y)であり、その幅と高さがWとHであるとすると、右上の位置の座標は次のようになり得る。
a) (x+W,y)
b) (x+W-1,y)
v.同一位置に配置された輝度領域の左上の座標が(x、y)であり、その幅と高さがWとHであるとすると、左下の位置の座標は次のようになる。
a) (x,y+H)
b) (x,y+H-1)
vi.同一位置に配置された輝度領域の左上の座標が(x、y)であり、その幅と高さがWとHであるとすると、右下の位置の座標は次のようになり得る。
a) (x+W,y+H)
b) (x+W,y+H-1)
c) (x+W-1,y+H)
d) (x+W-1,y+H-1)
図13は、対応する輝度領域の例を示す。
9.クロマPCIPモードの使用の信号通知は、1つ以上の選択された輝度ブロックの符号化された情報に依存し得る。
a.一例として、対応する輝度ブロック内の選択されたブロックがイントラブロックコピーモード(すなわち、MODE_IBC)で符号化されている場合、クロマPCIPの使用の指示が信号通知されない場合がある。さらに、対応する輝度ブロックの選択されたブロックの予測モードがMODE_IBCである場合、PCIPの使用の指示は偽であると推測され得る。
i.あるいは、選択されたすべての輝度ブロックがIBCモードで符号化されている場合、クロマブロックのPCIPの指示が信号通知されない場合がある。
ii.あるいは、対応する輝度領域内のすべてのサンプルがIBCモードで符号化されている場合、クロマブロックのPCIPの指示が信号通知されない場合がある。
b.一例において、選択された輝度ブロックのサイズは、最小のCU/PU/TUサイズまたはモーション/モードストレージ用のユニット(4×4など)であり得る。
c.一例として、選択された輝度ブロックは、図4-1に示されるように、対応する輝度領域の中央、左上、右上、左下、または右下の位置をカバーするCU/PU/TUであってもよい。
i.一例において、現在のクロマブロックの左上の座標が(x0、y0)であり、現在のクロマブロックの幅と高さがそれぞれw0とh0であると仮定する。対応する輝度領域の左上のサンプルの座標、対応する輝度領域の幅と高さは、カラーフォーマットに従ってスケーリングしてもよい。
a)4:2:0カラーフォーマットの場合、同一位置に配置された輝度領域の左上の座標は(2*x0、2*y0)であり、その幅と高さはそれぞれ2*w0と2*h0である。
b)4:4:4カラーフォーマットの場合、同一位置に配置された輝度領域の左上の座標は(x0、y0)であり、その幅と高さはそれぞれw0とh0である。
ii.同一位置に配置された輝度領域の左上の座標が(x、y)であり、その幅と高さがWとHであるとすると、中心位置の座標は次のようになり得る。
a) (x+W/2,y+H/2)
b) (x+W/2-1,y+H/2-1)
c) (x+W/2,y+H/2-1)
d) (x+W/2-1,y+H/2)
iii.同一位置に配置された輝度領域の左上の座標が(x、y)であり、その幅と高さがWとHであるとすると、左上の位置の座標は(x、y)になり得る。
iv.同一位置に配置された輝度領域の左上の座標が(x、y)であり、その幅と高さがWとHであるとすると、右上の位置の座標は次のようになり得る。
a) (x+W,y)
b) (x+W-1,y)
v.同一位置に配置された輝度領域の左上の座標が(x、y)であり、その幅と高さがWとHであるとすると、左下の位置の座標は次のようになる。
a) (x,y+H)
b) (x,y+H-1)
vi.同一位置に配置された輝度領域の左上の座標が(x、y)であり、その幅と高さがWとHであるとすると、右下の位置の座標は次のようになり得る。
a) (x+W,y+H)
b) (x+W,y+H-1)
c) (x+W-1,y+H)
d) (x+W-1,y+H-1)
10.CPMモードを、既存の予測モードに加えて、別個の予測モード(たとえば、MODE_PLT_IBCで示される)として扱うことを提案する。
a.一例において、予測モードは、イントラスライス/Iピクチャ/イントラタイルグループのためのイントラ、イントラブロックコピー、パレットモード、およびCPMモードを含んでもよい。
b.代替的に、予測モードは、イントラスライス/Iピクチャ/イントラタイルグループのためのイントラ、パレットモード、およびCPMモードを含んでもよい。
c.一例において、予測モードは、スライス間/および/またはBピクチャ/タイルグループのためのイントラ、インター、イントラブロックコピー、パレットモード、およびCPMモードを含んでもよい。
d.代替的に、予測モードは、イントラ、インター、イントラブロックコピー、パレットモード、およびCPMモードのうちの少なくとも2つを含んでもよい。
e.一例において、予測モードがインターモード(すなわち、MODE_INTER)である場合、CPMモードの使用の指示の信号通知はスキップされてもよい。さらに、現在の予測モードがMODE_INTERである場合、CPMモードの使用の指示がFALSEであると推測されてもよい。
11.CPMは、既存の予測モードの特殊なケースとして扱われる場合がある。この場合、CPMモードに関連する構文は、既存の予測モードの特定の使用条件下でさらに信号通知される場合がある。
a.一例として、予測モードがイントラモード(すなわち、MODE_INTRA)である場合、CPM関連の構文の信号通知はスキップされ得る。さらに、現在の予測モードがMODE_INTRAである場合、CPMモードの使用の指示がFALSEであると推測されてもよい。
b.一例として、予測モードがスキップモードである場合(すなわち、スキップフラグが1に等しい場合)、CPM関連構文の信号通知をスキップすることができる。さらに、現在のCUでスキップモードが採用されている場合、CPMの使用状況の指示は誤っていると推測される場合がある。
c.一例として、予測モードがパレットモード(例えば、MODE_PLT)である場合、CPMおよびCPM関連の構文の使用の指示が信号通知され得る。
d.あるいは、予測モードがイントラモード、インターモード、またはイントラブロックコピーモードである場合、CPM関連の構文をスキップすることができる。
e.あるいは、予測モードがパルス符号変調(PCM)モードではなくイントラモードである場合、CPM関連の構文が信号通知される場合がある。
f.一例として、予測モードがパレットモード(例えば、MODE_PLT)である場合、CPMおよびCPM関連構文の使用の指示は、PCMモードの使用の指示の前または後に信号通知してもよい。一例として、CPMモードが適用される場合、CPM関連の構文の信号通知が行われてもよい。
g.予測モードがイントラモード、インターモード、またはイントラブロックコピーモードの場合、CPM関連の構文の信号通知がスキップされてもよい。
h.あるいは、予測モードがパルス符号変調(PCM)モードではなくイントラモードである場合、CPM関連の構文が信号通知される場合がある。
i.一例として、予測モードがイントラブロックコピーモードである場合、CPM関連の構文が信号通知されてもよい。
j.あるいは、予測モードがパレットモード、インターモード、またはイントラモードである場合、CPM関連の構文の信号通知をスキップされてもよい。
k.上記の方法は、PCIPまたは他のパレット関連の方法にも適用できる。
12.CPMで符号化されたブロックのMVは、後続のブロックのMV予測としても使用されてもよい。
a.一例として、CPMで符号化されたブロックのMVは、他のブロックのマージ候補として使用されてもよい。
b.一例として、CPMで符号化されたブロックのMVは、他のブロックのHMVP候補として使用されてもよい。
i.あるいは、さらに、CPMで符号化されたブロックを符号化した後に、HMVPテーブルを更新してもよい。
c.一例として、CPMで符号化されたブロックのMVは、他のブロックのAMVP候補として使用されてもよい。
d.あるいは、1つのCPM符号化ブロックを符号化した後、HMVPテーブル更新プロセスは許可されない。
e.あるいは、CPMで符号化されたブロックのBVを、後続のブロックの動きベクトル予測子として使用することを許可しない場合がある。
13.PCIPで符号化されたブロックのイントラ予測方向は、後続のブロックのイントラモード予測子としても使用されてもよい。
a.一例として、PCIPで符号化されたブロックのイントラ予測方向は、後続のブロックのMPMモードとして使用され得る。
i.一例として、PCIPで符号化されたブロックが水平方向を選択する場合、イントラモードはVER_IDXに設定されてもよく、後続のブロックのためのMPMモードとして使用され得る。
ii.一例として、PCIPで符号化されたブロックが垂直方向を選択する場合、イントラモードはHOR_IDXに設定されてもよく、後続のブロックのためのMPMモードとして使用され得る。
b.あるいは、CPM符号化ブロックのイントラ予測方向を後続のブロックのMPMとして使用することを許可しない場合がある。
14.使用するパレットの最大エントリ数は、1つの映像ユニット(CTB、CU、PU、TUなど)から別の映像ユニットに変更できる。二値化は、使用するパレットの最大エントリ数に応じて変更され得る。
a.一例として、それは符号化された情報に依存し得る。
i.一例として、それはブロックの寸法に依存し得る。
a)一例として、パレットモードで符号化されたより大きなブロックのサイズは、より大きい最大エントリ数を有する可能性があり、一方、パレットモードで符号化されたより小さなブロックのサイズは、より小さい最大エントリ数を有する可能性がある。
b)1つの例では、4×4ブロックの場合、N0パレットエントリのみが許可される。
c)一例として、8×4ブロックおよび/または4×8ブロックの場合、N1パレットエントリのみが許可され得る。
d)一例として、8×8ブロックの場合、N2パレットエントリのみが許可される。
e)一例として、16×16ブロックの場合、N3パレットエントリのみが許可される。
f)一例として、N0、N1、N2およびN3は固定数(例えば、3、7または15)であり、それらは同じであっても異なっていてもよい。
g)一例として、パレットエントリの最大値とブロック寸法の関係を次のように表にしている。ここで、WとHはそれぞれ現在のブロック幅とブロック高さを示し、Maxは2つの入力間で大きい方を取得する操作である。
表4-1 最大パレットエントリとブロック寸法の関係の一例
Figure 0007436519000014
h)一例として、パレットエントリの最大値とブロック寸法の関係を次のように表にしている。ここで、WとHはそれぞれ現在のブロック幅とブロック高さを示し、Maxは2つの入力間で大きい方を取得する操作である。
表4-2 最大パレットエントリとブロック寸法の関係の一例
Figure 0007436519000015
b.一例において、それfは、色成分に依存してもよい。
i.一例として、パレットモードで符号化された輝度ブロックは、最大エントリ数が大きい可能性があり、パレットモードで符号化されたクロマブロックは、最大エントリ数が小さい可能性がある。
a)一例として、輝度ブロックの最大エントリ数はNであり得、したがって、クロマブロックの最大エントリ数はMであり得る。
i.一例として、Mは固定数(例えば、3、7または15)であり、MはNよりも小さい場合がある。
c.一例として、それは、デュアルツリーまたはシングルツリーなどの分割構造に依存する場合がある。
15.パレット/CPM/PCIP符号化ブロックのスケーリング行列(ユーザ定義のスケーリング行列など)を禁止することを提案している。
a.あるいは、スケーリング行列をパレット/CPM/PCIP符号化ブロックに適用することもできる。
b.一例として、パレット/CPM/PCIP符号化ブロックのスケーリング行列を選択する方法は、変換スキップ符号化ブロックと同じ方法で行われ得る。
16.上記の方法を適用するかどうか、および/またはどのように適用するかは、以下に基づき得る。
a.映像コンテンツ(例えば、スクリーンコンテンツまたは自然コンテンツ)
b.DPS/SPS/VPS/PPS/APS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/最大符号化ユニット(LCU)/符号化ユニット(CU)/LCU行/LCUグループ/TU/PUブロック/映像符号化ユニットにおいて信号通知されるメッセージ
c.CU/PU/TU/ブロック/映像符号化ユニットの位置
d.現在のブロックおよび/またはその隣接するブロックのブロック寸法
i.一例として、上記の方法は、現在のブロックの幅と高さの両方がTよりも小さい場合(例えば、32または64)にのみ適用され得る。
e.現在のブロックおよび/またはその隣接するブロックのブロック形状
f.現在のブロックの予測モード
g.現在のブロック及び/またはその隣接するブロックのイントラモード
h.現在のブロックおよび/またはその隣接するブロックの動き/ブロックベクトル。
i.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
j.符号化ツリー構造
k.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
l.色成分(例えば、クロマ成分または輝度成分にのみ適用されてもよい)。
m.時間層ID
n.標準のプロファイル/レベル/層

5 JVET-N1001-v6上の実施形態
JVET-N1001-v6によって提供されたドラフトに加えて、以下の変更は太字のイタリック体で強調表示されている。削除されたテキストの前後に二重角かっこが配置される。
シーケンスパラメータセットRBSP構文
Figure 0007436519000016
符号化ユニット構文
Figure 0007436519000017
予測モード構文
以降の全文と表は、VVCの現在のバージョンに新たに追加されるものとして提案されている。
Figure 0007436519000018
パレット構文
Figure 0007436519000019
Figure 0007436519000020
Figure 0007436519000021
Figure 0007436519000022
以下の説明は、ドラフトで説明されている変更に対応している。
パレット意味論
以下の意味論において、配列インデックスx0,y0は、ピクチャの左上輝度サンプルに対する、考慮される符号化ブロックの左上輝度サンプルの位置(x0,y0)を指定する。
cu_palette_flagは、現在の符号化ユニットでのパレットモードの使用を指定する。cu_palette_flag==1は、パレットモードが現在の符号化ユニットに適用されていることを示す。cu_palette_flag==0は、現在の符号化ユニットにパレットモードが適用されていないことを示す。
palette_predictor_runは、配列PalettePredictorEntryReuseFlagsの非ゼロエントリの前にあるゼロの数を判定するために使用される。
palette_predictor_runの値が、0~(PredictorPaletteSize-predictorEntryIdx)の範囲であることがビットストリームの適合性の要件であり、predictorEntryIdxは配列PalettePredictorEntryReuseFlagsの現在の位置に対応するものである。変数NumPredictedPaletteEntriesは、予測パレットから再利用される現在のパレットのエントリの数を指定する。NumPredictedPaletteEntriesの値は、0からpalette_max_sizeまでの範囲でなければならない。
num_signalled_palette_entries[startComp]は、現在のパレットテーブルstartCompの最初の色成分に対して明示的に通知される現在のパレットのエントリの数を指定する。
num_signalled_palette_entries[startComp]が存在しない場合、0と推測される。
変数CurrentPaletteSizeは、現在のパレットのサイズを指定し、次のように導出される。
CurrentPaletteSize[startComp]=NumPredictedPaletteEntries[startComp]+num_signalled_palette_entries[startComp](XX)
CurrentPaletteSize[startComp]の値は、0からpalette_max_sizeまでの範囲でなければならない。
new_palette_entries[cIdx][i]は、色成分cIdxのi番目の信号通知されたパレットエントリの値を指定する。
変数PredictorPaletteEntries[cIdx][i]は、色成分cIdxの予測パレットのi番目の要素を指定する。
変数CurrentPaletteEntries[cIdx][i]は、色成分cIdxの現在のパレットのi番目の要素を指定し、次のように導出される。
numPredictedPaletteEntries=0
for(i=0;i<PredictorPaletteSize[startComp];i++)
if(PalettePredictorEntryReuseFlags[i]){
for(cIdx=startComp;cIdx<(startComp+numComps);cIdx++)
CurrentPaletteEntries[cIdx][numPredictedPaletteEntries]=
PredictorPaletteEntries[cIdx][i]
numPredictedPaletteEntries++

for(i=0;i<num_signalled_palette_entries[startComp];i++)
for(cIdx=startComp;cIdx<(startComp+numComps);cIdx++)
CurrentPaletteEntries[cIdx][numPredictedPaletteEntries+i]=
new_palette_entries[cIdx][i]
(XX)
palette_escape_val_present_flagが1のとき、現在の符号化ユニットに少なくとも1つのエスケープ符号化されたサンプルが含まれていることを指定する。escape_val_present_flagが0のときは、現在の符号化ユニットにエスケープ符号化されたサンプルがないことを指定する。存在しない場合、palette_escape_val_present_flagの値は1と推測される。
変数MaxPaletteIndexは、現在の符号化ユニットのパレットインデックスの可能な最大値を指定する。MaxPaletteIndexの値は、cu_palette_ibc_modeが0の場合、CurrentPaletteSize+palet_escape_val_present_flagに等しく設定される。それ以外の場合、cu_palette_ibc_modeが1の場合、MaxPaletteIndexはCurrentPaletteSize+パレット_escape_val_present_flag+1に等しく設定される。
num_palette_indices_minus1+1は、現在のブロックに対して明示的に信号通知されたか、推測されたパレットインデックスの数である。
num_palette_indices_minus1が存在しない場合、0に等しいと推測される。
palette_index_idcは、CurrentPaletteEntriesで表される配列のインデックスを示す。palette_index_idcの値は、ブロック内の最初のインデックスの場合は0~MaxPaletteIndexの範囲で、ブロック内の残りのインデックスの場合は0~(MaxPaletteIndex-1)の範囲である必要がある。
palette_index_idcが存在しない場合、それは0に等しいと推論される。
変数PaletteIndexIdc[i]は、明示的に信号通知されか、または推測されたi番目のpalette_index_idcを格納する。配列PaletteIndexIdc[i]のすべての要素は0に初期化される。
copy_above_indices_for_final_run_flagが1の場合、水平トラバーススキャンが使用されている場合は上の行のパレットインデックスから、垂直トラバーススキャンが使用されている場合は左側の列のパレットインデックスから、符号化ユニットの最後の位置のパレットインデックスがコピーされることを指定する。copy_above_indices_for_final_run_flagが0の場合、符号化ユニットの最後の位置のパレットインデックスがPaletteIndexIdc[num_palette_indices_minus1]からコピーされることを指定する。
copy_above_indices_for_final_run_flagが存在しない場合、0と推測される。
palette_transpose_flagが1ときは、現在の符号化ユニットの画素のインデックスをスキャンするために垂直方向横断走査が適用されることを指定する。palette_transpose_flagが0のときは、現在の符号化ユニットの画素のインデックスをスキャンするために水平方向横断走査が適用されることを指定する。
copy_above_palette_indices_flagが1の場合、パレットインデックスは、水平方向横断走査が使用されている場合は上の行の同じ場所、垂直方向横断走査が使用されている場合は左側の列の同じ場所のパレットインデックスと等しいことを指定する。copy_above_palette_indices_flagが0の場合、サンプルのパレットインデックスの指示がビットストリームに符号化されているか、推測されていることを示す。
変数CopyAboveIndicesFlag[xC][yC]が1の場合、パレットインデックスが上の行(水平スキャン)または左側の列(垂直スキャン)のパレットインデックスからコピーされることを指定する。CopyAboveIndicesFlag[xC][yC]が0の場合、パレットインデックスがビットストリームで明示的に符号化されているか、推測されていることを示す。配列インデックスxC、yCは、ピクチャの左上の輝度サンプルに対するサンプルの位置(xC、yC)を指定する。
変数PaletteIndexMap[xC][yC]は、CurrentPaletteEntriesで表される配列へのインデックスであるパレットインデックスを指定する。配列インデックスxC、yCは、ピクチャの左上の輝度サンプルに対するサンプルの位置(xC、yC)を指定する。PaletteIndexMap[xC][yC]の値は、0からMaxPaletteIndexまでの範囲でなければならない。
変数PaletteRunは、CopyAboveIndicesFlag[xC][yC]が1の場合は、上の行(水平走査)または左側の列(垂直走査)の位置と同じパレットインデックスで、連続する位置の数から1を引いた数を指定し、CopyAboveIndicesFlag[xC][yC]が0の場合、同じパレットインデックスで連続する位置の数から1を引いた数を指定する。
変数PaletteMaxRunは、PaletteRunの可能な最大値を表す。PaletteMaxRunの値が0以上であることがビットストリーム適合性の要件である。
palette_run_prefixは、PaletteRunの2値化のプレフィックス部分を指定する。
palette_run_suffixは、PaletteRunの2値化のサフィックス部分を指定する。palette_run_suffixが存在しない場合、palet_run_suffixの値は0に等しいと推測される。
PaletteRunの値は次のように導き出される。
- palette_run_prefixが2未満の場合、以下が適用される。
PaletteRun=palette_run_prefix (XX)
- それ以外の場合(palette_run_prefixが2以上)、以下が適用される。
PrefixOffset=1<<(palette_run_prefix-1)
PaletteRun=PrefixOffset+palette_run_suffix (XX)
palette_escape_valは、コンポーネントの量子化されたエスケープ符号化されたサンプル値を指定する。
変数PaletteEscapeVal[cIdx][xC][yC]は、PaletteIndexMap[xC][yC]が(MaxPaletteIndex-1)に等しく、palet_escape_val_present_flagが1であるサンプルのエスケープ値を指定する。配列インデックスcIdxは、色成分を指定する。配列インデックスxC、yCは、ピクチャの左上の輝度サンプルに対するサンプルの位置(xC、yC)を指定する。
PaletteEscapeVal[cIdx][xC][yC]は、cIdxが0の場合、0から(1<<(BitDepthY+1))-1の範囲内であり、cIdxが0に等しくない場合、0から(1<<(BitDepthC+1))-1までの範囲であることが、ビットストリーム適合性の要件である。
イントラ予測モードで符号化されたユニットを符号化するための一般的な復号処理
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight、
- 単一ツリーを使用するか二重ツリーを使用するかを指定する変数treeType、および二重ツリーを使用する場合、現在のツリーが輝度成分に対応するか色度成分に対応するかを指定する。
この処理の出力は、インループ・フィルタリング前の修正された再構成画像である。
輝度位置(xCb,yCb)、輝度サンプルcbWidthにおける現在の符号化ブロックの幅、輝度サンプルcbHeightにおける現在の符号化ブロックの高さ、及び変数ツリータイプを入力として、8.4.1項に規定される量子化パラメータの導出処理を呼び出す。
treeTypeがSINGLE_TREEに等しい場合、またはtreeTypeがDUAL_TREE_LUMAに等しい場合、輝度サンプルの復号化処理は次のように指定される。
- pcm_flag[xCb][yCb]が1に等しい場合、再構成されたピクチャは次のように修正される。
[xCb+i][yCb+j]=
pcm_sample_luma[(cbHeight*j)+i]<<(BitDepth-PcmBitDepth),(8-1)
with i=0..cbWidth-1,j=0..cbHeight-1
- そうでない場合、cu_palette_flag[xCb][yCb]が0と等しい場合、以下が適用される。
- treeTypeがSINGLE_TREEに等しい場合、以下が適用される。
1. XXX節で指定されているパレットブロックの一般的な復号化プロセスは、輝度位置(xCb、yCb)、変数startCompを0、変数cIdxを0、変数nTbWをcbWidth、変数nTbHをcbHeightに等しく設定して呼び出される。
- そうでない場合、以下が適用される。
1. XXX節で指定されているパレットブロックの一般的な復号化プロセスは、輝度位置(xCb、yCb)、変数startCompを0、変数cIdxを0、変数nTbWをcbWidth、変数nTbHをcbHeightに等しく設定して呼び出される。
2. 8.X.X節で指定されているパレットブロックの一般的なパレット予測子更新処理は、輝度位置(xCb、yCb)、変数startCompを0、変数numCompsを1に設定して呼び出される。
- そうでない場合、以下が適用される。
1. 8.2.2節で指定されている輝度イントラ予測モードの導出処理は、輝度位置(xCb、yCb)、輝度サンプルの現在の符号化ブロックの幅cbWidth、および輝度サンプルの現在の符号化ブロックの高さcbHeightを入力として使用して呼び出される。
2. 8.2.4.1節で指定されているイントラブロックの一般的な復号化処理は、輝度位置(xCb、yCb)、ツリータイプはtreeType、変数nTbWはcbWidthに等しく、変数nTbHはcbHeightに等しく、変数predModeIntraはIntraPredModeY[xCb][yCb]に等しく、変数cIdxは0に等しく、入力として設定して呼び出され、出力はループ内フィルタリングの前の修正された再構成ピクチャである。
treeTypeがSINGLE_TREEに等しい場合、またはtreeTypeがDUAL_TREE_CHROMAに等しい場合、クロマサンプルの復号化処理は次のように指定される。
- pcm_flag[xCb][yCb]が1に等しい場合、再構成されたピクチャは次のように修正される。
SCb[xCb/SubWidthC+i][yCb/SubHeightC+j]=
pcm_sample_chroma[(cbHeight/SubWidthC*j)+i]<<(BitDepth-PcmBitDepth),
with i=0..cbWidth/SubWidthC-1 and j=0..cbHeight/SubHeightC-1 (8-2)
Cr[xCb/SubWidthC+i][yCb/SubHeightC+j]=
pcm_sample_chroma[(cbHeight/SubWidthC*(j+cbHeight/SubHeightC))+i]<<
(BitDepth-PcmBitDepth),
with i=0..cbWidth/SubWidthC-1 and j=0..cbHeight/SubHeightC-1 (8-3)
- そうでない場合、cu_palette_flag[xCb][yCb]が0と等しい場合、以下が適用される。
- ツリータイプがSINGLE_TREEに等しい場合、以下が適用される。
1. XXX節で指定されているパレットブロックの一般的な復号化処理は、輝度位置(xCb、yCb)、変数startCompを0に等しく、変数cIdxを1に、変数nTbWを(cbWidth/2)に等しく、変数(cbHeight/2)をcbHeightに等しく設定して呼び出される。
2. XXX節で指定されているパレットブロックの一般的な復号化処理は、輝度位置(xCb、yCb)、変数startCompを0に等しく、変数cIdxを2に、変数nTbWを(cbWidth/2)に等しく、変数(cbHeight/2)をcbHeightに等しく設定して呼び出される。
3. 8.X.X節で指定されているパレットブロックの一般的なパレット予測子更新プロセスは、輝度位置(xCb、yCb)、変数startCompを0に等しく、変数numCompsを3に等しく設定して呼び出される。
- そうでない場合、以下が適用される。
1. XXX節で指定されているパレットブロックの一般的な復号化処理は、輝度位置(xCb、yCb)、変数startCompを1に等しく、変数cIdxを1に、変数nTbWを(cbWidth/2)に等しく、変数(cbHeight/2)をcbHeightに等しく設定して呼び出される。
2. XXX節で指定されているパレットブロックの一般的な復号化処理は、輝度位置(xCb、yCb)、変数startCompを1に等しく、変数cIdxを2に、変数nTbWを(cbWidth/2)に等しく、変数(cbHeight/2)をcbHeightに等しく設定して呼び出される。
3. XXX節で指定されているパレットブロックの一般的なパレット予測子更新プロセスは、輝度位置(xCb、yCb)、変数startCompを1に等しく、変数numCompsを2に等しく設定して呼び出される。
- そうでない場合、以下が適用される。
1. 8.2.3節で指定されているクロマイントラ予測モードの導出処理は、輝度位置(xCb、yCb)、輝度サンプルの現在の符号化ブロックの幅cbWidth、および輝度サンプルの現在の符号化ブロックの高さcbHeightを入力として呼び出される。
2. 8.2.4.1節で指定されているイントラブロックの一般的な復号化処理は、クロマ位置(xCb/2、yCb/2)、ツリータイプはtreeType、変数nTbWは(cbWidth/2)に等しく、変数nTbHは(cbHeight/2)に等しく、変数predModeIntraがIntraPredModeC[xCb][yCb]に等しく、変数cIdxは1に等しく設定して呼び出され、出力はループ内フィルタリングの前に修正された再構成ピクチャである。
3. 8.2.4.1節で指定されているイントラブロックの一般的な復号化処理は、クロマ位置(xCb/2、yCb/2)、ツリータイプはtreeType、変数nTbWは(cbWidth/2)に等しく、変数nTbHは(cbHeight/2)に等しく、変数predModeIntraがIntraPredModeC[xCb][yCb]に等しく、変数cIdxは2に等しく設定して呼び出され、出力はループ内フィルタリングの前に修正された再構成ピクチャである。
パレットモードの復号化処理
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在のブロックの左上のサンプルを規定する位置(xCb,yCb)
- パレットテーブルの最初の色成分を規定する変数startComp、
- 現在のブロックの色成分を規定する変数cIdx、
- 現在のブロックの幅と高さをそれぞれ指定する2つの変数nTbWとnTbH。
このプロセスの出力は、配列recSamples[x][y]であり、x=0..nTbW-1、y=0..nTbH-1は、ブロックの再構築されたサンプル値を指定する。
cIdxの値に基づいて、変数nSubWidthおよびnSubHeightは、以下のように導出される。
- cIdxが0に等しい場合、nSubWidthは1に設定され、nSubHeightは1に設定される。
- startCompが1に等しく、cIdx>1の場合、nSubWidthは1に設定され、nSubHeightは1に設定される。
- あるいは、nSubWidthをSubWidthCに設定し、nSubHeightをSubHeightCに設定する。
- cu_palette_ibc_mode[xCb][yCb]が1と等しい場合、以下が適用される。
- 8.6.2項で指定されている動きベクトルの導出処理は、現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルの輝度位置(xCb、yCb)、輝度サンプルの現在の符号化ブロックの幅を指定する変数cbWidth、および輝度サンプルの現在の符号化ブロックの高さを指定する変数cbHeightを用いて呼び出される。出力は、1/16分数サンプル精度mvLにおける輝度動きベクトルである。
- 8.6.3項で指定されている一般的なIBC予測プロセスは、現在のピクチャの左上の輝度サンプルに対する現在の符号化ブロックの左上のサンプルを指定する輝度位置(xCb、yCb)、輝度サンプルの現在の符号化ブロックの幅を指定する変数cbWidth、輝度サンプルの現在の符号化ブロックの高さを指定する変数cbHeight、水平および垂直方向の輝度符号化サブブロックの数を指定する変数numSbXおよびnumSbY、モーションベクトルmv[xSbIdx][ySbIdx]、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1、現在のブロックの色成分インデックスを指定する変数cIdxで呼び出される。出力は、予測サンプルpredSamples[x][y]の配列である。
位置(xCb、yCb)にある再構成されたサンプル配列recSamplesの(nTbW xnTbH)ブロックは、x=0..nTbW-1、y=0..nTbH-1のrecSamples[x][y]で表され、0からnTbW-1までの範囲の各xと、0からnTbH-1までの範囲の各yに対するrecSamples[x][y]の値は、次のように導出される。
- 変数xLおよびyLは、以下のように導出される。
xL=palette_transpose_flag?x*nSubHeight:x*nSubWidth (8-69)
yL=palette_transpose_flag?y*nSubWidth:y*nSubHeight (8-70)
- 変数bIsEscapeSampleは、以下のように導出される。
- PaletteIndexMap[xCb+xL][yCb+yL]がMaxPaletteIndexに等しく、palette_escape_val_present_flagが1に等しい場合、bIsEscapeSampleは1に設定される。
- あるいは、bIsEscapeSampleを0に設定する。
- bIsEscapeSampleが0に等しい場合、以下が適用される。
- cu_palette_ibc_mode[xCb][yCb]が1に等しい場合、以下が適用される。
- PaletteIndexMap[xCb+xL][yCb+yL]が0に等しい場合、以下が適用される。
recSamples[x][y]=predSamples[x][y]
- そうでない場合、以下が適用される。
recSamples[x][y]=CurrentPaletteEntries[cIdx][PaletteIndexMap[xCb+xL][yCb+yL]-1] (8-71)
- そうでない場合、以下が適用される。
recSamples[x][y]=CurrentPaletteEntries[cIdx][PaletteIndexMap[xCb+xL][yCb+yL]] (8-71)
- あるいは、cu_transquant_bypass_flagが1に等しい場合には、以下が適用される。
recSamples[x][y]=PaletteEscapeVal[cIdx][xCb+xL][yCb+yL] (8-72)
- あるいは、(bIsEscapeSampleが1に等しく、cu_transquant_bypass_flagが0に等しい場合)、以下の順序付けられたステップが適用される。
1. 量子化パラメータの導出処理は、現在のピクチャの左上サンプルに対する現在のブロックの左上サンプルを規定する位置(xCb,yCb)を使用して呼び出される。
2. 量子化パラメータqPは、以下のように導出される。
- cIdxが0に等しい場合
qP=Max(0,Qp’Y) (8-73)
- あるいは、cIdxが1に等しい場合、
qP=Max(0,Qp’Cb) (8-74)
- あるいは、(cIdxが2に等しい場合)、
qP=Max(0,Qp’Cr) (8-75)
3. 変数bitDepthは、以下のように導出される。
bitDepth=(cIdx==0)?BitDepth:BitDepth (8-76)
4. list levelScale[]は、k=0..5の時、levelScale[k]={40,45,51,57,64,72}として規定される。
5. 以下が適用される。
tmpVal=(PaletteEscapeVal[cIdx][xCb+xL][yCb+yL]*
levelScale[qP%6])<<(qP/6)+32)>>6 (8-77)
recSamples[x][y]=Clip3(0,(1<<bitDepth)-1,tmpVal) (8-78)
パレットモードのパレット予測子更新プロセス
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在のブロックの左上のサンプルを規定する位置(xCb,yCb)
- パレットテーブルの最初の色成分を規定する変数startComp
- パレットテーブル内の色成分の数を規定する変数numComps
この処理の出力は、更新されたパレット予測子のサイズを指定する変数PredictorPaletteSize[startComp]であり、cIdx=startComp、…、startComp+numComps-1、i=0の配列PredictorPaletteEntries[cIdx][i]である。PredictorPaletteSize-1は、次のブロックの更新されたパレット予測子を指定する。
変数PredictorPaletteSizeおよび配列PredictorPaletteEntriesは、以下のように導出または修正される。
for(i=0;i<CurrentPaletteSize;i++)
for(cIdx=startComp;cIdx<(startComp+numComps);cIdx++)
newPredictorPaletteEntries[cIdx][i]=CurrentPaletteEntries[cIdx][i]
newPredictorPaletteSize=CurrentPaletteSize
for(i=0;i<PredictorPaletteSize&&newPredictorPaletteSize<PaletteMaxPredictorSize;i++)
if(!PalettePredictorEntryReuseFlags[i]){
for(cIdx=startComp;cIdx<(startComp+numComps);cIdx++)(8-79)
newPredictorPaletteEntries[cIdx][newPredictorPaletteSize]=
PredictorPaletteEntries[cIdx][i]
newPredictorPaletteSize++

for(cIdx=startComp;cIdx<(startComp+numComps);cIdx++)
for(i=0;i<newPredictorPaletteSize;i++)
PredictorPaletteEntries[cIdx][i]=newPredictorPaletteEntries[cIdx][i]
PredictorPaletteSize=newPredictorPaletteSize
PredictorPaletteSizeの値が0からPaletteMaxPredictorSizeまでの範囲内にあることが、ビットストリーム適合性の要件である。
図14Aは、映像処理装置1400のブロック図である。装置1400は、本明細書に記載の方法の1つ以上を実装するために使用してもよい。装置1400は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよい。装置1400は、1つ以上のプロセッサ1402と、1つ以上のメモリ1404と、映像処理ハードウェア1406と、を含んでもよい。1つまたは複数のプロセッサ1402は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)1404は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア1406は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。映像処理ハードウェア1406は、専用ハードウェア、またはグラフィカル処理装置ユニット(GPU)若しくは専用信号処理ブロックの形式で、プロセッサ1402内に部分的にまたは完全に含まれてもよい。
図14Bは、開示された技術が実装され得る映像処理システムのブロック図の別の例である。図14Bは、本明細書に開示される様々な技術を実装することができる例示的な映像処理システム1410を示すブロック図である。様々な実装形態は、システム1410のモジュールの一部または全部を含んでもよい。システム1410は、映像コンテンツを受信するための入力ユニット1412を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチモジュール画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力ユニット1412は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースを含む。
システム1410は、本明細書に記載される様々な符号化または符号化方法を実装することができる符号化モジュール1414を含んでもよい。符号化モジュール1414は、入力ユニット1412からの映像の平均ビットレートを符号化モジュール1414の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール1414の出力は、モジュール1416によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット1412において受信された、記憶されたまたは通信された映像のビットストリーム(または符号化)表現は、モジュール1418によって使用されて、表示インターフェースユニット1420に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を“符号化”動作またはツールと呼ぶが、符号化ツールまたは動作は、エンコーダ及びそれに対応する、復号化の結果を逆にする復号化ツールまたは動作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理及び/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
図15Aは、映像処理のための例示的な方法1510を示す。方法1510は、ステップ1512において、映像の映像ユニットと映像の符号化表現との変換のために、規則に従って変換中に使用される代表値のパレットの最大エントリ数を決定することを含む。方法1510は、ステップ1514において、前記パレットを使用して前記変換を行うことをさらに含む。一部の実装では、規則は映像ユニットの特性に従って最大エントリ数を指定する。
図15Bは、映像処理のための例示的な方法1520を示す。方法1520は、ステップ1522で、映像の現在の映像ブロックと映像の符号化表現との変換のために、規則に従って現在の映像ブロックに対するパレットモード符号化ツールの使用に基づいて、現在の映像ブロックの非ブロック化処理に使用される1つ以上の符号化パラメータを判定することを含む。方法1520は、ステップ1524で、1つ以上の符号化パラメータを使用して変換を行うことをさらに含む。一部の実装では、規則は、パレットモード符号化ツールで符号化された映像ブロックの1つ以上の符号化パラメータが、他の符号化ツールのパラメータとは異なる方法で導出されることを指定する。いくつかの実装形態では、パレットモード符号化ツールは、符号化中に、代表サンプル値のパレットを使用して現在の映像ブロックを符号化表現に表現することと、復号化中に、代表サンプル値のパレットを使用して符号化表現から現在の映像ブロックを再構成することとを含む。
図15Cは、映像処理のための例示的な方法1530を示す。方法1530は、ステップ1532で、映像の現在の映像ブロックと映像の符号化表現との変換のために、規則に従って現在の映像ブロックに対する複合パレットモード(CPM)符号化ツールの使用に基づいて、現在の映像ブロックに適用される非ブロック化処理に使用される1つ以上のパラメータを判定することを含む。方法1530は、ステップ1534において、1つ以上のパラメータを使用して変換を行うことをさらに含む。いくつかの実装形態では、規則は、符号化表現が、別の符号化モードを使用して符号化された隣接する映像ブロックに使用されるものと同じ構文要素を使用して、1つ以上のパラメータの指示を含むことを指定する。いくつかの実装形態では、CPM符号化ツールは、代表エントリのパレットの使用と、イントラブロックコピーモードによって導出された1つ以上のサンプルとを組み合わせることによって、現在の映像ブロックを表現または再構成することを含む。
図15Dは、映像処理のための例示的な方法1540を示す。方法1540は、ステップ1542で、映像の現在の映像ブロックと映像の符号化表現との変換のために、規則に従った隣接する映像の符号化モードに基づいて現在の映像ブロックに適用される非ブロック化処理に使用されるパラメータを判定することを含む。方法1540は、ステップ1544において、判定に基づいて変換を行うことを含む。一部の実装では、規則は、隣接する映像ブロックがイントラ予測モードと組み合わせたパレットモード(PCIP)または他の符号化モードを使用して符号化されている場合に同じパラメータを使用するように指定する。いくつかの実装形態では、PCIPは、イントラ予測を使用して現在の映像ブロックの予測ブロックを導出することと、現在の映像ブロックに関連付けられたパレット情報を使用して予測ブロックを微調整することとを含む。
図15Eは、映像処理のための例示的な方法1550を示す。方法1550は、ステップ1552で、映像の映像ユニットと映像の符号化表現との変換を行うことを含む。いくつかの実装形態では、映像ユニットは、映像の現在の映像ブロックに対応している。いくつかの実装形態では、現在の映像ブロックは、パレット符号化モードまたはイントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)である符号化モードに従って符号化表現で表現され、符号化表現は、現在の映像ブロックのためのフラグを含み、フラグは、規則に従って、現在の映像ブロックが非ゼロ係数を有するかどうかを示し、規則は、フラグが現在の映像ブロックの符号化表現における符号化モードまたはエスケープ画素の存在に応じた値を有することを指定し、パレット符号化モードは、代表サンプル値のパレットを使用して現在の映像ブロックを表現または再構成することを含み、CPMは、代表エントリのパレットの使用をイントラブロックコピーモードによって導出された1つ以上のサンプルと組み合わせることによって現在の映像ブロックを表現または再構築することを含み、PCIPは、イントラ予測を使用して現在の映像ブロックの予測ブロックを導出することと、パレット情報を使用して予測ブロックを微調整することを含む。
いくつかの実装形態では、映像ユニットは、複合パレットモード(CPM)を使用して符号化された現在の映像ブロックと現在の映像ブロックの符号化表現に対応し、符号化表現は、映像領域に適用されるイントラモード、インターモード、イントラブロックコピーモード、またはパレットモードの指示とは別の映像領域レベルでのCPMの指示を含み、CPMは、代表エントリのパレットの使用とイントラブロックコピーモードによって導出された1つ以上のサンプルとを組み合わせることによって、現在の映像ブロック内のサンプルを再構成することを可能にする。いくつかの実装形態では、映像ユニットは、符号化モードを使用して符号化される現在のクロマブロックに対応し、符号化表現は、現在のクロマブロックに対応する輝度ブロックの1つ以上の選択された領域の符号化情報に基づく符号化モードの指示を選択的に含む。いくつかの実装形態では、映像ユニットは、複数の映像ブロックを含む映像ピクチャに対応し、映像ブロックは、映像ブロックを符号化するために代表値のパレットを使用する符号化モードを用いて符号化され、符号化モードの構文要素は現在の映像ブロックに適用される1つ以上の予測モードの値に基づいて信号通知される。
図16Aは、映像処理のための例示的な方法1610を示す。方法1610は、ステップ1612で、複数の映像ブロックを含む映像と映像の符号化表現との変換のために、その複数の映像ブロックの各々に対する非ブロック化処理の適用可能性を、対応する映像ブロックを符号化するための代表値のパレットを用いた符号化モードに関連した複数の映像ブロックの各々の状況に基づいて、判定することを含み、その符号化モードはパレットモード、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)を含む。方法1610は、ステップ1614において、判定に基づいて変換を行うことを含む。いくつかの実装形態では、パレットモードを対応する映像ブロックに適用し、対応する映像ブロックの画素を符号化するためのコンポーネント値のパレットを使用し、PCIPを対応する映像ブロックに適用して、イントラ予測を使用し、対応する映像ブロックの予測ブロックを導出し、パレット情報を使用して予測ブロックを微調整し、CPMを対応する映像ブロックに適用し、代表エントリのパレットの使用とイントラブロックコピーモードによって導出された1つ以上のサンプルとを組み合わせることによって、対応する映像ブロック内のサンプルを表現または再構成する。
図16Bは、映像処理のための例示的な方法1620を示す。方法1620は、ステップ1622で、映像の色成分の現在の映像ブロックと現在の映像ブロックの符号化表現との変換を行うことを含み、現在の映像ブロックは、イントラ予測モードと組み合わせたパレットモードまたは複合パレットモード(CPM)を含む符号化モードを使用して符号化される。いくつかの実装形態では、符号化モードに関連する構文要素は、映像の色成分の特性、または現在の映像ブロックに使用されるパーティション構造または平面符号化に基づいて、符号化表現中に選択的に含まれる。一部の実装では、PCIPを現在の映像ブロックに適用して、イントラ予測を使用して現在の映像ブロックの予測ブロックを導出し、パレット情報を使用して予測ブロックを微調整し、CPMを現在の映像ブロックに適用して、代表エントリのパレットの使用とイントラブロックコピーモードによって導出された1つ以上のサンプルとを組み合わせることによって、現在の映像ブロック内のサンプルを表現または再構成する。
図16Cは、映像処理のための例示的な方法1630を示す。方法1630は、ステップ1632で、現在の映像ブロックの第一の符号化表現と、代表エントリのパレットを選択的に使用することによって現在の映像ブロック中でサンプルを再構成することを可能とする複合パレットモード(CPM)を使用して符号化された現在の映像ブロック間の第一の変換を行うことを含み、現在の映像ブロックは現在の映像ブロックと関連付けられた動きベクトルを有している。方法1630は、ステップ1634で、次の映像ブロックと次の映像ブロックの第2の符号化表現との第2の変換を行うことをさらに含み、現在の映像ブロックに関連する動き情報が、第2の変換中に次の映像ブロックの動き情報を予測するために使用される。
図16Dは、映像処理のための例示的な方法1640を示す。方法1640は、ステップ1642で、現在のビデオブロックの第1の符号化表現と、イントラ予測を使用して現在のビデオブロックの予測ブロックを導出し、パレット情報を使用して予測ブロックを微調整することを可能にするイントラ予測モードと組み合わせたパレットモード(PCIP)を使用して符号化された現在のビデオブロックとの第1の変換を行うことを含み、現在の映像ブロックは現在の映像ブロックに関連付けられたイントラ予測方向を有している。方法1640は、ステップ1644において、次の映像ブロックと次の映像ブロックの第2の符号化表現との第2の変換を行うことをさらに含み、現在の映像ブロックのイントラモードは第2の変換中に次の映像ブロックのイントラモード予測子として使用される。
図16Eは、映像処理のための例示的な方法1650を示す。方法1650は、ステップ1652で、1つ以上の映像ブロックを含む映像ピクチャと映像ピクチャの符号化表現との変換中にパレット関連の符号化モードが使用されることに起因し、スケーリング行列の使用が無効化されていることを判定することを含む。方法1650は、ステップ1654で、スケーリング行列の使用が無効であるとの判定に基づいて変換を行うことをさらに含む。
図16Fは、映像処理のための例示的な方法1660を示す。方法1660は、ステップ1662で、1つ以上の映像ブロックを含む映像ピクチャと映像ピクチャの符号化表現との変換中にパレット関連の符号化モードが使用されることに起因し、スケーリング行列の使用が許可されていることを判定することを含む。方法1660は、ステップ1664において、スケーリング行列の使用が許可されているとの判定に基づいて、変換を行うことをさらに含む。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、1つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて無効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。
本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロックは、変換および符号化された誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。
以下の節は、いくつかの実施形態および技術を説明する。第1組の項目では、前章で開示された技術の特定の特徴及び態様を説明する。
1.映像の映像領域と映像領域のビットストリーム表現との変換中に、映像領域に関連するパレット符号化モード条件に基づいて、映像領域の非ブロック化処理のパラメータを判定することと、選択されたパラメータを使用して、変換中に非ブロック化処理を使用することとを含む、映像符号化方法。
2.非ブロック化処理のパラメータが、イントラ符号化モードまたはインター符号化モードまたはイントラブロックコピー符号化モードを使用して符号化された別の映像領域の変換に使用されるパラメータとは異なる、条項1に記載の方法。
3.パラメータが、P側およびQ側の映像領域の隣接する映像領域がパレットモード符号化を使用して符号化されるかどうかに基づいて決定される境界強度値を含む、条項1~2のいずれかに記載の方法。
4.パレットモードを使用して符号化されているP側およびQ側の両方の映像領域のために、境界強度がゼロである、条項3の方法。
5.パレットモードが、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)と組み合わせたパレットモードに対応する、条項1~4のいずれかに記載の方法。
セクション4の項目1は、上記の方法の追加の例および実施形態を提供する。
6.映像ピクチャと映像ピクチャのビットストリーム表現との変換中に、割り当て規則に基づいて、隣接する映像の符号化モードに基づいて映像ピクチャの映像ブロックに非ブロック化処理を適用するための非ブロック化フィルタパラメータを選択することと、割り当て規則に従って、非ブロック化処理を適用することにより、変換を行うこととを含む映像処理方法であって、割り当て規則は、隣接するブロックが複合パレットモードで符号化されている場合、または別の符号化モードを使用して符号化されている場合に同じパラメータを使用するように指定する。
7.別の符号化モードがイントラブロックコピーモードに対応する、条項6に記載の方法。
8.別の符号化モードがパレット符号化モードに対応する、条項6に記載の方法。
セクション4の項目2は、上記の方法の追加の例および実施形態を提供する。
9.映像ピクチャと映像ピクチャのビットストリーム表現との変換中に、割り当て規則に基づいて、隣接する映像の符号化モードに基づいて映像ピクチャの映像ブロックに非ブロック化処理を適用するための非ブロック化フィルタパラメータを選択することと、割り当て規則に従って、非ブロック化処理を適用することにより、変換を行うこととを含む映像処理方法であって、割り当て規則は、隣接するブロックがイントラ予測モードと組み合わせたパレット(PCIP)モードで符号化されている場合または別の符号化モードを使用して符号化されている場合に同じパラメータを使用するように指定する。
10.別の符号化モードがイントラブロックコピーモードに対応する、条項9に記載の方法。
11.別の符号化モードがパレット符号化モードに対応する、条項9に記載の方法。
セクション4の項目3は、上記の方法の追加の例および実施形態を提供する。
12.コンポーネント値のパレットを対応する映像ブロックの画素を符号化するために使用するパレット符号化モードを使用して映像ピクチャの映像ブロックと映像ブロックのビットストリーム表現との変換を行うことを含む映像処理方法であって、ビットストリーム表現中のフラグは対応する映像ブロックにおける非ゼロ係数が存在していることを指示し、フラグはパレット符号化モード、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)を使用して符号化された映像ブロックを信号通知するために使用される、映像処理方法。
13.フラグの値は、対応するブロックがエスケープ画素を有するかどうかに依存する、条項12に記載の方法。
セクション4の項目4は、上記の方法の追加の例および実施形態を提供する。
14.複数の映像ブロックを含む映像ピクチャと映像ピクチャのビットストリーム表現との変換中に、複数の映像ビデオブロックの各々に関連したパレット復号化モード条件に基づいて複数の映像ビデオブロックの各々に対する非ブロック化処理の適用可能性を判定することと、その適用可能性に基づいて、変換中に複数のブロックに非ブロック化処理を選択的に使用することとを含む、映像処理方法。
15.適用可能性の判定は、非ブロック化処理が、パレットモードまたはイントラ予測モードと組み合わせたパレットモード(PCIP)、または複合パレットモード(CPM)を使用して符号化されたブロックには適用できないことを判定する、条項14に記載の方法。
16.適用可能性の判定は、P側ブロックまたはQ側ブロックがそれぞれパレットモードまたはPCIPモードまたはCPMモードを使用して符号化されている場合に、P側サンプルまたはQ側サンプルが適用不可能であると判定することを含む、条項14に記載の方法。
セクション4の項目5は、上記の方法の追加の例および実施形態を提供する。
17.複数の映像ブロックを含む映像フレームと、複合パレットモード(CPM)を使用して符号化された映像フレームのビットストリーム表現との変換を行うことを含み、ビットストリーム表現は、映像領域に適用可能なイントラモード、インターモード、イントラブロックコピーモード、またはパレットモードの指示とは別の、映像領域レベルでのCPMモードの指示を含む、映像処理方法。
18.映像領域が、変換ユニットまたは予測ユニットまたは符号化ブロックユニットに対応する、条項17に記載の方法。
19.ビットストリーム表現が、映像領域に適用可能なイントラモード、インターモード、イントラブロックコピーモードまたはパレットモードの指示の後に、CPMモードの指示を含む、条項17~18のいずれかに記載の方法。
セクション4の項目6は、上記の方法の追加の例および実施形態を提供する。
20.コンポーネント値のパレットを対応する映像ブロックの画素を符号化するために使用する符号化モードを使用して映像ピクチャの映像ブロックと映像ブロックのビットストリーム表現との変換を行うことを含み、パレット符号化モードに関連する構文要素が、所与の映像ブロックが属する色成分の特性に基づいて、所与の映像ブロックのビットストリーム表現に選択的に含まれ、符号化モードはパレット符号化モード、イントラ予測と組み合わせた(PCIP)モードまたは複合パレットモード(CPM)を含む、映像処理方法。
21.パレット符号化モードに関連する構文要素が、所与の映像ブロックに使用されるパーティション構造または平面符号化に基づいてさらに選択的に含まれる、映像処理方法。
22.構文要素が二重ツリーパーティション構造に対してのみ含まれる、条項20~21のいずれかに記載の方法
23.映像ピクチャが4:0:0フォーマットであり、所与の映像ブロックがクロマブロックであることに起因して、構文要素がスキップされる、条項20~21のいずれかに記載の方法。
セクション4の項目7は、上記の方法の追加の例および実施形態を提供する。
24.所与の映像ブロックはクロマ成分に対応し、パレット符号化モードに関連する構文要素は、所与の映像に対応する輝度ブロックの1つ以上の選択されたブロックの符号化情報に基づいて選択的に含まれる、条項20に記載の方法。
25.輝度ブロックの1つ以上の選択されたブロックが、最小の符号化ユニットまたは最小の予測ユニットまたは最小の変換ユニットサイズに対応する、条項24に記載の方法。
セクション4の項目8は、上記の方法の追加の例および実施形態を提供する。
26.符号化モードがPCIPモードである、条項20~25のいずれかに記載の方法。
セクション4の項目9は、上記の方法の追加の例および実施形態を提供する。
27.複数の映像ブロックを含む映像ピクチャと、複数のブロックの少なくとも一部が予測符号化モードを使用して符号化されている映像ピクチャのビットストリーム表現との変換を行い、映像ブロックは、映像ピクチャの他の映像ブロックを符号化するために使用される他の予測符号化モードとは別のまたはその特別な事例として識別される複合パレットモード(CPM)を使用して符号化される、映像処理方法。
28.他の予測符号化モードは、イントラモード、イントラブロックコピー、パレットモード、イントラスライスまたはIピクチャまたはイントラタイルグループのCPMモードを含む、条項27に記載の方法。
セクション4の項目10は、上記の方法の追加の例および実施形態を提供する。
29.CPMはビットストリーム表現における他の予測符号化モードの特殊なケースとして識別され、CPMを信号通知する構文要素は、CPMが特殊なケースである他の予測モードのタイプに基づいて選択的に信号通知される、条項27の方法。
30A.他の予測モードのタイプがイントラモードであり、CPMの構文要素の信号通知がスキップされる、条項29に記載の方法。
30B.他の予測モードのタイプがスキップモードであり、CPMの構文要素の信号通知がスキップされる、条項29に記載の方法。
セクション4の項目11は、上記の方法の追加の例および実施形態を提供する。
31.現在の映像ブロックと、現在の映像ブロックが複合パレットモード(CPM)を用いて符号化された現在の映像ブロックの第1のビットストリーム表現との第1の変換を行い、現在の映像ブロックは現在の映像ブロックに関連付けられた動きベクトルを有し、そして、次の映像ブロックと、次の映像ブロックの第2のビットストリーム表現との第2の変換を行い、現在の映像ブロックに関連付けられた動きベクトルを用いた動き予測が第2の変換中に使用される、映像処理方法。
32.動き予測が第2の変換のマージ候補として使用される、条項31に記載の方法。
33.動き予測が、第2の変換中に履歴ベースの動きベクトル予測器として使用される、条項31または32に記載の方法。
セクション4の項目12は、上記の方法の追加の例および実施形態を提供する。
34.現在の映像ブロックと、現在の映像ブロックがイントラ予測と組み合わせた(PCIP)モードを使用して符号化されている現在の映像ブロックの第1のビットストリーム表現との第1の変換を行い、現在の映像ブロックは、現在の映像ブロックに関連付けられたイントラ予測方向を有し、そして、次の映像ブロックと次の映像ブロックの第2のビットストリーム表現との第2の変換を行い、現在の映像ブロックに関連付けられたイントラ予測方向に基づくイントラモード予測子が第2の変換中に使用される、映像処理方法。
35.現在の映像ブロックに関連付けられたイントラ予測方向が、第2の変換中に最大確率モード候補として使用される、条項34に記載の方法。
セクション4の項目13は、上記の方法の追加の例および実施形態を提供する。
36.映像の現在の映像ブロックと映像のビットストリーム表現との変換中に使用されるパレットの最大エントリ数を判定することと、最大数を使用して変換を行うこととを含み、ビットストリーム表現内のフィールドが、映像ユニット全体で最大数の変化を信号通知する、映像処理方法。
37.映像ユニットが、符号化ツリーブロックまたは符号化ユニットまたは予測ユニットまたは変換ユニットに対応する、条項36に記載の方法。
38.最大数が現在の映像ブロックの符号化された情報に基づく、条項36~37の方法。
セクション4の項目14は、上記の方法の追加の例および実施形態を提供する。
39.1つ以上の映像ブロックを含む映像ピクチャと、映像ピクチャのビットストリーム表現との変換中に、パレット符号化モードを使用したことに起因して、スケーリング行列の使用が無効であると判定することと、スケーリング行列の使用が無効であると判定したことに基づいて変換を行うことを含む、映像処理方法。
40.1つ以上の映像ブロックを含む映像ピクチャと映像ピクチャのビットストリーム表現との変換中に、パレット符号化モードを使用することに起因して、スケーリング行列の使用が許可されていることを判定することと、スケーリング行列の使用が許可されているという判定に基づいて変換を行うこととを含む、映像処理方法。
セクション4の項目15は、上記の方法の追加の例および実施形態を提供する。
41.変換が行われている映像の特性を判定する際にこの方法が適用される、条項1から40のいずれかに記載の方法。
42.映像の特性が映像のコンテンツタイプを含む、条項41に記載の方法。
43.映像の特性が、変換に使用されるブロック寸法を含む、条項41に記載の方法。
44.映像の特性が、変換に使用されるパーティションツリー構造を含む、条項41に記載の方法。
セクション4の項目16は、上記の方法の追加の例および実施形態を提供する。
45.変換が、ビットストリーム表現から映像領域の画素値を生成することを含む、条項1~44のいずれかに記載の方法。
46.変換が、映像領域の画素値からビットストリーム表現を生成することを含む、条項1~44のいずれかに記載の方法。
47.条項1から46のいずれか1つまたは複数に記載された方法を実施するように構成された処理装置を含む映像処理装置。
48.実行されると、条項1項から46までのいずれか1つ以上に記載された方法を処理装置に実施させるプログラムコードを格納したコンピュータ可読媒体。
条項の2番目のセットは、前のセクションで開示された手法の特定の機能と側面、たとえば、実装例1から16について説明している。
1.映像の映像ユニットと映像の符号化表現との変換のために、規則に従って変換中に使用される代表値のパレットの最大エントリ数を判定することと、パレットを使用して変換を行うこととを含み、規則は映像ユニットの特性に従って最大エントリ数を指定する、映像処理方法。
2.映像ユニットが、ブロック、符号化ツリーブロックまたは符号化ユニット、または予測ユニットまたは変換ユニットに対応する、条項1に記載の方法。
3.特性が映像ユニットの符号化された情報を含む、条項1~2のいずれかに記載の方法。
4.映像ユニットの最大数が映像ユニットの寸法に基づく、条項1~2のいずれかに記載の方法。
5.映像ユニットの最大数が映像ユニットの色成分に基づく、条項1~2のいずれかに記載の方法。
6.輝度ブロックに対応する映像ユニットの最大数が、クロマブロックに対応する別の映像ユニットの最大数よりも大きい、条項5に記載の方法。
7.Mは固定数であり、MがNよりも小さく、それにより、Mは別の映像ユニットについて判定された最大数であり、Nが映像ユニットについて判定された最大数である、条項6の方法。
8.映像ユニットの最大数が、映像ユニットを分割するために使用される分割構造に基づく、条項1~2のいずれかに記載の方法。
9.映像の現在の映像ブロックと映像の符号化表現との変換のために、規則に従って現在の映像ブロックのためのパレットモード符号化ツールの使用に基づいて、現在の映像ブロックの非ブロック化プロセスに使用される1つ以上の符号化パラメータを判定することと、1つ以上の符号化パラメータを使用して変換を行うこととを含み、その規則は、パレットモード符号化ツールにより符号化された映像ブロックの1つ以上の符号化パラメータが、他の符号化ツールのパラメータとは異なって導出されることを指定し、パレットモード符号化ツールは、符号化中に、代表サンプル値のパレットを使用して現在の映像ブロックを符号化表現に表現すること、または、復号化中に代表サンプル値のパレットを使用して、符号化表現から現在の映像ブロックを再構成することを含む、映像処理方法。
10.他の符号化ツールが、イントラ符号化モードまたはインター符号化モードまたはイントラブロックコピー符号化モードを含む、条項9に記載の方法。
11.現在の映像ブロックに使用される1つ以上のパラメータが、P側およびQ側の現在の映像ブロックの隣接する映像ブロックがパレットモードを使用して符号化されているかどうかに基づいて判定される境界強度値を含む、条項9~10のいずれかに記載の方法。
12.パレットモードを使用して符号化されているP側およびQ側の両方の映像ブロックのために、境界強度がゼロである、条項11に記載の方法。
13.隣接する映像ブロックが、パレットモードを使用して符号化された第1の映像ブロックおよびパレットモードを使用して符号化されていない第2の映像ブロックを含み、境界強度が第2の映像ブロックの情報のみに依存する、条項11に記載の方法。
14.パレットモードが、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)に対応する、条項9~13のいずれかに記載の方法。
15.映像の現在の映像ブロックと映像の符号化表現との変換のために、規則に従って現在の映像ブロックに複合パレットモード(CPM)の使用に基づいて現在の映像ブロックに適用される非ブロック化処理に使用される1つ以上のパラメータを判定することと、その1つ以上のパラメータを使用して変換を行うことを含み、その規則は、符号化表現が、別の符号化モードを使用して符号化された隣接する映像ブロックに使用されるものと同じ構文要素を使用して1つ以上のパラメータの指示を含むことを指定し、そのCPM符号化ツールは、代表エントリのパレットの使用と、イントラブロックコピーモードによって導出された1つ以上のサンプルと組み合わせることによって、現在の映像ブロックを表現または再構成することを含む、映像処理方法。
16.別の符号化モードがパレットモードに対応する、条項15に記載の方法。
17.別の符号化モードがイントラブロックコピーモードに対応する、条項15に記載の方法。
18.映像の現在の映像ブロックと映像の符号化表現との変換のために、規則に基づいて隣接する映像ブロックの符号化モードに基づいて現在の映像ブロックに適用される非ブロック化プロセスに使用されるパラメータを判定することと、その判定に基づいて変換を行うことを含み、その規則は、隣接する映像ブロックがイントラ予測モードと組み合わせたパレットモード(PCIP)または別の符号化モードと組み合わせたパレットモードを使用して符号化された場合に同じパラメータ使用することを指定し、PCIPは、イントラ予測を使用して現在の映像ブロックの予測ブロックを導出することと、現在の映像ブロックに関連付けられたパレット情報を使用して予測ブロックを微調整することを含む、映像処理方法。
19.別の符号化モードが、現在の映像ブロックが代表サンプル値のパレットを使用して表されるかまたは再構成されるパレットモードに対応する、条項18に記載の方法。
20.別の符号化モードがイントラブロックコピーモードに対応する、条項18に記載の方法。
21.映像の現在の映像ブロックと映像の符号化表現との変換を行うことであって、現在の映像ブロックは、パレット符号化モード、イントラ予測モードと組み合わせたパレットモード(PCIP)、または複合パレットモード(CPM)である符号化モードに従って、符号化表現で表現され、前記符号化表現は、現在の映像ブロックに対するフラグを含み、前記フラグは、規則に従って、現在の映像ブロックが非ゼロ係数を有するかどうかを示し、前記規則は、前記フラグが符号化モードに応じた値を持つこと、または現在の映像ブロックの符号化表現におけるエスケープピクセルの存在を指定し、パレット符号化モードは、代表サンプル値のパレットを用いて現在の映像ブロックを表現または再構成することを含み、CPMは代表エントリのパレットの使用とイントラブロックコピーモードによって得られた1つ以上のサンプルとを組み合わせることによって、現在の映像ブロックを表現または再構成することを含み、かつ、PCIPはイントラ予測を用いて現在の映像ブロックの予測ブロックを導出することと、パレット情報を用いて予測ブロックを微調整することを含む、映像処理方法。
22.フラグが0または1である値を有する、条項21に記載の方法。
23.フラグの値は、対応する映像ブロックがエスケープ画素を有するかどうかに依存する、条項21に記載の方法。
24.複数の映像ブロックからなる映像とその映像の符号化表現との変換のために、対応する映像ブロックの符号化に代表値のパレットを用いる、パレットモード、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)を含む符号化モードに関連した複数の映像ブロックの各々の条件に基づいて複数映像ブロックの各々に対する非ブロック化処理の適用可能性を判定することと、その判定に基づいて変換を行うこととを含み、そのパレットモードは対応する映像ブロックに適用可能であり、対応する映像ブロックの画素を符号化するためにコンポーネント値のパレットを使用し、PCIPは対応する映像ブロックに適用可能であり、イントラ予測を使用して対応する映像ブロックの予測ブロックを導出し、パレット情報を使用して予測ブロックを微調整し、CPMは、対応する映像ブロックに適用可能であり、代表エントリのパレットの使用とイントラブロックコピーモードにより導出された1つ以上のサンプルとを組み合わせることによって、対応する映像ブロック内のサンプルを表現または再構成する、映像処理方法。
25.適用可能性の判定は、非ブロック化処理が、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)と組み合わせたパレットモードを使用して符号化されるP側ブロックまたはQ側ブロックに適用できないことを判定する、条項24に記載の方法。
26.適用可能性の判定は、Q側ブロックがPCIPおよびCPMを用いて符号化されていない場合に、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)を用いて符号化されたP側ブロックには、非ブロック化処理が適用できないと判定することを含む、条項24に記載の方法。
27.適用可能性の判定は、PCIPおよびCPMを用いてP側ブロックが符号化されていない場合に、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)を用いて符号化されたQ側ブロックには、非ブロック化処理が適用できないと判定することを含む、条項24に記載の方法。
28.適用可能性の判定は、非ブロック化処理が、複合パレットモード(CPM)を使用して符号化された映像ブロックのイントラブロックコピー(IBC)からコピーされたサンプルに適用可能であると判定することを含む、条項24に記載の方法。
29.適用可能性の判定は、非ブロック化処理が、イントラ予測モードと組み合わせたパレットモード(PCIP)を使用して符号化された映像ブロックのイントラ予測からコピーされたサンプルに適用可能であると判定することを含む、条項24に記載の方法。
30.複合パレットモード(CPM)を用いて符号化された現在の映像ブロックと、現在の映像ブロックの符号化表現との変換を行うことを含み、符号化表現は、映像領域に適用されるイントラモード、インターモード、イントラブロックコピーモード、またはパレットモードの指示とは別の映像領域レベルでのCPMの指示を含み、CPMは、代表エントリのパレットの使用とイントラブロックコピーモードによって導出された1つ以上のサンプルとを組み合わせることによって、現在の映像ブロック内のサンプルを再構成することを可能にする、映像処理方法。
31.映像領域が、変換ユニットまたは予測ユニットまたは符号化ブロックユニットに対応する、条項30に記載の方法。
32.符号化表現が、映像領域に適用可能なイントラモード、インターモード、イントラブロックコピーモード、またはパレットモードの指示後のCPMの指示を含む、条項30~31のいずれかに記載の方法。
33.CPMの指示が、現在の映像ブロックの予測モードに基づいて含まれる、条項30~31のいずれかに記載の方法。
34.イントラブロックコピーモードではない予測モードについて、CPMの指示が含まれる、条項33に記載の方法。
35.映像の色成分の現在の映像ブロックと現在の映像ブロックの符号化表現との変換を行うことを含み、現在の映像ブロックは、イントラ予測モードと組み合わせたパレットモード(PCIP)または複合パレットモード(CPM)を含む符号化モードを使用して符号化され、符号化モードに関連する構文要素は映像の色成分の特性、または現在の映像ブロックに使用されている分割構造や平面符号化に基づいて、選択的に符号化表現に含まれ、PCIPは現在の映像ブロックに適用されて、イントラ予測を使用して現在の映像ブロックの予測ブロックを導出し、パレット情報を使用して予測ブロックを微調整し、CPMは現在の映像ブロックに適用され、代表エントリのパレットの使用と、イントラブロックコピーモードによって導出された1つ以上のサンプルとを組み合わせて、現在の映像ブロックのサンプルを表現または再構成する、映像処理方法。
36.現在の映像ブロックがクロマ成分に対応し、現在の映像ブロックが単一のツリーパーティション構造を有する場合に構文要素が含まれない、条項35に記載の方法。
37.現在の映像ブロックがクロマ成分に対応し、現在の映像ブロックが二重ツリーパーティション構造を有する場合に構文要素が含まれる、条項35に記載の方法。
38.現在の映像ブロックがクロマ成分に対応し、現在の映像ブロックが4:0:0のカラーフォーマットを有する場合に構文要素が含まれない、条項35に記載の方法。
39.映像の現在のクロマブロックと映像の符号化表現との変換を行うことを含み、現在のクロマブロックは符号化モードを使用して符号化され、符号化表現は、現在のクロマブロックの1つ以上の選択された領域の符号化された情報に基づいて、符号化モードの指示を選択的に含む、映像処理方法。
40.符号化モードは、代表エントリのパレットの使用と、イントラブロックによって導出された1つ以上のサンプルと組み合わせることによって、現在のクロマブロック内のサンプルを表現または再構成することを可能にする複合パレットモード(CPM)である、条項39に記載の方法。
41.符号化モードは、イントラ予測を使用して現在のクロマブロックの予測ブロックを導出することを可能にし、現在の関連するパレット情報を使用して予測ブロックを微調整することを可能にするイントラ予測モードと組み合わせたパレットモード(PCIP)である、条項39に記載の方法。
42.符号化表現は、イントラブロックコピーモードを使用して符号化されている1つ以上の選択された領域のうちの少なくとも1つによる符号化モードの指示を含む、条項39に記載の方法。
43.符号化表現は、イントラブロックコピーモードを使用して符号化されている1つ以上の選択された領域のすべてに起因する符号化モードの指示を含む、条項39に記載の方法。
44.符号化表現は、1つ以上の選択された領域の少なくとも1つ以上がイントラブロックコピーモードを使用して符号化されていないことに起因して、符号化モードの指示を含まない、条項39に記載の方法。
45.符号化表現は、1つ以上の選択された領域のすべてがイントラブロックコピーモードを使用して符号化されていないことに起因して、符号化モードの指示を含まない、条項39に記載の方法。
46.選択された領域が、符号化ユニットまたは予測ユニットまたは変換ユニットまたは動きまたはモード用の記憶域ニットの最小サイズに対応するサイズを有する、条項39に記載の方法。
47.選択された領域が、対応する輝度ブロックの特定の位置をカバーする符号化ユニットまたは予測ユニットまたは変換ユニットに対応する、条項39に記載の方法。
48.複数の映像ブロックを含む映像ピクチャと映像ピクチャの符号化表現との変換を行うことを含み、映像ブロックは、映像ブロックを符号化するために代表値のパレットを使用する符号化モードを用いて符号化され、符号化モードの構文要素は現在の映像ブロックに適用される1つ以上の予測モードの値に基づいて信号通知される、映像処理方法。
49.符号化モードが、複合パレットモード(CPM)、イントラ予測モードと組み合わせたパレットモード(PCIP)、または他のパレット関連方法に対応する、条項48に記載の方法。
50.1つ以上の予測モードが、予測モードは、イントラスライスまたはIピクチャまたはPおよび/またはBピクチャまたはイントラタイルグループのためのイントラモード、インターモード、イントラブロックコピー、パレットモード、およびCPMモードのうちの少なくとも2つを含む、条項48に記載の方法。
51.1つ以上の予測モードのタイプがインターモードを含み、パレットモードに関連する構文要素の信号通知がスキップされる、条項48に記載の方法。
52.符号化表現におけるCPMモードの構文要素が、1つ以上の予測モードの値に基づいて選択的に信号通知される、条項49に記載の方法。
53.1つ以上の予測モードのタイプがイントラモードを含み、構文要素の信号通知がスキップされる、条項52に記載の方法。
54.1つ以上の予測モードのタイプがスキップモードを含み、1つ以上の予測モードのタイプがスキップモードであることに起因して、構文要素の信号通知がスキップされる、条項52に記載の方法。
55.1つ以上の予測モードのタイプがパレットモードを含み、構文要素が信号通知される、条項52に記載の方法。
56.1つ以上の予測モードのタイプが、イントラモード、インターモード、またはイントラブロックコピーモードを含み、構文要素が信号通知される、条項52に記載の方法。
57.1つ以上の予測モードのタイプがイントラモードを含むが、パルス符号変調(PCM)モードを含まず、構文要素が信号通知される、条項52に記載の方法。
58.1つ以上の予測モードのタイプがパレットモードを含み、構文要素がパルス符号変調(PCM)モードの使用の指示の前または後に信号を送られる、条項52に記載の方法。
59.1つ以上の予測モードのタイプがイントラモードを含み、構文要素が信号通知される、条項52に記載の方法。
60.1つ以上の予測モードのタイプがパレットモード、インターモードまたはイントラモードを含み、構文要素の信号通知がスキップされる、条項52に記載の方法。
61.現在の映像ブロックの第1の符号化表現と、代表エントリのパレットを選択的に使用することによって現在の映像ブロック内のサンプルを再構成することを可能にする複合パレットモード(CPM)を使用して符号化された現在の映像ブロックとの第1の変換を行うことであって、現在の映像ブロックは現在の映像ブロックに関連付けられた動きベクトルを有することと、次の映像ブロックと次の映像ブロックの第2の符号化表現との第2の変換を行うことであって、第2の変換中の次の映像ブロックの動き情報を予測するために現在の映像ブロックに関連付けられた動き情報が用いられることとを含む、映像処理方法。
62.動き予測が第2の変換のマージ候補として使用される、条項61に記載の方法。
63.動き予測が、第2の変換中に履歴ベースの動きベクトル予測(HMVP)として使用される、条項61に記載の方法。
64.動き予測が、第2の変換のための高度な動きベクトル予測(AMVP)候補として使用される、条項61に記載の方法。
65.第1の変換後に、履歴ベースの動きベクトル予測(HMVP)テーブルの更新処理が禁止され、HMVPテーブルは、1つ以上のあらかじめ符号化されたブロックの動き情報に対応する1つ以上のエントリを含む、条項61に記載の方法
66.現在の映像ブロックの動きベクトル(bv)が、第2の変換のための動き予測として使用されることが許可されていない、条項61に記載の方法。
67.現在のビデオブロックの第1の符号化表現と、イントラ予測を使用して現在のビデオブロックの予測ブロックを導出し、パレット情報を使用して予測ブロックを微調整することを可能にするイントラ予測モードと組み合わせたパレットモード(PCIP)を使用して符号化された現在のビデオブロックとの第1の変換を行うことであって、現在の映像ブロックは現在の映像ブロックに関連付けられたイントラ予測方向を有していることと、次のビデオブロックと、次のビデオブロックの第2の符号化表現との第2の変換を行うことであって、第2の変換中に現在のビデオブロックのイントラモードが次のビデオブロックのイントラモード予測子として用いられることとを含む、映像処理方法。
68.現在の映像ブロックに関連付けられたイントラ予測方向が、第2の変換中に最大確率モード候補として使用される、条項に記載の方法。
69.現在の映像ブロックに関連するイントラ予測方向が、第2の変換中に最大確率モード候補として使用されることが許可されていない、条項67に記載の方法。
70.1つ以上の映像ブロックを含む映像ピクチャと映像ピクチャの符号化表現との変換中においてパレット関連の符号化モードが使用されることに起因し、スケーリング行列の使用が無効であると判定することと、スケーリング行列の使用が無効であるとの判定に基づいて変換を行うこととを含む、映像処理方法。
71.1つ以上の映像ブロックを含む映像ピクチャと映像ピクチャの符号化表現との変換中においてパレット関連の符号化モードが使用されることに起因し、スケーリング行列の使用が許可されていると判定することと、スケーリング行列の使用が許可されているとの判定に基づいて変換を行うこととを含む、映像処理方法。
72.パレット関連符号化モードが、パレットモード、複合パレットモード(CPM)、またはイントラ予測モードと組み合わせたパレットモード(PCIP)に対応する、条項1に記載の方法。
73.変換が行われている映像の特性を判定する際に方法が適用される、条項1から72のいずれかに記載の方法。
74.映像の特性が映像のコンテンツタイプを含む、条項73に記載の方法。コンテンツタイプは、映像または自然な映像コンテンツ、またはコンピュータで生成されたアイコンやメニュー画面などの画面コンテンツなど、映像に表示されているコンテンツに関するものである。
75.映像の特性が、符号化ユニット、予測ユニット、変換ユニット、または現在の映像ブロックの位置を含む、条項73に記載の方法。
76.映像の特性が、変換に使用される現在の映像ブロックまたは隣接するブロックのブロック寸法および/またはブロック形状を含む、条項73に記載の方法。
77.映像の特性が、現在の映像ブロックまたは隣接するブロックの予測モードおよび/またはイントラモードを含む、条項73に記載の方法。
78.映像の特性が、現在の映像ブロックまたは隣接するブロックの動きベクトルおよび/またはブロックベクトルを含む、条項73に記載の方法。
79.映像の特性が、映像のカラーフォーマットまたは色成分を含む、条項73に記載の方法。
80.映像の特性が、現在の映像ブロックに適用される符号化ツリー構造を含む、条項73に記載の方法。
81.変換が、符号化表現から映像領域の画素値を生成することを含む、条項1~80のいずれかに記載の方法。
82.変換が、映像領域の画素値からビットストリーム表現を生成することを含む、条項1~80のいずれかに記載の方法。
83.項目1~82のいずれか1つ以上に記載の方法を実装するように構成された処理装置を備える映像処理装置。
84.実行されると、項目1~82のいずれか1つ以上に記載の方法を処理装置に実装させるプログラムコードを記憶したコンピュータ可読媒体。
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。“データ処理装置”という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテクストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテクストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

Claims (16)

  1. 映像のブロックと前記映像のビットストリームとの変換のために、前記ブロックのパーティション構造に基づいて、予測モードで使用されるべき前記ブロックのパレットの最大エントリ数を決定することと、
    前記決定することに基づいて、前記変換を行うことと、を含む映像データ処理方法であって、
    前記予測モードでは、再構成されたサンプルが代表色値のセットによって表現され、前記代表色値のセットは、1)パレット予測子、2)エスケープされたサンプル、または、3)前記ビットストリームに含まれるパレット情報のうちの少なくとも1つを含み、
    前記パレットの前記最大エントリ数は、前記ブロックのスライスタイプ、前記ブロックの色成分、前記ブロックのパーティション構造に基づいてさらに決定され、
    前記ブロックが第1のスライスタイプを有する前記スライスタイプに基づく第1の条件と、前記ブロックが輝度ブロックである前記色成分に基づく第2の条件と、前記ブロックがデュアルツリーパーティション構造を有するパーティション構造に基づく第3の条件と、を含む条件を前記ブロックが満たす場合、前記ブロックのための前記パレットの前記最大エントリ数は、前記ブロックに対応するクロマブロックのための前記パレットの前記最大エントリ数よりも大きい、
    映像データ処理方法。
  2. 前記パレットの前記最大エントリ数は、前記ブロックのコーディングされた情報に基づいてさらに決定される、
    請求項に記載の方法。
  3. 前記パレットの前記最大エントリ数は、前記ブロックの寸法に基づいてさらに決定される、
    請求項1または2に記載の方法。
  4. 単一ツリーパーティション構造を有する前記パレットの前記最大エントリ数は、二重ツリーパーティション構造を有する前記パレットの前記最大エントリ数と異なる、
    請求項1~のいずれか1項に記載の方法。
  5. 前記二重ツリーパーティション構造において、輝度成分およびクロマ成分に対して異なるパーティション構造が適用される、
    請求項に記載の方法。
  6. 前記変換は、前記ブロックを前記ビットストリームに符号化することを含む、
    請求項1~のいずれか1項に記載の方法。
  7. 前記変換は、前記ブロックを前記ビットストリームから復号化することを含む、
    請求項1~のいずれか1項に記載の方法。
  8. 処理装置と命令を含む非一時的メモリとを備える映像データ処理装置であって、前記処理装置による実行時に、前記命令は前記処理装置に、
    映像のブロックと前記映像のビットストリームとの変換のために、前記ブロックのパーティション構造に基づいて、予測モードで使用されるべき前記ブロックのパレットの最大エントリ数を決定することと、
    前記決定することに基づいて、前記変換を行うことを行わせ、
    前記予測モードでは、再構成されたサンプルが代表色値のセットによって表現され、前記代表色値のセットは、1)パレット予測子、2)エスケープされたサンプル、または、3)前記ビットストリームに含まれるパレット情報のうちの少なくとも1つを含み、
    前記パレットの前記最大エントリ数は、前記ブロックのスライスタイプ、前記ブロックの色成分、前記ブロックのパーティション構造に基づいてさらに決定され、
    前記ブロックが第1のスライスタイプを有する前記スライスタイプに基づく第1の条件と、前記ブロックが輝度ブロックである前記色成分に基づく第2の条件と、前記ブロックがデュアルツリーパーティション構造を有するパーティション構造に基づく第3の条件と、を含む条件を前記ブロックが満たす場合、前記ブロックのための前記パレットの前記最大エントリ数は、前記ブロックに対応するクロマブロックのための前記パレットの前記最大エントリ数よりも大きい、
    映像データ処理装置。
  9. 命令を記憶した非一時的なコンピュータ可読記憶媒体であって、前記命令は、処理装置に、
    映像のブロックと前記映像のビットストリームとの変換のために、前記ブロックのパーティション構造に基づいて、予測モードで使用されるべき前記ブロックのパレットの最大エントリ数を決定することと、
    前記決定することに基づいて、前記変換を行うこを行わせ、
    前記予測モードでは、再構成されたサンプルが代表色値のセットによって表現され、前記代表色値のセットは、1)パレット予測子、2)エスケープされたサンプル、または、3)前記ビットストリームに含まれるパレット情報のうちの少なくとも1つを含み、
    前記パレットの前記最大エントリ数は、前記ブロックのスライスタイプ、前記ブロックの色成分、前記ブロックのパーティション構造に基づいてさらに決定され、
    前記ブロックが第1のスライスタイプを有する前記スライスタイプに基づく第1の条件と、前記ブロックが輝度ブロックである前記色成分に基づく第2の条件と、前記ブロックがデュアルツリーパーティション構造を有するパーティション構造に基づく第3の条件と、を含む条件を前記ブロックが満たす場合、前記ブロックのための前記パレットの前記最大エントリ数は、前記ブロックに対応するクロマブロックのための前記パレットの前記最大エントリ数よりも大きい、
    非一時的なコンピュータ可読記憶媒体。
  10. 映像のビットストリームを記憶する方法であって、
    映像のブロックのパーティション構造に基づいて、予測モードで使用されるべき前記ブロックのパレットの最大エントリ数を決定することと、
    前記決定することに基づいて、前記ビットストリームを生成することと、
    前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと、を含み、
    前記予測モードでは、再構成されたサンプルが代表色値のセットによって表現され、前記代表色値のセットは、1)パレット予測子、2)エスケープされたサンプル、または、3)前記ビットストリームに含まれるパレット情報のうちの少なくとも1つを含み、
    前記パレットの前記最大エントリ数は、前記ブロックのスライスタイプ、前記ブロックの色成分、前記ブロックのパーティション構造に基づいてさらに決定され、
    前記ブロックが第1のスライスタイプを有する前記スライスタイプに基づく第1の条件と、前記ブロックが輝度ブロックである前記色成分に基づく第2の条件と、前記ブロックがデュアルツリーパーティション構造を有するパーティション構造に基づく第3の条件と、を含む条件を前記ブロックが満たす場合、前記ブロックのための前記パレットの前記最大エントリ数は、前記ブロックに対応するクロマブロックのための前記パレットの前記最大エントリ数よりも大きい、
    方法
  11. 前記変換は、前記第1のスライスタイプはIスライスではない、
    請求項1~7のいずれか1項に記載の方法。
  12. 前記条件は、さらに、前記ブロックが第1のカラーフォーマットを有することと、前記ブロックが第1のサイズを有することと、を含む、
    請求項1~7および11のいずれか1項に記載の方法。
  13. 前記第1のカラーフォーマットは4:2:0である、
    請求項12に記載の方法。
  14. 前記条件は、さらに、前記ブロックが第1の分割タイプによって得られることを含む、
    請求項12または13に記載の方法。
  15. 前記ブロックが前記条件を満たす場合、前記予測モードは、前記ブロックに対応する前記クロマブロックに許可されない、
    請求項12~14のいずれか1項に記載の方法。
  16. シングルツリーパーティション構造のブロックの前記パレットの前記最大エントリ数は、デュアルツリーパーティション構造のブロックの前記パレットの前記最大エントリ数と異なり、
    前記シングルツリーパーティション構造では、同一のパーティション構造が輝度成分とクロマ成分とに適用され、前記デュアルツリーパーティション構造では、異なるパーティション構造が輝度成分とクロマ成分とに適用される、
    請求項1~7および11~15のいずれか1項に記載の方法。
JP2021569246A 2019-05-31 2020-05-28 イントラブロックコピー予測を備えたパレットモード Active JP7436519B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019089506 2019-05-31
CNPCT/CN2019/089506 2019-05-31
PCT/US2020/034913 WO2020243295A1 (en) 2019-05-31 2020-05-28 Palette mode with intra block copy prediction

Publications (2)

Publication Number Publication Date
JP2022532800A JP2022532800A (ja) 2022-07-19
JP7436519B2 true JP7436519B2 (ja) 2024-02-21

Family

ID=73553923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021569246A Active JP7436519B2 (ja) 2019-05-31 2020-05-28 イントラブロックコピー予測を備えたパレットモード

Country Status (6)

Country Link
US (2) US11765367B2 (ja)
EP (1) EP3954125A4 (ja)
JP (1) JP7436519B2 (ja)
KR (1) KR20220013938A (ja)
CN (1) CN113906758A (ja)
WO (1) WO2020243295A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714698A (zh) 2019-06-28 2024-03-15 字节跳动有限公司 屏幕内容编解码中的色度帧内模式推导
US11627327B2 (en) * 2019-08-05 2023-04-11 Qualcomm Incorporated Palette and prediction mode signaling
KR20220038121A (ko) * 2019-08-23 2022-03-25 엘지전자 주식회사 비디오/영상 코딩 시스템에서 라이스 파라미터 도출 방법 및 장치
CN114788284B (zh) * 2019-12-30 2023-03-31 阿里巴巴(中国)有限公司 用于在调色板模式下对视频数据进行编码的方法和装置
WO2023274372A1 (en) * 2021-07-01 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015138927A1 (en) 2014-03-14 2015-09-17 Qualcomm Incorporated Palette-based video coding
US20150341673A1 (en) 2014-05-22 2015-11-26 Qualcomm Incorporated Coding runs in palette-based video coding
US20170374372A1 (en) 2014-12-19 2017-12-28 Hfi Innovation Inc. Methods of Palette Based Prediction for Non-444 Color Format in Video and Image Coding

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500914B1 (ko) 2010-04-09 2015-03-10 미쓰비시덴키 가부시키가이샤 동화상 복호 장치
US20130294524A1 (en) 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
MY175688A (en) 2014-03-14 2020-07-06 Vid Scale Inc Palette coding for screen content coding
RU2648276C1 (ru) 2014-03-27 2018-03-23 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Корректировка квантования/масштабирования и обратного квантования/масштабирования при переключении цветовых пространств
US9900617B2 (en) 2014-06-20 2018-02-20 Qualcomm Incorporated Single color palette mode in video coding
CA2959682C (en) 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
TW201626798A (zh) 2014-10-06 2016-07-16 Vid Scale Inc 用於螢幕內容編碼之改良調色編碼
CN110519604B (zh) * 2014-11-12 2022-04-01 寰发股份有限公司 索引映射编解码中的跳出像素编解码方法
KR20170103924A (ko) 2015-01-14 2017-09-13 브이아이디 스케일, 인크. 비-4:4:4 화면 콘텐츠 영상의 팔레트 코딩
CN107431817B (zh) 2015-01-29 2020-03-24 Vid拓展公司 用于调色板译码的方法及装置
US9986248B2 (en) 2015-01-29 2018-05-29 Qualcomm Incorporated Palette mode coding for video coding
WO2016123262A1 (en) 2015-01-29 2016-08-04 Vid Scale, Inc. Escape color coding for palette coding mode
WO2016150343A1 (en) 2015-03-20 2016-09-29 Mediatek Singapore Pte. Ltd. Methods of palette coding with inter-prediction in video coding
EP3262839B1 (en) 2015-04-08 2021-06-16 HFI Innovation Inc. Methods for palette mode context coding and binarization in video coding
WO2016175550A1 (ko) 2015-04-27 2016-11-03 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
EP3306933A4 (en) * 2015-05-27 2019-05-08 KT Corporation METHOD AND DEVICE FOR PROCESSING A VIDEO SIGNAL
US11233998B2 (en) 2015-05-29 2022-01-25 Qualcomm Incorporated Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
US10097842B2 (en) 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
WO2017184970A1 (en) 2016-04-22 2017-10-26 Vid Scale, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
EP3453174A1 (en) 2016-05-06 2019-03-13 VID SCALE, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
ES2935261T3 (es) 2016-05-28 2023-03-03 Hfi Innovation Inc Método y aparato de codificación de modo de paleta para datos de video de color
US20200045322A1 (en) 2016-10-04 2020-02-06 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
US11025903B2 (en) 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US11310517B2 (en) 2017-12-07 2022-04-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding using selective information sharing between channels
US20190246122A1 (en) 2018-02-08 2019-08-08 Qualcomm Incorporated Palette coding for video coding
US10694195B2 (en) * 2018-03-07 2020-06-23 Tencent America LLC Methods and apparatus for palette coding
US11025905B2 (en) * 2018-09-14 2021-06-01 Tencent America LLC Method and device for decoding with palette mode
EP3769533A4 (en) 2019-02-24 2022-04-20 Tencent America Llc IMPROVED RESIDUAL ENCODING FOR TRANSFORMATION SKIP MODE AND BLOCK DIFFERENTIAL PULSE CODE MODULATION
US11368721B2 (en) 2019-04-30 2022-06-21 Tencent America LLC Method and apparatus for interaction between intra prediction mode and block differential pulse-code modulation mode
US20200404324A1 (en) 2019-06-19 2020-12-24 Qualcomm Incorporated Signaling for intra coding of video data
US11330298B2 (en) 2019-06-25 2022-05-10 Qualcomm Incorporated Simplified intra chroma mode coding in video coding
CN117714698A (zh) 2019-06-28 2024-03-15 字节跳动有限公司 屏幕内容编解码中的色度帧内模式推导
KR102612765B1 (ko) 2019-06-28 2023-12-13 바이트댄스 아이엔씨 변환 스킵 모드에서 양자화 파라미터를 수정하는 기술
US11218700B2 (en) 2019-07-01 2022-01-04 Qualcomm Incorporated Minimum allowed quantization parameter for transform skip mode and palette mode in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015138927A1 (en) 2014-03-14 2015-09-17 Qualcomm Incorporated Palette-based video coding
US20150341673A1 (en) 2014-05-22 2015-11-26 Qualcomm Incorporated Coding runs in palette-based video coding
US20170374372A1 (en) 2014-12-19 2017-12-28 Hfi Innovation Inc. Methods of Palette Based Prediction for Non-444 Color Format in Video and Image Coding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Jizheng Xu, et al.,"Overview of the Emerging HEVC Screen Content Coding Extension",IEEE Transactions on Circuits and Systems for Video Technology,IEEE,2015年09月14日,Vol.26, No.1,Pages 50-62,ISSN: 1051-8215, <DOI: 10.1109/TCSVT.2015.2478706>.
Wei Pu, et al.,"Palette Mode Coding in HEVC Screen Content Coding Extension",IEEE Journal on Emerging and Selected Topics in Circuits and Systems,IEEE,2016年11月18日,Vol.6, No.4,Pages 420-432,ISSN: 2156-3357, <DOI: 10.1109/JETCAS.2016.2605661>.
Yu-Chen Sun, et al.,"Analysis of Palette Mode on Versatile Video Coding",Proceedings of 2019 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR),IEEE,2019年03月30日,Pages 455-458,ISBN: 978-1-7281-1198-8, <DOI: 10.1109/MIPR.2019.00091>.
Yu-Chen Sun, et al.,"PALETTE MODE - A NEW CODING TOOL IN SCREEN CONTENT CODING EXTENSIONS OF HEVC",Proceedings of 2015 IEEE International Conference on Image Processing (ICIP),IEEE,2015年09月30日,Pages 2409-2413,ISBN: 978-1-4799-8339-1, <DOI: 10.1109/ICIP.2015.7351234>.
村上 篤道(外2名)編,「高効率映像符号化技術 HEVC/H.265とその応用」,第1版,日本,株式会社 オーム社,2013年02月25日,第17,18,85~88頁,ISBN: 978-4-274-21329-8.

Also Published As

Publication number Publication date
CN113906758A (zh) 2022-01-07
KR20220013938A (ko) 2022-02-04
US20220046255A1 (en) 2022-02-10
JP2022532800A (ja) 2022-07-19
WO2020243295A1 (en) 2020-12-03
EP3954125A4 (en) 2022-06-22
EP3954125A1 (en) 2022-02-16
US20240022741A1 (en) 2024-01-18
US11765367B2 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
JP7359878B2 (ja) 変換スキップモードにおける量子化パタメータの修正技術
JP7436519B2 (ja) イントラブロックコピー予測を備えたパレットモード
CN114208174B (zh) 预测过程中的调色板模式编解码
JP7460738B2 (ja) パレットモードの使用の指示の独立した符号化
JP7328373B2 (ja) スクリーンコンテンツ符号化におけるクロマイントラモードの導出
JP7359936B2 (ja) パレットモードの使用の指示の条件依存符号化
CN114145013B (zh) 调色板模式编解码的模式确定
CN113475077B (zh) 调色板模式使用指示的独立编解码
JP7481515B2 (ja) パレットモードの使用の指示の共同符号化
CN113678448A (zh) 调色板模式编解码的条目构造
JP7442673B2 (ja) ビデオコーディングにおけるスキップブロックの変換のための最小許容量子化

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240208

R150 Certificate of patent or registration of utility model

Ref document number: 7436519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150