JP2023518352A - ビデオコーディングにおけるコーディングパラメータのシグナリング - Google Patents

ビデオコーディングにおけるコーディングパラメータのシグナリング Download PDF

Info

Publication number
JP2023518352A
JP2023518352A JP2022550726A JP2022550726A JP2023518352A JP 2023518352 A JP2023518352 A JP 2023518352A JP 2022550726 A JP2022550726 A JP 2022550726A JP 2022550726 A JP2022550726 A JP 2022550726A JP 2023518352 A JP2023518352 A JP 2023518352A
Authority
JP
Japan
Prior art keywords
chroma
data
flag
lmcs
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022550726A
Other languages
English (en)
Inventor
ナセル、カラム
レリーネク、ファブリス
ラグランジュ、フィリップ ド
ポイエー、タンギ
フランソワ、エドゥアール
ヒロン、フランク
シェヴァンス、クリストフ
ケルドランヴァット、ミシェル
Original Assignee
インターデジタル ブイシー ホールディングス フランス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ブイシー ホールディングス フランス filed Critical インターデジタル ブイシー ホールディングス フランス
Publication of JP2023518352A publication Critical patent/JP2023518352A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

いくつかのクロマフォーマットでは、各色成分についてモノクロ処理が実行される。例えば、4:0:0では、輝度成分のみが存在し、全てのクロマ関連構文及びコードは使用されない。加えて、4:4:4では、分離可能な色平面がアクティブ化されるとき、クロマ成分は、独立した輝度成分として処理され、コーデックは、クロマが全くなく、クロマ関連ツールが使用されないかのように挙動し得る。クロマに関連するコーディングパラメータにおける冗長性を低減するために、一実装形態では、クロマ成分の利用可能性を示すフラグがコード化される。別の実装形態では、相互関係のある構文は、ビデオデータのためのイントラのみのコーディングモードで省略される。加えて、LMCSのスライスレベル制御が提供される。【選択図】図4

Description

本実施形態は、概して、ビデオの符号化又は復号化においてコーディングパラメータをシグナリングするための方法及び装置に関する。
高い圧縮効率を実現するために、画像及びビデオのコーディング方式は、通常、ビデオコンテンツ内の空間冗長性及び時間冗長性を活用するために予測及び変換を採用している。概して、イントラピクチャ又はインターピクチャ相関を利用するために、イントラ予測又はインター予測が使用され、次いで、予測誤差又は予測残差と呼ばれることが多い、原ブロックと予測ブロックとの間の差が、変換、量子化、及びエントロピコード化される。ビデオを再構成するには、エントロピコーディング、量子化、変換、及び予測に対応する逆の処理によって、圧縮データを復号化する。
一実施形態によれば、クロマALF(適応ループフィルタ)データがビットストリームに存在するかどうかを示す構文を復号化することと、ピクチャの輝度成分についてALFフィルタデータを復号化することと、当該クロマALFデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてALFフィルタデータを復号化することと、を含む、ビデオの復号化の方法が提供される。
別の実施形態によれば、クロマALF(適応ループフィルタ)データがビットストリームに存在するかどうかを示す構文を符号化することと、ピクチャの輝度成分についてALFフィルタデータを符号化することと、当該クロマALFデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてALFフィルタデータを符号化することと、を含む、ビデオの符号化の方法が提供される。
別の実施形態によれば、クロマLMCS(クロマスケーリングを伴う輝度マッピング)データがビットストリームに存在するかどうかを示す構文を復号化することと、ピクチャの輝度成分についてLMCSデータを復号化することと、当該クロマLMCSデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてLMCSデータを復号化することと、を含む、ビデオの復号化の方法が提供される。
別の実施形態によれば、クロマLMCS(クロマスケーリングを伴う輝度マッピング)データがビットストリームに存在するかどうかを示す構文を符号化することと、ピクチャの輝度成分についてLMCSデータを符号化することと、当該クロマLMCSデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてLMCSデータを符号化することと、を含む、ビデオの符号化の方法が提供される。
別の実施形態によれば、1つ以上のプロセッサを備える、ビデオの復号化のための装置が提示され、当該1つ以上のプロセッサが、クロマALF(適応ループフィルタ)データがビットストリームに存在するかどうかを示す構文を復号化することと、ピクチャの輝度成分についてALFフィルタデータを復号化することと、当該クロマALFデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてALFフィルタデータを復号化することと、を行うように構成されている。
別の実施形態によれば、1つ以上のプロセッサを備える、ビデオの復号化のための装置が提示され、当該1つ以上のプロセッサが、クロマALF(適応ループフィルタ)データがビットストリームに存在するかどうかを示す構文を復号化することと、ピクチャの輝度成分についてALFフィルタデータを符号化することと、当該クロマALFデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてALFフィルタデータを符号化することと、を行うように構成されている。
別の実施形態によれば、ビデオの復号化のための装置が提示され、当該1つ以上のプロセッサが、クロマLMCS(クロマスケーリングを伴う輝度マッピング)データがビットストリームに存在するかどうかを示す構文を復号化することと、ピクチャの輝度成分についてLMCSデータを復号化することと、当該クロマLMCSデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてLMCSデータを復号化することと、を行うように構成されている。
別の実施形態によれば、ビデオの復号化のための装置が提示され、当該1つ以上のプロセッサが、クロマLMCS(クロマスケーリングを伴う輝度マッピング)データがビットストリームに存在するかどうかを示す構文を符号化することと、ピクチャの輝度成分についてLMCSデータを符号化することと、当該クロマLMCSデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてLMCSデータを符号化することと、を行うように構成されている。
別の実施形態によれば、クロマALF(適応ループフィルタ)データがビットストリームに存在するかどうかを示す構文を復号化するための手段と、ピクチャの輝度成分についてALFフィルタデータを復号化するための手段と、当該クロマALFデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてALFフィルタデータを復号化するための手段と、を備える、ビデオの復号化のための装置が提示される。
別の実施形態によれば、クロマALF(適応ループフィルタ)データがビットストリームに存在するかどうかを示す構文を符号化するための手段と、ピクチャの輝度成分についてALFフィルタデータを符号化するための手段と、当該クロマALFデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてALFフィルタデータを符号化するための手段と、を備える、ビデオの復号化のための装置が提示される。
別の実施形態によれば、クロマLMCS(クロマスケーリングを伴う輝度マッピング)データがビットストリームに存在するかどうかを示す構文を復号化するための手段と、ピクチャの輝度成分についてLMCSデータを復号化するための手段と、当該クロマLMCSデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてLMCSデータを復号化するための手段と、を備える、ビデオの復号化のための装置が提示される。
別の実施形態によれば、クロマLMCS(クロマスケーリングを伴う輝度マッピング)データがビットストリームに存在するかどうかを示す構文を符号化するための手段と、ピクチャの輝度成分についてLMCSデータを符号化するための手段と、当該クロマLMCSデータが当該ビットストリームに存在することに応答して、当該ピクチャの1つ以上のクロマ成分についてLMCSデータを符号化するための手段と、を備える、ビデオの復号化のための装置が提示される。
別の実施形態によれば、ピクチャ情報のスライスレベルにおいて、クロマスケーリングを制御するための制御情報を取得することと、制御情報に基づいて、ピクチャ情報の少なくとも一部分を符号化することと、を含む、ピクチャ情報を符号化するための方法が提示される。
別の実施形態によれば、符号化されたピクチャ情報のスライスレベルにおいて、クロマスケーリングを制御するための制御情報を取得することと、制御情報に基づいて、符号化されたピクチャ情報の少なくとも一部分を復号化することと、を含む、符号化されたピクチャ情報を復号化するための方法が提示される。
別の実施形態によれば、ピクチャ情報のスライスレベルにおいて、クロマスケーリングを制御するための制御情報を生成することと、制御情報に基づいて、ピクチャ情報の少なくとも一部分を符号化することと、を行うように構成された1つ以上のプロセッサを備える、ピクチャ情報を符号化するための装置が提供される。
別の実施形態によれば、符号化されたピクチャ情報のスライスレベルにおいて、クロマスケーリングを制御するための制御情報を取得することと、制御情報に基づいて、符号化されたピクチャ情報の少なくとも一部分を復号化することと、を行うように構成された1つ以上のプロセッサを備える、符号化されたピクチャ情報を復号化するための装置が提供される。
別の実施形態によれば、ビデオデータを符号化することであって、当該ビデオデータが、輝度のみのデータを含むか、又はイントラコード化のみのデータを含む、符号化することと、ビットストリームにおいて、当該符号化ビデオデータ、及び輝度のみのデータ又はイントラコード化のみのデータを示す構文を含むことと、を含む、方法が提供される。
別の実施形態によれば、輝度のみのデータ又はイントラコード化のみのデータを示す構文のためのビデオデータを含むビデオビットストリームを解析することと、輝度のみのデータ又はイントラコード化のみのデータを示す構文を使用して、当該ビデオデータを復号化することと、を含む、方法が提供される。
1つ以上の実施形態はまた、1つ以上のプロセッサによって実行されるとき、1つ以上のプロセッサに、上で説明された実施形態のいずれかに従う符号化方法又は復号化方法を実行させる命令を含む、コンピュータプログラムを提供する。本実施形態のうちの1つ以上はまた、上で説明された方法に従って、ビデオデータを符号化するか、又は復号化するための命令を記憶したコンピュータ可読記憶媒体を提供する。
1つ以上の実施形態はまた、上で説明された方法に従って生成されたビットストリームを記憶したコンピュータ可読記憶媒体を提供する。1つ以上の実施形態はまた、上で説明された方法に従って生成されたビットストリームを送信又は受信するための方法及び装置を提供する。
本実施形態の態様が実装され得るシステムのブロック図を例解する。 ビデオ符号化器の一実施形態のブロック図を例解する。 ビデオ復号化器の一実施形態のブロック図を例解する。 一実施形態による、ALF(適応ループフィルタ)データを復号化するプロセスを例解する。 一実施形態による、ビデオの符号化又は復号化のための制御情報を生成する方法を例解する。 一実施形態による、制御情報を提供するためのプロセスを例解する。
図1は、様々な態様及び実施形態が実装され得るシステムの一例のブロック図を例解する。システム100は、以下に記載の様々な構成要素を含むデバイスとして具現化され得、本明細書に記載の態様のうちの1つ以上を実行するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電、及びサーバなどの様々な電子デバイスが挙げられる。システム100の要素は、単独で、又は組み合わせて、単一の集積回路、複数のIC、及び/又は個別の構成要素で具現化され得る。例えば、少なくとも1つの実施形態では、システム100の処理要素及び符号化器要素/復号化器要素は、複数のIC及び/又は個別の構成要素にわたって分散される。様々な実施形態では、システム100は、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通じて、他のシステム、又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム100は、本出願に記載された態様のうちの1つ以上を実装するように構成される。
システム100は、例えば、本出願に記載された様々な態様を実装するために、内部にロードされた命令を実行するように構成された、少なくとも1つのプロセッサ110を含む。プロセッサ110は、埋め込み型メモリ、入力出力インターフェース、及び当該技術分野で既知であるように様々な他の回路を含み得る。システム100は、少なくとも1つのメモリ120(例えば、揮発性メモリデバイス及び/又は不揮発性メモリデバイス)を含む。システム100は、記憶デバイス140を含み、この記憶デバイスは、限定されるものではないが、EEPROM、ROM、PROM、RAM、DRAM、SRAM、フラッシュ、磁気ディスクドライブ、及び/若しくは光ディスクドライブを含む、不揮発性メモリ並びに/又は揮発性メモリを含み得る。記憶デバイス140は、非限定的な例として、内部記憶デバイス、取り付け型記憶デバイス、及び/又はネットワークアクセス可能な記憶デバイスを含み得る。
システム100は、例えば、データを処理して、符号化ビデオ又は復号化ビデオを提供するように構成された符号化器/復号化器モジュール130を含み、その符号化器/復号化器モジュール130は、それ自体のプロセッサ及びメモリを含み得る。符号化器/復号化器モジュール130は、符号化機能及び/又は復号化機能を実行するためにデバイス内に含まれ得るモジュールを表す。既知であるように、デバイスは、符号化及び復号化モジュールのうちの一方又は両方を含み得る。加えて、符号化器/復号化器モジュール130は、システム100の個別の要素として実装され得るか、又は当業者に既知であるように、ハードウェア及びソフトウェアの組み合わせとしてプロセッサ110内に組み込まれ得る。
本出願に記載の様々な態様を実行するためにプロセッサ110又は符号化器/復号化器130上にロードされるプログラムコードは、記憶デバイス140内に記憶され、その後、プロセッサ110による実行のためにメモリ120上にロードされ得る。様々な実施形態によれば、プロセッサ110、メモリ120、記憶デバイス140、及び符号化器/復号化器モジュール130のうちの1つ以上は、本出願に記載されるプロセスの実施中に、様々な項目のうちの1つ以上を記憶し得る。かかる記憶された項目は、限定されるものではないが、入力ビデオ、復号化ビデオ、又は復号化ビデオの一部分、ビットストリーム、行列、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含み得る。
いくつかの実施形態では、プロセッサ110及び/又は符号化器/復号化器モジュール130の内部のメモリは、命令を記憶するため、及び符号化又は復号化中に必要とされる処理のためのワーキングメモリを提供するために使用される。しかしながら、他の実施形態では、処理デバイス(例えば、処理デバイスは、プロセッサ110又は符号化器/復号化器モジュール130のいずれかであり得る)の外部のメモリが、これらの機能のうちの1つ以上のために使用される。外部メモリは、メモリ120及び/又は記憶デバイス140、例えば、ダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリが、テレビのオペレーティングシステムを格納するために使用される。少なくとも一実施形態では、RAMなどの高速外部ダイナミック揮発性メモリが、MPEG-2、HEVC、又はVVCなどのビデオコーディング動作及び復号化動作のためのワーキングメモリとして使用される。
システム100の要素への入力は、ブロック105に示されるように、様々な入力デバイスを通して提供され得る。このような入力デバイスとしては、(i)例えば、放送局によって無線で送信されるRF信号を受信するRF部、(ii)コンポジット入力端子、(iii)USB入力端子、及び/又は(iv)HDMI入力端子が挙げられるが、これらに限定されない。
様々な実施形態では、ブロック105の入力デバイスは、当該技術分野で既知であるように、関連するそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択することと(また信号を選択する、又は信号を周波数帯域に帯域制限するとも称される)、(ii)選択された信号をダウンコンバートすることと、(iii)特定の実施形態で、(例えば)チャネルとして称され得る信号周波数帯域を選択するために、再度より狭い周波数帯域に帯域制限することと、(iv)ダウンコンバート及び帯域制限された信号を復調することと、(v)誤り訂正を実行することと、(vi)データパケットの所望のストリームを選択するために多重分離することと、に対して好適な要素と関連付けられ得る。様々な実施形態のRF部分は、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、これらの様々な機能を実行するチューナを含み得、例えば、受信した信号をより低い周波数(例えば、中間周波数、若しくは近接ベースバンド周波数)に、又はベースバンドにダウンコンバートすることが含まれる。セットトップボックスの一実施形態では、RF部分及びその関連する入力処理要素は、有線(例えば、ケーブル)媒体を介して送信されるRF信号を受信し、所望の周波数帯域にフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、既存の要素の間に要素を挿入すること、例えば、増幅器及びアナログ-デジタル変換器を挿入することを含み得る。様々な実施形態において、RF部分は、アンテナを含む。
加えて、USB及び/又はHDMI端末は、USB及び/又はHDMI接続全体にわたって、システム100を他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、個別の入力処理IC内又はプロセッサ110内に実装され得ることを理解されたい。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて、個別のインターフェースIC内又はプロセッサ110内に実装され得る。復調され、エラー訂正され、逆多重化されたストリームは、例えば、プロセッサ110、並びにメモリ及び記憶要素と組み合わせて動作して、出力デバイス上に提示するのに必要なデータストリームを処理する符号器/復号器130を含む、様々な処理要素に提供される。
システム100の様々な要素は、統合されたハウジング内に提供され得、統合されたハウジング内では、様々な要素は、好適な接続構成115、例えば、I2Cバス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信し得る。
システム100は、通信チャネル190を介して他のデバイスとの通信を可能にする通信インターフェース150を含む。通信インターフェース150は、限定されるものではないが、通信チャネル190を介してデータを送信及び受信するように構成された送受信機を含み得る。通信インターフェース150は、限定されるものではないが、モデム又はネットワークカードを含み得、通信チャネル190は、例えば、有線及び/又は無線媒体内に実装され得る。
データは、様々な実施形態において、IEEE802.11などのWi-Fiネットワークを使用して、システム100にストリーミングされる。これらの実施形態のWi-Fi信号は、Wi-Fi通信のために適応された通信チャネル190及び通信インターフェース150を介して受信される。これらの実施形態の通信チャネル190は、一般には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック105のHDMI接続を介してデータを配信するセットトップボックスを使用して、システム100にストリーミングデータを提供する。更に他の実施形態では、入力ブロック105のRF接続を使用して、システム100にストリーミングデータを提供する。
システム100は、出力信号を、ディスプレイ165、スピーカ175、及び他の周辺デバイス185を含む、様々な出力デバイスに提供し得る。他の周辺デバイス185は、実施形態の様々な例において、スタンドアロンDVR、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム100の出力に基づいて機能を提供する他のデバイス、のうちの1つ以上を含む。様々な実施形態では、制御信号は、AV.Link、CEC、又はユーザ介入あり若しくはユーザ介入なしでデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム100とディスプレイ165、スピーカ175、又は他の周辺デバイス185との間で通信される。出力デバイスは、それぞれのインターフェース160、170、及び180を通じた専用接続を介してシステム100に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース150を介し、通信チャネル190を使用して、システム100に接続され得る。ディスプレイ165及びスピーカ175は、例えば、テレビなどの電子デバイスにおいて、システム100の他の構成要素とともに単一ユニットに統合され得る。様々な実施形態では、ディスプレイインターフェース160は、ディスプレイドライバ、例えば、タイミングコントローラ(timing controller、TCon)チップを含む。
ディスプレイ165及びスピーカ175は、代替的に、例えば、入力105のRF部分が個別のセットトップボックスの一部である場合、他の構成要素のうちの1つ以上から分離され得る。ディスプレイ165及びスピーカ175が外部構成要素である様々な実施形態では、出力信号は、例えば、HDMIポート、USBポート、又はCOMP出力を含む、専用の出力接続を介して提供され得る。
図2は、高効率ビデオコーディング(High Efficiency Video Coding、HEVC)符号化器などの例示的なビデオ符号化器200を例解する。図2はまた、HEVC規格に改良を加えた符号化器、又はJVET(Joint Video Exploration Team、つなぎビデオ調査チーム)によって開発中のVVC(Versatille Video Coding、多用途ビデオコーディング)符号化器など、HEVCに類似する技術を採用した符号化器を例解してもよい。
本出願では、「再構成された(reconstructed)」及び「復号化された(decoded)」という用語は、交換可能に使用され得、「符号化(encoded)された」及び「コード化(coded)された」という用語は、交換可能に使用され得、「画像(image)」、「ピクチャ(picture)」、及び「フレーム(frame)」という用語は、交換可能に使用され得る。通常では、必ずしもそうではないが、「再構成された」という用語は符号化器側で使用され、「復号化された」という用語は復号化器側で使用される。
ビデオシーケンスは、符号化される前に、符号化前処理(201)を受け得、例えば、入力カラーピクチャに色変換を適用する(例えば、RGB 4:4:4からYCbCr 4:2:0への変換)、又は圧縮に対してより耐性のある信号分布を得るために入力ピクチャ成分の再マッピングを実行する(例えば、色成分のうちの1つのヒストグラム等化を使用する)。メタデータは、前処理と関連付けられ、ビットストリームに添付され得る。
符号化器200において、ピクチャは、以下に記載の符号化器要素によって符号化される。符号化されるピクチャは、例えば、CUというユニットに分割され(202)、処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、イントラ予測(260)を実行する。インターモードでは、動き推定(275)及び動き補償(270)が実行される。符号化器は、ユニットを符号化するために使用するためにイントラモード又はインターモードのいずれを使用するかを判定し(205)、例えば、予測モードフラグによってイントラ/インター判定を示す。予測残差は、例えば、元の画像ブロックからの予測ブロックを減算する(210)ことによって計算される。
次いで、予測残差が変換され(225)、量子化される(230)。量子化された変換係数、並びに動きベクトル及び他の構文要素は、エントロピコード化され(245)、ビットストリームを出力する。符号化器は、変換をスキップし、量子化を非変換残差信号に直接適用することができる。符号化器は、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接符号化される。
符号化器は、符号化されたブロックを復号化して、更なる予測のための参照を提供する。量子化された変換係数は、逆量子化され(240)、逆変換されて(250)、予測残差を復号化する。復号化された予測残差及び予測ブロックを組み合わせると(255)、画像ブロックが再構成される。ループ内フィルタ(265)が再構成されたピクチャに適用されて、例えば、符号化アーチファクトを低減するために脱ブロック化/SAO(サンプル適応オフセット、Sample Adaptive Offset)フィルタ処理を実行する。フィルタ処理された画像は、参照ピクチャバッファ(280)に記憶される。
図3は、例示的なビデオ復号化器300のブロック図を例解する。復号化器300では、以下に記載の復号化器要素によってビットストリームが復号化される。ビデオ復号化器300は、概して、図2に説明されるように、符号化パスとは逆の復号化パスを実行する。また、符号化器200は、一般に、ビデオデータの符号化の一部としてビデオの復号化も実行する。
特に、復号化器の入力は、ビデオ符号化器200によって生成されることができるビデオビットストリームを含む。最初に、ビットストリームをエントロピ復号化して(330)、変換係数、動きベクトル、及び他のコード化情報を取得する。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがって、復号化器は、復号化されたピクチャ分割情報に従ってピクチャを分割し得る(335)。変換係数を逆量子化し(340)、逆変換して(350)、予測残差を復号化する。復号化された予測残差及び予測ブロックを組み合わせると(355)、画像ブロックが再構成される。予測されたブロックは、イントラ予測(360)又は動き補償された予測(すなわち、インター予測)(375)から取得することができる(370)。ループ内フィルタ(365)が、再構成された画像に適用される。フィルタ処理された画像は、参照ピクチャバッファ(380)に記憶される。
復号化されたピクチャは、復号化後処理(385)を更に受けることができ、例えば、逆色変換(例えば、YCbCr 4:2:0からRGB 4:4:4への変換)、又は符号化前処理(201)で実行された再マッピングプロセスの逆を実行する逆再マッピングである。復号化後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。
ALF、LMCS、及びAPSにおけるスケーリング行列シグナリング
VVCドラフト8(B.Bross,et al.,「Versatile Video Coding(Draft 8),」Document:JVET-Q2001,Joint Video Experts Team(JVET)of ITU-T SG 16 WP 3及びISO/IEC JTC 1/SC 29/WG 11,17th Meeting:Brussels,BE,7-17 January 2020を参照)では、APS(適応パラメータセット)は、ALF(適応ループフィルタ)、LMCS(クロマスケーリングを伴う輝度マッピング)、及びスケーリング行列のパラメータを含む。VVCドラフト8では、APSは下記のようにコード化される。
Figure 2023518352000002
APSがシグナリングされると、構文aps_params_typeは、パラメータのタイプ(ALF、LMCS又はスケーリング行列)を識別するためにコード化される。ALFのパラメータは、alf_data()関数を使用してコード化される。
Figure 2023518352000003
1に等しいalf_luma_filter_signal_flagは、輝度フィルタセットがシグナリングされることを指定し、0に等しいalf_luma_filter_signal_flagは、輝度フィルタセットがシグナリングされないことを指定する。
1に等しいalf_chroma_filter_signal_flagは、クロマフィルタがシグナリングされることを指定する。0に等しいalf_chroma_filter_signal_flagは、クロマフィルタがシグナリングされないことを指定する。ChromaArrayTypeが0に等しい場合、alf_chroma_filter_signal_flagは0に等しいものとする。
1に等しいalf_cc_cb_filter_signal_flagは、Cb色成分のための成分間共通フィルタがシグナリングされることを指定し、0に等しいalf_cc_cb_filter_signal_flagは、Cb色成分のための成分間共通フィルタがシグナリングされないことを指定する。ChromaArrayTypeが0に等しい場合、alf_cc_cb_filter_signal_flagは0に等しいものとする。
1に等しいalf_cc_cr_filter_signal_flagは、Cr色成分のための成分間共通フィルタがシグナリングされることを指定し、0に等しいalf_cc_cr_filter_signal_flagは、Cr色成分のための成分間共通フィルタがシグナリングされないことを指定する。ChromaArrayTypeが0に等しい場合、alf_cc_cr_filter_signal_flagは0に等しいものとする。
すなわち、4つのフラグは、どのタイプのデータがシグナリングされるかを示すためにコード化される:輝度フィルタ、クロマフィルタ、Cb成分のための成分間共通フィルタ、Cr成分のための成分間共通フィルタ。明らかに、輝度のみがサポートされる場合、下記の3つのフラグがゼロとしてコード化される必要がある。
-alf_chroma_filter_signal_flag
-alf_cc_cb_filter_signal_flag
-alf_cc_cr_filter_signal_flag
LMCSのパラメータは、下記の方法でコード化される。
Figure 2023518352000004
lmcs_min_bin_idxは、クロマスケーリング構成プロセスによる輝度マッピングで使用される最小ビンインデックスを指定する。lmcs_min_bin_idxの値は、0~15の両端を含む範囲になければならない。
lmcs_delta_max_bin_idxは、15と、クロマスケーリング構成プロセスによる輝度マッピングで使用される最大ビンインデックスLmcsMaxBinIdxとの間のデルタ値を指定する。lmcs_delta_max_bin_idxの値は、0~15の両端を含む範囲になければならない。LmcsMaxBinIdxの値は、15-lmcs_delta_max_bin_idxに等しく設定される。LmcsMaxBinIdxの値は、lmcs_min_bin_idx以上でなければならない。
lmcs_delta_cw_prec_minus1+1は、構文lmcs_delta_abs_cw[i]の表現に使用されるビット数を指定する。lmcs_delta_cw_prec_minus1の値は、0~BitDepth-2の両端を含む範囲になければならない。
lmcs_delta_abs_cw[i]は、i番目のビンのための絶対デルタコードワード値を指定する。
lmcs_delta_sign_cw_flag[i]は、変数lmcsDeltaCW[i]...の符号を指定する。
lmcs_delta_abs_crsは、変数lmcsDeltaCrの絶対コードワード値を指定する。lmcs_delta_abs_crsの値は、0~7の両端を含む範囲になければならない。存在しない場合、lmcs_delta_abs_crsは0に等しいと推論される。
lmcs_delta_sign_crs_flagは、変数lmcsDeltaCrの符号を指定する。存在しない場合、lmcs_delta_sign_crs_flagは0に等しいと推論される。...
lmcs_data()において、輝度マッピングに関連する構文要素は、最初にシグナリングされる:lmcs_min_bin_idx、lmcs_delta_max_bin_idx、lmcs_delta_cw_prec_minus1、lmcs_delta_abs_cw、及びlmcs_delta_sign_cw_flag。これらを使用して、コーディング空間のより良好なカバレッジで輝度値を新しい値にマッピングするために、区分的線形関数を構成する。クロマスケーリング部分は、2つの構文要素:lmcs_delta_abs_crs及びlmcs_delta_sign_crs_flagからなる。クロマ部分は、lmcs_delta_abs_crによって計算された値、及びlmcs_delta_sign_crs_flagによって決定された符号でlmcs_delta_abs_cwの値をマッピングするルックアップテーブルによってスケーリングされる。
スケーリング行列データは、下記の方法でコード化される。
Figure 2023518352000005
1に等しいscaling_list_chroma_present_flagは、クロマスケーリングリストがscaling_list_data()に存在することを指定する。0に等しいscaling_list_chroma_present_flagは、クロマスケーリングリストがscaling_list_data()に存在しないことを指定する。scaling_list_chroma_present_flagは、ChromaArrayTypeが0に等しい場合、0に等しいものとし、ChromaArrayTypeが0に等しくない場合、1に等しいものとすることが、ビットストリーム適合性の要件である。
スケーリングリストデータ関数は、クロマスケーリングリストがscaling_list_data()に存在するかどうかをチェックするためのフラグを含む。このフラグ、scaling_list_chroma_present_flagは、クロマスケーリングリストが存在しない場合、ゼロとしてコード化され、したがって、対応するクロマデータはコード化されない。これは、そのような制御が存在しないALF及びLMCSとは異なる。
VVCでは、各色成分についてモノクロ処理が実行される2つのフォーマットがある。1番目は、輝度成分のみが存在する4:0:0のクロマフォーマットである。すなわち、全てのクロマ関連構文及びコードは使用されない。2番目は、分離可能な色平面がアクティブ化されるときの、4:4:4フォーマットである。この場合、クロマ成分は、独立した輝度成分として処理される。すなわち、VVCは、クロマが全くなく、クロマ関連ツールが使用されないかのように挙動する。この構成は、SPSフラグのseparate_colour_plane_flagに対応し、これは、下記のようにコード化される。
Figure 2023518352000006
chroma_format_idcは、第6.2項に指定されているように、輝度サンプリングに対するクロマサンプリングを指定する。
1に等しいseparate_colour_plane_flagは、4:4:4のクロマフォーマットの3つの色成分が別々にコード化されていることを指定する。0に等しいseparate_colour_plane_flagは、色成分が別々にコードされていないことを指定する。separate_colour_plane_flagが存在しない場合、これは0に等しいと推論される。separate_colour_plane_flagが1に等しい場合、コード化ピクチャは、3つの別個の成分からなり、それらの各々は、1つの色平面(Y、Cb、又はCr)のコード化サンプルからなり、モノクロコーディング構文を使用する。この場合、各色平面は、特定のcolour_plane_id値と関連付けられる。
VVC仕様では、ChromaArrayTypeと命名された変数を使用して、この場合を区別する(クロマが利用可能である場合)。それは、以下のように計算される。
-separate_colour_plane_flagが0に等しい場合、ChromaArrayTypeは、chroma_format_idc(0-モノクロ、1-4:2:0、2-4:2:2、3-4:4:4)に等しく設定される。
-そうでなければ(separate_colour_plane_flagが1に等しい)、ChromaArrayTypeは、0に等しく設定される。
スケーリング行列については、2020年1月の会議でクロマフォーマットのチェックが追加された(H.Zhang,et al.,「AHG15:Improvement for Quantization Matrix Signaling,」Document:JVET-Q0505,Joint Video Experts Team(JVET) of ITU-T SG 16 WP 3及びISO/IEC JTC 1/SC 29/WG 11,17th Meeting:Brussels,BE,7-17 January 2020を参照)。その前に、クロマフォーマットに関係なく、スケーリング行列パラメータがコード化された。
本実施形態は、クロマ成分のためのコーディングパラメータが存在しない(ChromaArrayType=0)場合、クロマに関連するコーディングパラメータにおける冗長性を低減することを対象としている。一実施形態では、クロマタイプのためのチェックがコーディング前に使用されるスケーリング行列パラメータコーディングで、ALF及びLMCSを調和する。下記では、複数の実施形態が冗長性コーディング問題に対する解決策として提供される。
実施形態1:ALF及びLMCSにクロマ利用可能フラグを追加する
本実施形態では、クロマ成分の利用可能性のためのフラグは、下記に記載されるように、ALF及びLMCSでコード化される。
Figure 2023518352000007
新しいフラグの意味は、以下の通りである。
1に等しいalf_chroma_present_flagは、クロマalfデータがalf_data()に存在することを指定する。0に等しいalf_chroma_present_flagは、クロマalfデータがalf_data()に存在しないことを指定する。alf_chroma_present_flagは、ChromaArrayTypeが0に等しい場合、0に等しいものとし、ChromaArrayTypeが0に等しくない場合、1に等しいものとすることが、ビットストリーム適合性の要件である。
更に、下記のフラグは、利用できない場合はゼロと推論されるものとする。
1に等しいalf_chroma_filter_signal_flagは、クロマフィルタがシグナリングされることを指定する。0に等しいalf_chroma_filter_signal_flagは、クロマフィルタがシグナリングされないことを指定する。ChromaArrayTypeが0に等しい場合、alf_chroma_filter_signal_flagは0に等しいものとする。存在しない場合、alf_chroma_filter_signal_flagの値は0に等しいと推論される。
1に等しいalf_cc_cb_filter_signal_flagは、Cb色成分のための成分間共通フィルタがシグナリングされることを指定する。0に等しいalf_cc_cb_filter_signal_flagは、Cb色成分のための成分間共通フィルタがシグナリングされないことを指定する。ChromaArrayTypeが0に等しい場合、alf_cc_cb_filter_signal_flagは0に等しいものとする。存在しない場合、alf_cc_cb_filter_signal_flagの値は0に等しいと推論される。
1に等しいalf_cc_cr_filter_signal_flagは、Cr色成分のための成分間共通フィルタがシグナリングされることを指定する。0に等しいalf_cc_cr_filter_signal_flagは、Cr色成分のための成分間共通フィルタがシグナリングされないことを指定する。ChromaArrayTypeが0に等しい場合、alf_cc_cr_filter_signal_flagは0に等しいものとする。存在しない場合、alf_cc_cr_filter_signal_flagの値は0に等しいと推論される。
本方法の利点は、3つのフラグをゼロでコーディングする代わりに、1つのフラグ(alf_chroma_present_flag)をChromaArrayType0のためにゼロとしてコード化されることである。
同様に、LMCSに対してフラグが追加される。
Figure 2023518352000008
このフラグの意味は、以下の通りである。
1に等しいlmcs_chroma_present_flagは、クロマlmcsデータがlmcs_data()に存在することを指定する。0に等しいlmcs_chroma_present_flagは、クロマlmcsデータがlmcs_データ()に存在しないことを指定する。lmcs_chroma_present_flagは、ChromaArrayTypeが0に等しい場合、0に等しいものとし、ChromaArrayTypeが0に等しくない場合、1に等しいものとすることが、ビットストリーム適合性の要件である。
本明細書での利点は、3ビット構文(lmcs_delta_abs_cr)をゼロとしてコーディングする代わりに、chromaArrayTypeがゼロであるときに、1ビットフラグlmcs_chroma_present_flagがゼロとしてコード化されることである。
実施形態2:APSにクロマ利用可能フラグを追加する
ALF、LMCS、及びスケーリング行列関数においてchroma_present_flagを有する代わりに、本実施形態では、APSにおいて1つのフラグを有するように提案されている。これは、よりクリーンな設計であり、符号化器設定が容易である。具体的には、下記の修正が行われる。
Figure 2023518352000009
このフラグのセマンティックは、以下の通りである。
1に等しいaps_chroma_present_flagは、ALF、LMCS、及びスケーリング行列に関連するクロマデータがAPSに存在することを指定する。0に等しいaps_chroma_present_flagは、ALF、LMCS、及びスケーリング行列に関連するクロマデータがAPSに存在しないことを指定する。aps_chroma_present_flagは、ChromaArrayTypeが0に等しい場合、0に等しいものとし、ChromaArrayTypeが0に等しくない場合、1に等しいものとすることが、ビットストリーム適合性の要件である。
次いで、個々の関数は、下記のように修正される。
Figure 2023518352000010
Figure 2023518352000011
Figure 2023518352000012
図4は、一実施形態による、ALFフィルタデータを復号化するためのプロセス400を例解する。プロセス400への入力は、復号化されるビットストリームであり、出力は、ALFフィルタパラメータである。最初に、全てのフラグを0に設定することができる。ステップ410において、復号化器は、構文要素alf_luma_filter_signal_flag及びalf_chroma_present_flagを復号化する。alf_chroma_present_flagが1に等しい場合(420)、復号化器は、構文要素alf_chroma_filter_signal_flag,alf_cc_cb_filter_signal_flag、及びalf_cc_cr_filter_signal_flagを更に復号化する(430)。
alf_luma_filter_signal_flagが1に等しい場合(440)、復号化器は、輝度フィルタデータを復号化する(445)。alf_chroma_filter_signal_flagが1に等しい場合(450)、復号化器は、クロマフィルタデータを復号化する(455)。alf_cc_cb_filter_signal_flagが1に等しい場合(460)、復号化器は、Cb成分について成分間共通フィルタデータを復号化する(465)。alf_cc_cr_filter_signal_flagが1に等しい場合(470)、復号化器は、Cr成分について成分間共通フィルタデータを復号化する(475)。
本明細書では、ステップ410において、alf_luma_filter_signal_flagは、ビットストリームから直接復号化される。別の実施形態では、alf_luma_filter_signal_flagは、前述のようにAPSのaps_chroma_present_flagに設定するなど、別の構文要素から導出されることができる。
図4は、復号化プロセスを例解する。符号化プロセスは同様であるが、構文要素の復号化は、構文要素の符号化によって置き換えられる。
上記では、適応パラメータセットにおいてフラグを追加又は修正することについて説明している。これらのフラグは、他の構文構造において提示されることができるが、フラグは、クロマALF/LMCSデータがビットストリームに存在するかどうかを示すために使用されることに留意されたい。他のコーディングツール用のフラグはまた、これらのコーディングツールのためにクロマコーディングパラメータが存在するかどうかを示すために、追加又は修正されることができる。
LMCSの制御
上述のように、HEVC又はVVCは、様々なレベルの構文又はパラメータ、及びコーデックと関連付けられた様々なツールを含むことができる。一例として、制御パラメータを含む様々な構文要素は、ビデオパラメータセット(Video Parameter Set、VPS)、ピクチャパラメータセット(Picture Parameter Set、PPS)、及びシーケンスパラメータセット(Sequence Parameter Set、SPS)などのパラメータのセットで編成されている。1つ以上のパラメータ又はパラメータセットは、コーデックの特徴内に含まれる特定のツールと関連付けることができる。例えば、VVCに提供される1つのそのようなツールは、「輝度マッピング及びクロマスケーリング」(luma mapping and chroma scaling、LMCS)と呼ばれる。このツールは、輝度マッピングとクロマ残差スケーリングとの2つの部分で作製されている。クロマ残差スケーリングは、輝度マッピングが有効にされたときにのみ使用することができる。構文要素は、これらのツールを制御するために、例えば、ツールの起動を制御するために、SPSレベル、スライスレベル(スライスヘッダ)、及びピクチャレベル(ピクチャヘッダ)で、VVC仕様において指定される。
一般に、本明細書に記載の少なくとも1つの実施形態は、LMCSなどのツールの改良された制御を提供する方法、装置、及びデバイスを含む。少なくとも1つの実施形態は、現在の制御構文アプローチの不完全な態様に対処するために、制御特徴を提供することを含むことができる。少なくとも1つの実施形態は、クロマ残差スケーリングに対する現在のアプローチを欠くスライスレベル制御を含むLMCSのスライスレベル制御を提供することを含むことができる。
VVCドラフト8では、LMCSツールは、下記のようにSPSフラグによって制御される。
Figure 2023518352000013
LMCSが有効にされる場合(1に等しいsps_lmcs_enabled_flag)、LMCSは、ピクチャヘッダ(picture header、PH)を使用して、ピクチャレベルで制御されることができる。
Figure 2023518352000014
すなわち、PHレベルにおいて、輝度マッピングは、フラグph_lmcs_enabled_flagによって有効にされるか、又は無効にされることができ、クロマスケーリングは、フラグph_chroma_residual_scale_flagによって有効にされるか、又は無効にされることができる。
スライスレベルにおいて、輝度マッピング及びクロマスケーリングの両方を有効にするか、又は無効にする単一のスライスヘッダ(slice header、SH)フラグが存在する。具体的には、SH仕様は、下記の通りである。
Figure 2023518352000015
すなわち、slice_lmcs_enabled_flagは、LMCSツールを全体的に無効にする。これは、PHフラグとは異なり、輝度マッピング又はクロマスケーリングのいずれかを無効にすることができる。復号化プロセスでは、このフラグは下記のように使用される。
下記に記載の実施形態の実施例の説明に関与する構文要素の様々な例の意味は、下記の通りである。
1に等しいph_lmcs_enabled_flagは、クロマスケーリングを伴う輝度マッピングが、PHと関連付けられた全てのスライスに対して有効にされることを指定する。0に等しいph_lmcs_enabled_flagは、クロマスケーリングを伴う輝度マッピングが、PHと関連付けられた1つのスライス、1つ以上のスライス、又は全てのスライスに対して無効にされ得ることを指定する。存在しない場合、ph_lmcs_enabled_flagの値は0に等しいと推論される。
1に等しいph_chroma_residual_scale_flagは、クロマ残差スケーリングが、PHと関連付けられた全てのスライスに対して有効にされることを指定する。0に等しいph_chroma_residual_scale_flagは、クロマ残差スケーリングが、PHと関連付けられた1つのスライス、1つ以上のスライス、又は全てのスライスに対して無効にされ得ることを指定する。ph_chroma_residual_scale_flagが存在しない場合、これは0に等しいと推論される。
1に等しいslice_lmcs_enabled_flagは、クロマスケーリングを伴う輝度マッピングが、現在のスライスに対して有効にされることを指定する。0に等しいslice_lmcs_enabled_flagは、クロマスケーリングを伴う輝度マッピングが、現在のスライスに対して有効にされないことを指定する。slice_lmcs_enabled_flagが存在しない場合、これは0に等しいと推論される。
VVCドラフト8では、輝度部分とクロマ部分との間の一般的な切り替えは、下記のように提供される。
8.7.5ピクチャ再構成プロセス
8.7.5.1概要
...
slice_lmcs_enabled_flagの値に応じて、下記を適用する。
-Slice_lmcs_enabled_flagが0に等しい場合、位置(xCurr、yCurr)において再構成されたサンプルrecSamplesの(nCurrSw)x(nCurrSh)ブロックは、i=0..nCurrSw-1、j=0..nCurrSh-1について、下記のように導出される。
recSamples[xCurr+i][yCurr+j]=Clip1(predSamples[i][j]+resSamples[i][j]) (1227)
-そうでなければ、(slice_lmcs_enabled_flagが1に等しい場合)、下記を適用する。
-cIdxが0に等しい場合、下記を適用する。
-第8.7.5.2項に指定されているような輝度サンプルのためのマッピングプロセスを用いたピクチャ再構成は、輝度位置(xCurr、yCurr)、ブロック幅nCurrSw、並びに高さnCurrSh、予測輝度サンプルアレイpredSamples、及び残差輝度サンプルアレイresSamplesが入力として呼び出され、出力は、再構成された輝度サンプルアレイrecSamplesである。
-そうでなければ(cIdxが0よりも大きい場合)、第8.7.5.3項に指定されているようなクロマサンプルのための輝度依存性クロマ残差スケーリングプロセスを用いたピクチャ再構成は、クロマ位置(xCurr、yCurr)、変換ブロック幅nCurrSw、並びに高さnCurrSh、現在のクロマ変換ブロックtuCbfChromaのコード化ブロックフラグ、予測クロマサンプルアレイpredSamples、及び残差クロマサンプルアレイresSamplesが入力として呼び出され、出力は、再構成されたクロマサンプルアレイrecSamplesである。
...
輝度部分については、下記の位置に使用される。
1-インター予測モード(加重予測):
8.5.6.7マージとイントラ予測の組み合わせのための加重サンプル予測プロセス
...
cIdxが0に等しく、slice_lmcs_enabled_flagが1に等しい場合、predSamplesInter[x][y]とx=0..cbWidth-1及びy=0..cbHeight-1は、下記のように修正される。
idxY=predSamplesInter[x][y]>>Log2(OrgCW)
predSamplesInter[x][y]=Clip1(LmcsPivot[idxY]+ (1028)
(ScaleCoeff[idxY](predSamplesInter[x][y]-InputPivot[idxY])+
(1<<10))>>11)
...
2-他の予測モードについて:
8.8.2.2輝度サンプルのための逆マッピングプロセス
このプロセスへの入力は、輝度サンプルlumasampleである。
このプロセスの出力は、修正された輝度サンプルinvLumaSampleである。
invLumaSampleの値は、下記のように導出される。
-輝度サンプルlumaSampleを含むスライスのslice_lmcs_enabled_flagが1に等しい場合、下記の規則的ステップが適用される。
1. 変数idxYInvは、lumaSampleを入力として及びidxYInvを出力として用いて、第8.8.2.3項に指定されているように、輝度サンプルのための区分関数インデックスプロセスの識別を呼び出すことによって導出される。
2.変数invSampleは、下記のように導出される。
invSample=InputPivot[idxYInv]+(InvScaleCoeff[idxYInv] (1241)
(lumaSample-LmcsPivot[idxYInv])+(1<<10))>>11
3.逆マッピングされた輝度サンプルinvLumaSampleは、下記のように導出される。
invLumaSample=Clip1(invSample) (1242)
-そうでなければ、invLumaSampleは、lumaSampleに等しい。
クロマ部分は、下記のように対処される。
8.7.5.3クロマサンプルのための輝度依存性クロマ残差スケーリングプロセスを用いたピクチャ再構成
このプロセスへの入力は、以下の通りである。
-現在のピクチャの左上のクロマサンプルに対する現在のクロマ変換ブロックの左上のクロマサンプルのクロマ位置(xCurr、yCurr)、
-クロマ変換ブロック幅を指定する変数nCurrSw、
-クロマ変換ブロックの高さを指定する変数nCurrSh、
-現在のクロマ変換ブロックのコード化ブロックフラグを指定する変数tuCbfChroma、
-現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples、
-現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
このプロセスの出力は、再構成されたクロマピクチャサンプルアレイrecSamplesである。
変数sizeYは、Min(CtbSizeY、64)に等しく設定される。
再構成されたクロマピクチャサンプルrecSamplesは、i=0..nCurrSw-1、j=0..nCurrSh-1について、下記のように導出される。
-下記の条件のうちの1つ以上が真である場合、recSamples[xCurr+i][yCurr+j]は、Clip1(predSamples[i][j]+resSamples[i][j])に等しく設定される。
-ph_chroma_residual_scale_flagは0に等しい。
-slice_lmcs_enabled_flagは0に等しい。
-nCurrSwnCurrShは、4未満であるか、又は4に等しい。
-tu_cbf_cb[xCurr][yCurr]は0に等しく、tu_cbf_cr[xCurr][yCurr]は0に等しい。
...
図5は、VVCに基づいて、輝度マッピング及びクロマ残差スケーリングをアクティブ化又は非アクティブ化するためのプロセスの一例を例解する。図5では、ステップ500において、フラグsps_lmcs_enabled_flagが復号化される。ステップ501は、フラグsps_lmcs_enabled_flagの値をチェックする。sps_lmcs_enabled_flagが0に等しい場合、LMCSは、シーケンスレベルで非アクティブ化され、ph_lmcs_enabled_flag、ph_chroma_residual_scale_flag、slice_lmcs_enabled_flagは、0に等しく設定される(ステップ502)。sps_lmcs_enabled_flagが1に等しい場合、フラグph_lmcs_enabled_flagは、ステップ503で復号化される。
ステップ504は、フラグph_lmcs_enabled_flagの値をチェックする。ph_lmcs_enabled_flagが0に等しい場合、LMCSは、ピクチャレベルで非アクティブ化され、フラグph_chroma_residual_scale_flag、slice_lmcs_enabled_flagは、0に等しく設定される(ステップ505)。ph_lmcs_enabled_flagが1に等しい場合、構文要素ph_lmcs_aps_idは、ステップ506で復号化される。次いで、ステップ507で、パラメータChromaArrayTypeの値をチェックする。ChromaArrayTypeが0に等しい場合、ph_chroma_residual_scale_flagは0に等しい(ステップ508)。ChromaArrayTypeが0に等しくない場合、ph_chroma_residual_scale_flagは、復号化される(ステップ509)。最後に、ph_lmcs_enabled_flagが1に等しい場合、slice_lmcs_enabled_flagが復号化される(ステップ510)。
したがって、slice_lmcs_enabled_flagは、LMCSの輝度及びクロマプロセスの両方を無効にする。そうすることは、異なるフラグを使用した輝度マッピング及びクロマ残差スケーリングのピクチャレベル制御と一致しない。スライスレベルにおいて、LMCSが無効にされている場合、PHレベルでアクティブになるようにシグナリングされた場合でも、クロマ残差スケーリングも非アクティブ化される。しかし、スライスレベルにおけるクロマ残差スケーリングを制御するための手段はない。少なくとも1つの実施形態は、LMCSのクロマ部分に関連する制御情報を提供することを含む。少なくとも1つの実施形態は、LMCSのクロマ部分を無効にするためのスライスレベルフラグを提供することを含む。少なくとも1つの実施形態は、例えば、LMCS輝度及びクロマ部分を制御するために2つのフラグが使用される場合、PHを用いて制御特徴を一体化することに基づいて、LMCSのための制御情報を提供することを含む。
一般に、実施形態の少なくとも1つの例は、LMCSの制御を改良することを含む。実施形態の少なくとも1つの例は、PH及びスライスヘッダの両方において同じ機構を提供することを含む。実施形態の少なくとも1つの例は、LMCSのクロマ部分を制御するためのSHフラグを追加すること、例えば、slice_chroma_residual_scale_flagを追加することを含む。実施形態の一例は、下記の下線付き部分によって例解されるように、VVCドラフト8仕様の変化に基づいて例解される。
Figure 2023518352000016
このフラグの意味は、
1に等しいslice_chroma_residual_scale_flagは、クロマ残差スケーリングが現在のスライスに対して有効にされることを指定する。0に等しいslice_chroma_residual_scale_flagは、クロマ残差スケーリングが現在のスライスに対して有効にされないことを指定する。slice_chroma_residual_scale_flagが存在しない場合、これは0に等しいと推論される。
復号化プロセスでは、フラグは下記のように使用される。
8.7.5ピクチャ再構成プロセス
8.7.5.1概要
...
slice_lmcs_enabled_flagの値に応じて、下記を適用する。
-Slice_lmcs_enabled_flagが0に等しい場合、位置(xCurr、yCurr)において再構成されたサンプルrecSamplesの(nCurrSw)x(nCurrSh)ブロックは、i=0..nCurrSw-1、j=0..nCurrSh-1について、下記のように導出される。recSamples[xCurr+i][yCurr+j]=Clip1(predSamples[i][j]+resSamples[i][j]) (1227)そうでなければ(slice_lmcs_enabled_flagが1に等しい場合)、下記を適用する。
-cIdxが0に等しい場合、下記を適用する。
-第8.7.5.2項に指定されているような輝度サンプルのためのマッピングプロセスを用いたピクチャ再構成は、輝度位置(xCurr、yCurr)、ブロック幅nCurrSw、並びに高さnCurrSh、予測輝度サンプルアレイpredSamples、及び残差輝度サンプルアレイresSamplesが入力として呼び出され、出力は、再構成された輝度サンプルアレイrecSamplesである。
-そうでなければ(cIdxが0よりも大きい場合)、及びslice_chroma_residual_scale_flagが1に等しい場合、第8.7.5.3項に指定されているようなクロマサンプルのための輝度依存性クロマ残差スケーリングプロセスを用いたピクチャ再構成は、クロマ位置(xCurr、yCurr)、変換ブロック幅nCurrSw、並びに高さnCurrSh、現在のクロマ変換ブロックtuCbfChromaのコード化ブロックフラグ、予測クロマサンプルアレイpredSamples、及び残差クロマサンプルアレイresSamplesが入力として呼び出され、出力は、再構成されたクロマサンプルアレイrecSamplesである。
...
8.7.5.3クロマサンプルのための輝度依存性クロマ残差スケーリングプロセスを用いたピクチャ再構成
このプロセスへの入力は、以下の通りである。
-現在のピクチャの左上のクロマサンプルに対する現在のクロマ変換ブロックの左上のクロマサンプルのクロマ位置(xCurr、yCurr)、
-クロマ変換ブロック幅を指定する変数nCurrSw、
-クロマ変換ブロックの高さを指定する変数nCurrSh、
-現在のクロマ変換ブロックのコード化ブロックフラグを指定する変数tuCbfChroma、
-現在のブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples、
-現在のブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples
このプロセスの出力は、再構成されたクロマピクチャサンプルアレイrecSamplesである。
変数sizeYは、Min(CtbSizeY、64)に等しく設定される。
再構成されたクロマピクチャサンプルrecSamplesは、i=0..nCurrSw-1、j=0..nCurrSh-1について、下記のように導出される。
-下記の条件のうちの1つ以上が真である場合、recSamples[xCurr+i][yCurr+j]は、Clip1(predSamples[i][j]+resSamples[i][j])に等しく設定される。
-ph_chroma_residual_scale_flagは0に等しい。
-slice_lmcs_enabled_flagは0に等しい。
-slice_chroma_residual_scale_flagは0に等しい
-nCurrSwnCurrShは、4未満であるか、又は4に等しい。
-tu_cbf_cb[xCurr][yCurr]は0に等しく、tu_cbf_cr[xCurr][yCurr]は0に等しい。
...
図6は、図5の例に関する変化を含む実施形態の一例を例解する。ステップ502、505、及び508は、それぞれ、ステップ502a、505a、及び508aに修正され、それにより、0に等しいslice_chroma_residual_scale_flagのステップを追加する。ステップ510の後、ステップ502は、ステップ502aに修正され、0に等しいslice_chroma_residual_scale_flagを設定するステップを導入する。ステップ511、512、513が追加される。ステップ511は、ph_chroma_residual_scale_flag及びslice_lmcs_enabled_flagの値をチェックする。両方のフラグが1に等しい場合、フラグslice_chroma_residual_scale_flagは、ステップ513で復号化される。そうでない場合、フラグslice_chroma_residual_scale_flagは、ステップ512で0に等しく設定される。
実施形態の一例では、スライスレベルフラグslice_lmcs_enabled_flag及びslice_chroma_residual_scale_flagが指定される。しかしながら、スライスヘッダにおけるクロマ残差スケーリングの制御は、PHフラグph_chroma_residual_scale_flagにのみ基づく。slice_lmcs_enabled_flagが0に等しい場合であっても、slice_chroma_residual_scale_flagは、ph_chroma_residual_scale_flagが1に等しい場合、シグナリングされることができる。実施形態の本実施例による、ピクチャ及びスライスヘッダ構文の例を以下に例解する。
Figure 2023518352000017
Figure 2023518352000018
実施形態の別の例では、PHフラグph_chroma_residual_scale_flagが削除され、スライスレベルフラグslice_lmcs_enabled_flag及びslice_chroma_residual_scale_flagが指定される。slice_lmcs_enabled_flagが0に等しい場合、slice_chroma_residual_scale_flagは、復号化されず、0に設定される。実施形態の本実施例による、ピクチャヘッダ及びスライスヘッダ構文の例を以下に例解する。
Figure 2023518352000019
Figure 2023518352000020
輝度のみのシグナリング又はイントラのみのシグナリング
VVCドラフト8では、全てのイントラプロファイルが使用される使用されないに関係なく、多くの非イントラ高レベル構文(high-level syntax、HLS)要素がコード化される。実際、全てのイントラは、低遅延及び低複雑性制約が使用されるいくつかの用途、また画像コーディング用途のために使用されることができる重要なプロファイルである。全てのイントラが使用される場合、制約フラグ(intra_only_constraint_flag)は1つに設定される。このフラグの意味は、以下の通りである。
1に等しいintra_only_constraint_flagは、slice_typeがIに等しいことを指定する。0に等しいintra_only_constraint_flagは、そのような制約を課さない。
すなわち、スライスヘッダレベルにおいて、スライスは、Iスライスとして設定される。スライスレベル(ピクチャヘッダ、ピクチャパラメータセットなど)よりも高いレベルは、許容されているスライスタイプに依存しない。したがって、全てのイントラプロファイルについて、相互関係のある構文要素は、重複してコード化される。例えば、インターツールに対応するシーケンスパラメータセット(sequence parameters set、SPS)は、以下の通りである。
Figure 2023518352000021
Figure 2023518352000022
すなわち、インターツールに関連する40超のSPS構文要素がある。HEVCと比較して、7個の要素のみがコード化される。
Figure 2023518352000023
すなわち、非イントラ要素の数は、HEVCと比較してVVCにおいて5倍を超える。したがって、冗長情報がコード化されないが推論される、より良好なコーディング機構が必要である。
SPS以外にも、ピクチャパラメータセット(PPS)及び制約フラグにも同じ冗長性が見られる。具体的には、PPSの場合、下記のインター要素がコード化される。
Figure 2023518352000024
インターに関連する制約情報は、以下の通りである。
Figure 2023518352000025
すなわち、12個のインター特有の要素を、全てのイントラプロファイルに対してもコード化される必要がある。
相互関係のある構文要素と同様に、クロマ情報が利用できないときに冗長である、冗長なクロマ関連要素が存在する。これは、クロマフォーマットYUV4:0:0(輝度のみ)、又はYUV4:4:4を個別の色平面でコーディングするときに起こる。しかしながら、クロマについては、制約情報レベルにおいて単一の例外を伴う冗長コーディングを回避するために、全てのレベルでチェックが行われる。すなわち、下記のクロマ関連構文要素は、常にコード化される。
Figure 2023518352000026
記載された態様の意図は、全てのイントラプロファイルが使用されるとき、又はクロマ情報が利用できないときのいずれかに、冗長構文要素を削除することである。
多数の高レベル構文(HLS)要素により、VVCは、インターピクチャが無効であり、かつ/又はクロマが利用できないときに、いくつかのインター要素及びクロマ要素のコーディングを回避するためにいくつかの機構をサポートする。ドラフト8では、ピクチャヘッダ(PH)にチェックが追加され、相互関係のある構文要素をコード化する。これは、フラグph_inter_slice_alowed_flagを介して行われる。
Figure 2023518352000027
このフラグを追加した背後にある動機の1つは、インターコーディングが使用されないときにいくつかのフラグをコーディングするコストを低減することであった。しかしながら、そのようなフラグは、より高いレベル(PPS、SPS、及び制約フラグ)に欠落している。
記載された態様は、イントラのみのプロファイルが使用されるとき、又はクロマ成分が利用可能ではないときに、いくつかのHLS要素の冗長コーディングを削除することを提案する。
実施形態1:制約情報レベルにおいて冗長コーディングを削除する。
制約情報レベルにおいて、クロマタイプ及びインターコーディングをチェックして、冗長コーディングを削除することができる。これは、下記の方法で行われる。
Figure 2023518352000028
すなわち、max_chroma_format_constraint_idcがゼロでない場合(クロマフォーマットがyuv400)、クロマ関連制約フラグは、コード化されない。同様に、intra_only_constraint_flagは、1つに等しくなく(イントラのみのコーディングではない)、相互関係のある制約フラグは、コード化される。
これらのフラグの意味は、コード化されない場合、推論された値を有するように修正される。
1に等しいno_ccalf_constraint_flagは、sps_ccalf_enabled_flagが0に等しいことを指定する。0に等しいno_ccalf_constraint_flagは、そのような制約を課さない。存在しない場合、no_ccalf_constraint_flagの値は、1であると推論される。
1に等しいno_joint_cbcr_constraint_flagは、sps_joint_cbcr_enabled_flagが0に等しいことを指定する。0に等しいno_joint_cbcr_constraint_flagは、そのような制約を課さない。存在しない場合、no_joint_cbcr_constraint_flagの値は、1であると推論される。
1に等しいno_cclm_constraint_flagは、sps_cclm_enabled_flagが0に等しいことを指定する。0に等しいno_cclm_constraint_flagは、そのような制約を課さない。存在しない場合、no_cclm_constraint_flagの値は、1であると推論される。
1に等しいno_ref_wraparound_constraint_flagは、sps_ref_wraparound_enabled_flagが0に等しいことを指定する。0に等しいno_ref_wraparound_constraint_flagは、そのような制約を課さない。存在しない場合、no_ref_wraparound_constraint_flagの値は、1であると推論される。
1に等しいno_temporal_mvp_constraint_flagは、sps_temporal_mvp_enabled_flagが0に等しいことを指定する。0に等しいno_temporal_mvp_constraint_flagは、そのような制約を課さない。存在しない場合、no_temporal_mvp_constraint_flagの値は、1であると推論される。
1に等しいno_sbtmvp_constraint_flagは、sps_sbtmvp_enabled_flagが0に等しいことを指定する。0に等しいno_sbtmvp_constraint_flagは、そのような制約を課さない。存在しない場合、no_sbtmvp_constraint_flagの値は、1であると推論される。
1に等しいno_amvr_constraint_flagは、sps_amvr_enabled_flagが0に等しいことを指定する。0に等しいno_amvr_constraint_flagは、そのような制約を課さない。存在しない場合、no_amvr_constraint_flagの値は、1であると推論される。
1に等しいno_bdof_constraint_flagは、sps_bdof_enabled_flagが0に等しいことを指定する。0に等しいno_bdof_constraint_flagは、そのような制約を課さない。存在しない場合、sps_ibc_amvr_enabled_flagの値は、1に等しいと推測される。
1に等しいno_dmvr_constraint_flagは、sps_dmvr_enabled_flagが0に等しいことを指定する。0に等しいno_dmvr_constraint_flagは、そのような制約を課さない。存在しない場合、no_dmvr_constraint_flagの値は、1であると推論される。
1に等しいno_sbt_constraint_flagは、sps_sbt_enabled_flagが0に等しいことを指定する。0に等しいno_sbt_constraint_flagは、そのような制約を課さない。存在しない場合、no_sbt_constraint_flagの値は、1であると推論される。
1に等しいno_affine_motion_constraint_flagは、sps_affine_enabled_flagが0に等しいことを指定する。0に等しいno_affine_motion_constraint_flagは、そのような制約を課さない。存在しない場合、log2_transform_skip_max_size_minus2の値は、1に等しいと推測される。
1に等しいno_bcw_constraint_flagは、sps_bcw_enabled_flagが0に等しいことを指定する。0に等しいno_bcw_constraint_flagは、そのような制約を課さない。存在しない場合、no_bcw_constraint_flagの値は、1であると推論される。
1に等しいno_ciip_constraint_flagは、sps_ciip_enabled_flagが0に等しいことを指定する。0に等しいno_ciip_constraint_flagは、そのような制約を課さない。存在しない場合、no_ciip_constraint_flagの値は、1であると推論される。
1に等しいno_fpel_mmvd_constraint_flagは、sps_fpel_mmvd_enabled_flagが0に等しいことを指定する。0に等しいno_fpel_mmvd_constraint_flagは、そのような制約を課さない。存在しない場合、no_fpel_mmvd_constraint_flagの値は、1であると推論される。
1に等しいno_gpm_constraint_flagは、sps_gpm_enabled_flagが0に等しいことを指定する。0に等しいno_gpm_constraint_flagは、そのような制約を課さない。存在しない場合、no_gpm_constraint_flagの値は、1であると推論される。
イントラのみの制約フラグは現在、スライスレベルフラグslice_typeに依存している。これは、ピクチャヘッダにシフトされることができ、ここで、ph_inter_slice_allowed_flagが採用される。
1に等しいintra_only_constraint_flagは、ph_inter_slice_allowed_flagが0に等しいことを指定する。0に等しいintra_only_constraint_flagは、そのような制約を課さない。
そうすることにより、イントラのみのプロファイルがピクチャヘッダフラグに基づき、相互関係のあるピクチャヘッダ構文要素は、コード化されないがゼロであると推論される。
実施形態2:イントラのみのプロファイルを示すためのSPSフラグを追加する
SPS、並びにその後のレベルにおいて冗長コーディングを削除するために、SPSフラグが追加されて、イントラのみが使用される場合を示し、あるいはインターコーディングが許容されていない場合を表現する。実施形態1の上部で、下記の修正がSPSに対して行われる。
Figure 2023518352000029
Figure 2023518352000030
明らかに、本方法は、いくつかのSPSフラグをコーディングすることを回避する。これらのフラグは、存在しない場合はゼロと推論されるものとする。
このフラグの意味は、以下の通りである。
0に等しいsps_inter_slice_allowed_flagは、インタースライスが許容されていないことを指定する。1に等しいsps_inter_slice_allowed_flagは、インタースライスがおそらく許容されていることを指定する。
この追加されたフラグSPSフラグを更に使用して、ピクチャヘッダコーディングを改良することができる。すなわち、インタースライスが許容されていない場合、インターが許容されているかどうかをPHレベルでシグナリングする必要はない。したがって、下記の修正が行われる。
Figure 2023518352000031
その意味は、下記のように修正される。
0に等しいph_inter_slice_allowed_flagは、ピクチャの全てのコード化スライスが2に等しいslice_typeを有することを指定する。1に等しいph_inter_slice_allowed_flagは、0又は1に等しいslice_typeを有するピクチャにおいて、1つ以上のコード化スライスであってもなくてもよいことを指定する。存在しない場合、ph_inter_slice_allowed_flagの値は0に等しいと推論される。
最後に、イントラのみに関連する制約情報フラグは、下記のように修正されることができる。
1に等しいintra_only_constraint_flagは、sps_inter_slice_allowed_flagが0に等しいことを指定する。0に等しいintra_only_constraint_flagは、そのような制約を課さない。
実施形態3:イントラのみのプロファイルを示すためのPPSフラグを追加する
SPSと同様に、PPSは、インターモードの冗長情報も有する。本明細書では、インタースライスが許容されているかどうかを示すためのPPSフラグを追加することが提案されている。
Figure 2023518352000032
非コード化フラグの値は、ゼロに推論されるものとする。
追加されたフラグの意味は、以下の通りである。
0に等しいpps_inter_slice_allowed_flagは、インタースライスが許容されていないことを指定する。1に等しいpps_inter_slice_allowed_flagは、インタースライスがおそらく許容されていることを指定する。pps_inter_slice_allowed_flag値がsps_inter_slice_allowed_flagに等しいことが、ビットストリーム適合性の要件である。
様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための1つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び/又はアクションの順序及び/又は使用は、修正又は組み合わされ得る。加えて、「第1の(first)」、「第2の(second)」などの用語は、様々な実施形態において、要素、構成要素、ステップ、動作など、例えば、「第1の復号化(first decoding)」及び「第2の復号化(second decoding)」を修正するために使用され得る。かかる用語の使用は、具体的に必要とされない限り、修正された動作に対する順序付けを意味するものではない。そのため、この実施例では、第1の復号化は、第2の復号化の前に実行される必要はなく、例えば、第2の復号化の前、第2の復号化の間、又は第2の復号化と重複する時間中に発生し得る。
本出願に記載されている様々な方法及び他の態様を使用して、図2及び図3に示されたようなビデオ符号化器200及びビデオ復号化器300のモジュール、例えば、ループ内フィルタ、量子化モジュール及び逆量子化モジュール(230、240、265、365、340)を修正することができる。更に、本態様は、VVC又はHEVCに限定されず、例えば、他の規格及び勧告、並びに任意のそのような規格及び勧告の拡張に適用することができる。別段の指標がない限り、又は技術的に除外されない限り、本出願に説明される態様は、個別で又は組み合わせて使用され得る。
本出願において、様々な数値が使用されている。具体的な値は例示を目的としており、記載されている態様はこれらの具体的な値に限定されるものではない。
様々な実装形態は、復号化することを含む。本出願で使用される場合、「復号化」は、例えば、ディスプレイに好適な最終出力を生成するために受信された符号化シーケンス上で実行されるプロセスの全て又は一部分を包含し得る。様々な実施形態において、このような処理は、例えば、エントロピ復号化、逆量子化、逆変換、及び差動復号化など、復号化器によって一般的に実行される処理のうちの1つ以上を含む。「復号化処理」という句が、操作のサブセットを具体的に指すことを意図しているか、又はより広範な復号化処理を一般的に指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者にはよく理解されると考えられる。
様々な実装形態は、符号化することを含む。「復号化(decoding)」に関する上記の考察と同様に、本出願で使用される「符号化(encoding)」は、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部分を包含し得る。
本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他の構文要素名の使用を排除するものではない。
本明細書に記載の実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装され得る。たとえ単一の形式の実装形態の文脈でのみ考察されている場合でも(例えば、方法としてのみ考察されている)、考察された特徴の実装形態は、他の形式(例えば、装置又はプログラム)でも実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。本方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサなどの装置において実装され得る。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型/パーソナルデジタルアシスタント(「PDA」)及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
「一実施形態」又は「実施形態」又は「一実装形態」又は「実装形態」、及びそれらの他の変形形態の言及は、実施形態に関連して説明される特定の特徴、構造、特性などが、少なくとも一実施形態に含まれることを意味する。したがって、本明細書の様々な場所に現れる「一実施形態では」又は「実施形態では」又は「一実装形態では」又は「実装形態では」という語句の出現、並びに任意の他の変形例は、必ずしも全てが同じ実施形態を指すものではない。
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの1つ以上が含み得る。
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることには、例えば、情報を受信すること、情報を(例えば、メモリから)取り出すこと、情報を記憶すること、情報を移動させること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの1つ以上が含まれ得る。
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は情報を(例えば、メモリから)取り出すことのうちの1つ以上を含み得る。更に、「受信すること」は、典型的には、動作、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することの間時に、何らかの形で関与する。
例えば、「A/B」、「A及び/又はB(A and/or B)」及び「A及びBのうちの少なくとも1つ(at least one of A and B)」の場合、つぎの「/」、「及び/又は(and/or)」、及び「のうちの少なくとも1つ(at least one of)」のいずれかの使用は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「A、B、及び/又はC(A,B,and/or C)」及び「A、B、及びCのうちの少なくとも1つ(at least one of A,B,and C)」の場合、かかる表現は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は第3のリストされた選択肢(C)のみの選択、又は第1及び第2のリストされた選択肢(A及びB)のみの選択、又は第1及び第3のリストされた選択肢(A及びC)のみの選択、又は第2及び第3のリストされた選択肢のみの選択(B及びC)のみ、又は3つ全ての選択肢の選択(A及びB及びC)を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
また、本明細書で使用される「シグナリングする」という語は、特に、対応する復号化器に対して何かを示すことを意味する。例えば、特定の実施形態では、符号化器は、脱量子化のための量子化マトリックスをシグナリングする。このように、ある実施形態では、同じパラメータが符号化器側と復号化器側の両方で使用される。したがって、例えば、符号化器は、復号化器が同じ特定のパラメータを使用することができるように、特定のパラメータを復号化器に送信する(明示的なシグナリング)ことができる。逆に、復号化器が既にその特定のパラメータ及び他のパラメータを有する場合は、単に復号化器がその特定のパラメータを認識及び選択することを可能にするように、送信を行わないシグナリング(暗黙的なシグナリング)を使用することができる。実際の機能の送信を回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方式で達成され得ることを理解されたい。例えば、1つ以上の構文要素、フラグなどが、様々な実施形態において、対応する復号化器に情報をシグナリングするために使用される。上記は、「信号(signal)」という語の動詞形に関するものであるが、「信号」という語は、本明細書では名詞としても使用され得る。
当業者には明らかであるように、実装形態は、例えば、記憶又は送信され得る情報を搬送するようにフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実行するための命令又は記載された実装形態のうちの1つによって生成されたデータを含み得る。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされ得る。かかる信号は、例えば、(例えば、スペクトルの無線周波数部分を使用して)電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する信号は、例えば、アナログ情報又はデジタル情報であり得る。信号は、知られているように、様々な異なる有線又は無線リンクによって送信され得る。信号は、プロセッサ可読媒体に記憶され得る。

Claims (41)

  1. 方法であって、
    クロマALF(適応ループフィルタ)データがビットストリームに存在するかどうかを示す構文を復号化することと、
    ピクチャの輝度成分についてALFフィルタデータを復号化することと、
    前記クロマALFデータが前記ビットストリームに存在することに応答して、前記ピクチャの1つ以上のクロマ成分についてALFフィルタデータを復号化することと、を含む、方法。
  2. 方法であって、
    クロマALF(適応ループフィルタ)データがビットストリームに存在するかどうかを示す構文を符号化することと、
    ピクチャの輝度成分についてALFフィルタデータを符号化することと、
    前記クロマALFデータが前記ビットストリームに存在することに応答して、前記ピクチャの1つ以上のクロマ成分についてALFフィルタデータを符号化することと、を含む、方法。
  3. 前記構文が、パラメータセットにおいてシグナリングされる、請求項1又は2に記載の方法。
  4. 前記パラメータセットが、適応パラメータセット(APS)である、請求項3に記載の方法。
  5. 前記構文が、クロマLMCS(クロマスケーリングを伴う輝度マッピング)データが前記ビットストリームに存在するかどうかを更に示す、請求項1~4のいずれか一項に記載の方法。
  6. 前記構文が、クロマスケーリングリストデータが前記ビットストリームに存在するかどうかを更に示す、請求項1~5のいずれか一項に記載の方法。
  7. 方法であって、
    クロマLMCS(クロマスケーリングを伴う輝度マッピング)データがビットストリームに存在するかどうかを示す構文を復号化することと、
    ピクチャの輝度成分についてLMCSデータを復号化することと、
    前記クロマLMCSデータが前記ビットストリームに存在することに応答して、前記ピクチャの1つ以上のクロマ成分についてLMCSデータを復号化することと、を含む、方法。
  8. 方法であって、
    クロマLMCS(クロマスケーリングを伴う輝度マッピング)データがビットストリームに存在するかどうかを示す構文を符号化することと、
    ピクチャの輝度成分についてLMCSデータを符号化することと、
    前記クロマLMCSデータが前記ビットストリームに存在することに応答して、前記ピクチャの1つ以上のクロマ成分についてLMCSデータを符号化することと、を含む、方法。
  9. 前記構文が、パラメータセットにおいてシグナリングされる、請求項7又は8に記載の方法。
  10. 前記パラメータセットが、適応パラメータセット(APS)である、請求項9に記載の方法。
  11. 前記構文が、クロマALF(適応ループフィルタ)データが前記ビットストリームに存在するかどうかを更に示す、請求項7~10のいずれか一項に記載の方法。
  12. 前記構文が、クロマスケーリングリストデータが前記ビットストリームに存在するかどうかを更に示す、請求項7~11のいずれか一項に記載の方法。
  13. 装置であって、1つ以上のプロセッサを備え、前記1つ以上のプロセッサが、
    クロマALF(適応ループフィルタ)データがビットストリームに存在するかどうかを示す構文を復号化することと、
    ピクチャの輝度成分についてALFフィルタデータを復号化することと、
    前記クロマALFデータが前記ビットストリームに存在することに応答して、前記ピクチャの1つ以上のクロマ成分についてALFフィルタデータを復号化することと、を行うように構成されている、装置。
  14. 装置であって、1つ以上のプロセッサを備え、前記1つ以上のプロセッサが、
    クロマALF(適応ループフィルタ)データがビットストリームに存在するかどうかを示す構文を符号化することと、
    ピクチャの輝度成分についてALFフィルタデータを符号化することと、
    前記クロマALFデータが前記ビットストリームに存在することに応答して、前記ピクチャの1つ以上のクロマ成分についてALFフィルタデータを符号化することと、を行うように構成されている、装置。
  15. 前記構文が、パラメータセットにおいてシグナリングされる、請求項13又は14に記載の装置。
  16. 前記パラメータセットが、適応パラメータセット(APS)である、請求項15に記載の装置。
  17. 前記構文が、クロマLMCS(クロマスケーリングを伴う輝度マッピング)データが前記ビットストリームに存在するかどうかを更に示す、請求項13~16のいずれか一項に記載の装置。
  18. 前記構文が、クロマスケーリングリストデータが前記ビットストリームに存在するかどうかを更に示す、請求項13~17のいずれか一項に記載の装置。
  19. 装置であって、1つ以上のプロセッサを備え、前記1つ以上のプロセッサが、
    クロマLMCS(クロマスケーリングを伴う輝度マッピング)データがビットストリームに存在するかどうかを示す構文を復号化することと、
    ピクチャの輝度成分についてLMCSデータを復号化することと、
    前記クロマLMCSデータが前記ビットストリームに存在することに応答して、前記ピクチャの1つ以上のクロマ成分についてLMCSデータを復号化することと、を行うように構成されている、装置。
  20. 装置であって、1つ以上のプロセッサを備え、前記1つ以上のプロセッサが、
    クロマLMCS(クロマスケーリングを伴う輝度マッピング)データがビットストリームに存在するかどうかを示す構文を符号化することと、
    ピクチャの輝度成分についてLMCSデータを符号化することと、
    前記クロマLMCSデータが前記ビットストリームに存在することに応答して、前記ピクチャの1つ以上のクロマ成分についてLMCSデータを符号化することと、を行うように構成されている、装置。
  21. 前記構文が、パラメータセットにおいてシグナリングされる、請求項19又は20に記載の装置。
  22. 前記パラメータセットが、適応パラメータセット(APS)である、請求項21に記載の装置。
  23. 前記構文が、クロマALF(適応ループフィルタ)データが前記ビットストリームに存在するかどうかを更に示す、請求項19~22のいずれか一項に記載の装置。
  24. 前記構文が、クロマスケーリングリストデータが前記ビットストリームに存在するかどうかを更に示す、請求項19~23のいずれか一項に記載の装置。
  25. ピクチャ情報を符号化するための方法であって、
    前記ピクチャ情報のスライスレベルにおいて、クロマスケーリングを制御するための制御情報を取得することと、
    前記制御情報に基づいて、前記ピクチャ情報の少なくとも一部分を符号化することと、を含む、方法。
  26. ピクチャ情報を復号化するための方法であって、
    前記符号化されたピクチャ情報のスライスレベルにおいて、クロマスケーリングを制御するための制御情報を取得することと、
    前記制御情報に基づいて、前記符号化されたピクチャ情報の少なくとも一部分を復号化することと、を含む、方法。
  27. ピクチャ情報を符号化するための装置であって、
    1つ以上のプロセッサであって、
    前記ピクチャ情報のスライスレベルにおいて、クロマスケーリングを制御するための制御情報を取得することと、
    前記制御情報に基づいて、前記ピクチャ情報の少なくとも一部分を符号化することと、を行うように構成された1つ以上のプロセッサを備える、装置。
  28. ピクチャ情報を復号化するための装置であって、
    1つ以上のプロセッサであって、
    前記符号化されたピクチャ情報のスライスレベルにおいて、クロマスケーリングを制御するための制御情報を取得することと、
    前記制御情報に基づいて、前記符号化されたピクチャ情報の少なくとも一部分を復号化することと、を行うように構成された1つ以上のプロセッサを備える、装置。
  29. 前記クロマスケーリングが、輝度マッチング及びクロマスケーリングツールと関連付けられたクロマ残差スケーリングを含む、請求項25及び26のいずれかに記載の方法、又は請求項27及び28のいずれかに記載の装置。
  30. スライスヘッダに含まれる制御データが、前記クロマ残差スケーリングのアクティブ化を制御するために、前記スライスヘッダに含まれるフラグを含む、請求項29に記載の方法又は装置。
  31. 前記スライスヘッダに含まれる前記フラグが、ピクチャヘッダに含まれる第2のフラグに基づいて、前記クロマ残差スケーリングの前記アクティブ化を制御する、請求項30に記載の方法又は装置。
  32. 方法であって、
    ビデオデータを符号化することであって、前記ビデオデータが、輝度のみのデータを含むか、又はイントラコード化のみのデータを含む、ビデオデータを符号化することと、
    ビットストリームにおいて、前記符号化ビデオデータ、及び輝度のみのデータ又はイントラコード化のみのデータを示す構文を含むことと、を含む、方法。
  33. 装置であって、
    1つ以上のプロセッサであって、
    ビデオデータを符号化することであって、前記ビデオデータが、輝度のみのデータを含むか、又はイントラコード化のみのデータを含む、ビデオデータを符号化することと、
    ビットストリームにおいて、前記符号化ビデオデータ、及び輝度のみのデータ又はイントラコード化のみのデータを示す構文を含むことと、を行うように構成された1つ以上のプロセッサを備える、装置。
  34. 方法であって、
    輝度のみのデータ又はイントラコード化のみのデータを示す構文のためのビデオデータを含むビデオビットストリームを解析することと、
    輝度のみのデータ又はイントラコード化のみのデータを示す構文を使用して、前記ビデオデータを復号化することと、を含む、方法。
  35. 装置であって、
    1つ以上のプロセッサであって、
    輝度のみのデータ又はイントラコード化のみのデータを示す構文のためのビデオデータを含むビデオビットストリームを解析することと、
    輝度のみのデータ又はイントラコード化のみのデータを示す構文を使用して、前記ビデオデータを復号化することと、を行うように構成された1つ以上のプロセッサを備える、装置。
  36. コーディングモードが、イントラコード化のみであるか、又はクロマ成分が、利用可能ではない、請求項32若しくは請求項34に記載の方法、又は請求項33若しくは請求項35に記載の装置。
  37. ピクチャヘッダ又はシーケンスパラメータが、イントラコード化データのみがコード化され、かつインターコード化構文要素がゼロであると推論されることを示す、少なくともフラグを含む、請求項32若しくは請求項34に記載の方法、又は請求項33若しくは請求項35に記載の装置。
  38. インターコード化スライスが許容されていることを示すための、ピクチャヘッダ内のフラグが、ゼロであると推論される、請求項37に記載の方法又は装置。
  39. イントラコード化のみの制約フラグがまた、インターコード化スライスが許容されていないことを示す、請求項37に記載の方法又は装置。
  40. 請求項2~6、8~12、25、29~32、及び36~38のいずれか一項に記載の方法を実行することによって形成される、符号化ビデオを含む信号。
  41. 請求項1~12、25、26、29~32、34、及び36~39のいずれか一項に記載の方法に従って、ビデオデータを符号化又は復号化するための命令を記憶したコンピュータ可読記憶媒体。

JP2022550726A 2020-03-26 2021-03-22 ビデオコーディングにおけるコーディングパラメータのシグナリング Pending JP2023518352A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP20315055.2 2020-03-26
EP20315055 2020-03-26
EP20315080 2020-03-30
EP20315080.0 2020-03-30
EP20315088.3 2020-03-31
EP20315088 2020-03-31
PCT/EP2021/057199 WO2021191114A1 (en) 2020-03-26 2021-03-22 Signaling coding parameters in video coding

Publications (1)

Publication Number Publication Date
JP2023518352A true JP2023518352A (ja) 2023-05-01

Family

ID=75111614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022550726A Pending JP2023518352A (ja) 2020-03-26 2021-03-22 ビデオコーディングにおけるコーディングパラメータのシグナリング

Country Status (5)

Country Link
US (1) US20230085304A1 (ja)
EP (1) EP4128777A1 (ja)
JP (1) JP2023518352A (ja)
CN (1) CN115152226A (ja)
WO (1) WO2021191114A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112022019661A2 (pt) * 2020-03-31 2022-11-29 Sharp Kk Aparelho de decodificação de vídeo, aparelho de codificação de vídeo, método de decodificação de vídeo e método de codificação de vídeo
WO2021201222A1 (ja) * 2020-04-02 2021-10-07 日本放送協会 符号化装置、復号装置、及びプログラム
US11451811B2 (en) * 2020-04-05 2022-09-20 Tencent America LLC Method and apparatus for video coding
WO2021204251A1 (en) * 2020-04-10 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
CN115868159A (zh) 2020-04-17 2023-03-28 抖音视界有限公司 自适应参数集单元的存在
EP4128775A4 (en) 2020-04-26 2024-03-27 Bytedance Inc CONDITIONAL SIGNALING OF SYNTAX ELEMENTS OF A VIDEO CODING

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807403B2 (en) * 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
US11683487B2 (en) * 2019-03-26 2023-06-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) with adaptive parameter set (APS) in video coding
US11368684B2 (en) * 2019-04-23 2022-06-21 Qualcomm Incorporated Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters
CN114391255B (zh) * 2019-09-11 2024-05-17 夏普株式会社 用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法
US11323711B2 (en) * 2019-09-20 2022-05-03 Alibaba Group Holding Limited Method and system for signaling chroma quantization parameter offset
BR112022005487A2 (pt) * 2019-09-23 2022-06-14 Vid Scale Inc Aparelho para processamento de vídeo, método, e, mídia legível por computador

Also Published As

Publication number Publication date
WO2021191114A1 (en) 2021-09-30
US20230085304A1 (en) 2023-03-16
CN115152226A (zh) 2022-10-04
EP4128777A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
US11991373B2 (en) Method and device for picture encoding and decoding
JP2023518352A (ja) ビデオコーディングにおけるコーディングパラメータのシグナリング
AU2023208181A1 (en) Generalized bi-prediction and weighted prediction
KR20210099017A (ko) 코딩 도구 조합 및 제한의 관리
US20220191481A1 (en) In-loop reshaping adaptive reshaper direction
KR20210020915A (ko) 이미지 블록들의 비대칭 이진 파티셔닝에 기초한 비디오 인코딩 및 디코딩을 위한 방법 및 장치
WO2020263799A1 (en) High level syntax for controlling the transform design
KR20210022073A (ko) 비디오 인코딩 및 디코딩에서의 정제 모드 처리
JP2023516940A (ja) ローカルクロマ量子化パラメータ制御のための高レベルの制約フラグ
JP2023519114A (ja) ビデオコーディングにおける彩度オフセット存在の信号伝達
US20230232003A1 (en) Single-index quantization matrix design for video encoding and decoding
US20220368912A1 (en) Derivation of quantization matrices for joint cb-br coding
US20230262268A1 (en) Chroma format dependent quantization matrices for video encoding and decoding
US20220360781A1 (en) Video encoding and decoding using block area based quantization matrices
US20230143712A1 (en) Transform size interactions with coding tools
US20230232045A1 (en) Scaling process for joint chroma coded blocks
JP2022540659A (ja) ルマツークロマ量子化パラメータテーブルシグナリング
JP2022537222A (ja) 局所照明補正フラグインヘリタンス
EP3618443A1 (en) Illumination compensation in video coding
JP2023517695A (ja) ビデオ符号化及び復号化のための方法並びに装置
WO2020260310A1 (en) Quantization matrices selection for separate color plane mode
CN116601948A (zh) 使带有色度缩放的亮度映射适于4:4:4 rgb图像内容
CN117897955A (zh) 用于视频编码和解码的方法和装置
CN118077198A (zh) 用于对视频进行编码/解码的方法和装置
CN115362679A (zh) 用于视频编码和解码的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220928

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221005

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221011

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20231110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240319