JP2024047918A - 動画像符号化装置、動画像復号装置 - Google Patents

動画像符号化装置、動画像復号装置 Download PDF

Info

Publication number
JP2024047918A
JP2024047918A JP2022153692A JP2022153692A JP2024047918A JP 2024047918 A JP2024047918 A JP 2024047918A JP 2022153692 A JP2022153692 A JP 2022153692A JP 2022153692 A JP2022153692 A JP 2022153692A JP 2024047918 A JP2024047918 A JP 2024047918A
Authority
JP
Japan
Prior art keywords
information
image
unit
inverse conversion
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022153692A
Other languages
English (en)
Inventor
健 中條
知宏 猪飼
将伸 八杉
靖昭 徳毛
友子 青野
圭一郎 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2022153692A priority Critical patent/JP2024047918A/ja
Priority to EP23150460.6A priority patent/EP4346213A1/en
Priority to CN202310027184.XA priority patent/CN117793369A/zh
Priority to US18/094,815 priority patent/US20240107040A1/en
Priority to AU2023200601A priority patent/AU2023200601A1/en
Priority to KR1020230019977A priority patent/KR20240043648A/ko
Publication of JP2024047918A publication Critical patent/JP2024047918A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

【課題】従来のニューラルネットワークポストフィルタ特性SEIの仕様では、ポストフィルタ処理を実行するためには、ピクチャ単位にSEIを伝送する必要があり、すべてのピクチャで同一のポストフィルタ処理を行う場合には冗長であるという課題がある。【解決手段】本発明の一態様に係る動画像復号装置は、符号化データを復号して復号画像を生成する画像復号装置と、シーケンス単位に逆変換情報を補助拡張情報として復号する逆変換情報復号装置と、前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、前記逆変換情報を用いた解像度逆変換処理を、シーケンス単位で適用するかピクチャ単位で適用するかの情報を復号することを特徴とする。【選択図】図1

Description

本発明の実施形態は、動画像符号化装置、動画像復号装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
具体的な動画像符号化方式としては、例えば、H.264/AVCやH.265/HEVC（High-Efficiency Video Coding）方式などが挙げられる。
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
H.274には、画像の性質や、表示方法、タイミングなどを符号化データと同時に伝送するための補助拡張情報SEI（Supplemental Enhancement Information）messageが規定されている。
非特許文献１においては、ポストフィルタとして利用されるニューラルネットワークフィルタのトポロジーとパラメータをランダムアクセス可能な単位で伝送するSEIが開示されている。また、ポストフィルタ処理を行うかをピクチャ単位で伝送するSEIが開示されている。
S. McCarthy, T. Chujoh, M. M. Hannuksela, G. J. Sullivan and Y.-K. Wang, "Additional SEI messages for VSEI (Draft 1)," JVET-AA2006-v2, Aug.19, 2022.
しかしながら、非特許文献１で開示されている方法では、ポストフィルタ処理を実行するためには、ピクチャ単位にSEIを伝送する必要があり、すべてのピクチャで同一のポストフィルタ処理を行う場合には冗長であるという課題があった。
本発明の一態様に係る動画像復号装置は、
符号化データを復号して復号画像を生成する画像復号装置と、
シーケンス単位に逆変換情報を補助拡張情報として復号する逆変換情報復号装置と、
前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、
前記逆変換情報を用いた解像度逆変換処理を、シーケンス単位で適用するかピクチャ単位で適用するかの情報を復号することを特徴とする。
また、本発明の一態様に係る動画像復号装置は、
符号化データを復号して復号画像を生成する画像復号装置と、
逆変換情報を補助拡張情報としてシーケンス単位に復号する逆変換情報復号装置と、
前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、
前記逆変換情報を用いた解像度逆変換処理を、階層毎に適用するかの情報を復号することを特徴とする。
また、本発明の一態様に係る動画像符号化装置は、
画像を符号化して符号化データを生成する画像符号化装置と、
前記符号化データを復号した時の復号画像の解像度を逆変換するための逆変換情報を生成する逆変換情報生成装置と、
前記逆変換情報を補助拡張情報としてシーケンス単位に符号化する逆変換情報符号化装置を有し、
前記逆変換情報を用いた解像度逆変換処理をシーケンス単位で適用するかピクチャ単位で適用するかの情報を符号化することを特徴とする。
また、本発明の一態様に係る動画像符号化装置は、
画像を符号化して符号化データを生成する画像符号化装置と、
前記符号化データを復号した時の復号画像の解像度を逆変換するための逆変換情報を生成する逆変換情報生成装置と、
前記逆変換情報を補助拡張情報としてシーケンス単位に符号化する逆変換情報符号化装置を有し、
前記逆変換情報を用いた解像度逆変換処理を、階層毎に適用するかの情報を符号化することを特徴とする。
このような構成にすることで、ポストフィルタ処理を行う場合には冗長になる場合があるという課題を解決できる。
本実施形態に係る動画像伝送システムの構成を示す概略図である。 符号化データの階層構造を示す図である。 本実施形態に係る動画像伝送システムにおいて処理の対象となる画像の概念図である。 参照ピクチャおよび参照ピクチャリストの一例を示す概念図である。 画像復号装置の構成を示す概略図である。 画像復号装置の概略的動作を説明するフローチャートである。 画像符号化装置の構成を示すブロック図である。 インター予測パラメータ符号化部の構成を示す概略図である。 本実施の形態のニューラルネットワークポストフィルタ特性SEIシンタクスを示す図である。 別の実施の形態のニューラルネットワークポストフィルタ特性SEIシンタクスを示す図である。 ニューラルネットワークポストフィルタアクティブ化SEIシンタクスを示す図である。 SEIメッセージのコンテナであるSEIペイロードのシンタクスを示す図である。 NNフィルタ部611の処理のフローチャートを示す図である。 NNフィルタ部611のニューラルネットワークの構成を示す図である。 NNRの符号化装置・復号装置について示す図である。
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図1は、本実施形態に係る動画像伝送システムの構成を示す概略図である。
動画像伝送システム1は、解像度が変換された異なる解像度の画像を符号化した符号化データを伝送し、伝送された符号化データを復号し画像を元の解像度に逆変換して表示するシステムである。動画像伝送システム1は、動画像符号化装置10とネットワーク21と動画像復号装置30と画像表示装置41からなる。
動画像符号化装置10は、解像度変換装置（解像度変換部）51、画像符号化装置（画像符号化部）11、逆変換情報作成装置（逆変換情報作成部）71、逆変換情報符号化装置（逆変換情報符号化部）81から構成される。
動画像復号装置30は、画像復号装置（画像復号部）31、解像度逆変換装置（解像度逆変換部）61、及び逆変換情報復号装置（逆変換情報復号部）91から構成される。
解像度変換装置51は、動画像に含まれる画像Tの解像度を変換し、異なる解像度の画像を含む可変解像度動画像T2を、画像符号化装置11に供給する。また、解像度変換装置51は、画像の解像度変換の有無を示す逆変換情報を画像符号化装置11に供給する。当該情報が解像度変換を示す場合、画像符号化装置11は、後述する解像度変換情報ref_pic_resampling_enabled_flagを１に設定し、符号化データTeのシーケンスパラメータセットSPS（Sequence Parameter Set）に含ませて符号化する。
逆変換情報作成装置71は、動画像に含まれる画像T1に基づいて、逆変換情報を作成する。逆変換情報は、解像度変換前の入力画像T1と解像度変換及び符号化、復号後の画像Td1との関係から導出もしくは選択される。
逆変換情報符号化装置81には逆変換情報が入力される。逆変換情報符号化装置81は、逆変換情報を符号化して符号化された逆変換情報を生成し、ネットワーク21に送る。
画像符号化装置11には可変解像度画像T2が入力される。画像符号化装置11は、RPR（Reference Picture Resampling）の枠組みを用いて、PPS単位で入力画像の画像サイズ情報を符号化し、画像復号装置31に送る。
図１において、逆変換情報符号化装置81は画像符号化装置11とつながれていないが、逆変換情報符号化装置81と画像符号化装置11とは、適宜必要な情報を通信してもよい。
ネットワーク21は、符号化された逆変換情報及び符号化データTeを画像復号装置31に伝送する。符号化された逆変換情報の一部または全部は、補助拡張情報SEIとして、符号化データTeに含められてもよい。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blue-ray Disc:登録商標）等の符号化データTeを記録した記憶媒体で代替されても良い。
画像復号装置31は、ネットワーク21が伝送した符号化データTeを復号し、可変解像度復号画像Td1を生成して解像度逆変換装置61に供給する。
逆変換情報復号装置91は、ネットワーク21が伝送した符号化された逆変換情報を復号して逆変換情報を生成して解像度逆変換装置61に供給する。
図１において、逆変換情報復号装置91は、画像復号装置31とは別に図示されているが、逆変換情報復号装置91は、画像復号装置31に含まれてもよい。例えば、逆変換情報復号装置91は、画像復号装置31の各機能部とは別に画像復号装置31に含まれてもよい。また、図１において、画像復号装置31とつながれていないが、逆変換情報復号装置91と画像復号装置31とは、適宜必要な情報を通信してもよい。
解像度逆変換装置61は、解像度変換情報が解像度変換を示す場合、符号化データや逆変換情報に含まれる画像サイズ情報に基づいて、画像復号装置31の復号画像を解像度変換された画像を逆変換する。解像度変換された画像を逆変換する方法として、ニューラルネットワークを用いた超解像処理などのポストフィルタ処理等がある。
また、解像度逆変換装置61は、解像度変換情報が等倍の解像度を示す場合、ニューラルネットワークを用いたポストフィルタ処理を行い、入力画像T1に復元する解像度逆変換処理を実行し、復号画像Td2を生成してもよい。
尚、ここで解像度変換、解像度逆変換とは、画像サイズの変更のみならず、色差信号フォーマットの変換、つまり、4:2:0と4:2:2と4:4:4の変換なども含まれる。また、画像サイズが等倍の変換、逆変換でも同様の議論が可能である。
画像表示装置41は、解像度逆変換装置61から入力された１または複数の復号画像Td2の全部または一部を表示する。画像表示装置41は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、画像復号装置31が高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
図3は、図１に示す動画像伝送システムにおいて処理の対象となる画像の概念図であって、時間の経過に伴う、当該画像の解像度の変化を示す図である。ただし、図3においては、画像が符号化されているか否かを区別していない。図3は、動画像伝送システムの処理過程において、解像度を低下させて画像復号装置31に画像を伝送する例を示している。図3に示すように、通常、解像度変換装置51は、伝送される情報の情報量を少なくするために画像の解像度を入力画像の解像と同じかそれ以下にする変換を行う。
＜演算子＞
本明細書で用いる演算子を以下に記載する。
>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子であり、||は論理和を示す。
x ? y : zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。
Clip3(a,b,c)は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。
abs(a)はaの絶対値を返す関数である。
Int(a)はaの整数値を返す関数である。
floor(a)はa以下の最大の整数を返す関数である。
ceil(a)はa以上の最小の整数を返す関数である。
a/dはdによるaの除算（小数点以下切り捨て）を表す。
a^bはpower(a,b)を表す。a=2の場合1<<bと等しい。
＜符号化データTeの構造＞
本実施形態に係る画像符号化装置11および画像復号装置31の詳細な説明に先立って、画像符号化装置11によって生成され、画像復号装置31によって復号される符号化データTeのデータ構造について説明する。
符号化データTeは、複数CVS(Coded Video Sequence)とEoB(End of Bitstream NAL unit)から構成される。CVSは複数のAU(Access Unit)とEoS(End of Sequence NAL unit)から構成される。CVS先頭のAUはCVSS(Coded Video Sequence Start) AUと呼ぶ。CVSをレイヤ毎に分割した単位をCLVS(Coded Layer Video Sequence)と呼ぶ。AUは、同一出力時刻の一つもしくは複数のレイヤのPU(Picture Unit)からなる。もし、Multilayerの符号化方式を採用しない場合は、AUは、一つのPUからなる。PUは、複数のNALユニットから構成される1つの復号ピクチャの符号化データの単位である。CLVSは、同一レイヤのPUから構成されていて、CLVS先頭のPUは、CLVSS(Coded Layer Video Sequence Start)PUと呼ぶ。CLVSS PUは、ランダムアクセス可能なIRAP(Intra Random Access Pictures)やGDR(Gradual Decoder Refresh Picture)となるPUに限定される。NALユニットは、Nal unit headerとRBSP(Raw Byte Sequence Payload)データから構成されていて、Nal unit headerは、2ビットの0データに続いて、レイヤ値を示す6ビットのnuh_layer_idと、NALユニットタイプを示す5ビットのnuh_unit_typeとTemporal ID値に1プラスされた値の3ビットのnuh_temporal_id_plus1から構成される。
図2は、PU単位での符号化データTeにおけるデータの階層構造を示す図である。符号化データTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図2には、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。
（符号化ビデオシーケンス）
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図2に示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、Adaptation Parameter Set(APS)、ピクチャPICT、及び、補助拡張情報SEI（Supplemental Enhancement Information）を含んでいる。
ビデオパラメータセットVPSでは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。
ここで、シーケンスパラメータセットSPSには以下のシンタックス要素が含まれる。
・ref_pic_resampling_enabled_flag：対象SPSを参照する単一のシーケンスに含まれる各画像を復号する場合に、解像度を可変とする機能（リサンプリング：resampling）を用いるか否かを規定するフラグである。別の側面から言えば、当該フラグは、予測画像の生成において参照される参照ピクチャのサイズが、単一のシーケンスが示す各画像間において変化することを示すフラグである。当該フラグの値が1である場合、上記リサンプリングが適用され、0である場合、適用されない。
・pic_width_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の幅を有する画像の幅を、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求される。ここで、MinCbSizeYは、輝度ブロックの最小サイズによって定まる値である。
・pic_height_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の高さを有する画像の高さを、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求される。
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置31が参照する符号化パラメータの集合が規定されている。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
ここで、ピクチャパラメータセットPPSには以下のシンタックス要素が含まれる。
・pps_pic_width_in_luma_samples：対象ピクチャの幅を指定するシンタックス要素である。当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つsps_pic_width_max_in_luma_samples以下の値であることが要求される。
・pps_pic_height_in_luma_samples：対象ピクチャの高さを指定するシンタックス要素である。当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つsps_pic_height_max_in_luma_samples以下の値であることが要求される。
・pps_conformance_window_flag：コンフォーマンス（クロッピング）ウィンドウオフセットパラメータが続いて通知されるか否かを示すフラグであって、コンフォーマンスウィンドウを表示する場所を示すフラグである。このフラグが1である場合、当該パラメータが通知され、0である場合、コンフォーマンスウインドウオフセットパラメータが存在しないことを示す。
・pps_conf_win_left_offset、pps_conf_win_right_offset、pps_conf_win_top_offset、pps_conf_win_bottom_offset：出力用のピクチャ座標で指定される矩形領域に関して、復号処理で出力されるピクチャの左、右、上、下位置を指定するためのオフセット値である。また、pps_conformance_window_flagの値が0である場合、pps_conf_win_left_offset、pps_conf_win_right_offset、pps_conf_win_top_offset、pps_conf_win_bottom_offsetの値は0であるものと推定される。
ここで、色差フォーマットの変数ChromaFormatIdcは、sps_chroma_format_idの値であり、変数SubWidthCと、変数SubHightCは、このChromaFormatIdcによって決まる値である。モノクロフォーマットの場合は、SubWidthCとSubHightCは、共に1であり、4:2:0フォーマットの場合は、SubWidthCとSubHightCは、共に2であり、4:2:2フォーマットの場合は、SubWidthCが2でSubHightCが1であり、4:4:4フォーマットの場合は、SubWidthCとSubHightCは、共に1である。
・pps_init_qp_minus26は、PPSで参照されるスライスの量子化パラメータSliceQpYを導出するための情報である。
（サブピクチャ）
ピクチャは、さらに矩形のサブピクチャに分割されていてもよい。サブピクチャのサイズはCTUの倍数であってもよい。サブピクチャは縦横に整数個連続するタイルの集合で定義される。つまり、ピクチャは矩形のタイルに分割され、矩形のタイルの集合としてサブピクチャを定義する。サブピクチャの左上タイルのIDと右下タイルのIDを用いてサブピクチャを定義してもよい。
（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図2に示すように、ピクチャヘッダPH、スライス0～スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数）。
またピクチャレベルで更新される量子化パラメータSliceQpYを導出するための情報（ph_qp_delta）が含まれる。
SliceQpY = 26 + pps_init_qp_minus26 + ph_qp_delta
以下、スライス0～スライスNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データTeに含まれるデータであって、添え字を付している他のデータについても同様である。
（符号化スライス）
符号化スライスでは、処理対象のスライスSを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスは、図2に示すように、スライスヘッダ、および、スライスデータを含んでいる。
スライスヘッダには、対象スライスの復号方法を決定するために画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単予測(L0予測)、または、イントラ予測を用いるＰスライス、（３）符号化の際に単予測(L0予測或いはL1予測)、双予測、または、イントラ予測を用いるＢスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。
またスライスレベルで更新される量子化パラメータSliceQpYを導出するための情報（sh_qp_delta）が含まれる。
SliceQpY = 26 + pps_init_qp_minus26 + sh_qp_delta
なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。
（符号化スライスデータ）
符号化スライスデータでは、処理対象のスライスデータを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図2の符号化スライスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。
（符号化ツリーユニット）
図2には、処理対象のCTUを復号するために画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により、符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割（MT（Multi Tree）分割）と呼ぶ。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
（符号化ユニット）
図2は、処理対象の符号化ユニットを復号するために画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。
予測の種類（予測モード）は、イントラ予測と、インター予測の２つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位でエントロピー符号化してもよい。
（予測パラメータ）
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
以下、インター予測の予測パラメータについて説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0とpredFlagL1、参照ピクチャインデックスrefIdxL0とrefIdxL1、動きベクトルmvL0とmvL1から構成される。predFlagL0、predFlagL1は、参照ピクチャリスト（L0リスト、L1リスト）が用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、フラグが０以外（たとえば１）をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
（参照ピクチャリスト）
参照ピクチャリストは、参照ピクチャメモリ306に記憶された参照ピクチャからなるリストである。図4は、参照ピクチャおよび参照ピクチャリストの一例を示す概念図である。図4の参照ピクチャの一例を示す概念図において、矩形はピクチャ、矢印はピクチャの参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双予測ピクチャ、矩形中の数字は復号順を示す。Tidは、階層の深さを表すTemporalIDの値であり、NALユニットヘッダで送られる。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図4には、ピクチャB3（対象ピクチャ）の参照ピクチャリストの例を示されている。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、１つのピクチャ（スライス）が１つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0およびL1リストRefPicList1の２つの参照ピクチャリストを持つ。個々のCUでは、参照ピクチャリストRefPicListX（X=0または1）中のどのピクチャを実際に参照するかをrefIdxLXで指定する。図は、refIdxL0=2、refIdxL1=0の例である。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、以降では、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。
（画像復号装置の構成）
本実施形態に係る画像復号装置31（図5）の構成について説明する。
画像復号装置31は、エントロピー復号部301、パラメータ復号部（予測画像復号装置）302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部（予測画像生成装置）308、逆量子化・逆変換部311、及び加算部312、予測パラメータ導出部320を含んで構成される。なお、後述の画像符号化装置11に合わせ、画像復号装置31にループフィルタ305が含まれない構成もある。
パラメータ復号部302は、さらに、ヘッダ復号部3020、CT情報復号部3021、及びCU復号部3022（予測モード復号部）を備えており、CU復号部3022はさらにTU復号部3024を備えている。これらを総称して復号モジュールと呼んでもよい。ヘッダ復号部3020は、符号化データからVPS、SPS、PPS、APSなどのパラメータセット情報、スライスヘッダ（スライス情報）を復号する。CT情報復号部3021は、符号化データからCTを復号する。CU復号部3022は符号化データからCUを復号する。
TU復号部3024は、スキップモード以外(skip_mode==0)の場合に、符号化データからQP更新情報と量子化予測誤差を復号する。
予測画像生成部308は、インター予測画像生成部309及びイントラ予測画像生成部310を含んで構成される。
予測パラメータ導出部320は、インター予測パラメータ導出部303及びイントラ予測パラメータ導出部304を含んで構成される。
エントロピー復号部301は、外部から入力された符号化データTeに対してエントロピー復号を行って、個々の符号（シンタックス要素）を復号する。エントロピー符号化には、シンタックス要素の種類や周囲の状況に応じて適応的に選択したコンテキスト（確率モデル）を用いてシンタックス要素を可変長符号化する方式と、あらかじめ定められた表、あるいは計算式を用いてシンタックス要素を可変長符号化する方式がある。前者のCABAC（Context Adaptive Binary Arithmetic Coding）は、コンテキストのCABAC状態（優勢シンボルの種別(0 or 1)と確率を指定する確率状態インデックスpStateIdx）をメモリに格納する。エントロピー復号部301は、セグメント（タイル、CTU行、スライス）の先頭で全てのCABAC状態を初期化する。エントロピー復号部301は、シンタックス要素をバイナリ列（Bin String）に変換し、Bin Stringの各ビットを復号する。コンテキストを用いる場合には、シンタックス要素の各ビットに対してコンテキストインデックスctxIncを導出し、コンテキストを用いてビットを復号し、用いたコンテキストのCABAC状態を更新する。コンテキストを用いないビットは、等確率(EP, bypass)で復号され、ctxInc導出やCABAC状態は省略される。復号されたシンタックス要素には、予測画像を生成するための予測情報および、差分画像を生成するための予測誤差などがある。
エントロピー復号部301は、復号した符号をパラメータ復号部302に出力する。どの符号を復号するかの制御は、パラメータ復号部302の指示に基づいて行われる。
（基本フロー）
図6は、画像復号装置31の概略的動作を説明するフローチャートである。
（S1100：パラメータセット情報復号）ヘッダ復号部3020は、符号化データからVPS、SPS、PPSなどのパラメータセット情報を復号する。
（S1200：スライス情報復号）ヘッダ復号部3020は、符号化データからスライスヘッダ（スライス情報）を復号する。
以下、画像復号装置31は、対象ピクチャに含まれる各CTUについて、S1300からS5000の処理を繰り返すことにより各CTUの復号画像を導出する。
（S1300：CTU情報復号）CT情報復号部3021は、符号化データからCTUを復号する。
（S1400：CT情報復号）CT情報復号部3021は、符号化データからCTを復号する。
（S1500：CU復号）CU復号部3022はS1510、S1520を実施して、符号化データからCUを復号する。
（S1510：CU情報復号）CU復号部3022は、符号化データからCU情報、予測情報等を復号する。
（S1520：TU情報復号）TU復号部3024は、TUに予測誤差が含まれている場合に、符号化データからQP更新情報と量子化予測誤差を復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値である。
（S2000：予測画像生成）予測画像生成部308は、対象CUに含まれる各ブロックについて、予測情報に基づいて予測画像を生成する。
（S3000：逆量子化・逆変換）逆量子化・逆変換部311は、対象CUに含まれる各TUについて、逆量子化・逆変換処理を実行する。
（S4000：復号画像生成）加算部312は、予測画像生成部308より供給される予測画像と、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの復号画像を生成する。
（S5000：ループフィルタ）ループフィルタ305は、復号画像にデブロッキングフィルタ、SAO、ALFなどのループフィルタをかけ、復号画像を生成する。
（インター予測パラメータ導出部の構成）
ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）等のフィルタを施す。
DF部601は、画素や境界、線分単位でデブロッキングフィルタの強度bSを導出するbS導出部602、ブロックノイズを低減するためにデブロッキングフィルタ処理を行うDFフィルタ部602から構成される。
DF部601は、NN(Neural Network)処理（NNフィルタ部601の処理）前の入力画像resPictureに、パーティション分割境界、予測ブロックの境界、変換ブロックの境界があるかを示すエッジ度edgeIdcとデブロッキングフィルタの最大フィルタ長maxFilterLengthを導出する。さらに、edgeIdcと変換ブロックの境界、符号化パラメータから、デブロッキングフィルタの強度bSを導出する。
参照ピクチャメモリ306は、CUの復号画像を、対象ピクチャ及び対象CU毎に予め定めた位置に記憶する。
予測パラメータメモリ307は、CTUあるいはCU毎に予め定めた位置に予測パラメータを記憶する。
予測画像生成部308には予測パラメータ導出部320が導出したパラメータが入力される。また、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、パラメータと参照ピクチャ（参照ピクチャブロック）を用いてブロックの予測画像を生成する。
逆量子化・逆変換部311（残差復号部）は、パラメータ復号部302から入力された量子化変換係数を逆量子化、逆変換して変換係数を求める。
（ニューラルネットワークポストフィルタ特性SEI）
図9は、本実施の形態のニューラルネットワークポストフィルタ特性SEIメッセージnn_post_filter_characteristics(payloadSize)のシンタクスを示している。引数のpayloadSizeは、このSEIメッセージのバイト数を表している。
このSEIメッセージは、CVS(Coded Video Sequence)毎に適用されるSEIである。なお、CVSとは、IRAP(Intra Random Access Pictures)やGDR(Gradual Decoder Refresh Picture)のようなランダムアクセス可能なアクセスユニットを先頭とする0個以上のアクセスユニットの集合を指す。アクセスユニットは同時刻に表示されるピクチャから構成される。IRAPは、(IRAP) Instantaneous Decoder Refresh (IDR)、Clean Random Access (CRA)、Broken Link Access (BLA)のいずれかであってもよい。
このSEIメッセージでは、以下の変数が定義される。
復号画像の幅と高さは、輝度画素の単位で、ここではそれぞれInpPicWidthInLumaSamples及びInpPicHeightInLumaSamplesで示される。
InpPicWidthInLumaSamplesはpps_pic_width_in_luma_samples-SubWidthC*(pps_conf_win_left_offset+pps_conf_win_right_offset)に等しく設定される。
InpPicHeightInLumaSamplesはpps_pic_height_in_luma_samples-SubHeightC*(pps_conf_win_top_offset+pps_conf_win_bottom_offset)に等しく設定される。
復号画像は、垂直座標yおよび水平座標xの輝度画素の2次元配列CroppedYPic[y][x]及び、色差画素の2次元配列CroppedCbPic[y][x]及びCroppedCrPic[y][x]とする。ここで、画素配列の左上隅の座標yが0、xが0とする。
復号画像の輝度の画素ビット長BitDepthYとする。復号画像の色差の画素ビット長BitDepthCとする。なお、BitDepthYとBitDepthCはどちらもBitDepthに等しく設定される。
変数InpSubWidthCは、復号画像の水平方向の輝度に対する色差サブサンプリング比とし、変数InpSubHeightCは、復号顔図の水平方向の輝度に対する色差サブサンプリング比とする。なお、InpSubWidthCは符号化データの変数SubWidthCと等しく設定される。InpSubHeightCは符号化データの変数SubHeightCに等しく設定される。
変数SliceQPYは、符号化データのスライスレベルで更新される量子化パラメータSliceQpYに等しく設定される。
nnpfc_idには、ポストフィルタ処理を識別するために使用できる識別番号が含まれている。nnpfc_idの値は、0以上2の32乗-2以下の値でなければならない。256以上511以下、または、2の31乗以上2の32乗-2以下のnnpfc_idの値は、将来の使用のために予約されている。従って、デコーダは256以上511以下、または2の31乗以上2の32乗-2以下の値のnnpfc_idの値を無視するものとする。
nnpfc_mode_idcは、関連付けられたポストフィルタ処理がこの仕様で指定された外部手段によって決定されるか否かを示す値である。この値が0の場合は、関連付けられたポストフィルタ処理が、この仕様で指定されていない外部手段によって決定されることを指定する。nnpfc_mode_idcの値が1の場合は、関連付けられたポストフィルタ処理が、このSEIメッセージに含まれるISO/IEC15938-17ビットストリームで表されるニューラルネットワークであることを示す。nnpfc_mode_idcの値が2の場合は、関連付けられたポストフィルタ処理が、指定されたタグURI(Uniform Resource Identifier)の(nnpfc_uri_tag[i])及びニューラル ネットワーク情報URI(nnpfc_uri[i])によって識別されるニューラルネットワークであることを示す。
nnpfc_mode_idcの値は、0以上255以下の値でなければならない。2より大きいnnpfc_mode_idcの値は、将来の指定のために予約されているので、この仕様のこのバージョンに準拠したビットストリームには存在してはならない。この仕様のこのバージョンに準拠したデコーダは、nnpfc_mode_idcの予約値を含むSEIメッセージを無視するものとする。
非特許文献１の問題点としては、ニューラルネットワークポストフィルタ特性SEIメッセージで定義されたフィルタ情報を用いてポストフィルタ処理を実行するには、後述のニューラルネットワークポストフィルタアクティブ化SEIを用いて、ピクチャ単位にSEIを伝送する必要があり、すべてのピクチャで同一のポストフィルタ処理を行う場合には冗長であるという課題があった。
そこで、本実施の形態では、ニューラルネットワークポストフィルタ特性SEIメッセージにおいて、アクティブ化の方法を定義するシンタクス要素を追加し、ニューラルネットワークポストフィルタアクティブ化SEIメッセージを用いなくともポストフィルタ処理を実行できるようにする。
nnpfc_activation_typeは、ポストフィルタ処理のアクティブ化の種類を示す値である。nnpfc_activation_typeの値が0の場合は、ニューラル ネットワークポストフィルタアクティブ化SEIメッセージを用いることを示す。nnpfc_activation_typeの値が1の場合は、現在のCSV内のすべてのピクチャをアクテイブ化し、現在のニューラルネットワークポストフィルタ特性SEIメッセージによってフィルタ処理されることを指定する。
nnpfc_activation_typeの値は、0以上255以下の値でなければならない。1より大きいnnpfc_activation_typeの値は、将来の指定のために予約されているので、この仕様のこのバージョンに準拠したビットストリームには存在してはならない。この仕様のこのバージョンに準拠したデコーダは、nnpfc_mode_idcの予約値を含むSEIメッセージを無視するものとする。
このような実施の形態にすることで、CVS単位でポストフィルタ処理をアクティブ化することができ、すべてのピクチャで同一のポストフィルタ処理を行う場合には冗長であるという課題を解決できる。
nnpfc_purpose_and_formatting_flagは、フィルタの目的、入力フォーマット、出力フォーマット、および複雑さに関連する構文要素が存在するか否かを示すフラグで、このフラグの値が、1の場合は、フィルタの目的、入力の書式設定、出力の書式設定、および複雑さに関連する構文要素が存在することを示す。このフラグの値が0の場合は、フィルタの目的、入力フォーマット、出力フォーマット、および複雑さに関連する構文要素が存在しないことを示す。
nnpfc_mode_idcの値が1で、CLVS(Coded Layer Video Sequence)に、このSEIメッセージのnnpfc_id の値と等しいnnpfc_idの値を持つ先行するニューラルネットワークポストフィルタ特性SEIメッセージが含まれていない場合は、nnpfc_purpose_and_formatting_flagの値は1でなければならない。
CLVSに、このSEIメッセージのnnpfc_idの値と同じnnpfc_idの値を持つ先行するニューラル ネットワークポストフィルタ特性SEIメッセージがデコード順で含まれている場合、次の条件の少なくとも1つが適用される。
・このSEIメッセージには、ニューラルネットワークの更新を提供するために、nnpfc_mode_idcの値が1でnnpfc_purpose_and_formatting_flagの値が0とする。
・このSEIメッセージは、前のニューラル ネットワークポストフィルタ特性 SEIメッセージと同じ内容である。
このSEIメッセージが、CLVS内で特定のnnpfc_id値を持つ最初のニューラルネットワークポストフィルタ特性SEIメッセージである場合、復号順で、現在の復号された画像と現在のレイヤの復号された画像を、出力順に、現在のCLVSの最後までの後続のすべての画像に関連するベースとなるポストフィルタであることを示す。
このSEIメッセージが、CLVS内で特定のnnpfc_id値を持つ最初のニューラルネットワークポストフィルタ特性SEIメッセージではない場合、このSEIメッセージは、現在の復号された画像と、CLVSの終わりまでの現在のレイヤのすべての後続の復号された画像、或いは、CLVS内の特定のnnpfc_id値を出力順で持つ次のニューラル ネットワークポストフィルタ特性SEIメッセージまでに関係する。
nnpfc_purposは、ポストフィルタ処理の目的を示す。nnpfc_purposeの値は、0以上2の32乗-2以下の値でなければならない。4より大きいnnpfc_purposeの値は、将来の仕様のために予約されているので、この仕様のこのバージョンに準拠したビットストリームには存在してはならない。この仕様のこのバージョンに準拠したデコーダは、nnpfc_purposeの予約値を含むSEIメッセージを無視するものとする。
nnpfc_purposeの値が0の場合、不明または未定義を示す。
nnpfc_purposeの値が1の場合、画質の向上を目的とする。
nnpfc_purposeの値が2の場合、4:2:2色差形式または4:4:4色差形式へのアップサンプリング、または4:2:2色差形式から4:4:4色差形式へのアップサンプリング
nnpfc_purposeの値が3の場合、色差形式を変更せずに復号された出力画像の幅または高さを増やす。
nnpfc_purposeの値が4の場合、復号された出力画像の幅または高さを増やし、色差形式をアップサンプリングする。
尚、SubWidthCの値が1で、SubHeightCの値が1の場合、nnpfc_purposeは、2、4であってはならない。
更に、前述のnnpfc_mode_idcの値が2の場合は、バイト単位になるように、nnpfc_reserved_zero_bitで値0のビットを挿入した上で、関連付けられたポストフィルタ処理が、指定されたタグURI(nnpfc_uri_tag[i])及びニューラル ネットワーク情報URI(nnpfc_uri[i])でニューラルネットワークの情報を符号化、復号する。
また、nnpfc_mode_idcの値が1の場合は、バイト単位になるように、nnpfc_reserved_zero_bitで値0のビットを挿入した上で、ISO/IEC15938-17ビットストリームnnpfc_payload_byte[i]でニューラルネットワークの情報を符号化、復号する。
図10は、本発明の別の実施の形態のニューラルネットワークポストフィルタ特性SEIメッセージのシンタクスである。
前述の実施の形態の違いは、nnpfc_activation_typeの追加である。本実施の形態では、特定のレイヤやTemporal IDのピクチャのアクティブ化を指定する。
nnpfc_activation_typeは、ポストフィルタ処理のアクティブ化の種類を示す値である。nnpfc_activation_typeの値が0と1の場合は、前述の実施の形態と同様であるとし、nnpfc_activation_typeの値が2の場合は、図10のように、Temporal ID値がiであるピクチャのポストフィルタ処理をアクティブ化する否かのフラグnnpfc_activation_temporal_id_flag[i]を用いて、値が0の場合は、ポストフィルタ処理をアクティブ化せずに、値が1の場合は、ポストフィルタ処理をアクティブ化する。
別の形態としては、nnpfc_activation_typeの値が2の場合、明示的に、アクティブ化するレイヤ値nuh_layer_idとTemporal IDの値をシンタクス要素で指定して、該当するCVS内のピクチャのみのポストフィルタ処理をアクティブ化してもよい。
別の形態としては、nnpfc_activation_typeの値が2の場合、シンタクス要素を追加せずに、ニューラルネットワークポストフィルタアクティブ化SEIメッセージのNALユニットのヘッダで指定されるレイヤ値nuh_layer_idとTemporal IDの値(シンタクス要素nuh_temporal_id_plus1から1を引いた値)のCVS内のピクチャのポストフィルタ処理をアクティブ化してもよい。
別の形態としては、nnpfc_activation_typeの値が2の場合、シンタクス要素を追加せずに、ニューラルネットワークポストフィルタアクティブ化SEIメッセージのNALユニットのヘッダで指定されるレイヤ値nuh_layer_idのCVS内のすべてのピクチャのポストフィルタ処理をアクティブ化し、nnpfc_activation_typeの値が3の場合、ニューラルネットワークポストフィルタアクティブ化SEIメッセージのNALユニットのヘッダで指定されるレイヤ値nuh_layer_idとTemporal IDの値(シンタクス要素nuh_temporal_id_plus1から1を引いた値)のCVS内のピクチャのポストフィルタ処理をアクティブ化してもよい。
尚、Temporal IDに関しては、指定した値でピクチャを特定する以外の方法としては、指定した値以上のTemporal IDのピクチャについて、ポストフィルタ処理をアクテイブ化するという方法をとってもよい。
このような実施の形態にすることで、特定のレイヤやTemporal IDのピクチャのみのポストフィルタ処理をアクティブ化でき、冗長であるという課題を解決できる。
（ニューラルネットワークポストフィルタアクティブ化SEI）
図11は、ニューラルネットワークポストフィルタアクティブ化SEIメッセージのシンタクスを示す図である。
このSEIメッセージは、現在の復号画像のポストフィルタ処理に使用できるニューラルネットワークポストフィルタ処理を指定する。ニューラルネットワークポストフィルタアクティブ化SEIメッセージは、現在の復号画像に対してのみ適用される。
例えば、ポストフィルタ処理がさまざまな目的を対象としている場合や、さまざまな色成分をフィルタ処理する場合など、同じ復号画像に対して複数のニューラルネットワークポストフィルタアクティブ化SEIメッセージが存在する場合がありえる。
シンタクス要素nnpfa_idは、現在の復号画像に関連し、nnpfc_idがnnfpa_idと等しい1つ以上のニューラルネットワークポストフィルタ特性SEIによって指定されたニューラルネットワークポストフィルタ処理を、現在の復号画像のポストフィルタ処理に使用できることを指定する。
（SEIペイロード）
図12は、非特許文献1のSEIメッセージのコンテナであるSEIペイロードのシンタクスを示す図である。
nal_unit_typeがPREFIX_SEI_NUTの時に呼び出される。PREFIX_SEI_NUTは、スライスデータよりも前に位置するSEIであることを示している。
payloadTypeが210の時、ニューラルネットワークポストフィルタ特性SEIが呼び出される。
payloadTypeが211の時、ニューラルネットワークポストフィルタアクティブ化SEIが呼び出される。
（SEIの復号とポストフィルタ処理）
ヘッダ復号部3020は、SEIメッセージのコンテナであるSEIペイロードを読み込み、ニューラルネットワークポストフィルタ特性SEIメッセージを復号する。例えば、ヘッダ復号部3020は、nnpfc_id、nnpfc_mode_idc、nnpfc_activation_type、nnpfc_purpose_and_formatting_flag、nnpfc_purpose、nnpfc_reserved_zero_bit、nnpfc_uri_tag[i]、nnpfc_uri[i]、nnpfc_reserved_zero_bit、nnpfc_payload_byte[i]を復号する。
図13は、NNフィルタ部611の処理のフローチャートを示す図である。NNフィルタ部611は、上記SEIメッセージのパラメータに従って以下の処理を行う。
S6001：ニューラルネットワーク複雑度要素から処理量と精度を読み込む。
S6002：NNフィルタ部611が処理可能な複雑度を超える場合には終了する。超えない場合にはS6003へ進む。
S6003：NNフィルタ部611が処理可能な精度を超える場合には終了する。超えない場合にはS6004へ進む。
S6004：SEIからネットワークモデルを特定し、NNフィルタ部611のトポロジーを設定する。
S6005：SEIの更新情報からネットワークモデルのパラメータを導出する。
S6006：導出されたネットワークモデルのパラメータをNNフィルタ部611に読み込む。
S6007：NNフィルタ部611のフィルタ処理を実行し、外部に出力する。
ただし、復号処理における輝度サンプルや色差サンプルの構築にSEIは必ずしも必要とされない。
（NNフィルタ部611の構成例）
図14は、ニューラルネットワークフィルタ部（NNフィルタ部611）を用いた補間フィルタ、ループフィルタ、ポストフィルタの構成例を示す図である。以下ではポストフィルタの例を説明するが、補間フィルタやループフィルタでもよい。
動画像復号装置後の後処理部61は、NNフィルタ部611を備える。NNフィルタ部611は、参照ピクチャメモリ306の画像を出力する際に、フィルタ処理を行い外部に出力する。出力画像は、表示、ファイル書き出し、再エンコード（トランスコード）、伝送などをしてもよい。NNフィルタ部611は、入力画像に対して、ニューラルネットワークモデルによるフィルタ処理を行う手段である。同時に、等倍もしくは有理数倍の縮小・拡大を行ってもよい。
ここで、ニューラルネットワークモデル（以下、NNモデル）とは、ニューラルネットワークの要素および結合関係（トポロジー）と、ニューラルネットワークのパラメータ（重み、バイアス）を意味する。なお、トポロジーを固定して、ニューラルネットワークモデルのパラメータのみを切り替えても良い。
(NNフィルタ部611の詳細)
NNフィルタ部は入力画像inputTensorと入力パラメータ(例えば、QP、bSなど)を用いて、ニューラルネットワークモデルによるフィルタ処理を行う。入力画像は、コンポーネントごとの画像であってもよいし、複数コンポーネントをそれぞれチャネルとして持つ画像であってもよい。また、入力パラメータは画像と異なるチャネルに割り当ててもよい。
NNフィルタ部は、以下の処理を繰り返し適用してもよい。
NNフィルタ部は、inputTensorにカーネルk[m][i][j]を畳み込み演算(conv,convolution)し、biasを加算した出力画像outputTensorを導出する。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1であり、Σは各々mm、i、jに対する総和を表す。
outputTensor[nn][xx][yy]=ΣΣΣ(k[mm][i][j]*inputTensor[mm][xx+i-of][yy+j-of]+bias[nn])
1x1 Convの場合、Σは、各々mm=0..m-1、i=0、j=0の総和を表す。このとき、of=0を設定する。3x3 Convの場合、Σは各々mm=0..m-1、i=0..2、j=0..2の総和を表す。このとき、of=1を設定する。nはoutSamplesのチャネル数、mはinputTensorのチャネル数、widthはinputTensorとoutputTensorの幅、heightはinputTensorとoutputTensorの高さである。ofは、inputTensorとoutputTensorのサイズを同一にするために、inputTensorの周囲に設けるパディング領域のサイズである。以下、NNフィルタ部の出力が画像ではなく値（補正値）の場合には、outputTensorの代わりにcorrNNで出力を表わす。
なお、CWH形式のinputTensor、outputTensorではなくCHW形式のinputTensor、outputTensorで記述すると以下の処理と等価である。
outputTensor[nn][yy][xx]=ΣΣΣ(k[mm][i][j]*inputTensor[mm][yy+j-of][xx+i-of]+bias[nn])
また、Depth wise Convと呼ばれる以下の式で示す処理を行ってもよい。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1であり、Σは各々i、jに対する総和を表す。nはoutputTensorとinputTensorのチャネル数、widthはinputTensorとoutputTensorの幅、heightはinputTensorとoutputTensorの高さである。
outputTensor[nn][xx][yy]=ΣΣ(k[nn][i][j]*inputTensor[nn][xx+i-of][yy+j-of]+bias[nn])
またActivateと呼ばれる非線形処理、たとえばReLUを用いてもよい。
ReLU(x) = x >= 0 ? x : 0
また以下の式に示すleakyReLUを用いてもよい。
leakyReLU(x) = x >= 0 ? x : a * x
ここでaは所定の値、例えば0.1や0.125である。また整数演算を行うために上記の全てのk、bias、aの値を整数として、convの後に右シフトを行ってもよい。
ReLUでは0未満の値に対しては常に0、それ以上の値に対しては入力値がそのまま出力される。一方、leakyReLUでは、0未満の値に対して、aで設定された勾配で線形処理が行われる。ReLUでは0未満の値に対する勾配が消失するため、学習が進みにくくなる場合がある。leakyReLUでは0未満の値に対する勾配が残され、上記問題が起こりにくくなる。また、上記leakyReLU(x)のうち、aの値をパラメータ化して用いるPReLUを用いてもよい。
(NNR)
Neural Network Coding and Representation(NNR)は、ニューラルネットワーク(NN)を効率的に圧縮するための国際標準規格ISO/IEC15938-17である。学習済みのNNの圧縮を行うことで、NNを保存や伝送を行う際の効率化が可能となる。
以下にNNRの符号化・復号処理の概要について説明する。
図15は、NNRの符号化装置・復号装置について示す図である。
NN符号化装置801は、前処理部8011、量子化部8012、エントロピー符号化部8013を有する。NN符号化装置801は、圧縮前のNNモデルOを入力し、量子化部8012にてNNモデルOの量子化を行い、量子化モデルQを求める。NN符号化装置801は、量子化前に、前処理部8011にて枝刈り（プルーニング）やスパース化などのパラメータ削減手法を繰り返し適用してもよい。その後、エントロピー符号化部8013にて、量子化モデルQにエントロピー符号化を適用し、NNモデルの保存、伝送のためのビットストリームSを求める。
NN復号装置802は、エントロピー復号部8021、パラメータ復元部8022、後処理部8023を有する。NN復号装置802は、始めに伝送されたビットストリームSを入力し、エントロピー復号部8021にて、Sのエントロピー復号を行い、中間モデルRQを求める。NNモデルの動作環境がRQで使用された量子化表現を用いた推論をサポートしている場合、RQを出力し、推論に使用してもよい。そうでない場合、パラメータ復元部8022にてRQのパラメータを元の表現に復元し、中間モデルRPを求める。使用する疎なテンソル表現がNNモデルの動作環境で処理できる場合、RPを出力し、推論に使用してもよい。そうでない場合、NNモデルOと異なるテンソル、または構造表現を含まない再構成NNモデルRを求め、出力する。
NNR規格には、整数、浮動小数点など、特定のNNパラメータの数値表現に対する復号手法が存在する。
復号手法NNR_PT_INTは、整数値のパラメータからなるモデルを復号する。復号手法NNR_PT_FLOATは、NNR_PT_INTを拡張し、量子化ステップサイズdeltaを追加する。このdeltaに上記整数値を乗算し、スケーリングされた整数を生成する。deltaは、整数の量子化パラメータqpとdeltaの粒度パラメータqp_densityから、以下のように導き出される。
mul = 2^(qp_density) + (qp & (2^(qp_density)-1))
delta = mul * 2^((qp >> qp_density)-qp_density)
(学習済みNNのフォーマット)
学習済みNNの表現は、層のサイズや層間の接続などのトポロジー表現と、重みやバイアスなどのパラメータ表現の2つの要素からなる。
トポロジー表現は、TensorflowやPyTorchなどのネイティブフォーマットでカバーされているが、相互運用性向上のため、Open Neural Network Exchange Format(ONNX)、Neural Network Exchange Format(NNEF)などの交換フォーマットが存在する。
また、NNR規格では、圧縮されたパラメータテンソルを含むNNRビットストリームの一部として、トポロジー情報nnr_topology_unit_payloadを伝送する。これにより、交換フォーマットだけでなく、ネイティブフォーマットで表現されたトポロジー情報との相互運用を実現する。
（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置11の構成について説明する。図7は、本実施形態に係る画像符号化装置11の構成を示すブロック図である。画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）108、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）109、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120、エントロピー符号化部104を含んで構成される。
予測画像生成部101はCU毎に予測画像を生成する。
減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Ｔの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。
変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、量子化変換係数をパラメータ符号化部111及び逆量子化・逆変換部105に出力する。
逆量子化・逆変換部105は、画像復号装置31における逆量子化・逆変換部311（図5）と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
パラメータ符号化部111は、ヘッダ符号化部1110、CT情報符号化部1111、CU符号化部1112（予測モード符号化部）を備えている。CU符号化部1112はさらにTU符号化部1114を備えている。以下、各モジュールの概略動作を説明する。
ヘッダ符号化部1110はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの符号化処理を行う。
CT情報符号化部1111は、QT、MT（BT、TT）分割情報等を符号化する。
CU符号化部1112はCU情報、予測情報、分割情報等を符号化する。
TU符号化部1114は、TUに予測誤差が含まれている場合に、QP更新情報と量子化予測誤差を符号化する。
CT情報符号化部1111、CU符号化部1112は、インター予測パラメータ、量子化変換係数等のシンタックス要素をパラメータ符号化部111に供給する。
エントロピー符号化部104には、パラメータ符号化部111から量子化変換係数と符号化パラメータが入力される。エントロピー符号化部104はこれらをエントロピー符号化して符号化データTeを生成し、出力する。
予測パラメータ導出部120は、符号化パラメータ決定部110から入力されたパラメータからターインター予測パラメータ及びイントラ予測パラメータを導出する。導出されたターインター予測パラメータ及びイントラ予測パラメータは、パラメータ符号化部111に出力される。
加算部106は、予測画像生成部101から入力された予測ブロックの画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記３種類のフィルタを含まなくてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。
参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。
符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
なお、上述した実施形態における画像符号化装置11、画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成部308、逆量子化・逆変換部311、加算部312、予測パラメータ導出部320、予測画像生成部101、減算部102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置11、画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像符号化装置11、画像復号装置31の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置11、画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
本実施の形態を図1に基づいて説明すると、符号化データを復号して復号画像を生成する画像復号装置と、シーケンス単位に逆変換情報を補助拡張情報として復号する逆変換情報復号装置と、前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、前記逆変換情報を用いた解像度逆変換処理を、シーケンス単位で適用するかピクチャ単位で適用するかの情報を復号することを特徴とする動画像復号装置である。
また、符号化データを復号して復号画像を生成する画像復号装置と、逆変換情報を補助拡張情報としてシーケンス単位に復号する逆変換情報復号装置と、前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、前記逆変換情報を用いた解像度逆変換処理を、階層(レイヤ)毎に適用するかの情報を復号することを特徴とする動画像復号装置である。
また、画像を符号化して符号化データを生成する画像符号化装置と、前記符号化データを復号した時の復号画像の解像度を逆変換するための逆変換情報を生成する逆変換情報生成装置と、前記逆変換情報を補助拡張情報としてシーケンス単位に符号化する逆変換情報符号化装置を有し、前記逆変換情報を用いた解像度逆変換処理をシーケンス単位で適用するかピクチャ単位で適用するかの情報を符号化することを特徴とする動画像符号化装置である。
また、画像を符号化して符号化データを生成する画像符号化装置と、前記符号化データを復号した時の復号画像の解像度を逆変換するための逆変換情報を生成する逆変換情報生成装置と、前記逆変換情報を補助拡張情報としてシーケンス単位に符号化する逆変換情報符号化装置を有し、前記逆変換情報を用いた解像度逆変換処理を、階層(レイヤ)毎に適用するかの情報を符号化することを特徴とする動画像符号化装置である。

本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
1 動画像伝送システム
30 動画像復号装置
31 画像復号装置
301 エントロピー復号部
302 パラメータ復号部
305、107 ループフィルタ
306、109 参照ピクチャメモリ
307、108 予測パラメータメモリ
308、101 予測画像生成部
311、105 逆量子化・逆変換部
312、106 加算部
320 予測パラメータ導出部
10 動画像符号化装置
11 画像符号化装置
102 減算部
103 変換・量子化部
104 エントロピー符号化部
110 符号化パラメータ決定部
111 パラメータ符号化部
120 予測パラメータ導出部
71 逆変換情報作成装置
81 逆変換情報符号化装置
91 逆変換情報復号装置
611 NNフィルタ部

Claims (4)

  1. 符号化データを復号して復号画像を生成する画像復号装置と、
    シーケンス単位に逆変換情報を補助拡張情報として復号する逆変換情報復号装置と、
    前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、
    前記逆変換情報を用いた解像度逆変換処理を、シーケンス単位で適用するかピクチャ単位で適用するかの情報を復号することを特徴とする動画像復号装置。
  2. 符号化データを復号して復号画像を生成する画像復号装置と、
    逆変換情報を補助拡張情報としてシーケンス単位に復号する逆変換情報復号装置と、
    前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、
    前記逆変換情報を用いた解像度逆変換処理を、階層毎に適用するかの情報を復号することを特徴とする動画像復号装置。
  3. 画像を符号化して符号化データを生成する画像符号化装置と、
    前記符号化データを復号した時の復号画像の解像度を逆変換するための逆変換情報を生成する逆変換情報生成装置と、
    前記逆変換情報を補助拡張情報としてシーケンス単位に符号化する逆変換情報符号化装置を有し、
    前記逆変換情報を用いた解像度逆変換処理をシーケンス単位で適用するかピクチャ単位で適用するかの情報を符号化することを特徴とする動画像符号化装置。
  4. 画像を符号化して符号化データを生成する画像符号化装置と、
    前記符号化データを復号した時の復号画像の解像度を逆変換するための逆変換情報を生成する逆変換情報生成装置と、
    前記逆変換情報を補助拡張情報としてシーケンス単位に符号化する逆変換情報符号化装置を有し、
    前記逆変換情報を用いた解像度逆変換処理を、階層毎に適用するかの情報を符号化することを特徴とする動画像符号化装置。
JP2022153692A 2022-09-27 2022-09-27 動画像符号化装置、動画像復号装置 Pending JP2024047918A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2022153692A JP2024047918A (ja) 2022-09-27 2022-09-27 動画像符号化装置、動画像復号装置
EP23150460.6A EP4346213A1 (en) 2022-09-27 2023-01-05 Video coding apparatus and video decoding apparatus
CN202310027184.XA CN117793369A (zh) 2022-09-27 2023-01-09 运动图像编码装置、运动图像解码装置
US18/094,815 US20240107040A1 (en) 2022-09-27 2023-01-09 Video coding apparatus and video decoding apparatus
AU2023200601A AU2023200601A1 (en) 2022-09-27 2023-02-06 Video coding apparatus and video decoding apparatus
KR1020230019977A KR20240043648A (ko) 2022-09-27 2023-02-15 동화상 부호화 장치, 동화상 복호 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022153692A JP2024047918A (ja) 2022-09-27 2022-09-27 動画像符号化装置、動画像復号装置

Publications (1)

Publication Number Publication Date
JP2024047918A true JP2024047918A (ja) 2024-04-08

Family

ID=84829884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022153692A Pending JP2024047918A (ja) 2022-09-27 2022-09-27 動画像符号化装置、動画像復号装置

Country Status (6)

Country Link
US (1) US20240107040A1 (ja)
EP (1) EP4346213A1 (ja)
JP (1) JP2024047918A (ja)
KR (1) KR20240043648A (ja)
CN (1) CN117793369A (ja)
AU (1) AU2023200601A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021064413A1 (en) * 2019-10-02 2021-04-08 V-Nova International Limited Use of embedded signalling for backward-compatible scaling improvements and super-resolution signalling
JP2022096879A (ja) * 2020-12-18 2022-06-30 シャープ株式会社 動画像符号化装置、復号装置

Also Published As

Publication number Publication date
EP4346213A1 (en) 2024-04-03
US20240107040A1 (en) 2024-03-28
AU2023200601A1 (en) 2024-04-18
CN117793369A (zh) 2024-03-29
KR20240043648A (ko) 2024-04-03

Similar Documents

Publication Publication Date Title
US9143789B2 (en) Quantization matrix compression in video coding
CA2951522C (en) Extensible design of nesting supplemental enhancement information (sei) messages
JP6352248B2 (ja) 画像復号装置、および画像符号化装置
JP6761045B2 (ja) ビデオのための色再マッピング情報補足エンハンスメント情報メッセージを生成するための方法およびシステム
WO2019079117A1 (en) CHROMINANCE QUANTIFICATION PARAMETER (QP) SHIFT
KR102290091B1 (ko) 다계층 기반의 영상 부호화/복호화 방법 및 장치
KR20160096181A (ko) 멀티-계층 비디오 코딩에서의 색역 스케일러빌러티를 위한 3ｄ 룩업 테이블에 대한 컬러 값들의 시그널링
EP2206349A2 (en) Methods and apparatus for inter-layer residue prediction for scalable video
EP3132607B1 (en) Signaling reference layers for 3d color prediction for color gamut scalability
KR20160096180A (ko) 멀티-계층 비디오 코딩에서의 색역 스케일러빌러티를 위한 3ｄ 룩업 테이블에 대한 파티션 정보의 시그널링
JP2021136460A (ja) 画像復号装置及び画像符号化装置
JP2022553128A (ja) マルチレイヤビデオビットストリームにおけるアクセスユニット内の混在したｉｒａｐおよび非ｉｒａｐピクチャのサポート
KR20220101711A (ko) Nal 유닛 관련 정보 기반 영상 또는 비디오 코딩
KR20220101712A (ko) 슬라이스 또는 픽처에 대한 nal 유닛 타입 기반 영상 또는 비디오 코딩
WO2022191064A1 (ja) 動画像符号化装置、復号装置
JP2024047918A (ja) 動画像符号化装置、動画像復号装置
KR20230016655A (ko) 로컬 이중 트리 모드 유형 정의가 있는 팔레트 모드
CN112616059A (zh) 运动图像变换装置以及方法、编码数据生成装置
US20230421785A1 (en) Video coding apparatus and video decoding apparatus
WO2023112784A1 (ja) 動画像復号装置、ポスト画像処理装置、動画像符号化装置、動画像復号方法及び動画像符号化方法
KR20160005027A (ko) 비디오 신호 처리 방법 및 장치
US20230328292A1 (en) Video coding apparatus and video decoding apparatus
WO2023136257A1 (ja) 動画像符号化装置、動画像復号装置
US20240098253A1 (en) Coefficients Coding In Transform Skip Mode
WO2024009877A1 (ja) 動画像復号装置および動画像符号化装置