JP2024087742A - ビデオ符号化においてニューラルネットワークポストフィルタ目的情報をシグナリングするためのシステム及び方法 - Google Patents

ビデオ符号化においてニューラルネットワークポストフィルタ目的情報をシグナリングするためのシステム及び方法 Download PDF

Info

Publication number
JP2024087742A
JP2024087742A JP2023032906A JP2023032906A JP2024087742A JP 2024087742 A JP2024087742 A JP 2024087742A JP 2023032906 A JP2023032906 A JP 2023032906A JP 2023032906 A JP2023032906 A JP 2023032906A JP 2024087742 A JP2024087742 A JP 2024087742A
Authority
JP
Japan
Prior art keywords
nnpfc
post
neural network
video
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023032906A
Other languages
English (en)
Inventor
デシュパンダ サーチン
Deshpande Sachin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2024087742A publication Critical patent/JP2024087742A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Figure 2024087742000001
【課題】符号化されたビデオのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングするデバイス及び方法を提供する。
【解決手段】ビットストリームを受信しビデオデータを再生成する任意のデバイスを含むビデオ復号装置は、ニューラルネットワークポストフィルタ特性メッセージを受信し、ニューラルネットワークポストフィルタ特性メッセージから、ポストフィルタの目的を示す第１のシンタックス要素をパースし、ポストフィルタの目的を示すシンタックス要素と、ポストフィルタの目的、入力フォーマッティング、出力フォーマッティング及び複雑さに関係するシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースする。第１のシンタックス要素は、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する。
【選択図】図６

Description

本開示は、ビデオ符号化に関し、より詳細には、符号化されたビデオのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングする技術に関する。
デジタルビデオ能力は、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレット型コンピュータ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、いわゆるスマートフォンを含むセルラー電話、医療用イメージングデバイスなどを含む、広範囲のデバイスに組み込むことができる。デジタルビデオは、ビデオ符号化規格に従って符号化されてもよい。ビデオ符号化規格は、符号化されたビデオデータをカプセル化する準拠ビットストリームのフォーマットを定義する。準拠ビットストリームは、復元されたビデオデータを生成するために、ビデオ復号デバイスによって受信及び復号され得るデータ構造である。ビデオ符号化規格は、ビデオ圧縮技術を組み込んでもよい。ビデオ符号化規格の例としては、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｖｉｓｕａｌ及びＩＴＵ－Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ ＡＶＣとしても公知である）並びにＨｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）が挙げられる。ＨＥＶＣは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ），Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６５（２０１６年１２月）に記載されており、参照により本明細書に組み込まれ、本明細書ではＩＴＵ－Ｔ Ｈ．２６５と称する。ＩＴＵ－Ｔ Ｈ．２６５に関する拡張及び改善が、次世代ビデオ符号化規格の開発のために考えられている。例えば、ＩＴＵ－Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ（ＪＶＥＴ）と集合的に呼ばれる）は、現在のＨＥＶＣ規格の圧縮能力を著しく上回る圧縮能力を有する規格化されたビデオ符号化技術を有する。Ｔｈｅ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ ７（ＪＥＭ ７），Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ７（ＪＥＭ ７），ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｄｏｃｕｍｅｎｔ：ビデオ符号化技術を、ＩＴＵ－Ｔ Ｈ．２６５の能力を超えて向上させる可能性を有するものとして、ＪＶＥＴによって協調的試験モデル研究中であった符号化特徴について、ＪＶＥＴ－Ｇ１００１，Ｊｕｌｙ ２０１７，Ｔｏｒｉｎｏ，ＩＴが説明しており、それが参照により本明細書に組み込まれる。ＪＥＭ ７の符号化特徴は、ＪＥＭ参照ソフトウェアで実施されることに留意されたい。本明細書で使用されるとき、ＪＥＭという用語は、ＪＥＭ ７に含まれるアルゴリズム及びＪＥＭ参照ソフトウェアの実施を集合的に表し得る。更に、ＶＣＥＧ及びＭＰＥＧが共同で発行した「Ｊｏｉｎｔ Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌｓ ｏｎ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ Ｃａｐａｂｉｌｉｔｉｅｓ ｂｅｙｏｎｄ ＨＥＶＣ」に応答して、ビデオ符号化ツールに関する複数の説明が様々なグループによって、１０ｔｈ Ｍｅｅｔｉｎｇ ｏｆ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ １６－２０ Ａｐｒｉｌ ２０１８，Ｓａｎ Ｄｉｅｇｏ，ＣＡにおいて提案された。ビデオ符号化ツールの複数の説明から得られたビデオ符号化仕様の初期のドラフトテキストが、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ １）」，１０ｔｈ Ｍｅｅｔｉｎｇ ｏｆ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ １６－２０ Ａｐｒｉｌ ２０１８，Ｓａｎ Ｄｉｅｇｏ，ＣＡ，ｄｏｃｕｍｅｎｔ ＪＶＥＴ－Ｊ１００１－ｖ２において説明され、これは参照により本明細書に組み込まれ、ＪＶＥＴ－Ｊ１００１として参照される。ＶＣＥＧ及びＭＰＥＧによるビデオ符号化規格のこの開発は、汎用ビデオ符号化（ＶＶＣ）プロジェクトと呼ばれる。「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ １０）」，２０ｔｈ Ｍｅｅｔｉｎｇ ｏｆ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ７－１６ Ｏｃｔｏｂｅｒ ２０２０，Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ，ｄｏｃｕｍｅｎｔ ＪＶＥＴ－Ｔ２００１－ｖ２は、ＶＶＣプロジェクトに対応するビデオ符号化仕様のドラフトテキストの現在の反復を表し、これは参照により本明細書に組み込まれ、ＪＶＥＴ－Ｔ２００１として参照される。
ビデオ圧縮技術は、ビデオデータを記憶し送信するためのデータ要件を低減することを可能にする。ビデオ圧縮技術は、ビデオ系列における固有の冗長性を利用することにより、データ要件を低減してもよい。ビデオ圧縮技術は、ビデオ系列を連続的により小さい部分（すなわち、ビデオ系列内のピクチャ群、ピクチャ群内のピクチャ、ピクチャ内の領域、領域内のサブ領域など）に再分割し得る。イントラ予測符号化技術（例えば、ピクチャ内の空間予測技術）及びインター予測技術（すなわち、ピクチャ間技術（時間））を使用して、符号化されるビデオデータのユニットとビデオデータの参照ユニットとの間の差分値を生成してもよい。差分値は、残差データと呼ばれることがある。残差データは、量子化された変換係数として符号化されてもよい。シンタックス要素は、残差データ及び参照符号化ユニット（例えば、イントラ予測モードインデックス、及び動き情報）に関連してもよい。残差データ及びシンタックス要素は、エントロピ符号化されてもよい。エントロピ符号化された残差データ及びシンタックス要素は、準拠ビットストリームを形成するデータ構造に含まれてもよい。
概して、本開示は、ビデオデータを符号化する様々な技術を説明する。特に、本開示は、符号化されたビデオデータのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングする技術を説明する。本開示の技術は、ＩＴＵ－Ｔ Ｈ．２６４、ＩＴＵ－Ｔ Ｈ．２６５、ＪＥＭ、及びＪＶＥＴ－Ｔ２００１に関して説明されているが、本開示の技術は、ビデオ符号化に一般に適用可能であることに留意されたい。例えば、本明細書で説明する符号化技術は、ＩＴＵ－Ｔ Ｈ．２６５、ＪＥＭ、及びＪＶＥＴ－Ｔ２００１に含まれるもの以外のビデオブロック構造、イントラ予測技術、インター予測技術、変換技術、フィルタリング技術、及び／又はエントロピ符号化技術を含むビデオ符号化システム（将来のビデオ符号化規格に基づくビデオ符号化システムを含む）に組み込まれてもよい。したがって、ＩＴＵ－Ｔ Ｈ．２６４、ＩＴＵ－Ｔ Ｈ．２６５、ＪＥＭ、及び／又はＪＶＥＴ－Ｔ２００１の参照は、説明のためのものであり、本明細書で説明する技術の範囲を限定するように解釈すべきではない。更に、本明細書での文書の参照による組み込みは、説明のためのものであり、本明細書で使用される用語に関して限定する又は曖昧さを生むように解釈されるべきではないことに留意されたい。例えば、組み込まれた参照が、別の組み込まれた参照のものとは異なる用語の定義を与える場合、かつ／又はその用語が本明細書で使用されるような場合には、その用語は、それぞれの対応する定義を幅広く含むように、及び／又は代わりに特定の定義のそれぞれを含むように解釈されるべきである。
一実施例では、ビデオデータを符号化する方法は、ニューラルネットワークポストフィルタ特性メッセージをシグナリングすることと、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングすることと、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングすることあって、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、第２のシンタックス要素をシグナリングすることと、を含む。
一実施例では、デバイスは、ニューラルネットワークポストフィルタ特性メッセージをシグナリングし、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングし、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングし、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、ように構成された１つ以上のプロセッサを備える。
一実施例では、非一時的コンピュータ可読記憶媒体は、実行されると、デバイスの１つ以上のプロセッサに、ニューラルネットワークポストフィルタ特性メッセージをシグナリングさせ、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングさせ、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングさせ、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、その上に記憶された命令を含む。
一実施例では、装置は、ニューラルネットワークポストフィルタ特性メッセージをシグナリングする手段と、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングする手段と、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングする手段であって、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、第２のシンタックス要素をシグナリングする手段と、を備える。
一実施例では、ビデオデータを復号する方法は、ニューラルネットワークポストフィルタ特性メッセージを受信することと、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースすることと、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースすることであって、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、第２のシンタックス要素をパースすることと、を含む。
一実施例では、デバイスは、ニューラルネットワークポストフィルタ特性メッセージを受信し、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースし、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースし、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、ように構成された１つ以上のプロセッサを備える。
一実施例では、非一時的コンピュータ可読記憶媒体は、実行されると、デバイスの１つ以上のプロセッサに、ニューラルネットワークポストフィルタ特性メッセージを受信させ、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースさせ、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースさせ、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、その上に記憶された命令を含む。
一実施例では、装置は、ニューラルネットワークポストフィルタ特性メッセージを受信する手段と、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースする手段と、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースする手段であって、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、第２のシンタックス要素をパースする手段と、を備える。
１つ以上の例の詳細は、添付の図面及び以下の明細書に記述されている。他の特徴、目的、及び利点は、明細書及び図面から、並びに特許請求の範囲から明白であろう。
本開示の１つ以上の技術による、ビデオデータを符号化及び復号するように構成され得るシステムの一例を示すブロック図である。 本開示の１つ以上の技術による、符号化されたビデオデータ及び対応するデータ構造を示す概念図である。 本開示の１つ以上の技術による、符号化されたビデオデータ及び対応するメタデータをカプセル化するデータ構造を示す概念図である。 本開示の１つ以上の技術による、ビデオデータを符号化及び復号するように構成され得るシステムの実装形態に含まれ得る構成要素の一例を示す概念図である。 本開示の１つ以上の技術による、ビデオデータを符号化するように構成され得るビデオ符号化装置の一例を示すブロック図である。 本開示の１つ以上の技術による、ビデオデータを復号するように構成され得るビデオ復号装置の一例を示すブロック図である。 本開示の１つ以上の技術による、ルマ成分のパックされたデータチャネルの一例を示す概念図である。
ビデオコンテンツは、一連のフレーム（又はピクチャ）からなるビデオ系列を含む。一連のフレームはまた、ピクチャ群（group of pictures、ＧＯＰ）と呼ばれることがある。各ビデオフレーム又はピクチャは、１つ以上の領域に分割され得る。領域は、ベースユニット（例えば、ビデオブロック）と、領域を定義するルールのセットとに従って定義され得る。例えば、領域を定義するルールは、領域が長方形に配置された整数個のビデオブロックでなければならないというものであり得る。更に、領域中のビデオブロックは、走査パターン（例えば、ラスタ走査）に従って順序付けされてもよい。本明細書で使用されるとき、ビデオブロックという用語は、一般的に、ピクチャのある区域を指してもよく、又は、より具体的には、予測的に符号化され得るサンプル値の最大配列、その再分割、及び／又は対応する構造を指してもよい。更に、現在のビデオブロックという用語は、符号化又は復号されているピクチャの部分を指してもよい。ビデオブロックは、サンプル値の配列として定義され得る。いくつかの場合では、画素値が、色成分（例えば、ルマ成分（Ｙ）及びクロマ成分（Ｃｂ及びＣｒ）、あるいは赤色、緑色、及び青色の成分）とも呼ばれることがあるビデオデータのそれぞれの成分についてのサンプル値を含むものとして説明され得ることに留意されたい。いくつかの場合では、画素値及びサンプル値という用語は互換的に使用されることに留意されたい。更に、いくつかの場合では、画素又はサンプルは、ペルと呼ばれることがある。クロマフォーマットと称され得るビデオサンプリングフォーマットは、ビデオブロックに含まれるルマサンプルの数に対するビデオブロックに含まれるクロマサンプルの数として定義されてもよい。例えば、４：２：０フォーマットに対して、ルマ成分に対するサンプリングレートは、水平方向及び垂直方向の両方に対してクロマ成分のサンプリングレートの２倍である。
ビデオ符号化装置は、ビデオブロック及びその再分割に対して予測符号化を実行してもよい。ビデオブロック及びその再分割は、ノードと呼ばれることがある。ＩＴＵ－Ｔ Ｈ．２６４は、１６×１６のルマサンプルを含むマクロブロックを規定している。すなわち、ＩＴＵ－Ｔ Ｈ．２６４では、ピクチャはマクロブロックに分割される。ＩＴＵ－Ｔ Ｈ．２６５は、類似の符号化ツリーユニット（ＣＴＵ）構造（最大符号化ユニット（ＬＣＵ）と呼ばれることがある）を指定する。ＩＴＵ－Ｔ Ｈ．２６５では、ピクチャはＣＴＵに分割される。ＩＴＵ－Ｔ Ｈ．２６５では、１つのピクチャに関して、ＣＴＵサイズは、１６×１６、３２×３２、又は６４×６４のルマサンプルを含むように設定されてもよい。ＩＴＵ－Ｔ Ｈ．２６５では、ＣＴＵは、ビデオデータのそれぞれの成分（例えば、ルマ（Ｙ）及びクロマ（Ｃｂ及びＣｒ）についてのそれぞれの符号化ツリーブロック（ＣＴＢ）（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）から構成される。１つのルマ成分及び２つの対応するクロマ成分を有するビデオは、２つのチャネル、すなわち、ルマチャネル及びクロマチャネルを有するものとして説明され得ることに留意されたい。更に、ＩＴＵ－Ｔ Ｈ．２６５では、ＣＴＵを四分ツリー（ＱＴ）分割構造に従って分割してもよく、その結果、ＣＴＵのＣＴＢが、符号化ブロック（ＣＢ：Ｃｏｄｉｎｇ Ｂｌｏｃｋ）に分割される。すなわち、ＩＴＵ－Ｔ Ｈ．２６５では、ＣＴＵを四分ツリーリーフノードに分割してもよい。ＩＴＵ－Ｔ Ｈ．２６５によれば、１つのルマＣＢは、２つの対応するクロマＣＢ及び関連するシンタックス要素と共に、符号化ユニット（ＣＵ）と呼ばれる。ＩＴＵ－Ｔ Ｈ．２６５では、ＣＢの最小許容サイズをシグナリングしてもよい。ＩＴＵ－Ｔ Ｈ．２６５では、ルマＣＢの最も小さい最小許容サイズは、８×８のルマサンプルである。ＩＴＵ－Ｔ Ｈ．２６５では、イントラ予測又はインター予測を用いてピクチャ部分を符号化する決定は、ＣＵレベルで行われる。ＩＴＵ－Ｔ Ｈ．２６５では、ＣＵは、ＣＵにその根を有する予測ユニット構造に関連付けられている。ＩＴＵ－Ｔ Ｈ．２６５では、予測ユニット構造は、対応する参照サンプルを生成する目的で、ルマＣＢ及びクロマＣＢを分割することを可能にする。すなわち、ＩＴＵ－Ｔ Ｈ．２６５では、ルマＣＢ及びクロマＣＢを、それぞれのルマ及びクロマ予測ブロック（ＰＢ）に分割してもよく、ここで、ＰＢは、同じ予測が適用されるサンプル値のブロックを含む。ＩＴＵ－Ｔ Ｈ．２６５では、ＣＢを１、２、又は４個のＰＢに分割してもよい。ＩＴＵ－Ｔ Ｈ．２６５は、６４×６４のサンプルから４×４のサンプルまでのＰＢサイズをサポートする。ＩＴＵ－Ｔ Ｈ．２６５では、正方形のＰＢがイントラ予測のためにサポートされ、ここで、ＣＢはＰＢを形成し得るか、又は、ＣＢは４つの正方形のＰＢに分割され得る。ＩＴＵ－Ｔ Ｈ．２６５では、正方形のＰＢの他に、矩形のＰＢがインター予測のためにサポートされ、ここで、ＣＢを垂直又は水平に二等分してＰＢを形成してもよい。更に、ＩＴＵ－Ｔ Ｈ．２６５では、インター予測のために、４つの非対称ＰＢ分割がサポートされ、ここで、ＣＢは、ＣＢの高さ（上部又は下部で）又は幅（左又は右で）の４分の１で２つのＰＢに分割される。ＰＢに対応するイントラ予測データ（例えば、イントラ予測モードシンタックス要素）又はインター予測データ（例えば、動きデータシンタックス要素）を使用して、ＰＢに関する参照サンプル値及び／又は予測サンプル値が生成される。
ＪＥＭは、２５６×２５６のルマサンプルの最大サイズを有するＣＴＵを規定している。ＪＥＭは、四分ツリー＋二分ツリー（ＱＴＢＴ）ブロック構造を規定している。ＪＥＭでは、ＱＴＢＴ構造は、四分ツリーリーフノードを二分ツリー構造（ＢＴ）によって更に分割することを可能にする。すなわち、ＪＥＭでは、二分ツリー構造は、四分ツリーリーフノードを垂直又は水平に再帰的に分割することを可能にする。ＪＶＥＴ－Ｔ２００１では、ＣＴＵは、四分ツリープラスマルチタイプツリー（ＱＴＭＴ又はＱＴ＋ＭＴＴ）構造に従って分割される。ＪＶＥＴ－Ｔ２００１におけるＱＴＭＴは、ＪＥＭにおけるＱＴＢＴと同様である。ただし、ＪＶＥＴ－Ｔ２００１では、マルチタイプ木は二元分割を示すことに加えて、いわゆる三元（又はトリプル木（ＴＴ））分割を示してもよい。ターナリ分割は、ブロックを垂直又は水平に３つのブロックに分割する。垂直ＴＴ分割の場合、ブロックは、左端からその幅の４分の１で、及び右端からその幅の４分の１で分割され、水平ＴＴ分割の場合、ブロックは、上端からその高さの４分の１で、及び下端からその高さの４分の１で分割される。
上述したように、各ビデオフレーム又はピクチャは、１つ以上の領域に分割され得る。例えば、ＩＴＵ－Ｔ Ｈ．２６５によれば、各ビデオフレーム又はピクチャは、１つ以上のスライスを含むように分割され、更に、１つ以上のタイルを含むように分割され得、ここで、各スライスは、（例えば、ラスタ走査順序で）ＣＴＵのシーケンスを含み、タイルは、ピクチャの矩形部分に対応するＣＴＵのシーケンスである。スライスは、ＩＴＵ－Ｔ Ｈ．２６５では、独立スライスセグメントから始まり、次の独立スライスセグメント（もしあれば）に先行する全ての以降の従属スライスセグメント（もしあれば）を含む１つ以上のスライスセグメントのシーケンスであることに留意されたい。スライスセグメントは、スライスと同様に、ＣＴＵのシーケンスである。したがって、いくつかの場合では、スライス及びスライスセグメントという用語は、ラスタ走査順序で配置されたＣＴＵのシーケンスを示すために互換的に使用されてもよい。更に、ＩＴＵ－Ｔ Ｈ．２６５では、タイルは、２つ以上のスライスに含まれるＣＴＵからなっていてもよく、スライスは、２つ以上のタイルに含まれるＣＴＵからなっていてもよいことに留意されたい。しかしながら、ＩＴＵ－Ｔ Ｈ．２６５は、以下の条件のうちの１つ又は両方が満たされなければならないと規定している。（１）あるスライス中の全てのＣＴＵは同じタイルに属する、及び（２）あるタイル中の全てのＣＴＵは同じスライスに属する。
ＪＶＥＴ－Ｔ２００１に関して、スライスは、整数個のＣＴＵからなることのみが必要とされる代わりに、整数個の完全なタイル又はタイル内の整数個の連続する完全なＣＴＵ行からなることが必要とされる。ＪＶＥＴ－Ｔ２００１では、スライス設計はスライスセグメントを含まない（すなわち、独立／従属スライスセグメントがない）ことに留意されたい。したがって、ＪＶＥＴ－Ｔ２００１では、ピクチャは単一のタイルを含み得、ここで、単一のタイルは単一のスライス内に含まれるか、又は、ピクチャは複数のタイルを含み得、ここで、複数のタイル（又はそのＣＴＵ行）は１つ以上のスライス内に含まれ得る。ＪＶＥＴ－Ｔ２００１では、ピクチャのタイルへの分割は、タイル行のそれぞれの高さ及びタイル列のそれぞれの幅を指定することによって指定される。したがって、ＪＶＥＴ－Ｔ２００１では、タイルは、特定のタイル行及び特定のタイル列位置内のＣＴＵの矩形領域である。更に、ＪＶＥＴ－Ｔ２００１は、ピクチャがサブピクチャに分割され得、サブピクチャがピクチャ内のＣＴＵの矩形領域である場合を規定することに留意されたい。サブピクチャの左上ＣＴＵは、サブピクチャが１つ以上のスライスを含むように制約された状態で、ピクチャ内の任意のＣＴＵ位置に位置し得る。したがって、タイルとは異なり、サブピクチャは、必ずしも特定の行及び列位置に限定されない。サブピクチャは、ピクチャ内の関心領域をカプセル化するために有用であり得、サブビットストリーム抽出プロセスは、特定の関心領域を復号及び表示するためにのみ使用されてもよいことに留意されたい。すなわち、以下で更に詳細に説明するように、符号化されたビデオデータのビットストリームは、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットのシーケンスを含み、ここで、ＮＡＬユニットは、符号化されたビデオデータ（すなわち、ピクチャのスライスに対応するビデオデータ）をカプセル化するか、又は、ＮＡＬユニットは、ビデオデータを復号するために使用されるメタデータ（例えば、パラメータセット）をカプセル化し、サブビットストリーム抽出プロセスは、ビットストリームから１つ以上のＮＡＬユニットを除去することによって新しいビットストリームを形成する。
図２は、タイル、スライス、及びサブピクチャに従って分割されたピクチャ群内のピクチャの一例を示す概念図である。本明細書で説明する技術は、タイル、スライス、サブピクチャ、それらの再分割、及び／又はそれらの等価構造に適用可能であり得ることに留意されたい。すなわち、本明細書で説明する技術は、ピクチャがどのように領域に分割されるかにかかわらず、一般に適用可能であり得る。例えば、いくつかの場合では、本明細書で説明する技術は、タイルがいわゆるブリックに分割され得る場合に適用可能であり得、ここで、ブリックは特定のタイル内のＣＴＵ行の矩形領域である。更に、例えば、いくつかの場合では、本明細書で説明する技術は、１つ以上のタイルがいわゆるタイル群に含まれてもよい場合に適用可能であってもよく、ここで、タイル群は整数個の隣接タイルを含む。図２に示す例では、Ｐｉｃ３は、１６個のタイル（すなわち、Ｔｉｌｅ０からＴｉｌｅ１５）と、３つのスライス（すなわち、Ｓｌｉｃｅ０からＳｌｉｃｅ２）とを含むものとして示されている。図２に示す例では、Ｓｌｉｃｅ０は４つのタイル（すなわち、Ｔｉｌｅ０からＴｉｌｅ３）を含み、Ｓｌｉｃｅ１は８つのタイル（すなわち、Ｔｉｌｅ４からＴｉｌｅ１１）を含み、Ｓｌｉｃｅ２は４つのタイル（すなわち、Ｔｉｌｅ１２からＴｉｌｅ１５）を含む。更に、図２の例に示すように、Ｐｉｃ３は、２つのサブピクチャ（すなわち、Ｓｕｂｐｉｃｔｕｒｅ０及びＳｕｂｐｉｃｔｕｒｅ１）を含むものとして示され、ここで、Ｓｕｂｐｉｃｔｕｒｅ０はＳｌｉｃｅ０及びＳｌｉｃｅ１を含み、Ｓｕｂｐｉｃｔｕｒｅ１はＳｌｉｃｅ２を含む。上述したように、サブピクチャは、ピクチャ内の関心領域をカプセル化するために有用であり得、サブビットストリーム抽出プロセスは、関心領域を選択的に復号（及び表示）するために使用されてもよい。例えば、図２を参照すると、Ｓｕｂｐｉｃｔｕｒｅ０は、スポーツイベントプレゼンテーションのアクション部分（例えば、フィールドのビュー）に対応してもよく、Ｓｕｂｐｉｃｔｕｒｅ１は、スポーツイベントプレゼンテーション中に表示されるスクロールバナーに対応してもよい。このようにしてピクチャをサブピクチャに編成することによって、視聴者はスクロールバナーの表示を無効にすることができてもよい。すなわち、サブビットストリーム抽出プロセスを通して、Ｓｌｉｃｅ２ＮＡＬユニットがビットストリームから除去され得（したがって、復号及び／又は表示されないことがあり）、Ｓｌｉｃｅ０ＮＡＬユニット及びＳｌｉｃｅ１ＮＡＬユニットが復号及び表示され得る。それぞれのＮＡＬユニットデータ構造へのピクチャのスライスのカプセル化及びサブビットストリーム抽出は、以下で更に詳細に説明される。
イントラ予測符号化のために、イントラ予測モードは、ピクチャ内の参照サンプルの位置を指定してもよい。ＩＴＵ－Ｔ Ｈ．２６５では、定義された可能なイントラ予測モードは、平面（すなわち、曲面当てはめ）予測モード、ＤＣ（すなわち、単調全体平均化）予測モード、及び３３角度予測モード（ｐｒｅｄＭｏｄｅ：２－３４）を含む。ＪＥＭでは、定義された可能なイントラ予測モードは、平面予測モード、ＤＣ予測モード、及び６５角度予測モードを含む。平面及びＤＣ予測モードは、非方向性予測モードと呼ばれることがあり、角度予測モードは、方向性予測モードと呼ばれることがあることに留意されたい。本明細書で説明する技術は、定義された可能な予測モードの数にかかわらず、一般的に適用可能であり得ることに留意されたい。
インター予測符号化の場合、参照ピクチャが判定され、動きベクトル（ＭＶ）が、現在のビデオブロックのための予測を生成するために使用される参照ピクチャ中のサンプルを識別する。例えば、現在のビデオブロックは、１つ以上の前に符号化されたピクチャ中に位置する参照サンプル値を使用して予測され得、動きベクトルは、現在のビデオブロックに対する参照ブロックの位置を示すために使用される。動きベクトルは、例えば、動きベクトルの水平変位成分（すなわち、ＭＶｘ）、動きベクトルの垂直変位成分（すなわち、ＭＶｙ）、及び動きベクトルの解像度（例えば、１／４画素精度、１／２画素精度、１画素精度、２画素精度、４画素精度）を記述してもよい。現在のピクチャの前又は後に出力されるピクチャを含み得る、前に復号されたピクチャは、１つ以上の参照ピクチャリストに編成され、参照ピクチャインデックス値を使用して識別され得る。更に、インター予測符号化では、単予測とは、単一の参照ピクチャからのサンプル値を使用して予測を生成することを指し、双予測とは、２つの参照ピクチャからのそれぞれのサンプル値を使用して予測を生成することを指す。すなわち、単予測では、単一の参照ピクチャ及び対応する動きベクトルが、現在のビデオブロックのための予測を生成するために使用され、双予測では、第１の参照ピクチャ及び対応する第１の動きベクトル、並びに第２の参照ピクチャ及び対応する第２の動きベクトルが、現在のビデオブロックのための予測を生成するために使用される。双予測では、予測を生成するために、それぞれのサンプル値が組み合わせられる（例えば、重みに従って加算され、丸められ、クリッピングされるか、又は平均化される）。ピクチャ及びその領域は、そのビデオブロックを符号化するためにどの種類の予測モードが利用され得るかに基づいて分類され得る。すなわち、Ｂタイプ（例えば、Ｂスライス）を有する領域については、双予測モード、単予測モード、及びイントラ予測モードが利用され得、Ｐタイプ（例えば、Ｐスライス）を有する領域については、単予測モード及びイントラ予測モードが利用され得、Ｉタイプ（例えば、Ｉスライス）を有する領域については、イントラ予測モードのみが利用され得る。上述したように、参照ピクチャは、参照インデックスによって識別される。例えば、Ｐスライスでは、単一の参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０があり得、Ｂスライスでは、ＲｅｆＰｉｃＬｉｓｔ０に加えて、第２の独立した参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１があり得る。Ｂスライス中の単予測では、予測を生成するためにＲｅｆＰｉｃＬｉｓｔ０又はＲｅｆＰｉｃＬｉｓｔ１のうちの１つを使用してもよいことに留意されたい。更に、復号プロセス中、ピクチャの復号の開始時に、復号ピクチャバッファ（ＤＰＢ）に記憶された前に復号されたピクチャから参照ピクチャリストが生成されることに留意されたい。
更に、符号化規格は、動きベクトル予測の様々なモードをサポートし得る。動きベクトル予測は、現在のビデオブロックについての動きベクトルの値が別の動きベクトルに基づいて導出されることを可能にする。例えば、関連する動き情報を有する候補ブロックのセットは、現在のビデオブロックに対する空間隣接ブロック及び時間隣接ブロックから導出され得る。更に、生成された（又はデフォルトの）動き情報は、動きベクトル予測のために使用されてもよい。動きベクトル予測の例としては、高度動きベクトル予測（advanced motion vector prediction）（ＡＭＶＰ）、時間動きベクトル予測（temporal motion vector prediction）（ＴＭＶＰ）、いわゆる「結合」モード、並びに「スキップ」及び「ダイレクト」動き推測が挙げられる。更に、動きベクトル予測の他の例としては、高度時間動きベクトル予測（advanced temporal motion vector prediction）（ＡＴＭＶＰ）及び空間時間動きベクトル予測（Spatial-temporal motion vector prediction）（ＳＴＭＶＰ）が挙げられる。動きベクトル予測では、ビデオ符号化装置とビデオ復号装置の両方が、候補のセットを導出するために同じプロセスを実行する。したがって、現在のビデオブロックについて、符号化及び復号中に候補の同じセットが生成される。
上述したように、インター予測符号化では、前に符号化されたピクチャ中の参照サンプルが、現在のピクチャ中のビデオブロックを符号化するために使用される。現在のピクチャを符号化するときに参照として使用するために利用可能である、前に符号化されたピクチャは、参照ピクチャと呼ばれる。復号順序は、ピクチャ出力順序、すなわち、ビデオ系列中のピクチャの時間順序に必ずしも対応しないことに留意されたい。ＩＴＵ－Ｔ Ｈ．２６５では、ピクチャが復号されるとき、ピクチャは復号ピクチャバッファ（ＤＰＢ）（フレームバッファ、参照バッファ、参照ピクチャバッファなどと呼ばれることがある）に記憶される。ＩＴＵ－Ｔ Ｈ．２６５では、ＤＰＢに記憶されたピクチャは、それらが出力され、以降のピクチャを符号化するためにもはや必要とされないとき、ＤＰＢから除去される。ＩＴＵ－Ｔ Ｈ．２６５では、ピクチャがＤＰＢから除去されるべきかどうかの判定は、スライスヘッダを復号した後、すなわち、ピクチャの復号の開始時に、ピクチャごとに１回実施される。例えば、図２を参照すると、Ｐｉｃ２はＰｉｃ１を参照するものとして示されている。同様に、Ｐｉｃ３はＰｉｃ０を参照するものとして示されている。図２に関して、ピクチャ番号が復号順序に対応すると仮定すると、ＤＰＢは以下のようにポピュレートされる：Ｐｉｃ０を復号した後に、ＤＰＢは｛Ｐｉｃ０｝を含み、Ｐｉｃ１の復号の開始時に、ＤＰＢは｛Ｐｉｃ０｝を含み、Ｐｉｃ１を復号した後に、ＤＰＢは｛Ｐｉｃ０，Ｐｉｃ１｝を含み、Ｐｉｃ２の復号の開始時に、ＤＰＢは｛Ｐｉｃ０，Ｐｉｃ１｝を含む。次に、Ｐｉｃ２は、Ｐｉｃ１を参照して復号され、Ｐｉｃ２を復号した後に、ＤＰＢは、｛Ｐｉｃ０，Ｐｉｃ１，Ｐｉｃ２｝を含む。Ｐｉｃ３の復号の開始時に、ピクチャＰｉｃ０及びＰｉｃ１は、Ｐｉｃ３（又は、図示されていない任意の以降のピクチャ）を復号するために必要とされないので、ＤＰＢから除去するためにマークされ、Ｐｉｃ１及びＰｉｃ２が出力されたと仮定すると、ＤＰＢは、｛Ｐｉｃ０｝を含むように更新される。次に、Ｐｉｃ３は、Ｐｉｃ０を参照することによって復号される。ＤＰＢから除去するためにピクチャをマークするプロセスは、参照ピクチャセット（ＲＰＳ）管理と呼ばれることがある。
上述したように、イントラ予測データ又はインター予測データは、サンプル値のブロックに対する参照サンプル値を生成するために使用される。現在のＰＢ又は別の種類のピクチャ部分構造に含まれるサンプル値と、関連する参照サンプル（例えば、予測を用いて生成された参照サンプル）との差は、残差データと呼ばれることがある。残差データは、ビデオデータの各成分に対応する差分値のそれぞれの配列を含んでもよい。残差データは、画素領域内にあってもよい。離散コサイン変換（discrete cosine transform）（ＤＣＴ）、離散サイン変換（discrete sine transform）（ＤＳＴ）、整数変換、ウェーブレット変換、又は概念的に類似の変換などの変換を、差分値の配列に適用して、変換係数を生成してもよい。ＩＴＵ－Ｔ Ｈ．２６５及びＪＶＥＴ－Ｔ２００１では、ＣＵは、ルートをＣＵレベルにおいて有する変換ツリー構造に関連付けられることに留意されたい。変換ツリーは、１つ以上の変換ユニット（ＴＵ）に分割される。すなわち、変換係数を生成する目的で、差分値の配列を分割してもよい（例えば、４つの８×８変換を残差値の１６×１６の配列に適用してもよい）。ビデオデータの各成分について、差分値のこのような再分割は、変換ブロック（ＴＢ）（Transform Block）と呼ばれることがある。いくつかの場合では、コア変換及び以降の二次変換をビデオ符号化装置で）適用して変換係数を生成してもよいことに留意されたい。ビデオ復号装置に対しては、変換の順序は逆転される。
量子化プロセスが、（例えば、パレット符号化量子化の場合）変換係数又は残差サンプル値に対して直接実行され得る。量子化は、特定の値のセットに制限された振幅によって変換係数を近似する。量子化は、変換係数の群を表すために必要なデータ量を変更するために、変換係数を本質的にスケーリングする。量子化は、量子化倍率による変換係数（又は、変換係数へのオフセット値の加算から得られる値）の除算及び任意の関連する丸め関数（例えば、最も近い整数への丸め）を含んでもよい。量子化された変換係数は、係数レベル値と呼ばれることがある。逆量子化（Inverse quantization）（又は「脱量子化（dequantization）」）は、量子化倍率による係数レベル値の乗算、及び任意の相互丸め又はオフセット加算演算を含んでもよい。本明細書で使用されるとき、量子化プロセスという用語は、いくつかの場合では、レベル値を生成する量子化倍率による除算、及び、いくつかの場合では、変換係数を回復する量子化倍率による乗算を指してもよいことに留意されたい。すなわち、量子化プロセスは、いくつかの場合では、量子化、及び、いくつかの場合では、逆量子化を指してもよい。更に、以下の例のいくつかでは、量子化プロセスは、１０進数表記に関連付けられる算術演算に対して説明されるが、そのような説明は例示を目的としたものであり、限定として解釈されるべきではないことに留意されたい。例えば、本明細書で説明する技術は、２進演算などを使用するデバイスにおいて実施されてもよい。例えば、本明細書で説明する乗算演算及び除算演算は、ビットシフト演算などを使用して実施されてもよい。
量子化された変換係数及びシンタックス要素（例えば、ビデオブロックの符号化構造を示すシンタックス要素）は、エントロピ符号化技術に従ってエントロピ符号化されてもよい。エントロピ符号化プロセスは、可逆データ圧縮アルゴリズムを使用してシンタックス要素の値を符号化することを含む。エントロピ符号化技術の例としては、コンテンツ適応型可変長符号化（content adaptive variable length coding）（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術符号化（context adaptive binary arithmetic coding）（ＣＡＢＡＣ）、確率間隔分割エントロピ符号化（probability interval partitioning entropy coding）（ＰＩＰＥ）などが挙げられる。エントロピ符号化され量子化された変換係数及び対応するエントロピ符号化されたシンタックス要素は、ビデオ復号装置でビデオデータを再生するために使用することができる準拠ビットストリームを形成してもよい。エントロピ符号化プロセス、例えば、ＣＡＢＡＣは、シンタックス要素に対する二値化の実行を含んでもよい。二値化は、シンタックス要素の値を一連の１つ以上のビットに変換するプロセスを指す。これらのビットは、「ビン」と呼ばれることがある。二値化は、以下の符号化技術：固定長符号化、単項符号化、短縮単項符号化、短縮Ｒｉｃｅ符号化、Ｇｏｌｏｍｂ符号化、ｋ次指数Ｇｏｌｏｍｂ符号化、及びＧｏｌｏｍｂ－Ｒｉｃｅ符号化のうちの１つ又は組み合わせを含んでもよい。例えば、二値化は、８ビットの固定長二値化技術を使用して、０００００１０１としてシンタックス要素の５の整数値を表すこと、又は単項符号化二値化技術を使用して、１１１１０として５の整数値を表すことを含んでもよい。本明細書で使用されるとき、固定長符号化、単項符号化、短縮単項符号化、短縮Ｒｉｃｅ符号化、Ｇｏｌｏｍｂ符号化、ｋ次指数Ｇｏｌｏｍｂ符号化、及びＧｏｌｏｍｂ－Ｒｉｃｅ符号化という用語のそれぞれは、これらの技術の一般的な実装形態及び／又はこれらの符号化技術のより具体的な実装形態を指してもよい。例えば、Ｇｏｌｏｍｂ－Ｒｉｃｅ符号化の実装形態は、ビデオ符号化規格に従って具体的に定義されてもよい。ＣＡＢＡＣの例では、特定のビンについて、コンテキストは、ビンについての最確状態（most probable state）（ＭＰＳ）値（すなわち、ビンについてのＭＰＳは０又は１のうちの１つである）と、ビンがＭＰＳ又は最低確率状態（least probably state）（ＬＰＳ）である確率値とを提供する。例えば、コンテキストは、ビンのＭＰＳが０であり、ビンが１である確率が０．３であることを示してもよい。コンテキストは、現在のシンタックス要素及び前に符号化されたシンタックス要素中のビンを含む、前に符号化されたビンの値に基づいて判定されてもよいことに留意されたい。例えば、隣接するビデオブロックに関連付けられたシンタックス要素の値は、現在のビンのコンテキストを判定するために使用されてもよい。
上述したように、復元されたブロックのサンプル値は、符号化された現在のビデオブロックのサンプル値とは異なり得る。更に、いくつかの場合では、ブロックごとにビデオデータを符号化することにより、アーティファクト（例えば、いわゆるブロッキングアーティファクト、バンディングアーティファクトなど）をもたらすことがあることに留意されたい。例えば、ブロッキングアーティファクトは、復元されたビデオデータの符号化ブロック境界をユーザに視覚的に知覚可能にさせ得る。このようにして、復元されたサンプル値を、符号化された現在のビデオブロックのサンプル値と復元されたブロックとの間の差を最小にし、及び／又はビデオ符号化プロセスによって導入されるアーティファクトを最小にするように変更してもよい。このような変更は、一般に、フィルタリングと称される場合がある。フィルタリングは、インループフィルタリングプロセス又はポストループ（又はポストフィルタリング）フィルタリングプロセスの一部として生じ得ることに留意されたい。インループフィルタリングプロセスでは、フィルタリングプロセスの結果として得られるサンプル値は、予測ビデオブロックのために使用され（例えば、ビデオ符号化装置での以降の符号化、及びビデオ復号装置での以降の復号のために参照フレームバッファに記憶され）てもよい。ポストループフィルタリングプロセスでは、フィルタリングプロセスの結果として得られるサンプル値は、単に復号プロセスの一部として出力される（例えば、以降の符号化に使用されない）。例えば、ビデオ復号装置の場合、インループフィルタリングプロセスでは、復元されたブロックをフィルタリングした結果として得られるサンプル値は、以降の復号のために使用され（例えば、参照バッファに記憶され）、（例えば、ディスプレイに）出力される。ポストループフィルタリングプロセスでは、復元されたブロックは、以降の復号のために使用され、復元されたブロックをフィルタリングした結果として得られるサンプル値は、出力され、以降の復号のために使用されない。
デブロッキング（Deblocking）（又はデブロッキング（de-blocking））、デブロックフィルタリング、又はデブロッキングフィルタを適用することは、隣接する復元されたビデオブロックの境界を平滑化する（すなわち、境界を視聴者により知覚可能でなくする）プロセスを指す。隣接する復元されたビデオブロックの境界を平滑化することは、境界に隣接する行又は列に含まれるサンプル値を変更することを含んでもよい。ＪＶＥＴ－Ｔ２００１は、デブロッキングフィルタが、インループフィルタリングプロセスの一部として、復元されたサンプル値に適用される場合を規定する。インループフィルタリングプロセスの一部としてデブロッキングフィルタを適用することに加えて、ＪＶＥＴ－Ｔ２００１は、サンプル適応オフセット（ＳＡＯ）フィルタリングがインループフィルタリングプロセスにおいて適用され得る場合を規定する。一般に、ＳＡＯは、オフセット値を条件付きで加算することによって、領域中のデブロッキングされたサンプル値を変更するプロセスである。別の種類のフィルタリングプロセスは、いわゆる適応ループフィルタ（ＡＬＦ）を含む。ブロックベースの適応を伴うＡＬＦは、ＪＥＭにおいて指定される。ＪＥＭでは、ＡＬＦはＳＡＯフィルタの後に適用される。ＡＬＦは、他のフィルタリング技術とは独立して、復元されたサンプルに適用され得ることに留意されたい。ビデオ符号化装置においてＪＥＭにおいて指定されたＡＬＦを適用するためのプロセスは、以下のように要約され得る。（１）復元されたピクチャのルマ成分の各２×２ブロックが分類インデックスに従って分類され、（２）フィルタ係数のセットが各分類インデックスについて導出され、（３）ルマ成分についてフィルタリング決定が判定され、（４）クロマ成分についてフィルタリング決定が判定され、（５）フィルタパラメータ（例えば、係数及び決定）がシグナリングされる。ＪＶＥＴ－Ｔ２００１は、ＩＴＵ－Ｔ Ｈ．２６５及びＪＥＭにおいて規定されるデブロッキングフィルタ、ＳＡＯフィルタ、及びＡＬＦフィルタに一般的に基づくものとして説明され得るデブロッキングフィルタ、ＳＡＯフィルタ、及びＡＬＦフィルタを指定する。
ＪＶＥＴ－Ｔ２００１は、ＩＴＵ－Ｔ Ｈ．２６６の事前公開バージョンと呼ばれ、したがって、ＶＶＣプロジェクトから得られるビデオ符号化規格のほぼ完成したドラフトであり、したがって、ＶＶＣ規格の第１のバージョン（あるいは、ＶＶＣ若しくはＶＶＣバージョン１又はＩＴＵ－Ｈ．２６６）と呼ばれることがあることに留意されたい。ＶＶＣプロジェクト中に、アーティファクト除去及び客観的品質改善の可能性を示す畳み込みニューラルネットワーク（ＣＮＮ）ベースの技術が調査されたが、そのような技術をＶＶＣ規格に含めないことが決定されたことに留意されたい。しかしながら、ＣＮＮベースの技術は、現在、ＶＶＣの拡張及び／又は改善のために検討されている。いくつかのＣＮＮベースの技術は、ポストフィルタリングに関連する。例えば、「ＡＨＧ１１：Ｃｏｎｔｅｎｔ－ａｄａｐｔｉｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｐｏｓｔ－ｆｉｌｔｅｒ，２６ｔｈ Ｍｅｅｔｉｎｇ ｏｆ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ２０－２９ Ａｐｒｉｌ ２０２２，Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ，ｄｏｃｕｍｅｎｔ ＪＶＥＴ－Ｚ００８２－ｖ２」（本明細書ではＪＶＥＴ－Ｚ００８２と呼ばれる）は、コンテンツ適応型ニューラルネットワークベースのポストフィルタについて記載している。ＪＶＥＴ－Ｚ００８２では、コンテンツ適応は、試験ビデオにＮＮポストフィルタをオーバーフィッティングすることによって達成されることに留意されたい。更に、ＪＶＥＴ－Ｚ００８２におけるオーバーフィッティングプロセスの結果は、重み更新であることに留意されたい。ＪＶＥＴ－Ｚ００８２は、ＩＳＯ／ＩＥＣ ＦＤＩＳ １５９３８－１７．Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ－Ｍｕｌｔｉｍｅｄｉａ ｃｏｎｔｅｎｔ ｄｅｓｃｒｉｐｔｉｏｎ ｉｎｔｅｒｆａｃｅ－Ｐａｒｔ １７：Ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｕｌｔｉｍｅｄｉａ ｃｏｎｔｅｎｔ ｄｅｓｃｒｉｐｔｉｏｎ ａｎｄ ａｎａｌｙｓｉｓ ａｎｄ Ｔｅｓｔ Ｍｏｄｅｌ ｏｆ Ｉｎｃｒｅｍｅｎｔａｌ Ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ Ｄｅｓｃｒｉｐｔｉｏｎ ａｎｄ Ａｎａｌｙｓｉｓ（ＩＮＣＴＭ），Ｎ０１７９．Ｆｅｂｒｕａｒｙ ２０２２で、重み更新が符号化される場合を説明し、これらは、集合的に、ＭＰＥＧ ＮＮＲ（ニューラルネットワーク表現）又はニューラルネットワーク符号化（ＮＮＣ）規格と呼ばれることがある。ＪＶＥＴ－Ｚ００８２は、符号化された重み更新が、ＮＮＲポストフィルタＳＥＩメッセージとしてビデオビットストリーム内でシグナリングされる場合を更に説明する。「ＡＨＧ９：ＮＮＲ ｐｏｓｔ－ｆｉｌｔｅｒ ＳＥＩ ｍｅｓｓａｇｅ」，２６ｔｈ Ｍｅｅｔｉｎｇ ｏｆ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ２０－２９ Ａｐｒｉｌ ２０２２，Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ，ｄｏｃｕｍｅｎｔ ＪＶＥＴ－Ｚ００５２－ｖ１（本明細書ではＪＶＥＴ－Ｚ００５２と呼ばれる）は、ＪＶＥＴ－Ｚ００８２によって利用されるＮＮＲポストフィルタＳＥＩメッセージを説明する。ＪＶＥＴ－Ｚ００８２において説明されるＮＮポストフィルタの要素及びＪＶＥＴ－Ｚ００５２において説明されるＮＮＲポストフィルタＳＥＩメッセージは、「Ａｄｄｉｔｉｏｎａｌ ＳＥＩ ｍｅｓｓａｇｅｓ ｆｏｒ ＶＳＥＩ（Ｄｒａｆｔ ２）」２７ｔｈ Ｍｅｅｔｉｎｇ ｏｆ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ １３－２２ Ｊｕｌｙ ２０２２，Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ，ｄｏｃｕｍｅｎｔ ＪＶＥＴ－ＡＡ２００６－ｖ２（本明細書ではＪＶＥＴ－ＡＡ２００６と呼ばれる）において採用された。ＪＶＥＴ－ＡＡ２００６は、符号化ビデオビットストリーム（ＶＳＥＩ）のための多用途の補足エンハンスメント情報メッセージを規定する。ＪＶＥＴ－ＡＡ２００６は、ニューラルネットワークポストフィルタ特性ＳＥＩメッセージのための、及びニューラルネットワークポストフィルタアクティブ化ＳＥＩメッセージのためのシンタックス及びセマンティクスを指定する。ニューラルネットワークポストフィルタ特性ＳＥＩメッセージは、後処理フィルタとして使用され得るニューラルネットワークを指定する。特定のピクチャのための指定された後処理フィルタの使用は、ニューラルネットワークポストフィルタアクティブ化ＳＥＩメッセージで示される。更に、「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ － ＭＰＥＧ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｉｅｓ － Ｐａｒｔ ７：Ｖｅｒｓａｔｉｌｅ ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ ｍｅｓｓａｇｅｓ ｆｏｒ ｃｏｄｅｄ ｖｉｄｅｏ ｂｉｔｓｔｒｅａｍｓ，ＡＭＥＮＤＭＥＮＴ １：Ａｄｄｉｔｉｏｎａｌ ＳＥＩ ｍｅｓｓａｇｅｓ」（２８ｔｈ Ｍｅｅｔｉｎｇ ｏｆ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ５ ９，Ｎｏｖｅｍｂｅｒ ２０２２，Ｍａｉｎｚ，ＤＥ）は、ＪＶＥＴ－ＡＢ２００６，ｍ６１４９８（本明細書ではＪＶＥＴ－ＡＢ２００６と呼ばれる）を文書化している。ＪＶＥＴ－ＡＢ２００６は、以下で更に詳細に説明される。本明細書で説明する技術は、ニューラルネットワークポストフィルタメッセージをシグナリングするための技術を提供する。
本明細書で使用される式に関して、以下の算術演算子を使用してもよい。
Figure 2024087742000002
更に、以下の数学関数を使用してもよい。
Ｌｏｇ２（ｘ）、底を２とするｘの対数；
Figure 2024087742000003
 Ｃｅｉｌ（ｘ）ｘ以上の最小の整数。
本明細書で使用される例示的なシンタックスに関して、論理演算子の以下の定義が適用されてもよい。
ｘ＆＆ｙ ｘとｙとのブール論理「積」
ｘ｜｜ｙ ｘとｙとのブール論理「和」
！ブール論理「否」
ｘ？ｙ：ｚ ｘが真であるか又は０に等しくない場合はｙの値を評価し、そうでない場合はｚの値を評価する。
更に、以下の関係演算子が適用されてもよい。
Figure 2024087742000004
更に、本明細書で使用されるシンタックス記述子において、以下の記述子が適用され得ることに留意されたい。
－ｂ（８）：任意のパターンのビット列（８ビット）を有するバイト。この記述子のパースプロセスは、関数ｒｅａｄ＿ｂｉｔｓ（８）の戻り値によって指定される。
－ｆ（ｎ）：左ビットを最初にして（左から右へ）書かれたｎビットを使用する固定パターンビット列。この記述子のパースプロセスは、関数ｒｅａｄ＿ｂｉｔｓ（ｎ）の戻り値によって指定される。
－ｓｅ（ｖ）：左ビットを最初にした、符号付き整数０次Ｅｘｐ－Ｇｏｌｏｍｂ符号化シンタックス要素。
－ｔｂ（ｖ）：ｍａｘＶａｌビットまでを使用する短縮バイナリであり、ｍａｘＶａｌはシンタックス要素のセマンティクスで定義される。
－ｔｕ（ｖ）：ｍａｘＶａｌビットまでを使用する短縮ユナリであり、ｍａｘＶａｌはシンタックス要素のセマンティクスで定義される。
－ｕ（ｎ）：ｎビットを使用する符号なし整数。シンタックステーブルにおいてｎが「ｖ」であるとき、ビット数は、他のシンタックス要素の値に依存して変化する。この記述子のパースプロセスは、最上位ビットが最初に書かれた符号なし整数のバイナリ表現として解釈される関数ｒｅａｄ＿ｂｉｔｓ（ｎ）の戻り値によって指定される。
－ｕｅ（ｖ）：左ビットを最初にした、符号なし整数０次Ｅｘｐ－Ｇｏｌｏｍｂ符号化シンタックス要素。
上述したように、ビデオコンテンツは、一連のピクチャからなるビデオ系列を含み、各ピクチャは、１つ以上の領域に分割され得る。ＪＶＥＴ－Ｔ２００１では、ピクチャの符号化表現は、ＡＵ内の特定のレイヤのＶＣＬ ＮＡＬユニットを含み、ピクチャの全てのＣＴＵを含む。例えば、図２を再び参照すると、Ｐｉｃ３の符号化表現は、３つの符号化スライスＮＡＬユニット（すなわち、Ｓｌｉｃｅ０ＮＡＬユニット、Ｓｌｉｃｅ１ＮＡＬユニット、及びＳｌｉｃｅ２ＮＡＬユニット）中にカプセル化される。ビデオ符号化レイヤ（ＶＣＬ）ＮＡＬユニットという用語は、符号化スライスＮＡＬユニットの総称として使用され、すなわち、ＶＣＬ ＮＡＬは、全ての種類のスライスＮＡＬユニットを含む総称であることに留意されたい。上述し、以下で更に詳細に説明するように、ＮＡＬユニットは、ビデオデータを復号するために使用されるメタデータをカプセル化してもよい。ビデオ系列を復号するために使用されるメタデータをカプセル化するＮＡＬユニットは、一般に、非ＶＣＬ ＮＡＬユニットと呼ばれる。したがって、ＪＶＥＴ－Ｔ２００１では、ＮＡＬユニットは、ＶＣＬ ＮＡＬユニット又は非ＶＣＬ ＮＡＬユニットであり得る。ＶＣＬ ＮＡＬユニットは、特定のスライスを復号するために使用される情報を提供するスライスヘッダデータを含むことに留意されたい。したがって、ＪＶＥＴ－Ｔ２００１では、いくつかの場合ではメタデータと呼ばれることがある、ビデオデータを復号するために使用される情報は、非ＶＣＬ ＮＡＬユニットに含まれることに限定されない。ＪＶＥＴ－Ｔ２００１は、ピクチャユニット（ＰＵ）が、指定された分類ルールに従って互いに関連付けられ、復号順序で連続し、正確に１つの符号化ピクチャを含むＮＡＬユニットのセットであり、アクセスユニット（ＡＵ）が、異なるレイヤに属し、ＤＰＢからの出力について同じ時間に関連付けられた符号化ピクチャを含むＰＵのセットである場合を規定する。ＪＶＥＴ－Ｔ２００１は、更に、レイヤが、全てがレイヤ識別子の特定の値を有するＶＣＬ ＮＡＬユニット及び関連する非ＶＣＬ ＮＡＬユニットのセットである場合を規定する。更に、ＪＶＥＴ－Ｔ２００１では、ＰＵは、０個又は１つのＰＨ ＮＡＬユニットと、１つ以上のＶＣＬ ＮＡＬユニットを含む１つの符号化ピクチャと、０個以上の他の非ＶＣＬ ＮＡＬユニットとからなる。更に、ＪＶＥＴ－Ｔ２００１では、符号化ビデオ系列（ＣＶＳ）は、復号順序で、ＣＶＳＳ ＡＵと、それに続く、ＣＶＳＳ ＡＵである任意の以降のＡＵまでの全ての以降のＡＵを含むがそれを含まない、ＣＶＳＳ ＡＵではない０個以上のＡＵとからなるＡＵのシーケンスであり、ここで、符号化ビデオ系列開始（ＣＶＳＳ）ＡＵは、ＣＶＳ中のレイヤごとにＰＵがあるＡＵであり、各存在するピクチャユニット中の符号化ピクチャは、符号化レイヤビデオ系列開始（ＣＬＶＳＳ）ピクチャである。ＪＶＥＴ－Ｔ２００１では、符号化レイヤビデオ系列（ＣＬＶＳ）は、復号順序で、ＣＬＶＳＳ ＰＵと、それに続く、ＣＬＶＳＳ ＰＵである任意の以降のＰＵまでの全ての以降のＰＵを含むがそれを含まない、ＣＬＶＳＳ ＰＵではない０個以上のＰＵとからなる同じレイヤ内のＰＵのシーケンスである。すなわち、ＪＶＥＴ－Ｔ２００１では、ビットストリームが、１つ以上のＣＶＳを形成するＡＵのシーケンスを含むものとして説明され得る。
マルチレイヤビデオ符号化は、ビデオプレゼンテーションが、ビデオデータのベースレイヤに対応するプレゼンテーションとして復号／表示され、ビデオデータのエンハンスメントレイヤに対応する１つ以上の追加のプレゼンテーションとして復号／表示されることを可能にする。例えば、ベースレイヤは、基本レベルの品質（例えば、高解像度レンダリング及び／又は３０Ｈｚフレームレート）を有するビデオプレゼンテーションが提示されることを可能にし得、エンハンスメントレイヤは、向上した品質レベル（例えば、超高解像度レンダリング及び／又は６０Ｈｚフレームレート）を有するビデオプレゼンテーションが提示されることを可能にし得る。エンハンスメントレイヤは、ベースレイヤを参照することによって符号化されてもよい。すなわち、例えば、エンハンスメントレイヤ中のピクチャは、ベースレイヤ中の１つ以上のピクチャ（そのスケーリングしたバージョンを含む）を参照することによって、（例えば、レイヤ間予測技術を使用して）符号化されてもよい。レイヤはまた、互いに独立して符号化され得ることに留意されたい。この場合、２つのレイヤ間にレイヤ間予測がないことがある。各ＮＡＬユニットは、ＮＡＬユニットが関連付けられるビデオデータのレイヤを示す識別子を含んでもよい。上述したように、サブビットストリーム抽出プロセスは、ピクチャの特定の関心領域のみを復号及び表示するために使用されてもよい。更に、サブビットストリーム抽出プロセスは、ビデオの特定のレイヤのみを復号及び表示するために使用されてもよい。サブビットストリーム抽出とは、受信ビットストリーム中のデータを破棄及び／又は変更することによって、準拠ビットストリーム又は適合ビットストリームを受信しているデバイスが、新たな準拠又は適合ビットストリームを形成するプロセスを指してもよい。例えば、サブビットストリーム抽出は、ビデオの特定の表現（例えば、高品質表現）に対応する新たな準拠ビットストリーム又は適合ビットストリームを形成するために使用されてもよい。
ＪＶＥＴ－Ｔ２００１では、ビデオ系列、ＧＯＰ、ピクチャ、スライス、及びＣＴＵの各々は、ビデオ符号化プロパティを記述するメタデータに関連付けられ得、いくつかの種類のメタデータは、非ＶＣＬ ＮＡＬユニット中にカプセル化され得る。ＪＶＥＴ－Ｔ２００１は、ビデオデータ及び／又はビデオ符号化プロパティを記述するために使用され得るパラメータセットを定義する。特に、ＪＶＥＴ－Ｔ２００１は、以下の４つの種類のパラメータセット、すなわち、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、及び適応パラメータセット（ＡＰＳ）を含み、ここで、ＳＰＳは０個以上のＣＶＳ全体に適用され、ＰＰＳは０個以上の符号化ピクチャ全体に適用され、ＡＰＳは０個以上のスライスに適用され、ＶＰＳはＳＰＳによって随意に参照され得る。ＰＰＳは、それを参照する個々の符号化ピクチャに適用される。ＪＶＥＴ－Ｔ２００１では、パラメータセットは、非ＶＣＬ ＮＡＬユニットとしてカプセル化されてもよく、及び／又はメッセージとしてシグナリングされてもよい。ＪＶＥＴ－Ｔ２００１はまた、非ＶＣＬ ＮＡＬユニットとしてカプセル化されるピクチャヘッダ（ＰＨ）を含む。ＪＶＥＴ－Ｔ２００１では、ピクチャヘッダは、符号化ピクチャの全てのスライスに適用される。ＪＶＥＴ－Ｔ２００１は、更に、復号能力情報（ＤＣＩ）及び補足エンハンスメント情報（ＳＥＩ）メッセージがシグナリングされることを可能にする。ＪＶＥＴ－Ｔ２００１では、ＤＣＩ及びＳＥＩメッセージは、復号、表示、又は他の目的に関連するプロセスを支援するが、ＤＣＩ及びＳＥＩメッセージは、復号プロセスに従ってルマ又はクロマサンプルを作成するために必要とされないことがある。ＪＶＥＴ－Ｔ２００１では、ＤＣＩ及びＳＥＩメッセージが、非ＶＣＬ ＮＡＬユニットを使用してビットストリーム中でシグナリングされてもよい。更に、ＤＣＩ及びＳＥＩメッセージは、ビットストリーム中に存在することによる以外の何らかの機構（すなわち、帯域外でシグナリングされる）によって伝達されてもよい。
図３は、複数のＣＶＳを含むビットストリームの一例を示し、ここで、ＣＶＳはＡＵを含み、ＡＵはピクチャユニットを含む。図３に示す例は、図２の例に示すスライスＮＡＬユニットをビットストリーム中にカプセル化する一例に対応する。図３に示す例では、Ｐｉｃ３のための対応するピクチャユニットは、３つのＶＣＬ ＮＡＬ符号化スライスＮＡＬユニット、すなわち、Ｓｌｉｃｅ０ＮＡＬユニット、Ｓｌｉｃｅ１ＮＡＬユニット、及びＳｌｉｃｅ２ＮＡＬユニットと、２つの非ＶＣＬ ＮＡＬユニット、すなわち、ＰＰＳ ＮＡＬユニット及びＰＨ ＮＡＬユニットとを含む。図３では、ヘッダはＮＡＬユニットヘッダである（すなわち、スライスヘッダと混同されるべきでない）ことに留意されたい。更に、図３では、図示されていない他の非ＶＣＬ ＮＡＬユニット、例えば、ＳＰＳ ＮＡＬユニット、ＶＰＳ ＮＡＬユニット、ＳＥＩメッセージＮＡＬユニットなどが、ＣＶＳに含まれてもよいことに留意されたい。更に、他の例では、Ｐｉｃ３を復号するために使用されるＰＰＳ ＮＡＬユニットは、ビットストリーム中の他の場所、例えば、Ｐｉｃ０に対応するピクチャユニットに含まれてもよいか、又は外部機構によって与えられてもよいことに留意されたい。以下で更に詳細に説明するように、ＪＶＥＴ－Ｔ２００１では、ＰＨシンタックス構造は、ＶＣＬ ＮＡＬユニットのスライスヘッダ中に、又は現在のＰＵのＰＨ ＮＡＬユニット中に存在し得る。
ＪＶＥＴ－Ｔ２００１は、ＮＡＬユニットに含まれる生バイトシーケンスペイロード（ＲＢＳＰ）データ構造の種類を指定するＮＡＬユニットヘッダセマンティクスを定義する。表１は、ＪＶＥＴ－Ｔ２００１において規定されるＮＡＬユニットヘッダのシンタックスを示す。
Figure 2024087742000005
ＪＶＥＴ－Ｔ２００１は、表１に示すそれぞれのシンタックス要素について以下の定義を規定する。
ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔは０に等しいものとする。
ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔは０に等しいものとする。ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔの値１は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによって将来指定され得る。ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔの値は、この仕様のこのバージョンにおいて０に等しいことが必要とされるが、この仕様のこのバージョンに適合する復号装置は、１に等しいｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔの値がシンタックス中に現れることを可能にし、１に等しいｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔを有するＮＡＬユニットを無視する（すなわち、ビットストリームから除去し、破棄する）ものとする。
ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、ＶＣＬ ＮＡＬユニットが属するレイヤの識別子、又は非ＶＣＬ ＮＡＬユニットが適用されるレイヤの識別子を指定する。ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値は、両端値を含む、０～５５の範囲内にあるものとする。ｎｕｈ＿ｌａｙｅｒ＿ｉｄの他の値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約される。ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値は、両端値を含む、０～５５の範囲であることが必要とされるが、この仕様のこのバージョンでは、この仕様のこのバージョンに適合する復号装置は、５５よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がシンタックス中に現れることを可能にし、５５よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するＮＡＬユニットを無視する（すなわち、ビットストリームから除去し、破棄する）ものとする。
ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値は、符号化ピクチャの全てのＶＣＬ ＮＡＬユニットについて同じであるものとする。符号化ピクチャ又はＰＵのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値は、符号化ピクチャ又はＰＵのＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値である。
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＨ＿ＮＵＴ、又はＦＤ＿ＮＵＴに等しいとき、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、関連するＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいものとする。
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＥＯＳ＿ＮＵＴに等しいとき、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、ＣＶＳ中に存在するレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のうちの１つに等しいものとする。
注－ＤＣＩ、ＯＰＩ、ＶＰＳ、ＡＵＤ、及びＥＯＢ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値は制約されない。
ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１マイナス１は、ＮＡＬユニットに対する時間識別子を指定する。
ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１の値は、０に等しくないものとする。
変数ＴｅｍｐｏｒａｌＩｄは以下のように導出される。
ＴｅｍｐｏｒａｌＩｄ＝ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１－１
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが両端値を含むＩＤＲ＿Ｗ＿ＲＡＤＬ～ＲＳＶ＿ＩＲＡＰ＿１１の範囲内にあるとき、ＴｅｍｐｏｒａｌＩｄは０に等しいものとする。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＳＴＳＡ＿ＮＵＴに等しく、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］が１に等しいとき、ＴｅｍｐｏｒａｌＩｄは０よりも大きいものとする。
ＴｅｍｐｏｒａｌＩｄの値は、ＡＵの全てのＶＣＬ ＮＡＬユニットについて同じであるものとする。符号化ピクチャ、ＰＵ、又はＡＵのＴｅｍｐｏｒａｌＩｄの値は、符号化ピクチャ、ＰＵ、又はＡＵのＶＣＬ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄの値である。サブレイヤ表現のＴｅｍｐｏｒａｌＩｄの値は、サブレイヤ表現内の全てのＶＣＬ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄの最も大きい値である。
非ＶＣＬ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄの値は、以下のように制約される。
－ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、ＤＣＩ＿ＮＵＴ、ＯＰＩ＿ＮＵＴ、ＶＰＳ＿ＮＵＴ、又はＳＰＳ＿ＮＵＴに等しい場合、ＴｅｍｐｏｒａｌＩｄは０に等しいものとし、ＮＡＬユニットを含むＡＵのＴｅｍｐｏｒａｌＩｄは０に等しいものとする。
－そうではなく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＨ＿ＮＵＴに等しい場合、ＴｅｍｐｏｒａｌＩｄは、ＮＡＬユニットを含むＰＵのＴｅｍｐｏｒａｌＩｄに等しいものとする。
－そうではなく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＥＯＳ＿ＮＵＴ又はＥＯＢ＿ＮＵＴに等しい場合、ＴｅｍｐｏｒａｌＩｄは０に等しいものとする。
－そうではなく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＡＵＤ＿ＮＵＴ、ＦＤ＿ＮＵＴ、ＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴ、又はＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しい場合、
ＴｅｍｐｏｒａｌＩｄは、ＮＡＬユニットを含むＡＵのＴｅｍｐｏｒａｌＩｄに等しいものとする。
－そうではなく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＰＳ＿ＮＵＴ、ＰＲＥＦＩＸ＿ＡＰＳ＿ＮＵＴ、又はＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴに等しいとき、ＴｅｍｐｏｒａｌＩｄは、ＮＡＬユニットを含むＰＵのＴｅｍｐｏｒａｌＩｄ以上であるものとする。
注－ＮＡＬユニットが非ＶＣＬ ＮＡＬユニットであるとき、ＴｅｍｐｏｒａｌＩｄの値は、非ＶＣＬ ＮＡＬユニットが適用される全てのＡＵのＴｅｍｐｏｒａｌＩｄ値の最小値に等しい。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＰＳ＿ＮＵＴ、ＰＲＥＦＩＸ＿ＡＰＳ＿ＮＵＴ、又はＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴに等しいとき、ＴｅｍｐｏｒａｌＩｄは、全てのＰＰＳ及びＡＰＳがビットストリームの先頭に含まれてもよいので（例えば、それらが帯域外でトランスポートされ、受信機がそれらをビットストリームの先頭に配置するとき）、包含ＡＵのＴｅｍｐｏｒａｌＩｄ以上であり得、第１の符号化ピクチャは０に等しいＴｅｍｐｏｒａｌＩｄを有する。
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、ＮＡＬユニットタイプ、すなわち、表２において指定されるようなＮＡＬユニットに含まれるＲＢＳＰデータ構造の種類を指定する。
セマンティクスが指定されない、両端値を含むＵＮＳＰＥＣ２８～ＵＮＳＰＥＣ３１の範囲内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＮＡＬユニットは、この仕様において指定される復号プロセスに影響を及ぼさないものとする。
注－ＵＮＳＰＥＣ＿２８～ＵＮＳＰＥＣ＿３１の範囲内のＮＡＬユニットタイプは、適用例によって判定されるように使用され得る。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのこれらの値についての復号プロセスは、この仕様において指定されない。異なる適用例は異なる目的のためにこれらのＮＡＬユニットタイプを使用し得るので、これらのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値を有するＮＡＬユニットを生成する符号化装置の設計において、及びこれらのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値を有するＮＡＬユニットのコンテンツを解釈する復号装置の設計において、特定の注意が払われることが予想される。この仕様は、これらの値の管理を定義しない。これらのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値は、使用の「衝突」（すなわち、同じｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値についてのＮＡＬユニットコンテンツの意味の異なる定義）が重要でない又は不可能であるか、あるいは管理される、例えば、制御アプリケーション若しくはトランスポート仕様において、又はビットストリームが配信される環境を制御することによって定義又は管理される、コンテキストにおける使用にのみ好適であり得る。
ビットストリームのＤＵ中のデータ量を判定すること以外の目的のために、復号装置は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの予約済み値を使用する全てのＮＡＬユニットのコンテンツを無視する（ビットストリームから除去し、破棄する）ものとする。注－この要件は、この仕様に対する互換性のある拡張の将来の定義を可能にする。
Figure 2024087742000006
 注－クリーンランダムアクセス（ＣＲＡ）ピクチャは、ビットストリーム中に存在する関連するＲＡＳＬピクチャ又はＲＡＤＬピクチャを有し得る。注－ＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する瞬時復号リフレッシュ（ＩＤＲ）ピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。ＩＤＲ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャは、ビットストリーム中に存在する関連するＲＡＳＬピクチャを有さないが、ビットストリーム中に関連するＲＡＤＬピクチャを有し得る。
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は、サブピクチャの全てのＶＣＬ ＮＡＬユニットについて同じであるものとする。サブピクチャは、サブピクチャのＶＣＬ ＮＡＬユニットと同じＮＡＬユニットタイプを有するものとして参照される。
任意の特定のピクチャのＶＣＬ ＮＡＬユニットについて、以下が適用される。
－ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが０に等しい場合、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は、ピクチャの全てのＶＣＬ ＮＡＬユニットについて同じであるものし、
ピクチャ又はＰＵは、ピクチャ又はＰＵの符号化スライスＮＡＬユニットと同じＮＡＬユニットタイプを有するものとして参照される。
－そうでない（ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが１に等しい）場合、以下の制約の全てが適用される。
－ピクチャは、少なくとも２つのサブピクチャを有するものとする。
－ピクチャのＶＣＬ ＮＡＬユニットは、２つ以上の異なるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値を有するものとする。
－ＧＤＲ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するピクチャのＶＣＬ ＮＡＬユニットがないものとする。
－ピクチャのＶＣＬ ＮＡＬユニットが、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、又はＣＲＡ＿ＮＵＴに等しいｎａｌＵｎｉｔＴｙｐｅＡに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、ピクチャの他のＶＣＬ ＮＡＬユニットは全て、ｎａｌＵｎｉｔＴｙｐｅＡ又はＴＲＡＩＬ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は、ＩＲＡＰ又はＧＤＲ ＡＵ中の全てのピクチャについて同じであるものとする。
ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄが０よりも大きいとき、ｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］は、ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］に等しいｊ、及び両端値を含むｊ＋１～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内のｉの任意の値について０に等しく、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは１に等しく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、又はＣＲＡ＿ＮＵＴに等しくないものとする。
ビットストリーム適合性の要件は、以下の制約が適用されることである。
－ピクチャがＩＲＡＰピクチャのリーディングピクチャであるとき、それはＲＡＤＬ又はＲＡＳＬピクチャであるものとする。
－サブピクチャがＩＲＡＰサブピクチャのリーディングサブピクチャであるとき、それはＲＡＤＬ又はＲＡＳＬサブピクチャであるものとする。
－ピクチャがＩＲＡＰピクチャのリーディングピクチャでないとき、それはＲＡＤＬ又はＲＡＳＬピクチャでないものとする。
－サブピクチャがＩＲＡＰサブピクチャのリーディングサブピクチャでないとき、それはＲＡＤＬ又はＲＡＳＬサブピクチャでないものとする。
－ＩＤＲピクチャに関連付けられたＲＡＳＬピクチャは、ビットストリーム中に存在しないものとする。
－ＩＤＲサブピクチャに関連付けられたＲＡＳＬサブピクチャは、ビットストリーム中に存在しないものとする。
－ＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャに関連付けられたＲＡＤＬピクチャは、ビットストリーム中に存在しないものとする。
注－ＩＲＡＰ ＡＵの前の全てのＰＵを破棄することによってＩＲＡＰ ＡＵの位置においてランダムアクセスを実行すること（並びに、復号順序でＩＲＡＰ ＡＵ及び全ての以降のＡＵ内の非ＲＡＳＬピクチャを正しく復号すること）は、各パラメータセットが参照されるときに（ビットストリーム中で、又はこの仕様において指定されない外部手段によって）利用可能であることを条件として、可能である。
－ＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲサブピクチャに関連付けられたＲＡＤＬサブピクチャは、ビットストリーム中に存在しないものとする。
－ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するＩＲＡＰピクチャに復号順序で先行する、特定の値ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する、任意のピクチャは、出力順序でＩＲＡＰピクチャに先行するものとし、出力順序でＩＲＡＰピクチャに関連付けられた任意のＲＡＤＬピクチャに先行するものとする。
－ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ及びｓｕｂｐｉｃＩｄｘに等しいサブピクチャインデックスを有するＩＲＡＰサブピクチャに復号順序で先行する、特定の値ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ及び特定の値ｓｕｂｐｉｃＩｄｘに等しいサブピクチャインデックスを有する、任意のサブピクチャは、出力順序で、ＩＲＡＰサブピクチャ及びその関連する全てのＲＡＤＬサブピクチャに先行するものとする。
－ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するリカバリポイントピクチャに復号順序で先行する、特定の値ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する、任意のピクチャは、出力順序でリカバリポイントピクチャに先行するものとする。
－リカバリポイントピクチャ中のｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ及びｓｕｂｐｉｃＩｄｘに等しいサブピクチャインデックスを有するサブピクチャに復号順序で先行する、特定の値ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ及び特定の値ｓｕｂｐｉｃＩｄｘに等しいサブピクチャインデックスを有する、任意のサブピクチャは、出力順序でリカバリポイントピクチャ中のそのサブピクチャに先行するものとする。
－ＣＲＡピクチャに関連付けられた任意のＲＡＳＬピクチャは、出力順序でＣＲＡピクチャに関連付けられた任意のＲＡＤＬピクチャに先行するものとする。
－ＣＲＡサブピクチャに関連付けられた任意のＲＡＳＬサブピクチャは、出力順序でＣＲＡサブピクチャに関連付けられた任意のＲＡＤＬサブピクチャに先行するものとする。
－特定の値ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有し、ＣＲＡピクチャに関連付けられた任意のＲＡＳＬピクチャは、そのＣＲＡピクチャに復号順序で先行する、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する任意のＩＲＡＰピクチャ又はＧＤＲピクチャに出力順序で後続するものとする。
－ＣＲＡサブピクチャに関連付けられた、特定の値ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ及び特定の値ｓｕｂｐｉｃＩｄｘに等しいサブピクチャインデックスを有する、任意のＲＡＳＬサブピクチャは、復号順序でＣＲＡサブピクチャに先行する、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ及びｓｕｂｐｉｃＩｄｘに等しいサブピクチャインデックスを有する、任意のＩＲＡＰサブピクチャ又はＧＤＲサブピクチャに出力順序で続くものとする。
－ｓｐｓ＿ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇが０に等しい場合、以下が適用される：特定の値ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する現在のピクチャが、ＩＲＡＰピクチャに関連付けられたリーディングピクチャであるとき、それは、復号順序で、同じＩＲＡＰピクチャに関連付けられた全ての非リーディングピクチャに先行するものとする。そうでない（ｓｐｓ＿ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇが１に等しい）場合、ｐｉｃＡ及びｐｉｃＢを、それぞれ、復号順序で、ＩＲＡＰピクチャに関連付けられた最初の及び最後のリーディングピクチャとすると、復号順序でｐｉｃＡに先行するｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する多くても１つの非リーディングピクチャが存在するものとし、復号順序でｐｉｃＡとｐｉｃＢとの間にｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する非リーディングピクチャがないものとする。
－ｓｐｓ＿ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇが０に等しい場合、以下が適用される：特定の値ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ及び特定の値ｓｕｂｐｉｃＩｄｘに等しいサブピクチャインデックスを有する現在のサブピクチャが、ＩＲＡＰサブピクチャに関連付けられたリーディングサブピクチャであるとき、それは、復号順序で、同じＩＲＡＰサブピクチャに関連付けられた全ての非リーディングサブピクチャに先行するものとする。そうでない（ｓｐｓ＿ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇが１に等しい）場合、ｓｕｂｐｉｃＡ及びｓｕｂｐｉｃＢを、それぞれ、復号順序で、ＩＲＡＰサブピクチャに関連付けられた最初の及び最後のリーディングサブピクチャとすると、復号順序でｓｕｂｐｉｃＡに先行する、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ及びｓｕｂｐｉｃＩｄｘに等しいサブピクチャインデックスを有する多くても１つの非リーディングサブピクチャが存在するものとし、復号順序でｐｉｃＡとｐｉｃＢとの間に、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ及びｓｕｂｐｉｃＩｄｘに等しいサブピクチャインデックスを有する非リーディングピクチャがないものとする。
表２において提供されるように、ＮＡＬユニットは、補足エンハンスメント情報（ＳＥＩ）シンタックス構造を含み得る。表３及び表４は、ＪＶＥＴ－Ｔ２００１において規定される補足エンハンスメント情報（ＳＥＩ）シンタックス構造を示す。
Figure 2024087742000007
表３及び表４に関して、ＪＶＥＴ－Ｔ２００１は、以下のセマンティクスを規定する。
各ＳＥＩメッセージは、ＳＥＩメッセージペイロードの種類ｐａｙｌｏａｄＴｙｐｅ及びサイズｐａｙｌｏａｄＳｉｚｅを指定する変数からなる。ＳＥＩメッセージペイロードが指定される。導出されたＳＥＩメッセージペイロードサイズｐａｙｌｏａｄＳｉｚｅは、バイト単位で指定され、ＳＥＩメッセージペイロード中のＲＢＳＰバイトの数に等しいものとする。
注－ＳＥＩメッセージを含むＮＡＬユニットバイトシーケンスは、（ｅｍｕｌａｔｉｏｎ＿ｐｒｅｖｅｎｔｉｏｎ＿ｔｈｒｅｅ＿ｂｙｔｅシンタックス要素によって表される）１つ以上のエミュレーション防止バイトを含み得る。ＳＥＩメッセージのペイロードサイズはＲＢＳＰバイトで指定されるので、エミュレーション防止バイトの量は、ＳＥＩペイロードのサイズｐａｙｌｏａｄＳｉｚｅに含まれない。
ｐａｙｌｏａｄ＿ｔｙｐｅ＿ｂｙｔｅは、ＳＥＩメッセージのペイロードタイプのバイトである。
ｐａｙｌｏａｄ＿ｓｉｚｅ＿ｂｙｔｅは、ＳＥＩメッセージのペイロードサイズのバイトである。
ＪＶＥＴ－Ｔ２００１はペイロードタイプを定義し、参照により本明細書に組み込まれ、ＪＶＥＴ－Ｙ２００６として参照される、「Ａｄｄｉｔｉｏｎａｌ ＳＥＩ ｍｅｓｓａｇｅｓ ｆｏｒ ＶＳＥＩ（Ｄｒａｆｔ ６）」２５ｔｈ Ｍｅｅｔｉｎｇ ｏｆ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ １２－２１ Ｊａｎｕａｒｙ ２０２２，Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ，ｄｏｃｕｍｅｎｔ ＪＶＥＴ－Ｙ２００６－ｖ１は、追加のペイロードタイプを定義することに留意されたい。表５は、ｓｅｉ＿ｐａｙｌｏａｄ（）シンタックス構造を概略的に示す。すなわち、表５は、ｓｅｉ＿ｐａｙｌｏａｄ（）シンタックス構造を示すが、簡潔にするために、ペイロードの可能な種類の全てが表５に含まれているわけではない。
Figure 2024087742000008
表５に関して、ＪＶＥＴ－Ｔ２００１は、以下のセマンティクスを規定する。
ｓｅｉ＿ｒｅｓｅｒｖｅｄ＿ｐａｙｌｏａｄ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａは、この仕様のこのバージョンに適合するビットストリーム中に存在しないものとする。しかしながら、この仕様のこのバージョンに適合する復号装置は、ｓｅｉ＿ｒｅｓｅｒｖｅｄ＿ｐａｙｌｏａｄ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａの存在及び値を無視するものとする。存在するとき、ｓｅｉ＿ｒｅｓｅｒｖｅｄ＿ｐａｙｌｏａｄ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａのビット単位の長さは、８＊ｐａｙｌｏａｄＳｉｚｅ－ｎＥａｒｌｉｅｒＢｉｔｓ－ｎＰａｙｌｏａｄＺｅｒｏＢｉｔｓ－１に等しく、ここで、ｎＥａｒｌｉｅｒＢｉｔｓは、ｓｅｉ＿ｒｅｓｅｒｖｅｄ＿ｐａｙｌｏａｄ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａシンタックス要素に先行するｓｅｉ＿ｐａｙｌｏａｄ（）シンタックス構造中のビットの数であり、ｎＰａｙｌｏａｄＺｅｒｏＢｉｔｓは、ｓｅｉ＿ｐａｙｌｏａｄ（）シンタックス構造の末尾におけるｓｅｉ＿ｐａｙｌｏａｄ＿ｂｉｔ＿ｅｑｕａｌ＿ｔｏ＿ｚｅｒｏシンタックス要素の数である。
ＳＥＩメッセージシンタックス構造（例えば、ｂｕｆｆｅｒｉｎｇ＿ｐｅｒｉｏｄ（）シンタックス構造）のパース後にｍｏｒｅ＿ｄａｔａ＿ｉｎ＿ｐａｙｌｏａｄ（）が真であり、ｎＰａｙｌｏａｄＺｅｒｏＢｉｔｓが７に等しくない場合、ＰａｙｌｏａｄＢｉｔｓは、８＊ｐａｙｌｏａｄＳｉｚｅ－ｎＰａｙｌｏａｄＺｅｒｏＢｉｔｓ－１に等しく設定され、そうでない場合、ＰａｙｌｏａｄＢｉｔｓは８＊ｐａｙｌｏａｄＳｉｚｅに等しく設定される。
ｐａｙｌｏａｄ＿ｂｉｔ＿ｅｑｕａｌ＿ｔｏ＿ｏｎｅは１に等しいものとする。
ｐａｙｌｏａｄ＿ｂｉｔ＿ｅｑｕａｌ＿ｔｏ＿ｚｅｒｏは０に等しいものとする。
注－同じ値のｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージは、それらがプレフィックスＳＥＩ ＮＡＬユニットに含まれるのかサフィックスＳＥＩ ＮＡＬユニットに含まれるのかにかかわらず、概念的に同じＳＥＩメッセージである。
注－この仕様及びＶＳＥＩ仕様（ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７）において指定されるＳＥＩメッセージの場合、ｐａｙｌｏａｄＴｙｐｅ値は、ＡＶＣ（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６－１０）及びＨＥＶＣ（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６５｜ＩＳＯ／ＩＥＣ ２３００８－２）において指定される同様のＳＥＩメッセージと整合される。
各ＳＥＩメッセージについてのセマンティクス及び持続範囲は、各特定のＳＥＩメッセージについてのセマンティクス仕様において指定される。
注－ＳＥＩメッセージの持続性情報は、情報として要約されている。
ＪＶＥＴ－Ｔ２００１は更に、以下を規定する。
Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７において指定される［表５］において識別されるシンタックス構造を有するＳＥＩメッセージは、この仕様によって指定されるビットストリームと共に使用されてもよい。
任意の特定のＲｅｃ．ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７ ＳＥＩメッセージが、この仕様によって指定されるビットストリームに含まれるとき、ＳＥＩペイロードシンタックスは、［表５］において指定されるｓｅｉ＿ｐａｙｌｏａｄ（）シンタックス構造に含まれるものとし、［表５］において指定されるｐａｙｌｏａｄＴｙｐｅ値を使用するものとし、更に、その特定のＳＥＩメッセージについてこのアネックスにおいて指定される任意のＳＥＩメッセージ固有の制約が適用されるものとする。
ＰａｙｌｏａｄＢｉｔｓの値は、上記で指定されたように、Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７において指定されたＳＥＩメッセージシンタックス構造のパーサーに渡される。
上述したように、ＪＶＥＴ－ＡＢ２００６は、ＮＮポストフィルタ補足エンハンスメント情報メッセージを規定する。特に、ＪＶＥＴ－ＡＢ２００６は、ニューラルネットワークポストフィルタ特性ＳＥＩメッセージ（ｐａｙｌｏａｄＴｙｐｅ＝＝２１０）及びニューラルネットワークポストフィルタアクティブ化ＳＥＩメッセージ（ｐａｙｌｏａｄＴｙｐｅ＝＝２１１）を規定する。表６は、ＪＶＥＴ－ＡＢ２００６において規定されるニューラルネットワークポストフィルタ特性ＳＥＩメッセージのシンタックスを示す。ニューラルネットワークポストフィルタ特性ＳＥＩメッセージはＮＮＰＦＣ ＳＥＩと呼ばれることがあることに留意されたい。
Figure 2024087742000009
Figure 2024087742000010
Figure 2024087742000011
表６に関して、ＪＶＥＴ－ＡＢ２００６は、以下のセマンティクスを規定する。
ニューラルネットワークポストフィルタ特性（neural-network post-filter characteristics、ＮＮＰＦＣ）ＳＥＩメッセージは、後処理フィルタとして使用され得るニューラルネットワークを指定する。特定のピクチャのための指定された後処理フィルタの使用は、ニューラルネットワークポストフィルタアクティブ化ＳＥＩメッセージで示される。
このＳＥＩメッセージの使用は、以下の変数の定義を必要とする。
－本明細書ではそれぞれＣｒｏｐｐｅｄＷｉｄｔｈ及びＣｒｏｐｐｅｄＨｅｉｇｈｔによって示される、ルマサンプルのユニットにおけるクロップされた復号出力ピクチャの幅及び高さ。
－後処理フィルタのための入力として使用される、両端値を含む０～ｎｕｍＩｎｐｕｔＰｉｃｓ－１の範囲内のｉｄｘを有するクロップされた復号出力ピクチャの、存在するとき、ルマサンプル配列ＣｒｏｐｐｅｄＹＰｉｃ［ｉｄｘ］並びにクロマサンプル配列ＣｒｏｐｐｅｄＣｂＰｉｃ［ｉｄｘ］及びＣｒｏｐｐｅｄＣｒＰｉｃ［ｉｄｘ］。
－クロップされた復号出力ピクチャのルマサンプル配列のビット深度ＢｉｔＤｅｐｔｈＹ。
－クロップされた復号出力ピクチャの、もしあれば、クロマサンプル配列のビット深度ＢｉｔＤｅｐｔｈＣ。
－本明細書ではＣｈｒｏｍａＦｏｒｍａｔＩｄｃによって示されるクロマフォーマットインジケータ。
－ｎｎｐｆｃ＿ａｕｘｉｌｉａｒｙ＿ｉｎｐ＿ｉｄｃが１に等しいとき、フィルタリング強度制御値ＳｔｒｅｎｇｔｈＣｏｎｔｒｏｌＶａｌは、両端値を含む０～１の範囲内の実数であるものとする。
変数ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは、表７によって指定されるようにＣｈｒｏｍａＦｏｒｍａｔＩｄｃから導出される。
Figure 2024087742000012
 注－同じピクチャに対して２つ以上のＮＮＰＦＣ ＳＥＩメッセージが存在し得る。ｎｎｐｆｃ＿ｉｄの異なる値を有する２つ以上のＮＮＰＦＣ ＳＥＩメッセージが同じピクチャに対して存在する又はアクティブ化されているとき、それらは、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅ及びｎｎｐｆｃ＿ｍｏｄｅ＿ｉｄｃの同じ又は異なる値を有することができる。
ｎｎｐｆｃ＿ｉｄは、後処理フィルタを識別するために使用され得る識別番号を含む。ｎｎｐｆｃ＿ｉｄの値は、両端値を含む、０～２３２－２の範囲内にあるものとする。両端値を含む２５６～５１１まで、及び両端値を含む２３１～２３２－２までのｎｎｐｆｃ＿ｉｄの値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約される。両端値を含む２５６～５１１の範囲内、又は両端値を含む２３１～２３２－２の範囲内のｎｎｐｆｃ＿ｉｄを有するＮＮＰＦＣ ＳＥＩメッセージに遭遇するこの文書のこの版に準拠する復号装置は、そのＳＥＩメッセージを無視するものとする。
ＮＮＰＦＣ ＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージであるとき、以下が適用される。
－このＳＥＩメッセージは、基本後処理フィルタを指定する。
－このＳＥＩメッセージは、現在のＣＬＶＳの終了まで、出力順序で現在のレイヤの現在の復号されたピクチャ及び全ての後続の復号されたピクチャに関連する。
ＮＮＰＦＣ ＳＥＩメッセージが、現在のＣＬＶＳにおいて、復号順序で前のＮＮＰＦＣ ＳＥＩメッセージの反復であるとき、後続のセマンティクスは、このＳＥＩメッセージが現在のＣＬＶＳ内で同じコンテンツを有する唯一のＮＮＰＦＣ ＳＥＩメッセージであるかのように適用される。
ＮＮＰＦＣ ＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージでないとき、以下が適用される。
－このＳＥＩメッセージは、同じｎｎｐｆｃ＿ｉｄ値を有する復号順序で先行する基本後処理フィルタに対する更新を定義する。
－このＳＥＩメッセージは、現在のＣＬＶＳの終了まで、又は現在のＣＬＶＳ内で出力順序でその特定のｎｎｐｆｃ＿ｉｄ値を有する次のＮＮＰＦＣ ＳＥＩメッセージまで、出力順序で現在のレイヤの現在の復号されたピクチャ及び全ての後続の復号されたピクチャに関連する。
０に等しいｎｎｐｆｃ＿ｍｏｄｅ＿ｉｄｃは、このＳＥＩメッセージが、基本後処理フィルタを指定する又は同じｎｎｐｆｃ＿ｉｄ値を有する基本後処理フィルタに対する更新であるＩＳＯ／ＩＥＣ １５９３８－１７ビットストリームを含むことを示す。
ＮＮＰＦＣ ＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージであるとき、１に等しいｎｎｐｆｃ＿ｍｏｄｅ＿ｉｄｃは、ｎｎｐｆｃ＿ｉｄ値に関連付けられた基本後処理フィルタが、タグＵＲＩ ｎｎｐｆｃ＿ｔａｇ＿ｕｒｉによって識別されるフォーマットを有するｎｎｐｆｃ＿ｕｒｉによって示されるＵＲＩによって識別されるニューラルネットワークであることを指定する。
ＮＮＰＦＣ ＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージでないとき、１に等しいｎｎｐｆｃ＿ｍｏｄｅ＿ｉｄｃは、同じｎｎｐｆｃ＿ｉｄ値を有する基本後処理フィルタに対する更新が、タグＵＲＩ ｎｎｐｆｃ＿ｔａｇ＿ｕｒｉによって識別されるフォーマットを有するｎｎｐｆｃ＿ｕｒｉによって示されるＵＲＩによって定義されることを指定する。
ｎｎｐｆｃ＿ｍｏｄｅ＿ｉｄｃの値は、この文書のこの版に準拠するビットストリームにおいて、両端値を含む０～１の範囲内にあるものとする。ｎｎｐｆｃ＿ｍｏｄｅ＿ｉｄｃの両端値を含む２～２５５の値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、両端値を含む２～２５５の範囲内のｎｎｐｆｃ＿ｍｏｄｅ＿ｉｄｃを有するＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。２５５よりも大きいｎｎｐｆｃ＿ｍｏｄｅ＿ｉｄｃの値は、この文書のこの版に準拠するビットストリーム中に存在しないものとし、将来の使用のために予約されない。
このＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージであるとき、後処理フィルタＰｏｓｔＰｒｏｃｅｓｓｉｎｇＦｉｌｔｅｒ（）は、基本後処理フィルタと同じになるように割り当てられる。
このＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージでないとき、後処理フィルタＰｏｓｔＰｒｏｃｅｓｓｉｎｇＦｉｌｔｅｒ（）は、このＳＥＩメッセージによって定義された更新を基本後処理フィルタに適用することによって取得される。
更新は累積的ではなく、むしろ各更新は、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージによって指定された後処理フィルタである基本後処理フィルタに適用される。
ｎｎｐｆｃ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔ＿ａは、この文書のこの版に準拠するビットストリームにおいて、０に等しいものとする。復号装置は、ｎｎｐｆｃ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔ＿ａが０に等しくないＮＰＦＣ ＳＥＩメッセージを無視するものとする。
ｎｎｐｆｃ＿ｔａｇ＿ｕｒｉは、ｎｎｐｆｃ＿ｕｒｉによって指定された同じｎｎｐｆｃ＿ｉｄ値を有する基本後処理フィルタ又は基本後処理フィルタに対する更新として使用されるニューラルネットワークについてのフォーマット及び関連情報を識別する、ＩＥＴＦ ＲＦＣ ４１５１において指定されたシンタックス及びセマンティクスを有するタグＵＲＩを含む。
注－ｎｎｐｆｃ＿ｔａｇ＿ｕｒｉは、中央登録局を必要とせずに、ｎｎｒｐｆ＿ｕｒｉによって指定されるニューラルネットワークデータのフォーマットを一意に識別することを可能にする。
「ｔａｇ：ｉｓｏ．ｏｒｇ，２０２３：１５９３８－１７」に等しいｎｎｐｆｃ＿ｔａｇ＿ｕｒｉは、ｎｎｐｆｃ＿ｕｒｉによって識別されるニューラルネットワークデータがＩＳＯ／ＩＥＣ １５９３８－１７に準拠することを示す。
ｎｎｐｆｃ＿ｕｒｉは、同じｎｎｐｆｃ＿ｉｄ値を有する基本後処理フィルタ又は基本後処理フィルタに対する更新として使用されるニューラルネットワークを識別する、ＩＥＴＦインターネット規格６６において指定されたシンタックス及びセマンティクスを有するＵＲＩを含む。
１に等しいｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇは、フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素が存在することを指定する。０に等しいｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇは、フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素が存在しないことを指定する。このＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージであるとき、ｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇは、１に等しいものとする。このＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージでないとき、ｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇは、０に等しいものとする。
ｎｎｐｆｃ＿ｐｕｒｐｏｓｅは、表８において指定されるように後処理フィルタの目的を示す。
ｎｎｐｆｃ＿ｐｕｒｐｏｓｅの値は、この文書のこの版に準拠するビットストリームにおいて、両端値を含む０～５の範囲内にあるものとする。ｎｎｐｆｃ＿ｐｕｒｐｏｓｅの両端値を含む６～１０２３の値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、両端値を含む６～１２０３の範囲内のｎｎｐｆｃ＿ｐｕｒｐｏｓｅを有するＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。１０２３よりも大きいｎｎｐｆｃ＿ｐｕｒｐｏｓｅの値は、この文書のこの版に準拠するビットストリーム中に存在しないものとし、将来の使用のために予約されない。
Figure 2024087742000013
 注－ｎｎｐｆｃ＿ｐｕｒｐｏｓｅの予約済み値がＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによって将来使用されるとき、このＳＥＩメッセージのシンタックスは、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅがその値に等しいことによってその存在が条件付けられるシンタックス要素を用いて拡張され得る。
ＳｕｂＷｉｄｔｈＣが１に等しく、ＳｕｂＨｅｉｇｈｔＣが１に等しいとき、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅは２又は４に等しくないものとする。
１に等しいｎｎｐｆｃ＿ｏｕｔ＿ｓｕｂ＿ｃ＿ｆｌａｇは、ｏｕｔＳｕｂＷｉｄｔｈＣが１に等しく、ｏｕｔＳｕｂＨｅｉｇｈｔＣが１に等しいことを指定する。０に等しいｎｎｐｆｃ＿ｏｕｔ＿ｓｕｂ＿ｃ＿ｆｌａｇは、ｏｕｔＳｕｂＷｉｄｔｈＣが２に等しく、ｏｕｔＳｕｂＨｅｉｇｈｔＣが１に等しいことを指定する。ｎｎｐｆｃ＿ｏｕｔ＿ｓｕｂ＿ｃ＿ｆｌａｇが存在しないとき、ｏｕｔＳｕｂＷｉｄｔｈＣはＳｕｂＷｉｄｔｈＣに等しいと推測され、ｏｕｔＳｕｂＨｅｉｇｈｔＣはＳｕｂＨｅｉｇｈｔＣに等しいと推測される。ＣｈｒｏｍａＦｏｒｍａｔＩｄｃが２に等しく、ｎｎｐｆｃ＿ｏｕｔ＿ｓｕｂ＿ｃ＿ｆｌａｇが存在するとき、ｎｎｐｆｃ＿ｏｕｔ＿ｓｕｂ＿ｃ＿ｆｌａｇの値は、１に等しいものとする。
ｎｎｐｆｃ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ及びｎｎｐｆｃ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ｎｎｐｆｃ＿ｉｄによって識別される後処理フィルタをクロップされた復号出力ピクチャに適用することから得られるピクチャのルマサンプル配列の、幅及び高さそれぞれを指定する。ｎｎｐｆｃ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ及びｎｎｐｆｃ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓが存在しないとき、それらは、それぞれ、ＣｒｏｐｐｅｄＷｉｄｔｈ及びＣｒｏｐｐｅｄＨｅｉｇｈｔに等しいと推測される。ｎｎｐｆｃ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、両端値を含む、ＣｒｏｐｐｅｄＷｉｄｔｈ～ＣｒｏｐｐｅｄＷｉｄｔｈ＊１６－１の範囲内にあるものとする。ｎｎｐｆｃ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、両端値を含む、ＣｒｏｐｐｅｄＨｅｉｇｈｔ～ＣｒｏｐｐｅｄＨｅｉｇｈｔ＊１６－１の範囲内にあるものとする。
ｎｎｐｆｃ＿ｎｕｍ＿ｉｎｐｕｔ＿ｐｉｃｓ＿ｍｉｎｕｓ２プラス２は、後処理フィルタのための入力として使用される復号出力ピクチャの数を指定する。
ｎｎｐｆｃ＿ｉｎｔｅｒｐｏｌａｔｅｄ＿ｐｉｃｓ［ｉ］は、後処理フィルタのための入力として使用されるｉ番目のピクチャと（ｉ＋１）番目のピクチャとの間の、後処理フィルタによって生成される補間ピクチャの数を指定する。
後処理フィルタのための入力として使用されるピクチャの数を指定する変数ｎｕｍＩｎｐｕｔＰｉｃｓ、及び後処理フィルタから得られるピクチャの総数を指定する変数ｎｕｍＯｕｔｐｕｔＰｉｃｓは、以下のように導出される。
Figure 2024087742000014
 １に等しいｎｎｐｆｃ＿ｃｏｍｐｏｎｅｎｔ＿ｌａｓｔ＿ｆｌａｇは、後処理フィルタへの入力テンソルｉｎｐｕｔＴｅｎｓｏｒ及び後処理フィルタから得られる出力テンソルｏｕｔｐｕｔＴｅｎｓｏｒにおける最後の次元が現在のチャネルのために使用されることを示す。０に等しいｎｎｐｆｃ＿ｃｏｍｐｏｎｅｎｔ＿ｌａｓｔ＿ｆｌａｇは、後処理フィルタへの入力テンソルｉｎｐｕｔＴｅｎｓｏｒ及び後処理フィルタから得られる出力テンソルｏｕｔｐｕｔＴｅｎｓｏｒにおける第３の次元が現在のチャネルのために使用されることを示す。
注－入力テンソル及び出力テンソルにおける第１の次元は、バッチインデックスのために使用され、これは、いくつかのニューラルネットワークフレームワークにおける実践である。このＳＥＩメッセージのセマンティクスにおける式は０に等しいバッチインデックスに対応するバッチサイズを使用するが、ニューラルネットワーク推論への入力として使用されるバッチサイズを判定することは、後処理実装次第である。
注－例えば、ｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃが３に等しく、ｎｎｐｆｃ＿ａｕｘｉｌｉａｒｙ＿ｉｎｐ＿ｉｄｃが１に等しいとき、入力テンソルには、４つのルマ行列、２つのクロマ行列、及び１つの補助入力行列を含む７つのチャネルがある。この場合、プロセスＤｅｒｉｖｅＩｎｐｕｔＴｅｎｓｏｒｓ（）は、入力テンソルのこれらの７つのチャネルの各々を１つずつ導出し、これらのチャネルのうちの特定のチャネルが処理されるとき、そのチャネルは、プロセス中の現在のチャネルと呼ばれる。
ｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃは、クロップされた復号出力ピクチャのサンプル値を後処理フィルタへの入力値に変換する方法を示す。ｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しいとき、後処理フィルタへの入力値は実数であり、関数ＩｎｐＹ（）及びＩｎｐＣ（）は、以下のように指定される。
ＩｎｐＹ（ｘ）＝ｘ－（（１＜＜ＢｉｔＤｅｐｔｈＹ）－１）
ＩｎｐＣ（ｘ）＝ｘ－（（１＜＜ＢｉｔＤｅｐｔｈＣ）－１）
ｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃが１に等しいとき、後処理フィルタへの入力値は符号なし整数であり、関数ＩｎｐＹ（）及びＩｎｐＣ（）は、以下のように指定される。
Figure 2024087742000015
 変数ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈは、以下で指定されるように、シンタックス要素ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８から導出される。
１よりも大きいｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃの値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の仕様のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、ｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃの予約済み値を含むＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。
ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８プラス８は、入力整数テンソル中のルマサンプル値のビット深度を指定する。ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈの値は以下のように導出される。
ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈ＝ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８＋８
ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８の値が両端値を含む０～２４の範囲内にあるものとすることが、ビットストリーム適合性の要件である。
ｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃは、クロップされた復号出力ピクチャのサンプル配列を後処理フィルタへの入力ピクチャのうちの１つとして順序付ける方法を示す。
ｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃの値は、この文書のこの版に準拠するビットストリームにおいて、両端値を含む０～３の範囲内にあるものとする。ｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃの両端値を含む４～２５５の値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、両端値を含む４～２５５の範囲内のｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃを有するＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。２５５よりも大きいｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃの値は、この文書のこの版に準拠するビットストリーム中に存在しないものとし、将来の使用のために予約されない。
ＣｈｒｏｍａＦｏｒｍａｔＩｄｃが１に等しくないとき、ｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃは、３に等しいものとする。
表９は、ｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃ値の有益な説明を含む。
Figure 2024087742000016
 パッチは、ピクチャの成分（例えば、ルマ成分又はクロマ成分）からのサンプルの矩形配列である。
０よりも大きいｎｎｐｆｃ＿ａｕｘｉｌｉａｒｙ＿ｉｎｐ＿ｉｄｃは、補助入力データがニューラルネットワークポストフィルタの入力テンソル中に存在することを示す。０に等しいｎｎｐｆｃ＿ａｕｘｉｌｉａｒｙ＿ｉｎｐ＿ｉｄｃは、補助入力データが入力テンソル中に存在しないことを示す。１に等しいｎｎｐｆｃ＿ａｕｘｉｌｉａｒｙ＿ｉｎｐ＿ｉｄｃは、補助入力データが式８２において指定されるように導出されることを指定する。ｎｎｐｆｃ＿ａｕｘｉｌｉａｒｙ＿ｉｎｐ＿ｉｄｃの値は、この文書のこの版に準拠するビットストリームにおいて、両端値を含む０～１の範囲内にあるものとする。ｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃの両端値を含む２～２５５の値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、両端値を含む２～２５５の範囲内のｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃを有するＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。２５５よりも大きいｎｎｐｆｃ＿ｉｎｐ＿ｏｒｄｅｒ＿ｉｄｃの値は、この文書のこの版に準拠するビットストリーム中に存在しないものとし、将来の使用のために予約されない。
入力テンソルに含まれるサンプルのパッチの左上サンプル位置を指定する所与の垂直サンプル座標ｃＴｏｐ及び水平サンプル座標ｃＬｅｆｔの入力テンソルｉｎｐｕｔＴｅｎｓｏｒを導出するためのプロセスＤｅｒｉｖｅＩｎｐｕｔＴｅｎｓｏｒｓ（）は、以下のように指定される。
Figure 2024087742000017
Figure 2024087742000018
Figure 2024087742000019
Figure 2024087742000020
 １に等しいｎｎｆｐｃ＿ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、後処理フィルタから得られるピクチャについての原色、伝達特性、及び行列係数の別個の組み合わせがＳＥＩメッセージシンタックス構造において指定されることを示す。０に等しいｎｎｐｆｃ＿ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、後処理フィルタから得られるピクチャの原色、伝達特性、及び行列係数の組み合わせが、ＣＬＶＳについてのＶＵＩパラメータにおいて示されるものと同じであることを示す。
ｎｎｐｆｃ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓは、ｖｕｉ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓシンタックス要素について指定されるものと同じセマンティクスを有し、これは以下のとおりである：ｖｕｉ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓは、ソース原色の色度座標を示す。そのセマンティクスは、Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７３｜ＩＳＯ／ＩＥＣ ２３０９１－２においてＭａｔｒｉｘＣｏｅｆｆｉｃｉｅｎｔｓについて指定されたようなものである。ｖｕｉ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓシンタックス要素が存在しないとき、ｖｕｉ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓの値は２に等しいと推測される（色度は、未知であるか、不指定されていない、又はこの仕様において指定されない他の手段によって判定される）。Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７３｜ＩＳＯ／ＩＥＣ ２３０９１－２における将来の使用のために予約されたものとして識別されるｖｕｉ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓの値は、この仕様のこのバージョンに適合するビットストリーム中に存在しないものとする。復号装置は、ｖｕｉ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓの予約済み値を値２に等しいものとして解釈するものとする。
ただし、以下のとおりである。
－ｎｎｐｆｃ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓは、ＣＬＶＳのために使用される原色ではなく、ＳＥＩメッセージにおいて指定されたニューラルネットワークポストフィルタを適用した結果として得られるピクチャの原色を指定する。
－ｎｎｐｆｃ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓがＮＮＰＦＣ ＳＥＩメッセージ中に存在しないとき、ｎｎｐｆｃ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓの値は、ｖｕｉ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓに等しいと推測される。
ｎｎｐｆｃ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓは、ｖｕｉ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓシンタックス要素について指定されるものと同じセマンティクスを有し、これは以下のとおりである：ｖｕｉ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓは、色表現の伝達特性関数を示す。そのセマンティクスは、Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７３｜ＩＳＯ／ＩＥＣ ２３０９１－２においてＭａｔｒｉｘＣｏｅｆｆｉｃｉｅｎｔｓについて指定されたようなものである。ｖｕｉ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓシンタックス要素が存在しないとき、ｖｕｉ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓの値は、
２に等しいと推測される（伝達特性は、未知である、又は指定されていない、又はこの仕様において指定されない他の手段によって判定される）。Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７３｜ＩＳＯ／ＩＥＣ ２３０９１－２における将来の使用のために予約されたものとして識別されるｖｕｉ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓの値は、この仕様のこのバージョンに適合するビットストリーム中に存在しないものとする。復号装置は、ｖｕｉ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓの予約済み値を値２に等しいものとして解釈するものとする。
ただし、以下のとおりである。
－ｎｎｐｆｃ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓは、ＣＬＶＳのために使用される伝達特性ではなく、ＳＥＩメッセージにおいて指定されたニューラルネットワークポストフィルタを適用した結果として得られるピクチャの伝達特性を指定する。
－ｎｎｐｆｃ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓがＮＮＰＦＣ ＳＥＩメッセージ中に存在しないとき、ｎｎｐｆｃ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓの値は、ｖｕｉ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓに等しいと推測される。
ｎｎｐｆｃ＿ｍａｔｒｉｘ＿ｃｏｅｆｆｓは、ｖｕｉ＿ｍａｔｒｉｘ＿ｃｏｅｆｆｓシンタックス要素について指定されるものと同じセマンティクスを有し、これは以下のとおりである：ｖｕｉ＿ｍａｔｒｉｘ＿ｃｏｅｆｆｓは、緑色、青色、及び赤色、又はＹ原色、Ｚ原色、及びＸ原色からルマ信号及びクロマ信号を導出する際に使用される式を記述する。そのセマンティクスは、Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７３｜ＩＳＯ／ＩＥＣ ２３０９１－２においてＭａｔｒｉｘＣｏｅｆｆｉｃｉｅｎｔｓについて指定されたようなものである。ただし、以下のとおりである。
－ｎｎｐｆｃ＿ｍａｔｒｉｘ＿ｃｏｅｆｆｓは、ＣＬＶＳのために使用される行列係数ではなく、ＳＥＩメッセージにおいて指定されたニューラルネットワークポストフィルタを適用した結果として得られるピクチャの行列係数を指定する。
－ｎｎｐｆｃ＿ｍａｔｒｉｘ＿ｃｏｅｆｆｓがＮＮＰＦＣ ＳＥＩメッセージ中に存在しないとき、ｎｎｐｆｃ＿ｍａｔｒｉｘ＿ｃｏｅｆｆｓの値は、ｖｕｉ＿ｍａｔｒｉｘ＿ｃｏｅｆｆｓに等しいと推測される。
－ｎｎｐｆｃ＿ｍａｔｒｉｘ＿ｃｏｅｆｆｓのために許容される値は、ＶＵＩパラメータのセマンティクスのためのＣｈｒｏｍａＦｏｒｍａｔＩｄｃの値によって示される復号ビデオピクチャのクロマフォーマットによって制約されない。
－ｎｎｐｆｃ＿ｍａｔｒｉｘ＿ｃｏｅｆｆｓが０に等しいとき、ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃは１又は３に等しくないものとする。
０に等しいｎｎｐｆｃ＿ｏｕｔ＿ｆｏｒｍａｔ＿ｉｄｃは、後処理フィルタによって出力されたサンプル値が実数であることを示し、両端値を含む０～１の値範囲は、後続の後処理又は表示のための任意の所望のビット深度ｂｉｔＤｅｐｔｈについて、両端値を含む０～（１＜＜ｂｉｔＤｅｐｔｈ）－１の符号なし整数値範囲に線形にマッピングされる。１に等しいｎｎｐｆｃ＿ｏｕｔ＿ｆｏｒｍａｔ＿ｆｌａｇは、後処理フィルタによって出力されるサンプル値が両端値を含む０～（１＜＜（ｎｎｐｆｃ＿ｏｕｔ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８＋８））－１の範囲内の符号なし整数であることを示す。
１よりも大きいｎｎｐｆｃ＿ｏｕｔ＿ｆｏｒｍａｔ＿ｉｄｃの値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の仕様のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、ｎｎｐｆｃ＿ｏｕｔ＿ｆｏｒｍａｔ＿ｉｄｃの予約済み値を含むＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。
ｎｎｐｆｃ＿ｏｕｔ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８プラス８は、出力整数テンソル中のサンプル値のビット深度を指定する。ｎｎｐｆｃ＿ｏｕｔ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８の値は、両端値を含む、０～２４の範囲内にあるものとする。
ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃは、後処理フィルタから得られるサンプルの出力順序を示す。
ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃの値は、この文書のこの版に準拠するビットストリームにおいて、両端値を含む０～３の範囲内にあるものとする。ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃの両端値を含む４～２５５の値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、両端値を含む４～２５５の範囲内のｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃを有するＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。２５５よりも大きいｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃの値は、この文書のこの版に準拠するビットストリーム中に存在しないものとし、将来の使用のために予約されない。
ｎｎｐｆｃ＿ｐｕｒｐｏｓｅが２又は４に等しいとき、ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃは３に等しくないものとする。
表１０は、ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃ値の有益な説明を含む。
Figure 2024087742000021
 入力テンソルに含まれるサンプルのパッチの左上サンプル位置を指定する所与の垂直サンプル座標ｃＴｏｐ及び水平サンプル座標ｃＬｅｆｔの出力テンソルｏｕｔｐｕｔＴｅｎｓｏｒからフィルタリングされた出力サンプル配列ＦｉｌｔｅｒｅｄＹＰｉｃ、ＦｉｌｔｅｒｅｄＣｂＰｉｃ、及びＦｉｌｔｅｒｅｄＣｒＰｉｃにおけるサンプル値を導出するためのプロセスＳｔｏｒｅＯｕｔｐｕｔＴｅｎｓｏｒｓ（）は、以下のように指定される。
Figure 2024087742000022
Figure 2024087742000023
Figure 2024087742000024
 １に等しいｎｎｐｆｃ＿ｃｏｎｓｔａｎｔ＿ｐａｔｃｈ＿ｓｉｚｅ＿ｆｌａｇは、後処理フィルタがｎｎｐｆｃ＿ｐａｔｃｈ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１及びｎｎｐｆｃ＿ｐａｔｃｈ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１によって示されるパッチサイズを入力として正確に受け入れることを示す。０に等しいｎｎｐｆｃ＿ｃｏｎｓｔａｎｔ＿ｐａｔｃｈ＿ｓｉｚｅ＿ｆｌａｇは、後処理フィルタがｎｎｐｆｃ＿ｐａｔｃｈ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１及びｎｎｐｆｃ＿ｐａｔｃｈ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１によって示されるパッチサイズの正の整数倍である任意のパッチサイズを入力として受け入れることを示す。
ｎｎｐｆｃ＿ｐａｔｃｈ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１＋１は、ｎｎｐｆｃ＿ｃｏｎｓｔａｎｔ＿ｐａｔｃｈ＿ｓｉｚｅ＿ｆｌａｇが１に等しいとき、後処理フィルタへの入力に必要なパッチサイズの水平サンプルカウントを示す。ｎｎｐｆｃ＿ｐａｔｃｈ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１の値は、両端値を含む、０～Ｍｉｎ（３２７６６，ＣｒｏｐｐｅｄＷｉｄｔｈ－１）の範囲内にあるものとする。
ｎｎｐｆｃ＿ｐａｔｃｈ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１＋１は、ｎｎｐｆｃ＿ｃｏｎｓｔａｎｔ＿ｐａｔｃｈ＿ｓｉｚｅ＿ｆｌａｇが１に等しいとき、後処理フィルタへの入力に必要なパッチサイズの垂直サンプルカウントを示す。ｎｎｐｆｃ＿ｐａｔｃｈ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１の値は、両端値を含む、０～Ｍｉｎ（３２７６６，ＣｒｏｐｐｅｄＨｅｉｇｈｔ－１）の範囲内にあるものとする。
変数ｉｎｐＰａｔｃｈＷｉｄｔｈ及びｉｎｐＰａｔｃｈＨｅｉｇｈｔをそれぞれパッチサイズ幅及びパッチサイズ高さとする。
ｎｎｐｆｃ＿ｃｏｎｓｔａｎｔ＿ｐａｔｃｈ＿ｓｉｚｅ＿ｆｌａｇが０に等しい場合、以下が適用される。
－ｉｎｐＰａｔｃｈＷｉｄｔｈ及びｉｎｐＰａｔｃｈＨｅｉｇｈｔの値は、この文書で指定されていない外部手段によって提供される、又はポストプロセッサ自体によって設定される、のいずれかである。
－ｉｎｐＰａｔｃｈＷｉｄｔｈの値は、ｎｎｐｆｃ＿ｐａｔｃｈ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１＋１の正の整数倍であるものとし、ＣｒｏｐｐｅｄＷｉｄｔｈ以下であるものとする。ｉｎｐＰａｔｃｈＨｅｉｇｈｔの値は、ｎｎｐｆｃ＿ｐａｔｃｈ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１＋１の正の整数倍であるものとし、ＣｒｏｐｐｅｄＨｅｉｇｈｔ以下であるものとする。
そうでない（ｎｎｐｆｃ＿ｃｏｎｓｔａｎｔ＿ｐａｔｃｈ＿ｓｉｚｅ＿ｆｌａｇが１に等しい）場合、ｉｎｐＰａｔｃｈＷｉｄｔｈの値は、ｎｎｐｆｃ＿ｐａｔｃｈ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１＋１に等しく設定され、ｉｎｐＰａｔｃｈＨｅｉｇｈｔの値は、ｎｎｐｆｃ＿ｐａｔｃｈ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１＋１に等しく設定される。
ｎｎｐｆｃ＿ｏｖｅｒｌａｐは、後処理フィルタの隣接入力テンソルの重複する水平サンプルカウント及び垂直サンプルカウントを示す。ｎｎｐｆｃ＿ｏｖｅｒｌａｐの値は、両端値を含む、０～１６３８３の範囲内にあるものとする。
変数ｏｕｔＰａｔｃｈＷｉｄｔｈ、ｏｕｔＰａｔｃｈＨｅｉｇｈｔ、ｈｏｒＣＳｃａｌｉｎｇ、ｖｅｒＣＳｃａｌｉｎｇ、ｏｕｔＰａｔｃｈＣＷｉｄｔｈ、ｏｕｔＰａｔｃｈＣＨｅｉｇｈｔ、及びｏｖｅｒｌａｐＳｉｚｅは、以下のように導出される。
ｏｕｔＰａｔｃｈＷｉｄｔｈ＝（ｎｎｐｆｃ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ＊ｉｎｐＰａｔｃｈＷｉｄｔｈ）／ＣｒｏｐｐｅｄＷｉｄｔｈ
ｏｕｔＰａｔｃｈＨｅｉｇｈｔ＝（ｎｎｐｆｃ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ＊ｉｎｐＰａｔｃｈＨｅｉｇｈｔ）／ＣｒｏｐｐｅｄＨｅｉｇｈｔ
ｈｏｒＣＳｃａｌｉｎｇ＝ＳｕｂＷｉｄｔｈＣ／ｏｕｔＳｕｂＷｉｄｔｈＣ
ｖｅｒＣＳｃａｌｉｎｇ＝ＳｕｂＨｅｉｇｈｔＣ／ｏｕｔＳｕｂＨｅｉｇｈｔＣ
ｏｕｔＰａｔｃｈＣＷｉｄｔｈ＝ｏｕｔＰａｔｃｈＷｉｄｔｈ＊ｈｏｒＣＳｃａｌｉｎｇ
ｏｕｔＰａｔｃｈＣＨｅｉｇｈｔ＝ｏｕｔＰａｔｃｈＨｅｉｇｈｔ＊ｖｅｒＣＳｃａｌｉｎｇ
ｏｖｅｒｌａｐＳｉｚｅ＝ｎｎｐｆｃ＿ｏｖｅｒｌａｐ
ｏｕｔＰａｔｃｈＷｉｄｔｈ＊ＣｒｏｐｐｅｄＷｉｄｔｈがｎｎｐｆｃ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ＊ｉｎｐＰａｔｃｈＷｉｄｔｈに等しくなるものとし、ｏｕｔＰａｔｃｈＨｅｉｇｈｔ＊ＣｒｏｐｐｅｄＨｅｉｇｈｔがｎｎｐｆｃ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ＊ｉｎｐＰａｔｃｈＨｅｉｇｈｔに等しくなるものとすることが、ビットストリーム適合性の要件である。
ｎｎｐｆｃ＿ｐａｄｄｉｎｇ＿ｔｙｐｅは、表１１において説明されているように、クロップされた復号出力ピクチャの境界の外側のサンプル位置を参照するとき、パディングのプロセスを示す。ｎｎｐｆｃ＿ｐａｄｄｉｎｇ＿ｔｙｐｅの値は、両端値を含む、０～１５の範囲内にあるものとする。
Figure 2024087742000025
 ｎｎｐｆｃ＿ｌｕｍａ＿ｐａｄｄｉｎｇ＿ｖａｌは、ｎｎｐｆｃ＿ｐａｄｄｉｎｇ＿ｔｙｐｅが４に等しいときにパディングのために使用されるルマ値を示す。
ｎｎｐｆｃ＿ｃｂ＿ｐａｄｄｉｎｇ＿ｖａｌは、ｎｎｐｆｃ＿ｐａｄｄｉｎｇ＿ｔｙｐｅが４に等しいときにパディングのために使用されるＣｂ値を示す。
ｎｎｐｆｃ＿ｃｒ＿ｐａｄｄｉｎｇ＿ｖａｌは、ｎｎｐｆｃ＿ｐａｄｄｉｎｇ＿ｔｙｐｅが４に等しいときにパディングのために使用されるＣｒ値を示す。
入力が垂直サンプル位置ｙ、水平サンプル位置ｘ、ピクチャ高さｐｉｃＨｅｉｇｈｔ、ピクチャ幅ｐｉｃＷｉｄｔｈ、及びサンプル配列ｃｒｏｐｐｅｄＰｉｃである関数ＩｎｐＳａｍｐｌｅＶａｌ（ｙ，ｘ，ｐｉｃＨｅｉｇｈｔ，ｐｉｃＷｉｄｔｈ，ｃｒｏｐｐｅｄＰｉｃ）は、以下のように導出されたｓａｍｐｌｅＶａｌの値を返す。
注－関数ＩｎｐＳａｍｐｌｅＶａｌ（）への入力に対して、垂直位置は、いくつかの推論エンジンの入力テンソル規則との互換性のために水平位置の前にリストされる。
Figure 2024087742000026
 以下の例示的なプロセスは、ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃによって示されるように、それぞれ、Ｙ、Ｃｂ、及びＣｒサンプル配列ＦｉｌｔｅｒｅｄＹＰｉｃ、ＦｉｌｔｅｒｅｄＣｂＰｉｃ、及びＦｉｌｔｅｒｅｄＣｒＰｉｃを含む、フィルタリングされたピクチャを生成するために、後処理フィルタＰｏｓｔＰｒｏｃｅｓｓｉｎｇＦｉｌｔｅｒ（）を用いて、クロップされた復号出力ピクチャをパッチ状にフィルタリングするために使用されてもよい。
Figure 2024087742000027
 １に等しいｎｎｐｆｃ＿ｃｏｍｐｌｅｘｉｔｙ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｎｎｐｆｃ＿ｉｄに関連付けられた後処理フィルタの複雑さを示す１つ以上のシンタックス要素が存在することを指定する。０に等しいｎｎｐｆｃ＿ｃｏｍｐｌｅｘｉｔｙ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｎｎｐｆｃ＿ｉｄに関連付けられた後処理フィルタの複雑さを示すシンタックス要素が存在しないことを指定する。
０に等しいｎｎｐｆｃ＿ｐａｒａｍｅｔｅｒ＿ｔｙｐｅ＿ｉｄｃは、ニューラルネットワークが整数パラメータのみを使用することを示す。１に等しいｎｎｐｆｃ＿ｐａｒａｍｅｔｅｒ＿ｔｙｐｅ＿ｆｌａｇは、ニューラルネットワークが浮動小数点パラメータ又は整数パラメータを使用し得ることを示す。２に等しいｎｎｐｆｃ＿ｐａｒａｍｅｔｅｒ＿ｔｙｐｅ＿ｉｄｃは、ニューラルネットワークがバイナリパラメータのみを使用することを示す。３に等しいｎｎｐｆｃ＿ｐａｒａｍｅｔｅｒ＿ｔｙｐｅ＿ｉｄｃは、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、３に等しいｎｎｐｆｃ＿ｐａｒａｍｅｔｅｒ＿ｔｙｐｅ＿ｉｄｃを有するＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。
０、１、２、及び３に等しいｎｎｐｆｃ＿ｌｏｇ２＿ｐａｒａｍｅｔｅｒ＿ｂｉｔ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ３は、ニューラルネットワークがそれぞれ８、１６、３２、及び６４よりも大きいビット長のパラメータを使用しないことを示す。ｎｎｐｆｃ＿ｐａｒａｍｅｔｅｒ＿ｔｙｐｅ＿ｉｄｃが存在し、ｎｎｐｆｃ＿ｌｏｇ２＿ｐａｒａｍｅｔｅｒ＿ｂｉｔ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ３が存在しないとき、ニューラルネットワークは、１よりも大きいビット長のパラメータを使用しない。
ｎｎｐｆｃ＿ｎｕｍ＿ｐａｒａｍｅｔｅｒｓ＿ｉｄｃは、２０４８の累乗単位で後処理フィルタのためのニューラルネットワークパラメータの最大数を示す。０に等しいｎｎｐｆｃ＿ｎｕｍ＿ｐａｒａｍｅｔｅｒｓ＿ｉｄｃは、ニューラルネットワークパラメータの最大数が未知であることを示す。値ｎｎｐｆｃ＿ｎｕｍ＿ｐａｒａｍｅｔｅｒｓ＿ｉｄｃは、両端値を含む、０～５２の範囲内にあるものとする。５２よりも大きいｎｎｐｆｃ＿ｎｕｍ＿ｐａｒａｍｅｔｅｒｓ＿ｉｄｃの値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、５２よりも大きいｎｎｐｆｃ＿ｎｕｍ＿ｐａｒａｍｅｔｅｒｓ＿ｉｄｃを有するＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。
ｎｎｐｆｃ＿ｎｕｍ＿ｐａｒａｍｅｔｅｒｓ＿ｉｄｃの値が０よりも大きい場合、変数ｍａｘＮｕｍＰａｒａｍｅｔｅｒｓは以下のように導出される。
ｍａｘＮｕｍＰａｒａｍｅｔｅｒｓ＝（２０４８＜＜ｎｎｐｆｃ＿ｎｕｍ＿ｐａｒａｍｅｔｅｒｓ＿ｉｄｃ）－１
後処理フィルタのニューラルネットワークパラメータの数がｍａｘＮｕｍＰａｒａｍｅｔｅｒｓ以下であるものとすることが、ビットストリーム適合性の要件である。
０よりも大きいｎｎｐｆｃ＿ｎｕｍ＿ｋｍａｃ＿ｏｐｅｒａｔｉｏｎｓ＿ｉｄｃは、後処理フィルタのサンプルごとの積和演算の最大数がｎｎｐｆｃ＿ｎｕｍ＿ｋｍａｃ＿ｏｐｅｒａｔｉｏｎｓ＿ｉｄｃ＊１０００以下であることを示す。０に等しいｎｎｐｆｃ＿ｎｕｍ＿ｋｍａｃ＿ｏｐｅｒａｔｉｏｎｓ＿ｉｄｃは、ネットワークの積和演算の最大数が未知であることを示す。ｎｎｐｆｃ＿ｎｕｍ＿ｋｍａｃ＿ｏｐｅｒａｔｉｏｎｓ＿ｉｄｃの値は、両端値を含む、０～２３２－１の範囲内にあるものとする。
０よりも大きいｎｎｐｆｃ＿ｔｏｔａｌ＿ｋｉｌｏｂｙｔｅ＿ｓｉｚｅは、ニューラルネットワークのための圧縮されていないパラメータを記憶するために必要とされるキロバイト単位の総サイズを示す。ビットの総サイズは、各パラメータを記憶するために使用されるビットの合計以上の数である。ｎｎｐｆｃ＿ｔｏｔａｌ＿ｋｉｌｏｂｙｔｅ＿ｓｉｚｅは、ビットの総サイズを８０００で除算し、切り上げたものである。０に等しいｎｎｐｆｃ＿ｔｏｔａｌ＿ｋｉｌｏｂｙｔｅ＿ｓｉｚｅは、ニューラルネットワークのパラメータを記憶するのに必要な総サイズが未知であることを示す。ｎｎｐｆｃ＿ｔｏｔａｌ＿ｋｉｌｏｂｙｔｅ＿ｓｉｚｅの値は、両端値を含む、０～２３２－１の範囲内にあるものとする。
ｎｎｐｆｃ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔ＿ｂは、この文書のこの版に準拠するビットストリームにおいて、０に等しいものとする。復号装置は、ｎｎｐｆｃ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔ＿ｂが０に等しくないＮＰＦＣ ＳＥＩメッセージを無視するものとする。
ｎｎｐｆｃ＿ｐａｙｌｏａｄ＿ｂｙｔｅ［ｉ］は、ＩＳＯ／ＩＥＣ １５９３８－１７に適合するビットストリームのｉ番目のバイトを含む。ｉの全ての存在する値についてのバイトシーケンスｎｎｐｆｃ＿ｐａｙｌｏａｄ＿ｂｙｔｅ［ｉ］は、ＩＳＯ／ＩＥＣ １５９３８－１７に適合する完全なビットストリームであるものとする。
表１２は、ＪＶＥＴ－ＡＢ２００６で規定されるニューラルネットワークポストフィルタアクティブ化ＳＥＩメッセージのシンタックスを示す。
Figure 2024087742000028
表１２に関して、ＪＶＥＴ－ＡＢ２００６は、以下のセマンティクスを規定する。
ニューラルネットワークポストフィルタアクティブ化（neural-network post-filter activation、ＮＮＰＦＡ）ＳＥＩメッセージは、ピクチャのセットの後処理フィルタリングのために、ｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄによって識別されるターゲットニューラルネットワーク後処理フィルタの可能な使用をアクティブ化又は非アクティブ化する。
注－例えば、後処理フィルタが異なる目的のためのものである又は異なる色成分をフィルタリングするとき、同じピクチャについていくつかのＮＮＰＦＡ ＳＥＩメッセージが存在し得る。
ｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄは、ターゲットニューラルネットワーク後処理フィルタを示し、ターゲットニューラルネットワーク後処理フィルタは、現在のピクチャに関連し、かつｎｎｆｐａ＿ｔａｒｇｅｔ＿ｉｄに等しいｎｎｐｆｃ＿ｉｄを有する、１つ以上のニューラルネットワーク後処理フィルタ特性ＳＥＩメッセージによって指定される。
ｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄの値は、両端値を含む、０～２３２－２の範囲内にあるものとする。両端値を含む２５６～５１１まで、及び両端値を含む２３１～２３２－２までのｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄの値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約される。両端値を含む２５６～５１１の範囲内、又は両端値を含む２３１～２３２－２の範囲内のｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄを有するＮＮＰＦＡ ＳＥＩメッセージに遭遇するこの文書のこの版に準拠する復号装置は、そのＳＥＩメッセージを無視するものとする。
ｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄの特定の値を有するＮＮＰＦＡ ＳＥＩメッセージは、以下の条件の一方又は両方が真でない限り、現在のＰＵ中に存在しないものとする。
－現在のＣＬＶＳ内に、復号順序で現在のＰＵに先行するＰＵ中に存在するｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄの特定の値に等しいｎｎｐｆｃ＿ｉｄを有するＮＮＰＦＣ ＳＥＩメッセージがある。
－現在のＰＵ中に、ｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄの特定の値に等しいｎｎｐｆｃ＿ｉｄを有するＮＮＰＦＣ ＳＥＩメッセージがある。
ＰＵが、ｎｎｐｆｃ＿ｉｄの特定の値を有するＮＮＰＦＣ ＳＥＩメッセージと、ｎｎｐｆｃ＿ｉｄの特定の値に等しいｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄを有するＮＮＰＦＡ ＳＥＩメッセージとの両方を含んでいるとき、ＮＮＰＦＣ ＳＥＩメッセージは、復号順序でＮＮＰＦＡ ＳＥＩメッセージに先行するものとする。
１に等しいｎｎｐｆａ＿ｃａｎｃｅｌ＿ｆｌａｇは、現在のＳＥＩメッセージと同じｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄを有する任意の前のＮＮＰＦＡ ＳＥＩメッセージによって確立されたターゲットニューラルネットワーク後処理フィルタの持続性がキャンセルされること、すなわち、ターゲットニューラルネットワーク後処理フィルタが、現在のＳＥＩメッセージと同じｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄ及び０に等しいｎｎｐｆａ＿ｃａｎｃｅｌ＿ｆｌａｇを有する別のＮＮＰＦＡ ＳＥＩメッセージによってアクティブ化されない限り、もはや使用されないことを示す。０に等しいｎｎｐｆａ＿ｃａｎｃｅｌ＿ｆｌａｇは、ｎｎｐｆａ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが後続することを示す。
ｎｎｐｆａ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇは、現在のレイヤのためのターゲットニューラルネットワーク後処理フィルタの持続性を指定する。
０に等しいｎｎｐｆａ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇは、ターゲットニューラルネットワーク後処理フィルタを現在のピクチャのための後処理フィルタリングのためにのみ使用されてもよいことを指定する。
１に等しいｎｎｐｆａ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇは、ターゲットニューラルネットワーク後処理フィルタを、以下の条件のうちの１つ以上が真になるまで、出力順序で現在のレイヤの現在のピクチャ及び全ての後続のピクチャのための後処理フィルタリングのために使用されてもよいことを指定する。
－現在のレイヤの新しいＣＬＶＳが始まる。
－ビットストリームが終了する。
－現在のＳＥＩメッセージと同じｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄ及び１に等しいｎｎｐｆａ＿ｃａｎｃｅｌ＿ｆｌａｇを有するＮＮＰＦＡ ＳＥＩメッセージに関連付けられた現在のレイヤ中のピクチャは、出力順序で現在のピクチャに後続する出力である。
注－ターゲットニューラルネットワーク後処理フィルタは、現在のＳＥＩメッセージと同じｎｎｐｆａ＿ｔａｒｇｅｔ＿ｉｄ及び１に等しいｎｎｐｆａ＿ｃａｎｃｅｌ＿ｆｌａｇを有するＮＮＰＦＡ ＳＥＩメッセージに関連付けられた現在のレイヤ中のこの後続のピクチャに適用されない。
ＪＶＥＴ－ＡＢ２００６において規定されるニューラルネットワークポストフィルタ特性ＳＥＩメッセージは、理想のものとは言えないことがある。特に、例えば、ＪＶＥＴ－ＡＢ２００６におけるシグナリングは、特定のメッセージが有用であるかどうかを受信デバイスが判定することを可能にするには不十分であり得る。本明細書で説明する技術によれば、追加のシンタックス及びセマンティクスが提供され、シンタックス要素の配置が最適化される。
図１は、本開示の１つ以上の技術による、ビデオデータを符号化する（code）（すなわち、符号化（encode）及び／又は復号する）ように構成され得る、システムの一例を示すブロック図である。システム１００は、本開示の１つ以上の技術に従って、ビデオデータをカプセル化し得るシステムの一例を表す。図１に示すように、システム１００は、ソースデバイス１０２と、通信媒体１１０と、目的デバイス１２０と、を含む。図１に示す例では、ソースデバイス１０２は、ビデオデータを符号化し、符号化されたビデオデータを通信媒体１１０に送信するように構成された、任意のデバイスを含んでもよい。目的デバイス１２０は、通信媒体１１０を介して符号化したビデオデータを受信し、符号化したビデオデータを復号するように構成された、任意のデバイスを含んでもよい。ソースデバイス１０２及び／又は目的デバイス１２０は、有線通信及び／又は無線通信用に装備された演算デバイスを含んでもよく、かつ、例えば、セットトップボックス、デジタルビデオレコーダ、テレビ、デスクトップ、ラップトップ、又はタブレットコンピュータ、ゲーム機、医療用撮像デバイス、及び、例えば、スマートフォン、セルラー電話、パーソナルゲームデバイスを含むモバイルデバイス、を含んでもよい。
通信媒体１１０は、無線及び有線の通信媒体並びに／又は記憶デバイスの任意の組み合わせを含んでもよい。通信媒体１１０としては、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を挙げてもよい。通信媒体１１０は、１つ以上のネットワークを含んでもよい。例えば、通信媒体１１０は、ワールドワイドウェブ、例えば、インターネットへのアクセスを可能にするように構成されたネットワークを含んでもよい。ネットワークは、１つ以上の電気通信プロトコルの組み合わせに従って動作してもよい。電気通信プロトコルは、専用の態様を含んでもよく、及び／又は規格化された電気通信プロトコルを含んでもよい。規格化された電気通信プロトコルの例としては、Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔｉｎｇ（ＤＶＢ）規格、Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ（ＡＴＳＣ）規格、Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ（ＩＳＤＢ）規格、Ｄａｔａ Ｏｖｅｒ Ｃａｂｌｅ Ｓｅｒｖｉｃｅ Ｉｎｔｅｒｆａｃｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＤＯＣＳＩＳ）規格、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）規格、符号分割多重アクセス（code division multiple access、ＣＤＭＡ）規格、第三世代パートナーシッププロジェクト（3rd Generation Partnership Project、３ＧＰＰ）規格、欧州電気通信標準化機構（European Telecommunications Standards Institute、ＥＴＳＩ）規格、インターネットプロトコル（Internet Protocol、ＩＰ）規格、ワイヤレスアプリケーションプロトコル（Wireless Application Protocol、ＷＡＰ）規格、及びＩｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）規格が挙げられる。
記憶デバイスは、データを記憶することができる任意の種類のデバイス又は記憶媒体を含んでもよい。記憶媒体は、有形又は非一時的コンピュータ可読媒体を含んでもよい。コンピュータ可読媒体としては、光学ディスク、フラッシュメモリ、磁気メモリ、又は任意の他の好適なデジタル記憶媒体を挙げてもよい。いくつかの例では、メモリデバイス又はその一部分は不揮発性メモリとして説明されることがあり、他の例では、メモリデバイスの一部分は揮発性メモリとして説明されることがある。揮発性メモリの例としては、ランダムアクセスメモリ（random access memory、ＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random access memory、ＤＲＡＭ）、及びスタティックランダムアクセスメモリ（static random access memory、ＳＲＡＭ）を挙げてもよい。不揮発性メモリの例としては、磁気ハードディスク、光学ディスク、フロッピーディスク、フラッシュメモリ、又は電気的プログラム可能メモリ（electrically programmable memory、ＥＰＲＯＭ）若しくは電気的消去可能及びプログラム可能メモリ（electrically erasable and programmable、ＥＥＰＲＯＭ）の形態を挙げてもよい。記憶デバイス（単数又は複数）としては、メモリカード（例えば、セキュアデジタル（Secure Digital、ＳＤ）メモリカード）、内蔵／外付けハードディスクドライブ、及び／又は内蔵／外付けソリッドステートドライブを挙げてもよい。データは、定義されたファイルフォーマットに従って記憶デバイス上に記憶されてもよい。
図４は、システム１００の一実装形態に含まれ得る構成要素の一例を示す概念図である。図４に示す例示的な実装形態では、システム１００は、１つ以上の演算デバイス４０２Ａ～４０２Ｎ、テレビサービスネットワーク４０４、テレビサービスプロバイダサイト４０６、ワイドエリアネットワーク４０８、ローカルエリアネットワーク４１０、及び１つ以上のコンテンツプロバイダサイト４１２Ａ～４１２Ｎを含む。図４に示す実装形態は、例えば、映画、ライブスポーツイベントなどのデジタルメディアコンテンツ、並びにデータ及びアプリケーション及びそれらに関連付けられたメディアプレゼンテーションが、演算デバイス４０２Ａ～４０２Ｎなどの複数の演算デバイスに配信され、かつ、それらによってアクセスされることが可能となるように構成され得るシステムの一例を表す。図４に示す例では、演算デバイス４０２Ａ～４０２Ｎは、テレビサービスネットワーク４０４、ワイドエリアネットワーク４０８、及び／又はローカルエリアネットワーク４１０のうちの１つ以上からデータを受信するように構成されている任意のデバイスを含んでもよい。例えば、演算デバイス４０２Ａ～４０２Ｎは、有線通信及び／又は無線通信用に装備してもよく、１つ以上のデータチャネルを通じてサービスを受信するように構成されてもよく、いわゆるスマートテレビ、セットトップボックス、及びデジタルビデオレコーダを含むテレビを含んでもよい。更に、演算デバイス４０２Ａ～４０２Ｎは、デスクトップ、ラップトップ又はタブレットコンピュータ、ゲーム機、例えば「スマート」フォン、セルラー電話、及びパーソナルゲーミングデバイスを含むモバイルデバイスを含んでもよい。
テレビサービスネットワーク４０４は、テレビサービスを含み得る、デジタルメディアコンテンツの配信を可能にするように構成されているネットワークの一例である。例えば、テレビサービスネットワーク４０４は、公共地上波テレビネットワーク、公共又は加入ベースの衛星テレビサービスプロバイダネットワーク、並びに公共又は加入ベースのケーブルテレビプロバイダネットワーク及び／又は頭越し型（over the top）サービスプロバイダ若しくはインターネットサービスプロバイダを含んでもよい。いくつかの例では、テレビサービスネットワーク４０４は、テレビサービスの提供を可能にするために主に使用され得るが、テレビサービスネットワーク４０４はまた、本明細書に記載された電気通信プロトコルの任意の組み合わせに基づく他の種類のデータ及びサービスの提供も可能とすることに留意されたい。更に、いくつかの例では、テレビサービスネットワーク４０４は、テレビサービスプロバイダサイト４０６と、演算デバイス４０２Ａ～４０２Ｎのうちの１つ以上との間の双方向通信を可能にし得ることに留意されたい。テレビサービスネットワーク４０４は、無線通信媒体及び／又は有線通信媒体の任意の組み合わせを含んでもよい。テレビサービスネットワーク４０４は、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を含んでもよい。テレビサービスネットワーク４０４は、１つ以上の電気通信プロトコルの組み合わせに従って動作してもよい。電気通信プロトコルは、専用の態様を含んでもよく、及び／又は規格化された電気通信プロトコルを含んでもよい。規格化された電気通信プロトコルの例としては、ＤＶＢ規格、ＡＴＳＣ規格、ＩＳＤＢ規格、ＤＴＭＢ規格、ＤＭＢ規格、ケーブルによるデータサービスインターフェース標準（Data Over Cable Service Interface Specification、ＤＯＣＳＩＳ）規格、ＨｂｂＴＶ規格、Ｗ３Ｃ規格、及びＵＰｎＰ規格が挙げられる。
図４を再び参照すると、テレビサービスプロバイダサイト４０６は、テレビサービスネットワーク４０４を介してテレビサービスを配信するように構成されてもよい。例えば、テレビサービスプロバイダサイト４０６は、１つ以上の放送局、ケーブルテレビプロバイダ、又は衛星テレビプロバイダ、又はインターネットベースのテレビプロバイダを含み得る。例えば、テレビサービスプロバイダサイト４０６は、衛星アップリンク／ダウンリンクを介したテレビプログラムを含む送信を、受信するように構成されてもよい。更に、図４に示すように、テレビサービスプロバイダサイト４０６は、ワイドエリアネットワーク４０８と通信してもよく、コンテンツプロバイダサイト４１２Ａ～４１２Ｎからデータを受信するように構成されてもよい。いくつかの例では、テレビサービスプロバイダサイト４０６は、テレビスタジオを含んでもよく、コンテンツはそこから発信してもよいことに留意されたい。
ワイドエリアネットワーク４０８は、パケットベースのネットワークを含み、１つ以上の電気通信プロトコルの組み合わせに従って動作してもよい。電気通信プロトコルは、専用の態様を含んでもよく、及び／又は規格化された電気通信プロトコルを含んでもよい。規格化された電気通信プロトコルの例としては、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）規格、符号分割多元接続（code division multiple access、ＣＤＭＡ）規格、第三世代パートナーシッププロジェクト（3rd Generation Partnership Project、３ＧＰＰ）規格、欧州電気通信標準化機構（European Telecommunications Standards Institute、ＥＴＳＩ）規格、欧州規格（ＥＮ）、ＩＰ規格、ワイヤレスアプリケーションプロトコル（Wireless Application Protocol、ＷＡＰ）規格、及び例えば、ＩＥＥＥ８０２規格のうちの１つ以上（例えば、Ｗｉ－Ｆｉ）などのＩｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）規格が挙げられる。ワイドエリアネットワーク４０８は、無線通信媒体及び／又は有線通信媒体の任意の組み合わせを含んでもよい。ワイドエリアネットワーク４０８は、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、イーサネットケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイス及びサイト間の通信を容易にするために有用であり得る任意の他の機器を含んでもよい。一実施例では、ワイドエリアネットワーク４０８はインターネットを含んでもよい。ローカルエリアネットワーク４１０は、パケットベースのネットワークを含み、１つ以上の電気通信プロトコルの組み合わせに従って動作してもよい。ローカルエリアネットワーク４１０は、アクセス及び／又は物理インフラストラクチャのレベルに基づいてワイドエリアネットワーク４０８と区別されてもよい。例えば、ローカルエリアネットワーク４１０は、セキュアホームネットワークを含んでもよい。
図４を再び参照すると、コンテンツプロバイダサイト４１２Ａ～４１２Ｎは、マルチメディアコンテンツをテレビサービスプロバイダサイト４０６及び／又は演算デバイス４０２Ａ～４０２Ｎに提供し得るサイトの例を表す。例えば、コンテンツプロバイダサイトは、マルチメディアファイル及び／又はストリームをテレビサービスプロバイダサイト４０６に提供するように構成されている、１つ以上のスタジオコンテンツサーバを有するスタジオを含んでもよい。一実施例では、コンテンツプロバイダサイト４１２Ａ～４１２Ｎは、ＩＰスイートを使用してマルチメディアコンテンツを提供するように構成されてもよい。例えば、コンテンツプロバイダサイトは、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ＨＴＴＰなどに従って、マルチメディアコンテンツを受信デバイスに提供するように構成されてもよい。更に、コンテンツプロバイダサイト４１２Ａ～４１２Ｎは、ハイパーテキストベースのコンテンツなどを含むデータを、ワイドエリアネットワーク４０８を通じて、受信デバイス、演算デバイス４０２Ａ～４０２Ｎ、及び／又はテレビサービスプロバイダサイト４０６のうちの１つ以上に提供するように構成されてもよい。コンテンツプロバイダサイト４１２Ａ～４１２Ｎは、１つ以上のウェブサーバを含んでもよい。コンテンツプロバイダサイト４１２Ａ～４１２Ｎによって提供されるデータは、データフォーマットに従って定義され得る。
図１を再び参照すると、ソースデバイス１０２は、ビデオソース１０４と、ビデオ符号化装置１０６と、データカプセル化装置１０７と、インターフェース１０８とを含む。ビデオソース１０４は、ビデオデータをキャプチャ及び／又は記憶するように構成された任意のデバイスを含んでもよい。例えば、ビデオソース１０４は、ビデオカメラ及びそれに動作可能に結合された記憶デバイスを含んでもよい。ビデオ符号化装置１０６は、ビデオデータを受信し、ビデオデータを表す準拠ビットストリームを生成するように構成された、任意のデバイスを含んでもよい。準拠ビットストリームは、ビデオ復号装置が受信し、それからビデオデータを再生成することができるビットストリームを指してもよい。準拠ビットストリームの態様は、ビデオ符号化標準に従って定義され得る。準拠ビットストリームを生成するとき、ビデオ符号化装置１０６は、ビデオデータを圧縮してもよい。圧縮は、非可逆的（視聴者に認識可能若しくは認識不可能）又は可逆的であってよい。図５は、本明細書で説明するビデオデータを符号化するための技術を実装し得るビデオ符号化装置５００の一例を示すブロック図である。例示的なビデオ符号化装置５００は、別個の機能ブロックを有するように示されているが、そのような例示は、説明のためのものであり、ビデオ符号化装置５００及び／又はそのサブコンポーネントを特定のハードウェア又はソフトウェアアーキテクチャに限定するものではないことに留意されたい。ビデオ符号化装置５００の機能は、ハードウェア、ファームウェア、及び／又はソフトウェアの実装形態の任意の組み合わせを用いて実現されてもよい。
ビデオ符号化装置５００は、ピクチャ部分のイントラ予測符号化及びインター予測符号化を実行することがあり、そのためにハイブリッドビデオ符号化装置と称されることがある。図５に示す例では、ビデオ符号化装置５００は、ソースビデオブロックを受信する。いくつかの例では、ソースビデオブロックは、符号化構造に従って分割されているピクチャの部分を含んでもよい。例えば、ソースビデオデータは、マクロブロック、ＣＴＵ、ＣＢ、その再分割、及び／又は別の同等の符号化ユニットを含んでもよい。いくつかの例では、ビデオ符号化装置５００は、ソースビデオブロックの追加の再分割を実行するように構成されてもよい。本明細書で説明する技術は、符号化の前及び／又は符号化中にソースビデオデータがどのように分割されるかにかかわらず、ビデオ符号化に一般的に適用可能であることに留意されたい。図５に示す例では、ビデオ符号化装置５００は、加算器５０２と、変換係数発生装置５０４と、係数量子化部５０６と、逆量子化及び変換係数処理部５０８と、加算器５１０と、イントラ予測処理部５１２と、インター予測処理部５１４と、フィルタ部５１６と、エントロピ符号化部５１８とを含む。図５に示すように、ビデオ符号化装置５００は、ソースビデオブロックを受信し、ビットストリームを出力する。
図５に示す例では、ビデオ符号化装置５００は、ソースビデオブロックから予測ビデオブロックを減算することにより、残差データを生成してもよい。予測ビデオブロックの選択を、以下に詳細に記載する。加算器５０２は、この減算演算を実行するように構成された構成要素を表す。一実施例では、ビデオブロックの減算は、画素領域で行われる。変換係数発生装置５０４は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、又は概念的に類似の変換などの変換を残差ブロック又はその再分割に適用し（例えば、４つの８×８の変換を残差値の１６×１６の配列に適用してもよい）、残差変換係数のセットを生成する。変換係数発生装置５０４は、離散三角変換の近似物を含め離散三角変換のファミリーに含まれる変換の任意の及び全ての組み合わせを実行するように構成されてもよい。変換係数発生装置５０４は、変換係数を係数量子化部５０６に出力してもよい。係数量子化部５０６は、変換係数の量子化を実行するように構成されてもよい。量子化プロセスは、係数の一部又は全てに関連付けられたビット深度を低減してもよい。量子化の程度により、符号化したビデオデータのレートディストーション（すなわち、ビデオのビットレート対品質）が変更され得る。量子化パラメータ（ＱＰ）を調節することにより、量子化の程度を変更してもよい量子化パラメータは、スライスレベル値及び／又はＣＵレベル値（例えば、ＣＵデルタＱＰ値）に基づいて判定されてもよい。ＱＰデータは、特定の変換係数のセットを量子化するＱＰを判定するために使用される任意のデータを含み得る。図５に示すように、量子化された変換係数（レベル値と呼んでもよい）は、逆量子化及び変換係数処理部５０８に出力される。逆量子化及び変換係数処理部５０８は、逆量子化及び逆変換を適用して、復元された残差データを生成するように構成されてもよい。図５に示すように、加算器５１０において、復元された残差データを、予測ビデオブロックに加算されてもよい。このようにして、符号化ビデオブロックを復元してもよく、結果として得られる復元されたビデオブロックを使用して、所与の予測、変換、及び／又は量子化についての符号化品質を評価してもよい。ビデオ符号化装置５００は、複数の符号化パスを実行する（例えば、予測、変換パラメータ及び量子化パラメータの１つ以上を変更しながら符号化を実行する）ように構成されてもよい。ビットストリームのレートディストーション又は他のシステムパラメータは、復元されたビデオブロックの評価に基づいて最適化されてもよい。更に、復元されたビデオブロックは、その後のブロックを予測するための参照として記憶され、使用されてもよい。
図５を参照すると、イントラ予測処理部５１２は、符号化されるビデオブロックに対してイントラ予測モードを選択するように構成されてもよい。イントラ予測処理部５１２は、現在のブロックを符号化するために、フレームを評価し、使用するイントラ予測モードを判定するように構成されてもよい。上述したように、可能なイントラ予測モードは、平面予測モード、ＤＣ予測モード、及び角度予測モードを含んでもよい。更に、いくつかの例では、クロマ成分に対する予測モードを、ルマ予測モードに対する予測モードから推測してもよいことに留意されたい。イントラ予測処理部５１２は、１つ以上の符号化パスを実行した後にイントラ予測モードを選択してもよい。更に、一実施例では、イントラ予測処理部５１２は、レートディストーション解析に基づいて予測モードを選択してもよい。図５に示すように、イントラ予測処理部５１２は、イントラ予測データ（例えば、シンタックス要素）をエントロピ符号化部５１８及び変換係数発生装置５０４に出力する。上述のように、残差データに対して実行される変換は、モード依存性であってもよい（例えば、二次変換行列は、予測モードに基づいて判定されてもよい）。
図５を再び参照すると、インター予測処理部５１４は、現在のビデオブロックに対してインター予測符号化を実行するように構成されてもよい。インター予測処理部５１４は、ソースビデオブロックを受信し、ビデオブロックのＰＵに対する動きベクトルを計算するように構成されてもよい。動きベクトルは、参照フレーム内の予測ブロックに対する現在のビデオフレーム内のビデオブロックの予測ユニットの変位を示してもよい。インター予測符号化は、１つ以上の参照ピクチャを使用してもよい。更に、動き予測は、単一予測（１つの動きベクトルを用いる）又は双予測（２つの動きベクトルを用いる）であってもよい。インター予測処理部５１４は、例えば、絶対差分和（sum of absolute difference）（ＳＡＤ）、差分二乗和（sum of square difference）（ＳＳＤ）、又は他の差の測定法によって判定された画素差を計算することにより、予測ブロックを選択するように構成されてもよい。上述したように、動きベクトルは、動きベクトル予測に従って判定及び判定されてもよい。インター予測処理部５１４は、上述したように、動きベクトル予測を実行するように構成されてもよい。インター予測処理部５１４は、動き予測データを用いて予測ブロックを生成するように構成されてもよい。例えば、インター予測処理部５１４は、フレームバッファ（図５に示さない）内に予測ビデオブロックを配置してもよい。インター予測処理部５１４は、復元された残差ブロックに１つ以上の補間フィルタを適用して、動き予測に使用するための整数未満の画素値を計算するように更に構成してもよいことに留意されたい。インター予測処理部５１４は、計算された動きベクトルに対する動き予測データをエントロピ符号化部５１８に出力してもよい。
図５を再び参照すると、フィルタ部５１６は、復元されたビデオブロック及び符号化パラメータを受信し、変更した復元されたビデオデータを出力する。フィルタ部５１６は、デブロッキング及び／又はサンプル適応オフセット（ＳＡＯ）フィルタリングを実行するように構成されてもよい。ＳＡＯフィルタリングは、復元されたビデオデータにオフセットを加えることにより復元を向上するために使用され得る、非線形振幅マッピングである。図５に示すように、イントラ予測処理部５１２及びインター予測処理部５１４は、フィルタ部２１６を介して、変更した復元されたビデオブロックを受信してもよいことに留意されたい。エントロピ符号化部５１８は、量子化された変換係数及び予測シンタックスデータ（すなわち、イントラ予測データ及び動き予測データ）を受信する。いくつかの例では、係数量子化部５０６は、係数がエントロピ符号化部５１８に出力される前に、量子化された変換係数を含む行列の走査を実行してもよいことに留意されたい。他の例では、エントロピ符号化部５１８は、走査を実行してもよい。エントロピ符号化部５１８は、本明細書で説明する技術の１つ以上に従ってエントロピ符号化を実行するように構成されてもよい。このようにして、ビデオ符号化装置５００は、本開示の１つ以上の技術に従って符号化ビデオデータを生成するように構成されたデバイスの一例を表す。
図１を再び参照すると、データカプセル化装置１０７は、符号化ビデオデータを受信し、定義されたデータ構造に従って準拠ビットストリーム、例えば、一連のＮＡＬユニットなどの準拠ビットストリームを生成してもよい。準拠ビットストリームを受信するデバイスは、そこからビデオデータを再生成してもよい。更に、上述したように、サブビットストリーム抽出とは、受信ビットストリーム中のデータを破棄及び／又は変更することによって、準拠ビットストリームを受信しているデバイスが、新たな準拠ビットストリームを形成するプロセスを指してもよい。適合ビットストリームという用語は、準拠ビットストリームという用語の代わりに使用されてもよいことに留意されたい。一実施例では、データカプセル化装置１０７は、本明細書で説明する１つ以上の技術に従ってシンタックスを生成するように構成されてもよい。データカプセル化装置１０７は、ビデオ符号化装置１０６と同じ物理デバイス内に配置される必要はないことに留意されたい。例えば、ビデオ符号化装置１０６及びデータカプセル化装置１０７によって実行されるものとして説明される機能は、図４に示すデバイス間で配信してもよい。
上述したように、ＪＶＥＴ－ＡＢ２００６において規定されるシグナリングは不十分であり得る。本明細書の技術によれば、一実施例では、特定のＮＮＰＦＣ ＳＥＩメッセージが受信機デバイスにとって有用な又は関心のある目的を有するかどうか、及び受信機デバイスがその目的に基づいてメッセージ中の他のデータをパースする必要があるかどうかを受信機デバイスが判定することを可能にするために、シンタックス要素ｎｎｐｆｃ＿ｐｕｒｐｏｓｅがＮＮＰＦＣ ＳＥＩメッセージ中でより前に提供される。更に、一実施例では、本明細書の技術によれば、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅは、無条件にシグナリングされてもよい。ｎｎｐｆｃ＿ｉｄの追跡を維持することによって間接的にではなく、ＮＮＰＦＣメッセージの目的を直接的に知ることにより、受信機デバイスが迅速に目的情報を明確に知ることが可能になることに留意されたい。ＪＶＥＴ－ＡＢ２００６によれば、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージ（１に等しいｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇを有し、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅシンタックス要素を含む）が失われることがあり、同じｎｎｐｆｃ＿ｉｄ値及び０に等しいｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇを用いて第２のＮＮＰＦＣ ＳＥＩメッセージをシグナリングしてもよいことに留意されたい。この場合、第２のＮＮＰＦＣ ＳＥＩメッセージの目的を発見する前に、追加のパースが必要とされる。現在、追加のパースは、ｎｎｐｆｃ＿ｍｏｄｅ＿ｉｄｃをパースすることと、それが１に等しい場合、任意のバイトアライメントｎｎｐｆｃ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔビット、ｎｎｐｆｃ＿ｔａｇ＿ｕｒｉ、ｎｎｐｆｃ＿ｕｒｉ、次いでｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇシンタックス要素をパースすることと、を含む。本明細書の技術によれば、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅフラグをＮＮＰＦＣ ＳＥＩメッセージ中でより前に移動させ、それを無条件にシグナリングすることにより、そのようなシナリオを緩和するのに役立つことになることが主張される。更に、本明細書の技術によれば、一実施例では、フラグｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇを、ｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ｆｌａｇと改名してもよい。
一実施例では、本明細書の技術によれば、規格化されたデータに従って入力データが操作されるかどうかを示すシンタックス要素がニューラルネットワークポストフィルタ特性ＳＥＩメッセージ中で提供される。表１３Ａ～表１３Ｄは、本明細書の技術による、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅシンタックス要素が移動される、例示的なニューラルネットワークポストフィルタ特性ＳＥＩメッセージの関連するシンタックスを示す。
Figure 2024087742000029
Figure 2024087742000030
Figure 2024087742000031
Figure 2024087742000032
別の実施例では、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅシンタックス要素は、上記の実施例のうちの１つにおいて説明したように上に移動し、ｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇに基づいて依然として条件付きでシグナリングされてもよく、したがって、これらの場合、ｎｎｐｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇの位置も、上に移動されてもよい。表１４Ａ～表１４Ｃは、本明細書の技術による、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅシンタックス要素が移動される、例示的なニューラルネットワークポストフィルタ特性ＳＥＩメッセージの関連するシンタックスを示す。
Figure 2024087742000033
Figure 2024087742000034
Figure 2024087742000035
表１３Ａ～表１４Ｃに関して、セマンティクスは、上記で提供されるセマンティクスに基づいていてもよい。
ＪＶＥＴ－ＡＢ２００６のセマンティクスでは、シンタックス要素ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃについて、プロセスＳｔｏｒｅＯｕｔｐｕｔＴｅｎｓｏｒｓ（）を定義する最も外側のｆｏｒループは、このプロセスが出力ピクチャの数に適用されるべきであるので、変数ｎｕｍＩｎｐｕｔＰｉｃｓの代わりに変数ｎｕｍＯｕｔｐｕｔＰｉｃｓを使用すべきであることが主張される。更に、ＪＶＥＴ－ＡＢ２００６のセマンティクスでは、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅが値５以外の値を有するとき、変数ｎｕｍＯｕｔｐｕｔＰｉｃｓは導出されないことが主張される。変数ｎｕｍＯｕｔｐｕｔＰｉｃｓは、プロセスＳｔｏｒｅＯｕｔｐｕｔＴｅｎｓｏｒｓ（）を定義するｎｎｐｆｃ＿ｏｕｔｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃの式に使用されるべきであることが主張される。したがって、本明細書の技術によれば、変数ｎｕｍＯｕｔｐｕｔＰｉｃｓは、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅが５に等しくないときに初期化される。一実施例では、本明細書の技術によれば、ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃ及びｎｎｐｆｃ＿ｉｎｔｅｒｐｏｌａｔｅｄ＿ｐｉｃｓのセマンティクスは、以下のとおりであってもよい。
ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃは、後処理フィルタから得られるサンプルの出力順序を示す。
ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃの値は、この文書のこの版に準拠するビットストリームにおいて、両端値を含む０～３の範囲内にあるものとする。ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃの両端値を含む４～２５５の値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、両端値を含む４～２５５の範囲内のｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃを有するＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。２５５よりも大きいｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃの値は、この文書のこの版に準拠するビットストリーム中に存在しないものとし、将来の使用のために予約されない。
ｎｎｐｆｃ＿ｐｕｒｐｏｓｅが２又は４に等しいとき、ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃは３に等しくないものとする。
表１０は、ｎｎｐｆｃ＿ｏｕｔ＿ｏｒｄｅｒ＿ｉｄｃ値の有益な説明を含む。
入力テンソルに含まれるサンプルのパッチの左上サンプル位置を指定する所与の垂直サンプル座標ｃＴｏｐ及び水平サンプル座標ｃＬｅｆｔの出力テンソルｏｕｔｐｕｔＴｅｎｓｏｒからフィルタリングされた出力サンプル配列ＦｉｌｔｅｒｅｄＹＰｉｃ、ＦｉｌｔｅｒｅｄＣｂＰｉｃ、及びＦｉｌｔｅｒｅｄＣｒＰｉｃにおけるサンプル値を導出するためのプロセスＳｔｏｒｅＯｕｔｐｕｔＴｅｎｓｏｒｓ（）は、以下のように指定される。
Figure 2024087742000036
Figure 2024087742000037
Figure 2024087742000038
 ｎｎｐｆｃ＿ｉｎｔｅｒｐｏｌａｔｅｄ＿ｐｉｃｓ［ｉ］は、後処理フィルタのための入力として使用されるｉ番目のピクチャと（ｉ＋１）番目のピクチャとの間の、後処理フィルタによって生成される補間ピクチャの数を指定する。
後処理フィルタのための入力として使用されるピクチャの数を指定する変数ｎｕｍＩｎｐｕｔＰｉｃｓ、及び後処理フィルタから得られるピクチャの総数を指定する変数ｎｕｍＯｕｔｐｕｔＰｉｃｓは、以下のように導出される。
Figure 2024087742000039
別の実施例では、ｎｎｐｆｃ＿ｐｕｒｐｏｓｅが５に等しくないとき、ｆｏｒループへの、及びｎｕｍＯｕｔｐｕｔＰｉｃが１に等しくなるように初期化することへの上記の変更は、ＮＮＰＦＣ ＳＥＩメッセージの他のシンタックス要素のセマンティクス中に含まれ得る。
一実施例では、本明細書の技術によれば、２つのｕｅ（ｖ）符号化シンタックス要素ｎｎｐｆｃ＿ｎｕｍ＿ｉｎｐｕｔ＿ｐｉｃｓ＿ｍｉｎｕｓ２及びｎｎｐｆｃ＿ｉｎｔｅｒｐｏｌａｔｅｄ＿ｐｉｃｓ［ｉ］に対して有効値範囲を定義してもよい。ＪＶＥＴ－ＡＢ２００６では、これらについて指定された範囲はない。これは、復号装置が好適なバッファを割り当てることを困難にする可能性がある。一実施例では、本明細書の技術によれば、ｎｎｐｆｃ＿ｎｕｍ＿ｉｎｐｕｔ＿ｐｉｃｓ＿ｍｉｎｕｓ２及びｎｎｐｆｃ＿ｉｎｔｅｒｐｏｌａｔｅｄ＿ｐｉｃｓ［ｉ］のセマンティクスは、以下のとおりであってもよい。
ｎｎｐｆｃ＿ｎｕｍ＿ｉｎｐｕｔ＿ｐｉｃｓ＿ｍｉｎｕｓ２プラス２は、後処理フィルタのための入力として使用される復号出力ピクチャの数を指定する。ｎｎｐｆｃ＿ｎｕｍ＿ｉｎｐｕｔ＿ｐｉｃｓ＿ｍｉｎｕｓ２の値は、この文書のこの版に準拠するビットストリームにおいて、両端値を含む０～１４の範囲内にあるものとする。
別の実施例では、１４とは異なる値を、上限として、及びシンタックス要素ｎｎｐｆｃ＿ｎｕｍ＿ｉｎｐｕｔ＿ｐｉｃｓ＿ｍｉｎｕｓ２の範囲を定義するために使用してもよい。例えば、３０又は６２又は１２６の値、あるいは何らかの他の値を使用してもよい。
ｎｎｐｆｃ＿ｉｎｔｅｒｐｏｌａｔｅｄ＿ｐｉｃｓ［ｉ］は、後処理フィルタのための入力として使用されるｉ番目のピクチャと（ｉ＋１）番目のピクチャとの間の、後処理フィルタによって生成される補間ピクチャの数を指定する。ｎｎｐｆｃ＿ｉｎｔｅｒｐｏｌａｔｅｄ＿ｐｉｃｓ［ｉ］の値は、この文書のこの版に準拠するビットストリームにおいて、両端値を含む０～６４の範囲内にあるものとする。
別の実施例では、６４とは異なる値を、上限として、及びシンタックス要素ｎｎｐｆｃ＿ｉｎｔｅｒｐｏｌａｔｅｄ＿ｐｉｃｓ［ｉ］の範囲を定義するために使用してもよい。例えば、３２又は９６又は１２８又は２５６の値、あるいは何らかの他の値を使用してもよい。
ＪＶＥＴ－ＡＢ２００６によれば、ＮＮＰＦＣ ＳＥＩメッセージは、入力としてルマ及びクロマのための別個のビット深度（ＢｉｔＤｅｐｔｈＹ及びＢｉｔＤｅｐｔｈＣ）をとり、ルマサンプル及びクロマサンプルのための２つの別個の関数ＩｎｐＹ（ｘ）及びＩｎｐＣ（ｘ）を定義することが主張される。しかしながら、セマンティクスでは、クロマについてのＩｎｐＣ（ｘ）は、シンタックス要素ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８に基づいて計算されるｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈ変数を利用して計算される。しかしながら、ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８のセマンティクスは、それに８をプラスしたものが入力整数テンソル中のルマサンプル値のビット深度を指定することを規定する。一実施例では、本明細書の技術によれば、入力整数テンソル中のクロマサンプル値のビット深度を指定するための追加のシンタックス要素ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８を定義してもよい。ＪＶＥＴ－ＡＢ２００６におけるＮＮＰＦＣ ＳＥＩメッセージは、クロップされた復号出力ピクチャのルマサンプル配列及びクロマサンプル配列のために別個のビット値深度ＢｉｔＤｅｐｔｈＹ及びＢｉｔＤｅｐｔｈＣを使用するので、かつｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃのためのセマンティクスにおける計算が別個の関数ＩｎｐＹ（）及びＩｎｐＣ（）を定義するので、入力整数テンソル中のルマサンプル値のビット深度とは異なり得る入力整数テンソル中のクロマサンプル値の別個のビット深度を指定するための別個のシンタックス要素ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８を定義することがより柔軟になることが主張される。表１５は、本明細書の技術による、シンタックス要素ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８を有する例示的なニューラルネットワークポストフィルタ特性ＳＥＩメッセージの関連するシンタックスを示す。
Figure 2024087742000040
表１５に関して、セマンティクスは、上記で提供されたセマンティクス、及び以下に基づいていてもよい。
ｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃは、クロップされた復号出力ピクチャのサンプル値を後処理フィルタへの入力値に変換する方法を示す。ｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しいとき、後処理フィルタへの入力値は実数であり、関数ＩｎｐＹ（）及びＩｎｐＣ（）は、以下のように指定される。
ＩｎｐＹ（ｘ）＝ｘ÷（（１＜＜ＢｉｔＤｅｐｔｈＹ）－１）
ＩｎｐＣ（ｘ）＝ｘ÷（（１＜＜ＢｉｔＤｅｐｔｈＣ）－１）
ｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃが１に等しいとき、後処理フィルタへの入力値は符号なし整数であり、関数ＩｎｐＹ（）及びＩｎｐＣ（）は、以下のように指定される。
Figure 2024087742000041
 変数ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈは、以下で指定されるように、シンタックス要素ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８から導出される。変数ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈＣｈｒｏｍａは、以下で指定されるように、シンタックス要素ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８から導出される。
１よりも大きいｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃの値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の仕様のために予約され、この文書のこの版に準拠するビットストリーム中に存在しないものとする。この文書のこの版に準拠する復号装置は、ｎｎｐｆｃ＿ｉｎｐ＿ｆｏｒｍａｔ＿ｉｄｃの予約済み値を含むＮＮＰＦＣ ＳＥＩメッセージを無視するものとする。
ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８プラス８は、入力整数テンソル中のルマサンプル値のビット深度を指定する。ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈの値は以下のように導出される。
ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈ＝ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８＋８
ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８の値が両端値を含む０～２４の範囲内にあるものとすることが、ビットストリーム適合性の要件である。
ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８プラス８は、入力整数テンソル中のクロマサンプル値のビット深度を指定する。ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈの値は以下のように導出される。
ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈＣｈｒｏｍａ＝ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８＋８
ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８の値が両端値を含む０～２４の範囲内にあるものとすることが、ビットストリーム適合性の要件である。
一実施例では、変数ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈをｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈＬｕｍａに改名してもよい。
いくつかの実施例では、表１５において提供される例示的なシンタックスは、表１３Ａ～表１３Ｄ及び表１４Ａ～表１４Ｃにおいて提供される例示的なシンタックスと組み合わせてもよいことに留意されたい。すなわち、シンタックス要素ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８は、表１３Ａ～表１３Ｄ及び表１４Ａ～表１４Ｃのいずれかに含まれ得る。
一実施例では、本明細書の技術によれば、ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８のセマンティクスは、それに８をプラスしたものが入力整数テンソル中のルマサンプル値及びクロマサンプル値のビット深度を指定するように定義してもよい。すなわち、一実施例では、ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８のセマンティクスは、以下に基づいていてもよい：ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８プラス８は、入力整数テンソル中のルマサンプル値及びクロマサンプル値のビット深度を指定する。ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈの値は以下のように導出される。
ｉｎｐＴｅｎｓｏｒＢｉｔＤｅｐｔｈ＝ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８＋８
ｎｎｐｆｃ＿ｉｎｐ＿ｔｅｎｓｏｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８の値が両端値を含む０～２４の範囲内にあるものとすることが、ビットストリーム適合性の要件である。
ＪＶＥＴ－ＡＢ２００６によれば、ＮＮＰＦＣ ＳＥＩメッセージは、以下のような更新のメカニズムをサポートする。
ＮＮＰＦＣ ＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージでないとき、以下が適用される。
－このＳＥＩメッセージは、同じｎｎｐｆｃ＿ｉｄ値を有する復号順序で先行する基本後処理フィルタに対する更新を定義する。
－このＳＥＩメッセージは、現在のＣＬＶＳの終了まで、又は現在のＣＬＶＳ内で出力順序でその特定のｎｎｐｆｃ＿ｉｄ値を有する次のＮＮＰＦＣ ＳＥＩメッセージまで、出力順序で現在のレイヤの現在の復号されたピクチャ及び全ての後続の復号されたピクチャに関連する。
また、
このＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージであるとき、後処理フィルタＰｏｓｔＰｒｏｃｅｓｓｉｎｇＦｉｌｔｅｒ（）は、基本後処理フィルタと同じになるように割り当てられる。
このＳＥＩメッセージが、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージでないとき、後処理フィルタＰｏｓｔＰｒｏｃｅｓｓｉｎｇＦｉｌｔｅｒ（）は、このＳＥＩメッセージによって定義された更新を基本後処理フィルタに適用することによって取得される。
ＪＶＥＴ－ＡＢ２００６によれば、更新は累積的ではなく、むしろ各更新は、現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージによって指定された後処理フィルタである基本後処理フィルタに適用されることに留意されたい。
現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージが失われるシナリオでは、同じｎｎｐｆｃ＿ｉｄ値を有する後続のＮＮＰＦＣ ＳＥＩメッセージを受信する受信機は、受信されたメッセージが更新であるかどうかを理解する前に、いくつかのシンタックス要素をパースする必要があり得ることが主張される。また、この場合、基本後処理フィルタを定義する最初のＮＮＰＦＣ ＳＥＩメッセージが失われるので、更新である受信されたメッセージは、典型的には、このパースの全てを行った後に破棄される必要がある。本明細書の技術によれば、この処理及びパースは、メッセージが更新であるか、又はシグナリングされたｎｐｐｆｃ＿ｉｄのための最初のＮＮＰＦＣ ＳＥＩメッセージであるかを示すフラグをＮＮＰＦＣ ＳＥＩメッセージ中で直接シグナリングすることによって、簡略化することができる。
一実施例では、本明細書の技術によれば、フラグをシグナリングして、ＮＮＰＦＣ ＳＥＩメッセージがＣＬＶＳ内の最初の（又は新しい）ＮＮＰＦＣ ＳＥＩメッセージであるかどうかを示してもよく、これにより、特定のｎｎｐｆｃ＿ｉｄのための基本後処理フィルタを指定する、又はそれが同じｎｎｐｆｃ＿ｉｄを有する以前にシグナリングされたＳＥＩメッセージの更新であるかを指定する。これにより、受信されたｎｎｐｆｃ＿ｉｄ値の追跡を維持し、またＳＥＩメッセージ内の他のフィールドをパースしてそれが更新であるかどうかを識別する代わりに、単にこのフラグをパースすることによって、受信機がＮＮＰＦＣ ＳＥＩメッセージを処理することをより容易にすることができると主張される。例えば、ＮＮＰＦＣ ＳＥＩメッセージ中のいくつかのシンタックス要素は、メッセージがＭＰＥＧニューラルネットワーク表現（Neural Network Representation、ＮＮＲ）更新を含んでいることを識別するためにパースされる必要があり得る。これにより、ＳＥＩメッセージが失われ得る環境においてＮＮＰＦＣメッセージを理解するために必要とされる処理を増加させる可能性があり、これは、提案されたフラグをシグナリングすることによって回避することができることが主張される。
表１６は、本明細書の技術による、ＮＮＰＦＣ ＳＥＩメッセージが新しいメッセージであるか、又は更新であるかを示すフラグを有する例示的なニューラルネットワークポストフィルタ特性ＳＥＩメッセージの関連するシンタックスを示す。
Figure 2024087742000042
表１６に関して、セマンティクスは、上記で提供されたセマンティクス、及び以下に基づいていてもよい。
１に等しいｎｎｐｆｃ＿ｕｐｄａｔｅ＿ｆｌａｇは、このＮＮＰＦＣ ＳＥＩメッセージのコンテンツが同じｎｎｐｆｃ＿ｉｄを有する前の（第１の）ＮＮＰＦＣメッセージ情報に対する更新を提供することを指定する。０に等しいｎｎｐｆｃ＿ｕｐｄａｔｅ＿ｆｌａｇは、このＮＮＰＦＣ ＳＥＩメッセージのコンテンツが同じｎｎｐｆｃ＿ｉｄを有する前のＮＮＰＦＣメッセージ情報の更新ではないスタンドアロンＮＮＰＦＣメッセージ情報を含むことを指定する。
代替として、セマンティクスは、以下のように定義してもよい。
１に等しいｎｎｐｆｃ＿ｕｐｄａｔｅ＿ｆｌａｇは、このＮＮＰＦＣ ＳＥＩメッセージのコンテンツが同じｎｎｐｆｃ＿ｉｄを有する前の（最初の）ＮＮＰＦＣ ＳＥＩメッセージに対する更新を提供することを指定する。０に等しいｎｎｐｆｃ＿ｕｐｄａｔｅ＿ｆｌａｇは、このＳＥＩメッセージが現在のＣＬＶＳ内の特定のｎｎｐｆｃ＿ｉｄ値を有する、復号順序で最初のＮＮＰＦＣ ＳＥＩメッセージであることを指定する。
別の実施例では、ｎｎｐｆｃ＿ｕｐｄａｔｅ＿ｆｌａｇは、ＮＮＰＦＣ ＳＥＩメッセージ中の異なる位置においてシグナリングされてもよい。例えば、それは、ｎｎｐｆｃ＿ｉｄシンタックス要素の直後、又はｎｎｐｆｃ＿ｍｏｄｅ＿ｉｄｃシンタックス要素の直後、又はｎｎｆｃ＿ｆｏｒｍａｔｔｉｎｇ＿ａｎｄ＿ｐｕｒｐｏｓｅ＿ｆｌａｇシンタックス要素の直前、又はＮＮＰＦＣ ＳＥＩメッセージ中の何らかの他の場所においてシグナリングされてもよい。
いくつかの実施例では、表１６において提供される例示的なシンタックスは、表１３Ａ～表１３Ｄ、表１４Ａ～表１４Ｃ、表１５、及びそれらの組み合わせにおいて提供される例示的なシンタックスと組み合わせてもよいことに留意されたい。すなわち、シンタックス要素ｎｎｐｆｃ＿ｕｐｄａｔｅ＿ｆｌａｇは、表１３Ａ～表１３Ｄ、表１４Ａ～表１４Ｃ、表１５、及びそれらの組み合わせのいずれかに含まれ得る。
本明細書の技術によれば、いくつかの実施例では、このようにして、ビデオ符号化装置５００は、ニューラルネットワークポストフィルタ特性メッセージをシグナリングし、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングし、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングし、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、構成されたデバイスの一例を表す。
図１を再び参照すると、インターフェース１０８は、データカプセル化装置１０７によって生成されたデータを受信し、そのデータを通信媒体に送信及び／又は記憶するように構成された任意のデバイスを含んでもよい。インターフェース１０８は、イーサネットカードなどのネットワークインターフェースカードを含んでもよく、光送受信機、無線周波数送受信機、又は情報を送信及び／若しくは受信することができる任意の他の種類のデバイスを含んでもよい。更に、インターフェース１０８は、ファイルを記憶デバイス上に記憶することを可能にし得るコンピュータシステムインターフェースを含んでもよい。例えば、インターフェース１０８は、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）及びＰｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バスプロトコル、独自のバスプロトコル、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）プロトコル、Ｉ２Ｃ、又はピアデバイスを相互接続するために使用され得る任意の他の論理構造及び物理構造をサポートする、チップセットを含んでもよい。
図１を再び参照すると、目的デバイス１２０は、インターフェース１２２と、データカプセル化解除装置１２３と、ビデオ復号装置１２４と、ディスプレイ１２６とを含む。インターフェース１２２は、通信媒体からデータ受信するように構成されている任意のデバイスを含んでもよい。インターフェース１２２は、イーサネットカードなどのネットワークインターフェースカードを含んでもよく、光送受信機、無線周波数送受信機、又は情報を受信及び／若しくは送信することができる任意の他の種類のデバイスを含んでもよい。更に、インターフェース１２２は、準拠ビデオビットストリームを記憶デバイスから取得することを可能にするコンピュータシステム用インターフェースを含んでもよい。例えば、インターフェース１２２は、ＰＣＩ及びＰＣＩｅバスプロトコル、独自のバスプロトコル、ＵＳＢプロトコル、Ｉ２Ｃ、又はピアデバイスを相互接続するために使用され得る任意の他の論理構造及び物理構造をサポートする、チップセットを含んでもよい。データカプセル化解除装置１２３は、本明細書で説明する例示的なシンタックス構造のいずれかを受信及びパースするように構成されてもよい。
ビデオ復号装置１２４は、ビットストリーム（例えば、サブビットストリーム抽出）及び／又はその許容可能な変形を受信し、そこからビデオデータを再生成するように構成された任意のデバイスを含んでもよい。ディスプレイ１２６は、ビデオデータを表示するように構成された任意のデバイスを含んでもよい。ディスプレイ１２６は、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（organic light emitting diode、ＯＬＥＤ）ディスプレイ、又は別の種類のディスプレイなどの、様々なディスプレイデバイスのうちの１つを含んでもよい。ディスプレイ１２６は、高解像度ディスプレイ又は超高解像度ディスプレイを含んでもよい。図１に示す例では、ビデオ復号装置１２４は、データをディスプレイ１２６に出力するように説明されているが、ビデオ復号装置１２４は、ビデオデータを様々な種類のデバイス及び／又はそのサブコンポーネントに出力するように構成されてもよいことに留意されたい。例えば、ビデオ復号装置１２４は、本明細書で説明するような任意の通信媒体にビデオデータを出力するように構成されてもよい。
図６は、本開示の１つ以上の技術（例えば、上述した参照ピクチャリスト作成の復号プロセス）による、ビデオデータを復号するように構成され得るビデオ復号装置の一例を示すブロック図である。一実施例では、ビデオ復号装置６００は、変換データを復号し、復号された変換データに基づいて変換係数から残差データを復元するように構成されてもよい。ビデオ復号装置６００は、イントラ予測復号及びインター予測復号を実行するように構成されてもよく、そのためにハイブリッド復号装置と称されてもよい。ビデオ復号装置６００は、表１～表１６において上述したシンタックス要素の任意の組み合わせをパースするように構成されてもよい。ビデオ復号装置６００は、上述したプロセスに基づいて、又はそれに従って、更に、表１～表１６中のパースされた値に基づいて、ビデオを復号してもよい。
図６に示す例では、ビデオ復号装置６００は、エントロピ復号部６０２と、逆量子化部６０４と、逆変換係数処理部６０６と、イントラ予測処理部６０８と、インター予測処理部６１０と、加算器６１２と、ポストフィルタ部６１４と、参照バッファ６１６とを含む。ビデオ復号装置６００は、ビデオ符号化システムと合致するようにしてビデオデータを復号するように構成されてもよい。例示的なビデオ復号装置６００は、別個の機能ブロックを有するように示されているが、そのような例示は、説明のためのものであり、ビデオ復号装置６００及び／又はそのサブコンポーネントを特定のハードウェア又はソフトウェアアーキテクチャに限定するものではないことに留意されたい。ビデオ復号装置６００の機能は、ハードウェア、ファームウェア、及び／又はソフトウェアの実装形態の任意の組み合わせを用いて実現されてもよい。
図６に示すように、エントロピ復号部６０２は、エントロピ符号化されたビットストリームを受信する。エントロピ復号部６０２は、エントロピ符号化プロセスとは逆のプロセスに従って、ビットストリームからシンタックス要素及び量子化された係数を復号するように構成されてもよい。エントロピ復号部６０２は、上述したエントロピ符号化技術のいずれかに従ってエントロピ復号を実行するように構成されてもよい。エントロピ復号部６０２は、ビデオ符号化規格と合致するようにして、符号化されたビットストリーム中のシンタックス要素の値を判定してもよい。図６に示すように、エントロピ復号部６０２は、ビットストリームから量子化パラメータ、量子化された係数の値、変換データ、及び予測データを判定してもよい。図６に示す例では、逆量子化部６０４及び逆変換係数処理部６０６は、量子化された係数の値をエントロピ復号部６０２から受信し、復元された残差データを出力する。
図６を再び参照すると、復元された残差データを加算器６１２に提供してもよい。加算器６１２は、復元された残差データを予測ビデオブロックに加算し、復元されたビデオデータを生成してもよい。予測ビデオブロックは、予測ビデオ技術（すなわち、イントラ予測及びフレーム間予測）に従って判定されてもよい。イントラ予測処理部６０８は、イントラ予測シンタックス要素を受信し、参照バッファ６１６から予測ビデオブロックを取り出すように構成されてもよい。参照バッファ６１６は、ビデオデータの１つ以上のフレームを記憶するように構成されたメモリデバイスを含んでもよい。イントラ予測シンタックス要素は、上述したイントラ予測モードなどのイントラ予測モードを識別してもよい。インター予測処理部６１０は、インター予測シンタックス要素を受信し、動きベクトルを生成して、参照バッファ６１６に記憶された１つ以上の参照フレーム中の予測ブロックを識別してもよい。インター予測処理部６１０は、場合によっては補間フィルタに基づく補間を実行して、動き補償されたブロックを生成してもよい。シンタックス要素には、画素未満の精度を有する動き予測に使用されることになる補間フィルタの識別子を含めてもよい。インター予測処理部６１０は、補間フィルタを使用して、参照ブロックのサブ整数の画素に対する補間された値を計算してもよい。ポストフィルタ部６１４は、復元されたビデオデータに対してフィルタリングを実行するように構成されてもよい。例えば、ポストフィルタ部６１４は、例えば、ビットストリーム中で指定されたパラメータに基づいて、デブロッキング及び／又はサンプル適応オフセット（ＳＡＯ）フィルタリングを実行するように構成されてもよい。更に、いくつかの例では、ポストフィルタ部６１４は、独自の任意のフィルタリング（例えば、モスキートノイズリダクションなどの視覚強調）を実行するように構成されてもよいことに留意されたい。図６に示すように、復元されたビデオブロックは、ビデオ復号装置６００によって出力されてもよい。このようにして、ビデオ復号装置６００は、ニューラルネットワークポストフィルタ特性メッセージを受信し、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースし、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースし、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、ように構成されたデバイスの一例を表す。
１つ以上の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせで実装されてもよい。ソフトウェアで実装される場合に、この機能は、コンピュータ可読媒体上の１つ以上の命令又はコードとして記憶されるか又は伝送され、ハードウェアベースの処理部によって実行されてもよい。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、データ記憶媒体又は通信媒体などの有形の媒体に対応する、コンピュータ可読記憶媒体を含んでもよい。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的な有形のコンピュータ可読記憶媒体、又は（２）信号又は搬送波などの通信媒体に対応してもよい。データ記憶媒体は、本開示中に記載された技術の実現のための命令、コード、及び／又はデータ構造を取り出すために、１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
一例として、非限定的に、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、又は他の光学ディスク記憶装置、磁気ディスク記憶装置、他の磁気記憶デバイス、フラッシュメモリ、又は任意の他の媒体、すなわち命令若しくはデータ構造の形式で所望のプログラムコードを記憶するために使用可能であり、かつコンピュータによりアクセス可能な任意の他の媒体を含んでもよい。また、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。例えば、命令がウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（digital subscriber line、ＤＳＬ）、あるいは赤外線、無線及びマイクロ波などの無線技術を使用して伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、あるいは赤外線、無線及びマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一過性媒体を含まないが、代わりに非一時的な有形記憶媒体を対象としていることを理解されたい。本発明で使用する場合、ディスク（disk）及びディスク（disc）は、コンパクトディスク（Compact Disc、ＣＤ）、レーザーディスク（laser disc）、光学ディスク（optical disc）、デジタル多用途ディスク（Digital Versatile Disc、ＤＶＤ）、フロッピーディスク（floppy disk）及びブルーレイ（登録商標）ディスク（Ｂｌｕ－ｒａｙ（登録商標）ｄｉｓｃ）を含み、ディスク（disk）は通常データを磁気的に再生し、ディスク（disc）はレーザを用いてデータを光学的に再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれなければならない。
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート配列（ＦＰＧＡ）、又は他の同等の集積又はディスクリートロジック回路などの１つ以上のプロセッサによって実行されてもよい。したがって、本明細書で使用されるとき、用語「プロセッサ」は、前記の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指してもよい。加えて、いくつかの態様において、本明細書に記載の機能は、符号化及び復号するように構成された、又は複合コーデックに組み込まれた専用のハードウェアモジュール及び／又はソフトウェアモジュール内に設けられ得る。また、この技術は、１つ以上の回路又は論理素子中に完全に実装することができる。
本開示の技術は、無線ハンドセット、集積回路（integrated circuit、ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む多種多様なデバイス又は装置に実装されてもよい。様々なコンポーネント、モジュール、又はユニットを本開示中に示し、開示された技術を実行するように構成されたデバイスの機能的な態様を強調しているが、異なるハードウェアユニットによって実現することは必ずしも必要ではない。むしろ、前述したように、様々なユニットは、コーデックハードウェアユニットに組み合わせてもよく、又は好適なソフトウェア及び／又はファームウェアと共に、前述の１つ以上のプロセッサを含む、相互動作ハードウェアユニットの集合によって提供されてもよい。
更に、上述の実装形態の各々において使用される基地局デバイス及び端末デバイスの各機能ブロック又は様々な特徴は、一般的には集積回路又は複数の集積回路である回路によって実装又は実行されてもよい。本明細書に記載の機能を実行するように設計された回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け又は汎用アプリケーション集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート配列（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、ディスクリートゲート若しくはトランジスタロジック、若しくは個々のハードウェアコンポーネント、又はそれらの組み合わせを備えていてもよい。汎用プロセッサは、マイクロプロセッサでもよく、あるいは、プロセッサは、従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでもよい。上述した汎用プロセッサ又は各回路は、デジタル回路で構成されても、又はアナログ回路で構成されてもよい。更に、半導体技術の進歩により現時点での集積回路に置き換わる集積回路化技術が現れれば、この技術による集積回路もまた使用可能となる。
様々な例について説明した。これら及び他の例は、以下の特許請求の範囲内である。

Claims (7)

  1. ビデオデータのニューラルネットワークフィルタリングを実行する方法であって、
    ニューラルネットワークポストフィルタ特性メッセージを受信することと、
    前記ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースすることと、
    前記ニューラルネットワークポストフィルタ特性メッセージから、前記後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素が前記ニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースすることであって、前記第１のシンタックス要素が、前記ニューラルネットワークポストフィルタ特性メッセージ中で前記第２のシンタックス要素に先行する、第２のシンタックス要素をパースすることと、
    を含む、方法。
  2. ニューラルネットワークポストフィルタ特性メッセージを受信し、
    前記ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースし、
    前記ニューラルネットワークポストフィルタ特性メッセージから、前記後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素が前記ニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースし、前記第１のシンタックス要素が、前記ニューラルネットワークポストフィルタ特性メッセージ中で前記第２のシンタックス要素に先行する、
    ように構成された１つ以上のプロセッサを備えるデバイス。
  3. 前記１つ以上のプロセッサが、
    前記ニューラルネットワークポストフィルタ特性メッセージから、入力整数テンソル中のクロマサンプル値のビット深度を指定する値を有する第３のシンタックス要素をパースするように更に構成されている、
    請求項２に記載のデバイス。
  4. 前記１つ以上のプロセッサが、
    前記ニューラルネットワークポストフィルタ特性メッセージから、前記ニューラルネットワークポストフィルタ特性メッセージのコンテンツが前のニューラルネットワークポストフィルタ特性メッセージに対する更新を提供するかどうかを指定する値を有する第４のシンタックス要素をパースするように更に構成されている、
    請求項３に記載のデバイス。
  5. 前記デバイスが、ビデオ復号装置を含む、請求項２に記載のデバイス。
  6. ニューラルネットワークポストフィルタ特性メッセージをシグナリングし、
    前記ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングし、
    前記ニューラルネットワークポストフィルタ特性メッセージ中で、前記後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素が前記ニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングし、前記第１のシンタックス要素が、前記ニューラルネットワークポストフィルタ特性メッセージ中で前記第２のシンタックス要素に先行する、
    ように構成された１つ以上のプロセッサを備える、デバイス。
  7. 前記デバイスが、ビデオ符号化装置を含む、請求項６に記載のデバイス。
JP2023032906A 2022-12-19 2023-03-03 ビデオ符号化においてニューラルネットワークポストフィルタ目的情報をシグナリングするためのシステム及び方法 Pending JP2024087742A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US18/084,346 2022-12-19
US18/084,346 US12137253B2 (en) 2022-12-19 2022-12-19 Systems and methods for signaling neural network post-filter purpose information in video coding

Publications (1)

Publication Number Publication Date
JP2024087742A true JP2024087742A (ja) 2024-07-01

Family

ID=85222141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023032906A Pending JP2024087742A (ja) 2022-12-19 2023-03-03 ビデオ符号化においてニューラルネットワークポストフィルタ目的情報をシグナリングするためのシステム及び方法

Country Status (6)

Country Link
US (1) US12137253B2 (ja)
EP (1) EP4391531A1 (ja)
JP (1) JP2024087742A (ja)
KR (1) KR20240096303A (ja)
CN (1) CN118233659A (ja)
AU (1) AU2023201203A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12036036B2 (en) * 2021-02-05 2024-07-16 Nokia Technologies Oy High-level syntax for signaling neural networks within a media bitstream
JP2023155630A (ja) * 2022-04-11 2023-10-23 シャープ株式会社 動画像符号化装置、動画像復号装置

Also Published As

Publication number Publication date
CN118233659A (zh) 2024-06-21
US12137253B2 (en) 2024-11-05
AU2023201203A1 (en) 2024-07-04
KR20240096303A (ko) 2024-06-26
EP4391531A1 (en) 2024-06-26
US20240205462A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
JP7427688B2 (ja) ビデオ符号化におけるタイルグループ情報をシグナリングするためのシステム及び方法
EP4395327A1 (en) Systems and methods for signaling neural network post-filter overlap and sublayer frame rate upsampling information in video coding
US12137253B2 (en) Systems and methods for signaling neural network post-filter purpose information in video coding
WO2024210141A1 (en) Systems and methods for signaling neural network post-filter description information in video coding
WO2024214704A1 (en) Systems and methods for removing overlap for a neural network post-filter in video coding
EP4401406A1 (en) Systems and methods for signaling neural network post-filter tensor information in video coding
EP4447451A1 (en) Systems and methods for signaling neural network post-filter tensor purpose and order information in video coding
EP4401405A1 (en) Systems and methods for signaling neural network post-filter patch size information in video coding
US12088851B2 (en) Systems and methods for signaling neural network post-filter information updates in video coding
EP4440111A1 (en) Systems and methods for signaling neural network post-filter filter strength control information in video coding
EP4460003A1 (en) Systems and methods for signaling neural network post-filter filter strength control information in video coding
EP4333430A1 (en) Systems and methods for signaling neural network post-filter characteristics information in video coding
EP4425931A1 (en) Systems and methods for signaling neural network post-filter resolution information in video coding
US12034976B2 (en) Systems and methods for signaling neural network post-filter frame rate upsampling information in video coding
CN118338022A (zh) 对视频数据执行神经网络滤波的方法、以及设备
CN117651132A (zh) 发送信号通知神经网络环路后滤波器信息的方法和设备
CN118283280A (zh) 对视频数据执行神经网络滤波的方法及设备

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20240724