JP2024514323A - メッセージ参照 - Google Patents

メッセージ参照 Download PDF

Info

Publication number
JP2024514323A
JP2024514323A JP2023562474A JP2023562474A JP2024514323A JP 2024514323 A JP2024514323 A JP 2024514323A JP 2023562474 A JP2023562474 A JP 2023562474A JP 2023562474 A JP2023562474 A JP 2023562474A JP 2024514323 A JP2024514323 A JP 2024514323A
Authority
JP
Japan
Prior art keywords
packet
syntax elements
bitstream
segment
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023562474A
Other languages
English (en)
Inventor
マルティン ペッテション,
リキャルド フェーバリ,
ミトラ ダムガニアン,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2024514323A publication Critical patent/JP2024514323A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Facsimiles In General (AREA)
  • Exchange Systems With Centralized Control (AREA)
  • Communication Control (AREA)

Abstract

メッセージ(たとえば、SEIメッセージ)の異なるバージョンがビットストリーム中で恣意的な様式で、たとえばビットストリーム中で交互のやり方で使用されるときにビットコストを低減するために、メッセージ(たとえば、SEIメッセージ)のための参照機構が提供される。実施形態では、機能を表すために2つのSEIメッセージが使用される。第1のSEIメッセージ中で、機能を指定するシンタックスエレメントが提供される。第1のSEIメッセージは、識別子値をも有し得、識別子値は特定のSEIメッセージのインスタンスを一意に識別する。一般に第1のSEIメッセージよりもはるかに小さく、より頻繁に送られる第2のSEIメッセージは、たとえば第2のSEIメッセージと一緒に送られたピクチャまたはサブピクチャについて、第2のSEIメッセージの持続性範囲によって決定されるビットストリームの部分に第1のSEIメッセージの機能を適用するために、第1のSEIメッセージを参照するために使用される。【選択図】図8

Description

本開示は、ビデオシーケンスおよび/または静止画像のコーディングおよび復号に関し、より詳細には、メッセージ参照に関する。
VVCおよびHEVC
多用途ビデオコーディング(VVC)および高効率ビデオコーディング(HEVC)は、国際電気通信連合-電気通信(ITU-T:International Telecommunication Union-Telecommunication)およびモーションピクチャエキスパートグループ(MPEG)によって一緒に規格化および開発されたブロックベースビデオコーデックである。コーデックは、時間予測と空間予測の両方を利用する。HEVCの第1のバージョンは、2013年4月に確定され、VVCの第1のバージョンは、2020年7月に確定された。これを書いているときの2つのコーデック仕様の現在のバージョンは、HEVCバージョン7およびVVCバージョン1である。
空間予測は、現在ピクチャ内からのイントラ(I)予測を使用して達成される。時間予測は、前に復号された参照ピクチャから、ブロックレベルでの単方向(P)予測または双方向インター(B)予測を使用して達成される。エンコーダでは、残差と呼ばれる、元のピクセルデータと予測されたピクセルデータとの間の差は、周波数ドメインに変換され、量子化され、次いで、同じくエントロピーコーディングされる、予測モードおよび動きベクトルなど、必要な予測パラメータとともに送信される前に、エントロピーコーディングされる。デコーダは、エントロピー復号と、逆量子化と、逆方向変換とを実施して残差を取得し、次いで、その残差をイントラ予測またはインター予測に追加してピクチャを再構築する。
成分
ビデオシーケンスは、各画像が1つまたは複数の成分からなる一連の画像を有する。各成分は、サンプル値の2次元矩形アレイとして説明され得る。ビデオシーケンス中の画像は、3つの成分、すなわち、サンプル値がルーマ値である1つのルーマ成分Yと、サンプル値がクロマ値である2つのクロマ成分CbおよびCrとを有することが一般的である。また、クロマ成分の次元は、各次元においてルーマ成分よりも1/2だけ小さいことが一般的である。たとえば、HD画像のルーマ成分のサイズは1920×1080となり、クロマ成分は、各々、960×540の次元を有することになる。成分は色成分と呼ばれることがある。
NALユニット
VVCとHEVCの両方が、ネットワークアブストラクションレイヤ(NAL)を規定する。HEVCおよびVVCにおけるすべてのデータ、すなわち、ビデオコーディングレイヤ(VCL)データまたは非VCLデータの両方が、NALユニット中にカプセル化される。VCL NALユニットは、ピクチャサンプル値を表すデータを含んでいる。非VCL NALユニットは、パラメータセットおよび補足エンハンスメント情報(SEI:supplemental enhancement information)メッセージなど、追加の関連するデータを含んでいる。VVCおよびHEVCにおけるNALユニットは、NALユニットヘッダと呼ばれるヘッダから始まる。HEVCについてのNALユニットヘッダについてのシンタックスは、スタートコードエミュレーションを防ぐために常に0に等しいものとするforbidden_zero_bitから開始する。それがなければ、いくつかのMPEGシステムは、HEVCビデオビットストリームを他のデータと混同し得るが、NALユニットヘッダ中の0ビットは、すべての可能なHEVCビットストリームをHEVCビットストリームとして一意に識別可能にする。表1に示されているVVCにおけるNALユニットヘッダは、HEVCにおけるNALユニットヘッダとまったく同様であるが、nal_unit_typeのために1ビット少なく使用し、代わりに、将来の使用のためにこのビットを予約する。nal_unit_type、nuh_layer_idおよびnuh_temporal_id_plus1コードワードは、どんなタイプのデータがNALユニット中で搬送されるかを識別するNALユニットのNALユニットタイプ、NALユニットが属するスケーラビリティレイヤIDおよび時間レイヤIDを指定する。NALユニットタイプは、NALユニットがどのようにパースおよび復号されるべきであるかを示し、指定する。NALユニットのバイトの残りは、NALユニットタイプによって示されるタイプのペイロードである。ビットストリームは、一連の連結されたNALユニットからなる。VVCにおけるNALユニットヘッダについてのシンタックスが表1に示されている。
Figure 2024514323000002
デコーダまたはビットストリームパーサは、NALユニットヘッダを見た後にNALユニットがどのようにハンドリング、たとえばパースおよび復号されるべきであるかを結論付けることができる。NALユニットのバイトの残りは、NALユニットタイプによって示されるタイプのペイロードである。すべてのVVCまたはHEVCビットストリームは、一連の連結されたNALユニットからなる。
復号順序は、ビットストリーム内のNALユニットの順序と同じである、NALユニットが復号されるものとする順序である。復号順序は出力順序とは異なり得、出力順序は、復号されたピクチャがデコーダによって表示などのために出力されるべきである順序である。
Figure 2024514323000003
スケーラビリティレイヤ
VVCおよびHEVCでは、NALユニットヘッダ中のnuh_layer_idシンタックスエレメントの値は、NALユニットが属するスケーラビリティレイヤIDを指定する。これは、スケーラブルコーディングのために使用され得るスケーラビリティレイヤに、NALユニットおよびピクチャを関連付けることを可能にする。
ピクチャユニット、アクセスユニットおよびアクセスユニットデリミタ
VVCにおけるピクチャユニット(PU)は、VCL NALユニットがすべて、同じレイヤに属するNALユニットのセットとして規定され、これは、指定された分類ルールに従って互いに関連付けられ、復号順序において連続しており、ちょうど1つのコード化ピクチャを含んでいる。VVCの前のバージョンでは、PUは、レイヤアクセスユニットと呼ばれた。HEVCでは、PUは、アクセスユニット(AU)と呼ばれる。
VVCでは、アクセスユニットは、PUのセットであり、これは、異なるスケーラビリティレイヤに属し、復号ピクチャバッファ(DPB)からの出力について同じ時間に関連付けられた、すなわち同じPOC値を有する、コード化ピクチャを含んでいる。
VVCにおけるアクセスユニットは、アクセスユニットデリミタ(AUD)NALユニットから開始し得、AUD NALユニットは、アクセスユニットの開始と、コード化ピクチャ中で許容されるスライスのタイプ、すなわちI、I-PまたはI-P-Bと、アクセスユニットがIRAPアクセスユニットであるのかGDRアクセスユニットであるのかとを示す。
レイヤ、依存するおよび独立したレイヤ
レイヤは、VVCでは、すべて、nuh_layer_idの特定の値と、関連する非VCL NALユニットとを有する、VCL NALユニットのセットとして規定されている。本開示では、VVCレイヤなどのレイヤは、スケーラビリティレイヤと呼ばれる。
VVCにおけるコード化レイヤビデオシーケンス(CLVS)が、PUのシーケンスとして規定されており、PUのシーケンスは、復号順序において、CLVS開始(CLVSS)PUと、その後にくる、CLVSS PUである後続のPUを含まないがそれまでのすべての後続のPUを含む、CLVSS PUでない0個またはそれ以上のPUとからなる。
PUとAUとCLVSとの間の関係が、図3に示されている。
VVCでは、スケーラビリティレイヤは、互いから独立して、または互いに依存してコーディングされ得る。スケーラビリティレイヤが独立してコーディングされるとき、たとえば、nuh_layer_id 0をもつスケーラビリティレイヤが、たとえば、nuh_layer_id 1をもつ別のスケーラビリティレイヤからビデオデータを予測しないことがある。VVCでは、SNR、空間およびビュースケーラビリティを用いたスケーラブルコーディングのサポートを可能にする、スケーラビリティレイヤ間の依存するコーディングが使用され得る。
本開示では、HEVCおよびVVCではnuh_layer_id値などのレイヤID値によって識別される、SNR、空間、ビュースケーラビリティなどのスケーラビリティレイヤを指すとき、「スケーラビリティレイヤ」という用語を使用する。
時間レイヤ
VVCおよびHEVCでは、すべてのピクチャが、ピクチャがどの時間レイヤに属するかを指定するTemporalId値に関連付けられる。TemporalId値は、NALユニットヘッダ中のnuh_temporal_id_plus1シンタックスエレメントから復号される。エンコーダは、上位時間レイヤが廃棄されるとき、下位時間レイヤに属するピクチャが完全に復号可能であるように、TemporalId値をセットすることが必要とされる。たとえば、エンコーダが、時間レイヤ0、1および2を使用してビットストリームを出力したと仮定する。その場合、すべての時間レイヤ2のNALユニットを除去すること、またはすべてのレイヤ1および2のNALユニットを除去することが、問題なしに復号され得るビットストリームを生じることになる。これは、エンコーダが準拠しなければならないHEVC仕様における制限によって保証される。たとえば、時間レイヤのピクチャが上位時間レイヤのピクチャを参照することは許容されない。
本開示では、HEVCにおいて旧来使用されている時間レイヤを指すときに「時間レイヤ」という用語を使用する。本開示における「レイヤ」という用語は、時間レイヤ、またはスケーラビリティレイヤ、または時間レイヤとスケーラビリティレイヤとの組合せを指し得る。
スライス
HEVCにおけるスライスの概念は、ピクチャを独立してコーディングされたスライスに分割し、ここで、ピクチャ中の1つのスライスの復号は、同じピクチャの他のスライスから独立している。異なるコーディングタイプが同じピクチャのスライスのために使用され得る、すなわち、スライスは、Iスライス、Pスライス、またはBスライスのいずれかであり得る。スライスの1つの目的は、データ損失の場合に再同期を可能にすることである。HEVCでは、スライスは、CTUのセットである。
VVCでは、ピクチャが、ラスタ走査スライスまたは矩形スライスのいずれかに区分され得る。ラスタ走査スライスは、ラスタ走査順序におけるいくつかの完全なタイルからなる。矩形スライスは、ピクチャ中の矩形領域、または1つのタイルの内部の連続する数のCTU行を一緒に占有する、タイルのグループからなる。各スライスは、シンタックスエレメントを備えるスライスヘッダを有する。これらのシンタックスエレメントからの復号されたスライスヘッダ値が、スライスを復号するときに使用される。各スライスは、1つのVCL NALユニット中で搬送される。
VVCドラフト仕様の前のバージョンでは、スライスは、タイルグループと呼ばれた。
ピクチャヘッダ
VVCは、PH_NUTに等しいnal_unit_typeを有するNALユニットである、ピクチャヘッダを含む。ピクチャヘッダは、スライスヘッダと同様であるが、ピクチャヘッダ中のシンタックスエレメントの値が、1つのピクチャのすべてのスライスを復号するために使用される。VVCにおける各ピクチャが、1つのピクチャヘッダNALユニットと、その後にくる、各コード化スライスが1つのコード化スライスNALユニット中で伝達される、ピクチャのすべてのコード化スライスとからなる。
イントラランダムアクセスポイント(IRAP)ピクチャおよびコード化ビデオシーケンス(CVS)
HEVCにおける単一スケーラビリティレイヤコーディングでは、アクセスユニット(AU)は、単一のピクチャのコード化表現である。AUは、いくつかのビデオコーディングレイヤ(VCL)NALユニット、ならびに非VCL NALユニットからなり得る。
HEVCにおけるイントラランダムアクセスポイント(IRAP)ピクチャは、その復号プロセスにおける予測のために、それ自体以外のいかなるピクチャも参照しないピクチャである。HEVCにおける復号順序におけるビットストリーム中の第1のピクチャは、IRAPピクチャでなければならないが、ビットストリーム中で後でさらにまたIRAPピクチャが現れ得る。HEVCは、3つのタイプのIRAPピクチャ、すなわち、切断リンクアクセス(BLA)ピクチャと、瞬時デコーダリフレッシュ(IDR)ピクチャと、クリーンランダムアクセス(CRA)ピクチャとを指定する。
HEVCにおけるコード化ビデオシーケンス(CVS)は、IRAPアクセスユニットにおいて開始し、その後に、復号順序において次のIRAPアクセスユニットまで、0個またはそれ以上のAUがくるが、次のIRAPアクセスユニットを含まない、アクセスユニットのシーケンスである。
IDRピクチャは、常に、新しいCVSを開始する。IDRピクチャは、関連するランダムアクセス復号可能リーディング(RADL:random access decodable leading)ピクチャを有し得る。IDRピクチャは、関連するランダムアクセススキップリーディング(RASL:random access skipped leading)ピクチャを有しない。
HEVCにおけるBLAピクチャはまた、新しいCVSを開始し、復号プロセスに、IDRピクチャと同じ影響を及ぼす。しかしながら、HEVCにおけるBLAピクチャは、参照ピクチャの空でないセットを指定するシンタックスエレメントを含んでいることがある。BLAピクチャは関連するRASLピクチャを有し得、関連するRASLピクチャは、関連するRASLピクチャが、ビットストリーム中に存在しないことがあるピクチャへの参照を含んでいることがあるとき、デコーダによって出力されず、復号可能でないことがある。BLAピクチャは、復号される関連するRADLピクチャをも有し得る。BLAピクチャは、VVC中に含まれない。
CRAピクチャは、関連するRADLピクチャまたはRASLピクチャを有し得る。BLAピクチャの場合と同様に、CRAピクチャは、参照ピクチャの空でないセットを指定するシンタックスエレメントを含んでいることがある。CRAピクチャでは、関連するRASLピクチャが、ビットストリーム中に存在しないピクチャへの参照を含んでいることがあるとき、関連するRASLピクチャが復号可能でないことがあるので、関連するRASLピクチャがデコーダによって出力されないことを指定するように、フラグがセットされ得る。CRAは、CVSを開始することも開始しないこともある。
VVCでは、CVSは、CVS開始(CVSS)アクセスユニットにおいて開始し、その後に、復号順序において次のCVSSアクセスユニットまでの、ただし次のCVSSアクセスユニットを含まない、0またはそれ以上のAUがくる、アクセスユニットのシーケンスである。CVSSアクセスユニットは、IRAPピクチャ、すなわち、IDRピクチャまたはCRAピクチャ、あるいは漸進的復号リフレッシュ(GDR:gradual decoding refresh)ピクチャを含んでいることがある。CVSは、1つまたは複数のCLVSを含んでいることがある。
GDRピクチャは、本質的に、低遅延コーディングのために符号化されたビットストリーム中のランダムアクセスのために使用され、ここで、完全なIRAPピクチャは、あまりに多くの遅延を引き起こすことになる。GDRピクチャは、ビデオピクチャごとに更新する漸進的イントラリフレッシュを使用し得、ここで、各ピクチャは、部分的にイントラコーディングされるにすぎない。ビットストリームがGDRピクチャにおいてチューニングされたことを仮定すれば、ビデオがいつ完全にリフレッシュされ、出力の準備ができているかを指定するGDRピクチャにより、回復POCカウントがシグナリングされる。VVCにおけるGDRピクチャは、CVSまたはCLVSを開始し得る。GDRピクチャは、VVCにおいて規範的特徴として含まれるが、HEVC規格の規範的部分でなく、ここで、GDRピクチャは、代わりに、SEIメッセージを用いて示され得る。
パラメータセット
VVCおよびHEVCは、3つのタイプのパラメータセット、すなわち、ピクチャパラメータセット(PPS)と、シーケンスパラメータセット(SPS)と、ビデオパラメータセット(VPS)とを指定する。PPSは、ピクチャ全体について共通であるデータを含んでおり、SPSは、コード化ビデオシーケンス(CVS)について共通であるデータを含んでおり、VPSは、複数のCVSについて共通であるデータ、たとえば、ビットストリーム中の複数のスケーラビリティレイヤについてのデータを含んでいる。
VVCは、1つの追加のパラメータセット、すなわち、適応パラメータセット(APS)をも指定する。APSは、適応ループフィルタ(ALF)ツールと、ルーママッピングおよびクロマスケーリング(LMCS:luma mapping and chroma scaling)ツールと、スケーリングリストツールとのために必要とされるパラメータを搬送する。APSは、複数のスライスのために使用され得る情報を含んでいることがあり、同じピクチャの2つのスライスが、異なるAPSを使用することができる。
VVCとHEVCの両方が、ある情報(たとえばパラメータセット)が、外部手段によって、提供されることを許容する。「外部手段」によっては、情報が、コード化ビデオビットストリーム中で提供されないが、ビデオコーデック仕様において指定されていない何らかの他の手段によって、たとえば、場合によっては異なるデータチャネル中で、またはデコーダにおいて定数として提供されるメタデータを介して、提供されると解釈されるべきである。
復号能力情報(DCI)
DCIは、復号セッション中に変化しないことがあり、デコーダが知るのに良好であり得る、情報、たとえば許容されるサブレイヤの最大数を指定する。DCI中の情報は、復号プロセスの動作のために必要でない。VVC仕様の早期ドラフトでは、DCIは、復号パラメータセット(DPS)と呼ばれた。
復号能力情報は、コーディングツール、NALユニットのタイプなどに関してビットストリームから何を予想すべきかのデコーダ情報を与えるビットストリームについての一般的な制約のセットをも含んでいる。VVCでは、一般的な制約情報はまた、VPSまたはSPS中でシグナリングされ得る。
ピクチャ順序カウント(POC)
HEVCにおけるピクチャは、フルPOC値としても知られる、それらのピクチャ順序カウント(POC)値によって識別される。エンコーダとデコーダの両方が、POCを追跡し、符号化/復号される各ピクチャにPOC値を割り振る。復号されたピクチャは、POC昇順で出力され、これは、POC値が出力順序を表すことを意味する。ピクチャのピクチャ順序カウント値は、HEVCではPicOrderCntValと呼ばれる。通常、現在ピクチャについてのPicOrderCntValは単にPicOrderCntValと呼ばれる。
参照ピクチャリサンプリング(RPR)
RPRは、HEVCにおいて存在しない、VVCにおける新しい特徴である。HEVCでは、レイヤのすべてのピクチャが、同じ空間解像度を有する。しかしながらVVCでは、同じレイヤに属するピクチャが、異なる空間解像度を有することができる。ピクチャの空間解像度(幅および高さ)は、VVCにおいてPPS中でシグナリングされる。現在ピクチャと参照ピクチャとが異なる空間解像度を有するとき、RPRは、予測の前に参照ピクチャを現在ピクチャと同じ空間解像度にスケーリングすることによって、参照ピクチャが現在ピクチャの予測のために使用されることを可能にする。RPRは、同じレイヤまたは異なるレイヤに属するピクチャのために使用され得る。
SEIメッセージ
補足エンハンスメント情報(SEI)メッセージは、VCL NALユニットからのコード化ピクチャの復号プロセスに影響を及ぼさない、コード化ビットストリーム中のコードポイントである。SEIメッセージは、通常、復号されたビットストリームの表現/レンダリングの問題点に対処する。SEIメッセージの全体的概念、およびメッセージ自体の多くは、H.264およびHEVC仕様からVVC仕様に継承された。VVCでは、SEI RBSPが、1つまたは複数のSEIメッセージを含んでいる。
VVCにおけるSEIメッセージの一般的な構造について説明するSEIメッセージシンタックステーブルが、表3に示されている。各SEIメッセージのタイプは、各SEIメッセージのペイロードタイプによって識別される。
表3 VVCにおけるSEIメッセージシンタックステーブル
Figure 2024514323000004
VVC仕様における付録Dは、いくつかのSEIメッセージについて、SEIメッセージペイロードについてのシンタックスおよびセマンティクスを指定し、ITU-T H.SEI|ISO/IEC 23002-7においてシンタックスおよびセマンティクスが指定されているSEIメッセージおよびVUIパラメータの使用を指定する。VVCバージョン1においてサポートされるSEIメッセージをリストする、付録DにおけるSEIペイロード構造が、表4に示されている。
Figure 2024514323000005
Figure 2024514323000006
SEIメッセージは、復号、表示または他の目的に関係するプロセスを支援する。しかしながら、SEIメッセージは、復号プロセスによってルーマまたはクロマサンプルを構築するために必要とされない。いくつかのSEIメッセージは、ビットストリーム適合性を検査するために、および出力タイミングデコーダ適合性のために必要とされる。他のSEIメッセージは、ビットストリーム適合性を検査するために必要とされない。デコーダは、すべてのSEIメッセージをサポートする必要があるとは限らない。通常、デコーダが、サポートされていないSEIメッセージに遭遇した場合、そのSEIメッセージは廃棄される。
VSEIとも呼ばれる、ITU-T H.274|ISO/IEC23002-7は、SEIメッセージのシンタックスおよびセマンティクスを指定し、特に、コード化ビデオビットストリームとともに使用するためのものであるが、これは、他のタイプのコード化ビデオビットストリームとともにも使用され得るほど十分に汎用であることを意図される様式で書かれている。ITU-T H.274|ISO/IEC23002-7の第1のバージョンが、2020年7月に確定された。これを書いているとき、バージョン2が開発中である。JVET-U2006-v1は、コード化ビデオビットストリームとともに使用するための追加のSEIメッセージを指定する、バージョン2のための現在のドラフトである。
SEIメッセージの持続性は、SEIメッセージのインスタンスにおいてシグナリングされる値が適用され得る、ピクチャを示す。SEIメッセージの値が適用され得るビットストリームの部分は、SEIメッセージの持続性範囲(persistence scope)と呼ばれる。
スケーラブルネスティングSEIメッセージ
VVCにおけるスケーラブルネスティングSEIメッセージは、SEIメッセージを特定のOLS、特定のレイヤ、またはサブピクチャの特定のセットに関連付けるための機構を提供する。スケーラブルネスティングSEIメッセージは、1つまたは複数のSEIメッセージを含んでいる。スケーラブルネスティングSEIメッセージ中に含まれているSEIメッセージは、スケーラブルネスト化(scalable-nested)SEIメッセージとも呼ばれる。
VVCにおけるスケーラブルネスティングSEIメッセージシンタックスが表5に示されている。
Figure 2024514323000007
フィルム粒子
ピクチャを復号した後にノイズまたはフィルム粒子を追加すること
ビデオ中のノイズは、異なるソースから発生する。このノイズは、プロセスの最も早期の段階において、エンコーダによって抑圧され得る。ピクチャが表示前にデコーダにおいて再構築されるとき、モデル化ノイズまたは非モデル化ノイズが、復号されるフレームに、あるやり方または別のやり方で追加され得る。ピクチャ解像度の増加の結果として今ではより明らかになってきた、ノイズを追加することによる主観的品質増加を明らかにする、異なる目的が導入されている。ノイズを追加する第1の理由は、たとえば、ドキュメンタリー、ポートレート、白黒シーンを撮影する間、芸術的効果をもたらすこと、現実をキャプチャすること、または映画の場合「現実のシネマ効果」を得ることであり得る。第2の理由は、エンコーダにおける重いエンコーディングプロシージャにより現れた、ぼけ、ブロッキングおよびバンディング効果などのコーディングアーティファクトを隠すことである。
VVCにおけるフィルム粒子特性SEIメッセージ
フィルム粒子プロセスは、VSEI仕様において指定されており、VVCによってサポートされる。このプロセスは、H.264/AVCおよびHEVCビデオコーディング規格において指定された、フィルム粒子プロセスと本質的に同等である。プロセスは、デコーダにおけるフィルム粒子合成のためのパラメータ化されたモデルを搬送する、SEIメッセージを含む。
フィルム粒子特性SEIメッセージは、消去フラグ、film_grain_characteristics_cancel_flagを含み、消去フラグは、消去フラグが0に等しくセットされた場合、フィルム粒子プロセスを可能にする。また、フラグが0にセットされたとき、フィルム粒子パラメータシンタックスエレメントは、フラグに従う。最後に、film_grain_characteristics_persistence_flagが、現在レイヤについて、フィルム粒子特性SEIメッセージの持続性を指定する。以下の表6において、シンタックスの簡略バージョンが示されている。
Figure 2024514323000008
規範的フィルム粒子
JVET-Q0424では、規範的フィルム粒子生成プロセスが、VVCのために提案された。寄与文書は、APS中でフィルム粒子パラメータをシグナリングすることと、ピクチャヘッダ中にフィルム粒子シード(film grain seed)を含めて、フィルム粒子プロセスを擬似ランダムおよび決定論的にすることとを提案した。
LMCS
クロマスケーリングを伴うルーママッピング(LMCS:luma mapping with chroma scaling)は、そのコードワード統計に応じて信号を動的に適応させることを許容する、VVCにおけるループ内フィルタ処理プロセスである。ループ内LMCSについてのパラメータは、特定のAPS IDをもつAPS中でシグナリングされる。LMCS APS IDは、ピクチャヘッダから参照される。ループ内LMCSは、ピクチャをそれらの元の(マッピングされていない)フォーマットでDPBに記憶することを許容する。LMCSは、適応的に可能にされるか、またはピクチャタイプに応じて可能にされ得る。
JVET-U0078では、パラメータセット中での規範的シグナリングまたはSEIメッセージとしてのシグナリングのいずれかを用いて、LMCSループ外(LMCS out-of-loop)をシグナリングすることが提案された。
VVCおよびHEVCにおけるパラメータセットは、ビットストリームのある部分に適用される、シンタックスエレメントを参照するフレキシブルなおよび圧縮効率が高いやり方を提供する。たとえば、各ピクチャは、特定のPPS IDを使用してPPSを参照し、各ピクチャおよび/またはスライスは、それらのAPS IDを使用して1つまたは複数のAPSをさらに参照し得る。パラメータセットIDは、複数のパラメータセットがビットストリーム中で使用されるとき、パラメータセットのシンタックスエレメントを繰り返す必要がないことを可能にする、フレキシビリティをもたらす。
同じフレキシビリティは、SEIメッセージの場合、存在しない。SEIについての持続性範囲は、一般に、現在ピクチャに対するものであるか、または現在ピクチャと、SEIメッセージの新しいバージョンによってそれが交換されるまでの、すべての後にくるピクチャとに対するものある。連続するピクチャのセットのための各ピクチャに必ずしも常に適用されるとは限らない、SEIメッセージの場合、現在の持続性方式は、あまりコーディング効率が高くない。たとえば、図4に示されているように、SEIメッセージの2つのバージョン(すなわち、シンタックスエレメントについて異なる値を備える、同じタイプの2つのSEIメッセージ)が交互に適用され、各々が、それぞれ、第2のピクチャごとに適用されるべきであるとき、完全なSEIメッセージが各ピクチャのために送られなければならないが、それら2つのバージョンの各々のためのSEIメッセージは同等である。
概して、パラメータセットは、サポートすべき仕様に準拠するデコーダにとって必須である、シンタックスエレメントを備える。一方、SEIメッセージは、デコーダがサポートすることについてオプションであり、したがって、SEIメッセージのコンテンツは、パラメータセット中でシグナリングするために好適でないことがある。その上、機能を指定するシンタックスエレメントを規範的パラメータセットに追加することは、コーデックのための新しいプロファイルを作成することなしに、可能でない。新しいプロファイルを作成することは、マーケット断片化を生じることがあり、新しいプロファイルに対する強いマーケットのニーズがない限り、行われるべきでない。
実施形態の一態様は、メッセージ(たとえば、SEIメッセージ)の異なるバージョンがビットストリーム中で恣意的な様式で、たとえばビットストリーム中で交互のやり方で使用されるときにビットコストを低減するために、メッセージ(たとえば、SEIメッセージ)のための参照機構を提供するためのものである。実施形態では、機能を表すために2つのSEIメッセージが使用される。第1のSEIメッセージ中で、機能を指定するシンタックスエレメントが提供される。第1のSEIメッセージは、識別子値をも有し得、識別子値は特定のSEIメッセージのインスタンスを一意に識別する。一般に第1のSEIメッセージよりもはるかに小さく、より頻繁に送られる第2のSEIメッセージは、たとえば第2のSEIメッセージと一緒に送られたピクチャまたはサブピクチャについて、第2のSEIメッセージの持続性範囲によって決定されるビットストリームの部分に第1のSEIメッセージの機能を適用するために、第1のSEIメッセージを参照するために使用される。
いくつかの実施形態の利点は、それらが、メッセージの異なるバージョンがビットストリーム中で恣意的なやり方で(たとえば、交互のやり方で)適用されるとき、第1のメッセージが繰り返される必要がないように、第2の、および一般に著しくより小さい、メッセージ(たとえば、第2のSEIメッセージ)からある機能を指定する、第1のメッセージ(たとえば、第1のSEIメッセージ)のインスタンスを参照するための機構を提供することである。
従来技術のソリューションでは、あらゆるピクチャについてのある機能とともにSEIメッセージを送る必要があり得る。本明細書で開示されるいくつかの実施形態おける利益は、メッセージ(たとえば、SEIメッセージ)の機能を常時繰り返す必要があるとは限らないことである。機能の2つ以上のバージョンにリンクするために、いくつかの第1のメッセージを有することも可能である。
従来のSEIメッセージでは、SEIメッセージが、ビットストリーム中の、すべてではないが、多くのセグメントのために使用されるべきである場合、SEIメッセージは数回繰り返されなければならないことがあり、これは、SEIメッセージが多くの情報を搬送する場合、ビットにおける大きいコストを有することがある。たとえば、VSEI仕様において指定されたコンテンツカラーボリュームSEIメッセージは、最悪の場合、ピクチャごとに37バイトを送る必要があることがある。
実施形態は、必要とされないとき、メッセージ(たとえば、SEIメッセージ)の機能情報を繰り返す必要はないことを可能にする。これは、ビットを節約し、また、機能をどこに適用するべきかのフレキシビリティを提供する。機能は、たとえば、フレキシブルなやり方でビットストリーム中のピクチャまたはサブピクチャの任意のサブセットに適用され得る。
SEIメッセージ中で伝達される情報は、復号プロセスに影響を及ぼさず、概して、コアデコーダによって無視され得る。パラメータセット中で伝達される情報は、規範的であり、一般に、復号プロセスに影響を及ぼす。したがって、SEIメッセージに好適な情報が、パラメータセットに好適でないことがある。パラメータセットと比較して、SEIメッセージを有することの1つの利益は、新しいプロファイルを追加する必要なしに、既存の仕様に機能を追加し得ることである。SEIメッセージが、新しいプロファイルを追加する必要なしに仕様に追加され得る。仕様の第1のバージョンにおいて説明されるプロファイルに準拠するデコーダは、仕様の更新バージョンにおいて指定されたSEIメッセージを使用し得る。ソリューションの汎用バージョンの利益は、一意の識別子を有しない、前に指定されたSEIメッセージについても機能することになる。
パラメータセットと比較した、SEIメッセージを有することの別の利益は、新しい機能が後で、すでに確定された仕様に追加され得ることである。たとえば、VVCバージョン1の場合、パラメータセットにおける追加されるシグナリングなどのさらなる規範的追加はないであろうが、VVCバージョン1デコーダは、VVCバージョン1仕様が確定された後にVVC仕様に追加されたSEIメッセージをサポートすることを決め得る。
本明細書に組み込まれ、明細書の一部をなす添付の図面は、様々な実施形態を示している。
一実施形態による、エンコーダの例示的なアーキテクチャの図である。 一実施形態による、デコーダの例示的なアーキテクチャの図である。 PUとAUとCVLSとの間の関係を示す図である。 一実施形態による、例示的なビットストリームの図である。 一実施形態による、例示的なビットストリームの図である。 一実施形態による、例示的なビットストリームの図である。 一実施形態による、例示的なビットストリームの図である。 一実施形態による、フローチャートである。 一実施形態による、フローチャートである。 一実施形態による、エンコーダのブロック図である。
以下の実施形態が組み合わせられて、明示的に規定されないが、依然として本発明によってカバーされるソリューションを形成し得ることが、当業者によって理解されるべきである。
実施形態は、エンコーダとデコーダの両方に、ならびに、それぞれのエンコーダまたはデコーダからローカルにまたはリモートに展開され得るエンコーダまたはデコーダの構成要素に、適用可能であり得る。例示的なエンコーダが図1に示されている。例示的なデコーダが図2に示されている。
実施形態1- 一般的な方法
図5は、一実施形態による、例示的なビットストリームを示す。エンコーダが、図5に示されているものなどのビットストリームを符号化し得、デコーダが、図5に示されているものなどのビットストリームを復号し得る。ここで説明される第1の実施形態は、異なるタイプのパケットに適用可能であるように一般化され、ここで、パケットタイプがSEIメッセージまたは他のパケットタイプであることを含む。この実施形態では、ビデオビットストリーム1が、コード化ピクチャのセットを備える。2つのパケット、第1のパケット11と第2のパケット21とが、ある機能を適用するために使用される。第1のパケット11は、機能についての情報(すなわち機能情報32)を提供する1つまたは複数のシンタックスエレメントと、特定のパケットおよび/または機能情報を識別する識別子12とを備える。一般に、たとえば各ピクチャさらにはサブピクチャまたはスライスについて、第1のパケットよりも頻繁に送られる、第2のパケット21は、第1のパケットへの参照識別子22(または、参照ID22)および/または機能情報を備え、特定の機能が適用されるべきである、第3のパケット43中でシグナリングされる1つまたは複数のセグメント41を指定する。いくつかの実施形態では、第2のパケット21は、適用されるべき特定の機能に関する軽量制御(light-weight control)など、追加情報23をも含み得る。一実施形態では、機能情報32が適用されるべきである1つまたは複数のセグメント41は、第3のパケット43中でシグナリングされる。別の実施形態では、セグメント41の一部のみが、第3のパケット43中でシグナリングされる。
実施形態の一態様は、必要とされないときに(潜在的に多くのビットである)第1のパケットの機能情報を繰り返す必要がないが、後のパケット中でその機能情報を参照することが可能であるためのものである。これは、ビットを節約し、機能をどこに適用すべきかのフレキシビリティを提供する。機能は、たとえば、フレキシブルなやり方でビットストリーム中のピクチャまたはサブピクチャの任意のサブセットに適用され得る。
パケット、パケットタイプ、セグメントおよび機能情報の説明
この実施形態におけるパケットのいずれかまたはすべて(たとえば、第1、第2、および第3のパケット)が、NALユニットであり得る。第1のパケットおよび第2のパケットは、いくつかの実施形態では、非VCL NALユニットであり、第1のパケットのパケットタイプと第2のパケットのパケットタイプとは、たとえば、両方とも、SEIメッセージであり得る。以下のテキストでは、パケットはSEIメッセージと呼ばれるが、パケットは任意のタイプのパケットであり得、SEIメッセージに言及する以下の説明が、任意のタイプのパケットにも適用することができることを理解されたい。いくつかの実施形態では、第1のパケットと第2のパケットとは同じタイプであり得、他の実施形態では、それらは異なるタイプであり得る。たとえば、第1のパケットのタイプは、SPS、PPSまたはAPSなど、パラメータセットであり得、第2のパケットのタイプはSEIメッセージであり得る。以下のテキストでは、第2のパケットは、しばしば、参照SEIメッセージと呼ばれ、第1のパケットは、しばしば、参照SEIメッセージによって参照される、機能情報SEIメッセージと呼ばれるが、説明は、概して、他のパケットタイプに適用可能である。
いくつかの実施形態では、第3のパケットはVCL NALユニットであり、第3のパケットのパケットタイプはスライスタイプである。セグメントは、たとえば、ピクチャ、サブピクチャ、スライス、タイル、またはCTUであり得る。
機能情報は、たとえば、フィルム粒子パラメータ、LMCSパラメータ、マスタリングディスプレイカラーボリューム(mastering display color volume)パラメータ、コンテンツ光レベルパラメータ、周囲ビューイング環境(ambient viewing environment)パラメータ、コンテンツカラーボリュームパラメータ、球体回転パラメータ、領域的パッキング(region-wise packing)パラメータ、全指向性ビューポートパラメータ、サンプルアスペクト比パラメータ、注釈付き領域パラメータ、スケーラビリティ次元パラメータ、マルチビュー獲得(multiview acquisition)パラメータ、深度表現パラメータなど、SEIメッセージまたはパラメータセット中で搬送され得る任意のタイプの機能を指定するシンタックスエレメントであり得る。これらのパラメータは、フィルタモデルタイプ、フィルタ強度など、モデル説明を含み得る。
機能情報に基づいて機能をセグメントに適用することは、仕様に従ってセグメントを修正するためにまたは情報をセグメントにアタッチするために、パラメータ値を使用することを含み得る。これは、たとえば、フィルム粒子ノイズをセグメントに適用すること、LMCSループ外をセグメントに適用すること、あるいは、セグメントに対するディスプレイカラーボリューム、コンテンツ光レベル、周囲ビューイング、またはコンテンツカラーボリュームを修正することを含み、球体回転、領域的パッキング、サンプルアスペクト比変換などのセグメントのジオメトリ変換または変位を適用し、または全指向性ビューポート情報、注釈付き領域情報、スケーラビリティ次元情報、マルチビュー獲得情報、および深度表現情報などの情報をセグメントにアタッチし得る。
機能情報は、本開示では、代替または追加として、パラメータ値またはシンタックスエレメント値として解釈され得る。本開示におけるそのような機能情報の使用は、パラメータ参照(parameter referencing)と見なされ得、ここで、セグメントからパラメータまたはシンタックスエレメントを復号する代わりに、パラメータを参照するために参照識別子が使用される。
2つのタイプのSEIメッセージを使用すること
下記の表は、第1の実施形態について、2つの異なるタイプのSEIメッセージを使用するための例示的なシンタックスを示す。
Figure 2024514323000009
Figure 2024514323000010
第1のSEIメッセージは、機能情報を搬送するSEIメッセージである。SEIメッセージのインスタンスが、functionality_information_idを使用して一意に識別される。シンタックステーブル中のfunctionality_information()は、機能を指定するために使用されるシンタックスエレメントを表す。機能情報中のシンタックスエレメントの詳細は、本開示の範囲外である。異なるfunctionality_information_idをもつ2つの機能情報SEIメッセージが、機能情報中のシンタックスエレメントについて異なる値を有し得る。第2のSEIメッセージは、referenced_functionality_information_idを使用して機能情報SEIメッセージを参照するSEIメッセージであり、referenced_functionality_information_idは、機能が適用されるべきである1つまたは複数のセグメントを指定する。参照SEIメッセージは、機能情報SEIメッセージ中で指定された機能の軽量制御のための1つまたは数個のシンタックスエレメントをも備え得る。
図6は、一実施形態による、例示的なビットストリームを示す。エンコーダが、図6に示されているものなどのビットストリームを符号化し得、デコーダが、図6に示されているものなどのビットストリームを復号し得る。図6に示されているように、ビットストリームは、異なる識別子値をもつ2つの機能情報SEIメッセージと、セグメントに各々関連付けられたいくつかの参照SEIメッセージ(4つが示されている)とを含み得、各参照SEIメッセージは、各一意の機能情報がビットストリーム中で繰り返されないように、機能情報SEIメッセージのうちの1つを参照する。
図6に示されているように、エンコーダは、ビットストリームの始まりにおいて、機能情報SEIメッセージを符号化し得る。エンコーダはまた、そうする必要があるとき、機能情報SEIメッセージを符号化することを選定し得る。エンコーダは、たとえば、これらのステップに従い得る。
a. セグメントのために使用されるべき機能を決定する
b. 機能を指定する第1の識別子値(たとえば0)をもつ好適な機能情報SEIメッセージが、ビットストリーム中ですでにシグナリングされた場合、
i. ビットストリームに、第1の識別子値に対応する参照ID値をもつ参照SEIメッセージを符号化する
ii. ビットストリームにセグメントを符号化する
c. 他の場合、
i. ビットストリームに、新しい識別子値(たとえば1)をもつ好適な機能情報SEIメッセージを符号化する
ii. ビットストリームに、新しい識別子値に対応する参照ID値をもつ参照SEIメッセージを符号化する
iii. ビットストリームにセグメントを符号化する
実施形態の1つのバージョンでは、識別子値は、上記の例示的なシンタックステーブル中にあるように、8など、固定数のビットでシグナリングされ得る。実施形態の別のバージョンでは、識別子をシグナリングするために使用されるビット数は、SEIメッセージ中のシンタックスエレメント中でシグナリングされる。これは、以下の例示的なシンタックスにおいて示されており、ここで、シンタックスエレメントid_len_minus_1+1は、識別子値を表すfunctionality_information_idシンタックスエレメントをシグナリングするために使用されるビット数を指定する。実施形態の別のバージョンでは、識別子値は、ue(v)と示される、符号なし整数0次指数ゴロムコード化(Exp-Golomb-coded)シンタックスエレメントなどの非固定数のビットでシグナリングされる。
Figure 2024514323000011
Figure 2024514323000012
参照SEIメッセージの持続性範囲
参照SEIメッセージの持続性範囲、すなわち機能情報SEIメッセージの機能をセグメントのどのセットに適用すべきかが、仕様において明確に規定され得る。たとえば、仕様は、参照SEIメッセージの持続性が、SEIメッセージを含んでいるアクセスユニット(AU)であると述べ得る。仕様はまた、参照SEIメッセージの持続性が、SEIメッセージを含んでいるピクチャユニット(PU)であり、または代替的に、参照SEIメッセージの持続性が、SEIメッセージの後にくるスライスであり、または代替的に、参照SEIメッセージの持続性が、SEIメッセージの後にくるスライスが属するサブピクチャであると述べ得る。
参照SEIメッセージの持続性範囲はまた、SEIメッセージ中の1つまたは複数のシンタックスエレメントを使用して指定され得る。たとえば、参照SEIは、持続性フラグと消去フラグとをもつVSEI仕様において通常使用される持続性構造に従い得る。以下の例示的なシンタックスおよびセマンティックは、以下で、参照SEIメッセージの持続性範囲のシグナリングを示す。
Figure 2024514323000013
1に等しいreferencing_sei_cancel_flagは、SEIメッセージが、現在の参照SEIメッセージのreferenced_functionality_information_idに等しいreferenced_functionality_information_idをもつ、出力順序において前の参照SEIメッセージの持続性を消去することを示す。0に等しいreferencing_sei_cancel_flagは、参照SEIメッセージ情報が後にくることを示す。
referencing_sei_persistence_flagは、現在レイヤについて、参照SEIメッセージの持続性を指定する。
0に等しいreferencing_sei_persistence_flagは、参照SEIメッセージが、現在の復号されたピクチャのみに適用されることを指定する。
1に等しいreferencing_sei_persistence_flagは、参照SEIメッセージが、現在の復号されたピクチャに適用され、以下の条件のうちの1つまたは複数が真になるまで、出力順序において現在レイヤのすべての後続のピクチャについて持続することを指定する。
・ 現在レイヤの新しいCLVSが始まる。
・ ビットストリームが終わる。
・ 現在の参照SEIメッセージのreferenced_functionality_information_idに等しいreferenced_functionality_information_idをもつ参照SEIメッセージに関連付けられたAU中の現在レイヤ中のピクチャが、出力順序において現在ピクチャの後にくる出力である。
参照SEIメッセージの範囲をどのようにシグナリングすべきかの別の例が、以下で示されており、ここで、SEIメッセージの範囲は、参照SEIメッセージに関連付けられたピクチャについて、またはそのピクチャのサブピクチャのセットについてのものであり得る。実施形態の1つのバージョンでは、以下の例示的なシンタックスにおいて示されているように、referenced_functionality_information_idが、前の参照SEIメッセージ中のものと同じ値を現在の参照SEIメッセージにおいて有する場合のみ、前の参照SEIメッセージが消去/上書きされる。実施形態の別のバージョンでは、現在の参照SEIメッセージのreferenced_functionality_information_idと前の参照SEIメッセージのreferenced_functionality_information_idとは、前の参照SEIメッセージが消去/上書きされるために、同じ値を有する必要がない。
Figure 2024514323000014
1に等しいsubpic_flagは、参照SEIメッセージが、SEIメッセージが関連付けられたピクチャの特定のサブピクチャのみに適用されることを指定する。 0に等しいsubpic_flagは、参照SEIメッセージが、ピクチャのすべてのサブピクチャに適用されることを指定する。
num_subpics_minus1+1が、ピクチャ中のサブピクチャの数を指定する。
subpic_id_len_minus1+1が、シンタックスエレメントsubpic_id[i]を表すために使用されるビット数を指定する。subpic_id_len_minus1の値は、両端値を含む0~15の範囲内にあるものとする。
subpic_id[i]が、ピクチャ中のi番目のサブピクチャのサブピクチャIDを指定する。subpic_id[i]シンタックスエレメントの長さは、subpic_id_len_minus1+1ビットである。
実施形態の別のバージョンでは、機能情報が適用されるピクチャは、たとえば絶対POC値またはデルタPOC値として、参照SEIメッセージ中にリストされる。
機能情報SEIメッセージの持続性範囲
実施形態のまた別のバージョンでは、機能情報SEIメッセージは、アクティブであるまたはアクティブでないように指定され、たとえば、機能情報SEIメッセージ中のシンタックスエレメント(たとえばフラグなどのインジケータ)を用いて指定され得る。機能情報SEIがアクティブであることによって、機能情報が、第1のパケット(機能情報SEIメッセージ)が第2のパケット(参照SEIメッセージ)によって参照されることなしに、セグメントに適用され得ることを意味する。したがって、インジケータ値は、機能情報が、第1のパケットが第2のパケットによって参照されることなしに、セグメントに適用され得るかどうかを示す。これは、以下の例示的なシンタックステーブル中のsei_active_flagシンタックスエレメントを用いて示される。
sei_active_flagがある値、たとえば1を有する場合、機能情報SEIは、規定されたそれ自体の持続性範囲により、それ自体によってアクティブであるように指定される。たとえば、機能情報SEIメッセージについての持続性範囲は、それが機能情報SEIのfunctionality_information_idに等しいreferenced_functionality_information_idをもつ参照SEIメッセージによって参照されない限り、CVLSの残りなど、ある持続性を有するように規定され得、そのように参照された場合、参照SEIの持続性範囲が、機能情報SEIメッセージの元の持続性範囲に取って代わる。 sei_active_flagが別の値、たとえば0を有する場合、機能情報SEIは、それが参照SEIメッセージによって参照されない限り、アクティブでないように指定され、そのように参照された場合、機能情報SEIはアクティブになり、参照SEIメッセージの持続性範囲が機能情報SEIメッセージに適用される。
Figure 2024514323000015
参照SEIメッセージを可能にしないためのオプション
必要とされないときに多くの小さいSEIメッセージをシグナリングするための余分の負担があるので、機能情報SEIメッセージは、参照SEIメッセージがビットストリーム中で予想され得るか否かのインジケータ値を含んでいることがある。インジケータが第1の値、たとえば1を有するとき、参照が可能にされ、機能情報SEIは、それ自体によって非アクティブであるように指定される。インジケータが第2の値、たとえば0を有するとき、参照が可能にされず、機能情報SEIメッセージは、アクティブであり、従来のSEIメッセージとして働く。その場合、機能情報SEIメッセージを参照する参照SEIメッセージが、機能情報SEIメッセージの後にくるビットストリーム中に存在しないことがある。1つの可能な例外は、インジケータについて第1の値をもつ、別の機能情報SEIが、ビットストリーム中の第1の機能情報SEIメッセージの後にくる場合であり、その場合、別の機能情報SEIは第1の機能情報SEIメッセージを上書きする。参照SEIメッセージが可能にされないとき、識別子を機能情報SEIメッセージ中で送る必要がない。これは、referencing_allowed_flagがインジケータ値を備える、以下の例示的なシンタックスにおいて示されている。
Figure 2024514323000016
機能情報SEIメッセージと参照SEIメッセージとを組み合わせること
この実施形態の別のバージョンでは、機能情報SEIメッセージと参照SEIメッセージとが、同じSEIペイロードタイプ値をもつ同じタイプのSEIメッセージ中で指定される。SEIメッセージが、参照SEIメッセージとして働いているとき、SEIメッセージは、機能SEIメッセージとして働くSEIメッセージのインスタンスに対する参照を除く、機能情報についてのシンタックスエレメントと、場合によっては、機能の軽量制御のための1つのまたは数個のシンタックスエレメントとを含まない。以下のシンタックステーブルは、機能情報SEIメッセージと参照SEIメッセージとを同じタイプのSEIメッセージ中で指定することを例示する。本例では、referencing_flagは、SEIメッセージが機能情報SEIメッセージとして働くのか、参照SEIメッセージとして働くのかを指定するために使用される。
Figure 2024514323000017
機能情報SEIメッセージと参照SEIメッセージとが同じタイプのSEIメッセージ中で指定されることの主要な利点は、これが1つのSEIペイロードタイプ値を節約すること、およびこれが仕様の読みやすさを増加させることである。
ビットストリーム中の順序
いくつかの実施形態では、参照SEIメッセージが、ビットストリーム中の復号順序において、その参照された機能情報SEIメッセージの後にくる。別の実施形態では、参照SEIメッセージが、復号順序において、その参照された機能情報SEIメッセージに先行し得る。その場合、参照インジケータはパースされ得るが、機能SEIメッセージを1つまたは複数のセグメントに対して適用するプロセスは、機能情報SEIメッセージが受信されるまで開始し得ない。また別の実施形態では、機能SEIメッセージおよび参照SEIメッセージは、外部手段によって提供される。
ソリューションをパラメータセットと比較すること
前述のように、参照SEIメッセージは、一般に、たとえば各ピクチャさらにはサブピクチャまたはスライスについて、機能情報SEIメッセージよりも頻繁に送られ得る。たとえば、機能情報SEIメッセージが、CVLSごとに1回送られる場合、機能情報SEIメッセージは、SPSがVVCにおいてどのように参照されるかと同様に、参照SEIメッセージによって参照され得る。機能情報SEIメッセージが、ピクチャのセットさらには単一のピクチャについてなど、よりしばしば送られる場合、機能情報SEIメッセージは、PPSまたはAPSがVVCにおいてどのように参照されるかと同様に、ピクチャごとに参照SEIメッセージによって参照され得る。機能情報SEIメッセージが、ピクチャのセットまたは単一のピクチャについて送られる場合、機能情報SEIメッセージは、APSがVVCにおいてどのように参照されるかと同様に、各スライスについて参照SEIメッセージによって参照され得る。
パラメータセットを参照することと比較した、この実施形態の場合のように特定のSEIメッセージを参照することの1つの利益は、新しい機能が後で、すでに確定された仕様に追加され得ることである。たとえば、VVCバージョン1の場合、パラメータセットにおける追加されるシグナリングなどのさらなる規範的追加はないであろうが、VVCバージョン1デコーダは、VVCバージョン1仕様が確定された後にVVC仕様に追加されたSEIメッセージをサポートし得る。
エンコーダステップおよびデコーダステップ
エンコーダは、この実施形態に従って、ビットストリームにセグメントを符号化するために以下のステップのすべてまたはサブセットを適用し得る。
(1)第1のパケットタイプの第1のパケットについての識別子値を決定する、識別子値は第1のパケットの識別子を表す。パケットはここで、NALユニットであり得る。第1のパケットは、いくつかの実施形態では、非VCL NALユニットであり、第1のパケットタイプはSEIメッセージであり得る。第1のパケットタイプは、SPS、PPSまたはAPSなどのパラメータセットのような別の非VCL NALユニットタイプのものでもあり得る。
(2)第1のパケット中のシンタックスエレメントの第1のセット中の1つまたは複数のシンタックスエレメントに、識別子値を符号化し、ビットストリームに第1のパケットを符号化する。
(3)セグメントに適用されるべき機能を決定する。機能は、機能情報によって指定され得る。機能情報は、たとえば、フィルム粒子パラメータ、LMCSパラメータ、マスタリングディスプレイカラーボリュームパラメータ、コンテンツ光レベルパラメータ、周囲ビューイング環境パラメータ、コンテンツカラーボリュームパラメータ、球体回転パラメータ、領域的パッキングパラメータ、全指向性ビューポートパラメータ、サンプルアスペクト比パラメータ、注釈付き領域パラメータ、スケーラビリティ次元パラメータ、マルチビュー獲得パラメータ、深度表現パラメータなど、SEIメッセージ中で搬送され得る任意のタイプの機能を指定するシンタックスエレメントであり得る。これらのパラメータは、モデル説明、フィルタ強度などを含み得る。機能情報は、本開示では、代替として、パラメータ値またはシンタックスエレメント値として解釈され得る。
(4)シンタックスエレメントのセットのうちの1つまたは複数のシンタックスエレメントに機能情報を符号化する。シンタックスエレメントのセットは、第1のパケットに符号化されたシンタックスエレメントの第1のセットのサブセットであり得る。
(5)第2のパケットタイプの第2のパケット中の1つまたは複数のシンタックスエレメントに、識別子値に対応する参照ID値を符号化する(たとえば、参照ID値は識別子値に等しくなり得る)。第2のパケットタイプは、SEIメッセージであり得る。第1のパケットタイプと第2のパケットタイプの両方がSEIメッセージである場合、第1のSEIメッセージのペイロードタイプは、第2のSEIメッセージのペイロードタイプと同じであることも同じでないこともある。
(6)ビットストリーム中の第3のパケットにセグメントを符号化する。パケットはここで、VCL NALユニットであり得、パケットタイプはスライスタイプであり得る。セグメントは、たとえば、ピクチャ、サブピクチャ、スライス、タイル、またはCTUであり得る。第2のパケットは、機能情報がセグメントに適用されることになるように、セグメントに関連付けられる。たとえば、第2のパケットは、第2のパケットタイプの最も近い先行するパケットであり得、第2のパケットタイプの最も近い先行するパケットは、復号順序において第3のパケットに先行する第2のパケットタイプを有するパケットであり、最も近い先行するパケットの後にきて、復号順序において第3のパケットに先行する第2のパケットタイプを有する他のパケットがない。いくつかの実施形態では、最も近い先行するパケットは、第3のパケットと同じAU中に含まれるパケットである。
デコーダは、この実施形態に従って、ビットストリームからセグメントを復号するための以下のステップのすべてまたはサブセットを実施し得る。
(1)ビットストリーム中の第1のパケットタイプの第1のパケットを受信する、ここで、第1のパケットはシンタックスエレメントの第1のセットを備える。パケットが、NALユニットであり得る。第1のパケットは、いくつかの実施形態では、非VCL NALユニットであり得、第1のパケットタイプはSEIメッセージであり得る。第1のパケットタイプは、SPS、PPSまたはAPSなどのパラメータセットのような別の非VCL NALユニットタイプのものでもあり得る。
(2)第1のパケットのシンタックスエレメントの第1のセット中の1つまたは複数のシンタックスエレメントから識別子値を復号する、識別子値は第1のパケットの一意の識別子を表す。
(3)ビットストリーム中のシンタックスエレメントのセットから機能情報を復号する、機能情報は機能を指定する。シンタックスエレメントのセットは、第1のパケットのシンタックスエレメントの第1のセットのサブセットであり得る。機能情報は、たとえば、フィルム粒子パラメータ、LMCSパラメータ、マスタリングディスプレイカラーボリュームパラメータ、コンテンツ光レベルパラメータ、周囲ビューイング環境パラメータ、コンテンツカラーボリュームパラメータ、球体回転パラメータ、領域的パッキングパラメータ、全指向性ビューポートパラメータ、サンプルアスペクト比パラメータ、注釈付き領域パラメータ、スケーラビリティ次元パラメータ、マルチビュー獲得パラメータ、深度表現パラメータなど、SEIメッセージ中で搬送され得る任意のタイプの機能を指定するシンタックスエレメントであり得る。これらのパラメータは、フィルタモデルタイプ、フィルタ強度など、モデル説明を含み得る。機能情報は、本開示では、代替として、パラメータ値またはシンタックスエレメント値として解釈され得る。
(4)ビットストリームから、シンタックスエレメントの第2のセットを備える第2のパケットタイプの第2のパケットを受信する。第2のパケットタイプは、SEIメッセージであり得る。第1のパケットタイプと第2のパケットタイプの両方がSEIメッセージである場合、第1のSEIメッセージのペイロードタイプは、第2のSEIメッセージのペイロードタイプと同じであることも同じでないこともある。
(5)第2のパケットのシンタックスエレメントの第2のセット中の1つまたは複数のシンタックスエレメントから参照ID値を復号する。
(6)シンタックスエレメントの第3のセットを備える、ビットストリーム中の第3のパケットタイプの第3のパケットを受信する。第3のパケットは、VCL NALユニットであり得、第3のパケットタイプはスライスタイプであり得る。
(7)第2のパケットが、機能情報がセグメントに適用されることになるように、セグメントに関連付けられると決定する。たとえば、第2のパケットは、第2のパケットタイプの最も近い先行するパケットであり得る。第2のパケットタイプの最も近い先行するパケットは、復号順序において第3のパケットに先行する第2のパケットタイプを有するパケットとして規定され得、最も近い先行するパケットの後にきて、復号順序において第3のパケットに先行する第2のパケットタイプを有する他のパケットがない。いくつかの実施形態では、最も近い先行するパケットは、第3のパケットと同じAU中に含まれるパケットである。
(8)随意に、シンタックスエレメントのセットが第1のパケットのシンタックスエレメントの第1のセットのサブセットである場合、参照ID値が識別子値に対応する(たとえば、それに等しい)と決定し、参照ID値が識別子値に対応すると決定したことに応答して、機能情報をシンタックスエレメントの第1のセットから選択する。
(9)シンタックスエレメントの第3のセットからセグメントを復号し、選択された機能情報に基づいて、機能をセグメントに適用する。セグメントの復号は、選択された機能情報を使用することも使用しないこともある。セグメントは、たとえば、ピクチャ、サブピクチャ、スライス、タイル、またはCTUであり得る。代替的に、機能情報は、セグメントがシンタックスエレメントの第3のセットからおよび選択された機能情報から復号されるように、復号において使用され得る。
実施形態2- 参照およびシードをもつ第2のSEIメッセージを使用するフィルム粒子SEIメッセージ
フィルム粒子モデルパラメータの異なるセットをビデオの異なる部分に適用することは、有利であり得る。それをVSEI仕様における現在のフィルム粒子SEIメッセージにおいて達成するために、フィルム粒子モデルパラメータのセットがビットストリーム中で前に使用された場合でも、フィルム粒子モデルパラメータのセットが変更されるたびに完全なフィルム粒子SEIメッセージを送らなければならない。それは、フィルム粒子SEIメッセージが多くのビットを備えるので、不経済である。
第1の実施形態に基づく第2の実施形態では、機能情報SEIメッセージは、復号の後にくる後処理ステップにおいて、復号されたビデオにフィルム粒子を適用するために使用されるフィルム粒子SEIメッセージである。フィルム粒子SEIメッセージシンタックスの一例が、以下で示されている。
Figure 2024514323000018
フィルム粒子SEIメッセージは、ビットストリーム中のフィルム粒子SEIメッセージのインスタンスを一意に識別する、film_grain_sei_idと、フィルム粒子モデルを指定するためのシンタックスエレメントのセット、film_grain_model_syntax_elements()とを含む。
実施形態は、第1の実施形態からの参照SEIメッセージに基づくフィルム粒子参照SEIメッセージをも含む。フィルム粒子参照SEIメッセージの例示的なシンタックスが、以下で示されている。
Figure 2024514323000019
フィルム粒子参照SEIは、referenced_film_grain_sei_idの値に対応するfilm_grain_sei_id値をもつフィルム粒子SEIメッセージの特定のインスタンスを参照するために使用される、referenced_film_grain_sei_idシンタックスエレメントを有する。フィルム粒子参照SEIメッセージは、フィルム粒子SEIメッセージ中のフィルム粒子モデルパラメータを使用してフィルム粒子を生成するための開始値として使用されるシード値を決定するために使用される、シンタックスエレメントfilm_grain_seedをも備え得る。フィルム粒子参照SEIメッセージは、スケールファクタまたは混合モードなど、頻繁に修正されることを希望し得る、フィルム粒子SEIメッセージからのシンタックスエレメントをも備え得る。
実施形態3- 参照をもつ第2のSEIメッセージを使用するLMCSループ外SEIメッセージ(LMCS out-of-loop SEI message)
第1の実施形態に基づく第3の実施形態では、機能情報SEIメッセージは、ループ外で使用されるべきLMCSモデルを指定する、LMCSループ外SEIメッセージである。参照SEIメッセージは、1つまたは複数のセグメントに適用されるべきLMCSモデルを識別するために、LMCSループ外SEIメッセージを参照する。2つのSEIメッセージについての例示的なシンタックスが、以下で示されている。
Figure 2024514323000020
Figure 2024514323000021
第1の実施形態に基づく実施形態の別のバージョンでは、第1のパケットは、SPS、PPSまたはAPSなど、パラメータセットであり、第2のパケットは参照SEIメッセージである。パラメータセットは、1つまたは複数のセグメントに適用されるべきLMCSモデルを指定する、シンタックスエレメントを備える。一実施形態では、パラメータセットはAPSである。参照SEIメッセージは、1つまたは複数のセグメントに適用されるべきLMCSモデルを含んでいるパラメータセットのパラメータセット識別子、たとえばAPS IDを識別するシンタックスエレメントを備える。以下のシンタックステーブルは、参照SEIメッセージの一例を示す。
Figure 2024514323000022
実施形態4- 汎用ラッパー(generic wrapper)SEIメッセージ
第1の実施形態に基づく第4の実施形態では、識別子値をもつSEIメッセージと参照SEIメッセージとは、両方とも汎用SEIメッセージである。第1の実施形態の場合のように、識別子をもつSEIメッセージは、汎用参照SEIメッセージによって参照される。第1の実施形態との差は、識別子値をもつSEIメッセージの機能情報が、第1のSEIメッセージについて指定されないが、代わりに、第1のSEIメッセージが、別の既存のSEIメッセージを封入(enclose)または参照することである。この実施形態では、封入または参照されたSEIメッセージを機能情報SEIメッセージと呼び、識別子をもつSEIメッセージを、そのSEIメッセージが機能情報SEIメッセージを封入するかまたは機能情報SEIメッセージを参照するので、汎用ラッパーSEIメッセージと呼ぶことになる。
このソリューションの利点は、本発明の参照機能が、任意のSEIメッセージ、すでに指定されたSEIメッセージにさえ、それらのSEIメッセージへの変更を行うことなしに適用され得ることである。
この実施形態の第1のバージョンでは、汎用ラッパーSEIメッセージは、汎用ラッパーSEIメッセージのインスタンスを一意に識別する汎用ラッパー識別子値と、封入された(enclosed)機能情報SEIメッセージのペイロードとを備える。汎用参照SEIメッセージは、参照された汎用ラッパーSEIメッセージを識別するためのシンタックスエレメントを含む。汎用参照SEIメッセージは、参照SEIメッセージについての範囲中の1つまたは複数のセグメントに適用されるべきであるSEIメッセージをより容易に識別するために、汎用ラッパーSEIメッセージに封入された機能情報SEIメッセージのSEIペイロードタイプをも含んでいることがある。これは、SEIメッセージが失われたのか、他の手段によってビットストリームから除去されたのかを識別することが、より容易になり得るので、誤り耐性理由のためにも有用である。sei_message()が、封入された機能情報SEIメッセージを含んでいる、実施形態の第1のバージョンの一例が以下で示されている。
Figure 2024514323000023
Figure 2024514323000024
実施形態の別のバージョンでは、汎用ラッパーSEIメッセージは、機能情報SEIメッセージを封入しないが、機能情報SEIメッセージについてのペイロードを含むことによって、以下で示されるように機能情報SEIメッセージを参照する。
Figure 2024514323000025
また別の実施形態では、汎用ラッパーSEIメッセージは、使用すべき機能情報SEIメッセージを封入もせず、それを直接参照もしないが、代わりに、ビットストリーム中の復号順序において汎用ラッパーSEIメッセージの直後にくるSEIメッセージが、使用すべき機能情報SEIメッセージである。これは、図7のビットストリームに示されている。
図7は、一実施形態による、例示的なビットストリームを示す。エンコーダが、図7に示されているものなどのビットストリームを符号化し得、デコーダが、図7に示されているものなどのビットストリームを復号し得る。図7中のビットストリームは、図5では、第2のパケット11が参照識別子12と機能情報32の両方を含んでおり、図7では、第2のパケット11(たとえば、汎用ラッパーSEIメッセージ)が参照識別子12を含み、機能情報32を含む機能情報メッセージ31(たとえば、機能情報SEIメッセージ)が直ちに後にくることを除いて、図5に示されているものと同様である。
他の実施形態では、汎用ラッパーは、2つ以上のSEIメッセージを封入または参照する。以下の例示的なシンタックスは、2つ以上の機能情報SEIメッセージを封入する汎用ラッパーSEIメッセージを示す。
Figure 2024514323000026
別の実施形態では、汎用ラッパーSEIメッセージと汎用参照SEIメッセージとが、第1の実施形態においてSEIペイロードタイプがどのように説明されたかと同様に、SEIペイロードタイプについて1つの値をもつ1つのSEIメッセージタイプにおいて組み合わせられる。
仕様は、どのSEIメッセージが汎用ラッパーSEIメッセージとともに使用され得るかをリストし得る。
仕様は、どのSEIメッセージが汎用ラッパーSEIメッセージとともに使用されないことがあるかをもリストし得る。
実施形態5- SEIペイロード延長部(extension)における信号識別子。
第1の実施形態に基づく第5の実施形態では、機能情報SEIメッセージの識別子値は、パケットの延長部中でシグナリングされる。実施形態の1つのバージョンでは、SEIペイロード構造、sei_reserved_payload_extension_dataにおける予約済みビットが、機能情報SEIメッセージについての識別子値をシグナリングするために使用される。ソリューションは以下のシンタックステーブルに示されており、ここで、第1の実施形態における機能情報SEIメッセージについての識別子値のためのシンタックスエレメントは、sei_unique_idと呼ばれる。
Figure 2024514323000027
このソリューションはまた、汎用であり、各SEIメッセージがそれ自体の識別子を実装することを必要としない。1つの不利な面は、識別子値がSEIメッセージの実際のペイロードの後にシグナリングされることになることである。
実施形態6- 第2のSEIメッセージ中で、第1のSEIメッセージに対する識別子と、第1のSEIメッセージの機能への修正とをシグナリングする
第6の実施形態では、機能情報SEIメッセージの識別子値は、機能情報SEIメッセージ中の少なくとも1つのシンタックスエレメントの前の値を上書きする、参照SEIメッセージ中の少なくとも1つのシンタックスエレメントとともに、参照SEIメッセージ中でシグナリングされる。以下の表は、実施形態について、2つの異なるタイプのSEIメッセージを使用するための例示的なシンタックスを示す。
Figure 2024514323000028
Figure 2024514323000029
第1のSEIメッセージは、機能情報を搬送するSEIメッセージである。SEIメッセージのインスタンスが、functionality_information_idを使用して一意に識別される。シンタックステーブル中のfunctionality_information_syntax_1からfunctionality_information_syntax_Nは、機能を指定するために使用されるシンタックスエレメントを表す。異なるfunctionality_information_idをもつ2つの機能情報SEIメッセージが、機能情報シンタックスエレメントについて異なる値を有し得る。第2のSEIメッセージは、referenced_functionality_information_idを使用して機能情報SEIメッセージを参照するSEIメッセージである。参照SEIメッセージは、機能情報SEIメッセージ中で指定された少なくとも1つのシンタックスエレメントを上書きする、functionality_information_syntax_I(1≦I≦N)などの1つまたは数個のシンタックスエレメントをも備える。
図8は、一実施形態による、フローチャートを示す。プロセス800は、ビットストリームからセグメントを復号するための方法である。方法は、ステップs802から始まり得る。
ステップs802は、ビットストリーム中の第1のパケットタイプの第1のパケットを受信することであって、第1のパケットがシンタックスエレメントの第1のセットを備える、第1のパケットタイプの第1のパケットを受信することを含む。
ステップs804は、第1のパケットのシンタックスエレメントの第1のセット中の1つまたは複数のシンタックスエレメントから識別子値を復号することであって、識別子値が第1のパケットの識別子を表す、識別子値を復号することを含む。
ステップs806は、ビットストリーム中のシンタックスエレメントのセットから機能情報を復号することであって、機能情報が機能を指定する、機能情報を復号することを含む。
ステップs808は、ビットストリーム中の第2のパケットタイプの第2のパケットを受信することであって、第2のパケットがシンタックスエレメントの第2のセットを備える、第2のパケットタイプの第2のパケットを受信することを含む。
ステップs810は、第2のパケットのシンタックスエレメントの第2のセット中の1つまたは複数のシンタックスエレメントから参照ID値を復号することを含む。
ステップs812は、ビットストリーム中の第3のパケットタイプの第3のパケットを受信することであって、第3のパケットがシンタックスエレメントの第3のセットを備え、シンタックスエレメントの第3のセットがセグメントを符号化する、第3のパケットタイプの第3のパケットを受信することを含む。セグメントを符号化することは、セグメントを完全に符号化すること、またはセグメントの一部を符号化することを含み得る。いくつかの実施形態では、第3のパケットは、セグメントの少なくとも95%のコード化表現を備える。
ステップs814は、セグメントが第2のパケットに関連付けられていると決定することを含む。
ステップs816は、参照ID値が識別子値に対応すると決定することを含む。
ステップs818は、参照ID値が識別子値に対応すると決定したことに応答して、機能情報をシンタックスエレメントの第1のセットから選択することを含む。
ステップs820は、シンタックスエレメントの第3のセットからセグメントを復号することを含む。
ステップs822は、選択された機能情報に基づいて、機能をセグメントに適用することを含む。
いくつかの実施形態では、ビットストリーム中のシンタックスエレメントのセットから機能情報を復号することは、第1のパケット中のシンタックスエレメントの第1のセットから機能情報を復号することを含む。いくつかの実施形態では、第1のパケット、第2のパケット、および第3のパケットの各々が、それぞれネットワークアブストラクションレイヤ(NAL)ユニットを備える。いくつかの実施形態では、第1のパケットタイプと第2のパケットタイプの一方または両方が、SEIメッセージを備える。いくつかの実施形態では、第3のパケットタイプはスライスタイプを備える。いくつかの実施形態では、第1のパケットは、第2のパケットと同じタイプおよびサブタイプ(たとえばSEIメッセージのタイプ)のものである。所与のパケットタイプ自体が、異なるタイプを有し得る場合、パケットタイプの異なるタイプは、パケットタイプのサブタイプと呼ばれることがある。VVC仕様についての一例では、タイプは、NALユニットがプレフィックスSEIメッセージであることを指定する、PREFIX_SEI_NUT nal_unit_typeなどのNALユニットタイプである。サブタイプはここで、プレフィックスSEIメッセージNALユニット中で搬送されるSEIメッセージのペイロードタイプであり得る。ペイロードタイプは、NALユニット中のpayload_type_byteシンタックスエレメントから復号され、payloadType変数がペイロードタイプの値に割り振られる。サブタイプの一例は、ペイロードタイプ0を使用し、payloadTypeを0にセットしてシグナリングされる、バッファリング期間SEIメッセージである。
いくつかの実施形態では、第1のパケットは第2のパケットと同じタイプのものであり、第1のパケットは第2のパケットとは異なるサブタイプのものである。いくつかの実施形態では、セグメントは、ピクチャ、サブピクチャ、スライス、タイル、およびコーディングツリーユニット(CTU)のうちの1つまたは複数を備える。いくつかの実施形態では、方法は、シンタックスエレメントの第1のセットからインジケータ値を復号することであって、インジケータ値が、識別子値とシンタックスエレメントの第2のセットの両方がビットストリーム中に存在するかどうかを示す、インジケータ値を復号することをさらに含む。いくつかの実施形態では、セグメントが第2のパケットに関連付けられていると決定することは、(i)セグメントが、第2のパケットと同じアクセスユニット(AU)またはピクチャユニット(PU)中にあると決定することと、(ii)セグメントを備える第3のパケットが、ビットストリーム中の第2のパケットの直後にくると決定することと、(iii)第2のパケットが、第2のパケットタイプの最も近い先行するパケットであると決定することであって、第2のパケットタイプの最も近い先行するパケットが、復号順序においてセグメントを備える第3のパケットに先行する第2のパケットタイプを有するパケットであり、最も近い先行するパケットの後にきて、復号順序においてセグメントを備える第3のパケットに先行する第2のパケットタイプを有する他のパケットがない、第2のパケットが、第2のパケットタイプの最も近い先行するパケットであると決定することと、(iv)第2のパケットが、第2のパケットがセグメントに関連付けられているかまたはセグメントを備える第3のパケットに関連付けられていることを指定する、持続性フラグを備えると決定することと、(v)ビットストリーム中の1つまたは複数のシンタックスエレメントから、セグメントの識別子を表すセグメント識別子値を復号し、第2のパケット中の1つまたは複数のシンタックスエレメントから参照セグメントID値を復号し、セグメント識別子値が参照セグメントID値に対応すると決定することと、のうちの1つまたは複数を含む。
いくつかの実施形態では、方法は、シンタックスエレメントの第1のセットからインジケータ値を復号することであって、インジケータ値が、第1のパケットが第2のパケットによって参照されることなしに機能情報がセグメントに適用され得るかどうかを示す、インジケータ値を復号することをさらに含む。いくつかの実施形態では、第1のパケットは、ビットストリーム中の復号順序において第2のパケットに先行する。いくつかの実施形態では、機能情報は、フィルム粒子パラメータ、クロマスケーリングを伴うルーママッピング(LMCS)パラメータ、マスタリングディスプレイカラーボリュームパラメータ、コンテンツ光レベルパラメータ、周囲ビューイング環境パラメータ、コンテンツカラーボリュームパラメータ、球体回転パラメータ、領域的パッキングパラメータ、全指向性ビューポートパラメータ、サンプルアスペクト比パラメータ、注釈付き領域パラメータ、スケーラビリティ次元パラメータ、マルチビュー獲得パラメータ、深度表現パラメータ、フィルタモデルタイプ、フィルタ強度、およびモデル説明のうちの1つまたは複数を備える。いくつかの実施形態では、機能情報は、フィルム粒子モデルを指定する情報を備え、方法は、シンタックスエレメントの第2のセット中の1つまたは複数のシンタックスエレメントからシード値を復号することと、フィルム粒子モデルをもつフィルム粒子を、第2のパケットに関連付けられたセグメントに適用するとき、シード値を使用することとをさらに含む。
いくつかの実施形態では、方法は、ビットストリーム中の第4のパケットタイプの第4のパケットを受信することであって、第4のパケットがシンタックスエレメントの第4のセットを備え、第4のパケットが復号順序において第2のパケットに先行する、第4のパケットタイプの第4のパケットを受信することをさらに含み、ビットストリーム中のシンタックスエレメントのセットから機能情報を復号することは、第4のパケット中のシンタックスエレメントの第4のセットから機能情報を復号することを含む。いくつかの実施形態では、第4のパケットは、復号順序において第1のパケットの後にくる。いくつかの実施形態では、第4のパケットは、第1のパケット中に含まれている。いくつかの実施形態では、第4のパケットタイプはSEIメッセージである。いくつかの実施形態では、方法は、第1のパケット中のシンタックスエレメントからSEIペイロードタイプ値を復号することであって、SEIペイロードタイプ値が第4のパケットのSEIペイロードタイプ値を示す、SEIペイロードタイプ値を復号することをさらに含む。いくつかの実施形態では、識別子値は、第1のパケット中の延長部から復号される。いくつかの実施形態では、シンタックスエレメントの第4のセットのうちの少なくとも1つのシンタックスエレメントが、シンタックスエレメントの第4のセットのうちの1つまたは複数のシンタックスエレメントからの機能情報を上書きする。
図9は、一実施形態による、フローチャートを示す。プロセス900は、ビットストリームにセグメントを符号化するための方法である。方法は、ステップs902から始まり得る。
ステップs902は、第1のパケットタイプの第1のパケットについての識別子値を決定することであって、識別子値が第1のパケットの識別子を表し、第1のパケットがビットストリーム中のシンタックスエレメントの第1のセットを備える、識別子値を決定することを含む。
ステップs904は、シンタックスエレメントの第1のセット中の1つまたは複数のシンタックスエレメントに識別子値を符号化することを含む。
ステップs906は、セグメントに適用されるべき機能を決定することであって、機能が機能情報によって指定される、機能を決定することを含む。
ステップs908は、ビットストリーム中のシンタックスエレメントのセットのうちの1つまたは複数のシンタックスエレメントに機能情報を符号化することを含む。
ステップs910は、シンタックスエレメントの第2のセット中の1つまたは複数のシンタックスエレメントに、識別子値に対応する参照ID値を符号化することであって、第2のパケットタイプの第2のパケットが、ビットストリーム中のシンタックスエレメントの第2のセットを備える、参照ID値を符号化することを含む。
ステップs912は、シンタックスエレメントの第3のセット中の1つまたは複数のシンタックスエレメントにセグメントを符号化することであって、第3のパケットタイプの第3のパケットがビットストリーム中のシンタックスエレメントの第3のセットを備え、セグメントが第2のパケットに関連付けられている、セグメントを符号化することを含む。
いくつかの実施形態では、ビットストリーム中のシンタックスエレメントのセットのうちの1つまたは複数のシンタックスエレメントに、機能情報を符号化することは、第1のパケット中のシンタックスエレメントの第1のセットに機能情報を符号化することを含む。いくつかの実施形態では、第1のパケット、第2のパケット、および第3のパケットの各々が、それぞれネットワークアブストラクションレイヤ(NAL)ユニットを備える。いくつかの実施形態では、第1のパケットタイプと第2のパケットタイプの一方または両方が、SEIメッセージを備える。いくつかの実施形態では、第3のパケットタイプはスライスタイプを備える。いくつかの実施形態では、第1のパケットは、第2のパケットと同じタイプおよびサブタイプ(たとえばSEIメッセージのタイプ)のものである。いくつかの実施形態では、第1のパケットは第2のパケットと同じタイプのものであり、第1のパケットは第2のパケットとは異なるサブタイプのものである。いくつかの実施形態では、セグメントは、ピクチャ、サブピクチャ、スライス、タイル、およびコーディングツリーユニット(CTU)のうちの1つまたは複数を備える。
いくつかの実施形態では、方法は、シンタックスエレメントの第1のセットにインジケータ値を符号化することであって、インジケータ値が、識別子値とシンタックスエレメントの第2のセットの両方がビットストリーム中に存在するかどうかを示す、インジケータ値を符号化することをさらに含む。いくつかの実施形態では、セグメントは、以下のやり方、(i)セグメントが、第2のパケットと同じアクセスユニット(AU)またはピクチャユニット(PU)中にあることと、(ii)セグメントを備える第3のパケットが、ビットストリーム中の第2のパケットの直後にくることと、(iii)第2のパケットが、第2のパケットタイプの最も近い先行するパケットであることであって、第2のパケットタイプの最も近い先行するパケットが、復号順序においてセグメントを備える第3のパケットに先行する第2のパケットタイプを有するパケットであり、最も近い先行するパケットの後にきて、復号順序においてセグメントを備える第3のパケットに先行する第2のパケットタイプを有する他のパケットがない、第2のパケットが、第2のパケットタイプの最も近い先行するパケットであることと、(iv)第2のパケットが、第2のパケットがセグメントに関連付けられているかまたはセグメントを備える第3のパケットに関連付けられていることを指定する、持続性フラグを備えることと、(v)セグメント識別子値が参照セグメントID値に対応することと、のうちの少なくとも1つにおいて、第2のパケットに関連付けられる。
いくつかの実施形態では、方法は、シンタックスエレメントの第1のセットにインジケータ値を符号化することであって、インジケータ値が、第1のパケットが第2のパケットによって参照されることなしに機能情報がセグメントに適用され得るかどうかを示す、インジケータ値を符号化することをさらに含む。いくつかの実施形態では、第1のパケットは、ビットストリーム中の復号順序において第2のパケットに先行する。いくつかの実施形態では、機能情報は、フィルム粒子パラメータ、クロマスケーリングを伴うルーママッピング(LMCS)パラメータ、マスタリングディスプレイカラーボリュームパラメータ、コンテンツ光レベルパラメータ、周囲ビューイング環境パラメータ、コンテンツカラーボリュームパラメータ、球体回転パラメータ、領域的パッキングパラメータ、全指向性ビューポートパラメータ、サンプルアスペクト比パラメータ、注釈付き領域パラメータ、スケーラビリティ次元パラメータ、マルチビュー獲得パラメータ、深度表現パラメータ、フィルタモデルタイプ、フィルタ強度、およびモデル説明のうちの1つまたは複数を備える。いくつかの実施形態では、機能情報は、フィルム粒子モデルを指定する情報を備え、方法は、シンタックスエレメントの第2のセット中の1つまたは複数のシンタックスエレメントにシード値を符号化することをさらに含む。
いくつかの実施形態では、方法は、ビットストリーム中の第4のパケットタイプの第4のパケットを符号化することであって、第4のパケットがシンタックスエレメントの第4のセットを備え、第4のパケットが復号順序において第2のパケットに先行する、第4のパケットタイプの第4のパケットを符号化することをさらに含み、ビットストリーム中のシンタックスエレメントのセットに機能情報を符号化することは、第4のパケット中のシンタックスエレメントの第4のセットに機能情報を符号化することを含む。いくつかの実施形態では、第4のパケットは、復号順序において第1のパケットの後にくる。いくつかの実施形態では、第4のパケットは、第1のパケット中に含まれている。いくつかの実施形態では、第4のパケットタイプはSEIメッセージである。いくつかの実施形態では、方法は、第1のパケット中のシンタックスエレメントにSEIペイロードタイプ値を符号化することであって、SEIペイロードタイプ値が第4のパケットのSEIペイロードタイプ値を示す、SEIペイロードタイプ値を符号化することをさらに含む。いくつかの実施形態では、識別子値は、第1のパケット中の延長部に符号化される。いくつかの実施形態では、シンタックスエレメントの第4のセットのうちの少なくとも1つのシンタックスエレメントが、シンタックスエレメントの第4のセットのうちの1つまたは複数のシンタックスエレメントからの機能情報を上書きする。
図10は、いくつかの実施形態による、ノード1000(たとえば、エンコーダまたはデコーダ)のブロック図である。図10に示されているように、ノード1000は、1つまたは複数のプロセッサ(P)1055(たとえば、1つまたは複数の汎用マイクロプロセッサ、および/または、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)など、1つまたは複数の他のプロセッサなど)を含み得る処理回路(PC)1002であって、そのプロセッサが、単一のハウジングにおいてまたは単一のデータセンタにおいて共同サイト式であり得るかあるいは地理的に分散され得る(すなわち、ノード1000が分散コンピューティング装置であり得る)、処理回路(PC)1002と、少なくとも1つのネットワークインターフェース1048(たとえば、物理インターフェースまたはエアインターフェース)であって、ノード1000が、ネットワークインターフェース1048が(物理的にまたは無線で)接続されるネットワーク1010(たとえば、インターネットプロトコル(IP)ネットワーク)に接続された他のノードにデータを送信し、他のノードからデータを受信することを可能にするための送信機(Tx)1045および受信機(Rx)1047を備える(たとえば、ネットワークインターフェース1048は、ノード1000がデータを無線で送信/受信することを可能にするための1つまたは複数のアンテナを備えるアンテナ構成に結合され得る)、少なくとも1つのネットワークインターフェース1048と、1つまたは複数の不揮発性記憶デバイスおよび/または1つまたは複数の揮発性記憶デバイスを含み得るローカル記憶ユニット(別名「データ記憶システム」)1008とを備え得る。PC1002がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品(CPP)1041が提供され得る。CPP1041はコンピュータ可読媒体(CRM)1042を含み、CRM1042は、コンピュータ可読命令(CRI)744を備えるコンピュータプログラム(CP)1043を記憶する。CRM1042は、磁気媒体(たとえば、ハードディスク)、光媒体、メモリデバイス(たとえば、ランダムアクセスメモリ、フラッシュメモリ)など、非一時的コンピュータ可読媒体であり得る。いくつかの実施形態では、コンピュータプログラム1043のCRI1044は、PC1002によって実行されたとき、CRIが、ノード1000に、本明細書で説明されるステップ(たとえば、フローチャートを参照しながら本明細書で説明されたステップ)を実施させるように設定される。他の実施形態では、ノード1000は、コードの必要なしに本明細書で説明されるステップを実施するように設定され得る。すなわち、たとえば、PC1002は、単に1つまたは複数のASICからなり得る。したがって、本明細書で説明される実施形態の特徴は、ハードウェアおよび/またはソフトウェアで実装され得る。
本明細書で使用される、ネットワークエレメント、ノード、またはサブシステム(たとえば、エンコーダまたはデコーダ)は、ハードウェアおよびソフトウェアを含む、1つまたは複数のサービスネットワーク機器からなり得、それらは、ネットワーク上の他の機器(たとえば、他のネットワークエレメント、エンドステーションなど)を通信可能に相互接続し、ストリームベースのまたはファイルベースの機構を使用してメディアコンテンツアセットが分散および配信され得るメディア分散ネットワークにおいてコンテンツを受信/消費するように動作可能である複数のサブスクライバおよび関連付けられたユーザ機器(UE)ノードに関して、仮想化環境/非仮想化環境のいずれかにおいて、1つまたは複数のアプリケーションまたはサービスをホストするように適応される。したがって、いくつかのネットワークエレメントは、ワイヤレス無線ネットワーク環境中に配設され得、他のネットワークエレメントは、パブリックコンテンツ配信ネットワーク(CDN)、プライベートCDN、または混合CDNを備え得る、好適なCDNインフラストラクチャを含むかまたはさもなければ伴う、パブリックパケット交換ネットワークインフラストラクチャ中に配設され得る。さらに、本明細書に記載される1つまたは複数の実施形態を含む好適なネットワークエレメントは、地上波および/または衛星ブロードバンド配信インフラストラクチャ、たとえば、デジタル加入者回線(DSL)ネットワークアーキテクチャ、データオーバケーブルサービスインタフェース仕様(DOCSIS)準拠ケーブルモデム終端システム(CMTS)アーキテクチャ、交換デジタルビデオ(SDV)ネットワークアーキテクチャ、ハイブリッドファイバー同軸(HFC)ネットワークアーキテクチャ、好適な衛星アクセスネットワークアーキテクチャ、あるいはセルラおよび/またはWiFiコネクティビティを介したブロードバンド無線アクセスネットワークアーキテクチャを伴い得る。したがって、いくつかのネットワークエレメントは、複数のアプリケーションサービス(たとえば、様々な品質または規定における(360度のビデオアセットまたは単に360ビデオアセットとも呼ばれる)360°没入型ビデオアセットを含むデータおよびマルチメディアアプリケーション)のサポートを提供することに加えて、複数のネットワークベースの機能(たとえば、360°没入型A/Vメディア準備配信ポリシ管理、セッション制御、QoSポリシ施行、帯域幅スケジューリング管理、コンテンツプロバイダ優先度ポリシ管理、ストリーミングポリシ管理など)のサポートを提供する、「複数サービスネットワークエレメント」を備え得る。例示的なサブスクライバエンドステーションまたはクライアントデバイスは、いくつかの実施形態において、あるタイプのレート適応を伴い得る、ストリーミングおよび/またはファイルベースのダウンロード技術を使用して、メディアコンテンツアセットを消費または配信し得る、テザリングされるまたはテザリングされない様々なデバイスを備え得る。したがって、例示的なクライアントデバイスまたはUEデバイスは、HTTP、HTTPS、RTPなどを使用して、たとえば、ブロードバンドアクセスネットワークを介して、1つまたは複数のコンテンツプロバイダからの仮想現実(VR)メディア、拡張現実(AR)メディア、複合現実(MR)メディアを備え得る、360ビデオコンテンツ、ライブメディアおよび/または静的/オンデマンドメディアを受信、記録、記憶、および/または復号/レンダリングするために、とりわけ、1つまたは複数のクライアントアプリケーションを実行するように設定された任意のデバイスを含み得る。したがって、そのようなクライアントデバイスは、次世代IPベースのSTB、ネットワーク化されたTV、パーソナル/デジタルビデオレコーダ(PVR/DVR)、ネットワーク化されたメディアプロジェクタ、ポータブルラップトップコンピュータ、ネットブック、パームトップ、タブレット、スマートフォン、マルチメディア/ビデオフォン、モバイル/無線ユーザ機器、ポータブルメディアプレーヤ、3Dディスプレイデバイスと協働して動作するポータブルゲーミングシステムまたはコンソール(Wii(登録商標)、Play Station3(登録商標)など)などを含み得、これらは、本明細書に記載される1つまたは複数の実施形態に従って帯域幅および体感品質(QoE)方式が提供され得る好適なメディア分散ネットワークを介して提供される360度コンテンツ/サービスにアクセスするかまたはそれを消費し得る。
本特許開示の1つまたは複数の実施形態は、ソフトウェア、ファームウェア、および/またはハードウェアの異なる組合せを使用して実装され得る。したがって、図(たとえば、フローチャート)に示されている技法のうちの1つまたは複数が、1つまたは複数の電子デバイスまたはノード(たとえば、サブスクライバクライアントデバイスまたはエンドステーション、ネットワークエレメントなど)に記憶され、その上で実行される、コードおよびデータを使用して実装され得る。そのような電子デバイスは、非一時的コンピュータ可読記憶媒体(たとえば、磁気ディスク、光ディスク、ランダムアクセスメモリ、読取り専用メモリ、フラッシュメモリデバイス、相変化メモリなど)、一時的コンピュータ可読伝送媒体(たとえば、搬送波、赤外線信号、デジタル信号など、伝搬信号の電気、光学、音響または他の形態)など、コンピュータ可読媒体を使用して、コードおよびデータを記憶および(内部でおよび/またはネットワークを介して他の電子デバイスと)通信し得る。さらに、そのようなネットワークエレメントは、一般に、1つまたは複数の記憶デバイス(たとえば、非一時的機械可読記憶媒体)ならびに(1つまたは複数の)記憶データベース、ユーザ入出力デバイス(たとえば、キーボード、タッチスクリーン、ポインティングデバイス、および/またはディスプレイ)、ならびにシグナリングおよび/またはベアラ媒体送信を実現するためのネットワーク接続など、1つまたは複数の他の構成要素に結合された1つまたは複数のプロセッサのセットを含み得る。プロセッサのセットと他の構成要素との結合は、一般に、任意の知られている(たとえば、対称的/共有多重処理)またはこれまで知られていないアーキテクチャにおいて構成された、1つまたは複数のバスおよび(バスコントローラとも呼ばれる)ブリッジを通したものであり得る。したがって、所与の電子デバイスまたはネットワークエレメントの記憶デバイスまたは構成要素は、本開示の1つまたは複数の技法を実装する目的で、そのエレメント、ノードまたは電子デバイスの1つまたは複数のプロセッサ上での実行のためのコードおよび/またはデータを記憶するように設定され得る。
当業者は、上記の一般化された例示的なネットワーク環境が、たとえば、ソースストリームスティッチング、プロジェクションマッピング、ソースメディア圧縮、タイル(tiled)/ABRエンコーディング/トランスコーディング、パッケージングなど、ならびに、1つまたは複数のオペレータ、コンテンツ配信ネットワーク(CDN)、エッジネットワークなどを伴う、異なる階層レベルにおいて配設された異なるネットワーク部分において行われれる分散/アップローディングおよびエッジノードプロセスを含む、メディアキャプチャおよび準備の様々な態様とともに、階層ネットワークアーキテクチャにおいて実装され得ることを、認識されよう。さらに、いくつかの実装形態では、上記の装置およびプロセスのうちの少なくともいくつかが、クラウドベースであり得る。いくつかの構成では、CDNは、インターネットまたは他のパブリック/プライベート通信ネットワークに接続された複数のデータセンタにおいて展開されるサーバの大きい分散システムであり得る。CDNは、管理されたまたは管理されないネットワークであり得、管理されたまたは管理されないネットワークの連合でもあり得る。
上記の例示的なネットワーク環境内に動作可能に関連付けられたメディアサーバ/ソースシステムの例示的な一実施形態は、したがって、ライブソースおよび/または静的ファイルソース、たとえば、Hulu(登録商標)、Netflix(登録商標)、YouTube(登録商標)、またはAmazon(登録商標)Primeなどのオンラインコンテンツプロバイダ、ならびにVODカタログまたはコンテンツプロバイダ、あるいはDisney、Warner、Sonyなどのスタジオから、メディアコンテンツを受け取るように、たとえばグローバルヘッドエンドとして、設定され得る。ライブソースからのメディアコンテンツは、任意のタイプのイベント、たとえば、スポーツ/エンターテインメント/ゲーミングイベント、コンサート、ライブTVショー、たとえば、全国的な放送事業者(たとえば、NBC、ABCなど)などのライブニュース放送ソース、ならびに、広告メディアチャネルなどの任意の2次メディア挿入物を含む、CNN、ESPN、CNBCなど、およびローカル放送事業者などの、Time Warnerチャネルのようなケーブル放送事業者チャネルに関してキャプチャされたライブプログラミングを備え得る。
略語
略語 説明
APS 適応パラメータセット
AU アクセスユニット
AUD アクセスユニットデリミタ
ALF 適応ループフィルタ
BLA 切断リンクアクセス
CRA クリーンランダムアクセス
CVS コード化レイヤビデオシーケンス
CLVS コード化レイヤビデオシーケンス
CLVSS コード化レイヤビデオシーケンス開始
CTU コーディングツリーユニット
CU コーディングユニット
DCI 復号能力情報
DPB 復号ピクチャバッファ
GDR 漸進的復号リフレッシュ
HEVC 高効率ビデオコーディング
IRAP イントラランダムアクセスポイント
IDR 瞬時復号リフレッシュ
LMCS ルーママッピングおよびクロマスケーリング
NAL ネットワークアブストラクションレイヤ
OLS 出力レイヤセット
POC ピクチャ順序カウント
PPS ピクチャパラメータセット
PU ピクチャユニット
RADL ランダムアクセス復号可能リーディング
RASL ランダムアクセススキップリーディング
RPR 参照ピクチャリサンプリング
SEI 補足エンハンスメント情報
SPS シーケンスパラメータセット
VCL ビデオコーディングレイヤ
VPS ビデオパラメータセット
VVC 多用途ビデオコーディング
様々な実施形態が、本明細書で(および任意の付録において)説明されたが、それらの実施形態は、限定ではなく、例として提示されたにすぎないことを理解されたい。したがって、本開示の広さおよび範囲は、上記で説明された例示的な実施形態のいずれによっても限定されるべきでない。その上、本明細書で別段に示されていない限り、またはコンテキストによって明確に否定されていない限り、上記で説明されたエレメントのそれらのすべての考えられる変形形態における任意の組合せが、本開示によって包含される。
さらに、上記で説明され、図面に示されたプロセスは、ステップのシーケンスとして示されたが、これは、説明のためにのみ行われた。したがって、いくつかのステップが追加され得、いくつかのステップが省略され得、ステップの順序が並べ替えられ得、いくつかのステップが並行して実施され得ることが企図される。

Claims (30)

  1. ビットストリームからセグメントを復号するための方法であって、前記方法は、
    前記ビットストリーム中の第1のパケットタイプの第1のパケットを受信することであって、前記第1のパケットがシンタックスエレメントの第1のセットを備える、第1のパケットタイプの第1のパケットを受信することと、
    前記第1のパケットのシンタックスエレメントの前記第1のセット中の1つまたは複数のシンタックスエレメントから識別子値を復号することであって、前記識別子値が前記第1のパケットの識別子を表す、識別子値を復号することと、
    前記ビットストリーム中のシンタックスエレメントのセットから機能情報を復号することであって、前記機能情報が機能を指定する、機能情報を復号することと、
    前記ビットストリーム中の第2のパケットタイプの第2のパケットを受信することであって、前記第2のパケットがシンタックスエレメントの第2のセットを備える、第2のパケットタイプの第2のパケットを受信することと、
    前記第2のパケットのシンタックスエレメントの前記第2のセット中の1つまたは複数のシンタックスエレメントから参照ID値を復号することと、
    前記ビットストリーム中の第3のパケットタイプの第3のパケットを受信することであって、前記第3のパケットがシンタックスエレメントの第3のセットを備え、シンタックスエレメントの前記第3のセットが前記セグメントを符号化する、第3のパケットタイプの第3のパケットを受信することと、
    前記セグメントが前記第2のパケットに関連付けられていると決定することと、
    前記参照ID値が前記識別子値に対応すると決定することと、
    前記参照ID値が前記識別子値に対応すると決定したことに応答して、前記機能情報をシンタックスエレメントの前記第1のセットから選択することと、
    シンタックスエレメントの前記第3のセットから前記セグメントを復号することと、
    前記選択された機能情報に基づいて、前記機能を前記セグメントに適用することと
    を含む、方法。
  2. 前記ビットストリーム中のシンタックスエレメントのセットから機能情報を復号することが、前記第1のパケット中のシンタックスエレメントの前記第1のセットから前記機能情報を復号することを含む、請求項1に記載の方法。
  3. 前記ビットストリーム中の第4のパケットタイプの第4のパケットを受信することであって、前記第4のパケットがシンタックスエレメントの第4のセットを備え、前記第4のパケットが復号順序において前記第2のパケットに先行する、第4のパケットタイプの第4のパケットを受信することをさらに含み、前記ビットストリーム中のシンタックスエレメントのセットから機能情報を復号することが、前記第4のパケット中のシンタックスエレメントの前記第4のセットから前記機能情報を復号することを含む、請求項1に記載の方法。
  4. 前記第4のパケットが前記第1のパケット中に含まれている、請求項3に記載の方法。
  5. 前記第1のパケットタイプ、前記第2のパケットタイプ、および前記第4のパケットタイプのうちの少なくとも1つが、SEIメッセージを備える、請求項1から4のいずれか一項に記載の方法。
  6. 前記第1のパケットが、前記第2のパケットと同じタイプおよびサブタイプのものである、請求項1から5のいずれか一項に記載の方法。
  7. 前記第1のパケットが前記第2のパケットと同じタイプのものであり、前記第1のパケットが前記第2のパケットとは異なるサブタイプのものである、請求項1から5のいずれか一項に記載の方法。
  8. 前記セグメントが、ピクチャ、サブピクチャ、スライス、タイル、およびコーディングツリーユニット(CTU)のうちの1つまたは複数を備える、請求項1から7のいずれか一項に記載の方法。
  9. シンタックスエレメントの前記第1のセットからインジケータ値を復号することであって、前記インジケータ値が、前記識別子値とシンタックスエレメントの前記第2のセットの両方が前記ビットストリーム中に存在するかどうかを示す、インジケータ値を復号することをさらに含む、請求項1から8のいずれか一項に記載の方法。
  10. 前記セグメントが前記第2のパケットに関連付けられていると決定することは、
    (i)前記セグメントが、前記第2のパケットと同じアクセスユニット(AU)またはピクチャユニット(PU)中にあると決定することと、
    (ii)前記第3のパケットが、前記ビットストリーム中の前記第2のパケットの直後にくると決定することと、
    (iii)前記第2のパケットが、前記第2のパケットタイプの最も近い先行するパケットであると決定することであって、前記第2のパケットタイプの前記最も近い先行するパケットが、復号順序において前記第3のパケットに先行する第2のパケットタイプを有するパケットであり、前記最も近い先行するパケットの後にきて、復号順序において前記第3のパケットに先行する前記第2のパケットタイプを有する他のパケットがない、ことと、
    (iv)前記第2のパケットが、前記第2のパケットが前記セグメントに関連付けられているかまたは前記第3のパケットに関連付けられていることを指定する、持続性フラグを備えると決定することと、
    (v)前記ビットストリーム中の1つまたは複数のシンタックスエレメントから、前記セグメントの識別子を表すセグメント識別子値を復号し、前記第2のパケット中の1つまたは複数のシンタックスエレメントから参照セグメントID値を復号し、前記セグメント識別子値が前記参照セグメントID値に対応すると決定することと
    のうちの1つまたは複数を含む、請求項1から9のいずれか一項に記載の方法。
  11. シンタックスエレメントの前記第1のセットからインジケータ値を復号することであって、前記インジケータ値が、前記第1のパケットが前記第2のパケットによって参照されることなしに前記機能情報が前記セグメントに適用され得るかどうかを示す、インジケータ値を復号することをさらに含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記機能情報が、フィルム粒子パラメータ、クロマスケーリングを伴うルーママッピング(LMCS)パラメータ、マスタリングディスプレイカラーボリュームパラメータ、コンテンツ光レベルパラメータ、周囲ビューイング環境パラメータ、コンテンツカラーボリュームパラメータ、球体回転パラメータ、領域的パッキングパラメータ、全指向性ビューポートパラメータ、サンプルアスペクト比パラメータ、注釈付き領域パラメータ、スケーラビリティ次元パラメータ、マルチビュー獲得パラメータ、深度表現パラメータ、フィルタモデルタイプ、フィルタ強度、およびモデル説明のうちの1つまたは複数を備える、請求項1から11のいずれか一項に記載の方法。
  13. 前記機能情報が、フィルム粒子モデルを指定する情報を備え、前記方法は、
    シンタックスエレメントの前記第2のセット中の1つまたは複数のシンタックスエレメントからシード値を復号することと、
    前記フィルム粒子モデルをもつフィルム粒子を、前記第2のパケットに関連付けられている前記セグメントに適用するとき、前記シード値を使用することと
    をさらに含む、請求項1から12のいずれか一項に記載の方法。
  14. 前記第1のパケット中のシンタックスエレメントからSEIペイロードタイプ値を復号することであって、前記SEIペイロードタイプ値が前記第4のパケットの前記SEIペイロードタイプ値を示す、SEIペイロードタイプ値を復号することをさらに含む、請求項3から13のいずれか一項に記載の方法。
  15. シンタックスエレメントの前記第4のセットのうちの少なくとも1つのシンタックスエレメントが、シンタックスエレメントの前記セットのうちの1つまたは複数のシンタックスエレメントからの前記機能情報を上書きする、請求項3から14のいずれか一項に記載の方法。
  16. 前記識別子値が、前記第1のパケット中の延長部から復号される、請求項1から15のいずれか一項に記載の方法。
  17. ビットストリームにセグメントを符号化するための方法であって、前記方法は、
    第1のパケットタイプの第1のパケットについての識別子値を決定することであって、前記識別子値が前記第1のパケットの識別子を表し、前記第1のパケットが前記ビットストリーム中のシンタックスエレメントの第1のセットを備える、識別子値を決定することと、
    シンタックスエレメントの前記第1のセット中の1つまたは複数のシンタックスエレメントに前記識別子値を符号化することと、
    セグメントに適用されるべき機能を決定することであって、前記機能が機能情報によって指定される、機能を決定することと、
    前記ビットストリーム中のシンタックスエレメントのセットのうちの1つまたは複数のシンタックスエレメントに前記機能情報を符号化することと、
    シンタックスエレメントの第2のセット中の1つまたは複数のシンタックスエレメントに、前記識別子値に対応する参照ID値を符号化することであって、第2のパケットタイプの第2のパケットが、前記ビットストリーム中のシンタックスエレメントの前記第2のセットを備える、参照ID値を符号化することと、
    シンタックスエレメントの第3のセット中の1つまたは複数のシンタックスエレメントに前記セグメントを符号化することであって、第3のパケットタイプの第3のパケットが前記ビットストリーム中のシンタックスエレメントの前記第3のセットを備え、前記セグメントが前記第2のパケットに関連付けられている、前記セグメントを符号化することと
    を含む、方法。
  18. 前記ビットストリーム中のシンタックスエレメントのセットのうちの1つまたは複数のシンタックスエレメントに、前記機能情報を符号化することが、前記第1のパケット中のシンタックスエレメントの前記第1のセットに前記機能情報を符号化することを含む、請求項17に記載の方法。
  19. 前記ビットストリーム中の第4のパケットタイプの第4のパケットを符号化することであって、前記第4のパケットがシンタックスエレメントの第4のセットを備え、前記第4のパケットが復号順序において前記第2のパケットに先行する、第4のパケットタイプの第4のパケットを符号化することをさらに含み、前記ビットストリーム中のシンタックスエレメントのセットに機能情報を符号化することが、前記第4のパケット中のシンタックスエレメントの前記第4のセットに前記機能情報を符号化することを含む、請求項17に記載の方法。
  20. 前記セグメントが、ピクチャ、サブピクチャ、スライス、タイル、およびコーディングツリーユニット(CTU)のうちの1つまたは複数を備える、請求項17から19のいずれか一項に記載の方法。
  21. 前記セグメントは、以下のやり方、
    (i)前記セグメントが、前記第2のパケットと同じアクセスユニット(AU)またはピクチャユニット(PU)中にあることと、
    (ii)前記セグメントを備える前記第3のパケットが、前記ビットストリーム中の前記第2のパケットの直後にくることと、
    (iii)前記第2のパケットが、前記第2のパケットタイプの最も近い先行するパケットであることであって、前記第2のパケットタイプの前記最も近い先行するパケットが、復号順序において前記セグメントを備える前記第3のパケットに先行する第2のパケットタイプを有するパケットであり、前記最も近い先行するパケットの後にきて、復号順序において前記セグメントを備える前記第3のパケットに先行する前記第2のパケットタイプを有する他のパケットがない、ことと、
    (iv)前記第2のパケットが、前記第2のパケットが前記セグメントに関連付けられているかまたは前記セグメントを備える前記第3のパケットに関連付けられていることを指定する、持続性フラグを備えることと、
    (v)前記ビットストリーム中にセグメント識別子値を符号化し、前記第2のパケット中に参照セグメントID値を符号化することであって、前記セグメント識別子値が前記参照セグメントID値に対応する、符号化することと
    のうちの少なくとも1つにおいて、前記第2のパケットに関連付けられている、請求項17から20のいずれか一項に記載の方法。
  22. 前記機能情報が、フィルム粒子モデルを指定する情報を備え、前記方法が、シンタックスエレメントの前記第2のセット中の1つまたは複数のシンタックスエレメントにシード値を符号化することをさらに含む、請求項17から21のいずれか一項に記載の方法。
  23. 命令を備えるコンピュータプログラムであって、前記命令が、ノードの処理回路によって実行されたとき、前記ノードに、請求項1から16、および17から22のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
  24. 請求項23に記載のコンピュータプログラムを含んでいるキャリアであって、前記キャリアが、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの1つである、キャリア。
  25. デコーダであって、前記デコーダが、
    処理回路と、
    メモリと
    を備え、前記メモリが、前記処理回路によって実行可能な命令を含んでおり、それにより、前記デコーダが、請求項1から16のいずれか一項に記載の方法を実行するように設定された、デコーダ。
  26. エンコーダであって、前記エンコーダが、
    処理回路と、
    メモリと
    を備え、前記メモリが、前記処理回路によって実行可能な命令を含んでおり、それにより、前記エンコーダが、請求項17から22のいずれか一項に記載の方法を実行するように設定された、エンコーダ。
  27. ビットストリームからセグメントを復号するように設定されたデコーダであって、前記デコーダは、
    前記ビットストリーム中の第1のパケットタイプの第1のパケットを受信することであって、前記第1のパケットがシンタックスエレメントの第1のセットを備える、第1のパケットタイプの第1のパケットを受信することと、
    前記第1のパケットのシンタックスエレメントの前記第1のセット中の1つまたは複数のシンタックスエレメントから識別子値を復号することであって、前記識別子値が前記第1のパケットの識別子を表す、識別子値を復号することと、
    前記ビットストリーム中のシンタックスエレメントのセットから機能情報を復号することであって、前記機能情報が機能を指定する、機能情報を復号することと、
    前記ビットストリーム中の第2のパケットタイプの第2のパケットを受信することであって、前記第2のパケットがシンタックスエレメントの第2のセットを備える、第2のパケットタイプの第2のパケットを受信することと、
    前記第2のパケットのシンタックスエレメントの前記第2のセット中の1つまたは複数のシンタックスエレメントから参照ID値を復号することと、
    前記ビットストリーム中の第3のパケットタイプの第3のパケットを受信することであって、前記第3のパケットがシンタックスエレメントの第3のセットを備え、シンタックスエレメントの前記第3のセットが前記セグメントを符号化する、第3のパケットタイプの第3のパケットを受信することと、
    前記セグメントが前記第2のパケットに関連付けられていると決定することと、
    前記参照ID値が前記識別子値に対応すると決定することと、
    前記参照ID値が前記識別子値に対応すると決定したことに応答して、前記機能情報をシンタックスエレメントの前記第1のセットから選択することと、
    シンタックスエレメントの前記第3のセットから前記セグメントを復号することと、
    前記選択された機能情報に基づいて、前記機能を前記セグメントに適用することと
    を行うようにさらに設定された、デコーダ。
  28. 前記デコーダが、請求項2から16のいずれか一項に記載の方法を実行するようにさらに設定された、請求項27に記載のデコーダ。
  29. ビットストリームにセグメントを符号化するように設定されたエンコーダであって、前記エンコーダは、
    第1のパケットタイプの第1のパケットについての識別子値を決定することであって、前記識別子値が前記第1のパケットの識別子を表し、前記第1のパケットが前記ビットストリーム中のシンタックスエレメントの第1のセットを備える、識別子値を決定することと、
    シンタックスエレメントの前記第1のセット中の1つまたは複数のシンタックスエレメントに前記識別子値を符号化することと、
    セグメントに適用されるべき機能を決定することであって、前記機能が機能情報によって指定される、機能を決定することと、
    前記ビットストリーム中のシンタックスエレメントのセットのうちの1つまたは複数のシンタックスエレメントに前記機能情報を符号化することと、
    シンタックスエレメントの第2のセット中の1つまたは複数のシンタックスエレメントに、前記識別子値に対応する参照ID値を符号化することであって、第2のパケットタイプの第2のパケットが、前記ビットストリーム中のシンタックスエレメントの前記第2のセットを備える、参照ID値を符号化することと、
    シンタックスエレメントの第3のセット中の1つまたは複数のシンタックスエレメントに前記セグメントを符号化することであって、第3のパケットタイプの第3のパケットが前記ビットストリーム中のシンタックスエレメントの前記第3のセットを備え、前記セグメントが前記第2のパケットに関連付けられている、前記セグメントを符号化することと
    を行うようにさらに設定された、エンコーダ。
  30. 前記エンコーダが、請求項18から22のいずれか一項に記載の方法を実行するようにさらに設定された、請求項29に記載のエンコーダ。
JP2023562474A 2021-04-12 2022-04-11 メッセージ参照 Pending JP2024514323A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163173664P 2021-04-12 2021-04-12
US63/173,664 2021-04-12
PCT/SE2022/050359 WO2022220724A1 (en) 2021-04-12 2022-04-11 Message referencing

Publications (1)

Publication Number Publication Date
JP2024514323A true JP2024514323A (ja) 2024-04-01

Family

ID=83639861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023562474A Pending JP2024514323A (ja) 2021-04-12 2022-04-11 メッセージ参照

Country Status (9)

Country Link
EP (1) EP4324211A1 (ja)
JP (1) JP2024514323A (ja)
KR (1) KR20230161483A (ja)
CN (1) CN117178554A (ja)
AU (1) AU2022257959A1 (ja)
BR (1) BR112023015552A2 (ja)
CA (1) CA3215231A1 (ja)
CO (1) CO2023010537A2 (ja)
WO (1) WO2022220724A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554146B2 (en) * 2012-09-21 2017-01-24 Qualcomm Incorporated Indication and activation of parameter sets for video coding
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US9894370B2 (en) * 2014-03-24 2018-02-13 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10880565B2 (en) * 2014-03-24 2020-12-29 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
US10554981B2 (en) * 2016-05-10 2020-02-04 Qualcomm Incorporated Methods and systems for generating regional nesting messages for video pictures
US10701400B2 (en) * 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information

Also Published As

Publication number Publication date
CO2023010537A2 (es) 2023-08-28
WO2022220724A1 (en) 2022-10-20
AU2022257959A1 (en) 2023-09-14
EP4324211A1 (en) 2024-02-21
BR112023015552A2 (pt) 2023-11-14
CA3215231A1 (en) 2022-10-20
CN117178554A (zh) 2023-12-05
KR20230161483A (ko) 2023-11-27

Similar Documents

Publication Publication Date Title
US20220232239A1 (en) Error Avoidance in Sub-Bitstream Extraction
US20220217411A1 (en) Scalable Nesting For Suffix SEI Messages
US20220217359A1 (en) Sequence-level HRD Parameters
CN106063287B (zh) 用于解码视频数据的方法、装置和计算机可读存储媒体
CN114339244A (zh) 多层视频流的补充增强信息
JP6701100B2 (ja) マルチレイヤビデオコーデック内の回復点seiメッセージ
CN113892271A (zh) 用于在视频编码中发送信号通知假想参考解码器参数的系统和方法
US20230115242A1 (en) High level syntax for video coding and decoding
US20230345025A1 (en) Video Decoder Initialization Information Constraints
CN116830573A (zh) 交叉随机访问点信令增强
US20230108509A1 (en) High level syntax for video coding and decoding
EP4222977A1 (en) A method, an apparatus and a computer program product for video encoding/decoding
CN114788290A (zh) 用于在视频编码中发送信号通知画面定时和解码单元信息的系统和方法
JP2024514323A (ja) メッセージ参照
US11395006B2 (en) Network abstraction layer unit header
CN114760476B (zh) 视频解码器初始化信息信令
US12003777B2 (en) Video decoder initialization information signaling
US20230179802A1 (en) High level syntax for video coding and decoding
TW202310626A (zh) 獨立子圖像膠片顆粒
Wang avtcore S. Zhao Internet-Draft S. Wenger Intended status: Standards Track Tencent Expires: July 23, 2021 Y. Sanchez Fraunhofer HHI
Wang avtcore S. Zhao Internet-Draft S. Wenger Intended status: Standards Track Tencent Expires: June 11, 2021 Y. Sanchez Fraunhofer HHI
Wang avtcore S. Zhao Internet-Draft S. Wenger Intended status: Standards Track Tencent Expires: May 6, 2021 Y. Sanchez Fraunhofer HHI
CN116711314A (zh) 视频编解码中的跨随机接入点信令通知

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240130