JP2023522224A - 参照ピクチャリスト上の制約 - Google Patents

参照ピクチャリスト上の制約 Download PDF

Info

Publication number
JP2023522224A
JP2023522224A JP2022563090A JP2022563090A JP2023522224A JP 2023522224 A JP2023522224 A JP 2023522224A JP 2022563090 A JP2022563090 A JP 2022563090A JP 2022563090 A JP2022563090 A JP 2022563090A JP 2023522224 A JP2023522224 A JP 2023522224A
Authority
JP
Japan
Prior art keywords
picture
sub
video
current
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022563090A
Other languages
English (en)
Other versions
JP7529795B2 (ja
Inventor
イェクイ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Publication of JP2023522224A publication Critical patent/JP2023522224A/ja
Application granted granted Critical
Publication of JP7529795B2 publication Critical patent/JP7529795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【要約】映像を処理するための方法および装置が記載される。前記処理は、映像符号化、復号、またはコード変換を含み得る。一例の映像処理方法は、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、サブピクチャがイントラランダムアクセスポイントサブピクチャの先頭サブピクチャでないことに呼応して、このサブピクチャがランダムアクセスタイプのサブピクチャにはなり得ないことを規定するフォーマット規則に準拠し、この先頭サブピクチャは出力順でイントラランダムアクセスポイントサブピクチャに先行する。【選択図】図7

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020年4月20日出願の米国特許仮出願第63/012713号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
この特許明細書は、画像および映像コーディングおよび復号に関する。
デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
本願は、様々な構文規則を使用して映像のコーディング表現を処理するために、映像エンコーダおよびデコーダによって使用され得る技術を開示する。
1つの例示的な態様において、映像復号方法が開示される。この方法は、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、サブピクチャがイントラランダムアクセスポイントサブピクチャの先頭サブピクチャでないことに呼応して、このサブピクチャがランダムアクセスタイプのサブピクチャにはなり得ないことを規定するフォーマット規則に準拠し、この先頭サブピクチャは出力順でイントラランダムアクセスポイントサブピクチャに先行する。
別の例示的な態様において、映像処理方法が開示される。この方法は、複数のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームはフォーマット規則に準拠し、このフォーマット規則は、第1のサブピクチャと第2のピクチャが同じネットワーク抽象化レイヤ(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有し、かつ第1のサブピクチャが第2のサブピクチャに復号順で先行することに呼応して、リカバリポイントピクチャにおいて第1のサブピクチャが第2のサブピクチャに先行することを規定する。
別の例示的な態様において、映像処理方法が開示される。この方法は、現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームはフォーマット規則に準拠し、このフォーマット規則はピクチャがこのビットストリーム内で示される順序を規定し、このフォーマット規則は、現在のスライスの参照ピクチャリストのエントリが、現在のピクチャに第2の順序に従って先行する第2のピクチャに第1の順序に従って先行する第1のピクチャを含むことを禁止し、この第2のピクチャは、現在のサブピクチャと同じネットワーク抽象化ユニット(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有するイントラランダムアクセスポイントサブピクチャを含み、現在のサブピクチャはクリーンランダムアクセスサブピクチャである。
別の例示的な態様において、映像処理方法が開示される。この方法は、現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームはフォーマット規則に準拠し、このフォーマット規則は、ピクチャがこのビットストリームにおいて示される順序を規定し、このフォーマット規則は、現在のスライスの参照ピクチャリストのアクティブエントリが、第1の順序に従って第2のピクチャに先行する第1のピクチャを含むことを禁止し、この第2のピクチャが、現在のサブピクチャものと同じネットワーク抽象化ユニット(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有するイントラランダムアクセスポイントサブピクチャを含み、現在のサブピクチャは第2の順序でイントラランダムアクセスポイントサブピクチャに後続する。
別の例示的な態様において、映像処理方法が開示される。この方法は、現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームはフォーマット規則に準拠し、このフォーマット規則はピクチャがこのビットストリームにおいて示される順序を規定し、このフォーマット規則は、現在のスライスの参照ピクチャリストのエントリが、第1の順序または第2の順序に従って第2のピクチャに先行する第1のピクチャを含むことを禁止し、第2のピクチャは0以上の関連する先頭サブピクチャを有し、かつ現在のサブピクチャものと同じネットワーク抽象化ユニット(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有するイントラランダムアクセスポイントサブピクチャを含み、現在のサブピクチャが第1の順序および第2の順序においてイントラランダムアクセスポイントサブピクチャおよび0以上の関連する先頭サブピクチャに後続する。
別の例示的な態様において、映像処理方法が開示される。この方法は、現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、現在のサブピクチャが、ランダムアクセス復号可能先頭サブピクチャであることに呼応して、現在のスライスの参照ピクチャリストのアクティブエントリが現在のサブピクチャのものと同じサブピクチャインデックスを有するランダムアクセススキップ先頭サブピクチャを含む第1のピクチャ、およびランダムアクセス復号可能先頭サブピクチャに関連するイントラランダムアクセスポイントサブピクチャを含む第3のピクチャに復号順で先行する第2のピクチャのいずれか1つ以上を含むことを禁止されることを規定するフォーマット規則に準拠する。
別の例示的な態様において、映像処理方法が開示される。この方法は、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のコーディング表現と、の変換を行うことを含む。このコーディング表現は、ネットワーク抽象レイヤ(NAL)ユニットに従って、1つ以上のサブピクチャを含む1つ以上のピクチャがコーディング表現に含まれることを規定するフォーマット規則に準拠し、コーディング表現において示されるタイプNALユニットは、特定タイプのピクチャのコーディングされたスライス、または特定タイプのサブピクチャのコーディングされたスライス、を含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のコーディング表現と、の変換を行うことを含み、このコーディング表現は、異なるネットワーク抽象レイヤユニットタイプを有する2つの隣接するサブピクチャが、ピクチャフラグとして扱われているサブピクチャの同一の表示を有することを規定するフォーマット規則に準拠する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、映像のコーディング表現と、の変換を行うことを含み、このコーディング表現は、サブピクチャの第1のタイプの順序およびサブピクチャの第2のタイプの順序を定義するフォーマット規則に準拠し、第1のサブピクチャは、後端サブピクチャまたは先頭サブピクチャまたはランダムアクセススキップ先頭(RASL)サブピクチャのタイプであり、第2のサブピクチャは、RASLタイプまたはランダムアクセス復号可能な先頭(RADL)タイプ、または瞬時復号更新(IDR)タイプまたは漸次的復号更新(GDR)タイプのサブピクチャである。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のコーディング表現と、の変換を行うことを含み、このコーディング表現は、第1のタイプのサブピクチャが第2のタイプのサブピクチャとともに生じることを許可または許可しないことを条件と定義するフォーマット規則に準拠する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のサブピクチャを含む1つ以上の映像ピクチャを含む映像と、この映像のコーディング表現との間で変換を行うことを含み、このコーディング表現は、規則に従った順序で映像ピクチャの1つ以上のレイヤを含む。
さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成された処理装置を備える。
さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成された処理装置を備える。
さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の1つを処理装置が実行可能なコードの形式で実施する。
これらのおよび他の特徴は、本明細書全体にわたって説明される。
ピクチャのラスタスキャンスライス分割の例を示し、ピクチャは、12個のタイルと3個のラスタスキャンスライスとに分割される。 ピクチャを矩形スライス区分の例を示し、ピクチャは、24個のタイル(6個のタイル列および4個のタイル行)と9個の矩形スライスとに分割される。 タイルおよび矩形のスライスに分割されたピクチャの例を示し、ピクチャは、4つのタイル(2つのタイルの列および2つのタイルの行)と4つの矩形スライスとに分割される。 15個のタイル、24個のスライス、および24個のサブピクチャに分割されたピクチャを示す図である。 映像処理システム例を示すブロック図である。 映像処理装置のブロック図である。 映像処理方法の一例を示すフローチャートである。 本開示のいくつかの実施形態による映像コーディングシステムを示すブロック図である。 本発明のいくつかの実施形態によるエンコーダを示すブロック図である。 本発明のいくつかの実施形態によるデコーダを示すブロック図である。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。
Figure 2023522224000002
1. 導入
本明細書は、映像コーディング技術に関する。具体的には、単層および多層の両方のコンテキストにおける、サブピクチャのタイプの定義と、異なるタイプのサブピクチャ間の復号順、出力順および予測関係の関係性についてである。その鍵は、復号順、出力順、および予測関係における制約のセットによって、ピクチャ内の混合サブピクチャタイプの意味を明確に規定することである。この考えは、個々にまたは様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているVVC(Versatile Video Coding)をサポートする任意の映像コーディング標準または非標準映像コーデックに適用されてもよい。
2. 略語
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
AUD Access Unit Delimiter(アクセスユニット区切り文字)
AVC Advanced Video Coding(高度映像コーディング)
CLVS Coded Layer Video Sequence(コーディングされたレイヤ映像シーケンス)
CPB Coded Picture Buffer(コーディングされたピクチャバッファ)
CRA Clean Random Access(クリーンランダムアクセス)
CTU Coding Tree Unit(コーディングツリーユニット)
CVS Coded Video Sequence(コーディングされた映像シーケンス)
DCI Decoding Capability Information(復号能力情報)
DPB Decoded Picture Buffer(復号ピクチャバッファ)
EOB End Of Bitstream(ビットストリーム終端)
EOS End Of Sequence(シーケンス終端)
GDR Gradual Decoding Refresh(漸次的復号更新)
HEVC High Efficiency Video Coding(高効率映像コーディング)
HRD Hypothetical Reference Decoder(仮想参照デコーダ)
IDR Instantaneous Decoding Refresh(瞬時復号更新)
JEM Joint Exploration Model(共同探索モデル)
MCTS Motion-Constrained Tile Sets(動き制約タイルセット)
NAL Network Abstraction Layer(ネットワーク抽象化レイヤ)
OLS Output Layer Set(出力レイヤセット)
PH Picture Header(ピクチャヘッダ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PTL Profile,Tier and Level(プロファイル、層およびレベル)
PU Picture Unit(ピクチャユニット)
RADL Random Access Decodable Leading(ランダムアクセス復号可能リード)(ピクチャ)
RAP Random Access Point(ランダムアクセスポイント)
RASL Random Access Skipped Leading(ランダムアクセススキップリード)(ピクチャ)
RBSP Raw Byte Sequence Payload(生バイトシーケンスペイロード)
RPL Reference Picture List(参照ピクチャリスト)
SEI Supplemental Enhancement Information(補足強化情報)
SPS Sequence Parameter Set(シーケンスパラメータセット)
STSA Step-wise Temporal Sublayer Access(段階的時間的サブレイヤアクセス)
SVC Scalable Video Coding(スケーラブル映像コーディング)
VCL Video Coding Layer(映像コーディングレイヤ)
VPS Video Parameter Set(映像パラメータセット)
VTM VVC Test Model(VVC試験モデル)
VUI Video Usability Information(映像ユーザビリティ情報)
VVC Versatile Video Coding(汎用映像コーディング)
3. 初期の協議
映像コーディングする規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
3.1 HEVCにおけるピクチャ分割スキーム
HEVCには、正規のスライス、依存性のあるスライス、タイル、WPP(Wavefront Parallel Processing)という4つの異なる画像分割スキームがあり、これらを適用することで、最大転送ユニット(MTU)サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。
正規のスライスは、H.264/AVCと同様である。各正規のスライスは、それ自体のNALユニットにカプセル化され、スライス境界にわたるインピクチャ予測(イントラサンプル予測、動き情報予測、コーディングモード予測)およびエントロピーコーディング依存性は無効化される。このように、1つの正規のライスを、同じピクチャ内の他の正規のスライスとは独立して再構成することができる(しかし、ループフィルタリング動作のために依然として相互依存性がある場合がある)。
正規のスライスは、並列化に使用できる唯一のツールであり、H.264/AVCでもほぼ同じ形式で使用できる。正規のスライスに基づく並列化は、プロセッサ間通信またはコア間通信をあまり必要としない(予測コーディングされたピクチャを復号するとき、動き補償のためのプロセッサ間またはコア間データ共有を除いて、通常、インピクチャ予測のためにプロセッサ間またはコア間データ共有よりもはるかに重い)。しかしながら、同じ理由で、正規のスライスを使用すると、スライスヘッダのビットコストおよびスライス境界にわたる予測が欠如していることに起因して、コーディングのオーバーヘッドが大きくなる可能性がある。さらに、レギュラースライスは(後述の他のツールとは対照的に)、レギュラースライスのインピクチャの独立性および各レギュラースライスがそれ自体のNALユニットにカプセル化されることに起因して、MTUサイズ要件に適応するようにビットストリームを分割するための鍵となるメカニズムとしても機能する。多くの場合、並列化の目標およびMTUサイズマッチングの目標は、画像におけるスライスレイアウトに矛盾する要求を課す。このような状況を実現したことにより、以下のような並列化ツールが開発された。
従属スライスは、ショートスライスヘッダを有し、ピクチャ内予測を一切中断することなく、ツリーブロック境界でビットストリームを区分することを可能にする。基本的に、従属スライスは、正規のスライスを複数のNALユニットに断片化し、正規のスライス全体の符号化が完了する前に正規のスライスの一部を送出することを可能にすることによって、エンドツーエンド遅延を低減する。
WPPにおいて、ピクチャは、単一行のコーディングするツリーブロック(CTB)に分割される。エントロピー復号および予測は、他の分割におけるCTBからのデータを使用することを許可される。CTB行の並列復号によって並列処理が可能であり、1つのCTB行の復号の開始が2つのCTBだけ遅延され、それによって、対象のCTBが復号される前に、対象のCTBの上および右のCTBに関するデータが確実に利用可能になる。この互い違いのスタート(グラフで表される場合、波面のように見える)を使用することで、ピクチャがCTB行を含む数までのプロセッサ/コアを用いて並列化することが可能である。1つのインピクチャの近傍のツリーブロック行間のインピクチャ予測が許可されるので、インピクチャ予測を可能にするために必要なプロセッサ間/コア間通信は十分となり得る。WPP分割は、適用されない場合と比較して、追加のNALユニットの生成をもたらさず、従って、WPPは、MTUサイズマッチングのためのツールではない。しかし、MTUサイズのマッチングが必要な場合、一定のコーディングするオーバーヘッドを伴って、WPPで正規のスライスを使用することができる。
タイルは、ピクチャをタイルの列および行に分割する水平および垂直境界を規定する。タイルの列は、ピクチャの上から下へと延びている。同様に、タイル行は、ピクチャの左から右に延びる。ピクチャにおけるタイルの数は、単にタイル列の数にタイル行の数を乗算することで得ることができる。
CTBのスキャン順序は、タイル内でローカルになるように(タイルのCTBラスタスキャンの順に)変更され、その後、ピクチャのタイルラスタスキャンの順で、次のタイルの左上のCTBを復号する。正規のスライスと同様に、タイルは、インピクチャ予測依存性およびエントロピー復号依存性を損なう。しかしながら、これらは、個々のNALユニット(この点でWPPと同じ)に含まれる必要がなく、従って、タイルは、MTUサイズマッチングに使用できない。各タイルは、1つのプロセッサ/コアによって処理されてもよく、処理ユニット間のインピクチャ予測に必要なプロセッサ間/コア間通信では、近傍タイルの復号は、スライスが2つ以上のタイルにまたがっている場合、共有スライスヘッダの伝達と、再構築されたサンプルおよびメタデータのループフィルタリングに関連する共有とに限定される。1つのスライスに2つ以上のタイルまたはWPPセグメントが含まれる場合、該スライスにおける第1のもの以外の各タイルまたはWPPセグメントのエントリポイントバイトオフセットが、スライスヘッダにおいて信号通知される。
説明を簡単にするために、HEVCにおいては、4つの異なるピクチャ分割方式の適用に関する制限が規定されている。所与のコーディングされた映像シーケンスは、HEVCに指定されたプロファイルのほとんどについて、タイルおよび波面の両方を含むことができない。各スライスおよびタイルについて、以下の条件のいずれかまたは両方を満たさなければならない。1)1つのスライスにおけるすべてのコーディングされたツリーブロックは、同じタイルに属し、2)1つのタイルにおけるすべてのコーディングされたツリーブロックは、同じスライスに属する。最後に、1つの波面(wavefront)セグメントはちょうど1つのCTB行を含み、WPPが使用されている際に、1つのスライスが1つのCTB行内で始まる場合、同じCTB行で終わらなければならない。
最近のHEVCの修正は、JCT-VCの出力文書であるJCTVC-AC1005、J.ボイス、A.ラマスブラモニアン、R.スクピン、G.J.スリ版、A.トゥラピス、Y.-K.ワング(editors),「HEVC追加の捕捉強化情報(Draft4),」Oct.24,2017,で規定され、下記で入手可能である:http://phenix.int-evry.fr/jct/doc_end_user/documents/29_Macau/wg11/JCTVC-AC1005-v2.zipこの修正を含め、HEVCは、3つのMCTS関連SEIメッセージ、即ち、時間的MCTS SEIメッセージ、MCTS抽出情報セットSEIメッセージ、およびMCTS抽出情報ネスティングSEIメッセージを特定する。
時間的MCTS SEIメッセージは、ビットストリーム中にMCTSが存在することを示し、MCTSに信号送信する。各MCTSにおいて、動きベクトルは、MCTS内部のフルサンプル位置と、補間のためにMCTS内部のフルサンプル位置のみを必要とするフラクショナルサンプル位置とを指すように制限され、かつ、MCTS外部のブロックから導出された時間動きベクトル予測のための動きベクトル候補の使用は許可されない。このように、各MCTSは、MCTSに含まれていないタイルが存在せず、独立して復号されてもよい。
MCTS抽出情報セットSEIメッセージは、MCTSサブビットストリーム抽出(SEIメッセージの意味の一部として指定される)において使用され得る補足情報を提供し、MCTSセットのための適合ビットストリームを生成する。この情報は、複数の抽出情報セットを含み、各抽出情報セットは、複数のMCTSセットを定義し、MCTSサブビットストリーム抽出処理において使用される代替VPS、SPS、およびPPSのRBSPバイトを含む。MCTSサブビットストリーム抽出プロセスによってサブビットストリームを抽出する場合、パラメータセット(VPS,SPS,PPS)を書き換えるかまたは置き換える必要があり、スライスヘッダを若干更新する必要があり、その理由は、スライスアドレスに関連する構文要素の1つまたは全て(first_slice_segment_in_pic_flagおよびslice_segment_addressを含む)が異なる値となる必要があるためである。
3.2. VVCにおけるピクチャの分割
VVCにおいて、1つのピクチャは、1または複数のタイル行および1または複数のタイル列に分割される。1つのタイルは、1つのピクチャの1つの矩形領域を覆う1つのCTUのシーケンスである。1つのタイルにおけるCTUは、そのタイル内でラスタスキャン順にスキャンされる。
1つのスライスは、1つのピクチャのタイル内において、整数個の完全なタイルまたは整数個の連続した完全なCTU行を含む。
スライスの2つのモード、即ちラスタスキャンスライスモードおよび矩形スライスモードに対応している。ラスタスキャンスライスモードにおいて、1つのスライスは、1つのピクチャのタイルラスタスキャンにおける1つの完全なタイルのシーケンスを含む。矩形スライスモードにおいて、1つのスライスは、ピクチャの矩形領域を集合的に形成する複数の完全なタイル、またはピクチャの矩形領域を集合的に形成する1つのタイルの複数の連続した完全なCTU行のいずれかを含む。矩形スライス内のタイルを、そのスライスに対応する矩形領域内で、タイルラスタスキャンの順にスキャンする。
1つのサブピクチャは、1つのピクチャの矩形領域を集合的に覆う1または複数のスライスを含む。
図1は、ピクチャのラスタスキャンスライス分割の例を示し、ピクチャは、12個のタイルと3個のラスタスキャンスライスとに分割される。
図2は、ピクチャを矩形スライス区分の例を示し、ピクチャは、24個のタイル(6個のタイル列および4個のタイル行)と9個の矩形スライスとに分割される。
図3は、タイルおよび矩形のスライスに分割されたピクチャの例を示し、ピクチャは、4つのタイル(2つのタイルの列および2つのタイルの行)と4つの矩形スライスとに分割される。
図4は、1つのピクチャをサブピクチャで分割する例を示し、1つのピクチャは、18個のタイルに分割され、左側の12個が、4×4のCTUの1つのスライスをそれぞれ含み、右側の6個のタイルが、2×2のCTUの垂直方向に積み重ねられたスライスをそれぞれ含み、全体で24個のスライスおよび24個の異なる寸法のサブピクチャとなる(各スライスは、1つのサブピクチャ)。
3.3 シーケンス内のピクチャ解像度の変更
AVCおよびHEVCにおいて、ピクチャの空間的解像度は、新しいSPSを使用する新しいシーケンスがIRAPピクチャで始まらない限り、変更することができない。VVCは、常にイントラ符号化されるIRAPピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャが復号されている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、参照ピクチャリサンプリング(RPR)と称する。
スケーリング比は、1/2(参照ピクチャから現在のピクチャへのダウンサンプリングの2倍)以上8(8倍のアップサンプリング)以下に制限される。参照ピクチャと現在のピクチャとの間の様々なスケーリング比に対処するために、周波数カットオフが異なる3つの再サンプリングフィルタセットを規定する。3つの組の再サンプリングフィルタは、それぞれ、1/2~1/1.75、1/1.75~1/1.25、および1/1.25~8の範囲のスケーリング比に適用される。各組の再サンプリングフィルタは、動き補償補間フィルタの場合と同様に、輝度に対して16個のフェーズを有し、彩度に対して32個のフェーズを有する。実際には、通常のMC補間処理は、1/1.25~8の範囲のスケーリング比を有する再サンプリング処理の特殊な場合である。水平および垂直スケーリング比は、ピクチャの幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して指定された左、右、上および下のスケーリングオフセットに基づいて導出される。
HEVCとは異なる、この特徴をサポートするためのVVC設計の他の態様は、i)SPSの代わりにPPSにおいてピクチャ解像度および対応する適合性ウィンドウを信号通知すること、SPSにおいて最大ピクチャ解像度を信号通知すること、ii)単レイヤビットストリームの場合、各ピクチャ記憶装置(1つの復号ピクチャを記憶するためのDPBにおける1つのスロット)は、最大ピクチャ解像度を有する復号ピクチャを記憶するために必要なバッファサイズを占めることを含む。
3.4 全般およびVVCにおけるスケーラブル映像コーディング(SVC)
スケーラブル映像コーディング(SVC、時には、映像コーディングにおけるスケーラビリティとも呼ばれる)は、ベースレイヤ(BL)(時には、参照レイヤ(RL)と呼ばれる)映像コーディングを呼ばれることもあり、1つ以上のスケーラブルエンハンスメントレイヤ(EL)が使用される。SVCにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。1つ以上のエンハンスメントレイヤは、例えば、より高い空間的、時間的、および/または信号対雑音(SNR)レベルをサポートするように、追加の映像データを担持することができる。エンハンスメントレイヤは、前の、符号化されたレイヤに対して定義されてもよい。例えば、下層がBLとして機能し、上層がELとして機能することができる。中間レイヤは、ELまたはRLのいずれか、またはその両方として機能することができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する増強レイヤのためのELであってもよく、同時に、中間レイヤの上の1つ以上の増強レイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して別のビューの情報をコーディング(例えば、コーディングまたは復号)することができる(例えば、動き推定、動きベクトル予測および/または他の冗長性)。
SVCにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用することができるコーディングレベル(例えば、映像レベル、シーケンスレベル、ピクチャレベル、スライスレベル等)に基づいてパラメータセットにグループ分けされる。例えば、ビットストリームにおける異なるレイヤのコーディング映像シーケンスによって利用できるパラメータは、映像パラメータセット(VPS)に含まれてもよく、コーディング映像シーケンスにおける1つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット(SPS)に含まれてもよい。同様に、1つのピクチャの1つ以上のスライスで利用されるパラメータは、ピクチャパラメータセット(PPS)に含まれてもよく、1つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、特定のレイヤが所与の時間にどのパラメータセット(複数可)を使用しているかの指示は、様々なコーディングレベルで提供されてもよい。
VVCにおける参照ピクチャリサンプリング(RPR)のサポートにより、空間的スケーラビリティサポートに必要なアップサンプリングはRPRアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベルのコーディングツールを必要とせずに、複数のレイヤ、例えば、VVCにおけるSDおよびHD解像度の2つのレイヤを含むビットストリームをサポートするように設計することができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文変更(スケーラビリティをサポートしない場合と比較して)が必要である。スケーラビリティサポートは、VVCバージョン1に規定されている。AVCおよびHEVCの拡張を含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり、VVCのスケーラビリティの設計は、単層デコーダの設計にできるだけ適したものにされてきた。多層ビットストリームの復号能力は、ビットストリームに1つのレイヤしかなかったかの如く規定される。例えば、DPBサイズのような復号能力は、復号されるビットストリームのレイヤの数に依存しないようで規定される。基本的に、単層ビットストリームのために設計されたデコーダは、多層ビットストリームを復号することができるようにするために、多くの変更を必要としない。AVCおよびHEVCの多層拡張の設計と比較して、HLSの態様は、ある程度の柔軟性を犠牲にして大幅に簡略化されてきた。例えば、IRAP AUは、CVSに存在する各レイヤの画像を含むことが必要である。
3.5 HEVCおよびVVCにおけるランダムアクセスとそのサポート
ランダムアクセスとは、復号順でビットストリームの最初のピクチャでないピクチャからビットストリームのアクセスと復号を開始することを指す。ブロードキャスト/マルチキャストおよび複数人数による映像会議におけるチューニングおよびチャネル切り替え、ローカル再生およびストリーミングにおける探索、並びにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含むことが必要であり、一般的に、イントラコーディングされたピクチャであるが、インターコーディングピクチャであってもよい(例えば、漸次的復号更新の場合)。
HEVCは、NALユニットタイプによって、NALユニットのヘッダ内のランダムアクセスポイント内(IRAP)ピクチャを信号通知することを含む。3つのタイプのIRAPピクチャ、即ち、瞬時復号更新(IDR)、クリーンランダムアクセス(CRA)、およびブロークン・リンク・アクセス(BLA)ピクチャがサポートされる。IDRピクチャは、インターピクチャ予測構造が現在のピクチャグループ(GOP)の前のどのピクチャも参照しないようにするよう、制約しており、従来、クローズドGOPランダムアクセスポイントと呼ばれている。CRAピクチャは、あるピクチャが現在のGOPの前にピクチャを参照することを許可することによって、制限が緩和され、ランダムアクセスの場合、これらはすべて破棄される。CRAピクチャは、従来、オープンGOPランダムアクセスポイントと呼ばれている。BLAピクチャは、通常、例えばストリーム切り替え時に、CRAピクチャにおいて2つのビットストリームまたはその一部をスプライシングすることで生成される。IRAPピクチャのより優れたシステム使用を可能にするために、全部で6つの異なるNALユニットがIRAPピクチャのプロパティを信号通知するように定義され、これらのユニットは、HTTP(DASH)上で動的適応ストリーミングでのランダムアクセスサポートのために使用される、ISOベースのメディアファイルフォーマット(ISOBMFF)に定義されるようなストリームアクセスポイントのタイプにより適したものにするために使用できる。
VVCは、3つのタイプのIRAPピクチャ、2つのタイプのIDRピクチャ(関連付けられたRADLピクチャを有する1つのタイプおよび関連付けられたRADLピクチャを有しない他のタイプ)およびCRAピクチャの1つのタイプをサポートする。これらは基本的にHEVCと同じである。HEVCにおけるBLAピクチャのタイプは、主に2つの理由により、VVCに含まれていない。
i)BLAピクチャの基本機能性は、CRAピクチャにシーケンスNALユニットの終端を加えることで実現でき、このシーケンスNALユニットの終端が存在することは、後続のピクチャが単層ビットストリームにおいて新しいCVSを開始することを示す。
ii)VVCの開発において、NALユニットヘッダのNALユニットタイプフィールドに6ビットの代わりに5ビットを用いることによって示されるように、HEVCよりも少ないNALユニットタイプを規定することが望ましかった。
VVCとHEVCとの間のランダムアクセスサポートにおける別の重要な相違は、VVCにおいてより規範的な方法でGDRをサポートすることである。GDRにおいて、ビットストリームの復号は、インターコーディングされたピクチャから開始することができ、始めは、ピクチャ領域全体を正しく復号することができないが、複数のピクチャの後に、ピクチャ領域全体を正しくに復号することができるようになる。AVCおよびHEVCはまた、GDRランダムアクセスポイントおよびリカバリポイントの信号通知のためのリカバリポイントSEIメッセージを使用して、GDRをサポートする。VVCにおいて、GDRピクチャを示すために新しいNALユニットタイプが指定され、ピクチャヘッダ構文構造においてリカバリポイントが通知される。CVSおよびビットストリームは、GDRピクチャで開始することができる。これは、1つのビットストリーム全体が、1つのイントラコーディングされたピクチャなしにインターコーディングされたピクチャのみを含むことができることを意味する。GDRサポートをこのように規定する主な利点は、GDRに適合した動作を提供することである。GDRは、エンコーダが、ピクチャ全体をイントラコーディングするのではなく、複数のピクチャにイントラコーディングされたスライスまたはブロックを分布させることによって、ビットストリームのビットレートを平滑化することを可能にし、これにより、無線表示、オンラインゲーム、無人機に基づくアプリケーションのような超低遅延アプリケーションがより一般的になっているため、今日の方が以前より重要視されているエンドツーエンドの遅延の大幅な低減を可能にする。
VVCにおける別のGDRに関連する特徴は、仮想境界信号通知である。GDRピクチャとそのリカバリポイントとの間のピクチャにおける、更新された領域(すなわち、正しく復号された領域)と未更新の領域との間の境界は、仮想境界として信号通知されてもよく、信号通知された場合、境界をまたがるインループフィルタリングが適用されなくなり、したがって、境界付近のいくつかのサンプルの復号の不整合が発生しなくなる。これは、アプリケーションがGDR処理中に正しく復号された領域を表示することを決定した場合に有用となりうる。
IRAPピクチャおよびGDRピクチャを集合的に、ランダムアクセスポイント(RAP)ピクチャと呼ぶことができる。
3.6. 参照ピクチャ管理および参照ピクチャリスト(RPL)
参照ピクチャ管理は、インター予測を使用する任意の映像コーディング方式に必要なコア機能である。それは、復号ピクチャバッファ(DPB)への参照ピクチャの記憶および復号ピクチャバッファ(DPB)からの参照ピクチャの除去を管理し、かつ参照ピクチャをRPL内の適切な順序に置く。
HEVCの参照ピクチャ管理は、参照ピクチャのマーキングおよび復号ピクチャバッファ(DPB)からの除去、並びに参照ピクチャリスト構築(RPLC)を含め、AVCのものとは異なる。AVCにおいて、HEVCは、スライディングウィンドウに適応メモリ管理制御動作(MMCO)を加えたものに基づく参照ピクチャマーキング機構の代わりに、いわゆる参照ピクチャセット(RPS)に基づく参照ピクチャ管理およびマーキング機構を規定し、その結果、RPLCは、RPS機構に基づく。RPSは、ピクチャに関連付けられた参照ピクチャのセットで構成され、復号順序において関連付けられたピクチャに先行する全ての参照ピクチャで構成され、復号順序において関連付けられたピクチャまたは関連付けられたピクチャの後に続く任意のピクチャのインター予測に使用してもよい。参照ピクチャセットは、参照ピクチャの5つのリストで構成される。第1の3つのリストは、現在のピクチャのインター予測において使用してもよい、かつ現在のピクチャに復号順において続く1つ以上のピクチャのインター予測において使用してもよい全ての参照ピクチャを含む。他の2つのリストは、現在のピクチャのインター予測において使用されないが、現在のピクチャに復号順において続く1つ以上のピクチャのインター予測において使用してもよい全ての参照ピクチャからなる。RPSは、主にエラー耐性を改善するために、AVCにおけるような「インターコーディングされた」信号通知の代わりに、DPBステータスの「イントラコーディングされた」信号通知を提供する。HEVCにおけるRPLC処理は、各参照インデックスのRPSサブセットにインデックスを信号通知することによって、RPSに基づいており、この処理は、AVCにおけるRPLC処理よりも簡単である。
VVCにおける参照ピクチャ管理は、AVCよりもHEVCに類似しているが、いくぶんシンプルで堅牢である。これらの標準におけるように、2つのRPL、list0およびlist1が導出されるが、これらは、HEVCで使用される参照ピクチャセットの概念またはAVCで使用される自動スライディングウィンドウ処理に基づくものではなく、より直接的に信号通知される。参照ピクチャは、RPLのためにアクティブエントリおよび非アクティブエントリのいずれかとしてリストされ、アクティブエントリのみが、現在のピクチャのCTUのインター予測における参照インデックスとして使用されてもよい。非アクティブエントリは、ビットストリームの後に到着する他のピクチャにより参照するために、DPBに保持されるべき他のピクチャを示す。
3.7. パラメータセット
AVC、HEVC、VVCはパラメータ集合を規定する。パラメータセットのタイプは、SPS、PPS、APS、VPS等である。SPS、PPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVC草案のテキストに含まれている。
SPSは、シーケンスレベルのヘッダ情報を搬送するように設計され、PPSは、頻繁に変化しないピクチャレベルのヘッダ情報を搬送するように設計された。SPSおよびPPSを用いると、シーケンスまたはピクチャごとに頻繁に変化する情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、SPSおよびPPSを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。
VPSは、マルチレイヤのビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を搬送するために導入された。
APSは、コーディングするためにかなりのビットを必要とし、複数のピクチャによって共有され得る、このようなピクチャレベルまたはスライスレベルの情報を搬送するために導入された。そして、シーケンスにおいて、非常に多くの異なる変形例が存在し得る。
3.8. VVCにおける関連定義
最近のVVCテキストJVET-Q2001-vE/v15)における関連する定義は、以下のとおりである。
(特定のピクチャの)関連付けられたIRAPピクチャ:復号順における前のIRAPピクチャ(存在する場合)は、特定のピクチャと同じ値nuh_layer_idを有する。
クリーンランダムアクセス(CRA)PU:コーティングされたピクチャがCRAピクチャであるPU。
クリーンランダムアクセス(CRA)ピクチャ:それぞれのVCL NALユニットのnal_unit_typeがCRA_NUTであるIRAPピクチャ。
コーディング映像シーケンス(CVS):復号順で、CVSS AUに続き、CVSS AUである後続のAUまで(ただし後続のAUは含まない)のすべてのAUを含む、CVSS AUでない0以上のAUから構成される、AUのシーケンス。
コーディング映像シーケンス開始(CVSS)AU:CVSの各レイヤにPUがあり、各PUのコーディングされたピクチャがCLVSSピクチャであるAU。
漸次的復号更新(GDR)AU:本PU各々のコーディングされたピクチャがGDRピクチャであるAU。
漸次的復号更新(GDR)PU:コーディングされたピクチャがGDRピクチャであるPU。
漸次的復号更新(GDR)ピクチャ:NALユニットのnal_unit_typeがGDR_NUTであるピクチャ。
瞬時復号更新(IDR)PU:コーディングされたピクチャがIDRピクチャであるPU。
瞬時復号更新(IDR)ピクチャ:それぞれのVCL NALユニットのnal_unit_typeがIDR_W_RADLまたはIDR_N_LPであるIRAPピクチャ。
イントラランダムアクセスポイント(IRAP)AU:CVSの各レイヤにPUが存在し、各PUのコーディングされたピクチャがIRAPピクチャであるAU。
イントラランダムアクセスポイント(IRAP)PU:コーディングされたピクチャがIRAPピクチャであるPU。
イントラランダムアクセスポイント(IRAP)ピクチャ:IDR_W_RADLからCRA_NUTの範囲内で、すべてのVCL NALユニットのnal_unit_typeが同じ値であるコーディングされたピクチャ。
先頭ピクチャ:関連付けられたIRAPピクチャと同じレイヤにあり、関連付けられたIRAPピクチャに出力順で先行するピクチャ。
出力順:復号ピクチャがDPBから出力される順番(DPBから出力される復号ピクチャの場合)。
ランダムアクセス復号可能先頭(RADL)PU:コーディングされたピクチャがRADLピクチャであるPU。
ランダムアクセス復号可能先頭(RADL)ピクチャ:それぞれのVCL NALユニットのnal_unit_typeがRADL_NUTであるピクチャ。
ランダムアクセススキップ先頭(RASL)PU:コーディングされたピクチャが、RASLピクチャであるPU。
ランダムアクセススキップ先頭(RASL)ピクチャ:それぞれのVCL NALユニットのnal_unit_typeがRASL_NUTであるピクチャ。
段階的時間的サブレイヤアクセス(STSA)PU:コーディングされたピクチャがSTSAピクチャであるPU。
段階的時間的サブレイヤアクセス(STSA)ピクチャ:それぞれのVCL NALユニットのnal_unit_typeがSTSA_NUTであるピクチャ。
注- STSAピクチャは、インター予測参照に対してSTSAピクチャと同じTemporalIdを有するピクチャを使用しないことに留意されたい。STSAピクチャと同じTemporalIdを有する復号順序でSTSAピクチャの後続のピクチャは、STSAピクチャと同じTemporalIdを有する復号順序でインター予測参照にはSTSAピクチャの前のピクチャを使用しない。STSAピクチャは、STSAピクチャにおいて、STSAピクチャを含むサブレイヤに対して、直下のサブレイヤからのアップスイッチを有効化する。STSAピクチャのTemporal Idは0より大きくなければならない。
サブピクチャ:ピクチャ内の1つ以上のスライスの矩形領域。
後端ピクチャ:出力順の関連付けられたIRAPピクチャに続くnon-IRAPピクチャで、STSAピクチャではない。
注- IRAPピクチャに関連付けられた後端ピクチャも、IRAPピクチャの復号順に従うことに留意されたい。関連付けられたIRAPピクチャの出力順に続き、関連付けられたIRAPピクチャに復号順で先行するピクチャは、許可されない。
3.9. VVCにおけるNALユニットヘッダ構文および意味論
最近のVVCテキスト(JVET-Q2001-vE/v15)において、NALユニットヘッダ構文および意味論は以下のとおりである。
Figure 2023522224000003
7.4.2.2. NALユニットヘッダの意味論
forbidden_zero_bitは、0に等しいものとする。
nuh_reserved_zero_bitは、0に等しいものとする。nuh_reserved_zero_bitの値1は、将来、ITU-T|ISO/IECにより規定してもよい。デコーダは、nuh_reserved_zero_bitが1に等しいNALユニットを無視する(すなわち、ビットストリームから削除し、廃棄する)。
nuh_layer_idは、VCL NALユニットが属するレイヤの識別子、または非VCL NALユニットが適用されるレイヤの識別子を規定する。nuh_layer_idの値は、0から55までの範囲内にあるものとする。nuh_layer_idの他の値は、ITU-T|ISO/IECで将来使用されるよう、確保されている。
nuh_layer_idの値は、1つのコーディングされたピクチャのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャまたはPUのnuh_layer_idの値は、コーディングされたピクチャまたはPUのVCL NALユニットのnuh_layer_idの値である。
AUD、PH、EOS、FD NALユニットのnuh_layer_idの値は、以下のように制約される。
- nal_unit_typeがAUD_NUTに等しい場合、nuh_layer_idはvps_layer_id[0]に等しいものとする。
- あるいは、nal_unit_typeがPH_NUT、EOS_NUT、FD_NUTに等しい場合、nuh_layer_idは関連付けられたVCL NALユニットのnuh_layer_idであるものとする。
注1- DCI、VPS、およびEOB NALユニットのnuh_layer_idの値は制約されていない。
nal_unit_typeの値は、1つのCVSS AUのすべてのピクチャについて同じものとする。
nal_unit_typeは、表5で規定されているように、NALユニットタイプ、すなわちNALユニットに含まれるRBSPデータ構造のタイプを規定する。
UNSPEC_28..UNSPEC_31の範囲内にあり、意味論が規定されていないnal_unit_typeを有するNALユニットは、本明細書で規定される復号処理に影響を及ぼさないものとする。
注2- UNSPEC_28..UNSPEC_31の範囲内にあるNALユニットタイプ、アプリケーションにより決定されたとおりに使用されてもよい。本明細書では、nal_unit_typeのこれらの値の復号処理は規定されていない。異なるアプリケーションはこれらのNALユニットタイプを異なる目的で使用してもよいので、これらのnal_unit_type値を有するNALユニットを生成するエンコーダの設計、およびこれらのnal_unit_type値を有するNALユニットのコンテンツを解釈するデコーダの設計にあたり、特に注意しなければならない。本明細書は、これらの値の管理を定義していない。これらのnal_unit_type値は、使用の「衝突」(すなわち、同じnal_unit_type値に対するNALユニットのコンテンツの意味の異なる定義)が重要でない、または可能でない、または管理された状況、例えば、制御アプリケーションまたはトランスポート仕様において、またはビットストリームが分散される環境を制御することによって定義または管理されるコンテキストでの使用にのみ適している場合がある。
(附属書Cに規定されるように)ビットストリームのDUにおけるデータの数を決定すること以外の目的のために、デコーダは、nal_unit_typeの予約済みの値を使用するすべてのNALユニットのコンテンツを無視する(ビットストリームから取り除き、廃棄する)ものとする。
注3- この要件は、本明細書に適合する拡張を将来的に定義することを可能にする。
Figure 2023522224000004

Figure 2023522224000005
注4- CRA(Clean Random Access)ピクチャは、ビットストリームに存在する関連付けられたRASLまたはRADLピクチャを有してもよい。
注5- IDR_N_LPに等しいnal_unit_typeを有するIDR(Instantaneous Decoding Refresh)ピクチャは、ビットストリームに存在する関連付けられた先頭ピクチャを有さない。IDR_W_RADLに等しいnal_unit_typeを有するIDRピクチャは、ビットストリームに存在する関連付けられたRASLピクチャ有していないが、ビットストリームに関連付けられたRADLピクチャを有していてもよい。
nal_unit_typeの値は、1つのサブピクチャのすべてのVCL NALユニットについて同じものとする。1つのサブピクチャは、このサブピクチャのVCL NALユニットと同じNALユニットタイプを有すると見なされている。
任意の特定のピクチャのVCL NALユニットに対して、以下が適用される。
-mixed_nalu_types_in_pic_flagが0に等しい場合、nal_unit_typeの値は、ピクチャの全てのVCL NALユニットについて同一であるものとし、ピクチャまたはPUは、このピクチャまたはPUのコーディングされたスライスNALユニットと同一のNALユニットタイプを有するとみなされる。
- そうでない場合(mixed_nalu_types_in_pic_flagが1に等しい)、このピクチャは、少なくとも2つのサブピクチャを有し、このピクチャのVCL NALユニットは、以下のような正確に2つの異なるnal_unit_type値を有するものとする。このピクチャの少なくとも1つのサブピクチャのVCL NALユニットは、全てSTSA_NUT、RADL_NUT、RASL_NUT、IDR_W_RADL、IDR_N_LP、またはCRA_NUTに等しい特定のnal_unit_typeを有する一方、ピクチャ内の他のサブピクチャのVCL NALユニットは、全て、異なる特定値としてTRAIL_NUT、RADL_NUT、またはRASL_NUTに等しいnal_unit_typeを有するものとする。
単レイヤビットストリームの場合、以下の制約が適用される。
-各ピクチャは、復号順においてビットストリームの第1のピクチャを除き、復号順において前のIRAPピクチャに関連付けられていると考えられる。
-ピクチャがIRAPピクチャの先頭ピクチャである場合、RADLまたはRASLピクチャとする。
-ピクチャがIRAPピクチャの後端ピクチャである場合、RADLまたはRASLピクチャではないものとする。
-IDRピクチャに関連付けられたRASLピクチャは、ビットストリームに含まれていないものとする。
-RADLピクチャは、IDR_N_LPに等しいnal_unit_typeを有するIDRピクチャに関連付けられたビットストリームに含まれていないものとする。
注6- 各パラメータセットが参照されるときに、(ビットストリームにおいて、または本明細書で規定されていない外部手段によって)利用可能である限り、IRAP PUの前のすべてのPUを破棄することにより、IRAP PUの位置でランダムアクセスを実行する(かつ、復号順においてIRAPピクチャおよびすべての後続の非RASLピクチャを正しく復号する)ことが可能である。
-IRAPピクチャに復号順で先行するピクチャは、IRAPピクチャに出力順で先行し、IRAPピクチャに関連付けられたRADLピクチャを出力順で先行するものとする。
-CRAピクチャに関連付けられたRASLピクチャは、出力順でCRAピクチャに関連付けられたRADLピクチャに先行するものとする。
-CRAピクチャに関連付けられたRASLピクチャは、復号順でCRAピクチャに先行するIRAPピクチャの出力順に従うものとする。
-field_seq_flagが0に等しく、現在のピクチャがIRAPピクチャに関連付けられた先頭ピクチャに等しい場合、同じIRAPピクチャに関連付けられたすべての非先頭ピクチャに復号順で先行するものとする。そうでない場合、picAおよびpicBを、それぞれ、1つのIRAPピクチャに関連付けられた、復号順序において、最初のおよび最後の先頭ピクチャとすると、復号順において、復号順でpicAに先行する非先頭ピクチャが最大1つ存在し、復号順でpicAおよびpicBの間に非先頭ピクチャはないものとする。
nuh_temporal_id_plus1-1は、NALユニットの時間的識別子を規定する。
nuh_temporal_id_plus1の値は0に等しくないものとする。
変数TemporalIdは、以下のように導出される。
TemporalId=nuh_temporal_id_plus1-1 (36)
nal_unit_typeがIDR_W_RADL~RSV_IRAP_12の範囲内にある場合、TemporalIdは0に等しいものとする。
nal_unit_typeがSTSA_NUTであり、vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]が1に等しい場合は、TemporalIdは0でないものとする。
TemporalIdの値は、1つのAUのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャ、PU、またはAUのTemporalIdの値は、コーディングされたピクチャ、PU、またはAUのVCL NALユニットのTemporalIdの値である。サブレイヤ表現のTemporalIdの値は、サブレイヤ表現におけるすべてのVCL NALユニットのTemporalIdの最大値である。
非VCL NALユニットのTemporalIdの値は、以下のように制約される。
-nal_unit_typeがDCI_NUT、VPS_NUT、VPS_NUT、またはSPS_NUTに等しい場合、TemporalIdは0に等しく、NALユニットを含むAUのTemporalIdは0に等しいものとする。
-そうでない場合、nal_unit_typeがPH_NUTに等しい場合、TemporalIdは、NALユニットを含むPUのTemporalIdであるものとする。
-そうでない場合、nal_unit_typeがEOS_NUTまたはEOB_NUTに等しい場合、TemporalIdは0に等しいものとする。
-そうでない場合、nal_unit_typeがAUD_NUT、FD_NUT、PREFIX_SEI_NUT、またはSUFFIX_SEI_NUTに等しい場合、TemporalIdはNALユニットを含むAUのTemporalIdであるものとする。
-そうでない場合、nal_unit_typeがPPS_NUT、PREFIX_APS_NUT、またはSUFFIX_APS_NUTに等しい場合、TemporalIdはNALユニットを含むPUのTemporalId以上であるものとする。
注7- NALユニットが非VCL NALユニットである場合、TemporalIdの値は、非VCL NALユニットが適用されるすべてのAUのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUT、PREFIX_APS_NUT、またはSUFFIX_APS_NUTに等しい場合、TemporalIdは、AUを含むTemporalId以上であってもよく、すべてのPPSおよびAPSがビットストリームの始まりに含まれてもよく(例えば、それらが帯域外に輸送されている場合、受信機はそれらをビットストリームの先端に配置する)、第1のコーディングされたピクチャは、0に等しいTemporalIdを有する。
3.10. ピクチャ内の混合NALユニットタイプ
7.4.3.4 ピクチャパラメータセット意味論
...
1に等しいmixed_nalu_types_nalu_pic_flagは、PPSを参照する各ピクチャが2つ以上のVCL NALユニットを有し、VCL NALユニットがnal_unit_typeの同じ値を有さず、ピクチャがIRAPピクチャでないことを規定する。0に等しいmixed_nalu_types_in_pic_flagは、PPSを参照する各ピクチャが1つ以上のVCL NALユニットを有し、PPSを参照する各ピクチャのVCL NALがnal__unit_typeの同じ値を有することを規定する。
no_mixed_nalu_types_in_pic_constraint_flagが1に等しい場合は、mixed_nalu_types_in_pic_flagの値は0に等しいものとする。
nal_unit_type値nalUnitTypeAがIDR_W_RADL~CRA_NUTの範囲内にある各スライスで、nal_unit_typeの別の値を有する1つ以上のスライスをも含むpicA(すなわち、ピクチャpicAのmixed_nalu_types_in_pic_flagの値が1に等しい)において、下記が適用される。
-このスライスは、対応するsubpic_treated_as_pic_flag[i]の値が1に等しいサブピクチャsubpicAに属するものとする。
-このスライスは、nal_unit_typeがnalUnitTypeAに等しくないVCL NALユニットを含むpicAのサブピクチャに属さないものとする。
-nalUnitTypeAがCRAに等しい場合、復号順序および出力順序でCLVSにおける現在のピクチャに後続するすべてのPUのために、それらのPUにおけるsubpicAにおけるスライスのRefPicList[0]およびRefPicList[1]は、アクティブエントリにおける復号順でpicAに先行するいずれのピクチャも含まないものとする。
-そうでない場合(すなわち、nalUnitTypeAがIDR_W_RADLまたはIDR_N_LPである)、復号順に現在のピクチャに続くCLVSにおけるすべてのPUについて、これらのPUにおけるsubpicAにおけるスライスのRefPicList[0]もRefPicList[1]のいずれも、アクティブエントリにおいて復号順でpicAに先行する任意のピクチャを含まないものとする。
注1- 1に等しいmixed_nalu_types_in_pic_flagは、PPSを参照するピクチャが、異なるNALユニットタイプを有するスライスを含み、例えば、サブピクチャビットストリームマージ演算に由来するコーディングされたピクチャであり、ビットストリーム構造のマッチングと更に元のビットストリームのパラメータのアラインメントとを確実にしなければならないことを示す。このようなアラインメントの一例は、以下のようである。sps_idr_rpl_present_flagの値が0に等しく、mixed_nalu_types_in_pic_flagが1に等しい場合は、PPSを参照するピクチャは、nal_unit_typeがIDR_W_RADLまたはIDR_N__LPと等しいスライスを有することはできない。
...
3.11. VVCにおけるピクチャヘッダ構造の構文および意味論
最近のVVCテキスト(JVET-Q2001-vE/v15)において、本発明に最も関連するピクチャヘッダ構造の構文および意味論は、以下のとおりである。
Figure 2023522224000006
7.4.3.7 ピクチャヘッダ構造意味論
PH構文構造は、PH構文構造に関連付けられたコーディングされたピクチャのすべてのスライスに共通の情報を含む。
1に等しいgdr_or_irap_pic_flagは、現在のピクチャがGDRまたはIRAPピクチャであることを規定する。0に等しいgdr_or_irap_pic_flagは、現在のピクチャがGDRまたはIRAPピクチャであってもなくてもよいことを規定する。
1に等しいgdr_pic_flagは、PHに関連付けられたピクチャがGDRピクチャであることを規定する。0に等しいgdr_pic_flagは、PHに関連付けられたピクチャがGDRピクチャでないことを規定する。存在しない場合、gdr_pic_flagの値は0に等しいと推測される。gdr_enabled_flagが0に等しい場合、gdr_pic_flagの値は0に等しいものとする。
注1- gdr_or_irap_pic_flagが1に等しく、gdr_pic_flagが0に等しい場合、PHに関連付けられたピクチャはIRAPピクチャである。
...
ph_pic_order_cnt_lsbは、現在のピクチャのピクチャオーダカウントmodulo MaxPicOrderCntLsbを規定する。ph_pic_order_cnt_lsb構文要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。ph_pic_order_cnt_lsbの値は、0~MaxPicOrderCntLsb-1の範囲内にあるものとする。
附属書Cに規定されるように、no_output_of_prior_pics_flagは、ビットストリームの最初のピクチャでないCLVSSピクチャの復号後の、DPBにおける前回復号されたピクチャの出力に影響を及ぼす。
recovery_poc_cntは、復号ピクチャの出力順のリカバリポイントを規定する。現在のピクチャがPHに関連付けられたGDRピクチャであり、現在のGDRピクチャのPicOrderCntValにrecovery_poc_cntの値を加えたものであるPicOrderCntValを有するCLVSにおいて、復号順で現在のGDRピクチャに後続するピクチャが存在する場合、このピクチャpicAをリカバリポイントピクチャと呼ぶ。そうでない場合、現在のピクチャのPicOrderCntValにrecovery_poc_cntの値を加えたものよりも大きいPicOrderCntValを有する出力順の第1のピクチャを、リカバリポイントピクチャと呼ぶ。リカバリポイントピクチャは、現在のGDRピクチャに復号順で先行しないものとする。recovery_poc_cntの値は、0~MaxPicOrderCntLsb-1の範囲内にあるものとする。
現在のピクチャがGDRピクチャである場合、変数RpPicOrderCntValは、以下のように導出される。
RpPicOrderCntVal=PicOrderCntVal + recovery_poc_cnt (81)
注2- gdr_enabled_flagが1に等しく、現在のピクチャのPicOrderCntValが関連付けられたGDRピクチャのRpPicOrderCntVal以上である場合、出力順において現在および後続の復号されたピクチャが、復号順において関連付けられたGDRピクチャに先行する前のIRAPピクチャ(存在する場合)から復号処理を開始することによって生成された対応するピクチャに完全に一致する。
...
3.12. VVCにおけるRPLの制約
最近のVVCテキスト(JVET-Q2001-vE/v15)において、VVCにおけるRPLの制約は、以下のとおりである(VVCの条項8.3.2 参照ピクチャリスト構築の復号処理の一部として)。
8.3.2 参照ピクチャリスト構築のための復号処理
...
各iが0または1に等しい場合、RefPicList[i]における第1のNumRefIdxActive[i]エントリは、RefPicList[i]におけるアクティブエントリと称され、RefPicList[i]における他のエントリは、RefPicList[i]における非アクティブエントリと称される。
注2- 特定のピクチャは、RefPicList[0]におけるエントリおよびRefPicList[1]におけるエントリの両方により参照されることがあり得る。また、特定のピクチャが、RefPicList[0]における複数のエントリによって、またはRefPicList[1]における複数のエントリにより参照されることもあり得る。
注3- RefPicList[0]のアクティブエントリおよびRefPicList[1]のアクティブエントリは、現在のピクチャおよび復号順において現在のピクチャに続く1または複数のピクチャのインター予測のために使用してもよい全ての参照ピクチャをまとめて参照する。RefPicList[0]の非アクティブエントリおよびRefPicList[1]の非アクティブエントリは、現在のピクチャのインター予測のためには使用されないが、復号順において現在のピクチャに続く1つ以上のピクチャのためのインター予測において用いられ得る全ての参照ピクチャを集合的に参照する。
注4- RefPicList[0]またはRefPicList[1]には、対応するピクチャがDPBに存在しないため、「参照ピクチャなし」に等しいエントリが1または複数ある場合がある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]における各非アクティブエントリは、無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]における各アクティブエントリごとに、意図しないピクチャ損失を推測すべきである。
ビットストリーム適合性の要件は、以下の制約が適用されることである。
- 各iが0または1に等しい場合、num_ref_entries[i][RplsIdx[i]]は、NumRefIdxActive[i]よりも小さくてはならない。
- RefPicList[0]またはRefPicList[1]の各アクティブエントリによって参照されるピクチャは、DPBに含まれ、かつ現在のピクチャのTemporalId以下とする。
- RefPicList[0]またはRefPicList[1]の各エントリによって参照されるピクチャは、現在のピクチャではなく、0に等しいnon_reference_picture_flagを有するものとする。
- ピクチャのスライスのRefPicList[0]またはRefPicList[1]におけるSTRPエントリと、同じピクチャの同じスライスまたは異なるスライスのRefPicList[0]またはRefPicList[1]におけるLTRPエントリとは、同じピクチャを参照しないものとする。
- 現在のピクチャのPicOrderCntValとエントリにより参照されるピクチャのPicOrderCntValとの差分が224以上であるRefPicList[0]またはRefPicList[1]において、LTRPエントリはないものとする。
- setOfRefPicsは、RefPicList[0]において現在のピクチャと同じnuh_layer_idを有する全てのエントリと、RefPicList[1]において現在のピクチャと同じnuh_layer_idを有する全てのエントリとにより参照される固有のピクチャのセットである。setOfRefPicsにおけるピクチャの数は、MaxDpbSize-1以下であるものとする。ここで、MaxDpbSizeは、A.4.2項に規定されるとおりであり、setOfRefPicsは、ピクチャの全てのスライスで同一である。
- 現在のスライスがSTSA_NUTに等しいnal_unit_typeを有する場合、現在のピクチャのものとTemporalIdが等しく、かつnuh_layer_idが現在のピクチャのものと等しいRefPicList[0]またはRefPicList[1]においてアクティブエントリが存在しないものとする。
- 現在のピクチャが、復号順において、現在のピクチャのものとTemporalIdが等しく、かつ現在のピクチャのものとnuh_layer_idが等しいSTSAピクチャの後に続くピクチャである場合、復号順において、STSAピクチャに先行し、現在のピクチャのものとTemporalIdが等しく、かつ現在のピクチャのものとnuh_layer_idが等しいピクチャは、RefPicList[0]またはRefPicList[1]にアクティブエントリとして含まれるピクチャはないものとする。
- 現在のピクチャがCRAピクチャの場合、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャであって、復号順において先行するIRAPピクチャ(存在する場合)に、出力順または復号順において、先行するピクチャはないものとする。
- 現在のピクチャが後端ピクチャである場合、RefPicList[0]またはRefPicList[1]のアクティブエントリにより参照されるピクチャであって、現在のピクチャに関連付けられたIRAPピクチャのために利用不可な参照ピクチャを生成するための復号処理によって生成されたピクチャはないものとする。
- 現在のピクチャが、復号順と出力順の両方において、同じIRAPピクチャに関連付けられた1または複数の先頭ピクチャに続く後端ピクチャである場合、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャであって、現在のピクチャに関連付けられたIRAPピクチャのために利用不可な参照ピクチャを生成するための復号処理により生成されたピクチャはないものとする。
- 現在のピクチャがリカバリポイントピクチャであるか、またはリカバリポイントピクチャの出力順序において後続するピクチャである場合、リカバリポイントピクチャのGDRピクチャのために使用不可能な参照ピクチャを生成するための復号処理によって生成されたピクチャを含むRefPicList[0]またはRefPicList[1]のエントリはない。
- 現在のピクチャが後端ピクチャである場合、出力順または復号順において、関連付けられたIRAPピクチャに先行するRefPicList[0]またはRefPicList[1]のアクティブエントリにより参照されるピクチャはないものとする。
- 現在のピクチャが、復号順および出力順の両方において、同じIRAPピクチャに関連付けられた1または複数の先頭ピクチャに続く後端ピクチャである場合、出力順または復号順において、関連付けられたIRAPピクチャに先行するRefPicList[0]またはRefPicList[1]におけるエントリにより参照されるピクチャはないものとする。
- 現在のピクチャがRADLピクチャである場合、RefPicList[0]またはRefPicList[1]に以下のいずれかに該当するアクティブエントリはないものとする。
o RASLピクチャ
o 利用不可能な参照ピクチャを生成するために、復号処理によって生成されたピクチャ
o 関連付けられたIRAPピクチャに復号順において先行するピクチャ
- 現在のピクチャのスライスのRefPicList[0]またはRefPicList[1]における各ILRPエントリにより参照されるピクチャは、現在のピクチャと同じAU内にあるものとする。
- 現在のピクチャのスライスのRefPicList[0]またはRefPicList[1]における各ILRPエントリにより参照されるピクチャは、DPBに存在し、かつ現在のピクチャのものよりも小さいnuh_layer_idを有するものとする。
- スライスのRefPicList[0]またはRefPicList[1]における各ILRPエントリは、アクティブエントリであるものとする。
...
3.13. PictureOutputFlagの設定
最近のVVCテキスト(JVET-Q2001-vE/v15)において、変数PictureOutputFlagの値を設定する仕様は、以下のとおりである(8.1.2項 コーディングされたピクチャの復号処理の一部として)。
8.1.2 コーディングされたピクチャの復号処理
本項に規定される復号処理は、現在のピクチャと称され、BitstreamToDecodeにおいて変数CurrPicで表される各コーディングされたピクチャに適用される。
chroma_format_idcの値に基づいて、現在のピクチャのサンプル配列の数は、以下のとおりである。
-chroma_format_idcが0に等しい場合、現在のピクチャは、1つのサンプル配列Sからなる。
-そうでない場合(chroma_format_idcが0でない場合)、現在のピクチャは、3つのサンプル配列S、SCb、SCrからなる。
現在のピクチャの復号処理は、項目7からの構文要素および大文字変数を入力とする。各NALユニットにおける各構文要素の意味を解釈する場合、また項目8の残りの部分において、用語「ビットストリーム」(またはその一部、例えば、ビットストリームのCVS)は、BitstreamToDecode(またはその一部)を指す。
separate_colour_plane_flagの値によって、復号処理は以下のような構成となる。
-separate_colour_plane_flagが0に等しい場合、現在のピクチャを出力として、復号処理を1回呼び出す。
-そうでない場合(separate_colour_plane_flagが1に等しい)、復号処理を3回呼び出す。復号処理への入力は、colour_plane_idの値が同一なコーディングされたピクチャの全てのNALユニットである。colour_plane_idの特定値を有するNALユニットの復号処理は、colour_plane_idの特定値を有する単色カラーフォーマットを有するCVSのみがビットストリームに存在するかのように特定される。3つの復号処理の各々のアウトプットは、現在のピクチャの3つのサンプル配列の1つに割り当てられ、colour_plane_idがそれぞれ0、1、および2に等しいNALユニットが、S、SCb、およびSCrに割り当てられる。
注- separate_colour_plane_flagが1に等しく、chroma_format_idcが3に等しい場合、変数ChromaArrayTypeは0に等しくなる。復号処理においては、この変数の値を評価し、モノクロピクチャの場合(chroma_format_idcが0の場合)と同一の動作となる。
復号処理は、現在のピクチャCurrPicに対して以下のように動作する。
1. NALユニットの復号は8.2項で規定されている。
2. 8.3項の処理は、タイルグループヘッダ層およびそれより上位の構文要素を使用して、以下の復号処理を規定する。
- ピクチャオーダカウントに関連する変数および関数は、8.3.1項で規定されるように導出される。これは、ピクチャの第1のスライスに対してのみ呼び出す必要がある。
- 非IDRピクチャの各スライスの復号処理の最初に、参照ピクチャリスト0(RefPicList[0])と参照ピクチャリスト1(RefPicList[1])の導出のために、8.3.2項に規定された参照ピクチャリスト構築のための復号処理が呼び出される。
- 8.3.3項の参照ピクチャマーキングのための復号処理が呼び出され、参照ピクチャは、「参照のために使用されていない」または「長期参照のために使用される」としてマークされてもよい。これは、ピクチャの第1のスライスに対してのみ呼び出す必要がある。
- 現在のピクチャが、NoOutputBeforeRecoveryFlagが1に等しいCRAピクチャまたはNoOutputBeforeRecoveryFlagが1に等しいGDRピクチャである場合、8.3.4項で規定される利用不可能な参照ピクチャを生成するための復号処理が呼び出されるが、ピクチャの第1のスライスに対してのみ呼び出される必要がある。
- PictureOutputFlagは、以下のように設定される。
- 以下の条件の1つが真である場合、PictureOutputFlagを0に等しく設定する。
- 現在のピクチャはRASLピクチャであり、関連付けられたIRAPピクチャのNoOutputBeforeRecoveryFlagは1に等しい。
- gdr_enabled_flagは1に等しく、現在のピクチャは、NoOutputBeforeRecoveryFlagが1に等しいGDRピクチャである。
- gdr_enabled_flagは1に等しく、現在のピクチャは、NoOutputBeforeRecoveryFlagが1に等しいGDRピクチャに関連付けられ、現在のピクチャのPicOrderCntValは、関連付けられたGDRピクチャのRpPicOrderCntValよりも小さい。
- sps_video_parameter_set_idが0より大きく、ols_mode_idcが0に等しく、現在のAUは、以下の条件を全て満たすピクチャpicAを含む。
- PicAは、1に等しいPictureOutputFlagを有する。
- PicAは、現在のピクチャのものよりも大きいnuh_layer_id nuhLidを有する。
- PicAはOLSの出力レイヤに属する(すなわち、OutputLayerIdInOls[TargetOlsIdx][0]はnuhLidに等しい)。
- sps_video_parameter_set_idが0より大きく、ols_mode_idcが2に等しく、ols_output_layer_flag[TargetOlsIdx][GeneralLayerIdx[nuh_layer_id]]は0に等しい。
- そうでない場合、PictureOutputFlagがpic_output_flagに等しく設定される。
3. 8.4項、8.5項、8.6項、8.7項および8.8項の処理は、全ての構文構造レイヤにおける構文要素を使用した復号処理を規定している。ピクチャを複数のスライスに分割し、複数のスライスを複数のCTUに分割することで、それぞれがピクチャのパーティションを形成するように、ピクチャのコーディングされたスライスは、ピクチャの全てのCTUのためのスライスデータを含むことが、ビットストリーム適合性の要件である。
4. 現在のピクチャの全てのスライスを復号した後、現在の復号されたピクチャを「短期参照に使用される」としてマークし、RefPicList[0]またはRefPicList[1]における各ILRPエントリを「短期参照に使用される」としてマークする。
4. 開示される技術的解決策によって解決される技術課題
最近のVVCテキスト(JVET-Q2001-vE/v15)における既存の設計は、以下の問題を有する。
1)1つのピクチャ内で異なるタイプのサブピクチャを混在することができるので、VCL NALユニットタイプを有するNALユニットの内容を特定タイプのピクチャのコーディングされたスライスと呼ぶことは、紛らわしい。例えば、CRA_NUTに等しいnal_unit_typeを持つNALユニットは、ピクチャの全てのスライスがCRA_NUTに等しいnal_unit_typeを有する場合にのみ、CRAピクチャのコーディングされたスライスであり、ピクチャの1つのスライスがCRA_NUTに等しくないnal_unit_typeを持つ場合、このピクチャはCRAピクチャではない。
2)現在、サブピクチャがIDR_W_RADLからCRA_NUTまでの範囲内のnal_unit_typeを持つVCL NALユニットを含み、かつピクチャのmixed_nalu_types_in_pic_flagが1に等しい場合、そのサブピクチャのsubpic_treated_as_pic_flag[]は1になることが求められている。すなわち、ピクチャ内の別のタイプのサブピクチャと混在されたIRAPサブピクチャの場合、subpic_transted_as_pic_flag[]の値は1に等しい必要がある。しかしながら、VCL NALユニットタイプをより多く組み合わせることに対応しているので、この要件は十分ではない。
3) 現在、ピクチャ内で許可されるのは、2つの異なるタイプのVCL NALユニット(および2つの異なるタイプのサブピクチャ)のみである。
4) 単一層および多層のコンテキストの両方において、関連するIRAPまたはGDRサブピクチャに対する後端サブピクチャの出力順に制約がない。
5) 現在、ピクチャは、IRAPピクチャの先頭ピクチャである場合、RADLピクチャまたはRASLピクチャであるものとすることが規定されている。この制約と先頭/RADL/RASLピクチャの定義によって、2つのCRAピクチャとそれらの非AUアラインメント関連RADLおよびRASLピクチャの混在によるピクチャ内のRADLおよびRASL NALユニットタイプの混在は認められない。
6) 単層および多層のコンテキストの両方において、先頭サブピクチャのサブピクチャタイプ(即ち、サブピクチャ内のVCL NALユニットのNALユニットタイプ)には制約がない。
7) 単層および多層のコンテキストの両方において、RASLサブピクチャが、存在し、かつIDRサブピクチャに関連付けられ得るかどうかには、制約がない。
8) 単層および多層のコンテキストの両方において、RADLサブピクチャが、存在し、かつIDR_N_LPに等しいnal_unit_typeを有するIDRサブピクチャに関連付けられ得るかどうかには、制約がない。
9) 単層および多層のコンテキストの両方において、復号順においてIRAPサブピクチャに先行するサブピクチャとIRAPサブピクチャに関連付けられたRADLサブピクチャとの間の相対出力順には、制約がない。
10) 単層および多層のコンテキストの両方において、復号順においてGDRサブピクチャに先行するサブピクチャとGDRサブピクチャに関連付けられたサブピクチャとの間の相対的な出力順には制約がない。
11) 単層および多層のコンテキストの両方において、CRAサブピクチャに関連付けられたRASLサブピクチャとCRAサブピクチャに関付けられたRADLサブピクチャとの間の相対出力順には、制約がない。
12) 単層および多層のコンテキストの両方において、CRAサブピクチャに関連付けられたRASLサブピクチャと、復号順においてCRAサブピクチャに先行するIRAPサブピクチャとの間の相対出力順には、制約がない。
13) 単層および多層のコンテキストの両方において、IRAPピクチャに関連付けられた非先頭ピクチャと先頭ピクチャとの間の相対的な復号順には、制約がない。
14) 単層および多層のコンテキストの両方において、復号順においてSTSAサブピクチャに続くサブピクチャのためのRPLアクティブエントリには、制約がない。
15) 単層および多層のコンテキストの両方において、CRAサブピクチャのRPLエントリには、制約がない。
16) 単層および多層のコンテキストの両方において、使用不可能な基準ピクチャを生成するための復号処理によって生成されたピクチャを参照するサブピクチャのためのRPLアクティブエントリには、制約がない。
17) 単層および多層のコンテキストの両方において、使用不可能な基準ピクチャを生成するための復号処理によって生成されたピクチャを参照するサブピクチャのためのRPLエントリには、制約がない。
18)単層および多層のコンテキストの両方において、IRAPピクチャに関連付けられ、かつ出力順においてIRAPピクチャの後に続くサブピクチャのためのRPLアクティブエントリには、制約がない。
19)単層および多層のコンテキストの両方において、IRAPピクチャに関連付けられ、かつ出力順においてIRAPピクチャの後に続くサブピクチャのためのRPLエントリには、制約がない。
20)単層および多層のコンテキストの両方において、RADLサブピクチャのためのRPLアクティブエントリには制約がない。
5. 解決策および実施形態の例
上述した課題等を解決するために、以下に示す方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。
1) 問題1を解決するために、VCL NALユニットタイプのNALユニットの内容を「特定タイプのピクチャのコーディングされたスライス」として特定する代わりに、「特定タイプのピクチャまたはサブピクチャのコーディングされたスライス」として規定する。例えば、nal_unit_typeがCRA_NUTに等しいNALユニットの内容を、「CRAピクチャまたはサブピクチャのコーディングされたスライス」として規定する。
a. 更に、1つ以上の用語が定義されている:関連付けられたGDRサブピクチャ、関連付けられたIRAPサブピクチャ、CRAサブピクチャ、GDRサブピクチャ、IDRサブピクチャ、IRAPサブピクチャ、先頭サブピクチャ、RADLサブピクチャ、RASLサブピクチャ、STSAサブピクチャ、後端サブピクチャ。
2) 問題2を解決するために、異なるNALユニットタイプを有する任意の2つの隣接するサブピクチャは、両方ともsubpic_transport_as_pic_flag[]が1に等しいものとする制約を追加する。
a. 一例において、この制約は、以下のように規定される。ピクチャ内にサブピクチャインデックスiおよびjを有する任意の2つの隣接するサブピクチャの場合、subpic_transpeted_pic_flag[i]またはsubpic_transpeted_pic_flag[j]が0に等しい場合、2つのサブピクチャは、同じNALユニットタイプを持つものとする。
a. あるいは、サブピクチャインデックスiを有するいずれかのサブピクチャが0に等しいsubpic_transpeted_pic_flag[i]を有する場合、ピクチャにおける全てのサブピクチャは、同一のNALユニットタイプを有するものとする(すなわち、ピクチャにおける全てのVCL NALユニットは、同一のNALユニットタイプを有するものとする、すなわち、mixed_nalu_types_in_pic_flagが0に等しいものとする)。これは、全てのサブピクチャが、それらに対応する1に等しいsubpic_treated_as_pic_flag[]を有する場合、mixed_naru_types_in_pic_flagが1にだけなり得ることを意味する。
3) 問題3を解決するために、mixed_nalu_types_in_pic_flagが1であるとき、ピクチャが3つ以上の異なるタイプのVCL NALユニットを含むことを許可してもよい。
4) 問題4を解決するために、後端サブピクチャは、出力順において関連付けられたIRAPまたはGDRサブピクチャに続くものとすることが規定されている。
5) 問題5を解決するために、2つのCRAピクチャとそれらの非AUアラインメント関連RADLおよびRASLピクチャとを混在した結果として、RADLとRASLのNALユニットタイプをピクチャ内で混在することを可能にするために、IRAPピクチャの先頭ピクチャをRADLまたはRASLピクチャとすることを規定する既存の制約は、以下のように変更される。ピクチャがIRAPピクチャの先頭ピクチャである場合、このピクチャにおける全てのVCL NALユニットのnal_unit_type値は、RADL_NUTまたはRASL_NUTと等しいものとする。また、RADL_NUTおよびRASL_NUTのnal_unit_type値が混在するピクチャの復号処理において、ピクチャを含むレイヤが出力レイヤである場合、ピクチャのPictureOutputFlagをpic_output_flagに等しく設定する。
このように、デコーダを適合させるために出力される全てのピクチャが正確である必要があるという制約によって、このようなピクチャ内のRADLサブピクチャを保証することができる。しかし、関連付けられたCRAピクチャが1に等しいNoOutputBeforeRecoveryFlagを有する場合、このようなピクチャ内の「中間値」RASLサブピクチャの「正確性」の保証も行われるが、実際には必要ではない。保証の不必要な部分は、問題ではなく、適合するエンコーダまたはデコーダを実装するための複雑さを増すこともない。この場合、NoOutputBeforeRecoveryFlagが1であるCRAピクチャに関連付けられたこのようなRASLサブピクチャは、復号処理によって出力されてもよいが、表示に使用することを意図していないので、表示に使用するべきでないことを明確にするために、注意を追加することが有用である。
6) 問題6を解決するために、サブピクチャがIRAPサブピクチャの先頭サブピクチャである場合、そのサブピクチャをRADLまたはRASLサブピクチャとすることが規定される。
7) 問題7を解決するために、IDRサブピクチャに関連付けられたビットストリーム内にRASLサブピクチャが存在しないものとすることが規定される。
8) 問題8を解決するために、nal_unit_typeがIDR_N_LPに等しいIDRサブピクチャに関連付けられたRADLサブピクチャがビットストリームに存在しないものとすることが規定される。
9) 問題9を解決するため、nuh_layer_id equalが特定値layerIdに等しく、かつサブピクチャインデックスが特定値subpicIdxに等しいサブピクチャであって、復号順において、layerIdに等しいnuh_layer_idとsubpicIdxに等しいサブピクチャインデックスとを有するIRAPサブピクチャに先行する任意のサブピクチャが、出力順において、IRAPサブピクチャとその全ての関連付けられたRADLサブピクチャに先行するものとすることが規定される。
10) 問題10を解決するため、nuh_layer_id equalが特定値layerIdに等しく、かつサブピクチャインデックスが特定値subpicIdxに等しいサブピクチャであって、復号順において、layerIdに等しいnuh_layer_idとsubpicIdxに等しいサブピクチャインデックスを有するGDRサブピクチャに先行する任意のサブピクチャが、出力順において、GDRサブピクチャとその全ての関連付けられたサブピクチャに先行するものとすることが規定される。
11) 問題11を解決するために、CRAサブピクチャに関連付けられた任意のRASLサブピクチャは、出力順において、CRAサブピクチャに関連付けられた任意のRADLサブピクチャに先行するものとすることが規定されている。
12) 問題12を解決するために、CRAサブピクチャに関連付けられた任意のRASLサブピクチャは、CRAサブピクチャに復号順において先行する任意のIRAPサブピクチャに、出力順において続くものとすることが規定されている。
13) 問題13を解決するため、field_seq_flagが0に等しく、かつnuh_layer_idが特定値layerIdに等しく、サブピクチャインデックスが特定値subpicIdxに等しい現在のサブピクチャが、IRAPサブピクチャに関連付けられた先頭サブピクチャである場合、復号順において、同一のIRAPサブピクチャに関連付けられた全ての非先頭サブピクチャに先行するものとし、そうでない場合には、subpicAおよびsubpicBを、それぞれ、復号順においてIRAPサブピクチャに関連付けられた最初と最後の先頭サブピクチャとした場合、復号順において、nuh_layer_idがlayerIdに等しく、サブピクチャインデックスがsubpicIdxに等しい、subpicAに先行する非先頭サブピクチャが最大で1つ存在し、かつ、復号順において、picAとpicBの間に、nuh_layer_idがlayerIdに等しく、サブピクチャインデックスがsubpicIdxに等しい非先頭ピクチャが存在しないものとすることを規定する。
14) 問題14を解決するために、TemporalIdが特定値tIdに等しく、nuh_layer_idが特定値layerIdに等しく、かつサブピクチャインデックスが特定値subpicIdxに等しい現在のサブピクチャが、復号順において、TemporalIdがtIdに等しく、nuh_layer_idがlayerIdに等しく、かつサブピクチャインデックスがsubpicIdxに等しいSTSAサブピクチャに続くサブピクチャである場合、復号順において、STSAサブピクチャを含むピクチャに先行し、RefPicList[0]またはRefPicList[1]のアクティブエントリとして含まれるピクチャはないものと規定する。
15) 問題15を解決するために、nuh_layer_idが特定値layerIdに等しく、かつサブピクチャインデックスが特定値subpicIdxに等しい現在のサブピクチャが、CRA サブピクチャである場合に、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャであって、nuh_layer_idがlayerIdと等しく、かつ、サブピクチャインデックスがsubpicIdxに等しい復号順において先行するIRAPサブピクチャを含む任意のピクチャ(但し、存在する場合)に、出力順または復号順において先行するピクチャがないものとすることが規定される。
16) 問題16を解決するために、現在のサブピクチャは、nuh_layer_idが特定値layerIdに等しく、かつサブピクチャインデックスが特定値subpicIdxに等しく、NoOutputBeforeRecoveryFlagが1に等しいCRAピクチャのCRAサブピクチャに関連付けられたRASLサブピクチャ、NoOutputBeforeRecoveryFlagが1に等しいGDRピクチャのGDRサブピクチャ、またはNoOutputBeforeRecoveryFlagが1に等しくnuh_layer_idがlayerIdに等しいGDRピクチャの復元ピクチャのサブピクチャではない場合、RefPicList[0]またはRefPicList[1]のアクティブエントリにより参照されるピクチャであって、利用不可能な参照ピクチャを生成するための復号処理で生成されたピクチャはないことが規定される。
17) 問題17を解決するために、nuh_layer_idを特定値layerIdに等しく、かつサブピクチャインデックスが特定値subpicIdxに等しい現在のサブピクチャは、NoOutputBeforeRecoveryFlagが1に等しいCRAピクチャのCRAサブピクチャ、NoOutputBeforeRecoveryFlagが1に等しいCRAピクチャの同一のCRAサブピクチャに関連付けられた先頭サブピクチャに復号順において先行するサブピクチャ、NoOutputBeforeRecoveryFlagが1に等しいCRAピクチャのCRAサブピクチャに関連付けられた先頭サブピクチャ、NoOutputBeforeRecoveryFlagが1に等しいGDRピクチャのGDRサブピクチャ、または、NoOutputBeforeRecoveryFlagが1に等しくnuh_layer_idがlayerIdに等しいGDRピクチャの復元ピクチャのサブピクチャでない場合、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャであって、利用不可能な参照ピクチャを生成するための復号処理によって生成されたピクチャがないものとすることが規定される。
18) 問題18を解決するため、現在のサブピクチャがIRAPサブピクチャと関連付けされ、出力順においてそのIRAPサブピクチャに続く場合、RefPicList[0]またはRefPicList[1]のアクティブエントリにより参照されるピクチャであって、出力順または復号順において、関連付けされたIRAPサブピクチャを含むピクチャに先行するピクチャがないものとすることが規定される。
19) 問題19を解決するため、現在のサブピクチャが、IRAPサブピクチャと関連付けされ、出力順においてそのIRAPサブピクチャに続き、かつ、復号順および出力順において、同一のIRAPサブピクチャに関連付けられた先頭サブピクチャがあればそれに続く場合、RefPicList[0]またはRefPicList[1]のアクティブエントリにより参照されるピクチャであって、出力順または復号順において関連付けされたIRAPサブピクチャを含むピクチャに先行するピクチャがないものとすることが規定される。
20) 問題20を解決するために、現在のサブピクチャがRADLサブピクチャである場合、RefPicList[0]またはRefPicList[1]に、以下のいずれかに該当するアクティブエントリはないものと規定される。
a. RASLサブピクチャを含むピクチャ
b. 関連付けされたIRAPサブピクチャを含むピクチャに、復号順において先行するピクチャ。
21) サブピクチャがIRAPサブピクチャの先頭サブピクチャでない場合、そのサブピクチャをRADLまたはRASLサブピクチャでないことが規定される。
22) あるいは、課題10を解決するために、nuh_layer_idが特定の値layerIdに等しく、サブピクチャインデックスが特定の値subpicIdxに等しいサブピクチャであって、復号順で、リカバリポイントピクチャnuh_layer_idがlayerIdに等しくサブピクチャインデックスがsubpicIdxに等しいサブピクチャに先行するものは、リカバリポイントピクチャ内のそのサブピクチャに出力順において先行するものであることが規定される。
23) あるいは、問題15を解決するために、nuh_layer_idが特定値layerIdに等しく、かつサブピクチャインデックスが特定値subpicIdxに等しい現在のサブピクチャが、CRAサブピクチャである場合に、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャであって、nuh_layer_idがlayerIdと等しく、かつ、サブピクチャインデックスがsubpicIdxに等しいIRAPサブピクチャを含み、復号順で(存在する場合)、先行する任意のピクチャに、出力順または復号順において、先行するピクチャがないものとすることが規定される。
24) あるいは、問題18を解決するために、現在のサブピクチャが、復号順、出力順ともに同じ値のnuh_layer_idと同じ値のsubpicture indexを持つIRAPサブピクチャに続く場合、RefPicList[0]またはRefPicList[1]のアクティブエントリによって参照されるピクチャであって、出力順または復号順にそのIRAPサブピクチャを含むピクチャに先行するピクチャはないものとすることが規定される。
25) あるいは、問題19を解決するために、現在のサブピクチャが、同じ値のnuh_layer_idおよび同じ値のサブピクチャインデックスとそのIRAPサブピクチャに関連付けされた先頭サブピクチャとに復号順および出力順において続く場合、出力順または復号順でそのIRAPサブピクチャを含むピクチャに先行する、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャはないものとすることを規定する。
26) あるいは、問題20を解決するために、nuh_layer_idが特定の値layerIdに等しく、サブピクチャインデックスが特定の値subpicIdxに等しい現在のサブピクチャがRADLサブピクチャである場合、RefPicList[0]またはRefPicList[1]に以下のいずれかのアクティブエントリはないものとすることを規定する。
a. nuh_layer_idがlayerIdに等しく、subpicIdxに等しいサブピクチャインデックスを持つRASLサブピクチャを含むピクチャ。
b. 関連付けされたIRAPサブピクチャを含むピクチャに、復号順において先行するピクチャ。
6. 実施形態
Figure 2023522224000007
6.1. 第一の実施形態
本実施形態は1、1a、2、2a、4、および6~20項に対するものである。
3 定義
Figure 2023522224000008
Figure 2023522224000009
Figure 2023522224000010
7.4.2.2. NALユニットヘッダの意味論
...
nal_unit_typeは、表5で規定されているように、NALユニットタイプ、すなわちNALユニットに含まれるRBSPデータ構造のタイプを規定する。
UNSPEC_28..UNSPEC_31の範囲内にあり、意味論が規定されていないnal_unit_typeを有するNALユニットは、本明細書で規定される復号処理に影響を及ぼさないものとする。
注2- UNSPEC_28..UNSPEC_31の範囲内にあるNALユニットタイプ、アプリケーションにより決定されたとおりに使用されてもよい。本明細書では、nal_unit_typeのこれらの値の復号処理は規定されていない。異なるアプリケーションはこれらのNALユニットタイプを異なる目的で使用してもよいので、これらのnal_unit_type値を有するNALユニットを生成するエンコーダの設計、およびこれらのnal_unit_type値を有するNALユニットのコンテンツを解釈するデコーダの設計にあたり、特に注意しなければならない。本明細書は、これらの値の管理を定義していない。これらのnal_unit_type値は、使用の「衝突」(すなわち、同じnal_unit_type値に対するNALユニットのコンテンツの意味の異なる定義)が重要でない、または可能でない、または管理された状況、例えば、制御アプリケーションまたはトランスポート仕様において、またはビットストリームが分散される環境を制御することによって定義または管理されるコンテキストでの使用にのみ適している場合がある。
(附属書Cに規定されるように)ビットストリームのDUにおけるデータの数を決定すること以外の目的のために、デコーダは、nal_unit_typeの予約済みの値を使用するすべてのNALユニットのコンテンツを無視する(ビットストリームから取り除き、廃棄する)ものとする。
注3-この要件は、本明細書に適合する拡張を将来的に定義することを可能にする。
Figure 2023522224000011

Figure 2023522224000012
注4- CRA(Clean Random Access)ピクチャは、ビットストリームに存在する関連付けられたRASLまたはRADLピクチャを有してもよい。
注5- IDR_N_LPに等しいnal_unit_typeを有するIDR(Instantaneous Decoding Refresh)ピクチャは、ビットストリームに存在する関連付けられた先頭ピクチャを有さない。IDR_W_RADLに等しいnal_unit_typeを有するIDRピクチャは、ビットストリームに存在する関連付けられたRASLピクチャ有していないが、ビットストリームに関連付けられたRADLピクチャを有していてもよい。
nal_unit_typeの値は、1つのサブピクチャのすべてのVCL NALユニットについて同じものとする。1つのサブピクチャは、このサブピクチャのVCL NALユニットと同じNALユニットタイプを有すると見なされている。
Figure 2023522224000013
任意の特定のピクチャのVCL NALユニットに対して、以下が適用される。
- mixed_nalu_types_in_pic_flagが0に等しい場合、nal_unit_typeの値は、ピクチャの全てのVCL NALユニットについて同一であるものとし、ピクチャまたはPUは、このピクチャまたはPUのNALユニットと同一のNALユニットタイプを有するとみなされる。
- そうでない場合(mixed_nalu_types_in_pic_flagが1に等しい)、このピクチャは、少なくとも2つのサブピクチャを有し、このピクチャのVCL NALユニットは、以下のような正確に2つの異なるnal_unit_type値を有するものとする。このピクチャの少なくとも1つのサブピクチャのVCL NALユニットは、全てSTSA_NUT、RADL_NUT、RASL_NUT、IDR_W_RADL、IDR_N_LP、またはCRA_NUTに等しい特定のnal_unit_typeを有する一方、ピクチャ内の他のサブピクチャのVCL NALユニットは、全て、異なる特定値としてTRAIL_NUT、RADL_NUT、またはRASL_NUTに等しいnal_unit_typeを有するものとする。
ビットストリーム適合性の要件は、以下の制約が適用されることである。
Figure 2023522224000014
注6- 各パラメータセットが参照されるときに、(ビットストリームにおいて、または本明細書で規定されていない外部手段によって)利用可能である限り、IRAP PUの前のすべてのPUを破棄することにより、IRAP PUの位置でランダムアクセスを実行する(かつ、復号順においてIRAPピクチャおよびすべての後続の非RASLピクチャを正しく復号する)ことが可能である。
Figure 2023522224000015
Figure 2023522224000016
7.4.3.4 ピクチャパラメータセット意味論
...
1に等しいmixed_nalu_types_nalu_pic_flagは、PPSを参照する各ピクチャが2つ以上のVCL NALユニットを有し、VCL NALユニットがnal_unit_typeの同じ値を有さない[[ピクチャがIRAPピクチャでない]]ことを規定する。0に等しいmixed_nalu_types_in_pic_flagは、PPSを参照する各ピクチャが1つ以上のVCL NALユニットを有し、PPSを参照する各ピクチャのVCL NALがnal__unit_typeの同じ値を有することを規定する。
no_mixed_nalu_types_in_pic_constraint_flagが1に等しい場合は、mixed_nalu_types_in_pic_flagの値は0に等しいものとする。
[[nal_unit_type値nalUnitTypeAがIDR_W_RADL~CRA_NUTの範囲内にある各スライスで、nal_unit_typeの別の値を有する1つ以上のスライスをも含むpicA(すなわち、ピクチャpicAのmixed_nalu_types_in_pic_flagの値が1に等しい)において、下記が適用される。
- このスライスは、対応するsubpic_treated_as_pic_flag[i]の値が1に等しいサブピクチャsubpicAに属するものとする。
- このスライスは、nal_unit_typeがnalUnitTypeAに等しくないVCL NALユニットを含むpicAのサブピクチャに属さないものとする。
- nalUnitTypeAがCRAに等しい場合、復号順序および出力順序でCLVSにおける現在のピクチャに後続するすべてのPUのために、それらのPUにおけるsubpicAにおけるスライスのRefPicList[0]およびRefPicList[1]は、アクティブエントリにおける復号順でpicAに先行するいずれのピクチャも含まないものとする。
- そうでない場合(すなわち、nalUnitTypeAがIDR_W_RADLまたはIDR_N_LPである)、復号順において現在のピクチャに続くCLVSにおけるすべてのPUについて、これらのPUにおけるsubpicAにおけるスライスのRefPicList[0]とRefPicList[1]のいずれも、アクティブエントリにおいて復号順でpicAに先行する任意のピクチャを含まないものとする。]]
注1- 1に等しいmixed_nalu_types_in_pic_flagは、PPSを参照するピクチャが、異なるNALユニットタイプを有するスライスを含み、例えば、サブピクチャビットストリームマージ演算に由来するコーディングされたピクチャであり、ビットストリーム構造のマッチングと更に元のビットストリームのパラメータのアラインメントとを確実にしなければならないことを示す。このようなアラインメントの一例は、以下のようである。sps_idr_rpl_present_flagの値が0に等しく、mixed_nalu_types_in_pic_flagが1に等しい場合は、PPSを参照するピクチャは、nal_unit_typeがIDR_W_RADLまたはIDR_N__LPと等しいスライスを有することはできない。
...
7.4.3.7 ピクチャヘッダ構造意味論
Figure 2023522224000017
8.3.2 参照ピクチャリスト構築のための復号処理
...
ビットストリーム適合性の要件は、以下の制約が適用されることである。
- 各iが0または1に等しい場合、num_ref_entries[i][RplsIdx[i]]は、NumRefIdxActive[i]よりも小さくてはならない。
- RefPicList[0]またはRefPicList[1]の各アクティブエントリによって参照されるピクチャは、DPBに含まれ、かつ現在のピクチャのTemporalId以下とする。
- RefPicList[0]またはRefPicList[1]の各エントリによって参照されるピクチャは、現在のピクチャではなく、0に等しいnon_reference_picture_flagを有するものとする。
- ピクチャのスライスのRefPicList[0]またはRefPicList[1]におけるSTRPエントリと、同じピクチャの同じスライスまたは異なるスライスのRefPicList[0]またはRefPicList[1]におけるLTRPエントリとは、同じピクチャを参照しないものとする。
- 現在のピクチャのPicOrderCntValとエントリにより参照されるピクチャのPicOrderCntValとの差分が224以上であるRefPicList[0]またはRefPicList[1]において、LTRPエントリはないものとする。
- setOfRefPicsは、RefPicList[0]において現在のピクチャと同じnuh_layer_idを有する全てのエントリと、RefPicList[1]において現在のピクチャと同じnuh_layer_idを有する全てのエントリとにより参照される固有のピクチャのセットである。setOfRefPicsにおけるピクチャの数は、MaxDpbSize-1以下であるものとする。ここで、MaxDpbSizeは、A.4.2項に規定されるとおりであり、setOfRefPicsは、ピクチャの全てのスライスで同一である。
- 現在のスライスがSTSA_NUTに等しいnal_unit_typeを有する場合、現在のピクチャのものとTemporalIdが等しく、かつnuh_layer_idが現在のピクチャのものと等しいRefPicList[0]またはRefPicList[1]においてアクティブエントリが存在しないものとする。
- 現在のピクチャが、復号順において、現在のピクチャのものとTemporalIdが等しく、かつ現在のピクチャのものとnuh_layer_idが等しいSTSAピクチャの後に続くピクチャである場合、復号順において、STSAピクチャに先行し、現在のピクチャのものとTemporalIdが等しく、かつ現在のピクチャのものとnuh_layer_idが等しいピクチャは、RefPicList[0]またはRefPicList[1]にアクティブエントリとして含まれるピクチャはないものとする。
Figure 2023522224000018
- 特定の値layerIdに等しいnuh_layer_idを有する現在のピクチャがCRAピクチャである場合、RefPicList[0]またはRefPicList[1]のエントリにて参照されるピクチャであって、復号順においてlayerIdに等しいnuh_layer_idを有する先行IRAPピクチャに(存在する場合)、出力順または復号順において先行するピクチャはないものとする。
Figure 2023522224000019
- nuh_layer_idが特定値layerIdに等しい現在のピクチャは、NoOutputBeforeRecoveryFlagが1に等しいCRAピクチャに関連付けられたRASLピクチャ、NoOutputBeforeRecoveryFlagが1に等しいGDRピクチャ、または、NoOutputBeforeRecoveryFlagが1に等しくnuh_layer_idがlayerIdに等しいGDRピクチャのリカバリングピクチャではない場合、RefPicList[0]またはRefPicList[1]のアクティブエントリにより参照されるピクチャであって、利用不可能な参照ピクチャを生成するための復号処理で生成されたピクチャが、ないものとする。
Figure 2023522224000020
- 現在のピクチャは、nuh_layer_idを特定値layerIdに等しく、NoOutputBeforeRecoveryFlagが1に等しいCRAピクチャ、復号順において、NoOutputBeforeRecoveryFlagが1に等しい同一のCRAピクチャに関連付けられた先頭ピクチャに先行するピクチャ、NoOutputBeforeRecoveryFlagが1に等しいCRAピクチャに関連付けられた先頭サブピクチャ、NoOutputBeforeRecoveryFlagが1に等しいGDRピクチャ、またはNoOutputBeforeRecoveryFlagが1に等しくnuh_layer_idがlayerIdに等しいGDRピクチャの復元ピクチャでない場合、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャであって、利用不可能な参照ピクチャを生成するための復号処理によって生成されたピクチャは、ないものとする。
Figure 2023522224000021
- 現在のピクチャが、IRAPピクチャに関連付けられ、かつIRAPピクチャに出力順において続く場合、RefPicList[0]またはRefPicList[1]のアクティブエントリにより参照されるピクチャであって、出力順または復号順において、関連付けられたIRAPピクチャに先行するピクチャは、ないものとする。
Figure 2023522224000022
- 現在のピクチャが、IRAPピクチャに関連付けられ、出力順においてIRAPピクチャに続き、かつ、復号順および出力順の両方において、同一のIRAPピクチャに関連付けられた先頭ピクチャに続く場合、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャであって、出力順または復号順において、関連付けられたIRAPピクチャに先行するピクチャは、ないものとする。
Figure 2023522224000023
- 現在のピクチャがRADLピクチャである場合、RefPicList[0]またはRefPicList[1]に以下のいずれかに該当するアクティブエントリはないものとする。
o RASLピクチャ
o 関連付けられたIRAPピクチャに復号順において先行するピクチャ
Figure 2023522224000024
- 現在のピクチャのスライスのRefPicList[0]またはRefPicList[1]における各ILRPエントリにより参照されるピクチャは、現在のピクチャと同じAU内にあるものとする。
- 現在のピクチャのスライスのRefPicList[0]またはRefPicList[1]における各ILRPエントリにより参照されるピクチャは、DPBに存在し、かつ現在のピクチャのものよりも小さいnuh_layer_idを有するものとする。
- スライスのRefPicList[0]またはRefPicList[1]における各ILRPエントリは、アクティブエントリであるものとする。
図5は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1900を示すブロック図である。様々な実装形態は、システム1900のコンポーネントの一部または全部を含んでもよい。システム1900は、映像コンテンツを受信するための入力ユニット1902を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチコンポーネント画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力ユニット1902は、ネットワークインタフェース、周辺バスインタフェース、または記憶インタフェースを表してもよい。ネットワークインタフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インタフェース、およびWi-Fiまたはセルラーインタフェース等の無線インタフェースを含む。
システム1900は、本明細書に記載される様々なコーディングまたは符号化方法を実装することができるコーディングコンポーネント1904を含んでもよい。コーディングコンポーネント1904は、入力1902からの映像の平均ビットレートをコーディングコンポーネント1904の出力に低減し、映像のコーディング表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像トランスコーディング技術と呼ばれることがある。コーディングコンポーネント1904の出力は、コンポーネント1906によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力1902において受信された、記憶されたまたは通信された映像のビットストリーム(またはコーディングされた)表現は、コンポーネント1908によって使用されて、表示インタフェース1910に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダで使用され、対応する復号ツールまたは動作であり符号化の結果を逆にするものは、デコーダによって行われることが理解されよう。
周辺バスインタフェースまたは表示インタフェースの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインタフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインタフェースの例は、SATA(Serial Advanced Technology Attachment)、PCI、IDEインタフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
図6は、映像処理装置3600のブロック図である。装置3600は、本明細書に記載の方法の1または複数を実装するために使用されてもよい。装置3600は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよい。装置3600は、1つ以上の処理装置3602と、1つ以上のメモリ3604と、映像処理ハードウェア3606と、を含んでもよい。1つまたは複数の処理装置3602は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)3604は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア3606は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
図8は、本開示の技法を利用し得る例示的な映像符号化システム100を示すブロック図である。
図8に示すように、映像符号化システム100は、送信元デバイス110と、送信先デバイス120と、を備えてもよい。送信元デバイス110は、符号化映像データを生成するものであり、映像符号化機器とも称され得る。送信先デバイス120は、送信元デバイス110によって生成された符号化映像データを復号してよく、映像復号デバイスとも呼ばれ得る。
送信元デバイス110は、映像ソース112と、映像エンコーダ114と、入出力(I/O)インタフェース116と、を備えてもよい。
映像ソース112は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインタフェース、および/または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、1または複数のピクチャを含んでもよい。映像エンコーダ114は、映像ソース112からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディング表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディング表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。I/Oインタフェース116は、変復調器(モデム)および/または送信機を含んでもよい。符号化された映像データは、ネットワーク130aを介して、I/Oインタフェース116を介して送信先デバイス120に直接送信されてよい。符号化された映像データは、送信先デバイス120がアクセスするために、記録媒体/サーバ130bに記憶してもよい。
送信先デバイス120は、I/Oインタフェース126、映像デコーダ124、および表示デバイス122を含んでもよい。
I/Oインタフェース126は、受信機および/またはモデムを含んでもよい。I/Oインタフェース126は、送信元デバイス110または記憶媒体/サーバ130bから符号化された映像データを取得してもよい。映像デコーダ124は、符号化された映像データを復号してもよい。表示デバイス122は、復号された映像データをユーザに表示してもよい。表示デバイス122は、送信先デバイス120と一体化されてもよく、または外部表示デバイスとインタフェースで接続するように構成される送信先デバイス120の外部にあってもよい。
映像エンコーダ114および映像デコーダ124は、高効率映像コーディング(HEVC)規格、汎用映像コーディング(VVVM)規格、および他の現在のおよび/またはさらなる規格等の映像圧縮規格に従って動作してもよい。
図9は、映像エンコーダ200の一例を示すブロック図であり、この映像エンコーダ200は、図8に示されるシステム100における映像エンコーダ114であってもよい。
映像エンコーダ200は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図9の実施例において、映像エンコーダ200は、複数の機能性コンポーネントを含む。本開示で説明される技法は、映像エンコーダ200の様々なコンポーネント間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
映像エンコーダ200の機能性コンポーネントは、分割ユニット201、予測ユニット202を含んでもよく、予測ユニット202は、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205、およびイントラ予測ユニット206、残差生成ユニット207、変換ユニット208、量子化ユニット209、逆量子化ユニット210、逆変換ユニット211、再構成ユニット212、バッファ213、およびエントロピー符号化ユニット214を含んでもよい。
他の例において、映像エンコーダ200は、より多くの、より少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測ユニット202は、イントラブロックコピー(IBC)ユニットを含んでもよい。IBCユニットは、少なくとも1つの参照ピクチャが現在の映像ブロックが位置するピクチャであるIBCモードにおいて予測を行うことができる。
さらに、動き推定ユニット204および動き補償ユニット205などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図9の例においては別個に表現されている。
分割ユニット201は、ピクチャを1つ以上の映像ブロックに分割してもよい。映像エンコーダ200および映像デコーダ300は、様々な映像ブロックサイズをサポートしてもよい。
モード選択ユニット203は、例えば、誤りの結果に基づいて、イントラまたはインターのコーディングモードのうちの1つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成ユニット207に供給し、残差ブロックデータを生成して再構成ユニット212に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択ユニット203は、インター予測信号およびイントラ予測信号に基づいて予測を行うCIIP(Combination of Intra and Inter Prediction)モードを選択してもよい。モード選択ユニット203は、インター予測の場合、ブロックのために動きベクトルの解像度(例えば、サブピクセルまたは整数ピクセル精度)を選択してもよい。
現在の映像ブロックに対してインター予測を行うために、動き推定ユニット204は、バッファ213からの1つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックのために動き情報を生成してもよい。動き補償ユニット205は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ213からのピクチャの動き情報および復号されたサンプルに基づいて、現在の映像ブロックのための予測映像ブロックを判定してもよい。
動き推定ユニット204および動き補償ユニット205は、現在の映像ブロックがIスライスであるか、Pスライスであるか、またはBスライスであるかによって、例えば、現在の映像ブロックに対して異なる動作を行ってもよい。
いくつかの例において、動き推定ユニット204は、現在の映像ブロックに対して単一方向予測を行い、動き推定ユニット204は、現在の映像ブロックに対して、参照映像ブロック用のリスト0またはリスト1の参照ピクチャを検索してもよい。そして、動き推定ユニット204は、参照映像ブロックを含むリスト0またはリスト1における参照ピクチャを示す参照インデックスと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルと、を生成する。動き推定ユニット204は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。
他の例において、動き推定ユニット204は、現在の映像ブロックを双方向予測してもよく、動き推定ユニット204は、リスト0における参照ピクチャの中から現在の映像ブロックを求めるための参照映像ブロックを検索してもよく、また、リスト1における参照ピクチャの中から現在の映像ブロックを求めるための別の参照映像ブロックを検索してもよい。そして、動き推定ユニット204は、参照映像ブロックを含むリスト0およびリスト1における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット204は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。
いくつかの例において、動き推定ユニット204は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。
いくつかの例では、動き推定ユニット204は、現在の映像のための動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット204は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット204は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していることを判定してもよい。
一例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ300に示す値を示してもよい。
他の例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差分(MVD;Motion Vector Difference)とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ300は、示された映像ブロックの動きベクトルおよび動きベクトル差分を使用して、現在の映像ブロックの動きベクトルを決定してもよい。
上述したように、映像エンコーダ200は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ200によって実装され得る予測信号通知技法の2つの例は、高度動きベクトル予測(AMVP)およびマージモード信号通知を含む。
イントラ予測ユニット206は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット206が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット206は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。
残差生成ユニット207は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって(例えば、マイナス符号によって示されている)、現在の映像ブロックのための残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。
他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成ユニット207は、減算動作を行わなくてもよい。
変換処理ユニット208は、現在の映像ブロックに関連付けられた残差映像ブロックに1つ以上の変換を適用することによって、現在の映像ブロックのための1つ以上の変換係数映像ブロックを生成してもよい。
変換処理ユニット208が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット209は、現在の映像ブロックに関連付けられた1つ以上の量子化パラメータ(QP:Quantization Parameter)値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
逆量子化ユニット210および逆変換ユニット211は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット212は、予測ユニット202によって生成された1つ以上の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ213に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。
再構成ユニット212が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。
エントロピー符号化ユニット214は、映像エンコーダ200の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット214がデータを受信すると、エントロピー符号化ユニット214は、1つ以上のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、1つの映像ブロックを処理する際にツールまたはモードを使用するまたは実装するが、ツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム(またはビットストリーム表現)への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリームから映像のブロックへの変換を行う。
図10は、映像デコーダ300の一例を示すブロック図であり、この映像デコーダ300は、図8に示すシステム100における映像デコーダ114であってもよい。
映像デコーダ300は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図10の実施例において、映像デコーダ300は、複数の機能コンポーネントを備える。本開示で説明される技法は、映像デコーダ300の様々なコンポーネント間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
図10の実施例において、映像デコーダ300は、エントロピー復号ユニット301、動き補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、および再構成ユニット306、並びにバッファ307を備える。映像デコーダ300は、いくつかの例では、映像エンコーダ200(図9)に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。
エントロピー復号ユニット301は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピー符号化された映像データ(例えば、映像データの符号化されたブロック)を含んでもよい。エントロピー復号ユニット301は、エントロピー符号化された映像データを復号し、エントロピー復号された映像データから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット302は、例えば、AMVPおよびマージモードを行うことで、このような情報を判定してもよい。
動き補償ユニット302は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。構文要素には、サブピクセルの精度で使用される補間フィルタのための識別子が含まれてもよい。
動き補償ユニット302は、映像ブロックの符号化中に映像エンコーダ200によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数画素のための補間値を計算してもよい。動き補償ユニット302は、受信した構文情報に基づいて、映像エンコーダ200が使用する補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してもよい。
動き補償ユニット302は、エンコードされた映像シーケンスのフレームおよび/またはスライスをエンコードするために使用されるブロックのサイズを判定するための構文情報、エンコードされた映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのようにエンコードされるかを示すモード、各インターエンコードされたブロックに対する1つ以上の参照フレーム(および参照フレームリスト)、およびエンコードされた映像シーケンスをデコードするための他の情報のいくつかを使用してもよい。
イントラ予測ユニット303は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット303は、ビットストリームに提供され、エントロピー復号ユニット301によって復号された量子化された映像ブロック係数を逆量子化(すなわち、逆量子化)する。逆変換ユニット303は、逆変換を適用する。
再構成ユニット306は、残差ブロックと、動き補償ユニット202またはイントラ予測ユニット303によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用してもよい。復号された映像ブロックは、バッファ307に記憶され、バッファ307は、後続の動き補償/イントラ予測のために参照ブロックを提供し、表示デバイスに表示するために復号された映像を生成する。
次に、いくつかの実施形態において好適な解決策を列挙する。
以下の解決策は、前章(例えば、項目1)で論じた技術の例示的な実施形態を示す。
1.映像処理方法(例えば、図7に示される方法700)であって、1つ以上のサブピクチャを含む映像と映像のコーディング表現との変換を行うこと(702)を含み、このコーディング表現は、1つ以上のサブピクチャを含む1つ以上のピクチャがネットワーク抽象化レイヤ(NAL)ユニットに従ってコーディング表現に含まれることを規定するフォーマット規則に準拠し、コーディング表現において示されるタイプNALユニットは、特定タイプのピクチャのコーディングされたスライスまたは特定タイプのサブピクチャのコーディングされたスライスを含む、方法。
以下の解決策は、前章(例えば、項目2)で論じた技術の例示的な実施形態を示す。
2.映像処理方法であって、1つ以上のサブピクチャを含む1つ以上のピクチャと、前記映像のコーディング表現と、の変換を行うことを含み、前記コーディング表現は、異なるネットワーク抽象レイヤユニットタイプを有する2つの隣接するサブピクチャが、ピクチャフラグとして扱われているサブピクチャの同一の表示を有することを規定するフォーマット規則に準拠する、方法。
以下の解決策は、前章(例えば、項目4、5、6、7、9、1、11、12)で論じた技術の例示的な実施形態を示す。
3.映像処理方法であって、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、映像のコーディング表現と、の変換を行うことを含み、このコーディング表現は、サブピクチャの第1のタイプの順序およびサブピクチャの第2のタイプの順序を定義するフォーマット規則に準拠し、第1のサブピクチャは、後端サブピクチャまたは先頭サブピクチャまたはランダムアクセススキップ先頭(RASL)サブピクチャタイプであり、第2のサブピクチャは、RASLタイプまたはランダムアクセス先頭(RADL)タイプまたは瞬時復号更新(IDR)タイプまたは漸次的復号更新(GDR)タイプのサブピクチャである、方法。
4.前記規則は、前記後端サブピクチャが、出力順において、関連付けられたイントラランダムアクセスポイントまたはGDRサブピクチャに続くことを規定する、解決策3に記載の方法。
5.前記規則は、ピクチャがイントラランダムアクセスポイントピクチャの先頭ピクチャである場合、このピクチャにおける全てのネットワーク抽象化レイヤユニットのnal_unit_type値がRADL_NUTまたはRASL_NUTに等しいことを規定する、解決策3に記載の方法。
6.前記規則は、IRAPサブピクチャの先頭サブピクチャである所与のサブピクチャが、RADLまたはRASLサブピクチャでなければならないことを規定する、解決策3に記載の方法。
7.前記規則は、RASLサブピクチャである所与のサブピクチャをIDRサブピクチャに関連付けることを許可しないことを規定する、解決策3に記載の方法。
8.前記規則は、IRAPサブピクチャと同一のレイヤIDおよびサブピクチャインデックスを有する所与のサブピクチャは、出力順において、IRAPサブピクチャおよびその関連付けられた全てのRADLサブピクチャに先行しなければならないことを規定する、解決策3に記載の方法。
9.前記規則は、GDRサブピクチャと同一のレイヤIDおよびサブピクチャインデックスを有する所与のサブピクチャは、出力順において、GDRサブピクチャおよびその関連付けられた全てのRADLサブピクチャに先行しなければならないことを規定する、解決策3に記載の方法。
10.前記規則は、CRAサブピクチャに関連付けられRASLサブピクチャである所与のサブピクチャが、CRAサブピクチャに関連付けられた全てのRADLサブピクチャに出力順において先行することを規定する、解決策3に記載の方法。
11.前記規則は、CRAサブピクチャに関連付けられたRASLサブピクチャである所与のサブピクチャが、CRAサブピクチャに関連付けられた全てのIRAPサブピクチャに出力順において先行することを規定する、解決策3に記載の方法。
12.前記規則は、所与のサブピクチャがIRAPサブピクチャを有する先頭サブピクチャであり、所与のサブピクチャが、IRAPピクチャに関連付けられた全ての非先頭サブピクチャに復号順において先行することを規定する、解決策3に記載の方法。
以下の解決策は、前章(例えば、項目8、14、15)で論じた技術の例示的な実施形態を示す。
13.映像処理方法であって、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のコーディング表現と、の変換を行うことを含み、このコーディング表現は、第1のタイプのサブピクチャが第2のタイプのサブピクチャとともに生じることを許可するまたは許可しないことを条件と定義するフォーマット規則に準拠する、方法。
14.前記規則は、ネットワーク抽象化レイヤタイプIDR_N_LPのIDRサブピクチャがある場合、コーディング表現はRADPサブピクチャを持つことが許可されないことを規定する、解決策13に記載の方法。
15.前記規則は、段階的時間的サブレイヤアクセス(STSA)サブピクチャを含むピクチャの参照リストにピクチャを含めることを許可せず、このピクチャがSTSAサブピクチャを含むピクチャに先行する、解決策13に記載の方法。
16.前記規則は、イントラランダムアクセスポイント(IRAP)サブピクチャを含むピクチャの参照リストにピクチャを含めることを許可せず、このピクチャがIRAPサブピクチャを含むピクチャに先行する、解決策13に記載の方法。
以下の解決策は、前章(例えば、項目21から26)で論じた技術の例示的な実施形態を示す。
17.1つ以上のサブピクチャを含む1つ以上の映像ピクチャを含む映像と、この映像のコーディング表現との間の変換を行うことを含み、前記コーディング表現が、規則に従った順序で1つ以上の映像ピクチャのレイヤを含む、映像処理方法。
以下の解決策は、前章(例えば、項目21)で論じた技術の例示的な実施形態を示す。
18.前記規則は、タイプイントラランダムアクセスポイントの先頭ピクチャでないサブピクチャは、ランダムアクセス復号可能先頭(RADL)またはランダムアクセススキップ先頭(RASL)サブピクチャタイプを有することができないことを規定する、解決策17に記載の方法。
以下の解決策は、前章(例えば、項目22)で論じた技術の例示的な実施形態を示す。
19.第1のサブピクチャと第2のサブピクチャが同じレイヤに属し、同じサブピクチャインデックスを有する場合に、復号順においてリカバリポイントピクチャの第2のサブピクチャに先行する第1のサブピクチャは、出力順においても第2のサブピクチャに先行しなければならないと規定する、解決策17~18のいずれかに記載の方法。
以下の解決策は、前章(例えば、項目23)で論じた技術の例示的な実施形態を示す。
20.規則は、出力順または復号順において、クリーンランダムアクセス(CRA)サブピクチャに先行する参照ピクチャリストによって参照される映像ピクチャが、CRAサブピクチャと同じレイヤIDおよびサブピクチャインデックスを有するイントラランダムアクセスポイントサブピクチャを有することを指定する、解決手段17~19のいずれかに記載の方法。
以下の解決策は、前章(例えば、項目24)で論じた技術の例示的な実施形態を示す。
21.規則は、現在のサブピクチャが、復号順および出力順の両方において、同じ値のnuh_layer_idおよび同じ値のサブピクチャインデックスを有するイントラランダムアクセスポイント(IRAP)サブピクチャに続く場合、参照ピクチャリストのアクティブエントリによって参照されるピクチャが、出力順または復号順においてそのIRAPサブピクチャを含むピクチャに先行することが認められないことを規定する、解決策17~20のいずれかに記載の方法。
以下の解決策は、前章(例えば、項目25)で論じた技術の例示的な実施形態を示す。
22.規則は、現在のサブピクチャが、同じ値のnuh_layer_idおよび同じ値のサブピクチャインデックスを有するイントラランダムアクセスポイントIRAPサブピクチャおよびそのIRAPサブピクチャに関連する先頭サブピクチャに、復号順および出力順の両方で続く場合、出力順または復号順でそのIRAPサブピクチャを含むピクチャに先行する参照ピクチャリストのエントリによって参照されるピクチャが存在しないものと規定する、解決策17~21のいずれかに記載の方法。
以下の解決策は、前章(例えば、項目26)で論じた技術の例示的な実施形態を示す。
23.規則が、特定の値layerIdに等しいnuh_layer_idと特定の値subpicIdxに等しいサブピクチャインデックスとを有する現在のサブピクチャがRADLサブピクチャである場合、(a)サブピクチャインデックスがsubpicIdxに等しいRASLサブピクチャを含むlayerIdに等しいnuh_layer_idを持つピクチャ、または(b) 復号順で関連するIRAPサブピクチャを含むピクチャに先行するピクチャ、のいずれかである、参照ピクチャリストにおけるアクティブエントリがないものとすることを規定する、解決策17~22のいずれかに記載の方法。
24.前記変換は、映像をコーディング表現に符号化することを含む、解決策1~23のいずれかに記載の方法。
25.前記変換は、映像の画素値を生成するためにコーディング表現を復号することを含む、解決策1~23のいずれかに記載の方法。
26.解決策1~25の1つ以上に記載の方法を実装するように構成された処理装置を備える、映像復号装置。
27.解決策1~25の1つ以上に記載の方法を実装するように構成された処理装置を備える、映像符号化装置。
28.コンピュータコードが記憶されたコンピュータプログラム製品であって、コードは、処理装置により実行されると、処理装置に、解決策1~25のいずれかに記載の方法を実装させるコンピュータプログラム製品。
29.本明細書に記載の方法、装置またはシステム。
本明細書に記載の解決策において、エンコーダは、フォーマット規則に従ってコーディング表現を生成することで、フォーマット規則に準拠することができる。本明細書に記載の解決策において、デコーダは、フォーマット規則に従って、構文要素の有無を知りつつ、コーディング表現における構文要素を構文解析することで、復号された映像を生成するために、このフォーマット規則を使用してもよい。
図11は、映像処理の方法1100の一例を示すフローチャートを示す。動作1102は、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、サブピクチャがイントラランダムアクセスポイントサブピクチャの先頭サブピクチャでないことに呼応して、このサブピクチャがランダムアクセスタイプのサブピクチャにはなり得ないことを規定するフォーマット規則に準拠し、この先頭サブピクチャは出力順でイントラランダムアクセスポイントサブピクチャに先行する。
方法1100のいくつかの実施形態において、イントラランダムアクセスポイントサブピクチャは、すべての映像コーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットが、IDR_W_RADL~CRA_NUTの範囲内のNALユニットタイプの同じ値を有するサブピクチャである。方法1100のいくつかの実施例において、ランダムアクセスタイプのサブピクチャは、ランダムアクセス復号可能な先頭サブピクチャを含む。方法1100のいくつかの実施形態において、ランダムアクセス復号可能先頭サブピクチャは、各映像コーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットがRADL_NUTに等しいNALユニットタイプを有するサブピクチャである。方法1100のいくつかの実施例において、ランダムアクセスタイプのサブピクチャは、ランダムアクセススキップ先頭サブピクチャを含む。方法1100のいくつかの実施形態において、ランダムアクセススキップ先頭サブピクチャは、各映像コーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)がRASL_NUTに等しいNALユニットタイプを有するサブピクチャである。
図12は、映像処理の方法1200の一例を示すフローチャートを示す。動作1202は、複数のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームはフォーマット規則に準拠し、このフォーマット規則は、第1のサブピクチャと第2のピクチャが同じネットワーク抽象化レイヤ(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有し、かつ第1のサブピクチャが第2のサブピクチャに復号順で先行することに呼応して、リカバリポイントピクチャにおいて第1のサブピクチャが第2のサブピクチャに先行することを規定する。
図13は、映像処理の方法1300の一例を示すフローチャートを示す。動作1302は、現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームはフォーマット規則に準拠し、このフォーマット規則はピクチャがこのビットストリーム内で示される順序を規定し、このフォーマット規則は、現在のスライスの参照ピクチャリストのエントリが、現在のピクチャに第2の順序に従って先行する第2のピクチャに第1の順序に従って先行する第1のピクチャを含むことを禁止し、この第2のピクチャは、現在のサブピクチャと同じネットワーク抽象化ユニット(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有するイントラランダムアクセスポイントサブピクチャを含み、現在のサブピクチャはクリーンランダムアクセスサブピクチャである。
方法1300のいくつかの実施例において、第1の順序は復号順または出力順を含む。方法1300のいくつかの実施例において、第2の順序は復号順を含む。方法1300のいくつかの実施例において、参照ピクチャリストは、List0参照ピクチャリストを含む。方法1300のいくつかの実施例において、参照ピクチャリストは、List1参照ピクチャリストを含む。方法1300のいくつかの実施形態において、クリーンランダムアクセスサブピクチャは、各映像コーディングレイヤ(VCL)NALユニットがCRA_NUTに等しいNALユニットタイプを有するイントラランダムアクセスポイントサブピクチャである。
図14は、映像処理の方法1400の一例を示すフローチャートを示す。動作1402は、この方法は、現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームはフォーマット規則に準拠し、このフォーマット規則は、ピクチャがこのビットストリームにおいて示される順序を規定し、このフォーマット規則は、現在のスライスの参照ピクチャリストのアクティブエントリが、第1の順序に従って第2のピクチャに先行する第1のピクチャを含むことを禁止し、この第2のピクチャが、現在のサブピクチャと同じネットワーク抽象化ユニット(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有するイントラランダムアクセスポイントサブピクチャを含み、現在のサブピクチャは、第2の順序でイントラランダムアクセスポイントサブピクチャに後続する。
方法1400のいくつかの実施例において、第1の順序は復号順または出力順を含む。方法1400の実施形態において、アクティブエントリは、現在のスライスのインター予測において参照インデックスとして使用されるために利用可能なエントリに対応する。方法1400のいくつかの実施例において、第2の順序は復号順および出力順を含む。方法1400のいくつかの実施例において、参照ピクチャリストは、List0参照ピクチャリストを含む。方法1400のいくつかの実施例において、参照ピクチャリストは、List1参照ピクチャリストを含む。
図15は、映像処理の方法1500の一例を示すフローチャートを示す。動作1502は、現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームはフォーマット規則に準拠し、このフォーマット規則は、ピクチャがこのビットストリームにおいて示される順序を規定し、このフォーマット規則は、現在のスライスの参照ピクチャリストのエントリが、第1の順序または第2の順序に従って第2のピクチャに先行する第1のピクチャを含むことを禁止し、第2のピクチャは、0以上の関連する先頭サブピクチャを有しかつ現在のサブピクチャと同じネットワーク抽象化ユニット(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有するイントラランダムアクセスポイントサブピクチャを含み、現在のサブピクチャが、第1の順序および第2の順序においてイントラランダムアクセスポイントサブピクチャおよび0以上の関連する先頭サブピクチャに後続する。
方法1500のいくつかの実施例において、第1の順序は復号順を含む。方法1500のいくつかの実施例において、第2の順序は出力順を含む。方法1500のいくつかの実施例において、参照ピクチャリストは、List0参照ピクチャリストを含む。方法1500のいくつかの実施例において、参照ピクチャリストは、List1参照ピクチャリストを含む。
図16は、映像処理の方法1600の一例を示すフローチャートを示す。動作1602は、現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、現在のサブピクチャが、ランダムアクセス復号可能先頭サブピクチャであることに呼応して、現在のスライスの参照ピクチャリストのアクティブエントリが、現在のサブピクチャのものと同じサブピクチャインデックスを有するランダムアクセススキップ先頭サブピクチャを含む第1のピクチャ、および、ランダムアクセス復号可能先頭サブピクチャに関連するイントラランダムアクセスポイントサブピクチャを含む第3のピクチャに復号順で先行する第2のピクチャ、のいずれか1つ以上を含むことを禁止されることを規定するフォーマット規則に準拠する。
方法1600の実施形態において、アクティブエントリは、現在のスライスのインター予測において参照インデックスとして使用されるために利用可能なエントリに対応する。方法1600のいくつかの実施例において、参照ピクチャリストは、List0参照ピクチャリストを含む。方法1600のいくつかの実施例において、参照ピクチャリストは、List1参照ピクチャリストを含む。
方法1100~1600のいくつかの実施形態において、変換を実行することは、映像をビットストリームに符号化することを含む。方法1100~1600のいくつかの実施形態において、変換を実行することは、映像からビットストリームを生成することを含み、方法は、ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む。方法1100~1600のいくつかの実施形態において、変換を実行することは、ビットストリームから映像を復号することを含む。
いくつかの実施形態において、映像復号装置は、方法1100~1600の動作を実装するように構成された処理装置を含む。いくつかの実施形態において、映像符号化装置は、方法1100~1600の動作を実装するように構成された処理装置を含む。いくつかの実施形態において、コンピュータ命令が記憶されたコンピュータプログラム製品は、処理装置により実行されることにより、処理装置に方法1100~1600に説明された動作を実装させる。いくつかの実施形態において、非一時的なコンピュータ可読記憶媒体は、方法1100~1600に説明された動作に従って生成されたビットストリームを記憶する。いくつかの実施形態において、非一時的なコンピュータ可読記憶媒体は、処理装置に方法1100~1600に説明された動作を実装させる命令を記憶する。いくつかの実施形態において、ビットストリーム生成方法は、方法1100~1600に説明された動作に従って映像のビットストリームを生成ことと、このビットストリームをコンピュータ可読プログラム媒体に記憶することと、を含む。いくつかの実施形態は、本願明細書で説明する方法、装置、開示された方法に従って生成されたビットストリーム、またはシステムを含む。
本明細書では、「映像処理」という用語は、映像符号化、映像復号、映像圧縮、または映像展開を指してよい。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から、かつビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文フィールドをコーディング表現に含めるか、またはコーディング表現から除外することによって、それに応じてコーディング表現を生成してもよい。
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1または複数のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。コンピュータプログラムを、1つのコンピュータで実行するように展開することができ、あるいは、1つのサイトに位置する、または複数のサイトにわたって分散され通信ネットワークによって相互接続される複数のコンピュータで実行するように展開することができる。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置(プロセッサ)は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための1または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および実施例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
関連出願の相互参照
願は、2021年4月19日出願の国際特許出願第PCT/US2021/027963号に基づくものであり、2020年4月20日出願の米国特許仮出願第63/012713号の優先権および利益を主張する。前述のすべての特許出願は、その全体が参照により本明細書に組み込まれる。

Claims (38)

  1. 映像処理方法であって、
    1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、前記映像のビットストリームとの間の変換を行うことを含み、
    前記ビットストリームは、サブピクチャがイントラランダムアクセスポイントサブピクチャの先頭サブピクチャでないことに呼応して、サブピクチャがランダムアクセスタイプのサブピクチャにはなり得ないことを規定するフォーマット規則に準拠し、
    前記先頭サブピクチャは、出力順で前記イントラランダムアクセスポイントサブピクチャに先行する、
    方法。
  2. 前記イントラランダムアクセスポイントサブピクチャは、すべての映像コーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットが、IDR_W_RADLからCRA_NUTの範囲内のNALユニットタイプの同じ値を有するサブピクチャである、
    請求項1に記載の方法。
  3. 前記ランダムアクセスタイプのサブピクチャは、ランダムアクセス復号可能な先頭サブピクチャを含む、
    請求項1に記載の方法。
  4. 前記ランダムアクセス復号可能な先頭サブピクチャは、各映像コーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットが、RADL_NUTに等しいNALユニットタイプを有するサブピクチャである、
    請求項3に記載の方法。
  5. 前記ランダムアクセスタイプのサブピクチャは、ランダムアクセススキップ先頭サブピクチャを含む、
    請求項1に記載の方法。
  6. 前記ランダムアクセススキップ先頭サブピクチャは、各映像コーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)がRASL_NUTに等しいNALユニットタイプを有するサブピクチャである、
    請求項5に記載の方法。
  7. 映像処理方法であって、
    複数のサブピクチャを含む1つ以上のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うことを含み、
    前記ビットストリームは、第1のサブピクチャおよび第2のサブピクチャが同じネットワーク抽象化レイヤ(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスとを有し、かつ、前記第1のサブピクチャが前記第2のサブピクチャに復号順で先行することに呼応して、リカバリポイントピクチャにおいて前記第1のサブピクチャが前記第2のサブピクチャに先行することを規定するフォーマット規則に準拠する、
    方法。
  8. 映像処理方法であって、
    現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うことを含み、
    前記ビットストリームはフォーマット規則に準拠し、
    前記フォーマット規則は、ピクチャが前記ビットストリームにおいて示される順序を規定し、
    前記フォーマット規則は、前記現在のスライスの参照ピクチャリストのエントリが、前記現在のピクチャに第2の順序に従って先行する第2のピクチャに第1の順序に従って先行する第1のピクチャを含むことを禁止し、
    前記第2のピクチャは、前記現在のサブピクチャと同じネットワーク抽象化ユニット(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有するイントラランダムアクセスポイントサブピクチャを含み、
    前記現在のサブピクチャはクリーンランダムアクセスサブピクチャである、
    方法。
  9. 前記第1の順序は復号順または出力順を含む、
    請求項8に記載の方法。
  10. 前記第2の順序は復号順を含む、
    請求項8~9のいずれかに記載の方法。
  11. 前記参照ピクチャリストは、List0参照ピクチャリストを含む、
    請求項8~10のいずれかに記載の方法。
  12. 前記参照ピクチャリストは、List1参照ピクチャリストを含む、
    請求項8~10のいずれかに記載の方法。
  13. 前記クリーンランダムアクセスサブピクチャは、各映像コーディングレイヤ(VCL)NALユニットがCRA_NUTに等しいNALユニットタイプを有するイントラランダムアクセスポイントサブピクチャである、
    請求項8~12のいずれかに記載の方法。
  14. 映像処理方法であって
    現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うことを含み、
    前記ビットストリームはフォーマット規則に準拠し、
    前記フォーマット規則は、ピクチャが前記ビットストリームにおいて示される順序を規定し、
    前記フォーマット規則は、前記現在のスライスの参照ピクチャリストのアクティブエントリが、第1の順序に従って第2のピクチャに先行する第1のピクチャを含むことを禁止し、
    前記第2のピクチャは、現在のサブピクチャと同じネットワーク抽象化ユニット(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有するイントラランダムアクセスポイントサブピクチャを含み、
    前記現在のサブピクチャは、第2の順序で前記イントラランダムアクセスポイントサブピクチャに後続する、
    方法。
  15. 前記第1の順序は復号順または出力順を含む、
    請求項14に記載の方法。
  16. アクティブエントリは、現在のスライスのインター予測において参照インデックスとして使用されるために利用可能なエントリに対応する、
    請求項14と15のいずれかに記載の方法。
  17. 前記第2の順序は復号順および出力順を含む、
    請求項14に記載の方法。
  18. 前記参照ピクチャリストは、List0参照ピクチャリストを含む、
    請求項14~17のいずれかに記載の方法。
  19. 前記参照ピクチャリストは、List1参照ピクチャリストを含む、
    請求項14~17のいずれかに記載の方法。
  20. 映像処理方法であって
    現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うことを含み、
    前記ビットストリームはフォーマット規則に準拠し、
    前記フォーマット規則は、ピクチャが前記ビットストリームにおいて示される順序を規定し、
    前記フォーマット規則は、現在のスライスの参照ピクチャリストのエントリが、第1の順序または第2の順序に従って第2のピクチャに先行する第1のピクチャを含むことを禁止し、
    前記第2のピクチャは、0以上の関連する先頭サブピクチャを有し、前記現在のサブピクチャと同じネットワーク抽象化ユニット(NAL)ユニットのレイヤ識別子と同じサブピクチャインデックスを有するイントラランダムアクセスポイントサブピクチャを含み、
    前記現在のサブピクチャは、前記第1の順序および前記第2の順序において前記イントラランダムアクセスポイントサブピクチャおよび前記0以上の関連する先頭サブピクチャに後続する、
    方法。
  21. 前記第1の順序は復号順を含む、
    請求項20に記載の方法。
  22. 前記第2の順序は出力順を含む、
    請求項20に記載の方法。
  23. 前記参照ピクチャリストは、List0参照ピクチャリストを含む、
    請求項20~22のいずれかに記載の方法。
  24. 前記参照ピクチャリストは、List1参照ピクチャリストを含む、
    請求項20~22のいずれかに記載の方法。
  25. 映像処理方法であって
    現在のスライスを含む現在のサブピクチャを含む現在のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うことを含み、
    前記ビットストリームは、前記現在のサブピクチャがランダムアクセス復号可能先頭サブピクチャであることに呼応して、前記現在のスライスの参照ピクチャリストのアクティブエントリが、前記現在のサブピクチャのものと同じサブピクチャインデックスを有するランダムアクセススキップ先頭サブピクチャを含む第1のピクチャ、および、前記ランダムアクセス復号可能先頭サブピクチャに関連するイントラランダムアクセスポイントサブピクチャを含む第3のピクチャに復号順で先行する第2のピクチャ、のいずれか1つ以上を含むことを禁止されることを規定するフォーマット規則に準拠する、
    方法。
  26. 前記アクティブエントリは、前記現在のスライスのインター予測において参照インデックスとして使用されるために利用可能なエントリに対応する、
    請求項25に記載の方法。
  27. 前記参照ピクチャリストは、List0参照ピクチャリストを含む、
    請求項25に記載の方法。
  28. 前記参照ピクチャリストは、List1参照ピクチャリストを含む、
    請求項25に記載の方法。
  29. 前記変換を行うことは、前記映像を前記ビットストリームに符号化することを含む、
    請求項1~28のいずれかに記載の方法。
  30. 前記変換を行うことは、前記映像から前記ビットストリームを生成することを含み、
    前記方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、
    請求項1から28のいずれかに記載の方法。
  31. 前記変換を行うことは、前記ビットストリームから前記映像を復号することを含む、
    請求項1から28のいずれかに記載の方法。
  32. 請求項1から31の1項以上に記載の方法を実装するように構成される処理装置を備える、
    映像復号装置。
  33. 請求項1から31の1項以上に記載の方法を実装するように構成される処理装置を備える、
    映像符号化装置。
  34. コンピュータ命令が記憶されたコンピュータプログラム製品であって、
    前記命令は、処理装置により実行されると、前記処理装置に、請求項1から31のいずれかに記載の方法を実装させる、
    コンピュータプログラム製品。
  35. 請求項1から31のいずれか1項に記載の映像処理方法に従って生成されるビットストリームを記憶する、
    非一時的なコンピュータ可読記憶媒体。
  36. 非一時的なコンピュータ可読記憶媒体であって、
    請求項1から31のいずれかに記載の方法を処理装置に実装させる命令を記憶する、
    非一時的なコンピュータ可読記憶媒体。
  37. ビットストリーム生成方法であって、
    請求項1から31のいずれか1項に記載の方法に従って映像のビットストリームを生成することと、
    前記ビットストリームをコンピュータ可読プログラム媒体に記憶することと、を含む、
    方法。
  38. 本明細書に記載の開示された方法またはシステムに従って生成された方法、装置またはビットストリーム。
JP2022563090A 2020-04-20 2021-04-19 参照ピクチャリスト上の制約 Active JP7529795B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063012713P 2020-04-20 2020-04-20
US63/012,713 2020-04-20
PCT/US2021/027963 WO2021216448A1 (en) 2020-04-20 2021-04-19 Constraints on reference picture lists

Publications (2)

Publication Number Publication Date
JP2023522224A true JP2023522224A (ja) 2023-05-29
JP7529795B2 JP7529795B2 (ja) 2024-08-06

Family

ID=78269884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022563090A Active JP7529795B2 (ja) 2020-04-20 2021-04-19 参照ピクチャリスト上の制約

Country Status (7)

Country Link
US (2) US11889060B2 (ja)
EP (1) EP4122195A4 (ja)
JP (1) JP7529795B2 (ja)
KR (1) KR20230002395A (ja)
CN (1) CN115462070A (ja)
BR (1) BR112022021342A2 (ja)
WO (1) WO2021216448A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132963A1 (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 슬라이스 또는 픽처에 대한 nal 유닛 타입 기반 영상 또는 비디오 코딩

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE555475T1 (de) 2004-04-28 2012-05-15 Panasonic Corp Stream-erzeugungsvorrichtung für bewegliche bilder, kodierungsvorrichtung für bewegliche bilder, multiplex-vorrichtung für bewegliche bilder und decodierungsvorrichtung für bewegliche bilder
US8665968B2 (en) 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US9503702B2 (en) 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
US9979958B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US9736476B2 (en) 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US9491457B2 (en) 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US20140092953A1 (en) 2012-10-02 2014-04-03 Sharp Laboratories Of America, Inc. Method for signaling a step-wise temporal sub-layer access sample
WO2014059049A1 (en) 2012-10-09 2014-04-17 Rodriguez Arturo A Output management of prior decoded pictures at picture format transitions in bitstreams
US9325997B2 (en) 2012-11-16 2016-04-26 Huawei Technologies Co., Ltd Signaling scalability information in a parameter set
KR102431453B1 (ko) 2012-11-21 2022-08-11 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US20140218473A1 (en) 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9521393B2 (en) 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
US9998735B2 (en) * 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US9674533B2 (en) 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
CN105379277B (zh) 2013-07-15 2019-12-17 株式会社Kt 用于编码/解码可伸缩视频信号的方法和装置
US9860529B2 (en) 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
US10070125B2 (en) * 2013-07-31 2018-09-04 Nokia Technologies Oy Method and apparatus for video coding and decoding
WO2015125494A1 (en) 2014-02-21 2015-08-27 Sharp Kabushiki Kaisha System for temporal identifier handling for hybrid scalability
WO2015140401A1 (en) 2014-03-17 2015-09-24 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US20170105004A1 (en) 2015-10-07 2017-04-13 Qualcomm Incorporated Methods and systems of coding a predictive random access picture using a background picture
PT3925213T (pt) 2019-03-11 2023-11-03 Huawei Tech Co Ltd Restrições de imagens do tipo de unidades nal mistas
CN113853792A (zh) * 2019-05-11 2021-12-28 北京字节跳动网络技术有限公司 带有参考图片重采样的编解码工具
US11166033B2 (en) 2019-06-06 2021-11-02 Qualcomm Incorporated Adaptation parameter set in access unit in video coding
US11483558B2 (en) 2019-06-21 2022-10-25 Tencent America LLC Method for region-wise scalability with adaptive resolution change
US20210076074A1 (en) 2019-09-11 2021-03-11 Qualcomm Incorporated Maximum and minimum block sizes signaling at high level syntax for video coding and transform units
JP7414980B2 (ja) * 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
US11375232B2 (en) 2019-12-10 2022-06-28 Zte (Uk) Limited Sub picture signaling in video coding
CA3164485A1 (en) 2019-12-20 2021-06-24 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Decoder, encoder and methods for mixing nal units of different nal unit types in video streams
MX2022007897A (es) 2019-12-23 2022-09-26 Lg Electronics Inc Codificacion de imagen o video basada en informacion asociada a la unidad nal.
US11399188B2 (en) 2020-01-01 2022-07-26 Tencent America LLC Method for mixed NAL unit type support in a coded picture
CN115191118A (zh) * 2020-01-05 2022-10-14 抖音视界有限公司 在视频编解码中使用自适应颜色变换
KR20220156832A (ko) * 2020-03-21 2022-11-28 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 픽처 및 스케일러빌러티 조합

Also Published As

Publication number Publication date
JP7529795B2 (ja) 2024-08-06
US20230059682A1 (en) 2023-02-23
US11889060B2 (en) 2024-01-30
BR112022021342A2 (pt) 2022-12-13
WO2021216448A1 (en) 2021-10-28
KR20230002395A (ko) 2023-01-05
EP4122195A1 (en) 2023-01-25
CN115462070A (zh) 2022-12-09
EP4122195A4 (en) 2023-06-21
US20240137493A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
JP7420965B2 (ja) 隣接するサブピクチャのコーディング
US20240048689A1 (en) Sublayers information in video coding
JP2024075706A (ja) 参照ピクチャ順序の制約
WO2021257529A1 (en) Decoded picture buffer management and subpictures in video coding
CN115668924A (zh) 参考图片信息的约束
JP7529795B2 (ja) 参照ピクチャリスト上の制約
JP7518207B2 (ja) コーディングされた映像におけるnalユニットの順序
JP2023529422A (ja) 映像コーディングにおける補足強化情報メッセージのスケーラブルネスティング
JP2023526807A (ja) サブレイヤ数制限

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240725

R150 Certificate of patent or registration of utility model

Ref document number: 7529795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150