JP7457151B2 - スケーラブル映像コーディングにおけるランダムアクセスポイントアクセスユニット - Google Patents

スケーラブル映像コーディングにおけるランダムアクセスポイントアクセスユニット Download PDF

Info

Publication number
JP7457151B2
JP7457151B2 JP2022555718A JP2022555718A JP7457151B2 JP 7457151 B2 JP7457151 B2 JP 7457151B2 JP 2022555718 A JP2022555718 A JP 2022555718A JP 2022555718 A JP2022555718 A JP 2022555718A JP 7457151 B2 JP7457151 B2 JP 7457151B2
Authority
JP
Japan
Prior art keywords
video
unit
access unit
bitstream
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022555718A
Other languages
English (en)
Other versions
JP2023518046A (ja
Inventor
イェクイ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Publication of JP2023518046A publication Critical patent/JP2023518046A/ja
Application granted granted Critical
Publication of JP7457151B2 publication Critical patent/JP7457151B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
願は、2020年3月16日出願の米国特許仮出願第62/990387号の優先権および利益を主張する2021年3月15日出願の国際特許出願第PCT/US2021/022400の国内段階である記出願の開示全体は、本明細書の開示の一部として参照により援用される。
この特許明細書は、画像および映像コーディングおよび復号に関する。
デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
本明細書は、コーディングされた表現の復号に有用な制御情報を使用して、映像のコーディングされた表現を処理するために、映像エンコーダおよびデコーダにより使用できる、スケーラブル映像コーディングにおいて異なるアクセスユニットを構成することを含む技術を開示する。
1つの例示的な態様において、映像処理方法が開示される。この方法は、1つ以上の映像レイヤ内の1つ以上のピクチャを含む映像と映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、アクセスユニットがこのコーディングされた映像シーケンスを構成する映像レイヤごとにピクチャを含むかどうかを示す第1の構文要素をさらに含む。
別の例示的な態様において、映像処理方法が開示される。この方法は、1つ以上の映像レイヤ内の1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、所与のアクセスユニット内の各ピクチャが、この1つ以上の映像レイヤを含むこのコーディングされた映像シーケンスの第1のアクセスユニットのレイヤ識別子に等しいレイヤ識別子を担持することを規定するフォーマット規則に準拠する。
さらに別の例示的な態様において、映像処理方法が開示される。この方法は、1つ以上の映像レイヤ内の1つ以上のピクチャを含む映像と映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、この1つ以上のアクセスユニットのうち、新しいコーディングされた映像シーケンスを開始するアクセスユニットを示す第1の構文要素をさらに含む。
さらに別の例示的な態様において、映像処理方法が開示される。この方法は、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、新しいコーディングされた映像シーケンスを開始するコーディングされた映像シーケンス開始アクセスユニットが、映像パラメータセットに指定される映像レイヤごとにピクチャを含むことを規定するフォーマット規則に準拠する。
さらに別の例示的な態様において、映像処理方法が開示される。この方法は、1つ以上の映像レイヤ内の1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、ビットストリームにおける第1のアクセスユニットである所与のアクセスユニット、またはシーケンス終了ネットワーク抽象化レイヤユニットを含む所与のアクセスユニットの前のアクセスユニットに基づいて、所与のアクセスユニットをコーディングされた映像シーケンス開始アクセスユニットとして識別することを規定するフォーマット規則に準拠する。
さらに別の例示的な態様において、映像処理方法が開示される。この方法は、規則に基づいて、1つ以上の映像レイヤ内の1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、この規則は、この1つ以上のアクセスユニットのアクセスユニットがコーディングされた映像シーケンス開始アクセスユニットであるかどうかを示すためにサイド情報を使用することを規定する。
さらに別の例示的な態様において、映像処理方法が開示される。この方法は、1つ以上の映像レイヤ内の1つ以上のピクチャを含む映像と映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、漸次的復号リフレッシュアクセスユニットであるこの1つ以上のアクセスユニットの各アクセスユニットがこのコーディングされた映像シーケンスに存在する映像レイヤごとに正確に1つのピクチャを含むことを規定するフォーマット規則に準拠する。
さらに別の例示的な態様において、映像処理方法が開示される。この方法は、1つ以上の映像レイヤ内の1つ以上のピクチャを含む映像と映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、イントラランダムアクセスポイントアクセスユニットであるこの1つ以上のアクセスユニットの各アクセスユニットがこのコーディングされた映像シーケンスに存在する映像レイヤごとに正確に1つのピクチャを含むことを規定するフォーマット規則に準拠する。
さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成された処理装置を備える。
さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成された処理装置を備える。
さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の1つを処理装置が実行可能なコードの形式で実施する。
これらのおよび他の特徴は、本文書全体にわたって説明される。
本明細書で開示される様々な技術が実装され得る例示的な映像処理システムを示すブロック図である。 映像処理に使用されるハードウェアプラットフォームの例を示すブロック図である。 本開示のいくつかの実施形態を実装することができる例示的な映像コーディングシステムを示すブロック図である。 本開示のいくつかの実施形態を実装することができるエンコーダの例を示すブロック図である。 本開示のいくつかの実施形態を実装することができるデコーダの例を示すブロック図である。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。
本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、H.266という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。
1. 初期の協議
本明細書は、映像コーディング技術に関する。具体的には、それは、スケーラブル映像コーディングにおけるランダムアクセスポイントアクセスユニットの規定および信号通知に関するものであり、映像ビットストリームは、2つ以上のレイヤを含むことができる。この考えは、個々に又は様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているVVC(Versatile Video Coding)をサポートする任意の映像コーディング規格又は非標準映像コーデックに適用されてもよい。
2. 略語
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
AUD Access Unit Delimiter(アクセスユニット区切り文字)
AVC Advanced Video Coding(高度映像コーディング)
CLVS Coded Layer Video Sequence(コーディングされたレイヤ映像シーケンス)
CPB Coded Picture Buffer(コーディングされたピクチャバッファ)
CRA Clean Random Access(クリーンランダムアクセス)
CTU Coding Tree Unit(コーディングツリーユニット)
CVS Coded Video Sequence(コーディングされた映像シーケンス)
DCI Decoding Capability Information(復号能力情報)
DPB Decoded Picture Buffer(復号されたピクチャバッファ)
EOB End Of Bitstream(ビットストリーム終端)
EOS End Of Sequence(シーケンス終端)
GDR Gradual Decoding Refresh(漸次的復号リフレッシュ)
HEVC High Efficiency Video Coding(高効率映像コーディング)
HRD Hypothetical Reference Decoder(仮想参照デコーダ)
IDR Instantaneous Decoding Refresh(瞬時復号リフレッシュ)
JEM Joint Exploration Model(共同探索モデル)
MCTS Motion-Constrained Tile Sets(動き制約タイルセット)
NAL Network Abstraction Layer(ネットワーク抽象化レイヤ)
OLS Output Layer Set(出力レイヤセット)
PH Picture Header(ピクチャヘッダ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PTL Profile,Tier and Level(プロファイル、ティアおよびレベル)
PU Picture Unit(ピクチャユニット)
RAP Random Access Point(ランダムアクセスポイント)
RBSP Raw Byte Sequence Payload(ローバイトシーケンスペイロード)
SEI Supplemental Enhancement Information(補足強化情報)
SPS Sequence Parameter Set(シーケンスパラメータセット)
SVC Scalable Video Coding(スケーラブル映像コーディング)
VCL Video Coding Layer(映像コーディングレイヤ)
VPS Video Parameter Set(映像パラメータセット)
VTM VVC Test Model(VVC試験モデル)
VUI Video Usability Information(映像ユーザビリティ情報)
VVC Versatile Video Coding(汎用映像コーディング)
3. 映像コーディングの導入
映像コーディング規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、毎回のJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
3.1 HEVCおよびVVCにおけるランダムアクセスとそのサポート
ランダムアクセスとは、復号順でビットストリームの最初のピクチャでないピクチャからビットストリームのアクセスと復号を開始することを指す。ブロードキャスト/マルチキャストおよび複数人数によるビデオ会議におけるチューニングおよびチャネル切り替え、ローカル再生およびストリーミングにおける探索、並びにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含むことが必要であり、一般的に、イントラコーディングされたピクチャであるが、インターコーディングされたピクチャであってもよい(例えば、漸次的復号リフレッシュの場合)。
HEVCは、NALユニットタイプによって、NALユニットのヘッダ内のイントラランダムアクセスポイント(IRAP)のピクチャを信号通知することを含む。3つのタイプのIRAPピクチャ、即ち、instantaneous decoder refresh(IDR)、clean random access(CRA)、およびbroken link access(BLA)ピクチャがサポートされる。IDRピクチャは、インターピクチャ予測構造が現在のピクチャグループ(GOP)の前のどのピクチャも参照しないようにするように制約しており、従来、クローズドGOPランダムアクセスポイントと呼ばれている。CRAピクチャは、あるピクチャが現在のGOPの前にピクチャを参照することを許可することによって、制限が緩和され、ランダムアクセスの場合、これらはすべて破棄される。CRAピクチャは、従来、オープンGOPランダムアクセスポイントと呼ばれている。BLAピクチャは、通常、例えばストリーム切り替え時に、CRAピクチャにおいて2つのビットストリームまたはその一部をスプライシングすることで生成される。IRAPピクチャのより優れたシステム使用を可能にするために、全部で6つの異なるNALユニットがIRAPピクチャのプロパティを信号通知するように定義され、これらのユニットは、HTTP(DASH)上で動的適応ストリーミングでのランダムアクセスサポートのために使用される、ISOベースのメディアファイルフォーマット(ISOBMFF)に定義されるようなストリームアクセスポイントのタイプにより適したものにするために使用できる。
VVCは、3つのタイプのIRAPピクチャ、2つのタイプのIDRピクチャ(1つのタイプがRADLピクチャに関連付けられ、または他のタイプが関連付けられていない)および1つのタイプのCRAピクチャをサポートする。これらは基本的にHEVCと同じである。HEVCにおけるBLAピクチャのタイプは、主に2つの理由により、VVCに含まれていない。
i)BLAピクチャの基本機能性は、CRAピクチャにシーケンス終了NALユニットを加えることで実現でき、このシーケンス終了NALユニットが存在することは、後続のピクチャが単層ビットストリームにおいて新しいCVSを開始することを示す。ii)NALユニットヘッダのNALユニットタイプフィールドに6ビットの代わりに5ビットを用いることによって示されるように、VVCの開発の間にHEVCよりも少ないNALユニットタイプを規定する点で要求があった。
VVCとHEVCとの間のランダムアクセスサポートにおける別の重要な相違は、VVCにおいてより規範的な方法でGDRをサポートすることである。GDRにおいて、ビットストリームの復号は、インターコーディングされたピクチャから開始することができ、始めは、ピクチャ領域全体を正しく復号することができないが、複数のピクチャの後に、ピクチャ領域全体が正しくなる。AVCおよびHEVCはまた、GDRランダムアクセスポイントおよびリカバリポイントの信号通知のためのリカバリポイントSEIメッセージを使用して、GDRをサポートする。VVCにおいて、GDRピクチャを示すために新しいNALユニットタイプが指定され、ピクチャヘッダ構文構造においてリカバリポイントが通知される。CVSおよびビットストリームは、GDRピクチャで開始することができる。これは、1つのビットストリーム全体が、1つのイントラコーディングされたピクチャなしにインターコーディングされたピクチャのみを含むことができることを意味する。GDRサポートをこのように規定する主な利点は、GDRに適合した動作を提供することである。GDRは、エンコーダが、ピクチャ全体をイントラコーディングするのではなく、複数のピクチャにイントラコーディングされたスライスまたはブロックを分布させることによって、ビットストリームのビットレートを平滑化することを可能にし、これにより、無線表示、オンラインゲーム、無人機に基づくアプリケーションのような超低遅延アプリケーションがより一般的になっているため、今日の方が以前より重要視されているエンドツーエンドの遅延の大幅な低減を可能にする。
VVCにおける別のGDRに関連する特徴は、仮想境界信号通知である。GDRピクチャとそのリカバリポイントとの間のピクチャにおける、リフレッシュされた領域(すなわち、正しく復号された領域)と未リフレッシュの領域との間の境界は、仮想境界として信号通知されてもよく、信号通知された場合、境界をまたがるインループフィルタリングが適用されなくなり、したがって、境界付近のいくつかのサンプルの復号不整合が発生しなくなる。これは、アプリケーションがGDR処理中に正しく復号された領域を表示することを決定した場合に有用となりうる。
IRAPピクチャおよびGDRピクチャを、ランダムアクセスポイント(RAP)ピクチャとまとめて呼ぶことができる。
3.2. 全般およびVVCにおけるスケーラブル映像コーディング(SVC)
スケーラブル映像コーディング(SVC、単に映像コーディングにおけるスケーラビリティとも呼ばれる)は、時には参照レイヤ(RL)とも呼ばれるベースレイヤ(BL)と、1つ以上のスケーラブル強化レイヤ(El)が使用される映像コーディングを指す。SVCにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。1つ以上の強化レイヤは、例えば、より高い空間的、時間的、および/または信号対雑音(SNR)レベルをサポートするように、追加の映像データを担持することができる。強化レイヤは、先に符号化されたレイヤに対して定義されてもよい。例えば、下レイヤがBLとして機能し、上レイヤがELとして機能することができる。中間レイヤは、ElまたはRLのいずれか、またはその両方として機能することができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する強化レイヤのためのELであってもよく、同時に、中間レイヤの上の1つ以上の強化レイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して別のビューの情報(例えば、動き推定、動きベクトル予測および/または他の冗長性)をコーディング(例えば、符号化または復号)することができる。
SVCにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用することができるコーディングレベル(例えば、映像レベル、シーケンスレベル、ピクチャレベル、スライスレベル等)に基づいてパラメータセットにグループ分けされる。例えば、ビットストリームにおける異なるレイヤの1つ以上のコーディングされた映像シーケンスによって利用できるパラメータは、映像パラメータセット(VPS)に含まれてもよく、コーディングされた映像シーケンスにおける1つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット(SPS)に含まれてもよい。同様に、1つのピクチャの1つ以上のスライスで利用されるパラメータは、ピクチャパラメータセット(PPS)に含まれてもよく、1つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、特定のレイヤが所与の時間にどのパラメータセットを使用しているかの指示は、様々なコーディングレベルで提供されてもよい。
VVCにおける参照ピクチャリサンプリング(RPR)のサポートのおかげで、空間的スケーラビリティサポートに必要なアップサンプリングはRPRアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベルのコーディングツールを必要とせずに、複数のレイヤ、例えば、VVCにおけるSDおよびHD解像度の2つのレイヤを含むビットストリームをサポートするように設計することができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文変更(スケーラビリティをサポートしない場合と比較して)が必要である。スケーラビリティサポートは、VVCバージョン1に規定されている。AVCおよびHEVCの拡張を含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり、VVCのスケーラビリティの設計は、単層デコーダの設計にできるだけ適したものにされてきた。多層ビットストリームの復号能力は、まるでビットストリームに1つのレイヤしかなかったかような手法で規定される。例えば、DPBサイズのような復号能力は、復号されるビットストリームのレイヤの数に依存しない手法で規定される。基本的に、単層ビットストリームのために設計されたデコーダは、多層ビットストリームを復号することができるようにするために、多くの変更を必要としない。AVCおよびHEVCの多層拡張の設計と比較して、HLSの態様は、ある程度の柔軟性を犠牲にして大幅に簡略化されてきた。例えば、IRAP AUは、CVSに存在するレイヤの各々にピクチャを含むことが必要である。
3.3 パラメータセット
AVC、HEVC、VVCはパラメータセットを指定する。パラメータセットのタイプは、SPS、PPS、APS、VPSを含む。SPS、PPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVC草案のテキストに含まれている。
SPSは、シーケンスレベルのヘッダ情報を担持するように設計され、PPSは、頻繁に変化しないピクチャレベルのヘッダ情報を担持するように設計された。SPSおよびPPSを用いると、シーケンスまたはピクチャごとに頻繁に変化する情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、SPSおよびPPSを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。
VPSは、マルチレイヤのビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を担持するために導入された。
APSは、コーディングするためにかなりのビットを必要とし、複数のピクチャによって共有され得る、このようなピクチャレベルまたはスライスレベルの情報を担持するために導入された。そして、シーケンスにおいて、非常に多くの異なる変形例が存在し得る。
3.4 VVCにおける関連定義
最近のVVCテキスト(JVET-Q2001-Ve/v15)における関連する定義は、以下のとおりである。
Figure 0007457151000001
3.5 VVCにおけるVPS構文および意味論
VVCは、スケーラブル映像コーディングとしても知られるスケーラビリティをサポートし、複数のレイヤは、1つのコーディングされた映像ビットストリームで符号化することができる。
最近のVVCテキスト(JVET-Q2001-Ve/v15)において、VPSにおいてスケーラビリティ情報が信号通知され、その構文および意味論は以下のとおりである。
Figure 0007457151000002

Figure 0007457151000003

Figure 0007457151000004

Figure 0007457151000005
7.4.3.2 映像パラメータセットRBSP意味論
VPS RBSPは、それが参照される前に、復号処理に利用可能であり、TemporalIdが0に等しい、又は外部手段によって提供される少なくとも1つのAUに含まれる。
CVSにおけるvps_video_parameter_set_idの特定の値を有するすべてのVPS NALユニットは、同じコンテンツを有するものとする。
vps_video_parameter_set_idは、他の構文要素が参照するVPSの識別子を提供する。vps_video_parameter_set_idの値は0より大きいものとする。
vps_max_layers_minus1+1は、各CVSがVPSを参照するときに最大許容レイヤ数を規定する。
vps_max_sublayers_minus1+1は、VPSを参照する各CVSのレイヤに存在し得る時間的サブレイヤの数の最大数を規定する。vps_max_sublayers_minus1の値は、0から6までの範囲内にあるべきである。
vps_all_layers_same_num_sublayers_flagが1に等しい場合は、VPSを参照する各CVSにおけるすべてのレイヤについて時間的サブレイヤの数が同じであることを規定する。vps_all_layers_same_num_sublayers_flagが0に等しい場合、各CVSがVPSを参照するレイヤは、同じ数の時間的サブレイヤを有することができるし、有しないことができることを規定する。存在しない場合、vps_all_layers_same_num_sublayers_flagの値は1に等しいと推測される。
vps_all_independent_layers_flagが1に等しい場合、CVSにおけるすべてのレイヤは、レイヤ間予測を使用せずに独立してコーディングされることを規定する。vps_all_independent_layers_flagが0に等しい場合は、CVSにおけるレイヤのうちの1つ以上がレイヤ間予測を使用することができることを規定する。存在しない場合、vps_all_independent_layers_flagの値は1に等しいと推測される。
vps_layer_id[I]は、i番目のレイヤのnuh_layer_idの値を規定する。mおよびnの任意の2つの非負整数値の場合、mがn未満であるとき、vps_layer_id[m]の値は、vps_layer_id[n]未満であるものとする。
1に等しいvps_independent_layer_flag[I]は、インデックスIのレイヤがレイヤ間予測を使用しないことを規定する。0に等しいvps_independent_layer_flag[I]は、インデックスIのレイヤがインターレイヤー予測を使用でき、かつ、jの構文要素vps_direct_ref_layer_flag[I][j]が0~I-1の範囲内にある場合には(両端を含む)、VPSに存在することを規定する。存在しない場合、vps_independent_layer_flag[I]の値は1に等しいと推測される。
0に等しいvps_direct_ref_layer_flag[I][j]は、インデックスjを有するレイヤがインデックスiを有するレイヤの直接参照レイヤでないことを規定する。1に等しいvps_direct_ref_layer_flag[I][j]は、インデックスjを有するレイヤがインデックスiを有するレイヤの直接参照レイヤであることを規定する。iおよびjが0~vps_max_layer_minus1の範囲内にあるとき、vps_direct_ref_layer_flag[I][j]が存在しない場合、それは0に等しいと推論される。vps_independent_layer_flag[i]が0に等しい場合、vps_direct_ref_layer_flag[I][j]の値が1となるように、0~I-1の範囲内にあるjの値が少なくとも1つあるものとする。
変数NumDirectRefLayers[I]、DirectRefLayerIdx[I][d]、NumRefLayers[I]、RefLayerIdx[I][r]、およびLayerUsedAsRefLayerFlag[j]は次のように導出される:
for(I=0;I<=vps_max_layers_minus1;i++) {
for(j=0;j<=vps_max_layers_minus1;j++) {
dependencyFlag[I][j]=vps_direct_ref_layer_flag[I][j]
for(k=0;k<I;k++)
if(vps_direct_ref_layer_flag[I][k]&&dependencyFlag[k][j])
dependencyFlag[I][j]=1

LayerUsedAsRefLayerFlag[I]=0

for(I=0;I<=vps_max_layers_minus1;i++) {
for(j=0,d=0,r=0;j<=vps_max_layers_minus1;j++) { (37)
if(vps_direct_ref_layer_flag[I][j]) {
DirectRefLayerIdx[I][d++]=j
LayerUsedAsRefLayerFlag[j]=1

if(dependencyFlag[I][j])
RefLayerIdx[I][r++]=j

NumDirectRefLayers[I]=d
NumRefLayers[I]=r

vps_layer_id[I]であるnuh_layer_idを有するレイヤのレイヤインデックスを規定する変数GeneralLayerIdx[I]は、以下のように導出される。
for(I=0;I<=vps_max_layers_minus1;i++)
(38)
GeneralLayerIdx[vps_layer_id[I]]=i
Iおよびjの、両方とも0~vps_max_layers_minus1の範囲内にある任意の2つの異なる値について、dependencyFlag[I][j]が1に等しい場合、i番目のレイヤに適用されるchroma_format_idcとbit_depth_minus8は、j番目のレイヤに適用されるchroma_format_idcとbit_depth_minus8とそれぞれ等しいとすることが、ビットストリーム適合性の要件である。
max_tid_ref_present_flag[I]が1に等しい場合、構文要素max_tid_il_ref_pics_plus1[I]が存在することを規定する。max_tid_ref_present_flag[I]が0に等しい場合は、構文要素max_tid_il_ref_pics_plus1[I]が存在しないことを規定する。
max_tid_il_ref_pics_plus1[I]が0に等しい場合は、レイヤ間予測がi番目のレイヤの非IRAPピクチャによって使用されないことを規定する。max_tid_il_ref_pics_plus1[I]が0より大きい場合は、i番目のレイヤのピクチャを復号するために、max_tid_il_ref_pics_plus1[I]-1より大きいTemporalIdを有するピクチャをILRPとして使用しないことを規定する。存在しない場合、max_tid_il_ref_pics_plus1[I]の値は7に等しいと推測される。
each_layer_is_an_ols_flagが1に等しい場合は、各OLSが1つのレイヤのみを含み、VPSを参照するCVSにおける各レイヤ自体が1つのOLSであり、単一の含まれたレイヤが唯一の出力レイヤであることを規定する。each_layer_is_an_ols_flagが0に等しい場合は、OLSは2つ以上のレイヤを含んでいてもよい。vps_max_layers_minus1が0に等しい場合、each_layer_is_an_ols_flagの値は1に等しいと推論される。そうでない場合、vps_all_independent_layers_flagが0に等しい場合、each_layer_is_an_ols_flagの値は0に等しいと推論される。
0に等しいols_mode_idcは、VPSで指定されるOLSの総数がvps_max_layers_minus1+1に等しいことを規定し、i番目のOLSは、レイヤインデックスが0からIまでのレイヤを含み、各OLSにおいて、OLSにおける最上位レイヤのみを出力する。
1に等しいOls_mode_idcは、VPSで指定されるOLSの総数がvps_max_layers_minus1+1に等しいことを規定し、i番目のOLSは、レイヤインデックスが0からIまでのレイヤを含み、各OLSにおいて、OLSにおけるすべてのレイヤを出力する。
ols_mode_idcが2に等しい場合は、VPSで指定されるOLSの総数が明示的に信号通知されることを規定し、各OLSにおいて、出力レイヤは明示的に信号通知され、他のレイヤがOLSの出力レイヤの直接または間接参照レイヤであるレイヤであることを規定する。
ols_mode_idcの値は、0から2までの範囲内にあるべきである。ols_mode_idcの値3は、ITU-T|ISO/IECが将来使用するために確保されている。
vps_all_independent_layers_flagが1に等しく、each_layer_is_an_ols_flagが0に等しい場合、ols_mode_idcの値は2に等しいと推論される。
num_output_layer_sets_minus1+1は、ols_mode_idcが2に等しいときには、VPSで規定されるOLSの総数を規定する。
VPSで規定されたOLSの総数を規定する変数TotalNumOlssは、以下のように導出される。
if(vps_max_layers_minus1==0)
TotalNumOlss=1
else if(each_layer_is_an_ols_flag||ols_mode_idc==0||ols_mode_idc==1)
TotalNumOlss=vps_max_layers_minus1+1 (39)
else if(ols_mode_idc==2)
TotalNumOlss=num_output_layer_sets_minus1+1
ols_layer_output_flag[I][j]が1に等しい場合は、ols_mode_idcが2の場合、nuh_layer_idがvps_layer_id[j]に等しいレイヤはi番目のOLSの出力レイヤであることを規定する。ols_layer_output_flag[I][j]が0に等しい場合は、ols_mode_idcが2の場合、nuh_layer_idがvps_layer_id[j]に等しいレイヤはi番目のOLSの出力レイヤでないことを規定する。
i番目のOLSにおける出力レイヤの数を規定する変数NumOutputLayersInOls[I]、i番目のOLSにおけるj番目のレイヤのサブレイヤの数を規定する変数NumSubLayersInLayerInOls[I][j]、i番目のOLSにおけるj番目の出力レイヤのnuh_layer_id値を規定する変数OutputLayerIdInOls[I][j]、および少なくとも1つのOLSにおいてk番目のレイヤを出力レイヤとして使用するかどうかを規定する変数LayerUsedAsOutputLayerFlag[k]、を以下のように導出する。
NumOutputLayersInOls[0]=1
OutputLayerIdInOls[0][0]=vps_layer_id[0]
NumSubLayersInLayerInOLS[0][0]=vps_max_sub_layers_minus1+1
LayerUsedAsOutputLayerFlag[0]=1
for(I=1,I<=vps_max_layers_minus1;i++) {
if(each_layer_is_an_ols_flag||ols_mode_idc<2)
LayerUsedAsOutputLayerFlag[I]=1
else/*(!each_layer_is_an_ols_flag&&ols_mode_idc==2)*/
LayerUsedAsOutputLayerFlag[I]=0

for(I=1;I<TotalNumOlss;i++)
if(each_layer_is_an_ols_flag||ols_mode_idc==0) {
NumOutputLayersInOls[I]=1
OutputLayerIdInOls[I][0]=vps_layer_id[I]
for(j=0;j<I&&(ols_mode_idc==0);j++)
NumSubLayersInLayerInOLS[I][j]=max_tid_il_ref_pics_plus1[I]
NumSubLayersInLayerInOLS[I][I]=vps_max_sub_layers_minus1+1
} else if(ols_mode_idc==1) {
NumOutputLayersInOls[I]=I+1
for(j=0;j<NumOutputLayersInOls[I];j++) {
OutputLayerIdInOls[I][j]=vps_layer_id[j]
NumSubLayersInLayerInOLS[I][j]=vps_max_sub_layers_minus1+1

} else if(ols_mode_idc==2) {
for(j=0;j<=vps_max_layers_minus1;j++) {
layerIncludedInOlsFlag[I][j]=0
NumSubLayersInLayerInOLS[I][j]=0

for(k=0,j=0;k<=vps_max_layers_minus1;k++) (40)
if(ols_output_layer_flag[I][k]) {
layerIncludedInOlsFlag[I][k]=1
LayerUsedAsOutputLayerFlag[k]=1
OutputLayerIdx[I][j]=k
OutputLayerIdInOls[I][j++]=vps_layer_id[k]
NumSubLayersInLayerInOLS[I][j]=vps_max_sub_layers_minus1+1

NumOutputLayersInOls[I]=j
for(j=0;j<NumOutputLayersInOls[I];j++) {
idx=OutputLayerIdx[I][j]
for(k=0;k<NumRefLayers[idx];k++) {
layerIncludedInOlsFlag[I][RefLayerIdx[idx][k]]=1
if(NumSubLayersInLayerInOLS[I][RefLayerIdx[idx][k]]<
max_tid_il_ref_pics_plus1[OutputLayerIdInOls[I][j]])
NumSubLayersInLayerInOLS[I][RefLayerIdx[idx][k]]=
max_tid_il_ref_pics_plus1[OutputLayerIdInOls[I][j]]


0~vps_max_layers_minus1の範囲内にあるIの各値について、LayerUsedAsRefLayerFlag[I]およびLayerUsedAsOutputLayerFlag[I]の値は、両方とも0に等しくないものとする。言い換えれば、少なくとも1つのOLSの出力レイヤでも、他のレイヤの直接参照レイヤでもないレイヤが存在しないものとする。
各OLSに対して、出力レイヤである少なくとも1つのレイヤが存在するものとする。すなわち、Iの値が0~TotalNumOlss-1の範囲内(両端を含む)にある場合、NumOutputLayersInOls[I]の値は1以上であるものとする。
i番目のOLSにおけるレイヤの数を規定する変数NumLayersInOls[I]、およびi番目のOLSにおけるj番目のレイヤのnuh_layer_id値を規定する変数LayerIdInOls[I][j]は、以下のように導出する。
NumLayersInOls[0]=1
LayerIdInOls[0][0]=vps_layer_id[0]
for(I=1;I<TotalNumOlss;i++) {
if(each_layer_is_an_ols_flag) {
NumLayersInOls[I]=1
LayerIdInOls[I][0]=vps_layer_id[I]
(41)
} else if(ols_mode_idc==0||ols_mode_idc==1) {
NumLayersInOls[I]=I+1
for(j=0;j<NumLayersInOls[I];j++)
LayerIdInOls[I][j]=vps_layer_id[j]
} else if(ols_mode_idc==2) {
for(k=0,j=0;k<=vps_max_layers_minus1;k++)
if(layerIncludedInOlsFlag[I][k])
LayerIdInOls[I][j++]=vps_layer_id[k]
NumLayersInOls[I]=j


注1-0番目のOLSは、最下位レイヤ(すなわち、nuh_layer_idがvps_layer_id[0]であるレイヤ)のみを含み、0番目のOLSの場合、含まれているレイヤのみが出力される。
nuh_layer_idがLayerIdInOls[I][j]であるレイヤのOLSレイヤインデックスを規定する変数OlsLayerIdx[I][j]は、以下のように導出される。
for(I=0;I<TotalNumOlss;i++)
forj=0;j<NumLayersInOls[I];j++) (42)
OlsLayerIdx[I][LayerIdInOls[I][j]]=j
各OLSにおける最下位レイヤは独立レイヤであるものとする。すなわち、0~TotalNumOlss-1の範囲内にある各Iについて、vps_independent_layer_flag[GeneralLayerIdx[LayerIdInOls[I][0]]]の値は、1に等しいものとする。
各レイヤは、VPSによって規定される少なくとも1つのOLSに含まれるものとする。言い換えれば、0からvps_max_layers_minus1の範囲内にあるkについて、nuh_layer_idの特定の値nuhLayerIdがvps_layer_id[k]の1つと等しい各レイヤについて、少なくとも1対の値、Iとjが存在するものとする。ここで、Iは0からTotalNumOlss-1の範囲にあり、jはNumLayersInOls[I]-1の範囲にあり、LayerIdInOls[I][j]の値がnuhLayerIdと等しくなる。
vps_num_ptls_minus1+1は、VPSにおけるprofile_tier_level()構文構造の数を規定する。vps_num_ptls_minus1の値はTotalNumOlssより小さいものとする。
pt_present_flag[I]が1に等しい場合は、VPSにおけるi番目のprofile_tier_level()構文構造にプロファイル、ティア、および一般的な制約情報が存在することを規定する。pt_present_flag[I]が0に等しい場合は、VPSにおけるi番目のprofile_tier_level()構文構造にプロファイル、ティア、および一般的な制約情報が存在しないことを規定する。pt_present_flag[0]の値は1に等しいと推論される。pt_present_flag[I]が0に等しい場合は、VPS内のi番目のprofile_tier_level()構文構造のプロファイル、ティア、一般的な制約情報は、VPS内(I-1)番目のprofile_tier_level()構文構造のものと同じと推論される。
ptl_max_temporal_id[I]は、VPSのi番目のprofile_tier_level()構文構造においてレベル情報が存在する最も高いサブレイヤ表現のTemporalIdを規定する。ptl_max_temporal_id[I]の値は、0~vps_max_sublayers_minus1の範囲内にあるものとする。vps_max_sublayers_minus1が0に等しい場合、ptl_max_temporal_id[I]の値は0に等しいと推論される。vps_max_sublayers_minus1が0より大きく、vps_all_layers_same_num_sublayers_flagが1に等しい場合、ptl_max_temporal_id[I]の値は、vps_max_sublayers_minus1に等しいと推論される。
vps_ptl_alignment_zero_bitは0に等しいものとする。
ols_ptl_idx[I]は、第i番目のOLSに適用されるprofile_tier_level()構文構造の、VPSにおけるprofile_tier_level()構文構造のリストに対するインデックスを規定する。存在する場合、ols_ptl_idx[I]の値は、0~vps_num_ptls_minus1の範囲内にあるものとする。vps_num_ptls_minus1が0に等しい場合、ols_ptl_idx[I]の値は0に等しいと推論される。
NumLayersInOls[I]=1に等しい場合、i番目のOLSに適用されるprofile_tier_level()構文構造は、i番目のOLSのレイヤが参照するSPSにも存在する。NumLayersInOLS[I]が1に等しい場合は、VPSおよびi番目のOLSのSPSにおいて信号通知されるprofile_tier_level()構文構造は同一であるものとすることが、ビットストリーム適合性の要件である。
vps_num_dpb_paramsは、VPSにおけるdpb_parameters()構文構造の数を規定する。vps_num_dpb_paramsの値は、0~16の範囲内である。存在しない場合、vps_num_dpb_paramsの値は0に等しいと推測される。
vps_sublayer_dpb_params_present_flagは、VPSのdpb_parameters()構文構造において、max_dec_pic_buffering_minus1[]、max_num_reorder_pics[]、およびmax_latency_increase_plus1[]構文要素の存在を制御するのに使用する。存在しない場合、vps_sub_dpb_params_info_present_flagは0に等しいと推論される。
dpb_max_temporal_id[I]は、VPSのi番目のdpb_parameters()構文構造にDPBパラメータが含まれている可能性がある、最も高いサブレイヤ表現のTemporalIdを規定する。dpb_max_temporal_id[I]の値は、0~vps_max_sublayers_minus1の範囲内にあるものとする。vps_max_sublayers_minus1=0に等しい場合、dpb_max_temporal_id[I]の値は0に等しいと推論される。vps_max_sublayers_minus1が0より大きく、vps_all_layers_same_num_sublayers_flag=1に等しい場合、dpb_max_temporal_id[I]の値は、vps_max_sublayers_minus1に等しいと推論される。
ols_dpb_pic_width[I]は、i番目のOLSのための各ピクチャ記憶バッファの輝度サンプル(luma sample)の単位での幅を規定する。
ols_dpb_pic_height[I]は、i番目のOLSの各ピクチャ記憶バッファの高さを、輝度サンプル単位で規定する。
ols_dpb_params_idx[I]は、NumLayersInOls[I]が1より大きい場合、i番目のOLSに適用されるdpb_parameters()構文構造の、VPSにおけるdpb_parameters()構文構造のリストにインデックスを規定する。存在する場合、ols_dpb_params_idx[I]の値は、0~vps_num_dpb_params-1の範囲内にあるものとする。ols_dpb_params_idx[I]が存在しない場合、ols_dpb_params_idx[I]の値は0に等しいと推論される。
NumLayersInOls[I]が1に等しい場合は、i番目のOLSに適用されるdpb_parameters()構文構造は、i番目のOLSにおけるレイヤが参照するSPSに存在する。
vps_general_hrd_params_present_flagが1に等しい場合は、VPSがgeneral_hrd_parameters()構文構造および他のHRDパラメータを含むことを規定する。vps_general_hrd_params_present_flagが0に等しい場合は、VPSがgeneral_hrd_parameters()構文構造または他のHRDパラメータを含まないことを規定する。存在しない場合、vps_general_hrd_params_present_flagの値は0と推測される。
NumLayersInOls[I]が1に等しい場合、general_hrd_parameters()構文構造およびi番目のOLSに適用されるols_hrd_parameters()構文構造は、i番目のOLSのレイヤが参照するSPSに存在する。
vps_sublayer_cpb_params_present_flagが1に等しい場合は、VPSにおけるi番目のols_hrd_parameters()構文構造が、TemporalIdが0からhrd_max_tid[I]の範囲内にあるサブレイヤ表現のHRDパラメータを含むことを規定する。vps_sublayer_cpb_params_present_flagが0に等しい場合は、VPSにおけるi番目のols_hrd_parameters()構文構造が、TemporalIdがhrd_max_tid[I]のみに等しいサブレイヤ表現のHRDパラメータを含むことを規定する。vps_max_sublayers_minus1=0のとき、vps_sublayer_cpb_params_present_flagの値は0に等しいと推論される。
vps_sublayer_cpb_params_present_flagが0に等しい場合、TemporalIdが0からhrd_max_tid[I]-1の範囲内にあるサブレイヤ表現のHRDパラメータは、TemporalIdがhrd_max_tid[I]-1に等しいサブレイヤ表現のHRDパラメータと同じに等しいと推論される。これには、fixed_pic_rate_general_flag[I]構文要素から始まり、sublayer_hrd_parameters(I)構文構造に至るまでのHRDパラメータが、ols_hrd_parameters構文構造における条件“if(general_vcl_hrd_params_present_flag)”のすぐ下に含まれる。
num_ols_hrd_params_minus1+1は、vps_general_hrd_params_present_flagが1に等しいとき、VPSに存在するols_hrd_parameters()構文構造の数を規定する。num_ols_hrd_params_minus1の値は、0からTotalNumOlss-1までの範囲内にあるものとする。
hrd_max_tid[I]は、i番目のols_hrd_parameters()構文構造にHRDパラメータが含まれる最も高いサブレイヤ表現のTemporalIdを規定する。hrd_max_tid[I]の値は、0~vps_max_sublayers_minus1の範囲内にあるものとする。vps_max_sublayers_minus1が0に等しい場合、hrd_max_tid[I]の値は0に等しいと推論される。vps_max_sublayers_minus1が0より大きく、vps_all_layers_same_num_sublayers_flagが1に等しい場合、hrd_max_tid[I]の値は、vps_max_sublayers_minus1に等しいと推論される。
ols_hrd_idx[I]は、NumLayersInOls[I]が1より大きい場合、i番目のOLSに適用されるols_hrd_parameters()構文構造の、VPSにおけるols_hrd_parameters()構文構造のリストにインデックスを規定する。ols_hrd_idx[[I]の値は、0からnum_ols_hrd_params_minus1までの範囲内にあるものとする。
NumLayersInOls[I]が1に等しい場合は、i番目のOLSに適用されるols_hrd_parameters()構文構造は、i番目のOLSにおけるレイヤが参照するSPSに存在する。
num_ols_hrd_param_minus1+1の値がTotalNumOlssに等しい場合、ols_hrd_idx[I]の値はiに等しいと推論される。そうでない場合、NumLayersInOls[I]が1より大きく、num_ols_hrd_params_minus1が0に等しい場合、ols_hrd_idx[[I]の値は0に等しいと推論される。
vps_extension_flagが0に等しい場合、VPS RBSP構文構造にvps_extension_data_flag構文要素が存在しないことを示す。vps_extension_flagが1に等しい場合、VPS RBSP構文構造にvps_extension_data_flag構文要素が存在することを示す。
vps_extension_data_flagは任意の値を有することができる。その存在および値は、本明細書バージョンで規定されるプロファイルに対するデコーダ適合性に影響を与えない。本明細書バージョンに準拠するデコーダは、すべてのvps_extension_data_flag構文要素を無視しなければならない。
3.6. VVCにおけるアクセスユニット区切り文字(AUD)構文および意味論
最近のVVCテキスト(JVET-Q2001-Ve/v15)において、AUD構文および意味論は以下のとおりである。
Figure 0007457151000006
7.4.3.9 AU区切り文字RBSP意味論
AU区切り文字は、AU区切り文字NALユニットを含むAU内のコーディングされたピクチャに存在するAUの開始およびスライスタイプを示すために使用される。AU区切り文字に関連付けられた規範的な復号処理は存在しない。
pic_typeは、AU区切り文字NALユニットを含むAUにおけるコーディングされたピクチャのすべてのスライスのslice_type値が、所与のpic_type値について、表7にリストされるセットのメンバであることを示す。本明細書バージョンに準拠するビットストリームにおいて、pic_typeの値は0、1、又は2に等しいものとする。pic_typeの他の値は、ITU-T|ISO/IECが将来使用するために確保されている。本明細書バージョンに準拠するデコーダは、pic_typeの確保された値を無視しなければならない。
Figure 0007457151000007
3.7. Au、PUの順番
最近のVVCテキスト(JVET-Q2001-Ve/v15)において、AUおよびPUの復号順序の仕様は以下のとおりである。
7.4.2.4.2 Auの順序およびそれらのCVSへの関連付け
ビットストリームは、1つ以上のCVSからなる。
CVSは、1つ以上のAuからなる。PUの順番およびAuとの関連付けは、項目7.4.2.4.3に記載されている。
CVSの最初のAUは、CVSS AUであり、現在の各PUは、CLVSS PUであり、NoOutputBeforeRecoveryFlagが1に等しいIRAP PU、又はNoOutputBeforeRecoveryFlagが1に等しいGDR PUのいずれかである。
各CVSS AUは、CVSに存在する各レイヤに1つのPUを有する。
7.4.2.4.3 PUの順番およびAuとの関連付け
1つのAUは、nuh_layer_idの昇順に1つ以上のPUを含む。NALユニットの順番およびコーディングされたピクチャ、並びにそれらのPUとの関連付けは、項目7.4.2.4.4に記載されている。
1つのAUには、最大1つのAUD NALユニットがあってもよい。AUD NALユニットがAUに存在する場合、AUの最初のNALユニットとなり、その結果、AUの最初のPUの最初のNALユニットとなる。
1つのAUには、最大1つのEOB NALユニットが存在してもよい。1つのAUに1つのEOB NALユニットが存在する場合、このユニットはこのAUの最後のNALユニットとなり、その結果、このAUの最後のPUの最後のNALユニットとなる。
1つのVCL NALユニットがPH NALユニットに続く最初のVCL NALユニットであり、以下の条件が1つ以上真である場合、VCL NALユニットはAUの最初のVCL NALユニットとなる(その結果、VCL NALユニットを含むPUは、AUの最初のPUとなる)。
- VCL NALユニットのnuh_layer_idの値は、復号順で前のピクチャのnuh_layer_idよりも小さい。
- VCL NALユニットのph_pic_order_cnt_lsbの値は、復号順で前のピクチャのph_pic_order_cnt_lsbの値と異なる。
- VCL NALユニットに対して導出されたPicOrderCntValは、復号順で前のピクチャのPicOrderCntValと異なる。
firstVclNalUnitInAuをAUの最初のVCL NALユニットとする。firstVclNalUnitInAuに先行し、firstVclNalUnitInAuに先行する最後のVCL NALユニットに続く、以下のNALユニットのうちいずれか最初のものがある場合、新しいAUの開始を規定する。
- AUD NALユニット(存在する場合)、
- DCI NALユニット(存在する場合)、
- VPS NALユニット(存在する場合)、
- SPS NALユニット(存在する場合)、
- PPS NALユニット(存在する場合)、
- Prefix APS NALユニット(存在する場合)、
- PH NALユニット(存在する場合)、
- Prefix SEI NALユニット(存在する場合)、
- nal_unit_typeがRSV_NVCL_26に等しいNALユニット(存在する場合)、
- nal_unit_typeがUNSPEC28..UNSPEC29(存在する場合)の範囲にあるNALユニット。
注-firstVclNalUnitInAuに先行し、firstVclNalUnitInAuに先行する最後のVCL NALユニットに続く最初のNALユニットがあれば、それのみが上に列記したNALユニットのうちの1つになり得る。
ビットストリーム適合性の要件がある場合、それは同じレイヤに属し、EOS NALユニットを含むPUの後の規定のレイヤの次のPUが、NoOutputBeforeRecoveryFlagが1に等しいIRAP PU、またはNoOutputBeforeRecoveryFlagが1に等しいGDR PUのいずれかのCLVSS PUであるとする。
4. 開示される技術的解決策が解決しようとする技術課題の例
最近のVVCテキスト(JVET-Q2001-Ve/v15)における既存のスケーラビリティ設計は、以下の問題を有する。
Figure 0007457151000008
2) 現在、IRAP AUは、新しいCVSを開始し、完全であること(すなわち、CVSに存在する各々のレイヤに1つのピクチャを有する)が必要であるが、GDR AUは、新しいCVSを開始してもよいものの、完全であることは必要でない。これにより、通常、ランダムアクセスにおける開始AUはCVSS AUになるが、このようなGDR AUが不完全である場合、CVSS AUになることができないので、完全でないGDR AUから始まるビットストリームに対して適合的にランダムアクセスすることが基本的に無効化される。
5. 例示的な実施形態および技術
上述した課題等を解決するために、以下に示す方法が開示されている。本発明は、一般的な概念を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではない。さらに、本発明は、個々に適用されてもよいし、任意に組み合わせて適用されてもよい。
第1の課題を解決するための解決策
1) 第1の問題を解決するために、AUが完全であるかどうかの指示、すなわちAUがCVSに存在するレイヤの各々にピクチャを含むかどうかの意味で、信号通知することができる。
a. 一例において、この指示は、新しいCVSを開始し得るAusに対してのみ信号通知される。
i. 一例において、さらに、この指示は、各ピクチャがIRAPまたはGDRピクチャであるAusに対してのみ信号通知される。
b. 一例において、この指示は、AUD NALユニットにおいて信号通知される。
i. 一例において、この指示は、AUD NALユニットにおけるフラグ(例えば、irap_or_gdr_au_flag)によって信号通知される。
1. 代替的に、加えて、irap_or_gdr_au_flagが1に等しい場合、AUがIRAP AUであるかGDR AUであるかどうかを指定するために、AUD内にフラグ(すなわち、irap_au_flagと呼ばれる)を信号通知することができる(irap_au_flagが1に等しい場合、AUがIRAP AUであることが示され、irap_au_flagが0に等しい場合はAUはGDR AUであることを規定する。)irap_au_flagが存在しない場合、その値は推測されない。
ii. 一例において、さらに、vps_max_layers_minus1が0よりも大きい場合、ただ1つのAUD NALユニットが各IRAPまたはGDR AUに存在することが必要である。
1. 代替的に、vps_max_layers_minus1の値に関わらず、ただ1つのAUD NALユニットが各IRAPまたはGDR AUに存在する必要がある。
iii. 一例において、フラグが1に等しいことは、AUにおけるすべてのスライスが、IDR_W_RADL to GDR_NUTの範囲内で同じNALユニットタイプを有することを特定する。その結果、NALユニットタイプがIDR_W_RADLまたはIDR_N_LPであり、このフラグが1に等しい場合、AUはCVSS AUである。そうでない場合(NALユニットタイプはCRA_NUTまたはGDR_NUTである)、AUにおける各々のピクチャの変数NoOutputBeforeRecoveryFlagが1に等しいとき、AUはCVSS AUである。
c. 一例において、さらに、CVSにおけるAUにおける各ピクチャは、CVSの第1のAUに存在するピクチャのうちの1つのnuh_layer_idに等しいnuh_layer_idを有することが必要である。
d. 一例において、この指示は、NALユニットヘッダにおいて信号通知される。
i. 一例において、NALユニットヘッダにおける1つのビット、例えば、nuh_reserved_zero_bitを使用して、AUが完全であるかどうかを特定する。
e. 一例において、この指示は、新しいNALユニットにおいて信号通知される。
i. 一例において、さらに、vps_max_layers_minus1が0よりも大きい場合、各IRAPまたはGDR AUにおいて、新しいNALユニットのただ1つの存在が必要である。
1. 一例において、さらに、AUに存在する場合、新しいNALユニットは、AUD NALユニット以外の任意のNALユニットの前に、存在する場合、AUの復号順に先行する。
2. 代替的に、vps_max_layers_minus1の値に関わらず、各IRAPまたはGDR AUには新しいNALユニットのただ1つの存在が必要である。
f. 一例において、この指示は、SEIメッセージにおいて信号通知される。
i. 一例において、さらに、vps_max_layers_minus1が0よりも大きい場合、各IRAPまたはGDR AUにおいてSEIメッセージが存在することが必要である。
1. 一例において、さらに、AU内に存在する場合、SEIメッセージを含むSEI NALユニットは、AUD NALユニットが存在する場合、復号順にAU内のAUD NALユニット以外の任意のNALユニットに先行する。
2. 代替的に、vps_max_layers_minus1の値に関わらず、各IRAPまたはGDR AUにSEIメッセージが存在することが必要である。
2) 代替的に、第1の問題を解決するために、AUが新しいCVSを開始するかどうかの指示を信号通知してもよい。
a. 一例において、この指示は、AUD NALユニットにおいて信号通知される。
i. 一例において、この指示は、AUD NALユニットにおけるフラグ(例えば、irap_or_gdr_au_flag)によって信号通知される。
1. 代替的に、加えて、irap_or_gdr_au_flagが1に等しい場合、AUがIRAP AUであるかGDR AUであるかどうかを指定するために、AUD内にフラグ(すなわち、irap_au_flagと呼ばれる)を信号通知することができる(irap_au_flagが1に等しい場合、AUがIRAP AUであることが示され、irap_au_flagが0に等しい場合、AUはGDR AUであることを規定する。)irap_au_flagが存在しない場合、その値は推測されない。
ii. 一例において、vps_max_layers_minus1が0より大きい場合、ただ1つのAUD NALユニットが各CVSS AUに存在することがさらに必要である。
1. 代替的に、vps_max_layers_minus1の値に関わらず、ただ1つのAUD NALユニットが各CVSS AUに存在する必要がある。
b. 一例において、この指示は、NALユニットヘッダにおいて信号通知される。
i. 一例において、AUがCVSS AUであるかどうかを特定するために、NALユニットヘッダにおける1つのビット、例えば、nuh_reserved_zero_bitを使用する。
c. 一例において、この指示は、新しいNALユニットにおいて信号通知される。
i. 一例において、さらに、vps_max_layers_minus1が0よりも大きい場合、各CVSS AUにおいて、新しいNALユニットの1つのみの存在が必要である。
1. 一例において、さらに、AUに存在する場合、新しいNALユニットは、AUD NALユニット以外の任意のNALユニットの前に、存在する場合、AUの復号順に先行する。
2. 代替的に、vps_max_layers_minus1の値に関わらず、各CVSS AUに新しいNALユニットのただ1つの存在が必要である。
ii. 一例において、AUにおける新しいNALユニットの存在は、AUがCVSS AUであることを規定する。
1. 代替的に、AUがCVSS AUであるかどうかを特定するために、新しいNALユニットにフラグが含まれる。
d. 一例において、この指示は、SEIメッセージにおいて信号通知される。
i. 一例において、さらに、vps_max_layers_minus1が0より大きい場合、各CVSS AUにおけるSEIメッセージの存在が必要である。
1. 一例において、さらに、AU内に存在する場合、SEIメッセージを含むSEI NALユニットは、AUD NALユニットが存在する場合、復号順にAU内のAUD NALユニット以外の任意のNALユニットに先行する。
2. 代替的に、vps_max_layers_minus1の値に関わらず、各CVSS AUにSEIメッセージが存在することが必要である。
Figure 0007457151000009
4) 代替的に、第1の問題を解決するために、vps_max_layers_minus1が0より大きい場合、各CVSの最後のAUにおける各ピクチャに対してEOS NALユニットを存在させることを義務付け、オプションとして、各ビットストリームの最後のAUにおけるEOB NALユニットを存在させることも義務付ける。このように、各CVSS AUは、ビットストリームにおける第1のAUであるか、または前のAUにおけるEOS NALユニットの存在によって識別される。
5) 代替的に、第1の問題を解決するために、外部平均決定変数を特定し、AUがCVSS AUであるかどうかを判定する。
第2の課題を解決するための解決策
Figure 0007457151000010

a. 一例において、GDR AUは、CVSにおける各レイヤごとに1つのPUがあり、各現在のPUにおけるコーディングされたピクチャが1つのGDRピクチャであるAUと定義してもよい。
6. 実施形態
Figure 0007457151000011
6.1. 第一の実施形態
本実施形態は、1、1.a、1.a.i、1.b、1.b.i、1.b.ii、1.b.iii、1.c、6、6a項に関する。
3 定義
Figure 0007457151000012
Figure 0007457151000013
7.4.3.9 AU区切り文字RBSP構文
Figure 0007457151000014
7.4.2.4.2 Auの順序およびそれらのCVSへの関連付け
Figure 0007457151000015
7.4.2.4.3 PUの順番およびAuとの関連付け
Figure 0007457151000016
図1は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1000を示すブロック図である。様々な実装形態は、システム1000のコンポーネントの一部又は全部を含んでもよい。システム1000は、映像コンテンツを受信するための入力部1002を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、8又は10ビットのマルチコンポーネント画素値で受信されてもよく、又は圧縮又は符号化されたフォーマットで受信されてもよい。入力部1002は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、PON(登録商標;Passive Optical Network)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースを含む。
システム1000は、本明細書に記載される様々なコーディング、又は符号化方法を実装可能なコーディングコンポーネント1004を含んでもよい。コーディングコンポーネント1004は、入力部1002からの映像の平均ビットレートをコーディングコンポーネント1004の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像コード変換技術と呼ばれることがある。コーディングコンポーネント1004の出力は、コンポーネント1006によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力部1002において受信された、記憶された、又は通信された映像のビットストリーム(又はコーディングされた)表現は、表示インターフェース部1010に送信される画素値、又は表示可能な映像を生成するためのコンポーネント1008によって使用されてもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理操作を「コーディング」操作又はツールと呼ぶが、コーディングツール又は操作は、エンコーダおよびそれに対応する、コーディングの結果を逆にする復号ツール又は操作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースまたは表示インターフェースの例は、USB(登録商標;Universal Serial Bus)またはHDMI(登録商標;High Definition Multimedia Interface)またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、SATA(Serial Advanced Technology Attachment)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理および/又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
図2は、映像処理装置2000のブロック図である。装置2000は、本明細書に記載の方法の1または複数を実装するために使用されてもよい。装置2000は、スマートフォン、タブレット、コンピュータ、IoT(Internet of Things)受信機等において実施されてもよい。装置2000は、1つ以上の処理装置2002と、1つ以上のメモリ2004と、映像処理ハードウェア2006と、を含んでもよい。1つまたは複数の処理装置2002は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)2004は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア2006は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。いくつかの実施形態において、ハードウェア2006は、1つ以上の処理装置2002、例えばグラフィック処理装置内に部分的にまたは全体が含まれてもよい。
図3は、本開示の技法を利用し得る例示的な映像コーディングシステム100を示すブロック図である。
図3に示すように、映像コーディングシステム100は、送信元デバイス110と、送信先デバイス120と、を備えてもよい。送信元デバイス110は、符号化された映像データを生成するものであり、映像符号化デバイスとも呼ばれ得る。送信先デバイス120は、送信元デバイス110によって生成された符号化された映像データを復号してよく、映像復号デバイスとも呼ばれ得る。
送信元デバイス110は、映像ソース112と、映像エンコーダ114と、入出力(I/O)インターフェース116と、を含んでよい。
映像ソース112は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および/または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、1または複数のピクチャを含んでもよい。映像エンコーダ114は、映像ソース112からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。I/Oインターフェース116は、変復調器(モデム)および/または送信機を含んでもよい。符号化された映像データは、ネットワーク130aを介して、I/Oインターフェース116を介して送信先デバイス120に直接送信されてよい。符号化された映像データは、送信先デバイス120がアクセスするために、記憶媒体/サーバ130bに記憶してもよい。
送信先デバイス120は、I/Oインターフェース126、映像デコーダ124、および表示装置122を含んでもよい。
I/Oインターフェース126は、受信機および/またはモデムを含んでもよい。I/Oインターフェース126は、送信元デバイス110または記憶媒体/サーバ130bから符号化された映像データを取得してもよい。映像デコーダ124は、符号化された映像データを復号してもよい。表示装置122は、復号された映像データをユーザに表示してもよい。表示装置122は、送信先デバイス120と一体化されてもよく、または外部表示装置とインターフェースするように構成される送信先デバイス120の外部にあってもよい。
映像エンコーダ114および映像デコーダ124は、高効率映像コーディング(HEVC)規格、汎用映像コーディング(VVC)規格、および他の現在および/または更なる規格等の映像圧縮規格に従って動作してもよい。
図4は、映像エンコーダ200の一例を示すブロック図であり、この映像エンコーダ200は、図3に示されるシステム100における映像エンコーダ114であってもよい。
映像エンコーダ200は、本開示の技術のいずれか又は全部を実行するように構成されてもよい。図4の例において、映像エンコーダ200は、複数の機能コンポーネントを含む。本開示で説明される技法は、映像エンコーダ200の様々なコンポーネント間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
映像エンコーダ200の機能コンポーネントは、分割ユニット201と、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205、およびイントラ予測ユニット206を含んでもよい予測ユニット202と、残差生成ユニット207と、変換ユニット208と、量子化ユニット209と、逆量子化ユニット210と、逆変換ユニット211と、再構成ユニット212と、バッファ213と、エントロピー符号化ユニット214とを含んでもよい。
他の例において、映像エンコーダ200は、より多くの、より少ない、又は異なる機能コンポーネントを含んでもよい。一例において、予測ユニット202は、イントラブロックコピー(IBC)ユニットを含んでもよい。IBCユニットは、少なくとも1つの参照ピクチャが現在の映像ブロックが位置するピクチャであるIBCモードにおいて予測を行うことができる。
さらに、動き推定ユニット204および動き補償ユニット205などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図4の例においては個別に表現されている。
分割ユニット201は、1つのピクチャを1または複数の映像ブロックに分割してもよい。映像エンコーダ200および映像デコーダ300は、様々な映像ブロックサイズをサポートしてもよい。
モード選択ユニット203は、例えば、エラーの結果に基づいて、イントラまたはインターのコーディングモードのうちの1つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成ユニット207に供給し、残差ブロックデータを生成して再構成ユニット212に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択ユニット203は、インター予測信号およびイントラ予測信号に基づいて予測を行うCIIP(Combination of Intra and Inter Prediction)モードを選択してもよい。また、モード選択ユニット203は、インター予測の場合、ブロックの動きベクトルの解像度(例えば、サブピクセルまたは整数画素精度)を選択してもよい。
現在の映像ブロックに対してインター予測を行うために、動き推定ユニット204は、バッファ213からの1または複数の参照フレームと現在の映像ブロックとを比較することで、現在の映像ブロックのための動き情報を生成してもよい。動き補償ユニット205は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ213からのピクチャの動き情報および復号されたサンプルに基づいて、現在の映像ブロックのための予測映像ブロックを判定してもよい。
動き推定ユニット204および動き補償ユニット205は、例えば、現在の映像ブロックがIスライスであるか、Pスライスであるか、またはBスライスであるかによって、現在の映像ブロックに対して異なる演算を行ってもよい。
いくつかの例では、動き推定ユニット204は、現在の映像ブロックに対して単一方向予測を行い、動き推定ユニット204は、現在の映像ブロックに対して、参照映像ブロック用のリスト0またはリスト1の参照ピクチャを検索してもよい。そして、動き推定ユニット204は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト0またはリスト1における参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット204は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。
他の例において、動き推定ユニット204は、現在の映像ブロックを双方向予測してもよく、動き推定ユニット204は、リスト0における参照ピクチャの中から現在の映像ブロックを求めるための参照映像ブロックを検索してもよく、また、リスト1における参照ピクチャの中から現在の映像ブロックを求めるための別の参照映像ブロックを検索してもよい。そして、動き推定ユニット204は、参照映像ブロックを含むリスト0およびリスト1における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット204は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。
いくつかの例では、動き推定ユニット204は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。
いくつかの例では、動き推定ユニット204は、現在の映像のための動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット204は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット204は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していることを判定してもよい。
一例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ300に示す値を示してもよい。
別の例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差分(MVD;Motion Vector Difference)とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ300は、示された映像ブロックの動きベクトルおよび動きベクトル差分を使用して、現在の映像ブロックの動きベクトルを決定してもよい。
上述したように、映像エンコーダ200は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ200によって実装され得る予測信号通知技法の2つの例は、AMVP(Advanced Motion Vector Prediction)およびマージモード信号通知を含む。
イントラ予測ユニット206は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット206が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット206は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。
残差生成ユニット207は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって(例えば、マイナス符号によって示されている)、現在の映像ブロックのための残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。
他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成ユニット207は、減算演算を行わなくてもよい。
変換処理ユニット208は、現在の映像ブロックに関連付けられた残差映像ブロックに1または複数の変換を適用することによって、現在の映像ブロックのための1または複数の変換係数映像ブロックを生成してもよい。
変換処理ユニット208が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット209は、現在の映像ブロックに関連付けられた1または複数の量子化パラメータ(QP:Quantization Parameter)値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
逆量子化ユニット210および逆変換ユニット211は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット212は、予測ユニット202にて生成された1または複数の予測映像ブロックからの対応するサンプルに再構成された残差映像ブロックを加え、現在のブロックに関連付けられた再構成映像ブロックを生成し、バッファ213に記憶してもよい。
再構成ユニット212が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング演算が行われてもよい。
エントロピー符号化ユニット214は、映像エンコーダ200の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット214がデータを受信すると、エントロピー符号化部214は、1または複数のエントロピー符号化演算を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。
図5は、映像デコーダ300の一例を示すブロック図であり、この映像デコーダ300は、図3に示すシステム100における映像デコーダ114であってもよい。
映像デコーダ300は、本開示の技術のいずれか又は全部を実行するように構成されてもよい。図5の実施例において、映像デコーダ300は、複数の機能コンポーネントを含む。本開示で説明される技法は、映像デコーダ300の様々なコンポーネント間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
図5の例において、映像デコーダ300は、エントロピー復号ユニット301、動き補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、および再構成ユニット306、並びにバッファ307を含む。映像デコーダ300は、いくつかの例では、映像エンコーダ200(図4)に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。
エントロピー復号ユニット301は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピーコーディングされた映像データ(例えば、映像データの符号化されたブロック)を含んでもよい。エントロピー復号ユニット301は、エントロピーコーディングされた映像データを復号し、エントロピー復号された映像データから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット302は、例えば、AMVPおよびマージモードを実行することで、このような情報を判定してもよい。
動き補償ユニット302は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を実行する。サブピクセルの精度で使用される補間フィルタのための識別子が、構文要素に含まれてもよい。
動き補償ユニット302は、映像ブロックの符号化中に映像エンコーダ200によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数画素のための補間値を計算してもよい。動き補償ユニット302は、受信した構文情報に基づいて、映像エンコーダ200が使用する補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してもよい。
動き補償ユニット302は、符号化された映像シーケンスのフレームおよび/またはスライスを符号化するために使用されるブロックのサイズを判定するための構文情報、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、各インター符号化されたブロックに対する1または複数の参照フレーム(および参照フレームリスト)、および符号化された映像シーケンスを復号するための他の情報の一部分を使用してもよい。
イントラ予測ユニット303は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット303は、ビットストリームに提供され、エントロピー復号ユニット301によって復号される量子化された映像ブロック係数を逆量子化(すなわち、逆量子化)する。逆変換ユニット303は、逆変換を適用する。
再構成ユニット306は、残差ブロックと、動き補償ユニット202又はイントラ予測ユニット303によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用してもよい。復号された映像ブロックは、バッファ307に記憶され、バッファ307は、後続の動き補償/イントラ予測のために参照ブロックを提供し、また表示装置に表示するために復号された映像を生成する。
図6~図7は、上述した技術的解決策を実装することができる例示的な方法を示し、例えば、この実施形態は図1~図5に示す。
図6は、映像処理の方法600の一例を示すフローチャートを示す。この方法600は、動作610において、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像と映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニット(AU)を含むコーディングされた映像シーケンス(CVS)を含み、このビットストリームは、AUがこのCVSを構成する映像レイヤごとにピクチャを含むかどうかを示す第1の構文要素をさらに含む。
図7は、映像処理の方法700の一例を示すフローチャートを示す。この方法700は、動作710において、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、
このビットストリームは、1つ以上のアクセスユニット(AU)を含むコーディングされた映像シーケンス(CVS)を含み、
このビットストリームは、所与のAU内の各ピクチャが、この1つ以上の映像レイヤを含むこのCVSの第1のAUのレイヤ識別子に等しいレイヤ識別子を担持することを規定するフォーマット規則に準拠する。
図8は、映像処理の方法800の一例を示すフローチャートを示す。この方法800は、動作810において、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像と映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニット(AU)を含むコーディングされた映像シーケンス(CVS)を含み、このビットストリームは、新しいCVSを開始する1つ以上のAUのAUを示す第1の構文要素をさらに含む。
図9は、映像処理の方法900の一例を示すフローチャートを示す。この方法900は、動作910において、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニット(AU)を含むコーディングされた映像シーケンス(CVS)を含み、このビットストリームは、新しいCVSを開始するコーディングされた映像シーケンス開始(CVSS)AUが、映像パラメータセット(VPS)に指定される映像レイヤごとにピクチャを含むことを規定するフォーマット規則に準拠する。
図10は、映像処理の方法1000の一例を示すフローチャートを示す。この方法1000は、動作1010において、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニット(AU)を含むコーディングされた映像シーケンスを含み、このビットストリームは、ビットストリームにおける第1のAUである所与のAU、又はシーケンス終了(EOS)ネットワーク抽象化レイヤ(NAL)ユニットを含む所与のアクセスユニットの前のAUに基づいて、所与のAUをコーディングされた映像シーケンス開始(CVSS)AUとして識別することを規定するフォーマット規則に準拠する。
図11は、映像処理の方法1100の一例を示すフローチャートを示す。この方法1100は、動作1110において、1つの規則に基づいて、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニット(AU)を含むコーディングされた映像シーケンス(CVS)を含み、この規則は、この1つ以上のAUのAUがコーディングされた映像シーケンス開始(CVSS)AUであるかどうかを示すためにサイド情報を使用することを規定する。
図12は、映像処理の方法1200の一例を示すフローチャートを示す。この方法1200は、動作1210において、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニット(AU)を含むコーディングされた映像シーケンス(CVS)を含み、このビットストリームは、漸次的復号リフレッシュAUであるこの1つ以上のAUの各AUが、このCVSに存在する映像レイヤごとに正確に1つのピクチャを含むことを規定するフォーマット規則に準拠する。
図13は、映像処理の方法1300の一例を示すフローチャートを示す。この方法1300は、動作1310において、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニット(AU)を含むコーディングされた映像シーケンスを含み、このビットストリームは、イントラランダムアクセスポイントAUであるこの1つ以上のAUの各AUがこのCVSに存在する映像レイヤごとに正確に1つのピクチャを含むことを規定するフォーマット規則に準拠する。
次に、いくつかの実施形態において好適な解決策を列挙する。
P1.1つ以上の映像レイヤに1つ以上のピクチャを有する映像と、この映像の符号化されたバージョンを表すコーディングされた表現との間の変換を行うことを含み、前記コーディングされた表現は、1つ以上のアクセスユニット(AU)を含み、前記コーディングされた表現は、AUがあるタイプである場合にのみ構文要素を含み、この構文要素は、AUがコーディングされた映像シーケンスを構成する映像レイヤごとにピクチャを含むかどうかを示す、映像処理方法。
P2.前記タイプはすべてのAUを含む、解決策P1に記載の方法。
P3.前記タイプは、新しいCVSを開始するAUを含む、解決策P1に記載の方法。
P4.前記構文要素は、アクセスユニット区切り文字ネットワーク抽象化レイヤユニットに含まれる、解決策P1に記載の方法。
P5.前記構文要素は、ネットワーク抽象化レイヤユニットヘッダに含まれる、解決策P1~P4のいずれかに記載の方法。
P6.前記構文要素は、新しいネットワーク抽象化レイヤユニットに含まれる、解決策P1~P4のいずれかに記載の方法。
P7.1つ以上の映像レイヤに1つ以上のピクチャを有する映像と、この映像の符号化されたバージョンを表すコーディングされた表現との間の変換を行うことを含み、前記コーディングされた表現は、1つ以上のアクセスユニット(AU)を含み、前記コーディングされた表現は、所与のAUがコーディングされた映像シーケンスの第1のAUのそれに等しいレイヤ識別子を担持していることを規定するフォーマット規則に準拠する、映像処理方法。
P8.1つ以上の映像レイヤに1つ以上のピクチャを有する映像と、この映像の符号化されたバージョンを表すコーディングされた表現との間の変換を行うことを含み、前記コーディングされた表現は、1つ以上のアクセスユニット(AU)を含み、前記コーディングされた表現は、AUが新しいコーディングされた映像シーケンスを開始する場合にのみ、1つの構文要素を含む、映像処理方法。
P9.前記構文要素は、アクセスユニット区切り文字ネットワーク抽象化レイヤユニットに含まれる、解決策P8に記載の方法。
P10.前記構文要素は、ネットワーク抽象化レイヤユニットヘッダに含まれる、解決策P8~P9のいずれかに記載の方法。
P11.前記構文要素は、補足強化情報として含まれる、解決策P8~P9のいずれかに記載の方法。
P12.1つ以上の映像レイヤに1つ以上のピクチャを有する映像と、この映像のコーディングされた表現との間の変換を行うことを含み、前記コーディングされた表現は、1つ以上のアクセスユニット(AU)を含み、前記コーディングされた表現が、コーディングされた映像シーケンスに対する開始AUが映像パラメータセットによって指定される映像レイヤごとに映像ピクチャを含むこと、または前記コーディングされた表現が規則に基づいて開始AUを暗黙的に信号通知することを規定するフォーマット規則に準拠する、映像処理方法。
P13.1つ以上の映像レイヤに1つ以上のピクチャを有する映像と、この映像のコーディングされた表現との間の変換を行うことを含み、前記コーディングされた表現は、1つ以上のアクセスユニット(AU)を含み、前記コーディングされた表現は、タイプ漸次的復号リフレッシュ(GDR)の各AUが、少なくともコーディングされた映像シーケンスの映像レイヤごとに映像ピクチャを含むことを規定するフォーマット規則に準拠する、映像処理方法。
P14.タイプGDRの各AUは、CVSにおける各レイヤのための予測ユニットをさらに含み、PUは、GDRピクチャを含む、解決策P13に記載の方法。
P15.前記変換は、映像をコーディングされた表現に符号化することを含む、P1~14のいずれかに記載の方法。
P16.前記変換は、映像の画素値を生成するためにコーディングされた表現を復号することを含む、P1~14のいずれかに記載の方法。
P17.P1~16の1または複数に記載の方法を実装するように構成された処理装置を備える、映像復号装置。
P18.P1~16の1または複数に記載の方法を実装するように構成された処理装置を備える、映像符号化装置。
P19.コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、処理装置により実行されると、処理装置に、P1~16のいずれかに記載の方法を実装させるコンピュータプログラム製品。
次に、いくつかの実施形態において好適な別の解決策を列挙する。
A1.1つ以上の映像レイヤ内の1つ以上にピクチャを含む映像と映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、アクセスユニットがこのコーディングされた映像シーケンスを構成する映像レイヤごとのピクチャを含むかどうかを示す第1の構文要素をさらに含む、映像処理方法。
A2.前記アクセスユニットは、新しいコーディングされた映像シーケンスを開始するように構成される、解決策A1に記載の方法。
A3.映像レイヤごとの前記ピクチャは、イントラランダムアクセスポイントピクチャまたは漸次的復号リフレッシュピクチャである、解決策A2に記載の方法。
A4.前記第1の構文要素は、アクセスユニット区切り文字ネットワーク抽象化レイヤユニットに含まれる、解決策A1に記載の方法。
A5.前記第1の構文要素は、アクセスユニット区切り文字を含むアクセスユニットが、イントラランダムアクセスポイントアクセスユニットであるか、または漸次的復号リフレッシュアクセスユニットであるかどうかを示すフラグである、解決策A4に記載の方法。
A6.前記第1の構文要素は、irap_or_gdr_au_flagである、解決策A5に記載の方法。
A7.映像パラメータセットで指定される映像レイヤの数を示す第2の構文要素が1よりも大きい場合、前記アクセスユニット区切り文字ネットワーク抽象化レイヤユニットは、各イントラランダムアクセスポイントアクセスユニットまたは漸次的復号リフレッシュアクセスユニットに存在する唯一のアクセスユニット区切り文字ネットワーク抽象化レイヤユニットである、解決策A4に記載の方法。
A8.前記第2の構文要素は、前記映像パラメータセットを参照する各コーディングされた映像シーケンスにおける最大許容レイヤ数を示す、解決策A7に記載の方法。
A9.前記第1の構文要素が1に等しい場合は、IDR_W_RADLからGDR_NUTまでの範囲内で同一のネットワーク抽象化レイヤユニットタイプを含むアクセスユニットにおけるすべてのスライスを示す、解決策A1に記載の方法。
A10.前記第1の構文要素が1に等しく、ネットワーク抽象化レイヤユニットのタイプがIDR_W_RADLまたはIDR_N_LPである場合は、前記アクセスユニットがコーディングされた映像シーケンス開始アクセスユニットであることを示す、解決策A9に記載の方法。
A11.アクセスユニットにおける各々のピクチャの変数が1に等しく、ネットワーク抽象化レイヤユニットのタイプがCRA_NUTまたはGDR_NUTである場合は、アクセスユニットがコーディングされた映像シーケンス開始アクセスユニットであることを示す、解決策A9に記載の方法。
A12.前記変数は、復号順に現在のピクチャの前の復号されたピクチャバッファにおけるピクチャを、このピクチャを復元する前に出力するかどうかを示す、解決策A11に記載の方法。
A13.前記変数がNoOutputBeforeRecoveryFlagである、解決策A11に記載の方法。
A14.前記第1の構文要素は、ネットワーク抽象化レイヤユニットヘッダに含まれる、解決策A1に記載の方法。
A15.前記第1の構文要素は、新しいネットワーク抽象化レイヤユニットに含まれる、解決策A1に記載の方法。
A16.映像パラメータセットで指定される映像レイヤの数を示す第2の構文要素が1よりも大きい場合、前記新しいネットワーク抽象化レイヤユニットが、各イントラランダムアクセスポイントアクセスユニットまたは漸次的復号リフレッシュアクセスユニットに存在する唯一の新しいネットワーク抽象化レイヤユニットである、解決策A15に記載の方法。
A17.前記第1の構文要素は、補足強化情報メッセージに含まれる、解決策A1に記載の方法。
A18.映像パラメータセットで指定される映像レイヤの数を示す第2の構文要素がゼロよりも大きい場合、補足強化情報メッセージは、各イントラランダムアクセスポイントアクセスユニットまたは漸次的復号リフレッシュアクセスユニットに存在する唯一の補足強化情報メッセージである、解決策A17に記載の方法。
A19.1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、所与のアクセスユニット内の各ピクチャが、この1つ以上の映像レイヤを含むこのコーディングされた映像シーケンスの第1のアクセスユニットのレイヤ識別子に等しいレイヤ識別子を担持することを規定するフォーマット規則に準拠する、映像処理方法。
A20.1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像と映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、この1つ以上のアクセスユニットのうち、新しいコーディングされた映像シーケンスを開始するアクセスユニットを示す第1の構文要素をさらに含む、映像処理方法。
A21.前記第1の構文要素は、アクセスユニット区切り文字ネットワーク抽象化レイヤユニットに含まれる、解決策A20に記載の方法。
A22.前記第1の構文要素は、ネットワーク抽象化レイヤユニットヘッダに含まれる、解決策A20に記載の方法。
A23.前記第1の構文要素は、新しいネットワーク抽象化レイヤユニットに含まれる、解決策A20に記載の方法。
A24.前記第1の構文要素は、補足強化情報メッセージに含まれる、解決策A20に記載の方法。
A25.1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、前記ビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、前記ビットストリームは、新しいコーディングされた映像シーケンスを開始するコーディングされた映像シーケンス開始アクセスユニットが、映像パラメータセットに指定される映像レイヤごとにピクチャを含むことを規定するフォーマット規則に準拠する、映像処理方法。
A26.1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、ビットストリームにおける第1のアクセスユニットである所与のアクセスユニット、又はシーケンス終了ネットワーク抽象化レイヤユニットを含む所与のアクセスユニットの前のアクセスユニットに基づいて、所与のアクセスユニットをコーディングされた映像シーケンス開始アクセスユニットとして識別することを規定するフォーマット規則に準拠する、映像処理方法。
A27.1つの規則に基づいて、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、この規則は、この1つ以上のアクセスユニットのアクセスユニットがコーディングされた映像シーケンス開始アクセスユニットであるかどうかを示すためにサイド情報を使用することを規定する、映像処理方法。
A28.前記変換は、前記ビットストリームから前記映像を復号することを含む、解決策A1~27のいずれかに記載の方法。
A29.前記変換は、前記ビットストリームに前記映像を符号化することを含む、解決策A1~27のいずれかに記載の方法。
A30.映像を表すビットストリームをコンピュータ可読記録媒体に記憶する方法であって、解決策A1~A27のいずれか1つ以上に記載の方法に従って、前記映像からビットストリームを生成し、前記ビットストリームを前記コンピュータ可読記録媒体に記憶させることを含む、方法。
A31.解決策A1~A30のいずれか1つ以上に記載の方法を実装するように構成された処理装置を備える映像処理装置。
A32.命令が記憶されたコンピュータ可読媒体であって、前記命令が実行されると、処理装置に、解決策A1~A30に1つ以上に記載の方法を実装させる、コンピュータ可読媒体。
A33.解決策A1~A30のいずれか1つ以上に記載の方法により生成された前記ビットストリームを記憶するコンピュータ可読媒体。
A34.解決策A1~A30のいずれか1つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。
次に、いくつかの実施形態において好適なさらに別の解決策を列挙する。
B1.1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、漸次的復号リフレッシュアクセスユニットであるこの1つ以上のアクセスユニットの各アクセスユニットが、このコーディングされた映像シーケンスに存在する映像レイヤごとに正確に1つのピクチャを含むことを規定するフォーマット規則に準拠する、映像処理方法。
B2.漸次的復号リフレッシュアクセスユニットである各アクセスユニットは、コーディングされた映像シーケンスに存在する各レイヤの予測ユニットを含み、各レイヤの予測ユニットは、漸次的復号リフレッシュピクチャであるコーディングされたピクチャを含む、解決策B1に記載の方法。
B3.1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットを含むコーディングされた映像シーケンスを含み、このビットストリームは、イントラランダムアクセスポイントアクセスユニットであるこの1つ以上のアクセスユニットの各アクセスユニットがこのコーディングされた映像シーケンスに存在する映像レイヤごとに正確に1つのピクチャを含むことを規定するフォーマット規則に準拠する、映像処理方法。
B4.前記変換は、前記ビットストリームから前記映像を復号することを含む、解決策B1~B3のいずれかに記載の方法。
B5.前記変換は、前記ビットストリームに前記映像を符号化することを含む、解決策B1~B3のいずれかに記載の方法。
B6.映像を表すビットストリームをコンピュータ可読記録媒体に記憶する方法であって、解決策B1~B3のいずれか1つ以上に記載の方法に従って、前記映像からビットストリームを生成し、前記ビットストリームを前記コンピュータ可読記録媒体に記憶させることを含む、方法。
B7.解決策B1~B6のいずれか1つ以上に記載の方法を実装するように構成された処理装置を備える、映像処理装置。
B8.命令が記憶されたコンピュータ可読媒体であって、前記命令が実行されると、処理装置に、解決策B1~B6に1つ以上に記載の方法を実装させる、コンピュータ可読媒体。
B9.解決策B1~B6のいずれか1つ以上に記載の方法により生成された前記ビットストリームを記憶するコンピュータ可読媒体。
B10.解決策B1~6のいずれか1つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。
本明細書では、「映像処理」という用語は、映像符号化、映像復号、映像圧縮、または映像展開を指してよい。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文フィールドをコーディングされた表現に含めるか、またはコーディングされた表現から除外することによって、それに応じてコーディングされた表現を生成してもよい。
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1または複数のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。コンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1または複数のコンピュータプログラムを実行する1または複数のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1または複数の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための1または複数のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための1または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1または複数の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

Claims (16)

  1. 1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含む映像処理方法であって、
    前記ビットストリームは、アクセスユニットを含むコーディングされた映像シーケンスを含み、
    前記ビットストリームは、前記アクセスユニットが前記コーディングされた映像シーケンスを構成する映像レイヤごとに第1のタイプのピクチャを含むかどうかを示す第1の構文要素をさらに含み、
    前記第1の構文要素は、アクセスユニット区切り文字ネットワーク抽象化レイヤユニットに含まれ、
    映像パラメータセットを参照する各コーディングされた映像シーケンス内のレイヤの最大許容数を示す第2の構文要素が1よりも大きい場合、前記アクセスユニット区切り文字ネットワーク抽象化レイヤユニットは、各イントラランダムアクセスポイントアクセスユニットまたは漸次的復号リフレッシュアクセスユニットに存在する唯一のアクセスユニット区切り文字ネットワーク抽象化レイヤユニットである、映像処理方法。
  2. 前記アクセスユニットは、映像レイヤごとに前記第1のタイプのピクチャを含み、前記アクセスユニットは、新しいコーディングされた映像シーケンスを開始するように構成されるか、又は前記アクセスユニットの各ピクチャが前記第1のタイプのピクチャである、請求項1に記載の方法。
  3. 映像レイヤごとの前記第1のタイプのピクチャは、イントラランダムアクセスポイントピクチャまたは漸次的復号リフレッシュピクチャである、請求項1または2に記載の方法。
  4. 前記第1の構文要素は、アクセスユニット区切り文字を含む前記アクセスユニットが、イントラランダムアクセスポイントアクセスユニットであるか、または漸次的復号リフレッシュアクセスユニットであるかどうかを示すフラグである、請求項に記載の方法。
  5. 前記第2の構文要素は、前記最大許容数から1を減算したものを示すことで、レイヤの前記最大許容数を示す、請求項1または4に記載の方法。
  6. 前記ビットストリームは、アクセスユニットにおける各ピクチャが、前記コーディングされた映像シーケンスの第1のアクセスユニットに存在するピクチャのうちの1つのレイヤ識別子に等しいレイヤ識別子を伝えることを規定するフォーマット規則にさらに準拠する、請求項1~のいずれか1項に記載の方法。
  7. 前記レイヤ識別子は、nuh_layer_idである、請求項に記載の方法。
  8. 前記第1の構文要素が1に等しいことは、前記アクセスユニットにおけるすべてのスライスがIDR_W_RADLからGDR_NUTまでの範囲内で同一のネットワーク抽象化レイヤユニットタイプを含むことを示す、請求項1~のいずれか1項に記載の方法。
  9. 前記第1の構文要素が1に等しく、前記ネットワーク抽象化レイヤユニットのタイプがIDR_W_RADLまたはIDR_N_LPである場合は、前記アクセスユニットはコーディングされた映像シーケンス開始アクセスユニットであることを示す、請求項に記載の方法。
  10. 前記アクセスユニットにおける各々の前記ピクチャの変数が1に等しく、前記ネットワーク抽象化レイヤユニットのタイプがCRA_NUTまたはGDR_NUTである場合は、前記アクセスユニットはコーディングされた映像シーケンス開始アクセスユニットであることを示す、請求項またはに記載の方法。
  11. 前記変数は、復号順に現在のピクチャの前の復号されたピクチャバッファにおけるピクチャを、前記ピクチャを復元する前に出力するかどうかを示す、請求項10に記載の方法。
  12. 前記変換は、前記ビットストリームから前記映像を復号することを含む、請求項1~11のいずれか1項に記載の方法。
  13. 前記変換は、前記映像を前記ビットストリームに符号化することを含む、請求項1~11のいずれか1項に記載の方法。
  14. 処理装置と命令を備える非一時的メモリとを含む映像データを処理するための装置であって、
    前記命令は前記処理装置によって実行されると、前記処理装置に、
    1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行なわせ、
    前記ビットストリームは、アクセスユニットを含むコーディングされた映像シーケンスを含み、
    前記ビットストリームは、前記アクセスユニットが前記コーディングされた映像シーケンスを構成する映像レイヤごとに第1のタイプのピクチャを含むかどうかを示す第1の構文要素をさらに含み、
    前記第1の構文要素は、アクセスユニット区切り文字ネットワーク抽象化レイヤユニットに含まれ、
    映像パラメータセットを参照する各コーディングされた映像シーケンス内のレイヤの最大許容数を示す第2の構文要素が1よりも大きい場合、前記アクセスユニット区切り文字ネットワーク抽象化レイヤユニットは、各イントラランダムアクセスポイントアクセスユニットまたは漸次的復号リフレッシュアクセスユニットに存在する唯一のアクセスユニット区切り文字ネットワーク抽象化レイヤユニットである、映像データを処理するための装置。
  15. 命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記命令は、処理装置に、
    1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行なわせ、
    前記ビットストリームは、アクセスユニットを含むコーディングされた映像シーケンスを含み、
    前記ビットストリームは、前記アクセスユニットが前記コーディングされた映像シーケンスを構成する映像レイヤごとに第1のタイプのピクチャを含むかどうかを示す第1の構文要素をさらに含み、
    前記第1の構文要素は、アクセスユニット区切り文字ネットワーク抽象化レイヤユニットに含まれ、
    映像パラメータセットを参照する各コーディングされた映像シーケンス内のレイヤの最大許容数を示す第2の構文要素が1よりも大きい場合、前記アクセスユニット区切り文字ネットワーク抽象化レイヤユニットは、各イントラランダムアクセスポイントアクセスユニットまたは漸次的復号リフレッシュアクセスユニットに存在する唯一のアクセスユニット区切り文字ネットワーク抽象化レイヤユニットである、非一時的なコンピュータ可読記憶媒体。
  16. 像のビットストリームを記憶する方法であって、
    前記方法は、1つ以上の映像レイヤ内に1つ以上のピクチャを含む映像のビットストリームを生成することと、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと、を含み、
    前記ビットストリームは、アクセスユニットを含むコーディングされた映像シーケンスを含み、
    前記ビットストリームは、前記アクセスユニットが前記コーディングされた映像シーケンスを構成する映像レイヤごとに第1のタイプのピクチャを含むかどうかを示す第1の構文要素をさらに含み、
    前記第1の構文要素は、アクセスユニット区切り文字ネットワーク抽象化レイヤユニットに含まれ、
    映像パラメータセットを参照する各コーディングされた映像シーケンス内のレイヤの最大許容数を示す第2の構文要素が1よりも大きい場合、前記アクセスユニット区切り文字ネットワーク抽象化レイヤユニットは、各イントラランダムアクセスポイントアクセスユニットまたは漸次的復号リフレッシュアクセスユニットに存在する唯一のアクセスユニット区切り文字ネットワーク抽象化レイヤユニットである方法
JP2022555718A 2020-03-16 2021-03-15 スケーラブル映像コーディングにおけるランダムアクセスポイントアクセスユニット Active JP7457151B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062990387P 2020-03-16 2020-03-16
US62/990,387 2020-03-16
PCT/US2021/022400 WO2021188451A1 (en) 2020-03-16 2021-03-15 Random access point access unit in scalable video coding

Publications (2)

Publication Number Publication Date
JP2023518046A JP2023518046A (ja) 2023-04-27
JP7457151B2 true JP7457151B2 (ja) 2024-03-27

Family

ID=77772168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022555718A Active JP7457151B2 (ja) 2020-03-16 2021-03-15 スケーラブル映像コーディングにおけるランダムアクセスポイントアクセスユニット

Country Status (8)

Country Link
US (3) US11800153B2 (ja)
EP (2) EP4304168A3 (ja)
JP (1) JP7457151B2 (ja)
KR (1) KR20220155277A (ja)
CN (2) CN115299053A (ja)
BR (1) BR112022018069A2 (ja)
MX (1) MX2022011207A (ja)
WO (2) WO2021188453A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115868165A (zh) 2020-03-21 2023-03-28 抖音视界有限公司 参考图片重采样
US11800096B2 (en) * 2020-03-31 2023-10-24 Tencent America LLC Method for signaling virtual boundary signaling with subpictures in coded video stream
US11706428B2 (en) * 2020-04-06 2023-07-18 Tencent America LLC Method for signaling picture header in coded video stream
KR20220165256A (ko) * 2020-04-11 2022-12-14 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
WO2021254379A1 (en) 2020-06-20 2021-12-23 Beijing Bytedance Network Technology Co., Ltd. Inter layer prediction with different coding block size

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160044309A1 (en) 2013-04-05 2016-02-11 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289370B2 (en) * 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
US7535383B2 (en) 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US20100232520A1 (en) * 2007-11-05 2010-09-16 Zhenyu Wu Scalable video coding method for fast channel change and increased error relilience
CN102106156B (zh) * 2008-07-26 2013-06-19 汤姆逊许可证公司 使用可分级视频编码(svc)的用于快速信道改变的实时传输协议(rtp)打包方法
US9131245B2 (en) * 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9736476B2 (en) * 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
US20140079138A1 (en) * 2012-09-14 2014-03-20 Sony Corporation Simplifiication of pic_order_cnt_lsb calculation in hm8
KR101775250B1 (ko) 2012-09-28 2017-09-05 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US9398293B2 (en) * 2013-01-07 2016-07-19 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
CN105027567A (zh) * 2013-01-07 2015-11-04 诺基亚技术有限公司 用于视频编码和解码的方法和装置
EP2946558B1 (en) * 2013-01-15 2020-04-29 Huawei Technologies Co., Ltd. Method for decoding an hevc video bitstream
US9596486B2 (en) * 2013-04-05 2017-03-14 Qualcomm Incorporated IRAP access units and bitstream switching and splicing
US10560710B2 (en) 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US10284867B2 (en) * 2014-12-18 2019-05-07 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
EP3673665A4 (en) * 2017-08-24 2021-03-10 Nokia Technologies Oy APPARATUS, PROCESS AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
CN109963176B (zh) * 2017-12-26 2021-12-07 中兴通讯股份有限公司 视频码流处理方法、装置、网络设备和可读存储介质
US10638147B2 (en) * 2018-06-01 2020-04-28 Apple Inc. Gradual decoder refresh techniques with management of reference pictures
WO2021058596A1 (en) 2019-09-24 2021-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and data stream for gradual decoder refresh coding and scalable coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160044309A1 (en) 2013-04-05 2016-02-11 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, et al.,"Versatile Video Coding (Draft 7)",Document: JVET-P2001-vE, [online],JVET-P2001 (version 14),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2019年11月14日,Pages 3-12 and 86-91,[令和5年8月23日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=8857> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P2001-v14.zip>.
Ye-Kui Wang,"AHG8/AHG9: On IRAP and GDR AUs",Document: JVET-R0065-v1, [online],JVET-R0065 (version 1),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2020年04月02日,Pages 1-3,[令和6年2月7日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9709> and <URL: https://jvet-experts.org/doc_end_user/documents/18_Alpbach/wg11/JVET-R0065-v1.zip>.

Also Published As

Publication number Publication date
EP4104428A1 (en) 2022-12-21
US11800153B2 (en) 2023-10-24
EP4304168A2 (en) 2024-01-10
CN115299053A (zh) 2022-11-04
BR112022018069A2 (pt) 2022-10-25
US20230412847A1 (en) 2023-12-21
MX2022011207A (es) 2022-09-19
EP4104428A4 (en) 2023-05-03
WO2021188451A1 (en) 2021-09-23
EP4304168A3 (en) 2024-03-27
WO2021188453A1 (en) 2021-09-23
CN115299054A (zh) 2022-11-04
US11863795B2 (en) 2024-01-02
US20230012183A1 (en) 2023-01-12
KR20220155277A (ko) 2022-11-22
JP2023518046A (ja) 2023-04-27
US20230007309A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
JP7457151B2 (ja) スケーラブル映像コーディングにおけるランダムアクセスポイントアクセスユニット
JP7425204B2 (ja) ビデオビットストリームにおける仮想参照デコーダパラメータのシグナリングに対する制約
JP7431330B2 (ja) ビデオコーディングにおけるプロファイル、層及びレイヤの指示
JP7415035B2 (ja) 映像コーディングにおけるピクチャ出力フラグの指示
CN115804091A (zh) 访问单元分隔符,以及视频编解码中的通用约束信息
CN115699765A (zh) 访问单元中图片信息的信令
JP2023526371A (ja) 漸次的復号更新および参照ピクチャリストの信号通知
CN115699731A (zh) 参考图片重采样
JP7372483B2 (ja) 映像ピクチャヘッダにおけるフィルタリングパラメータ信号通知
JP2023529198A (ja) マルチレイヤビデオコーディングのピクチャヘッダ制約
JP2023526658A (ja) コーディングされた映像におけるシーケンスの終端の表示

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240314

R150 Certificate of patent or registration of utility model

Ref document number: 7457151

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150