JP7405990B2 - コーディングされたピクチャ内における復号順を実装する技術 - Google Patents

コーディングされたピクチャ内における復号順を実装する技術 Download PDF

Info

Publication number
JP7405990B2
JP7405990B2 JP2022537686A JP2022537686A JP7405990B2 JP 7405990 B2 JP7405990 B2 JP 7405990B2 JP 2022537686 A JP2022537686 A JP 2022537686A JP 2022537686 A JP2022537686 A JP 2022537686A JP 7405990 B2 JP7405990 B2 JP 7405990B2
Authority
JP
Japan
Prior art keywords
slice
video
picture
unit
coded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022537686A
Other languages
English (en)
Other versions
JP2023510110A (ja
Inventor
イェクイ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Publication of JP2023510110A publication Critical patent/JP2023510110A/ja
Priority to JP2023202894A priority Critical patent/JP2024023476A/ja
Application granted granted Critical
Publication of JP7405990B2 publication Critical patent/JP7405990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

(関連出願の相互参照)
願は、2019年12月26日出願の米国特許仮出願第62/953812号および2019年12月27日出願の米国特許仮出願第62/954375号の優先権および利益を主張する、2020年12月21日出願の国際特許出願第PCT/US2020/066356号に基づく。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
本明細書は、映像コーディング化技術、システムおよびデバイスに関する。
デジタル映像は、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
コーディングされたピクチャ内の映像コーディング層(VCL)ネットワーク抽象化層(NAL)ユニットの復号順を規定することを含む、デジタル映像コーディングに関連するデバイス、システム、および方法を説明する。記載された方法は、既存の映像コーディング標準(例えば、高効率映像コーディング(High Efficiency Video Coding、HEVC)および/または汎用映像コーディング標準(VVC))および将来の映像コーディング規格、または映像コーデックの両方に適用することができる。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、1つ以上のスライスを含む1つ以上のサブピクチャを含む映像と、規則に従った映像のビットストリーム表現との間で変換を行うことを含み、前記ビットストリーム表現は、多数のコーディングされたユニットを含み、前記規則は、サブピクチャ内のコーディングされたユニットの復号順が、前記コーディングされたユニットのレベルスライスインデックス値の昇順であることを規定する。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、1つ以上のスライスを含む1つ以上のサブピクチャを含む映像と、規則に従った映像のビットストリーム表現との間で変換を行うことを含み、前記ビットストリーム表現は、多数のコーディングされたユニットを含み、前記規則は、コーディングされたユニットの復号順が、前記コードユニットを含む前記1つ以上のサブピクチャから、サブピクチャのサブピクチャ関連値の昇順であることを規定する。
別の代表的な態様において、上記方法は、プロセッサが実行可能なコードの形式で実施され、コンピュータ読み取り可能プログラム媒体に記憶される。
さらに別の代表的な態様において、上述した方法を行うように構成された、または動作可能なデバイスが開示される。この装置は、この方法を実装するようにプログラムされたプロセッサを含んでもよい。
さらに別の代表的な態様において、映像デコーダ装置は、本明細書で説明されるような方法を実装してもよい。
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される。
12個のタイルおよび3つのラスタスキャンスライスに区分された、18×12個の輝度コーディングツリーユニット(CTU)を有するピクチャの例を示す。 24個のタイルおよび9個の矩形スライスに区分された、18×12個の輝度CTUを有するピクチャの例を示す。 4つのタイルおよび4つの矩形スライスに区分されたピクチャの例を示す。 15個のタイル、24個のスライス、及び24個のサブピクチャに分割されたピクチャの例を示す。 映像処理の方法の一例を示すフローチャートを示す。 映像処理装置の例を示すブロック図である。 映像コーディングシステムの一例を示すブロック図である。 符号化の一例を示すブロック図である。 復号化の一例を示すブロック図である。 開示された技術を実装することができる映像処理システムの一例を示すブロック図である。 開示された技術のいくつかの実装形態に基づく、映像処理方法の一例を示すフローチャートである。
より高い解像度の映像の需要が増大しているため、近代技術において、映像コーディング法および技術は、遍在している。映像コーデックは、一般的に、デジタル映像を圧縮又は展開する電子回路又はソフトウェアを含み、より高いコーディング効率を提供するように絶えず改良されている。映像コーデックは、非圧縮映像を圧縮フォーマットに変換する、又はその逆である。映像の品質、映像を表現するために使用されるデータの数(ビットレートにより決まる)、符号化および復号化アルゴリズムの複雑性、データの損失およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエンドの遅延(待ち時間)の間には複雑な関係がある。この圧縮フォーマットは、通常、標準的な映像圧縮仕様、例えば、高効率映像コーディング(HEVC)規格(H.265またはMPEG-H Part 2としても知られている)、完成させるべき汎用映像コーディング規格、または他の現在のおよび/または将来の映像コーディング基準に準拠する。
開示される技術の実施形態は、ランタイム性能を向上させるために、既存の映像コーディング規格(例えば、HEVC、H.265)および将来の規格に適用されてもよい。本発明は、具体的には、映像コーディング化におけるマージモードに関する。本明細書では、説明の可読性を向上させるために章の見出しを使用しており、説明又は実施形態(及び/又は実装形態)をそれぞれの章のみに限定するものではない。
1.例示的な実施形態の概要
開示される技術の実施例は、コーディングされた映像ビットストリームにおけるコーディングされたピクチャ内の映像コーディング層(VCL)ネットワーク抽象化層(NAL)ユニットの復号順を規定することに向けられる。本発明は、ピクチャをスライス及びサブピクチャの分割に対応可能な任意の映像コーディング規格、例えば、開発されている汎用映像コーディング(VVC)、又は他の任意の映像コーディング規格若しくは映像コーデックに適用されてもよい。
2.本明細書で使用される略語のリスト
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
AUD Access Unit Delimiter(アクセスユニットデリミター)
AVC Advanced Video Coding(高度映像コーディング)
CRA Clean Random Access(クリーンランダムアクセス)
CTU Coding Tree Unit(コーディングツリーユニット)
CVS Coded Video Sequence(コーディング映像シーケンス)
DPS Decoding Parameter Set(復号パラメータセット)
EOB End Of Bitstream(ビットストリーム終端)
EOS End Of Sequence(シーケンス終端)
GDR Gradual Decoding Refresh(漸次的復号化リフレッシュ)
HEVC High Efficiency Video Coding(高効率映像コーディング)
IDR Instantaneous Decoding Refresh(
瞬時復号化リフレッシュ)
JEM Joint Exploration Model(共同探索モデル)
MCTS Motion-Constrained Tile Sets(動作制約タイルセット)
NAL Network Abstraction Layer(ネットワーク抽象化層)
PH Picture Header(ピクチャヘッダ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PU Picture Unit(ピクチャユニット)
RBSP Raw Byte Sequence Payload(生バイトシーケンスペイロード)
SEI Supplemental Enhancement Information(補足強化情報)
SPS Sequence Parameter Set(シーケンスパラメータセット)
VCL Video Coding Layer(映像コーディング層)
VPS Video Parameter Set(映像パラメータセット)
VTM VVC Test Model(VVC試験モデル)
VUI Video Usability Information(映像ユーザビリティ情報)
VVC Versatile Video Coding(汎用映像コーディング)
3.背景技術
映像コーディング規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「汎用映像コーディング(Versatile Video Coding:VVC)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。
3.1 HEVCにおけるピクチャ分割スキーム
HEVCには、正規のスライス、依存性のあるスライス、タイル、WPP(Wavefront Parallel Processing)という4つの異なる画像分割スキームがあり、これらを適用することで、最大転送ユニット(MTU)サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。
正規のスライスは、H.264/AVCと同様である。各正規のスライスは、それ自体のNALユニットにカプセル化され、スライス境界にわたるインピクチャ予測(イントラサンプル予測、動き情報予測、コーディングモード予測)およびエントロピーコーディング依存性は無効化される。このように、1つの正規のスライスは、同じピクチャ内の他の正規のスライスとは独立して再構成することができる(しかし、ループフィルタリング動作のために依然として相互依存性が残っている場合がある)。
正規のスライスは、並列化に使用できる唯一のツールであり、H.264/AVCでもほぼ同じ形式で使用できる。正規のスライスに基づく並列化は、プロセッサ間通信またはコア間通信をあまり必要としない(予測コーディングされたピクチャを復号化するとき、動き補償のためにプロセッサ間またはコア間データ共有を除いて、通常、ピクチャ内予測のためにプロセッサ間またはコア間データ共有よりもはるかに重い)。しかしながら、同じ理由で、正規のスライスを使用すると、スライスヘッダのビットコストおよびスライス境界にわたる予測が欠如していることに起因して、コーディングのオーバーヘッドが大きくなる可能性がある。さらに、レギュラースライスは(後述の他のツールとは対照的に)、レギュラースライスのピクチャ内独立性および各レギュラースライスがそれ自体のNALユニットにカプセル化されることに起因して、MTUサイズ要件に適応するようにビットストリームを分割するための鍵となるメカニズムとしても機能する。多くの場合、並列化の目標およびMTUサイズマッチングの目標は、画像におけるスライスレイアウトに矛盾する要求を課す。このような状況を実現したことにより、以下のような並列化ツールが開発された。
従属スライスは、ショートスライスヘッダを有し、ピクチャ内予測を一切中断することなく、ツリーブロック境界でビットストリームを区分することを可能にする。基本的に、従属スライスは、正規のスライスを複数のNALユニットに断片化し、正規のスライス全体の符号化が完了する前に正規のスライスの一部を送出することを可能にすることによって、エンドツーエンド遅延を低減する。
WPPにおいて、ピクチャは、単一行のコーディングツリーブロック(CTB)に分割される。エントロピー復号化および予測は、他の分割におけるCTBからのデータを使用することを許可される。CTB行の並列復号によって並列処理が可能であり、1つのCTB行の復号化の開始が2つのCTBだけ遅延され、それによって、対象のCTBが復号化される前に、対象のCTBの右上のCTBに関するデータが確実に利用可能になる。この互い違いのスタート(グラフで表される場合、波面のように見える)を使用することで、ピクチャがCTB行を含む数までのプロセッサ/コアを用いて並列化することが可能である。1つのピクチャ内の近傍のツリーブロック行間のピクチャ内予測が許可されるので、ピクチャ内予測を可能にするために必要なプロセッサ間/コア間通信は十分となり得る。WPP分割は、適用されない場合と比較して、追加のNALユニットの生成をもたらさず、従って、WPPは、MTUサイズマッチングのためのツールではない。しかし、MTUサイズのマッチングが必要な場合、一定のコーディングオーバーヘッドを伴って、WPPで正規のスライスを使用することができる。
タイルは、ピクチャをタイルの列および行に分割する水平および垂直境界を規定する。タイルの列は、ピクチャの上からピクチャの下へと延びている。同様に、タイルの行は、ピクチャの左からピクチャの右に延びる。ピクチャにおけるタイルの数は、単にタイル列の数にタイル行の数を乗算することで得ることができる。
CTBのスキャン順序は、1つのタイル内でローカルになるように(1つのタイルのCTBラスタスキャンの順に)変更され、その後、1つのピクチャのタイルラスタスキャンの順に従って、次のタイルの左上のCTBを復号する。正規のスライスと同様に、タイルは、ピクチャ内予測依存性およびエントロピー復号化依存性を損なう。しかしながら、これらは、個々のNALユニット(この点でWPPと同じ)に含まれる必要がなく、従って、タイルは、MTUサイズマッチングに使用できない。各タイルは、1つのプロセッサ/コアによって処理されてもよく、処理ユニット間のピクチャ内予測に必要なプロセッサ/コア間通信では、近傍タイルの復号化は、1つのスライスが2つ以上のタイルにまたがっている場合、共有スライスヘッダの伝達と、再構築されたサンプルおよびメタデータのループフィルタリングに関連する共有とに限定される。1つのスライスに2つ以上のタイルまたはWPPセグメントが含まれる場合、該スライスにおける最初の1つ以外の各タイルまたはWPPセグメントのエントリポイントバイトオフセットが、スライスヘッダにおいて信号通知される。
説明を簡単にするために、HEVCにおいては、4つの異なるピクチャ分割方式の適用に関する制限が規定されている。所与のコーディングされた映像シーケンスは、HEVCに指定されたプロファイルのほとんどについて、タイルおよび波面の両方を含むことができない。各スライスおよびタイルについて、以下のいずれかまたは両方の条件を満たさなければならない。1)1つのスライスにおけるすべてのコーディングされたツリーブロックは、同じタイルに属し、2)1つのタイルにおけるすべてのコーディングされたツリーブロックは、同じスライスに属する。最後に、1つの波面セグメントはちょうど1つのCTB行を含み、WPPが使用されている時に、1つのスライスが1つのCTB行内で始まる場合、同じCTB行で終わらなければならない。
最近のHEVCの修正は、JCT-VCの出力文書であるJCTVC-AC1005、J.ボイス、A.ラマスブラモニアン、R.スクピン、G.J.スリ版、A.トゥラピス、Y.-K.ワング(editors),“HEVC 追加の捕捉強化情報(Draft4),”Oct.24,2017,下記で入手可能:http://phenix.int-evry.fr/jct/doc_end_user/documents/29_Macau/wg11/JCTVC-AC1005-v2.zipこの補正を含め、HEVCは、3つのMCTS関連SEIメッセージ、即ち、時間MCTS SEIメッセージ、MCTS抽出情報セットSEIメッセージ、およびMCTS抽出情報ネストSEIメッセージを特定する。
時間MCTS SEIメッセージは、ビットストリーム中にMCTSが存在することを示し、MCTSに信号を送信する。各MCTSにおいて、動きベクトルは、MCTS内部のフルサンプル位置と、補間のためにMCTS内部のフルサンプル位置のみを必要とするフラクショナルサンプル位置とを指すように制限され、且つ、MCTS外部のブロックから導出された時間動きベクトル予測のための動きベクトル候補の使用は許可されない。このように、各MCTSは、MCTSに含まれていないタイルが存在せず、独立して復号化されてもよい。
MCTS抽出情報セットSEIメッセージは、MCTSサブビットストリーム抽出(SEIメッセージの意味の一部として指定される)において使用され得る補足情報を提供し、MCTSセットのための適合ビットストリームを生成する。この情報は、複数の抽出情報セットを含み、各抽出情報セットは、複数のMCTSセットを定義し、MCTSサブビットストリーム抽出処理において使用される代替VPS、SPS、およびPPSのRBSPバイトを含む。MCTSサブビットストリーム抽出プロセスによってサブビットストリームを抽出する場合、パラメータセット(VPS,SPS,PPS)を書き換えるかまたは置き換える必要があるが、その理由は、スライスアドレスに関連する構文要素の1つまたは全て(first_slice_segment_in_pic_flagおよびslice_segment_addressを含む)が異なる値となる必要があるためである。
3.2. VVCにおけるピクチャの分割
VVCにおいて、1つのピクチャは、1つ以上のタイル行および1つ以上のタイル列に分割される。1つのタイルは、1つの画像の1つの矩形領域を覆う1つのCTUのシーケンスである。1つのタイルにおけるCTUは、そのタイル内でラスタスキャン順にスキャンされる。
1つのスライスは、1つのピクチャのタイル内において、整数個の完全なタイルまたは整数個の連続した完全なCTU行を含む。
2つのモードのスライス、即ちラスタスキャンスライスモードおよび矩形スライスモードに対応している。ラスタスキャンスライスモードにおいて、1つのスライスは、1つのピクチャのタイルラスタスキャンにおける1つの完全なタイルのシーケンスを含む。矩形スライスモードにおいて、1つのスライスは、ピクチャの矩形領域を集合的に形成する複数の完全なタイル、またはピクチャの矩形領域を集合的に形成する1つのタイルの複数の連続した完全なCTU行のいずれかを含む。矩形スライス内のタイルを、そのスライスに対応する矩形領域内で、タイルラスタスキャンの順にスキャンする。
1つのサブピクチャは、1つのピクチャの矩形領域を集合的に覆う1つ以上のスライスを含む。
図1は、ピクチャのラスタスキャンスライス区分の例を示し、ピクチャは、12個のタイルと3個のラスタスキャンスライスとに分割される。
図2は、ピクチャを矩形スライス区分の例を示し、ピクチャは、24個のタイル(6個のタイル列および4個のタイル行)と9個の矩形スライスとに分割される。
図3は、タイルおよび矩形のスライスに分割されたピクチャの例を示し、このピクチャは、4つのタイル(2つのタイルの列および2つのタイルの行)と4つの矩形スライスとに分割される。
図4は、1つのピクチャをサブピクチャで分割する例を示し、1つのピクチャは、18個のタイルに分割され、左側の12個が、4×4のCTUの1つのスライスをそれぞれ含み、右側の6個のタイルが、2×2のCTUの垂直方向に積み重ねられたスライスをそれぞれ含み、全体で24個のスライス及び24個の異なる寸法のサブピクチャとなる(各スライスは、1つのサブピクチャ)。
3.3 VVCにおけるサブピクチャ、スライスおよびタイルの信号通知
最近のVVC草案テキストにおいて、サブピクチャの情報は、サブピクチャのレイアウト(即ち、各ピクチャのサブピクチャの数、および各ピクチャの位置及びサイズ)と、他のシーケンスレベルのサブピクチャ情報とを含み、これらの情報は、SPSにおいて信号通知される。SPSにおいて信号通知されるサブピクチャの順序は、サブピクチャインデックスを規定する。各サブピクチャに1つのサブピクチャIDのリストは、例えば、SPS又はPPSにおいて、明示的に信号通知されてもよい。
VVCにおけるタイルは、概念的にはHEVCにおけるものと同じであり、即ち、各ピクチャは、タイルの列及びタイルの行に分割されるが、PPSではタイルの信号通知のために異なる構文を有する。
VVCにおいて、スライスモードもPPSで信号通知される。スライスモードが矩形スライスモードである場合、PPSにおいて、各ピクチャのスライスレイアウト(即ち、各ピクチャのスライス数、各スライスの位置及びサイズ)が信号通知される。PPSにおいて信号通知されるピクチャ内の矩形スライスの順序は、ピクチャレベルのスライスインデックスを規定する。サブピクチャレベルのスライスインデックスは、サブピクチャにおけるスライスの順番として、ピクチャレベルのスライスインデックスの昇順に定義される。矩形スライスの位置及びサイズは、SPSにおいて信号通知されるサブピクチャの位置及びサイズ(各サブピクチャが1つのスライスのみを含む場合)に基づいて、又は、PPSにおいて信号通知されるタイルの位置及びサイズに基づいて(1つのサブピクチャが1つ以上のスライスを含む場合)、信号通知/導出される。スライスモードがラスタスキャンスライスモードである場合、HEVCと同様に、1つのピクチャ内のスライスのレイアウトは、スライスそのものに異なる詳細で信号通知される。
3.4 VVCにおけるコーディングされたスライスのサブピクチャID及びスライスアドレス
VVCにおいて、VCL NALユニットは、コーディングされたスライスNALユニットに相当する。各コーディングされたスライスは、サブピクチャID(slice_subpic_id)及びスライスアドレス(slice_address)を含むスライスヘッダを含む。この1対のパラメータは、ピクチャ内のスライス内でココーディングされたサンプルの位置を示す。
スライスモードが矩形スライスモードである(即ち、rect_slice_flagが1に等しい)場合、スライスアドレスは、サブピクチャ内のスライスのうち、スライスの(サブピクチャレベル)スライスインデックスを規定する。
そうでない場合(rect_slice_flagが1に等しく、スライスモードがラスタスキャンスライスモードであり、この場合、ピクチャ全体が1つのサブピクチャである)、スライスアドレスは、ピクチャ内のタイルインデックスを規定する。
以下では、便宜上、一般的なスライスヘッダの意味論の一部であるslice_subpic_id及びスライスアドレスの意味論を含む。
7.4.8.1 一般スライスヘッダ意味論
スライスヘッダ構文要素slice_pic_order_cnt_lsbの値があれば、コーディングされたピクチャのすべてのスライスヘッダにおいて同じである。
...
Figure 0007405990000001
- sps_subpic_id_signalling_present_flagが1に等しい場合、slice_subpic_idの長さはsps_subpic_id_len_minus1+1に等しい。
- そうでない場合、ph_subpic_id_signalling_present_flagが1に等しい場合、slice_subpic_idの長さはph_subpic_id_len_minus1+1に等しい。
- そうでない場合、pps_subpic_id_signalling_present_flagが1に等しい場合、slice_subpic_idの長さはpps_subpic_id_len_minus1+1に等しい。
- そうでない場合、slice_subpic_idの長さは、Ceil(Log2(sps_num_subpics_minus1+1))に等しい。
Figure 0007405990000002
- スライスアドレスは、ラスタスキャンタイルインデックスである。
- slice_addressの長さは、Ceil(Log2(NumTilesInPic))ビットである。
- slice_addressの値は、0からNumTilesInPic-1までの範囲内にあるべきである。
そうでない場合(rect_slice_flagが1に等しい場合)、以下が適用される。
- スライスアドレスは、SubPicIdx番目のサブピクチャ内のスライスのスライスインデックスである。
- slice_addressの長さは、Ceil(Log2(NumSlicesInSubpic[SubPicIdx]))ビットである。
- slice_addressの値は、0~NumSlicesInSubpic[SubPicIdx]-1までの範囲内とする。
ビットストリーム適合性の要件は、以下の制約が適用されることである。
- rect_slice_flagが0に等しい、又はsubpics_present_flagが0に等しい場合、slice_addressの値は、同じコーディングされたピクチャにおいて任意の他のコーディングされたスライスNALユニットのslice_addressの値に等しくてはならない。
- そうでない場合、slice_subpic_id及びslice_address値の組は、同じコーディングされたピクチャにおいて任意の他のコーディングされたスライスNALユニットのslice_subpic_id及びslice_address値の組に等しくてはならない。
- rect_slice_flagが0に等しい場合、ピクチャのスライスは、そのslice_address値の昇順となる。
- ピクチャのスライスの形状は、各CTUが復号された場合、その左側境界全体及び最上の境界全体が1つのピクチャの境界、又は、以前に復号されたCTUの境界を含むものでなければならない。
...
3.5 NALユニットの復号化の順序
VVCにおいて、NALユニットの復号順(即ち、VVCビットストリームにおけるNALユニットの順序)は、最新のVVC草案テキストの7.4.2.4項、およびその従属節、並びに、SPS意味論(7.4.3.3項)、および一般的なスライスヘッダ意味論(7.4.8.1項)に規定されている。以下では、便宜上、これらのテキストをコピーして貼り付けている。
7.4.2.4 NALユニットの順序及びコーディングされたピクチャ、PU、AU、及びコーディングされた映像シーケンスへの関連付け
7.4.2.4.1 一般
この項では、ビットストリームにおけるNALユニットの順序に関する制約を規定する。
これらの制約に従うビットストリームにおけるNALユニットの任意の順序は、本明細書ではNALユニットの復号順と呼ばれる。NALユニット内で、項目7.3及びD.2における構文は、構文要素の復号順を規定する。本明細書に規定されるNALユニットに、ITU-T H.SEI | ISO/IEC 23002-7に規定されるVUIパラメータ又はSEIメッセージが含まれている場合、ITU-T H.SEI|ISO/IEC 23002-7に規定されるVUIパラメータ又はSEIメッセージの構文は、これらの構文要素の復号順を規定する。デコーダは、NALユニット及びそれらの構文要素をデコード順に受信することができる。
7.4.2.4.2 AUの順番及びCVSへの関連付け
本仕様に準拠するビットストリームは、1つ以上のCVSからなる。
CVSは、1つ以上のAUからなる。NALユニット及びコーディングされたピクチャの順番及びAUとの関連付けは、7.4.2.4.3項に記載されている。
CVSの最初のAUは、CVSS AUであり、現在の各PUは、CLVSS PUであり、NoIncorrectPicOutputFlagが1に等しいIRAP PU、又はNoIncorrectPicOutputFlagが1に等しいGDR PUのいずれかである。
各CVSS AUは、CVSに存在する各層に1つのピクチャを有する。
ビットストリーム適合性の要件がある場合、EOS NALユニット又はEOB NALユニットを含むAUの後の次のAUにおける各PUが、IDR PUまたはCRA PUまたははGDR PUであり得るIRAP PUであることである。
7.4.2.4.3 NALユニット及びコーディングされたピクチャの順序並びにPU及びAUとの関連付け
本項は、NALユニット及びコーディングされたピクチャの順序、並びに、附属書Aに規定されたプロファイルの1つ以上に準拠し、かつ、第2項から第9項に規定される復号処理を使用して復号されたCVSのためのPU及びAUへのそれらの関連付けを規定する。
1つのPUは、1つのPH NALユニットと、1つ以上のVCL NALユニットを備える1つのコーディングされたピクチャと、ゼロ以上の非VCL NALユニットとからなる。VCL NALユニットのコーディングされたピクチャへの関連付けは、7.4.2.4.4項に記載されている。
AUは、nuh_layer_idの昇順に、ゼロ又は1つのAU区切り文字NALユニットと、1つ以上のPUとからなる。
ビットストリームにおける最初のAUは、ビットストリームの最初のNALユニットから始まる。AUには、最大1つのAU区切り文字NALユニットが存在するものとする。
ピクチャの最初のVCL NALユニットは、ピクチャの復号順で、PH NALユニットの後に続く最初のVCL NALユニットである。
VCL NALユニットが1つのピクチャの最初のVCL NALユニットであり、且つ、以下の条件が1つ以上真である場合、VCL NALユニットはAUの最初のVCL NALユニットである(従って、最初のVCL NALユニットを含むピクチャはAUの最初のピクチャである)。
- VCL NALユニットのnuh_layer_idの値は、復号順で前のピクチャのnuh_layer_idよりも小さい。
- VCL NALユニットのslice_pic_order_cnt_lsbの値は、復号順で前のピクチャのPicOrderCntValの値と異なる。
- VCL NALユニットに対して導出されたPicOrderCntValは、復号順で前のピクチャのPicOrderCntValと異なる。
firstVclNalUnitInAuをAUの最初のVCL NALユニットとする。firstVclNalUnitInAuに先行し、firstVclNalUnitInAuに先行する最後のVCL NALユニットに続く以下のNALユニットのうちのいずれか最初のものがあれば、それが新しいアクセスユニットの開始を規定する。
- AUD NAL ユニット (存在する場合)、
- DPS NAL ユニット (存在する場合)、
- VPS NAL ユニット (存在する場合)、
- SPS NAL ユニット (存在する場合)、
- PPS NAL ユニット (存在する場合)、
- Prefix APS NAL ユニット (存在する場合)、
- PH NAL ユニット、
- Prefix SEI NAL ユニット (存在する場合)、
- nal_unit_typeがRSV_NVCL_26 に等しいNALユニット(存在する場合)、
- nal_unit_typeがUNSPEC28..UNSPEC29 (存在する場合)の範囲にあるNALユニット。
注:firstVclNalUnitInAuに先行し、firstVclNalUnitInAuに先行する最後のVCL NALユニットに続く最初のNALユニットがあれば、それのみが上に列記したNALユニットのうちの1つになり得る。
PU又はAUにおけるコーディングされたピクチャ及び非VCL NALユニットの順番は、以下の制約に従う。
- AUデリミタNALユニットがAUに存在する場合、AUの最初のNALユニットとする。
- PUにおけるPH NALユニットは、PUの最初のVCL NALに先行するものとする。
- PU内に、DPS NALユニット、VPS NALユニット、SPS NALユニット、PPS NALユニット、プレフィクスAPS NALユニット、プレフィクスSEI NALユニット、nal_unit_typeがRSV_NVCL_26に等しいNALユニット、又は、NALユニットがUNSPEC_28..UNSPEC_29の範囲にあるNALユニットが存在する場合、それらはPUの最後のVCL NALユニットを追従しないものとする。
- PU内にDPS NALユニット、VPS NALユニット、SPS NALユニット、又は、PPS NALユニットが存在する場合、それらはPUのPH NALユニットに先行するものとする。
- PUにおけるnal_unit_typeがSUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD_NUT、又はRSV_NVCL_27に等しい、又は、UNSPEC_30...UNSPEC_31の範囲内にあるNALユニットは、PUの最初のVCL NALユニットより先行することはないものとする。
- EOS NALユニットが1つのPU内に存在する場合、EOB NALユニット(存在する場合)以外のPU内にあるすべてのNALユニットのうち、最後のNALユニットとするものとする。
- 1つのEOB NALユニットが1つのAU内に存在する場合、それはこのAU内における最後のNALユニットをするものとする。
7.4.3.3 シーケンスパラメータセットRBSP意味論
SPS RBSPは、それが参照される前に、復号処理に利用可能であり、TemporalIdが0に等しい、又は外部手段によって提供される少なくとも1つのAUに含まれる。
...
ビットストリーム適合性の要件は、以下の制約が適用されることである。
- 任意の2つのサブピクチャsubpicA及びsubpicBの場合、subpicAのサブピクチャインデックスがsubpicBのサブピクチャインデックスよりも小さい場合、subPicAの任意のコーディングされたスライスNALユニットは、復号順で、subPicBの任意のコーディングされたスライスNALユニットに先行するものとする。
-...
...
7.4.8.2 一般的なスライスヘッダ意味論
スライスヘッダ構文要素slice_pic_order_cnt_lsbの値があれば、コーディングされたピクチャのすべてのスライスヘッダにおいて同じである。
...
ビットストリーム適合性の要件は、以下の制約が適用されることである。
-...
- rect_slice_flagが0に等しい場合、ピクチャのスライスは、そのslice_address値の昇順となる。
-...
...
4.既存の実装形態の欠点
既存のVVC設計において、次のような問題がある。
(1)スライスモードが矩形スライスモードである場合、1つのサブピクチャ内のVCL NALユニット(すなわち、コーディングされたスライスNALユニット)の復号順は規定されない。その結果、適合したデコーダ実装は、スライスモードが矩形スライスモードである場合、1つのサブピクチャ内で任意の順序のVCL NALユニットを有するビットストリームを正確に復号できるかどうかをテストし、確認する必要がある。これは、例えば実装中の適合性試験のために、デコーダ実装に重い負荷を課すことになる。
(2)slice_subpic_idがスライスヘッダ内に存在しない場合、その値を推測する必要があり、例えば、ピクチャ内のVCL NALユニットのNALユニット復号順を規定するために使用される。
(3)SPS又はPPSにおいて明示的に信号通知されるサブピクチャIDの値は、サブピクチャインデックス値の昇順に対してサブピクチャIDの値の順序が変わらないように制約する必要があり、これにより、適合性試験等でデコーダの実装負荷がかかる。
5.開示される技術の実施例
以下の詳細な実施形態は、一般的な概念を説明するための例であると考えられるべきである。これらの実施形態は狭い意味で解釈されるべきではない。さらに、これらの実施形態は、任意の方法で組み合わせることができる。
1)スライスモードが矩形スライスモードである場合、1つのサブピクチャ内のVCL NALユニット(すなわち、コーディングされたスライスNALユニット)の復号順は、このVCL NALユニットを含むサブピクチャのサブピクチャID値の昇順となるように規定される。
代替的に、スライスモードが矩形スライスモードである場合、1つのサブピクチャ内のVCL NALユニット(即ち、コーディングされたスライスNALユニット)の復号順は、このVCL NALユニットを含むサブピクチャのサブピクチャインデックス値の昇順となるように規定される。
2)スライスモードが矩形スライスモードである場合、1つのサブピクチャ内のVCL NALユニット(即ち、コーディングされたスライスNALユニット)の復号順は、このVCL NALユニットのサブピクチャレベルのスライスインデックス値の昇順となるように規定される。なお、コーディングされたスライスNALユニットのサブピクチャレベルのスライスインデックス値は、実際には、スライスヘッダにおけるslice_address構文要素の値である。
3)slice_subpic_idが存在しない場合、slice_subpic_idの値は、例えば、0に等しいと推測される。
4)サブピクチャIDの値は、サブピクチャインデックスの昇順に大きくなる必要がある。
なお、最近のVVC草案テキストにおいて、1つのピクチャ内の、異なるサブピクチャに属する任意の2つのVCL NALユニット(即ち、コーディングされたスライスNALユニット)の復号順は、既に、このVCL NALユニットを含むサブピクチャのサブピクチャインデックス値の昇順に規定されている。
この制約を加えることで、1つのピクチャ内の、異なるサブピクチャに属する任意の2つのVCL NALユニットの復号順を、このVCL NALユニットを含むサブピクチャのサブピクチャID値の昇順に規定することができる。
上述した例は、以下に説明する方法、例えば、方法500のコンテキストに含まれてもよく、これらの方法は、映像復号化または映像符号化において実装されてもよい。
図5は、動画処理の例示的な方法500のフローチャートを示す。本方法は、動作510において、現在の映像セグメントと、複数の映像コーディング層(VCL)ネットワーク抽象化層(NAL)ユニットを含む映像のビットストリーム表現との間での変換について、現在の映像セグメントを含むスライスのスライスモードが、矩形スライスモードであることを決定することを含む。
この方法は、動作520において、この決定に基づいて、この変換を行うことを含み、このビットストリーム表現は、複数のVCL NALユニットの復号順を信号通知する1つ以上の構文要素をさらに含む。
6.追加の例示的な実施形態
Figure 0007405990000003
6.1 第1の実施形態
6.1.1 定義(VVC第3項)
Figure 0007405990000004
6.1.2 CTBラスタスキャン、タイルスキャン、及びサブピクチャスキャン処理の定義(VVC 6.5.1項)
...
Figure 0007405990000005
for(j=0;j<=sps_num_subpics_minus1;j++)
NumSlicesInSubpic[j]=0
for(i=0;i<=num_slices_in_pic_minus1;i++){
posX=CtbAddrInSlice[i][0]%PicWidthInCtbsY*CtbSizeY
posY=CtbAddrInSlice[i][0]/PicWidthInCtbsY*CtbSizeY
for(j=0;j<=sps_num_subpics_minus1;j++){
if((posX>=subpic_ctu_top_left_x[j]*CtbSizeY)&& (32)
(posX<(subpic_ctu_top_left_x[j]+subpic_width_minus1[j]+1)*CtbSizeY)&&
(posY>=subpic_ctu_top_left_y[j]*CtbSizeY)&&
(posY<(subpic_ctu_top_left_y[j]+subpic_height_minus1[j]+1)*CtbSizeY)){
SliceSubpicToPicIdx[j][NumSlicesInSubpic[j]]=i
NumSlicesInSubpic[j]++



...
6.1.3 ビットストリームにおけるNALユニットの順番(VVC 7.4.2.4項)
7.4.2.4 ビットストリームにおけるNALユニットの順番
7.4.2.4.1 一般
7.4.2.4項の従属節は、ビットストリームにおけるNALユニットの順序に関する制約を規定する。これらの制約に従うビットストリームにおけるNALユニットの任意の順序は、本明細書ではNALユニットの復号順と呼ばれる。
NALユニット内で、項目7.3及びD.2における構文は、構文要素の復号順を規定する。本明細書に規定されるNALユニットに、ITU-T H.SEI|ISO/IEC 23002-7に規定されるVUIパラメータ又はSEIメッセージが含まれている場合、ITU-T H.SEI|ISO/IEC 23002-7に規定されるVUIパラメータ又はSEIメッセージの構文は、これらの構文要素の復号順を規定する。デコーダは、NALユニット及びそれらの構文要素をデコード順に受信することができる。
7.4.2.4.2 AUの順序及びそれらのCVSへの関連付け
ビットストリームは、1つ以上のCVSからなる。CVSは、1つ以上のAUからなる。PUの順番及びAUとの関連付けは、項目0に記載されている。
CVSの最初のAUは、CVSS AUであり、現在の各PUは、CLVSS PUであり、NoIncorrectPicOutputFlagが1に等しいIRAP PU、又はNoIncorrectPicOutputFlagが1に等しいGDR PUのいずれかである。
各CVSS AUは、CVSに存在する各層に1つのPUを有する。
EOB NALユニットを含むAUの後に次のAUがある場合、ビットストリーム適合性の要件は、存在する場合、CVSS AUとする。
7.4.2.4.3 PUの順番及びAUとの関連付け
1つのAUは、nuh_layer_idの昇順に1つ以上のPUを含む。NALユニットの順番及びコーディングされたピクチャ、並びにそれらのPUとの関連付けは、7.4.2.4.4項に記載されている。
1つのAUには、最大1つのAUD NALユニットがあってもよい。AUD NALユニットがAUに存在する場合、AUの最初のNALユニットとなり、その結果、AUの最初のPUの最初のNALユニットとなる。
1つのAUには、最大1つのEOB NALユニットが存在してもよい。1つAUに1つのEOB NALユニットが存在する場合、このユニットはこのAUの最後のNALユニットとなり、その結果、このAUの最後のPUの最後のNALユニットとなる。
1つのVCL NALユニットがPH NALユニットに続く最初のVCL NALユニットであり、以下の条件が1つ以上真である場合、VCL NALユニットはAUの最初のVCL NALユニットとなる(その結果、VCL NALユニットを含むPUは、AUの最初のPUとなる)。
- VCL NALユニットのnuh_layer_idの値は、復号順で前のピクチャのnuh_layer_idよりも小さい。
- VCL NALユニットのslice_pic_order_cnt_lsbの値は、復号順で前のピクチャのPicOrderCntValの値と異なる。
- VCL NALユニットに対して導出されたPicOrderCntValは、復号順で前のピクチャのPicOrderCntValと異なる。
firstVclNalUnitInAuをAUの最初のVCL NALユニットとする。firstVclNalUnitInAuに先行し、firstVclNalUnitInAuに先行する最後のVCL NALユニットに続く、以下のNALユニットのうちいずれか最初のものがある場合、新しいAUの開始を規定する。
- AUD NAL ユニット (存在する場合)、
- DPS NAL ユニット (存在する場合)、
- VPS NAL ユニット (存在する場合)、
- SPS NAL ユニット (存在する場合)、
- PPS NAL ユニット (存在する場合)、
- Prefix APS NAL ユニット (存在する場合)、
- PH NAL ユニット、
- Prefix SEI NAL ユニット (存在する場合)、
- nal_unit_typeがRSV_NVCL_26 に等しいNALユニット(存在する場合)、
- nal_unit_typeがUNSPEC28..UNSPEC29 (存在する場合)の範囲にあるNALユニット。
注:firstVclNalUnitInAuに先行し、firstVclNalUnitInAuに先行する最後のVCL NALユニットに続く最初のNALユニットがあれば、それのみが上に列記したNALユニットのうちの1つになり得る。
ビットストリーム適合性の要件がある場合、それは同じ層に属し、EOS NALユニット又はEOB NALユニットを含むPUの後の規定の層の次のPUが、NoIncorrectPicOutputFlagが1に等しいIRAP PU、またはNoIncorrectPicOutputFlagが1に等しいGDR PUのいずれかのCLVSS PUであるとする。
7.4.2.4.4 NALユニットおよびコーディングされたピクチャの順序、並びに、それらのPUとの関連付け
1つのPUは、1つのPH NALユニットと、1つ以上のVCL NALユニットを備える1つのコーディングされたピクチャと、ゼロ以上の他の非VCL NALユニットを含む。VCL NALユニットのコーディングされたピクチャへの関連付けは、7.4.2.4.4項に記載されている。
ピクチャの最初のVCL NALユニットは、ピクチャのPH NALユニットの後に続く最初のVCL NALユニットである。
PU内の非VCL NALユニット(AUD及びEOB NALユニットを除く)の順番は、以下の制約に従うものとする。
- PUにおけるPH NALユニットは、PUの最初のVCL NALに先行するものとする。
- PU内に、DPS NALユニット、VPS NALユニット、SPS NALユニット、PPS NALユニット、プレフィクスAPS NALユニット、プレフィクスSEI NALユニット、nal_unit_typeがRSV_NVCL_26に等しいNALユニット、又は、NALユニットがUNSPEC_28..UNSPEC_29の範囲にあるNALユニットが存在する場合、それらはPUの最後のVCL NALユニットを追従しないものとする。
- PU内にDPS NALユニット、VPS NALユニット、SPS NALユニット、又は、PPS NALユニットが存在する場合、それらはPUのPH NALユニットに先行するものとする。
- PUにおけるnal_unit_typeがSUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD_NUT、又はRSV_NVCL_27に等しい、又は、UNSPEC_30...UNSPEC_31の範囲内にあるNALユニットは、PUの最初のVCL NALユニットより先行することはないものとする。
- EOS NALユニットが1つのPU内に存在する場合、EOB NALユニット(存在する場合)以外のPU内にあるすべてのNALユニットのうち、最後のNALユニットとするものとする。
7.4.2.4.5 VCL NALユニットの順序およびそのコーディングされたピクチャへの関連付け
Figure 0007405990000006
6.1.4 シーケンスパラメータセットRBSP意味論(VVC第7.4.3.3項)
SPS RBSPは、それが参照される前に、復号処理に利用可能であり、TemporalIdが0に等しい、又は外部手段によって提供される少なくとも1つのAUに含まれる。
...
ビットストリーム適合性の要件は、以下の制約が適用されることである。
Figure 0007405990000007
6.1.5 一般スライスヘッダ意味論(VVC第7.4.8.2項)
スライスヘッダ構文要素slice_pic_order_cnt_lsbの値があれば、コーディングされたピクチャのすべてのスライスヘッダにおいて同じである。
...
Figure 0007405990000008
- sps_subpic_id_signalling_present_flagが1に等しい場合、slice_subpic_idの長さはsps_subpic_id_len_minus1+1に等しい。
- そうでない場合、ph_subpic_id_signalling_present_flagが1に等しい場合、slice_subpic_idの長さはph_subpic_id_len_minus1+1に等しい。
- そうでない場合、pps_subpic_id_signalling_present_flagが1に等しい場合、slice_subpic_idの長さはpps_subpic_id_len_minus1+1に等しい。
- そうでない場合、slice_subpic_idの長さは、Ceil(Log2(sps_num_subpics_minus1+1))に等しい。
Figure 0007405990000009
- スライスアドレスは、ラスタスキャンタイルインデックスである。
- slice_addressの長さは、Ceil(Log2(NumTilesInPic))ビットである。
- slice_addressの値は、0からNumTilesInPic-1までの範囲内にあるべきである。
そうでない場合(rect_slice_flagが1に等しい場合)、以下が適用される。
Figure 0007405990000010
ビットストリーム適合性の要件は、以下の制約が適用されることである。
- rect_slice_flagが0に等しい、又はsubpics_present_flagが0に等しい場合、slice_addressの値は、同じコーディングされたピクチャにおいて任意の他のコーディングされたスライスNALユニットのslice_addressの値に等しくてはならない。
- そうでない場合、slice_subpic_id及びslice_address値の組は、同じコーディングされたピクチャにおいて任意の他のコーディングされたスライスNALユニットのslice_subpic_id及びslice_address値の組に等しくてはならない。
Figure 0007405990000011
6.2.第2の実施形態
本実施形態において、第1の実施形態に対して以下のような変更がなされる。
1)以下の制約は、一般的なスライスヘッダ意味論におけるように、除去される。
0~sps_num_subpics_minus1の範囲内における任意のiおよびjについて、iがjよりも小さい場合、SubpicIdList[i]はSubpicIdList[j]よりも小さいとすることが、ビットストリーム適合性の要件である。
代替的に、この制約は取り除かれないままにされる。
Figure 0007405990000012
Figure 0007405990000013
7.開示される技術の例示的な実装形態
図6は、映像処理装置600のブロック図である。装置600は、本明細書に記載の方法の1つ以上を実装するために使用してもよい。装置600は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等により実施されてもよい。装置600は、1つ以上のプロセッサ602と、1つ以上のメモリ604と、映像処理ハードウェア606と、を含んでもよい。プロセッサ(単数または複数)602は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(単数または複数)604は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア606は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
図7は、本開示の技法を利用し得る例示的な映像コーディングシステム700を示すブロック図である。
図7に示すように、映像コーディングシステム700は、送信元デバイス710と、送信先デバイス720と、を備えてもよい。送信元デバイス710は、映像符号化デバイスとも称され得る符号化された映像データを生成する。送信先デバイス720は、映像復号化デバイスと呼ばれ得る送信元デバイス710により生成され、符号化された映像データを復号化し得る。
送信元デバイス710は、映像ソース712と、映像エンコーダ714と、入出力(I/O)インターフェース716と、を備えてもよい。
映像ソース712は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および/または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせたものを含んでもよい。映像データは、1つ以上のピクチャを含んでもよい。映像エンコーダ714は、映像ソース712からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。I/Oインターフェース716は、変復調器(モデム)および/または送信機を含んでもよい。符号化された映像データは、ネットワーク730aを介して、I/Oインターフェース716を経由して直接送信先デバイス720に送信されることができる。符号化された映像データは、送信先デバイス720がアクセスするために、記憶媒体/サーバ730bに記憶してもよい。
送信先デバイス720は、I/Oインターフェース726、映像デコーダ724、および表示装置722を含んでもよい。
I/Oインターフェース726は、受信機および/またはモデムを含んでもよい。I/Oインターフェース726は、送信元デバイス710または記憶媒体/サーバ730bから符号化映像データを取得してもよい。映像デコーダ724は、符号化された映像データを復号化してもよい。表示装置722は、復号化された映像データをユーザに表示してもよい。表示デバイス722は、送信先デバイス720と一体化されてもよく、または外部表示デバイスとインターフェースで接続するように構成される送信先デバイス720の外部にあってもよい。
映像エンコーダ714および映像デコーダ724は、高効率映像コーディング(HEVC)規格、汎用映像コーディング(VVVM)規格、および他の現在のおよび/または将来の規格等の映像圧縮規格に従って動作してもよい。
図8は、映像エンコーダ800の一例を示すブロック図であり、この映像エンコーダ800は、図7に示されるシステム700における映像エンコーダ714であってもよい。
映像エンコーダ800は、本開示の技術のいずれか又は全部を実行するように構成されてもよい。図8の実施例において、映像エンコーダ800は、複数の機能モジュールを含む。本開示で説明される技法は、映像エンコーダ800の様々なモジュール間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
映像エンコーダ800の機能モジュールは、パーティションユニット801と、モード選択ユニット803、動き推定ユニット804、動き補償ユニット805及びイントラ予測ユニット806を含んでもよい予測ユニット802と、残差生成ユニット807と、変換ユニット808と、量子化ユニット809と、逆量子化ユニット810と、逆変換ユニット811と、再構成ユニット812と、バッファ813と、エントロピー符号化ユニット814とを含んでもよい。
他の例において、映像エンコーダ800は、より多くの、より少ない、又は異なる機能コンポーネントを含んでもよい。一例において、予測ユニット802は、イントラブロックコピー(IBC)ユニットを含んでもよい。IBCユニットは、少なくとも1つの参照ピクチャが現在の映像ブロックが位置するピクチャであるIBCモードにおいて予測を行うことができる。
さらに、動き推定ユニット804および動き補償ユニット805などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図8の例においては個別に表現されている。
分割ユニット801は、1つのピクチャを1つ以上の映像ブロックに分割することができる。映像エンコーダ800及び映像デコーダ900は、様々な映像ブロックサイズに対応可能であってよい。
モード選択ユニット803は、例えば、エラー結果に基づいて、イントラ又はインターのいずれか1つのコーディングモードを選択し、結果として得られたイントラ又はインターコーディングされたブロックを、残差生成ユニット807に供給して残差ブロックデータを生成し、また再構成ユニット812に供給して参照ピクチャとして使用するために符号化されたブロックを再構成してもよい。本発明の実施例において、モード選択ユニット803は、インター予測信号およびイントラ予測信号に基づく予測を行うイントラおよびインター予測(CIIP)モードの組み合わせを選択してもよい。また、モード選択ユニット803は、インター予測の場合、ブロックのために動きベクトルの解像度(例えば、サブピクセル又は整数ピクセル精度)を選択してもよい。
現在の映像ブロックに対してインター予測を実行するために、動き推定ユニット804は、バッファ813からの1つ以上の参照フレームと現在の映像ブロックとを比較することで、現在の映像ブロックのために動き情報を生成してもよい。動き補償ユニット805は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ813からのピクチャの動き情報及び復号化されたサンプルに基づいて、現在の映像ブロックのために予測映像ブロックを判定してもよい。
動き推定ユニット804及び動き補償ユニット805は、例えば、現在の映像ブロックがIスライスであるか、Pスライスであるか、又はBスライスであるかに基づいて、現在の映像ブロックに対して異なる演算を実行してもよい。
いくつかの例において、動き推定ユニット804は、現在の映像ブロックに対して単方向予測を実行し、動き推定ユニット804は、現在の映像ブロックに対して、リスト0又はリスト7の参照ピクチャから、参照映像ブロックを検索してもよい。そして、動き推定ユニット804は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト0またはリスト7における参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット804は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット805は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。
他の例において、動き推定ユニット804は、現在の映像ブロックを双方向予測してもよく、動き推定ユニット804は、リスト0における参照ピクチャの中から現在の映像ブロックために参照映像ブロックを検索してもよく、また、リスト7における参照ピクチャの中から現在の映像ブロックのために別の参照映像ブロックを検索してもよい。そして、動き推定ユニット804は、参照映像ブロックを含むリスト0およびリスト7における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット804は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット805は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。
いくつかの例において、動き推定ユニット804は、デコーダの復号化処理のために、動き情報のフルセットを出力してもよい。
いくつかの例では、動き推定ユニット804は、現在の映像のために動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット804は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット804は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していると判定してもよい。
一例において、動き推定ユニット804は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ900に示す値を示してもよい。
別の例において、動き推定ユニット804は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差(MVD)とを識別してもよい。動きベクトルの差分は、現在の映像ブロックの動きベクトルと、指定された映像ブロックの動きベクトルとの差分を示す。映像デコーダ900は、指定された映像ブロックの動きベクトルと、動きベクトルの差分を用いて、現在の映像ブロックの動きベクトルを判定してもよい。
上述したように、映像エンコーダ800は、動きベクトルを予測的に信号通知してもよい。実装され得る予測信号通知技術の2つの例は、
映像エンコーダ800によって、高度動きベクトル予測(AMVP)およびマージモード信号通知を含む。
イントラ予測ユニット806は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット806が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット806は、同一ピクチャにおける他の映像ブロックの復号化されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロック及び様々な構文要素を含んでもよい。
残差生成ユニット807は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって(例えば、マイナス符号によって示されている)、現在の映像ブロックのために残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。
他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成ユニット807は、減算演算を実行しなくてもよい。
変換処理ユニット808は、現在の映像ブロックに関連付けられた残差映像ブロックに1つ以上の変換を適用することによって、現在の映像ブロックのために1つ以上の変換係数映像ブロックを生成してもよい。
変換処理ユニット808が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット809は、現在の映像ブロックに関連付けられた1つ以上の量子化パラメータ(QP)値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
逆量子化ユニット810および逆変換ユニット811は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット812は、予測ユニット802が生成した1つ以上の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを加え、現在のブロックに関連付けられた再構成映像ブロックを生成し、バッファ813に記憶することができる。
再構成ユニット812が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーティファクトを縮小するために、ループフィルタリング動作を行ってもよい。
エントロピー符号化ユニット814は、映像エンコーダ800の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット814がデータを受信した場合、エントロピー符号化ユニット814は、1つ以上のエントロピー符号化演算を行い、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力してもよい。
図9は、映像デコーダ900の一例を示すブロック図であり、この映像デコーダ900は、図7に示すシステム700における映像デコーダ714であってもよい。
映像デコーダ900は、本開示の技術のいずれか又は全部を実行するように構成されてもよい。図9の実施例において、映像デコーダ900は、複数の機能コンポーネントを含む。本開示で説明される技法は、映像デコーダ900の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
図9の実施例において、映像デコーダ900は、エントロピー復号化ユニット901、動き補償ユニット902、イントラ予測ユニット903、逆量子化ユニット904、逆変換ユニット905、および再構成ユニット906、並びにバッファ907を含む。映像デコーダ900は、いくつかの例では、映像エンコーダ800(図8)に関して説明した符号化パスとほぼ逆の復号化パスを行ってもよい。
エントロピー復号化ユニット901は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピーコーディングされた映像データ(例えば、映像データの符号化されたブロック)を含んでもよい。エントロピー復号化ユニット901は、エントロピーコーディングされた映像データを復号化し、エントロピー復号された映像データから、動き補償ユニット902は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を判定してもよい。動き補償ユニット902は、例えば、AMVP及びマージモードを実行することで、このような情報を判定してもよい。
動き補償ユニット902は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を実行してもよい。構文要素には、サブピクセルの精度で使用される補間フィルタのための識別子が含まれてもよい。
動き補償ユニット902は、映像ブロックの符号化中に映像エンコーダ80によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間値を計算してもよい。動き補償ユニット902は、受信された構文情報に基づいて、映像エンコーダ800が使用する補間フィルタを決定し、この補間フィルタを使用して予測ブロックを生成してもよい。
動き補償ユニット902は、構文情報の一部を用いて、符号化された映像シーケンスのフレーム(複数可)および/またはスライス(複数可)を符号化するために使用されるブロックのサイズ、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、インター符号化ブロック間の各1つ以上の参照フレーム(および参照フレームリスト)、および符号化された映像シーケンスを復号化するための他の情報を判定してもよい。
イントラ予測ユニット903は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット903は、ビットストリームに提供され、エントロピー復号化ユニット901によって復号されることで、量子化された映像ブロック係数を逆量子化(すなわち、逆量子化)する。逆変換ユニット903は、逆変換を適用する。
再構成ユニット906は、残差ブロックと、動き補償ユニット802、又はイントラ予測ユニット903によって生成された対応する予測ブロックとを合計し、復号化されたブロックを生成してもよい。所望であれば、デブロッキングフィルタは、ブロック化されたアーティファクトを除去するために、復号化されたブロックをフィルタリングするため適用されてもよい。復号化された映像ブロックは、バッファ907に記憶され、バッファ907は、後続の動き補償/イントラ予測のために参照ブロックを提供し、且つ、表示装置に表示するために復号化された映像を生成する。
図10は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1000を示すブロック図である。様々な実装形態は、システム1000のモジュールの一部又は全部を含んでもよい。システム1000は、映像コンテンツを受信するための入力ユニット1002を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、8又は10ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット1002は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースを含む。
システム1000は、本明細書に記載される様々なコーディング、又は符号化方法を実装可能なコーディングコンポーネント1004を含んでもよい。コーディングモジュール1004は、入力ユニット1002からの映像の平均ビットレートをコーディングモジュール1004の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像コード変換技術と呼ばれることがある。コーディングモジュール1004の出力は、コンポーネント1006によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット1002において受信された、記憶された、又は通信された映像のビットストリーム(又はコーディングされた)表現は、コンポーネント1008によって使用されて、表示インターフェースユニット1010に送信される画素値、又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理操作を「コーディング」操作又はツールと呼ぶが、コーディングツール又は操作は、符号化及びそれに対応する、コーディングの結果を逆にする復号化ツール又は操作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースまたは表示インターフェースの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び/又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。本明細書に記載された主題の実装形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行されるため、又はデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械読取可能な記憶装置、機械読取可能な記憶基板、メモリデバイス、機械読取可能な伝播信号をもたらす物質の組成物、又はこれらの1つ以上の組み合わせであってもよい。「データ処理ユニット」又は「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、又は複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般的に、プロセッサは、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュメモリデバイス等の半導体メモリデバイスを含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
いくつかの実施形態を、以下の項に基づくフォーマットを使用して説明することができる。以下の項目は、前章に記載された技術の例示的な実施形態を示す。
A1.現在の映像セグメントと、複数の映像コーディング層(VCL)ネットワーク抽象化層(NAL)ユニットを含む前記映像のビットストリーム表現との間での変換について、前記現在の映像セグメントを含むスライスのスライスモードが矩形スライスモードであることを決定することと、前記決定に基づいて、前記変換を行うことを含み、前記ビットストリーム表現は、前記複数の前記VCL NALユニットの復号順を信号通知する1つ以上の構文要素をさらに含む、映像処理方法。
A2-1.前記復号順は、前記複数の前記VCL NALユニットを含むサブピクチャのサブピクチャID値を昇順に含む、項目A1に記載の方法。
A2-2.前記復号順は、昇順に並べられた前記複数の前記VCL NALユニットのサブピクチャレベルのスライスインデックス値を含む、項目A1に記載の方法。
A3-1.前記復号順は、昇順に並べられた前記複数のVCL NALユニットを含むサブピクチャのサブピクチャインデックス値を含む、項目A1に記載の方法。A3-2.前記サブピクチャレベルのスライスインデックス値の1つは、スライスヘッダにおけるslice_address構文要素の値である、項目A1に記載の方法。
A4.前記ビットストリーム表現が前記slice_subpic_idパラメータを排除すると判定された場合、slice_subpic_idパラメータの値がゼロであると推測される、項目A1~A3のいずれかに記載の方法。
A5.前記サブピクチャID値は、前記サブピクチャインデックス値とともに単調に増加する、項目A2およびA3に記載の方法。
A6.前記変換は、前記ビットストリーム表現から前記現在の映像セグメントを生成する、項目A1~A5のいずれかに記載の方法。
A7.前記変換は、現在の映像セグメントから前記ビットストリーム表現を生成する、項目A1~A5のいずれかに記載の方法。
A8.前記現在の映像セグメントが、現在のスライス、現在のブロック、現在のタイル、又は現在のサブピクチャである、項目A1~A7のいずれかに記載の方法。
A9.項目A1~A8のずれか1項目以上に記載の方法を実装するように構成されたプロセッサを備える映像処理装置。
A10.コードを含むプログラムが記録され、前記プログラムが、プロセッサが項目A1~A8のいずれか1つに記載の方法を実行するための、コンピュータ可読記録媒体。
A11.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、項目A1~A8のいずれか1項に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
第2組の項目では、前章で開示された技術の特定の特徴及び態様を説明する。
1.1つ以上のスライスを含む1つ以上のサブピクチャを含む映像と、規則に従った映像のビットストリーム表現との間で変換を行うこと1110を含み、前記ビットストリーム表現は、多数のコーディングされたユニットを含み、前記規則は、サブピクチャ内のコーディングされたユニットの復号順が、昇順に並べられた前記コーディングされたユニットのサブピクチャレベルのスライスインデックス値である、ことを規定する、映像処理方法(例えば、図11に示す方法1100)。
2.前記コーディングされたユニットは、映像コーディングされた層(VCL)ネットワーク抽象化層(NAL)ユニットに対応する、請求項1に記載の方法。
3.前記規則は、スライスモードが矩形スライスモードである場合に適用される、請求項1に記載の方法。
4.サブピクチャレベルのスライスインデックス値は、スライスのスライスアドレスを規定するスライスヘッダにおけるslice_address構文要素の値である、請求項1に記載の方法。
5.前記ビットストリーム表現がslice_subpic_idパラメータを排除すると決定されると、slice_subpic_idパラメータの値を推測する、請求項1~4のいずれかに記載の方法。
6.前記slice_subpic_idパラメータは、前記スライスを含む前記サブピクチャのサブピクチャ識別(ID)を規定する、請求項5に記載の方法。
7.前記決定時に、slice_subpic_idパラメータの値が0に等しいと推測される、請求項5に記載の方法。
8.前記複数のコーディングされたユニットを含むサブピクチャのサブピクチャID値は、前記複数のコーディングされたユニットを含むサブピクチャのサブピクチャインデックス値とともに単調に増加する、請求項1~7のいずれかに記載の方法。
9.第1のスライスNAL(ネットワーク抽象化層)ユニットと第2のスライスNALユニットを含むピクチャ内における前記コーディングされたユニットの復号順は、i)第1のスライスNALユニットのサブピクチャレベルのスライスインデックス値が第2のスライスNALユニットのサブピクチャレベルのスライスインデックス値よりも小さい、又は、ii)第1のスライスNALユニットのサブピクチャレベルのスライスインデックス値が第2のスライスNALユニットのサブピクチャレベルのスライスインデックス値に等しく、かつ、第1のスライスNALユニットのslice_adress構文要素の値が第2のスライスNALユニットのslice_adress構文要素の値よりも小さい場合、前記第1のスライスNALユニットが前記第2のスライスNALユニットに先行するように規定される、請求項5~7のいずれかに記載の方法。
10.1つ以上のスライスを含む1つ以上のサブピクチャを含む映像と、規則に従った映像のビットストリーム表現との間で変換を行うことを含み、前記ビットストリーム表現は、多数のコーディングされたユニットを含み、前記規則は、コーディングされたユニットの復号順を、前記コーディングされたユニットを含む前記1つ以上のサブピクチャから、サブピクチャのサブピクチャ関連値の昇順にすることを規定する、映像処理方法。
11.前記コーディングされたユニットは、映像コーディングされた層(VCL)ネットワーク抽象化層(NAL)ユニットに対応する、請求項10に記載の方法。
12.前記規則は、スライスモードが矩形スライスモードである場合に適用される、請求項10に記載の方法。
13.前記サブピクチャ関連値は、前記コーディングされたユニットを含むサブピクチャの識別(ID)値に対応する、請求項10に記載の方法。
14.前記サブピクチャ関連値は、前記コーディングされたユニットを含むサブピクチャのサブピクチャインデックス値に対応する、請求項10に記載の方法。
15.前記ビットストリーム表現がslice_subpic_idパラメータを排除すると決定されると、slice_subpic_idパラメータの値を推測する、請求項10~14のいずれかに記載の方法。
16.前記決定時に、slice_subpic_idパラメータの値が0に等しいと推測される、請求項15に記載の方法。
17.前記コーディングされたユニットを含むサブピクチャのサブピクチャID値は、前記複数のコーディングされたユニットを含むサブピクチャのサブピクチャインデックス値とともに単調に増加する、請求項10~16のいずれかに記載の方法。
18.前記変換は、前記映像を前記ビットストリーム表現に符号化することを含む、項10~16のいずれかに記載の方法。
19.前記変換は、前記ビットストリーム表現から前記映像を復号することを含む、項10~16のいずれかに記載の方法。
20.請求項1~19のいずれか1項以上に記載の方法を実装するように構成されたプロセッサを備える映像処理装置。
21.実行されると、プロセッサに、請求項1から19のいずれか1つ以上に記載の方法を実装させるプログラムコードを格納するコンピュータ読み取り可能媒体。
22. 上述した方法のいずれかに従って生成されたコーディングされた表現またはビットストリーム表現を記憶する、コンピュータ読み取り可能媒体。
23.請求項1~19のいずれか1つ以上に記載の方法を実装するように構成された、ビットストリーム表現を記憶するための映像処理装置。
本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲又は特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

Claims (13)

  1. 規則に従って、1つ以上のスライスを含む1つ以上のサブピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うことを含み、
    前記ビットストリームは、少なくとも1つのコーディングされたユニットを含み、
    前記規則は、前記サブピクチャ内の前記コーディングされたユニットの復号順が、前記コーディングされたユニットに対応するスライスのスライスアドレスを規定するスライスヘッダ内のslice_address構文要素の値の昇順であることを規定する、
    映像処理方法。
  2. 前記サブピクチャ内の前記コーディングされたユニットは、映像コーディングされた層(VCL)ネットワーク抽象化層(NAL)ユニットに対応する、
    請求項1に記載の方法。
  3. スライスモードが矩形スライスモードである場合、スライスヘッダにおけるslice_address構文要素の値は、サブピクチャレベルのスライスインデックスに等しい、
    請求項1または請求項2に記載の方法。
  4. サブピクチャレベルのスライスインデックスは、ピクチャパラメータセットにおいて信号通知される順で、サブピクチャにおけるスライスのリストに対するスライスのインデックスを規定する、
    請求項1~3のいずれか1項に記載の方法。
  5. 前記ビットストリームがslice_subpic_idパラメータを排除すると決定されると、slice_subpic_idパラメータの値を推測し、
    前記slice_subpic_idパラメータは、前記スライスを含む前記サブピクチャのサブピクチャ識別(ID)を規定する、
    請求項1~4のいずれか1項に記載の方法。
  6. 前記決定の結果、前記slice_subpic_idパラメータの前記値が0であると推測される、
    請求項5に記載の方法。
  7. 前記少なくとも1つのコーディングされたユニットを含むサブピクチャのサブピクチャID値は、前記少なくとも1つのコーディングされたユニットを含むサブピクチャのサブピクチャインデックス値とともに単調に増加する、
    請求項1~6のいずれか1項に記載の方法。
  8. 第1のスライスNAL(ネットワーク抽象化層)ユニットと第2のスライスNALユニットを含むピクチャ内における前記コーディングされたユニットの前記復号順は、i)前記第1のスライスNALユニットのサブピクチャインデックス値が、前記第2のスライスNALユニットのサブピクチャインデックス値よりも小さい、又は、ii)前記第1のスライスNALユニットの前記サブピクチャインデックス値が、前記第2のスライスNALユニットの前記サブピクチャインデックス値に等しく、かつ、前記第1のスライスNALユニットの前記slice_adress構文要素の値が、前記第2のスライスNALユニットの前記slice_adress構文要素の値よりも小さい場合、前記第1のスライスNALユニットが前記第2のスライスNALユニットに先行するように規定される、
    請求項1~7のいずれか1項に記載の方法。
  9. 前記変換は、前記映像を前記ビットストリームに符号化することを含む、
    請求項1~8のいずれか1項に記載の方法。
  10. 前記変換は、前記映像を前記ビットストリームから復号化することを含む、
    請求項1~8のいずれか1項に記載の方法。
  11. 処理装置と、前記処理装置に命令が記憶された非一時的メモリと、を備える映像データ処理装置であって、前記処理装置によって実行されると、前記命令が、前記処理装置に以下を行わせる装置であって、
    1つ以上のスライスを含む1つ以上のサブピクチャを含む映像と、前記映像のビットストリームとの間で、規則に従って変換を行わせ、
    前記ビットストリームは、少なくとも1つのコーディングされたユニットを含み、
    前記規則は、前記サブピクチャ内の前記コーディングされたユニットの復号順が、前記コーディングされたユニットに対応するスライスのスライスアドレスを規定するスライスヘッダ内のslice_address構文要素の値の昇順であることを規定する、
    映像処理装置。
  12. 処理装置に実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体であって、
    1つ以上のスライスを含む1つ以上のサブピクチャを含む映像と、映像のビットストリームとの間で規則に従って変換を行わせ、
    前記ビットストリームは、少なくとも1つのコーディングされたユニットを含み、
    前記規則は、前記サブピクチャ内前記コーディングされたユニットの復号順が、前記コーディングされたユニットに対応するスライスのスライスアドレスを規定するスライスヘッダ内のslice_address構文要素の値の昇順であることを規定する、
    非一時的なコンピュータ可読記憶媒体。
  13. 像のビットストリームを記憶する方法であって、前記方法は、
    規則に従って、1つ以上のスライスを含む1つ以上のサブピクチャを含む1つ以上のピクチャを含む前記映像の前記ビットストリームを生成することを含み、
    前記ビットストリームは、少なくとも1つのコーディングされたユニットを含み、
    非一時的なコンピュータ可読記録媒体に前記ビットストリームを記憶し、
    前記規則は、前記サブピクチャ内の前記コーディングされたユニットの復号順が、前記コーディングされたユニットに対応するスライスのスライスアドレスを規定するスライスヘッダ内のslice_address構文要素の値の昇順であることを規定する、
    方法
JP2022537686A 2019-12-26 2020-12-21 コーディングされたピクチャ内における復号順を実装する技術 Active JP7405990B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023202894A JP2024023476A (ja) 2019-12-26 2023-11-30 コーディングされたピクチャ内における復号順を実装する技術

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962953812P 2019-12-26 2019-12-26
US62/953,812 2019-12-26
US201962954375P 2019-12-27 2019-12-27
US62/954,375 2019-12-27
PCT/US2020/066356 WO2021133721A1 (en) 2019-12-26 2020-12-21 Techniques for implementing a decoding order within a coded picture

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023202894A Division JP2024023476A (ja) 2019-12-26 2023-11-30 コーディングされたピクチャ内における復号順を実装する技術

Publications (2)

Publication Number Publication Date
JP2023510110A JP2023510110A (ja) 2023-03-13
JP7405990B2 true JP7405990B2 (ja) 2023-12-26

Family

ID=76575167

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022537686A Active JP7405990B2 (ja) 2019-12-26 2020-12-21 コーディングされたピクチャ内における復号順を実装する技術
JP2023202894A Pending JP2024023476A (ja) 2019-12-26 2023-11-30 コーディングされたピクチャ内における復号順を実装する技術

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023202894A Pending JP2024023476A (ja) 2019-12-26 2023-11-30 コーディングされたピクチャ内における復号順を実装する技術

Country Status (8)

Country Link
US (2) US11641477B2 (ja)
EP (1) EP4058935A4 (ja)
JP (2) JP7405990B2 (ja)
KR (1) KR20220114557A (ja)
CN (1) CN114930825A (ja)
BR (1) BR112022011719A2 (ja)
MX (1) MX2022007502A (ja)
WO (1) WO2021133721A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114557A (ko) * 2019-12-26 2022-08-17 바이트댄스 아이엔씨 코딩된 픽처 내에서 디코딩 순서를 구현하기 위한 기술들
WO2024053954A1 (ko) * 2022-09-05 2024-03-14 엘지전자 주식회사 종속 랜덤 액세스 포인트 픽처에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림 전송 방법

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI249356B (en) 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream
US20050254526A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Parameter sets update in streaming applications
US20070014346A1 (en) 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
WO2008112871A1 (en) * 2007-03-13 2008-09-18 Nec Laboratories America, Inc. Group mmse-dfd with rate (sinr) feedback and without pre-determined decoding order for reception on a cellular downlink
WO2009127961A1 (en) 2008-04-16 2009-10-22 Nokia Corporation Decoding order recovery in session multiplexing
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
CN111031302A (zh) * 2012-04-25 2020-04-17 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US9479774B2 (en) 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9374581B2 (en) 2013-01-07 2016-06-21 Qualcomm Incorporated Signaling of picture order count to timing information relations for video timing in video coding
US9398293B2 (en) 2013-01-07 2016-07-19 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
US9723305B2 (en) 2013-03-29 2017-08-01 Qualcomm Incorporated RTP payload format designs
CA3129121C (en) * 2013-04-07 2024-02-20 Dolby International Ab Signaling change in output layer sets
US9350781B2 (en) 2013-05-31 2016-05-24 Qualcomm Incorporated Single network abstraction layer unit packets with decoding order number for video coding
US9648333B2 (en) 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
US20150103887A1 (en) 2013-10-14 2015-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
US9900605B2 (en) 2013-10-14 2018-02-20 Qualcomm Incorporated Device and method for scalable coding of video information
US9854270B2 (en) 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
US10645404B2 (en) * 2014-03-24 2020-05-05 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US9866851B2 (en) 2014-06-20 2018-01-09 Qualcomm Incorporated Full picture order count reset for multi-layer codecs
US9866852B2 (en) 2014-06-20 2018-01-09 Qualcomm Incorporated Video coding using end of sequence network abstraction layer units
US20150373350A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Temporal motion vector prediction (tmvp) indication in multi-layer codecs
US11418812B2 (en) 2015-02-11 2022-08-16 Qualcomm Incorporated Placement of parameter sets and sync samples in video coding
US10652631B2 (en) 2016-05-24 2020-05-12 Qualcomm Incorporated Sample entries and random access
WO2020044195A1 (en) 2018-08-26 2020-03-05 Beijing Bytedance Network Technology Co., Ltd. Multi-motion model based video coding and decoding
WO2020185959A1 (en) 2019-03-11 2020-09-17 Futurewei Technologies, Inc. Gradual decoding refresh in video coding
JP2022527555A (ja) 2019-04-03 2022-06-02 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
JP7462679B2 (ja) 2019-05-06 2024-04-05 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオ符号化における回復ポイントシグナリング
WO2021003447A1 (en) 2019-07-03 2021-01-07 Futurewei Technologies, Inc. Types of reference pictures in reference picture lists
CN114073073B (zh) 2019-07-08 2023-06-06 华为技术有限公司 一种支持混合nal单元的编解码方法和编解码器
EP4011063A4 (en) 2019-08-09 2022-11-02 Huawei Technologies Co., Ltd. EXTERNAL DECODING REFRESH TO VIDEO CODING
CN115002467B (zh) 2019-09-24 2023-04-04 华为技术有限公司 用于分辨率改变的解码图像缓冲区操作的方法和设备
EP4078977A4 (en) * 2019-12-19 2023-12-27 Telefonaktiebolaget LM Ericsson (publ) ORDERING IMAGE SEGMENTS
KR20220114557A (ko) * 2019-12-26 2022-08-17 바이트댄스 아이엔씨 코딩된 픽처 내에서 디코딩 순서를 구현하기 위한 기술들
US11962936B2 (en) 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, et al.,"Versatile Video Coding (Draft 7)",Document: JVET-P2001-v9, [online],JVET-P2001 (version 9),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2019年10月17日,Pages 56-58,135-138,[令和5年5月11日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=8857> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P2001-v9.zip>.,(See document file "JVET-P2001-v9.docx" in the zip file "JVET-P2001-v9.zip".)
Takahiro Nishi, et al.,"AHG9/AHG12: Simplification of slice index with subpictures",Document: JVET-Q0044, [online],JVET-Q0044 (version 1),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2019年12月18日,Pages 1-3,[令和5年5月11日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=8869> and <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q0044-v1.zip>.,(See document file "JVET-Q0044.docx" in the zip file "JVET-Q0044-v1.zip".)

Also Published As

Publication number Publication date
WO2021133721A1 (en) 2021-07-01
US11641477B2 (en) 2023-05-02
JP2024023476A (ja) 2024-02-21
EP4058935A4 (en) 2023-01-18
JP2023510110A (ja) 2023-03-13
MX2022007502A (es) 2022-07-04
EP4058935A1 (en) 2022-09-21
US20220312022A1 (en) 2022-09-29
US20230239483A1 (en) 2023-07-27
CN114930825A (zh) 2022-08-19
KR20220114557A (ko) 2022-08-17
BR112022011719A2 (pt) 2022-09-06

Similar Documents

Publication Publication Date Title
JP7422881B2 (ja) パラメータセットにおけるサブピクチャシグナリング
JP7464742B2 (ja) 参照ピクチャリサンプリング
US20230239483A1 (en) Techniques for implementing a decoding order within a coded picture
US20240080493A1 (en) Profile tier level parameter set in video coding
JP7495509B2 (ja) 映像コーディングにおけるスライス及びタイル分割
JP2024026265A (ja) スライスおよびタイルを含むピクチャのコーディング
JP2023529430A (ja) 映像ビットストリームにおけるサブレイヤ信号通知
JP7400115B2 (ja) サブピクチャとタイル行シグナリングとの間のインタラクション
JP7513756B2 (ja) サブレイヤ数制限
JP2023529422A (ja) 映像コーディングにおける補足強化情報メッセージのスケーラブルネスティング

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231214

R150 Certificate of patent or registration of utility model

Ref document number: 7405990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150