JP2023519751A - Dpb関連情報及びptl関連情報をシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体 - Google Patents

Dpb関連情報及びptl関連情報をシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体 Download PDF

Info

Publication number
JP2023519751A
JP2023519751A JP2022560046A JP2022560046A JP2023519751A JP 2023519751 A JP2023519751 A JP 2023519751A JP 2022560046 A JP2022560046 A JP 2022560046A JP 2022560046 A JP2022560046 A JP 2022560046A JP 2023519751 A JP2023519751 A JP 2023519751A
Authority
JP
Japan
Prior art keywords
dpb
vps
information
ols
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022560046A
Other languages
English (en)
Other versions
JP7488360B2 (ja
Inventor
ヘンドリー ヘンドリー
スン ファン キム
パルリ シータル
チエ チャオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2023519751A publication Critical patent/JP2023519751A/ja
Application granted granted Critical
Publication of JP7488360B2 publication Critical patent/JP7488360B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

DPB関連情報及びPTL関連情報をシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法が提供される。本開示による画像復号化方法は、VPS(Video Parameter Set)内の1つ以上のDPB(decoded picture buffer)パラメータシンタックス構造の個数を示す第1情報を取得するステップと、前記第1情報に基づいて、前記VPSから前記1つ以上のDPBパラメータシンタックス構造を取得するステップと、前記第1情報に基づいて、前記VPSから1つ以上のマルチレイヤー(multi-layer)OLS(output layer set)と前記1つ以上のDPBパラメータシンタックス構造との間のマッピングに関する第2情報を取得するステップと、前記第2情報に基づいて、現在OLSに適用されるDPBパラメータシンタックス構造を選択するステップと、前記選択されたDPBパラメータシンタックス構造に基づいて、前記現在OLSを処理するステップと、を含むことができる。【選択図】図14

Description

本開示は、画像符号化/復号化方法及び装置に関し、より詳細には、DPB(Decoded Picture Buffer)関連情報及びPTL(Profile Tier Level)関連情報をシグナリングする画像符号化/復号化方法及び装置、並びに本開示の画像符号化方法/装置によって生成されたビットストリームを保存したコンピュータ可読記録媒体等に関する。
最近、高解像度、高品質の画像、例えばHD(High Definition)画像及びUHD(Ultra High Definition)画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
本開示は、符号化/復号化の効率が向上した画像符号化/復号化方法及び装置を提供することを目的とする。
また、本開示は、DPB関連情報及びPTL関連情報を効率よくシグナリングすることにより、符号化/復号化の効率の向上を図る画像符号化/復号化方法及び装置を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
本開示の一態様による画像復号化装置によって行われる画像復号化方法は、VPS(Video Parameter Set)内の1つ以上のDPB(decoded picture buffer)パラメータシンタックス構造の個数を示す第1情報を取得するステップと、前記第1情報に基づいて、前記VPSから前記1つ以上のDPBパラメータシンタックス構造を取得するステップと、前記第1情報に基づいて、前記VPSから1つ以上のマルチレイヤー(multi-layer)OLS(output layer set)と前記1つ以上のDPBパラメータシンタックス構造との間のマッピングに関する第2情報を取得するステップと、前記第2情報に基づいて、現在OLSに適用されるDPBパラメータシンタックス構造を選択するステップと、前記選択されたDPBパラメータシンタックス構造に基づいて、前記現在OLSを処理するステップと、を含むことができる。
本開示の画像復号化方法において、前記VPS内の前記1つ以上のDPBパラメータシンタックス構造の個数は、前記1つ以上のマルチレイヤーOLSの個数より大きくなくてもよい。
本開示の画像復号化方法において、前記VPS内の前記1つ以上のDPBパラメータシンタックス構造のそれぞれは、前記1つ以上のマルチレイヤーOLSのうちの少なくとも1つのマルチレイヤーOLSにマッピングされることができる。
本開示の画像復号化方法において、前記VPS内の前記1つ以上のDPBパラメータシンタックス構造の個数が1より大きいことに基づいて、前記VPSから前記第2情報が取得されることができる。
本開示の画像復号化方法において、前記VPS内の前記1つ以上のDPBパラメータシンタックス構造の個数が1より大きくないことに基づいて、前記第2情報は前記VPSから取得されず、前記第2情報は0の値と推論されることができる。
本開示の画像復号化方法において、前記現在OLSがシングルレイヤーを含むことに基づいて、前記現在OLSに適用されるDPBパラメータシンタックス構造をSPS(Sequence Parameter Set)から取得することができる。
本開示の画像復号化方法は、VPS内の1つ以上のPTL(profile tier level)シンタックス構造の個数を示す第3情報を取得するステップと、前記第3情報に基づいて、前記VPSから前記1つ以上のPTLシンタックス構造を取得するステップと、前記第3情報に基づいて、前記VPSから1つ以上のOLSと前記1つ以上のPTLシンタックス構造との間のマッピングに関する第4情報を取得するステップと、前記第4情報に基づいて、前記現在OLSに適用されるPTLシンタックス構造を選択するステップと、をさらに含むことができる。
本開示の画像復号化方法において、前記VPS内の前記1つ以上のPTLシンタックス構造の個数は、前記1つ以上のOLSの全体個数よりも大きくなくてもよい。
本開示の画像復号化方法において、前記VPS内の前記1つ以上のPTLシンタックス構造のそれぞれは、前記1つ以上のOLSのうちの少なくとも一つのOLSにマッピングされることができる。
本開示の他の態様による画像復号化装置は、メモリと少なくとも1つのプロセッサとを含み、前記少なくとも1つのプロセッサは、VPS(Video Parameter Set)内の1つ以上のDPB(decoded picture buffer)パラメータシンタックス構造の個数を示す第1情報を取得し、前記第1情報に基づいて、前記VPSから前記1つ以上のDPBパラメータシンタックス構造を取得し、前記第1情報に基づいて、前記VPSから1つ以上のマルチレイヤー(multi-layer)OLS(output layer set)と前記1つ以上のDPBパラメータシンタックス構造との間のマッピングに関する第2情報を取得し、前記第2情報に基づいて、現在OLSに適用されるDPBパラメータシンタックス構造を選択し、前記選択されたDPBパラメータシンタックス構造に基づいて、前記現在OLSを処理することができる。
本開示の別の態様による画像符号化装置によって行われる画像符号化方法は、VPS(Video Parameter Set)内の1つ以上のDPB(decoded picture buffer)パラメータシンタックス構造の個数を示す第1情報を符号化するステップと、前記第1情報に基づいて、前記VPSに前記1つ以上のDPBパラメータシンタックス構造を符号化するステップと、前記第1情報に基づいて、前記VPSに1つ以上のマルチレイヤー(multi-layer)OLS(output layer set)と前記1つ以上のDPBパラメータシンタックス構造との間のマッピングに関する第2情報を符号化するステップと、前記第2情報に基づいて、現在OLSに適用されるDPBパラメータシンタックス構造を選択するステップと、前記選択されたDPBパラメータシンタックス構造に基づいて、前記現在OLSを処理するステップと、を含むことができる。
本開示の画像符号化方法において、前記VPS内の前記1つ以上のDPBパラメータシンタックス構造の個数は、前記1つ以上のマルチレイヤーOLSの個数より大きくなくてもよい。
本開示の画像符号化方法において、前記VPS内の前記1つ以上のDPBパラメータシンタックス構造のそれぞれは、前記1つ以上のマルチレイヤーOLSのうちの少なくとも1つのマルチレイヤーOLSにマッピングされることができる。
本開示の画像符号化方法において、前記VPS内の前記1つ以上のDPBパラメータシンタックス構造の個数が1より大きいことに基づいて、前記VPSに前記第2情報が符号化されることができる。
本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。
本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
本開示によれば、符号化/復号化の効率が向上した画像符号化/復号化方法及び装置が提供されることができる。
また、本開示は、DPB関連情報及びPTL関連情報を効率よくシグナリングすることにより、符号化/復号化の効率の向上を図ることができる画像符号化/復号化方法及び装置が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 本開示の実施例が適用できる概略的なピクチャ復号化手順の例を示す。 本開示の実施例が適用できる概略的なピクチャ符号化手順の例を示す。 コーディングされた画像/ビデオに対する階層構造の一例を示す図である。 本開示の一実施例によるVPSのシンタックス構造を例示的に示す図である。 本開示によるDPBパラメータをシグナリングするためのシンタックス構造を例示する図である。 本開示の他の実施例によるVPSのシンタックス構造を例示的に示す図である。 本開示による実施例が適用できる画像符号化方法の一例を説明するための図である。 本開示による実施例が適用できる画像復号化方法の一例を説明するための図である。 本開示による実施例が適用できる画像復号化方法の他の例を説明するための図である。 本開示の別の実施例によってDPBパラメータの個数情報に基づいてDPBパラメータを符号化する過程を説明するための図である。 本開示の別の実施例によってDPBパラメータの個数情報に基づいてDPBパラメータを復号化する過程を説明するための図である。 本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第1」、「第2」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第1構成要素を他の実施例で第2構成要素と呼んでもよく、これと同様に、一実施例の第2構成要素を他の実施例で第1構成要素と呼んでもよい。
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
本開示において、「ピクチャ(picture)」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス(slice)/タイル(tile)は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス/タイルで構成できる。また、スライス/タイルは、一つ以上のCTU(coding tree unit)を含むことができる。
本開示において、「ピクセル(pixel)」又は「ペル(pel)」は、一つのピクチャ(又は画像)を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル(sample)」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ(luma)成分のピクセル/ピクセル値のみを示すこともでき、クロマ(chroma)成分のピクセル/ピクセル値のみを示すこともできる。
本開示において、「ユニット(unit)」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック(block)」又は「領域(area)」などの用語と混用して使用できる。一般な場合、M×Nブロックは、M個の列とN個の行からなるサンプル(又はサンプルアレイ)又は変換係数(transform coefficient)のセット(又はアレイ)を含むことができる。
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換(逆変換)/量子化(逆量子化)が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのルマ成分ブロックは、明示的に「ルマブロック」又は「現在ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。
本開示において、「A又はB(A or B)」は、「Aのみ」、「Bのみ」又は「A及びBの両方」を意味することができる。言い換えれば、本開示において、「A又はB(A or B)」は「A及び/又はB(A and/or B)」と解釈されることができる。例えば、本開示において、「A、B又はC(A, B or C)」は、「Aのみ」、「Bのみ」、「Cのみ」、又は「A、B及びCの任意のいずれの組み合わせ(any combination of A, B and C)」を意味することができる。
本開示で使用される「/」と「、(comma)」は「及び/又は(and/or)」を意味することができる。例えば、「A/B」は「A及び/又はB」を意味することができる。これにより、「A/B」は、「Aのみ」、「Bのみ」、又は「AとBの両方」を意味することができる。例えば、「A、B、C」は、「A、B又はC」を意味することができる。
本開示において、「少なくとも1つのA及びB(at least one of A and B)」は、「Aのみ」、「Bのみ」又は「AとBの両方」を意味することができる。また、本開示において、「少なくとも1つのA又はB(at least one of A or B)」や「少なくとも1つのA及び/又はB(at least one of A and/or B)」という表現は、「少なくとも1つのA及びB(at least one of A and B)」と同一に解釈されることができる。
また、本開示において、「少なくとも1つのA、B及びC(at least one of A, B and C)」は、「Aのみ」、「Bのみ」、「Cのみ」、又は「A、B及びCの任意のいずれの組み合わせ(any combination of A,B and C)」を意味することができる。また、「少なくとも1つのA、B又はC(at least one of A, B or C)」や「少なくとも1つのA、B及び/又はC(at least one of A,B and/or C)」は、「少なくとも1つのA、B及びC(at least one of A, B and C)」を意味することができる。
また、本開示で使用される括弧は、「例えば(for example)」を意味することができる。具体的に、「予測(イントラ予測)」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えれば、本開示の「予測」は、「イントラ予測」に限定(limit)されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測(すなわち、イントラ予測)」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。
本開示において、1つの図面内で個別に説明される技術的特徴は、個別に実現されてもよく、同時に実現されてもよい。
ビデオコーディングシステムの概要
図1は、本開示によるビデオコーディングシステムを示す。
一実施例によるビデオコーディングシステムは、符号化装置10及び復号化装置20を含むことができる。符号化装置10は、符号化されたビデオ(video)及び/又は画像(image)情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置20へ伝達することができる。
一実施例による符号化装置10は、ビデオソース生成部11、符号化部12及び伝送部13を含むことができる。一実施例による復号化装置20は、受信部21、復号化部22及びレンダリング部23を含むことができる。前記符号化部12は、ビデオ/画像符号化部と呼ばれることができ、前記復号化部22は、ビデオ/画像復号化部と呼ばれることができる。伝送部13は、符号化部12に含まれることができる。受信部21は、復号化部22に含まれることができる。レンダリング部23は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
ビデオソース生成部11は、ビデオ/画像のキャプチャ、合成又は生成過程などを介してビデオ/画像を取得することができる。ビデオソース生成部11は、ビデオ/画像キャプチャデバイス及び/又はビデオ/画像生成デバイスを含むことができる。ビデオ/画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ/画像を含むビデオ/画像アーカイブなどを含むことができる。ビデオ/画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、(電子的に)ビデオ/画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ/画像が生成されることができ、この場合、ビデオ/画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
符号化部12は、入力ビデオ/画像を符号化することができる。符号化部12は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部12は、符号化されたデータ(符号化されたビデオ/画像情報)をビットストリーム(bitstream)形式で出力することができる。
伝送部13は、ビットストリーム形式で出力された、符号化されたビデオ/画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置20の受信部21に伝達することができる。デジタル記憶媒体は、USB、SD、CD、DVD、Blu-ray(登録商標)、HDD、SSDなどのさまざまな記憶媒体を含むことができる。伝送部13は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送/通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部21は、前記記憶媒体又はネットワークから前記ビットストリームを抽出/受信して復号化部22に伝達することができる。
復号化部22は、符号化部12の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ/画像を復号化することができる。
レンダリング部23は、復号化されたビデオ/画像をレンダリングすることができる。レンダリングされたビデオ/画像は、ディスプレイ部を介して表示されることができる。
画像符号化装置の概要
図2は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
図2に示されているように、画像符号化装置100は、画像分割部110、減算部115、変換部120、量子化部130、逆量子化部140、逆変換部150、加算部155、フィルタリング部160、メモリ170、インター予測部180、イントラ予測部185及びエントロピー符号化部190を含むことができる。インター予測部180及びイントラ予測部185は、合わせて「予測部」と呼ばれることができる。変換部120、量子化部130、逆量子化部140及び逆変換部150は、レジデュアル(residual)処理部に含まれることができる。レジデュアル処理部は減算部115をさらに含むこともできる。
画像符号化装置100を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント(例えば、エンコーダ又はプロセッサ)で実現されることができる。また、メモリ170は、DPB(decoded picture buffer)を含むことができ、デジタル記憶媒体によって実現できる。
画像分割部110は、画像符号化装置100に入力された入力画像(又は、ピクチャ、フレーム)を一つ以上の処理ユニット(processing unit)に分割することができる。一例として、前記処理ユニットは、コーディングユニット(coding unit、CU)と呼ばれることができる。コーディングユニットは、コーディングツリーユニット(coding tree unit、CTU)又は最大コーディングユニット(largest coding unit、LCU)をQT/BT/TT(Quad-tree/binary-tree/ternary-tree)構造によって再帰的に(recursively)分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び/又は三分木構造に基づいて、下位(deeper)デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び/又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び/又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット(PU:Prediction Unit)又は変換ユニット(TU:Transform Unit)であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び/又は変換係数からレジデュアル信号(residual signal)を誘導する単位であることができる。
予測部(インター予測部180又はイントラ予測部185)は、処理対象ブロック(現在ブロック)に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部は、現在ブロック又はCU単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部190に伝達することができる。予測に関する情報は、エントロピー符号化部190で符号化されてビットストリーム形式で出力されることができる。
イントラ予測部185は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び/又はイントラ予測技法に従って、前記現在ブロックの周辺(neighbor)に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、DCモード及びプランナーモード(Planarモード)を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば33個の方向性予測モード又は65個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部185は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部180は、参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と、参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック(collocated reference block)、コロケートCU(colCU)などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ(collocated picture、colPic)と呼ばれることができる。例えば、インター予測部180は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部180は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測(motion vector prediction、MVP)モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(motion vector predictor)として用い、動きベクトル差分(motion vector difference)及び動きベクトル予測子に対するインジケータ(indicator)を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
予測部は、後述する様々な予測方法及び/又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、CIIP(combined inter and intra prediction)と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー(intra block copy、IBC)を行うこともできる。イントラブロックコピーは、例えば、SCC(screen content coding)などのようにゲームなどのコンテンツ画像/動画コーディングのために使用できる。IBCは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。IBCが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル(ブロックベクトル)として符号化されることができる。IBCは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、IBCは、本開示で説明されるインター予測技法のうちの少なくとも1つを用いることができる。
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部115は、入力画像信号(原本ブロック、原本サンプルアレイ)から、予測部から出力された予測信号(予測されたブロック、予測サンプルアレイ)を減算して、レジデュアル信号(residual signal、残余ブロック、残余サンプルアレイ)を生成することができる。生成されたレジデュアル信号は、変換部120に伝送されることができる。
変換部120は、レジデュアル信号に変換技法を適用して変換係数(transform coefficients)を生成することができる。例えば、変換技法は、DCT(Discrete Cosine Transform)、DST(Discrete Sine Transform)、KLT(Karhunen-Loeve Transform)、GBT(Graph-Based Transform)、又はCNT(Conditionally Non-linear Transform)のうちの少なくとも一つを含むことができる。ここで、GBTは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。CNTは、以前に復元された全てのピクセル(all previously reconstructed pixel)を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。
量子化部130は、変換係数を量子化してエントロピー符号化部190に伝送することができる。エントロピー符号化部190は、量子化された信号(量子化された変換係数に関する情報)を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部130は、係数スキャン順序(scan order)に基づいて、ブロック形式の量子化された変換係数を1次元ベクトル形式で再整列することができ、前記1次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
エントロピー符号化部190は、例えば、指数ゴロム(exponential Golomb)、CAVLC(context-adaptive variable length coding)、CABAC(context-adaptive binary arithmetic coding)などの様々な符号化方法を行うことができる。エントロピー符号化部190は、量子化された変換係数の他に、ビデオ/画像復元に必要な情報(例えば、シンタックス要素(syntax elements)の値など)を一緒に又は別々に符号化することもできる。符号化された情報(例えば、符号化されたビデオ/画像情報)は、ビットストリーム形式でNAL(network abstraction layer)ユニット単位で伝送又は保存されることができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像情報は、一般制限情報(general constraint information)をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び/又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び/又は通信網などを含むことができ、デジタル記憶媒体は、USB、SD、CD、DVD、Blu-ray(登録商標)、HDD、SSDなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部190から出力された信号を伝送する伝送部(図示せず)及び/又は保存する保存部(図示せず)が画像符号化装置100の内/外部要素として備えられることができ、又は伝送部はエントロピー符号化部190の構成要素として備えられることもできる。
量子化部130から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部140及び逆変換部150を介して逆量子化及び逆変換を適用することにより、レジデュアル信号(レジデュアルブロック又はレジデュアルサンプル)を復元することができる。
加算部155は、復元されたレジデュアル信号をインター予測部180又はイントラ予測部185から出力された予測信号に加えることにより、復元(reconstructed)信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部155は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
フィルタリング部160は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部160は、復元ピクチャに様々なフィルタリング方法を適用して、修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ170、具体的にはメモリ170のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、双方向フィルタ(bilateral filter)などを含むことができる。フィルタリング部160は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部190に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部190で符号化されてビットストリーム形式で出力されることができる。
メモリ170に伝送された、修正された復元ピクチャは、インター予測部180で参照ピクチャとして使用されることができる。画像符号化装置100は、これを介してインター予測が適用される場合、画像符号化装置100と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
メモリ170内のDPBは、インター予測部180での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ170は、現在ピクチャ内の動き情報が導出された(又は符号化された)ブロックの動き情報及び/又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部180に伝達されることができる。メモリ170は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部185に伝達することができる。
画像復号化装置の概要
図3は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
図3に示されているように、画像復号化装置200は、エントロピー復号化部210、逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ250、インター予測部260及びイントラ予測部265を含んで構成できる。インター予測部260及びイントラ予測部265を合わせて「予測部」と呼ばれることができる。逆量子化部220、逆変換部230はレジデュアル処理部に含まれることができる。
画像復号化装置200を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント(例えば、デコーダ又はプロセッサ)で実現されることができる。また、メモリ170は、DPBを含むことができ、デジタル記憶媒体によって実現できる。
ビデオ/画像情報を含むビットストリームを受信した画像復号化装置200は、図2の画像符号化装置100で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置200は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置200を介して復号化及び出力された復元画像信号は、再生装置(図示せず)を介して再生できる。
画像復号化装置200は、図2の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部210を介して復号化できる。例えば、エントロピー復号化部210は、前記ビットストリームをパーシングして画像復元(又はピクチャ復元)に必要な情報(例えば、ビデオ/画像情報)を導出することができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像情報は、一般制限情報(general constraint information)をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び/又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び/又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部210は、指数ゴロム符号化、CAVLC又はCABACなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、CABACエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン(bin)を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル/ビンの情報を用いてコンテキスト(context)モデルを決定し、決定されたコンテキストモデルに基づいてビン(bin)の発生確率を予測してビンの算術復号化(arithmetic decoding)を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、CABACエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル/ビンのコンテキストモデルのために、復号化されたシンボル/ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部210で復号化された情報のうち、予測に関する情報は、予測部(インター予測部260及びイントラ予測部265)に提供され、エントロピー復号化部210でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部220に入力されることができる。また、エントロピー復号化部210で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部240に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部(図示せず)が画像復号化装置200の内/外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部210の構成要素として備えられることもできる。
一方、本開示による画像復号化装置は、ビデオ/画像/ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ(ビデオ/画像/ピクチャ情報デコーダ)及び/又はサンプルデコーダ(ビデオ/画像/ピクチャサンプルデコーダ)を含むこともできる。前記情報デコーダは、エントロピー復号化部210を含むことができ、前記サンプルデコーダは、逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ250、インター予測部260及びイントラ予測部265のうちの少なくとも一つを含むことができる。
逆量子化部220では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部220は、量子化された変換係数を2次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部220は、量子化パラメータ(例えば、量子化ステップサイズ情報)を用いて、量子化された変換係数に対する逆量子化を行い、変換係数(transform coefficient)を取得することができる。
逆変換部230では、変換係数を逆変換してレジデュアル信号(レジデュアルブロック、レジデュアルサンプルアレイ)を取得することができる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部は、エントロピー復号化部210から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ/インター予測モード(予測技法)を決定することができる。
予測部が後述の様々な予測方法(技法)に基づいて予測信号を生成することができるのは、画像符号化装置100の予測部についての説明で述べたのと同様である。
イントラ予測部265は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部185についての説明は、イントラ予測部265に対しても同様に適用されることができる。
インター予測部260は、参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。例えば、インター予測部260は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出することができる。様々な予測モード(技法)に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード(技法)を指示する情報を含むことができる。
加算部235は、取得されたレジデュアル信号を予測部(インター予測部260及び/又はイントラ予測部265を含む)から出力された予測信号(予測されたブロック、予測サンプルアレイ)に加えることにより、復元信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部155についての説明は、加算部235に対しても同様に適用できる。加算部235は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。
フィルタリング部240は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部240は、復元ピクチャに様々なフィルタリング方法を適用して、修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ250、具体的にはメモリ250のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、双方向フィルタ(bilateral filter)などを含むことができる。
メモリ250のDPBに保存された(修正された)復元ピクチャは、インター予測部260で参照ピクチャとして使用されることができる。メモリ250は、現在ピクチャ内の動き情報が導出された(又は復号化された)ブロックの動き情報及び/又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部260に伝達することができる。メモリ250は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部265に伝達することができる。
本明細書において、画像符号化装置100のフィルタリング部160、インター予測部180及びイントラ予測部185で説明された実施例は、それぞれ画像復号化装置200のフィルタリング部240、インター予測部260及びイントラ予測部265にも、同様に又は対応するように適用されることができる。
一般な画像/ビデオコーディング手順
画像/ビデオコーディングにおいて、画像/ビデオを構成するピクチャは、一連の復号化順序(decoding order)に従って符号化/復号化できる。復号化されたピクチャの出力順序(output order)に該当するピクチャ順序(picture order)は、前記復号化順序とは異なるように設定できる。これに基づいて、インター予測の際に、順方向予測だけでなく、逆方向予測も行うことができる。
図4は、本開示の実施例が適用できる概略的なピクチャ復号化手順の例を示す。
図4に示されている各手順は、図3の画像符号化装置によって行われることができる。例えば、ステップS410は、エントロピー復号化部210によって行われることができ、ステップS420は、イントラ予測部265及びインター予測部260を含む予測部で行われることができ、ステップS430は、逆量子化部220及び逆変換部230を含むレジデュアル処理部で行われることができ、ステップS440は、加算部235で行われることができ、ステップS450は、フィルタリング部240で行われることができる。ステップS410は、本開示で説明された情報復号化手順を含むことができ、ステップS420は、本開示で説明されたインター/イントラ予測手順を含むことができ、ステップS430は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップS440は、本開示で説明されたブロック/ピクチャ復元手順を含むことができ、ステップS450は、本開示で説明されたインループフィルタリング手順を含むことができる。
図4を参照すると、ピクチャ復号化手順は、図3についての説明で示されているように、概略的に、ビットストリームから(復号化による)画像/ビデオ情報取得手順(S410)、ピクチャ復元手順(S420~S440)、及び復元されたピクチャに対するインループフィルタリング手順(S450)を含むことができる。前記ピクチャ復元手順は、本開示で説明されたインター/イントラ予測(S420)及びレジデュアル処理(S430、量子化された変換係数に対する逆量子化、逆変換)過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正(modified)された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ250に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ250に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順(S450)は、上述したように、デブロッキングフィルタリング手順、SAO(sample adaptive offset)手順、ALF(adaptive loop filter)手順、及び/又はバイラテラルフィルタ(bi-lateral filter)手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、SAO(sample adaptive offset)手順、ALF(adaptive loop filter)手順、及びバイラテラルフィルタ(bi-lateral filter)手順のうちの一つ又は一部が順次適用されてもよく、全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、SAO手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ALF手順が行われることができる。これは、符号化装置においても同様に行われることができる。
図5は、本開示の実施例が適用できる概略的なピクチャ符号化手順の例を示す。
図5に示されている各手順は、図2の画像符号化装置によって行われることができる。例えば、ステップS510は、イントラ予測部185又はインター予測部180を含む予測部で行われることができ、ステップS520は、変換部120及び/又は量子化部130を含むレジデュアル処理部で行われることができ、ステップS530は、エントロピー符号化部190で行われることができる。ステップS510は、本開示で説明されたインター/イントラ予測手順を含むことができ、ステップS520は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップS530は、本開示で説明された情報符号化手順を含むことができる。
図5を参照すると、ピクチャ符号化手順は、図2についての説明で示されているように、概略的にピクチャ復元のための情報(例えば、予測情報、レジデュアル情報、パーティショニング情報など)を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順(optional)を含むことができる。符号化装置は、逆量子化部140及び逆変換部150を介して、量子化された変換係数から(修正された)レジデュアルサンプルを導出することができ、ステップS510の出力である予測サンプルと前記(修正された)レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリ170に保存されることができ、復号化装置での場合と同様に、以後のピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、(インループ)フィルタリング関連情報(パラメータ)がエントロピー符号化部190で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。
このようなインループフィルタリング手順を介して、ブロッキングアーチファクト(artifact)及びリンギング(ringing)アーチファクトなど、画像/動画像コーディング時に発生するノイズを低減することができ、主観的/客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。
上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測/インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ/スライス/タイルグループがIピクチャ/スライス/タイルグループである場合、前記現在ピクチャ/スライス/タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ/スライス/タイルグループがP又はBピクチャ/スライス/タイルグループである場合、前記現在ピクチャ/スライス/タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ/スライス/タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分及びクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用されるができる。
コーディング階層及び構造の例
本開示によるコーディングされたビデオ/画像は、例えば、後述するコーディング階層及び構造に従って処理できる。
図6は、コーディングされた画像/ビデオに対する階層構造の一例を示す図である。
コーディングされた画像/ビデオは、画像/ビデオの復号化処理及びそれ自体を扱うVCL(video coding layer、ビデオコーディング階層)、符号化された情報を伝送し保存する下位システム、そしてVCLと下位システムとの間に存在し、ネットワーク適応機能を担当するNAL(network abstraction layer、ネットワーク抽象階層)に区分されることができる。
VCLでは、圧縮された画像データ(スライスデータ)を含むVCLデータを生成するか、或いはピクチャパラメータセット(Picture Parameter Set:PPS)、シーケンスパラメータセット(Sequence Parameter Set:SPS)、ビデオパラメータセット(Video Parameter Set:VPS)などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なSEI(Supplemental Enhancement Information)メッセージを生成することができる。
NALでは、VCLで生成されたRBSP(Raw Byte Sequence Payload)にヘッダー情報(NALユニットヘッダー)を付加してNALユニットを生成することができる。このとき、RBSPは、VCLで生成されたスライスデータ、パラメータセット、SEIメッセージなどをいう。NALユニットヘッダーには、該当NALユニットに含まれるRBSPデータによって特定されるNALユニットタイプ情報を含むことができる。
図6に示されているように、NALユニットは、VCLで生成されたRBSPの類型によってVCL NALユニットとNon-VCL NALユニットに区分されることができる。VCL NALユニットは、画像に対する情報(スライスデータ)を含んでいるNALユニットを意味することができ、Non-VCL NALユニットは、画像を復号化するために必要な情報(パラメータセット又はSEIメッセージ)を含んでいるNALユニットを意味することができる。
上述したVCL NALユニット、Non-VCL NALユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、NALユニットは、H.266/VVCファイルフォーマット、RTP(Real-time Transport Protocol)、TS(Transport Stream)などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。
上述したように、NALユニットは、当該NALユニットに含まれるRBSPデータ構造(structure)に応じてNALユニットタイプが特定されることができ、このようなNALユニットタイプに対する情報は、NALユニットヘッダーに保存されてシグナリングされることができる。例えば、NALユニットが画像に対する情報(スライスデータ)を含むか否かによって、大きくVCL NALユニットタイプとNon-VCL NALユニットタイプに分類されることができる。VCL NALユニットタイプは、VCL NALユニットが含むピクチャの性質及び種類などによって分類されることができ、Non-VCL NALユニットタイプは、パラメータセットの種類などによって分類されることができる。
以下に、Non-VCL NALユニットタイプが含むパラメータセット/情報の種類などによって特定されたNALユニットタイプの一例を羅列する。
-DCI(Decoding capability information) NAL unit type(NUT):DCIを含むNALユニットに対するタイプ
-VPS(Video Parameter Set) NUT:VPSを含むNALユニットに対するタイプ
-SPS(Sequence Parameter Set) NUT:SPSを含むNALユニットに対するタイプ
-PPS(Picture Parameter Set) NUT:PPSを含むNALユニットに対するタイプ
-APS(Adaptation Parameter Set) NUT:APSを含むNALユニットに対するタイプ
-PH(Picture header) NUT:ピクチャヘッダーを含むNULユニットに対するタイプ
上述したNALユニットタイプは、NALユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、NALユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はnal_unit_typeであり、NALユニットタイプはnal_unit_typeの値を用いて特定できる。
一方、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダー及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス(スライスヘッダー及びスライスデータ集合)に対して一つのピクチャヘッダーがさらに付加されることができる。前記ピクチャヘッダー(ピクチャヘッダーシンタックス)は、前記ピクチャに共通に適用可能な情報/パラメータを含むことができる。前記スライスヘッダー(スライスヘッダーシンタックス)は、前記スライスに共通に適用可能な情報/パラメータを含むことができる。前記APS(APSシンタックス)又はPPS(PPSシンタックス)は、一つ以上のスライス又はピクチャに共通に適用可能な情報/パラメータを含むことができる。前記SPS(SPSシンタックス)は、一つ以上のシーケンスに共通に適用可能な情報/パラメータを含むことができる。前記VPS(VPSシンタックス)は、マルチレイヤーに共通に適用可能な情報/パラメータを含むことができる。前記DCIは、復号化能力(decoding capability)に関連する情報/パラメータを含むことができる。
本開示において、上位レベルシンタックス(High level syntax、HLS)は、前記APSシンタックス、PPSシンタックス、SPSシンタックス、VPSシンタックス、DCIシンタックス、ピクチャヘッダーシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。また、本開示において、下位レベルシンタックス(low level syntax、LLS)は、例えば、スライスデータシンタックス、CTUシンタックス、符号化単位シンタックス、変換単位シンタックスなどを含むことができる。
一方、本開示において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像/ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ/インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーの情報、前記ピクチャヘッダーの情報、前記APSの情報、前記PPSの情報、SPSの情報、前記VPSの情報及び/又は前記DCIの情報を含むことができる。また、前記画像/ビデオ情報は、一般制限情報(general constraint information)及び/又はNALユニットヘッダーの情報をさらに含むことができる。
High level syntax signalling and semantics
上述したように、本開示による画像/ビデオ情報は、ハイレベルシンタックス(High Level Syntax、HLS)を含むことができる。画像符号化方法及び/又は画像復号化方法は、前記画像/ビデオ情報に基づいて行われることができる。
DPB parameter signalling
DPB(Decoded Picture Buffer)は、概念的にサブDPB(sub-DPB)で構成されることができる。各sub-DPBは、1つの階層(layer)の復号化ピクチャを保存するためのピクチャストレージバッファ(picture stroage buffer)を含むことができる。それぞれのピクチャストレージバッファは、「参照ピクチャとして使用される(used for reference)」と表示された復号化ピクチャ又は将来の出力(future output)のために保有中の復号化ピクチャを含むことができる。
マルチレイヤー(multilayer)ビットストリームにおいて、DPBパラメータは、出力レイヤーセット(output layer set、OLS)ごとに割り当てられず、それぞれの階層ごとに割り当てられる。また、各階層に対して、最大2つのDPBパラメータが割り当てられることができる。このとき、2つのDPBパラメータのうち、いずれか1つは、当該階層が出力レイヤーである場合に対するDPBパラメータであり、残りの1つは、当該階層が出力レイヤーではなく、参照階層として使用される場合に対するDPBパラメータであり得る。当該階層が出力レイヤーである場合、当該階層は参照階層として使用されてもよく、将来の出力のために使用されてもよい。当該階層が出力レイヤーではなく、参照階層として使用される場合、レイヤースイッチング(layer switching)がない限り、当該階層は出力レイヤーのピクチャ/スライス/ブロックの参照のみのために使用できる。従来技術によれば、OLS内の各階層に対してDPBパラメータがシグナリングされる。前記DPBパラメータのシグナリングは、従来のDPBパラメータのシグナリングを単純化することができる。
図7は、本開示の一実施例によるVPSのシンタックス構造を例示的に示す図である。
図7に示されている例によれば、vps_all_independent_layers_flagが0である場合、vps_num_dpb_paramsがシグナリングされることができる。後述するように、第1値(例えば、0)のvps_all_independent_layers_flagは、CVS(coded video sequence)内の階層のうち、一つ以上が階層間予測(inter-layer prediction)を用いることができることを示すことができる。また、第2値(例えば、1)のvps_all_independent_layers_flagは、CVS(coded video sequence)内のすべての階層が階層間予測(inter-layer prediction)を使用せずに、独立して符号化されることを示すことができる。上記において、CVSは、マルチレイヤーに対する符号化ピクチャのシーケンスを含むビットストリーム又は画像/ビデオ情報として理解されることができる。vps_num_dpb_paramsは、VPS(Video Parameter Set)に含まれているdpb_parameters()シンタックス構造の個数を示すことができる。例えば、vps_num_dpb_paramsは0~16の値を持つことができ、存在しない場合には、vps_num_dpb_paramsの値は0に推論(設定)されることができる。
vps_num_dpb_paramsの値が0より大きい場合、すなわち、VPSに含まれているdpb_parameters()シンタックス構造の個数が0より大きい場合、1つ以上のDPBパラメータがシグナリングされることができる。例えば、前記1つ以上のDPBパラメータは、same_dpb_size_output_or_nonoutput_flag、vps_sublayer_dpb_params_present_flag、dpb_size_only_flag[i]、dpb_max_temporal_id[i]、layer_output_dpb_params_idx[i]、layer_nonoutput_dpb_params_idx[i]及び/又はdpb_parameters()を含むことができる。
第1値(例えば、1)のsame_dpb_size_output_or_nonoutput_flagは、VPS内にlayer_nonoutput_dpb_params_idx[i]が存在しないことを示すことができる。第2値(例えば、0)のsame_dpb_size_output_or_nonoutput_flagは、VPS内にlayer_nonoutput_dpb_params_idx[i]が存在し得ることを示すことができる。
vps_sublayer_dpb_params_present_flagは、VPS内のdpb_parameters()内にmax_dec_pic_buffering_minus1[]、max_num_reorder_pics[]、及び/又はmax_latency_increase_plus1[]が存在するか否かを制御するのに用いられることができる。vps_sublayer_dpb_params_present_flagが存在しない場合、その値は0と推論されることができる。
第1値(例えば、1)のdpb_size_only_flag[i]は、VPS内のi番目のdpb_parameters()内にmax_num_reorder_pics[]及び/又はmax_latency_increase_plus1[]が存在しないことを示すことができる。第2値(例えば、0)のdpb_size_only_flag[i]は、VPS内のi番目のdpb_parameters()内にmax_num_reorder_pics[]及び/又はmax_latency_increase_plus1[]が存在し得ることを示すことができる。
dpb_max_temporal_id[i]は、VPS内のi番目のdpb_parameters()内にDPBパラメータが存在し得る最上位サブレイヤー(sublayer)の時間的階層識別子(例えば、TemporalId)を意味することができる。dpb_max_temporal_id[i]は、0乃至vps_max_sublayers_minus1の値を持つことができる。vps_max_sublayers_minus1が0であれば、dpb_max_temporal_id[i]の値は、シグナリングされず、0と推論されることができる。vps_max_sublayers_minus1が0より大きく、vps_all_layers_same_num_sublayers_flagが1である場合、dpb_max_temporal_id[i]の値は、vps_max_sublayers_minus1と同じ値に推論されることができる。
layer_output_dpb_params_idx[i]は、VPS内のdpb_parameters()のリストに対するインデックスであり、i番目の階層がOLSに含まれている出力レイヤー(output layer)であるときに、i番目の階層に適用されるdpb_parameters()を指示するインデックスであり得る。layer_output_dpb_params_idx[i]は、0乃至vps_num_dpb_params-1の値を持つことができる。
vps_independent_layer_flag[i]が1である場合、出力レイヤーであるi番目の階層に適用されるdpb_parameters()は、当該階層によって参照されるSPSに存在するdpb_parameters()であり得る。
そうではなく、vps_independent_layer_flag[i]が0である場合、以下の事項が適用できる。
-vps_num_dpb_paramsが1である場合、layer_output_dpb_params_idx[i]の値は0と推論されることができる。
-ビットストリーム整合性に対する要求事項として、layer_output_dpb_params_idx[i]の値は、dpb_size_only_flag[layer_output_dpb_params_idx[i]]が0となるようにする値でなければならない。
layer_nonoutput_dpb_params_idx[i]は、VPS内のdpb_parameters()のリストに対するインデックスであり、i番目の階層がOLSに含まれている非出力レイヤー(non-output layer)であるとき、i番目の階層に適用されるdpb_parameters()を指示するインデックスであり得る。layer_nonoutput_dpb_params_idx[i]は、0乃至vps_num_dpb_params-1の値を持つことができる。
same_dpb_size_output_or_nonoutput_flagが1である場合、以下の事項が適用できる。
-vps_independent_layer_flag[i]が1であれば、非出力レイヤーであるi番目の階層に適用されるdpb_parameters()は、当該階層によって参照されるSPSに存在するdpb_parameters()であり得る。
-そうではなく、vps_independent_layer_flag[i]が0である場合、layer_nonoutput_dpb_params_idx[i]の値は、layer_output_dpb_params_idx[i]と同じ値に推論されることができる。
そうではなく、same_dpb_size_output_or_nonoutput_flagが0である場合、vps_num_dpb_paramsが1であれば、layer_output_dpb_params_idx[i]の値は0と推論されることができる。
図8は、本開示によるDPBパラメータをシグナリングするためのシンタックス構造を例示する図である。
図8に示されているように、dpb_parameters()シンタックス構造は、DPBサイズに関する情報、最大ピクチャリオーダ個数情報、及び/又は最大レイテンシに関する情報をCVSの各CLVSに対して含むことができる。上記において、CLVS(Coder Layer Video Sequence)は、同じ階層に属する符号化ピクチャのシーケンスを含むビットストリーム又は画像/ビデオ情報として理解されることができる。
dpb_parameters()シンタックス構造がVPS内に含まれる場合、当該dpb_parameters()シンタックス構造が適用されるOLSは、前記VPSによって特定されることができる。dpb_parameters()シンタックス構造がSPS内に含まれる場合、前記SPSを参照する階層のうち、最下位階層のみを含むOLSに適用されることができる。このとき、前記最下位階層は独立階層であってもよい。
max_dec_pic_buffering_minus1[i]+1は、CVSのそれぞれのCLVSに対して、DPBの最大要求サイズを示すことができる。max_dec_pic_buffering_minus1[i]は、0乃至MaxDpbSize-1の値を持つことができる。
max_num_reorder_pics[i]は、CVSのそれぞれのCLVSに対して、CLVS内の任意のピクチャよりも復号化順序において先行し、出力順序において後行するCLVS内のピクチャの許容可能な最大個数を示すことができる。max_num_reorder_pics[i]は、0乃至max_dec_pic_buffering_minus1[i]の値を有することができる。iが0よりも大きい場合、max_num_reorder_pics[i]は、max_num_reorder_pics[i1]以上の値を持たなければならない。max_num_reorder_pics[i]が存在しない場合には、その値はmax_num_reorder_pics[maxSubLayersMinus1]と同じ値に推論されることができる。
0ではない値を持つmax_latency_increase_plus1[i]は、MaxLatencyPictures[i]の計算に用いられることができる。MaxLatencyPictures[i]は、CVSのそれぞれのCLVSに対して、CLVS内の任意のピクチャに出力順序において先行し、復号化順序において後行するCLVS内のピクチャの最大個数を示すことができる。
max_latency_increase_plus1[i]が0ではない場合、MaxLatencyPictures[i]は、次のように計算できる。
MaxLatencyPictures[i]=max_num_reorder_pics[i]+max_latency_increase_plus1[i]-1
max_latency_increase_plus1[i]は、0乃至232-2の値を持つことができる。max_latency_increase_plus1[i]が存在しない場合、その値はmax_latency_increase_plus1[maxSubLayersMinus1]と同様に推論されることができる。
前記DPBパラメータは、DPBから復号化画像を出力又は除去する過程で用いられることができる。
Video Parameter Set signalling
ビデオパラメータセット(Video parameter set、VPS)は、階層情報の伝送のために使用されるパラメータセットである。前記階層情報は、例えば、出力レイヤーセット(output layer set、OLS)に関する情報、プロファイルティアレベル(profile tier level)に関する情報、OLSと仮想参照デコーダ(hypothetical reference decoder)との関係に関する情報、OLSとDPBとの関係に関する情報などを含むことができる。VPSは、ビットストリームの復号化に必須ではないことができる。
VPS RBSP(raw byte sequence payload)は、参照される前に、TemporalIDが0である少なくとも1つのアクセスユニット(Access Unit、AU)に含まれるか、或いは外部手段を介して提供されることにより、復号化プロセスに利用可能でなければならない。
CVS(coded video sequence)内で特定の値のvps_video_parameter_set_idを持つ全てのVPS NALユニットは、同じコンテンツを持たなければならない。
図9は、本開示の他の実施例によるVPSのシンタックス構造を例示的に示す図である。
図9に示されているVPSのシンタックス構造は、本開示に関連するシンタックス要素のみを含み、図9に示されていない他の多様なシンタックス要素がVPSに含まれることができる。
図9に示されている例において、vps_video_parameter_set_idは、VPSに対する識別子を提供する。他のシンタックス要素は、vps_video_parameter_set_idを用いてVPSを参照することができる。vps_video_parameter_set_idの値は0よりも大きくなければならない。
vps_max_layers_minus1に1を加えた値は、前記VPSを参照する各CVS内の許容可能な最大階層の数を示すことができる。
vps_all_independent_layers_flagは、vps_max_layers_minus1が0より大きい場合にシグナリングされることができる。第1値(例えば、1)のvps_all_independent_layers_flagは、前記CVS内のすべての階層が階層間予測(inter-layer prediction)を使用せず、独立して符号化されることを示すことができる。第2値(例えば、0)のvps_all_independent_layers_flagは、前記CVS内の1つ以上の階層が階層間予測を利用することができることを示すことができる。vps_all_independent_layers_flagが存在しない場合、その値は、第1値(例えば、1)と推論されることができる。
vps_num_ptls_minus1+1は、VPS内のprofile_tier_level()シンタックス構造の個数を示すことができる。vps_num_ptls_minus1の値は、TotalNumOlssよりも小さくなければならない。TotalNumOlssは、VPSによって特定されるOLSsの全体個数を示すことができる。vps_max_layers_minus1が0であるとき、TotalNumOlssは1に誘導されることができる。そうではなく、each_layer_is_an_ols_flagが1であるか、或いはols_mode_idcが0又は1である場合、TotalNumOlssはvps_max_layers_minus1+1に誘導されることができる。そうではなく、ols_mode_idcが2である場合、TotalNumOlssは、num_output_layer_sets_minus1+1に誘導されることができる。ols_mode_idcは、VPSによって特定されるOLSsの全体個数を誘導するためのモードを指示する指示子であり得る。上記において、each_layer_is_an_ols_flagは、各OLSが1つの階層のみを含むか否かを示すことができる。
ols_ptl_idx[i]は、VPS内のprofile_tier_level()のリストに対するインデックスであって、i番目のOLSに適用されるprofile_tier_level()のインデックスであり得る。ols_ptl_idx[i]が存在するとき、ols_ptl_idx[i]は0乃至vps_num_ptls_minus1の値を有することができる。vps_num_ptls_minus1が0である場合、ols_ptl_idx[i]の値は0と推論されることができる。
NumLayersInOls[i]は、i番目のOLS内の階層の個数を示すことができる。NumLayersInOls[i]が1であるとき、i番目のOLSに適用されるprofile_tier_level()シンタックス構造は、i番目のOLS内の階層によって参照されるSPSにも存在することができる。ビットストリーム整合性に対する要求事項として、NumLayersInOls[i]が1であるとき、i番目のOLSに対するVPS内のprofile_tier_level()シンタックス構造とSPS内のprofile_tier_level()シンタックス構造は同一でなければならない。
図9に示されているところによれば、vps_all_independent_layers_flagが0であるとき、vps_num_dpb_paramsがシグナリングされることができる。
vps_num_dpb_paramsは、VPS内のDPBパラメータ(dpb_parameters())シンタックス構造の個数を示すことができる。vps_num_dpb_paramsは、0~16の値を有することができ、ビットストリームに存在しない場合、その値は0と推論されることができる。
vps_num_dpb_paramsに基づいて、dpb_parameter()シンタックス構造がシグナリングされることができる。
また、i番目のOLS内の階層の数が複数であり(NumLayersInOls[i]>1)、VPS内のDPBパラメータの個数が複数である場合(vps_num_dpb_params>1)、ols_dpb_params_idx[i]がシグナリングされることができる。
ols_dpb_params_idx[i]は、VPS内のdpb_parameters()のリストに対するインデックスであって、i番目のOLSに適用されるdpb_parameters()のインデックスであり得る。ols_dpb_params_idx[i]が存在するとき、ols_dpb_params_idx[i]は0乃至vps_num_dpb_params-1の値を有することができる。ols_dpb_params_idx[i]がビットストリームに存在しないとき、その値は0と推論されることができる。
図7~図9を参照して説明したVPS内のDPB関連情報及びPTL関連情報のシグナリングを改善するために、本開示による実施例は、以下の構成のうちの少なくとも1つを含むことができる。以下の構成は、個別に又は他の構成と組み合わせられて適用されることができる。
構成1:VPSでシグナリングされるDPBパラメータシンタックス構造のそれぞれは、少なくとも1つの出力レイヤーセット(OLS)に関連するように制限されることができる。
構成2:代替的に、VPSでシグナリングされるDPBパラメータシンタックス構造のそれぞれは、少なくとも1つのマルチレイヤーOLSに関連するように制限されることができる。この時、マルチレイヤーOLSは、1つより多い個数の階層を含む出力レイヤーセットを意味することができる。
構成3:VPSでシグナリングされるDPBパラメータシンタックス構造の個数(すなわち、vps_num_dpb_params)は、1つより多い個数の階層を含む出力レイヤーセット(マルチレイヤーOLS)の個数よりも大きくないように制限されることができる。このとき、マルチレイヤーOLSの個数は、全体OLSの個数から1つの階層のみを含むOLSの個数を差し引くことにより誘導されることができる。
構成4:VPSでシグナリングされるPTLシンタックス構造のそれぞれは、少なくとも1つの出力レイヤーセット(OLS)に関連するように制限されることができる。
図10は、本開示による実施例が適用できる画像符号化方法の一例を説明するための図である。
画像符号化装置は、DPB関連情報及び/又はPTL関連情報を誘導し(S1010)、画像/ビデオ情報を符号化することができる(S1020)。このとき、画像/ビデオ情報は、前記誘導されたDPB関連情報及び/又はPTL関連情報を含むことができる。
図10には示されていないが、画像符号化装置は、ステップS1010で誘導されたDPB関連情報に基づいて、DPB管理(DPB management)を行うことができる。また、画像符号化装置は、DPB関連情報及び/又はPTL関連情報に基づいて現在ピクチャを処理(符号化)することができる。又は、画像符号化装置は、DPB関連情報及び/又はPTL関連情報に基づいて現在OLSを処理することができる。
図11は、本開示による実施例が適用できる画像復号化方法の一例を説明するための図である。
画像復号化装置は、画像/ビデオ情報をビットストリームから取得することができる(S1110)。このとき、画像/ビデオ情報は、DPB関連情報及び/又はPTL関連情報を含むことができる。
画像復号化装置は、取得されたDPB関連情報及び/又はPTL関連情報に基づいてピクチャの処理(復号化)を行うことができる(S1120)。又は、画像復号化装置は、DPB関連情報及び/又はPTL関連情報に基づいて現在OLSを処理することができる。
図12は、本開示による実施例が適用できる画像復号化方法の他の例を説明するための図である。
画像復号化装置は、画像/ビデオ情報をビットストリームから取得することができる(S1210)。このとき、画像/ビデオ情報は、DPB関連情報及び/又はPTL関連情報を含むことができる。
画像復号化装置は、取得されたDPB関連情報に基づいて、DPB管理(DPB management)を行うことができる(S1220)。
画像復号化装置は、DPBに基づいてピクチャの復号化を行うことができる(S1230)。例えば、DPB内の既に復元されたピクチャを参照ピクチャとして用いるインター予測に基づいて、現在ピクチャ内のブロック/スライスが復号化されることができる。また、図12には示されていないが、画像符号化装置は、ステップS1210で取得されたPTL関連情報に基づいて現在ピクチャを復号化することができる。又は、画像復号化装置は、DPB関連情報及び/又はPTL関連情報に基づいて現在OLSを処理することができる。
図10~図12を参照して説明した例において、DPB関連情報及び/又はPTL関連情報は、本開示の実施例のうちの少なくとも1つの実施例に関連して説明された情報/シンタックス要素のうちの少なくとも1つを含むことができる。具体的には、DPB関連情報は、図7及び図8を参照して説明された情報/シンタックス要素を含むことができる。また、PTL関連情報は、図9を参照して説明された情報/シンタックス要素を含むことができる。本開示の画像/ビデオ情報は、出力レイヤーセット(OLS)に関連して本開示で説明された情報をさらに含むことができる。また、上述したように、DPB管理(DPB management)は、DPB関連情報に基づいて行われることができる。例えば、現在ピクチャの復号化前にDPBへのピクチャの保存、DPBからのピクチャの削除、及び/又は(復号化された)ピクチャの出力は、DPB関連情報に基づいて行われることができる。DPB管理は、本開示で説明されたOLSにさらに基づいて行われることができる。
以下、VPSシグナリングを効率よく行うための本開示の様々な実施例を説明する。後述する本開示の様々な実施例は、単独で実現されてもよく、他の実施例と組み合わせて実現されてもよい。
本開示の一実施例によれば、NumLayersInOls[i]を用いて複数の階層を含むマルチレイヤーOLSの個数(NumMultiLayeredOlss)誘導することができる。上述したように、NumLayersInOls[i]は、i番目のOLS内の階層の個数を示すことができる。具体的に、マルチレイヤーOLSの個数(NumMultiLayeredOlss)を誘導するために、まず、マルチレイヤーOLSの個数(NumMultiLayeredOlss)を0に設定(初期化)することができる。そして、VPSによって特定されるすべてのOLSに対して(i=1 to TotalNumOlss)、NumLayersInOls[i]が1より大きいか否かを確認し、NumLayersInOls[i]が1より大きい場合、NumMultiLayeredOlssの値を1ずつ増加させることにより、マルチレイヤーOLSの個数を誘導することができる。上述のように誘導されたマルチレイヤーOLSの個数は、本開示の他の実施例で使用されることができる。
本開示の他の実施例によれば、VPSでシグナリングされる各DPBパラメータ構造は、少なくとも1つのOLSに関連するように制限されることができる。
上述したように、i番目のOLSが一つよりも多い個数の階層を含む場合、i番目のOLSに適用されるdpb_parameters()は、ols_dpb_params_idx[i]によって特定されることができる。ols_dpb_params_idx[i]がビットストリームに存在する場合、その値は0乃至vps_num_dpb_params-1の値を有することができる。ols_dpb_params_idx[i]がビットストリームに存在しない場合、その値は0と推論されることができる。i番目のOLSが一つの階層のみを含む場合(when NumLayersInOls[i] is equal to 1)、前記i番目のOLSに適用されるdpb_parameters()は、前記i番目のOLS内の前記階層によって参照されるSPSに存在することができる。この場合、i番目のOLSに適用されるdpb_parameters()は、VPSでシグナリングされないことができる。
本実施例によれば、VPSでシグナリングされるすべてのdpb_parameters()のそれぞれは、少なくとも1つのOLSに適用されるように制限されることができる。つまり、VPS内のそれぞれのdpb_parameters()は、少なくとも一つのols_dpb_params_idx[i]によって特定(参照)されるように制限されることができる。本実施例によれば、VPS内のdpb_parameters()のそれぞれは、少なくとも一度使用されることができる。すなわち、本実施例によれば、使用されないdpb_parameters()をシグナリングしないことにより、VPS内のdpb_parameters()を効率よくシグナリングすることができる。
上述したように、ols_dpb_params_idx[i]は、VPS内のdpb_parameters()のリストに対するインデックスであって、i番目のOLSがマルチレイヤーOLSであるとき、i番目のOLSに適用されるdpb_parameters()のインデックスである。つまり、本開示の別の実施例によれば、ols_dpb_params_idx[i]は、VPS内のdpb_parameters()のリストに対するインデックスであって、i番目のマルチレイヤーOLSに適用されるdpb_parameters()のインデックを示すことができる。この場合、VPSでシグナリングされるすべてのdpb_パラメータ()のそれぞれは、少なくとも一つのマルチレイヤーOLSに適用されるように制限されることができる。つまり、VPS内のそれぞれのdpb_parameters()は、少なくとも1つのols_dpb_params_idx[i](iは0乃至NumMultiLayeredOlss-1)によって参照されるように制限されることができる。
本開示の別の実施例によれば、VPSでシグナリングされるDPBパラメータ構造の個数(すなわち、vps_num_dpb_params)は、一つより多い階層を含むマルチレイヤーOLSsの個数(NumMultiLayeredOlss)よりも大きくないように制限されることができる。
図9を参照して説明した例によれば、vps_num_dpb_paramsは、VPS内のDPBパラメータ(dpb_parameters())シンタックス構造の個数を示し、vps_num_dpb_paramsは、0~16の値を有することができる。
しかし、上述したように、一つの階層のみを含むOLSが存在することができ、一つの階層のみを含むOLSは、VPSでシグナリングされるDPBパラメータ構造と関連付けられない。図9の例におけるvps_num_dpb_paramsの値の範囲は、不正確なシグナリングを引き起こす可能性がある。したがって、dpb_parameters()シンタックス構造の個数の範囲は、正確なシグナリングが行われるためには、複数の階層を含むマルチレイヤーOLSsの個数(NumMultiLayeredOlss)によって特定されなければならない。
このとき、マルチレイヤーOLSsの個数(NumMultiLayeredOlss)は、OLSsの全体個数(TotalNumOlss)から、一つの階層のみを含むOLSsの個数(NumSingleLayerOlss)を差し引くことにより誘導されることができる。又は、上述したように、マルチレイヤーOLSsの個数(NumMultiLayeredOlss)は、NumLayersInOls[i]を用いて誘導されることもできる。
上述したように、VPSでシグナリングされる各DPBパラメータシンタックス構造が少なくとも一つのマルチレイヤーOLSと関連付けられる(マッピングされる)ように制限されることができる。また、VPSでシグナリングされるDPBパラメータ構造の個数(すなわち、vps_num_dpb_params)は、マルチレイヤーOLSsの個数より大きくないように制限されることができる。前記2つの実施例は、組み合わせられた形態で次のとおりに別の実施例を構成することができる。
図13は、本開示の別の実施例によってDPBパラメータの個数情報に基づいてDPBパラメータを符号化する過程を説明するための図である。
画像符号化装置は、DPBパラメータの個数に関する情報(例えば、vps_num_dpb_params)をVPSに符号化することができる(S1310)。vps_num_dpb_paramsは、VPSに含まれているdpb_parameters()シンタックス構造の個数を示すことができる。上述したように、DPBパラメータの個数は、マルチレイヤーOLSsの個数より大きくないように制限されることができる。よって、vps_num_dpb_paramsは、0乃至NumMultiLayeredOlssの値を有することができる。VPS内のDPBパラメータが存在しない場合、すなわち、VPS内のDPBパラメータの個数が0である場合、画像符号化装置は、vps_num_dpb_paramsの符号化を省略することができる。vps_num_dpb_paramsの符号化が省略される場合、その値は0と推論(設定)されることができる。
画像符号化装置は、VPS内のDPBパラメータを符号化することができる(S1320)。画像符号化装置は、VPS内のDPBパラメータの個数(vps_num_dpb_params)に基づいて、vps_num_dpb_params個のdpb_parameters()シンタックス構造をVPSに符号化することができる(S1320)。
画像符号化装置は、OLS-DPBマッピング情報のシグナリングのための条件を判断することができる(S1330)。このとき、前記OLS-DPBマッピング情報は、上述したols_dpb_params_idx[i]に該当することができる。本開示において、前記OLS-DPBマッピング情報は、一つ以上のマルチレイヤーOLSと一つ以上のDPBパラメータシンタックス構造との間のマッピングに関する情報であり得る。
画像符号化装置は、VPS内に複数のパラメータが存在するか否かを判断することができる。例えば、画像符号化装置は、VPS内のDPBパラメータの個数(vps_num_dpb_params)が1よりも大きいか否かを判断することができる。VPS内に複数のDPBパラメータが存在する場合(S1330-Yes)、画像符号化装置は、OLS-DPBマッピング情報をVPSに符号化することができる(S1340)。画像符号化装置は、OLS-DPBマッピング情報としてols_dpb_params_idx[i]を符号化することができる。上述したように、ols_dpb_params_idx[i]は、VPS内のdpb_parameters()のリストに対するインデックスであって、i番目のマルチレイヤーOLSに適用されるdpb_parameters()のインデックスを示すことができる。この場合、VPSでシグナリングされるすべてのdpb_パラメータ()のそれぞれは、少なくとも一つのマルチレイヤーOLSに適用されるように制限されることができる。つまり、VPS内のそれぞれのdpb_parameters()は、少なくとも1つのols_dpb_params_idx[i](iは0乃至NumMultiLayeredOlss-1)によって参照されるように制限されることができる。また、シングルレイヤーのみを含むOLSに適用されるdpb_parameters()シンタックス構造は、VPSに符号化されず、当該OLS内の前記階層によって参照されるSPSに符号化されることができる。
VPS内に複数のDPBパラメータが存在しない場合(S1330-No)、画像符号化装置は、OLS-DPBマッピング情報をVPSに符号化しないことができる(S1350)。OLS-DPBマッピング情報が符号化されない場合、その値が0と推論されるのは、上述した通りである。
図13に示されているところによれば、OLS-DPBマッピング情報のシグナリング条件としてVPS内のDPBパラメータの個数が1より大きいか否かが判断される。しかし、OLS-DPBマッピング情報のシグナリング条件は、これに限定されず、本開示に説明されていない他の様々な条件がさらに判断されることもできる。
画像符号化装置は、DPBパラメータに基づいてピクチャを符号化することができる(S1360)。この時、DPBパラメータは、ステップS1340で符号化されるか、或いはステップS1350で推論されたols_dpb_params_idx[i]によって参照されるVPS内のdpb_parameters()であり得る。または、シングルレイヤーのみを含むOLSの場合、DPBパラメータは、前記シングルレイヤーによって参照されるSPS内のdpb_parameters()であり得る。
図14は、本開示の別の実施例によってDPBパラメータの個数情報に基づいてDPBパラメータを復号化する過程を説明するための図面である。
画像復号化装置は、DPBパラメータの個数に関する情報(例えば、vps_num_dpb_params)をVPSから取得することができる(S1410)。vps_num_dpb_paramsは、VPSに含まれているdpb_parameters()シンタックス構造の個数を示すことができる。上述したように、DPBパラメータの個数は、マルチレイヤーOLSsの個数よりも大きくないように制限されることができる。したがって、vps_num_dpb_paramsは、0乃至NumMultiLayeredOlssの値を有することができる。vps_num_dpb_paramsが存在しない場合、その値は0と推論(設定)されることができる。
画像復号化装置は、VPS内のDPBパラメータを取得することができる(S1420)。画像復号化装置は、VPS内のDPBパラメータの個数(vps_num_dpb_params)に基づいて、vps_num_dpb_params個のdpb_parameters()シンタックス構造をVPSから取得することができる(S1420)。
画像復号化装置は、OLS-DPBマッピング情報のシグナリングのための条件を判断することができる(S1430)。このとき、前記OLS-DPBマッピング情報は、上述したols_dpb_params_idx[i]に該当することができる。
画像復号化装置は、VPS内の複数のパラメータが存在するか否かを判断することができる。例えば、画像復号化装置は、VPS内のDPBパラメータの個数(vps_num_dpb_params)が1より大きいか否かを判断することができる。VPS内の複数のDPBパラメータが存在する場合(S1430-Yes)、画像復号化装置は、OLS-DPBマッピング情報をVPSから取得することができる(S1440)。画像復号化装置は、OLS-DPBマッピング情報としてols_dpb_params_idx[i]を取得することができる。上述したように、ols_dpb_params_idx[i]は、VPS内のdpb_parameters()のリストに対するインデックスであって、i番目のマルチレイヤーOLSに適用されるdpb_parameters()のインデックスを示すことができる。この場合、VPSでシグナリングされるすべてのdpb_parameters()のそれぞれは、少なくとも一つのマルチレイヤーOLSに適用されるように制限されることができる。つまり、VPS内のそれぞれのdpb_parameters()は、少なくとも1つのols_dpb_params_idx[i](iは0乃至NumMultiLayeredOlss-1)によって参照されるように制限されることができる。また、シングルレイヤーのみを含むOLSに適用されるdpb_parameters()シンタックス構造は、VPSから取得されず、当該OLS内の前記階層によって参照されるSPSから取得されることができる。
VPS内の複数のDPBパラメータが存在しない場合(S1430-No)、画像復号化装置は、OLS-DPBマッピング情報をVPSから取得しないことができる(S1450)。OLS-DPBマッピング情報がビットストリームに存在しない場合、その値は0と推論されることができる。
図14に示されているところによれば、OLS-DPBマッピング情報のシグナリング条件としてVPS内のDPBパラメータの個数が1より大きいか否かが判断される。しかし、OLS-DPBマッピング情報のシグナリング条件は、これに限定されず、本開示に説明されていない他の様々な条件がさらに判断されることもできる。
画像復号化装置は、DPBパラメータに基づいてピクチャを復号化することができる(S1460)。この時、DPBパラメータは、ステップS1440で取得されるか、或いはステップS1450で推論されたols_dpb_params_idx[i]によって参照されるVPS内のdpb_parameters()であり得る。または、シングルレイヤーのみを含むOLSの場合、DPBパラメータは、前記シングルレイヤーによって参照されるSPS内のdpb_parameters()であり得る。
図13及び図14を参照して説明した実施例によれば、参照されないVPS内のdpb_parameters()シンタックス構造の不要なシグナリングを防止することができ、シングルレイヤーのみを含むOLSに対するdpb_parameters()シンタックス構造は、SPSを介してのみシグナリングすることにより、DPBパラメータのシグナリングをより正確かつ効率的に行うことができるという効果がある。
図13及び図14を参照して説明した方法において、一部のステップは、省略されるか、或いは他のステップとは順序が変更されることができる。また、図13及び図14に示されていないステップが任意の位置に付加されることができる。
本開示の別の実施例によれば、VPSでシグナリングされる各PTLシンタックス構造は、少なくとも1つのOLSと関連付けられるように制限されることができる。
上述したように、ols_ptl_idx[i]は、VPS内のprofile_tier_level()のリストに対するインデックスであって、i番目のOLSに適用されるprofile_tier_level()のインデックスであり得る。ols_ptl_idx[i]が存在するとき、ols_ptl_idx[i]は、0乃至vps_num_ptls_minus1の値を有することができる。vps_num_ptls_minus1が0である場合、ols_ptl_idx[i]の値は0と推論されることができる。本開示において、前記ols_ptl_idxは、一つ以上のOLSと一つ以上のPTLシンタックス構造との間のマッピングに関する情報であり得る。
NumLayersInOls[i]は、i番目のOLS内の階層の個数を示すことができる。NumLayersInOls[i]が1であるとき、i番目のOLSに適用されるprofile_tier_level()シンタックス構造は、i番目のOLS内の階層によって参照されるSPSにも存在することができる。ビットストリーム整合性に対する要求事項として、NumLayersInOls[i]が1であるとき、i番目のOLSに対するVPS内のprofile_tier_level()シンタックス構造とSPS内のprofile_tier_level()シンタックス構造は同じでなければならない。
本実施例によれば、VPSでシグナリングされるすべてのprofile_tier_level()のそれぞれは、少なくとも1つのOLSに適用されるように制限されることができる。つまり、VPS内のそれぞれのprofile_tier_level()は、少なくとも一つのols_ptl_idx[i]によって特定されることができる。本実施例によれば、VPS内のprofile_tier_level()のそれぞれは、少なくとも一度使用される。つまり、使用されないprofile_tier_level()はシグナリングされない。したがって、本実施例によれば、profile_tier_level()を効率よくシグナリングすることができる。
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。
本開示において、所定の動作(ステップ)を行う画像符号化装置又は画像復号化装置は、当該動作(ステップ)の実行条件や状況を確認する動作(ステップ)を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、2つ以上の組み合わせで適用されてもよい。
また、本開示の様々な実施例は、ハードウェア、ファームウェア(firmware)、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、1つ又はそれ以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、汎用プロセッサ(general processor)、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ(VoD)サービス提供装置、OTTビデオ(Over the top video)装置、インターネットストリーミングサービス提供装置、3次元(3D)ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、OTTビデオ(Over the top video)装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続TV、ホームシアターシステム、スマートフォン、タブレットPC、DVR(Digital Video Recoder)などを含むことができる。
図15は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
図15に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Webサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び/又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
前記ストリーミングサーバは、Webサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Webサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Webサーバに所望のサービスを要求すると、前記Webサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令/応答を制御する役割を果たすことができる。
前記ストリーミングサーバは、メディアストレージ及び/又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
前記ユーザ装置の例としては、携帯電話、スマートフォン(smart phone)、ノートパソコン(laptop computer)、デジタル放送用端末、PDA(personal digital assistants)、PMP(portable multimedia player)、ナビゲーション、スレートPC(slate PC)、タブレットPC(tablet PC)、ウルトラブック(ultrabook)、ウェアラブルデバイス(wearable device)、例えば、スマートウォッチ(smartwatch)、スマートグラス(smart glass)、HMD(head mounted display)、デジタルTV、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン-実行可能なコマンド(例えば、オペレーティングシステム、アプリケーション、ファームウェア(firmware)、プログラムなど)、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体(non-transitory computer-readable medium)を含む。
本開示による実施例は、画像を符号化/復号化することに利用可能である。

Claims (15)

  1. 画像復号化装置によって行われる画像復号化方法であって、前記画像復号化方法は、
    VPS(Video Parameter Set)内の1つ以上のDPB(decoded picture buffer)パラメータシンタックス構造の個数を示す第1情報を取得するステップと、
    前記第1情報に基づいて、前記VPSから前記1つ以上のDPBパラメータシンタックス構造を取得するステップと、
    前記第1情報に基づいて、前記VPSから1つ以上のマルチレイヤー(multi-layer)OLS(output layer set)と前記1つ以上のDPBパラメータシンタックス構造との間のマッピングに関する第2情報を取得するステップと、
    前記第2情報に基づいて、現在OLSに適用されるDPBパラメータシンタックス構造を選択するステップと、
    前記選択されたDPBパラメータシンタックス構造に基づいて、前記現在OLSを処理するステップと、を含む、画像復号化方法。
  2. 前記VPS内の前記1つ以上のDPBパラメータシンタックス構造の個数は、前記1つ以上のマルチレイヤーOLSの個数より大きくない、請求項1に記載の画像復号化方法。
  3. 前記VPS内の前記1つ以上のDPBパラメータシンタックス構造のそれぞれは、前記1つ以上のマルチレイヤーOLSのうちの少なくとも1つのマルチレイヤーOLSにマッピングされる、請求項1に記載の画像復号化方法。
  4. 前記VPS内の前記1つ以上のDPBパラメータシンタックス構造の個数が1より大きいことに基づいて、前記VPSから前記第2情報が取得される、請求項1に記載の画像復号化方法。
  5. 前記VPS内の前記1つ以上のDPBパラメータシンタックス構造の個数が1より大きくないことに基づいて、前記第2情報は前記VPSから取得されず、前記第2情報は0の値と推論される、請求項1に記載の画像復号化方法。
  6. 前記現在OLSがシングルレイヤーを含むことに基づいて、前記現在OLSに適用されるDPBパラメータシンタックス構造をSPS(Sequence Parameter Set)から取得する、請求項1に記載の画像復号化方法。
  7. 前記画像復号化方法は、
    前記VPS内の1つ以上のPTL(profile tier level)シンタックス構造の個数を示す第3情報を取得するステップと、
    前記第3情報に基づいて、前記VPSから前記1つ以上のPTLシンタックス構造を取得するステップと、
    前記第3情報に基づいて、前記VPSから1つ以上のOLSと前記1つ以上のPTLシンタックス構造との間のマッピングに関する第4情報を取得するステップと、
    前記第4情報に基づいて、前記現在OLSに適用されるPTLシンタックス構造を選択するステップと、をさらに含む、請求項1に記載の画像復号化方法。
  8. 前記VPS内の前記1つ以上のPTLシンタックス構造の個数は、前記1つ以上のOLSの全体個数よりも大きくない、請求項7に記載の画像復号化方法。
  9. 前記VPS内の前記1つ以上のPTLシンタックス構造のそれぞれは、前記1つ以上のOLSのうちの少なくとも一つのOLSにマッピングされる、請求項7に記載の画像復号化方法。
  10. 画像符号化装置によって行われる画像符号化方法であって、前記画像符号化方法は、
    VPS(Video Parameter Set)内の1つ以上のDPB(decoded picture buffer)パラメータシンタックス構造の個数を示す第1情報を符号化するステップと、
    前記第1情報に基づいて、前記VPSに前記1つ以上のDPBパラメータシンタックス構造を符号化するステップと、
    前記第1情報に基づいて、前記VPSに1つ以上のマルチレイヤー(multi-layer)OLS(output layer set)と前記1つ以上のDPBパラメータシンタックス構造との間のマッピングに関する第2情報を符号化するステップと、
    前記第2情報に基づいて、現在OLSに適用されるDPBパラメータシンタックス構造を選択するステップと、
    前記選択されたDPBパラメータシンタックス構造に基づいて、前記現在OLSを処理するステップと、を含む、画像符号化方法。
  11. 前記VPS内の前記1つ以上のDPBパラメータシンタックス構造の個数は、前記1つ以上のマルチレイヤーOLSの個数より大きくない、請求項10に記載の画像符号化方法。
  12. 前記VPS内の前記1つ以上のDPBパラメータシンタックス構造のそれぞれは、前記1つ以上のマルチレイヤーOLSのうちの少なくとも1つのマルチレイヤーOLSにマッピングされる、請求項10に記載の画像符号化方法。
  13. 前記画像符号化方法は、
    前記VPS内の前記1つ以上のPTL(profile tier level)シンタックス構造の個数を示す第3情報を符号化するステップと、
    前記第3情報に基づいて、前記VPSに前記一つ以上のPTLシンタックス構造を符号化するステップと、
    前記第3情報に基づいて、前記VPSに一つ以上のOLSと前記一つ以上のPTLシンタックス構造との間のマッピングに関する第4情報を符号化するステップと、
    前記第4情報に基づいて、前記現在OLSに適用されるPTLシンタックス構造を選択するステップと、をさらに含む、請求項10に記載の画像符号化方法。
  14. 前記VPS内の前記一つ以上のPTLシンタックス構造のそれぞれは、前記一つ以上のOLSのうちの少なくとも一つのOLSにマッピングされる、請求項13に記載の画像符号化方法。
  15. 請求項10に記載の画像符号化方法によって生成されたビットストリームを保存したコンピュータ可読記録媒体。
JP2022560046A 2020-04-02 2021-03-26 Dpb関連情報及びptl関連情報をシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体 Active JP7488360B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063004488P 2020-04-02 2020-04-02
US63/004,488 2020-04-02
PCT/KR2021/003778 WO2021201510A1 (ko) 2020-04-02 2021-03-26 Dpb 관련 정보 및 ptl 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
JP2023519751A true JP2023519751A (ja) 2023-05-12
JP7488360B2 JP7488360B2 (ja) 2024-05-21

Family

ID=77927546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022560046A Active JP7488360B2 (ja) 2020-04-02 2021-03-26 Dpb関連情報及びptl関連情報をシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体

Country Status (6)

Country Link
US (1) US20230156180A1 (ja)
EP (1) EP4131966A4 (ja)
JP (1) JP7488360B2 (ja)
KR (1) KR20220162740A (ja)
CN (1) CN115702567A (ja)
WO (1) WO2021201510A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379603A (zh) * 2013-04-07 2019-02-22 杜比国际公司 用信号通知输出层集的改变
US10178397B2 (en) * 2014-03-24 2019-01-08 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10432951B2 (en) * 2014-06-24 2019-10-01 Qualcomm Incorporated Conformance and inoperability improvements in multi-layer video coding
US20160112724A1 (en) * 2014-10-15 2016-04-21 Qualcomm Incorporated Hrd descriptor and buffer model of data streams for carriage of hevc extensions
US20210235124A1 (en) * 2020-01-29 2021-07-29 Qualcomm Incorporated Decoded picture buffer (dpb) parameter signaling for video coding
WO2021162016A1 (ja) 2020-02-10 2021-08-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US11778215B2 (en) * 2020-02-28 2023-10-03 Qualcomm Incorporated Coding output layer set data and conformance window data of high level syntax for video coding
US11470357B2 (en) * 2020-04-03 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for signaling decoding capability information in video coding

Also Published As

Publication number Publication date
EP4131966A1 (en) 2023-02-08
CN115702567A (zh) 2023-02-14
EP4131966A4 (en) 2024-03-06
WO2021201510A1 (ko) 2021-10-07
US20230156180A1 (en) 2023-05-18
JP7488360B2 (ja) 2024-05-21
KR20220162740A (ko) 2022-12-08

Similar Documents

Publication Publication Date Title
KR102558495B1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
JP7450747B2 (ja) 混成nalユニットタイプに基づく画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法
US20230188714A1 (en) Image encoding/decoding method and device for signaling aps identifier, and computer-readable recording medium in which bitstream is stored
JP7415030B2 (ja) 混成nalユニットタイプに基づく画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法
JP2023521626A (ja) 出力レイヤセットに基づいてパラメータセットの参照如何を決定する画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法
JP7488360B2 (ja) Dpb関連情報及びptl関連情報をシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体
JP7492027B2 (ja) Ptl関連情報をシグナリングする画像符号化/復号方法および装置、ならびにビットストリームを記憶したコンピュータ読み取り可能記録媒体
JP7436703B2 (ja) Dpbパラメータをシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体
JP7492026B2 (ja) Hrdパラメータをシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体
US20230144793A1 (en) Image encoding/decoding method and apparatus for signaling information about number of dpb parameters, and computer-readable recording medium storing bitstream
JP7494315B2 (ja) Gdr又はirpaピクチャに対する利用可能スライスタイプ情報に基づく画像符号化/復号化方法及び装置、並びにビットストリームを保存する記録媒体
US20230156230A1 (en) Image encoding/decoding method and device for signaling information relating to ptl, dpb, and hrd in sps, and computer-readable recording medium storing bitstream
US20230224470A1 (en) Method and apparatus for image encoding/decoding on basis of poc msb information, and recording medium for storing bitstream
US20230254498A1 (en) Image encoding/decoding method and apparatus based on sublayer level information, and recording medium storing bitstream
US20240196015A1 (en) Image encoding/decoding method and device based on sei message including layer identifier information, and method for transmitting bitstream
JP2023520227A (ja) レイヤ間参照の如何に基づいてサブレイヤを決定する画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法
KR20230024341A (ko) 최대 시간 식별자에 기반하여 서브 비트스트림 추출과정을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240509

R150 Certificate of patent or registration of utility model

Ref document number: 7488360

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150