以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第1」、「第2」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第1構成要素を他の実施例で第2構成要素と呼んでもよく、これと同様に、一実施例の第2構成要素を他の実施例で第1構成要素と呼んでもよい。
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
本開示において、「ピクチャ(picture)」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス(slice)/タイル(tile)は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス/タイルで構成できる。また、スライス/タイルは、一つ以上のCTU(coding tree unit)を含むことができる。
本開示において、「ピクセル(pixel)」又は「ペル(pel)」は、一つのピクチャ(又は画像)を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル(sample)」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ(luma)成分のピクセル/ピクセル値のみを示すこともでき、クロマ(chroma)成分のピクセル/ピクセル値のみを示すこともできる。
本開示において、「ユニット(unit)」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック(block)」又は「領域(area)」などの用語と混用して使用できる。一般な場合、M×Nブロックは、M個の列とN個の行からなるサンプル(又はサンプルアレイ)又は変換係数(transform coefficient)のセット(又はアレイ)を含むことができる。
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換(逆変換)/量子化(逆量子化)が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのルマ成分ブロックは、明示的に「ルマブロック」又は「現在ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。
本開示において、「A又はB(A or B)」は、「Aのみ」、「Bのみ」又は「A及びBの両方」を意味することができる。言い換えれば、本開示において、「A又はB(A or B)」は「A及び/又はB(A and/or B)」と解釈されることができる。例えば、本開示において、「A、B又はC(A, B or C)」は、「Aのみ」、「Bのみ」、「Cのみ」、又は「A、B及びCの任意のいずれの組み合わせ(any combination of A, B and C)」を意味することができる。
本開示で使用される「/」と「、(comma)」は「及び/又は(and/or)」を意味することができる。例えば、「A/B」は「A及び/又はB」を意味することができる。これにより、「A/B」は、「Aのみ」、「Bのみ」、又は「AとBの両方」を意味することができる。例えば、「A、B、C」は、「A、B又はC」を意味することができる。
本開示において、「少なくとも1つのA及びB(at least one of A and B)」は、「Aのみ」、「Bのみ」又は「AとBの両方」を意味することができる。また、本開示において、「少なくとも1つのA又はB(at least one of A or B)」や「少なくとも1つのA及び/又はB(at least one of A and/or B)」という表現は、「少なくとも1つのA及びB(at least one of A and B)」と同一に解釈されることができる。
また、本開示において、「少なくとも1つのA、B及びC(at least one of A, B and C)」は、「Aのみ」、「Bのみ」、「Cのみ」、又は「A、B及びCの任意のいずれの組み合わせ(any combination of A,B and C)」を意味することができる。また、「少なくとも1つのA、B又はC(at least one of A, B or C)」や「少なくとも1つのA、B及び/又はC(at least one of A,B and/or C)」は、「少なくとも1つのA、B及びC(at least one of A, B and C)」を意味することができる。
また、本開示で使用される括弧は、「例えば(for example)」を意味することができる。具体的に、「予測(イントラ予測)」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えれば、本開示の「予測」は、「イントラ予測」に限定(limit)されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測(すなわち、イントラ予測)」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。
本開示において、1つの図面内で個別に説明される技術的特徴は、個別に実現されてもよく、同時に実現されてもよい。
ビデオコーディングシステムの概要
図1は、本開示によるビデオコーディングシステムを示す。
一実施例によるビデオコーディングシステムは、符号化装置10及び復号化装置20を含むことができる。符号化装置10は、符号化されたビデオ(video)及び/又は画像(image)情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置20へ伝達することができる。
一実施例による符号化装置10は、ビデオソース生成部11、符号化部12及び伝送部13を含むことができる。一実施例による復号化装置20は、受信部21、復号化部22及びレンダリング部23を含むことができる。前記符号化部12は、ビデオ/画像符号化部と呼ばれることができ、前記復号化部22は、ビデオ/画像復号化部と呼ばれることができる。伝送部13は、符号化部12に含まれることができる。受信部21は、復号化部22に含まれることができる。レンダリング部23は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
ビデオソース生成部11は、ビデオ/画像のキャプチャ、合成又は生成過程などを介してビデオ/画像を取得することができる。ビデオソース生成部11は、ビデオ/画像キャプチャデバイス及び/又はビデオ/画像生成デバイスを含むことができる。ビデオ/画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ/画像を含むビデオ/画像アーカイブなどを含むことができる。ビデオ/画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、(電子的に)ビデオ/画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ/画像が生成されることができ、この場合、ビデオ/画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
符号化部12は、入力ビデオ/画像を符号化することができる。符号化部12は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部12は、符号化されたデータ(符号化されたビデオ/画像情報)をビットストリーム(bitstream)形式で出力することができる。
伝送部13は、ビットストリーム形式で出力された、符号化されたビデオ/画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置20の受信部21に伝達することができる。デジタル記憶媒体は、USB、SD、CD、DVD、Blu-ray、HDD、SSDなどのさまざまな記憶媒体を含むことができる。伝送部13は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送/通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部21は、前記記憶媒体又はネットワークから前記ビットストリームを抽出/受信して復号化部22に伝達することができる。
復号化部22は、符号化部12の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ/画像を復号化することができる。
レンダリング部23は、復号化されたビデオ/画像をレンダリングすることができる。レンダリングされたビデオ/画像は、ディスプレイ部を介して表示されることができる。
画像符号化装置の概要
図2は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
図2に示されているように、画像符号化装置100は、画像分割部110、減算部115、変換部120、量子化部130、逆量子化部140、逆変換部150、加算部155、フィルタリング部160、メモリ170、インター予測部180、イントラ予測部185及びエントロピー符号化部190を含むことができる。インター予測部180及びイントラ予測部185は、合わせて「予測部」と呼ばれることができる。変換部120、量子化部130、逆量子化部140及び逆変換部150は、レジデュアル(residual)処理部に含まれることができる。レジデュアル処理部は減算部115をさらに含むこともできる。
画像符号化装置100を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント(例えば、エンコーダ又はプロセッサ)で実現されることができる。また、メモリ170は、DPB(decoded picture buffer)を含むことができ、デジタル記憶媒体によって実現できる。
画像分割部110は、画像符号化装置100に入力された入力画像(又は、ピクチャ、フレーム)を一つ以上の処理ユニット(processing unit)に分割することができる。一例として、前記処理ユニットは、コーディングユニット(coding unit、CU)と呼ばれることができる。コーディングユニットは、コーディングツリーユニット(coding tree unit、CTU)又は最大コーディングユニット(largest coding unit、LCU)をQT/BT/TT(Quad-tree/binary-tree/ternary-tree)構造によって再帰的に(recursively)分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び/又は三分木構造に基づいて、下位(deeper)デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び/又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び/又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット(PU:Prediction Unit)又は変換ユニット(TU:Transform Unit)であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び/又は変換係数からレジデュアル信号(residual signal)を誘導する単位であることができる。
予測部(インター予測部180又はイントラ予測部185)は、処理対象ブロック(現在ブロック)に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部は、現在ブロック又はCU単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部190に伝達することができる。予測に関する情報は、エントロピー符号化部190で符号化されてビットストリーム形式で出力されることができる。
イントラ予測部185は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び/又はイントラ予測技法に従って、前記現在ブロックの周辺(neighbor)に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、DCモード及びプランナーモード(Planarモード)を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば33個の方向性予測モード又は65個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部185は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部180は、参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と、参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック(collocated reference block)、コロケートCU(colCU)などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ(collocated picture、colPic)と呼ばれることができる。例えば、インター予測部180は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部180は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測(motion vector prediction、MVP)モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(motion vector predictor)として用い、動きベクトル差分(motion vector difference)及び動きベクトル予測子に対するインジケータ(indicator)を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
予測部は、後述する様々な予測方法及び/又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、CIIP(combined inter and intra prediction)と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー(intra block copy、IBC)を行うこともできる。イントラブロックコピーは、例えば、SCC(screen content coding)などのようにゲームなどのコンテンツ画像/動画コーディングのために使用できる。IBCは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。IBCが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル(ブロックベクトル)として符号化されることができる。IBCは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、IBCは、本開示で説明されるインター予測技法のうちの少なくとも1つを用いることができる。
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部115は、入力画像信号(原本ブロック、原本サンプルアレイ)から、予測部から出力された予測信号(予測されたブロック、予測サンプルアレイ)を減算して、レジデュアル信号(residual signal、残余ブロック、残余サンプルアレイ)を生成することができる。生成されたレジデュアル信号は、変換部120に伝送されることができる。
変換部120は、レジデュアル信号に変換技法を適用して変換係数(transform coefficients)を生成することができる。例えば、変換技法は、DCT(Discrete Cosine Transform)、DST(Discrete Sine Transform)、KLT(Karhunen-Loeve Transform)、GBT(Graph-Based Transform)、又はCNT(Conditionally Non-linear Transform)のうちの少なくとも一つを含むことができる。ここで、GBTは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。CNTは、以前に復元された全てのピクセル(all previously reconstructed pixel)を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。
量子化部130は、変換係数を量子化してエントロピー符号化部190に伝送することができる。エントロピー符号化部190は、量子化された信号(量子化された変換係数に関する情報)を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部130は、係数スキャン順序(scan order)に基づいて、ブロック形式の量子化された変換係数を1次元ベクトル形式で再整列することができ、前記1次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
エントロピー符号化部190は、例えば、指数ゴロム(exponential Golomb)、CAVLC(context-adaptive variable length coding)、CABAC(context-adaptive binary arithmetic coding)などの様々な符号化方法を行うことができる。エントロピー符号化部190は、量子化された変換係数の他に、ビデオ/画像復元に必要な情報(例えば、シンタックス要素(syntax elements)の値など)を一緒に又は別々に符号化することもできる。符号化された情報(例えば、符号化されたビデオ/画像情報)は、ビットストリーム形式でNAL(network abstraction layer)ユニット単位で伝送又は保存されることができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像情報は、一般制限情報(general constraint information)をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び/又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び/又は通信網などを含むことができ、デジタル記憶媒体は、USB、SD、CD、DVD、Blu-ray、HDD、SSDなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部190から出力された信号を伝送する伝送部(図示せず)及び/又は保存する保存部(図示せず)が画像符号化装置100の内/外部要素として備えられることができ、又は伝送部はエントロピー符号化部190の構成要素として備えられることもできる。
量子化部130から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部140及び逆変換部150を介して逆量子化及び逆変換を適用することにより、レジデュアル信号(レジデュアルブロック又はレジデュアルサンプル)を復元することができる。
加算部155は、復元されたレジデュアル信号をインター予測部180又はイントラ予測部185から出力された予測信号に加えることにより、復元(reconstructed)信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部155は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
フィルタリング部160は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部160は、復元ピクチャに様々なフィルタリング方法を適用して、修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ170、具体的にはメモリ170のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、双方向フィルタ(bilateral filter)などを含むことができる。フィルタリング部160は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部190に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部190で符号化されてビットストリーム形式で出力されることができる。
メモリ170に伝送された、修正された復元ピクチャは、インター予測部180で参照ピクチャとして使用されることができる。画像符号化装置100は、これを介してインター予測が適用される場合、画像符号化装置100と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
メモリ170内のDPBは、インター予測部180での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ170は、現在ピクチャ内の動き情報が導出された(又は符号化された)ブロックの動き情報及び/又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部180に伝達されることができる。メモリ170は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部185に伝達することができる。
画像復号化装置の概要
図3は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
図3に示されているように、画像復号化装置200は、エントロピー復号化部210、逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ250、インター予測部260及びイントラ予測部265を含んで構成できる。インター予測部260及びイントラ予測部265を合わせて「予測部」と呼ばれることができる。逆量子化部220、逆変換部230はレジデュアル処理部に含まれることができる。
画像復号化装置200を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント(例えば、デコーダ又はプロセッサ)で実現されることができる。また、メモリ170は、DPBを含むことができ、デジタル記憶媒体によって実現できる。
ビデオ/画像情報を含むビットストリームを受信した画像復号化装置200は、図2の画像符号化装置100で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置200は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置200を介して復号化及び出力された復元画像信号は、再生装置(図示せず)を介して再生できる。
画像復号化装置200は、図2の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部210を介して復号化できる。例えば、エントロピー復号化部210は、前記ビットストリームをパーシングして画像復元(又はピクチャ復元)に必要な情報(例えば、ビデオ/画像情報)を導出することができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像情報は、一般制限情報(general constraint information)をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び/又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び/又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部210は、指数ゴロム符号化、CAVLC又はCABACなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、CABACエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン(bin)を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル/ビンの情報を用いてコンテキスト(context)モデルを決定し、決定されたコンテキストモデルに基づいてビン(bin)の発生確率を予測してビンの算術復号化(arithmetic decoding)を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、CABACエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル/ビンのコンテキストモデルのために、復号化されたシンボル/ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部210で復号化された情報のうち、予測に関する情報は、予測部(インター予測部260及びイントラ予測部265)に提供され、エントロピー復号化部210でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部220に入力されることができる。また、エントロピー復号化部210で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部240に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部(図示せず)が画像復号化装置200の内/外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部210の構成要素として備えられることもできる。
一方、本開示による画像復号化装置は、ビデオ/画像/ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ(ビデオ/画像/ピクチャ情報デコーダ)及び/又はサンプルデコーダ(ビデオ/画像/ピクチャサンプルデコーダ)を含むこともできる。前記情報デコーダは、エントロピー復号化部210を含むことができ、前記サンプルデコーダは、逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ250、インター予測部260及びイントラ予測部265のうちの少なくとも一つを含むことができる。
逆量子化部220では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部220は、量子化された変換係数を2次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部220は、量子化パラメータ(例えば、量子化ステップサイズ情報)を用いて、量子化された変換係数に対する逆量子化を行い、変換係数(transform coefficient)を取得することができる。
逆変換部230では、変換係数を逆変換してレジデュアル信号(レジデュアルブロック、レジデュアルサンプルアレイ)を取得することができる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部は、エントロピー復号化部210から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ/インター予測モード(予測技法)を決定することができる。
予測部が後述の様々な予測方法(技法)に基づいて予測信号を生成することができるのは、画像符号化装置100の予測部についての説明で述べたのと同様である。
イントラ予測部265は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部185についての説明は、イントラ予測部265に対しても同様に適用されることができる。
インター予測部260は、参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。例えば、インター予測部260は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出することができる。様々な予測モード(技法)に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード(技法)を指示する情報を含むことができる。
加算部235は、取得されたレジデュアル信号を予測部(インター予測部260及び/又はイントラ予測部265を含む)から出力された予測信号(予測されたブロック、予測サンプルアレイ)に加えることにより、復元信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部155についての説明は、加算部235に対しても同様に適用できる。加算部235は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。
フィルタリング部240は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部240は、復元ピクチャに様々なフィルタリング方法を適用して、修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ250、具体的にはメモリ250のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、双方向フィルタ(bilateral filter)などを含むことができる。
メモリ250のDPBに保存された(修正された)復元ピクチャは、インター予測部260で参照ピクチャとして使用されることができる。メモリ250は、現在ピクチャ内の動き情報が導出された(又は復号化された)ブロックの動き情報及び/又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部260に伝達することができる。メモリ250は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部265に伝達することができる。
本明細書において、画像符号化装置100のフィルタリング部160、インター予測部180及びイントラ予測部185で説明された実施例は、それぞれ画像復号化装置200のフィルタリング部240、インター予測部260及びイントラ予測部265にも、同様に又は対応するように適用されることができる。
一般な画像/ビデオコーディング手順
画像/ビデオコーディングにおいて、画像/ビデオを構成するピクチャは、一連の復号化順序(decoding order)に従って符号化/復号化できる。復号化されたピクチャの出力順序(output order)に該当するピクチャ順序(picture order)は、前記復号化順序とは異なるように設定できる。これに基づいて、インター予測の際に、順方向予測だけでなく、逆方向予測も行うことができる。
図4は、本開示の実施例が適用できる概略的なピクチャ復号化手順の例を示す。
図4に示されている各手順は、図3の画像符号化装置によって行われることができる。例えば、ステップS410は、エントロピー復号化部210によって行われることができ、ステップS420は、イントラ予測部265及びインター予測部260を含む予測部で行われることができ、ステップS430は、逆量子化部220及び逆変換部230を含むレジデュアル処理部で行われることができ、ステップS440は、加算部235で行われることができ、ステップS450は、フィルタリング部240で行われることができる。ステップS410は、本開示で説明された情報復号化手順を含むことができ、ステップS420は、本開示で説明されたインター/イントラ予測手順を含むことができ、ステップS430は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップS440は、本開示で説明されたブロック/ピクチャ復元手順を含むことができ、ステップS450は、本開示で説明されたインループフィルタリング手順を含むことができる。
図4を参照すると、ピクチャ復号化手順は、図3についての説明で示されているように、概略的に、ビットストリームから(復号化による)画像/ビデオ情報取得手順(S410)、ピクチャ復元手順(S420~S440)、及び復元されたピクチャに対するインループフィルタリング手順(S450)を含むことができる。前記ピクチャ復元手順は、本開示で説明されたインター/イントラ予測(S420)及びレジデュアル処理(S430、量子化された変換係数に対する逆量子化、逆変換)過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正(modified)された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ250に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ250に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順(S450)は、上述したように、デブロッキングフィルタリング手順、SAO(sample adaptive offset)手順、ALF(adaptive loop filter)手順、及び/又はバイラテラルフィルタ(bi-lateral filter)手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、SAO(sample adaptive offset)手順、ALF(adaptive loop filter)手順、及びバイラテラルフィルタ(bi-lateral filter)手順のうちの一つ又は一部が順次適用されてもよく、全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、SAO手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ALF手順が行われることができる。これは、符号化装置においても同様に行われることができる。
図5は、本開示の実施例が適用できる概略的なピクチャ符号化手順の例を示す。
図5に示されている各手順は、図2の画像符号化装置によって行われることができる。例えば、ステップS510は、イントラ予測部185又はインター予測部180を含む予測部で行われることができ、ステップS520は、変換部120及び/又は量子化部130を含むレジデュアル処理部で行われることができ、ステップS530は、エントロピー符号化部190で行われることができる。ステップS510は、本開示で説明されたインター/イントラ予測手順を含むことができ、ステップS520は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップS530は、本開示で説明された情報符号化手順を含むことができる。
図5を参照すると、ピクチャ符号化手順は、図2についての説明で示されているように、概略的にピクチャ復元のための情報(例えば、予測情報、レジデュアル情報、パーティショニング情報など)を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順(optional)を含むことができる。符号化装置は、逆量子化部140及び逆変換部150を介して、量子化された変換係数から(修正された)レジデュアルサンプルを導出することができ、ステップS510の出力である予測サンプルと前記(修正された)レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリ170に保存されることができ、復号化装置での場合と同様に、以後のピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、(インループ)フィルタリング関連情報(パラメータ)がエントロピー符号化部190で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。
このようなインループフィルタリング手順を介して、ブロッキングアーチファクト(artifact)及びリンギング(ringing)アーチファクトなど、画像/動画像コーディング時に発生するノイズを低減することができ、主観的/客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。
上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測/インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ/スライス/タイルグループがIピクチャ/スライス/タイルグループである場合、前記現在ピクチャ/スライス/タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ/スライス/タイルグループがP又はBピクチャ/スライス/タイルグループである場合、前記現在ピクチャ/スライス/タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ/スライス/タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分及びクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用されるができる。
コーディング階層及び構造の例
本開示によるコーディングされたビデオ/画像は、例えば、後述するコーディング階層及び構造に従って処理できる。
図6は、コーディングされたビデオ/画像に対する階層構造の一例を示す図である。
コーディングされたビデオ/画像は、画像/ビデオの復号化処理及びそれ自体を扱うVCL(video coding layer、ビデオコーディング階層)、符号化された情報を伝送し保存する下位システム、そしてVCLと下位システムとの間に存在し、ネットワーク適応機能を担当するNAL(network abstraction layer、ネットワーク抽象階層)に区分されることができる。
VCLでは、圧縮された画像データ(スライスデータ)を含むVCLデータを生成するか、或いはピクチャパラメータセット(Picture Parameter Set:PPS)、シーケンスパラメータセット(Sequence Parameter Set:SPS)、ビデオパラメータセット(Video Parameter Set:VPS)などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なSEI(Supplemental Enhancement Information)メッセージを生成することができる。
NALでは、VCLで生成されたRBSP(Raw Byte Sequence Payload)にヘッダー情報(NALユニットヘッダー)を付加してNALユニットを生成することができる。このとき、RBSPは、VCLで生成されたスライスデータ、パラメータセット、SEIメッセージなどをいう。NALユニットヘッダーには、該当NALユニットに含まれるRBSPデータによって特定されるNALユニットタイプ情報を含むことができる。
図6に示されているように、NALユニットは、VCLで生成されたRBSPの類型によってVCL NALユニットとNon-VCL NALユニットに区分されることができる。VCL NALユニットは、画像に対する情報(スライスデータ)を含んでいるNALユニットを意味することができ、Non-VCL NALユニットは、画像を復号化するために必要な情報(パラメータセット又はSEIメッセージ)を含んでいるNALユニットを意味することができる。
上述したVCL NALユニット、Non-VCL NALユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、NALユニットは、H.266/VVCファイルフォーマット、RTP(Real-time Transport Protocol)、TS(Transport Stream)などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。
上述したように、NALユニットは、当該NALユニットに含まれるRBSPデータ構造(structure)に応じてNALユニットタイプが特定されることができ、このようなNALユニットタイプに対する情報は、NALユニットヘッダーに保存されてシグナリングされることができる。例えば、NALユニットが画像に対する情報(スライスデータ)を含むか否かによって、大きくVCL NALユニットタイプとNon-VCL NALユニットタイプに分類されることができる。VCL NALユニットタイプは、VCL NALユニットが含むピクチャの性質及び種類などによって分類されることができ、Non-VCL NALユニットタイプは、パラメータセットの種類などによって分類されることができる。
以下に、Non-VCL NALユニットタイプが含むパラメータセット/情報の種類などによって特定されたNALユニットタイプの一例を羅列する。
-DCI(Decoding capability information) NAL unit type(NUT):DCIを含むNALユニットに対するタイプ
-VPS(Video Parameter Set) NUT:VPSを含むNALユニットに対するタイプ
-SPS(Sequence Parameter Set) NUT:SPSを含むNALユニットに対するタイプ
-PPS(Picture Parameter Set) NUT:PPSを含むNALユニットに対するタイプ
-APS(Adaptation Parameter Set) NUT:APSを含むNALユニットに対するタイプ
-PH(Picture header) NUT:ピクチャヘッダーを含むNULユニットに対するタイプ
上述したNALユニットタイプは、NALユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、NALユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はnal_unit_typeであり、NALユニットタイプはnal_unit_typeの値を用いて特定できる。
一方、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダー及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス(スライスヘッダー及びスライスデータ集合)に対して一つのピクチャヘッダーがさらに付加されることができる。前記ピクチャヘッダー(ピクチャヘッダーシンタックス)は、前記ピクチャに共通に適用可能な情報/パラメータを含むことができる。前記スライスヘッダー(スライスヘッダーシンタックス)は、前記スライスに共通に適用可能な情報/パラメータを含むことができる。前記APS(APSシンタックス)又はPPS(PPSシンタックス)は、一つ以上のスライス又はピクチャに共通に適用可能な情報/パラメータを含むことができる。前記SPS(SPSシンタックス)は、一つ以上のシーケンスに共通に適用可能な情報/パラメータを含むことができる。前記VPS(VPSシンタックス)は、マルチレイヤーに共通に適用可能な情報/パラメータを含むことができる。前記DCIは、復号化能力(decoding capability)に関連する情報/パラメータを含むことができる。
本開示において、上位レベルシンタックス(High level syntax、HLS)は、前記APSシンタックス、PPSシンタックス、SPSシンタックス、VPSシンタックス、DCIシンタックス、ピクチャヘッダーシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。また、本開示において、下位レベルシンタックス(low level syntax、LLS)は、例えば、スライスデータシンタックス、CTUシンタックス、符号化単位シンタックス、変換単位シンタックスなどを含むことができる。
一方、本開示において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像/ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ/インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーの情報、前記ピクチャヘッダーの情報、前記APSの情報、前記PPSの情報、SPSの情報、前記VPSの情報及び/又は前記DCIの情報を含むことができる。また、前記画像/ビデオ情報は、一般制限情報(general constraint information)及び/又はNALユニットヘッダーの情報をさらに含むことができる。
High level syntax signalling and semantics
上述したように、本開示による画像/ビデオ情報は、ハイレベルシンタックス(High Level Syntax、HLS)を含むことができる。画像符号化方法及び/又は画像復号化方法は、前記画像/ビデオ情報に基づいて行われることができる。
DPB parameter signalling
DPB(Decoded Picture Buffer)は、概念的にサブDPB(sub-DPB)で構成されることができる。各sub-DPBは、1つの階層(layer)の復号化ピクチャを保存するためのピクチャストレージバッファ(picture stroage buffer)を含むことができる。それぞれのピクチャストレージバッファは、「参照ピクチャとして使用される(used for reference)」と表示された復号化ピクチャ又は将来の出力(future output)のために保有中の復号化ピクチャを含むことができる。
マルチレイヤー(multilayer)ビットストリームにおいて、DPBパラメータは、出力レイヤーセット(output layer set、OLS)ごとに割り当てられず、それぞれの階層ごとに割り当てられる。また、各階層に対して、最大2つのDPBパラメータが割り当てられることができる。このとき、2つのDPBパラメータのうち、いずれか1つは、当該階層が出力レイヤーである場合に対するDPBパラメータであり、残りの1つは、当該階層が出力レイヤーではなく、参照階層として使用される場合に対するDPBパラメータであり得る。当該階層が出力レイヤーである場合、当該階層は参照階層として使用されてもよく、将来の出力のために使用されてもよい。当該階層が出力レイヤーではなく、参照階層として使用される場合、レイヤースイッチング(layer switching)がない限り、当該階層は出力レイヤーのピクチャ/スライス/ブロックの参照のみのために使用できる。従来技術によれば、OLS内の各階層に対してDPBパラメータがシグナリングされる。前記DPBパラメータのシグナリングは、従来のDPBパラメータのシグナリングを単純化することができる。
図7は、本開示の一実施例によるVPSのシンタックス構造を例示的に示す図である。
図7に示されている例によれば、vps_all_independent_layers_flagが0である場合、vps_num_dpb_paramsがシグナリングされることができる。後述するように、第1値(例えば、0)のvps_all_independent_layers_flagは、CVS(coded video sequence)内の階層のうち、一つ以上が階層間予測(inter-layer prediction)を用いることができることを示すことができる。また、第2値(例えば、1)のvps_all_independent_layers_flagは、CVS(coded video sequence)内のすべての階層が階層間予測(inter-layer prediction)を使用せずに、独立して符号化されることを示すことができる。上記において、CVSは、マルチレイヤーに対する符号化ピクチャのシーケンスを含むビットストリーム又は画像/ビデオ情報として理解されることができる。vps_num_dpb_paramsは、VPS(Video Parameter Set)に含まれているdpb_parameters()シンタックス構造の個数を示すことができる。例えば、vps_num_dpb_paramsは0~16の値を持つことができ、存在しない場合には、vps_num_dpb_paramsの値は0に推論(設定)されることができる。
vps_num_dpb_paramsの値が0より大きい場合、すなわち、VPSに含まれているdpb_parameters()シンタックス構造の個数が0より大きい場合、1つ以上のDPBパラメータがシグナリングされることができる。例えば、前記1つ以上のDPBパラメータは、same_dpb_size_output_or_nonoutput_flag、vps_sublayer_dpb_params_present_flag、dpb_size_only_flag[i]、dpb_max_temporal_id[i]、layer_output_dpb_params_idx[i]、layer_nonoutput_dpb_params_idx[i]及び/又はdpb_parameters()を含むことができる。
第1値(例えば、1)のsame_dpb_size_output_or_nonoutput_flagは、VPS内にlayer_nonoutput_dpb_params_idx[i]が存在しないことを示すことができる。第2値(例えば、0)のsame_dpb_size_output_or_nonoutput_flagは、VPS内にlayer_nonoutput_dpb_params_idx[i]が存在し得ることを示すことができる。
vps_sublayer_dpb_params_present_flagは、VPS内のdpb_parameters()内にmax_dec_pic_buffering_minus1[]、max_num_reorder_pics[]、及び/又はmax_latency_increase_plus1[]が存在するか否かを制御するのに用いられることができる。vps_sublayer_dpb_params_present_flagが存在しない場合、その値は0と推論されることができる。
第1値(例えば、1)のdpb_size_only_flag[i]は、VPS内のi番目のdpb_parameters()内にmax_num_reorder_pics[]及び/又はmax_latency_increase_plus1[]が存在しないことを示すことができる。第2値(例えば、0)のdpb_size_only_flag[i]は、VPS内のi番目のdpb_parameters()内にmax_num_reorder_pics[]及び/又はmax_latency_increase_plus1[]が存在し得ることを示すことができる。
dpb_max_temporal_id[i]は、VPS内のi番目のdpb_parameters()内にDPBパラメータが存在し得る最上位サブレイヤー(sublayer)の時間的階層識別子(例えば、TemporalId)を意味することができる。dpb_max_temporal_id[i]は、0乃至vps_max_sublayers_minus1の値を持つことができる。vps_max_sublayers_minus1が0であれば、dpb_max_temporal_id[i]の値は、シグナリングされず、0と推論されることができる。vps_max_sublayers_minus1が0より大きく、vps_all_layers_same_num_sublayers_flagが1である場合、dpb_max_temporal_id[i]の値は、vps_max_sublayers_minus1と同じ値に推論されることができる。
layer_output_dpb_params_idx[i]は、VPS内のdpb_parameters()のリストに対するインデックスであり、i番目の階層がOLSに含まれている出力レイヤー(output layer)であるときに、i番目の階層に適用されるdpb_parameters()を指示するインデックスであり得る。layer_output_dpb_params_idx[i]は、0乃至vps_num_dpb_params-1の値を持つことができる。
vps_independent_layer_flag[i]が1である場合、出力レイヤーであるi番目の階層に適用されるdpb_parameters()は、当該階層によって参照されるSPSに存在するdpb_parameters()であり得る。
そうではなく、vps_independent_layer_flag[i]が0である場合、以下の事項が適用できる。
-vps_num_dpb_paramsが1である場合、layer_output_dpb_params_idx[i]の値は0と推論されることができる。
-ビットストリーム整合性に対する要求事項として、layer_output_dpb_params_idx[i]の値は、dpb_size_only_flag[layer_output_dpb_params_idx[i]]が0となるようにする値でなければならない。
layer_nonoutput_dpb_params_idx[i]は、VPS内のdpb_parameters()のリストに対するインデックスであり、i番目の階層がOLSに含まれている非出力レイヤー(non-output layer)であるとき、i番目の階層に適用されるdpb_parameters()を指示するインデックスであり得る。layer_nonoutput_dpb_params_idx[i]は、0乃至vps_num_dpb_params-1の値を持つことができる。
same_dpb_size_output_or_nonoutput_flagが1である場合、以下の事項が適用できる。
-vps_independent_layer_flag[i]が1であれば、非出力レイヤーであるi番目の階層に適用されるdpb_parameters()は、当該階層によって参照されるSPSに存在するdpb_parameters()であり得る。
-そうではなく、vps_independent_layer_flag[i]が0である場合、layer_nonoutput_dpb_params_idx[i]の値は、layer_output_dpb_params_idx[i]と同じ値に推論されることができる。
そうではなく、same_dpb_size_output_or_nonoutput_flagが0である場合、vps_num_dpb_paramsが1であれば、layer_output_dpb_params_idx[i]の値は0と推論されることができる。
図8は、本開示によるDPBパラメータをシグナリングするためのシンタックス構造を例示する図である。
図8に示されているように、dpb_parameters()シンタックス構造は、DPBサイズに関する情報、最大ピクチャリオーダ個数情報、及び/又は最大レイテンシに関する情報をCVSの各CLVSに対して含むことができる。上記において、CLVS(Coder Layer Video Sequence)は、同じ階層に属する符号化ピクチャのシーケンスを含むビットストリーム又は画像/ビデオ情報として理解されることができる。
dpb_parameters()シンタックス構造がVPS内に含まれる場合、当該dpb_parameters()シンタックス構造が適用されるOLSは、前記VPSによって特定されることができる。dpb_parameters()シンタックス構造がSPS内に含まれる場合、前記SPSを参照する階層のうち、最下位階層のみを含むOLSに適用されることができる。このとき、前記最下位階層は独立階層であってもよい。
max_dec_pic_buffering_minus1[i]+1は、CVSのそれぞれのCLVSに対して、DPBの最大要求サイズを示すことができる。max_dec_pic_buffering_minus1[i]は、0乃至MaxDpbSize-1の値を持つことができる。
max_num_reorder_pics[i]は、CVSのそれぞれのCLVSに対して、CLVS内の任意のピクチャよりも復号化順序において先行し、出力順序において後行するCLVS内のピクチャの許容可能な最大個数を示すことができる。max_num_reorder_pics[i]は、0乃至max_dec_pic_buffering_minus1[i]の値を有することができる。iが0よりも大きい場合、max_num_reorder_pics[i]は、max_num_reorder_pics[i1]以上の値を持たなければならない。max_num_reorder_pics[i]が存在しない場合には、その値はmax_num_reorder_pics[maxSubLayersMinus1]と同じ値に推論されることができる。
0ではない値を持つmax_latency_increase_plus1[i]は、MaxLatencyPictures[i]の計算に用いられることができる。MaxLatencyPictures[i]は、CVSのそれぞれのCLVSに対して、CLVS内の任意のピクチャに出力順序において先行し、復号化順序において後行するCLVS内のピクチャの最大個数を示すことができる。
max_latency_increase_plus1[i]が0ではない場合、MaxLatencyPictures[i]は、次のように計算できる。
MaxLatencyPictures[i]=max_num_reorder_pics[i]+max_latency_increase_plus1[i]-1
max_latency_increase_plus1[i]は、0乃至232-2の値を持つことができる。max_latency_increase_plus1[i]が存在しない場合、その値はmax_latency_increase_plus1[maxSubLayersMinus1]と同様に推論されることができる。
前記DPBパラメータは、DPBから復号化画像を出力又は除去する過程で用いられることができる。
Video Parameter Set signalling
ビデオパラメータセット(Video parameter set、VPS)は、階層情報の伝送のために使用されるパラメータセットである。前記階層情報は、例えば、出力レイヤーセット(output layer set、OLS)に関する情報、プロファイルティアレベル(profile tier level)に関する情報、OLSと仮想参照デコーダ(hypothetical reference decoder)との関係に関する情報、OLSとDPBとの関係に関する情報などを含むことができる。VPSは、ビットストリームの復号化に必須ではないことができる。
VPS RBSP(raw byte sequence payload)は、参照される前に、TemporalIDが0である少なくとも1つのアクセスユニット(Access Unit、AU)に含まれるか、或いは外部手段を介して提供されることにより、復号化プロセスに利用可能でなければならない。
CVS内で特定の値のvps_video_parameter_set_idを持つ全てのVPS NALユニットは、同じコンテンツを持たなければならない。
図9は、本開示の他の実施例によるVPSのシンタックス構造を例示的に示す図である。
図7及び図9において、同一のシンタックス要素及び/又は同一のシグナリング条件に対する重複説明は省略できる。
図9に示されている例において、vps_video_parameter_set_idは、VPSに対する識別子を提供する。他のシンタックス要素は、vps_video_parameter_set_idを用いてVPSを参照することができる。vps_video_parameter_set_idの値は0よりも大きくなければならない。
vps_num_ptls_minus1+1は、VPS内のprofile_tier_level()シンタックス構造の個数を示すことができる。vps_num_ptls_minus1の値は、TotalNumOlssよりも小さくなければならない。TotalNumOlssは、VPSによって特定されるOLSsの全体個数を示すことができる。vps_max_layers_minus1が0であるとき、TotalNumOlssは1に誘導されることができる。そうではなく、each_layer_is_an_ols_flagが1であるか、或いはols_mode_idcが0又は1である場合、TotalNumOlssはvps_max_layers_minus1+1に誘導されることができる。そうではなく、ols_mode_idcが2である場合、TotalNumOlssは、num_output_layer_sets_minus1+1に誘導されることができる。ols_mode_idcは、VPSによって特定されるOLSsの全体個数を誘導するためのモードを指示する指示子であり得る。後述するように、each_layer_is_an_ols_flagは、各OLSが1つの階層のみを含むか否かを示すことができる。
第1値(例えば、1)のpt_present_flag[i]は、VPS内のi番目のprofile_tier_level()シンタックス構造にプロファイル、ティア及び一般制限情報(general constraints information)が存在することを示すことができる。第2値(例えば、0)のpt_present_flag[i]は、VPS内のi番目のprofile_tier_level()シンタックス構造にプロファイル、ティア及び一般制限情報が存在しないことを示すことができる。pt_present_flag[i]が第2値である場合、VPS内のi番目のprofile_tier_level()シンタックス構造に対するプロファイル、ティア及び一般制限情報は、VPS内の(i-1)番目のprofile_tier_level()シンタックス構造に対するプロファイル、ティア及び一般制限情報と同様に推論されることができる。
ptl_max_temporal_id[i]は、VPS内のi番目のprofile_tier_level()シンタックス構造にレベル情報が存在する最上位サブレイヤーのTemporalIdを示すことができる。ptl_max_temporal_id[i]は、0乃至vps_max_sublayers_minus1の値を有することができる。vps_max_sublayers_minus1が0である場合、ptl_max_temporal_id[i]は、0と推論されることができる。vps_max_sublayers_minus1が0より大きく、vps_all_layers_same_num_sublayers_flagが1である場合、ptl_max_temporal_id[i]は、vps_max_sublayers_minus1と同じ値に推論されることができる。上記において、vps_all_layers_same_num_sublayers_flagは、VPSでシグナリングされる情報である。第1値(例えば、1)のvps_all_layers_same_num_sublayers_flagは、前記VPSを参照する各CVS内のすべての階層に対する時間的サブレイヤーの個数が同じであることを意味することができる。第2値(例えば、0)のvps_all_layers_same_num_sublayers_flagは、前記VPSを参照する各CVS内の階層が同じ個数の時間的サブレイヤーを有さないことを意味することができる。vps_all_layers_same_num_sublayers_flagが存在しないとき、vps_all_layers_same_num_sublayers_flagは第1値と推論されることができる。また、vps_max_sublayers_minus1+1は、VPSを参照する各CVS内の階層に存在し得る時間的サブレイヤー(temporal sublayers)の最大個数を示すことができる。vps_max_sublayers_minus1は0乃至6の値を持つことができる。
vps_ptl_alignment_zero_bitは、0と同一でなければならない。
ols_ptl_idx[i]は、VPS内のprofile_tier_level()のリストに対するインデックスであって、i番目のOLSに適用されるprofile_tier_level()のインデックスであり得る。ols_ptl_idx[i]が存在するとき、ols_ptl_idx[i]は0乃至vps_num_ptls_minus1の値を有することができる。vps_num_ptls_minus1が0である場合、ols_ptl_idx[i]の値は0と推論されることができる。
NumLayersInOls[i]は、i番目のOLS内の階層の個数を示すことができる。NumLayersInOls[i]が1であるとき、i番目のOLSに適用されるprofile_tier_level()シンタックス構造は、i番目のOLS内の階層によって参照されるSPSにも存在することができる。ビットストリーム整合性に対する要求事項として、NumLayersInOls[i]が1であるとき、i番目のOLSに対するVPS内のprofile_tier_level()シンタックス構造とSPS内のprofile_tier_level()シンタックス構造は同一でなければならない。
vps_num_dpb_paramsは、VPS内のdpb_parameters()シンタックス構造の個数を示すことができる。vps_num_dpb_paramsは、0乃至16の値を持つことができる。vps_num_dpb_paramsが存在しないとき、vps_num_dpb_paramsの値は0と推論されることができる。
vps_sublayer_dpb_params_present_flagは、VPS内のdpb_parameters()内にmax_dec_pic_buffering_minus1[]、max_num_reorder_pics[]、及び/又はmax_latency_increase_plus1[]が存在するか否かを制御するのに用いられることができる。vps_sublayer_dpb_params_present_flagが存在しない場合、その値は0と推論されることができる。
dpb_max_temporal_id[i]は、VPS内のi番目のdpb_parameters()内にDPBパラメータが存在し得る最上位サブレイヤー(sublayer)の時間的階層識別子(例えば、TemporalId)を意味することができる。dpb_max_temporal_id[i]は、0乃至vps_max_sublayers_minus1の値を持つことができる。vps_max_sublayers_minus1が0である場合、dpb_max_temporal_id[i]の値は、シグナリングされず、0と推論されることができる。vps_max_sublayers_minus1が0より大きく、vps_all_layers_same_num_sublayers_flagが1である場合、dpb_max_temporal_id[i]の値は、vps_max_sublayers_minus1と同じ値に推論されることができる。
ols_dpb_pic_width[i]は、i番目のOLSに対する各ピクチャストレージバッファの幅を示すことができる。このとき、前記幅はルマサンプル単位の値であり得る。
ols_dpb_pic_height[i]は、i番目のOLSに対する各ピクチャストレージバッファの高さを示すことができる。このとき、前記高さはルマサンプル単位の値であり得る。
ols_dpb_params_idx[i]は、VPS内のdpb_parameters()のリストに対するインデックスであり、NumLayersInOls[i]が1より大きいとき、i番目のOLSに適用されるdpb_parameters()のインデックスであり得る。ols_dpb_params_idx[i]が存在するとき、ols_dpb_params_idx[i]は0乃至vps_num_dpb_params-1の値を持つことができる。ols_dpb_params_idx[i]が存在しないとき、ols_dpb_params_idx[i]の値は0と推論されることができる。NumLayersInOls[i]が1であるとき、i番目のOLSに適用されるdpb_parameters()は、i番目のOLS内の階層によって参照されるSPSに存在することができる。
図7~図9を参照して説明したVPSシグナリング方法及び/又はDPBパラメータシグナリング方法によれば、以下の問題の少なくとも1つが発生する可能性がある。
-vps_num_dbp_paramsは、vps_all_independent_layers_flagに基づいて条件的にシグナリングされる。しかし、DPBパラメータの個数は、各OLSに対して定義されるので、vps_all_independent_layers_flagに基づくvps_num_dbp_paramsのシグナリングは不正確であり得る。
-また、各階層がOLSであるとき、各階層のSPS内にDPBパラメータが既に存在するので、VPS内のDPBパラメータのシグナリングは重複的である。
これらの問題の少なくとも1つを解決するための本開示による実施例は、以下の構成の少なくとも1つを含むことができる。以下の構成は、個別に又は他の構成と組み合わせられて適用されることができる。
構成1:vps_num_dpb_paramsは、vps_all_independent_layers_flagを条件としてシグナリングされる代わりに、each_layer_is_an_ols_flagを条件としてシグナリングされることができる。上述したように、DPBパラメータの個数は、各OLSに対して定義されるので、each_layer_is_an_ols_flagに基づいてvps_num_dbp_paramsを正確にシグナリングすることができる。
構成2:各階層がOLSであるとき、各階層のSPS内にDPBパラメータが既に存在するので、VPS内のDPBパラメータのシグナリングを省略することができる。
図10は、本開示による実施例が適用できる画像符号化方法を説明するための図である。
画像符号化装置は、入力画像を符号化し、符号化された画像を再び復号化することにより、復号化されたピクチャ(復元画像)を取得することができる(S1010)。
画像符号化装置は、DPBパラメータに基づいてDPBを更新することができる(S1020)。DPB更新過程は、DPB管理(DPB management)と呼ばれることがある。復号化ピクチャは、インター予測の参照ピクチャとして用いられることができるので、復号化ピクチャは基本的にDPBに入力されることができる。そして、DPBは、現在ピクチャの復号化に先立って更新されることができる。DPBの更新は、例えば、DPBから復号化ピクチャを除去することを意味することができる。例えば、DPBに保存された復号化ピクチャのうち、もはや参照ピクチャとして使用されないピクチャ、既に出力(表示)されたピクチャは、DPBから除去されることができる。
画像符号化装置は、DPBパラメータに関する情報を含めて画像/ビデオ情報を符号化することができる(S1030)。
図10には示されていないが、画像符号化装置は、ステップS1020で更新されたDPBに基づいて現在ピクチャの復号化をさらに行うことができる。さらに、復号化された現在ピクチャは、DPBに挿入されることができ、復号化された現在ピクチャを含むDPBは、次のピクチャの復号化前にDPBパラメータに基づいてさらに更新されることができる。
図11は、本開示による実施例が適用できる画像復号化方法を説明するための図である。
図11の画像復号化方法と図10の画像符号化方法において、重複する部分についての説明は省略できる。
画像復号化装置は、DPBパラメータに関連する情報を含む画像/ビデオ情報をビットストリームから取得することができる(S1110)。
画像復号化装置は、DPBパラメータに基づいて、DPBから復号化ピクチャを出力することができる(S1120)。DPBに関連する階層が出力レイヤーではなく(又はDPBパラメータが出力レイヤーに連関付けられず)、参照階層である場合、ステップS1120は省略(スキップ)できる。DPB(又はDPBパラメータ)に関連する階層が出力レイヤーである場合、ステップS1120は、DPB及び/又はDPBパラメータに基づいて行われることができる。
画像復号化装置は、DPBパラメータに基づいてDPBを更新及び/又は復号化ピクチャを出力することができる(S1130)。DPB更新過程は、DPB管理(DPB management)と呼ばれることがある。
画像復号化装置は、DPBに基づいて現在ピクチャを復号化することができる(S1140)。ステップS1140で、例えば、DPB内の既に復元されたピクチャを参照ピクチャとして使用するインター予測に基づいて、現在ピクチャ内のブロック/スライスが復号化されることができる。
図10及び図11において、DPBパラメータに関連する情報は、図7~図9を参照して説明した情報/シンタックス要素を含むことができる。上述したように、現在階層が出力レイヤーであるか参照階層であるかに基づいて、互いに異なるDPBパラメータがシグナリングされることができる。或いは、DPB(又はDPBパラメータ)がOLS(又はOLSマッピング)に関するものであるかに基づいて、互いに異なるDPBパラメータがシグナリングされることができる。
図12は、本開示の別の実施例によるVPSのシンタックス構造を示す図である。
図12に示されているVPSのシンタックス構造は、本開示の他の実施例によるVPSのシンタックス構造の一部を変更したものであり得る。したがって、本開示の他の実施例についての説明と重複する部分についての説明は省略する。
図12に示すように、vps_num_dpb_paramsは、each_layer_is_an_ols_flag値に基づいてシグナリングされることができる。すなわち、vps_num_dpb_paramsは、vps_all_independent_layers_flagを条件としてシグナリングされる代わりに、each_layer_is_an_ols_flagを条件としてシグナリングされることができる。each_layer_is_an_ols_flagは、each_layer_is_an_ols_flagをシグナリング条件としてチェックするシンタックス要素に先立ってシグナリングされることができる。例えば、本開示のVPS()シンタックス構造には図示されていないが、each_layer_is_an_ols_flagは、VPS()シンタックス構造に含まれてシグナリングされることができる。例えば、画像復号化装置は、VPS()シンタックス構造からeach_layer_is_an_ols_flagを取得(パーシング)することができる。
上述したように、vps_num_dpb_paramsは、VPS(Video Parameter Set)に含まれているdpb_parameters()シンタックス構造の個数を示すことができる。
本開示において、第1値(例えば、1)のeach_layer_is_an_ols_flagは、VPSによって特定された各OLSが1つの階層のみを含むか否かを示すことができる。また、第1値(例えば、1)のeach_layer_is_an_ols_flagは、VPSを参照するCVS内の各階層自体がOLS(すなわち、OLSに含まれている1つの階層が唯一の出力レイヤーである)であることを示すことができる。また、第2値(例えば、0)のeach_layer_is_an_ols_flagは、VPSによって特定された少なくとも1つのOLSが1つより多い階層を含むことができることを示すことができる。もしvps_max_layers_minus1が0である場合、each_layer_is_an_ols_flagの値は1と推論されることができる。そうではなく、vps_all_independent_layers_flagが0である場合、each_layer_is_an_ols_flagの値は0と推論されることができる。
図12を参照して説明した実施例によれば、DPBパラメータの個数は、各OLSに対して定義されるので、each_layer_is_an_ols_flagの値に基づいてvps_num_dbp_paramsをシグナリングすることにより、vps_num_dbp_paramsのシグナリングの精度を向上させることができる。
図13は、本開示の別の実施例によるVPSのシンタックス構造を示す図である。
図13に示されているVPSのシンタックス構造は、本開示の他の実施例によるVPSのシンタックス構造の一部を変更したものであり得る。したがって、本開示の他の実施例についての説明と重複する部分についての説明は省略する。
図13に示すように、DPBパラメータの個数を示す情報(例えば、vps_num_dpb_params_minus1)は、each_layer_is_an_ols_flagが0であるときにシグナリングされることができる。図12の例において、DPBパラメータの個数を示す情報はvps_num_dpb_paramsであるのに対し、図13の例において、DPBパラメータの個数を示す情報はvps_num_dpb_params_minus1である。すなわち、図12の例では、DPBパラメータの個数と同じ値を有する情報(vps_num_dpb_params)がシグナリングされ、図13の例では、DPBパラメータの個数から1を差し引いた値と同じ値を有する情報(vps_num_dpb_params_minus1)がシグナリングされる。上記において、vps_num_dpb_paramsとvps_num_dpb_params_minus1の両方が0以上の値を有することができる。vps_num_dpb_paramsの代わりにvps_num_dpb_params_minus1をシグナリングする理由は、VPS内のDPBパラメータが存在するにも拘らず、0の値を有するvps_num_dpb_paramsが伝送されることにより発生しうるエラーを回避するためである。すなわち、VPS内にDPBパラメータが存在する場合、DPBパラメータの個数は1以上でなければならないので、0以上の値を有するvps_num_dpb_params_minus1をシグナリングすることにより、シグナリングの効率性及び精度が向上することができる。したがって、図13の例のように、vps_num_dpb_params_minus1がシグナリングされる場合、DPBパラメータの個数は、vps_num_dpb_params_minus1+1の値に誘導されることができる。vps_num_dpb_params及び/又はvps_num_dpb_params_minus1がビットストリームに存在しない場合、VPS内のDPBパラメータの個数は0と推論されることができる。
上述したように、vps_num_dpb_params_minus1に基づいてDPBパラメータの個数(VpsNumDpbParams)が誘導され、後続するDPB関連パラメータは、VpsNumDpbParamsが0より大きい場合にのみシグナリングされることができる。
上述したように、各階層がOLSであるとき、各階層のSPS内にDPBパラメータが存在するので、VPS内のDPBパラメータをシグナリングする必要がない。したがって、each_layer_is_an_ols_flagが0であり、それにより、VpsNumDpbParamsが0より大きいときにのみVPS内のDPBパラメータをシグナリングすることができる。言い換えれば、each_layer_is_an_ols_flagが1であり、それにより、VpsNumDpbParamsが0に誘導されるときには、VPS内のDPBパラメータのシグナリングを省略(スキップ)することができる。
図14は、本開示の別の実施例によるVPSのシンタックス構造を示す図である。
図14に示されているVPSのシンタックス構造は、本開示の他の実施例によるVPSのシンタックス構造の一部を変更したものであり得る。したがって、本開示の他の実施例についての説明と重複する部分についての説明は省略する。
図14に示されている例は、図13に示されている例を変形させたものである。
図14に示されているように、DPBパラメータの個数を示す情報(例えば、vps_num_dpb_params_minus1)は、each_layer_is_an_ols_flagが0であるときにシグナリングされることができる。また、vps_num_dpb_params_minus1に基づいてVpsNumDpbParamsが誘導され、後続するDPB関連パラメータは、VpsNumDpbParamsが0より大きい場合にのみシグナリングされることができる。
図14に示されている例によれば、図13の例と同様に、各階層がOLSであるときにVPS内のDPBパラメータのシグナリングを省略(スキップ)することができる。
図15は、本開示の別の実施例によるVPSのシンタックス構造を示す図である。
図15に示されているVPSのシンタックス構造は、本開示の他の実施例によるVPSのシンタックス構造の一部を変更したものであり得る。したがって、本開示の他の実施例についての説明と重複する部分についての説明は省略する。
図15に示されている例は、図13に示されている例を変形させたものである。
図15に示されている例によれば、DPBパラメータの個数を示す情報(例えば、vps_num_dpb_params_minus1)を含めて後続のDPB関連パラメータのシグナリング条件として、each_layer_is_an_ols_flagがチェックされることができる。図15に示されているように、each_layer_is_an_ols_flagが0である場合には、DPB関連パラメータがシグナリングされ、each_layer_is_an_ols_flagが1である場合には、DPB関連パラメータのシグナリングは省略できる。
図15に示されている例によれば、図13の例と同様に、各階層がOLSであるときに、VPS内のDPBパラメータのシグナリングを省略(スキップ)することができる。
図16は、図13~図15のVPSに従ってDPBパラメータを符号化する方法を説明するための図である。
画像符号化装置は、each_layer_is_an_ols_flagに基づいてDPBパラメータの符号化を行うことができる。画像符号化装置は、each_layer_is_an_ols_flagが1である場合(S1610-Yes)、VPS内のDPBパラメータの符号化を行わずに省略することができる(S1620)。画像符号化装置は、each_layer_is_an_ols_flagが0である場合(S1610-No)、VPS内のDPBパラメータの符号化を行うことができる(S1630)。
図16の例において、DPBパラメータは、DPBパラメータの個数を示す情報(例えば、vps_num_dpb_params_minus1)を含む少なくとも1つのDPBパラメータを含むことができる。DPBパラメータの個数を示す情報以外のDPBパラメータのVPS内の符号化は、図15を参照して説明したように、each_layer_is_an_ols_flagに基づいて条件的に行われることができる。又は、DPBパラメータの個数を示す情報以外のDPBパラメータのVPS内符号化は、図13又は図14を参照して説明したように、each_layer_is_an_ols_flagに基づいて誘導されるVpsNumDpbParamsに基づいて条件的に行われることもできる。
図17は、図13~図15のVPSに従ってDPBパラメータを復号化する方法を説明するための図である。
画像復号化装置は、each_layer_is_an_ols_flagに基づいてDPBパラメータの取得(パーシング)を行うことができる。画像復号化装置は、each_layer_is_an_ols_flagが1である場合(S1710-Yes)、VPS内のDPBパラメータの取得を行わずに省略することができる(S1720)。画像復号化装置は、each_layer_is_an_ols_flagが0である場合(S1710-No)、VPS内のDPBパラメータの取得を行うことができる(S1730)。
図17の例において、DPBパラメータは、DPBパラメータの個数を示す情報(例えば、vps_num_dpb_params_minus1)を含む少なくとも1つのDPBパラメータを含むことができる。DPBパラメータの個数を示す情報以外のDPBパラメータのVPS内の取得は、図15を参照して説明したように、each_layer_is_an_ols_flagに基づいて条件的に行われることができる。或いは、DPBパラメータの個数を示す情報以外のDPBパラメータのVPS内の取得は、図13又は図14を参照して説明したように、each_layer_is_an_ols_flagに基づいて誘導されるVpsNumDpbParamsに基づいて条件的に行われることもできる。
図13~図17を参照して説明した実施例によれば、各階層がOLSであるときにVPS内のDPBパラメータのシグナリングを省略(スキップ)することができる。
本開示の実施例によれば、VPS内のDPBパラメータの個数に関する情報など、DPBパラメータのシグナリング条件としてeach_layer_is_an_ols_flagを確認することができる。具体的には、each_layer_is_an_ols_flagが0であるとき、すなわち、VPSによって特定された少なくとも1つのOLSが1つよりも多い階層を含むことができる場合に、VPS内のDPBパラメータがシグナリングされることができる。さらに、each_layer_is_an_ols_flagが1であるとき、すなわち、VPSによって特定されたOLSが1つの階層のみを含む場合に、VPS内のDPBパラメータのシグナリングが省略できる。この場合、当該OLSに対するDPBパラメータは、当該OLSに含まれている階層によって参照されるSPSでシグナリングされることができる。これにより、各OLSに対して定義されるDPBパラメータのシグナリングを正確かつ効率的に行うことができる。
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。
本開示において、所定の動作(ステップ)を行う画像符号化装置又は画像復号化装置は、当該動作(ステップ)の実行条件や状況を確認する動作(ステップ)を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、2つ以上の組み合わせで適用されてもよい。
また、本開示の様々な実施例は、ハードウェア、ファームウェア(firmware)、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、1つ又はそれ以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、汎用プロセッサ(general processor)、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ(VoD)サービス提供装置、OTTビデオ(Over the top video)装置、インターネットストリーミングサービス提供装置、3次元(3D)ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、OTTビデオ(Over the top video)装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続TV、ホームシアターシステム、スマートフォン、タブレットPC、DVR(Digital Video Recoder)などを含むことができる。
図18は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
図18に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Webサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び/又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
前記ストリーミングサーバは、Webサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Webサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Webサーバに所望のサービスを要求すると、前記Webサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令/応答を制御する役割を果たすことができる。
前記ストリーミングサーバは、メディアストレージ及び/又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
前記ユーザ装置の例としては、携帯電話、スマートフォン(smart phone)、ノートパソコン(laptop computer)、デジタル放送用端末、PDA(personal digital assistants)、PMP(portable multimedia player)、ナビゲーション、スレートPC(slate PC)、タブレットPC(tablet PC)、ウルトラブック(ultrabook)、ウェアラブルデバイス(wearable device)、例えば、スマートウォッチ(smartwatch)、スマートグラス(smart glass)、HMD(head mounted display)、デジタルTV、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン-実行可能なコマンド(例えば、オペレーティングシステム、アプリケーション、ファームウェア(firmware)、プログラムなど)、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体(non-transitory computer-readable medium)を含む。