WO2015053286A1 - 画像復号装置、画像符号化装置、及び、符号化データ - Google Patents
画像復号装置、画像符号化装置、及び、符号化データ Download PDFInfo
- Publication number
- WO2015053286A1 WO2015053286A1 PCT/JP2014/076852 JP2014076852W WO2015053286A1 WO 2015053286 A1 WO2015053286 A1 WO 2015053286A1 JP 2014076852 W JP2014076852 W JP 2014076852W WO 2015053286 A1 WO2015053286 A1 WO 2015053286A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- layer
- unit
- picture
- decoding
- information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
以下、図面を参照しながら本発明の実施形態について説明する。
本実施形態に係る画像符号化装置2および画像復号装置1の詳細な説明に先立って、画像符号化装置2によって生成され、画像復号装置1によって復号される符号化データ#1のデータ構造について説明する。
図11は、符号化データ#1におけるデータの階層構造を示す図である。符号化データ#1は、NAL(Network Abstraction Layer)ユニットと呼ばれる単位で符号化される。
特定の分類ルールにより集約されたNALユニットの集合のことをアクセスユニットと呼ぶ。レイヤ数が1の場合には、アクセスユニットは1ピクチャを構成するNALユニットの集合である。レイヤ数が1より大きい場合には、アクセスユニットは同じ時刻(output time)の複数のレイヤのピクチャを構成するNALユニットの集合である。なお、アクセスユニットの区切りを示すために、符号化データはアクセスユニットデリミタ(Accessunit delimiter)と呼ばれるNALユニットを含んでも良い。アクセスユニットデリミタは、符号化データ中にあるアクセスユニットを構成するNALユニットの集合と、別のアクセスユニットを構成するNALユニットの集合の間に含まれる。アクセスユニットデリミタのNALユニットタイプの値(AUD_NUT)には例えば35を用いる。
従来技術においては、ビットストリームに対する制限(コンフォーマンス条件)として、同じアクセスユニットに含まれる全てのピクチャのピクチャ順序番号POC(picture order count、PicOrderCntVal)は同一であるという制限がある。
アクセスユニット内のPOCに関するコンフォーマンス条件を緩和する場合、すなわち、同じアクセスユニットにおいて、POCが等しくない場合を許容する場合、符号化データからの画像復号においては問題は生じないが、復号した画像を表示する場合において、レイヤ間で同じ表示時刻(output time)のピクチャの特定にPOCを用いることができず、同期した再生が困難になる場合がある。実際、符号化データをさらにMPEG2TSやMP4などのコンテナに収める場合には、各ピクチャ単位でコンテナの方で時刻情報を付加するために問題にはならないが、コンテナに格納しない場合には、POCで表示の同期を取れないことは問題となり得る。従って、このような場合には、以下のアクセスユニットに関するコンフォーマンス条件を設けることが適当である。
図14は、本発明の実施形態に係るVPS(Video Parameter Set)の符号化データの構成を示す図である。一部シンタック要素について意味を示すと、次の通りである。VPSは、複数のレイヤに共通するパラメータを規定するためのパラメータセットである。パラメータセットは、ピクチャを圧縮データである符号化データからID(video_parameter_set_id)を用いて参照される。
・video_parameter_set_id(図14のSYNA401)は、各VPSを識別するための識別子である。
・vps_temporal_id_nesting_flag(図14のSYNA402)は、当該VPSを参照するピクチャにおけるインター予測に関して、追加の制約をするか否かを表わすフラグである。
・vps_max_num_sub_layers_minus1(図14のSYNA403)は、少なくとも基本レイヤを含む階層符号化データに関して、時間スケーラビリティを除く、その他のスケーラビリティに関するレイヤの数の上限値MaxNumLayersを算出するために用いるシンタックスである。なお、レイヤ数の上限値MaxNumLayersは、MaxNumLayers = vps_max_num_sub_layers_minus1 + 1によって表わされる。階層符号化データが基本レイヤのみで構成される場合は、vps_max_num_sub_layers_minus1 = 0となる。
・vps_extension_flag(図14のSYNA404)は、VPSがさらにVPS拡張を含むか否かを示すフラグである。
・vps_extension_data_flag(図14のSYNA405)は、VPS拡張本体であり、具体的には図15で説明する。
・dimension_id_len_minus1(図15のSYNA501)は、スケーラブルの種別ごとに含まれる次元IDdimention_idの数num_dimensionsを示す。num_dimensions=dimension_id_len_minus1[1]+1である。例えば、num_dimensionsは、スケーラブルの種別がデプスの場合2、ビューの場合には視点数が復号される。
・次元IDdimention_id(図15のSYNA502)は、スケーラブルの種別ごとのピクチャの種別を示す情報である。
・依存レイヤ情報direct_dependency_flag[i][j](図15のSYNA503)は、対象レイヤiと参照レイヤjの間に依存性が有るか否かを示すフラグである。
・図15のSYNA504で、「・・・」として示される部分は、プロファイルもしくはスケーラブルの種別ごとに異なる情報である(詳細は後述する)。
シーケンスレイヤでは、処理対象のシーケンスSEQ(以下、対象シーケンスとも称する)を復号するために画像復号装置1が参照するデータの集合が規定されている。シーケンスSEQは、図2の(a)に示すように、ビデオパラメータセット(Video Parameter Set)シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。ここで#の後に示される値はレイヤIDを示す。図2では、#0と#1すなわちレイヤIDが0とレイヤIDが1の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図2の(b)に示すように、スライスS0~SNS-1を含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために画像復号装置1が参照するデータの集合が規定されている。スライスSは、図2の(c)に示すように、スライスヘッダSH(スライスセグメントヘッダSH)、および、スライスデータSDATAを含んでいる。
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために画像復号装置1が参照するデータの集合が規定されている。スライスデータSDATAは、図2の(d)に示すように、符号化ツリーブロック(CTB:Coded Tree Block)(符号化ツリーユニットCTU)を含んでいる。CTBは、スライスを構成する固定サイズ(例えば64×64)のブロックであり、最大符号化単位(LCU:Largest Cording Unit)と呼ぶこともある。
符号化ツリーレイヤは、図2の(e)に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置1が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な4分木分割により分割される。再帰的な4分木分割により得られる木構造のノードのことを符号化ツリー(coding tree)と称する。4分木の中間ノードは、符号化4分木ツリー(CQT:Coded Quad Tree)であり、CTUは、最上位のCQTを含むものとして規定される。CQTは、分割フラグ(split_flag)を含み、split_flagが1の場合には、4つのCQTに分割される(4つのCQTを含む)。split_flagが0の場合には、CQTは末端ノードである符号化ユニット(CU:Coded Unit)を含む。符号化ユニットCUは、符号化処理の基本的な単位となる。
符号化ユニットレイヤは、図2の(f)に示すように、処理対象の符号化ユニットを復号するために画像復号装置1が参照するデータの集合が規定されている。具体的には、符号化ユニットは、CUヘッダCUH、予測ツリー、変換ツリー、CUヘッダCUFから構成される。CUヘッダCUHでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー(prediction tree;PT)および変換ツリー(transform tree;TT)のルートとなる。CUヘッダCUFは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ(インター予測パラメータ)について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が1の場合に対応する参照ピクチャリストが用いられる。2つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1, predFlagL1=1の場合が、双予測に対応し、1つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idxで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idxが用いられる。
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、復号ピクチャバッファ12に記憶された参照ピクチャからなる列である。図3は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト601において、左右に一列に配列された5個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、P1、P2、Q0、P3、P4は、それぞれの参照ピクチャを示す符号である。P1等のPとは、視点Pを示し、そしてQ0のQとは、視点Pとは異なる視点Qを示す。P及びQの添字は、ピクチャ順序番号POCを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、復号ピクチャバッファ12において参照ピクチャQ0を参照するインデックスであることを示す。
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図4は、参照ピクチャの例を示す概念図である。図4において、横軸は表示時刻を示し、縦軸は視点を示す。図4に示されている、縦2行、横3列(計6個)の長方形は、それぞれピクチャを示す。6個の長方形のうち、下行の左から2列目の長方形は復号対象のピクチャ(対象ピクチャ)を示し、残りの5個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャQ0は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャQ0が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャP1は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャP2は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャP1又はP2が用いられる。
本実施例で扱うランダムアクセスピクチャ(RAP)の構成について説明する。図17は、ランダムアクセスピクチャの構成を説明する図である。RAPには、IDR(Instantaneous Decoding Refresh)、CRA(Clean Random Access)、BLA(Broken Link Access)の3種類がある。あるNALユニットが、RAPピクチャのスライスを含むNALユニットであるか否かは、NALユニットタイプにより識別される。IDR_W_LP、IDR_N_LP、CRA、BLA_W_LP、BLA_W_DLP、BLA_N_LPのNALユニットタイプは、各々、後述のIDR_W_LPピクチャ、IDR_N_LPピクチャ、CRAピクチャ、BLA_W_LPピクチャ、BLA_W_DLPピクチャ、BLA_N_LPピクチャに対応する。すなわち、上記ピクチャのスライスを含むNALユニットは、上述のNALユニットタイプを有する。
・ピクチャ復号時点でPOCは初期化される
・ピクチャ復号時点でRPSは初期化される
・他のピクチャの参照の禁止
・復号順でIDRより後のピクチャから、復号順でIDRより前のピクチャの参照の禁止
・RASLピクチャ(後述)の禁止
・RADLピクチャ(後述)を持つことができる(IDR_W_LPピクチャの場合)
・RADLピクチャ(後述)を持つことができる(BLA_W_LP、BLA_W_DLPピクチャの場合)。
・ピクチャ復号時点でPOCは初期化されない
・ピクチャ復号時点でRPSは初期化されない
・他のピクチャの参照の禁止
・表示順でCRAより後のピクチャから、復号順でCRAより前のピクチャの参照の禁止
・RADLピクチャとRASLピクチャを持つことできる。
・ピクチャ復号時点でPOCは初期化される
・他のピクチャの参照の禁止
・表示順でBLAより後のピクチャから、復号順でBLAより前のピクチャの参照の禁止
・RASLピクチャ(後述)を持つことができる(BLA_W_LPの場合)
・RADLピクチャ(後述)を持つことができる(BLA_W_LP、BLA_W_DLPピクチャの場合)。
インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。
predFlagL0 =インター予測フラグ & 1
predFlagL1 =インター予測フラグ >> 1
ここで、>>は右シフト、<<は左シフトである。
予測パラメータの復号(符号化)方法には、マージ予測(merge)モードとAMVP(Adaptive Motion Vector Prediction、適応動きベクトル予測)モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象PUの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX(インター予測フラグinter_pred_idx)、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックスmvp_LX_idxと差分ベクトル(mvdLX)として符号化される。
ベクトルmvLXには、動きベクトルと変位ベクトル(disparity vector、視差ベクトル)がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻(例えば、隣接する離散時刻)における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて行われる。
独立レイヤ以外のレイヤのNALユニットに限り、レイヤIDが0か否かに応じてNALユニットに含まれるシンタックスの構造を変更してもよい。これにより、独立レイヤのNALユニットに含まれるシンタックスの構造は、レイヤIDが0の場合とレイヤIDが0以外の場合とで同じになるため、データの書き換えを全くまたはほとんど必要とすることなく、レイヤIDが0の場合のシンタックスの構造の符号化データをそのまま復号することが可能な非スケーラブルデコーダを用いて独立レイヤを復号することが可能となる。また、非スケーラブルデコーダで復号可能なデータを抽出する処理が容易になる、という効果を奏する。なお、厳密には、非スケーラブルデコーダで復号可能とするには、独立レイヤのレイヤIDを0に書き換える処理が必要となるが、符号化データ上の位置が明確なNALユニットヘッダにおいて固定長符号化されたレイヤIDを書き換えることは容易であるため、他のシンタックスを変更する場合に比べると、当該処理の処理量は無視できる程度である。
本実施形態に係る画像復号装置1の構成について説明する。図18は、本実施形態に係る画像復号装置1の構成を示す概略図である。画像復号装置1は、ヘッダ復号部10、ピクチャ復号部11、復号ピクチャバッファ12、参照ピクチャ管理部13を含んで構成される。画像復号装置1は、複数のレイヤを含む画像において特定の時刻のピクチャから復号を開始する後述するランダムアクセス復号処理が可能である。
ヘッダ復号部10は、画像符号化装置2より供給される符号化データ#1から、NALユニット単位、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用される情報を復号する。復号された情報は、ピクチャ復号部11及び参照ピクチャ管理部13に出力される。
図20は、NALユニットヘッダ復号部211の概略的構成について示した機能ブロック図である。図20に示すように、NALユニットヘッダ復号部211はレイヤID復号部2111とNALユニットタイプ復号部2112を含んで構成される。
依存レイヤ情報復号部2101は、符号化データに含まれるVPSおよびVPS拡張から規定のシンタックス定義に基づいて、依存レイヤ情報を復号する。例えば、VPSからは図14に示すシンタックスを復号し、VPS拡張からは図15に示すシンタックスを復号する。VPS拡張は、フラグvps_extension_flagが1の場合に復号される。本明細書では、符号化データの構成(シンタックステーブル)と、符号化データ構成が含むシンタックス要素の意味や制限(セマンティクス)を、符号化データ構造と呼ぶ。符号化データ構造は、画像復号装置において符号化データを復号する場合のランダムアクセス性やメモリサイズ、異なる画像復号装置間で同じ動作を補償することに関連すると共に、符号化データの符号化効率にも影響を与える重要な技術要素である。
プロファイルレベル復号部2102は、VPSから各レイヤのプロファイルレベル情報を復号する。
レプリゼンテーション情報復号部2103は、図28(a)のシンタックスをVPSから復号し、図28(b)のシンタックスをSPSから復号する。具体的には、レプリゼンテーション情報復号部2103は、VPSに含まれるrep_format()を復号し、chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を復号する。レプリゼンテーション情報復号部2103は、さらに、SPSのレイヤID(nuh_layer_id)が表すレイヤが独立レイヤではない(例えば、IndependentLayerFlag[nuh_layer_id]の値が偽である)場合には、レプリゼンテーション情報更新フラグupdate_rep_format_flagがSPSに含まれ、そのフラグをSPSから復号する。update_rep_format_flagがSPSに含まれない場合には、update_rep_format_flagを0と導出(infer)する。update_rep_format_flagが1の場合には、レプリゼンテーション情報復号部2103はさらにchroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を復号する。update_rep_format_flagが0の場合には、VPSのrep_format()において既に復号されたレプリゼンテーション情報を対象レイヤに対するレプリゼンテーション情報として用いる。
スケーリングリスト復号部2104は、レイヤIDが表すレイヤが独立レイヤ以外のレイヤである(例えば、IndependentLayerFlag[nuh_layer_id]の値が0である、つまり!IndependentLayerFlag[nuh_layer_id]が真である)場合には、SPSからスケーリングリスト予測フラグsps_infer_scaling_list_flagを復号する(図16の(a)を参照)。sps_infer_scaling_list_flagが0以外の場合には、さらに、sps_scaling_list_ref_layer_idを復号する。sps_infer_scaling_list_flagが0の場合には、sps_scaling_list_data_present_flagと、scaling_list_data()を復号しスケーリングリストを復号する。
図29は、POC情報復号部2105(POC導出部)の概略的構成について示した機能ブロック図である。図29に示すように、POC情報復号部2105はPOC下位ビット最大値復号部21051、POC下位ビット復号部21052、POC上位ビット導出部21053、POC加算部21054、POCリセット部21055を含んで構成される。POC情報復号部2105は、POCの上位ビットPicOrderCntMsbとPOCの下位ビットpic_order_cnt_lsbを復号することにより、POCを導出し、ピクチャ復号部11と参照ピクチャ管理部13に出力する。
なお、MaxPicOrderCntLsbは、POCの上位ビットPicOrderCntMsbと下位ビットpic_order_cnt_lsbの区切りを示す。例えば、MaxPicOrderCntLsbが16(log2_max_pic_order_cnt_lsb_minus4=0)の場合には、0~15までの下位4ビットがpic_order_cnt_lsbで示され、それより上の上位ビットがPicOrderCntMsbで示される。
初期化のタイミングは、対象ピクチャの先頭スライス(スライスヘッダに含まれるスライスアドレスが0のスライス、もしくは、対象ピクチャに入力されるスライスの内、画像復号装置に入力される最初のスライス)を復号する時点とする。
( ( prevPicOrderCntLsb - pic_order_cnt_lsb ) >= ( MaxPicOrderCntLsb / 2 ) ) )
PicOrderCntMsb = prevPicOrderCntMsb + MaxPicOrderCntLsb
else if( (pic_order_cnt_lsb > prevPicOrderCntLsb ) &&
( ( pic_order_cnt_lsb - prevPicOrderCntLsb ) > ( MaxPicOrderCntLsb / 2 ) ) )
PicOrderCntMsb = prevPicOrderCntMsb - MaxPicOrderCntLsb
else
PicOrderCntMsb = prevPicOrderCntMsb
すなわち、pic_order_cnt_lsbがprevPicOrderCntLsbよりも小さく、かつ、prevPicOrderCntLsbとpic_order_cnt_lsbの差が、MaxPicOrderCntLsbの半分以上の場合には、PicOrderCntMsbとして、prevPicOrderCntMsbにMaxPicOrderCntLsbを加えた数を設定する。それ以外で、pic_order_cnt_lsbがprevPicOrderCntLsbよりも大きく、prevPicOrderCntLsbとpic_order_cnt_lsbの差が、MaxPicOrderCntLsbの半分よりも大きい場合には、PicOrderCntMsbとして、prevPicOrderCntMsbからMaxPicOrderCntLsbを引いた数を設定する。それ以外の場合には、PicOrderCntMsbにprevPicOrderCntMsbを設定する。
prevPicOrderCntMsb=prevPicOrderCnt - prevPicOrderCntLsb
図30は、POC情報復号部2105の動作を示す図である。図30に示すように、MaxPicOrderCntLsb=16の場合においてPOC=15、18、24、11、32のピクチャが、図の左から右の順に復号される例を示す。ここで、右端のピクチャ(POC=32のピクチャ)を対象ピクチャとする場合、対象ピクチャを復号する時点で、復号順で直前のTemporalID=0のピクチャはPOC=24のピクチャであるからPOC情報復号部2105は、ピクチャprevTid0PicとしてPOC=24のピクチャを設定する。ピクチャprevTid0PicのPOC下位ビット、POC上位ビットよりprevPicOrderCntLsb、prevPicOrderCntMsbを、各々8、16と導出する。対象ピクチャのpic_order_cnt_lsbは0、導出されたprevPicOrderCntLsbは8、MaxPicOrderCntLsbの半分が8であるから、上述の判定pic_order_cnt_lsbがprevPicOrderCntLsbよりも小さく、かつ、prevPicOrderCntLsbとpic_order_cnt_lsbの差が、MaxPicOrderCntLsbの半分以上の場合が成立し、POC情報復号部2105は、PicOrderCntMsbとして、prevPicOrderCntMsbにMaxPicOrderCntLsbを加えた数を設定する。すなわち、対象ピクチャのPicOrderCntMsbが32(=16+16)と導出される。
図30の例では、PicOrderCntMsb=32、pic_order_cnt_lsb=0であるから、対象ピクチャのPOCであるPicOrderCntValが32と導出される。
参照ピクチャ情報復号部218は、ヘッダ復号部10の構成要素であり、参照ピクチャに関する情報を符号化データ#1から復号する。参照ピクチャに関する情報には、参照ピクチャセット情報(以下、RPS情報)と、参照ピクチャリスト修正情報(以下、RPL修正情報)が含まれる。
画像復号装置1が、入力符号化データ#1から復号画像#2を生成する手順は次のとおりである。
(S11)ヘッダ復号部10は、符号化データ#1からVPS、SPSを復号する。
(S12)ヘッダ復号部10は、符号化データ#1からPPSを復号する。
(S13)符号化データ#1の示すピクチャを順次対象ピクチャに設定する。各対象ピクチャに対して、S14~S17の処理を実行する。
(S14)ヘッダ復号部10は、符号化データ#1から対象ピクチャに含まれる各スライスのスライスヘッダを復号する。ヘッダ復号部10に含まれる参照ピクチャ情報復号部218は、スライスヘッダからRPS情報を復号して参照ピクチャ管理部13に含まれる参照ピクチャセット設定部131に出力する。また、参照ピクチャ情報復号部218は、スライスヘッダからRPL修正情報を復号して参照ピクチャリスト導出部132に出力する。(S15)参照ピクチャセット設定部131は、RPS情報と、復号ピクチャバッファ12に記録されている局所復号画像のPOCとメモリ上の位置情報の組み合わせに基づいて、対象ピクチャに適用する参照ピクチャセットRPSを生成して、参照ピクチャリスト導出部132に出力する。
(S16)参照ピクチャリスト導出部132は、参照ピクチャセットRPSと、RPL修正情報に基づいて参照ピクチャリストRPLを生成してピクチャ復号部11に出力する。(S17)ピクチャ復号部11は、符号化データ#1から対象ピクチャに含まれる各スライスのスライスデータと、参照ピクチャリストRPLに基づいて対象ピクチャの局所復号画像を作成して、対象ピクチャのPOCと関連付けて復号ピクチャバッファに記録する。復号ピクチャバッファに記録された局所復号画像は、POCに基づき決定される適切なタイミングで、外部に復号画像#2として出力される。
復号ピクチャバッファ12には、ピクチャ復号部で復号された各ピクチャの局所復号画像が、レイヤID、当該ピクチャのPOC(Picture Order Count、ピクチャ順序情報)と関連付けられて記録されている。復号ピクチャバッファ12は、所定の出力タイミングで、出力対象のPOCを決定する。その後、当該POCに対応する局所復号画像を、復号画像#2を構成するピクチャの一つとして外部に出力する。
図31は、本実施形態に係る参照ピクチャ管理部13の構成を示す概略図である。参照ピクチャ管理部13は、参照ピクチャセット設定部131と、参照ピクチャリスト導出部132を含んで構成される。
上記復号手順におけるS14の処理のうち、RPS情報およびRPL修正情報の復号処理について詳細を説明する。
RPS情報は、参照ピクチャセットを構築するためにSPSまたはスライスヘッダより復号される情報である。RPS情報には以下を含む。
1.SPS短期RPS情報:SPSに含まれる短期参照ピクチャセット情報
2.SPS長期RP情報:SPSに含まれる長期参照ピクチャ情報
3.SH短期RPS情報:スライスヘッダに含まれる短期参照ピクチャセット情報
4.SH長期RP情報:スライスヘッダに含まれる長期参照ピクチャ情報
(1.SPS短期RPS情報)
SPS短期RPS情報は、SPSを参照する各ピクチャから利用され得る複数の短期参照ピクチャセットの情報を含む。なお、短期参照ピクチャセットとは、対象ピクチャに対する相対的な位置(例えば対象ピクチャとのPOC差分)により指定される参照ピクチャ(短期参照ピクチャ)となり得るピクチャの集合である。
SPS長期RP情報は、SPSを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置(例えばPOC)により指定されるピクチャである。
SH短期RPS情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期参照ピクチャセットの情報を含む。
SH長期RP情報は、スライスヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。
RPL修正情報は、参照ピクチャリストRPLを構築するためにSPSまたはスライスヘッダより復号される情報である。RPL修正情報には、SPSリスト修正情報、および、SHリスト修正情報が含まれる。
SPSリスト修正情報はSPSに含まれる情報であり、参照ピクチャリスト修正の制約に係る情報である。SPSリスト修正情報について、図34を再び参照して説明する。図34の(C)の部分がSPSリスト修正情報に相当する。SPSリスト修正情報には、ピクチャに含まれる前スライスで参照ピクチャリストが共通か否かを示すフラグ(restricted_ref_pic_lists_flag)、および、スライスヘッダ内にリスト並べ替えに関する情報が存在するか否かを示すフラグ(lists_modification_present_flag)が含まれる。
SHリスト修正情報はスライスヘッダに含まれる情報であり、対象ピクチャに適用される参照ピクチャリストの長さ(参照リスト長)の更新情報、および、参照ピクチャリストの並べ替え情報(参照リスト並べ替え情報)が含まれる。SHリスト修正情報について、図37を参照して説明する。図37はヘッダ復号部10および参照ピクチャ情報復号部218においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図37の(C)の部分がSHリスト修正情報に相当する。
前述の動画像復号手順におけるS15の処理、すなわち、参照ピクチャセット設定部による参照ピクチャセット導出処理の詳細を説明する。
・現ピクチャ参照可能リストListCurr:復号ピクチャバッファ上のピクチャのうち、対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照可能リストListFoll:対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能な復号ピクチャバッファ上のピクチャのリスト
なお、現ピクチャ参照可能リストに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。なお、前述の図38を参照して説明したNumPocTotalCurrは、NumCurrListと同一である。
・現ピクチャ長期参照可能リストListLtCurr:SPS長期RP情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ
・現ピクチャ短期前方参照可能リストListStCurrBefore:SPS短期RPS情報またはSH短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャ短期後方参照可能リストListStCurrAfter:SPS短期RPS情報またはSH短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
後続ピクチャ参照可能リストは、さらに2つの部分リストから構成される。
・後続ピクチャ長期参照可能リストListLtFoll:SPS長期RP情報またはSH長期RP情報により指定される後続ピクチャ参照可能ピクチャ
・後続ピクチャ短期参照可能リストListStFoll:SPS短期RPS情報またはSH短期RPS情報により指定される現ピクチャ参照可能ピクチャ
参照ピクチャセット設定部131は、NALユニットタイプがIDR以外の場合に、参照ピクチャセットRPS、すなわち、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、現ピクチャ長期参照可能リストListLtCurr、後続ピクチャ短期参照可能リストListStFoll、および、後続ピクチャ長期参照可能リストListLtFollを次の手順で生成する。加えて、現ピクチャ参照可能ピクチャ数を表す変数NumPocTotalCurrを導出する。なお、前記各参照可能リストは、以下の処理の開始前に空に設定されているとする。参照ピクチャセット設定部131は、NALユニットタイプがIDRの場合は、参照ピクチャセットRPSを空として導出する。
(S201)SPS短期RPS情報、および、SH短期RPS情報に基づいて、対象ピクチャの復号に用いる単一の短期参照ピクチャセットを特定する。具体的には、SH短期RPS情報に含まれるshort_term_ref_pic_set_spsの値が0である場合、SH短期RPS情報に含まれるスライスヘッダで明示的に伝送された短期RPSを選択する。それ以外の場合(short_term_ref_pic_set_spsの値が1の場合)、SH短期RPS情報に含まれるshort_term_ref_pic_set_idxが示す短期RPSを、SPS短期RPS情報に含まれる複数の短期RPSの中から選択する。
(S202)選択された短期RPSに含まれる参照ピクチャ各々のPOCの値を導出し、復号ピクチャバッファ12上に当該POC値と関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。
(S203)短期RPSに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照ピクチャを現ピクチャ短期前方参照可能リストListStCurrBeforeに追加する。それ以外(used_by_curr_pic_s0_flag[i]の値が0)の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストListStFollに追加する。
(S204)短期RPSに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャを現ピクチャ短期後方参照可能リストListStCurrAfterに追加する。それ以外(used_by_curr_pic_s1_flag[i]の値が0の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストListStFollに追加する。
(S205) SPS長期RP情報、および、SH長期RP情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャセットを特定する。具体的には、num_long_term_spsの数の参照ピクチャを、SPS長期RP情報に含まれ、かつ、対象ピクチャとレイヤIDが等しい参照ピクチャの中から選択して、順に長期参照ピクチャセットに追加する。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。続いて、num_long_term_picsの数の参照ピクチャをSH長期RP情報に含まれる参照ピクチャを順に長期参照ピクチャセットに追加する。対象ピクチャのレイヤIDが0以外の場合には、対象ピクチャとレイヤIDが異なるピクチャの中から、対象ピクチャのPOCと等しいPOCを持つ参照ピクチャをさらに長期参照ピクチャセットに追加する。
(S206)長期参照ピクチャセットに含まれる参照ピクチャ各々のPOCの値を導出し、復号ピクチャバッファ12上で対象ピクチャとレイヤIDが等しい参照ピクチャの中から当該POC値と関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。また、対象ピクチャとレイヤIDが異なる参照ピクチャについては、レイヤIDと対象ピクチャのPOCと関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。
(S207)長期参照ピクチャセットに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャを現ピクチャ長期参照可能リストListLtCurrに追加する。それ以外(used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0)の場合、当該長期参照ピクチャを後続ピクチャ長期参照可能リストListLtFollに追加する。
(S208)変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照ピクチャの和に設定する。すなわち、変数NumPocTotalCurrの値を、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、および、現ピクチャ長期参照可能リストListLtCurrの3つのリストの各要素数の和に設定する。
上記復号手順におけるS16の処理、すなわち、参照ピクチャリスト構築処理の詳細を図1を参照して説明する。既に説明したとおり、参照ピクチャリスト導出部132は、参照ピクチャセットRPSと、RPL修正情報に基づいて参照ピクチャリストRPLを生成する。
(S301)暫定L0参照リストを生成して、空のリストに初期化する。
(S302)暫定L0参照リストに対し、現ピクチャ短期前方参照可能リストに含まれる参照ピクチャを順に追加する。
(S303)暫定L0参照リストに対し、現ピクチャ短期後方参照可能リストに含まれる参照ピクチャを順に追加する。
(S304)暫定L0参照リストに対し、現ピクチャ長期参照可能リストに含まれる参照ピクチャを順に追加する。
(S305)参照ピクチャリストが修正される場合(RPL修正情報に含まれるlists_modification_present_flagの値が1の場合)、以下のS306a~S306bの処理を実行する。そうでない場合(lists_modification_present_flagの値が0の場合)、S307の処理を実行する。
(S306a)L0参照ピクチャの修正が有効な場合(RPL修正情報に含まれるref_pic_list_modification_flag_l0の値が1の場合)であって、かつ、現ピクチャ参照可能ピクチャ数NumCurrListが2に等しい場合、S306bを実行する。そうでない場合、S306cを実行する。
(S306b)RPL修正情報に含まれるリスト並べ替え順序list_entry_l0[i]の値を下記の式により設定し、その後、S306cを実行する。
list_entry_l0[1] = 0
(S306c)参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定L0参照リストの要素を並べ換えて、L0参照リストとする。参照ピクチャインデックスrIdxに対応するL0参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定L0参照リストのi番目の要素を表す。
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定L0参照リストにおいて前記値の位置に記録されている参照ピクチャを、L0参照リストのrIdxの位置の参照ピクチャとして格納する。
(S307)暫定L0参照リストをL0参照リストとする。
ピクチャ復号部11は、符号化データ#1、ヘッダ復号部10より入力されるヘッダ情報、復号ピクチャバッファ12に記録されている参照ピクチャ、および、参照ピクチャリスト導出部132より入力される参照ピクチャリストに基づいて、各ピクチャの局所復号画像を生成して復号ピクチャバッファ12に記録する。
デプスイントラ予測モードdmm_modeが0または1、即ち、MODE_DMM_WFULLまたはMODE_DMM_WFULLDELTAを示している場合には、イントラ予測パラメータ復号部304は、入力された符号から、ウェッジレットパターンインデックスwedge_full_tab_idxを復号する。
DmmQuantOffsetDC2 = (1 - 2*dmm_dc_2_sign_flag) * dmm_dc_2_abs
イントラ予測パラメータ復号部304は、生成したイントラ予測モードIntraPredMode、デルタエンド、量子化オフセットDC1DmmQuantOffsetDC1、量子化オフセットDC2DmmQuantOffsetDC2と復号したウェッジレットパターンインデックスwedge_full_tab_idxを予測パラメータとする。
次に、インター予測パラメータ復号部303の構成について説明する。
参照ブロックの座標(xRef、yRef)は、対象ブロックの座標が(xP、yP)、変位ベクトルが(mvDisp[0]、mvDisp[1])、対象ブロックの幅と高さがnPSW、nPSHの場合に以下の式により導出する。
yRef = Clip3( 0, PicHeightInSamplesL - 1, yP + ( ( nPSH - 1 ) >> 1 ) + ( ( mvDisp[1] + 2 ) >> 2 ))
インターレイヤ変位マージ候補導出部3036123は、変位ベクトル取得部3036122から変位ベクトルを入力される。インターレイヤ変位マージ候補導出部3036123は、入力された変位ベクトルと、変位ベクトルが指す先のレイヤ画像の参照ピクチャインデックスrefIdxLX(例えば、復号対象ピクチャと同一POCを持つベースレイヤ画像のインデックス)をマージ候補としてマージ候補格納部303611に出力する。本マージ候補は、変位予測のインターレイヤ候補(インタービュー候補)でありインターレイヤマージ候補(変位予測)とも記載する。
次に、インター予測パラメータ復号制御部3031の構成について説明する。インター予測パラメータ復号制御部3031は、図10に示すように、マージインデックス復号部30312、ベクトル候補インデックス復号部30313、及び図示しない、分割モード復号部、マージフラグ復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル差分復号部を含んで構成される。分割モード復号部、マージフラグ復号部、マージインデックス復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部30313、ベクトル差分復号部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを復号する。
変位ベクトル取得部は、対象PUに隣接するブロックが変位ベクトルを持つ場合には、その変位ベクトルを予測パラメータメモリ307から抽出し、予測パラメータメモリ307を参照し、対象PUに隣接するブロックの予測フラグpredFlagLX、参照ピクチャインデックスrefIdxLXとベクトルmvLXを読み出す。変位ベクトル取得部は、対象PUに隣接するブロックの予測パラメータを順に読み出し、隣接ブロックの参照ピクチャインデックスから隣接ブロックが変位ベクトルを備えるか否かを判定する。隣接ブロックが変位ベクトルを備える場合には、その変位ベクトルを出力する。隣接ブロックの予測パラメータに変位ベクトルが無い場合にはゼロベクトルを変位ベクトルとして出力する。
図10は、本実施形態に係るインター予測画像生成部309の構成を示す概略図である。インター予測画像生成部309は、動き変位補償部3091、残差予測部3092、照度補償部3093、重み予測部3094を含んで構成される。
動き変位補償部3091は、インター予測パラメータ復号部303から入力された、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXに基づいて、参照ピクチャメモリ306から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャの対象ブロックの位置を起点として、ベクトルmvLXだけずれた位置にあるブロックを読み出すことによって動き変位補償画像を生成する。ここで、ベクトルmvLXが整数ベクトルでない場合には、動き補償フィルタ(もしくは変位補償フィルタ)と呼ばれる小数位置の画素を生成するためのフィルタを施して、動き変位補償画像を生成する。一般に、ベクトルmvLXが動きベクトルの場合、上記処理を動き補償と呼び、変位ベクトルの場合は変位補償と呼ぶ。ここでは総称して動き変位補償と表現する。以下、L0予測の動き変位補償画像をpredSamplesL0、L1予測の動き変位補償画像をpredSamplesL1と呼ぶ。両者を区別しない場合predSamplesLXと呼ぶ。以下、動き変位補償部3091で得られた動き変位補償画像predSamplesLXに、さらに残差予測および照度補償が行われる例を説明するが、これらの出力画像もまた、動き変位補償画像predSamplesLXと呼ぶ。なお、以下の残差予測および照度補償において、入力画像と出力画像を区別する場合には、入力画像をpredSamplesLX、出力画像をpredSamplesLX´と表現する。
残差予測部3092は、残差予測実施フラグresPredFlagが1の場合に、入力された動き変位補償画像predSamplesLXに対して、残差予測を行う。残差予測実施フラグresPredFlagが0の場合には、入力された動き変位補償画像predSamplesLXをそのまま出力する。refResSamples残差予測は、予測画像生成の対象とする対象レイヤ(第2のレイヤ画像)とは異なる参照レイヤ(第1のレイヤ画像)の残差を、対象レイヤの予測した画像である動き変位補償画像predSamplesLXに加えることにより行われる。すなわち、参照レイヤと同様の残差が対象レイヤにも生じると仮定して、既に導出された参照レイヤの残差を対象レイヤの残差の推定値として用いる。ベースレイヤ(ベースビュー)では同じレイヤの画像のみが参照画像となる。
照度補償部3093は、照度補償フラグic_enable_flagが1の場合に、入力された動き変位補償画像predSamplesLXに対して、照度補償を行う。照度補償フラグic_enable_flagが0の場合には、入力された動き変位補償画像predSamplesLXをそのまま出力する。照度補償部3093に入力される動き変位補償画像predSamplesLXは、残差予測がオフの場合には、動き変位補償部3091の出力画像であり、残差予測がオンの場合には、残差予測部3092の出力画像である。
重み予測部3094は、入力される動き変位画像predSamplesLXに重み係数を乗算することにより予測ピクチャブロックP(予測画像)を生成する。入力される動き変位画像predSamplesLXは、残差予測、照度補償が行われる場合には、それらが施された画像である。参照リスト利用フラグの一方(predFlagL0もしくはpredFlagL1)が1の場合(単予測の場合)で、重み予測を用いない場合には入力された動き変位画像predSamplesLX(LXはL0もしくはL1)を画素ビット数に合わせる以下の式の処理を行う。
ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。
ここで、log2WDは所定のシフト量を示す変数である。
〔画像符号化装置〕
以下において、本実施形態に係る画像符号化装置2について、図25を参照して説明する。
画像符号化装置2は、概略的に言えば、入力画像#10を符号化することによって符号化データ#1を生成し、出力する装置である。
本実施形態に係る画像符号化装置2の構成例について説明する。図25は、本実施形態に係る画像符号化装置2の構成を示す概略図である。画像符号化装置2は、ヘッダ符号化部10E、ピクチャ符号化部21、復号ピクチャバッファ12、参照ピクチャ決定部13Eを含んで構成される。画像符号化装置2は、複数のレイヤを含む画像において特定の時刻のピクチャから復号を開始する後述するランダムアクセス復号処理が可能である。
ヘッダ符号化部10Eは、入力画像#10に基づいて、NALユニットヘッダ、SPS、PPS、および、スライスヘッダなどをの、NALユニット単位、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用される情報を生成し、符号化して出力する。
NALユニットヘッダ符号化部211EはレイヤID符号化部とNALユニットタイプ符号化部を含んで構成される。
依存レイヤ情報符号化部は、VPSおよびVPS拡張から規定のシンタックス定義に基づいて、各レイヤの依存レイヤ情報を符号化するとともに、各レイヤのレプリゼンテーション情報を符号化する。
プロファイルレベル情報符号化部は、各レイヤのプロファイルレベル情報を符号化してVPSに含める。また、プロファイルレベル情報符号化部は、独立レイヤ、および、SPSのレイヤIDが0であるレイヤのプロファイルレベル情報を符号化してSPSに含める。
レプリゼンテーション情報符号化部は、図28(a)のシンタックスを符号化してVPSに含めるとともに、図28(b)のシンタックスを符号化してSPSに含める。
スケーリングリスト符号化部は、SPSのレイヤID(nuh_layer_id)が表すレイヤが独立レイヤではない場合には、sps_infer_scaling_list_flagを符号化し、sps_infer_scaling_list_flagが0以外の場合には、sps_scaling_list_ref_layer_idを符号化してSPSに含める。sps_infer_scaling_list_flagが0の場合には、sps_scaling_list_data_present_flag、および、scaling_list_data()を符号化してSPSに含める。また、同様に、スケーリングリスト符号化部は、PPSのレイヤID(nuh_layer_id)が表すレイヤが独立レイヤではない場合には、pps_infer_scaling_list_flagを符号化し、pps_infer_scaling_list_flagが0以外の場合には、sps_scaling_list_ref_layer_idを符号化してPPSに含める。pps_infer_scaling_list_flagが0の場合には、pps_scaling_list_data_present_flag 、および、scaling_list_data()を符号化してPPSに含める。
参照ピクチャ決定部13Eは、参照ピクチャ情報符号化部218Eと参照ピクチャセット決定部24と参照ピクチャリスト決定部25を内部に備える。
参照ピクチャ情報符号化部218Eは、ヘッダ符号化部10Eに含まれており、参照ピクチャセットRPSおよび参照ピクチャリストRPLに基づいて、参照ピクチャ情報符号化処理を行い、SPSおよびスライスヘッダに含める、RPS情報およびRPL修正情報を生成する。
画像符号化装置2は、画像復号装置1の各構成と対応する構成を含む。ここで、対応とは、同様の処理、または、逆の処理を行う関係にあるということである。
画像符号化装置2が、入力画像#10から出力符号化データ#1を生成する手順は次のとおりである。
(S21)入力画像#10を構成する各ピクチャ(対象ピクチャ)に対して、以下のS22~S29の処理を実行する。
(S22)参照ピクチャセット決定部24は入力画像#10内の対象ピクチャと復号ピクチャバッファ12に記録されている局所復号画像に基づいて参照ピクチャセットRPSを決定して、参照ピクチャリスト決定部25に出力する。また、参照ピクチャセットRPSの生成に必要なRPS情報を導出して、参照ピクチャ情報符号化部218Eに出力する。
(S23)参照ピクチャリスト決定部25は入力画像#10内の対象ピクチャと入力された参照ピクチャセットRPSに基づいて参照ピクチャリストRPLを導出し、ピクチャ符号化部21、および、ピクチャ復号部11に出力する。また、参照ピクチャリストRPLの生成に必要なRPL修正情報を導出して、参照ピクチャ情報符号化部218Eに出力する。
(S24)参照ピクチャ情報符号化部218Eは、参照ピクチャセットRPSおよび参照ピクチャリストRPLに基づいて、SPS、または、スライスヘッダに含めるためのRPS情報およびRPL修正情報を生成する。
(S25)ヘッダ符号化部10Eは、入力画像#10、および、参照ピクチャ決定部13Eで生成されたRPS情報およびRPL修正情報に基づいて、対象ピクチャに適用するSPSを生成して出力する。
(S26)ヘッダ符号化部10Eは、入力画像#10に基づいて、対象ピクチャに適用するPPSを生成して出力する。
(S27)ヘッダ符号化部10Eは、入力画像#10、および、参照ピクチャ決定部13Eで生成されたRPS情報およびRPL修正情報に基づいて、対象ピクチャを構成する各スライスのスライスヘッダを符号化して、符号化データ#1の一部として外部に出力するとともに、ピクチャ復号部11に出力する。
(S28)ピクチャ符号化部21は、入力画像#10に基づいて、対象ピクチャを構成する各スライスのスライスデータを生成して、符号化データ#1の一部として外部に出力する。
(S29)ピクチャ符号化部21は、対象ピクチャの局所復号画像を生成し、対象ピクチャのレイヤIDとPOCに関連付けて復号ピクチャバッファに記録する。
図40は、POC情報符号化部2105Eの概略的構成について示した機能ブロック図である。図40に示すように、POC情報符号化部2105Eは、POC設定部21056、POC下位ビット最大値符号化部21051E、POC下位ビット符号化部21052Eを含んで構成される。POC情報符号化部2105Eは、POCの上位ビットPicOrderCntMsbとPOCの下位ビットpic_order_cnt_lsbに分離して符号化される。
次に、本実施形態に係るピクチャ符号化部21の構成について説明する。図26は、本実施形態に係るピクチャ符号化部21の構成を示すブロック図である。ピクチャ符号化部21は、予測画像生成部101、減算部102、DCT・量子化部103、エントロピー符号化部104、逆量子化・逆DCT部105、加算部106、予測パラメータメモリ108、符号化パラメータ決定部110、予測パラメータ符号化部111を含んで構成される。予測パラメータ符号化部111は、インター予測パラメータ符号化部112及びイントラ予測パラメータ符号化部113を含んで構成される。
次に、インター予測パラメータ符号化部112の構成について説明する。インター予測パラメータ符号化部112は、インター予測パラメータ復号部303に対応する手段である。
符号化装置2は、シンタックス構成を変更してもよいか否かを示すフラグvps_syntax_change_by_layer_id_flagを符号化し、符号化されたフラグをVPSに含めてもよい。また、符号化装置2は、vps_syntax_change_by_layer_id_flagが1かつレイヤIDが0より大きい場合のみ、独立レイヤのシンタックス構成を変更してもよい。また、符号化装置2は、レイヤ毎に、レイヤiのシンタックス構成を変更してもよいか否かを示すフラグvps_syntax_change_by_layer_id_flag[]を符号化しても良い。このとき、独立レイヤフラグIndependentLayerFlag[i]が独立であることを示す場合(NumDirectRefLayers[i]が0より大きい場合)のみ、フラグvps_syntax_change_by_layer_id_flag[i]を復号しても良い。
プロファイルレベル復号部2102は、VPSから各レイヤのプロファイルレベル情報を復号する。また、プロファイルレベル復号部2102は、SPSを復号する場合において、フラグvps_syntax_change_by_layer_id_flagが0であるか、もしくは、SPSのレイヤIDが0のときには、レイヤIDが示すレイヤが独立レイヤであるか否かに関わらず、SPSからもプロファイルレベル情報を復号する(図41の(b)を参照)。
レプリゼンテーション情報復号部2103は、図41(a)のシンタックスをVPSから復号し、図28(b)のシンタックスをSPSから復号する。
スケーリングリスト復号部2104は、フラグvps_syntax_change_by_layer_id_flagが0以外であり、かつ、レイヤIDが0より大きい場合(レイヤIDが0以外の場合)には、SPSからsps_infer_scaling_list_flagを復号する(図41の(b)を参照)。sps_infer_scaling_list_flagが0以外の場合には、さらに、sps_scaling_list_ref_layer_idを復号する。sps_infer_scaling_list_flagが0の場合には、sps_scaling_list_data_present_flagと、scaling_list_data()を復号しスケーリングリストを復号する。
POC情報復号部2105は、a)フラグvps_syntax_change_by_layer_id_flagが0以外であり、尚且つ、レイヤIDが0より大きい場合(レイヤIDが0以外の場合)、または、b)NALユニットタイプがIDRピクチャを示していない場合(NAL_UNIT_TYPEがIDR_W_RADLでもIDR_N_LPでもない場合)には、スライスヘッダからslice_pic_order_cnt_lsbを復号する(図42の(b)を参照)。
また、レプリゼンテーション情報符号化部は、フラグvps_syntax_change_by_layer_id_flagが0以外であり、かつ、SPSのレイヤIDが0より大きい場合に、レプリゼンテーション情報更新フラグupdate_rep_format_flagを符号化して当該SPSに含める。さらに、符号化されるレプリゼンテーション情報更新フラグupdate_rep_format_flagが1である場合には、chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を符号化してSPSに含める。
スケーリングリスト符号化部は、フラグvps_syntax_change_by_layer_id_flagが0以外であり、かつ、レイヤIDが0より大きい場合(レイヤIDが0以外の場合)には、sps_infer_scaling_list_flagを符号化し、そのsps_infer_scaling_list_flagが0以外の場合には、sps_scaling_list_ref_layer_idを符号化してSPSに含める。sps_infer_scaling_list_flagが0の場合には、sps_scaling_list_data_present_flag、および、scaling_list_data()を符号化してSPSに含める。また、同様に、スケーリングリスト符号化部は、フラグvps_syntax_change_by_layer_id_flagが0以外であり、かつ、レイヤIDが0より大きい場合(レイヤIDが0以外の場合)には、pps_infer_scaling_list_flagを符号化し、そのpps_infer_scaling_list_flagが0以外の場合には、sps_scaling_list_ref_layer_idを符号化してPPSに含める。pps_infer_scaling_list_flagが0の場合には、pps_scaling_list_data_present_flag 、および、scaling_list_data()を符号化してPPSに含める。
POC情報符号化部2105Eは、a)フラグvps_syntax_change_by_layer_id_flagが0以外であり、尚且つ、レイヤIDが0より大きい場合(レイヤIDが0以外の場合)、または、b)NALユニットタイプがIDRピクチャを示していない場合(NAL_UNIT_TYPEがIDR_W_RADLでもIDR_N_LPでもない場合)には、スライスヘッダにおいてslice_pic_order_cnt_lsbを符号化する。
符号化装置2は、各レイヤのvps_syntax_change_by_layer_id_flagを、VPSを通じて復号装置1にシグナリングしてもよい。
動画像を構成する複数のレイヤを、シンタックス変更を許可するレイヤとシンタックス変更を許可しないレイヤとに分けてもよい。
プロファイルレベル復号部2102は、VPSから各レイヤのプロファイルレベル情報を復号する。また、プロファイルレベル復号部2102は、SPSを復号する場合において、SPSのレイヤID(NALユニットタイプがSPSであるようなNALユニットヘッダに含まれているnuh_layer_id)がLAYER_ID_FOR_SYNTAX_CHANGEの値以上であるか、もしくは、SPSのレイヤIDが0のときには、レイヤIDが示すレイヤが独立レイヤであるか否かに関わらず、SPSからもプロファイルレベル情報を復号する(図43の(a)を参照)。
レプリゼンテーション情報復号部2103は、SPSのレイヤID(nuh_layer_id)がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、SPSのレイヤIDが0より大きい場合には、レプリゼンテーション情報更新フラグupdate_rep_format_flagがSPSに含まれ、そのフラグをSPSから復号する。update_rep_format_flagがSPSに含まれない場合には、update_rep_format_flagを0と導出(infer)する。update_rep_format_flagが1の場合には、レプリゼンテーション情報復号部2103はさらにchroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を復号する。update_rep_format_flagが0の場合には、VPSのrep_format()において既に復号されたレプリゼンテーション情報を対象レイヤに対するレプリゼンテーション情報として用いる。
スケーリングリスト復号部2104は、SPSのレイヤID(nuh_layer_id)がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、レイヤIDが0より大きい場合には、SPSからsps_infer_scaling_list_flagを復号する(図41の(b)を参照)。sps_infer_scaling_list_flagが0以外の場合には、さらに、sps_scaling_list_ref_layer_idを復号する。sps_infer_scaling_list_flagが0の場合には、sps_scaling_list_data_present_flagと、scaling_list_data()を復号しスケーリングリストを復号する。
POC情報復号部2105は、a)スライスヘッダのレイヤID(nuh_layer_id)がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、レイヤIDが0より大きい場合(レイヤIDが0以外の場合)、または、b)NALユニットタイプがIDRピクチャを示していない場合(NAL_UNIT_TYPEがIDR_W_RADLでもIDR_N_LPでもない場合)には、スライスヘッダからslice_pic_order_cnt_lsbを復号する(図42の(b)を参照)。
また、レプリゼンテーション情報符号化部は、フラグvps_syntax_change_by_layer_id_flagが0以外であり、かつ、SPSのレイヤIDが0より大きい場合に、レプリゼンテーション情報更新フラグupdate_rep_format_flagを符号化して当該SPSに含める。さらに、符号化されるレプリゼンテーション情報更新フラグupdate_rep_format_flagが1である場合には、chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を符号化してSPSに含める。
スケーリングリスト符号化部は、SPSのレイヤID(nuh_layer_id)がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、SPSのレイヤIDが0より大きい場合(レイヤIDが0以外の場合)には、sps_infer_scaling_list_flagを符号化し、sps_infer_scaling_list_flagが0以外の場合には、sps_scaling_list_ref_layer_idを符号化してSPSに含める。sps_infer_scaling_list_flagが0の場合には、sps_scaling_list_data_present_flag、および、scaling_list_data()を符号化してSPSに含める。また、同様に、スケーリングリスト符号化部は、PPSのレイヤID(nuh_layer_id)がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、PPSのレイヤIDが0より大きい場合(レイヤIDが0以外の場合)には、pps_infer_scaling_list_flagを符号化し、pps_infer_scaling_list_flagが0以外の場合には、sps_scaling_list_ref_layer_idを符号化してPPSに含める。pps_infer_scaling_list_flagが0の場合には、pps_scaling_list_data_present_flag 、および、scaling_list_data()を符号化してPPSに含める。
POC情報符号化部2105Eは、a)ピクチャのレイヤID(nuh_layer_id)がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、ピクチャのレイヤIDが0より大きい場合(レイヤIDが0以外の場合)、または、b)ピクチャのNALユニットタイプがIDRピクチャを示していない場合(NAL_UNIT_TYPEがIDR_W_RADLでもIDR_N_LPでもない場合)には、スライスヘッダにおいてslice_pic_order_cnt_lsbを符号化する。
本発明の態様1に係る画像復号装置は、スケーラブル符号化された画像を復号する画像復号装置(画像復号装置1)であって、NALユニットヘッダに含まれているレイヤIDを復号するレイヤID復号部(レイヤID復号部2111)と、レイヤ間の依存関係の有無を示す依存レイヤ情報を復号するとともに、上記依存レイヤ情報に基づいて、上記レイヤIDによって示されるレイヤが上記依存関係のない独立レイヤであるか否かを判定する依存レイヤ情報復号部(依存レイヤ情報復号部2101)と、ビデオパラメータセットからプロファイルレベル情報を復号するプロファイルレベル情報復号部(プロファイルレベル情報復号部2102)と、を備え、上記プロファイルレベル情報復号部は、上記レイヤIDによって示されるレイヤが上記独立レイヤであると判定された場合、シーケンスパラメータセットからもプロファイルレベル情報を復号する。
2…画像符号化装置
3…ネットワーク
4…画像表示装置
5…画像伝送システム
10…ヘッダ復号部
10E…ヘッダ符号化部
11…ピクチャ復号部
12…復号ピクチャバッファ
13…参照ピクチャ管理部
131…参照ピクチャセット設定部
132…参照ピクチャリスト導出部
13E…参照ピクチャ決定部
101…予測画像生成部
102…減算部
103…DCT・量子化部
1031…インター予測パラメータ符号化制御部
104…エントロピー符号化部
105…逆量子化・逆DCT部
106…加算部
108…予測パラメータメモリ
110…符号化パラメータ決定部
111…予測パラメータ符号化部
112…インター予測パラメータ符号化部
1121…マージ予測パラメータ導出部
1122…AMVP予測パラメータ導出部
1123…減算部
1126…予測パラメータ統合部
113…イントラ予測パラメータ符号化部
2101…依存レイヤ情報復号部
2102…プロファイルレベル情報復号部
2103…レプリゼンテーション情報復号部
2104…スケーリングリスト復号部
2105…POC情報復号部
2105E…POC情報符号化部
21051…POC下位ビット最大値復号部
21051E…POC下位ビット最大値符号化部
21052…POC下位ビット復号部
21052E…POC下位ビット符号化部
21053…POC上位ビット導出部
21053B…POC上位ビット導出部
21054…POC加算部
21055…POCリセット部
21056…POC設定部21…ピクチャ符号化部
211…NALユニットヘッダ復号部
2111…レイヤID復号部
2112…NALユニットタイプ復号部
211E…NALユニットヘッダ符号化部
2112E…NALユニットタイプ符号化部
212…VPS復号部
213…SPS復号部
214…PPS復号部
215…スライスヘッダ復号部
218…参照ピクチャ情報復号部
24…参照ピクチャセット決定部
25…参照ピクチャリスト決定部
301…エントロピー復号部
302…予測パラメータ復号部
303…インター予測パラメータ復号部
3031…インター予測パラメータ復号制御部
30311…追加予測フラグ復号部
30312…マージインデックス復号部
30313…ベクトル候補インデックス復号部
30314…追加予測フラグ判定部
3032…AMVP予測パラメータ導出部
3033…ベクトル候補導出部
3034…予測ベクトル選択部
3035…加算部
3036…マージ予測パラメータ導出部
30361…マージ候補導出部
303611…マージ候補格納部
303612…拡張マージ候補導出部
3036121…インターレイヤマージ候補導出部
3036122…変位ベクトル取得部
3036123…インターレイヤ変位マージ候補導出部
303613…基本マージ候補導出部
3036131…空間マージ候補導出部
3036132…時間マージ候補導出部
3036133…結合マージ候補導出部
3036134…ゼロマージ候補導出部
303614…MPI候補導出部
30362…マージ候補選択部
304…イントラ予測パラメータ復号部
307…予測パラメータメモリ
308…予測画像生成部
309…インター予測画像生成部
3091…変位補償部
3092…残差予測部
30921…残差取得部
30922…残差フィルタ部
3093…照度補償部
30931…照度パラメータ推定部
30932…照度補償フィルタ部
3094…予測部
310…イントラ予測画像生成部
3101…方向予測部
3102…DMM予測部
311…逆量子化・逆DCT部
312…加算部
313…残差格納部
Claims (12)
- スケーラブル符号化された画像データを復号する画像復号装置において、
第1のフラグを復号するヘッダ復号手段と、
POC情報の一つとしてslice_pic_order_cnt_lsbを復号するPOC情報復号手段と、を備え、
上記POC情報復号手段は、上記第1のフラグが第1の値を示し、尚且つ、レイヤIDが0より大きい場合、または、NALユニットタイプがIDRピクチャを示していない場合には、スライスヘッダから上記slice_pic_order_cnt_lsbを復号し、それ以外の場合には上記slice_pic_order_cnt_lsbを復号しないことを特徴とする画像復号装置。 - 前記ヘッダ復号手段は、レイヤ単位で、上記第1のフラグを復号することを特徴とする請求項1に記載の画像復号装置。
- 前記ヘッダ復号手段は、さらに直接依存レイヤ数を復号し、上記直接依存レイヤ数が0の場合のみ、上記第1のフラグを復号することを特徴とする請求項1、又は、請求項2に記載の画像復号装置。
- 画像データをスケーラブル符号化する画像符号化装置において、
第1のフラグを符号化するヘッダ符号化手段と、
POC情報の一つとしてslice_pic_order_cnt_lsbを符号化するPOC情報符号化手段と、を備え、
上記POC情報符号化手段は、上記第1のフラグが第1の値を示し、尚且つ、レイヤIDが0より大きい場合、または、NALユニットタイプがIDRピクチャを示していない場合には、スライスヘッダから上記slice_pic_order_cnt_lsbを符号化し、それ以外の場合には上記slice_pic_order_cnt_lsbを復号しないことを特徴とする画像符号化装置。 - 前記ヘッダ符号化手段は、レイヤ単位で、上記第1のフラグを符号化することを特徴とする請求項4に記載の画像符号化装置。
- 前記ヘッダ符号化手段は、さらに直接依存レイヤ数を符号化し、上記直接依存レイヤ数が0の場合のみ、上記第1のフラグを符号化することを特徴とする請求項4、又は、請求項5に記載の画像符号化装置。
- スケーラブル符号化された画像データを復号する画像復号装置において、
第1のフラグを復号するヘッダ復号手段と、
レプリゼンテーション情報を復号するレプリゼンテーション情報復号手段と、を備え、
上記レプリゼンテーション情報復号手段は、上記第1のフラグが第1の値を示し、尚且つ、レイヤIDが0以外の場合に、レプリゼンテーション情報を復号することを特徴とする画像復号装置。 - 画像データをスケーラブル符号化する画像符号化装置において、
第1のフラグを符号化するヘッダ符号化手段と、
レプリゼンテーション情報を符号化するレプリゼンテーション情報符号化手段と、を備え、
上記レプリゼンテーション情報符号化手段は、上記第1のフラグが第1の値を示し、尚且つ、レイヤIDが0以外の場合に、レプリゼンテーション情報を符号化することを特徴とする画像符号化装置。 - スケーラブル符号化された画像データを復号する画像復号装置において、
第1のフラグを復号するヘッダ復号手段と、
スケーリングリスト情報を復号するスケーリングリスト情報復号手段と、を備え、
上記スケーリングリスト情報復号手段は、上記第1のフラグが第1の値を示し、尚且つ、レイヤIDが0以外の場合にスケーリングリスト情報のsps_scaling_list_ref_layer_idを復号し、それ以外の場合にはsps_scaling_list_data_present_flag、および、scaling_list_data()を復号することを特徴とする画像復号装置。 - 画像データをスケーラブル符号化する画像符号化装置において、
第1のフラグを符号化するヘッダ符号化手段と、
スケーリングリスト情報を符号化するスケーリングリスト情報符号化手段と、を備え、
上記スケーリングリスト情報符号化手段は、上記第1のフラグが第1の値を示し、尚且つ、レイヤIDが0以外の場合にスケーリングリスト情報のsps_scaling_list_ref_layer_idを符号化し、それ以外の場合にはsps_scaling_list_data_present_flag、および、scaling_list_data()を符号化することを特徴とする画像符号化装置。 - NALユニットヘッダとNALユニットデータとから構成されるNALユニットを1つ以上含んでいるアクセスユニットから構成される符号化データであって、
上記符号化データに含まれる1つ以上の上記NALユニットヘッダの各々には、レイヤIDと、該NALユニットヘッダを含むNALユニットの種類を規定するNALユニットタイプとが含まれており、
上記NALユニットタイプがビデオパラメータセットであるNALユニットにはレイヤ間の依存関係の有無を示す依存レイヤ情報が含まれており、
上記NALユニットタイプがピクチャであるNALユニットにはスライスヘッダにおいて、POC情報が含まれており、
上記アクセスユニット内に含まれる、上記依存レイヤ情報において参照レイヤとなるレイヤおよび被参照レイヤとなると定義されたレイヤに属する全てのピクチャは同じPOCを有することを特徴とする符号化データ。 - NALユニットヘッダとNALユニットデータとから構成されるNALユニットを1つ以上含んでいるアクセスユニットから構成される符号化データであって、
上記符号化データに含まれる1つ以上の上記NALユニットヘッダの各々には、レイヤIDと、該NALユニットヘッダを含むNALユニットの種類を規定するNALユニットタイプとが含まれており、
上記NALユニットタイプがビデオパラメータセットであるNALユニットにはレイヤ間の依存関係の有無を示す依存レイヤ情報が含まれており、
上記NALユニットタイプがピクチャであるNALユニットにはスライスヘッダにおいてPOC情報が含まれており、
上記アクセスユニット内に含まれるピクチャにおいて異なるPOCを有する可能性がある場合には、アクセスユニットの前に、アクセスユニットの区切りを表すアクセスユニットデリミタを有していることを特徴とする符号化データ。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201480055346.XA CN105612745A (zh) | 2013-10-08 | 2014-10-07 | 图像解码装置、图像编码装置以及编码数据 |
JP2015541594A JP6397421B2 (ja) | 2013-10-08 | 2014-10-07 | 画像復号装置及び画像符号化装置 |
EP14852457.2A EP3057325A4 (en) | 2013-10-08 | 2014-10-07 | Image decoding device, image coding device, and coded data |
US15/027,486 US10104362B2 (en) | 2013-10-08 | 2014-10-07 | Image decoding device, image coding device, and coded data |
US16/110,612 US20180367782A1 (en) | 2013-10-08 | 2018-08-23 | Image decoding device and image coding device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013211468 | 2013-10-08 | ||
JP2013-211468 | 2013-10-08 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/027,486 A-371-Of-International US10104362B2 (en) | 2013-10-08 | 2014-10-07 | Image decoding device, image coding device, and coded data |
US16/110,612 Continuation US20180367782A1 (en) | 2013-10-08 | 2018-08-23 | Image decoding device and image coding device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015053286A1 true WO2015053286A1 (ja) | 2015-04-16 |
Family
ID=52813102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/076852 WO2015053286A1 (ja) | 2013-10-08 | 2014-10-07 | 画像復号装置、画像符号化装置、及び、符号化データ |
Country Status (5)
Country | Link |
---|---|
US (2) | US10104362B2 (ja) |
EP (1) | EP3057325A4 (ja) |
JP (1) | JP6397421B2 (ja) |
CN (1) | CN105612745A (ja) |
WO (1) | WO2015053286A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017514354A (ja) * | 2014-03-17 | 2017-06-01 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | マルチレイヤ・ビデオコーディングのためのpoc値設計 |
JP2017525256A (ja) * | 2014-06-25 | 2017-08-31 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | マルチレイヤビデオコーディング |
US20220217386A1 (en) * | 2019-09-24 | 2022-07-07 | Huawei Technologies Co., Ltd. | Support of mixed irap and non-irap pictures within an access unit in multi-layer video bitstreams |
JP2022538889A (ja) * | 2019-07-03 | 2022-09-06 | 華為技術有限公司 | 参照ピクチャリスト内の参照ピクチャの種類 |
JP7414976B2 (ja) | 2019-10-07 | 2024-01-16 | 華為技術有限公司 | エンコーダ、デコーダ、および、対応する方法 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104754358B (zh) * | 2013-12-27 | 2019-02-19 | 中兴通讯股份有限公司 | 码流的生成和处理方法、装置及系统 |
KR101994870B1 (ko) * | 2014-01-03 | 2019-07-01 | 지이 비디오 컴프레션, 엘엘씨 | 웨지렛 기반 코딩 개념 |
CN106576169A (zh) * | 2014-09-30 | 2017-04-19 | 寰发股份有限公司 | 深度编码中用于深度建模模式的查找表尺寸减小的方法 |
GB2531271A (en) * | 2014-10-14 | 2016-04-20 | Nokia Technologies Oy | An apparatus, a method and a computer program for image sequence coding and decoding |
EP3358848B1 (en) * | 2015-09-29 | 2021-04-21 | LG Electronics Inc. | Method of filtering image in image coding system |
KR20190034200A (ko) * | 2016-07-29 | 2019-04-01 | 소니 주식회사 | 화상 처리 장치 및 화상 처리 방법 |
KR20200012957A (ko) * | 2017-06-30 | 2020-02-05 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 인터-프레임 예측 방법 및 디바이스 |
CN117294837A (zh) * | 2018-04-02 | 2023-12-26 | 深圳市大疆创新科技有限公司 | 用于图像处理的方法和图像处理装置 |
US11470346B2 (en) * | 2018-05-09 | 2022-10-11 | Sharp Kabushiki Kaisha | Systems and methods for performing motion vector prediction using a derived set of motion vectors |
BR112020026618A2 (pt) | 2018-06-26 | 2021-03-30 | Huawei Technologies Co., Ltd. | Projetos de sintaxe de alto nível para codificação de nuvem de pontos |
US20230103665A1 (en) * | 2019-02-28 | 2023-04-06 | Samsung Electronics Co., Ltd | Apparatuses for encoding and decoding image, and methods for encoding and decoding image thereby |
CN110288513B (zh) * | 2019-05-24 | 2023-04-25 | 北京百度网讯科技有限公司 | 用于改变人脸属性的方法、装置、设备和存储介质 |
US20220312041A1 (en) * | 2019-06-24 | 2022-09-29 | Interdigital Vc Holdings, Inc. | Method and apparatus for signaling decoding data using high level syntax elements |
US11418813B2 (en) | 2019-09-20 | 2022-08-16 | Tencent America LLC | Signaling of inter layer prediction in video bitstream |
US11245899B2 (en) * | 2019-09-22 | 2022-02-08 | Tencent America LLC | Method and system for single loop multilayer coding with subpicture partitioning |
US11758193B2 (en) * | 2019-11-04 | 2023-09-12 | Hfi Innovation Inc. | Signaling high-level information in video and image coding |
US11496770B2 (en) * | 2019-12-19 | 2022-11-08 | Apple Inc. | Media object compression/decompression with adaptive processing for block-level sub-errors and/or decomposed block-level sub-errors |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013048311A1 (en) * | 2011-09-27 | 2013-04-04 | Telefonaktiebolaget L M Ericsson (Publ) | Decoders and methods thereof for managing pictures in video decoding process |
WO2013068647A1 (en) * | 2011-11-08 | 2013-05-16 | Nokia Corporation | Reference picture handling |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110039531A (ko) * | 2008-07-16 | 2011-04-19 | 톰슨 라이센싱 | 코딩 효율을 증가시키기 위하여 고속 채널 변경을 위한 스케일러블 비디오 코딩 방법 |
US9451252B2 (en) * | 2012-01-14 | 2016-09-20 | Qualcomm Incorporated | Coding parameter sets and NAL unit headers for video coding |
-
2014
- 2014-10-07 JP JP2015541594A patent/JP6397421B2/ja not_active Expired - Fee Related
- 2014-10-07 CN CN201480055346.XA patent/CN105612745A/zh active Pending
- 2014-10-07 WO PCT/JP2014/076852 patent/WO2015053286A1/ja active Application Filing
- 2014-10-07 EP EP14852457.2A patent/EP3057325A4/en not_active Withdrawn
- 2014-10-07 US US15/027,486 patent/US10104362B2/en not_active Expired - Fee Related
-
2018
- 2018-08-23 US US16/110,612 patent/US20180367782A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013048311A1 (en) * | 2011-09-27 | 2013-04-04 | Telefonaktiebolaget L M Ericsson (Publ) | Decoders and methods thereof for managing pictures in video decoding process |
WO2013068647A1 (en) * | 2011-11-08 | 2013-05-16 | Nokia Corporation | Reference picture handling |
Non-Patent Citations (4)
Title |
---|
"JCTVC-N1008", 25 July 2013, MEETING: VIENNA, article "Scalable High Efficiency Video Coding Draft 3" |
JIANLE CHEN ET AL.: "SHVC Draft 3", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JCTVC-N1008_V1, 14TH MEETING, August 2013 (2013-08-01), VIENNA, AT, pages I - IV, 1-66 * |
See also references of EP3057325A4 |
TOMOHIRO IKAI ET AL.: "On independent layer", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT- VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JCTVC-O0062_R2, 15TH MEETING, October 2013 (2013-10-01), GENEVA, CH, pages 1 - 8, XP030115037 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017514354A (ja) * | 2014-03-17 | 2017-06-01 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | マルチレイヤ・ビデオコーディングのためのpoc値設計 |
JP2017525256A (ja) * | 2014-06-25 | 2017-08-31 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | マルチレイヤビデオコーディング |
JP2022538889A (ja) * | 2019-07-03 | 2022-09-06 | 華為技術有限公司 | 参照ピクチャリスト内の参照ピクチャの種類 |
US20220217386A1 (en) * | 2019-09-24 | 2022-07-07 | Huawei Technologies Co., Ltd. | Support of mixed irap and non-irap pictures within an access unit in multi-layer video bitstreams |
JP7414976B2 (ja) | 2019-10-07 | 2024-01-16 | 華為技術有限公司 | エンコーダ、デコーダ、および、対応する方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105612745A (zh) | 2016-05-25 |
US20160241835A1 (en) | 2016-08-18 |
EP3057325A4 (en) | 2017-05-10 |
US10104362B2 (en) | 2018-10-16 |
JPWO2015053286A1 (ja) | 2017-03-09 |
US20180367782A1 (en) | 2018-12-20 |
EP3057325A1 (en) | 2016-08-17 |
JP6397421B2 (ja) | 2018-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6397421B2 (ja) | 画像復号装置及び画像符号化装置 | |
US10237564B1 (en) | Image decoding device, image decoding method, image coding device, and image coding method | |
KR102106190B1 (ko) | 비디오 코딩을 위한 디코딩된 화상 버퍼 오퍼레이션들 | |
WO2014103529A1 (ja) | 画像復号装置、およびデータ構造 | |
KR102187723B1 (ko) | 3 차원(3d)비디오 코딩을 위한 진보된 병합 모드 | |
US9967592B2 (en) | Block-based advanced residual prediction for 3D video coding | |
WO2016125685A1 (ja) | 画像復号装置、画像符号化装置および予測ベクトル導出装置 | |
BR112016007760B1 (pt) | Método e aparelho de decodificação de dados de vídeo e método de codificação de dados de vídeo | |
US20130114670A1 (en) | Multiview video coding | |
BR112016000866B1 (pt) | Processamento de compensação de iluminação para codificação de vídeo | |
US20130114705A1 (en) | Multiview video coding | |
US20160191933A1 (en) | Image decoding device and image coding device | |
ES2780686T3 (es) | Tipo de dependencia entre vistas en MV-HEVC | |
WO2015056620A1 (ja) | 画像復号装置、画像符号化装置 | |
WO2014103600A1 (ja) | 符号化データ構造、および画像復号装置 | |
JPWO2014104242A1 (ja) | 画像復号装置、および画像符号化装置 | |
JP2015019140A (ja) | 画像復号装置、画像符号化装置 | |
JP6401707B2 (ja) | 画像復号装置、画像復号方法、および記録媒体 | |
JP2015015626A (ja) | 画像復号装置および画像符号化装置 | |
JP2014204327A (ja) | 画像復号装置および画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14852457 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2015541594 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15027486 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
REEP | Request for entry into the european phase |
Ref document number: 2014852457 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2014852457 Country of ref document: EP |