(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について説明する。
図1は、本実施形態に係る画像伝送システム1の構成を示す概略図である。
画像伝送システム1は、解像度が変換された異なる解像度の画像を符号化した符号化ストリームを伝送し、伝送された符号化ストリームを復号し画像を元の解像度に逆変換して表示するシステムである。画像伝送システム1は、解像度変換装置(解像度変換部)51、動画像符号化装置(画像符号化装置)11、ネットワーク21、動画像復号装置(画像復号装置)31、解像度逆変換装置(解像度逆変換部)61、及び動画像表示装置(画像表示装置)41を含んで構成される。
解像度変換装置51は、動画像に含まれる画像Tの解像度を変換し、異なる解像度の画像を含む可変解像度動画像信号を、画像符号化装置11に供給する。また、解像度変換装置51は、画像の解像度変換の有無を示す情報を動画像符号化装置11に供給する。当該情報が解像度変換を示す場合、動画像符号化装置は、後述する解像度変換情報ref_pic_resampling_enabled_flagを1に設定し、符号化データのシーケンスパラメータセットSPS(Sequence
Parameter Set)に含ませて符号化する。
動画像符号化装置11には解像度が変換された画像Tが入力される。
ネットワーク21は、動画像符号化装置11が生成した符号化ストリームTeを動画像復号装置31に伝送する。ネットワーク21は、インターネット(Internet)、広域ネットワーク(WAN:Wide Area Network)、小規模ネットワーク(LAN:Local Area Network)またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD(Digital Versatile Disc:登録商標)、BD(Blue-ray Disc:登録商標)等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
動画像復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、可変解像度復号画像信号を生成して解像度逆変換装置61に供給する。
解像度逆変換装置61は、可変解像度復号画像信号に含まれる解像度変換情報が解像度変換を示す場合、解像度変換された画像を逆変換することによって、オリジナルサイズの復号画像信号を生成する。
動画像表示装置41は、解像度逆変換部から入力された復号画像信号が示す1または複数の復号画像Tdの全部または一部を表示する。動画像表示装置41は、例えば、液晶ディスプレイ、有機EL(Electro-luminescence)ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、動画像復号装置31が高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
<演算子>
本明細書で用いる演算子を以下に記載する。
>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子であり、||は論理和を示す。
x ? y : zは、xが真(0以外)の場合にy、xが偽(0)の場合にzをとる3項演算子である。
Clip3(a,b,c)は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である(ただし、a<=b)。
abs(a)はaの絶対値を返す関数である。
Int(a)はaの整数値を返す関数である。
floor(a)はa以下の最大の整数を返す関数である。
ceil(a)はa以上の最小の整数を返す関数である。
a/dはdによるaの除算(小数点以下切り捨て)を表す。
min(a,b)はaとbの小さい方の値を表わす。
<符号化ストリームTeの構造>
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
図4は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図4には、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。
(符号化ビデオシーケンス)
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4に示すように、ビデオパラメータセットVPS(Video Parameter Set)、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、Adaptation Parameter Set(APS)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。
(符号化ピクチャ)
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4に示すように、ピクチャヘッダPH、スライス0~スライスNS-1を含む(NSはピクチャPICTに含まれるスライスの総数)。
以下、スライス0~スライスNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
(符号化スライス)
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスは、図4に示すように、スライスヘッダ、および、スライスデータを含んでいる。
スライスヘッダには、対象スライスの復号方法を決定するために動画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単予測(L0予測)、または、イントラ予測を用いるPスライス、(3)符号化の際に単予測(参照ピクチャリスト0のみを用いるL0予測或いは参照ピクチャリスト1のみを用いるL1予測)、双予測、または、イントラ予測を用いるBスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。
なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照(pic_parameter_set_id)を含んでいても良い。
(符号化スライスデータ)
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図4の符号化スライスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ(例えば64x64)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
(符号化ツリーユニット)
図4には、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な4分木分割(QT(Quad Tree)分割)、2分木分割(BT(Binary Tree)分割)あるいは3分木分割(TT(Ternary Tree)分割)により、符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割(MT(Multi Tree)分割)と呼ぶ。再帰的な4分木分割により得られる木構造のノードのことを符号化ノード(Coding Node)と称する。4分木、2分木、及び3分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
CTは、CT情報として、CT分割を行うか否かを示すCU分割フラグ(split_cu_flag)、QT分割を行うか否かを示すQT分割フラグ(qt_split_cu_flag)、MT分割の分割方向を示すMT分
割方向(mtt_split_cu_vertical_flag)、MT分割の分割タイプを示すMT分割タイプ(mtt_split_cu_binary_flag)を含む。split_cu_flag、qt_split_cu_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flagは符号化ノード毎に伝送される。
輝度と色差で異なるツリーを用いても良い。ツリーの種別をtreeTypeで示す。例えば、輝度(Y, cIdx=0)と色差(Cb/Cr, cIdx=1,2)で共通のツリーを用いる場合、共通単一ツリーをtreeType=SINGLE_TREEで示す。輝度と色差で異なる2つのツリー(DUALツリー)を用いる場合、輝度のツリーをtreeType= DUAL_TREE_LUMA、色差のツリーをtreeType=DUAL_TREE_CHROMAで示す。
(符号化ユニット)
図4は、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。CUとサブCUのサイズが等しい場合には、CU中のサブCUは1つである。CUがサブCUのサイズよりも大きい場合、CUはサブCUに分割される。たとえばCUが8x8、サブCUが4x4の場合、CUは水平2分割、垂直2分割からなる、4つのサブCUに分割される。
予測の種類(予測モード)は、イントラ予測と、インター予測の2つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間(例えば、表示時刻間、レイヤ画像間)で行われる予測処理を指す。
変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位でエントロピー符号化してもよい。
(予測パラメータ)
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
以下、インター予測の予測パラメータについて説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0とpredFlagL1、参照ピクチャインデックスrefIdxL0とrefIdxL1、動きベクトルmvL0とmvL1から構成される。predFlagL0、predFlagL1は、参照ピクチャリスト(L0リスト、L1リスト)が用いられるか否かを示すフラグであり、値が1の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「XXであるか否かを示すフラグ」と記す場合、フラグが0以外(たとえば1)をXXである場合、0をXXではない場合とし、論理否定、論理積などでは1を真、0を偽と扱う(以下同様)。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
インター予測パラメータを導出するためのシンタックス要素には、例えば、マージモードで用いるアフィンフラグaffine_flag、マージフラグmerge_flag、マージインデックスmerge_idx、MMVDフラグmmvd_flag、AMVPモードで用いる参照ピクチャを選択するためのインター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルを導出するための予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、動きベクトル精度モードamvr_modeがある。
(参照ピクチャリスト)
参照ピクチャリストは、参照ピクチャメモリ306に記憶された参照ピクチャからなるリストである。図5は、参照ピクチャおよび参照ピクチャリストの一例を示す概念図である
。図5の参照ピクチャの一例を示す概念図において、矩形はピクチャ、矢印はピクチャの参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双予測ピクチャ、矩形中の数字は復号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図5には、ピクチャB3(対象ピクチャ)の参照ピクチャリストの例を示されている。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、1つのピクチャ(スライス)が1つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0およびL1リストRefPicList1の2つの参照ピクチャリストを持つ。個々のCUでは、参照ピクチャリストRefPicListX(X=0または1)中のどのピクチャを実際に参照するかをrefIdxLXで指定する。図は、refIdxL0=2、refIdxL1=0の例である。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、以降では、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。
(マージ予測とAMVP予測)
予測パラメータの復号(符号化)方法には、マージ予測(merge)モードとAMVP(Advanced Motion Vector Prediction、適応動きベクトル予測)モードがあり、merge_flagは、これらを識別するためのフラグである。マージ予測モードは、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍ブロックの予測パラメータ等から導出するモードである。AMVPモードは、inter_pred_idc、refIdxLX、mvLXを符号化データに含めるモードである。なお、mvLXは、予測ベクトルmvpLXを識別するmvp_LX_idxと差分ベクトルmvdLXとして符号化される。また、マージ予測モードの他に、アフィン予測モード、MMVD予測モードがあってもよい。
inter_pred_idcは、参照ピクチャの種類および数を示す値であり、PRED_L0、PRED_L1、PRED_BIの何れかの値をとる。PRED_L0、PRED_L1は、各々L0リスト、L1リストで管理された1枚の参照ピクチャを用いる単予測を示す。PRED_BIはL0リストとL1リストで管理された2枚の参照ピクチャを用いる双予測を示す。
merge_idxは、処理が完了したブロックから導出される予測パラメータ候補(マージ候補)のうち、いずれの予測パラメータを対象ブロックの予測パラメータとして用いるかを示すインデックスである。
(動きベクトル)
mvLXは、異なる2つのピクチャ上のブロック間のシフト量を示す。mvLXに関する予測ベクトル、差分ベクトルを、それぞれmvpLX、mvdLXと呼ぶ。
(インター予測識別子inter_pred_idcと予測リスト利用フラグpredFlagLX)
inter_pred_idcと、predFlagL0、predFlagL1の関係は以下のとおりであり、相互に変換可能である。
inter_pred_idc = (predFlagL1<<1)+predFlagL0
predFlagL0 = inter_pred_idc & 1
predFlagL1 = inter_pred_idc >> 1
なお、インター予測パラメータは、予測リスト利用フラグを用いても良いし、インター予測識別子を用いてもよい。また、予測リスト利用フラグを用いた判定は、インター予測識別子を用いた判定に置き替えてもよい。逆に、インター予測識別子を用いた判定は、予測リスト利用フラグを用いた判定に置き替えてもよい。
(双予測biPredの判定)
双予測であるかのフラグbiPredは、2つの予測リスト利用フラグがともに1であるかによって導出できる。例えば以下の式で導出できる。
biPred = (predFlagL0==1 && predFlagL1==1)
あるいは、biPredは、インター予測識別子が2つの予測リスト(参照ピクチャ)を使うことを示す値であるか否かによっても導出できる。例えば以下の式で導出できる。
biPred = (inter_pred_idc==PRED_BI) ? 1 : 0
(動画像復号装置の構成)
本実施形態に係る動画像復号装置31(図6)の構成について説明する。
動画像復号装置31は、エントロピー復号部301、パラメータ復号部(予測画像復号装置)302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部(予測画像生成装置)308、逆量子化・逆変換部311、及び加算部312、予測パラメータ導出部320を含んで構成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。
パラメータ復号部302は、さらに、ヘッダ復号部3020、CT情報復号部3021、及びCU復号部3022(予測モード復号部)を備えており、CU復号部3022はさらにTU復号部3024を備えている。これらを総称して復号モジュールと呼んでもよい。ヘッダ復号部3020は、符号化データからVPS、SPS、PPS、APSなどのパラメータセット情報、スライスヘッダ(スライス情報)を復号する。CT情報復号部3021は、符号化データからCTを復号する。CU復号部3022は符号化データからCUを復号する。TU復号部3024は、TUに予測誤差が含まれている場合に、符号化データからQP更新情報(量子化補正値)と量子化予測誤差(residual_coding)を復号する。
TU復号部3024は、スキップモード以外(skip_mode==0)の場合に、符号化データからQP更新情報と量子化予測誤差を復号する。より具体的には、TU復号部3024は、skip_mode==0の場合に、対象ブロックに量子化予測誤差が含まれているか否かを示すフラグcu_cbpを復号し、cu_cbpが1の場合に量子化予測誤差を復号する。cu_cbpが符号化データに存在しない場合は0と導出する。
TU復号部3024は、符号化データから変換基底を示すインデックスmts_idxを復号する。また、TU復号部3024は、符号化データからセカンダリ変換の利用及び変換基底を示すインデックスstIdxを復号する。stIdxは0の場合にセカンダリ変換の非適用を示し、1の場合にセカンダリ変換基底のセット(ペア)のうち一方の変換を示し、2の場合に上記ペアのうち他方の変換を示す。
また、TU復号部3024はサブブロック変換フラグcu_sbt_flagを復号してもよい。cu_sbt_flagが1の場合には、CUを複数のサブブロックに分割し、特定の1つのサブブロックのみ残差を復号する。さらにTU復号部3024は、サブブロックの数が4であるか2であるかを示すフラグcu_sbt_quad_flag、分割方向を示すcu_sbt_horizontal_flag、非ゼロの変換係数が含まれるサブブロックを示すcu_sbt_pos_flagを復号してもよい。
予測画像生成部308は、インター予測画像生成部309及びイントラ予測画像生成部310を含んで構成される。
予測パラメータ導出部320は、インター予測パラメータ導出部303及びイントラ予測パラメータ導出部304を含んで構成される。
また、以降では処理の単位としてCTU、CUを使用した例を記載するが、この例に限らず、サブCU単位で処理をしてもよい。あるいはCTU、CUをブロック、サブCUをサブブロックと読み替え、ブロックあるいはサブブロック単位の処理としてもよい。
エントロピー復号部301は、外部から入力された符号化ストリームTeに対してエントロピー復号を行って、個々の符号(シンタックス要素)を復号する。エントロピー符号化には、シンタックス要素の種類や周囲の状況に応じて適応的に選択したコンテキスト(確率モデル)を用いてシンタックス要素を可変長符号化する方式と、あらかじめ定められた表、あるいは計算式を用いてシンタックス要素を可変長符号化する方式がある。前者のCABAC(Context Adaptive Binary Arithmetic Coding)は、コンテキストのCABAC状態(優勢シンボルの種別(0 or 1)と確率を指定する確率状態インデックスpStateIdx)をメモリに格納する。エントロピー復号部301は、セグメント(タイル、CTU行、スライス)の先頭で全てのCABAC状態を初期化する。エントロピー復号部301は、シンタックス要素をバイナリ列(Bin String)に変換し、Bin Stringの各ビットを復号する。コンテキストを用いる場合には、シンタックス要素の各ビットに対してコンテキストインデックスctxIncを導出し、コンテキストを用いてビットを復号し、用いたコンテキストのCABAC状態を更新する。コンテキストを用いないビットは、等確率(EP, bypass)で復号され、ctxInc導出やCABAC状態は省略される。復号されたシンタックス要素には、予測画像を生成するための予測情報および、差分画像を生成するための予測誤差などがある。
エントロピー復号部301は、復号した符号をパラメータ復号部302に出力する。復号した符号とは、例えば、予測モードpredMode、merge_flag、merge_idx、inter_pred_idc、refIdxLX、mvp_LX_idx、mvdLX、amvr_mode等である。どの符号を復号するかの制御は、パラメータ復号部302の指示に基づいて行われる。
(基本フロー)
図7は、動画像復号装置31の概略的動作を説明するフローチャートである。
(S1100:パラメータセット情報復号)ヘッダ復号部3020は、符号化データからVPS、SPS、PPSなどのパラメータセット情報を復号する。
(S1200:スライス情報復号)ヘッダ復号部3020は、符号化データからスライスヘッダ(スライス情報)を復号する。
以下、動画像復号装置31は、対象ピクチャに含まれる各CTUについて、S1300からS5000の処理を繰り返すことにより各CTUの復号画像を導出する。
(S1300:CTU情報復号)CT情報復号部3021は、符号化データからCTUを復号する。
(S1400:CT情報復号)CT情報復号部3021は、符号化データからCTを復号する。
(S1500:CU復号)CU復号部3022はS1510、S1520を実施して、符号化データからCUを復号する。
(S1510:CU情報復号)CU復号部3022は、符号化データからCU情報、予測情報、TU分割フラグsplit_transform_flag、CU残差フラグcbf_cb、cbf_cr、cbf_luma等を復号する。
(S1520:TU情報復号)TU復号部3024は、TUに予測誤差が含まれている場合に、符号化データからQP更新情報と量子化予測誤差、変換インデックスmts_idxを復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの
差分値である。
(S2000:予測画像生成)予測画像生成部308は、対象CUに含まれる各ブロックについて、予測情報に基づいて予測画像を生成する。
(S3000:逆量子化・逆変換)逆量子化・逆変換部311は、対象CUに含まれる各TUについて、逆量子化・逆変換処理を実行する。
(S4000:復号画像生成)加算部312は、予測画像生成部308より供給される予測画像と、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの復号画像を生成する。
(S5000:ループフィルタ)ループフィルタ305は、復号画像にデブロッキングフィルタ、SAO、ALFなどのループフィルタをかけ、復号画像を生成する。
(インター予測パラメータ導出部の構成)
図9には、本実施形態に係るインター予測パラメータ導出部303の構成を示す概略図が示されている。インター予測パラメータ導出部303は、パラメータ復号部302から入力されたシンタックス要素に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してインター予測パラメータを導出する。また、インター予測パラメータをインター予測画像生成部309、予測パラメータメモリ307に出力する。インター予測パラメータ導出部303及びその内部の要素であるAMVP予測パラメータ導出部3032、マージ予測パラメータ導出部3036、アフィン予測部30372、MMVD予測部30373、GPM予測部30377、DMVR部30537、MV加算部3038は、動画像符号化装置、動画像復号装置で共通する手段であるので、これらを総称して動きベクトル導出部(動きベクトル導出装置)と称してもよい。
スケールパラメータ導出部30378は、参照ピクチャの水平方向のスケーリング比RefPicScale[i][j][0]、および、参照ピクチャの垂直方向のスケーリング比RefPicScale[i][j][1]、及び、参照ピクチャがスケーリングされているか否かを示すRefPicIsScaled[i][j]を導出する。ここで、iは参照ピクチャリストがL0リストかL1リストであるかを示し、jをL0参照ピクチャリストあるいはL1参照ピクチャリストの値として、次のように導出する。
RefPicScale[i][j][0] =
((fRefWidth << 14)+(PicOutputWidthL >> 1)) / PicOutputWidthL
RefPicScale[i][j][1] =
((fRefHeight << 14)+(PicOutputHeightL >> 1)) / PicOutputHeightL
RefPicIsScaled[i][j] =
(RefPicScale[i][j][0] != (1<<14)) || (RefPicScale[i][j][1] != (1<<14))
ここで、変数PicOutputWidthLは、符号化ピクチャが参照される時に水平方向のスケーリング比を計算する時の値であり、符号化ピクチャの輝度の水平方向の画素数から左右のオフセット値を引いたものが用いられる。変数PicOutputHeightLは、符号化ピクチャが参照される時に垂直方向のスケーリング比を計算する時の値であり、符号化ピクチャの輝度の垂直方向の画素数から上下のオフセット値を引いたものが用いられる。変数fRefWidthは、リストiの参照リスト値jの参照ピクチャのPicOutputWidthLの値とし、変数fRefHightは、リストiの参照ピクチャリスト値jの参照ピクチャのPicOutputHeightLの値とする。
affine_flagが1、すなわち、アフィン予測モードを示す場合、アフィン予測部30372は、サブブロック単位のインター予測パラメータを導出する。
mmvd_flagが1、すなわち、MMVD予測モードを示す場合、MMVD予測部30373は、マージ予
測パラメータ導出部3036で導出されるマージ候補と差分ベクトルからインター予測パラメータを導出する。
GPM Flagが1、すなわち、GPM(Geometric Partitioning Mode)予測モードを示す場合、GPM予測部30377はGPM予測パラメータを導出する。
merge_flagが1、すなわち、マージ予測モードを示す場合、merge_idxを導出し、マージ予測パラメータ導出部3036に出力する。
merge_flagが0、すなわち、AMVP予測モードを示す場合、AMVP予測パラメータ導出部3032はinter_pred_idc、refIdxLXかmvp_LX_idxからmvpLXを導出する。
(MV加算部)
MV加算部3038では導出されたmvpLXとmvdLXを加算し、mvLXを導出する。
(アフィン予測部)
アフィン予測部30372は、1)対象ブロックの2つの制御点CP0、CP1、もしくは3つの制御点CP0, CP1, CP2の動きベクトルを導出し、2)対象ブロックのアフィン予測パラメータを導出し、3)アフィン予測パラメータから各サブブロックの動きベクトルを導出する。
マージアフィン予測の場合、対象ブロックの隣接ブロックの動きベクトルから各制御点CP0, CP1, CP2の動きベクトルcpMvLX[]を導出する。インターアフィン予測の場合には、各制御点CP0, CP1, CP2の予測ベクトルと符号化データから導出される差分ベクトルmvdCpLX[]の和から各制御点のcpMvLX[]を導出する。
(マージ予測)
図10には、本実施形態に係るマージ予測パラメータ導出部3036の構成を示す概略図が示されている。マージ予測パラメータ導出部3036は、マージ候補導出部30361、マージ候補選択部30362を備える。なお、マージ候補は、予測パラメータ(predFlagLX、mvLX、refIdxLX)を含んで構成され、マージ候補リストに格納される。マージ候補リストに格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。
マージ候補導出部30361は、復号済の隣接ブロックの動きベクトルとrefIdxLXをそのまま用いてマージ候補を導出する。それ以外に、マージ候補導出部30361は、後述する空間マージ候補導出処理、時間マージ候補導出処理、ペアワイズマージ候補導出処理、およびゼロマージ候補導出処理を適用してもよい。
空間マージ候補導出処理として、マージ候補導出部30361は、所定の規則に従って、予測パラメータメモリ307が記憶している予測パラメータを読み出し、マージ候補に設定する。参照ピクチャの指定方法は、例えば、対象ブロックから予め定めた範囲内にある隣接ブロック(例えば、対象ブロックの左A1、右B1、右上B0、左下A0、左上B2にそれぞれ接するブロックの全部または一部)のそれぞれに係る予測パラメータである。各々のマージ候補をA1,B1,B0,A0,B2と呼ぶ。
ここで、A1,B1,B0,A0,B2は各々、下記の座標を含むブロックから導出される動き情報である。図8の対象ピクチャでマージ候補の配置にA1,B1,B0,A0,B2の位置を示す。
A1: (xCb - 1, yCb + cbHeight - 1)
B1: (xCb + cbWidth - 1, yCb - 1)
B0: (xCb + cbWidth, yCb - 1)
A0: (xCb - 1, yCb + cbHeight)
B2: (xCb - 1, yCb - 1)
対象ブロックの左上座標を(xCb, yCb)、幅cbWidth、高さcbHeightとする。
時間マージ導出処理として、マージ候補導出部30361は、図8のコロケートピクチャで示されるように、対象ブロックの右下CBR、あるいは、中央の座標を含む参照画像中のブロックCの予測パラメータを、予測パラメータメモリ307から読み出してマージ候補Colとし、マージ候補リストmergeCandList[]に格納する。
一般にブロックCBRを優先してmergeCandList[]に加え、CBRが動きベクトルを持たない(例えばイントラ予測ブロック)場合や、CBRがピクチャ外に位置する場合は、ブロックCの動きベクトルを予測ベクトル候補に加える。動きの異なる可能性が高いコロケートブロックの動きベクトルを予測候補として加えることで、予測ベクトルの選択肢が増え、符号化効率が高まる。
ph_temporal_mvp_enabled_flagが0、または、cbWidth*cbHeightが32以下の場合、対象ブロックのコロケート動きベクトルmvLXColを0に設定し、コロケートブロックの利用可能性フラグavailableFlagLXColを0に設定する。
それ以外(SliceTemporalMvpEnabledFlagが1)の場合、下記を実施する。
例えばマージ候補導出部30361は、Cの位置(xColCtr,yColCtr)とCBRの位置(xColCBr、yColCBr)を、以下の式で導出してもよい。
xColCtr = xCb+(cbWidth>>1)
yColCtr = yCb+(cbHeight>>1)
xColCBr = xCb+cbWidth
yColCBr = yCb+ cbHeight
CBRが利用可能であればCBRの動きベクトルを利用してマージ候補COLを導出する。CBRが利用可能でなければCを使用してCOLを導出する。そして、availableFlagLXColを1に設定する。なお、参照ピクチャは、スライスヘッダにおいて通知されたcollocated_ref_idxであってもよい。
ペアワイズ候補導出部は、mergeCandListに格納済みの2つのマージ候補(p0Cand, p1Cand)の平均からペアワイズ候補avgKを導出し、mergeCandList[]に格納する。
mvLXavgK[0] = (mvLXp0Cand[0]+mvLXp1Cand[0])/2
mvLXavgK[1] = (mvLXp0Cand[1]+mvLXp1Cand[1])/2
マージ候補導出部30361は、refIdxLXが0…Mであり、mvLXのX成分、Y成分が共に0であるゼロマージ候補Z0,…, ZMを導出しマージ候補リストに格納する。
mergeCandList[]に格納する順番は、例えば、空間マージ候補(A1,B1,B0,A0,B2)、時間マージ候補Col、ペアワイズ候補avgK、ゼロマージ候補ZKである。なお、利用可能でない(ブロックがイントラ予測等)参照ブロックはマージ候補リストに格納しない。
i = 0
if( availableFlagA1 )
mergeCandList[ i++ ] = A1
if( availableFlagB1 )
mergeCandList[ i++ ] = B1
if( availableFlagB0 )
mergeCandList[ i++ ] = B0
if( availableFlagA0 )
mergeCandList[ i++ ] = A0
if( availableFlagB2 )
mergeCandList[ i++ ] = B2
if( availableFlagCol )
mergeCandList[ i++ ] = Col
if( availableFlagAvgK )
mergeCandList[ i++ ] = avgK
if( i < MaxNumMergeCand )
mergeCandList[ i++ ] = ZK
マージ候補選択部30362は、マージ候補リストに含まれるマージ候補のうち、merge_idxが示すマージ候補Nを以下の式で選択する。
N = mergeCandList[merge_idx]
ここでNは、マージ候補を示すラベルであり、A1,B1,B0,A0,B2,Col,avgK,ZKなどをとる。ラベルNで示されるマージ候補の動き情報は(mvLXN[0], mvLXN[0])、predFlagLXN, refIdxLXNで示される。
選択された(mvLXN[0], mvLXN[0])、predFlagLXN, refIdxLXNを対象ブロックのインター予測パラメータとして選択する。マージ候補選択部30362は選択したマージ候補のインター予測パラメータを予測パラメータメモリ307に記憶するとともに、インター予測画像生成部309に出力する。
(DMVR)
続いて、DMVR部30375が行うDMVR(Decoder side Motion Vector Refinement)処理について説明する。DMVR部30375は、対象CUに対して、merge_flagが1の場合、又は、スキップフラグskip_flagが1の場合、マージ予測部30374が導出する当該対象CUのmvLXを、参照画像を用いて修正する。具体的には、マージ予測部30374が導出する予測パラメータが双予測である場合において、2つの参照ピクチャに対応すると動きベクトルから導出される予測画像を用いて、動きベクトルを修正する。修正後のmvLXはインター予測画像生成部309に供給される。
また、DMVR処理を行うか否かを規定するフラグdmvrFlagの導出において、dmvrFlagを1に設定する複数の条件の1つとして、上述したRefPicIsScaled[0][refIdxL0]の値が0であり、且つRefPicIsScaled[1][refIdxL1]の値が0であることが含まれる。dmvrFlagの値が1に設定された場合、DMVR部30375によるDMVR処理が実行される。
また、DMVR処理を行うか否かを規定するフラグdmvrFlagの導出において、dmvrFlagを1に設定する複数の条件の1つとして、ciip_flagが0、つまりIntraInter合成処理を適用しないことが含まれている。
また、DMVR処理を行うか否かを規定するフラグdmvrFlagの導出において、dmvrFlagを1に設定する複数の条件の1つとして、後述する輝度のL0予測の重み予測の係数情報が存在するか否かを示すフラグであるluma_weight_l0_flag[i]が0であり、且つ輝度のL1予測の重み予測の係数情報が存在するか否かを示すフラグであるluma_weight_l1_flag[i]の値が0であることが含まれる。dmvrFlagの値が1に設定された場合、DMVR部30375によるDMVR処理が実行される。
なお、DMVR処理を行うか否かを規定するフラグdmvrFlagの導出において、dmvrFlagを1
に設定する複数の条件の1つとして、luma_weight_l0_flag[i]が0であり、且つluma_weight_l1_flag[i]の値が0、且つ後述する色差のL0予測の重み予測の係数情報が存在するか否かを示すフラグであるchroma_weight_l0_flag[i]が0であり、且つ色差のL1予測の重み予測の係数情報が存在するか否かを示すフラグであるchroma_weight_l1_flag[i]の値が0であることが含まれてもよい。dmvrFlagの値が1に設定された場合、DMVR部30375によるDMVR処理が実行される。
(Prof)
また、RefPicIsScaled[0][refIdxLX]の値が1であるか、RefPicIsScaled[1][refIdxLX]の値が1であれば、cbProfFlagLXの値はFALSEに設定される。ここで、cbProfFlagLXは、アフィン予測のPrediction refinement(PROF)を行うか否かを規定するフラグである。
(AMVP予測)
図10には、本実施形態に係るAMVP予測パラメータ導出部3032の構成を示す概略図が示されている。AMVP予測パラメータ導出部3032は、ベクトル候補導出部3033とベクトル候補選択部3034を備える。ベクトル候補導出部3033は、refIdxLXに基づいて予測パラメータメモリ307が記憶する復号済みの隣接ブロックの動きベクトルから予測ベクトル候補を導出し、予測ベクトル候補リストmvpListLX[]に格納する。
ベクトル候補選択部3034は、mvpListLX[]の予測ベクトル候補のうち、mvp_LX_idxが示す動きベクトルmvpListLX[mvp_LX_idx]をmvpLXとして選択する。ベクトル候補選択部3034は選択したmvpLXをMV加算部3038に出力する。
(MV加算部)
MV加算部3038は、AMVP予測パラメータ導出部3032から入力されたmvpLXと復号したmvdLXを加算してmvLXを算出する。加算部3038は、算出したmvLXをインター予測画像生成部309および予測パラメータメモリ307に出力する。
mvLX[0] = mvpLX[0]+mvdLX[0]
mvLX[1] = mvpLX[1]+mvdLX[1]
(サブブロックマージの詳細分類)
サブブロックマージが関連する予測処理の種類について纏める。上記のように、マージ予測とAMVP予測とに大別される。
マージ予測は、さらに、以下に類別される。
・ノーマルマージ予測(ブロックベースのマージ予測)
・サブブロックマージ予測
サブブロックマージ予測は、更に、以下に類別される。
・サブブロック予測(ATMVP)
・アフィン予測
・継承アフィン予測(inferred affine prediction)
・構成アフィン予測(constructed affine prediction)
一方、AMVP予測は、以下に類別される。
・AMVP(並進)
・MVDアフィン予測
MVDアフィン予測は、更に、以下に類別される。
・4パラメータMVDアフィン予測
・6パラメータMVDアフィン予測
なお、MVDアフィン予測は、差分ベクトルを復号して用いるアフィン予測を指す。
サブブロック予測では、時間マージ導出処理と同様、対象サブブロックのコロケートサブブロックCOLの利用可能性availableFlagSbColを判定し、利用可能な場合、予測パラメータを導出する。少なくとも、上述のSliceTemporalMvpEnabledFlagが0の場合に、availableFlagSbColは0に設定される。
MMVD予測(Merge with Motion Vector Difference)は、マージ予測に分類しても良いし、AMVP予測に分類してもよい。前者では、merge_flag=1の場合にmmvd_flag及びMMVD関連シンタックス要素を復号し、後者ではmerge_flag=0の場合にmmvd_flag及びMMVD関連シンタックス要素を復号する。
ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)等のフィルタを施す。
参照ピクチャメモリ306は、CUの復号画像を、対象ピクチャ及び対象CU毎に予め定めた位置に記憶する。
予測パラメータメモリ307は、CTUあるいはCU毎に予め定めた位置に予測パラメータを記憶する。具体的には、予測パラメータメモリ307は、パラメータ復号部302が復号したパラメータ及び予測パラメータ導出部320が導出したパラメータ等を記憶する。
予測画像生成部308には予測パラメータ導出部320が導出したパラメータが入力される。また、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、predModeが示す予測モードで、パラメータと参照ピクチャ(参照ピクチャブロック)を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合(通常矩形であるのでブロックと呼ぶ)であり、予測画像を生成するために参照する領域である。
(インター予測画像生成部309)
predModeがインター予測モードを示す場合、インター予測画像生成部309は、インター予測パラメータ導出部303から入力されたインター予測パラメータと参照ピクチャを用いてインター予測によりブロックもしくはサブブロックの予測画像を生成する。
図11は、本実施形態に係る予測画像生成部308に含まれるインター予測画像生成部309の構成を示す概略図である。インター予測画像生成部309は、動き補償部(予測画像生成装置)3091、合成部3095を含んで構成される。合成部3095は、IntraInter合成部30951、GPM合成部30952、BDOF部30954、重み予測部3094を含んで構成される。
(動き補償)
動き補償部3091(補間画像生成部3091)は、インター予測パラメータ導出部303から入力された、インター予測パラメータ(predFlagLX、refIdxLX、mvLX)に基づいて、参照ピクチャメモリ306から参照ブロックを読み出すことによって補間画像(動き補償画像)を生成する。参照ブロックは、refIdxLXで指定された参照ピクチャRefPicLX上で、対象ブロックの位置からmvLXシフトした位置のブロックである。ここで、mvLXが整数精度でない場合には、動き補償フィルタと呼ばれる小数位置の画素を生成するためのフィルタを施して、補間画像を生成する。
動き補償部3091は、まず、予測ブロック内座標(x,y)に対応する整数位置(xInt,yInt)および位相(xFrac,yFrac)を以下の式で導出する。
xInt = xPb+(mvLX[0]>>(log2(MVPREC)))+x
xFrac = mvLX[0]&(MVPREC-1)
yInt = yPb+(mvLX[1]>>(log2(MVPREC)))+y
yFrac = mvLX[1]&(MVPREC-1)
ここで、(xPb,yPb)は、bW*bHサイズのブロックの左上座標、x=0…bW-1、y=0…bH-1であり、MVPRECは、mvLXの精度(1/MVPREC画素精度)を示す。例えばMVPREC=16である。
動き補償部3091は、参照ピクチャrefImgに補間フィルタを用いて水平補間処理を行うことで、一時的画像temp[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift1は値のレンジを調整する正規化パラメータ、offset1=1<<(shift1-1)である。
temp[x][y] = (ΣmcFilter[xFrac][k]*refImg[xInt+k-NTAP/2+1][yInt]+offset1)>>shift1
続いて、動き補償部3091は、一時的画像temp[][]を垂直補間処理により、補間画像Pred[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift2は値のレンジを調整する正規化パラメータ、offset2=1<<(shift2-1)である。
Pred[x][y] = (ΣmcFilter[yFrac][k]*temp[x][y+k-NTAP/2+1]+offset2)>>shift2
なお、双予測の場合、上記のPred[][]をL0リスト、L1リスト毎に導出し(補間画像PredL0[][]とPredL1[][]と呼ぶ)、PredL0[][]とPredL1[][]から補間画像Pred[][]を生成する。
なお、動き補償部3091は、スケールパラメータ導出部30378で導出された参照ピクチャの水平方向のスケーリング比RefPicScale[i][j][0]、および、参照ピクチャの垂直方向のスケーリング比RefPicScale[i][j][1]に応じて、補間画像をスケーリングする機能を有している。
合成部3095は、IntraInter合成部30951、GPM合成部30952、重み予測部3094、BDOF部30954を備えている。
(interpolation filter処理)
以下、予測画像生成部308によって実行されるinterpolation filter処理であって、上述したリサンプリングが適用されて参照ピクチャのサイズが単一のシーケンス中で変化する場合におけるinterpolation filter処理について説明する。なお、この処理は、例えば動き補償部3091によって実行されるものであってもよい。
予測画像生成部308は、インター予測パラメータ導出部303から入力されたRefPicIsScaled[i][j]の値が、参照ピクチャがスケーリングされていることを示している場合に、複数のフィルタ係数を切り替えて、interpolation filter処理を実行する。
(IntraInter合成処理)
IntraInter合成部30951は、インター予測画像とイントラ予測画像の重み付け和により予測画像を生成する。
予測画像の画素値predSamplesComb[x][y]は、IntraInter合成処理を適用するかを示す
フラグciip_flagが1ならば、次のように導出される。
predSamplesComb[x][y] =(w * predSamplesIntra[x][y]
+(4 - w)*predSamplesInter[x][y] + 2)>> 2
ここで、predSamplesIntra[x][y]はイントラ予測画像で、planar予測に限定されている。predSamplesInter[x][y]は、再構成されたインター予測画像である。
重みwは次のように導出される。
対象符号化ブロックに左隣接する最も下のブロックと上隣接する最も右のブロックの両方がイントラの場合、wは3に設定される。
それ以外の場合、対象符号化ブロックに左隣接する最も下のブロックと上隣接する最も右のブロックの両方がイントラでない場合、wは1に設定される。
それ以外の場合、wは2に設定される。
(GPM合成処理)
GPM合成部30952は、上述したGPM予測を用いた予測画像を生成する。
(BDOF予測)
次に、BDOF部30954が行うBDOF予測(Bi-Directional Optical Flow, BDOF処理)の詳細について説明する。BDOF部30954は、双予測モードにおいて、2つの予測画像(第1の予測画像及び第2の予測画像)及び勾配補正項を参照して予測画像を生成する。
(重み予測)
重み予測部3094は、補間画像predSamplesLXからブロックの予測画像pbSamplesを生成する。
まず、重み予測処理を行うか否かを示す変数weightedPredFlagは次のように導出されている。slice_typeがPに等しい場合、weightedPredFlagはPPSで定義されるpps_weighted_pred_flagに等しく設定される。それ以外で、slice_typeがBに等しい場合、weightedPredFlagはPPSで定義されるpps_weighted_bipred_flag && (!dmvrFlag)に等しく設定される。
以降で、bcw_idxは、CU単位の重みをもつ双予測の重みインデックスである。bcw_idxが通知されない場合、bcw_idx=0にセットする。bcwIdxは、マージ予測モードでは近傍ブロックのbcwIdxNをセットし、AMVP予測モードでは対象ブロックのbcw_idxをセットする。
もし、変数weightedPredFlagの値が0に等しいか、変数bcwIdxの値が0の場合は、通常の予測画像処理として、予測画像pbSamplesは次のように導出される。
予測リスト利用フラグの一方(predFlagL0もしくはpredFlagL1)が1(単予測)の(重み予測を用いない)場合、predSamplesLX(LXはL0もしくはL1)を画素ビット数bitDepthに合わせる以下の式の処理を行う。
pbSamples[x][y] = Clip3(0,(1<<bitDepth)-1,(predSamplesLX[x][y]+offset1)>>shift1)
ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。PredLXは、L0もしくはL1予測の補間画像である。
また、予測リスト利用フラグの両者(predFlagL0とpredFlagL1)が1(双予測PRED_BI)、かつ、重み予測を用いない場合、predSamplesL0、predSamplesL1を平均し画素ビット数に合わせる以下の式の処理を行う。
pbSamples[x][y] = Clip3(0,(1<<bitDepth)-1,(predSamplesL0[x][y]+predSamplesL1[x][y]+offset2)>>shift2)
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。
もし、変数weightedPredFlagの値が1に等しい、かつ、変数bcwIdxの値が0に等しい場合は、重み予測処理として、予測画像pbSamplesは次のように導出される。
変数shift1はMax(2、14-bitDepth)に等しく設定する。変数log2Wd、o0、o1、w0、およびw1は、次のように導出する。
もし、cIdxが0で輝度の場合、次が適用される。
log2Wd = luma_log2_weight_denom + shift1
w0 = LumaWeightL0[refIdxL0]
w1 = LumaWeightL1[refIdxL1]
o0 = luma_offset_l0[refIdxL0] <<(bitDepth - 8)
o1 = luma_offset_l1[refIdxL1] <<(bitDepth - 8)
それ以外(cIdxは0に等しくない色差)の場合、以下が適用される。
log2Wd = ChromaLog2WeightDenom + shift1
w0 = ChromaWeightL0[refIdxL0][cIdx - 1]
w1 = ChromaWeightL1[refIdxL1][cIdx - 1]
o0 = ChromaOffsetL0[refIdxL0][cIdx - 1] <<(bitDepth - 8)
o1 = ChromaOffsetL1[refIdxL1][cIdx - 1] <<(bitDepth - 8)
x = 0..nCbW - 1およびy = 0..nCbH - 1の予測画像の画素値pbSamples[x][y]は、次のように導出される。
次に、もし、predFlagL0が1に等しく、predFlagL1が0に等しい場合、予測画像の画素値pbSamples[x][y]は次のように導出される。
if(log2Wd >= 1)
pbSamples[x][y] = Clip3(0,(1 << bitDepth)- 1,
((predSamplesL0[x][y] * w0 + 2^(log2Wd - 1))>> log2Wd)+ o0)
else
pbSamples[x][y] = Clip3(0,(1<<bitDepth)-1, predSamplesL0[x][y]*w0 + o0)
それ以外で、もし、predFlagL0が0でpredFlagL1が1の場合、予測画像の画素値pbSamples[x][y]は、次のように導出される。
if(log2Wd >= 1)
pbSamples[x][y] = Clip3(0,(1 << bitDepth)- 1,
((predSamplesL1[x][y] * w1 + 2^(log2Wd - 1))>> log2Wd)+ o1)
else
pbSamples[x][y] = Clip3(0,(1<<bitDepth)-1、predSamplesL1[x][y]*w1 + o1)
それ以外で、もし、predFlagL0は1に等しく、predFlagL1は1に等しい場合、予測画像の画素値pbSamples[x][y]は次のように導出される。
pbSamples[x][y] = Clip3(0,(1 << bitDepth)- 1,
(predSamplesL0[x][y] * w0 + predSamplesL1[x][y] * w1 +
((o0 + o1 + 1)<< log2Wd))>>(log2Wd + 1))
(BCW予測)
BCW(Bi-prediction with CU-level Weights)予測は、CUレベルで予め決まった重み係数を切り替えることが可能な予測方法である。
現在の符号化ブロックの幅と高さを指定する2つの変数nCbWとnCbHと、(nCbW)x(nCbH)の2つの配列predSamplesL0およびpredSamplesL1と、予測リストを使うか否かを示すフラグpredFlagL0およびpredFlagL1と、参照インデックスrefIdxL0およびrefIdxL1と、BCW予測のインデックスbcw_idxと、輝度、色差成分のインデックスを指定する変数cIdxを入力し、BCW予測処理を行い、(nCbW)x(nCbH)の配列pbSamplesの予測画像の画素値を出力する。
SPSレベルでこの予測を使う否かを示すsps_bcw_enabled_flagがTUREで、変数weightedPredFlagが0で、2つの参照インデックスrefIdxL0およびrefIdxL1の示す参照ピクチャに重み予測係数がいずれもなく、かつ、符号化ブロックサイズが一定以下の場合に、明示的にCUレベルのシンタクスのbcw_idxを通知し、変数bcwIdxにその値を代入する。もし、bcw_idxが存在しない場合は、変数bcwIdxには0が代入される。
変数bcwIdxが0である場合、予測画像の画素値は次のように導出される。
pbSamples[x][y] = Clip3(0,(1 << bitDepth)- 1,
(predSamplesL0[x][y] + predSamplesL1[x][y] + offset2)>> shift2)
それ以外の場合(bcwIdxが0と等しくない場合)、以下が適用される。
変数w1はbcwWLut[bcwIdx]と等しく設定される。bcwWLut[k] = {4、5、3、10、-2}である。
変数w0は(8-w1)に設定される。また、予測画像の画素値は次のように導出される。
pbSamples[x][y] = Clip3(0、(1 << bitDepth)- 1、
(w0 * predSamplesL0[x][y] +
w1 * predSamplesL1[x][y] + offset3)>>(shift2 + 3))
AMVP予測モードにおいてBCW予測が用いられる場合、インター予測パラメータ復号部303はbcw_idxを復号し、BCW部30955に送付する。また、マージ予測モードにおいてBCW予測が用いられる場合、インター予測パラメータ復号部303は、マージインデックスmerge_idxを復号し、マージ候補導出部30361は各マージ候補のbcwIdxを導出する。具体的には、マージ候補導出部30361は、マージ候補の導出に用いた隣接ブロックの重み係数を、対象ブロックに用いるマージ候補の重み係数として用いる。つまり、マージモードでは、過去に用いた重み係数を、対象ブロックの重み係数として継承する。
(イントラ予測画像生成部310)
predModeがイントラ予測モードを示す場合、イントラ予測画像生成部310は、イントラ予測パラメータ導出部304から入力されたイントラ予測パラメータと参照ピクチャメモリ306から読み出した参照画素を用いてイントラ予測を行う。
逆量子化・逆変換部311は、パラメータ復号部302から入力された量子化変換係数を逆量子化して変換係数を求める。
加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
逆量子化・逆変換部311は、パラメータ復号部302から入力された量子化変換係数を逆量子化して変換係数を求める。
加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
(動画像符号化装置の構成)
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図12は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120、エントロピー符号化部104を含んで構成される。
予測画像生成部101はCU毎に予測画像を生成する。予測画像生成部101は既に説明したインター予測画像生成部309とイントラ予測画像生成部310を含んでおり、説明を省略する。
減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Tの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。
変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、量子化変換係数をパラメータ符号化部111及び逆量子化・逆変換部105に出力する。
逆量子化・逆変換部105は、動画像復号装置31における逆量子化・逆変換部311(図6)と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
パラメータ符号化部111は、ヘッダ符号化部1110、CT情報符号化部1111、CU符号化部1112(予測モード符号化部)を備えている。CU符号化部1112はさらにTU符号化部1114を備えている。以下、各モジュールの概略動作を説明する。
ヘッダ符号化部1110はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの符号化処理を行う。
CT情報符号化部1111は、QT、MT(BT、TT)分割情報等を符号化する。
CU符号化部1112はCU情報、予測情報、分割情報等を符号化する。
TU符号化部1114は、TUに予測誤差が含まれている場合に、QP更新情報と量子化予測誤差を符号化する。
CT情報符号化部1111、CU符号化部1112は、インター予測パラメータ(predMode、merge_flag、merge_idx、inter_pred_idc、refIdxLX、mvp_LX_idx、mvdLX)、イントラ予測パラメータ(intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_reminder、intra_chroma_pred_mode)、量子化変換係数等のシンタックス要素をパラメータ符号化部111に供給する。
エントロピー符号化部104には、パラメータ符号化部111から量子化変換係数と符号化パラメータ(分割情報、予測パラメータ)が入力される。エントロピー符号化部104はこれらをエントロピー符号化して符号化ストリームTeを生成し、出力する。
予測パラメータ導出部120は、インター予測パラメータ符号化部112、イントラ予測パラメータ符号化部113を含む手段であり、符号化パラメータ決定部110から入力されたパラメータからイントラ予測パラメータ及びイントラ予測パラメータを導出する。導出されたイントラ予測パラメータ及びイントラ予測パラメータは、パラメータ符号化部111に出力される。
(インター予測パラメータ符号化部の構成)
インター予測パラメータ符号化部112は図13に示すように、パラメータ符号化制御部1121、インター予測パラメータ導出部303を含んで構成される。インター予測パラメータ導出部303は動画像復号装置と共通の構成である。パラメータ符号化制御部1121は、マージインデックス導出部11211とベクトル候補インデックス導出部11212を含む。
マージインデックス導出部11211は、マージ候補等を導出し、インター予測パラメータ導出部303に出力する。ベクトル候補インデックス導出部11212は予測ベクトル候補等を導出し、インター予測パラメータ導出部303とパラメータ符号化部111に出力する。
(イントラ予測パラメータ符号化部113の構成)
イントラ予測パラメータ符号化部113は図14に示すように、パラメータ符号化制御部1131とイントラ予測パラメータ導出部304を備える。イントラ予測パラメータ導出部304は動画像復号装置と共通の構成である。
パラメータ符号化制御部1131はIntraPredModeYおよびIntraPredModeCを導出する。さらにmpmCandList[]を参照してintra_luma_mpm_flagを決定する。これらの予測パラメータをイントラ予測パラメータ導出部304とパラメータ符号化部111に出力する。
ただし、動画像復号装置と異なり、インター予測パラメータ導出部303、イントラ予測パラメータ導出部304への入力は符号化パラメータ決定部110、予測パラメータメモリ108であり、パラメータ符号化部111に出力する。
加算部106は、予測画像生成部101から入力された予測ブロックの画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記3種類のフィルタを含まなくてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。
参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。
符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、1つのセットを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
符号化パラメータ決定部110は、複数のセットの各々について情報量の大きさと符号化誤差を示すRDコスト値を算出する。RDコスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部102において算出された予測誤差の二乗和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部110は、算出したコスト値が最小となる符号化パラメータのセットを選択する。符号化パラメータ決定部110は決定した符号化パラメータをパラメータ符号化部111と予測パラメータ導出部120に出力する。
なお、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成部308、逆量子化・逆変換部311、加算部312、予測パラメータ導出部320、予測画像生成部101、減算部102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、動画像符号化装置11、動画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。動画像符号化装置11、動画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
(シンタクス)
図15(a)は、非特許文献1のSequence Paramenter Set(SPS)のシンタクスの一部を示している。
long_term_ref_pics_flagは、長期間ピクチャが使われるか否かを示すフラグである。
inter_layer_ref_pics_present_flagは、レイヤ間予測が使われるか否かを示すフラグである。sps_idr_rpl_present_flagは、IDRピクチャのスライスヘッダに参照ピクチャリストの構文要素が存在するか否かを示すフラグである。
rpl1_same_as_rpl0_flagは参照ピクチャリスト1のための情報が存在するか否かを示すフラグである。rpl1_same_as_rpl0_flagが1の場合、参照ピクチャリスト1のための情報は存在せず、num_ref_pic_lists_in_sps[0]およびref_pic_list_struct(0,rplsIdx)と同じであることを示す。
sps_smvd_enabled_flagは、対称動きベクトル差分モードを動きベクトルの符号化、復号に適用するか否かを示す。sps_smvd_enabled_flagが1の場合、対称動きベクトル差分モードが適用可能であることを示す。sps_smvd_enabled_flagが0の場合、対称動きベクトル差分モードが適用されないことを示す。
図15(b)は、非特許文献1でのPicture Parameter Set(PPS)のシンタクスの一部を示している。
rpl_info_in_ph_flagが1は、参照ピクチャリスト情報がピクチャヘッダに存在するか否かを示すフラグである。rpl_info_in_ph_flagが1に等しいことは、参照ピクチャリスト情報がピクチャヘッダに存在することを示す。rpl_info_in_ph_flagが0に等しいことは、参照ピクチャリスト情報がピクチャヘッダに存在せず、スライスヘッダに存在する可能性があることを示す。
図16は、非特許文献1のピクチャヘッダPHのシンタクスの一部を示している。
ph_inter_slice_allowed_flagは、ピクチャ内のスライスがインターであるか否かを示すフラグである。ph_inter_slice_allowed_flagが0の場合、ピクチャ内の全スライスのslice_typeが2(I Slice)であることを示す。ph_inter_slice_allowed_flagが1の場合は、ピクチャに含まれる少なくとも一つ以上のスライスのslice_typeが、0(B Slice)か1(P Slice)であることを示す。
mvd_l1_zero_flagは、双方向予測のL1予測において動きベクトルの差分をゼロにするモードを適用するか否かを示すフラグである。mvd_l1_zero_flagが1の場合、mvd_coding()を呼び出さず、動きベクトルの差分情報を示す変数MvdL1[x0][y0][compIdx]およびMvdCpL1[x0][y0][cpIdx][compIdx]を0に設定する。mvd_coding()は、参照ピクチャリスト1に対する動きベクトルの差分情報を通知するシンタクス構造である。mvd_l1_zero_flagが0の場合は、mvd_codingを呼び出して必要な動きベクトルの差分情報を符号化、復号する。
図17の(a)は、非特許文献1のスライスヘッダのシンタクスの一部を示している。
num_ref_idx_active_override_flagが1の場合、シンタクス要素num_ref_idx_active_minus1[0]がPおよびBスライスに存在し、シンタクス要素num_ref_idx_active_minus1[1]がBスライスに存在することを示す。num_ref_idx_active_override_flagが0の場合、シンタクス要素num_ref_idx_active_minus1[i]がPおよびBスライスに存在しないことを示す。も
し、存在しない場合、num_ref_idx_active_override_flagの値は1に等しいと推測する。
num_ref_idx_active_minus1[i]は、参照ピクチャリストiの実際に使われる参照ピクチャ数を導出するために用いられる。実際に用いられる参照ピクチャ数である変数NumRefIdxActive[i]は、図17(b)で示される方法で導出される。num_ref_idx_active_minus1[i]の値は、0以上14以下の値でなければならない。スライスがBスライス、かつ、num_ref_idx_active_override_flagは1、かつ、num_ref_idx_active_minus1[i]は存在しない場合、num_ref_idx_active_minus1[i]は0に等しいと推測する。
図17(b)は、非特許文献1の変数NumRefIdxActive[i]の導出方法を示している。参照ピクチャリストi(=0,1)に対して以下を実施する。Bスライス、または、Pスライスでi=0の場合は、num_ref_idx_active_override_flagが1に等しければ、変数NumRefIdxActive[i]に、num_ref_idx_active_minus1[i]の値に1を足した値を代入する。そうでない場合(Bスライス、または、Pスライスでi=0の場合であって、num_ref_idx_active_override_flagが0に等しい場合)、もし、num_ref_entries[i][RplsIdx[i]]の値が、num_ref_idx_default_active_minus1[i]に1を足した値以上ならば、変数NumRefIdxActive[i]に、num_ref_idx_default_active_minus1[i]に1を足した値を代入する。そうでなければ(Bスライス、または、Pスライスでi=0の場合であって、num_ref_idx_active_override_flagが0に等しくない場合)、変数NumRefIdxActive[i]に、num_ref_entries[i][RplsIdx[i]]の値を代入する。num_ref_idx_default_active_minus1[i]は、PPSで定義される変数NumRefIdxActive[i]のデフォルト値である。Iスライスの場合か、Pスライスでi=1の場合は、変数NumRefIdxActive[i]には0が代入される。
図18(a)は、非特許文献1の参照ピクチャリストを定義するref_pic_lists()のシンタクスを示している。ref_pic_lists()は、ピクチャヘッダまたはスライスヘッダに存在する場合がある。rpl_sps_flag[i]が1ならば、ref_pic_lists()の参照ピクチャリストiが、SPSのref_pic_list_struct(listIdx、rplsIdx)の1つに基づいて導出されることを示す。ここでlistIdxはiに等しい。
rpl_sps_flag[i]が0の場合は、参照ピクチャリストiが、ref_pic_list_struct(listIdx、rplsIdx)に基づいて導出されることを示す。ここでlistIdxはref_pic_lists()に直接含まれるiに等しい。rpl_sps_flag[i]が存在しない場合、以下が適用される。num_ref_pic_lists_in_sps[i]が0の場合、rpl_sps_flag[i]の値は0と推測する。そうでない場合(num_ref_pic_lists_in_sps[i]が0より大きい場合)、rpl1_idx_present_flagが0、かつ、iが1に等しければ、rpl_sps_flag[1]の値はrpl_sps_flag[0]に等しいと推測する。
rpl_idx[i]は、ref_pic_list_struct(listIdx、rplsIdx)のインデックスを示す。ref_pic_list_struct(listIdx、rplsIdx)は参照ピクチャiの導出に用いる。ここでlistIdxはiに等しい。もし、存在しない場合は、rpl_idx[i]の値は0に等しいと推測する。rpl_idx[i]の値は、0以上、num_ref_pic_lists_in_sps[i]-1以下の範囲内にある。rpl_sps_flag[i]が1で、num_ref_pic_lists_in_sps[i]が1の場合、rpl_idx[i]の値は0に等しいと推測する。rpl_sps_flag[i]が1で、rpl1_idx_present_flagが0の場合、rpl_idx[1]の値はrpl_idx[0]と等しいと推測する。変数RplsIdx[i]は、次のように導出される。
RplsIdx[i]=(rpl_sps_flag[i])? rpl_idx[i]:num_ref_pic_lists_in_sps[i]
図18(b)は、非特許文献1の参照ピクチャリスト構造ref_pic_list_struct(listIdx、rplsIdx)を定義するシンタクスを示している。
ref_pic_list_struct(listIdx、rplsIdx)は、SPS、ピクチャヘッダ、またはスライスヘッダに存在する場合がある。シンタクスがSPSに含まれているか、ピクチャヘッダに含
まれているか、スライスヘッダに含まれているかに応じて、以下が適用される。もし、ピクチャまたはスライスヘッダに存在する場合、ref_pic_list_struct(listIdx、rplsIdx)は、現在のピクチャ(スライスを含むピクチャ)の参照画像リストlistIdxを示す。SPSに存在する場合、ref_pic_list_struct(listIdx、rplsIdx)は、参照ピクチャリストlistIdxの候補を示す。そして現在のピクチャは、ピクチャヘッダまたはスライスヘッダから、SPSに含まれるref_pic_list_struct(listIdx、rplsIdx)のリストを、インデクス値で参照する。
ここで、num_ref_entries[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx、rplsIdx)の数を示す。num_ref_entries[listIdx][rplsIdx]の値は、0以上、MaxDpbSize+13以下の値をとる。MaxDpbSizeは、プロファイルレベルによって決まる復号ピクチャの数である。
ltrp_in_header_flag[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx、rplsIdx)に、長期間参照ピクチャが存在するか否かを示すフラグである。
inter_layer_ref_pic_flag[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx、rplsIdx)の参照ピクチャリストのi番目のエントリがレイヤ間予測か否かを示すフラグである。
st_ref_pic_flag[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx、rplsIdx)の参照ピクチャリストのi番目のエントリが短期間参照ピクチャか否かを示すフラグである。
abs_delta_poc_st[listIdx][rplsIdx][i]は、短期間参照ピクチャのPOCの差分絶対値を導出するためのシンタクス要素である。
strp_entry_sign_flag[listIdx][rplsIdx][i]は、正負の符号を導出するためのフラグである。
rpls_poc_lsb_lt[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx、rplsIdx)の参照ピクチャリストのi番目の長期間参照ピクチャのPOCを導出するためのシンタクス要素である。
ilrp_idx[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx、rplsIdx)の参照ピクチャリストのi番目のレイヤ間予測の参照ピクチャのレイヤ情報を導出するためのシンタクス要素である。
図19は、非特許文献1のCUのシンタクスの一部を示している。
sps_smvd_enabled_flagが1、かつ、mvd_l1_zero_flagがFALSE、かつ、inter_pred_idc[x0][y0]が双方向予測(PRED_BI)であり、かつ、inter_affine_flagがFALSEであり、変数RefIdxSymL0が-1より大きく、変数RefIdxSymL1が-1より大きい場合、当該CUにsym_mvd_flag[x0][y0]が存在する。sps_smvd_enabled_flagは対称動きベクトル差分モードを動きベクトルの符号化、復号に適用するか否かを示すフラグである。mvd_l1_zero_flagは、双方向予測のL1予測において動きベクトルの差分をゼロにするモードを適用するか否かを示すフラグである。inter_pred_idc[x0][y0]はインター予測識別子である。sym_mvd_flag[x0][y0]は、対象動きベクトル差分モードを適用するか否かを示すフラグである。sym_mvd_flag[x0][y0]が存在しない場合、0と推定する。ここで、配列のインデックスx0、y0は、ピクチャの左上を基準としたCUの左上の輝度の画素位置(x0,y0)を示す。
変数RefIdxSymL0は、対象動きベクトル差分モードの参照ピクチャリスト0の参照インデクス値であり、変数RefIdxSymL1は、対象動きベクトル差分モードの参照ピクチャリスト1の参照インデクス値である。
Bスライスの双方向予測の場合で、二つの参照ピクチャが現在のピクチャを挟む関係の場合、現在のピクチャから参照ピクチャリスト0で最も小さい参照インデクス値が変数RefIdxSymL0に設定され、現在のピクチャから参照ピクチャリスト1で最も小さい参照インデクス値が変数RefIdxSymL1に設定される。もし条件に合致するインデクス値が存在しない場合は、-1が代入される。
inter_affine_flag[x0][y0]は、現在のCUについて、PまたはBスライスを復号するときに、アフィンモデルベースの動き補償を使用して現在のCUの予測画素を生成するか否かを示すフラグである。
次に、もし、inter_pred_idc[x0][y0]がPRED_L1でない場合、つまり、参照ピクチャリスト0を用いた単方向予測か、双方向予測の場合、L0予測のための動きベクトル情報が符号化、復号される。そうでない場合、変数MvdL0[x0][y0][0]と変数MvdL0[x0][y0][1]に0を代入する。L0予測のための動きベクトルの差分情報において、変数MvdL0[x0][y0][0]が水平方向の値、変数MvdL0[x0][y0][1]が垂直方向の値を示す。
L0予測のための動きベクトル情報が符号化、復号される場合、もし、NumRefIdxActive[0]が1より大きくかつsym_mvd_flag[x0][y0]がFALSEであれば、ref_idx_l0[x0][y0]が存在する。
ref_idx_l0[x0][y0]は、現在のCUの参照ピクチャリスト0の参照ピクチャインデックスを示す。ref_idx_l0[x0][y0]が存在しない場合、以下のように推定する。sym_mvd_flag[x0][y0]が1の場合、ref_idx_l0[x0][y0]は、RefIdxSymL0の値に設定する。それ以外の場合(sym_mvd_flag[x0][y0]が0の場合)、ref_idx_l0[x0][y0]は0とする。
次に、もし、inter_pred_idc[x0][y0]がPRED_L0でない場合、つまり、参照ピクチャリスト1を用いた単方向予測か、双方向予測の場合、L1予測のための動きベクトル情報が符号化、復号される。そうでない場合、変数MvdL1[x0][y0][0]と変数MvdL1[x0][y0][1]に0を代入する。
L1予測のための動きベクトル情報が符号化、復号される場合、もし、NumRefIdxActive[1]が1より大きくかつsym_mvd_flag[x0][y0]がFALSEであれば、ref_idx_l1[x0][y0]が存在する。
ref_idx_l1[x0][y0]は、現在のCUの参照ピクチャリスト0の参照ピクチャインデックスを示す。ref_idx_l1[x0][y0]が存在しない場合、以下のように推定する。sym_mvd_flag[x0][y0]が1の場合、ref_idx_l1[x0][y0]は、RefIdxSymL1の値に設定する。それ以外の場合(sym_mvd_flag[x0][y0]が0の場合)、ref_idx_l1[x0][y0]は0とする。
変数MotionModelIdc[x0][y0]は、CUの動き補償のモデルを表しており、0が通常のブロック動き補償、1が4パラメータのアフィン動き補償、2が6パラメータのアフィン動き補償を示す。MotionModelIdc[x0][y0]の値に応じて、関数mvd_coding(x0, y0, refList ,cpIdx)を用いて、動きベクトルの差分情報を符号化、復号する。ここで、引数refListが参照ピクチャリストの値を与え、引数cpIdxは、変数MotionModelIdc[x0][y0]の値を与える。
mvp_l0_flag[x0][y0]は、参照ピクチャリスト0の2種類の動きベクトル予測インデックスを示す。mvp_l0_flag[x0][y0]が存在しない場合、0と推測する。
mvd_l1_zero_flagが1でinter_pred_idc[x0][y0]がPRED_BI、つまり双方向予測の場合は、L1予測のための動きベクトルの差分情報をゼロとするモードを適用する。この場合、変数MvdL1[x0][y0][0]と変数MvdL1[x0][y0][1]に0を代入する。また、アフィン予測のための6つの動きベクトルの差分情報MvdCpL1[x0][y0][0][0]、MvdCpL1[x0][y0][0][1]、MvdCpL1[x0][y0][1][0]、MvdCpL1[x0][y0][1][1]、MvdCpL1[x0][y0][2][0]、MvdCpL1[x0][y0][1][1]に0を代入する。
そうでない場合、次の処理を行う。もし、sym_mvd_flag[x0][y0]が1ならば、L1予測のための動きベクトルの差分情報のである変数MvdL1[x0][y0][0]に-MvdL0[x0][y0][0]を代入し、変数MvdL1[x0][y0][1]に-MvdL0[x0][y0][1]を代入し、L1予測の動きベクトルの差分情報を符号化、復号しない。sym_mvd_flag[x0][y0]がFALSEの場合は、L1予測のための動きベクトルの差分情報を関数mvd_codingで符号化、復号する。
次にMotionModelIdc[x0][y0]の値に応じて、アフィン予測の場合のL1予測のための動きベクトルの差分情報を関数mvd_codingで符号化、復号する。
mvp_l1_flag[x0][y0]は、参照ピクチャリスト1の2種類の動きベクトル予測インデックスを示す。mvp_l1_flag[x0][y0]が存在しない場合、0と推測する。
非特許文献1に記載の方法の問題として、ピクチャヘッダでmvd_l1_zero_flagが、定義されている点があげられる。非特許文献1においては、一つのピクチャ内に複数のスライスを存在させることが可能で、それぞれのスライスが異なる参照ピクチャリストを選択することが可能である。mvd_l1_zero_flagを1にすることによる符号化効率の効果は、参照ピクチャリストに依存する。従って、一つのピクチャ内に複数のスライスが存在する場合、選択する参照ピクチャによっては、著しく符号化効率が劣化する可能性がある。
そこで、本実施の形態では、二つの参照ピクチャが現在のピクチャに対して同方向(二つとも過去、または、二つとも未来)であることを示す変数IdenticalDirecitionFlagを定義する。そしてmvd_l1_zero_flagの符号化、復号処理の条件に加える。つまり、本実施の形態では、参照ピクチャリストが、現在のピクチャに対して、二つの参照画像が過去と未来で挟むような構造はとらない。
具体的には、図20のように、mvd_l1_zero_flagが1、かつ、変数IdenticalDirecitionFlagが1、かつ、inter_pred_idc[x0][y0]がPRED_BI(双方向予測)の場合、L1予測のための動きベクトルの差分情報が0であることを示す。この場合、変数MvdL1[x0][y0][0]と変数MvdL1[x0][y0][1]に0を代入する。また、アフィン予測のための動きベクトルの差分情報MvdCpL1[x0][y0][0][0]、MvdCpL1[x0][y0][0][1]、MvdCpL1[x0][y0][1][0]、MvdCpL1[x0][y0][1][1]、MvdCpL1[x0][y0][2][0]、MvdCpL1[x0][y0][1][1]に0を代入する。
変数IdenticalDirecitionFlagは、PまたはBピクチャのスライスヘッダを符号化または復号しスライスの参照ピクチャリストが作成された後であるが、CUの符号化または復号の前に設定される。
変数IdenticalDirecitionFlagは、次のように導出する。
もし、現在のスライスの参照ピクチャリスト0と参照ピクチャリスト1の全ての短期参照ピクチャaPicと現在のピクチャCurrPicとのPOCの差DiffPicOrderCnt(aPic, CurrPic)が
0より小さい場合、IdenticalDirecitionFlagは1に設定する。
そうでない場合、もし、CurrPicとaPicとのPOCの差DiffPicOrderCnt(CurrPic, aPic)が0より小さい場合、IdenticalDirecitionFlagは1に設定する。
それ以外の場合、IdenticalDirecitionFlagは0に設定する。
ここで、変数PicOrderCntValは、各ピクチャに紐付けられているDPBからの出力順序を示すPOC(Picture Order Count)を表す。PicOrderCnt(picX)は、ピクチャpicXのPicOrderCntValを示す関数であり、関数DiffPicOrderCnt(picA, picB)は、次のように示される。
DiffPicOrderCnt(picA, picB) = PicOrderCnt(picA) - PicOrderCnt(picB)
もし、aPicとCurrPicとのPOCの差DiffPicOrderCnt(aPic, CurrPic)が0より小さい場合、全ての短期参照ピクチャaPicは、現在のピクチャCurrPicに対して過去にあることになる。
また、もし、CurrPicとaPicとのPOCの差DiffPicOrderCnt(CurrPic, aPic)が0より小さい場合、全ての短期参照ピクチャaPicは、現在のピクチャCurrPicに対して未来にあることになる。
変数IdenticalDirecitionFlagの別の導出方法としては、二つの参照ピクチャが現在のピクチャに対して、二つとも過去にある場合のみ、変数IdenticalDirecitionFlagを1に設定するように定義してもよい。つまり、参照ピクチャリストは、現在のピクチャに対して、二つの参照画像が過去と未来で挟むような構造ではない。その場合、次のように導出する。
もし、現在のスライスの参照ピクチャリスト0と参照ピクチャリスト1の全ての短期参照ピクチャaPicと現在のピクチャCurrPicとのPOCの差DiffPicOrderCnt(aPic, CurrPic)が0より小さい場合、IdenticalDirecitionFlagは1に設定する。
それ以外の場合、IdenticalDirecitionFlagは0に設定する。
なお、このフラグは、従来、非特許文献1で変数NoBackwadPredFlagとして使われているものを置き換えてもよい。
また、別の実施の形態としては、ref_idx_l0[x0][y0]とref_idx_l1[x0][y0]が決定された後に、変数IdenticalDirecitionFlagを設定してもよい。この場合、変数IdenticalDirecitionFlagは、次のように導出する。
もし、参照ピクチャリスト0と参照ピクチャリスト1の二つの短期参照ピクチャaPicと現在のピクチャCurrPicとのPOCの差DiffPicOrderCnt(aPic, CurrPic)が0より小さい場合、IdenticalDirecitionFlagは1とする。
そうでない場合、もし、CurrPicとaPicとのPOCの差DiffPicOrderCnt(CurrPic, aPic)が0より小さい場合、IdenticalDirecitionFlagは1に設定する。
それ以外の場合、IdenticalDirecitionFlagは0に設定する。
また、別の実施の形態としては、変数IdenticalDirecitionFlagは、次のように導出する。
もし、参照ピクチャリスト0と参照ピクチャリスト1の二つの短期参照ピクチャaPicと現在のピクチャCurrPicとのPOCの差DiffPicOrderCnt(aPic, CurrPic)が0より小さい場合、IdenticalDirecitionFlagは1に設定する。
それ以外の場合、IdenticalDirecitionFlagは0に設定する。
〔応用例〕
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
まず、上述した動画像符号化装置11及び動画像復号装置31を、動画像の送信及び受信に利用できることを、図2を参照して説明する。
図2のPROD_Aは、動画像符号化装置11を搭載した送信装置PROD_Aの構成を示したブロック図である。図に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_A1として利用される。
送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていてもよい。図においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
図2のPROD_Bは、動画像復号装置31を搭載した受信装置PROD_Bの構成を示したブロック図である。図に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置31は、この復号部PROD_B3として利用される。
受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から
取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線または有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
次に、上述した動画像符号化装置11及び動画像復号装置31を、動画像の記録及び再生に利用できることを、図3を参照して説明する。
図3のPROD_Cは、上述した動画像符号化装置11を搭載した記録装置PROD_Cの構成を示したブロック図である。図に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_C1として利用される。
なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc:登録商標)やBD(Blu-ray Disc:登録商標)などのように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD(Hard Disk Drive)レコーダなどが挙げられる(この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5または画像処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
図3PROD_Dは、上述した動画像復号装置31を搭載した再生装置PROD_Dの構成を示したブロックである。図に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置31は、この復号部PROD_D2として利用される。
なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型またはタブレット型PC(この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
(ハードウェア的実現およびソフトウェア的実現)
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU
(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random
Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM(Compact Disc Read-Only Memory)/MOディスク(Magneto-Optical disc)/MD(Mini Disc)/DVD(Digital Versatile Disc:登録商標)/CD-R(CD Recordable)/ブルーレイディスク(Blu-ray
Disc:登録商標)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasable and Programmable Read-Only Memory:登録商標)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna television/Cable Television)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(Institute of Electrical and Electronic Engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDA(Infrared Data Association)やリモコンのような赤外線、BlueTooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance:登録商標)、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。