JPWO2018061522A1 - 復号装置、符号化装置、復号方法、および、符号化方法 - Google Patents
復号装置、符号化装置、復号方法、および、符号化方法 Download PDFInfo
- Publication number
- JPWO2018061522A1 JPWO2018061522A1 JP2018541987A JP2018541987A JPWO2018061522A1 JP WO2018061522 A1 JPWO2018061522 A1 JP WO2018061522A1 JP 2018541987 A JP2018541987 A JP 2018541987A JP 2018541987 A JP2018541987 A JP 2018541987A JP WO2018061522 A1 JPWO2018061522 A1 JP WO2018061522A1
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- motion vector
- vector
- unit
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
以下、図面を参照しながら本発明の実施形態について説明する。
本明細書で用いる演算子を以下に記載する。
本実施形態に係る画像符号化装置11および画像復号装置31の詳細な説明に先立って、画像符号化装置11によって生成され、画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図1の(a)に示すように、ビデオパラメータセット(Video Parameter Set)、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。ここで#の後に示される値はレイヤIDを示す。図1では、#0と#1すなわちレイヤ0とレイヤ1の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図1の(b)に示すように、スライスS0〜SNS-1を含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
符号化スライスでは、処理対象のスライスSを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスSは、図1の(c)に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。
符号化スライスデータでは、処理対象のスライスデータSDATAを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスデータSDATAは、図1の(d)に示すように、符号化ツリーユニット(CTU:Coding Tree Unit)を含んでいる。CTUは、スライスを構成する固定サイズ(例えば64x64)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
図1の(e)に示すように、処理対象の符号化ツリーユニットを復号するために画像復号装置31が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な4分木分割により分割される。再帰的な4分木分割により得られる木構造のノードのことを符号化ノード(CN:Coding Node)と称する。4分木の中間ノードは、符号化ノードであり、符号化ツリーユニット自身も最上位の符号化ノードとして規定される。CTUは、分割フラグ(cu_split_flag)を含み、cu_split_flagが1の場合には、4つの符号化ノードCNに分割される。cu_split_flagが0の場合には、符号化ノードCNは分割されず、1つの符号化ユニット(CU:Coding Unit)をノードとして持つ。符号化ユニットCUは符号化ノードの末端ノードであり、これ以上分割されない。符号化ユニットCUは、符号化処理の基本的な単位となる。
図1の(f)に示すように、処理対象の符号化ユニットを復号するために画像復号装置31が参照するデータの集合が規定されている。具体的には、符号化ユニットは、予測ツリー、変換ツリー、CUヘッダCUHから構成される。CUヘッダでは予測モード、分割方法(PU分割モード)等が規定される。
予測ユニット(PU:Prediction Unit)の予測画像は、PUに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ(インター予測パラメータ)について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、動きベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0リスト、L1リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が1の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「XXであるか否かを示すフラグ」と記す場合、フラグが0以外(たとえば1)をXXである場合、0をXXではない場合とし、論理否定、論理積などでは1を真、0を偽と扱う(以下同様)。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
参照ピクチャリストは、参照ピクチャメモリ306に記憶された参照ピクチャからなるリストである。図3は、参照ピクチャおよび参照ピクチャリストの一例を示す概念図である。図3の(a)において、矩形はピクチャ、矢印はピクチャの参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双予測ピクチャ、矩形中の数字は復号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図3の(b)に、参照ピクチャリストの例を示す。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、1つのピクチャ(スライス)が1つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0およびL1リストRefPicList1の2つの参照ピクチャリストを持つ。対象ピクチャがB3の場合の参照ピクチャは、I0、P1、B2であり、参照ピクチャはこれらのピクチャを要素として持つ。個々の予測ユニットでは、参照ピクチャリストRefPicListX中のどのピクチャを実際に参照するかを参照ピクチャインデックスrefIdxLXで指定する。図では、refIdxL0およびrefIdxL1により参照ピクチャP1とB2が参照される例を示す。
予測パラメータの復号(符号化)方法には、マージ予測(merge)モードとAMVP(Adaptive Motion Vector Prediction、適応動きベクトル予測)モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードは、予測リスト利用フラグpredFlagLX(またはインター予測識別子inter_pred_idc)、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍PUの予測パラメータから導出する用いるモードである。AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めるモードである。なお、動きベクトルmvLXは、予測ベクトルmvpLXを識別する予測ベクトルインデックスmvp_LX_idxと差分ベクトルmvdLXとして符号化される。
動きベクトルmvLXは、異なる2つのピクチャ上のブロック間のずれ量を示す。動きベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。
インター予測識別子inter_pred_idcと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のとおりであり、相互に変換可能である。
predFlagL0 = inter_pred_idc & 1
predFlagL1 = inter_pred_idc >> 1
なお、インター予測パラメータは、予測リスト利用フラグを用いても良いし、インター予測識別子を用いてもよい。また、予測リスト利用フラグを用いた判定は、インター予測識別子を用いた判定に置き替えてもよい。逆に、インター予測識別子を用いた判定は、予測リスト利用フラグを用いた判定に置き替えてもよい。
双予測BiPredであるかのフラグbiPredは、2つの予測リスト利用フラグがともに1であるかによって導出できる。たとえば以下の式で導出できる。
フラグbiPredは、インター予測識別子が2つの予測リスト(参照ピクチャ)を使うことを示す値であるか否かによっても導出できる。たとえば以下の式で導出できる。
上記式は、以下の式でも表現できる。
なお、PRED_BIはたとえば3の値を用いることができる。
次に、本実施形態に係る画像復号装置31の構成について説明する。図5は、本実施形態に係る画像復号装置31の構成を示す概略図である。画像復号装置31は、エントロピー復号部301、予測パラメータ復号部(予測画像復号装置)302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部(予測画像生成装置)308、逆量子化・逆DCT部311、及び加算部312を含んで構成される。
次に、インター予測パラメータ復号部303の構成について説明する。
ここで、画像符号化装置11(詳細は後述する)における、あるPUの予測モードがサブブロック予測モードであるか否かを示すサブブロック予測モードフラグsubPbMotionFlagの導出方法について説明する。画像符号化装置11は、後述する空間サブブロック予測SSUB、時間サブブロック予測TSUB、アフィン予測AFFINE、マッチング予測MATのいずれを用いたかに基づいて、サブブロック予測モードフラグsubPbMotionFlagを導出する。たとえば、あるPUで選択された予測モードをN(たとえばNは選択されたマージ候補を示すラベル)とした場合には、以下の式によりサブブロック予測モードフラグsubPbMotionFlagを導出してもよい。
ここで||は、論理和を示す(以下同様)。
また、サブブロック予測に含まれる各予測モード(たとえば、時空間サブブロック予測、アフィン予測、マッチング予測)によって予測が行われる際に、各サブブロック予測に対応する予測モードの処理の中で、subPbMotionFlagを1に設定する構成としてもよい。
なお|=は、別の条件との和演算(OR)でsubPbMotionFlagが導出されてもよいことを意味する。すなわち、subPbMotionFlagは、次のように、予測モードNの判定と小PUサイズ判定との和演算で導出してもよい(以下同様)。
さらに、たとえば、CUサイズが8x8(log2CbSize == 3)で分割タイプが2NxN、Nx2N、NxNである場合をサブブロック予測に含めてもよい。すなわち、subPbMotionFlagは、次のように導出してもよい。
さらに、たとえば、CUサイズが8x8(log2CbSize == 3)で分割タイプがNxNである場合をサブブロック予測に含めてもよい。すなわち、subPbMotionFlagは、次のように導出してもよい。
また、サブブロック予測と判定する場合として、PUの幅もしくは高さが4である場合を含めてもよい。すなわち、サブブロック予測モードフラグsubPbMotionFlagは、次のように導出してもよい。
画像復号装置31のサブブロック予測パラメータ導出部3037では、上述と逆の方法でsubPbMotionFlagからサブブロックの予測モードを導出する。
次に、サブブロック予測部について説明する。
時空間サブブロック予測部30371は、時間的に対象PUに隣接する参照画像上(たとえば直前のピクチャ)のPUの動きベクトル、もしくは、空間的に対象PUに隣接するPUの動きベクトルから、対象PUを分割して得られるサブブロックの動きベクトルを導出する。具体的には、参照画像上のPUの動きベクトルを対象PUが参照する参照ピクチャに合わせてスケーリングすることにより、対象PU中の各サブブロックの動きベクトルspMvLX[xi][yi] (xi = xPb + nSbW * i, yj = yPb + nSbH * j, i=0, 1, 2,・・・,nPbW / nSbW - 1、j=0, 1, 2,・・・,nPbH / nSbH - 1)を導出する(時間サブブロック予測)。ここで、(xPb, yPb)は対象PUの左上座標、nPbW, nPbHは対象PUのサイズ、nSbW, nSbHはサブブロックのサイズである。
アフィン予測部30372は、対象PUのアフィン予測パラメータを導出する。本実施形態では、アフィン予測パラメータとして、対象PUの2つの制御点(V0、V1)の動きベクトル(mv0_x, mv0_y)(mv1_x, mv1_y)を導出する。具体的には、対象PUの隣接PUの動きベクトルから予測することにより、各制御点の動きベクトルを導出してもよいし、さらに、制御点の動きベクトルとして導出された予測ベクトルと符号化データから導出される差分ベクトルの和により、各制御点の動きベクトルを導出してもよい。
spMvLX[xi][yi][1]=mv0_y + (mv1_y - mv0_y) / nPbW * (xi + nSbW/2) + (mv1_x - mv0_x) / nPbH * (yi + nSbH/2)
ここで、xPb, yPbは、対象PUの左上座標、nPbW, nPbHは、対象PUの幅と高さ、nSbW, nSbHはサブブロックの幅と高さである。
マッチング予測部30373は、複数のマッチング方法(バイラテラルマッチングまたはテンプレートマッチング)の何れかのマッチング処理を行うことにより、PUを構成するサブブロックの動きベクトルspMvLXを導出する。図14は、(a)バイラテラルマッチング(Bilateral matching)、(b)テンプレートマッチング(Template matching)を説明するための図である。マッチング予測モードは、マージモードの一つのマージ候補(マッチング候補)として選択される。
(xPos0,yPos0)=(xCur + MV0_x, yCur + MV0_y)
によって特定される左上座標(xPos0,yPos0)を有するBlock_Aと、参照ピクチャインデックスRef1によって指定される参照画像(参照ピクチャBと呼ぶ)内の領域であって、
(xPos1,yPos1)=(xCur + MV1_x, xCur + MV1_y)=(xCur - MV0_x * TD1/TD0, yCur - MV0_y * TD1/TD0)
によって特定される左上座標(xPos1,yPos1)を有するBlock_Bとが設定される。ここで、TD0、及びTD1は、図14の(a)に示すように、それぞれ、対象ピクチャCur_Picと参照ピクチャAとのピクチャ間距離、及び対象ピクチャCur_Picと参照ピクチャBとのピクチャ間距離を表している。
(xPos,yPos)=(xCur + MV0_x, yCur + MV0_y)
によって特定される左上座標(xPos, yPos)を有する参照ブロックBlock_Aが特定される。ここで、(xCur, yCur)は、サブブロックCur_blockの左上座標である。
空間マージ候補導出処理として、マージ候補導出部30361は、所定の規則に従って、予測パラメータメモリ307が記憶している予測パラメータ(予測リスト利用フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLX)を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象PUから予め定めた範囲内にあるPU(例えば、復号対象PUの左下端、左上端、右上端にそれぞれ接するPUの全部または一部)のそれぞれに係る予測パラメータである。マージ候補導出部30361によって導出されたマージ候補はマージ候補格納部30363に格納される。
時間マージ導出処理として、マージ候補導出部30361は、復号対象PUの右下の座標を含む参照画像中のPUの予測パラメータを予測パラメータメモリ307から読みだしマージ候補とする。参照画像の指定方法は、例えば、スライスヘッダにおいて指定された参照ピクチャインデックスrefIdxLXでも良いし、復号対象PUに隣接するPUの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。マージ候補導出部30361によって導出されたマージ候補はマージ候補格納部30363に格納される。
結合マージ導出処理として、マージ候補導出部30361は、既に導出され、マージ候補格納部30363に格納された2つの異なる導出済マージ候補の動きベクトルと参照ピクチャインデックスを、それぞれL0、L1の動きベクトルとして組み合わせることで結合マージ候補を導出する。マージ候補導出部30361によって導出されたマージ候補はマージ候補格納部30363に格納される。
ゼロマージ候補導出処理として、マージ候補導出部30361は、参照ピクチャインデックスrefIdxLXが0であり、動きベクトルmvLXのX成分、Y成分が共に0であるマージ候補を導出する。マージ候補導出部30361によって導出されたマージ候補はマージ候補格納部30363に格納される。
図11は、本実施形態に係る予測画像生成部308に含まれるインター予測画像生成部309の構成を示す概略図である。インター予測画像生成部309は、動き補償部(予測画像生成装置)3091、重み予測部3094を含んで構成される。
動き補償部3091は、インター予測パラメータ復号部303から入力された、インター予測パラメータ(予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLX)に基づいて、参照ピクチャメモリ306から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャにおいて、復号対象PUの位置を起点として、動きベクトルmvLXだけずれた位置にあるブロックを読み出すことによって補間画像(動き補償画像)を生成する。ここで、動きベクトルmvLXの精度が整数精度でない場合には、動き補償フィルタと呼ばれる小数位置の画素を生成するためのフィルタを施して、動き補償画像を生成する。
重み予測部3094は、入力される動き補償画像predSamplesLXに重み係数を乗算することによりPUの予測画像を生成する。予測リスト利用フラグの一方(predFlagL0もしくはpredFlagL1)が1の場合(単予測の場合)で、重み予測を用いない場合には入力された動き補償画像predSamplesLX(LXはL0もしくはL1)を画素ビット数bitDepthに合わせる以下の式の処理を行う。
ここで、shift1 = 14 - bitDepth、offset1=1<<(shift1-1)である。また、参照リスト利用フラグの両者(predFlagL0とpredFlagL1)が1の場合(双予測BiPredの場合)で、重み予測を用いない場合には、入力された動き補償画像predSamplesL0、predSamplesL1を平均し画素ビット数に合わせる以下の式の処理を行う。
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。
ここで、log2WDは所定のシフト量を示す変数である。
<動きベクトル復号処理>
以下では、図9を参照して、本実施形態に係る動きベクトル復号処理について具体的に説明する。
図9は、インター予測パラメータ復号制御部3031によって行われるインター予測シンタックス復号処理の流れを示すフローチャートである。図9の説明における以下の説明において、特に明示のない場合、各処理はインター予測パラメータ復号制御部3031によって行われる。
merge_flag != 0(merge_flagが0でないか)
が判断される。
以上の動きベクトル導出処理は、以下のように表現できる。図15は、動き予測モード決定フローの概要を示すフローチャート図である。動き予測モード決定フローは、インター予測パラメータ復号部303により実行される。動き予測モードとは、動き補償予測に用いる動きベクトルの導出方法を決定するモードである。
一方、ステップS102において、merge_flag==1が偽(S102でNO)の場合、AMVPモードが選択される。より具体的には、AMVP予測パラメータ導出部3032によって、S121において、差分ベクトルmvdLXが復号され、S122において、予測ベクトルインデックスmvp_LX_idxが復号される。更に、S123において、予測ベクトル候補pmvCandを導出する。続いて、S124において、動きベクトルmvLXを次式により導出する。
(マッチング処理による動きベクトル導出処理)
以下では、マッチングモードにおける動きベクトル導出(パターンマッチベクトル導出)処理の流れについて図17、および図18を参照して説明する。図17は、パターンマッチベクトル導出処理の流れを示すフローチャート図である。図18は、パターンマッチベクトル導出処理を説明するための図である。
次に、図19を参照して、ローカルサーチのアルゴリズムについて説明する。図19は、動き探索パターンを説明するための図である。なお、動き探索に用いる方法(stepMethod)を何回繰り返すかを示すステップ数(stepIter、最大ラウンド数)は所定の値に設定する。後述するように、サブブロックレベルの最大ラウンド数stepIterSubPUは、ブロックレベルの最大ラウンド数stepIterPU未満とするとよい。
まず、ステップサーチの一例として、ダイヤモンドサーチについて、図19の(a)、(b)を用いて説明する。図19の(a)、(b)は、ダイヤモンドサーチを適用したときの動き探索パターンを示す図である。図19は、7PU(横)×5PU(縦)の探索範囲の例を示している。また、探索候補点を設定するために探索開始点の座標に足し合わせるオフセット候補(offsetCand)が、
offsetCand[8] = {(0, 2), (1, 1), (2, 0), (1, -1), (0, -2), (-1, -1), (-2, 0), (-1, 1)}
で表される8つであるようなダイヤモンドサーチの場合を例示している。マッチング予測部30373は、探索開始点の座標(位置)startMVにオフセット候補(offsetCand)の各値(offsetCand[Idx])を足し合わすことで、8つの探索候補点の座標を選択する。このように選択された各探索候補点は、探索開始方向nDirectStart = 0から探索終了方向nDirectEnd = 7までの8つの方向にそれぞれ対応している。なお、オフセット候補(offsetCand)の数として、ダイヤモンドサーチでは通常8を用いるが、他の値、たとえば、8より大きい任意の値、または8より小さい任意の値であってもよい。ただし、オフセット候補の数を大きくすればそれだけ動き探索の処理に要する時間および演算数が増大するため、適当な値に選択することが望ましい。
bestIdx = -1
ここでmcost(X)は、探索ベクトルXでのマッチングコストを導出する関数である。
例えば、最も小さいマッチングコストを与える探索候補点(探索開始点P0も含む)が図19の(a)の一段目に示す点2である場合、つまり、Idx = 2の探索候補点candMV[Idx]のマッチングコストcandCost (candCost = mcost (candMV[Idx]) )が、最小コストminCost未満(candCost < minCost)であった場合、マッチング予測部30373は、最適探索候補インデックスbestIdxをIdxに更新して、最適コストminCost、最適ベクトルbestMVを更新する。これは、以下のように表すことができる。
minCost = candCost
bestMV = candMV[Idx]
なお、各ラウンドで、探索開始点を中心に探索候補点を設定し、設定された探索候補点についてのマッチングコストを導出、評価し、最適なマッチングコストとなる探索候補点を選択する一通りの処理をここでは「ステップラウンド処理」と呼ぶ。ステップサーチではこの「ステップラウンド処理」を繰り返し実行する。各回のステップラウンド処理では、探索ラウンド数numIterを1だけインクリメントする。
なお、最適ベクトルbestMVの更新があったか否かの判定は、最適ベクトルbestMVが探索開始点とは異なるか否かのほか、bestIdxが初期値(-1)以外の値に更新されたか否か、もしくは、minCostが開始点の初期コスト以外の値に更新された否かなどにより判定することもできる。なお、次のラウンドで利用される探索開始インデックスnDirectStart、探索終了インデックスnDirectEndを、最適ベクトルbestMVの位置(最適候補インデックスIdx)に依存して、以下の式により決定すれば、すでに探索した探索点を再度探索することがなく、効率的な探索が可能となる。
nDirectStart = bestIdx - nStep
nDirectEnd = bestIdx - nStep
次に、図19の(a)の二段目に示すように、1回目の探索(numIter = 1)において、マッチング予測部30373は、図19の(a)の一段目において最適ベクトルbestMVの終点として選択された点2を今回の探索における初期ベクトルstartMV(探索開始点P1)の起点とし、探索開始点P1を中心としてダイヤモンド状に配置する複数の点であって、未だ探索候補点として選択されていない点を探索候補点(図19の(a)の二段目の点0〜4)として、順に選択しマッチングコストを評価する。つまり、Idx = nDirectStart..nDirectEnd(ここではnDirectStart = 0, nDirectEnd = 4)の示す探索候補点を評価する。例えば、最も小さいマッチングコストを与える探索候補点(探索開始点P1も含む)が図19の(a)の二段目に示す点1である場合、つまり、Idx = 1の探索候補点candMV[Idx]のマッチングコストcandCost (candCost = mcost (candMV[Idx]) )が、最小コストminCost未満(candCost < minCost)であった場合、マッチング予測部30373は、前のラウンドと同様に最適ベクトルbestMVを更新する。
クロスサーチにおいて、マッチング予測部30373は、探索開始点(図19の(a)の三段目の探索開始点P2)を中心として、上下左右(十字)の位置の点であって、上述のダイヤモンドサーチでは探索候補点として選択されなかった点を探索候補点として選択する。例えば、探索開始点P2の上下左右の点0〜3を探索候補点のうち、最も小さいマッチングコストを与える探索候補点(探索開始点P2も含む)が図19の(b)に示す点1である場合、マッチング予測部30373は、予測ブロックPUに関する最適ベクトルbestMVの終点として、図19の(b)に示す点1を選択する。
続いて、ラスタサーチについて説明する。マッチング予測部30373がラスタサーチを適用した動き探索を行う場合、マッチング予測部30373は、探索範囲内の探索点を一定間隔で網羅的に選択し、これらのマッチングコストをラスタスキャン(raster scan)順に評価する。ここで、ラスタスキャンとは、探索範囲の左上を起点とし、左側から右へと右端に到達するまで画素を調べ、右端に到達した場合には、行を1つだけ下がってまた左端から右へと順に画素を調べる網羅的な検索方法である。
for (x = 0; x < blkW; x++) { // xに関するループ
ラスタスキャン内の処理
}
}
なお、ラスタスキャンの代わりに、拡張ラスタスキャンを用いてもよい。拡張ラスタスキャンは、ラスタスキャンのようにあらかじめ定められたスキャン順によって、ブロック内の各点を走査するものである。たとえば、中心から周辺に向かって渦巻き状に走査するスパイラルスキャンなどである。
次に、本実施形態に係る画像符号化装置11の構成について説明する。図4は、本実施形態に係る画像符号化装置11の構成を示すブロック図である。画像符号化装置11は、予測画像生成部101、減算部102、DCT・量子化部103、エントロピー符号化部104、逆量子化・逆DCT部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、予測パラメータ符号化部111を含んで構成される。予測パラメータ符号化部111は、インター予測パラメータ符号化部(動きベクトル生成装置)112及びイントラ予測パラメータ符号化部113を含んで構成される。
次に、インター予測パラメータ符号化部112の構成について説明する。インター予測パラメータ符号化部112は、図12のインター予測パラメータ復号部303に対応する手段であり、図10に構成を示す。
上述したように、実施形態1では、パターンマッチベクトルの導出処理において、サブブロック単位で動きベクトルを導出している。また、サブブロック単位で、テンプレートマッチングまたはバイラテラルマッチングを用いている(図17のステップS1055〜S1060参照)。しかし、対象ブロックの上端、または左端に接していないサブブロックはテンプレートを取得することができないため、テンプレートマッチングを行うことができない。具体的に、図20を参照して説明する。図20は、サブブロックにおいてテンプレートマッチングを行う場合の弊害を示す図である。図20に示すように、対象ブロックに含まれるサブブロックのうち、対象ブロックの上端、または左端に接していないサブブロックは、対象ブロックの上隣接領域または左隣接領域と接していないため、当該領域からテンプレートを取得することができない。よって、これらのサブブロックにおいては、ブロックレベルの動きベクトルをそのまま用いることになり、符号化効率が低下してしまう。
本実施形態では、マッチング予測部30373は、fruc_merge_idxが2の場合、すなわちテンプレートマッチングを示している場合、ブロックレベルではテンプレートマッチングを行い、サブブロックレベルではバイラテラルマッチングを行う。これにより、テンプレートを取得できず、テンプレートマッチングが行えないということを回避することができ、符号化効率の低下を防止することができる。
上述した実施形態では、マッチング予測部30373は、サブロックレベルでは、全てバイラテラルマッチングを行う構成とした。これに限られず、例えば、バイラテラルマッチングを行うことにより、予測精度が向上すると推定された場合のみ、バイラテラルマッチングを行う構成であってもよい。
バイラテラルマッチングの性能推定は、例えば、以下の方法により行うことができる。なお、バイラテラルマッチングの性能推定はマッチング予測部30373によって実行される。
対象ピクチャとのピクチャ間距離の絶対値が等しい2枚の参照ピクチャが存在する場合、バイラテラルマッチングを用いることで性能が向上すると推定する。すなわち、対象ピクチャの2枚の参照ピクチャのピクチャ間距離TD0とTD1とが1:1になる場合、バイラテラルマッチングを用いることで性能が向上すると推定する。これは、以下の理由による。TD0とTD1とが異なる場合、対象ピクチャと2枚の参照ピクチャとの差分の大きさが異なることになる。これにより、探索精度に悪影響を与えてしまう。一方、TD0とTD1との絶対値が同じであれば、上記のような差分は生じず、探索精度に悪影響を与えることはない。
TD1 = POC(CurrPic) - POC(Ref1)
そして、ピクチャ間距離TD0、TD1が1:1、つまり、絶対値が一致していれば、バイラテラルマッチングを用いることで性能が向上すると推定する。すなわち、以下の式の通りである。ここで、bilateralAvailableはバイラテラルマッチングで性能が向上すると推定されたか否かを示すフラグである。バイラテラルマッチングで性能が向上すると推定された場合には、bilateralAvailableは真(true)、推定されなかった場合には、bilateralAvailableは偽(false)となる。
(推定方法2)
対象ピクチャとのピクチャ間距離TD0、TD1が閾値より小さい場合、性能が向上すると推定してもよい。ピクチャ間距離が大きくなるほどピクチャ間の差分が大きくなり、探索精度が悪くなる。そこで、ピクチャ間距離が閾値よりも小さい場合のみ、バイラテラルマッチングを用いることで性能が向上すると推定することにより、探索制度が悪い場合を除くことができる。
bilateralAvailable = true : bilateralAvailable = false
TH:閾値。例えば、閾値として「2」を設定することができる。
上述した推定方法1と推定方法2とを組み合わせてもよい。すなわち、ピクチャ間距離TD0、TD1の絶対値が一致しており、かつ、閾値よりも小さい場合に、バイラテラルマッチングを用いることで性能が向上すると推定してもよい。
bilateralAvailable = true : bilateralAvailable = false
なお、閾値THと比較するのはTD0ではなくTD1でもかまわない。
本実施形態では、マッチング予測部30373は、対象ブロックにおけるサブブロックのうち、対象ブロックの上端、または左端に接していないサブブロックについて、テンプレートマッチング以外の方法で動きベクトルを導出する。上述したように、対象ブロックの上端、または左端に接していないサブブロックは、テンプレートを取得することができないため、テンプレートマッチング以外の方法を用いることにより、適切に符号化を行うことができ、符号化効率の低下を防止することができる。
まず、対象ブロックの上端、または左端に接していないサブブロックについては、バイラテラルマッチングを用いる方法が考えられる。すなわち、図23に示すように、マッチングモードを示すパラメータfruc_merge_idxが2の場合、すなわちテンプレートマッチングを示している場合、サブブロックのうち、対象ブロックの上端、または左端に接していないサブブロックについてはテンプレートマッチングを行い、それ以外のサブブロックについては、バイラテラルマッチングを行う。
対象ブロックの上端、または左端に接していないサブブロックについては、当該サブブロックの周辺サブブロックの動きベクトルを用いる方法も考えられる。
mv.y = MEDIAN(mvA.y, mvB.y, mvC.y)
ここで、mvA:左のサブブロックの動きベクトル、mvB:上のサブブロックの動きベクトル、mvC:右上のサブブロックの動きベクトル、MEDIAN(a,b,c):引数a,b,cの中央値を返す、という意味である。
mv.y = MEDIAN(mvA.y, mvB.y, blkMv.y)
ここで、mvA:左のサブブロックの動きベクトル、mvB:上のサブブロックの動きベクトル、blkMv:ブロックレベルの動きベクトル、MEDIAN(a,b,c):引数a,b,cの中央値を返す、という意味である。
(実施形態3−1)
まず、図27、図28を参照して、図16のステップS123の予測ベクトル候補pmvCand導出処理の詳細を説明する。図27は、予測ベクトル候補導出処理の流れを示すフローチャート図である。図28は、ベクトル候補の導出処理を説明するための図である。図27に示すように、予測ベクトル候補導出処理では、ベクトル候補導出部3033が、まず、ステップS1231において、対象ブロックの左隣接領域から左隣接ベクトル候補mvLXAを導出する。具体的には、図28に示す左隣接領域の候補1または候補2の動きベクトルが左隣接ベクトル候補mvLXAとなる。なお、図中の数字はスキャン順を示す。左隣接ベクトル候補mvLXAの導出処理では、対象ブロックの左隣接領域を、下側から上側にスキャンし、対象ブロックの参照画像と同一の参照画像に対する動きベクトルを予測ベクトル候補とする。
上述した実施形態3−1では、予測ベクトル候補リストの作成において、左隣接ベクトル候補、上隣接ベクトル候補、および時間ベクトル候補を予測ベクトル候補をとするとともに、パターンマッチベクトル候補を予測ベクトル候補としている。そして、左隣接ベクトル候補、上隣接ベクトル候補、および時間ベクトル候補を導出するために参照するブロックと、パターンマッチベクトル候補の導出時にその初期ベクトルを導出するために参照するブロックとは同一である。図31の(a)、(b)に示すように、左隣接ベクトル候補mvLXAを導出すためのブロック、上隣接ベクトル候補mvLXBを導出すためのブロック、時間ベクトル候補mvLXColを導出すためのブロックは、すべて、パターンマッチベクトル導出時に初期ベクトルを導出するために用いるブロックである。
上述した実施形態3−1では、予測ベクトル候補リストを作成するために、予測ベクトルとして使用されるか否かに関わらず、常にパターンマッチベクトル候補を導出しなければならない。予測ベクトル候補リストの先頭がパターンマッチベクトル候補と一致しているか否かを判定して、予測ベクトル候補リストの予測ベクトル候補を後ろに1つずつずらすかを決めているためである。
上述した実施形態3−3では、パターンマッチベクトル候補を常に予測ベクトル候補リストの先頭に格納している。しかし、テンプレートの取得ができない場合など、パターンマッチベクトル候補の導出が出来ない場合であっても、常に予測ベクトル候補リストの先頭をパターンマッチベクトル候補用に空けておくのは無駄である。
(xCurr == 0 && yCurr == 0) ?
PMMVCandAvailable = false : PMMVCandAvailable = true
また、テンプレートの座標が別スライス、テンプレートの座標が別タイルの場合も、テンプレートの取得が不可能と判断できる。
また、上述した実施形態における画像符号化装置11、画像復号装置31の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。画像符号化装置11、画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
上述した画像符号化装置11及び画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
また、上述した画像復号装置31および画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
(関連出願の相互参照)
本出願は、2016年9月27日に出願された特願2016-188790に対して優先権の利益を主張するものであり、当該出願を参照することにより、その内容の全てが本書に含まれる。
31 画像復号装置(動画像復号装置、予測画像生成装置)
112 インター予測パラメータ符号化部(動きベクトル生成装置)
1125、3037 サブブロック予測パラメータ導出部(動きベクトル導出部)
303 インター予測パラメータ復号部(動きベクトル生成装置)
3033 ベクトル候補導出部(予測ベクトル候補導出部)
11253、30373 マッチング予測部(第1の動きベクトル探索部、第2の動きベクトル探索部)
Claims (11)
- 動画像の符号化または復号に用いられる予測画像を生成するために参照される動きベクトルを生成する動きベクトル生成装置において、
マッチング処理により予測ブロック毎に動きベクトルを探索する第1の動きベクトル探索部と、
上記第1の動きベクトル探索部により選択された動きベクトルを参照して、上記予測ブロック内に含まれる複数のサブブロックの各々について、マッチング処理により動きベクトルを探索する第2の動きベクトル探索部と、
を備え、
上記動きベクトル生成装置は、ある対象予測ブロックに対して上記第1の動きベクトル探索部においてテンプレートマッチングによる局所的探索を行い、該対象予測ブロックに対して上記第2の動きベクトル探索部においてバイラテラルマッチングを用いて局所的探索を行う動作を含む
ことを特徴とする動きベクトル生成装置。 - 上記第2の動きベクトル探索部は、上記バイラテラルマッチングを用いることにより導出する動きベクトルの精度が向上すると推定される場合、上記動きベクトルの探索を行うことを特徴とする請求項1に記載の動きベクトル生成装置。
- 動画像の符号化または復号に用いられる予測画像を生成するために参照される動きベクトルを生成する動きベクトル生成装置において、
マッチング処理により予測ブロック毎に動きベクトルを探索する第1の動きベクトル探索部と、
上記第1の動きベクトル探索部により選択された動きベクトルを参照して、上記予測ブロック内に含まれる複数のサブブロックの各々について、マッチング処理により動きベクトルを導出する動きベクトル導出部と、
を備え、
上記第1の動きベクトル探索部は、予測ブロックに関する初期ベクトル探索を行ったうえで、局所的探索を行うことにより動きベクトルを探索するものであり、
上記動きベクトル導出部は、導出対象となる上記サブブロックの、上記予測ブロックにおける位置に応じて上記動きベクトルの導出方法を選択する
ことを特徴とする動きベクトル生成装置。 - 上記動きベクトル導出部は、サブブロックに関する初期ベクトル探索を行ったうえで、局所的探索を行うことにより動きベクトルを導出するものであり、
導出対象となる上記サブブロックの、上記予測ブロックにおける位置が、該予測ブロックの上端または左端と接している場合、テンプレートマッチングを用いてマッチング処理を行い、
導出対象となる上記サブブロックの、上記予測ブロックにおける位置が、該予測ブロックの上端または左端と接していない場合、バイラテラルマッチングを用いてマッチング処理を行う
ことを特徴とする請求項3に記載の動きベクトル生成装置。 - 上記動きベクトル導出部は、
導出対象となる上記サブブロックの、上記予測ブロックにおける位置が、該予測ブロックの上端または左端と接している場合、テンプレートマッチングを用いて、サブブロックに関する初期ベクトル探索を行ったうえで、局所的探索を行うことにより動きベクトルを導出し、
導出対象となる上記サブブロックの、上記予測ブロックにおける位置が、該予測ブロックの上端または左端と接していない場合、当該サブブロックの周辺ブロックにおける動きベクトルを用いて、上記動きベクトルを導出する
ことを特徴とする請求項3に記載の動きベクトル生成装置。 - 動画像の符号化または復号に用いられる予測画像を生成するために参照される動きベクトルを生成する動きベクトル生成装置であって、AMVP(Adaptive Motion Vector Prediction)により予測ブロック毎に動きベクトル導出する動きベクトル生成装置において、
上記動きベクトルを導出するために用いる予測ベクトル候補を導出し、予測ベクトル候補リストに格納する予測ベクトル候補導出部を備え、
上記予測ベクトル候補導出部は、
上記予測ベクトル候補の1つを、対象ブロックに関する初期ベクトル探索を行ったうえで局所的探索を行うことにより導出するとともに、
上記初期ベクトル探索で探索された初期ベクトルと同じ予測ベクトル候補は上記予測ベクトル候補リストに格納しない
ことを特徴とする動きベクトル生成装置。 - 動画像の符号化または復号に用いられる予測画像を生成するために参照される動きベクトルを生成する動きベクトル生成装置であって、AMVP(Adaptive Motion Vector Prediction)により予測ブロック毎に動きベクトル導出する動きベクトル生成装置において、
上記動きベクトルを導出するために用いる予測ベクトル候補を導出し、予測ベクトル候補リストに格納する予測ベクトル候補導出部を備え、
上記予測ベクトル候補導出部は、
上記予測ベクトル候補の1つを、マッチング処理により導出するとともに、
上記マッチング処理により導出された予測ベクトル候補を常に上記予測ベクトル候補リストの先頭に格納する
ことを特徴とする動きベクトル生成装置。 - 上記予測ベクトル候補導出部は、マッチング処理により予測ベクトル候補を導出することが不可能な場合、上記マッチング処理により導出された予測ベクトル候補以外の予測ベクトル候補を上記予測ベクトル候補リストの先頭に格納する
ことを特徴とする請求項7に記載の動きベクトル生成装置。 - 請求項1〜8の何れか1項に記載の動きベクトル生成装置を備え、
上記動きベクトル生成装置によって生成された動きベクトルを参照して予測画像を生成する予測画像生成装置。 - 請求項9に記載の予測画像生成装置を備え、
上記予測画像に対して、残差画像を加算または減算することによって符号化対象画像を復元することを特徴とする動画像復号装置。 - 請求項9に記載の予測画像生成装置を備え、
上記予測画像と符号化対象画像との残差を符号化することを特徴とする動画像符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022048049A JP7421586B2 (ja) | 2016-09-27 | 2022-03-24 | 復号装置および符号化装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016188790 | 2016-09-27 | ||
JP2016188790 | 2016-09-27 | ||
PCT/JP2017/029783 WO2018061522A1 (ja) | 2016-09-27 | 2017-08-21 | 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022048049A Division JP7421586B2 (ja) | 2016-09-27 | 2022-03-24 | 復号装置および符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018061522A1 true JPWO2018061522A1 (ja) | 2019-07-18 |
JP7048503B2 JP7048503B2 (ja) | 2022-04-05 |
Family
ID=61759441
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018541987A Active JP7048503B2 (ja) | 2016-09-27 | 2017-08-21 | 復号装置、符号化装置、復号方法、および、符号化方法 |
JP2022048049A Active JP7421586B2 (ja) | 2016-09-27 | 2022-03-24 | 復号装置および符号化装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022048049A Active JP7421586B2 (ja) | 2016-09-27 | 2022-03-24 | 復号装置および符号化装置 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7048503B2 (ja) |
WO (1) | WO2018061522A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018193968A1 (ja) | 2017-04-19 | 2018-10-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
WO2018193967A1 (ja) * | 2017-04-19 | 2018-10-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
EP3451665A1 (en) * | 2017-09-01 | 2019-03-06 | Thomson Licensing | Refinement of internal sub-blocks of a coding unit |
WO2019049684A1 (ja) * | 2017-09-08 | 2019-03-14 | ソニー株式会社 | 画像処理装置および方法 |
US20190387247A1 (en) * | 2018-06-19 | 2019-12-19 | Qualcomm Incorporated | Signaling sub-prediction unit motion vector predictor |
WO2020003274A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Checking order of motion candidates in lut |
JP7295230B2 (ja) * | 2018-06-29 | 2023-06-20 | 北京字節跳動網絡技術有限公司 | スライス/タイル/lcuの行ごとのルックアップテーブルのリセット |
KR20240007299A (ko) | 2018-06-29 | 2024-01-16 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 룩업 테이블의 업데이트: fifo, 제약된 fifo |
JP7460617B2 (ja) | 2018-06-29 | 2024-04-02 | 北京字節跳動網絡技術有限公司 | Lut更新条件 |
WO2020003261A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Selection from multiple luts |
EP3791586A1 (en) | 2018-06-29 | 2021-03-17 | Beijing Bytedance Network Technology Co. Ltd. | Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks |
GB2588006B (en) | 2018-06-29 | 2023-03-22 | Beijing Bytedance Network Tech Co Ltd | Number of motion candidates in a look up table to be checked according to mode |
EP4325861A3 (en) | 2018-06-29 | 2024-03-06 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and amvp |
CN110662054B (zh) * | 2018-06-29 | 2023-01-06 | 北京字节跳动网络技术有限公司 | 用于视频处理的方法、装置、计算机可读存储介质 |
WO2020008346A1 (en) | 2018-07-02 | 2020-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Rules on updating luts |
CN118175325A (zh) | 2018-08-28 | 2024-06-11 | 华为技术有限公司 | 候选运动信息列表的构建方法、帧间预测方法及装置 |
WO2020053798A1 (en) | 2018-09-12 | 2020-03-19 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for starting checking hmvp candidates depend on total number minus k |
US11750836B2 (en) * | 2018-09-13 | 2023-09-05 | Interdigital Vc Holdings, Inc. | Virtual temporal affine candidates |
CN111432219B (zh) * | 2019-01-09 | 2023-06-06 | 华为技术有限公司 | 一种帧间预测方法及装置 |
JP7275286B2 (ja) | 2019-01-10 | 2023-05-17 | 北京字節跳動網絡技術有限公司 | Lut更新の起動 |
WO2020143824A1 (en) | 2019-01-13 | 2020-07-16 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and shared merge list |
CN113330739A (zh) | 2019-01-16 | 2021-08-31 | 北京字节跳动网络技术有限公司 | Lut中的运动候选的插入顺序 |
JP7215243B2 (ja) * | 2019-03-08 | 2023-01-31 | 株式会社Jvcケンウッド | 画像符号化装置 |
WO2020192611A1 (en) | 2019-03-22 | 2020-10-01 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between merge list construction and other tools |
WO2021045657A2 (en) * | 2020-01-07 | 2021-03-11 | Huawei Technologies Co., Ltd. | Motion vector range derivation for enhanced interpolation filter |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3155509B2 (ja) * | 1997-06-17 | 2001-04-09 | 日本電信電話株式会社 | 動きベクトル探索方法および動きベクトル探索装置ならびに動きベクトル探索プログラムを記憶した記憶媒体 |
JP2012129791A (ja) * | 2010-12-15 | 2012-07-05 | Hitachi Kokusai Electric Inc | 画像符号化装置 |
US11477477B2 (en) * | 2015-01-26 | 2022-10-18 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
-
2017
- 2017-08-21 WO PCT/JP2017/029783 patent/WO2018061522A1/ja active Application Filing
- 2017-08-21 JP JP2018541987A patent/JP7048503B2/ja active Active
-
2022
- 2022-03-24 JP JP2022048049A patent/JP7421586B2/ja active Active
Non-Patent Citations (2)
Title |
---|
CHEN, JIANLE ET AL.: "Algorithm Description of Joint Exploration Test Model 3", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 3RD MEETING: G, vol. JVET-C1001 (version 3), JPN6021032694, 6 July 2016 (2016-07-06), pages 1001 - 3, ISSN: 0004577217 * |
CHEN, JIANLE ET AL.: "Further improvements to HMKTA-1.0", ITU - TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP, vol. VCEG-AZ07 (version 3), JPN6021032695, June 2015 (2015-06-01), pages 07 - 2, ISSN: 0004577218 * |
Also Published As
Publication number | Publication date |
---|---|
JP7421586B2 (ja) | 2024-01-24 |
JP7048503B2 (ja) | 2022-04-05 |
WO2018061522A1 (ja) | 2018-04-05 |
JP2022091871A (ja) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7421586B2 (ja) | 復号装置および符号化装置 | |
US11979602B2 (en) | Motion vector generation device, a prediction image generation device, a video decoding device and a video coding device | |
JP7026049B2 (ja) | アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 | |
CN109792535B (zh) | 预测图像生成装置、运动图像解码装置以及运动图像编码装置 | |
WO2018199001A1 (ja) | 画像復号装置及び画像符号化装置 | |
US20200021837A1 (en) | Video decoding apparatus and video coding apparatus | |
US11212551B2 (en) | Motion vector derivation apparatus, video decoding apparatus, and video coding apparatus | |
WO2018230493A1 (ja) | 動画像復号装置、動画像符号化装置、予測画像生成装置及び動きベクトル導出装置 | |
JP2021005741A (ja) | 画像符号化装置及び画像復号装置 | |
US20190158860A1 (en) | Video decoding device | |
CN108605138B (zh) | 预测图像生成装置、运动图像解码装置、以及运动图像编码装置 | |
WO2018173895A1 (ja) | 予測画像生成装置、動画像復号装置、および動画像符号化装置 | |
WO2018110180A1 (ja) | 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 | |
JP2020043500A (ja) | 動画像符号化装置及び動画像復号装置 | |
WO2018173432A1 (ja) | 予測画像生成装置、動画像復号装置、および動画像符号化装置 | |
JP2019201254A (ja) | 画像復号装置、および画像符号化装置 | |
WO2019131778A1 (ja) | 画像復号装置及び画像符号化装置 | |
WO2018037919A1 (ja) | 画像復号装置、画像符号化装置、画像復号方法、および画像符号化方法 | |
WO2018061550A1 (ja) | 画像復号装置及び画像符号化装置 | |
JP2020036101A (ja) | 画像復号装置および画像符号化装置 | |
JP2021016021A (ja) | 動画像符号化装置、動画像復号装置および動きベクトル導出装置 | |
WO2019065537A1 (ja) | 動き補償フィルタ装置、画像復号装置および動画像符号化装置 | |
JP2021057621A (ja) | 動画像符号化装置、動画像復号装置および予測画像生成装置 | |
JP2020022116A (ja) | 動画像符号化装置及び動画像復号装置 | |
JP2020145484A (ja) | 動画像符号化装置及び動画像復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190325 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200803 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7048503 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |