JP7026064B2 - Image decoder, image decoding method and program - Google Patents
Image decoder, image decoding method and program Download PDFInfo
- Publication number
- JP7026064B2 JP7026064B2 JP2019044305A JP2019044305A JP7026064B2 JP 7026064 B2 JP7026064 B2 JP 7026064B2 JP 2019044305 A JP2019044305 A JP 2019044305A JP 2019044305 A JP2019044305 A JP 2019044305A JP 7026064 B2 JP7026064 B2 JP 7026064B2
- Authority
- JP
- Japan
- Prior art keywords
- subblock
- image
- prediction
- block
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/583—Motion compensation with overlapping blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、画像復号装置、画像復号方法及びプログラムに関する。 The present invention relates to an image decoding device, an image decoding method and a program.
従来、イントラ予測又はインター予測、予測残差信号の変換・量子化、エントロピー符号化を用いた画像符号化方式が提案されている(例えば、非特許文献1参照)。 Conventionally, an image coding method using intra-prediction or inter-prediction, conversion / quantization of predicted residual signal, and entropy coding has been proposed (see, for example, Non-Patent Document 1).
また、インター予測方式の1つとして、アフィン動き補償予測方式が、次世代動画像符号化方式WCで提案されている(例えば、非特許文献2参照)。アフィン動き補償予測方式は、動き補償予測方式の一種であり、動きベクトル及び平行移動モデルにより予測画像を生成するように構成されている。 Further, as one of the inter-prediction methods, an affine motion compensation prediction method has been proposed in the next-generation moving image coding method WC (see, for example, Non-Patent Document 2). The affine motion compensation prediction method is a kind of motion compensation prediction method, and is configured to generate a prediction image by a motion vector and a translation model.
図8に示すように、アフィン動き補償予測方式では、平行移動モデルを適用するブロックサイズを4×4画素のサブブロックとする一方で、アフィン変換によりサブブロックごとに異なる動きベクトルを導出する。 As shown in FIG. 8, in the affine motion compensation prediction method, the block size to which the translation model is applied is a subblock of 4 × 4 pixels, while a different motion vector is derived for each subblock by the affine transformation.
ここで、アフィン変換のパラメータは、既存の画像符号化方式との整合性を取るため、アフィン動き補償予測を行う対象ブロックの頂点における動きベクトルとして表現する。なお、各頂点における動きベクトルを「制御点」と呼ぶ。 Here, the parameters of the affine transformation are expressed as motion vectors at the vertices of the target block for which the affine motion compensation prediction is performed in order to be consistent with the existing image coding method. The motion vector at each vertex is called a "control point".
図9(a)に示す4パラメータモデルの場合の任意の画素位置における動きベクトル(mvx,mvy)は、(式1)によって導出され、図9(b)に示す6パラメータモデルの場合の任意の画素位置における動きベクトル(mvx,mvy)は、(式2)によって導出される。 The motion vector (mv x , mv y ) at an arbitrary pixel position in the case of the 4-parameter model shown in FIG. 9A is derived by (Equation 1), and in the case of the 6-parameter model shown in FIG. 9B. The motion vector (mv x , mvy ) at an arbitrary pixel position is derived by (Equation 2).
ここで、(mv0x,mv0y)は、対象ブロック(サブブロック)の左上頂点の制御点(動きベクトル)であり、(mv1x,mv1y)は、対象ブロックの右上頂点の制御点であり、(mv2x,mv2y)は、対象ブロックの左下頂点の制御点である。また、Wは、対象ブロックの幅であり、Hは、対象ブロックの高さである。 Here, (mv 0x , mv 0y ) is the control point (motion vector) of the upper left vertex of the target block (subblock), and (mv 1x , mv 1y ) is the control point of the upper right vertex of the target block. , (Mv 2x , mv 2y ) are control points at the lower left vertex of the target block. Further, W is the width of the target block, and H is the height of the target block.
また、かかる動きベクトル(mvx,mvy)を導出する式は、任意の画素位置に適用可能だが、上述のように、4×4画素のサブブロックで1つの動きベクトルを共有する。 Further, the equation for deriving the motion vector (mv x , mvy ) can be applied to any pixel position, but as described above, one motion vector is shared by the subblocks of 4 × 4 pixels.
しかしながら、上述の技術では、既存の動き補償予測方式との整合性を優先するために、4×4画素のサブブロック単位でしかアフィン動き補償予測を行うことができず、予測性能が低いというという問題点があった。 However, in the above-mentioned technology, in order to prioritize consistency with the existing motion compensation prediction method, affine motion compensation prediction can be performed only in units of 4 × 4 pixel subblocks, and the prediction performance is low. There was a problem.
そこで、本発明は、上述の課題に鑑みてなされたものであり、サブブロック数の増加割合を一定に抑えつつ、予測性能を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。 Therefore, the present invention has been made in view of the above-mentioned problems, and provides an image decoding device, an image decoding method, and a program capable of improving the prediction performance while keeping the increase rate of the number of subblocks constant. The purpose is.
本発明の第1の特徴は、画像復号装置であって、異なる分割位置で予測対象ブロックを分割することによって第1サブブロック及び第2サブブロックを取得するように構成されているサブブロック分割部と、前記第1サブブロック及び前記第2サブブロックに対応するアフィン変換によって得られた動きベクトルを出力するように構成されている動きベクトル生成部と、前記動きベクトルに基づいて、前記第1サブブロック及び前記第2サブブロックの予測画像を生成するように構成されている動き補償予測部と、前記第1サブブロックの予測画像及び前記第2サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成するように構成されている補間部とを有することを要旨とする。 The first feature of the present invention is an image decoding device, which is a subblock division unit configured to acquire a first subblock and a second subblock by dividing a prediction target block at different division positions. And the motion vector generator configured to output the motion vector obtained by the affine transformation corresponding to the first subblock and the second subblock, and the first sub based on the motion vector. The prediction target block is based on the motion compensation prediction unit configured to generate the prediction image of the block and the second subblock, the prediction image of the first subblock, and the prediction image of the second subblock. The gist is to have an interpolation unit configured to generate a predicted image of.
本発明の第2の特徴は、画像復号方法であって、異なる分割位置で予測対象ブロックを分割することによって第1サブブロック及び第2サブブロックを取得する工程Aと、前記第1サブブロック及び前記第2サブブロックに対応するアフィン変換によって得られた動きベクトルを出力する工程Bと、前記動きベクトルに基づいて、前記第1サブブロック及び前記第2サブブロックの予測画像を生成する工程Cと、前記第1サブブロックの予測画像及び前記第2サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成する工程Dとを有することを要旨とする。 The second feature of the present invention is an image decoding method, which is a step A of acquiring a first subblock and a second subblock by dividing a prediction target block at different division positions, and the first subblock and the first subblock. A step B for outputting a motion vector obtained by an affine transformation corresponding to the second subblock, and a step C for generating a predicted image of the first subblock and the second subblock based on the motion vector. It is a gist to have a step D of generating a predicted image of the prediction target block based on the predicted image of the first subblock and the predicted image of the second subblock.
本発明の第3の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、 異なる分割位置で予測対象ブロックを分割することによって第1サブブロック及び第2サブブロックを取得するように構成されているサブブロック分割部と、前記第1サブブロック及び前記第2サブブロックに対応するアフィン変換によって得られた動きベクトルを出力するように構成されている動きベクトル生成部と、前記動きベクトルに基づいて、前記第1サブブロック及び前記第2サブブロックの予測画像を生成するように構成されている動き補償予測部と、前記第1サブブロックの予測画像及び前記第2サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成するように構成されている補間部とを有することを要旨とする。 A third feature of the present invention is a program that causes a computer to function as an image decoding device, and the image decoding device divides a prediction target block at different division positions to perform a first subblock and a second subblock. A sub-block dividing unit configured to acquire A motion compensation prediction unit configured to generate a predicted image of the first subblock and the second subblock based on the motion vector, and a predicted image of the first subblock and the second subblock. The gist is to have an interpolation unit configured to generate a predicted image of the predicted target block based on the predicted image of the sub-block.
本発明によれば、サブブロック数の増加割合を一定に抑えつつ、予測性能を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide an image decoding device, an image decoding method and a program capable of improving the prediction performance while suppressing the increase rate of the number of subblocks to a constant level.
以下、本発明の実施の形態について図面を参照しながら、説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The components in the following embodiments can be replaced with existing components as appropriate, and various variations including combinations with other existing components are possible. Therefore, the description of the following embodiments does not limit the content of the invention described in the claims.
(第1実施形態)
図1は、本発明の第1実施形態に係る画像処理システム1の機能ブロックの一例を示す図である。画像処理システム1は、動画像を符号化して符号化データを生成する画像符号化装置100と、画像符号化装置100により生成された符号化データを復号する画像復号装置200とを備える。画像符号化装置100と画像復号装置200との間では、上述の符号化データが、例えば、伝送路を介して送受信される。
(First Embodiment)
FIG. 1 is a diagram showing an example of a functional block of the
図2は、画像符号化装置100の機能ブロックの一例を示す図である。図2に示すように、画像符号化装置100は、インター予測部101と、イントラ予測部102と、変換・量子化部103と、エントロピー符号化部104と、逆変換・逆量子化部105と、インループフィルタ106と、フレームバッファ107とを備える。
FIG. 2 is a diagram showing an example of a functional block of the
インター予測部101は、入力画像及びフレームバッファ109から入力されるフィルタ後局所復号画像(後述)を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。
The
イントラ予測部102は、入力画像及びフィルタ前局所復号画像(後述)を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。
The
変換・量子化部103は、減算部106から入力される残差信号に対して直交変換処理を行い、かかる直交変換処理により得られる変換係数に対して量子化処理を行って得られる量子化係数レベル値を出力するように構成されている。
The conversion /
エントロピー符号化部104は、変換・量子化部103から入力される量子化係数レベル値、変換ユニットサイズ及び変換サイズ、動き補償方式等をエントロピー符号化して符号化データとして出力するように構成されている。
The
逆変換・逆量子化部105は、変換・量子化部103から入力される量子化係数レベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた変換係数に対して逆直交変換処理を行って得られる残差信号を出力するように構成されている。
The inverse transformation /
減算部106は、入力画像とイントラ予測画像或いはインター予測画像との差分である残差信号を出力するように構成されている。
The
加算部107は、逆変換・逆量子化部105から入力される残差信号とイントラ予測画像或いはインター予測画像とを加算して得られるフィルタ前局所復号画像を出力するように構成されている。
The
インループフィルタ部108は、加算部107から入力されるフィルタ前局所復号画像に対して、デブロッキングフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。
The in-
フレームバッファ109は、フィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部に供給する。
The
図3は、画像復号装置200のブロック図である。図3に示すように、画像復号装置200は、エントロピー復号部201と、逆変換・逆量子化部202と、インター予測部203と、イントラ予測部204と、加算部205と、インループフィルタ206と、フレームバッファ207とを備える。
FIG. 3 is a block diagram of the
エントロピー復号部201は、符号化データをエントロピー復号し、量子化係数レベル値、変換ユニットサイズ及び変換サイズ、動き補償方式等を導出して出力するように構成されている。
The
逆変換・逆量子化部202は、エントロピー復号部201から入力される量子化係数レベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた結果に対して逆直交変換処理を行って残差信号として出力するように構成されている。
The inverse transformation /
インター予測部203は、フレームバッファ207から入力されるフィルタ後局所復号画像を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。
The
イントラ予測部204は、加算部205から入力されるフィルタ前局所復号画像を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。
The
加算部205は、逆変換・逆量子化部202から入力される残差信号と予測画像(インター予測部203から入力されるインター予測画像或いはイントラ予測部204から入力されるイントラ予測画像)とを加算して得られるフィルタ前局所復号画像を出力するように構成されている。
The addition unit 205 combines the residual signal input from the inverse conversion /
ここで、予測画像とは、インター予測部203から入力されるインター予測画像及びイントラ予測部204から入力されるイントラ予測画像のうち、エントロピー復号により得られた最も高い符号化性能の期待される予測方法により算出された予測画像のことである。
Here, the prediction image is the prediction with the highest expected coding performance obtained by entropy decoding among the inter prediction image input from the
インループフィルタ206は、加算部205から入力されるフィルタ前局所復号画像に対してデブロックフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。
The in-
フレームバッファ207は、インループフィルタ206から入力されるフィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部203に供給するとともに、復号済み画像として出力するように構成されている。
The
図4~図6を参照して、画像符号化装置100のインター予測部101及び画像復号装置200のインター予測部203について説明する。画像符号化装置100のインター予測部101の機能及び画像復号装置200のインター予測部203の機能は、基本的に同一であるため、以下、画像復号装置200のインター予測部203の機能を例に挙げて説明する。
The
図4に示すように、画像復号装置200のインター予測部203は、通常サブブロック分割部101Aと、追加サブブロック分割部101Bと、動きベクトル生成部101Cと、アフィン動きベクトル生成部101D1/101D2と、フレームバッファ101Eと、動き補償予測部101F1~101F3と、加算部101Gと、選択部101Hとを備える。
As shown in FIG. 4, the
通常サブブロック分割部101Aは、第1分割位置で予測対象ブロックを分割することによって第1サブブロックを取得するように構成されている。
Normally, the
具体的には、通常サブブロック分割部101Aは、入力された予測対象ブロックの座標及びブロックサイズに基づいて予測対象ブロックを分割して第1サブブロックを取得し、かかる第1サブブロックの座標及びブロックサイズを出力するように構成されている。
Specifically, the normal
例えば、図5(b)に示すように、通常サブブロック分割部101Aは、第1分割位置Xにおいて予測対象ブロックを分割し、16個のサブブロック(4×4の画素からなるブロック)B1を取得するように構成されていてもよい。
For example, as shown in FIG. 5B, the normal
追加サブブロック分割部101Bは、第1分割位置から所定画素分だけずれた位置である第2分割位置で予測対象ブロックを分割することによって第2サブブロックを取得するように構成されている。
The additional
具体的には、追加サブブロック分割部101Bは、入力された予測対象ブロックの座標及びブロックサイズから第1分割位置を把握し、かかる第1分割位置から所定画素分だけずらした位置である第2分割位置で予測対象ブロックを分割して第2サブブロックを取得し、かかる第2サブブロックの座標及びブロックサイズを出力するように構成されている。
Specifically, the additional
ここで、第2分割位置は、第1分割位置から第1サブブロックの半分の画素分だけ縦方向及び横方向にずれた位置であってもよい。 Here, the second division position may be a position shifted in the vertical direction and the horizontal direction by half a pixel of the first subblock from the first division position.
例えば、図5(a)に示すように、追加サブブロック分割部101Bは、第1分割位置Xから2画素分だけ縦方向及び横方向にずらした第2分割位置Yで予測対象ブロックを分割し、9個の第2サブブロック(4×4の画素からなるブロック)B2を取得するように構成されていてもよい。
For example, as shown in FIG. 5A, the additional
アフィン動き補償予測は、4×4画素のサブブロック単位で行われるため、図5の例では、追加サブブロック分割部101Bは、4×4の画素からなる9個の第2サブブロックの座標及びブロックサイズを出力するように構成されている。
Since the affine motion compensation prediction is performed in units of 4 × 4 pixel subblocks, in the example of FIG. 5, the additional
ここで、通常サブブロック分割部101A及び追加サブブロック分割部101Bは、異なる分割位置で予測対象ブロックを分割することによって第1サブブロック及び第2サブブロックを取得するように構成されているサブブロック分割部を構成する。
Here, the normal
動きベクトル生成部101Cは、入力された予測対象ブロックの座標及び制御点を取得し、かかる予測対象ブロックの右上の頂点の制御点を動きベクトルとして出力するように構成されている。
The motion
アフィン動きベクトル生成部101D1は、第1サブブロックに対応するアフィン変換によって得られた動きベクトルを出力するように構成されている。同様に、アフィン動きベクトル生成部101D2は、第2サブブロックに対応するアフィン変換によって得られた動きベクトルを出力するように構成されている。 The affine motion vector generation unit 101D1 is configured to output the motion vector obtained by the affine transformation corresponding to the first subblock. Similarly, the affine motion vector generation unit 101D2 is configured to output the motion vector obtained by the affine transformation corresponding to the second subblock.
具体的には、アフィン動きベクトル生成部101D1/101D2は、入力された第1サブブロック及び第2サブブロックの座標、ブロックサイズ及び制御点を用いてアフィン変換を行い、第1サブブロック及び第2サブブロックに対応する動きベクトルを出力するように構成されている。 Specifically, the affine motion vector generation units 101D1 / 101D2 perform affine transformation using the input coordinates, block size and control points of the first subblock and the second subblock, and perform affine transformation, and the first subblock and the second subblock and the second subblock. It is configured to output the motion vector corresponding to the subblock.
フレームバッファ101Eは、入力された参照画像添字及びブロック(又は、サブブロック)の動きベクトルに基づいて、かかる参照画素添字によって示される参照画素及び動きベクトルの小数部分を出力するように構成されている。なお、フレームバッファ101Eは、フレームバッファ109/207によって代用されてよい。
The
動き補償予測部101F1/101F2は、上述の動きベクトルに基づいて、第1サブブロック及び第2サブブロックの予測画像(補間画像)を生成するように構成されている。 The motion compensation prediction unit 101F1 / 101F2 is configured to generate predicted images (interpolated images) of the first subblock and the second subblock based on the above-mentioned motion vector.
具体的には、動き補償予測部101F1は、フレームバッファ101Eから出力される第2サブブロックに対応する動きベクトルに基づいて、第2サブブロックの予測画像を生成するように構成されている。
Specifically, the motion compensation prediction unit 101F1 is configured to generate a prediction image of the second subblock based on the motion vector corresponding to the second subblock output from the
より具体的には、動き補償予測部101F1は、フレームバッファ101Eから出力される参照画素及び第2サブブロックに対応する動きベクトルの小数部分から、第2サブブロックの予測画像を生成するように構成されている。
More specifically, the motion compensation prediction unit 101F1 is configured to generate a prediction image of the second subblock from the reference pixel output from the
また、動き補償予測部101F2は、フレームバッファ101Eから出力される第1サブブロックに対応する動きベクトルに基づいて、第1サブブロックの予測画像を生成するように構成されている。
Further, the motion compensation prediction unit 101F2 is configured to generate a prediction image of the first subblock based on the motion vector corresponding to the first subblock output from the
より具体的には、動き補償予測部101F2は、フレームバッファ101Eから出力される参照画素及び第1サブブロックに対応する動きベクトルの小数部分から、第1サブブロックの予測画像を生成するように構成されている。
More specifically, the motion compensation prediction unit 101F2 is configured to generate a prediction image of the first subblock from a reference pixel output from the
また、動き補償予測部101F3は、フレームバッファ101Eから出力される参照画素及び予測対象ブロックに対応する動きベクトルの小数部分から、予測対象ブロックの予測画像を生成するように構成されている。
Further, the motion compensation prediction unit 101F3 is configured to generate a prediction image of the prediction target block from a fractional part of the motion vector corresponding to the reference pixel and the prediction target block output from the
加算部101Gは、第1サブブロックの予測画像及び第2サブブロックの予測画像に基づいて、予測対象ブロックの予測画像を生成するように構成されている補間部を構成する。
The
具体的には、加算部101Gは、第1サブブロックの予測画像と第2サブブロックの予測画像とを一定の比率で加重平均することによって、予測対象ブロックの予測画像を生成するように構成されている。
Specifically, the
選択部101Hは、加算部101Gから出力される予測対象ブロックの予測画像及び動き補償予測部101F3から出力される予測対象ブロックの予測画像(サブブロックを使わない場合)から、インター予測モードに応じた予測画像を選択して出力するように構成されている。なお、かかる選択は、図示しない制御部により判定され、動き補償方式として画像符号化装置100から画像復号装置200にシグナリングされる。
The
図6を参照して、本実施形態に係る画像復号装置200の動作の一例について説明する。
An example of the operation of the
図6に示すように、ステップS101において、画像復号装置200は、予測対象ブロックを分割することによって第1サブブロック及び第2サブブロックを取得する。
As shown in FIG. 6, in step S101, the
ステップS102において、画像復号装置200は、第1サブブロックに対応する動きベクトル、第2サブブロックに対応する動きベクトル及び予測対象サブブロックに対応する動きベクトルを生成する。
In step S102, the
ステップS103において、画像復号装置200は、第1サブブロックに対応する動きベクトルに基づいて第1サブブロックの予測画像を生成し、第2サブブロックに対応する動きベクトルに基づいて第2サブブロックの予測画像を生成し、予測対象ブロックに対応する動きベクトルに基づいて予測対象ブロックの予測画像(サブブロックを使用しない場合)を生成する。
In step S103, the
ステップS104において、画像復号装置200は、第1サブブロックの予測画像と第2サブブロックの予測画像とを一定の比率で加重平均することによって、予測対象ブロックの予測画像を生成する。
In step S104, the
ステップS105において、画像復号装置200は、ステップS104において生成された予測対象ブロックの予測画像及びステップS103において生成された予測対象ブロックの予測画像から、インター予測モードに応じた予測画像を選択する。
In step S105, the
本実施形態に係る画像処理システム1によれば、第2サブブロックの参照画素の領域は、第1サブブロックの参照画素の領域よりも広がらないため、メモリ帯域を増加させることなく、サブブロックごとの処理単位も維持しつつ、予測性能を向上することができる。
According to the
(第2実施形態)
以下、図7を参照して、本発明の第2実施形態に係る画像処理システム1について、上述の第1実施形態に係る画像処理システム1との相違点に着目して説明する。
(Second Embodiment)
Hereinafter, the
本実施形態において、追加サブブロック分割部101Bは、第2サブブロックの一部について出力するように構成されている。
In the present embodiment, the additional
具体的には、追加サブブロック分割部101Bは、通常サブブロック分割部101Aによって取得される第1サブブロックの個数の一定割合(例えば、半分等)以下に限定して第2サブブロックを出力するように構成されている。
Specifically, the additional
例えば、図7(b)に示すように、通常サブブロック分割部101Aによって16個の第1サブブロックが生成され、図7(a)に示すように、追加サブブロック分割部101Bによって9個の第2サブブロックが生成される。
For example, as shown in FIG. 7B, 16 first subblocks are normally generated by the
追加サブブロック分割部101Bは、第2サブブロックの個数を第1サブブロックの個数の半分以下とする場合、図7(a)に示すように、第2サブブロックの一部を除く斜線部分の8個の第2サブブロックを出力するように構成されている。
When the number of the second sub-blocks is half or less of the number of the first sub-blocks, the additional
同様に、通常ブロック分割部101Aによって64個の第1サブブロックが出力される場合、追加サブブロック分割部101Bは、上述の第1実施形態では、49個の第2サブブロックを出力するが、本実施形態では、32個以下の第2サブブロックを出力するように構成されていてもよい。
Similarly, when 64 first sub-blocks are output by the normal
例えば、追加サブブロック分割部101Bは、市松模様となるように第2サブブロックを削減する場合、25個の第2サブブロックを出力するように構成されている。
For example, the additional
或いは、追加サブブロック分割部101Bは、任意の順序付けされたブロックのうち先頭n個の第2サブブロックを出力するように構成されている。ここで、nは整数であり、増加率を5割とする場合には「32」となる。
Alternatively, the additional
本実施形態に係る画像処理システム1によれば、第2サブブロックの個数を一定割合に抑えているため、追加の演算コストもワーストケースにおいても一定割合の増加となるにもかかわらず、予測精度を向上させることができる。
According to the
1…画像処理システム
100…画像符号化装置
101、203…インター予測部
101A…通常サブブロック分割部
101B…追加サブブロック分割部
101C…動きベクトル生成部
101D1、101D2…アフィン動きベクトル生成部
101F1~101F3…動き補償予測部
102、204…イントラ予測部
103…変換・量子化部
104…エントロピー符号化部
105、202…逆変換・逆量子化部
106…減算部
101G、107、205…加算部
108、206…インループフィルタ
101E、109、207…フレームバッファ
200…エントロピー復号部
1 ...
Claims (4)
前記第1分割位置から所定画素分だけずれた位置である第2分割位置で前記予測対象ブロックを分割することによって第2サブブロックを取得して出力するように構成されている追加サブブロック分割部と、
アフィン変換によって前記第1サブブロック及び前記第2サブブロックに対応する動きベクトルを取得するように構成されている動きベクトル生成部と、
前記動きベクトルに基づいて、前記第1サブブロック及び前記第2サブブロックの予測画像を生成するように構成されている動き補償予測部と、
前記第1サブブロック及び前記第2サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成するように構成されている補間部とを有し、
前記追加サブブロック分割部は、前記第1サブブロックの個数の一定割合以下に限定して前記第2サブブロックを出力するように構成されていることを特徴とする画像復号装置。 A normal subblock division unit configured to acquire and output the first subblock by dividing the prediction target block at the first division position, and
An additional sub-block division unit configured to acquire and output a second sub-block by dividing the prediction target block at a second division position which is a position deviated from the first division position by a predetermined pixel. When,
A motion vector generation unit configured to acquire motion vectors corresponding to the first subblock and the second subblock by affine transformation, and
A motion compensation prediction unit configured to generate a prediction image of the first subblock and the second subblock based on the motion vector, and a motion compensation prediction unit.
It has an interpolation unit configured to generate a predicted image of the predicted target block based on the predicted image of the first subblock and the second subblock.
The image decoding device is characterized in that the additional sub-block division unit is configured to output the second sub-block only to a certain ratio or less of the number of the first sub-blocks .
前記第1分割位置から所定画素分だけずれた位置である第2分割位置で前記予測対象ブロックを分割することによって第2サブブロックを取得して出力する工程Bと、
前記第1サブブロック及び前記第2サブブロックに対応するアフィン変換によって得られた動きベクトルを出力する工程Cと、
前記動きベクトルに基づいて、前記第1サブブロック及び前記第2サブブロックの予測画像を生成する工程Dと、
前記第1サブブロックの予測画像及び前記第2サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成する工程Eとを有し、
前記工程Bにおいて、前記第1サブブロックの個数の一定割合以下に限定して前記第2サブブロックを出力することを特徴とする画像復号方法。 Step A to acquire and output the first subblock by dividing the prediction target block at the first division position, and
Step B of acquiring and outputting the second subblock by dividing the prediction target block at the second division position, which is a position deviated from the first division position by a predetermined pixel,
Step C to output the motion vector obtained by the affine transformation corresponding to the first subblock and the second subblock, and
Step D to generate a predicted image of the first subblock and the second subblock based on the motion vector, and
It has a step E of generating a predicted image of the predicted target block based on the predicted image of the first subblock and the predicted image of the second subblock.
The image decoding method, characterized in that , in the step B, the second subblock is output only to a certain ratio or less of the number of the first subblock .
前記画像復号装置は、
第1分割位置で予測対象ブロックを分割することによって第1サブブロック及び第2サブブロックを取得するように構成されている通常サブブロック分割部と、
前記第1分割位置から所定画素分だけずれた位置である第2分割位置で前記予測対象ブロックを分割することによって第2サブブロックを取得して出力するように構成されている追加サブブロック分割部と、
前記第1サブブロック及び前記第2サブブロックに対応するアフィン変換によって得られた動きベクトルを出力するように構成されている動きベクトル生成部と、
前記動きベクトルに基づいて、前記第1サブブロック及び前記第2サブブロックの予測画像を生成するように構成されている動き補償予測部と、
前記第1サブブロックの予測画像及び前記第2サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成するように構成されている補間部とを有し、
前記追加サブブロック分割部は、前記第1サブブロックの個数の一定割合以下に限定して前記第2サブブロックを出力するように構成されていることを特徴とするプログラム。 A program that makes a computer function as an image decoder
The image decoding device is
A normal subblock division unit configured to acquire the first subblock and the second subblock by dividing the prediction target block at the first division position, and
An additional sub-block division unit configured to acquire and output a second sub-block by dividing the prediction target block at a second division position which is a position deviated from the first division position by a predetermined pixel. When,
A motion vector generator configured to output a motion vector obtained by an affine transformation corresponding to the first subblock and the second subblock, and a motion vector generator.
A motion compensation prediction unit configured to generate a prediction image of the first subblock and the second subblock based on the motion vector, and a motion compensation prediction unit.
It has an interpolation unit configured to generate a predicted image of the predicted target block based on the predicted image of the first subblock and the predicted image of the second subblock.
The program characterized in that the additional sub-block division unit is configured to output the second sub-block only to a certain ratio or less of the number of the first sub-block .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019044305A JP7026064B2 (en) | 2019-03-11 | 2019-03-11 | Image decoder, image decoding method and program |
PCT/JP2020/008774 WO2020184264A1 (en) | 2019-03-11 | 2020-03-02 | Image decoding device, image decoding method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019044305A JP7026064B2 (en) | 2019-03-11 | 2019-03-11 | Image decoder, image decoding method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020150342A JP2020150342A (en) | 2020-09-17 |
JP7026064B2 true JP7026064B2 (en) | 2022-02-25 |
Family
ID=72427904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019044305A Active JP7026064B2 (en) | 2019-03-11 | 2019-03-11 | Image decoder, image decoding method and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7026064B2 (en) |
WO (1) | WO2020184264A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180070102A1 (en) | 2015-05-15 | 2018-03-08 | Huawei Technologies Co., Ltd. | Adaptive Affine Motion Compensation Unit Determing in Video Picture Coding Method, Video Picture Decoding Method, Coding Device, and Decoding Device |
WO2020008334A1 (en) | 2018-07-01 | 2020-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Efficient affine merge motion vector derivation |
-
2019
- 2019-03-11 JP JP2019044305A patent/JP7026064B2/en active Active
-
2020
- 2020-03-02 WO PCT/JP2020/008774 patent/WO2020184264A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180070102A1 (en) | 2015-05-15 | 2018-03-08 | Huawei Technologies Co., Ltd. | Adaptive Affine Motion Compensation Unit Determing in Video Picture Coding Method, Video Picture Decoding Method, Coding Device, and Decoding Device |
WO2020008334A1 (en) | 2018-07-01 | 2020-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Efficient affine merge motion vector derivation |
Non-Patent Citations (2)
Title |
---|
Kai Zhang et al.,CE4-related: Interweaved Prediction for Affine Motion Compensation,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-K0102-v2,11th Meeting: Ljubljana, SI,2018年07月,pp.1-4 |
Kai Zhang et al.,Non-CE2: Interweaved Prediction for Affine Motion Compensation,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0268-v3,13th Meeting: Marrakech, MA,2019年01月,pp.1-4 |
Also Published As
Publication number | Publication date |
---|---|
WO2020184264A1 (en) | 2020-09-17 |
JP2020150342A (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102668077B1 (en) | Apparatus and method for image coding and decoding | |
KR101239567B1 (en) | Methods and apparatus for adaptively choosing a search range for motion estimation | |
JP6535744B2 (en) | Image coding apparatus, image decoding apparatus, and programs therefor | |
JP7199598B2 (en) | PROF method, computing device, computer readable storage medium, and program | |
JP2010011075A (en) | Method and apparatus for encoding and decoding moving image | |
KR20110015625A (en) | Methods and apparatus for locally adaptive filtering for motion compensation interpolation and reference picture filtering | |
WO2014157386A1 (en) | Video encoding device and video decoding device | |
JP2023164968A (en) | Method and apparatus on prediction refinement with optical flow | |
JP2023100979A (en) | Methods and apparatuses for prediction refinement with optical flow, bi-directional optical flow, and decoder-side motion vector refinement | |
KR20150135457A (en) | Method for encoding a plurality of input images and storage medium and device for storing program | |
JP2022525688A (en) | Methods and devices for improving predictions using optical flow | |
JP2024024080A (en) | Image encoder, image encoding method, image decoder, and image decoding method | |
JP2018107692A (en) | Moving image decoder, moving image decoding method, moving image encoder, moving image encoding method and computer readable recording medium | |
JP7026064B2 (en) | Image decoder, image decoding method and program | |
JP2007288810A (en) | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, image decoding program and computer readable recording medium | |
JP6539580B2 (en) | Inter prediction apparatus, inter prediction method, moving picture coding apparatus, moving picture decoding apparatus, and computer readable recording medium | |
JP2020150314A (en) | Image decoder, image decoding method, and program | |
KR20200134302A (en) | Image processing apparatus and method | |
JP2013138502A (en) | Coding apparatus, control method of the same, and computer program | |
JP7134118B2 (en) | Image decoding device, image decoding method and program | |
JP7034363B2 (en) | Image decoder, image decoding method and program | |
WO2011142221A1 (en) | Encoding device and decoding device | |
JP2022087335A (en) | Image decoder, image decoding method, and program | |
JP2022079469A (en) | Image decoder, image decoding method, and program | |
JP6071618B2 (en) | Image processing apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210127 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7026064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |