JP6740534B2 - Encoding device, decoding device and program - Google Patents
Encoding device, decoding device and program Download PDFInfo
- Publication number
- JP6740534B2 JP6740534B2 JP2016132814A JP2016132814A JP6740534B2 JP 6740534 B2 JP6740534 B2 JP 6740534B2 JP 2016132814 A JP2016132814 A JP 2016132814A JP 2016132814 A JP2016132814 A JP 2016132814A JP 6740534 B2 JP6740534 B2 JP 6740534B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- image
- area
- intra prediction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 43
- 230000015572 biosynthetic process Effects 0.000 claims description 31
- 238000003786 synthesis reaction Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 14
- 239000002131 composite material Substances 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 238000013139 quantization Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000009499 grossing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Description
本発明は、符号化装置、復号装置及びプログラムに関する。 The present invention relates to an encoding device, a decoding device and a program.
H.265/HEVC(High Efficiency Video Coding)に代表される動画像の符号化方式では、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の2種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロピー符号化処理を行い得られたストリームを出力するように構成されている。 In a moving image coding method represented by H.265/HEVC (High Efficiency Video Coding), there are two types of inter prediction using inter-frame temporal correlation and intra prediction using intra-frame spatial correlation. It is configured to perform prediction while switching predictions to generate a residual signal, and then perform orthogonal transform processing, loop filter processing, and entropy coding processing to output the obtained stream.
HEVCにおけるイントラ予測では、Planar予測やDC予測や方向予測の計35種類のモードが用意されており、エンコーダで決定されたモードに従って、隣接する復号済み参照画素を用いてイントラ予測を行うように構成されている。 In the intra prediction in HEVC, a total of 35 types of modes such as Planar prediction, DC prediction, and directional prediction are prepared, and the intra prediction is performed using adjacent decoded reference pixels according to the mode determined by the encoder. Has been done.
ここで、イントラ予測では、フレーム内で最も左上に位置するCU(Coding Unit)等、隣接する復号済み参照画素が存在しないCUでは、規定した値(10ビットの動画像であれば「512」)を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されている。 Here, in intra prediction, a CU (Coding Unit) located in the upper leftmost position in a frame or the like in which there is no adjacent decoded reference pixel has a specified value (“512” for a 10-bit moving image). Is configured to generate a reference pixel used when generating a predicted image.
また、従来のHEVCでは、符号化処理が、左上からラスタースキャン順に行われるために、参照画素が復号済みでない場合がある。このような場合には、最も近い復号済み参照画素を0次外挿した値を用いて予測画像を生成するように構成されている。 Further, in the conventional HEVC, since the encoding process is performed in raster scan order from the upper left, the reference pixel may not be decoded. In such a case, the predicted image is generated using a value obtained by extrapolating the nearest decoded reference pixel to the 0th order.
CUは、複数のブロック(TU:Transform Unit)に分割され直交変換処理が施される。HEVCにおいて、適用するイントラ予測の種類を示すイントラ予測モードは、CU内で共通であり、複数のTUに対して共通したイントラ予測モードを用いて予測が行われる。 The CU is divided into a plurality of blocks (TU: Transform Unit) and subjected to orthogonal transform processing. In HEVC, the intra prediction mode indicating the type of intra prediction to be applied is common in the CU, and prediction is performed using a common intra prediction mode for a plurality of TUs.
イントラ予測では、図7に示すように、ラスタースキャン順による符号化処理により、CU#Xの左下や右上に位置する参照画素Nが復号済みでない場合が多く、このような場合に、復号済みでない参照画素が存在する方向からの方向予測を行うと予測精度が低下し、符号化効率が低減してしまうという問題点があった。 In intra prediction, as shown in FIG. 7, the reference pixel N located at the lower left or upper right of CU#X is often undecoded due to the encoding process in the raster scan order, and in such a case, it is not already decoded. When the direction prediction is performed from the direction in which the reference pixel exists, there is a problem that the prediction accuracy is lowered and the coding efficiency is reduced.
以下、図8(a)〜図8(d)を用いて、かかる問題点について具体的に説明する。図8は、従来のHEVCにおけるイントラ予測の一例について示す。 Hereinafter, such a problem will be specifically described with reference to FIGS. 8A to 8D. FIG. 8 shows an example of intra prediction in conventional HEVC.
かかる例では、図8(a)に示すように、図7の例の場合と同様に、CU#A1(フレーム内の左上のCU)の参照画素については、全てが復号済みである。同様に、図8(c)に示すように、CU#A3(フレーム内の左下のCU)の参照画素については、全てが復号済みである。 In this example, as shown in FIG. 8A, all the reference pixels of CU#A1 (the upper left CU in the frame) have been decoded as in the case of the example of FIG. Similarly, as shown in FIG. 8C, all the reference pixels of CU#A3 (the lower left CU in the frame) have been decoded.
これに対して、図8(b)に示すように、CU#A1内に位置する参照画素W1〜W3は復号済みであるが、CU#A3内に位置する参照画素B1〜B4は復号されていないので、そのままCU#A2(フレーム内の右上のCU)の予測画像を生成する際の参照画素とすることはできない。 On the other hand, as shown in FIG. 8B, reference pixels W1 to W3 located in CU#A1 have been decoded, but reference pixels B1 to B4 located in CU#A3 have been decoded. Since it does not exist, it cannot be directly used as a reference pixel when generating a predicted image of CU#A2 (CU at the upper right of the frame).
このため、従来のHEVCでは、図8(b)に示すように、CU#A1内に位置する復号済み参照画素W1〜W3の一番下に位置する参照画素W1の値を、CU#A3内の同じ列に位置する未復号参照画素B1〜B4にコピーするように規定されている。 Therefore, in the conventional HEVC, as shown in FIG. 8B, the value of the reference pixel W1 located at the bottom of the decoded reference pixels W1 to W3 located in CU#A1 is set in CU#A3. Are defined to be copied to the undecoded reference pixels B1 to B4 located in the same column.
同様に、従来のHEVCでは、図8(d)に示すように、CU#A3内に位置する復号済み参照画素B1〜B3の一番下に位置する参照画素B1の値を、CU#A3の下側に存在するCU内の同じ列に位置する未復号参照画素P3にコピーするように規定されている。 Similarly, in the conventional HEVC, as shown in FIG. 8D, the value of the reference pixel B1 located at the bottom of the decoded reference pixels B1 to B3 located in CU#A3 is set to the value of CU#A3. It is specified to copy to the undecoded reference pixel P3 located in the same column in the CU existing on the lower side.
したがって、図8の例のように、左下から右上に向かって方向予測が行われる場合、生成された予測画像の多くはコピーで埋められた未復号参照画素により構成されているため、予測精度が低下し、符号化効率が低減してしまうという問題点があった。 Therefore, when the directional prediction is performed from the lower left to the upper right as in the example of FIG. 8, most of the generated predicted images are composed of undecoded reference pixels filled with a copy, and thus the prediction accuracy is high. There is a problem in that the coding efficiency is reduced and the coding efficiency is reduced.
かかる問題点を解決するために、TU分割が行われるイントラ予測において、CU内に存在する複数のTUに対する符号化処理順として、ラスタースキャン順(例えば、Z型)の他、U型やX型等の符号化順に自由度を持たせることによって予測精度の向上を図る技術が知られている(非特許文献1参照)。 In order to solve such a problem, in intra prediction in which TU partitioning is performed, as a coding processing order for a plurality of TUs existing in a CU, a raster scan order (for example, Z type), U type, or X type is used. There is known a technique for improving the prediction accuracy by giving a degree of freedom in the coding order such as (see Non-Patent Document 1).
しかしながら、上述の非特許文献1に規定されている技術では、CU単位でどのような符号化処理順を用いるのかについてのフラグを伝送する必要があるため、伝送する情報量が増大してしまう他、全ての符号化処理順の中からどの符号化処理順が良いかを選択するために、符号化装置側では全ての組み合わせを試す必要があり、符号化装置側の計算時間が増大してしまうという問題点があった。 However, in the technique defined in Non-Patent Document 1 described above, it is necessary to transmit a flag indicating what encoding processing order is to be used for each CU, which increases the amount of information to be transmitted. , In order to select which coding processing order is better among all the coding processing orders, it is necessary to try all combinations on the coding device side, which increases the calculation time on the coding device side. There was a problem.
そこで、本発明は、上述した課題を解決するためになされたものであり、符号化装置によって伝送する情報量を増大させることなく、また、符号化装置側の計算時間を増大させることなく、予測精度や符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problems, and it is possible to perform prediction without increasing the amount of information transmitted by the encoding device and without increasing the calculation time on the encoding device side. An object of the present invention is to provide an encoding device, a decoding device, and a program that can improve accuracy and encoding efficiency.
本発明の第1の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードに基づいて、前記符号化対象ブロック内において復号済みでない隣接画素から予測画像が生成される合成領域を決定するように構成されている合成領域決定部と、前記合成領域に含まれるか否かに基づいて、各領域の予測画像の生成方法を変更するように構成されているイントラ予測部とを具備することを要旨とする。 A first feature of the present invention is an encoding device configured to divide an original image of a frame forming a moving image into blocks to be encoded and to encode the blocks, based on an intra prediction mode. A combination area determining unit configured to determine a combination area in which a predicted image is generated from adjacent pixels that have not been decoded in the encoding target block, and whether or not the combination area is included in the combination area, And an intra prediction unit configured to change a method of generating a predicted image of each area.
本発明の第2の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードに基づいて、前記符号化対象ブロック内において復号済みでない隣接画素から予測画像が生成される合成領域を決定するように構成されている合成領域決定部と、前記合成領域に含まれるか否かに基づいて、各領域の予測画像の生成方法を変更するように構成されているイントラ予測部とを具備することを要旨とする。 A second feature of the present invention is a decoding device configured to divide an original image of a frame unit forming a moving image into blocks to be encoded and decode the block, based on an intra prediction mode. A combination area determination unit configured to determine a combination area in which a predicted image is generated from adjacent pixels that have not been decoded in the block to be encoded, and each area based on whether or not the combination area is included in the combination area. And an intra-prediction unit configured to change the method of generating the predicted image of 1.
本発明の第3の特徴は、コンピュータを、上述の第1又は第2の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。 A third feature of the present invention is summarized as a program for causing a computer to function as the encoding device according to the first or second feature described above.
本発明の第4の特徴は、コンピュータを、上述の第1又は第2の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。 A fourth feature of the present invention is summarized as a program for causing a computer to function as the decoding device according to the first or second feature described above.
本発明によれば、符号化装置によって伝送する情報量を増大させることなく、また、符号化装置側の計算時間を増大させることなく、予測精度や符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することができる。 ADVANTAGE OF THE INVENTION According to the present invention, an encoding device capable of improving prediction accuracy and encoding efficiency without increasing the amount of information transmitted by the encoding device and without increasing the calculation time on the encoding device side. , A decoding device and a program can be provided.
(第1の実施形態)
以下、図1〜図5を参照して、本発明の第1の実施形態に係る符号化装置1及び復号装置3について説明する。ここで、本実施形態に係る符号化装置1及び復号装置3は、HEVCにおけるイントラ予測に対応するように構成されている。
(First embodiment)
Hereinafter, the encoding device 1 and the
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている。なお、本実施形態では、符号化対象のCUの左側及び上側に隣接する画素は全て復号済みであるものとする。 The encoding device 1 according to the present embodiment is configured to divide an original image of a frame forming a moving image into encoding target blocks and perform encoding. In the present embodiment, it is assumed that all pixels adjacent to the left side and the upper side of the CU to be encoded have been decoded.
また、本実施形態に係る符号化装置1は、CUを複数のTUに分割することができるように構成されていてもよい。したがって、本実施形態では、符号化対象ブロックは、CUであってもよいし、TUであってもよい。以下、本実施形態では、符号化対象ブロックとしてCUが用いられるケースを例にして説明する。 In addition, the encoding device 1 according to the present embodiment may be configured so that the CU can be divided into a plurality of TUs. Therefore, in the present embodiment, the target block to be encoded may be a CU or a TU. Hereinafter, in the present embodiment, a case where a CU is used as an encoding target block will be described as an example.
また、本実施形態では、CUの符号化順及び復号順として、従来のHEVCで用いられているラスタースキャン順(図7や図8に示すようなZ型)が用いられているケースを例にして説明しているが、かかる符号化順及び復号順として、U型やX型等の他の符号化順及び復号順が用いられていてもよい。 Further, in the present embodiment, the case where the raster scan order (Z type as shown in FIG. 7 and FIG. 8) used in the conventional HEVC is used as the encoding order and the decoding order of the CU is taken as an example. However, other encoding order and decoding order such as U-type and X-type may be used as the encoding order and decoding order.
図1に示すように、本実施形態に係る符号化装置1は、イントラ予測モード決定部11と、合成領域決定部12と、イントラ予測部13と、残差信号生成部14と、直交変換・量子化部15と、逆直交変換・逆量子化部16と、局部復号画像生成部17と、メモリ部18と、エントロピー符号化部19とを具備している。
As shown in FIG. 1, the encoding device 1 according to the present embodiment has an intra prediction
イントラ予測モード決定部11は、CUに適用する最適なイントラ予測モードを決定するように構成されている。
The intra prediction
合成領域決定部12は、イントラ予測モード決定部11によって決定されたイントラ予測モードに基づいて、CU内において復号済みでない隣接画素から予測画像が生成される合成領域Xを決定するように構成されている。
The synthesis
具体的には、図2に示すように、合成領域決定部12は、イントラ予測モード決定部11によって決定されたイントラ予測モードの方向が左下から右上に向かう方向である場合(すなわち、左下から右上に向かって方向予測が行われる場合)に、CU#A2内において復号済みでない隣接画素B1〜B4から予測画像が生成される合成領域Xを決定するように構成されていてもよい。
Specifically, as shown in FIG. 2, when the direction of the intra prediction mode determined by the intra prediction
また、本発明は、イントラ予測モード決定部11によって決定されたイントラ予測モードの方向が右上から左下に向かう方向である場合(すなわち、右上から左下に向かって方向予測が行われる場合)にも適用可能であるが、以下、イントラ予測モード決定部11によって決定されたイントラ予測モードの方向が左下から右上に向かう方向である場合(すなわち、左下から右上に向かって方向予測が行われる場合)を例に挙げて説明する。
The present invention is also applied to the case where the direction of the intra prediction mode determined by the intra prediction
なお、本明細書の図において、イントラ予測モードの方向(予測方向)を示す矢印は、HEVC規格書における記載と同様に、イントラ予測の対象の画素から参照画素に向かうものとする(以下同様)。 In the drawings of this specification, the arrow indicating the direction of the intra prediction mode (prediction direction) is directed from the pixel of the intra prediction to the reference pixel, similarly to the description in the HEVC standard (hereinafter the same). ..
イントラ予測部13は、合成領域決定部12によって決定された合成領域Xに含まれるか否かに基づいて、各領域の予測画像の生成方法を変更するように構成されている。
The
具体的には、イントラ予測部13は、図3(a)に示すように、CU#A2において、合成領域Xに含まれていない領域(すなわち、参照画素W1〜W3が復号済みである領域)Yでは、イントラ予測モード決定部11によって決定されたイントラ予測モードを用いて、復号済み参照画素W1〜W3に基づいて予測画像を生成するように構成されている。
Specifically, as illustrated in FIG. 3A, the
一方、イントラ予測部13は、図3(b)に示すように、CU#A2において、合成領域Xに含まれている領域(すなわち、参照画素B2〜B4が復号済みでない領域)では、予め規定した予測方法を用いて予測画像を生成するように構成されている。
On the other hand, as illustrated in FIG. 3B, the
ここで、予め規定した予測方法とは、例えば、DC予測やPlanar予測等のイントラ予測の他、隣接する復号済み参照画素の値の平均等で予測画像を生成する予測方法等が挙げられる。 Here, the predefined prediction method includes, for example, intra prediction such as DC prediction and Planar prediction, as well as a prediction method that generates a predicted image by averaging the values of adjacent decoded reference pixels.
なお、符号化装置1及び復号装置3において、かかる予測方法について予め決定していれば、如何なる予測方法を使う場合であっても、符号化装置1から復号装置3に対して、かかる予測方法を示す新たなフラグを伝送する必要はない。
It should be noted that if the coding apparatus 1 and the
また、合成領域決定部12によって決定された合成領域は、イントラ予測モードの方向及び隣接する画素が復号済みであるか否かによって一意に決定することができるため、符号化装置1から復号装置3に対して、新たに合成領域がどの領域であるかを示すフラグを伝送する必要はない。
In addition, the synthesis area determined by the synthesis
例えば、図3(b)に示すように、イントラ予測部13は、CU#A2における合成領域Xに含まれている領域内の画素X1の位置では、Planar予測を用いて、画素W3、画素D1、画素D2及び画素D4を合成することによって予測画像を生成するように構成されていてもよい。ここで、画素D4には、画素B4の値がコピーされており、画素B4には、画素W1の値がコピーされている。
For example, as illustrated in FIG. 3B, the
残差信号生成部14は、イントラ予測部13によって生成された予測画像と原画像との差分により残差信号を生成するように構成されている。
The residual
直交変換・量子化部15は、残差信号生成部14によって生成された残差信号に対して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成されている。
The orthogonal transform/
逆直交変換・逆量子化部16は、直交変換・量子化部15によって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施し、量子化された残差信号を生成するように構成されている。
The inverse orthogonal transformation/
局部復号画像生成部17は、逆直交変換・逆量子化部16によって生成された量子化された残差信号に対してイントラ予測部13によって生成された予測画像を加えることで局部復号画像を生成するように構成されている。
The locally decoded
メモリ部18は、局部復号画像生成部17によって生成された局部復号画像を参照画像として利用可能に保持するように構成されている。
The
エントロピー符号化部19は、イントラ予測モード決定部11によって決定されたイントラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
The
また、本実施形態に係る復号装置3は、動画像を構成するフレーム単位の原画像をCUに分割して復号するように構成されている。また、本実施形態に係る復号装置3は、本実施形態に係る符号化装置1と同様に、CUを複数のTUに分割することができるように構成されている。
In addition, the
図4に示すように、本実施形態に係る復号装置3は、エントロピー復号部31と、合成領域決定部32と、イントラ予測部33と、逆量子化・逆変換部34と、局部復号画像生成部35と、メモリ部36とを具備している。
As illustrated in FIG. 4, the
エントロピー復号部31は、符号化装置1から出力されたストリームから、変換係数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置1によって、フレーム単位の原画像をCUに分割して符号化された信号として得られた量子化された変換係数である。また、フラグ情報は、予測モード等の付随する情報を含む。
The
合成領域決定部32は、エントロピー復号部31によって出力されたイントラ予測モードに基づいて、CU内において復号済みでない隣接画素から予測画像が生成される合成領域Xを決定するように構成されている。
The synthesis
具体的には、図2に示すように、合成領域決定部32は、エントロピー復号部31によって出力されたイントラ予測モードの方向が左下から右上に向かう方向である場合(すなわち、左下から右上に向かって方向予測が行われる場合)に、CU#A2内において復号済みでない隣接画素B1〜B4から予測画像が生成される合成領域Xを決定するように構成されていてもよい。
Specifically, as shown in FIG. 2, when the direction of the intra prediction mode output by the
イントラ予測部33は、合成領域決定部32によって決定された合成領域X及びエントロピー復号部31によって出力されたイントラ予測モードを用いて、予測画像を生成するように構成されていてもよい。
The
具体的には、イントラ予測部33は、イントラ予測部13と同様に、合成領域決定部12によって決定された合成領域Xに含まれるか否かに基づいて、各領域の予測画像の生成方法を変更するように構成されている。
Specifically, the
例えば、イントラ予測部33は、図3(a)に示すように、CU#A2において、合成領域Xに含まれていない領域(すなわち、参照画素W1〜W3が復号済みである領域)Yでは、エントロピー復号部31によって出力されたイントラ予測モードを用いて、復号済み参照画素W1〜W3に基づいて予測画像を生成するように構成されている。
For example, as illustrated in FIG. 3A, the
一方、イントラ予測部33は、図3(b)に示すように、CU#A2において、合成領域Xに含まれている領域(すなわち、参照画素B2〜B4が復号済みでない領域)では、上述の予め規定した予測方法を用いて予測画像を生成するように構成されている。
On the other hand, the
逆量子化・逆変換部34は、エントロピー復号部31によって出力された量子化された変換係数に対して逆量子化処理及び逆変換処理(例えば、逆直交変換処理)を施すことによって、残差信号を生成するように構成されている。
The inverse quantization/
局部復号画像生成部35は、イントラ予測部33によって生成された予測画像と逆量子化・逆変換部34によって生成された残差信号とを加えることで局部復号画像を生成するように構成されている。
The locally decoded
メモリ部36は、局部復号画像生成部35によって生成された局部復号画像を、イントラ予測及びインター予測のための参照画像として利用可能に保持するように構成されている。
The
図5に、本実施形態に係る符号化装置1及び復号装置3によって予測画像を生成する動作の一例について説明するためのフローチャートについて示す。
FIG. 5 shows a flowchart for explaining an example of an operation of generating a predicted image by the encoding device 1 and the
第1に、図5を参照して、本実施形態に係る符号化装置1によって予測画像を生成する動作の一例について説明する。 First, with reference to FIG. 5, an example of an operation of generating a predicted image by the encoding device 1 according to the present embodiment will be described.
図5に示すように、ステップS101において、符号化装置1は、CUに適用する最適なイントラ予測モードを決定する。 As shown in FIG. 5, in step S101, the encoding device 1 determines the optimum intra prediction mode to be applied to the CU.
ステップS102において、符号化装置1は、ステップS101において決定されたイントラ予測モードに基づいて、CU内において復号済みでない隣接画素から予測画像が生成される合成領域Xを決定する。 In step S102, the encoding device 1 determines the synthesis area X in which the predicted image is generated from the undecoded adjacent pixels in the CU, based on the intra prediction mode determined in step S101.
ステップS103において、符号化装置1は、CU内において、予測画像を生成する領域が合成領域に含まれているか否かについて判定する。「No」の場合、本動作は、ステップS104に進み、「Yes」の場合、本動作は、ステップS105に進む。 In step S103, the encoding device 1 determines whether or not the area in which the predicted image is generated is included in the synthesis area in the CU. If "No", the operation proceeds to step S104, and if "Yes", the operation proceeds to step S105.
ステップS104において、符号化装置1は、ステップS101において決定されたイントラ予測モードを用いて、復号済み参照画素に基づいて予測画像を生成する。 In step S104, the encoding device 1 uses the intra prediction mode determined in step S101 to generate a predicted image based on the decoded reference pixels.
ステップS105において、符号化装置1は、上述の予め規定した予測方法を用いて予測画像を生成する。 In step S105, the encoding device 1 generates a predicted image by using the above-described predefined prediction method.
第2に、図5を参照して、本実施形態に係る復号装置3によって予測画像を生成する動作の一例について説明する。
Secondly, with reference to FIG. 5, an example of an operation of generating a predicted image by the
図5に示すように、ステップS101において、復号装置3は、エントロピー復号処理によって得られた情報に基づいてイントラ予測モードを決定する。
As shown in FIG. 5, in step S101, the
ステップS102において、復号装置3は、ステップS101において決定されたイントラ予測モードに基づいて、CU内において復号済みでない隣接画素から予測画像が生成される合成領域Xを決定する。
In step S102, the
ステップS103において、復号装置3は、CU内において、予測画像を生成する領域が合成領域に含まれているか否かについて判定する。「No」の場合、本動作は、ステップS104に進み、「Yes」の場合、本動作は、ステップS105に進む。
In step S103, the
ステップS104において、復号装置3は、ステップS101において決定されたイントラ予測モードを用いて、復号済み参照画素に基づいて予測画像を生成する。
In step S104, the
ステップS105において、復号装置3は、上述の予め規定した予測方法を用いて予測画像を生成する。
In step S105, the
本実施形態に係る符号化装置1及び復号装置3によれば、イントラ予測モードの方向(予測方向)の参照先に未復号画素が含まれている場合、隣接する復号済み参照画素をコピーすることで補間した参照画素を用いて生成した予測画像と予め規定した予測方法を用いて生成した予測画像とを合成することにより新たな予測画像を生成することで、予測精度低下を抑制することができる。
According to the encoding device 1 and the
(第2の実施形態)
以下、図6を参照して、本発明の第2の実施形態に係る符号化装置1及び復号装置3について、上述の第1の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
(Second embodiment)
Hereinafter, with reference to FIG. 6, the encoding device 1 and the
本実施形態に係る符号化装置1では、イントラ予測部13は、合成領域Xに含まれる領域と合成領域Xに含まれない領域Yとの間の境界領域において、所定条件が満たされる場合に、かかる境界領域の予測画像に対して平滑フィルタを適用するように構成されている。
In the encoding device 1 according to the present embodiment, the
同様に、本実施形態に係る復号装置3では、イントラ予測部33は、合成領域Xに含まれる領域と合成領域Xに含まれない領域Yとの間の境界領域において、所定条件が満たされる場合に、かかる境界領域の予測画像に対して平滑フィルタを適用するように構成されている。
Similarly, in the
例えば、図6の例では、かかる境界領域には、合成領域Xに含まれる領域内の画素X1、X2、X3、X4及び合成領域Xに含まれない領域Y内の画素Y1、Y2、Y3が位置する領域が該当する。 For example, in the example of FIG. 6, in the boundary area, pixels X1, X2, X3, X4 in the area included in the combined area X and pixels Y1, Y2, Y3 in the area Y not included in the combined area X are included. The area in which it is located corresponds.
また、所定条件としては、かかる境界領域における不連続性が所定閾値よりも高いことが挙げられる。ここで、不連続性の評価としては、例えば、水平方向の差分や垂直方向の差分や斜め方向の差分等の線形結合で表わす方法が挙げられる。 Further, as the predetermined condition, discontinuity in the boundary region may be higher than a predetermined threshold value. Here, as the evaluation of the discontinuity, for example, there is a method of expressing the difference in the horizontal direction, the difference in the vertical direction, the difference in the diagonal direction, and the like by a linear combination.
すなわち、イントラ予測部13及びイントラ予測部33は、かかる境界領域における不連続性の評価の値が所定閾値よりも高い場合には、かかる境界領域の予測画像に対して平滑フィルタを適用するように構成されている。
That is, the
例えば、図6の例では、イントラ予測部13及びイントラ予測部33は、かかる境界領域における不連続性の評価の値が所定閾値よりも高い場合には、合成領域Xに含まれる領域内の画素X1、X2、X3、X4及び合成領域Xに含まれない領域Y内の画素Y1、Y2、Y3が位置する領域の予測画像に対して平滑フィルタを適用するように構成されている。
For example, in the example of FIG. 6, when the value of the discontinuity evaluation in the boundary area is higher than the predetermined threshold, the
なお、図6の例では、イントラ予測部13及びイントラ予測部33は、合成領域Xに含まれる領域内の画素X5、X6、X7が位置する領域の予測画像に対しても平滑フィルタを適用するように構成されている。
Note that in the example of FIG. 6, the
ここで、符号化装置1と復号装置3との間で、上述の所定閾値を共有することで、符号化装置1から復号装置3に対して新たなフラグを伝送する必要がなくなる。
Here, by sharing the above-mentioned predetermined threshold value between the encoding device 1 and the
本実施形態に係る符号化装置1及び復号装置3によれば、合成領域Xに含まれるか否かに基づいて各領域の予測画像の生成方法を変更することに起因する境界領域の不連続性を低減することができ、符号化性能を向上させることができる。
According to the encoding device 1 and the
(第3の実施形態)
以下、図6を参照して、本発明の第3の実施形態に係る符号化装置1及び復号装置3について、上述の第1及び第2の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
(Third Embodiment)
Hereinafter, with reference to FIG. 6, regarding the encoding device 1 and the
本実施形態に係る符号化装置1及び復号装置3において、イントラ予測部13及びイントラ予測部33は、合成領域Xに含まれる領域において、従来のHEVCにおける予測方法を用いて生成された予測画像(コピーによって埋められた未復号参照画素に基づいて生成された予測画像)及び合成領域Xにおいて生成された予測画像(上述の予め規定した予測方法を用いて生成された予測画像)の加重平均によって予測画像を生成するように構成されている。
In the encoding device 1 and the
なお、本実施形態に係る符号化装置1及び復号装置3において、イントラ予測部13及びイントラ予測部33は、上述の所定条件が満たされる場合にのみ、合成領域Xに含まれる領域において、従来のHEVCにおける予測方法を用いて生成された予測画像(コピーによって埋められた未復号参照画素に基づいて生成された予測画像)及び合成領域Xにおいて生成された予測画像(上述の予め規定した予測方法を用いて生成された予測画像)の加重平均によって予測画像を生成するように構成されていてもよい。
In addition, in the encoding device 1 and the
本実施形態に係る符号化装置1及び復号装置3では、イントラ予測部13及びイントラ予測部33は、かかる加重平均を算出する際に用いる重み係数を算出するように構成されていてもよい。
In the encoding device 1 and the
イントラ予測部13及びイントラ予測部33は、重み係数として予め定めた規定の値を用いるように構成されていてもよいし、予測画像を生成する際の復号済み参照画素の信用度を用いて重み係数を算出するように構成されていてもよい。
The
なお、図3(b)の例では、復号済み参照画素W1〜W4の信用度は高く、コピーによって生成された参照画素B1〜B4の信用度は低い。また、参照画素B1の信用度と参照画素B4の信用度を比べると、コピー元に近い参照画素B4の信用度の方が高い。 In the example of FIG. 3B, the decoded reference pixels W1 to W4 have high credibility, and the reference pixels B1 to B4 generated by copying have low credibility. Further, when the credibility of the reference pixel B1 and the credibility of the reference pixel B4 are compared, the credibility of the reference pixel B4 close to the copy source is higher.
また、イントラ予測部13及びイントラ予測部33は、合成領域Xに含まれる領域と合成領域Xに含まれない領域Yとの間の境界領域からの距離に応じて、かかる重み係数を算出するように構成されていてもよい。
Also, the
例えば、イントラ予測部13及びイントラ予測部33は、かかる境界領域付近では、従来のHEVCにおける予測方法を用いて生成された予測画像(コピーによって埋められた未復号参照画素に基づいて生成された予測画像)の重み係数が強くなるように算出し、かかる境界領域から離れた領域では、合成領域Xにおいて生成された予測画像(上述の予め規定した予測方法を用いて生成された予測画像)の重み係数が強くなるように算出してもよい。
For example, the
(その他の実施形態)
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
(Other embodiments)
As described above, the present invention has been described by the above-described embodiments, but it should not be understood that the descriptions and drawings forming a part of the disclosure in the embodiments limit the present invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.
また、上述の実施形態では特に触れていないが、上述の符号化装置1及び復号装置3によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
Further, although not particularly mentioned in the above-described embodiment, a program that causes a computer to execute each processing performed by the above-described encoding device 1 and
或いは、上述の符号化装置1及び復号装置3内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
Alternatively, a chip configured by a memory that stores a program for realizing at least a part of the functions in the encoding device 1 and the
1…符号化装置
11…イントラ予測モード決定部
12…合成領域決定部
13…イントラ予測部
14…残差信号生成部
15…直交変換・量子化部
16…逆量子化部・逆直交変換部
17…局部復号画像生成部
18…メモリ部
19…エントロピー符号化部
3…復号装置
31…エントロピー復号部
32…合成領域決定部
33…イントラ予測部
34…逆量子化・逆変換部
35…局部復号画像生成部
36…メモリ部
DESCRIPTION OF SYMBOLS 1...
Claims (8)
イントラ予測モードに基づいて、前記符号化対象ブロック内において、復号済みの隣接画素から予測画像が生成される第1領域と、復号済みでない隣接画素から予測画像が生成される第2領域とを決定するように構成されている領域決定部と、
前記第1領域に対して前記イントラ予測モードを用いて第1予測画像を生成し、前記第2領域に対して前記イントラ予測モードと異なる予測方法を用いて第2予測画像を生成し、前記第1予測画像及び前記第2予測画像を合成することで前記符号化対象ブロックに対応する新たな予測画像を生成するように構成されているイントラ予測部とを具備することを特徴とする符号化装置。 A coding device configured to divide a frame-based original image forming a moving image into coding target blocks and code the blocks.
Based on the intra prediction modes, determined in the encoding target block, a first region predicted image from the decoded adjacent pixels are generated, and a second region where the predicted image from the adjacent pixels are generated not decoded An area determination unit configured to
A first prediction image is generated for the first region using the intra prediction mode, and a second prediction image is generated for the second region using a prediction method different from the intra prediction mode; An encoding device, comprising: an intra prediction unit configured to generate a new prediction image corresponding to the encoding target block by combining one prediction image and the second prediction image. ..
予測モードに基づいて決定する第1予測処理により第1予測画像を生成する第1予測部と、 A first prediction unit that generates a first predicted image by a first prediction process that is determined based on the prediction mode;
前記予測モードに基づいて合成領域を決定するように構成されている合成領域決定部と、 A composite area determination unit configured to determine a composite area based on the prediction mode,
前記第1予測処理と異なる第2予測処理により第2予測画像を生成する第2予測部と、 A second prediction unit that generates a second predicted image by a second prediction process different from the first prediction process;
前記合成領域に含まれる予測画像を、前記第1予測画像と前記第2予測画像との加重平均により生成する予測画像合成部とを具備しており、 A prediction image combination unit that generates a prediction image included in the combination area by a weighted average of the first prediction image and the second prediction image;
前記予測画像合成部は、前記符号化対象ブロックに隣接するブロックが復号済みか否かに基づいて前記加重平均に用いる重みを決定することを特徴とする符号化装置。 The predictive image composition unit determines a weight to be used for the weighted average based on whether a block adjacent to the encoding target block has been decoded or not.
イントラ予測モードに基づいて、前記符号化対象ブロック内において、復号済みの隣接画素から予測画像が生成される第1領域と、復号済みでない隣接画素から予測画像が生成される第2領域とを決定するように構成されている合成領域決定部と、
前記第1領域に対して前記イントラ予測モードを用いて第1予測画像を生成し、前記第2領域に対して前記イントラ予測モードと異なる予測方法を用いて第2予測画像を生成し、前記第1予測画像及び前記第2予測画像を合成することで前記符号化対象ブロックに対応する新たな予測画像を生成するように構成されているイントラ予測部とを具備することを特徴とする復号装置。 A decoding device configured to decode an encoding target block obtained by dividing an original image in frame units forming a moving image,
Based on the intra prediction modes, determined in the encoding target block, a first region predicted image from the decoded adjacent pixels are generated, and a second region where the predicted image from the adjacent pixels are generated not decoded A combination area determination unit configured to
A first prediction image is generated for the first region using the intra prediction mode, and a second prediction image is generated for the second region using a prediction method different from the intra prediction mode; A decoding device, comprising: an intra prediction unit configured to generate a new prediction image corresponding to the encoding target block by synthesizing one prediction image and the second prediction image .
予測モードに基づいて決定する第1予測処理により第1予測画像を生成する第1予測部と、 A first prediction unit that generates a first predicted image by a first prediction process that is determined based on the prediction mode;
前記予測モードに基づいて合成領域を決定するように構成されている合成領域決定部と、 A composite area determination unit configured to determine a composite area based on the prediction mode,
前記第1予測処理と異なる第2予測処理により第2予測画像を生成する第2予測部と、 A second prediction unit that generates a second predicted image by a second prediction process different from the first prediction process;
前記合成領域に含まれる予測画像を、前記第1予測画像と前記第2予測画像との加重平均により生成する予測画像合成部とを具備しており、 A prediction image combination unit that generates a prediction image included in the combination area by a weighted average of the first prediction image and the second prediction image;
前記予測画像合成部は、前記符号化対象ブロックに隣接するブロックが復号済みか否かに基づいて前記加重平均に用いる重みを決定することを特徴とする復号装置。 The decoding device, wherein the predicted image synthesis unit determines a weight to be used for the weighted average based on whether or not a block adjacent to the encoding target block has been decoded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016132814A JP6740534B2 (en) | 2016-07-04 | 2016-07-04 | Encoding device, decoding device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016132814A JP6740534B2 (en) | 2016-07-04 | 2016-07-04 | Encoding device, decoding device and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020109183A Division JP7104101B2 (en) | 2020-06-24 | 2020-06-24 | Encoding device, decoding device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018007079A JP2018007079A (en) | 2018-01-11 |
JP6740534B2 true JP6740534B2 (en) | 2020-08-19 |
Family
ID=60949986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016132814A Active JP6740534B2 (en) | 2016-07-04 | 2016-07-04 | Encoding device, decoding device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6740534B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4722125B2 (en) * | 2005-04-01 | 2011-07-13 | パナソニック株式会社 | Image decoding apparatus and image decoding method |
JP5908619B2 (en) * | 2010-01-07 | 2016-04-26 | 株式会社東芝 | Moving picture coding apparatus and moving picture decoding apparatus |
PT3125552T (en) * | 2010-08-17 | 2018-06-04 | M&K Holdings Inc | Method for restoring an intra prediction mode |
WO2012077795A1 (en) * | 2010-12-09 | 2012-06-14 | シャープ株式会社 | Image coding device, image decoding device, and data structure |
KR20120140181A (en) * | 2011-06-20 | 2012-12-28 | 한국전자통신연구원 | Method and apparatus for encoding and decoding using filtering for prediction block boundary |
-
2016
- 2016-07-04 JP JP2016132814A patent/JP6740534B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018007079A (en) | 2018-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5367098B2 (en) | Motion vector predictive coding method, motion vector predictive decoding method, moving picture coding apparatus, moving picture decoding apparatus, and programs thereof | |
JP5306486B2 (en) | Motion vector predictive coding method, motion vector predictive decoding method, moving picture coding apparatus, moving picture decoding apparatus, and programs thereof | |
JP2014195290A (en) | Video decoding method | |
JPWO2011048903A1 (en) | Moving picture coding apparatus, moving picture decoding apparatus, and data structure | |
WO2011125730A1 (en) | Image encoding device, image encoding method, image decoding device, and image decoding method | |
US20220030250A1 (en) | Encoding device, decoding device, and program | |
WO2020036132A1 (en) | Image encoding device, image decoding device, and program | |
JP2023159443A (en) | Decoding device and program | |
JP5677576B2 (en) | Video decoding method and video encoding method | |
JP6956471B2 (en) | Coding device, decoding device and program | |
JP7202769B2 (en) | Encoding device, decoding device and program | |
JP6895247B2 (en) | Coding device, decoding device and program | |
JP6740534B2 (en) | Encoding device, decoding device and program | |
JP2009005217A (en) | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, image decoding program, and computer readable recording medium | |
JP7332385B2 (en) | Intra prediction device, image coding device, image decoding device, and program | |
JP2017212554A (en) | Encoder, decoder and program | |
JP6887296B2 (en) | Coding device, decoding device and program | |
JP7092455B2 (en) | Encoding device, decoding device and program | |
JP2020053725A (en) | Predictive image correction device, image encoding device, image decoding device, and program | |
JP7167212B2 (en) | Encoding device, decoding device and program | |
JP7279128B2 (en) | Prediction device and program | |
JP7166743B2 (en) | Encoding device, decoding device and program | |
JP5957513B2 (en) | Video decoding method | |
JP2021129148A (en) | Prediction device, encoding device, decoding device, and program | |
KR102125969B1 (en) | Intra prediction method and apparatus using the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200527 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20200626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200625 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6740534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |