WO2023277104A1 - 画像復号装置、画像復号方法及びプログラム - Google Patents

画像復号装置、画像復号方法及びプログラム Download PDF

Info

Publication number
WO2023277104A1
WO2023277104A1 PCT/JP2022/026103 JP2022026103W WO2023277104A1 WO 2023277104 A1 WO2023277104 A1 WO 2023277104A1 JP 2022026103 W JP2022026103 W JP 2022026103W WO 2023277104 A1 WO2023277104 A1 WO 2023277104A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
output
prediction
pixel
image decoding
Prior art date
Application number
PCT/JP2022/026103
Other languages
English (en)
French (fr)
Inventor
晴久 加藤
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to CN202280045467.0A priority Critical patent/CN117693935A/zh
Publication of WO2023277104A1 publication Critical patent/WO2023277104A1/ja
Priority to US18/394,098 priority patent/US20240179299A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to an image decoding device, an image decoding method and a program.
  • Non-Patent Document 1 and Non-Patent Document 2 disclose GPM (Geometric Partitioning Mode).
  • GPM divides a rectangular block into two diagonally and applies motion compensation processing to each. Specifically, the two divided regions are synthesized by subjecting them to motion compensation processing using merge vectors and weighted averaging processing. For diagonal division, 64 patterns are prepared according to angles and positions.
  • VVC CE4 Summary report on inter prediction with geometric partitioning, JVET-Q0024
  • Non-Patent Document 1 and Non-Patent Document 2 the target is limited to the merge mode with motion compensation, so there is a problem that there is room for improvement in improving the coding performance.
  • the present invention has been made in view of the above problems, and aims to provide an image decoding device, an image decoding method, and a program that can further improve coding efficiency.
  • a first feature of the present invention is an image decoding device comprising: a decoding unit configured to decode and output prediction information and a quantized value; and the quantized value output by the decoding unit.
  • an inverse quantization unit configured to generate and output a transform coefficient by performing an inverse quantization process on the transform coefficient, and performing an inverse transform process on the transform coefficient output by the inverse quantization unit.
  • an inverse transform unit configured to generate and output a prediction residual by an adder configured to obtain and output a decoded pixel by adding the prediction residual output by the inverse transform unit and the prediction pixel output by the synthesizing unit; an accumulation unit configured to accumulate the decoded pixels output by the adder; and prediction based on the decoded pixels output by the adder and the prediction information output by the decoding unit.
  • an intra-prediction unit configured to generate and output pixels; and a predicted pixel is generated based on the decoded pixels accumulated by the accumulation unit and the prediction information output by the decoding unit.
  • a motion compensator configured to output a weight coefficient for the predicted pixel output by the intra prediction unit and the predicted pixel output by the motion compensation unit.
  • the gist of the invention is that the prediction pixel is generated by performing weighted averaging processing using the weighted average.
  • a second feature of the present invention is an image decoding method, comprising a step A of decoding and outputting prediction information and a quantized value; A step B of generating and outputting transform coefficients by performing the above; a step C of generating and outputting prediction residuals by performing inverse transform processing on the transform coefficients output in the step B; step D of generating and outputting a predicted pixel based on the prediction information output in step A; adding the prediction residual output in step C and the predicted pixel output in step D; a step E of acquiring and outputting decoded pixels using the above step E; a step F of accumulating the decoded pixels output in the step E; step G of generating and outputting predicted pixels based on the prediction information obtained; and generating predicted pixels based on the decoded pixels accumulated in step F and the prediction information output in step A. and a step H of outputting, and in the step D, performing a weighted average process using a weighting factor on the predicted pixel output in the step G and the predicted pixel output in
  • a third feature of the present invention is a program that causes a computer to function as an image decoding device, wherein the image decoding device includes a decoding unit configured to decode and output prediction information and a quantization value.
  • an inverse quantization unit configured to generate and output transform coefficients by performing inverse quantization processing on the quantized values output by the decoding unit; and output by the inverse quantization unit.
  • an inverse transform unit configured to generate and output a prediction residual by performing inverse transform processing on the transformed transform coefficients; and a prediction pixel based on the prediction information output by the decoding unit.
  • a synthesis unit configured to generate and output a decoded pixel by adding the prediction residual output by the inverse transform unit and the prediction pixel output by the synthesis unit.
  • an accumulation unit configured to accumulate the decoded pixels output by the adder; the decoded pixels output by the adder and the an intra prediction unit configured to generate and output predicted pixels based on the prediction information output by the decoding unit; and the decoded pixels accumulated by the accumulation unit and output by the decoding unit.
  • a motion compensation unit configured to generate and output a prediction pixel based on the prediction information obtained from the prediction information, and the synthesis unit combines the prediction pixel output by the intra prediction unit and the motion compensation unit.
  • an image decoding device it is possible to provide an image decoding device, an image decoding method, and a program that can further improve coding efficiency.
  • FIG. 2 is a diagram showing an example of functional blocks of an image decoding device 200 according to one embodiment
  • FIG. FIG. 3 is a diagram showing an example of a case where a unit block is divided into small regions A and B in an image decoding device 200 according to an embodiment
  • FIG. 3 is a diagram showing an example of a case where a unit block is divided into small areas A to C in an image decoding device 200 according to an embodiment
  • FIG. 3 is a diagram showing an example of a case in which the image decoding device 200 according to one embodiment assigns intra prediction and motion compensation to the small regions A and B of FIG. 2 to generate predicted pixels.
  • FIG. 4 is a diagram showing an example of a case in which predicted pixels are generated by allocating intra prediction, motion compensation, and intra prediction to small regions A to C in FIG. 3 in the image decoding device 200 according to an embodiment.
  • FIG. 6 is a diagram showing an example of a calculation method using weighting coefficients and weighted averaging.
  • FIG. 7 is a diagram showing an example of a calculation method using weighting coefficients and weighted averaging.
  • FIG. 1 is a diagram showing an example of functional blocks of an image decoding device 200 according to this embodiment.
  • the image decoding device 200 includes a code input unit 201, a decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an adder 240, an accumulation unit 250, and an intra prediction unit. 260 , a motion compensator 270 , a synthesizing unit 280 and an image output unit 290 .
  • the code input unit 201 is configured to acquire and output code information output by the image encoding device.
  • the decoding unit 210 is configured to perform variable-length decoding processing on the code information output by the code input unit 201 to generate and output quantized values and prediction information.
  • the decoding unit 210 outputs quantized values to the inverse quantization unit 220, and outputs prediction information to the intra prediction unit 260, the motion compensation unit 270, and the synthesis unit 280. is configured to
  • the inverse quantization unit 220 is configured to perform inverse quantization processing on the quantized values output by the decoding unit 210 to generate and output transform coefficients.
  • the inverse quantization section 220 is configured to output transform coefficients to the inverse transform section 230 .
  • the inverse transform unit 230 is configured to perform inverse transform processing on the transform coefficients output by the inverse quantization unit 220 to generate and output prediction residuals.
  • the inverse transform section 230 is configured to output the prediction residual to the adder 240 .
  • the adder 240 is configured to obtain the prediction residual output by the inverse transform unit 230 and the prediction pixel output by the combining unit 280 .
  • the adder 240 is configured to add the prediction residual and the prediction pixel to obtain and output the decoded pixel.
  • the adder 240 is configured to output decoded pixels to the accumulation section 250, the intra prediction section 260 and the image output section 290.
  • the storage unit 250 is configured to cumulatively store the decoded pixels output by the adder 240 .
  • the storage unit 250 is configured to output decoded pixels in response to requests from the motion compensation unit 270 .
  • the intra prediction unit 260 predicts input pixels as approximate values in a small region set by the synthesis unit 280, which will be described later. configured to generate pixels;
  • the intra prediction section 260 is configured to output predicted pixels to the synthesis section 280 .
  • the motion compensation unit 270 calculates approximate values of input pixels in a small region set by the synthesis unit 280, which will be described later. is configured to generate a predicted pixel as .
  • the motion compensation section 270 is configured to output predicted pixels to the synthesizing section 280 .
  • the image output unit 290 is configured to output the decoded pixels output by the adder 240 .
  • the synthesizing unit 280 generates and outputs predicted pixels based on the prediction information output by the decoding unit 210, the predicted pixels output by the intra prediction unit 260, and the predicted pixels output by the motion compensation unit 270. It is configured.
  • the synthesizing unit 280 performs weighted averaging processing using a weighting factor on the predicted pixels output by the intra prediction unit 260 and the predicted pixels output by the motion compensation unit 270, thereby generating such predicted pixels.
  • the role of the synthesizing unit 280 is to select weighting coefficients for a plurality of prediction pixels that are optimal for the decoding target block in order to compensate the decoding target block with high accuracy in the adder 240 in the subsequent stage, and select the intra prediction unit 260 and the motion compensator 270 are combined in accordance with weighting coefficients.
  • the weighting factor a plurality of patterns in which arbitrary values are set in advance for each pixel of the unit block are prepared. It is configured to identify a weighting factor to be used for each pixel according to the prediction information.
  • the total value of the weighting coefficients for a plurality of predicted pixels is designed to be 1 for each pixel, and the weighted average processing is performed on the plurality of predicted pixels using such weighting coefficients, and the result of synthesis is synthesized.
  • the pixels are predicted by the unit 280 .
  • Pixels with a weighting factor other than 0 use such predicted pixels, and pixels with a weighting factor of 0 do not use such predicted pixels. This corresponds to determining which pixels of a plurality of prediction pixels are to be applied where at what ratio.
  • FIG. 2 shows an example in which the unit blocks are distributed obliquely, and the unit blocks are divided into small areas A and B by an oblique straight line.
  • the unit block is divided into small areas A, B, and C by a plurality of straight lines.
  • the number of divisions may be any number.
  • intra prediction and/or motion compensation may be assigned to each of the small regions A to C to generate predicted pixels. That is, the synthesizing unit 280 generates predicted pixels generated by the intra prediction unit 260 and/or predicted pixels generated by the motion compensation unit 270 in each of a plurality of small regions A to C obtained by dividing the unit block of the decoding target block. may be configured to employ
  • FIG. 4 shows an example of generating predicted pixels by assigning intra prediction and motion compensation to small regions A and B in FIG. 2, respectively.
  • Other combinations such as assigning different intra-predictions to both sub-regions A and B, are possible.
  • intra prediction before application of a deblocking filter may be used, and after application of a deblocking filter may be used. It is desirable to decide one or the other in advance.
  • the intra prediction mode may be limited according to the division shape of the small region. That is, the synthesizer 280 may be configured to use an intra prediction mode according to the division shape of the small region when intra prediction is assigned to the small region.
  • the synthesizing unit 280 can limit the intra prediction mode to only one mode in the direction parallel to the direction divided by the straight lines that make up the division shape.
  • the synthesizing unit 280 may limit the intra prediction modes to only two types, a mode in a direction parallel to the direction divided by the straight lines forming the division shape and a mode in a direction perpendicular to the direction.
  • the decoding unit 210 may be configured to adaptively decode a limited prediction mode according to the type of subregion division.
  • the decoding unit 210 limits the intra-prediction mode to the directions parallel and perpendicular to the direction of the division by the straight lines that make up the division shape, even if the code input to the decoding unit 210 is “0”
  • the intra prediction mode may be decoded as the parallel direction, and if the code input to the decoding unit 210 is "1", the intra prediction mode may be decoded as the vertical direction.
  • prediction information in intra prediction mode can be represented by 1 bit, so that the effect of greatly improving coding efficiency can be obtained.
  • the synthesizing unit 280 may be configured to include a specific intra-prediction mode in options as the prediction mode.
  • the synthesizing unit 280 may be configured to always add a specific direction-independent intra prediction mode, such as Planar mode or DC, to the options.
  • the synthesizing unit 280 has only three types of intra prediction modes: a parallel mode, a perpendicular mode, and a direction-independent planar mode with respect to the direction divided by the straight lines that make up the division shape. may be limited to
  • the synthesizing unit 280 selects the intra prediction modes as a parallel mode, a perpendicular direction mode, a direction-independent Planar mode, and a DC mode with respect to the direction divided by the straight lines forming the divided shape. You may limit to only four types.
  • the synthesizing unit 280 uses the division shape described above.
  • a reference pixel selected by MRL may be used as a reference pixel referred to in the corresponding intra prediction mode.
  • FIG. 5 assigns intra prediction, motion compensation, and intra prediction to the small regions A to C in FIG. 3, respectively.
  • the synthesizing unit 280 may be configured to include in the options at least part of the intra prediction modes corresponding to the direction of division by the straight lines forming the division shape of the small region.
  • the synthesizing unit 280 may determine the number of intra prediction modes to be included in options based on the block size to be decoded.
  • the synthesizing unit 280 selects one intra prediction mode according to the direction of division by the straight lines forming the division shape of the small region, and a plurality of intra prediction modes near the intra prediction mode.
  • a predicted pixel may be generated using a predicted pixel generated by a prediction mode.
  • the synthesizing unit 280 may generate prediction pixels only in one intra prediction mode according to the direction of division by the straight lines forming the division shape of the small region. .
  • each reference pixel position (distance between each reference pixel) between adjacent intra prediction modes changes depending on the size of a unit block
  • each reference pixel position is easily separated as described above
  • predictive pixel generation is performed for pixels referenced by prediction modes near the parallel intra-prediction mode, i.e., reference pixels away from the dividing line forming the dividing shape. can be used to avoid possible degradation in prediction performance.
  • pixels referenced by one parallel intra prediction mode and neighboring prediction modes in the parallel intra prediction mode with respect to the division direction are predicted pixels. can be expected to improve prediction performance.
  • the synthesizing unit 280 may determine the number of intra prediction modes to be included in the options based on the aspect ratio of the block to be decoded.
  • the synthesizing unit 280 selects one intra prediction mode according to the direction of division by the straight lines forming the divided shape of the small region and a plurality of intra prediction modes near the intra prediction mode.
  • a predicted pixel may be generated using a predicted pixel generated by a prediction mode.
  • the synthesizing unit 280 may generate prediction pixels only in one intra prediction mode according to the direction of division by the straight lines forming the division shape of the small region. .
  • each reference pixel position (distance between each reference pixel) between adjacent intra prediction modes changes depending on the aspect ratio of a unit block, as described above, in a non-square block where each reference pixel position tends to be separated.
  • a pixel referenced by a prediction mode near the parallel intra prediction mode that is, a reference pixel away from the dividing line forming the dividing shape is predicted. It can be used for pixel generation to avoid possible degradation of prediction performance.
  • pixels referenced by one parallel intra prediction mode and prediction modes in the vicinity of the parallel intra prediction mode are used as prediction pixels in the division direction. By using it for generation, an effect of improving prediction performance can be expected.
  • the predicted pixels of each of the small regions A to C are calculated by performing weighted averaging using weighting coefficients according to the division shape.
  • the combination of the small areas A to C is obtained by setting a weighting factor for each pixel and performing a weighted average process using the weighting factor on a plurality of predicted pixels.
  • FIG. 6 shows an example of a calculation method using weighting coefficients and weighted averaging.
  • the synthesizing section 280 may be configured to decrease the weighting factor toward the lower right of the unit block of the decoding target block. In this case, it is possible to omit explicit sub-region division by uniformly setting the weighting factor w to 0.5.
  • the synthesizing unit 280 may be configured to adaptively change the weighting factor of a unit block near the unit block of the decoding target block based on whether or not the unit block is intra-predicted.
  • the weighting factor may be proportional to the number of intra predictions of neighboring unit blocks. That is, the synthesizing unit 280 may be configured to determine the weighting factor so as to be proportional to the number of unit blocks to which intra prediction is assigned among unit blocks near the unit block of the decoding target block.
  • the weight r is increased to increase the influence of intra prediction, and when there are few intra predictions in the neighborhood, the weight r is decreased to decrease the influence of intra prediction, thereby improving the prediction accuracy. An improvement effect can be expected.
  • the image decoding device 200 described above may be implemented as a program that causes a computer to execute each function (each process).
  • the United Nations-led Sustainable Development Goals (SDGs) Goal 9 "Develop resilient infrastructure, It will be possible to contribute to the promotion of sustainable industrialization and the expansion of innovation.
  • Image decoding device 201... Code input unit 210... Decoding unit 220... Inverse quantization unit 230... Inverse transform unit 240... Adder 250... Storage unit 260... Intra prediction unit 270... Motion compensation unit 280... Synthesis unit 290... Image Output part

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明に係る画像復号装置２００において、合成部２８０は、イントラ予測部２６０によって出力された予測画素及び動き補償部２７０によって出力された予測画素に対して重み係数を用いた重み付け平均処理を施すことで予測画素を生成するように構成されている。

Description

画像復号装置、画像復号方法及びプログラム
　本発明は、画像復号装置、画像復号方法及びプログラムに関する。
　非特許文献１及び非特許文献２には、ＧＰＭ（Ｇｅｏｍｅｔｒｉｃ　Ｐａｒｔｉｔｉｏｎｉｎｇ　Ｍｏｄｅ）について開示されている。
　ＧＰＭは、矩形ブロックを斜めに２分割しそれぞれに対して動き補償処理を施すものである。具体的には、分割された２領域は、それぞれマージベクトルにより動き補償処理が施されて重み付き平均処理を施されることで合成される。斜めの分割は、角度及び位置によって６４パターンが用意されている。
ＩＴＵ-Ｔ　Ｈ.２６６　ＶＶＣ ＣＥ４：Ｓｕｍｍａｒｙ　ｒｅｐｏｒｔ　ｏｎ　ｉｎｔｅｒ　ｐｒｅｄｉｃｔｉｏｎ　ｗｉｔｈ　ｇｅｏｍｅｔｒｉｃ　ｐａｒｔｉｔｉｏｉｎｇ、ＪＶＥＴ-Ｑ００２４
　しかしながら、非特許文献１及び非特許文献２では、その対象が動き補償を伴うマージモードに限定されているため、符号化性能の向上には改善の余地があるという問題点があった。
　そこで、本発明は、上述の課題に鑑みてなされたものであり、より符号化効率を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
　本発明の第１の特徴は、画像復号装置であって、予測情報及び量子化値を復号して出力するように構成されている復号部と、前記復号部によって出力された前記量子化値に対して逆量子化処理を施すことで変換係数を生成して出力するように構成されている逆量子化部と、前記逆量子化部によって出力された前記変換係数に対して逆変換処理を施すことで予測残差を生成して出力するように構成されている逆変換部と、前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されている合成部と、前記逆変換部によって出力された前記予測残差と前記合成部によって出力された前記予測画素とを加算して復号済み画素を取得して出力するように構成されている加算器と、前記加算器によって出力された前記復号済み画素を蓄積するように構成されている蓄積部と、前記加算器によって出力された前記復号済み画素及び前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されているイントラ予測部と、前記蓄積部によって蓄積されている前記復号済み画素及び前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されている動き補償部と、を備え、前記合成部は、前記イントラ予測部によって出力された前記予測画素及び前記動き補償部によって出力された前記予測画素に対して重み係数を用いた重み付け平均処理を施すことで前記予測画素を生成するように構成されていることを要旨とする。
　本発明の第２の特徴は、画像復号方法であって、予測情報及び量子化値を復号して出力する工程Ａと、前記工程Ａにおいて出力された前記量子化値に対して逆量子化処理を施すことで変換係数を生成して出力する工程Ｂと、前記工程Ｂにおいて出力された前記変換係数に対して逆変換処理を施すことで予測残差を生成して出力する工程Ｃと、前記工程Ａにおいて出力された前記予測情報に基づいて予測画素を生成して出力する工程Ｄと、前記工程Ｃにおいて出力された前記予測残差と前記工程Ｄにおいて出力された前記予測画素とを加算して復号済み画素を取得して出力する工程Ｅと、前記工程Ｅにおいて出力された前記復号済み画素を蓄積する工程Ｆと、前記工程Ｅにおいて出力された前記復号済み画素及び前記工程Ａにおいて出力された前記予測情報に基づいて予測画素を生成して出力する工程Ｇと、前記工程Ｆにおいて蓄積された前記復号済み画素及び前記工程Ａにおいて出力された前記予測情報に基づいて予測画素を生成して出力する工程Ｈと、を備え、前記工程Ｄにおいて、前記工程Ｇにおいて出力された前記予測画素及び前記工程Ｈにおいて出力された前記予測画素に対して重み係数を用いた重み付け平均処理を施すことで前記予測画素を生成することを要旨とする。
　本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、予測情報及び量子化値を復号して出力するように構成されている復号部と、前記復号部によって出力された前記量子化値に対して逆量子化処理を施すことで変換係数を生成して出力するように構成されている逆量子化部と、前記逆量子化部によって出力された前記変換係数に対して逆変換処理を施すことで予測残差を生成して出力するように構成されている逆変換部と、前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されている合成部と、前記逆変換部によって出力された前記予測残差と前記合成部によって出力された前記予測画素とを加算して復号済み画素を取得して出力するように構成されている加算器と、前記加算器によって出力された前記復号済み画素を蓄積するように構成されている蓄積部と、前記加算器によって出力された前記復号済み画素及び前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されているイントラ予測部と、前記蓄積部によって蓄積されている前記復号済み画素及び前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されている動き補償部と、を備え、前記合成部は、前記イントラ予測部によって出力された前記予測画素及び前記動き補償部によって出力された前記予測画素に対して重み係数を用いた重み付け平均処理を施すことで前記予測画素を生成するように構成されていることを要旨とする。
　本発明によれば、より符号化効率を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することができる。
一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００において単位ブロックを小領域Ａ及び小領域Ｂに分割するケースの一例を示す図である。 一実施形態に係る画像復号装置２００において単位ブロックを小領域Ａ～Ｃに分割するケースの一例を示す図である。 一実施形態に係る画像復号装置２００において、図２の小領域Ａ及び小領域Ｂに対してそれぞれイントラ予測及び動き補償を割り当てて予測画素を生成するケースの一例を示す図である。 一実施形態に係る画像復号装置２００において、図３の小領域Ａ～Ｃに対してそれぞれイントラ予測、動き補償及びイントラ予測を割り当てて予測画素を生成するケースの一例を示す図である。 図６は、重み係数と重み付き平均処理を用いた算出方法の一例を示す図である。 図７は、重み係数と重み付き平均処理を用いた算出方法の一例を示す図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
（第１実施形態）
　以下、図１～図７を参照して、本発明の第１実施形態に係る画像復号装置２００について説明する。図１は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。
　図１に示すように、画像復号装置２００は、符号入力部２０１と、復号部２１０と、逆量子化部２２０と、逆変換部２３０と、加算器２４０と、蓄積部２５０と、イントラ予測部２６０と、動き補償部２７０と、合成部２８０と、画像出力部２９０とを有する。
　符号入力部２０１は、画像符号装置によって出力された符号情報を取得して出力するように構成されている。
　復号部２１０は、符号入力部２０１によって出力された符号情報に対して可変長復号処理を施すことで量子化値及び予測情報を生成して出力するように構成されている。ここで、図１に示すように、復号部２１０は、逆量子化部２２０に対して量子化値を出力し、イントラ予測部２６０、動き補償部２７０及び合成部２８０に対して予測情報を出力するように構成されている。
　逆量子化部２２０は、復号部２１０によって出力された量子化値に対して逆量子化処理を施すことで変換係数を生成して出力するように構成されている。ここで、図１に示すように、逆量子化部２２０は、逆変換部２３０に対して変換係数を出力するように構成されている。
　逆変換部２３０は、逆量子化部２２０によって出力された変換係数に対して逆変換処理を施すことで予測残差を生成して出力するように構成されている。ここで、図１に示すように、逆変換部２３０は、加算器２４０に対して予測残差を出力するように構成されている。
　加算器２４０は、逆変換部２３０によって出力された予測残差及び合成部２８０によって出力された予測画素を取得するように構成されている。ここで、加算器２４０は、かかる予測残差と予測画素とを加算して復号済み画素を取得して出力するように構成されている。ここで、図１に示すように、加算器２４０は、蓄積部２５０、イントラ予測部２６０及び画像出力部２９０に対して復号済み画素を出力するように構成されている。
　蓄積部２５０は、加算器２４０によって出力された復号済み画素について累積的に蓄積するように構成されている。蓄積部２５０は、動き補償部２７０からの要求に応じて復号済み画素を出力するように構成されている。
　イントラ予測部２６０は、加算器２４０によって出力された復号済み画素及び復号部２１０によって出力された予測情報に基づいて、後述する合成部２８０で設定される小領域における入力画素の近似値としての予測画素を生成するように構成されている。ここで、図１に示すように、イントラ予測部２６０は、合成部２８０に対して予測画素を出力するように構成されている。
　動き補償部２７０は、蓄積部２５０を参照して得られた復号済み画素及び復号部２１０によって出力された予測情報に基づいて、後述する合成部２８０で設定される小領域における入力画素の近似値としての予測画素を生成するように構成されている。ここで、図１に示すように、動き補償部２７０は、合成部２８０に対して予測画素を出力するように構成されている。
　画像出力部２９０は、加算器２４０によって出力された復号済み画素を出力するように構成されている。
　以下、図２～図７を参照して、合成部２８０の機能の一例について説明する。
　合成部２８０は、復号部２１０によって出力された予測情報、イントラ予測部２６０によって出力された予測画素及び動き補償部２７０によって出力された予測画素に基づいて、予測画素を生成して出力するように構成されている。
　また、合成部２８０は、イントラ予測部２６０によって出力された予測画素及び動き補償部２７０によって出力された予測画素に対して重み係数を用いた重み付け平均処理を施すことで、かかる予測画素を生成するように構成されている。
　ここで、合成部２８０の役割は、後段の加算器２４０において復号対象ブロックを高精度に補償するために、かかる復号対象ブロックに最適な複数の予測画素に対する重み係数を選択して、イントラ予測部２６０及び動き補償部２７０から取得した複数の予測画素を重み係数に応じて合成することにある。
　なお、重み係数については、単位ブロックの画素ごとに予め設定した任意の値を設定した複数のパターンを用意しておき、合成部２８０は、複数のパターンの重み係数から、復号部２１０から取得した予測情報に従って、画素ごとに使用する重み係数を特定するように構成されている。
　複数の予測画素に対する重み係数の合計値は、画素ごとに１になるように設計しておき、かかる重み係数を用いて複数の予測画素に対して重み付け平均処理を施して合成した結果を、合成部２８０による予測画素とする。
　重み係数を０以外とした画素は、かかる予測画素を採用し、重み係数を０とした画素は、かかる予測画素を用いないことになるため、概念としては、単位ブロックを複数の小領域に分割することに相当し、複数の予測画素のどの画素をどの割合でどこに適用するかを決定することになる。
　ここで、重み係数の分布は、２等分等の矩形形状分布だとより小さな単位ブロックで表現できるため、非矩形形状に分布させることが望ましい。
　図２では、単位ブロックを斜めの形状で分布させた場合の例を表し、単位ブロックは、斜めの直線で小領域Ａ及び小領域Ｂに分割されている。
　図３の例では、単位ブロックは、複数の直線で小領域Ａと小領域Ｂと小領域Ｃとに分割されている。分割数は、任意の数であってもよい。
　図３の例において、それぞれの小領域Ａ～Ｃに対してイントラ予測又は/且つ動き補償を割り当てて予測画素が生成されてもよい。すなわち、合成部２８０は、復号対象ブロックの単位ブロックを分割した複数の小領域Ａ～Ｃの各々において、イントラ予測部２６０によって生成された予測画素又は/且つ動き補償部２７０によって生成された予測画素を採用するように構成されていてもよい。
　このとき、分割数が増加すると、イントラ予測等の予測情報を符号化する必要が生じてしまうため、符号化効率を改善できないという問題がある。この問題を解決するため、小領域の分割に応じた予測モードを用いるという手順を取る。
　図４は、図２の小領域Ａ及び小領域Ｂに対してそれぞれイントラ予測及び動き補償を割り当てて予測画素を生成する例を示す。他にも、両方の小領域Ａ及び小領域Ｂに異なるイントラ予測を割り当てる等の任意の組み合わせを取ることができる。また、イントラ予測に関しては、デブロッキングフィルタ適用前を利用してもよいしデブロッキングフィルタ適用後を利用してもよい。事前にどちらかを決定しておくことが望ましい。
　イントラ予測は、小領域の分割形状に応じてイントラ予測モードを限定してもよい。すなわち、合成部２８０は、小領域においてイントラ予測が割り当てられている場合、小領域の分割形状に応じたイントラ予測モードを用いるように構成されていてもよい。
 例えば、合成部２８０は、図４に示すように、イントラ予測モードを、分割形状を構成する直線で分割されている方向に対して平行な方向のモードの１種類だけに限定することができる。
　或いは、合成部２８０は、イントラ予測モードを、分割形状を構成する直線で分割されている方向に対して平行な方向のモードと垂直な方向のモードとの２種類だけに限定してもよい。
　このように、イントラ予測モードを分割形状の方向に応じたものに限定することで、イントラ予測モードを表す符号量を適応的に削減できる効果が得られる。
　復号部２１０は、小領域の分割の種類に応じて限定された予測モードを適応的に復号するように構成されていてもよい。
　例えば、復号部２１０は、分割形状を構成する直線で分割されている方向と平行な方向及び垂直な方向にイントラ予測モードを限定する場合、復号部２１０に入力された符号が「０」であれば平行な方向としてイントラ予測モードを復号し、復号部２１０に入力された符号が「１」であれば垂直な方向としてイントラ予測モードを復号するように構成されていてもよい。かかる構成によれば、イントラ予測モードの予測情報が１ビットで表現できるため、符号化効率を大幅に向上させる効果が得られる。
　合成部２８０は、予測モードとして、特定のイントラ予測モードを選択肢に含めるように構成されていてもよい。例えば、合成部２８０は、ＰｌａｎａｒモードやＤＣ等の方向に依存しない特定のイントラ予測モードを常に選択肢に加えるように構成されていてもよい。
　例えば、合成部２８０は、イントラ予測モードを、分割形状を構成する直線で分割されている方向に対して平行な方向のモードと垂直な方向のモードと方向に依存しないＰｌａｎａｒモードとの３種類だけに限定してもよい。
　或いは、合成部２８０は、イントラ予測モードを、分割形状を構成する直線で分割されている方向に対して平行な方向のモードと垂直な方向のモードと方向に依存しないＰｌａｎａｒモードとＤＣモードとの４種類だけに限定してもよい。
　また、合成部２８０は、非特許文献１で開示されている復号対象ブロックに隣接する複数の参照画素ラインから予測画素生成に使用する参照画素を選択するＭＲＬが有効な場合、上述の分割形状に応じたイントラ予測モードで参照する参照画素として、ＭＲＬで選択される参照画素を使用してもよい。
　図５は、図３の小領域Ａ～Ｃに対して、それぞれイントラ予測、動き補償及びイントラ予測を割り当てている。
　それぞれのイントラ予測では、小領域Ａ～Ｃを構成する複数の直線で分割されている方向に応じたイントラ予測モードを全て或いは一部を選択肢に含むことができる。すなわち、合成部２８０は、小領域の分割形状を構成する直線で分割されている方向に応じたイントラ予測モードの少なくとも一部を選択肢に含めるように構成されていてもよい。
　合成部２８０は、選択肢に含めるイントラ予測モードの数を復号対象のブロックサイズに基づいて判定してもよい。
　例えば、合成部２８０は、単位ブロックのブロックサイズが小さい場合は、小領域の分割形状を構成する直線で分割されている方向に応じた１つのイントラ予測モード及びかかるイントラ予測モード近傍の複数のイントラ予測モードにより生成される予測画素を用いて予測画素を生成してもよい。
　また、合成部２８０は、単位ブロックのブロックサイズが大きい場合は、小領域の分割形状を構成する直線で分割されている方向に応じた１つのイントラ予測モードのみより予測画素を生成してもよい。
　単位ブロックのサイズにより、隣り合うイントラ予測モード間の各参照画素位置（各参照画素間の距離）が変わるため、上記のように各参照画素位置が離れやすい大サイズブロックでは、分割方向に対して、例えば、１つの平行なイントラ予測モードに限定することで、かかる平行なイントラ予測モード近傍の予測モードによって参照される画素、すなわち、分割形状を構成する分割線から離れた参照画素を予測画素生成に使用して、予測性能の劣化が生じてしまう可能性を回避できる。
　他方、上述の各参照画素位置が離れにくい小サイズブロックでは、分割方向に対して、例えば、１つの平行なイントラ予測モード及びかかる平行なイントラ予測モード近傍の予測モードによって参照される画素を予測画素の生成に使用することで、予測性能の向上効果が期待できる。
　合成部２８０は、選択肢に含めるイントラ予測モードの数を復号対象のブロックの縦横比に基づいて判定してもよい。
　例えば、合成部２８０は、単位ブロックの縦横比が小さい場合は、小領域の分割形状を構成する直線で分割されている方向に応じた１つのイントラ予測モード及びかかるイントラ予測モード近傍の複数のイントラ予測モードにより生成される予測画素を用いて予測画素を生成してもよい。
　また、合成部２８０は、単位ブロックの縦横比が大きい場合は、小領域の分割形状を構成する直線で分割されている方向に応じた１つのイントラ予測モードのみより予測画素を生成してもよい。
　単位ブロックの縦横比により、隣り合うイントラ予測モード間の各参照画素位置（各参照画素間の距離）が変わるため、上述のように、各参照画素位置が離れやすい非正方ブロックでは、分割方向に対して、例えば、１つの平行なイントラ予測モードに限定することで、かかる平行なイントラ予測モード近傍の予測モードによって参照される画素、すなわち、分割形状を構成する分割線から離れた参照画素を予測画素生成に使用して、予測性能の劣化が生じてしまう可能性を回避できる。
　他方、上述の各参照画素位置が離れにくい正方ブロックでは、分割方向に対して、例えば、１つの平行なイントラ予測モード及びかかる平行なイントラ予測モード近傍の予測モードによって参照される画素を予測画素の生成に使用することで、予測性能の向上効果が期待できる。　
　それぞれの小領域Ａ～Ｃの予測画素は、分割形状に応じた重み係数を用いた重み付き平均処理を施すことで算出される。小領域Ａ～Ｃの合成は、画素単位に重み係数を設定し、複数の予測画素に対して、かかる重み係数を用いた重み付き平均処理を施すことで求められる。
　図６は、重み係数と重み付き平均処理を用いた算出方法の一例を示す。
　また、イントラ予測と動き補償との組み合わせの場合、イントラ予測は、右下の予測精度が比較的低いため、図６の重み係数に加えて、図７に示すように、イントラ予測の重み係数は、単位ブロックの右下ほど小さくなる点を加味して設計することもできる。すなわち、合成部２８０は、復号対象ブロックの単位ブロックの右下に行くほど重み係数を小さくするように構成されていてもよい。この場合、重み係数ｗを一様に０.５としておくことで明示的な小領域分割を省略することもできる。
　また、一般的にイントラ予測が選択されるような領域は、近傍の単位ブロックもイントラ予測が選択されることが多いため、近傍の単位ブロックがイントラ予測か否かによって重み係数を適応的に変更してもよい。すなわち、合成部２８０は、復号対象ブロックの単位ブロックの近傍の単位ブロックがイントラ予測か否かに基づいて、かかる単位ブロックの重み係数を適応的に変更するように構成されていてもよい。
　例えば、近傍の単位ブロックのイントラ予測の個数に重み係数を比例させてもよい。すなわち、合成部２８０は、復号対象ブロックの単位ブロックの近傍の単位ブロックのうちイントラ予測が割り当てられている単位ブロックの個数に比例するように重み係数を決定するように構成されていてもよい。近傍にイントラ予測が多い場合は、重みｒを大きくしてイントラ予測の影響を強くし、近傍にイントラ予測が少ない場合は、重みｒを小さくしてイントラ予測の影響を小さくすることで、予測精度向上の効果が期待できる。
　また、上述の画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
　なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
２００…画像復号装置
２０１…符号入力部
２１０…復号部
２２０…逆量子化部
２３０…逆変換部
２４０…加算器
２５０…蓄積部
２６０…イントラ予測部
２７０…動き補償部
２８０…合成部
２９０…画像出力部

Claims (12)

  1. 　画像復号装置であって、
    　予測情報及び量子化値を復号して出力するように構成されている復号部と、
    　前記復号部によって出力された前記量子化値に対して逆量子化処理を施すことで変換係数を生成して出力するように構成されている逆量子化部と、
    　前記逆量子化部によって出力された前記変換係数に対して逆変換処理を施すことで予測残差を生成して出力するように構成されている逆変換部と、
    　前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されている合成部と、
    　前記逆変換部によって出力された前記予測残差と前記合成部によって出力された前記予測画素とを加算して復号済み画素を取得して出力するように構成されている加算器と、
    　前記加算器によって出力された前記復号済み画素を蓄積するように構成されている蓄積部と、
    　前記加算器によって出力された前記復号済み画素及び前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されているイントラ予測部と、
    　前記蓄積部によって蓄積されている前記復号済み画素及び前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されている動き補償部と、を備え、
    　前記合成部は、前記イントラ予測部によって出力された前記予測画素及び前記動き補償部によって出力された前記予測画素に対して重み係数を用いた重み付け平均処理を施すことで前記予測画素を生成するように構成されていることを特徴とする画像復号装置。
  2. 　前記合成部は、復号対象ブロックの単位ブロックを分割した複数の小領域の各々において、前記イントラ予測部によって生成された前記予測画素又は/且つ前記動き補償部によって生成された前記予測画素を採用するように構成されていることを特徴とする請求項１に記載の画像復号装置。
  3. 　前記合成部は、前記小領域においてイントラ予測が割り当てられている場合、前記小領域の分割形状に応じた予測モードを用いるように構成されていることを特徴とする請求項２に記載の画像復号装置。
  4. 　前記合成部は、前記分割形状を構成する直線で分割されている方向に基づいて、前記予測モードを選択するように構成されていることを特徴とする請求項３に記載の画像復号装置。
  5. 　前記復号部は、前記小領域の分割の種類に応じて限定された予測モードを適応的に復号するように構成されていることを特徴とする請求項２～４のいずれか一項に記載の画像復号装置。
  6. 　前記合成部は、前記予測モードとして、特定のイントラ予測モードを選択肢に含めるように構成されていることを特徴とする請求項３に記載の画像復号装置。
  7. 　前記合成部は、前記分割形状を構成する直線で分割されている方向に応じたイントラ予測モードの少なくとも一部を選択肢に含めるように構成されていることを特徴とする請求項４に記載の画像復号装置。
  8. 　前記合成部は、復号対象ブロックの単位ブロックの右下に行くほど重み係数を小さくするように構成されていることを特徴とする請求項１に記載の画像復号装置。
  9. 　前記合成部は、復号対象ブロックの単位ブロックの近傍の単位ブロックがイントラ予測か否かに基づいて、前記単位ブロックの重み係数を適応的に変更するように構成されていることを特徴とする請求項１に記載の画像復号装置。
  10. 　前記合成部は、復号対象ブロックの単位ブロックの近傍の単位ブロックのうちイントラ予測が割り当てられている単位ブロックの個数に比例するように重み係数を決定するように構成されていることを特徴とする請求項１に記載の画像復号装置。
  11. 　画像復号方法であって、
    　予測情報及び量子化値を復号して出力する工程Ａと、
    　前記工程Ａにおいて出力された前記量子化値に対して逆量子化処理を施すことで変換係数を生成して出力する工程Ｂと、
    　前記工程Ｂにおいて出力された前記変換係数に対して逆変換処理を施すことで予測残差を生成して出力する工程Ｃと、
    　前記工程Ａにおいて出力された前記予測情報に基づいて予測画素を生成して出力する工程Ｄと、
    　前記工程Ｃにおいて出力された前記予測残差と前記工程Ｄにおいて出力された前記予測画素とを加算して復号済み画素を取得して出力する工程Ｅと、
    　前記工程Ｅにおいて出力された前記復号済み画素を蓄積する工程Ｆと、
    　前記工程Ｅにおいて出力された前記復号済み画素及び前記工程Ａにおいて出力された前記予測情報に基づいて予測画素を生成して出力する工程Ｇと、
    　前記工程Ｆにおいて蓄積された前記復号済み画素及び前記工程Ａにおいて出力された前記予測情報に基づいて予測画素を生成して出力する工程Ｈと、を備え、
    　前記工程Ｄにおいて、前記工程Ｇにおいて出力された前記予測画素及び前記工程Ｈにおいて出力された前記予測画素に対して重み係数を用いた重み付け平均処理を施すことで前記予測画素を生成することを特徴とする画像復号方法。
  12. 　コンピュータを、画像復号装置として機能させるプログラムであって、
    　前記画像復号装置は、
    　予測情報及び量子化値を復号して出力するように構成されている復号部と、
    　前記復号部によって出力された前記量子化値に対して逆量子化処理を施すことで変換係数を生成して出力するように構成されている逆量子化部と、
    　前記逆量子化部によって出力された前記変換係数に対して逆変換処理を施すことで予測残差を生成して出力するように構成されている逆変換部と、
    　前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されている合成部と、
    　前記逆変換部によって出力された前記予測残差と前記合成部によって出力された前記予測画素とを加算して復号済み画素を取得して出力するように構成されている加算器と、
    　前記加算器によって出力された前記復号済み画素を蓄積するように構成されている蓄積部と、
    　前記加算器によって出力された前記復号済み画素及び前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されているイントラ予測部と、
    　前記蓄積部によって蓄積されている前記復号済み画素及び前記復号部によって出力された前記予測情報に基づいて予測画素を生成して出力するように構成されている動き補償部と、を備え、
    　前記合成部は、前記イントラ予測部によって出力された前記予測画素及び前記動き補償部によって出力された前記予測画素に対して重み係数を用いた重み付け平均処理を施すことで前記予測画素を生成するように構成されていることを特徴とするプログラム。
PCT/JP2022/026103 2021-06-29 2022-06-29 画像復号装置、画像復号方法及びプログラム WO2023277104A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280045467.0A CN117693935A (zh) 2021-06-29 2022-06-29 图像解码装置、图像解码方法及程序
US18/394,098 US20240179299A1 (en) 2021-06-29 2023-12-22 Image decoding device, image decoding method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021108098A JP2023005868A (ja) 2021-06-29 2021-06-29 画像復号装置、画像復号方法及びプログラム
JP2021-108098 2021-06-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/394,098 Continuation US20240179299A1 (en) 2021-06-29 2023-12-22 Image decoding device, image decoding method, and program

Publications (1)

Publication Number Publication Date
WO2023277104A1 true WO2023277104A1 (ja) 2023-01-05

Family

ID=84691814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026103 WO2023277104A1 (ja) 2021-06-29 2022-06-29 画像復号装置、画像復号方法及びプログラム

Country Status (4)

Country Link
US (1) US20240179299A1 (ja)
JP (1) JP2023005868A (ja)
CN (1) CN117693935A (ja)
WO (1) WO2023277104A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021027464A (ja) * 2019-08-05 2021-02-22 日本放送協会 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム
JP2021513815A (ja) * 2018-07-16 2021-05-27 テンセント・アメリカ・エルエルシー 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021513815A (ja) * 2018-07-16 2021-05-27 テンセント・アメリカ・エルエルシー 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
JP2021027464A (ja) * 2019-08-05 2021-02-22 日本放送協会 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN YUE; MUKHERJEE DEBARGHA; EAN JINGNING; ROSE KENNETH: "Joint inter-intra prediction based on mode-variant and edge-directed weighting approaches in video coding", 2014 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), IEEE, 4 May 2014 (2014-05-04), pages 7372 - 7376, XP032617571, DOI: 10.1109/ICASSP.2014.6855032 *
M. BLäSER (RWTH-AACHEN), J. SAUER (RWTH-AACHEN), M. WIEN (RWTH AACHEN UNIV.): "Description of SDR and 360° video coding technology proposal by RWTH Aachen University", 10. JVET MEETING; 20180410 - 20180420; SAN DIEGO; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), no. JVET-J0023, 12 April 2018 (2018-04-12), XP030248151 *

Also Published As

Publication number Publication date
JP2023005868A (ja) 2023-01-18
US20240179299A1 (en) 2024-05-30
CN117693935A (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
JP6479237B2 (ja) ビデオ符号化のための簡素化されたイントラ予測
JP6886528B2 (ja) 映像コーディングシステムにおけるイントラ予測による映像のデコーディング方法及び装置
US9661344B2 (en) Method and apparatus for encoding and decoding image through intra prediction
JP2022514870A (ja) 隣接サンプル減少を伴う線形またはアフィン変換を使用するイントラ予測
US20220058239A1 (en) Block-based prediction
US20220116606A1 (en) Coding using matrix based intra-prediction and secondary transforms
US20220103813A1 (en) Coding of intra-prediction modes
US20210014489A1 (en) Intra prediction device, image encoding device, image decoding device and program
US11451771B2 (en) Moving-image decoder using intra-prediction, moving-image decoding method using intra-prediction, moving-image encoder using intra-prediction, moving-image encoding method using intra-prediction, and computer readable recording medium
JP2011166592A (ja) 画像符号化装置及び画像復号装置
WO2023277104A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2020054060A1 (ja) 動画像符号化方法及び動画像符号化装置
JP2022125265A (ja) 復号装置及びプログラム
US9491455B2 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
JP7332385B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JPWO2015045301A1 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
WO2024004280A1 (ja) 画像復号装置、画像復号方法及びプログラム
JP7444599B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP6917718B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
JPWO2015141116A1 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
JP2020102858A (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
WO2013098937A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置及び動画像復号装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22833250

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280045467.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE