WO2013014693A1 - 動画像復号化方法及び画像符号化方法 - Google Patents

動画像復号化方法及び画像符号化方法 Download PDF

Info

Publication number
WO2013014693A1
WO2013014693A1 PCT/JP2011/004129 JP2011004129W WO2013014693A1 WO 2013014693 A1 WO2013014693 A1 WO 2013014693A1 JP 2011004129 W JP2011004129 W JP 2011004129W WO 2013014693 A1 WO2013014693 A1 WO 2013014693A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
image
coding unit
unit
encoding
Prior art date
Application number
PCT/JP2011/004129
Other languages
English (en)
French (fr)
Inventor
横山　徹
村上　智一
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US14/233,888 priority Critical patent/US20140169465A1/en
Priority to CN201611010982.8A priority patent/CN107071406B/zh
Priority to PCT/JP2011/004129 priority patent/WO2013014693A1/ja
Priority to CN201180072475.6A priority patent/CN103703780B/zh
Priority to JP2013525428A priority patent/JP5677576B2/ja
Priority to EP11869857.0A priority patent/EP2736254B1/en
Publication of WO2013014693A1 publication Critical patent/WO2013014693A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model

Definitions

  • the present invention relates to a video signal encoding technique.
  • encoding is performed by dividing the entire screen into encoding units called macroblocks of 16 pixels ⁇ 16 pixels.
  • the prediction value of the pixel value in the target macroblock is determined for the macroblock to be encoded using surrounding pixels and previous and subsequent pictures, and the prediction error between the encoding target pixel and the prediction value is determined.
  • Entropy encoding is performed for the macroblock to be encoded using surrounding pixels and previous and subsequent pictures.
  • intra prediction predicted from neighboring pixels and inter prediction predicted from pixels in the previous and subsequent pictures are selected for each macroblock according to the pattern in the macroblock. can do.
  • prediction can be performed by dividing into prediction blocks smaller than 16 pixels ⁇ 16 pixels.
  • a macro block of 16 pixels ⁇ 16 pixels is divided into 16 4-pixel ⁇ 4-pixel prediction blocks, and each prediction block of FIG.
  • the pixels in the prediction block can be predicted by copying the peripheral pixels in the nine types of directions indicated by indexes 0 to 8.
  • a prediction block of 16 pixels ⁇ 16 pixels is used to predict by copying neighboring pixels in the four types of directions indicated by indexes 0 to 3 in the figure. Pixels in the block can be predicted.
  • a motion vector can be set for each prediction block by dividing the macroblock into smaller prediction blocks. For example, as shown in FIG. 4, when predicting motion from a past picture, 16 pixels ⁇ 16 pixels, 16 pixels ⁇ 8 pixels, 8 pixels ⁇ 16 pixels, 8 pixels ⁇ 8 pixels (in this case, further individual predictions) The block can be divided into prediction blocks of 8 pixels ⁇ 4 pixels, 4 pixels ⁇ 8 pixels, and 4 pixels ⁇ 4 pixels), and different motion vectors can be set for the prediction blocks.
  • the size of the macroblock is limited to 16 pixels ⁇ 16 pixels, and it is impossible to predict in larger units or smaller units. .
  • selection between intra prediction and inter prediction can be set only in units of macroblocks, selection can be made only in units smaller than 16 pixels ⁇ 16 pixels.
  • Patent Document 1 can divide a block of 16 pixels ⁇ 16 pixels into any of 8 pixels ⁇ 8 pixels, 4 pixels ⁇ 4 pixels, and 2 pixels ⁇ 2 pixels according to a quadtree structure.
  • the prediction mode can be changed according to these block sizes (Patent Document 1).
  • An object of the present invention has been made in view of such a situation, and provides a technique for reducing the amount of information for describing prediction information of a macroblock.
  • CU Coding Unit
  • the prediction image of a higher-order CU (hereinafter referred to as a parent CU) that is larger than the target CU is encoded. This is achieved by making it possible to select whether to use a part of the code as it is or to perform a prediction process for each encoding target CU.
  • the flag information indicating which one is selected is stored in the encoded stream, and the decoding side reads the flag information, thereby performing the prediction process on a certain CU to be encoded. This is achieved by selecting whether to use a part of the predicted image of a higher-order CU (hereinafter referred to as a parent CU) that is larger than that, or to perform prediction processing on the encoding target CU. .
  • a prediction image of CU is generated using the prediction result of CU, An image that is a part of the predicted image of CU and corresponds to the region of CU1 is extracted as a predicted image.
  • the compression rate is improved by reducing the amount of information describing the prediction process of the CU. Can be made.
  • FIG. 1 is a diagram illustrating a schematic configuration of an image encoding device according to Embodiment 1.
  • FIG. It is a figure for demonstrating an example of the intra prediction process of a prior art. It is a figure for demonstrating an example of the intra prediction process of a prior art. It is a figure for demonstrating an example of the inter prediction process of a prior art. It is a figure for demonstrating the concept of CU division
  • FIG. It is a figure for demonstrating an example of the intra prediction process of a prior art. It is a figure for demonstrating an example of the intra prediction process of a prior art. It is a figure for demonstrating an example of the inter prediction process of a prior art. It
  • FIG. 6 is a diagram for explaining an example of CU division according to the first embodiment.
  • FIG. 6 is a diagram for explaining an example of syntax in an encoded stream by CU partitioning according to the first embodiment.
  • FIG. 10 is a diagram for explaining an example of synthesis of predicted images at the time of CU division according to the first embodiment.
  • FIG. 10 is a diagram for explaining another example of the synthesis of the predicted image at the time of CU division according to the first embodiment.
  • FIG. 10 is a diagram for explaining processing in intra prediction in the synthesis processing of a predicted image at the time of CU division according to the first embodiment.
  • FIG. 3 is a diagram illustrating a schematic configuration of a prediction mode determination unit according to the first embodiment.
  • 1 is a diagram illustrating a schematic configuration of an image decoding device according to Embodiment 1.
  • FIG. FIG. 3 is a diagram illustrating a schematic configuration of a prediction selection unit according to the first embodiment.
  • the present invention uses the prediction image of the parent CU before the division when performing the encoding process with the enlargement or reduction of the encoding unit block (hereinafter referred to as CU, Coding Unit). By omitting the prediction processing of the divided CUs, the amount of prediction information is reduced.
  • CU Coding Unit
  • FIG. 1 is a diagram illustrating a schematic configuration of an image encoding device according to the first embodiment.
  • the image encoding device includes a CU dividing unit 100 that determines a CU size, a difference unit 102 that generates a prediction difference image between a prediction image stored in a prediction image storage unit 107 and an input image 114, and the prediction A transform unit 102 that performs orthogonal transform such as DCT on the difference image, a quantization unit 103 that quantizes the transformed signal, and a variable length coding unit 104 that encodes the quantized signal, and an encoded stream 115 Is output.
  • a CU dividing unit 100 that determines a CU size
  • a difference unit 102 that generates a prediction difference image between a prediction image stored in a prediction image storage unit 107 and an input image 114
  • the prediction A transform unit 102 that performs orthogonal transform such as DCT on the difference image
  • a quantization unit 103 that quantizes the transformed signal
  • a variable length coding unit 104 that encodes the quantized signal
  • the moving picture coding apparatus has two types of prediction processing systems in order to generate the predicted image.
  • the first system is based on inter prediction, and in order to obtain a reference image for the next input image, an inverse quantization unit 109 that inversely quantizes the quantized signal output from the quantization unit 103, an inverse quantization signal Inverse transform unit 108 that obtains a prediction difference image by inverse transform, adder 111 that adds the prediction difference image after the inverse transform and the prediction image from prediction image storage unit 107, and a reference obtained by removing block noise from the added image A deblocking processing unit 112 for obtaining an image is included.
  • the second system includes a reference image storage unit 113 that stores the obtained reference image, and an inter prediction unit 106 that performs motion prediction between the reference image and the input image 114.
  • the second system is based on intra prediction, and has an intra prediction unit 105 that performs intra prediction from the input image 114.
  • the processing of the prediction mode determination unit 110 will be described later, but the most predictive using the above two prediction processing systems, that is, the inter prediction image from the inter prediction unit 106 and the intra prediction image from the intra prediction unit 105.
  • a prediction process that is estimated to be highly efficient is determined.
  • the prediction efficiency index includes, for example, prediction error energy. (Prediction method) may be selected.
  • the predicted image obtained by the determined prediction method is stored in the predicted image storage unit 113 and used to generate a predicted difference image from the input image 114.
  • Information regarding the prediction mode selected by the prediction mode determination unit 110 (that is, inter prediction or intra prediction, and the size of the prediction unit block in each case) is sent to the variable length encoding unit 104, and the encoded stream 115 Stored in part.
  • the prediction process determined by the prediction mode determination unit 110 is characterized.
  • the CU division pattern is related to the determination of the prediction process, the processing contents of the CU division unit will be described below. .
  • FIG. 5 is a diagram for explaining the concept of the CU.
  • CU Coding Unit
  • the following properties are assumed for the CU.
  • the application of this embodiment is not limited to this assumption.
  • (1) CU is square
  • the maximum size and minimum size of the CU are described in the encoded stream or defined as a standard
  • Quadruple tree structure divides hierarchically into 4 parts from maximum CU to child CUs.
  • the maximum size CU is denoted as LCU (Largest Coding Unit), and its size (in the vertical or horizontal direction of the LCU)
  • the number of pixels is denoted as LCU size.
  • the LCU size is assumed to be a power of 2.
  • application of the present embodiment is not limited to being a power of 2.
  • one picture is divided in LCU units.
  • a group of consecutive LCUs is defined as a slice. This concept corresponds to a prior art macroblock.
  • Each LCU is divided into four hierarchically by a quadtree structure.
  • FIG. 6 is a diagram illustrating an example of CU partitioning configured by a quadtree structure.
  • the LCU is divided into four CU 0 , CU 1 , CU 2 , and CU 3 .
  • CU 0 is not divided and is finally determined as CU.
  • CU 1 is divided into CU 10 , CU 11 , CU 12 , and CU 13
  • CU 2 is divided into CU 20 , CU 21 , CU 22 , and CU 23
  • CU 3 is divided into 4 parts each of CU 30 , CU 31 , CU 32 , and CU 33. Has been.
  • CU 11 is further CU 110 , CU 111 , CU 112 , CU 113 , CU 12 is CU 120 , CU 121 , CU 122 , CU 123 , CU 30 is CU 300 , CU 301 , CU 302 , CU They are respectively divided into four to 303, and the other CU are determined finally as CU. In this way, the LCU can be divided into four hierarchically, and the division can be performed until the CU size reaches the minimum size.
  • CU 10 , CU 11 , CU 12 , and CU 13 obtained by dividing CU 1 are described as children CU of CU 1 .
  • CU 1 is described as the parent CU of CU 10 , CU 11 , CU 12 , and CU 13 .
  • the CU indicates a coding unit. Strictly speaking, prediction processing and conversion processing are performed for each CU. However, in this specification, when a parent CU is described, it is necessary for this CU. Note that only the prediction process is performed according to the above, and the conversion process is not performed.
  • the function coding_unit () indicates the encoding syntax of the CU having the pixel position (x0, y0) and the size of currCUSize.
  • PicWidth is the picture width (number of pixels)
  • PicHeight is the picture height (number of pixels)
  • MinCUSize is the minimum size of the CU.
  • Split_flag is a 1-bit flag indicating whether the CU is divided into four (1) or not (0) for the current CU (L700).
  • split_flag 1
  • the current CU is divided into four.
  • the split CU size splitCUSize is 1/2 of the current CU size currCUSize
  • y1 y0 + splitCUSize, respectively.
  • L702 Four divided CUs (CU 0 to CU 3 ) are stored by recursively calling coding_unit () (L703 to L706). Even in each of the four divided CUs, whether or not to further divide is specified by split_flag. Such a recursive call is performed as long as the CU size is equal to or greater than MinCUSize.
  • this CU is determined as an encoding unit, and the main processing of encoding is prediction processing information (function prediction_unit ()) (L707) and orthogonal transformation information of prediction error ( The function transform_unit ()) (L708) is stored.
  • the orthogonal transform process is not directly related to the present invention, and is therefore omitted.
  • prediction_unit () As information of prediction processing in L707 (prediction_unit ()), for example, the identifier of the intra prediction or inter prediction, information indicating the prediction direction in the case of intra prediction (see FIG. 2 and FIG. 3), inter prediction In some cases, division information and motion vector information (see FIG. 4) inside the CU are stored.
  • the present invention is not limited to the prediction processing method and the content of the information.
  • the prediction process can be performed with a smaller size.
  • the code amount increases.
  • the prediction mode determination unit 110 includes the parent CU prediction unit 1400, thereby reducing the amount of prediction information when the number of CU divisions increases.
  • processing contents in the prediction mode determination unit 110 will be described.
  • FIG. 14 is a configuration diagram of the prediction mode determination unit 110.
  • the prediction mode determination unit 110 includes a parent CU prediction unit 1400 and a prediction cost comparison unit 1401.
  • the parent CU prediction unit 1400 stores the prediction image of the parent CU of the encoding target CU, and calculates the prediction cost when the prediction process of the current CU is replaced with a part of the prediction image of the parent CU. calculate.
  • the prediction cost comparison unit 1401 compares a plurality of intra prediction processes in a plurality of CU sizes, an inter prediction image, and a prediction cost from the parent CU prediction unit 1400, and determines a prediction process that minimizes the prediction cost.
  • the predicted image obtained by this prediction process is stored in the predicted image storage unit 107.
  • the calculation method of the prediction cost is not limited, but may be defined by, for example, the sum of absolute differences between the input image 114 and the prediction image and the weighted sum of the total bit amount required for the prediction information. According to this definition, the closer the predicted image is to the input image, and the smaller the amount of bits required for the prediction information, the higher the prediction efficiency of the encoding process.
  • parent CU prediction unit 1400 a prediction image in the parent CU of the encoding target CU is generated and stored in advance, and the prediction process of the encoding target CU is performed on the prediction image of the parent CU. Calculate the estimated cost when the part is replaced. A scene in which such replacement of a parent CU with a predicted image is effective will be described with reference to FIG.
  • the encoding target LCU (X) of a certain encoding target picture and the area Y of the immediately preceding picture have almost the same background, and there is an object that moves only within the background.
  • the prediction processing of the LCU (X) when the prediction processing is divided into the prediction processing for the entire background and the object portion with internal motion, it is estimated that highly accurate prediction is performed. Therefore, the LCU (X) may be divided into a background CU and a motion object CU, and individual prediction processing may be specified for each CU.
  • the number of segmented CUs may increase depending on the position of the moving object in the LCU, and as a result, prediction information may increase. Such a case will be described with reference to FIG.
  • FIG. 9 (A) when there is a moving object near the center of the LCU, consider dividing it so that the background and the object part are included in different CUs.
  • FIG. 5B since CU (1) to CU (4) contain many objects and backgrounds, CU (1) to CU (4) are divided. This causes CU (1 to CU) from CU (1), CU (E to H) from CU (2), CU (I to L) from CU (3), and CU (3) CU (M ⁇ P) is created from each.
  • CU (D), CU (G), CU (J), and CU (M) still contain both an object and a background, and thus further divide them.
  • CU (D1-D4) from CU (D), CU (G1-G4) from CU (G), CU (J1-J4) from CU (J), and CU (M) CU (M1 to M4) are created (Fig. (D)).
  • CU (D4), CU (G3), CU (J2), and CU (M1) contain many objects only, and other CUs contain many backgrounds only.
  • the prediction processing information is not necessarily stored for all individual CUs, but a prediction image obtained in advance by the prediction processing of the parent CU is used as a prediction result. It is possible to select one of the prediction processes performed by individual CUs.
  • the parent CU prediction unit 1400 calculates a prediction cost when replacement of the former, that is, the prediction image of the parent CU is selected, and passes the prediction cost result to the prediction cost comparison unit 1401.
  • the prediction cost comparison unit 1401 compares the latter normal prediction processing, that is, the prediction cost of normal inter prediction or intra prediction, with the prediction cost from the former parent CU prediction unit 1400, and makes a prediction with a low prediction cost. Select a process.
  • parent_pred_flag 0
  • parent_prediction_unit Whether to replace a part of the predicted image obtained by the prediction process specified in (1) or to perform another prediction process (0) is specified (L1002).
  • an image at a position corresponding to the position of the encoding target CU is set as a prediction image of the encoding target CU.
  • the parent CU prediction unit 1400 determines the prediction process based on the LCU size as shown in FIG.
  • the method of determining the prediction process is not limited in the present invention. For example, in order to describe the difference between the prediction image obtained as a result of performing a plurality of intra predictions and inter predictions, and the input image 114, and the prediction process The cost value defined by the weighted sum of the bit amounts of the prediction information may be calculated, and the prediction process that minimizes the cost value may be determined.
  • the prediction image obtained by this prediction processing is stored in the parent CU prediction unit 1400 as a prediction image of the parent CU.
  • parent_pred_unit_flag 1 is set, and the determined prediction processing information is stored in parent_prediction_unit ().
  • the prediction image of the parent CU (LCU) is used as a prediction result in all CUs obtained by dividing the LCU.
  • this determination process is not limited, as an example, the prediction cost when the prediction image of the parent CU is used as the prediction result, and the case where intra prediction is performed individually or when inter prediction is performed
  • the prediction cost values obtained by a plurality of prediction processes may be compared by the prediction cost comparison unit 1401 and a prediction process having a small prediction cost value may be selected.
  • parent_pred_flag 1 is set for the CU of (1), and the parent CU prediction unit 1400 uses the prediction image of the parent CU (LCU) to predict the predicted image of the location corresponding to the position of each CU individually. CU prediction image.
  • the amount of information for prediction processing for the CU in (1) can be reduced, so an improvement in compression rate can be expected.
  • the parent CU is not necessarily limited to one.
  • parent_pred_unit_flag 1
  • the prediction process is stored in parent_prediction_unit ()
  • the prediction image of the parent CU is applied to the CU of (1) (see FIG. 12).
  • the amount of information for the prediction process is increased by an amount corresponding to parent_prediction_unit () of CU (D) as compared to the case of FIG.
  • the prediction process with higher accuracy can be selected separately from the LCU for the location of CU (D)
  • the prediction accuracy is improved, and the prediction difference information is reduced, so that the compression rate can be expected to be improved.
  • each CU it is possible to specify whether the prediction process is performed individually or the prediction image of the parent CU is used as it is, and the prediction process of the child CU and the prediction process of the parent CU are specified.
  • the combination of methods is not limited, and any combination of inter prediction and intra prediction can be applied.
  • inter prediction various prediction methods, such as forward prediction using only a temporally previous picture as a reference picture and bidirectional prediction using temporally forward and backward pictures, can be applied.
  • the prediction mode determination unit 110 in the image encoding device selects whether to use a prediction image of a parent CU or another prediction process for a prediction process of a certain CU.
  • the prediction process information is stored in the encoded stream only when another prediction process is performed. Thereby, the compression rate can be improved by reducing the predicted information amount of the CU.
  • FIG. 15 is a diagram illustrating a schematic configuration of an image decoding device according to the embodiment. In FIG.
  • an image decoding apparatus receives an encoded stream 1500, a variable length decoding unit 1501 that decodes the encoded stream 1500, and a CU that divides the CU based on CU size information obtained by the variable length decoding unit 1501
  • a division unit 1502 an inverse quantization unit 1503 that inversely quantizes the transform-quantized prediction error image in the CU, an inverse transform unit 1504 that inversely transforms the obtained transformed prediction error image,
  • An adder 1505 that adds the prediction image stored in the prediction image storage unit 1508 and the prediction error image output from the inverse conversion unit 1504, and a deblocking processing unit 1506 that performs a deblocking process on the addition result image.
  • an output image 1512 is output.
  • the moving picture decoding apparatus has two types of prediction processing systems in order to generate the predicted image.
  • the first system is based on intra prediction, and includes an intra prediction unit 1507 that performs intra prediction using decoded CU image signals (before deblocking processing) that are sequentially stored in CU units.
  • the second system is based on inter prediction, and uses a reference image storage unit 1510 for storing an output image, a reference image stored in the reference image storage unit 1510, and a motion vector decoded by the variable length decoding unit 1501.
  • An inter prediction unit 1511 is provided that performs motion compensation and obtains an inter prediction image.
  • the prediction selection unit 1509 generates a prediction image according to the prediction processing information of the CU decoded by the variable length decoding unit 1501, and stores the prediction image in the prediction image storage unit 1508.
  • FIG. 16 is a diagram illustrating an internal configuration of the prediction selection unit 1509.
  • the prediction switching unit 1601 switches prediction processing based on the prediction processing information of each CU decoded by the variable length decoding unit 1501, generates a prediction image, and stores the prediction image in the prediction image storage unit 1508.
  • prediction processing information of the CU include information on parent_pred_unit_flag, parent_prediction_unit (), parent_pred_flag, and prediction_unit () in FIG.
  • the meaning of the syntax of the encoded stream in FIG. 10 and the processing contents of the parent CU prediction unit 1600 corresponding to these syntaxes are the same as those of the parent CU prediction unit 1400 in the encoding device, and thus description thereof is omitted.
  • the prediction selection unit 1509 in the image decoding apparatus can use the prediction image of the parent CU as the prediction result of the encoding target CU according to the prediction processing information of the CU of the encoded stream. As a result, the prediction processing information of the encoding target CU in the encoded stream can be reduced, so that the compression rate can be improved.
  • the image encoding apparatus performs the same parent CU prediction process in the image decoding apparatus without sending the prediction process information of the encoding target CU.
  • a prediction image of the encoding target CU can be generated, and the information amount of the prediction process can be reduced.
  • the present invention can also be realized by a program code of software that realizes the functions of the embodiments.
  • a storage medium recording the program code is provided to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing it constitute the present invention.
  • a storage medium for supplying such a program code for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. are used.
  • an OS operating system
  • the computer CPU or the like performs part or all of the actual processing based on the instruction of the program code.
  • the program code is stored in a storage means such as a hard disk or memory of a system or apparatus, or a storage medium such as a CD-RW or CD-R
  • the computer (or CPU or MPU) of the system or apparatus may read and execute the program code stored in the storage means or the storage medium when used.

Abstract

予測単位ブロックのサイズが複数あり、可変であるCU(Coding Unit)を採用する動画像復号化方法及び動画像符号化方法において、CU の予測処理を記述する情報量を削減するために、復号化・符号化対象のCU よりも大きいサイズで予測された予測画像の一部を、復号化・符号化対象のCU の予測画像として用いる動画像復号化方法及び動画像符号化方法の技術を提供するものである。

Description

[規則37.2に基づきISAが決定した発明の名称]　動画像復号化方法及び動画像符号化方法
　本発明は、動画像信号の符号化技術に関する。
　ITU-T H.264に代表される動画像符号化方式では、画面全体を16画素×16画素のマクロブロックと呼ばれる符号化単位に分割して符号化を行う。
　H.264では、符号対象のマクロブロックに対して、周辺の画素や前後のピクチャを用いて対象マクロブロック内の画素値の予測値を決定し、符号化対象画素と予測値との予測誤差をエントロピー符号化する。
　上記のマクロブロック内の画素値の予測の際には、マクロブロック内の絵柄に応じて、周辺画素から予測するイントラ予測と、前後のピクチャの画素から予測するインター予測とをマクロブロック毎に選択することができる。また16画素×16画素よりも小さな予測ブロックに分割して予測を行うことができる。
　例えば図2で示すように、H.264のイントラ予測では16画素×16画素のマクロブロックを、16個の4画素×4画素の予測ブロックに分割し、個々の予測ブロックに対して図2のインデックス0から8に示す9種類の向きに周辺画素をコピーすることにより、予測ブロック内の画素を予測することができる。また図3で示すように、マクロブロックを分割せずに、16画素×16画素の予測ブロックで、同図中インデックス0から3で示される4種類の向きに周辺画素をコピーすることにより、予測ブロック内の画素を予測することができる。
　またH.264のインター予測に関しても同様にマクロブロック内で、より小さな予測ブロックに分割して個々の予測ブロックに対して動きベクトルを設定することができる。例えば図4で示すように、過去のピクチャからの動きを予測する場合、16画素×16画素、16画素×8画素、8画素×16画素、8画素×8画素（この場合、さらに個々の予測ブロックを8画素×4画素、4画素×8画素、4画素×4画素に分割可能）の予測ブロックに分割し、ここの予測ブロックに対してそれぞれ異なる動きベクトルを設定することができる。
　上記のように、マクロブロックの内部を予測ブロックに分割して個々に予測を行うことにより、マクロブロック内に異なる絵柄の境界があるときなどで予測精度が向上し、圧縮率の向上につながる。
　しかし、H.264に代表される従来技術では、いずれもマクロブロックのサイズが16画素×16画素に限定されており、これよりも大きな単位又は小さな単位で予測することができないようになっている。
　また、イントラ予測かインター予測かの選択はマクロブロック単位でしか設定できないため、16画素×16画素よりも小さな単位でしか選択できない。
　そのような問題に鑑み、特許文献1は、16画素×16画素のブロックを4分木構造に従って、8画素×8画素、4画素×4画素、2画素×2画素のいずれかに分割可能で、これらのブロックサイズに応じて予測モードを変更可能としている（特許文献1）。
特表2007-503784
　特許文献1に記載された動画像符号化技術では、符号化単位ブロックを分割した場合、分割されたマクロブロックを符号化単位にした予測処理を行う。そのため、４分木構造による分割マクロブロックの個数が増えると、その分だけ予測情報の符号量が増大し、圧縮率が低下する。
　本発明の目的は、このような状況に鑑みてなされたものであり、マクロブロックの予測情報を記述するための情報量を削減する技術を提供するものである。
　上記目的を達成する手段を説明する前に、用語の定義を行う。本明細書では、予測モードの選択が可能なブロックサイズが可変なブロックを、従来技術（H264AVCなど）のマクロブロックと区別するため、CU(Coding Unit)と記すことにする。
　上記課題を達成する手段として、符号化側で、ある符号化対象のCUに対して予測処理を行う際、符号化対象CUよりも大きい上位のCU(以降、親CUと記す)の予測画像の一部をそのまま用いるか、当該符号化対象CUに対してそれぞれ予測処理を行うかのいずれかを選択可能とすることで達成される。
　そして、いずれを選択したかを示すフラグ情報を符号化ストリームに格納し、復号化側で、フラグ情報を読み取ることで、ある符号化対象のCUに対して予測処理を行う際、符号化対象CUよりも大きい上位のCU(以降、親CUと記す)の予測画像の一部をそのまま用いるか、当該符号化対象CUに対してそれぞれ予測処理を行うかのいずれかを選択することで達成される。
　例えば、従来技術では、符号化対象CUをCU1～CU4に４分割したがCU1のみ予測誤差が小さくCU2～4は予測精度が低い場合、CUの予測結果を用いてCUの予測画像を生成し、CUの予測画像の一部であってCU1の領域に相当する画像を抜き出して予測画像とする。こうすることで、符号化対象CU2～4に対する予測処理の情報が不要となるため、情報量を削減することができる。
　従来の技術では、符号化対象CUを用いた符号化を行う場合、親CUの符号化データを生成していなかったため、符号化対象CUが1つのみ別に予測すればよい画像であっても、個々のCU単位で予測していた。しかし、上述の通り、上位のCUの予測画像の一部を用いるようにすれば、CUの予測処理を記述する情報量を削減し、圧縮率を向上させることができるようになる。
　本発明によれば、予測単位ブロックのサイズが複数あり、可変であるCUを採用する画像符号化・復号化方法において、CUの予測処理を記述する情報量を削減することにより、圧縮率を向上させることができるになる。
実施例1による画像符号化装置の概略構成を示す図である。 従来技術のイントラ予測処理の一例を説明するための図である。 従来技術のイントラ予測処理の一例を説明するための図である。 従来技術のインター予測処理の一例を説明するための図である。 CU分割の概念を説明するための図である。 4分木構造のCU分割の一例を説明するための図である。 従来技術のCU分割による符号化ストリーム内のシンタックスの一例を説明するための図である。 本発明が有効となる一例を説明するための図である。 実施例1によるCU分割の一例を説明するための図である。 実施例1のCU分割による符号化ストリーム内のシンタックスの一例を説明するための図である。 実施例1によるCU分割時の予測画像の合成の一例を説明するための図である。 実施例1によるCU分割時の予測画像の合成の別例を説明するための図である。 実施例1によるCU分割時の予測画像の合成処理において、イントラ予測の際の処理を説明するための図である。 実施例1による予測モード決定部の概略構成を示す図である。 実施例1による画像復号化装置の概略構成を示す図である。 実施例1による予測選択部の概略構成を示す図である。
　本発明は、符号化単位ブロック(以下CU、Coding Unitと記す)の拡大や縮小をともなう符号化を行う際、分割されたCUの予測処理を、分割前の親CUの予測画像を用いることにより分割されたCUの予測処理を省略することで、予測情報量を削減するものである。
　以下、添付図面を参照して実施例について説明する。ただし、本実施例は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。また、各図において共通の構成については同一の参照番号が付されている。
＜画像符号化装置の構成＞
　図1は、実施例1による画像符号化装置の概略構成を示す図である。
　図1において、画像符号化装置は、CUサイズを決定するCU分割部100と、予測画像格納部107に格納される予測画像と入力画像114との予測差分画像を生成する差分器102、前記予測差分画像をDCTなどの直交変換を行う変換部102、変換後の信号を量子化する量子化部103、量子化後の信号を符号化する可変長符号化部104を有し、符号化ストリーム115を出力する。
　本実施例の動画像符号化装置は、上記の予測画像を生成するために2通りの予測処理系統を有する。第1の系統はインター予測によるもので、次の入力画像のための参照画像を得るため、量子化部103で出力された量子化信号を逆量子化する逆量子化部109、逆量子化信号を逆変換して予測差分画像を得る逆変換部108、逆変換後の予測差分画像と予測画像格納部107からの予測画像を加算する加算器111、加算後の画像からブロックノイズを除去した参照画像を得るデブロック処理部112を有する。そして、得られた参照画像を格納する参照画像格納部113、参照画像と入力画像114との間の動き予測を行うインター予測部106を有する。第2の系統はイントラ予測によるもので、入力画像114から画面内予測を行うイントラ予測部105を有する。
　予測モード決定部110の処理は、後述するが、上記2通りの予測処理系統、すなわち、インター予測部106からのインター予測画像、及びイントラ予測部105からの画面内予測画像を用いて、最も予測効率が高いと推測される予測処理を決定する。ここで予測効率の指標としては、例えば予測誤差エネルギーなどが挙げられるが、その他として近傍のCUの予測方式(画面間予測か画面内予測か)との類似性などを考慮して予測画像(すなわち予測方式)を選択してもよい。
　決定された予測方法で得られる予測画像は予測画像格納部113に格納され、入力画像114との予測差分画像を生成するために用いられる。なお、予測モード決定部110で選択した予測モード(すなわちインター予測かイントラ予測か、及びそれぞれの場合の予測単位ブロックのサイズ)に関する情報は可変長符号化部104に送られ、符号化ストリーム115の一部に格納される。
　本実施例では、予測モード決定部110にて決定される予測処理に特徴があるが、予測処理の決定に際しては、CUの分割パターンが関連するため、CU分割部の処理内容について以下に説明する。
　＜CU分割部の処理内容(符号化側)＞
　以下、図面を参照して、CU分割部100の処理内容について詳細に説明する。
　図5は、CUの概念を説明する図である。本実施例では従来技術のマクロブロックに相当する符号化処理単位ブロックを、CU(Coding Unit)と記す。本実施例においてCUに対して以下のような性質を仮定する。ただしこの本実施例の適用が、本仮定のみに限定されるものではない。
(1)CUは正方形である
(2)CUの最大サイズと最小サイズとが符号化ストリーム中に記載されているか、もしくは規格として定義されている
(3)4分木構造によって最大CUから子CU分割に階層的に4分割される
　図5において、最大サイズのCUをLCU(Largest Coding Unit)と記し、そのサイズ(LCUの縦もしくは横方向の画素数)をLCU sizeと記す。なお本実施例ではLCU sizeは2のべき乗を想定するが、2のべき乗であることに本実施例の適用が限定されるものではない。
　図5で示すように、一つのピクチャはLCU単位で分割される。連続するLCUの集まりをスライスと定義する。この概念は従来技術のマクロブロックに相当する。個々のLCUは4分木構造により階層的に4分割される。
　図6は4分木構造により構成されたCU分割の一例を示す図である。同図で示すようにLCUが4つのCU0、CU1、CU2、CU3に分割されている。CU0は分割されず最終的にCUとして確定している。CU1はCU10、CU11、CU12、CU13に、CU2はCU20、CU21、CU22、CU23に、CU3はCU30、CU31、CU32、CU33にそれぞれ4分割されている。これらのうち、CU11がさらにCU110、CU111、CU112、CU113に、CU12がCU120、CU121、CU122、CU123へ、CU30はCU300、CU301、CU302、CU303へそれぞれ4分割されており、それ以外のCUは最終的にCUとして確定している。このようにLCUから階層的に4分割していき、CUのサイズが最小サイズになるまで分割を行うことができる。なお、本明細書では、CU1を分割して得られるCU10、CU11、CU12、CU13をCU1の子CUと記す。逆にCU1を、CU10、CU11、CU12、CU13の親CUと記す。
　なお、CUとは符号化単位を示すものであり、厳密にはこのCU毎に予測処理と変換処理とが行われるが、本明細書で親CUと記した場合、このCUに対しては必要に応じて予測処理のみが行われ、変換処理は行われないことを付記しておく。
　上記の4分木構造の場合、最大サイズ／最小サイズの比が2^N(2のN乗)であった場合に、従来技術のように個々のCUを分割するかしないかのフラグを1bitで表記することで分割パターンを表記できる。
　図7を用いて従来技術によるCUの符号化ストリームのシンタックスの一例を説明する。同図中、関数coding_unit()は、(x0,y0)の画素位置かつ、currCUSizeのサイズのCUの符号化シンタックスを示している。なおPicWidthはピクチャ幅(画素数)、PicHeightはピクチャ高(画素数)、MinCUSizeはCUの最小サイズである。
　split_flagは、現CUに対し、CUを4分割する(1)か否(0)かを示す1ビットのフラグである(L700)。
　split_flagが1の場合、現CUは4分割される。この場合、分割CUのサイズsplitCUSizeは、現CUのサイズcurrCUSizeの1/2とし、横方向の分割位置x1と、縦方向の分割位置y1とをそれぞれ、x1 = x0 + splitCUSize、y1 = y0 + splitCUSizeとする(L702)。そして4つの分割CU(CU0～CU3)が、coding_unit()を再帰的に呼び出すことによって格納される(L703～L706)。個々の4つの分割CU内でも、同様にsplit_flagによって、さらに分割を行うかどうか指定される。このような再帰呼び出しが、CUサイズがMinCUSize以上である限り行われる。
　もしもsplit_flagが0の場合には、このCUが符号化単位として確定し、符号化の主な処理である、予測処理の情報(関数prediction_unit())(L707)と、予測誤差の直交変換情報(関数transform_unit())(L708)とが格納される。本明細書では、直交変換処理については、本発明とは直接係わりがないため、省略する。
　L707における予測処理の情報(prediction_unit())としては、例えば前記のイントラ予測かインター予測かの識別子、イントラ予測である場合はその予測方向を示す情報(図2や図3参照)、インター予測である場合は、CU内部の分割情報や動きベクトル情報(図4参照)などが格納される。但し本発明においては、予測処理の方法、及びその情報の内容に限定されるものではない。
　CUの分割を細かくしていくほど、細かいサイズで予測処理を行うことができるが、分割されたCU数の分だけ予測情報が必要となるため、符号量が増加する。
　そこで本実施例では、予測モード決定部110において、親CU予測部1400を備えることで、CU分割数が増える際の予測情報の情報量削減を図る。以下、予測モード決定部110における処理内容について説明する。
　＜予測モード決定部の処理内容＞
　次に実施例1による予測モード決定部110の処理内容について説明する。
(1)処理全体の概要
　図14は、予測モード決定部110の構成図である。
　予測モード決定部110は、親CU予測部1400と予測コスト比較部1401とを有する。親CU予測部1400については後述するように、符号化対象CUの親CUの予測画像を格納し、現CUの予測処理を、親CUの予測画像の一部で置き替えたときの予測コストを算出する。
　予測コスト比較部1401は、複数のCUサイズにおける複数のイントラ予測処理、インター予測画像、及び上記の親CU予測部1400からの予測コストを比較し、予測コストが最小となる予測処理を決定し、この予測処理により得られる予測画像を予測画像格納部107へ格納する。なお本発明では予測コストの算出方法は限定しないが、例えば入力画像114と予測画像の絶対差分の総和と予測情報に要する総ビット量の重み付け和などで定義してもよい。この定義によれば予測画像が入力画像に近いほど、さらに予測情報に要するビット量が少ないほど、符号化効率の高い予測処理となる。
(2)親CU予測部の詳細
　親CU予測部1400では、符号化対象CUの親CUにおける予測画像を予め生成、格納しておき、符号化対象CUの予測処理を、この親CUの予測画像の一部で置き替えた場合の予測コストを算出する。このような親CUの予測画像による置き換えが有効となるようなシーンについて、図8を用いて説明する。
　図8で示すように、ある符号化対象ピクチャの符号化対象のLCU(X)と、その直前のピクチャのある領域Yとが、背景がほぼ同様で、その内部のみに動くオブジェクトがあるような場合を想定する。この場合、LCU(X)の予測処理としては、背景全体の予測処理と、内部の動きのあるオブジェクト部分とで、予測処理を分けると、精度の高い予測が行われると推測される。そこで、このLCU(X)を、背景のCUと動きオブジェクトのCUとに分割し、個々のCUに個々の予測処理を指定すればよい。
　しかし前述のような4分木構造によるCU分割の場合、動きオブジェクトの、LCU内の位置によっては、分割CUの数が増えてしまい、結果として予測情報が増えてしまう場合が存在する。このような場合について、図9を用いて説明する。
　図9中(A)で示すように、LCUの中心近くの位置に動くオブジェクトがある場合に、背景とオブジェクト部とが異なるCUに含まれるように分割することを考える。まず、同図(A)のLCUを1回分割することで、同図(B)のような４つのCU(1～4)が作成される。同図(B)ではこのCU(1)～CU(4)には、オブジェクトと背景とが両方とも多く含まれるため、CU(1)～CU(4)をそれぞれ分割する。これによりCU(1)からはCU(A～D)、が、CU(2)からはCU(E～H)が、CU(3)からはCU(I～L)が、そしてCU(3)からはCU(M～P)がそれぞれ作成される。これらの16個のCUのうち、CU(D)、CU(G)、CU(J)、CU(M)は、依然、オブジェクトと背景とが両方が多く含まれるため、これらをさらに分割する。これによりCU(D)からはCU(D1～D4)が、CU(G)からはCU(G1～G4)が、CU(J)からはCU(J1～J4)が、CU(M)からはCU(M1～M4)が、それぞれ作成される(同図(D))。これらのうちCU(D4)、CU(G3)、CU(J2)、CU(M1)にはオブジェクトのみが多く含まれ、それ以外のCUには背景のみが多く含まれる。よって、CU(D4)、CU(G3)、CU(J2)、CU(M1)では、オブジェクトの動きを考慮した予測処理を、それ以外のCUでは背景部分の動きを考慮した予測処理を行うことで、精度の高い予測処理が実現できると考えられる。
　しかし、上記のようにCUの分割を細かく行うと、同図(D)のように24個のCU全てに対して予測処理の情報を格納する必要があり、予測処理情報が増加してしまう。
　そこで実施例１における予測モード決定部110では、個々のCU全てに対して必ずしも予測処理の情報を格納するのではなく、その親CUの予測処理で予め得られた予測画像を予測結果とするか、個別のCUで予測処理を行うかのいずれかを選択することを可能とする。
　親CU予測部1400では、上記のうちの前者、すなわち親CUの予測画像による置換を選択した場合の予測コストを算出し、この予測コスト結果を予測コスト比較部1401に渡す。予測コスト比較部1401では、上記の後者の通常の予測処理、すなわち通常のインター予測やイントラ予測の予測コストと、前者の親CU予測部1400からの予測コストとを比較し、予測コストの小さい予測処理を選択する。
　以下、実施例１による符号化ストリームのCUのシンタックスの一例を説明する。
(3)CUのシンタックスの一例
　図10を用いて、実施例1による符号化ストリームのCUのシンタックスの一例を説明する。
　従来のCUのシンタックス(図7)と異なる特徴として、split_flag=1の場合に、すなわち現CUを4つの子CUに分割する場合に、1ビットのparent_pred_unit_flagを有し、現CUのサイズでの予測処理の情報を格納するか(1)否か(0)を指定し(L1000)、parent_pred_unit_flag == 1のときには、予測処理情報を格納する(同図中、parent_prediction_unit()関数)(L1001)。
　またsplit_flag==0の場合、すなわち現CUが分割されずに現サイズで確定し、符号化対象のCUとなる場合には、、1ビットのparent_pred_flagを有し、親CUの予測画像、すなわちparent_prediction_unitで指定される予測処理で得られた予測画像の一部で置きかえるか(1)、別の予測処理を行うか(0)を指定する(L1002)。
　parent_pred_flag == 0のときには、prediction_unit()関数にて別の予測処理の情報が格納される。
　parent_pred_flag == 1のときには、親CUの予測画像のうち、符号化対象CUの位置に相当する位置の画像を、符号化対象CUの予測画像とする。現CUにおける予測処理の情報は不要となる。従ってparent_pred_flag==1となるようなCUが多いほど、情報量の削減が期待できる。
　以下、図11を用いて、予測モード決定部110内の処理とCUシンタックスの具体例を述べる。
　CUの分割パターンは、図9(D)と同様とする。親CU予測部1400ではまず、図11に示すように、LCUサイズで予測処理を決定する。この予測処理の決定方法は、本発明において限定されるものではないが、例えば、複数のイントラ予測やインター予測を行った結果の予測画像と、入力画像114との差分と予測処理を記述するための予測情報のビット量の重みづけ和などによって定義されたコスト値を算出し、コスト値が最小となるような予測処理を決定すればよい。この予測処理で得られた予測画像を、親CUの予測画像として親CU予測部1400内に格納する。そしてLCUのシンタックスにおいて、parent_pred_unit_flag = 1とし、決定された予測処理の情報をparent_prediction_unit()に格納する。
　図9(D)と同様にLCUを分割して得られる全てのCUで、この親CU(LCU)の予測画像を予測結果として用いるか否かを判定する。本発明では、この判定処理を限定するものではないが一例としては、親CUの予測画像を予測結果とした場合の予測コストと、個別にイントラ予測を行った場合やインター予測を行った場合の複数の予測処理による予測コスト値を、予測コスト比較部1401で比較し、予測コスト値が小さい予測処理を選択すればよい。
　このような予測処理の選択処理により、
(1)親CUの予測画像を予測結果として用いるCU：
CU(A),CU(B),CU(C),CU(D1),CU(D2),CU(D3),CU(E),CU(F),CU(G1),CU(G2),CU(G4),CU(H),CU(I),CU(J1),CU(J3),CU(J4),CU(M2),CU(M3),CU(M4),CU(N),CU(O),CU(P)
(2)別の予測処理を行うCU：
CU(D4),CU(G3),CU(J2),CU(M1)
と決定されたとする。
　この場合、(1)のCUに対してはparent_pred_flag=1とし、親CU予測部1400では、親CU(LCU)の予測画像から、各々のCUの位置に対応する箇所の予測画像を、個々のCUの予測画像とする。
　(2)のCUに対しては、parent_pred_flag=0とし、個々のCUに対して予測処理の情報をparent_prediction_unit()に格納する。
　以上により、従来技術と比べ、(1)のCUに対する予測処理の情報量を削減できるため、圧縮率の向上が期待できる。
　また、実施例では、親CUは必ずしも一つに限定されるものではない。図12に示すように、LCUとCU(D)(図9(C)中の”D”、すなわちCU(D1)～CU(D3)の親CUに相当)の2つでparent_pred_unit_flag=1と指定され、その予測処理がparent_prediction_unit()に格納されている場合、LCUとCU(D)の包含関係から、LCUの予測画像の、CU(D)の位置に相当する箇所だけが上書きされた結果が、親CUの予測画像となる。そして上記(1)のCUに対しては、この親CUの予測画像が適用される(図12参照)。
　図12のような場合、予測処理の情報量としては図11の場合に比べ、CU(D)のparent_prediction_unit()に相当する分だけ情報量は増える。しかしCU(D)の箇所に対して、より精度の高い予測処理をLCUとは個別に選択できるため、予測精度が向上し、予測差分情報が減ることで、圧縮率の向上が期待できる。
　本実施例では、個々のCUに対し、予測処理を個別に行うか、親CUの予測画像をそのまま用いるかのいずれかを指定することができ、子CUの予測処理と親CUの予測処理の方式の組み合わせを限定するものではなく、インター予測とイントラ予測との任意の組み合わせを適用できる。またインター予測では、時間的に前のピクチャのみを参照ピクチャとする前方向予測や、時間的に前と後ろのピクチャを用いる双方向予測等、様々な予測方法が適用可能である。
　但し、図13で示すように、CU(D)でイントラ予測を行う場合、さらにCU(D)周辺の符号化済み画像周囲の符号化済み画像(デブロック処理前)を用いるような場合には、周囲のCU(A)、CU(B)、CU(C)の符号化処理(ただしデブロック処理前)を完了している必要がある。
　以上により、本実施例による画像符号化装置における予測モード決定部110では、あるCUの予測処理に対して、その親CUの予測画像を用いるか、別の予測処理を行うかを選択することを可能とし、別の予測処理を行うときにのみ予測処理情報を符号化ストリームに格納する。これによりCUの予測情報量を削減することで、圧縮率の向上が実現できる。
＜画像復号化装置の構成＞
　図15は、実施例による画像復号化装置の概略構成を示す図である。図15において、画像復号化装置は、符号化ストリーム1500を入力とし、これを復号する可変長復号化部1501と、可変長復号化部1501で得られるCUサイズ情報を基にCUを分割するCU分割部1502と、前記CU内の、変換量子化された予測誤差画像を逆量子化する逆量子化部1503と、得られた、変換された予測誤差画像を逆変換する逆変換部1504と、予測画像格納部1508に格納される予測画像と、逆変換部1504から出力される予測誤差画像とを加算する加算器1505と、加算結果の画像に対してデブロック処理を行うデブロック処理部1506を有し、出力画像1512を出力する。
　本実施例の動画像復号化装置は、上記の予測画像を生成するために、2通りの予測処理系統を有する。第一の系統はイントラ予測によるもので、CU単位で逐次格納される復号済みCUの画像信号(デブロック処理前)を用いてイントラ予測を行うイントラ予測部1507を有する。第二の系統はインター予測によるもので、出力画像を格納する参照画像格納部1510と、参照画像格納部1510に格納される参照画像と、可変長復号部1501で復号された動きベクトルを用いて動き補償を行い、インター予測画像を得る、インター予測部1511を有する。予測選択部1509では、可変長復号化部1501で復号されたCUの予測処理情報に従い、予測画像を生成し、予測画像格納部1508に格納する。
＜予測選択部(復号化側)の処理内容＞
　以下、図面を参照して画像復号化側の予測選択部1509の処理内容について説明する。
　図16は、予測選択部1509の内部構成を示す図である。予測切替部1601は、可変長復号部1501で復号された各CUの予測処理情報に基づいて、予測処理を切り換えて予測画像を生成し、この予測画像を予測画像格納部1508に格納する。
　CUの予測処理情報の具体例としては、図10におけるparent_pred_unit_flag、parent_prediction_unit()、parent_pred_flag、prediction_unit()の情報が挙げられる。図10における符号化ストリームのシンタックスの意味と、これらのシンタックスに対応する親CU予測部1600の処理内容は、符号化装置における親CU予測部1400と同様であるため、説明を省略する。
　以上により、本実施例による画像復号化装置における予測選択部1509では、符号化ストリームのCUの予測処理情報に従い、親CUの予測画像を符号化対象CUの予測結果として用いることができる。これにより符号化ストリーム中における符号化対象CUの予測処理情報を削減できるため、圧縮率の向上が実現できる。
　以上のように、本発明によれば、符号化対象CUの予測処理として、その親CUの予測画像を用いるか、別の予測処理を行うか、のいずれかを選択することを可能とする。もしも親CUの予測画像を用いることが選択された場合には、画像符号化装置は符号化対象CUの予測処理情報を送らずに、画像復号化装置で同様の親CUの予測処理を行うことにより、符号化対象CUの予測画像を生成することができ、予測処理の情報量を削減することができる。
　なお、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
　また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
　また、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
　100…CU分割部
　110…予測モード決定部
　105…イントラ予測部
　106…インター予測部
　102…変換部
　103…量子化部
　104…可変長符号化部
　1400…親CU予測部
  1401…予測コスト比較部
  1501…可変長復号化部
　1502…CU分割部
　1503…逆量子化部
　1504…逆変換部
　1507…イントラ予測部
　1511…インター予測部
　1509…予測選択部
　1600…親CU予測部
　1601…予測切替部

Claims (6)

  1. 　入力された符号化ストリームを可変長復号化し、符号化単位で逆量子化、逆変換して予測差分画像とし、前記予測差分画像と前記予測画像と加算して動画像を出力する動画像復号化装置において、
    　前記復号化する符号化ストリームに、第1符号化単位と前記第1符号化単位よりもサイズが大きくかつ前記第1符号化単位を包含する上位の第2符号化単位との双方の符号化単位で符号化されている符号化ストリームであった場合、
    　前記第1符号化単位で生成された予測画像と第2符号化単位で生成された予測画像とを生成し、
    　前記第1符号化単位の予測画像として、前記第2符号化単位で生成された予測画像の一部を用いることを特徴とする動画像復号化方法。
  2. 　請求項1において、
    　前記第2符号化単位の予測画像として、前記第1符号化単位で生成された予測画像の一部を用いるか、前記第2符号化単位毎の予測画像を生成するかのいずれかを選択することを特徴とする動画像復号化方法。
  3. 　請求項1において、
    　前記符号化ストリームから、前記第2符号化単位の予測画像を生成するか否かを示すフラグ情報を取り出し、
    　前記フラグ情報が前記第2符号化単位の予測画像を生成することを示す場合に前記第2符号化単位の予測画像を生成し、前記第2符号化単位で生成された予測画像の一部を前記第1符号化単位の予測画像とすることを特徴とする動画像復号化方法。
  4. 　入力画像を符号化単位に分割し、符号化単位内部の予測画像を生成し、予測画像との差分をとり、予測差分画像を変換、量子化、可変長符号化して符号化ストリームを出力する動画像符号化方法であって、
    　前記第1符号化単位の予測画像と前記第1の符号化単位よりもサイズが大きくかつ前記第1符号化単位を包含する上位の第2符号化単位の予測画像とを生成し、
    　前記第1符号化単位の予測画像として、前記第2符号化単位で生成された予測画像の一部を用いることを特徴とする動画像符号化方法。
  5. 　請求項1において、
    　前記第2符号化単位の一部を前記第1符号化単位とするか、前記第1符号化単位毎に別途予測画像を生成するかのいずれかを選択することを特徴とする動画像符号化方法。
  6. 　請求項5において、
    　前記第2符号化単位の予測画像を生成するか否かを示すフラグ情報を符号化ストリームに格納し、
    　前記フラグ情報が、前記第2符号化単位の予測画像を生成することを示す場合には、前記第2符号化単位の予測画像を生成するための情報を符号化ストリームに格納することを特徴とする動画像符号化方法。
PCT/JP2011/004129 2011-07-22 2011-07-22 動画像復号化方法及び画像符号化方法 WO2013014693A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/233,888 US20140169465A1 (en) 2011-07-22 2011-07-22 Video decoding method and image encoding method
CN201611010982.8A CN107071406B (zh) 2011-07-22 2011-07-22 运动图像解码方法和编码方法
PCT/JP2011/004129 WO2013014693A1 (ja) 2011-07-22 2011-07-22 動画像復号化方法及び画像符号化方法
CN201180072475.6A CN103703780B (zh) 2011-07-22 2011-07-22 运动图像解码方法及图像编码方法
JP2013525428A JP5677576B2 (ja) 2011-07-22 2011-07-22 動画像復号化方法及び動画像符号化方法
EP11869857.0A EP2736254B1 (en) 2011-07-22 2011-07-22 Video decoding method and image encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/004129 WO2013014693A1 (ja) 2011-07-22 2011-07-22 動画像復号化方法及び画像符号化方法

Publications (1)

Publication Number Publication Date
WO2013014693A1 true WO2013014693A1 (ja) 2013-01-31

Family

ID=47600592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004129 WO2013014693A1 (ja) 2011-07-22 2011-07-22 動画像復号化方法及び画像符号化方法

Country Status (5)

Country Link
US (1) US20140169465A1 (ja)
EP (1) EP2736254B1 (ja)
JP (1) JP5677576B2 (ja)
CN (2) CN103703780B (ja)
WO (1) WO2013014693A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410858A (zh) * 2014-11-18 2015-03-11 深圳市云宙多媒体技术有限公司 一种帧内预测块划分方法和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5957513B2 (ja) * 2014-12-16 2016-07-27 株式会社日立製作所 動画像復号化方法
CN107852499B (zh) * 2015-04-13 2021-05-07 联发科技股份有限公司 用于视频数据的视频编解码方法
US11265544B2 (en) * 2018-09-18 2022-03-01 Sony Corporation Apparatus and method for image compression based on optimal sequential encoding scheme

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150664A (ja) * 1996-11-19 1998-06-02 Mitsubishi Electric Corp 映像信号符号化装置および復号化装置
JPH11164305A (ja) * 1997-04-24 1999-06-18 Mitsubishi Electric Corp 動画像符号化方法、動画像符号化装置および動画像復号装置
JP2003111082A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 動きベクトル検出方法及び装置
JP2006129326A (ja) * 2004-11-01 2006-05-18 Shibasoku:Kk 動きベクトル検出装置
JP2007503784A (ja) 2003-05-20 2007-02-22 アーエムテー アドバンスド マルチメディア テクノロジー アクティエボラーグ ハイブリッドビデオ圧縮法
JP2010010950A (ja) * 2008-06-25 2010-01-14 Toshiba Corp 画像符号化／復号化方法及び装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748247A (en) * 1996-04-08 1998-05-05 Tektronix, Inc. Refinement of block motion vectors to achieve a dense motion field
JP4213646B2 (ja) * 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP4438949B2 (ja) * 2004-12-21 2010-03-24 カシオ計算機株式会社 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム
CN102231835B (zh) * 2005-07-22 2013-04-17 三菱电机株式会社 图像解码装置及方法
JP4734168B2 (ja) * 2006-05-09 2011-07-27 株式会社東芝 画像復号化装置及び画像復号化方法
GB2443667A (en) * 2006-11-10 2008-05-14 Tandberg Television Asa Obtaining a motion vector for a partition of a macroblock in block-based motion estimation
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
BRPI0922722A2 (pt) * 2008-12-09 2016-01-05 Sony Corp dispositivo e método de processamento de imagem
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
US9100649B2 (en) * 2010-02-10 2015-08-04 Lg Electronics Inc. Method and apparatus for processing a video signal
RS62794B1 (sr) * 2010-04-13 2022-02-28 Ge Video Compression Llc Nasleđivanje u podeli sa više stabala na nizu uzoraka
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US10440373B2 (en) * 2011-07-12 2019-10-08 Texas Instruments Incorporated Method and apparatus for coding unit partitioning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150664A (ja) * 1996-11-19 1998-06-02 Mitsubishi Electric Corp 映像信号符号化装置および復号化装置
JPH11164305A (ja) * 1997-04-24 1999-06-18 Mitsubishi Electric Corp 動画像符号化方法、動画像符号化装置および動画像復号装置
JP2003111082A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 動きベクトル検出方法及び装置
JP2007503784A (ja) 2003-05-20 2007-02-22 アーエムテー アドバンスド マルチメディア テクノロジー アクティエボラーグ ハイブリッドビデオ圧縮法
JP2006129326A (ja) * 2004-11-01 2006-05-18 Shibasoku:Kk 動きベクトル検出装置
JP2010010950A (ja) * 2008-06-25 2010-01-14 Toshiba Corp 画像符号化／復号化方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DOCUMENT: JCTVC-B205, OUTPUT DOCUMENT(DRAFT007), ITU-T, 2010.10.09: "Test Model under Consideration", TEST MODEL UNDER CONSIDERATION, JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 2ND MEETING, 9 October 2010 (2010-10-09), GENEVA, CH, XP008169133 *
See also references of EP2736254A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410858A (zh) * 2014-11-18 2015-03-11 深圳市云宙多媒体技术有限公司 一种帧内预测块划分方法和系统

Also Published As

Publication number Publication date
JP5677576B2 (ja) 2015-02-25
JPWO2013014693A1 (ja) 2015-02-23
CN107071406A (zh) 2017-08-18
US20140169465A1 (en) 2014-06-19
EP2736254B1 (en) 2018-07-04
CN103703780A (zh) 2014-04-02
EP2736254A4 (en) 2015-04-15
EP2736254A1 (en) 2014-05-28
CN103703780B (zh) 2016-12-07
CN107071406B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
US9654795B2 (en) Method and apparatus for encoding and decoding image through intra prediction
US7711196B2 (en) Apparatus and method for generating coded block pattern for alpha channel image and alpha channel image encoding/decoding apparatus and method using the same
EP1571850A2 (en) Apparatus and method for encoding and decoding image containing grayscale alpha channel image
JP7395518B2 (ja) マージモードに基づくインター予測方法及び装置
KR20100019537A (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
KR20110047697A (ko) 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
US10652570B2 (en) Moving image encoding device, moving image encoding method, and recording medium for recording moving image encoding program
WO2012101781A1 (ja) 画像復号化装置
JP2022506423A (ja) ビデオ信号符号化／復号方法及びその機器
JP2017034531A (ja) 動画像符号化装置及び動画像符号化方法
KR20200015783A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN111183641A (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法和程序
JP5677576B2 (ja) 動画像復号化方法及び動画像符号化方法
JP2017034532A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6426648B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP2023105190A (ja) 映像符号化又は映像復号装置、映像符号化又は映像復号方法、プログラム、及び記録媒体
JPWO2016116984A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
EP3565252A1 (en) Encoding device, decoding device and program
JP5592246B2 (ja) コンテクスト適応エントロピー符号化方法，コンテクスト適応エントロピー復号方法，コンテクスト適応エントロピー符号化装置，コンテクスト適応エントロピー復号装置およびそれらのプログラム
JP7104101B2 (ja) 符号化装置、復号装置及びプログラム
JP5957513B2 (ja) 動画像復号化方法
JP2018037936A (ja) 画像符号化装置および画像復号装置
JP2017073598A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6646125B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP6101067B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11869857

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013525428

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011869857

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14233888

Country of ref document: US