WO2012101781A1 - 画像復号化装置 - Google Patents

画像復号化装置 Download PDF

Info

Publication number
WO2012101781A1
WO2012101781A1 PCT/JP2011/051495 JP2011051495W WO2012101781A1 WO 2012101781 A1 WO2012101781 A1 WO 2012101781A1 JP 2011051495 W JP2011051495 W JP 2011051495W WO 2012101781 A1 WO2012101781 A1 WO 2012101781A1
Authority
WO
WIPO (PCT)
Prior art keywords
coding unit
prediction
division
unit
size
Prior art date
Application number
PCT/JP2011/051495
Other languages
English (en)
French (fr)
Inventor
横山　徹
村上　智一
克行 中村
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2012554570A priority Critical patent/JP5616984B2/ja
Priority to US13/990,592 priority patent/US9247252B2/en
Priority to PCT/JP2011/051495 priority patent/WO2012101781A1/ja
Publication of WO2012101781A1 publication Critical patent/WO2012101781A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the present invention relates to encoding of an image signal and decoding of the encoded data.
  • coding is performed by dividing the entire screen into coding units called macroblocks of 16 pixels ⁇ 16 pixels.
  • a predicted value of a pixel value in the encoding target macroblock is determined using surrounding pixels and previous and subsequent pictures, and the encoding target pixel and the predicted value are determined. Entropy-encode the prediction error.
  • intra prediction predicted from neighboring pixels and inter prediction predicted from pixels in the previous and subsequent pictures are selected for each macroblock according to the pattern in the macroblock. can do. Moreover, it can divide
  • the pixels in the prediction block can be predicted by copying the neighboring pixels in the nine types of directions indicated by the indices 0 to 8.
  • Pixels in the prediction block can be predicted.
  • a motion vector can be set for each prediction block by dividing the macroblock into smaller prediction blocks. For example, as shown in FIG. 4, when motion from a past picture is predicted, 16 pixels ⁇ 16 pixels, 16 pixels ⁇ 8 pixels, 8 pixels ⁇ 16 pixels, 8 pixels ⁇ 8 pixels (in this case, further, Can be divided into prediction blocks of 8 pixels ⁇ 4 pixels, 4 pixels ⁇ 8 pixels, 4 pixels ⁇ 4 pixels), and different motion vectors can be set for the prediction blocks.
  • the size of the macroblock is limited to 16 pixels ⁇ 16 pixels or less, and it cannot be predicted in units larger than this.
  • intra prediction and inter prediction can be set only in units of macroblocks, intra prediction and inter prediction cannot be selected in units smaller than 16 pixels ⁇ 16 pixels.
  • JCT-VC Joint Collaborative Team on Video Coding
  • Patent Document 1 the enlargement and reduction of the size of the macroblock in the moving image coding as described in Patent Document 1 and Non-Patent Document 1 increases the amount of information for describing the size information of the macroblock. There was a problem that the compression rate was lowered.
  • An object of the present invention is to reduce the amount of information for describing macroblock size information in image encoding / decoding processing involving macroblock enlargement and reduction.
  • This application includes a plurality of means for solving the above problems.
  • a typical example is as follows.
  • the image decoding apparatus of the present invention includes a CU dividing unit and a CU size storage unit, and the CU size storage unit is used for size information of a coded CU in a picture to be encoded to be stored and for prediction.
  • the size information of all CUs in the preceding and following pictures is stored, and the CU partitioning unit predicts the CU size at the encoding target position using the CU size information stored in the CU size storage unit, and the final code Determine the CU size of the target CU.
  • the present invention it is possible to improve the compression rate by reducing the amount of information describing the size of the CU in the image encoding / decoding process with the enlargement or reduction of the CU.
  • FIG. It is a figure which shows schematic structure of the image coding apparatus by Example 1.
  • FIG. It is a figure for demonstrating an example of the intra prediction process of a prior art. It is a figure for demonstrating an example of the intra prediction process of a prior art. It is a figure for demonstrating an example of the inter prediction process of a prior art. It is a figure for demonstrating the concept of CU division
  • FIG. 1 It is a figure for demonstrating an example of the inter division
  • FIG. It is a figure which shows schematic structure of a CU division part (inside of a decoding apparatus). It is a figure for demonstrating an example of the syntax in the encoding stream by Example 2.
  • the present invention relates to an image encoding device and an image decoding device used in an image encoding / decoding technique for encoding an original image and decoding the encoded image.
  • This image encoding device includes a CU dividing unit and a CU size storage unit.
  • CU Coding Unit
  • the CU size storage unit stores the encoded CU size information in the stored encoding target picture and all the CU size information in the previous and subsequent pictures used for prediction.
  • the CU dividing unit predicts the CU size at the encoding target position using the CU size information stored in the CU size storage unit, and determines the final CU size of the encoding target CU.
  • flag information indicating whether or not it matches the predicted CU size is stored for each encoding target CU.
  • the flag information is 1 (matches the predicted size)
  • the CU size information is not included in the encoded stream.
  • the flag information is 0 (does not match the predicted size)
  • the CU size information is included in the encoded stream.
  • a flag indicating a prediction mode (1) and a mode (0) for extracting CU size information from the encoded stream are included in the encoded stream.
  • the image decoding apparatus includes a CU dividing unit and a CU size storage unit.
  • the CU size storage unit stores the decoded CU size information in the encoding target picture to be stored and all the CU size information in the previous and subsequent pictures used for prediction.
  • the CU dividing unit stores the CU size information in the CU size storage unit without trying to extract the CU size information from the encoded bit stream.
  • the CU size at the decoding target position is predicted using the CU size information, and the final CU size of the decoding target CU is determined.
  • the flag information included in the encoded stream is 0 (does not match the predicted size)
  • the CU size of the decoding target CU is determined based on the CU size information included in the encoded stream.
  • FIG. 1 is a diagram illustrating a schematic configuration of an image encoding device according to the first embodiment.
  • this image encoding device is based on the CU size storage unit 116 in which encoded CU size information is stored, and the encoded CU size information stored in the CU size storage unit 116.
  • a difference unit 101 that generates a prediction difference image between the prediction image to be input and the input image 114, a conversion unit 102 that performs orthogonal transformation such as DCT on the prediction difference image, a quantization unit 103 that quantizes the converted signal, A variable length encoding unit 104 that encodes the converted signal, and outputs an encoded stream 115;
  • the CU size prediction process in the CU dividing unit 100 will be described later.
  • This moving image encoding apparatus has two prediction processing systems in order to generate a predicted image.
  • the first system is based on inter prediction, and in order to obtain a reference image for the next input image, an inverse quantization unit 109 that inversely quantizes the quantized signal output from the quantization unit 103, and an inverse quantization signal Inverse transform unit 108 that obtains a prediction difference image by inverse transform, adder 111 that adds the prediction difference image after the inverse transform and the prediction image from prediction image storage unit 107, and a reference obtained by removing block noise from the added image A deblocking processing unit 112 for obtaining an image is included.
  • a reference image storage unit 113 that stores the obtained reference image
  • an inter prediction unit 106 that performs motion prediction between the reference image stored in the reference image storage unit 113 and the input image 114 are included.
  • the second system is based on intra prediction, and has an intra prediction unit 105 that performs intra prediction from the input image 114.
  • the two prediction processing systems that is, the prediction image evaluated as having the highest prediction efficiency among the inter prediction image from the inter prediction unit 106 and the intra prediction image from the intra prediction unit 105.
  • Select. Prediction error energy was used as an evaluation index of prediction efficiency, but using a prediction image (that is, prediction mode) in consideration of the similarity with the prediction method (inter-screen prediction or intra-screen prediction) of nearby CUs Also good.
  • the selected predicted image is stored in the predicted image storage unit 113, and is used to generate a predicted difference image from the input image 114.
  • Information on the prediction mode (inter prediction / intra prediction type and the combination of the prediction unit block sizes) selected by the prediction mode determination unit 110 is sent to the variable-length encoding unit 104 and a part of the encoded stream 115 Stored in
  • This embodiment is characterized by the configuration having the CU dividing unit 100 and the CU size information storage unit 116, and will be described in detail below.
  • FIG. 5 is a diagram for explaining the concept of the CU.
  • CU Coding Unit
  • the CU has the following properties, but is not limited to this property. (1) Let CU be a square. (CU may be rectangular.) (2) It is assumed that the maximum size and the minimum size of the CU are described in the encoded stream, or are defined as a standard and shared between the encoding side and the decoding side. (3) The maximum CU can be divided into four hierarchically in a quadtree structure (four-layer tree structure).
  • LCU Large Coding Unit
  • LCU size the size (number of pixels in the vertical or horizontal direction of the LCU) is denoted as LCU size.
  • LCU size is a power of 2, but is not limited to this.
  • one picture is divided in LCU units.
  • a group of consecutive LCUs is defined as a slice. This concept corresponds to a prior art macroblock.
  • Individual LCUs are hierarchical with a quadtree structure.
  • FIG. 6 is a diagram illustrating an example of CU partitioning configured by a quadtree structure.
  • the LCU is divided into four CU 0 , CU 1 , CU 2 , and CU 3 .
  • CU 0 is not divided and is finally determined as CU.
  • CU 1 is divided into CU 10 , CU 11 , CU 12 , and CU 13
  • CU 2 is divided into CU 20 , CU 21 , CU 22 , and CU 23
  • CU 3 is divided into four parts of CU 30 , CU 31 , CU 32 , and CU 33. Has been.
  • CU 11 is further to CU 110
  • CU 111 , CU 112 , CU 113 , CU 12 is to CU 120 , CU 121 , CU 122 , CU 123
  • CU 30 is CU 300 , CU 301 , CU 302
  • Each CU 303 is divided into four, and the other CUs are finally determined as CUs.
  • the LCU can be divided into four hierarchically, and the division can be performed until the size of the CU becomes the minimum size.
  • the flag indicating whether or not to divide individual CUs as in the prior art is 1 bit.
  • the maximum amount of information (4 ⁇ N) bits is required for each LCU. For this reason, as the ratio between the maximum size and the minimum size of the CU increases, the amount of information for indicating the size information of the CU increases.
  • the surrounding CUs spatial surrounding CUs
  • the CUs of the preceding and following pictures temporary surrounding CUs (Co-located Cu and surrounding CUs)
  • the size information is used to predict whether or not to divide the current CU into four, and it is divided according to the prediction result.
  • the size information of the CU that is, the above-described flag becomes unnecessary, so that the amount of information can be reduced.
  • currCUSize is the size of the encoding target CU (number of pixels on one side)
  • the function coding_unit () is the (x0, y0) pixel position and the encoding syntax of the CU with the size indicated by currCUSize.
  • PicWidth is the picture width (number of pixels)
  • PicHeight is the picture height (number of pixels)
  • MinCUSize is the minimum size of the CU.
  • use_pred_split_flag is a 1-bit flag that indicates whether the predicted CU split pattern is applied to the current LCU (“1”) or not (“0”), and is stored only when the current CU is an LCU (L700).
  • pred_split_flag is assigned to split_flag (L701).
  • pred_split_flag is a flag indicating the predicted value of whether to divide the current CU (1) or not (0)
  • split_flag is a flag indicating whether to divide the current CU (1) or not (0), both Expressed with 1 bit. That is, when use_pred_split_flag is 1, since the current CU is divided according to the predicted division pattern, information on split_flag is not necessary. A method for predicting whether or not to divide the current CU will be described later.
  • split_flag When split_flag is 1, the current CU is divided into four. In this case, the split CU size splitCUSize is 1/2 of the current CU size currCUSize. (L7203). Then, four divided CUs (CU 0 to CU 3 ) are stored by recursively calling coding_unit () (L704 to L707). In each of the four divided CUs, use_pred_split_flag or split_flag similarly specifies whether to perform further division. Such a recursive call is made as long as the CU size is equal to or greater than MinCUSize.
  • this CU is determined as an encoding unit, and information on prediction processing (function prediction_unit ()) (L708), which is the main processing of encoding, and orthogonal transformation information on prediction errors (Function transform_unit ()) (L709) is stored. Details of the prediction process and the orthogonal transform process are omitted.
  • FIG. 8 is a diagram illustrating a configuration of the block dividing unit 100.
  • the block division unit 100 includes a division determination unit 800 and a division prediction unit 801.
  • the division determination unit 800 determines an optimal block division pattern based on the input image 114. Then, the block division pattern predicted by the division prediction unit 801 is compared with the optimum block division pattern, and it is determined whether to use the predicted block division pattern or another block division pattern.
  • the division determination unit 800 determines an optimal CU division pattern based on the input image 114. In this embodiment, the method for determining the optimal CU division pattern is not limited. For example, as shown in Patent Document 1, for a certain CU, division is performed by calculating a variance when performing division and performing threshold determination.
  • the block division pattern predicted by the division prediction unit 801 is evaluated, and it is determined whether the predicted CU division pattern is a division pattern or the above-described optimal division pattern is a division pattern.
  • the variance value of the divided CU is evaluated by a threshold value, and whether or not to be divided is determined.
  • the method of selecting is mentioned.
  • FIG. 9 is a flowchart showing the flow of the division prediction process.
  • the CU partition pattern prediction method is divided into intra-partition prediction using size information of surrounding encoded CUs in the same picture and inter-partition prediction method using size information of encoded CUs of preceding and following pictures. It is done.
  • step S901 after the split prediction process is started in step S900, it is determined in step S901 whether the current picture is an I picture. If it is an I picture, all the CUs perform intra-division prediction processing described later (step S902). If it is not an I picture (P picture or B picture), it is determined whether or not a division determination prediction process to be described later is performed (step S903). If it is determined in step S903 that the intra-division prediction is made, intra-division prediction is performed (step S902). If it is determined in step S903 that the inter-division prediction is made, inter-division prediction is performed (step S905), and the division prediction process is terminated (step S906). (4) Details of Intra Split Prediction (Step S902) Next, the intra split prediction process in step S902 in FIG. 9 will be described with reference to FIG. In the processing in step S902, the following flow is executed.
  • step S1001 division determination processing is performed from the LCU. For this reason, in step S1001, the current CU size currCUSize is set to the size of the LCU.
  • step S1003 intra division determination processing (step S1003) described later is performed on all CUs having currCUSize. Thereafter, currCUSize is halved (step S1004). If currCUSize is larger than the minimum size MinCUSize of the CU (step S1005), the process returns to step S1002, and the intra division determination process (step S1003) described later is performed for all CUs of the size of currCUSize. If currCUSize is less than or equal to the minimum CU size MinCUSize, no further division processing is performed, and the intra division prediction processing is terminated (step S1006).
  • FIG. 11 shows the positional relationship between the CU to be encoded in the first embodiment and the CU referred to for performing the intra division determination process.
  • the three CUs of the same size that is, the left CU (A in the figure), the upper CU (B in the figure), and the upper left CU (C in the figure) of the CU (X) to be encoded are shown. With reference to this, it is determined whether or not the encoding target CU (X) is divided.
  • a method of determining whether or not the encoding target CU (X) is divided it is determined whether or not the left CU, the upper CU, and the upper left CU are divided, and the larger one is determined as the encoding target CU.
  • other methods may be used as long as the determination can be performed using the presence / absence of division of surrounding encoded CUs.
  • the encoding target CU is determined to be “divided” by majority decision because the left CU and the upper left CU are divided. Then, the encoding target CU is moved to the right in the raster scan order.
  • the encoding target CU is determined not to be divided by majority vote. Then, the encoding target CU is moved to the lower left in the raster scan order.
  • the encoding target CU is determined to be “divided” by majority decision because the left CU is not divided and the upper left CU and upper CU are divided. Then, the encoding target CU is moved to the lower right in the raster scan order.
  • the encoding target CU is determined to be “divide” by majority vote because the left CU and the upper left CU are divided and the upper CU is not divided.
  • the division pattern of the encoding target LCU can be predicted from the size information of the LCUs around the encoding target LCU by the intra division prediction process.
  • FIG. 13 is a diagram for explaining an LCU used for intra division prediction at a picture boundary or a slice boundary.
  • a slice is a set of consecutive LCUs, and prediction is not performed across different slices. However, it is not always necessary to make predictions.
  • FIG. 13 there is no left LCU, upper LCU, or upper left LCU as the LCU at the position indicated by P (when there is no LCU on the left, upper, upper left). For this reason, intra division prediction is not performed in the LCU at the position P.
  • the LCU at the position indicated by Q (when there is no upper LCU) does not have an upper LCU and an upper left LCU. For this reason, in the LCU at the Q position, intra division prediction is performed using only the division pattern of the left LCU.
  • the LCU at the position indicated by R (when there is no LCU at any of the left, top, and top left) has no left LCU and top left LCU. For this reason, the LCU at the R position performs intra division prediction using only the division pattern of the upper LCU.
  • the LCU at the position indicated by S does not have an upper left LCU. For this reason, in the LCU at the position S, intra division prediction is performed using the division pattern of the left LCU and the upper LCU. However, in the CU located at the upper left of the LCU (CU size is LCUSize / 2), since only the upper LCU and the left LCU can be referred to, a majority vote cannot be taken when the two division patterns are different. In such a case, which division pattern is used is ruled in advance (in the present embodiment, the left LCU is prioritized). (5) Details of Split Prediction Method Determination (Step S903) Next, the split prediction method determination process in step S903 in FIG. 9 will be described. The process in step S903 is executed according to the following flow.
  • FIG. 14 is a flowchart showing the flow of the division prediction method determination (step S903) process.
  • FIG. 15 is a diagram for explaining prediction mode information acquisition processing.
  • CU for which intra prediction is performed is indicated as 'I'
  • CU for which forward inter prediction is being performed is indicated as 'P'
  • CU for which bidirectional inter prediction is performed is indicated as 'B'.
  • the sizes of these CUs may be different, when counting the number of prediction modes, they are converted to the same CU size and counted. For example, in the figure, there is one I and two Ps in a CU of 8 pixels ⁇ 8 pixels.
  • a 16 pixel ⁇ 16 pixel CU there are two Ps and one B.
  • the number is converted into the number of CUs of 8 pixels ⁇ 8 pixels, and two Ps of the 16 pixel ⁇ 16 pixel CUs are converted into four Ps in the CU of 8 pixels ⁇ 8 pixels.
  • one B in a 16 pixel ⁇ 16 pixel CU is converted to two B in an 8 pixel ⁇ 8 pixel CU.
  • step S1402 the number of inter prediction modes is compared with the number of intra prediction modes.
  • the number of inter prediction modes is 8, and the number of intra prediction modes is 1. If the number of intra prediction modes is equal to or greater than the number of inter prediction modes in step S1402, intra split prediction is selected as the split prediction method (step S1403). If the number of intra prediction modes is less than the number of inter prediction modes, inter division prediction is selected as the division prediction method (step S1404).
  • step S903 information on whether the surrounding CU is selected as the intra prediction mode or the inter prediction mode is collected, and according to the larger prediction mode, A split prediction method is selected.
  • the above selection method is an example, and other selection methods may be used as long as the division prediction method of the encoding target LCU can be determined with reference to information of surrounding CUs.
  • the division prediction method for the encoding target LCU may be determined by referring to not only the information of surrounding CUs but also the information of CUs of preceding and following pictures.
  • (6) Details of Inter Division Prediction (Step S905) Next, the inter division prediction process in step S905 in FIG. 9 will be described with reference to FIG. The process in step S905 is executed according to the following flow.
  • step S1601 division determination processing is performed from the LCU. Therefore, in step S1601, the current CU size currCUSize is set to the LCU size. Next, an inter division determination process (step S1603) described later is performed on all the CUs having currCUSize. Thereafter, currCUSize is halved (step S1604). If currCUSize is larger than the minimum size MinCUSize of the CU (step S1605), the process returns to step S1602, and inter-division determination processing (step S1603) described later is performed for all CUs of the size of currCUSize. If currCUSize is less than or equal to the minimum CU size MinCUSize, no further division processing is performed, and the inter-division prediction processing is terminated (step S1606).
  • step S1603 an example of the inter division determination process (step S1603) will be described with reference to FIG.
  • the motion vector of the encoding target LCU is predicted based on the surrounding encoded motion vectors, and the predicted motion vector is denoted as PMV.
  • an arrow indicates a motion vector
  • (F) in parentheses attached to the arrow indicates a motion vector that refers to the forward picture
  • (B) indicates a motion vector that refers to the backward picture.
  • the CU is further divided into 2 ⁇ 2, 2 ⁇ 1, and 1 ⁇ 2 prediction units in the aspect ratio, and motion vectors are divided into individual prediction units.
  • motion vectors are set in a prediction unit of 8 pixels ⁇ 8 pixels in CU (P 0 ), CU (P 1 ), and CU (P 2 ).
  • CU (P 3 ) a motion vector that refers to the previous picture is set in a prediction unit of 8 ⁇ 16 pixels.
  • CU (B 0 ) is bidirectionally predicted in a prediction unit of 16 pixels ⁇ 16 pixels, and a vector that refers to the front picture and a vector that refers to the rear picture are set.
  • a reference direction is selected and a median value of motion vectors in the selected reference direction is used as a predicted value. That is, in the example of FIG. 9A, since there are more motion vectors for referring to the forward picture indicated as P, the PMV is selected as the forward picture reference direction. Then, among all the motion vectors that refer to the forward pictures of CU (P 0 ), CU (P 1 ), CU (P 2 ), CU (P 3 ), and CU (B 0 ), the median value is PMV. To do.
  • a set of the median value of the X component and the median value of the Y component of all motion vectors is defined as PMV.
  • the size of the motion vector prediction unit may be taken into consideration. That is, CU (P 0 ) to CU (P 3 ) are adjacent to the encoding target LCU in a prediction unit of 8 pixel size, while CU (B 0 ) is adjacent to the encoding target LCU in a prediction unit of 16 pixel size. is doing. For this reason, the motion vector in CU (B 0 ) may be interpreted as two motion vectors in a prediction unit having an 8-pixel size.
  • the PMV is determined by the median.
  • an average of all motion vectors may be obtained and used as the PMV.
  • any other method may be used as long as it can be uniquely obtained from the motion vectors of surrounding encoded CUs.
  • FIG. 5B shows an example of a method for predicting whether to divide the encoding target LCU using the PMV of the encoding target LCU determined as described above.
  • the center coordinate of the LCU is (X 0 , Y 0 ), and the position on the reference picture at the position moved by PMV from the (X 0 , Y 0 ) position (hereinafter referred to as the reference position) refers to the size of the CU that contains the pixel. If the CU size at this reference position is smaller than the size of the CU to be encoded, it is determined to be divided. If the CU size at the reference position is equal to or larger than the size of the CU to be encoded, it is determined that no division is performed.
  • the reference position Refers to the size of the CU that contains the pixel. If the CU size at this reference position is smaller than the size of the CU to be encoded, it is determined to be divided. If the CU size at the reference position is equal to or larger than the size of the
  • the LCU reference position of the current picture is divided into a size smaller than the LCU size on the reference picture (the dark gray portion in FIG. 5B). Therefore, it is determined that the encoding target LCU is to be divided. Note that the CU size information in the reference picture is stored in the block size storage unit 116.
  • step S1603 the inter division determination process (step S1603) is applied to a divided CU (a CU having a size smaller than the LCU) will be described.
  • the center coordinates of each divided CU are (X 10 , Y 10 ), (X 11 , Y 11 ), (X 12 , Y 12 ), (X 13 , Y 13 ), and only the PMV from each center coordinate
  • the PMV reference position indicates the outside of the picture, it may be replaced with a neighboring pixel position. For example, if the X coordinate of the reference position is less than 0 or greater than the maximum value (PicWidth-1), the X coordinate of the reference position may be replaced with 0 or PicWidth-1, respectively. Similarly, if the Y coordinate of the reference position is less than 0 or greater than the maximum value (PicHeight-1), the Y coordinate of the reference position may be replaced with 0 or PicHeight-1, respectively.
  • the division pattern inside the encoding target LCU is predicted with reference to the motion vector information of the adjacent encoded CU.
  • the prediction method described above is an example, and any prediction method using motion vector information of adjacent encoded CUs can be applied.
  • the motion vector may be regarded as zero, and the CU size at the same reference position as the encoding target CU may be referred to.
  • the block division unit 100 in the image coding apparatus predicts the division pattern of the encoding target LCU with reference to the information on the surrounding CUs and the CUs on the reference picture, and performs coding according to the prediction pattern.
  • the conversion target LCU is divided, only flag information indicating that is stored in the encoded stream. Thereby, the compression rate can be improved by reducing the division pattern information of the encoding target LCU.
  • FIG. 19 is a diagram illustrating a schematic configuration of the image decoding apparatus according to the first embodiment.
  • the image decoding apparatus receives an encoded stream 1900 and performs encoding based on a variable length decoding unit 1901 that decodes the encoded stream 1900 and encoded CU size information stored in the CU size storage unit 1903.
  • a block division unit 1902 that predicts the CU size of the target CU and determines the CU size, an inverse quantization unit 1904 that inversely quantizes the transform-quantized prediction error image in the CU, and an inverse quantization unit 1904
  • An inverse transform unit 1905 that inversely transforms the transformed predicted image obtained by inverse quantization in step S4 and outputs a prediction error image, a predicted image stored in the predicted image storage unit 1910, and an inverse transform unit 1905
  • An adder 1906 that adds the prediction error image output from the image and a deblocking processing unit 1907 that performs a deblocking process on the addition result image, and outputs an output image 1913.
  • the moving picture decoding apparatus has two prediction processing systems in order to generate the predicted image.
  • the first system is based on intra prediction, and has an intra prediction unit 1908 that performs intra prediction using decoded CU image signals (before deblocking processing) that are sequentially stored in CU units.
  • the second system is based on inter prediction, and uses a reference image storage unit 1911 for storing an output image, a reference image stored in the reference image storage unit 1911, and a motion vector decoded by the variable length decoding unit 1901.
  • An inter prediction unit 1912 is provided that performs motion compensation and obtains an inter prediction image.
  • the prediction selection unit 1909 selects a prediction image generated by one of the two systems according to the prediction mode information decoded by the variable length decoding unit 1901 and stores the prediction image in the prediction image storage unit 1909.
  • FIG. 20 is a diagram showing an internal configuration of the CU dividing unit 1902.
  • the division determination unit 2000 determines a division pattern in the encoding target LCU based on the CU division information decoded by the variable length decoding unit 1901.
  • Specific examples of the CU partition information include use_pred_split_flag and split_flag information in FIG. If use_pred_split_flag is 0, the encoding target CU is divided according to the information of split_flag when split_flag is 1, and the encoding target CU is not divided when split_flag is 0.
  • the division prediction unit 2001 predicts the division pattern of the encoding target CU. Since the processing content in the division
  • the CU size storage unit 1903 also has the same function as the CU size storage unit 116 in the encoding device.
  • variable length decoding unit 1901 performs variable length decoding processing on the CU to be encoded based on the division presence / absence pattern determined by the division determination unit 2000.
  • the CU dividing unit 1902 in the image decoding apparatus refers to the information on the surrounding CUs and the CUs on the reference picture according to the flag information of the encoded stream, and determines the division pattern of the encoding target LCU. Predict. Thereby, since the division pattern information of the encoding target LCU in the encoded stream can be reduced, the compression ratio can be improved.
  • Example 1 is the same as Example 1 except that Example 1 is different.
  • 1-bit information of use_intra_split_pred_flag is assigned as compared with the encoded stream of the first embodiment. This means performing inter-division prediction.
  • the split prediction unit 2001 in the CU split unit 1902 in the first embodiment may switch between intra split prediction and inter split prediction processing according to the flag of use_intra_split_pred_flag. Therefore, compared to the first embodiment, the same information amount reduction can be realized while simplifying the division prediction method determination process shown in FIG.
  • the image coding apparatus may perform the same division prediction method determination process (FIG. 14) as that of the first embodiment and store the determination result in use_intra_split_pred_flag in the encoded stream.
  • the CU size of the encoding target CU is predicted based on the size information of the encoded CU adjacent to the encoding target CU and the size information of the preceding and succeeding encoded CUs. If the image size matches the predicted size, the image encoding device does not send CU size information, and the image decoding device performs the same prediction process to restore the CU size, thereby reducing the amount of information. can do.
  • a storage medium in which the program code is recorded is provided to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads the program code stored in the storage medium, and the control unit of the system or apparatus Realize functions by cooperating with.
  • a storage medium for supplying such program code for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. are used.
  • an OS operating system
  • the computer may perform part or all of the actual processing, and the above-described functions may be realized by the processing.
  • the computer CPU or the like performs part or all of the actual processing based on the instruction of the program code.
  • the program code is stored in a storage means such as a hard disk or memory of a system or apparatus or a storage medium such as a CD-RW or CD-R.
  • a storage means such as a hard disk or memory of a system or apparatus or a storage medium such as a CD-RW or CD-R.
  • the computer (or CPU or MPU) of the system or apparatus may read and execute the program code stored in the storage means or the storage medium.
  • CU division unit 116 CU size storage unit 105 ... intra prediction unit 106 ... inter prediction unit 102 ... conversion unit 103 ... quantization unit 104 ... variable length coding unit 800 ... division determination unit 801 ... division prediction unit 1901 ... variable Long decoding unit 1902 ... CU dividing unit 1903 ... CU size storing unit 1904 ... Inverse quantization unit 1905 ... Inverse transformation unit 1908 ... Intra prediction unit 1909 ... Inter prediction unit 2000 ... Division determining unit 2001 ... Division prediction unit

Abstract

　動画像符号化におけるマクロブロックのサイズの拡大及び縮小は、そのマクロブロックのサイズ情報を記述するための情報量が増えてしまうため、圧縮率が低下する。画像符号化装置は、CU分割部とCUサイズ格納部を備える。CUサイズ格納部には、格納される符号化対象ピクチャ内の符号化済みのCUのサイズ情報と、予測に用いられる前後のピクチャにおける全てのCUのサイズ情報とを格納する。CU分割部は、CUサイズ格納部に格納されたCUサイズ情報を用いて符号化対象位置のCUサイズを予測し、最終的な符号化対象CUのCUサイズを決定する。

Description

画像復号化装置
　本発明は、画像信号の符号化及びその符号化データの復号化に関する。
　ITU-T H.264に代表される動画像符号化方式では、画面全体を１６画素×１６画素のマクロブロックと呼ばれる符号化単位に分割して符号化を行う。
　H.264では、符号化対象のマクロブロックに対して、周辺の画素や前後のピクチャを用いて符号化対象マクロブロック内の画素値の予測値を決定し、符号化対象画素と予測値との予測誤差をエントロピー符号化する。
　上記のマクロブロック内の画素値の予測の際には、周辺画素から予測するイントラ予測と、前後のピクチャの画素から予測するインター予測とを、マクロブロック内の絵柄に応じてマクロブロック毎に選択することができる。また、１６画素×１６画素よりも小さな予測ブロックに分割して予測を行うことができる。例えば、図2で示すように、H.264のイントラ予測では１６画素×１６画素のマクロブロックを、１６個の４画素×4画素の予測ブロックに分割し、個々の予測ブロックに対して図2のインデックス０から８に示す９種類の向きに周辺画素をコピーすることにより、予測ブロック内の画素を予測することができる。
　また、図3で示すように、マクロブロックを分割せずに、１６画素×１６画素の予測ブロックで、図3のインデックス０から３で示される４種類の向きに周辺画素をコピーすることにより、予測ブロック内の画素を予測することができる。
　また、H.264のインター予測に関しても同様にマクロブロック内で、より小さな予測ブロックに分割して個々の予測ブロックに対して動きベクトルを設定することができる。例えば、図4で示すように、過去のピクチャからの動きを予測する場合、１６画素×１６画素、１６画素×８画素、８画素×１６画素、８画素×８画素（この場合、さらに、個々の予測ブロックを８画素×４画素、４画素×８画素、４画素×４画素に分割可能）の予測ブロックに分割し、ここの予測ブロックに対してそれぞれ異なる動きベクトルを設定することができる。
　上記のように、マクロブロックの内部を予測ブロックに分割して個々に予測を行うことにより、マクロブロック内に異なる絵柄の境界があるときなどで予測精度が向上し、圧縮率の向上につながる。
　しかし、H.264に代表される従来技術では、マクロブロックのサイズが１６画素×１６画素以下に限定されており、これよりも大きなサイズを単位として予測することはできない。
　また、イントラ予測かインター予測かの選択はマクロブロック単位でしか設定できないため、１６画素×１６画素よりも小さな単位でイントラ予測とインター予測とを選択することもできない。
　そこで近年、マクロブロックのサイズそのものに柔軟性を持たせ、１６画素×１６画素よりも大きい、もしくは小さなサイズを単位として予測ブロックを設定する技術が開示されている（特許文献１、非特許文献１）。
特表２００７－５０３７８４号公報
Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A124 April, 2010.
　しかしながら、特許文献１及び非特許文献１に記載されるような動画像符号化におけるマクロブロックのサイズの拡大及び縮小は、そのマクロブロックのサイズ情報を記述するための情報量が増えてしまうため、圧縮率が低下するという課題があった。
　本発明の目的は、マクロブロックの拡大及び縮小をともなう画像符号化・復号化処理において、マクロブロックのサイズ情報を記述するための情報量を削減することである。
　上記課題を解決する手段を本願は複数含む。その代表例を挙げるならば、以下の通りである。
　本発明の画像復号化装置は、CU分割部とCUサイズ格納部を備え、CUサイズ格納部には、格納される符号化対象ピクチャ内の符号化済みのCUのサイズ情報と、予測に用いられる前後のピクチャにおける全てのCUのサイズ情報とを格納し、さらにCU分割部は、CUサイズ格納部に格納されたCUサイズ情報を用いて符号化対象位置のCUサイズを予測し、最終的な符号化対象CUのCUサイズを決定する。
　本発明によれば、CUの拡大または縮小をともなう画像符号化・復号化処理において、CUのサイズを記述する情報量を削減することにより、圧縮率を向上させることができるようになる。
実施例１による画像符号化装置の概略構成を示す図である。 従来技術のイントラ予測処理の一例を説明するための図である。 従来技術のイントラ予測処理の一例を説明するための図である。 従来技術のインター予測処理の一例を説明するための図である。 CU分割の概念を説明するための図である。 ４分木構造のCU分割の一例を説明するための図である。 CU分割予測による符号化ストリーム内のシンタックスの一例を説明するための図である。 CU分割部（符号化装置内）の概略構成を示す図である。 分割予測処理の流れを示すフローチャートである。 イントラ分割予測処理の流れを示すフローチャートである。 イントラ分割予測処理を説明するための図である。 イントラ分割予測処理の一例を説明するための図である。 ピクチャ境界、スライス境界付近でのイントラ分割予測処理を説明するための図である。 分割予測方法の判定処理の流れを示すフローチャートである。 分割予測方法の判定処理の一例を説明するための図である。 インター分割予測処理の流れを示すフローチャートである。 インター分割予測処理の一例を説明するための図である。 インター分割予測処理の一例を説明するための図である。 実施例１による画像復号化装置の概略構成を示す図である。 CU分割部（復号化装置内）の概略構成を示す図である。 実施例２による符号化ストリーム内のシンタックスの一例を説明するための図である。
　本発明は、原画像を符号化し、符号化された画像を復号化する画像符号化復号化技術で用いられる画像符号化装置及び画像復号化装置に関するものである。
　この画像符号化装置は、CU分割部とCUサイズ格納部を備える。ここでCU(Coding Unit)とは符号化単位ブロックであり、従来技術のマクロブロックの概念に相当する。CUサイズ格納部には、格納される符号化対象ピクチャ内の符号化済みのCUのサイズ情報と、予測に用いられる前後のピクチャにおける全てのCUのサイズ情報とが格納される。CU分割部は、CUサイズ格納部に格納されたCUサイズ情報を用いて符号化対象位置のCUサイズを予測し、最終的な符号化対象CUのCUサイズを決定する。
　この画像符号化装置が出力する符号化ストリームには、個々の符号化対象CUに対し、予測されたCUサイズと一致するかしないかのフラグ情報が格納される。このフラグ情報が１（予測サイズと一致する）の場合には、CUサイズ情報は符号化ストリーム内に含まれない。一方、フラグ情報が０（予測サイズと一致しない）の場合には、CUサイズ情報は符号化ストリーム内に含まれる。いいかえると、予測するモード（１）と符号化ストリームからCUサイズ情報を取り出すモード（０）とを示すフラグが符号化ストリームに入っている。
　画像復号化装置は、CU分割部とCUサイズ格納部を備える。CUサイズ格納部には、格納される符号化対象ピクチャ内の復号済みのCUサイズ情報と、予測に用いられる前後のピクチャにおける全てのCUサイズ情報とを格納する。CU分割部は、上記符号化ストリーム内に含まれるフラグ情報が１（予測サイズと一致する）の場合、符号化ビットストリームからCUサイズ情報を取り出そうとせずに、CUサイズ格納部に格納されたCUサイズ情報を用いて復号化対象位置のCUサイズを予測し、最終的な復号化対象CUのCUサイズを決定する。上記符号化ストリーム内に含まれるフラグ情報が０（予測サイズと一致しない）の場合、符号化ストリーム内に含まれるCUサイズ情報により復号化対象CUのCUサイズを決定する。
　このような画像符号化装置と画像復号化装置の詳細な構成を、以下の実施例で説明する。なお、本発明はこの実施例のみに限定されるものではない。
　＜画像符号化装置の構成＞
　図1は、実施例１による画像符号化装置の概略構成を示す図である。図1に示す通り、この画像符号化装置は、符号化済みCUサイズ情報が格納されているCUサイズ格納部116と、CUサイズ格納部116に格納される符号化済みCUサイズ情報を基に、入力画像114のうちの符号化対象CUとすべきCUサイズを予測し、CUサイズを決定するCU分割部100と、予測画像が格納される予測画像格納部107と、予測画像格納部107に格納される予測画像と入力画像114との予測差分画像を生成する差分器101、前記予測差分画像をＤＣＴなどの直交変換を行う変換部102、変換後の信号を量子化する量子化部103、量子化後の信号を符号化する可変長符号化部104を有し、符号化ストリーム115を出力する。CU分割部100におけるCUサイズ予測処理については後述する。
　この動画像符号化装置は、予測画像を生成するために２系統の予測処理系統を有する。第１の系統はインター予測によるもので、次の入力画像のための参照画像を得るため、量子化部103で出力された量子化信号を逆量子化する逆量子化部109、逆量子化信号を逆変換して予測差分画像を得る逆変換部108、逆変換後の予測差分画像と予測画像格納部107からの予測画像を加算する加算器111、加算後の画像からブロックノイズを除去した参照画像を得るデブロック処理部112を有する。そして、得られた参照画像を格納する参照画像格納部113、参照画像格納部113に格納される参照画像と入力画像114との間の動き予測を行うインター予測部106を有する。第２の系統はイントラ予測によるもので、入力画像114から画面内予測を行うイントラ予測部105を有する。
　予測モード決定部110では上記２系統の予測処理系統、すなわち、インター予測部106からのインター予測画像及びイントラ予測部105からの画面内予測画像のうち、最も予測効率が高いとして評価された予測画像を選択する。予測効率の評価指標としては、予測誤差エネルギーを用いたが、近傍のCUの予測方式（画面間予測か画面内予測か）との類似性を考慮して予測画像（すなわち予測モード）を用いてもよい。選択された予測画像は予測画像格納部113に格納され、入力画像114との予測差分画像を生成するために用いられる。なお、予測モード決定部110で選択した予測モード（インター予測とイントラ予測の種別と、予測単位ブロックのサイズの組み合わせ）に関する情報は可変長符号化部104に送られ、符号化ストリーム115の一部に格納される。
　本実施例では、CU分割部100とCUサイズ情報格納部116を有する構成に特徴があり、以下詳細に説明する。
　＜CU分割部の処理内容（符号化側）＞
　以下、図面を参照して、CU分割部100の処理内容について詳細に説明する。
　図5は、CUの概念を説明する図である。本実施例では従来技術のマクロブロックに相当する符号化処理単位ブロックを、CU（Coding Unit）と記す。本実施例においてCUに対して以下のような性質を有するものとするが、この性質に限定されるものではない。
（１）CUを正方形とする。（CUを長方形としてもよい。）
（２）CUの最大サイズと最小サイズとが符号化ストリーム中に記載されるか、規格として定義されることにより符号化側と復号化側とで共有されるものとする。
（３）４分木構造によって最大CUを3回階層的に４分割可能と（全4階層の木構造）する。（適用できる木構造と階層を一般化すると、ｍ分木構造（ｍ＝任意整数）、ｎ階層（ｎ＝2以上の整数）となる。）
　図5において、最大サイズのCUをLCU(Largest Coding Unit)と記し、そのサイズ（LCUの縦もしくは横方向の画素数）をLCU sizeと記す。なお、本実施例ではLCU sizeは２のべき乗とするが、これに限定されない。
　図5で示すように、一つのピクチャはLCU単位で分割される。連続するLCUの集まりをスライスと定義する。この概念は従来技術のマクロブロックに相当する。個々のLCUは４分木構造により階層的になっている。
　図6は４分木構造により構成されたCU分割の一例を示す図である。同図で示すようにLCUが4つのCU0、CU1、CU2、CU3に分割されている。CU0は分割されず最終的にCUとして確定している。CU1はCU10、CU11、CU12、CU13に、CU2はCU20、CU21、CU22、CU23に、CU3はCU30、CU31、CU32、CU33にそれぞれ４分割されている。これらのうち、CU11がさらに、CU110、CU111、CU112、CU113に、CU12がCU120、CU121、CU122、CU123へ、CU30はCU300、CU301、CU302、CU303へそれぞれ４分割されており、それ以外のCUは最終的にCUとして確定している。このようにLCUから階層的に４分割していき、CUのサイズが最小サイズになるまで分割を行うことができる。
　上記の４分木構造の場合、最大サイズ／最小サイズの比が2^N（２のN乗）であった場合に、従来技術のように個々のCUを分割するかしないかのフラグを1bitで表記するとした場合、個々のLCUに対して最大(4^N)bitの情報量を要することとなる。このため、CUの最大サイズと最小サイズの比が大きくなるほど、CUのサイズ情報を示すための情報量が大きくなる。
　そこで、本実施例では、個々のCUに対して、周囲のCU（空間的に周囲のCU）や前後ピクチャのCU（時間的に周囲のCU（Co-located Cuとその周囲のCU））のサイズ情報を用いて、現CUを４分割するかしないかの予測を行い、この予測結果に従って分割することを特徴とする。これによりCUのサイズ情報、すなわち上記のフラグが不要となるため、情報量の削減が期待できる。
　図7を用いて本実施例におけるCUの符号化ストリームのシンタックスの一例を説明する。同図中、currCUSizeは符号化対象CUのサイズ（1辺の画素数）、関数coding_unit()は、(x0,y0)の画素位置かつ、currCUSizeが示すサイズのCUの符号化シンタックスを示している。なお、PicWidthはピクチャ幅（画素数）、PicHeightはピクチャ高（画素数）、MinCUSizeはCUの最小サイズである。
　use_pred_split_flagは、現LCUに対し、予測したCU分割パターンを適用する(「1」)か否(「0」)かで示される１ビットのフラグであり、現CUがLCUである場合にのみ格納される（L700）。
　use_pred_split_flagが１の場合には、pred_split_flagをsplit_flagに代入する(L701)。ここでpred_split_flagは、現CUを分割する(1)か否か(0)の予測値を示すフラグ、split_flagは現CUを分割する(1)か否か(0)を示すフラグであり、いずれも1ビットで表現される。すなわちuse_pred_split_flagが１の場合は、予測した分割パターンによって現CUを分割するため、split_flagの情報が不要となる。現CUを分割するか否かの予測方法は後述する。
　もしも、use_pred_split_flagが０の場合には、split_flagの1ビットの情報を符号化ストリームに格納する(L702)。
　split_flagが１の場合、現CUは4分割される。この場合、分割CUのサイズsplitCUSizeは、現CUのサイズcurrCUSizeの1/2とし、横方向の分割位置x1と、縦方向の分割位置y1とをそれぞれ、x1 = x0 + splitCUSize、y1 = y0 + splitCUSizeとする（L7203）。そして、４つの分割CU（CU0～CU3）が、coding_unit()を再帰的に呼び出すことによって格納される（L704～L707）。個々の４つの分割CU内でも、同様にuse_pred_split_flagかsplit_flagによって、さらに分割を行うかどうか指定される。このような再帰呼び出しがCUサイズがMinCUSize以上である限り行われる。
　もしも、split_flagが０の場合には、このCUが符号化単位として確定し、符号化の主な処理である、予測処理の情報(関数prediction_unit())(L708)と、予測誤差の直交変換情報(関数transform_unit())(L709)とが格納される。予測処理や直交変換処理の詳細については、省略する。
　＜ブロック分割部の処理内容＞
　次に、実施例１によるブロック分割部100の処理内容について説明する。ブロック分割部100は、ピクチャ内の各LCU内の分割パターンを、その周辺のCUサイズや前後のピクチャのCUサイズを用いて予測することにより決定する。
（１）処理全体の概要
　図8は、ブロック分割部100の構成を示す図である。
　ブロック分割部100は、分割決定部800と分割予測部801とを有する。分割決定部800は、入力画像114を元に最適なブロック分割パターンを決定する。そして、分割予測部801で予測されたブロック分割パターンと、最適なブロック分割パターンとを比較し、予測されたブロック分割パターンを用いるか、別のブロック分割パターンを用いるかを決定する。
（２）分割決定部の概要
　分割決定部800では、まず入力画像114を元に最適なCU分割パターンを決定する。本実施例では最適なCU分割パターンの決定方法は限定しないが、例えば特許文献１で示されるように、あるCUに対し、分割した場合の分散を計算し、閾値判定を行うことにより、分割するかしないかを決定していくことで最適な分割パターンを決定する方法をとることができる。もしくは多大な演算処理量を許容される場合には、全ての分割パターンで予測処理を行い、予測誤差が最小となるように、最適な分割パターンを決定してもよい。
　次に、分割予測部801で予測されたブロック分割パターンを評価し、予測されたCU分割パターンを分割パターンとするか、上記の最適な分割パターンを分割パターンとするかのいずれかを判定する。
　この判定方法の一例としては、予測ブロックのパターンと最適ブロックパターンとで、分割の有無が異なる場合、その分割CUの分散値を閾値評価し、分割するかしないかを決定することで、いずれかを選択するという方法が挙げられる。
（３）分割予測部の詳細
　分割予測部801におけるCU分割予測処理について以下に説明する。
　図9は、分割予測処理の流れを示すフローチャートである。CUの分割パターンの予測方法としては、同一ピクチャ内の周囲の符号化済CUのサイズ情報を用いるイントラ分割予測と、前後のピクチャの符号化済CUのサイズ情報を用いるインター分割予測方法とに分けられる。
　図9においてステップS900にて分割予測処理を開始後、ステップS901にて、現在のピクチャがIピクチャか否かを判定する。もしも、Iピクチャであった場合、CUは全て、後述するイントラ分割予測処理を行う（ステップS902）。もしも、Iピクチャ以外（PピクチャやBピクチャ）であった場合は、後述する分割判定予測処理を行うかの判定を行う（ステップS903）。ステップS903においてイントラ分割予測と判定された場合には、イントラ分割予測を行う（ステップS902）。ステップS903において、インター分割予測と判定された場合には、インター分割予測を行い（ステップS905）、分割予測処理を終了する（ステップS906）。
（４）イントラ分割予測（ステップS902）の詳細
　次に、図9中のステップS902における、イントラ分割予測処理について図10を用いて説明する。ステップS902における処理は、以下のフローが実行される。
　まず、LCUから分割判定処理を行う。このためステップS1001において現在のCUサイズcurrCUSizeをLCUのサイズに設定する。次に、currCUSizeであるCUの全てに対して、後述するイントラ分割判定処理（ステップS1003）を行う。その後、currCUSizeを1/2にする（ステップS1004）。もしも、currCUSizeがCUの最小サイズMinCUSizeよりも大きければ（ステップS1005）、ステップS1002に戻り、全てのcurrCUSizeのサイズのCUに対して後述するイントラ分割判定処理（ステップS1003）を行う。もしも、currCUSizeがCUの最小サイズMinCUSize以下であれば、これ以上の分割処理は行わず、イントラ分割予測処理を終了する（ステップS1006）。
　次に図11と図12を参照して、イントラ分割判定処理（ステップS1003）の一例を説明する。図11は、本実施例1における符号化対象のCUと、イントラ分割判定処理を行うために参照されるCUの位置関係を示している。同図に示すように、符号化対象CU（X）の、左CU（同図中A）、上CU（同図中B）、左上CU（同図中C）の３つの同一サイズのCUを参照し、符号化対象CU（X）の分割の有無を判定する。本実施例、ではこの符号化対象CU（X）の分割の有無を判定する方法として、左CU、上CU、左上CUがそれぞれ分割されているかの有無を判定し、多い方を符号化対象CUに適用する、という方法を採用したが、周囲の符号化済のCUの分割の有無を用いて判定を行うことができれば他の方法でもかまわない。
　図12を用いて、ステップS902におけるイントラ分割予測の具体例を説明する。まず、あるLCUとその周囲の同一サイズのCU（すなわちLCU）が、同図（A）で示される分割状態であり、LCUSize=32、MinCUSize=8であるとした。
 図12（A）の場合、符号化対象CUの左と左上のLCUが分割され、上のLCUが分割されていない。そこで上記で述べた多数決により、符号化対象CUを分割する（同図（B））。CUサイズが32のCUはLCU唯一であるため、currCUSizeを1/2してcurrCUSize=16(図10中ステップS1004)とする。currCUSize=16はMinCuSize=8よりも大きいため（図10中ステップS1005）、CUサイズが16のCUの処理を開始する（図10中ステップS1002、S1003）。
　図12（B）にて、分割された符号化対象CUの左上CU（CUサイズ=16）を次の符号化対象CUとする。図12（C）にて、符号化対象CUは、左CUと左上CUとが分割されているので、多数決により、「分割する」と判定されている。そして、符号化対象CUをラスタスキャン順で右に移動する。
　次に、図12（D）にて、符号化対象CUは、左CUが分割され、左上CUと上CUとは分割されていないため、多数決により、「分割しない」と判定されている。そして、符号化対象CUをラスタスキャン順で左下に移動する。
　次に図12（E）にて、符号化対象CUは、左CUが非分割、左上CUと上CUとは分割されているため、多数決により、「分割する」と判定されている。そして、符号化対象CUをラスタスキャン順で右下に移動する。
　次に図12（F）には、符号化対象CUは、左CUと左上CUとが分割され、上CUが非分割であるため、多数決により、「分割する」と判定されている。
　CUサイズが16のCUはこれ以上存在しない（図10中ステップS1002）ため、currCUSizeを1/2してcurrCUSize=8(図10中ステップS1004)とする。currCUSize=8はMinCuSize=8と等しいため（図10中ステップS1005）、イントラ分割予測処理を終了する。
　以上のような流れにより、イントラ分割予測処理により、符号化対象LCUの周囲のLCUのサイズ情報から、符号化対象LCUの分割パターンを予測することができる。
　上記の例は、符号化対象LCUの左、左上、上の3つのCUが全て存在する場合について説明したが、ピクチャ境界やスライス境界では、上記のイントラ分割予測のために3つ全てのCUが参照することができない場合がある。
　図13は、ピクチャ境界やスライス境界においてイントラ分割予測のために用いるLCUを説明するための図である。ここでは、スライスとは連続するLCUの集合であり、異なるスライスに跨って予測をしないこととした。ただし、必ずしも跨って予測をしてはいけないわけではない。
　図13中、Pで示される位置（左、上、左上にＬＣＵが無い場合）のLCUは、左LCU、上LCU、左上LCUのいずれも存在しない。このためPの位置のLCUではイントラ分割予測は行わない。
　図13中、Qで示される位置（上のＬＣＵが無い場合）のLCUは、上LCUと左上LCUが存在しない。このためQの位置のLCUでは左LCUの分割パターンのみを用いてイントラ分割予測を行う。
　図13中、Rで示される位置（左、上、左上のいずれにもＬＣＵが無い場合）のLCUは、左LCUと左上LCUが存在しない。このためRの位置のLCUでは上LCUの分割パターンのみを用いてイントラ分割予測を行う。
　図13中、Sで示される位置のLCUは、左上LCUが存在しない。このためSの位置のLCUでは左LCUと上LCUの分割パターンを用いてイントラ分割予測を行う。ただし、LCUの左上に位置するCU（CUサイズはLCUSize/2）では、上LCUと左LCUの２つしか参照できないため、双方の分割パターンが異なる場合には多数決をとることができない。このような場合には、どちらの分割パターンを用いるかを予めルール付けしておく（本実施例では、左LCUを優先する）。
（５）分割予測方法判定（ステップS903）の詳細
　次に、図9中のステップS903における、分割予測方法判定処理について説明する。ステップS903における処理は、以下のような流れで実行される。
　図14は、分割予測方法判定（ステップS903）処理の流れを示すフローチャートである。
　あるLCUの分割予測方法判定処理が開始されると（ステップS1400）、まず、このLCUに隣接する全てのCUの予測モード情報を取得する。図15は、予測モード情報の取得処理を説明するための図である。同図中、イントラ予測が行われているCUは‘I’、前方向のインター予測が行われているCUは‘P’、双方向のインター予測が行われているCUは‘B’と記されている。これらのCUのサイズは異なっていても良いが、予測モードの数をカウントする際には同じCUサイズに換算してカウントする。例えば、同図中では、８画素×８画素のCUではIが1つ、Pが２つ存在する。１６画素×１６画素のCUではPが２つ、Bが1つ存在する。このようにCUサイズが異なる場合は、８画素×8画素のCUの数に換算し、１６画素×１６画素のCUの２つのPは、８画素×８画素のCUでは４つのPと換算する。同様に、１６画素×１６画素のCUの１つのBは、８画素×８画素のCUでは２つのBと換算する。
　次に、図14中、ステップS1402においてインター予測モード数とイントラ予測モード数の比較を行う。上記の例では、IのCUがイントラ予測モード、P、及びBのCUがインター予測モードであるため、インター予測モード数が８、イントラ予測モード数が１と得られる。そして、ステップS1402にて、イントラ予測モード数がインター予測モード数以上であれば、分割予測方法として、イントラ分割予測を選択する（ステップS1403）。イントラ予測モード数がインター予測モード数未満であれば、分割予測方法として、インター分割予測を選択する（ステップS1404）。
　すなわち、分割予測方法判定処理（ステップS903）においては、周囲のCUがイントラ予測モードが選択されているか、インター予測モードが選択されているかの情報を収集し、多い方の予測モードに合わせて、分割予測方法を選択している。ただし、上記の選択方法は一例であり、周囲のCUの情報を参照して、符号化対象LCUの分割予測方法を決めることができれば、他の選択方法でもよい。また、周囲のCUの情報のみならず、前後のピクチャのCUの情報を参照して、符号化対象LCUの分割予測方法を決めてもよい。
（６）インター分割予測（ステップS905）の詳細
　次に、図16を用いて、図9中のステップS905における、インター分割予測処理について説明する。ステップS905における処理は、以下のフローで実行される。
　まず、LCUから分割判定処理を行う。このためステップS1601において現在のCUサイズcurrCUSizeをLCUのサイズに設定する。次に、currCUSizeであるCUの全てに対して、後述するインター分割判定処理（ステップS1603）を行う。その後、currCUSizeを1/2にする（ステップS1604）。もしも、currCUSizeがCUの最小サイズMinCUSizeよりも大きければ（ステップS1605）、ステップS1602に戻り、全てのcurrCUSizeのサイズのCUに対して後述するインター分割判定処理（ステップS1603）を行う。もしも、currCUSizeがCUの最小サイズMinCUSize以下であれば、これ以上の分割処理は行わず、インター分割予測処理を終了する（ステップS1606）。
　次に、図17を参照して、インター分割判定処理（ステップS1603）の一例を説明する。同図(A)では符号化対象LCUにおいて、周囲の符号化済の動きベクトルを基に符号化対象LCUの動きベクトルを予測し、この予測された動きベクトルをPMVと記している。同図(A)では、矢印が動きベクトルを表しており、矢印に括弧で付記された（F）は前方ピクチャを参照する動きベクトル、（B）は後方ピクチャを参照する動きベクトルであることを表す。なお、同図(A)では、CU内部のインター予測処理においては、CUをさらに縦横比で２×２、２×１、１×２の予測単位に分割し、個々の予測単位にて動きベクトルを設定できるようになっている。ただし、この予測単位の分割の規則は一例である。同図(A)では、CU(P0)、CU(P1)、CU(P2)は８画素×８画素の予測単位で動きベクトルが設定されている。CU(P3)は８画素×１６画素の予測単位で前ピクチャを参照する動きベクトルが設定されている。CU(B0)は１６画素×１６画素の予測単位で双方向予測が行われており、前方ピクチャを参照するベクトルと、後方ピクチャを参照するベクトルとが設定されている。
　同図(A)に示すような周囲CUの動きベクトルから、符号化対象LCUの動きベクトルを予測する方法の一例としては、周囲CUの動きベクトルのうち、前方参照か後方参照かのいずれかの参照方向を選択し、選択された参照方向の動きベクトルの中央値を予測値とする方法が挙げられる。すなわち、同図(A)の例では、Pと記された前方ピクチャ参照の動きベクトルの方が多いため、PMVとしては前方ピクチャ参照方向と選択する。そして、CU(P0)、CU(P1)、CU(P2)、CU(P3)、CU(B0)の前方ピクチャを参照する動きベクトルの全てのうち、その中央値をPMVとする。すなわち、全ての動きベクトルのX成分の中央値と、Y成分の中央値との組をPMVとする。この際、動きベクトルの予測単位のサイズを考慮してもよい。すなわちCU(P0)からCU(P3)は８画素サイズの予測単位で符号化対象LCUに隣接しているが、CU(B0)は１６画素サイズの予測単位で符号化対象LCUに隣接している。このため、CU(B0)における動きベクトルは、８画素サイズの予測単位の動きベクトルが２個存在するものと解釈してもよい。
　上記の例では、中央値によってPMVを決定したが、例えば、全ての動きベクトルの平均を求め、これをPMVとしてもよい。PMVの決定方法としては周囲の符号化済CUの動きベクトルから一意に求めることができる方法であれば、他の方法を用いてもよい。
　同図(B)は、上記のように決定された符号化対象LCUのPMVを用いて、符号化対象LCUの分割を行うか否かを予測する方法の一例を示している。同図では、LCUの中心座標を(X0,Y0)とし、(X0,Y0)位置からPMVの分だけ移動した位置（以降、参照位置と記す）の、参照ピクチャ上の位置の画素が含まれるCUのサイズを参照する。この参照位置のCUサイズが、符号化対象のCUのサイズよりも小さければ分割すると判定する。参照位置のCUサイズが、符号化対象のCUのサイズ以上であれば分割しないと判定する。同図(B)では現ピクチャのLCUの参照位置は、参照ピクチャ上ではLCUサイズよりも小さいサイズに分割されている（同図(B)中、濃いグレーの部分）。このため符号化対象LCUを分割する、と判定する。なお、参照ピクチャにおけるCUサイズ情報は、ブロックサイズ格納部116に格納されている。
　図18を参照して、分割されたCU（LCUよりも小さいサイズのCU）について、インター分割判定処理（ステップS1603）を適用する場合の一例を説明する。
　同図の例では、上記で決定された符号化対象LCUのPMVを用いて、個々の分割CUの、PMVによる参照位置のCUサイズを参照して、個々のCUをさらに分割するか否かを決定する。すなわち個々の分割CUの中心座標をそれぞれ(X10,Y10)、(X11,Y11)、(X12,Y12)、(X13,Y13)とし、それぞれの中心座標からPMVだけずれた参照位置のCUサイズを参照し、上記のLCUにおける判定と同様に、個々の分割CUをさらに分割するか否かを判定する。
　もしも、上記PMVによる参照位置がピクチャの外部を示している場合には、近傍の画素位置に置き換えればよい。例えば、参照位置のX座標が0未満、もしくは最大値(PicWidth-1)以上であれば、参照位置のX座標をそれぞれ0、もしくはPicWidth-1と置き換えればよい。同様に、参照位置のY座標が0未満、もしくは最大値(PicHeight-1)以上であれば、参照位置のY座標をそれぞれ0、もしくはPicHeight-1と置き換えればよい。
　以上により、インター分割予測（ステップS905）では、隣接する符号化済みCUの動きベクトル情報を参照して符号化対象LCU内部の分割パターンを予測する。なお、上記で述べた予測方法は一例であり、隣接する符号化済みCUの動きベクトル情報を用いた予測方法であれば、適用可能である。また、動きベクトルをゼロとみなし、符号化対象CUと同一な参照位置におけるCUサイズを参照してもよい。
　以上により、本実施例による画像符号化装置におけるブロック分割部100では、周囲のCUや参照ピクチャ上のCUの情報を参照して、符号化対象LCUの分割パターンを予測し、この予測パターンにより符号化対象LCUが分割されている場合には、その旨を示すフラグ情報のみを符号化ストリームに格納する。これにより、符号化対象LCUの分割パターン情報を削減することで、圧縮率の向上が実現できる。
　＜画像復号化装置の構成＞
　図19は、実施例１の画像復号化装置の概略構成を示す図である。図19において、画像復号化装置は、符号化ストリーム1900を入力とし、これを復号する可変長復号化部1901と、CUサイズ格納部1903に格納される符号化済みCUサイズ情報を基に符号化対象CUのCUサイズを予測し、CUサイズを決定するブロック分割部1902と、前記CU内の、変換量子化された予測誤差画像を逆量子化する逆量子化部1904と、逆量子化部1904で逆量子化されることで得られた変換された予測画像を逆変換して予測誤差画像を出力する逆変換部1905と、予測画像格納部1910に格納される予測画像と、逆変換部1905から出力される予測誤差画像とを加算する加算器1906と、加算結果の画像に対してデブロック処理を行うデブロック処理部1907を有し、出力画像1913を出力する。
　実施例１の動画像復号化装置は、上記の予測画像を生成するために、2系統の予測処理系統を有する。第一の系統はイントラ予測によるもので、CU単位で逐次格納される復号済みCUの画像信号（デブロック処理前）を用いてイントラ予測を行うイントラ予測部1908を有する。第二の系統はインター予測によるもので、出力画像を格納する参照画像格納部1911と、参照画像格納部1911に格納される参照画像と、可変長復号部1901で復号された動きベクトルを用いて動き補償を行い、インター予測画像を得る、インター予測部1912を有する。予測選択部1909では、可変長復号化部1901で復号された予測モード情報に従い、上記の2系統のうちのどちらかで生成された予測画像を選択し、予測画像格納部1909に格納する。
　＜CU分割部の処理内容（復号化側）＞
　以下、図面を参照して画像復号化側のCU分割部1902の処理内容について説明する。
　図20は、CU分割部1902の内部構成を示す図である。分割決定部2000は、可変長復号部1901で復号されたCU分割情報に基づいて、符号化対象LCU内の分割パターンを決定する。CU分割情報の具体例としては、図7におけるuse_pred_split_flagとsplit_flagの情報が挙げられる。もしも、use_pred_split_flagが0の場合は、split_flagの情報に従い、split_flagが１のときは符号化対象CUを分割する、split_flagが０のときは符号化対象CUを分割しない。
　もしも、use_pred_split_flagが１の場合は、分割予測部2001にて符号化対象CUの分割パターンを予測する。分割予測部2001における処理内容は、符号化装置における分割予測部801と同様であるため、説明を省略する。また、CUサイズ格納部1903も、符号化装置におけるCUサイズ格納部116と同様の機能を有する。
　可変長復号化部1901では、分割決定部2000にて決定された分割有無パターンに基づいて符号化対象CUの可変長復号処理を行う。
　以上により、本実施例による画像復号化装置におけるCU分割部1902では、符号化ストリームのフラグ情報に従い、周囲のCUや参照ピクチャ上のCUの情報を参照して、符号化対象LCUの分割パターンを予測する。これにより符号化ストリーム中における符号化対象LCUの分割パターン情報を削減できるため、圧縮率の向上が実現できる。
　本発明の実施例２による画像符号化装置では、符号化対象LCUの分割パターンを予測する際、イントラ分割予測を行うか、インター分割予測を行うかの情報を符号化ストリーム中に含める点が実施例１と異なる以外は、実施例１と同様である。
　図21に示す符号化ストリームでは、実施例１の符号化ストリームと比べ、use_intra_split_pred_flagの1bit情報が付与されており、このuse_intra_split_pred_flagが１の場合は、イントラ分割予測を行う、use_intra_split_pred_flagが０の場合は、インター分割予測を行うことを意味する。
　また、実施例２による画像復号装置では、実施例１におけるCU分割部1902内の分割予測部2001においては、use_intra_split_pred_flagのフラグに従ってイントラ分割予測とインター分割予測処理を切り替えればよい。このため、実施例１と比べて、図14で示される分割予測方法判定処理を簡略化しながらも、同様な情報量削減を実現できる。
　実施例２による画像符号化装置は、実施例１と同様な分割予測方法判定処理（図14）を行い、符号化ストリーム中のuse_intra_split_pred_flagに判定結果を格納すればよい。
　＜まとめ＞
　以上のように、符号化対象CUに隣接する符号化済みCUのサイズ情報や、前後の符号化済みCUのサイズ情報を基に符号化対象CUのCUサイズを予測し、符号化対象CUのサイズが予測したサイズと一致した場合には、画像符号化装置はCUのサイズ情報を送らずに、画像復号化装置で同様の予測処理を行うことによりCUサイズを復元することにより、情報量を削減することができる。
　なお、実施例１、実施例２の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し、システムや装置の制御部と協調することにより機能を実現する。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現されるようにしてもよい。
　また、前述した機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
　100…CU分割部
　116…CUサイズ格納部
　105…イントラ予測部
　106…インター予測部
　102…変換部
　103…量子化部
　104…可変長符号化部
　800…分割決定部
　801…分割予測部
　1901…可変長復号化部
　1902…CU分割部
　1903…CUサイズ格納部
　1904…逆量子化部
　1905…逆変換部
　1908…イントラ予測部
　1909…インター予測部
　2000…分割決定部
　2001…分割予測部
 
 

Claims (17)

  1. 　入力された符号化ストリームを可変長復号化し、符号化単位で逆量子化、逆変換して予測差分画像とし、予測画像と加算して画像を出力する動画像復号化装置において、
    　前記符号化単位の分割サイズを決定するCU分割部と、
    　前記符号化単位の分割サイズを格納するCUサイズ格納部と、を備え、
    　前記CU分割部は、前記CUサイズ格納部に格納された符号化済みの符号化単位のサイズ情報を用いて復号化対象の符号化単位の分割サイズを予測することを特徴とする画像復号化装置。
  2. 　請求項１において、
    　前記CU分割部は、前記復号化対象である符号化単位がIピクチャである場合、前記復号化対象である符号化単位があるピクチャ内の、前記復号化対象である符号化単位に隣接する復号化済みの符号化単位のサイズ情報を用い、分割サイズを予測するイントラ分割予測処理を行うことを特徴とする画像復号化装置。
  3. 　請求項２において、
    　前記復号化対象である符号化単位に隣接する復号化済みの符号化単位は、前記符号化対象の符号化単位の上、左、斜め上に隣接する符号化単位を含むことを特徴とする画像復号化装置。
  4. 　請求項３において、
    　前記隣接する符号化済み符号化単位が複数ある場合に、それぞれの符号化単位におけるサイズ情報から多数決で前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。
  5. 　請求項４において、
    　前記復号化対象である符号化単位の左、上、左上に最大分割符号化単位がいずれにもない場合、前記復号化対象である符号化単位に対して、イントラ分割予測を用いずにサイズ情報を決めることを特徴とする画像復号化装置。
  6. 　請求項４において、
    　前記復号化対象である符号化単位の左に最大分割符号化単位があるが、前記復号化対象である符号化単位の上と左上に最大分割符号化単位がない場合、
    　前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の左にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。
  7. 　請求項４において、
    　前記復号化対象である符号化単位の上に最大分割符号化単位があるが、前記復号化対象である符号化単位の左と左上に最大分割符号化単位がない場合、
    　前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の上にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。
  8. 　請求項４において、
    　前記復号化対象である符号化単位の左上に最大分割符号化単位があるが、前記復号化対象である符号化単位の左上と左斜め上に最大分割符号化単位がない場合、
    　前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の上にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。
  9. 　請求項４において、
    　前記復号化対象である符号化単位の左、上に最大分割符号化単位があるが、前記復号化対象である符号化単位の左上に最大分割符号化単位がない場合、
    　前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の左および上にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。
  10. 　請求項９において、
    　前記復号化対象である符号化単位の左にある最大分割符号化単位のサイズ情報を用いることを特徴とする画像復号化装置。
  11. 　請求項１において、
    　前記CU分割部は、前記復号化対象がＰピクチャまたはＢピクチャである場合には、前また後または双方のピクチャの符号化済の符号化単位のサイズ情報を用いて前記復号化対象である符号化単位の分割サイズを予測する、イントラ分割予測処理を行うことを特徴とする画像復号化装置。
  12. 　請求項１１において、
    　前記復号化対象である前記符号化単位がPピクチャであり、インター分割予測を選択した場合、前方向のみ参照することを特徴とする画像復号化装置。
  13. 　請求項１１において、
    　前記復号化対象である前記符号化単位がBピクチャであり、インター分割予測を選択した場合、前方向と後方向を参照し、多数決で参照方向を決定し、複数ある動きベクトルの中から選択された動きベクトルで参照する画素が含まれる符号化単位のサイズ情報を前記復号化対象である符号化単位のサイズ情報とすることを特徴とする画像復号化装置。
  14. 　請求項１１において、
    　前記予測動きベクトルによる参照位置がピクチャの外部を示す場合、参照位置の近傍の画素を参照することを特徴とする画像復号化装置。
  15. 　請求項１４において、
    　前記参照位置のX座標が0未満、もしくは最大値(PicWidth-1)以上であれば、参照位置のX座標をそれぞれ0、もしくはPicWidth-1と置き換えることを特徴とする復号化装置。
  16. 　請求項１４において、
    　前記参照位置のY座標が0未満、もしくは最大値(PicHeight-1)以上であれば、参照位置のY座標をそれぞれ0、もしくはPicHeight-1と置き換えることを特徴とする復号化装置。
  17. 　請求項１において、
    　前記CU分割部は、イントラ分割予測とインター分割予測のうち、いずれを選択したかを示すフラグ情報に基づき、
    　イントラ分割予測と、インター分割予測のうち、いずれかを用いて復号化対象である符号化単位の分割サイズを決定することを特徴とする画像復号化装置。
     
     
PCT/JP2011/051495 2011-01-26 2011-01-26 画像復号化装置 WO2012101781A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012554570A JP5616984B2 (ja) 2011-01-26 2011-01-26 画像復号化装置
US13/990,592 US9247252B2 (en) 2011-01-26 2011-01-26 Image decoding device
PCT/JP2011/051495 WO2012101781A1 (ja) 2011-01-26 2011-01-26 画像復号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/051495 WO2012101781A1 (ja) 2011-01-26 2011-01-26 画像復号化装置

Publications (1)

Publication Number Publication Date
WO2012101781A1 true WO2012101781A1 (ja) 2012-08-02

Family

ID=46580387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/051495 WO2012101781A1 (ja) 2011-01-26 2011-01-26 画像復号化装置

Country Status (3)

Country Link
US (1) US9247252B2 (ja)
JP (1) JP5616984B2 (ja)
WO (1) WO2012101781A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179918A (ja) * 2013-03-15 2014-09-25 Canon Inc 動画像符号化装置、その制御方法、及び撮像装置
WO2015059876A1 (ja) * 2013-10-22 2015-04-30 日本電気株式会社 ブロック構造決定回路およびブロック構造決定方法
JPWO2014155543A1 (ja) * 2013-03-26 2017-02-16 富士通株式会社 符号化装置、方法、プログラム、コンピュータシステム、記録媒体
JP2017175191A (ja) * 2016-03-18 2017-09-28 富士通株式会社 符号化処理プログラム、符号化処理方法及び符号化処理装置
WO2017212930A1 (ja) * 2016-06-08 2017-12-14 ソニー株式会社 画像処理装置および方法
WO2018092869A1 (ja) * 2016-11-21 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018105148A1 (ja) * 2016-12-06 2018-06-14 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
RU2754635C9 (ru) * 2016-12-06 2022-07-06 ДжейВиСиКЕНВУД Корпорейшн Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи с программой кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи с программой декодирования изображения

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9924189B2 (en) * 2012-09-28 2018-03-20 Sony Corporation Image processing device and method
US10827186B2 (en) * 2016-08-25 2020-11-03 Intel Corporation Method and system of video coding with context decoding and reconstruction bypass
CN107509075A (zh) * 2017-08-07 2017-12-22 福建星网智慧科技股份有限公司 一种用于avs2视频编码的快速划分cu的方法
US11330260B2 (en) 2018-03-23 2022-05-10 Sharp Kabushiki Kaisha Systems and methods for adaptively partitioning video blocks for video coding
US11277618B2 (en) * 2019-06-21 2022-03-15 Qualcomm Incorporated Increasing decoding throughput of intra-coded blocks

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116351A (ja) * 2005-10-19 2007-05-10 Ntt Docomo Inc 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
JP2008511226A (ja) * 2004-08-27 2008-04-10 シーメンス アクチエンゲゼルシヤフト 符号化および復号のための方法および装置
WO2009041215A1 (ja) * 2007-09-25 2009-04-02 Sharp Kabushiki Kaisha 動画像符号化装置及び動画像復号装置
JP2009522977A (ja) * 2006-01-09 2009-06-11 エルジー エレクトロニクス インコーポレイティド 映像信号のエンコーディング／デコーディング方法
WO2010146696A1 (ja) * 2009-06-18 2010-12-23 株式会社 東芝 動画像符号化装置及び動画像復号化装置
WO2011002091A1 (ja) * 2009-07-03 2011-01-06 株式会社日立製作所 動画像復号化方法及び動画像復号化装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
JP4828543B2 (ja) * 2005-09-26 2011-11-30 三菱電機株式会社 動画像符号化装置及び動画像復号装置
WO2011146696A1 (en) 2010-05-19 2011-11-24 Gogobeans, Inc. System and method for managing digital assets

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008511226A (ja) * 2004-08-27 2008-04-10 シーメンス アクチエンゲゼルシヤフト 符号化および復号のための方法および装置
JP2007116351A (ja) * 2005-10-19 2007-05-10 Ntt Docomo Inc 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
JP2009522977A (ja) * 2006-01-09 2009-06-11 エルジー エレクトロニクス インコーポレイティド 映像信号のエンコーディング／デコーディング方法
WO2009041215A1 (ja) * 2007-09-25 2009-04-02 Sharp Kabushiki Kaisha 動画像符号化装置及び動画像復号装置
WO2010146696A1 (ja) * 2009-06-18 2010-12-23 株式会社 東芝 動画像符号化装置及び動画像復号化装置
WO2011002091A1 (ja) * 2009-07-03 2011-01-06 株式会社日立製作所 動画像復号化方法及び動画像復号化装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179918A (ja) * 2013-03-15 2014-09-25 Canon Inc 動画像符号化装置、その制御方法、及び撮像装置
JPWO2014155543A1 (ja) * 2013-03-26 2017-02-16 富士通株式会社 符号化装置、方法、プログラム、コンピュータシステム、記録媒体
WO2015059876A1 (ja) * 2013-10-22 2015-04-30 日本電気株式会社 ブロック構造決定回路およびブロック構造決定方法
JPWO2015059876A1 (ja) * 2013-10-22 2017-03-09 日本電気株式会社 ブロック構造決定回路およびブロック構造決定方法
JP2017175191A (ja) * 2016-03-18 2017-09-28 富士通株式会社 符号化処理プログラム、符号化処理方法及び符号化処理装置
US10893269B2 (en) 2016-06-08 2021-01-12 Sony Corporation Image processing device and method
WO2017212930A1 (ja) * 2016-06-08 2017-12-14 ソニー株式会社 画像処理装置および方法
JP7001968B2 (ja) 2016-06-08 2022-01-20 ソニーグループ株式会社 画像処理装置および方法
JPWO2017212930A1 (ja) * 2016-06-08 2019-04-04 ソニー株式会社 画像処理装置および方法
WO2018092869A1 (ja) * 2016-11-21 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10893270B2 (en) 2016-12-06 2021-01-12 JVC Kenwood Corporation Image encoding device, image encoding method, and image encoding program, and image decoding device, image decoding method, and image decoding program
RU2754635C1 (ru) * 2016-12-06 2021-09-06 ДжейВиСиКЕНВУД Корпорейшн Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи с программой кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи с программой декодирования изображения
WO2018105148A1 (ja) * 2016-12-06 2018-06-14 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
RU2770686C1 (ru) * 2016-12-06 2022-04-21 ДжейВиСиКЕНВУД Корпорейшн Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения и способ декодирования изображения
RU2754635C9 (ru) * 2016-12-06 2022-07-06 ДжейВиСиКЕНВУД Корпорейшн Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи с программой кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи с программой декодирования изображения

Also Published As

Publication number Publication date
JPWO2012101781A1 (ja) 2014-06-30
JP5616984B2 (ja) 2014-10-29
US20130251038A1 (en) 2013-09-26
US9247252B2 (en) 2016-01-26

Similar Documents

Publication Publication Date Title
JP5616984B2 (ja) 画像復号化装置
US11553185B2 (en) Method and apparatus for processing a video signal
EP3651459A1 (en) Method and device for decoding image by using partition unit including additional region
KR20240000644A (ko) 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
KR20190029732A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20200236361A1 (en) Intra prediction mode based image processing method, and apparatus therefor
US10681354B2 (en) Image encoding/decoding method and apparatus therefor
KR102500091B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20200228831A1 (en) Intra prediction mode based image processing method, and apparatus therefor
US20200288141A1 (en) Video coding device, video decoding device, video coding method, video decoding method, program and video system
US20200236385A1 (en) Video coding device, video decoding device, video coding method, video decoding method and program
US20200154103A1 (en) Image processing method on basis of intra prediction mode and apparatus therefor
JP5677576B2 (ja) 動画像復号化方法及び動画像符号化方法
KR102644970B1 (ko) 영상 디코딩 방법 및 그 장치
KR102637085B1 (ko) 영상 디코딩 방법 및 그 장치
KR102658929B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP5957513B2 (ja) 動画像復号化方法
KR20240055149A (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11857233

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012554570

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13990592

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11857233

Country of ref document: EP

Kind code of ref document: A1