WO2014054267A1 - 画像符号化装置及び画像符号化方法 - Google Patents

画像符号化装置及び画像符号化方法 Download PDF

Info

Publication number
WO2014054267A1
WO2014054267A1 PCT/JP2013/005811 JP2013005811W WO2014054267A1 WO 2014054267 A1 WO2014054267 A1 WO 2014054267A1 JP 2013005811 W JP2013005811 W JP 2013005811W WO 2014054267 A1 WO2014054267 A1 WO 2014054267A1
Authority
WO
WIPO (PCT)
Prior art keywords
intra prediction
prediction
block
prediction mode
sub
Prior art date
Application number
PCT/JP2013/005811
Other languages
English (en)
French (fr)
Inventor
和真 榊原
安倍　清史
秀之 大古瀬
耕治 有村
荒川　博
一仁 木村
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2014539606A priority Critical patent/JPWO2014054267A1/ja
Publication of WO2014054267A1 publication Critical patent/WO2014054267A1/ja
Priority to US14/673,816 priority patent/US20150208090A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Definitions

  • the present disclosure relates to an image encoding device and an image encoding method.
  • HEVC High Efficiency Video Coding
  • FIG. 1 there are 35 types of intra prediction modes that can be selected during intra prediction.
  • encoding is performed using an intra prediction mode selected from these 35 types.
  • the block size for executing the intra prediction is a small size such as 4 ⁇ 4 pixels
  • intra prediction is performed using the same reference pixel, even if the intra prediction modes are different, the value of the resulting difference image signal is hardly changed.
  • JCT-VC Joint Collaborative Team on Video Coding
  • the present disclosure provides an image encoding device and an image encoding method capable of suppressing deterioration in encoding efficiency and reducing a processing amount necessary for intra prediction.
  • An image encoding apparatus is an image encoding apparatus that encodes an input image, and includes a division unit that divides an encoding target block of the input image into a plurality of subblocks, and a subblock that is divided by the division unit
  • An intra prediction unit that performs intra prediction every time, and the intra prediction unit determines whether or not the size of the subblock to be predicted is a predetermined size or less, and the subblock to be predicted by the determination unit M is smaller than the number of M intra prediction modes (M is a natural number of 2 or more) defined in advance without depending on the block size. Is a natural number) intra prediction mode as a prediction mode candidate, and one intra prediction from the prediction mode candidates determined by the determination unit Select over de, and a prediction unit which performs intra prediction of the sub-block to be predicted using intra-prediction mode selected.
  • the image encoding device and the image encoding method according to the present disclosure can suppress deterioration in encoding efficiency and reduce the processing amount necessary for intra prediction.
  • FIG. 1 is a diagram illustrating types of intra prediction modes in the HEVC standard.
  • FIG. 2 is a block diagram showing the configuration of the image coding apparatus according to the present embodiment.
  • FIG. 3 is a block diagram showing a configuration of the intra prediction unit according to the present embodiment.
  • FIG. 4 is a flowchart showing the operation of the intra prediction process according to the present embodiment.
  • FIG. 5 is a diagram showing the pixel position of the sub-block to be predicted according to the present embodiment.
  • FIG. 6 is a diagram illustrating peripheral pixels referred to in the lower right pixel when intra prediction is performed on a 4 ⁇ 4 pixel sub-block according to the present embodiment.
  • FIG. 7A is a diagram for explaining an operation of limiting the number of intra prediction modes using the identification number according to the present embodiment.
  • FIG. 1 is a diagram illustrating types of intra prediction modes in the HEVC standard.
  • FIG. 2 is a block diagram showing the configuration of the image coding apparatus according to the present embodiment.
  • FIG. 7B is a diagram for explaining an operation of limiting the number of intra prediction modes using the identification number according to the present embodiment.
  • FIG. 8 is a diagram for explaining an operation of limiting the number of intra prediction modes using an angle formed by a prediction direction according to Modification 1 of the present embodiment.
  • FIG. 9 is a diagram for explaining an operation of limiting the number of intra prediction modes so that the Planar prediction mode and the DC prediction mode according to the second modification of the present embodiment can be used.
  • FIG. 10 is a diagram for explaining an operation of limiting the number of intra prediction modes so that the horizontal and vertical intra prediction modes according to the third modification of the present embodiment can be used.
  • FIG. 11 is a diagram for describing an operation for limiting the number of intra prediction modes based on the frequency of use of the intra prediction modes according to the fourth modification of the present embodiment.
  • FIG. 12 is a flowchart illustrating an operation of limiting the number of intra prediction modes based on edges according to the fifth modification of the present embodiment.
  • FIG. 13 is a diagram illustrating a combination of reference pixels used in two intra prediction modes according to Modification 6 of the present embodiment.
  • FIG. 2 is a block diagram of image coding apparatus 100 according to the present embodiment.
  • the image encoding apparatus 100 divides a moving image input in units of pictures into blocks (encoding target blocks), and performs an encoding process in units of blocks to generate a code string. Note that the block includes a plurality of sub-blocks. The components included in the image encoding device 100 are processed in block units or sub-block units.
  • An image encoding apparatus 100 shown in FIG. 2 includes a picture buffer 101, a picture dividing unit 102, a subtracting unit 103, a prediction residual encoding unit 104, a coefficient code string generation unit 105, and a prediction residual decoding unit. 106, an adder 107, a predicted image generator 108, a quantized value determiner 114, and a header code string generator 115.
  • the predicted image generation unit 108 includes an intra prediction unit 109, a loop filter 110, a frame memory 111, an inter prediction unit 112, and a selection unit 113.
  • the image encoding apparatus 100 compresses and encodes an input image based on the HEVC standard, generates a code string, and outputs it.
  • the picture buffer 101 is an example of an acquisition unit, acquires an input image, and temporarily stores it in a storage medium.
  • the picture buffer 101 accumulates input images input in units of pictures in the order of display by rearranging the pictures in the order of encoding.
  • the storage medium in the picture buffer 101 may be any storage medium that can store an input image, such as a DRAM (Dynamic Random Access Memory) memory.
  • the picture dividing unit 102 is an example of a dividing unit that divides an encoding target block of an input image into a plurality of sub-blocks.
  • the picture dividing unit 102 receives a read command from the subtracting unit 103 or the quantized value determining unit 114, the picture dividing unit 102 acquires an input image from the picture buffer 101. Then, the picture division unit 102 outputs an image signal corresponding to the read command to the subtraction unit 103.
  • each picture is divided into coding units composed of a plurality of pixels called coding units (CU) which are subsequent coding processing units.
  • the CU is an example of an encoding target block, and includes, for example, a 64 ⁇ 64 pixel block, a 32 ⁇ 32 pixel block, a 16 ⁇ 16 pixel block, and the like.
  • the subtraction unit 103 calculates the difference between the target block output from the picture dividing unit 102 and the predicted image output from the predicted image generation unit 108 and the predicted image of the target block, thereby obtaining the difference image signal. Generate. For example, the subtraction unit 103 calculates a difference for each encoding target block. The subtraction unit 103 outputs the difference image signal to the prediction residual encoding unit 104. That is, the subtraction unit 103 generates a difference image signal that is a difference value between the image signal read from the picture division unit 102 and the prediction image signal output from the prediction image generation unit 108, and performs prediction residual encoding. Output to the unit 104.
  • the prediction residual encoding unit 104 generates orthogonal transform coefficients by performing orthogonal transform on the difference image signal output from the subtracting unit 103.
  • the prediction residual coding unit 104 processes the difference image signal in units of sub blocks for orthogonal transform when orthogonal transform is performed on the difference image signal.
  • the sub block for orthogonal transform is an orthogonal transform processing unit composed of a plurality of pixels called a transform unit (TU).
  • the sub-block (TU) for orthogonal transform is composed of, for example, a 32 ⁇ 32 pixel block, a 16 ⁇ 16 pixel block, an 8 ⁇ 8 pixel block, a 4 ⁇ 4 pixel block, and the like.
  • the prediction residual encoding unit 104 further generates a quantized coefficient by quantizing each frequency component of the obtained orthogonal transform coefficient. Then, prediction residual encoding section 104 outputs the quantized coefficients to coefficient code string generation section 105 and prediction residual decoding section 106. Note that the prediction residual encoding unit 104 quantizes the orthogonal transform coefficient using the quantized value signal determined by the quantized value determining unit 114.
  • the coefficient code string generation unit 105 performs variable length coding on the quantized coefficient output from the prediction residual coding unit 104.
  • the coefficient code string generation unit 105 adds a code string generated by variable-length coding following the code string generated by the header code string generation unit 115. As a result, the coefficient code string generation unit 105 generates a code string signal for output.
  • the prediction residual decoding unit 106 reconstructs the residual decoded signal by performing inverse quantization and inverse orthogonal transform on the quantization coefficient output from the prediction residual encoding unit 104.
  • the prediction residual decoding unit 106 outputs the residual decoded signal obtained by reconfiguration to the adding unit 107.
  • the addition unit 107 generates a reconstructed image signal by adding the residual decoded signal output from the prediction residual decoding unit 106 and the prediction image output from the prediction image generation unit 108. Then, the addition unit 107 outputs the reconstructed image signal to the intra prediction unit 109 and the loop filter 110.
  • the predicted image generating unit 108 generates a predicted image for the block output from the picture dividing unit 102 based on at least the reconstructed image signal output from the adding unit 107.
  • the predicted image generation unit 108 uses intra prediction or inter prediction when generating a predicted image.
  • the predicted image generation unit 108 generates a predicted image in units of prediction sub-blocks.
  • the prediction sub-block is a prediction processing unit composed of a plurality of pixels called a prediction unit (PU).
  • the prediction sub-block (PU) indicates an area generated by dividing the encoding target block output from the picture dividing unit 102 into at least one.
  • the PU includes a 64 ⁇ 64 pixel block, a 32 ⁇ 32 pixel block, a 16 ⁇ 16 pixel block, an 8 ⁇ 8 pixel block, a 4 ⁇ 4 pixel block, and the like.
  • the predicted image generation unit 108 switches between intra prediction and inter prediction in units of encoding target blocks output from the picture dividing unit 102. That is, one of intra prediction and inter prediction is applied to sub-blocks belonging to the encoding target block.
  • the predicted image generation unit 108 includes an intra prediction unit 109, a loop filter 110, a frame memory 111, an inter prediction unit 112, and a selection unit 113.
  • the intra prediction unit 109 generates pixel-predicted prediction images for each sub-block for prediction using pixel data in an already-encoded block and pixel data located around the encoding-target block. . Specifically, the intra prediction unit 109 generates a prediction image by performing intra prediction based on at least already-encoded pixel data adjacent to the encoding target block.
  • the intra prediction unit 109 selects one intra prediction mode from 35 intra prediction modes defined in HEVC, which is an encoding standard assumed by the image encoding device 100. Furthermore, the intra prediction unit 109 generates a prediction image of a sub-block to be predicted by performing intra prediction based on the selected intra prediction mode. The intra prediction unit 109 outputs a prediction image of a block output as a result of generating a prediction image for each sub-block and output from the picture dividing unit 102 to the subtraction unit 103 and the addition unit 107.
  • the loop filter 110 performs a filtering process on the reconstructed image signal output from the adding unit 107. For example, the loop filter 110 performs a filter process for reducing block noise on the reconstructed image signal. The loop filter 110 outputs the filtered reconstructed image signal to the frame memory 111.
  • the frame memory 111 stores the reconstructed image signal after the filtering process output from the loop filter 110.
  • the reconstructed image signal is used for predictive coding processing in coding of a picture after a picture that is currently being coded. That is, the reconstructed image signal is used as pixel data when a predicted image is generated using inter prediction when a picture after the current picture to be encoded is encoded.
  • the frame memory 111 outputs the stored reconstructed image signal to the inter prediction unit 112 as pixel data.
  • the inter prediction unit 112 generates a predicted image signal for each sub-block by performing inter prediction using the reconstructed image signal stored in the frame memory 111 as a reference image. When performing inter prediction, a reconstructed image signal of a past picture that has already been encoded and stored in the frame memory 111 is used. The inter prediction unit 112 outputs the generated predicted image signal to the subtraction unit 103 and the addition unit 107.
  • the selection unit 113 selects one of intra prediction and inter prediction based on the code amount or the prediction value of the difference image signal obtained as a result of the prediction. Specifically, the selection unit 113 selects intra prediction when the code amount or the prediction value of the difference image signal obtained by intra prediction is small or small. When the code amount or the prediction value of the difference image signal obtained by intra prediction is large or large, the selection unit 113 selects inter prediction.
  • the predicted image generation unit 108 may not use inter prediction. In this way, the predicted image generation unit 108 can simplify the processing configuration when only intra prediction such as a still image is used.
  • the quantization value determination unit 114 sets a quantization value (quantization width) when the prediction residual encoding unit 104 quantizes the difference image signal based on the picture stored in the picture division unit 102.
  • the quantization value determination unit 114 outputs the set quantization value to the prediction residual encoding unit 104 and the header code string generation unit 115.
  • the quantization value setting method in the quantization value determination unit 114 is to set the quantization value so that the bit rate of the code string signal approaches the target bit rate, and to set the quantization value based on so-called rate control. You may use the method.
  • the header code string generation unit 115 performs variable-length coding on the prediction information signal output from the prediction image generation unit 108, the quantization value signal output from the quantization value determination unit 114, and control information related to other encoding control. By doing so, a code string is generated.
  • the prediction information includes, for example, information indicating an intra prediction mode, an inter prediction mode, a motion vector, and a reference picture.
  • the control information is information that can be acquired before processing in the coefficient code string generation unit 105, and is information that indicates the encoding condition applied when the block is encoded.
  • the control information includes a picture coding type or block division information.
  • the picture coding type is information including information indicating an I picture, a P picture, or a B picture, or information regarding a prediction method applied to a block.
  • the block division information is information including, for example, subblock division information at the time of orthogonal transformation, or subblock division information in the prediction image generation unit 108.
  • FIG. 3 is a block diagram showing the intra prediction unit 109 according to the present embodiment.
  • the intra prediction unit 109 includes a determination unit 120, a determination unit 121, and a prediction unit 122.
  • the determination unit 120 determines whether or not the size of the sub-block to be predicted is equal to or smaller than a predetermined size. In other words, the determination unit 120 determines whether or not the size of the prediction target sub-block is small. Specifically, the predetermined size is 4 ⁇ 4 pixels, and the determination unit 120 has a small size of the prediction target sub-block when the prediction target sub-block has a size of 4 ⁇ 4 pixels or less. Is determined. More specifically, the determination unit 120 determines that the size of the prediction target sub-block is small only when the prediction target sub-block acquired from the picture dividing unit 102 is 4 ⁇ 4 pixels.
  • the predetermined size is not limited to this.
  • the predetermined size may be a size of 8 ⁇ 8 pixels. That is, the determination unit 120 may determine that the prediction target sub-block is small when the size of the prediction target sub-block is 8 ⁇ 8 pixels or less.
  • the determining unit 120 determines that the size of the sub-block to be predicted is equal to or smaller than a predetermined size
  • the determining unit 121 determines M (M is 2 or more) that is defined in advance without depending on the block size.
  • the m (m is a natural number) intra prediction modes smaller than the number of (natural number) intra prediction modes are determined as prediction mode candidates.
  • the determination unit 120 determines that the size of the sub-block to be predicted is larger than the predetermined size, the determination unit 121 selects M intra prediction modes that are defined in advance without depending on the block size. It is determined as a prediction mode candidate.
  • the prediction unit 122 selects one prediction mode from the prediction mode candidates determined by the determination unit 121, and performs intra prediction of a sub-block to be predicted using the selected intra prediction mode. For example, the prediction unit 122 performs intra prediction using the encoded pixel data output from the addition unit 107. The prediction unit 122 generates a predicted image by performing intra prediction, and outputs the generated predicted image to the selection unit 113.
  • FIG. 4 is a flowchart showing the operation of the intra prediction process according to the present embodiment.
  • the picture dividing unit 102 divides the encoding target block of the input image into a plurality of sub-blocks (S100).
  • the intra prediction unit 109 performs intra prediction for each subblock.
  • the determining unit 120 determines whether or not the size of the sub-block to be predicted is equal to or smaller than a predetermined size (S110).
  • a preset sub-block size (predetermined size) serving as a reference for determining the size is a 4 ⁇ 4 pixel size.
  • the preset sub-block size is not limited to the above-described sub-block size, and can be set according to the designer's idea, such as an 8 ⁇ 8 pixel size.
  • the preset sub-block size is 4 ⁇ 4 pixel size.
  • the prediction unit 122 performs intra prediction (S130) and cost calculation (S140).
  • the prediction unit 122 performs intra prediction using a target prediction mode that is one of the limited m intra prediction modes (S130). That is, the prediction unit 122 calculates a prediction value for each pixel in the prediction target sub-block using the target prediction mode. A specific method for calculating the predicted value will be described later.
  • the prediction unit 122 calculates the encoding cost of the target prediction mode based on the calculated prediction value (S140). For example, the prediction unit 122 calculates a difference value between the prediction value calculated using the target prediction mode and the pixel data of the input image included in the encoding target block and corresponding to the prediction target sub-block. And calculated as the coding cost.
  • the prediction part 122 repeats intra prediction (S130) and cost calculation (S140) by using a different prediction mode from m intra prediction modes as a new object prediction mode. Thereby, a prediction value and an encoding cost are calculated for each of the m intra prediction modes.
  • the prediction unit 122 determines an appropriate intra prediction mode from the m intra prediction modes based on the calculated encoding cost (S170). For example, when the difference value is calculated as the encoding cost, the prediction unit 122 determines the intra prediction mode in which the difference value is the smallest as the optimum intra prediction mode.
  • the prediction part 122 calculates a predicted value by performing intra prediction using the determined intra prediction mode (S180). Then, the prediction unit 122 outputs the calculated prediction value to the selection unit 113. Note that when the prediction value has already been calculated when determining the optimal intra prediction mode (S130 and S140), the prediction unit 122 may output the calculated prediction value to the selection unit 113.
  • the prediction unit 122 when it is determined that the size of the sub-block to be predicted is larger than the 4 ⁇ 4 pixel size (No in S110), the prediction unit 122 performs all intra prediction modes, that is, 35 intra prediction modes. Intra prediction (S150) and cost calculation (S160) are performed.
  • the prediction unit 122 performs intra prediction using a target prediction mode that is one of M intra prediction modes (S150). And the prediction part 122 calculates the encoding cost of object prediction mode based on the calculated prediction value (S160). For example, the prediction unit 122 calculates a difference value between the prediction value calculated using the target prediction mode and the pixel data of the input image included in the encoding target block and corresponding to the prediction target sub-block. And calculated as the coding cost.
  • the prediction part 122 repeats intra prediction (S150) and cost calculation (S160) by using a different prediction mode from M intra prediction modes as a new object prediction mode. Thereby, a prediction value and an encoding cost are calculated for each of the M intra prediction modes.
  • the prediction unit 122 determines an appropriate intra prediction mode (S170), and calculates a prediction value using the determined intra prediction mode (S180). ), And outputs the calculated predicted value to the selection unit 113. Note that the prediction unit 122 may output the already calculated prediction value to the selection unit 113 when the prediction value has already been calculated when determining the optimal intra prediction mode (S150 and S160).
  • HEVC intra prediction modes
  • Planar prediction mode DC prediction mode
  • 33 prediction direction modes are defined.
  • HEVC high definition video Coding Extensions
  • 35 intra prediction modes can be used, and even when the block size to be predicted is 8 ⁇ 8 pixels, Intra prediction mode is available. That is, in the HEVC, when performing intra prediction, 35 intra prediction modes can be used regardless of the size of the block to be predicted, and one intra prediction can be made from the 35 intra prediction modes. A mode can be selected. Thus, since 35 intra prediction modes are defined as prediction mode candidates, the intra prediction unit 109 selects any one of the 35 intra prediction modes when performing intra prediction.
  • FIG. 5 is a diagram showing the pixel position of the sub-block to be predicted according to the present embodiment.
  • the x axis is defined in the horizontal direction
  • the y axis is defined in the vertical direction
  • positive (+) is defined in the right direction and the downward direction, respectively.
  • the pixel located at the coordinates (x, y) is expressed as a pixel (x, y)
  • the pixel value of the pixel (x, y) is expressed as p (x, y).
  • FIG. 6 is a diagram showing peripheral pixels referred to in the lower right pixel when intra prediction is performed on a 4 ⁇ 4 pixel sub-block according to the present embodiment.
  • the lowermost right pixel among the 4 ⁇ 4 pixels that is, the pixel (3, 3) will be described, but prediction is performed in the same manner for pixels at other positions.
  • the intra prediction unit 109 calculates a prediction value using the following intra prediction mode.
  • Intra prediction mode in the vertical direction This is an intra prediction mode in which the pixel value of a pixel located directly above a prediction target pixel is used as it is as a prediction value.
  • the predicted value of the pixel (3, 3) is the pixel value p (3, -1) of the pixel (3, -1).
  • Horizontal Intra Prediction Mode This is an intra prediction mode in which the pixel value of a pixel located directly beside the prediction target pixel is used as it is as a prediction value.
  • the predicted value of the pixel (3, 3) is the pixel value p (-1, 3) of the pixel (-1, 3).
  • DC prediction mode This is an intra prediction mode that uses the average value of surrounding pixels.
  • the predicted values of the pixel (3, 3) are the neighboring pixels p ( ⁇ 1, 0), p ( ⁇ 1, 1), p ( ⁇ 1, 2), p ( ⁇ 1,3), p (0, -1), p (1, -1), p (2, -1), and p (3, -1).
  • the prediction values in the pixels other than the pixel (3, 3) included in the 4 ⁇ 4 pixels are the same as the prediction values calculated in the pixel (3, 3).
  • Diagonal Intra Prediction Mode This is an oblique prediction mode in which (Equation 1) or (Equation 2) is used by referring to adjacent one or two pixels in the direction specified by the oblique arrow.
  • (Expression 1) is an expression for obtaining a prediction value S (x, y) of intra prediction at the pixel position (x, y), and is used when the reference pixel is one pixel.
  • a is a value indicating the position of the reference pixel set from the prediction direction
  • p (a) is the value of the reference pixel.
  • (Expression 2) is another expression for obtaining the prediction value S (x, y) of intra prediction at the pixel position (x, y), and is an expression used when the reference pixel is two pixels.
  • a and b are values indicating the positions of two reference pixels set from the prediction direction
  • p (a) and p (b) are values of two adjacent reference pixels.
  • c and d are weighting values to be multiplied to each reference pixel.
  • a plurality of intra prediction modes in oblique directions with different directions are defined. That is, the pixel to be used (that is, the values of a and b) and the weighting value (that is, the values of c and d) are different depending on the intra prediction mode to be used.
  • Planar prediction mode This is a prediction mode for performing interpolation prediction (weighted addition) using four pixels.
  • the predicted value of the pixel (3, 3) is the pixel values p (-1, 3), p (3, -1), p (-1, 4), p (4, -1) of the four reference pixels. ) Weighted average value.
  • intra prediction is performed on other sub-block sizes such as 8 ⁇ 8 pixels, and prediction values are calculated. In this case, it can be calculated based on the same idea. Note that, in the case of the prediction mode in the oblique direction, the pixels to be used differ depending on the size of the sub-block size even in the same intra prediction mode.
  • FIG. 7A and 7B are diagrams for explaining an operation of limiting the number of intra prediction modes using the identification number according to the present embodiment.
  • FIG. 7A shows a table in which intra prediction modes are associated with availability.
  • FIG. 7B is a diagram illustrating a relationship between an unusable intra prediction mode and a usable intra prediction mode.
  • the dashed arrow in FIG. 7B indicates an unusable intra prediction mode, and the solid arrow indicates a usable intra prediction mode.
  • the determining unit 121 determines m intra prediction modes having the same identification number of the intra prediction mode as prediction mode candidates.
  • the identification number is a number assigned to each of the M intra prediction modes in order to uniquely identify the M intra prediction modes. Specifically, the identification number is a number from 0 to 34 as shown in FIG.
  • the determination unit 121 determines m intra prediction modes so that the identification numbers of the m intra prediction modes after determination are equally spaced, that is, the identification numbers form an equality sequence.
  • the determination unit 121 enables the intra prediction mode specified by the even number among the intra prediction modes specified by the encoding standard, and is specified by the odd number. Disabled intra prediction mode. That is, the determination unit 121 determines an intra prediction mode defined by an even number as a prediction mode candidate. Here, 0 is an even number.
  • m number of intra prediction modes are selected as prediction mode candidates from among the M intra prediction modes. That is, the types and number (values of m) of m intra prediction modes are statically determined. For example, without depending on the type of input image such as still image, moving image, natural image, character image, etc., and the size of the processing unit of the encoding process such as the size of the block to be encoded and the sub-block size to be predicted The number and types of m intra prediction modes are determined without depending on the. Specifically, when it is determined that the size of the prediction target sub-block is small, it is predetermined that the intra prediction mode defined by the even number is determined as a prediction mode candidate.
  • the peripheral pixels in the prediction direction indicated by the selected intra prediction mode are referred to from the prediction target pixel toward the peripheral sub-block. Therefore, when the size of the sub-block to be predicted is small, such as 4 ⁇ 4 pixels, the angle formed by the prediction direction indicated by the intra prediction mode is the conventional encoding standard H.264. Since it is smaller than H.264, there is a possibility of referring to the same peripheral pixel. Thus, the smaller the sub-block to be predicted, the more pixels that are referred to in each of the intra-prediction modes with adjacent identification numbers overlap.
  • the determination unit 121 determines, as prediction mode candidates, only the intra prediction mode in which an even number is set among the 35 intra prediction modes. .
  • the angle formed by the directions indicated by the adjacent intra prediction modes can be increased. Therefore, it is possible to reduce overlapping of neighboring pixels used at the time of prediction.
  • the number of intra prediction modes can be limited while maintaining the ratio of emphasizing vertical and horizontal lines that are often used in natural images.
  • intra prediction mode to be limited may be an odd number instead of an even number. Or it may be one or more intervals.
  • the determination unit 121 may dynamically determine the types and number of m intra prediction modes determined as prediction mode candidates.
  • the image coding apparatus 100 is an image coding apparatus 100 that codes an input image, and divides a coding target block of the input image into a plurality of sub-blocks.
  • Unit 102 and an intra prediction unit 109 that performs intra prediction for each subblock divided by the picture division unit 102.
  • the intra prediction unit 109 determines whether the size of the subblock to be predicted is equal to or smaller than a predetermined size.
  • the predetermined number M M is a predetermined value
  • intra prediction modes which are smaller than the number of intra prediction modes (natural number greater than or equal to 2), are determined as prediction mode candidates.
  • a prediction unit 122 that selects one intra prediction mode from the prediction mode candidates determined by the determination unit 121 and performs intra prediction of the sub-block to be predicted using the selected intra prediction mode.
  • the image encoding device 100 can limit the number of intra prediction modes that can be used when the sub block size to be intra predicted is a small block size such as 4 ⁇ 4 pixels.
  • the prediction value obtained as a result of using the adjacent intra prediction modes is almost the same. Therefore, even if such an intra prediction mode is limited, the processing amount required for intra prediction can be reduced without substantially reducing the coding efficiency.
  • the number of usable intra prediction modes is limited from M to m, and thus it is necessary for intra prediction using M ⁇ m intra prediction modes. The amount of processing can be reduced.
  • the determination unit 121 may determine m intra prediction modes having the same intra prediction mode identification numbers as the prediction mode candidates. Thereby, it is possible to determine an intra prediction mode that can be used when the size of the sub-block to be predicted is small with a simple control method. In addition, it is possible to limit the number of intra prediction modes that emphasize the vertical and horizontal directions that are often used in natural images while maintaining the ratio. Therefore, regardless of the features of the input image, the processing amount required for intra prediction can be reduced without extremely degrading the encoding efficiency.
  • the determination unit 120 determines that the size of the sub-block to be predicted is equal to or smaller than the predetermined size
  • the determination unit 121 according to the first modification includes at least m ⁇ 2 angles at which the prediction direction has an equal interval.
  • M intra prediction modes including the intra prediction modes are determined as prediction mode candidates.
  • FIG. 8 is a diagram for explaining an operation of limiting the number of intra prediction modes using an angle formed by a prediction direction according to Modification 1 of the present embodiment.
  • the determination unit 121 determines m intra prediction modes including at least m ⁇ 2 direction prediction modes as prediction mode candidates so that the angles of the prediction directions formed by the determined direction prediction modes are equally spaced.
  • the determination unit 121 includes eleven intra prediction modes including nine directional prediction modes, a DC prediction mode, and a planar prediction mode determined from among the 33 directional prediction modes. Are determined as prediction mode candidates. Specifically, the determination unit 121 determines nine direction prediction modes so that the angle formed by the prediction directions in the intra prediction mode is about 22.5 degrees. That is, in the intra prediction mode after determination, the determination unit 121 determines at least m ⁇ 2 direction prediction modes so that the angles formed by the adjacent direction prediction modes are equal.
  • the limited intra prediction mode can cover all directions. That is, all intra prediction modes for a specific direction are not limited.
  • the angle formed by the direction of the intra prediction mode may be larger or smaller than about 22.5 degrees.
  • the intra prediction mode which can be utilized decreases. That is, although the code amount of the output code string may increase due to a decrease in prediction accuracy, the processing amount required for intra prediction can be reduced.
  • the angle is small, more intra prediction modes can be used. That is, although the processing amount required for intra prediction increases, the code amount of the output code string can be reduced by improving the prediction accuracy.
  • the determination unit 120 determines that the size of the prediction target sub-block is equal to or smaller than a predetermined size
  • the determination unit 121 according to the second modification includes m intra prediction modes including the Planar prediction mode and the DC prediction mode. Are determined as prediction mode candidates.
  • FIG. 9 is a diagram for explaining an operation of limiting the number of intra prediction modes so that the Planar prediction mode and the DC prediction mode according to the second modification of the present embodiment can be used.
  • HEVC defines Planar prediction mode and DC prediction mode in addition to 33 direction prediction modes.
  • the DC prediction mode may not be used as a prediction mode candidate as shown in FIG. 7B.
  • the determination unit 121 determines m intra prediction modes including the Planar prediction mode and the DC prediction mode as prediction mode candidates so that the Planar prediction mode and the DC prediction mode can be used. Thereby, it is possible to deal with an image having a feature that cannot be dealt with in a mode that depends on the directionality of prediction. That is, it is possible to reduce the processing amount required for the intra prediction process without greatly impairing the prediction accuracy.
  • the determination unit 121 may determine the remaining m-2 intra prediction modes other than the Planar prediction mode and the DC prediction mode. For example, the determination unit 121 may determine m ⁇ 2 intra prediction modes having equal identification numbers as remaining prediction mode candidates. Alternatively, the determination unit 121 may determine m-2 intra prediction modes in which the angles formed by the prediction directions are equally spaced as remaining prediction mode candidates.
  • the determination unit 121 according to the modification 3 includes an intra prediction mode in which the prediction directions are the horizontal direction and the vertical direction when the determination unit 120 determines that the size of the sub-block to be predicted is equal to or smaller than a predetermined size. m intra prediction modes are determined as prediction mode candidates.
  • FIG. 10 is a diagram for explaining an operation of limiting the number of intra prediction modes so that the horizontal and vertical intra prediction modes according to the third modification of the present embodiment can be used.
  • the intra prediction mode in which the prediction direction is the horizontal direction or the vertical direction cannot be used as a prediction mode candidate as illustrated in FIG. is there.
  • the determination unit 121 includes an intra prediction mode in which the prediction directions are the horizontal direction and the vertical direction so that an intra prediction mode in which the prediction directions are the horizontal direction and the vertical direction can be used.
  • m intra prediction modes are determined as prediction mode candidates.
  • the intra prediction unit 109 can reduce the amount of processing required for the intra prediction process without significantly impairing the accuracy of the prediction of an artificial image having many vertical and horizontal lines.
  • the determination unit 121 may determine the remaining m ⁇ 2 intra prediction modes except for the intra prediction modes whose prediction directions are the horizontal direction and the vertical direction. For example, the determination unit 121 may determine m ⁇ 2 intra prediction modes having equal identification numbers as remaining prediction mode candidates. Alternatively, the determination unit 121 may determine m-2 intra prediction modes in which the angles formed by the prediction directions are equally spaced as remaining prediction mode candidates.
  • Modification 4 When the determining unit 120 determines that the size of the sub-block to be predicted is equal to or smaller than a predetermined size, the determining unit 121 according to the modification 4 determines m based on the frequency information indicating the usage frequency of the intra prediction mode. Intra prediction modes are determined as prediction mode candidates.
  • FIG. 11 is a diagram for explaining an operation of limiting the number of intra prediction modes based on the frequency of use of the intra prediction modes according to the fourth modification of the present embodiment.
  • FIG. 11 shows a table in which mode numbers (identification numbers) of intra prediction modes are arranged in descending order of usage frequency.
  • mode 0 is the most frequently used intra prediction mode, and the usage frequency decreases in the order of mode 1 and mode 26.
  • the determining unit 121 includes, for example, a memory and holds data indicating the usage frequency of the intra prediction mode as illustrated in FIG. This data is generated before the current block to be encoded is encoded or before the current intra prediction target sub-block is intra-predicted. For example, as data (frequency information) indicating the usage frequency, every moving image is experimentally encoded, and the usage status of the intra prediction mode is investigated. The data (frequency information) is created as a list in which the usage frequency and the intra prediction mode are associated with each other based on the investigation result.
  • the determination unit 121 determines m intra prediction modes including many intra prediction modes indicating directions around the prediction direction of the intra prediction mode with a high usage frequency as prediction mode candidates. To do. In this way, the general characteristics of the image are known and can be limited accordingly. In addition, when all moving images are encoded experimentally, if the images are classified, if the images correspond to the classification, a restriction method according to the characteristics of the images becomes possible.
  • the determination unit 121 may determine m intra prediction modes from the intra prediction mode with the highest usage frequency to the mth highest intra prediction mode as prediction mode candidates. Moreover, the determination part 121 does not need to determine all m intra prediction modes based on frequency information. In other words, the determination unit 121 determines k (1 ⁇ k ⁇ m) intra prediction modes among m intra prediction modes to be determined as prediction mode candidates based on the frequency information, and sets m ⁇ k pieces.
  • the intra prediction mode may be determined by other methods. For example, the determination unit 121 selects k intra prediction modes from the intra prediction mode having the highest usage frequency to the kth highest intra prediction mode, and m ⁇ k intra prediction modes having identification numbers at equal intervals. You may determine as a prediction mode candidate.
  • the frequency information may be updated dynamically. For example, for each input image, encoding target block, or prediction target sub-block, the determination unit 121 may accumulate the usage frequency of the used intra prediction mode in the frequency information. Then, the determination unit 121 may determine, for example, m intra prediction modes as prediction mode candidates for each sub-block to be predicted based on the accumulated frequency information.
  • the determination unit 121 includes at least the input image, the encoding target block, and the prediction target sub-block. Based on the edge information indicating one included edge, m intra prediction modes are determined as prediction mode candidates.
  • the edge information is information indicating the position, direction, and strength of the edge, for example.
  • FIG. 12 is a flowchart showing an operation of limiting the number of intra prediction modes based on edges according to the fifth modification of the present embodiment.
  • the determination unit 121 limits the number of intra prediction modes so as to preferentially predict the prediction direction based on the edge strength and the determination result of the direction of the high-strength component for each sub-block. Specifically, first, the determination unit 121 searches for the strength of the edge in the image to which the sub-block to be encoded belongs, and extracts the direction of the component having a high strength (S121).
  • the determination unit 121 preferentially treats the direction of the component with a large edge strength and limits the number of intra prediction modes (S122). Specifically, the determination unit 121 includes a direction prediction mode having a prediction direction closest to the direction of the component having a large edge strength and an intra prediction mode having a similar characteristic to the direction prediction mode. Limit the number. Specifically, the determination unit 121 determines m intra prediction modes including a direction prediction mode in a prediction direction closest to the direction of a component having a large edge strength and a direction prediction mode adjacent to the direction prediction mode. Determine as a candidate.
  • the determination unit 121 limits the number of intra prediction modes without depending on the edge (S123). Specifically, the determination unit 121 limits the number of intra prediction modes based on, for example, the method as described in the present embodiment and the first to fourth modifications.
  • the determination unit 121 can efficiently limit the number of intra prediction modes for each sub-block. Moreover, since the number of intra prediction modes is limited based on the edge direction, the accuracy of intra prediction can be increased, and the encoding efficiency can be increased.
  • a method may be used in which only the magnitude of the edge strength is searched and the number of prediction directions that can be used in a sub-block with a high strength is not reduced. That is, in the case of a sub-block in which an edge having a strength greater than a predetermined size is detected, the determination unit 121 may determine M intra prediction modes as prediction mode candidates. Conversely, in the case of a subblock in which an edge having a strength smaller than a predetermined size is detected or a subblock in which no edge is detected, the determination unit 121 may determine m intra prediction modes as prediction mode candidates. . For example, the determining unit 121 may limit the number of intra prediction modes based on, for example, the method as described in the present embodiment and the first to fourth modifications. Thus, the m intra prediction modes may be determined based on the position and strength of the edge without depending on the direction of the edge.
  • the determination unit 121 acquires edge information for each encoding target block or for each input image, not for each sub-block to be predicted, and determines m intra prediction modes based on the acquired edge information. You may decide. That is, the determination unit 121 may determine m intra prediction modes as prediction mode candidates based on the characteristics of the image in the input image, the encoding target block, or the prediction target sub-block.
  • the determining unit 121 according to the modification 6 includes a combination of reference pixels that are referred to by each pixel of the prediction target sub-block when the determination unit 120 determines that the size of the prediction target sub-block is equal to or less than a predetermined size. Are determined as prediction mode candidates. For example, when the reference pixels p (a) and p (b) in (Expression 2) are the same pixel in the adjacent intra prediction mode, the determination unit 121 includes only one of the adjacent intra prediction modes. Thus, m intra prediction modes are determined as prediction mode candidates.
  • FIG. 13 is a diagram illustrating a combination of reference pixels used in two intra prediction modes according to Modification 6 of the present embodiment.
  • reference pixels in mode 4 and mode 5 intra prediction modes are shown.
  • the determination unit 121 restricts one of the two intra prediction modes. That is, the determination unit 121 disables the intra prediction mode of mode 4 among the two intra prediction modes of mode 4 and mode 5 that use the same reference pixel, for example.
  • the processing amount required for the intra prediction process can be reduced by disabling any one of the intra prediction modes. In this way, it is possible to efficiently limit based on overlapping reference pixels.
  • the determining unit 121 determines the m intra prediction modes so that the combinations of reference pixels referred to by the pixels of the sub-block to be predicted are different from each other. Determine as a candidate.
  • the combination of reference pixels when any one of the remaining M ⁇ m intra prediction modes is used is, for example, any of the m intra prediction modes determined as prediction mode candidates. Or one.
  • the determination unit 121 determines m intra prediction modes, which are the optimal number so that combinations of reference pixels do not overlap and various combinations can be used, as prediction mode candidates. decide. As a result, the processing amount required for the intra prediction process can be reduced without significantly impairing the prediction accuracy.
  • the determination unit 121 determines that some of the reference pixels referred to by the pixels of the prediction target sub-block are mutually Different m intra prediction modes may be determined as prediction mode candidates. For example, the determination unit 121 may limit the reference pixels of some pixels to the same in the adjacent direction prediction modes as long as it is determined to be efficient. For example, in the case of 4 ⁇ 4 pixels, the determination unit 121 may determine that it is efficient when 8 or more pixels use the same reference pixel.
  • the determination unit 121 refers to the reference pixel that is referenced by the pixel located at the lower right of the prediction target sub-block. May be determined as prediction mode candidates. That is, the determination unit 121 limits the number of intra prediction modes with reference to a pixel farthest from a pixel located around the prediction target sub-block.
  • the pixel at the bottom right of the sub-block to be predicted is the pixel with the smallest reference pixel among the pixels in the sub-block.
  • the process of searching all the pixels in the sub-block can be omitted, and the reference pixel can be overlapped by many pixels in the processing sub-block by limiting the pixel at the lower right. Becomes high and can be efficiently limited.
  • the determination unit 121 uses the intra prediction mode used for prediction of the sub-block adjacent to the prediction target sub-block. May be determined as prediction mode candidates.
  • the determination unit 121 includes the m ⁇ 1 intra prediction modes determined based on the method as described in the present embodiment and the first to sixth modifications, and the intra prediction modes used for prediction of adjacent sub-blocks. M intra prediction modes including the above may be determined as prediction mode candidates.
  • the determination part 121 may be able to restrict
  • the determination unit 121 includes m pieces of m including at least m ⁇ 2 intra prediction modes in which the angles formed by the prediction directions are equally spaced.
  • the intra prediction mode may be determined as a prediction mode candidate.
  • the determination unit 121 may determine m intra prediction modes including the Planar prediction mode and the DC prediction mode as prediction mode candidates.
  • the Planar prediction mode and the DC prediction mode which are intra prediction modes independent of the prediction direction, can be used. Therefore, for example, when the input image is an image having a feature that cannot be handled in the direction prediction mode, the processing amount required for the intra prediction process can be reduced without greatly impairing the prediction accuracy.
  • the determination unit 121 may determine m intra prediction modes including intra prediction modes whose prediction directions are the horizontal direction and the vertical direction as prediction mode candidates.
  • the determination unit 121 may determine m intra prediction modes as prediction mode candidates based on frequency information indicating the frequency of use of the intra prediction mode.
  • m intra prediction modes are determined based on the frequency information. For example, by associating the characteristics of an image with the frequency of use of the intra prediction mode, the m intra prediction modes are appropriately set according to the characteristics of the image. Can be determined. Therefore, the processing amount required for the intra prediction process can be reduced without greatly impairing the prediction accuracy.
  • the determination unit 121 determines m intra prediction modes based on edge information indicating edges included in at least one of the input image, the encoding target block, and the prediction target sub-block. You may determine as a prediction mode candidate.
  • m intra prediction modes are determined based on the edge information. For example, when an edge having a strength larger than a predetermined size is detected, m intra prediction modes can be appropriately determined. .
  • the determination unit 121 determines the m intra prediction modes so as to include many intra prediction modes in the prediction direction close to the edge direction, thereby making it possible to use the intra prediction modes suitable for the feature of the image. be able to. Therefore, the processing amount required for the intra prediction process can be reduced without greatly impairing the prediction accuracy.
  • the determination unit 121 may determine m intra prediction modes with different combinations of reference pixels referred to by each pixel of a prediction target sub-block as prediction mode candidates.
  • the determination unit 121 may determine m intra prediction modes having different reference pixels that are referred to by the pixel located at the lowermost right of the prediction target sub-block as prediction mode candidates. Good.
  • the pixel located at the lower right corner of the sub-block becomes the pixel with the smallest reference pixel among the pixels in the sub-block. Therefore, by reducing the reference pixel used when predicting the lower right pixel where the reference pixel does not overlap the most, the amount of processing required for the intra prediction process is reduced without significantly impairing the prediction accuracy. Can do.
  • the determination unit 121 may determine m intra prediction modes including the intra prediction mode used for prediction of the subblock adjacent to the prediction target subblock as prediction mode candidates. .
  • the processing amount required for intra prediction can be reduced without extremely degrading the encoding efficiency.
  • the determination unit 121 may change the number of intra prediction modes that can be used before the restriction according to the screen resolution of the input image. That is, when the screen resolution of the input image is the first size, M1 intra prediction modes are available, and when the screen resolution of the input image is the second size smaller than the first size, M2 Intra prediction mode is available. At this time, both M1 and M2 are natural numbers of 2 or more and satisfy the relationship of M1 ⁇ M2 ⁇ M.
  • the determination unit 121 replaces the M intra prediction modes that are defined in advance without depending on the block size, and replaces m pieces of the M1 intra prediction modes. Are determined as prediction mode candidates.
  • the determining unit 121 replaces the M intra prediction modes that are defined in advance without depending on the block size, from the M2 intra prediction modes. m intra prediction modes are determined as prediction mode candidates.
  • the methods described in the present embodiment and the first to sixth modifications are used. Can do.
  • the number of intra prediction modes is limited from M to M1 or M2 according to the screen resolution of the input image, and the number of intra prediction modes is M1 according to the size of the sub-block to be predicted.
  • the number can be limited from M2 to m.
  • An image encoding device is an image encoding device that encodes an input image, and is divided by a dividing unit that divides an encoding target block of the input image into a plurality of subblocks, and a dividing unit.
  • An intra prediction unit that performs intra prediction for each sub-block, and the intra prediction unit is based on the number of M intra prediction modes (M is a natural number of 2 or more) that is defined in advance without depending on the block size.
  • a determination unit that determines m intra prediction modes that are small and do not depend on an input image (m is a natural number) as prediction mode candidates, and a prediction mode candidate determined by the determination unit
  • a prediction unit that selects one intra prediction mode and performs intra prediction of a sub-block to be predicted using the selected intra prediction mode may be provided.
  • m intra prediction modes are defined in advance as prediction mode candidates. For example, without depending on the type of input image such as still image, moving image, natural image, character image, etc., and the size of the processing unit of the encoding process such as the size of the block to be encoded and the sub-block size to be predicted
  • the intra prediction unit can use only m intra prediction modes without depending on. That is, in any intra prediction process, the intra prediction unit selects one intra prediction mode from m predetermined intra prediction modes, and performs intra prediction using the selected intra prediction mode.
  • m intra prediction modes out of M intra prediction modes defined in the encoding standard depend on the input image and the size of the processing unit of the encoding process as usable prediction mode candidates. It may be determined without any problem. Thereby, it is possible to reduce the amount of processing required for intra prediction regardless of what input image is input.
  • the determination unit may determine a different number of intra prediction modes as prediction mode candidates according to the screen resolution of the input image from among the M intra prediction modes defined by the encoding standard.
  • the determination unit may determine M1 intra prediction modes as prediction mode candidates when the screen resolution of the input image is the first size (for example, 1920 ⁇ 1080 pixels).
  • the determining unit may determine M2 intra prediction modes as prediction mode candidates when the screen resolution of the input image is a second size smaller than the first size (for example, 920 ⁇ 720 pixels).
  • both M1 and M2 are natural numbers of 2 or more and satisfy the relationship of M1 ⁇ M2 ⁇ M.
  • the determination unit determines the prediction mode candidate according to the screen resolution of the input image without depending on the size of the processing unit of the encoding process such as the size of the block to be encoded and the sub-block size to be predicted.
  • the intra prediction mode can be restricted while suppressing the influence of the processing amount of the intra prediction processing that increases as the screen resolution increases.
  • each component (the picture buffer 101, the picture division part 102, the subtraction part 103, the prediction residual encoding part 104, the coefficient code sequence generation part 105, the prediction residual decoding) which comprises the image coding apparatus 100 which concerns on this indication Conversion unit 106, addition unit 107, predicted image generation unit 108, intra prediction unit 109, loop filter 110, frame memory 111, inter prediction unit 112, selection unit 113, quantized value determination unit 114, header code string generation unit 115,
  • the determination unit 120, the determination unit 121, and the prediction unit 122) are programs executed on a computer including a CPU (Central Processing Unit), a RAM, a ROM (Read Only Memory) communication interface, an I / O port, a hard disk, a display, and the like. Software such as May be implemented, it may be implemented by hardware such as electronic circuits.
  • This disclosure is applicable to an image encoding device that restricts an intra prediction mode based on a sub-block size for intra prediction.
  • the present disclosure can be applied to a recorder, a digital camera, a tablet terminal device, or the like.

Abstract

　入力画像を符号化する画像符号化装置（１００）であって、入力画像の符号化対象ブロックを複数のサブブロックに分割するピクチャ分割部（１０２）と、分割されたサブブロック毎にイントラ予測を行うイントラ予測部（１０９）とを備え、イントラ予測部（１０９）は、予測対象のサブブロックのサイズが所定のサイズ以下であるか否かを判定する判定部（１２０）と、予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、ブロックサイズに依存することなく予め規定されたＭ個（Ｍは、２以上の自然数）のイントラ予測モードの数より少ないｍ個（ｍは、自然数）のイントラ予測モードを予測モード候補として決定する決定部（１２１）と、決定された予測モード候補の中から１つのイントラ予測モードを選択し、選択したイントラ予測モードを用いて予測対象のサブブロックのイントラ予測を行う予測部（１２２）とを備える。

Description

画像符号化装置及び画像符号化方法
　本開示は、画像符号化装置及び画像符号化方法に関する。
　現在、Ｈ．２６４の次の世代の動画像符号化規格であるＨｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（ＨＥＶＣ）が策定中である。このＨＥＶＣでは、図１に示すように、イントラ予測時において選択可能なイントラ予測モードが３５種類ある。ＨＥＶＣでは、この３５種類の中から選択されるイントラ予測モードを用いて符号化を実施する。
　しかし、イントラ予測を実行するブロックサイズが４×４画素のように小さいサイズである場合、隣り合うイントラ予測モードでは、同じ参照画素を利用してイントラ予測するものが存在する。同じ参照画素を利用してイントラ予測する場合、イントラ予測モードが異なる場合であっても、結果として得られる差分画像信号の値はほとんど変わらないものとなる。
Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ－ＶＣ）ｏｆ　ＩＴＵ　－Ｔ　ＳＧ１６　ＷＰ３　ａｎｄＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ、１０ｔｈ　Ｍｅｅｔｉｎｇ　Ｓｔｏｃｋｈｏｌｍ、ＳＥ、１１－２０　Ｊｕｌｙ　２０１２、Ｄｏｃｕｍｅｎｔ　ＪＣＴＶＣ－Ｊ１００３＿ｄ７
　上記のように多くのイントラ予測モードを利用できる場合、詳細な予測が可能となるため画質又は符号化効率が向上する。しかし、例えば、符号化対象のサブブロックサイズが４×４画素のように小さいサイズである場合、イントラ予測の結果として得られる差分画像信号の値にほとんど変化がない場合、画質又は符号化効率の大きな向上は見込めない。この場合は、単にイントラ予測の処理量だけが増加することになる。
　そこで本開示は、符号化効率の悪化を抑制し、かつ、イントラ予測に必要な処理量を削減することができる画像符号化装置及び画像符号化方法を提供する。
　本開示における画像符号化装置は、入力画像を符号化する画像符号化装置であって、入力画像の符号化対象ブロックを複数のサブブロックに分割する分割部と、分割部によって分割されたサブブロック毎にイントラ予測を行うイントラ予測部とを備え、イントラ予測部は、予測対象のサブブロックのサイズが所定のサイズ以下であるか否かを判定する判定部と、判定部によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、ブロックサイズに依存することなく予め規定されたＭ個（Ｍは、２以上の自然数）のイントラ予測モードの数より少ないｍ個（ｍは、自然数）のイントラ予測モードを予測モード候補として決定する決定部と、決定部によって決定された予測モード候補の中から１つのイントラ予測モードを選択し、選択したイントラ予測モードを用いて予測対象のサブブロックのイントラ予測を行う予測部とを備える。
　本開示における画像符号化装置及び画像符号化方法は、符号化効率の悪化を抑制し、かつ、イントラ予測に必要な処理量を削減することができる。
図１は、ＨＥＶＣ規格におけるイントラ予測モードの種類を示す図である。 図２は、本実施の形態に係る画像符号化装置の構成を示すブロック図である。 図３は、本実施の形態に係るイントラ予測部の構成を示すブロック図である。 図４は、本実施の形態に係るイントラ予測処理の動作を示すフローチャートである。 図５は、本実施の形態に係る予測対象のサブブロックの画素位置を示す図である。 図６は、本実施の形態に係る４×４画素のサブブロックをイントラ予測する際、最も右下の画素において参照する周辺画素を示す図である。 図７Ａは、本実施の形態に係る識別番号を利用してイントラ予測モードの数を制限する動作を説明するための図である。 図７Ｂは、本実施の形態に係る識別番号を利用してイントラ予測モードの数を制限する動作を説明するための図である。 図８は、本実施の形態の変形例１に係る予測方向がなす角度を利用してイントラ予測モードの数を制限する動作を説明するための図である。 図９は、本実施の形態の変形例２に係るＰｌａｎａｒ予測モード及びＤＣ予測モードが利用できるようにイントラ予測モードの数を制限する動作を説明するための図である。 図１０は、本実施の形態の変形例３に係る水平方向及び垂直方向のイントラ予測モードが利用できるようにイントラ予測モードの数を制限する動作を説明するための図である。 図１１は、本実施の形態の変形例４に係るイントラ予測モードの利用頻度に基づいてイントラ予測モードの数を制限する動作を説明するための図である。 図１２は、本実施の形態の変形例５に係るエッジに基づいてイントラ予測モードの数を制限する動作を示すフローチャートである。 図１３は、本実施の形態の変形例６に係る２つのイントラ予測モードにおいて利用する参照画素の組み合わせを示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態）
　以下、図１～図１３を用いて、本実施の形態を説明する。説明の便宜上、ＨＥＶＣを用いて符号化する際の動作を説明する。
　［画像符号化装置の構成］
　図２は、本実施の形態に係る画像符号化装置１００のブロック図である。
　画像符号化装置１００は、ピクチャ単位で入力された動画像をブロック（符号化対象ブロック）に分割し、ブロック単位で符号化処理を行うことで、符号列を生成する。なお、上記ブロックには複数のサブブロックが含まれる。画像符号化装置１００が有する構成要素は、ブロック単位又はサブブロック単位で処理する。
　図２に示す画像符号化装置１００は、ピクチャバッファ１０１と、ピクチャ分割部１０２と、減算部１０３と、予測残差符号化部１０４と、係数符号列生成部１０５と、予測残差復号化部１０６と、加算部１０７と、予測画像生成部１０８と、量子化値決定部１１４と、ヘッダ符号列生成部１１５とを備える。なお、予測画像生成部１０８は、イントラ予測部１０９と、ループフィルタ１１０と、フレームメモリ１１１と、インター予測部１１２と、選択部１１３とを備える。
　画像符号化装置１００は、入力画像をＨＥＶＣの規格に基づいて圧縮符号化し、符号列を生成して出力する。
　ピクチャバッファ１０１は、取得部の一例であり、入力画像を取得し、記憶媒体に一時的に記憶する。例えば、ピクチャバッファ１０１は、表示を行う順にピクチャ単位で入力される入力画像を、符号化を行う順にピクチャの並び替えを行って蓄積する。ピクチャバッファ１０１における記憶媒体は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）メモリなど、入力画像を記憶できる記憶媒体であればどのようなものを利用しても構わない。
　ピクチャ分割部１０２は、入力画像の符号化対象ブロックを複数のサブブロックに分割する分割部の一例である。ピクチャ分割部１０２は、減算部１０３又は量子化値決定部１１４からの読出し命令を受け付けた場合、ピクチャバッファ１０１から入力画像を取得する。そして、ピクチャ分割部１０２は、読出し命令に対応する画像信号を減算部１０３に出力する。
　このとき、各々のピクチャは、以降の符号化処理単位であるコーディングユニット（ＣＵ）と呼ばれる複数の画素から構成される符号化単位に分割される。ＣＵは、符号化対象ブロックの一例であり、例えば、６４×６４画素のブロック、３２×３２画素のブロック、１６×１６画素のブロックなどからなる。
　減算部１０３は、ピクチャ分割部１０２から出力される対象ブロックと、予測画像生成部１０８から出力される予測画像であって、対象ブロックの予測画像との差分を算出することで、差分画像信号を生成する。例えば、減算部１０３は、符号化対象ブロック毎に差分を算出する。減算部１０３は、差分画像信号を予測残差符号化部１０４に出力する。つまり、減算部１０３は、ピクチャ分割部１０２から読み出された画像信号と、予測画像生成部１０８から出力される予測画像信号との差分値である差分画像信号を生成し、予測残差符号化部１０４に出力する。
　予測残差符号化部１０４は、減算部１０３から出力される差分画像信号を直交変換することで、直交変換係数を生成する。予測残差符号化部１０４は、差分画像信号を直交変換する場合、直交変換用のサブブロック単位で処理する。ここで、直交変換用のサブブロックは、トランスフォームユニット（ＴＵ）と呼ばれる複数の画素から構成される直交変換処理単位である。例えば、直交変換用のサブブロック（ＴＵ）は、例えば、３２×３２画素のブロック、１６×１６画素のブロック、８×８画素のブロック、４×４画素のブロックなどからなる。
　予測残差符号化部１０４は、さらに、得られた直交変換係数の各周波数成分を量子化することで、量子化係数を生成する。そして、予測残差符号化部１０４は、量子化係数を係数符号列生成部１０５及び予測残差復号化部１０６に出力する。なお、予測残差符号化部１０４は、量子化値決定部１１４によって決定された量子化値信号を用いて、直交変換係数を量子化する。
　係数符号列生成部１０５は、予測残差符号化部１０４から出力される量子化係数を可変長符号化する。係数符号列生成部１０５は、可変長符号化によって生成される符号列をヘッダ符号列生成部１１５が生成した符号列に続けて追記する。これにより、係数符号列生成部１０５は、出力用の符号列信号を生成する。
　予測残差復号化部１０６は、予測残差符号化部１０４から出力される量子化係数を逆量子化及び逆直交変換することで、残差復号化信号を再構成する。予測残差復号化部１０６は、再構成して得られる残差復号化信号を加算部１０７に出力する。
　加算部１０７は、予測残差復号化部１０６から出力される残差復号化信号と予測画像生成部１０８から出力される予測画像とを加算することで、再構成画像信号を生成する。そして、加算部１０７は、再構成画像信号をイントラ予測部１０９及びループフィルタ１１０に出力する。
　予測画像生成部１０８は、少なくとも加算部１０７から出力される再構成画像信号に基づいて、ピクチャ分割部１０２から出力されるブロックに対する予測画像を生成する。予測画像生成部１０８は、予測画像を生成する場合、イントラ予測又はインター予測を用いる。
　なお、予測画像生成部１０８は、予測用のサブブロック単位で予測画像を生成する。ここで、予測用のサブブロックとは、プレディクションユニット（ＰＵ）と呼ばれる複数の画素から構成される予測処理単位である。例えば、予測用のサブブロック（ＰＵ）は、ピクチャ分割部１０２が出力する符号化対象ブロックを少なくとも１つ以上に分割して生成される領域を示す。例えば、ＰＵは、６４×６４画素のブロック、３２×３２画素のブロック、１６×１６画素のブロック、８×８画素のブロック、４×４画素のブロックなどからなる。
　また、予測画像生成部１０８は、ピクチャ分割部１０２が出力する符号化対象ブロック単位でイントラ予測又はインター予測を切り替える。つまり、符号化対象ブロック内に属するサブブロックには、イントラ予測及びインター予測のうちいずれか一方が適用される。
　予測画像生成部１０８は、イントラ予測部１０９と、ループフィルタ１１０と、フレームメモリ１１１と、インター予測部１１２と、選択部１１３とを備える。
　イントラ予測部１０９は、既に符号化済みのブロックにおける画素データであって、符号化対象ブロック周辺に位置する画素データを用いて、符号化対象ブロックの予測画像を予測用のサブブロック毎に生成する。具体的には、イントラ予測部１０９は、少なくとも符号化対象ブロックに隣接する既に符号化済みの画素データに基づいてイントラ予測を行うことで、予測画像を生成する。
　イントラ予測部１０９は、画像符号化装置１００で想定している符号化規格であるＨＥＶＣに規定される３５個のイントラ予測モードから１つのイントラ予測モードを選択する。さらに、イントラ予測部１０９は、選択したイントラ予測モードに基づいてイントラ予測を行うことで、予測対象のサブブロックの予測画像を生成する。イントラ予測部１０９は、サブブロック毎に予測画像を生成した結果として得られる予測画像であって、ピクチャ分割部１０２が出力するブロックの予測画像を、減算部１０３及び加算部１０７に出力する。
　なお、イントラ予測部１０９のより詳細な構成及び動作については、後で説明する。
　ループフィルタ１１０は、加算部１０７から出力される再構成画像信号にフィルタ処理を行う。例えば、ループフィルタ１１０は、再構成画像信号に対して、ブロックノイズを軽減するフィルタ処理を施す。ループフィルタ１１０は、フィルタ処理された再構成画像信号をフレームメモリ１１１に出力する。
　フレームメモリ１１１は、ループフィルタ１１０から出力されるフィルタ処理後の再構成画像信号を蓄積する。再構成画像信号は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理に用いられる。つまり、再構成画像信号は、現在、符号化対象となっているピクチャ以降のピクチャを符号化する際に、インター予測を用いて予測画像を生成する際の画素データとして利用される。フレームメモリ１１１は、インター予測部１１２からの読出し命令に応じて、格納している再構成画像信号を画素データとしてインター予測部１１２に出力する。
　インター予測部１１２は、フレームメモリ１１１に格納されている再構成画像信号を参照画像として用いてインター予測を行うことで、サブブロック毎に予測画像信号を生成する。インター予測を行う際は、フレームメモリ１１１に蓄積される既に符号化済みの過去のピクチャの再構成画像信号を用いる。インター予測部１１２は、生成した予測画像信号を減算部１０３及び加算部１０７に出力する。
　選択部１１３は、予測の結果得られる差分画像信号の符号量又は予測値に基づいて、イントラ予測及びインター予測のうちいずれか一方を選択する。具体的には、選択部１１３は、イントラ予測で得られる差分画像信号の符号量又は予測値が少ない又は小さい場合、イントラ予測を選択する。イントラ予測で得られる差分画像信号の符号量又は予測値が多い又は大きい場合、選択部１１３は、インター予測を選択する。
　なお、予測画像生成部１０８は、インター予測を使わなくてもよい。このようにすれば、予測画像生成部１０８は、静止画像など、イントラ予測のみを用いる場合に処理構成を単純化することができる。
　量子化値決定部１１４は、ピクチャ分割部１０２に格納されるピクチャに基づいて、予測残差符号化部１０４において差分画像信号を量子化する際の量子化値（量子化幅）を設定する。量子化値決定部１１４は、設定した量子化値を予測残差符号化部１０４及びヘッダ符号列生成部１１５に出力する。なお、量子化値決定部１１４における量子化値の設定方法は、符号列信号のビットレートが目標とするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の設定方法を利用しても構わない。
　ヘッダ符号列生成部１１５は、予測画像生成部１０８が出力する予測情報信号と、量子化値決定部１１４が出力する量子化値信号と、その他の符号化制御に関する制御情報とを可変長符号化することで符号列を生成する。なお、予測情報には、例えば、イントラ予測モード、インター予測モード、動きベクトル、参照ピクチャを示す情報などが含まれる。また、制御情報は、係数符号列生成部１０５における処理前までに取得可能な情報であって、ブロックの符号化時に適用した符号化条件を示す情報である。例えば、制御情報には、ピクチャ符号化タイプ又はブロック分割情報などが含まれる。例えば、ピクチャ符号化タイプとは、Ｉピクチャ、Ｐピクチャ又はＢピクチャを示す情報、又は、ブロックに適用された予測方法に関する情報などを含む情報である。また、ブロック分割情報は、例えば、直交変換時におけるサブブロックの分割情報、又は、予測画像生成部１０８におけるサブブロックの分割情報などを含む情報である。
　［イントラ予測部の構成］
　続いて、イントラ予測部１０９のより詳細な構成について説明する。
　図３は、本実施の形態に係るイントラ予測部１０９を示すブロック図である。イントラ予測部１０９は、判定部１２０と、決定部１２１と、予測部１２２とを備える。
　判定部１２０は、予測対象のサブブロックのサイズが所定のサイズ以下であるか否かを判定する。言い換えると、判定部１２０は、予測対象のサブブロックのサイズが小さいか否かを判定する。具体的には、所定のサイズは、４×４画素であり、判定部１２０は、予測対象のサブブロックが４×４画素以下のサイズである場合に、当該予測対象のサブブロックのサイズが小さいと判定する。より具体的には、判定部１２０は、ピクチャ分割部１０２から取得した予測対象のサブブロックが４×４画素である場合にのみ、当該予測対象のサブブロックのサイズが小さいと判定する。
　なお、所定のサイズは、これに限られない。例えば、所定のサイズは、８×８画素のサイズでもよい。つまり、判定部１２０は、予測対象のサブブロックのサイズが８×８画素以下である場合に、当該予測対象のサブブロックが小さいと判定してもよい。
　決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、ブロックサイズに依存することなく予め規定されたＭ個（Ｍは、２以上の自然数）のイントラ予測モードの数より少ないｍ個（ｍは、自然数）のイントラ予測モードを予測モード候補として決定する。また、決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズより大きいと判定された場合には、ブロックサイズに依存することなく予め規定されたＭ個のイントラ予測モードを予測モード候補として決定する。
　ここで、Ｍ個のイントラ予測モードは、所定の符号化規格によって規定されたイントラ予測モードである。具体的には、Ｍ個のイントラ予測モードは、ＨＥＶＣによって規定されている。図１に示すように、ＨＥＶＣによって規定されたイントラ予測モードの個数は、３５である。すなわち、Ｍ＝３５である。
　なお、決定部１２１によるｍ個のイントラ予測モードの決定方法については、後で具体例を挙げながら説明する。
　予測部１２２は、決定部１２１によって決定された予測モード候補の中から１つの予測モードを選択し、選択したイントラ予測モードを用いて予測対象のサブブロックのイントラ予測を行う。例えば、予測部１２２は、加算部１０７から出力された符号化済みの画素データを用いてイントラ予測を行う。予測部１２２は、イントラ予測を行うことで、予測画像を生成し、生成した予測画像を選択部１１３に出力する。
　［イントラ予測処理］
　以下、図面を参照しながら、本実施の形態に係る画像符号化方法について説明する。特に、イントラ予測部１０９におけるイントラ予測動作を中心に説明する。
　図４は、本実施の形態に係るイントラ予測処理の動作を示すフローチャートである。
　まず、ピクチャ分割部１０２は、入力画像の符号化対象ブロックを複数のサブブロックに分割する（Ｓ１００）。イントラ予測部１０９は、サブブロック毎にイントラ予測を行う。
　判定部１２０は、予測対象のサブブロックのサイズが所定のサイズ以下であるか否かを判定する（Ｓ１１０）。例えば、サイズの大小を判定する基準となる予め設定されたサブブロックサイズ（所定のサイズ）は、４×４画素サイズである。なお、予め設定されたサブブロックサイズは、上記のサブブロックサイズに限定するものではなく、８×８画素サイズなど、設計者の思想に応じて設定できる。以下、説明の便宜上、予め設定されたサブブロックサイズは、４×４画素サイズとする。
　予測対象のサブブロックのサイズが４×４画素サイズと判定された場合（Ｓ１１０でＹｅｓ）、決定部１２１は、Ｍ個のイントラ予測モードの数より少ないｍ個のイントラ予測モードを予測モード候補として決定する（Ｓ１２０）。言い換えると、決定部１２１は、Ｍ（Ｍ＝３５）個のイントラ予測モードをｍ個に制限する。このように、イントラ予測モードの数をｍ個に絞り込むことで、（３５－ｍ）個のイントラ予測に要する処理時間を削減することができる。
　以下では、制限されたｍ個のイントラ予測モードのそれぞれについて、予測部１２２は、イントラ予測（Ｓ１３０）及びコスト計算（Ｓ１４０）を行う。
　具体的には、予測部１２２は、制限されたｍ個のイントラ予測モードの１つである対象予測モードを用いてイントラ予測を行う（Ｓ１３０）。つまり、予測部１２２は、対象予測モードを用いて、予測対象のサブブロック内の画素毎に予測値を算出する。具体的な予測値の算出方法は、後で説明する。
　予測部１２２は、算出した予測値に基づいて、対象予測モードの符号化コストを計算する（Ｓ１４０）。例えば、予測部１２２は、対象予測モードを用いて算出した予測値と、符号化対象ブロックに含まれる入力画像の画素データであって、予測対象のサブブロックに対応する画素データとの差分値を、符号化コストとして算出する。
　そして、予測部１２２は、ｍ個のイントラ予測モードの中から異なる予測モードを新たな対象予測モードとしてイントラ予測（Ｓ１３０）及びコスト計算（Ｓ１４０）を繰り返す。これにより、ｍ個のイントラ予測モードのそれぞれについて、予測値と符号化コストとが算出される。
　予測部１２２は、ｍ個のイントラ予測モードの中から、算出した符号化コストに基づいて、適切なイントラ予測モードを決定する（Ｓ１７０）。例えば、予測部１２２は、符号化コストとして差分値を算出している場合、当該差分値が最も小さくなるイントラ予測モードを最適なイントラ予測モードとして決定する。
　そして、予測部１２２は、決定したイントラ予測モードを用いてイントラ予測を行うことで、予測値を算出する（Ｓ１８０）。そして、予測部１２２は、算出した予測値を選択部１１３に出力する。なお、予測部１２２は、最適なイントラ予測モードを決定する際（Ｓ１３０及びＳ１４０）にすでに予測値を算出している場合、すでに算出された予測値を選択部１１３に出力してもよい。
　一方、予測対象のサブブロックのサイズが４×４画素サイズよりも大きいと判定された場合（Ｓ１１０でＮｏ）、予測部１２２は、全イントラ予測モードについて、すなわち、３５個のイントラ予測モードについて、イントラ予測（Ｓ１５０）及びコスト計算（Ｓ１６０）を行う。
　具体的には、予測部１２２は、Ｍ個のイントラ予測モードの１つである対象予測モードを用いてイントラ予測を行う（Ｓ１５０）。そして、予測部１２２は、算出した予測値に基づいて、対象予測モードの符号化コストを計算する（Ｓ１６０）。例えば、予測部１２２は、対象予測モードを用いて算出した予測値と、符号化対象ブロックに含まれる入力画像の画素データであって、予測対象のサブブロックに対応する画素データとの差分値を、符号化コストとして算出する。
　そして、予測部１２２は、Ｍ個のイントラ予測モードの中から異なる予測モードを新たな対象予測モードとしてイントラ予測（Ｓ１５０）及びコスト計算（Ｓ１６０）を繰り返す。これにより、Ｍ個のイントラ予測モードのそれぞれについて、予測値と符号化コストが算出される。
　以降、制限されたｍ個のイントラ予測モードの場合と同様に、予測部１２２は、適切なイントラ予測モードを決定し（Ｓ１７０）、決定したイントラ予測モードを用いて予測値を算出して（Ｓ１８０）、算出した予測値を選択部１１３に出力する。なお、予測部１２２は、最適なイントラ予測モードを決定する際（Ｓ１５０及びＳ１６０）にすでに予測値を算出している場合、すでに算出された予測値を選択部１１３に出力してもよい。
　［イントラ予測における予測値の算出方法］
　以下、図面を参照しながらイントラ予測時における予測値の算出方法について説明する。
　以下、説明の便宜上、ＨＥＶＣにおけるイントラ予測について説明する。
　ＨＥＶＣでは、図１に示すように、予測対象のブロックサイズに依存することなく、３５種類のイントラ予測モードが規定されている。具体的には、ＨＥＶＣでは、Ｐｌａｎａｒ予測モードと、ＤＣ予測モードと、３３個の予測方向モードとが定義されている。
　ＨＥＶＣでは、例えば、予測対象のブロックサイズが４×４画素の場合には、３５個のイントラ予測モードが利用可能であり、予測対象のブロックサイズが８×８画素の場合にも、３５個のイントラ予測モードが利用可能である。つまり、ＨＥＶＣでは、イントラ予測を行う場合、予測対象のブロックサイズがどのようなサイズであっても、３５個のイントラ予測モードが利用可能であり、当該３５個のイントラ予測モードから１つのイントラ予測モードを選択することができる。このように、３５個のイントラ予測モードが予測モード候補として定義されているので、イントラ予測部１０９は、イントラ予測を行う際、３５個のイントラ予測モードの中からいずれか１つを選択する。
　図５は、本実施の形態に係る予測対象のサブブロックの画素位置を示す図である。
　図５に示すように、水平方向にｘ軸、垂直方向にｙ軸を定義し、それぞれ右方向及び下方向に正（＋）と定義する。以下では、座標（ｘ，ｙ）に位置する画素を、画素（ｘ，ｙ）と表現し、画素（ｘ，ｙ）の画素値をｐ（ｘ，ｙ）と表現する。なお、予測対象のサブブロックのサイズが、４×４画素の場合、図５に示すＮは、Ｎ＝３である。
　図６は、本実施の形態に係る４×４画素のサブブロックをイントラ予測する際、最も右下の画素において参照する周辺画素を示す図である。説明の便宜上、４×４画素のうち最も右下の画素、すなわち、画素（３，３）について説明するが、それ以外の位置の画素についても同様の方法で予測が行われる。
　イントラ予測部１０９は、以下のイントラ予測モードを利用して予測値を算出する。
　１．垂直方向のイントラ予測モード
　予測対象画素の真上に位置する画素の画素値をそのまま予測値として利用するイントラ予測モードである。例えば、垂直方向のイントラ予測モードを用いた場合、画素（３，３）の予測値は、画素（３，－１）の画素値ｐ（３，－１）になる。
　２．水平方向のイントラ予測モード
　予測対象画素の真横に位置する画素の画素値をそのまま予測値として利用するイントラ予測モードである。例えば、水平方向のイントラ予測モードを用いた場合、画素（３，３）の予測値は、画素（－１，３）の画素値ｐ（－１，３）になる。
　３．ＤＣ予測モード
　周辺画素の平均値を利用するイントラ予測モードである。例えば、ＤＣ予測モードを用いた場合、画素（３，３）の予測値は、周辺画素ｐ（－１，０）、ｐ（－１，１）、ｐ（－１，２）、ｐ（－１，３）、ｐ（０，－１）、ｐ（１，－１）、ｐ（２，－１）、ｐ（３，－１）の平均値になる。
　なお、ＤＣ予測モードの場合、４×４画素に含まれる画素（３，３）以外の画素における予測値も画素（３，３）で算出された予測値と同じ値となる。
　４．斜め方向のイントラ予測モード
　斜めの矢印で指定された方向にある隣接した１画素又は２画素を参照し、（式１）又は（式２）を利用する斜め方向の予測モードである。
　（式１）　Ｓ（ｘ，ｙ）＝ｐ（ａ）
　（式２）　Ｓ（ｘ，ｙ）＝［ｃ×ｐ（ａ）＋ｄ×ｐ（ｂ）＋１６］＞＞５
　例えば、図６に示す方向２００の場合、参照画素は、画素（７，－１）である。また、例えば、図６に示す方向２０１の場合、参照画素は、画素（５，－１）と画素（６，－１）とである。
　ここで、（式１）は、画素位置（ｘ，ｙ）におけるイントラ予測の予測値Ｓ（ｘ，ｙ）を求める式であって、参照画素が１画素である場合に利用する式である。ここで、ａは、予測方向から設定される参照画素の位置を示す値であり、ｐ（ａ）は当該参照画素の値である。
　また、（式２）は、画素位置（ｘ，ｙ）におけるイントラ予測の予測値Ｓ（ｘ，ｙ）を求める別の式であり、参照画素が２画素である場合に利用する式である。ここで、ａ及びｂは、予測方向から設定される２つの参照画素の位置を示す値であり、ｐ（ａ）及びｐ（ｂ）は、隣り合う２つの参照画素の値である。また、ｃ及びｄは、各々の参照画素に乗ぜられる重み付け値である。
　なお、ＨＥＶＣでは、互いに方向が異なる複数の斜め方向のイントラ予測モードが規定されている。つまり、利用するイントラ予測モードによって、利用する画素（すなわち、ａ及びｂの値）及び重み付け値（すなわち、ｃ及びｄの値）が異なる。
　５．ｐｌａｎａｒ予測モード
　４画素を用いた内挿予測（重み付け加算）を行う予測モードである。例えば、画素（３，３）の予測値は、４つの参照画素の画素値ｐ（－１，３）、ｐ（３，－１）、ｐ（－１，４）、ｐ（４，－１）の重み付け平均値である。
　なお、上記においては４×４画素に対してイントラ予測し、予測値を算出する動作を説明したが、８×８画素など、他のサブブロックサイズに対してイントラ予測し、予測値を算出する際も同様の考えで算出することができる。なお、斜め方向の予測モードの場合、サブブロックサイズの大きさによって、同じイントラ予測モードであっても利用する画素が異なってくる。
　［イントラ予測モードの数の制限方法］
　以下、イントラ予測モードの数の制限方法、すなわち、予測モード候補の決定方法について、図面を参照しながら説明する。説明の便宜上、ＨＥＶＣの符号化規格に基づいて説明する。
　図７Ａ及び図７Ｂは、本実施の形態に係る識別番号を利用してイントラ予測モードの数を制限する動作を説明するための図である。具体的には、図７Ａは、イントラ予測モードとその使用可否とを対応付けた表を示している。図７Ｂは、使用不可のイントラ予測モードと、使用可能なイントラ予測モードとの関係を示す図である。なお、説明の便宜上、図７Ｂにおける破線の矢印は、使用不可のイントラ予測モードを示し、また、実線の矢印は、使用可能なイントラ予測モードを示している。これは、以降の図においても同様である。
　決定部１２１は、イントラ予測モードの識別番号が等間隔になるｍ個のイントラ予測モードを予測モード候補として決定する。識別番号は、Ｍ個のイントラ予測モードを一意に識別するために、Ｍ個のイントラ予測モードのそれぞれに付された番号である。具体的には、識別番号は、図１に示すような０～３４の番号である。決定部１２１は、決定後のｍ個のイントラ予測モードの識別番号が等間隔になるように、すなわち、識別番号が等差数列を形成するようにｍ個のイントラ予測モードを決定する。
　例えば、決定部１２１は、図７Ａ及び図７Ｂに示すように、符号化規格に規定されるイントラ予測モードのうち、偶数番号で規定されるイントラ予測モードを使用可能にし、かつ、奇数番号で規定されるイントラ予測モードを使用不可にする。すなわち、決定部１２１は、偶数番号で規定されるイントラ予測モードを予測モード候補として決定する。なお、ここで、０は、偶数である。
　なお、Ｍ個のイントラ予測モードの中から、どのｍ個のイントラ予測モードを予測モード候補として選択するかは、予め定められている。すなわち、ｍ個のイントラ予測モードの種類、及び、個数（ｍの値）は、静的に定められている。例えば、静止画、動画像、自然画像、文字画像などの入力画像の種別に依存することなく、かつ、符号化対象ブロックのサイズ、予測対象のサブブロックサイズなどの符号化処理の処理単位のサイズに依存することなく、ｍ個のイントラ予測モードの種類、及び、個数が定められている。具体的には、予測対象サブブロックのサイズが小さいと判定された場合には、偶数番号で規定されるイントラ予測モードを予測モード候補として決定することが、予め定められている。
　イントラ予測モードのうち、水平方向、垂直方向及び斜め方向のイントラ予測モードでは、予測対象画素から周辺のサブブロックに向けて、選択したイントラ予測モードが示す予測方向にある周辺画素を参照する。したがって、４×４画素のように予測対象のサブブロックのサイズが小さい場合、イントラ予測モードが示す予測方向がなす角度が従来の符号化規格であるＨ．２６４と比べて小さいために、同じ周辺画素を参照する可能性がある。このように、予測対象のサブブロックが小さい程、識別番号が隣接するイントラ予測モードのそれぞれで参照する画素が重なってしまう。
　これを解決するために、図７Ａ及び図７Ｂに示すように、決定部１２１は、３５個のイントラ予測モードの中で、偶数番号が設定されているイントラ予測モードのみを予測モード候補として決定する。このようにすれば、隣接するイントラ予測モードが示す方向が成す角度を大きくすることができる。よって、予測時に利用する周辺画素の重複を低減することができる。さらに、自然画でよく用いられる縦線及び横線を重視する割合を保ったまま、イントラ予測モードの数を制限することができる。
　なお、制限するイントラ予測モードは、偶数番号でなく、奇数番号でもよい。又は、１以上の間隔となってもよい。
　また、決定部１２１は、予測モード候補として決定されるｍ個のイントラ予測モードの種類及び個数は、動的に決定してもよい。
　［まとめ］
　以上のように、本実施の形態に係る画像符号化装置１００は、入力画像を符号化する画像符号化装置１００であって、入力画像の符号化対象ブロックを複数のサブブロックに分割するピクチャ分割部１０２と、ピクチャ分割部１０２によって分割されたサブブロック毎にイントラ予測を行うイントラ予測部１０９とを備え、イントラ予測部１０９は、予測対象のサブブロックのサイズが所定のサイズ以下であるか否かを判定する判定部１２０と、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、ブロックサイズに依存することなく予め規定されたＭ個（Ｍは、２以上の自然数）のイントラ予測モードの数より少ないｍ個（ｍは、自然数）のイントラ予測モードを予測モード候補として決定する決定部１２１と、決定部１２１によって決定された予測モード候補の中から１つのイントラ予測モードを選択し、選択したイントラ予測モードを用いて前記予測対象のサブブロックのイントラ予測を行う予測部１２２とを備える。
　これにより、画像符号化装置１００は、イントラ予測対象のサブブロックサイズが例えば４×４画素などの小さいブロックサイズである場合、利用できるイントラ予測モードの数を制限することができる。小さいサブブロックサイズである場合、隣接するイントラ予測モードを利用した結果、得られる予測値はほとんど変わらない。そのため、このようなイントラ予測モードを制限したとしても、符号化効率をほとんど落とすことなくイントラ予測に要する処理量を削減することができる。具体的には、本開示に係る画像符号化装置１００では、利用可能なイントラ予測モードの数をＭ個からｍ個に制限するので、Ｍ－ｍ個のイントラ予測モードを用いたイントラ予測に要する処理量を削減することができる。
　さらに、決定部１２１は、イントラ予測モードの識別番号が等間隔になるｍ個のイントラ予測モードを前記予測モード候補として決定してもよい。これにより、簡易な制御方法で、予測対象のサブブロックのサイズが小さい場合に利用可能なイントラ予測モードを決定することができる。また、自然画でよく用いられる縦方向、横方向を重視するイントラ予測モード数の割合を保ったまま制限することができる。そのため、入力画像の特徴がどのようなものであっても、符号化効率を極端に悪化させることなく、イントラ予測に要する処理量を削減することができる。
　（実施の形態の変形例）
　以下、図面を参照しながら、上記とは異なるイントラ予測モードの数の制限方法について説明する。
　（変形例１）
　変形例１に係る決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、予測方向がなす角度が等間隔になる少なくともｍ－２個のイントラ予測モードを含むｍ個のイントラ予測モードを予測モード候補として決定する。
　図８は、本実施の形態の変形例１に係る予測方向がなす角度を利用してイントラ予測モードの数を制限する動作を説明するための図である。
　ＨＥＶＣでは、互いに異なる予測方向を持つ３３個のイントラ予測モード（方向予測モード）が定義されている。決定部１２１は、決定後の方向予測モードがなす予測方向の角度が等間隔になるように、少なくともｍ－２個の方向予測モードを含むｍ個のイントラ予測モードを予測モード候補として決定する。
　例えば、図８に示すように、決定部１２１は、３３個の方向予測モードの中から決定された９個の方向予測モードと、ＤＣ予測モードと、Ｐｌａｎａｒ予測モードとの１１個のイントラ予測モードを予測モード候補として決定する。具体的には、決定部１２１は、イントラ予測モードの予測方向がなす角度が約２２．５度毎になるように、９個の方向予測モードを決定する。つまり、決定後のイントラ予測モードにおいては、隣接する方向予測モードのなす角度が等しくなるように、決定部１２１は、少なくともｍ－２個の方向予測モードを決定する。
　このようにすれば、予測モード候補の数（ｍの値）を少なくした場合でも、制限後のイントラ予測モードは全方位を網羅できる。すなわち、特定の方向に対するイントラ予測モードがすべて制限されることがない。
　なお、イントラ予測モードの方向が成す角度は、約２２．５度よりも大きくても小さくてもよい。なお、角度が大きい場合は、利用できるイントラ予測モードが少なくなる。つまり、予測精度が低下することにより、出力される符号列の符号量が大きくなる可能性があるが、イントラ予測に要する処理量を低減することができる。一方で、角度が小さい場合は、利用できるイントラ予測モードが多くなる。つまり、イントラ予測に要する処理量は増加するが、予測精度が向上することにより、出力される符号列の符号量を小さくすることができる。
　（変形例２）
　変形例２に係る決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、Ｐｌａｎａｒ予測モード及びＤＣ予測モードを含むｍ個のイントラ予測モードを予測モード候補として決定する。
　図９は、本実施の形態の変形例２に係るＰｌａｎａｒ予測モード及びＤＣ予測モードが利用できるようにイントラ予測モードの数を制限する動作を説明するための図である。
　ＨＥＶＣでは、３３個の方向予測モードの他に、Ｐｌａｎａｒ予測モードとＤＣ予測モードとが規定されている。このとき、例えば、単にイントラ予測モードの識別番号に基づき制限した場合、図７ＢのようにＤＣ予測モードが予測モード候補として利用できなくなる可能性がある。
　決定部１２１は、図９に示すように、Ｐｌａｎａｒ予測モード及びＤＣ予測モードが利用できるように、Ｐｌａｎａｒ予測モードとＤＣ予測モードとを含むｍ個のイントラ予測モードを予測モード候補として決定する。これにより、予測の方向性に依存してしまうモードでは対応できない特徴を有する画像に対応することができる。つまり、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　なお、変形例２に係る決定部１２１は、Ｐｌａｎａｒ予測モード及びＤＣ予測モードを除く、残りのｍ－２個のイントラ予測モードをどのように決定してもよい。例えば、決定部１２１は、識別番号が等間隔になるｍ－２個のイントラ予測モードを残りの予測モード候補として決定してもよい。あるいは、決定部１２１は、予測方向がなす角度が等間隔になるｍ－２個のイントラ予測モードを残りの予測モード候補として決定してもよい。
　（変形例３）
　変形例３に係る決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、予測方向が水平方向及び垂直方向であるイントラ予測モードを含むｍ個のイントラ予測モードを予測モード候補として決定する。
　図１０は、本実施の形態の変形例３に係る水平方向及び垂直方向のイントラ予測モードが利用できるようにイントラ予測モードの数を制限する動作を説明するための図である。
　例えば、単に識別番号に基づいてイントラ予測モードを制限した場合、図１０の（ａ）に示すように、予測方向が水平方向又は垂直方向であるイントラ予測モードが予測モード候補として利用できなくなる場合がある。
　決定部１２１は、図１０の（ｂ）に示すように、予測方向が水平方向及び垂直方向であるイントラ予測モードが利用できるように、予測方向が水平方向及び垂直方向であるイントラ予測モードを含むｍ個のイントラ予測モードを予測モード候補として決定する。これにより、イントラ予測部１０９は、縦線及び横線が多い人工的な画像の予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　なお、変形例３に係る決定部１２１は、予測方向が水平方向及び垂直方向であるイントラ予測モードを除く、残りのｍ－２個のイントラ予測モードをどのように決定してもよい。例えば、決定部１２１は、識別番号が等間隔になるｍ－２個のイントラ予測モードを残りの予測モード候補として決定してもよい。あるいは、決定部１２１は、予測方向がなす角度が等間隔になるｍ－２個のイントラ予測モードを残りの予測モード候補として決定してもよい。
　（変形例４）
　変形例４に係る決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、イントラ予測モードの利用頻度を示す頻度情報に基づいて、ｍ個のイントラ予測モードを予測モード候補として決定する。
　図１１は、本実施の形態の変形例４に係るイントラ予測モードの利用頻度に基づいてイントラ予測モードの数を制限する動作を説明するための図である。図１１は、イントラ予測モードのモード番号（識別番号）を利用頻度が高い順に並べた表を示している。図１１に示す例では、モード０が最も頻繁に使用されたイントラ予測モードであることを示し、モード１、モード２６の順に利用頻度が低減している。
　決定部１２１は、例えば、メモリを有し、図１１に示すようなイントラ予測モードの利用頻度を示すデータを保持する。このデータは、現在の符号化対象ブロックを符号化する前、又は、現在のイントラ予測対象のサブブロックをイントラ予測する前に作成される。例えば、利用頻度を示すデータ（頻度情報）は、実験的にあらゆる動画像を符号化し、イントラ予測モードの利用状況を調査する。そして、データ（頻度情報）は、調査結果に基づいて使用頻度とイントラ予測モードとを対応づけたリストとして作成される。
　決定部１２１は、データ（頻度情報）を利用して、例えば、利用頻度が多いイントラ予測モードの予測方向周辺の方向を示すイントラ予測モードを多く含むｍ個のイントラ予測モードを予測モード候補として決定する。このようにすれば、画像の一般的な特徴が分かり、それに応じて制限することができる。また、実験的にあらゆる動画像を符号化する際に、画像を分類しておけば、分類に該当する画像であった場合、画像の特徴に合わせた制限方法が可能になる。
　また、決定部１２１は、利用頻度が最も高いイントラ予測モードからｍ番目に高いイントラ予測モードまでのｍ個のイントラ予測モードを予測モード候補として決定してもよい。また、決定部１２１は、ｍ個全てのイントラ予測モードを頻度情報に基づいて決定しなくてもよい。言い換えると、決定部１２１は、予測モード候補として決定すべきｍ個のイントラ予測モードのうち、ｋ（１≦ｋ＜ｍ）個のイントラ予測モードを頻度情報に基づいて決定し、ｍ－ｋ個のイントラ予測モードをその他の方法によって決定してもよい。例えば、決定部１２１は、利用頻度が最も高いイントラ予測モードからｋ番目に高いイントラ予測モードまでのｋ個のイントラ予測モードと、識別番号が等間隔になるｍ－ｋ個のイントラ予測モードとを予測モード候補として決定してもよい。
　なお、頻度情報は、動的に更新してもよい。例えば、入力画像、符号化対象ブロック、又は、予測対象のサブブロック毎に、決定部１２１は、利用したイントラ予測モードの利用頻度を頻度情報に蓄積してもよい。そして、決定部１２１は、蓄積した頻度情報に基づいて、例えば、予測対象のサブブロック毎に、ｍ個のイントラ予測モードを予測モード候補として決定してもよい。
　（変形例５）
　変形例５に係る決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、入力画像、符号化対象ブロック及び予測対象のサブブロックの少なくとも１つに含まれるエッジを示すエッジ情報に基づいて、ｍ個のイントラ予測モードを予測モード候補として決定する。エッジ情報は、例えば、エッジの位置、方向及び強度を示す情報である。
　図１２は、本実施の形態の変形例５に係るエッジに基づいてイントラ予測モードの数を制限する動作を示すフローチャートである。
　決定部１２１は、例えば、サブブロック毎に、エッジ強度と強度の大きい成分の方向の判定結果とに基づいた予測方向を優遇するようにイントラ予測モードの数を制限する。具体的には、まず、決定部１２１は、符号化対象のサブブロックが属する画像において、エッジの強度を探索し、強度の大きい成分の方向を抽出する（Ｓ１２１）。
　エッジ強度の大きい成分がある場合（Ｓ１２１でＹｅｓ）、決定部１２１は、エッジの強度が大きい成分の方向を優遇して、イントラ予測モードの数を制限する（Ｓ１２２）。具体的には、決定部１２１は、エッジ強度の大きい成分の方向に最も近い予測方向の方向予測モードと、当該方向予測モードと特徴が類似するイントラ予測モードとを含むように、イントラ予測モードの数を制限する。具体的には、決定部１２１は、エッジ強度の大きい成分の方向に最も近い予測方向の方向予測モードと、当該方向予測モードに隣接する方向予測モードとを含むｍ個のイントラ予測モードを予測モード候補として決定する。
　一方、エッジ強度の大きい成分がない場合（Ｓ１２１でＮｏ）、決定部１２１は、エッジに依存することなく、イントラ予測モードの数を制限する（Ｓ１２３）。具体的には、決定部１２１は、例えば、本実施の形態、変形例１～４に示したような方法に基づいて、イントラ予測モードの数を制限する。
　このようにすれば、決定部１２１は、サブブロック毎に効率良くイントラ予測モードの数を制限することができる。また、エッジの方向に基づいてイントラ予測モードの数を制限するので、イントラ予測の精度を高めることができ、符号化効率を高めることができる。
　また、エッジ強度の大きさのみを探索し、強度の大きいサブブロックにおいて使用可能な予測方向数を減らさない方法でもよい。すなわち、所定の大きさより大きい強度のエッジが検出されたサブブロックの場合、決定部１２１は、Ｍ個のイントラ予測モードを予測モード候補として決定してもよい。逆に、所定の大きさより小さい強度のエッジが検出されたサブブロック、あるいは、エッジが検出されないサブブロックの場合、決定部１２１は、ｍ個のイントラ予測モードを予測モード候補として決定してもよい。例えば、決定部１２１は、例えば、本実施の形態、変形例１～４に示したような方法に基づいて、イントラ予測モードの数を制限してもよい。このように、エッジの方向に依存せず、エッジの位置と強度とに基づいてｍ個のイントラ予測モードを決定してもよい。
　また、決定部１２１は、予測対象のサブブロック毎ではなく、符号化対象ブロック毎、又は、入力画像毎に、エッジ情報を取得し、取得したエッジ情報に基づいて、ｍ個のイントラ予測モードを決定してもよい。つまり、決定部１２１は、入力画像、符号化対象のブロック、又は、予測対象のサブブロックにおける画像の特徴に基づいて、ｍ個のイントラ予測モードを予測モード候補として決定してもよい。
　（変形例６）
　変形例６に係る決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、予測対象のサブブロックの各画素が参照する参照画素の組み合わせが互いに異なるｍ個のイントラ予測モードを予測モード候補として決定する。例えば、決定部１２１は、隣接するイントラ予測モードにおいて、（式２）の参照画素ｐ（ａ）及びｐ（ｂ）が同じ画素になった場合、隣接するイントラ予測モードをどちらか一方のみを含むようにｍ個のイントラ予測モードを予測モード候補として決定する。
　図１３は、本実施の形態の変形例６に係る２つのイントラ予測モードにおいて利用する参照画素の組み合わせを示す図である。図１３では、一例として、モード４とモード５のイントラ予測モードの参照画素について示している。
　図１３に示すように、モード４とモード５では、４×４画素のサブブロック内の全ての画素において、利用する参照画素は同一になる。そこで、決定部１２１は、このような２つのイントラ予測モードのうちいずれか一方を制限する。つまり、決定部１２１は、同一の参照画素を利用するモード４とモード５の２つのイントラ予測モードのうち、例えば、モード４のイントラ予測モードを利用不可にする。
　２つのイントラ予測モードにおいて、利用する参照画素が同じ場合、２つのイントラ予測モードのそれぞれに対応する予測画像は、ほぼ同じになる場合が多い。このため、いずれか一方のイントラ予測モードを利用不可にすることで、イントラ予測処理に要する処理量を削減することができる。このように、重なる参照画素に基づいて効率良く制限することができる。
　決定部１２１は、決定後のｍ個のイントラ予測モードを用いた場合に、予測対象のサブブロックの各画素が参照する参照画素の組み合わせが互いに異なるように、ｍ個のイントラ予測モードを予測モード候補として決定する。このとき、残りのＭ－ｍ個のイントラ予測モードのイントラ予測モードの任意の１つを用いた場合の参照画素の組み合わせは、例えば、予測モード候補として決定されたｍ個のイントラ予測モードのいずれか１つと同一となる。
　このように、参照画素の組み合わせが重なることがないように、かつ、様々な組み合わせが利用可能となるような最適な個数であるｍ個のイントラ予測モードを、決定部１２１は、予測モード候補として決定する。これにより、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　また、決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、予測対象のサブブロックの各画素が参照する参照画素の一部が互いに異なるｍ個のイントラ予測モードを予測モード候補として決定してもよい。例えば、決定部１２１は、隣接する方向予測モードで、一部の画素の参照画素が同じになる場合についても、効率的であると判断されればどちらか一方に制限してもよい。例えば、決定部１２１は、４×４画素の場合、８画素以上で同一の参照画素を利用する場合は効率的であると判断しても構わない。
　また、決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、予測対象のサブブロックの最も右下に位置する画素が参照する参照画素が互いに異なるｍ個のイントラ予測モードを予測モード候補として決定してもよい。つまり、決定部１２１は、予測対象のサブブロックの周辺に位置する画素から最も距離が遠い画素を基準に、イントラ予測モードの数を制限する。
　予測対象のサブブロックの最も右下の画素は、サブブロック内の画素の中で最も参照画素が重ならない画素になる。
　このようにすれば、サブブロック内の全画素を探索するという処理を省ける上に、最も右下の画素で制限することで、処理サブブロック内の多くの画素で参照画素が重なっている可能性が高くなり、効率良く制限することができる。
　また、２つの参照画素と（式２）とを用いて予測値を求める場合以外にも、１つの参照画素と（式１）とを用いて予測値を求める場合でも、同じように制限できる。
　また、決定部１２１は、判定部１２０によって予測対象のサブブロックのサイズが所定のサイズ以下であると判定された場合に、予測対象のサブブロックに隣接するサブブロックの予測に用いたイントラ予測モードを含むｍ個のイントラ予測モードを予測モード候補として決定してもよい。例えば、決定部１２１は、本実施の形態、変形例１～６に示したような方法に基づいて決定したｍ－１個のイントラ予測モードと、隣接するサブブロックの予測に用いたイントラ予測モードとを含むｍ個のイントラ予測モードを予測モード候補として決定すればよい。
　隣接するサブブロック間では、画像が類似する可能性が高く、イントラ予測モードの予測方向が一致する可能性が高い。このため、隣接するサブブロックの予測に用いたイントラ予測モードを利用可能にすることで、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　また、上記の実施の形態、及び、変形例１～６は、いくつか組み合わせても構わない。このようにすれば、決定部１２１は、単独の条件で制限する場合よりも、効率的に制限することができる可能性がある。例えば、約２２．５度毎の角度で等間隔に制限する条件（変形例１）と、Ｐｌａｎａｒ予測モード及びＤＣ予測モードが必ず含まれるように制限する条件（変形例２）とを組み合わせれば、Ｈ．２６４の４×４、８×８と同じようなモードを表現できる。これにより、Ｈ．２６４と同じ程度に演算処理が速くなる上に、開発技術の流用が可能となる。
　［まとめ］
　以上のように、本実施の形態の変形例に係る画像符号化装置１００では、決定部１２１は、予測方向がなす角度が等間隔になる少なくともｍ－２個のイントラ予測モードを含むｍ個のイントラ予測モードを予測モード候補として決定してもよい。
　これにより、ｍ－２個のイントラ予測モードの予測方向のなす角度が等間隔になるので、任意の方向に近い予測方向のイントラ予測モードを利用可能にすることができる。したがって、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　また、画像符号化装置１００では、決定部１２１は、Ｐｌａｎａｒ予測モード及びＤＣ予測モードを含むｍ個のイントラ予測モードを予測モード候補として決定してもよい。
　これにより、予測方向に依存しないイントラ予測モードであるＰｌａｎａｒ予測モード及びＤＣ予測モードを利用可能にすることができる。したがって、例えば、入力画像が方向予測モードでは対応できない特徴を有する画像である場合に、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　また、画像符号化装置１００では、決定部１２１は、予測方向が水平方向及び垂直方向であるイントラ予測モードを含むｍ個のイントラ予測モードを予測モード候補として決定してもよい。
　これにより、水平方向及び垂直方向のイントラ予測モードを利用することができる。したがって、例えば、入力画像が縦線及び横線が多い人工的な画像である場合に、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　また、画像符号化装置１００では、決定部１２１は、イントラ予測モードの利用頻度を示す頻度情報に基づいて、ｍ個のイントラ予測モードを予測モード候補として決定してもよい。
　これにより、頻度情報に基づいてｍ個のイントラ予測モードを決定するので、例えば、画像の特徴とイントラ予測モードの利用頻度とを対応付けておくことで、画像の特徴に応じて適切にｍ個のイントラ予測モードを決定することができる。したがって、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　また、画像符号化装置１００では、決定部１２１は、入力画像、符号化対象ブロック及び予測対象のサブブロックの少なくとも１つに含まれるエッジを示すエッジ情報に基づいて、ｍ個のイントラ予測モードを予測モード候補として決定してもよい。
　これにより、エッジ情報に基づいてｍ個のイントラ予測モードを決定するので、例えば、所定の大きさより大きな強度のエッジが検出された場合に、適切にｍ個のイントラ予測モードを決定することができる。例えば、決定部１２１は、エッジの方向に近接する予測方向のイントラ予測モードを多く含むようにｍ個のイントラ予測モードを決定することで、画像の特徴に適したイントラ予測モードを利用可能にすることができる。したがって、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　また、画像符号化装置１００では、決定部１２１は、予測対象のサブブロックの各画素が参照する参照画素の組み合わせが互いに異なるｍ個のイントラ予測モードを予測モード候補として決定してもよい。
　これにより、参照画素の組み合わせが同一になるイントラ予測モードを用いてイントラ予測を行った場合、互いに類似する予測画像が生成されることが多い。したがって、ｍ個のイントラ予測モードの参照画素の組み合わせを互いに異ならせることで、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　また、画像符号化装置１００では、決定部１２１は、予測対象のサブブロックの最も右下に位置する画素が参照する参照画素が互いに異なるｍ個のイントラ予測モードを予測モード候補として決定してもよい。
　これにより、サブブロックの最も右下に位置する画素は、サブブロック内の画素の中で最も参照画素が重ならない画素になる。したがって、最も参照画素が重ならない最も右下の画素の予測の際に用いる参照画素が重ならないようにすることで、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　また、画像符号化装置１００では、決定部１２１は、予測対象のサブブロックに隣接するサブブロックの予測に用いたイントラ予測モードを含むｍ個のイントラ予測モードを予測モード候補として決定してもよい。
　これにより、隣接するサブブロック間では画像が類似する可能性が高く、イントラ予測モードの予測方向が一致する可能性が高い。したがって、隣接するサブブロックで用いたイントラ予測モードを利用可能にすることで、予測の精度を大きく損なうことなく、イントラ予測処理に要する処理量を削減することができる。
　以上のように、いずれの場合においても、符号化効率を極端に悪化させることなく、イントラ予測に要する処理量を削減することができる。
　なお、上記の実施の形態において、決定部１２１は、入力画像の画面解像度に応じて、制限前に利用できるイントラ予測モードの数を変更する構成にしても構わない。つまり、入力画像の画面解像度が第１サイズである場合に、Ｍ１個のイントラ予測モードが利用可能であり、入力画像の画面解像度が第１サイズより小さい第２サイズである場合に、Ｍ２個のイントラ予測モードが利用可能となる。このとき、Ｍ１及びＭ２はともに、２以上の自然数であり、Ｍ１＜Ｍ２≦Ｍの関係を満たす。
　例えば、決定部１２１は、入力画像の画面解像度が１９２０×１０８０画素の場合、ブロックサイズに依存することなく予め規定されたＭ個のイントラ予測モードに代えて、Ｍ１個のイントラ予測モードからｍ個のイントラ予測モードを予測モード候補として決定する。一方、決定部１２１は、入力画像の画面解像度が９２０×７２０画素である場合、ブロックサイズに依存することなく予め規定されたＭ個のイントラ予測モードに代えて、Ｍ２個のイントラ予測モードから、ｍ個のイントラ予測モードを予測モード候補として決定する。
　なお、Ｍ１個又はＭ２個のイントラ予測モードからｍ個のイントラ予測モードを予測モード候補として決定する方法としては、例えば、本実施の形態、及び、変形例１～６に示した方法を用いることができる。このように、入力画像の画面解像度に応じてイントラ予測モードの個数をＭ個からＭ１個又はＭ２個に制限し、さらに、予測対象のサブブロックのサイズに応じてイントラ予測モードの個数をＭ１個又はＭ２個からｍ個に制限することができる。
　上記のように構成することにより、画面解像度が大きくなるにつれ増加するイントラ予測処理の処理量の影響を抑えながらイントラ予測モードの制限を実施することができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態及びその変形例１～６を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態及びその変形例１～６で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
　したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　また、本開示に係る画像符号化装置は、入力画像を符号化する画像符号化装置であって、入力画像の符号化対象ブロックを複数のサブブロックに分割する分割部と、分割部によって分割されたサブブロック毎にイントラ予測を行うイントラ予測部とを備え、イントラ予測部は、ブロックサイズに依存することなく予め規定されたＭ個（Ｍは、２以上の自然数）のイントラ予測モードの数より少なく、かつ、入力画像に依存することなく予め定められたｍ個（ｍは、自然数）のイントラ予測モードを予測モード候補として決定する決定部と、決定部によって決定された予測モード候補の中から１つのイントラ予測モードを選択し、選択したイントラ予測モードを用いて予測対象のサブブロックのイントラ予測を行う予測部とを備えてもよい。
　具体的には、本開示に係る画像符号化装置では、予めｍ個のイントラ予測モードが予測モード候補として規定されている。例えば、静止画、動画像、自然画像、文字画像などの入力画像の種別に依存することなく、かつ、符号化対象ブロックのサイズ、予測対象のサブブロックサイズなどの符号化処理の処理単位のサイズに依存することなく、イントラ予測部は、ｍ個のみのイントラ予測モードが利用可能である。すなわち、いかなるイントラ予測処理においても、イントラ予測部は、予め定められたｍ個のイントラ予測モードの中から１つのイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。
　このように、符号化規格で規定されたＭ個のイントラ予測モードの中からｍ個のイントラ予測モードが、利用可能な予測モード候補として、入力画像及び符号化処理の処理単位のサイズに依存することなく定められていてもよい。これにより、どのような入力画像が入力された場合であっても、イントラ予測に要する処理量を削減することができる。
　また、決定部は、符号化規格で規定されたＭ個のイントラ予測モードの中から、入力画像の画面解像度に応じて異なる個数のイントラ予測モードを予測モード候補として決定してもよい。
　具体的には、決定部は、入力画像の画面解像度が第１サイズ（例えば、１９２０×１０８０画素）である場合に、Ｍ１個のイントラ予測モードを予測モード候補として決定してもよい。また、決定部は、入力画像の画面解像度が第１サイズより小さい第２サイズ（例えば、９２０×７２０画素）である場合に、Ｍ２個のイントラ予測モードを予測モード候補として決定してもよい。このとき、Ｍ１及びＭ２はともに、２以上の自然数であり、Ｍ１＜Ｍ２≦Ｍの関係を満たす。
　このように、決定部は、符号化対象ブロックのサイズ、予測対象のサブブロックサイズなどの符号化処理の処理単位のサイズに依存することなく、入力画像の画面解像度に応じて予測モード候補を決定する。画面解像度が大きくなるにつれ増加するイントラ予測処理の処理量の影響を抑えながらイントラ予測モードの制限を実施することができる。
　なお、本開示に係る画像符号化装置１００を構成する各構成要素（ピクチャバッファ１０１、ピクチャ分割部１０２、減算部１０３、予測残差符号化部１０４、係数符号列生成部１０５、予測残差復号化部１０６、加算部１０７、予測画像生成部１０８、イントラ予測部１０９、ループフィルタ１１０、フレームメモリ１１１、インター予測部１１２、選択部１１３、量子化値決定部１１４、ヘッダ符号列生成部１１５、判定部１２０、決定部１２１及び予測部１２２）は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）通信インターフェース、Ｉ／Ｏポート、ハードディスク、ディスプレイなどを備えるコンピュータ上で実行されるプログラムなどのソフトウェアで実現されてもよく、電子回路などのハードウェアで実現されてもよい。
　本開示は、イントラ予測するサブブロックサイズに基づいて、イントラ予測モードを制限する画像符号化装置に適用可能である。具体的には、レコーダ、デジタルカメラ又はタブレット端末装置などに、本開示は適用可能である。
１００　画像符号化装置
１０１　ピクチャバッファ
１０２　ピクチャ分割部
１０３　減算部
１０４　予測残差符号化部
１０５　係数符号列生成部
１０６　予測残差復号化部
１０７　加算部
１０８　予測画像生成部
１０９　イントラ予測部
１１０　ループフィルタ
１１１　フレームメモリ
１１２　インター予測部
１１３　選択部
１１４　量子化値決定部
１１５　ヘッダ符号列生成部
１２０　判定部
１２１　決定部
１２２　予測部
２００、２０１　方向
 

Claims (12)

  1. 　入力画像を符号化する画像符号化装置であって、
    　前記入力画像の符号化対象ブロックを複数のサブブロックに分割する分割部と、
    　前記分割部によって分割されたサブブロック毎にイントラ予測を行うイントラ予測部とを備え、
    　前記イントラ予測部は、
    　予測対象のサブブロックのサイズが所定のサイズ以下であるか否かを判定する判定部と、
    　前記判定部によって前記予測対象のサブブロックのサイズが前記所定のサイズ以下であると判定された場合に、ブロックサイズに依存することなく予め規定されたＭ個（Ｍは、２以上の自然数）のイントラ予測モードの数より少ないｍ個（ｍは、自然数）のイントラ予測モードを予測モード候補として決定する決定部と、
    　前記決定部によって決定された予測モード候補の中から１つのイントラ予測モードを選択し、選択したイントラ予測モードを用いて前記予測対象のサブブロックのイントラ予測を行う予測部とを備える
    　画像符号化装置。
  2. 　前記決定部は、イントラ予測モードの識別番号が等間隔になるｍ個のイントラ予測モードを前記予測モード候補として決定する
    　請求項１に記載の画像符号化装置。
  3. 　前記決定部は、予測方向がなす角度が等間隔になる少なくともｍ－２個のイントラ予測モードを含むｍ個のイントラ予測モードを前記予測モード候補として決定する
    　請求項１に記載の画像符号化装置。
  4. 　前記決定部は、予測方向が水平方向及び垂直方向であるイントラ予測モードを含むｍ個のイントラ予測モードを前記予測モード候補として決定する
    　請求項１に記載の画像符号化装置。
  5. 　前記決定部は、Ｐｌａｎａｒ予測モード及びＤＣ予測モードを含むｍ個のイントラ予測モードを前記予測モード候補として決定する
    　請求項１に記載の画像符号化装置。
  6. 　前記決定部は、前記入力画像、前記符号化対象ブロック及び前記予測対象のサブブロックの少なくとも１つに含まれるエッジを示すエッジ情報に基づいて、ｍ個のイントラ予測モードを前記予測モード候補として決定する
    　請求項１に記載の画像符号化装置。
  7. 　前記決定部は、前記予測対象のサブブロックの各画素が参照する参照画素の組み合わせが互いに異なるｍ個のイントラ予測モードを前記予測モード候補として決定する
    　請求項１に記載の画像符号化装置。
  8. 　前記決定部は、前記予測対象のサブブロックの最も右下に位置する画素が参照する参照画素が互いに異なるｍ個のイントラ予測モードを前記予測モード候補として決定する
    　請求項１に記載の画像符号化装置。
  9. 　前記決定部は、イントラ予測モードの利用頻度を示す頻度情報に基づいて、前記ｍ個のイントラ予測モードを前記予測モード候補として決定する
    　請求項１に記載の画像符号化装置。
  10. 　前記決定部は、前記予測対象のサブブロックに隣接するサブブロックの予測に用いたイントラ予測モードを含むｍ個のイントラ予測モードを前記予測モード候補として決定する
    　請求項１に記載の画像符号化装置。
  11. 　前記所定のサイズは、４×４画素である
    　請求項１に記載の画像符号化装置。
  12. 　入力画像を符号化する画像符号化方法であって、
    　前記入力画像の符号化対象ブロックを複数のサブブロックに分割し、
    　分割されたサブブロック毎にイントラ予測を行い、
    　前記イントラ予測では、
    　予測対象のサブブロックのサイズが所定のサイズ以下であるか否かを判定し、
    　前記予測対象のサブブロックのサイズが前記所定のサイズ以下であると判定した場合に、ブロックサイズに依存することなく予め規定されたＭ個（Ｍは、２以上の自然数）のイントラ予測モードの数より少ないｍ個（ｍは、自然数）のイントラ予測モードを予測モード候補として決定し、
    　決定された予測モード候補の中から１つのイントラ予測モードを選択し、選択したイントラ予測モードを用いて前記予測対象のサブブロックのイントラ予測を行う
    　画像符号化方法。
     
     
PCT/JP2013/005811 2012-10-01 2013-09-30 画像符号化装置及び画像符号化方法 WO2014054267A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014539606A JPWO2014054267A1 (ja) 2012-10-01 2013-09-30 画像符号化装置及び画像符号化方法
US14/673,816 US20150208090A1 (en) 2012-10-01 2015-03-30 Image encoding apparatus and image encoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-219109 2012-10-01
JP2012219109 2012-10-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/673,816 Continuation US20150208090A1 (en) 2012-10-01 2015-03-30 Image encoding apparatus and image encoding method

Publications (1)

Publication Number Publication Date
WO2014054267A1 true WO2014054267A1 (ja) 2014-04-10

Family

ID=50434611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/005811 WO2014054267A1 (ja) 2012-10-01 2013-09-30 画像符号化装置及び画像符号化方法

Country Status (3)

Country Link
US (1) US20150208090A1 (ja)
JP (1) JPWO2014054267A1 (ja)
WO (1) WO2014054267A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016171561A (ja) * 2015-03-09 2016-09-23 パナソニックＩｐマネジメント株式会社 画面内予測装置、画面内予測方法及び画面内予測回路
JP2019530367A (ja) * 2016-10-04 2019-10-17 クアルコム，インコーポレイテッド ビデオコーディングのための可変数のイントラモード
US11082703B2 (en) 2016-05-13 2021-08-03 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US20210297659A1 (en) 2018-09-12 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
JP2021530941A (ja) * 2018-07-02 2021-11-11 北京字節跳動網絡技術有限公司Beijing Bytedance Network Technology Co., Ltd. イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
US11528501B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Interaction between LUT and AMVP
US11528500B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Partial/full pruning when adding a HMVP candidate to merge/AMVP
US11589071B2 (en) 2019-01-10 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Invoke of LUT updating
US11641483B2 (en) 2019-03-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US11695921B2 (en) 2018-06-29 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
US11877002B2 (en) 2018-06-29 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Update of look up table: FIFO, constrained FIFO
US11895318B2 (en) 2018-06-29 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
US11909951B2 (en) 2019-01-13 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Interaction between lut and shared merge list
US11909989B2 (en) 2018-06-29 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Number of motion candidates in a look up table to be checked according to mode
US11956464B2 (en) 2019-01-16 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Inserting order of motion candidates in LUT
US11973971B2 (en) 2018-06-29 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Conditions for updating LUTs

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621358B1 (ko) * 2015-04-16 2016-05-17 아주대학교 산학협력단 Ｈｅｖｃ 부호화 장치 및 그 인트라 예측 모드 결정 방법
TWI683573B (zh) * 2017-03-10 2020-01-21 聯發科技股份有限公司 用於視訊編解碼中具有畫面內方向預測模式之內含畫面內編解碼工具設定的方法和裝置
KR20210016053A (ko) * 2018-06-25 2021-02-10 김기백 영상 부호화/복호화 방법 및 장치
US10881956B2 (en) * 2018-12-28 2021-01-05 Intel Corporation 3D renderer to video encoder pipeline for improved visual quality and low latency
WO2020156454A1 (en) * 2019-01-31 2020-08-06 Mediatek Inc. Method and apparatus of transform type assignment for intra sub-partition in video coding
US11178427B2 (en) * 2019-02-08 2021-11-16 Qualcomm Incorporated Dynamic sub-partition intra prediction for video coding
CN113411600B (zh) * 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US20230022215A1 (en) * 2019-12-09 2023-01-26 Nippon Telegraph And Telephone Corporation Encoding method, encoding apparatus and program
US11856204B2 (en) * 2020-05-04 2023-12-26 Ssimwave Inc. Macroblocking artifact detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003520531A (ja) * 2000-01-21 2003-07-02 ノキア コーポレイション イメージをコード化する方法およびイメージコーダ
JP2006148419A (ja) * 2004-11-18 2006-06-08 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
JP2009105696A (ja) * 2007-10-24 2009-05-14 Nippon Telegr & Teleph Corp <Ntt> 予測モード情報符号化方法，予測モード情報復号方法，これらの装置，およびこれらのプログラム並びにコンピュータ読み取り可能な記録媒体
WO2012042860A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラム、及び集積回路
JP2012147268A (ja) * 2011-01-12 2012-08-02 Ntt Docomo Inc 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
JP2012147332A (ja) * 2011-01-13 2012-08-02 Sony Corp 符号化装置および符号化方法、並びに復号装置および復号方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003520531A (ja) * 2000-01-21 2003-07-02 ノキア コーポレイション イメージをコード化する方法およびイメージコーダ
JP2006148419A (ja) * 2004-11-18 2006-06-08 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
JP2009105696A (ja) * 2007-10-24 2009-05-14 Nippon Telegr & Teleph Corp <Ntt> 予測モード情報符号化方法，予測モード情報復号方法，これらの装置，およびこれらのプログラム並びにコンピュータ読み取り可能な記録媒体
WO2012042860A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラム、及び集積回路
JP2012147268A (ja) * 2011-01-12 2012-08-02 Ntt Docomo Inc 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
JP2012147332A (ja) * 2011-01-13 2012-08-02 Sony Corp 符号化装置および符号化方法、並びに復号装置および復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KEN MCCANN ET AL.: "Samsung's Response to the Call for Proposals on Video Compression Technology", JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST MEETING, 23 April 2010 (2010-04-23), DRESDEN, DE, pages 16 - 17 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016171561A (ja) * 2015-03-09 2016-09-23 パナソニックＩｐマネジメント株式会社 画面内予測装置、画面内予測方法及び画面内予測回路
US11082703B2 (en) 2016-05-13 2021-08-03 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US11431968B2 (en) 2016-10-04 2022-08-30 Qualcomm Incorporated Variable number of intra modes for video coding
JP2019530367A (ja) * 2016-10-04 2019-10-17 クアルコム，インコーポレイテッド ビデオコーディングのための可変数のイントラモード
US11895318B2 (en) 2018-06-29 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
US11706406B2 (en) 2018-06-29 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
US11973971B2 (en) 2018-06-29 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Conditions for updating LUTs
US11909989B2 (en) 2018-06-29 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Number of motion candidates in a look up table to be checked according to mode
US11528501B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Interaction between LUT and AMVP
US11528500B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Partial/full pruning when adding a HMVP candidate to merge/AMVP
US11877002B2 (en) 2018-06-29 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Update of look up table: FIFO, constrained FIFO
US11695921B2 (en) 2018-06-29 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
JP2021530941A (ja) * 2018-07-02 2021-11-11 北京字節跳動網絡技術有限公司Beijing Bytedance Network Technology Co., Ltd. イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
JP7181395B2 (ja) 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
US11463685B2 (en) 2018-07-02 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. LUTS with intra prediction modes and intra mode prediction from non-adjacent blocks
US20210297659A1 (en) 2018-09-12 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
US11589071B2 (en) 2019-01-10 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Invoke of LUT updating
US11909951B2 (en) 2019-01-13 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Interaction between lut and shared merge list
US11956464B2 (en) 2019-01-16 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Inserting order of motion candidates in LUT
US11962799B2 (en) 2019-01-16 2024-04-16 Beijing Bytedance Network Technology Co., Ltd Motion candidates derivation
US11641483B2 (en) 2019-03-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools

Also Published As

Publication number Publication date
US20150208090A1 (en) 2015-07-23
JPWO2014054267A1 (ja) 2016-08-25

Similar Documents

Publication Publication Date Title
WO2014054267A1 (ja) 画像符号化装置及び画像符号化方法
CN111066326B (zh) 机器学习视频处理系统和方法
RU2509436C1 (ru) Способ и устройство для кодирования и декодирования блока кодирования границы картинки
CN107241605B (zh) 视频编码器以及视频编码方法
JP4047879B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
JP4763422B2 (ja) イントラ予測装置
KR101459714B1 (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP6072678B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
AU2019204852A1 (en) Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
JP2007053561A (ja) 画像符号化装置および画像符号化方法
KR101645544B1 (ko) 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
KR102570374B1 (ko) 영상 부호화 장치, 영상 부호화 방법, 영상 부호화 프로그램, 영상 복호 장치, 영상 복호 방법, 및 영상 복호 프로그램
JP2017126829A (ja) 動画像符号化装置、動画像符号化方法、及びプログラム
KR101543313B1 (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP2008141407A (ja) 符号化方式変換装置及び符号化方式変換方法
KR101543310B1 (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101543309B1 (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP6080077B2 (ja) 画像符号化方法及び画像符号化装置
JP6331972B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
KR101543323B1 (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP5812806B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101226497B1 (ko) 움직임 벡터 부호화 방법 및 장치
CN117044203A (zh) 用于一维变换跳过的eob的信令
JP2013223149A (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP2016058874A (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13844363

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014539606

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13844363

Country of ref document: EP

Kind code of ref document: A1