WO2012096229A1 - 符号化装置および符号化方法、並びに復号装置および復号方法 - Google Patents

符号化装置および符号化方法、並びに復号装置および復号方法 Download PDF

Info

Publication number
WO2012096229A1
WO2012096229A1 PCT/JP2012/050172 JP2012050172W WO2012096229A1 WO 2012096229 A1 WO2012096229 A1 WO 2012096229A1 JP 2012050172 W JP2012050172 W JP 2012050172W WO 2012096229 A1 WO2012096229 A1 WO 2012096229A1
Authority
WO
WIPO (PCT)
Prior art keywords
intra prediction
unit
prediction mode
current block
image
Prior art date
Application number
PCT/JP2012/050172
Other languages
English (en)
French (fr)
Inventor
佐藤　数史
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201280004774.0A priority Critical patent/CN103503453A/zh
Priority to US13/994,058 priority patent/US20130266232A1/en
Publication of WO2012096229A1 publication Critical patent/WO2012096229A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Definitions

  • the present technology relates to an encoding device, an encoding method, a decoding device, and a decoding method, and in particular, an encoding device, an encoding method, and decoding that can improve encoding efficiency when performing intra prediction.
  • the present invention relates to an apparatus and a decoding method.
  • MPEG compressed by orthogonal transform such as discrete cosine transform and motion compensation is used for the purpose of efficient transmission and storage of information.
  • a device that compresses and encodes an image using a method such as Moving (Pictures Experts Group) phase) is becoming popular.
  • MPEG2 ISO / IEC 13818-2
  • ISO / IEC 13818-2 is defined as a general-purpose image coding system, and is a standard that covers both interlaced and progressively scanned images, standard resolution images, and high-definition images. And widely used in a wide range of applications for consumer use.
  • MPEG2 compression method for example, a standard resolution interlaced scanning image having 720 ⁇ 480 pixels is 4 to 8 Mbps, and a high resolution interlaced scanning image having 1920 ⁇ 1088 pixels is 18 to 22 Mbps. (Bit rate) can be assigned to achieve a high compression rate and good image quality.
  • This MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but it does not support encoding with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate.
  • bit rate code amount
  • MPEG4 encoding method has been standardized accordingly.
  • the MPEG4 image coding system was approved as an international standard as ISO / IEC ⁇ 14496-2 in December 1998.
  • H.C. The standardization of 26L (ITU-T Q6 / 16 VCEG (Video Coding Expert Group)) is in progress.
  • H. 26L is known to achieve higher encoding efficiency than the conventional encoding schemes such as MPEG2 and MPEG4, although a large amount of calculation is required for encoding and decoding.
  • this H. Based on 26L, H. Standardization to achieve higher coding efficiency by incorporating functions that are not supported by 26L is performed as JointJModel of Enhanced-Compression Video Coding. This is the same as that of H. 264 / MPEG-4 Part 10 Advanced Video Coding (hereinafter referred to as H.264 / AVC) has become an international standard.
  • H.264 / AVC Part 10 Advanced Video Coding
  • H.264 / AVC format is an encoding method that can express film noise contained in movies well, and has been adopted for a wide range of applications such as Blu-Ray Disc applications.
  • H There are nine types of 4 ⁇ 4 intra prediction mode, 8 ⁇ 8 intra prediction mode, and four types of 16 ⁇ 16 intra prediction modes in the luminance signal intra prediction modes of the H.264 / AVC system, and color difference signal intra prediction modes.
  • one intra prediction mode is defined for each block of luminance signals of 4 ⁇ 4 pixels and 8 ⁇ 8 pixels.
  • one prediction mode is defined for one macroblock.
  • Non-Patent Document 1 For example,
  • the number of intra prediction modes is increased compared to the H.264 / AVC method, and the maximum number of modes in the intra prediction mode is 34.
  • H. As with H.264 / AVC, if MostProbableMode and the intra prediction mode of the target block for intra prediction processing match, a flag indicating that they match is included in the image compression information. If they do not match, the intra prediction mode itself is compressed. It is proposed to be included in the information. Note that MostProbableMode is the smallest of the intra prediction modes of the peripheral blocks of the block targeted for intra prediction processing.
  • the probability that MostProbableMode and the intra prediction mode of the block subject to intra prediction processing match is low. Therefore, when the MostProbableMode and the intra prediction mode of the target block for the intra prediction process do not match, if the intra prediction mode itself is included in the image compression information, the encoding efficiency decreases.
  • the present technology has been made in view of such a situation, and is intended to improve the coding efficiency when performing intra prediction.
  • the encoding device generates a prediction value of the optimal intra prediction mode of the current block using the optimal intra prediction mode of the peripheral block located around the current block to be encoded.
  • a difference generation unit that generates a difference between the prediction value generation unit, the optimal intra prediction mode of the current block, and the prediction value of the optimal intra prediction mode of the current block generated by the prediction value generation unit; and the difference generation unit And a transmission unit that transmits the difference generated by the encoding.
  • the encoding method according to the first aspect of the present technology corresponds to the encoding device according to the first aspect of the present technology.
  • a prediction value of the optimal intra prediction mode of the current block is generated using the optimal intra prediction mode of the peripheral block located around the current block to be encoded, and the current A difference between the optimal intra prediction mode of the block and the prediction value of the optimal intra prediction mode of the current block is generated, and the difference is transmitted.
  • the decoding device is generated using the optimal intra prediction mode of the current block to be decoded and the optimal intra prediction mode of the peripheral blocks located around the current block, A prediction value that generates a prediction value of the optimal intra prediction mode of the current block using a receiving unit that receives a difference between the prediction value of the optimal intra prediction mode of the current block and the optimal intra prediction mode of the peripheral block An optimal intra prediction of the current block by calculating a prediction value of an optimal intra prediction mode of the current block generated by the generation unit, the difference received by the reception unit, and the prediction value generation unit It is a decoding apparatus provided with the intra prediction mode production
  • the decoding method according to the second aspect of the present technology corresponds to the decoding device according to the second aspect of the present technology.
  • the current block generated using the optimal intra prediction mode of the current block to be decoded and the optimal intra prediction mode of the peripheral blocks located around the current block.
  • the difference between the prediction value of the optimal intra prediction mode of the current block is received, and the prediction value of the optimal intra prediction mode of the current block is generated using the optimal intra prediction mode of the neighboring block, and the difference and the The optimal intra prediction mode of the current block is generated by calculating the prediction value of the optimal intra prediction mode of the current block.
  • the encoding device according to the first aspect and the decoding device according to the second aspect can be realized by causing a computer to execute a program.
  • a program to be executed by a computer is transmitted through a transmission medium or recorded on a recording medium, Can be provided.
  • the first aspect of the present technology it is possible to improve the encoding efficiency when performing intra prediction.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an encoding device to which the present technology is applied.
  • the encoding device 10 in FIG. 1 compresses and encodes an input image using the HEVC method.
  • the A / D conversion unit 11 of the encoding device 10 performs A / D conversion on an image in frame units input as an input signal, and outputs and stores the image in the screen rearrangement buffer 12.
  • the screen rearrangement buffer 12 rearranges the stored frame-by-frame images in the order for encoding in accordance with the GOP (Group of Picture) structure, the arithmetic unit 13, the intra prediction unit 24, and This is output to the motion prediction / compensation unit 26.
  • the calculation unit 13 functions as a generation unit, and calculates (generates) a difference between the prediction image supplied from the prediction image selection unit 27 and the encoding target image output from the screen rearrangement buffer 12. Specifically, the calculation unit 13 subtracts the prediction image supplied from the prediction image selection unit 27 from the encoding target image output from the screen rearrangement buffer 12. The computing unit 13 outputs an image obtained as a result of the subtraction to the orthogonal transform unit 14 as residual information (residual image). When the predicted image is not supplied from the predicted image selection unit 27, the calculation unit 13 outputs the image read from the screen rearrangement buffer 12 to the orthogonal transform unit 14 as residual information as it is.
  • the orthogonal transformation unit 14 performs orthogonal transformation such as DCT (Discrete Cosine Transform), KLT (Karhunen Loeve Transform) on the residual information from the calculation unit 13, and the coefficient obtained as a result of the orthogonal transformation is supplied to the quantization unit 15. Supply.
  • DCT Discrete Cosine Transform
  • KLT Kerhunen Loeve Transform
  • the quantization unit 15 quantizes the coefficient supplied from the orthogonal transform unit 14.
  • the quantized coefficient is input to the lossless encoding unit 16.
  • the lossless encoding unit 16 includes information indicating the difference between the optimal intra prediction mode number of the target block (unit) of the intra prediction process and the MostProbableMode defined by the following equation (1) (hereinafter referred to as the optimal differential intra prediction mode). Information) is acquired from the intra prediction unit 24.
  • MostProbableMode Min (Intra_4x4_pred_modeA, Intra_4x4_pred_modeB) ... (1)
  • Intra_4x4_pred_modeA is the number of the optimal intra prediction mode of the block A adjacent to the left of the block C to be subjected to the intra prediction process
  • Intra_4x4_pred_modeB is the optimal of the block B adjacent to the block C. This is the intra prediction mode number.
  • the smaller number is set as MostProbableMode.
  • the block A and the block B are blocks around the block C, they may not be adjacent to each other.
  • inter prediction mode information information indicating the optimal inter prediction mode (hereinafter referred to as inter prediction mode information), a motion vector, information for specifying a reference image, and the like are acquired from the motion prediction / compensation unit 26.
  • the lossless encoding unit 16 performs variable length encoding (for example, CAVLC (Context-Adaptive Variable Length Coding)), arithmetic encoding (for example, CABAC) on the quantized coefficients supplied from the quantization unit 15. (Context-Adaptive
  • the lossless encoding unit 16 losslessly encodes the optimum differential intra prediction mode information, inter prediction mode information, motion vector, information for specifying a reference image, and the like, and adds the resulting information to the compressed image. Use header information.
  • the optimum difference intra prediction mode information when the optimum difference intra prediction mode information is 0, the optimum difference intra prediction mode information is not included in the header information, but may be included. In the present embodiment, when the optimum differential intra prediction mode information and the coefficient obtained as a result of the orthogonal transform by the orthogonal transform unit 14 are 0, the operation mode is set to the intra skip mode, and the compressed image and the header information are generated. Not generated, but can be generated.
  • the lossless encoding unit 16 functions as a part of the transmission unit, and outputs the compressed image to which the header information obtained as a result of the lossless encoding is added to the accumulation buffer 17 as image compression information for accumulation.
  • the accumulation buffer 17 temporarily stores the image compression information supplied from the lossless encoding unit 16 and transmits the information to, for example, a recording device or a transmission path (not shown) in the subsequent stage.
  • the quantized coefficient output from the quantization unit 15 is also input to the inverse quantization unit 18, subjected to inverse quantization, and then supplied to the inverse orthogonal transform unit 19.
  • the inverse orthogonal transform unit 19 performs inverse orthogonal transform such as IDCT (Inverse Discrete Cosine Transform) and inverse KLT on the coefficient supplied from the inverse quantization unit 18, and adds the residual information obtained as a result to the adder 20. Supply.
  • IDCT Inverse Discrete Cosine Transform
  • KLT inverse KLT
  • the adding unit 20 adds the residual information as the decoding target image supplied from the inverse orthogonal transform unit 19 and the predicted image supplied from the predicted image selecting unit 27 to obtain a locally decoded image. .
  • the addition part 20 makes the residual information supplied from the inverse orthogonal transformation part 19 the image decoded locally.
  • the adder 20 supplies the locally decoded image to the deblocking filter 21 and also supplies it to the frame memory 22 for storage.
  • the deblocking filter 21 removes block distortion by filtering the locally decoded image supplied from the adding unit 20.
  • the deblocking filter 21 supplies the image obtained as a result to the frame memory 22 and accumulates it.
  • the image stored in the frame memory 22 is output as a reference image to the intra prediction unit 24 or the motion prediction / compensation unit 26 via the switch 23.
  • the intra prediction unit 24 performs intra prediction processing of a method called ADI (Arbitrary Directional Intra) of all candidate intra prediction modes using the reference image read out from the frame memory 22 via the switch 23, A prediction image is generated.
  • ADI Arbitrary Directional Intra
  • the candidate intra prediction modes are 4 ⁇ 4 intra prediction mode, 8 ⁇ 8 intra prediction mode, 16 ⁇ 16 intra prediction mode, 32 ⁇ 32 intra prediction mode, and 64 ⁇ 64 intra prediction mode.
  • the intra prediction process in the intra prediction mode of the luminance signal will be described, but the intra prediction process in the intra prediction mode of the color difference signal is performed in the same manner.
  • the intra prediction unit 24 calculates cost function values (details will be described later) for all candidate intra prediction modes, using images, predicted images, and the like read from the screen rearrangement buffer 12. . Then, the intra prediction unit 24 determines the intra prediction mode that minimizes the cost function value as the optimal intra prediction mode. The intra prediction unit 24 supplies the predicted image generated in the optimal intra prediction mode and the corresponding cost function value to the predicted image selection unit 27. The intra prediction unit 24 supplies the optimal difference intra prediction mode information to the lossless encoding unit 16 when the prediction image selection unit 27 is notified of the selection of the prediction image generated in the optimal intra prediction mode.
  • the cost function value is also called RD (Rate Distortion) cost.
  • the cost function value is, for example, an H.M. JM (Joint Model) published at http://iphome.hhi.de/suehring/tml/index.htm. It is calculated based on either the High / Complexity mode or the Low / Complexity mode as defined by the H.264 / AVC format reference software.
  • Equation (2) ⁇ is the entire set of candidate prediction modes, D is the difference energy between the original image and the decoded image, and R is the coefficient of orthogonal transform when encoded in each prediction mode.
  • the total code amount included, ⁇ is a Lagrange undetermined multiplier given as a function of the quantization parameter QP.
  • Equation (3) D is the difference energy between the original image and the predicted image, Header_Bit does not include the orthogonal transform coefficient, the code amount regarding the information included in the header such as the motion vector and the prediction mode, and QP2Quant is the quantization This is a function given as a function of parameter QP.
  • the intra prediction unit 24 selects an optimal intra prediction mode (hereinafter referred to as a peripheral optimal intra prediction mode) for an encoded block around the block (unit) that is the target of the intra prediction process, and a candidate for the current intra prediction mode.
  • the candidate intra prediction mode is supplied to the prediction mode encoding unit 25.
  • the prediction mode encoding unit 25 generates difference intra prediction mode information indicating a difference between the number of MostProbableMode and the candidate intra prediction mode using the peripheral optimum intra prediction mode and the candidate intra prediction mode supplied from the intra prediction unit 24. .
  • the prediction mode encoding unit 25 supplies the generated difference intra prediction mode information to the intra prediction unit 24.
  • the motion prediction / compensation unit 26 performs motion prediction / compensation processing for all candidate inter prediction modes. Specifically, the motion prediction / compensation unit 26 selects all candidate inter prediction modes based on the image supplied from the screen rearrangement buffer 62 and the reference image read from the frame memory 22 via the switch 23. The motion vector is detected. Then, the motion prediction / compensation unit 26 performs compensation processing on the reference image based on the motion vector to generate a predicted image.
  • the motion prediction / compensation unit 26 calculates cost function values for all candidate inter prediction modes, and determines the inter prediction mode that minimizes the cost function value as the optimal inter measurement mode. Then, the motion prediction / compensation unit 26 supplies the cost function value of the optimal inter prediction mode and the corresponding prediction image to the prediction image selection unit 27. In addition, when the prediction image selection unit 27 is notified of the selection of the prediction image generated in the optimal inter prediction mode, the motion prediction / compensation unit 26 specifies the inter prediction mode information, the corresponding motion vector, and the reference image. Are output to the lossless encoding unit 16.
  • the predicted image selection unit 27 Based on the cost function values supplied from the intra prediction unit 24 and the motion prediction / compensation unit 26, the predicted image selection unit 27 has a smaller corresponding cost function value of the optimal intra prediction mode and the optimal inter prediction mode. Are determined as the optimum prediction mode. Thus, since the one with the smallest cost function value is determined as the optimum prediction mode, higher encoding efficiency can be realized.
  • the predicted image selection unit 27 supplies the predicted image in the optimal prediction mode to the calculation unit 13 and the addition unit 20. Further, the predicted image selection unit 27 notifies the intra prediction unit 24 or the motion prediction / compensation unit 26 of selection of the predicted image in the optimal prediction mode.
  • the rate control unit 28 controls the rate of the quantization operation of the quantization unit 15 based on the image compression information stored in the storage buffer 17 so that overflow or underflow does not occur.
  • FIG. 2 is a block diagram illustrating a configuration example of the intra prediction unit 24 and the prediction mode encoding unit 25 in FIG.
  • the intra prediction unit 24 includes a candidate prediction image generation unit 41, a cost function value calculation unit 42, a prediction mode determination unit 43, a prediction image generation unit 44, an intra skip determination unit 45, and a mode buffer 46. Composed.
  • the candidate prediction image generation unit 41 of the intra prediction unit 24 sequentially sets all the candidate intra prediction modes as the intra prediction mode of the current intra prediction process (hereinafter referred to as the current intra prediction mode).
  • the candidate prediction image generation unit 41 uses the reference image read out via the switch 23 in FIG. 1 to perform intra prediction in the current intra prediction mode for each block of a predetermined size in the encoding target image. Perform prediction processing.
  • the candidate predicted image generation unit 41 supplies the predicted image obtained as a result to the cost function value calculation unit 42.
  • the cost function value calculation unit 42 calculates the cost function according to the above formula (2) or (3) based on the prediction image supplied from the candidate prediction image generation unit 41 and the image supplied from the screen rearrangement buffer 12. Find the value. Further, the cost function value calculation unit 42 supplies the current intra prediction mode to the prediction mode encoding unit 25. Further, the cost function value calculation unit 42 supplies the obtained cost function value and the difference intra prediction mode information supplied from the prediction mode encoding unit 25 to the prediction mode determination unit 43.
  • the prediction mode determination unit 43 stores the cost function value and the difference intra prediction mode information supplied from the cost function value calculation unit 42 in association with the current intra prediction mode.
  • the prediction mode determination unit 43 determines that the intra prediction mode corresponding to the minimum value among the cost function values stored in association with all the candidate intra prediction modes is the optimal intra prediction mode.
  • the prediction mode determination unit 43 calculates the optimal intra prediction mode, and the optimal differential intra prediction mode information and the cost function value, which are differential intra prediction mode information stored in association with the optimal intra prediction mode, as a predicted image generation unit 44. To supply.
  • the predicted image generation unit 44 uses the reference image supplied via the switch 23 to optimize the intra that is supplied from the prediction mode determination unit 43 for each block of a predetermined size in the image to be encoded. Intra prediction processing in prediction mode is performed. Then, the predicted image generation unit 44 supplies the predicted image obtained as a result of the intra prediction process and the cost function value supplied from the prediction mode determination unit 43 to the predicted image selection unit 27 (FIG. 1). Moreover, the prediction image generation unit 44 receives the selection of the prediction image generated in the optimal intra prediction mode from the prediction image selection unit 27 of FIG. Information is supplied to the intra skip determination unit 45. Further, the predicted image generation unit 44 supplies the optimal intra prediction mode to the mode buffer 46.
  • the intra skip determination unit 45 functions as a part of the transmission unit, and when the optimum difference intra prediction mode information supplied from the prediction image generation unit 44 is not 0, the optimum difference intra prediction mode information is losslessly encoded in FIG. To the unit 16. On the other hand, when the optimum difference intra prediction mode information is 0, the intra skip determination unit 45 stops outputting the optimum difference intra prediction mode information to the lossless encoding unit 16. As a result, when the optimum difference intra prediction mode information is 0, the optimum difference intra prediction mode information is not included in the header information, the optimum difference intra prediction mode information is 0, and the coefficient obtained by the orthogonal transform unit 14 is 0. In some cases, image compression information is not generated.
  • the mode buffer 46 holds the optimal intra prediction mode supplied from the predicted image generation unit 44.
  • the prediction mode encoding unit 25 includes a MostProbableMode generation unit 51 and a difference mode generation unit 52.
  • the MostProbableMode generation unit 51 of the prediction mode encoding unit 25 reads the peripheral optimum intra prediction mode from the mode buffer 46.
  • the MostProbableMode generation unit 51 functions as a prediction value generation unit, and the MostProbableMode defined by the above-described equation (1) is converted to the optimal intra of the target block of the intra prediction process by using the read out peripheral optimum intra prediction mode. Generated as a prediction value in the prediction mode. Then, the MostProbableMode generation unit 51 supplies MostProbableMode to the difference mode generation unit 52.
  • the difference mode generation unit 52 functions as a difference generation unit, and calculates a difference between the MostProbableMode supplied from the MostProbableMode generation unit 51 and the current intra prediction mode supplied from the cost function value calculation unit 42 of the intra prediction unit 24 as a difference intra. Generated as prediction mode information. Specifically, the difference mode generation unit 52 generates CurrMode-MostProbableMode as difference intra prediction mode information when the current intra prediction mode is CurrMode. Then, the difference mode generation unit 52 supplies the generated difference intra prediction mode information to the cost function value calculation unit 42.
  • FIG. 3 is a diagram for explaining Coding UNIT (CU), which is a coding unit in the HEVC scheme.
  • CU is also called Coding Tree Block (CTB). It plays the same role as the macroblock in H.264 / AVC. Specifically, the CU is divided into Prediction Unit (PU) that is a unit of intra prediction or inter prediction, or is divided into Transform Unit (TU) that is a unit of orthogonal transformation.
  • PU Prediction Unit
  • TU Transform Unit
  • the size of the macroblock is fixed to 16 ⁇ 16 pixels
  • the size of the CU is a square represented by a power of 2 that is variable for each sequence.
  • the size of the LCU (Largest Coding Unit) that is the largest CU is 128, and the size of the SCU (Smallest Coding Unit) that is the smallest CU is eight. Therefore, the layer depth (depth) of a 2N ⁇ 2N size CU layered for each N is 0 to 4, and the number of layer depths is 5. Further, when the value of split_flag is 1, the 2N ⁇ 2N size CU is divided into N ⁇ N size CUs, which are one layer below.
  • information specifying the CU size is included in the image compression information as a sequence parameter set.
  • FIG. 4 and 5 are diagrams for explaining the intra prediction processing by the intra prediction unit 24 in FIG. 1.
  • the PU size for intra prediction is 8 ⁇ 8 pixels.
  • squares represent pixels
  • thick frames represent PUs to be subjected to intra prediction processing.
  • the intra prediction unit 24 performs linear interpolation processing with 1/8 pixel accuracy in the intra prediction processing.
  • the number of intra prediction modes for intra prediction processing in the HEVC scheme is large. Therefore, the conventional H.264. Compared to the H.264 / AVC format, there is a high possibility that MostProbableMode and the optimal intra prediction mode of the PU subject to intra prediction processing do not match.
  • the step of the angle based on the horizontal direction or the vertical direction corresponding to the intra prediction mode is 5.625 °. Therefore, when the difference in angle between the PU around the PU subject to intra prediction processing and the PU subject to intra prediction processing based on the horizontal or vertical direction of the optimal prediction direction is small, such as 5.625 ° Even so, in the HEVC scheme, the MostProbableMode and the optimal intra prediction mode are different.
  • the angles of the PU around the PU subject to intra prediction processing and the PU subject to intra prediction processing based on the horizontal or vertical direction of the optimal prediction direction are 11.25 ° and 22.5 °, respectively. In this case, MostProbableMode and optimum intra prediction mode are different.
  • the encoding apparatus 10 includes the optimum differential intra prediction mode information indicating the difference between the MostProbableMode and the optimal intra prediction mode number of the PU that is the target of the intra prediction process in the image compression information. Therefore, even if MostProbableMode and the optimal intra prediction mode of PU of the object of intra prediction processing do not correspond, the information content of the information indicating the optimal intra prediction mode can be reduced. As a result, encoding efficiency is improved.
  • FIG. 6 is a diagram illustrating the number of intra prediction modes.
  • the intra prediction mode numbers (code ⁇ ⁇ ⁇ number) are allocated so that the directions of the prediction image with respect to the PU that is the target of the intra prediction process, that is, the numbers of the intra prediction modes whose prediction directions are adjacent to each other are consecutive. .
  • the optimal differential intra prediction mode information can be reduced.
  • the optimal difference intra prediction mode information Becomes 2.
  • FIG. 7 and 8 are flowcharts for explaining the encoding process by the encoding apparatus 10 of FIG. This encoding process is performed, for example, every time an image in units of frames is input to the encoding device 10 as an input signal.
  • the A / D conversion unit 11 of the encoding device 10 performs A / D conversion on the frame-unit image input as the input signal, and outputs and stores the image in the screen rearrangement buffer 12.
  • step S12 the screen rearrangement buffer 12 rearranges the stored frame images in the display order in the order for encoding according to the GOP structure.
  • the screen rearrangement buffer 12 supplies the rearranged frame-unit images to the calculation unit 13, the intra prediction unit 24, and the motion prediction / compensation unit 26.
  • steps S13 to S19 and S25 to S30 are performed, for example, in units of CUs. However, when there is no reference image, the processes of steps S13 to S15 and S28 are not performed, and the image output from the screen rearrangement buffer 12 is the residual information and the locally decoded image.
  • step S13 the encoding apparatus 10 performs prediction processing including intra prediction processing and inter prediction processing. Details of this prediction process will be described with reference to FIG.
  • step S14 the predicted image selection unit 27 selects one of the optimal intra prediction mode and the optimal inter prediction mode based on the cost function values supplied from the intra prediction unit 24 and the motion prediction / compensation unit 26 in the process of step S13. The one with the smallest cost function value is determined as the optimum prediction mode. Then, the predicted image selection unit 27 supplies the predicted image in the optimal prediction mode to the calculation unit 13 and the addition unit 20.
  • step S15 the calculation unit 13 subtracts the predicted image supplied from the predicted image selection unit 27 from the image supplied from the screen rearrangement buffer 12.
  • the calculation unit 13 outputs an image obtained as a result of the subtraction to the orthogonal transformation unit 14 as residual information.
  • step S ⁇ b> 16 the orthogonal transform unit 14 performs orthogonal transform such as DCT or KLT on the residual information from the calculation unit 13, and supplies the coefficient obtained as a result to the quantization unit 15.
  • step S17 the quantization unit 15 quantizes the coefficient supplied from the orthogonal transform unit.
  • the quantized coefficient is input to the lossless encoding unit 16 and the inverse quantization unit 18.
  • step S18 the predicted image selection unit 27 determines whether or not the optimal prediction mode is the optimal inter prediction mode.
  • the predicted image selection unit 27 notifies the motion prediction / compensation unit 26 of selection of the predicted image generated in the optimal inter prediction mode.
  • the motion prediction / compensation unit 26 outputs the inter prediction mode information, the corresponding motion vector, and information for specifying the reference image to the lossless encoding unit 16.
  • step S19 the lossless encoding unit 16 losslessly encodes the inter prediction mode information, the motion vector, and the information for specifying the reference image supplied from the motion prediction / compensation unit 26, and the process proceeds to step S23. Proceed.
  • the predicted image selection unit 27 performs prediction generated in the optimal intra prediction mode.
  • the intra prediction unit 24 is notified of image selection. Thereby, the prediction image generation part 44 (FIG. 2) of the intra prediction part 24 supplies the optimal difference intra prediction mode information supplied from the prediction mode determination part 43 by the process of step S13 to the intra skip determination part 45.
  • step S20 the intra skip determination part 45 determines whether the optimal difference intra prediction mode information supplied from the estimated image generation part 44 is 0 per PU.
  • step S20 When it is determined in step S20 that the optimum difference intra prediction mode information is not 0, the intra skip determination unit 45 outputs the optimum difference intra prediction mode information to the lossless encoding unit 16 in units of PUs, and the process is performed in step S21. Proceed to
  • step S21 the lossless encoding unit 16 losslessly encodes the optimum differential intra prediction mode information supplied from the intra prediction unit 24 in units of PUs, and the process proceeds to step S23.
  • step S22 the lossless encoding unit 16 determines whether the coefficient obtained in step S16 is 0 for each PU. Determine if.
  • the intra skip determination unit 45 stops outputting the optimum difference intra prediction mode information to the lossless encoding unit 16 in units of PUs, and the process proceeds to step S23. .
  • step S23 the lossless encoding unit 16 performs lossless encoding on the quantized coefficient supplied from the quantization unit 15 in units of PUs, and uses the resulting information as a compressed image.
  • the lossless encoding unit 16 adds the information losslessly encoded in step S19 or S21 to the compressed image, generates image compression information, and supplies the compressed information to the accumulation buffer 17.
  • step S24 of FIG. 8 the lossless encoding unit 16 supplies the image compression information to the accumulation buffer 17 in units of PUs and accumulates it. Then, the process proceeds to step S25.
  • the intra skip determination unit 45 stops outputting the optimum differential intra prediction mode information to the lossless encoding unit 16 in units of PUs.
  • the lossless encoding unit 16 stops the output of the compressed image by stopping the lossless encoding of the quantized coefficient supplied from the quantization unit 15 in units of PUs. As a result, the image compression information is not accumulated in the accumulation buffer 17, and the process proceeds to step S25.
  • step S25 the storage buffer 17 outputs the stored CU-unit image compression information to, for example, a recording device or a transmission path (not shown) in the subsequent stage.
  • step S26 the inverse quantization unit 18 inversely quantizes the quantized coefficient supplied from the quantization unit 15.
  • step S ⁇ b> 27 the inverse orthogonal transform unit 19 performs inverse orthogonal transform such as IDCT and inverse KLT on the coefficient supplied from the inverse quantization unit 18, and supplies the residual information obtained as a result to the addition unit 20. .
  • step S28 the adding unit 20 adds the residual information supplied from the inverse orthogonal transform unit 19 and the predicted image supplied from the predicted image selecting unit 27, and obtains a locally decoded image.
  • the adding unit 20 supplies the obtained image to the deblocking filter 21 and also supplies it to the frame memory 22.
  • step S29 the deblocking filter 21 removes block distortion by filtering the locally decoded image supplied from the adding unit 20, and supplies the image to the frame memory 22.
  • step S30 the frame memory 22 stores the images before and after filtering. Specifically, the frame memory 22 stores the image supplied from the adder 20 and the image supplied from the deblock filter 21. The image stored in the frame memory 22 is output as a reference image to the intra prediction unit 24 or the motion prediction / compensation unit 26 via the switch 23. Then, the process ends.
  • FIG. 9 is a flowchart for explaining the details of the prediction process in step S13 of FIG.
  • steps S41 to S51 and the processing of steps S52 to S61 in FIG. 9 are performed in parallel, for example.
  • the intra prediction unit 24 selects an undecided size among 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, 16 ⁇ 16 pixels, 32 ⁇ 32 pixels, and 64 ⁇ 64 pixels. Determine as the size.
  • the intra prediction unit 24 sets PUs that are not yet set as targets of the intra prediction process, among PUs of a determined size that constitute a CU that is a target of the prediction process, as targets of the intra prediction process.
  • step S42 the MostProbableMode generating unit 51 reads out the peripheral optimum intra prediction mode for the PU subject to the intra prediction process from the mode buffer 46, and generates MostProbableMode by the above-described equation (1) based on the peripheral optimum intra prediction mode. To do. Then, the MostProbableMode generation unit 51 supplies MostProbableMode to the difference mode generation unit 52. In addition, the candidate predicted image generation unit 41 sequentially sets all the candidate intra prediction modes as the current intra prediction mode, and the processes in subsequent steps S43 to S45 are performed for each current intra prediction mode. Note that the current intra prediction mode is supplied from the cost function value calculation unit 42 to the difference mode generation unit 52.
  • step S43 the difference mode generation unit 52 generates difference intra prediction mode information using the MostProbableMode supplied from the MostProbableMode generation unit 51 and the current intra prediction mode supplied from the cost function value calculation unit 42.
  • the cost function value calculation unit 42 is supplied.
  • step S44 the candidate prediction image generation unit 41 uses the reference image read out from the frame memory 22 of FIG. 1 via the switch 23 for the PU that is the target of the intra prediction process, in the current intra prediction mode. Perform intra prediction processing.
  • the candidate predicted image generation unit 41 supplies the predicted image obtained as a result to the cost function value calculation unit 42.
  • step S45 the cost function value calculation unit 42, based on the prediction image supplied from the candidate prediction image generation unit 41 and the image supplied from the screen rearrangement buffer 12, the above-described formula (2) or (3 ) To calculate the cost function value. Then, the cost function value calculation unit 42 supplies the obtained cost function value and the difference intra prediction mode information supplied from the difference mode generation unit 52 to the prediction mode determination unit 43. Thereby, the prediction mode determination unit 43 stores the cost function value and the difference intra prediction mode information supplied from the cost function value calculation unit 42 in association with the current intra prediction mode.
  • step S46 the prediction mode determination unit 43 sets the intra prediction mode corresponding to the minimum value among the cost function values stored in association with all the candidate intra prediction modes for the intra prediction process PU. Is determined to be the optimal intra prediction mode.
  • the prediction mode determination unit 43 supplies the optimal intra prediction mode to the prediction image generation unit 44.
  • the predicted image generation unit 44 supplies the optimal intra prediction mode to the mode buffer 46 and stores it. This optimal intra prediction mode is used to determine MostProbableMode.
  • step S47 the intra prediction unit 24 determines whether or not all the PUs of the size determined in step S41 that constitute the CU that is the target of the prediction process are the PUs that are the target of the intra prediction process.
  • step S47 When it is determined in step S47 that all the PUs of the size determined in step S41 that constitute the CU that is the target of the prediction process are not yet the PUs that are the target of the intra prediction process, the intra prediction unit 24 still has A PU that is not the target of the intra prediction process is the target of the intra prediction process. Then, the process returns to step S42, and the subsequent processes are repeated.
  • step S47 if it is determined in step S47 that all the PUs of the size determined in step S41 that constitute the CU that is the target of the prediction process are the PUs that are the target of the intra prediction process, the process proceeds to step S48.
  • step S48 the intra prediction unit 24 determines the sizes of all candidate PUs, that is, 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, 16 ⁇ 16 pixels, 32 ⁇ 32 pixels, and 64 ⁇ 64 pixels in step S41. It is determined whether the size of the PU subject to intra prediction processing has been determined.
  • step S48 If it is determined in step S48 that the sizes of all candidate PUs have not yet been determined as the sizes of PUs to be subjected to the intra prediction process, the process returns to step S41, and the sizes of all the PUs are determined for the intra prediction process. Steps S41 to S48 are repeated until the target PU size is determined.
  • step S49 the prediction mode determination unit 43 determines the PU size that minimizes the cost function value based on the cost function value corresponding to the optimal intra prediction mode determined in step S46 for all PU sizes. Judged as the optimal PU size. Then, the prediction mode determination unit 43 supplies the optimal intra prediction mode having the optimal PU size, the corresponding optimal differential intra prediction mode information, and the cost function value to the prediction image generation unit 44. Note that the optimum PU size is, for example, losslessly encoded and included in the header information.
  • step S50 the predicted image generation unit 44 uses the reference image for each PU of the optimal PU size that constitutes the CU that is the target of the prediction process, and supplies the optimal image supplied from the prediction mode determination unit 43. Intra prediction processing is performed in the optimal intra prediction mode with the appropriate PU size.
  • step S51 the predicted image generation unit 44 outputs the predicted image obtained as a result of the intra prediction process in step S50 and the cost function value supplied from the prediction mode determination unit 43 to the predicted image selection unit 27. Further, the predicted image generation unit 44 supplies the optimum difference intra prediction mode information supplied from the prediction mode determination unit 43 to the intra skip determination unit 45.
  • step S52 the motion prediction / compensation unit 26 determines a size that has not yet been determined as a PU size among all candidate PU sizes. In addition, the motion prediction / compensation unit 26 sets PUs that are not yet set as the targets of the inter prediction process among the PUs of the determined sizes that constitute the CU that is the target of the prediction process as the targets of the inter prediction process. .
  • step S53 the motion prediction / compensation unit 26 uses all the inter prediction modes that are candidates based on the image supplied from the screen rearrangement buffer 62 and the reference image read from the frame memory 22 via the switch 23. Detect motion vectors. Specifically, the motion prediction / compensation unit 26 determines a reference image according to the inter prediction mode. Then, the motion prediction / compensation unit 26 detects a motion vector based on the reference image and the image from the screen rearrangement buffer 62.
  • step S54 the motion prediction / compensation unit 26 performs compensation processing on the reference image based on the motion vector detected in step S53 for each candidate inter prediction mode for the inter prediction processing target PU. Generate an image.
  • step S55 the motion prediction / compensation unit 26 determines, for each candidate inter prediction mode, based on the prediction image generated in step S54 and the image supplied from the screen rearrangement buffer 12, the above formula ( The cost function value is calculated according to 2) or (3).
  • step S56 the motion prediction / compensation unit 26 sets the inter prediction mode corresponding to the minimum value among the cost function values of all candidate inter prediction modes as the optimal inter prediction mode for the PU that is the target of the inter prediction process. judge.
  • step S57 the motion prediction / compensation unit 26 determines whether or not all PUs of the size determined in step S52 constituting the CU that is the target of the prediction process are the PUs that are the target of the inter prediction process.
  • step S57 When it is determined in step S57 that all the PUs of the size determined in step S52 that constitute the CU that is the target of the prediction process are not yet the PUs that are the target of the inter prediction process, the motion prediction / compensation unit 26 The PU that has not yet been subjected to the inter prediction process is the target of the inter prediction process. Then, the process returns to step S53, and the subsequent processes are repeated.
  • step S57 if it is determined in step S57 that all the PUs of the size determined in step S52 that constitute the CU that is the target of the prediction process are the PUs that are the target of the inter prediction process, the process proceeds to step S58.
  • step S58 the motion prediction / compensation unit 26 determines whether the sizes of all candidate PUs are determined as the sizes of PUs to be subjected to the inter prediction process in step S52.
  • step S58 If it is determined in step S58 that the sizes of all PUs have not yet been determined as the sizes of PUs subject to inter prediction processing, the process returns to step S52, and the sizes of all PUs are PUs subject to inter prediction processing. Steps S52 to S58 are repeated until the size is determined.
  • step S58 determines the motion prediction / compensation unit 26 determines the PU size that minimizes the cost function value based on the cost function value corresponding to the optimal inter prediction mode determined in step S56 for all PU sizes. Is determined to be the optimal PU size. Note that the optimum PU size is, for example, losslessly encoded and included in the header information.
  • step S60 the motion prediction / compensation unit 26 performs inter prediction processing in the optimal inter prediction mode with the optimal PU size.
  • step S61 the motion prediction / compensation unit 26 outputs the predicted image obtained as a result of the inter prediction process and the cost function value of the optimal inter prediction mode having the optimal PU size to the predicted image selection unit 27.
  • the encoding device 10 since the encoding device 10 outputs the optimal differential intra prediction mode information as information indicating the optimal intra prediction mode, the information amount of the information indicating the optimal intra prediction mode can be reduced. As a result, it is possible to improve the encoding efficiency when performing intra prediction.
  • the encoding device 10 stops outputting the optimal differential intra prediction mode information, so that the encoding efficiency can be further improved. . Furthermore, when MostProbableMode and the optimal intra prediction mode of the PU that is the target of the intra prediction process match, and the coefficient after orthogonal transformation corresponding to the PU is 0, the encoding device 10 determines the optimal difference intra prediction mode information and the coefficient. Therefore, the encoding efficiency can be further improved.
  • FIG. 10 is a block diagram illustrating a configuration example of a decoding device to which the present technology is applied, which decodes the compressed image information output from the encoding device 10 of FIG.
  • 10 includes an accumulation buffer 101, a lossless decoding unit 102, an inverse quantization unit 103, an inverse orthogonal transform unit 104, an addition unit 105, a deblock filter 106, a screen rearrangement buffer 107, and a D / A conversion unit 108. , Frame memory 109, switch 110, intra prediction unit 111, prediction mode decoding unit 112, motion prediction / compensation unit 113, and switch 114.
  • the accumulation buffer 101 of the decoding apparatus 100 functions as a receiving unit, and receives (receives) and accumulates the image compression information transmitted from the encoding apparatus 10 of FIG.
  • the accumulation buffer 101 supplies the accumulated image compression information to the lossless decoding unit 102.
  • the lossless decoding unit 102 obtains quantized coefficients and headers by performing lossless decoding such as variable length decoding and arithmetic decoding on the compressed image information from the storage buffer 101.
  • the lossless decoding unit 102 supplies the quantized coefficient to the inverse quantization unit 103.
  • the lossless decoding unit 102 supplies the optimal difference intra prediction mode information included in the header to the intra prediction unit 111, and performs motion prediction / compensation on motion vectors, information for specifying reference images, inter prediction mode information, and the like.
  • the inverse quantization unit 103, the inverse orthogonal transform unit 104, the addition unit 105, the deblock filter 106, the frame memory 109, the switch 110, the intra prediction unit 111, and the motion prediction / compensation unit 113 are the inverse quantization unit in FIG. 18, the inverse orthogonal transform unit 19, the adder unit 20, the deblock filter 21, the frame memory 22, the switch 23, the intra prediction unit 24, and the motion prediction / compensation unit 26, respectively. Decrypted.
  • the inverse quantization unit 103 inversely quantizes the quantized coefficient from the lossless decoding unit 102 and supplies the resulting coefficient to the inverse orthogonal transform unit 104.
  • the inverse orthogonal transform unit 104 performs inverse orthogonal transform such as IDCT and inverse KLT on the coefficient from the inverse quantization unit 103, and supplies the residual information obtained as a result to the addition unit 105.
  • the adding unit 105 decodes the decoding target image by adding the residual information as the decoding target image supplied from the inverse orthogonal transform unit 104 and the prediction image supplied from the switch 114.
  • the adding unit 105 supplies the image obtained as a result to the deblocking filter 106 and also supplies it to the frame memory 109.
  • the addition unit 105 supplies the image, which is residual information supplied from the inverse orthogonal transform unit 104, to the deblocking filter 106 and also supplies it to the frame memory 109 for accumulation.
  • the deblock filter 106 removes block distortion by filtering the image supplied from the addition unit 105.
  • the deblocking filter 106 supplies the image obtained as a result to the frame memory 109, stores it, and supplies it to the screen rearrangement buffer 107.
  • the image accumulated in the frame memory 109 is read as a reference image via the switch 110 and supplied to the motion prediction / compensation unit 113 or the intra prediction unit 111.
  • the screen rearrangement buffer 107 stores the image supplied from the deblock filter 106 in units of frames.
  • the screen rearrangement buffer 107 rearranges the stored frame-by-frame images for encoding in the original display order and supplies them to the D / A conversion unit 108.
  • the D / A converter 108 D / A converts the frame unit image supplied from the screen rearrangement buffer 107 and outputs it as an output signal.
  • the intra prediction unit 111 supplies the optimal difference intra prediction mode information supplied from the lossless decoding unit 102 to the prediction mode decoding unit 112.
  • the intra prediction unit 111 performs intra prediction processing in the optimal intra prediction mode supplied from the prediction mode decoding unit 112 using the reference image read from the frame memory 109 via the switch 110, and generates a prediction image. .
  • the intra prediction unit 111 supplies the predicted image to the addition unit 105 via the switch 114. Further, the intra prediction unit 111 holds the optimal intra prediction mode supplied from the prediction mode decoding unit 112.
  • the prediction mode decoding unit 112 reads out the peripheral optimum intra prediction mode among the optimum intra prediction modes held in the intra prediction unit 111. Further, the prediction mode decoding unit 112 generates an optimal intra prediction mode that is a target of the intra prediction process, based on the optimal differential intra prediction mode information supplied from the intra prediction unit 111 and the read out peripheral optimal intra prediction mode. To do. The prediction mode decoding unit 112 supplies the generated optimal intra prediction mode to the intra prediction unit 111.
  • the motion prediction / compensation unit 113 reads the reference image from the frame memory 109 via the switch 110 based on the information for specifying the reference image supplied from the lossless decoding unit 102.
  • the motion prediction / compensation unit 113 performs inter prediction processing in the inter prediction mode represented by the inter prediction mode information, using the motion vector and the reference image.
  • the motion prediction / compensation unit 113 supplies the prediction image generated as a result to the addition unit 105 via the switch 114.
  • FIG. 11 is a block diagram illustrating a configuration example of the intra prediction unit 111 and the prediction mode decoding unit 112 in FIG.
  • the intra prediction unit 111 includes a prediction mode information buffer 121, an adjacent information buffer 122, and a prediction image generation unit 123.
  • the prediction mode information buffer 121 of the intra prediction unit 111 holds the optimum differential intra prediction mode information supplied from the lossless decoding unit 102. Also, the prediction mode information buffer 121 supplies the held optimum difference intra prediction mode information to the prediction mode decoding unit 112.
  • the adjacent information buffer 122 holds the optimal intra prediction mode of the PU that is the target of the intra prediction process supplied from the prediction mode decoding unit 112.
  • the prediction image generation unit 123 uses the reference image supplied from the frame memory 109 via the switch 110, and supplies the prediction mode decoding unit 112 to the intra prediction processing target PU among the decoding target images. Intra prediction processing in the optimum intra prediction mode is performed.
  • the predicted image generation unit 123 supplies the predicted image generated as a result of the intra prediction process to the adding unit 105 via the switch 114 (FIG. 10).
  • the prediction mode decoding unit 112 includes a MostProbableMode generation unit 131 and a prediction mode reconstruction unit 132.
  • the MostProbableMode generating unit 131 of the prediction mode decoding unit 112 reads the peripheral optimum intra prediction mode from the adjacent information buffer 122 of the intra prediction unit 111.
  • the MostProbableMode generation unit 131 functions as a prediction value generation unit, and generates MostProbableMode by the above-described equation (1) using the read peripheral optimum intra prediction mode.
  • the MostProbableMode generation unit 131 supplies MostProbableMode to the prediction mode reconstruction unit 132 as the predicted value of the optimal intra prediction mode of the PU that is the target of the intra prediction process.
  • the prediction mode reconstruction unit 132 functions as an intra prediction mode generation unit. Specifically, the prediction mode reconstruction unit 132 adds the MostProbableMode supplied from the MostProbableMode generation unit 131 and the optimum differential intra prediction mode information supplied from the prediction mode information buffer 121, thereby performing intra prediction processing. Generate the optimal intra prediction mode for the target PU. The prediction mode reconstruction unit 132 supplies the generated optimal intra prediction mode to the adjacent information buffer 122 and the predicted image generation unit 123 of the intra prediction unit 111.
  • FIG. 12 is a flowchart illustrating a decoding process performed by the decoding device 100 in FIG. For example, this decoding process is performed every time frame-based image compression information is input to the decoding device 100.
  • step S101 in FIG. 12 the accumulation buffer 101 receives and accumulates the frame-based image compression information transmitted from the encoding apparatus 10.
  • the accumulation buffer 101 supplies the accumulated image compression information to the lossless decoding unit 102. Note that the following processing in steps S101 to S108 is performed, for example, in units of CUs.
  • step S102 the lossless decoding unit 102 losslessly decodes the compressed image information from the accumulation buffer 101, and obtains quantized coefficients and headers.
  • the lossless decoding unit 102 supplies the quantized coefficient to the inverse quantization unit 103.
  • the lossless decoding unit 102 dequantizes 0 as a quantized coefficient of the PU. To the conversion unit 103. Thereby, the decoding result obtained in step S106 described later is the predicted image itself.
  • step S103 the inverse quantization unit 103 inversely quantizes the quantized coefficient from the lossless decoding unit 102, and supplies the coefficient obtained as a result to the inverse orthogonal transform unit 104.
  • step S104 the inverse orthogonal transform unit 104 performs inverse orthogonal transform such as IDCT and inverse KLT on the coefficient from the inverse quantization unit 103, and supplies the residual information obtained as a result to the addition unit 105.
  • inverse orthogonal transform such as IDCT and inverse KLT
  • step S105 the decoding device 100 performs a prediction process for performing an intra prediction process or an inter prediction process. Details of this prediction processing will be described with reference to FIG.
  • step S106 the adding unit 105 performs decoding by adding the residual information and the predicted image supplied from the switch 114.
  • the adding unit 105 supplies the image obtained as a result to the deblocking filter 106 and also supplies it to the frame memory 109. If there is no reference image, the processing of steps S105 and S106 is not performed, and an image as residual information is supplied to the deblocking filter 106 and also supplied to the frame memory 109.
  • step S107 the deblocking filter 106 performs filtering on the image supplied from the adding unit 105 to remove block distortion.
  • the deblocking filter 106 supplies the filtered image to the frame memory 109.
  • step S108 the frame memory 109 accumulates the image before filtering supplied from the adding unit 105 and the image after filtering supplied from the deblocking filter 106.
  • the image stored in the frame memory 109 is supplied as a reference image to the motion prediction / compensation unit 113 or the intra prediction unit 111 via the switch 110.
  • step S109 the screen rearrangement buffer 107 stores the image supplied from the deblocking filter 106 in units of frames, and rearranges the stored frame-by-frame images for encoding in the original display order. , And supplied to the D / A converter 108.
  • step S110 the D / A conversion unit 108 D / A converts the frame unit image supplied from the screen rearrangement buffer 107, and outputs it as an output signal.
  • FIG. 13 is a flowchart for explaining the details of the prediction process in step S105 of FIG. This prediction process is performed in units of PUs.
  • the lossless decoding unit 102 determines whether or not the optimal prediction mode is the optimal intra prediction mode. Specifically, the lossless decoding unit 102 determines that the optimal prediction mode is optimal when there is no image compression information of the PU subject to prediction processing or when the inter prediction mode information is not included in the header of the image compression information. It determines with it being intra prediction mode. On the other hand, when the inter prediction mode information is included in the header of the image compression information of the prediction target PU, it is determined that the optimal prediction mode is not the optimal intra prediction mode.
  • the lossless decoding unit 102 supplies the optimum difference intra prediction mode information included in the header to the intra prediction unit 111 and the switch 114.
  • step S122 the prediction mode information buffer 121 (FIG. 11) of the intra prediction unit 111 determines whether or not the optimum differential intra prediction mode information is supplied from the lossless decoding unit 102.
  • step S122 If it is determined in step S122 that the optimum difference intra prediction mode information is supplied from the lossless decoding unit 102, in step S123, the prediction mode information buffer 121 acquires and holds the optimum difference intra prediction mode. Then, the prediction mode information buffer 121 supplies the held optimum difference intra prediction mode information to the prediction mode reconstruction unit 132 of the prediction mode decoding unit 112, and the process proceeds to step S124.
  • step S122 when it is determined in step S122 that the optimum differential intra prediction mode information is not supplied from the lossless decoding unit 102, that is, the optimum differential intra prediction mode information is not included in the header, or the image compression information is not included. If not, the process proceeds to step S124.
  • step S124 the MostProbableMode generating unit 131 generates the MostProbableMode as the predicted value of the optimal intra prediction mode using the above-described equation (1) using the peripheral optimal intra prediction mode read from the adjacent information buffer 122. Then, the MostProbableMode generation unit 131 supplies the MostProbableMode to the prediction mode reconstruction unit 132.
  • step S125 the prediction mode reconstruction unit 132 adds the MostProbableMode from the MostProbableMode generation unit 131 and the optimum differential intra prediction mode information from the prediction mode information buffer 121, thereby generating the optimal intra prediction mode. Note that, when the optimum difference intra prediction mode information is not supplied from the prediction mode information buffer 121, MostProbableMode is set as the optimum intra prediction mode as it is.
  • the prediction mode reconstruction unit 132 supplies the generated optimal intra prediction mode to the adjacent information buffer 122 for holding, and also supplies it to the prediction image generation unit 123.
  • step S126 the prediction image generation unit 123 performs intra prediction processing in the optimal intra prediction mode supplied from the prediction mode decoding unit 112, using the reference image supplied from the frame memory 109 via the switch 110.
  • the predicted image generation unit 123 supplies the predicted image generated as a result of the intra prediction process to the adding unit 105 via the switch 114. And a process returns to step S105 of FIG. 12, and progresses to step S106.
  • step S121 when it is determined in step S121 that the optimal prediction mode is not the optimal intra prediction mode, that is, when it is determined that the optimal prediction mode is the optimal inter prediction mode, the lossless decoding unit 102 performs the motion vector, inter prediction mode.
  • Information, information for specifying a reference image, and the like are supplied to the motion prediction / compensation unit 113.
  • step S127 the motion prediction / compensation unit 113 acquires inter prediction mode information, a motion vector, information for specifying a reference image, and the like supplied from the lossless decoding unit 102.
  • step S128 the motion prediction / compensation unit 113 uses the inter prediction mode information, the motion vector, and the information for specifying the reference image to interpolate the optimal inter prediction mode using the reference image read out via the switch 110. Perform prediction processing.
  • the motion prediction / compensation unit 113 supplies the prediction image generated as a result to the addition unit 105 via the switch 114. And a process returns to step S105 of FIG. 12, and progresses to step S106.
  • the decoding apparatus 100 receives the optimum differential intra prediction mode information from the encoding apparatus 10, generates the optimum intra prediction mode by adding the optimum difference intra prediction mode information and MostProbableMode, and obtains the optimum intra prediction. Intra mode prediction processing is performed. As a result, it is possible to decode the compressed image information generated by the encoding device 10 and improved in encoding efficiency when intra prediction is performed.
  • the HEVC scheme is used as a base.
  • the present technology is not limited to this, and an encoding apparatus / decoding scheme that performs an intra prediction process in a plurality of intra prediction modes / It can be applied to a decoding device.
  • the number of intra prediction modes is large as in the HEVC scheme, there is a high possibility that the MostProbableMode and the optimal intra prediction mode of the target PU of the intra prediction process are different, which is more effective.
  • the intra skip mode is set for each PU.
  • the intra skip mode may be set for each CU and each frame.
  • this technology is, for example, MPEG, H.264.
  • the image information (bit stream) compressed by the orthogonal compression such as discrete cosine transform and motion compensation, such as 26x, is transmitted via network media such as satellite broadcasting, cable television, the Internet, or mobile phones.
  • network media such as satellite broadcasting, cable television, the Internet, or mobile phones.
  • the present invention can be applied to an encoding device and a decoding device that are used for reception.
  • the present technology can be applied to an encoding device and a decoding device that are used when processing a storage medium such as an optical disk, a magnetic disk, or a flash memory.
  • the present technology can also be applied to intra prediction devices included in the encoding device and the decoding device.
  • the above-described encoding process and decoding process can be performed by hardware or can be performed by software.
  • a program constituting the software is installed in a general-purpose computer or the like.
  • FIG. 14 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a storage unit 408 or a ROM (Read Only Memory) 402 as a recording medium built in the computer.
  • ROM Read Only Memory
  • the program can be stored (recorded) in the removable medium 411.
  • a removable medium 411 can be provided as so-called package software.
  • examples of the removable medium 411 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, a semiconductor memory, and the like.
  • the program can be installed in the computer from the removable medium 411 as described above via the drive 410, or can be downloaded to the computer via a communication network or a broadcast network and installed in the built-in storage unit 408. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a CPU (Central Processing Unit) 401 built in, and an input / output interface 405 is connected to the CPU 401 via a bus 404.
  • CPU Central Processing Unit
  • the CPU 401 executes a program stored in the ROM 402 according to a command input by the user operating the input unit 406 via the input / output interface 405. Alternatively, the CPU 401 loads the program stored in the storage unit 408 into a RAM (Random Access Memory) 403 and executes it.
  • a RAM Random Access Memory
  • the CPU 401 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 401 causes the processing result to be output from the output unit 407 or transmitted from the communication unit 409 via the input / output interface 405, for example, and further recorded in the storage unit 408 as necessary.
  • the input unit 406 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 407 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • FIG. 15 is a block diagram illustrating a main configuration example of a television receiver using a decoding device to which the present technology is applied.
  • the television receiver 500 shown in FIG. 15 includes a terrestrial tuner 513, a video decoder 515, a video signal processing circuit 518, a graphic generation circuit 519, a panel drive circuit 520, and a display panel 521.
  • the terrestrial tuner 513 receives a broadcast wave signal of terrestrial analog broadcasting via an antenna, demodulates it, acquires a video signal, and supplies it to the video decoder 515.
  • the video decoder 515 performs a decoding process on the video signal supplied from the terrestrial tuner 513 and supplies the obtained digital component signal to the video signal processing circuit 518.
  • the video signal processing circuit 518 performs predetermined processing such as noise removal on the video data supplied from the video decoder 515, and supplies the obtained video data to the graphic generation circuit 519.
  • the graphic generation circuit 519 generates video data of a program to be displayed on the display panel 521, image data by processing based on an application supplied via a network, and the like, and generates the generated video data and image data in the panel drive circuit 520. Supply.
  • the graphic generation circuit 519 generates video data (graphic) for displaying a screen used by the user for selecting an item, and superimposes the video data on the video data of the program.
  • a process of supplying data to the panel drive circuit 520 is also performed as appropriate.
  • the panel drive circuit 520 drives the display panel 521 based on the data supplied from the graphic generation circuit 519, and causes the display panel 521 to display the video of the program and the various screens described above.
  • the display panel 521 is composed of an LCD (Liquid Crystal Display) or the like, and displays a video of a program or the like according to control by the panel drive circuit 520.
  • LCD Liquid Crystal Display
  • the television receiver 500 also includes an audio A / D (Analog / Digital) conversion circuit 514, an audio signal processing circuit 522, an echo cancellation / audio synthesis circuit 523, an audio amplification circuit 524, and a speaker 525.
  • an audio A / D (Analog / Digital) conversion circuit 514 An audio signal processing circuit 522, an echo cancellation / audio synthesis circuit 523, an audio amplification circuit 524, and a speaker 525.
  • the terrestrial tuner 513 acquires not only a video signal but also an audio signal by demodulating the received broadcast wave signal.
  • the terrestrial tuner 513 supplies the acquired audio signal to the audio A / D conversion circuit 514.
  • the audio A / D conversion circuit 514 performs A / D conversion processing on the audio signal supplied from the terrestrial tuner 513, and supplies the obtained digital audio signal to the audio signal processing circuit 522.
  • the audio signal processing circuit 522 performs predetermined processing such as noise removal on the audio data supplied from the audio A / D conversion circuit 514 and supplies the obtained audio data to the echo cancellation / audio synthesis circuit 523.
  • the echo cancellation / voice synthesis circuit 523 supplies the voice data supplied from the voice signal processing circuit 522 to the voice amplification circuit 524.
  • the audio amplification circuit 524 performs D / A conversion processing and amplification processing on the audio data supplied from the echo cancellation / audio synthesis circuit 523, adjusts to a predetermined volume, and then outputs the audio from the speaker 525.
  • the television receiver 500 also has a digital tuner 516 and an MPEG decoder 517.
  • the digital tuner 516 receives a broadcast wave signal of digital broadcasting (terrestrial digital broadcasting, BS (Broadcasting Satellite) / CS (Communications Satellite) digital broadcasting) via an antenna, demodulates, and MPEG-TS (Moving Picture Experts Group). -Transport Stream) and supply it to the MPEG decoder 517.
  • digital broadcasting terrestrial digital broadcasting, BS (Broadcasting Satellite) / CS (Communications Satellite) digital broadcasting
  • MPEG-TS Motion Picture Experts Group
  • the MPEG decoder 517 releases the scramble applied to the MPEG-TS supplied from the digital tuner 516 and extracts a stream including program data to be played (viewing target).
  • the MPEG decoder 517 decodes the audio packet constituting the extracted stream, supplies the obtained audio data to the audio signal processing circuit 522, decodes the video packet constituting the stream, and converts the obtained video data into the video This is supplied to the signal processing circuit 518.
  • the MPEG decoder 517 supplies EPG (Electronic Program Guide) data extracted from MPEG-TS to the CPU 532 via a path (not shown).
  • the television receiver 500 uses the above-described decoding device 100 as the MPEG decoder 517 for decoding video packets in this way. Therefore, the MPEG decoder 517 can decode an image encoded so as to improve the encoding efficiency when performing intra prediction, as in the case of the decoding device 100.
  • the video data supplied from the MPEG decoder 517 is subjected to predetermined processing in the video signal processing circuit 518 as in the case of the video data supplied from the video decoder 515. Then, the video data subjected to the predetermined processing is appropriately superimposed with the generated video data in the graphic generation circuit 519 and supplied to the display panel 521 via the panel drive circuit 520 to display the image. .
  • the audio data supplied from the MPEG decoder 517 is subjected to predetermined processing in the audio signal processing circuit 522 as in the case of the audio data supplied from the audio A / D conversion circuit 514. Then, the audio data that has been subjected to the predetermined processing is supplied to the audio amplifying circuit 524 via the echo cancellation / audio synthesizing circuit 523 and subjected to D / A conversion processing and amplification processing. As a result, sound adjusted to a predetermined volume is output from the speaker 525.
  • the television receiver 500 also includes a microphone 526 and an A / D conversion circuit 527.
  • the A / D conversion circuit 527 receives the user's voice signal captured by the microphone 526 provided in the television receiver 500 for voice conversation.
  • the A / D conversion circuit 527 performs A / D conversion processing on the received audio signal, and supplies the obtained digital audio data to the echo cancellation / audio synthesis circuit 523.
  • the echo cancellation / audio synthesis circuit 523 When the audio data of the user (user A) of the television receiver 500 is supplied from the A / D conversion circuit 527, the echo cancellation / audio synthesis circuit 523 performs echo cancellation on the audio data of the user A. . Then, the echo cancellation / voice synthesis circuit 523 outputs voice data obtained by synthesizing with other voice data after echo cancellation from the speaker 525 via the voice amplification circuit 524.
  • the television receiver 500 also includes an audio codec 528, an internal bus 529, an SDRAM (Synchronous Dynamic Random Access Memory) 530, a flash memory 531, a CPU 532, a USB (Universal Serial Bus) I / F 533, and a network I / F 534.
  • SDRAM Serial Dynamic Random Access Memory
  • USB Universal Serial Bus
  • the A / D conversion circuit 527 receives the user's voice signal captured by the microphone 526 provided in the television receiver 500 for voice conversation.
  • the A / D conversion circuit 527 performs A / D conversion processing on the received audio signal, and supplies the obtained digital audio data to the audio codec 528.
  • the audio codec 528 converts the audio data supplied from the A / D conversion circuit 527 into data of a predetermined format for transmission via the network, and supplies the data to the network I / F 534 via the internal bus 529.
  • the network I / F 534 is connected to the network via a cable attached to the network terminal 535.
  • the network I / F 534 transmits the audio data supplied from the audio codec 528 to other devices connected to the network.
  • the network I / F 534 receives, for example, audio data transmitted from another device connected via the network via the network terminal 535, and receives it via the internal bus 529 to the audio codec 528. Supply.
  • the audio codec 528 converts the audio data supplied from the network I / F 534 into data of a predetermined format and supplies it to the echo cancellation / audio synthesis circuit 523.
  • the echo cancellation / speech synthesis circuit 523 performs echo cancellation on the speech data supplied from the speech codec 528 and synthesizes speech data obtained by synthesizing with other speech data via the speech amplification circuit 524. And output from the speaker 525.
  • the SDRAM 530 stores various data necessary for the CPU 532 to perform processing.
  • the flash memory 531 stores a program executed by the CPU 532.
  • the program stored in the flash memory 531 is read by the CPU 532 at a predetermined timing such as when the television receiver 500 is activated.
  • the flash memory 531 also stores EPG data acquired via digital broadcasting, data acquired from a predetermined server via a network, and the like.
  • the flash memory 531 stores MPEG-TS including content data acquired from a predetermined server via a network under the control of the CPU 532.
  • the flash memory 531 supplies the MPEG-TS to the MPEG decoder 517 via the internal bus 529 under the control of the CPU 532, for example.
  • the MPEG decoder 517 processes the MPEG-TS as in the case of the MPEG-TS supplied from the digital tuner 516. In this way, the television receiver 500 receives content data including video and audio via the network, decodes it using the MPEG decoder 517, displays the video, and outputs audio. Can do.
  • the television receiver 500 also includes a light receiving unit 537 that receives an infrared signal transmitted from the remote controller 551.
  • the light receiving unit 537 receives the infrared light from the remote controller 551 and outputs a control code representing the contents of the user operation obtained by demodulation to the CPU 532.
  • the CPU 532 executes a program stored in the flash memory 531 and controls the overall operation of the television receiver 500 in accordance with a control code supplied from the light receiving unit 537.
  • the CPU 532 and each part of the television receiver 500 are connected via a route (not shown).
  • the USB interface I / F 533 transmits / receives data to / from an external device of the television receiver 500 connected via a USB cable attached to the USB terminal 536.
  • the network I / F 534 is connected to the network via a cable attached to the network terminal 535, and also transmits / receives data other than audio data to / from various devices connected to the network.
  • the television receiver 500 can decode an image encoded so as to improve the encoding efficiency when performing intra prediction, by using the decoding device 100 as the MPEG decoder 517.
  • FIG. 16 is a block diagram illustrating a main configuration example of a mobile phone using an encoding device and a decoding device to which the present technology is applied.
  • a mobile phone 600 shown in FIG. 16 includes a main control unit 650, a power supply circuit unit 651, an operation input control unit 652, an image encoder 653, a camera I / F unit 654, an LCD control, which are configured to control each unit in an integrated manner. 655, an image decoder 656, a demultiplexing unit 657, a recording / reproducing unit 662, a modulation / demodulation circuit unit 658, and an audio codec 659. These are connected to each other via a bus 660.
  • the mobile phone 600 includes an operation key 619, a CCD (Charge Coupled Devices) camera 616, a liquid crystal display 618, a storage unit 623, a transmission / reception circuit unit 663, an antenna 614, a microphone (microphone) 621, and a speaker 617.
  • CCD Charge Coupled Devices
  • the power supply circuit unit 651 starts up the mobile phone 600 in an operable state by supplying power from the battery pack to each unit.
  • the mobile phone 600 transmits / receives audio signals, transmits / receives e-mails and image data, and images in various modes such as a voice call mode and a data communication mode based on the control of the main control unit 650 including a CPU, a ROM, a RAM, and the like. Various operations such as shooting or data recording are performed.
  • the mobile phone 600 converts a voice signal collected by the microphone (microphone) 621 into digital voice data by the voice codec 659, performs spectrum spread processing by the modulation / demodulation circuit unit 658, and transmits and receives
  • the unit 663 performs digital / analog conversion processing and frequency conversion processing.
  • the cellular phone 600 transmits the transmission signal obtained by the conversion processing to a base station (not shown) via the antenna 614.
  • the transmission signal (voice signal) transmitted to the base station is supplied to the mobile phone of the other party via the public telephone line network.
  • the cellular phone 600 in the voice call mode, amplifies the received signal received by the antenna 614 by the transmission / reception circuit unit 663, further performs frequency conversion processing and analog-digital conversion processing, and performs spectrum despreading processing by the modulation / demodulation circuit unit 658. Then, the audio codec 659 converts it to an analog audio signal. The cellular phone 600 outputs an analog audio signal obtained by the conversion from the speaker 617.
  • the mobile phone 600 when transmitting an e-mail in the data communication mode, accepts text data of the e-mail input by operating the operation key 619 in the operation input control unit 652.
  • the cellular phone 600 processes the text data in the main control unit 650 and displays the text data on the liquid crystal display 618 via the LCD control unit 655 as an image.
  • the mobile phone 600 generates e-mail data in the main control unit 650 based on the text data received by the operation input control unit 652, user instructions, and the like.
  • the cellular phone 600 performs spread spectrum processing on the electronic mail data by the modulation / demodulation circuit unit 658 and digital / analog conversion processing and frequency conversion processing by the transmission / reception circuit unit 663.
  • the cellular phone 600 transmits the transmission signal obtained by the conversion processing to a base station (not shown) via the antenna 614.
  • the transmission signal (e-mail) transmitted to the base station is supplied to a predetermined destination via a network and a mail server.
  • the mobile phone 600 when receiving an e-mail in the data communication mode, receives and amplifies the signal transmitted from the base station by the transmission / reception circuit unit 663 via the antenna 614, and further performs frequency conversion processing and Analog-digital conversion processing.
  • the mobile phone 600 performs spectrum despreading processing on the received signal by the modulation / demodulation circuit unit 658 to restore the original e-mail data.
  • the cellular phone 600 displays the restored e-mail data on the liquid crystal display 618 via the LCD control unit 655.
  • the mobile phone 600 can record (store) the received electronic mail data in the storage unit 623 via the recording / playback unit 662.
  • the storage unit 623 is an arbitrary rewritable storage medium.
  • the storage unit 623 may be, for example, a semiconductor memory such as a RAM or a built-in flash memory, a hard disk, or a removable disk such as a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card. It may be media. Of course, other than these may be used.
  • the mobile phone 600 when transmitting image data in the data communication mode, the mobile phone 600 generates image data with the CCD camera 616 by imaging.
  • the CCD camera 616 includes an optical device such as a lens and a diaphragm and a CCD as a photoelectric conversion element, images a subject, converts the intensity of received light into an electrical signal, and generates image data of the subject image.
  • the image data is converted into encoded image data by compression encoding with a predetermined encoding method such as MPEG2 or MPEG4 by the image encoder 653 via the camera I / F unit 654.
  • the cellular phone 600 uses the above-described encoding device 10 as the image encoder 653 that performs such processing. Therefore, the image encoder 653 can improve the encoding efficiency when performing intra prediction, as in the case of the encoding device 10.
  • the cellular phone 600 simultaneously converts the audio collected by the microphone (microphone) 621 during imaging by the CCD camera 616 into an analog codec and further encodes it.
  • the cellular phone 600 multiplexes the encoded image data supplied from the image encoder 653 and the digital audio data supplied from the audio codec 659 in a demultiplexing unit 657 by a predetermined method.
  • the cellular phone 600 performs spread spectrum processing on the multiplexed data obtained as a result by the modulation / demodulation circuit unit 658 and digital / analog conversion processing and frequency conversion processing by the transmission / reception circuit unit 663.
  • the cellular phone 600 transmits the transmission signal obtained by the conversion processing to a base station (not shown) via the antenna 614.
  • a transmission signal (image data) transmitted to the base station is supplied to a communication partner via a network or the like.
  • the mobile phone 600 can display the image data generated by the CCD camera 616 on the liquid crystal display 618 via the LCD control unit 655 without using the image encoder 653.
  • the mobile phone 600 when receiving data of a moving image file linked to a simple homepage or the like, transmits a signal transmitted from the base station to the transmission / reception circuit unit 663 via the antenna 614. Receive, amplify, and further perform frequency conversion processing and analog-digital conversion processing. The mobile phone 600 performs spectrum despreading processing on the received signal by the modulation / demodulation circuit unit 658 to restore the original multiplexed data. In the cellular phone 600, the demultiplexing unit 657 separates the multiplexed data into coded image data and audio data.
  • the cellular phone 600 In the image decoder 656, the cellular phone 600 generates reproduction moving image data by decoding the encoded image data by a decoding method corresponding to a predetermined encoding method such as MPEG2 or MPEG4, and this is controlled by the LCD control.
  • the image is displayed on the liquid crystal display 618 via the unit 655.
  • the moving image data included in the moving image file linked to the simple homepage is displayed on the liquid crystal display 618.
  • the mobile phone 600 uses the above-described decoding device 100 as the image decoder 656 that performs such processing. Therefore, the image decoder 656 can decode an image encoded so as to improve the encoding efficiency when performing intra prediction, as in the case of the decoding device 100.
  • the cellular phone 600 simultaneously converts the digital audio data into an analog audio signal in the audio codec 659 and outputs it from the speaker 617. Thereby, for example, audio data included in the moving image file linked to the simple homepage is reproduced.
  • the mobile phone 600 can record (store) the data linked to the received simplified home page or the like in the storage unit 623 via the recording / playback unit 662. .
  • the mobile phone 600 can analyze the two-dimensional code obtained by the CCD camera 616 by the main control unit 650 and obtain information recorded in the two-dimensional code.
  • the mobile phone 600 can communicate with an external device by infrared rays at the infrared communication unit 681.
  • the cellular phone 600 can improve the encoding efficiency when performing intra prediction by using the encoding device 10 as the image encoder 653.
  • the mobile phone 600 can decode an image encoded so as to improve the encoding efficiency when performing intra prediction, by using the decoding device 100 as the image decoder 656.
  • the mobile phone 600 uses the CCD camera 616.
  • an image sensor CMOS image sensor
  • CMOS Complementary Metal Oxide Semiconductor
  • the mobile phone 600 can capture an image of a subject and generate image data of the image of the subject, as in the case where the CCD camera 616 is used.
  • the mobile phone 600 has been described.
  • an imaging function similar to that of the mobile phone 600 such as a PDA (Personal Digital Assistant), a smartphone, an UMPC (Ultra Mobile Personal Computer), a netbook, a notebook personal computer, or the like.
  • the encoding device 10 and the decoding device 100 can be applied to any device as in the case of the mobile phone 600.
  • FIG. 17 is a block diagram illustrating a main configuration example of a hard disk recorder using an encoding device and a decoding device to which the present technology is applied.
  • a hard disk recorder 700 shown in FIG. 17 receives audio data and video data of a broadcast program included in a broadcast wave signal (television signal) transmitted from a satellite or a ground antenna received by a tuner.
  • This is an apparatus that stores in a built-in hard disk and provides the stored data to the user at a timing according to the user's instruction.
  • the hard disk recorder 700 can, for example, extract audio data and video data from broadcast wave signals, decode them as appropriate, and store them in a built-in hard disk.
  • the hard disk recorder 700 can also acquire audio data and video data from other devices via a network, for example, decode them as appropriate, and store them in a built-in hard disk.
  • the hard disk recorder 700 decodes audio data and video data recorded in a built-in hard disk, supplies the decoded data to the monitor 760, and displays the image on the screen of the monitor 760. Further, the hard disk recorder 700 can output the sound from the speaker of the monitor 760.
  • the hard disk recorder 700 decodes audio data and video data extracted from broadcast wave signals acquired via a tuner, or audio data and video data acquired from other devices via a network, and monitors 760. And the image is displayed on the screen of the monitor 760.
  • the hard disk recorder 700 can also output the sound from the speaker of the monitor 760.
  • the hard disk recorder 700 includes a receiving unit 721, a demodulating unit 722, a demultiplexer 723, an audio decoder 724, a video decoder 725, and a recorder control unit 726.
  • the hard disk recorder 700 further includes an EPG data memory 727, a program memory 728, a work memory 729, a display converter 730, an OSD (On Screen Display) control unit 731, a display control unit 732, a recording / playback unit 733, a D / A converter 734, And a communication unit 735.
  • the display converter 730 has a video encoder 741.
  • the recording / playback unit 733 includes an encoder 751 and a decoder 752.
  • the receiving unit 721 receives an infrared signal from a remote controller (not shown), converts it into an electrical signal, and outputs it to the recorder control unit 726.
  • the recorder control unit 726 is constituted by, for example, a microprocessor and executes various processes according to a program stored in the program memory 728. At this time, the recorder control unit 726 uses the work memory 729 as necessary.
  • the communication unit 735 is connected to the network and performs communication processing with other devices via the network.
  • the communication unit 735 is controlled by the recorder control unit 726, communicates with a tuner (not shown), and mainly outputs a channel selection control signal to the tuner.
  • the demodulator 722 demodulates the signal supplied from the tuner and outputs the demodulated signal to the demultiplexer 723.
  • the demultiplexer 723 separates the data supplied from the demodulation unit 722 into audio data, video data, and EPG data, and outputs them to the audio decoder 724, the video decoder 725, or the recorder control unit 726, respectively.
  • the audio decoder 724 decodes the input audio data by, for example, the MPEG system and outputs the decoded audio data to the recording / playback unit 733.
  • the video decoder 725 decodes the input video data using, for example, the MPEG system, and outputs the decoded video data to the display converter 730.
  • the recorder control unit 726 supplies the input EPG data to the EPG data memory 727 and stores it.
  • the display converter 730 encodes the video data supplied from the video decoder 725 or the recorder control unit 726 into, for example, NTSC (National Television Standards Committee) video data by the video encoder 741, and outputs the encoded video data to the recording / reproducing unit 733.
  • the display converter 730 converts the screen size of the video data supplied from the video decoder 725 or the recorder control unit 726 into a size corresponding to the size of the monitor 760.
  • the display converter 730 further converts the video data whose screen size has been converted into NTSC video data by the video encoder 741, converts the video data into an analog signal, and outputs the analog signal to the display control unit 732.
  • the display control unit 732 Under the control of the recorder control unit 726, the display control unit 732 superimposes the OSD signal output from the OSD (On Screen Display) control unit 731 on the video signal input from the display converter 730 and displays it on the monitor 760 display. Output and display.
  • OSD On Screen Display
  • the monitor 760 is also supplied with audio data output from the audio decoder 724 after being converted into an analog signal by the D / A converter 734.
  • the monitor 760 outputs this audio signal from a built-in speaker.
  • the recording / playback unit 733 includes a hard disk as a storage medium for recording video data, audio data, and the like.
  • the recording / playback unit 733 encodes the audio data supplied from the audio decoder 724 by the encoder 751 in the MPEG system. Further, the recording / reproducing unit 733 encodes the video data supplied from the video encoder 741 of the display converter 730 by the encoder 751 in the MPEG system. The recording / reproducing unit 733 combines the encoded data of the audio data and the encoded data of the video data with a multiplexer. The recording / reproducing unit 733 amplifies the synthesized data by channel coding and writes the data to the hard disk via the recording head.
  • the recording / reproducing unit 733 reproduces the data recorded on the hard disk via the reproducing head, amplifies it, and separates it into audio data and video data by a demultiplexer.
  • the recording / playback unit 733 uses the decoder 752 to decode the audio data and video data using the MPEG method.
  • the recording / playback unit 733 performs D / A conversion on the decoded audio data, and outputs it to the speaker of the monitor 760.
  • the recording / playback unit 733 performs D / A conversion on the decoded video data and outputs it to the display of the monitor 760.
  • the recorder control unit 726 reads the latest EPG data from the EPG data memory 727 based on the user instruction indicated by the infrared signal from the remote controller received via the receiving unit 721, and supplies it to the OSD control unit 731. To do.
  • the OSD control unit 731 generates image data corresponding to the input EPG data and outputs the image data to the display control unit 732.
  • the display control unit 732 outputs the video data input from the OSD control unit 731 to the display of the monitor 760 for display. As a result, an EPG (electronic program guide) is displayed on the display of the monitor 760.
  • the hard disk recorder 700 can acquire various data such as video data, audio data, or EPG data supplied from other devices via a network such as the Internet.
  • the communication unit 735 is controlled by the recorder control unit 726, acquires encoded data such as video data, audio data, and EPG data transmitted from another device via the network, and supplies the encoded data to the recorder control unit 726. To do.
  • the recorder control unit 726 supplies the acquired encoded data of video data and audio data to the recording / reproducing unit 733 and stores the data in the hard disk.
  • the recorder control unit 726 and the recording / reproducing unit 733 may perform processing such as re-encoding as necessary.
  • the recorder control unit 726 decodes the obtained encoded data of video data and audio data, and supplies the obtained video data to the display converter 730.
  • the display converter 730 processes the video data supplied from the recorder control unit 726 in the same manner as the video data supplied from the video decoder 725, supplies the processed video data to the monitor 760 via the display control unit 732, and displays the image. .
  • the recorder control unit 726 may supply the decoded audio data to the monitor 760 via the D / A converter 734 and output the sound from the speaker.
  • the recorder control unit 726 decodes the encoded data of the acquired EPG data and supplies the decoded EPG data to the EPG data memory 727.
  • the hard disk recorder 700 as described above uses the decoding device 100 as a decoder incorporated in the video decoder 725, the decoder 752, and the recorder control unit 726. Therefore, the video decoder 725, the decoder 752, and the decoder built in the recorder control unit 726, as with the decoding apparatus 100, output an image encoded so as to improve the encoding efficiency when performing intra prediction. Can be decrypted.
  • the hard disk recorder 700 uses the encoding device 10 as the encoder 751. Therefore, the encoder 751 can improve the encoding efficiency when performing intra prediction, as in the case of the encoding device 10.
  • the hard disk recorder 700 that records video data and audio data on the hard disk has been described.
  • any recording medium may be used.
  • the encoding device 10 and the decoding device 100 can be applied as in the case of the hard disk recorder 700 described above. .
  • FIG. 18 is a block diagram illustrating a main configuration example of a camera using an encoding device and a decoding device to which the present technology is applied.
  • the camera 800 shown in FIG. 18 images a subject, displays an image of the subject on the LCD 816, and records it on the recording medium 833 as image data.
  • the lens block 811 causes light (that is, an image of the subject) to enter the CCD / CMOS 812.
  • the CCD / CMOS 812 is an image sensor using CCD or CMOS, converts the intensity of received light into an electric signal, and supplies it to the camera signal processing unit 813.
  • the camera signal processing unit 813 converts the electrical signal supplied from the CCD / CMOS 812 into Y, Cr, and Cb color difference signals and supplies them to the image signal processing unit 814.
  • the image signal processing unit 814 performs predetermined image processing on the image signal supplied from the camera signal processing unit 813 under the control of the controller 821, and encodes the image signal by the encoder 841 using, for example, the MPEG method. To do.
  • the image signal processing unit 814 supplies encoded data generated by encoding the image signal to the decoder 815. Further, the image signal processing unit 814 acquires display data generated in the on-screen display (OSD) 820 and supplies it to the decoder 815.
  • OSD on-screen display
  • the camera signal processing unit 813 appropriately uses a DRAM (Dynamic Random Access Memory) 818 connected via the bus 817, and appropriately encodes image data and a code obtained by encoding the image data.
  • the digitized data is held in the DRAM 818.
  • the decoder 815 decodes the encoded data supplied from the image signal processing unit 814 and supplies the obtained image data (decoded image data) to the LCD 816. Also, the decoder 815 supplies the display data supplied from the image signal processing unit 814 to the LCD 816. The LCD 816 appropriately synthesizes the image of the decoded image data supplied from the decoder 815 and the image of the display data, and displays the synthesized image.
  • the on-screen display 820 outputs display data such as menu screens and icons made up of symbols, characters, or figures to the image signal processing unit 814 via the bus 817 under the control of the controller 821.
  • the controller 821 executes various processes based on a signal indicating the content instructed by the user using the operation unit 822, and also via the bus 817, an image signal processing unit 814, a DRAM 818, an external interface 819, an on-screen display. 820, media drive 823, and the like are controlled.
  • the FLASH ROM 824 stores programs and data necessary for the controller 821 to execute various processes.
  • the controller 821 can encode the image data stored in the DRAM 818 or decode the encoded data stored in the DRAM 818 instead of the image signal processing unit 814 or the decoder 815.
  • the controller 821 may perform encoding / decoding processing by a method similar to the encoding / decoding method of the image signal processing unit 814 or the decoder 815, or the image signal processing unit 814 or the decoder 815 is compatible.
  • the encoding / decoding process may be performed by a method that is not performed.
  • the controller 821 reads image data from the DRAM 818 and supplies it to the printer 834 connected to the external interface 819 via the bus 817. Let it print.
  • the controller 821 reads the encoded data from the DRAM 818 and supplies it to the recording medium 833 attached to the media drive 823 via the bus 817.
  • the controller 821 reads the encoded data from the DRAM 818 and supplies it to the recording medium 833 attached to the media drive 823 via the bus 817.
  • the recording medium 833 is an arbitrary readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory.
  • the recording medium 833 may be of any kind as a removable medium, and may be a tape device, a disk, or a memory card.
  • a non-contact IC card or the like may be used.
  • the media drive 823 and the recording medium 833 may be integrated and configured by a non-portable storage medium such as a built-in hard disk drive or SSD (Solid State Drive).
  • a non-portable storage medium such as a built-in hard disk drive or SSD (Solid State Drive).
  • the external interface 819 is composed of, for example, a USB input / output terminal or the like, and is connected to the printer 834 when printing an image.
  • a drive 831 is connected to the external interface 819 as necessary, and a removable medium 832 such as a magnetic disk, an optical disk, or a magneto-optical disk is appropriately mounted, and a computer program read from these is loaded as necessary. And installed in FLASH ROM 824.
  • the external interface 819 has a network interface connected to a predetermined network such as a LAN or the Internet.
  • the controller 821 can read the encoded data from the DRAM 818 in accordance with an instruction from the operation unit 822, and can supply the encoded data from the external interface 819 to another device connected via the network. Also, the controller 821 acquires encoded data and image data supplied from other devices via the network via the external interface 819 and holds them in the DRAM 818 or supplies them to the image signal processing unit 814. Can be.
  • the camera 800 as described above uses the decoding device 100 as the decoder 815. Therefore, similarly to the case of the decoding device 100, the decoder 815 can decode an image encoded so as to improve the encoding efficiency when performing intra prediction.
  • the camera 800 uses the encoding device 10 as the encoder 841. Therefore, the encoder 841 can improve the encoding efficiency when performing intra prediction, as in the case of the encoding device 10.
  • the decoding method of the decoding device 100 may be applied to the decoding process performed by the controller 821.
  • the encoding method of the encoding device 10 may be applied to the encoding process performed by the controller 821.
  • the image data captured by the camera 800 may be a moving image or a still image.
  • the encoding device 10 and the decoding device 100 can also be applied to devices and systems other than the devices described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技術は、イントラ予測を行う場合の符号化効率を向上させることができる符号化装置および符号化方法、並びに復号装置および復号方法に関する。 候補予測画像生成部４１は、符号化対象の画像のうちのPUに対して複数のイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。予測モード判定部４３は、イントラ予測処理の対象のPUの最適イントラ予測モードを判定する。MostProbableMode生成部５１は、周辺最適イントラ予測モードを用いてMostProbableModeを生成する。差分モード生成部５２は、イントラ予測処理の対象のPUの最適イントラ予測モードの番号とMostProbableModeの差分を示す最適差分イントラ予測モード情報を生成する。イントラスキップ判定部４５は、最適差分イントラ予測モード情報を伝送する。本技術は、例えば、符号化装置に適用することができる。

Description

符号化装置および符号化方法、並びに復号装置および復号方法
　本技術は、符号化装置および符号化方法、並びに復号装置および復号方法に関し、特に、イントラ予測を行う場合の符号化効率を向上させることができるようにした符号化装置および符号化方法、並びに復号装置および復号方法に関する。
　近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group phase）などの方式を採用して画像を圧縮符号する装置が普及しつつある。
　特に、MPEG2（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
　このMPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していない。しかしながら、携帯端末の普及により、今後、そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。例えば、MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496-2として、その規格が国際標準に承認されている。
　更に、近年、テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG(Video Coding Expert Group)）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。これは、2003年3月にH．264/MPEG-4 Part10 Advanced Video Coding（以下H．264/AVCという）という名で国際標準となっている。
　更に、その拡張として、RGBや4:2:2、4:4:4といった業務用に必要な符号化ツールや、MPEG-2で規定されていた8×8DCT（Discrete Cosine Transform）や量子化マトリクスをも含んだH．264/AVC FRExt(Fidelity Range Extension)の標準化が、2005年2月に完了している。これにより、H．264/AVC方式は、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となり、Blu-Ray Discのアプリケーション等の幅広いアプリケーションに採用される運びとなった。
　しかしながら、昨今、ハイビジョン画像の４倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような限られた伝送容量の環境においてハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続して行われている。
　ところで、H．264/AVC方式の輝度信号のイントラ予測モードには、９種類の４×４イントラ予測モードおよび８×８イントラ予測モード、並びに４種類の１６×１６イントラ予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８イントラ予測モードがある。輝度信号の４×４イントラ予測モードおよび８×８イントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の16×16イントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。
　また、H．264/AVC方式では、4000×2000画素といった、より高解像度の画像に対しては、マクロブロックのサイズを32×32画素、64×64画素等に拡張して符号化処理を行うことで、符号化効率を向上させることが可能である。マクロブックの拡張をイントラスライスに適用した例については、例えば非特許文献１に記載されている。
　一方、現在、H．264/AVCより更に符号化効率を向上させることを目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC(Joint Collaboration Team  Video Coding)により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進行しており、2010年9月現在、ドラフトとして、非特許文献２が発行されている。
　HEVC方式では、H.264/AVC方式に比べてイントラ予測モードのモード数が増加しており、イントラ予測モードの最大モード数は34である。また、HEVC方式において、H．264/AVC方式と同様に、MostProbableModeとイントラ予測処理の対象のブロックのイントラ予測モードが一致する場合、一致することを示すフラグを画像圧縮情報に含め、一致しない場合、イントラ予測モードそのものを画像圧縮情報に含めることが提案されている。なお、MostProbableModeとは、イントラ予測処理の対象のブロックの周辺ブロックのイントラ予測モードのうちの最も小さいものである。
"Intra coding using extended block size",VCEG-AL28,2009年7月 "Test Model under Consideration",JCTVC-B205,21-28 July,2010
　しかしながら、HEVC方式のようにイントラ予測モードのモード数が多い方式では、MostProbableModeとイントラ予測処理の対象のブロックのイントラ予測モードが一致する確率は低い。従って、MostProbableModeとイントラ予測処理の対象のブロックのイントラ予測モードが一致しない場合にイントラ予測モードそのものが画像圧縮情報に含められると、符号化効率が低下する。
　本技術は、このような状況に鑑みてなされたものであり、イントラ予測を行う場合の符号化効率を向上させることができるようにするものである。
　本技術の第１の側面の符号化装置は、符号化対象であるカレントブロックの周辺に位置する周辺ブロックの最適イントラ予測モードを用いて、前記カレントブロックの最適イントラ予測モードの予測値を生成する予測値生成部と、前記カレントブロックの最適イントラ予測モードと、前記予測値生成部により生成された前記カレントブロックの最適イントラ予測モードの予測値の差分を生成する差分生成部と、前記差分生成部により生成された前記差分を伝送する伝送部とを備える符号化装置である。
　本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。
　本技術の第１の側面においては、符号化対象であるカレントブロックの周辺に位置する周辺ブロックの最適イントラ予測モードを用いて、前記カレントブロックの最適イントラ予測モードの予測値が生成され、前記カレントブロックの最適イントラ予測モードと、前記カレントブロックの最適イントラ予測モードの予測値の差分が生成され、前記差分が伝送される。
　本技術の第２の側面の復号装置は、復号対象であるカレントブロックの最適なイントラ予測モードと、前記カレントブロックの周辺に位置する周辺ブロックの最適なイントラ予測モードを用いて生成された、前記カレントブロックの最適なイントラ予測モードの予測値との差分を受け取る受け取り部と、前記周辺ブロックの最適なイントラ予測モードを用いて、前記カレントブロックの最適なイントラ予測モードの予測値を生成する予測値生成部と、前記受け取り部により受け取られた前記差分と、前記予測値生成部により生成された前記カレントブロックの最適なイントラ予測モードの予測値を演算することにより、前記カレントブロックの最適なイントラ予測モードを生成するイントラ予測モード生成部とを備える復号装置である。
　本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。
　本技術の第２の側面においては、復号対象であるカレントブロックの最適なイントラ予測モードと、前記カレントブロックの周辺に位置する周辺ブロックの最適なイントラ予測モードを用いて生成された、前記カレントブロックの最適なイントラ予測モードの予測値との差分が受け取られ、前記周辺ブロックの最適なイントラ予測モードを用いて、前記カレントブロックの最適なイントラ予測モードの予測値が生成され、前記差分と、前記カレントブロックの最適なイントラ予測モードの予測値が演算されることにより、前記カレントブロックの最適なイントラ予測モードが生成される。
　なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。　
　また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術の第１の側面によれば、イントラ予測を行う場合の符号化効率を向上させることができる。
　また、本技術の第２の側面によれば、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。 図１のイントラ予測部と予測モード符号化部の構成例を示すブロック図である。 CUを説明する図である。 イントラ予測処理を説明する第１の図である。 イントラ予測処理を説明する第２の図である。 イントラ予測モードの番号を説明する図である。 図１の符号化装置による符号化処理を説明するフローチャートである。 図１の符号化装置による符号化処理を説明するフローチャートである。 図７の予測処理の詳細を説明するフローチャートである。 本技術を適用した復号装置の構成例を示すブロック図である。 図１０のイントラ予測部と予測モード復号部の構成例を示すブロック図である。 図１０の復号装置による復号処理を説明するフローチャートである。 図１２の予測処理の詳細を説明するフローチャートである。 コンピュータの一実施の形態の構成例を示すブロック図である。 テレビジョン受像機の主な構成例を示すブロック図である。 携帯電話機の主な構成例を示すブロック図である。 ハードディスクレコーダの主な構成例を示すブロック図である。 カメラの主な構成例を示すブロック図である。
　＜一実施の形態＞
　［符号化装置の一実施の形態の構成例］
　図１は、本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
　図１の符号化装置１０は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、予測モード符号化部２５、動き予測・補償部２６、予測画像選択部２７、およびレート制御部２８により構成される。図１の符号化装置１０は、入力された画像をHEVC方式で圧縮符号化する。
　具体的には、符号化装置１０のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。画面並べ替えバッファ１２は、記憶した表示の順番のフレーム単位の画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替え、演算部１３、イントラ予測部２４、および動き予測・補償部２６に出力する。
　演算部１３は、生成部として機能し、予測画像選択部２７から供給される予測画像と、画面並べ替えバッファ１２から出力された符号化対象の画像の差分を演算（生成）する。具体的には、演算部１３は、画面並べ替えバッファ１２から出力された符号化対象の画像から、予測画像選択部２７から供給される予測画像を減算する。演算部１３は、減算の結果得られる画像を、残差情報（残差画像）として直交変換部１４に出力する。なお、予測画像選択部２７から予測画像が供給されない場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像をそのまま残差情報として直交変換部１４に出力する。
　直交変換部１４は、演算部１３からの残差情報に対してDCT（Discrete Cosine Transform）,KLT（Karhunen Loeve Transform）等の直交変換を施し、直交変換の結果得られる係数を量子化部１５に供給する。
　量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６に入力される。
　可逆符号化部１６は、イントラ予測処理の対象のブロック（ユニット）の最適イントラ予測モードの番号と、以下の式（１）で定義されるMostProbableModeの差分を示す情報（以下、最適差分イントラ予測モード情報という）をイントラ予測部２４から取得する。
　MostProbableMode=Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB)
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　なお、式（１）において、Intra_4x4_pred_modeAは、イントラ予測処理の対象のブロックＣの左に隣接するブロックＡの最適イントラ予測モードの番号であり、Intra_4x4_pred_modeBは、ブロックＣの上に隣接するブロックＢの最適イントラ予測モードの番号である。
　式（１）によれば、ブロックＡおよびブロックＢの最適イントラ予測モードの番号のうち、より小さな番号がMostProbableModeとされる。
　なお、ブロックＡおよびブロックＢは、ブロックＣの周辺のブロックであれば、隣接していなくてもよい。
　また、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定するための情報などを動き予測・補償部２６から取得する。
　可逆符号化部１６は、量子化部１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。また、可逆符号化部１６は、最適差分イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。
　なお、本実施の形態では、最適差分イントラ予測モード情報が0である場合、最適差分イントラ予測モード情報はヘッダ情報に含まれないようにするが、含まれるようにすることもできる。また、本実施の形態では、最適差分イントラ予測モード情報および直交変換部１４による直交変換の結果得られる係数が0である場合、動作モードがイントラスキップモードに設定され、圧縮画像およびヘッダ情報は生成されないようにするが、生成されるようにすることもできる。
　また、可逆符号化部１６は、伝送部の一部として機能し、可逆符号化の結果得られるヘッダ情報等が付加された圧縮画像を画像圧縮情報として蓄積バッファ１７に出力し、蓄積させる。
　蓄積バッファ１７は、可逆符号化部１６から供給される画像圧縮情報を、一時的に記憶し、例えば、後段の図示せぬ記録装置や伝送路などに伝送する。
　また、量子化部１５より出力された、量子化された係数は、逆量子化部１８にも入力され、逆量子化された後、逆直交変換部１９に供給される。
　逆直交変換部１９は、逆量子化部１８から供給される係数に対してIDCT(Inverse Discrete Cosine Transform）、逆KLT等の逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。
　加算部２０は、逆直交変換部１９から供給される復号対象の画像としての残差情報と、予測画像選択部２７から供給される予測画像を加算して、局部的に復号された画像を得る。なお、予測画像選択部２７から予測画像が供給されない場合、加算部２０は、逆直交変換部１９から供給される残差情報を局部的に復号された画像とする。加算部２０は、局部的に復号された画像をデブロックフィルタ２１に供給するとともに、フレームメモリ２２に供給して蓄積させる。
　デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２１は、その結果得られる画像をフレームメモリ２２に供給し、蓄積させる。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２６に出力される。
　イントラ予測部２４は、フレームメモリ２２からスイッチ２３を介して読み出された参照画像を用いて、候補となる全てのイントラ予測モードのADI（Arbitrary Directional Intra）と呼ばれる方式のイントラ予測処理を行い、予測画像を生成する。
　なお、HEVC方式では、イントラ予測の単位のサイズとして、4×4画素、8×8画素、16×16画素、32×32画素、および64×64画素が設けられている。従って、候補となるイントラ予測モードは、4×4イントラ予測モード、8×8イントラ予測モード、16×16イントラ予測モード、32×32イントラ予測モード、および64×64イントラ予測モードである。なお、以下では、輝度信号のイントラ予測モードのイントラ予測処理についてのみ説明を行うが、色差信号のイントラ予測モードのイントラ予測処理も同様に行われる。
　また、イントラ予測部２４は、画面並べ替えバッファ１２から読み出された画像、予測画像等を用いて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部２４は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部２４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２７に供給する。イントラ予測部２４は、予測画像選択部２７から最適イントラ予測モードで生成された予測画像の選択が通知された場合、最適差分イントラ予測モード情報を可逆符号化部１６に供給する。
　なお、コスト関数値は、RD(Rate Distortion)コストともいわれる。コスト関数値は、例えば、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている、JM (Joint Model)と呼ばれるH．264/AVC方式の参照ソフトウェアで定められているような、High Complexity モード、または、Low Complexity モードのいずれかの手法に基づいて算出される。
　具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（２）で表わされるコスト関数値が各予測モードに対して算出される。
　Cost(Mode∈Ω)=D＋λ・R　　　　　　　　　　　　　　・・・（２）
　なお、式（２）において、Ωは、候補となる予測モードの全体集合、Dは、原画像と復号画像の差分エネルギー、Rは、各予測モードで符号化された場合の直交変換の係数を含んだ総符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ未定乗数である。
　従って、High Complexity モードにおいては、DおよびRを算出するために、各予測モードの仮の符号化を行う必要があり、演算量が多くなる。
　一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（３）で表わされるコスト関数が各予測モードに対して算出される。
　Cost(Mode∈Ω)=D＋QP2Quant(QP)・Header_Bit　　　　　　・・・（３）
　なお、式（３）において、Dは、原画像と予測画像の差分エネルギー、Header_Bitは、直交変換係数を含まない、動きベクトルや予測モードといったヘッダに含まれる情報に関する符号量、QP2Quantは、量子化パラメータQPの関数として与えられる関数である。
　従って、Low Complexity モードにおいては、全ての予測モードに対して、予測処理を行う必要はあるが、復号画像を生成する必要はないため、仮の符号化を行う必要がない。
その結果、演算量が少なくて済む。
　以上のようにしてコスト関数値が求められるので、コスト関数値が最小となる予測モードで符号化処理が行われる場合、より高い符号化効率を実現することができる。
　また、イントラ予測部２４は、イントラ予測処理の対象のブロック（ユニット）の周辺の符号化済みのブロックの最適イントラ予測モード（以下、周辺最適イントラ予測モードという）と、現在のイントラ予測モードの候補である候補イントラ予測モードを予測モード符号化部２５に供給する。
　予測モード符号化部２５は、イントラ予測部２４から供給される周辺最適イントラ予測モードと候補イントラ予測モードを用いて、MostProbableModeと候補イントラ予測モードの番号の差分を示す差分イントラ予測モード情報を生成する。予測モード符号化部２５は、生成された差分イントラ予測モード情報をイントラ予測部２４に供給する。
　動き予測・補償部２６は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部２６は、画面並べ替えバッファ６２から供給される画像と、フレームメモリ２２からスイッチ２３を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部２６は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
　このとき、動き予測・補償部２６は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部２６は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２７に供給する。また、動き予測・補償部２６は、予測画像選択部２７から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１６に出力する。
　予測画像選択部２７は、イントラ予測部２４および動き予測・補償部２６から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。このように、コスト関数値が最小となる方が最適予測モードに決定されるので、より高い符号化効率を実現することができる。また、予測画像選択部２７は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。また、予測画像選択部２７は、最適予測モードの予測画像の選択をイントラ予測部２４または動き予測・補償部２６に通知する。
　レート制御部２８は、蓄積バッファ１７に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。
　［イントラ予測部と予測モード符号化部の構成例］
　図２は、図１のイントラ予測部２４と予測モード符号化部２５の構成例を示すブロック図である。
　図２に示すように、イントラ予測部２４は、候補予測画像生成部４１、コスト関数値算出部４２、予測モード判定部４３、予測画像生成部４４、イントラスキップ判定部４５、およびモードバッファ４６により構成される。
　イントラ予測部２４の候補予測画像生成部４１は、候補となる全てのイントラ予測モードを順に、現在のイントラ予測処理のイントラ予測モード（以下、現在イントラ予測モードという）とする。候補予測画像生成部４１は、図１のスイッチ２３を介して読み出された参照画像を用いて、符号化対象の画像のうちの所定のサイズの各ブロックに対して、現在イントラ予測モードのイントラ予測処理を行う。候補予測画像生成部４１は、その結果得られる予測画像をコスト関数値算出部４２に供給する。
　コスト関数値算出部４２は、候補予測画像生成部４１から供給される予測画像と、画面並べ替えバッファ１２から供給される画像とに基づいて、上述した式（２）または（３）によりコスト関数値を求める。また、コスト関数値算出部４２は、現在イントラ予測モードを予測モード符号化部２５に供給する。さらに、コスト関数値算出部４２は、求められたコスト関数値と、予測モード符号化部２５から供給される差分イントラ予測モード情報を予測モード判定部４３に供給する。
　予測モード判定部４３は、コスト関数値算出部４２から供給されるコスト関数値と差分イントラ予測モード情報を、現在イントラ予測モードに対応付けて記憶する。予測モード判定部４３は、候補となる全てのイントラ予測モードに対応付けて記憶されているコスト関数値のうちの最小値に対応するイントラ予測モードを最適イントラ予測モードと判定する。予測モード判定部４３は、最適イントラ予測モード、並びに、その最適イントラ予測モードに対応付けて記憶されている差分イントラ予測モード情報である最適差分イントラ予測モード情報およびコスト関数値を予測画像生成部４４に供給する。
　予測画像生成部４４は、スイッチ２３を介して供給される参照画像を用いて、符号化対象の画像のうちの所定のサイズの各ブロックに対して、予測モード判定部４３から供給される最適イントラ予測モードのイントラ予測処理を行う。そして、予測画像生成部４４は、イントラ予測処理の結果得られる予測画像と、予測モード判定部４３から供給されるコスト関数値を予測画像選択部２７（図１）に供給する。また、予測画像生成部４４は、図１の予測画像選択部２７から最適イントラ予測モードで生成された予測画像の選択が通知された場合、予測モード判定部４３から供給される最適差分イントラ予測モード情報をイントラスキップ判定部４５に供給する。さらに、予測画像生成部４４は、最適イントラ予測モードをモードバッファ４６に供給する。
　イントラスキップ判定部４５は、伝送部の一部として機能し、予測画像生成部４４から供給される最適差分イントラ予測モード情報が0ではない場合、最適差分イントラ予測モード情報を図１の可逆符号化部１６に出力する。一方、イントラスキップ判定部４５は、最適差分イントラ予測モード情報が0である場合、最適差分イントラ予測モード情報の可逆符号化部１６への出力を停止する。その結果、最適差分イントラ予測モード情報が0である場合、最適差分イントラ予測モード情報がヘッダ情報に含まれず、最適差分イントラ予測モード情報が0であり、直交変換部１４により得られる係数が0である場合、画像圧縮情報が生成されない。
　モードバッファ４６は、予測画像生成部４４から供給される最適イントラ予測モードを保持する。
　予測モード符号化部２５は、MostProbableMode生成部５１と差分モード生成部５２により構成される。
　予測モード符号化部２５のMostProbableMode生成部５１は、周辺最適イントラ予測モードをモードバッファ４６から読み出す。MostProbableMode生成部５１は、予測値生成部として機能し、読み出された周辺最適イントラ予測モードを用いて、上述した式（１）で定義されるMostProbableModeを、イントラ予測処理の対象のブロックの最適イントラ予測モードの予測値として生成する。そして、MostProbableMode生成部５１は、MostProbableModeを差分モード生成部５２に供給する。
　差分モード生成部５２は、差分生成部として機能し、MostProbableMode生成部５１から供給されるMostProbableModeと、イントラ予測部２４のコスト関数値算出部４２から供給される現在イントラ予測モードとの差分を差分イントラ予測モード情報として生成する。具体的には、差分モード生成部５２は、現在イントラ予測モードをCurrModeとしたとき、CurrMode-MostProbableModeを差分イントラ予測モード情報として生成する。そして、差分モード生成部５２は、生成された差分イントラ予測モード情報をコスト関数値算出部４２に供給する。
　［HEVC方式における符号化単位の説明］
　図３は、HEVC方式における符号化単位であるCoding UNIT(CU)を説明する図である。
　CUは、Coding Tree Block（CTB）とも呼ばれ、H．264/AVCにおけるマクロブロックと同様の役割を果たす。具体的には、CUは、イントラ予測またはインター予測の単位であるPrediction Unit(PU)に分割されたり、直交変換の単位であるTransform Unit(TU)に分割されたりする。
　但し、マクロブロックのサイズは16×16画素に固定されているのに対し、CUのサイズは、シーケンスごとに可変の、2のべき乗で表される正方形である。
　図３の例では、最大のサイズのCUであるLCU(Largest Coding Unit)のサイズが128であり、最小のサイズのCUであるSCU(Smallest Coding Unit)のサイズが8である。従って、Nごとに階層化された2N×2NのサイズのCUの階層深度（depth）は0乃至4となり、階層深度数は5となる。また、2N×2NのサイズのCUは、split_flagの値が1である場合、1つ下の階層である、N×NのサイズのCUに分割される。
　なお、CUのサイズを指定する情報は、画像圧縮情報にシーケンスパラメータセットとして含められる。
　［イントラ予測処理の説明］
　図４および図５は、図１のイントラ予測部２４によるイントラ予測処理を説明する図である。
　なお、図４および図５の例では、イントラ予測のPUのサイズは8×8画素である。また、図中正方形は画素を表し、太枠は、イントラ予測処理の対象のPUを表している。
　イントラ予測部２４によるADIと呼ばれる方式のイントラ予測処理では、PUのサイズが8×8画素である場合、図４に示すような33方向の水平方向または垂直方向を基準にした角度に対応するイントラ予測モードのイントラ予測処理が行われる。この場合、図５中三角が付された正方形が表す復号済みの周辺画素を用いて任意のイントラ予測モードのイントラ予測処理を行うためには、1/8画素位置単位の周辺画素が必要となる。従って、イントラ予測部２４は、イントラ予測処理において、1/8画素精度の線形内挿処理を行う。
　図４および図５で示したように、HEVC方式におけるイントラ予測処理のイントラ予測モードの数は多い。従って、従来のH．264/AVC方式に比べて、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードとが一致しない可能性が高い。
　具体的には、例えば、イントラ予測モードの数が33である場合、イントラ予測モードに対応する、水平方向または垂直方向を基準にした角度のステップは、5.625°である。従って、イントラ予測処理の対象のPUの周辺のPUと、イントラ予測処理の対象のPUの、最適な予測方向の水平方向または垂直方向を基準にした角度の差が、5.625°のように小さい場合であっても、HEVC方式では、MostProbableModeと最適イントラ予測モードは異なってしまう。例えば、イントラ予測処理の対象のPUの周辺のPUと、イントラ予測処理の対象のPUの、最適な予測方向の水平方向または垂直方向を基準にした角度が、それぞれ、11.25°,22.5°である場合、MostProbableModeと最適イントラ予測モードは異なる。
　従って、符号化装置１０は、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードの番号の差分を示す最適差分イントラ予測モード情報を画像圧縮情報に含める。これにより、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードが一致しない場合であっても、最適イントラ予測モードを示す情報の情報量を削減することができる。その結果、符号化効率が向上する。
　［イントラ予測モードの番号の説明］
　図６は、イントラ予測モードの番号を説明する図である。
　図６に示すように、イントラ予測モードの番号（code number）は、イントラ予測の処理の対象のPUに対する予測画像の方向、即ち予測方向が隣り合うイントラ予測モードの番号が連続するように割り振られる。
　これにより、MostProbableModeに対応する方向と、イントラ予測処理の対象のPUの最適イントラ予測モードに対応する方向が近い場合に、最適差分イントラ予測モード情報の情報量を削減することができる。例えば、MostProbableModeと、イントラ予測処理の対象のPUの最適イントラ予測モードに対応する、水平方向または垂直方向を基準にした角度が、それぞれ、11.25°,22.5°である場合、最適差分イントラ予測モード情報は2となる。
　［符号化装置の処理の説明］
　図７および図８は、図１の符号化装置１０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の画像が符号化装置１０に入力されるたびに行われる。
　図７のステップＳ１１において、符号化装置１０のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。
　ステップＳ１２において、画面並べ替えバッファ１２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２は、並べ替え後のフレーム単位の画像を、演算部１３、イントラ予測部２４、および動き予測・補償部２６に供給する。
　なお、以下のステップＳ１３乃至Ｓ１９およびＳ２５乃至Ｓ３０の処理は、例えばCU単位で行われる。但し、参照画像が存在しない場合には、ステップＳ１３乃至Ｓ１５およびＳ２８の処理は行われず、画面並べ替えバッファ１２から出力される画像が、残差情報および局部的に復号された画像とされる。
　ステップＳ１３において、符号化装置１０は、イントラ予測処理およびインター予測処理を含む予測処理を行う。この予測処理の詳細は、後述する図９を参照して説明する。
　ステップＳ１４において、予測画像選択部２７は、ステップＳ１３の処理によりイントラ予測部２４および動き予測・補償部２６から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部２７は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。
　ステップＳ１５において、演算部１３は、画面並べ替えバッファ１２から供給される画像から、予測画像選択部２７から供給される予測画像を減算する。演算部１３は、減算の結果得られる画像を、残差情報として直交変換部１４に出力する。
　ステップＳ１６において、直交変換部１４は、演算部１３からの残差情報に対してDCT,KLT等の直交変換を施し、その結果得られる係数を量子化部１５に供給する。
　ステップＳ１７において、量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６と逆量子化部１８に入力される。
　ステップＳ１８において、予測画像選択部２７は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１８で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部２７は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部２６に通知する。これにより、動き予測・補償部２６は、インター予測モード情報、対応する動きベクトル、および参照画像を特定するための情報を可逆符号化部１６に出力する。
　そして、ステップＳ１９において、可逆符号化部１６は、動き予測・補償部２６から供給されるインター予測モード情報、動きベクトル、および参照画像を特定するための情報を可逆符号化し、処理をステップＳ２３に進める。
　一方、ステップＳ１８で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部２７は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部２４に通知する。これにより、イントラ予測部２４の予測画像生成部４４（図２）は、ステップＳ１３の処理で予測モード判定部４３から供給される最適差分イントラ予測モード情報をイントラスキップ判定部４５に供給する。
　そしてステップＳ２０において、イントラスキップ判定部４５は、PU単位で予測画像生成部４４から供給される最適差分イントラ予測モード情報が0であるかどうかを判定する。
　ステップＳ２０で最適差分イントラ予測モード情報が０ではないと判定された場合、イントラスキップ判定部４５は、PU単位で、最適差分イントラ予測モード情報を可逆符号化部１６に出力し、処理をステップＳ２１に進める。
　ステップＳ２１において、可逆符号化部１６は、PU単位でイントラ予測部２４から供給される最適差分イントラ予測モード情報を可逆符号化し、処理をステップＳ２３に進める。
　一方、ステップＳ２０で最適差分イントラ予測モード情報が０であると判定された場合、ステップＳ２２において、可逆符号化部１６は、PU単位で、ステップＳ１６の処理で得られた係数が０であるかどうかを判定する。ステップＳ２２で係数が０ではないと判定された場合、イントラスキップ判定部４５は、PU単位で、最適差分イントラ予測モード情報の可逆符号化部１６への出力を停止し、処理をステップＳ２３に進める。
　ステップＳ２３において、可逆符号化部１６は、PU単位で、量子化部１５から供給される量子化された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部１６は、その圧縮画像にステップＳ１９またはＳ２１で可逆符号化された情報を付加して画像圧縮情報を生成し、蓄積バッファ１７に供給する。
　図８のステップＳ２４において、可逆符号化部１６は、PU単位で画像圧縮情報を蓄積バッファ１７に供給し、蓄積させる。そして、処理はステップＳ２５に進む。
　一方、ステップＳ２２で係数が０であると判定された場合、イントラスキップ判定部４５は、PU単位で最適差分イントラ予測モード情報の可逆符号化部１６への出力を停止する。また、可逆符号化部１６は、PU単位で量子化部１５から供給される量子化された係数の可逆符号化を停止することにより、圧縮画像の出力を停止する。その結果、画像圧縮情報は蓄積バッファ１７に蓄積されず、処理はステップＳ２５に進む。
　ステップＳ２５において、蓄積バッファ１７は、蓄積されているCU単位の画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
　ステップＳ２６において、逆量子化部１８は、量子化部１５から供給される量子化された係数を逆量子化する。
　ステップＳ２７において、逆直交変換部１９は、逆量子化部１８から供給される係数に対してIDCT、逆KLT等の逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。
　ステップＳ２８において、加算部２０は、逆直交変換部１９から供給される残差情報と、予測画像選択部２７から供給される予測画像を加算し、局部的に復号された画像を得る。加算部２０は、得られた画像をデブロックフィルタ２１に供給するとともに、フレームメモリ２２に供給する。
　ステップＳ２９において、デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去し、フレームメモリ２２に供給する。
　ステップＳ３０において、フレームメモリ２２は、フィルタリング前後の画像を蓄積する。具体的には、フレームメモリ２２は、加算部２０から供給される画像とデブロックフィルタ２１から供給される画像を蓄積する。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２６に出力される。そして、処理は終了する。
　図９は、図７のステップＳ１３の予測処理の詳細を説明するフローチャートである。
　図９のステップＳ４１乃至Ｓ５１の処理と、ステップＳ５２乃至Ｓ６１の処理は、例えば、並列に行われる。
　図９のステップＳ４１において、イントラ予測部２４は、4×4画素、8×8画素、16×16画素、32×32画素、および64×64画素のうちの、まだ決定されていないサイズをPUのサイズとして決定する。また、イントラ予測部２４は、予測処理の対象であるCUを構成する、決定されたサイズのPUのうちの、まだイントラ予測処理の対象とされていないPUをイントラ予測処理の対象とする。
　ステップＳ４２において、MostProbableMode生成部５１は、イントラ予測処理の対象のPUに対する周辺最適イントラ予測モードをモードバッファ４６から読み出し、その周辺最適イントラ予測モードに基づいて、上述した式（１）によりMostProbableModeを生成する。そして、MostProbableMode生成部５１は、MostProbableModeを差分モード生成部５２に供給する。また、候補予測画像生成部４１は、候補となる全てのイントラ予測モードを順に、現在イントラ予測モードとし、以降のステップＳ４３乃至Ｓ４５の処理は、現在イントラ予測モードごとに行われる。なお、現在イントラ予測モードは、コスト関数値算出部４２から差分モード生成部５２に供給される。
　ステップＳ４３において、差分モード生成部５２は、MostProbableMode生成部５１から供給されるMostProbableModeと、コスト関数値算出部４２から供給される現在イントラ予測モードとを用いて、差分イントラ予測モード情報を生成し、コスト関数値算出部４２に供給する。
　ステップＳ４４において、候補予測画像生成部４１は、イントラ予測処理の対象のPUに対して、図１のフレームメモリ２２からスイッチ２３を介して読み出された参照画像を用いて、現在イントラ予測モードのイントラ予測処理を行う。候補予測画像生成部４１は、その結果得られる予測画像をコスト関数値算出部４２に供給する。
　ステップＳ４５において、コスト関数値算出部４２は、候補予測画像生成部４１から供給される予測画像と、画面並べ替えバッファ１２から供給される画像とに基づいて、上述した式（２）または（３）によりコスト関数値を算出する。そして、コスト関数値算出部４２は、求められたコスト関数値と、差分モード生成部５２から供給される差分イントラ予測モード情報を予測モード判定部４３に供給する。これにより、予測モード判定部４３は、コスト関数値算出部４２から供給されるコスト関数値と差分イントラ予測モード情報を、現在イントラ予測モードに対応付けて記憶する。
　ステップＳ４６において、予測モード判定部４３は、イントラ予測処理の対象のPUについて、候補となる全てのイントラ予測モードに対応付けて記憶されているコスト関数値のうちの最小値に対応するイントラ予測モードを最適イントラ予測モードと判定する。予測モード判定部４３は、最適イントラ予測モードを予測画像生成部４４に供給する。そして、予測画像生成部４４は、最適イントラ予測モードをモードバッファ４６に供給して、記憶させる。この最適イントラ予測モードは、MostProbableModeの決定に用いられる。
　ステップＳ４７において、イントラ予測部２４は、予測処理の対象であるCUを構成する、ステップＳ４１で決定されたサイズの全てのPUをイントラ予測処理の対象のPUとしたかどうかを判定する。
　ステップＳ４７で、予測処理の対象であるCUを構成する、ステップＳ４１で決定されたサイズの全てのPUをまだイントラ予測処理の対象のPUとしていないと判定された場合、イントラ予測部２４は、まだイントラ予測処理の対象とされていないPUをイントラ予測処理の対象とする。そして、処理はステップＳ４２に戻り、以降の処理が繰り返される。
　一方、ステップＳ４７で予測処理の対象であるCUを構成する、ステップＳ４１で決定されたサイズの全てのPUをイントラ予測処理の対象のPUとしたと判定された場合、処理はステップＳ４８に進む。
　ステップＳ４８において、イントラ予測部２４は、候補となる全てのPUのサイズ、即ち4×4画素、8×8画素、16×16画素、32×32画素、および64×64画素を、ステップＳ４１でイントラ予測処理の対象のPUのサイズに決定したかどうかを判定する。
　ステップＳ４８でまだ候補となる全てのPUのサイズをイントラ予測処理の対象のPUのサイズに決定していないと判定された場合、処理はステップＳ４１に戻り、全てのPUのサイズがイントラ予測処理の対象のPUのサイズに決定されるまで、ステップＳ４１乃至Ｓ４８の処理が繰り返される。
　一方、ステップＳ４８で候補となる全てのPUのサイズがイントラ予測処理の対象のPUのサイズに決定されたと判定された場合、処理はステップＳ４９に進む。ステップＳ４９において、予測モード判定部４３は、全てのPUのサイズに対してステップＳ４６で決定された最適イントラ予測モードに対応するコスト関数値に基づいて、コスト関数値が最小となるPUのサイズを最適なPUのサイズと判定する。そして、予測モード判定部４３は、最適なPUのサイズの最適イントラ予測モードと、対応する最適差分イントラ予測モード情報およびコスト関数値を予測画像生成部４４に供給する。なお、最適なPUのサイズは、例えば、可逆符号化され、ヘッダ情報に含められる。
　ステップＳ５０において、予測画像生成部４４は、予測処理の対象であるCUを構成する、最適なPUのサイズの各PUに対して、参照画像を用いて、予測モード判定部４３から供給される最適なPUのサイズの最適イントラ予測モードのイントラ予測処理を行う。　
　ステップＳ５１において、予測画像生成部４４は、ステップＳ５０のイントラ予測処理の結果得られる予測画像と、予測モード判定部４３から供給されるコスト関数値を予測画像選択部２７に出力する。また、予測画像生成部４４は、予測モード判定部４３から供給される最適差分イントラ予測モード情報をイントラスキップ判定部４５に供給する。
　また、ステップＳ５２において、動き予測・補償部２６は、候補となる全てのPUのサイズのうちの、まだ決定されていないサイズをPUのサイズとして決定する。また、動き予測・補償部２６は、予測処理の対象であるCUを構成する、決定されたサイズのPUのうちの、まだインター予測処理の対象とされていないPUをインター予測処理の対象とする。
　ステップＳ５３において、動き予測・補償部２６は、画面並べ替えバッファ６２から供給される画像と、フレームメモリ２２からスイッチ２３を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。具体的には、動き予測・補償部２６は、インター予測モードに応じて参照画像を決定する。そして、動き予測・補償部２６は、その参照画像と画面並べ替えバッファ６２からの画像とに基づいて動きベクトルを検出する。
　ステップＳ５４において、動き予測・補償部２６は、インター予測処理の対象のPUについて、候補となるインター予測モードごとに、ステップＳ５３で検出された動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
　ステップＳ５５において、動き予測・補償部２６は、候補となるインター予測モードごとに、ステップＳ５４で生成された予測画像と、画面並べ替えバッファ１２から供給される画像とに基づいて、上述した式（２）または（３）によりコスト関数値を算出する。
　ステップＳ５６において、動き予測・補償部２６は、インター予測処理の対象のPUについて、候補となる全てのインター予測モードのコスト関数値のうちの最小値に対応するインター予測モードを最適インター予測モードと判定する。
　ステップＳ５７において、動き予測・補償部２６は、予測処理の対象であるCUを構成する、ステップＳ５２で決定されたサイズの全てのPUをインター予測処理の対象のPUとしたかどうかを判定する。
　ステップＳ５７で、予測処理の対象であるCUを構成する、ステップＳ５２で決定されたサイズの全てのPUをまだインター予測処理の対象のPUとしていないと判定された場合、動き予測・補償部２６は、まだインター予測処理の対象とされていないPUをインター予測処理の対象とする。そして、処理はステップＳ５３に戻り、以降の処理が繰り返される。
　一方、ステップＳ５７で予測処理の対象であるCUを構成する、ステップＳ５２で決定されたサイズの全てのPUをインター予測処理の対象のPUとしたと判定された場合、処理はステップＳ５８に進む。
　ステップＳ５８において、動き予測・補償部２６は、候補となる全てのPUのサイズを、ステップＳ５２でインター予測処理の対象のPUのサイズに決定したかどうかを判定する。
　ステップＳ５８でまだ全てのPUのサイズをインター予測処理の対象のPUのサイズに決定していないと判定された場合、処理はステップＳ５２に戻り、全てのPUのサイズがインター予測処理の対象のPUのサイズに決定されるまで、ステップＳ５２乃至Ｓ５８の処理が繰り返される。
　一方、ステップＳ５８で全てのPUのサイズがインター予測処理の対象のPUのサイズに決定されたと判定された場合、処理はステップＳ５９に進む。ステップＳ５９において、動き予測・補償部２６は、全てのPUのサイズに対してステップＳ５６で決定された最適インター予測モードに対応するコスト関数値に基づいて、コスト関数値が最小となるPUのサイズを最適なPUのサイズと判定する。なお、最適なPUのサイズは、例えば、可逆符号化され、ヘッダ情報に含められる。
　ステップＳ６０において、動き予測・補償部２６は、最適なPUのサイズの最適インター予測モードのインター予測処理を行う。
　ステップＳ６１において、動き予測・補償部２６は、インター予測処理の結果得られる予測画像と、最適なPUのサイズの最適インター予測モードのコスト関数値を予測画像選択部２７に出力する。
　以上のように、符号化装置１０は、最適イントラ予測モードを示す情報として、最適差分イントラ予測モード情報を出力するので、最適イントラ予測モードを示す情報の情報量を削減することができる。その結果、イントラ予測を行う場合の符号化効率を向上させることができる。
　また、符号化装置１０は、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードが一致する場合、最適差分イントラ予測モード情報の出力を停止するので、符号化効率をさらに向上させることができる。さらに、符号化装置１０は、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードが一致し、そのPUに対応する直交変換後の係数が0である場合、最適差分イントラ予測モード情報および係数の出力を停止するので、符号化効率をさらに向上させることができる。
　［復号装置の構成例］
　図１０は、図１の符号化装置１０から出力される画像圧縮情報を復号する、本技術を適用した復号装置の構成例を示すブロック図である。
　図１０の復号装置１００は、蓄積バッファ１０１、可逆復号部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、画面並べ替えバッファ１０７、D/A変換部１０８、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、予測モード復号部１１２、動き予測・補償部１１３、およびスイッチ１１４により構成される。
　復号装置１００の蓄積バッファ１０１は、受け取り部として機能し、図１の符号化装置１０から送信されてくる画像圧縮情報を受信し（受け取り）、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号部１０２に供給する。
　可逆復号部１０２は、蓄積バッファ１０１からの画像圧縮情報に対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数とヘッダを得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号部１０２は、ヘッダに含まれる最適差分イントラ予測モード情報などをイントラ予測部１１１に供給し、動きベクトル、参照画像を特定するための情報、インター予測モード情報などを動き予測・補償部１１３に供給する。
　逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、および、動き予測・補償部１１３は、図１の逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、および、動き予測・補償部２６とそれぞれ同様の処理を行い、これにより、画像が復号される。
　具体的には、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
　逆直交変換部１０４は、逆量子化部１０３からの係数に対して、IDCT、逆KLT等の逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。
　加算部１０５は、逆直交変換部１０４から供給される復号対象の画像としての残差情報と、スイッチ１１４から供給される予測画像を加算することにより、復号対象の画像を復号する。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。なお、スイッチ１１４から予測画像が供給されない場合、加算部１０５は、逆直交変換部１０４から供給される残差情報である画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給して蓄積させる。
　デブロックフィルタ１０６は、加算部１０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像をフレームメモリ１０９に供給し、蓄積させるとともに、画面並べ替えバッファ１０７に供給する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して読み出され、動き予測・補償部１１３またはイントラ予測部１１１に供給される。
　画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１０７は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。
　D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。
　イントラ予測部１１１は、可逆復号部１０２から供給される最適差分イントラ予測モード情報を予測モード復号部１１２に供給する。また、イントラ予測部１１１は、フレームメモリ１０９からスイッチ１１０を介して読み出される参照画像を用いて、予測モード復号部１１２から供給される最適イントラ予測モードのイントラ予測処理を行い、予測画像を生成する。そして、イントラ予測部１１１は、予測画像を、スイッチ１１４を介して加算部１０５に供給する。さらに、イントラ予測部１１１は、予測モード復号部１１２から供給される最適イントラ予測モードを保持する。
　予測モード復号部１１２は、イントラ予測部１１１に保持されている最適イントラ予測モードのうちの周辺最適イントラ予測モードを読み出す。また、予測モード復号部１１２は、イントラ予測部１１１から供給される最適差分イントラ予測モード情報と、読み出された周辺最適イントラ予測モードに基づいて、イントラ予測処理の対象の最適イントラ予測モードを生成する。予測モード復号部１１２は、生成された最適イントラ予測モードをイントラ予測部１１１に供給する。
　動き予測・補償部１１３は、可逆復号部１０２から供給される参照画像を特定するための情報に基づいて、フレームメモリ１０９からスイッチ１１０を介して参照画像を読み出す。動き予測・補償部１１３は、動きベクトルと参照画像を用いて、インター予測モード情報が表すインター予測モードのインター予測処理を行う。動き予測・補償部１１３は、その結果生成される予測画像を、スイッチ１１４を介して加算部１０５に供給する。
　［イントラ予測部と予測モード符号化部の構成例］
　図１１は、図１０のイントラ予測部１１１と予測モード復号部１１２の構成例を示すブロック図である。
　図１１に示すように、イントラ予測部１１１は、予測モード情報バッファ１２１、隣接情報バッファ１２２、および予測画像生成部１２３により構成される。
　イントラ予測部１１１の予測モード情報バッファ１２１は、可逆復号部１０２から供給される最適差分イントラ予測モード情報を保持する。また、予測モード情報バッファ１２１は、保持している最適差分イントラ予測モード情報を予測モード復号部１１２に供給する。
　隣接情報バッファ１２２は、予測モード復号部１１２から供給されるイントラ予測処理の対象のPUの最適イントラ予測モードを保持する。
　予測画像生成部１２３は、フレームメモリ１０９からスイッチ１１０を介して供給される参照画像を用いて、復号対象の画像のうちのイントラ予測処理の対象のPUに対して、予測モード復号部１１２から供給される最適イントラ予測モードのイントラ予測処理を行う。予測画像生成部１２３は、イントラ予測処理の結果生成された予測画像を、スイッチ１１４（図１０）を介して加算部１０５に供給する。
　予測モード復号部１１２は、MostProbableMode生成部１３１と予測モード再構築部１３２により構成される。
　予測モード復号部１１２のMostProbableMode生成部１３１は、イントラ予測部１１１の隣接情報バッファ１２２から周辺最適イントラ予測モードを読み出す。MostProbableMode生成部１３１は、予測値生成部として機能し、読み出された周辺最適イントラ予測モードを用いて、上述した式（１）によりMostProbableModeを生成する。MostProbableMode生成部１３１は、MostProbableModeをイントラ予測処理の対象のPUの最適イントラ予測モードの予測値として、予測モード再構築部１３２に供給する。
　予測モード再構築部１３２は、イントラ予測モード生成部として機能する。具体的には、予測モード再構築部１３２は、MostProbableMode生成部１３１から供給されるMostProbableModeと、予測モード情報バッファ１２１から供給される最適差分イントラ予測モード情報とを加算することにより、イントラ予測処理の対象のPUの最適イントラ予測モードを生成する。予測モード再構築部１３２は、生成された最適イントラ予測モードをイントラ予測部１１１の隣接情報バッファ１２２と予測画像生成部１２３に供給する。
　［復号装置の処理の説明］
　図１２は、図１０の復号装置１００による復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位の画像圧縮情報が復号装置１００に入力されるたびに行われる。
　図１２のステップＳ１０１において、蓄積バッファ１０１は、符号化装置１０から送信されてくるフレーム単位の画像圧縮情報を受信し、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号部１０２に供給する。なお、以下のステップＳ１０１乃至Ｓ１０８の処理は、例えばCU単位で行われる。
　ステップＳ１０２において、可逆復号部１０２は、蓄積バッファ１０１からの画像圧縮情報を可逆復号し、量子化された係数とヘッダを得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。
　なお、復号対象のCUを構成するPUのうち、イントラスキップモードで符号化されたPUの画像圧縮情報は存在しないので、可逆復号部１０２は、そのPUの量子化された係数として0を逆量子化部１０３に供給する。これにより、後述するステップＳ１０６で得られる復号結果は、予測画像そのものとなる。
　ステップＳ１０３において、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
　ステップＳ１０４において、逆直交変換部１０４は、逆量子化部１０３からの係数に対してIDCT、逆KLT等の逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。
　ステップＳ１０５において、復号装置１００は、イントラ予測処理またはインター予測処理を行う予測処理を行う。この予測処理の詳細は、後述する図１３を参照して説明する。
　ステップＳ１０６において、加算部１０５は、残差情報と、スイッチ１１４から供給される予測画像を加算することにより、復号を行う。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。なお、参照画像が存在しない場合には、ステップＳ１０５およびＳ１０６の処理は行われず、残差情報である画像がデブロックフィルタ１０６に供給されるとともに、フレームメモリ１０９に供給される。
　ステップＳ１０７において、デブロックフィルタ１０６は、加算部１０５から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。デブロックフィルタ１０６は、フィルタリング後の画像をフレームメモリ１０９に供給する。
　ステップＳ１０８において、フレームメモリ１０９は、加算部１０５から供給されるフィルタリング前の画像と、デブロックフィルタ１０６から供給されるフィルタリング後の画像を蓄積する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して動き予測・補償部１１３またはイントラ予測部１１１に供給される。
　ステップＳ１０９において、画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。
　ステップＳ１１０において、D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。
　図１３は、図１２のステップＳ１０５の予測処理の詳細を説明するフローチャートである。なお、この予測処理は、PU単位で行われる。
　図１３のステップＳ１２１において、可逆復号部１０２は、最適予測モードが最適イントラ予測モードであるかどうかを判定する。具体的には、可逆復号部１０２は、予測処理の対象のPUの画像圧縮情報が存在しないか、または、画像圧縮情報のヘッダにインター予測モード情報が含まれていない場合、最適予測モードが最適イントラ予測モードであると判定する。一方、予測処理の対象のPUの画像圧縮情報のヘッダにインター予測モード情報が含まれている場合、最適予測モードが最適イントラ予測モードではないと判定する。
　ステップＳ１２１で最適予測モードが最適イントラ予測モードであると判定された場合、可逆復号部１０２は、ヘッダに含まれる最適差分イントラ予測モード情報などをイントラ予測部１１１とスイッチ１１４に供給する。
　そして、ステップＳ１２２において、イントラ予測部１１１の予測モード情報バッファ１２１（図１１）は、可逆復号部１０２から最適差分イントラ予測モード情報が供給されたかどうかを判定する。
　ステップＳ１２２で可逆復号部１０２から最適差分イントラ予測モード情報が供給されたと判定された場合、ステップＳ１２３において、予測モード情報バッファ１２１は、その最適差分イントラ予測モードを取得し、保持する。そして、予測モード情報バッファ１２１は、保持している最適差分イントラ予測モード情報を予測モード復号部１１２の予測モード再構築部１３２に供給し、処理をステップＳ１２４に進める。
　一方、ステップＳ１２２で可逆復号部１０２から最適差分イントラ予測モード情報が供給されていないと判定された場合、即ち、ヘッダに最適差分イントラ予測モード情報が含まれていないか、または、画像圧縮情報が存在しない場合、処理はステップＳ１２４に進む。
　ステップＳ１２４において、MostProbableMode生成部１３１は、隣接情報バッファ１２２から読み出された周辺最適イントラ予測モードを用いて、上述した式（１）によりMostProbableModeを最適イントラ予測モードの予測値として生成する。そして、MostProbableMode生成部１３１は、そのMostProbableModeを予測モード再構築部１３２に供給する。
　ステップＳ１２５において、予測モード再構築部１３２は、MostProbableMode生成部１３１からのMostProbableModeと、予測モード情報バッファ１２１からの最適差分イントラ予測モード情報とを加算することにより、最適イントラ予測モードを生成する。なお、予測モード情報バッファ１２１から最適差分イントラ予測モード情報が供給されない場合には、MostProbableModeをそのまま最適イントラ予測モードとする。予測モード再構築部１３２は、生成された最適イントラ予測モードを隣接情報バッファ１２２に供給して保持させるとともに、予測画像生成部１２３に供給する。
　ステップＳ１２６において、予測画像生成部１２３は、フレームメモリ１０９からスイッチ１１０を介して供給される参照画像を用いて、予測モード復号部１１２から供給される最適イントラ予測モードのイントラ予測処理を行う。予測画像生成部１２３は、イントラ予測処理の結果生成された予測画像を、スイッチ１１４を介して加算部１０５に供給する。そして、処理は、図１２のステップＳ１０５に戻り、ステップＳ１０６に進む。
　一方、ステップＳ１２１で最適予測モードが最適イントラ予測モードではないと判定された場合、即ち最適予測モードが最適インター予測モードであると判定された場合、可逆復号部１０２は、動きベクトル、インター予測モード情報、参照画像を特定するための情報などを動き予測・補償部１１３に供給する。
　そして、ステップＳ１２７において、動き予測・補償部１１３は、可逆復号部１０２から供給されるインター予測モード情報、動きベクトル、参照画像を特定するための情報などを取得する。
　ステップＳ１２８において、動き予測・補償部１１３は、インター予測モード情報、動きベクトル、参照画像を特定するための情報に基づいて、スイッチ１１０を介して読み出される参照画像を用いた最適インター予測モードのインター予測処理を行う。動き予測・補償部１１３は、その結果生成される予測画像を、スイッチ１１４を介して加算部１０５に供給する。そして、処理は、図１２のステップＳ１０５に戻り、ステップＳ１０６に進む。
　以上のように、復号装置１００は、符号化装置１０から最適差分イントラ予測モード情報を受信し、その最適差分イントラ予測モード情報とMostProbableModeを加算することにより最適イントラ予測モードを生成し、最適イントラ予測モードのイントラ予測処理を行う。その結果、符号化装置１０により生成された、イントラ予測を行う場合の符号化効率を向上させた画像圧縮情報を復号することができる。
　なお、本実施の形態では、HEVC方式をベースに用いるようにしたが、本技術はこれに限らず、複数のイントラ予測モードのイントラ予測処理を行う符号化方式/復号方式を用いる符号化装置/復号装置に適用することができる。但し、HEVC方式のようにイントラ予測モードのモード数が多い場合、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードが異なる可能性が高いので、より効果的である。
　また、本実施の形態では、PU単位でイントラスキップモードが設定されたが、CU単位、フレーム単位でイントラスキップモードが設定されるようにしてもよい。
　また、本技術は、例えば、MPEG，H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮する方式で圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる符号化装置および復号装置に適用することができる。また、本技術は、光ディスク、磁気ディスク、フラッシュメモリなどの記憶メディアに対して処理する際に用いられる符号化装置および復号装置に適用することができる。さらに、本技術は、それらの符号化装置および復号装置などに含まれるイントラ予測装置にも適用することができる。
　[本技術を適用したコンピュータの説明]
　次に、上述した符号化処理や復号処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。符号化処理や復号処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としての記憶部４０８やROM（Read Only Memory）４０２に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブルメディア４１１に格納（記録）しておくことができる。このようなリムーバブルメディア４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア４１１からドライブ４１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部４０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。　
　コンピュータは、CPU(Central Processing Unit)４０１を内蔵しており、CPU４０１には、バス４０４を介して、入出力インタフェース４０５が接続されている。
　CPU４０１は、入出力インタフェース４０５を介して、ユーザによって、入力部４０６が操作等されることにより指令が入力されると、それに従って、ROM４０２に格納されているプログラムを実行する。あるいは、CPU４０１は、記憶部４０８に格納されたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。
　これにより、CPU４０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース４０５を介して、出力部４０７から出力、あるいは、通信部４０９から送信、さらには、記憶部４０８に記録等させる。
　なお、入力部４０６は、キーボードや、マウス、マイク等で構成される。また、出力部４０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
［テレビジョン受像機の構成例］
　図１５は、本技術を適用した復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
　図１５に示されるテレビジョン受像機５００は、地上波チューナ５１３、ビデオデコーダ５１５、映像信号処理回路５１８、グラフィック生成回路５１９、パネル駆動回路５２０、および表示パネル５２１を有する。
　地上波チューナ５１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ５１５に供給する。ビデオデコーダ５１５は、地上波チューナ５１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路５１８に供給する。
　映像信号処理回路５１８は、ビデオデコーダ５１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路５１９に供給する。
　グラフィック生成回路５１９は、表示パネル５２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路５２０に供給する。また、グラフィック生成回路５１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路５２０に供給するといった処理も適宜行う。
　パネル駆動回路５２０は、グラフィック生成回路５１９から供給されたデータに基づいて表示パネル５２１を駆動し、番組の映像や上述した各種の画面を表示パネル５２１に表示させる。
　表示パネル５２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路５２０による制御に従って番組の映像などを表示させる。
　また、テレビジョン受像機５００は、音声A/D（Analog/Digital)変換回路５１４、音声信号処理回路５２２、エコーキャンセル／音声合成回路５２３、音声増幅回路５２４、およびスピーカ５２５も有する。
　地上波チューナ５１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ５１３は、取得した音声信号を音声A/D変換回路５１４に供給する。
　音声A/D変換回路５１４は、地上波チューナ５１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路５２２に供給する。
　音声信号処理回路５２２は、音声A/D変換回路５１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路５２３に供給する。
　エコーキャンセル／音声合成回路５２３は、音声信号処理回路５２２から供給された音声データを音声増幅回路５２４に供給する。
　音声増幅回路５２４は、エコーキャンセル／音声合成回路５２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ５２５から出力させる。
　さらに、テレビジョン受像機５００は、デジタルチューナ５１６およびMPEGデコーダ５１７も有する。
　デジタルチューナ５１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ５１７に供給する。
　MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ５１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路５２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路５１８に供給する。また、MPEGデコーダ５１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU５３２に供給する。
　テレビジョン受像機５００は、このように映像パケットをデコードするMPEGデコーダ５１７として、上述した復号装置１００を用いる。したがって、MPEGデコーダ５１７では、復号装置１００の場合と同様に、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
　MPEGデコーダ５１７から供給された映像データは、ビデオデコーダ５１５から供給された映像データの場合と同様に、映像信号処理回路５１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路５１９において、生成された映像データ等が適宜重畳され、パネル駆動回路５２０を介して表示パネル５２１に供給され、その画像が表示される。
　MPEGデコーダ５１７から供給された音声データは、音声A/D変換回路５１４から供給された音声データの場合と同様に、音声信号処理回路５２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路５２３を介して音声増幅回路５２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ５２５から出力される。
　また、テレビジョン受像機５００は、マイクロホン５２６、およびA/D変換回路５２７も有する。
　A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路５２３に供給する。
　エコーキャンセル／音声合成回路５２３は、テレビジョン受像機５００のユーザ（ユーザＡ）の音声のデータがA/D変換回路５２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路５２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。
　さらに、テレビジョン受像機５００は、音声コーデック５２８、内部バス５２９、SDRAM（Synchronous Dynamic Random Access Memory)５３０、フラッシュメモリ５３１、CPU５３２、USB（Universal Serial Bus) I/F５３３、およびネットワークI/F５３４も有する。
　A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック５２８に供給する。
　音声コーデック５２８は、A/D変換回路５２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス５２９を介してネットワークI/F５３４に供給する。
　ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F５３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック５２８から供給された音声データを送信する。また、ネットワークI/F５３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子５３５を介して受信し、それを、内部バス５２９を介して音声コーデック５２８に供給する。
　音声コーデック５２８は、ネットワークI/F５３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路５２３に供給する。
　エコーキャンセル／音声合成回路５２３は、音声コーデック５２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。
　SDRAM５３０は、CPU５３２が処理を行う上で必要な各種のデータを記憶する。
　フラッシュメモリ５３１は、CPU５３２により実行されるプログラムを記憶する。フラッシュメモリ５３１に記憶されているプログラムは、テレビジョン受像機５００の起動時などの所定のタイミングでCPU５３２により読み出される。フラッシュメモリ５３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
　例えば、フラッシュメモリ５３１には、CPU５３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ５３１は、例えばCPU５３２の制御により、そのMPEG-TSを、内部バス５２９を介してMPEGデコーダ５１７に供給する。
　MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機５００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ５１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
　また、テレビジョン受像機５００は、リモートコントローラ５５１から送信される赤外線信号を受光する受光部５３７も有する。
　受光部５３７は、リモートコントローラ５５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU５３２に出力する。
　CPU５３２は、フラッシュメモリ５３１に記憶されているプログラムを実行し、受光部５３７から供給される制御コードなどに応じてテレビジョン受像機５００の全体の動作を制御する。CPU５３２とテレビジョン受像機５００の各部は、図示せぬ経路を介して接続されている。
　USB I/F５３３は、USB端子５３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機５００の外部の機器との間でデータの送受信を行う。ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
　テレビジョン受像機５００は、MPEGデコーダ５１７として復号装置１００を用いることにより、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
［携帯電話機の構成例］
　図１６は、本技術を適用した符号化装置および復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
　図１６に示される携帯電話機６００は、各部を統括的に制御するようになされた主制御部６５０、電源回路部６５１、操作入力制御部６５２、画像エンコーダ６５３、カメラI/F部６５４、LCD制御部６５５、画像デコーダ６５６、多重分離部６５７、記録再生部６６２、変復調回路部６５８、および音声コーデック６５９を有する。これらは、バス６６０を介して互いに接続されている。
　また、携帯電話機６００は、操作キー６１９、CCD（Charge Coupled Devices）カメラ６１６、液晶ディスプレイ６１８、記憶部６２３、送受信回路部６６３、アンテナ６１４、マイクロホン（マイク）６２１、およびスピーカ６１７を有する。
　電源回路部６５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機６００を動作可能な状態に起動する。
　携帯電話機６００は、CPU、ROMおよびRAM等でなる主制御部６５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
　例えば、音声通話モードにおいて、携帯電話機６００は、マイクロホン（マイク）６２１で集音した音声信号を、音声コーデック６５９によってデジタル音声データに変換し、これを変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
　また、例えば、音声通話モードにおいて、携帯電話機６００は、アンテナ６１４で受信した受信信号を送受信回路部６６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部６５８でスペクトラム逆拡散処理し、音声コーデック６５９によってアナログ音声信号に変換する。携帯電話機６００は、その変換して得られたアナログ音声信号をスピーカ６１７から出力する。
　更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機６００は、操作キー６１９の操作によって入力された電子メールのテキストデータを、操作入力制御部６５２において受け付ける。携帯電話機６００は、そのテキストデータを主制御部６５０において処理し、LCD制御部６５５を介して、画像として液晶ディスプレイ６１８に表示させる。
　また、携帯電話機６００は、主制御部６５０において、操作入力制御部６５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機６００は、その電子メールデータを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
　また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機６００は、復元された電子メールデータを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示する。
　なお、携帯電話機６００は、受信した電子メールデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。
　この記憶部６２３は、書き換え可能な任意の記憶媒体である。記憶部６２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
　さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機６００は、撮像によりCCDカメラ６１６で画像データを生成する。CCDカメラ６１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部６５４を介して、画像エンコーダ６５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
　携帯電話機６００は、このような処理を行う画像エンコーダ６５３として、上述した符号化装置１０を用いる。したがって、画像エンコーダ６５３は、符号化装置１０の場合と同様に、イントラ予測を行う場合の符号化効率を向上させることができる。
　なお、携帯電話機６００は、このとき同時に、CCDカメラ６１６で撮像中にマイクロホン（マイク）６２１で集音した音声を、音声コーデック６５９においてアナログデジタル変換し、さらに符号化する。
　携帯電話機６００は、多重分離部６５７において、画像エンコーダ６５３から供給された符号化画像データと、音声コーデック６５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機６００は、その結果得られる多重化データを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
　なお、画像データを送信しない場合、携帯電話機６００は、CCDカメラ６１６で生成した画像データを、画像エンコーダ６５３を介さずに、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させることもできる。
　また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機６００は、多重分離部６５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
　携帯電話機６００は、画像デコーダ６５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ６１８に表示される。
　携帯電話機６００は、このような処理を行う画像デコーダ６５６として、上述した復号装置１００を用いる。したがって、画像デコーダ６５６は、復号装置１００の場合と同様に、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
　このとき、携帯電話機６００は、同時に、音声コーデック６５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ６１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
　なお、電子メールの場合と同様に、携帯電話機６００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。
　また、携帯電話機６００は、主制御部６５０において、撮像されてCCDカメラ６１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
　さらに、携帯電話機６００は、赤外線通信部６８１で赤外線により外部の機器と通信することができる。
　携帯電話機６００は、画像エンコーダ６５３として符号化装置１０を用いることにより、イントラ予測を行う場合の符号化効率を向上させることができる。
　また、携帯電話機６００は、画像デコーダ６５６として復号装置１００を用いることにより、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
　なお、以上において、携帯電話機６００が、CCDカメラ６１６を用いるように説明したが、このCCDカメラ６１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機６００は、CCDカメラ６１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
　また、以上においては携帯電話機６００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機６００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機６００の場合と同様に、符号化装置１０および復号装置１００を適用することができる。
［ハードディスクレコーダの構成例］
　図１７は、本技術を適用した符号化装置および復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
　図１７に示されるハードディスクレコーダ（HDDレコーダ）７００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
　ハードディスクレコーダ７００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ７００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
　さらに、ハードディスクレコーダ７００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることができる。
　ハードディスクレコーダ７００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることもできる。
　もちろん、この他の動作も可能である。
　図１７に示されるように、ハードディスクレコーダ７００は、受信部７２１、復調部７２２、デマルチプレクサ７２３、オーディオデコーダ７２４、ビデオデコーダ７２５、およびレコーダ制御部７２６を有する。ハードディスクレコーダ７００は、さらに、EPGデータメモリ７２７、プログラムメモリ７２８、ワークメモリ７２９、ディスプレイコンバータ７３０、OSD（On Screen Display）制御部７３１、ディスプレイ制御部７３２、記録再生部７３３、D/Aコンバータ７３４、および通信部７３５を有する。
　また、ディスプレイコンバータ７３０は、ビデオエンコーダ７４１を有する。記録再生部７３３は、エンコーダ７５１およびデコーダ７５２を有する。
　受信部７２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部７２６に出力する。レコーダ制御部７２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ７２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部７２６は、このとき、ワークメモリ７２９を必要に応じて使用する。
　通信部７３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部７３５は、レコーダ制御部７２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
　復調部７２２は、チューナより供給された信号を、復調し、デマルチプレクサ７２３に出力する。デマルチプレクサ７２３は、復調部７２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ７２４、ビデオデコーダ７２５、またはレコーダ制御部７２６に出力する。
　オーディオデコーダ７２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部７３３に出力する。ビデオデコーダ７２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ７３０に出力する。レコーダ制御部７２６は、入力されたEPGデータをEPGデータメモリ７２７に供給し、記憶させる。
　ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されたビデオデータを、ビデオエンコーダ７４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部７３３に出力する。また、ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されるビデオデータの画面のサイズを、モニタ７６０のサイズに対応するサイズに変換する。ディスプレイコンバータ７３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ７４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部７３２に出力する。
　ディスプレイ制御部７３２は、レコーダ制御部７２６の制御のもと、OSD（On Screen Display）制御部７３１が出力したOSD信号を、ディスプレイコンバータ７３０より入力されたビデオ信号に重畳し、モニタ７６０のディスプレイに出力し、表示させる。
　モニタ７６０にはまた、オーディオデコーダ７２４が出力したオーディオデータが、D/Aコンバータ７３４によりアナログ信号に変換されて供給されている。モニタ７６０は、このオーディオ信号を内蔵するスピーカから出力する。
　記録再生部７３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
　記録再生部７３３は、例えば、オーディオデコーダ７２４より供給されるオーディオデータを、エンコーダ７５１によりMPEG方式でエンコードする。また、記録再生部７３３は、ディスプレイコンバータ７３０のビデオエンコーダ７４１より供給されるビデオデータを、エンコーダ７５１によりMPEG方式でエンコードする。記録再生部７３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部７３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
　記録再生部７３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部７３３は、デコーダ７５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部７３３は、復号したオーディオデータをD/A変換し、モニタ７６０のスピーカに出力する。また、記録再生部７３３は、復号したビデオデータをD/A変換し、モニタ７６０のディスプレイに出力する。
　レコーダ制御部７２６は、受信部７２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ７２７から最新のEPGデータを読み出し、それをOSD制御部７３１に供給する。OSD制御部７３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部７３２に出力する。ディスプレイ制御部７３２は、OSD制御部７３１より入力されたビデオデータをモニタ７６０のディスプレイに出力し、表示させる。これにより、モニタ７６０のディスプレイには、EPG（電子番組ガイド）が表示される。
　また、ハードディスクレコーダ７００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
　通信部７３５は、レコーダ制御部７２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部７２６に供給する。レコーダ制御部７２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部７３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部７２６および記録再生部７３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
　また、レコーダ制御部７２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ７３０に供給する。ディスプレイコンバータ７３０は、ビデオデコーダ７２５から供給されるビデオデータと同様に、レコーダ制御部７２６から供給されるビデオデータを処理し、ディスプレイ制御部７３２を介してモニタ７６０に供給し、その画像を表示させる。
　また、この画像表示に合わせて、レコーダ制御部７２６が、復号したオーディオデータを、D/Aコンバータ７３４を介してモニタ７６０に供給し、その音声をスピーカから出力させるようにしてもよい。
　さらに、レコーダ制御部７２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ７２７に供給する。
　以上のようなハードディスクレコーダ７００は、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダとして復号装置１００を用いる。したがって、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダは、復号装置１００の場合と同様に、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
　また、ハードディスクレコーダ７００は、エンコーダ７５１として符号化装置１０を用いる。したがって、エンコーダ７５１は、符号化装置１０の場合と同様に、イントラ予測を行う場合の符号化効率を向上させることができる。
　なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ７００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ７００の場合と同様に、符号化装置１０および復号装置１００を適用することができる。
［カメラの構成例］
　図１８は、本技術を適用した符号化装置および復号装置を用いるカメラの主な構成例を示すブロック図である。
　図１８に示されるカメラ８００は、被写体を撮像し、被写体の画像をLCD８１６に表示させたり、それを画像データとして、記録メディア８３３に記録したりする。
　レンズブロック８１１は、光（すなわち、被写体の映像）を、CCD/CMOS８１２に入射させる。CCD/CMOS８１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部８１３に供給する。
　カメラ信号処理部８１３は、CCD/CMOS８１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部８１４に供給する。画像信号処理部８１４は、コントローラ８２１の制御の下、カメラ信号処理部８１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ８４１で例えばMPEG方式により符号化したりする。画像信号処理部８１４は、画像信号を符号化して生成した符号化データを、デコーダ８１５に供給する。さらに、画像信号処理部８１４は、オンスクリーンディスプレイ（OSD）８２０において生成された表示用データを取得し、それをデコーダ８１５に供給する。
　以上の処理において、カメラ信号処理部８１３は、バス８１７を介して接続されるDRAM（Dynamic Random Access Memory）８１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM８１８に保持させる。
　デコーダ８１５は、画像信号処理部８１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD８１６に供給する。また、デコーダ８１５は、画像信号処理部８１４から供給された表示用データをLCD８１６に供給する。LCD８１６は、デコーダ８１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
　オンスクリーンディスプレイ８２０は、コントローラ８２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス８１７を介して画像信号処理部８１４に出力する。
　コントローラ８２１は、ユーザが操作部８２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス８１７を介して、画像信号処理部８１４、DRAM８１８、外部インタフェース８１９、オンスクリーンディスプレイ８２０、およびメディアドライブ８２３等を制御する。FLASH ROM８２４には、コントローラ８２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
　例えば、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５に代わって、DRAM８１８に記憶されている画像データを符号化したり、DRAM８１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部８１４やデコーダ８１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
　また、例えば、操作部８２２から画像印刷の開始が指示された場合、コントローラ８２１は、DRAM８１８から画像データを読み出し、それを、バス８１７を介して外部インタフェース８１９に接続されるプリンタ８３４に供給して印刷させる。
　さらに、例えば、操作部８２２から画像記録が指示された場合、コントローラ８２１は、DRAM８１８から符号化データを読み出し、それを、バス８１７を介してメディアドライブ８２３に装着される記録メディア８３３に供給して記憶させる。
　記録メディア８３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア８３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
　また、メディアドライブ８２３と記録メディア８３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
　外部インタフェース８１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ８３４と接続される。また、外部インタフェース８１９には、必要に応じてドライブ８３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア８３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM８２４にインストールされる。
　さらに、外部インタフェース８１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ８２１は、例えば、操作部８２２からの指示に従って、DRAM８１８から符号化データを読み出し、それを外部インタフェース８１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ８２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース８１９を介して取得し、それをDRAM８１８に保持させたり、画像信号処理部８１４に供給したりすることができる。
　以上のようなカメラ８００は、デコーダ８１５として復号装置１００を用いる。したがって、デコーダ８１５は、復号装置１００の場合と同様に、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
　また、カメラ８００は、エンコーダ８４１として符号化装置１０を用いる。したがって、エンコーダ８４１は、符号化装置１０の場合と同様に、イントラ予測を行う場合の符号化効率を向上させることができる。
　なお、コントローラ８２１が行う復号処理に復号装置１００の復号方法を適用するようにしてもよい。同様に、コントローラ８２１が行う符号化処理に符号化装置１０の符号化方法を適用するようにしてもよい。
　また、カメラ８００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
　もちろん、符号化装置１０および復号装置１００は、上述した装置以外の装置やシステムにも適用可能である。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　１０　符号化装置，　１３　演算部，　１４　直交変換部，　１６　可逆符号化部，　４１　候補予測画像生成部，　４３　予測モード判定部，　４５　イントラスキップ判定部，　５１　MostProbableMode生成部，　５２　差分モード生成部，　１００　復号装置，　１０１　蓄積バッファ，　１０２　可逆復号部，　１０５　加算部，　１２３　予測画像生成部，　１３１　MostProbableMode生成部，　１３２　予測モード再構築部

Claims (16)

  1. 　符号化対象であるカレントブロックの周辺に位置する周辺ブロックの最適イントラ予測モードを用いて、前記カレントブロックの最適イントラ予測モードの予測値を生成する予測値生成部と、
    　前記カレントブロックの最適イントラ予測モードと、前記予測値生成部により生成された前記カレントブロックの最適イントラ予測モードの予測値の差分を生成する差分生成部と、
    　前記差分生成部により生成された前記差分を伝送する伝送部と
    　を備える符号化装置。
  2. 　前記カレントブロックに対する予測画像の方向が隣り合う前記イントラ予測モードは、連続する値である
    　請求項１に記載の符号化装置。
  3. 　前記伝送部は、前記差分生成部により生成された前記差分がゼロである場合、前記差分の伝送を停止する
    　請求項１に記載の符号化装置。
  4. 　前記カレントブロックと、前記カレントブロックの最適イントラ予測モードのイントラ予測処理により生成される前記予測画像との差分を残差画像として生成する生成部と、
    　前記生成部により生成された前記残差画像に対して直交変換を施す直交変換部と
    　をさらに備え、
    　前記伝送部は、前記差分と前記直交変換部による直交変換の結果得られる係数を伝送し、前記係数と前記差分がゼロである場合、前記係数と前記差分の伝送を停止する
    　請求項３に記載の符号化装置。
  5. 　前記予測値生成部は、複数の前記周辺ブロックの最適イントラ予測モードのうちの最も小さいものを、前記カレントブロックの最適イントラ予測モードの予測値として生成する
    　請求項１に記載の符号化装置。
  6. 　前記伝送部は、前記差分を符号化して伝送する
    　請求項１に記載の符号化装置。
  7. 　前記カレントブロックに対して複数のイントラ予測モードのイントラ予測処理を行い、予測画像を生成する予測画像生成部と、
    　前記予測画像生成部により生成された前記予測画像と前記カレントブロックに基づいて、前記複数のイントラ予測モードのうちの所定のイントラ予測モードを、前記カレントブロックの最適イントラ予測モードと判定する判定部と
    　をさらに備える
    　請求項１に記載の符号化装置。
  8. 　符号化装置が、
    　符号化対象であるカレントブロックの周辺に位置する周辺ブロックの最適イントラ予測モードを用いて、前記カレントブロックの最適イントラ予測モードの予測値を生成する予測値生成ステップと、
    　前記カレントブロックの最適イントラ予測モードと、前記予測値生成ステップの処理により生成された前記カレントブロックの最適イントラ予測モードの予測値の差分を生成する差分生成ステップと、
    　前記差分生成ステップの処理により生成された前記差分を伝送する伝送ステップと
    　を含む符号化方法。
  9. 　復号対象であるカレントブロックの最適なイントラ予測モードと、前記カレントブロックの周辺に位置する周辺ブロックの最適なイントラ予測モードを用いて生成された、前記カレントブロックの最適なイントラ予測モードの予測値との差分を受け取る受け取り部と、
    　前記周辺ブロックの最適なイントラ予測モードを用いて、前記カレントブロックの最適なイントラ予測モードの予測値を生成する予測値生成部と、
    　前記受け取り部により受け取られた前記差分と、前記予測値生成部により生成された前記カレントブロックの最適なイントラ予測モードの予測値を演算することにより、前記カレントブロックの最適なイントラ予測モードを生成するイントラ予測モード生成部と
    　を備える復号装置。
  10. 　前記カレントブロックに対する予測画像の方向が隣り合う前記イントラ予測モードは、連続する値である
    　請求項９に記載の復号装置。
  11. 　前記符号化装置は、前記差分がゼロである場合、前記差分の伝送を停止し、
    　前記イントラ予測モード生成部は、前記符号化装置が前記差分の伝送を停止する場合、前記予測値生成部により生成された前記カレントブロックの最適なイントラ予測モードの予測値を前記カレントブロックの最適なイントラ予測モードとして生成する
    　請求項９に記載の復号装置。
  12. 　前記カレントブロックに対して、前記イントラ予測モード生成部により生成された前記カレントブロックの最適なイントラ予測モードのイントラ予測処理を行い、予測画像を生成する予測画像生成部と、
    　前記予測画像生成部により生成された前記予測画像と前記カレントブロックを加算することにより、前記カレントブロックを復号する加算部
    　をさらに備え、
    　前記符号化装置は、前記差分と前記カレントブロックを伝送し、前記差分と前記カレントブロックがゼロである場合、前記差分と前記カレントブロックの伝送を停止し、
    　前記加算部は、前記符号化装置が前記カレントブロックの伝送を停止する場合、前記予測画像生成部により生成された前記予測画像を前記カレントブロックの復号結果とする
    　請求項１１に記載の復号装置。
  13. 　前記予測値生成部は、複数の前記周辺ブロックの最適なイントラ予測モードのうちの最も小さいものを、前記カレントブロックの最適なイントラ予測モードの予測値として生成する
    　請求項９に記載の復号装置。
  14. 　符号化された前記差分を復号する復号部
    　をさらに備え、
    　前記受け取り部は、符号化された前記差分を受け取る
    　請求項９に記載の復号装置。
  15. 　前記カレントブロックに対して、前記イントラ予測モード生成部により生成された前記カレントブロックの最適なイントラ予測モードのイントラ予測処理を行い、予測画像を生成する予測画像生成部
    　をさらに備える
    　請求項９に記載の復号装置。
  16. 　復号装置が、
    　復号対象であるカレントブロックの最適なイントラ予測モードと、前記カレントブロックの周辺に位置する周辺ブロックの最適なイントラ予測モードを用いて生成された、前記カレントブロックの最適なイントラ予測モードの予測値との差分を受け取る受け取りステップと、
    　前記周辺ブロックの最適なイントラ予測モードを用いて、前記カレントブロックの最適なイントラ予測モードの予測値を生成する予測値生成ステップと、　前記受け取りステップの処理により受け取られた前記差分と、前記予測値生成ステップの処理により生成された前記カレントブロックの最適なイントラ予測モードの予測値を演算することにより、前記カレントブロックの最適なイントラ予測モードを生成するイントラ予測モード生成ステップと
    　を含む復号方法。
PCT/JP2012/050172 2011-01-13 2012-01-06 符号化装置および符号化方法、並びに復号装置および復号方法 WO2012096229A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280004774.0A CN103503453A (zh) 2011-01-13 2012-01-06 编码装置和编码方法、以及解码装置和解码方法
US13/994,058 US20130266232A1 (en) 2011-01-13 2012-01-06 Encoding device and encoding method, and decoding device and decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011005188A JP2012147332A (ja) 2011-01-13 2011-01-13 符号化装置および符号化方法、並びに復号装置および復号方法
JP2011-005188 2011-01-13

Publications (1)

Publication Number Publication Date
WO2012096229A1 true WO2012096229A1 (ja) 2012-07-19

Family

ID=46507129

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/050172 WO2012096229A1 (ja) 2011-01-13 2012-01-06 符号化装置および符号化方法、並びに復号装置および復号方法

Country Status (4)

Country Link
US (1) US20130266232A1 (ja)
JP (1) JP2012147332A (ja)
CN (1) CN103503453A (ja)
WO (1) WO2012096229A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096679A (ja) * 2012-11-08 2014-05-22 Nippon Hoso Kyokai <Nhk> 画像符号化装置及び画像符号化プログラム
US10264280B2 (en) 2011-06-09 2019-04-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
WO2020031297A1 (ja) * 2018-08-08 2020-02-13 富士通株式会社 符号化装置、符号化方法、符号化プログラム、復号装置、復号方法及び復号プログラム
CN112637591A (zh) * 2020-12-11 2021-04-09 百果园技术(新加坡)有限公司 一种视频预测编码的方法及装置
US11700384B2 (en) 2011-07-17 2023-07-11 Qualcomm Incorporated Signaling picture size in video coding

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014054267A1 (ja) * 2012-10-01 2014-04-10 パナソニック株式会社 画像符号化装置及び画像符号化方法
US10554966B2 (en) 2014-10-07 2020-02-04 Samsung Electronics Co., Ltd. Multi-view image encoding/decoding method and apparatus
CN104519352A (zh) * 2014-12-17 2015-04-15 北京中星微电子有限公司 一种判别最佳预测模式的方法及装置
WO2017192995A1 (en) * 2016-05-06 2017-11-09 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
JP7147145B2 (ja) * 2017-09-26 2022-10-05 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
MX2021007785A (es) * 2018-12-31 2021-08-24 Vid Scale Inc Interpredicción e intraprediccion combinadas.
CN110568983B (zh) * 2019-07-16 2022-08-12 西安万像电子科技有限公司 图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005438A (ja) * 2004-06-15 2006-01-05 Sony Corp 画像処理装置およびその方法
WO2007046433A1 (ja) * 2005-10-19 2007-04-26 Ntt Docomo, Inc. 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
WO2008149840A1 (ja) * 2007-06-04 2008-12-11 Ntt Docomo, Inc. 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
WO2010087157A1 (ja) * 2009-01-29 2010-08-05 パナソニック株式会社 画像符号化方法及び画像復号方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369402B2 (en) * 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
KR101119970B1 (ko) * 2007-02-05 2012-02-22 삼성전자주식회사 적응적인 양자화 스텝을 이용한 영상의 부호화, 복호화방법 및 장치
KR101158491B1 (ko) * 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005438A (ja) * 2004-06-15 2006-01-05 Sony Corp 画像処理装置およびその方法
WO2007046433A1 (ja) * 2005-10-19 2007-04-26 Ntt Docomo, Inc. 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
WO2008149840A1 (ja) * 2007-06-04 2008-12-11 Ntt Docomo, Inc. 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
WO2010087157A1 (ja) * 2009-01-29 2010-08-05 パナソニック株式会社 画像符号化方法及び画像復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EHSAN MAANI ET AL., DIFFERENTIAL CODING OF INTRA MODES (DCIM), JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, JCTVC-B109, 2ND MEETING, July 2010 (2010-07-01), GENEVA, CH, pages 1 - 7 *
TOMOYUKI YAMAMOTO ET AL.: "Flexible Representation of Intra Prediction Modes", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, JCTVC-B063, 2ND MEETING, July 2010 (2010-07-01), GENEVA, CH, pages 1 - 7 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264280B2 (en) 2011-06-09 2019-04-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
US11700384B2 (en) 2011-07-17 2023-07-11 Qualcomm Incorporated Signaling picture size in video coding
JP2014096679A (ja) * 2012-11-08 2014-05-22 Nippon Hoso Kyokai <Nhk> 画像符号化装置及び画像符号化プログラム
WO2020031297A1 (ja) * 2018-08-08 2020-02-13 富士通株式会社 符号化装置、符号化方法、符号化プログラム、復号装置、復号方法及び復号プログラム
US11330256B2 (en) 2018-08-08 2022-05-10 Fujitsu Limited Encoding device, encoding method, and decoding device
CN112637591A (zh) * 2020-12-11 2021-04-09 百果园技术(新加坡)有限公司 一种视频预测编码的方法及装置

Also Published As

Publication number Publication date
CN103503453A (zh) 2014-01-08
US20130266232A1 (en) 2013-10-10
JP2012147332A (ja) 2012-08-02

Similar Documents

Publication Publication Date Title
WO2012096229A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
WO2011018965A1 (ja) 画像処理装置および方法
WO2010101064A1 (ja) 画像処理装置および方法
WO2011089972A1 (ja) 画像処理装置および方法
WO2010038857A1 (ja) 画像処理装置および方法
JPWO2010095560A1 (ja) 画像処理装置および方法
US20110170605A1 (en) Image processing apparatus and image processing method
WO2011089973A1 (ja) 画像処理装置および方法
WO2011086964A1 (ja) 画像処理装置および方法、並びにプログラム
JP5556996B2 (ja) 画像処理装置および方法
WO2010035732A1 (ja) 画像処理装置および方法
WO2011152315A1 (ja) 画像処理装置および方法
WO2011125866A1 (ja) 画像処理装置および方法
WO2011086963A1 (ja) 画像処理装置および方法
WO2013065572A1 (ja) 符号化装置および方法、並びに、復号装置および方法
JPWO2010064675A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
US20110229049A1 (en) Image processing apparatus, image processing method, and program
WO2012093611A1 (ja) 画像処理装置および方法
JP2011151431A (ja) 画像処理装置および方法
WO2010038858A1 (ja) 画像処理装置および方法
WO2010101063A1 (ja) 画像処理装置および方法
WO2012077532A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2011244210A (ja) 画像処理装置および方法
JP2012023632A (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2012077575A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12733876

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13994058

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12733876

Country of ref document: EP

Kind code of ref document: A1