WO2009113276A1 - 画像符号化方式変換装置 - Google Patents

画像符号化方式変換装置 Download PDF

Info

Publication number
WO2009113276A1
WO2009113276A1 PCT/JP2009/000983 JP2009000983W WO2009113276A1 WO 2009113276 A1 WO2009113276 A1 WO 2009113276A1 JP 2009000983 W JP2009000983 W JP 2009000983W WO 2009113276 A1 WO2009113276 A1 WO 2009113276A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction mode
frequency component
intra
screen prediction
unit
Prior art date
Application number
PCT/JP2009/000983
Other languages
English (en)
French (fr)
Inventor
工藤大樹
草野勝大
加藤嘉明
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2010502714A priority Critical patent/JP5241819B2/ja
Publication of WO2009113276A1 publication Critical patent/WO2009113276A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image coding method conversion apparatus for converting an image coding method.
  • JPEG Joint Photographic Expert Group
  • Motion JPEG Motion JPEG that encodes a moving image by continuously encoding JPEG.
  • the Motion JPEG method is sometimes called an MJPEG method or an M-JPEG method.
  • MPEG-2 Motion Picture Expert Group
  • MPEG-2 Motion Picture Expert Group
  • DVD Digital Versatile Disk
  • H.264 is a method adopted for terrestrial digital broadcasting for mobile terminals, so-called one-segment broadcasting.
  • H.264 system As described above, there are various image encoding methods, and generally, different image encoding methods are not compatible.
  • an image coding method conversion device disclosed in Patent Document 1 below, a method for converting a JPEG method into an MPEG-4 method is disclosed.
  • the DCT coefficient is used for compression in both the JPEG system and the MPEG-4 system, and direct current (DC) component conversion and Huffman code conversion are performed.
  • the JPEG system is converted to the MPEG-4 system.
  • H Since the DCT coefficient is not used in the H.264 system, this image coding system conversion apparatus uses the H.264 standard. It cannot be applied to H.264 conversion.
  • Non-Patent Documents 1 and 2 the MPEG-2 DCT coefficient before conversion is used.
  • a method of performing high-speed conversion by narrowing down the prediction mode in the intra-screen prediction of the H.264 system is disclosed.
  • the prediction mode is determined in 16 ⁇ 16 prediction, but all DCT coefficients may be used. In this case, a very large amount of calculation is required. It will take. In 4 ⁇ 4 prediction, only the prediction direction is narrowed down, and the prediction method is not completely determined.
  • Non-Patent Document 3 discloses a method of converting an 8 ⁇ 8 DCT coefficient into four 4 ⁇ 4 DCT coefficients and determining a prediction mode from the converted 4 ⁇ 4 DCT coefficients.
  • the amount of calculation for converting the 8 ⁇ 8 DCT coefficient into four 4 ⁇ 4 DCT coefficients is very large.
  • JP 2004-186811 A A fast Intra Mode Decision Algorithm for MPEG-2 to H.264 Video Transcoding''Consumer Electronics, 2006. ISCE 06.
  • 2006 IEEE Tenth International Symposium on 2006 Page (s): 1-5 Fast Intra Prediction Mode Decision Mode for MPEG-2 to H.264 Transcoding, Multimedia and Expo, 2007 IEEE International Conference 2-5 July, 2007 Page (s): 428--431 ⁇ Fast Intra Mode Decision Mode Method for MPEG MPEG H.264 Transcoding Image Processing, 2006 IEEE Standard International Conference 8-1-1 Oct. 2006 Page (s): 833-836
  • Non-Patent Documents 1 to 3 Since the conventional image coding method conversion apparatus is configured as described above, in Non-Patent Documents 1 to 3, H. Although the H.264 system can be included in the conversion target of the image encoding system, there is a problem that the amount of calculation when converting the image encoding system becomes very large.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to obtain an image coding method conversion apparatus capable of converting an image coding method with a small amount of calculation.
  • the image coding method conversion apparatus decodes a part of the encoded stream of the first coding method in which the image is converted into the frequency domain and encoded, and the signal of the frequency component of the image is obtained.
  • the frequency component signal acquired by the frequency component signal acquisition unit is encoded using the in-screen prediction direction estimated by the unit to generate an encoded stream of the second encoding method. .
  • the frequency component signal acquisition for decoding a part of the encoded stream of the first encoding method in which the image is converted into the frequency domain and encoded to acquire the signal of the frequency component of the image.
  • an intra-screen prediction direction estimation unit that estimates the direction of intra-screen prediction from the frequency component signal acquired by the frequency component signal acquisition unit, and the encoding unit is estimated by the intra-screen prediction direction estimation unit. Since it is configured to generate the encoded stream of the second encoding method by encoding the frequency component signal acquired by the frequency component signal acquisition unit using the direction of the inner prediction, the image code with a small amount of computation There is an effect that the conversion method can be converted.
  • FIG. 3 is an explanatory diagram showing blocks C 0 0 to C 0 3 to be encoded and surrounding blocks R0 to R5.
  • Block C 1 0 ⁇ C 1 15 of the encoding target image is an explanatory diagram showing a block R0 ⁇ R5 therearound. It is a flowchart which shows the narrowing-down process of the prediction mode in 4 * 4 prediction mode.
  • FIG. 10 is an explanatory diagram showing encoding target blocks A 0 0 to A 0 3 of the current frame and encoding target blocks B 0 0 to B 0 3 at the same position one frame before. It is a flowchart which shows the processing content of the prediction mode estimation process determination part 13 of the image coding system converter by Embodiment 3 of this invention. It is a block diagram which shows the image coding system converter by Embodiment 4 of this invention. It is a flowchart which shows the processing content of the prediction mode estimation process determination part 15 of the image coding system converter by Embodiment 4 of this invention.
  • FIG. 6 is an explanatory diagram showing peripheral blocks RA0 to RA5.
  • the frequency characteristics R0_bottom, R1_bottom of the lowermost 16 pixels of the blocks R0-R3, the surrounding blocks R0-R3, the surrounding blocks R0-R3, the rightmost 16 pixels of R2, R3, and the encoding target blocks C 0 0-C 0 3 It is explanatory drawing which shows frequency characteristics R2_right and R3_right. It is a block diagram which shows the image coding system converter by Embodiment 8 of this invention.
  • FIG. 4 is an explanatory diagram showing a 4 ⁇ 4 block C 1 n to be encoded and surrounding pixels a to i.
  • FIG. 1 is a block diagram showing an image coding method conversion apparatus according to Embodiment 1 of the present invention.
  • a JPEG simple decoding unit 1 is a JPEG method (first method) in which an image is converted into a frequency domain and encoded.
  • JPEG data that is an encoded stream of (1 encoding method) is input, a part of the JPEG data is decoded, and a DCT coefficient that is a signal of a frequency component of the image, and the width and height of the image are indicated.
  • the JPEG simple decoding unit 1 constitutes frequency component signal acquisition means.
  • the prediction mode estimation unit 2 calculates the H.264 from the DCT coefficient acquired by the JPEG simple decoding unit 1. A process of estimating a prediction mode (direction of intra-screen prediction) in the H.264 system (second encoding system) is performed. Note that the prediction mode estimation unit 2 constitutes an intra-screen prediction direction estimation unit.
  • H. H.264 encoding unit 3 is H.264.
  • H.264 encoding is performed by the JPEG simple decoding unit 1 using the prediction mode estimated by the prediction mode estimation unit 2 and the header information acquired by the JPEG simple decoding unit 1.
  • the DCT coefficients obtained by encoding A process of generating a H.264 stream (encoded stream of the second encoding method) is performed.
  • H. The H.264 encoding unit 3 constitutes encoding means.
  • FIG. 2 is a flowchart showing the processing contents of the prediction mode estimation unit 2 of the image coding method conversion apparatus according to Embodiment 1 of the present invention.
  • the first encoding method is the JPEG method
  • the second encoding method is H.264.
  • An example of the H.264 system will be described. However, this is merely an example, and it goes without saying that other similar schemes can be applied.
  • the first encoding method may be MPEG-1, MPEG-2, or MPEG-4.
  • the H.264 method can also compress in the time direction
  • the first embodiment targets only the in-screen compression method.
  • the JPEG method divides an image into 8 ⁇ 8 blocks, performs DCT conversion on each block, quantizes DCT coefficients obtained by performing DCT conversion, and converts the quantized DCT coefficients to variable-length codes. It is a method to convert. Generally, when the DCT coefficient is quantized, the compression efficiency is increased by increasing the quantization coefficient for the high frequency component and cutting the high frequency component.
  • This prediction means that a predicted image is created from adjacent pixels that have already been encoded, and the difference between the image to be encoded and the predicted image is taken. That is, H.H. In the H.264 system, it is selected whether the above prediction is performed in a 16 ⁇ 16 block region (16 ⁇ 16 prediction mode) or a 4 ⁇ 4 block region (4 ⁇ 4 prediction mode).
  • prediction mode estimation is performed at high speed by using JPEG DCT coefficients.
  • the JPEG simple decoding unit 1 receives JPEG JPEG data in which an image is converted into a frequency domain and is encoded, a part of the JPEG data is decoded and a DCT coefficient which is a signal of a frequency component of the image And header information indicating the width and height of the image.
  • IDCT Inverse Discrete Cosine Transform
  • IDCT Inverse Discrete Cosine Transform
  • the DCT coefficient is output to the prediction mode estimation unit 2, and the header information is set to H.264.
  • H.264 encoding unit 3 outputs the result.
  • the prediction mode estimation unit 2 receives the DCT coefficient from the JPEG simple decoding unit 1, the prediction mode estimation unit 2 calculates the H.264 from the DCT coefficient.
  • the prediction mode (direction of intra-screen prediction) in the H.264 system is estimated.
  • the processing content of the prediction mode estimation part 2 is demonstrated concretely.
  • FIG. 5 is an explanatory diagram showing blocks C 0 0 to C 0 3 to be image-encoded and surrounding blocks R0 to R5.
  • the blocks C 0 0 to C 0 3 and R0 to R5 are all 8 ⁇ 8 blocks.
  • the situation in which the prediction mode 0 (vertical prediction) in the 16 ⁇ 16 prediction mode is efficient is the lowest 8 pixels of the block R0. This is a case where the pixels of the blocks C 0 0 and C 0 2 are close, and the lowermost 8 pixels of the block R 1 are close to the pixels of the blocks C 0 1 and C 0 3.
  • the situation in which the prediction mode 1 (horizontal prediction) in the 16 ⁇ 16 prediction mode is efficient is the rightmost 8 in the block R2. This is a case where the pixels are close to the pixels of the blocks C 0 0 and C 0 1 and the rightmost 8 pixels of the block R 3 are close to the pixels of the blocks C 0 2 and C 0 3.
  • the situation in which the prediction mode 2 (DC prediction) in the 16 ⁇ 16 prediction mode is efficient is the bottom 16 of the blocks R0 and R1. This is a case where the average value of the pixels, the rightmost 16 pixels of the blocks R2 and R3, and the lower right pixel of the block R4 is close to the average value of all the pixels of the blocks C 0 0 to C 0 3.
  • the situation where the prediction mode 3 (planar prediction) in the 16 ⁇ 16 prediction mode is efficient is the lowest part of the blocks R0 and R1.
  • the rightmost 8 pixels of the blocks R2 and R3, and the lower right pixel of the block R4 are used to create a predicted image with gradation, so that the lowermost pixels of the blocks R0 and R1 Change in the horizontal direction of the blocks C 0 0 to C 0 3, and the change in the rightmost pixel in the blocks R 2 and R 3 is close to the vertical change in the blocks C 0 0 to C 0 3. It is. This is effective for an image with gradation.
  • the prediction mode estimation unit 2 performs H.264.
  • the evaluation value Cost is calculated by substituting the DCT coefficients output from the JPEG simple decoding unit 1 into the evaluation functions shown in the following equations (1) and (2). 16 ⁇ 16_0 and Cost 16 ⁇ 16_1 are calculated (step ST1 in FIG. 2).
  • DCT_C 0 0 i, j , DCT_C 0 1 i, j , DCT_C 0 2 i, j , DCT_C 0 3 i, j , DCT_R0 i, j , DCT_R1 i, j , DCT_R2 i, j , DCT_R3 i, j are , DCT coefficients of i rows and j columns in blocks C 0 1, C 0 2, C 0 3, C 0 4, R0, R1, R2, R3, respectively.
  • k is a coefficient used for calculation, and here, it is assumed that 0 ⁇ k ⁇ 7.
  • k 0, it means that the prediction mode is estimated only from the DCT coefficient of the direct current component among all the DCT coefficients.
  • w 16 ⁇ 16_DC0 , w 16 ⁇ 16_DC1 , w 16 ⁇ 16_DC2 , w 16 ⁇ 16_DC3 , w i , w j are weights.
  • the evaluation value Cost 16 ⁇ 16_0 evaluates the proximity of the horizontal change between the blocks C 0 0, C 0 2 and the block R0 and the horizontal change between the blocks C 0 1, C 0 3 and the block R1. This is an evaluation value of prediction mode 0 (vertical prediction) in the 16 ⁇ 16 prediction mode. Further, the evaluation value Cost 16 ⁇ 16_1 is obtained by evaluating the closeness of the vertical change between the blocks C 0 0, C 0 1 and the block R2 and the vertical change between the blocks C 0 2, C 0 3 and the block R3. The evaluation value of prediction mode 1 (horizontal prediction) in the 16 ⁇ 16 prediction mode.
  • Prediction mode estimating unit 2 evaluation value Cost 16 ⁇ 16_0, calculating the Cost 16 ⁇ 16_1, with comparing the evaluation value Cost 16 ⁇ 16_0 and the threshold th 16 ⁇ 16_0 (step ST2), and the evaluation value Cost 16 ⁇ 16_1
  • the threshold th 16 ⁇ 16_1 is compared (steps ST3 and ST4).
  • the prediction mode estimation unit 2 determines that the pixel is sufficiently close to neighboring pixels in units of 16 ⁇ 16 blocks when at least one of Expression (3) or Expression (4) is satisfied, and any of the 16 ⁇ 16 prediction modes It is decided to use the prediction mode. On the other hand, when both of the equations (3) and (4) are not satisfied, As a prediction mode in the H.264 system, it is determined that any prediction mode in the 4 ⁇ 4 prediction mode is used (step ST5).
  • the prediction mode estimation part 2 determines using the prediction mode 0 (vertical prediction) in 16 * 16 prediction mode, when only Formula (3) is materialized (step ST6). Further, when only the equation (4) is established, it is determined that the prediction mode 1 (horizontal prediction) in the 16 ⁇ 16 prediction mode is used (step ST7).
  • the prediction mode estimation unit 2 takes the absolute value of the difference between the evaluation value Cost 16 ⁇ 16_0 and the evaluation value Cost 16 ⁇ 16_1 when both the expressions (3) and (4) hold, and the difference absolute value and the threshold th 16 ⁇ 16_2 are compared (step ST8).
  • the prediction mode estimation unit 2 determines that only the vertical direction or the horizontal direction is valid, and compares the evaluation value Cost 16 ⁇ 16_0 with the evaluation value Cost 16 ⁇ 16_1 (Step S1). ST9). Cost 16 ⁇ 16_0 ⁇ Cost 16 ⁇ 16_1 (6)
  • the prediction mode estimation unit 2 determines that the prediction mode 0 (vertical prediction) in the 16 ⁇ 16 prediction mode is used when Expression (6) is satisfied (Step ST10), and when Expression (6) is not satisfied, It is determined that the prediction mode 1 (horizontal prediction) in the 16 ⁇ 16 prediction mode is used (step ST11).
  • the prediction mode estimation unit 2 determines that the prediction mode 2 (DC prediction) in the 16 ⁇ 16 prediction mode or the prediction mode 3 (planar prediction) in the 16 ⁇ 16 prediction mode is effective when Expression (5) is not satisfied. .
  • the change in the lowermost pixel in the blocks R0 and R1 and the change in the rightmost pixel in the blocks R2 and R3 are the pixels of the blocks C 0 0 to C 0 4. It can be said that it is effective when it is close to change.
  • the prediction mode estimation unit 2 calculates the sum of the evaluation value Cost 16 ⁇ 16_0 and the evaluation value Cost 16 ⁇ 16_1 , and compares the sum with the threshold th 16 ⁇ 16_3 (step ST12).
  • Cost 16 ⁇ 16_3 Cost 16 ⁇ 16_0 + Cost 16 ⁇ 16_1 ⁇ th 16 ⁇ 16_3 (7)
  • the prediction mode estimation unit 2 determines that the prediction mode 3 (planar prediction) in the 16 ⁇ 16 prediction mode is used when the equation (7) is satisfied (step ST14), and when the equation (7) is not satisfied, It is determined that the prediction mode 2 (DC prediction) in the 16 ⁇ 16 prediction mode is used (step ST13).
  • FIG. 6 is an explanatory diagram showing blocks C 10 to C 1 15 to be image-encoded and surrounding blocks R0 to R5.
  • the blocks C 1 0 to C 1 15 are all 4 ⁇ 4 blocks and are encoded in the order of 0 to 15.
  • the blocks C 1 0 to C 1 15 are obtained by dividing the blocks C 0 0 to C 0 3 of FIG. 5 into four blocks.
  • the block C 0 0 is a block C 1 0 to C 1 3 and the block C 0 1 is a block C 0 1.
  • block C 0 2 is block C 1 8 ⁇ C 1 11
  • block C 0 3 is one that is divided into blocks C 1 12 ⁇ C 1 15.
  • the blocks R0 to R5 are all 8 ⁇ 8 blocks and are the same as the blocks R0 to R5 in FIG.
  • the prediction mode estimation unit 2 calculates the evaluation values in the vertical direction and the horizontal direction for each block, and calculates the ratio between the evaluation values in the vertical direction and the horizontal direction.
  • the prediction mode estimation unit 2 roughly narrows down to three prediction modes (vertical direction, horizontal direction, diagonal direction) according to the ratio of the evaluation values, and determines the prediction mode from the narrowed prediction direction. In narrowing down the prediction modes, the prediction modes 0, 3, and 7 are set to the vertical direction, the prediction modes 1 and 8 are set to the horizontal direction, and the prediction modes 2, 4, 5, and 6 are set to the diagonal direction.
  • the classification of the prediction mode is based on the position of the pixel that creates the predicted image.
  • FIG. 7 is a flowchart showing prediction mode narrowing-down processing in the 4 ⁇ 4 prediction mode.
  • 8, 9 and 10 are flowcharts showing prediction mode selection processing in the 4 ⁇ 4 prediction mode.
  • the prediction mode estimation unit 2 calculates the vertical evaluation value Cost 4 ⁇ 4_V blocks C 1 n (0 ⁇ n ⁇ 15), and n, the horizontal evaluation value Cost 4 ⁇ 4_H, and n ( Step ST21 in FIG. 7).
  • the evaluation value calculation method differs for each block, and the calculation method will be described later.
  • the prediction mode estimation unit 2 calculates the ratio RateVH 4 ⁇ 4, n between the evaluation value in the vertical direction and the evaluation value in the horizontal direction (step ST22).
  • the prediction mode estimation unit 2 compares the evaluation value ratio RateVH 4 ⁇ 4, n with the thresholds th 4 ⁇ 4_H, n and th 4 ⁇ 4_V, n . (Steps ST23 and ST24). RateVH 4 ⁇ 4, n ⁇ th 4 ⁇ 4_H, n (9) th 4 ⁇ 4_H, n ⁇ RateVH 4 ⁇ 4, n ⁇ th 4 ⁇ 4_V, n (10) RateVH 4 ⁇ 4, n ⁇ th 4 ⁇ 4_V, n (11)
  • the prediction mode estimation unit 2 narrows down the prediction modes 1 and 8 assuming that the prediction in the horizontal direction is effective when Expression (9) is satisfied (step ST25).
  • the prediction mode estimation unit 2 narrows down the prediction modes 2, 4, 5, and 6 assuming that the prediction in the oblique direction is effective when Expression (10) is satisfied (step ST26).
  • the prediction mode estimation unit 2 narrows down the prediction modes 0, 3, and 7 assuming that the prediction in the vertical direction is effective when Expression (11) is satisfied (step ST27).
  • the prediction mode estimation unit 2 narrows down to the prediction modes 1 and 8, the prediction mode ratio RateVH 4 ⁇ 4, n and the threshold th 4 ⁇ 4_1_8, n are compared (step ST31 in FIG. 8). RateVH 4 ⁇ 4, n > th 4 ⁇ 4_1_8, n (12)
  • the prediction mode estimation unit 2 determines that the prediction mode 1 is used when the equation (12) is satisfied (step ST32), and determines that the prediction mode 8 is used when the equation (12) is not satisfied. (Step ST33).
  • the evaluation value Cost that evaluates the AC component of the DCT coefficient of the 8 ⁇ 8 block including the target 4 ⁇ 4 block. 4 ⁇ 4_2, n is calculated (step ST41 in FIG. 9), and the evaluation value Cost 4 ⁇ 4_2, n is compared with the threshold th 4 ⁇ 4_2, n (step ST42).
  • the prediction mode estimation unit 2 determines that the prediction mode 2 is used when the equation (13) is satisfied (step ST43). If the equation (13) is not satisfied, the evaluation value ratio RateVH 4 ⁇ 4, n And threshold values th 4 ⁇ 4 — 4 — 5, n and th 4 ⁇ 4 — 4 — 6, n are compared (steps ST44 and ST45). RateVH 4 ⁇ 4, n ⁇ th 4 ⁇ 4_4_5, n (14) th 4 ⁇ 4_4_5, n ⁇ RateVH 4 ⁇ 4, n ⁇ th 4 ⁇ 4_4_6, n (15) RateVH 4 ⁇ 4, n > th 4 ⁇ 4_4_6, n (16)
  • the prediction mode estimation part 2 determines using the prediction mode 5, when Formula (14) is materialized (step ST46).
  • the prediction mode estimation part 2 determines using the prediction mode 4, when Formula (15) is materialized (step ST47).
  • the prediction mode estimation part 2 determines using the prediction mode 6, when Formula (16) is materialized (step ST48).
  • RateVH 4 ⁇ 4, n and the thresholds th 4 ⁇ 4_0_7, n and th 4 ⁇ 4_3_7, n are compared (FIG. 10 steps ST51 and ST52).
  • the prediction mode estimation part 2 determines using the prediction mode 0, when Formula (17) is materialized (step ST53).
  • the prediction mode estimation part 2 determines using the prediction mode 7, when Formula (18) is materialized (step ST54).
  • the prediction mode estimation part 2 determines as the thing using the prediction mode 3, when Formula (19) is materialized (step ST55).
  • the prediction mode estimation part 2 determines a prediction mode completely, only the prediction mode is narrowed down, SAD and SATD are implemented about the narrowed down prediction mode, The prediction mode may be determined.
  • evaluation values Cost 4 ⁇ 4_V vertical blocks of 4 ⁇ 4 shown in FIG. 6, n, the horizontal evaluation value Cost 4 ⁇ 4_H, method of calculating the n Basically, it is calculated from the DCT coefficients of the 8 ⁇ 8 block from which each 4 ⁇ 4 block is configured and the 8 ⁇ 8 block adjacent thereto.
  • n 0 (C 1 0)
  • An evaluation value is calculated using the DCT coefficient of R2.
  • n is 5 (C 1 5)
  • C 0 1 that contains the block C 1 5
  • An evaluation value is calculated using the DCT coefficient. For the horizontal direction, only the AC component of block C 0 1 is considered.
  • C 0 1 including the block C 1 6 and the block C 0 adjacent to the block C 0 1 are used.
  • An evaluation value is calculated using a DCT coefficient of zero. Only the AC component of the block C 0 1 is considered in the vertical direction.
  • C 0 3 including the block C 1 12 and C 0 1 adjacent to the block C 0 3 are used.
  • C 0 2 is used to calculate an evaluation value.
  • the prediction mode can be estimated from the DCT coefficients of 8 ⁇ 8 blocks.
  • H.264 encoding unit 3 uses the prediction mode and the header information acquired by the JPEG simple decoding unit 1 to calculate the DCT coefficient acquired by the JPEG simple decoding unit 1.
  • IDCT processing may be performed on the DCT coefficient acquired by the JPEG simple decoding unit 1, and the DCT coefficient may be returned to the pixel signal before encoding.
  • encoding may be performed by converting DCT coefficients to integer precision DCT using a transformation matrix.
  • a part of JPEG data encoded by converting an image into the frequency domain is decoded, and a DCT coefficient which is a signal of a frequency component of the image is obtained.
  • a prediction mode estimation unit 2 that estimates a prediction mode (direction of intra-screen prediction) in the H.264 system.
  • the H.264 encoding unit 3 encodes the DCT coefficient acquired by the JPEG simple decoding unit 1 using the prediction mode estimated by the prediction mode estimation unit 2 to generate the H.264 encoding. Since the H.264 stream is generated, a small amount of computation and the H.264 can be performed from the JPG method. There is an effect that can be converted into the H.264 system.
  • Equation (1) Equation (2), Equation (20) to Equation (51)
  • the prediction mode is estimated only from the DCT coefficients of the low frequency components among all the DCT coefficients, the amount of computation Can be greatly reduced.
  • the prediction mode estimation unit 2 uses the DCT coefficient acquired by the JPEG simple decoding unit 1 to determine the H.264 format.
  • the prediction mode estimation unit in the H.264 system has been described.
  • the prediction mode estimation unit 2 determines whether to adopt the 16 ⁇ 16 prediction mode or the 4 ⁇ 4 prediction mode, similarly to the first embodiment. Since the 16 ⁇ 16 prediction mode is adopted and the processing content when selecting the prediction mode in the 16 ⁇ 16 prediction mode is the same as that in the first embodiment, the description thereof is omitted. Hereinafter, the processing content when the 4 ⁇ 4 prediction mode is employed will be described with reference to FIGS. 5 and 6. 11 and 12 are flowcharts showing prediction mode selection processing of the image coding method conversion apparatus according to the second embodiment of the present invention.
  • the prediction mode estimation unit 2 determines whether the high-frequency component is present in the block C 0 0.
  • the prediction mode estimation unit 2 determines that a high frequency component exists in the block C 0 0 when the following equation (52) is established (step ST61 in FIG. 11).
  • MAX (DCT_C 0 0 i, j ) is the maximum value of the DCT coefficient
  • th 2_high is a threshold value
  • 4 ⁇ i and j ⁇ 7 is shown, but for example, 4 ⁇ i and 4 ⁇ j may be used.
  • the prediction mode estimation unit 2 determines a prediction mode in the same manner as in the first embodiment (step ST62).
  • the high frequency component does not exist in the block C 0 0, the following formulas (53) to (55) are calculated, and the evaluation values Cost 2_4 ⁇ 4,0,0 , Cost 2_4 ⁇ 4,0, 1 , Cost 2_4 ⁇ 4,0,2_4 is calculated (step ST63).
  • the prediction mode estimation unit 2 calculates the evaluation values Cost 2_4 ⁇ 4,0,0 , Cost 2_4 ⁇ 4,0,1 and Cost 2_4 ⁇ 4,0,2_4 , the smallest evaluation among these evaluation values is calculated. Select a value.
  • the evaluation value Cost 2 — 4 ⁇ 4,0,0 is the minimum (step ST64)
  • the prediction mode estimation unit 2 determines that the prediction mode 0 is used for the block C 10 (step ST65).
  • the evaluation value Cost 2 — 4 ⁇ 4, 0, 1 is the minimum (step ST66)
  • the prediction mode estimation unit 2 determines that the prediction mode 1 is used for the block C 10 (step ST67).
  • the prediction mode estimation unit 2 compares the DCT coefficient maximum value MAX (DCT_C 0 0 i, j ) with the threshold th 2_DC (step ST68).
  • the prediction mode estimation unit 2 determines that the prediction mode 4 is used for the block C 10 (step ST69).
  • the block C 1 0 determines that utilizes the prediction mode 2 (step ST70).
  • the prediction mode estimation unit 2 determines the prediction mode of the block C 10 , the prediction mode is sequentially determined by taking advantage of the absence of high frequency components. That is, for the block C 1 1 determines the prediction mode 1, the block C 1 2 determines the prediction mode 0, for block C 1 3, determines whether the following equation (57) is satisfied (Step ST81 in FIG. 12).
  • the prediction mode estimation unit 2 determines that the prediction mode 2 is used for the block C 13 (step ST82).
  • the prediction mode estimation part 2 determines whether the following formula
  • the prediction mode estimation unit 2 determines that the prediction mode 1 is used for the block C 13 (step ST84). When the equation (58) is not established, the prediction mode estimation unit 2 determines that the prediction mode 0 is used for the block C 13 (step ST85). Thereafter, the prediction modes of the blocks C 14 to C 1 15 are determined for the blocks C 0 1, C 0 2 and C 0 3 in the same manner.
  • the prediction mode estimation unit 2 uses the following formula (59) as the determination of the high frequency component.
  • the following formulas (60) to (62) are calculated and the evaluation value Cost 2 — 4 ⁇ 4,1, 0 , Cost 2_4 ⁇ 4,1,1 and Cost 2_4 ⁇ 4,1,2_4 are calculated.
  • the prediction mode estimation unit 2 calculates the evaluation values Cost 2_4 ⁇ 4,1,0 , Cost 2_4 ⁇ 4,1,1 and Cost 2_4 ⁇ 4,1,2_4 , the smallest evaluation among these evaluation values is calculated. Select a value.
  • the prediction mode estimation unit 2 determines that the prediction mode 0 is used for the block C 14 when the evaluation value Cost 2 — 4 ⁇ 4,1,0 is minimum.
  • the prediction mode estimation unit 2 determines that the prediction mode 1 is used for the block C 14 when the evaluation value Cost 2 — 4 ⁇ 4, 1, 1 is the minimum.
  • the prediction mode estimation unit 2 compares the maximum value MAX (DCT_C 0 1 i, j ) of the DCT coefficient with the threshold th 2_DC .
  • the prediction mode estimation unit 2 determines that the prediction mode 4 is used for the block C 14 when Expression (63) is established. On the other hand, if the expression (63) is not satisfied, the block C 1 4 is determined to utilize prediction mode 2.
  • Prediction mode estimation unit 2 the block C 1 5 is determined to utilize prediction mode 1
  • the block C 1 6 is determined to utilize prediction mode 0.
  • For block C 1 7 determines whether the following equation (64) holds.
  • Prediction mode estimating unit 2 if the expression (64) holds for the block C 1 7 is determined to utilize prediction mode 2. On the other hand, when the formula (64) is not satisfied, it is determined whether the following formula (65) is satisfied. Prediction mode estimating unit 2, if the expression (65) holds for the block C 1 7 is determined to utilize prediction mode 1. On the other hand, if the expression (65) is not satisfied, the block C 1 7 is determined to utilize prediction mode 0.
  • the prediction mode estimation unit 2 uses the following formula (66) as the determination of the high frequency component.
  • the prediction mode estimation unit 2 calculates the evaluation values Cost 2 — 4 ⁇ 4 , 2, 0 , Cost 2 — 4 ⁇ 4 , 2, 1 , and Cost 2 — 4 ⁇ 4 , 2 , 2_4 , the smallest evaluation among these evaluation values is calculated. Select a value. Prediction mode estimating unit 2, if the evaluation value Cost 2_4 ⁇ 4,2,0 is at a minimum, it is determined that utilizes the prediction mode 0 for the block C 1 8. Further, the prediction mode estimation unit 2, when the evaluation value Cost 2_4 ⁇ 4, 2, 1 is the smallest, is determined to utilize the prediction mode 1 for block C 1 8.
  • the prediction mode estimation unit 2 compares the DCT coefficient maximum value MAX (DCT_C 0 2 i, j ) with the threshold th 2_DC .
  • Prediction mode estimating unit 2 if the expression (70) is satisfied, it is determined that utilizes the prediction mode 4 for the block C 1 8. On the other hand, if the expression (69) is not satisfied, it is determined that utilizes the prediction mode 2 for block C 1 8.
  • Prediction mode estimation unit 2 the block C 1 9 is determined to utilize prediction mode 1
  • the block C 1 10 is determined to utilize prediction mode 0.
  • the prediction mode estimation unit 2 determines that the prediction mode 2 is used for the block C 1 11 when the formula (71) is established. On the other hand, when Expression (71) is not satisfied, it is determined whether or not the following Expression (72) is satisfied. The prediction mode estimation unit 2 determines that the prediction mode 1 is used for the block C 1 11 when the formula (72) is established. On the other hand, if the expression (72) is not satisfied, the block C 1 11 is determined to utilize prediction mode 0.
  • the prediction mode estimation unit 2 uses the following formula (73) as the determination of the high frequency component.
  • the following formulas (74) to (76) are calculated, and the evaluation value Cost 2 — 4 ⁇ 4, 3, 0 , Cost 2_4 ⁇ 4,3,1 and Cost 2_4 ⁇ 4,3,2_4 are calculated.
  • the prediction mode estimation unit 2 calculates the evaluation values Cost 2_4 ⁇ 4,3,0 , Cost 2_4 ⁇ 4,3,1 and Cost 2_4 ⁇ 4,3,2_4 , the smallest evaluation among these evaluation values is calculated. Select a value. Prediction mode estimating unit 2, if the evaluation value Cost 2_4 ⁇ 4,3,0 is minimal, for the block C 1 12 is determined to utilize prediction mode 0. Further, the prediction mode estimation unit 2, when the evaluation value Cost 2_4 ⁇ 4,3,1 is minimal, for the block C 1 12 is determined to utilize prediction mode 1.
  • the prediction mode estimation unit 2 compares the maximum DCT coefficient MAX (DCT_C 0 3 i, j ) with the threshold th 2_DC .
  • Prediction mode estimating unit 2 if the expression (77) holds for the block C 1 12 is determined to utilize prediction mode 4. On the other hand, if the expression (77) is not satisfied, the block C 1 12 is determined to utilize prediction mode 2.
  • the prediction mode estimation unit 2 determines that the prediction mode 1 is used for the block C 1 13 and determines that the prediction mode 0 is used for the block C 1 14. For block C 1 15, it is determined whether or not the following equation (78) holds.
  • the prediction mode estimation unit 2 determines that the prediction mode 2 is used for the block C 1 15 when Expression (78) is established. On the other hand, when the formula (78) is not satisfied, it is determined whether the following formula (79) is satisfied. The prediction mode estimation unit 2 determines that the prediction mode 1 is used for the block C 1 15 when Expression (79) is established. On the other hand, if the expression (79) is not satisfied, it is determined that utilizes the prediction mode 0 for the block C 1 15.
  • the prediction mode of three 4 ⁇ 4 blocks is determined by comparing the DC components, and the remaining 1 One block can also be easily determined from the sum of the AC components. Therefore, when there is no high-frequency component, the 4 ⁇ 4 prediction mode is determined at a very high speed. Conversion to the H.264 system can be performed at high speed.
  • the prediction mode estimation unit 2 uses the DCT coefficient acquired by the JPEG simple decoding unit 1 to determine the H.264 format. As shown in FIG. 14, in the case of a moving image, it is often expressed in a format in which still images are arranged in the time axis direction. In general, the correlation is often high (similar). Therefore, in the third embodiment, when similar images are continuously encoded, the H.264 format is changed.
  • the prediction mode of the H.264 system is not estimated, and the same prediction mode as the prediction mode one frame before is continuously used. Specifically, it is as follows.
  • FIG. 13 is a block diagram showing an image coding system conversion apparatus according to Embodiment 3 of the present invention.
  • the DCT coefficient storage unit 11 stores the DCT coefficient acquired by the JPEG simple decoding unit 1, and then stores the latest DCT coefficient (DCT coefficient of the current frame) acquired by the JPEG simple decoding unit 1.
  • the DCT coefficient one frame before is output to the prediction mode estimation process determination unit 13.
  • the DCT coefficient storage unit 11 constitutes frequency component storage means.
  • the prediction mode storage unit 12 is an H.264 estimated by the prediction mode estimation unit 2. When the prediction mode output command of the prediction mode is received from the prediction mode estimation processing determination unit 13, the stored prediction mode one frame before is stored in H.264. H.264 encoding unit 3 outputs the result.
  • the prediction mode storage unit 12 constitutes an intra-screen prediction direction storage unit.
  • the prediction mode estimation process determination unit 13 compares the DCT coefficient of the current frame acquired by the JPEG simple decoding unit 1 with the DCT coefficient of the previous frame stored in the DCT coefficient storage unit 11 to calculate a prediction mode estimation unit. In H.2. If it is determined that it is necessary to perform the prediction mode estimation process (intra-screen prediction direction estimation process) of the H.264 method and the prediction mode estimation process needs to be performed, the prediction mode estimation command is used as the prediction mode estimation command. When the prediction mode estimation process is performed by the prediction mode estimation unit 2 by determining that the prediction mode estimation process need not be performed, the prediction mode output unit outputs a prediction mode output command. 12, the prediction mode one frame before stored in the prediction mode storage unit 12 is set to H.12.
  • FIG. 16 is a flowchart showing the processing contents of the prediction mode estimation processing determination unit 13 of the image coding method conversion apparatus according to Embodiment 3 of the present invention.
  • the DCT coefficient storage unit is the same as the first and second embodiments. 11, only the operations of the prediction mode storage unit 12 and the prediction mode estimation process determination unit 13 will be described.
  • the DCT coefficient storage unit 11 stores the DCT coefficient when the JPEG simple decoding unit 1 acquires the DCT coefficient, and then the JPEG simple decoding unit 1 stores the DCT coefficient of the current frame. Is obtained, the stored DCT coefficient of the previous frame is output to the prediction mode estimation processing determination unit 13.
  • the prediction mode storage unit 12 is configured so that the prediction mode estimation unit 2 is H.264 as in the first embodiment. When the H.264 prediction mode is estimated, the prediction mode is stored.
  • the prediction mode estimation process determination unit 13 When the prediction mode estimation process determination unit 13 receives the DCT coefficient of the current frame from the JPEG simple decoding unit 1 and the DCT coefficient of one frame before from the DCT coefficient storage unit 11, the prediction mode estimation process determination unit 13 Are compared with the DCT coefficients of the H.E. The necessity of performing the H.264 prediction mode estimation process is determined. When the prediction mode estimation process determination unit 13 determines that the prediction mode estimation process needs to be performed, the prediction mode estimation process is output to the prediction mode estimation unit 2 by outputting a prediction mode estimation command to the prediction mode estimation unit. 2 to perform.
  • the prediction mode output command is output to the prediction mode storage unit 12, so that the prediction mode of the previous frame stored in the prediction mode storage unit 12 is determined.
  • H. The H.264 encoding unit 3 outputs the result.
  • the processing content of the prediction mode estimation process determination part 13 is demonstrated concretely.
  • FIG. 15 is an explanatory diagram showing the encoding target blocks A 0 0 to A 0 3 of the current frame and the encoding target blocks B 0 0 to B 0 3 at the same position one frame before.
  • the blocks A 0 0 to A 0 3 and B 0 0 to B 0 3 are all 8 ⁇ 8 blocks.
  • the encoding target blocks are similar in consecutive frames, high-efficiency encoding is possible even if the same prediction mode as the previous frame is used.
  • the encoding target blocks are different in consecutive frames, if the same prediction mode as that of the previous frame is used, the encoding efficiency is likely to deteriorate.
  • the prediction mode estimation process determination unit 13 outputs the DCT coefficient of the current frame output from the JPEG simple decoding unit 1 and the DCT coefficient storage unit 11 in order to determine the necessity of performing the prediction mode estimation process.
  • the difference value Diff is calculated by substituting the DCT coefficient one frame before for the evaluation function shown in the following equation (80) (step ST91).
  • DCT_A 0 0 i, j , DCT_A 0 1 i, j , DCT_A 0 2 i, j , DCT_A 0 3 i, j , DCT_B 0 0 i, j , DCT_B 0 1 i, j , DCT_B 0 2 i, j , DCT_B 0 3 i, j are DCTs of i rows and j columns in blocks A 0 0, A 0 1, A 0 2, A 0 3, B 0 0, B 0 1, B 0 2, B 0 3, respectively. It is a coefficient. Further, k and l are coefficients used in the calculation.
  • the prediction mode estimation process determination unit 13 compares the difference value Diff with the threshold th Diff (step ST92).
  • Diff ⁇ th Diff (81) When the equation (81) is established, the prediction mode estimation processing determination unit 13 regards the encoding target block as similar between consecutive frames, and outputs a prediction mode output command to the prediction mode storage unit 12. (Step ST93).
  • the prediction mode storage unit 12 receives the prediction mode output command from the prediction mode estimation process determination unit 13, the prediction mode storage unit 12 sets the stored prediction mode one frame before to H.264. H.264 encoding unit 3 outputs the result.
  • the prediction mode stored in the prediction mode storage unit 12 is the prediction mode several frames before
  • the prediction mode several frames before is set to H.264.
  • H.264 encoding unit 3 outputs the result.
  • the prediction mode estimation process determination unit 13 regards that the encoding target block is different between consecutive frames, and outputs a prediction mode estimation command to the prediction mode estimation unit 2 (Step ST94).
  • the prediction mode estimation unit 2 receives the prediction mode estimation command from the prediction mode estimation process determination unit 13, the prediction mode estimation unit 2 performs the same as in the first and second embodiments.
  • H.264 prediction mode is estimated, and the prediction mode is set to H.264. It outputs to the H.264 encoding unit 3 and the prediction mode storage unit 12.
  • the prediction mode estimation part 2 is H.264.
  • the prediction mode may be estimated using DCT coefficients as in the first and second embodiments, but SAD and SATD are performed for all prediction modes. Thus, the prediction mode may be determined.
  • the prediction mode estimation process determination unit 13 is stored in the DCT coefficient and DCT coefficient storage unit 11 of the current frame acquired by the JPEG simple decoding unit 1. Compared with the DCT coefficient of the previous frame, the H.D. If it is determined that it is necessary to perform the prediction mode estimation process of the H.264 method and the prediction mode estimation process needs to be performed, the prediction mode estimation process is performed by the prediction mode estimation unit 2 while the prediction mode estimation process is performed. If it is determined that it is not necessary to perform the mode estimation process, the prediction mode one frame before stored in the prediction mode storage unit 12 is set to H.264.
  • the prediction mode estimation unit 2 performs the prediction mode estimation process only when the current frame and the encoding target block at the same position one frame before are different. As a result, H. There is an effect that the conversion to the H.264 system can be speeded up.
  • the prediction mode estimation unit 2 performs the prediction mode estimation process only when the current frame and the encoding target block at the same position one frame before are different. Even when the current frame and the encoding target block at the same position one frame before are similar, if the prediction mode estimation unit 2 has not performed the prediction mode estimation process continuously for the specified number of times, You may make it make the prediction mode estimation part 2 implement the estimation process of prediction mode. Specifically, it is as follows.
  • FIG. 17 is a block diagram showing an image coding method conversion apparatus according to Embodiment 4 of the present invention.
  • the same prediction mode count unit 14 increments the count value Count when the prediction mode output command is output from the prediction mode estimation process determination unit 15 to the prediction mode storage unit 12, and the prediction mode estimation process determination unit 15 estimates the prediction mode.
  • the count value Count is reset to zero.
  • the prediction mode estimation process determination unit 15 stores the DCT coefficient of the current frame acquired by the JPEG simple decoding unit 1 and one frame stored in the DCT coefficient storage unit 11. Compared with the previous DCT coefficient, the H. If it is determined that it is necessary to perform the prediction mode estimation process of the H.264 method and the prediction mode estimation process needs to be performed, the prediction mode estimation process is performed by the prediction mode estimation unit 2 while the prediction mode estimation process is performed. If it is determined that it is not necessary to perform the mode estimation process, the prediction mode one frame before stored in the prediction mode storage unit 12 is set to H.264.
  • FIG. 18 is a flowchart showing the processing contents of the prediction mode estimation processing determination unit 15 of the image coding method conversion apparatus according to Embodiment 4 of the present invention.
  • the same prediction mode as the previous frame is used any number of times as long as the current block and the current block at the same position in the previous frame are similar in the current block. I keep trying. However, for example, when the minute changes continue even if they are similar between frames, such as sunshine fluctuations, if the same prediction mode is continuously used, the coding efficiency may deteriorate. . Therefore, in the fourth embodiment, in order to prevent the same prediction mode from being used continuously when a minute change is continued, a limit is set on the number of continuous use of the same prediction mode. .
  • the processing content of the same prediction mode count part 14 and the prediction mode estimation process determination part 15 is demonstrated concretely.
  • the prediction mode estimation process determination unit 15 determines the necessity of performing the prediction mode estimation process in order to determine the current frame output from the JPEG simple decoding unit 1.
  • the difference value Diff is calculated by substituting the DCT coefficient and the DCT coefficient one frame before output from the DCT coefficient storage unit 11 into the evaluation function shown in the above equation (80) (step ST101).
  • the prediction mode estimation process determination unit 15 compares the difference value Diff with the threshold th Diff (step ST102).
  • the prediction mode estimation process determination unit 15 When the above equation (81) is not satisfied (Diff> th Diff ), the prediction mode estimation process determination unit 15 considers that the current block is different between consecutive frames, and counts the same prediction mode. The count value Count of the unit 14 is reset to 0 (step ST103), and a prediction mode estimation command is output to the prediction mode estimation unit 2 (step ST104).
  • the prediction mode estimation unit 2 receives the prediction mode estimation command from the prediction mode estimation processing determination unit 15, the prediction mode estimation unit 2 performs the same as in the first to third embodiments.
  • H.264 prediction mode is estimated, and the prediction mode is set to H.264. It outputs to the H.264 encoding unit 3 and the prediction mode storage unit 12.
  • the prediction mode estimation part 2 is H.264.
  • the prediction mode may be estimated using DCT coefficients as in the first to third embodiments. However, SAD and SATD are performed for all prediction modes. Thus, the prediction mode may be determined.
  • the prediction mode estimation process determination unit 15 considers that the encoding target block is similar between consecutive frames when the above equation (81) is satisfied (when Diff ⁇ th Diff ), and the same prediction mode count.
  • the count value Count of the unit 14 is compared with the threshold th Count (step ST105).
  • the prediction mode estimation process determination unit 15 increments the count value Count of the same prediction mode count unit 14 by “1” (step ST106), and stores the output instruction of the prediction mode in the prediction mode. It outputs to the part 12 (step ST107).
  • the prediction mode storage unit 12 receives a prediction mode output command from the prediction mode estimation processing determination unit 15, the prediction mode storage unit 12 sets the stored prediction mode of the previous frame to H.264. H.264 encoding unit 3 outputs the result.
  • the prediction mode stored in the prediction mode storage unit 12 is a prediction mode several frames before, H.
  • the prediction mode several frames before H.264 encoding unit 3 outputs the result.
  • the prediction mode estimation process determination unit 15 has reached the specified number (upper limit number) of continuous use of the same prediction mode, so the count value Count of the same prediction mode count unit 14 Is reset to 0 (step ST103), and a prediction mode estimation command is output to the prediction mode estimation unit 2 (step ST104).
  • the prediction mode estimation unit 2 receives the prediction mode estimation command from the prediction mode estimation processing determination unit 15, the prediction mode estimation unit 2 performs the same as in the first to third embodiments.
  • H.264 prediction mode is estimated, and the prediction mode is set to H.264. It outputs to the H.264 encoding unit 3 and the prediction mode storage unit 12.
  • the fourth embodiment when the count value Count of the same prediction mode count unit 14 exceeds the threshold th Count , the current block and the current block and the encoding target block at the same position one frame before are displayed. Even when similar, since the prediction mode estimation process determination unit 15 is configured to cause the prediction mode estimation process to be performed by the prediction mode estimation unit 2, high-efficiency encoding is possible even when a small change continues. The effect which can be performed is produced.
  • Embodiment 5 the current frame and the encoding target block at the same position one frame before are compared, and the H.
  • the method for determining the necessity of executing the H.264 prediction mode estimation processing is shown, not only the current block and the current block and the current block, but also the peripheral blocks of the current block are compared.
  • the basic configuration of the image coding method conversion apparatus according to the fifth embodiment is the same as that of the image coding method conversion apparatuses according to the third and fourth embodiments, but the prediction mode estimation process determination units 13 and 15 are configured as follows. The difference is that the current frame and the encoding target block at the same position one frame before and the neighboring blocks of the target block are compared to determine the necessity of performing the prediction mode estimation process.
  • description will be made with reference to the configuration of the image coding method conversion apparatus in FIG. 13 for convenience of explanation.
  • FIG. 19 shows encoding target blocks A 0 0 to A 0 3 of the current frame, peripheral blocks RA 0 to RA 5 , encoding target blocks B 0 0 to B 0 3 at the same position one frame before, and their surroundings
  • FIG. 6 is an explanatory diagram showing blocks RB0 to RB5.
  • the blocks A 0 0 to A 0 3, RA 0 to RA 5, B 0 0 to B 0 3, and RB 0 to RB 5 are all 8 ⁇ 8 blocks.
  • the prediction mode estimation process determination unit 13 determines the necessity of performing the prediction mode estimation process, and the DCT coefficient of the current frame output from the JPEG simple decoding unit 1 and 1 output from the DCT coefficient storage unit 11.
  • the difference value Diff neighbor is calculated by substituting the DCT coefficient before the frame into the evaluation function shown in the following equation (83).
  • DCT_A 0 0 i, j , DCT_A 0 1 i, j , DCT_A 0 2 i, j , DCT_A 0 3 i, j , DCT_B 0 0 i, j , DCT_B 0 1 i, j , DCT_B 0 2 i, j , DCT_B 0 3 i, j are DCTs of i rows and j columns in blocks A 0 0, A 0 1, A 0 2, A 0 3, B 0 0, B 0 1, B 0 2, B 0 3, respectively. It is a coefficient.
  • DCT_RA0 i, j, DCT_RA1 i , j, DCT_RA2 i, j, DCT_RA3 i, j, DCT_RA4 i, j, DCT_RA5 i, j, DCT_RB0 i, j, DCT_RB1 i, j, DCT_RB2 i, j, DCT_RB3 i, j , DCT_RB4 i, j , and DCT_RB5 i, j are the DCT coefficients of i rows and j columns in blocks RA0, RA1, RA2, RA3, RA4, RA5, RB0, RB1, RB2, RB3, RB4, and RB5, respectively.
  • k and l are coefficients used in the calculation.
  • the horizontal direction uses only the low frequency component, and the vertical direction uses the DCT coefficient up to the high frequency component to determine the necessity of performing the prediction mode estimation process.
  • U i, j and v i, j are weights.
  • the prediction mode estimation process determination unit 13 compares the difference value Diff neighbor with the threshold th neighbor .
  • Diff neighbor ⁇ th neighbor (84) When Expression (84) is established, the prediction mode estimation process determination unit 13 regards the encoding target block as similar between consecutive frames, and outputs a prediction mode output command to the prediction mode storage unit 12. To do.
  • the prediction mode storage unit 12 receives the prediction mode output command from the prediction mode estimation process determination unit 13, the prediction mode storage unit 12 sets the stored prediction mode one frame before to H.264. H.264 encoding unit 3 outputs the result.
  • the prediction mode stored in the prediction mode storage unit 12 is the prediction mode several frames before
  • the prediction mode several frames before is set to H.264.
  • H.264 encoding unit 3 outputs the result.
  • the prediction mode estimation process determination unit 13 regards that the encoding target block is different between consecutive frames, and outputs a prediction mode estimation command to the prediction mode estimation unit 2 To do.
  • the prediction mode estimation unit 2 receives the prediction mode estimation command from the prediction mode estimation process determination unit 13, the prediction mode estimation unit 2 performs the same as in the first to fourth embodiments.
  • H.264 prediction mode is estimated, and the prediction mode is set to H.264. It outputs to the H.264 encoding unit 3 and the prediction mode storage unit 12.
  • the prediction mode estimation process it is necessary to perform the prediction mode estimation process by including not only the encoding target block at the same position one frame before the current frame but also the surrounding blocks of the encoding target block.
  • the sex is judged. For this reason, since it is possible to cope with a change in the prediction mode due to the difference between neighboring blocks between the current frame and the previous frame, highly efficient predictive coding becomes possible.
  • Embodiment 6 FIG.
  • the necessity of performing the prediction mode estimation process may be determined in consideration of the prediction mode of the previous frame stored in the prediction mode storage unit 12. Specifically, it is as follows.
  • FIG. 20 is a block diagram showing an image coding method conversion apparatus according to Embodiment 6 of the present invention.
  • the prediction mode estimation process determination unit 16 determines the necessity of performing the prediction mode estimation process, similarly to the prediction mode estimation process determination unit 13 of FIG. 13 or the prediction mode estimation process determination unit 15 of FIG. If it is determined that the process needs to be performed, the prediction mode estimation process is performed by the prediction mode estimation unit 2, while if it is determined that the prediction mode estimation process is not required, the prediction mode storage unit 12 stores the prediction mode estimation process.
  • the stored prediction mode one frame before is set to H.264.
  • the prediction mode estimation process determination unit 16 considers the prediction mode one frame before stored in the prediction mode storage unit 12 when determining the necessity of performing the prediction mode estimation process. And make a decision.
  • the prediction mode estimation process determination part 16 comprises the estimation process determination means.
  • FIG. 21 is a flowchart showing the processing contents of the prediction mode estimation processing determination unit 16 of the image coding method conversion apparatus according to Embodiment 6 of the present invention.
  • the prediction mode estimation process determination unit 16 determines whether the prediction mode one frame before stored in the prediction mode storage unit 12 is a 16 ⁇ 16 prediction mode or a 4 ⁇ 4 prediction mode ( Step ST111).
  • the prediction mode estimation process determination unit 16 calculates the difference value Diff 16 ⁇ 16_n (step ST112), the difference value Diff 16 ⁇ 16_n, and the threshold th 16 X16_n are compared (step ST113).
  • Diff 16 ⁇ 16_n ⁇ th 16 ⁇ 16_n (85)
  • n is a 16 ⁇ 16 prediction mode one frame before, and is any one of prediction modes 0 to 3.
  • the prediction mode estimation process determination unit 16 regards the encoding target block as similar between consecutive frames, and outputs a prediction mode output command to the prediction mode storage unit 12. (Step ST118).
  • the prediction mode storage unit 12 receives a prediction mode output command from the prediction mode estimation process determination unit 16
  • the prediction mode storage unit 12 sets the stored prediction mode of the previous frame to H.264.
  • H.264 encoding unit 3 outputs the result.
  • the prediction mode stored in the prediction mode storage unit 12 is the prediction mode several frames before, H.
  • the prediction mode several frames before H.264 encoding unit 3 outputs the result.
  • the prediction mode estimation process determination unit 16 regards that the encoding target block is different between consecutive frames, and outputs a prediction mode estimation command to the prediction mode estimation unit 2. (Step ST119).
  • the prediction mode estimation unit 2 receives the prediction mode estimation command from the prediction mode estimation process determination unit 16, the prediction mode estimation unit 2 performs the same as in the first to fifth embodiments.
  • H.264 prediction mode is estimated, and the prediction mode is set to H.264. It outputs to the H.264 encoding unit 3 and the prediction mode storage unit 12.
  • the prediction mode estimation process determination unit 16 calculates ⁇ 0 to ⁇ 5, m and a difference value Diff 4 ⁇ 4 based on the 4 ⁇ 4 prediction mode when the prediction mode one frame before is the 4 ⁇ 4 prediction mode (Stes ST114 to ST116), the difference value Diff 4 ⁇ 4 is compared with the threshold th 4 ⁇ 4 (step ST117).
  • a calculation method of ⁇ 0 to ⁇ 5, m, Diff 4 ⁇ 4 will be described later.
  • the prediction mode estimation processing determination unit 16 regards the encoding target block as similar between consecutive frames, and outputs a prediction mode output command to the prediction mode storage unit 12.
  • Step ST118 When the prediction mode storage unit 12 receives a prediction mode output command from the prediction mode estimation process determination unit 16, the prediction mode storage unit 12 sets the stored prediction mode of the previous frame to H.264. H.264 encoding unit 3 outputs the result.
  • the prediction mode stored in the prediction mode storage unit 12 is the prediction mode several frames before, The prediction mode several frames before is set to H.264. H.264 encoding unit 3 outputs the result.
  • the prediction mode estimation process determination unit 16 regards that the encoding target block is different between consecutive frames, and outputs a prediction mode estimation command to the prediction mode estimation unit 2. (Step ST119).
  • the prediction mode estimation unit 2 receives the prediction mode estimation command from the prediction mode estimation process determination unit 16, the prediction mode estimation unit 2 performs the same as in the first to fifth embodiments.
  • H.264 prediction mode is estimated, and the prediction mode is set to H.264. It outputs to the H.264 encoding unit 3 and the prediction mode storage unit 12.
  • the prediction mode estimation processing determination unit 16 encodes the encoding target blocks A 0 0 to A 0 3, B 0 0 to B 0 3, and the block A as shown in the following equation (87).
  • the difference value Diff 16 ⁇ 16 — 0 is calculated using the DCT coefficients of the blocks RA 0, RA 1 and RB 0 , RB 1 adjacent to 0 0, A 0 1 and the blocks B 0 0, B 0 1.
  • Diff 16 ⁇ 16 — 2 is calculated using the DCT coefficients of RA 0 to RA 3 and blocks RB 0 to RB 3 adjacent to 0 0 to B 0 2.
  • the encoding target blocks A 0 0 to A 0 3, B 0 0 to B 0 3, the blocks A 0 0 to A 0 2, and the block B are expressed as shown in the following formula (90).
  • the difference value Diff 16 ⁇ 16 — 3 is calculated using the DCT coefficients of the blocks RA0 to RA3 and RB0 to RB3 adjacent to 0 0 to B 0 2 and the upper left blocks RB4 and RA4.
  • Prediction mode estimating process determining unit 16, calculating the difference value Diff 16 ⁇ 16_n by equation (87) to (90), as described above, compares the difference value Diff 16 ⁇ 16_n and a threshold th 16 ⁇ 16_n Thus, the necessity of performing the prediction mode estimation process is determined.
  • the prediction mode estimation process determination unit 16 encodes blocks A 0 0 to A 0 3, B 0 0 to B 0 3, and a block A 0 0.
  • the difference value Diff 4 ⁇ 4 is calculated using the DCT coefficients of the blocks RA 0 to RA 5 and RB 0 to RB 5 around the blocks A 0 2 and B 0 0 to B 0 2.
  • FIG. 22 shows the encoding target blocks B 1 0 to B 1 15 one frame before and the surrounding blocks RB 0 to RB 5 in the 4 ⁇ 4 prediction mode, and the encoding target blocks A 0 0 to A 0 of the current frame. 3 and the peripheral blocks RA0 to RA5.
  • a block B 1 0 to B 1 15 is obtained by dividing the block B 0 0 to B 0 3 of FIG. 19 into four blocks.
  • the block B 0 0 is a block B 1 0 to B 1 3 and the block B 0 1 is a block B 0 1.
  • block B 1 4 ⁇ B 1 7 the block B 0 2 block B 1 8 ⁇ B 1 11, block B 0 3 is one that is divided into blocks B 1 12 ⁇ B 1 15.
  • the value of ⁇ 0 is determined by whether or not prediction is performed using pixels included in the block RB0 in the previous frame. Prediction is performed using the pixels included in the block RB0 in the previous frame because the prediction mode of B 1 0 is 0, 2 to 7, the prediction mode of B 1 1 is 0, 2 to 7, and B 14 This is a case where the prediction mode is 4-6.
  • the .mu.0 0 as an initial value, if the B 1 0, B 1 1 is taking the prediction modes, each 4/9 is added to .mu.0, if B 1 4 is taking the prediction modes, the .mu.0 1/9 is added.
  • the value of ⁇ 1 is determined by whether or not prediction is performed using pixels included in the block RB1 in the previous frame.
  • the prediction is performed using the pixels included in the block RB1 in the previous frame because the prediction mode of B 11 is 3 or 7, the prediction mode of B 14 is 0, 2 to 7, and the prediction mode of B 15 Is 0, 2-7.
  • the .mu.1 0 as an initial value, if the B 1 1, B 1 4, B 1 5 is taking the prediction mode, respectively .mu.1 1/3 is added.
  • the value of ⁇ 2 is determined depending on whether or not prediction is performed using pixels included in the block RB2 in the previous frame. Is the prediction using the pixels contained in the previous frame in the block RB2 is performed, B 1 0 prediction mode of 1,2,4-6,8, prediction mode B 1 2 is 1,2,4- This is a case where the prediction modes of 6, 8, and B 1 8 are 4-6.
  • the .mu.2 0 as an initial value, if the B 1 0, B 1 2 is taking the prediction modes, each 4/9 is added to .mu.2, if B 1 8 is taking the prediction modes, the .mu.2 1/9 is added.
  • the value of ⁇ 3 is determined depending on whether prediction is performed using pixels included in the block RB3 in the previous frame. Prediction is performed using pixels included in the block RB3 in the previous frame because the prediction mode of B 1 8 is 1, 2, 4 to 6, 8, and the prediction mode of B 1 10 is 1, 2, 4 to This is the case for 6 and 8.
  • the current block and the neighboring block used when comparing the encoding target block and the neighboring block at the same position one frame before are predicted one frame before. Since it is determined from the mode, if the same prediction mode as the previous frame is used, it is possible to infer whether or not the coding efficiency changes greatly, and furthermore, highly efficient predictive coding is possible. Has the effect of becoming.
  • the prediction mode estimation unit 2 uses the DCT coefficients acquired by the JPEG simple decoding unit 1 to determine the H.264 format.
  • the prediction mode estimation unit 2 is configured to estimate the H.264 prediction mode.
  • a new frequency characteristic (frequency component) may be calculated from the DCT coefficient acquired by the JPEG simple decoding unit 1, and the prediction mode may be estimated from the frequency characteristic.
  • the image coding method conversion apparatus has the same basic configuration as the image coding method conversion apparatus according to any one of the first to sixth embodiments. Since the processing content of the H.264 encoding unit 3 is the same as that of the first embodiment, only the processing content of the prediction mode estimation unit 2 will be described. Unless otherwise specified, the variables in the mathematical expressions represent the same meaning as in the first embodiment.
  • FIG. 5 is an explanatory diagram showing the encoding target blocks C 0 0 to C 0 3 of the image and the surrounding blocks R0 to R5.
  • the blocks C 0 0 to C 0 3 and R0 to R5 are all 8 ⁇ 8 blocks.
  • the situation where the prediction mode 0 (vertical direction) in the 16 ⁇ 16 prediction mode is efficient is that the values of the bottom 8 pixels of the block R0 and the pixels of the blocks C 0 0 and C 0 2 are close, and the bottom of the block R1 This is a case where the values of the 8 pixels and the pixels of the blocks C 0 1 and C 0 3 are close.
  • the situation where the prediction mode 1 (horizontal direction) in the 16 ⁇ 16 prediction mode is efficient is that the rightmost eight pixels of the block R2 and the values of the pixels of the blocks C 0 0 and C 0 1 are close, and the block R3 This is a case where the rightmost eight pixels and the values of the pixels of the blocks C 0 2 and C 0 3 are close.
  • the situation where the prediction mode 2 (DC prediction) in the 16 ⁇ 16 prediction mode is efficient is that the average value of the lowermost 16 pixels of the blocks R0 and R1 and the rightmost 16 pixels of the blocks R2 and R3 is This is a case close to all the pixels of C 0 0 to C 0 3.
  • the situation where the prediction mode 3 (plane prediction) in the 16 ⁇ 16 prediction mode is efficient is that the lowermost 15 pixels of the blocks R0 and R1, the rightmost 15 pixels of the blocks R2 and R3, and the right of the R4 Since a predicted image with gradation is created using the lower pixel, the change in the lowermost pixel of the blocks R0 and R1 matches the change in the horizontal direction of the blocks C 0 0 to C 0 3. This is a case where the change in the rightmost pixel of the blocks R2 and R3 is close to the change in the vertical direction of the blocks C 0 0 to C 0 3. This is effective for an image with gradation.
  • the prediction mode estimation unit 2 substitutes the DCT coefficients output from the JPEG simple decoding unit 1 into the functions shown in the following equations (93) to (96), and R0, which are pixels used for prediction
  • the frequency characteristics R0_bottom and R1_bottom of the lowermost 16 pixels of R1 and the frequency characteristics R2_right and R3_right of the rightmost 16 pixels of R2 and R3 are calculated.
  • DCT_R0 i, j , DCT_R1 i, j , DCT_R2 i, j and DCT_R3 i, j are i-th row and j-th column DCT coefficients in blocks R0, R1, R2 and R3, respectively.
  • D j, i is an element of the discrete cosine transformation matrix D
  • d T j, i is an element of the transposed matrix D T of the discrete cosine matrix D.
  • w i and w j are weights.
  • FIG. 23 shows the frequency characteristics R0_bottom and R1_bottom of the lowermost 16 pixels of the blocks R 0 to R 3, the blocks R 0 to R 3 around the blocks C 0 0 to C 0 3, and the rightmost ends of R 2 and R 3.
  • R0_right of 16 pixels, and R3_right The blocks C 0 0 to C 0 3 and R0 to R3 are all 8 ⁇ 8 blocks.
  • R0_bottom and R1_bottom indicate the frequency characteristics in the vertical direction of the lowermost pixels of the blocks R0 and R1
  • R2_right and R3_right indicate the frequency characteristics in the horizontal direction of the rightmost pixels of the blocks R2 and R3. is there.
  • the prediction mode estimation part 2 is H.264.
  • the DCT coefficients output from the JPEG simple decoding unit 1 and the above R0_bottom, R1_bottom, R2_right, R3_right are expressed by the following equations (97) and (98):
  • the evaluation values Cost 16 ⁇ 16 — 0 and Cost 16 ⁇ 16 — 1 are calculated by substituting into the evaluation function shown in FIG.
  • k is a coefficient used for calculation, and 0 ⁇ k ⁇ 7.
  • k 0, it means that the prediction mode is estimated only from the DCT coefficient of the direct current component and the frequency characteristic of the direct current component among all the DCT coefficients.
  • w16 ⁇ 16_0j , w16 ⁇ 16_1j , w16 ⁇ 16_2j , w16 ⁇ 16_3j , w16 ⁇ 16_0i , w16 ⁇ 16_1i , w16 ⁇ 16_2i , and w16 ⁇ 16_3i are weights.
  • the evaluation value Cost 16 ⁇ 16_0 evaluates the proximity of the horizontal change between the blocks C 0 0, C 0 2 and the block R0 and the horizontal change between the blocks C 0 1, C 0 3 and the block R1. This is an evaluation value of prediction mode 0 (vertical prediction) in the 16 ⁇ 16 prediction mode. Further, the evaluation value Cost 16 ⁇ 16_1 is obtained by evaluating the closeness of the vertical change between the blocks C 0 0, C 0 1 and the block R2 and the vertical change between the blocks C 0 2, C 0 3 and the block R3. The evaluation value of prediction mode 1 (horizontal prediction) in the 16 ⁇ 16 prediction mode. Since the subsequent estimation processing is the same as in the first to sixth embodiments, description thereof will be omitted.
  • the prediction mode estimation unit 2 does not use the frequency components of the surrounding 8 ⁇ 8 blocks, but evaluates using the frequency components of only the portions necessary for prediction. Value is calculated, and H.V. Since it is configured to determine the H.264 prediction mode, there is an effect that the prediction mode can be estimated with higher accuracy.
  • the prediction mode estimation unit 2 uses the DCT coefficients acquired by the JPEG simple decoding unit 1 to determine the H.264 format.
  • the prediction mode in the H.264 system is estimated.
  • the estimation is performed using the frequency component in units of 4 ⁇ 4 blocks instead of the frequency component in units of 8 ⁇ 8 blocks. You may do it.
  • a conversion coefficient in units of 4 ⁇ 4 blocks that can be calculated by performing 4 ⁇ 4 conversion on the pixel value decoded from JPEG is used. To do.
  • FIG. 24 is a block diagram showing an image coding method conversion apparatus according to Embodiment 8 of the present invention.
  • a JPEG decoding unit 21 converts the image into a frequency domain and encodes it (first image).
  • JPEG data that is an encoded stream of (encoding method) is input
  • the JPEG data is decoded, and as a decoding result, a pixel value (pixel signal) of the image and a DCT coefficient that is a signal of a frequency component of the image
  • a process for acquiring header information indicating the width and height of the image is performed.
  • the JPEG decoding unit 21 constitutes a signal acquisition unit.
  • the prediction mode estimation unit 22 calculates the H.264 from the pixel values and DCT coefficients acquired by the JPEG decoding unit 21.
  • a process of estimating a prediction mode (direction of intra-screen prediction) in the H.264 system (second encoding system) is performed.
  • the prediction mode estimation unit 22 constitutes an intra-screen prediction direction estimation unit.
  • the H.264 encoding unit 23 is H.264.
  • H.264 encoding is performed by the JPEG simple decoding unit 21 using the prediction mode estimated by the prediction mode estimation unit 22 and the header information acquired by the JPEG decoding unit 21.
  • the pixel value is encoded and H.264 is encoded.
  • a process of generating a H.264 stream (encoded stream of the second encoding method) is performed.
  • the H.264 encoding unit 23 constitutes encoding means.
  • the JPEG decoding unit 21 decodes the JPEG data.
  • the JPEG decoding unit 21 acquires header information indicating the pixel value of the image, the DCT coefficient that is the frequency component of the image, the width and height of the image, and the like as the decoding result of the JPEG data.
  • the pixel value of the image is obtained from the JPEG decoding unit 21 to the prediction mode estimation unit 22 and the H.264 format.
  • the H.264 encoding unit 23 outputs the DCT coefficient from the JPEG decoding unit 21 to the prediction mode estimation unit 22.
  • the header information is sent from the JPEG decoding unit 21 to H.264.
  • the H.264 encoding unit 23 outputs the result.
  • the prediction mode estimation unit 22 When the prediction mode estimation unit 22 receives the pixel value and the DCT coefficient of the image from the JPEG decoding unit 21, the prediction mode estimation unit 22 calculates the H.264 from the pixel value and the DCT coefficient.
  • the prediction mode in the H.264 system is estimated. That is, the prediction mode estimation unit 22 determines whether to adopt the 16 ⁇ 16 mode or the 4 ⁇ 4 prediction mode in the same manner as any one of the prediction mode estimation units 2 in the first to seventh embodiments. To do. Since the 16 ⁇ 16 prediction mode is adopted and the processing contents when selecting the prediction mode in the 16 ⁇ 16 prediction mode are the same as those in any of the first to seventh embodiments, description thereof will be omitted.
  • the prediction mode estimation unit 22 determines that the 4 ⁇ 4 prediction mode is adopted, the pixel values X of 16 4 ⁇ 4 blocks in the corresponding 16 ⁇ 16 macroblock are substituted into the following equation (99). 4 ⁇ 4 conversion coefficient Y is calculated.
  • the 4 ⁇ 4 transform coefficient Y indicates the frequency characteristic in the block
  • the prediction mode estimation unit 22 calculates an evaluation value from the 4 ⁇ 4 transform coefficient Y.
  • a 4 ⁇ 4 prediction mode in the H.264 scheme is estimated. Specifically, it is as follows. 25 to 27 are flowcharts showing prediction mode estimation processing in the 4 ⁇ 4 prediction mode.
  • the prediction mode estimation unit 22 substitutes the 4 ⁇ 4 conversion coefficient into the following formulas (101) and (102) to evaluate the vertical direction evaluation value Value 4 ⁇ 4_V and the horizontal direction evaluation value Value 4 ⁇ 4_H. Is calculated (step ST120 in FIG. 25).
  • y i, j is the i, j component of the 4 ⁇ 4 transform coefficient in the 4 ⁇ 4 block.
  • w i and w j are weights.
  • k is a coefficient used in the calculation.
  • k 1, it means that the prediction mode is estimated from only the 4 ⁇ 4 transform coefficients of the low frequency component among all 4 ⁇ 4 transform coefficients.
  • Prediction mode estimating unit 22 when calculating the vertical evaluation value Value 4 ⁇ 4_V and horizontal evaluation value Value 4 ⁇ 4_H, with comparing the vertical evaluation value Value 4 ⁇ 4_V and the threshold th 4 ⁇ 4_V, The horizontal evaluation value Value 4 ⁇ 4_H is compared with the threshold th 4 ⁇ 4_H (step ST121).
  • the prediction mode estimation unit 22 assumes that DC prediction is effective because the frequency components in the vertical direction and the horizontal direction are both small when the expressions (103) and (104) are satisfied, and thus the prediction mode of the 4 ⁇ 4 prediction mode is used. 2 is used (step ST122).
  • Prediction mode estimating unit 22 has the formula (103) or if not satisfied even one of formula (104), the ratio RateVH 4 ⁇ the vertical direction of the evaluation value Value 4 ⁇ 4_V and horizontal evaluation value Value 4 ⁇ 4_H 4 is calculated (step ST123).
  • the prediction mode estimation unit 22 compares the evaluation value ratio RateVH 4 ⁇ 4 with the thresholds th 4 ⁇ 4 — 0 and th 4 ⁇ 4 — 1 (steps ST124 and ST126).
  • RateVH 4 ⁇ 4 ⁇ th 4 ⁇ 4_1 (106) th 4 ⁇ 4_1 ⁇ RateVH 4 ⁇ 4 ⁇ th 4 ⁇ 4_0 (107) th 4 ⁇ 4_0 ⁇ RateVH 4 ⁇ 4 (108)
  • the prediction mode estimation unit 22 determines that the prediction in the horizontal direction is effective and uses the prediction mode 1 of the 4 ⁇ 4 prediction mode (step ST125).
  • Expression (108) the prediction mode estimation unit 22 determines that the prediction in the vertical direction is valid and uses the prediction mode 0 of the 4 ⁇ 4 prediction mode (step ST127).
  • FIG. 28 is an explanatory diagram showing pixel values of 4 ⁇ 4 blocks and 4 ⁇ 4 conversion coefficients after performing 4 ⁇ 4 conversion processing.
  • the sign SignVH 4 ⁇ 4 is positive
  • the sign SignVH 4 ⁇ 4 is negative. ing.
  • the prediction mode estimation unit 22 determines whether the signVH 4 ⁇ 4 is positive or negative (step ST129). SignVH 4 ⁇ 4 ⁇ 0 (110) When Expression (110) is established, the prediction mode estimation unit 22 narrows the 4 ⁇ 4 prediction mode to the prediction modes 3, 7, and 8 assuming that there is an edge toward the upper right or the lower left (step ST131). On the other hand, if the formula (110) is not satisfied, the 4 ⁇ 4 prediction mode is narrowed down to the prediction modes 4, 5, and 6 assuming that there is an edge toward the lower right or upper left (step ST130).
  • RateVH 4 ⁇ 4 and the threshold values th 4 ⁇ 4_8 and th 4 ⁇ 4_7 are compared (step ST132 in FIG. 26). , ST134).
  • RateVH 4 ⁇ 4 ⁇ th 4 ⁇ 4_8 (111) th 4 ⁇ 4_8 ⁇ RateVH 4 ⁇ 4 ⁇ th 4 ⁇ 4_7 (112) th 4 ⁇ 4_7 ⁇ RateVH 4 ⁇ 4 (113)
  • the prediction mode estimation part 22 determines using the prediction mode 8 of 4 * 4 prediction mode, when Formula (111) is materialized (step ST133).
  • the prediction mode estimation part 22 determines to use the prediction mode 7 of 4 * 4 prediction mode, when Formula (113) is materialized (step ST135).
  • the prediction mode estimation part 22 determines as the thing using the prediction mode 3 of 4 * 4 prediction mode, when Formula (112) is materialized (step ST136).
  • RateVH 4 ⁇ 4 is compared with the thresholds th 4 ⁇ 4_5 and th 4 ⁇ 4_6 (step ST137 in FIG. 27). , ST139).
  • RateVH 4 ⁇ 4 ⁇ th 4 ⁇ 4_6 (114) th 4 ⁇ 4_6 ⁇ RateVH 4 ⁇ 4 ⁇ th 4 ⁇ 4_5 (115) th 4 ⁇ 4_5 ⁇ RateVH 4 ⁇ 4 (116)
  • the prediction mode estimation part 22 determines using the prediction mode 6 of 4 * 4 prediction mode, when Formula (114) is materialized (step ST138).
  • the prediction mode estimation part 22 determines using the prediction mode 5 of 4 * 4 prediction mode, when Formula (116) is materialized (step ST140).
  • the prediction mode estimation part 22 determines to use the prediction mode 4 of 4 * 4 prediction mode, when Formula (115) is materialized (step ST141).
  • the prediction mode can be estimated from the 4 ⁇ 4 transform coefficients of the 4 ⁇ 4 block.
  • the cost may be calculated by SAD or the like by narrowing down to three prediction modes including adjacent prediction modes.
  • the adjacent modes are those in which the direction of the arrow is close in the lower diagram of FIG. 5.
  • the prediction modes 0 and 3 are the adjacent modes. Become.
  • the H.264 encoding unit 23 encodes the pixel value acquired from the JPEG decoding unit 21 using the prediction mode and the header information acquired by the JPEG decoding unit 21. H. H.264 stream is generated.
  • the DCT that is the signal of the pixel value of the image and the signal of the frequency component of the image is decoded by decoding the JPEG data encoded by converting the image into the frequency domain.
  • the JPEG decoding unit 21 that acquires the coefficient, and the DCT coefficient that is the signal of the pixel value acquired by the JPEG decoding unit 21 and the frequency component of the image are converted into H.264.
  • the H.264 encoding unit 23 encodes the pixel value acquired by the JPEG decoding unit 21 using the prediction mode estimated by the prediction mode estimation unit 22, and outputs H.264 data.
  • the prediction mode estimation unit 22 calculates 4 ⁇ 4 transform coefficients, The calculation of 4 ⁇ 4 conversion in the H.264 encoding unit 23 can be omitted. There is an effect that conversion to H.264 can be performed at high speed.
  • Embodiment 9 FIG.
  • the estimation of the prediction mode is performed in units of 4 ⁇ 4 blocks when estimating the 4 ⁇ 4 prediction mode.
  • the unit of 5 ⁇ 5 blocks including the pixel values used for prediction is shown.
  • the estimation of the prediction mode may be performed in
  • the 4 ⁇ 4 prediction mode is estimated, the 4 ⁇ 4 prediction mode is estimated from the frequency components of the 5 ⁇ 5 block including the pixel value of the 4 ⁇ 4 block and the pixel value used for the prediction.
  • the basic configuration of the image coding system conversion apparatus according to the ninth embodiment is the same as that of the eighth embodiment. Since the processing content of the H.264 encoding unit 23 is the same as that of the eighth embodiment, only the processing content of the prediction mode estimation unit 22 will be described.
  • the prediction mode estimation unit 22 determines whether to adopt the 16 ⁇ 16 mode or the 4 ⁇ 4 prediction mode, as in the eighth embodiment. Since the 16 ⁇ 16 prediction mode is adopted and the processing contents when selecting the prediction mode in the 16 ⁇ 16 prediction mode are the same as those in any of the first to seventh embodiments, description thereof will be omitted.
  • FIG. 29 is an explanatory diagram showing a 4 ⁇ 4 block C 1 n to be encoded and surrounding pixels a to i.
  • the prediction mode estimation unit 22 determines to adopt the 4 ⁇ 4 prediction mode
  • the 16 4 ⁇ 4 blocks in the corresponding 16 ⁇ 16 macroblock and the pixel values a to i around the 4 ⁇ 4 block are included.
  • 5 ⁇ 5 block X including is substituted into the following equation (117) to calculate the frequency component Y of 5 ⁇ 5 block.
  • the prediction mode estimation unit 22 calculates an evaluation value from the frequency component Y of the 5 ⁇ 5 block.
  • a 4 ⁇ 4 prediction mode in the H.264 scheme is estimated. That is, the prediction mode estimation unit 22 substitutes the 4 ⁇ 4 conversion coefficient into the following formulas (120) and (121) to evaluate the vertical evaluation value Value 4 ⁇ 4_V and the horizontal evaluation value Value 4 ⁇ 4_H. Is calculated (step ST120 in FIG. 25).
  • y i, j is the i, j component of the frequency component of the 5 ⁇ 5 block in the 4 ⁇ 4 block.
  • w i and w j are weights.
  • the prediction mode estimation unit 22 uses the frequency characteristics of 5 ⁇ 5 blocks composed of 4 ⁇ 4 blocks and surrounding pixels used for prediction, H. Since it is configured to determine the H.264 prediction mode, there is an effect that the prediction mode can be estimated with higher accuracy.
  • the image coding method conversion apparatus decodes a part of the encoded stream of the first coding method in which an image is converted into the frequency domain and is encoded,
  • a frequency component signal acquisition means for acquiring a frequency component signal; and an intra-screen prediction direction estimation means for estimating an intra-screen prediction direction from the frequency component signal acquired by the frequency component signal acquisition means.
  • the frequency component signal acquired by the frequency component signal acquisition unit is encoded to generate an encoded stream of the second encoding method.
  • the image coding method can be converted with a small amount of calculation, and it is suitable for use in an image coding method conversion device for compressing and coding an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　画像が周波数領域に変換されて符号化されているＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数を取得するＪＰＥＧ簡易復号部１と、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モード（画面内予測の方向）を推定する予測モード推定部２とを設け、Ｈ．２６４符号化部３が予測モード推定部２により推定された予測モードを用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化してＨ．２６４ストリームを生成する。

Description

画像符号化方式変換装置
　この発明は、画像の符号化方式を変換する画像符号化方式変換装置に関するものである。
　近年、画像を圧縮して符号化する技術が広く用いられている。
　画像符号化方式の代表的なものとしては、主にデジタルカメラなどで用いられるＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）方式がある。
　また、ＪＰＥＧを連続して符号化することで、動画像を符号化するＭｏｔｉｏｎＪＰＥＧと呼ばれる方式がある。ＭｏｔｉｏｎＪＰＥＧ方式はＭＪＰＥＧ方式やＭ－ＪＰＥＧ方式と呼ばれることもある。
　さらに、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）－ＶＩＤＥＯに採用されているＭＰＥＧ－２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）と呼ばれる方式もある。
　また、携帯端末向けの地上デジタル放送、いわゆるワンセグ放送に採用されている方式であるＨ．２６４方式もある。
　以上のように、画像符号化方式には様々な方式があり、一般に、異なる画像符号化方式には互換性がない。
　ユーザが異なる画像符号化方式に対応するには、それぞれの画像符号化方式に対応する画像復号装置を用意するか、画像符号化方式変換装置を用意する必要がある。
　しかし、例えば、市販されているＤＶＤプレーヤでは、ＭＰＥＧ－２方式以外の方式には対応することができず、それぞれの画像符号化方式に対応する画像復号装置を用意するのは現実的に困難な場合がある。
　一方、画像符号化方式変換装置を用意すれば、それぞれの画像符号化方式に対応する画像復号装置を用意する必要がなくなるが、画像の変換に要する時間や、変換後の画像の品質が問題になる。
　例えば、以下の特許文献１に開示されている画像符号化方式変換装置では、ＪＰＥＧ方式をＭＰＥＧ－４方式に変換する手法が開示されている。
　即ち、この画像符号化方式変換装置では、ＪＰＥＧ方式とＭＰＥＧ－４方式の双方がＤＣＴ係数を圧縮に用いていることを利用し、直流（ＤＣ：Ｄｉｒｅｃｔ　Ｃｕｒｒｅｎｔ）成分の変換とハフマンコードの変換によって、ＪＰＥＧ方式をＭＰＥＧ－４方式に変換するようにしている。
　しかし、Ｈ．２６４方式ではＤＣＴ係数が用いられないので、この画像符号化方式変換装置では、Ｈ．２６４方式の変換に適用することができない。
　また、Ｈ．２６４方式では画面内予測と呼ばれる技術が用いられているが、ＪＰＥＧ方式やＭＰＥＧ－２方式では画面内予測と呼ばれる技術は用いられない。
　特に、Ｈ．２６４方式で採用されている画面内予測における予測モードの決定処理において、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＴＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｔｒａｎｓｆｏｒｍｅｄ　Ｄｉｆｆｅｒｅｎｃｅ）は非常に演算量が大きいとされている。
　そこで、非特許文献１，２では、変換前のＭＰＥＧ－２のＤＣＴ係数を利用し、Ｈ．２６４方式の画面内予測における予測モードを絞り込むことで、高速な変換を行う方法を開示している。
　ただし、非特許文献１，２では、１６×１６予測において、予測モードを決定するようにしているが、全てのＤＣＴ係数を使用する場合があり、この場合には、非常に多くの演算量を要することになる。
　なお、４×４予測においては、予測方向の絞込みを行うだけで、完全には予測方法を決定していない。
　非特許文献３では、８×８ＤＣＴ係数を４つの４×４ＤＣＴ係数に変換し、変換した４×４ＤＣＴ係数から予測モードを決定する方法を開示している。
　ただし、８×８ＤＣＴ係数を４つの４×４ＤＣＴ係数に変換する演算量は非常に大きなものとなる。
特開２００４－１８６８１１号公報 「A fast Intra Mode Decision Algorithm for MPEG-2 to H.264 Video Transcoding」Consumer Electronics, 2006. ISCE '06. 2006 IEEE Tenth International Symposium on 2006 Page(s):1 - 5 「Fast Intra Prediction Mode Decision for MPEG-2 to H.264 Transcoding」Multimedia and Expo, 2007 IEEE International Conference on2-5 July 2007 Page(s):428 - 431 「Fast Intra Mode Decision Method for MPEG to H.264 Transcoding」Image Processing, 2006 IEEE International Conference on8-11 Oct. 2006 Page(s):833 - 836
　従来の画像符号化方式変換装置は以上のように構成されているので、非特許文献１～３では、Ｈ．２６４方式を画像符号化方式の変換対象に含めることができるが、画像符号化方式を変換する際の演算量が非常に大きくなるなどの課題があった。
　この発明は上記のような課題を解決するためになされたもので、少ない演算量で画像符号化方式を変換することができる画像符号化方式変換装置を得ることを目的とする。
　この発明に係る画像符号化方式変換装置は、画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、画像の周波数成分の信号を取得する周波数成分信号取得手段と、周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段とを設け、符号化手段が画面内予測方向推定手段により推定された画面内予測の方向を用いて、周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成するようにしたものである。
　この発明によれば、画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、画像の周波数成分の信号を取得する周波数成分信号取得手段と、周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段とを設け、符号化手段が画面内予測方向推定手段により推定された画面内予測の方向を用いて、周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成するように構成したので、少ない演算量で画像符号化方式を変換することができる効果がある。
この発明の実施の形態１による画像符号化方式変換装置を示す構成図である。 この発明の実施の形態１による画像符号化方式変換装置の予測モード推定部２の処理内容を示すフローチャートである。 １６×１６予測モードにおける４つの予測モードを示す説明図である。 ４×４予測モードにおける９つの予測モードを示す説明図である。 画像の符号化対象のブロックＣ0０～Ｃ0３と、その周辺のブロックＲ０～Ｒ５を示す説明図である。 画像の符号化対象のブロックＣ1０～Ｃ1１５と、その周辺のブロックＲ０～Ｒ５を示す説明図である。 ４×４予測モードにおける予測モードの絞込み処理を示すフローチャートである。 ４×４予測モードにおける予測モードの選択処理を示すフローチャートである。 ４×４予測モードにおける予測モードの選択処理を示すフローチャートである。 ４×４予測モードにおける予測モードの選択処理を示すフローチャートである。 この発明の実施の形態２による画像符号化方式変換装置の予測モードの選択処理を示すフローチャートである。 この発明の実施の形態２による画像符号化方式変換装置の予測モードの選択処理を示すフローチャートである。 この発明の実施の形態３による画像符号化方式変換装置を示す構成図である。 静止画像と動画像の関係を示す説明図である。 現在のフレームの符号化対象ブロックＡ0０～Ａ0３と１フレーム前の同一位置の符号化対象ブロックＢ0０～Ｂ0３を示す説明図である。 この発明の実施の形態３による画像符号化方式変換装置の予測モード推定処理判定部１３の処理内容を示すフローチャートである。 この発明の実施の形態４による画像符号化方式変換装置を示す構成図である。 この発明の実施の形態４による画像符号化方式変換装置の予測モード推定処理判定部１５の処理内容を示すフローチャートである。 現在のフレームの符号化対象ブロックＡ0０～Ａ0３と、その周辺ブロックＲＡ０～ＲＡ５と、１フレーム前の同一位置の符号化対象ブロックＢ0０～Ｂ0３と、その周辺ブロックＲＢ０～ＲＢ５とを示す説明図である。 この発明の実施の形態６による画像符号化方式変換装置を示す構成図である。 この発明の実施の形態６による画像符号化方式変換装置の予測モード推定処理判定部１６の処理内容を示すフローチャートである。 ４×４予測モードのときの１フレーム前の符号化対象ブロックＢ1０～Ｂ1１５とその周辺のブロックＲＢ０～ＲＢ５と、現在のフレームの符号化対象ブロックＡ0０～Ａ0３とその周辺のブロックＲＡ０～ＲＡ５とを示す説明図である。 画像の符号化対象ブロックＣ0０～Ｃ0３と、その周辺のブロックＲ０～Ｒ３と、ブロックＲ０，Ｒ１の最下部１６画素の周波数特性Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍと、Ｒ２，Ｒ３の最右端１６画素の周波数特性Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを示す説明図である。 この発明の実施の形態８による画像符号化方式変換装置を示す構成図である。 ４×４予測モードにおける予測モードの選択及び絞込み処理を示すフローチャートである。 ４×４予測モードにおける予測モードの選択処理を示すフローチャートである。 ４×４予測モードにおける予測モードの選択処理を示すフローチャートである。 ４×４ブロックの画素値と４×４変換処理を施した後の４×４変換係数を示す説明図である。 符号化対象の４×４ブロックＣ1ｎと、その周辺の画素ａ～ｉを示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
　図１はこの発明の実施の形態１による画像符号化方式変換装置を示す構成図であり、図において、ＪＰＥＧ簡易復号部１は画像が周波数領域に変換されて符号化されているＪＰＥＧ方式（第１の符号化方式）の符号化ストリームであるＪＰＥＧデータを入力すると、そのＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数と、画像の幅や高さなどを示すヘッダ情報を取得する処理を実施する。なお、ＪＰＥＧ簡易復号部１は周波数成分信号取得手段を構成している。
　予測モード推定部２はＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式（第２の符号化方式）における予測モード（画面内予測の方向）を推定する処理を実施する。なお、予測モード推定部２は画面内予測方向推定手段を構成している。
　Ｈ．２６４符号化部３はＨ．２６４方式の符号化処理を実施する符号化部であり、予測モード推定部２により推定された予測モードとＪＰＥＧ簡易復号部１により取得されたヘッダ情報を用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化して、Ｈ．２６４ストリーム（第２の符号化方式の符号化ストリーム）を生成する処理を実施する。なお、Ｈ．２６４符号化部３は符号化手段を構成している。
　図２はこの発明の実施の形態１による画像符号化方式変換装置の予測モード推定部２の処理内容を示すフローチャートである。
　次に動作について説明する。
　この実施の形態１では、第１の符号化方式がＪＰＥＧ方式であり、第２の符号化方式がＨ．２６４方式である例を説明する。
　ただし、これは単なる一例に過ぎず、類似する他の方式であっても適用することができることは言うまでもない。例えば、第１の符号化方式がＭＰＥＧ－１方式、ＭＰＥＧ－２方式又はＭＰＥＧ－４方式であってもよい。
　なお、Ｈ．２６４方式は時間方向の圧縮も可能であるが、この実施の形態１では、画面内圧縮方式のみを対象とする。
　最初に、ＪＰＥＧ方式及びＨ．２６４方式について簡単に説明する。
　ＪＰＥＧ方式は、画像を８×８のブロックに分割して、各ブロックに対するＤＣＴ変換を実施し、ＤＣＴ変換を実施することにより得られるＤＣＴ係数を量子化し、量子化後のＤＣＴ係数を可変長符号化する方式である。
　一般に、ＤＣＴ係数を量子化する際、高周波成分に対する量子化係数を大きくして、高周波成分をカットすることにより、圧縮効率を高めている。
　Ｈ．２６４方式では、画像を１６×１６のブロック（マクロブロック）に分割し、マクロブロック毎に、１６×１６予測を行うか、４×４予測を行うかを選択する。
　この予測は、既に符号化された隣接する画素から予測画像を作成し、符号化対象の画像と予測画像の差分を取ることを意味する。
　即ち、Ｈ．２６４方式では、上記の予測を１６×１６ブロック領域（１６×１６予測モード）で行うか、４×４ブロック領域（４×４予測モード）で行うかを選択する。
　１６×１６予測モードには４つの予測モードがあり（図３を参照）、４×４予測モードには９つの予測モードがあり（図４を参照）、隣接するどの画素から予測を行うかを選択することができる。
　この予測処理により、取られた差分に対して、整数精度で周波数領域への変換を実施し、その変換により得られる係数を量子化する。この適応的な予測処理を行うことにより、圧縮効率を高めている。
　しかし、この予測モードの選択は、非常に演算量が多い処理である。
　この実施の形態１では、ＪＰＥＧ方式のＤＣＴ係数を利用することで、予測モードの推定を高速に行う。
　以下、図１の画像符号化方式変換装置の処理内容を詳細に説明する。
　ＪＰＥＧ簡易復号部１は、画像が周波数領域に変換されて符号化されているＪＰＥＧ方式のＪＰＥＧデータを入力すると、そのＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数と、画像の幅や高さなどを示すヘッダ情報を取得する。
　通常のＪＰＥＧ復号では、得られたＤＣＴ係数に対してＩＤＣＴ（Ｉｎｖｅｒｓｅ　Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）処理を実施して画素の値に復号するが、ＪＰＥＧ簡易復号部１ではＩＤＣＴ処理を実施せず、得られたＤＣＴ係数を予測モード推定部２に出力し、ヘッダ情報をＨ．２６４符号化部３に出力する。
　予測モード推定部２は、ＪＰＥＧ簡易復号部１からＤＣＴ係数を受けると、そのＤＣＴ係数からＨ．２６４方式における予測モード（画面内予測の方向）を推定する。
　以下、予測モード推定部２の処理内容を具体的に説明する。
　図５は画像の符号化対象のブロックＣ0０～Ｃ0３と、その周辺のブロックＲ０～Ｒ５を示す説明図である。なお、ブロックＣ0０～Ｃ0３，Ｒ０～Ｒ５は、いずれも８×８のブロックである。
　１６×１６予測モードにおける予測モード０（垂直予測）が効率的である状況（Ｈ．２６４方式において、予測モード０を利用するのが適正である状況）は、ブロックＲ０の最下部の８画素とブロックＣ0０，Ｃ0２の画素が近く、ブロックＲ１の最下部の８画素とブロックＣ0１，Ｃ0３の画素が近い場合である。
　また、１６×１６予測モードにおける予測モード１（水平予測）が効率的である状況（Ｈ．２６４方式において、予測モード１を利用するのが適正である状況）は、ブロックＲ２の最右端の８画素とブロックＣ0０，Ｃ0１の画素が近く、ブロックＲ３の最右端の８画素とブロックＣ0２，Ｃ0３の画素が近い場合である。
　１６×１６予測モードにおける予測モード２（ＤＣ予測）が効率的である状況（Ｈ．２６４方式において、予測モード２を利用するのが適正である状況）は、ブロックＲ０，Ｒ１の最下部の１６画素と、ブロックＲ２，Ｒ３の最右端の１６画素と、ブロックＲ４の右下１画素との平均値が、ブロックＣ0０～Ｃ0３の全ての画素の平均値に近い場合である。
　また、１６×１６予測モードにおける予測モード３（平面予測）が効率的である状況（Ｈ．２６４方式において、予測モード３を利用するのが適正である状況）は、ブロックＲ０，Ｒ１の最下部の８画素と、ブロックＲ２，Ｒ３の最右端の８画素と、ブロックＲ４の右下の画素とを利用して、グラデーションのある予測画像が作成されるため、ブロックＲ０，Ｒ１の最下部の画素の変化が、ブロックＣ0０～Ｃ0３の水平方向の変化に一致し、ブロックＲ２，Ｒ３の最右端の画素の変化が、ブロックＣ0０～Ｃ0３の垂直方向の変化に近い場合である。これは、グラデーションのある画像の場合に有効である。
　そこで、予測モード推定部２は、Ｈ．２６４方式において、利用に適する予測モードを推定するために、ＪＰＥＧ簡易復号部１から出力されたＤＣＴ係数を下記の式（１）及び式（２）に示す評価関数に代入して、評価値Ｃｏｓｔ16×16_0，Ｃｏｓｔ16×16_1を算出する（図２のステップＳＴ１）。
Figure JPOXMLDOC01-appb-M000001
　ただし、ＤＣＴ＿Ｃ0０i,j，ＤＣＴ＿Ｃ0１i,j，ＤＣＴ＿Ｃ0２i,j，ＤＣＴ＿Ｃ0３i,j，ＤＣＴ＿Ｒ０i,j，ＤＣＴ＿Ｒ１i,j，ＤＣＴ＿Ｒ２i,j，ＤＣＴ＿Ｒ３i,jは、それぞれブロックＣ0１，Ｃ0２，Ｃ0３，Ｃ0４，，Ｒ０，Ｒ１，Ｒ２，Ｒ３におけるｉ行，ｊ列のＤＣＴ係数である。
　また、ｋは計算に用いる係数であり、ここでは、０≦ｋ≦７であるとする。因みに、ｋ＝０とすれば、全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみから予測モードを推定することを意味する。また、ｋ＝１又はｋ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみから予測モードを推定することを意味する。ここでは、ｋ＝１又はｋ＝２とすれば、低周波成分のＤＣＴ係数のみから予測モードを推定することを意味するとしたが、例えば、ｋ＝３としても、低周波成分のＤＣＴ係数のみから予測モードを推定することを意味する。
　ｗ16×16_DC0，ｗ16×16_DC1，ｗ16×16_DC2，ｗ16×16_DC3，ｗi，ｗjは重みである。
　評価値Ｃｏｓｔ16×16_0は、ブロックＣ0０，Ｃ0２とブロックＲ０の水平方向の変化及びブロックＣ0１，Ｃ0３とブロックＲ１の水平方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード０（垂直予測）の評価値である。
　また、評価値Ｃｏｓｔ16×16_1は、ブロックＣ0０，Ｃ0１とブロックＲ２の垂直方向の変化及びブロックＣ0２，Ｃ0３とブロックＲ３の垂直方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード１（水平予測）の評価値である。
　予測モード推定部２は、評価値Ｃｏｓｔ16×16_0，Ｃｏｓｔ16×16_1を算出すると、評価値Ｃｏｓｔ16×16_0と閾値ｔｈ16×16_0を比較するとともに（ステップＳＴ２）、評価値Ｃｏｓｔ16×16_1と閾値ｔｈ16×16_1を比較する（ステップＳＴ３，ＳＴ４）。
　Ｃｏｓｔ16×16_0≦ｔｈ16×16_0　　　　　　　　　　　　　　　　　（３）
　Ｃｏｓｔ16×16_1≦ｔｈ16×16_1　　　　　　　　　　　　　　　　　（４）
　予測モード推定部２は、式（３）又は式（４）の少なくとも一方が成立する場合、１６×１６ブロックの単位で充分に周辺画素に近いと判断し、１６×１６予測モードにおける何れかの予測モードを利用するものと決定する。
　一方、式（３）と式（４）の双方が成立しない場合、Ｈ．２６４方式における予測モードとして、４×４予測モードにおける何れかの予測モードを利用するものと決定する（ステップＳＴ５）。
　予測モード推定部２は、式（３）のみが成立する場合、１６×１６予測モードにおける予測モード０（垂直予測）を利用するものと決定する（ステップＳＴ６）。
　また、式（４）のみが成立する場合、１６×１６予測モードにおける予測モード１（水平予測）を利用するものと決定する（ステップＳＴ７）。
　予測モード推定部２は、式（３）と式（４）の双方が成立する場合、評価値Ｃｏｓｔ16×16_0と評価値Ｃｏｓｔ16×16_1の差分絶対値を取り、その差分絶対値と閾値ｔｈ16×16_2を比較する（ステップＳＴ８）。
　｜Ｃｏｓｔ16×16_0－Ｃｏｓｔ16×16_1｜≧ｔｈ16×16_2
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（５）
　予測モード推定部２は、式（５）が成立する場合、垂直方向又は水平方向のいずれかのみが有効である判断し、評価値Ｃｏｓｔ16×16_0と評価値Ｃｏｓｔ16×16_1を比較する（ステップＳＴ９）。
　Ｃｏｓｔ16×16_0＜Ｃｏｓｔ16×16_1　　　　　　　　　　　　　　　（６）
　予測モード推定部２は、式（６）が成立する場合、１６×１６予測モードにおける予測モード０（垂直予測）を利用するものと決定し（ステップＳＴ１０）、式（６）が成立しない場合、１６×１６予測モードにおける予測モード１（水平予測）を利用するものと決定する（ステップＳＴ１１）。
　予測モード推定部２は、式（５）が成立しない場合、１６×１６予測モードにおける予測モード２（ＤＣ予測）又は１６×１６予測モードにおける予測モード３（平面予測）が有効であると判断する。
　このうち、予測モード３（平面予測）は、ブロックＲ０，Ｒ１の最下部の画素の変化と、ブロックＲ２，Ｒ３の最右端の画素の変化とが、ブロックＣ0０～Ｃ0４の画素の変化に近い場合に有効であると言える。
　そこで、予測モード推定部２は、評価値Ｃｏｓｔ16×16_0と評価値Ｃｏｓｔ16×16_1の和を取り、その和と閾値ｔｈ16×16_3を比較する（ステップＳＴ１２）。
　Ｃｏｓｔ16×16_3＝Ｃｏｓｔ16×16_0＋Ｃｏｓｔ16×16_1≦ｔｈ16×16_3
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（７）
　予測モード推定部２は、式（７）が成立する場合、１６×１６予測モードにおける予測モード３（平面予測）を利用するものと決定し（ステップＳＴ１４）、式（７）が成立しない場合、１６×１６予測モードにおける予測モード２（ＤＣ予測）を利用するものと決定する（ステップＳＴ１３）。
　予測モード推定部２は、ステップＳＴ５において、４×４予測モードにおける何らかの予測モードを利用するものと決定すると、以下のようにして、４×４予測モードにおける予測モードを選択する。
　図６は画像の符号化対象のブロックＣ1０～Ｃ1１５と、その周辺のブロックＲ０～Ｒ５を示す説明図である。
　ブロックＣ1０～Ｃ1１５は、いずれも４×４のブロックであり、０～１５の順序で符号化される。
　ブロックＣ1０～Ｃ1１５は、図５のブロックＣ0０～Ｃ0３が４分割されたものであって、ブロックＣ0０はブロックＣ1０～Ｃ1３、ブロックＣ0１はブロックＣ1４～Ｃ1７、ブロックＣ0２はブロックＣ1８～Ｃ1１１、ブロックＣ0３はブロックＣ1１２～Ｃ1１５に分割されたものである。
　なお、ブロックＲ０～Ｒ５は、いずれも８×８のブロックであり、図４のブロックＲ０～Ｒ５と同じである。
　予測モード推定部２は、垂直方向と水平方向の評価値をブロック毎に算出して、その垂直方向と水平方向の評価値の比を算出する。
　予測モード推定部２は、評価値の比によって、大まかに、３つに予測モード（垂直方向、水平方向、斜め方向）に絞込み、絞り込んだ予測方向から予測モードを決定する。
　この予測モードの絞込みにおいて、予測モード０，３，７を垂直方向、予測モード１，８を水平方向、予測モード２，４，５，６を斜め方向とする。この予測モードの分類は、予測画像を作成する画素の位置に基づくものである。
　具体的には、以下の通りである。
　図７は４×４予測モードにおける予測モードの絞込み処理を示すフローチャートである。
　図８、図９及び図１０は４×４予測モードにおける予測モードの選択処理を示すフローチャートである。
　まず、予測モード推定部２は、ブロックＣ1ｎ（０≦ｎ≦１５）の垂直方向の評価値Ｃｏｓｔ4×4_V,nと、水平方向の評価値Ｃｏｓｔ4×4_H,nとを算出する（図７のステップＳＴ２１）。評価値の算出方法はブロック毎に異なり、その算出方法は後述する。
　予測モード推定部２は、垂直方向と水平方向の評価値をブロック毎に算出すると、垂直方向の評価値と水平方向の評価値の比ＲａｔｅＶＨ4×4,nを算出する（ステップＳＴ２２）。
Figure JPOXMLDOC01-appb-M000002
　予測モード推定部２は、評価値の比ＲａｔｅＶＨ4×4,nを算出すると、その評価値の比ＲａｔｅＶＨ4×4,nと閾値ｔｈ4×4_H,n，ｔｈ4×4_V,nを比較する（ステップＳＴ２３，ＳＴ２４）。
　ＲａｔｅＶＨ4×4,n＜ｔｈ4×4_H,n　　　　　　　　　　　　　　　　　　（９）
　ｔｈ4×4_H,n≦ＲａｔｅＶＨ4×4,n＜ｔｈ4×4_V,n 　　　　　　　　　（１０）
　ＲａｔｅＶＨ4×4,n≧ｔｈ4×4_V,n　　　　　　　　　　　　　　　　　（１１）
　予測モード推定部２は、式（９）が成立する場合、水平方向への予測が有効であるとして、予測モード１，８に絞込みを行う（ステップＳＴ２５）。
　予測モード推定部２は、式（１０）が成立する場合、斜め方向への予測が有効であるとして、予測モード２，４，５，６に絞込みを行う（ステップＳＴ２６）。
　予測モード推定部２は、式（１１）が成立する場合、垂直方向への予測が有効であるとして、予測モード０，３，７に絞込みを行う（ステップＳＴ２７）。
　予測モード推定部２は、予測モード１，８に絞込みを行うと、評価値の比ＲａｔｅＶＨ4×4,nと閾値ｔｈ4×4_1_8,nを比較する（図８のステップＳＴ３１）。
　ＲａｔｅＶＨ4×4,n＞ｔｈ4×4_1_8,n　　　　　　　　　　　　　　　（１２）
　予測モード推定部２は、式（１２）が成立する場合、予測モード１を利用するものと決定し（ステップＳＴ３２）、式（１２）が成立しない場合、予測モード８を利用するものと決定する（ステップＳＴ３３）。
　予測モード推定部２は、予測モード２，４，５，６に絞込みを行うと、対象となっている４×４ブロックが含まれる８×８ブロックのＤＣＴ係数のＡＣ成分を評価する評価値Ｃｏｓｔ4×4_2,nを算出し（図９のステップＳＴ４１）、その評価値Ｃｏｓｔ4×4_2,nと閾値ｔｈ4×4_2,nを比較する（ステップＳＴ４２）。
Figure JPOXMLDOC01-appb-M000003
　予測モード推定部２は、式（１３）が成立する場合、予測モード２を利用するものと決定し（ステップＳＴ４３）、式（１３）が成立しない場合、評価値の比ＲａｔｅＶＨ4×4,nと閾値ｔｈ4×4_4_5,n，ｔｈ4×4_4_6,nを比較する（ステップＳＴ４４，ＳＴ４５）。
　ＲａｔｅＶＨ4×4,n≦ｔｈ4×4_4_5,n　　　　　　　　　　　　　　　（１４）
　ｔｈ4×4_4_5,n＜ＲａｔｅＶＨ4×4,n≦ｔｈ4×4_4_6,n　　　　　　（１５）
　ＲａｔｅＶＨ4×4,n＞ｔｈ4×4_4_6,n　　　　　　　　　　　　　　　（１６）
　予測モード推定部２は、式（１４）が成立する場合、予測モード５を利用するものと決定する（ステップＳＴ４６）。
　予測モード推定部２は、式（１５）が成立する場合、予測モード４を利用するものと決定する（ステップＳＴ４７）。
　予測モード推定部２は、式（１６）が成立する場合、予測モード６を利用するものと決定する（ステップＳＴ４８）。
　予測モード推定部２は、予測モード０，３，７に絞込みを行うと、評価値の比ＲａｔｅＶＨ4×4,nと閾値ｔｈ4×4_0_7,n，ｔｈ4×4_3_7,nを比較する（図１０のステップＳＴ５１，ＳＴ５２）。
　ＲａｔｅＶＨ4×4,n≦ｔｈ4×4_0_7,n　　　　　　　　　　　　　　　（１７）
　ｔｈ4×4_0_7,n＜ＲａｔｅＶＨ4×4,n≦ｔｈ4×4_3_7,n　　　　　　（１８）
　ＲａｔｅＶＨ4×4,n＞ｔｈ4×4_3_7,n　　　　　　　　　　　　　　　（１９）
　予測モード推定部２は、式（１７）が成立する場合、予測モード０を利用するものと決定する（ステップＳＴ５３）。
　予測モード推定部２は、式（１８）が成立する場合、予測モード７を利用するものと決定する（ステップＳＴ５４）。
　予測モード推定部２は、式（１９）が成立する場合、予測モード３を利用するものと決定する（ステップＳＴ５５）。
　この実施の形態１では、予測モード推定部２が完全に予測モードを決定するものについて示しているが、予測モードの絞込みのみを実施して、絞り込んだ予測モードについてＳＡＤやＳＡＴＤを実施して、予測モードを決定するようにしてもよい。
　以下、図６に示す４×４の各ブロックの垂直方向の評価値Ｃｏｓｔ4×4_V,n，水平方向の評価値Ｃｏｓｔ4×4_H,nの算出方法について説明する。
　基本的に、４×４の各ブロックが構成される元となる８×８ブロックと、それに隣接する８×８ブロックのＤＣＴ係数から算出される。
　ｎ＝０（Ｃ1０）のときは、下記の式（２０）及び式（２１）に示すように、ブロックＣ1０が含まれるＣ0０と、ブロックＣ0０に隣接するブロックＲ０，Ｒ２のＤＣＴ係数を用いて評価値を算出する。
Figure JPOXMLDOC01-appb-M000004
　ｎ＝１（Ｃ1１）のときは、下記の式（２２）及び式（２３）に示すように、ブロックＣ1１が含まれるＣ0０と、ブロックＣ0０に隣接するブロックＲ０のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ0０のＡＣ成分のみを考える。
Figure JPOXMLDOC01-appb-M000005
　ｎ＝２（Ｃ1２）のときは、下記の式（２４）及び式（２５）に示すように、ブロックＣ1２が含まれるＣ0０と、ブロックＣ0０に隣接するブロックＲ２のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ0０のＡＣ成分のみを考える。
Figure JPOXMLDOC01-appb-M000006
　ｎ＝３（Ｃ1３）のときは、下記の式（２６）及び式（２７）に示すように、ブロックＣ1３が含まれるＣ0０のＡＣ成分のみを用いて評価値を算出する。
Figure JPOXMLDOC01-appb-M000007
　ｎ＝４（Ｃ1４）のときは、下記の式（２８）及び式（２９）に示すように、ブロックＣ1４が含まれるＣ0１と、ブロックＣ0１に隣接するＣ0０と、ブロックＲ１のＤＣＴ係数を用いて評価値を算出する。
Figure JPOXMLDOC01-appb-M000008
　ｎ＝５（Ｃ1５）のときは、下記の式（３０）及び式（３１）に示すように、ブロックＣ1５が含まれるＣ0１と、ブロックＣ0１に隣接するブロックＲ１のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ0１のＡＣ成分のみを考える。
Figure JPOXMLDOC01-appb-M000009
　ｎ＝６（Ｃ1６）のときは、下記の式（３２）及び式（３３）に示すように、ブロックＣ1６が含まれるＣ0１と、ブロックＣ0１に隣接するブロックＣ0０のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ0１のＡＣ成分のみを考える。
Figure JPOXMLDOC01-appb-M000010
　ｎ＝７（Ｃ1７）のときは、下記の式（３４）及び式（３５）に示すように、ブロックＣ1７が含まれるＣ0１のＡＣ成分のみを用いて評価値を算出する。
Figure JPOXMLDOC01-appb-M000011
　ｎ＝８（Ｃ1８）のときは、下記の式（３６）及び式（３７）に示すように、ブロックＣ1８が含まれるＣ0２と、ブロックＣ0２に隣接するＣ0０，Ｒ３のＤＣＴ係数を用いて評価値を算出する。
Figure JPOXMLDOC01-appb-M000012
　ｎ＝９（Ｃ1９）のときは、下記の式（３８）及び式（３９）に示すように、ブロックＣ1９が含まれるＣ0２と、ブロックＣ0２に隣接するＣ0０のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ0２のＡＣ成分のみを考える。
Figure JPOXMLDOC01-appb-M000013
　ｎ＝１０（Ｃ1１０）のときは、下記の式（４０）及び式（４１）に示すように、ブロックＣ1１０が含まれるＣ0２と、ブロックＣ0２に隣接するＲ３のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ0２のＡＣ成分のみを考える。
Figure JPOXMLDOC01-appb-M000014
　ｎ＝１１（Ｃ1１１）のときは、下記の式（４２）及び式（４３）に示すように、ブロックＣ1１１が含まれるＣ0２のＡＣ成分のみを用いて評価値を算出する。
Figure JPOXMLDOC01-appb-M000015
　ｎ＝１２（Ｃ1１２）のときは、下記の式（４４）及び式（４５）に示すように、ブロックＣ1１２が含まれるＣ0３と、ブロックＣ0３に隣接するＣ0１，Ｃ0２のＤＣＴ係数を用いて評価値を算出する。
Figure JPOXMLDOC01-appb-M000016
　ｎ＝１３（Ｃ1１３）のときは、下記の式（４６）及び式（４７）に示すように、ブロックＣ1１３が含まれるＣ0３と、ブロックＣ0３に隣接するＣ0１のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ0３のＡＣ成分のみを考える。
Figure JPOXMLDOC01-appb-M000017
　ｎ＝１４（Ｃ1１４）のときは、下記の式（４８）及び式（４９）に示すように、ブロックＣ1１４が含まれるＣ0３と、ブロックＣ0３に隣接するＣ0２のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ0３のＡＣ成分のみを考える。
Figure JPOXMLDOC01-appb-M000018
　ｎ＝１５（Ｃ1１５）のときは、下記の式（５０）及び式（５１）に示すように、ブロックＣ1１５が含まれるＣ0３のＡＣ成分のみを用いて評価値を算出する。
Figure JPOXMLDOC01-appb-M000019
　上記の式（２０）～式（５１）は、式（１）及び式（２）の項の一部と同一部分があるため、式（１）及び式（２）を計算する時点で、その同一部分を保持するようにしてもよい。
　上記のようにして、予測モードの決定処理を実施することで、８×８ブロックのＤＣＴ係数から予測モードを推定することができる。
　Ｈ．２６４符号化部３は、予測モード推定部２が予測モードを推定すると、その予測モードとＪＰＥＧ簡易復号部１により取得されたヘッダ情報を用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化することにより、Ｈ．２６４ストリームを生成する。
　Ｈ．２６４ストリームの生成に際して、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数に対するＩＤＣＴ処理を実施して、そのＤＣＴ係数を画素信号に戻してから符号化を行うようにしてもよい。
　また、非特許文献４に開示されているように、変換行列を用いて、ＤＣＴ係数を整数精度ＤＣＴに変換して符号化を行うようにしてもよい。
・非特許文献４
「Efficient MPEG-2 to H.264/AVC intra transcoding in transform-domain」
Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium on
23-26 May 2005 Page(s):1234 - 1237 Vol. 2
　以上で明らかなように、この実施の形態１によれば、画像が周波数領域に変換されて符号化されているＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数を取得するＪＰＥＧ簡易復号部１と、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モード（画面内予測の方向）を推定する予測モード推定部２とを設け、Ｈ．２６４符号化部３が予測モード推定部２により推定された予測モードを用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化してＨ．２６４ストリームを生成するように構成したので、少ない演算量で、ＪＰＧ方式からＨ．２６４方式に変換することができる効果を奏する。
　また、この実施の形態１では、式（１）、式（２）、式（２０）～式（５１）において、多くの共通の項を有しているので、実際の計算に要する演算量が少なくなる特徴を有している。
　なお、式（１）、式（２）、式（２０）～式（５１）において、変数ｋを小さくすれば、即ち、ｋ＝０として、全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみから予測モードを推定する場合や、ｋ＝１又はｋ＝２として（あるいは、ｋ＝３として）、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみから予測モードを推定する場合には、演算量を大幅に削減することができる。
実施の形態２．
　上記実施の形態１では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モードを推定するものについて示したが、予測モード推定部２がＨ．２６４方式における予測モードを推定する際、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数の中に高周波成分のＤＣＴ係数が含まれているか否かを判定し、高周波成分のＤＣＴ係数が含まれていない場合には、推定する予測モードを絞り込むようにしてもよい。
　ＪＰＥＧ簡易復号部１及びＨ．２６４符号化部３の処理内容は、上記実施の形態１と同様であるため、予測モード推定部２の処理内容のみを説明する。
　なお、特に断りがない限り、数式中の変数は、上記実施の形態１と同じ意味を表すものとする。
　予測モード推定部２は、上記実施の形態１と同様にして、１６×１６予測モードを採用するか、４×４予測モードを採用するかを判定する。
　１６×１６予測モードが採用され、１６×１６予測モードにおける予測モードを選択する際の処理内容は、上記実施の形態１と同様であるため説明を省略する。
　以下、図５及び図６を参照しながら、４×４予測モードが採用された場合の処理内容を説明する。
　図１１及び図１２はこの発明の実施の形態２による画像符号化方式変換装置の予測モードの選択処理を示すフローチャートである。
　まず、予測モード推定部２は、ブロックＣ0０に高周波成分が存在しているか否かを判定する。
　予測モード推定部２は、下記の式（５２）が成立する場合、ブロックＣ0０に高周波成分が存在していると判定する（図１１のステップＳＴ６１）。
　　ＭＡＸ（ＤＣＴ＿Ｃ0０i,j）＞ｔｈ2_high　　　　　　　　　　　　（５２）
　ただし、ＭＡＸ（ＤＣＴ＿Ｃ0０i,j）はＤＣＴ係数の最大値であり、ｔｈ2_highは閾値であり、４≦ｉ，ｊ≦７である。ここでは、４≦ｉ，ｊ≦７である例を示しているが、例えば、４≦ｉ，４≦ｊであってもよい。ｉ，ｊについては、以降の説明において全て同様である。
　なお、高周波成分が存在しているか否かを判定は、他の方法を用いてもよい。
　予測モード推定部２は、ブロックＣ0０に高周波成分が存在している場合、上記実施の形態１と同様にして、予測モードを決定する（ステップＳＴ６２）。
　一方、ブロックＣ0０に高周波成分が存在していない場合、下記の式（５３）～式（５５）を計算して、評価値Ｃｏｓｔ2_4×4,0,0，Ｃｏｓｔ2_4×4,0,1，Ｃｏｓｔ2_4×4,0,2_4を算出する（ステップＳＴ６３）。
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,0,0，Ｃｏｓｔ2_4×4,0,1，Ｃｏｓｔ2_4×4,0,2_4を算出すると、これらの評価値の中で、最小の評価値を選択する。
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,0,0が最小である場合（ステップＳＴ６４）、ブロックＣ1０については予測モード０を利用するものと決定する（ステップＳＴ６５）。
　また、予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,0,1が最小である場合（ステップＳＴ６６）、ブロックＣ1０については予測モード１を利用するものと決定する（ステップＳＴ６７）。
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,0,2_4が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ0０i,j）と閾値ｔｈ2_DCを比較する（ステップＳＴ６８）。
　　ＭＡＸ（ＤＣＴ＿Ｃ0０i,j）＞ｔｈ2_DC　　　　　　　　　　　　　　（５６）
　ただし、４≦ｉ，ｊ≦７である。
　予測モード推定部２は、式（５６）が成立する場合、ブロックＣ1０については予測モード４を利用するものと決定する（ステップＳＴ６９）。
　一方、式（５６）が成立しない場合、ブロックＣ1０については予測モード２を利用するものと決定する（ステップＳＴ７０）。
　予測モード推定部２は、ブロックＣ1０の予測モードを決定すると、高周波成分がないことを活かし、順次、予測モードを決定する。
　即ち、ブロックＣ1１については予測モード１に決定し、ブロックＣ1２については予測モード０に決定し、ブロックＣ1３については、下記の式（５７）が成立するか否かを判定する（図１２のステップＳＴ８１）。
Figure JPOXMLDOC01-appb-M000021
　予測モード推定部２は、式（５７）が成立する場合、ブロックＣ1３については予測モード２を利用するものと決定する（ステップＳＴ８２）。
　予測モード推定部２は、式（５７）が成立しない場合、下記の式（５８）が成立するか否かを判定する（ステップＳＴ８３）。
Figure JPOXMLDOC01-appb-M000022
　予測モード推定部２は、式（５８）が成立する場合、ブロックＣ1３については予測モード１を利用するものと決定する（ステップＳＴ８４）。
　予測モード推定部２は、式（５８）が成立しない場合、ブロックＣ1３については予測モード０を利用するものと決定する（ステップＳＴ８５）。
　以降、ブロックＣ0１，Ｃ0２，Ｃ0３についても同様の方法で、ブロックＣ1４～Ｃ1１５の各ブロックの予測モードを決定する。
　予測モード推定部２は、ブロックＣ0１では、高周波成分の判定として、下記の式（５９）を用いる。
　　ＭＡＸ（ＤＣＴ＿Ｃ0１i,j）＞ｔｈ2_high　　　　　　　　　　　　（５９）
　ただし、４≦ｉ，ｊ≦７である。
　ブロックＣ0１に高周波成分が存在しない場合、ブロックＣ1４の予測モードを決定するために、下記の式（６０）～式（６２）を計算して、評価値Ｃｏｓｔ2_4×4,1,0，Ｃｏｓｔ2_4×4,1,1，Ｃｏｓｔ2_4×4,1,2_4を算出する。
Figure JPOXMLDOC01-appb-M000023
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,1,0，Ｃｏｓｔ2_4×4,1,1，Ｃｏｓｔ2_4×4,1,2_4を算出すると、これらの評価値の中で、最小の評価値を選択する。
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,1,0が最小である場合、ブロックＣ1４については予測モード０を利用するものと決定する。
　また、予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,1,1が最小である場合、ブロックＣ1４については予測モード１を利用するものと決定する。
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,1,2_4が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ0１i,j）と閾値ｔｈ2_DCを比較する。
　　ＭＡＸ（ＤＣＴ＿Ｃ0１i,j）＞ｔｈ2_DC　　　　　　　　　　　　　　（６３）
　ただし、４≦ｉ，ｊ≦７である。
　予測モード推定部２は、式（６３）が成立する場合、ブロックＣ1４については予測モード４を利用するものと決定する。
　一方、式（６３）が成立しない場合、ブロックＣ1４については予測モード２を利用するものと決定する。
　予測モード推定部２は、ブロックＣ1５については予測モード１を利用するものと決定し、ブロックＣ1６については予測モード０を利用するものと決定する。
　ブロックＣ1７については、下記の式（６４）が成立するか否かを判定する。
Figure JPOXMLDOC01-appb-M000024
　予測モード推定部２は、式（６４）が成立する場合、ブロックＣ1７については予測モード２を利用するものと決定する。
　一方、式（６４）が成立しない場合、下記の式（６５）が成立するか否かを判定する。
Figure JPOXMLDOC01-appb-M000025
 　予測モード推定部２は、式（６５）が成立する場合、ブロックＣ1７については予測モード１を利用するものと決定する。
　一方、式（６５）が成立しない場合、ブロックＣ1７については予測モード０を利用するものと決定する。
　予測モード推定部２は、ブロックＣ0２では、高周波成分の判定として、下記の式（６６）を用いる。
　　ＭＡＸ（ＤＣＴ＿Ｃ0２i,j）＞ｔｈ2_high　　　　　　　　　　　　（６６）
　ただし、４≦ｉ，ｊ≦７である。
　ブロックＣ0２に高周波成分が存在しない場合、ブロックＣ1８の予測モードを決定するために、下記の式（６７）～式（６９）を計算して、評価値Ｃｏｓｔ2_4×4,2,0，Ｃｏｓｔ2_4×4,2,1，Ｃｏｓｔ2_4×4,2,2_4を算出する。
Figure JPOXMLDOC01-appb-M000026
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,2,0，Ｃｏｓｔ2_4×4,2,1，Ｃｏｓｔ2_4×4,2,2_4を算出すると、これらの評価値の中で、最小の評価値を選択する。
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,2,0が最小である場合、ブロックＣ1８については予測モード０を利用するものと決定する。
　また、予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,2,1が最小である場合、ブロックＣ1８については予測モード１を利用するものと決定する。
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,2,2_4が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ0２i,j）と閾値ｔｈ2_DCを比較する。
　　ＭＡＸ（ＤＣＴ＿Ｃ0２i,j）＞ｔｈ2_DC　　　　　　　　　　　　　　（７０）
　ただし、４≦ｉ，ｊ≦７である。
　予測モード推定部２は、式（７０）が成立する場合、ブロックＣ1８については予測モード４を利用するものと決定する。
　一方、式（６９）が成立しない場合、ブロックＣ1８については予測モード２を利用するものと決定する。
　予測モード推定部２は、ブロックＣ1９については予測モード１を利用するものと決定し、ブロックＣ1１０については予測モード０を利用するものと決定する。
　ブロックＣ1１１については、下記の式（７１）が成立するか否かを判定する。
Figure JPOXMLDOC01-appb-M000027
　予測モード推定部２は、式（７１）が成立する場合、ブロックＣ1１１については予測モード２を利用するものと決定する。
　一方、式（７１）が成立しない場合、下記の式（７２）が成立するか否かを判定する。
Figure JPOXMLDOC01-appb-M000028
 　予測モード推定部２は、式（７２）が成立する場合、ブロックＣ1１１については予測モード１を利用するものと決定する。
　一方、式（７２）が成立しない場合、ブロックＣ1１１については予測モード０を利用するものと決定する。
　予測モード推定部２は、ブロックＣ0３では、高周波成分の判定として、下記の式（７３）を用いる。
　　ＭＡＸ（ＤＣＴ＿Ｃ0３i,j）＞ｔｈ2_high　　　　　　　　　　　　（７３）
　ただし、４≦ｉ，ｊ≦７である。
　ブロックＣ0３に高周波成分が存在しない場合、ブロックＣ1１２の予測モードを決定するために、下記の式（７４）～式（７６）を計算して、評価値Ｃｏｓｔ2_4×4,3,0，Ｃｏｓｔ2_4×4,3,1，Ｃｏｓｔ2_4×4,3,2_4を算出する。
Figure JPOXMLDOC01-appb-M000029
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,3,0，Ｃｏｓｔ2_4×4,3,1，Ｃｏｓｔ2_4×4,3,2_4を算出すると、これらの評価値の中で、最小の評価値を選択する。
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,3,0が最小である場合、ブロックＣ1１２については予測モード０を利用するものと決定する。
　また、予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,3,1が最小である場合、ブロックＣ1１２については予測モード１を利用するものと決定する。
　予測モード推定部２は、評価値Ｃｏｓｔ2_4×4,3,2_4が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ0３i,j）と閾値ｔｈ2_DCを比較する。
　　ＭＡＸ（ＤＣＴ＿Ｃ0３i,j）＞ｔｈ2_DC　　　　　　　　　　　　　　（７７）
　ただし、４≦ｉ，ｊ≦７である。
　予測モード推定部２は、式（７７）が成立する場合、ブロックＣ1１２については予測モード４を利用するものと決定する。
　一方、式（７７）が成立しない場合、ブロックＣ1１２については予測モード２を利用するものと決定する。
　予測モード推定部２は、ブロックＣ1１３については予測モード１を利用するものと決定し、ブロックＣ1１４については予測モード０を利用するものと決定する。
　ブロックＣ1１５については、下記の式（７８）が成立するか否かを判定する。
Figure JPOXMLDOC01-appb-M000030
　予測モード推定部２は、式（７８）が成立する場合、ブロックＣ1１５については予測モード２を利用するものと決定する。
　一方、式（７８）が成立しない場合、下記の式（７９）が成立するか否かを判定する。
Figure JPOXMLDOC01-appb-M000031
 　予測モード推定部２は、式（７９）が成立する場合、ブロックＣ1１５については予測モード１を利用するものと決定する。
　一方、式（７９）が成立しない場合、ブロックＣ1１５については予測モード０を利用するものと決定する。
　この実施の形態２によれば、高周波成分の存在を判定して、８×８ブロック内に高周波成分がない場合、ＤＣ成分の比較によって、３つの４×４ブロックの予測モードが決まり、残る１つのブロックについても、ＡＣ成分の和から簡単に決めることができる。
　したがって、高周波成分がない場合に、非常に高速に４×４予測モードを決定して、Ｈ．２６４方式への変換を高速に行うことが可能になる。
実施の形態３．
　上記実施の形態１，２では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式の予測モードを推定するものについて示したが、動画像の場合、図１４に示すように、静止画像を時間軸方向に並べた形式で表されることが多く、時間的に近いフレームは一般に相関が高い（類似している）ことが多い。
　そこで、この実施の形態３では、類似している画像が連続して符号化されている場合、Ｈ．２６４方式の予測モードの推定を行わず、１フレーム前の予測モードと同一の予測モードを使用し続けるようにしている。
　具体的には、以下の通りである。
　図１３はこの発明の実施の形態３による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
　ＤＣＴ係数記憶部１１はＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を記憶し、その後、ＪＰＥＧ簡易復号部１により最新のＤＣＴ係数（現在のフレームのＤＣＴ係数）が取得されると、記憶している１フレーム前のＤＣＴ係数を予測モード推定処理判定部１３に出力する。なお、ＤＣＴ係数記憶部１１は周波数成分記憶手段を構成している。
　予測モード記憶部１２は予測モード推定部２により推定されたＨ．２６４方式の予測モードを記憶し、予測モード推定処理判定部１３から予測モードの出力指令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。なお、予測モード記憶部１２は画面内予測方向記憶手段を構成している。
　予測モード推定処理判定部１３はＪＰＥＧ簡易復号部１により取得された現在のフレームのＤＣＴ係数とＤＣＴ係数記憶部１１に記憶されている１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理（画面内予測方向の推定処理）の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、予測モードの推定命令を予測モード推定部２に出力することにより、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モードの出力命令を予測モード記憶部１２に出力することにより、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させる処理を実施する。なお、予測モード推定処理判定部１３は推定処理判定手段を構成している。
　図１６はこの発明の実施の形態３による画像符号化方式変換装置の予測モード推定処理判定部１３の処理内容を示すフローチャートである。
　次に動作について説明する。
　ただし、ＤＣＴ係数記憶部１１、予測モード記憶部１２及び予測モード推定処理判定部１３を実装している点以外は、上記実施の形態１，２と同様であるため、ここでは、ＤＣＴ係数記憶部１１、予測モード記憶部１２及び予測モード推定処理判定部１３の動作のみを説明する。
　ＤＣＴ係数記憶部１１は、上記実施の形態１と同様にして、ＪＰＥＧ簡易復号部１がＤＣＴ係数を取得すると、そのＤＣＴ係数を記憶し、その後、ＪＰＥＧ簡易復号部１が現在のフレームのＤＣＴ係数を取得すると、記憶している１フレーム前のＤＣＴ係数を予測モード推定処理判定部１３に出力する。
　予測モード記憶部１２は、上記実施の形態１と同様にして、予測モード推定部２がＨ．２６４方式の予測モードを推定すると、その予測モードを記憶する。
　予測モード推定処理判定部１３は、ＪＰＥＧ簡易復号部１から現在のフレームのＤＣＴ係数を受け、ＤＣＴ係数記憶部１１から１フレーム前のＤＣＴ係数を受けると、現在のフレームのＤＣＴ係数と１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定する。
　予測モード推定処理判定部１３は、予測モード推定処理を実施する必要があると判定すると、予測モードの推定命令を予測モード推定部２に出力することにより、その予測モード推定処理を予測モード推定部２に実施させる。
　一方、予測モード推定処理を実施する必要がないと判定すると、予測モードの出力命令を予測モード記憶部１２に出力することにより、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させる。
　以下、予測モード推定処理判定部１３の処理内容を具体的に説明する。
　図１５は現在のフレームの符号化対象ブロックＡ0０～Ａ0３と１フレーム前の同一位置の符号化対象ブロックＢ0０～Ｂ0３を示す説明図である。ただし、ブロックＡ0０～Ａ0３、Ｂ0０～Ｂ0３は、いずれも８×８ブロックである。
　符号化対象ブロックが、連続するフレームにおいて類似している場合は、１フレーム前と同一の予測モードを用いても、高効率の符号化が可能である。
　一方、符号化対象ブロックが、連続するフレームにおいて相違している場合は、１フレーム前と同一の予測モードを用いると、符号化効率が悪化する可能性が高い。
　そこで、予測モード推定処理判定部１３は、予測モード推定処理の実施の必要性を判定するため、ＪＰＥＧ簡易復号部１から出力された現在のフレームのＤＣＴ係数と、ＤＣＴ係数記憶部１１から出力された１フレーム前のＤＣＴ係数とを下記の式（８０）に示す評価関数に代入して、差分値Ｄｉｆｆを算出する（ステップＳＴ９１）。
Figure JPOXMLDOC01-appb-M000032
　ただし、ＤＣＴ＿Ａ0０i,j，ＤＣＴ＿Ａ0１i,j，ＤＣＴ＿Ａ0２i,j，ＤＣＴ＿Ａ0３i,j，ＤＣＴ＿Ｂ0０i,j，ＤＣＴ＿Ｂ0１i,j，ＤＣＴ＿Ｂ0２i,j，ＤＣＴ＿Ｂ0３i,jは、それぞれブロックＡ0０，Ａ0１，Ａ0２，Ａ0３，Ｂ0０，Ｂ0１，Ｂ0２，Ｂ0３におけるｉ行、ｊ列のＤＣＴ係数である。
　また、ｋ及びｌは計算に用いる係数であり、ここでは、０≦ｋ≦７，０≦ｌ≦７であるとする。
　ｋ＝０，ｌ＝０とすれば全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
　ｋ＝２，ｌ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
　また、ｋ＝２，ｌ＝７とすれば、水平方向は低周波成分のみを用い、垂直方向は高周波成分までのＤＣＴ係数を用いて、予測モード推定処理の実施の必要性を判定することを意味する。
　なお、ｗi,jは重みである。
　予測モード推定処理判定部１３は、差分値Ｄｉｆｆを算出すると、その差分値Ｄｉｆｆと閾値ｔｈDiffを比較する（ステップＳＴ９２）。
　　　Ｄｉｆｆ≦ｔｈDiff　　　　　　　　　　　　　　　　　　　　　（８１）
　予測モード推定処理判定部１３は、式（８１）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ９３）。
　予測モード記憶部１２は、予測モード推定処理判定部１３から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
　ただし、予測モード推定処理判定部１３から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。
　予測モード推定処理判定部１３は、式（８１）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ９４）。
　予測モード推定部２は、予測モード推定処理判定部１３から予測モードの推定命令を受けると、上記実施の形態１，２と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。
　なお、予測モード推定部２は、Ｈ．２６４方式の予測モードを推定する際、上記実施の形態１，２と同様に、ＤＣＴ係数を用いて予測モードを推定してもよいが、全ての予測モードに対して、ＳＡＤやＳＡＴＤを実施して、予測モードを決定するようにしてもよい。
　以上で明らかなように、この実施の形態３によれば、予測モード推定処理判定部１３がＪＰＥＧ簡易復号部１により取得された現在のフレームのＤＣＴ係数とＤＣＴ係数記憶部１１に記憶されている１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させるように構成したので、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが相違している場合に限り、予測モード推定部２における予測モードの推定処理が実施されるようになり、その結果、Ｈ．２６４方式への変換の高速化を図ることができる効果を奏する。
実施の形態４．
　上記実施の形態３では、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが相違している場合に限り、予測モード推定部２が予測モードの推定処理を実施するものについて示したが、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している場合でも、規定回数連続して、予測モード推定部２が予測モードの推定処理を実施していない場合には、予測モードの推定処理を予測モード推定部２に実施させるようにしてもよい。
　具体的には、以下の通りである。
　図１７はこの発明の実施の形態４による画像符号化方式変換装置を示す構成図であり、図において、図１３と同一符号は同一または相当部分を示すので説明を省略する。
　同一予測モードカウント部１４は予測モード推定処理判定部１５から予測モードの出力命令が予測モード記憶部１２に出力されるとカウント値Ｃｏｕｎｔをインクリメントし、予測モード推定処理判定部１５から予測モードの推定命令が予測モード推定部２に出力されるとカウント値Ｃｏｕｎｔを０リセットする。
　予測モード推定処理判定部１５は図１３の予測モード推定処理判定部１３と同様に、ＪＰＥＧ簡易復号部１により取得された現在のフレームのＤＣＴ係数とＤＣＴ係数記憶部１１に記憶されている１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させるが、予測モード推定処理判定部１５は同一予測モードカウント部１４のカウント値Ｃｏｕｎｔが閾値ｔｈCountに到達すると、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している場合でも、その予測モード推定処理を予測モード推定部２に実施させるようにする。
　なお、同一予測モードカウント部１４及び予測モード推定処理判定部１５から推定処理判定手段が構成されている。
　図１８はこの発明の実施の形態４による画像符号化方式変換装置の予測モード推定処理判定部１５の処理内容を示すフローチャートである。
　次に動作について説明する。
　上記実施の形態３では、符号化対象ブロックにおいて、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している限り、何回でも、前のフレームと同一の予測モードを使用し続けるようにしている。
　しかしながら、例えば、日照変動などのように、フレーム間では類似していても、微小な変化が連続する場合には、同一の予測モードを使用し続けると、符号化効率が悪くなる可能性がある。
　そこで、この実施の形態４では、微小な変化が連続するような場合には、同一の予測モードが使用され続けないようにするため、同一予測モードの連続使用数に制限を設けるようにしている。
　以下、同一予測モードカウント部１４及び予測モード推定処理判定部１５の処理内容を具体的に説明する。
　予測モード推定処理判定部１５は、図１３の予測モード推定処理判定部１３と同様に、予測モード推定処理の実施の必要性を判定するため、ＪＰＥＧ簡易復号部１から出力された現在のフレームのＤＣＴ係数と、ＤＣＴ係数記憶部１１から出力された１フレーム前のＤＣＴ係数とを上記の式（８０）に示す評価関数に代入して、差分値Ｄｉｆｆを算出する（ステップＳＴ１０１）。
　予測モード推定処理判定部１５は、差分値Ｄｉｆｆを算出すると、その差分値Ｄｉｆｆと閾値ｔｈDiffを比較する（ステップＳＴ１０２）。
　予測モード推定処理判定部１５は、上記の式（８１）が成立しない場合（Ｄｉｆｆ＞ｔｈDiffの場合）、符号化対象ブロックが、連続するフレーム間において相違しているとみなし、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔを０リセットして（ステップＳＴ１０３）、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１０４）。
　予測モード推定部２は、予測モード推定処理判定部１５から予測モードの推定命令を受けると、上記実施の形態１～３と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。
　なお、予測モード推定部２は、Ｈ．２６４方式の予測モードを推定する際、上記実施の形態１～３と同様に、ＤＣＴ係数を用いて予測モードを推定してもよいが、全ての予測モードに対して、ＳＡＤやＳＡＴＤを実施して、予測モードを決定するようにしてもよい。
　予測モード推定処理判定部１５は、上記の式（８１）が成立する場合（Ｄｉｆｆ≦ｔｈDiffの場合）、符号化対象ブロックが、連続するフレーム間において類似しているとみなし、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔと閾値ｔｈCountを比較する（ステップＳＴ１０５）。
　　　Ｃｏｕｎｔ≦ｔｈCount　　　　　　　　　　　　　　　　　（８２）
　予測モード推定処理判定部１５は、式（８２）が成立する場合、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔを“１”だけインクリメントして（ステップＳＴ１０６）、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ１０７）。
　予測モード記憶部１２は、予測モード推定処理判定部１５から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
　ただし、予測モード推定処理判定部１５から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。
　予測モード推定処理判定部１５は、式（８２）が成立しない場合、同一の予測モードの連続使用回数が規定回数（上限回数）に到達しているので、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔを０リセットして（ステップＳＴ１０３）、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１０４）。
　予測モード推定部２は、予測モード推定処理判定部１５から予測モードの推定命令を受けると、上記実施の形態１～３と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。
　以上で明らかなように、この実施の形態４によれば、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔが閾値ｔｈCountを上回ると、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している場合でも、予測モード推定処理判定部１５が予測モード推定処理を予測モード推定部２に実施させるように構成したので、微小な変化が連続するような場合でも、高効率な符号化を行うことができる効果を奏する。
実施の形態５．
　上記実施の形態３，４では、現在のフレームと１フレーム前の同一位置の符号化対象ブロックを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定するものについて示したが、現在のフレームと１フレーム前の同一位置の符号化対象ブロックだけでなく、符号化対象ブロックの周辺ブロックも比較対象に含めて、予測モード推定処理の実施の必要性を判定することにより、より高効率な符号化を行うことができるようにしてもよい。
　この実施の形態５における画像符号化方式変換装置は、上記実施の形態３，４の画像符号化方式変換装置と基本的な構成は同一であるが、予測モード推定処理判定部１３，１５が、現在のフレームと１フレーム前の同一位置の符号化対象ブロック及び対象ブロックの周辺ブロックを比較して、予測モード推定処理の実施の必要性を判定するようにしている点で相違している。
　この実施の形態５では、説明の便宜上、図１３の画像符号化方式変換装置の構成を参照して説明する。
　図１９は現在のフレームの符号化対象ブロックＡ0０～Ａ0３と、その周辺ブロックＲＡ０～ＲＡ５と、１フレーム前の同一位置の符号化対象ブロックＢ0０～Ｂ0３と、その周辺ブロックＲＢ０～ＲＢ５とを示す説明図である。
　ただし、ブロックＡ0０～Ａ0３，ＲＡ０～ＲＡ５，Ｂ0０～Ｂ0３及びＲＢ０～ＲＢ５は、いずれも８×８ブロックである。
　予測モード推定処理判定部１３は、予測モード推定処理の実施の必要性を判定するため、ＪＰＥＧ簡易復号部１から出力された現在のフレームのＤＣＴ係数と、ＤＣＴ係数記憶部１１から出力された１フレーム前のＤＣＴ係数とを下記の式（８３）に示す評価関数に代入して、差分値Ｄｉｆｆneighborを算出する。
Figure JPOXMLDOC01-appb-M000033
　ただし、ＤＣＴ＿Ａ0０i,j，ＤＣＴ＿Ａ0１i,j，ＤＣＴ＿Ａ0２i,j，ＤＣＴ＿Ａ0３i,j，ＤＣＴ＿Ｂ0０i,j，ＤＣＴ＿Ｂ0１i,j，ＤＣＴ＿Ｂ0２i,j，ＤＣＴ＿Ｂ0３i,jは、それぞれブロックＡ0０，Ａ0１，Ａ0２，Ａ0３，Ｂ0０，Ｂ0１，Ｂ0２，Ｂ0３におけるｉ行、ｊ列のＤＣＴ係数である。
　また、ＤＣＴ＿ＲＡ０i,j，ＤＣＴ＿ＲＡ１i,j，ＤＣＴ＿ＲＡ２i,j，ＤＣＴ＿ＲＡ３i,j，ＤＣＴ＿ＲＡ４i,j，ＤＣＴ＿ＲＡ５i,j，ＤＣＴ＿ＲＢ０i,j，ＤＣＴ＿ＲＢ１i,j，ＤＣＴ＿ＲＢ２i,j，ＤＣＴ＿ＲＢ３i,j，ＤＣＴ＿ＲＢ４i,j，ＤＣＴ＿ＲＢ５i,jは、それぞれブロックＲＡ０，ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４，ＲＡ５，ＲＢ０，ＲＢ１，ＲＢ２，ＲＢ３，ＲＢ４，ＲＢ５におけるｉ行、ｊ列のＤＣＴ係数である。
　また、ｋ及びｌは計算に用いる係数であり、ここでは、０≦ｋ≦７，０≦ｌ≦７であるとする。
　ｋ＝０，ｌ＝０とすれば全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
　ｋ＝２，ｌ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
　また、ｋ＝２，ｌ＝７とすれば、水平方向は低周波成分のみを用い、垂直方向は高周波成分までのＤＣＴ係数を用いて、予測モード推定処理の実施の必要性を判定することを意味する。
　なお、ｕi,j，ｖi,jは重みである。
　予測モード推定処理判定部１３は、差分値Ｄｉｆｆneighborを算出すると、その差分値Ｄｉｆｆneighborと閾値ｔｈneighborを比較する。
　　　Ｄｉｆｆneighbor≦ｔｈneighbor　　　　　　　　　　　　　（８４）
　予測モード推定処理判定部１３は、式（８４）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する。
　予測モード記憶部１２は、予測モード推定処理判定部１３から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
　ただし、予測モード推定処理判定部１３から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。
　予測モード推定処理判定部１３は、式（８４）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する。
　予測モード推定部２は、予測モード推定処理判定部１３から予測モードの推定命令を受けると、上記実施の形態１～４と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。
　この実施の形態５によれば、現在のフレームと１フレーム前の同一位置の符号化対象ブロックだけでなく、符号化対象ブロックの周辺ブロックも比較対象に含めて、予測モード推定処理の実施の必要性を判定するようにしている。このため、現在のフレームと１フレーム前において、周辺ブロックの相違による予測モードの変化に対応することができるので、高効率な予測符号化が可能になる。
実施の形態６．
　上記実施の形態５では、現在のフレームと１フレーム前の同一位置の符号化対象ブロックだけでなく、符号化対象ブロックの周辺ブロックも比較対象に含めて、予測モード推定処理の実施の必要性を判定するものについて示したが、予測モード記憶部１２に記憶されている１フレーム前の予測モードを考慮して、予測モード推定処理の実施の必要性を判定するようにしてもよい。
　具体的には、以下の通りである。
　図２０はこの発明の実施の形態６による画像符号化方式変換装置を示す構成図であり、図において、図１３及び図１７と同一符号は同一または相当部分を示すので説明を省略する。
　予測モード推定処理判定部１６は図１３の予測モード推定処理判定部１３又は図１７の予測モード推定処理判定部１５と同様に、予測モード推定処理の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させるが、予測モード推定処理判定部１６は予測モード推定処理の実施の必要性を判定する際、予測モード記憶部１２に記憶されている１フレーム前の予測モードを考慮して判定を行う。なお、予測モード推定処理判定部１６は推定処理判定手段を構成している。
　図２１はこの発明の実施の形態６による画像符号化方式変換装置の予測モード推定処理判定部１６の処理内容を示すフローチャートである。
　まず、予測モード推定処理判定部１６は、予測モード記憶部１２に記憶されている１フレーム前の予測モードが、１６×１６予測モードであるのか、４×４予測モードであるのかを判定する（ステップＳＴ１１１）。
　予測モード推定処理判定部１６は、１フレーム前の予測モードが１６×１６予測モードである場合、差分値Ｄｉｆｆ16×16_nを算出し（ステップＳＴ１１２）、その差分値Ｄｉｆｆ16×16_nと閾値ｔｈ16×16_nを比較する（ステップＳＴ１１３）。差分値Ｄｉｆｆ16×16_nの算出方法は後述する。
　　　Ｄｉｆｆ16×16_n≦ｔｈ16×16_n　　　　　　　　　　　　　（８５）
　ここで、ｎは１フレーム前の１６×１６予測モードであり、予測モード０～３のいずれかである。
　予測モード推定処理判定部１６は、式（８５）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ１１８）。
　予測モード記憶部１２は、予測モード推定処理判定部１６から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
　ただし、予測モード推定処理判定部１６から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。
　予測モード推定処理判定部１６は、式（８５）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１１９）。
　予測モード推定部２は、予測モード推定処理判定部１６から予測モードの推定命令を受けると、上記実施の形態１～５と同様に、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。
　予測モード推定処理判定部１６は、１フレーム前の予測モードが４×４予測モードである場合、４×４予測モードに基づいて、μ０～μ５，ｍ，差分値Ｄｉｆｆ4×4を算出し（ステップＳＴ１１４～ＳＴ１１６）、その差分値Ｄｉｆｆ4×4と閾値ｔｈ4×4を比較する（ステップＳＴ１１７）。μ０～μ５，ｍ，Ｄｉｆｆ4×4の算出方法は後述する。
　　　Ｄｉｆｆ4×4≦ｔｈ4×4　　　　　　　　　　　　　　　　　　（８６）
　予測モード推定処理判定部１６は、式（８６）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ１１８）。
　予測モード記憶部１２は、予測モード推定処理判定部１６から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
　ただし、予測モード推定処理判定部１６から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。
　予測モード推定処理判定部１６は、式（８６）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１１９）。
　予測モード推定部２は、予測モード推定処理判定部１６から予測モードの推定命令を受けると、上記実施の形態１～５と同様に、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。
　以下、差分値Ｄｉｆｆ16×16_nの算出方法について説明する。
　予測モード推定処理判定部１６は、ｎ＝０のときは、下記の式（８７）に示すように、符号化対象ブロックＡ0０～Ａ0３，Ｂ0０～Ｂ0３と、ブロックＡ0０，Ａ0１及びブロックＢ0０，Ｂ0１に隣接するブロックＲＡ０，ＲＡ１及びＲＢ０，ＲＢ１のＤＣＴ係数を用いて差分値Ｄｉｆｆ16×16_0を算出する。
Figure JPOXMLDOC01-appb-M000034
　ｎ＝１のときは、下記の式（８８）に示すように、符号化対象ブロックＡ0０～Ａ0３，Ｂ0０～Ｂ0３と、ブロックＡ0０，Ａ0２及びブロックＢ0０，Ｂ0２に隣接するブロックＲＡ２，ＲＡ３及びＲＢ２，ＲＢ３のＤＣＴ係数を用いて差分値Ｄｉｆｆ16×16_1を算出する。
Figure JPOXMLDOC01-appb-M000035
　ｎ＝２のときは、下記の式（８９）に示すように、符号化対象ブロックＡ0０～Ａ0３，Ｂ0０～Ｂ0３と、ブロックＡ0０～Ａ0２及びブロックＢ0０～Ｂ0２に隣接するＲＡ０～ＲＡ３及びブロックＲＢ０～ＲＢ３のＤＣＴ係数を用いて差分値Ｄｉｆｆ16×16_2を算出する。
Figure JPOXMLDOC01-appb-M000036
　ｎ＝３のときは、下記の式（９０）に示すように、符号化対象ブロックＡ0０～Ａ0３，Ｂ0０～Ｂ0３と、ブロックＡ0０～Ａ0２及びブロックＢ0０～Ｂ0２に隣接するブロックＲＡ０～ＲＡ３及びＲＢ０～ＲＢ３と、左上のブロックＲＢ４及びＲＡ４のＤＣＴ係数を用いて差分値Ｄｉｆｆ16×16_3を算出する。
Figure JPOXMLDOC01-appb-M000037
　予測モード推定処理判定部１６は、式（８７）～式（９０）によって差分値Ｄｉｆｆ16×16_nを算出すると、上述したように、その差分値Ｄｉｆｆ16×16_nと閾値ｔｈ16×16_nを比較して、予測モード推定処理の実施の必要性を判定する。
　次に、差分値Ｄｉｆｆ4×4の算出方法について説明する。
　予測モード推定処理判定部１６は、下記の式（９１）及び式（９２）に示すように、符号化対象ブロックＡ0０～Ａ0３，Ｂ0０～Ｂ0３と、ブロックＡ0０～Ａ0２及びブロックＢ0０～Ｂ0２の周辺のブロックＲＡ０～ＲＡ５及びＲＢ０～ＲＢ５のＤＣＴ係数を用いて差分値Ｄｉｆｆ4×4を算出する。
Figure JPOXMLDOC01-appb-M000038
　ただし、μ０～μ５は、０≦μｉ≦１（０≦ｉ≦５）の実数値をとり、符号化対象ブロックの周辺ブロックＲＡ０～ＲＡ５及びＲＢ０～ＲＢ５のＤＣＴ係数の差分に対する重みである。
　以下、μ０～μ５の算出方法について説明する。
　図２２は４×４予測モードのときの１フレーム前の符号化対象ブロックＢ1０～Ｂ1１５とその周辺のブロックＲＢ０～ＲＢ５と、現在のフレームの符号化対象ブロックＡ0０～Ａ0３とその周辺のブロックＲＡ０～ＲＡ５とを示す説明図である。
　ブロックＢ1０～Ｂ1１５は、図１９のブロックＢ0０～Ｂ0３が４分割されたものであって、ブロックＢ0０はブロックＢ1０～Ｂ1３、ブロックＢ0１はブロックＢ1４～Ｂ1７、ブロックＢ0２はブロックＢ1８～Ｂ1１１、ブロックＢ0３はブロックＢ1１２～Ｂ1１５に分割されたものである。
　μ０は、前フレームでブロックＲＢ０内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ０内に含まれる画素を用いて予測が行われるのは、Ｂ1０の予測モードが０，２～７、Ｂ1１の予測モードが０，２～７、Ｂ1４の予測モードが４～６の場合である。
　μ０＝０を初期値として、Ｂ1０，Ｂ1１が上記予測モードをとっている場合、μ０にそれぞれ４／９が加算され、Ｂ1４が上記予測モードをとっている場合、μ０に１／９が加算される。
　μ１は、前フレームでブロックＲＢ１内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ１内に含まれる画素を用いて予測が行われるのは、Ｂ1１の予測モードが３または７、Ｂ1４の予測モードが０，２～７、Ｂ1５の予測モードが０，２～７の場合である。
　μ１＝０を初期値として、Ｂ1１，Ｂ1４，Ｂ1５が上記予測モードをとっている場合、μ１にそれぞれ１／３が加算される。
　μ２は、前フレームでブロックＲＢ２内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ２内に含まれる画素を用いて予測が行われるのは、Ｂ1０の予測モードが１，２，４～６，８、Ｂ1２の予測モードが１，２，４～６，８、Ｂ1８の予測モードが４～６の場合である。
　μ２＝０を初期値として、Ｂ1０，Ｂ1２が上記予測モードをとっている場合、μ２にそれぞれ４／９が加算され、Ｂ1８が上記予測モードをとっている場合、μ２に１／９が加算される。
　μ３は、前フレームでブロックＲＢ３内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ３内に含まれる画素を用いて予測が行われるのは、Ｂ1８の予測モードが１，２，４～６，８、Ｂ1１０の予測モードが１，２，４～６，８の場合である。
　μ３＝０を初期値として、Ｂ1８，Ｂ1１０が上記予測モードをとっている場合、μ３にそれぞれ１／２が加算される。
　μ４は、前フレームでブロックＲＢ４内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ４内に含まれる画素を用いて予測が行われるのは、Ｂ1０の予測モードが４～６の場合であり、これを満たすとき、μ４＝１／９とされる。
　μ５は、前フレームでブロックＲＢ５内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ５内に含まれる画素を用いて予測が行われるのは、Ｂ1５の予測モードが３または７の場合であり、これを満たすとき、μ５＝４／９とされる。
　以上で明らかなように、この実施の形態６によれば、現在のフレームと１フレーム前の同一位置の符号化対象ブロック及び周辺ブロックの比較を行うときに用いる周辺ブロックを、１フレーム前の予測モードから判断しているので、１フレーム前と同じ予測モードを用いた場合、符号化効率が大きく変化するか否かを推測することができるようになり、さらに、高効率な予測符号化が可能になる効果を奏する。
実施の形態７．
　上記実施の形態１～６では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式の予測モードを推定するものについて示したが、予測モード推定部２がＨ．２６４方式の予測モードを推定する際、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数から新たに周波数特性（周波数成分）を算出し、その周波数特性から予測モードを推定するようにしてもよい。
　この実施の形態７における画像符号化方式変換装置は、上記実施の形態１～６のいずれかの画像符号化方式変換装置と基本的な構成は同一であり、ＪＰＥＧ簡易復号部１及びＨ．２６４符号化部３の処理内容は、上記実施の形態１と同様であるため、予測モード推定部２の処理内容についてのみ説明する。
　なお、特に断りがない限り、数式中の変数は、上記実施の形態１と同じ意味を表すものとする。
　予測モード推定部２は、上記実施の形態１と同様にして、１６×１６予測モードを採用するか、４×４予測モードを採用するかを判定する。
　以下、予測モード推定部２の処理内容を具体的に説明する。
　図５は画像の符号化対象ブロックＣ0０～Ｃ0３と、その周辺のブロックＲ０～Ｒ５を示す説明図である。なお、ブロックＣ0０～Ｃ0３，Ｒ０～Ｒ５は、いずれも８×８のブロックである。
　１６×１６予測モードにおける予測モード０（垂直方向）が効率的である状況は、ブロックＲ０の最下部の８画素とブロックＣ0０，Ｃ0２の画素の値が近く、ブロックＲ１の最下部の８画素とブロックＣ0１，Ｃ0３の画素の値が近い場合である。
　また、１６×１６予測モードにおける予測モード１（水平方向）が効率的である状況は、ブロックＲ２の最右端の８画素とブロックＣ0０，Ｃ0１の画素の値が近く、ブロックＲ３の最右端の８画素とブロックＣ0２，Ｃ0３の画素の値が近い場合である。
　１６×１６予測モードにおける予測モード２（ＤＣ予測）が効率的である状況は、ブロックＲ０，Ｒ１の最下部の１６画素と、ブロックＲ２，Ｒ３の最右端の１６画素との平均値が、ブロックＣ0０～Ｃ0３の全ての画素に近い場合である。
　また、１６×１６予測モードにおける予測モード３（プレーン予測）が効率的である状況は、ブロックＲ０，Ｒ１の最下部の１５画素と、ブロックＲ２，Ｒ３の最右端の１５画素と、Ｒ４の右下の１画素とを利用して、グラデーションのある予測画像が作成されるため、ブロックＲ０，Ｒ１の最下部の画素の変化が、ブロックＣ0０～Ｃ0３の水平方向の変化に一致し、ブロックＲ２，Ｒ３の最右端の画素の変化が、ブロックＣ0０～Ｃ0３の垂直方向の変化に近い場合である。これは、グラデーションのある画像の場合に有効である。
　そこで、予測モード推定部２は、ＪＰＥＧ簡易復号部１から出力されたＤＣＴ係数を、下記の式（９３）から式（９６）に示す関数に代入して、予測に用いられる画素であるＲ０，Ｒ１の最下部１６画素の周波数特性Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍと、Ｒ２，Ｒ３の最右端１６画素の周波数特性Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを算出する。
Figure JPOXMLDOC01-appb-M000039
 　ただし、ＤＣＴ＿Ｒ０i,j，ＤＣＴ＿Ｒ１i,j，ＤＣＴ＿Ｒ２i,j，ＤＣＴ＿Ｒ３i,jは、それぞれブロックＲ０，Ｒ１，Ｒ２，Ｒ３におけるｉ行，ｊ列のＤＣＴ係数である。
　また、ｄj,iは離散コサイン変換行列Ｄの要素、ｄT j,iは離散コサイン行列Ｄの転置行列ＤTの要素である。
　ｗi，ｗjは重みである。
　図２３は画像の符号化対象ブロックＣ0０～Ｃ0３と、その周辺のブロックＲ０～Ｒ３と、ブロックＲ０，Ｒ１の最下部１６画素の周波数特性Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍと、Ｒ２，Ｒ３の最右端１６画素の周波数特性Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを示す説明図である。なお、ブロックＣ0０～Ｃ0３，Ｒ０～Ｒ３は、いずれも８×８のブロックである。
　Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍは、ブロックＲ０，Ｒ１の最下部の画素の垂直方向の周波数特性を示すものであり、Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔは、ブロックＲ２，Ｒ３の最右端の画素の水平方向の周波数特性を示すものである。
　次に、予測モード推定部２は、Ｈ．２６４方式において、利用に適する予測モードを推定するために、ＪＰＥＧ簡易復号部１から出力されたＤＣＴ係数と、上記のＲ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍ，Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを下記の式（９７）及び式（９８）に示す評価関数に代入して、評価値Ｃｏｓｔ16×16_0，Ｃｏｓｔ16×16_1を算出する。
Figure JPOXMLDOC01-appb-M000040
　ただし、ｋは計算に用いる係数であり、０≦ｋ≦７であるとする。
　因みに、ｋ＝０とすれば、全ＤＣＴ係数のうち、直流成分のＤＣＴ係数及び直流成分の周波数特性のみから予測モードを推定することを意味する。
　また、ｋ＝１、または、ｋ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数及び低周波成分の周波数特性のみから予測モードを推定することを意味する。
　また、ｋ＝７とすれば、高周波成分までのＤＣＴ係数及び高周波成分までの周波数特性から予測モードを推定することを意味する。
　ｗ16×16_0j，ｗ16×16_1j，ｗ16×16_2j，ｗ16×16_3j，ｗ16×16_0i，ｗ16×16_1i，ｗ16×16_2i，ｗ16×16_3iは重みである。
　評価値Ｃｏｓｔ16×16_0は、ブロックＣ0０，Ｃ0２とブロックＲ０の水平方向の変化及びブロックＣ0１，Ｃ0３とブロックＲ１の水平方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード０（垂直予測）の評価値である。
　また、評価値Ｃｏｓｔ16×16_1は、ブロックＣ0０，Ｃ0１とブロックＲ２の垂直方向の変化及びブロックＣ0２，Ｃ0３とブロックＲ３の垂直方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード１（水平予測）の評価値である。
　以降の推定処理については、上記実施の形態１～６と同様であるため、説明を省略する。
　以上で明らかなように、この実施の形態７によれば、予測モード推定部２において周辺の８×８ブロックの周波数成分を用いるのではなく、予測に必要な箇所のみの周波数成分を用いて評価値を算出し、その評価値からＨ．２６４の予測モードを決定するように構成しているので、より精度が高い予測モードの推定を行うことができる効果を奏する。
実施の形態８．
　上記実施の形態１～７では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モードを推定するものについて示したが、４×４予測モードを推定する際に、８×８ブロック単位の周波数成分ではなく、４×４ブロック単位の周波数成分を用いて推定を行うようにしてもよい。
　この実施の形態８では、４×４予測モードを推定する際に、ＪＰＥＧから復号される画素値に、４×４変換を施すことで算出可能な４×４ブロック単位の変換係数を用いるようにする。
　図２４はこの発明の実施の形態８による画像符号化方式変換装置を示す構成図であり、図において、ＪＰＥＧ復号部２１は画像が周波数領域に変換されて符号化されているＪＰＥＧ方式（第１の符号化方式）の符号化ストリームであるＪＰＥＧデータを入力すると、そのＪＰＥＧデータを復号し、その復号結果として、その画像の画素値（画素信号）、その画像の周波数成分の信号であるＤＣＴ係数及び画像の幅や高さなどを示すヘッダ情報を取得する処理を実施する。なお、ＪＰＥＧ復号部２１は信号取得手段を構成している。
　予測モード推定部２２はＪＰＥＧ復号部２１により取得された画素値及びＤＣＴ係数からＨ．２６４方式（第２の符号化方式）における予測モード（画面内予測の方向）を推定する処理を実施する。なお、予測モード推定部２２は画面内予測方向推定手段を構成している。
　Ｈ．２６４符号化部２３はＨ．２６４方式の符号化処理を実施する符号化部であり、予測モード推定部２２により推定された予測モードとＪＰＥＧ復号部２１により取得されたヘッダ情報を用いて、ＪＰＥＧ簡易復号部２１により取得された画素値を符号化してＨ．２６４ストリーム（第２の符号化方式の符号化ストリーム）を生成する処理を実施する。なお、Ｈ．２６４符号化部２３は符号化手段を構成している。
　次に動作について説明する。
　ＪＰＥＧ復号部２１は、画像が周波数領域に変換されて符号化されているＪＰＥＧ方式の符号化ストリームであるＪＰＥＧデータを入力すると、そのＪＰＥＧデータを復号する。
　ＪＰＥＧ復号部２１は、ＪＰＥＧデータの復号結果として、画像の画素値、画像の周波数成分であるＤＣＴ係数及び画像の幅や高さなどを示すヘッダ情報を取得する。
　なお、画像の画素値は、ＪＰＥＧ復号部２１から予測モード推定部２２及びＨ．２６４符号化部２３に出力され、ＤＣＴ係数はＪＰＥＧ復号部２１から予測モード推定部２２に出力される。
　また、ヘッダ情報は、ＪＰＥＧ復号部２１からＨ．２６４符号化部２３に出力される。
　予測モード推定部２２は、ＪＰＥＧ復号部２１から画像の画素値及びＤＣＴ係数を受けると、その画素値及びＤＣＴ係数からＨ．２６４方式における予測モードを推定する。
　即ち、予測モード推定部２２は、上記実施の形態１～７におけるいずれかの予測モード推定部２と同様にして、１６×１６モードを採用するか、４×４予測モードを採用するかを判定する。
　１６×１６予測モードが採用され、１６×１６予測モードにおける予測モードを選択する際の処理内容は、上記実施の形態１～７のいずれかと同様であるため説明を省略する。
　予測モード推定部２２は、４×４予測モードを採用する旨の判定を行うと、該当１６×１６マクロブロック内の１６個の４×４ブロックの画素値Ｘを下記の式（９９）に代入して４×４変換係数Ｙを算出する。
Figure JPOXMLDOC01-appb-M000041
　４×４変換係数Ｙは、ＤＣＴ係数と同様に、ブロック内の周波数特性を示しており、予測モード推定部２２は、この４×４変換係数Ｙから評価値を算出し、Ｈ．２６４方式における４×４予測モードを推定する。
　具体的には以下の通りである。
　図２５から図２７は４×４予測モードにおける予測モードの推定処理を示すフローチャートである。
　まず、予測モード推定部２２は、４×４変換係数を下記の式（１０１）及び式（１０２）に代入して、垂直方向の評価値Ｖａｌｕｅ4×4_V及び水平方向の評価値Ｖａｌｕｅ4×4_Hを算出する（図２５のステップＳＴ１２０）。
Figure JPOXMLDOC01-appb-M000042
 　ただし、ｙi,jは４×４ブロックにおける４×４変換係数のｉ，ｊ成分である。ｗi，ｗjは重みである。
　ｋは計算に用いる係数であり、ここでは、１≦ｋ≦３であるとする。因みに、ｋ＝１とすれば、全ての４×４変換係数のうち、低周波成分の４×４変換係数のみから予測モードを推定することを意味する。
　また、ｋ＝３とすれば、全ての４×４変換係数のうち、高周波成分の４×４変換係数の周波数特性から予測モードを推定することを意味する。
　予測モード推定部２２は、垂直方向の評価値Ｖａｌｕｅ4×4_V及び水平方向の評価値Ｖａｌｕｅ4×4_Hを算出すると、垂直方向の評価値Ｖａｌｕｅ4×4_Vと閾値ｔｈ4×4_Vを比較するとともに、水平方向の評価値Ｖａｌｕｅ4×4_Hと閾値ｔｈ4×4_Hを比較する（ステップＳＴ１２１）。
　　Ｖａｌｕｅ4×4_V＜ｔｈ4×4_V　　　　　　　　　　　　　　　　　（１０３）
　　Ｖａｌｕｅ4×4_H＜ｔｈ4×4_H　　　　　　　　　　　　　　　　　（１０４）
　予測モード推定部２２は、式（１０３）及び式（１０４）が成立する場合、垂直方向と水平方向の周波数成分がともに小さいので、ＤＣ予測が有効であるとして、４×４予測モードの予測モード２を利用するものと決定する（ステップＳＴ１２２）。
　予測モード推定部２２は、式（１０３）又は式（１０４）のいずれか一方でも成立しない場合、垂直方向の評価値Ｖａｌｕｅ4×4_Vと水平方向の評価値Ｖａｌｕｅ4×4_Hとの比ＲａｔｅＶＨ4×4を算出する（ステップＳＴ１２３）。
Figure JPOXMLDOC01-appb-M000043
　予測モード推定部２２は、評価値の比ＲａｔｅＶＨ4×4を算出すると、その評価値の比ＲａｔｅＶＨ4×4と閾値ｔｈ4×4_0，ｔｈ4×4_1を比較する（ステップＳＴ１２４、ＳＴ１２６）。
　　ＲａｔｅＶＨ4×4＜ｔｈ4×4_1　　　　　　　　　　　　　　　　　（１０６）
　　ｔｈ4×4_1≦ＲａｔｅＶＨ4×4＜ｔｈ4×4_0　　　　　　　　　　　（１０７）
　　ｔｈ4×4_0≦ＲａｔｅＶＨ4×4　　　　　　　　　　　　　　　　　（１０８）
　予測モード推定部２２は、式（１０６）が成立する場合、水平方向の予測が有効であるとして、４×４予測モードの予測モード１を利用するものと決定する（ステップＳＴ１２５）。
　予測モード推定部２２は、式（１０８）が成立する場合、垂直方向の予測が有効であるとして、４×４予測モードの予測モード０を利用するものと決定する（ステップＳＴ１２７）。
　予測モード推定部２２は、式（１０７）が成立する場合、垂直方向成分と水平方向成分を乗算してＳｉｇｎＶＨ4×4を算出する（ステップＳＴ１２８）。
　　ＳｉｇｎＶＨ4×4＝ｙ0,1・ｙ1,0　　　　　　　　　　　　　　　（１０９）
　ここで、図２８は４×４ブロックの画素値と４×４変換処理を施した後の４×４変換係数を示す説明図である。
　画像内のエッジが左下から右上に向かっているとき、符号ＳｉｇｎＶＨ4×4は正になっており、画像内のエッジが左上から右下に向かっているとき、符号ＳｉｇｎＶＨ4×4は負になっている。
　予測モード推定部２２は、ＳｉｇｎＶＨ4×4を算出すると、ＳｉｇｎＶＨ4×4の正負を判定する（ステップＳＴ１２９）。
　　ＳｉｇｎＶＨ4×4≧０　　　　　　　　　　　　　　　　　　　　　（１１０）
　予測モード推定部２２は、式（１１０）が成立する場合、右上又は左下へ向かうエッジがあるとして、４×４予測モードを予測モード３，７，８に絞り込むようにする（ステップＳＴ１３１）。
　一方、式（１１０）が成立しない場合、右下又は左上に向かうエッジがあるとして、４×４予測モードを予測モード４，５，６に絞り込むようにする（ステップＳＴ１３０）。
　予測モード推定部２２は、４×４予測モードを予測モード３，７，８に絞り込むと、評価値ＲａｔｅＶＨ4×4と閾値ｔｈ4×4_8，ｔｈ4×4_7を比較する（図２６のステップＳＴ１３２、ＳＴ１３４）。
　　ＲａｔｅＶＨ4×4＜ｔｈ4×4_8　　　　　　　　　　　　　　　　（１１１）
　　ｔｈ4×4_8≦ＲａｔｅＶＨ4×4＜ｔｈ4×4_7　　　　　　　　　　（１１２）
　　ｔｈ4×4_7≦ＲａｔｅＶＨ4×4　　　　　　　　　　　　　　　　（１１３）
　予測モード推定部２２は、式（１１１）が成立する場合、４×４予測モードの予測モード８を利用するものと決定する（ステップＳＴ１３３）。
　予測モード推定部２２は、式（１１３）が成立する場合、４×４予測モードの予測モード７を利用するものと決定する（ステップＳＴ１３５）。
　予測モード推定部２２は、式（１１２）が成立する場合、４×４予測モードの予測モード３を利用するものと決定する（ステップＳＴ１３６）。
　予測モード推定部２２は、４×４予測モードを予測モード４，５，６に絞り込むと、評価値ＲａｔｅＶＨ4×4と閾値ｔｈ4×4_5，ｔｈ4×4_6を比較する（図２７のステップＳＴ１３７、ＳＴ１３９）。
　　ＲａｔｅＶＨ4×4＜ｔｈ4×4_6　　　　　　　　　　　　　　　　（１１４）
　　ｔｈ4×4_6≦ＲａｔｅＶＨ4×4＜ｔｈ4×4_5　　　　　　　　　　（１１５）
　　ｔｈ4×4_5≦ＲａｔｅＶＨ4×4　　　　　　　　　　　　　　　　（１１６）
　予測モード推定部２２は、式（１１４）が成立する場合、４×４予測モードの予測モード６を利用するものと決定する（ステップＳＴ１３８）。
　予測モード推定部２２は、式（１１６）が成立する場合、４×４予測モードの予測モード５を利用するものと決定する（ステップＳＴ１４０）。
　予測モード推定部２２は、式（１１５）が成立する場合、４×４予測モードの予測モード４を利用するものと決定する（ステップＳＴ１４１）。
　上記のようにして、予測モードの決定処理を実施することで、４×４ブロックの４×４変換係数から予測モードを推定することができる。
　また、予測モード推定部２２で決定された予測モード以外に、隣り合う予測モードを含めて、３つの予測モードに絞り込み、ＳＡＤなどによってコストを計算するようにしてもよい。
　ここで、隣り合うモードとは、図５の下側の図において、矢印の方向が近いもののことであり、例えば、予測モード７に決定されたときは、予測モード０，３が隣り合うモードとなる。
　Ｈ．２６４符号化部２３は、予測モード推定部２２が予測モードを推定すると、その予測モードとＪＰＥＧ復号部２１により取得されたヘッダ情報を用いて、ＪＰＥＧ復号部２１より取得された画素値を符号化してＨ．２６４ストリームを生成する。
　以上で明らかなように、この実施の形態８によれば、画像が周波数領域に変換されて符号化されているＪＰＥＧデータを復号して、画像の画素値及び画像の周波数成分の信号であるＤＣＴ係数を取得するＪＰＥＧ復号部２１と、ＪＰＥＧ復号部２１により取得された画素値及び画像の周波数成分の信号であるＤＣＴ係数からＨ．２６４方式における予測モードを推定する予測モード推定部２２とを設け、Ｈ．２６４符号化部２３が予測モード推定部２２により推定された予測モードを用いて、ＪＰＥＧ復号部２１により取得された画素値を符号化してＨ．２６４ストリームを生成するように構成したので、４×４予測モードの推定精度を高めることができる効果を奏する。
　また、予測モード推定部２２において４×４変換係数を算出しているため、Ｈ．２６４符号化部２３における４×４変換の計算を省略することが可能であり、Ｈ．２６４への変換を高速に行うことができる効果を奏する。
実施の形態９．
　上記実施の形態８では、４×４予測モードを推定する際に、４×４ブロック単位で予測モードの推定を実施するものについて示したが、予測に用いる画素値を含めた５×５ブロック単位で予測モードの推定を実施するようにしてもよい。
　この実施の形態９では、４×４予測モードを推定する際に、４×４ブロックの画素値と予測に用いる画素値を含めた５×５ブロックの周波数成分から４×４予測モードを推定するようにする。
　この実施の形態９における画像符号化方式変換装置は、上記実施の形態８と基本的な構成は同一であり、ＪＰＥＧ復号部２１及びＨ．２６４符号化部２３の処理内容は、上記実施の形態８と同様であるため、予測モード推定部２２の処理内容のみを説明する。
　予測モード推定部２２は、上記実施の形態８と同様にして、１６×１６モードを採用するか、４×４予測モードを採用するかを判定する。
　１６×１６予測モードが採用され、１６×１６予測モードにおける予測モードを選択する際の処理内容は、上記実施の形態１～７のいずれかと同様であるため説明を省略する。
　図２９は符号化対象の４×４ブロックＣ1ｎと、その周辺の画素ａ～ｉを示す説明図である。
　予測モード推定部２２は、４×４予測モードを採用する旨の判定を行うと、該当１６×１６マクロブロック内の１６個の４×４ブロックと４×４ブロックの周辺の画素値ａ～ｉを含めた５×５ブロックＸを下記の式（１１７）に代入して５×５ブロックの周波数成分Ｙを算出する。
Figure JPOXMLDOC01-appb-M000044
　予測モード推定部２２は、５×５ブロックの周波数成分Ｙを算出すると、その５×５ブロックの周波数成分Ｙから評価値を算出し、Ｈ．２６４方式における４×４予測モードを推定する。
　即ち、予測モード推定部２２は、４×４変換係数を下記の式（１２０）及び式（１２１）に代入して、垂直方向の評価値Ｖａｌｕｅ4×4_V及び水平方向の評価値Ｖａｌｕｅ4×4_Hを算出する（図２５のステップＳＴ１２０）。
Figure JPOXMLDOC01-appb-M000045
 　ただし、ｙi,jは４×４ブロックにおける５×５ブロックの周波数成分のｉ，ｊ成分である。ｗi，ｗjは重みである。
　ｋは計算に用いる係数であり、ここでは、１≦ｋ≦４であるとする。因みに、ｋ＝１とすれば、全ての５×５ブロックの周波数成分のうち、低周波成分のみから予測モードを推定することを意味する。
　また、ｋ＝４とすれば、全ての５×５ブロックの周波数成分のうち、高周波成分の周波数特性から予測モードを推定することを意味する。
　以降の推定処理については、上記実施の形態８と同様であるため説明を省略する。
　以上で明らかなように、この実施の形態９によれば、予測モード推定部２２において、４×４ブロックと予測に用いられる周辺画素とで構成される５×５ブロックの周波数特性を用いて、Ｈ．２６４の予測モードを決定するように構成したので、より精度が高い予測モードの推定を行うことができる効果を奏する。
　以上のように、この発明に係る画像符号化方式変換装置は、画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、画像の周波数成分の信号を取得する周波数成分信号取得手段と、周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段とを設け、符号化手段が画面内予測方向推定手段により推定された画面内予測の方向を用いて、周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成するように構成したので、少ない演算量で画像符号化方式を変換することができ、画像を圧縮して符号化する画像符号化方式変換装置などに用いるのに適している。

Claims (16)

  1. 　画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、上記画像の周波数成分の信号を取得する周波数成分信号取得手段と、上記周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段と、上記画面内予測方向推定手段により推定された画面内予測の方向を用いて、上記周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成する符号化手段とを備えた画像符号化方式変換装置。
  2. 　画面内予測方向推定手段は、周波数成分信号取得手段により取得された周波数成分の信号のうち、低周波成分の信号から画面内予測の方向を推定することを特徴とする請求項１記載の画像符号化方式変換装置。
  3. 　画面内予測方向推定手段は、周波数成分信号取得手段により取得された周波数成分の信号のうち、直流成分の信号から画面内予測の方向を推定することを特徴とする請求項１記載の画像符号化方式変換装置。
  4. 　画面内予測方向推定手段は、周波数成分信号取得手段により取得された周波数成分の信号の中に高周波成分の信号が含まれているか否かを判定し、高周波成分の信号が含まれていない場合には、直流成分の信号から画面内予測の方向を推定することを特徴とする請求項１記載の画像符号化方式変換装置。
  5. 　画面内予測方向推定手段は、周波数成分信号取得手段により取得された周波数成分の信号の中に高周波成分の信号が含まれているか否かを判定し、高周波成分の信号が含まれていない場合には、推定する画面内予測の方向を絞り込むことを特徴とする請求項１記載の画像符号化方式変換装置。
  6. 　第１の符号化方式がＪＰＥＧ方式又はＭｏｔｉｏｎＪＰＥＧ方式であり、第２の符号化方式がＨ．２６４方式であることを特徴とする請求項１記載の画像符号化方式変換装置。
  7. 　第１の符号化方式がＭＰＥＧ－１方式、ＭＰＥＧ－２方式又はＭＰＥＧ－４方式であり、第２の符号化方式がＨ．２６４方式であることを特徴とする請求項１記載の画像符号化方式変換装置。
  8. 　周波数成分信号取得手段により取得された周波数成分の信号を記憶する周波数成分記憶手段と、画面内予測方向推定手段により推定された画面内予測の方向を記憶する画面内予測方向記憶手段と、上記周波数成分信号取得手段により取得された最新の周波数成分の信号と上記周波数成分記憶手段に記憶されている前回の周波数成分の信号とを比較して、上記画面内予測方向推定手段における画面内予測方向の推定処理の実施の必要性を判定し、上記画面内予測方向の推定処理を実施する必要があると判定すれば、上記画面内予測方向の推定処理を上記画面内予測方向推定手段に実施させる一方、上記画面内予測方向の推定処理を実施する必要がないと判定すれば、上記画面内予測方向記憶手段に記憶されている画面内予測の方向を符号化手段に出力させる推定処理判定手段とを設けたことを特徴とする請求項１記載の画像符号化方式変換装置。
  9. 　推定処理判定手段は、周波数成分信号取得手段により取得された最新の周波数成分の信号及び周波数成分記憶手段に記憶されている前回の周波数成分の信号のうち、低周波成分の信号を用いて、画面内予測方向の推定処理の実施の必要性を判定することを特徴とする請求項８記載の画像符号化方式変換装置。
  10. 　推定処理判定手段は、周波数成分信号取得手段により取得された最新の周波数成分の信号及び周波数成分記憶手段に記憶されている前回の周波数成分の信号のうち、直流成分の信号を用いて、画面内予測方向の推定処理の実施の必要性を判定することを特徴とする請求項８記載の画像符号化方式変換装置。
  11. 　推定処理判定手段は、画面内予測方向の推定処理を実施する必要がないとする判定が規定回数連続している場合、上記画面内予測方向の推定処理を実施する必要がないと判定しても、上記画面内予測方向の推定処理を画面内予測方向推定手段に実施させることを特徴とする請求項８記載の画像符号化方式変換装置。
  12. 　推定処理判定手段は、画面内予測方向記憶手段に記憶されている画面内予測の方向を考慮して、画面内予測方向の推定処理の実施の必要性を判定することを特徴とする請求項８記載の画像符号化方式変換装置。
  13. 　画面内予測方向推定手段は、周波数成分信号取得手段により取得された周波数成分の信号のうち、画面内予測に利用する周波数成分を算出し、上記周波数成分から画面内予測の方向を推定することを特徴とする請求項１記載の画像符号化方式変換装置。
  14. 　画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームを復号して、上記画像の画素信号と周波数成分の信号を取得する信号取得手段と、上記信号取得手段により取得された画素信号及び周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段と、上記画面内予測方向推定手段により推定された画面内予測の方向を用いて、上記信号取得手段により取得された画素信号を符号化して第２の符号化方式の符号化ストリームを生成する符号化手段とを備えた画像符号化方式変換装置。
  15. 　画面内予測方向推定手段は、信号取得手段により取得された画素信号を上記信号取得手段により取得された周波数成分の信号と異なる第２の周波数成分の信号に変換し、上記第２の周波数成分の信号から画面内予測の方向を推定することを特徴とする請求項１４記載の画像符号化方式変換装置。
  16. 　画面内予測方向推定手段は、第２の周波数成分の信号のうち、低周波成分の信号から画面内予測の方向を推定することを特徴とする請求項１５記載の画像符号化方式変換装置。
PCT/JP2009/000983 2008-03-12 2009-03-04 画像符号化方式変換装置 WO2009113276A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010502714A JP5241819B2 (ja) 2008-03-12 2009-03-04 画像符号化方式変換装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2008-062856 2008-03-12
JP2008062856 2008-03-12
JP2008140446 2008-05-29
JP2008-140446 2008-05-29
JP2008194877 2008-07-29
JP2008-194877 2008-07-29

Publications (1)

Publication Number Publication Date
WO2009113276A1 true WO2009113276A1 (ja) 2009-09-17

Family

ID=41064950

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000983 WO2009113276A1 (ja) 2008-03-12 2009-03-04 画像符号化方式変換装置

Country Status (2)

Country Link
JP (1) JP5241819B2 (ja)
WO (1) WO2009113276A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011083599A1 (ja) * 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
JP2013507084A (ja) * 2009-10-05 2013-02-28 アイ．シー．ヴイ．ティー リミテッド 画像処理のための方法およびシステム
US8908984B2 (en) 2009-10-05 2014-12-09 I.C.V.T. Ltd. Apparatus and methods for recompression of digital images
WO2019196941A1 (en) * 2018-04-13 2019-10-17 Mediatek Inc. Adaptive implicit transform setting

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6212890B2 (ja) * 2013-03-22 2017-10-18 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121273A (ja) * 2004-10-20 2006-05-11 Victor Co Of Japan Ltd 符号化変換方法及び符号化変換装置
WO2006100946A1 (ja) * 2005-03-24 2006-09-28 Pioneer Corporation 画像信号再符号化装置及び画像信号再符号化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121273A (ja) * 2004-10-20 2006-05-11 Victor Co Of Japan Ltd 符号化変換方法及び符号化変換装置
WO2006100946A1 (ja) * 2005-03-24 2006-09-28 Pioneer Corporation 画像信号再符号化装置及び画像信号再符号化方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9503738B2 (en) 2009-10-05 2016-11-22 Beamr Imaging Ltd Apparatus and methods for recompression of digital images
US10674154B2 (en) 2009-10-05 2020-06-02 Beamr Imaging Ltd Apparatus and methods for recompression of digital images
JP2013507084A (ja) * 2009-10-05 2013-02-28 アイ．シー．ヴイ．ティー リミテッド 画像処理のための方法およびシステム
US10362309B2 (en) 2009-10-05 2019-07-23 Beamr Imaging Ltd Apparatus and methods for recompression of digital images
US8908984B2 (en) 2009-10-05 2014-12-09 I.C.V.T. Ltd. Apparatus and methods for recompression of digital images
US9866837B2 (en) 2009-10-05 2018-01-09 Beamr Imaging Ltd Apparatus and methods for recompression of digital images
CN105451018A (zh) * 2010-01-07 2016-03-30 株式会社东芝 运动图像解码装置以及运动图像解码方法
US9392282B2 (en) 2010-01-07 2016-07-12 Kabushiki Kaisha Toshiba Moving-picture encoding apparatus and moving-picture decoding apparatus
US9148659B2 (en) 2010-01-07 2015-09-29 Kabushiki Kaisha Toshiba Moving-picture encoding apparatus and moving-picture decoding apparatus
US9154779B2 (en) 2010-01-07 2015-10-06 Kabushiki Kaisha Toshiba Moving-picture encoding apparatus and moving-picture decoding apparatus
US9294768B2 (en) 2010-01-07 2016-03-22 Kabushiki Kaisha Toshiba Moving-picture encoding apparatus and moving-picture decoding apparatus
CN105430400A (zh) * 2010-01-07 2016-03-23 株式会社东芝 运动图像解码装置以及运动图像解码方法
WO2011083599A1 (ja) * 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
CN105681794A (zh) * 2010-01-07 2016-06-15 株式会社东芝 运动图像解码装置以及运动图像解码方法
CN103024391B (zh) * 2010-01-07 2016-06-29 株式会社东芝 运动图像解码装置以及运动图像解码方法
US9143777B2 (en) 2010-01-07 2015-09-22 Kabushiki Kaisha Toshiba Moving-picture encoding apparatus and moving-picture decoding apparatus
US9113139B2 (en) 2010-01-07 2015-08-18 Kabushiki Kaisha Toshiba Moving-picture encoding apparatus and moving-picture decoding apparatus
US9113138B2 (en) 2010-01-07 2015-08-18 Kabushiki Kaisha Toshiba Moving-picture encoding apparatus and moving-picture decoding apparatus
CN105681794B (zh) * 2010-01-07 2018-09-04 株式会社东芝 运动图像解码装置以及运动图像解码方法
CN105430400B (zh) * 2010-01-07 2019-06-11 株式会社东芝 运动图像解码装置以及运动图像解码方法
CN103024391A (zh) * 2010-01-07 2013-04-03 株式会社东芝 运动图像解码装置以及运动图像解码方法
CN102763416A (zh) * 2010-01-07 2012-10-31 株式会社东芝 运动图像编码装置以及运动图像解码装置
WO2019196941A1 (en) * 2018-04-13 2019-10-17 Mediatek Inc. Adaptive implicit transform setting
CN112042194A (zh) * 2018-04-13 2020-12-04 联发科技股份有限公司 自适应性隐式转换设定
US10999604B2 (en) 2018-04-13 2021-05-04 Mediatek Inc. Adaptive implicit transform setting
CN112042194B (zh) * 2018-04-13 2024-04-16 寰发股份有限公司 一种编码/解码的方法及电子装置

Also Published As

Publication number Publication date
JPWO2009113276A1 (ja) 2011-07-21
JP5241819B2 (ja) 2013-07-17

Similar Documents

Publication Publication Date Title
AU2019200515B2 (en) Image decoding device, image encoding device, and method thereof
KR100803611B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101131689B1 (ko) 필터 선택을 이용한 비디오 압축 방법
WO2011155364A1 (ja) 画像復号化装置と画像符号化装置およびその方法とプログラム
US8165411B2 (en) Method of and apparatus for encoding/decoding data
JP5194119B2 (ja) 画像処理方法及び対応する電子装置
JPH11112973A (ja) 映像信号変換装置及び映像信号変換方法
JP5241819B2 (ja) 画像符号化方式変換装置
JP2012169762A (ja) 画像符号化装置と画像復号化装置およびその方法とプログラム
JP2011259205A (ja) 画像復号化装置と画像符号化装置およびその方法とプログラム
JP2006311079A (ja) 画像ビットストリーム変換装置
US9055292B2 (en) Moving image encoding apparatus, method of controlling the same, and computer readable storage medium
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
US20040264790A1 (en) Method of and apparatus for adaptively encoding motion image according to characteristics of input image
JP2001036908A (ja) 動画像圧縮装置
JP5387520B2 (ja) 情報処理装置と情報処理方法
JP2009206911A (ja) 動画像変換装置
KR100987581B1 (ko) 고속 움직임 추정을 위한 부분 블록정합 방법
JP2868445B2 (ja) 動画像圧縮方法および装置
JP2018191334A (ja) 画像符号化装置と画像符号化方法およびプログラム
JP4364919B2 (ja) 動画像復号化装置
JP2005323315A (ja) 予測情報・量子化値制御圧縮符号化装置、予測情報・量子化値制御圧縮符号化プログラムおよび予測情報・量子化値制御圧縮符号化方法
JP2002016923A (ja) 画像符号化装置および画像符号化方法
JP4100067B2 (ja) 画像情報変換方法及び画像情報変換装置
WO2000062554A1 (en) Image processing method and image processing device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09721152

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010502714

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09721152

Country of ref document: EP

Kind code of ref document: A1