WO2012117955A1 - 画像符号化装置 - Google Patents

画像符号化装置 Download PDF

Info

Publication number
WO2012117955A1
WO2012117955A1 PCT/JP2012/054526 JP2012054526W WO2012117955A1 WO 2012117955 A1 WO2012117955 A1 WO 2012117955A1 JP 2012054526 W JP2012054526 W JP 2012054526W WO 2012117955 A1 WO2012117955 A1 WO 2012117955A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
code amount
quantization parameter
value
image
Prior art date
Application number
PCT/JP2012/054526
Other languages
English (en)
French (fr)
Inventor
尚嗣 山村
岡本 彰
斉藤 誠
拓也 平岡
Original Assignee
株式会社メガチップス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メガチップス filed Critical 株式会社メガチップス
Priority to JP2013502282A priority Critical patent/JP6062356B2/ja
Priority to US14/001,980 priority patent/US9031341B2/en
Publication of WO2012117955A1 publication Critical patent/WO2012117955A1/ja
Priority to US14/624,598 priority patent/US9407919B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding apparatus, and more particularly to an image encoding apparatus that encodes image data using a characteristic value indicating the complexity of input image data.
  • Image encoding devices are MPEG2 and H.264.
  • Image data broadcast by digital broadcasting or the like is recorded on a recording medium such as a DVD using an image encoding technology such as H.264.
  • the image encoding device executes a code amount control process based on recording conditions such as the capacity and recording time of the recording medium.
  • Non-Patent Document 1 describes TM5 (Test Model 5), which is one of the code amount control methods.
  • TM5 is a technique proposed in the process of standardization of the MPEG2 encoding system.
  • the TM5 executes a code amount control process using a characteristic value of image data called an activity.
  • the activity is a characteristic value indicating the complexity of the image.
  • the activity of a macroblock is calculated according to the following procedure. An absolute difference value between a pixel value of a certain pixel in the macro block and a pixel average value of the pixels in the macro block is calculated. The total sum of absolute differences of each pixel in the macroblock is calculated as the activity of the macroblock.
  • Patent Document 1 describes a technique for detecting a scene change based on an activity of image data.
  • JP 2009-232148 A “Test Model 5”, ISO / IEC-JTC1 / SC29 / WG11, April 1993
  • Activity is a parameter used to determine image data encoding conditions such as code amount control and scene change detection. However, by using an activity as the complexity of image data, an appropriate encoding condition may not be selected. If an appropriate encoding condition is not selected, the bit rate of the encoded image data may be greatly deviated from a preset target bit rate, or the image quality of the encoded image data may be deteriorated.
  • An image encoding device is an image encoding device that encodes uncompressed image data in units of pictures, generates frequency component data by Hadamard transform of the first picture, and includes AC included in the frequency component data.
  • a Hadamard transform unit that calculates the characteristic value of the first picture by summing up the absolute values of the component values, and an encoding unit that encodes the first picture using the characteristic value as a parameter indicating the complexity of the first picture And comprising.
  • an appropriate encoding condition for the image data can be selected by using the characteristic value when encoding the first picture.
  • the image coding apparatus further includes a code amount calculation unit that calculates a target code amount of a picture that is a target value of a code amount generated by encoding the first picture, a characteristic value, and a target code amount of the picture
  • a code amount calculation unit that calculates a target code amount of a picture that is a target value of a code amount generated by encoding the first picture, a characteristic value, and a target code amount of the picture
  • a first quantization parameter determination unit that determines a quantization parameter used for encoding the first picture based on the first picture, and the encoding unit encodes the first picture using the quantization parameter.
  • the accuracy of code amount control can be improved by determining the quantization parameter of the first picture based on the characteristic value.
  • the image coding apparatus further includes a characteristic value of a first picture and a characteristic value of a coded first picture closest to the first picture among the first pictures of an image group composed of a plurality of pictures. And a scene change determination unit that determines that a scene change has occurred in the first picture when the absolute difference between and is larger than the first threshold.
  • the characteristic value includes the frequency component of the picture
  • the presence / absence of a scene change can be determined in consideration of the fluctuation of the frequency component between pictures.
  • the image coding apparatus further includes the first picture when the coded first picture closest to the first picture among the first pictures of the picture group composed of a plurality of pictures is the first picture.
  • a first difference calculation unit for calculating a first difference absolute value of the quantization parameter of the first head picture and a quantization parameter of the first head picture, and a predetermined number of encoded head pictures calculated from the first picture to the second head In the case of a picture, a second difference calculation unit that calculates a second difference absolute value between the quantization parameter of each second leading picture and the quantization parameter of the coded leading picture located immediately before each second leading picture And a correction unit that corrects the quantization parameter of the first picture so that the sum of the first difference absolute value and all the second difference absolute values is equal to or less than a predetermined value.
  • an object of the present invention is to provide a technique capable of appropriately selecting an encoding condition of image data.
  • FIG. 1 It is a functional block diagram which shows the structure of the image coding apparatus by the 1st Embodiment of this invention. It is a flowchart of the encoding process which the image coding apparatus shown in FIG. 1 performs. It is a figure which shows the calculation procedure of the Hadamard value which the Hadamard transformation part shown in FIG. 1 calculates. As shown in FIG. It is a figure which shows the arrangement
  • FIG. 1 determines a quantization parameter. It is a figure which shows the correlation with the code amount of an intra picture, and an activity when the quantization parameter is determined based on the activity of a picture. It is a flowchart of the quantization parameter determination process by the 2nd Embodiment of this invention. 10 is a flowchart of a quantization parameter correction process shown in FIGS. 6 and 9. As shown in FIG. 2 is a diagram illustrating a configuration of H.264 data. FIG. It is a figure which shows the correction direction set by the correction process shown in FIG. As shown in FIG. It is a figure which shows the change of the quantization parameter of H.264 data.
  • FIG. 1 is a block diagram showing a functional configuration of an image encoding device 1 according to the first embodiment of the present invention.
  • the image encoding device 1 converts the uncompressed image data 21 into the H.264 format.
  • H.264 data 29 is output.
  • the image encoding device 1 includes a Hadamard transform unit 11, a scene change determination unit 12, a quantization parameter determination unit 13, an encoding unit 14, and a QP correspondence table 15.
  • the Hadamard transform unit 11 performs Hadamard transform on the uncompressed image data 21 which is moving image data, and generates frequency component data 22 (see FIG. 3).
  • the Hadamard transform unit 11 generates an Hadamard value 23 by adding the AC component values included in the frequency component data 22. Since the Hadamard value 23 is calculated for each picture of the uncompressed image data 21, H.264 data 29 corresponds to each picture.
  • the scene change determination unit 12 determines whether or not a scene change has occurred in the current picture using the Hadamard value 23 of each picture and the generated code amount of GOP (Group Of Picture).
  • the current picture is a picture to be encoded.
  • the quantization parameter determination unit 13 determines the quantization parameter 24 of the current picture based on the Hadamard value 23 of the current picture, the picture target code amount, and the QP correspondence table 15.
  • the picture target code amount is a target value of the code amount generated when the current picture is encoded.
  • the QP correspondence table 15 is a table in which quantization parameters 24 corresponding to both the Hadamard value 23 and the picture target code amount are set.
  • the quantization parameter determination unit 13 includes a code amount calculation unit 131, an error calculation unit 132, and a determination method selection unit 133.
  • the code amount calculation unit 131 calculates a GOP ideal code amount, a GOP target code amount, and a picture target code amount.
  • the GOP ideal code amount is the H.264 per GOP unit. It is an ideal value of the code amount of the H.264 data 29, and is calculated based on the target bit rate set before encoding.
  • the GOP target code amount is a value obtained by adjusting the GOP ideal code amount based on the GOP generated code amount.
  • the GOP generation code amount is H.264 in GOP units. This is a code amount of H.264 data 29.
  • the error calculation unit 132 calculates an overall error and a period error based on the GOP ideal code amount and the GOP generated code amount.
  • the overall error and the period error are used for calculating the picture target code amount. Details of the overall error and the period error will be described later.
  • the determination method selection unit 133 selects a method for determining the quantization parameter 24 of the current picture from one of the following two methods.
  • the first method is a method of determining a quantization parameter using the Hadamard value 23 of the current picture.
  • the second method is a method of determining the quantization parameter 24 of the immediately previous encoded I (Intra) picture as the quantization parameter 24 of the current picture.
  • the encoding unit 14 inputs the uncompressed image data 21.
  • the encoding unit 14 encodes the current picture using the quantization parameter 24 of the current picture, H.264 data 29 is generated.
  • the image encoding device 1 generates frequency component data 22 by Hadamard transform of the current picture.
  • the sum of the AC component values of the frequency component data 22 is calculated as the Hadamard value 23.
  • the image encoding device 1 uses the Hadamard value 23 as a characteristic value indicating the complexity of the image in the picture.
  • the complexity indicates the degree of variation in the pixel value of each pixel included in the picture.
  • the Hadamard value 23 includes a frequency component of a picture. For this reason, when the Hadamard value 23 is used as the characteristic value indicating the complexity of the image, the picture can be encoded in consideration of variations in the frequency components of the picture. Therefore, it is possible to determine the coding condition of the picture with high accuracy.
  • the image encoding device 1 uses the Hadamard value 23 to determine whether or not a scene change has occurred in the current picture.
  • the image encoding device 1 can determine the presence / absence of a scene change in consideration of changes in frequency components between pictures. Accordingly, it is possible to improve the scene change detection accuracy.
  • the image encoding device 1 determines the quantization parameter 24 based on the Hadamard value 23 of the current picture. Since the correlation between the Hadamard value 23 and the generated code amount of the picture is higher than the activity, the accuracy of the code amount control can be improved.
  • FIG. 2 is a flowchart of the encoding process executed by the image encoding device 1.
  • the code amount calculation unit 131 calculates the GOP ideal code amount.
  • the GOP ideal code amount is H.264. H.264 data 29 frame rate; It is calculated based on the target bit rate of H.264 data 29 and the number of pictures per GOP.
  • the Hadamard transform unit 11 starts calculating the Hadamard value 23 of each picture of the uncompressed image data 21 (step S1).
  • the Hadamard transform unit 11 calculates the Hadamard value 23 of each picture in parallel with the processing of steps S2 to S6 described later.
  • the image encoding device 1 determines a picture to be encoded (current picture) (step S2).
  • the scene change determination unit 12 determines whether or not a scene change has occurred in the current picture based on the Hadamard value 23 of the current picture (step S3).
  • the quantization parameter determination unit 13 determines the quantization parameter 24 of the current picture based on the scene change determination result (step S4). When the scene change occurs in the current picture, the quantization parameter determination unit 13 determines the quantization parameter 24 of the current picture based on the Hadamard value 23 of the current picture.
  • the encoding unit 14 encodes the current picture using the quantization parameter determined by the quantization parameter determining unit 13 (step S5). After encoding the current picture, the image encoding device 1 determines whether or not to end the encoding process of the uncompressed image data 21 (step S6). When the encoding process ends (Yes in step S6), the image encoding device 1 ends the process shown in FIG. When the encoding process is not finished (No in step S6), the image encoding apparatus 1 repeatedly executes the processes in steps S2 to S5.
  • the Hadamard transform unit 11 calculates the Hadamard value 23 of each picture in parallel with the determination of the quantization parameter (Step S4) and the coding of the picture (Step S5).
  • FIG. 3 is a schematic diagram showing a flow of calculating the Hadamard value 23.
  • the picture 21P is a picture of the uncompressed image data 21, and is original image data that has not been subjected to preprocessing such as prediction processing. In FIG. 3, the sizes of the pixels 21a to 21h are exaggerated.
  • the Hadamard transform unit 11 performs Hadamard transform on the pixel values of the eight pixels 21a to 21h arranged in the horizontal direction, and generates frequency component data 22 including a DC component H0 and AC components H1 to H7. In this way, the Hadamard transform unit 11 performs Hadamard transform on each pixel of the picture 21P in units of 8 pixels in the horizontal direction. Note that the encoding unit 14 does not use the frequency component data 22 when encoding the current picture.
  • the encoding unit 14 performs Hadamard transform separately from the Hadamard transform unit 11 when encoding the current picture.
  • the absolute sum of all AC components obtained by the horizontal Hadamard transform is calculated as the Hadamard value 23. That is, the Hadamard value 23 is a total value of absolute values of all AC components obtained by Hadamard transforming all pixels of a picture in units of 8 pixels, and is calculated in units of pictures.
  • the Hadamard transform unit 11 outputs a Hadamard value 23 to the scene change determination unit 12 and the quantization parameter determination unit 13. Since the Hadamard value 23 can be calculated without performing the Hadamard transform in the vertical direction, the amount of calculation when calculating the Hadamard value 23 can be reduced.
  • FIG. 2 is a diagram illustrating an arrangement of pictures of H.264 data 29.
  • FIG. 4 “I” indicates an I picture.
  • “B” indicates a B (Bi-Directional Predictive) picture.
  • “P” indicates a P (Predictive) picture.
  • the I picture, the P picture, and the B picture are collectively referred to as “picture”.
  • GOPs 30, 40, and 50 have one I picture.
  • the I picture is arranged at the head of each GOP.
  • FIG. 5 is a flowchart of the scene change determination process (step S3).
  • the scene change determination unit 12 determines whether or not a scene change has occurred, based on two criteria: a change in Hadamard value 23 and a generated code amount of GOP.
  • the flow of the scene change determination process will be described by taking as an example the case where the GOP 40 including the pictures 41 to 49 is the GOP to be encoded (current GOP).
  • the scene change determination unit 12 determines a picture (comparison target picture) to be compared with the current picture (step S31).
  • the comparison target picture is the first picture (I picture 41) of the GOP 40.
  • the comparison target picture is the first picture (I picture 31) of the GOP 30 encoded immediately before the GOP 40. That is, the scene change determination unit 12 determines an encoded I picture closest to the current picture as a comparison target picture.
  • the scene change determination unit 12 determines whether or not a scene change has occurred based on a change in the Hadamard value 23.
  • the scene change determination unit 12 calculates a Hadamard difference value, which is an absolute difference between the Hadamard value 23 of the current picture and the Hadamard value 23 of the comparison target picture (step S32).
  • the scene change determination unit 12 compares the Hadamard difference value with a first SC (Scene Change) threshold value (step S33).
  • the first SC threshold is calculated by multiplying the Hadamard value 23 of the comparison target picture by a predetermined first SC coefficient. Since the comparison target picture is the first picture (I picture) of the GOP, the first SC threshold value changes in GOP units.
  • the first SC threshold value may be a fixed value set before the start of encoding of the uncompressed image data 21.
  • the scene change determination unit 12 determines that a scene change has occurred in the current picture (step S37). That is, when the Hadamard value 23 of the current picture changes beyond a threshold value obtained from the Hadamard value 23 of the comparison target picture, the scene change determination unit 12 determines that a scene change has occurred.
  • the scene change determination unit 12 checks whether or not the current picture is the I picture 41 (step S34). If the current picture is not the I picture 41 (No in step S34), the scene change determination unit 12 ends the process of FIG.
  • the scene change determination unit 12 uses the generated code amount of the GOP encoded immediately before to determine whether or not a scene change has occurred. judge. Specifically, the scene change determination unit 12 calculates a code amount difference value (step S35).
  • the code amount difference value is an absolute difference between the GOP ideal code amount and the generated code amount of the GOP 30 encoded immediately before the GOP 40.
  • the scene change determination unit 12 determines that a scene change has occurred in the current picture (I picture 41) (Step S37).
  • the second SC threshold is calculated by multiplying the GOP ideal code amount by a predetermined second SC coefficient indicating a scene change determination criterion. That is, when the ratio of the code amount difference value to the GOP ideal code amount exceeds the threshold value obtained from the GOP ideal code amount, it is determined that a scene change has occurred in the current picture (I picture 41).
  • the scene change determination unit 12 determines that no scene change has occurred in the current picture, and ends the process of FIG.
  • the scene change determination unit 12 determines whether or not a scene change has occurred in the current picture using the Hadamard difference value. Since the Hadamard value 23 is calculated by Hadamard transforming the picture, the frequency component of the picture is taken into consideration. That is, since a scene change can be detected based on a change in frequency components between the current picture and the comparison target picture, the accuracy of scene change determination can be improved.
  • the scene change determination unit 12 determines the presence / absence of a scene change based on the GOP ideal code amount and the generated code amount of the GOP 30 encoded immediately before the current GOP (GOP 40). To do. As described above, the scene change determination accuracy can be improved by determining the presence / absence of a scene change by using the two parameters of the Hadamard value 23 and the generated code amount of the GOP 30 encoded immediately before the current picture. .
  • step S4 the quantization parameter determination process (step S4, see FIG. 2) will be described.
  • the quantization parameter 24 of the encoded I picture closest to the current picture is used as the quantization parameter 24 of the current picture.
  • the quantization parameter 24 of the current picture is set to It is determined based on the Hadamard value 23.
  • FIG. 6 is a flowchart of the quantization parameter determination process (step S4).
  • the quantization parameter determination unit 13 checks whether or not a scene change has occurred in the current picture (step S401).
  • the quantization parameter determination unit 13 determines the quantization parameter 24 using the Hadamard value 23 of the current picture regardless of the picture type of the current picture. To do.
  • the code amount calculation unit 131 calculates the picture target code amount of the current picture based on the GOP ideal code amount (step S402).
  • the code amount calculation unit 131 regards the current picture as an I picture and calculates a picture target code amount. Adjustment of the quantization parameter 24 according to the picture type is performed in step S411 described later. Specifically, the picture target code amount is calculated by multiplying the GOP ideal code amount by the I picture ratio regardless of the picture type of the current picture.
  • the I picture ratio is calculated as a ratio of the generated code amount of the I picture 31 to the generated code amount of the GOP 30 located immediately before the GOP 40.
  • the quantization parameter determination unit 13 determines the quantization parameter 24 using the Hadamard value 23 of the current picture, the picture target code amount, and the QP correspondence table 15 (step S403).
  • the QP correspondence table 15 is a two-dimensional table in which quantization parameters corresponding to both the Hadamard value 23 and the picture target code amount are set.
  • the quantization parameter determination unit 13 determines the quantization parameter 24 with reference to the QP correspondence table 15 using the Hadamard value 23 of the current picture and the picture target code amount as input parameters.
  • step S403 it is desirable to determine the quantization parameter 24 by converting the Hadamard value 23 and the picture target code amount of the current picture into an average value per macroblock.
  • the Hadamard value 23 and the picture target code amount per macroblock are set as input parameters. Thereby, it is not necessary to prepare the QP correspondence table 15 for each picture size.
  • the quantization parameter determination unit 13 determines a quantization parameter based on the Hadamard value 23 and the picture target code amount regardless of the type of the picture. To do. This is because when a scene change occurs, the image quality may be deteriorated by setting the quantization parameter 24 of the encoded I picture to the quantization parameter 24 of the current picture.
  • the quantization parameter determination unit 13 checks whether the current picture is an I picture (step S404). When the current picture is a P picture or a B picture (No in step S404), the quantization parameter 24 of the current picture is determined to be the quantization parameter 24 of the encoded I picture closest to the current picture (step S405). ). When the current picture is any of the pictures 42 to 49, the quantization parameter 24 of the I picture 41 is determined as the quantization parameter 24 of the current picture.
  • the quantization parameter determination unit 13 executes the process of step S406.
  • the determination method selection unit 133 selects the determination method of the quantization parameter 24 from either the first method or the second method based on whether or not the code amount difference value exceeds the selection reference value (Step S1). 406).
  • the first method is a method of determining based on the Hadamard value 23 of the current picture.
  • the second method uses the quantization parameter 24 of the immediately preceding encoded I picture.
  • the code amount difference value is calculated as an absolute difference value between the GOP ideal code amount and the generated code amount of the GOP encoded immediately before the current GOP.
  • the selection reference value will be described later.
  • steps S406 to S410 the case where the I picture 41 is the current picture and the GOP 40 is the current GOP will be described as an example unless otherwise specified.
  • the quantization parameter 24 of the first picture (I picture 31) of the GOP 30 encoded immediately before is set as the quantization parameter 24 of the I picture 41.
  • the difference between the generated code amount of GOP 30 and the GOP ideal code amount is not so large as to determine that a scene change has occurred in I picture 41, but is relatively large.
  • the quantization parameter 24 of the first picture of the GOP 30 is set to the quantization parameter 24 of the picture 41, the difference between the generated code amount of the GOP 40 and the GOP ideal code amount is relatively large as in the GOP 30. Is likely to be.
  • the quantization parameter determination unit 16 selects a method for determining the quantization parameter 24 of the I picture 41 based on the code amount difference value in step S406.
  • the quantization parameter determination unit 13 obtains a code amount difference value, which is an absolute difference between the GOP ideal code amount and the generated code amount of GOP30, as in step S35 (see FIG. 5). calculate.
  • the quantization parameter determination unit 13 confirms whether the code amount difference value exceeds the selection reference value.
  • the selection reference value is a value serving as a reference for determining whether or not the Hadamard value 23 is used to determine the quantization parameter 24, and is smaller than the second SC threshold value.
  • the selection reference value is calculated by multiplying the GOP ideal code amount by a predetermined selection coefficient.
  • the selection coefficient is smaller than the second SC coefficient used for scene change determination. This is because, as described above, if a scene change has occurred (Yes in step S401), the quantization parameter 24 of the I picture 41 is calculated based on the Hadamard value 23. (Step S403).
  • the determination method selection unit 133 selects a method using the quantization parameter 24 of the encoded I picture.
  • the quantization parameter 24 of the I picture 41 is determined to be the quantization parameter 24 of the encoded I picture 31 closest to the I picture 41 (step S405). This is because even if the quantization parameter 24 of the I picture 31 is used for encoding the GOP 40, it is considered that the difference between the generated code amount of the GOP 40 and the GOP ideal code amount does not increase.
  • the determination method selection unit 133 determines that the difference between the generated code amount of GOP30 and the GOP ideal code amount is relatively large. For this reason, a method for determining the quantization parameter 24 based on the Hadamard value 23 is selected.
  • the code amount calculation unit 131 calculates the target code amount (GOP target code amount) of the GOP 40 (step S407). In order to converge the generated code amount in GOP units to the GOP ideal code amount, the GOP target code amount is calculated based on the GOP ideal code amount and the generated code amount of the encoded GOP.
  • the error calculation unit 132 uses (Equation 1) to calculate an overall error that occurs with the encoding of the uncompressed image data 21.
  • ET represents the overall error.
  • Qd represents the GOP ideal code amount.
  • Qg indicates a generated code amount of the encoded GOP. That is, the error calculation unit 132 calculates a value (individual error) obtained by subtracting the GOP ideal code amount from the generated code amount of the encoded GOP, and sums the individual errors of each encoded GOP, thereby reducing the total error. calculate.
  • the error calculation unit 132 calculates a period error using (Expression 2).
  • Ep indicates a period error.
  • range indicates the number of encoded GOPs for which a period error is to be calculated. That is, the error calculation unit 132 specifies a predetermined number of encoded GOPs based on the current GOP among the encoded GOPs, and sums the individual errors of the specified encoded GOPs to reduce the period error. calculate.
  • the error determination unit 132 calculates the GOP target code amount using (Equation 3).
  • Qa indicates the GOP target code amount.
  • Ce is a coefficient of 1 or less that is multiplied by the overall error and the period error, and is set before the uncompressed image data 21 is encoded.
  • the GOP target code amount is calculated based on the GOP ideal code amount, the overall error, and the period error.
  • a lower limit may be set for the GOP target code amount.
  • the quantization parameter 24 of the I picture 41 is determined based on the Hadamard value 23 and the picture target code amount calculated from the GOP target code amount.
  • the GOP target code amount is significantly lower than the GOP ideal code amount, it is assumed that the quantization parameter 24 is determined to be an extremely high value.
  • the image quality of the GOP 40 to which the I picture 41 belongs greatly deteriorates.
  • the H.P. The image quality of the H.264 data 29 can be maintained at a certain level or higher.
  • the code amount calculation unit 131 calculates the picture target code amount (step S408).
  • the picture target code amount is calculated by multiplying the GOP target code amount by the I picture ratio.
  • the quantization parameter determination unit 13 determines the quantization parameter 24 of the I picture 41 based on the Hadamard value 23 of the I picture 41, the picture target code amount, and the QP correspondence table 15 (step S409). ).
  • the quantization parameter of the I picture 41 is changed. 24 is determined based on the Hadamard value 23.
  • the bit rate of the H.264 data 29 can be converged to the target bit rate.
  • the quantization parameter determination unit 13 corrects the quantization parameter 24 of the I picture 41 based on the quantization parameter 24 of the encoded I picture (step S410). As a result, H.C. The image quality of the H.264 data 29 is prevented from changing rapidly.
  • the quantization parameter determination unit 13 specifies the quantization parameter 24 of a predetermined number (for example, three) of encoded I pictures with reference to the GOP 40.
  • the quantization parameter determination unit 13 calculates the sum of absolute differences between the quantization parameter 24 of the I picture 41 and the quantization parameter 24 of the identified encoded I picture.
  • the quantization parameter 24 of the I picture 41 is corrected so that the difference absolute value sum is equal to or less than the change upper limit value. Details of step S410 will be described in the second embodiment.
  • step S411 will be described.
  • the process of step S411 is executed after the quantization parameter 24 of the current picture is determined in steps S403 and S405, and after the quantization parameter 24 of the current picture is corrected in step S410.
  • the quantization parameter 24 of the current picture determined in any of steps S403, S405, and S410 is adjusted according to the picture type of the current picture.
  • the quantization parameter determination unit 13 adds an offset value corresponding to the picture type of the current picture to the quantization parameter 24 (step S411).
  • the offset value is set to a value larger than 0.
  • the offset value of the I picture may be a value larger than 0.
  • the quantization parameter determination unit 13 confirms whether the quantization parameter 24 of the current picture exceeds a preset upper limit value and does not fall below a lower limit value (step S412). If the quantization parameter 24 exceeds the upper limit value, the quantization parameter 24 is set to the upper limit value. If the quantization parameter 24 is below the lower limit value, the quantization parameter 24 is set to the lower limit value. In this way, the quantization parameter 24 of the current picture is determined.
  • the encoding unit 14 encodes the current picture using the quantization parameter 24 determined by the quantization parameter determination unit 13 (see step S5, FIG. 2).
  • the image encoding device 1 sets the quantization parameter 24 of the current picture based on the Hadamard value 23 of the current picture. Thereby, the accuracy of the code amount control when encoding the uncompressed image data 21 can be improved. Hereinafter, this reason will be described.
  • FIG. 7 is a diagram illustrating a correlation between the code amount of the encoded I picture and the Hadamard value of the encoded I picture when the quantization parameter of each picture is determined based on the above procedure.
  • FIG. 8 is a diagram illustrating a correlation between the code amount of the encoded I picture and the activity of the encoded I picture when the quantization parameter of the I picture is determined based on the activity. 7 and 8, the vertical axis indicates the code amount per macroblock.
  • the variation in the generated code amount of the I picture is greater when the quantization parameter is determined using the Hadamard value than when the quantization parameter is determined using the activity. small. Therefore, when the quantization parameter of the I picture is determined using the Hadamard value, variation in the generated code amount of the picture can be suppressed, so that the accuracy of code amount control can be improved.
  • FIG. 9 is a flowchart of the quantization parameter determination process (step S4) according to the second embodiment of the present invention.
  • the second embodiment is different from the first embodiment in that the quantization parameter 24 correction process (step S410) is executed even after the quantization parameter 24 of the current picture is determined in step S403. It is.
  • FIG. 10 is a flowchart of the quantization parameter correction process (step S410).
  • FIG. 2 is a diagram illustrating an array of GOPs that form H.264 data 29.
  • step S410 will be described in detail with reference to FIG. 10 and FIG. 11, taking as an example the case where the first picture (I picture 61) of GOP 60 is the current picture.
  • the quantization parameter determination unit 13 determines the quantization parameter 24 of the I picture 61 when a scene change occurs (Yes in step S451), the quantization parameter determination unit 13 sets the correction direction using the Hadamard value 23 of the I picture 61 ( Step S452).
  • the correction direction is a parameter indicating whether the quantization parameter 24 of the I picture 61 determined in step S403 or S409 is increased or decreased with reference to the quantization parameter 24 of the encoded I picture 51.
  • FIG. 12 is a diagram illustrating the correction direction of the quantization parameter 24 of the I picture 61. In FIG. 12, the horizontal axis is the number of each picture, and the sign of the picture is used as the value on the horizontal axis for convenience.
  • the quantization parameter determination unit 13 specifies the encoded I picture 51 closest to the I picture 61. Specifically, the quantization parameter determination unit 13 specifies the GOP 50 encoded immediately before the GOP 60 to which the I picture 61 belongs, and specifies the I picture 51 as the first picture of the GOP 50.
  • the quantization parameter determination unit 13 determines that the complexity increases from the I picture 51 to the I picture 61, and the correction direction is upward. (Direction of arrow 65).
  • the quantization parameter 24 of the I picture 61 is corrected so as to be equal to or greater than the quantization parameter 24 of the I picture 51. It should be noted that the quantization parameter 24 of the I picture 61 is not corrected at the time of step S452, but is corrected in step S456 described later.
  • the quantization parameter determination unit 13 determines that the complexity has decreased, and sets the correction direction downward (in the direction of the arrow 66). decide.
  • the quantization parameter 24 of the I picture 61 is corrected so as to be equal to or less than the quantization parameter 24 of the I picture 51.
  • step S453 determines the quantization parameter 24 of the I picture 61 when the code amount difference value is larger than the selection reference value (No in step S451), the correction direction is determined using the GOP generation code amount. Is determined (step S453). That is, step S453 is executed when the quantization parameter of the current picture is determined by the processing of steps S404 to SS09 shown in FIG. 6 or FIG.
  • the quantization parameter determination unit 13 specifies the encoded GOP (GOP50) closest to the I picture 61.
  • the quantization parameter determination unit 13 determines the correction direction to be upward (the direction of the arrow 65) in order to increase the code amount.
  • the quantization parameter determination unit 13 determines the correction direction downward (in the direction of the arrow 66) in order to suppress the code amount.
  • FIG. 13 is a diagram illustrating changes in the quantization parameter 24.
  • the horizontal axis indicates the picture number, and the code of the I picture is used for convenience.
  • the quantization parameters 24 of the I pictures 31, 41 and 51 are “25”, “24” and “26”, respectively, and the quantization parameter 24 of the I picture 61 (current picture) is determined to be “23”. Steps S454 and S455 will be described by taking the case as an example.
  • the quantization parameter determination unit 13 calculates the amount of change in the quantization parameter 24 of the I picture 61 (step S454). That is, the absolute difference between the quantization parameter 24 of the I picture 61 and the quantization parameter 24 of the first picture (I picture 51) of the encoded GOP 50 closest to the I picture 61 is calculated.
  • the quantization parameter determination unit 13 calculates the absolute value of the change amount of the quantization parameter 24 of the encoded I picture (step S455). Specifically, the quantization parameter determination unit 13 specifies the two leading pictures 51 and 41 of the encoded GOP with reference to the I picture 61. The absolute difference between the quantization parameter 24 of the I picture 51 and the quantization parameter 24 of the I picture 41 is calculated. An absolute difference value between the quantization parameter 24 of the I picture 41 and the quantization parameter 24 of the I picture 31 is calculated.
  • the quantization parameter determination unit 13 sets the correction range so that the total value of the difference absolute value calculated in step S454 and all the difference absolute values calculated in step S455 is equal to or less than a predetermined upper limit value (Ste S456).
  • the total value is expressed by the following (formula 4).
  • “S” indicates a total value.
  • “QP” indicates the quantization parameter 24 of the I picture 61 (current picture).
  • PrevQP1”, “PrevQP2”, and “PrevQP3” indicate the quantization parameters 24 of the I pictures 51, 41, and 31, respectively.
  • the correction direction is downward, and the quantization parameter (PrevQP1) of the I picture 51 is “26”. Therefore, the quantization parameter determination unit 13 sets the correction range of the quantization parameter 24 of the I picture 61 to “25” to “26” as shown in FIG. 13 (step S456).
  • the quantization parameter determination unit 13 corrects the quantization parameter 24 of the I picture 61 determined in step S403 or S409 (see FIG. 9) so as to fall within the set correction range (step S457). As illustrated in FIG. 13, when the quantization parameter 24 of the I picture 61 is “23”, the quantization parameter determination unit 13 corrects the quantization parameter 24 of the I picture 61 to “25”. When the quantization parameter 24 of the I picture 61 is determined to be larger than “26”, the quantization parameter determination unit 13 corrects the quantization parameter 24 of the I picture 61 to “26”.
  • the quantization parameter determination unit 13 corrects the quantization parameter of the current picture so that the sum of the absolute differences calculated in steps S454 and S455 is equal to or less than the predetermined upper limit value. As a result, the amplitude of the oscillation of the quantization parameter (repetition of the increase and decrease of the quantization parameter) can be reduced. Since it is possible to prevent repeated improvements in image quality and image quality degradation, It is possible to prevent the overall image quality of the H.264 data 29 from being lowered.
  • the quantization parameter determination unit 13 may omit step S455.
  • the quantization parameter determination unit 13 sets the correction range so that
  • the change upper limit value may be different from the change upper limit value used when step S455 is executed.
  • the Hadamard transform unit 11 may calculate the Hadamard value by performing the Hadamard transform in the vertical direction in addition to the Hadamard transform in the horizontal direction. Thereby, since a Hadamard value including frequency components in the horizontal direction and the vertical direction can be obtained, it is possible to improve scene change detection accuracy and code amount control accuracy.
  • the Hadamard transform unit 11 may perform Hadamard transform only in the vertical direction.
  • the code amount calculation unit 131 uses the GOP ideal code amount, the overall error, and the period error for calculating the GOP target code amount.
  • the code amount calculation unit 131 may calculate the GOP target code amount using only the GOP ideal code amount and the overall error.
  • the code amount calculation unit 131 may calculate the GOP target code amount using only the GOP ideal code amount and the period error. Thereby, the calculation amount at the time of encoding of the uncompressed image data 21 can be further suppressed.
  • the code amount is controlled in GOP units by determining the quantization parameter of the current picture based on the Hadamard value 23 and the picture target code amount.
  • the image coding apparatus 1 may control the code amount in units of groups of a plurality of pictures different from the GOP, instead of controlling the code amount in GOP units.
  • the image coding apparatus 1 may use two or more consecutive GOPs as a code amount control unit, or may use a group of pictures smaller than the GOP as a code amount control unit.
  • the scene change determination unit 12 determines the first picture of the group closest to the current picture as a comparison target picture.
  • step S402 the code amount calculation unit 131 may calculate the picture target code amount by multiplying the ideal code amount of the group by the head picture ratio.
  • the leading picture ratio can be obtained by calculating the ratio of the generated code amount of the leading picture to the generated code amount of the immediately preceding encoded group.
  • step S404 the quantization parameter determination unit 13 may determine whether or not the current picture is the first picture of the code amount control unit.
  • the quantization parameter determination unit 13 calculates the absolute difference value using the current picture (I picture 61) and the first picture of the group instead of the I pictures 51, 41, and 61. do it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

 画像符号化装置(1)において、アダマール変換部(11)は、非圧縮画像データ(21)のピクチャに対して水平方向のアダマール変換を行う。アダマール変換により得られた交流成分値の絶対値の総和が、ピクチャのアダマール値(23)として算出される。シーンチェンジ判定部(12)は、アダマール値(23)に基づいて、ピクチャでシーンチェンジが発生したか否かを判定する。量子化パラメータ決定部(13)は、ピクチャでシーンチェンジが発生した場合、あるいは、符号化済みGOPの発生符号量とGOPの理想符号量との差分絶対値が所定の基準値よりも大きい場合、アダマール値(23)とピクチャの目標符号量とに基づいて、ピクチャの量子化パラメータ(24)を決定する。符号化部(14)は、決定された量子化パラメータ(24)を用いて、ピクチャを符号化する。

Description

画像符号化装置
 本発明は、画像符号化装置に関し、さらに詳しくは、入力される画像データの複雑度を示す特性値を用いて画像データを符号化する画像符号化装置に関する。
 画像符号化装置は、MPEG2やH.264などの画像符号化技術を用いて、デジタル放送などで放送される画像データをDVDなどの記録媒体に記録する。画像符号化装置は、記録媒体の容量及び記録時間などの記録条件に基づいて、符号量制御処理を実行する。
 非特許文献1には、符号量制御方式の一つであるTM5(Test Model 5)が記載されている。TM5は、MPEG2符号化方式の標準化の過程において提案された技術である。
 TM5は、アクティビティと呼ばれる画像データの特性値を用いて、符号量制御処理を実行する。アクティビティは、画像の複雑度を示す特性値である。たとえば、マクロブロックのアクティビティは、下記の手順で算出される。マクロブロック内のある画素の画素値と、マクロブロック内の画素の画素平均値との差分絶対値が算出される。マクロブロック内の各画素の差分絶対値の総和が、マクロブロックのアクティビティとして算出される。
 特許文献1には、画像データのアクティビティに基づいてシーンチェンジを検出する技術が記載されている。
特開2009-232148号公報 "Test Model 5",ISO/IEC-JTC1/SC29/WG11,1993年4月
 アクティビティは、符号量制御及びシーンチェンジの検出など、画像データの符号化条件を決定するために用いられるパラメータである。しかし、画像データの複雑度としてアクティビティを用いることにより、適切な符号化条件が選択されないことがあった。適切な符号化条件が選択されない場合、符号化された画像データのビットレートが、予め設定された目標ビットレートから大きくずれたり、符号化された画像データの画質が劣化したりするおそれがある。
 本発明の画像符号化装置は、非圧縮画像データをピクチャ単位で符号化する画像符号化装置であって、第1ピクチャをアダマール変換して周波数成分データを生成し、周波数成分データに含まれる交流成分値の絶対値を合計することにより、第1ピクチャの特性値を算出するアダマール変換部と、第1ピクチャの複雑さを示すパラメータとして特性値を用いて第1ピクチャを符号化する符号化部と、を備える。
 特性値がピクチャの周波数成分を含むため、第1ピクチャを符号化する際に特性値を用いることにより、画像データの適切な符号化条件を選択することができる。
 また、本発明の画像符号化装置は、さらに、第1ピクチャの符号化により発生する符号量の目標値であるピクチャ目標符号量を算出する符号量算出部と、特性値とピクチャ目標符号量とに基づいて、第1ピクチャの符号化に用いられる量子化パラメータを決定する第1量子化パラメータ決定部と、を備え、符号化部は、量子化パラメータを用いて第1ピクチャを符号化する。
 特性値が周波数成分を含むため、特性値に基づいて第1ピクチャの量子化パラメータを決定することにより、符号量制御の精度を向上させることができる。
 また、本発明の画像符号化装置は、さらに、第1ピクチャの特性値と、複数のピクチャにより構成される画像グループの先頭ピクチャのうち第1ピクチャに最も近い符号化済みの先頭ピクチャの特性値との差分絶対値が第1しきい値よりも大きい場合、第1ピクチャでシーンチェンジが発生したと判定するシーンチェンジ判定部、を備える。
 特性値がピクチャの周波数成分を含むため、ピクチャ間の周波数成分の変動を考慮して、シーンチェンジの有無を判定することができる。
 また、本発明の画像符号化装置は、さらに、複数のピクチャにより構成される画像グループの先頭ピクチャのうち第1ピクチャに最も近い符号化済み先頭ピクチャを第1先頭ピクチャとした場合、第1ピクチャの量子化パラメータと、第1先頭ピクチャの量子化パラメータとの第1差分絶対値を計算する第1差分計算部と、第1ピクチャから起算して所定数の符号化済み先頭ピクチャを第2先頭ピクチャとした場合、各第2先頭ピクチャの量子化パラメータと、各第2先頭ピクチャの直前に位置する符号化済み先頭ピクチャの量子化パラメータとの第2差分絶対値を計算する第2差分計算部と、第1差分絶対値と全ての第2差分絶対値との合計値が所定値以下となるように、第1ピクチャの量子化パラメータを補正する補正部と、を備える。
 量子化パラメータの上昇及び下降が繰り返されることが防止されるため、符号化された画像データの画質を向上させることができる。
 それゆえにこの発明の目的は、画像データの符号化条件を適切に選択することができる技術を提供することである。
 この発明の目的、特徴、局面、及び利点は、以下の詳細な発明と添付図面によって明白となる。
本発明の第1の実施の形態による画像符号化装置の構成を示す機能ブロック図である。 図1に示す画像符号化装置が実行する符号化処理のフローチャートである。 図1に示すアダマール変換部が算出するアダマール値の算出手順を示す図である。 図1に示すH.264データのピクチャの配列を示す図である。 図2に示すシーンチェンジ判定処理のフローチャートである。 図2に示す量子化パラメータ決定処理のフローチャートである。 図1に示す量子化パラメータ決定部が量子化パラメータを決定したときにおける、イントラピクチャの符号量とアダマール値との相関を示す図である。 ピクチャのアクティビティに基づいて量子化パラメータを決定したときにおける、イントラピクチャの符号量とアクティビティとの相関を示す図である。 本発明の第2の実施の形態による量子化パラメータ決定処理のフローチャートである。 図6及び図9に示す量子化パラメータの補正処理のフローチャートである。 図1に示すH.264データの構成を示す図である。 図10に示す補正処理によって設定される補正方向を示す図である。 図1に示すH.264データの量子化パラメータの変化を示す図である。
 以下、図面を参照しつつ、本発明の実施の形態について説明する。
 [第1の実施の形態]
 {1.全体構成}
 図1は、本発明の第1の実施の形態に係る画像符号化装置1の機能的構成を示すブロック図である。画像符号化装置1は、非圧縮画像データ21をH.264方式で符号化して、H.264データ29を出力する。画像符号化装置1は、アダマール変換部11と、シーンチェンジ判定部12と、量子化パラメータ決定部13と、符号化部14と、QP対応テーブル15とを備える。
 アダマール変換部11は、動画像データである非圧縮画像データ21をアダマール変換して、周波数成分データ22(図3参照)を生成する。アダマール変換部11は、周波数成分データ22に含まれる交流成分値を加算することにより、アダマール値23を生成する。アダマール値23は、非圧縮画像データ21のピクチャごとに算出されるため、H.264データ29の各ピクチャに対応する。
 シーンチェンジ判定部12は、各ピクチャのアダマール値23及びGOP(Group Of Picture)の発生符号量を利用して、カレントピクチャでシーンチェンジが発生したか否かを判定する。カレントピクチャは、符号化対象のピクチャである。
 量子化パラメータ決定部13は、カレントピクチャのアダマール値23と、ピクチャ目標符号量と、QP対応テーブル15とに基づいて、カレントピクチャの量子化パラメータ24を決定する。ピクチャ目標符号量は、カレントピクチャが符号化されたときに発生する符号量の目標値である。QP対応テーブル15は、アダマール値23及びピクチャ目標符号量の両者に対応する量子化パラメータ24を設定したテーブルである。
 量子化パラメータ決定部13は、符号量算出部131と、誤差算出部132と、決定方法選択部133とを備える。
 符号量算出部131は、GOP理想符号量と、GOP目標符号量と、ピクチャ目標符号量とを算出する。GOP理想符号量は、GOP単位でのH.264データ29の符号量の理想値であり、符号化前に設定される目標ビットレートに基づいて算出される。GOP目標符号量は、GOP発生符号量に基づいてGOP理想符号量を調整した値である。GOP発生符号量は、GOP単位でのH.264データ29の符号量である。
 誤差算出部132は、GOP理想符号量とGOP発生符号量とに基づいて、全体誤差と期間誤差とを算出する。全体誤差及び期間誤差は、ピクチャ目標符号量の算出に用いられる。全体誤差及び期間誤差の詳細は、後述する。
 決定方法選択部133は、カレントピクチャの量子化パラメータ24を決定する方法を、下記の二つの方法のいずれかから選択する。第1の方法は、カレントピクチャのアダマール値23を用いて量子化パラメータを決定する方法である。第2の方法は、直前の符号化済みI(Intra)ピクチャの量子化パラメータ24を、カレントピクチャの量子化パラメータ24として決定する方法である。
 符号化部14は、非圧縮画像データ21を入力する。符号化部14は、カレントピクチャの量子化パラメータ24を用いて、カレントピクチャを符号化して、H.264データ29を生成する。
 {2.動作概要}
 画像符号化装置1は、カレントピクチャをアダマール変換して周波数成分データ22を生成する。周波数成分データ22の交流成分値の総和が、アダマール値23として算出される。画像符号化装置1は、カレントピクチャの符号化条件を決定する際に、ピクチャにおける画像の複雑度を示す特性値としてアダマール値23を利用する。複雑度は、ピクチャが有する各画素の画素値のばらつきの度合いを示す。アダマール値23は、ピクチャの周波数成分を含む。このため、画像の複雑度を示す特性値としてアダマール値23を利用した場合、ピクチャの周波数成分のばらつきを考慮した上で、ピクチャを符号化することができる。したがって、ピクチャの符号化条件を精度よく決定することができる。
 画像符号化装置1は、アダマール値23を利用して、カレントピクチャでシーンチェンジが発生したか否かを判定する。画像符号化装置1は、ピクチャ間の周波数成分の変動を考慮して、シーンチェンジの有無を判定することができる。したがって、シーンチェンジの検出精度を向上させることができる。
 画像符号化装置1は、カレントピクチャのアダマール値23に基づいて量子化パラメータ24を決定する。アクティビティに比べて、アダマール値23とピクチャの発生符号量との相関関係が高いため、符号量制御の精度を向上させることができる。
 {3.符号化処理の流れ}
 以下、画像符号化装置1の動作について詳しく説明する。図2は、画像符号化装置1が実行する符号化処理のフローチャートである。
 最初に、符号量算出部131が、GOP理想符号量を算出する。GOP理想符号量は、H.264データ29のフレームレートと、H.264データ29の目標ビットレートと、1GOPあたりのピクチャ数に基づいて算出される。
 画像符号化装置1において、アダマール変換部11が、非圧縮画像データ21の各ピクチャのアダマール値23の算出を開始する(ステップS1)。アダマール変換部11は、後述するステップS2~S6の処理と並行して、各ピクチャのアダマール値23を算出する。
 画像符号化装置1は、符号化対象のピクチャ(カレントピクチャ)を決定する(ステップS2)。シーンチェンジ判定部12は、カレントピクチャのアダマール値23に基づいて、カレントピクチャでシーンチェンジが発生したか否かを判定する(ステップS3)。
 量子化パラメータ決定部13は、シーンチェンジの判定結果に基づいて、カレントピクチャの量子化パラメータ24を決定する(ステップS4)。シーンチェンジがカレントピクチャで発生した場合、量子化パラメータ決定部13は、カレントピクチャのアダマール値23に基づいて、カレントピクチャの量子化パラメータ24を決定する。
 符号化部14は、量子化パラメータ決定部13により決定された量子化パラメータを用いて、カレントピクチャを符号化する(ステップS5)。カレントピクチャの符号化後、画像符号化装置1は、非圧縮画像データ21の符号化処理を終了するか否かを判定する(ステップS6)。符号化処理を終了する場合(ステップS6においてYes)、画像符号化装置1は、図2に示す処理を終了する。符号化処理を終了しない場合(ステップS6においてNo)、画像符号化装置1は、ステップS2~S5の処理を繰り返し実行する。
{3.1.アダマール値の算出}
 アダマール値の算出について詳しく説明する。アダマール変換部11は、量子化パラメータの決定(ステップS4)及びピクチャの符号化(ステップS5)と並行して、各ピクチャのアダマール値23を算出する。
 図3は、アダマール値23を算出する流れを示す概略図である。ピクチャ21Pは、非圧縮画像データ21のピクチャであり、予測処理等の前処理が行われていないオリジナルの画像データである。図3において、画素21a~21hのサイズを誇張して表示している。アダマール変換部11は、水平方向に配列された8つの画素21a~21hの画素値をアダマール変換して、直流成分H0と交流成分H1~H7とを含む周波数成分データ22を生成する。このように、アダマール変換部11は、水平方向の8画素単位でピクチャ21Pの各画素をアダマール変換する。なお、符号化部14は、カレントピクチャを符号化する際に、周波数成分データ22を使用しない。符号化部14は、カレントピクチャを符号化する際、アダマール変換部11とは別にアダマール変換を実行する。
 水平方向のアダマール変換により得られた全ての交流成分の絶対値和が、アダマール値23として算出される。つまり、アダマール値23は、ピクチャの全ての画素を8画素単位でアダマール変換することにより得られた全ての交流成分の絶対値の合計値であり、ピクチャ単位で算出される。アダマール変換部11は、シーンチェンジ判定部12及び量子化パラメータ決定部13に、アダマール値23を出力する。垂直方向のアダマール変換を行わなくてもアダマール値23を算出することができるため、アダマール値23を算出するときの演算量を削減することができる。
{3.2.シーンチェンジ判定処理(ステップS3)}
 以下、シーンチェンジ判定処理(ステップS3、図2参照)について詳しく説明する。
 図4は、H.264データ29のピクチャの配列を示す図である。図4において、「I」は、Iピクチャを示す。「B」は、B(Bi-Directional Predictive)ピクチャを示す。「P」は、P(Predictive)ピクチャを示す。以下、Iピクチャ、Pピクチャ及びBピクチャを総称するときには、単に「ピクチャ」と記載する。図4において、GOP30,40,50は、一つのIピクチャを有する。Iピクチャは、各GOPの先頭に配置される。
 図5は、シーンチェンジ判定処理(ステップS3)のフローチャートである。シーンチェンジ判定部12は、アダマール値23の変化と、GOPの発生符号量との二つの基準により、シーンチェンジが発生したか否かを判定する。
 ピクチャ41~49を含むGOP40が、符号化対象のGOP(カレントGOP)である場合を例にして、シーンチェンジ判定処理の流れを説明する。
 シーンチェンジ判定部12は、カレントピクチャの比較対象となるピクチャ(比較対象ピクチャ)を決定する(ステップS31)。Pピクチャ44,47またはBピクチャ42,43,45,46,48,49がカレントピクチャである場合、比較対象ピクチャは、GOP40の先頭ピクチャ(Iピクチャ41)となる。Iピクチャ41がカレントピクチャである場合、比較対象ピクチャは、GOP40の直前に符号化されたGOP30の先頭ピクチャ(Iピクチャ31)となる。すなわち、シーンチェンジ判定部12は、カレントピクチャに最も近い符号化済みのIピクチャを比較対象ピクチャとして決定する。
 最初に、シーンチェンジ判定部12は、アダマール値23の変化に基づいて、シーンチェンジが発生したか否かを判定する。シーンチェンジ判定部12は、カレントピクチャのアダマール値23と、比較対象ピクチャのアダマール値23との差分絶対値であるアダマール差分値を算出する(ステップS32)。シーンチェンジ判定部12は、アダマール差分値と第1SC(Scene Change)閾値とを比較する(ステップS33)。第1SC閾値は、比較対象ピクチャのアダマール値23に所定の第1SC係数を乗じることによって算出される。比較対象ピクチャがGOPの先頭ピクチャ(Iピクチャ)であるため、第1SC閾値は、GOP単位で変化する。なお、第1SC閾値は、非圧縮画像データ21の符号化の開始前に設定される固定値でもよい。
 アダマール差分値が第1SC閾値よりも大きい場合(ステップS33においてYes)、シーンチェンジ判定部12は、カレントピクチャでシーンチェンジが発生したと判定する(ステップS37)。すなわち、カレントピクチャのアダマール値23が、比較対象ピクチャのアダマール値23から得られる閾値を超えて変化した場合、シーンチェンジ判定部12は、シーンチェンジが発生したと判定する。
 アダマール差分値が第1SC閾値以下である場合(ステップS33においてNo)、シーンチェンジ判定部12は、カレントピクチャがIピクチャ41であるか否かを確認する(ステップS34)。カレントピクチャがIピクチャ41でない場合(ステップS34においてNo)、シーンチェンジ判定部12は、図5の処理を終了する。
 一方、カレントピクチャがIピクチャ41である場合(ステップS34においてYes)、シーンチェンジ判定部12は、直前に符号化されたGOPの発生符号量を利用して、シーンチェンジが発生したか否かを判定する。具体的には、シーンチェンジ判定部12は、符号量差分値を算出する(ステップS35)。符号量差分値は、GOP理想符号量と、GOP40の直前に符号化されたGOP30の発生符号量との差分絶対値である。
 符号量差分値が第2SC閾値よりも大きい場合(ステップS36においてYes)、シーンチェンジ判定部12は、カレントピクチャ(Iピクチャ41)でシーンチェンジが発生したと判定する(ステップS37)。第2SC閾値は、GOP理想符号量に、シーンチェンジの判定基準を示す所定の第2SC係数を乗じることにより算出される。すなわち、GOP理想符号量に対する符号量差分値の割合が、GOP理想符号量から得られる閾値を超えた場合、カレントピクチャ(Iピクチャ41)でシーンチェンジが発生したと判定される。
 一方、符号量差分値が第2SC閾値以下である場合(ステップS36においてNo)、シーンチェンジ判定部12は、カレントピクチャでシーンチェンジが発生していないと判断し、図5の処理を終了する。
 このように、シーンチェンジ判定部12は、アダマール差分値を利用して、カレントピクチャでシーンチェンジが発生したか否かを判定する。アダマール値23は、ピクチャをアダマール変換することにより算出されるため、ピクチャの周波数成分が考慮されている。すなわち、カレントピクチャと比較対象ピクチャとの間の周波数成分の変化に基づいてシーンチェンジを検出することができるため、シーンチェンジの判定精度を向上することができる。
 シーンチェンジ判定部12は、カレントピクチャがIピクチャである場合、GOP理想符号量と、カレントGOP(GOP40)の直前に符号化されたGOP30の発生符号量とに基づいて、シーンチェンジの有無を判定する。このように、アダマール値23と、カレントピクチャの直前に符号化されたGOP30の発生符号量の二つのパラメータを用いてシーンチェンジの有無を判定することにより、シーンチェンジ判定精度を向上させることができる。
{量子化パラメータ決定処理(ステップS4)}
 以下、量子化パラメータ決定処理(ステップS4、図2参照)について説明する。基本的には、カレントピクチャに最も近い符号化済みIピクチャの量子化パラメータ24が、カレントピクチャの量子化パラメータ24として用いられる。しかし、シーンチェンジが発生した場合、あるいは、GOP理想符号量と符号化済みGOPの発生符号量との差分が後述する選択基準値よりも大きい場合、カレントピクチャの量子化パラメータ24は、カレントピクチャのアダマール値23に基づいて決定される。
 図6は、量子化パラメータ決定処理(ステップS4)のフローチャートである。量子化パラメータ決定部13は、カレントピクチャでシーンチェンジが発生しているか否かを確認する(ステップS401)。
 カレントピクチャでシーンチェンジが発生していた場合(ステップS401においてYes)、量子化パラメータ決定部13は、カレントピクチャのピクチャ種別に関係なく、カレントピクチャのアダマール値23を用いて量子化パラメータ24を決定する。
 符号量算出部131が、GOP理想符号量に基づいて、カレントピクチャのピクチャ目標符号量を算出する(ステップS402)。
 シーンチェンジが発生した場合、カレントピクチャの量子化パラメータ24として、カレントピクチャに最も近い符号化済みのIピクチャの量子化パラメータ24を利用することは、適切でない。カレントピクチャの量子化パラメータ24を再設定するために、符号量算出部131は、カレントピクチャをIピクチャと見なして、ピクチャ目標符号量を算出する。ピクチャ種別に応じた量子化パラメータ24の調整は、後述するステップS411で行われる。ピクチャ目標符号量は、具体的には、カレントピクチャのピクチャ種別に関係なく、GOP理想符号量にIピクチャ比率を乗算することによって算出される。GOP40がカレントGOPである場合、Iピクチャ比率は、GOP40の一つ前に位置するGOP30の発生符号量に対する、Iピクチャ31の発生符号量の割合として算出される。
 量子化パラメータ決定部13は、カレントピクチャのアダマール値23と、ピクチャ目標符号量と、QP対応テーブル15とを用いて、量子化パラメータ24を決定する(ステップS403)。QP対応テーブル15は、アダマール値23及びピクチャ目標符号量の両者に対応する量子化パラメータが設定された2次元のテーブルである。量子化パラメータ決定部13は、カレントピクチャのアダマール値23及びピクチャ目標符号量を入力パラメータとしてQP対応テーブル15を参照して、量子化パラメータ24を決定する。
 ステップS403において、カレントピクチャのアダマール値23及びピクチャ目標符号量を、1マクロブロックあたりの平均値に換算して、量子化パラメータ24を決定することが望ましい。この場合、QP対応テーブル15において、1マクロブロックあたりのアダマール値23及びピクチャ目標符号量が入力パラメータに設定される。これにより、ピクチャのサイズごとのQP対応テーブル15を準備しなくてもよい。
 このように、シーンチェンジが発生していた場合(ステップS401においてYes)、量子化パラメータ決定部13は、ピクチャの種別に関係なく、アダマール値23及びピクチャ目標符号量に基づいて量子化パラメータを決定する。シーンチェンジが発生した場合、符号化済みのIピクチャの量子化パラメータ24をカレントピクチャの量子化パラメータ24に設定することにより、画質が劣化するおそれがあるためである。
 ステップS401の説明に戻る。シーンチェンジがカレントピクチャで発生していない場合(ステップS401においてNo)、量子化パラメータ決定部13は、カレントピクチャがIピクチャであるか否かを確認する(ステップS404)。カレントピクチャがPピクチャまたはBピクチャである場合(ステップS404においてNo)、カレントピクチャの量子化パラメータ24は、カレントピクチャに最も近い符号化済みのIピクチャの量子化パラメータ24に決定される(ステップS405)。カレントピクチャがピクチャ42~49のいずれかである場合、Iピクチャ41の量子化パラメータ24が、カレントピクチャの量子化パラメータ24に決定される。
 カレントピクチャがIピクチャである場合(ステップS404においてYes)、量子化パラメータ決定部13は、ステップS406の処理を実行する。決定方法選択部133は、符号量差分値が選択基準値を超えているか否かに基づいて、量子化パラメータ24の決定方法を第1の方法及び第2の方法のいずれかから選択する(ステップ406)。第1の方法は、カレントピクチャのアダマール値23に基づいて決定する方法である。第2の方法は、直前の符号化済みIピクチャの量子化パラメータ24を用いる方法である。符号量差分値は、ステップS35(図5参照)で説明したように、GOP理想符号量と、カレントGOPの直前に符号化されたGOPの発生符号量との差分絶対値として算出される。選択基準値については後述する。
 以下、ステップS406~S410の説明では、特に断りのない限り、Iピクチャ41がカレントピクチャであり、GOP40がカレントGOPである場合を例に説明する。
 ステップS406の処理を実行する理由について説明する。Iピクチャ41でシーンチェンジが発生していない場合、原則として、直前に符号化されたGOP30の先頭ピクチャ(Iピクチャ31)の量子化パラメータ24が、Iピクチャ41の量子化パラメータ24として設定される。ここで、GOP30の発生符号量とGOP理想符号量とのずれが、Iピクチャ41でシーンチェンジが発生したと判定されるほどの大きさではないが、比較的大きい場合を考える。この場合、GOP30の先頭ピクチャの量子化パラメータ24がピクチャ41の量子化パラメータ24に設定されることにより、GOP30と同様に、GOP40の発生符号量とGOP理想符号量とのずれも、比較的大きくなる可能性が高い。このようなケースを防ぐために、量子化パラメータ決定部16は、ステップS406において、符号量差分値に基づいて、Iピクチャ41の量子化パラメータ24の決定方法を選択する。
 具体的には、ステップS406において、量子化パラメータ決定部13は、ステップS35(図5参照)と同様に、GOP理想符号量とGOP30の発生符号量との差分絶対値である符号量差分値を算出する。量子化パラメータ決定部13は、符号量差分値が選択基準値を超えているか否かを確認する。選択基準値は、量子化パラメータ24の決定にアダマール値23を用いるか否かを判定するための基準となる値であり、第2SC閾値よりも小さい。選択基準値は、GOP理想符号量に所定の選択係数を乗じることにより算出される。
 選択係数は、シーンチェンジの判定に用いられる第2SC係数よりも小さい。これは、上述のように、シーンチェンジが発生していれば(ステップS401においてYes)、Iピクチャ41の量子化パラメータ24は、アダマール値23に基づいて算出されるためである。(ステップS403)。
 符号量差分値が選択基準値以下である場合(ステップS406においてNo)、決定方法選択部133は、符号化済みIピクチャの量子化パラメータ24を用いる方法を選択する。Iピクチャ41の量子化パラメータ24は、Iピクチャ41に最も近い符号化済みのIピクチャ31の量子化パラメータ24に決定される(ステップS405)。これは、Iピクチャ31の量子化パラメータ24をGOP40の符号化に使用しても、GOP40の発生符号量とGOP理想符号量との差が拡大することはないと考えられるためである。
 一方、符号量差分値が選択基準値よりも大きい場合(ステップS406においてYes)、決定方法選択部133は、GOP30の発生符号量とGOP理想符号量とのずれが比較的大きいと判断する。このため、アダマール値23に基づいて量子化パラメータ24を決定する方法が選択される。符号量算出部131は、GOP40の目標符号量(GOP目標符号量)を算出する(ステップS407)。GOP単位の発生符号量をGOP理想符号量に収束させるために、GOP目標符号量は、GOP理想符号量と、符号化済みGOPの発生符号量とに基づいて算出される。
 GOP目標符号量の算出手順について説明する。まず、誤差算出部132が、(式1)を用いて、非圧縮画像データ21の符号化に伴って生じる全体誤差を算出する。
Figure JPOXMLDOC01-appb-M000001
 (式1)において、ETは、全体誤差を示す。Qdは、GOP理想符号量を示す。Qgは、符号化済みGOPの発生符号量を示す。すなわち、誤差算出部132は、符号化済みGOPの発生符号量からGOP理想符号量を差し引いた値(個別誤差)を算出し、各符号化済みGOPの個別誤差を合計することにより、全体誤差を算出する。
 誤差算出部132は、(式2)を用いて、期間誤差を算出する。
Figure JPOXMLDOC01-appb-M000002
 (式2)において、Epは、期間誤差を示す。rangeは、期間誤差の計算対象となる符号化済みGOPの数を示す。すなわち、誤差算出部132は、符号化済みGOPのうち、カレントGOPを基準とした所定数の符号化済みGOPを指定し、指定された符号化済みGOPの個別誤差を合計することにより期間誤差を算出する。
 誤差判定部132は、(式3)を用いて、GOP目標符号量を算出する。
Figure JPOXMLDOC01-appb-M000003
 (式3)において、Qaは、GOP目標符号量を示す。Ceは、全体誤差及び期間誤差に乗じる1以下の係数であり、非圧縮画像データ21の符号化前に設定される。このように、GOP目標符号量は、GOP理想符号量、全体誤差及び期間誤差に基づいて算出される。
 なお、GOP目標符号量に下限値を設定してもよい。詳細は後述するが、Iピクチャ41の量子化パラメータ24は、アダマール値23と、GOP目標符号量から算出されるピクチャ目標符号量に基づいて決定される。GOP目標符号量がGOP理想符号量を大幅に下回る場合、量子化パラメータ24が極端に高い値に決定されることが想定される。この場合、Iピクチャ41が属するGOP40の画質が大幅に劣化する。しかし、GOP目標符号量に下限値を設定することにより、H.264データ29の画質を一定レベル以上に保つことができる。
 GOP目標符号量の算出(ステップS407)の後に、符号量算出部131は、ピクチャ目標符号量を算出する(ステップS408)。ピクチャ目標符号量は、ステップS402と同様に、GOP目標符号量にIピクチャ比率を乗算することにより算出される。量子化パラメータ決定部13は、ステップS403と同様に、Iピクチャ41のアダマール値23とピクチャ目標符号量とQP対応テーブル15とに基づいて、Iピクチャ41の量子化パラメータ24を決定する(ステップS409)。
 このように、Iピクチャ41でシーンチェンジが発生していなくても、直前に符号化されたGOP30の発生符号量が、GOP理想符号量から比較的大きくずれた場合、Iピクチャ41の量子化パラメータ24は、アダマール値23に基づいて決定される。これにより、GOP30の発生符号量がGOP理想符号量から比較的大きくずれた場合であっても、H.264データ29のビットレートを、目標ビットレートに収束させることができる。
 ステップS409の後に、量子化パラメータ決定部13は、符号化済みIピクチャの量子化パラメータ24に基づいて、Iピクチャ41の量子化パラメータ24を補正する(ステップS410)。これにより、H.264データ29の画質が急激に変化することを防止する。
 具体的には、量子化パラメータ決定部13は、GOP40を基準にして、所定数(たとえば、3つ)の符号化済みIピクチャの量子化パラメータ24を特定する。量子化パラメータ決定部13は、Iピクチャ41の量子化パラメータ24と、特定された符号化済みIピクチャの量子化パラメータ24との差分絶対値和を算出する。算出した差分絶対値和が、予め設定された変化上限値よりも大きい場合、Iピクチャ41の量子化パラメータ24は、差分絶対値和が変化上限値以下となるように補正される。ステップS410の詳細については、第2の実施の形態で説明する。
 次に、ステップS411について説明する。ステップS411の処理は、ステップS403,S405でカレントピクチャの量子化パラメータ24が決定された後、及び、ステップS410でカレントピクチャの量子化パラメータ24が補正された後に実行される。ステップS411では、ステップS403,S405,S410のいずれかで決定されたカレントピクチャの量子化パラメータ24が、カレントピクチャのピクチャ種別に応じて調整される。量子化パラメータ決定部13は、カレントピクチャのピクチャ種別に応じたオフセット値を量子化パラメータ24に加算する(ステップS411)。カレントピクチャがP,Bピクチャの場合、オフセット値は、0よりも大きい値に設定される。カレントピクチャがIピクチャの場合、オフセット値は、0に設定される。ただし、Iピクチャのオフセット値は、0よりも大きい値でもよい。
 量子化パラメータ決定部13は、カレントピクチャの量子化パラメータ24が、予め設定された上限値を超えているか、及び下限値を下回っていないかを確認する(ステップS412)。量子化パラメータ24が上限値を超えていれば、量子化パラメータ24は、上限値に設定される。量子化パラメータ24が下限値を下回っていれば、量子化パラメータ24は、下限値に設定される。このようにして、カレントピクチャの量子化パラメータ24が決定される。符号化部14は、量子化パラメータ決定部13により決定された量子化パラメータ24を用いて、カレントピクチャを符号化する(ステップS5、図2参照)。
 このように、画像符号化装置1は、カレントピクチャのアダマール値23に基づいて、カレントピクチャの量子化パラメータ24を設定する。これにより、非圧縮画像データ21を符号化するときの符号量制御の精度を向上することができる。以下、この理由について説明する。
 図7は、上記の手順に基づいて各ピクチャの量子化パラメータを決定した場合における、符号化されたIピクチャの符号量と、符号化されたIピクチャのアダマール値との相関を示す図である。図8は、アクティビティに基づいてIピクチャの量子化パラメータを決定した場合における、符号化されたIピクチャの符号量と、符号化されたIピクチャのアクティビティとの相関を示す図である。図7及び図8において、縦軸は、1マクロブロックあたりの符号量を示す。
 図7及び図8に示すように、Iピクチャの発生符号量のばらつきは、アクティビティを用いて量子化パラメータを決定としたときよりも、アダマール値を用いて量子化パラメータを決定したときの方が小さい。したがって、アダマール値を用いてIピクチャの量子化パラメータを決定した場合、ピクチャの発生符号量のばらつきを抑制することができるため、符号量制御の精度を向上することができる。
 [第2の実施の形態]
 以下、図9を参照しながら、本発明の第2の実施の形態を説明する。図9は、本発明の第2の実施の形態に係る量子化パラメータ決定処理(ステップS4)のフローチャートである。第2の実施の形態が第1の実施の形態と異なる点は、ステップS403でカレントピクチャの量子化パラメータ24が決定された後にも量子化パラメータ24の補正処理(ステップS410)が実行される点である。
 図10は、量子化パラメータの補正処理(ステップS410)のフローチャートである。図11は、H.264データ29を構成するGOPの配列を示す図である。以下、図10及び図11を参照しながら、GOP60の先頭ピクチャ(Iピクチャ61)がカレントピクチャである場合を例にして、ステップS410を詳しく説明する。
 量子化パラメータ決定部13は、シーンチェンジが発生したときにIピクチャ61の量子化パラメータ24を決定した場合(ステップS451においてYes)、Iピクチャ61のアダマール値23を用いて補正方向を設定する(ステップS452)。補正方向は、ステップS403またはS409によって決定されたIピクチャ61の量子化パラメータ24を、符号化済みのIピクチャ51の量子化パラメータ24を基準として増加させるか減少させるかを示すパラメータである。図12は、Iピクチャ61の量子化パラメータ24の補正方向を示す図である。図12において、横軸は、各ピクチャの番号であり、ピクチャの符号を便宜的に横軸の値として用いている。
 ステップS452において、量子化パラメータ決定部13は、Iピクチャ61に最も近い符号化済みのIピクチャ51を特定する。具体的には、量子化パラメータ決定部13は、Iピクチャ61が属するGOP60の直前に符号化されたGOP50を特定し、GOP50の先頭ピクチャとしてIピクチャ51を特定する。
 Iピクチャ61のアダマール値23がIピクチャ51のアダアール値23よりも大きい場合、量子化パラメータ決定部13は、Iピクチャ51からIピクチャ61にかけて複雑度が増加したと判断し、補正方向を上方向(矢印65の方向)に決定する。Iピクチャ61の量子化パラメータ24は、Iピクチャ51の量子化パラメータ24以上となるように補正される。なお、Iピクチャ61の量子化パラメータ24は、ステップS452の時点では補正されず、後述するステップS456で補正される。
 一方、Iピクチャ61のアダマール値23がIピクチャ51のアダアール値23よりも小さい場合、量子化パラメータ決定部13は、複雑度が減少した判断し、補正方向を下方向(矢印66の方向)に決定する。Iピクチャ61の量子化パラメータ24は、Iピクチャ51の量子化パラメータ24以下となるように補正される。
 ステップS451の説明に戻る。量子化パラメータ決定部13は、符号量差分値が選択基準値よりも大きいときに、Iピクチャ61の量子化パラメータ24を決定した場合(ステップS451においてNo)、GOP発生符号量を用いて補正方向を決定する(ステップS453)。つまり、ステップS453は、カレントピクチャの量子化パラメータが図6又は図9に示すステップS404~SS09の処理により決定されたときに実行される。
 ステップS453において、量子化パラメータ決定部13は、Iピクチャ61に最も近い符号化済みGOP(GOP50)を特定する。量子化パラメータ決定部13は、GOP50の発生符号量がGOP理想符号量以下である場合、符号量を増加させるために、補正方向を上方向(矢印65の方向)に決定する。一方、量子化パラメータ決定部13は、GOP50の発生符号量がGOP理想符号量よりも大きい場合、符号量を抑えるために、補正方向を下方向(矢印66の方向)に決定する。
 次に、量子化パラメータ決定部13は、ステップS454,455を実行する。図13は、量子化パラメータ24の変化を示す図である。図13において、横軸は、ピクチャの番号を示し、Iピクチャの符号を便宜的に用いている。以下、Iピクチャ31,41,51の量子化パラメータ24が、それぞれ「25」,「24」,「26」であり、Iピクチャ61(カレントピクチャ)の量子化パラメータ24が「23」に決定された場合を例にしてステップS454,S455を説明する。
 量子化パラメータ決定部13は、Iピクチャ61の量子化パラメータ24の変化量を計算する(ステップS454)。すなわち、Iピクチャ61の量子化パラメータ24と、Iピクチャ61に最も近い符号化済みGOP50の先頭ピクチャ(Iピクチャ51)の量子化パラメータ24との差分絶対値を計算する。
 量子化パラメータ決定部13は、符号化済みIピクチャの量子化パラメータ24の変化量の絶対値を計算する(ステップS455)。具体的には、量子化パラメータ決定部13は、Iピクチャ61を基準にして、符号化済みGOPの2つの先頭ピクチャ51,41を特定する。Iピクチャ51の量子化パラメータ24とIピクチャ41の量子化パラメータ24との差分絶対値が計算される。Iピクチャ41の量子化パラメータ24とIピクチャ31の量子化パラメータ24との差分絶対値が計算される。
 量子化パラメータ決定部13は、ステップS454で計算された差分絶対値と、ステップS455で計算された全ての差分絶対値との合計値が所定上限値以下となるように、補正範囲を設定する(ステップS456)。合計値は、下記(式4)により表わされる。
Figure JPOXMLDOC01-appb-M000004
 (式4)において、「S」は、合計値を示す。「QP」は、Iピクチャ61(カレントピクチャ)の量子化パラメータ24」を示す。「PrevQP1」、「PrevQP2」、「PrevQP3」は、それぞれIピクチャ51,41,31の量子化パラメータ24を示す。
 (式4)及び図13を参照しながら、補正範囲の設定について詳しく説明する。変化上限値が4に設定されており、補正方向がステップS451~S453により下方向に決定されたと仮定する。Iピクチャ51,41の量子化パラメータが「26」,「24」であるので、|PrevQP1-PrevQP2|は、「2」である。Iピクチャ41,31の量子化パラメータが「24」,「25」であるので、|PrevQP2-PrevQP3|は、「1」である。したがって、合計値Sを変化上限値「4」以下とするためには、量子化パラメータ決定部13は、|QP-PrevQP1|を「1」以下にしなければならない。
 補正方向が下方向であり、かつ、Iピクチャ51の量子化パラメータ(PrevQP1)が「26」である。このため、量子化パラメータ決定部13は、図13に示すように、Iピクチャ61の量子化パラメータ24の補正範囲を「25」~「26」に設定する(ステップS456)。
 次に、量子化パラメータ決定部13は、ステップS403又はS409(図9参照)で決定されたIピクチャ61の量子化パラメータ24を、設定した補正範囲内に入るように補正する(ステップS457)。図13に示すように、Iピクチャ61の量子化パラメータ24が「23」である場合、量子化パラメータ決定部13は、Iピクチャ61の量子化パラメータ24を「25」に補正する。Iピクチャ61の量子化パラメータ24が「26」よりも大きい値に決定されていた場合、量子化パラメータ決定部13は、Iピクチャ61の量子化パラメータ24を「26」に補正する。
 このように、量子化パラメータ決定部13は、ステップS454,S455で計算された差分絶対値の合計値が所定上限値以下となるように、カレントピクチャの量子化パラメータを補正する。この結果、量子化パラメータの振動(量子化パラメータの上昇及び低下が繰り返されること)の振幅を小さくすることができる。画質の向上と画質の劣化とが繰り返し発生することを防止できるため、H.264データ29の画質が全体的に低下することを防止できる。
 なお、シーンチェンジが発生した場合(ステップS451においてYes)、量子化パラメータ決定部13は、ステップS455を省略してもよい。この場合、量子化パラメータ決定部13は、|QP-PrevQP1|が変化上限値以下となるように、補正範囲を設定する。ステップS455の累積値を用いて補正範囲を設定したときに比べて、補正範囲を広く設定することができるため、シーンチェンジ発生後のピクチャの量子化パラメータを、比較的に自由に決定することができる。この場合、変化上限値は、ステップS455を実行するときに用いられる変化上限値と異なっていてもよい。
 上記実施の形態において、アダマール変換部11は、水平方向のアダマール変換に加えて、垂直方向のアダマール変換を行ってアダマール値を算出してもよい。これにより、水平方向及び垂直方向の周波数成分を含むアダマール値を得ることができるため、シーンチェンジの検出精度及び符号量制御の精度を向上することができる。また、アダマール変換部11は、垂直方向のみのアダマール変換を行ってもよい。
 上記実施の形態において、符号量算出部131が、GOP目標符号量の算出に、GOP理想符号量、全体誤差及び期間誤差を用いる例を説明した。しかし、符号量算出部131は、GOP理想符号量及び全体誤差のみを用いてGOP目標符号量を算出してもよい。あるいは、符号量算出部131は、GOP理想符号量及び期間誤差のみを用いてGOP目標符号量を算出してもよい。これにより、非圧縮画像データ21の符号化時の計算量をさらに抑制することができる。
 また、上記実施の形態では、カレントピクチャがIピクチャであるときに、アダマール値23とピクチャ目標符号量とに基づいてカレントピクチャの量子化パラメータを決定することにより、GOP単位で符号量を制御する例を説明した。しかし、画像符号化装置1は、GOP単位で符号量を制御するのではなく、GOPと異なる複数のピクチャのグループ単位で符号量を制御してもよい。たとえば、画像符号化装置1は、連続する2つ以上のGOPを符号量の制御単位としてもよいし、GOPよりも少ない数のピクチャのグループを符号量の制御単位としてもよい。
 この場合、符号量制御単位を構成するピクチャのグループにおいて、先頭ピクチャはIピクチャであることが望ましい。ステップS31(図5参照)において、シーンチェンジ判定部12は、カレントピクチャに最も近いグループの先頭ピクチャを比較対象ピクチャとして決定する。
 ステップS402(図6又は図9参照)において、符号量算出部131は、グループの理想符号量に先頭ピクチャ比率を乗ずることにより、ピクチャ目標符号量を算出すればよい。先頭ピクチャ比率は、直前の符号化済みグループの発生符号量に対する先頭ピクチャの発生符号量の割合を計算することにより得ることができる。ステップS404(図6又は図9参照)において、量子化パラメータ決定部13は、カレントピクチャが符号量制御単位の先頭ピクチャであるか否かを判断すればよい。
 ステップS454,S455(図10において)、量子化パラメータ決定部13は、Iピクチャ51,41,61ではなく、カレントピクチャ(Iピクチャ61)とグループの先頭ピクチャとを使用して差分絶対値を計算すればよい。
 この発明を添付図面に示す実施態様について説明したが、この発明は、その詳細な説明の記載をもって制約されるものではなく、請求の範囲に記載する範囲において広く構成される。
 

Claims (13)

  1.  非圧縮画像データをピクチャ単位で符号化する画像符号化装置であって、
     第1ピクチャをアダマール変換して周波数成分データを生成し、前記周波数成分データに含まれる交流成分値の絶対値を合計することにより、前記第1ピクチャの特性値を算出するアダマール変換部と、
     前記第1ピクチャの複雑さを示すパラメータとして前記特性値を用いて前記第1ピクチャを符号化する符号化部と、
    を備える。
  2.  請求項1に記載の画像符号化装置であって、
     前記アダマール変換部は、水平方向に配列された所定数の画素単位で前記第1ピクチャをアダマール変換する。
  3.  請求項1に記載の画像符号化装置であって、さらに、
     前記第1ピクチャの符号化により発生する符号量の目標値であるピクチャ目標符号量を算出する符号量算出部と、
     前記特性値と前記ピクチャ目標符号量とに基づいて、前記第1ピクチャの符号化に用いられる量子化パラメータを決定する第1量子化パラメータ決定部と、
    を備え、
     前記符号化部は、前記量子化パラメータを用いて前記第1ピクチャを符号化する。
  4.  請求項3に記載の画像符号化装置であって、
     前記符号量算出部は、予め設定された目標ビットレートに基づいて、複数のピクチャにより構成される画像グループの符号量の理想値であるグループ理想符号量を算出し、
     前記画像符号化装置は、さらに、
     前記第1ピクチャの量子化パラメータとして、画像グループの先頭に位置するとともに前記第1ピクチャに最も近い符号化済み先頭ピクチャの量子化パラメータの使用を決定する第2量子化パラメータ決定部と、
     前記グループ理想符号量と、前記第1ピクチャが属する画像グループの直前に符号化された画像グループの発生符号量とに基づいて、前記第1量子化パラメータ決定部及び前記第2量子化パラメータ決定部のいずれかを選択する決定方法選択部と、
    を備える。
  5.  請求項4に記載の画像符号化装置であって、さらに、
     前記特性値に基づいて、前記第1ピクチャでシーンチェンジが発生したか否かを判定するシーンチェンジ判定部、
    を備え、
     前記決定方法選択部は、前記第1ピクチャでシーンチェンジが発生したと判定された場合、前記第1量子化パラメータ決定部を選択する。
  6.  請求項4に記載の画像符号化装置であって、さらに、
     前記決定方法選択部は、前記第1ピクチャが画像グループの先頭ピクチャである場合、前記第1量子化パラメータ決定部及び前記第2量子化パラメータ決定部のいずれかを選択する。
  7.  請求項4に記載の画像符号化装置であって、さらに、
     符号化済み画像グループの発生符号量から前記グループ理想符号量を差し引いた値を個別誤差とした場合、全ての符号化済み画像グループの個別誤差の総和を全体誤差として算出する全体誤差算出部、
    を備え、
     前記符号量算出部は、前記グループ理想符号量と前記全体誤差とに基づいて、前記ピクチャ目標符号量を算出する。
  8.  請求項4に記載の画像符号化装置であって、さらに、
     符号化済み画像グループの発生符号量から前記グループ理想符号量を差し引いた値を個別誤差とした場合、前記ピクチャが属する画像グループから起算して所定数の符号化済み画像グループの個別誤差の総和を期間誤差として算出する期間誤差算出部、
    を備え、
     前記符号量算出部は、前記グループ理想符号量と前記期間誤差とに基づいて、前記ピクチャ目標符号量を算出する。
  9.  請求項1に記載の画像符号化装置であって、さらに、
     前記第1ピクチャの特性値と、複数のピクチャにより構成される画像グループの先頭ピクチャのうち前記第1ピクチャに最も近い符号化済みの先頭ピクチャの特性値との差分絶対値が第1しきい値よりも大きい場合、前記第1ピクチャでシーンチェンジが発生したと判定するシーンチェンジ判定部、
    を備える。
  10.  請求項9に記載の画像符号化装置であって、さらに、
     予め設定された目標ビットレートに基づいて、複数のピクチャにより構成される画像グループの符号量の理想値であるグループ理想符号量を設定する符号量算出部、
    を備え、
     前記シーンチェンジ判定部は、前記第1ピクチャが画像グループの先頭ピクチャであり、かつ、前記グループ理想符号量と、前記第1ピクチャが属する画像グループの直前に符号化された画像グループの発生符号量との差分絶対値が第2しきい値よりも大きい場合、前記第1ピクチャでシーンチェンジが発生したと判定する。
  11.  請求項3に記載の画像符号化装置であって、さらに、
     複数のピクチャにより構成される画像グループの先頭ピクチャのうち前記第1ピクチャに最も近い符号化済み先頭ピクチャを第1先頭ピクチャとした場合、前記第1ピクチャの量子化パラメータと、前記第1先頭ピクチャの量子化パラメータとの第1差分絶対値を計算する第1差分計算部と、
     前記第1ピクチャから起算して所定数の符号化済み先頭ピクチャを第2先頭ピクチャとした場合、各第2先頭ピクチャの量子化パラメータと、各第2先頭ピクチャの直前に位置する符号化済み先頭ピクチャの量子化パラメータとの第2差分絶対値を計算する第2差分計算部と、
     前記第1差分絶対値と全ての第2差分絶対値との合計値が所定値以下となるように、前記第1ピクチャの量子化パラメータを補正する補正部と、
    を備える。
  12.  請求項11に記載の画像符号化装置であって、
     前記補正部は、画像グループの符号量の理想値であるグループ理想符号量と前記第1ピクチャが属する画像グループの直前に符号化された画像グループの発生符号量とに基づいて、前記第1ピクチャの量子化パラメータを前記第1先頭ピクチャの量子化パラメータよりも小さい値に補正するか大きい値に補正するかを決定する。
  13.  請求項11に記載の画像符号化装置であって、さらに、
     前記特性値に基づいて、前記第1ピクチャでシーンチェンジが発生したか否かを判定するシーンチェンジ判定部、
    を備え、
     前記補正部は、シーンチェンジが前記第1ピクチャで発生したと判定された場合、前記第1ピクチャの特性量と前記第1先頭ピクチャの特性量とに基づいて、前記第1ピクチャの量子化パラメータを前記第1先頭ピクチャの量子化パラメータよりも小さい値に補正するか大きい値に補正するかを決定する。
     
     
PCT/JP2012/054526 2011-02-28 2012-02-24 画像符号化装置 WO2012117955A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013502282A JP6062356B2 (ja) 2011-02-28 2012-02-24 画像符号化装置
US14/001,980 US9031341B2 (en) 2011-02-28 2012-02-24 Image coding apparatus
US14/624,598 US9407919B2 (en) 2011-02-28 2015-02-18 Image coding apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011041798 2011-02-28
JP2011-041798 2011-02-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/001,980 A-371-Of-International US9031341B2 (en) 2011-02-28 2012-02-24 Image coding apparatus
US14/624,598 Continuation US9407919B2 (en) 2011-02-28 2015-02-18 Image coding apparatus

Publications (1)

Publication Number Publication Date
WO2012117955A1 true WO2012117955A1 (ja) 2012-09-07

Family

ID=46757892

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/054526 WO2012117955A1 (ja) 2011-02-28 2012-02-24 画像符号化装置

Country Status (3)

Country Link
US (2) US9031341B2 (ja)
JP (1) JP6062356B2 (ja)
WO (1) WO2012117955A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9350989B2 (en) 2012-12-11 2016-05-24 Megachips Corporation Moving image coding apparatus, code amount control method, and storage medium
JP2021177369A (ja) * 2019-06-12 2021-11-11 シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッドShanghai Cambricon Information Technology Co., Ltd. ニューラルネットワークにおける量子化パラメータの確定方法および関連製品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9661329B2 (en) * 2014-04-30 2017-05-23 Intel Corporation Constant quality video coding
US20180027256A1 (en) * 2015-01-19 2018-01-25 Nec Corporation Video encoding device, video encoding method, and video encoding program
US9872026B2 (en) * 2015-06-12 2018-01-16 Intel Corporation Sample adaptive offset coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04177991A (ja) * 1990-11-13 1992-06-25 Nec Home Electron Ltd 動画データの圧縮符号化方式
JPH08317387A (ja) * 1995-05-17 1996-11-29 Nippon Columbia Co Ltd 動画像圧縮符号化方式
JP2007318617A (ja) * 2006-05-29 2007-12-06 Renesas Technology Corp 画像符号化装置、及び画像符号化プログラム
JP2009044483A (ja) * 2007-08-09 2009-02-26 Panasonic Corp 画像符号化装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3560217B2 (ja) * 1998-04-30 2004-09-02 ソニー株式会社 データ符号化装置、データ符号化方法及びデータ伝送方法
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP2007318817A (ja) 2007-09-05 2007-12-06 Fujitsu Component Ltd アンテナ装置
JP5039976B2 (ja) 2008-03-24 2012-10-03 株式会社メガチップス トランスコーダ
US8363727B2 (en) * 2008-09-30 2013-01-29 Microsoft Corporation Techniques to perform fast motion estimation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04177991A (ja) * 1990-11-13 1992-06-25 Nec Home Electron Ltd 動画データの圧縮符号化方式
JPH08317387A (ja) * 1995-05-17 1996-11-29 Nippon Columbia Co Ltd 動画像圧縮符号化方式
JP2007318617A (ja) * 2006-05-29 2007-12-06 Renesas Technology Corp 画像符号化装置、及び画像符号化プログラム
JP2009044483A (ja) * 2007-08-09 2009-02-26 Panasonic Corp 画像符号化装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9350989B2 (en) 2012-12-11 2016-05-24 Megachips Corporation Moving image coding apparatus, code amount control method, and storage medium
US9538191B2 (en) 2012-12-11 2017-01-03 Megachips Corporation Moving image coding apparatus, code amount control method, and storage medium
JP2021177369A (ja) * 2019-06-12 2021-11-11 シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッドShanghai Cambricon Information Technology Co., Ltd. ニューラルネットワークにおける量子化パラメータの確定方法および関連製品
JP7166704B2 (ja) 2019-06-12 2022-11-08 寒武紀(西安)集成電路有限公司 ニューラルネットワークにおける量子化パラメータの確定方法および関連製品

Also Published As

Publication number Publication date
US9407919B2 (en) 2016-08-02
JPWO2012117955A1 (ja) 2014-07-07
US20130336593A1 (en) 2013-12-19
JP6062356B2 (ja) 2017-01-18
US20150163495A1 (en) 2015-06-11
US9031341B2 (en) 2015-05-12

Similar Documents

Publication Publication Date Title
EP1372113B1 (en) Variable bit rate video encoding method and device
JP5212372B2 (ja) 画像処理装置及び画像処理方法
JP4529919B2 (ja) 適応量子化装置及び適応量子化プログラム
US8559501B2 (en) Method and apparatus for adaptively determining a bit budget for encoding video pictures
US8107529B2 (en) Coding device, coding method, program of coding method, and recording medium recorded with program of coding method
JP6062356B2 (ja) 画像符号化装置
JPWO2009035143A1 (ja) 画像処理装置及び方法
US8891892B2 (en) Image encoding method using adaptive preprocessing scheme
KR20140042845A (ko) 지각적 비디오 코딩을 위한 구조적 유사성 기반의 레이트-왜곡 최적화 방법 및 시스템
JP2002010259A (ja) 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
EP1978745B1 (en) Statistical adaptive video rate control
US8831089B1 (en) Method and apparatus for selecting optimal video encoding parameter configurations
JP5618128B2 (ja) 符号化装置、符号化方法、およびプログラム
JP5706759B2 (ja) 画像符号化装置及び画像符号化方法
US8559738B2 (en) Predictive coding method for coding texture of image
US20090161758A1 (en) Code amount control method, code amount control device, and camera system
JP5649296B2 (ja) 画像符号化装置
US8792562B2 (en) Moving image encoding apparatus and method for controlling the same
JP6313614B2 (ja) 動画像符号化装置及びその制御方法
JP5871602B2 (ja) 符号化装置
US8971393B2 (en) Encoder
JP6239838B2 (ja) 動画像符号化装置、その制御方法、及び撮像装置
Xie et al. A novel parallel-friendly rate control scheme for HEVC
Sun et al. A novel incremental rate control scheme for H. 264 video coding
Hsia et al. High-performance adaptive group-of-picture rate control for H. 264/AVC

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12752373

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013502282

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14001980

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 05/12/13)

122 Ep: pct application non-entry in european phase

Ref document number: 12752373

Country of ref document: EP

Kind code of ref document: A1