WO2011016250A1 - 符号化方法、復号方法、符号化装置及び復号装置 - Google Patents

符号化方法、復号方法、符号化装置及び復号装置 Download PDF

Info

Publication number
WO2011016250A1
WO2011016250A1 PCT/JP2010/004958 JP2010004958W WO2011016250A1 WO 2011016250 A1 WO2011016250 A1 WO 2011016250A1 JP 2010004958 W JP2010004958 W JP 2010004958W WO 2011016250 A1 WO2011016250 A1 WO 2011016250A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
decoded
coefficient
conversion
output signal
Prior art date
Application number
PCT/JP2010/004958
Other languages
English (en)
French (fr)
Inventor
陽司 柴原
西　孝啓
寿郎 笹井
京子 谷川
マティアス ナロスキ
ヴィルジニー ドリゥジョーン
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP10806250A priority Critical patent/EP2464017A4/en
Priority to CN2010800341701A priority patent/CN102474270A/zh
Priority to US13/388,335 priority patent/US20120128065A1/en
Priority to JP2011525801A priority patent/JPWO2011016250A1/ja
Publication of WO2011016250A1 publication Critical patent/WO2011016250A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Definitions

  • the present invention relates to an encoding method for encoding audio, still images, and moving images, and more particularly to an encoding method including a conversion process for converting an input signal from a space-time domain to a frequency domain.
  • H.264 ITU-T As an example of the video coding standard, H.264 ITU-T standard called 26x and ISO / IEC standard called MPEG-x.
  • MPEG-x The latest video coding standard is H.264. It is a standard called H.264 / MPEG-4 AVC.
  • FIG. 1 is a block diagram showing a configuration of a conventional encoding apparatus 1000.
  • the encoding apparatus 1000 includes a conversion unit 1010, a quantization unit 1020, and an entropy encoding unit 1030, and encodes audio data and moving image data at a low bit rate.
  • the conversion unit 1010 generates a converted output signal with reduced correlation by converting an input signal, which is various data, or a converted input signal obtained by performing some processing on the input signal from the space-time domain to the frequency domain.
  • the generated conversion output signal is output to the quantization unit 1020.
  • the quantization unit 1020 quantizes the converted output signal output from the conversion unit 1010 to generate a quantization coefficient with a small total data amount.
  • the generated quantization coefficient is output to the entropy encoding unit 1030.
  • the entropy encoding unit 1030 generates an encoded signal obtained by compressing the remaining data by encoding the quantization coefficient output from the quantization unit 1020 using an entropy encoding algorithm.
  • the generated encoded signal is recorded on a recording medium, for example, or transmitted to a decoding device or the like via a network.
  • n-point vector that is a signal to be converted (that is, a conversion input signal) is input to the conversion unit 1010 as a conversion input vector x n .
  • Conversion unit 1010 the converted input vector x n, predetermined conversion process performed (conversion T), as the conversion output signal, and outputs the converted output (Transform Output) vector y n (see equation 1).
  • the transformation T When the transformation T is a linear transformation, as shown in Equation 2, the transformation T can be expressed as a matrix product of a transformation matrix (Transform Matrix) A that is an n ⁇ n square matrix and a transformation input vector x n .
  • Expression 3 is an expression for calculating the conversion output vector y n for each element y i using the conversion coefficient a ik that is each element of the conversion matrix A, and is derived from Expression 1 and Expression 2.
  • Transformation matrix A is to reduce the correlation of the input signal, it is designed so that the energy is concentrated to the element having a smaller n among the elements of the transform output vector y n (so-called low frequency side).
  • KLT Kerhunen Loeve Transform
  • KLT is a method for deriving an optimal conversion matrix based on the statistical properties of an input signal, or a conversion method using the derived optimal conversion matrix.
  • KLT is known as a technique that can completely eliminate correlation of input signals and can concentrate energy to a low frequency most efficiently.
  • KLT is an ideal conversion process, and can encode an encoding target signal converted by KLT with excellent encoding efficiency.
  • the KLT shown in the above prior art has a problem that the amount of calculation is large and the amount of data of a transformation matrix that is a coefficient used for transformation is large. Specifically, it is as follows.
  • the number of multiplications when the number of dimensions of the input signal (hereinafter also referred to as the number of input points) is M is M X Log 2 (M).
  • the number of multiplications is M ⁇ M.
  • the number of DCT multiplications is 8 when the number of input points is 4, and 24 when the number of input points is 8.
  • the number of multiplications of the KLT is, for example, 16 times when the number of input points is 4 (DCT ratio is double), 64 times when the number is 8 points (DCT ratio is 2.6 times), and DCT when the number is 16 points.
  • the ratio is 4.0 times.
  • the increase in the calculation amount of the KLT becomes more prominent. Therefore, the calculation amount of the KLT is enormous as compared with the DCT.
  • the transformation matrix A is derived based on the statistical properties of the set S A including the input signal vector x n .
  • the transformation using the transformation matrix A can perform optimal decorrelation and energy compression to a low band for the input signal vector x n included in the set S A.
  • the conversion result using the conversion matrix A is not optimal. Conversely, if the optimum is always obtained and a conversion coefficient is generated for every slight change in the statistical properties of the input, the data amount of the conversion coefficient becomes enormous.
  • the KLT has a problem that the calculation amount is large and the data amount of the transform coefficient is large. Therefore, it is difficult to use the KLT in the conventional encoding.
  • an object is to provide an encoding device. Furthermore, an object of the present invention is to provide a decoding method and a decoding apparatus that can correctly decode a signal encoded by the encoding method and the encoding apparatus according to the present invention.
  • an encoding method includes a first conversion step of generating a first converted output signal by converting an input signal using a first conversion coefficient; By converting the first partial signal using the second conversion coefficient determined based on the statistical characteristics of the set including the first partial signal that is a part of the one converted output signal, the second converted output signal is A quantization coefficient is obtained by quantizing a second conversion step to be generated, the second conversion output signal, and a second partial signal that is a part other than the first partial signal in the first conversion output signal.
  • a correction step for generating a corrected first partial signal or a corrected second conversion coefficient by performing correction using a cabling parameter, and the corrected first part using the second conversion coefficient A conversion step of generating the second converted output signal by converting the signal or converting the first partial signal using the corrected second conversion coefficient.
  • two-stage conversion including the first conversion and the second conversion
  • the amount of calculation can be reduced compared to the case where high-precision conversion is performed in one stage, and when conversion with a small amount of calculation is performed in one stage
  • the conversion can be performed with higher accuracy than that.
  • a more suitable second conversion can be performed by performing correction using the scaling parameter used at the time of quantization.
  • a quantization coefficient is generated by quantizing the second converted output signal without using the scaling parameter and quantizing the second partial signal using the scaling parameter. May be.
  • the second converted output signal and the second partial signal are separately quantized, it is possible to perform quantization suitable for each, improving encoding efficiency and suppressing degradation of image quality can do.
  • the second partial signal is further corrected using the scaling parameter to generate a corrected second partial signal.
  • the second converted output signal and The corrected second partial signal may be quantized.
  • the correction may be performed using a norm calculated from the first conversion coefficient as the scaling parameter.
  • the corrected first partial signal is generated by multiplying the first partial signal by the reciprocal of the norm.
  • the corrected second partial coefficient is used. by converting the first partial signal of, it may generate the second converted output signal.
  • the corrected second conversion coefficient is generated by multiplying the second conversion coefficient by the inverse of the norm.
  • the corrected second conversion coefficient is used. by converting the first partial signal, it may generate the second converted output signal.
  • the amount of calculation can be reduced by performing norm correction on the second conversion coefficient as compared with the case of performing norm correction on the first partial signal. For example, when determining one second transform coefficient for a set of a plurality of first partial signals, instead of performing norm correction on each of the plurality of first partial signals included in the set, the second transform coefficient It is only necessary to perform norm correction once.
  • the correction may be performed using a quantization matrix as the scaling parameter.
  • the scaling of the quantization matrix can be correctly reflected in the second conversion output signal.
  • the corrected first partial signal is generated by multiplying the first partial signal by an inverse of the quantization matrix, and in the conversion step, the second conversion coefficient is used to generate the first partial signal.
  • a first partial signal after conversion is generated by converting the corrected first partial signal, and the second conversion step is further calculated from the quantization matrix into the converted first partial signal.
  • the corrected second conversion coefficient is generated by multiplying the second conversion coefficient by an inverse of the quantization matrix and a correction coefficient calculated from the quantization matrix
  • the second conversion output signal may be generated by converting the first partial signal using the corrected second conversion coefficient.
  • the amount of calculation can be reduced by correcting the quantization matrix for the second transform coefficient as compared with the case of correcting the quantization matrix for the first partial signal. For example, when determining one second transform coefficient for a set of a plurality of first partial signals, instead of correcting the quantization matrix for each of the plurality of first partial signals included in the set, It is only necessary to correct the quantization matrix once for two transform coefficients.
  • the second conversion coefficient may be a coefficient determined by KLT (Karhunen Loeve Transform).
  • the decoding method includes an entropy decoding step for generating a decoded quantization coefficient by entropy decoding an encoded signal, and a decoding conversion by dequantizing the decoded quantization coefficient.
  • a first decoded partial signal is generated by inversely transforming a second decoded transformed output signal that is a part of the decoded transformed output signal using an inverse quantization step for generating an output signal and a second inverse transformed coefficient.
  • a first decoded conversion output signal including a second inverse conversion step, the first decoded partial signal, and a second decoded partial signal corresponding to a portion of the decoded converted output signal other than the second decoded converted output signal
  • a first inverse transform step for generating a decoded signal by inversely transforming using the first inverse transform coefficient, and in the second inverse transform step, the second decoded transform output signal is inversely transformed, First after reverse transformation
  • the second decoded transform output is generated by inversely transforming the signal.
  • the second decoded transform output signal is generated by inversely quantizing the first decoded quantized coefficient that is a part of the decoded quantized coefficient without using the scaling parameter.
  • the second decoded partial signal is dequantized by dequantizing a second decoded quantized coefficient that is a part other than the first decoded quantized coefficient of the decoded quantized coefficient. May be generated.
  • the encoding method may further include a correction step of generating the second partial signal by correcting a part other than the second decoded conversion output signal of the decoded conversion output signal using the scaling parameter. May be included.
  • the correction may be performed using a norm calculated from the first inverse transform coefficient as the scaling parameter.
  • the second decoded transform output signal is inversely transformed using the second inverse transform coefficient to generate a second decoded transform output signal after the inverse transform, and the inverse transform
  • the first decoded partial signal may be generated by multiplying the second decoded converted output signal after conversion by the norm.
  • the corrected second inverse transform coefficient is generated by multiplying the second inverse transform coefficient by the norm, and the corrected second inverse transform coefficient is used to generate the second inverse transform coefficient.
  • the first decoded partial signal may be generated by inversely converting the second decoded conversion output signal.
  • the correction may be performed using a quantization matrix as the scaling parameter.
  • the second decoded transform output signal after post inverse correction is generated by multiplying the second decoded transform output signal by the inverse of the correction coefficient calculated from the quantization matrix.
  • a second decoded transform output signal after the inverse transform is generated, and the second after the inverse transform
  • the first decoded partial signal may be generated by multiplying the decoded conversion output signal by the quantization matrix.
  • the second inverse transform coefficient after the correction is obtained by multiplying the second inverse transform coefficient by the quantization matrix and an inverse number of the correction coefficient calculated from the quantization matrix.
  • the first decoded partial signal may be generated by inversely transforming the second decoded transform output signal using the corrected second inverse transform coefficient.
  • the second inverse transform coefficients may be coefficients determined by the KLT.
  • any of the above decoding methods as in the case of the encoding method, it is possible to suppress an increase in the amount of computation and an increase in the data amount of transform coefficients. Also, the signal encoded by the above encoding method can be correctly decoded.
  • the present invention can be realized not only as an encoding method and a decoding method, but also as an encoding device and a decoding device including a processing unit that performs processing steps included in the encoding method and the decoding method. Moreover, you may implement
  • a communication network such as the Internet.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically includes a microprocessor, ROM, RAM (Random Access Memory), and the like.
  • Computer system is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically includes a microprocessor, ROM, RAM (Random Access Memory), and the like.
  • the encoding method and the encoding apparatus according to the present invention it is possible to suppress an increase in the calculation amount in the encoding process and an increase in the data amount of transform coefficients. Furthermore, according to the decoding method and the decoding apparatus according to the present invention, the signal encoded by the encoding method and the encoding apparatus according to the present invention can be decoded.
  • FIG. 1 is a block diagram showing a configuration of a conventional encoding apparatus.
  • FIG. 2 is a diagram showing a comparison of calculation amounts between DCT and KLT.
  • Figure 3 is a block diagram showing an example of a configuration of a coding apparatus according to the first embodiment.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the second conversion unit according to the first embodiment.
  • FIG. 5 is a diagram conceptually illustrating an example of a data flow in the second conversion unit according to the first embodiment.
  • Figure 6 is a flow chart showing an example of the operation of the coding apparatus according to the first embodiment.
  • Figure 7 is a flowchart showing an example of the operation of the second converter according to the first embodiment.
  • FIG. 1 is a block diagram showing a configuration of a conventional encoding apparatus.
  • FIG. 2 is a diagram showing a comparison of calculation amounts between DCT and KLT.
  • Figure 3 is a block diagram showing an example of a configuration of a coding apparatus according to the
  • FIG. 8 is a block diagram showing an exemplary configuration of an encoding apparatus according to a modification of the first embodiment.
  • FIG. 9 is a block diagram illustrating an example of the configuration of the second conversion unit according to a modification of the first embodiment.
  • FIG. 10 is a diagram conceptually illustrating an example of a data flow in the second conversion unit according to the modification of the first embodiment.
  • FIG. 11 is a flowchart illustrating an example of the operation of the second conversion unit according to the modification of the first embodiment.
  • FIG. 12 is a block diagram illustrating an exemplary configuration of an encoding apparatus according to a modification of the first embodiment.
  • FIG. 13 is a flowchart showing an example of the operation of the encoding apparatus according to the modification of the first embodiment.
  • FIG. 14 is a block diagram illustrating an exemplary configuration of an encoding apparatus according to a modification of the first embodiment.
  • FIG. 15 is a flowchart showing an example of the operation of the encoding apparatus according to the modification of the first embodiment.
  • FIG. 16 is a block diagram showing an exemplary configuration of an encoding apparatus according to a modification of the first embodiment.
  • FIG. 17 is a flowchart showing an example of the operation of the coding apparatus according to the modification of the first embodiment.
  • Figure 18 is a block diagram showing an example of a configuration of a decoding apparatus according to the second embodiment.
  • FIG. 19 is a block diagram showing an example of the configuration of the second inverse transform unit according to Embodiment 2.
  • FIG. 20 is a diagram conceptually illustrating an example of a data flow in the second inverse transform unit according to Embodiment 2.
  • FIG. 21 is a flowchart showing an example of the operation of the decoding apparatus according to the second embodiment.
  • FIG. 22 is a flowchart illustrating an example of the operation of the second inverse transform unit according to Embodiment 2.
  • FIG. 23 is a block diagram illustrating an example of a configuration of a second inverse transform unit according to a modification of the second embodiment.
  • FIG. 24 is a diagram conceptually illustrating an example of a data flow in the second inverse transform unit according to the modification of the second embodiment.
  • FIG. 25 is a flowchart illustrating an example of the operation of the second inverse transform unit according to the modification of the second embodiment.
  • FIG. 21 is a flowchart showing an example of the operation of the decoding apparatus according to the second embodiment.
  • FIG. 22 is a flowchart illustrating an example of the operation of the second inverse transform unit according to Em
  • FIG. 26 is a block diagram illustrating an exemplary configuration of a decoding apparatus according to a modification of the second embodiment.
  • FIG. 27 is a flowchart showing an example of operation of the decoding apparatus according to the modification of the second embodiment.
  • FIG. 28 is a block diagram illustrating an exemplary configuration of a decoding apparatus according to a modification of the second embodiment.
  • FIG. 29 is a block diagram showing an exemplary configuration of a decoding apparatus according to a modification of the second embodiment.
  • FIG. 30 is a block diagram illustrating an exemplary configuration of a decoding apparatus according to a modification of the second embodiment.
  • FIG. 31 is a block diagram showing an exemplary configuration of a decoding apparatus according to a modification of the second embodiment.
  • FIG. 32 is a block diagram illustrating an example of a configuration of the second conversion unit according to Embodiment 3.
  • FIG. 33 is a diagram conceptually illustrating an example of a data flow in the second conversion unit according to Embodiment 3.
  • Figure 34 is a flowchart showing an example of the operation of the second converter according to the third embodiment.
  • FIG. 35 is a block diagram showing an example of the configuration of the second inverse transform unit according to Embodiment 4.
  • FIG. 36 is a diagram conceptually illustrating an example of a data flow in the second inverse transform unit according to Embodiment 4.
  • FIG. 37 is a flowchart illustrating an example of the operation of the second inverse transform unit according to Embodiment 4.
  • FIG. 38 is a schematic diagram illustrating an example of the overall configuration of a content supply system that implements a content distribution service.
  • FIG. 39 is a diagram illustrating an appearance of a mobile phone.
  • FIG. 40 is a block diagram illustrating a configuration example of a mobile phone.
  • FIG. 41 is a schematic diagram showing an example of the overall configuration of a digital broadcasting system.
  • FIG. 42 is a block diagram illustrating a configuration example of a television.
  • FIG. 43 is a block diagram illustrating a configuration example of an information reproducing / recording unit that reads and writes information from and on a recording medium that is an optical disk.
  • FIG. 44 is a diagram illustrating a structure example of a recording medium that is an optical disk.
  • FIG. 45 is a block diagram illustrating a configuration example of an integrated circuit that realizes the moving image encoding method and the moving image decoding method according to each embodiment.
  • the encoding apparatus generates an encoded signal by performing conversion, quantization, and entropy encoding on an input signal.
  • the conversion includes a first conversion and a second conversion, and the second conversion is performed on the first partial signal that is a part of the first conversion output signal generated by performing the first conversion on the input signal.
  • the coding apparatus corrects the second transform coefficient or the first partial signal using the norm calculated from the first transform coefficient before the second transform.
  • the conversion matrix and the conversion coefficient may be used almost synonymously.
  • FIG. 3 is a block diagram showing an example of the configuration of the encoding device 100 according to the first embodiment.
  • An input signal that is various data such as audio data, still image data, and moving image data is input to the encoding device 100 as an encoding target signal.
  • the encoding apparatus 100 includes a first conversion unit 110, a division unit 120, a second conversion unit 130, a quantization unit 140, an integration unit 150, and an entropy encoding unit 160.
  • the target signal is encoded.
  • the first conversion unit 110 receives an encoding target signal as a converted input signal.
  • the converted input signal is represented by a vector x n as shown in Equation 4, for example.
  • the encoding target signal is composed of a plurality of converted input signals xn .
  • the first transform unit 110 transforms the input transform input signal x n from the space-time domain to the frequency domain using the first transform matrix A 1 n that is a square matrix coefficient composed of a plurality of elements. Thus, the first converted output signal y 1 n with reduced correlation is generated. The generated first converted output signal y 1 n is output to the dividing unit 120.
  • the first conversion unit 110 generates the first converted output signal y 1 n by converting the converted input signal x n using the first conversion matrix A 1 n .
  • a transformation using the first transformation matrix A 1 n is referred to as a first transformation T 1 .
  • the first transformation T 1 is a process (orthogonal transformation) for transforming a transformed input signal x n that is a space-time domain signal into a first transformed output signal y 1 n that is a frequency domain signal.
  • the first conversion unit 110 performs normal DCT as the first conversion T 1 .
  • the dividing unit 120 correlates the first converted output signal y 1 n output from the first converting unit 110 with the first partial signal y 1L m and the second partial signal y 1H nm , and the first partial signal y 1L m .
  • the energy is divided so as to be larger than the correlation energy of the second partial signal y 1H nm .
  • the first partial signal y 1L m is output to the second conversion unit 130.
  • the second partial signal y 1H nm is output to the corrected quantization unit 142 included in the quantization unit 140.
  • the dividing unit 120 uses the division integration information, which is information indicating how to divide the first conversion output signal y 1 n , so that the first conversion output composed of n elements (of n dimensions) is used.
  • m is a natural number smaller than n.
  • the dividing unit 120 outputs the first converted output signal y 1 n at a predetermined division position so that the first partial signal y 1L m and the second partial signal y 1H nm include a predetermined number of elements. To divide.
  • the data input to the first conversion unit 110 and the division unit 120 is two-dimensional data.
  • the division unit 120 converts the first partial signal y 1L m Sort and output to one-dimensional data.
  • the elements are rearranged in order from the low range to the high range, specifically, in order from the dispersion, that is, from the largest energy.
  • the second conversion unit 130 generates the second converted output signal y 2 m by converting the first partial signal y 1L m using the second conversion matrix A 2 m .
  • a transformation using the second transformation matrix A 2 m is referred to as a second transformation T 2 . That is, the second conversion unit 130, by a second transformation T 2 performed with respect to the first partial signal y 1L m, to generate a second conversion output signal y 2 m.
  • the generated second converted output signal y 2 m is output to the uncorrected quantization unit 141 included in the quantization unit 140.
  • the second conversion unit 130 corrects the first partial signal y 1L m or the second conversion matrix A 2 m, and corrects the first partial signal y ′ after correction using the second conversion matrix A 2 m. by converting the 1L m, or, by converting the first partial signal y 1L m using a second transformation matrix a '2 m after the correction, and generates the second converted output signal y 2 m.
  • a predetermined scaling parameter is used for correcting the first partial signal y 1L m or the second transformation matrix A 2 m .
  • the predetermined scaling parameter is a parameter used in the quantization unit 140, for example, a parameter for determining a level scale.
  • the level scale is a parameter for dividing a signal to be quantized (specifically, the second partial signal y 1H nm and the second converted output signal y 2 m ), and corresponds to a so-called quantization step.
  • the level scale is based on a quantization matrix for weighting quantization roughness according to frequency positions, a norm correction value that is a value for correcting a norm of a signal to be quantized, and the like. The value to be determined.
  • the level scale LevelScale (k, i, j) is a product of the quantization matrix element weightScale (i, j) and the norm correction value normAdjust (k, i, j). expressed.
  • the second conversion unit 130 corrects the first partial signal y 1L m or the second conversion matrix A 2 m using a norm correction value as a predetermined scaling parameter. .
  • i and j are parameters indicating the frequency positions of the elements included in the signal.
  • the quantization unit 140 includes an uncorrected quantization unit 141 and a corrected quantization unit 142, generates a second quantization coefficient C 2 nm by quantizing the second partial signal y 1H nm , and The first quantized coefficient C 1 m is generated by quantizing the second converted output signal y 2 m .
  • the non-correction quantization unit 141 generates the first quantization coefficient C 1 m by quantizing the second converted output signal y 2 m without using the norm correction value that is the scaling parameter. For example, the uncorrected quantization unit 141 divides the second transformed output signal y 2 m by the level scale LevelScale_1 that does not use the norm correction value (see Equation 6 and Equation 7), and shifts down by (qp / 6-4) Then, the first quantization coefficient C 1 m is generated by rounding to an integer value.
  • the quantizing unit 142 with correction generates the second quantization coefficient C 2 nm by quantizing the second partial signal y 1H nm using the norm correction value that is the scaling parameter. For example, the quantization unit with correction 142 divides the second partial signal y 1H nm by a level scale LevelScale (k, i, j) using a norm correction value as shown in Equation 5 (see Equation 8), ( The second quantization coefficient C 2 nm is generated by shifting down by qp / 6-4) and rounding to an integer value.
  • the integration unit 150 generates the quantization coefficient C n by integrating the first quantization coefficient C 1 m and the second quantization coefficient C 2 nm using the division integration information.
  • the generated quantization coefficient C n is output to the entropy encoding unit 160.
  • the entropy encoding unit 160 generates an encoded signal by compressing and encoding the quantized coefficient C n output from the integration unit 150 using an entropy encoding algorithm.
  • the generated encoded signal is recorded on a recording medium, for example, or transmitted to a decoding device or the like via a network.
  • the entropy encoding unit 160 also encodes the transform coefficient (or inverse transform coefficient) used for the conversion and the level scale used for the quantization, and describes them in the header of the encoded signal as control information.
  • the level scale is not encoded as it is, but the quantization parameter qp and the like are encoded.
  • the quantization parameter qp can be acquired by entropy decoding, and a level scale used for quantization can be generated from the acquired quantization parameter.
  • encoding apparatus 100 performs two-stage conversion processing on conversion input signal x n that is a signal to be encoded. Specifically, the encoding device 100 generates the first converted output signal y 1 n by performing a first conversion T 1 to the conversion input signal x n, a first conversion output signal y 1 n generated the The first partial signal y 1L m and the second partial signal y 1H nm are divided and the second conversion T 2 is performed on the first partial signal y 1L m . Further, when performing the second transformation T 2 , the first partial signal y 1L m or the second transformation matrix A 2 m is corrected using the norm.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the second conversion unit 130 according to the first embodiment.
  • FIG. 5 is a diagram conceptually illustrating an example of a data flow in the second conversion unit 130 according to the first embodiment.
  • the second conversion unit 130 includes a scale correction unit 131 and a second conversion processing unit 132.
  • the scale correction unit 131 corrects the input first partial signal y 1L m using the norm calculated from the first conversion matrix A 1 n .
  • the norm is calculated by the following formula 9.
  • a (i, k) is an element included in the first transformation matrix A 1 n and is an element in the i-th row and the k-th column.
  • the scale correction unit 131 calculates the norm and corrects the first partial signal y 1L m using the calculated norm.
  • the scale correction unit 131 may hold the norm in an internal memory or the like.
  • the scale correction unit 131 corrects the first partial signal y 1L m according to Equation 10. That is, the scale correction unit 131 generates the corrected first partial signal y ′ 1L m by multiplying the first partial signal y 1L m by the inverse of the norm. In other words, the scale correction unit 131 generates the corrected first partial signal y ′ 1L m by dividing the first partial signal y 1L m by the norm.
  • the scale correction unit 131 multiplies the element y 1L (i) of the first partial signal y 1L m by the inverse of the norm N (i) to thereby obtain the element y ′ of the corrected first partial signal y ′ 1L m. 1L (i) is generated.
  • the second conversion processing unit 132 generates the second converted output signal y 2 m by converting the corrected first partial signal y ′ 1L m using the second conversion matrix A 2 m .
  • encoding apparatus 100 performs norm correction on the first partial signal to be subjected to the second conversion, which is the second-stage conversion, when performing the two-stage conversion.
  • FIG. Figure 6 is a flow chart illustrating an example of operation of the encoding apparatus 100 according to the first embodiment.
  • First conversion unit 110 uses the first transformation matrix A 1 n, by performing a first conversion T 1 for the converted input signal x n, to generate a first conversion output signal y 1 n (S110) .
  • the first transformation T 1 the space-time domain transformed input signal x n is transformed into a frequency domain first transformed output signal y 1 n .
  • the dividing unit 120 divides the first converted output signal y 1 n into the first partial signal y 1L m and the second partial signal y 1H nm using the division integration information (S120). At this time, the dividing unit 120 divides the first converted output signal y 1 n so that the correlation energy of the first partial signal y 1L m is larger than the correlation energy of the second partial signal y 1H nm .
  • the dividing unit 120 rearranges the first partial signal y 1L m into a one-dimensional signal.
  • the second conversion unit 130 performs norm correction to the first partial signal y 1L m, the second transformation T 2 by performing the first partial signal y '1L m after the correction, the second A converted output signal y 2 m is generated (S130). A specific operation performed by the second conversion unit 130 will be described later with reference to FIG.
  • the quantization unit 140 quantizes the second converted output signal y 2 m and the second partial signal y 1H nm (S140). Specifically, the uncorrected quantizing unit 141 generates the first quantized coefficient C 1 m by quantizing the second converted output signal y 2 m using a level scale that does not include the norm correction value. (See Equation 6 and Equation 7). Further, the quantization unit with correction 142 quantizes the second partial signal y 1H nm using a level scale including a norm correction value, thereby generating a second quantization coefficient C2 nm (Equation 5 and Eq. 5). 8).
  • processing performed by the uncorrected quantization unit 141 and the processing performed by the corrected quantization unit 142 may be parallelized.
  • quantization process performed by the quantization unit with correction 142 and the second transform performed by the second transform unit 130 may be parallelized.
  • the integration unit 150 generates the quantization coefficient C n by integrating the first quantization coefficient C 1 m and the second quantization coefficient C 2 nm using the division integration information (S150). .
  • the entropy encoding unit 160 generates an encoded signal by entropy encoding the quantization coefficient C n (S160).
  • FIG. 7 is a flowchart showing an example of the operation of the second conversion unit 130 according to the first embodiment.
  • the scale correction unit 131 multiplies the first partial signal y 1L m by the inverse of the norm determined from the first conversion matrix A 1 n.
  • the corrected first partial signal y ′ 1L m is generated (S131).
  • the scale correction unit 131 calculates a norm and corrects the first partial signal y 1L m using the calculated norm.
  • the second conversion processing unit 132 performs the second conversion T 2 using the second conversion matrix A 2 m on the corrected first partial signal y ′ 1L m , thereby generating the second conversion output signal.
  • y 2 m is generated (S132).
  • the second conversion unit 130 generates the second converted output signal y 2 m .
  • the second transformation matrix A 2 m is a coefficient determined based on the statistical characteristics of the set including the signal (transformation target signal) that is the target of the second transformation T 2 .
  • the second converter 132 obtains a second transformation matrix A 2 m predetermined, the configuration for performing the second conversion T 2 using the second transformation matrix A 2 m obtained described
  • the second transformation matrix A 2 m may be determined based on the input signal. According to this, although the amount of calculation increases slightly, it becomes possible to determine the optimal second conversion matrix A 2 m for the input signal, and the second conversion output generated by the second conversion T 2 . The correlation of the signal y 2 m can be almost eliminated. Therefore, the encoding efficiency can be further increased.
  • FIG. 8 is a block diagram showing an example of the configuration of the encoding apparatus 200 according to the modification of the first embodiment. 8 further includes a first memory 211, a first transform coefficient derivation unit 212, a second memory 221, and a division / integration information generation unit, as compared to the encoding device 100 illustrated in FIG. comprising a 222, a third memory 231, and a second conversion coefficient deriving unit 232.
  • the first memory 211 is a memory that holds the converted input signal xn .
  • the converted input signal x n is audio data or moving image data
  • the first memory 211 holds a plurality of converted input signals x n corresponding to data for one frame.
  • the first transform coefficient deriving unit 212 derives a first transform matrix A 1 n using a plurality of transform input signals x n held in the first memory 211. For example, similarly to the second conversion coefficient deriving unit 232, the conversion coefficient is determined by KLT. Note that a method of determining the conversion coefficient by KLT will be described later.
  • the second memory 221 is a memory that holds the first converted output signal y 1 n .
  • the second memory 221 holds a plurality of first converted output signals y 1 n corresponding to data for one frame.
  • the division integration information generation unit 222 generates division integration information using the first converted output signal y 1 n held in the second memory 221.
  • the division integration information is, for example, so as to divide the first converted output signal y 1 n using the low frequency band element as the first partial signal element and the high frequency band element as the second partial signal element. This is control information for instructing the dividing unit 120.
  • the division integration information may be used to divide the first converted output signal y 1 n using an element having a large correlation energy as an element of the first partial signal and an element having a small correlation energy as an element of the second partial signal This is control information for instructing the dividing unit 120.
  • the division integration information generation unit 222 generates division integration information in view of the distribution of energy states of the plurality of first conversion output signals y 1 n .
  • the divided integration information generation unit 222 performs the first conversion by using an element having a correlation energy larger than a predetermined threshold as an element of the first partial signal and an element having a correlation energy smaller than the threshold as an element of the second partial signal.
  • Division integrated information for dividing the output signal y 1 n is generated.
  • the third memory 231 is a memory that holds the corrected first partial signal y ′ 1L m .
  • the third memory 231 holds a plurality of corrected first partial signals y ′ 1L m corresponding to data for one frame.
  • the second transform coefficient deriving unit 232 may derive the second transform matrix A 2 m using a set smaller than the set used to derive the first transform matrix A 1 n. preferable. Therefore, the third memory 231 may have a smaller storage capacity than the first memory 211.
  • the second transformation coefficient deriving unit 232 derives the second transformation matrix A 2 m using the plurality of corrected first partial signals y ′ 1L m held in the third memory 231.
  • the second transformation matrix A 2 m is a coefficient determined by, for example, KLT.
  • KLT is a technique for designing a transform that can completely decorrelate a conversion target signal based on statistical characteristics of a set including the conversion target signal.
  • KLT is to obtain a transformation such that the off-diagonal component of the variance-covariance matrix of the signal to be transformed is 0, and solves the eigenvalue problem of the variance-covariance matrix.
  • the derived eigenvector is the basis function, and the eigenvalue is the axis size (that is, energy) of each element of the transform coefficient.
  • a set S A of conversion target signals (transformed input signal x n ) used by the first transform coefficient deriving unit 212.
  • the set S A is a set corresponding to data for one frame
  • the set S C is a set corresponding to data for slices or macroblocks, or data for subframes or subbands.
  • the set S C only needs to include at least two samples (corrected first partial signal y ′ 1L m ).
  • the encoding apparatus 200 can determine the transform coefficient by the KLT, and can further increase the encoding efficiency.
  • the encoding apparatus 200 illustrated in FIG. 8 generates not only the second transformation matrix A 2 m but also the first transformation matrix A 1 n and the division integration information.
  • the first transformation matrix A 1 n and the division integration information may be predetermined fixed coefficients and division at fixed positions.
  • the encoding device 200 may not include the first memory 211 and the first transform coefficient deriving unit 212.
  • the encoding device 200 may not include the second memory 221 and the division integration information generation unit 222.
  • encoding apparatus 100 As described above, in encoding apparatus 100 according to Embodiment 1, two-stage conversion processing is performed on the converted input signal, and the first converted output signal generated by performing the first conversion at the first stage is converted.
  • the first partial signal which is a part is corrected using the norm, and then the second conversion in the second stage is performed on the corrected first partial signal.
  • the second conversion coefficient used for the second conversion is determined based on a set including the corrected first partial signal. This makes it possible to optimize the second transformation, it is possible to enhance the coding efficiency.
  • FIG. 9 is a block diagram illustrating an example of the configuration of the second conversion unit 330 according to a modification of the first embodiment.
  • FIG. 10 is a diagram conceptually illustrating an example of the data flow in the second conversion unit 330 according to the modification of the first embodiment.
  • the second conversion unit 330 includes a correction coefficient deriving unit 331 and a second conversion processing unit 132.
  • the correction coefficient deriving unit 331 derives a correction coefficient by correcting the second conversion matrix A 2 m using the norm calculated from the first conversion matrix A 1 n .
  • the norm is calculated by Equation 9.
  • the correction coefficient deriving unit 331 corrects the second transformation matrix A 2 m according to Equation 11. That is, the correction coefficient deriving unit 331 generates the corrected second transformation matrix A ′ 2 m by multiplying the second transformation matrix A 2 m by the inverse of the norm. In other words, the correction coefficient deriving unit 331 generates a corrected second conversion matrix A ′ 2 m that is a correction coefficient by dividing the second conversion matrix A 2 m by the norm.
  • the correction coefficient deriving unit 331 multiplies the element a 2 (i, j) of the second transformation matrix A 2 m by the inverse of the norm N (i), thereby correcting the corrected second transformation matrix A ′ 2 m .
  • Element a ′ 2 (i, j) is generated.
  • the second conversion processing unit 132 generates the second conversion output signal y 2 m by converting the first partial signal y 1L m using the corrected second conversion matrix A ′ 2 m .
  • FIG. 11 is a flowchart illustrating an example of the operation of the second conversion unit 130 according to the modification of the first embodiment.
  • the correction coefficient deriving unit 331 corrects the second conversion matrix A 2 m according to Equation 11 using the norm calculated from the first conversion matrix A 1 n, thereby correcting the second conversion after correction, which is a correction coefficient.
  • a matrix A ′ 2 m is derived (S231).
  • the second conversion processing unit 132 generates the second converted output signal y 2 m by converting the first partial signal y 1L m using the corrected second conversion matrix A ′ 2 m. .
  • the correction coefficient is derived for each set S C used for deriving the second transformation matrix A 2 m , for example. Therefore, as shown in FIG. 5, the amount of calculation can be reduced as compared with the case where correction is performed each time the first partial signal y 1L m is input.
  • the effect of improving the encoding efficiency can be obtained in the same manner by correcting not the first partial signal y 1L m but the second transformation matrix A 2 m .
  • FIG. 12 is a block diagram showing an exemplary configuration of coding apparatus 400 according to a modification of the first embodiment.
  • the encoding device 400 coded signals, such as audio data and moving image data is input.
  • the subtractor 410 generates a prediction error signal by calculating a difference between the encoding target signal and the prediction signal generated by the prediction unit 460, that is, a prediction error.
  • Generated prediction error signal is input to the transform and quantization unit 420 as a conversion input signal.
  • the prediction error signal is input to the transform / quantization unit 420 as a transform input signal.
  • the transform / quantization unit 420 performs the transform process and the quantization process described with reference to FIGS. 3 and 4 on the prediction error signal. That is, the transform / quantization unit 420 is the same as FIGS. 3 and 4 except that the prediction error signal is input instead of the encoding target signal itself. That is, the transformation / quantization unit 420 includes, for example, a first transformation unit 110, a division unit 120, a second transformation unit 130, a quantization unit 140, and an integration unit 150.
  • the inverse quantization / inverse transform unit 430 generates a decoded transform output signal by inversely quantizing the quantization coefficient output from the transform / quantization unit 420. Further, the inverse quantization / inverse transform unit 430 performs an inverse transform process on the generated decoded transform output signal to generate a decoded transform input signal. The generated decoded conversion input signal is output to adder 440.
  • the decoded transform input signal is a signal obtained by restoring the transform input signal input to the transform / quantization unit 420.
  • the transform input signal is completely different. Is not the same. That is, the decoded conversion input signal includes a quantization error.
  • the inverse transform process performed by the inverse quantization / inverse transform unit 430 is the opposite process of the transform process performed by the transform / quantization unit 420. For this reason, the inverse quantization / inverse transform unit 430 acquires the transform coefficient used in the transform process from the transform / quantization unit 420.
  • the transformation / quantization unit 420 performs transformation T on the transformation input signal x n using the transformation matrix A that is an n ⁇ n square matrix.
  • the conversion output signal y n generated by the conversion / quantization unit 420 is expressed by Expression 1. More specifically, the transformation / quantization unit 420 generates the transformation output signal y n according to Equation 2 and Equation 3.
  • the inverse transformation T ⁇ 1 performed by the inverse quantization / inverse transformation unit 430 is a transformation process using the inverse matrix A ⁇ 1 of the transformation matrix A as a transformation coefficient.
  • the inverse transformation T ⁇ 1 performed on the decoded transformation output signal y ⁇ n input to the inverse quantization / inverse transformation unit 430 is expressed by Expression 12.
  • the adder 440 generates a decoded signal by adding the decoded conversion input signal and the prediction signal.
  • the generated decoded signal is stored in the memory 450, and is referred to when generating a prediction signal of the encoding target signal input thereafter.
  • the memory 450 is an example of a storage unit such as a memory that stores a decoded signal.
  • the prediction unit 460 generates a prediction signal by predicting the encoding target signal with reference to the previously encoded and decoded decoded signal (encoded signal) stored in the memory 450.
  • the generated prediction signal is output to the subtracter 410 and the adder 440.
  • Control information used to generate a prediction signal such as a prediction mode (such as intra prediction or inter prediction) is output to the entropy encoding unit 160 and encoded by the entropy encoding unit 160.
  • FIG. 13 is a flowchart showing an example of the operation of the encoding apparatus 400 according to the modification of the first embodiment.
  • coded signal such as audio data or video data is input to the encoding device 400.
  • the prediction unit 460 generates a prediction signal by referring to the encoded signal stored in the memory 450 (S300).
  • the generated prediction signal is output to the subtractor 410.
  • the subtractor 410 generates a prediction error signal by calculating a prediction error that is a difference between the encoding target signal and the prediction signal (S305).
  • transform and quantization unit 420 performs a first transformation on the prediction error signal (S110).
  • the transform / quantization unit 420 generates a quantization coefficient by performing division, second transform, quantization, and integration on the prediction error signal ( S120 to S150).
  • the entropy encoding unit 160 generates an encoded signal by entropy encoding the quantization coefficient (S160).
  • the inverse quantization / inverse transform unit 430 generates a decoded transform output signal by dequantizing the quantized coefficient (S370).
  • the inverse quantization / inverse transform unit 430 performs an inverse transform process on the decoded transform output signal, thereby generating a decoded transform input signal (S380).
  • the inverse conversion process is a process opposite to the conversion process performed by the conversion / quantization unit 420.
  • either entropy encoding performed by the entropy encoding unit 160 and at least one of inverse quantization and inverse conversion performed by the inverse quantization / inverse transform unit 430 may be performed first or in parallel processing. May be executed.
  • the adder 440 generates a decoded signal by adding the decoded conversion input signal and the prediction signal, and stores the decoded signal in the memory 450 (S390).
  • the encoding apparatus 400 performs the above conversion process using the prediction error signal, which is the difference between the encoding target signal and the prediction signal generated by predicting the encoding target signal, as the conversion target signal. May be.
  • the prediction error signal which is the difference between the encoding target signal and the prediction signal generated by predicting the encoding target signal, as the conversion target signal. May be.
  • the second conversion processing unit 132 adaptively determines a conversion coefficient based on the statistical characteristics of the input signal instead of the KLT as the second conversion, and uses other conversions that reduce the correlation using the determined conversion coefficient. May be performed.
  • the first quantization coefficient and the second quantization coefficient are integrated and then entropy encoded.
  • entropy encoding may be performed without integration. That is, the entropy encoding unit 160 uses the first quantization coefficient output from the uncorrected quantization unit 141 and the second quantization coefficient output from the corrected quantization unit 142 as different data, respectively. It may be encoded.
  • the quantization unit 140 may be configured not to include the uncorrected quantization unit 141 and the corrected quantization unit 142 but to switch the presence or absence of correction within one quantization unit 140.
  • the encoding apparatus 100 integrates the second partial signal y 1H nm and the second converted output signal y 2 m after quantization, but the second partial signal y 1H nm is integrated. And the second conversion output signal y 2 m may be integrated and then quantized. That is, quantization may be performed on one signal after integration without separately performing quantization on the two signals.
  • FIG. 14 is a block diagram showing an example of the configuration of the encoding device 100a according to the modification of the first embodiment of the present invention.
  • the encoding apparatus 100a illustrated in FIG. 14 includes a first conversion unit 110, a division unit 120, a second conversion unit 130, a scale correction unit 131a, a quantization unit 140a, an integration unit 150a, and an entropy encoding unit. 160.
  • symbol is attached
  • the scale correction unit 131a corrects the second partial signal y 1H nm using the norm of the first conversion matrix A 1 . Specifically, the scale correction unit 131a generates the corrected second partial signal y ′ 1H nm by multiplying the second partial signal y 1H nm by the inverse of the norm (see Equation 10, y ′ 1L ( i) is read as y ′ 1H (i), and y 1L (i) is read as y 1H (i)). In other words, the scale correction unit 131a generates the corrected second partial signal y ′ 1H nm by dividing the second partial signal y 1H nm by the norm.
  • the integrating unit 150a integrates the corrected second partial signal y ′ 1H nm output from the scale correcting unit 131a and the second converted output signal y 2 m converted by the second converting unit 130, generating conversion output signal y n.
  • the second conversion output signal y 2 m is corrected using the norm when the second conversion T 2 is performed by the second conversion unit 130.
  • the quantization unit 140a generates a quantization coefficient C n by quantizing the converted output signal y n .
  • the quantization unit 140a without using the norm correction value in the same manner as without correction quantization unit 141 quantizes the transform output signal y n.
  • the quantization unit 140a divides the converted output signal y n in level scale LevelScale_1 using no norm correction value, and shifted down (qp / 6-4), by rounding to an integer value, A quantization coefficient C n is generated (refer to Equations 6 and 7; C 1 (i, j) is read as C (i, j) and y 2 (i, j) is read as y (i, j)).
  • FIG. 15 is a flowchart showing an example of the operation of the encoding device 100a shown in FIG.
  • the inputted converted input signal x n, first converter 110 by performing a first conversion T 1, to generate a first conversion output signal y 1 n (S110).
  • the dividing unit 120 generates the first partial signal y 1L m and the second partial signal y 1H nm by dividing the generated first converted output signal y 1 n (S120). Since the specific processing of the first conversion and division is the same as that in FIG. 6, the description thereof is omitted here.
  • the second conversion unit 130 performs the second conversion on the first partial signal y 1L m
  • the scale correction unit 131a performs the scale correction on the second partial signal y 1H nm (S130a).
  • the second conversion unit 130 performs the second conversion T 2 on the first partial signal y 1L m using the second conversion matrix A 2 m .
  • the second conversion unit 130 performs a norm correction to the first partial signal y 1L m, the first partial signal y '1L m after correction by performing the second conversion T 2
  • the second converted output signal y 2 m is generated.
  • the scale correction unit 131a generates the corrected second partial signal y ′ 1H nm by correcting the second partial signal y 1H nm using the norm of the first conversion matrix A 1 n .
  • either the scale correction or the second inverse transformation may be executed first, or may be executed in parallel processing. When executed in parallel processing, the encoding process can be speeded up.
  • the integration unit 150a generates the converted output signal y n by integrating the second converted output signal y 2 m and the corrected second partial signal y ′ 1H nm (S140a). Then, the quantization unit 140a generates a quantization coefficient C n by quantizing the converted output signal y n (S150a).
  • the entropy encoding unit 160 generates an encoded signal by entropy encoding the quantization coefficient C n (S160).
  • the quantization is performed after the divided signals are integrated. Therefore, compared to the case where the quantization is performed on each of the divided signals, Rounding errors can be reduced, and calculation accuracy can be increased.
  • the first conversion output signal is divided into the first partial signal and the second partial signal and integrated after the second conversion, but is not explicitly divided. It may be substantially divided. That is, of the first conversion output signal may be determined parts of interest to perform the second transformation.
  • FIG. 16 is a block diagram showing an exemplary configuration of encoding apparatus 100b according to a modification of Embodiment 1 of the present invention.
  • the encoding apparatus 100b includes a first conversion unit 110, a second conversion unit 130b, a quantization unit 140b, and an entropy encoding unit 160.
  • symbol is attached
  • the second conversion unit 130b uses the second conversion matrix A 2 determined based on the statistical characteristics of the set including the first partial signal y 1L m which is a part of the first conversion output signal y 1 n .
  • the second conversion output signal y 2 m is generated by performing the second conversion T 2 on the one partial signal y 1L m .
  • the second conversion unit 130b determines a coefficient value that is a target of the second conversion T 2 out of coefficient values constituting the first conversion output signal y 1 n, and is configured from the determined coefficient value.
  • the second conversion T 2 is performed as a first partial signal y 1L m .
  • the second conversion unit 130b performs correction using a predetermined scaling parameter on the first partial signal y 1L m , thereby correcting the first partial signal y ′ 1L m after correction. Is generated. Then, the second conversion unit 130b performs the second conversion T 2 using the second conversion matrix A 2 on the corrected first partial signal y ′ 1L m to obtain the second conversion output signal y 2 m .
  • the scaling parameter is, for example, the norm of the first transformation matrix A 1 n as described above, or a weight scale of a quantization matrix described later.
  • the second conversion unit 130b by performing the correction using the predetermined scaling parameter to a second transformation matrix A 2 m, the second transformation matrix A 'after the correction may generate 2 m. Then, the second conversion unit 130b performs the second conversion T 2 using the corrected second conversion matrix A ′ 2 m on the first partial signal y 1L m , so that the second conversion output signal y 2 m is obtained. It may be generated.
  • Quantization unit 140b may be quantized to the first partial signal y 1L m, and a second partial signal y IH nm is a portion other than the first partial signal y 1L m of the first conversion output signal y 1 n Thus, the quantization coefficient C n is generated.
  • FIG. 17 is a flowchart showing an example of the operation of the encoding device 100b shown in FIG.
  • the inputted converted input signal x n, first converter 110 by performing a first conversion T 1, to generate a first conversion output signal y 1 n (S110). Since the specific processing of the first conversion is the same as that in FIG. 6, the description thereof is omitted here.
  • the second conversion unit 130b performs the second conversion on the first partial signal y 1L m (S130b). For example, the second conversion unit 130b determines, as the first partial signal y 1L m , a portion to be subjected to the second conversion T 2 in the first converted output signal y 1 n , and the determined first partial signal A second transformation T 2 is performed on y 1L m using the second transformation matrix A 2 m .
  • second conversion unit 130b determines the second transformation matrix A 2 to be multiplied by the first partial signal y 1L m of the first conversion output signal y 1 n.
  • the first partial signal y 1L m is substantially obtained by setting the coefficient of the second conversion matrix A 2 multiplied by the second partial signal y 1H nm in the first converted output signal y 1 n to 1. Only the second conversion T 2 can be performed.
  • the quantization unit 140b quantizes the conversion output signal y n including the second conversion output signal y 2 m to generate a quantization coefficient C n (S150b).
  • the entropy encoding unit 160 generates an encoded signal by entropy encoding the quantization coefficient C n (S160).
  • the encoding apparatus 100b also performs an increase in the amount of calculation in the encoding process and an increase in the data amount of the transform coefficient by performing two-stage conversion partially. Can be suppressed.
  • the decoding apparatus generates a decoded signal by performing entropy decoding, inverse quantization, and inverse transform on the encoded signal.
  • the inverse transform includes a second inverse transform and a first inverse transform, and the second inverse transform is performed on the first decoded quantized coefficient that is a part of the decoded quantized coefficient generated by performing entropy decoding.
  • the decoding apparatus uses the norm calculated from the first inverse transform coefficient to obtain the first decoded quantized coefficient after the second inverse transform or the second inverse transform coefficient used for the second inverse transform. It is characterized by correcting.
  • FIG. 1 an example of the configuration of the decoding apparatus according to Embodiment 2 will be described with reference to FIG.
  • FIG. 18 is a block diagram illustrating an example of a configuration of the decoding device 500 according to the second embodiment.
  • the decoding apparatus 500 receives an encoded signal that is a signal obtained by encoding various data such as audio data, still image data, and moving image data.
  • the decoding device 500 includes an entropy decoding unit 510, a dividing unit 520, an inverse quantization unit 530, a second inverse transform unit 540, an integration unit 550, and a first inverse transform unit 560. Is provided.
  • the encoded signal input to the decoding device 500 is a signal generated by converting and quantizing an input signal indicating various data input to the encoding device. More specifically, the encoded signal is a signal generated by converting the input signal from the space-time domain to the frequency domain and further converting a part of the converted signal. That is, the encoded signal is a signal that has been subjected to two-stage conversion. For example, the encoded signal is a signal generated by the encoding apparatus 100 according to Embodiment 1.
  • the entropy decoding unit 510 generates decoded quantized coefficients C ⁇ n by entropy decoding the encoded signal.
  • the decoded quantized coefficient C ⁇ n is output to the dividing unit 520.
  • control information for correctly decoding the encoded signal is described as header information. Therefore, the entropy decoding unit 510 acquires the control information and outputs it to each processing unit.
  • the control information may include, for example, division integration information, a first inverse transform coefficient, a second inverse transform coefficient, and the like.
  • the dividing unit 520 divides the decoded quantized coefficient C ⁇ n into a first decoded quantized coefficient C ⁇ 1 m and a second decoded quantized coefficient C ⁇ 2 nm based on the divided integration information.
  • First decoding quantized coefficients C ⁇ 1 m corresponds to the first quantization coefficient C 1 m was generated without correction quantization unit 141 according to the first embodiment
  • the second decoded quantized coefficients C ⁇ 2 nm is This corresponds to the second quantization coefficient C 2 nm generated by the quantization unit with correction 142 according to the first embodiment.
  • the division integration information is information indicating how to divide the decoded quantization coefficient C ⁇ n , and specifically, how to convert the signal to be converted (first conversion) during the conversion process by the encoding device. Is the information indicating whether the first converted output signal) is divided.
  • the division integration information may be included in the encoded signal, or may be stored in an internal memory provided in the decoding device 500 or the like. In particular, when the conversion target signal is divided at a fixed position, the code amount of the encoded signal can be reduced by storing the division integration information in the memory.
  • the inverse quantization unit 530 includes an uncorrected inverse quantization unit 531 and a corrected inverse quantization unit 532, and dequantizes the first decoded quantized coefficient C ⁇ 1 m to thereby generate a second decoded transformed output signal y.
  • ⁇ 2 m is generated, and the second decoded partial signal y 1 H nm is generated by inversely quantizing the second decoded quantization coefficient C 2 nm .
  • the non-correction inverse quantization unit 531 generates the second decoded transform output signal y 2 m by dequantizing the first decoded quantized coefficient C 1 m without using a predetermined scaling parameter.
  • the predetermined scaling parameter is the same as that described in the first embodiment, and is, for example, a quantization matrix or a norm correction value for determining a level scale.
  • the second inverse transform unit 540 performs correction processing using a norm correction value as a predetermined scaling parameter.
  • the uncorrected inverse quantization unit 531 multiplies the first decoded quantization coefficient C ⁇ 1 m by the level scale LevelScale_1 that does not use the norm correction value that is the above-described scaling parameter, thereby obtaining the second decoded transformed output signal y ⁇ . 2 m is generated (see Equation 14).
  • the generated second decoding conversion output signal y 2 m is output to the second inverse conversion unit 540.
  • the level scale LevelScale_1 is expressed by Equation 7. Further, qp% 6 shows a remainder obtained by dividing the value of the quantization parameter qp 6.
  • the quantization parameter qp is described as control information for decoding the encoded signal in the header of the encoded signal. That is, the level scale LevelScale_1 is a value determined based on the frequency position and the quantization parameter.
  • the inverse quantization unit 532 with correction generates the second decoded partial signal y 1 H nm by dequantizing the second decoded quantization coefficient C 2 nm using the norm correction value that is the scaling parameter. To do. For example, the inverse quantization unit 532 with correction multiplies the second scaled scale coefficient C ⁇ 2 nm by the level scale LevelScale using the norm correction value, and shifts up by (qp / 6-4), thereby A decoded partial signal ⁇ 1H nm is generated (see Equation 15). The generated second decoded partial signal y 1H nm is output to the integration unit 550.
  • the second inverse transform unit 540 inversely transforms the second decoded transform output signal y 2 m using the second inverse transform matrix A ⁇ 1 2 m and uses the norm correction value that is the above scaling parameter. By performing the correction, the first decoded partial signal y 1 L m is generated. Specifically, the second inverse transform unit 540, by performing the correction to the second decoded transformed signals y ⁇ '1L m after inverse transform, to generate a first decoded partial signal y ⁇ 1L m. That is, the second inverse transform unit 540 performs an inverse transform process (second inverse transform T 2 ⁇ 1 ) that is a process opposite to the conversion process (second transform T 2 ) performed by the second transform unit 130 according to the first embodiment. ) Is performed on the second decoded conversion output signal y 2 m . A more specific configuration will be described later.
  • the integration unit 550 generates the first decoded conversion output signal y 1 n by integrating the first decoded partial signal y 1 L m and the second decoded partial signal y 1 H nm using the division integration information. To do.
  • the generated first decoded transform output signal y 1 n is output to the first inverse transform unit 560.
  • the first inverse transform unit 560 inversely transforms the first decoded transform output signal y 1 n using the first inverse transform matrix A ⁇ 1 1 n to generate a decoded signal. Specifically, the first inverse transform unit 560 performs an inverse transform process (first inverse transform T) that is a process opposite to the transform process (first transform T 1 ) performed by the first transform unit 110 according to the first embodiment. 1 ⁇ 1 ) is performed on the first decoded converted output signal y 1 n .
  • first inverse transform T an inverse transform process that is a process opposite to the transform process (first transform T 1 ) performed by the first transform unit 110 according to the first embodiment. 1 ⁇ 1 ) is performed on the first decoded converted output signal y 1 n .
  • the first inverse transform unit 560 performs the first inverse transform T 1 ⁇ 1 on the first decoded transform output signal y 1 n using the first inverse transform matrix A ⁇ 1 1 n . Specifically, the first inverse transform unit 560 calculates an inverse matrix of the first transform matrix A 1 n and inverses the first decoded transform output signal y 1 n according to Equation 13 using the calculated inverse matrix. Convert.
  • the first inverse transformation matrix A ⁇ 1 1 n is determined based on the statistical characteristics of the set including the transformed input signal y 1 n that is the signal to be transformed. For example, a coefficient determined by KLT.
  • the first inverse transform unit 560 may perform inverse DCT transform as the first inverse transform T 1 ⁇ 1 . In this case, since the first inverse transform coefficient is a fixed coefficient, the first inverse transform is performed. It may be stored in an internal memory provided in the unit 560.
  • the following describes a specific configuration of the second inverse transformation unit 540 according to the second embodiment.
  • FIG. 19 is a block diagram illustrating an example of the configuration of the second inverse transform unit 540 according to the second embodiment.
  • FIG. 20 is a diagram conceptually illustrating an example of a data flow in the second inverse transform unit 540 according to Embodiment 2.
  • the second inverse transform unit 540 includes a second inverse transform processing unit 541 and a scale inverse correction unit 542.
  • the second inverse transformation processing unit 541 inversely transforms the second decoded transformed output signal y ⁇ 2 m using the second inverse transformed matrix A -1 2 n, thereby performing the second decoded transformed output signal y after inverse transformation.
  • ⁇ 'Generate 1L m For example, an inverse matrix of the second conversion matrix A 2 n is calculated, and the second decoded conversion output signal y 2 m is inversely converted according to Equation 13 using the calculated inverse matrix.
  • the scale inverse correction unit 542 corrects the second decoded transformed output signal y ⁇ ′ 1L m after the inverse transformation using the norm calculated from the first inverse transformation matrix A ⁇ 1 1 n .
  • the norm is calculated according to Equation 9 as in the first embodiment.
  • the scale inverse correction unit 542 calculates a norm, and corrects the second decoded conversion output signal y ⁇ ′ 1L m after inverse conversion using the calculated norm.
  • the scale inverse correction unit 542 may hold the norm in an internal memory or the like.
  • the scale reverse correction unit 542 performs a reverse correction process that is a process opposite to the scale correction unit 131 according to the first embodiment. Specifically, as shown in Expression 16, the scale inverse correction unit 542 multiplies the second decoded conversion output signal y ⁇ ′ 1L m after the inverse conversion by the norm, thereby obtaining the first decoded partial signal y 1L m. Is generated.
  • the multiplication shown in Expression 16 is performed for each element included in the second decoded transformed output signal y ⁇ ′ 1L m after the inverse transformation. That is, the scale inverse correction unit 542 multiplies the element y ⁇ ' 1L (i) of the second decoded converted output signal y ⁇ ' 1L m after the inverse transformation by the norm N (i), thereby obtaining the first decoded partial signal.
  • the element y ⁇ 1L (i) of y ⁇ 1L m is generated.
  • the second decoded transformation output signal y ⁇ ′ 1L m after the inverse transformation generated by the second inverse transformation is used.
  • the norm inverse correction is a process opposite to the norm correction described in the first embodiment, and here is a process of multiplying the target signal by the norm.
  • first transformation and the second transformation are separable (horizontal transformation and vertical transformation are sequentially performed) or non-separable (considering a one-dimensional data string, one transformation is performed)
  • the derivation method is slightly different. Details will be described below.
  • the norm derivation method described above may be used.
  • the first transformation is a separation type and the second transformation is a non-separation type will be described.
  • the horizontal transformation norm of the first transformation is N H (j) and the vertical transformation norm is N V (i) (1 ⁇ i, j ⁇ M).
  • i indicates the horizontal position in the block
  • j indicates the vertical position in the block.
  • N () used in Expression 16 is obtained as N H (j) * N V (i). If the scan order in which blocks are indexed in raster order is k, i is a value obtained by dividing k by M, and j is a remainder obtained by dividing k by M.
  • the first conversion is a non-separation type and the second conversion is a separation type
  • it is realized by switching the norm correction amount in units of columns or rows in the horizontal or vertical conversion of the second conversion.
  • FIG. 21 is a flowchart showing an example of the operation of the decoding apparatus 500 according to the second embodiment.
  • an encoded signal obtained by encoding audio data or moving image data is input to the decoding device 500.
  • the entropy decoding unit 510 obtains the decoded quantized coefficient C ⁇ n by entropy decoding the input encoded signal (S410). Note that when the encoded signal includes control information such as the division integration information, the first inverse transformation matrix A ⁇ 1 1 n , and the second inverse transformation matrix A ⁇ 1 2 m , the entropy decoding unit 510 The control information is acquired, and the acquired control information is output to each processing unit.
  • the dividing unit 520 divides the decoded quantized coefficients C ⁇ n the first decoded quantized coefficients C ⁇ 1 m and the second decoded quantized coefficients C ⁇ 2 nm (S420 ). At this time, the dividing unit 520 divides the decoded quantized coefficient C ⁇ n using, for example, the division integration information input from the entropy decoding unit 510 or using the division integration information read from the internal memory.
  • the inverse quantization unit 530 inversely quantizes the first decoded quantized coefficient C 1 m and the second decoded quantized coefficient C 2 nm (S430). Specifically, the inverse quantization unit 531 without correction generates the second decoded transform output signal y 2 m by dequantizing the first decoded quantized coefficient C 1 m . Further, the dequantization unit with correction 532 generates the second decoded partial signal y 1 H nm by dequantizing the second decoded quantization coefficient C 2 nm . Note that either the process performed by the uncorrected inverse quantization unit 531 or the process performed by the corrected inverse quantization unit 532 may precede, or may be performed in parallel processing.
  • the second inverse transform unit 540 inversely transforms the second decoded transform output signal ⁇ 2 m and performs correction using the norm to generate the first decoded partial signal L 1L m ( S440). Specific operations performed by the second inverse transform unit 540 will be described later with reference to FIG.
  • the integrating unit 550 integrates the first decoded partial signal y 1 L m and the second decoded partial signal y 1 H nm by using the division integration information, so that the first decoded conversion output signal y 1. n is generated (S450).
  • the first inverse transformation unit 560 by inverse transforming the first decoded transformed signals y ⁇ 1 n by using the first inverse transformation matrix A -1 1 n, to generate a decoded signal x ⁇ n ( S460).
  • FIG. 22 is a flowchart showing an example of the operation of the second inverse transform unit 540 according to Embodiment 2.
  • the second inverse transform processing unit 541 uses the second inverse transform matrix A -1 2 m to inversely transform the second decoded transform output signal y ⁇ 2 m , so that the second decoded transform output signal after the inverse transform.
  • y ⁇ ' 1L m is generated (S441).
  • the scale inverse correction unit 542 generates a first decoded partial signal y 1L m by multiplying the second decoded converted output signal y ⁇ ′ 1L m after the inverse transformation by a norm (S442).
  • the scale inverse correction unit 542 calculates a norm from the first inverse transformation matrix A ⁇ 1 1 n and uses the calculated norm.
  • the second decoding conversion output signal y ⁇ ' 1L m after the inverse conversion is corrected.
  • second inverse transform section 540 performs the second decoded transform output after conversion generated by performing the second inverse transform on the second decoded transform output signal. Reverse norm correction is performed on the signal.
  • FIG. 23 is a block diagram showing an example of the configuration of the second inverse transform unit 640 according to a modification of the second embodiment.
  • FIG. 24 is a diagram conceptually illustrating an example of a data flow in the second inverse transform unit 640 according to Embodiment 2.
  • the second inverse transform unit 640 includes a second inverse transform processing unit 541 and a correction coefficient deriving unit 642.
  • the correction coefficient deriving unit 642 corrects the second inverse transformation matrix A ⁇ 1 2 m using the norm calculated from the first inverse transformation matrix A ⁇ 1 1 n .
  • the norm is calculated by Equation 9. Specifically, the correction coefficient deriving unit 642 corrects the second inverse transformation matrix A ⁇ 1 2 m according to Equation 17. That is, the correction coefficient deriving unit 642 generates a corrected second inverse transformation matrix A ′ ⁇ 1 2 m by multiplying the second inverse transformation matrix A ⁇ 1 2 m by the norm.
  • the second inverse transform processing unit 541 performs inverse transform on the second decoded transform output signal y ⁇ 2 m by using the corrected second inverse transform matrix A ′ ⁇ 1 2 m , whereby the first decoded partial signal y. ⁇ Generate 1L m .
  • FIG. 25 is a flowchart showing an example of the operation of the second inverse transform unit 640 according to the modification of the second embodiment.
  • the correction coefficient deriving unit 642 uses the norm calculated from the first inverse transformation matrix A ⁇ 1 1 n to correct the second inverse transformation matrix A ⁇ 1 2 m according to Equation 17, thereby obtaining the correction coefficient.
  • a corrected second inverse transformation matrix A ′ ⁇ 1 2 m is derived (S541).
  • the second inverse transform processing unit 541 performs the first decoding by inversely transforming the second decoded transform output signal ⁇ 2 m using the corrected second inverse transform matrix A ′ ⁇ 1 2 m.
  • a partial signal y 1 L m is generated (S542).
  • the correction coefficient is derived for each set S C used for deriving the second inverse transformation matrix A ⁇ 1 2 m , for example. Therefore, the amount of calculation can be reduced as compared with the case where correction is performed every time the second decoded conversion output signal y 2 m as shown in FIG. 20 is input.
  • the effect of improving the coding efficiency can also be obtained by performing the norm inverse correction on the second inverse transformation matrix A ⁇ 1 2 m instead of the second decoded transformation output signal ⁇ 2 m. it can.
  • the present invention may be applied to prediction decoding to decode a predictive coded signal.
  • Figure 26 is a diagram showing an example of a configuration of a decoding apparatus 700 according to a modification of the second embodiment.
  • the decoding apparatus 700 receives an encoded signal that has been predictively encoded.
  • the encoded signal subjected to predictive encoding is, for example, an encoded signal output from the encoding device 400 illustrated in FIG. 12, and is a signal generated by converting and quantizing the prediction error signal.
  • 26 includes an entropy decoding unit 510, an inverse quantization / inverse transform unit 720, an adder 730, a memory 740, and a prediction unit 750. Note that processing units that perform the same operations as those of the decoding device 500 illustrated in FIG. 18 are denoted by the same reference numerals, and description thereof is omitted below.
  • the inverse quantization / inverse transform unit 720 includes a dividing unit 520, an inverse quantization unit 530, a second inverse transform unit 540, an integration unit 550, and a first inverse transform unit 560 illustrated in FIG. .
  • the adder 730 generates a decoded signal by adding the decoded transform input signal output from the inverse quantization / inverse transform unit 720 and the prediction signal generated by the prediction unit 750.
  • the memory 740 is an example of a storage unit such as a memory that stores a decoded signal.
  • the prediction unit 750 generates a prediction signal with reference to the previously decoded signal stored in the memory 740.
  • the generated prediction signal is output to the adder 730.
  • the prediction unit 750 generates a prediction signal based on the control information input from the entropy decoding unit 510.
  • FIG. 27 is a flowchart showing an example of the operation of the decoding apparatus 700 according to the modification of the second embodiment.
  • an encoded signal obtained by predictively encoding an input signal such as audio data or moving image data is input to the decoding device 700. That is, the encoded signal is a signal generated by converting, quantizing, and entropy encoding a prediction error signal that is a difference between the input signal and the prediction signal.
  • the prediction unit 750 generates a prediction signal based on the decoded signal stored in the memory 740 (S600).
  • the inverse quantization / inverse transform unit 720 performs entropy decoding, division, inverse quantization, second inverse transform with correction, integration, and first on the encoded signal.
  • a decoded prediction error signal is generated by performing 1 inverse transform (S410 to S460).
  • the decoded prediction error signal is a signal generated by inversely transforming the first decoded conversion output signal y ⁇ 1 n and is a signal corresponding to the prediction error signal.
  • the adder 730 generates a decoded signal by adding the prediction signal and the decoded prediction error signal (S670).
  • the adder 730 stores the generated decoded signal in the memory 740 as a reference signal and outputs the decoded signal to the outside as an output signal (S680).
  • the generation of the prediction signal (S600) may be performed after the entropy decoding process (S410). Further, the generation of the prediction signal (S600) and the division processing (S420) to the first inverse transformation (S460) may be parallelized.
  • the decoding apparatus 700 can decode the encoded signal obtained by encoding the prediction error signal.
  • the encoded signals that are separately quantized and entropy-coded may be decoded without integrating the second partial signal and the second converted output signal. That is, since the second decoded partial signal and the second decoded conversion output signal are generated by entropy decoding and inverse quantization, the decoding apparatus 500 may not include the dividing unit 520.
  • the inverse quantization unit 530 is configured not to include the uncorrected inverse quantization unit 531 and the corrected inverse quantization unit 532 but to switch the presence / absence of correction within one inverse quantization unit 530. May be.
  • decoding apparatus 500 after dividing the decoded quantized coefficients C ⁇ n the first decoded quantized coefficients C ⁇ 1 m and the second decoded quantized coefficients C ⁇ 2 nm although the inverse quantization is performed, the decoded quantization coefficient C ⁇ n may be divided after being inversely quantized. That is, the inverse quantization may be performed on one signal before division without separately performing the inverse quantization on the two signals.
  • FIG. 28 is a diagram illustrating an example of a configuration of a decoding device 500a according to a modification of the second embodiment of the present invention.
  • a conversion unit 560 includes an entropy decoding unit 510, a dividing unit 520a, an inverse quantization unit 530a, a second inverse transform unit 540, a scale inverse correction unit 542a, an integration unit 550, and a first inverse unit.
  • a conversion unit 560 includes an entropy decoding unit 510, a dividing unit 520a, an inverse quantization unit 530a, a second inverse transform unit 540, a scale inverse correction unit 542a, an integration unit 550, and a first inverse unit.
  • symbol is attached
  • the inverse quantization unit 530a generates a decoded transform output signal y ⁇ n by inversely quantizing the decoded quantization coefficient C ⁇ n generated by the entropy decoding unit 510. Specifically, the inverse quantization unit 530a multiplies the decoded quantization coefficient C ⁇ n by the level scale LevelScale_1 that does not use the norm correction value to generate the decoded converted output signal y ⁇ n (see Equation 14, C ⁇ 1 (i, j) is read as C ⁇ (i, j), and y ⁇ 2 (i, j) is read as y ⁇ (i, j)).
  • the generated decoded conversion output signal y ⁇ n includes the second decoded conversion output signal y ⁇ 2 m and the second decoded partial signal y ⁇ ′ 1H nm before correction.
  • Dividing unit 520a based on the segmentation-concatenation information, the decoded converted output signal y ⁇ n generated by the inverse quantization unit 530a, a second decoded transformed signals y ⁇ 2 m, the uncorrected second decoded partial signal Divide into y ⁇ ' 1H nm .
  • Second decoding conversion output signal y ⁇ 2 m corresponds to a second conversion output signal y 2 m the second converter 130 according to a modification of the first embodiment was produced.
  • the second decoded partial signal y ′ 1H nm before correction corresponds to the corrected second partial signal y ′ 1H nm generated by the scale correction unit 131a according to the modification of the first embodiment.
  • Scale inverse correction section 542a has a second decoded partial signal y ⁇ 'IH nm before correction output from the division unit 520a, by correcting using a predetermined scaling parameter, the second decoding portion signal y ⁇ IH nm Is generated.
  • the scale reverse correction unit 542a performs a reverse correction process (scale reverse correction) that is a process opposite to the scale correction unit 131a according to the modification of the first embodiment.
  • the scale inverse correction unit 542a by multiplying the norm to the second decoded partial signal y ⁇ 'IH nm before correction, the second decoding portion signal y ⁇ IH nm to produce a (see formula 16, y ⁇ 1L (i) is read as y ⁇ 1H (i), and y ⁇ ' 1L (i) is read as y ⁇ ' 1H (i)).
  • FIG. 29 is a flowchart showing an example of the operation of the decoding device 500a shown in FIG.
  • an encoded signal obtained by encoding audio data or moving image data is input to the decoding device 500a.
  • the entropy decoding unit 510 generates a decoded quantized coefficient C ⁇ n by entropy decoding the input encoded signal (S410).
  • the inverse quantization unit 530a generates a decoded transform output signal y ⁇ n by inversely quantizing the decoded quantization coefficient C ⁇ n (S420a).
  • the dividing unit 520a divides the decoded converted output signal y ⁇ n into the second decoded converted output signal y ⁇ 2 m and the second decoded partial signal y ⁇ ′ 1H nm before correction (S430a).
  • the second inverse transform unit 540 performs the second inverse transform T 2 ⁇ 1 on the second decoded transform output signal ⁇ 2 m, and the scale inverse corrector 542a performs the second decoded partial signal y before correction.
  • ⁇ 'Reverse scale correction is performed to 1H nm (S440a).
  • the second inverse transform unit 540 performs inverse transform on the second decoded transform output signal ⁇ 2 m using the second inverse transform matrix A ⁇ 1 2 m, and performs the second transform after the inverse transform. by performing the second decoding converted output signal y ⁇ '1L m norm correction, and generates a first decoded partial signal y ⁇ 1L m.
  • the scale inverse correction unit 542a by performing the second decoding portion signal y ⁇ 'IH nm norm inverse correction before the correction, and generates a second decoded partial signal y ⁇ IH nm.
  • the integration unit 550 integrates the first decoded partial signal y 1 L m and the second decoded partial signal y 1 H nm , so that the first decoded conversion output is obtained.
  • a signal y ⁇ 1 n is generated (S450).
  • the first inverse transformation unit 560 by performing the first inverse transformation on the first decoded transformed signals y ⁇ 1 n, to generate a decoded signal x ⁇ n (S460).
  • the divided signals are integrated and then quantized.
  • the generated encoded signal can be decoded.
  • the decoded quantized coefficient is divided into the first decoded quantized coefficient and the second decoded quantized coefficient and integrated after the second inverse transform, but explicitly It is not necessary to divide. That is, among the decoded quantized coefficients may be determined parts of interest to perform a second inverse transformation.
  • FIG. 30 is a block diagram showing an exemplary configuration of decoding apparatus 500b according to Embodiment 2 of the present invention.
  • the decoding apparatus 500b includes an entropy decoding unit 510, an inverse quantization unit 530b, a second inverse transform unit 540b, and a first inverse transform unit 560.
  • symbol is attached
  • the inverse quantization unit 530b generates a decoded transform output signal y ⁇ n by inversely quantizing the decoded quantization coefficient C ⁇ n .
  • the inverse quantization unit 530b a predetermined scaling parameter (e.g., norm) without using the inverse quantizes the first decoded quantized coefficients C ⁇ 1 m, which is part of the decoded quantized coefficients C ⁇ n it is to generate a second decoded transformed signals y ⁇ 2 m, and with a scaling parameter, a is the first decoded quantized coefficients C ⁇ 1 part other than m of decoding quantized coefficients C ⁇ n
  • the second decoded partial signal y 1 H nm is generated by dequantizing the two decoded quantized coefficients C 2 nm .
  • the inverse quantization unit 530b multiplies the decoded quantization coefficient C ⁇ n by the level scale LevelScale_1 that does not use the norm correction value, thereby obtaining the decoded conversion output signal y ⁇ . n may be generated.
  • the second inverse transform unit 540b performs the second inverse transform T 2 ⁇ 1 only on the second decoded transform output signal y 2 m in the decoded transform output signal y ⁇ n .
  • the second inverse transform unit 540b performs the inverse transform on the second decoded transform output signal ⁇ 2 m using the second inverse transform matrix A ⁇ 1 2 m , similarly to the second inverse transform unit 540, By performing correction using the scaling parameter, the first decoded partial signal y 1L m is generated.
  • the scaling parameter is, for example, the norm of the first inverse transformation matrix A ⁇ 1 1 n or the weight scale of the dictating quantization matrix.
  • FIG. 31 is a flowchart showing an example of the operation of the decoding device 500b shown in FIG.
  • the entropy decoding unit 510 generates a decoded quantized coefficient C ⁇ n by entropy decoding the input encoded signal (S410).
  • inverse quantization unit 530b by inversely quantizing the decoded quantized coefficients C ⁇ n, and generates a decoded transformed signals y ⁇ n (S420b).
  • the inverse quantization unit 530b only the second decoded quantized coefficients C ⁇ 2 nm is that do not qualify portion of the second inverse transformation T 2 -1 of the dequantized coefficient C ⁇ n, the scaling Perform inverse quantization using parameters. Then, the inverse quantization unit 530b is in the first decoded quantized coefficients C ⁇ 1 n is interesting portions of the second inverse transformation T 2 -1 of the dequantized coefficient C ⁇ n, using the scaling parameters Without performing inverse quantization.
  • the inverse quantization unit 530b includes the first dequantized coefficient C ⁇ 1 m Dequantizes substantially without using scaling parameters.
  • the second inverse transform unit 540b among the decoded transform output signal y ⁇ n, by inverse transforming the second decoded transformed signals y ⁇ 2 m is subject to parts of the second inverse transformation, the One decoded partial signal y 1L m is generated (S440b). Then, the second inverse transform unit 540b outputs a first decoded conversion output signal y 1 n including the generated first decoded partial signal y 1 L m and the second decoded partial signal y 1 H nm .
  • the first inverse transform unit 560 performs the first inverse transform T 1 ⁇ 1 on the first decoded transform output signal ⁇ 1 n using the first inverse transform matrix A ⁇ 1 1 n , whereby the decoded signal x ⁇ n is generated (S460).
  • the decoding apparatus 500b also uses an encoded signal that has been subjected to two-stage conversion in order to suppress an increase in the amount of computation and an increase in the data amount of the transform coefficient. Can be decrypted.
  • the coding apparatus according to the first embodiment corrects the second transform coefficient or the first partial signal using the norm calculated from the first transform coefficient before the second transform, whereas
  • the encoding device according to No. 3 is characterized in that the scaling of the quantization matrix is reflected in the second transform coefficient or the first partial signal before the second transform. That is, the coding apparatus according to Embodiment 3 corrects the second transform coefficient or the first partial signal using a quantization matrix.
  • the encoding apparatus according to the third embodiment is different from the encoding apparatus 100 according to the first embodiment shown in FIG. 3 in that a second conversion unit 830 is provided instead of the second conversion unit 130. .
  • Other structures is omitted because it is same as the encoding apparatus 100 shown in FIG. 3, the explanation will be omitted herein.
  • FIG. 32 is a block diagram illustrating an example of a configuration of the second conversion unit 830 according to the third embodiment.
  • FIG. 33 is a diagram conceptually illustrating an example of a data flow in second conversion unit 830 according to Embodiment 3.
  • the second conversion unit 830 includes a scale correction unit 831, a second conversion processing unit 132, and a post scale correction unit 833.
  • the scale correction unit 831 corrects the first partial signal y 1L m using the quantization matrix used in the quantization unit 140. Specifically, the scale correction unit 831 corrects the first partial signal y 1L m according to Equation 18 and Equation 19. That is, the scale correction unit 831 generates the corrected first partial signal y ′ 1L m by multiplying the first partial signal y 1L m by the inverse number mf of the quantization matrix. In other words, the scale correction unit 831 generates the corrected first partial signal y ′ 1L m by dividing the first partial signal y 1L m by the quantization matrix.
  • f (i) is the value of each element of the weight scale derived from the quantization matrix.
  • the second conversion processing unit 132 generates the converted first partial signal y ′ 2 m by converting the corrected first partial signal y ′ 1L m using the second conversion matrix A 2 m .
  • the post-scale correction unit 833 generates the second converted output signal y 2 m by multiplying the converted first partial signal y ′ 2 m by the correction coefficient mf_2 calculated from the quantization matrix. Specifically, the post-scale correction unit 833 generates the second converted output signal y 2 m by correcting the converted first partial signal y ′ 2 m according to Expression 20 and Expression 21.
  • Equation 22 S (i) is an element of the matrix expressed by Equation 22.
  • the encoding apparatus can reflect the scaling of the quantization matrix in the first partial signal that is the signal before the second conversion, thereby further improving the encoding efficiency. it can.
  • the second conversion unit 830 may not include the post-scale correction unit 833. Instead, the non-correction quantization unit 141 may have the same function as the post-scale correction unit 833 described above. Good.
  • Embodiment 3 Next, the operation of the coding apparatus according to Embodiment 3 will be described.
  • the operation of the coding apparatus according to Embodiment 3 is different in the second conversion process from the operation of coding apparatus 100 according to Embodiment 1 shown in FIG. Other operations are the same as those of the encoding apparatus 100 shown in FIG.
  • Figure 34 is a flowchart showing an example of the operation of the second converter 830 according to the third embodiment.
  • the process shown in FIG. 34 is an example of the second conversion with correction (S130) shown in FIG.
  • the scale correction unit 831 multiplies the first partial signal y 1 m by the inverse number of the quantization matrix according to Equation 18 and Equation 19.
  • the corrected first partial signal y ′ 1L m is generated (S731).
  • the second conversion processing unit 132 performs the second conversion T 2 on the corrected first partial signal y ′ 1L m by using the second conversion matrix A 2 m, thereby converting the first converted first part signal y ′ 1L m .
  • the partial signal y ′ 2 m is generated (S732).
  • the post-scale correction unit 833 generates the second converted output signal y 2 m by multiplying the converted first partial signal y ′ 2 m by the correction coefficient in accordance with Expressions 20 to 22 (S733). .
  • the second conversion unit 830 generates the second converted output signal y 2 m .
  • the second transformation matrix A 2 m is a coefficient determined based on the statistical characteristics of the set including the signal (transformation target signal) that is the target of the second transformation T 2 .
  • the second conversion matrix A 2 m may be corrected instead of the first partial signal y 1L m . That is, the second conversion unit 830 may include a correction coefficient deriving unit 331 as illustrated in FIG. 9 instead of the scale correction unit 831 and the post scale correction unit 833.
  • the correction coefficient deriving unit 331 corrects the second transformation matrix A 2 m using the quantization matrix. Specifically, the correction coefficient deriving unit 331 corrects the second transformation matrix A 2 m according to Equation 23. As shown in Expression 23, the correction coefficient deriving unit 331 calculates the inverse of the quantization matrix element mf (i) and the quantization matrix for each element a 2 (i, j) of the second transformation matrix A 2 m. Multiply by the calculated correction coefficient mf_2 (j).
  • the effect of improving the encoding efficiency can be obtained in the same manner by correcting not the first partial signal y 1L m but the second transformation matrix A 2 m .
  • Embodiment 1 and Embodiment 3 may be combined. That is, the second conversion unit 830 may perform both norm correction and quantization matrix correction on the first partial signal y 1L m or the second conversion matrix A 2 m .
  • the scale correction unit 831 corrects the first partial signal y 1L m according to Equation 24. Specifically, the scale correction unit 831 calculates the inverse of the norm N (i) calculated from the first transformation matrix A 1 n and the quantization for each element y 1L (i) of the first partial signal y 1L m .
  • the corrected first partial signal y ′ 1L m is generated by multiplying the inverse of the matrix element mf (i).
  • the correction coefficient deriving unit 331 corrects the second conversion matrix A 2 m according to Equation 25. Specifically, the correction coefficient deriving unit 331 calculates the inverse of the norm N (i) calculated from the first transformation matrix A 1 n for each element a 2 (i, j) of the second transformation matrix A 2 m. The corrected second transformation matrix A ′ 2 m is generated by multiplying the inverse of the quantization matrix element mf (i) by the correction coefficient mf — 2 (j) calculated from the quantization matrix.
  • the decoding apparatus according to Embodiment 2 corrects the first decoded quantized coefficient or the second inverse transform coefficient after the second inverse transform using the norm calculated from the first inverse transform coefficient.
  • the decoding apparatus according to the fourth embodiment is characterized in that the quantization matrix scaling is reflected in the first decoded quantization coefficient or the second inverse transform coefficient after the second inverse transform. That is, the decoding apparatus according to Embodiment 4 corrects the first decoded quantized coefficient or the second inverse transformed coefficient after the second inverse transform using the quantization matrix.
  • the decoding apparatus according to the fourth embodiment is different from the decoding apparatus 500 according to the second embodiment shown in FIG. 18 in that a second inverse transform unit 940 is provided instead of the second inverse transform unit 540. . Since the other configuration is the same as that of the decoding device 500 shown in FIG. 18, the description thereof is omitted below.
  • FIG. 35 is a block diagram illustrating an example of the configuration of the second inverse transform unit 940 according to the fourth embodiment.
  • FIG. 36 is a diagram conceptually illustrating an example of the data flow in the second inverse transform unit 940 according to Embodiment 4.
  • the second inverse transform unit 940 includes a second inverse transform processing unit 541, a scale inverse correction unit 942, and a post-scale inverse correction unit 943, and the second inverse transformation unit 940 described in the third embodiment. A process opposite to the conversion process performed by the conversion unit 830 is performed.
  • the post scale reverse correction unit 943 performs a process (post scale reverse correction process) opposite to the process performed by the post scale correction unit 833. Specifically, the post-scale inverse correction unit 943 multiplies the second decoding conversion output signal y ⁇ 2 m by the reciprocal of the correction coefficient mf_2 calculated from the quantization matrix, thereby performing the second decoding conversion output after the inverse correction. The signal y ⁇ ' 2 m is generated. This is equivalent to dividing the second decoded conversion output signal y ⁇ 2 m by the correction coefficient mf_2 as shown in Equation 26.
  • the correction coefficient mf_2 (j) is expressed by Expression 21 and Expression 22.
  • the second inverse conversion processing unit 541 performs processing opposite to the processing performed by the second conversion processing unit 132 (second inverse conversion T 2 ⁇ 1 ). Specifically, the second inverse transformation processing unit 541 uses the second inverse transformation matrix A ⁇ 1 2 m to convert the second inverse transformation T 2 into the second decoded transformation output signal y ⁇ ′ 2 m after inverse correction. By performing ⁇ 1 , the second decoded conversion output signal y ⁇ ′ 1L m after the inverse conversion is generated.
  • the scale reverse correction unit 942 performs a process (scale reverse correction process) opposite to the process performed by the scale correction unit 831. Specifically, the scale inverse correction unit 942 generates the first decoded partial signal y 1L m by multiplying the second decoded converted output signal y ⁇ ′ 1L m after the inverse conversion by the quantization parameter. Note that this is equivalent to dividing the second decoded conversion output signal y 2 m by the correction coefficient mf as shown in Equation 27.
  • the operation of the decoding apparatus according to the fourth embodiment is different from the operation of the decoding apparatus 500 according to the second embodiment shown in FIG. 21 in the second inverse transform process. Other operations are the same as those of the decoding device 500 shown in FIG.
  • Figure 37 is a flowchart showing an example of the operation of the second inverse transformation unit 940 according to the fourth embodiment.
  • the process shown in FIG. 37 is an example of the second inverse transformation with correction shown in FIG. 21 (S440).
  • the post-scale inverse correction unit 943 converts the reciprocal of the correction coefficient mf_2 to the second decoded transform output signal y according to Equation 26. ⁇ by multiplying the 2 m, to produce a second decoded transformed signals y ⁇ '2 m after inverse correction (S841).
  • the second inverse transform processing unit 541 uses the second inverse transform matrix A ⁇ 1 2 m for the second decoded transform output signal y ⁇ ′ 2 m after the inverse correction to perform the second inverse transform T 2 ⁇ .
  • the second decoded transformed output signal y ⁇ ' 1L m after the inverse transformation is generated (S842).
  • the scale inverse correction unit 942 generates the first decoded partial signal y 1 L m by multiplying the second decoded converted output signal y ⁇ 1 L m after the inverse conversion by the quantization matrix according to Equation 27. (S843).
  • the second inverse transform unit 940 generates the first decoded partial signal y ⁇ 1L m .
  • the second inverse transformation matrix A ⁇ 1 2 m is a coefficient determined based on the statistical characteristics of the set including the signal (transformation target signal) that is the target of the second transformation T 2 .
  • the second inverse transformation matrix A ⁇ 1 2 m may be corrected instead of the second decoded transformation output signal y ⁇ ′ 1L m after the inverse transformation.
  • the second inverse transform unit 940 may include a correction coefficient deriving unit 642 as shown in FIG. 23 instead of the scale inverse correction unit 942 and the post-scale inverse correction unit 943.
  • the correction coefficient deriving unit 642 corrects the second inverse transformation matrix A ⁇ 1 2 m using the quantization matrix. Specifically, the correction coefficient deriving unit 642 corrects the second inverse transformation matrix A ⁇ 1 2 m according to Equation 28. As shown in Expression 28, the correction coefficient deriving unit 642 calculates, for each element a 2 (i, j) of the second inverse transformation matrix A ⁇ 1 2 m , the inverse number mf (i) of the quantization matrix element and the quantum Divide by the correction coefficient mf_2 (j) calculated from the quantization matrix.
  • the second embodiment and the fourth embodiment may be combined. That is, the second inverse transform unit 940 converts the norm inverse correction and the quantization matrix inverse correction into the second decoded transformed output signal y ⁇ ′ 1L m or the second inverse transformed matrix A ⁇ 1 2 m after the inverse transformation. You may do both.
  • the scale inverse correction unit 942 calculates the first inverse transformation matrix A ⁇ 1 1 n for each element y ⁇ ′ 1L (i) of the second decoded transformed output signal y ⁇ ′ 1L m after the inverse transformation.
  • a first decoded partial signal y 1 L m is generated by multiplying the calculated norm N (i) and dividing the inverse mf (i) of the quantization matrix element.
  • the correction coefficient deriving unit 642 corrects the second inverse transformation matrix A ⁇ 1 2 m according to Equation 30. Specifically, the correction coefficient derivation unit 642 calculates the norm N calculated from the first inverse transformation matrix A ⁇ 1 1 n for each element a 2 (i, j) of the second inverse transformation matrix A ⁇ 1 2 m. Multiplying by (i) and dividing by the inverse number mf (i) of the elements of the quantization matrix and the correction coefficient mf_2 (j) calculated from the quantization matrix, the corrected second inverse transformation matrix A ′ ⁇ 1 2 m is generated.
  • the storage medium may be any medium that can record a program, such as a magnetic disk, an optical disk, a magneto-optical disk, an IC card, and a semiconductor memory.
  • FIG. 38 is a diagram showing an overall configuration of a content supply system ex100 that realizes a content distribution service.
  • the communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed wireless stations, are installed in each cell.
  • the content supply system ex100 includes a computer ex111, a PDA (Personal Digital Assistant) ex112, a camera ex113, a mobile phone ex114, a game machine ex115 via an Internet service provider ex102, a telephone network ex104, and base stations ex107 to ex110. Etc. are connected.
  • PDA Personal Digital Assistant
  • each device may be directly connected to the telephone network ex104 without going through the base stations ex107 to ex110 which are fixed wireless stations.
  • the devices may be directly connected to each other via short-range wireless or the like.
  • the camera ex113 is a device that can shoot moving images such as a digital video camera
  • the camera ex116 is a device that can shoot still images and movies such as a digital camera.
  • the mobile phone ex114 is a GSM (Global System for Mobile Communications) method, a CDMA (Code Division Multiple Access) method, a W-CDMA (Wideband-Code Division Multiple Access L (Semiconductor Access) method, a W-CDMA (Wideband-Code Division Multiple Access L method, or a high access).
  • GSM Global System for Mobile Communications
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband-Code Division Multiple Access L (Semiconductor Access) method
  • W-CDMA Wideband-Code Division Multiple Access L method
  • a high access A High Speed Packet Access
  • PHS Personal Handyphone System
  • the camera ex113 and the like are connected to the streaming server ex103 through the base station ex109 and the telephone network ex104, thereby enabling live distribution and the like.
  • the content for example, music live video
  • the streaming server ex103 makes the content data transmitted to the clients at their requests stream distribution.
  • the client include a computer ex111, a PDA ex112, a camera ex113, a mobile phone ex114, a game machine ex115, and the like that can decode the encoded data.
  • Each device that has received the distributed data decodes and reproduces the received data.
  • the encoded processing of the captured data may be performed by the camera ex113, the streaming server ex103 that performs the data transmission processing, or may be performed in a shared manner.
  • the decryption processing of the distributed data may be performed by the client, the streaming server ex103, or may be performed in a shared manner.
  • still images and / or moving image data captured by the camera ex116 may be transmitted to the streaming server ex103 via the computer ex111.
  • the encoding process in this case may be performed by any of the camera ex116, the computer ex111, and the streaming server ex103, or may be performed in a shared manner.
  • encoding / decoding processes are generally performed by the computer ex111 and the LSI ex500 included in each device.
  • the LSI ex500 may be configured as a single chip or a plurality of chips.
  • moving image encoding / decoding software may be incorporated in any recording medium (CD-ROM, flexible disk, hard disk, etc.) that can be read by the computer ex111 and the like, and encoding / decoding processing may be performed using the software. Good.
  • moving image data acquired by the camera may be transmitted. The moving image data at this time is data encoded by the LSI ex500 included in the mobile phone ex114.
  • the streaming server ex103 may be a plurality of servers or a plurality of computers, and may process, record, and distribute data in a distributed manner.
  • the encoded data can be received and reproduced by the client.
  • the information transmitted by the user can be received, decrypted and reproduced in real time by the client, and even a user who does not have special rights or facilities can realize personal broadcasting.
  • the image encoding method or the image decoding method described in each of the above embodiments may be used for encoding and decoding of each device constituting the content supply system.
  • FIG. 39 is a diagram illustrating the mobile phone ex114 using the image encoding method and the image decoding method described in the above embodiment.
  • the cellular phone ex114 includes an antenna ex601 for transmitting and receiving radio waves to and from the base station ex110, a video from a CCD camera, a camera unit ex603 capable of taking a still image, a video shot by the camera unit ex603, and an antenna ex601.
  • a display unit ex602 such as a liquid crystal display that displays data obtained by decoding received video and the like, a main body unit composed of a group of operation keys ex604, an audio output unit ex608 such as a speaker for outputting audio, and a voice input Audio input unit ex605 such as a microphone, recorded moving image or still image data, received mail data, moving image data or still image data, etc., for storing encoded data or decoded data
  • Recording media ex607 can be attached to media ex607 and mobile phone ex114 And a slot unit ex606 for.
  • the recording medium ex607 stores a flash memory element, which is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory), which is a nonvolatile memory that can be electrically rewritten and erased, in a plastic case such as an SD card.
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the mobile phone ex114 has a power supply circuit ex710, an operation input control unit ex704, and an image encoding unit for a main control unit ex711 that is configured to control the respective units of the main body unit including the display unit ex602 and the operation key ex604.
  • Unit ex712, camera interface unit ex703, LCD (Liquid Crystal Display) control unit ex702, image decoding unit ex709, demultiplexing unit ex708, recording / reproducing unit ex707, modulation / demodulation circuit unit ex706, and audio processing unit ex705 are connected to each other via a synchronization bus ex713. It is connected.
  • the power supply circuit ex710 activates the camera-equipped digital mobile phone ex114 by supplying power from the battery pack to each unit. .
  • the mobile phone ex114 converts the audio signal collected by the audio input unit ex605 in the audio call mode into digital audio data by the audio processing unit ex705 based on the control of the main control unit ex711 including a CPU, a ROM, a RAM, and the like.
  • the modulation / demodulation circuit unit ex706 performs spread spectrum processing, the transmission / reception circuit unit ex701 performs digital analog conversion processing and frequency conversion processing, and then transmits the result via the antenna ex601.
  • the cellular phone ex114 amplifies the received data received by the antenna ex601 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing by the modulation / demodulation circuit unit ex706, and analog audio by the voice processing unit ex705. After the data is converted, it is output via the audio output unit ex608.
  • text data of the e-mail input by operating the operation key ex604 on the main body is sent to the main control unit ex711 via the operation input control unit ex704.
  • the main control unit ex711 performs spread spectrum processing on the text data in the modulation / demodulation circuit unit ex706, performs digital analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex701, and then transmits the text data to the base station ex110 via the antenna ex601.
  • the image data captured by the camera unit ex603 is supplied to the image encoding unit ex712 via the camera interface unit ex703.
  • the image data captured by the camera unit ex603 can be directly displayed on the display unit ex602 via the camera interface unit ex703 and the LCD control unit ex702.
  • the image encoding unit ex712 is configured to include the image encoding device described in the present invention, and an encoding method using the image data supplied from the camera unit ex603 in the image encoding device described in the above embodiment. Is converted into encoded image data by compression encoding and sent to the demultiplexing unit ex708. At the same time, the mobile phone ex114 sends the sound collected by the audio input unit ex605 during imaging by the camera unit ex603 to the demultiplexing unit ex708 via the audio processing unit ex705 as digital audio data.
  • the demultiplexing unit ex708 multiplexes the encoded image data supplied from the image encoding unit ex712 and the audio data supplied from the audio processing unit ex705 by a predetermined method, and the resulting multiplexed data is a modulation / demodulation circuit unit A spectrum spread process is performed at ex706, a digital-analog conversion process and a frequency conversion process are performed at the transmission / reception circuit unit ex701, and then the signal is transmitted via the antenna ex601.
  • the received data received from the base station ex110 via the antenna ex601 is subjected to spectrum despreading processing by the modulation / demodulation circuit unit ex706, and the resulting multiplexing is obtained.
  • Data is sent to the demultiplexing unit ex708.
  • the demultiplexing unit ex708 separates the multiplexed data into a bit stream of image data and a bit stream of audio data, and a synchronization bus
  • the encoded image data is supplied to the image decoding unit ex709 via ex713 and the audio data is supplied to the audio processing unit ex705.
  • the image decoding unit ex709 has a configuration including the image decoding device described in the present invention, and decodes a bit stream of image data by a decoding method corresponding to the encoding method described in the above embodiment.
  • Reproduced moving image data is generated and supplied to the display unit ex602 via the LCD control unit ex702, whereby, for example, moving image data included in a moving image file linked to a home page is displayed.
  • the audio processing unit ex705 converts the audio data into analog audio data, and then supplies the analog audio data to the audio output unit ex608.
  • the audio data included in the moving image file linked to the home page is reproduced.
  • the present invention is not limited to the above-described system, and recently, digital broadcasting using satellites and terrestrial waves has become a hot topic.
  • any of the decoding devices can be incorporated.
  • audio data, video data, or a bit stream in which such data is multiplexed is transmitted to a communication or broadcasting satellite ex202 via radio waves.
  • the broadcasting satellite ex202 transmits a radio wave for broadcasting, and receives the radio wave with a home antenna ex204 having a satellite broadcasting receiving facility, such as a television (receiver) ex300 or a set top box (STB) ex217.
  • the device decodes the bitstream and reproduces it.
  • the reader / recorder ex218 that reads and decodes the bit stream in which the image data recorded on the storage media ex215 and 216 such as CD and DVD, which are recording media, and audio data are multiplexed is also shown in the above embodiment. It is possible to implement an image decoding device. In this case, the reproduced video signal is displayed on the monitor ex219. Further, a configuration in which an image decoding device is mounted in a set-top box ex217 connected to a cable ex203 for cable television or an antenna ex204 for satellite / terrestrial broadcasting, and this is reproduced on the monitor ex219 of the television is also conceivable. At this time, the image decoding apparatus may be incorporated in the television instead of the set top box. In addition, a car ex210 having an antenna ex205 can receive a signal from a satellite ex202 or a base station or the like, and a moving image can be reproduced on a display device such as a car navigation ex211 included in the car ex210.
  • the moving picture decoding apparatus or moving picture encoding apparatus shown in the above embodiments also in the reader / recorder ex 218 that encodes and records as multiplexed data.
  • the reproduced video signal is displayed on the monitor ex219, and the video signal can be reproduced in another device or system by the recording medium ex215 in which the encoded bitstream is recorded.
  • a moving picture decoding device may be mounted in a set-top box ex217 connected to a cable ex203 for cable television or an antenna ex204 for satellite / terrestrial broadcasting and displayed on a monitor ex219 on the television.
  • the moving picture decoding apparatus may be incorporated in the television instead of the set top box.
  • FIG. 42 is a diagram illustrating a television (receiver) ex300 that uses the moving picture decoding method and the moving picture encoding method described in the above embodiments.
  • the television ex300 obtains or outputs a bit stream of video information via the antenna ex204 or the cable ex203 that receives the broadcast, and the encoded data that demodulates the received encoded data or transmits it to the outside.
  • a multiplexing / separating unit ex303 that separates demodulated video data and audio data or multiplexes encoded video data and audio data.
  • the television ex300 decodes each of the audio data and the video data, or encodes each information, an audio signal processing unit ex304, a signal processing unit ex306 including the video signal processing unit ex305, and outputs the decoded audio signal.
  • the television ex300 includes an interface unit ex317 including an operation input unit ex312 that receives an input of a user operation.
  • the television ex300 includes a control unit ex310 that controls each unit in an integrated manner, and a power supply circuit unit ex311 that supplies power to each unit.
  • the interface unit ex317 includes a bridge ex313 connected to an external device such as a reader / recorder ex218, a slot unit ex314 for enabling recording media ex216 such as an SD card, and an external recording such as a hard disk
  • a driver ex315 for connecting to a medium, a modem ex316 for connecting to a telephone network, and the like may be included.
  • the recording medium ex216 is capable of electrically recording information by using a nonvolatile / volatile semiconductor memory element to be stored.
  • Each part of the television ex300 is connected to each other via a synchronous bus.
  • the television ex300 receives a user operation from the remote controller ex220 or the like, and demultiplexes the video data and audio data demodulated by the modulation / demodulation unit ex302 by the multiplexing / separation unit ex303 based on the control of the control unit ex310 having a CPU or the like. . Furthermore, in the television ex300, the separated audio data is decoded by the audio signal processing unit ex304, and the separated video data is decoded by the video signal processing unit ex305 using the decoding method described in the above embodiments. The decoded audio signal and video signal are output to the outside from the output unit ex309.
  • these signals may be temporarily stored in the buffers ex318, ex319, etc. so that the audio signal and the video signal are reproduced in synchronization.
  • the television ex300 may read the encoded bitstream encoded from the recording media ex215 and ex216 such as a magnetic / optical disk and an SD card, not from a broadcast or the like.
  • the television ex300 encodes an audio signal or a video signal and writes the signal to the outside or a recording medium
  • the television ex300 receives a user operation from the remote controller ex220 or the like, and encodes an audio signal with the audio signal processing unit ex304 based on the control of the control unit ex310, and converts the video signal with the video signal processing unit ex305.
  • Encoding is performed using the encoding method described in (1).
  • the encoded audio signal and video signal are multiplexed by the multiplexing / demultiplexing unit ex303 and output to the outside.
  • these signals may be temporarily stored in the buffers ex320 and ex321 so that the audio signal and the video signal are synchronized.
  • a plurality of buffers ex318 to ex321 may be provided as shown in the figure, or a configuration in which one or more buffers are shared may be used.
  • data may be stored in the buffer as a buffer material that prevents system overflow and underflow, for example, between the modulation / demodulation unit ex302 and the multiplexing / demultiplexing unit ex303.
  • the television ex300 has a configuration for receiving AV input of a microphone and a camera, and performs encoding processing on the data acquired from them. Also good.
  • the television ex300 has been described as a configuration that can perform the above-described encoding processing, multiplexing, and external output. However, these processing cannot be performed, and only the reception, decoding processing, and external output can be performed. It may be.
  • the decoding process or the encoding process may be performed by either the television ex300 or the reader / recorder ex218.
  • the reader / recorder ex218 may be shared with each other.
  • FIG. 43 shows a configuration of the information reproducing / recording unit ex400 when data is read from or written to the optical disk.
  • the information reproducing / recording unit ex400 includes elements ex401 to ex407 described below.
  • the optical head ex401 irradiates a laser spot on the recording surface of the recording medium ex215 that is an optical disc to write information, and detects information reflected from the recording surface of the recording medium ex215 to read the information.
  • the modulation recording unit ex402 electrically drives a semiconductor laser built in the optical head ex401 and modulates the laser beam according to the recording data.
  • the reproduction demodulator ex403 amplifies the reproduction signal obtained by electrically detecting the reflected light from the recording surface by the photodetector built in the optical head ex401, separates and demodulates the signal component recorded on the recording medium ex215, and is necessary. To play back information.
  • the buffer ex404 temporarily holds information to be recorded on the recording medium ex215 and information reproduced from the recording medium ex215.
  • the disk motor ex405 rotates the recording medium ex215.
  • the servo control unit ex406 moves the optical head ex401 to a predetermined information track while controlling the rotational drive of the disk motor ex405, and performs a laser spot tracking process.
  • the system control unit ex407 controls the entire information reproduction / recording unit ex400.
  • the system control unit ex407 uses various kinds of information held in the buffer ex404, and generates and adds new information as necessary, as well as the modulation recording unit ex402, the reproduction demodulation unit This is realized by recording / reproducing information through the optical head ex401 while operating the ex403 and the servo control unit ex406 in a coordinated manner.
  • the system control unit ex407 is composed of, for example, a microprocessor, and executes these processes by executing a read / write program.
  • the optical head ex401 has been described as irradiating a laser spot, but it may be configured to perform higher-density recording using near-field light.
  • FIG. 44 shows a schematic diagram of a recording medium ex215 that is an optical disk.
  • Guide grooves grooves
  • address information indicating the absolute position on the disc is recorded in advance on the information track ex230 by changing the shape of the groove.
  • This address information includes information for specifying the position of the recording block ex231 that is a unit for recording data, and the recording block is specified by reproducing the information track ex230 and reading the address information in a recording or reproducing apparatus.
  • the recording medium ex215 includes a data recording area ex233, an inner peripheral area ex232, and an outer peripheral area ex234.
  • the area used for recording user data is the data recording area ex233, and the inner circumference area ex232 and the outer circumference area ex234 arranged on the inner circumference or outer circumference of the data recording area ex233 are used for specific purposes other than user data recording. Used.
  • the information reproducing / recording unit ex400 reads / writes encoded audio data, video data, or encoded data obtained by multiplexing these data to / from the data recording area ex233 of the recording medium ex215.
  • an optical disk such as a single-layer DVD or BD has been described as an example.
  • the present invention is not limited to these, and an optical disk having a multilayer structure and capable of recording other than the surface may be used.
  • an optical disc with a multi-dimensional recording / reproducing structure such as recording information using light of different wavelengths in the same place on the disc, or recording different layers of information from various angles. It may be.
  • the car ex210 having the antenna ex205 can receive data from the satellite ex202 and the like, and the moving image can be reproduced on a display device such as the car navigation ex211 that the car ex210 has.
  • the configuration of the car navigation ex211 may include a configuration including a GPS receiving unit in the configuration illustrated in FIG. 42, and the same may be applied to the computer ex111, the mobile phone ex114, and the like.
  • the transmission / reception terminal having both an encoder and a decoder there are three types of terminals such as the mobile phone ex114, such as a transmitting terminal having only an encoder and a receiving terminal having only a decoder. The implementation form of can be considered.
  • the moving picture encoding method or the moving picture decoding method described in each of the above embodiments can be used in any of the above-described devices / systems, and as a result, described in each of the above embodiments. Effects can be obtained.
  • FIG. 45 shows a configuration of an LSI ex500 that is made into one chip.
  • the LSI ex500 includes elements ex501 to ex509 described below, and each element is connected via a bus ex510.
  • the power supply circuit unit ex505 starts up to an operable state by supplying power to each unit when the power supply is in an on state.
  • the LSI ex500 when performing an encoding process, inputs an AV signal from the microphone ex117, the camera ex113, and the like by the AV I / Oex 509 based on the control of the control unit ex501 having the CPU ex502, the memory controller ex503, the stream controller ex504, and the like. To do.
  • the input AV signal is temporarily stored in an external memory ex511 such as SDRAM.
  • the accumulated data is divided into a plurality of times as appropriate according to the processing amount and the processing speed and sent to the signal processing unit ex507, where the signal processing unit ex507 encodes an audio signal and / or video. Signal encoding is performed.
  • the encoding process of the video signal is the encoding process described in the above embodiments.
  • the signal processing unit ex507 further performs processing such as multiplexing the encoded audio data and the encoded video data according to circumstances, and outputs the result from the stream I / Oex 506 to the outside.
  • This output bit stream is transmitted to the base station ex107 or written to the recording medium ex215. It should be noted that data should be temporarily stored in the buffer ex508 so as to be synchronized when multiplexing.
  • the LSI ex500 when performing decoding processing, temporarily stores the encoded data obtained by reading from the recording medium ex215 via the base station ex107 by the stream I / Oex 506 based on the control of the control unit ex501. It accumulates in ex511 etc. Based on the control of the control unit ex501, the accumulated data is divided into a plurality of times as appropriate according to the processing amount and the processing speed and sent to the signal processing unit ex507, where the signal processing unit ex507 decodes audio data and / or video data. Is decrypted.
  • the decoding process of the video signal is the decoding process described in the above embodiments.
  • each signal may be temporarily stored in the buffer ex508 or the like so that the decoded audio signal and the decoded video signal can be reproduced in synchronization.
  • the decoded output signal is output from each output unit such as the mobile phone ex114, the game machine ex115, and the television ex300 through the memory ex511 and the like as appropriate.
  • the memory ex511 has been described as an external configuration of the LSI ex500.
  • a configuration included in the LSI ex500 may be used.
  • Buffer ex508 is also not limited to one, may be provided with a plurality of buffers.
  • the LSI ex500 may be made into one chip or a plurality of chips.
  • LSI LSI
  • IC system LSI
  • super LSI ultra LSI depending on the degree of integration
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out the various deformation
  • the present invention has an effect of suppressing an increase in the amount of calculation in the encoding process and an increase in the data amount of the transform coefficient, and an encoding device that encodes audio, a still image, and a moving image, and
  • the present invention can be used in a decoding device that decodes data encoded by the encoding device.
  • the present invention can be used for various AV devices such as an audio device, a mobile phone, a digital camera, a BD recorder, and a digital television.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

　本発明に係る符号化方法は、第１変換係数を用いて入力信号を変換する第１変換ステップ（Ｓ１１０）と、第２変換係数を用いて第１変換出力信号の一部である第１部分信号を変換する第２変換ステップ（Ｓ１３０ｂ）と、第２変換出力信号と、第１変換出力信号のうち第１部分信号以外の部分である第２部分信号とを量子化する量子化ステップ（Ｓ１５０ｂ）と、量子化係数をエントロピー符号化するエントロピー符号化ステップ（Ｓ１６０）とを含み、第２変換ステップ（Ｓ１３０ｂ）は、第１部分信号、又は、第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップ（Ｓ１３１）と、第２変換係数を用いて補正後の第１部分信号を変換することで、又は、補正後の第２変換係数を用いて第１部分信号を変換することで、第２変換出力信号を生成する変換ステップ（Ｓ１３２）とを含む。

Description

符号化方法、復号方法、符号化装置及び復号装置
　本発明は、オーディオ、静止画像、及び動画像を符号化する符号化方法に関し、特に、時空間ドメインから周波数ドメインへ入力信号を変換する変換処理を含む符号化方法に関する。
　音声データや動画像データを圧縮するために、複数の音声符号化規格、動画像符号化規格が開発されてきた。動画像符号化規格の例として、Ｈ．２６ｘと称されるＩＴＵ－Ｔ規格やＭＰＥＧ－ｘと称されるＩＳＯ／ＩＥＣ規格が挙げられる。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣと称される規格である。
　図１は、従来の符号化装置１０００の構成を示すブロック図である。図１に示すように、符号化装置１０００は、変換部１０１０と、量子化部１０２０と、エントロピー符号化部１０３０とを備え、音声データや動画像データを低ビットレートで符号化する。
　変換部１０１０は、各種データである入力信号、又は入力信号に何らかの処理を加えた変換入力信号を時空間ドメインから周波数ドメインへ変換することで、相関を軽減した変換出力信号を生成する。生成された変換出力信号は、量子化部１０２０に出力される。
　量子化部１０２０は、変換部１０１０から出力された変換出力信号を量子化することで、総データ量の少ない量子化係数を生成する。生成された量子化係数は、エントロピー符号化部１０３０に出力される。
　エントロピー符号化部１０３０は、量子化部１０２０から出力された量子化係数を、エントロピー符号化アルゴリズムを用いて符号化することで、残りのデータを圧縮した符号化信号を生成する。生成された符号化信号は、例えば、記録媒体に記録され、あるいは、ネットワークを介して復号装置などに送信される。
　以下では、変換部１０１０が行う変換処理について詳細に説明する。
　変換部１０１０には、変換対象信号（すなわち、変換入力信号）であるｎ点のベクトル（ｎ次元信号）が変換入力（Ｔｒａｎｓｆｏｒｍ　Ｉｎｐｕｔ）ベクトルｘnとして入力される。変換部１０１０は、変換入力ベクトルｘnに、所定の変換処理（変換Ｔ）を行い、変換出力信号として、変換出力（Ｔｒａｎｓｆｏｒｍ　Ｏｕｔｐｕｔ）ベクトルｙnを出力する（式１参照）。
Figure JPOXMLDOC01-appb-M000001
　変換Ｔが線形変換である場合、式２に示すように、変換Ｔは、ｎ×ｎの正方行列である変換行列（Ｔｒａｎｓｆｏｒｍ　Ｍａｔｒｉｘ）Ａと変換入力ベクトルｘnとの行列積として表現できる。なお、式３は、変換出力ベクトルｙnを、変換行列Ａの各要素である変換係数ａikを用いて要素ｙi毎に算出するための式であり、式１と式２とから導出される。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　変換行列Ａは、入力信号の相関を軽減し、変換出力ベクトルｙnの要素のうち小さいnを持つ要素（いわゆる低域側）へエネルギーが集中するように設計される。変換行列Ａの設計にあたり、ＫＬＴ（Ｋａｒｈｕｎｅｎ　Ｌｏｅｖｅ　Ｔｒａｎｓｆｏｒｍ：カルーネンレーベ変換）という変換係数導出方法、又は変換方法が知られている。
　ＫＬＴは、入力信号の統計的性質に基づいて、最適な変換行列を導出する方法、又は、導出した最適な変換行列を用いた変換方法である。ＫＬＴは、入力信号の相関性を完全に無くすことが可能で、最も効率良くエネルギーを低域へ集中させることができる技術として知られている。
　つまり、ＫＬＴは、理想的な変換処理であり、優れた符号化効率で、ＫＬＴによって変換された符号化対象信号を符号化することができる。
　しかしながら、上記従来技術に示すＫＬＴには、演算量が大きく、かつ、変換に用いる係数である変換行列のデータ量が多いという課題がある。具体的には、以下の通りである。
　図２に示すように、バタフライ構成などの高速アルゴリズムの存在するＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）では、入力信号の次元数（以下、入力点数とも記載）がＭの場合の乗算回数はＭ×Ｌｏｇ2（Ｍ）である。これに対して、ＫＬＴでは、乗算回数はＭ×Ｍになる。例えば、ＤＣＴの乗算回数は、入力点数が４点の場合８回、入力点数が８点の場合２４回である。これに対して、ＫＬＴの乗算回数は、例えば、入力点数が４点の場合１６回（ＤＣＴ比２倍）、８点の場合６４回（ＤＣＴ比２．６倍）、１６点の場合はＤＣＴ比４．０倍である。変換サイズが大きくなるほど、ＫＬＴの演算量の増加傾向は著しくなるため、ＫＬＴは、ＤＣＴと比べて演算量が膨大になるという課題がある。
　また、ＫＬＴでは、入力信号ベクトルｘnを含む集合ＳAの統計的性質に基づいて、変換行列Ａを導出する。変換行列Ａを用いた変換は、集合ＳAに含まれる入力信号ベクトルｘnに対して、最適な無相関化と低域へのエネルギー圧縮とを行うことができる。しかし、設計時に想定した集合ＳAと異なる統計的特性を持つ集合ＳBに含まれる入力信号ベクトルが入力された場合、変換行列Ａを用いた変換結果は、最適にならない。逆に、常に最適を求めて、入力の統計的性質のわずかな変化毎に変換係数を生成すれば、変換係数のデータ量が膨大になる。
　以上のように、ＫＬＴには、演算量が大きく、かつ、変換係数のデータ量が多いという課題があるため、従来の符号化の際にＫＬＴを利用するのは困難であった。
　そこで、本発明は、上記課題を解決するためになされたものであって、演算量の増加、及び、変換係数のデータ量の増加を抑制し、符号化効率を高めることができる符号化方法及び符号化装置を提供することを目的とする。さらに、本発明は、本発明に係る符号化方法及び符号化装置によって符号化された信号を正しく復号することができる復号方法及び復号装置を提供することを目的とする。
　上記目的を達成するため、本発明の一態様に係る符号化方法は、第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換ステップと、前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換ステップと、前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化ステップと、前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、前記第２変換ステップは、前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップと、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する変換ステップとを含む。
　これにより、第１変換と第２変換とを含む２段階の変換を行うことで、演算量の増加、及び、変換係数のデータ量の増加を抑制し、符号化効率を高めることができる。例えば、精度の異なる変換を２段階で行うことで、高精度の変換を１段階で行う場合に比べて演算量を少なくすることができ、かつ、演算量の少ない変換を１段階で行う場合に比べて高精度で変換を行うことができる。さらに、２段階の変換を行う際に、量子化時に用いるスケーリングパラメータを用いた補正を行うことによって、より適した第２変換を行うことができる。
　また、前記量子化ステップでは、前記スケーリングパラメータを用いずに前記第２変換出力信号を量子化し、かつ、前記スケーリングパラメータを用いて前記第２部分信号を量子化することで、量子化係数を生成してもよい。
　これにより、第２変換出力信号と第２部分信号とをそれぞれ別々に量子化するので、それぞれに適した量子化を行うことができ、符号化効率の向上、及び、画質の劣化の抑制を実現することができる。
　また、前記補正ステップでは、さらに、前記スケーリングパラメータを用いて前記第２部分信号を補正することで、補正後の第２部分信号を生成し、前記量子化ステップでは、前記第２変換出力信号と前記補正後の第２部分信号とを量子化してもよい。
　これにより、第２変換出力信号と第２部分信号とをまとめて量子化することで、量子化によって発生する丸め誤差を低減することができ、演算精度を高めることができる。
　また、前記補正ステップでは、前記スケーリングパラメータとして、前記第１変換係数から算出されたノルムを用いて前記補正を行ってもよい。
　これにより、ノルムの補正を行うことで、第１変換を行うことで生成される第１変換出力信号の各周波数位置におけるノルムが異なっている場合であっても、より適した第２変換を行うことができる。
　また、前記補正ステップでは、前記第１部分信号に前記ノルムの逆数を乗じることで、前記補正後の第１部分信号を生成し、前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、前記第２変換出力信号を生成してもよい。
　これにより、第１部分信号にノルム補正を行うことで、より適した第２変換を行うことができる。
　また、前記補正ステップでは、前記第２変換係数に前記ノルムの逆数を乗じることで、前記補正後の第２変換係数を生成し、前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成してもよい。
　これにより、第２変換係数にノルム補正を行うことで、第１部分信号にノルム補正を行う場合に比べて演算量を少なくすることができる。例えば、複数の第１部分信号の集合に対して１つの第２変換係数を決定する場合、当該集合に含まれる複数の第１部分信号のそれぞれにノルム補正を行うのではなく、第２変換係数に一度ノルム補正を行うだけで済む。
　また、前記補正ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行ってもよい。
　これにより、第２変換の際に量子化マトリクスの補正を行うことで、量子化マトリクスのスケーリングを第２変換出力信号に正しく反映させることができる。
　また、前記補正ステップでは、前記第１部分信号に前記量子化マトリクスの逆数を乗じることで、前記補正後の第１部分信号を生成し、前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、変換後の第１部分信号を生成し、前記第２変換ステップは、さらに、前記変換後の第１部分信号に、前記量子化マトリクスから算出される補正係数を乗じることで、前記第２変換出力信号を生成するポスト補正ステップを含んでもよい。
　これにより、第１部分信号に量子化マトリクスの補正を行うことで、より適した第２変換を行うことができる。
　また、前記補正ステップでは、前記第２変換係数に前記量子化マトリクスの逆数と、当該量子化マトリクスから算出される補正係数とを乗じることで、前記補正後の第２変換係数を生成し、前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成してもよい。
　これにより、第２変換係数に量子化マトリクスの補正を行うことで、第１部分信号に量子化マトリクスの補正を行う場合に比べて演算量を少なくすることができる。例えば、複数の第１部分信号の集合に対して１つの第２変換係数を決定する場合、当該集合に含まれる複数の第１部分信号のそれぞれに量子化マトリクスの補正を行うのではなく、第２変換係数に一度量子化マトリクスの補正を行うだけで済む。
　また、前記第２変換係数は、ＫＬＴ（Ｋａｒｈｕｎｅｎ　Ｌｏｅｖｅ　Ｔｒａｎｓｆｏｒｍ）によって決定される係数であってもよい。
　また、本発明の一態様に係る復号方法は、符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換ステップと、前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換ステップとを含み、前記第２逆変換ステップでは、前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する。
　これにより、上記の符号化方法を用いて生成された符号化信号を復号することができる。
　また、前記逆量子化ステップでは、前記スケーリングパラメータを用いずに、前記復号量子化係数の一部である第１復号量子化係数を逆量子化することで、前記第２復号変換出力信号を生成し、かつ、前記スケーリングパラメータを用いて、前記復号量子化係数のうち前記第１復号量子化係数以外の部分である第２復号量子化係数を逆量子化することで、前記第２復号部分信号を生成してもよい。
　また、前記符号化方法は、さらに、前記スケーリングパラメータを用いて、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分を補正することで、前記第２部分信号を生成する補正ステップを含んでもよい。
　また、前記第２逆変換ステップでは、前記スケーリングパラメータとして、前記第１逆変換係数から算出されたノルムを用いて前記補正を行ってもよい。
　また、前記第２逆変換ステップでは、前記第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記逆変換後の第２復号変換出力信号を生成し、前記逆変換後の第２復号変換出力信号に前記ノルムを乗じることで、前記第１復号部分信号を生成してもよい。
　また、前記第２逆変換ステップでは、前記第２逆変換係数に前記ノルムを乗じることで、前記補正後の第２逆変換係数を生成し、前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成してもよい。
　また、前記第２逆変換ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行ってもよい。
　また、前記第２逆変換ステップでは、前記第２復号変換出力信号に、前記量子化マトリクスから算出される補正係数の逆数を乗じることで、ポスト逆補正後の第２復号変換出力信号を生成し、前記第２逆変換係数を用いて前記ポスト逆補正後の第２復号変換出力信号を逆変換することで、逆変換後の第２復号変換出力信号を生成し、前記逆変換後の第２復号変換出力信号に前記量子化マトリクスを乗じることで、前記第１復号部分信号を生成してもよい。
　また、前記第２逆変換ステップでは、前記第２逆変換係数に前記量子化マトリクスと、当該量子化マトリクスから算出される補正係数の逆数とを乗じることで、前記補正後の第２逆変換係数を生成し、前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成してもよい。
　また、前記第２逆変換係数は、ＫＬＴによって決定される係数であってもよい。
　以上のいずれの復号方法においても、符号化方法の場合と同様に、演算量の増加及び変換係数のデータ量の増加を抑制することができる。また、上記の符号化方法によって符号化された信号を正しく復号することができる。
　なお、本発明は、符号化方法及び復号方法として実現できるだけではなく、当該符号化方法及び復号方法に含まれる処理ステップを行う処理部を備える符号化装置及び復号装置として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
　また、上記の各符号化装置及び復号装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
　本発明に係る符号化方法及び符号化装置によれば、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができる。さらに、本発明に係る復号方法及び復号装置によれば、本発明に係る符号化方法及び符号化装置によって符号化された信号を復号することができる。
図１は、従来の符号化装置の構成を示すブロック図である。 図２は、ＤＣＴとＫＬＴとの演算量の比較を示す図である。 図３は、実施の形態１に係る符号化装置の構成の一例を示すブロック図である。 図４は、実施の形態１に係る第２変換部の構成の一例を示すブロック図である。 図５は、実施の形態１に係る第２変換部におけるデータフローの一例を概念的に示す図である。 図６は、実施の形態１に係る符号化装置の動作の一例を示すフローチャートである。 図７は、実施の形態１に係る第２変換部の動作の一例を示すフローチャートである。 図８は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。 図９は、実施の形態１の変形例に係る第２変換部の構成の一例を示すブロック図である。 図１０は、実施の形態１の変形例に係る第２変換部におけるデータフローの一例を概念的に示す図である。 図１１は、実施の形態１の変形例に係る第２変換部の動作の一例を示すフローチャートである。 図１２は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。 図１３は、実施の形態１の変形例に係る符号化装置の動作の一例を示すフローチャートである。 図１４は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。 図１５は、実施の形態１の変形例に係る符号化装置の動作の一例を示すフローチャートである。 図１６は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。 図１７は、実施の形態１の変形例に係る符号化装置の動作の一例を示すフローチャートである。 図１８は、実施の形態２に係る復号装置の構成の一例を示すブロック図である。 図１９は、実施の形態２に係る第２逆変換部の構成の一例を示すブロック図である。 図２０は、実施の形態２に係る第２逆変換部におけるデータフローの一例を概念的に示す図である。 図２１は、実施の形態２に係る復号装置の動作の一例を示すフローチャートである。 図２２は、実施の形態２に係る第２逆変換部の動作の一例を示すフローチャートである。 図２３は、実施の形態２の変形例に係る第２逆変換部の構成の一例を示すブロック図である。 図２４は、実施の形態２の変形例に係る第２逆変換部におけるデータフローの一例を概念的に示す図である。 図２５は、実施の形態２の変形例に係る第２逆変換部の動作の一例を示すフローチャートである。 図２６は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図２７は、実施の形態２の変形例に係る復号装置の動作の一例を示すフローチャートである。 図２８は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図２９は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図３０は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図３１は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。 図３２は、実施の形態３に係る第２変換部の構成の一例を示すブロック図である。 図３３は、実施の形態３に係る第２変換部におけるデータフローの一例を概念的に示す図である。 図３４は、実施の形態３に係る第２変換部の動作の一例を示すフローチャートである。 図３５は、実施の形態４に係る第２逆変換部の構成の一例を示すブロック図である。 図３６は、実施の形態４に係る第２逆変換部におけるデータフローの一例を概念的に示す図である。 図３７は、実施の形態４に係る第２逆変換部の動作の一例を示すフローチャートである。 図３８は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図３９は、携帯電話の外観を示す図である。 図４０は、携帯電話の構成例を示すブロック図である。 図４１は、デジタル放送用システムの全体構成の一例を示す模式図である。 図４２は、テレビの構成例を示すブロック図である。 図４３は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図４４は、光ディスクである記録メディアの構造例を示す図である。 図４５は、各実施の形態に係る動画像符号化方法及び動画像復号方法を実現する集積回路の構成例を示すブロック図である。
　以下では、本発明に係る符号化方法、復号方法、符号化装置及び復号装置について、実施の形態に基づいて図面を用いて詳細に説明する。
　（実施の形態１）
　実施の形態１に係る符号化装置は、入力信号に変換、量子化及びエントロピー符号化を行うことで、符号化信号を生成する。変換は、第１変換と第２変換とを含み、第２変換は、入力信号に第１変換を行うことで生成される第１変換出力信号の一部である第１部分信号に実行される。実施の形態１に係る符号化装置は、第２変換の前に、第１変換係数から算出したノルムを用いて、第２変換係数又は第１部分信号を補正することを特徴とする。以下では、まず、実施の形態１に係る符号化装置の構成の一例について、図３を用いて説明する。なお、本明細書においては、変換行列と変換係数とはほぼ同義として用いる場合がある。
　なお、バタフライ構成やシフトと加算の演算を用いる構成のように、単純な行列演算でなくとも実現できる変換であっても、本明細書では行列表現で記述する場合がある。このように行列表現で記述することは、バタフライ構成やシフトと加算の演算を用いる構成、あるいは、リフティング構造を用いる構成など、各種の演算量を軽減した変換を除外するものではない。
　図３は、実施の形態１に係る符号化装置１００の構成の一例を示すブロック図である。符号化装置１００には、音声データ、静止画像データ、動画像データなどの各種データである入力信号が符号化対象信号として入力される。符号化装置１００は、第１変換部１１０と、分割部１２０と、第２変換部１３０と、量子化部１４０と、統合部１５０と、エントロピー符号化部１６０とを備え、入力された符号化対象信号を符号化する。
　第１変換部１１０には、符号化対象信号が変換入力信号として入力される。変換入力信号は、例えば、式４に示すようなベクトルｘnで表される。例えば、符号化対象信号は、複数の変換入力信号ｘnによって構成される。
Figure JPOXMLDOC01-appb-M000004
　第１変換部１１０は、複数の要素から構成された正方行列の係数である第１変換行列Ａ1 nを用いて、入力された変換入力信号ｘnを時空間ドメインから周波数ドメインへ変換することで、相関を軽減した第１変換出力信号ｙ1 nを生成する。生成された第１変換出力信号ｙ1 nは、分割部１２０に出力される。
　例えば、第１変換部１１０は、第１変換行列Ａ1 nを用いて変換入力信号ｘnを変換することで、第１変換出力信号ｙ1 nを生成する。第１変換行列Ａ1 nを用いた変換を第１変換Ｔ1と記載する。第１変換Ｔ1は、時空間ドメインの信号である変換入力信号ｘnを、周波数ドメインの信号である第１変換出力信号ｙ1 nに変換する処理（直交変換）である。例えば、第１変換部１１０は、第１変換Ｔ1として、通常のＤＣＴを行う。
　分割部１２０は、第１変換部１１０から出力された第１変換出力信号ｙ1 nを第１部分信号ｙ1L mと第２部分信号ｙ1H n-mとに、第１部分信号ｙ1L mの相関エネルギーが第２部分信号ｙ1H n-mの相関エネルギーより大きくなるように分割する。第１部分信号ｙ1L mは、第２変換部１３０に出力される。第２部分信号ｙ1H n-mは、量子化部１４０が備える補正付き量子化部１４２に出力される。
　例えば、分割部１２０は、第１変換出力信号ｙ1 nをどのように分割するかを示す情報である分割統合情報を用いて、ｎ個の要素からなる（次元数ｎの）第１変換出力信号ｙ1 nを、ｍ個の要素からなる（次元数ｍの）第１部分信号ｙ1L mとｎ－ｍ個の要素からなる（次元数ｎ－ｍの）第２部分信号ｙ1H n-mとに分割する。ここで、ｍは、ｎより小さい自然数である。例えば、分割部１２０は、第１部分信号ｙ1L m及び第２部分信号ｙ1H n-mが予め定められた要素数を含むように、予め定められた分割位置で第１変換出力信号ｙ1 nを分割する。
　なお、符号化対象信号が画像データなどの場合、第１変換部１１０及び分割部１２０に入力されるデータは、２次元のデータとなるが、分割部１２０は、第１部分信号ｙ1L mを１次元のデータに並び替えて出力する。このとき、各要素が低域から高域の順に、具体的には、分散、すなわち、エネルギーが大きいものから順に並び替えることが好ましい。
　第２変換部１３０は、第２変換行列Ａ2 mを用いて第１部分信号ｙ1L mを変換することで、第２変換出力信号ｙ2 mを生成する。第２変換行列Ａ2 mを用いた変換を第２変換Ｔ2と記載する。すなわち、第２変換部１３０は、第１部分信号ｙ1L mに対して第２変換Ｔ2を行うことで、第２変換出力信号ｙ2 mを生成する。生成した第２変換出力信号ｙ2 mは、量子化部１４０が備える補正無し量子化部１４１に出力される。
　具体的には、第２変換部１３０は、第１部分信号ｙ1L m又は第２変換行列Ａ2 mを補正し、第２変換行列Ａ2 mを用いて補正後の第１部分信号ｙ’1L mを変換することで、又は、補正後の第２変換行列Ａ’2 mを用いて第１部分信号ｙ1L mを変換することで、第２変換出力信号ｙ2 mを生成する。第１部分信号ｙ1L m又は第２変換行列Ａ2 mの補正には、所定のスケーリングパラメータが利用される。
　ここで、所定のスケーリングパラメータは、量子化部１４０で用いられるパラメータであり、例えば、レベルスケールを決定するためのパラメータである。レベルスケールは、量子化の対象となる信号（具体的には、第２部分信号ｙ1H n-m及び第２変換出力信号ｙ2 m）を除算するためパラメータであり、いわゆる量子化ステップに相当する。レベルスケールは、周波数位置によって量子化の粗さに重みを付けるための量子化マトリクス（Ｑｕａｎｔｉｚａｔｉｏｎ　Ｍａｔｒｉｘ）、及び、量子化の対象となる信号のノルムを補正するための値であるノルム補正値などによって決定される値である。
Figure JPOXMLDOC01-appb-M000005
　例えば、式５に示すように、レベルスケールＬｅｖｅｌＳｃａｌｅ（ｋ，ｉ，ｊ）は、量子化マトリクスの要素の値ｗｅｉｇｈｔＳｃａｌｅ（ｉ，ｊ）とノルム補正値ｎｏｒｍＡｄｊｕｓｔ（ｋ，ｉ，ｊ）との積で表される。実施の形態１では、後で説明するように、第２変換部１３０は、所定のスケーリングパラメータとして、ノルム補正値を用いて第１部分信号ｙ1L m又は第２変換行列Ａ2 mを補正する。
　なお、ｉ及びｊは、信号に含まれる要素の周波数位置を示すパラメータである。また、ｋは、量子化パラメータ値ｑｐから導出されるパラメータであり、ｋ＝ｑｐ％６の関係がある。すなわち、ｋは、量子化パラメータ値ｑｐを６で割った余りである。
　量子化部１４０は、補正無し量子化部１４１と補正付き量子化部１４２とを備え、第２部分信号ｙ1H n-mを量子化することで第２量子化係数Ｃ2 n-mを生成し、かつ、第２変換出力信号ｙ2 mを量子化することで第１量子化係数Ｃ1 mを生成する。
　補正無し量子化部１４１は、上記のスケーリングパラメータであるノルム補正値を用いずに第２変換出力信号ｙ2 mを量子化することで、第１量子化係数Ｃ1 mを生成する。例えば、補正無し量子化部１４１は、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１で第２変換出力信号ｙ2 mを除算し（式６及び式７参照）、（ｑｐ／６－４）でシフトダウンして、整数値に丸めることで、第１量子化係数Ｃ1 mを生成する。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　補正付き量子化部１４２は、上記のスケーリングパラメータであるノルム補正値を用いて第２部分信号ｙ1H n-mを量子化することで、第２量子化係数Ｃ2 n-mを生成する。例えば、補正付き量子化部１４２は、式５に示すようなノルム補正値を用いたレベルスケールＬｅｖｅｌＳｃａｌｅ（ｋ，ｉ，ｊ）で第２部分信号ｙ1H n-mを除算し（式８参照）、（ｑｐ／６－４）でシフトダウンして、整数値に丸めることで、第２量子化係数Ｃ2 n-mを生成する。
Figure JPOXMLDOC01-appb-M000008
　統合部１５０は、分割統合情報を用いて第１量子化係数Ｃ1 mと第２量子化係数Ｃ2 n-mとを統合することで、量子化係数Ｃnを生成する。生成された量子化係数Ｃnは、エントロピー符号化部１６０に出力される。
　エントロピー符号化部１６０は、統合部１５０から出力された量子化係数Ｃnを、エントロピー符号化アルゴリズムを用いて圧縮符号化することで、符号化信号を生成する。生成された符号化信号は、例えば、記録媒体に記録され、あるいは、ネットワークを介して復号装置などに送信される。
　なお、エントロピー符号化部１６０は、変換に用いた変換係数（あるいは逆変換係数）、及び、量子化に用いたレベルスケールなども符号化し、制御情報として符号化信号のヘッダなどに記述する。レベルスケールは、そのまま符号化されずに、量子化パラメータｑｐなどが符号化される。復号装置では、エントロピー復号により量子化パラメータｑｐを取得し、取得した量子化パラメータから量子化に用いたレベルスケールを生成することができる。
　以上のように、実施の形態１に係る符号化装置１００は、符号化対象信号である変換入力信号ｘnに２段階の変換処理を行っている。具体的には、符号化装置１００は、変換入力信号ｘnに第１変換Ｔ1を行うことで第１変換出力信号ｙ1 nを生成し、生成した第１変換出力信号ｙ1 nを第１部分信号ｙ1L mと第２部分信号ｙ1H n-mとに分割し、第１部分信号ｙ1L mに第２変換Ｔ2を行う。さらに、第２変換Ｔ2を行う際には、ノルムを用いて第１部分信号ｙ1L m、又は、第２変換行列Ａ2 mを補正する。
　以下では、ノルムを用いた補正を行う第２変換部１３０の具体的な構成について説明する。
　図４は、実施の形態１に係る第２変換部１３０の構成の一例を示すブロック図である。また、図５は、実施の形態１に係る第２変換部１３０におけるデータフローの一例を概念的に示す図である。
　図４に示すように、第２変換部１３０は、スケール補正部１３１と、第２変換処理部１３２とを備える。
　スケール補正部１３１は、第１変換行列Ａ1 nから算出したノルムを用いて、入力される第１部分信号ｙ1L mを補正する。ノルムは、以下の式９によって算出される。
Figure JPOXMLDOC01-appb-M000009
　ここで、ａ（ｉ，ｋ）は、第１変換行列Ａ1 nに含まれる要素であり、ｉ行ｋ列目の要素である。
　なお、第１変換行列Ａ1 nが適応的に変化する場合、ノルムも変化するので、スケール補正部１３１は、ノルムを算出し、算出したノルムを用いて第１部分信号ｙ1L mを補正する。第１変換行列Ａ1 nが固定の変換行列である場合、スケール補正部１３１は、内部メモリなどにノルムを保持しておけばよい。
　スケール補正部１３１は、式１０に従って、第１部分信号ｙ1L mを補正する。つまり、スケール補正部１３１は、第１部分信号ｙ1L mにノルムの逆数を乗じることで、補正後の第１部分信号ｙ’1L mを生成する。言い換えると、スケール補正部１３１は、第１部分信号ｙ1L mをノルムで除算することで、補正後の第１部分信号ｙ’1L mを生成する。
Figure JPOXMLDOC01-appb-M000010
　なお、ノルムを用いた乗算及び除算は、第１部分信号ｙ1L mに含まれる要素毎に行われる。すなわち、スケール補正部１３１は、第１部分信号ｙ1L mの要素ｙ1L（ｉ）にノルムＮ（ｉ）の逆数を乗じることで、補正後の第１部分信号ｙ’1L mの要素ｙ’1L（ｉ）を生成する。
　第２変換処理部１３２は、第２変換行列Ａ2 mを用いて補正後の第１部分信号ｙ’1L mを変換することで、第２変換出力信号ｙ2 mを生成する。
　以上のように、実施の形態１に係る符号化装置１００では、２段階の変換を行う際に、２段階目の変換である第２変換の対象となる第１部分信号にノルム補正を行う。
　従来は、ノルム補正を量子化部１４０による量子化の際に行っていた（式５及び式８参照）。しかしながら、実施の形態１に係る符号化装置１００では、符号化対象信号を変換することで生成された第１変換出力信号をさらに部分的に変換しているため、量子化の際に、第１変換係数から算出されたノルムを用いて補正を行ったとしても、最適な結果が得られない。そこで、実施の形態１に係る符号化装置１００では、第２変換を行う前にノルム補正をすることで、第２変換を最適化することができる。これにより、符号化効率をさらに高めることができる。
　続いて、実施の形態１に係る符号化装置１００の動作について、図６を用いて説明する。図６は、実施の形態１に係る符号化装置１００の動作の一例を示すフローチャートである。
　まず、音声データ又は画像データなどの符号化対象信号が、符号化装置１００に入力される。第１変換部１１０は、第１変換行列Ａ1 nを用いて、変換入力信号ｘnに対して第１変換Ｔ1を行うことで、第１変換出力信号ｙ1 nを生成する（Ｓ１１０）。第１変換Ｔ1により、時空間ドメインの変換入力信号ｘnは、周波数ドメインの第１変換出力信号ｙ1 nに変換される。
　次に、分割部１２０は、分割統合情報を用いて、第１変換出力信号ｙ1 nを第１部分信号ｙ1L mと第２部分信号ｙ1H n-mとに分割する（Ｓ１２０）。このとき、分割部１２０は、第１部分信号ｙ1L mの相関エネルギーが第２部分信号ｙ1H n-mの相関エネルギーより大きくなるように、第１変換出力信号ｙ1 nを分割する。なお、変換入力信号ｘn及び第１変換出力信号ｙ1 nが２次元の信号である場合は、分割部１２０は、第１部分信号ｙ1L mを１次元の信号に並び替える。
　次に、第２変換部１３０は、第１部分信号ｙ1L mにノルム補正を行うとともに、補正後の第１部分信号ｙ’1L mに対して第２変換Ｔ2を行うことで、第２変換出力信号ｙ2 mを生成する（Ｓ１３０）。第２変換部１３０が行う具体的な動作については、図７を用いて後で説明する。
　次に、量子化部１４０は、第２変換出力信号ｙ2 mと第２部分信号ｙ1H n-mとを量子化する（Ｓ１４０）。具体的には、補正無し量子化部１４１が、第２変換出力信号ｙ2 mを、ノルム補正値を含まないレベルスケールを用いて量子化することで、第１量子化係数Ｃ1 mを生成する（式６及び式７参照）。さらに、補正付き量子化部１４２が、第２部分信号ｙ1H n-mを、ノルム補正値を含むレベルスケールを用いて量子化することで、第２量子化係数C2 n-mを生成する（式５及び式８参照）。
　なお、補正無し量子化部１４１が行う処理と、補正付き量子化部１４２が行う処理とは、並列化されていてもよい。さらには、補正付き量子化部１４２が行う量子化処理と、第２変換部１３０が行う第２変換とを並列化してもよい。
　次に、統合部１５０は、分割統合情報を用いて、第１量子化係数Ｃ1 mと第２量子化係数Ｃ2 n-mとを統合することで、量子化係数Ｃnを生成する（Ｓ１５０）。
　最後に、エントロピー符号化部１６０は、量子化係数Ｃnをエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。
　続いて、実施の形態１に係る符号化装置１００が行う第２変換処理（Ｓ１３０）の詳細について説明する。図７は、実施の形態１に係る第２変換部１３０の動作の一例を示すフローチャートである。
　第１部分信号ｙ1L mが第２変換部１３０に入力されると、スケール補正部１３１は、第１変換行列Ａ1 nから決定されたノルムの逆数を第１部分信号ｙ1L mに乗じることで、補正後の第１部分信号ｙ’1L mを生成する（Ｓ１３１）。なお、第１変換行列Ａ1 nが適応的に変化する場合は、スケール補正部１３１は、ノルムを算出し、算出したノルムを用いて第１部分信号ｙ1L mを補正する。
　次に、第２変換処理部１３２は、補正後の第１部分信号ｙ’1L mに対して第２変換行列Ａ2 mを用いて第２変換Ｔ2を行うことで、第２変換出力信号ｙ2 mを生成する（Ｓ１３２）。
　以上のようにして、第２変換部１３０は、第２変換出力信号ｙ2 mを生成する。なお、第２変換行列Ａ2 mは、第２変換Ｔ2の対象となる信号（変換対象信号）を含む集合の統計特性に基づいて決定される係数である。
　上記の説明では、第２変換処理部１３２は、予め定められた第２変換行列Ａ2 mを取得し、取得した第２変換行列Ａ2 mを用いて第２変換Ｔ2を行う構成について説明したが、入力された信号に基づいて第２変換行列Ａ2 mを決定してもよい。これによれば、演算量が少し増加するが、入力された信号に対して最適な第２変換行列Ａ2 mを決定することが可能となり、第２変換Ｔ2によって生成される第２変換出力信号ｙ2 mの相関をほぼ無くすことができる。したがって、符号化効率をさらに高めることができる。
　以下では、実施の形態１に係る符号化装置１００が第２変換行列Ａ2 mを決定する構成について簡単に説明する。
　図８は、実施の形態１の変形例に係る符号化装置２００の構成の一例を示すブロック図である。図８に示す符号化装置２００は、図３に示す符号化装置１００に比べて、さらに、第１メモリ２１１と、第１変換係数導出部２１２と、第２メモリ２２１と、分割統合情報生成部２２２と、第３メモリ２３１と、第２変換係数導出部２３２とを備える。
　第１メモリ２１１は、変換入力信号ｘnを保持するメモリである。例えば、変換入力信号ｘnが音声データ、又は動画像データである場合、第１メモリ２１１は、１フレーム分のデータに相当する複数の変換入力信号ｘnを保持する。
　第１変換係数導出部２１２は、第１メモリ２１１に保持された複数の変換入力信号ｘnを用いて、第１変換行列Ａ1 nを導出する。例えば、第２変換係数導出部２３２と同様に、ＫＬＴによって変換係数を決定する。なお、ＫＬＴによって変換係数を決定する方法については後述する。
　第２メモリ２２１は、第１変換出力信号ｙ1 nを保持するメモリである。例えば、第２メモリ２２１は、１フレーム分のデータに相当する複数の第１変換出力信号ｙ1 nを保持する。
　分割統合情報生成部２２２は、第２メモリ２２１に保持された第１変換出力信号ｙ1 nを用いて、分割統合情報を生成する。分割統合情報は、例えば、低周波数帯域の要素を第１部分信号の要素として、かつ、高周波数帯域の要素を第２部分信号の要素として第１変換出力信号ｙ1 nを分割するように、分割部１２０に指示するための制御情報である。あるいは、分割統合情報は、相関エネルギーの大きな要素を第１部分信号の要素として、かつ、相関エネルギーの小さな要素を第２部分信号の要素として第１変換出力信号ｙ1 nを分割するように、分割部１２０に指示するための制御情報である。
　分割統合情報生成部２２２は、複数の第１変換出力信号ｙ1 nのエネルギー状態の分布を鑑みて分割統合情報を生成する。例えば、分割統合情報生成部２２２は、所定の閾値より相関エネルギーが大きい要素を第１部分信号の要素として、かつ、当該閾値より相関エネルギーが小さい要素を第２部分信号の要素として、第１変換出力信号ｙ1 nを分割するための分割統合情報を生成する。
　第３メモリ２３１は、補正後の第１部分信号ｙ’1L mを保持するメモリである。例えば、第３メモリ２３１は、１フレーム分のデータに相当する複数の補正後の第１部分信号ｙ’1L mを保持する。なお、後述するように、第２変換係数導出部２３２は、第１変換行列Ａ1 nを導出するのに用いる集合よりも小さい集合を用いて、第２変換行列Ａ2 mを導出することが好ましい。したがって、第３メモリ２３１は、第１メモリ２１１より記憶容量が小さくてもよい。
　第２変換係数導出部２３２は、第３メモリ２３１に保持された複数の補正後の第１部分信号ｙ’1L mを用いて、第２変換行列Ａ2 mを導出する。第２変換行列Ａ2 mは、例えば、ＫＬＴによって決定される係数である。
　ＫＬＴは、変換対象信号を含む集合の統計特性に基づいて、変換対象信号を完全に無相関化することができる変換を設計する手法である。
　具体的には、ＫＬＴは、変換対象信号の分散共分散行列（ｖａｒｉａｎｃｅ－ｃｏｖａｒｉａｎｃｅ　ｍａｔｒｉｘ）の非対角成分が０となるような変換を求めることであり、分散共分散行列の固有値問題を解くことに等しい。導出した固有ベクトルが基底関数となり、固有値が変換係数の各要素の軸の大きさ（つまり、エネルギー）となる。
　第１変換係数導出部２１２及び第２変換係数導出部２３２がともに、ＫＬＴによって変換係数を決定する場合、第１変換係数導出部２１２が用いる変換対象信号（変換入力信号ｘn）の集合ＳAは、第２変換係数導出部２３２が用いる変換対象信号（補正後の第１部分信号ｙ’1L m）の集合ＳCよりも大きい。例えば、集合ＳAは、１フレーム分のデータに相当する集合であり、集合ＳCは、スライス若しくはマクロブロック分のデータ、又は、サブフレーム若しくはサブバンド分のデータに相当する集合である。なお、集合ＳCは、少なくとも２つのサンプル（補正後の第１部分信号ｙ’1L m）を含んでいればよい。
　以上のようにして、実施の形態１の変形例に係る符号化装置２００は、ＫＬＴによって変換係数を決定することができ、符号化効率をより高めることができる。
　以上のように、図８に示す符号化装置２００は、第２変換行列Ａ2 mのみならず、第１変換行列Ａ1 n及び分割統合情報も生成する。ただし、上述したように、第１変換行列Ａ1 n及び分割統合情報は予め定められた固定の係数、及び固定の位置での分割であってもよい。このとき、第１変換行列Ａ1 nが固定の係数である場合は、符号化装置２００は、第１メモリ２１１及び第１変換係数導出部２１２を備えていなくてもよい。また、分割統合情報が固定の位置での分割を示す場合は、符号化装置２００は、第２メモリ２２１及び分割統合情報生成部２２２を備えていなくてもよい。
　以上のように、実施の形態１に係る符号化装置１００では、変換入力信号に２段階の変換処理を行っており、１段階目の第１変換を行うことで生成した第１変換出力信号の一部である第１部分信号を、ノルムを用いて補正した後、補正後の第１部分信号に２段階目の第２変換を行う。このとき、第２変換に用いる第２変換係数は、補正後の第１部分信号を含む集合に基づいて決定される。これにより、第２変換を最適化することができるので、符号化効率を高めることができる。
　なお、第１部分信号ｙ1L mにノルム補正を行うのではなく、第２変換行列Ａ2 mにノルム補正を行っても同様の効果が得られる。以下では、第２変換行列Ａ2 mにノルム補正を行う場合について説明する。
　図９は、実施の形態１の変形例に係る第２変換部３３０の構成の一例を示すブロック図である。また、図１０は、実施の形態１の変形例に係る第２変換部３３０におけるデータフローの一例を概念的に示す図である。
　図９に示すように、第２変換部３３０は、修正係数導出部３３１と、第２変換処理部１３２とを備える。
　修正係数導出部３３１は、第１変換行列Ａ1 nから算出したノルムを用いて、第２変換行列Ａ2 mを補正することで、修正係数を導出する。なお、ノルムは、式９によって算出される。
　具体的には、修正係数導出部３３１は、式１１に従って、第２変換行列Ａ2 mを補正する。つまり、修正係数導出部３３１は、第２変換行列Ａ2 mにノルムの逆数を乗じることで、補正後の第２変換行列Ａ’2 mを生成する。言い換えると、修正係数導出部３３１は、第２変換行列Ａ2 mをノルムで除算することで、修正係数である補正後の第２変換行列Ａ’2 mを生成する。
Figure JPOXMLDOC01-appb-M000011
　なお、ノルムを用いた乗算及び除算は、第２変換行列Ａ2 mに含まれる要素毎に行われる。すなわち、修正係数導出部３３１は、第２変換行列Ａ2 mの要素ａ2（ｉ，ｊ）にノルムＮ（ｉ）の逆数を乗じることで、補正後の第２変換行列Ａ’2 mの要素ａ’2（ｉ，ｊ）を生成する。
　第２変換処理部１３２は、補正後の第２変換行列Ａ’2 mを用いて第１部分信号ｙ1L mを変換することで、第２変換出力信号ｙ2 mを生成する。
　図１１は、実施の形態１の変形例に係る第２変換部１３０の動作の一例を示すフローチャートである。
　まず、修正係数導出部３３１は、第１変換行列Ａ1 nから算出したノルムを用いて、式１１に従って第２変換行列Ａ2 mを補正することで、修正係数である補正後の第２変換行列Ａ’2 mを導出する（Ｓ２３１）。
　次に、第２変換処理部１３２は、補正後の第２変換行列Ａ’2 mを用いて、第１部分信号ｙ1L mを変換することで、第２変換出力信号ｙ2 mを生成する。
　なお、修正係数の導出は、例えば、第２変換行列Ａ2 mの導出に用いた集合ＳC毎に行う。したがって、図５に示すように、第１部分信号ｙ1L mが入力される度に補正を行う場合に比べて、演算量を削減することができる。
　以上のように、第１部分信号ｙ1L mではなく、第２変換行列Ａ2 mを補正することによっても、同様に、符号化効率を高める効果を得ることができる。
　また、本発明に係る符号化方法を、予測符号化に適用してもよい。図１２は、実施の形態１の変形例に係る符号化装置４００の構成の一例を示すブロック図である。符号化装置４００には、音声データ及び動画像データなどの符号化対象信号が入力される。
　図１２に示す符号化装置４００は、減算器４１０と、変換・量子化部４２０と、エントロピー符号化部１６０と、逆量子化・逆変換部４３０と、加算器４４０と、メモリ４５０と、予測部４６０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。
　減算器４１０は、符号化対象信号と、予測部４６０によって生成された予測信号との差分、すなわち、予測誤差を算出することで、予測誤差信号を生成する。生成した予測誤差信号は、変換入力信号として変換・量子化部４２０に入力される。
　変換・量子化部４２０には、予測誤差信号が変換入力信号として入力される。変換・量子化部４２０は、予測誤差信号に対して、図３及び図４を用いて説明した変換処理及び量子化処理を行う。つまり、変換・量子化部４２０は、符号化対象信号そのものではなく、予測誤差信号が入力される点が異なっているだけで、詳細な構成は、図３及び図４と同じである。すなわち、変換・量子化部４２０は、例えば、第１変換部１１０と、分割部１２０と、第２変換部１３０と、量子化部１４０と、統合部１５０とを備える。
　エントロピー符号化部１６０は、上述したように動作するので、ここでは説明を省略する。
　逆量子化・逆変換部４３０は、変換・量子化部４２０から出力された量子化係数を逆量子化することで、復号変換出力信号を生成する。さらに、逆量子化・逆変換部４３０は、生成した復号変換出力信号に逆変換処理を行うことで、復号変換入力信号を生成する。生成した復号変換入力信号は、加算器４４０に出力される。
　なお、復号変換入力信号は、変換・量子化部４２０に入力された変換入力信号を復元した信号であるが、変換・量子化部４２０により非可逆処理が行われているので、全く変換入力信号と同じではない。すなわち、復号変換入力信号は、量子化誤差を含んでいる。
　また、逆量子化・逆変換部４３０が行う逆変換処理は、変換・量子化部４２０が行う変換処理の反対の処理である。このため、逆量子化・逆変換部４３０は、変換・量子化部４２０から、変換処理に用いられた変換係数を取得する。
　例えば、変換・量子化部４２０が、ｎ×ｎの正方行列である変換行列Ａを用いて、変換入力信号ｘnに変換Ｔを行った場合を想定する。このとき、変換・量子化部４２０が生成する変換出力信号ｙnは、式１で表される。より具体的には、変換・量子化部４２０は、式２及び式３によって変換出力信号ｙnを生成する。
　このとき、逆量子化・逆変換部４３０が行う逆変換Ｔ-1は、変換行列Ａの逆行列Ａ-1を変換係数とする変換処理である。逆量子化・逆変換部４３０に入力される復号変換出力信号ｙ＾nに行われる逆変換Ｔ-1は、式１２で表される。
Figure JPOXMLDOC01-appb-M000012
　したがって、逆量子化・逆変換部４３０が出力する復号変換入力信号ｘ＾nは、式１３で表される。
Figure JPOXMLDOC01-appb-M000013
　加算器４４０は、復号変換入力信号と予測信号とを加算することで、復号信号を生成する。生成した復号信号は、メモリ４５０に格納され、以降に入力される符号化対象信号の予測信号を生成する際に参照される。
　メモリ４５０は、復号信号を格納するメモリなどの記憶部の一例である。
　予測部４６０は、メモリ４５０に格納された、前に符号化及び復号された復号信号（符号化済み信号）を参照して、符号化対象信号を予測することで予測信号を生成する。生成した予測信号は、減算器４１０と加算器４４０とに出力される。なお、予測モード（イントラ予測又はインター予測など）などの予測信号を生成するのに用いた制御情報は、エントロピー符号化部１６０に出力され、エントロピー符号化部１６０によって符号化される。
　続いて、上記の符号化装置４００の動作について、図１３を用いて説明する。
　図１３は、実施の形態１の変形例における符号化装置４００の動作の一例を示すフローチャートである。
　まず、音声データ又は動画像データなどの符号化対象信号が符号化装置４００に入力される。予測部４６０は、メモリ４５０に格納された符号化済み信号を参照することで、予測信号を生成する（Ｓ３００）。生成した予測信号は、減算器４１０に出力される。そして、減算器４１０は、符号化対象信号と予測信号との差分である予測誤差を算出することで、予測誤差信号を生成する（Ｓ３０５）。
　次に、変換・量子化部４２０は、予測誤差信号に対して第１変換を行う（Ｓ１１０）。以降、図６を用いて説明したように、変換・量子化部４２０は、予測誤差信号に対して、分割、第２変換、量子化、及び統合を行うことで、量子化係数を生成する（Ｓ１２０～Ｓ１５０）。さらに、エントロピー符号化部１６０が、量子化係数をエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。
　また、逆量子化・逆変換部４３０が、量子化係数を逆量子化することで、復号変換出力信号を生成する（Ｓ３７０）。次に、逆量子化・逆変換部４３０が、復号変換出力信号に逆変換処理を行うことで、復号変換入力信号を生成する（Ｓ３８０）。逆変換処理は、変換・量子化部４２０が行う変換処理の反対の処理である。
　なお、エントロピー符号化部１６０が行うエントロピー符号化と、逆量子化・逆変換部４３０が行う逆量子化及び逆変換の少なくとも１つとは、いずれが先に行われてもよく、又は、並列処理で実行されてもよい。
　最後に、加算器４４０が、復号変換入力信号と予測信号とを加算することで、復号信号を生成し、メモリ４５０に格納する（Ｓ３９０）。
　以上のように、符号化装置４００は、符号化対象信号と、符号化対象信号を予測することで生成した予測信号との差分である予測誤差信号を変換対象信号として、上記の変換処理を行ってもよい。これにより、符号化すべき情報量を圧縮することができるので、符号化効率をより高めることができる。
　なお、第２変換処理部１３２は、第２変換として、ＫＬＴではなく、入力信号の統計特性に基づいて適応的に変換係数を決定し、決定した変換係数を用いて相関を小さくする他の変換を行ってもよい。
　また、実施の形態１に係る符号化装置１００では、第１量子化係数と第２量子化係数とを統合してからエントロピー符号化したが、統合することなくエントロピー符号化を行ってもよい。すなわち、エントロピー符号化部１６０は、補正無し量子化部１４１から出力される第１量子化係数と、補正付き量子化部１４２から出力される第２量子化係数とを、それぞれ別のデータとして、符号化してもよい。
　また、量子化部１４０は、補正無し量子化部１４１と補正付き量子化部１４２とを備えるのではなく、１つの量子化部１４０の内部で、補正の有無を切り替える構成であってもよい。
　また、上記の実施の形態１に係る符号化装置１００は、第２部分信号ｙ1H n-mと第２変換出力信号ｙ2 mとをそれぞれ量子化してから統合したが、第２部分信号ｙ1H n-mと第２変換出力信号ｙ2 mとを統合してから量子化してもよい。つまり、２つの信号に対して量子化を別々に行わずに、統合後の１つの信号に対して量子化を行ってもよい。
　図１４は、本発明の実施の形態１の変形例に係る符号化装置１００ａの構成の一例を示すブロック図である。
　図１４に示す符号化装置１００ａは、第１変換部１１０と、分割部１２０と、第２変換部１３０と、スケール補正部１３１ａと、量子化部１４０ａと、統合部１５０ａと、エントロピー符号化部１６０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。
　スケール補正部１３１ａは、第１変換行列Ａ1のノルムを用いて、第２部分信号ｙ1H n-mを補正する。具体的には、スケール補正部１３１ａは、第２部分信号ｙ1H n-mにノルムの逆数を乗じることで、補正後の第２部分信号ｙ’1H n-mを生成する（式１０参照、ｙ’1L（ｉ）はｙ’1H（ｉ）、ｙ1L（ｉ）はｙ1H（ｉ）と読み替える）。言い換えると、スケール補正部１３１ａは、第２部分信号ｙ1H n-mをノルムで除算することで、補正後の第２部分信号ｙ’1H n-mを生成する。
　統合部１５０ａは、スケール補正部１３１ａから出力された補正後の第２部分信号ｙ’1H n-mと、第２変換部１３０によって変換された第２変換出力信号ｙ2 mとを統合することで、変換出力信号ｙnを生成する。なお、第２変換出力信号ｙ2 mは、上述したように、第２変換部１３０による第２変換Ｔ2が行われる際に、ノルムを用いた補正が行われている。
　量子化部１４０ａは、変換出力信号ｙnを量子化することで、量子化係数Ｃnを生成する。例えば、量子化部１４０ａは、補正無し量子化部１４１と同様にノルム補正値を用いずに、変換出力信号ｙnを量子化する。具体的には、量子化部１４０ａは、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１で変換出力信号ｙnを除算し、（ｑｐ／６－４）でシフトダウンして、整数値に丸めることで、量子化係数Ｃnを生成する（式６及び式７を参照、Ｃ1（ｉ，ｊ）はＣ（ｉ，ｊ）、ｙ2（ｉ，ｊ）はｙ（ｉ，ｊ）と読み替える）。
　図１５は、図１４に示す符号化装置１００ａの動作の一例を示すフローチャートである。
　まず、入力された変換入力信号ｘnに対して、第１変換部１１０は、第１変換Ｔ1を行うことで、第１変換出力信号ｙ1 nを生成する（Ｓ１１０）。次に、分割部１２０は、生成された第１変換出力信号ｙ1 nを分割することで、第１部分信号ｙ1L mと第２部分信号ｙ1H n-mとを生成する（Ｓ１２０）。第１変換及び分割の具体的な処理については図６と同様であるので、ここでは説明を省略する。
　次に、第２変換部１３０が、第１部分信号ｙ1L mに第２変換を行うとともに、スケール補正部１３１ａが、第２部分信号ｙ1H n-mにスケール補正を行う（Ｓ１３０ａ）。具体的には、第２変換部１３０は、第２変換行列Ａ2 mを用いて第１部分信号ｙ1L mに対して第２変換Ｔ2を行う。例えば、図７に示すように、第２変換部１３０は、第１部分信号ｙ1L mにノルム補正を行い、補正後の第１部分信号ｙ’1L mに第２変換Ｔ2を行うことで、第２変換出力信号ｙ2 mを生成する。また、スケール補正部１３１ａは、第１変換行列Ａ1 nのノルムを用いて第２部分信号ｙ1H n-mを補正することで、補正後の第２部分信号ｙ’1H n-mを生成する。
　なお、スケール補正と第２逆変換とはいずれが先に実行されてもよく、また、並列処理で実行されてもよい。並列処理で実行した場合、符号化処理を高速化することができる。
　次に、統合部１５０ａは、第２変換出力信号ｙ2 mと補正後の第２部分信号ｙ’1H n-mとを統合することで、変換出力信号ｙnを生成する（Ｓ１４０ａ）。そして、量子化部１４０ａは、変換出力信号ｙnを量子化することで、量子化係数Ｃnを生成する（Ｓ１５０ａ）。
　最後に、エントロピー符号化部１６０は、量子化係数Ｃnをエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。
　以上のように、実施の形態１の変形例に係る符号化装置１００ａによれば、分割した信号を統合した後に量子化を行うので、分割した信号のそれぞれに量子化を行う場合に比べて、丸め誤差を低減することができ、演算精度を高めることができる。
　なお、上記の実施の形態１に係る符号化装置１００では、第１変換出力信号を第１部分信号と第２部分信号とに分割し、第２変換後に統合するが、明示的に分割しなくてもよく、実質的に分割すればよい。すなわち、第１変換出力信号のうち、第２変換を実行する対象となる部分を決定すればよい。
　例えば、図１６に示す符号化装置１００ｂのように、分割部１２０及び統合部１５０を備えなくてもよい。図１６は、本発明の実施の形態１の変形例に係る符号化装置１００ｂの構成の一例を示すブロック図である。
　符号化装置１００ｂは、第１変換部１１０と、第２変換部１３０ｂと、量子化部１４０ｂと、エントロピー符号化部１６０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。
　第２変換部１３０ｂは、第１変換出力信号ｙ1 nの一部である第１部分信号ｙ1L mを含む集合の統計特性に基づいて決定された第２変換行列Ａ2を用いて、第１部分信号ｙ1L mに第２変換Ｔ2を行うことで、第２変換出力信号ｙ2 mを生成する。具体的には、第２変換部１３０ｂは、第１変換出力信号ｙ1 nを構成する係数値のうち、第２変換Ｔ2の対象となる係数値を決定し、決定した係数値から構成される信号を第１部分信号ｙ1L mとして、第２変換Ｔ2を行う。
　また、第２変換部１３０ｂは、第２変換部１３０と同様に、第１部分信号ｙ1L mに所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号ｙ’1L mを生成する。そして、第２変換部１３０ｂは、補正後の第１部分信号ｙ’1L mに、第２変換行列Ａ2を用いた第２変換Ｔ2を行うことで、第２変換出力信号ｙ2 mを生成する。スケーリングパラメータは、例えば、上述したような、第１変換行列Ａ1 nのノルム、又は、後述する量子化マトリクスのウェイトスケールである。
　あるいは、第２変換部１３０ｂは、第２変換行列Ａ2 mに所定のスケーリングパラメータを用いた補正を行うことで、補正後の第２変換行列Ａ’2 mを生成してもよい。そして、第２変換部１３０ｂは、補正後の第２変換行列Ａ’2 mを用いた第２変換Ｔ2を第１部分信号ｙ1L mに行うことで、第２変換出力信号ｙ2 mを生成してもよい。
　量子化部１４０ｂは、第１部分信号ｙ1L mと、第１変換出力信号ｙ1 nのうち第１部分信号ｙ1L m以外の部分である第２部分信号ｙ1H n-mとを量子化することで、量子化係数Ｃnを生成する。
　図１７は、図１６に示す符号化装置１００ｂの動作の一例を示すフローチャートである。
　まず、入力された変換入力信号ｘnに対して、第１変換部１１０は、第１変換Ｔ1を行うことで、第１変換出力信号ｙ1 nを生成する（Ｓ１１０）。第１変換の具体的な処理については図６と同様であるので、ここでは説明を省略する。
　次に、第２変換部１３０ｂが、第１部分信号ｙ1L mに第２変換を行う（Ｓ１３０ｂ）。例えば、第２変換部１３０ｂは、第１変換出力信号ｙ1 nのうち、第２変換Ｔ2を行う対象となる部分を、第１部分信号ｙ1L mとして決定し、決定した第１部分信号ｙ1L mに対して第２変換行列Ａ2 mを用いて第２変換Ｔ2を行う。
　例えば、第２変換部１３０ｂは、第１変換出力信号ｙ1 nのうち第１部分信号ｙ1L mに乗じる第２変換行列Ａ2を決定する。具体的には、第１変換出力信号ｙ1 nのうち第２部分信号ｙ1H n-mに乗じられる第２変換行列Ａ2の係数を１にすることで、実質的に第１部分信号ｙ1L mにのみ、第２変換Ｔ2を行うことができる。
　次に、量子化部１４０ｂは、第２変換出力信号ｙ2 mを含む変換出力信号ｙnを量子化することで、量子化係数Ｃnを生成する（Ｓ１５０ｂ）。
　最後に、エントロピー符号化部１６０は、量子化係数Ｃnをエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。
　以上のように、実施の形態１の変形例に係る符号化装置１００ｂも、部分的に２段階の変換を行うことで、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができる。
　（実施の形態２）
　実施の形態２に係る復号装置は、符号化信号にエントロピー復号、逆量子化、及び逆変換を行うことで、復号信号を生成する。逆変換は、第２逆変換と第１逆変換とを含み、第２逆変換は、エントロピー復号を行うことで生成される復号量子化係数の一部である第１復号量子化係数に実行される。実施の形態２に係る復号装置は、第１逆変換係数から算出したノルムを用いて、第２逆変換後の第１復号量子化係数、又は、第２逆変換に用いる第２逆変換係数を補正することを特徴とする。以下では、まず、実施の形態２に係る復号装置の構成の一例について、図１８を用いて説明する。
　図１８は、実施の形態２に係る復号装置５００の構成の一例を示すブロック図である。復号装置５００には、音声データ、静止画像データ、及び動画像データなどの各種データが符号化された信号である符号化信号が入力される。図１８に示すように、復号装置５００は、エントロピー復号部５１０と、分割部５２０と、逆量子化部５３０と、第２逆変換部５４０と、統合部５５０と、第１逆変換部５６０とを備える。
　なお、復号装置５００に入力される符号化信号は、符号化装置に入力された各種データを示す入力信号を変換及び量子化することで生成された信号である。より具体的には、符号化信号は、入力信号が時空間ドメインから周波数ドメインに変換され、変換された信号の一部がさらに変換されて生成された信号である。つまり、符号化信号は、２段階の変換が実行された信号である。例えば、符号化信号は、実施の形態１に係る符号化装置１００が生成した信号である。
　エントロピー復号部５１０は、符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾nを生成する。復号量子化係数Ｃ＾nは、分割部５２０に出力される。なお、符号化信号には、当該符号化信号を正しく復号するための制御情報が、ヘッダ情報として記述されている。したがって、エントロピー復号部５１０は、これらの制御情報を取得し、各処理部に出力する。なお、制御情報は、例えば、分割統合情報、第１逆変換係数、第２逆変換係数などを含んでいてもよい。
　分割部５２０は、分割統合情報に基づいて、復号量子化係数Ｃ＾nを第１復号量子化係数Ｃ＾1 mと第２復号量子化係数Ｃ＾2 n-mとに分割する。第１復号量子化係数Ｃ＾1 mは、実施の形態１に係る補正無し量子化部１４１が生成した第１量子化係数Ｃ1 mに相当し、第２復号量子化係数Ｃ＾2 n-mは、実施の形態１に係る補正付き量子化部１４２が生成した第２量子化係数Ｃ2 n-mに相当する。
　分割統合情報は、復号量子化係数Ｃ＾nをどのように分割するかを示す情報であって、具体的には、符号化装置によって変換処理の際にどのように変換対象信号（第１変換によって生成される第１変換出力信号）が分割されたかを示す情報である。分割統合情報は、符号化信号に含まれていてもよく、又は、復号装置５００が備える内部メモリなどに格納されていてもよい。特に、変換対象信号が固定位置で分割される場合は、メモリに分割統合情報を格納しておくことで、符号化信号の符号量を削減することができる。
　逆量子化部５３０は、補正無し逆量子化部５３１と補正付き逆量子化部５３２とを備え、第１復号量子化係数Ｃ＾1 mを逆量子化することで第２復号変換出力信号ｙ＾2 mを生成し、かつ、第２復号量子化係数Ｃ＾2 n-mを逆量子化することで第２復号部分信号ｙ＾1H n-mを生成する。
　補正無し逆量子化部５３１は、所定のスケーリングパラメータを用いずに第１復号量子化係数Ｃ＾1 mを逆量子化することで、第２復号変換出力信号ｙ＾2 mを生成する。ここで、所定のスケーリングパラメータとは、実施の形態１で説明したものと同じであり、例えば、レベルスケールを決定するための量子化マトリクス、又はノルム補正値である。なお、実施の形態２では、後で説明するように、第２逆変換部５４０は、所定のスケーリングパラメータとして、ノルム補正値を用いて補正処理を行う。
　例えば、補正無し逆量子化部５３１は、上記のスケーリングパラメータであるノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１を第１復号量子化係数Ｃ＾1 mに乗じることで、第２復号変換出力信号ｙ＾2 mを生成する（式１４参照）。生成した第２復号変換出力信号ｙ＾2 mは、第２逆変換部５４０に出力される。
Figure JPOXMLDOC01-appb-M000014
　なお、レベルスケールＬｅｖｅｌＳｃａｌｅ＿１は、式７で示される。また、ｑｐ％６は、量子化パラメータｑｐの値を６で割った余りを示す。なお、量子化パラメータｑｐは、符号化信号のヘッダなどに、符号化信号を復号するための制御情報として記述されている。つまり、レベルスケールＬｅｖｅｌＳｃａｌｅ＿１は、周波数位置と量子化パラメータとに基づいて決定される値である。
　補正付き逆量子化部５３２は、上記のスケーリングパラメータであるノルム補正値を用いて第２復号量子化係数Ｃ＾2 n-mを逆量子化することで、第２復号部分信号ｙ＾1H n-mを生成する。例えば、補正付き逆量子化部５３２は、ノルム補正値を用いたレベルスケールＬｅｖｅｌＳｃａｌｅを第２復号量子化係数Ｃ＾2 n-mに乗じ、（ｑｐ／６－４）でシフトアップすることで、第２復号部分信号ｙ＾1H n-mを生成する（式１５参照）。生成した第２復号部分信号ｙ＾1H n-mは、統合部５５０に出力される。
Figure JPOXMLDOC01-appb-M000015
　なお、レベルスケールＬｅｖｅｌＳｃａｌｅは、式５で示される。
　第２逆変換部５４０は、第２逆変換行列Ａ-1 2 mを用いて、第２復号変換出力信号ｙ＾2 mを逆変換するとともに、上記のスケーリングパラメータであるノルム補正値を用いた補正を行うことで、第１復号部分信号ｙ＾1L mを生成する。具体的には、第２逆変換部５４０は、逆変換後の第２復号変換出力信号ｙ＾’1L mに補正を行うことで、第１復号部分信号ｙ＾1L mを生成する。つまり、第２逆変換部５４０は、実施の形態１に係る第２変換部１３０が行う変換処理（第２変換Ｔ2）と反対の処理である逆変換処理（第２逆変換Ｔ2 -1）を第２復号変換出力信号ｙ＾2 mに対して行う。より具体的な構成については、後で説明する。
　統合部５５０は、分割統合情報を用いて、第１復号部分信号ｙ＾1L mと第２復号部分信号ｙ＾1H n-mとを統合することで、第１復号変換出力信号ｙ＾1 nを生成する。生成した第１復号変換出力信号ｙ＾1 nは、第１逆変換部５６０に出力される。
　第１逆変換部５６０は、第１逆変換行列Ａ-1 1 nを用いて、第１復号変換出力信号ｙ＾1 nを逆変換することで、復号信号を生成する。具体的には、第１逆変換部５６０は、実施の形態１に係る第１変換部１１０が行う変換処理（第１変換Ｔ1）と反対の処理である逆変換処理（第１逆変換Ｔ1 -1）を第１復号変換出力信号ｙ＾1 nに対して行う。
　例えば、第１逆変換部５６０は、第１逆変換行列Ａ-1 1 nを用いて、第１復号変換出力信号ｙ＾1 nに第１逆変換Ｔ1 -1を行う。具体的には、第１逆変換部５６０は、第１変換行列Ａ1 nの逆行列を算出し、算出した逆行列を用いて、式１３に従って第１復号変換出力信号ｙ＾1 nを逆変換する。
　ここで、第１逆変換行列Ａ-1 1 nは、実施の形態１で説明したように、変換処理の対象となる信号である変換入力信号ｙ1 nを含む集合の統計特性に基づいて決定された係数であり、例えば、ＫＬＴによって決定された係数である。なお、第１逆変換部５６０は、第１逆変換Ｔ1 -1として、逆ＤＣＴ変換を行ってもよく、この場合、第１逆変換係数は、固定の係数であるので、第１逆変換部５６０が備える内部メモリなどに記憶されていてもよい。
　以下では、実施の形態２に係る第２逆変換部５４０の具体的な構成について説明する。
　図１９は、実施の形態２に係る第２逆変換部５４０の構成の一例を示すブロック図である。また、図２０は、実施の形態２に係る第２逆変換部５４０におけるデータフローの一例を概念的に示す図である。
　図１９に示すように、第２逆変換部５４０は、第２逆変換処理部５４１と、スケール逆補正部５４２とを備える。
　第２逆変換処理部５４１は、第２逆変換行列Ａ-1 2 nを用いて第２復号変換出力信号ｙ＾2 mを逆変換することで、逆変換後の第２復号変換出力信号ｙ＾’1L mを生成する。例えば、第２変換行列Ａ2 nの逆行列を算出し、算出した逆行列を用いて、式１３に従って第２復号変換出力信号ｙ＾2 mを逆変換する。
　スケール逆補正部５４２は、第１逆変換行列Ａ-1 1 nから算出したノルムを用いて、逆変換後の第２復号変換出力信号ｙ＾’1L mを補正する。ノルムは、実施の形態１と同様に、式９に従って算出される。
　なお、符号化信号に第１逆変換行列Ａ1 nが含まれている場合など、第１逆変換行列Ａ-1 1 nが適応的に変化する場合、ノルムも変化するので、スケール逆補正部５４２は、ノルムを算出し、算出したノルムを用いて逆変換後の第２復号変換出力信号ｙ＾’1L mを補正する。第１逆変換行列Ａ-1 1 nが固定の係数である場合、スケール逆補正部５４２は、内部メモリなどにノルムを保持しておけばよい。
　スケール逆補正部５４２は、実施の形態１に係るスケール補正部１３１と反対の処理である逆補正処理を行う。具体的には、スケール逆補正部５４２は、式１６に示すように、逆変換後の第２復号変換出力信号ｙ＾’1L mにノルムを乗じることで、第１復号部分信号ｙ＾1L mを生成する。
Figure JPOXMLDOC01-appb-M000016
　なお、式１６に示す乗算は、逆変換後の第２復号変換出力信号ｙ＾’1L mに含まれる要素毎に行われる。すなわち、スケール逆補正部５４２は、逆変換後の第２復号変換出力信号ｙ＾’1L mの要素ｙ＾’1L（ｉ）に、ノルムＮ（ｉ）を乗じることで、第１復号部分信号ｙ＾1L mの要素ｙ＾1L（ｉ）を生成する。
　以上のように、実施の形態２に係る復号装置５００では、２段階の逆変換を行う際に、第２逆変換によって生成された逆変換後の第２復号変換出力信号ｙ＾’1L mにノルム逆補正を行う。なお、ノルム逆補正とは、実施の形態１で説明したノルム補正と反対の処理であり、ここでは、対象信号にノルムを乗じる処理である。
　第１変換及び第２変換が分離型（水平変換と垂直変換とを逐次行う）であるか、非分離型（一次元データ列と考えて一回の変換を行う）であるかによって、ノルムの導出方法が若干異なる。以下に詳細を説明する。なお、第１変換及び第２変換が双方共に、分離型又は非分離型が一致する場合は上記までのノルム導出方法で構わない。ここでは、第１変換が分離型で、第２変換が非分離型の場合を説明する。
　Ｍ×Ｍのブロック信号に対する、第１変換の水平変換のノルムをＮH（ｊ）、垂直変換のノルムをＮV（ｉ）とする（１≦ｉ，ｊ≦Ｍ）。ｉはブロック内の水平位置を示し、ｊはブロック内の垂直位置を示している。このとき、式１６で用いるＮ（）はＮH（ｊ）＊ＮV（ｉ）で得られる。ブロックをラスター順でインデックスを付与したスキャン順をｋとすると、ｉはｋをＭで除した値、ｊはｋをＭで除した余りである。
　なお、第１変換が非分離型で、第２変換が分離型である場合は、第２変換の水平又は垂直変換において、列あるいは行単位にノルム補正量を切り替えることで実現する。
　続いて、実施の形態２に係る復号装置５００の動作について、図２１を用いて説明する。図２１は、実施の形態２に係る復号装置５００の動作の一例を示すフローチャートである。
　まず、音声データ又は動画像データなどが符号化された符号化信号が、復号装置５００に入力される。エントロピー復号部５１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾nを取得する（Ｓ４１０）。なお、符号化信号に、分割統合情報、第１逆変換行列Ａ-1 1 n、及び第２逆変換行列Ａ-1 2 mなどの制御情報が含まれている場合は、エントロピー復号部５１０は、制御情報を取得し、取得した制御情報を各処理部に出力する。
　次に、分割部５２０は、分割統合情報に基づいて、復号量子化係数Ｃ＾nを第１復号量子化係数Ｃ＾1 mと第２復号量子化係数Ｃ＾2 n-mとに分割する（Ｓ４２０）。このとき、分割部５２０は、例えば、エントロピー復号部５１０から入力された分割統合情報を用いて、又は、内部メモリから読み出した分割統合情報を用いて、復号量子化係数Ｃ＾nを分割する。
　次に、逆量子化部５３０は、第１復号量子化係数Ｃ＾1 mと第２復号量子化係数Ｃ＾2 n-mとを逆量子化する（Ｓ４３０）。具体的には、補正無し逆量子化部５３１は、第１復号量子化係数Ｃ＾1 mを逆量子化することで、第２復号変換出力信号ｙ＾2 mを生成する。さらに、補正付き逆量子化部５３２は、第２復号量子化係数Ｃ＾2 n-mを逆量子化することで、第２復号部分信号ｙ＾1H n-mを生成する。なお、補正無し逆量子化部５３１が行う処理と、補正付き逆量子化部５３２が行う処理とは、いずれが先行してもよく、あるいは、並列処理で行われてもよい。
　次に、第２逆変換部５４０は、第２復号変換出力信号ｙ＾2 mを逆変換するとともに、ノルムを用いて補正を行うことで、第１復号部分信号ｙ＾1L mを生成する（Ｓ４４０）。第２逆変換部５４０が行う具体的な動作については、図２２を用いて後で説明する。
　次に、統合部５５０は、分割統合情報を用いて、第１復号部分信号ｙ＾1L mと第２復号部分信号ｙ＾1H n-mとを統合することで、第１復号変換出力信号ｙ＾1 nを生成する（Ｓ４５０）。
　最後に、第１逆変換部５６０は、第１逆変換行列Ａ-1 1 nを用いて第１復号変換出力信号ｙ＾1 nを逆変換することで、復号信号ｘ＾nを生成する（Ｓ４６０）。
　続いて、実施の形態２に係る復号装置５００が行う第２逆変換処理（Ｓ４４０）の詳細について説明する。図２２は、実施の形態２に係る第２逆変換部５４０の動作の一例を示すフローチャートである。
　第２逆変換処理部５４１は、第２逆変換行列Ａ-1 2 mを用いて、第２復号変換出力信号ｙ＾2 mを逆変換することで、逆変換後の第２復号変換出力信号ｙ＾’1L mを生成する（Ｓ４４１）。
　次に、スケール逆補正部５４２は、逆変換後の第２復号変換出力信号ｙ＾’1L mにノルムを乗じることで、第１復号部分信号ｙ＾1L mを生成する（Ｓ４４２）。なお、第１逆変換行列Ａ-1 1 nが適応的に変化する場合は、スケール逆補正部５４２は、第１逆変換行列Ａ-1 1 nからノルムを算出し、算出したノルムを用いて逆変換後の第２復号変換出力信号ｙ＾’1L mを補正する。
　以上のように、実施の形態２に係る復号装置５００では、第２逆変換部５４０は、第２復号変換出力信号に第２逆変換を行うことで生成された変換後の第２復号変換出力信号に、ノルム逆補正を行う。
　なお、逆変換後の第２復号変換出力信号ｙ＾’1L mにノルム逆補正を行うのではなく、第２逆変換行列Ａ-1 2 mにノルム逆補正を行っても同様の効果が得られる。
　図２３は、実施の形態２の変形例に係る第２逆変換部６４０の構成の一例を示すブロック図である。また、図２４は、実施の形態２に係る第２逆変換部６４０におけるデータフローの一例を概念的に示す図である。
　図２３に示すように、第２逆変換部６４０は、第２逆変換処理部５４１と、修正係数導出部６４２とを備える。
　修正係数導出部６４２は、第１逆変換行列Ａ-1 1 nから算出したノルムを用いて、第２逆変換行列Ａ-1 2 mを補正する。なお、ノルムは、式９によって算出される。具体的には、修正係数導出部６４２は、式１７に従って第２逆変換行列Ａ-1 2 mを補正する。つまり、修正係数導出部６４２は、第２逆変換行列Ａ-1 2 mにノルムを乗じることで、補正後の第２逆変換行列Ａ’-1 2 mを生成する。
Figure JPOXMLDOC01-appb-M000017
　第２逆変換処理部５４１は、補正後の第２逆変換行列Ａ’-1 2 mを用いて、第２復号変換出力信号ｙ＾2 mを逆変換することで、第１復号部分信号ｙ＾1L mを生成する。
　図２５は、実施の形態２の変形例に係る第２逆変換部６４０の動作の一例を示すフローチャートである。
　まず、修正係数導出部６４２は、第１逆変換行列Ａ-1 1 nから算出したノルムを用いて、式１７に従って第２逆変換行列Ａ-1 2 mを補正することで、修正係数である補正後の第２逆変換行列Ａ’-1 2 mを導出する（Ｓ５４１）。
　次に、第２逆変換処理部５４１は、補正後の第２逆変換行列Ａ’-1 2 mを用いて、第２復号変換出力信号ｙ＾2 mを逆変換することで、第１復号部分信号ｙ＾1L mを生成する（Ｓ５４２）。
　なお、修正係数の導出は、例えば、第２逆変換行列Ａ-1 2 mの導出に用いられた集合ＳC毎に行う。したがって、図２０に示すような第２復号変換出力信号ｙ＾2 mが入力される度に補正を行う場合に比べて、演算量を削減することができる。
　以上のように、第２復号変換出力信号ｙ＾2 mではなく、第２逆変換行列Ａ-1 2 mにノルム逆補正を行うことによっても、同様に符号化効率を高める効果を得ることができる。
　また、本発明は、予測符号化された符号化信号を復号する予測復号に適用してもよい。
　図２６は、実施の形態２の変形例における復号装置７００の構成の一例を示す図である。復号装置７００には、予測符号化された符号化信号が入力される。予測符号化された符号化信号は、例えば、図１２に示す符号化装置４００から出力される符号化信号であり、予測誤差信号を変換及び量子化することで生成される信号である。
　図２６に示す復号装置７００は、エントロピー復号部５１０と、逆量子化・逆変換部７２０と、加算器７３０と、メモリ７４０と、予測部７５０とを備える。なお、図１８に示す復号装置５００と同じ動作を行う処理部には、同じ符号に付しており、以下では説明を省略する。
　逆量子化・逆変換部７２０は、上述したように動作するので、ここでは説明を省略する。例えば、逆量子化・逆変換部７２０は、図１８に示す分割部５２０と、逆量子化部５３０と、第２逆変換部５４０と、統合部５５０と、第１逆変換部５６０とを備える。
　加算器７３０は、逆量子化・逆変換部７２０から出力される復号変換入力信号と、予測部７５０によって生成された予測信号とを加算することで、復号信号を生成する。
　メモリ７４０は、復号信号を格納するメモリなどの記憶部の一例である。
　予測部７５０は、メモリ７４０に格納された、前に復号された復号信号を参照して、予測信号を生成する。生成した予測信号は、加算器７３０に出力される。例えば、予測部７５０は、エントロピー復号部５１０から入力される制御情報に基づいて予測信号を生成する。
　続いて、上記の復号装置７００の動作について、図２７を用いて説明する。
　図２７は、実施の形態２の変形例における復号装置７００の動作の一例を示すフローチャートである。
　まず、音声データ又は動画像データなどの入力信号が予測符号化された符号化信号が復号装置７００に入力される。すなわち、符号化信号は、入力信号と予測信号との差分である予測誤差信号が変換、量子化及びエントロピー符号化されて生成された信号である。
　予測部７５０は、メモリ７４０に格納された復号済みの復号信号に基づいて予測信号を生成する（Ｓ６００）。
　以降、図２１を用いて説明したように、逆量子化・逆変換部７２０は、符号化信号に対して、エントロピー復号、分割、逆量子化、補正付き第２逆変換、統合、及び、第１逆変換を行うことで、復号予測誤差信号を生成する（Ｓ４１０～Ｓ４６０）。なお、復号予測誤差信号は、第１復号変換出力信号ｙ＾1 nを逆変換することで生成される信号であって、予測誤差信号に相当する信号である。
　次に、加算器７３０は、予測信号と復号予測誤差信号とを加算することで、復号信号を生成する（Ｓ６７０）。加算器７３０は、生成した復号信号をメモリ７４０に参照信号として格納するとともに、復号信号を出力信号として外部に出力する（Ｓ６８０）。
　なお、予測信号を生成する際に、符号化信号に含まれる制御情報を必要とする場合は、予測信号の生成（Ｓ６００）をエントロピー復号処理（Ｓ４１０）の後に行えばよい。また、予測信号の生成（Ｓ６００）と分割処理（Ｓ４２０）から第１逆変換（Ｓ４６０）とは、並列化してもよい。
　以上のようにして、復号装置７００は、予測誤差信号が符号化された符号化信号を復号することができる。
　また、第２部分信号と第２変換出力信号とが統合されずに、別々に量子化及びエントロピー符号化された符号化信号を復号してもよい。つまり、エントロピー復号及び逆量子化することで、第２復号部分信号と第２復号変換出力信号とを生成するので、復号装置５００は、分割部５２０を備えていなくてもよい。
　また、逆量子化部５３０は、補正無し逆量子化部５３１と補正付き逆量子化部５３２とを備えるのではなく、１つの逆量子化部５３０の内部で、補正の有無を切り替える構成であってもよい。
　また、上記の実施の形態２に係る復号装置５００は、復号量子化係数Ｃ＾nを第１復号量子化係数Ｃ＾1 mと第２復号量子化係数Ｃ＾2 n-mとに分割してから逆量子化したが、復号量子化係数Ｃ＾nを逆量子化してから分割してもよい。つまり、２つの信号に対して逆量子化を別々に行わずに、分割前の１つの信号に対して逆量子化を行ってもよい。
　図２８は、本発明の実施の形態２の変形例に係る復号装置５００ａの構成の一例を示す図である。
　図２８に示す復号装置５００ａは、エントロピー復号部５１０と、分割部５２０ａと、逆量子化部５３０ａと、第２逆変換部５４０と、スケール逆補正部５４２ａと、統合部５５０と、第１逆変換部５６０とを備える。なお、図１８に示す復号装置５００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。
　逆量子化部５３０ａは、エントロピー復号部５１０によって生成された復号量子化係数Ｃ＾nを逆量子化することで、復号変換出力信号ｙ＾nを生成する。具体的には、逆量子化部５３０ａは、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１を復号量子化係数Ｃ＾nに乗じることで、復号変換出力信号ｙ＾nを生成する（式１４参照、Ｃ＾1（ｉ，ｊ）はＣ＾（ｉ，ｊ）、ｙ＾2（ｉ，ｊ）はｙ＾（ｉ，ｊ）と読み替える）。なお、生成した復号変換出力信号ｙ＾nは、第２復号変換出力信号ｙ＾2 mと、補正前の第２復号部分信号ｙ＾’1H n-mとを含んでいる。
　分割部５２０ａは、分割統合情報に基づいて、逆量子化部５３０ａによって生成された復号変換出力信号ｙ＾nを、第２復号変換出力信号ｙ＾2 mと、補正前の第２復号部分信号ｙ＾’1H n-mとに分割する。第２復号変換出力信号ｙ＾2 mは、実施の形態１の変形例に係る第２変換部１３０が生成した第２変換出力信号ｙ2 mに相当する。補正前の第２復号部分信号ｙ＾’1H n-mは、実施の形態１の変形例に係るスケール補正部１３１ａが生成した補正後の第２部分信号ｙ’1H n-mに相当する。
　スケール逆補正部５４２ａは、分割部５２０ａから出力される補正前の第２復号部分信号ｙ＾’1H n-mを、所定のスケーリングパラメータを用いて補正することで、第２復号部分信号ｙ＾1H n-mを生成する。具体的には、スケール逆補正部５４２ａは、実施の形態１の変形例に係るスケール補正部１３１ａと反対の処理である逆補正処理（スケール逆補正）を行う。より具体的には、スケール逆補正部５４２ａは、補正前の第２復号部分信号ｙ＾’1H n-mにノルムを乗じることで、第２復号部分信号ｙ＾1H n-mを生成する（式１６参照、ｙ＾1L（ｉ）はｙ＾1H（ｉ）、ｙ＾’1L（ｉ）はｙ＾’1H（ｉ）と読み替える）。
　図２９は、図２８に示す復号装置５００ａの動作の一例を示すフローチャートである。
　まず、音声データ又は動画像データなどが符号化された符号化信号が、復号装置５００ａに入力される。そして、エントロピー復号部５１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾nを生成する（Ｓ４１０）。
　次に、逆量子化部５３０ａは、復号量子化係数Ｃ＾nを逆量子化することで、復号変換出力信号ｙ＾nを生成する（Ｓ４２０ａ）。次に、分割部５２０ａは、復号変換出力信号ｙ＾nを、第２復号変換出力信号ｙ＾2 mと補正前の第２復号部分信号ｙ＾’1H n-mとに分割する（Ｓ４３０ａ）。
　次に、第２逆変換部５４０が、第２復号変換出力信号ｙ＾2 mに第２逆変換Ｔ2 -1を行うとともに、スケール逆補正部５４２ａが、補正前の第２復号部分信号ｙ＾’1H n-mにスケール逆補正を行う（Ｓ４４０ａ）。例えば、図２２に示すように、第２逆変換部５４０は、第２逆変換行列Ａ-1 2 mを用いて第２復号変換出力信号ｙ＾2 mを逆変換し、逆変換後の第２復号変換出力信号ｙ＾’1L mにノルム補正を行うことで、第１復号部分信号ｙ＾1L mを生成する。また、スケール逆補正部５４２ａは、補正前の第２復号部分信号ｙ＾’1H n-mにノルム逆補正を行うことで、第２復号部分信号ｙ＾1H n-mを生成する。
　以降、図２１に示すフローチャートの動作と同様に、統合部５５０が、第１復号部分信号ｙ＾1L mと、第２復号部分信号ｙ＾1H n-mとを統合することで、第１復号変換出力信号ｙ＾1 nを生成する（Ｓ４５０）。そして、第１逆変換部５６０が、第１復号変換出力信号ｙ＾1 nに第１逆変換を行うことで、復号信号ｘ＾nを生成する（Ｓ４６０）。
　以上のように、実施の形態２の変形例に係る復号装置５００ａによれば、符号化側において、丸め誤差を低減し、演算精度を高めるために、分割した信号を統合した後に量子化することで生成された符号化信号を復号することができる。
　また、上記の実施の形態２に係る復号装置５００では、復号量子化係数を第１復号量子化係数と第２復号量子化係数とに分割し、第２逆変換後に統合するが、明示的に分割しなくてもよい。すなわち、復号量子化係数のうち、第２逆変換を実行する対象となる部分を決定すればよい。
　したがって、例えば、図３０に示す復号装置５００ｂのように、分割部５２０及び統合部５５０を備えなくてもよい。図３０は、本発明の実施の形態２に係る復号装置５００ｂの構成の一例を示すブロック図である。
　復号装置５００ｂは、エントロピー復号部５１０と、逆量子化部５３０ｂと、第２逆変換部５４０ｂと、第１逆変換部５６０とを備える。なお、図１８に示す復号装置５００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。
　逆量子化部５３０ｂは、復号量子化係数Ｃ＾nを逆量子化することで、復号変換出力信号ｙ＾nを生成する。例えば、逆量子化部５３０ｂは、所定のスケーリングパラメータ（例えば、ノルム）を用いずに、復号量子化係数Ｃ＾nの一部である第１復号量子化係数Ｃ＾1 mを逆量子化することで、第２復号変換出力信号ｙ＾2 mを生成し、かつ、スケーリングパラメータを用いて、復号量子化係数Ｃ＾nのうち第１復号量子化係数Ｃ＾1 m以外の部分である第２復号量子化係数Ｃ＾2 n-mを逆量子化することで、第２復号部分信号ｙ＾1H n-mを生成する。具体的には、スケーリングパラメータを構成する係数のうち、第１復号量子化係数Ｃ＾1 mに乗じられる係数値を１とすることで、復号量子化係数Ｃ＾nの部分毎に補正の適用の可否を制御することができる。
　なお、逆量子化部５３０ｂは、図２８に示す逆量子化部５３０ａのように、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１を復号量子化係数Ｃ＾nに乗じることで、復号変換出力信号ｙ＾nを生成してもよい。
　第２逆変換部５４０ｂは、復号変換出力信号ｙ＾nのうち第２復号変換出力信号ｙ＾2 mのみに第２逆変換Ｔ2 -1を行う。例えば、第２逆変換部５４０ｂは、第２逆変換部５４０と同様に、第２逆変換行列Ａ-1 2 mを用いて、第２復号変換出力信号ｙ＾2 mを逆変換するとともに、スケーリングパラメータを用いた補正を行うことで、第１復号部分信号ｙ＾1L mを生成する。スケーリングパラメータは、例えば、第１逆変換行列Ａ-1 1 nのノルム、又は、口述する量子化マトリクスのウェイトスケールである。
　図３１は、図３０に示す復号装置５００ｂの動作の一例を示すフローチャートである。
　まず、エントロピー復号部５１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾nを生成する（Ｓ４１０）。次に、逆量子化部５３０ｂは、復号量子化係数Ｃ＾nを逆量子化することで、復号変換出力信号ｙ＾nを生成する（Ｓ４２０ｂ）。
　具体的には、逆量子化部５３０ｂは、復号量子化係数Ｃ＾nのうち第２逆変換Ｔ2 -1の対象とならない部分である第２復号量子化係数Ｃ＾2 n-mにのみ、スケーリングパラメータを用いた逆量子化を行う。そして、逆量子化部５３０ｂは、復号量子化係数Ｃ＾nのうち第２逆変換Ｔ2 -1の対象となる部分である第１復号量子化係数Ｃ＾1 nには、スケーリングパラメータを用いずに逆量子化を行う。例えば、スケーリングパラメータであるノルムのうち、第１復号量子化係数Ｃ＾1 mに乗じられるノルム値を１にすることで、逆量子化部５３０ｂは、第１復号量子化係数Ｃ＾1 mには実質的にスケーリングパラメータを用いずに逆量子化する。
　次に、第２逆変換部５４０ｂは、復号変換出力信号ｙ＾nのうち、第２逆変換の対象となる部分である第２復号変換出力信号ｙ＾2 mを逆変換することで、第１復号部分信号ｙ＾1L mを生成する（Ｓ４４０ｂ）。そして、第２逆変換部５４０ｂは、生成した第１復号部分信号ｙ＾1L mと第２復号部分信号ｙ＾1H n-mとを含む第１復号変換出力信号ｙ＾1 nを出力する。
　最後に、第１逆変換部５６０は、第１逆変換行列Ａ-1 1 nを用いて第１復号変換出力信号ｙ＾1 nに第１逆変換Ｔ1 -1を行うことで、復号信号ｘ＾nを生成する（Ｓ４６０）。
　以上のように、実施の形態２の変形例に係る復号装置５００ｂによっても、演算量の増加及び変換係数のデータ量の増加を抑制するために、２段階の変換が行われた符号化信号を復号することができる。
　（実施の形態３）
　実施の形態１に係る符号化装置は、第２変換の前に、第１変換係数から算出したノルムを用いて、第２変換係数又は第１部分信号を補正したのに対して、実施の形態３に係る符号化装置は、第２変換の前に、量子化マトリクスのスケーリングを第２変換係数又は第１部分信号に反映させることを特徴とする。すなわち、実施の形態３に係る符号化装置は、量子化マトリクスを用いて、第２変換係数又は第１部分信号を補正することを特徴とする。
　実施の形態３に係る符号化装置は、図３に示す実施の形態１に係る符号化装置１００と比較して、第２変換部１３０の代わりに第２変換部８３０を備える点が異なっている。その他の構成は、図３に示す符号化装置１００と同じであるため、以下では説明を省略する。
　図３２は、実施の形態３に係る第２変換部８３０の構成の一例を示すブロック図である。また、図３３は、実施の形態３に係る第２変換部８３０におけるデータフローの一例を概念的に示す図である。
　図３２に示すように、第２変換部８３０は、スケール補正部８３１と、第２変換処理部１３２と、ポストスケール補正部８３３とを備える。
　スケール補正部８３１は、量子化部１４０で用いられる量子化マトリクスを用いて、第１部分信号ｙ1L mを補正する。具体的には、スケール補正部８３１は、式１８及び式１９に従って、第１部分信号ｙ1L mを補正する。つまり、スケール補正部８３１は、第１部分信号ｙ1L mに量子化マトリクスの逆数ｍｆを乗じることで、補正後の第１部分信号ｙ’1L mを生成する。言い換えると、スケール補正部８３１は、第１部分信号ｙ1L mを量子化マトリクスで除算することで、補正後の第１部分信号ｙ’1L mを生成する。
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
　なお、ｆ（ｉ）は、量子化マトリクスから導出されるウェイトスケール（ｗｅｉｇｈｔＳｃａｌｅ）の各要素の値である。
　第２変換処理部１３２は、第２変換行列Ａ2 mを用いて補正後の第１部分信号ｙ’1L mを変換することで、変換後の第１部分信号ｙ’2 mを生成する。
　ポストスケール補正部８３３は、量子化マトリクスから算出される補正係数ｍｆ＿２を変換後の第１部分信号ｙ’2 mに乗じることで、第２変換出力信号ｙ2 mを生成する。具体的には、ポストスケール補正部８３３は、式２０及び式２１に従って、変換後の第１部分信号ｙ’2 mを補正することで、第２変換出力信号ｙ2 mを生成する。
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
　なお、Ｓ（ｉ）は、式２２で示される行列の要素である。
Figure JPOXMLDOC01-appb-M000022
　以上の構成により、実施の形態３に係る符号化装置では、量子化マトリクスのスケーリングを第２変換前の信号である第１部分信号に反映させることができるので、符号化効率をより高めることができる。
　なお、第２変換部８３０は、ポストスケール補正部８３３を備えていなくてもよく、代わりに、補正無し量子化部１４１が、上述のポストスケール補正部８３３と同様の機能を有していてもよい。
　次に、実施の形態３に係る符号化装置の動作について説明する。実施の形態３に係る符号化装置の動作は、図６に示す実施の形態１に係る符号化装置１００の動作と比較して、第２変換処理が異なっている。その他の動作は、図６に示す符号化装置１００の動作と同じであるため、以下では説明を省略する。
　図３４は、実施の形態３に係る第２変換部８３０の動作の一例を示すフローチャートである。図３４に示す処理は、図６に示す補正付き第２変換（Ｓ１３０）の一例である。
　まず、第１部分信号ｙ1L mが第２変換部８３０に入力されると、スケール補正部８３１は、式１８及び式１９に従って、量子化マトリクスの逆数を第１部分信号ｙ1 mに乗じることで、補正後の第１部分信号ｙ’1L mを生成する（Ｓ７３１）。
　次に、第２変換処理部１３２は、補正後の第１部分信号ｙ’1L mに対して第２変換行列Ａ2 mを用いて第２変換Ｔ2を行うことで、変換後の第１部分信号ｙ’2 mを生成する（Ｓ７３２）。
　次に、ポストスケール補正部８３３は、式２０～式２２に従って、変換後の第１部分信号ｙ’2 mに補正係数を乗じることによって、第２変換出力信号ｙ2 mを生成する（Ｓ７３３）。
　以上のようにして、第２変換部８３０は、第２変換出力信号ｙ2 mを生成する。なお、第２変換行列Ａ2 mは、第２変換Ｔ2の対象となる信号（変換対象信号）を含む集合の統計特性に基づいて決定される係数である。
　なお、実施の形態１と同様に、実施の形態３においても、第１部分信号ｙ1L mではなく、第２変換行列Ａ2 mを補正してもよい。すなわち、第２変換部８３０は、スケール補正部８３１及びポストスケール補正部８３３の代わりに、図９に示すような修正係数導出部３３１を備えていてもよい。
　このとき、修正係数導出部３３１は、量子化マトリクスを用いて第２変換行列Ａ2 mを補正する。具体的には、修正係数導出部３３１は、式２３に従って、第２変換行列Ａ2 mを補正する。式２３に示すように、修正係数導出部３３１は、第２変換行列Ａ2 mの要素ａ2（ｉ，ｊ）毎に、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とを乗じる。
Figure JPOXMLDOC01-appb-M000023
　以上のように、第１部分信号ｙ1L mではなく、第２変換行列Ａ2 mを補正することによっても、同様に、符号化効率を高める効果を得ることができる。
　なお、実施の形態１と実施の形態３とを組み合わせてもよい。すなわち、第２変換部８３０は、第１部分信号ｙ1L m又は第２変換行列Ａ2 mに、ノルム補正と量子化マトリクスの補正との両方を行ってもよい。
　例えば、第１部分信号ｙ1L mを補正する場合、スケール補正部８３１は、式２４に従って、第１部分信号ｙ1L mを補正する。具体的には、スケール補正部８３１は、第１部分信号ｙ1L mの要素ｙ1L（ｉ）毎に、第１変換行列Ａ1 nから算出されたノルムＮ（ｉ）の逆数と、量子化マトリクスの要素の逆数ｍｆ（ｉ）とを乗じることで、補正後の第１部分信号ｙ’1L mを生成する。
Figure JPOXMLDOC01-appb-M000024
　また、第２変換行列Ａ2 mを補正する場合、修正係数導出部３３１は、式２５に従って、第２変換行列Ａ2 mを補正する。具体的には、修正係数導出部３３１は、第２変換行列Ａ2 mの要素ａ2（ｉ，ｊ）毎に、第１変換行列Ａ1 nから算出されたノルムＮ（ｉ）の逆数と、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とを乗じることで、補正後の第２変換行列Ａ’2 mを生成する。
Figure JPOXMLDOC01-appb-M000025
　以上のような構成であっても、より適した第２変換を第１部分信号に適用することができる。
　（実施の形態４）
　実施の形態２に係る復号装置は、第１逆変換係数から算出したノルムを用いて、第２逆変換後の第１復号量子化係数、又は、第２逆変換係数を補正したのに対して、実施の形態４に係る復号装置は、量子化マトリクスのスケーリングを、第２逆変換後の第１復号量子化係数、又は、第２逆変換係数に反映させることを特徴とする。すなわち、実施の形態４に係る復号装置は、量子化マトリクスを用いて、第２逆変換後の第１復号量子化係数、又は、第２逆変換係数を補正することを特徴とする。
　実施の形態４に係る復号装置は、図１８に示す実施の形態２に係る復号装置５００と比較して、第２逆変換部５４０の代わりに第２逆変換部９４０を備える点が異なっている。その他の構成は、図１８に示す復号装置５００と同じであるため、以下では説明を省略する。
　図３５は、実施の形態４に係る第２逆変換部９４０の構成の一例を示すブロック図である。また、図３６は、実施の形態４に係る第２逆変換部９４０におけるデータフローの一例を概念的に示す図である。
　図３５に示すように、第２逆変換部９４０は、第２逆変換処理部５４１と、スケール逆補正部９４２と、ポストスケール逆補正部９４３とを備え、実施の形態３で説明した第２変換部８３０が行う変換処理と反対の処理を行う。
　ポストスケール逆補正部９４３は、ポストスケール補正部８３３が行う処理と反対の処理（ポストスケール逆補正処理）を行う。具体的には、ポストスケール逆補正部９４３は、量子化マトリクスから算出される補正係数ｍｆ＿２の逆数を第２復号変換出力信号ｙ＾2 mに乗じることで、逆補正後の第２復号変換出力信号ｙ＾’2 mを生成する。なお、これは、式２６に示すように、補正係数ｍｆ＿２で第２復号変換出力信号ｙ＾2 mを除算することと等価である。
Figure JPOXMLDOC01-appb-M000026
　なお、補正係数ｍｆ＿２（ｊ）は、式２１及び式２２によって表される。
　第２逆変換処理部５４１は、第２変換処理部１３２が行う処理と反対の処理（第２逆変換Ｔ2 -1）を行う。具体的には、第２逆変換処理部５４１は、第２逆変換行列Ａ-1 2 mを用いて、逆補正後の第２復号変換出力信号ｙ＾’2 mに第２逆変換Ｔ2 -1を行うことで、逆変換後の第２復号変換出力信号ｙ＾’1L mを生成する。
　スケール逆補正部９４２は、スケール補正部８３１が行う処理と反対の処理（スケール逆補正処理）を行う。具体的には、スケール逆補正部９４２は、逆変換後の第２復号変換出力信号ｙ＾’1L mに量子化パラメータを乗じることで、第１復号部分信号ｙ1L mを生成する。なお、これは、式２７に示すように、補正係数ｍｆで第２復号変換出力信号ｙ＾2 mを除算することと等価である。
Figure JPOXMLDOC01-appb-M000027
　次に、実施の形態４に係る復号装置の動作について説明する。実施の形態４に係る復号装置の動作は、図２１に示す実施の形態２に係る復号装置５００の動作と比較して、第２逆変換処理が異なっている。その他の動作は、図２１に示す復号装置５００の動作と同じであるため、以下では説明を省略する。
　図３７は、実施の形態４に係る第２逆変換部９４０の動作の一例を示すフローチャートである。図３７に示す処理は、図２１に示す補正付き第２逆変換（Ｓ４４０）の一例である。
　まず、第２復号変換出力信号ｙ＾2 mが第２逆変換部９４０に入力されると、ポストスケール逆補正部９４３は、式２６に従って、補正係数ｍｆ＿２の逆数を第２復号変換出力信号ｙ＾2 mに乗じることで、逆補正後の第２復号変換出力信号ｙ＾’2 mを生成する（Ｓ８４１）。
　次に、第２逆変換処理部５４１は、逆補正後の第２復号変換出力信号ｙ＾’2 mに対して第２逆変換行列Ａ-1 2 mを用いて第２逆変換Ｔ2 -1を行うことで、逆変換後の第２復号変換出力信号ｙ＾’1L mを生成する（Ｓ８４２）。
　次に、スケール逆補正部９４２は、式２７に従って、逆変換後の第２復号変換出力信号ｙ＾’1L mに量子化マトリクスを乗じることによって、第１復号部分信号ｙ＾1L mを生成する（Ｓ８４３）。
　以上のようにして、第２逆変換部９４０は、第１復号部分信号ｙ＾1L mを生成する。なお、第２逆変換行列Ａ-1 2 mは、第２変換Ｔ2の対象となる信号（変換対象信号）を含む集合の統計特性に基づいて決定される係数である。
　なお、実施の形態２と同様に、実施の形態４においても、逆変換後の第２復号変換出力信号ｙ＾’1L mではなく、第２逆変換行列Ａ-1 2 mを補正してもよい。すなわち、第２逆変換部９４０は、スケール逆補正部９４２及びポストスケール逆補正部９４３の代わりに、図２３に示すような修正係数導出部６４２を備えていてもよい。
　このとき、修正係数導出部６４２は、量子化マトリクスを用いて第２逆変換行列Ａ-1 2 mを補正する。具体的には、修正係数導出部６４２は、式２８に従って、第２逆変換行列Ａ-1 2 mを補正する。式２８に示すように、修正係数導出部６４２は、第２逆変換行列Ａ-1 2 mの要素ａ2（ｉ，ｊ）毎に、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とで除算する。
Figure JPOXMLDOC01-appb-M000028
　以上のように、逆変換後の第２復号変換出力信号ｙ＾’1L mではなく、第２逆変換行列Ａ-1 2 mを補正することによっても、同様に、符号化効率を高める効果を得ることができる。
　なお、実施の形態２と実施の形態４とを組み合わせてもよい。すなわち、第２逆変換部９４０は、逆変換後の第２復号変換出力信号ｙ＾’1L m又は第２逆変換行列Ａ-1 2 mに、ノルム逆補正と量子化マトリクスの逆補正との両方を行ってもよい。
　例えば、逆変換後の第２復号変換出力信号ｙ＾’1L mを補正する場合、スケール逆補正部９４２は、式２９に従って、逆変換後の第２復号変換出力信号ｙ＾’1L mを補正する。具体的には、スケール逆補正部９４２は、逆変換後の第２復号変換出力信号ｙ＾’1L mの要素ｙ＾’1L（ｉ）毎に、第１逆変換行列Ａ-1 1 nから算出されたノルムＮ（ｉ）を乗じ、量子化マトリクスの要素の逆数ｍｆ（ｉ）を除算することで、第１復号部分信号ｙ＾1L mを生成する。
Figure JPOXMLDOC01-appb-M000029
　また、第２逆変換行列Ａ-1 2 mを補正する場合、修正係数導出部６４２は、式３０に従って、第２逆変換行列Ａ-1 2 mを補正する。具体的には、修正係数導出部６４２は、第２逆変換行列Ａ-1 2 mの要素ａ2（ｉ，ｊ）毎に、第１逆変換行列Ａ-1 1 nから算出されたノルムＮ（ｉ）を乗じ、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とで除算することで、補正後の第２逆変換行列Ａ’-1 2 mを生成する。
Figure JPOXMLDOC01-appb-M000030
　以上のような構成であっても、より適した第２逆変換を第２復号変換出力信号に適用することができる。
　（実施の形態５）
　上記各実施の形態で示した動画像符号化方法又は動画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
　さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号方法の応用例とそれを用いたシステムを説明する。
　図３８は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７～ｅｘ１１０が設置されている。
　このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２及び電話網ｅｘ１０４、及び基地局ｅｘ１０７～ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。
　しかし、コンテンツ供給システムｅｘ１００は図３８のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７～ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
　カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ－Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ　Ｓｐｅｅｄ　Ｐａｃｋｅｔ　Ａｃｃｅｓｓ）の携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
　コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。
　なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像及び／又は動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
　また、これら符号化・復号処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ－ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
　また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
　以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
　このコンテンツ供給システムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。
　その一例として携帯電話ｅｘ１１４について説明する。
　図３９は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
　さらに、携帯電話ｅｘ１１４について図４０を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２及び操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６及び音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。
　電源回路部ｅｘ７１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。
　携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ６０８を介して出力する。
　さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。
　データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データをカメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３及びＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。
　画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。
　多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。
　データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。
　また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。
　次に、画像復号部ｅｘ７０９は、本願発明で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
　なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図４１に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データ又はそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ２０４で受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置によりビットストリームを復号してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ２１５、２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２からまたは基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。
　また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データ又はそれらのデータが多重化された符号化ビットストリームを読み取り復号する、又は記録メディアｅｘ２１５に音声データ、映像データ又はそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号装置又は動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでもよい。
　図４２は、上記各実施の形態で説明した動画像復号方法及び動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４又はケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、又は出力するチューナｅｘ３０１と、受信した符号化データを復調する、又は外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、又は符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、又はそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。
　まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信又は記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８～ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
　また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、及び外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。
　また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、又は書き込む場合には、上記復号処理又は符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。
　一例として、光ディスクからデータの読み込み又は書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図４３に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１～ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
　以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
　図４４に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周又は外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データ又はそれらのデータを多重化した符号化データの読み書きを行う。
　以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
　また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図４２に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。
　このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
　また、本発明は係る上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
　（実施の形態６）
　上記各実施の形態で示した動画像符号化方法及び装置、動画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４５に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１～ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
　例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ　Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化及び／又は映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、又は記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。
　また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して、又は記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号及び／又は映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５、テレビｅｘ３００等の各出力部から出力される。
　なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。
　なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
　以上、本発明に係る符号化方法、符号化装置、復号方法及び復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　本発明は、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができるという効果を奏し、オーディオ、静止画像、及び動画像を符号化する符号化装置、及び、当該符号化装置によって符号化されたデータを復号する復号装置に利用することができる。例えば、本発明は、オーディオ機器、携帯電話、デジタルカメラ、ＢＤレコーダ、デジタルテレビなどの各種ＡＶ機器に利用することができる。
１００、１００ａ、１００ｂ、２００、４００、１０００　符号化装置
１１０　第１変換部
１２０、５２０、５２０ａ　分割部
１３０、１３０ｂ、３３０、８３０　第２変換部
１３１、１３１ａ、８３１　スケール補正部
１３２　第２変換処理部
１４０、１４０ａ、１４０ｂ、１０２０　量子化部
１４１　補正無し量子化部
１４２　補正付き量子化部
１５０、１５０ａ、５５０　統合部
１６０、１０３０　エントロピー符号化部
２１１　第１メモリ
２１２　第１変換係数導出部
２２１　第２メモリ
２２２　分割統合情報生成部
２３１　第３メモリ
２３２　第２変換係数導出部
３３１、６４２　修正係数導出部
４１０　減算器
４２０　変換・量子化部
４３０、７２０　逆量子化・逆変換部
４４０、７３０　加算器
４５０、７４０　メモリ
４６０、７５０　予測部
５００、５００ａ、５００ｂ、７００　復号装置
５１０　エントロピー復号部
５３０、５３０ａ、５３０ｂ　逆量子化部
５３１　補正無し逆量子化部
５３２　補正付き逆量子化部
５４０、５４０ｂ、６４０、９４０　第２逆変換部
５４１　第２逆変換処理部
５４２、５４２ａ、９４２　スケール逆補正部
５６０　第１逆変換部
８３３　ポストスケール補正部
９４３　ポストスケール逆補正部
１０１０　変換部
ｅｘ１００　コンテンツ供給システム
ｅｘ１０１　インターネット
ｅｘ１０２　インターネットサービスプロバイダ
ｅｘ１０３　ストリーミングサーバ
ｅｘ１０４　電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０　基地局
ｅｘ１１１　コンピュータ
ｅｘ１１２　ＰＤＡ
ｅｘ１１３、ｅｘ１１６　カメラ
ｅｘ１１４　カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５　ゲーム機
ｅｘ１１７　マイク
ｅｘ２００　デジタル放送用システム
ｅｘ２０１　放送局
ｅｘ２０２　放送衛星（衛星）
ｅｘ２０３　ケーブル
ｅｘ２０４、ｅｘ２０５、ｅｘ６０１　アンテナ
ｅｘ２１０　車
ｅｘ２１１　カーナビゲーション（カーナビ）
ｅｘ２１２　再生装置
ｅｘ２１３、ｅｘ２１９　モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６、ｅｘ６０７　記録メディア
ｅｘ２１７　セットトップボックス（ＳＴＢ）
ｅｘ２１８　リーダ／レコーダ
ｅｘ２２０　リモートコントローラ
ｅｘ２３０　情報トラック
ｅｘ２３１　記録ブロック
ｅｘ２３２　内周領域
ｅｘ２３３　データ記録領域
ｅｘ２３４　外周領域
ｅｘ３００　テレビ
ｅｘ３０１　チューナ
ｅｘ３０２　変調／復調部
ｅｘ３０３　多重／分離部
ｅｘ３０４　音声信号処理部
ｅｘ３０５　映像信号処理部
ｅｘ３０６、ｅｘ５０７　信号処理部
ｅｘ３０７　スピーカ
ｅｘ３０８、ｅｘ６０２　表示部
ｅｘ３０９　出力部
ｅｘ３１０、ｅｘ５０１　制御部
ｅｘ３１１、ｅｘ５０５、ｅｘ７１０　電源回路部
ｅｘ３１２　操作入力部
ｅｘ３１３　ブリッジ
ｅｘ３１４、ｅｘ６０６　スロット部
ｅｘ３１５　ドライバ
ｅｘ３１６　モデム
ｅｘ３１７　インターフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４、ｅｘ５０８　バッファ
ｅｘ４００　情報再生／記録部
ｅｘ４０１　光ヘッド
ｅｘ４０２　変調記録部
ｅｘ４０３　再生復調部
ｅｘ４０５　ディスクモータ
ｅｘ４０６　サーボ制御部
ｅｘ４０７　システム制御部
ｅｘ５００　ＬＳＩ
ｅｘ５０２　ＣＰＵ
ｅｘ５０３　メモリコントローラ
ｅｘ５０４　ストリームコントローラ
ｅｘ５０６　ストリームＩ／Ｏ
ｅｘ５０９　ＡＶ　Ｉ／Ｏ
ｅｘ５１０　バス
ｅｘ５１１　メモリ
ｅｘ６０３　カメラ部
ｅｘ６０４　操作キー
ｅｘ６０５　音声入力部
ｅｘ６０８　音声出力部
ｅｘ７０１　送受信回路部
ｅｘ７０２　ＬＣＤ制御部
ｅｘ７０３　カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４　操作入力制御部
ｅｘ７０５　音声処理部
ｅｘ７０６　変復調回路部
ｅｘ７０７　記録再生部
ｅｘ７０８　多重分離部
ｅｘ７０９　画像復号部
ｅｘ７１１　主制御部
ｅｘ７１２　画像符号化部
ｅｘ７１３　同期バス

Claims (26)

  1. 　第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換ステップと、
    　前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換ステップと、
    　前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化ステップと、
    　前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、
    　前記第２変換ステップは、
    　前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップと、
    　前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する変換ステップとを含む
    　符号化方法。
  2. 　前記量子化ステップでは、前記スケーリングパラメータを用いずに前記第２変換出力信号を量子化し、かつ、前記スケーリングパラメータを用いて前記第２部分信号を量子化することで、量子化係数を生成する
    　請求項１記載の符号化方法。
  3. 　前記補正ステップでは、さらに、前記スケーリングパラメータを用いて前記第２部分信号を補正することで、補正後の第２部分信号を生成し、
    　前記量子化ステップでは、前記第２変換出力信号と前記補正後の第２部分信号とを量子化する
    　請求項１記載の符号化方法。
  4. 　前記補正ステップでは、前記スケーリングパラメータとして、前記第１変換係数から算出されたノルムを用いて前記補正を行う
    　請求項１～３のいずれか１項に記載の符号化方法。
  5. 　前記補正ステップでは、前記第１部分信号に前記ノルムの逆数を乗じることで、前記補正後の第１部分信号を生成し、
    　前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、前記第２変換出力信号を生成する
    　請求項４記載の符号化方法。
  6. 　前記補正ステップでは、前記第２変換係数に前記ノルムの逆数を乗じることで、前記補正後の第２変換係数を生成し、
    　前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
    　請求項４記載の符号化方法。
  7. 　前記補正ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行う
    　請求項１～３のいずれか１項に記載の符号化方法。
  8. 　前記補正ステップでは、前記第１部分信号に前記量子化マトリクスの逆数を乗じることで、前記補正後の第１部分信号を生成し、
    　前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、変換後の第１部分信号を生成し、
    　前記第２変換ステップは、さらに、
    　前記変換後の第１部分信号に、前記量子化マトリクスから算出される補正係数を乗じることで、前記第２変換出力信号を生成するポスト補正ステップを含む
    　請求項７記載の符号化方法。
  9. 　前記補正ステップでは、前記第２変換係数に前記量子化マトリクスの逆数と、当該量子化マトリクスから算出される補正係数とを乗じることで、前記補正後の第２変換係数を生成し、
    　前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
    　請求項７記載の符号化方法。
  10. 　前記第２変換係数は、ＫＬＴ（Ｋａｒｈｕｎｅｎ　Ｌｏｅｖｅ　Ｔｒａｎｓｆｏｒｍ）によって決定される係数である
    　請求項１～９のいずれか１項に記載の符号化方法。
  11. 　符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、
    　前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、
    　第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換ステップと、
    　前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換ステップとを含み、
    　前記第２逆変換ステップでは、
    　前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    　復号方法。
  12. 　前記逆量子化ステップでは、前記スケーリングパラメータを用いずに、前記復号量子化係数の一部である第１復号量子化係数を逆量子化することで、前記第２復号変換出力信号を生成し、かつ、前記スケーリングパラメータを用いて、前記復号量子化係数のうち前記第１復号量子化係数以外の部分である第２復号量子化係数を逆量子化することで、前記第２復号部分信号を生成する
    　請求項１１記載の復号方法。
  13. 　前記符号化方法は、さらに、前記スケーリングパラメータを用いて、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分を補正することで、前記第２部分信号を生成する補正ステップを含む
    　請求項１１記載の復号方法。
  14. 　前記第２逆変換ステップでは、前記スケーリングパラメータとして、前記第１逆変換係数から算出されたノルムを用いて前記補正を行う
    　請求項１１～１３のいずれか１項に記載の復号方法。
  15. 　前記第２逆変換ステップでは、
    　前記第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記逆変換後の第２復号変換出力信号を生成し、
    　前記逆変換後の第２復号変換出力信号に前記ノルムを乗じることで、前記第１復号部分信号を生成する
    　請求項１４記載の復号方法。
  16. 　前記第２逆変換ステップでは、
    　前記第２逆変換係数に前記ノルムを乗じることで、前記補正後の第２逆変換係数を生成し、
    　前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    　請求項１４記載の復号方法。
  17. 　前記第２逆変換ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行う
    　請求項１１～１３のいずれか１項に記載の復号方法。
  18. 　前記第２逆変換ステップでは、
    　前記第２復号変換出力信号に、前記量子化マトリクスから算出される補正係数の逆数を乗じることで、ポスト逆補正後の第２復号変換出力信号を生成し、
    　前記第２逆変換係数を用いて前記ポスト逆補正後の第２復号変換出力信号を逆変換することで、逆変換後の第２復号変換出力信号を生成し、
    　前記逆変換後の第２復号変換出力信号に前記量子化マトリクスを乗じることで、前記第１復号部分信号を生成する
    　請求項１７記載の復号方法。
  19. 　前記第２逆変換ステップでは、
    　前記第２逆変換係数に前記量子化マトリクスと、当該量子化マトリクスから算出される補正係数の逆数とを乗じることで、前記補正後の第２逆変換係数を生成し、
    　前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    　請求項１７記載の復号方法。
  20. 　前記第２逆変換係数は、ＫＬＴによって決定される係数である
    　請求項１１～１９のいずれか１項に記載の復号方法。
  21. 　第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換部と、
    　前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換部と、
    　前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化部と、
    　前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備え、
    　前記第２変換部は、
    　前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成し、
    　前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
    　符号化装置。
  22. 　符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、
    　前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、
    　第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換部と、
    　前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換部とを備え、
    　前記第２逆変換部は、
    　前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    　復号装置。
  23. 　第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換部と、
    　前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換部と、
    　前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化部と、
    　前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備え、
    　前記第２変換部は、
    　前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成し、
    　前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
    　集積回路。
  24. 　符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、
    　前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、
    　第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換部と、
    　前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換部とを備え、
    　前記第２逆変換部は、
    　前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    　集積回路。
  25. 　符号化方法をコンピュータに実行させるためのプログラムであって、
    　前記符号化方法は、
    　第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換ステップと、
    　前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換ステップと、
    　前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化ステップと、
    　前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、
    　前記第２変換ステップは、
    　前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップと、
    　前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する変換ステップとを含む
    　プログラム。
  26. 　復号方法をコンピュータに実行させるためのプログラムであって、
    　前記復号方法は、
    　符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、
    　前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、
    　第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換ステップと、
    　前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換ステップとを含み、
    　前記第２逆変換ステップでは、
    　前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
    　プログラム。
PCT/JP2010/004958 2009-08-06 2010-08-06 符号化方法、復号方法、符号化装置及び復号装置 WO2011016250A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10806250A EP2464017A4 (en) 2009-08-06 2010-08-06 CODING METHOD, DECODING METHOD, CODING DEVICE AND DECODING DEVICE
CN2010800341701A CN102474270A (zh) 2009-08-06 2010-08-06 编码方法、解码方法、编码装置及解码装置
US13/388,335 US20120128065A1 (en) 2009-08-06 2010-08-06 Coding method, decoding method, coding apparatus, and decoding apparatus
JP2011525801A JPWO2011016250A1 (ja) 2009-08-06 2010-08-06 符号化方法、復号方法、符号化装置及び復号装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-183791 2009-08-06
JP2009183791 2009-08-06
JP2009-192618 2009-08-21
JP2009192618 2009-08-21

Publications (1)

Publication Number Publication Date
WO2011016250A1 true WO2011016250A1 (ja) 2011-02-10

Family

ID=43544156

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004958 WO2011016250A1 (ja) 2009-08-06 2010-08-06 符号化方法、復号方法、符号化装置及び復号装置

Country Status (7)

Country Link
US (1) US20120128065A1 (ja)
EP (1) EP2464017A4 (ja)
JP (1) JPWO2011016250A1 (ja)
KR (1) KR20120046728A (ja)
CN (1) CN102474270A (ja)
TW (1) TW201136318A (ja)
WO (1) WO2011016250A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127706A1 (ja) * 2011-03-18 2012-09-27 株式会社日立国際電気 動画像符号化装置及び動画像符号化方法
WO2018003008A1 (ja) * 2016-06-28 2018-01-04 三菱電機株式会社 画像符号化装置及び画像復号装置
WO2019003676A1 (ja) * 2017-06-29 2019-01-03 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI627857B (zh) 2012-06-29 2018-06-21 Sony Corp Image processing device and method
US10002206B2 (en) 2012-10-26 2018-06-19 Saturn Licensing Llc Information processing device and information processing method
GB2511493B (en) * 2013-03-01 2017-04-05 Gurulogic Microsystems Oy Entropy modifier and method
CN112929660B (zh) 2015-10-13 2023-12-26 三星电子株式会社 用于对图像进行编码或解码的方法和设备
CN111899746B (zh) * 2016-03-21 2022-10-18 华为技术有限公司 加权矩阵系数的自适应量化
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
JP6986868B2 (ja) * 2017-06-19 2021-12-22 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、プログラム
WO2019022099A1 (ja) * 2017-07-28 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR20200031102A (ko) * 2017-07-28 2020-03-23 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
JP7349453B2 (ja) * 2018-02-27 2023-09-22 ゼタン・システムズ・インコーポレイテッド 異種データのためのスケーラブル変換処理ユニット
WO2020228672A1 (en) 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Context modeling of reduced secondary transforms in video
WO2020244656A1 (en) 2019-06-07 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
WO2021023151A1 (en) 2019-08-03 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Position based mode derivation in reduced secondary transforms for video
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0385080A (ja) * 1989-08-28 1991-04-10 Nec Corp 動画像の直交変換符号化方式およびその復号化の方式
JPH09200762A (ja) * 1995-12-29 1997-07-31 Daewoo Electron Co Ltd 映像信号符号化方法及びその装置
JP2004046499A (ja) * 2002-07-11 2004-02-12 Matsushita Electric Ind Co Ltd データ処理システム
WO2006006564A1 (ja) * 2004-07-12 2006-01-19 Sony Corporation 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170264A (en) * 1988-12-10 1992-12-08 Fuji Photo Film Co., Ltd. Compression coding device and expansion decoding device for a picture signal
US5289548A (en) * 1992-06-30 1994-02-22 Loral Aerospace Corp. Compression and reconstruction of radiological images
US6198412B1 (en) * 1999-01-20 2001-03-06 Lucent Technologies Inc. Method and apparatus for reduced complexity entropy coding
US7630435B2 (en) * 2004-01-30 2009-12-08 Panasonic Corporation Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
JP2007243399A (ja) * 2006-03-07 2007-09-20 Matsushita Electric Ind Co Ltd データ圧縮方式およびその関連技術

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0385080A (ja) * 1989-08-28 1991-04-10 Nec Corp 動画像の直交変換符号化方式およびその復号化の方式
JPH09200762A (ja) * 1995-12-29 1997-07-31 Daewoo Electron Co Ltd 映像信号符号化方法及びその装置
JP2004046499A (ja) * 2002-07-11 2004-02-12 Matsushita Electric Ind Co Ltd データ処理システム
WO2006006564A1 (ja) * 2004-07-12 2006-01-19 Sony Corporation 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127706A1 (ja) * 2011-03-18 2012-09-27 株式会社日立国際電気 動画像符号化装置及び動画像符号化方法
JP5850536B2 (ja) * 2011-03-18 2016-02-03 株式会社日立国際電気 動画像符号化装置及び動画像符号化方法
WO2018003008A1 (ja) * 2016-06-28 2018-01-04 三菱電機株式会社 画像符号化装置及び画像復号装置
JPWO2018003008A1 (ja) * 2016-06-28 2018-07-05 三菱電機株式会社 画像符号化装置及び画像復号装置
WO2019003676A1 (ja) * 2017-06-29 2019-01-03 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN110800296A (zh) * 2017-06-29 2020-02-14 索尼公司 图像处理装置、图像处理方法和程序
JPWO2019003676A1 (ja) * 2017-06-29 2020-04-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Also Published As

Publication number Publication date
TW201136318A (en) 2011-10-16
JPWO2011016250A1 (ja) 2013-01-10
CN102474270A (zh) 2012-05-23
KR20120046728A (ko) 2012-05-10
EP2464017A1 (en) 2012-06-13
US20120128065A1 (en) 2012-05-24
EP2464017A4 (en) 2012-07-11

Similar Documents

Publication Publication Date Title
WO2011016250A1 (ja) 符号化方法、復号方法、符号化装置及び復号装置
WO2011016248A1 (ja) 符号化方法、復号方法、符号化装置及び復号装置
WO2011016251A1 (ja) 符号化方法、復号方法、符号化装置及び復号装置
JP5588438B2 (ja) 画像符号化方法及び画像符号化装置
KR101680877B1 (ko) 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 프로그램, 및 집적 회로
WO2011052215A1 (ja) 復号方法、復号装置、符号化方法、および符号化装置
WO2010113524A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置
JPWO2010026770A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路
JPWO2010061607A1 (ja) 動画像復号方法、動画像符号化方法、動画像復号装置、動画像符号化装置、プログラム、及び集積回路
JP5679980B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP5546044B2 (ja) 画像復号装置、画像符号化装置、画像復号回路及び画像復号方法
WO2011052216A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US8699778B2 (en) Image coding method, image coding apparatus, program, and integrated circuit
JP5468604B2 (ja) 画像復号装置、集積回路、画像復号方法及び画像復号システム
WO2011089865A1 (ja) 画像符号化方法、画像復号方法、それらの装置、プログラムおよび集積回路
JP2011182132A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、集積回路およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080034170.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10806250

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011525801

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13388335

Country of ref document: US

Ref document number: 2010806250

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20127002958

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE