WO2011080916A1 - 音声符号化装置および音声符号化方法 - Google Patents

音声符号化装置および音声符号化方法 Download PDF

Info

Publication number
WO2011080916A1
WO2011080916A1 PCT/JP2010/007553 JP2010007553W WO2011080916A1 WO 2011080916 A1 WO2011080916 A1 WO 2011080916A1 JP 2010007553 W JP2010007553 W JP 2010007553W WO 2011080916 A1 WO2011080916 A1 WO 2011080916A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
signal
inter
principal component
subband
Prior art date
Application number
PCT/JP2010/007553
Other languages
English (en)
French (fr)
Inventor
リウゾンシアン
チョンコックセン
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/518,537 priority Critical patent/US8942989B2/en
Priority to CN201080058171.XA priority patent/CN102714036B/zh
Priority to JP2011547334A priority patent/JP5511848B2/ja
Publication of WO2011080916A1 publication Critical patent/WO2011080916A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition

Definitions

  • the present invention relates to a speech coding apparatus and speech coding method, and more particularly to a speech coding apparatus and speech coding method capable of deleting redundant inter-channel parameters.
  • One method is a method of independently encoding signals of different channels. It is easy to apply this method to stereo audio signals or multi-channel audio signals. However, since this method does not remove the redundancy between channels, the overall coding bit rate is proportional to the number of channels, resulting in a high bit rate.
  • the other method is a method of parametrically encoding a stereo audio signal or a multi-channel audio signal.
  • the basic principle of this method is as follows. That is, first, on the encoding side, the input signal is downmixed or converted into a smaller (or the same) number of signals. The downmixed or transformed signal is then encoded using conventional speech encoding methods. In parallel with this, an inter-channel parameter representing the relationship between channels is calculated from the original signal, and the inter-channel parameter is also encoded and transmitted to the decoding side so that a stereo image or a multi-channel image can be generated on the decoding side. . In this method, since the inter-channel parameter can be encoded with a smaller code amount than when the audio signal itself is encoded, a low bit rate can be realized.
  • PCA principal component analysis
  • BCC binaural cue coding method
  • ICP inter-channel prediction
  • IS Intensity Stereo
  • ICLD inter-channel level difference
  • ICTD inter-channel time difference
  • ICC inter-channel coherence
  • the inter-channel parameter is an inter-channel parameter in the inter-channel prediction, the energy scale factor in the intensity stereo, and the rotation angle in the principal component analysis.
  • interchannel parameters are generally calculated and encoded on a subband basis.
  • FIGS. 1 and 2 show a simplified configuration of a parametric multi-channel codec.
  • the meaning of each symbol in FIGS. 1 and 2 is as follows.
  • ⁇ X i — sb ⁇ A series of multi-channel signals divided into a plurality of subbands (which represent signals in the frequency domain, time domain, or hybrid domain combining frequency and time domains)
  • ⁇ Y i — sb ⁇ Downmix or transformed series of signals obtained in each subband (these are signals in the same region as ⁇ x i — sb ⁇ )
  • ⁇ P i — sb ⁇ A series of inter-channel parameters obtained in each subband
  • the inter-channel parameter generation unit 101 down-mixes the input signal ⁇ x i — sb ⁇ using, for example, BCC, PCA, etc., and down-mix signal ⁇ y i — sb ⁇ and inter-channel parameter ⁇ P i — sb ⁇ is generated.
  • the downmix signal ⁇ y i_sb ⁇ is encoded by the encoding unit 102, and the inter-channel parameter ⁇ P i_sb ⁇ is encoded by a separately prepared encoding unit 103 (inter-channel parameter encoding unit).
  • the encoding parameter of the downmix signal ⁇ y i_sb ⁇ and the encoding parameter of the inter-channel parameter ⁇ P i_sb ⁇ are multiplexed by the multiplexing unit 104 to generate a bit stream. This bit stream is transmitted to the decoding side.
  • the demultiplexing unit 201 demultiplexes the bitstream and obtains the downmix signal encoding parameter and the interchannel parameter encoding parameter.
  • Decoding unit 202 performs decoding processing using the coding parameters of the downmix signal to generate a decoded downmix signal ⁇ y ⁇ i_sb ⁇ .
  • Decoding unit 203 (inter-channel parameter decoding section) performs decoding processing using the inter-channel parameter coding parameters to generate a parameter ⁇ P ⁇ i_sb ⁇ between decoding channels.
  • the inter-channel parameter application unit 204 generates a decoded signal ⁇ x 1 to i_sb ⁇ by upmixing the decoded downmix signal ⁇ y 1 to i_sb ⁇ using the spatial information represented by the decoded inter-channel parameter ⁇ P 1 to i_sb ⁇ . .
  • Non-Patent Document 1 describes a codec based on principal component analysis (PCA) in the frequency domain.
  • PCA principal component analysis
  • 3 and 4 show the configurations of the PCA-based encoding device and decoding device in Non-Patent Document 1.
  • FIG. The meaning of each symbol is as follows.
  • ⁇ L sb (f) ⁇ Left signal divided into a plurality of subbands ⁇ R sb (f) ⁇ : Right signal divided into a plurality of subbands ⁇ Pc sb (f) ⁇ : Subbands by principal component analysis Principal component signal calculated for each ⁇ A sb (f) ⁇ : An ambient signal calculated for each subband by principal component analysis ⁇ sb ⁇ : rotation angle calculated for each subband by principal component analysis ⁇ PcAR sb ⁇ : energy ratio of principal component analysis signal and ambient signal calculated for each subband
  • the principal component analysis unit 301 converts the input left signal ⁇ L sb (f) ⁇ and the input right signal ⁇ R sb (f) ⁇ into the principal component signal ⁇ Pc sb (f). ⁇ And the ambient signal ⁇ A sb (f) ⁇ .
  • a rotation angle indicating the degree of conversion is calculated for each subband. The rotation angle is calculated as follows.
  • the monaural encoding unit 303 encodes the principal component signal ⁇ Pc sb (f) ⁇ .
  • the encoding unit 302 (rotation angle encoding unit) encodes the rotation angle ⁇ sb ⁇ .
  • the energy parameter extraction unit 304 calculates the energy ratio ⁇ PcAR sb ⁇ between the principal component signal and the ambient signal. Then, the encoding unit 305 (energy ratio encoding unit) encodes the energy ratio ⁇ PcAR sb ⁇ to generate an energy ratio encoding parameter.
  • the energy ratio ⁇ PcAR sb ⁇ is obtained by the following equation.
  • the multiplexing unit 306 multiplexes the encoding parameter of ⁇ Pc sb (f) ⁇ , the encoding parameter of the rotation angle ⁇ sb ⁇ , and the encoding parameter of the energy ratio ⁇ PcAR sb ⁇ to generate a bit stream on the decoding side. Send.
  • the demultiplexing unit 401 demultiplexes the bitstream and obtains a principal component signal encoding parameter, a rotation angle encoding parameter, and an energy ratio encoding parameter.
  • Decoding section 402 decodes the rotation angle encoding parameter and outputs decoded rotation angles ⁇ 1 to i_sb ⁇ to principal component synthesis section 406.
  • the monaural decoding unit 403 generates a decoded principal component signal ⁇ P ⁇ c sb (f) ⁇ by decoding the principal component signal encoding parameter, and outputs the decoded principal component signal ⁇ P to c sb (f) ⁇ to the principal component synthesis unit 406 and the ambient signal synthesis unit 405.
  • Decoding unit 404 (the energy ratio decoding unit) decodes the energy ratio coding parameters to generate the decoded energy ratio of the main component signal and the ambient signal ⁇ P ⁇ cAR sb ⁇ .
  • the ambient signal synthesis unit 405 generates the decoded ambient signal ⁇ A 1 to sb (f) ⁇ by scaling the decoded principal component signal ⁇ P 1 to c sb (f) ⁇ by the decoding energy ratio.
  • Main component synthesis section 406 a decoding principal component signal ⁇ P ⁇ c sb (f) ⁇ and the decoded ambient signal ⁇ A ⁇ sb (f) ⁇ , and inverse transformed by decoding the rotation angle ⁇ ⁇ i_sb ⁇ , decoded left A signal ⁇ L to sb (f) ⁇ and a decoded right signal ⁇ R to sb (f) ⁇ are generated.
  • This inverse transformation is performed as in the following equation.
  • the inverse transformation is performed as in the following equation.
  • the inter-channel parameters are encoded at a predetermined bit rate regardless of the encoding quality of the downmixed signal ⁇ y i_sb ⁇ or the signal level. In some cases, even if the downmixed signal is not encoded at all in one or more subbands, the inter-channel parameters are encoded regardless of the situation.
  • L (f) S (f) + C (f)
  • R (f) S (f) + B (f).
  • Ambient noise is dominant in subbands where S (f) is not so strong, that is, C (f) is dominant in L (f) and B (f) is dominant in R (f). .
  • these subbands are not very important in the whole spectrum, and at low bit rates, the signals in these subbands are not encoded. Therefore, the encoding of the rotation angles of these subbands is essentially unnecessary. Therefore, in the conventional technique that always encodes the rotation angles of all subbands, the bits allocated to the encoding of the rotation angles of these subbands are wasted.
  • FIG. 5 illustrates the above situation in question.
  • the principal component signal Pc 2 (f) of the second subband whose energy of the principal component signal is smaller than that of the other subbands is encoded. It is not converted. Therefore, on the decoding side, the decoded principal component signal of the second subband is zero. Since the ambient signal is generated by scaling the principal component signal, the ambient signal is also zero. Therefore, regardless of the value of the rotation angle, the decoded left signals L 1 to 2 (f) and the decoded right signals R 1 to 2 (f) of the second subband are 0. That is, even if the rotation angle is not transmitted, the decoded left signal and the decoded right signal are the same as when the rotation angle is transmitted.
  • An object of the present invention is to provide a speech encoding apparatus and speech encoding method that can delete redundant inter-channel parameters.
  • the characteristics of the signal are analyzed for each subband signal to determine whether it is necessary to transmit the inter-channel parameter. . Then, inter-channel parameters that do not need to be transmitted are identified and deleted from the encoding target.
  • redundant parameters are identified by the closed loop method.
  • a redundant parameter is identified by introducing a local decoding unit on the encoding side and analyzing the encoding quality of the signal. The energy or amplitude of the decoded downmix signal generated through the local decoding unit is analyzed, and the subband having a small energy or amplitude is regarded as a subband having a redundant inter-channel parameter. By deleting the inter-channel parameter of this subband from the encoding target, the possibility of sound quality degradation is avoided.
  • redundant parameters are identified by the open loop method. Redundant parameters are identified by analyzing the characteristics of the transformed or downmixed original signal.
  • the decoding side identifies a subband in which no inter-channel parameter exists by analyzing the converted or downmixed signal after decoding. Therefore, a flag signal for notifying the decoding unit that there is no inter-channel parameter in a specific subband is not required.
  • the bits saved by applying the present invention are converted into any more important signal (eg, principal component signal encoding parameters, transformed or downmixed signal encoding parameters). ) Is used for encoding.
  • non-existing inter-channel parameters are predicted from adjacent subband parameters, past frame parameters, or both.
  • the predicted value is used in the inverse transform or upmix.
  • the present invention is applied to scalable coding.
  • the characteristics of the converted or downmixed signal are analyzed for each subband to check whether it is necessary to transmit the interchannel parameter. Then, inter-channel parameters that do not need to be transmitted are identified and deleted from the encoding target. In the case of a layer that requires an inter-channel parameter to generate an input signal, the inter-channel parameter is transmitted.
  • voice coding The figure which shows the structure of the decoding side of parametric multichannel audio
  • the figure which shows the structure of the decoding side of a PCA base stereo codec Diagram showing problems with PCA-based stereo codec The figure which shows the structure of the audio
  • voice coding The figure which shows the structure of the audio
  • voice coding The figure which shows the structure of the audio
  • voice coding The figure which shows the structure of the audio
  • FIG. 6 shows the configuration of speech encoding apparatus 600 according to the present embodiment.
  • a local monaural decoding unit 603 and a redundant parameter deletion unit 604 are added.
  • the description of the same components as those in FIG. 3 is omitted.
  • the local monaural decoding unit 603 generates a decoded principal component signal so that the encoding quality of the principal component signal can be recognized on the encoding side.
  • the redundant parameter deletion unit 604 identifies redundant parameters by analyzing the encoding quality of the decoded principal component signal and deletes these from the encoding target.
  • the spectrum of the principal component signal is encoded and decoded.
  • the principal component is not encoded at all in the second subband, and the decoded spectrum of the second subband becomes zero.
  • the rotation angle in the second subband is regarded as a redundant parameter, and this parameter is deleted from the encoding target before encoding.
  • FIG. 8 shows the configuration of speech decoding apparatus 800 according to the present embodiment.
  • a zero value insertion unit 804 is added as compared to FIG.
  • the description of the same components as those in FIG. 4 is omitted.
  • the zero value insertion unit 804 analyzes the decoded principal component signal, identifies the subband where the rotation angle does not exist, and inserts the zero value in the subband where the rotation angle does not exist so that the inverse transformation can be performed smoothly. To do.
  • the decoding side recognizes that the decoded principal component signal is 0 in the second subband by generating the decoded principal component signal and then analyzing the decoded principal component signal, It is recognized that the rotation angle of the second subband is not encoded. Therefore, only the rotation angles of the other subbands are decoded. Further, in order to make the decoding process smooth, the decoded rotation angle of the second subband is inserted as a zero value.
  • the present invention can also be applied to the encoding of the energy ratio between the principal component signal and the ambient signal.
  • ⁇ X i — sb ⁇ multi-channel signal divided into a plurality of subbands (these represent signals in the frequency domain, the time domain, or the hybrid domain of the frequency domain and the time domain)
  • ⁇ Y i — sb ⁇ Downmixed or transformed signal divided into multiple subbands (these are signals in the same region as ⁇ x i — sb ⁇ )
  • ⁇ P i_sb ⁇ inter-channel parameter determined in each sub-band ⁇ x ⁇ i_sb ⁇ : decoded signal ⁇ x i_sb ⁇ ⁇ y ⁇ i_sb ⁇ : decoded signal ⁇ y i_sb ⁇ ⁇ P ⁇ i_sb ⁇ : between decoding channels Parameters
  • redundant parameters are deleted in multi-channel speech coding.
  • FIG. 10 shows the configuration of speech encoding apparatus 1000 according to the present embodiment.
  • inter-channel parameter generation section 1001 converts or downmixes input signal ⁇ x i — sb ⁇ into ⁇ y i — sb ⁇ by, for example, BCC, PCA or the like.
  • the inter-channel parameter generation unit 1001 also generates an inter-channel parameter ⁇ P i_sb ⁇ in the process of conversion or downmixing.
  • the transformed or downmixed signal ⁇ y i_sb ⁇ is encoded by the encoding unit 1002.
  • the local decoding unit 1003 generates a decoded or downmixed signal after decoding so that the encoding quality of the converted or downmixed signal can be recognized on the encoding side.
  • the redundant parameter deletion unit 1004 identifies redundant parameters by analyzing the encoding quality of the converted or downmixed signal, and deletes these from the encoding target.
  • the encoding unit 1005 (inter-channel parameter encoding unit) encodes the remaining inter-channel parameters ⁇ P ′ i — sb ⁇ after deleting redundant parameters.
  • the multiplexing unit 1006 multiplexes the encoding parameter of ⁇ y i_sb ⁇ and the encoding parameter of ⁇ P ′ i_sb ⁇ to generate a bit stream, and transmits the bit stream to the decoding side.
  • the spectrum of the converted or downmixed signal is encoded and decoded.
  • the decoded spectrum After generating the decoded spectrum, by analyzing the decoded spectrum, for example, in the second subband, the transformed signal or the downmixed signal is very weak (in the extreme case, the second subband Is not encoded at all), it is recognized that the decoded signal is zero. For this reason, it is not necessary to encode the channel parameter of the second subband. Therefore, the inter-channel parameter in the second subband is regarded as a redundant parameter, and this parameter is deleted from the encoding target before encoding.
  • FIG. 12 shows the configuration of speech decoding apparatus 1200 according to the present embodiment.
  • the separation unit 1201 separates the bit stream.
  • Decoding unit 1202 generates by decoding the encoded parameters of ⁇ y i_sb ⁇ , conversion or down-mix signal ⁇ y ⁇ i_sb ⁇ .
  • Decoding unit 1203 (inter-channel parameter decoding section) generates a 'by decoding the encoded parameters ⁇ I_sb, decoding channel between parameters ⁇ P ⁇ P ⁇ ' i_sb ⁇ .
  • the zero value insertion unit 1204 analyzes the decoded spectrum of the transformed or downmixed signal, identifies the subband where there is no interchannel parameter, and performs the inverse transformation or the upmix smoothly. Insert a zero value at.
  • Parameter application unit 1205 between channels, by exploiting the spatial information represented by the inter-channel parameter ⁇ P ⁇ i_sb ⁇ , and inverse transformation or upmix a signal ⁇ y ⁇ i_sb ⁇ decoded ⁇ x ⁇ i_sb ⁇ Is generated.
  • the decoded signal of the second subband is very weak (in the extreme case, the decoded signal is 0).
  • the inter-channel parameter of the second subband is not encoded. Therefore, only the inter-channel parameters of the other subbands are decoded. Further, in order to make the decoding process smooth, a zero value is inserted into the decoded inter-channel parameter of the second subband.
  • the method for determining whether or not the inter-channel parameter is encoded on the decoding side is the same as the above method on the encoding side in order to maintain consistency with the encoding side.
  • inter-channel parameters before encoding and transmitting inter-channel parameters, it is necessary to analyze the signal characteristics for each of the converted signals in each subband and transmit the inter-channel parameters. Check if there is any. Then, inter-channel parameters that do not need to be transmitted are identified and deleted from the encoding target.
  • redundant parameters are identified by the closed loop method. That is, the local decoding unit on the encoding side identifies redundant parameters by analyzing the encoding quality of the signal.
  • the local decoding unit can identify subbands having redundant parameters (unimportant inter-channel parameters). This avoids the possibility of sound quality degradation.
  • the decoding side identifies the subband in which there is no inter-channel parameter by analyzing the converted or downmixed signal after decoding. Therefore, a flag signal for notifying the decoding unit that there is no inter-channel parameter in a specific subband is not required.
  • the non-existing inter-channel parameter is predicted from the adjacent subband parameter, the past frame parameter, or both on the decoding side.
  • the predicted value is used in the inverse transform or upmix.
  • FIG. 14 shows the configuration of speech decoding apparatus 1400 according to the present embodiment.
  • the zero value insertion unit 1204 illustrated in FIG. 12 is replaced with a missing parameter prediction unit 1404.
  • the description of the same components as in FIG. 12 is omitted.
  • missing parameter predicting section 1404 predicts non-existing inter-channel parameters using adjacent subband parameters or past frame parameters without filling non-existing inter-channel parameters with zero values. .
  • this parameter is predicted by the parameter of the adjacent subband or the parameter of the past frame.
  • a non-existing inter-channel parameter is predicted from the adjacent subband parameter, the past frame parameter, or both on the decoding side. Also, the predicted value is used in the inverse transform or upmix.
  • a spatial image can be retained by predicting non-existing inter-channel parameters.
  • ⁇ X i — sb ⁇ multi-channel signal divided into a plurality of subbands (these represent signals in the frequency domain, the time domain, or the hybrid domain of the frequency domain and the time domain)
  • ⁇ Y i — sb ⁇ Downmixed or transformed signal divided into multiple subbands (these are signals in the same region as ⁇ x i — sb ⁇ )
  • ⁇ P i_sb ⁇ inter-channel parameter determined in each sub-band ⁇ x ⁇ i_sb ⁇ : decoded signal ⁇ x i_sb ⁇ ⁇ y ⁇ i_sb ⁇ : decoded signal ⁇ y i_sb ⁇ ⁇ P ⁇ i_sb ⁇ : between decoding channels Parameters
  • an open loop method is used for identifying redundant parameters.
  • redundant inter-channel parameters are identified and removed from the encoding target.
  • FIG. 16 shows the configuration of speech encoding apparatus 1600 according to the present embodiment.
  • inter-channel parameter generation section 1601 converts or downmixes input signal ⁇ x i — sb ⁇ into ⁇ y i — sb ⁇ by, for example, BCC, PCA or the like.
  • the inter-channel parameter generator 1601 also generates an inter-channel parameter ⁇ P i_sb ⁇ in the process of conversion or downmix.
  • the transformed or downmixed signal ⁇ y i_sb ⁇ is encoded by the encoding unit 1602.
  • the signal analyzer 1603 analyzes signal characteristics of the converted or downmixed signal ⁇ y i — sb ⁇ to identify redundant parameters.
  • the redundant parameter deletion unit 1604 identifies redundant parameters and deletes them from the encoding target.
  • the encoding unit 1605 (inter-channel parameter encoding unit) encodes the remaining inter-channel parameters ⁇ P ′ i — sb ⁇ after deleting redundant parameters.
  • the multiplexing unit 1606 generates a bitstream by multiplexing the encoding parameter of ⁇ y i_sb ⁇ and the encoding parameter of ⁇ P ′ i_sb ⁇ , and transmits the bit stream to the decoding side.
  • the characteristics of the converted or downmixed signal are analyzed by, for example, energy analysis, psychoacoustic analysis, bit allocation analysis, or the like.
  • energy analysis for example, energy analysis, psychoacoustic analysis, bit allocation analysis, or the like.
  • the transformed or downmixed signal is very weak, for example in the second subband.
  • the inter-channel parameter in the second subband is regarded as a redundant parameter, and this parameter is deleted from the encoding target before encoding.
  • the energy ⁇ E sb ⁇ of each subband is calculated.
  • the energy ratio between that subband and the adjacent subband is calculated.
  • the energy ratio is then compared with some predetermined value E th (E th ⁇ 1). If both energy ratios are less than E th , the subband signal is considered weak.
  • E th ⁇ 1 some predetermined value
  • E 2 / E 1 and E 2 / E 3 are calculated. If E 2 / E 1 ⁇ E th and E 2 / E 3 ⁇ E th , the second subband signal is considered weak.
  • the inter-channel parameter in the second subband is regarded as a redundant parameter.
  • FIG. 18 shows the configuration of speech decoding apparatus 1800 according to the present embodiment.
  • the separation unit 1801 separates the bit stream.
  • Decoder 1802 generates and decodes the encoding parameters ⁇ y i_sb ⁇ , conversion or down-mix signal ⁇ y ⁇ i_sb ⁇ .
  • Decoding unit 1803 (inter-channel parameter decoding section) generates a 'by decoding the encoded parameters ⁇ I_sb, decoding channel between parameters ⁇ P ⁇ P ⁇ ' i_sb ⁇ .
  • the zero value insertion unit 1804 analyzes the decoded spectrum of the transformed or downmixed signal, identifies subbands where there is no inter-channel parameter, and performs the inverse transformation or upmixing smoothly. Insert zero values in subbands.
  • Parameter application unit 1805 between channels, by exploiting the spatial information represented by the inter-channel parameter ⁇ P ⁇ i_sb ⁇ , and inverse transformation or upmix a signal ⁇ y ⁇ i_sb ⁇ decoded ⁇ x ⁇ i_sb ⁇ Is generated.
  • the decoded signal of the second subband is very weak (in the extreme case, the decoded signal is 0). It is recognized. Accordingly, it is recognized that the inter-channel parameter of the second subband is not encoded. Therefore, only the inter-channel parameters of the other subbands are decoded. Further, in order to make the decoding process smooth, a zero value is inserted into the decoded inter-channel parameter of the second subband.
  • the method for determining whether or not the inter-channel parameter is encoded on the decoding side is the same as the above method on the encoding side in order to maintain consistency with the encoding side.
  • redundant parameters are identified by the open loop method. That is, redundant parameters are identified by analyzing the characteristics of the transformed or downmixed original signal.
  • a local decoding unit is not necessary. Therefore, this embodiment is effective under conditions where the local decoding unit cannot be used. In addition, since there is no local decoding unit, the amount of calculation can be reduced.
  • ⁇ X i — sb ⁇ multi-channel signal divided into a plurality of subbands (these represent signals in the frequency domain, the time domain, or the hybrid domain of the frequency domain and the time domain)
  • ⁇ Y i — sb ⁇ Downmixed or transformed signal divided into multiple subbands (these are signals in the same region as ⁇ x i — sb ⁇ )
  • ⁇ P i_sb ⁇ inter-channel parameter determined in each sub-band ⁇ x ⁇ i_sb ⁇ : decoded signal ⁇ x i_sb ⁇ ⁇ y ⁇ i_sb ⁇ : decoded signal ⁇ y i_sb ⁇ ⁇ P ⁇ i_sb ⁇ : between decoding channels Parameters
  • redundant parameters are deleted in the scalable codec.
  • FIG. 20 shows the configuration of speech encoding apparatus 2000 according to the present embodiment.
  • inter-channel parameter generation section 2001 converts or downmixes input signal ⁇ x i — sb ⁇ into ⁇ y i — sb ⁇ by BCC, PCA or the like, for example.
  • the inter-channel parameter generation unit 2001 also generates an inter-channel parameter ⁇ P i_sb ⁇ in the process of conversion or downmixing.
  • the transformed or downmixed signal ⁇ y i_sb ⁇ is encoded by the scalable encoding unit 2002.
  • the scalable local decoding unit 2003 generates a decoded signal of each layer so that the encoding quality of the converted or downmixed signal can be recognized on the encoding side.
  • the scalable redundant parameter deletion unit 2004 identifies the redundant parameters by analyzing the encoding quality of the converted or downmixed signal, and deletes these parameters from the encoding target of each layer.
  • the encoding unit 2005 encodes the remaining inter-channel parameters ⁇ P ′ i — sb ⁇ after deleting redundant parameters.
  • the multiplexing unit 2006 multiplexes the encoding parameter of ⁇ y i_sb ⁇ and the encoding parameter of ⁇ P ′ i_sb ⁇ to generate a bit stream, and transmits the bit stream to the decoding side.
  • the spectrum of the converted or downmixed signal is encoded and decoded. After generating the decoded spectrum, the decoded spectrum is analyzed. For example, in FIG. 21, in layer 1, the decoded or downmixed signal after decoding of the second subband is very weak (in the extreme case, the second subband is not encoded at all). It is recognized that the later signal is zero. In this case, it is not necessary to encode the inter-channel parameter of the second subband in layer 1. For this reason, in layer 1, the inter-channel parameter in the second subband is regarded as a redundant parameter, and this parameter is deleted from the encoding target before encoding.
  • the decoded signal of the second subband is not weak, and it is necessary to encode inter-channel parameters in order to avoid possible deterioration in sound quality. For this reason, the inter-channel parameter of the second subband is encoded for the first time in layer 2.
  • the energy ⁇ E sb ⁇ of each subband is calculated.
  • the energy ratio between that subband and the adjacent subband is calculated.
  • the energy ratio is compared with a predetermined value E th (E th ⁇ 1). If both energy ratios are less than E th , the subband signal is considered weak.
  • E th a predetermined value
  • E 2 / E 1 and E 2 / E 3 are calculated. If E 2 / E 1 ⁇ E th and E 2 / E 3 ⁇ E th , the second subband signal is considered weak. Inter-channel parameters in the second subband are considered redundant parameters.
  • FIG. 22 shows the configuration of speech decoding apparatus 2200 according to the present embodiment.
  • the separation unit 2201 separates the bit stream in each layer.
  • Scalable decoding unit 2202 generates by decoding the encoded parameters of ⁇ y i_sb ⁇ , conversion or down-mix signal ⁇ y ⁇ i_sb ⁇ .
  • Decoding unit 2203 (inter-channel parameter decoding section) generates a 'by decoding the encoded parameters ⁇ I_sb, decoding channel between parameters ⁇ P ⁇ P ⁇ ' i_sb ⁇ .
  • the zero value insertion unit 2204 analyzes the decoded spectrum of the transformed or downmixed signal in each layer, identifies the subband in which no inter-channel parameter exists, and can perform the inverse transformation or the upmix smoothly. Insert a zero value in that subband.
  • Parameter application unit 2205 between channels, by exploiting the spatial information represented by the inter-channel parameter ⁇ P ⁇ i_sb ⁇ , and inverse transformation or upmix a signal ⁇ y ⁇ i_sb ⁇ decoded ⁇ x ⁇ i_sb ⁇ Is generated.
  • the decoded signal of the second subband is very weak in Layer 1 (in the extreme case, the decoded signal is 0) ) Is recognized. Accordingly, it is recognized that the inter-channel parameter of the second subband is not encoded. Therefore, only the inter-channel parameters of the other subbands are decoded. Further, in order to make the decoding process smooth, a zero value is inserted into the decoded inter-channel parameter of the second subband.
  • the method for determining whether or not the inter-channel parameter is encoded on the decoding side is the same as the above method on the encoding side in order to maintain consistency with the encoding side.
  • the characteristics of the converted or downmixed signal are analyzed for each subband. Check whether it is necessary to transmit the parameters between channels. Then, inter-channel parameters that do not need to be transmitted are identified and deleted from the encoding target. On the other hand, in the case of a layer that requires an inter-channel parameter to generate an input signal, the inter-channel parameter is transmitted.
  • the inter-channel parameter is transmitted only in the layer where the inter-channel parameter is necessary, good bit allocation can be realized.
  • the present invention is suitable for a communication device that performs speech encoding, a communication device that performs speech decoding, and particularly a wireless communication device.
  • Speech coding apparatus 603 Local monaural decoding section 604 Redundant parameter deletion section 800 Speech decoding apparatus 804 Zero value insertion section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　不要なチャンネル間パラメータを符号化の対象から削除して符号化効率を向上させることができる音声符号化装置。この音声符号化装置では、主成分分析部（３０１）が、入力左信号｛Ｌｓｂ（ｆ）｝および入力右信号｛Ｒｓｂ（ｆ）｝を、主成分信号｛Ｐｃｓｂ（ｆ）｝およびアンビエント信号｛Ａｓｂ（ｆ）｝に変換するとともに、変換の程度を示す回転角をサブバンド毎に計算し、モノラル符号化部（３０３）が、主成分信号｛Ｐｃｓｂ（ｆ）｝を符号化し、回転角符号化部（３０２）が、回転角｛θｓｂ｝を符号化し、局所モノラル復号部（６０３）が、主成分信号の符号化品質を符号化側において認識することができるように、復号後の主成分信号を生成し、冗長パラメータ削除部（６０４）が、復号主成分信号の符号化品質を分析することによって、冗長なパラメータを識別し、これらを符号化の対象から削除し、多重化部（３０６）が、｛Ｐｃｓｂ（ｆ）｝の符号化パラメータと回転角符号化パラメータを多重化して復号側にビットストリームを送信する。

Description

音声符号化装置および音声符号化方法
　本発明は、音声符号化装置および音声符号化方法に関し、特に、冗長なチャンネル間パラメータを削除可能な音声符号化装置および音声符号化方法に関する。
　ステレオ音声符号化方法またはマルチチャンネル音声符号化には、一般的に２種類の方法が存在する。
　一方の方法は、異なるチャンネルの信号を各々独立に符号化する方法である。ステレオ音声信号またはマルチチャンネル音声信号にこの方法を適用することは容易である。しかし、この方法では、チャンネル間の冗長性が取り除かれないため、全体の符号化ビットレートはチャンネルの数に比例してしまい、高ビットレートになってしまう。
　他方の方法は、ステレオ音声信号またはマルチチャンネル音声信号をパラメトリックに符号化する方法である。この方法の基本的な原理は次の通りである。すなわち、はじめに、符号化側において、入力信号を、より少ない（または同じ）数の信号にダウンミックスまたは変換する。次に、ダウンミックスまたは変換された信号を、従来の音声符号化方法を使用して符号化する。これと並行して、原信号からチャンネル間の関係を表すチャンネル間パラメータを算出し、復号側にてステレオイメージまたはマルチチャンネルイメージを生成できるように、チャンネル間パラメータも符号化して復号側に送信する。この方法では、音声信号そのものを符号化するよりも少ない符号量でチャンネル間パラメータを符号化することができるため、低ビットレート化が実現できる。
　パラメトリックステレオ符号化システムまたはマルチチャンネル符号化システムにおいては、主成分分析（ＰＣＡ）（非特許文献１）、バイノーラルキュー符号化方法（ＢＣＣ）（非特許文献２）、チャンネル間予測（ＩＣＰ）（非特許文献３）、およびインテンシティステレオ（ＩＳ）（非特許文献４）が広く使用されている。ここに挙げた各方法では、何らかのチャンネル間パラメータを生成して復号側へ送信する。例えば、バイノーラルキュー符号化方法（ＢＣＣ）ではチャンネル間レベル差（ＩＣＬＤ）、チャンネル間時間差（ＩＣＴＤ）、チャンネル間コヒーレンス（ＩＣＣ）がチャンネル間パラメータに相当する。また、チャンネル間予測ではチャンネル間予測係数、インテンシティステレオではエネルギスケール係数、主成分分析では回転角がチャンネル間パラメータとなる。
　ＢＣＣ、ＩＣＰ、ＩＳ、およびＰＣＡでは、良好な精度のチャンネル間パラメータを求める必要があるために、サブバンドベースでチャンネル間パラメータの算出および符号化が行われることが一般的である。
　図１および図２は、パラメトリックマルチチャンネルコーデックの構成を単純化して示している。図１および図２における各記号の意味は以下のとおりである。
　｛ｘｉ＿ｓｂ｝：複数のサブバンドに分割された一連のマルチチャンネル信号（これらは、周波数領域、時間領域、または周波数領域と時間領域を組み合わせたハイブリッド領域における信号を表す）
　｛ｙｉ＿ｓｂ｝：各サブバンドにて求められるダウンミックスまたは変換された一連の信号（これらは｛ｘｉ＿ｓｂ｝と同じ領域の信号である）
　｛Ｐｉ＿ｓｂ｝：各サブバンドにて求められる一連のチャンネル間パラメータ
　なお、以下では、ダウンミックスすることを前提に説明を行う。
　図１に示した符号化側においては、チャンネル間パラメータ生成部１０１が、入力信号｛ｘｉ＿ｓｂ｝を、例えば、ＢＣＣ、ＰＣＡ等によってダウンミックスしてダウンミックス信号｛ｙｉ＿ｓｂ｝およびチャンネル間パラメータ｛Ｐｉ＿ｓｂ｝を生成する。
　ダウンミックス信号｛ｙｉ＿ｓｂ｝は符号化部１０２によって符号化され、チャンネル間パラメータ｛Ｐｉ＿ｓｂ｝は別途用意されている符号化部１０３（チャンネル間パラメータ符号化部）によって符号化される。
　ダウンミックス信号｛ｙｉ＿ｓｂ｝の符号化パラメータとチャンネル間パラメータ｛Ｐｉ＿ｓｂ｝の符号化パラメータは多重化部１０４にて多重化されてビットストリームが生成される。このビットストリームは復号側に送信される。
　図２に示した復号側においては、分離部２０１が、ビットストリームを分離してダウンミックス信号の符号化パラメータとチャンネル間パラメータの符号化パラメータを得る。
　復号部２０２は、ダウンミックス信号の符号化パラメータを用いて復号処理を行い、復号ダウンミックス信号｛ｙ～ ｉ＿ｓｂ｝を生成する。
　復号部２０３（チャンネル間パラメータ復号部）は、チャンネル間パラメータ符号化パラメータを用いて復号処理を行い、復号チャンネル間パラメータ｛Ｐ～ ｉ＿ｓｂ｝を生成する。
　チャンネル間パラメータ適用部２０４は、復号チャンネル間パラメータ｛Ｐ～ ｉ＿ｓｂ｝によって表される空間情報を用いて復号ダウンミックス信号｛ｙ～ ｉ＿ｓｂ｝をアップミックスして復号信号｛ｘ～ ｉ＿ｓｂ｝を生成する。
　非特許文献１には、周波数領域における主成分分析（ＰＣＡ）に基づくコーデックが記載されている。図３および図４は、非特許文献１におけるＰＣＡベースの符号化装置および復号装置の構成を示している。各記号の意味は以下のとおりである。
　｛Ｌｓｂ（ｆ）｝：複数のサブバンドに分割された左信号
　｛Ｒｓｂ（ｆ）｝：複数のサブバンドに分割された右信号
　｛Ｐｃｓｂ（ｆ）｝：主成分分析によってサブバンド毎に算出される主成分信号
　｛Ａｓｂ（ｆ）｝：主成分分析によってサブバンド毎に算出されるアンビエント信号（ambient signal）
　｛θｓｂ｝：主成分分析によってサブバンド毎に算出される回転角
　｛ＰｃＡＲｓｂ｝：サブバンド毎に算出される主成分分析信号とアンビエント信号のエネルギ比
　図３に示した符号化側においては、主成分分析部３０１が、入力左信号｛Ｌｓｂ（ｆ）｝および入力右信号｛Ｒｓｂ（ｆ）｝を、主成分信号｛Ｐｃｓｂ（ｆ）｝およびアンビエント信号｛Ａｓｂ（ｆ）｝に変換する。この変換過程において、変換の程度を示す回転角をサブバンド毎に計算する。回転角は以下のように計算する。
Figure JPOXMLDOC01-appb-M000001
　また、主成分分析の変換は、以下の式のように行う。
Figure JPOXMLDOC01-appb-M000002
　モノラル符号化部３０３は、主成分信号｛Ｐｃｓｂ（ｆ）｝を符号化する。
　符号化部３０２（回転角符号化部）は、回転角｛θｓｂ｝を符号化する。
　アンビエント信号｛Ａｓｂ（ｆ）｝は重要とはみなされないため、直接的に符号化せず、エネルギパラメータ抽出部３０４が、主成分信号とアンビエント信号との間のエネルギ比｛ＰｃＡＲｓｂ｝を算出し、符号化部３０５（エネルギ比符号化部）が、エネルギ比｛ＰｃＡＲｓｂ｝を符号化してエネルギ比符号化パラメータを生成する。エネルギ比｛ＰｃＡＲｓｂ｝は以下の式のように求められる。
Figure JPOXMLDOC01-appb-M000003
　多重化部３０６は、｛Ｐｃｓｂ（ｆ）｝の符号化パラメータと回転角｛θｓｂ｝の符号化パラメータ、そしてエネルギ比｛ＰｃＡＲｓｂ｝の符号化パラメータを多重化して復号側にビットストリームを送信する。
　図４に示した復号側においては、分離部４０１が、ビットストリームを分離し、主成分信号符号化パラメータ、回転角符号化パラメータ、およびエネルギ比符号化パラメータを得る。
　復号部４０２（回転角復号部）は、回転角符号化パラメータを復号して復号回転角｛θ～ ｉ＿ｓｂ｝を主成分合成部４０６に出力する。
　モノラル復号部４０３は、主成分信号符号化パラメータを復号して復号主成分信号｛Ｐ～ｃｓｂ（ｆ）｝を生成し、主成分合成部４０６およびアンビエント信号合成部４０５に出力する。
　復号部４０４（エネルギ比復号部）は、エネルギ比符号化パラメータを復号して、主成分信号とアンビエント信号との復号エネルギ比｛Ｐ～ｃＡＲｓｂ｝を生成する。
　アンビエント信号合成部４０５は、復号主成分信号｛Ｐ～ｃｓｂ（ｆ）｝を復号エネルギ比によってスケーリングすることにより、復号アンビエント信号｛Ａ～ ｓｂ（ｆ）｝を生成する。
　主成分合成部４０６は、復号主成分信号｛Ｐ～ｃｓｂ（ｆ）｝と復号アンビエント信号｛Ａ～ ｓｂ（ｆ）｝とを、復号回転角｛θ～ ｉ＿ｓｂ｝によって逆変換し、復号左信号｛Ｌ～ ｓｂ（ｆ）｝および復号右信号｛Ｒ～ ｓｂ（ｆ）｝を生成する。この逆変換は、以下の式のように行う。
Figure JPOXMLDOC01-appb-M000004
　また、アンビエント信号が符号化されない場合、逆変換は以下の式のように行う。
Figure JPOXMLDOC01-appb-M000005
Manuel Briand, David Virette and Nadine Martin "Parametric coding of stereo audio based on principal component analysis", Proc of the 9th International Conference on Digital Audio Effects, Montreal, Canada, September 18-20, 2006. Christof Faller and Frank Baumgarte "Binaural Cue Coding - Part II: Schemes and Applications", IEEE Transactions on Speech and Audio Processing, Vol. 11, No 6, November 2003 Hendrik Fuchs "Improving Joint Stereo Audio Coding by Adaptive Inter-channel Prediction", Proc of IEEE ASSP Workshop on Applications of Signal Processing to Audio and Acoustics, New Paltz, NY, USA, Oct 17-20, 1993 Jurgen Herre, "From Joint Stereo to Spatial Audio Coding - Recent Progress and Standardization", Proc of the 7th International Conference on Digital Audio Effects, Naples, Italy, October 5-8, 2004.
　上記従来技術においては、ダウンミックスされた信号｛ｙｉ＿ｓｂ｝の符号化品質または信号レベルの大きさに関係なく、チャンネル間パラメータを所定のビットレートで符号化する。場合によっては１つまたは複数のサブバンドにおいて、ダウンミックスされた信号がまったく符号化されていなくても、チャンネル間パラメータの符号化はその状況とは関係なく行われる。
　ここでは、極めて低いビットレートにおいて、１つまたは複数のサブバンドのダウンミックスされた信号が符号化されない場合を例として考える。ダウンミックスされた信号が符号化されないそれらのサブバンドでは、マルチチャンネルの音声信号を生成する上でチャンネル間パラメータは不要であり、これら不要なパラメータが符号化された場合に、そこで消費されるビットは無駄になってしまう。
　以下では、周波数領域における主成分分析をベースとする上述したコーデックを例に説明を行う。
　いま、入力信号がＬ（ｎ）およびＲ（ｎ）であり、これらの信号が、Ｌ（ｎ）＝Ｓ（ｎ）＋Ｃ（ｎ）、Ｒ（ｎ）＝Ｓ（ｎ）＋Ｂ（ｎ）（Ｓ（ｎ）は主ソース信号，Ｃ（ｎ）およびＢ（ｎ）は何らかのアンビエントノイズ）と表すことができるものとする。
　周波数領域においては、Ｌ（ｆ）＝Ｓ（ｆ）＋Ｃ（ｆ），Ｒ（ｆ）＝Ｓ（ｆ）＋Ｂ（ｆ）である。Ｓ（ｆ）がさほど強くないサブバンドにおいてはアンビエントノイズが優勢であり、すなわち、Ｌ（ｆ）においてはＣ（ｆ）が優勢であり、Ｒ（ｆ）においてはＢ（ｆ）が優勢である。この場合、これらのサブバンドはスペクトル全体においてさほど重要ではなく、低ビットレートにおいては、これらサブバンドの信号は、符号化されない。従って、これらのサブバンドの回転角の符号化は本来不要である。よって、常にすべてのサブバンドの回転角を符号化する従来技術では、これらサブバンドの回転角の符号化に割り当てられるビットは無駄になる。
　図５は問題となる上記の状況を図示したものである。低ビットレートの条件下では、図５に示したように、符号化側では、他のサブバンドよりも主成分信号のエネルギの小さい第２のサブバンドの主成分信号Ｐｃ２（ｆ）は符号化されない。したがって、復号側において、第２のサブバンドの復号後の主成分信号は０である。アンビエント信号は主成分信号をスケーリングすることによって生成されるため、アンビエント信号も０である。したがって、回転角がどのような値であっても、第２のサブバンドの復号左信号Ｌ～ ２（ｆ）および復号右信号Ｒ～ ２（ｆ）は０である。つまり、たとえ回転角が送信されなくても、復号左信号および復号右信号は回転角が送信された場合と同じである。
　本発明の目的は、冗長なチャンネル間パラメータを削除することができる音声符号化装置および音声符号化方法を提供することである。
　本発明の第１の態様においては、チャンネル間パラメータを符号化して送信する前に、各サブバンド信号それぞれについて、信号の特性を分析し、チャンネル間パラメータを送信する必要があるか否かを調べる。そして、送信する必要がないチャンネル間パラメータを識別して符号化の対象から削除する。
　これにより、不要なチャンネル間パラメータを符号化の対象から削除して、不要なパラメータを符号化することが避けられるため、ビットが無駄にならず、符号化効率を向上させることができる。
　本発明の第２の態様においては、閉ループ法によって、冗長なパラメータを識別する。符号化側に局所復号部を導入し、信号の符号化品質を分析することによって、冗長なパラメータを識別する。局所復号部を介して生成される復号ダウンミックス信号のエネルギまたは振幅を分析して、エネルギまたは振幅が小さいサブバンドを冗長なチャンネル間パラメータを有するサブバンドとみなす。このサブバンドのチャンネル間パラメータを符号化の対象から削除することにより、音質が低下する可能性が回避される。
　これにより、局所復号部において冗長なパラメータ（重要でないチャンネル間パラメータ）を有するサブバンドを識別することができる。
　本発明の第３の態様においては、開ループ法によって、冗長なパラメータを識別する。変換またはダウンミックスされた原信号の特性を分析することによって、冗長なパラメータを識別する。
　これにより、局所復号部が必要なくなる。よって、局所復号部が利用できない条件において有効である。また、局所復号部が存在しないため、演算量を低減することができる。
　本発明の第４の態様においては、復号側において、復号後の変換またはダウンミックスされた信号を分析することによって、チャンネル間パラメータが存在しないサブバンドを識別する。したがって、特定のサブバンドにおいてチャンネル間パラメータが存在しないことを復号部に通知するためのフラグ信号が要求されない。
　これにより、フラグ信号を表すための付加情報が不要になるため、符号化効率を向上させることができる。
　本発明の第５の態様においては、本発明を適用することによって節約されるビットを、何らかのより重要な信号（例えば、主成分信号の符号化パラメータ、変換またはダウンミックスされた信号の符号化パラメータ）を符号化するために利用する。
　これにより、より良好なビット割当を実現することができ、符号化効率を向上させることができる。
　本発明の第６の態様においては、復号側において、隣接するサブバンドのパラメータ、過去のフレームのパラメータ、またはその両方から、存在しないチャンネル間パラメータを予測する。予測された値は、逆変換またはアップミックスにおいて使用する。
　これにより、存在しないチャンネル間パラメータを予測して、空間イメージを保持することができる。
　本発明の第７の態様においては、本発明をスケーラブル符号化に適用する。各レイヤにおいて、チャンネル間パラメータを符号化して送信する前に、サブバンド毎に、変換またはダウンミックスされた信号の特性を分析し、チャンネル間パラメータを送信する必要があるか否かを調べる。そして、送信する必要がないチャンネル間パラメータを識別して符号化の対象から削除する。入力信号を生成するためにチャンネル間パラメータが必要であるレイヤの場合に、チャンネル間パラメータを送信する。
　これにより、チャンネル間パラメータが必要なレイヤのときにのみチャンネル間パラメータを送信するため、良好なビット割当を実現することができる。
パラメトリックマルチチャンネル音声符号化の符号化側の構成を示す図 パラメトリックマルチチャンネル音声符号化の復号側の構成を示す図 ＰＣＡベースのステレオコーデックの符号化側の構成を示す図 ＰＣＡベースのステレオコーデックの復号側の構成を示す図 ＰＣＡベースのステレオコーデックでの問題を示す図 ＰＣＡベースのステレオコーデックにおける本発明の実施の形態１に係る音声符号化装置の構成を示す図 ＰＣＡベースのステレオコーデックにおける本発明の実施の形態１に係る符号化処理を示す図 ＰＣＡベースのステレオコーデックにおける本発明の実施の形態１に係る音声復号装置の構成を示す図 ＰＣＡベースのステレオコーデックにおける本発明の実施の形態１に係る復号処理を示す図 マルチチャンネル音声符号化における本発明の実施の形態２に係る音声符号化装置の構成を示す図 マルチチャンネル音声符号化における本発明の実施の形態２に係る符号化処理を示す図 マルチチャンネル音声符号化における本発明の実施の形態２に係る音声復号装置の構成を示す図 マルチチャンネル音声符号化における本発明の実施の形態２に係る復号処理を示す図 マルチチャンネル音声符号化における本発明の実施の形態３に係る音声復号装置の構成を示す図 マルチチャンネル音声符号化における本発明の実施の形態３に係る復号処理を示す図 マルチチャンネル音声符号化における本発明の実施の形態４に係る音声符号化装置の構成を示す図 マルチチャンネル音声符号化における本発明の実施の形態４に係る符号化処理を示す図 マルチチャンネル音声符号化における本発明の実施の形態４に係る音声復号装置の構成を示す図 マルチチャンネル音声符号化における本発明の実施の形態４に係る復号処理を示す図 マルチチャンネル音声符号化における本発明の実施の形態５に係る音声符号化装置の構成を示す図 マルチチャンネル音声符号化における本発明の実施の形態５に係る符号化処理を示す図 マルチチャンネル音声符号化における本発明の実施の形態５に係る音声復号装置の構成を示す図 マルチチャンネル音声符号化における本発明の実施の形態５に係る復号処理を示す図
　以下、本発明の各実施の形態について図面を用いて説明する。
　（実施の形態１）
　本実施の形態について、図６－図９を用いて説明する。
　図６に本実施の形態に係る音声符号化装置６００の構成を示す。図６には、図３と比較して、局所モノラル復号部６０３および冗長パラメータ削除部６０４が追加されている。なお、図６において、図３と同一の構成部については説明を省略する。
　局所モノラル復号部６０３は、主成分信号の符号化品質を符号化側において認識することができるように、復号後の主成分信号を生成する。
　冗長パラメータ削除部６０４は、復号主成分信号の符号化品質を分析することによって、冗長なパラメータを識別し、これらを符号化の対象から削除する。
　図７を用いて、本実施の形態に係る符号化処理について説明する。
　図７に示すように、主成分信号のスペクトルを符号化および復号する。復号のスペクトルを生成した後、復号後のスペクトルを分析することによって、第２のサブバンドにおいては主成分がまったく符号化されず、第２のサブバンドの復号後のスペクトルが０となる。したがって、第２のサブバンドの回転角を符号化する必要がないことが認識される。よって、第２のサブバンドにおける回転角を冗長なパラメータとみなし、符号化の前にこのパラメータを符号化の対象から削除する。
　図８に本実施の形態に係る音声復号装置８００の構成を示す。図８には、図４と比較して、ゼロ値挿入部８０４が追加されている。なお、図８において、図４と同一の構成部については説明を省略する。
　ゼロ値挿入部８０４は、復号主成分信号を分析し、回転角が存在しないサブバンドを識別し、逆変換をスムーズに行うことができるように、回転角が存在しないサブバンドにおいてゼロ値を挿入する。
　図９を用いて、本実施の形態に係る復号処理について説明する。
　図９に示すように、復号側においては、復号主成分信号を生成した後、復号主成分信号を分析することによって、第２のサブバンドにおいて復号主成分信号が０であることが認識され、第２のサブバンドの回転角が符号化されていないことが認識される。したがって、それ以外のサブバンドの回転角のみを復号する。また、復号処理をスムーズにするために、第２のサブバンドの復号された回転角を０値として挿入する。
　本発明を、主成分信号とアンビエント信号との間のエネルギ比の符号化に適用することも可能である。
　（実施の形態２）
　本実施の形態について、図１０－図１３を用いて説明する。図１０－図１３において、各記号の意味は以下のとおりである。
　｛ｘｉ＿ｓｂ｝：複数のサブバンドに分割されたマルチチャンネル信号（これらは、周波数領域、時間領域、または周波数領域と時間領域とのハイブリッド領域における信号を表す）
　｛ｙｉ＿ｓｂ｝：複数サブバンドに分割されたダウンミックスまたは変換された信号（これらは｛ｘｉ＿ｓｂ｝と同じ領域における信号である）
　｛Ｐｉ＿ｓｂ｝：各サブバンドで求められたチャンネル間パラメータ
　｛ｘ～ ｉ＿ｓｂ｝：｛ｘｉ＿ｓｂ｝の復号信号
　｛ｙ～ ｉ＿ｓｂ｝：｛ｙｉ＿ｓｂ｝の復号信号
　｛Ｐ～ ｉ＿ｓｂ｝：復号チャンネル間パラメータ
　本実施の形態では、マルチチャンネル音声符号化において冗長なパラメータを削除する。
　図１０に本実施の形態に係る音声符号化装置１０００の構成を示す。
　音声符号化装置１０００において、チャンネル間パラメータ生成部１００１が、入力信号｛ｘｉ＿ｓｂ｝を、例えば、ＢＣＣ、ＰＣＡ等によって｛ｙｉ＿ｓｂ｝に変換またはダウンミックスする。また、チャンネル間パラメータ生成部１００１は、変換またはダウンミックスの過程において、チャンネル間パラメータ｛Ｐｉ＿ｓｂ｝も生成する。
　変換またはダウンミックスされた信号｛ｙｉ＿ｓｂ｝は符号化部１００２によって符号化される。
　局所復号部１００３は、変換またはダウンミックスされた信号の符号化品質を符号化側において認識することができるように、復号後の変換またはダウンミックスされた信号を生成する。
　冗長パラメータ削除部１００４は、変換またはダウンミックスされた信号の符号化品質を分析することによって、冗長なパラメータを識別し、これらを符号化の対象から削除する。
　符号化部１００５（チャンネル間パラメータ符号化部）は、冗長なパラメータを削除した後の残りのチャンネル間パラメータ｛Ｐ‘ｉ＿ｓｂ｝を符号化する。
　多重化部１００６は、｛ｙｉ＿ｓｂ｝の符号化パラメータと｛Ｐ‘ｉ＿ｓｂ｝の符号化パラメータとを多重化してビットストリームを生成し、復号側に送信する。
　図１１を用いて、本実施の形態に係る符号化処理について説明する。
　図１１に示すように、変換またはダウンミックスされた信号のスペクトルを符号化および復号する。復号スペクトルを生成した後、復号スペクトルを分析することによって、例えば、第２のサブバンドにおいては、変換された信号またはダウンミックスされた信号が非常に弱いため（極端な場合、第２のサブバンドがまったく符号化されないため）、復号後の信号が０であることが認識される。このため、第２のサブバンドのチャンネル間パラメータを符号化する必要はない。よって、第２のサブバンドにおけるチャンネル間パラメータを冗長なパラメータとみなし、符号化の前にこのパラメータを符号化の対象から削除する。
　復号後のサブバンド信号が十分に弱いか否かを判定するための方法は多数存在する。例えば、以下の２つの方法がある。しかし、本発明は以下の方法に限定されない。
　＜方法１＞サブバンドの信号エネルギが、隣接するサブバンドと比較して非常に低い場合
　この方法においては、各サブバンドのエネルギ｛Ｅｓｂ｝を計算する。各サブバンドについて、そのサブバンドと隣接するサブバンドとの間のエネルギ比を計算する。次いで、エネルギ比を所定の値Ｅｔｈ（Ｅｔｈ＜１）と比較する。２つのエネルギ比の両方がＥｔｈより小さいならば、そのサブバンドの信号を弱いとみなす。例えば、第２のサブバンドにおいて、２つのエネルギ比Ｅ２／Ｅ１およびＥ２／Ｅ３を計算する。Ｅ２／Ｅ１＜ＥｔｈかつＥ２／Ｅ３＜Ｅｔｈであるならば、第２のサブバンドの信号を弱いとみなす。このとき、第２のサブバンドにおけるチャンネル間パラメータを冗長なパラメータとみなす。
　＜方法２＞サブバンドの信号がマスキング曲線に近い、または曲線より低い場合
　この方法においては、各サブバンドについて、エネルギ｛Ｅｓｂ｝およびマスキング曲線レベル｛Ｍｓｂ｝を計算する。次いで、各サブバンドについて、マスキング曲線のレベルをサブバンドのエネルギと比較する。この場合、別のしきい値Ｍｔｈ（Ｍｔｈ＞０）を定義することができる。サブバンドのエネルギがマスキング曲線より小さい、または曲線に近い場合、すなわちＥｓｂ＜Ｍｓｂ＋Ｍｔｈである場合、そのサブバンドの信号を弱いとみなす。例えば、第２のサブバンドについて、サブバンドのエネルギＥ２をマスキング曲線のレベルＭ２と比較する。Ｅ２＜Ｍ２＋Ｍｔｈであるならば、その第２のサブバンドの信号を弱いとみなす。その第２のサブバンドにおけるチャンネル間パラメータを冗長なパラメータとみなす。
　図１２に本実施の形態に係る音声復号装置１２００の構成を示す。
　音声復号装置１２００において、分離部１２０１は、ビットストリームを分離する。
　復号部１２０２は、｛ｙｉ＿ｓｂ｝の符号化パラメータを復号して、変換またはダウンミックスされた信号｛ｙ～ ｉ＿ｓｂ｝を生成する。
　復号部１２０３（チャンネル間パラメータ復号部）は、｛Ｐ‘ｉ＿ｓｂ｝の符号化パラメータを復号して、復号チャンネル間パラメータ｛Ｐ～‘ｉ＿ｓｂ｝を生成する。
　ゼロ値挿入部１２０４は、変換またはダウンミックスされた信号の復号スペクトルを分析し、チャンネル間パラメータが存在しないサブバンドを識別し、逆変換またはアップミックスをスムーズに行うことができるようにそのサブバンドにおいてゼロ値を挿入する。
　チャンネル間パラメータ適用部１２０５は、チャンネル間パラメータ｛Ｐ～ ｉ＿ｓｂ｝によって表される空間情報を利用することによって、復号された信号｛ｙ～ ｉ＿ｓｂ｝を逆変換またはアップミックスして｛ｘ～ ｉ＿ｓｂ｝を生成する。
　図１３を用いて、本実施の形態に係る復号処理について説明する。
　図１３に示すように、復号スペクトルを生成した後、復号スペクトルを分析することによって、第２のサブバンドの復号信号が非常に弱い（極端な場合、復号信号が０である）ことが認識される。したがって、第２のサブバンドのチャンネル間パラメータが符号化されていないことが認識される。したがって、それ以外のサブバンドのチャンネル間パラメータのみを復号する。また、復号処理をスムーズにするために、第２のサブバンドの復号されたチャンネル間パラメータに０値を挿入する。チャンネル間パラメータが符号化されているか否かを復号側において判定する方法は、符号化側との一貫性が保たれるようにするために、符号化側における上記方法と同じである。
　このように、本実施の形態によれば、チャンネル間パラメータを符号化して送信する前に、各サブバンドにおける変換された信号それぞれについて、信号の特性を分析し、チャンネル間パラメータを送信する必要があるか否かを調べる。そして、送信する必要がないチャンネル間パラメータを識別して符号化の対象から削除する。
　よって、本実施の形態によれば、不要なチャンネル間パラメータを符号化の対象から削除することによって、不要なパラメータを符号化することが避けられ、符号化効率を向上させることができる。
　また、本実施の形態によれば、閉ループ法によって、冗長なパラメータを識別する。すなわち、符号化側の局所復号部が信号の符号化品質を分析することによって、冗長なパラメータを識別する。
　よって、本実施の形態によれば、局所復号部は、冗長なパラメータ（重要でないチャンネル間パラメータ）を有するサブバンドを特定できる。これによって、音質が低下する可能性が回避される。
　また、本実施の形態によれば、復号側において、復号後の変換またはダウンミックスされた信号を分析することによって、チャンネル間パラメータが存在しないサブバンドを識別する。したがって、特定のサブバンドにおいてチャンネル間パラメータが存在しないことを復号部に通知するためのフラグ信号が要求されない。
　よって、本実施の形態によれば、フラグ信号を表すための付加情報が不要になるため、符号化効率を向上させることができる。
　（実施の形態３）
　本実施の形態について、図１４および図１５を用いて説明する。図１４および図１５における各記号の意味は、実施の形態２と同じである。
　本実施の形態では、復号側において、隣接するサブバンドのパラメータ、過去のフレームのパラメータ、またはその両方から、存在しないチャンネル間パラメータを予測する。予測された値は、逆変換またはアップミックスにおいて使用する。
　図１４に本実施の形態に係る音声復号装置１４００の構成を示す。図１４においては、図１２に示したゼロ値挿入部１２０４が、欠落パラメータ予測部１４０４に置き換わっている。なお、図１４において、図１２と同一の構成部については説明を省略する。
　音声復号装置１４００において、欠落パラメータ予測部１４０４は、存在しないチャンネル間パラメータをゼロ値によって埋めずに、隣接するサブバンドのパラメータまたは過去のフレームのパラメータを用いて、存在しないチャンネル間パラメータを予測する。
　図１５を用いて、本実施の形態に係る復号処理について説明する。
　図１５では、一例として、復号側において第２のサブバンドのチャンネル間パラメータが存在していないため、このパラメータを、隣接するサブバンドのパラメータまたは過去のフレームのパラメータによって予測する。
　存在しないチャンネル間パラメータを予測するための方法は多数ある。
　例えば、以下の式のようにして、存在しないチャンネル間パラメータを、隣接するサブバンドのパラメータを使用して補間する方法がある。
Figure JPOXMLDOC01-appb-M000006
　また、以下の式のようにして、存在しないチャンネル間パラメータを、過去のフレームのパラメータを使用して予測する方法がる。この方法は、空間イメージが時間的に安定しているときに効果的である。
Figure JPOXMLDOC01-appb-M000007
　このように、本実施の形態によれば、復号側において、隣接するサブバンドのパラメータ、過去のフレームのパラメータ、またはその両方から、存在しないチャンネル間パラメータを予測する。また、予測された値を、逆変換またはアップミックスにおいて使用する。
　よって、本実施の形態によれば、存在しないチャンネル間パラメータを予測することによって、空間イメージを保持することができる。
　（実施の形態４）
　　本実施の形態について、図１６－図１９を用いて説明する。図１６－図１９において、各記号の意味は以下のとおりである。
　｛ｘｉ＿ｓｂ｝：複数のサブバンドに分割されたマルチチャンネル信号（これらは、周波数領域、時間領域、または周波数領域と時間領域とのハイブリッド領域における信号を表す）
　｛ｙｉ＿ｓｂ｝：複数サブバンドに分割されたダウンミックスまたは変換された信号（これらは｛ｘｉ＿ｓｂ｝と同じ領域における信号である）
　｛Ｐｉ＿ｓｂ｝：各サブバンドで求められたチャンネル間パラメータ
　｛ｘ～ ｉ＿ｓｂ｝：｛ｘｉ＿ｓｂ｝の復号信号
　｛ｙ～ ｉ＿ｓｂ｝：｛ｙｉ＿ｓｂ｝の復号信号
　｛Ｐ～ ｉ＿ｓｂ｝：復号チャンネル間パラメータ
　本実施の形態では、冗長なパラメータの識別に開ループ法を用いる。本実施の形態では、変換またはダウンミックスされた原信号の特性を分析することによって、冗長なチャンネル間パラメータを識別して、これを符号化の対象から削除する。
　図１６に本実施の形態に係る音声符号化装置１６００の構成を示す。
　音声符号化装置１６００において、チャンネル間パラメータ生成部１６０１が、入力信号｛ｘｉ＿ｓｂ｝を、例えば、ＢＣＣ、ＰＣＡ等によって｛ｙｉ＿ｓｂ｝に変換またはダウンミックスする。また、チャンネル間パラメータ生成部１６０１は、変換またはダウンミックスの過程において、チャンネル間パラメータ｛Ｐｉ＿ｓｂ｝も生成する。
　変換またはダウンミックスされた信号｛ｙｉ＿ｓｂ｝は符号化部１６０２によって符号化される。
　信号分析部１６０３は、変換またはダウンミックスされた信号｛ｙｉ＿ｓｂ｝の信号特性を分析して、冗長なパラメータを識別する。
　冗長パラメータ削除部１６０４は、冗長なパラメータを識別し、符号化の対象からそれらを削除する。
　符号化部１６０５（チャンネル間パラメータ符号化部）は、冗長なパラメータを削除した後の残りのチャンネル間パラメータ｛Ｐ‘ｉ＿ｓｂ｝を符号化する。
　多重化部１６０６は、｛ｙｉ＿ｓｂ｝の符号化パラメータと｛Ｐ‘ｉ＿ｓｂ｝の符号化パラメータとを多重化してビットストリームを生成し、復号側に送信する。
　図１７を用いて、本実施の形態に係る符号化処理について説明する。
　図１７に示すように、変換またはダウンミックスされた信号の特性を、例えば、エネルギ分析、心理音響解析、またはビット割当分析等により分析する。分析を通じて、例えば、第２のサブバンドにおいて、変換またはダウンミックスされた信号が非常に弱いことが認識される。この場合、第２のサブバンドのチャンネル間パラメータを符号化する必要はない。よって、第２のサブバンドにおけるチャンネル間パラメータを冗長なパラメータとみなし、符号化の前にこのパラメータを符号化の対象から削除する。
　サブバンド信号が十分に弱いか否かを判定するための方法は多数存在する。例えば、以下の２つの方法がある。しかし、本発明は以下の方法に限定されない。
　＜方法１＞信号エネルギが、隣接するサブバンドと比較して非常に低い場合
　この方法においては、各サブバンドのエネルギ｛Ｅｓｂ｝を計算する。各サブバンドについて、そのサブバンドと隣接するサブバンドとの間のエネルギ比を計算する。次いで、エネルギ比を何らかの所定の値Ｅｔｈ（Ｅｔｈ＜１）と比較する。２つのエネルギ比の両方がＥｔｈより小さいならば、そのサブバンドの信号を弱いとみなす。例えば、第２のサブバンドにおいて、２つのエネルギ比Ｅ２／Ｅ１およびＥ２／Ｅ３を計算する。Ｅ２／Ｅ１＜ＥｔｈかつＥ２／Ｅ３＜Ｅｔｈであるならば、第２のサブバンドの信号を弱いとみなす。このとき第２のサブバンドにおけるチャンネル間パラメータを冗長なパラメータとみなす。
　＜方法２＞サブバンドの信号がマスキング曲線に近い、または曲線より低い場合
　この方法においては、各サブバンドについて、エネルギ｛Ｅｓｂ｝およびマスキング曲線レベル｛Ｍｓｂ｝を計算する。次いで、各サブバンドについて、マスキング曲線のレベルをサブバンドのエネルギと比較する。この場合、別のしきい値Ｍｔｈ（Ｍｔｈ＞０）を定義することができる。サブバンドのエネルギがマスキング曲線より小さい、または曲線に近い場合、すなわちＥｓｂ＜Ｍｓｂ＋Ｍｔｈである場合、そのサブバンドの信号を弱いとみなす。例えば、第２のサブバンドについて、サブバンドのエネルギＥ２をマスキング曲線のレベルＭ２と比較する。Ｅ２＜Ｍ２＋Ｍｔｈであるならば、その第２のサブバンドの信号を弱いとみなす。その第２のサブバンドにおけるチャンネル間パラメータを冗長なパラメータとみなす。
　図１８に本実施の形態に係る音声復号装置１８００の構成を示す。
　音声復号装置１８００において、分離部１８０１は、ビットストリームを分離する。
　復号部１８０２は、｛ｙｉ＿ｓｂ｝の符号化パラメータを復号して、変換またはダウンミックスされた信号｛ｙ～ ｉ＿ｓｂ｝を生成する。
　復号部１８０３（チャンネル間パラメータ復号部）は、｛Ｐ‘ｉ＿ｓｂ｝の符号化パラメータを復号して、復号チャンネル間パラメータ｛Ｐ～‘ｉ＿ｓｂ｝を生成する。
　ゼロ値挿入部１８０４は、変換またはダウンミックスされた信号の復号後のスペクトルを分析し、チャンネル間パラメータが存在しないサブバンドを識別し、逆変換またはアップミックスをスムーズに行うことができるようにそのサブバンドにおいてゼロ値を挿入する。
　チャンネル間パラメータ適用部１８０５は、チャンネル間パラメータ｛Ｐ～ ｉ＿ｓｂ｝によって表される空間情報を利用することによって、復号された信号｛ｙ～ ｉ＿ｓｂ｝を逆変換またはアップミックスして｛ｘ～ ｉ＿ｓｂ｝を生成する。
　図１９を用いて、本実施の形態に係る復号処理について説明する。
　図１９に示すように、復号スペクトルを生成した後、復号スペクトルを分析することによって、第２のサブバンドの復号された信号が非常に弱い（極端な場合、復号された信号が０である）ことが認識される。したがって、第２のサブバンドのチャンネル間パラメータが符号化されていないことが認識される。したがって、それ以外のサブバンドのチャンネル間パラメータのみを復号する。また、復号処理をスムーズにするために、第２のサブバンドの復号されたチャンネル間パラメータに０値を挿入する。チャンネル間パラメータが符号化されているか否かを復号側において判定する方法は、符号化側との一貫性が保たれるようにするために、符号化側における上記方法と同じである。
　このように、本実施の形態によれば、開ループ法によって、冗長なパラメータを識別する。すなわち、変換またはダウンミックスされた原信号の特性を分析することによって、冗長なパラメータを識別する。
　よって、本実施の形態によれば、局所復号部が必要なくなる。よって、本実施の形態は、局所復号部が利用できない条件において有効である。また、局所復号部が存在しないため、演算量を低減することができる。
　（実施の形態５）
　本実施の形態について、図２０－図２３を用いて説明する。図２０－図２３において、各記号の意味は以下のとおりである。
　｛ｘｉ＿ｓｂ｝：複数のサブバンドに分割されたマルチチャンネル信号（これらは、周波数領域、時間領域、または周波数領域と時間領域とのハイブリッド領域における信号を表す）
　｛ｙｉ＿ｓｂ｝：複数サブバンドに分割されたダウンミックスまたは変換された信号（これらは｛ｘｉ＿ｓｂ｝と同じ領域における信号である）
　｛Ｐｉ＿ｓｂ｝：各サブバンドで求められたチャンネル間パラメータ
　｛ｘ～ ｉ＿ｓｂ｝：｛ｘｉ＿ｓｂ｝の復号信号
　｛ｙ～ ｉ＿ｓｂ｝：｛ｙｉ＿ｓｂ｝の復号信号
　｛Ｐ～ ｉ＿ｓｂ｝：復号チャンネル間パラメータ
　本実施の形態では、スケーラブルコーデックにおいて、冗長なパラメータを削除する。
　図２０に本実施の形態に係る音声符号化装置２０００の構成を示す。
　音声符号化装置２０００において、チャンネル間パラメータ生成部２００１が、入力信号｛ｘｉ＿ｓｂ｝を、例えば、ＢＣＣ、ＰＣＡ等によって｛ｙｉ＿ｓｂ｝に変換またはダウンミックスする。また、チャンネル間パラメータ生成部２００１は、変換またはダウンミックスの過程において、チャンネル間パラメータ｛Ｐｉ＿ｓｂ｝も生成する。
　変換またはダウンミックスされた信号｛ｙｉ＿ｓｂ｝はスケーラブルな符号化部２００２によって符号化される。
　スケーラブルな局所復号部２００３は、変換またはダウンミックスされた信号の符号化品質を符号化側において認識することができるように、各レイヤの復号信号を生成する。
　スケーラブルな冗長パラメータ削除部２００４は、変換またはダウンミックスされた信号の符号化品質を分析することによって、冗長なパラメータを識別し、各レイヤの符号化対象からこれらのパラメータを削除する。
　符号化部２００５（チャンネル間パラメータ符号化部）は、冗長なパラメータを削除した後の残りのチャンネル間パラメータ｛Ｐ‘ｉ＿ｓｂ｝を符号化する。
　多重化部２００６は、｛ｙｉ＿ｓｂ｝の符号化パラメータと｛Ｐ‘ｉ＿ｓｂ｝の符号化パラメータとを多重化してビットストリームを生成し、復号側に送信する。
　図２１を用いて、本実施の形態に係る符号化処理について説明する。
　図２１に示すように、変換またはダウンミックスされた信号のスペクトルを符号化および復号する。復号スペクトルを生成した後、復号スペクトルを分析する。例えば、図２１では、レイヤ１において、第２のサブバンドの復号後の変換またはダウンミックスされた信号が非常に弱いため（極端な場合、第２のサブバンドがまったく符号化されないため）、復号後の信号が０であることが認識される。この場合、レイヤ１では第２のサブバンドのチャンネル間パラメータを符号化する必要はない。このため、レイヤ１では、第２のサブバンドにおけるチャンネル間パラメータを冗長なパラメータとみなし、符号化の前にこのパラメータを符号化の対象から削除する。
　一方で、レイヤ２においては、第２のサブバンドの復号信号は弱くなく、生じうる音質の劣化を回避するため、チャンネル間パラメータを符号化する必要がある。このため、レイヤ２において初めて第２のサブバンドのチャンネル間パラメータを符号化する。
　サブバンド信号が十分に弱いか否かを判定するための方法は多数存在する。例えば、以下の２つの方法がある。しかし、本発明は以下の方法に限定されない。
　＜方法１＞信号エネルギが、隣接するサブバンドと比較して非常に低い場合
　この方法においては、各サブバンドのエネルギ｛Ｅｓｂ｝を計算する。各サブバンドについて、そのサブバンドと隣接するサブバンドとの間のエネルギ比を計算する。次いで、エネルギ比を所定の値Ｅｔｈ（Ｅｔｈ＜１）と比較する。２つのエネルギ比の両方がＥｔｈより小さいならば、そのサブバンドの信号を弱いとみなす。例えば、第２のサブバンドにおいて、２つのエネルギ比Ｅ２／Ｅ１およびＥ２／Ｅ３を計算する。Ｅ２／Ｅ１＜ＥｔｈかつＥ２／Ｅ３＜Ｅｔｈであるならば、第２のサブバンドの信号を弱いとみなす。第２のサブバンドにおけるチャンネル間パラメータを冗長なパラメータとみなす。
　＜方法２＞サブバンドの信号がマスキング曲線に近い、または曲線より低い場合
　この方法においては、各サブバンドについて、エネルギ｛Ｅｓｂ｝およびマスキング曲線レベル｛Ｍｓｂ｝を計算する。次いで、各サブバンドについて、マスキング曲線のレベルをサブバンドのエネルギと比較する。この場合、別のしきい値Ｍｔｈ（Ｍｔｈ＞０）を定義することができる。サブバンドのエネルギがマスキング曲線より小さい、または曲線に近い場合、すなわちＥｓｂ＜Ｍｓｂ＋Ｍｔｈである場合、そのサブバンドの信号を弱いとみなす。例えば、第２のサブバンドについて、サブバンドのエネルギＥ２をマスキング曲線のレベルＭ２と比較する。Ｅ２＜Ｍ２＋Ｍｔｈであるならば、その第２のサブバンドの信号を弱いとみなす。その第２のサブバンドにおけるチャンネル間パラメータを冗長なパラメータとみなす。
　図２２に本実施の形態に係る音声復号装置２２００の構成を示す。
　音声復号装置２２００において、分離部２２０１は、各レイヤにおいてビットストリームを分離する。
　スケーラブルな復号部２２０２は、｛ｙｉ＿ｓｂ｝の符号化パラメータを復号して、変換またはダウンミックスされた信号｛ｙ～ ｉ＿ｓｂ｝を生成する。
　復号部２２０３（チャンネル間パラメータ復号部）は、｛Ｐ‘ｉ＿ｓｂ｝の符号化パラメータを復号して、復号チャンネル間パラメータ｛Ｐ～‘ｉ＿ｓｂ｝を生成する。
　ゼロ値挿入部２２０４は、各レイヤにおいて、変換またはダウンミックスされた信号の復号スペクトルを分析し、チャンネル間パラメータが存在しないサブバンドを識別し、逆変換またはアップミックスをスムーズに行うことができるようにそのサブバンドにおいてゼロ値を挿入する。
　チャンネル間パラメータ適用部２２０５は、チャンネル間パラメータ｛Ｐ～ ｉ＿ｓｂ｝によって表される空間情報を利用することによって、復号された信号｛ｙ～ ｉ＿ｓｂ｝を逆変換またはアップミックスして｛ｘ～ ｉ＿ｓｂ｝を生成する。
　図２３を用いて、本実施の形態に係る復号処理について説明する。
　図２３に示すように、復号スペクトルを生成した後、復号スペクトルを分析することによって、レイヤ１においては、第２のサブバンドの復号信号が非常に弱い（極端な場合、復号信号が０である）ことが認識される。したがって、第２のサブバンドのチャンネル間パラメータが符号化されていないことが認識される。したがって、それ以外のサブバンドのチャンネル間パラメータのみを復号する。また、復号処理をスムーズにするために、第２のサブバンドの復号されたチャンネル間パラメータに０値を挿入する。
　一方で、レイヤ２においては、第２のサブバンドの復号信号は弱くないため、第２のサブバンドのチャンネル間パラメータを復号する。
　チャンネル間パラメータが符号化されているか否かを復号側において判定する方法は、符号化側との一貫性が保たれるようにするために、符号化側における上記方法と同じである。
　このように、本実施の形態によれば、スケーラブル符号化の各レイヤにおいて、チャンネル間パラメータを符号化して送信する前に、サブバンド毎に、変換またはダウンミックスされた信号の特性を分析し、チャンネル間パラメータを送信する必要があるか否かを調べる。そして、送信する必要がないチャンネル間パラメータを識別して符号化の対象から削除する。一方、入力信号を生成するためにチャンネル間パラメータが必要であるレイヤの場合には、チャンネル間パラメータを送信する。
　よって、本実施の形態によれば、チャンネル間パラメータが必要なレイヤのときにのみチャンネル間パラメータを送信するため、良好なビット割当を実現することができる。
　２００９年１２月２８日出願の特願２００９－２９８３２１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明は、音声符号化を行う通信装置、音声復号を行う通信装置、特に無線通信装置に好適である。
　６００　音声符号化装置
　６０３　局所モノラル復号部
　６０４　冗長パラメータ削除部
　８００　音声復号装置
　８０４　ゼロ値挿入部

Claims (5)

  1. 　複数のチャンネルの入力信号を主成分信号に変換するとともに、チャンネル間の信号の関係を示すチャンネル間パラメータをサブバンド毎に計算する変換手段と、
    　前記主成分信号を符号化して符号化主成分信号を得る第１符号化手段と、
    　前記符号化主成分信号を復号して復号主成分信号を得る復号手段と、
    　前記復号主成分信号を用いて、前記サブバンドの前記チャンネル間パラメータから冗長なパラメータを削除する削除手段と、
    　前記冗長なパラメータを削除された後のチャンネル間パラメータを符号化する第２符号化手段と、
    　を具備する音声符号化装置。
  2. 　前記変換手段が主成分分析により前記入力信号を前記主成分信号に変換し、
    　前記チャンネル間パラメータが回転角である、
    　請求項１記載の音声符号化装置。
  3. 　前記削除手段が、各サブバンドのエネルギと隣接するサブバンドのエネルギとの比と、閾値とを比較し、前記エネルギ比が前記閾値より小さい場合に前記チャンネル間パラメータを削除する、
    　請求項１記載の音声符号化装置。
  4. 　前記削除手段が、各サブバンドのエネルギとマスキング曲線のレベルとを比較し、前記エネルギが前記マスキング曲線に近いまたは小さい場合に前記チャンネル間パラメータを削除する、
    　請求項１記載の音声符号化装置。
  5. 　複数のチャンネルの入力信号を主成分信号に変換するとともに、チャンネル間の信号の関係を示すチャンネル間パラメータをサブバンド毎に計算する変換ステップと、
    　前記主成分信号を符号化して符号化主成分信号を得る第１符号化ステップと、
    　前記符号化主成分信号を復号して復号主成分信号を得る復号ステップと、
    　前記復号主成分信号を用いて、前記サブバンドの前記チャンネル間パラメータから冗長なパラメータを削除する削除ステップと、
    　前記冗長なパラメータを削除された後のチャンネル間パラメータを符号化する第２符号化ステップと、
    　を具備する音声符号化方法。
PCT/JP2010/007553 2009-12-28 2010-12-27 音声符号化装置および音声符号化方法 WO2011080916A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/518,537 US8942989B2 (en) 2009-12-28 2010-12-27 Speech coding of principal-component channels for deleting redundant inter-channel parameters
CN201080058171.XA CN102714036B (zh) 2009-12-28 2010-12-27 语音编码装置和语音编码方法
JP2011547334A JP5511848B2 (ja) 2009-12-28 2010-12-27 音声符号化装置および音声符号化方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009298321 2009-12-28
JP2009-298321 2009-12-28

Publications (1)

Publication Number Publication Date
WO2011080916A1 true WO2011080916A1 (ja) 2011-07-07

Family

ID=44226340

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007553 WO2011080916A1 (ja) 2009-12-28 2010-12-27 音声符号化装置および音声符号化方法

Country Status (4)

Country Link
US (1) US8942989B2 (ja)
JP (1) JP5511848B2 (ja)
CN (1) CN102714036B (ja)
WO (1) WO2011080916A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103650036A (zh) * 2012-07-06 2014-03-19 深圳广晟信源技术有限公司 对多声道数字音频编码的方法
KR20140139591A (ko) * 2012-04-05 2014-12-05 후아웨이 테크놀러지 컴퍼니 리미티드 채널간 차이 추정 방법 및 공간적 오디오 코딩 장치
JP2015129785A (ja) * 2014-01-06 2015-07-16 日本電信電話株式会社 符号化装置、復号装置、符号化方法、復号方法、およびプログラム
JP2020034920A (ja) * 2015-03-09 2020-03-05 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャンネル信号を符号化又は復号化するための装置と方法
JP2020516955A (ja) * 2017-04-12 2020-06-11 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチチャネル信号符号化方法、マルチチャネル信号復号方法、エンコーダ、およびデコーダ

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX341885B (es) 2012-12-13 2016-09-07 Panasonic Ip Corp America Dispositivo de codificacion de sonido de voz, dispositivo de decodificacion de sonido de voz, metodo de codificacion de sonido de voz y metodo de decodificacion de sonido de voz.
FR3048808A1 (fr) * 2016-03-10 2017-09-15 Orange Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal
GB2575305A (en) * 2018-07-05 2020-01-08 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003085645A1 (en) * 2002-04-10 2003-10-16 Koninklijke Philips Electronics N.V. Coding of stereo signals
WO2005098825A1 (en) * 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Stereo coding and decoding methods and apparatuses thereof
WO2007104883A1 (fr) * 2006-03-15 2007-09-20 France Telecom Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale
WO2009038512A1 (en) * 2007-09-19 2009-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Joint enhancement of multi-channel audio
WO2009144953A1 (ja) * 2008-05-30 2009-12-03 パナソニック株式会社 符号化装置、復号装置およびこれらの方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8330885D0 (en) * 1983-11-18 1983-12-29 British Telecomm Data transmission
JP3328532B2 (ja) * 1997-01-22 2002-09-24 シャープ株式会社 デジタルデータの符号化方法
JP3576935B2 (ja) * 2000-07-21 2004-10-13 株式会社ケンウッド 周波数間引き装置、周波数間引き方法及び記録媒体
US7110941B2 (en) * 2002-03-28 2006-09-19 Microsoft Corporation System and method for embedded audio coding with implicit auditory masking
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7299190B2 (en) * 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
EP1895512A3 (en) 2004-04-05 2014-09-17 Koninklijke Philips N.V. Multi-channel encoder
CN1942929A (zh) * 2004-04-05 2007-04-04 皇家飞利浦电子股份有限公司 多信道编码器
ES2426917T3 (es) 2004-04-05 2013-10-25 Koninklijke Philips N.V. Aparato codificador, aparato decodificador, sus métodos y sistema de audio asociado
WO2005098821A2 (en) 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Multi-channel encoder
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
JP5166292B2 (ja) * 2006-03-15 2013-03-21 フランス・テレコム 主成分分析によりマルチチャネルオーディオ信号を符号化するための装置および方法
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US20100121633A1 (en) * 2007-04-20 2010-05-13 Panasonic Corporation Stereo audio encoding device and stereo audio encoding method
EP2272169B1 (en) * 2008-03-31 2017-09-06 Creative Technology Ltd. Adaptive primary-ambient decomposition of audio signals
US8504378B2 (en) * 2009-01-22 2013-08-06 Panasonic Corporation Stereo acoustic signal encoding apparatus, stereo acoustic signal decoding apparatus, and methods for the same
CN102598124B (zh) * 2009-10-30 2013-08-28 松下电器产业株式会社 编码装置、解码装置及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003085645A1 (en) * 2002-04-10 2003-10-16 Koninklijke Philips Electronics N.V. Coding of stereo signals
WO2005098825A1 (en) * 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Stereo coding and decoding methods and apparatuses thereof
WO2007104883A1 (fr) * 2006-03-15 2007-09-20 France Telecom Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale
WO2009038512A1 (en) * 2007-09-19 2009-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Joint enhancement of multi-channel audio
WO2009144953A1 (ja) * 2008-05-30 2009-12-03 パナソニック株式会社 符号化装置、復号装置およびこれらの方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140139591A (ko) * 2012-04-05 2014-12-05 후아웨이 테크놀러지 컴퍼니 리미티드 채널간 차이 추정 방법 및 공간적 오디오 코딩 장치
JP2015517121A (ja) * 2012-04-05 2015-06-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド インターチャネル差分推定方法及び空間オーディオ符号化装置
US9275646B2 (en) 2012-04-05 2016-03-01 Huawei Technologies Co., Ltd. Method for inter-channel difference estimation and spatial audio coding device
KR101662682B1 (ko) * 2012-04-05 2016-10-05 후아웨이 테크놀러지 컴퍼니 리미티드 채널간 차이 추정 방법 및 공간적 오디오 코딩 장치
CN103650036A (zh) * 2012-07-06 2014-03-19 深圳广晟信源技术有限公司 对多声道数字音频编码的方法
JP2015129785A (ja) * 2014-01-06 2015-07-16 日本電信電話株式会社 符号化装置、復号装置、符号化方法、復号方法、およびプログラム
JP2020034920A (ja) * 2015-03-09 2020-03-05 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャンネル信号を符号化又は復号化するための装置と方法
US11508384B2 (en) 2015-03-09 2022-11-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding a multi-channel signal
JP7208126B2 (ja) 2015-03-09 2023-01-18 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャンネル信号を符号化又は復号化するための装置と方法
US11955131B2 (en) 2015-03-09 2024-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding a multi-channel signal
JP2020516955A (ja) * 2017-04-12 2020-06-11 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチチャネル信号符号化方法、マルチチャネル信号復号方法、エンコーダ、およびデコーダ
US11178505B2 (en) 2017-04-12 2021-11-16 Huawei Technologies Co., Ltd. Multi-channel signal encoding method, multi-channel signal decoding method, encoder, and decoder
JP7379602B2 (ja) 2017-04-12 2023-11-14 華為技術有限公司 マルチチャネル信号符号化方法、マルチチャネル信号復号方法、エンコーダ、およびデコーダ
US11832087B2 (en) 2017-04-12 2023-11-28 Huawei Technologies Co., Ltd. Multi-channel signal encoding method, multi-channel signal decoding method, encoder, and decoder

Also Published As

Publication number Publication date
CN102714036A (zh) 2012-10-03
JPWO2011080916A1 (ja) 2013-05-09
US20120259622A1 (en) 2012-10-11
CN102714036B (zh) 2014-01-22
US8942989B2 (en) 2015-01-27
JP5511848B2 (ja) 2014-06-04

Similar Documents

Publication Publication Date Title
JP5511848B2 (ja) 音声符号化装置および音声符号化方法
RU2690885C1 (ru) Стереофонический кодер и декодер аудиосигналов
JP5485909B2 (ja) オーディオ信号処理方法及び装置
KR101452722B1 (ko) 신호 부호화 및 복호화 방법 및 장치
JP6170520B2 (ja) オーディオ及び／またはスピーチ信号符号化及び／または復号化方法及び装置
EP2483887B1 (en) Mpeg-saoc audio signal decoder, method for providing an upmix signal representation using mpeg-saoc decoding and computer program using a time/frequency-dependent common inter-object-correlation parameter value
TWI497485B (zh) 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法
JP5753540B2 (ja) ステレオ信号符号化装置、ステレオ信号復号装置、ステレオ信号符号化方法及びステレオ信号復号方法
JP5930441B2 (ja) マルチチャネルオーディオ信号の適応ダウン及びアップミキシングを実行するための方法及び装置
JP2014063202A (ja) マルチチャネルの符号化及び復号化方法並びに装置
WO2013168414A1 (ja) 音信号ハイブリッドエンコーダ、音信号ハイブリッドデコーダ、音信号符号化方法、及び音信号復号方法
JP4685165B2 (ja) 仮想音源位置情報に基づいたチャネル間レベル差量子化及び逆量子化方法
KR101837686B1 (ko) 공간적 오디오 객체 코딩에 오디오 정보를 적응시키기 위한 장치 및 방법
CN109074812A (zh) 用于具有全局ild和改进的中/侧决策的mdct m/s立体声的装置和方法
WO2012004998A1 (ja) スペクトル係数コーディングの量子化パラメータを効率的に符号化する装置及び方法
EP2770505B1 (en) Audio coding device and method
WO2016023322A1 (zh) 多声道声音信号编码方法、解码方法及装置
WO2024051954A1 (en) Encoder and encoding method for discontinuous transmission of parametrically coded independent streams with metadata
Li et al. Efficient stereo bitrate allocation for fully scalable audio codec

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080058171.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10840775

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011547334

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13518537

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10840775

Country of ref document: EP

Kind code of ref document: A1