WO2010070770A1 - 音声帯域拡張装置及び音声帯域拡張方法 - Google Patents

音声帯域拡張装置及び音声帯域拡張方法 Download PDF

Info

Publication number
WO2010070770A1
WO2010070770A1 PCT/JP2008/073236 JP2008073236W WO2010070770A1 WO 2010070770 A1 WO2010070770 A1 WO 2010070770A1 JP 2008073236 W JP2008073236 W JP 2008073236W WO 2010070770 A1 WO2010070770 A1 WO 2010070770A1
Authority
WO
WIPO (PCT)
Prior art keywords
spectrum
frequency
mapping function
band
sound source
Prior art date
Application number
PCT/JP2008/073236
Other languages
English (en)
French (fr)
Inventor
遠藤　香緒里
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP08878936A priority Critical patent/EP2360687A4/en
Priority to JP2010542801A priority patent/JP5423684B2/ja
Priority to PCT/JP2008/073236 priority patent/WO2010070770A1/ja
Publication of WO2010070770A1 publication Critical patent/WO2010070770A1/ja
Priority to US13/067,120 priority patent/US8781823B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique

Definitions

  • the present invention relates to a voice band extending apparatus and a voice band extending method for generating a wide band voice signal from a narrow band voice signal.
  • the speech signal is separated into a sound source signal and a spectrum envelope by linear prediction analysis, and the high frequency signal is generated by distorting the sound source signal by nonlinear processing such as full-wave rectification and half-wave rectification. It becomes a broadband.
  • the spectral envelope is broadened by using a mapping function from a narrow-band spectral envelope learned in advance to a broadband spectral envelope.
  • a technique for generating a broadband signal by synthesizing a spectrum envelope and a sound source signal having a wider band is known.
  • the speech signal is separated into a sound source signal and a spectrum envelope by linear prediction analysis, the fundamental frequency of the sound source signal is obtained, and the sound source signal is shifted to a high frequency region and a low frequency region by a frequency that is an integral multiple of the basic frequency to widen the bandwidth Technology is known.
  • Japanese Patent Application Laid-Open No. 09-101798 JP 09-055578 A Japanese Patent Application Laid-Open No. 09-101798 JP 09-055578 A
  • mapping function for generating a wideband signal from a narrowband signal calculated in advance by learning learns an average mapping relationship using a large number of data. Therefore, the average mapping function is different from the optimum value for the applied audio signal, and it is not possible to obtain a wide band signal with high sound quality. Furthermore, since it is necessary to store various audio signals in order to improve the sound quality, the capacity of the database increases.
  • the disclosed voice band extending apparatus calculates a mapping function for generating a high-frequency component from a low-frequency component of the spectrum by using frequency conversion means for calculating a spectrum by frequency-converting an input signal and the spectrum.
  • a mapping function calculating means and generating a spectrum of a higher frequency than the spectrum band based on the mapping function, and integrating the generated high frequency spectrum and the spectrum calculated by the frequency converting means,
  • Broadband spectrum generating means for generating a spectrum wider than the spectrum band calculated by the frequency converting means, and frequency inverse converting means for calculating an output signal by frequency inversely converting the broadband spectrum.
  • a mapping function is calculated from a spectrum of a narrowband signal, and a spectrum having a higher frequency than that of the narrowband is generated using the calculated mapping function so as to widen the bandwidth. Can be achieved.
  • FIG. It is a block diagram which shows the main function structural example of the audio
  • FIG. It is a block diagram which shows the main function structural example of a wideband spectrum production
  • 3 is a flowchart illustrating an example of a voice band expansion process according to the first embodiment. It is a block diagram which shows the main function structural example of the audio
  • FIG. It is a figure which shows an example of the relationship between an evaluation value and an error. It is a block diagram which shows the main function structural example of a wideband spectrum production
  • FIG. 10 is a flowchart illustrating an example of a voice band expansion process according to the second embodiment. It is a block diagram which shows the main function structural example of the audio
  • FIG. It is a block diagram which shows the main function structural example of a wideband spectrum production
  • 14 is a flowchart illustrating an example of a voice band expansion process according to the third embodiment.
  • FIG. 14 is a flowchart illustrating an example of a voice band expansion process according to the fourth embodiment.
  • Frequency conversion means 12 32 Mapping function calculation means 13, 22, 33, 42 Broadband spectrum generation means 14 Frequency inverse conversion means 21, 41 Mapping function evaluation means 31 Sound source / envelope separation means 131 High frequency spectrum generation means 132, 222, 332, 422 Integration means 221 Spectrum correction means 331, 421 High frequency separation information generation means 333, 423 Sound source / envelope synthesis means
  • FIG. 1 is a block diagram illustrating an example of a main functional configuration of the voice band extending apparatus 1 according to the first embodiment.
  • the audio band extending device 1 includes a frequency conversion unit 11, a mapping function calculation unit 12, a wideband spectrum generation unit 13, and a frequency inverse conversion unit 14.
  • the frequency conversion means 11 acquires an audio input signal (hereinafter also referred to as a narrowband signal) transmitted via a network or the like, performs time-frequency conversion (hereinafter referred to as frequency conversion), and performs frequency information (hereinafter referred to as spectrum). Calculated).
  • the frequency conversion is performed using techniques such as Fourier transform and discrete cosine transform.
  • the input signal is described as a narrow-band signal of 300 Hz to 3400 Hz, but is not limited to this band.
  • the frequency conversion unit 11 outputs the calculated spectrum to the mapping function calculation unit 12 and the broadband spectrum generation unit 13.
  • the mapping function calculation unit 12 calculates a mapping function for generating a high frequency component from a low frequency component for the spectrum acquired from the frequency conversion unit 11.
  • Equation (1) represents a model of the spectral mapping function.
  • an error between the estimated value of the spectrum and the actual spectrum y (x i ) is calculated by the equation (2).
  • the model parameters a and b are calculated from the equations (2), (3), and (4) using the spectrum y (x i ) of the narrowband signal.
  • the pitch frequency ⁇ is calculated by the following equation.
  • ⁇ freq / a_max (6)
  • x Input signal M: Length of interval for calculating correlation coefficient (sample)
  • a Start position of signal for calculating correlation coefficient corr (a): Correlation coefficient when the shift position is a a_max: a corresponding to the maximum correlation coefficient
  • i Signal index (sample) freq: Sampling frequency (Hz)
  • the mapping function calculation unit 12 outputs the calculated mapping function to the broadband spectrum generation unit 13.
  • the broadband spectrum generating means 13 acquires the spectrum of the narrowband signal from the frequency converting means 11 and acquires the mapping function from the mapping function calculating means 12. Next, the broadband spectrum generating means 13 generates a spectrum having a wider band than the band of the narrowband signal using the acquired spectrum and the mapping function. Details of the broadband spectrum generating means 13 will be described with reference to FIG.
  • the broadband spectrum generation unit 13 outputs the generated broadband spectrum to the frequency inverse conversion unit 14.
  • FIG. 2 is a block diagram showing an example of the main functional configuration of the broadband spectrum generating means 13.
  • the broadband spectrum generating unit 13 includes a high band spectrum generating unit 131 and an integrating unit 132.
  • the high-frequency spectrum generating unit 131 generates a higher-frequency spectrum than the narrow-band spectrum by inputting a frequency higher than the narrow-band to the mapping function acquired from the mapping function calculating unit 12.
  • the integration unit 132 integrates the high-frequency spectrum and the narrow-band spectrum generated by the high-frequency spectrum generation unit 131 to generate a wideband spectrum.
  • a wideband spectrum For example, an example of widening a narrowband signal will be described.
  • the spectrum of a narrowband signal has information on the number of bands of 0 to T, and this is expanded to twice the number of bands of 0 to 2T.
  • the spectrum of the narrowband signal is set to the narrowband component of the broadband spectrum.
  • a spectrum generated using a mapping function is set to a high-frequency component of a broadband spectrum.
  • the Nyquist frequency component is zero.
  • S_w [2T] 0 (9)
  • S_w [i] Wide spectrum of the i-th frequency band
  • S_n [i] Narrow band spectrum of i-th frequency band
  • S_f [i] Spectrum of the i-th frequency band generated by applying the mapping function From the above, it is possible to generate a wideband spectrum by doubling the number of narrowband spectra, for example.
  • the frequency inverse transform unit 14 acquires a broadband spectrum from the broadband spectrum generation unit 13, performs frequency time conversion (frequency inverse transform) on the acquired broadband spectrum, and outputs the time domain. Calculate the signal.
  • FIG. 3 is a conceptual diagram of processing for generating a high-frequency spectrum. As shown in FIG. 3, a process for generating a high-frequency spectrum of 4 to 8 kHz from a narrow-band signal of 0 to 4 kHz will be described.
  • a mapping function for generating a high-frequency spectrum (eg, 4-8 kHz) from a narrow-band signal spectrum bandwidth (eg, 0-4 kHz) is calculated.
  • a high-frequency (4 to 8 kHz) spectrum is generated by inputting a high-frequency (4 to 8 kHz) frequency to the mapping function.
  • the spectrum of the narrow band signal (0 to 4 kHz) and the generated high band (4 to 8 kHz) spectrum can be integrated to generate a wide band (0 to 8 kHz) spectrum.
  • FIG. 4 is a diagram illustrating an example of the smoothing process.
  • the spectrum of the high frequency part of the narrowband signal is generated with a mapping function (one-dot chain line).
  • the boundary (4 kHz) may be smoothly connected by changing the high-frequency spectrum of the original narrowband signal so as to gradually become the generated spectrum (one-dot chain line).
  • the weighting coefficient is determined so that the high-frequency spectrum of the narrowband signal gradually becomes a spectrum generated using the mapping function.
  • a weighted average of the high-frequency spectrum and the generated spectrum may be taken using this weighting factor.
  • FIG. 5 is a flowchart illustrating an example of the voice band expansion process according to the first embodiment.
  • the frequency conversion means 11 performs frequency conversion (time frequency conversion) on the time domain input signal to calculate a frequency domain spectrum.
  • the mapping function calculation means 12 uses the spectrum calculated by the frequency conversion means 11 to calculate a mapping function for generating a high-frequency component from the low-frequency component of the spectrum. Specifically, as described above, a model serving as a mapping function is given and its parameters are calculated.
  • the broadband spectrum generating means 13 generates a spectrum having a wider band than the narrow band by using the spectrum generated by the frequency converting means 11 and the mapping function calculated by the mapping function calculating means 12. .
  • the high frequency spectrum generating means 131 inputs a frequency in a frequency higher than the narrow band to the mapping function to generate a high frequency spectrum.
  • the integration unit 132 generates a wideband spectrum by integrating the narrowband spectrum and the highband spectrum generated by the highband spectrum generation unit 131.
  • the frequency reverse conversion unit 14 performs frequency reverse conversion (frequency time conversion) on the wideband spectrum generated by the wideband spectrum generation unit 13, and calculates an output signal in the time domain.
  • a mapping function can be calculated using a spectrum of a narrowband signal, and a high-frequency spectrum can be generated using the calculated mapping function to widen the band. Therefore, it is possible to improve the sound quality of the broadband signal.
  • a mapping function suitable for the input signal can be obtained, and a high-frequency spectrum corresponding to the spectral characteristics of the input signal can be generated.
  • the smoothing process is performed when the spectra are integrated, the generation of a discontinuous spectrum at the boundary of spectrum integration can be prevented, and a smooth spectrum can be generated even at the boundary.
  • FIG. 6 is a block diagram illustrating an example of a main functional configuration of the voice band extending apparatus 2 according to the second embodiment. In the functions shown in FIG. 6, the same functions as those shown in FIG.
  • the voice band extension device 2 includes a frequency conversion unit 11, a mapping function calculation unit 12, a mapping function evaluation unit 21, a broadband spectrum generation unit 22, and a frequency inverse conversion 14.
  • the mapping function evaluation unit 21 and the broadband spectrum generation unit 22 will be described.
  • the mapping function evaluation unit 21 evaluates the performance of the mapping function calculated by the mapping function calculation unit 12. For example, the mapping function is evaluated by calculating the evaluation value as follows.
  • the mapping function evaluation means 21 calculates an error V between the spectrum obtained by frequency-converting the input signal and the spectrum generated by applying the mapping function, using Expression (10). Moreover, the mapping function evaluation means 21 calculates
  • FIG. 7 is a diagram illustrating an example of the relationship between the evaluation value and the error.
  • the evaluation value is a value between 0 and 1
  • a function is set in advance so that the evaluation value decreases as the error increases.
  • a correspondence table between evaluation values and errors may be set.
  • the relationship between the evaluation value and the error shown in FIG. 7 is an example, and it is only necessary to satisfy the relationship that the evaluation value decreases as the error increases. Further, when the error becomes larger than a predetermined value, a condition such as setting the evaluation value to 0 may be added. Further, the reciprocal of the error may be used as the evaluation value.
  • the evaluation value calculated using the error is output to the broadband spectrum generating means 22 together with the mapping function.
  • the broadband spectrum generating means 22 generates a broadband spectrum using the spectrum of the narrowband signal, the mapping function, and the evaluation value. Details of the broadband spectrum generating means 22 will be described with reference to FIG.
  • FIG. 8 is a block diagram showing an example of the main functional configuration of the broadband spectrum generating means 22.
  • the broadband spectrum generating unit 22 includes a high band spectrum generating unit 131, a spectrum correcting unit 221, and an integrating unit 222.
  • the same functions as those shown in FIG. 2 are denoted by the same reference numerals, and the description thereof is omitted.
  • the spectrum correction unit 221 corrects the high-frequency spectrum generated by the high-frequency spectrum generation unit 131 using the evaluation value calculated by the mapping function evaluation unit 21. For example, the correction is performed using Expression (11) that multiplies the high-frequency spectrum by the evaluation value.
  • S'w [i] ⁇ ⁇ Sw [i] (11) Sw [i]: High-frequency spectrum generated by applying the mapping function ⁇ : Evaluation value of the mapping function S'w [i]: High-frequency spectrum corrected using the evaluation value
  • the evaluation value ⁇ of the mapping function is a function that calculates the evaluation value from the error between the spectrum generated by the mapping function and the narrow-band spectrum as described above. (Or a correspondence table) (see FIG. 7).
  • the integration unit 222 is basically the same as the integration unit 132 described with reference to FIG. The difference is that the high-frequency spectrum corrected by the spectrum correcting means 221 is used as the high-frequency spectrum to be integrated. Thereby, it is possible to prevent the high-frequency spectrum generated by using the mapping function having a small evaluation value from affecting the broadband spectrum after integration.
  • FIG. 9 is a flowchart illustrating an example of a voice band expansion process according to the second embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • step S21 the mapping function evaluation unit 21 evaluates the performance of the mapping function calculated by the mapping function calculation unit 12. As described above, the evaluation of the mapping function is performed by obtaining an error between the narrow-band spectrum and the spectrum generated by using the mapping function and calculating an evaluation value from this error.
  • the broadband spectrum generating means 22 first corrects the high-frequency spectrum generated by applying the mapping function using the evaluation value calculated by the mapping function evaluating means 21. . As described above, the correction is performed by multiplying the spectrum by the evaluation value. Next, the broadband spectrum generating means 22 generates a broadband spectrum by integrating the narrow band spectrum and the corrected high band spectrum. At this time, the smoothing process described in the first embodiment may be added.
  • the evaluation value of the calculated mapping function can be calculated, and the high-frequency spectrum generated using the mapping function can be corrected based on the evaluation value. That is, the high-frequency spectrum generated using the mapping function with poor performance can be prevented from affecting the broadband spectrum after integration.
  • Embodiment 3 differs from the above embodiments in that the spectrum after frequency conversion is separated into a sound source signal and a spectrum envelope.
  • FIG. 10 is a block diagram illustrating an example of a main functional configuration of the voice band extending device 3 according to the third embodiment. In the function shown in FIG. 10, the same functions as those shown in FIG.
  • the voice band extending device 3 includes a frequency converting unit 11, a sound source / envelope separating unit 31, a mapping function calculating unit 32, a broadband spectrum generating unit 33, and a frequency inverse transform 14.
  • the sound source / envelope separating unit 31, the mapping function calculating unit 32, and the broadband spectrum generating unit 33 will be described.
  • the sound source / envelope separating means 31 separates the spectrum calculated by the frequency converting means 11 into a sound source signal and a spectrum envelope. This separation processing is performed by a technique such as linear prediction analysis or cepstrum lifter.
  • the separated sound source signal and / or spectrum envelope will be referred to as separation information.
  • the sound source / envelope separating unit 31 outputs the separated separation information to the mapping function calculating unit 32 and the broadband spectrum generating unit 33.
  • the mapping function calculation means 32 calculates a mapping function for generating a high frequency component from a low frequency component for the separation information separated by the sound source / envelope separation means 31.
  • separation information for calculating the mapping function there are three patterns of a sound source signal and a spectrum envelope, only a sound source signal, and only a spectrum envelope. Hereinafter, these will be described in order.
  • the mapping function calculation unit 32 calculates a mapping function for each of the sound source signal and the spectrum envelope. Since the mapping function of the sound source signal is the same as the calculation method for the spectrum as described in the above embodiment, the description thereof is omitted here. Hereinafter, calculation of the mapping function for the spectral envelope will be described.
  • the following model (12) is given as a mapping function of the spectral envelope.
  • an error between the power spectrum estimation value of the spectrum envelope and the power spectrum z (x i ) of the actual spectrum envelope is calculated by Expression (13).
  • the model parameters c, d, and e are calculated from the equations (13), (14), (15), and (16) using the power spectrum z (x i ) of the spectrum envelope of the narrowband signal.
  • the mapping function from the low-frequency component to the high-frequency component for the spectrum envelope can be calculated.
  • the model is merely an example and is not limited to the above model.
  • the mapping function calculation unit 32 outputs the calculated mapping functions of the sound source signal and the spectrum envelope to the wideband spectrum generation unit 33.
  • the mapping function calculation means 32 calculates a mapping function from the low frequency component to the high frequency component for the sound source signal. Since the mapping function of the sound source signal is the same as the calculation method for the spectrum as described in the above embodiment, the description thereof is omitted here. Further, the mapping function calculation unit 32 outputs the calculated mapping function of the sound source signal to the broadband spectrum generation unit 33.
  • the mapping function calculation means 32 calculates a mapping function from the low frequency component to the high frequency component for the spectrum envelope.
  • the mapping function can be calculated by giving a model as described above and calculating its parameters. Further, the mapping function calculation means 32 outputs the calculated spectral envelope mapping function to the broadband spectrum generation means 33.
  • the broadband spectrum generating means 33 uses the separation information separated by the sound source / envelope separating means 31 and the mapping function calculated by the mapping function calculating means 32 to generate wideband separated information rather than the narrow band. Next, the broadband spectrum generating unit 33 generates a broadband spectrum based on the generated broadband separation information.
  • the details of the broadband spectrum generating means 33 will be described with reference to FIG.
  • FIG. 11 is a block diagram showing an example of the main functional configuration of the broadband spectrum generating means 33.
  • the broadband spectrum generating unit 33 includes a high band separation information generating unit 331, an integrating unit 332, and a sound source / envelope synthesizing unit 333.
  • the high frequency band separation information generation unit 331 generates high band separation information from the narrow band by using the calculated mapping function and the frequency higher than the narrow band.
  • the separation information has three patterns of the sound source signal and the spectrum envelope, only the sound source signal, and only the spectrum envelope, the function of the high frequency separation information generation unit 331 will be described for each case.
  • the high frequency band separation information generation unit 331 inputs a frequency higher than the narrow band to the mapping function of the sound source signal and the spectral envelope calculated by the mapping function calculation unit 32 to input the high frequency sound source signal and the spectrum. Generate an envelope. Next, the high frequency band separation information generation unit 331 outputs the generated high frequency sound source signal and spectrum envelope to the integration unit 332.
  • the high-frequency separation information generating unit 331 generates a high-frequency sound source signal by inputting a frequency higher than the narrow band to the mapping function of the sound source signal calculated by the mapping function calculating unit 32. Further, since the mapping function of the spectrum envelope is not calculated, the high frequency band separation information generating unit 331 uses a mapping function learned in advance or repeats the low frequency band as in the prior art. Generate a spectral envelope. Next, the high frequency band separation information generation unit 331 outputs the generated high frequency sound source signal and spectrum envelope to the integration unit 332.
  • the high frequency band separation information generating unit 331 generates a high frequency spectrum envelope by inputting a frequency higher than the narrow band to the spectral envelope mapping function calculated by the mapping function calculating unit 32. In addition, since the mapping function of the sound source signal is not calculated, the high frequency separation information generating unit 331 uses a mapping function learned in advance or repeats the low frequency, as in the prior art. Generate a sound source signal. Next, the high frequency band separation information generation unit 331 outputs the generated high frequency sound source signal and spectrum envelope to the integration unit 332.
  • the integration unit 332 integrates the narrowband sound source signal and the high frequency sound source signal generated by the high frequency separation information generation unit 331.
  • the integration unit 332 integrates the narrow band spectrum envelope and the high band spectrum envelope generated by the high band separation information generation unit 331.
  • the integration method is as described in the integration unit 132 of the first embodiment.
  • the integrated sound source signal and spectrum envelope are output to the sound source / envelope synthesis means 333.
  • the sound source / envelope synthesizing unit 333 synthesizes the sound source signal and the spectrum envelope which are integrated and widened to generate a wide band spectrum.
  • the spectrum of the wideband signal is calculated by Equation (17) using the spectrum of the wideband sound source signal and the spectrum of the wideband spectrum envelope.
  • Sw [i] SRw [i] ⁇ EVw [i] (17)
  • SRw [i] Spectrum of the i-th wideband source signal
  • EVw [i] spectrum of the i-th wideband spectrum envelope
  • the integration unit 332 and the sound source / envelope synthesizing unit 333 are processed in this order.
  • the integration unit 332 may perform integration.
  • the sound source / envelope synthesizing unit 333 synthesizes a narrow band sound source signal and a spectrum envelope.
  • the sound source / envelope separating unit 33 synthesizes the high frequency sound source signal and the spectrum envelope generated by the high frequency separated information generating unit 331.
  • the integration unit 332 may integrate the narrowband spectrum and the highband spectrum after synthesis. Further, when the integration is performed by the integration unit 333, the above-described smoothing process may be performed.
  • the integration and synthesis processing when the separation information is a sound source signal and a spectrum envelope will be specifically described.
  • FIG. 12A is a diagram showing a power spectrum of a narrowband signal.
  • FIG. 12B and FIG. 12C show that the power spectrum of the narrowband signal is separated into the sound source signal and the spectrum envelope.
  • FIG. 12B is a diagram illustrating an example of widening the sound source signal.
  • a mapping function for generating a high frequency component from a low frequency component is calculated using a sound source signal of 0 to 4 kHz, and a sound source signal of 4 to 8 kHz is generated using the calculated mapping function. Is done.
  • the generated sound source signal is integrated with a narrow band sound source signal to become a sound source signal A having a wider band.
  • FIG. 12C is a diagram illustrating an example of widening the spectrum envelope.
  • a mapping function for generating a high frequency component from a low frequency component is calculated using a spectral envelope of 0 to 4 kHz, and a spectral envelope of 4 to 8 kHz is generated using the calculated mapping function. Is done.
  • the generated spectral envelope is integrated with the narrow-band spectral envelope to become a broadband spectral envelope B.
  • FIG. 13 is a diagram illustrating an example of a synthesis process of a sound source signal and a spectrum envelope.
  • a spectrum with a broad band is generated.
  • the mapping function can be calculated based on the spectrum of the input signal, and a high-frequency spectrum suitable for the current input signal can be generated.
  • FIG. 14 is a flowchart illustrating an example of a voice band expansion process according to the third embodiment.
  • the same reference numerals are given to the same processing as the processing shown in FIG. 5, and description thereof is omitted.
  • step S31 the sound source / envelope separating means 31 separates the frequency-converted spectrum into a sound source signal and a spectrum envelope.
  • the mapping function calculation means 32 calculates a mapping function for generating a high frequency component from the low frequency component using the separation information separated by the sound source / envelope separation means 31. Specifically, as described above, a model serving as a mapping function is given and its parameters are calculated. There are three patterns for calculating a mapping function: a mapping function of a sound source signal and a spectrum envelope, a mapping function of only a sound source signal, and a mapping function of only a spectrum envelope.
  • the broadband spectrum generating unit 33 first generates separation information in a higher band than the narrow band by using the mapping function calculated by the mapping function calculating unit 32.
  • the mapping function is calculated for the sound source signal and the spectral envelope
  • the high frequency sound source signal and the spectral envelope are generated using the respective mapping functions.
  • a high frequency sound source signal is generated using the mapping function of the sound source signal.
  • a high-frequency spectral envelope is generated using conventional techniques.
  • the mapping function is calculated only for the spectral envelope, a high-frequency spectral envelope is generated using the spectral envelope mapping function.
  • the sound source signal a high-frequency sound source signal is generated using a conventional technique.
  • the broadband spectrum generating means 33 integrates the generated high-frequency sound source signal and spectrum envelope into the narrow-band sound source signal and spectrum envelope, respectively.
  • a combined spectrum is generated by synthesizing the integrated sound source signal and spectrum envelope.
  • the smoothing process described in the first embodiment may be added.
  • the mapping function for separating the spectrum of the narrowband signal into the sound source signal and the spectrum envelope and generating the highband component from the lowband component using the separated separation information can be calculated. it can.
  • the mapping function for separating the spectrum of the narrowband signal into the sound source signal and the spectrum envelope and generating the highband component from the lowband component using the separated separation information can be calculated. it can.
  • by generating a high-frequency spectrum using the calculated mapping function to widen the band it is possible to improve the sound quality of the wide-band signal.
  • a mapping function suitable for the input signal can be obtained, and a high-frequency spectrum corresponding to the spectral characteristics of the input signal can be generated.
  • FIG. 15 is a block diagram of a main functional configuration example of the voice band extending apparatus 4 according to the fourth embodiment.
  • the same functions as those shown in FIGS. 1 and 10 are denoted by the same reference numerals, and the description thereof is omitted.
  • the voice band extending device 4 includes a frequency converting unit 11, a sound source / envelope separating unit 31, a mapping function calculating unit 32, a mapping function evaluating unit 41, a broadband spectrum generating unit 42, and a frequency inverse transform 14. .
  • the mapping function evaluation unit 41 and the broadband spectrum generation unit 42 will be described.
  • the mapping function evaluation unit 41 evaluates the performance of the mapping function calculated by the mapping function calculation unit 32.
  • the evaluation is performed in the same manner as the mapping function evaluation unit 21 of the second embodiment. That is, if the mapping function is calculated only for the sound source signal, the error between the sound source signal generated using the mapping function of the sound source signal and the narrow-band sound source signal is calculated, and the evaluation value is obtained from the error. Thus, the mapping function is evaluated.
  • This evaluation is performed in the same manner when the mapping function of only the spectral envelope is calculated and when the mapping functions of the sound source signal and the spectral envelope are calculated.
  • the broadband spectrum generating means 42 generates a broadband spectrum using the evaluation value and mapping function acquired from the mapping function evaluating means 41 and the narrow band sound source signal and spectrum envelope acquired from the sound source / envelope separating means 31.
  • the details of the broadband spectrum generating means 42 will be described with reference to FIG.
  • FIG. 16 is a block diagram showing an example of the main functional configuration of the broadband spectrum generating means 42. As shown in FIG. In the functions shown in FIG. 16, the same functions as those shown in FIG. As shown in FIG. 16, the broadband spectrum generating unit 42 includes a high band separation information generating unit 331, a high band separation information correcting unit 421, an integrating unit 422, and a sound source / envelope synthesizing unit 423.
  • the broadband spectrum generating unit 42 includes a high band separation information generating unit 331, a high band separation information correcting unit 421, an integrating unit 422, and a sound source / envelope synthesizing unit 423.
  • the high frequency band separation information correction unit 421 corrects the high band separation information generated by the high frequency band separation information generation unit 331 using the evaluation value of the mapping function.
  • the separation information since the separation information has three patterns of the sound source signal and the spectrum envelope, only the sound source signal, and only the spectrum envelope, the function of the high frequency separation information correction unit 421 will be described for each case.
  • the high frequency band separation information correction unit 421 corrects the high frequency sound source signal and the spectrum envelope generated by the high frequency band separation information generation unit 331 using the evaluation values of the respective mapping functions. First, the correction of the sound source signal will be described.
  • the high frequency sound source signal generated by using the mapping function of the sound source signal is corrected by the equation (18) using the evaluation value of the mapping function of the sound source signal.
  • SR'w [i] ⁇ ⁇ SRw [i] (18)
  • ⁇ Evaluation value of mapping function of sound source signal
  • the evaluation value ⁇ of mapping function is the sound source signal calculated by the mapping function and the sound source of the narrowband signal It is obtained by a function (or correspondence table) for calculating an evaluation value from an error from the signal.
  • the high frequency spectral envelope generated by applying the spectral envelope mapping function is modified by the formula (19) using the evaluation value of the spectral envelope mapping function.
  • SE'w [i] ⁇ ⁇ SEw [i] (19)
  • the mapping function evaluation value ⁇ is the spectral envelope generated using the mapping function as described above. And a function (or correspondence table) for calculating an evaluation value from the error between the spectral envelope of the narrowband signal.
  • the high frequency band separation information correction unit 331 outputs the corrected high frequency sound source signal and spectrum envelope to the integration unit 422.
  • the high frequency band separation information correction unit 421 corrects the sound source signal generated by the high frequency band separation information generation unit 331 using the evaluation value of the mapping function of the sound source signal.
  • the method of correction is as described above.
  • the high-frequency spectral envelope is not corrected.
  • the high frequency band separation information generating unit 331 outputs the corrected high frequency sound source signal and the uncorrected high frequency spectrum envelope to the integrating unit 332.
  • the high frequency band separation information correction unit 421 corrects the spectrum envelope generated by the high frequency band separation information generation unit 331 using the evaluation value of the mapping function of the spectrum envelope. The method of correction is as described above. Here, since the mapping function of the sound source signal is not calculated, the high frequency sound source signal is not corrected. Next, the high frequency band separation information generating unit 331 outputs the corrected high frequency spectrum envelope and the uncorrected high frequency sound source signal to the integrating unit 332.
  • the integration unit 422 integrates the narrowband sound source signal and the high frequency sound source signal output by the high frequency separation information correction unit 421. Further, the integration unit 332 integrates the narrow band spectrum envelope and the high band spectrum envelope output by the high band separation information correction unit 421.
  • the integration method is as described in the integration unit 132 of the first embodiment.
  • the integrated sound source signal and spectrum envelope are output to the sound source / envelope synthesizing unit 423.
  • the sound source / envelope synthesizing means 423 synthesizes the sound source signal and the spectrum envelope which are integrated and widened to generate a wide band spectrum.
  • the synthesis is performed by the sound source / envelope synthesis unit 423 first, and then the integration unit 422 performs integration. May be.
  • the sound source / envelope synthesizing unit 423 synthesizes a narrow band sound source signal and a spectrum envelope.
  • the sound source / envelope synthesizing unit 423 synthesizes the high frequency sound source signal and the spectral envelope output by the high frequency separation information correcting unit 421.
  • the integration unit 422 may integrate the narrowband spectrum and the highband spectrum after synthesis.
  • the above-described smoothing process may be performed.
  • the mapping function calculated using the separation information it is possible to determine the contribution degree or acceptance of the calculated high frequency spectrum based on the evaluation.
  • FIG. 17 is a flowchart illustrating an example of a voice band extension process according to the fourth embodiment.
  • the same reference numerals are given to the same processing as the processing shown in FIG. 5 and FIG. 14, and description thereof is omitted.
  • step S41 the mapping function evaluation unit 41 evaluates the performance of the mapping function calculated by the mapping function calculation unit 32.
  • the evaluation is made by calculating the evaluation value of the mapping function as described above.
  • the broadband spectrum generating means 42 first generates separation information of a higher frequency than the narrow band using the mapping function calculated by the mapping function calculating means 32.
  • the mapping function is calculated for the sound source signal and the spectrum envelope
  • the high frequency sound source signal and the spectrum envelope are generated using the respective mapping functions.
  • a high frequency sound source signal is generated using the mapping function of the sound source signal.
  • a high-frequency spectral envelope is generated using conventional techniques.
  • the mapping function is calculated only for the spectral envelope, a high-frequency spectral envelope is generated using the spectral envelope mapping function.
  • the sound source signal a high-frequency sound source signal is generated using a conventional technique.
  • the broadband spectrum generating unit 42 modifies the sound source signal and / or the spectrum envelope generated using the mapping function calculated by the mapping function calculating unit 32 using the evaluation value of the mapping function.
  • the broadband spectrum generating unit 42 modifies the sound source signal and / or the spectrum envelope generated using the mapping function calculated by the mapping function calculating unit 32 using the evaluation value of the mapping function.
  • the broadband spectrum generating means 42 integrates the high frequency sound source signal and the spectrum envelope into the narrow band sound source signal and the spectrum envelope, respectively. Further, the broadband spectrum generating means 42 generates a broadband spectrum by synthesizing the integrated sound source signal and the spectrum envelope. At this time, the smoothing process described in the first embodiment may be added.
  • the mapping function calculated based on the separation information can be evaluated. Moreover, the contribution degree and acceptance / rejection of the generated high-frequency spectrum can be determined based on the evaluation.
  • A is a matrix in which the spectra of narrowband signals are arranged, and b is a column vector in which spectra having a frequency index q larger than the first row of the matrix A are arranged.
  • the linear prediction coefficient p can be calculated by calculating an inverse matrix of A and using Equation (23).
  • the inverse matrix of A is obtained by a known method such as a generalized inverse matrix.
  • the linear prediction coefficient p is a coefficient for inputting a low-frequency spectrum of a narrow-band signal and predicting a high-frequency spectrum by q.
  • Ap b (20)
  • p Linear prediction coefficient (m-dimensional column vector)
  • b Column vector (o-dimensional column vector) in which spectra with a frequency index q larger than the first row of matrix A are arranged
  • s t spectrum with frequency index t
  • a spectrum of a higher frequency than the spectrum of the input signal is generated by multiplying the matrix A ′ of Expression (24) by a linear prediction coefficient.
  • A'p b '(24)
  • p Linear prediction coefficient (m-dimensional column vector)
  • the high-frequency spectrum generated using the linear prediction coefficient is as follows.
  • the calculation result (b ′) is set for the range (t to t ⁇ o + 2q) that can be calculated by the linear prediction coefficient, and the range (t ⁇ o + 2q to 2T ⁇ 1) that cannot be calculated is set to 0.
  • the sound source signal and the linear prediction coefficient of a spectrum envelope can be calculated similarly.
  • the contents of the voice band expansion process described in each of the embodiments described above are used as a program for causing a computer to execute the program, and this program is installed from a server or the like and executed by the computer to realize the voice band expansion process described above. It is also possible.
  • the recording medium is a recording medium that records information optically, electrically, or magnetically, such as a CD-ROM, flexible disk, magneto-optical disk, etc., and information is electrically recorded, such as a ROM, flash memory, etc.
  • Various types of recording media such as a semiconductor memory can be used.
  • the disclosed voice band extending device can be applied to devices such as mobile terminals and IP telephones.

Abstract

　入力信号を周波数変換してスペクトルを算出する周波数変換手段と、前記スペクトルを用いて、前記スペクトルの低域成分から高域成分を生成するための写像関数を算出する写像関数算出手段と、前記写像関数に基づいて前記スペクトルの帯域よりも高域のスペクトルを生成し、生成した前記高域のスペクトルと前記周波数変換手段により算出されたスペクトルとを統合することにより、前記周波数変換手段により算出されたスペクトルの帯域よりも広帯域のスペクトルを生成する広帯域スペクトル生成手段と、前記広帯域のスペクトルを周波数逆変換して出力信号を算出する周波数逆変換手段とを備える音声帯域拡張装置を用いる。

Description

音声帯域拡張装置及び音声帯域拡張方法
　本発明は、狭帯域の音声信号から広帯域の音声信号を生成する音声帯域拡張装置及び音声帯域拡張方法に関する。
　従来から、伝送のために帯域が狭くなった音声信号の帯域を受話側で擬似的に拡張する技術が研究されている。
　帯域を拡張する技術として、まず、音声信号を線形予測分析により音源信号とスペクトル包絡とに分離し、音源信号を全波整流や半波整流などの非線形処理で歪ませて高域信号を生成することで広帯域化する。また、予め学習しておいた狭帯域のスペクトル包絡から広帯域のスペクトル包絡への写像関数を用いてスペクトル包絡を広帯域化する。そして、広帯域化したスペクトル包絡と音源信号とを合成して広帯域信号を生成する技術が知られている。
　また、音声信号を線形予測分析により音源信号とスペクトル包絡とに分離し、音源信号の基本周波数を求め、基本周波数の整数倍の周波数だけ高域と低域に音源信号をシフトさせて広帯域化する技術が知られている。
特開平０９－１０１７９８号公報 特開平０９－０５５７７８号公報
　しかしながら、予め学習によって算出した狭帯域信号から広帯域信号を生成する写像関数は、数多くのデータを用いて平均的な写像関係を学習したものである。よって、平均的な写像関数は、適用する音声信号に対する最適値とは異なり、高音質の広帯域信号を得ることができない。さらに、高音質化を図ろうとすれば、様々な音声信号を記憶しなければならないため、データベースの容量が増大する。
　また、音源信号を非線形処理し、基本周波数の整数倍だけ狭帯域の周波数成分を低・高域にシフトして広帯域化する方法では、実際の声は、狭帯域の周波数成分を単純にシフトしたものとは異なるため高音質の広帯域信号を得ることができない。
　開示の音声帯域拡張装置は、入力信号を周波数変換してスペクトルを算出する周波数変換手段と、前記スペクトルを用いて、前記スペクトルの低域成分から高域成分を生成するための写像関数を算出する写像関数算出手段と、前記写像関数に基づいて前記スペクトルの帯域よりも高域のスペクトルを生成し、生成した前記高域のスペクトルと前記周波数変換手段により算出されたスペクトルとを統合することにより、前記周波数変換手段により算出されたスペクトルの帯域よりも広帯域のスペクトルを生成する広帯域スペクトル生成手段と、前記広帯域のスペクトルを周波数逆変換して出力信号を算出する周波数逆変換手段とを備える。
　開示の実施形態によれば、狭帯域信号のスペクトルから写像関数を算出し、算出した写像関数を用いて狭帯域よりも高域のスペクトルを生成して広帯域化することにより、広帯域信号の高音質化を図ることができる。
実施形態１にかかる音声帯域拡張装置の主要機能構成例を示すブロック図である。 広帯域スペクトル生成手段の主要機能構成例を示すブロック図である。 高域のスペクトルを生成する処理の概念図である。 平滑化処理の一例を示す図である。 実施形態１にかかる音声帯域拡張処理の一例を示すフローチャートである。 実施形態２にかかる音声帯域拡張装置の主要機能構成例を示すブロック図である。 評価値と誤差との関係の一例を示す図である。 広帯域スペクトル生成手段の主要機能構成例を示すブロック図である。 実施形態２にかかる音声帯域拡張処理の一例を示すフローチャートである。 実施形態３にかかる音声帯域拡張装置の主要機能構成例を示すブロック図である。 広帯域スペクトル生成手段の主要機能構成例を示すブロック図である。 狭帯域信号のパワースペクトルを示す図である。 音源信号を広帯域化する例を示す図である。 スペクトル包絡を広帯域化する例を示す図である。 音源信号とスペクトル包絡との合成処理の一例を示す図である。 実施形態３にかかる音声帯域拡張処理の一例を示すフローチャートである。 実施形態４にかかる音声帯域拡張装置の主要機能構成例を示すブロック図である。 広帯域スペクトル生成手段の主要機能構成例を示すブロック図である。 実施形態４にかかる音声帯域拡張処理の一例を示すフローチャートである。
符号の説明
　１１　周波数変換手段
　１２，３２　写像関数算出手段
　１３，２２，３３，４２　広帯域スペクトル生成手段
　１４　周波数逆変換手段
　２１，４１　写像関数評価手段
　３１　音源・包絡分離手段
　１３１　高域スペクトル生成手段
　１３２，２２２，３３２，４２２　統合手段
　２２１　スペクトル修正手段
　３３１，４２１　高域分離情報生成手段
　３３３，４２３　音源・包絡合成手段
　以下、図面に基づいて実施形態について説明する。
　［実施形態１］
　＜機能構成＞
　図１は、実施形態１にかかる音声帯域拡張装置１の主要機能構成例を示すブロック図である。図１に示すように、音声帯域拡張装置１は、周波数変換手段１１、写像関数算出手段１２、広帯域スペクトル生成手段１３、周波数逆変換手段１４を含む。
　周波数変換手段１１は、ネットワークなどを介して送信された音声の入力信号（以下、狭帯域信号ともいう）を取得し、時間周波数変換（以下、周波数変換という）を行って周波数情報（以下、スペクトルという）を算出する。なお、周波数変換は、フーリエ変換や離散コサイン変換などの技術を用いて行う。また、入力信号を３００Ｈｚ～３４００Ｈｚの狭帯域の信号として説明するが、この帯域に限られるものではない。次に、周波数変換手段１１は、算出したスペクトルを写像関数算出手段１２及び広帯域スペクトル生成手段１３に出力する。
　写像関数算出手段１２は、周波数変換手段１１から取得したスペクトルに対して、低域成分から高域成分を生成するための写像関数を算出する。以下、写像関数の一例を説明する。式（１）は、スペクトルの写像関数のモデルを示す。
Figure JPOXMLDOC01-appb-I000001
　ここで、スペクトルの推定値と実際のスペクトルy(xi)との誤差を式（２）により算出する。
Figure JPOXMLDOC01-appb-I000002
　モデルのパラメータa，bは、狭帯域信号のスペクトルy(xi)を用いて、式（２）（３）（４）より算出する。ここで、ピッチ周波数θは以下の式で算出する。
Figure JPOXMLDOC01-appb-I000003
θ= freq/a_max　　　　（６）
x：入力信号
M：相関係数を算出する区間の長さ（サンプル）
a：相関係数を算出する信号の開始位置
corr(a)：ずらし位置がaの場合の相関係数
a_max： 最大相関係数に対応するa
i：信号のインデックス(サンプル)
freq：サンプリング周波数(Hz)
　以上、モデルのパラメータa，bを算出することで、入力信号のスペクトルに対して低域成分から高域成分を生成するための写像関数を算出することができる。なお、モデルについては一例を示したにすぎず、上記モデルに限定されるものではない。また、写像関数算出手段１２は、算出した写像関数を広帯域スペクトル生成手段１３に出力する。
　広帯域スペクトル生成手段１３は、周波数変換手段１１から狭帯域信号のスペクトルを取得し、また、写像関数算出手段１２から写像関数を取得する。次に、広帯域スペクトル生成手段１３は、取得したスペクトルと写像関数とを用いて狭帯域信号の帯域よりも広帯域のスペクトルを生成する。広帯域スペクトル生成手段１３の詳細については図２を用いて説明する。広帯域スペクトル生成手段１３は、生成した広帯域のスペクトルを周波数逆変換手段１４に出力する。
　図２は、広帯域スペクトル生成手段１３の主要機能構成例を示すブロック図である。図２に示すように、広帯域スペクトル生成手段１３は、高域スペクトル生成手段１３１、統合手段１３２を含む。
　高域スペクトル生成手段１３１は、写像関数算出手段１２から取得した写像関数に対して狭帯域よりも高域の周波数を入力することで、狭帯域のスペクトルよりも高域のスペクトルを生成する。
　統合手段１３２は、高域スペクトル生成手段１３１により生成された高域のスペクトルと狭帯域のスペクトルとを統合することで、広帯域のスペクトルを生成する。ここで、狭帯域信号を広帯域化する例について説明する。前提として、狭帯域信号のスペクトルが０～Ｔの帯域数の情報を持ち、これを２倍の０～２Ｔの帯域数に拡大する例について説明する。
　まず、狭帯域信号のスペクトルを、広帯域のスペクトルの狭帯域成分に設定する。
S_w[i] = S_n[i]    i= 0,...,T-1　　　（７）
　広帯域のスペクトルの高域成分に、写像関数を用いて生成したスペクトルを設定する。
S_w[i] = S_f[i]    i= T,...,2T-1　　　（８）
　ナイキスト周波数の成分は０とする。
S_w[2T] = 0   　　　　　　　　　　　　（９）
S_w[i]：i番目の周波数帯域の広帯域のスペクトル
S_n[i]：i番目の周波数帯域の狭帯域のスペクトル
S_f[i]：写像関数を適用して生成されたi番目の周波数帯域のスペクトル
　以上より、狭帯域のスペクトルの帯域数を例えば２倍にして広帯域のスペクトルを生成することができる。
　次に、図１に戻り、周波数逆変換手段１４は、広帯域スペクトル生成手段１３から広帯域のスペクトルを取得し、取得した広帯域のスペクトルに対して周波数時間変換（周波数逆変換）を行い時間領域の出力信号を算出する。
　ここで、図３に示す具体例を用いて高域のスペクトルを生成する例について説明する。図３は、高域のスペクトルを生成する処理の概念図である。図３に示すように、０～４ｋＨｚの狭帯域信号から４～８ｋＨｚの高域のスペクトルを生成する処理について説明する。
　図３に示す例において、まず、狭帯域信号のスペクトルの帯域（例えば０～４ｋＨｚ）から高域（例えば４～８ｋＨｚ）のスペクトルを生成するための写像関数を算出する。次に、高域（４～８ｋＨｚ）の周波数を写像関数に入力することで高域（４～８ｋＨｚ）のスペクトルを生成する。次に、狭帯域信号（０～４ｋＨｚ）のスペクトルと、生成した高域（４～８ｋＨｚ）のスペクトルとを統合して、広帯域（０～８ｋＨｚ）のスペクトルを生成することができる。
　ここで、高域のスペクトルを統合する際に、単に統合するだけでなく、以下のような平滑化処理を加えてもよい。この平滑化処理については図４を用いて説明する。図４は、平滑化処理の一例を示す図である。図４に示すように、狭帯域信号の高域の部分のスペクトルを写像関数で生成する（１点鎖線）。次に、もともとの狭帯域信号の高域のスペクトルが、生成されたスペクトル（１点鎖線）に徐々になるように変更することで、境界（４ｋＨｚ）を滑らかにつなぐようにしてもよい。
　具体的には、狭帯域信号の高域のスペクトルが、写像関数を用いて生成されたスペクトルに徐々になるよう重み係数を決定しておく。次に、この重み係数を用いて高域のスペクトルと生成されたスペクトルとの加重平均をとればよい。これにより、境界でスペクトルが不連続になることによる異音の発生を防止することができる。
　＜動作＞
　実施形態１にかかる音声帯域拡張装置１の処理について説明する。図５は、実施形態１にかかる音声帯域拡張処理の一例を示すフローチャートである。ステップＳ１１において、周波数変換手段１１は、時間領域の入力信号に対して周波数変換（時間周波数変換）を行い、周波数領域のスペクトルを算出する。
　次のステップＳ１２において、写像関数算出手段１２は、周波数変換手段１１により算出されたスペクトルを用いて、スペクトルの低域成分から高域成分を生成するための写像関数を算出する。具体的には前述した通りであり、写像関数となるモデルを与えて、そのパラメータを算出する。
　次のステップＳ１３において、広帯域スペクトル生成手段１３は、周波数変換手段１１により生成されたスペクトルと、写像関数算出手段１２により算出された写像関数とを用いて、狭帯域よりも広帯域のスペクトルを生成する。具体的には、まず、高域スペクトル生成手段１３１により、写像関数に狭帯域よりも高域の周波数を入力して高域のスペクトルを生成する。次に、統合手段１３２により、狭帯域のスペクトルと高域スペクトル生成手段１３１により生成された高域のスペクトルとを統合することで広帯域のスペクトルを生成する。
　次のステップＳ１４において、周波数逆変換手段１４は、広帯域スペクトル生成手段１３により生成された広帯域のスペクトルに対して周波数逆変換（周波数時間変換）を行い、時間領域の出力信号を算出する。
　以上、実施形態１によれば、狭帯域信号のスペクトルを用いて写像関数を算出し、算出した写像関数を用いて高域のスペクトルを生成して広帯域化することができる。よって、広帯域信号の高音質化を図ることができる。また、入力信号に適合した写像関数を求めることができ、入力信号のスペクトル特性に応じた高域のスペクトルを生成することができる。
　また、スペクトルの統合を行う際、平滑化処理を行うようにすれば、スペクトル統合の境界において不連続なスペクトルの発生を防止し、境界においても滑らかなスペクトルを生成することができる。
　［実施形態２］
　次に、実施形態２にかかる音声帯域拡張装置２について説明する。実施形態２では、算出した写像関数を評価することで、算出された高域のスペクトルの寄与度や採否を評価に基づいて決定することができる。
　＜機能構成＞
　図６は、実施形態２にかかる音声帯域拡張装置２の主要機能構成例を示すブロック図である。図６に示す機能において、図１に示す機能と同様の機能のものは同じ符号を付し、その説明を省略する。
　図６に示すように、音声帯域拡張装置２は、周波数変換手段１１、写像関数算出手段１２、写像関数評価手段２１、広帯域スペクトル生成手段２２、周波数逆変換１４を含む。以下、写像関数評価手段２１、広帯域スペクトル生成手段２２について説明する。
　写像関数評価手段２１は、写像関数算出手段１２により算出された写像関数の性能について評価を行う。例えば、以下のようにして評価値を算出することで写像関数の評価を行う。写像関数評価手段２１は、入力信号を周波数変換したスペクトルと、写像関数を適用して生成したスペクトルとの誤差Vを式（１０）により算出する。
Figure JPOXMLDOC01-appb-I000004
　また、写像関数評価手段２１は、式（１０）を用いて算出した誤差Ｖから評価値を求める。例えば、図７を用いて誤差から評価値を算出する。図７は、評価値と誤差との関係の一例を示す図である。
　図７に示すように、評価値は０以上１以下の値であり、また、評価値は誤差が大きくなるにつれて小さくなるような関数を予め設定しておく。また、関数の代わりに評価値と誤差との対応テーブルを設定してもよい。
　なお、図７に示す評価値と誤差との関係は一例を示すものであり、誤差が大きくなるにつれて評価値が小さくなる関係を満たせばよい。また、誤差が所定値以上大きくなった場合は評価値を０にするなどの条件を加えてもよい。また、誤差の逆数を評価値とする等してもよい。誤差を用いて算出された評価値は、写像関数と共に広帯域スペクトル生成手段２２に出力される。
　図６に戻り、広帯域スペクトル生成手段２２は、狭帯域信号のスペクトルと、写像関数と、評価値とを用いて広帯域化されたスペクトルを生成する。広帯域スペクトル生成手段２２の詳細については図８を用いて説明する。
　図８は、広帯域スペクトル生成手段２２の主要機能構成例を示すブロック図である。図８に示すように、広帯域スペクトル生成手段２２は、高域スペクトル生成手段１３１、スペクトル修正手段２２１、統合手段２２２を含む。図８に示す機能において、図２に示す機能と同様の機能のものは同じ符号を付し、その説明を省略する。
　スペクトル修正手段２２１は、高域スペクトル生成手段１３１により生成された高域のスペクトルに対し、写像関数評価手段２１により算出された評価値を用いて修正する。例えば、評価値を高域のスペクトルに乗算する式（１１）を用いて修正を行う。
S'w[i] = α × Sw[i]    (11)
Sw[i]：写像関数を適用して生成した高域のスペクトル
α：写像関数の評価値
S'w[i]：評価値を用いて修正した高域のスペクトル
　写像関数の評価値αは、前述した通り写像関数で生成したスペクトルと狭帯域のスペクトルとの誤差から評価値を算出する関数（又は対応テーブル等）により求める（図７参照）。
　次に、統合手段２２２は、基本的には図２で説明した統合手段１３２と同様である。異なるところは、統合する高域のスペクトルに、スペクトル修正手段２２１により修正された高域のスペクトルを用いるところである。これにより、評価値が小さい写像関数を用いて生成された高域のスペクトルは、統合後の広帯域のスペクトルにおいて影響を与えないようにすることができる。
　＜動作＞
　実施形態２にかかる音声帯域拡張装置２の処理について説明する。図９は、実施形態２にかかる音声帯域拡張処理の一例を示すフローチャートである。図９に示す処理において、図５に示す処理と同様の処理を行うものは同じ符号を付し、その説明を省略する。
　ステップＳ２１において、写像関数評価手段２１は、写像関数算出手段１２により算出された写像関数の性能について評価する。評価については前述した通り、狭帯域のスペクトルと写像関数を用いて生成されたスペクトルとの誤差を求め、この誤差から評価値を算出することで写像関数の評価を行う。
　次のステップＳ２２において、広帯域スペクトル生成手段２２は、まず、写像関数を適用することにより生成された高域のスペクトルに対して、写像関数評価手段２１により算出された評価値を用いて修正を加える。修正については前述した通り、評価値をスペクトルに乗算して修正を行う。次に、広帯域スペクトル生成手段２２は、狭帯域のスペクトルと、修正された高域のスペクトルとを統合して広帯域のスペクトルを生成する。このとき、実施形態１において説明した平滑化処理を加えてもよい。
　以上、実施形態２によれば、算出された写像関数の評価値を算出し、この評価値に基づいて、写像関数を用いて生成された高域のスペクトルを修正することができる。つまり、性能が悪い写像関数を用いて生成された高域のスペクトルは、統合後の広帯域のスペクトルにおいて影響を与えないようにすることができる。
　［実施形態３］
　次に、実施形態３にかかる音声帯域拡張装置３について説明する。実施形態３では、周波数変換後のスペクトルに対して音源信号、スペクトル包絡に分離するところが上記各実施形態とは異なる。
　＜機能構成＞
　図１０は、実施形態３にかかる音声帯域拡張装置３の主要機能構成例を示すブロック図である。図１０に示す機能において、図１に示す機能と同様の機能のものは同じ符号を付し、その説明を省略する。
　図１０に示すように、音声帯域拡張装置３は、周波数変換手段１１、音源・包絡分離手段３１、写像関数算出手段３２、広帯域スペクトル生成手段３３、周波数逆変換１４を含む。以下、音源・包絡分離手段３１、写像関数算出手段３２、広帯域スペクトル生成手段３３について説明する。
　音源・包絡分離手段３１は、周波数変換手段１１により算出されたスペクトルを音源信号とスペクトル包絡とに分離する。この分離処理は、線形予測分析やケプストラムリフタなどの技術により行われる。なお、分離された音源信号及び／又はスペクトル包絡を分離情報と呼ぶことにする。また、音源・包絡分離手段３１は、分離された分離情報を写像関数算出手段３２及び広帯域スペクトル生成手段３３に出力する。
　写像関数算出手段３２は、音源・包絡分離手段３１により分離された分離情報に対して、低域成分から高域成分を生成するための写像関数を算出する。ここで、写像関数を算出する分離情報として、音源信号及びスペクトル包絡、音源信号のみ、スペクトル包絡のみの３パターンがある。以下、これらを順に説明する。
　（音源信号及びスペクトル包絡の場合）
　写像関数算出手段３２は、音源信号及びスペクトル包絡それぞれに対して写像関数を算出する。音源信号の写像関数については、上記実施形態で説明したようにスペクトルに対する算出の仕方と同様であるため、ここでは説明を省略する。以下、スペクトル包絡に対する写像関数の算出について説明する。
　まず、スペクトル包絡の写像関数として、下記のモデル（１２）を与える。
Figure JPOXMLDOC01-appb-I000005
　ここで、スペクトル包絡のパワースペクトル推定値と、実際のスペクトル包絡のパワースペクトルz(xi)との誤差を式（１３）により算出する。
Figure JPOXMLDOC01-appb-I000006
　モデルのパラメータc，d，eは、狭帯域信号のスペクトル包絡のパワースペクトルz(xi)を用いて、式（１３）、（１４）、（１５）、（１６）より算出される。これより、モデルのパラメータc，d，eを算出することで、スペクトル包絡に対しての低域成分から高域成分への写像関数を算出することができる。なお、モデルについては一例を示したにすぎず、上記モデルに限定されるものではない。また、写像関数算出手段３２は、算出した音源信号及びスペクトル包絡それぞれの写像関数を広帯域スペクトル生成手段３３に出力する。
　（音源信号のみの場合）
　写像関数算出手段３２は、音源信号に対して低域成分から高域成分への写像関数を算出する。音源信号の写像関数については、上記実施形態で説明したようにスペクトルに対する算出の仕方と同様であるため、ここでは説明を省略する。また、写像関数算出手段３２は、算出した音源信号の写像関数を広帯域スペクトル生成手段３３に出力する。
　（スペクトル包絡のみの場合）
　写像関数算出手段３２は、スペクトル包絡に対して低域成分から高域成分への写像関数を算出する。スペクトル包絡の写像関数については、前述した通りモデルを与えて、そのパラメータを算出することで写像関数を算出することができる。また、写像関数算出手段３２は、算出したスペクトル包絡の写像関数を広帯域スペクトル生成手段３３に出力する。
　広帯域スペクトル生成手段３３は、音源・包絡分離手段３１により分離された分離情報と、写像関数算出手段３２により算出された写像関数とを用いて、狭帯域よりも広帯域の分離情報を生成する。次に、広帯域スペクトル生成手段３３は、生成した広帯域の分離情報に基づいて広帯域のスペクトルを生成する。ここで、広帯域スペクトル生成手段３３の詳細について図１１を用いて説明する。
　図１１は、広帯域スペクトル生成手段３３の主要機能構成例を示すブロック図である。図１１に示すように、広帯域スペクトル生成手段３３は、高域分離情報生成手段３３１、統合手段３３２、音源・包絡合成手段３３３を含む。
　高域分離情報生成手段３３１は、算出された写像関数と狭帯域よりも高域の周波数とを用いて、狭帯域よりも高域の分離情報を生成する。ここで、分離情報は前述した通り、音源信号及びスペクトル包絡、音源信号のみ、スペクトル包絡のみの３パターンあるので、それぞれの場合に場合分けして高域分離情報生成手段３３１の機能を説明する。
　（音源信号及びスペクトル包絡の場合）
　高域分離情報生成手段３３１は、写像関数算出手段３２により算出された音源信号、スペクトル包絡それぞれの写像関数に対して、狭帯域よりも高域の周波数を入力して高域の音源信号及びスペクトル包絡を生成する。次に、高域分離情報生成手段３３１は、生成した高域の音源信号及びスペクトル包絡を統合手段３３２に出力する。
　（音源信号のみの場合）
　高域分離情報生成手段３３１は、写像関数算出手段３２により算出された音源信号の写像関数に対して、狭帯域よりも高域の周波数を入力して高域の音源信号を生成する。また、高域分離情報生成手段３３１は、スペクトル包絡の写像関数は算出されていないため、従来技術と同様に、予め学習された写像関数を用いたり低域を繰り返したりするなどして高域のスペクトル包絡を生成する。次に、高域分離情報生成手段３３１は、生成した高域の音源信号及びスペクトル包絡を統合手段３３２に出力する。
　（スペクトル包絡のみの場合）
　高域分離情報生成手段３３１は、写像関数算出手段３２により算出されたスペクトル包絡の写像関数に対して、狭帯域よりも高域の周波数を入力して高域のスペクトル包絡を生成する。また、高域分離情報生成手段３３１は、音源信号の写像関数は算出されていないため、従来技術と同様に、予め学習された写像関数を用いたり低域を繰り返したりするなどして高域の音源信号を生成する。次に、高域分離情報生成手段３３１は、生成した高域の音源信号及びスペクトル包絡を統合手段３３２に出力する。
　統合手段３３２は、狭帯域の音源信号と、高域分離情報生成手段３３１により生成された高域の音源信号とを統合する。また、統合手段３３２は、狭帯域のスペクトル包絡と高域分離情報生成手段３３１により生成された高域のスペクトル包絡とを統合する。統合方法については実施形態１の統合手段１３２で前述した通りである。統合された音源信号及びスペクトル包絡は音源・包絡合成手段３３３に出力される。
　音源・包絡合成手段３３３は、統合されて広帯域化された音源信号及びスペクトル包絡を合成し、広帯域のスペクトルを生成する。具体的には、広帯域の音源信号のスペクトルと広帯域のスペクトル包絡のスペクトルとを用いて式（１７）により広帯域信号のスペクトルを算出する。
Sw[i] = SRw[i] × EVw[i]     (17)
Sw[i]：i番目の広帯域信号のスペクトル
SRw [i]：i番目の広帯域の音源信号のスペクトル
EVw [i]：i番目の広帯域のスペクトル包絡のスペクトル
　なお、ここでは統合手段３３２、音源・包絡合成手段３３３の順に処理する例について説明したが、先に音源・包絡合成手段３３３により合成を行い、次に、統合手段３３２により統合を行うように構成してもよい。この場合、まず、音源・包絡合成手段３３３は、狭帯域の音源信号及びスペクトル包絡を合成する。また、音源・包絡分離手段３３は、高域分離情報生成手段３３１により生成された高域の音源信号及びスペクトル包絡を合成する。次に、統合手段３３２は、合成後における狭帯域のスペクトルと高域のスペクトルとを統合すればよい。また、統合手段３３３により統合を行う際に、前述した平滑化処理を行うようにしてもよい。
　ここで、図１２Ａ～図１２Ｃ及び図１３を用いて、分離情報が音源信号及びスペクトル包絡の場合についての統合、合成処理について具体的に説明する。
　図１２Ａは、狭帯域信号のパワースペクトルを示す図である。この狭帯域信号のパワースペクトルを音源信号とスペクトル包絡とに分離したことを図１２Ｂ、図１２Ｃにそれぞれ示す。
　図１２Ｂは、音源信号を広帯域化する例を示す図である。図１２Ｂに示すように、０～４ｋＨｚの音源信号を用いて低域成分から高域成分を生成するための写像関数が算出され、算出された写像関数を用いて４～８ｋＨｚの音源信号が生成される。生成された音源信号は、狭帯域の音源信号と統合され、広帯域化された音源信号Ａとなる。
　図１２Ｃは、スペクトル包絡を広帯域化する例を示す図である。図１２Ｃに示すように、０～４ｋＨｚのスペクトル包絡を用いて低域成分から高域成分を生成するための写像関数が算出され、算出された写像関数を用いて４～８ｋＨｚのスペクトル包絡が生成される。生成されたスペクトル包絡は、狭帯域のスペクトル包絡と統合され、広帯域化されたスペクトル包絡Ｂとなる。
　図１３は、音源信号とスペクトル包絡との合成処理の一例を示す図である。図１３に示すように、図１２Ｂ、図１２Ｃにそれぞれ示す音源信号Ａとスペクトル包絡Ｂとを合成することにより、広帯域化されたスペクトルが生成される。これより、音源・包絡分離手段３１を備える構成であっても、入力信号のスペクトルに基づいて写像関数を算出することができ、現入力信号に適した高域のスペクトルを生成することができる。
　＜動作＞
　実施形態３にかかる音声帯域拡張装置３の処理について説明する。図１４は、実施形態３にかかる音声帯域拡張処理の一例を示すフローチャートである。図１４に示す処理において、図５に示す処理と同様の処理を行うものは同じ符号を付し、その説明を省略する。
　ステップＳ３１において、音源・包絡分離手段３１は、周波数変換後のスペクトルを、音源信号とスペクトル包絡とに分離する。
　次のステップＳ３２において、写像関数算出手段３２は、音源・包絡分離手段３１により分離された分離情報を用いて低域成分から高域成分を生成するための写像関数を算出する。具体的には前述した通りであり、写像関数となるモデルを与えて、そのパラメータをに算出する。なお、写像関数を算出するパターンとしては、音源信号及びスペクトル包絡の写像関数、音源信号のみの写像関数、スペクトル包絡のみの写像関数の３パターンがある。
　次のステップＳ３３において、広帯域スペクトル生成手段３３は、まず、写像関数算出手段３２により算出された写像関数を用いて、狭帯域よりも高域の分離情報を生成する。このとき、音源信号及びスペクトル包絡に写像関数が算出されていた場合は、それぞれの写像関数を用いて高域の音源信号及びスペクトル包絡を生成する。また、音源信号のみに写像関数が算出されていた場合は、音源信号の写像関数を用いて高域の音源信号を生成する。スペクトル包絡については、従来技術を用いて高域のスペクトル包絡を生成する。また、スペクトル包絡のみに写像関数が算出されていた場合は、スペクトル包絡の写像関数を用いて高域のスペクトル包絡を生成する。音源信号については、従来技術を用いて高域の音源信号を生成する。
　次に、広帯域スペクトル生成手段３３は、生成された高域の音源信号、スペクトル包絡をそれぞれ、狭帯域の音源信号、スペクトル包絡に統合する。次に、統合された音源信号及びスペクトル包絡を合成することで、広帯域化されたスペクトルを生成する。このとき、実施形態１において説明した平滑化処理を加えてもよい。
　以上、実施形態３によれば、狭帯域信号のスペクトルから音源信号、スペクトル包絡に分離し、分離した分離情報を用いて低域成分から高域成分を生成するための写像関数を算出することができる。また、算出した写像関数を用いて高域のスペクトルを生成して広帯域化することにより、広帯域信号の高音質化を図ることができる。また、入力信号に適合した写像関数を求めることができ、入力信号のスペクトル特性に応じた高域のスペクトルを生成することができる。
　［実施形態４］
　次に、実施形態４にかかる音声帯域拡張装置４について説明する。実施形態４では、分離情報に基づいて算出された写像関数を評価することで、算出された高域のスペクトルの寄与度や採否を評価に基づいて決定することができる。
　＜機能構成＞
　図１５は、実施形態４にかかる音声帯域拡張装置４の主要機能構成例を示すブロック図である。図１５に示す機能において、図１及び図１０に示す機能と同様の機能のものは同じ符号を付し、その説明を省略する。
　図１５に示すように、音声帯域拡張装置４は、周波数変換手段１１、音源・包絡分離手段３１、写像関数算出手段３２、写像関数評価手段４１、広帯域スペクトル生成手段４２、周波数逆変換１４を含む。以下、写像関数評価手段４１、広帯域スペクトル生成手段４２について説明する。
　写像関数評価手段４１は、写像関数算出手段３２により算出された写像関数の性能の評価を行う。評価の仕方は実施形態２の写像関数評価手段２１と同様に行う。つまり、音源信号のみに対して写像関数が算出されていれば、音源信号の写像関数を用いて生成された音源信号と、狭帯域の音源信号との誤差を算出し、誤差から評価値を求めることで写像関数の評価を行う。
　この評価は、スペクトル包絡のみの写像関数が算出されている場合、音源信号、スペクトル包絡それぞれの写像関数が算出されている場合も同様に行われる。
　広帯域スペクトル生成手段４２は、写像関数評価手段４１から取得した評価値と写像関数、及び、音源・包絡分離手段３１から取得した狭帯域の音源信号及びスペクトル包絡を用いて広帯域のスペクトルを生成する。ここで、広帯域スペクトル生成手段４２の詳細について図１６を用いて説明する。
　図１６は、広帯域スペクトル生成手段４２の主要機能構成例を示すブロック図である。図１６に示す機能において、図１１に示す機能と同様の機能のものは同じ符号を付し、その説明を省略する。図１６に示すように、広帯域スペクトル生成手段４２は、高域分離情報生成手段３３１、高域分離情報修正手段４２１、統合手段４２２、音源・包絡合成手段４２３を含む。
　高域分離情報修正手段４２１は、高域分離情報生成手段３３１により生成された狭帯域よりも高域の分離情報に対して、写像関数の評価値を用いて修正を加える。ここで、分離情報は前述した通り、音源信号及びスペクトル包絡、音源信号のみ、スペクトル包絡のみの３パターンあるので、それぞれの場合に場合分けして高域分離情報修正手段４２１の機能を説明する。
　（音源信号及びスペクトル包絡の場合）
　高域分離情報修正手段４２１は、高域分離情報生成手段３３１により生成された高域の音源信号、スペクトル包絡を、それぞれの写像関数の評価値を用いて修正する。まず、音源信号の修正について説明する。
　音源信号の写像関数を用いて生成された高域の音源信号に対し、音源信号の写像関数の評価値を用いて式（１８）により修正を加える。
SR'w[i] = β　×　SRw[i]    (18)
SRw[i]：音源信号の写像関数を適用して生成した高域の音源信号
SR'w[i]：評価値を用いて修正した高域の音源信号
β：音源信号の写像関数の評価値
　写像関数の評価値βは、写像関数で算出した音源信号と狭帯域信号の音源信号との誤差から評価値を算出する関数（又は対応テーブル）により求める。
　次に、スペクトル包絡の修正について説明する。スペクトル包絡の写像関数を適用して生成した高域のスペクトル包絡に対し、スペクトル包絡の写像関数の評価値を用いて式（１９）により修正を加える。
SE'w[i] = γ　×　SEw[i]    (1９)
SEw[i]：スペクトル包絡の写像関数を適用して生成した高域のスペクトル包絡
SE'w[i]：評価値を用いて修正した高域のスペクトル包絡
γ：スペクトル包絡の写像関数の評価値
　写像関数の評価値γは、前述した通り写像関数を用いて生成されたスペクトル包絡と狭帯域信号のスペクトル包絡との誤差から評価値を算出する関数（又は対応テーブル）により求める。
　これより、音源信号及びスペクトル包絡それぞれの評価値を用いて修正した高域の音源信号及びスペクトル包絡を生成することができる。次に、高域分離情報修正手段３３１は、修正した高域の音源信号、スペクトル包絡を統合手段４２２に出力する。
　（音源信号のみの場合）
　高域分離情報修正手段４２１は、高域分離情報生成手段３３１により生成された音源信号を、音源信号の写像関数の評価値を用いて修正する。修正の仕方は前述した通りである。ここで、スペクトル包絡の写像関数は算出されていないので、高域のスペクトル包絡については修正しない。次に、高域分離情報生成手段３３１は、修正した高域の音源信号、修正していない高域のスペクトル包絡を統合手段３３２に出力する。
　（スペクトル包絡のみの場合）
　高域分離情報修正手段４２１は、高域分離情報生成手段３３１により生成されたスペクトル包絡を、スペクトル包絡の写像関数の評価値を用いて修正する。修正の仕方は前述した通りである。ここで、音源信号の写像関数は算出されていないので、高域の音源信号については修正しない。次に、高域分離情報生成手段３３１は、修正した高域のスペクトル包絡、修正していない高域の音源信号を統合手段３３２に出力する。
　統合手段４２２は、狭帯域の音源信号と、高域分離情報修正手段４２１により出力された高域の音源信号とを統合する。また、統合手段３３２は、狭帯域のスペクトル包絡と高域分離情報修正手段４２１により出力された高域のスペクトル包絡とを統合する。統合方法については実施形態１の統合手段１３２で前述した通りである。統合された音源信号及びスペクトル包絡は音源・包絡合成手段４２３に出力される。
　音源・包絡合成手段４２３は、統合されて広帯域化された音源信号及びスペクトル包絡を合成し、広帯域のスペクトルを生成する。
　なお、ここでは統合手段４２２、音源・包絡合成手段４２３の順に処理する例について説明したが、先に音源・包絡合成手段４２３により合成を行い、次に、統合手段４２２により統合を行うように構成してもよい。この場合、まず、音源・包絡合成手段４２３は、狭帯域の音源信号及びスペクトル包絡を合成する。また、音源・包絡合成手段４２３は、高域分離情報修正手段４２１により出力された高域の音源信号及びスペクトル包絡を合成する。次に、統合手段４２２は、合成後における狭帯域のスペクトルと高域のスペクトルとを統合すればよい。
　また、統合手段４２３により統合を行う際に、前述した平滑化処理を行うようにしてもよい。以上より、分離情報を用いて算出された写像関数を評価することで、算出された高域のスペクトルの寄与度や採否を評価に基づいて決定することができる。
　＜動作＞
　実施形態４にかかる音声帯域拡張装置４の処理について説明する。図１７は、実施形態４にかかる音声帯域拡張処理の一例を示すフローチャートである。図１７に示す処理において、図５及び図１４に示す処理と同様の処理を行うものは同じ符号を付し、その説明を省略する。
　ステップＳ４１において、写像関数評価手段４１は、写像関数算出手段３２により算出された写像関数の性能を評価する。評価については、前述した通り写像関数の評価値を算出することで評価とする。
　次のステップＳ４２において、広帯域スペクトル生成手段４２は、まず、写像関数算出手段３２により算出された写像関数を用いて、狭帯域よりも高域の分離情報を生成する。このとき、音源信号及びスペクトル包絡に写像関数が算出された場合は、それぞれの写像関数を用いて高域の音源信号及びスペクトル包絡を生成する。また、音源信号のみに写像関数が算出された場合は、音源信号の写像関数を用いて高域の音源信号を生成する。スペクトル包絡については、従来技術を用いて高域のスペクトル包絡を生成する。また、スペクトル包絡のみに写像関数が算出された場合は、スペクトル包絡の写像関数を用いて高域のスペクトル包絡を生成する。音源信号については、従来技術を用いて高域の音源信号を生成する。
　次に、広帯域スペクトル生成手段４２は、写像関数算出手段３２により算出された写像関数を用いて生成された音源信号及び／又はスペクトル包絡に対し、写像関数の評価値を用いて修正を加える。従来技術を適用して生成された音源信号又はスペクトル包絡がある場合、この音源信号又はスペクトル包絡については修正を加えない。
　次に、広帯域スペクトル生成手段４２は、高域の音源信号、スペクトル包絡をそれぞれ、狭帯域の音源信号、スペクトル包絡に統合する。また、広帯域スペクトル生成手段４２は、統合された音源信号及びスペクトル包絡を合成することで、広帯域化されたスペクトルを生成する。このとき、実施形態１において説明した平滑化処理を加えてもよい。
　以上、実施形態４によれば、スペクトルを音源信号、スペクトル包絡に分離する場合、分離情報に基づいて算出された写像関数を評価することができる。また、生成された高域のスペクトルの寄与度や採否を評価に基づいて決定することができる。
　［変形例］
　前述した各実施形態における変形例について説明する。各実施形態では、写像関数に関してモデルを与えてそのパラメータを算出することで写像関数を算出することにしていたが、ここでは、線形予測係数を算出する。以下、線形予測係数の求め方について説明する。
　式（２０）のAは狭帯域信号のスペクトルを並べた行列、bは行列Aの第一行よりも周波数のインデックスがq大きいスペクトルを並べた列ベクトルである。線形予測係数pは、Aの逆行列を算出し、式（２３）により算出できる。Aの逆行列は、一般化逆行列など既知の方法によって求める。
　線形予測係数pは、狭帯域信号の低域のスペクトルを入力とし、それよりもqだけ高域のスペクトルを予測する係数となっている。
Ap=b　　　　（20）
A：m×oの行列（狭帯域信号のスペクトルを並べた行列）
p：線形予測係数（m次元列ベクトル）
b：行列Aの第一行よりも周波数のインデックスがq大きいスペクトルを並べた列ベクトル（o次元列ベクトル）
Figure JPOXMLDOC01-appb-I000007
st：周波数のインデックスがtのスペクトル
Figure JPOXMLDOC01-appb-I000008
　次に、算出した線形予測係数を用いて高域のスペクトルを算出する例について説明する。入力信号（狭帯域信号）のスペクトルよりも高域のスペクトルは、式（２４）の行列A'に線形予測係数を乗算することで生成される。
A'p=b'     （24）
A'：m×oの行列（狭帯域信号のスペクトルを並べた行列）
p：線形予測係数（m次元列ベクトル）
b'：高域のスペクトル（o次元列ベクトル）
　式（２４）より、行列Ａ'の第一行よりも周波数のインデックスがq大きいスペクトルが算出される。線形予測係数を用いて生成した高域のスペクトルは次の通りである。
　線形予測係数で算出できる範囲(t～t-o+2q)は、算出結果(b')を設定し、算出できない範囲(t -o+2q～2T-1)は0とする。
S_f[t-o+1+q+i]　= b'[i]    i=0,,,,q-1　　　　（25）
S_f[t-o+2q+i]　= 0    i=0,,,,2T-1-t+o-2q　　（26）
S_f[i]：線形予測係数を用いて生成したi番目のスペクトル
t：線形予測係数を適用する狭帯域スペクトルの最大周波数のインデックス
　狭帯域信号のスペクトルと、狭帯域よりも高域のスペクトルとの統合は、各実施形態で説明した統合と同様に行えばよい。また、スペクトルの線形予測係数を算出する例について説明したが、音源信号、スペクトル包絡の線形予測係数についても同様にして算出することができる。
　これより、線形予測係数を算出して高域のスペクトルを生成する方が、モデルを与えてそのパラメータを算出するよりも、モデルを与える必要がないため、入力信号のスペクトル特性に柔軟に対応して高域のスペクトルを生成することができる。
　また、前述した各実施形態で説明した音声帯域拡張処理内容をコンピュータに実行させるためのプログラムとし、このプログラムをサーバ等からインストールして、コンピュータに実行させることにより前述した音声帯域拡張処理を実現させることも可能である。
　また、このプログラムを記録媒体（ＣＤ－ＲＯＭやＳＤカード等）に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末に読み取らせて、前述した音声帯域拡張処理を実現させることも可能である。なお、記録媒体は、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、開示の音声帯域拡張装置は、携帯端末やＩＰ電話機などの機器に対して適用することができる。
　以上、実施形態について詳述したが、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。

Claims (9)

  1. 　入力信号を周波数変換してスペクトルを算出する周波数変換手段と、
    　前記スペクトルを用いて、前記スペクトルの低域成分から高域成分を生成するための写像関数を算出する写像関数算出手段と、
    　前記写像関数に基づいて前記スペクトルの帯域よりも高域のスペクトルを生成し、生成した前記高域のスペクトルと前記周波数変換手段により算出されたスペクトルとを統合することにより、前記周波数変換手段により算出されたスペクトルの帯域よりも広帯域のスペクトルを生成する広帯域スペクトル生成手段と、
    　前記広帯域のスペクトルを周波数逆変換して出力信号を算出する周波数逆変換手段と
    　を備える音声帯域拡張装置。
  2. 　前記写像関数に基づいて生成されたスペクトルと、前記周波数変換手段により算出されたスペクトルとの誤差を用いて写像関数の評価値を算出する評価手段とを更に備え、
    　前記広帯域スペクトル生成手段は、
    　前記評価値を用いて前記高域のスペクトルを修正する請求項１記載の音声帯域拡張装置。
  3. 　前記周波数変換手段により算出されたスペクトルを音源信号とスペクトル包絡とに分離する分離手段とを更に備え、
    　前記写像関数算出手段は、
    　前記分離手段により分離された分離情報を用いて、前記分離情報の低域成分から高域成分を生成するための写像関数を算出し、
    　前記広帯域スペクトル生成手段は、
    　前記写像関数に基づいて前記スペクトルの帯域よりも高域の分離情報を生成し、生成した前記高域の分離情報と前記分離手段により分離された分離情報とを統合し、統合した分離情報に基づいて前記広帯域のスペクトルを生成する請求項１記載の音声帯域拡張装置。
  4. 　前記写像関数に基づいて生成された分離情報と、前記分離手段により分離された分離情報との誤差を用いて写像関数の評価値を算出する評価値算出手段とを更に備え、
    　前記広帯域スペクトル生成手段は、
    　前記評価値を用いて前記高域の分離情報を修正する請求項３記載の音声帯域拡張装置。
  5. 　前記分離情報は、前記音源信号及び／又は前記スペクトル包絡である請求項３記載の音声帯域拡張装置。
  6. 　前記写像関数は、線形予測係数を算出する関数である請求項１乃至５いずれか１項に記載の音声帯域拡張装置。
  7. 　前記広帯域スペクトル生成手段は、
    　前記写像関数と前記スペクトルの帯域よりも高域の周波数とを用いて、前記スペクトルの帯域よりも高域のスペクトルを生成する高域スペクトル生成手段と、
    　前記高域のスペクトルと前記周波数変換手段により算出されたスペクトルとを統合する統合手段とを備える請求項１記載の音声帯域拡張装置。
  8. 　前記統合手段は、
    　前記周波数変換手段により算出されたスペクトルの高域成分が、前記写像関数を用いて生成したスペクトルに徐々になるよう平滑化処理を行う請求項７記載の音声帯域拡張装置。
  9. 　入力信号を周波数変換してスペクトルを算出する周波数変換段階と、
    　前記スペクトルを用いて前記スペクトルの低域成分から高域成分を生成するための写像関数を算出する写像関数算出段階と、
    　前記写像関数に基づいて前記スペクトルの帯域よりも高域のスペクトルを生成し、生成した前記高域のスペクトルと前記周波数変換段階により算出されたスペクトルとを統合することにより、前記周波数変換段階により算出されたスペクトルの帯域よりも広帯域のスペクトルを生成する広帯域スペクトル生成段階と、
    　前記広帯域のスペクトルを周波数逆変換して出力信号を算出する周波数逆変換段階と
    　を有する音声帯域拡張方法。
PCT/JP2008/073236 2008-12-19 2008-12-19 音声帯域拡張装置及び音声帯域拡張方法 WO2010070770A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP08878936A EP2360687A4 (en) 2008-12-19 2008-12-19 VOICE BAND EXTENSION DEVICE AND VOICE BAND EXTENSION METHOD
JP2010542801A JP5423684B2 (ja) 2008-12-19 2008-12-19 音声帯域拡張装置及び音声帯域拡張方法
PCT/JP2008/073236 WO2010070770A1 (ja) 2008-12-19 2008-12-19 音声帯域拡張装置及び音声帯域拡張方法
US13/067,120 US8781823B2 (en) 2008-12-19 2011-05-10 Voice band enhancement apparatus and voice band enhancement method that generate wide-band spectrum

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/073236 WO2010070770A1 (ja) 2008-12-19 2008-12-19 音声帯域拡張装置及び音声帯域拡張方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/067,120 Continuation US8781823B2 (en) 2008-12-19 2011-05-10 Voice band enhancement apparatus and voice band enhancement method that generate wide-band spectrum

Publications (1)

Publication Number Publication Date
WO2010070770A1 true WO2010070770A1 (ja) 2010-06-24

Family

ID=42268458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/073236 WO2010070770A1 (ja) 2008-12-19 2008-12-19 音声帯域拡張装置及び音声帯域拡張方法

Country Status (4)

Country Link
US (1) US8781823B2 (ja)
EP (1) EP2360687A4 (ja)
JP (1) JP5423684B2 (ja)
WO (1) WO2010070770A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014107950A1 (zh) * 2013-01-11 2014-07-17 华为技术有限公司 音频信号编码和解码方法、音频信号编码和解码装置
JP2015206958A (ja) * 2014-04-23 2015-11-19 山本　裕 音声信号処理装置
WO2015196835A1 (zh) * 2014-06-26 2015-12-30 华为技术有限公司 编解码方法、装置及系统
JP2016525713A (ja) * 2013-07-22 2016-08-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 符号化オーディオ信号の復号装置、方法およびコンピュータプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8468093B2 (en) 2004-03-25 2013-06-18 International Business Machines Corporation Method and system for performing a commercial transaction by using a short message service terminal
JP5772723B2 (ja) * 2012-05-31 2015-09-02 ヤマハ株式会社 音響処理装置および分離マスク生成装置
US10043535B2 (en) * 2013-01-15 2018-08-07 Staton Techiya, Llc Method and device for spectral expansion for an audio signal
US10045135B2 (en) 2013-10-24 2018-08-07 Staton Techiya, Llc Method and device for recognition and arbitration of an input connection
US10043534B2 (en) 2013-12-23 2018-08-07 Staton Techiya, Llc Method and device for spectral expansion for an audio signal
KR20180056032A (ko) 2016-11-18 2018-05-28 삼성전자주식회사 신호 처리 프로세서 및 신호 처리 프로세서의 제어 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08130494A (ja) * 1994-10-28 1996-05-21 Fujitsu Ltd 音声信号処理システム
JPH0955778A (ja) 1995-08-15 1997-02-25 Fujitsu Ltd 音声信号の広帯域化装置
JPH09101798A (ja) 1995-10-05 1997-04-15 Matsushita Electric Ind Co Ltd 音声帯域拡大方法および音声帯域拡大装置
JP2001100773A (ja) * 1999-09-29 2001-04-13 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2004198485A (ja) * 2002-12-16 2004-07-15 Victor Co Of Japan Ltd 音響符号化信号復号化装置及び音響符号化信号復号化プログラム
JP2005321826A (ja) * 2005-06-22 2005-11-17 Mitsubishi Electric Corp 広帯域音声復元方法及び広帯域音声復元装置
JP2007310296A (ja) * 2006-05-22 2007-11-29 Oki Electric Ind Co Ltd 帯域拡張装置及び方法
JP2008139844A (ja) * 2006-11-09 2008-06-19 Sony Corp 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0732687B2 (en) 1995-03-13 2005-10-12 Matsushita Electric Industrial Co., Ltd. Apparatus for expanding speech bandwidth
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP3696091B2 (ja) * 1999-05-14 2005-09-14 松下電器産業株式会社 オーディオ信号の帯域を拡張するための方法及び装置
US6978236B1 (en) * 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
KR20010101422A (ko) * 1999-11-10 2001-11-14 요트.게.아. 롤페즈 매핑 매트릭스에 의한 광대역 음성 합성
US6625226B1 (en) * 1999-12-03 2003-09-23 Allen Gersho Variable bit rate coder, and associated method, for a communication station operable in a communication system
JP2002169597A (ja) * 2000-09-05 2002-06-14 Victor Co Of Japan Ltd 音声信号処理装置、音声信号処理方法、音声信号処理のプログラム、及び、そのプログラムを記録した記録媒体
SE0004163D0 (sv) * 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
CN1235192C (zh) * 2001-06-28 2006-01-04 皇家菲利浦电子有限公司 传输系统以及用于接收窄带音频信号的接收机和方法
DE60202881T2 (de) * 2001-11-29 2006-01-19 Coding Technologies Ab Wiederherstellung von hochfrequenzkomponenten
DE60303689T2 (de) * 2002-09-19 2006-10-19 Matsushita Electric Industrial Co., Ltd., Kadoma Audiodecodierungsvorrichtung und -verfahren
US7318035B2 (en) * 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
EP1638083B1 (en) * 2004-09-17 2009-04-22 Harman Becker Automotive Systems GmbH Bandwidth extension of bandlimited audio signals
US7983904B2 (en) * 2004-11-05 2011-07-19 Panasonic Corporation Scalable decoding apparatus and scalable encoding apparatus
EP2752849B1 (en) * 2004-11-05 2020-06-03 Panasonic Intellectual Property Management Co., Ltd. Encoder and encoding method
US8229749B2 (en) * 2004-12-10 2012-07-24 Panasonic Corporation Wide-band encoding device, wide-band LSP prediction device, band scalable encoding device, wide-band encoding method
KR100707186B1 (ko) * 2005-03-24 2007-04-13 삼성전자주식회사 오디오 부호화 및 복호화 장치와 그 방법 및 기록 매체
WO2006103488A1 (en) * 2005-03-30 2006-10-05 Nokia Corporation Source coding and/or decoding
WO2006107833A1 (en) * 2005-04-01 2006-10-12 Qualcomm Incorporated Method and apparatus for vector quantizing of a spectral envelope representation
KR100813259B1 (ko) * 2005-07-13 2008-03-13 삼성전자주식회사 입력신호의 계층적 부호화/복호화 장치 및 방법
DE102005032724B4 (de) * 2005-07-13 2009-10-08 Siemens Ag Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
BRPI0616624A2 (pt) * 2005-09-30 2011-06-28 Matsushita Electric Ind Co Ltd aparelho de codificação de fala e método de codificação de fala
JP5055759B2 (ja) * 2005-12-16 2012-10-24 沖電気工業株式会社 帯域変換信号生成器及び帯域拡張装置
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
US20080300866A1 (en) * 2006-05-31 2008-12-04 Motorola, Inc. Method and system for creation and use of a wideband vocoder database for bandwidth extension of voice
US20080109215A1 (en) * 2006-06-26 2008-05-08 Chi-Min Liu High frequency reconstruction by linear extrapolation
US8135047B2 (en) * 2006-07-31 2012-03-13 Qualcomm Incorporated Systems and methods for including an identifier with a packet associated with a speech signal
US8295507B2 (en) 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
US8229106B2 (en) * 2007-01-22 2012-07-24 D.S.P. Group, Ltd. Apparatus and methods for enhancement of speech
KR100905585B1 (ko) * 2007-03-02 2009-07-02 삼성전자주식회사 음성신호의 대역폭 확장 제어 방법 및 장치
US8116486B2 (en) * 2008-03-04 2012-02-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Mixing of input data streams and generation of an output data stream therefrom
US8463599B2 (en) * 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
JP4892021B2 (ja) * 2009-02-26 2012-03-07 株式会社東芝 信号帯域拡張装置
JP5126145B2 (ja) * 2009-03-30 2013-01-23 沖電気工業株式会社 帯域拡張装置、方法及びプログラム、並びに、電話端末
US8560330B2 (en) * 2010-07-19 2013-10-15 Futurewei Technologies, Inc. Energy envelope perceptual correction for high band coding

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08130494A (ja) * 1994-10-28 1996-05-21 Fujitsu Ltd 音声信号処理システム
JPH0955778A (ja) 1995-08-15 1997-02-25 Fujitsu Ltd 音声信号の広帯域化装置
JPH09101798A (ja) 1995-10-05 1997-04-15 Matsushita Electric Ind Co Ltd 音声帯域拡大方法および音声帯域拡大装置
JP2001100773A (ja) * 1999-09-29 2001-04-13 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2004198485A (ja) * 2002-12-16 2004-07-15 Victor Co Of Japan Ltd 音響符号化信号復号化装置及び音響符号化信号復号化プログラム
JP2005321826A (ja) * 2005-06-22 2005-11-17 Mitsubishi Electric Corp 広帯域音声復元方法及び広帯域音声復元装置
JP2007310296A (ja) * 2006-05-22 2007-11-29 Oki Electric Ind Co Ltd 帯域拡張装置及び方法
JP2008139844A (ja) * 2006-11-09 2008-06-19 Sony Corp 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805736B2 (en) 2013-01-11 2017-10-31 Huawei Technologies Co., Ltd. Audio signal encoding and decoding method, and audio signal encoding and decoding apparatus
US10373629B2 (en) 2013-01-11 2019-08-06 Huawei Technologies Co., Ltd. Audio signal encoding and decoding method, and audio signal encoding and decoding apparatus
WO2014107950A1 (zh) * 2013-01-11 2014-07-17 华为技术有限公司 音频信号编码和解码方法、音频信号编码和解码装置
US10134404B2 (en) 2013-07-22 2018-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework
US10002621B2 (en) 2013-07-22 2018-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency
US10515652B2 (en) 2013-07-22 2019-12-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency
JP2016525713A (ja) * 2013-07-22 2016-08-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 符号化オーディオ信号の復号装置、方法およびコンピュータプログラム
US10573334B2 (en) 2013-07-22 2020-02-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain
US11922956B2 (en) 2013-07-22 2024-03-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain
US10147430B2 (en) 2013-07-22 2018-12-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
US10276183B2 (en) 2013-07-22 2019-04-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
US10311892B2 (en) 2013-07-22 2019-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding audio signal with intelligent gap filling in the spectral domain
US10332539B2 (en) 2013-07-22 2019-06-25 Fraunhofer-Gesellscheaft zur Foerderung der angewanften Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
US10332531B2 (en) 2013-07-22 2019-06-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
US10593345B2 (en) 2013-07-22 2020-03-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for decoding an encoded audio signal with frequency tile adaption
US10347274B2 (en) 2013-07-22 2019-07-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
US11769512B2 (en) 2013-07-22 2023-09-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
US11769513B2 (en) 2013-07-22 2023-09-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
JP2016527557A (ja) * 2013-07-22 2016-09-08 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 符号化オーディオ信号の復号装置、方法およびコンピュータプログラム
US11735192B2 (en) 2013-07-22 2023-08-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework
US11289104B2 (en) 2013-07-22 2022-03-29 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain
US10847167B2 (en) 2013-07-22 2020-11-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework
US10984805B2 (en) 2013-07-22 2021-04-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
US11049506B2 (en) 2013-07-22 2021-06-29 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
US11222643B2 (en) 2013-07-22 2022-01-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for decoding an encoded audio signal with frequency tile adaption
US11250862B2 (en) 2013-07-22 2022-02-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
US11257505B2 (en) 2013-07-22 2022-02-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework
JP2015206958A (ja) * 2014-04-23 2015-11-19 山本　裕 音声信号処理装置
US10614822B2 (en) 2014-06-26 2020-04-07 Huawei Technologies Co., Ltd. Coding/decoding method, apparatus, and system for audio signal
US10339945B2 (en) 2014-06-26 2019-07-02 Huawei Technologies Co., Ltd. Coding/decoding method, apparatus, and system for audio signal
US9779747B2 (en) 2014-06-26 2017-10-03 Huawei Technologies Co., Ltd. Coding/decoding method, apparatus, and system for audio signal
WO2015196835A1 (zh) * 2014-06-26 2015-12-30 华为技术有限公司 编解码方法、装置及系统

Also Published As

Publication number Publication date
US20110282655A1 (en) 2011-11-17
US8781823B2 (en) 2014-07-15
EP2360687A1 (en) 2011-08-24
JPWO2010070770A1 (ja) 2012-05-24
JP5423684B2 (ja) 2014-02-19
EP2360687A4 (en) 2012-07-11

Similar Documents

Publication Publication Date Title
JP5423684B2 (ja) 音声帯域拡張装置及び音声帯域拡張方法
US20200349911A1 (en) Efficient Combined Harmonic Transposition
JP3189614B2 (ja) 音声帯域拡大装置
US8271292B2 (en) Signal bandwidth expanding apparatus
WO2010024371A1 (ja) 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
US20070185705A1 (en) Speech signal separation apparatus and method
US7957964B2 (en) Apparatus and methods for noise suppression in sound signals
US7406303B2 (en) Multi-sensory speech enhancement using synthesized sensor signal
EP0657873B1 (en) Speech signal bandwidth compression and expansion apparatus, and bandwidth compressing speech signal transmission method, and reproducing method
US9026435B2 (en) Method for estimating a fundamental frequency of a speech signal
WO2011121782A1 (ja) 帯域拡張装置および帯域拡張方法
TW201140563A (en) Determining an upperband signal from a narrowband signal
JP2010055000A (ja) 信号帯域拡張装置
US20140078867A1 (en) Sound direction estimation device, sound direction estimation method, and sound direction estimation program
JP5148414B2 (ja) 信号帯域拡張装置
US20050267739A1 (en) Neuroevolution based artificial bandwidth expansion of telephone band speech
JP2002268698A (ja) 音声認識装置と標準パターン作成装置及び方法並びにプログラム
JP2012208177A (ja) 帯域拡張装置及び音声補正装置
US8588346B2 (en) Doppler frequency estimation system and method
JP2012028874A (ja) 再生周波数分析装置及びそのプログラム
AU2021200726B2 (en) Efficient combined harmonic transposition
US11935508B2 (en) Efficient combined harmonic transposition
AU2024200328A1 (en) : Efficient combined harmonic transposition
JP2021135462A (ja) ソースイメージ推定装置、ソースイメージ推定方法及びソースイメージ推定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08878936

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010542801

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2008878936

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2008878936

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE