WO2007141923A1 - ゲイン制御システム、ゲイン制御方法及びゲイン制御プログラム - Google Patents

ゲイン制御システム、ゲイン制御方法及びゲイン制御プログラム Download PDF

Info

Publication number
WO2007141923A1
WO2007141923A1 PCT/JP2007/050491 JP2007050491W WO2007141923A1 WO 2007141923 A1 WO2007141923 A1 WO 2007141923A1 JP 2007050491 W JP2007050491 W JP 2007050491W WO 2007141923 A1 WO2007141923 A1 WO 2007141923A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound pressure
speech
input signal
gain
unit
Prior art date
Application number
PCT/JP2007/050491
Other languages
English (en)
French (fr)
Inventor
Takayuki Arakawa
Masanori Tsujikawa
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to CN2007800204844A priority Critical patent/CN101460996B/zh
Priority to US12/227,902 priority patent/US8401844B2/en
Priority to JP2008520138A priority patent/JP5262713B2/ja
Publication of WO2007141923A1 publication Critical patent/WO2007141923A1/ja

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Definitions

  • Gain control system gain control method, and gain control program
  • the present invention relates to a gain control system, a gain control method, a gain control program, and a speech recognition system, a speech using the gain control method, which make the sound pressure of the output signal constant without depending on the sound pressure of the input signal
  • the present invention relates to a recognition method and a speech recognition program.
  • the "sound pressure” is an increase in atmospheric pressure when the sound is present.
  • the unit is [N / m2]. This amount is proportional to the square root of the energy of the voice and the amplitude value of the voice waveform.
  • the "sound pressure level” is a logarithmic value of the ratio between the sound pressure of the target sound and the reference sound pressure.
  • the unit is [dB]. Specifically, it is defined as the following formula (1).
  • Gain is the ratio between the sound pressure of the output signal and the sound pressure of the input signal. Specifically, it is defined as the following equation (2).
  • Gain Sound pressure of output signal ⁇ Sound pressure of input signal ⁇ (3 ⁇ 4
  • the purpose of the gain control device used for normal voice communication or voice recording is to transform an input signal into a sound pressure that is easy for humans to hear and to output it.
  • the purpose of the gain control device used for speech recognition is to match the sound pressure of the input signal with the sound pressure of the speech model prepared in advance by learning.
  • a speech model is a speech spectrum converted into a feature value, and the appearance probability is a probability such as HMM (Hidden Markov Model) or GMM (Gaussian Mixture Model). It is a model.
  • FIG. 9 is a diagram showing a configuration of a gain control device used for voice communication or voice recording described in Patent Document 1.
  • an input signal acquisition unit 1 to which an audio signal is input a plurality of band division filter units 11 that pass only signals in different frequency bands set in advance, and a band division filter unit 11
  • Each output Absolute value conversion means 12 for converting the absolute value of the signal to be transmitted weight data storage means 13 for storing the weighting data for each frequency band divided by the band division filter means 11, and the value obtained by converting the absolute value
  • the multiplication unit 14 that multiplies the weighted data, the addition unit 15 that adds the weighted value, the gain correction unit 16 that corrects the added value, and the threshold level data that is compared with the corrected value.
  • Threshold level storage means 17 comparison means 18 that compares the corrected value with threshold level data, gain generation means 19 that generates a gain value based on the comparison result of comparison means 18, and fluctuation of the gain value
  • An envelope generating means 20 that moderates the amount, and a sound pressure correcting section 7 that multiplies the input signal by the gain value output from the envelope generating means 20 to correct the sound pressure level.
  • the vowels are generally considered to have a higher sound pressure, and the consonants are considered to have a lower sound pressure.
  • the configuration in FIG. This results in a sound with excessively emphasized consonants.
  • Non-Patent Document 2 With techniques such as the PMC (Parallel Model Combination) method, which is known as an effective speech recognition technique under noise, a method for adapting a speech model to noise, such as a cepstrum that depends on sound pressure, is used. Since 0th order information is required, a gain control method is required (Non-Patent Document 2).
  • PMC Parallel Model Combination
  • Figure 11 shows a clean acoustic model (clean speech model) and noise model power.
  • the PMC method which is an example of a method for synthesizing Dell, is illustrated.
  • level adjustment coefficient g also referred to as “level correction coefficient”
  • a noise adaptive speech model is obtained by performing logarithmic transformation and cosine transformation on the noise adaptive spectrum.
  • recognition is performed by comparing and collating the input signal with the noise adaptive speech model.
  • the mixing ratio between the sound pressure of the speech model and the sound pressure of the noise model calculated from the input signal is adjusted by multiplying the level correction coefficient g.
  • the level adjustment coefficient g is estimated based on a likelihood maximization guideline.
  • (B) A method that uses the gain value as a variable and repeatedly estimates the maximum likelihood for each Gaussian distribution that makes up the speech model.
  • gain control is performed based on the sound pressure of the speech at the time of learning, so that gain control reflecting the difference in sound pressure for each phoneme is possible.
  • Treating gain as a variable ⁇ Iterative estimation method (B) has a problem that it takes a lot of computation cost to perform iterative estimation, and the phoneme that is set differently at first differs. There is a problem of being drawn into.
  • Patent Document 1 JP 2004-15125 A
  • Non-Patent Literature 1 Guorong Xuan, Wei Zhang, Peiqi Chai, EM Algorithms of uaussian Mixture Model and Hidden Markov Model ", IEEE International Conference on Image Processing ICIP 2001, vol.1, pp.145-148.2001
  • Non-Patent Document 2 M.J.F. Gales and S.J.Young, "Robust Continuous Speech Recognition Using Parallel Model Combination", IEEE Trans.SAP— 4, No. 5, pp. 352— 359. September 1996
  • Non-Patent Document 3 Y. Minami and S. Furui, "A Maximum Likelihood Procedure for a Unive rsal Adaptation Method Based on HMM Composition", IEEE ICASSP'95, 129— 132.1 995
  • Non-Patent Document 4 Kenji Takada and Satoshi Toyama, "Word recognition using HMM synthesis method that automatically adapts to SZN ratio", IEICE technical report, SP2002—97 ⁇ ⁇ 19-24 2002
  • Non-Patent Document 5 Richard O. Duda, Petter E. Hart, David G. Stork, written by Morio Onoe, "Pattern Identification”, Joh Willey & Sons. New Technology Communication, pp. 528—52 9
  • Non-Patent Literature 6 Steven F. Boll, Suppression of Acoustic Noise in Speech Using Spectral Subtraction, "IEEE Trans. ASSP 27, pp.113—120, 1979
  • the conventional system has the following problems.
  • the first problem is that the conventional gain control technique used for voice communication or voice recording does not take into account the difference in sound pressure for each phoneme, and therefore unnatural voice is output. That is.
  • the second problem is that, in the gain control technology used for conventional voice communication or voice recording, when the noise frequency band overlaps the target voice frequency band, Is to emphasize.
  • a third problem is that the gain control technique based on the likelihood maximization guideline used for conventional speech recognition uses a plurality of sound pressures for all phonemes prepared for speech recognition. This means that it takes a lot of cost in terms of capacity and calculation amount to prepare a model or perform multiple estimations for each phoneme.
  • the fourth problem is that in the gain control technique based on the likelihood maximization guideline used for conventional speech recognition, if the initially set gain value is different, it is drawn into a completely different phoneme. It is to be said that it will be rare.
  • an object of the present invention is to provide a gain control device and a program that can output a natural voice by reflecting a difference in sound pressure for each phoneme.
  • Another object of the present invention is to provide a gain control device and a program for correctly enhancing a target voice without emphasizing unnecessary noise.
  • Still another object of the present invention is to provide a gain control device and a program with small capacity and calculation cost.
  • Still another object of the present invention is to provide a gain control device and a program for controlling sound pressure while maintaining the characteristics of phonemes.
  • a first gain control system includes an input signal acquisition unit, a feature amount conversion unit, a speech model storage unit, a sound pressure comparison unit, a distance calculation unit, a gain value calculation unit, Sound pressure correction means is provided.
  • the speech model storage unit stores a speech model having a feature amount and a sound pressure prepared for each unit obtained by dividing speech into clusters according to a plurality of phonemes or feature distances.
  • a first gain control method includes:
  • a speech model storing step for storing a speech model having feature amount and sound pressure information for each phoneme or for each unit obtained by dividing speech into clusters;
  • a sound pressure correction step of correcting the sound pressure of the input signal using the calculated gain is
  • a first gain control program according to the present invention includes:
  • a speech model having feature amount and sound pressure information is prepared for each phoneme or cluster unit And calculating the gain by calculating the weighted average of the sound pressure ratio between the input signal and each of the speech models for the multiple phoneme models according to the distance, so that multiple sound pressures differ for each phoneme. Since there is no need to prepare a model or perform multiple estimations, the capacity and calculation cost can be reduced, and the third objective can be achieved.
  • the speech model for gain control can be prepared separately from the speech model for speech recognition, a speech model of an appropriate size can be prepared according to the constraints of capacity and calculation amount. 3 objectives can be achieved.
  • a second gain control method according to the present invention is the first gain control method
  • the gain value is calculated by averaging the above sound pressure ratios for a plurality of speech models in consideration of both the distance and the appearance frequency information of phonemes or clusters.
  • a third gain control method according to the present invention is the first gain control method
  • a step of suppressing the noise component from the input signal and calculating a speech signal In the feature amount conversion step in the first gain control method, instead of calculating the feature amount from the input signal, the noise from the input signal is calculated. The feature value is calculated from the audio signal with suppressed components.
  • a fourth gain control method includes:
  • the sound pressure of the clean audio signal obtained by extracting only the clean component that suppresses the input signal force noise component is corrected using the calculated gain.
  • a fifth gain control method includes: Instead of the sound pressure correction step in the first gain control method, a feature amount conversion step of calculating a feature amount in which the sound pressure is adjusted from the calculated gain and the input signal is included.
  • the first effect of the present invention is that a difference in sound pressure for each phoneme can be reflected by using a speech model previously learned with speech having a predetermined sound pressure.
  • the second effect of the present invention is to correctly emphasize the target speech without emphasizing unnecessary noise by using the speech model for each phoneme or for each unit obtained by dividing the speech into clusters. Can do.
  • the third effect of the present invention is that, for the calculation of gain, a weighted average according to distance is performed on a phone model prepared for each phoneme or for each unit obtained by dividing a voice into clusters. Therefore, it is not necessary to prepare a plurality of models having different sound pressures or perform a plurality of estimations, so that the capacity and calculation cost can be reduced.
  • the fourth effect of the present invention is that the feature of the phoneme is obtained by performing weighted averaging according to distance on the speech model prepared for each phoneme or for each unit obtained by dividing the speech into clusters.
  • the sound pressure can be controlled while maintaining it.
  • FIG. 1 is a diagram showing a system configuration of a first exemplary embodiment of the present invention.
  • FIG. 2 is a flowchart showing a processing procedure in the embodiment of the first invention of the present invention.
  • FIG. 3 is a diagram showing characteristics of input sound pressure and output sound pressure in the first embodiment of the present invention.
  • FIG. 4 is a diagram showing a system configuration of a second exemplary embodiment of the present invention.
  • FIG. 5 is a diagram showing a system configuration of a third exemplary embodiment of the present invention.
  • FIG. 6 is a diagram showing a system configuration of a fourth exemplary embodiment of the present invention.
  • FIG. 7 is a diagram showing a system configuration of a fifth exemplary embodiment of the present invention.
  • FIG. 8 is a diagram showing a system configuration of a sixth exemplary embodiment of the present invention.
  • FIG. 9 is a block diagram showing a configuration of a conventional gain control system noise suppression system.
  • FIG. 10 is a graph showing characteristics of input sound pressure and output sound pressure of a conventional gain control system.
  • FIG. 11 is a diagram showing a conventional method for synthesizing a speech model and a noise model.
  • the difference between the feature value of the input signal that depends on sound pressure and the sound pressure information of the speech model stored in the speech model storage unit is 0, jC (0, t)) is provided with means (4, 5, 6) for calculating the gain (g) by weighting each speech model using the probability, and the sound pressure of the input signal is prepared by learning in advance.
  • the present invention is a gain control system that adjusts and outputs the sound pressure of an input signal.
  • the input signal acquisition unit (1) acquires an audio signal input by an input device force and cuts out the audio signal every unit time, and the unit time
  • the feature value converter (2) that calculates the feature value and sound pressure from the input signal cut into two, and the feature value and sound pressure (depending on the sound pressure) for each phoneme or for each unit in which speech is divided into clusters Feature amount:
  • a speech model storage unit (3) for storing a speech model having information on the 0th order component of the cepstrum, a feature amount of the input signal cut out per unit time, and the speech model storage unit
  • a distance calculation unit (5) for calculating a distance from each feature amount of the speech model stored in the sound, and a sound pressure of the input signal cut out per unit time (a feature amount depending on the sound pressure) , Stored in the voice model storage unit
  • a sound pressure comparison unit (4) that calculates the ratio of
  • the speech model storage unit (3 'in Fig. 4) further stores and holds the appearance frequency information of the speech model
  • the gain value calculation unit (6') Calculates a distance, a sound pressure ratio, an appearance frequency of each voice model stored in the voice model storage unit, and a force gain, calculated for each of the voice models.
  • the gain value calculation unit uses the distance between the input signal cut out per unit time and the voice model, and the input signal cut out per unit time and the voice.
  • the gain may be calculated by averaging the weight of the sound pressure ratio with the model for the phoneme or the unit obtained by dividing the speech into clusters.
  • a noise estimation unit (8 in FIG. 5) that acquires a noise component from the input signal, and a noise component estimated by the noise estimation unit from the input signal are obtained.
  • a clean speech estimation unit (9 in FIG. 5) that calculates a suppressed signal and outputs a signal with a suppressed noise component, and the feature amount conversion unit (2) also outputs the clean speech estimation unit force Alternatively, a signal in which a noise component is suppressed may be input, and the feature amount and sound pressure of the input signal may be extracted.
  • the sound pressure correction unit (7) inputs a signal with a suppressed noise component output from the clean speech estimation unit (9), and converts the sound pressure. It may be corrected.
  • the sound pressure correction unit (7) smoothes or averages the gain obtained for each unit time over a plurality of unit times. You may control the sound pressure over the unit time.
  • the gain calculated by the gain value calculation unit and the input signal are used for speech recognition.
  • a second feature value conversion unit (10 in FIG. 7) for calculating the feature value may be provided, and voice recognition may be performed using the feature value calculated by the second feature value conversion unit.
  • the feature amount obtained by the feature amount conversion unit using the gain calculated by the gain value calculation unit instead of the sound pressure correction unit is obtained by the feature amount conversion unit using the gain calculated by the gain value calculation unit instead of the sound pressure correction unit.
  • a second feature amount conversion unit (10 in FIG. 8) that calculates the feature amount used in speech recognition, and performs speech recognition using the feature amount calculated by the second feature amount conversion unit. You may do it. In the following, description will be made in accordance with examples.
  • FIG. 1 is a diagram showing the configuration of the first exemplary embodiment of the present invention.
  • an input signal acquisition unit 1 that acquires an input signal and cuts it out per unit time, and a feature amount that calculates a feature amount and sound pressure from the input signal per unit time are shown.
  • voice model storage unit 3 for storing a voice model, input signal for each unit time and the above voice model Sound pressure comparison unit 4 that compares the sound pressure with each other to determine the ratio of the sound pressures
  • distance calculation unit 5 that calculates the distance between the input signal per unit time and each voice model
  • the gain value calculation unit 6 calculates the gain from the ratio of the sound pressure calculated by 4 and the distance calculated by the distance calculation unit, and the gain calculated by the gain value calculation unit 6
  • a sound pressure correction unit 7 for correcting the sound pressure.
  • the speech model storage unit 3 stores a plurality of speech models prepared for each of a plurality of phonemes or for each unit obtained by dividing speech into clusters.
  • phonemes are vowels, consonants, unvoiced sounds, voiced sounds, or the same “A” sound, but are classified according to the order of sounds before and after.
  • a “cluster” is a group of phonemes and a group of voices divided according to the distance of feature amounts.
  • the “K-means method” is a method of classifying given data into K clusters according to the distance.
  • the speech model is composed of a sound pressure 3a and a feature amount 3b.
  • the sound pressure 3a the 0th order component of the cepstrum is used.
  • the feature quantity 3b the value obtained by converting the voice into the feature quantity itself can be used, or a probability density distribution that outputs the value can be used.
  • the sound pressure 3a and the feature quantity 3b are prepared by learning in advance using an “Expectation Maximization” (EM) algorithm or the like (Non-patent Document 1).
  • EM Expectation Maximization
  • the cluster can be determined using the EM algorithm.
  • a spectrum amount calculated by windowing out an input signal every unit time period and performing Fourier analysis is represented by X (f, t). Where f is the frequency direction number and t is the time direction number (frame number).
  • the feature amount conversion unit 2 calculates a feature amount from the input signal.
  • the feature value is used
  • a cepstrum is used as a feature amount.
  • the cepstrum is calculated by equation (3) (step Sl).
  • X (t) is a vector with X (f, t) as elements.
  • C (t) is a vector with C (i, t) as elements (where i indicates the cepstrum dimension)
  • DCT [] indicates a discrete cosine transform.
  • step S2 and step S3 are performed for each of the speech models stored in the speech model storage unit 3.
  • the sound pressure comparison unit 4 compares the sound pressure of the input signal and the sound model (step S2).
  • the 0th order component of the cepstrum represents the logarithmic value information of the sound pressure
  • the 0th order component of the cepstrum possessed by the speech model sound pressure 3a of the speech model storage unit 3
  • the feature amount Calculate the difference from the 0th-order component C (0, t) of the cepstrum of the input signal calculated by the converter 2.
  • ⁇ is the 0th order component of the cepstrum of the jth speech model (speech model case)
  • the sound pressure 3a) of storage 3 is shown.
  • the distance calculation unit 5 calculates the distance between the feature quantity of the input signal and the feature quantity of the speech model. (Step S3).
  • the gain value calculation unit 6 estimates the gain from the difference between the zero-order components of the cepstrum calculated by the sound pressure comparison unit 4 and the distance calculated by the distance calculation unit 5 for each model. (Step S4).
  • C (t)) for selecting speech model j is obtained by the following equation.
  • d [C (t), ⁇ represents the distance between the feature value (cepstrum) of the input signal and the feature value of the speech model of the cell. This distance is calculated by the distance calculation unit 5 (not including the 0th-order cepstrum).
  • j ′ of the denominator of Equation (5) represents a speech model
  • the sum of distances d [C (t),] with respect to j ′ represents the sum of a plurality of speech models. This sum may be performed for all speech models stored in the speech model storage unit 3. Alternatively, it may be performed on the top few items that are close to each other.
  • the derivation of the probability in equation (5) may be calculated using features other than the cepstrum! /.
  • gain g (t) is calculated by taking a weighted average (expected value) for each speech model using this probability P (j
  • the sum related to j represents the sum related to a plurality of models. This sum is performed on the same model as equation (5).
  • the gain g (t) may be calculated from the difference of the 0th-order term of the cepstrum with respect to the speech model because the distance from the input signal (feature amount) per unit time is the closest.
  • the sound pressure correction unit 7 calculates the product of the gain g (t) calculated by the gain value calculation unit 6 and the input signal f, t), and corrects the sound pressure level of the input signal ( Step S5).
  • Y (f, t) represents a corrected signal.
  • X is the number in the frequency direction and t is the number in the time direction (frame number).
  • smoothing or smoothing is performed on a plurality of frames with respect to the force gain g (t), which shows an example of correcting the sound pressure level for each frame, which is a unit obtained by cutting out an input signal every unit time.
  • the sound pressure level may be corrected for a plurality of frames by taking an average.
  • the difference in sound pressure for each phoneme can be reflected as shown in FIG. .
  • the gain is calculated by using a plurality of sound for each phoneme. Since there is no need to prepare a pressure model or perform multiple estimations, a small amount of! /, Capacity, and calculation costs are sufficient.
  • FIG. 4 is a diagram showing the configuration of the second exemplary embodiment of the present invention.
  • the speech model storage unit 3 ′ has a sound pressure, a feature amount, and a speech model appearance frequency (for each phoneme or each cluster unit obtained by dividing speech). Prior probability).
  • output frequency information is added to the speech model storage unit 3 ′ in the speech model storage unit 3 of the first embodiment.
  • the gain value calculation unit 6 ′ calculates the distance between the sound pressure ratio calculated by the sound pressure comparison unit 4 and the sound pressure model for each sound model. The distance calculated in Part 5, the appearance frequency (prior probability) of each voice model, and the force gain are calculated.
  • the speech models stored in the speech model storage unit 3 ' are each composed of a sound pressure 3a, a feature amount 3b, and an appearance frequency (prior probability) 3c.
  • GMM is used as the voice model.
  • MM can also be used.
  • the sound pressure 3a the 0th order of the cepstrum is used as in the above embodiment.
  • the feature amount 3b a value obtained by converting speech into a feature amount itself may be used, or a probability density distribution that outputs the value may be used.
  • the appearance frequency (prior probability) 3c is the frequency at which the target speech model appears in a plurality of speech models.
  • the sound pressure 3a, the feature amount 3b, and the appearance frequency (prior probability) 3c are learned using an Expectation Maximization (EM) algorithm or the like (Non-patent Document 1).
  • EM Expectation Maximization
  • step S4 the gain value calculation process in step S4 is replaced with the first embodiment.
  • the gain value calculation unit 6 ' the difference between the zero-order components of the cepstrum calculated by the sound pressure comparison unit 4 for each voice model and the distance calculated by the distance calculation unit 5 for each voice model. Then, the gain is estimated from the appearance frequency 3c of the corresponding speech model.
  • the probability (a posteriori probability) of selecting the speech model j is calculated.
  • P (j) represents the appearance frequency of the speech model of the cell.
  • the sum ⁇ P0 ") d [C (t), ⁇ ,] ⁇ for the denominator indicates the sum for multiple speech models. This sum is stored in the speech model storage unit 3 '. You can do it for all the voice models that you have, or you can do it for a few nearby or near the top.
  • a gain value is calculated by taking a weighted average (expected value) for each of the speech models. Specifically, in the first embodiment, Similar to, calculate using Equation (6), (7), or Equation (8).
  • FIG. 5 is a diagram showing the configuration of the third exemplary embodiment of the present invention.
  • the third embodiment of the present invention is estimated by a noise estimation unit 8 that acquires a noise component from an input signal, and an input signal and noise estimation unit 8.
  • a clean speech estimator 9 is further provided for estimating and outputting speech from the noise.
  • the noise estimation unit 8 regards, for example, the first few frames of the input signal as a non-speech interval, and estimates noise from the average value of the input signal in this interval.
  • the clean speech estimation unit 9 uses a noise suppression method such as the spectral subtraction method shown in Non-Patent Document 6 to calculate the noise component from the input speech and the noise component information obtained by the noise estimation unit 8. Estimate and output the removed clean speech.
  • the spectral subtraction method is a method of subtracting the noise component from the input signal for each frequency component in the spectrum region.
  • the feature amount conversion unit 2 receives the talin speech with the suppressed noise component output from the clean speech estimation unit 9, and extracts the feature amount and sound pressure of the clean speech.
  • the purpose of enhancing the noise component is Can be emphasized correctly.
  • the sound pressure correction unit 7 uses the gain calculated by the gain value calculation unit 6 to correct the sound pressure of the input signal.
  • the sound pressure correction unit 7 is estimated by the clean speech estimation unit 9 using the gain calculated by the gain value calculation unit 6. Correct the sound pressure of clean sound.
  • the sound pressure correction unit 7 for correcting the sound pressure of the input signal using the gain in the first embodiment of FIG.
  • the second feature quantity conversion unit 10 for calculating the feature quantity used in speech recognition is replaced.
  • the other configuration is the first embodiment. It is the same.
  • Different feature quantities may be used in the feature quantity conversion unit 2 that calculates the feature quantity from the input signal and the second feature quantity conversion unit 10 that calculates the feature quantity from the gain and the input signal.
  • the feature quantity conversion unit 10 uses the quantity as a feature quantity without depending on the sound pressure, performs gain control, and the feature quantity conversion section 2 uses the feature quantity that depends on the sound pressure. You can also.
  • the second feature value conversion unit 10 calculates a feature value used for speech recognition from the gain calculated by the gain value calculation unit 6 and the input signal.
  • the second feature amount conversion unit 10 uses the gain calculated by the gain value calculation unit 6 to calculate the feature calculated by the feature amount conversion unit 2.
  • the amount is corrected to be the second feature used for speech recognition.
  • the second feature quantity conversion unit 10 performs processing such as multiplying the feature quantity calculated by the feature quantity conversion unit 2 by gain.
  • the seventh embodiment of the present invention uses a gain calculated by the gain calculation unit 6 of the first embodiment in a technique for adapting a speech model as shown in FIG.
  • the level adjustment coefficient shown is obtained.
  • the gain calculated by the gain value calculation unit 6 may be averaged over a plurality of frames and a plurality of utterances, instead of directly using the gain calculated by the gain value calculation unit 6 for each time unit obtained by cutting out the input signal.
  • the first to sixth embodiments can be used in combination with each other.
  • the sound pressure of sound can be made constant, and clear sound communication and recording that are easy to hear can be performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

　複数の音素毎又は音声をクラスターに分割した単位毎に、音圧と特徴量の組によって構成される音声モデルを音声モデル格納部３に格納しておく。入力信号が与えられたとき、特徴量変換部２で特徴量及び音圧を算出し、音圧比較部４で入力信号と音声モデルそれぞれとの音圧の比を求め、距離算出部５で入力信号と音声モデルそれぞれとの特徴量の距離を算出し、ゲイン算出部６で音圧の比と距離との情報とからゲインの値を算出し、音圧補正部７で入力信号の音圧を補正する。

Description

明 細 書
ゲイン制御システム、ゲイン制御方法及びゲイン制御プログラム 技術分野
[0001] 本発明は、入力信号の音圧に依存せず出力信号の音圧を一定にするゲイン制御 システム、ゲイン制御方法、ゲイン制御プログラム、及びこのゲイン制御方法を用いた 音声認識システム、音声認識方法、音声認識プログラムに関する。
背景技術
[0002] 本明細書で用いる用語にっ 、て定義しておく。
[0003] 「音圧」とは、その音声があるときの気圧の上昇分とする。単位は [N/m2]。この量は 、音声の持つエネルギーの平方根、音声波形の振幅値に比例する。
[0004] 「音圧レベル」とは、対象とする音声の音圧と基準音圧との比の対数値とする。単位 は [dB]。具体的には、次式（1)のように定義される。
[0005] 音圧レベル =20 loglO (対象とする音声の音圧 Z基準音圧） · · ' (1)
[0006] 「ゲイン」とは、出力信号の音圧と入力信号の音圧との比とする。具体的には次式（ 2)のように定義される。
[0007] ゲイン =出力信号の音圧 Ζ入力信号の音圧 · · ·(¾
[0008] 通常の音声通信用又は音声録音用に用いられるゲイン制御装置の目的は、入力 信号を人が聞きやすい音圧に変形して出力することにある。
[0009] これに対して、音声認識用に用いられるゲイン制御装置の目的は、入力信号の音 圧と予め学習によって用意された音声モデルの音圧とを一致させる、ことにある。
[0010] 音声モデルとは、非特許文献 1に記載されているように、音声スペクトルを特徴量に 変換し、その出現確率を HMM (Hidden Markov Model)や GMM (Gaussian Mixture Model)のような確率モデルで表したものである。
[0011] 図 9は、特許文献 1に記載の、音声通信用又は音声録音用に用いられる、ゲイン制 御装置の構成を示す図である。図 9のゲイン補正装置では、音声信号が入力される 入力信号取得部 1と、予め設定された互いに異なった周波数帯域の信号のみ通過さ せる複数の帯域分割フィルタ手段 11と、帯域分割フィルタ手段 11それぞれの出力す る信号を絶対値変換する絶対値変換手段 12と、帯域分割フィルタ手段 11で分割さ れた周波数帯域毎に重み付けするデータを格納しておく重み付けデータ格納手段 1 3と、絶対値変換された値に重み付けデータを乗算する乗算部 14と、重み付けした 値を加算する加算部 15と、加算された値を補正するゲイン補正手段 16と、補正され た値と比較されるスレッシュルドレベルデータを格納しておくスレッシュルドレベル格 納手段 17と、補正された値とスレッシュルドレベルデータを比較する比較手段 18と、 比較手段 18の比較結果によりゲイン値を発生するゲイン発生手段 19と、ゲイン値の 変動量を緩やかにする放絡線発生手段 20と、放絡線発生手段 20が出力するゲイン 値を入力信号に乗算し音圧レベルを補正する音圧補正部 7と、を備えている。このよ うな構成とすることにより、入力信号が音声である可能性の高い周波数帯域毎に重み 付けができ、重み付けされた信号に基づ 、てゲイン制御が行われる。
[0012] し力しながら、図 9の構成では、図 10に示すように、音素毎の音圧の違いを考慮せ ず常に一定の音圧の出力とするために、不自然な音声が出力される可能性がある。
[0013] 例えば、母音と子音であれば、母音の方が一般的に大きな音圧、子音の方が小さ な音圧と考えられるが、図 9の構成では、この差を考慮せず、一定の音圧の出力とし てしまう為に、過度に子音が強調された音声となる。
[0014] このことは、ゲイン制御装置を、音圧の情報を必要とする音声認識装置と組み合わ せて使用する場合に、大きな問題となり、認識性能の劣化につながる。
[0015] さらに、雑音の周波数帯域が目的とする音声の周波数帯域と重なるような場合には 、雑音を強調してしまうという問題もある。
[0016] 次に、音声認識用に用いられるゲイン制御装置について説明する。通常の音声認 識では、音圧の変動に頑健な認識とするために、音圧に依存するケプストラムの 0次 成分やパワー特徴量などを使わずに認識を行う。
[0017] し力し、雑音下での有効な音声認識手法として知られる、 PMC (Parallel Model Co mbination)法などのように、音声モデルを雑音に適応させる手法では、音圧に依存 するケプストラムの 0次の情報が必要となるため、ゲイン制御法が必要となる（非特許 文献 2)。
[0018] 図 11に、クリーン音響モデル (クリーン音声モデル）と雑音モデル力 雑音適応モ デルを合成する手法の一例である PMC法を例示する。
[0019] 予めクリーンな音声をケプストラムの形で学習した音声モデルに対し、逆コサイン変 換、指数変換を施すことで、スペクトルの形に変形し、クリーン音声スペクトルを得る。
[0020] 発声前の無音区間などで学習した雑音モデルに対し、逆コサイン変換、指数変換 を施すことで、スペクトルの形に変形し、雑音スペクトルを得る。
[0021] 次に、上記クリーン音声スペクトルに対し、レベル調整係数 g (「レベル補正係数」と もいう）を乗じ、上記雑音スペクトルと足し合わせ、雑音適応音声スペクトルを算出す る。
[0022] 続 、て、上記雑音適応スペクトルに、対数変換、コサイン変換を施すことで、雑音適 応音声モデルを得る。
[0023] 認識時には、入力信号と、雑音適応音声モデルを比較照合することにより認識を行
[0024] PMC法では、レベル補正係数 gを乗することで、音声モデルの音圧と入力信号から 算出した雑音モデルの音圧の混合比を調整している。
[0025] したがって、レベル調整係数 gを乗することは、一種のゲイン制御と考えることができ る。
[0026] 非特許文献 3や非特許文献 4では、上記レベル調整係数 gを、尤度最大化の指針 に基づき推定している。
[0027] 具体的には、
(A)予め複数の音圧の音声モデルを用意しておき、尤度が最大となるものを選択 する方法や、
(B)ゲインの値を変数として扱 、、音声モデルを構成する各ガウス分布毎に尤度が 最大となるように繰り返し推定する方法
がある。
[0028] 上記 2つの方法では、学習時の音声の音圧に基づいて、ゲインの制御を行うため に、音素ごとの音圧の違 、を反映したゲインの制御が可能となる。
[0029] し力しながら、予め複数の音圧の音声モデルを用意しておく方法 (A)では、正確な 推定を行うために全ての音素毎に音圧を変えた多くの音声モデルを用意しておく必 要があり、容量や計算量の面で多くのコストがかかる。
[0030] ゲインを変数として扱 ヽ繰り返し推定する方法 (B)では、繰り返し推定を行うことで、 多くの計算コストがかかる、という問題と、最初に設定したゲインの値が異なるとまった く違う音素に引き込まれてしまう、という問題がある。
[0031] 特許文献 1 :特開 2004— 15125号公報
非特干文献 1 : Guorong Xuan, Wei Zhang, Peiqi Chai, EM Algorithms of uaussian Mixture Model and Hidden Markov Model", IEEE International Conference on Image Processing ICIP 2001, vol.1, pp.145- 148.2001年
非特許文献 2 : M.J. F. Gales and S.J.Young, "Robust Continuous Speech Recognition Using Parallel Model Combination",IEEE Trans.SAP— 4,No.5,pp.352— 359. 1996年 9 月
非特許文献 3 :Y.Minami and S.Furui, "A Maximum Likelihood Procedure for a Unive rsal Adaptation Method Based on HMM Composition", IEEE ICASSP'95, 129— 132.1 995年
非特許文献 4 :高田健司，外山淳， "SZN比に自動適合する HMM合成法を用いた 単語認識"，電子情報通信学会技術研究報告， SP2002— 97 ρρ · 19 - 24 2002 年
非特許文献 5 : Richard O.Duda, Petter E.Hart, David G.Stork 著， 尾上守夫 監 訳， "パターン識別"， Joh Willey &Sons. 新技術コミュニケーション， pp. 528— 52 9
非特干文献 6： Steven F.Boll, Suppression of Acoustic Noise in Speech Using Spectr al Subtraction," IEEE Trans. ASSP 27, pp.113— 120, 1979年
発明の開示
発明が解決しょうとする課題
[0032] 上記したように、従来のシステムは、下記記載の課題を有して 、る。
[0033] 第 1の問題点は、従来の音声通信用又は音声録音用に用いられているゲイン制御 技術では、音素毎の音圧の違いが考慮されていないため、不自然な音声が出力され る、ということである。 [0034] 第 2の問題点は、従来の音声通信用又は音声録音用に用いられているゲイン制御 技術では、雑音の周波数帯域が目的とする音声の周波数帯域と重なるような場合に は、雑音を強調してしまう、ということである。
[0035] 第 3の問題点は、従来の音声認識用に用いられている尤度最大化の指針に基づく ゲイン制御技術では、音声認識用に用意する全ての音素毎に複数の音圧の音声モ デルを用意する、又は音素それぞれに対し複数回の推定を行うために、容量や計算 量の面で多くのコストがかかる、ということである。
[0036] 第 4の問題点は、従来の音声認識用に用いられている尤度最大化の指針に基づく ゲイン制御技術では、最初に設定したゲインの値が異なると、全く違う音素に引き込 まれてしまう、と ヽうことである。
[0037] したがって、本発明の目的は、音素毎の音圧の違いを反映することにより、自然な 音声を出力可能とするゲイン制御装置、プログラムを提供することにある。
[0038] 本発明の別の目的は、不要な雑音を強調することなぐ目的とする音声を正しく強 調するゲイン制御装置、プログラムを提供することにある。
[0039] 本発明のさらに別の目的は、少な 、容量及び計算コストでゲイン制御装置、プログ ラムを提供することにある。
[0040] 本発明のさらに別の目的は、音素の特徴を維持したまま音圧の制御を行うゲイン制 御装置、プログラムを提供することにある。
課題を解決するための手段
[0041] 本願で開示される発明は、上記課題を解決するため、概略以下のように構成される
[0042] 本発明に係る第 1のゲイン制御システムは、入力信号取得部と、特徴量変換部と、 音声モデル格納部と、音圧比較部と、距離算出部と、ゲイン値算出手段と、音圧補 正手段を備える。上記音声モデル格納部には複数の音素毎又は特徴量の距離に応 じて、音声をクラスターに分割した単位毎に用意した特徴量と音圧とを持つ音声モデ ルを格納する。
[0043] 本発明に係る第 1のゲイン制御方法は、
入力信号を取得し単位時間毎に切り分ける入力信号取得工程と、 上記単位時間毎に切り分けられた入力信号から特徴量を算出する特徴量変換ェ 程と、
音素毎又は音声をクラスターに分割した単位毎に特徴量と音圧の情報を持つ音声 モデルを格納する音声モデル格納工程と、
上記単位時間毎に切り分けられた入力信号と上記音声モデルそれぞれとの音圧の 比を算出する音圧比較工程と、
上記単位時間毎に切り分けられた入力信号と上記音声モデルそれぞれとの特徴量 の距離を算出する距離算出工程と、
上記音圧の比を音声モデルについて重み付き平均することでゲインを算出するゲ イン値算出工程と、
算出されたゲインを用いて入力信号の音圧を補正する音圧補正工程と、を含む。
[0044] 本発明に係る第 1のゲイン制御プログラムは、
入力信号を取得し単位時間毎に切り分ける処理と、単位時間毎の入力信号を特徴 量に変換する処理と、
単位時間毎の入力信号と音声モデルそれぞれとの音圧を比較する処理と、 単位時間毎の入力信号と音声モデルそれぞれとの特徴量の距離を算出する処理 と、
音圧の比を複数の音声モデルについて重み付き平均することでゲイン値を算出す る処理と、
算出されたゲイン値を用いて入力音声の音圧レベルを補正する処理と、を実行さ せるプログラムよりなる。
[0045] 力かる構成としたことで、音素又はクラスター単位毎に特徴量と音圧の情報を持つ 音声モデルを使用することにより、音素毎の音圧の違いを反映することができ、第 1の 目的を達成することができる。
[0046] また、音素又はクラスター単位毎に特徴量と音圧の情報を持つ音声モデルを使用 することにより、不要な雑音を強調することなぐ目的とする音声を正しく強調すること ができ、第 2の目的を達成することができる。
[0047] また、音素又はクラスター単位毎に特徴量と音圧の情報を持つ音声モデルを用意 し、入力信号と音声モデルそれぞれとの音圧の比を複数音素モデルに対して距離に 応じた重み付き平均をすることによってゲインを算出することで、全ての音素毎に音 圧の異なる複数のモデルを用意する、又は複数回の推定を行う必要が無くなるため に、少ない容量及び計算コストで済み、第 3の目的を達成することができる。
[0048] また、ゲイン制御用の音声モデルは音声認識用の音声モデルとは別に用意するこ とができる為、容量、計算量の制約に応じて適切な大きさの音声モデルを用意でき、 第 3の目的を達成することができる。
[0049] 本発明に係る第 2のゲイン制御方法は、第 1のゲイン制御方法において、
ゲイン値算出工程において上記音圧の比を複数の音声モデルに対して距離に応 じた重み付き平均をすることでゲイン値を算出する代わりに、
上記音圧の比を複数の音声モデルに対して上記距離と音素又はクラスター単位の 出現頻度情報の両方を考慮して重み付き平均をすることでゲイン値を算出する。
[0050] このような構成とすることにより、音素の特徴を正確に推定することができ、第 4の目 的を達成することができる。
[0051] 本発明に係る第 3のゲイン制御方法は、第 1のゲイン制御方法において、
入力信号から雑音成分を推定する工程と、
入力信号から上記雑音成分を抑圧し、音声信号を算出する工程とを含み、 第 1のゲイン制御方法における特徴量変換工程に対して、入力信号から特徴量を 算出する代わりに、入力信号から雑音成分を抑圧した音声信号から特徴量を算出す る。
[0052] 力かる構成としたことで、第 1のゲイン制御方法に比べて、より雑音成分を強調する ことなく目的とする音声を正しく強調することができる。
[0053] 本発明に係る第 4のゲイン制御方法は、
第 3のゲイン制御方法における音圧補正工程に対して、
算出されたゲインを用いて入力信号の音圧を補正する代わりに、算出されたゲイン を用いて入力信号力 雑音成分を抑圧したクリーンな成分のみを取り出したクリーン 音声信号の音圧を補正する。
[0054] 本発明に係る第 5のゲイン制御方法は、 第 1のゲイン制御方法における音圧補正工程の代わりに、算出されたゲインと入力 信号から音圧の調整がなされた特徴量を算出する特徴量変換工程を含む。
発明の効果
[0055] 本発明の第 1の効果は、予め所定の音圧の音声で学習された音声モデルを使用 することにより、音素毎の音圧の違いを反映することができる、ということである。
[0056] 本発明の第 2の効果は、音素毎又は音声をクラスターに分割した単位毎に音声モ デルを使用することにより、不要な雑音を強調することなぐ目的とする音声を正しく 強調することができる。
[0057] 本発明の第 3の効果は、ゲインの算出に音素毎又は音声をクラスターに分割した単 位毎に用意した音声モデルに対して距離による重み付き平均を行うことにより、音素 全てに対して音圧の異なる複数のモデルを用意する、又は複数回の推定を行う必要 が無くなるために、少な 、容量及び計算コストで済む。
[0058] 本発明の第 4の効果は、ゲインの算出に音素毎又は音声をクラスターに分割した単 位毎に用意した音声モデルに対して距離による重み付き平均を行うことにより、音素 の特徴を維持したまま音圧の制御が行うことができる。
図面の簡単な説明
[0059] [図 1]本発明の第 1の実施例のシステムの構成を示す図である。
[図 2]本発明の第 1の発明の実施例における処理手順を示す流れ図である。
[図 3]本発明の第 1の実施例における入力音圧と出力音圧の特性を示す図である。
[図 4]本発明の第 2の実施例のシステムの構成を示す図である。
[図 5]本発明の第 3の実施例のシステムの構成を示す図である。
[図 6]本発明の第 4の実施例のシステムの構成を示す図である。
[図 7]本発明の第 5の実施例のシステムの構成を示す図である。
[図 8]本発明の第 6の実施例のシステムの構成を示す図である。
[図 9]従来のゲイン制御システム雑音抑圧システムの構成を示すブロック図である。
[図 10]従来のゲイン制御システムの入力音圧と出力音圧の特性を示す図である。
[図 11]従来の音声モデルと雑音モデルの合成法を示す図である。
符号の説明 1 入力信号取得部
2 特徴量変換部
3 音声モデル格納部
3， 音声モデル格納部
3a 音声モデルの音圧値
3b 音声モデルの特徴量
3c 音声モデルの出現頻度 (事前確率)
4 音圧比較部
5 距離算出部
6 ゲイン値算出部
6， ゲイン値算出部
7 音圧補正部
8 雑音推定部
9 クリーン音声推定部
10 第二の特徴量変換手段
11 帯域分割フィルタ手段
12 絶対値変換手段
13 重み付けデータ格納手段
14 乗异
15 加算部
16 ゲイン補正手段
17 スレッシュルドレベル格納手段
18 比較手段
19 ゲイン発生手段
20 放絡線発生手段
発明を実施するための最良の形態
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明 する。本発明は、予め所定の音圧の音声で学習され、それぞれ音圧情報と特徴量を 含む音声モデルを、音素毎又はクラスター単位で記憶する音声モデル格納部（3)と 、入力信号を単位時間毎に切り出して分析し特徴量を導出する手段 (2)と、前記音 声モデル格納部に格納されて 、る前記音声モデルの特徴量（ μ j)と前記入力信号 の特徴量 (C(t))の距離から、それぞれの音声モデル jが選ばれる確率 (P(j|C(t)))を算 出し、前記入力信号の特徴量のうち音圧に依存する特徴量と、前記音声モデル格納 部に格納されている前記音声モデルの音圧情報との差 0,j-C(0,t))を、前記確率 を用いて音声モデルそれぞれに対して重み付けしてゲイン (g)を算出する手段 (4、 5 、 6)を、備え、入力信号の音圧を予め学習によって用意された音声モデルの音素又 はクラスター毎の音圧に一致させる制御が行われる。本発明は、入力信号の音圧を 調整し出力するゲイン制御システムであって、入力デバイス力 入力される音声信号 を取得し単位時間毎に切り出す入力信号取得部（1)と、前記単位時間毎に切り出さ れた入力信号から特徴量及び音圧を算出する特徴量変換部 (2)と、複数の音素毎、 又は音声をクラスターに分割した単位毎に、特徴量と音圧 (音圧に依存する特徴量： 例えばケプストラムの 0次成分)の情報を持つ音声モデルを格納する音声モデル格 納部（3)と、前記単位時間毎に切り出された入力信号の特徴量と、前記音声モデル 格納部に格納されている前記音声モデルそれぞれの特徴量との距離を算出する距 離算出部 (5)と、前記単位時間毎に切り出された入力信号の音圧 (音圧に依存する 特徴量）と、前記音声モデル格納部に格納されている前記音声モデルそれぞれの音 圧との比を算出する音圧比較部 (4)と、前記音声モデルそれぞれに対して算出され た、距離と、音圧の比とに基づき、ゲインを算出するゲイン値算出部 (6)と、前記ゲイ ン値算出部で算出されたゲインを用いて、単位時間毎に切り出された入力信号の音 圧を補正する音圧補正部（7)と、を含む。
[0062] 本発明の別の実施の形態において、音声モデル格納部（図 4の 3' )が、音声モデ ルの出現頻度情報をさらに記憶保持しており、前記ゲイン値算出部 (6')は、前記音 声モデルそれぞれに対し算出された、距離と、音圧の比と、前記音声モデル格納部 に格納されている音声モデルそれぞれの出現頻度と、力 ゲインを算出する。
[0063] 本発明においては、前記ゲイン値算出部において、単位時間毎に切り出された入 力信号と音声モデルとの距離を用いて、単位時間毎に切り出された入力信号と音声 モデルとの音圧の比を音素、又は、音声をクラスターに分割した単位について、重み 付き平均することで、ゲインを算出するようにしてもよい。
[0064] 本発明の別の実施の形態においては、前記入力信号から雑音成分を取得する雑 音推定部 (図 5の 8)と、前記入力信号から前記雑音推定部で推定された雑音成分を 抑圧した信号を算出し、雑音成分を抑圧した信号を出力するクリーン音声推定部 (図 5の 9)と、を備え、前記特徴量変換部（2)は、前記クリーン音声推定部力も出力され る、雑音成分を抑圧した信号を入力し、入力した信号の特徴量及び音圧を取り出す ようにしてもよい。
[0065] 本発明の別の実施の形態においては、前記音圧補正部（7)が、前記クリーン音声 推定部 (9)から出力される、雑音成分を抑圧した信号を入力し、音圧を補正するよう にしてもよい。
[0066] 本発明の別の実施の形態においては、前記音圧補正部（7)が、前記単位時間毎 に求めたゲインを、複数の前記単位時間に渡って、平滑化又は平均化し、複数の前 記単位時間に渡って音圧を制御するようにしてもょ ヽ。
[0067] 本発明のさらに別の実施の形態においては、前記音圧補正部（7)のかわりに、前 記ゲイン値算出部で算出されたゲインと、前記入力信号とから音声認識で使用する 特徴量を算出する第二の特徴量変換部（図 7の 10)を備え、前記第二の特徴量変換 部で算出された特徴量を用いて音声認識を行うようにしてもよ!ヽ。
[0068] 本発明のさらに別の実施の形態においては、前記音圧補正部のかわりに、前記ゲ イン値算出部で算出されたゲインを用いて、前記特徴量変換部で求められた特徴量 を補正し、音声認識で使用する特徴量を算出する第二の特徴量変換部（図 8の 10) を備え、前記第二の特徴量変換部で算出された特徴量を用いて音声認識を行うよう にしてもよい。以下、実施例に即して説明する。
[0069] <実施例 1 >
図 1は、本発明の第 1の実施例の構成を示す図である。図 1を参照すると、本発明 の第 1の実施例は、入力信号を取得し単位時間毎に切り出す入力信号取得部 1と、 単位時間毎の入力信号から特徴量と音圧を算出する特徴量変換部 2と、音声モデル を格納する音声モデル格納部 3と、単位時間毎の入力信号と上記音声モデルそれ ぞれとの音圧を比較し音圧の比を求める音圧比較部 4と、単位時間毎の入力信号と 音声モデルそれぞれとの特徴量の距離を求める距離算出部 5と、音圧比較部 4によ つて算出された音圧の比と距離算出部で算出された距離とからゲインを算出するゲ イン値算出部 6と、ゲイン値算出部 6で算出されたゲインを用いて入力信号の音圧を 補正する音圧補正部 7と、を備えている。
[0070] 音声モデル格納部 3は、複数の音素毎又は音声をクラスターに分割した単位毎に 用意された複数の音声モデルが格納されて 、る。
[0071] ここで、「音素」とは、母音や子音、無声音や有声音、又は、同じ"あ"の音であって も、前後の音の並びなどによって音声を分類したものである。
[0072] また、「クラスター」とは、音素をまとめあげたもの、及び、音声を特徴量の距離に応 じて分割したものである。
[0073] クラスター分割法としては、例えば「K— means法」（非特許文献 5)を用いることが できる。「K— means法」とは、与えられたデータを距離に応じて、 K個のクラスターに 分類する手法である。
[0074] 音声モデルは、音圧 3aと、特徴量 3bとから構成される。音圧 3aとしては、ケプストラ ムの 0次成分を用いる。特徴量 3bとしては、音声を特徴量に変換した値そのものを用 Vヽても良 、し、その値を出力する確率密度分布を用いても良!、。
[0075] 音圧 3aと特徴量 3bは、 "Expectation Maximization" (EM)アルゴリズムなどを用い て予め学習して用意する（非特許文献 1)。また、 EMアルゴリズムを用いてクラスター を決定することちできる。
[0076] 次に、図 1及び図 2のフローチャートを参照して、本実施例の全体の動作について 詳細に説明する。
[0077] 入力信号を単位時間周期ごとに窓掛けして切り出し、フーリエ解析することによって 算出されたスペクトル量を、 X(f,t)で表す。ただし、 fは周波数方向の番号、 tは時間方 向の番号（フレーム番号）を示す。
[0078] 特徴量変換部 2で、入力信号から特徴量を算出する。ここで、特徴量として使用す るのは、
•スぺクトノレ、 •対数スペクトル、
•ケプストラム、
'ピッチ、
'パワー、
'この Δ (—階差分)量、
• Δ Δ (二階差分量）
などの量である。
[0079] 本実施例では、ケプストラムを特徴量とすることとする。ケプストラムは式 (3)で算出 される（ステップ Sl)。
[0080] C(t) = DCT[ log[X(t)] ] · · · (3)
[0081] ただし、
X(t)は X(f,t)を要素として持つベクトルである。
C(t)は C(i,t)を要素として持つベクトルである（ただし、 iはケプストラム次元を示す）
DCT[ ]は離散コサイン変換を示す。
[0082] 次のステップ S2及びステップ S3は、音声モデル格納部 3に格納されている音声モ デルそれぞれに対して行われるものとする。音圧比較部 4において、入力信号の音 圧と音声モデルとの音圧の比較を行う（ステップ S2)。
[0083] 具体的には、ケプストラムの 0次成分が音圧の対数値の情報を表すことから、音声 モデルの持つケプストラムの 0次成分 (音声モデル格納部 3の音圧 3a)と、特徴量変 換部 2で算出された入力信号のケプストラムの 0次成分 C(0,t)との差を算出する。
[0084] μ — C(0,t) · ' ·(4)
o,j
[0085] ただし、 μ は、 j番目の音声モデルが持つケプストラムの 0次成分 (音声モデル格
o,j
納部 3の音圧 3a)を示す。
[0086] 次に、距離算出部 5において、入力信号の特徴量と音声モデルの持つ特徴量との 距離を算出する。（ステップ S3)。
[0087] 次に、ゲイン値算出部 6において、モデルそれぞれに対し音圧比較部 4で算出され ケプストラムの 0次成分の差と、距離算出部 5で算出された距離とからゲインを推定す る（ステップ S4)。
[0088] 具体的には、まず音声モデル jの選ばれる確率 (正規化された尤度) P(j|C(t))を次式 で求める。
[0089] P0'|C(t))= d[C(t), μ 1 /∑ d[C(t), ] · ' ·(5)
j J Γ
[0090] 式（5)において、 d[C(t), μ は、入力信号の特徴量 (ケプストラム）と、潘目の音声 モデルの持つ特徴量との距離を示す。この距離は距離算出部 5で計算される (0次ケ プストラムは含まない)。また、式（5)の分母の j'は、音声モデルを示し、 j'に関する距 離 d[C(t), ]の和は、複数の音声モデルに関しての和を示す。この和は、音声モデ ル格納部 3に格納されている、全ての音声モデルに対して行っても良い。あるいは、 距離の近い上位数個に関して行うなどしても良い。なお、式（5)の確率の導出は、ケ プストラム以外の特徴量を用いて計算してもよ!/、ことは勿論である。
[0091] 次に、この確率 P(j|C(t》を用いて音声モデルそれぞれに対し重み付き平均 (期待値 )を取ることで、ゲイン g(t)の値を算出する。
[0092] g (t)= βχρ[∑{(^ — C(0,t》 P(j|C(t))}] · ' ·(6)
j 0,j
[0093] 上式（6)において、 exp[ ]を施すのは、式（3)で log[ ]を施し対数領域の量に変形し ているのを、元に戻すためである。
[0094] 上式（6)において、 jに関する和は、複数のモデルに関しての和を示す。この和は、 式（5)と同じモデルに関して行われる。
[0095] また、本実施例では、ケプストラムの 0次の項の差を、単位時間毎の入力信号と音 声モデルそれぞれとの距離に応じて、重み付け平均する例を示したが、式 (6)の代 わりに、次式（7)に示すように、ケプストラムの 0次の項の差に、 exp[ ]を施し、音圧の 比に戻してから、単位時間毎の入力信号と音声モデルそれぞれとの距離に応じて重 み付け平均するようにしてもょ 、。
[0096] g (t)=∑ {exp[ μ - C(0,t)] P(j|C(t))} · · · (7)
j 0,j
[0097] また、単位時間毎の入力信号 (の特徴量)との距離が最も近 、音声モデルに対する ケプストラムの 0次の項の差から、ゲイン g(t)を算出しても良 、。
[0098] g (t)= βχρ[ ^ — C(0,t)] · ' ·(8)
0,k
[0099] ただし、 kは単位時間毎の入力信号との距離が最も近い音声モデルを示す。 [0100] 最後に、音圧補正部 7は、ゲイン値算出部 6で算出されたゲイン g (t)と、入力信号 f,t)の積を取り、入力信号の音圧レベルを補正する (ステップ S5)。
[0101] Y(f,t) = g(t) X(f,t) · ' ·(9)
[0102] ただし、 Y(f,t)は補正された信号を示す。 Y(f,t)〖こお 、て、 X(f,t)と同様、 fは周波数方 向の番号、 tは時間方向の番号（フレーム番号）を示す。
[0103] 本実施例では、入力信号を単位時間毎に切り出した単位であるフレーム毎に音圧 レベルを補正する例を示した力 ゲイン g(t)に関して複数のフレームに対して、平滑 化又は平均を取るなどして、複数のフレームに対して音圧レベルを補正しても良い。
[0104] 次に、本実施例の作用効果について説明する。
[0105] 本実施例によれば、予め所定の音圧の音声で学習された音声モデルを使用するこ とにより、図 3に示すように、音素毎の音圧の違いを反映することができる。
[0106] また、本実施例によれば、音声モデルを使用することにより、不要な雑音を強調す ることなく、目的とする音声を正しく強調することができる。
[0107] さらに、本実施例によれば、ゲインの算出に、単位時間毎の入力信号と音声モデル それぞれとの距離に応じた重み付き平均を用いることにより、全ての音素毎に、複数 の音圧のモデルを用意する、あるいは、複数回の推定を行う必要が無くなるために、 少な!/、容量及び計算コストで済む。
[0108] <実施例 2>
図 4は、本発明の第 2の実施例の構成を示す図である。図 4を参照すると、本発明 の第 2の実施例において、音声モデル格納部 3'は、音素毎又は音声を分割したクラ スター単位毎に、音圧と特徴量と、音声モデルの出現頻度 (事前確率)とを含む。す なわち、音声モデル格納部 3'には、第 1の実施例の音声モデル格納部 3に、出力頻 度情報が追加されている。また、本発明の第 2の実施例において、ゲイン値算出部 6 'は、音声モデルそれぞれに対し、音圧比較部 4によって算出された音圧の比と、音 圧モデルそれぞれに対し、距離算出部 5で算出された距離と、音声モデルそれぞれ の出現頻度 (事前確率)と、力 ゲインを算出する。
[0109] 音声モデル格納部 3'に格納されている音声モデルは、それぞれ音圧 3aと特徴量 3 bと出現頻度（事前確率) 3cと、カゝら構成される。特に制限されないが、本実施例では 、音声モデルとして、 GMMを用いる。 GMM以外にも、音声認識用に用いられる H
MMなどを用いることもできる。
[0110] 音圧 3aとしては、前記実施例と同様、ケプストラムの 0次を用いる。また、特徴量 3b としては、音声を特徴量に変換した値そのものを用いても良いし、その値を出力する 確率密度分布を用いても良い。
[0111] また、出現頻度 (事前確率） 3cは、複数の音声モデルの中で、対象とする音声モデ ルが出現する頻度である。
[0112] 音圧 3a、特徴量 3b、出現頻度（事前確率） 3cは、 Expectation Maximization (EM) アルゴリズムなどを用いて学習しておく（非特許文献 1)。
[0113] 本実施例は、前記第 1の実施例に対し、ステップ S4のゲイン値算出での処理が置 き換わったものになっている。
[0114] ゲイン値算出部 6'では、音声モデルそれぞれに対し音圧比較部 4で算出されケプ ストラムの 0次成分の差と、音声モデルそれぞれに対して、距離算出部 5で算出され た距離と、対応する音声モデルの出現頻度 3cとから、ゲインを推定する。
[0115] 具体的には、まず音声モデル jの選ばれる確率 (事後確率)を算出する。
[0116] P0'|C(t))= P0) d[C(t), μ ] / ∑ Ρθ") d[C(t), μ ] · · · (10)
j j j
[0117] 式（10)において、 d[C(t), μ ]は、入力信号の特徴量 (ケプストラム）と潘目の音声モ
J
デルの持つ特徴量との距離を示す (C(t)にお 、て C(0,t)は除かれる)。
[0118] P(j)は、潘目の音声モデルの出現頻度を示す。
[0119] 分母の』 に関する和 {∑ P0" ) d[C(t), μ ,]}は、複数の音声モデルに関しての和を 示す。この和は、音声モデル格納部 3'に格納されている全ての音声モデルに対して 行っても良 、し、距離の近 、上位数個に関して行うなどしても良 、。
[0120] この確率 P(j|C(t》を用いて音声モデルそれぞれに対し重み付き平均 (期待値)を取 ることでゲイン値を算出する。具体的には、前記第 1の実施例と同様、式 (6)、 （7)又 は式 (8)を用いて算出する。
[0121] 次に、本実施例の作用効果について説明する。
[0122] 前記第 1の実施例に対して、音声モデルの選ばれる確率を求める際に、予め学習 によって用意した出現頻度 (事前確率)の情報を用いることで、音素の特徴を正確に 推定できる。
[0123] <実施例 3 >
図 5は、本発明の第 3の実施例の構成を示す図である。図 5を参照すると、本発明 の第 3の実施例は、前記第 1の実施例に加えて、入力信号から雑音成分を取得する 雑音推定部 8と、入力信号と雑音推定部 8で推定された雑音から、音声を推定して出 力するクリーン音声推定部 9をさらに備えて 、る。
[0124] 雑音推定部 8では、例えば入力信号の最初の数フレームを非音声区間とみなし、こ の区間での入力信号の平均値から雑音を推定する。
[0125] クリーン音声推定部 9では、非特許文献 6に示すスペクトル減算法などの雑音抑圧 手法を用いて、入力音声と、雑音推定部 8で得られた雑音成分の情報から、雑音成 分を除去したクリーンな音声を推定して出力する。なお、スペクトル減算法とは、スぺ タトル領域で周波数成分毎に入力信号から雑音成分を減算する手法である。
[0126] 特徴量変換部 2は、クリーン音声推定部 9から出力される、雑音成分を抑圧したタリ ーン音声を入力し、クリーン音声の特徴量及び音圧を取り出す。
[0127] 本発明の第 3の実施例によれば、図 1の第 1の実施例 (雑音推定部 8、クリーン音声 推定部 9を無し)と比べて、雑音成分を強調することなぐ目的とする音声を正しく強 調することができる。
[0128] <実施例 4>
次に、本発明の第 4の実施例について説明する。図 5に示した前記第 3の実施例で は、音圧補正部 7は、ゲイン値算出部 6で算出されたゲインを用いて入力信号の音圧 を補正している。これに対して、図 6を参照すると、本発明の第 4の実施例では、音圧 補正部 7は、ゲイン値算出部 6で算出されたゲインを用いて、クリーン音声推定部 9で 推定されたクリーン音声の音圧を補正する。
[0129] <実施例 5 >
次に、本発明の第 5の実施例について説明する。図 7を参照すると、本発明の第 5 の実施例は、図 1の第 1の実施例において、ゲインを用いて入力信号の音圧を補正 する音圧補正部 7を、ゲインと入力信号とから、音声認識で使用する特徴量を算出す る第二の特徴量変換部 10に置き換えたものである。他の構成は、前記第 1の実施例 と同様である。
[0130] 入力信号から特徴量を算出する特徴量変換部 2と、ゲインと入力信号から特徴量を 算出する第二の特徴量変換部 10とでは、異なる特徴量を使用しても良い。
[0131] 例えば、特徴量変換部 10では、音圧に依存しな 、量を特徴量とし、ゲイン制御をし た上で、特徴量変換部 2では音圧に依存する特徴量を使用することもできる。
[0132] <実施例 6 >
次に、本発明の第 6の実施例について説明する。前記第 5の実施例では、第二の 特徴量変換部 10は、ゲイン値算出部 6で算出されたゲインと入力信号とから音声認 識で使用する特徴量を算出している。図 8を参照すると、本発明の第 6の実施例では 、第二の特徴量変換部 10は、ゲイン値算出部 6によって算出されたゲインを用いて、 特徴量変換部 2で算出された特徴量を補正し、音声認識で使用する第二の特徴量と する。例えば第二の特徴量変換部 10は、特徴量変換部 2で算出された特徴量に、ゲ インを乗する等の処理を行う。
[0133] <実施例 7>
次に、本発明の第 7の実施例について説明する。本発明の第 7の実施例は、図 11 に示すような音声モデルを雑音に適応させる手法において、前記第 1の実施例のゲ イン算出部 6で算出されたゲインを用いて、図 11に示すレベル調整係数を求める構 成となっている。また、入力信号を切り出した時間単位毎にゲイン値算出部 6で算出 されたゲインを直接用いるのではなぐ複数フレーム及び複数発声に渡って平均化し ても良い。また、前記第 1乃至第 6までの実施例は、互いに組み合わせて使用するこ とちでさる。
[0134] 本発明によれば、音声の音圧を一定にでき、聞き易い明瞭な音声の通信及び録音 ができる。
[0135] また、音声認識システムと組み合わせて用いることで、音声の音圧の変動に頑健な 認識が可能となる。また、補聴器などにも応用可能である。
[0136] 以上、本発明を上記実施例に即して説明した力 本発明は上記実施例の構成にの み制限されるものでなぐ本発明の範囲内で当業者であればなし得るであろう各種変 形、修正を含むことは勿論である。

Claims

請求の範囲
[1] 入力信号の音圧を調整し出力するゲイン制御システムであって、
前記入力信号を単位時間毎に切り出し、前記単位時間毎に切り出された入力信号 を、音素、又は、音声をクラスターに分割した単位に類別する手段と、
前記単位時間毎に切り出された入力信号の音圧が、音素毎、又はクラスター単位 毎に設定した音圧に一致するようにゲインを算出する手段と、
前記算出されたゲインを用いて、前記単位時間毎、又は複数単位時間に渡って、 前記入力信号の音圧を制御する手段と、
を備えている、ことを特徴とするゲイン制御システム。
[2] 前記単位時間毎に切り出された入力信号から特徴量を分析する手段を備え、前記 特徴量のうち音圧に依存する特徴量を、前記入力信号の音圧とする、ことを特徴とす る請求項 1記載のゲイン制御システム。
[3] 入力信号の音圧を調整し出力するゲイン制御システムであって、
入力デバイス力 入力される音声信号を取得し単位時間毎に切り出す入力信号取 得部と、
前記単位時間毎に切り出された入力信号から特徴量及び音圧を算出する特徴量 変換部と、
複数の音素毎、又は音声をクラスターに分割した単位毎に、特徴量と音圧の情報 を持つ音声モデルを格納する音声モデル格納部と、
前記単位時間毎に切り出された入力信号の特徴量と、前記音声モデル格納部に 格納されている前記音声モデルそれぞれの特徴量との距離を算出する距離算出部 と、
前記単位時間毎に切り出された入力信号の音圧と、前記音声モデル格納部に格 納されている前記音声モデルそれぞれの音圧との比を算出する音圧比較部と、 前記音声モデルそれぞれに対して算出された、距離と、音圧の比とに基づき、ゲイ ンを算出するゲイン値算出部と、
前記ゲイン値算出部で算出されたゲインを用いて、単位時間毎に切り出された入 力信号の音圧を補正する音圧補正部と、 を含む、ことを特徴とするゲイン制御システム。
[4] 前記音声モデル格納部が、音声モデルの出現頻度情報をさらに記憶保持しており 前記ゲイン値算出部は、前記音声モデルそれぞれに対し算出された、距離と、音 圧の比と、前記音声モデル格納部に格納されて 、る音声モデルそれぞれの出現頻 度と、力もゲインを算出する、ことを特徴とする請求項 3記載のゲイン制御システム。
[5] 前記ゲイン値算出部において、単位時間毎に切り出された入力信号と音声モデル との距離を用いて、単位時間毎に切り出された入力信号と音声モデルとの音圧の比 を音素、又は、音声をクラスターに分割した単位について、重み付き平均することで、 ゲインを算出する、ことを特徴とする請求項 3又は 4記載のゲイン制御システム。
[6] 前記入力信号から雑音成分を取得する雑音推定部と、
前記入力信号から前記雑音推定部で推定された雑音成分を抑圧した信号を算出 し、雑音成分を抑圧した信号を出力するクリーン音声推定部と、
を備え、
前記特徴量変換部は、前記クリーン音声推定部から出力される、雑音成分を抑圧 した信号を入力し、入力した信号の特徴量及び音圧を取り出す、ことを特徴とする請 求項 3乃至 5のいずれか一記載のゲイン制御システム。
[7] 前記音圧補正部が、前記クリーン音声推定部から出力される、雑音成分を抑圧した 信号を入力し、音圧を補正する、ことを特徴とする請求項 6記載のゲイン制御システ ム。
[8] 前記音圧補正部が、前記単位時間毎に求めたゲインを、複数の前記単位時間に 渡って、平滑化又は平均化し、複数の前記単位時間に渡って音圧を制御する、こと を特徴とする請求項 3乃至 5のいずれか一記載のゲイン制御システム。
[9] 請求項 3乃至 8の 、ずれか一に記載のゲイン制御システムが、
前記音圧補正部のかわりに、
前記ゲイン値算出部で算出されたゲインと、前記入力信号とから音声認識で使用 する特徴量を算出する第二の特徴量変換部を備え、
前記第二の特徴量変換部で算出された特徴量を用いて音声認識を行う、ことを特 徴とする音声認識システム。
[10] 請求項 3乃至 8のいずれか一に記載の前記ゲイン制御システムが、
前記音圧補正部のかわりに、
前記ゲイン値算出部で算出されたゲインを用いて、前記特徴量変換部で求められ た特徴量を補正し、音声認識で使用する特徴量を算出する第二の特徴量変換部を 備え、
前記第二の特徴量変換部で算出された特徴量を用いて音声認識を行う、ことを特 徴とする音声認識システム。
[11] 算出されたゲインを基に、音声モデルを雑音に適応させ、前記雑音に適応した音 声モデルを用いて音声認識を行う手段を備えて ヽる、ことを特徴とする請求項 9又は 10記載の音声認識システム。
[12] 入力信号の音圧を調整し出力するゲイン制御方法であって、
入力信号を単位時間毎に切り出し、
前記単位時間毎に切り出された入力信号を、音素単位、又は、音声をクラスターに 分割した単位に類別し、
前記単位時間毎に切り出された入力信号の音圧が、音素毎、又はクラスター単位 毎に設定した音圧に一致するようにゲインを算出し、
前記単位時間毎、又は複数単位に渡って音圧を制御する、ことを特徴とするゲイン 制御方法。
[13] 入力信号の音圧を調整し出力するゲイン制御方法であって、
音素毎又は音声をクラスターに分割した単位毎に、特徴量と音圧の情報を持つ音 声モデルを音声モデル格納部に格納しておき、
入力デバイス力 入力される音声信号を取得し単位時間毎に切り出す工程と、 前記単位時間毎に切り出された入力信号から特徴量及び音圧を算出する工程と、 前記単位時間毎に切り出された入力信号の特徴量と、前記音声モデル格納部に 格納されている前記音声モデルそれぞれの特徴量との距離を算出する工程と、 前記単位時間毎に切り出された入力信号の音圧と、前記音声モデル格納部に格 納されている前記音声モデルそれぞれの音圧との比を算出する工程と、 前記音声モデルそれぞれに対して算出された、距離及び音圧の比に基づき、ゲイ ンを算出する工程と、
前記算出されたゲインを用いて、単位時間毎に切り出された入力信号の音圧を補 正する工程と、
を含む、ことを特徴とするゲイン制御方法。
[14] 前記音声モデル格納部が、音声モデルの出現頻度情報をさらに記憶保持しており 前記ゲインを算出する工程において、前記音声モデルそれぞれに対し算出された 、距離と、音圧の比と、前記音声モデル格納部に格納されている音声モデルそれぞ れの出現頻度と、からゲインを算出する、ことを特徴とする請求項 13記載のゲイン制 御方法。
[15] 前記ゲインを算出する工程において、単位時間毎に切り出された入力信号と音声 モデルとの距離を用いて、単位時間毎に切り出された入力信号と音声モデルとの音 圧の比を音素、又は、音声をクラスターに分割した単位について、重み付き平均する ことで、ゲインを算出する、ことを特徴とする請求項 13又は 14記載のゲイン制御方法
[16] 前記入力信号から雑音成分を取得する工程と、
前記入力信号から前記雑音推定部で推定された雑音成分を抑圧した信号を算出 し、雑音成分を抑圧した信号を出力する工程と、
を含み、
前記特徴量を算出する工程では、前記雑音成分を抑圧した信号を前記入力信号 として入力し、特徴量及び音圧を取り出す、ことを特徴とする請求項 13乃至 15のい ずれか一記載のゲイン制御方法。
[17] 前記音圧を補正する工程が、前記雑音成分を抑圧した信号を入力し、音圧を補正 する、ことを特徴とする請求項 16記載のゲイン制御方法。
[18] 前記音圧を補正する工程が、前記単位時間毎に求めたゲインを、複数の前記単位 時間に渡って、平滑化又は平均化し、複数の前記単位時間に渡って音圧を制御す る、ことを特徴とする請求項 13乃至 15のいずれか一記載のゲイン制御方法。
[19] 前記音圧を補正する工程の代わりに、算出されたゲインと入力信号力 音圧の調 整がなされた特徴量を算出する工程を含む、ことを特徴とする請求項 13記載ののゲ イン制御方法。
[20] 入力信号の音圧を調整し出力するゲイン制御を行うコンピュータに、
入力信号を単位時間毎に切り出し、前記単位時間毎に切り出された入力信号を、 音素単位、又は、音声をクラスターに分割した単位に類別する処理、
前記単位時間毎に切り出された入力信号の音圧が、音素毎、又はクラスター単位 毎に設定した音圧に一致するようにゲインを算出し、前記単位時間毎、又は複数単 位に渡って音圧を制御する処理、
を実行させるプログラム。
[21] 入力信号の音圧を調整し出力するゲイン制御を行うコンピュータであって、
音素毎又は音声をクラスターに分割した単位毎に、特徴量と音圧の情報を持つ音 声モデルを格納して 、る音声モデル格納部を備え、
音素毎又は音声をクラスターに分割した単位毎に、特徴量と音圧の情報を持つ音 声モデルを音声モデル格納部に格納しておく処理と、
入力デバイス力 入力される音声信号を取得し単位時間毎に切り出す処理と、 前記単位時間毎に切り出された入力信号から特徴量及び音圧を算出する処理と、 前記単位時間毎に切り出された入力信号の特徴量と、前記音声モデル格納部に 格納されている前記音声モデルそれぞれの特徴量との距離を算出する処理と、 前記単位時間毎に切り出された入力信号の音圧と、前記音声モデル格納部に格 納されている前記音声モデルそれぞれの音圧との比を算出する処理と、
前記音声モデルそれぞれに対して算出された、距離及び音圧の比に基づき、ゲイ ンを算出する処理と、
前記算出されたゲインを用いて、単位時間毎に切り出された入力信号の音圧を補 正する処理と、
を前記コンピュータに実行させるプログラム。
[22] 請求項 21記載のプログラムにおいて、
前記音声モデル格納部が、音声モデルの出現頻度情報をさらに記憶保持しており 前記ゲインを算出する処理において、前記音声モデルそれぞれに対し算出された 、距離と、音圧の比と、前記音声モデル格納部に格納されている音声モデルそれぞ れの出現頻度と、力もゲインを算出する処理を、前記コンピュータに実行させるプログ ラム。
[23] 請求項 21記載のプログラムにおいて、
前記ゲインを算出する処理において、単位時間毎に切り出された入力信号と音声 モデルとの距離を用いて、単位時間毎に切り出された入力信号と音声モデルとの音 圧の比を音素、又は、音声をクラスターに分割した単位について、重み付き平均する ことで、ゲインを算出する処理を、前記コンピュータに実行させるプログラム。
[24] 請求項 21記載のプログラムにおいて、
前記入力信号から雑音成分を取得する処理と、
前記入力信号から前記雑音推定部で推定された雑音成分を抑圧した信号を算出 し、雑音成分を抑圧した信号を出力する処理と、
前記特徴量を算出する処理において、前記雑音成分を抑圧した信号を前記入力 信号として入力し、特徴量及び音圧を取り出す処理と、
を、前記コンピュータに実行させるプログラム。
[25] 請求項 21記載のプログラムにおいて、
前記音圧を補正する処理が、前記雑音成分を抑圧した信号を入力し、音圧を補正 する処理を、前記コンピュータに実行させるプログラム。
[26] 請求項 21記載のプログラムにおいて、
前記音圧を補正する処理が、前記単位時間毎に求めたゲインを、複数の前記単位 時間に渡って、平滑化又は平均化し、複数の前記単位時間に渡って音圧を制御す る処理を、前記コンピュータに実行させるプログラム。
[27] 前記音圧を補正する処理の代わりに、算出されたゲインと入力信号から音圧の調 整がなされた特徴量を算出する処理を、前記コンピュータに実行させるプログラム。
[28] 予め所定の音圧の音声で学習され、各々が、音圧に依存する第 1の特徴量と第 2 の特徴量とを含む音声モデルを、音素毎又はクラスター単位で記憶する音声モデル 格納部と、
入力信号を単位時間毎に切り出して分析し特徴量を導出する手段と、 前記音声モデル格納部に格納されて!ヽる前記音声モデルの第 2の特徴量と、前記 入力信号の対応する特徴量との距離に基づき、それぞれの音声モデルが選ばれる 確率を算出し、前記入力信号の特徴量のうち音圧に依存する特徴量と、前記音声モ デル格納部に格納されて ヽる前記音声モデルの第 1の特徴量との差を、前記確率を 用いて、音声モデルそれぞれに対して重み付けしてゲインを算出する手段を、 備え、入力信号の音圧を予め学習によって用意された音声モデルの音素又はクラ スター毎の音圧に一致させる制御が行われる、ことを特徴とする、音声認識用のゲイ ン制御装置。
[29] 前記音声モデル格納部が、音声モデルの出現頻度をさらに記憶し、
前記音声モデル格納部に格納されて!ヽる音声モデルの前記第 2の特徴量と、前記 入力信号の対応する特徴量との距離と、音声モデルの出現頻度を用いて、それぞれ の音声モデルが選ばれる確率を算出する、ことを特徴とする、請求項 28記載の音声 認識用のゲイン制御装置。
[30] 予め所定の音圧の音声で学習され、各々が、音圧に依存する第 1の特徴量と第 2 の特徴量を含む音声モデルを、音素毎又はクラスター単位で記憶する音声モデル 格納部と、
入力信号を単位時間毎に切り出して分析し特徴量を導出する手段と、 音声モデルの第 2の特徴量に関して、単位時間毎の入力信号の特徴量との距離が 最も近い音声モデルを選択し、前記音声モデルの音圧に依存する第 1の特徴量と、 前記入力信号の特徴量のうち音圧に依存する特徴量との差に基づき、ゲインを算出 する手段を、
備え、入力信号の音圧を予め学習によって用意された音声モデルの音素又はクラ スター毎の音圧に一致させる制御が行われる、ことを特徴とする、音声認識用のゲイ ン制御装置。
[31] 前記音圧に依存する第 1の特徴量としてケプストラムの 0次成分を用い、
前記第 2の特徴量として、 0次成分以外のケプストラム、スペクトル、対数スペクトル 、ピッチ、パワー、これらのいずれかの一階又は二階の差分量のうち、少なくとも 1つ を用いる、請求項 28乃至 30のいずれか一に記載の音声認識用のゲイン制御装置。
[32] 予め所定の音圧の音声で学習された音声モデルを音声モデル格納部に記憶して おさ、
前記音声モデル格納部を参照し、入力信号の音圧と音声モデルの音圧の比較、 及び、前記入力信号の特徴量と音声モデルの持つ特徴量との距離の算出を、前記 音声モデル格納部に格納されている音声モデルそれぞれに対して行う手段と、 前記音圧の比較結果と前記特徴量の距離とからゲインを算出する手段と、 を備えている、ことを特徴とするゲイン制御装置。
[33] 予め所定の音圧の音声で学習された音声モデルを記憶して 、る音声モデル格納 部を参照し、入力信号の音圧と音声モデルの音圧の比較、及び、前記入力信号の 特徴量と音声モデルの持つ特徴量との距離の算出を、前記音声モデル格納部に格 納されて 、る音声モデルそれぞれに対して行 、、
前記音圧の比較結果と前記特徴量の距離とからゲインを算出する、
上記各工程を含む、ことを特徴とするゲイン制御方法。
[34] 予め所定の音圧の音声で学習された音声モデルを記憶して 、る音声モデル格納 部を参照可能なコンピュータに、
前記音声モデル格納部を参照し、入力信号の音圧と音声モデルの音圧の比較、 及び、前記入力信号の特徴量と音声モデルの持つ特徴量との距離の算出を、前記 音声モデル格納部に格納されている音声モデルそれぞれに対して行う処理と、 前記音圧の比較結果と前記特徴量の距離とからゲインを算出する処理と、 を実行させるプログラム。
PCT/JP2007/050491 2006-06-02 2007-01-16 ゲイン制御システム、ゲイン制御方法及びゲイン制御プログラム WO2007141923A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2007800204844A CN101460996B (zh) 2006-06-02 2007-01-16 增益控制系统和增益控制方法
US12/227,902 US8401844B2 (en) 2006-06-02 2007-01-16 Gain control system, gain control method, and gain control program
JP2008520138A JP5262713B2 (ja) 2006-06-02 2007-01-16 ゲイン制御システム、ゲイン制御方法及びゲイン制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006154994 2006-06-02
JP2006-154994 2006-06-02

Publications (1)

Publication Number Publication Date
WO2007141923A1 true WO2007141923A1 (ja) 2007-12-13

Family

ID=38801190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/050491 WO2007141923A1 (ja) 2006-06-02 2007-01-16 ゲイン制御システム、ゲイン制御方法及びゲイン制御プログラム

Country Status (4)

Country Link
US (1) US8401844B2 (ja)
JP (1) JP5262713B2 (ja)
CN (1) CN101460996B (ja)
WO (1) WO2007141923A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053569A (ja) * 2009-09-03 2011-03-17 Nippon Hoso Kyokai <Nhk> 音響処理装置およびプログラム
CN101771390B (zh) * 2008-12-30 2013-03-06 英业达股份有限公司 声音输出输入系统及其音量输出调整方法
JP2014052553A (ja) * 2012-09-07 2014-03-20 Panasonic Corp 音量補正装置
CN104067340A (zh) * 2012-01-27 2014-09-24 三菱电机株式会社 用于增强混合信号中的语音的方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101726738B1 (ko) * 2010-12-01 2017-04-13 삼성전자주식회사 음성처리장치 및 그 방법
JP2013153307A (ja) * 2012-01-25 2013-08-08 Sony Corp 音声処理装置および方法、並びにプログラム
US9336775B2 (en) * 2013-03-05 2016-05-10 Microsoft Technology Licensing, Llc Posterior-based feature with partial distance elimination for speech recognition
US9933990B1 (en) * 2013-03-15 2018-04-03 Sonitum Inc. Topological mapping of control parameters
EP3414922B1 (en) * 2016-02-09 2020-11-25 Sonova AG A method of performing real ear measurements by placing a probe element at an intended position from a tympanic membrane of an individual's ear canal and a measuring system configured to carry out such method.
CN108024186B (zh) * 2016-11-02 2020-07-10 宏碁股份有限公司 助听器及其宽动态范围压缩的恢复时间动态调整方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424697A (ja) * 1990-05-18 1992-01-28 Matsushita Electric Ind Co Ltd 音声認識装置
JPH06149289A (ja) * 1992-11-09 1994-05-27 Ricoh Co Ltd 音声認識装置
JP2004139049A (ja) * 2002-09-24 2004-05-13 Matsushita Electric Ind Co Ltd 話者正規化方法及びそれを用いた音声認識装置
JP2004325897A (ja) * 2003-04-25 2004-11-18 Pioneer Electronic Corp 音声認識装置及び音声認識方法
JP2005258186A (ja) * 2004-03-12 2005-09-22 Advanced Telecommunication Research Institute International 周波数特性等化装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01236000A (ja) 1988-03-16 1989-09-20 Nec Corp 音声認識装置
US6154549A (en) * 1996-06-18 2000-11-28 Extreme Audio Reality, Inc. Method and apparatus for providing sound in a spatial environment
JP3393532B2 (ja) 1997-03-14 2003-04-07 日本電信電話株式会社 録音音声の音量正規化方法およびこの方法を実施する装置
US6353671B1 (en) * 1998-02-05 2002-03-05 Bioinstco Corp. Signal processing circuit and method for increasing speech intelligibility
JP3797003B2 (ja) 1999-03-05 2006-07-12 オムロン株式会社 音声出力装置
JP2000349865A (ja) * 1999-06-01 2000-12-15 Matsushita Electric Works Ltd 音声通信装置
CN1207664C (zh) * 1999-07-27 2005-06-22 国际商业机器公司 对语音识别结果中的错误进行校正的方法和语音识别系统
US7558391B2 (en) * 1999-11-29 2009-07-07 Bizjak Karl L Compander architecture and methods
JP4256631B2 (ja) 2002-06-03 2009-04-22 パナソニック株式会社 オートゲインコントロール装置
CN1312656C (zh) * 2002-09-24 2007-04-25 松下电器产业株式会社 说话人标准化方法及用该方法的语音识别装置
JP4282317B2 (ja) * 2002-12-05 2009-06-17 アルパイン株式会社 音声通信装置
JP4583781B2 (ja) * 2003-06-12 2010-11-17 アルパイン株式会社 音声補正装置
JP2005070430A (ja) * 2003-08-25 2005-03-17 Alpine Electronics Inc 音声出力装置および方法
US7539614B2 (en) 2003-11-14 2009-05-26 Nxp B.V. System and method for audio signal processing using different gain factors for voiced and unvoiced phonemes
US7483831B2 (en) * 2003-11-21 2009-01-27 Articulation Incorporated Methods and apparatus for maximizing speech intelligibility in quiet or noisy backgrounds
US8103007B2 (en) * 2005-12-28 2012-01-24 Honeywell International Inc. System and method of detecting speech intelligibility of audio announcement systems in noisy and reverberant spaces
JP2008032834A (ja) 2006-07-26 2008-02-14 Toshiba Corp 音声翻訳装置及びその方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424697A (ja) * 1990-05-18 1992-01-28 Matsushita Electric Ind Co Ltd 音声認識装置
JPH06149289A (ja) * 1992-11-09 1994-05-27 Ricoh Co Ltd 音声認識装置
JP2004139049A (ja) * 2002-09-24 2004-05-13 Matsushita Electric Ind Co Ltd 話者正規化方法及びそれを用いた音声認識装置
JP2004325897A (ja) * 2003-04-25 2004-11-18 Pioneer Electronic Corp 音声認識装置及び音声認識方法
JP2005258186A (ja) * 2004-03-12 2005-09-22 Advanced Telecommunication Research Institute International 周波数特性等化装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771390B (zh) * 2008-12-30 2013-03-06 英业达股份有限公司 声音输出输入系统及其音量输出调整方法
JP2011053569A (ja) * 2009-09-03 2011-03-17 Nippon Hoso Kyokai <Nhk> 音響処理装置およびプログラム
CN104067340A (zh) * 2012-01-27 2014-09-24 三菱电机株式会社 用于增强混合信号中的语音的方法
JP2015501002A (ja) * 2012-01-27 2015-01-08 三菱電機株式会社 混合信号における音声を強調する方法
JP2014052553A (ja) * 2012-09-07 2014-03-20 Panasonic Corp 音量補正装置

Also Published As

Publication number Publication date
US20090259461A1 (en) 2009-10-15
US8401844B2 (en) 2013-03-19
CN101460996B (zh) 2012-10-31
CN101460996A (zh) 2009-06-17
JPWO2007141923A1 (ja) 2009-10-15
JP5262713B2 (ja) 2013-08-14

Similar Documents

Publication Publication Date Title
JP5262713B2 (ja) ゲイン制御システム、ゲイン制御方法及びゲイン制御プログラム
JP4765461B2 (ja) 雑音抑圧システムと方法及びプログラム
US9542937B2 (en) Sound processing device and sound processing method
JP5949553B2 (ja) 音声認識装置、音声認識方法、および音声認識プログラム
JP5242782B2 (ja) 音声認識方法
JP2005249816A (ja) 信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラム
WO2005124739A1 (ja) 雑音抑圧装置および雑音抑圧方法
JP5150542B2 (ja) パターン認識装置、パターン認識方法、及び、プログラム
US7930178B2 (en) Speech modeling and enhancement based on magnitude-normalized spectra
JP4705414B2 (ja) 音声認識装置、音声認識方法、音声認識プログラムおよび記録媒体
CN109155128B (zh) 声学模型学习装置、声学模型学习方法、语音识别装置和语音识别方法
Obuchi et al. Normalization of time-derivative parameters using histogram equalization.
JP4464797B2 (ja) 音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体
JP4058521B2 (ja) 背景雑音歪みの補正処理方法及びそれを用いた音声認識システム
JP5233330B2 (ja) 音響分析条件正規化システム、音響分析条件正規化方法および音響分析条件正規化プログラム
Obuchi et al. Normalization of time-derivative parameters for robust speech recognition in small devices
WO2016092837A1 (ja) 音声処理装置、雑音抑圧装置、音声処理方法および記録媒体
WO2022190615A1 (ja) 信号処理装置および方法、並びにプログラム
JP6128287B1 (ja) 音声認識装置および音声認識方法
BabaAli et al. A model distance maximizing framework for speech recognizer-based speech enhancement
JP3790155B2 (ja) 音声認識装置、音声認識方式及び音声認識プログラム
JP4560899B2 (ja) 音声認識装置、及び音声認識方法
JP3205141B2 (ja) 音声分析方式
Sehr et al. Model-based dereverberation of speech in the mel-spectral domain
Kim et al. Fast speech adaptation in linear spectral domain for additive and convolutional noise

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780020484.4

Country of ref document: CN

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07706818

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008520138

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12227902

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 07706818

Country of ref document: EP

Kind code of ref document: A1