WO2011024572A1 - 音声特徴量抽出装置、音声特徴量抽出方法、及び音声特徴量抽出プログラム - Google Patents

音声特徴量抽出装置、音声特徴量抽出方法、及び音声特徴量抽出プログラム Download PDF

Info

Publication number
WO2011024572A1
WO2011024572A1 PCT/JP2010/061800 JP2010061800W WO2011024572A1 WO 2011024572 A1 WO2011024572 A1 WO 2011024572A1 JP 2010061800 W JP2010061800 W JP 2010061800W WO 2011024572 A1 WO2011024572 A1 WO 2011024572A1
Authority
WO
WIPO (PCT)
Prior art keywords
delta
spectrum
mel
filter bank
feature quantity
Prior art date
Application number
PCT/JP2010/061800
Other languages
English (en)
French (fr)
Inventor
治 市川
福田　隆
雅史 西村
Original Assignee
インターナショナル・ビジネス・マシーンズ・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターナショナル・ビジネス・マシーンズ・コーポレーション filed Critical インターナショナル・ビジネス・マシーンズ・コーポレーション
Priority to US13/392,901 priority Critical patent/US8930185B2/en
Priority to DE112010003461.3T priority patent/DE112010003461B4/de
Priority to CN201080038121.5A priority patent/CN102483916B/zh
Priority to GB1202741.3A priority patent/GB2485926B/en
Priority to KR1020127005189A priority patent/KR101332143B1/ko
Priority to JP2011528703A priority patent/JP5315414B2/ja
Publication of WO2011024572A1 publication Critical patent/WO2011024572A1/ja
Priority to US13/604,721 priority patent/US8468016B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Definitions

  • the present invention relates to a technique for extracting feature values from a speech signal, and more particularly to a technique for extracting delta and delta-delta feature values that are robust against reverberation and noise.
  • Noise recognition performance and reverberation performance of speech recognition devices are continuously improved, but recognition accuracy under severe conditions is still insufficient.
  • noise resistance for example, it is known that the recognition rate is extremely low under conditions where SN is extremely low such as high-speed driving with a window open in an automobile, or in an unsteady noise environment such as music or hustle and bustle.
  • reverberation resistance it is known that the recognition rate in places with a lot of reflection and reverberation such as concrete corridors and elevator halls is very low even in a situation where there is almost no noise.
  • a front-end method that removes reverberation and noise by pre-processing observation signals see, for example, Patent Documents 1 and 2).
  • a multi-style training method for learning an acoustic model using speech including reverberation and noise see, for example, Patent Document 3.
  • An adaptive method for converting a feature value or an acoustic model so that the observed speech and the acoustic model are matched see, for example, Patent Document 4).
  • a feature extraction method that uses feature quantities that are resistant to reverberation and noise for example, Non-Patent Document 1).
  • the above methods can be combined with other methods. For example, combining the methods (2), (3), and (4), using LDA as feature extraction, creating an acoustic model by multi-style training, and then applying adaptation by MLLR can be considered. . Therefore, it is important to improve each of the techniques (1) to (4) rather than any one of the above methods.
  • JP 2009-58708 A Japanese Patent Application Laid-Open No. 2004-347956 JP 2007-72481 A JP 2007-279444 A
  • Non-Patent Document 1 related to the present applicant can improve the accuracy of speech recognition by using the MFCC delta with a long window width exceeding the average phoneme duration as a feature amount. However, further improvements in performance are required in severe noise and reverberant environments.
  • the present invention has been made to solve the above-described problems, and provides a technique for extracting a stronger feature value from a speech signal by noise or reverberation in order to further improve the accuracy of speech recognition. Objective.
  • the inventor of the present application has studied to find stronger features due to noise and reverberation, and many of the conventionally used delta features, including MFCC deltas, can be considered as differences in the logarithmic domain.
  • logarithmic domain differences produce undesirable results in speech recognition in reverberant and noisy environments. Therefore, the present inventor further researched, and as a result, using the difference of the linear region, the problem that the newly generated dynamic range is not widely suitable for modeling and the problem that the transfer characteristic cannot be corrected, We came up with the idea of solving the problem by normalizing using the average of the spectrum for the entire utterance.
  • the spectrum for each frequency bin of the framed audio signal is input, and for each frame, between the previous and next frames, for each frequency bin.
  • First difference calculation means for calculating a difference of the spectrum as a delta spectrum, and for each frame, the delta spectrum for each frequency bin is the average of the spectrum for all frames that are the entire utterance for the frequency bin.
  • an audio feature quantity extraction device including first normalization processing means for normalizing by dividing by a function of a certain average spectrum, and using an output of the first normalization processing means as a delta feature quantity.
  • the function of the average spectrum may be the average spectrum itself.
  • the speech feature amount extraction apparatus normalizes each frame by multiplying the normalized delta spectrum for each frequency bin by the weight of the mel filter bank for each frame.
  • the first mel filter bank processing means for calculating the mel delta spectrum is further included, and the output of the first mel filter bank processing means is used as the delta feature quantity.
  • the speech feature amount extraction apparatus further includes first discrete cosine transform means for performing discrete cosine transform on the normalized mel delta spectrum for each filter bank, wherein the first discrete cosine transform means includes: The output is a delta feature value.
  • the first normalization processing means performs the normalization by performing logarithmic compression in addition to the division.
  • the first mel filter bank processing means assigns a weight to the harmonic structure portion in a voiced sound section instead of the weight of the mel filter bank.
  • a filter that is nearly flat is multiplied by the weight of the mel filter bank.
  • the speech feature quantity extraction device further includes MFCC calculation means for calculating an MFCC (Mel-Frequency Cepstrum Coefficient), wherein the MFCC is a static feature quantity.
  • MFCC Mel-Frequency Cepstrum Coefficient
  • the processing of the first mel filter bank processing means may be performed before the processing of the first normalization processing means.
  • the first normalization processing unit calculates the mel delta spectrum for each filter bank for each frame, and the average mel spectrum that is the average of the mel spectra for all frames that are the entire utterance for the filter bank. Normalize by dividing by the function of. And the said audio
  • the function of the average mel spectrum is the average mel spectrum itself.
  • the function of the average mel spectrum is the mel spectrum value for filter bank j of frame t and the average mel spectrum for filter bank j.
  • a larger value or a value close to the larger value may be output.
  • the speech feature quantity extraction device that uses the output of the first normalization processing means as a delta feature quantity, With the delta spectrum as an input, for each frame, a second difference calculation means for calculating a difference of the delta spectrum for each frequency bin between the preceding and succeeding frames as a delta delta spectrum, and for each frame, for each frequency bin
  • a second mel filter bank processing means for calculating the delta delta spectrum multiplied by the weight of the mel filter bank as a mel delta delta spectrum for each filter bank, and for each frame, for each filter bank
  • Second normalization processing means for normalizing the mel / delta delta spectrum by dividing it by a function of the average mel spectrum, and the output of the second normalization processing means is a delta-delta feature quantity.
  • the speech feature extraction device further includes first discrete cosine transform means for performing discrete cosine transform on the normalized mel delta spectrum for each filter bank, and the output of the first discrete cosine transform means Is the delta feature.
  • the speech feature quantity extraction device using the output of the first discrete cosine transform means as a delta feature quantity has the delta spectrum as an input, and for each frame, the delta for each frequency bin between the preceding and succeeding frames.
  • a second difference calculating means for calculating a difference in spectrum as a delta-delta spectrum, and for each frame, the delta-delta spectrum for each frequency bin multiplied by the weight of the mel-filter bank is summed to obtain a mel for each filter bank.
  • Second mel filter bank processing means for calculating as a delta delta spectrum, and for each frame, the second mel delta delta spectrum for each frame is normalized by dividing the mel delta delta spectrum for each filter bank by a function of the average mel spectrum Normalization processing means and the normalized frame;
  • Mel Delta Delta spectrum of each Rutabanku comprises discrete cosine further a second discrete cosine transform means for converting, and outputs the delta delta characteristic amount of the second discrete cosine transform means.
  • a value obtained by adding an average spectrum, which is an average of spectra for all frames, which is the entire speech, to the spectrum of each frame of the framed speech signal For each frame, the mel filter bank processing means for multiplying the value by the weight of the mel filter bank and summing up, and for each frame, obtain the logarithm of the output of the mel filter bank processing means Logarithm calculation means, discrete cosine transform means for discrete cosine transform of the output of the logarithm calculation means for each frame, and for each frame, the difference in the output of the discrete cosine transform means between the preceding and succeeding frames.
  • a first difference calculation means for calculating, and an output of the first difference calculation means as a delta feature value To provide an extraction device.
  • the spectrum of each frame of the framed speech signal is input, and the spectrum is multiplied by the weight of the Mel filter bank for each frame.
  • the mel filter bank processing means for calculating the mel spectrum by adding the mel spectrum and the mel spectrum of each frame are input, and an average mel spectrum that is an average of the mel spectra for all frames that are the entire speech is calculated.
  • Average calculation means logarithm calculation means for obtaining a logarithm of the value obtained by adding the average mel spectrum to the mel spectrum for each frame, and discrete cosine transform for performing discrete cosine transform on the output of the logarithm calculation means for each frame And for each of the frames, the discrete code between the preceding and succeeding frames.
  • a first difference calculation means for calculating a difference between the output of the in-converting means, the output of the first difference calculation means and the delta feature quantity, provides audio feature extractor.
  • the audio feature quantity extraction device is a second difference calculation unit that calculates, for each frame, a difference in output of the first difference calculation unit between previous and next frames.
  • the output of the second difference calculating means is a delta-delta feature quantity.
  • the present invention has been described above as a speech feature quantity extraction device.
  • the present invention describes a speech feature quantity extraction method, a processor, and a memory, which extract the speech feature quantities described above by a calculation process of a computer having a processor and a storage area. It can also be grasped as a speech feature amount extraction program for extracting the above-described speech feature amount, which is executed in a computer having a region.
  • the present invention can be combined with a technique for removing reverberation and noise such as a front end as described above.
  • the difference in the linear region can be used as the delta feature amount and the delta delta feature amount of the voice instead of the difference in the conventional logarithmic region, so that it is possible to extract a stronger feature amount due to reverberation and noise. As a result, the accuracy of voice recognition is increased.
  • Other effects of the present invention will be understood from the description of each embodiment.
  • FIG. 1A is a logarithmic axis graph showing attenuation of sound power recorded in a room with reverberation.
  • FIG. 1B is a linear axis graph representing the same audio power attenuation as FIG.
  • FIG. 2 shows an example of a voice spectrum recorded in a reverberant environment.
  • FIG. 3 is a diagram showing an example of a hardware configuration of a computer suitable for realizing the speech feature quantity extraction device according to the embodiment of the present invention.
  • FIG. 4 shows an example of the configuration of a general speech recognition apparatus.
  • FIG. 5 shows an example of a functional configuration of the static feature quantity calculation unit.
  • FIG. 6A shows the functional configuration of the delta feature quantity calculation unit of the speech feature quantity extraction apparatus according to the first embodiment of the present invention.
  • FIG. 6B shows a functional configuration of the delta-delta feature quantity extraction unit of the speech feature quantity extraction apparatus according to the first embodiment of the present invention.
  • FIG. 7A shows a functional configuration of the delta feature quantity calculation unit of the speech feature quantity extraction device according to the second embodiment of the present invention.
  • FIG. 7B shows a functional configuration of the delta-delta feature quantity extraction unit of the speech feature quantity extraction device according to the second embodiment of the present invention.
  • FIG. 8A shows the functional configuration of the delta feature quantity calculation unit of the speech feature quantity extraction device according to the third embodiment of the present invention.
  • FIG. 8B shows a functional configuration of the delta-delta feature quantity extraction unit of the speech feature quantity extraction apparatus according to the third embodiment of the present invention.
  • FIG. 9A is a flowchart showing an example of the flow of delta feature quantity extraction processing by the delta feature quantity calculation unit of the speech feature quantity extraction device according to the third embodiment of the present invention.
  • FIG. 9B is a flowchart showing an example of the flow of delta-delta feature quantity extraction processing by the delta-delta feature quantity calculation unit of the speech feature quantity extraction device according to the third embodiment of the present invention.
  • FIG. 10A is a graph showing an example of Mel-FB Weight.
  • FIG.10 (b) is a graph which shows an example of Local Peak Weight.
  • FIG. 10C is a graph showing an example of LPW-Mel-FB Weight.
  • FIG. 11 is a flowchart illustrating an example of the flow of creation processing of a Local Peak Weight.
  • FIG. 12A shows a functional configuration of the delta feature quantity calculation unit of the speech feature quantity extraction device according to the fourth embodiment of the present invention.
  • FIG. 12B shows a functional configuration of the delta feature quantity calculation unit of the speech feature quantity extraction device according to the fifth embodiment of the present invention.
  • FIG. 13A is a flowchart showing an example of the flow of delta feature quantity extraction processing by the delta feature quantity calculation unit of the speech feature quantity extraction device according to the fourth embodiment of the present invention.
  • FIG. 13B is a flowchart showing an example of the flow of delta feature quantity extraction processing by the delta feature quantity calculation unit of the speech feature quantity extraction device according to the fifth embodiment of the present invention.
  • FIG. 14 shows a functional configuration of the delta-delta feature quantity extraction unit of the speech feature quantity extraction apparatus according to the fourth or fifth embodiment of the present invention.
  • FIG. 15 is a flowchart showing an example of the flow of delta-delta feature quantity extraction processing by the delta-delta feature quantity extraction unit of the speech feature quantity extraction device according to the fourth or fifth embodiment of the present invention.
  • FIG. 16 is a table showing an example of a first evaluation experiment result of the present invention in a reverberant environment.
  • FIG. 17 is a table showing an example of a second evaluation experiment result of the present invention in a reverberant environment.
  • FIG. 18 is a table showing an example of the evaluation experiment result of the present invention in a noisy environment.
  • FIG. 1 shows the sound power attenuation recorded in a room with reverberation.
  • the same observation data is shown in FIG. 1 (a) with a logarithmic axis and FIG. 1 (b) with a linear axis.
  • Each horizontal axis indicates a section number and corresponds to the passage of time.
  • the audio reproduction ends around the ninth section, and the subsequent section is a reverberation section.
  • the power of reverberation is known to attenuate exponentially, and a slope 10 having a long and constant slope is formed in FIG.
  • FIG. 1B of the linear axis display a steep and short slope 20 is formed.
  • the MFCC difference between the previous and next frames is often used as the delta feature amount.
  • the MFCC is a discrete cosine transform of the logarithmic spectrum for each melscale filter bank (Mel-FB)
  • the delta feature is regarded as a difference in the logarithmic domain.
  • MFCC discrete cosine transform of the logarithmic spectrum for each melscale filter bank
  • the conventional method of using the difference in the logarithmic region as the delta feature amount corresponds to using the slope of the slope 10 in FIG. 1A as the delta feature amount.
  • the linear that is, the difference between the linear regions is used as the delta feature amount
  • this corresponds to setting the slope of the slope 20 in FIG. 1B as the delta feature amount.
  • the delta feature amount is It is thought that it attenuates rapidly in the reverberation section.
  • FIG. 2 shows an example of a speech spectrum recorded in a reverberant environment
  • the horizontal axis shows the section number as in FIG. 1
  • the vertical axis shows the frequency.
  • the intensity of the voice spectrum is represented by color shading, and the lower the intensity, the higher the intensity.
  • the region A belongs to the phoneme 2, but is affected by the reverberation of the preceding phoneme 1. Since the spectral intensity in the region A is sufficiently weak, if it is not delta, that is, if only the static feature amount is assumed, the influence of the preceding phoneme is not large.
  • the region A hits the bottom of a long slope, which is the reverberation of the preceding phoneme 1, so the influence of the preceding phoneme 1 is more than apparent. receive. Therefore, in a reverberant environment, a delta feature amount in a linear region that attenuates quickly is preferable.
  • the difference in the linear region cannot be used as the delta feature amount as it is. This is because the delta in the linear region is not suitable for modeling with a wide dynamic range. In order to compress the dynamic range, a logarithm may be taken after calculating the delta of the linear region. However, since the value of delta can be positive or negative, it cannot simply be logarithmic. In speech recognition, CMN (Cepstrum Mean Normalization) is often used in combination for correcting transfer characteristics. However, such correction cannot be performed with the delta in the linear region.
  • CMN Cosmetic Mean Normalization
  • the inventor of the present application solved the above problem by performing normalization using the average of the spectrum for the entire utterance with respect to the delta of the spectrum in the linear region.
  • the present inventor proposes that the spectrum delta in the linear region of the t-th frame of the observed speech is ⁇ s t , and the average (hereinafter simply referred to as an average spectrum) of the spectrum for all frames of the utterance is s bar.
  • the simplest delta feature is expressed by the following equation.
  • the variation of the other delta feature-value which this inventor proposes is mentioned later.
  • the spectrum delta in the logarithmic region of the t-th frame of conventional observation speech is approximated by the following equation.
  • Equation 1 and Equation 2 a delta feature amount by the present inventor has proposed, it can be understood by replacing the spectrum s t a conventional delta feature of denominator s bar average spectrum of the whole utterance . Therefore, the delta feature amount proposed by the present inventor gives a smaller delta feature amount than the conventional delta feature when the t-th frame has a smaller power than the whole utterance. Since both the above formulas are similar, it can be said that Formula 1 is in the same dynamic range as Formula 2. Further, since the delta feature amount of Equation 1 is divided by s bar, the effect of correcting the transfer characteristic is included.
  • Equation 1 (Noise Environment) Next, using Equation 1 as an example, it will be explained that the delta feature amount proposed by the present inventor is also effective in a noise environment. Now, it is assumed that there is no noise during learning of the acoustic model, and learning is performed using the delta feature amounts of Equations 1 and 2. In a situation where noise N is added at the time of executing speech recognition, the delta feature value of Equation 1 is observed as follows. Similarly, the delta feature quantity of Expression 2 is observed as follows.
  • Equation 1 and Equation 3 and Equation 2 and Equation 4 are taken and are shown in Equation 5 and Equation 6, respectively.
  • Equation 6 the frame local SNR is low, i.e., s t in noise N and the average spectrum s considerably smaller becomes such an interval than bars that noise N is added.
  • the degree of change in the delta feature amount due to is greater in Equation 6. This means that the deviation from the model that occurs in the low SNR section, where misrecognition is generally likely to occur, is more effective when the conventional logarithmic delta is used than when the delta feature amount proposed by the present inventor is used. Means, very big. Thus, the delta feature amount proposed by the present inventor is also effective in a noise environment.
  • FIG. 3 shows an exemplary hardware configuration of a computer 300 for carrying out the present invention.
  • the sound generated in the vicinity of the microphone 305 is input to the A / D converter 310 as an analog signal by the microphone 305, where it is converted into a digital signal that can be processed by the CPU 325.
  • the sound picked up by the microphone 305 includes not only the driver's voice and passenger's voice, but also the air blower sound, the sound output from the car audio, the engine sound, and the horn sound. . Further, when the car window is open, noise from oncoming vehicles, voices of passersby, etc. are included.
  • the external storage device 315 and the ROM 320 provide instructions to the CPU 325 in cooperation with the operating system, and record codes and various data of a plurality of computer programs including a voice feature amount extraction program module for carrying out the present invention. can do.
  • a plurality of computer programs stored in the external storage device 315 and the ROM 320 are loaded into the RAM 330 and executed by the CPU 325.
  • the external storage device 315 is connected to the bus 345 via a controller (not shown) such as a SCSI controller.
  • the computer program can be compressed and divided into a plurality of pieces and recorded on a plurality of media. Details of processing performed by the voice feature amount extraction program on the digital signal passed from the A / D converter 310 by the CPU 325 will be described later.
  • the computer 300 also includes a display device 335 for presenting visual data to the user.
  • the display device 335 is connected to the bus 345 via a graphics controller (not shown).
  • the computer 300 is connected to a network via the communication interface 340 and can communicate with other computers.
  • the above-described constituent elements are examples, and not all the constituent elements are essential constituent elements of the present invention.
  • the computer 300 for carrying out the present invention can include other components such as an input device such as a keyboard and a mouse, a speaker, and the like.
  • FIG. 4 shows a configuration of a general voice recognition apparatus 400.
  • the discrete Fourier transform unit 405 receives the audio signal converted into a digital signal, frames it with an appropriate method such as a Hanning window or a Hamming window, and then performs discrete Fourier transform to output a spectrum of the audio signal.
  • the noise reduction unit 410 receives the spectrum that is the output of the discrete Fourier transform unit 405 and removes noise from the spectrum by a spectral subtraction method or the like. However, the noise reduction unit 410 may not be an option.
  • the feature amount extraction unit 415 receives the spectrum of the audio signal (the spectrum of the audio signal after noise is removed if the noise reduction unit 410 is present), and extracts the static feature amount and the dynamic feature amount. Output.
  • the spectrum of the audio signal the spectrum of the audio signal after noise is removed if the noise reduction unit 410 is present
  • extracts the static feature amount and the dynamic feature amount the static feature amount and the dynamic feature amount.
  • Output As described above, conventionally, a combination of MFCC and its delta (primary variation) and delta delta (secondary variation), or their linear transformation, is often used, It was extracted as a dynamic feature.
  • the switch 420 is tilted toward the learning unit 430 during learning, and the learning unit 430 inputs the feature amount extracted by the feature amount extraction unit 415 from the speech signal as learning data and the input corresponding to the speech signal as learning data. Text is input and an acoustic model 425 is constructed from these data. Since the learning process itself is not the gist of the present invention, further explanation is omitted.
  • the switch 420 is tilted toward the voice recognition unit 440 at the time of recognition, and the voice recognition unit 440 extracts the feature amount extracted by the feature amount extraction unit 415 from the voice signal as recognition data, the acoustic model 425, and the language model 435. Are input, and a voice signal is recognized from these data, and a recognition result text is output. Note that since the speech recognition process itself is not the gist of the present invention, further explanation is omitted.
  • the speech recognition apparatus 400 constructs the acoustic model 420 from the speech signal and the input text during learning, and outputs the recognition result text from the input signal, the acoustic model, and the language model during recognition.
  • the present invention improves the conventional feature quantity extraction unit 415 shown in FIG. 4, and specifically, improves the delta feature quantity that is a dynamic feature quantity and a method for calculating the delta delta feature quantity.
  • the feature quantity extraction unit 415 improved by the present invention outputs a multidimensional feature quantity that combines a static feature quantity and a dynamic feature quantity, like many conventional feature quantity extraction sections 415, but if necessary, Needless to say, a simple configuration such as no static feature amount or no delta-delta feature amount is possible.
  • the feature amount extraction unit 415 according to the present invention will be described as an audio feature amount extraction device including a static feature amount calculation unit, a delta feature amount calculation unit, and a delta delta feature amount calculation unit.
  • FIG. 5 shows an example of a functional configuration of the static feature quantity calculation unit.
  • the MFCC feature amount is used as the static feature amount.
  • the static feature value calculation unit is common to all the audio feature value extraction apparatuses according to the first to fifth embodiments described later.
  • Mel filter bank processing section 500, a discrete Fourier transform unit 405 or the noise reduction unit 410 described in relation to FIG. 4 the input spectrum s t for each frequency bin of the framed audio signal
  • the spectrum s t for each frequency bin is converted into a spectrum for each filter bank (hereinafter referred to as mel spectrum S t ) by using the weight of the mel filter bank, and the mel spectrum is obtained.
  • St is output.
  • the logarithm calculation unit 505 receives the mel spectrum S t , obtains the log of the mel spectrum S t for each filter bank by the function of each frame, and outputs the log mel spectrum S t ′.
  • the discrete cosine transform unit 510 receives the log mel spectrum S t ′, calculates the MFCC, that is, the mel cepstrum C t , by performing the discrete cosine transform of the log mel spectrum S t ′ for each frame according to the function. .
  • the discrete cosine transform unit 510 performs a discrete cosine transform of the log mel spectrum S t ′ according to the following equation, where D (h, j) is a discrete cosine transform matrix. Static features calculating unit in this way, as the input spectrum s t, and finally outputs the mel-cepstrum C t as a static feature amount.
  • FIG. 6A shows a functional configuration of a delta feature quantity calculation unit of an audio feature quantity extraction apparatus according to a first embodiment of the present invention.
  • the first difference calculation unit 600 a discrete Fourier transform unit 405 or the noise reduction unit 410 described in relation to FIG. 4, and enter the spectrum s t for each frequency bin of the framed audio signals, for each frame by its function, each frequency bin, the difference of the spectrum s t between the front and rear frames (hereinafter also referred to as delta spectrum delta] s t) is calculated and output as a delta spectrum delta] s t for each frequency bin.
  • Difference processing by the first difference calculation unit 600 is performed by the following equation. In Equation 10, the frequency bin number i is omitted.
  • the first normalization processing unit 605 inputs the delta spectrum ⁇ s t for each frequency bin, and for each frame, the delta spectrum ⁇ s t for each frequency bin is converted into the entire utterance for the frequency bin by the function. Normalize by dividing by the function F of the average spectrum, which is the average of the spectrum for. In this embodiment, the function F of the average spectrum is the average spectrum itself, that is, the average spectrum s bar for each frequency bin. In this case, the output of the first normalization processing unit 605 is expressed by the following equation. In Equation 11, the frequency bin number i is omitted.
  • the delta feature amount calculation unit of the speech feature amount extraction apparatus uses the output of the first normalization processing unit 605 as the delta feature amount.
  • FIG. 6B shows a functional configuration of the delta-delta feature quantity calculation unit of the speech feature quantity extraction apparatus according to the first embodiment of the present invention.
  • the delta-delta feature value calculation unit of the speech feature value extraction apparatus according to the first embodiment of the present invention includes a second difference calculation unit 610 and a second normalization processing unit 615. These only differ in input and output, and their functions are the same as the corresponding components of the delta feature quantity calculation unit of the speech feature quantity extraction device according to the first embodiment of the present invention.
  • the second difference calculation unit 610 receives the delta spectrum ⁇ s t from the first difference calculation unit 600 shown in FIG. 6A, and for each frame, for each frequency bin, the delta spectrum ⁇ s t between the previous and next frames. and it calculates the difference as a delta delta spectrum ⁇ s t.
  • the output of the second difference calculator 610, a delta delta spectrum Derutaderutaesu t is expressed by the following equation. In Equation 12, the frequency bin number i is omitted.
  • the second normalization processing unit 615 receives the delta-delta spectrum ⁇ s t and normalizes each frame by dividing the delta-delta spectrum ⁇ s t by a function of the average spectrum for each frequency bin.
  • the function F of the average spectrum is the average spectrum itself, that is, the average spectrum s bar for each frequency bin.
  • the output of the second normalization processing unit 615 is expressed by the following equation. In Equation 13, the frequency bin number i is omitted.
  • the delta-delta feature quantity calculation unit of the speech feature quantity extraction apparatus uses the output of the second normalization processing unit 615 as the delta-delta feature quantity.
  • FIG. 7A shows a functional configuration of a delta feature quantity calculation unit of an audio feature quantity extraction apparatus according to a second embodiment of the present invention.
  • the delta feature quantity calculation unit of the speech feature quantity extraction device according to the second embodiment is obtained by adding a first mel filter bank processing unit 705 to the delta feature quantity calculation unit of the speech feature quantity extraction device according to the first embodiment. It is.
  • the newly added first mel filter bank processing unit 705 has a processing order after the first difference calculation unit 700 and before or after the first normalization processing unit 710. It is arranged in the position.
  • the first difference calculation unit 700 is exactly the same as the first difference calculation unit 600 of the speech feature quantity extraction device according to the first embodiment, description thereof is omitted here to avoid repetition.
  • the first mel filter bank processing unit 705 has the same function as the mel filter bank processing unit 500 described with reference to FIG.
  • the first mel filter bank processing unit 705 calculates the first difference.
  • the delta spectrum ⁇ s t is input from the unit 700, and for each frame, the delta spectrum ⁇ s t for each frequency bin is multiplied by the weight of the mel filter bank in the same manner as the right side of Equation 7, and the sum is obtained as a filter bank.
  • Each mel delta spectrum ⁇ S t is calculated.
  • the first normalization processing unit 710 also has the same function as the first normalization processing unit 605 of the speech feature amount extraction apparatus according to the first embodiment, except that the input and output are different. Therefore, the description is omitted here to avoid repetition. However, when the processing of the first mel filter bank processing unit 705 is before the processing of the first normalization processing unit 710, all the utterances used by the first normalization processing unit 710 for normalization are all. Note that the average spectrum for a frame is not the average spectrum s bar, which is the average of the spectrum for each frequency bin, but the average mel spectrum S bar, which is the average of the mel spectra for each filter bank.
  • the first normalization processing unit 710 Mel delta spectrum [Delta] S t Inputs per filter bank from the first mel filter bank processing section 705, the For frames, normalization is performed by dividing the mel delta spectrum ⁇ S t for each filter bank by the average mel spectrum S bar for all frames for that filter bank.
  • the output of the first normalization processing unit 710 is expressed by the following equation. In Expression 14, the filter bank number j is omitted.
  • the denominator on the right side of Equation 14 is the average Mel spectrum S bar for each filter bank.
  • the delta feature amount calculation unit of the speech feature amount extraction apparatus uses the output of the first mel filter bank processing unit 705 or the first normalization processing unit 710 that ends the processing as the delta feature amount. .
  • FIG. 7B shows a functional configuration of the delta-delta feature quantity calculation unit of the speech feature quantity extraction apparatus according to the second embodiment of the present invention.
  • the delta-delta feature quantity calculation unit of the speech feature quantity extraction apparatus according to the second embodiment of the present invention includes a second difference calculation unit 715, a second mel filter bank processing unit 720, and a second normalization processing unit 725. Either the processing of the second mel filter bank processing unit 720 or the processing of the second normalization processing unit 725 may be performed first.
  • the second difference calculation unit 715 is exactly the same as the second difference calculation unit 610 of the audio feature amount extraction apparatus according to the first embodiment, and thus description thereof is omitted here to avoid repetition.
  • the second mel filter bank processing unit 720 has the same function as the mel filter bank processing unit 500 described with reference to FIG.
  • the second mel filter bank processing unit 720 calculates the second difference.
  • the delta delta spectrum ⁇ s t is input from the unit 715, and for each frame, the delta delta spectrum ⁇ s t for each frequency bin is multiplied by the weight of the mel filter bank in the same manner as the right side of Equation 7, and the sum is obtained. It is calculated as the Mel-delta delta spectrum ⁇ S t of each filter bank.
  • the second normalization processing unit 725 also has the same function as the second normalization processing unit 615 of the speech feature amount extraction apparatus according to the first embodiment, except that the input and output are different. Therefore, the description is omitted here to avoid repetition.
  • the processing of the second mel / filter bank processing unit 720 precedes the processing of the second normalization processing unit 725 all the utterances used for normalization by the second normalization processing unit 725 are used.
  • the average spectrum for a frame is not the average spectrum s bar, which is the average of the spectrum for each frequency bin, but the average mel spectrum S bar, which is the average of the mel spectra for each filter bank.
  • the second normalization processing unit 725 Mel Delta Delta spectrum Derutaderutaesu t Inputs per filter bank from the second mel filter bank processing section 720, For each frame, normalization is performed by dividing the mel delta delta spectrum ⁇ S t for each filter bank by the average mel spectrum S bar for that filter bank.
  • the output of the second normalization processing unit 725 is expressed by the following equation. In Equation 15, the filter bank number j is omitted. Also, the denominator on the right side of Equation 15 is the average mel spectrum S bar for each filter bank.
  • the delta-delta feature amount calculation unit of the speech feature amount extraction apparatus uses the output of the second mel filter bank processing unit 720 or the second normalization processing unit 725 that ends the processing as the delta-delta feature amount.
  • FIG. 8A shows a functional configuration of a delta feature quantity calculation unit of a speech feature quantity extraction apparatus according to a third embodiment of the present invention.
  • the delta feature quantity calculation unit of the speech feature quantity extraction device according to the third embodiment is obtained by newly adding a first discrete cosine transform unit 815 to the delta feature quantity calculation unit of the speech feature quantity extraction device according to the second embodiment. It is. Therefore, descriptions of the first difference calculation unit 800, the first mel filter bank processing unit 805, and the first normalization processing unit 810 are omitted here to avoid repetition.
  • the newly added first discrete cosine transform unit 815 is arranged at a position where the processing order is last.
  • the first discrete cosine transform unit 815 has the same function as the discrete cosine transform unit 510 described with reference to FIG. That is, the first discrete cosine transformation unit 815 inputs the normalized Mel delta spectrum [Delta] S t per filter bank, a discrete cosine transform it.
  • the output of the first discrete cosine transform unit 815 is expressed by the following equation.
  • the symbol DCT represents conversion by the discrete cosine transform matrix D (h, j) of Expression 9.
  • the delta feature amount calculation unit of the speech feature amount extraction apparatus uses the output of the first discrete cosine transform unit 815 as the delta feature amount.
  • FIG. 8B shows a functional configuration of the delta-delta feature quantity calculation unit of the speech feature quantity extraction apparatus according to the third embodiment of the present invention.
  • the delta-delta feature quantity calculation unit of the speech feature quantity extraction device according to the third embodiment of the present invention includes a second discrete cosine transform unit 835 added to the delta-delta feature quantity calculation unit of the speech feature quantity extraction device according to the second embodiment. Newly added. Therefore, the description of the second difference calculation unit 820, the second mel filter bank processing unit 825, and the second normalization processing unit 830 is omitted here to avoid repetition.
  • the newly added second discrete cosine transform unit 835 is disposed at a position where the processing order is last.
  • the second discrete cosine transform unit 835 has the same function as the discrete cosine transform unit 510 described with reference to FIG. That is, the second discrete cosine transform unit 835 inputs the Mel delta delta spectrum Derutaderutaesu t per filterbank normalized, discrete cosine transform it.
  • the output of the second discrete cosine transform unit 835 is expressed by the following equation.
  • the symbol DCT represents transformation by the discrete cosine transformation matrix D (h, j) of Equation 9.
  • the delta-delta feature value calculator of the speech feature value extractor uses the output of the second discrete cosine transform unit 835 as the delta-delta feature value.
  • the normalization method by the first normalization processing unit 810 and the second normalization processing unit 830 is as follows. It may be changed as follows. That is, the first normalization processing unit 810 and the second normalization processing unit 830 may perform normalization by performing logarithmic compression in addition to the division by the average spectrum s bar and the average mel spectrum S bar. In this case, for example, if processing by the first normalization processing unit 810 is performed after processing by the first mel filter bank processing unit 805, normalization by the first normalization processing unit 810 is performed by the following equation.
  • the first normalization processing unit 810 divides the mel delta spectrum ⁇ S t for each filter bank by the average mel spectrum S bar for the filter bank. Normalization is performed by adding 1 and obtaining the logarithm of the result.
  • the first normalization processing unit 810 divides the mel delta spectrum ⁇ S t for each filter bank by the average mel spectrum S bar for the filter bank and minus Normalization is performed by adding 1 to the product of 1 and multiplying the logarithm of the result by minus 1.
  • the second normalization processing unit 830 may perform normalization according to Expression 19. .
  • the function F of the average mel spectrum S bar is not the average mel spectrum S bar itself, A function F of the following average mel spectrum S bar and mel spectrum S may be used. That is, for any frame t and any filter bank j, the function F of the average mel spectrum S bar is the value of the mel spectrum S for filter bank j of frame t and the average for all frames for filter bank j. Among the values of the mel spectrum S bar, a larger value or a value close to the larger value is output. An example of such a function F is shown in equations 20 and 21. In Expression 20 and Expression 21, the filter bank number j is omitted.
  • the first normalization processing unit 810 inputs the mel delta spectrum ⁇ S t for each filter bank, and for each frame, the mel delta spectrum ⁇ S t for each filter bank is expressed by the above formula 20 or formula for the filter bank. Normalize by dividing by the function F represented by 21. The same applies to the second normalization processing unit 830.
  • the normalization using the function F of the average mel spectrum S bar and the mel spectrum S is more preferable than the normalization that divides by the average mel spectrum S bar from the viewpoint of performance.
  • FIG. 9A is a flowchart showing an example of the flow of the voice delta feature quantity extraction processing by the delta feature quantity calculation unit of the voice feature quantity extraction device according to the third embodiment of the present invention.
  • the process starts from step 900, and the first difference calculation unit 800 inputs the spectrum for each frequency bin of the framed audio signal, and for each frame, calculates the difference in spectrum between the previous and next frames for each frequency bin. calculated as a delta spectrum delta] s t, it is stored in a storage area such as RAM330 shown in FIG.
  • the first mel filter bank processing unit 805 reads the delta spectrum ⁇ s t from the storage area, and for each frame, multiplies the delta spectrum ⁇ s t for each frequency bin by the weight of the mel filter bank, and sums the result. It is stored in the storage area as Mel delta spectrum [delta] S t of each (step 905).
  • the first normalization processing unit 810 reads the mel delta spectrum ⁇ S t from the storage area, and for each frame, calculates the mel delta spectrum ⁇ S t for each filter bank, and the function F of the average mel spectrum S bar for the filter bank. Normalize by dividing by and store in the storage area (step 910).
  • the processing of the first mel filter bank processing unit 805 and the processing of the first normalization processing unit 810 surrounded by the dotted line 920 may be interchanged.
  • the function F used by the first normalization processing unit 810 for normalization is the frequency bin It is a function F of the average spectrum s bar for each.
  • the function F may be the average spectrum s bar or the average mel spectrum S bar itself, or may be expressed by Expression 20 or Expression 21.
  • normalization may be performed by performing logarithmic compression in addition to the division by the average spectrum s bar and the average mel spectrum S bar.
  • the first discrete cosine transform unit 815 reads the normalized mel delta spectrum for each filter bank from the storage area, performs discrete cosine transform, and outputs the result as a delta feature amount (step 915). Then, the process ends.
  • the delta feature quantity extraction processing by the delta feature quantity calculation unit of the audio feature quantity extraction device according to the first and second embodiments is the process of step 905 and step 915 or the process of step 915 in FIG. Applicable when is omitted.
  • FIG. 9B is a flowchart showing an example of the flow of delta-delta feature quantity extraction processing by the delta-delta feature quantity calculation unit of the speech feature quantity extraction device according to the third embodiment of the present invention.
  • the process starts from step 920, and the second difference calculation unit 820 inputs the delta spectrum ⁇ s t from the first difference calculation unit 800, and for each frame, the delta spectrum ⁇ s t for each frequency bin between the preceding and succeeding frames. It calculates the difference as a delta delta spectrum ⁇ s t, is stored in a storage area such as RAM330 shown in FIG.
  • Second mel filter bank processing section 825 reads the delta delta spectrum Derutaderutaesu t from the storage area, for each frame, and summing over the weight of the Mel filter bank delta delta spectrum Derutaderutaesu t for each frequency bin, it is stored in the storage area as the Mel-delta delta spectrum Derutaderutaesu t per filter bank (step 925).
  • the second normalization processing unit 830 reads the Mel delta delta spectrum Derutaderutaesu t from the storage area, for each frame, the Mel-delta delta spectrum Derutaderutaesu t per filter bank, the average Mel spectrum S bars for the filter bank Normalization is performed by dividing by the function F, and the result is stored in the storage area (step 930).
  • the processing of the second mel filter bank processing unit 825 and the processing of the second normalization processing unit 830 surrounded by a dotted line 940 may be switched in order.
  • the function F used by the second normalization processing unit 830 for normalization is the frequency bin It is a function F of the average spectrum s bar for each.
  • the function F may be the average spectrum s bar or the average mel spectrum S bar itself, or may be expressed by Expression 20 or Expression 21.
  • normalization may be performed by performing logarithmic compression in addition to the division by the average spectrum s bar and the average mel spectrum S bar.
  • the second discrete cosine transform unit 835 reads the normalized mel delta delta spectrum for each filter bank from the storage area, performs discrete cosine transform, and outputs the result as a delta delta feature (step 935). Then, the process ends.
  • voice feature-value extraction apparatus which concerns on 1st and 2nd embodiment is the process of step 925 and step 935 in FIG.9 (b), or step 935. This is applicable to the case where the process is omitted.
  • the voiced sound section is used.
  • a filter that is nearly flat hereinafter referred to as Local Peak Weight multiplied by the Mel filter bank weight can be used. Good.
  • Local Peak Weight a filter that is nearly flat multiplied by the Mel filter bank weight
  • FIG. 10A is a graph showing an example of the weight of the mel filter bank.
  • the first mel filter bank processing units 705 and 805 and the second mel filter bank processing units 720 and 825 each store a spectrum for each frequency bin set at equal intervals in the frequency direction. By adding the weights of the filter banks and adding up, the spectrum is converted into a larger cluster of filters called filter banks.
  • the filter banks are arranged at equal intervals on a mel frequency suitable for human auditory characteristics, and are configured as a triangular weight 1000 as shown in FIG. Then, as shown on the right side of Expression 7, the Mel_FB_Weight (j, i) weight of the mel filter bank is defined with the contribution to the filter bank for each frequency bin as a weight.
  • human pronunciation has a harmonic structure in vowels. That is, not all frequencies bin are evenly energized, but in the case of a utterance with a high fundamental frequency, such as a woman or a child, the energy of the voice exists in the discrete frequency bin. Therefore, as in the above-described mel filter bank, it is easier to pick up noise by assigning equal weights to the frequency bin without voice energy. Therefore, a new weight that assigns a higher weight to the peak portion corresponding to the harmonic structure, assigns a smaller weight to the valley portion, and asymptotically approaches the normal Mel-FB Weight when no peak is observed. It is preferable to use an appropriate weight.
  • LPW Local Peak Weight
  • FIG. 10C is a graph showing the LPW-Mel-FB Weight obtained in this way.
  • the first mel filter bank processing units 705 and 805 and the second mel filter bank processing units 720 and 825 are configured so that LPW ⁇ instead of Mel-FB Weight, as shown in the following equations, respectively.
  • the conversion process may be performed using Mel-FB Weight.
  • LPW-Mel-FB Weight is used to increase resistance to broadband noise. If the noise is music or another person's utterance, or if there is no noise and only reverberation, LPW- There is no need to use Mel-FB Weight.
  • the LPW creation method is basically the same as the enhancement filter creation method for emphasizing observed speech described in the cited document 1 disclosing the invention by the present inventor.
  • Process begins at step 1100, first, the spectrum of the t-th frame of the observed speech determines the log power spectrum Y t of s t by the following equation.
  • a log power spectrum Y t discrete cosine transform by the following equation obtains the cepstrum Rt (step 1105).
  • the symbol DCT represents conversion by the discrete cosine transform matrix D (h, j) of Expression 9.
  • the cepstrum Rt is a coefficient obtained by extracting features of the outer shape of the logarithmic spectrum, only the terms in the region corresponding to the harmonic structure of the human utterance are left and the other terms are cut from the following equation (step) 1110).
  • Equation 30 the result of inverse discrete cosine transform is returned from the logarithmic spectrum region to the power spectrum region using Equation 29. Subsequently, normalization is performed by Equation 30 so that the average value becomes 1, and finally LPW is created. Then, the process ends.
  • Num_bin is the total number of frequencies bin.
  • FIG. 12 (a) shows a functional configuration of a delta feature quantity calculation unit of an audio feature quantity extraction apparatus according to a fourth embodiment of the present invention.
  • the delta feature quantity calculation unit of the speech feature quantity extraction apparatus according to the fourth embodiment is obtained by adding a first difference calculation unit 1215 to the constituent elements of the static feature quantity calculation unit described with reference to FIG. .
  • the first difference calculation unit 1215 is arranged at a position where the processing is performed after the processing of all other components.
  • Each of the mel filter bank processing unit 1200, the logarithmic calculation unit 1205, and the discrete cosine transform unit 1210 shown in FIG. 12A is different in input and output, and the functions thereof are the same as those described in FIG. This is the same as the corresponding component of the feature quantity calculation unit.
  • the first difference calculation unit 1215 shown in FIG. 12A also has the same function as the first difference calculation unit 600 of the speech feature amount extraction apparatus according to the first embodiment, except that the input and output are different. is there. Therefore, in order to avoid repetition, description of the function of each component is omitted here.
  • the value input to the mel filter bank processing unit 1200 shown in FIG. 12A is different from that of the mel filter bank processing unit 500 shown in FIG. the spectrum s t for each bin, a value obtained by adding the average spectrum s bar for the frequency bin.
  • the value finally obtained as the delta feature quantity that is, the output of the first difference calculation unit 1215 uses the function F represented by Expression 21.
  • the delta feature quantity calculation unit of the voice feature quantity extraction device can be configured by slightly changing the existing static feature quantity extraction unit, the voice feature quantity extraction according to the third embodiment is performed. It can be said that it is preferable to the delta feature value calculation unit of the apparatus.
  • the output of the first difference calculation unit 1215 finally obtained as the delta feature amount is expressed by the following equation.
  • the filter bank number j is omitted.
  • FIG. 12B shows a functional configuration of a delta feature quantity calculation unit of an audio feature quantity extraction apparatus according to a fifth embodiment of the present invention.
  • the delta feature quantity calculation unit of the speech feature quantity extraction device according to the fifth embodiment except that the timing of adding the average spectrum s bar is not before the process by the mel filter bank processing unit 1220 but after the process. This is basically the same as the configuration of the delta feature quantity calculation unit of the speech feature quantity extraction device according to the fourth embodiment. However, since it is necessary to add the average spectrum s bar at the above timing, the delta feature quantity calculation unit of the speech feature quantity extraction device according to the fifth embodiment performs the delta of the speech feature quantity extraction device according to the fourth embodiment.
  • An average calculator 1225 is newly added as a component of the feature quantity calculator. *
  • the average calculation unit 1225 receives the Mel spectrum S t from the mel filter bank processing section 1220, average Mel spectrum S bars each filter bank is the average of the Mel spectrum S t of all the frames Is output to the logarithmic calculation unit 1230.
  • the logarithm of the value is obtained and output to the discrete cosine transform unit 1235.
  • the other components shown in FIG. 12B that is, the mel filter bank processing unit 1220, the discrete cosine transform unit 1235, and the first difference calculation unit 1240 are different from each other only in their inputs and outputs. Are the same as the corresponding components of the delta feature quantity calculation unit of the speech feature quantity extraction device according to the fourth embodiment. Therefore, description of other components is omitted.
  • the value finally obtained as the delta feature quantity that is, the output of the first difference calculation unit 1240 uses the function F represented by Expression 21.
  • This is almost equivalent to the delta feature value output by the delta feature value calculation unit of the speech feature value extraction apparatus according to the third embodiment that performs normalization.
  • the delta feature quantity calculation unit of the voice feature quantity extraction device according to the fifth embodiment is configured by slightly changing the existing static feature quantity extraction unit, the voice according to the third embodiment described above. It can be said that it is preferable to the delta feature amount calculation unit of the feature amount extraction apparatus.
  • the output of the 1st difference calculation part 1240 finally obtained as a delta feature-value is represented by following Formula.
  • the filter bank number j is omitted.
  • FIG. 13A is a flowchart showing an example of the flow of the voice delta feature quantity extraction processing by the delta feature quantity calculation unit of the voice feature quantity extraction device according to the fourth embodiment of the present invention.
  • Process begins at step 1300, Mel filter bank processing section 1200 to each of the spectrum s t for each frequency bin of each frame of the framed audio signals, the average spectrum s bar for the entire frame is an overall speech enter a value obtained by adding, for each frame, and summing over the weight of the Mel filter bank to the value of each frequency bin, and stores the output S1 t in the storage area of the RAM330, etc. shown in FIG.
  • the logarithm calculation unit 1205 reads S1 t from the storage area, obtains the logarithm of S1 t for each filter bank for each frame, and stores the output S1 t ′ in the storage area (step 1305).
  • the discrete cosine transform unit 1210 reads S1 t ′ from the storage area, performs discrete cosine transform on S1 ′ t for each filter bank for each frame, and stores the output C1 t in the storage area (step 1310).
  • the first difference calculation unit 1215 reads C1 t from the storage area, and for each frame, calculates a difference ⁇ C1 t between C1 t and previous frames as a delta feature amount for each filter bank (step 1315). Then, the process ends.
  • FIG. 13B is a flowchart showing an example of the flow of the voice delta feature quantity extraction processing by the delta feature quantity calculation unit of the voice feature quantity extraction device according to the fifth embodiment of the present invention.
  • the processing starts from Step 1320, and the mel filter bank processing unit 1220 inputs the spectrum for each frequency bin of each frame of the framed audio signal, and for each frame, the mel filter bank is converted into the spectrum for each frequency bin.
  • the mel spectrum S for each filter bank is calculated by multiplying the bank weights and summed, and stored in a storage area such as the RAM 330 shown in FIG.
  • the average calculation unit 1225 reads the mel spectrum S for each filter bank of each frame from the storage area, calculates the average mel spectrum S bar for all frames that are the entire utterance for each filter bank, and stores it in the storage area. To do. (Step 1325). Subsequently, the logarithm calculation unit 1230 reads the mel spectrum S for each filter bank of each frame and the average mel spectrum S bar for each filter bank from the storage area, and adds the average of the filter bank to the mel spectrum S for each filter bank. The logarithm of the value S2 t to which the mel spectrum S bar is added is obtained, and the output S2 t ′ is stored in the storage area. (Step 1330).
  • the discrete cosine transform unit 1235 reads, for each frame, S2 t per filter bank' S2 t from the storage area by discrete cosine transform, and stores the output C2 t in the storage area (step 1335) .
  • the first difference calculation unit 1240 reads the C2 t from the storage area, for each frame, each filter bank is calculated as a delta feature quantity difference .DELTA.C2 t of C2 t between the front and rear of the frame (step 1340). Then, the process ends.
  • FIG. 14 shows a functional configuration of a delta-delta feature quantity calculation unit of the speech feature quantity extraction apparatus according to the fourth and fifth embodiments of the present invention.
  • the delta-delta feature value calculation unit of the speech feature value extraction apparatus according to the fourth and fifth embodiments includes a second difference calculation unit 1400.
  • the second difference calculation unit 1400 is different only in input and output, and its function is the same as the first difference calculation unit 1215 or the first difference calculation unit 1240 of the audio feature quantity extraction device according to the fourth and fifth embodiments. The same. *
  • the second difference calculation unit 1400 inputs the output from the first difference calculation unit 1215 or the first difference calculation unit 1240, that is, the delta mel cepstrum ⁇ C1 t or ⁇ C2 t expressed by the equation 31 or 32, For each frame, for each filter bank, the difference delta-delta cepstrum ⁇ C1 t or ⁇ C2 t of the delta-mel cepstrum ⁇ C1 t or ⁇ C2 t between the preceding and succeeding frames is calculated as the delta-delta feature quantity.
  • the output of the second difference calculation unit 1300 is expressed by the following equation. In Expression 32, the filter bank number j is omitted.
  • FIG. 15 is a flowchart showing an example of the flow of delta-delta feature quantity extraction processing by the delta-delta feature quantity calculation unit of the speech feature quantity extraction device according to the fourth and fifth embodiments of the present invention.
  • the process starts from Step 1500, and the second difference calculation unit 1300 outputs the output from the first difference calculation unit 1215 or the first difference calculation unit 1240, that is, the delta mel cepstrum ⁇ C1 t or ⁇ C2 expressed by Equation 31 or Equation 32.
  • the difference delta delta cepstrum ⁇ C1 t or ⁇ C2 t of the delta mel cepstrum ⁇ C1 t or ⁇ C2 t between the preceding and succeeding frames is calculated as the delta delta feature quantity. Then, the process ends.
  • the evaluation experiment described with reference to FIG. 16 and FIG. 17 includes a database for evaluating reverberation environment CENSREC-4 (Corpus and Environment for Noise Speech) of the SIG-SLP Speech Recognition Evaluation Working Group under Information Processing Society (IPSJ). RECognishon) was used.
  • CENSREC-4 Corpus and Environment for Noise Speech
  • IPSJ SIG-SLP Speech Recognition Evaluation Working Group under Information Processing Society
  • CENSREC-4 simulates the reverberant environment by convolving the impulse response of various reverberant environments into the dry source that is the recorded sound without reverberation and noise.
  • CENSREC-4 has evaluation under two conditions, Clean Condition and Multi-Condition.
  • Clean Condition speech recognition is performed using an acoustic model learned with speech without reverberation.
  • Multi-Condition speech recognition is performed using an acoustic model learned with reverberant speech.
  • reverberant speech data is used when speech recognition is performed, that is, during a test.
  • the CENSREC-4 test set is divided into two test sets (A and B).
  • the test set A is a test in the same reverberation environment as the multi-condition acoustic model learning, and the test set in a different reverberation environment is used.
  • B The test sets A and B include tests for four different environments as shown in FIGS.
  • the features defined as the baseline by CENSREC-4 are MFCC 12 dimensions as static features, Delta MFCC 12 dimensions as delta features, Delta Delta MFCC 12 dimensions as delta delta features, and the logarithmic power of speech and its delta and delta delta. This is a 39-dimensional vector totaling the three dimensions. That is, CENSREC-4 uses the 39-dimensional vector feature amount to construct an acoustic model in each of the Clean Condition and the Multi-Condition.
  • Evaluation Experiment 1 The character string recognition rate was compared between the case where only the static feature amount MFCC 12 dimensions was used and the case where 24 dimensions including the delta feature amount 12 dimensions were used. At that time, as the delta feature quantity, two types of delta MFCC 12 dimensions and a linear delta feature quantity 12 dimensions calculated by the delta feature quantity calculation unit of the speech feature quantity extraction apparatus according to the third embodiment described above were evaluated.
  • Evaluation experiment 2 In the 39th dimension of the baseline, the delta feature quantity and the delta delta feature quantity are respectively replaced with the linear delta feature quantity and the linear delta delta feature quantity of the present invention described above (in the table of FIG. 17). The character string recognition rate was compared when the 39th dimension of the baseline was maintained (see the “baseline” column in the table of FIG. 17). Note that the linear delta feature quantity and the linear delta delta feature quantity of the present invention are respectively calculated by the delta feature quantity calculation unit and the delta delta feature quantity calculation unit of the speech feature quantity extraction device according to the third embodiment described above. Using what will be.
  • FIG. 16 shows the results of evaluation experiment 1.
  • the speech recognition rate is improved by using the 12-dimensional delta feature amount in combination with using only the 12-dimensional static feature amount MFCC.
  • the speech recognition rate is further improved by using the linear delta feature quantity of the present invention instead of the delta MFCC that is conventionally used as the delta feature quantity.
  • the average speech recognition rate of test sets A and B is dramatically improved from 35.3% to 59.2% when delta MFCC is used.
  • the average speech recognition rate of test sets A and B is improved from 71.9% when using delta MFCC to 81.5%.
  • FIG. 17 shows the results of evaluation experiment 2. Also in the evaluation experiment 2, the speech recognition rate is further improved by using the linear delta feature quantity and the linear delta delta feature quantity of the present invention. For example, in Clean Condition, the average speech recognition rate of test sets A and B is improved from 65.2% of the conventional baseline to 73.1%. Also in Multi-Condition, the average recognition rate of test sets A and B is improved from 75.2% of the conventional baseline to 82.7%.
  • the linear delta feature quantity and the linear delta delta feature quantity of the present invention greatly improve the speech recognition rate in the reverberant environment, and evaluation experiments 1 and 2 show that the effectiveness as the feature quantity in the reverberant environment is improved. Indicated.
  • CENSREC-3 records voices uttered in various noise environments in the car, such as driving conditions such as stop, city driving, high speed driving, etc., and air conditioner fans, window opening, music playback, etc.
  • the recognition rate can be calculated.
  • the feature amount defined as a baseline by CENSREC-3 is 39 dimensions, the same as CENSREC-4 described above. Therefore, the present inventor conducted the following evaluation experiment using CENSREC-3.
  • the MFCC, delta MFCC, and delta delta MFCC in the 39th dimension of the baseline are converted to Mel-FB Weight.
  • the word recognition rate (accuracy%) was compared with the case where it was replaced with one obtained using LPW-Mel-FB Weight (see the column “LPW-Mel” in the table of FIG. 18).
  • LPW-Mel-FB Weight is used instead of Mel-FB Weight as the linear delta feature quantity and linear delta-delta feature quantity of the present invention in the speech feature quantity extraction device according to the third embodiment described above. Also compare the word recognition rate (accuracy%) when using those calculated by the delta feature quantity calculator and the delta delta feature quantity calculator (see the column “LPW ⁇ Mel + linear ⁇ ” in the table of FIG. 18). did.
  • FIG. 18 shows the results of evaluation experiment 2. Comparing “baseline” and “linear ⁇ ”, the overall word recognition rate (accuracy%) is 78.9% for “baseline”, whereas “linear ⁇ ” is 83.3%, It can be seen that the word recognition rate is improved by using the linear delta feature and the linear delta delta feature of the present invention. The improvement at the time of opening the window at the time of high speed driving and the maximum time of the fan is remarkable, but the improvement is also seen with respect to music noise, and the linear delta feature quantity and the linear delta delta feature quantity of the present invention are effective in a wide range. It turns out that it is.
  • “LPW-Mel” has a higher word recognition rate (accuracy%) than “Baseline” except for music noise, and improvement is seen. In particular, the improvement at the time of opening the window at the time of high speed traveling and the maximum time of the fan is remarkable. Furthermore, when comparing “baseline” and “LPW ⁇ Mel + linear ⁇ ”, the word recognition rate (accuracy%) of the window opening during high-speed driving is “2.22%” for “baseline”. LPW ⁇ Mel + linear ⁇ ”is 46.6%.
  • the maximum word recognition rate (accuracy%) of the fan during high-speed driving is 58.2% for “baseline” and 74.9% for “LPW ⁇ Mel + linear ⁇ ”. Therefore, it can be seen that a significant improvement can be obtained by combining the linear delta feature quantity of the present invention and the linear delta delta feature quantity with LPW-Mel-FB.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Complex Calculations (AREA)
  • Machine Translation (AREA)

Abstract

音声信号から雑音や残響により一層強い特徴量を抽出する技術を提供する。 音声特徴量抽出装置であって、フレーム化された音声信号のスペクトルを入力して、各フレームについて、前後のフレーム間のスペクトルの差分（リニア領域の差分）をデルタスペクトルとして算出する差分算出手段と、各フレームについて、デルタスペクトルを平均スペクトルの関数で除算することにより正規化する正規化処理手段とを含み、正規化処理手段の出力をデルタ特徴量とする。

Description

音声特徴量抽出装置、音声特徴量抽出方法、及び音声特徴量抽出プログラム
本発明は、音声信号から特徴量を抽出する技術に関し、特に、残響や雑音に頑健なデルタ及びデルタデルタ特徴量を抽出する技術に関する。
　音声認識装置の耐雑音性能や耐残響性能は継続的に改善されているが、厳しい条件下での認識精度は未だ不十分である。耐雑音性については、例えば、自動車における窓開け高速走行などSNが極めて低い条件下や、音楽や雑踏などの非定常な雑音環境下での認識率は大変低いことが知られている。また、耐残響性については、コンクリートの廊下やエレベータホールなど反射や残響が多い場所での認識率は、たとえ雑音がほとんどない状況であっても大変低いことが知られている。
　これら問題に対して従来検討されている種々の対策は、次の４つに分類できる。（１）観測信号の前処理により、残響や雑音を除去するフロントエンド方法（例えば、特許文献１、２参照）。（２）残響や雑音を含む音声を使って音響モデルを学習するマルチスタイルトレーニング方法（例えば、特許文献３参照）。（３）観測音声と音響モデルが適合するように、特徴量又は音響モデルを変換する適応方法（例えば、特許文献４参照）。（４）残響や雑音に強い特徴量を使用する特徴抽出方法（例えば、非特許文献１）。
　上記各方法は、他の方法と組み合わせることが可能である。例えば、（２）、（３）及び（４）の各手法を組み合わせて、特徴抽出としてＬＤＡを使用し、マルチスタイルトレーニングで音響モデルを作成したうえで、ＭＬＬＲによる適応を行うという組み合わせが考えられる。従って、上記いずれかの１つの方法でなく、（１）～（４）それぞれの技術の向上を図ることが重要である。
特開２００９―５８７０８号公報 特開２００４―３４７９５６号公報 特開２００７―７２４８１号公報 特開２００７―２７９４４４号公報
Ｔａｋａｓｈｉ　Ｆｕｋｕｄａ、Ｏｓａｍｕ　Ｉｃｈｉｋａｗａ、Ｍａｓａｆｕｍｉ　Ｎｉｓｈｉｍｕｒａ、「Ｓｈｏｒｔ－ａｎｄＬｏｎｇ－ｔｅｒｍＤｙｎａｍｉｃ　Ｆｅａｔｕｒｅｓ ｆｏｒ　Ｒｏｂｕｓｔ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ」、 Ｐｒｏｃ　ｏｆ　１０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ ｏｎ　Ｓｐｏｋｅｎ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＳＬＰ　２００８　／Ｉｎｔｅｒｓｐｅｅｃｈ　２００８）、ｐｐ．２２６２－２２６５、Ｓｅｐｔｅｍｂｅｒ　２００８、Ｂｒｉｓｂａｎｅ、Ａｕｓｔｒａｌｉａ.
しかしながら、（４）の特徴抽出については、雑音や残響に際立って強い特徴量というのは未だに見つかっていない。特に耐残響性能に優れた特徴量はほとんど知られていない。そのため、多くの音声認識では、ＭＦＣＣ（Ｍｅｌ－Ｆｒｅｑｕｅｎｃｙ　Ｃｅｐｓｔｒｕｍ　Ｃｏｅｆｆｉｃｉｅｎｔ：メル周波数ケプストラム係数）とそのデルタ（１次変化量）及びデルタデルタ（２次変化量）の組み合わせ、またはそれらの線形変換を使用し続けているのが現状である。
　なお、本出願人に係る非特許文献１の技術は、平均音素継続時間を超える長い窓幅でのＭＦＣＣのデルタを特徴量とすることにより、音声認識の精度を高めることを可能とした。しかしながら、厳しい条件での騒音や残響環境において、更なる性能の改善が求められている。
この発明は、上記の問題点を解決するためになされたものであって、音声認識の精度をより高めるために、音声信号から雑音や残響により一層強い特徴量を抽出する技術を提供することを目的とする。
　本願発明者は、雑音や残響により一層強い特徴量を見つけるために研究し、ＭＦＣＣのデルタを含む従来用いられているデルタ特徴量の多くは、対数領域の差分とみなし得るところ、非自明にも対数領域の差分は、残響及び騒音環境での音声認識において好ましくない結果をもたらすことを見出した。そこで本願発明者は更に研究を進め、その結果、リニア領域の差分を利用すること、それによって新たに生ずるダイナミックレンジが広くモデル化に適さないという問題や、伝達特性の補正ができないという問題は、発話全体についてのスペクトルの平均を利用した正規化を行うことにより解決するというアイデアに想到した。
　即ち、上記課題を解決するために、本発明の第１の態様においては、フレーム化された音声信号の周波数binごとのスペクトルを入力して、各フレームについて、前記周波数binごと、前後のフレーム間の前記スペクトルの差分をデルタスペクトルとして算出する第１差分算出手段と、前記各フレームについて、前記周波数binごとの前記デルタスペクトルを、該周波数binについての発話全体である全フレームについてのスペクトルの平均である平均スペクトルの関数で除算することにより正規化する第１正規化処理手段とを含み、前記第１正規化処理手段の出力をデルタ特徴量とする、音声特徴量抽出装置を提供する。
　ここで前記平均スペクトルの前記関数は、前記平均スペクトルそのものであってもよい。
　好ましくは、上記音声特徴量抽出装置は、前記各フレームについて、前記周波数binごとの正規化された前記デルタスペクトルにメル・フィルタバンクの重みを掛けて合算したものを、フィルタバンクごとの正規化されたメル・デルタスペクトルとして算出する第１メル・フィルタバンク処理手段を更に含み、前記第１メル・フィルタバンク処理手段の出力をデルタ特徴量とする。
　より好ましくは、上記音声特徴量抽出装置は、前記フィルタバンクごとの正規化された前記メル・デルタスペクトルを、離散コサイン変換する第１離散コサイン変換手段を更に含み、前記第１離散コサイン変換手段の出力をデルタ特徴量とする。
　また好ましくは、前記第１正規化処理手段は、前記除算に加えて対数圧縮を行うことにより前記正規化を行う。
　また好ましくは、広帯域の雑音に対する耐性を高める必要がある場合、前記第１メル・フィルタバンク処理手段は、前記メル・フィルタバンクの重みの代わりに、有声音の区間では調波構造部分に重みがあり、かつ調波構造がない無声音の区間ではフラットに近いフィルタを、前記メル・フィルタバンクの重みに掛け合わせたものを使用する。　
　また好ましくは、上記音声特徴量抽出装置は、ＭＦＣＣ（Ｍｅｌ－Ｆｒｅｑｕｅｎｃｙ　Ｃｅｐｓｔｒｕｍ　Ｃｏｅｆｆｉｃｉｅｎｔ）を算出するＭＦＣＣ算出手段を更に含み、前記ＭＦＣＣを静的特徴量とする。
　なお、前記第１メル・フィルタバンク処理手段の処理を、前記第１正規化処理手段の処理の前に行ってもよい。この場合、前記第１正規化処理手段は、前記各フレームについて、前記フィルタバンクごとのメル・デルタスペクトルを、該フィルタバンクについての発話全体である全フレームについてのメルスペクトルの平均である平均メルスペクトルの関数で除算することにより正規化する。そして、前記音声特徴量抽出装置は、前記第１正規化処理手段の出力をデルタ特徴量としてもよい。
　好ましくは、前記平均メルスペクトルの前記関数は、前記平均メルスペクトルのそのものである。これに代えて、任意のフレームｔ及び任意のフィルタバンクｊに対して前記平均メルスペクトルの前記関数は、フレームｔのフィルタバンクｊについてのメルスペクトルの値と、フィルタバンクｊについての前記平均メルスペクトルの値とのうち、大きい方の値又は大きい方の値に近い値を出力するものであってもよい。
　また好ましくは、前記第１正規化処理手段の出力をデルタ特徴量とする上記音声特徴量抽出装置は、
前記デルタスペクトルを入力として、各フレームについて、前後のフレーム間の前記周波数binごとの前記デルタスペクトルの差分をデルタデルタスペクトルとして算出する第２差分算出手段と、前記各フレームについて、周波数binごとの前記デルタデルタスペクトルにメル・フィルタバンクの重みを掛けて合算したものを、フィルタバンクごとのメル・デルタデルタスペクトルとして算出する第２メル・フィルタバンク処理手段と、前記各フレームについて、前記フィルタバンクごとの前記メル・デルタデルタスペクトルを前記平均メルスペクトルの関数で除算することにより正規化する第２正規化処理手段とを更に含み、前記第２正規化処理手段の出力をデルタデルタ特徴量とする。
　また好ましくは、上記音声特徴量抽出装置は、正規化された前記フィルタバンクごとのメル・デルタスペクトルを、離散コサイン変換する第１離散コサイン変換手段を更に含み、前記第１離散コサイン変換手段の出力をデルタ特徴量とする。
　更に好ましくは、前記第１離散コサイン変換手段の出力をデルタ特徴量とする上記音声特徴量抽出装置は、前記デルタスペクトルを入力として、各フレームについて、前後のフレーム間の前記周波数binごとの前記デルタスペクトルの差分をデルタデルタスペクトルとして算出する第２差分算出手段と、前記各フレームについて、周波数binごとの前記デルタデルタスペクトルにメル・フィルタバンクの重みを掛けて合算したものを、フィルタバンクごとのメル・デルタデルタスペクトルとして算出する第２メル・フィルタバンク処理手段と、前記各フレームについて、前記フィルタバンクごとの前記メル・デルタデルタスペクトルを前記平均メルスペクトルの関数で除算することにより正規化する第２正規化処理手段と、正規化された前記フィルタバンクごとのメル・デルタデルタスペクトルを、離散コサイン変換する第２離散コサイン変換手段とを更に含み、前記第２離散コサイン変換手段の出力をデルタデルタ特徴量とする。
　上記課題を解決するために、本発明の第２の態様においては、フレーム化された音声信号の各フレームのスペクトルに、発話全体である全フレームについてのスペクトルの平均である平均スペクトルを足した値を入力して、前記各フレームについて、前記値にメル・フィルタバンクの重みを掛けて合算するメル・フィルタバンク処理手段と、前記各フレームについて、前記メル・フィルタバンク処理手段の出力の対数を求める対数算出手段と、前記各フレームにてついて、前記対数算出手段の出力を、離散コサイン変換する離散コサイン変換手段と、前記各フレームについて、前後のフレーム間の前記離散コサイン変換手段の出力の差分を算出する第１差分算出手段とを含み、前記第１差分算出手段の出力をデルタ特徴量とする、音声特徴量抽出装置を提供する。
　上記課題を解決するために、本発明の第３の態様においては、フレーム化された音声信号の各フレームのスペクトルを入力して、前記各フレームについて、前記スペクトルにメル・フィルタバンクの重みを掛けて合算することによりメルスペクトルを算出するメル・フィルタバンク処理手段と、各フレームの前記メルスペクトルを入力して、発話全体である全フレームについての前記メルスペクトルの平均である平均メルスペクトルを算出する平均算出手段と、前記各フレームについて、前記メルスペクトルに前記平均メルスペクトル加えた値の対数を求める対数算出手段と、前記各フレームについて、前記対数算出手段の出力を、離散コサイン変換する離散コサイン変換手段と、前記各フレームについて、前後のフレーム間の前記離散コサイン変換手段の出力の差分を算出する第１差分算出手段とを含み、前記第１差分算出手段の出力をデルタ特徴量とする、音声特徴量抽出装置を提供する。
　好ましくは、本発明の第２又は第３態様において、上記音声特徴量抽出装置は、前記各フレームについて、前後のフレーム間の前記第１差分算出手段の出力の差分を算出する第２差分算出手段を更に含み、前記第２差分算出手段の出力をデルタデルタ特徴量とする。
　以上、音声特徴量抽出装置として本発明を説明したが、本発明は、プロセッサと記憶領域を備えたコンピュータの計算処理によって上記説明した音声特徴量を抽出する音声特徴量抽出方法、及びプロセッサと記憶領域を備えたコンピュータにおいて実行される、上記説明した音声特徴量を抽出する音声特徴量抽出プログラムとして把握することもできる。なお本発明は、上述したようにフロントエンド等の残響や雑音を除去する技術と組み合わせることができることはいうまでもない。
　本願発明によれば、従来の対数領域の差分の代わりにリニア領域の差分を音声のデルタ特徴量及びデルタデルタ特徴量として利用できるので、残響及び騒音により一層強い特徴量を抽出することが可能となり、結果、音声認識の精度が高まる。本発明のその他の効果については、各実施の形態の記載から理解される。
図１（ａ）は、残響のある部屋で収録した音声パワーの減衰を表す、対数軸のグラフである。図１（ｂ）は、図１（ａ）と同じ音声パワーの減衰を表す、線形軸のグラフである。 図２は、残響環境で収録した音声スペクトルの一例を示す。 図３は、本発明の実施の形態による音声特徴量抽出装置を実現するのに好適なコンピュータのハードウェア構成の一例を示した図である。 図４は、一般的な音声認識装置の構成の一例を示す。 図５は、静的特徴量算出部の機能構成の一例を示す。 図６（ａ）は、本発明の第１実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の機能構成を示す。図６（ｂ）は、本発明の第１実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量抽出部の機能構成を示す。 図７（ａ）は、本発明の第２実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の機能構成を示す。図７（ｂ）は、本発明の第２実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量抽出部の機能構成を示す。 図８（ａ）は、本発明の第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の機能構成を示す。図８（ｂ）は、本発明の第３実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量抽出部の機能構成を示す。 図９（ａ）は、本発明の第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部によるデルタ特徴量抽出処理の流れの一例を示すフローチャートである。図９（ｂ）は、本発明の第３実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部によるデルタデルタ特徴量抽出処理の流れの一例を示すフローチャートである。 図１０（ａ）は、Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔの一例を示すグラフである。図１０（ｂ）は、Ｌｏｃａｌ　Ｐｅａｋ　Ｗｅｉｇｈｔの一例を示すグラフである。図１０（ｃ）は、ＬＰＷ－Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔの一例を示すグラフである。 図１１は、Ｌｏｃａｌ　Ｐｅａｋ　Ｗｅｉｇｈｔの作成処理の流れの一例を示すフローチャートである。 図１２（ａ）は、本発明の第４実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の機能構成を示す。図１２（ｂ）は、本発明の第５実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の機能構成を示す。 図１３（ａ）は、本発明の第４実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部によるデルタ特徴量抽出処理の流れの一例を示すフローチャートである。図１３（ｂ）は、本発明の第５実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部によるデルタ特徴量抽出処理の流れの一例を示すフローチャートである。 図１４は、本発明の第４又は第５実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量抽出部の機能構成を示す。 図１５は、本発明の第４又は第５実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量抽出部によるデルタデルタ特徴量抽出処理の流れの一例を示すフローチャートである。 図１６は、残響環境における本発明の第１の評価実験結果の一例を示す表である。 図１７は、残響環境における本発明の第２の評価実験結果の一例を示す表である。 図１８は、雑音環境における本発明の評価実験結果の一例を示す表である。
　以下、本発明を実施するための最良の形態を図面に基づいて詳細に説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、実施の形態の説明の全体を通じて同じ要素には同じ番号を付している。
　まず本発明の構成や動作の説明をする前に、図１及び図２を参照して、従来の対数領域の差分を用いるデルタ特徴量が、残響及び騒音環境での音声認識において好ましくない結果をもたらすことを説明する。そしてそれぞれの環境について、本願発明者が提案するスペクトルの平均を利用して正規化を行ったリニア領域の差分が、従来に比して雑音や残響により一層強いことを示す。
（残響環境）図１は、残響のある部屋で収録した音声パワーの減衰の様子を示し、同じ観測データを、図１（ａ）は対数軸で表し、図（ｂ）は線形軸で表している。横軸はいずれも区間番号を示し、時間の経過に相当する。図１を見ると分るように、音声の再生は９番区間辺りで終了し、後続の区間は残響区間となっている。残響は、指数関数的にそのパワーが減衰することが知られており、対数軸表示の図１（ａ）では、長くかつ傾きが一定のスロープ１０が形成されている。一方、線形軸表示の図１（ｂ）では、急で短いスロープ２０が形成されている。
　従来、デルタ特徴量として前後のフレーム間のＭＦＣＣの差分がよく用いられている。ＭＦＣＣは、メルスケールフィルタバンク（Ｍｅｌ－ＦＢ）ごとの対数スペクトルを離散コサイン変換したものであるため、そのデルタ特徴量は対数領域の差分と見なされる。特徴量としてＭＦＣＣを使用しない音声認識装置であっても、多くは対数スペクトルまたはその線形変換を特徴量とするため、それらのデルタ特徴量はやはり対数領域の差分と見なされる。
　このように対数領域の差分をデルタ特徴量として利用する従来の手法は、図１（ａ）のスロープ１０の傾きをデルタ特徴量として利用することに相当し、音声が終了しても長い間、一定の特徴量を出力し続ける。一方、線形、即ちリニア領域の差分をデルタ特徴量として利用することを考えると、これは図１（ｂ）のスロープ２０の傾きをデルタ特徴量とすることに相当し、この場合デルタ特徴量は残響区間で速やかに減衰すると考えられる。
　デルタ特徴量が速やかに減衰することの重要性は、音素が連続したケースでより明確になる。図２は、残響環境で収録した音声スペクトルの一例を示し、横軸は図１と同様に区間番号を示し、縦軸は周波数を示す。また、音声スペクトルの強度は色の濃淡で表され、薄いほど強度が高いことを示す。図２に示すように、音素１と音素２とが連続している場合、Ａの領域は音素２に属するが、先行音素１の残響の影響を受ける。領域Ａの部分のスペクトル強度は十分弱いので、デルタではない、即ち静的特徴量のみを想定すれば、先行音素の影響は大きくない。しかしながら、対数スペクトルを用いたデルタ特徴量等、動的特徴量をも考慮すると、領域Ａの部分は、先行音素１の残響である長いスロープの裾野に当たるため、見かけ以上に先行音素１の影響を受ける。従って、残響環境では、速やかに減衰するリニア領域のデルタ特徴量が好ましい。
　しかしながら、リニア領域の差分をそのままデルタ特徴量とすることはできない。なぜならば、リニア領域のデルタのままでは、ダイナミックレンジが広くモデル化に適さないからである。なお、ダイナミックレンジを圧縮するために、リニア領域のデルタを算出した後に対数をとることも考えられる。しかしデルタの値は正にも負にもなり得るので、単純に対数をとることはできない。また、音声認識では伝達特性の補正のためにＣＭＮ（Ｃｅｐｓｔｒｕｍ　Ｍｅａｎ　Ｎｏｍａｌｉｚａｔｉｏｎ）を併用することが多いが、リニア領域のデルタのままでは、そのような補正を行うことができない。
　そこで本願発明者は、上記問題を、リニア領域のスペクトルのデルタに対して発話全体についてのスペクトルの平均を利用した正規化を行うことにより解決した。ここで観測音声のｔフレーム目のリニア領域のスペクトルのデルタをΔｓｔ、発話全体である全フレームについてのスペクトルの平均（以下、単に平均スペクトルとも言う）をｓバーとすると、本願発明者が提案する最もシンプルなデルタ特徴量は次式により表わされる。なお、本願発明者が提案する他のデルタ特徴量のバリエーションについては後述する。
Figure JPOXMLDOC01-appb-M000001

　
　ここで比較のため、従来の観測音声のｔフレーム目の対数領域のスペクトルのデルタを次式のように近似する。
Figure JPOXMLDOC01-appb-M000002


式１と式２を比較すると、本願発明者が提案するデルタ特徴量は、従来のデルタ特徴量の分母のスペクトルｓｔを発話全体の平均スペクトルのｓバーで置き換えたものと理解することができる。従って本願発明者が提案するデルタ特徴量は、ｔフレーム目が発話全体に比べ小さなパワーを持っているときには、従来のデルタ特徴よりも小さなデルタ特徴量を与える。なお上記両式が類似していることから、式１は式２と同程度のダイナミックレンジに収まっているといえる。更に、式１のデルタ特徴量は、ｓバーで除されていることから、伝達特性の補正の効果も入っている。　
（騒音環境）次に式１を例に、本願発明者が提案するデルタ特徴量が騒音環境にも有効であることを説明する。今、音響モデルの学習時において雑音がなく、式１及び式２のデルタ特徴量をそれぞれ用いて学習が行われたとする。音声認識実行時において雑音Ｎが付加される状況では、式１のデルタ特徴量は次式のように観測される。
Figure JPOXMLDOC01-appb-M000003


同様に式２のデルタ特徴量は次式のように観測される。
Figure JPOXMLDOC01-appb-M000004
　ここで雑音Ｎが加わったことによる変化の度合いを調べるため、式１と式３、式２と式４の比をとり、それぞれ式５及び式６に示す。
Figure JPOXMLDOC01-appb-M000005


Figure JPOXMLDOC01-appb-M000006
　式５と式６を比較すると分るように、局所的なＳＮＲが低いフレーム、即ち、ｓｔが雑音Ｎや平均スペクトルｓバーよりもかなり小さくなるような区間では、雑音Ｎが付加されたことによるデルタ特徴量の変化の度合いは、式６の方が大きい。このことは、一般に誤認識が起こりやすいとされる低ＳＮＲ区間において発生するモデルからのずれは、従来の対数領域のデルタを利用するほうが、本願発明者が提案するデルタ特徴量を利用するよりも、非常に大きいことを意味する。このように、本願発明者が提案するデルタ特徴量は騒音環境においても有効である。　
　図３は、本発明を実施するためのコンピュータ３００の例示的なハードウェア構成を示す。図３においてマイク３０５付近で発生した音は、マイク３０５によってアナログ信号としてＡ／Ｄ変換器３１０に入力され、そこでＣＰＵ３２５が処理可能なディジタル信号に変換される。
　マイク３０５が拾う音は、例えばカーナビの場合、運転者の話声、同乗者の話声だけでなく、エアコンの送風音、カーオーディオから出力される音、エンジン音、クラクションの音などが含まれる。更に車の窓が開いている場合には、対向車からの騒音、通行人の話声なども含まれる。
　外部記憶装置３１５やＲＯＭ３２０は、オペレーティング・システムと協働してＣＰＵ３２５に命令を与え、本発明を実施するための音声特徴量抽出プログラム・モジュールを含む複数のコンピュータ・プログラムのコードや各種データを記録することができる。そして外部記憶装置３１５やＲＯＭ３２０に格納された複数のコンピュータ・プログラムは各々ＲＡＭ３３０にロードされることによってＣＰＵ３２５により実行される。なお、外部記憶装置３１５は、ＳＣＳＩコントローラなどのコントローラ（図示しない）を経由してバス３４５へ接続されている。
　コンピュータ・プログラムは圧縮し、また複数に分割して複数の媒体に記録することもできる。なお、ＣＰＵ３２５が、Ａ／Ｄ変換器３１０から渡されるディジタル信号に対して、音声特徴量抽出プログラムにより行う処理の詳細は後述する。
　コンピュータ３００はまた、視覚データをユーザに提示するための表示装置３３５を含む。表示装置３３５は、グラフィックスコントローラ（図示しない）を経由してバス３４５へ接続されている。コンピュータ３００は、通信インタフェース３４０を介してネットワークに接続し、他のコンピュータ等と通信を行うことが可能である。
　なお、上記説明した構成要素は例示であり、そのすべての構成要素が本発明の必須構成要素となるわけではない。同様に本発明を実施するためのコンピュータ３００は、キーボードやマウスのような入力デバイス、スピーカー等の他の構成要素を含むことも可能であることは言うまでもない。
　図４は、一般的な音声認識装置４００の構成を示す。離散フーリエ変換部４０５は、ディジタル信号に変換された音声信号を入力し、これをハニング窓、ハミング窓などの適当な方法でフレーム化した後、離散フーリエ変換して音声信号のスペクトルを出力する。ノイズ・リダクション部４１０は、離散フーリエ変換部４０５の出力であるスペクトルを入力し、スペクトルサブトラクション法等によりスペクトルから雑音を除去する。但しノイズ・リダクション部４１０はオプションであってなくてもよい。
　特徴量抽出部４１５は、音声信号のスペクトル（ノイズ・リダクション部４１０が存在する場合は雑音が除去された後の音声信号のスペクトル）を入力し、静的特徴量や動的特徴量を抽出して出力する。上述したように、従来はＭＦＣＣとそのデルタ（１次変化量）及びデルタデルタ（２次変化量）の組み合わせ、またはそれらの線形変換が利用されることが多く、これらがそれぞれ静的特徴量、動的特徴量として抽出されていた。
　スイッチ４２０は、学習時においては学習部４３０側へ倒され、学習部４３０は、学習データとしての音声信号から特徴量抽出部４１５が抽出した特徴量と、学習データとしての音声信号に対応する入力テキストとを入力し、これらデータから音響モデル４２５を構築する。なお、学習処理自体は本発明の要旨ではないので、これ以上の説明は省略する。
　またスイッチ４２０は、認識時においては音声認識部４４０側へ倒され、音声認識部４４０は、認識データとしての音声信号から特徴量抽出部４１５が抽出した特徴量と、音響モデル４２５及び言語モデル４３５からのデータとを入力し、これらデータから音声信号を認識して認識結果のテキストを出力する。なお、音声認識処理自体は本発明の要旨ではないので、これ以上の説明は省略する。
　このように音声認識装置４００は、学習時には、音声信号と入力テキストから音響モデル４２０を構築し、認識時には、入力信号と、音響モデルと、言語モデルとから認識結果のテキストを出力する。本発明は、図４に示す従来の特徴量抽出部４１５を改良するものであり、具体的には、動的特徴量であるデルタ特徴量及びデルタデルタ特徴量の算出方法を改善する。
　本発明により改良される特徴量抽出部４１５は、従来の多くの特徴量抽出部４１５と同様、静的特徴量と動的特徴量を組み合わせた多次元の特徴量を出力するが、必要に応じて、静的特徴量なしや、デルタデルタ特徴量なしなどのように簡略構成とすることが可能であることは言うまでもない。以下では、本発明に係る特徴量抽出部４１５を、静的特徴量算出部、デルタ特徴量算出部、及びデルタデルタ特徴量算出部を含む音声特徴量抽出装置として説明する。
　図５は、静的特徴量算出部の機能構成の一例を示す。本実施例では、静的特徴量としてＭＦＣＣ特徴量を使用する。なお、後述する第１乃至第５実施形態に係る音声特徴量抽出装置の全てについて、静的特徴量算出部は共通である。図５において、メル・フィルタバンク処理部５００は、図４に関連して説明した離散フーリエ変換部４０５又はノイズ・リダクション部４１０から、フレーム化された音声信号の周波数binごとのスペクトルｓｔを入力し、各フレームについて、その機能により、周波数binごとのスペクトルｓｔを、メル・フィルタバンクの重みを使用してフィルタバンクごとのスペクトル（以下、メルスペクトルＳｔという）に変換して、メルスペクトルＳｔを出力する。
　ここでｔをフレーム番号、ｉを周波数bin番号、ｊをフィルタバンク番号、Ｍｅｌ＿ＦＢ＿Ｗｅｉｇｈｔをメル・フィルタバンクの重みとすると、メル・フィルタバンク処理部５００による変換は次式より表される。
Figure JPOXMLDOC01-appb-M000007
　対数算出部５０５は、メルスペクトルＳｔを入力し、各フレームについて、その機能により、フィルタバンクごとのメルスペクトルＳｔの対数を次式より求め、対数メルスペクトルＳｔ´を出力する。
Figure JPOXMLDOC01-appb-M000008
　離散コサイン変換部５１０は、対数メルスペクトルＳｔ´を入力し、各フレームについて、その機能により、対数メルスペクトルＳｔ´を離散コサイン変換してＭＦＣＣ、即ちメルケプストラムＣｔを算出し、出力する。なお離散コサイン変換部５１０は、離散コサイン変換行列をＤ（ｈ、ｊ）とすると次式より対数メルスペクトルＳｔ´の離散コサイン変換を行う。
Figure JPOXMLDOC01-appb-M000009


このようにして静的特徴量算出部は、スペクトルｓｔを入力として、最終的にメルケプストラムＣｔを静的特徴量として出力する。
（第１実施形態）図６（ａ）は、本発明の第１実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の機能構成を示す。第１差分算出部６００は、図４に関連して説明した離散フーリエ変換部４０５又はノイズ・リダクション部４１０から、フレーム化された音声信号の周波数binごとのスペクトルｓｔを入力し、各フレームについて、その機能により、周波数binごと、前後のフレーム間のスペクトルｓｔの差分（以下、デルタスペクトルΔｓｔともいう）を算出し、周波数binごとのデルタスペクトルΔｓｔとして出力する。第１差分算出部６００による差分処理は、次式により行われる。
Figure JPOXMLDOC01-appb-M000010


式１０では、周波数bin番号ｉは省略している。
　第１正規化処理部６０５は、周波数binごとのデルタスペクトルΔｓｔを入力し、各フレームについて、その機能により、周波数binごとのデルタスペクトルΔｓｔを、該周波数binについての発話全体である全フレームについてのスペクトルの平均である平均スペクトルの関数Ｆで除算することにより正規化する。本実施例では、平均スペクトルの関数Ｆは平均スペクトルそのもの、即ち周波数binごとの平均スペクトルｓバーとする。この場合、第１正規化処理部６０５の出力は次式により表される。
Figure JPOXMLDOC01-appb-M000011


式１１では、周波数bin番号ｉは省略している。第１実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部は、第１正規化処理部６０５の出力をデルタ特徴量とする。
　図６（ｂ）は、本発明の第１実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部の機能構成を示す。本発明の第１実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部は、第２差分算出部６１０及び第２正規化処理部６１５を含む。これらは入力及び出力を異にするだけで、その機能は各々本発明の第１実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の対応する構成要素と同じである。
　即ち、第２差分算出部６１０は、図６（ａ）に示す第１差分算出部６００からデルタスペクトルΔｓｔを入力し、各フレームについて、周波数binごと、前後のフレーム間のデルタスペクトルΔｓｔの差分をデルタデルタスペクトルΔΔｓｔとして算出する。第２差分算出部６１０の出力、デルタデルタスペクトルΔΔｓｔは次式により表される。
Figure JPOXMLDOC01-appb-M000012


式１２では、周波数bin番号ｉは省略している。
　また第２正規化処理部６１５は、デルタデルタスペクトルΔΔｓｔを入力し、各フレームについて、周波数binごと、デルタデルタスペクトルΔΔｓｔを平均スペクトルの関数で除算することにより正規化する。本実施例では、平均スペクトルの関数Ｆは平均スペクトルそのもの、即ち周波数binごとの平均スペクトルｓバーとする。この場合、第２正規化処理部６１５の出力は次式により表される。
Figure JPOXMLDOC01-appb-M000013


式１３では、周波数bin番号ｉは省略している。第１実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部は、第２正規化処理部６１５の出力をデルタデルタ特徴量とする。
（第２実施形態）図７（ａ）は、本発明の第２実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の機能構成を示す。第２実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部は、第１実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部に第１メル・フィルタバンク処理部７０５を追加したものである。新たに追加される第１メル・フィルタバンク処理部７０５は、その処理の順序が、第１差分算出部７００の後であって、かつ第１正規化処理部７１０よりも前又は後となるような位置に配置される。
　ここで第１差分算出部７００は、第１実施形態に係る音声特徴量抽出装置の第１差分算出部６００と全く同じものであるため、ここでは繰り返しを避けるため説明は省略する。第１メル・フィルタバンク処理部７０５は、入力及び出力を異にするだけで、その機能は図５に関して説明したメル・フィルタバンク処理部５００と同じである。
　即ち、第１メル・フィルタバンク処理部７０５の処理が第１正規化処理部７１０の処理よりも先である場合を例に説明すると、第１メル・フィルタバンク処理部７０５は、第１差分算出部７００からデルタスペクトルΔｓｔを入力し、各フレームについて、周波数binごとのデルタスペクトルΔｓｔに、式７の右辺と同様にメル・フィルタバンクの重みを掛けて合算し、合算した値をフィルタバンクごとのメル・デルタスペクトルΔＳｔとして算出する。
　第１正規化処理部７１０もまた、入力及び出力を異にするだけで、その機能は第１実施形態に係る音声特徴量抽出装置の第１正規化処理部６０５と同じである。そこで繰り返しを避けるためここでは説明を省略する。但し、第１メル・フィルタバンク処理部７０５の処理が第１正規化処理部７１０の処理よりも前となる場合は、第１正規化処理部７１０が正規化のために用いる発話全体である全フレームについての平均スペクトルは、周波数binごとのスペクトルの平均である平均スペクトルｓバーではなく、フィルタバンクごとのメルスペクトルの平均である平均メルスペクトルＳバーであることに留意されたい。
　即ち、平均スペクトルの関数Ｆを平均スペクトルそのものとすると、この場合、第１正規化処理部７１０は、第１メル・フィルタバンク処理部７０５からフィルタバンクごとのメル・デルタスペクトルΔＳｔ入力し、各フレームについて、フィルタバンクごとのメル・デルタスペクトルΔＳｔを、該フィルタバンクについての全フレームについての平均メルスペクトルＳバーで除算することにより正規化を行う。第１正規化処理部７１０の出力は次式により表される。
Figure JPOXMLDOC01-appb-M000014


式１４では、フィルタバンク番号ｊは省略している。また式１４の右辺の分母は、フィルタバンクごとの平均メルスペクトルＳバーである。第２実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部は、その処理が最後となる第１メル・フィルタバンク処理部７０５又は第１正規化処理部７１０の出力をデルタ特徴量とする。
　図７（ｂ）は、本発明の第２実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部の機能構成を示す。本発明の第２実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部は、第２差分算出部７１５、第２メル・フィルタバンク処理部７２０及び第２正規化処理部７２５を含む。第２メル・フィルタバンク処理部７２０の処理と第２正規化処理部７２５の処理はいずれが先に行われてもよい。第２差分算出部７１５は、第１実施形態に係る音声特徴量抽出装置の第２差分算出部６１０と全く同じものであるため、ここでは繰り返しを避けるため説明を省略する。第２メル・フィルタバンク処理部７２０は、入力及び出力を異にするだけで、その機能は図５に関して説明したメル・フィルタバンク処理部５００と同じである。
　即ち、第２メル・フィルタバンク処理部７２０の処理が第２正規化処理部７２５の処理よりも先である場合を例に説明すると、第２メル・フィルタバンク処理部７２０は、第２差分算出部７１５からデルタデルタスペクトルΔΔｓｔを入力し、各フレームについて、周波数binごとのデルタデルタスペクトルΔΔｓｔに、式７の右辺と同様にメル・フィルタバンクの重みを掛けて合算し、合算した値をフィルタバンクごとのメル・デルタデルタスペクトルΔΔＳｔとして算出する。
　第２正規化処理部７２５もまた、入力及び出力を異にするだけで、その機能は第１実施形態に係る音声特徴量抽出装置の第２正規化処理部６１５と同じである。そこで繰り返しを避けるためここでは説明を省略する。但し、第２メル・フィルタバンク処理部７２０の処理が第２正規化処理部７２５の処理よりも前となる場合は、第２正規化処理部７２５が正規化のために用いる発話全体である全フレームについての平均スペクトルは、周波数binごとのスペクトルの平均である平均スペクトルｓバーではなく、フィルタバンクごとのメルスペクトルの平均である平均メルスペクトルＳバーであることに留意されたい。
　即ち、平均スペクトルの関数Ｆを平均スペクトルそのものとすると、この場合、第２正規化処理部７２５は、第２メル・フィルタバンク処理部７２０からフィルタバンクごとのメル・デルタデルタスペクトルΔΔＳｔ入力し、各フレームについて、フィルタバンクごとのメル・デルタデルタスペクトルΔΔＳｔを、該フィルタバンクについての平均メルスペクトルＳバーで除算することにより正規化を行う。第２正規化処理部７２５の出力は次式により表される。　
Figure JPOXMLDOC01-appb-M000015

　
式１５では、フィルタバンク番号ｊは省略している。また式１５の右辺の分母は、フィルタバンクごとの平均メルスペクトルＳバーである。第２実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部は、その処理が最後となる第２メル・フィルタバンク処理部７２０又は第２正規化処理部７２５の出力をデルタデルタ特徴量とする。
（第３実施形態）図８（ａ）は、本発明の第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の機能構成を示す。第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部は、第２実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部に第１離散コサイン変換部８１５を新たに追加したものである。従って、第１差分算出部８００、第１メル・フィルタバンク処理部８０５、及び第１正規化処理部８１０の説明は、繰り返しを避けるためここでは省略する。なお、新たに追加される第１離散コサイン変換部８１５は、その処理順序が最後になるような位置に配置される。
　第１離散コサイン変換部８１５は、入力及び出力を異にするだけで、その機能は図５に関して説明した離散コサイン変換部５１０と同じである。即ち、第１離散コサイン変換部８１５は、正規化されたフィルタバンクごとのメル・デルタスペクトルΔＳｔを入力し、これを離散コサイン変換する。第１離散コサイン変換部８１５の出力は次式により表される。
Figure JPOXMLDOC01-appb-M000016


　式１６において、記号ＤＣＴは式９の離散コサイン変換行列Ｄ（ｈ、ｊ）による変換を表す。第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部は、第１離散コサイン変換部８１５の出力をデルタ特徴量とする。
　図８（ｂ）は、本発明の第３実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部の機能構成を示す。本発明の第３実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部は、第２実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部に第２離散コサイン変換部８３５を新たに追加したものである。従って、第２差分算出部８２０、第２メル・フィルタバンク処理部８２５、及び第２正規化処理部８３０の説明は、繰り返しを避けるためここでは省略する。なお、新たに追加される第２離散コサイン変換部８３５は、その処理順序が最後になるような位置に配置される。
　第２離散コサイン変換部８３５は、入力及び出力を異にするだけで、その機能は図５に関して説明した離散コサイン変換部５１０と同じである。即ち、第２離散コサイン変換部８３５は、正規化されたフィルタバンクごとのメル・デルタデルタスペクトルΔΔＳｔを入力し、これを離散コサイン変換する。第２離散コサイン変換部８３５の出力は次式により表される。
Figure JPOXMLDOC01-appb-M000017


式１７において、記号ＤＣＴは式９の離散コサイン変換行列Ｄ（ｈ、ｊ）による変換を表す。第３実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部は、第２離散コサイン変換部８３５の出力をデルタデルタ特徴量とする。
　なお、第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部及びデルタデルタ特徴量算出部では、第１正規化処理部８１０及び第２正規化処理部８３０による正規化の方法を次のように変更してもよい。即ち、第１正規化処理部８１０及び第２正規化処理部８３０は、平均スペクトルｓバーや平均メルスペクトルＳバーによる除算に加えて対数圧縮を行うことにより正規化を行ってよい。この場合、例えば第１メル・フィルタバンク処理部８０５による処理の後に第１正規化処理部８１０による処理が行われるとすると、第１正規化処理部８１０による正規化は次式により行われる。
Figure JPOXMLDOC01-appb-M000018

　
　即ち、メル・デルタスペクトルΔＳｔが０以上である場合、第１正規化処理部８１０は、フィルタバンクごとのメル・デルタスペクトルΔＳｔを、該フィルタバンクについての平均メルスペクトルＳバーで除算して１を加え、その結果の対数を求めることにより正規化を行う。一方、メル・デルタスペクトルΔＳｔが０より小さい場合、第１正規化処理部８１０は、フィルタバンクごとのメル・デルタスペクトルΔＳｔを、該フィルタバンクについての平均メルスペクトルＳバーで除算してマイナス１を掛けたものに１を加え、その結果の対数にマイナス１を掛けることにより正規化を行う。同様にして、第２メル・フィルタバンク処理部８２５による処理の後に第２正規化処理部８３０による処理が行われるとすると、第２正規化処理部８３０は式１９により正規化を行ってもよい。
Figure JPOXMLDOC01-appb-M000019
　これに代えて、第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部及びデルタデルタ特徴量算出部では、平均メルスペクトルＳバーの関数Ｆを、平均メルスペクトルＳバーそのものではなく、次のような平均メルスペクトルＳバーとメルスペクトルＳとの関数Ｆとしてよい。即ち、任意のフレームｔ及び任意のフィルタバンクｊに対して平均メルスペクトルＳバーの関数Ｆは、フレームｔのフィルタバンクｊについてのメルスペクトルＳの値と、フィルタバンクｊについての全フレームについての平均メルスペクトルＳバーの値とのうち、大きい方の値又は大きい方の値に近い値を出力する。このような関数Ｆの一例を式２０及び２１に示す。
Figure JPOXMLDOC01-appb-M000020


Figure JPOXMLDOC01-appb-M000021


式２０及び式２１では、フィルタバンク番号ｊは省略している。
そして第１正規化処理部８１０は、フィルタバンクごとのメル・デルタスペクトルΔＳｔを入力し、各フレームについて、フィルタバンクごとのメル・デルタスペクトルΔＳｔを、該フィルタバンクについての上記式２０又は式２１により表される関数Ｆで除算することにより正規化する。第２正規化処理部８３０についても同様である。このような平均メルスペクトルＳバーとメルスペクトルＳとの関数Ｆを用いた正規化は、性能の観点から、平均メルスペクトルＳバーで除算する正規化よりも好ましい。　
　図９（ａ）は、本発明の第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部による音声のデルタ特徴量抽出処理の流れの一例を示すフローチャートである。処理はステップ９００から開始し、第１差分算出部８００は、フレーム化された音声信号の周波数binごとのスペクトルを入力して、各フレームについて、周波数binごと、前後のフレーム間のスペクトルの差分をデルタスペクトルΔｓｔとして算出し、図３に示すＲＡＭ３３０等の記憶領域に記憶する。
　第１メル・フィルタバンク処理部８０５は、記憶領域からデルタスペクトルΔｓｔを読み出し、各フレームについて、周波数binごとのデルタスペクトルΔｓｔにメル・フィルタバンクの重みを掛けて合算し、これをフィルタバンクごとのメル・デルタスペクトルΔＳｔとして記憶領域に記憶する（ステップ９０５）。第１正規化処理部８１０は、記憶領域からメル・デルタスペクトルΔＳｔを読み出し、各フレームについて、フィルタバンクごとのメル・デルタスペクトルΔＳｔを、該フィルタバンクについての平均メルスペクトルＳバーの関数Ｆで除算することにより正規化し、記憶領域に記憶する（ステップ９１０）。
　なお、点線９２０で囲った、第１メル・フィルタバンク処理部８０５の処理と第１正規化処理部８１０の処理は、順序を入れ替えてよい。但し、第１メル・フィルタバンク処理部８０５の処理が第１正規化処理部８１０の処理よりも後となる場合、第１正規化処理部８１０が正規化のために用いる関数Ｆは、周波数binごとの平均スペクトルｓバーの関数Ｆである。また上述したように、関数Ｆは、平均スペクトルｓバーや平均メルスペクトルＳバーそのものでもよく、式２０や式２１で表すものでもよい。或いは平均スペクトルｓバーや平均メルスペクトルＳバーによる除算に加えて対数圧縮を行うことにより正規化を行ってもよい。
　続いて第１離散コサイン変換部８１５は、記憶領域から正規化されたフィルタバンクごとのメル・デルタスペクトルを読み出して離散コサイン変換し、その結果をデルタ特徴量として出力する（ステップ９１５）。そして処理は終了する。なお、第１及び第２実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部によるデルタ特徴量抽出処理は、図９（ａ）において、ステップ９０５とステップ９１５の処理、又はステップ９１５の処理を省略した場合にそれぞれ該当する。
　図９（ｂ）は、本発明の第３実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部によるデルタデルタ特徴量抽出処理の流れの一例を示すフローチャートである。処理はステップ９２０から開始し、第２差分算出部８２０は、第１差分算出部８００からデルタスペクトルΔｓｔを入力して、各フレームについて、前後のフレーム間の周波数binごとのデルタスペクトルΔｓｔの差分をデルタデルタスペクトルΔΔｓｔとして算出し、図３に示すＲＡＭ３３０等の記憶領域に記憶する。
　第２メル・フィルタバンク処理部８２５は、記憶領域からデルタデルタスペクトルΔΔｓｔを読み出し、各フレームについて、周波数binごとのデルタデルタスペクトルΔΔｓｔにメル・フィルタバンクの重みを掛けて合算し、これをフィルタバンクごとのメル・デルタデルタスペクトルΔΔＳｔとして記憶領域に記憶する（ステップ９２５）。第２正規化処理部８３０は、記憶領域からメル・デルタデルタスペクトルΔΔＳｔを読み出し、各フレームについて、フィルタバンクごとのメル・デルタデルタスペクトルΔΔＳｔを、該フィルタバンクについての平均メルスペクトルＳバーの関数Ｆで除算することにより正規化し、記憶領域に記憶する（ステップ９３０）。
　なお、点線９４０で囲った、第２メル・フィルタバンク処理部８２５の処理と第２正規化処理部８３０の処理は、順序を入れ替えてよい。但し、第２メル・フィルタバンク処理部８２５の処理が第２正規化処理部８３０の処理よりも後となる場合、第２正規化処理部８３０が正規化のために用いる関数Ｆは、周波数binごとの平均スペクトルｓバーの関数Ｆである。また上述したように、関数Ｆは、平均スペクトルｓバーや平均メルスペクトルＳバーそのものでもよく、式２０や式２１で表すものでもよい。或いは平均スペクトルｓバーや平均メルスペクトルＳバーによる除算に加えて対数圧縮を行うことにより正規化を行ってもよい。
　続いて第２離散コサイン変換部８３５は、記憶領域から正規化されたフィルタバンクごとのメル・デルタデルタスペクトルを読み出して離散コサイン変換し、その結果をデルタデルタ特徴量として出力する（ステップ９３５）。そして処理は終了する。なお、第１及び第２実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部によるデルタデルタ特徴量抽出処理は、図９（ｂ）において、ステップ９２５とステップ９３５の処理、又はステップ９３５の処理を省略した場合にそれぞれ該当する。
　ところで第２及び第３実施形態では、第１メル・フィルタバンク処理部７０５、８０５及び第２メル・フィルタバンク処理部７２０、８２５が使用するメル・フィルタバンクの重みの代わりに、有声音の区間では調波構造部分に重みがあり、かつ調波構造がない無声音の区間ではフラットに近いフィルタ（以下、Ｌｏｃａｌ　Ｐｅａｋ　Ｗｅｉｇｈｔという）を、メル・フィルタバンクの重みに掛け合わせたものを使用してもよい。このようにして作成される新たな重みを、図１０及び図１１を参照して以下に説明する。　
　図１０（ａ）は、メル・フィルタバンクの重みの一例を示すグラフである。上述したように、第１メル・フィルタバンク処理部７０５、８０５及び第２メル・フィルタバンク処理部７２０、８２５は、周波数方向に等間隔に設定された周波数binごとのスペクトルを、それぞれにメル・フィルタバンクの重みを掛けて合算することにより、フィルタバンクというより大きなかたまりごとのスペクトルに変換する。
　フィルタバンクは、人間の聴覚特性に適合するメル周波数上で等間隔になるように配置され、図１０（ａ）に示すように三角形状の重み１０００として構成される。そして、式７の右辺に示したように、周波数binごとのフィルタバンクへの寄与度を重みとして、メル・フィルタバンクの重みＭｅｌ＿ＦＢ＿Ｗｅｉｇｈｔ（ｊ、ｉ）が定義される。
　ところで、人間の発音は母音において、調波構造を持つ。即ち、全ての周波数binに満遍なくエネルギーが込められているのではなく、女性や子供のように基本周波数が高い発声の場合は、声のエネルギーはとびとびの周波数binに存在する。従って上述したメル・フィルタバンクのように、声のエネルギーのない周波数binにも等しく重みを割り当てると、それだけ雑音を拾い易くなる。従って、調波構造に対応するピークの部分にはより大きな重みを割り当て、谷の部分にはより小さな重みを割り当て、かつ、ピークが観測されないときには通常のＭｅｌ－ＦＢ　Ｗｅｉｇｈｔに漸近するような、新たな重みを利用することが好ましい。
そのためにまず、スペクトルの調波構造に対応する山と谷の情報を、図１０（ｂ）に示すようなＬｏｃａｌ　Ｐｅａｋ　Ｗｅｉｇｈｔ（ＬＰＷ）として、入力スペクトルを基にフレームごと算出する。ＬＰＷの算出方法は後述する。そして次式に示すように、Ｍｅｌ－ＦＢ　ＷｅｉｇｈｔとＬＰＷの積をとって新たな重みとし、そのフィルタバンクごとの合計で除することにより正規化したものを、ＬＰＷ－Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔとする。　
Figure JPOXMLDOC01-appb-M000022
　図１０（ｃ）は、このようにして求められたＬＰＷ－Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔを示すグラフである。第２及び第３実施形態において第１メル・フィルタバンク処理部７０５、８０５及び第２メル・フィルタバンク処理部７２０、８２５は、それぞれ次式に示すように、Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔの代わりにＬＰＷ－Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔを用いて変換処理を行ってよい。
Figure JPOXMLDOC01-appb-M000023


Figure JPOXMLDOC01-appb-M000024


　なお、ＬＰＷ－Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔを使用するのは、広帯域の雑音に対する耐性を高めるためであり、雑音が音楽や他者の発声である場合や、雑音がなく残響のみがある場合は、ＬＰＷ－Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔを使用する必要はない。
　次に図１１を参照して、ＬＰＷの作成方法を説明する。なおＬＰＷの作成方法は、基本的には本願発明者による発明を開示する引用文献１に記載される、観測音声を強調する強調フィルタの作成方法と同じである。処理はステップ１１００から開始し、まず観測音声のｔフレーム目のスペクトルをｓｔの対数パワースペクトルＹｔを次式により求める。
Figure JPOXMLDOC01-appb-M000025
　続いて、次式より対数パワースペクトルＹｔを離散コサイン変換し、ケプストラムＲｔを求める（ステップ１１０５）。
Figure JPOXMLDOC01-appb-M000026


式２６において記号ＤＣＴは、式９の離散コサイン変換行列Ｄ（ｈ、ｊ）による変換を表す。続いて、ケプストラムＲｔは、対数スペクトルの外形の特徴を抽出した係数であるので、次式より、人間の発声の調波構造に対応した領域の項のみ残し、それ以外の項をカットする（ステップ１１１０）。
Figure JPOXMLDOC01-appb-M000027
　式２７において、εは０又は非常に小さい定数である。また、ｌｏｗｅｒ＿ｃｅｐ＿ｎｕｍとｕｐｐｅｒ＿ｃｅｐ＿ｎｕｍは、調波構造として有り得る範囲に対応する。後述する評価実験では、人間の発声の基本周波数は１００Ｈｚから４００Ｈｚの間にあると仮定し、ｌｏｗｅｒ＿ｃｅｐ＿ｎｕｍ＝４０、ｕｐｐｅｒ＿ｃｅｐ＿ｎｕｍ＝１６０と設定した。但し、これはサンプリング周波数１６ｋＨｚ、ＦＦＴ幅５１２点とした場合の設定値例である。
　続いて、次式に示すように逆離散コサイン変換をかけて、加工されたケプストラムＲｔを対数スペクトル領域に戻す（ステップ１１１５）。　　
Figure JPOXMLDOC01-appb-M000028


式２２において記号ＤＣＴ－１は、式９の離散コサイン変換行列Ｄ（ｈ、ｊ）の逆行列による変換を表す。
　最後のステップ１１２０では、まず式２９により、逆離散コサイン変換した結果を、対数スペクトル領域からパワースペクトル領域に戻す。続いて式３０により、平均値が１になるよう正規化を行い、最終的にＬＰＷを作成する。そして処理は終了する。
Figure JPOXMLDOC01-appb-M000029


Figure JPOXMLDOC01-appb-M000030


式３０において、Ｎｕｍ＿ｂｉｎは周波数binの総数である。
（第４実施形態）図１２（ａ）は、本発明の第４実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の機能構成を示す。第４実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部は、図５に関連して説明した静的特徴量算出部の構成要素に、第１差分算出部１２１５を追加したものである。第１差分算出部１２１５は、図１２（ａ）に示すように、他の全構成要素の処理の後にその処理が行われるような位置に配置される。
　図１２（ａ）に示す、メル・フィルタバンク処理部１２００、対数算出部１２０５、及び離散コサイン変換部１２１０はそれぞれ、入力及び出力を異にするだけで、その機能は図５に関して説明した静的特徴量算出部の対応する構成要素と同じである。図１２（ａ）に示す第１差分算出部１２１５もまた、入力及び出力を異にするだけで、その機能は第１実施形態に係る音声特徴量抽出装置の第１差分算出部６００と同じである。そこで繰り返しを避けるため、ここでは各構成要素の機能の説明は省略する。
　但し上述したように、図１２（ａ）に示すメル・フィルタバンク処理部１２００に入力される値は、図５に示すメル・フィルタバンク処理部５００のそれと異なり、フレーム化された音声信号の周波数binごとのスペクトルｓｔに、該周波数binについての平均スペクトルｓバーを足し合わせた値である。このような値をデルタ特徴量算出部の入力とすることにより、デルタ特徴量として最終的に得られる値、即ち、第１差分算出部１２１５の出力は、式２１により表される関数Ｆを用いて正規化を行う第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部により出力されるデルタ特徴量とほぼ等価となる。しかし第４実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部は、既存の静的特徴量抽出部をわずかに変更するだけで構成できることから、上記第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部よりも好ましいといえる。
　なお、デルタ特徴量として最終的に得られる第１差分算出部１２１５の出力は、次式により表される。
Figure JPOXMLDOC01-appb-M000031


式３１では、フィルタバンク番号ｊは省略している。
（第５実施形態）図１２（ｂ）は、本発明の第５実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の機能構成を示す。第５実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部は、平均スペクトルｓバーを足し合わせるタイミングを、メル・フィルタバンク処理部１２２０による処理の前ではなく処理の後とする点を除いては、基本的に第４実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の構成と同じである。但し、上記タイミングで平均スペクトルｓバーを足し合わせる必要があることから、第５実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部は、第４実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の構成要素に、新たに平均算出部１２２５を追加する。　　　
　図１２（ｂ）において、平均算出部１２２５は、メル・フィルタバンク処理部１２２０からメルスペクトルＳｔを入力し、フィルタバンクごと、全フレームについてのメルスペクトルＳｔの平均である平均メルスペクトルＳバーを求め、対数算出部１２３０に出力する。対数算出部１２３０は、メル・フィルタバンク処理部１２２０からメルスペクトルＳｔを、また、平均算出部１２２５から平均メルスペクトルＳバーを入力し、メルスペクトルＳｔに平均メルスペクトルＳバーを足し合わせた値の対数を求め、離散コサイン変換部１２３５に出力する。
　図１２（ｂ）に示すその他の構成要素、即ち、メル・フィルタバンク処理部１２２０、離散コサイン変換部１２３５、及び第１差分算出部１２４０はそれぞれ、入力及び出力を異にするだけで、その機能は第４実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部の対応する構成要素と同じである。そのためその他の構成要素の説明は省略する。
　なお、第５実施形態に係るデルタ特徴量算出部においても、デルタ特徴量として最終的に得られる値、即ち、第１差分算出部１２４０の出力は、式２１により表される関数Ｆを用いて正規化を行う第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部により出力されるデルタ特徴量とほぼ等価となる。しかし、第５実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部は、既存の静的特徴量抽出部をわずかに変更するだけで構成されることから、上記第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部よりも好ましいといえる。　
　なお、デルタ特徴量として最終的に得られる第１差分算出部１２４０の出力は、次式により表される。
Figure JPOXMLDOC01-appb-M000032


式３２では、フィルタバンク番号ｊは省略している。
　図１３（ａ）は、本発明の第４実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部による音声のデルタ特徴量抽出処理の流れの一例を示すフローチャートである。処理はステップ１３００から開始し、メル・フィルタバンク処理部１２００は、フレーム化された音声信号の各フレームの周波数binごとのスペクトルｓｔの各々に、発話全体である全フレームについての平均スペクトルｓバーを足した値を入力して、各フレームについて、周波数binごとの上記値にメル・フィルタバンクの重みを掛けて合算し、その出力Ｓ１ｔを図３に示すＲＡＭ３３０等の記憶領域に記憶する。
　続いて対数算出部１２０５は、記憶領域からＳ１ｔを読み出し、各フレームについて、フィルタバンクごとＳ１ｔの対数を求め、その出力Ｓ１ｔ´を記憶領域に記憶する（ステップ１３０５）。離散コサイン変換部１２１０は記憶領域からＳ１ｔ´を読み出し、各フレームについて、フィルタバンクごとのＳ１´ｔを離散コサイン変換し、その出力Ｃ１ｔを記憶領域に記憶する（ステップ１３１０）。
　最後に第１差分算出部１２１５は、記憶領域からＣ１ｔを読み出し、各フレームについて、フィルタバンクごと、前後のフレーム間のＣ１ｔの差分ΔＣ１ｔをデルタ特徴量として算出する（ステップ１３１５）。そして処理は終了する。
　図１３（ｂ）は、本発明の第５実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部による音声のデルタ特徴量抽出処理の流れの一例を示すフローチャートである。処理はステップ１３２０から開始し、メル・フィルタバンク処理部１２２０は、フレーム化された音声信号の各フレームの周波数binごとのスペクトルを入力して、各フレームについて、周波数binごとのスペクトルにメル・フィルタバンクの重みを掛けて合算することにより、フィルタバンクごとのメルスペクトルＳを算出し、図３に示すＲＡＭ３３０等の記憶領域に記憶する。
　続いて平均算出部１２２５は、記憶領域から各フレームのフィルタバンクごとのメルスペクトルＳを読み出し、フィルタバンクごと、発話全体である全フレームについての平均メルスペクトルＳバーを算出して、記憶領域に記憶する。（ステップ１３２５）。続いて、対数算出部１２３０は、記憶領域から各フレームのフィルタバンクごとのメルスペクトルＳとフィルタバンクごとの平均メルスペクトルＳバーとを読み出し、フィルタバンクごとのメルスペクトルＳに、該フィルタバンクの平均メルスペクトルＳバーを加えた値Ｓ２ｔの対数を求め、その出力Ｓ２ｔ´を記憶領域に記憶する。（ステップ１３３０）。
　続いて離散コサイン変換部１２３５は、記憶領域からＳ２ｔ´を読み出し、各フレームについて、フィルタバンクごとのＳ２ｔ´を離散コサイン変換して、その出力Ｃ２ｔを記憶領域に記憶する（ステップ１３３５）。最後に第１差分算出部１２４０は、記憶領域からＣ２ｔを読み出し、各フレームについて、フィルタバンクごと、前後のフレーム間のＣ２ｔの差分ΔＣ２ｔをデルタ特徴量として算出する（ステップ１３４０）。そして処理は終了する。
　図１４は、本発明の第４及び第５実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部の機能構成を示す。第４及び第５実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部は、第２差分算出部１４００を含む。第２差分算出部１４００は、入力及び出力を異にするだけで、その機能は第４及び第５実施形態に係る音声特徴量抽出装置の第１差分算出部１２１５又は第１差分算出部１２４０と同じである。　
　即ち、第２差分算出部１４００は、第１差分算出部１２１５又は第１差分算出部１２４０からの出力、即ち式３１又は式３２により表されるデルタメルケプストラムΔＣ１ｔ又はΔＣ２ｔを入力し、各フレームについて、フィルタバンクごと、前後のフレーム間のデルタメルケプストラムΔＣ１ｔ又はΔＣ２ｔの差分デルタデルタメルケプストラムΔΔＣ１ｔ又はΔΔＣ２ｔをデルタデルタ特徴量として算出する。第２差分算出部１３００の出力は次式により表される。
Figure JPOXMLDOC01-appb-M000033


式３２では、フィルタバンク番号ｊは省略している。
　図１５は、本発明の第４及び第５実施形態に係る音声特徴量抽出装置のデルタデルタ特徴量算出部によるデルタデルタ特徴量抽出処理の流れの一例を示すフローチャートである。処理はステップ１５００から開始し、第２差分算出部１３００は、第１差分算出部１２１５又は第１差分算出部１２４０からの出力、即ち式３１又は式３２により表されるデルタメルケプストラムΔＣ１ｔ又はΔＣ２ｔを入力し、各フレームについて、フィルタバンクごと、前後のフレーム間のデルタメルケプストラムΔＣ１ｔ又はΔＣ２ｔの差分デルタデルタメルケプストラムΔΔＣ１ｔ又はΔΔＣ２ｔをデルタデルタ特徴量として算出する。そして処理は終了する。
　次に図１６乃至図１８を参照して、本発明が提案する特徴量を利用した音声認識の評価実験について述べる。図１６及び図１７を参照して説明する評価実験には、情報処理学会（ＩＰＳＪ）ＳＩＧ－ＳＬＰ雑音下音声認識評価ワーキンググループの、残響環境の評価用データベースＣＥＮＳＲＥＣ－４（Ｃｏｒｐｕｓ　ａｎｄ　Ｅｎｖｉｒｏｎｍｅｎｔ　ｆｏｒ　Ｎｏｉｓｙ　Ｓｐｅｅｃｈ　ＲＥＣｏｇｎｉｓｈｏｎ）を使用した。
　ＣＥＮＳＲＥＣ－４は、残響や雑音のない収録音声であるドライソースに、様々な残響環境のインパルス応答を畳み込むことで残響環境をシミュレートする。ＣＥＮＳＲＥＣ－４には、Ｃｌｅａｎ　ＣｏｎｄｉｔｉｏｎとＭｕｌｔｉ－Ｃｏｎｄｉｔｉｏｎの２つの条件下での評価がある。Ｃｌｅａｎ　Ｃｏｎｄｉｔｉｏｎでは、残響のない音声で学習した音響モデルを使用して音声認識を実行する。一方Ｍｕｌｔｉ－Ｃｏｎｄｉｔｉｏｎでは、残響のある音声で学習した音響モデルを使用して音声認識を実行する。いずれの条件下での評価も、音声認識実行時、即ちテスト時には残響ありの音声データを使用する。
　ＣＥＮＳＲＥＣ－４のテストセットは２つのテストセット（Ａ、Ｂ）に分かれており、Ｍｕｌｔｉ－Ｃｏｎｄｉｔｉｏｎの音響モデルの学習と同じ残響環境でのテストをテストセットＡとし、異なる残響環境でのテストセットをＢとする。またテストセットＡ、Ｂは、図１６、１７に示すように、それぞれ異なる４つの環境についてのテストを含む。
　ＣＥＮＳＲＥＣ－４がベースラインとして規定する特徴量は、静的特徴量としてＭＦＣＣ１２次元、デルタ特徴量としてデルタＭＦＣＣ１２次元、デルタデルタ特徴量としてデルタデルタＭＦＣＣ１２次元、更に音声の対数パワーとそのデルタ及びデルタデルタの３次元を合わせた、合計３９次元のベクトルである。即ち、ＣＥＮＳＲＥＣ－４は上記３９次元のベクトルの特徴量を使用して、Ｃｌｅａｎ　ＣｏｎｄｉｔｉｏｎとＭｕｌｔｉ－Ｃｏｎｄｉｔｉｏｎのそれぞれにおいて、音響モデルを構築している。
　そこで本願発明者は次の２つの評価実験を行った。
評価実験１：静的特徴量ＭＦＣＣ１２次元のみを使用した場合と、それにデルタ特徴量１２次元を追加した２４次元を使用した場合の文字列認識率の比較を行った。その際デルタ特徴量としては、デルタＭＦＣＣ１２次元と、上述した第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部により算出される線形のデルタ特徴量１２次元の２種類を評価した。
評価実験２：上記ベースラインの３９次元において、デルタ特徴量及びデルタデルタ特徴量をそれぞれ
上述した本発明の線形のデルタ特徴量と線形のデルタデルタ特徴量とで置き換えた場合（図１７の表の「linearΔ」の欄を参照）と、ベースラインの３９次元をそのまま維持した場合（図１７の表の「ベースライン」の欄を参照）の文字列認識率を比較した。なお、本発明の線形のデルタ特徴量及び線形のデルタデルタ特徴量としては、上述した第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部とデルタデルタ特徴量算出部によりそれぞれにより算出されるものを使用した。
　図１６に、評価実験１の結果を示す。評価実験１の結果から次のことが分かる。即ち、静的特徴量ＭＦＣＣ１２次元のみを使用したときに比べ、デルタ特徴量１２次元を併用することで音声認識率は改善される。また、デルタ特徴量として従来よく用いられるデルタＭＦＣＣの代わりに、本発明の線形のデルタ特徴量を使用することで、音声認識率が更に改善される。例えばＣｌｅａｎＣｏｎｄｉｔｉｏｎでは、テストセットＡ、Ｂの平均音声認識率は、デルタＭＦＣＣを使用した場合の３５．３％から５９．２％に飛躍的に改善している。Ｍｕｌｔｉ－Ｃｏｎｄｉｔｉｏｎにおいても、テストセットＡ、Ｂの平均音声認識率は、デルタＭＦＣＣを使用した場合の７１．９％から８１．５％に改善している。
　また図１７に、評価実験２の結果を示す。評価実験２においても、本発明の線形のデルタ特徴量及び線形のデルタデルタ特徴量を使用することで音声認識率が更に改善されている。例えばＣｌｅａｎＣｏｎｄｉｔｉｏｎでは、テストセットＡ、Ｂの平均音声認識率は、従来のベースラインの６５．２％から７３．１％に改善している。Ｍｕｌｔｉ－Ｃｏｎｄｉｔｉｏｎにおいても、テストセットＡ、Ｂ の平均認識率は、従来のベースラインの７５．２％から８２．７％に改善している。
　このように、本発明の線形のデルタ特徴量及び線形のデルタデルタ特徴量は、残響環境における音声認識率を大幅に改善し、評価実験１及び２によりその残響環境における特徴量としての有効性が示された。
　図１８を参照して説明する評価実験には、情報処理学会（ＩＰＳＪ）ＳＩＧ－ＳＬＰ雑音下音声認識評価ワーキンググループの、騒音環境の評価用データベースＣＥＮＳＲＥＣ－３（Ｃｏｒｐｕｓ　ａｎｄ　Ｅｎｖｉｒｏｎｍｅｎｔ　ｆｏｒ　Ｎｏｉｓｙ　Ｓｐｅｅｃｈ　ＲＥＣｏｇｎｉｓｈｏｎ）を使用した。
　ＣＥＮＳＲＥＣ－３は、自動車内の様々な騒音環境で発声した音声を収録しており、停止・市街地走行・高速走行などの走行条件や、エアコンのファン、窓明け、音楽再生などの状況ごとの音声認識率を算出することができる。ＣＥＮＳＲＥＣ－３がベースラインとして規定する特徴量は、前述のＣＥＮＳＲＥＣ－４と同じ３９次元である。そこで、ＣＥＮＳＲＥＣ－３を使用して本願発明者は次の評価実験を行った。
　即ち、ベースラインの３９次元を維持した場合（図１８の表の「ベースライン」の欄を参照）と、ベースラインの３９次元においてＭＦＣＣ、デルタＭＦＣＣ、及びデルタデルタＭＦＣＣを、Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔの代わりにＬＰＷ－Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔを使用して求めたもので置き換えた場合（図１８の表の「ＬＰＷ－Ｍｅｌ」の欄を参照）との単語認識率（正確度％）を比較した。
　また、ベースラインの３９次元において、デルタ特徴量及びデルタデルタ特徴量をそれぞれ上述した本発明の線形のデルタ特徴量と線形のデルタデルタ特徴量とで置き換えた場合（図１８の表の「linearΔ」の欄を参照）の単語認識率（正確度％）とも比較した。なお、本発明の線形のデルタ特徴量及び線形のデルタデルタ特徴量としては、上述した第３実施形態に係る音声特徴量抽出装置のデルタ特徴量算出部とデルタデルタ特徴量算出部によりそれぞれにより算出されるものを使用した。
　更に、本発明の線形のデルタ特徴量及び線形のデルタデルタ特徴量として、上述した第３実施形態に係る音声特徴量抽出装置において、Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔの代わりにＬＰＷ－Ｍｅｌ－ＦＢ　Ｗｅｉｇｈｔを使用するデルタ特徴量算出部とデルタデルタ特徴量算出部によりそれぞれにより算出されるものを使用する場合（図１８の表の「ＬＰＷ－Ｍｅｌ＋linearΔ」の欄を参照）の単語認識率（正確度％）も比較した。
　図１８に、評価実験２の結果を示す。「ベースライン」と「linearΔ」を比較すると、総合では単語認識率（正確度％）は、「ベースライン」が７８．９％であるのに対し、「linearΔ」は８３．３％であり、本発明の線形のデルタ特徴量及び線形のデルタデルタ特徴量を使用することで単語認識率が改善されることが分かる。特に高速走行時の窓開けやファン最大時における改善が顕著であるが、音楽雑音に対しても改善が見られ、本発明の線形のデルタ特徴量及び線形のデルタデルタ特徴量が広い範囲で有効であることが分かる。
　また、「ベースライン」と「ＬＰＷ－Ｍｅｌ」を比較すると、「ＬＰＷ－Ｍｅｌ」は音楽雑音以外でその単語認識率（正確度％）が「ベースライン」より高く、改善が見られる。特に、高速走行時の窓開けやファン最大時における改善が顕著である。更に、「ベースライン」と「ＬＰＷ－Ｍｅｌ＋linearΔ」とを比較すると、高速走行時の窓開けの単語認識率（正確度％）は、「ベースライン」が２２．２％であるのに対し、「ＬＰＷ－Ｍｅｌ＋linearΔ」は４６．６％である。また、高速走行時のファン最大の単語認識率（正確度％）は、「ベースライン」が５８．２％であるのに対し、「ＬＰＷ－Ｍｅｌ＋linearΔ」は７４．９％である。従って、本発明の線形のデルタ特徴量及び線形のデルタデルタ特徴量とＬＰＷ－Ｍｅｌ―ＦＢとを組み合わせることで、大幅な改善が得られることが分かる。
　以上、実施形態を用いて本発明の説明をしたが、本発明の技術範囲は上記実施形態に記載の範囲には限定されない。上記の実施形態に、種々の変更または改良を加えることが可能であることが当業者に明らかである。従って、そのような変更または改良を加えた形態も当然に本発明の技術的範囲に含まれる。

Claims (21)

  1. 　音声特徴量抽出装置であって、
    　フレーム化された音声信号の周波数binごとのスペクトルを入力して、各フレームについて、前記周波数binごと、前後のフレーム間の前記スペクトルの差分をデルタスペクトルとして算出する第１差分算出手段と、
    　前記各フレームについて、前記周波数binごとの前記デルタスペクトルを、該周波数binについての発話全体である全フレームについてのスペクトルの平均である平均スペクトルの関数で除算することにより正規化する第１正規化処理手段とを含み、
    　前記第１正規化処理手段の出力をデルタ特徴量とする、音声特徴量抽出装置。
  2. 　前記平均スペクトルの前記関数は、前記平均スペクトルそのものである、請求項１に記載の音声特徴量抽出装置。
  3. 　前記各フレームについて、前記周波数binごとの正規化された前記デルタスペクトルにメル・フィルタバンクの重みを掛けて合算したものを、フィルタバンクごとの正規化されたメル・デルタスペクトルとして算出する第１メル・フィルタバンク処理手段を更に含み、
    　前記第１メル・フィルタバンク処理手段の出力をデルタ特徴量とする、請求項１に記載の音声特徴量抽出装置。
  4. 　前記フィルタバンクごとの正規化されたメル・デルタスペクトルを、離散コサイン変換する第１離散コサイン変換手段を更に含み、
    　前記第１離散コサイン変換手段の出力をデルタ特徴量とする、請求項３に記載の音声特徴量抽出装置。
  5. 音声特徴量抽出装置であって、
    　フレーム化された音声信号の周波数binごとのスペクトルを入力して、各フレームについて、前記周波数binごと、前後のフレーム間の前記スペクトルの差分をデルタスペクトルとして算出する第１差分算出手段と、
    　前記各フレームについて、前記周波数binごとの前記デルタスペクトルにメル・フィルタバンクの重みを掛けて合算したものを、フィルタバンクごとのメル・デルタスペクトルとして算出する第１メル・フィルタバンク処理手段と、
    　前記各フレームについて、前記フィルタバンクごとのメル・デルタスペクトルを、該フィルタバンクについての発話全体である全フレームについてのメルスペクトルの平均である平均メルスペクトル
    の関数で除算することにより正規化する第１正規化処理手段とを含み、
    　前記第１正規化処理手段の出力をデルタ特徴量とする、音声特徴量抽出装置。
  6. 　前記平均メルスペクトルの前記関数は、前記平均メルスペクトルのそのものである、請求項５に記載の音声特徴量抽出装置。
  7. 　正規化された前記フィルタバンクごとの前記メル・デルタスペクトルを、離散コサイン変換する第１離散コサイン変換手段を更に含み、
    　前記第１離散コサイン変換手段の出力をデルタ特徴量とする、請求項５に記載の音声特徴量抽出装置。
  8. 　任意のフレームｔ及び任意のフィルタバンクｊに対して前記平均メルスペクトルの前記関数は、フレームｔのフィルタバンクｊについてのメルスペクトルの値と、フィルタバンクｊについての前記平均メルスペクトルの値とのうち、大きい方の値又は大きい方の値に近い値を出力する、請求項７に記載の音声特徴量抽出装置。
  9. 　前記第１正規化処理手段は、前記除算に加えて対数圧縮を行うことにより前記正規化を行う、請求項４又は７に記載の音声特徴量抽出装置。
  10. 　前記第１メル・フィルタバンク処理手段は、前記メル・フィルタバンクの重みに代えて、有声音の区間では調波構造部分に重みがあり、かつ調波構造がない無声音の区間ではフラットに近いフィルタを前記メル・フィルタバンクの重みに掛け合わせたものを使用する、請求項４又は７に記載の音声特徴量抽出装置。
  11. 　ＭＦＣＣ（Ｍｅｌ－Ｆｒｅｑｕｅｎｃｙ　Ｃｅｐｓｔｒｕｍ　Ｃｏｅｆｆｉｃｉｅｎｔ）を算出するＭＦＣＣ算出手段を更に含み、前記ＭＦＣＣを静的特徴量とする、請求項４又は７に記載の音声特徴量抽出装置。
  12. 　前記デルタスペクトルを入力として、各フレームについて、前記周波数binごと、前後のフレーム間の前記デルタスペクトルの差分をデルタデルタスペクトルとして算出する第２差分算出手段と、
    　前記各フレームについて、周波数binごとの前記デルタデルタスペクトルにメル・フィルタバンクの重みを掛けて合算したものを、フィルタバンクごとのメル・デルタデルタスペクトルとして算出する第２メル・フィルタバンク処理手段と、
    　前記各フレームについて、前記フィルタバンクごとの前記メル・デルタデルタスペクトルを前記平均メルスペクトルの関数で除算することにより正規化する第２正規化処理手段とを更に、含み、
    　前記第２正規化処理手段の出力をデルタデルタ特徴量とする、請求項５に記載の音声特徴量抽出装置。　
  13. 　前記デルタスペクトルを入力として、各フレームについて、前後のフレーム間の前記周波数binごとの前記デルタスペクトルの差分をデルタデルタスペクトルとして算出する第２差分算出手段と、
    　前記各フレームについて、周波数binごとの前記デルタデルタスペクトルにメル・フィルタバンクの重みを掛けて合算したものを、フィルタバンクごとのメル・デルタデルタスペクトルとして算出する第２メル・フィルタバンク処理手段と、
    　前記各フレームについて、前記フィルタバンクごとの前記メル・デルタデルタスペクトルを該フィルタバンクについての前記平均メルスペクトルの関数で除算することにより正規化する第２正規化処理手段と、
    　正規化された前記フィルタバンクごとのメル・デルタデルタスペクトルを、離散コサイン変換する第２離散コサイン変換手段とを更に含み、
    　前記第２離散コサイン変換手段の出力をデルタデルタ特徴量とする、請求項７に記載の音声特徴量抽出装置。
  14. 　音声特徴量抽出装置であって、
    　フレーム化された音声信号の各フレームのスペクトルに、発話全体である全フレームについてのスペクトルの平均である平均スペクトルを足した値を入力して、前記各フレームについて、前記値にメル・フィルタバンクの重みを掛けて合算するメル・フィルタバンク処理手段と、
    　前記各フレームについて、前記メル・フィルタバンク処理手段の出力の対数を求める対数算出手段と、
    　前記各フレームにてついて、前記対数算出手段の出力を、離散コサイン変換する離散コサイン変換手段と、
    　前記各フレームについて、前後のフレーム間の前記離散コサイン変換手段の出力の差分を算出する第１差分算出手段とを含み、
    　前記第１差分算出手段の出力をデルタ特徴量とする、音声特徴量抽出装置。
  15. 　音声特徴量抽出装置であって、
    　フレーム化された音声信号の各フレームのスペクトルを入力して、前記各フレームについて、前記スペクトルにメル・フィルタバンクの重みを掛けて合算することによりメルスペクトルを算出するメル・フィルタバンク処理手段と、
    　各フレームの前記メルスペクトルを入力して、発話全体である全フレームについての前記メルスペクトルの平均である平均メルスペクトルを算出する平均算出手段と、
    　前記各フレームについて、前記メルスペクトルに前記平均メルスペクトルを加えた値の対数を求める対数算出手段と、
    　前記各フレームについて、前記対数算出手段の出力を、離散コサイン変換する離散コサイン変換手段と、
    　前記各フレームについて、前後のフレーム間の前記離散コサイン変換手段の出力の差分を算出する第１差分算出手段とを含み、
    　前記第１差分算出手段の出力をデルタ特徴量とする、音声特徴量抽出装置。
  16. 　前記各フレームについて、前後のフレーム間の前記第１差分算出手段の出力の差分を算出する第２差分算出手段を更に含み、前記２差分算出手段の出力をデルタデルタ特徴量とする、請求項１４又は１５に記載の音声特徴量抽出装置。
  17. 　プロセッサと記憶領域を備えたコンピュータにおいて実行される、音声特徴量を抽出する音声特徴量抽出プログラムであって、該音声特徴量抽出プログラムは、前記コンピュータに、
    　前記プロセッサが、フレーム化された音声信号の周波数binごとのスペクトルを入力して、各フレームについて、前記周波数binごと、前後のフレーム間の前記スペクトルの差分をデルタスペクトルとして算出し、前記記憶領域に記憶するステップと、
    　前記プロセッサが、前記各フレームについて、前記周波数binごとの前記デルタスペクトルにメル・フィルタバンクの重みを掛けて合算したものを、フィルタバンクごとのメル・デルタスペクトルとして算出し、前記記憶領域に記憶するステップと、
    　前記プロセッサが、前記各フレームについて、前記フィルタバンクごとのメル・デルタスペクトルを、該フィルタバンクについての発話全体である全フレームについてのメルスペクトルの平均である平均メルスペクトルの関数で除算することにより正規化し、前記記憶領域に記憶するステップと、
    　前記プロセッサが、前記記憶領域から正規化された前記フィルタバンクごとのメル・デルタスペクトルを読み出し、離散コサイン変換するステップとを実行させ、
    　前記離散コサイン変換後の値をデルタ特徴量とする、音声特徴量抽出プログラム。
  18. 　任意のフレームｔ及び任意のフィルタバンクｊに対して前記平均メルスペクトルの前記関数は、フレームｔのフィルタバンクｊについてのメルスペクトルの値と、フィルタバンクｊについての前記平均メルスペクトルの値とのうち、大きい方の値又は大きい方の値に近い値を出力する、請求項１７に記載の音声特徴量抽出プログラム。　
  19. 　前記平均メルスペクトルの前記関数は、前記平均メルスペクトルのそのものである、請求項１７に記載の音声特徴量抽出プログラム。　
  20. 　前記メル・フィルタバンクの重みに代えて、有声音の区間では調波構造部分に重みがあり、かつ調波構造がない無声音の区間ではフラットに近いフィルタを前記メル・フィルタバンクの重みに掛け合わせたものが使用される、請求項１７に記載の音声特徴量抽出プログラム。
  21. 　プロセッサと記憶領域を備えたコンピュータにおいて実行される、音声特徴量を抽出する音声特徴量抽出方法であって、前記音声特徴量抽出方法は、
    　フレーム化された音声信号の周波数binごとのスペクトルを入力して、各フレームについて、前記周波数binごと、前後のフレーム間の前記スペクトルの差分をデルタスペクトルとして算出し、前記記憶領域に記憶するステップと、
    　前記各フレームについて、前記周波数binごとの前記デルタスペクトルにメル・フィルタバンクの重みを掛けて合算したものを、フィルタバンクごとのメル・デルタスペクトルとして算出し、前記記憶領域に記憶するステップと、
    　前記各フレームについて、前記フィルタバンクごとのメル・デルタスペクトルを、該フィルタバンクについての発話全体である全フレームについてのメルスペクトルの平均である平均メルスペクトルの関数で除算することにより正規化し、前記記憶領域に記憶するステップと、
    　前記記憶領域から正規化された前記フィルタバンクごとのメル・デルタスペクトルを読み出し、離散コサイン変換するステップとを含み、
    　前記離散コサイン変換後の値をデルタ特徴量とする、音声特徴量抽出方法。
PCT/JP2010/061800 2009-08-28 2010-07-12 音声特徴量抽出装置、音声特徴量抽出方法、及び音声特徴量抽出プログラム WO2011024572A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US13/392,901 US8930185B2 (en) 2009-08-28 2010-07-12 Speech feature extraction apparatus, speech feature extraction method, and speech feature extraction program
DE112010003461.3T DE112010003461B4 (de) 2009-08-28 2010-07-12 Vorrichtung zur Extraktion von Sprachmerkmalen, Verfahren zur Extraktion von Sprachmerkmalen und Programm zur Extraktion von Sprachmerkmalen
CN201080038121.5A CN102483916B (zh) 2009-08-28 2010-07-12 声音特征量提取装置和声音特征量提取方法
GB1202741.3A GB2485926B (en) 2009-08-28 2010-07-12 Speech feature extracting apparatus, speech feature extracting method, and speech feature extracting program
KR1020127005189A KR101332143B1 (ko) 2009-08-28 2010-07-12 음성 특징량 추출 장치, 음성 특징량 추출 방법, 및 음성 특징량 추출 프로그램
JP2011528703A JP5315414B2 (ja) 2009-08-28 2010-07-12 音声特徴量抽出装置、音声特徴量抽出方法、及び音声特徴量抽出プログラム
US13/604,721 US8468016B2 (en) 2009-08-28 2012-09-06 Speech feature extraction apparatus, speech feature extraction method, and speech feature extraction program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009197853 2009-08-28
JP2009-197853 2009-08-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/392,901 A-371-Of-International US8930185B2 (en) 2009-08-28 2010-07-12 Speech feature extraction apparatus, speech feature extraction method, and speech feature extraction program
US13/604,721 Continuation US8468016B2 (en) 2009-08-28 2012-09-06 Speech feature extraction apparatus, speech feature extraction method, and speech feature extraction program

Publications (1)

Publication Number Publication Date
WO2011024572A1 true WO2011024572A1 (ja) 2011-03-03

Family

ID=43627683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/061800 WO2011024572A1 (ja) 2009-08-28 2010-07-12 音声特徴量抽出装置、音声特徴量抽出方法、及び音声特徴量抽出プログラム

Country Status (8)

Country Link
US (2) US8930185B2 (ja)
JP (2) JP5315414B2 (ja)
KR (1) KR101332143B1 (ja)
CN (1) CN102483916B (ja)
DE (1) DE112010003461B4 (ja)
GB (1) GB2485926B (ja)
TW (1) TW201123169A (ja)
WO (1) WO2011024572A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106337A (ja) * 2012-11-27 2014-06-09 Oki Electric Ind Co Ltd 音声帯域拡張装置及びプログラム、並びに、音声特徴量算出装置及びプログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013093172A1 (en) * 2011-12-20 2013-06-27 Nokia Corporation Audio conferencing
JP5875414B2 (ja) * 2012-03-07 2016-03-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 雑音抑制方法、プログラム及び装置
TWI463487B (zh) * 2012-05-18 2014-12-01 Nyquest Corp Ltd 修音處理裝置、修音處理方法及其驗證裝置
CN104350391A (zh) * 2012-06-05 2015-02-11 松下知识产权经营株式会社 信号处理装置
US20140278415A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Voice Recognition Configuration Selector and Method of Operation Therefor
CN104063155B (zh) * 2013-03-20 2017-12-19 腾讯科技（深圳）有限公司 内容分享方法、装置及电子设备
KR101756287B1 (ko) * 2013-07-03 2017-07-26 한국전자통신연구원 음성인식을 위한 특징 추출 장치 및 방법
EP2980801A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
US9659578B2 (en) * 2014-11-27 2017-05-23 Tata Consultancy Services Ltd. Computer implemented system and method for identifying significant speech frames within speech signals
CN107203539B (zh) * 2016-03-17 2020-07-14 曾雅梅 复数字词学习机的语音评测装置及其评测与连续语音图像化方法
CN106683687B (zh) * 2016-12-30 2020-02-14 杭州华为数字技术有限公司 异常声音的分类方法和装置
EP3574499B1 (en) * 2017-01-26 2022-01-05 Cerence Operating Company Methods and apparatus for asr with embedded noise reduction
US10062378B1 (en) * 2017-02-24 2018-08-28 International Business Machines Corporation Sound identification utilizing periodic indications
CN108449323B (zh) * 2018-02-14 2021-05-25 深圳市声扬科技有限公司 登录认证方法、装置、计算机设备和存储介质
US11170799B2 (en) * 2019-02-13 2021-11-09 Harman International Industries, Incorporated Nonlinear noise reduction system
CN110412366B (zh) * 2019-06-04 2021-06-22 广西电网有限责任公司电力科学研究院 一种基于动态时间算法的变压器带电检测方法
CN113160797B (zh) * 2021-04-25 2023-06-02 北京华捷艾米科技有限公司 音频特征处理方法及装置、存储介质及电子设备
CN118645089A (zh) * 2024-08-16 2024-09-13 罗普特科技集团股份有限公司 用于多维ai平台的语音识别方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003255983A (ja) * 2002-03-05 2003-09-10 Nippon Telegr & Teleph Corp <Ntt> コンテンツ情報配信方法、コンテンツ情報配信装置、コンテンツ情報配信プログラム
JP2003259311A (ja) * 2002-03-06 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> 映像再生方法、映像再生装置、映像再生プログラム
WO2004111996A1 (ja) * 2003-06-11 2004-12-23 Matsushita Electric Industrial Co., Ltd. 音響区間検出方法および装置
JP2005331588A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体
WO2006006528A1 (ja) * 2004-07-09 2006-01-19 Nippon Telegraph And Telephone Corporation 音響信号検出システム、音響信号検出サーバ、映像信号探索装置、映像信号探索方法、映像信号探索プログラムと記録媒体、信号探索装置、信号探索方法、及び、信号探索プログラムと記録媒体
JP2007279444A (ja) * 2006-04-07 2007-10-25 Toshiba Corp 特徴量補正装置、特徴量補正方法および特徴量補正プログラム
JP2007292827A (ja) * 2006-04-21 2007-11-08 Dainippon Printing Co Ltd 音響信号検索装置
JP2008015002A (ja) * 2006-07-03 2008-01-24 Nippon Telegr & Teleph Corp <Ntt> 音響信号特徴抽出方法、抽出装置、抽出プログラム、該プログラムを記録した記録媒体、および該特徴を利用した音響信号検索方法、検索装置、検索プログラム、並びに該プログラムを記録した記録媒体
JP2008145923A (ja) * 2006-12-13 2008-06-26 Nippon Telegr & Teleph Corp <Ntt> 音声信号区間推定装置、その方法、そのプログラム及び記録媒体
JP2009058708A (ja) * 2007-08-31 2009-03-19 Internatl Business Mach Corp <Ibm> 音声処理システム、方法及びプログラム
JP2009063773A (ja) * 2007-09-05 2009-03-26 Nippon Telegr & Teleph Corp <Ntt> 音声特徴学習装置、音声認識装置、それらの方法、それらのプログラム、それらの記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1013525B (zh) * 1988-11-16 1991-08-14 中国科学院声学研究所 认人与不认人实时语音识别的方法和装置
US6324505B1 (en) * 1999-07-19 2001-11-27 Qualcomm Incorporated Amplitude quantization scheme for low-bit-rate speech coders
GB2355834A (en) * 1999-10-29 2001-05-02 Nokia Mobile Phones Ltd Speech recognition
DE60204827T2 (de) 2001-08-08 2006-04-27 Nippon Telegraph And Telephone Corp. Anhebungsdetektion zur automatischen Sprachzusammenfassung
JP3907194B2 (ja) 2003-05-23 2007-04-18 株式会社東芝 音声認識装置、音声認識方法及び音声認識プログラム
EP1719114A2 (en) 2004-02-18 2006-11-08 Philips Intellectual Property & Standards GmbH Method and system for generating training data for an automatic speech recogniser
JP4658022B2 (ja) 2006-11-20 2011-03-23 株式会社リコー 音声認識システム
KR100930060B1 (ko) 2008-01-09 2009-12-08 성균관대학교산학협력단 신호 검출 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체
CN101404160B (zh) * 2008-11-21 2011-05-04 北京科技大学 一种基于音频识别的语音降噪方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003255983A (ja) * 2002-03-05 2003-09-10 Nippon Telegr & Teleph Corp <Ntt> コンテンツ情報配信方法、コンテンツ情報配信装置、コンテンツ情報配信プログラム
JP2003259311A (ja) * 2002-03-06 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> 映像再生方法、映像再生装置、映像再生プログラム
WO2004111996A1 (ja) * 2003-06-11 2004-12-23 Matsushita Electric Industrial Co., Ltd. 音響区間検出方法および装置
JP2005331588A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体
WO2006006528A1 (ja) * 2004-07-09 2006-01-19 Nippon Telegraph And Telephone Corporation 音響信号検出システム、音響信号検出サーバ、映像信号探索装置、映像信号探索方法、映像信号探索プログラムと記録媒体、信号探索装置、信号探索方法、及び、信号探索プログラムと記録媒体
JP2007279444A (ja) * 2006-04-07 2007-10-25 Toshiba Corp 特徴量補正装置、特徴量補正方法および特徴量補正プログラム
JP2007292827A (ja) * 2006-04-21 2007-11-08 Dainippon Printing Co Ltd 音響信号検索装置
JP2008015002A (ja) * 2006-07-03 2008-01-24 Nippon Telegr & Teleph Corp <Ntt> 音響信号特徴抽出方法、抽出装置、抽出プログラム、該プログラムを記録した記録媒体、および該特徴を利用した音響信号検索方法、検索装置、検索プログラム、並びに該プログラムを記録した記録媒体
JP2008145923A (ja) * 2006-12-13 2008-06-26 Nippon Telegr & Teleph Corp <Ntt> 音声信号区間推定装置、その方法、そのプログラム及び記録媒体
JP2009058708A (ja) * 2007-08-31 2009-03-19 Internatl Business Mach Corp <Ibm> 音声処理システム、方法及びプログラム
JP2009063773A (ja) * 2007-09-05 2009-03-26 Nippon Telegr & Teleph Corp <Ntt> 音声特徴学習装置、音声認識装置、それらの方法、それらのプログラム、それらの記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKASHI FUKUDA ET AL.: "Voice activity detection using long-term spectro-temporal information and harmonic structure-based features", IPSJ SIG NOTES, vol. 2008, no. 102, 17 October 2008 (2008-10-17), pages 5 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106337A (ja) * 2012-11-27 2014-06-09 Oki Electric Ind Co Ltd 音声帯域拡張装置及びプログラム、並びに、音声特徴量算出装置及びプログラム

Also Published As

Publication number Publication date
JP2013178575A (ja) 2013-09-09
US20120330657A1 (en) 2012-12-27
GB2485926B (en) 2013-06-05
GB2485926A (en) 2012-05-30
GB201202741D0 (en) 2012-04-04
TW201123169A (en) 2011-07-01
KR20120046298A (ko) 2012-05-09
CN102483916A (zh) 2012-05-30
JP5723923B2 (ja) 2015-05-27
JPWO2011024572A1 (ja) 2013-01-24
DE112010003461B4 (de) 2019-09-05
US8468016B2 (en) 2013-06-18
US8930185B2 (en) 2015-01-06
US20120185243A1 (en) 2012-07-19
KR101332143B1 (ko) 2013-11-21
DE112010003461T5 (de) 2012-07-26
CN102483916B (zh) 2014-08-06
JP5315414B2 (ja) 2013-10-16

Similar Documents

Publication Publication Date Title
JP5723923B2 (ja) 音声特徴量抽出装置、及び音声特徴量抽出プログラム
JP5230103B2 (ja) 自動音声認識器のためのトレーニングデータを生成する方法およびシステム
Shahnawazuddin et al. Pitch-Adaptive Front-End Features for Robust Children's ASR.
JP5089295B2 (ja) 音声処理システム、方法及びプログラム
JP3006677B2 (ja) 音声認識装置
US20080167862A1 (en) Pitch Dependent Speech Recognition Engine
Ismail et al. Mfcc-vq approach for qalqalahtajweed rule checking
Shrawankar et al. Adverse conditions and ASR techniques for robust speech user interface
Ghai et al. Pitch adaptive MFCC features for improving children’s mismatched ASR
KR20120077527A (ko) 가중 자동회귀 이동평균 필터와 전역 켑스트럼 평균 및 분산 정규화를 이용한 특징 보상 장치 및 방법
JP6791816B2 (ja) 音声区間検出装置、音声区間検出方法、およびプログラム
Ishizuka et al. A feature extraction method using subband based periodicity and aperiodicity decomposition with noise robust frontend processing for automatic speech recognition
López et al. Normal-to-shouted speech spectral mapping for speaker recognition under vocal effort mismatch
Fukuda et al. Improved voice activity detection using static harmonic features
JP2007206603A (ja) 音響モデルの作成方法
Yao et al. A speech processing front-end with eigenspace normalization for robust speech recognition in noisy automobile environments.
JP2006215228A (ja) 音声信号分析方法およびこの分析方法を実施する装置、この音声信号分析装置を用いた音声認識装置、この分析方法を実行するプログラムおよびその記憶媒体
Singh et al. A comparative study of recognition of speech using improved MFCC algorithms and Rasta filters
JP4576612B2 (ja) 音声認識方法および音声認識装置
Shome et al. Non-negative frequency-weighted energy-based speech quality estimation for different modes and quality of speech
Kathania et al. Experiments on children's speech recognition under acoustically mismatched conditions
Roh et al. Novel acoustic features for speech emotion recognition
Tan et al. Speech feature extraction and reconstruction
KR100648545B1 (ko) 다양한 주파수별 해상도를 갖는 필터뱅크의 조합을 이용한화자 인식 시스템 및 방법
Uddin Md et al. Comparative study between MFCC and LP-Mel based front-ends for noisy speech recognition using HMM

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080038121.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10811623

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011528703

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 1202741

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20100712

WWE Wipo information: entry into national phase

Ref document number: 1202741.3

Country of ref document: GB

ENP Entry into the national phase

Ref document number: 20127005189

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1120100034613

Country of ref document: DE

Ref document number: 112010003461

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 13392901

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10811623

Country of ref document: EP

Kind code of ref document: A1