WO2009133719A1 - 音響モデル学習装置および音声認識装置 - Google Patents

音響モデル学習装置および音声認識装置 Download PDF

Info

Publication number
WO2009133719A1
WO2009133719A1 PCT/JP2009/052193 JP2009052193W WO2009133719A1 WO 2009133719 A1 WO2009133719 A1 WO 2009133719A1 JP 2009052193 W JP2009052193 W JP 2009052193W WO 2009133719 A1 WO2009133719 A1 WO 2009133719A1
Authority
WO
WIPO (PCT)
Prior art keywords
variation
sound
model
acoustic model
data
Prior art date
Application number
PCT/JP2009/052193
Other languages
English (en)
French (fr)
Inventor
孝文 越仲
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2010510052A priority Critical patent/JP5423670B2/ja
Priority to US12/921,062 priority patent/US8751227B2/en
Publication of WO2009133719A1 publication Critical patent/WO2009133719A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training

Definitions

  • the present invention relates to a learning technique for constructing an acoustic model.
  • voice recognition technology is used in a wide range of areas such as speaker recognition, voice personal authentication, sound quality measurement, and environment measurement.
  • voice personal authentication In order to improve the accuracy of speech recognition, an attempt has been made to reduce the influence of fluctuation factors caused by transmission channels, noise, and the like by learning an acoustic model.
  • FIG. 10 shows an example of a model of an acoustic model learning device that realizes the acoustic model learning technique disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • the acoustic model learning device 1 includes an audio data storage unit 11, a channel label storage unit 12, an unspecified speaker model learning unit 13, a channel model learning unit 14, and an unspecified speaker model storage unit. 15 and channel model storage means 16.
  • the audio data storage means 11 stores sample audio data acquired via various transmission channels.
  • a transmission channel refers to the type of physical device that has passed from a voice source such as a speaker until the voice is recorded, and includes a fixed telephone (including a fixed telephone terminal and a fixed telephone communication line), and a mobile phone. Examples include (including a mobile phone terminal and a mobile phone line) and a vocal microphone.
  • the transmission channel is also simply referred to as a channel.
  • the voice as data differs depending on whether the speaker is a woman or a man.
  • the voice as data differs depending on whether recording is performed via a fixed telephone or a cellular phone.
  • An audio source having a plurality of types and causing fluctuations in audio due to different types, a transmission channel, and the like are called a sound environment.
  • the channel label storage unit 12 of the acoustic model learning device 1 stores label data indicating the channel through which the sample audio data passes, corresponding to the sample audio data stored in the audio data storage unit 11.
  • the unspecified speaker model learning means 13 receives the sample voice data and the label data from the voice data storage means 11 and the channel label storage means 12, and removes the fluctuation component depending on the sound environment of the channel from the sample voice data, thereby An unspecified speaker acoustic model is learned by extracting only the fluctuation components depending on the sound environment of the speaker.
  • the “unspecified speaker acoustic model” is also referred to as “unspecified speaker model”.
  • the channel model learning unit 14 receives the sample audio data and the label data from the audio data storage unit 11 and the channel label storage unit 12, and learns the affine transformation parameters corresponding to the acoustic model of the channel for each channel. That is, the channel acoustic model is obtained by learning the parameters based on the assumption that the channel acoustic model is obtained by performing affine transformation on the unspecified speaker model.
  • channel acoustic model is also referred to as “channel model”.
  • the unspecified speaker model learning means 13 and the channel model learning means 14 perform the iterative solution described in Non-Patent Document 3 in conjunction with each other, and specify the unspecified speaker acoustic model and the affine transformation parameters (channel acoustic model). After the iterative solution is converged, the final speaker-independent acoustic model and affine transformation parameters are output.
  • the unspecified speaker model storage unit 15 receives and stores the unspecified speaker model from the unspecified speaker model learning unit 13, and the channel model storage unit 16 receives and stores the channel model from the channel model learning unit 14. .
  • the affine transformation parameters specific to the channel can be acquired for each channel. Therefore, by applying an affine transformation acoustic model to audio data input from any known channel, or by applying inverse affine transformation to audio data, the channel variation factor can be reduced. It is considered that the recognition target can be recognized correctly.
  • D. A. Reynolds "Channel robust speaker verification via feature mapping,” Proc. ICASSP2003, Vol.II, pp.53-56, 2003
  • D. Zhu et al. "A generalized feature transformation approach for channel robust speaker verification," Proc. ICASSP2007, Vol.IV, pp.61-64, 2007 T. Anastasakos et al., "A compact model for speaker-adaptive training," Proc. ICSLP96, 1996
  • the channel model learning means 14 accurately estimates the affine transformation parameters for each channel, so that the unspecified speaker model learning means 13 is in a sound environment called a speaker. Although it is assumed that the resulting fluctuation component can be ignored, this assumption is not always true.
  • the voice data through all the channels is acquired for all types of speakers.
  • voice data uttered by the same type of speaker through all channels can be used, even if it is unknown which speaker is uttered, the net change in the voice due to channel change is possible. You can see how it changes. This is the same when comparing a set of audio data collected for each channel between channels.
  • sample data that can usually be collected is not perfect as shown in FIG.
  • FIG. 12 consider a case where there is a speaker who has not uttered some channels.
  • a speaker who is “female” has voice data via two channels, “fixed phone” and “mobile phone”, but does not have voice data via a “microphone” channel.
  • a speaker who is an “elderly person” has voice data via two channels, “microphone” and “landline telephone”, but no voice data via a “mobile phone” channel.
  • a speaker who is “male” has only voice data via the “mobile phone” channel, and no voice data via the two channels “microphone” and “fixed phone”.
  • a speaker who is “female” can know how the audio differs between the “landline” channel and the “mobile phone” channel, but the audio on the “microphone” channel. I can't figure out what happens.
  • the set of audio data of the “microphone” channel includes only the audio data of “elderly” and includes the features of the audio of the elderly.
  • the voice characteristics of the elderly are not included. In such a situation, it is difficult to grasp the variation factor due to the channel difference because the variation factor due to the channel difference and the variation factor due to the speaker type are mixed.
  • the present invention has been made in view of the above circumstances, and provides a technique capable of learning an accurate acoustic model even in the case of non-perfect sample data, and thus capable of highly accurate speech recognition.
  • the acoustic model learning device includes a first variation model learning unit, a second variation model learning unit, and an unspecified acoustic model learning unit.
  • the first variation model learning unit has a plurality of types and has a plurality of types and different types from any one of the first sound environments in which a variation occurs in the sound due to the different types. For each type of first sound environment, the first sound environment of the type is converted into the sound for each type of the first sound environment using the sample sound data acquired through any one of the second sound environments in which the sound fluctuates. A parameter defining a first variation model indicating the variation to be generated is estimated.
  • the second variation model learning unit uses the plurality of sample sound data to indicate, for each type of the second sound environment, a second variation model indicating a variation caused in the sound by the second sound environment of the type. Estimate the parameters that define
  • the unspecified acoustic model learning unit defines an acoustic model (unspecified acoustic model) that is not specified for either the first sound environment type or the second sound environment type using the plurality of sample sound data. Estimate the parameters.
  • These three learning units are adapted to the sample voice data of the first variation model, the fit to the sample voice data of the second variation model, and the fit of the unspecified acoustic model to the sample voice data.
  • the respective parameters are estimated so that the integrated fitness obtained by integrating is the highest.
  • This speech recognition apparatus is a method for recognizing speech data to be recognized acquired through a first type of first sound environment among the first variation models obtained by the acoustic model learning device according to the aspect of the present invention.
  • a speech conversion unit that performs, on the speech data to be recognized, conversion opposite to the variation indicated by the first variation model corresponding to the predetermined type, and performs speech recognition on the speech data obtained by the speech conversion unit; I do.
  • This speech recognition apparatus is a method for recognizing speech data to be recognized acquired through a predetermined type of second sound environment among the second variation models obtained by the acoustic model learning device according to the aspect of the present invention.
  • a speech conversion unit that performs, on the speech data to be recognized, a conversion opposite to the variation indicated by the second variation model corresponding to the predetermined type, and performs speech recognition on the speech data obtained by the speech conversion unit; I do.
  • the sound environment recognition device includes a second sound conversion unit, a first sound conversion unit, and an identification unit.
  • the second speech conversion unit is a speech to be recognized acquired through a second type of second sound environment among the second variation models obtained by the acoustic model learning device according to the aspect of the present invention.
  • a conversion opposite to the fluctuation indicated by the second fluctuation model corresponding to the predetermined type of data is performed on the speech data to be recognized.
  • the first sound conversion unit performs conversion opposite to the variation indicated by each first variation model obtained by the acoustic model learning device according to the above aspect of the present invention on the sound data obtained by the second sound conversion unit. To obtain a plurality of audio data.
  • the identification unit uses the plurality of voice data obtained by the first voice conversion unit and the unspecified acoustic model obtained by the acoustic model learning device according to the aspect of the invention to pass the voice data to be recognized.
  • the type of the first sound environment is identified.
  • the technique according to the present invention it is possible to learn an accurate acoustic model even in the case of sample data that is not perfect, and as a result, the accuracy of speech recognition can be improved.
  • FIG. 1 It is a schematic diagram of the acoustic model learning apparatus for demonstrating the technique concerning this invention. It is a figure which shows the structural example of the data memorize
  • FIG. 1 It is a figure which shows the speech recognition apparatus concerning the 3rd Embodiment of this invention. It is a flowchart which shows the flow of a process in the speech recognition apparatus shown in FIG. It is a schematic diagram of the acoustic model learning apparatus for demonstrating the conventional acoustic model learning method. It is a figure which shows the example of sample audio
  • each element described as a functional block for performing various processes can be configured by a processor, a memory, and other circuits in terms of hardware, and in terms of software This is realized by a program recorded or loaded in the program. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one. Also, for the sake of clarity, only those necessary for explaining the technique of the present invention are shown in these drawings.
  • FIG. 1 is an example of a schematic diagram of an acoustic model learning device 100 based on the technique according to the present invention.
  • the acoustic model learning device 100 includes a sample data storage unit 110, a first variation model learning unit 120, a second variation model learning unit 130, and an unspecified acoustic model learning unit 140.
  • the sample data storage unit 110 stores various sample audio data (hereinafter simply referred to as sample data), the first sound environment type from which the sample data was acquired, and the second sound environment type in association with each other. is doing.
  • sample data various sample audio data
  • the first sound environment has a plurality of types, and fluctuations occur in the sound when these types are different.
  • the second sound environment also has a plurality of types, and fluctuations occur in the sound when these types are different.
  • FIG. 2 shows an example of data stored in the sample data storage unit 110.
  • sample data sample data
  • a first sound environment label A indicating in which first sound environment the sample data was acquired
  • second sound the sample data is in It is stored in association with a second sound environment label B indicating whether it has been acquired in the environment.
  • Each first sound environment label corresponds to a plurality of types of the first sound environment
  • each second sound environment label corresponds to a plurality of types of the second sound environment.
  • the sample data 1 is the sound data of the speaker A2 acquired through the channel B3
  • the sample data 2 is voice data of the speaker A1 acquired via the channel B2.
  • the first variation model learning unit 120 estimates, for each type of the first sound environment, a parameter that defines a first variation model indicating the variation that the first sound environment of the type causes in the speech. For example, when the first sound environment is a speaker, each first variation model is a speaker variation model.
  • the second variation model learning unit 130 estimates, for each type of the second sound environment, a parameter that defines a second variation model indicating the variation that the second sound environment of the type causes in the speech. For example, when the second sound environment is a channel, each second variation model is a channel variation model.
  • the unspecified acoustic model learning unit 140 learns an acoustic model that does not depend on either the first sound environment or the second sound environment.
  • this acoustic model is referred to as an unspecified acoustic model.
  • the unspecified acoustic model learning unit 140 initializes the unspecified acoustic model, reads each sample data and two kinds of sound environment labels stored in the sample data storage unit 110, and updates the parameters of the unspecified acoustic model.
  • a conventionally known Gaussian mixture model (GMM), hidden Markov model (HMM), or the like can be used as this unspecified acoustic model.
  • GMM Gaussian mixture model
  • HMM hidden Markov model
  • the GMM is taken as an example, but the same operation can be derived when other models are used.
  • mu K and sigma K is the mean and variance of the k-th Gaussian, respectively, C K is the mixing coefficient according to the k-th Gaussian distribution (weight coefficient).
  • Initialization of these parameters is performed by setting appropriate values for each parameter.
  • the audio data is provided in the form of a time series of feature vectors, "1 / M" in the C K, the mu K and sigma K, the mean and variance of the feature vectors may be set, respectively.
  • a parameter defining the model is referred to as a model parameter.
  • T i, j is the number of frames (number) of feature vectors.
  • the first variation model learning unit 120 initializes each first variation model, reads the sample data and the sound environment label A stored in the sample data storage unit 110, and updates the model parameters.
  • the model parameter of the first variation model is, for example, an affine transformation parameter set ⁇ V i , ⁇ i
  • i 1, 2,..., N ⁇ shown in Expression (3) (N: of the first sound environment) Number of types) can be used.
  • the second variation model learning unit 130 for learning the second variation model initializes the second variation model, reads the sample data and the sound environment label B stored in the sample data storage unit 110, and sets model parameters. Update.
  • the model parameter of the second variation model is, for example, an affine transformation parameter set ⁇ W j , ⁇ j
  • j 1, 2,..., C ⁇ shown in Expression (4) (C: of the second sound environment) Number of types) can be used.
  • the first variation model learning unit 120, the second variation model learning unit 130, and the unspecified acoustic model learning unit 140 are adapted to the sample sound data of the first variation model and the sample sound of the second variation model.
  • the respective parameters are estimated so that the integrated fitness obtained by integrating the fitness to the data and the fitness to the sample sound data of the unspecified acoustic model becomes the highest.
  • the probability of sample audio data being observed represented by the parameters of these three models can be used as the integrated fitness. This probability will be described with reference to the generation process of sample audio data.
  • FIG. 3 is a conceptual diagram of a sample sound data generation model expressing a phenomenon in which sound data that has changed due to passing through the two sound environments is observed in the order of the first sound environment and the second sound environment.
  • the speech before the fluctuation occurs is generated as a feature vector series such as “z 1 , z 2 ,..., Z T ” according to the probability distribution of the unspecified acoustic model.
  • This sound passes through the first sound environment of type i (1 ⁇ i ⁇ N), and is converted into the expression (5).
  • the voice that has passed through the first sound environment further passes through the second sound environment of type j (1 ⁇ j ⁇ C), so that the conversion shown in Expression (6) is performed, and the voice “x 1 , x 2 , ..., it becomes x T ".
  • the observable speech is speech “x 1 , x 2 ,..., X T ”, and “z 1 , z 2 ,..., Z T ” or “y 1 , y 2 ,. , Y T ”is not observable.
  • ⁇ is a parameter of the unspecified acoustic model, the first variation model, and the second variation model, that is, C K , ⁇ K , ⁇ K , V i , ⁇ i , W j , ⁇ j Represents one of the following.
  • ⁇ , ⁇ ) represents a Gaussian distribution with an average ⁇ and a variance ⁇ .
  • the most accurate acoustic model can be estimated by using a method for estimating each parameter so that the integrated fitness obtained by integrating the degrees becomes the highest.
  • the probability represented by the equation (7) can be used.
  • the most accurate acoustic model can be obtained by estimating the parameter ⁇ of the first variation model, the second variation model, and the unspecified acoustic model so that the probability represented by the equation (7) is maximized. Can do.
  • each learning unit updates each parameter ⁇ according to the following equation (8).
  • argmax means that the value of a variable (here, ⁇ ) is obtained so that the value of a given function is maximized.
  • the calculation shown in Expression (8) is well known as a maximum likelihood estimation method, and a numerical solution method using an iterative calculation algorithm known as an expected value maximization (EM) method can be applied.
  • the parameter ⁇ can be updated by a well-known method such as a maximum posterior probability (MAP) estimation method or a Bayes estimation method.
  • each learning unit reads sample data, a first sound environment label, and a second sound environment label from the sample data storage unit 110 (S10, S12, S14). Note that the execution order of steps S10, S12, and S14 is not limited to the illustration and is arbitrary.
  • each learning unit initializes each model parameter (S16). Specifically, the unspecified acoustic model learning unit 140 initializes the parameters C K , ⁇ K , and ⁇ K , the first variation model learning unit 120 initializes the parameters V i and ⁇ i , and the second variation. The model learning unit 130 initializes the parameters W j and ⁇ j . Examples of values set for each parameter by initialization are as described above, and details are omitted here.
  • step S16 may be executed before steps S10 to S14.
  • the unspecified acoustic model learning unit 140 uses a method such as initializing ⁇ K and ⁇ K with random numbers.
  • the unspecified acoustic model learning unit 140 updates the parameters C K , ⁇ K , and ⁇ K of the unspecified acoustic model according to Expressions (9), (10), and (11) (S18).
  • ⁇ ijkt in equations (9), (10), and (11) is calculated in advance according to equation (12) as the probability belonging to the kth Gaussian distribution of the unspecified acoustic model.
  • the parameter update of the unspecified acoustic model learning unit 140 in step S18 may be performed only once or may be repeated a predetermined number of times. Furthermore, convergence determination, for example, convergence determination using the logarithmic probability of the right side of equation (8) as an index may be introduced and repeated until convergence.
  • the first variation model learning unit 120 updates the parameters V i and ⁇ i of the first variation model according to the equations (13) and (14) (S20).
  • ⁇ ijkt in the equations (7) and (8) is also calculated in advance according to the equation (12) as in the case of the unspecified acoustic model learning unit 140. Further, the number of parameter updates may be determined in the same manner as in the case of the unspecified acoustic model learning unit 140.
  • the second variation model learning unit 130 updates the parameters ⁇ j and W j of the second variation model according to the equations (15) and (16) (S22).
  • ⁇ ijkt in the equations (15) and (16) is also calculated in advance according to the equation (12) as in the case of the unspecified acoustic model learning unit 140. Further, the number of parameter updates may be determined in the same manner as in the case of the unspecified acoustic model learning unit 140.
  • step S18 to S22 is repeated until convergence (S24: No, S18).
  • the first variation model and the second variation model are obtained from the first variation model learning unit 120, the second variation model learning unit 130, and the unspecified acoustic model learning unit 140.
  • the parameters of the unspecified acoustic model are output, and the learning process by the acoustic model learning device 100 ends.
  • the first variation model learning unit 120 can extract only the variation factor due to the first sound environment, and the second variation model learning unit 130 It is possible to extract only the fluctuation factors due to the sound environment 2 and to construct a highly accurate acoustic model even with sample data that is not perfect. As a result, speech recognition using these acoustic models can also be performed with high accuracy.
  • FIG. 5 shows an acoustic model learning apparatus 200 according to the first embodiment of the present invention.
  • the acoustic model learning device 200 includes a sample data storage unit 212, a speaker label storage unit 214, a channel label storage unit 216, a speaker variation model learning unit 220, a channel variation model learning unit 230, and an unspecified.
  • An acoustic model learning unit 240, a speaker variation model storage unit 252, a channel variation model storage unit 254, and an unspecified acoustic model storage unit 256 are provided.
  • the sample data storage unit 212 stores sample voice data of a plurality of speakers recorded through various channels.
  • the speaker label storage unit 214 stores label data (speaker label) indicating each speaker of each sample data stored in the sample data storage unit 212.
  • the channel label storage unit 216 stores data of a label (channel label) indicating each channel of each sample data stored in the sample data storage unit 212.
  • sample data storage unit 212 the speaker label storage unit 214, and the channel label storage unit 216 store the sample data, the speaker label, and the channel label so that they can be associated with each other.
  • the speaker variation model learning unit 220 corresponds to the first variation model learning unit 120 of the acoustic model learning apparatus 100 shown in FIG.
  • the speaker is the first sound environment
  • the speaker variation model learning unit 220 obtains a first variation model for each speaker.
  • This first variation model is hereinafter referred to as a speaker variation model.
  • the channel variation model learning unit 230 corresponds to the second variation model learning unit 130 of the acoustic model learning apparatus 100.
  • the channel is the second sound environment, and the channel variation model learning unit 230 obtains a second variation model for each channel.
  • This second variation model is hereinafter referred to as a channel variation model.
  • the unspecified acoustic model learning unit 240 corresponds to the unspecified acoustic model learning unit 140 of the acoustic model learning device 100 and learns an unspecified acoustic model that does not depend on either the speaker or the channel.
  • These three learning units integrate the adaptability of the speaker variation model to the sample speech data, the adaptability of the channel variation model to the sample speech data, and the adaptability of the unspecified acoustic model to the sample speech data.
  • Each parameter is estimated so that the integrated fitness obtained in this way becomes the highest. Since the specific processing of each learning unit is the same as that of the corresponding learning unit in the acoustic model learning device 100, detailed description thereof is omitted here.
  • the speaker variation model storage unit 252, the channel variation model storage unit 254, and the unspecified acoustic model storage unit 256 are the speaker variation model learning unit 220, the channel variation model learning unit 230, and the unspecified acoustic model learning.
  • the speaker variation model, channel variation model, and unspecified acoustic model obtained by the unit 240 are stored.
  • the acoustic model learning device 200 of the present embodiment embodies the principle of the present invention, and can exhibit the same effects as the acoustic model learning device 100.
  • FIG. 6 shows a speech recognition apparatus 300 according to the second embodiment of the present invention.
  • the speech recognition apparatus 300 includes a channel input unit 312, a speech input unit 314, a channel variation model storage unit 324, an unspecified acoustic model storage unit 326, a speech conversion unit 330, and a speech recognition unit 340.
  • the voice input unit 314 inputs voice data that is a target of voice recognition to the voice conversion unit 330.
  • the channel input unit 312 inputs a label indicating the channel through which the audio data input by the audio input unit 314 passes.
  • the label input by the channel input unit 312 is data indicating the type of the channel, and is not limited to a label as long as the model for each channel stored in the channel variation model storage unit 324 can be specified. It may be a name or number.
  • the channel variation model storage unit 324 corresponds to the channel variation model storage unit 254 in the acoustic model learning apparatus 200 illustrated in FIG. 5, and stores the channel variation model obtained by the channel variation model learning unit 230. Specifically, for each of the C types of channels, parameters ⁇ j and W j are stored in association with labels indicating the types of channels.
  • the unspecified acoustic model storage unit 326 corresponds to the unspecified acoustic model storage unit 256 in the acoustic model learning device 200 illustrated in FIG. 5 and stores the unspecified acoustic model obtained by the unspecified acoustic model learning unit 240.
  • the voice conversion unit 330 performs conversion for removing the influence of the channel on the voice data input by the voice input unit 314. Specifically, the parameters ⁇ j and W j corresponding to the label input by the channel input unit 312 are read from the channel variation model storage unit 324 and the input audio data “x 1 , x 2, to convert ⁇ , x T "to" y 1, y 2, ⁇ , y T ".
  • the voice data changes as shown in the following equation (6) by passing through the channel of type j.
  • the conversion performed by the voice conversion unit 330 corresponds to the inverse conversion of the influence of the channel of type j on the voice indicated by Expression (6). That is, by this conversion, the influence of the channel of the type j through which the audio data is input, which is input by the channel input unit 312, is removed from the audio data that is input by the audio input unit 314.
  • the voice conversion unit 330 outputs voice data “y 1 , y 2 ,..., Y T ” obtained by removing the influence of the channel to the voice recognition unit 340.
  • the speech recognizing unit 340 reads the unspecified acoustic model from the unspecified acoustic model storage unit 326, and for the speech data “y 1 , y 2 ,..., Y T ” from the speech converting unit 330, a dictionary not shown. Using a language model, grammatical rules, and the like, speech recognition is performed by a conventionally known speech recognition method, and the resulting character string is output.
  • FIG. 7 is a flowchart showing the flow of processing of the speech recognition apparatus 300 shown in FIG.
  • the speech recognition unit 340 reads an unspecified acoustic model from the unspecified acoustic model storage unit 326 (S50). Note that the process of step S50 may be executed any time before the unspecified acoustic model storage unit 326 starts speech recognition.
  • the voice conversion unit 330 reads the voice data from the voice input unit 314 and also reads the channel label indicating the channel through which the voice data has passed from the channel input unit 312 (S52, S54). Then, the voice conversion unit 330 reads the parameter of the channel variation model corresponding to the channel label read from the channel input unit 312 from the channel variation model storage unit 324, and performs the processing on the voice data read from the voice input unit 314. Audio conversion is performed to remove the influence of the channel (S58).
  • the voice recognition unit 340 performs voice recognition on the voice data from which the influence of the channel is removed by the voice conversion unit 330 to obtain a character string (S60).
  • the channel variation model extracts only the variation component due to the sound environment of the channel, the influence of the channel is removed from the speech data to be recognized. Voice recognition can be performed, and the accuracy of voice recognition can be improved.
  • the influence of the channel is removed by performing affine transformation on the speech data by the speech conversion unit 330.
  • the same effect can be obtained by performing considerable conversion on the unspecified acoustic model instead of conversion on the audio data.
  • the speech recognition apparatus 300 is an example in which a channel variation model obtained by the acoustic model learning technique according to the present invention is applied to speech recognition.
  • the speaker variation model obtained by the acoustic model learning technique according to the present invention may be applied to a speech input device or the like.
  • the speech recognition is performed after removing the influence of the speaker on the speech data to be recognized. Can be accurate.
  • FIG. 8 shows a speech recognition apparatus 400 according to the third embodiment of the present invention.
  • the speech recognition apparatus 400 identifies a speaker of the input speech, and includes a channel input unit 412, a speech input unit 414, a speaker variation model storage unit 424, and an unspecified acoustic model storage unit 426.
  • the channel input unit 412, the voice input unit 414, the channel variation model storage unit 422, the unspecified acoustic model storage unit 426, and the second voice conversion unit 430 are the channel input unit 312 in the voice recognition device 300 shown in FIG.
  • the voice input unit 314, the channel variation model storage unit 324, the unspecified acoustic model storage unit 326, and the voice conversion unit 330 have the same functions and configurations, and description thereof is omitted here.
  • the speaker variation model storage unit 424 corresponds to the speaker variation model storage unit 252 in the acoustic model learning device 200 illustrated in FIG. 5, and the speaker variation model obtained by the speaker variation model specifying learning unit 220 is the speaker variation model. Storing. Specifically, a parameter set “V i , ⁇ i ” is stored for each of N speakers.
  • the voice data from which the influence of the channel is removed by the second voice conversion unit 430 is output to the first voice conversion unit 440.
  • the first speech conversion unit 440 reads out the parameter sets “V i , ⁇ i ” corresponding to the N speakers from the speaker variation model storage unit 424 and uses the respective parameter sets to express the following formulas:
  • the audio data “z 1,1 , z 1 , 2 ,..., Z 1, T ”, “z 2,1 , z 2,2,. , z 2, T “, ..., to get" z N, 1, z N, 2, ⁇ , z N, T , "the.
  • the voice data changes according to the following equation (5) by the utterance by the speaker of type i.
  • the conversion performed by the first speech conversion unit 440 is the inverse conversion of the influence of the speaker of type i shown in equation (5) on the speech. It corresponds to. That is, by this conversion, if the voice data input by the voice input unit 314 is uttered by the speaker i, the influence of the speaker i is removed from the voice data.
  • the calculation of the similarity Si by the speaker identification unit 450 can be performed, for example, according to the following equation (19). Or you may use the following formula
  • FIG. 9 is a flowchart showing the flow of processing of the speech recognition apparatus 400 shown in FIG.
  • the processing from steps S80 to S88 is the same as the processing from steps S50 to S58 of the speech recognition apparatus 300 shown in FIG. 7, and detailed description thereof is omitted here.
  • the first speech conversion unit 440 reads all the parameters of the speaker variation model stored in the speaker variation model storage unit 424, and the speakers are speaker i to speaker N. Assuming each of them, the first voice conversion for removing the influence of the speaker is performed on the voice data from the second voice converter 430 to obtain N pieces of voice data (S92).
  • the speech recognition apparatus 400 of the present embodiment since the speaker is recognized after removing the influence of the channel on the speech data by the second speech conversion unit 430, the recognition accuracy can be improved.
  • a program that describes the procedure of the acoustic model learning process or the speech recognition process according to each of the above-described embodiments is mounted on a computer, and the computer is operated as the acoustic model learning device or the speech recognition apparatus of each of the above-described embodiments. It may be.
  • a computer storage device such as a hard disk may be used as the storage unit for storing each model.
  • the present invention is used in a learning technique for constructing an acoustic model, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

　第１の音環境の種類毎の、該種類の第１の音環境が音声に生じさせる変動を示す第１の変動モデルのサンプル音声データへの適合度と、第２の音環境の種類毎の、該種類の第２の音環境が音声に生じさせる変動を示す第２の変動モデルのサンプル音声データへの適合度と、第１の音環境の種類と第２の音環境の種類のいずれにも特定しない不特定音響モデルのサンプル音声データへの適合度とを統合した統合適応度が最も高くなるように、それぞれのモデルのパラメータを推定する。したがって、複数の音環境の影響を受けるサンプル音声データを用いて音響モデルを構築する際に、夫々の音環境に起因する音声への影響を精度良く抽出することができる。

Description

音響モデル学習装置および音声認識装置
　本発明は、音響モデルを構築するための学習技術に関する。
　情報入力、情報検索、音声入力支援、映像インデクシングに加え、話者認識、音声による個人認証、音質測定、環境測定などの広範囲において、音声認識技術が利用されている。音声認識の精度を高めるために、音響モデルを学習することにより、伝送チャネルや雑音などに起因する変動要因の影響を軽減する試みがなされている。
　図１０は、非特許文献１と非特許文献２に開示された音響モデル学習技術を実現する音響モデル学習装置の模式の例を示す。図示のように、音響モデル学習装置１は、音声データ記憶手段１１と、チャネルラベル記憶手段１２と、不特定話者モデル学習手段１３と、チャネルモデル学習手段１４と、不特定話者モデル記憶手段１５と、チャネルモデル記憶手段１６を備える。
　音声データ記憶手段１１は、様々な伝送チャネルを介して取得されたサンプル音声データを記憶している。伝送チャネルとは、話者などの音声ソースから、該音声が録音されるまでに通った物理的装置の種類を意味し、固定電話（固定電話端末と固定電話通信回線を含む）や、携帯電話（携帯電話端末と携帯電話回線を含む）や、ボーカルマイクなどを例として挙げることができる。以下、伝送チャネルを単にチャネルともいう。
　また、音声の内容が同一であっても、話者が女性であるか男性であるかによってデータとしての音声が異なる。同様に、同一の音声内容、同一の話者であっても、固定電話を介して録音したか携帯電話を介して録音したかによってデータとしての音声が異なる。複数の種類を有し、種類が異なることにより音声に変動が生じる音声ソースや、伝送チャネルなどは音環境と呼ばれる。
　音響モデル学習装置１のチャネルラベル記憶手段１２は、音声データ記憶手段１１に記憶されたサンプル音声データに夫々対応した、該サンプル音声データが通ったチャネルを示すラベルデータを記憶している。
　不特定話者モデル学習手段１３は、音声データ記憶手段１１とチャネルラベル記憶手段１２からサンプル音声データとラベルデータを受け取り、サンプル音声データからチャネルという音環境に依存する変動成分を除去して、話者という音環境に依存する変動成分のみを抽出することにより、不特定話者音響モデルを学習する。以下の説明において、「不特定話者音響モデル」を「不特定話者モデル」ともいう。
　チャネルモデル学習手段１４は、音声データ記憶手段１１とチャネルラベル記憶手段１２からサンプル音声データとラベルデータを受け取り、チャネル毎に、該チャネルの音響モデルに相当するアフィン変換のパラメータを学習する。すなわち、チャネル音響モデルは、不特定話者モデルにアフィン変換を施すことにより得られるとの仮定に基づき、そのパラメータを学習することにより求められる。以下の説明において、「チャネル音響モデル」を「チャネルモデル」ともいう。
　なお、不特定話者モデル学習手段１３とチャネルモデル学習手段１４は、互いに連動して非特許文献３に記載された反復解法を行い、不特定話者音響モデルとアフィン変換パラメータ（チャネル音響モデル）を更新し、反復解法が収束した後に、最終的な不特定話者音響モデルとアフィン変換パラメータを出力する。
　不特定話者モデル記憶手段１５は、不特定話者モデル学習手段１３から不特定話者モデルを受け取って記憶し、チャネルモデル記憶手段１６は、チャネルモデル学習手段１４からチャネルモデルを受け取って記憶する。
　音響モデル学習装置１によれば、チャネル毎に該チャネル固有のアフィン変換パラメータを取得することができる。従って、既知のいずれかのチャネルから入力された音声データに対して、アフィン変換を施した音響モデルを適用するか、音声データに対して逆アフィン変換を施すことにより、チャネルによる変動要因を軽減し、認識対象を正しく認識することができると考えられている。
D. A. Reynolds, "Channel robust speaker verification via feature mapping," Proc. ICASSP2003, Vol.II, pp.53－56, 2003 D. Zhu et al., "A generalized feature transformation approach for channel robust speaker verification," Proc. ICASSP2007, Vol.IV, pp.61－64, 2007 T. Anastasakos et al., "A compact model for speaker-adaptive training," Proc. ICSLP96, 1996
　ところで、図１０に示す音響モデル学習装置１では、チャネルモデル学習手段１４は、チャネル毎にアフィン変換のパラメータを正確に推定するために、不特定話者モデル学習手段１３が話者という音環境に起因する変動成分が無視できることを前提とするが、この前提は、必ず成立するとは限らない。
　例えば、図１１に示すようなサンプルデータ例の場合、すべての種類の話者について、すべてのチャネルを介した音声データが取得されている。この場合、同一の種類の話者がすべてのチャネルを通して発声した音声データを利用することができるため、どの話者が発声した音声であるかが未知であっても、チャネルの変化により音声の正味がどのように変わるかを知ることができる。これは、チャネル毎にまとめた音声データの集合をチャネル間で比較する場合にも同じである。
　しかし、通常収集できるサンプルデータは、図１１に示すような完璧なものではない。図１２に示すサンプルデータの例を参照して、一部のチャネルで発声しなかった話者が存在する場合を考える。図１２に示す例では、「女性」である話者が、「固定電話」と「携帯電話」の２つのチャネルを介した音声データがあるものの、「マイク」チャネルを介した音声データが無い。また、「高齢者」である話者が、「マイク」と「固定電話」の２つのチャネルを介した音声データがあるものの、「携帯電話」チャネルを介した音声データが無い。また、「男性」である発話者が、「携帯電話」チャネルを介した音声データのみがあり、「マイク」と「固定電話」の２つのチャネルを介した音声データが無い。
　このような場合、例えば、「女性」である発話者について、「固定電話」チャネルと「携帯電話」チャネル間で音声がどのように異なるかを知ることができるが、「マイク」チャネルでの音声がどのようになるかについては把握することができない。
　また、チャネル毎にまとめた音声データの集合についても同様のことが言える。たとえば、図１２に示す例では、「マイク」チャネルの音声データの集合は、「高齢者」の音声データのみで構成、高齢者の音声の特徴を含んでいる。一方、「携帯電話」チャネルの音声データの集合には、「高齢者」の音声データが無いため、高齢者の音声の特徴を含まない。このような状況では、チャネルの違いによる変動要因と、話者の種類の違いによる変動要因が混ざっているため、チャネルの違いによる変動要因を把握することが困難である。
　この状況は、収集方法を注意深く設計すると共に実行することによって収集されたサンプルデータではない限り、ごく普通に発生する。一方、収集方法を注意深く設計すると共に実行することは、計画や、被験者の確保に莫大なコストがかかり、現実的ではない。
　本発明は、上記事情に鑑みてなされたものであり、完璧ではないサンプルデータの場合でも、精度の良い音響モデルを学習することができ、ひいては精度の良い音声認識ができる技術を提供する。
　本発明の一つの態様は、音響モデル学習装置である。この音響モデル学習装置は、第１の変動モデル学習部と、第２の変動モデル学習部と、不特定音響モデル学習部を備える。
　第１の変動モデル学習部は、複数の種類を有し、種類が異なることにより音声に変動が生じる第１の音環境のいずれか１種と、複数の種類を有し、種類が異なることにより音声に変動が生じる第２の音環境のいずれか１種とを介して取得されたサンプル音声データを用いて、第１の音環境の種類毎に、該種類の第１の音環境が音声に生じさせる変動を示す第１の変動モデルを規定するパラメータを推定する。
　第２の変動モデル学習部は、上記複数のサンプル音声データを用いて、第２の音環境の種類毎に、該種類の第２の音環境が音声に生じさせる変動を示す第２の変動モデルを規定するパラメータを推定する。
　不特定音響モデル学習部は、上記複数のサンプル音声データを用いて、第１の音環境の種類と第２の音環境の種類のいずれにも特定しない音響モデル（不特定音響モデル）を規定するパラメータを推定する。
　これらの３つの学習部は、第１の変動モデルのサンプル音声データへの適合度と、第２の変動モデルのサンプル音声データへの適合度と、不特定音響モデルのサンプル音声データへの適合度を統合した統合適応度が最も高くなるように、それぞれのパラメータを推定する。
　本発明の別の態様は、音声認識装置である。この音声認識装置は、本発明の上記態様の音響モデル学習装置により得られた各第１の変動モデルのうちの、所定種類の第１の音環境を介して取得された認識対象の音声データの当該所定種類に対応した第１の変動モデルが示す変動と逆の変換を、該認識対象の音声データに対して施す音声変換部を備え、該音声変換部により得た音声データに対して音声認識を行う。
　本発明のまた別の態様も、音声認識装置である。この音声認識装置は、本発明の上記態様の音響モデル学習装置により得られた各第２の変動モデルのうちの、所定種類の第２の音環境を介して取得された認識対象の音声データの該所定種類に対応した第２の変動モデルが示す変動と逆の変換を、該認識対象の音声データに対して施す音声変換部を備え、該音声変換部により得た音声データに対して音声認識を行う。
　本発明のさらなる別の態様は、音環境認識装置である。この音環境認識装置は、第２の音声変換部と、第１の音声変換部と、識別部を備える。
　第２の音声変換部は、本発明の上記態様の音響モデル学習装置により得られた各第２の変動モデルのうちの、所定種類の第２の音環境を介して取得された認識対象の音声データの当該所定種類に対応した第２の変動モデルが示す変動と逆の変換を、該認識対象の音声データに対して施す。
　第１の音声変換部は、本発明の上記態様の音響モデル学習装置により得られた各第１の変動モデルが示す変動と逆の変換を、第２の音声変換部により得た音声データに対して夫々行って複数の音声データを得る。
　識別部は、上記第１の音声変換部が得た複数の音声データと、本発明の上記態様の音響モデル学習装置により得られた不特定音響モデルとを用いて、認識対象の音声データが通った第１の音環境の種類を識別する。
　なお、上記各態様の装置を方法やシステム、またはコンピュータを当該装置として動作せしめるプログラムとして置き換えて表現したものも、本発明の態様として有効である。
　本発明にかかる技術によれば、完璧ではないサンプルデータの場合でも、精度の良い音響モデルを学習することができ、ひいては音声認識の精度を高めることができる。
本発明にかかる技術を説明するための音響モデル学習装置の模式図である。 図１における音響モデル学習装置のサンプルデータ記憶部に記憶されたデータの構成例を示す図である。 音声データの生成過程を表すモデルの概念図である。 図１に示す音響モデル学習装置のおける処理の流れを示すフローチャートである。 本発明の第１の実施の形態にかかる音響モデル学習装置を示す図である。 本発明の第２の実施の形態にかかる音声認識装置を示す図である。 図６に示す音声認識装置における処理の流れを示すフローチャートである。 本発明の第３の実施の形態にかかる音声認識装置を示す図である。 図８に示す音声認識装置における処理の流れを示すフローチャートである。 従来の音響モデル学習方法の説明するための音響モデル学習装置の模式図である。 サンプル音声データの例を示す図である（その１）。 サンプル音声データの例を示す図である（その２）。
符号の説明
　１　音響モデル学習装置　１１　音声データ記憶手段
　１２　チャネルラベル記憶手段　１３　不特定話者モデル学習手段
　１４　チャネルモデル学習手段　１５　不特定話者モデル記憶手段
　１６　チャネルモデル記憶手段　１００　音響モデル学習装置
　１１０　サンプルデータ記憶部　１２０　第１の変動モデル学習部
　１３０　第２の変動モデル学習部　１４０　不特定音響モデル学習部
　２００　音響モデル学習装置　２１２　サンプルデータ記憶部
　２１４　話者ラベル記憶部　２１６　チャネルラベル記憶部
　２２０　話者の変動モデル学習部　２３０　チャネルの変動モデル学習部
　２４０　不特定音響モデル学習部　２５２　話者の変動モデル記憶部
　２５４　チャネルの変動モデル記憶部　２５６　不特定音響モデル記憶部
　３００　音声認識装置　３１２　チャネル入力部
　３１４　音声入力部　３２４　チャネルの変動モデル記憶部
　３２６　不特定音響モデル記憶部　３３０　音声変換部
　３４０　音声認識部　４００　音声認識装置
　４１２　チャネル入力部　４１４　音声入力部
　４２２　チャネルの変動モデル記憶部　４２４　話者の変動モデル記憶部
　４２６　不特定音響モデル記憶部　４３０　第２の音声変換部
　４４０　第１の音声変換部　４５０　話者識別部
　以下の説明に用いられる図面に、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、プロセッサ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリに記録された、またはロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。また、分かりやすいように、これらの図面において、本発明の技術を説明するために必要なもののみを示す。
　本発明の具体的な実施の形態を説明する前に、まず、本発明の原理を説明する。
　図１は、本発明にかかる技術に基づく音響モデル学習装置１００の模式図の例である。音響モデル学習装置１００は、サンプルデータ記憶部１１０と、第１の変動モデル学習部１２０と、第２の変動モデル学習部１３０と、不特定音響モデル学習部１４０を備える。
　サンプルデータ記憶部１１０は、様々なサンプル音声データ（以下単にサンプルデータという）と、該サンプルデータが取得された第１の音環境の種類と、第２の音環境の種類とを対応付けて記憶している。第１の音環境は、複数の種類を有し、この種類が異なることにより音声に変動が生じる。第２の音環境も、複数の種類を有し、この種類が異なることにより音声に変動が生じる。
　図２は、サンプルデータ記憶部１１０に記憶されたデータの例を示す。図示のように、サンプルデータ記憶部１１０において、サンプルデータと、該サンプルデータがどの第１の音環境で取得されたかを示す第１の音環境ラベルＡと、該サンプルデータがどの第２の音環境で取得されたかを示す第２の音環境ラベルＢとを対応付けて記憶されている。各第１の音環境ラベルは、第１の音環境の複数の種類とそれぞれ対応し、各第２の音環境ラベルは、第２の音環境の複数の種類とそれぞれ対応する。
　例えば、第１の音環境と第２の音環境をそれぞれ「話者」と「チャネル」とした場合、サンプルデータ１は、チャネルＢ３を介して取得した話者Ａ２の音声データであり、サンプルデータ２は、チャネルＢ２を介して取得した話者Ａ１の音声データである。
　第１の変動モデル学習部１２０は、第１の音環境の種類毎に、該種類の第１の音環境が音声に生じさせる変動を示す第１の変動モデルを規定するパラメータを推定する。例えば、第１の音環境が話者である場合には、各第１の変動モデルは、話者の変動モデルとなる。
　第２の変動モデル学習部１３０は、第２の音環境の種類毎に、該種類の第２の音環境が音声に生じさせる変動を示す第２の変動モデルを規定するパラメータを推定する。たとえば、第２の音環境がチャネルである場合には、各第２の変動モデルは、チャネルの変動モデルとなる。
　不特定音響モデル学習部１４０は、第１の音環境と第２の音環境のいずれにも依存しない音響モデルを学習する。以下、この音響モデルを不特定音響モデルという。
　まず、不特定音響モデル学習部１４０について説明する。
　不特定音響モデル学習部１４０は、不特定音響モデルを初期化して、サンプルデータ記憶部１１０に記憶された各サンプルデータおよび２種類の音環境ラベルを読み出して、不特定音響モデルのパラメータを更新する。この不特定音響モデルは、従来知られているガウス混合モデル（ＧＭＭ）や隠れマルコフモデル（ＨＭＭ）などを用いることができる。以下の説明においてＧＭＭを例にするが、他のモデルを用いた場合も同様の動作を導出することができる。
　ＧＭＭでは、混合数をＭとした場合、モデルを規定するパラメータは、式（１）により表すことができる。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、μＫとΣＫはそれぞれ第ｋ番目のガウス分布の平均および分散であり、ＣＫは第ｋ番目のガウス分布にかかる混合係数（重み係数）である。
　これらのパラメータの初期化は、各パラメータに適当な値をセットすることにより行われる。たとえば、音声データが特徴ベクトルの時系列の形で与えられるとして、ＣＫには「１／Ｍ」、μＫとΣＫには、特徴ベクトルの平均と分散をそれぞれセットすればよい。以下、モデルを規定するパラメータをモデルパラメータという。
　特徴ベクトルとしてメルケプストラム係数（ＭＦＣＣ）を用いて、式（２）に示すように、第１の音環境がｉ番目であり、第２の音環境がｊ番目である音声データを特徴ベクトルの時系列で表すことができる。
Figure JPOXMLDOC01-appb-M000002
　なお、式中Ｔｉ，ｊは、特徴ベクトルのフレーム数（個数）である。
　次に第１の変動モデルを学習する第１の変動モデル学習部１２０を説明する。
　第１の変動モデル学習部１２０は、各第１の変動モデルを初期化して、サンプルデータ記憶部１１０に記憶されたサンプルデータと音環境ラベルＡを読み出してモデルパラメータを更新する。第１の変動モデルのモデルパラメータは、例えば式（３）に示すアフィン変換のパラメータセット{Ｖｉ、λｉ｜ｉ＝１，２，・・・，Ｎ}（Ｎ：第１の音環境の種類の数）を用いることができる。
Figure JPOXMLDOC01-appb-M000003
　第１の変動モデルの初期化は、各パラメータに適当な値をセットすることにより行われる。たとえば、アフィン変換が恒等変換となるように、「Ｖｉ＝Ｉ、λｉ＝０」（Ｉ：単位行列）とすればよい。
　第２の変動モデルを学習する第２の変動モデル学習部１３０は、第２の変動モデルを初期化して、サンプルデータ記憶部１１０に記憶されたサンプルデータと音環境ラベルＢを読み出してモデルパラメータを更新する。第２の変動モデルのモデルパラメータは、例えば式（４）に示すアフィン変換のパラメータセット{Ｗｊ、νｊ｜ｊ＝１，２，・・・，Ｃ}（Ｃ：第２の音環境の種類の数）を用いることができる。
Figure JPOXMLDOC01-appb-M000004
　第２の変動モデルの初期化は、各パラメータに適当な値をセットすることにより行われる。たとえば、第１の変動モデルの初期化と同様に、アフィン変換が恒等変換となるように、「Ｗｊ＝Ｉ、νｊ＝０」（Ｉ：単位行列）とすればよい。
　第１の変動モデル学習部１２０、第２の変動モデル学習部１３０、不特定音響モデル学習部１４０は、第１の変動モデルのサンプル音声データへの適合度と、第２の変動モデルのサンプル音声データへの適合度と、不特定音響モデルのサンプル音声データへの適合度とを統合した統合適合度が最も高くなるように、それぞれのパラメータを推定する。
　統合適合度は、例えば、これらの３つのモデルのパラメータにより表わされる、サンプル音声データが観測される確率を用いることができる。サンプル音声データの生成過程を参照して、この確率について説明する。
　図３は、第１の音環境、第２の音環境の順で該２つの音環境を通ることにより変動が生じた音声データが観測されるという現象を表現したサンプル音声データの生成モデルの概念図である。まず、変動が生じる前の音声が、不特定音響モデルの確率分布に従い、「ｚ１，ｚ２，・・・，ｚＴ」のような特徴ベクトル系列として生成される。この音声は、種類ｉの第１の音環境（１≦ｉ≦Ｎ）を通ることによって、式（５）に示す変換がなされ、元とは異なる音声「ｙ１，ｙ２，・・・，ｙＴ」になる。
Figure JPOXMLDOC01-appb-M000005
　第１の音環境を通った音声は、さらに種類ｊの第２の音環境（１≦ｊ≦Ｃ）を通ることによって、式（６）に示す変換がなされ、音声「ｘ１，ｘ２，・・・，ｘＴ」になる。
Figure JPOXMLDOC01-appb-M000006
　一般に、観測できる音声は、音声「ｘ１，ｘ２，・・・，ｘＴ」であり、「ｚ１，ｚ２，・・・，ｚＴ」や「ｙ１，ｙ２，・・・，ｙＴ」は観測不可能である。
　図３に示す生成モデルの場合、ある音声データＸ＝（ｘ１，ｘ２，・・・，ｘＴ）が観測される確率は、式（７）で表すことができる。
Figure JPOXMLDOC01-appb-M000007
　なお、式（７）におけるθは、不特定音響モデル、第１の変動モデル、第２の変動モデルのパラメータ、すなわちＣＫ、μＫ、ΣＫ、Ｖｉ、λｉ、Ｗｊ、νｊのいずれかを表す。また、ｆ（ｘ｜μ，Σ）は、平均μ、分散Σのガウス分布を表す。
　第１の変動モデルと第２の変動モデル、および不特定音響モデルが、式（２）で表される、種々の第１の音環境ｉおよび第２の音環境ｊで観測されたサンプル音声データに適合するほど、これらのモデルが正確である。しかし、サンプル音声データに第１の音環境の影響と第２の音環境の影響が混ざっているため、各モデル個々について、サンプル音声データへ最も適合するように求められたモデルパラメータは、精度に欠けてしまう。
　そこで、本願発明者が提案した、第１の変動モデルのサンプル音声データへの適合度と、第２の変動モデルのサンプル音声データへの適合度と、不特定音響モデルのサンプル音声データへの適合度を統合して得た統合適合度が最も高くなるようにそれぞれのパラメータを推定する手法を用いれば、最も正確な音響モデルを推定することができる。この統合適合度として、式（７）で表される確率を用いることができる。すなわち、式（７）で表わされる確率が最も大きくなるように、第１の変動モデル、第２の変動モデル、および不特定音響モデルのパラメータθを推定すれば、最も正確な音響モデルを得ることができる。
　そのため、本発明にかかる技術において、各学習部は、下記の式（８）に従ってそれぞれのパラメータθを更新する。
Figure JPOXMLDOC01-appb-M000008
　式（８）において、ａｒｇｍａｘは、与えられた関数の値が最大となるように変数（ここではθ）の値を求めることを意味する。式（８）に示す演算は、最尤推定法としてよく知られており、期待値最大化（ＥＭ）法として知られる反復計算アルゴリズムによる数値解法を適用することができる。
　また、パラメータθの更新は、最尤推定法以外にも、よく知られた最大事後確率（ＭＡＰ）推定法、ベイズ推定法などの手法により行うことができる。
　ここで、図４に示すフローチャートを参照して、音響モデル学習装置１００における第１の変動モデル学習部１２０、第２の変動モデル学習部１３０、不特定音響モデル学習部１４０によるパラメータの推定処理の流れを説明する。
　図４に示すように、まず、各学習部は、サンプルデータ記憶部１１０からサンプルデータ、第１の音環境ラベル、第２の音環境ラベルを読み込む（Ｓ１０、Ｓ１２、Ｓ１４）。なお、ステップＳ１０、Ｓ１２、Ｓ１４の実行順序は図示に限らず、任意である。
　そして、各学習部は、それぞれのモデルパラメータを初期化する（Ｓ１６）。具体的には、不特定音響モデル学習部１４０は、パラメータＣＫ、μＫ、ΣＫを初期化し、第１の変動モデル学習部１２０はパラメータＶｉ、λｉを初期化し、第２の変動モデル学習部１３０はパラメータＷｊ、νｊを初期化する。初期化により各パラメータにセットされる値の例は、前に述べた通りであり、ここで詳細を省略する。
　なお、ステップＳ１６における初期化は、ステップＳ１０～Ｓ１４の前に実行されてもよい。この場合、サンプルデータを参照することができないので、不特定音響モデル学習部１４０は、乱数でμＫ、ΣＫを初期化するなどの手法を用いる。
　次に、不特定音響モデル学習部１４０は、式（９）、（１０）、（１１）に従って、不特定音響モデルのパラメータＣＫ、μＫ、ΣＫを更新する（Ｓ１８）。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　なお、式（９）、（１０）、（１１）におけるγｉｊｋｔは、不特定音響モデルの第ｋ番目のガウス分布に属する確率として式（１２）に従って予め算出されたものである。
Figure JPOXMLDOC01-appb-M000012
　ステップＳ１８における不特定音響モデル学習部１４０のパラメータ更新は、１回のみ行ってもよく、所定の回数繰り返してもよい。さらに、収束判定例えば式（８）の右辺の対数確率を指標とした収束判定を導入して、収束するまで繰り返すようにしてもよい。
　次に、第１の変動モデル学習部１２０は、式（１３）と式（１４）に従って、第１の変動モデルのパラメータＶｉ、λｉを更新する（Ｓ２０）。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　なお、式（７）と式（８）におけるγｉｊｋｔも、不特定音響モデル学習部１４０のときと同じように式（１２）に従って予め算出されたものである。また、パラメータの更新回数は、不特定音響モデル学習部１４０の場合と同様に決めればよい。
　そして、第２の変動モデル学習部１３０は、式（１５）と式（１６）に従って、第２の変動モデルのパラメータνｊ、Ｗｊを更新する（Ｓ２２）。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　なお、式（１５）と式（１６）におけるγｉｊｋｔも、不特定音響モデル学習部１４０のときと同じように式（１２）に従って予め算出されたものである。また、パラメータの更新回数も、不特定音響モデル学習部１４０の場合と同様に決めればよい。
　ステップＳ１８～Ｓ２２までの更新処理は、収束するまで繰り返される（Ｓ２４：Ｎｏ、Ｓ１８～）。なお、収束した時点で（Ｓ２４：Ｙｅｓ）、第１の変動モデル学習部１２０、第２の変動モデル学習部１３０、不特定音響モデル学習部１４０から、第１の変動モデル、第２の変動モデル、不特定音響モデルのパラメータがそれぞれ出力され、音響モデル学習装置１００による学習処理は終了する。
　このように、本発明にかかる技術によれば、第１の変動モデル学習部１２０は第１の音環境に起因する変動要因のみを抽出することができ、第２の変動モデル学習部１３０は第２の音環境に起因する変動要因のみを抽出することができ、完璧ではないサンプルデータでも、精度の良い音響モデルを構築することができる。ひいては、これらの音響モデルを用いた音声認識も、精度良くできる。
　以上の説明を踏まえて本発明の実施の形態を説明する。
＜第１の実施の形態＞
　図５は、本発明の第１の実施の形態にかかる音響モデル学習装置２００を示す。音響モデル学習装置２００は、サンプルデータ記憶部２１２と、話者ラベル記憶部２１４と、チャネルラベル記憶部２１６と、話者の変動モデル学習部２２０と、チャネルの変動モデル学習部２３０と、不特定音響モデル学習部２４０と、話者の変動モデル記憶部２５２と、チャネルの変動モデル記憶部２５４と、不特定音響モデル記憶部２５６を備える。
　サンプルデータ記憶部２１２は、様々なチャネルを介して録音した複数の話者のサンプル音声データを記憶している。
　話者ラベル記憶部２１４は、サンプルデータ記憶部２１２に記憶された各サンプルデータの夫々の話者を示すラベル（話者ラベル）のデータを記憶している。
　チャネルラベル記憶部２１６は、サンプルデータ記憶部２１２に記憶された各サンプルデータのそれぞれのチャネルを示すラベル（チャネルラベル）のデータを記憶している。
　なお、サンプルデータ記憶部２１２と、話者ラベル記憶部２１４と、チャネルラベル記憶部２１６は、サンプルデータと、話者ラベルと、チャネルラベルとを対応付けできるように記憶している。
　話者の変動モデル学習部２２０は、図１に示す音響モデル学習装置１００の第１の変動モデル学習部１２０に対応する。ここで、話者が第１の音環境であり、話者の変動モデル学習部２２０は、話者毎の第１の変動モデルを得る。この第１の変動モデルを以下話者の変動モデルという。
　チャネルの変動モデル学習部２３０は、音響モデル学習装置１００の第２の変動モデル学習部１３０に対応する。ここで、チャネルが第２の音環境であり、チャネルの変動モデル学習部２３０は、チャネル毎の第２の変動モデルを得る。この第２の変動モデルを以下チャネルの変動モデルという。
　不特定音響モデル学習部２４０は、音響モデル学習装置１００の不特定音響モデル学習部１４０に対応し、話者とチャネルのいずれにも依存しない不特定音響モデルを学習する。
　この３つの学習部は、話者の変動モデルのサンプル音声データへの適合度と、チャネルの変動モデルのサンプル音声データへの適合度と、不特定音響モデルのサンプル音声データへの適合度を統合して得た統合適合度が最も高くなるように、それぞれのパラメータを推定する。各学習部の具体的な処理は、音響モデル学習装置１００における相対応の学習部と同様であるので、ここで詳細な説明を省略する。
　話者の変動モデル記憶部２５２と、チャネルの変動モデル記憶部２５４と、不特定音響モデル記憶部２５６は、話者の変動モデル学習部２２０、チャネルの変動モデル学習部２３０、不特定音響モデル学習部２４０が得た話者の変動モデルと、チャネルの変動モデルと、不特定音響モデルをそれぞれ格納する。
　本実施の形態の音響モデル学習装置２００は、本発明の原理を具現化したものであり、音響モデル学習装置１００と同様の効果を発揮することができる。
　次いで、第２の実施の形態と第３の実施の形態と用いて、本発明の音響モデル学習技術により得られた音響モデルの使用例を説明する。
＜第２の実施の形態＞
　図６は、本発明の第２の実施の形態にかかる音声認識装置３００を示す。この音声認識装置３００は、チャネル入力部３１２と、音声入力部３１４と、チャネルの変動モデル記憶部３２４と、不特定音響モデル記憶部３２６と、音声変換部３３０と、音声認識部３４０を備える。
　音声入力部３１４は、音声認識の対象となる音声データを音声変換部３３０に入力する。
　チャネル入力部３１２は、音声入力部３１４により入力される音声データが通ったチャネルを示すラベルを入力する。なお、チャネル入力部３１２が入力するラベルは、チャネルの種類を示すデータであり、チャネルの変動モデル記憶部３２４に記憶されたチャネル毎のモデルを指定することができれば、ラベルに限られず、任意の名前や番号でもよい。
　チャネルの変動モデル記憶部３２４は、図５に示す音響モデル学習装置２００におけるチャネルの変動モデル記憶部２５４に該当し、チャネルの変動モデル学習部２３０が得たチャネルの変動モデルを格納する。具体的には、Ｃ種類のチャネル毎に、該種類のチャネルを示すラベルに対応付けて、パラメータνｊ、Ｗｊを記憶している。
　不特定音響モデル記憶部３２６は、図５に示す音響モデル学習装置２００における不特定音響モデル記憶部２５６に該当し、不特定音響モデル学習部２４０が得た不特定音響モデルを格納している。
　音声変換部３３０は、音声入力部３１４が入力された音声データに対して、チャネルによる影響を取り除くための変換を行う。具体的には、チャネル入力部３１２が入力したラベルに対応するパラメータνｊ、Ｗｊをチャネルの変動モデル記憶部３２４から読み出して、式（１７）に従って、入力された音声データ「ｘ１，ｘ２，・・・，ｘＴ」を「ｙ１，ｙ２，・・・，ｙＴ」に変換する。
Figure JPOXMLDOC01-appb-M000017
　前述したように、種類ｊのチャネルを通ることで音声データが前述した下記の式（６）のように変化する。
Figure JPOXMLDOC01-appb-M000018
　式（１７）と式（６）を比較して分かるように、音声変換部３３０が行った変換は、式（６）が示す、種類ｊのチャネルが音声へ与える影響の逆変換に相当する。すなわち、この変換によって、音声入力部３１４が入力した音声データから、チャネル入力部３１２が入力した、この音声データが通った種類ｊのチャネルの影響は取り除かれる。
　音声変換部３３０がチャネルの影響を取り除いて得た音声データ「ｙ１，ｙ２，・・・，ｙＴ」を音声認識部３４０に出力する。
　音声認識部３４０は、不特定音響モデル記憶部３２６から不特定音響モデルを読出し、音声変換部３３０からの音声データ「ｙ１，ｙ２，・・・，ｙＴ」に対して、図示しない辞書、言語モデル、文法規則などを用いて、従来知られている音声認識手法により音声認識を行って結果である文字列を出力する。
　図７は、図６に示す音声認識装置３００の処理の流れを示すフローチャートである。音声認識を行うにあたり、音声認識部３４０は、不特定音響モデル記憶部３２６から不特定音響モデルを読み込む（Ｓ５０）。なお、ステップＳ５０の処理は、不特定音響モデル記憶部３２６が音声認識を開始する前であれば、いつ実行されてもよい。
　音声変換部３３０は、音声入力部３１４から音声データを読み込むと共に、チャネル入力部３１２から、該音声データの音声が通ったチャネルを示すチャネルラベルを読み込む（Ｓ５２、Ｓ５４）。そして、音声変換部３３０は、チャネル入力部３１２から読み込んだチャネルラベルに対応するチャネルの変動モデルのパラメータをチャネルの変動モデル記憶部３２４から読み出して、音声入力部３１４から読み込んだ音声データに対して音声変換を行って、チャネルによる影響を取り除く（Ｓ５８）。
　最後に、音声認識部３４０は、音声変換部３３０によりチャネルの影響が取り除かれた音声データに対して音声認識を行って文字列を得る（Ｓ６０）。
　本実施の形態の音声認識装置３００によれば、チャネルの変動モデルがチャネルという音環境による変動成分のみを抽出しているため、認識対象の音声データに対して、チャネルの影響を取り除いた上で音声認識を行うことができ、音声認識の精度を高めることができる。
　なお、本実施の形態では、音声変換部３３０により音声データに対してアフィン変換をすることによってチャネルの影響を取り除くようにしているが、音響モデルの話者適応化技術の分野でよく行われるように、音声データに対する変換の代わりに、不特定音響モデルに対して相当の変換を行うようにしても、同様の効果を得ることができる。
　なお、音声認識装置３００は、本発明にかかる音響モデル学習技術により得られたチャネルの変動モデルを音声認識に適用した例である。勿論、本発明にかかる音響モデル学習技術により得られた話者の変動モデル話者の変動モデルを、音声入力装置などに適用してもよい。この場合も、話者の変動モデルが話者という音環境に起因する変動成分のみを抽出しているので、認識対象の音声データに対して、話者の影響を取り除いた上で音声認識を行うことができ、精度が良い。
＜第３の実施の形態＞
　図８は、本発明の第３の実施の形態にかかる音声認識装置４００を示す。この音声認識装置４００は、入力された音声の話者を識別するものであり、チャネル入力部４１２と、音声入力部４１４と、話者の変動モデル記憶部４２４と、不特定音響モデル記憶部４２６と、チャネルの変動モデル記憶部４２２と、第２の音声変換部４３０と、第１の音声変換部４４０と、話者識別部４５０を備える。
　チャネル入力部４１２、音声入力部４１４、チャネルの変動モデル記憶部４２２、不特定音響モデル記憶部４２６、第２の音声変換部４３０は、図６に示す音声認識装置３００におけるチャネル入力部３１２と、音声入力部３１４と、チャネルの変動モデル記憶部３２４と、不特定音響モデル記憶部３２６、音声変換部３３０とそれぞれ同様の機能および構成を有し、ここで説明を省略する。
　話者の変動モデル記憶部４２４は、図５に示す音響モデル学習装置２００における話者の変動モデル記憶部２５２に該当し、話者の変動モデル特定学習部２２０が得た話者の変動モデルを格納している。具体的には、Ｎ人の話者毎にパラメータセット「Ｖｉ、λｉ」を記憶している。
　音声認識装置４００において、第２の音声変換部４３０によりチャネルの影響が取り除かれた音声データは、第１の音声変換部４４０に出力される。
　第１の音声変換部４４０は、話者の変動モデル記憶部４２４からＮ人の話者にそれぞれ対応するパラメータセット「Ｖｉ、λｉ」を読み出して、それぞれのパラメータセットを用いて下記の式（１８）が示す変換を行って、Ｎ個の音声データ「ｚ１，１，ｚ１，２，・・・，ｚ１，Ｔ」、「ｚ２，１，ｚ２，２，・・・，ｚ２，Ｔ」、・・・、「ｚＮ，１，ｚＮ，２，・・・，ｚＮ，Ｔ」を取得する。
Figure JPOXMLDOC01-appb-M000019
　前述したように、種類ｉの話者による発声により音声データが前述した下記の式（５）のように変化する。
Figure JPOXMLDOC01-appb-M000020
　式（１８）と式（５）を比較して分かるように、第１の音声変換部４４０が行った変換は、式（５）が示す、種類ｉの話者が音声へ与える影響の逆変換に相当する。すなわち、この変換によって、音声入力部３１４が入力した音声データが、話者ｉが発声したものでれば、この音声データから話者ｉによる影響が取り除かれる。
　話者識別部４５０は、第１の音声変換部４４０が得られた各音声データ「ｚｉ，１，ｚｉ，２，・・・，ｚｉ，Ｔ」（ｉ＝１、２、・・・、Ｎ）について、不特定音響モデル記憶部４２６に記憶されたモデルとの類似度Ｓ１、Ｓ、２，・・・，ＳＮをそれぞれ算出する。そして、これらの類似度のうちの最も大きい類似度の番号ｉを出力する。これにより、音声入力部４１４から入力された音声データの話者が認識される。
　なお、話者識別部４５０による類似度Ｓiの算出は、例えば下記の式（１９）に従って行うことができる。
Figure JPOXMLDOC01-appb-M000021
 　または、対数をとった下記の式（２０）を用いてもよい。
Figure JPOXMLDOC01-appb-M000022
　図９は、図８に示す音声認識装置４００の処理の流れを示すフローチャートである。ステップＳ８０～Ｓ８８までの処理は、図７に示す音声認識装置３００のステップＳ５０～Ｓ５８までの処理を同様であり、ここで詳細な説明を省略する。ステップＳ９０において、第１の音声変換部４４０は、話者の変動モデル記憶部４２４に記憶された話者の変動モデルのすべてのパラメータを読出し、話者が話者ｉ～話者Ｎであるとそれぞれ仮定して、第２の音声変換部４３０からの音声データに対して、当該話者の影響を取り除く第１の音声変換を行ってＮ個の音声データを得る（Ｓ９２）。話者識別部４５０は、第１の音声変換部４４０によりステップＳ９２で得られたＮ個の音声データと不特定音響モデルの類似度Ｓｉ（ｉ＝１～Ｎ）をそれぞれ算出し、類似度が最も大きい音声データに対応するｉを得ることにより、音声入力部４１４から入力された音声が、話者ｉにより発声したものであるとの認識結果を得る（Ｓ９４）。
　本実施の形態の音声認識装置４００によれば、第２の音声変換部４３０によりチャネルが音声データに与えた影響を取り除いた上で話者の認識を行うので、認識精度を高めることができる。
　以上、実施の形態（および実施例）を参照して本願発明を説明したが、本願発明は上記実施の形態（および実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　例えば、上述した各実施の形態による音響モデル学習処理または音声認識処理の手順を記述したプログラムをコンピュータに実装し、コンピュータを上述した各実施の形態の音響モデル学習装置または音声認識装置として動作せしめるようにしてもよい。この場合、各モデルを記憶する記憶部としては、コンピュータの記憶装置例えばハードディスクなどを用いればよい。
　この出願は、２００８年４月３０日に出願された日本出願特願２００８－１１８６６２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、例えば、音響モデルを構築するための学習技術に使用される。

Claims (13)

  1. 　複数の種類を有し、前記種類が異なることにより音声に変動が生じる第１の音環境のいずれか１種と、複数の種類を有し、前記種類が異なることにより音声に変動が生じる第２の音環境のいずれか１種とを介して取得されたサンプル音声データを用いて、前記第１の音環境の種類毎に、該種類の前記第１の音環境が音声に生じさせる変動を示す第１の変動モデルを規定するパラメータを推定する第１の変動モデル学習部と、
    　前記複数のサンプル音声データを用いて、前記第２の音環境の種類毎に、該種類の前記第２の音環境が音声に生じさせる変動を示す第２の変動モデルを規定するパラメータを推定する第２の変動モデル学習部と、
    　前記複数のサンプル音声データを用いて、前記第１の音環境の種類と前記第２の音環境の種類のいずれにも特定しない不特定音響モデルを規定するパラメータを推定する不特定音響モデル学習部とを備え、
    　各前記学習部は、前記第１の変動モデルの前記サンプル音声データへの適合度と、前記第２の変動モデルの前記サンプル音声データへの適合度と、前記不特定音響モデルの前記サンプル音声データへの適合度を統合した統合適応度が最も高くなるように、それぞれのパラメータを推定することを特徴とする音響モデル学習装置。
  2. 　各前記学習部は、前記第１の変動モデルと前記第２の変動モデルと前記不特定音響モデルのパラメータにより表わされる、前記サンプル音声データが観測される確率を前記統合適合度として用いることを特徴とする請求項１に記載の音響モデル学習装置。
  3. 　各前記学習部は、最尤推定法、最大事後確率推定法、及びベイズ推定法のいずれかに基づく反復解法を用いてパラメータを推定することを特徴とする請求項１または２に記載の音響モデル学習装置。
  4. 　前記第１の変動モデルと前記第２の変動モデルは、アフィン変換で定義されることを特徴とする請求項３に記載の音響モデル学習装置。
  5. 　前記不特定音響モデルは、ガウス混合モデルまたは隠れマルコフモデルであることを特徴とする請求項３または４に記載の音響モデル学習装置。
  6. 　請求項１から５のいずれか１項に記載の音響モデル学習装置により得られた各前記第１の変動モデルのうちの、所定種類の前記第１の音環境を介して取得された認識対象の音声データの前記所定種類に対応した第１の変動モデルが示す変動と逆の変換を、前記音声データに対して施す音声変換部を備え、
    　該音声変換部により得た音声データに対して音声認識を行う特徴とする音声認識装置。
  7. 　請求項１から５のいずれか１項に記載の音響モデル学習装置により得られた各前記第２の変動モデルのうちの、所定種類の前記第２の音環境を介して取得された認識対象の音声データの前記所定種類に対応した第２の変動モデルが示す変動と逆の変換を、前記音声データに対して施す音声変換部を備え、
    　該音声変換部により得た音声データに対して音声認識を行う特徴とする音声認識装置。
  8. 　請求項１から５のいずれか１項に記載の音響モデル学習装置により得られた各前記第２の変動モデルのうちの、所定種類の前記第２の音環境を介して取得された認識対象の音声データの前記所定種類に対応した第２の変動モデルが示す変動と逆の変換を、前記音声データに対して施す第２の音声変換部と、
    　請求項１から５のいずれか１項に記載の音響モデル学習装置により得られた各前記第１の変動モデルが示す変動と逆の変換を、前記第２の音声変換部により得た音声データに対して夫々行って複数の音声データを得る第１の音声変換部と、
    　該第１の音声変換部が得た前記複数の音声データと、請求項１から５のいずれか１項に記載の音響モデル学習装置により得られた不特定音響モデルとを用いて、前記認識対象の音声データが通った第１の音環境の種類を識別する識別部とを備えることを特徴とする音環境認識装置。
  9. 　前記第１の音環境は話者であり、前記第２の音環境は伝送チャネルであることを特徴とする請求項８に記載の音環境認識装置。
  10. 　複数の種類を有し、前記種類が異なることにより音声に変動が生じる第１の音環境のいずれか１種と、複数の種類を有し、前記種類が異なることにより音声に変動が生じる第２の音環境のいずれか１種とを介して取得されたサンプル音声データを用いて、前記第１の音環境の種類毎に、該種類の前記第１の音環境が音声に生じさせる変動を示す第１の変動モデルを規定するパラメータを推定する第１の変動モデル学習工程と、
    　前記複数のサンプル音声データを用いて、前記第２の音環境の種類毎に、該種類の前記第２の音環境が音声に生じさせる変動を示す第２の変動モデルを規定するパラメータを推定する第２の変動モデル学習工程と、
    　前記複数のサンプル音声データを用いて、前記第１の音環境の種類と前記第２の音環境の種類のいずれにも特定しない不特定音響モデルを規定するパラメータを推定する不特定音響モデル学習工程とを備え、
    　各前記音響モデル学習工程は、前記第１の変動モデルの前記サンプル音声データへの適合度と、前記第２の変動モデルの前記サンプル音声データへの適合度と、前記不特定音響モデルの前記サンプル音声データへの適合度を統合した統合適応度が最も高くなるように、それぞれのパラメータを推定することを特徴とする音響モデル学習方法。
  11. 　各前記音響モデル学習工程は、前記第１の変動モデルと前記第２の変動モデルと前記不特定音響モデルのパラメータにより表わされる、前記サンプル音声データが観測される確率を前記統合適合度として用いることを特徴とする請求項９に記載の音響モデル学習方法。
  12. 　複数の種類を有し、前記種類が異なることにより音声に変動が生じる第１の音環境のいずれか１種と、複数の種類を有し、前記種類が異なることにより音声に変動が生じる第２の音環境のいずれか１種とを介して取得されたサンプル音声データを用いて、前記第１の音環境の種類毎に、該種類の前記第１の音環境が音声に生じさせる変動を示す第１の変動モデルを規定するパラメータを推定する第１の変動モデル学習ステップと、
    　前記複数のサンプル音声データを用いて、前記第２の音環境の種類毎に、該種類の前記第２の音環境が音声に生じさせる変動を示す第２の変動モデルを規定するパラメータを推定する第２の変動モデル学習ステップと、
    　前記複数のサンプル音声データを用いて、前記第１の音環境の種類と前記第２の音環境の種類のいずれにも特定しない不特定音響モデルを規定するパラメータを推定する不特定音響モデル学習ステップとをコンピュータに実行せしめるプログラムを記録したコンピュータ読取可能な記録媒体であって、
    　各前記音響モデル学習ステップは、前記第１の変動モデルの前記サンプル音声データへの適合度と、前記第２の変動モデルの前記サンプル音声データへの適合度と、前記不特定音響モデルの前記サンプル音声データへの適合度を統合した統合適応度が最も高くなるように、それぞれのパラメータを推定することを特徴とする記録媒体。
  13. 　各前記音響モデル学習ステップは、前記第１の変動モデルと前記第２の変動モデルと前記不特定音響モデルのパラメータにより表わされる、前記サンプル音声データが観測される確率を前記統合適合度として用いることを特徴とする請求項１２に記載の記録媒体。
PCT/JP2009/052193 2008-04-30 2009-02-10 音響モデル学習装置および音声認識装置 WO2009133719A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010510052A JP5423670B2 (ja) 2008-04-30 2009-02-10 音響モデル学習装置および音声認識装置
US12/921,062 US8751227B2 (en) 2008-04-30 2009-02-10 Acoustic model learning device and speech recognition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008118662 2008-04-30
JP2008-118662 2008-04-30

Publications (1)

Publication Number Publication Date
WO2009133719A1 true WO2009133719A1 (ja) 2009-11-05

Family

ID=41254942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/052193 WO2009133719A1 (ja) 2008-04-30 2009-02-10 音響モデル学習装置および音声認識装置

Country Status (3)

Country Link
US (1) US8751227B2 (ja)
JP (1) JP5423670B2 (ja)
WO (1) WO2009133719A1 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8819554B2 (en) * 2008-12-23 2014-08-26 At&T Intellectual Property I, L.P. System and method for playing media
US9098467B1 (en) * 2012-12-19 2015-08-04 Rawles Llc Accepting voice commands based on user identity
US9818427B2 (en) * 2015-12-22 2017-11-14 Intel Corporation Automatic self-utterance removal from multimedia files
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10531157B1 (en) * 2017-09-21 2020-01-07 Amazon Technologies, Inc. Presentation and management of audio and visual content across devices
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10600408B1 (en) * 2018-03-23 2020-03-24 Amazon Technologies, Inc. Content output management based on speech quality
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11741398B2 (en) 2018-08-03 2023-08-29 Samsung Electronics Co., Ltd. Multi-layered machine learning system to support ensemble learning
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11315553B2 (en) * 2018-09-20 2022-04-26 Samsung Electronics Co., Ltd. Electronic device and method for providing or obtaining data for training thereof
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11094319B2 (en) 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
US11328722B2 (en) * 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11308962B2 (en) * 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN115171654B (zh) * 2022-06-24 2024-07-19 中国电子科技集团公司第二十九研究所 一种改进的基于总变化量因子的语种识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175678A (ja) * 1992-07-30 1994-06-24 Nec Corp 音声認識装置
JP2002091485A (ja) * 2000-09-18 2002-03-27 Pioneer Electronic Corp 音声認識システム
JP2003099082A (ja) * 2001-09-21 2003-04-04 Nec Corp 音声標準パタン学習装置、方法および音声標準パタン学習プログラムを記録した記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9706174D0 (en) * 1997-03-25 1997-11-19 Secr Defence Recognition system
US6230122B1 (en) * 1998-09-09 2001-05-08 Sony Corporation Speech detection with noise suppression based on principal components analysis
US6134524A (en) * 1997-10-24 2000-10-17 Nortel Networks Corporation Method and apparatus to detect and delimit foreground speech
US6980952B1 (en) * 1998-08-15 2005-12-27 Texas Instruments Incorporated Source normalization training for HMM modeling of speech
US6173258B1 (en) * 1998-09-09 2001-01-09 Sony Corporation Method for reducing noise distortions in a speech recognition system
US6826528B1 (en) * 1998-09-09 2004-11-30 Sony Corporation Weighted frequency-channel background noise suppressor
US6233556B1 (en) * 1998-12-16 2001-05-15 Nuance Communications Voice processing and verification system
US6766295B1 (en) * 1999-05-10 2004-07-20 Nuance Communications Adaptation of a speech recognition system across multiple remote sessions with a speaker
US7451085B2 (en) * 2000-10-13 2008-11-11 At&T Intellectual Property Ii, L.P. System and method for providing a compensated speech recognition model for speech recognition
US6999926B2 (en) * 2000-11-16 2006-02-14 International Business Machines Corporation Unsupervised incremental adaptation using maximum likelihood spectral transformation
US6915259B2 (en) * 2001-05-24 2005-07-05 Matsushita Electric Industrial Co., Ltd. Speaker and environment adaptation based on linear separation of variability sources
US6778957B2 (en) * 2001-08-21 2004-08-17 International Business Machines Corporation Method and apparatus for handset detection
US6934364B1 (en) * 2002-02-28 2005-08-23 Hewlett-Packard Development Company, L.P. Handset identifier using support vector machines

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175678A (ja) * 1992-07-30 1994-06-24 Nec Corp 音声認識装置
JP2002091485A (ja) * 2000-09-18 2002-03-27 Pioneer Electronic Corp 音声認識システム
JP2003099082A (ja) * 2001-09-21 2003-04-04 Nec Corp 音声標準パタン学習装置、方法および音声標準パタン学習プログラムを記録した記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YOSHIKAZU YAMAGUCHI ET AL.: "Taylor Tenkai ni yoru Onkyo Model no Tekio", IEICE TECHNICAL REPORT, vol. 96, no. 422, 13 December 1996 (1996-12-13), pages 1 - 8 *
YUYA AKITA ET AL.: "Hanashi Kotoba Onsei Ninshiki no Tameno Han'yoteki na Tokeiteki Hatsuon Hendo Model", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS D-II, vol. J88-D-II, no. 9, 1 September 2005 (2005-09-01), pages 1780 - 1789 *

Also Published As

Publication number Publication date
US20110046952A1 (en) 2011-02-24
US8751227B2 (en) 2014-06-10
JPWO2009133719A1 (ja) 2011-08-25
JP5423670B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
JP5423670B2 (ja) 音響モデル学習装置および音声認識装置
US8566093B2 (en) Intersession variability compensation for automatic extraction of information from voice
US11264044B2 (en) Acoustic model training method, speech recognition method, acoustic model training apparatus, speech recognition apparatus, acoustic model training program, and speech recognition program
Li et al. An overview of noise-robust automatic speech recognition
EP2189976B1 (en) Method for adapting a codebook for speech recognition
JP2005062866A (ja) コンパクトな音響モデルを作成するためのバブル分割方法
US20070260455A1 (en) Feature-vector compensating apparatus, feature-vector compensating method, and computer program product
JPH0850499A (ja) 信号識別方法
US20110257976A1 (en) Robust Speech Recognition
KR102406512B1 (ko) 음성인식 방법 및 그 장치
CN111696522B (zh) 基于hmm和dnn的藏语语音识别方法
JP6499095B2 (ja) 信号処理方法、信号処理装置及び信号処理プログラム
Lu et al. Probabilistic linear discriminant analysis for acoustic modeling
JP5881454B2 (ja) 音源ごとに信号のスペクトル形状特徴量を推定する装置、方法、目的信号のスペクトル特徴量を推定する装置、方法、プログラム
JP2020060757A (ja) 話者認識装置、話者認識方法、及び、プログラム
KR19990083632A (ko) 최대가능성방법을포함한고유음성에기초한스피커및환경적응방법
Das et al. Deep Auto-Encoder Based Multi-Task Learning Using Probabilistic Transcriptions.
CN102237082A (zh) 语音识别系统的自适应方法
Wu et al. An environment-compensated minimum classification error training approach based on stochastic vector mapping
Harvianto et al. Analysis and voice recognition In Indonesian language using MFCC and SVM method
Yuliani et al. Feature transformations for robust speech recognition in reverberant conditions
JP2000259198A (ja) パターン認識装置および方法、並びに提供媒体
JP4004368B2 (ja) 音声認識システム
Long et al. Offline to online speaker adaptation for real-time deep neural network based LVCSR systems
Kumar Feature normalisation for robust speech recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09738656

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12921062

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010510052

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09738656

Country of ref document: EP

Kind code of ref document: A1