WO2018051841A1 - モデル学習装置、その方法、及びプログラム - Google Patents

モデル学習装置、その方法、及びプログラム Download PDF

Info

Publication number
WO2018051841A1
WO2018051841A1 PCT/JP2017/031909 JP2017031909W WO2018051841A1 WO 2018051841 A1 WO2018051841 A1 WO 2018051841A1 JP 2017031909 W JP2017031909 W JP 2017031909W WO 2018051841 A1 WO2018051841 A1 WO 2018051841A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
output probability
probability distribution
output
unit
Prior art date
Application number
PCT/JP2017/031909
Other languages
English (en)
French (fr)
Inventor
浩和 政瀧
太一 浅見
中村　孝
亮 増村
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US16/333,156 priority Critical patent/US11081105B2/en
Priority to JP2018539639A priority patent/JP6712642B2/ja
Publication of WO2018051841A1 publication Critical patent/WO2018051841A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting

Definitions

  • the present invention relates to a model learning apparatus, a method, and a program for learning a neural model.
  • Non-Patent Document 1 is known as a prior art of an acoustic model learning method.
  • FIG. 1 shows a general neural network learning method (hereinafter also referred to as prior art 1).
  • a method of learning a neural network type acoustic model for speech recognition (hereinafter simply referred to as “acoustic model”) using this learning method is described in the section “TRAINING DEEP NEURAL NETWORKS” of Non-Patent Document 1. .
  • the output probability distribution calculation unit 81 inputs the feature quantity Q of the learning data to the current model (acoustic model being learned), and calculates the output probability distribution in which the output probabilities p (j) of each unit j in the output layer are arranged. To do.
  • Model updating unit 82 a loss function C from the distribution of the correct unit number j L and the output probability p (j) is calculated and update the model to reduce the value of the loss function C.
  • the above output probability calculation and model update processing were repeated for each pair of learning data feature Q and correct unit number j L , and the predetermined number of times (usually tens of millions to hundreds of millions) was completed. Use the current model as a trained acoustic model.
  • Non-Patent Document 2 (hereinafter also referred to as Prior Art 2) describes a method for transferring knowledge already possessed by a learned neural network to a newly learned neural network (hereinafter also referred to as transfer learning). .
  • transfer learning a newly learned neural network
  • a teacher model that is a learned neural network is prepared in advance.
  • This prior art 2 differs from the prior art 1 in that it has a teacher output probability distribution calculation unit 91 and that the model update unit 82 is replaced with a modified model update unit 92.
  • the teacher output probability distribution calculation unit 91 inputs the feature quantity Q of the learning data to the teacher model, and distributes the output probability p 1 (j) in which the probabilities of the units j of the output layer are arranged (hereinafter simply referred to as teacher output probability distribution). (Also called).
  • the temperature T is introduced into the calculation formula for obtaining the teacher output probability distribution, which is different from the prior art 1.
  • the temperature T is a real value parameter larger than 0 set in advance.
  • the modified model update unit 92 is obtained by replacing the loss function C of the model update unit 82 (see FIG. 1) with the following loss function C ′.
  • This loss function C ′ includes the loss function C (first term) of the original model updating unit 82 and the cross entropy (second term) of the distribution of the output probability q j of the teacher model and the distribution of the output probability p j of the student model. ).
  • the weight ⁇ is a parameter of 0 to 1 that is set in advance.
  • the huge model means a model having a large number of intermediate layers in the neural network and a large number of units in each intermediate layer.
  • the language model is a model that represents the transition probability from the previous word string to the next word for a word registered in the dictionary.
  • Non-Patent Document 3 A general neural network learning method is shown in FIG.
  • the initial model a neural network in which a random number is usually assigned to each parameter, or a neural network that has already been learned with different learning data can be used.
  • the word vocabulary used for input / output is associated with each unit constituting the input layer / output layer (one unit corresponds to one word). For example, each output word is actually represented by a unit number j corresponding to each word.
  • the output probability distribution calculation unit 81 sequentially inputs words constituting the word history h of the learning data to the current model, and calculates an output probability distribution in which the output probabilities p (j) of each unit j in the output layer are arranged.
  • the word history is a history (word string) of words that appear immediately before a word when an attempt is made to recognize the word.
  • An appropriate corpus (a collection of text data) according to the use of the language model may be used as learning data. For example, in the case of a language model used for speech recognition, a corpus obtained by collecting text data corresponding to speech may be used as learning data.
  • the learning data includes a word history (a word string obtained from text data) and a word (next word) that actually appears next to the word history, and this next word is the correct word w t corresponding to the word history h.
  • the model updating unit 82 calculates the loss function C from the output layer unit number j L corresponding to the correct word w t and the distribution of the output probability p (j), and the model is updated so as to decrease the value of the loss function C. Update.
  • the above output probability calculation and model update processing are repeated for each pair of word history h and correct word w t in the learning data, and the model at the time when the predetermined number of repetitions is completed is used as the learned language model.
  • the huge model means a model having a large number of intermediate layers in the neural network and a large number of units in each intermediate layer.
  • processing is performed as follows. The point that the pair of the word history h and the correct word w t and the initial model (described as “student model” for convenience in FIG. 2) are prepared in advance are the same as in the prior art 1.
  • a teacher model that is a learned neural network is prepared in advance.
  • This prior art 2 differs from the prior art 1 in that it has a teacher output probability distribution calculation unit 91 and that the model update unit 82 is replaced with a modified model update unit 92.
  • a teacher output probability distribution calculation unit 91 inputs a word history h of learning data to a teacher model and outputs a distribution of output probabilities p 1 (j) obtained by arranging the probabilities of units j in the output layer (hereinafter simply referred to as teacher output probability distribution). (Also called).
  • the temperature T is introduced into the calculation formula for obtaining the teacher output probability distribution, which is different from the prior art 1.
  • the temperature T is a real value parameter larger than 0 set in advance.
  • the modified model update unit 92 is obtained by replacing the loss function C of the model update unit 82 (see FIG. 1) with the following loss function C ′.
  • This loss function C ′ includes the loss function C (first term) of the original model updating unit 82 and the cross entropy (second term) of the distribution of the output probability q j of the teacher model and the distribution of the output probability p j of the student model. ).
  • the weight ⁇ is a parameter of 0 to 1 that is set in advance.
  • Over-learning is a phenomenon in which learning data can be recognized with very high accuracy, but data that is not included in the learning data (input from the user during actual speech recognition service operation) cannot be recognized at all.
  • a huge teacher model (intermediate model) is generated with respect to the generated neural network model (for example, an acoustic model or a language model). It is necessary to prepare a model with a large number of layers and a large number of units in each intermediate layer and high accuracy but slow calculation time. Moreover, since the calculation time is long, the learning cost for preparing the teacher model becomes high. Moreover, among the learning data, data that cannot be recognized correctly by the teacher model adversely affects learning. Since a teacher model with a slow calculation time is used, it takes time to generate a neural network model.
  • the present invention provides a model learning apparatus, method, and program capable of creating a highly accurate neural network model in a short time without requiring overlearning from a small amount of learning data, without requiring a teacher model as large as in the prior art 2.
  • the purpose is to provide.
  • a model learning device uses a learned neural network having a structure similar to that of the first model, using parameters of the first model including the neural network.
  • the first output probability including the distribution of the output probability of each unit in the output layer using the initial value setting unit for setting the parameters of the second model including, the feature amount obtained from the learning data and the first model
  • the first output probability distribution calculator that calculates the distribution, the feature value obtained from the learning data, and the second model, calculate the second output probability distribution including the output probability distribution of each unit in the output layer.
  • a model learning device uses a learned parameter of a first acoustic model including a neural network, and has the same structure as the first acoustic model.
  • the output probability distribution of the output probability of each unit in the output layer is calculated using the first output probability distribution calculation unit that calculates the first output probability distribution including the feature amount obtained from the acoustic signal for learning and the second acoustic model.
  • a second output probability distribution calculating unit that calculates a second output probability distribution, a correct unit number corresponding to the acoustic signal for learning, and a second output probability distribution to calculate a second loss function
  • a modified model update unit that calculates the cross-entropy between the first output probability distribution and the second output probability distribution, obtains a weighted sum of the second loss function and the cross-entropy, and updates the parameters of the second acoustic model so that the weighted sum decreases.
  • each unit of the output layer Using the initial value setting unit for setting the parameters of the second language model including the neural network, the word history that is the word string obtained from the text data for learning and the first language model, each unit of the output layer Using the first output probability distribution calculation unit that calculates the first output probability distribution including the output probability distribution, the word history that is the word string obtained from the text data for learning, and the second language model, the output layer A second output probability distribution calculation unit for calculating a second output probability distribution including the output probability distribution of each unit, a correct word corresponding to the word history for learning, and a second output probability distribution Calculating the loss function, calculating the cross-entropy between the first output probability distribution and the second output probability distribution, obtaining the weighted sum of the second loss function and the cross-entropy, and so that the weighted sum decreases. And a modified model update unit that updates parameters of the language model.
  • a model learning method uses a learned first-model parameter including a neural network and has a structure similar to that of the first model.
  • a second output probability distribution calculating step a second loss function is calculated from the second output probability distribution and the information about the correct answer corresponding to the learning data, and the first output probability distribution Calculate the cross entropy of the output probability distribution, it obtains a weighted sum of the second loss function and cross entropy, and a modified model updating step the weighted sum to update the parameters of the second model to reduce.
  • the point of this embodiment is to avoid the problem of over-learning that occurs when learning data is small by transferring knowledge from an acoustic model (for example, DNN acoustic model) that has already been learned with different learning data.
  • an acoustic model for example, DNN acoustic model
  • the teacher model and the student model have a neural network having the same structure.
  • the same neural network structure means that, for example, the number of layers, the number of units, the activation function, and other parameters necessary according to the type of NN to be used are common.
  • an acoustic model that has already been learned with different learning data is used as a teacher model, and the initial value of the student model is used as a copy of the teacher model.
  • the teacher model learns knowledge that can be recognized correctly without learning a huge teacher model as in the prior art, and at the same time recognizes data that is not included in the learning data. Can be obtained from
  • FIG. 3 is a functional block diagram of the model learning apparatus according to the first embodiment, and FIG. 4 shows the processing flow.
  • the model learning device 100 includes an output probability distribution calculation unit 101, a modified model update unit 102, a teacher output probability distribution calculation unit 103, and an initial value setting unit 104.
  • the main difference from the prior art 2 is that an initial value setting unit 104 is added, and accordingly, the base acoustic model (teacher model) and the acoustic model (student model) are limited to neural networks having the same structure. It is.
  • Output probability distribution calculation unit 101 Input: Feature Q for learning, student model (student model during learning or initial model of student model) Output: Output probability distribution (distribution of output probability p 2 (j))
  • the output probability distribution calculation unit 101 calculates the output probability distribution including the distribution of the output probability p 2 (j) of each unit in the output layer, using the feature value Q obtained from the learning acoustic signal and the student model. (S2). Any existing technique may be used as a method for calculating the output probability p 2 (j), and an optimum method may be selected as appropriate in accordance with the usage environment. For example, it can be obtained by the method of Prior Art 1. In that case, first, the feature quantity Q is input to the student model, and the logit x j of the unit j of the output layer is obtained (see the following formula). It is.
  • logistic () represents the logistic function
  • b j is the bias of unit j
  • i represents the index of the unit in the lower hierarchy
  • m ij is the weight for the connection from unit i to unit j in the lower hierarchy Represents.
  • the learning feature quantity Q is used when obtaining the input of the unit j of the input layer, and the student model includes b j , m ij, and the like.
  • the model learning device 100 may include a time domain learning acoustic signal as an input, and may include a frequency domain conversion unit, a feature amount extraction unit, and the like (not shown).
  • a frequency domain conversion unit (not shown) converts an acoustic signal for time domain learning into a frequency domain signal and outputs it.
  • a feature amount extraction unit (not shown) extracts a learning feature amount Q from a time-domain or frequency-domain learning acoustic signal and outputs it to the output probability distribution calculation unit 101.
  • the feature amount for example, a fundamental frequency, power, duration, formant frequency, spectrum, mel frequency cepstrum coefficient (MFCC), etc. can be considered.
  • the teacher output probability distribution calculation unit 103 uses the feature value Q obtained from the acoustic signal for learning, the teacher model, and the temperature T to output the output probability including the distribution of the output probability p 1 (j) of each unit in the output layer. Distribution is calculated (S3). Any existing technique may be used as a method for calculating the output probability p 1 (j), and an optimal one may be selected as appropriate in accordance with the usage environment. For example, it can be obtained by the method of Prior Art 2. In that case, the output probability p 1 (j) is expressed by the following equation.
  • the calculation method of logit x j is the same as that of the output probability distribution calculation unit 101, but the teacher output probability distribution calculation unit 103 uses a teacher model instead of a student model.
  • the temperature T is a preset real-valued parameter greater than 0, and the larger the T is set, the closer the distribution of the output probability p 1 (j) becomes to a uniform distribution (no information). The degree of influence on model update is reduced.
  • the temperature T is also referred to as a smoothing parameter T.
  • ⁇ Modified model update unit 102> Input: Initial model, output probability distribution with output probability p 1 (j), output probability distribution with output probability p 2 (j), correct unit number j L , weight ⁇
  • the modified model update unit 102 calculates the loss function C 2 from the correct unit number j L corresponding to the learning acoustic signal (corresponding to the learning feature) and the output probability p 2 (j) (formula ( See 6)). However, d j is 1 when j and correct unit number j L match, and 0 when it does not match.
  • the modified model update unit 102 cross-entropy C 1 (output probability p 1 (j) and output probability between the output probability distribution of output probability p 1 (j) and the output probability distribution of output probability p 2 (j).
  • p 2 (j) sum of logarithmic products is calculated (see equation (7)).
  • the modified model update unit 102 obtains a weighted sum C of the loss function C 2 and the cross entropy C 1 (see Expression (8)).
  • C (1- ⁇ ) C 2 + ⁇ C 1 (8)
  • the weight ⁇ is a parameter set in advance from 0 to 1 in advance.
  • the modified model update unit 102 updates the parameters of the student model so that the weighted sum C decreases (S4).
  • the predetermined condition for example, (i) when the number of repetitions exceeds a certain number (for example, tens of millions to hundreds of millions), (ii) when the update amount becomes smaller than a predetermined value, for example, (ii -a) When the sum of the update amounts of all parameters is smaller than the predetermined value, (ii-b) All or some of the update amounts of each parameter are smaller than the set predetermined values. When it becomes, etc. can be considered.
  • ⁇ Effect> By using the acoustic model created in the present embodiment, it is possible to perform speech recognition with higher accuracy than in the prior art, and the convenience for the speech recognition system user is improved. In addition, since it is possible to create an acoustic model with less learning data than in the prior art, the amount of learning data required when developing a speech recognition system can be reduced, and the time required for learning an acoustic model can be shortened. can do. Thereby, the learning data creation cost and acoustic model creation cost at the time of speech recognition system development can be reduced.
  • the teacher output probability distribution calculation unit 103 receives the temperature T, but the temperature T is not necessarily used. For example, it can be obtained by the method of the prior art 1 without using the temperature T. However, the teacher output probability distribution calculation unit 103 uses a teacher model instead of a student model when obtaining x j .
  • Points of this embodiment by considering the correct unit number j L teacher output probability calculation unit, to reduce the error in question teacher model is that to create more accurate acoustic model. Specifically, detecting an error of the teacher model by collating the correct unit number j L teacher output probability distribution, it raises the temperature T if incorrect. Thereby, it is possible to suppress the influence of an error in the teacher model being transferred to the student model.
  • FIG. 5 is a functional block diagram of the model learning apparatus according to the second embodiment, and FIG. 6 shows the processing flow.
  • the model learning apparatus 200 includes an output probability distribution calculation unit 101, a modified model update unit 102, a teacher output probability distribution calculation unit with temperature adjustment 203, and an initial value setting unit 104.
  • the main difference from the first embodiment is that the teacher output probability distribution calculation unit 103 is replaced with a temperature adjusted teacher output probability distribution calculation unit 203.
  • ⁇ Teacher output probability distribution calculation unit 203 with temperature adjustment> Input: Feature Q, teacher model, correct unit number j L , temperature T, temperature adjustment range ⁇ T Output: Output probability distribution (distribution of output probability p 1 (j)) processing:
  • the teacher output probability distribution calculation unit 203 uses the feature quantity Q obtained from the learning acoustic signal, the teacher model, the temperature T, and the temperature adjustment width ⁇ T to calculate the output probability p 1 (j) of each unit in the output layer. An output probability distribution including the distribution is calculated (S13).
  • the teacher output probability distribution calculation unit 203 inputs the input feature quantity Q into the teacher model, and calculates the logit x j in Expression (2).
  • the teacher output probability distribution calculation unit 203 identifies the output unit number K having the largest logit x j value.
  • the teacher output probability distribution calculating unit 203 determines whether K is equal to the correct answer unit number j L. If K is equal to the correct answer unit number j L is the temperature T directly used to calculate the distribution of the output probability p 1 (j) by the following equation (12), and outputs. If K is different from the correct unit number j L is the distribution of the output probability p 1 (j) by the following equation (12) in terms of replacing the temperature T to T + [Delta] T is calculated and output.
  • the distribution of the output probability p 1 (j) and the correct unit number j L are collated. detecting an error of the teacher model increases the probability of a unit corresponding to the correct answer unit number j L when wrong. Thereby, it is possible to suppress the influence of an error in the teacher model being transferred to the student model.
  • FIG. 7 is a functional block diagram of the model learning apparatus according to the second embodiment, and FIG. 8 shows the processing flow.
  • the model learning apparatus 300 includes an output probability distribution calculation unit 101, a modified model update unit 102, a teacher output probability distribution calculation unit 203 with temperature adjustment, an initial value setting unit 104, and a teacher output probability distribution correction unit 301.
  • the main difference from the second embodiment is that a teacher output probability distribution correction unit 301 is added.
  • a configuration in which the teacher output probability distribution calculation unit 203 with temperature adjustment is replaced with the teacher output probability distribution calculation unit 103 (not using the idea of the second embodiment) is also possible.
  • the teacher output probability distribution correction unit 301 corrects the distribution of the output probability p 1 (j) using the correct unit number j L to obtain the corrected output probability p 3 (j) distribution.
  • Teacher output probability distribution correction unit 301 refers to the distribution of the output probability p 1 (j), the output probability p 1 (j) to identify the output unit number K of the maximum. Since K is the same value as K obtained in the teacher output probability distribution calculation unit 203 with temperature adjustment, the teacher output probability distribution calculation unit 203 with temperature adjustment outputs K, and the teacher output probability distribution correction unit 301 May be input. However, in the case where the teacher output probability distribution calculation unit 203 with temperature adjustment is replaced with the teacher output probability distribution calculation unit 103, the output unit that maximizes the output probability p 1 (j) in equation (21) or the like It is necessary to specify the number K.
  • the teacher output probability distribution correction unit 301 determines whether K is equal to the correct answer unit number j L. K is the equal to the correct unit number j L, and outputs the distribution of the output probability p 1 (j) as it is as a distribution of output probability p 3 after correction (j).
  • K is different from the correct unit number j L, of the distribution of the output probability p 1 (j), K th output of the output probability p 1 (K) and the output unit corresponding to the correct answer unit number j L output unit
  • a distribution of output probabilities with the probabilities p 1 (j L ) replaced is created as a distribution of corrected output probabilities p 3 (j) and output.
  • a language model that has already been learned with another learning data is used as a teacher model, and the initial value of the student model is copied to the data of the teacher model.
  • the teacher can learn knowledge that can recognize the learning data correctly without simultaneously requiring a teacher model as large as that of the prior art 2, and at the same time, can recognize the data well recognized in the learning data. Can be derived from the model.
  • FIG. 3 is a functional block diagram of the model learning apparatus according to the fourth embodiment, and FIG. 4 shows its processing flow.
  • a language model for example, an RNN language model
  • an acoustic model for example, a DNN acoustic model
  • the model learning device 100 includes an output probability distribution calculation unit 101, a modified model update unit 102, a teacher output probability distribution calculation unit 103, and an initial value setting unit 104.
  • the main difference from the first embodiment is that the language model is learned instead of the acoustic model, and based on this point, the word history h is input instead of the feature quantity Q, and the correct unit number j L is set. Instead, the correct word w t is input.
  • ⁇ Initial value setting unit 104> Input: Teacher model Output: Initial model of student model Processing: Language including a neural network with the same structure as the language model (teacher model) using the parameters of the learned language model including the neural network (teacher model) The parameters of the model (student model) are set (S1). For example, a model in which parameters of the input teacher model are copied is created and output as an initial model of the student model. This process is performed only once at the start of learning. While the prior art 2 assumes a huge model as a teacher model and a small model as a student model, the teacher model and the student model of the present embodiment have exactly the same structure. By the processing of the initial value setting unit 104, it becomes possible to learn a highly accurate language model with less learning data than in the conventional technique 1.
  • Output probability distribution calculation unit 101 Input: Word history for learning h, student model (student model being studied, or initial model of student model) Output: Output probability distribution (distribution of output probability p 2 (j))
  • the output probability distribution calculation unit 101 calculates the output probability distribution including the distribution of the output probability p 2 (j) of each unit of the output layer using the learning word history h and the student model (S2). Any existing technique may be used as a method for calculating the output probability p 2 (j), and an optimum method may be selected as appropriate in accordance with the usage environment. For example, it can be obtained by the method of Prior Art 1. In that case, first, the word history h is input to the student model, and the logit x j of the unit j of the output layer is obtained (see the following formula). It is.
  • logistic () represents the logistic function
  • b j is the bias of unit j
  • i represents the index of the unit in the lower hierarchy
  • m ij is the weight for the connection from unit i to unit j in the lower hierarchy Represents.
  • the learning word history h is used when obtaining the input of the unit j of the input layer, and the student model includes b j , m ij, and the like.
  • the teacher output probability distribution calculation unit 103 uses the learning word history h, the teacher model, and the temperature T to calculate an output probability distribution including the distribution of the output probability p 1 (j) of each unit in the output layer ( S3). Any existing technique may be used as a method for calculating the output probability p 1 (j), and an optimal one may be selected as appropriate in accordance with the usage environment. For example, it can be obtained by the method of Prior Art 2. In that case, the output probability p 1 (j) is expressed by the following equation.
  • the calculation method of logit x j is the same as that of the output probability distribution calculation unit 101, but the teacher output probability distribution calculation unit 103 uses a teacher model instead of a student model.
  • the temperature T is a preset real-valued parameter greater than 0, and the larger the T is set, the closer the distribution of the output probability p 1 (j) becomes to a uniform distribution (no information). The degree of influence on model update is reduced.
  • the temperature T is also referred to as a smoothing parameter T.
  • the modified model update unit 102 calculates the loss function C 2 from the unit number j L corresponding to the correct word w t corresponding to the learning word history h and the output probability p 2 (j) (see equation (6)). ). However, d j is 1 when j and the unit number j L corresponding to the correct word w t match, and 0 when it does not match.
  • the modified model update unit 102 cross-entropy C 1 (output probability p 1 (j) and output probability between the output probability distribution of output probability p 1 (j) and the output probability distribution of output probability p 2 (j).
  • p 2 (j) sum of logarithmic products is calculated (see equation (7)).
  • the modified model update unit 102 obtains a weighted sum C of the loss function C 2 and the cross entropy C 1 (see Expression (8)).
  • C (1- ⁇ ) C 2 + ⁇ C 1 (8)
  • the weight ⁇ is a parameter set in advance from 0 to 1 in advance.
  • the modified model update unit 102 updates the parameters of the student model so that the weighted sum C decreases (S4).
  • the predetermined condition for example, (i) when the number of repetitions exceeds a certain number (for example, tens of millions to hundreds of millions), (ii) when the update amount becomes smaller than a predetermined value, for example, (ii -a) When the sum of the update amounts of all parameters is smaller than the predetermined value, (ii-b) All or some of the update amounts of each parameter are smaller than the set predetermined values. When it becomes, etc. can be considered.
  • ⁇ Effect> By using the language model created in the present embodiment, it is possible to construct a language model with higher accuracy than the prior art. For example, when a language model is used for speech recognition, speech recognition can be performed with higher accuracy than in the prior art, and convenience for speech recognition system users is improved. In addition, since it becomes possible to create a language model with less learning data than in the prior art, the amount of learning data required for developing a speech recognition system can be reduced, and the time required for learning a language model can be shortened. can do. Thereby, the learning data creation cost and language model creation cost at the time of speech recognition system development can be reduced.
  • the teacher output probability distribution calculation unit 103 receives the temperature T, but the temperature T is not necessarily used. For example, it can be obtained by the method of the prior art 1 without using the temperature T.
  • the teacher output probability distribution calculation unit 103 uses a teacher model instead of a student model when obtaining x j . You may combine this embodiment and 2nd embodiment or 3rd embodiment.
  • the language model may be learned using the word history instead of the feature amount and the correct word instead of the correct unit number.
  • the modified model update unit as shown in Reference 1 is included. (Reference 1) T. Mikolov, S. Kombrink1, L. Burget, J. H.
  • the modified model update unit calculates the cross entropy separately for the word and the class, and updates the parameters so that each loss function decreases.
  • a class RNN language model for the purpose of reducing the amount of calculation from the normal RNN language model (see FIG. 9) is often used (see FIG. 10).
  • h) from the past word history h to the next word w t is directly given by the unit of the output layer 73.
  • the number of units of the input layer 71 and the output layer 73 (word output layer) corresponds to the vocabulary size.
  • FIG. 11 is a functional block diagram of the model learning apparatus according to the fifth embodiment, and FIG. 12 shows the processing flow.
  • the model learning apparatus 500 includes an output probability distribution calculation unit 101, a class output probability distribution calculation unit 501, a modified model update unit 502, a teacher output probability distribution calculation unit 103, a teacher class output probability distribution calculation unit 503, and an initial value setting unit 504. including.
  • the main difference from the fourth embodiment is that a class RNN language model is used instead of the RNN language model.
  • the processes (S2, S3) in the output probability distribution calculation unit 101 and the teacher output probability distribution calculation unit 103 are the same as those in the fourth embodiment.
  • the class output probability distribution calculation unit 501 calculates the class output probability distribution including the distribution of the class output probability p C, 2 (m) of each unit of the class output layer, using the learning word history h and the student model. (S52). Any existing technique may be used as a method for calculating the class output probability p C, 2 (m), and an optimal method may be selected as appropriate in accordance with the use environment. For example, it can be determined by the method of Reference Document 1.
  • the class output probability p C, 2 (m) corresponds to the probability P (c t
  • the teacher class output probability distribution calculation unit 503 uses the learning word history h, the teacher model, and the temperature T to output a class output including the distribution of the class output probability p C, 1 (m) of each unit in the class output layer.
  • a probability distribution is calculated (S53). Any existing technique may be used as the method of calculating the class output probability p C, 1 (m), and an optimal one may be selected as appropriate in accordance with the use environment. For example, it can be determined by the method of Reference Document 1.
  • the class output probability p C, 1 (m) corresponds to the probability P (c t
  • the output probability p 1 (j ) Corresponds to the output probability P (w t
  • Output Learning language model (student model) or learned language model
  • the modified model update unit 502 calculates the cross entropy CW1 of the word output layer in the teacher model from the output probability distribution of the output probability p 1 (j), and the class in the teacher model from the output probability distribution of the class output probability p C, 1 (m).
  • Class entropy CC2 of class output layer is obtained independently. Further, the modified model update unit 502 uses the coefficient ⁇ to obtain the cross entropy of the teacher model and the student model for each of the word output layer and the class output layer according to the following equations.
  • the modified model update unit 502 updates the student model parameters so that the cross entropy values CC and CW decrease (S54). Until the predetermined condition is satisfied, the above-described S2, S3, S52, S53, and S54 are repeated (S55). If the predetermined condition is satisfied, the student model at that time is output as a learned language model.
  • the teacher T output probability distribution calculation unit 103 and the teacher class output probability distribution calculation unit 503 use the temperature T as an input, but the temperature T is not necessarily used. For example, it can be obtained by the method of the prior art 1 without using the temperature T.
  • the teacher output probability distribution calculation unit 103 and the teacher class output probability distribution calculation unit 503 use the teacher model instead of the student model when obtaining x j .
  • the DNN acoustic model is described
  • the fourth embodiment is the RNN language model
  • the fifth embodiment is the application method of the present invention to the class RNN language model.
  • the present invention uses a neural network. Any machine learning can be used.
  • FIG. 3 is a functional block diagram of the model learning apparatus according to the first modification, and FIG. 4 shows the processing flow.
  • the model learning device 100 includes an output probability distribution calculation unit 101, a modified model update unit 102, a teacher output probability distribution calculation unit 103, and an initial value setting unit 104.
  • the main difference from the prior art 2 is that an initial value setting unit 104 is added, and accordingly, the base model (teacher model) and the learning target model (student model) are limited to neural networks having the same structure. It is.
  • Output probability distribution calculation unit 101 Input: Feature Q for learning, student model (student model during learning or initial model of student model) Output: Output probability distribution (distribution of output probability p 2 (j))
  • the output probability distribution calculation unit 101 uses the feature quantity Q of the data to be processed by the learning target model for learning and the student model, and includes an output including the distribution of the output probability p 2 (j) of each unit in the output layer.
  • a probability distribution is calculated (S2). Any existing technique may be used as a method for calculating the output probability p 2 (j), and an optimum method may be selected as appropriate in accordance with the usage environment. For example, it can be obtained by the method of Prior Art 1. In that case, first, the feature quantity Q is input to the student model, and the logit x j of the unit j of the output layer is obtained (see the following formula). It is.
  • logistic () represents the logistic function
  • b j is the bias of unit j
  • i represents the index of the unit in the lower hierarchy
  • m ij is the weight for the connection from unit i to unit j in the lower hierarchy Represents.
  • the learning feature quantity Q is used when obtaining the input of the unit j of the input layer, and the student model includes b j , m ij, and the like.
  • the teacher output probability distribution calculation unit 103 uses the feature quantity Q of the data to be processed by the learning target model for learning, the teacher model, and the temperature T to calculate the output probability p 1 (j) of each unit in the output layer.
  • An output probability distribution including the distribution is calculated (S3). Any existing technique may be used as a method for calculating the output probability p 1 (j), and an optimal one may be selected as appropriate in accordance with the usage environment. For example, it can be obtained by the method of Prior Art 2. In that case, the output probability p 1 (j) is expressed by the following equation.
  • the calculation method of logit x j is the same as that of the output probability distribution calculation unit 101, but the teacher output probability distribution calculation unit 103 uses a teacher model instead of a student model.
  • the temperature T is a preset real-valued parameter greater than 0, and the larger the T is set, the closer the distribution of the output probability p 1 (j) becomes to a uniform distribution (no information). The degree of influence on model update is reduced.
  • the temperature T is also referred to as a smoothing parameter T.
  • ⁇ Modified model update unit 102> Input: Initial model, output probability distribution of output probability p 1 (j), output probability distribution of output probability p 2 (j), information on correct answer (for example, correct unit number j L ), weight ⁇
  • the modified model update unit 102 calculates a loss function C 2 from information related to the correct answer (information indicating the correct answer) corresponding to the learning data (corresponding to the learning feature value) and the output probability p 2 (j). (See Equation (6)). However, d j is a value that is 1 when j and the correct answer match, and is 0 when they do not match.
  • the modified model update unit 102 cross-entropy C 1 (output probability p 1 (j) and output probability between the output probability distribution of output probability p 1 (j) and the output probability distribution of output probability p 2 (j).
  • p 2 (j) sum of logarithmic products is calculated (see equation (7)).
  • the modified model update unit 102 obtains a weighted sum C of the loss function C 2 and the cross entropy C 1 (see Expression (8)).
  • C (1- ⁇ ) C 2 + ⁇ C 1 (8)
  • the weight ⁇ is a parameter set in advance from 0 to 1 in advance.
  • the modified model update unit 102 updates the parameters of the student model so that the weighted sum C decreases (S4).
  • the predetermined condition for example, (i) when the number of repetitions exceeds a certain number (for example, tens of millions to hundreds of millions), (ii) when the update amount becomes smaller than a predetermined value, for example, (ii -a) When the sum of the update amounts of all parameters is smaller than the predetermined value, (ii-b) All or some of the update amounts of each parameter are smaller than the set predetermined values. When it becomes, etc. can be considered.
  • the teacher output probability distribution calculation unit 103 receives the temperature T, but the temperature T is not necessarily used. For example, it can be obtained by the method of the prior art 1 without using the temperature T.
  • the teacher output probability distribution calculation unit 103 uses a teacher model instead of a student model when obtaining x j . You may combine this modification and 2nd, 3rd, 5th embodiment.
  • the learning target model is an acoustic model
  • the feature amount of data to be processed by the learning target model is an acoustic feature amount
  • information on the correct answer is a correct unit number
  • the learning target model is a language model
  • the feature amount of data to be processed by the learning target model is a word history (word string)
  • information on correct answers is correct words
  • the present invention can be applied to any neural network model that learns to reduce the loss function with respect to teacher data by an error back-propagation algorithm.
  • the present invention can also be applied to CNN (Convolutional Neural Networks). Can do.
  • this method cannot be applied to a neural network model learning method that uses no teacher data (unsupervised learning).
  • the program describing the processing contents can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.
  • this program is distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Further, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first stores a program recorded on a portable recording medium or a program transferred from a server computer in its storage unit. When executing the process, this computer reads the program stored in its own storage unit and executes the process according to the read program.
  • a computer may read a program directly from a portable recording medium and execute processing according to the program. Further, each time a program is transferred from the server computer to the computer, processing according to the received program may be executed sequentially.
  • the program is not transferred from the server computer to the computer, and the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by an execution instruction and result acquisition. It is good.
  • the program includes information provided for processing by the electronic computer and equivalent to the program (data that is not a direct command to the computer but has a property that defines the processing of the computer).
  • each device is configured by executing a predetermined program on a computer, at least a part of these processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

学習済みの、ニューラルネットワークを含む第一モデルのパラメータを用いて、第一モデルと同様の構造のニューラルネットワークを含む第二モデルのパラメータを設定する初期値設定部と、学習用の特徴量と第一モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第一出力確率分布を計算する第一出力確率分布計算部と、学習用の特徴量と第二モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第二出力確率分布を計算する第二出力確率分布計算部と、正解に関する情報と第二出力確率分布とから計算された第二損失関数と、第一出力確率分布と第二出力確率分布とのクロスエントロピーとの重み付き和を求め、重み付き和が減少するように第二モデルのパラメータを更新する修正モデル更新部とを含む。

Description

モデル学習装置、その方法、及びプログラム
　本発明は、ニューラルモデルを学習するためのモデル学習装置、その方法、及びプログラムに関する。
　ニューラルネットワークモデルの学習方法として様々な従来技術が知られている。例えば、非特許文献１は、音響モデル学習方法の従来技術として知られている。一般的なニューラルネットワークの学習方法（以下、従来技術１ともいう）を図１に示す。この学習方法を用いて、音声認識用のニューラルネットワーク型音響モデル（以下、単に「音響モデル」と書く）を学習する方法が非特許文献１の"TRAINING DEEP NEURAL NETWORKS"の節に記載されている。
　事前に学習データの各サンプルから抽出した特徴量（実数ベクトル）Qと各特徴量Qに対応する正解ユニット番号jLのペア、および適当な初期モデルを用意する。例えば、初期モデルとしては、各パラメータに乱数を割り当てたニューラルネットワークや、既に別の学習データで学習済みのニューラルネットワークなどが利用できる。出力確率分布計算部８１は、学習データの特徴量Qを現在のモデル(学習中の音響モデル)に入力して出力層の各ユニットjの出力確率p(j)を並べた出力確率分布を計算する。
　モデル更新部８２は、正解ユニット番号jLと出力確率p(j)の分布から損失関数Cを計算し、損失関数Cの値を減少させるようにモデルを更新する。学習データの特徴量Qと正解ユニット番号jLの各ペアに対して、上記の出力確率計算とモデル更新の処理を繰り返し、所定回数（通常、数千万～数億回）の繰り返しが完了した時点のモデルを学習済みの音響モデルとして利用する。
　また、既に学習済みのニューラルネットワークが持つ知識を、新たに学習するニューラルネットワークに転移する方法(以下、転移学習ともいう)が非特許文献２(以下、従来技術２ともいう)に記載されている。従来技術２の構成を図２に示す。
　事前に特徴量Qと正解ユニット番号jLのペアおよび初期モデル（図２では便宜上「生徒モデル」と記載）を用意する点は従来技術１と同様である。加えて従来技術２では既に学習済みのニューラルネットワークである教師モデルが事前に用意される。この従来技術２は、教師出力確率分布計算部９１を持つ点と、モデル更新部８２が修正モデル更新部９２に置き換えられている点が従来技術１と異なる。教師出力確率分布計算部９１は、学習データの特徴量Qを教師モデルに入力して出力層の各ユニットjの確率を並べた出力確率p1(j)の分布(以下、単に教師出力確率分布ともいう)を計算する。なお、教師出力確率分布を求める算出式に温度Tが導入されている点が従来技術１と異なる。温度Tは事前に設定される０より大きい実数値のパラメータである。修正モデル更新部９２は、モデル更新部８２(図１参照)の損失関数Cを以下の損失関数C'に置き換えたものである。
Figure JPOXMLDOC01-appb-M000001
 この損失関数C'は、もともとのモデル更新部８２の損失関数C(第１項)と、教師モデルの出力確率qjの分布と生徒モデルの出力確率pjの分布のクロスエントロピー（第２項）の重み付き和である。重みαは事前に設定される０以上１以下のパラメータである。
　従来技術２では、教師モデルとして事前に学習した巨大な（精度は高いが計算時間の遅い）モデルを使い、生徒モデルを乱数で初期化した小さなモデルとし、温度T＝２、重みα＝０．５と設定することで、教師モデルと同等の精度を持ち計算時間の速いモデルを学習できる効果が確認されている。なお、巨大なモデルとは、ニューラルネットワークの中間層の数や各中間層のユニット数が多いモデルを意味する。
　また、近年、音声認識、文字認識、機械翻訳等の分野において、単語間の連鎖関係を表す“言語モデル”を用いて精度を向上させる手法が盛んに検討されている。言語モデルは、辞書に登録された単語に対して、直前の単語列から次の単語への遷移確率を表すモデルであり、近年はニューラルネットワークをベースとしたRNN(リカレント・ニューラルネットワーク)言語モデルの研究が盛んである。RNN言語モデルの学習方法としては、非特許文献３が知られている。一般的なニューラルネットワークの学習方法を図１に示す。
　初期モデルは、通常各パラメータに乱数を割り当てたニューラルネットワークや、既に別の学習データで学習済のニューラルネットワークなどが利用できる。単語をニューラルネットワークの入出力とする際には、入出力に用いる単語の語彙と、入力層・出力層を構成する各ユニットを対応させる（１ユニットが1単語に対応）ことで実現する。例えば、各出力単語は実際には各単語に対応するユニット番号jにより表現される。出力確率分布計算部８１は、学習データの単語履歴hを構成する単語を現在のモデルに順次入力して、出力層の各ユニットjの出力確率p(j)を並べた出力確率分布を計算する。なお、単語履歴とは、ある単語を認識しようとしたときにその単語の直前に現れる単語の履歴(単語列)である。言語モデルの用途に合わせて適切なコーパス(テキストデータを集めたもの)を学習データとして用いればよい。例えば、音声認識に利用される言語モデルの場合には、発話に対応するテキストデータを集めたコーパスを学習データとして用いてもよい。学習データには、単語履歴(テキストデータから得られる単語列)と、その単語履歴の次に実際に現れる単語(次単語)が含まれ、この次単語を単語履歴hに対応する正解単語wtとする。
　モデル更新部８２は、正解単語wtに対応する出力層のユニット番号jLと、出力確率p(j)の分布から損失関数Cを計算し、損失関数Cの値を減少させるようにモデルを更新する。学習データの単語履歴hと正解単語wtの各ペアに対して、上記の出力確率計算とモデル更新の処理を繰り返し、所定回数の繰り返しが完了した時点のモデルを学習済言語モデルとして利用する。
　従来技術２では、教師モデルとして事前に学習した巨大な（精度は高いが計算時間の遅い）モデルを使い、生徒モデルを乱数で初期化した小さなモデルとし、温度T＝２、重みα＝０．５と設定することで、教師モデルと同等の精度を持ち計算時間の速いモデルを学習できる効果が確認されている。なお、巨大なモデルとは、ニューラルネットワークの中間層の数や各中間層のユニット数が多いモデルを意味する。従来技術２を言語モデルの学習に用いおうとした場合（図２）、以下のように処理を行う。
　事前に単語履歴hと正解単語wtのペアおよび初期モデル（図２では便宜上「生徒モデル」と記載）を用意する点は従来技術１と同様である。加えて従来技術２では既に学習済みのニューラルネットワークである教師モデルが事前に用意される。この従来技術２は、教師出力確率分布計算部９１を持つ点と、モデル更新部８２が修正モデル更新部９２に置き換えられている点が従来技術１と異なる。教師出力確率分布計算部９１は、学習データの単語履歴hを教師モデルに入力して出力層の各ユニットjの確率を並べた出力確率p1(j)の分布(以下、単に教師出力確率分布ともいう)を計算する。なお、教師出力確率分布を求める算出式に温度Tが導入されている点が従来技術１と異なる。温度Tは事前に設定される０より大きい実数値のパラメータである。修正モデル更新部９２は、モデル更新部８２(図１参照)の損失関数Cを以下の損失関数C'に置き換えたものである。
Figure JPOXMLDOC01-appb-M000002
 この損失関数C'は、もともとのモデル更新部８２の損失関数C(第１項)と、教師モデルの出力確率qjの分布と生徒モデルの出力確率pjの分布のクロスエントロピー（第２項）の重み付き和である。重みαは事前に設定される０以上１以下のパラメータである。
Geoffrey Hinton, Li Deng, Dong Yu, George E. Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patric Nguyen, Tara N. Sainath and Brian Kingsbury, "Deep Neural Networks for Acoustic Modeling in Speech Recognition," IEEE Signal Processing Magazine, Vol. 29, No 6, pp.82-97, 2012. Geoffrey Hinton, Oriol Vinyals and Jeff Dean, "Distilling the Knowledge in a Neural Network," in Proceedings of Deep Learning and Representation Learning Workshop in NIPS 2014. T. Mikolov, M.Karafiat, L. Burget, J.Cernocky, S. Khudanpur "Recurrent neural network based language model," in Proc. of Interspeech 2010.
　しかしながら、従来技術１では、学習データが少ない場合に過学習の問題が生じ、精度の低いニューラルネットワークモデル(例えば、認識精度の低い音響モデルまたは言語モデル)が学習されることがある。過学習とは、学習データを非常に高い精度で認識できるが、学習データに含まれない（実際の音声認識サービス運用時にユーザから入力される）データをまったく認識できなくなる現象である。
　また、従来技術２において、教師モデルと同等の精度を持ち、計算時間の早いモデルを学習する転移学習では、生成するニューラルネットワークモデル(例えば音響モデルまたは言語モデル)に対して巨大な教師モデル(中間層の数や、各中間層のユニット数が多く、精度は高いが計算時間は遅いモデル)を用意する必要がある。また、計算時間が長いため、教師モデルを用意するための学習コストが高くなる。また、学習データのうち、教師モデルが正しく認識できないデータが学習に悪影響を与える。計算時間の遅い教師モデルを使用するためニューラルネットワークモデルを生成する際に時間がかかる。
　本発明は、従来技術２ほど巨大な教師モデルを必要とせず、精度の高いニューラルネットワークモデルを少ない学習データから過学習を起こすことなく、短時間で作成できるモデル学習装置、その方法、及びプログラムを提供することを目的とする。
　上記の課題を解決するために、本発明の一態様によれば、モデル学習装置は、学習済みの、ニューラルネットワークを含む第一モデルのパラメータを用いて、第一モデルと同様の構造のニューラルネットワークを含む第二モデルのパラメータを設定する初期値設定部と、学習用のデータから得られる特徴量と第一モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第一出力確率分布を計算する第一出力確率分布計算部と、学習用のデータから得られる特徴量と第二モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第二出力確率分布を計算する第二出力確率分布計算部と、学習用のデータに対応する正解に関する情報と第二出力確率分布とから第二損失関数を計算し、第一出力確率分布と第二出力確率分布とのクロスエントロピーを計算し、第二損失関数とクロスエントロピーとの重み付き和を求め、重み付き和が減少するように第二モデルのパラメータを更新する修正モデル更新部とを含む。
　上記の課題を解決するために、本発明の他の態様によれば、モデル学習装置は、学習済みの、ニューラルネットワークを含む第一音響モデルのパラメータを用いて、第一音響モデルと同様の構造のニューラルネットワークを含む第二音響モデルのパラメータを設定する初期値設定部と、学習用の音響信号から得られる特徴量と第一音響モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第一出力確率分布を計算する第一出力確率分布計算部と、学習用の音響信号から得られる特徴量と第二音響モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第二出力確率分布を計算する第二出力確率分布計算部と、学習用の音響信号に対応する正解ユニット番号と第二出力確率分布とから第二損失関数を計算し、第一出力確率分布と第二出力確率分布とのクロスエントロピーを計算し、第二損失関数とクロスエントロピーとの重み付き和を求め、重み付き和が減少するように第二音響モデルのパラメータを更新する修正モデル更新部とを含む。
　上記の課題を解決するために、本発明の他の態様によれば、モデル学習装置は、学習済みの、ニューラルネットワークを含む第一言語モデルのパラメータを用いて、第一言語モデルと同様の構造のニューラルネットワークを含む第二言語モデルのパラメータを設定する初期値設定部と、学習用のテキストデータから得られる単語列である単語履歴と第一言語モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第一出力確率分布を計算する第一出力確率分布計算部と、学習用のテキストデータから得られる単語列である単語履歴と第二言語モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第二出力確率分布を計算する第二出力確率分布計算部と、学習用の単語履歴に対応する正解単語と第二出力確率分布とから第二損失関数を計算し、第一出力確率分布と第二出力確率分布とのクロスエントロピーを計算し、第二損失関数とクロスエントロピーとの重み付き和を求め、重み付き和が減少するように第二言語モデルのパラメータを更新する修正モデル更新部とを含む。
　上記の課題を解決するために、本発明の他の態様によれば、モデル学習方法は、学習済みの、ニューラルネットワークを含む第一モデルのパラメータを用いて、第一モデルと同様の構造のニューラルネットワークを含む第二モデルのパラメータを設定する初期値設定ステップと、学習用のデータから得られる特徴量と第一モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第一出力確率分布を計算する第一出力確率分布計算ステップと、学習用のデータから得られる特徴量と第二モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第二出力確率分布を計算する第二出力確率分布計算ステップと、学習用のデータに対応する正解に関する情報と第二出力確率分布とから第二損失関数を計算し、第一出力確率分布と第二出力確率分布とのクロスエントロピーを計算し、第二損失関数とクロスエントロピーとの重み付き和を求め、重み付き和が減少するように第二モデルのパラメータを更新する修正モデル更新ステップとを含む。
　本発明によれば、従来技術ほど巨大な教師モデルを必要とせず、精度の高いニューラルネットワークモデルを少ない学習データから過学習を起こすことなく、短時間で作成できるという効果を奏する。
従来技術に係る音響モデル学習装置の機能ブロック図。 従来技術に係る音響モデル学習装置の機能ブロック図。 第一、第四実施形態に係るモデル学習装置の機能ブロック図。 第一、第四実施形態に係るモデル学習装置の処理フローの例を示す図。 第二実施形態に係るモデル学習装置の機能ブロック図。 第二実施形態に係るモデル学習装置の処理フローの例を示す図。 第三実施形態に係るモデル学習装置の機能ブロック図。 第三実施形態に係るモデル学習装置の処理フローの例を示す図。 RNN言語モデルを説明するための図。 クラスRNN言語モデルを説明するための図。 第五実施形態に係るモデル学習装置の機能ブロック図。 第五実施形態に係るモデル学習装置の処理フローの例を示す図。
　以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
＜第一実施形態のポイント＞
　本実施形態のポイントは、既に別の学習データで学習済みの音響モデル(例えばDNN音響モデル)から知識を転移することで、学習データが少ない場合に生じる過学習の問題を回避する点である。具体的には、従来技術２の枠組みにおいて、初期設定時に教師モデルと生徒モデルを同じ構造のニューラルネットワークとする制約を課す。なお、ニューラルネットワークの構造が同じとは、例えば層数、ユニット数、活性化関数、その他使用するＮＮの種類に応じて必要となるその他のパラメータ等が共通であることを意味する。この制約のもとで教師モデルとして既に別の学習データで学習済みの音響モデルを用い、生徒モデルの初期値を教師モデルのコピーとする。このような構成とすることで、従来技術ほど巨大な教師モデルを必要とせずに、学習データを正しく認識できるように学習しつつ、同時に学習データに含まれないデータをうまく認識する知識を教師モデルから得ることができる。
＜第一実施形態＞
　図３は第一実施形態に係るモデル学習装置の機能ブロック図を、図４はその処理フローを示す。
　モデル学習装置１００は、出力確率分布計算部１０１、修正モデル更新部１０２、教師出力確率分布計算部１０３、初期値設定部１０４とを含む。従来技術２との主な相違点は、初期値設定部１０４が追加されており、それに伴いベース音響モデル(教師モデル)と音響モデル(生徒モデル)が同じ構造のニューラルネットワークに限定されている点である。
＜初期値設定部１０４＞
入力：教師モデル
出力：生徒モデルの初期モデル
処理：学習済みの、ニューラルネットワークを含む音響モデル（教師モデル）のパラメータを用いて、その音響モデル（教師モデル）と同様の構造のニューラルネットワークを含む音響モデル（生徒モデル）のパラメータを設定する（Ｓ１）。例えば、入力された教師モデルのパラメータをコピーしたモデルを作成し、生徒モデルの初期モデルとして出力する。この処理は学習開始時に一度だけ行われる。従来技術２は教師モデルとして巨大なモデルを、生徒モデルとして小さなモデルを想定しているのに対し、本実施形態の教師モデルと生徒モデルとは全く同じ構造となる。この初期値設定部１０４の処理により、従来技術１よりも少ない学習データで高精度な音響モデルが学習可能となる。
＜出力確率分布計算部１０１＞
入力：学習用の特徴量Q、生徒モデル(学習中の生徒モデル、または、生徒モデルの初期モデル)
出力:出力確率分布（出力確率p2(j)の分布）
　出力確率分布計算部１０１は、学習用の音響信号から得られる特徴量Qと生徒モデルとを用いて、出力層の各ユニットの出力確率p2(j)の分布を含む出力確率分布を計算する（Ｓ２）。出力確率p2(j)の計算の方法は既存のいかなる技術を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。例えば、従来技術１の方法により求めることができる。その場合、まず、特徴量Qを生徒モデルに入力し、出力層のユニットjのロジットxjを求める（次式参照）。
Figure JPOXMLDOC01-appb-M000003
 である。ただし、logistic()はロジスティック関数を表し、bjはユニットjのバイアスであり、iは下位の階層のユニットのインデックスを表し、mijは下位の階層のユニットiからユニットjへの接続に対する重みを表す。学習用の特徴量Qは入力層のユニットjの入力を求める際に用いられ、生徒モデルはbjやmij等を含む。
　次に、ロジットxjから出力確率p2(j)を求める（次式参照）
Figure JPOXMLDOC01-appb-M000004
　なお、モデル学習装置１００は、時間領域の学習用の音響信号を入力とし、図示しない周波数領域変換部、特徴量抽出部等を含んでもよい。例えば、図示しない周波数領域変換部は、時間領域の学習用の音響信号を周波数領域の信号に変換し、出力する。図示しない特徴量抽出部は、時間領域または周波数領域の学習用の音響信号から学習用の特徴量Qを抽出し、出力確率分布計算部１０１に出力する。特徴量としては、例えば、基本周波数、パワー、持続時間、フォルマント周波数、スペクトル、メル周波数ケプストラム係数（MFCC）などが考えられる。
＜教師出力確率分布計算部１０３＞
入力：学習用の特徴量Q、教師モデル、温度T
出力:出力確率分布（出力確率p1(j)の分布）
　教師出力確率分布計算部１０３は、学習用の音響信号から得られる特徴量Qと教師モデルと温度Tとを用いて、出力層の各ユニットの出力確率p1(j)の分布を含む出力確率分布を計算する（Ｓ３）。出力確率p1(j)の計算の方法は既存のいかなる技術を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。例えば、従来技術２の方法により求めることができる。その場合、出力確率p1(j)は次式で表される。
Figure JPOXMLDOC01-appb-M000005
 なお、ロジットxjの計算方法は出力確率分布計算部１０１と同じだが、教師出力確率分布計算部１０３では生徒モデルではなく教師モデルを用いる。なお、温度Tは事前設定される0より大きい実数値のパラメータであり、Tを大きく設定すればするほど出力確率p1(j)の分布は一様分布(無情報)に近づき、後述する生徒モデルの更新への影響度合いは小さくなる。なお、温度Tのことを平滑化パラメータTともいう。
＜修正モデル更新部１０２＞
入力:初期モデル、出力確率p1(j)の出力確率分布、出力確率p2(j)の出力確率分布、正解ユニット番号jL、重みα
出力:学習中の音響モデル(生徒モデル)または学習済みの音響モデル
　修正モデル更新部１０２は、(学習用の特徴量に対応する)学習用の音響信号に対応する正解ユニット番号jLと出力確率p2(j)とから損失関数C2を計算する(式(6)参照)。
Figure JPOXMLDOC01-appb-M000006
 ただし、djはjと正解ユニット番号jLとが一致する場合には1となり、一致しない場合には0となる値である。
　次に、修正モデル更新部１０２は、出力確率p1(j)の出力確率分布と出力確率p2(j)の出力確率分布とのクロスエントロピーC1(出力確率p1(j)と出力確率p2(j)の対数の積の総和)を計算する（式(7)参照）。
Figure JPOXMLDOC01-appb-M000007
　さらに、修正モデル更新部１０２は、損失関数C2とクロスエントロピーC1との重み付き和Cを求める(式(8)参照)。
C=(1-α)C2+αC1 (8)
なお、重みαは、事前に設定される0以上1以下のパラメータである。
　最後に、修正モデル更新部１０２は、重み付き和Cが減少するように生徒モデルのパラメータを更新する(Ｓ４)。
　所定の条件を満たすまで、上述のＳ２～Ｓ４を繰り返し（Ｓ５）、所定の条件を満たす場合には、その時点の生徒モデルを学習済みの音響モデルとして出力する。
　所定の条件としては、例えば、(i)繰り返し回数が一定数(例えば数千万～数億)を超えたとき、(ii)更新量が所定の値よりも小さくなったとき、例えば、(ii-a)全てのパラメータの更新量の総和が所定の値よりも小さくなったとき、(ii-b)各パラメータの全て、または、一部の更新量がそれぞれ設定された所定の値よりも小さくなったとき、等が考えられる。
＜効果＞
　本実施形態で作成した音響モデルを用いることで、従来技術よりも高い精度で音声認識を行うことが可能となり、音声認識システム利用者にとっての利便性が向上する。また、従来技術よりも少ない学習データで音響モデルを作成できるようになるため、音声認識システム開発時に必要となる学習データの量を削減することができ、また、音響モデルの学習にかかる時間を短くすることができる。これにより、音声認識システム開発時の学習データ作成コスト、音響モデル作成コストを低減することができる。
＜変形例＞
　本実施形態では、教師出力確率分布計算部１０３において、温度Tを入力としているが、必ずしも温度Tを用いなくともよい。例えば、温度Tを用いずに従来技術１の方法により求めることができる。ただし、教師出力確率分布計算部１０３ではxjを求める際に生徒モデルではなく教師モデルを用いる。
＜第二実施形態のポイント＞
　第一実施形態と異なる部分を中心に説明する。
　従来技術２では、学習データのうち、教師モデルが正しく認識できないデータが学習に悪影響を与えるという問題がある。従来技術２では教師モデルの動きを模倣するように生徒モデルが学習されるため、教師モデルが誤って認識するデータは生徒モデルも誤るように学習されてしまう。このような問題により、学習データが少ない場合に精度の高い音響モデルを作成することが困難となっている。
　本実施形態のポイントは、教師出力確率計算部で正解ユニット番号jLを考慮することにより、教師モデルの誤りの問題を軽減し、さらに精度の高い音響モデルを作成する点である。具体的には、教師出力確率分布と正解ユニット番号jLを照らし合わせることで教師モデルの誤りを検出し、誤っている場合に温度Tを上昇させる。これにより、教師モデルの誤りが生徒モデルに転移される影響を抑えることができる。
＜第二実施形態＞
　第一実施形態と異なる部分を中心に説明する。
　図５は第二実施形態に係るモデル学習装置の機能ブロック図を、図６はその処理フローを示す。
　モデル学習装置２００は、出力確率分布計算部１０１、修正モデル更新部１０２、温度調整付き教師出力確率分布計算部２０３、初期値設定部１０４とを含む。第一実施形態との主な相違点は、教師出力確率分布計算部１０３が温度調整付き教師出力確率分布計算部２０３に置き換えられている点である。
＜温度調整付き教師出力確率分布計算部２０３＞
入力：特徴量Q、教師モデル、正解ユニット番号jL、温度T、温度調整幅ΔT
出力:出力確率分布（出力確率p1(j)の分布）
処理：
　教師出力確率分布計算部２０３は、学習用の音響信号から得られる特徴量Qと教師モデルと温度Tと温度調整幅ΔTとを用いて、出力層の各ユニットの出力確率p1(j)の分布を含む出力確率分布を計算する（Ｓ１３）。
　例えば、教師出力確率分布計算部２０３は、入力された特徴量Qを教師モデルに入力し、式(2)のロジットxjを計算する。
　次に、教師出力確率分布計算部２０３は、最もロジットxjの値の大きい出力ユニット番号Kを特定する。
Figure JPOXMLDOC01-appb-M000008
　さらに、教師出力確率分布計算部２０３は、Kが正解ユニット番号jLと等しいか否かを判定する。Kが正解ユニット番号jLと等しい場合は、温度Tをそのまま用いて次の式(12)により出力確率p1(j)の分布を計算し、出力する。Kが正解ユニット番号jLと異なる場合は、温度TをT+ΔTに置き換えた上で次の式(12)により出力確率p1(j)の分布を計算し、出力する。
Figure JPOXMLDOC01-appb-M000009
＜効果＞
　前述の通り、式(12)の出力確率p1(j)の分布は、温度Tを大きくすればするほど一様分布（無情報）に近づき、生徒モデルの更新への影響度合いが小さくなる。そのため、このような処理により、教師モデルが誤っている（Kが正解ユニット番号jLと異なる）場合に、その誤りが学習に与える悪影響を抑えることが可能となる。
　なお、温度調整幅ΔTは事前に設定するパラメータであり、例えばΔT=5～10程度の値に設定する。
＜第三実施形態のポイント＞
　第二実施形態と異なる部分を中心に説明する。
　本実施形態では、第二実施形態で説明した問題（教師モデルの誤りの問題）を解決するために、例えば、出力確率p1(j)の分布と正解ユニット番号jLとを照らし合わせることで教師モデルの誤りを検出し、誤っている場合に正解ユニット番号jLに対応するユニットの確率を上昇させる。これにより、教師モデルの誤りが生徒モデルに転移される影響を抑えることができる。
　図７は第二実施形態に係るモデル学習装置の機能ブロック図を、図８はその処理フローを示す。
　モデル学習装置３００は、出力確率分布計算部１０１、修正モデル更新部１０２、温度調整付き教師出力確率分布計算部２０３、初期値設定部１０４、教師出力確率分布補正部３０１を含む。第二実施形態との主な相違点は、教師出力確率分布補正部３０１が追加されている点である。なお、温度調整付き教師出力確率分布計算部２０３を、教師出力確率分布計算部１０３に置き換えた（第二実施形態のアイデアを使わない）構成も可能である。
＜教師出力確率分布補正部３０１＞
入力：出力確率p1(j)の分布、正解ユニット番号jL
出力：補正後の出力確率p3(j)の分布
処理：
　教師出力確率分布補正部３０１は、正解ユニット番号jLを用いて出力確率p1(j)の分布を補正し、補正後の出力確率p3(j)の分布を得る。
　教師出力確率分布補正部３０１は、出力確率p1(j)の分布を参照し、出力確率p1(j)が最大となる出力ユニット番号Kを特定する。
Figure JPOXMLDOC01-appb-M000010
 なお、このKは温度調整付き教師出力確率分布計算部２０３の中で求めるKと同じ値になるため、温度調整付き教師出力確率分布計算部２０３がKを出力し、教師出力確率分布補正部３０１の入力としてもよい。ただし、温度調整付き教師出力確率分布計算部２０３を、教師出力確率分布計算部１０３に置き換えた構成とする場合には、式(21)等で出力確率p1(j)が最大となる出力ユニット番号Kを特定する必要がある。
　さらに、教師出力確率分布補正部３０１は、Kが正解ユニット番号jLと等しいか否かを判定する。Kが正解ユニット番号jLと等しい場合は、出力確率p1(j)の分布をそのまま補正後の出力確率p3(j)の分布として出力する。
　Kが正解ユニット番号jLと異なる場合は、出力確率p1(j)の分布のうち、K番目の出力ユニットの出力確率p1(K)と正解ユニット番号jLに対応する出力ユニットの出力確率p1(jL)を入れ替えた出力確率の分布を補正後の出力確率p3(j)の分布として作成し、出力する。
＜効果＞
　以上の処理により、補正後の出力確率の分布は、正解ユニット番号jLに対応する確率値が必ず最大となることが保証されるため、教師モデルである教師モデルの誤りが転移されてしまう問題を防ぐことができる。
＜第四実施形態のポイント＞
　第一実施形態と異なる部分を中心に説明する。
　本実施形態のポイントは、既に別の学習データで学習済の言語モデルから知識を転移することで、学習データが少ない場合に生じる過学習の問題を回避する点である。具体的には、従来技術２の枠組みにおいて、初期設定時に教師モデルと生徒モデルを同じ構造のニューラルネットワークとする制約を課す。この制約のもとで教師モデルとして既に別の学習データで学習済の言語モデルを用い、生徒モデルの初期値を教師モデルのデータにコピーする。このような構成とすることで、従来技術２ほど巨大な教師モデルを必要とせずに、学習データを正しく認識できるように学習しつつ、同時に学習データに含まれないデータをうまく認識する知識を教師モデルから得ることができる。
＜第四実施形態＞
　図３は第四実施形態に係るモデル学習装置の機能ブロック図を、図４はその処理フローを示す。
　本実施形態では、ニューラルネットワークを利用して、音響モデル(例えばDNN音響モデル)に代えて言語モデル(例えばRNN言語モデル)を学習する。
　モデル学習装置１００は、出力確率分布計算部１０１、修正モデル更新部１０２、教師出力確率分布計算部１０３、初期値設定部１０４とを含む。第一実施形態との主な相違点は、音響モデルに代えて言語モデルを学習する点であり、その点に基づき、特徴量Qに代えて単語履歴hを入力とし、正解ユニット番号jLに代えて正解単語wtを入力とする。
＜初期値設定部１０４＞
入力：教師モデル
出力：生徒モデルの初期モデル
処理：学習済みの、ニューラルネットワークを含む言語モデル（教師モデル）のパラメータを用いて、その言語モデル（教師モデル）と同様の構造のニューラルネットワークを含む言語モデル（生徒モデル）のパラメータを設定する（Ｓ１）。例えば、入力された教師モデルのパラメータをコピーしたモデルを作成し、生徒モデルの初期モデルとして出力する。この処理は学習開始時に一度だけ行われる。従来技術２は教師モデルとして巨大なモデルを、生徒モデルとして小さなモデルを想定しているのに対し、本実施形態の教師モデルと生徒モデルとは全く同じ構造となる。この初期値設定部１０４の処理により、従来技術１よりも少ない学習データで高精度な言語モデルが学習可能となる。
＜出力確率分布計算部１０１＞
入力：学習用の単語履歴h、生徒モデル(学習中の生徒モデル、または、生徒モデルの初期モデル)
出力:出力確率分布（出力確率p2(j)の分布）
　出力確率分布計算部１０１は、学習用の単語履歴hと生徒モデルとを用いて、出力層の各ユニットの出力確率p2(j)の分布を含む出力確率分布を計算する（Ｓ２）。出力確率p2(j)の計算の方法は既存のいかなる技術を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。例えば、従来技術１の方法により求めることができる。その場合、まず、単語履歴hを生徒モデルに入力し、出力層のユニットjのロジットxjを求める（次式参照）。
Figure JPOXMLDOC01-appb-M000011
 である。ただし、logistic()はロジスティック関数を表し、bjはユニットjのバイアスであり、iは下位の階層のユニットのインデックスを表し、mijは下位の階層のユニットiからユニットjへの接続に対する重みを表す。学習用の単語履歴hは入力層のユニットjの入力を求める際に用いられ、生徒モデルはbjやmij等を含む。
　次に、ロジットxjから出力確率p2(j)を求める（次式参照）
Figure JPOXMLDOC01-appb-M000012
＜教師出力確率分布計算部１０３＞
入力：学習用の単語履歴h、教師モデル、温度T
出力:出力確率分布（出力確率p1(j)の分布）
　教師出力確率分布計算部１０３は、学習用の単語履歴hと教師モデルと温度Tとを用いて、出力層の各ユニットの出力確率p1(j)の分布を含む出力確率分布を計算する（Ｓ３）。出力確率p1(j)の計算の方法は既存のいかなる技術を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。例えば、従来技術２の方法により求めることができる。その場合、出力確率p1(j)は次式で表される。
Figure JPOXMLDOC01-appb-M000013
 なお、ロジットxjの計算方法は出力確率分布計算部１０１と同じだが、教師出力確率分布計算部１０３では生徒モデルではなく教師モデルを用いる。なお、温度Tは事前設定される0より大きい実数値のパラメータであり、Tを大きく設定すればするほど出力確率p1(j)の分布は一様分布(無情報)に近づき、後述する生徒モデルの更新への影響度合いは小さくなる。なお、温度Tのことを平滑化パラメータTともいう。
＜修正モデル更新部１０２＞
入力:初期モデル、出力確率p1(j)の出力確率分布、出力確率p2(j)の出力確率分布、正解単語wt、重みα
出力:学習中の言語モデル(生徒モデル)または学習済みの言語モデル
　修正モデル更新部１０２は、学習用の単語履歴hに対応する正解単語wtに対応するユニット番号jLと出力確率p2(j)とから損失関数C2を計算する(式(6)参照)。
Figure JPOXMLDOC01-appb-M000014
 ただし、djはjと正解単語wtに対応するユニット番号jLとが一致する場合には1となり、一致しない場合には0となる値である。
　次に、修正モデル更新部１０２は、出力確率p1(j)の出力確率分布と出力確率p2(j)の出力確率分布とのクロスエントロピーC1(出力確率p1(j)と出力確率p2(j)の対数の積の総和)を計算する（式(7)参照）。
Figure JPOXMLDOC01-appb-M000015
　さらに、修正モデル更新部１０２は、損失関数C2とクロスエントロピーC1との重み付き和Cを求める(式(8)参照)。
C=(1-α)C2+αC1 (8)
なお、重みαは、事前に設定される0以上1以下のパラメータである。
　最後に、修正モデル更新部１０２は、重み付き和Cが減少するように生徒モデルのパラメータを更新する(Ｓ４)。
　所定の条件を満たすまで、上述のＳ２～Ｓ４を繰り返し（Ｓ５）、所定の条件を満たす場合には、その時点の生徒モデルを学習済みの言語モデルとして出力する。
　所定の条件としては、例えば、(i)繰り返し回数が一定数(例えば数千万～数億)を超えたとき、(ii)更新量が所定の値よりも小さくなったとき、例えば、(ii-a)全てのパラメータの更新量の総和が所定の値よりも小さくなったとき、(ii-b)各パラメータの全て、または、一部の更新量がそれぞれ設定された所定の値よりも小さくなったとき、等が考えられる。
＜効果＞
　本実施形態で作成した言語モデルを用いることで、従来技術よりも高い精度の言語モデルを構築することができる。例えば、言語モデルを音声認識に用いる場合には、従来技術よりも高い精度で音声認識を行うことが可能となり、音声認識システム利用者にとっての利便性が向上する。また、従来技術よりも少ない学習データで言語モデルを作成できるようになるため、音声認識システム開発時に必要となる学習データの量を削減することができ、また、言語モデルの学習にかかる時間を短くすることができる。これにより、音声認識システム開発時の学習データ作成コスト、言語モデル作成コストを低減することができる。
＜変形例＞
　本実施形態では、教師出力確率分布計算部１０３において、温度Tを入力としているが、必ずしも温度Tを用いなくともよい。例えば、温度Tを用いずに従来技術１の方法により求めることができる。ただし、教師出力確率分布計算部１０３ではxjを求める際に生徒モデルではなく教師モデルを用いる。
　本実施形態と第二実施形態または第三実施形態とを組合せてもよい。特徴量に代えて単語履歴、正解ユニット番号に代えて正解単語を用いて、言語モデルを学習すればよい。
＜第五実施形態のポイント＞
　第四実施形態と異なる部分を中心に説明する。
　第四実施形態によれば、参考文献１で示されているような修正モデル更新部を含む。
（参考文献１）T. Mikolov, S. Kombrink1, L. Burget, J. H. Cernocky and S. Khudanpur, "Extensions of recurrent neural network language model," in Proc. of ICASSP 2011.
　修正モデル更新部は、単語とクラスに対して別々にクロスエントロピーを計算し、それぞれの損失関数が減少するように、パラメータを更新する。
　RNN言語モデルにおいては、通常のRNN言語モデル（図９参照）からの計算量削減を目的としたクラスRNN言語モデルがよく使用される（図１０参照）。
　通常のRNN言語モデルでは過去の単語履歴hから次の単語wtへの遷移確率P(wt|h)が出力層７３のユニットで直接与えられる。なお、入力層７１及び出力層７３(単語出力層)のユニット数は語彙サイズに対応し、入力層７１では前の単語に該当する単語のユニットの値を1、それ以外のユニットの値を0にセットする。なお、フィードバック層７４のユニット数は中間層７２と同一である。一方、クラスRNN言語モデルでは、各単語が属するクラスへの確率P(ct|h)を表すクラス出力層６５と、クラスから各単語への出力確率P(wt|ct)とを単語出力層６３とで独立して表現され、それらの確率の積によってP(wt|h)が近似的に表現される。
＜第五実施形態＞
　図１１は第五実施形態に係るモデル学習装置の機能ブロック図を、図１２はその処理フローを示す。
　モデル学習装置５００は、出力確率分布計算部１０１、クラス出力確率分布計算部５０１、修正モデル更新部５０２、教師出力確率分布計算部１０３、教師クラス出力確率分布計算部５０３、初期値設定部５０４とを含む。第四実施形態との主な相違点は、RNN言語モデルに代えてクラスRNN言語モデルを用いる点である。出力確率分布計算部１０１及び教師出力確率分布計算部１０３における処理（Ｓ２，Ｓ３）は第四実施形態と同様である。
＜初期値設定部５０４＞
入力：教師モデル
出力：生徒モデルの初期モデル
処理：学習済みの、ニューラルネットワークを含むクラスRNN言語モデル（教師モデル）のパラメータを用いて、そのクラスRNN言語モデル（教師モデル）と同様の構造のニューラルネットワークを含むクラスRNN言語モデル（生徒モデル）のパラメータを設定する（Ｓ５１）。例えば、入力された教師モデルのパラメータをコピーしたモデルを作成し、生徒モデルの初期モデルとして出力する。この処理は学習開始時に一度だけ行われる。
＜クラス出力確率分布計算部５０１＞
入力：学習用の単語履歴h、生徒モデル(学習中の生徒モデル、または、生徒モデルの初期モデル)
出力:クラス出力確率分布（クラス出力確率pC,2(m)の分布）
　クラス出力確率分布計算部５０１は、学習用の単語履歴hと生徒モデルとを用いて、クラス出力層の各ユニットのクラス出力確率pC,2(m)の分布を含むクラス出力確率分布を計算する（Ｓ５２）。クラス出力確率pC,2(m)の計算の方法は既存のいかなる技術を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。例えば、参考文献１の方法により求めることができる。なお、クラス出力確率pC,2(m)が上述の各単語が属するクラスへの確率P(ct|h)に相当し、出力確率分布計算部１０１で計算する出力確率p2(j)が上述のクラスから各単語への出力確率P(wt|ct)に相当する。
＜教師クラス出力確率分布計算部５０３＞
入力：学習用の単語履歴h、教師モデル、温度T
出力:クラス出力確率分布（クラス出力確率pC,1(m)の分布）
　教師クラス出力確率分布計算部５０３は、学習用の単語履歴hと教師モデルと温度Tとを用いて、クラス出力層の各ユニットのクラス出力確率pC,1(m)の分布を含むクラス出力確率分布を計算する（Ｓ５３）。クラス出力確率pC,1(m)の計算の方法は既存のいかなる技術を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。例えば、参考文献１の方法により求めることができる。なお、クラス出力確率pC,1(m)が上述の各単語が属するクラスへの確率P(ct|h)に相当し、教師出力確率分布計算部１０３で計算する出力確率p1(j)が上述のクラスから各単語への出力確率P(wt|ct)に相当する。
＜修正モデル更新部５０２＞
入力:初期モデル、出力確率p1(j)の出力確率分布、出力確率p2(j)の出力確率分布、クラス出力確率pC,1(m)の出力確率分布、クラス出力確率pC,2(m)の出力確率分布、正解単語wt、重みα
出力:学習中の言語モデル(生徒モデル)または学習済みの言語モデル
　修正モデル更新部５０２は、出力確率p1(j)の出力確率分布から教師モデルにおける単語出力層のクロスエントロピーCW1を、クラス出力確率pC,1(m)の出力確率分布から教師モデルにおけるクラス出力層のクロスエントロピーCC1を、出力確率p2(j)の出力確率分布から生徒モデルにおける単語出力層のクロスエントロピーCW2を、クラス出力確率pC,2(m)の出力確率分布から生徒モデルにおけるクラス出力層のクロスエントロピーCC2を、それぞれ独立して求める。
　さらに、修正モデル更新部５０２は、係数αを用いて、教師モデル、生徒モデルのクロスエントロピーを、次式により単語出力層、クラス出力層それぞれに求める。
CC = (1-α)CC2+αCC1    (13)
CW = (1-α)CW2+αCW1    (14)
　最後に、修正モデル更新部５０２は、クロスエントロピー値CC、CWが減少するように生徒モデルのパラメータを更新する(Ｓ５４)。
　所定の条件を満たすまで、上述のＳ２、Ｓ３，Ｓ５２，Ｓ５３，Ｓ５４を繰り返し（Ｓ５５）、所定の条件を満たす場合には、その時点の生徒モデルを学習済みの言語モデルとして出力する。
＜変形例＞
　本実施形態では、教師出力確率分布計算部１０３、教師クラス出力確率分布計算部５０３において、温度Tを入力としているが、必ずしも温度Tを用いなくともよい。例えば、温度Tを用いずに従来技術１の方法により求めることができる。ただし、教師出力確率分布計算部１０３、教師クラス出力確率分布計算部５０３ではxjを求める際に生徒モデルではなく教師モデルを用いる。
＜第一変形例＞
　第一～第三実施形態ではDNN音響モデル、第四実施形態ではRNN言語モデル、第五実施形態ではクラスRNN言語モデルへの本発明の適用方法について説明したが、本発明はニューラルネットワークを用いた機械学習であれば、どのようなものにも転用可能である。
　図３は第一変形例に係るモデル学習装置の機能ブロック図を、図４はその処理フローを示す。
　モデル学習装置１００は、出力確率分布計算部１０１、修正モデル更新部１０２、教師出力確率分布計算部１０３、初期値設定部１０４とを含む。従来技術２との主な相違点は、初期値設定部１０４が追加されており、それに伴いベースモデル(教師モデル)と学習対象モデル(生徒モデル)が同じ構造のニューラルネットワークに限定されている点である。
＜初期値設定部１０４＞
入力：教師モデル
出力：生徒モデルの初期モデル
処理：学習済みの、ニューラルネットワークを含むモデル（教師モデル）のパラメータを用いて、そのモデル（教師モデル）と同様の構造のニューラルネットワークを含む学習対象モデル（生徒モデル）のパラメータを設定する（Ｓ１）。例えば、入力された教師モデルのパラメータをコピーしたモデルを作成し、生徒モデルの初期モデルとして出力する。この処理は学習開始時に一度だけ行われる。従来技術２は教師モデルとして巨大なモデルを、生徒モデルとして小さなモデルを想定しているのに対し、本実施形態の教師モデルと生徒モデルとは全く同じ構造となる。この初期値設定部１０４の処理により、従来技術１よりも少ない学習データで高精度なモデルが学習可能となる。
＜出力確率分布計算部１０１＞
入力：学習用の特徴量Q、生徒モデル(学習中の生徒モデル、または、生徒モデルの初期モデル)
出力:出力確率分布（出力確率p2(j)の分布）
　出力確率分布計算部１０１は、学習用の学習対象モデルの処理対象とするデータの特徴量Qと生徒モデルとを用いて、出力層の各ユニットの出力確率p2(j)の分布を含む出力確率分布を計算する（Ｓ２）。出力確率p2(j)の計算の方法は既存のいかなる技術を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。例えば、従来技術１の方法により求めることができる。その場合、まず、特徴量Qを生徒モデルに入力し、出力層のユニットjのロジットxjを求める（次式参照）。
Figure JPOXMLDOC01-appb-M000016
 である。ただし、logistic()はロジスティック関数を表し、bjはユニットjのバイアスであり、iは下位の階層のユニットのインデックスを表し、mijは下位の階層のユニットiからユニットjへの接続に対する重みを表す。学習用の特徴量Qは入力層のユニットjの入力を求める際に用いられ、生徒モデルはbjやmij等を含む。
　次に、ロジットxjから出力確率p2(j)を求める（次式参照）
Figure JPOXMLDOC01-appb-M000017
＜教師出力確率分布計算部１０３＞
入力：学習用の特徴量Q、教師モデル、温度T
出力:出力確率分布（出力確率p1(j)の分布）
　教師出力確率分布計算部１０３は、学習用の学習対象モデルの処理対象とするデータの特徴量Qと教師モデルと温度Tとを用いて、出力層の各ユニットの出力確率p1(j)の分布を含む出力確率分布を計算する（Ｓ３）。出力確率p1(j)の計算の方法は既存のいかなる技術を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。例えば、従来技術２の方法により求めることができる。その場合、出力確率p1(j)は次式で表される。
Figure JPOXMLDOC01-appb-M000018
 なお、ロジットxjの計算方法は出力確率分布計算部１０１と同じだが、教師出力確率分布計算部１０３では生徒モデルではなく教師モデルを用いる。なお、温度Tは事前設定される0より大きい実数値のパラメータであり、Tを大きく設定すればするほど出力確率p1(j)の分布は一様分布(無情報)に近づき、後述する生徒モデルの更新への影響度合いは小さくなる。なお、温度Tのことを平滑化パラメータTともいう。
＜修正モデル更新部１０２＞
入力:初期モデル、出力確率p1(j)の出力確率分布、出力確率p2(j)の出力確率分布、正解に関する情報(例えば正解ユニット番号jL)、重みα
出力:学習中の学習対象モデル(生徒モデル)または学習済みの学習対象モデル
　修正モデル更新部１０２は、(学習用の特徴量に対応する)学習用のデータに対応する正解に関する情報(正解を示す情報)と出力確率p2(j)とから損失関数C2を計算する(式(6)参照)。
Figure JPOXMLDOC01-appb-M000019
 ただし、djはjと正解とが一致する場合には1となり、一致しない場合には0となる値である。
　次に、修正モデル更新部１０２は、出力確率p1(j)の出力確率分布と出力確率p2(j)の出力確率分布とのクロスエントロピーC1(出力確率p1(j)と出力確率p2(j)の対数の積の総和)を計算する（式(7)参照）。
Figure JPOXMLDOC01-appb-M000020
　さらに、修正モデル更新部１０２は、損失関数C2とクロスエントロピーC1との重み付き和Cを求める(式(8)参照)。
C=(1-α)C2+αC1 (8)
なお、重みαは、事前に設定される0以上1以下のパラメータである。
　最後に、修正モデル更新部１０２は、重み付き和Cが減少するように生徒モデルのパラメータを更新する(Ｓ４)。
　所定の条件を満たすまで、上述のＳ２～Ｓ４を繰り返し（Ｓ５）、所定の条件を満たす場合には、その時点の生徒モデルを学習済みのモデルとして出力する。
　所定の条件としては、例えば、(i)繰り返し回数が一定数(例えば数千万～数億)を超えたとき、(ii)更新量が所定の値よりも小さくなったとき、例えば、(ii-a)全てのパラメータの更新量の総和が所定の値よりも小さくなったとき、(ii-b)各パラメータの全て、または、一部の更新量がそれぞれ設定された所定の値よりも小さくなったとき、等が考えられる。
＜効果＞
　本実施形態で作成したモデルを用いることで、従来技術よりも高い精度でニューラルネットワークを構築することが可能となる。また、従来技術よりも少ない学習データでモデルを作成できるようになる、また、モデルの学習にかかる時間を短くすることができる。これにより、ニューラルネットワークの学習データ作成コスト、モデル作成コストを低減することができる。
　本変形例では、教師出力確率分布計算部１０３において、温度Tを入力としているが、必ずしも温度Tを用いなくともよい。例えば、温度Tを用いずに従来技術１の方法により求めることができる。ただし、教師出力確率分布計算部１０３ではxjを求める際に生徒モデルではなく教師モデルを用いる。本変形例と第二、第三、第五実施形態とを組合せてもよい。
　なお、第一～第三実施形態では学習対象モデルを音響モデルとし、学習対象モデルの処理対象とするデータの特徴量を音響特徴量とし、正解に関する情報を正解ユニット番号としており、第四、第五実施形態では学習対象モデルを言語モデルとし、学習対象モデルの処理対象とするデータの特徴量を単語履歴(単語列)とし、正解に関する情報を正解単語としているため、第一～第五実施形態は本変形例の一例と言える。
　本発明は、誤差逆伝播アルゴリズムにより、教師データに対して損失関数を小さくするように学習するニューラルネットワークモデルであれば適用することができ、例えば、CNN(Convolutional Neural Networks)等にも適用することができる。ただし、教師データを用いないニューラルネットワークモデルの学習方法(教師無し学習)には適用することができない。
＜その他の変形例＞
　本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
　また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

  1. 　学習済みの、ニューラルネットワークを含む第一モデルのパラメータを用いて、前記第一モデルと同様の構造のニューラルネットワークを含む第二モデルのパラメータを設定する初期値設定部と、
    　学習用のデータから得られる特徴量と前記第一モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第一出力確率分布を計算する第一出力確率分布計算部と、
    　前記学習用のデータから得られる特徴量と前記第二モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第二出力確率分布を計算する第二出力確率分布計算部と、
    　前記学習用のデータに対応する正解に関する情報と前記第二出力確率分布とから第二損失関数を計算し、前記第一出力確率分布と前記第二出力確率分布とのクロスエントロピーを計算し、前記第二損失関数と前記クロスエントロピーとの重み付き和を求め、前記重み付き和が減少するように前記第二モデルのパラメータを更新する修正モデル更新部とを含む、
    　モデル学習装置。
  2. 　学習済みの、ニューラルネットワークを含む第一音響モデルのパラメータを用いて、前記第一音響モデルと同様の構造のニューラルネットワークを含む第二音響モデルのパラメータを設定する初期値設定部と、
    　学習用の音響信号から得られる特徴量と前記第一音響モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第一出力確率分布を計算する第一出力確率分布計算部と、
    　前記学習用の音響信号から得られる特徴量と前記第二音響モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第二出力確率分布を計算する第二出力確率分布計算部と、
    　前記学習用の音響信号に対応する正解ユニット番号と前記第二出力確率分布とから第二損失関数を計算し、前記第一出力確率分布と前記第二出力確率分布とのクロスエントロピーを計算し、前記第二損失関数と前記クロスエントロピーとの重み付き和を求め、前記重み付き和が減少するように前記第二音響モデルのパラメータを更新する修正モデル更新部とを含む、
    　モデル学習装置。
  3. 　学習済みの、ニューラルネットワークを含む第一言語モデルのパラメータを用いて、前記第一言語モデルと同様の構造のニューラルネットワークを含む第二言語モデルのパラメータを設定する初期値設定部と、
    　学習用のテキストデータから得られる単語列である単語履歴と前記第一言語モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第一出力確率分布を計算する第一出力確率分布計算部と、
    　前記学習用のテキストデータから得られる単語列である単語履歴と前記第二言語モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第二出力確率分布を計算する第二出力確率分布計算部と、
    　前記学習用の単語履歴に対応する正解単語と前記第二出力確率分布とから第二損失関数を計算し、前記第一出力確率分布と前記第二出力確率分布とのクロスエントロピーを計算し、前記第二損失関数と前記クロスエントロピーとの重み付き和を求め、前記重み付き和が減少するように前記第二言語モデルのパラメータを更新する修正モデル更新部とを含む、
    　モデル学習装置。
  4. 　請求項３のモデル学習装置であって、
    　前記第一言語モデル及び前記第二言語モデルはそれぞれクラスRNN言語モデルであり、
    　学習用のテキストデータから得られる単語列である単語履歴と前記第一言語モデルとを用いて、クラス出力層の各ユニットのクラス出力確率の分布を含む第一クラス出力確率分布を計算する第一クラス出力確率分布計算部と、
    　前記学習用のテキストデータから得られる単語列である単語履歴と前記第二言語モデルとを用いて、クラス出力層の各ユニットのクラス出力確率の分布を含む第二クラス出力確率分布を計算する第二クラス出力確率分布計算部と、を含み、
    　前記修正モデル更新部は、前記第一出力確率分布から出力層のクロスエントロピーCW1を、前記第一クラス出力確率分布からクラス出力層のクロスエントロピーCC1を、前記第二出力確率分布から出力層のクロスエントロピーCW2を、前記第二クラス出力確率分布からクラス出力層のクロスエントロピーCC2を求め、前記クロスエントロピーCW1と前記クロスエントロピーCW2とのクロスエントロピーCWと、前記クロスエントロピーCC1と前記クロスエントロピーCC2とのクロスエントロピーCCとを求め、求めた前記クロスエントロピーCWと前記クロスエントロピーCCの値が減少するように前記第二言語モデルのパラメータを更新する、
    　モデル学習装置。
  5. 　請求項１から請求項４の何れかのモデル学習装置であって、
    　前記第二出力確率分布計算部は、0より大きい実数値からなる平滑化パラメータを入力とし、平滑化パラメータが大きいほど一様分布に近づくように前記第二出力確率分布を求める、
    　モデル学習装置。
  6. 　学習済みの、ニューラルネットワークを含む第一モデルのパラメータを用いて、前記第一モデルと同様の構造のニューラルネットワークを含む第二モデルのパラメータを設定する初期値設定ステップと、
    　学習用のデータから得られる特徴量と前記第一モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第一出力確率分布を計算する第一出力確率分布計算ステップと、
    　前記学習用のデータから得られる特徴量と前記第二モデルとを用いて、出力層の各ユニットの出力確率の分布を含む第二出力確率分布を計算する第二出力確率分布計算ステップと、
    　前記学習用のデータに対応する正解に関する情報と前記第二出力確率分布とから第二損失関数を計算し、前記第一出力確率分布と前記第二出力確率分布とのクロスエントロピーを計算し、前記第二損失関数と前記クロスエントロピーとの重み付き和を求め、前記重み付き和が減少するように前記第二モデルのパラメータを更新する修正モデル更新ステップとを含む、
    　モデル学習方法。
  7. 　請求項６のモデル学習方法であって、
    　前記第二出力確率分布計算ステップは、0より大きい実数値からなる平滑化パラメータを入力とし、平滑化パラメータが大きいほど一様分布に近づくように前記第二出力確率分布を求める、
    　モデル学習方法。
  8. 　請求項１から請求項５の何れかのモデル学習装置としてコンピュータを機能させるためのプログラム。
PCT/JP2017/031909 2016-09-16 2017-09-05 モデル学習装置、その方法、及びプログラム WO2018051841A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/333,156 US11081105B2 (en) 2016-09-16 2017-09-05 Model learning device, method and recording medium for learning neural network model
JP2018539639A JP6712642B2 (ja) 2016-09-16 2017-09-05 モデル学習装置、その方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-181450 2016-09-16
JP2016181450 2016-09-16

Publications (1)

Publication Number Publication Date
WO2018051841A1 true WO2018051841A1 (ja) 2018-03-22

Family

ID=61619436

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031909 WO2018051841A1 (ja) 2016-09-16 2017-09-05 モデル学習装置、その方法、及びプログラム

Country Status (3)

Country Link
US (1) US11081105B2 (ja)
JP (1) JP6712642B2 (ja)
WO (1) WO2018051841A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017357A1 (ja) * 2018-07-19 2020-01-23 ソニー株式会社 制御装置、制御方法、およびプログラム
WO2020102887A1 (en) * 2018-11-19 2020-05-28 Tandemlaunch Inc. System and method for automated design space determination for deep neural networks
CN111341318A (zh) * 2020-01-22 2020-06-26 北京世纪好未来教育科技有限公司 说话者角色确定方法、装置、设备及存储介质
WO2020137227A1 (ja) * 2018-12-27 2020-07-02 沖電気工業株式会社 分類装置、分類システム、分類方法及び記憶媒体
CN111368997A (zh) * 2020-03-04 2020-07-03 支付宝(杭州)信息技术有限公司 神经网络模型的训练方法及装置
WO2020162240A1 (ja) * 2019-02-08 2020-08-13 日本電信電話株式会社 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
WO2020161935A1 (ja) * 2019-02-05 2020-08-13 日本電気株式会社 学習装置、学習方法、及び、プログラム
WO2020250279A1 (ja) * 2019-06-10 2020-12-17 日本電信電話株式会社 モデル学習装置、方法及びプログラム
JP2021096813A (ja) * 2019-12-18 2021-06-24 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド データ処理方法及び装置
US11302309B2 (en) 2019-09-13 2022-04-12 International Business Machines Corporation Aligning spike timing of models for maching learning
US11321590B2 (en) 2019-12-31 2022-05-03 Industrial Technology Research Institute Training method and system of objects detection model based on adaptive annotation design
JP2022539620A (ja) * 2019-09-13 2022-09-12 三菱電機株式会社 対話応答生成システムのためのシステムおよび方法
WO2023017568A1 (ja) * 2021-08-10 2023-02-16 日本電信電話株式会社 学習装置、推定装置、学習方法、およびプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6712644B2 (ja) * 2016-09-30 2020-06-24 日本電信電話株式会社 音響モデル学習装置、その方法、及びプログラム
US10643602B2 (en) * 2018-03-16 2020-05-05 Microsoft Technology Licensing, Llc Adversarial teacher-student learning for unsupervised domain adaptation
EP3807874A1 (en) * 2018-07-13 2021-04-21 Google LLC End-to-end streaming keyword spotting
EP3707703A1 (en) * 2018-11-28 2020-09-16 Google LLC. Training and/or using a language selection model for automatically determining language for speech recognition of spoken utterance
WO2021029643A1 (en) * 2019-08-13 2021-02-18 Samsung Electronics Co., Ltd. System and method for modifying speech recognition result
EP3931826A4 (en) 2019-08-13 2022-05-11 Samsung Electronics Co., Ltd. SERVER SUPPORTING VOICE RECOGNITION OF A DEVICE AND METHOD OF OPERATING THE SERVER
WO2021029642A1 (en) 2019-08-13 2021-02-18 Samsung Electronics Co., Ltd. System and method for recognizing user's speech
CN110556100B (zh) * 2019-09-10 2021-09-17 思必驰科技股份有限公司 端到端语音识别模型的训练方法及系统
US11922303B2 (en) * 2019-11-18 2024-03-05 Salesforce, Inc. Systems and methods for distilled BERT-based training model for text classification
CN111261148B (zh) * 2020-03-13 2022-03-25 腾讯科技（深圳）有限公司 语音模型的训练方法、语音增强处理方法及相关设备
US20220229985A1 (en) * 2021-01-21 2022-07-21 Apple Inc. Adversarial discriminative neural language model adaptation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161995A1 (en) * 2013-12-06 2015-06-11 Nuance Communications, Inc. Learning front-end speech recognition parameters within neural network training
WO2016167779A1 (en) * 2015-04-16 2016-10-20 Mitsubishi Electric Corporation Speech recognition device and rescoring device
US20170011738A1 (en) * 2015-07-09 2017-01-12 Google Inc. Generating acoustic models

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201223450D0 (en) * 2012-12-27 2013-02-13 Touchtype Ltd Search and corresponding method
JP6612855B2 (ja) * 2014-09-12 2019-11-27 マイクロソフト テクノロジー ライセンシング，エルエルシー 出力分布による生徒ｄｎｎの学習
US10515301B2 (en) * 2015-04-17 2019-12-24 Microsoft Technology Licensing, Llc Small-footprint deep neural network
US9524716B2 (en) * 2015-04-17 2016-12-20 Nuance Communications, Inc. Systems and methods for providing unnormalized language models
KR102492318B1 (ko) * 2015-09-18 2023-01-26 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법
US11443169B2 (en) * 2016-02-19 2022-09-13 International Business Machines Corporation Adaptation of model for recognition processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161995A1 (en) * 2013-12-06 2015-06-11 Nuance Communications, Inc. Learning front-end speech recognition parameters within neural network training
WO2016167779A1 (en) * 2015-04-16 2016-10-20 Mitsubishi Electric Corporation Speech recognition device and rescoring device
US20170011738A1 (en) * 2015-07-09 2017-01-12 Google Inc. Generating acoustic models

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CUI, YIXIN ET AL.: "Extreme learning machine based on cross entropy", MACHINE LEARNING AND CYBERNETICS, vol. 2, 13 June 2016 (2016-06-13), pages 1066 - 1071, XP033073942, ISBN: 978-1-5090-0390-7 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017357A1 (ja) * 2018-07-19 2020-01-23 ソニー株式会社 制御装置、制御方法、およびプログラム
WO2020102887A1 (en) * 2018-11-19 2020-05-28 Tandemlaunch Inc. System and method for automated design space determination for deep neural networks
JP7263770B2 (ja) 2018-12-27 2023-04-25 沖電気工業株式会社 分類装置、分類システム、分類方法及びプログラム
WO2020137227A1 (ja) * 2018-12-27 2020-07-02 沖電気工業株式会社 分類装置、分類システム、分類方法及び記憶媒体
JP2020107138A (ja) * 2018-12-27 2020-07-09 沖電気工業株式会社 分類装置、分類システム、分類方法及びプログラム
JP7180697B2 (ja) 2019-02-05 2022-11-30 日本電気株式会社 学習装置、学習方法、及び、プログラム
JPWO2020161935A1 (ja) * 2019-02-05 2021-11-25 日本電気株式会社 学習装置、学習方法、及び、プログラム
WO2020161935A1 (ja) * 2019-02-05 2020-08-13 日本電気株式会社 学習装置、学習方法、及び、プログラム
WO2020162240A1 (ja) * 2019-02-08 2020-08-13 日本電信電話株式会社 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
JP2020129061A (ja) * 2019-02-08 2020-08-27 日本電信電話株式会社 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
JP7120064B2 (ja) 2019-02-08 2022-08-17 日本電信電話株式会社 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
WO2020250279A1 (ja) * 2019-06-10 2020-12-17 日本電信電話株式会社 モデル学習装置、方法及びプログラム
JPWO2020250279A1 (ja) * 2019-06-10 2020-12-17
JP7218803B2 (ja) 2019-06-10 2023-02-07 日本電信電話株式会社 モデル学習装置、方法及びプログラム
JP2022539620A (ja) * 2019-09-13 2022-09-12 三菱電機株式会社 対話応答生成システムのためのシステムおよび方法
US11302309B2 (en) 2019-09-13 2022-04-12 International Business Machines Corporation Aligning spike timing of models for maching learning
JP7313558B2 (ja) 2019-09-13 2023-07-24 三菱電機株式会社 対話応答生成システムのためのシステムおよび方法
JP2021096813A (ja) * 2019-12-18 2021-06-24 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド データ処理方法及び装置
US11321590B2 (en) 2019-12-31 2022-05-03 Industrial Technology Research Institute Training method and system of objects detection model based on adaptive annotation design
CN111341318B (zh) * 2020-01-22 2021-02-12 北京世纪好未来教育科技有限公司 说话者角色确定方法、装置、设备及存储介质
CN111341318A (zh) * 2020-01-22 2020-06-26 北京世纪好未来教育科技有限公司 说话者角色确定方法、装置、设备及存储介质
CN111368997B (zh) * 2020-03-04 2022-09-06 支付宝(杭州)信息技术有限公司 神经网络模型的训练方法及装置
CN111368997A (zh) * 2020-03-04 2020-07-03 支付宝(杭州)信息技术有限公司 神经网络模型的训练方法及装置
WO2023017568A1 (ja) * 2021-08-10 2023-02-16 日本電信電話株式会社 学習装置、推定装置、学習方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2018051841A1 (ja) 2019-07-25
JP6712642B2 (ja) 2020-06-24
US11081105B2 (en) 2021-08-03
US20190244604A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
JP6712642B2 (ja) モデル学習装置、その方法、及びプログラム
US11264044B2 (en) Acoustic model training method, speech recognition method, acoustic model training apparatus, speech recognition apparatus, acoustic model training program, and speech recognition program
JP6712644B2 (ja) 音響モデル学習装置、その方法、及びプログラム
CN108694443B (zh) 基于神经网络的语言模型训练方法和装置
US10580432B2 (en) Speech recognition using connectionist temporal classification
US11380301B2 (en) Learning apparatus, speech recognition rank estimating apparatus, methods thereof, and program
US11954594B1 (en) Training recurrent neural networks to generate sequences
WO2023197613A1 (zh) 一种小样本微调方法、系统及相关装置
JP6827911B2 (ja) 音響モデル学習装置、音声認識装置、それらの方法、及びプログラム
CN112084301B (zh) 文本修正模型的训练方法及装置、文本修正方法及装置
Vaněk et al. A regularization post layer: An additional way how to make deep neural networks robust
US20210224642A1 (en) Model learning apparatus, method and program
CN114997287A (zh) 模型训练和数据处理方法、装置、设备及存储介质
CN114528387A (zh) 基于对话流自举的深度学习对话策略模型构建方法和系统
Ferreira et al. Adversarial bandit for online interactive active learning of zero-shot spoken language understanding
Shin et al. End-to-end task dependent recurrent entity network for goal-oriented dialog learning
JP6127778B2 (ja) モデル学習方法、モデル学習プログラム及びモデル学習装置
WO2019235191A1 (ja) モデル学習装置、方法及びプログラム
WO2020090651A1 (ja) 音響モデル学習装置、モデル学習装置、それらの方法、およびプログラム
JP2019095599A (ja) 音響モデル学習装置、音声認識装置、それらの方法、及びプログラム
CN116910210A (zh) 基于文档的智能问答模型训练方法、装置及其应用
CN114970732A (zh) 分类模型的后验校准方法、装置、计算机设备及介质
JP2015141368A (ja) 言語モデル作成装置、音声認識装置、その方法及びプログラム
CN109815323B (zh) 一种人机交互训练问答生成算法
WO2020250279A1 (ja) モデル学習装置、方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850744

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018539639

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17850744

Country of ref document: EP

Kind code of ref document: A1