WO2020196021A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2020196021A1
WO2020196021A1 PCT/JP2020/011438 JP2020011438W WO2020196021A1 WO 2020196021 A1 WO2020196021 A1 WO 2020196021A1 JP 2020011438 W JP2020011438 W JP 2020011438W WO 2020196021 A1 WO2020196021 A1 WO 2020196021A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
learning
information processing
acoustic
state
Prior art date
Application number
PCT/JP2020/011438
Other languages
English (en)
French (fr)
Inventor
衣未留 角尾
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080022389.3A priority Critical patent/CN113632165A/zh
Publication of WO2020196021A1 publication Critical patent/WO2020196021A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program capable of improving the performance of a speech recognition model.
  • the first speech recognition model is a model in which an acoustic model and a language model are individually learned and combined.
  • a gap is likely to occur at the contact point where the acoustic model and the language model are combined, and it is difficult to optimize the performance of the entire speech recognition model.
  • the second speech recognition model is a model called the End-to-End method, which is obtained by learning a model that directly outputs sentences corresponding to the input acoustic features using a neural network.
  • this voice recognition model a large amount of teacher data that combines voice data and text data indicating the contents of the voice data is required. However, it is very difficult to obtain or create a large amount of voice data corresponding to text data. On the other hand, if the teacher data is insufficient, the accuracy of the speech recognition model will decrease.
  • This technology was made in view of this situation, and makes it possible to improve the performance of speech recognition models including language models.
  • the information processing device of the first aspect of the present technology includes a learning unit that learns a language model using a learning model configured by a first neural network.
  • the information processing method of the first aspect of this technology is to learn a language model using a learning model composed of a neural network.
  • the program of the first aspect of the present technology causes a computer to execute a process of learning a language model using a learning model composed of a neural network.
  • the information processing device of the second aspect of the present technology includes a voice recognition unit that performs voice recognition using a voice recognition model including a language model learned using a learning model configured by a first neural network. ..
  • the information processing method of the second aspect of the present technology performs speech recognition using a speech recognition model including a language model learned using a learning model configured by a neural network.
  • the program of the second aspect of the present technology causes a computer to execute a process of performing speech recognition using a speech recognition model including a language model learned using a learning model composed of a neural network.
  • the language model is learned using a learning model composed of a neural network.
  • speech recognition is performed using a speech recognition model including a language model learned using a learning model configured by a neural network.
  • Embodiment >> Embodiments of the present technology will be described with reference to FIGS. 1 to 10.
  • FIG. 1 is a block diagram showing a configuration example of a voice recognition device 101 to which the present technology is applied.
  • the voice recognition device 101 includes a signal processing unit 111, a feature amount extraction unit 112, and a voice recognition unit 113.
  • the signal processing unit 111 performs predetermined signal processing on the input voice data and corrects the voice data. For example, the signal processing unit 111 removes noise from audio data, shapes the waveform, and improves the SNR (Signal Noise Ratio) or SDR (Signal-to-Distortion Ratio) of the audio data.
  • the signal processing unit 111 supplies the voice data after signal processing to the feature amount extraction unit 112.
  • the feature amount extraction unit 112 extracts an acoustic feature amount such as fbank (filter bank logarithmic power) used for voice recognition from the voice data.
  • the feature amount extraction unit 112 supplies the feature amount data indicating the extracted acoustic feature amount to the voice recognition unit 113.
  • the voice recognition unit 113 uses the voice recognition model 121 to perform voice recognition based on the feature amount data.
  • the voice recognition model 121 is composed of, for example, a DNN (Deep Neural Network) -HMM (Hidden Markov Model) type voice recognition model.
  • the speech recognition model 121 includes an acoustic model 131 and a language model 132.
  • the acoustic model 131 performs identification processing of phonemes in the audio data based on the feature amount data, and outputs acoustic data indicating the identification result.
  • the acoustic model 131 can be obtained, for example, by learning a model that estimates the state of the HMM corresponding to each phoneme based on the acoustic features indicated by the feature data using DNN.
  • the language model 132 performs word identification processing in the voice data based on the sound data supplied from the sound model 131, and generates and outputs output data indicating the content (word sequence) of the voice data.
  • the language model 132 is configured by a WFST (Weighted Finite-State Transducer) that combines a model that estimates the appearance probability of the next word from one or more words that appeared immediately before and a transition probability of HMM.
  • WFST Weighted Finite-State Transducer
  • FIG. 2 shows a configuration example of the voice recognition device 201 using the end-to-end type voice recognition model 221 for comparison with the voice recognition device 101 of FIG.
  • the parts corresponding to the voice recognition device 101 in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the voice recognition device 201 is consistent in that it includes a signal processing unit 111 and a feature amount extraction unit 112, and includes a voice recognition unit 211 instead of the voice recognition unit 113. Is different.
  • the voice recognition unit 211 performs voice recognition based on the feature amount data by using the voice recognition model 221 including the encoder 231 and the decoder 232.
  • the voice recognition model 221 is learned using teacher data that is a combination of voice data and text data indicating the contents of the voice data.
  • teacher data that is a combination of voice data and text data indicating the contents of the voice data.
  • FIG. 3 shows a configuration example of the learning device 301 used for learning the acoustic model 131 and the language model 132 of the speech recognition model 121 of FIG.
  • the parts corresponding to the voice recognition device 101 in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the learning device 301 is different from the voice recognition device 101 of FIG. 1 in that it includes a signal processing unit 111 and a feature amount extraction unit 112, and is provided with a learning unit 311 instead of the voice recognition unit 113. ..
  • the learning device 301 is input with input data composed of voice data and teacher data including correct answer data representing the contents of the voice data as text or a vector. Among them, the input data is supplied to the signal processing unit 111, and the correct answer data is supplied to the learning unit 311.
  • the learning unit 311 learns the acoustic model 131 and the language model 132 by using the integrated model 321 that integrates the acoustic model 131 and the learning model 331.
  • the learning model 331 is composed of a neural network. Therefore, the integrated model 321 constitutes a network in which the neural network (DNN) constituting the acoustic model 131 and the neural network constituting the learning model 331 are integrated.
  • the learning model 331 is a model that performs the calculation of the language model 132, for example, the decoding process using the WFST that constitutes the language model 132, and is used for learning the acoustic model 131 and the language model 132.
  • FIG. 4 is a block diagram showing a configuration example of the learning model 331 included in the integrated model 321.
  • the learning model 331 includes an input layer 351, an intermediate layer 352, an output layer 353, and a max pooling layer 354.
  • the input layer 351 is a layer that connects the acoustic model 131 and the learning model 331, and acoustic data is input from the acoustic model 131.
  • the input layer 351 generates acoustic state data by mapping the acoustic data to the state space of the language model 132, and supplies the acoustic data to the intermediate layer 352.
  • the intermediate layer 352 calculates the state transition of the language model 132 based on the acoustic state data, and supplies data indicating the calculation result of the state transition to the output layer 353.
  • the output layer 353 performs a word identification operation in the input data based on the operation result of the state transition by the intermediate layer 352, and supplies the data indicating the operation result to the max pooling layer 354.
  • the max pooling layer 354 estimates the content of the input data based on the word identification result by the output layer 353, and outputs data indicating the estimation result.
  • This process is started, for example, when teacher data is input to the learning device 301.
  • the input data (voice data) included in the teacher data is supplied to the signal processing unit 111, and the correct answer data is supplied to the learning model 331.
  • WFST401 can distinguish two words, "start” and "stop”.
  • Each node of WFST401 shows the state, and the number in the node shows the state number.
  • the state 0 is the initial state
  • the state 9 surrounded by the double circle is the end state.
  • the input label indicates the phoneme that is the condition for the state transition. For example, when the phoneme s is input in the state 0, the state of the WFST401 transitions to the state 2. In addition, "sil" indicates silence.
  • the output label indicates the word that is output at the time of state transition. For example, at the time of transition from state 4 to state 7, "stop” is output as an output label. In addition, “nil” indicates that the output label (word) is not output.
  • the input label for transitioning to the state i is referred to as the input label of the state i, and is represented by ilabel (i).
  • the input label ilabel (2) in the state 2 is "s”.
  • the output label at the time of transition to the state i is referred to as the output label of the state i, and is represented by the label (i).
  • the output label label (5) in state 5 is "start”.
  • step S1 the signal processing unit 111 performs signal processing. Specifically, the signal processing unit 111 performs signal processing such as removing noise from the input data and shaping the waveform, and supplies the input data after the signal processing to the feature amount extraction unit 112.
  • the feature amount extraction unit 112 extracts the feature amount.
  • the feature amount extraction unit 112 extracts an acoustic feature amount such as fbank from the input data for each frame of a predetermined length, and supplies the feature amount data indicating the extracted acoustic feature amount to the learning unit 311.
  • step S3 the learning unit 311 performs a phoneme identification operation. Specifically, the feature amount data is input to the acoustic model 131, the phoneme identification calculation is performed, and the acoustic data is output.
  • the acoustic data includes an acoustic vector indicating the phoneme identification result for each frame of the input data.
  • the acoustic vector is a vector including an acoustic score for each of a plurality of predetermined phonemes as an element.
  • the acoustic score indicates the probability that the sound of the target frame contains the target phoneme.
  • the acoustic vector included in the acoustic data output from the acoustic model 131 is schematically illustrated.
  • the acoustic vectors of frames t1 to t14 are shown.
  • the acoustic vector includes acoustic scores for each phoneme of sil (silence), s, t, aa, r, and p as elements.
  • each acoustic score included in the acoustic vector is represented by a square. The higher the acoustic score, the higher the density of the mass, and the smaller the acoustic score, the lower the density of the mass.
  • the acoustic vector of the frame t is represented by Xa (t)
  • the acoustic score for the i-th phoneme of the acoustic vector Xa (t) is represented by xa i (t). It is assumed that numbers from 0 to 5 are assigned to each phoneme in the order of sil, s, t, aa, r, p.
  • xa 1 (t) indicates the acoustic score for the phoneme s of the acoustic vector Xa (t).
  • step S4 the learning unit 311 maps the acoustic data to the state space of the language model. Specifically, the acoustic vector Xa (t) included in the acoustic data is input to the input layer 351 of the learning model 331, and is converted into the acoustic state vector Xb (t) by the following equation (1).
  • W is a matrix for mapping the acoustic vector Xa (t) to the state space of the language model 132 (WFST401), and is represented by the following equation (2).
  • the weights w i and j which are elements of the matrix W, indicate the weight of the state i of the WFST 401 with respect to the acoustic score xa j (t) of the acoustic vector Xa (t).
  • the first row of the matrix W is the 0th row, and the first column is the 0th column.
  • the weights w i and j are 1 when the input label ilabel (i) for transitioning to the state i and the phoneme targeted for the acoustic score xa i (t) of the acoustic vector Xa (t) match. If they do not match, it becomes 0.
  • the input label ilabel (3) for transitioning to the state 3 and the phoneme targeted for the acoustic score xa 2 (t) of the acoustic vector Xa (t) coincide with each other at t. Therefore, of the weights w1 and j in the first column of the matrix W, only the weights w1 and 2 are set to 1, and the others are set to 0.
  • the element of the acoustic state vector Xb (t) is the acoustic state score xb i (t) with respect to the state i of WFST401.
  • Acoustics score xb i (t) when the sound indicated by the acoustic vector Xa (t) is input, shows the probability of state i.
  • the acoustics score xb i (t) is represented in the mass contained in the acoustic state vector Xb (t). The greater the acoustics score xb i (t), the concentration of the mass is darker, as acoustics score xb i (t) is decreased, the concentration of the mass is thin.
  • step S5 the learning unit 311 performs a forward calculation of the state transition. That is, the acoustic state vector Xb (t) is input to the intermediate layer 352 of the language model 132 along the time series, the operation of the following equation (3) is performed, and the state vector ⁇ (t) is calculated in the order of the time series. Will be done.
  • the transition matrix S in the equation (3) is a sparse matrix representing the state transition of the WFST401, and is represented by the following equation (4).
  • the weights i and j which are elements of the transition matrix S, indicate the weights for the state transition from the state j to the state i of WFST401.
  • the first row of the transition matrix S is the 0th row, and the first column is the 0th column.
  • the weight s 2,0 is set to 0.6, which is the weight for the state transition from state 0 to state 2 of WFST401.
  • the state score ⁇ i (t), which is an element of the state vector A (t), is calculated by the following equation (5).
  • the state score ⁇ i (t) indicates the probability that the state of the WFST 401 constituting the language model 132 is the state i in the frame t.
  • the state score ⁇ 0 (t0) is set to 1, and the other state scores ⁇ i (t0) are set to 0. That is, the state vector A (t0) indicates that the initial state of the WFST401 is the state 0.
  • each state score ⁇ i (t) included in the state vector ⁇ (t) is represented by a square.
  • step S6 the learning unit 311 performs a backward calculation of the state transition. That is, the acoustic state vector Xb (t) is input to the intermediate layer 352 of the learning model 331 in the reverse order of the time series, the calculation of the following equation (6) is performed, and the state vector ⁇ (t) is in the reverse order of the time series. Is calculated to.
  • the state score ⁇ i (t), which is an element of the state vector ⁇ (t), is calculated by the following equation (7).
  • the state score ⁇ i (t) indicates the probability that the state i of the WFST 401 constituting the language model 132 in the frame t will reach the end state by the final frame.
  • the state score ⁇ 9 (t14) is set to 1, and the other state scores ⁇ i (t14) are set to 0. That is, the state vector ⁇ (t14) indicates that the end state of WFST401 is the state 9.
  • each state score ⁇ i (t) included in the state vector ⁇ (t) is represented by a square.
  • step S7 the learning unit 311 performs an output calculation.
  • the state vector ⁇ (t) and the state vector ⁇ (t) are input to the output layer 353 of the learning model 331, the calculation of the following equation (8) is performed, and the output score y v (t) is obtained. It is calculated.
  • the output score y v (t) indicates the word identification result, and indicates the probability that the word v appears in the frame t.
  • s i, j ⁇ O indicates a set of weights s i, j of the transition matrix S corresponding to the path of transition to the state j in which the word v is output as the output label olive (j).
  • the output score y v (t) is calculated based on the results of the forward calculation and the backward calculation of the state transition of the WFST401.
  • the square corresponding to the state score ⁇ 6 (t) is surrounded by a thick line.
  • the square corresponding to the state score ⁇ 7 (t) of the transition destination state 7 when "stop” is output as the output label olive (j) is surrounded by a thick dotted line.
  • the state score ⁇ 4 (t) of the state 4 of the transition source when “start” or “stop” is output as the output label array (j).
  • the square corresponding to is surrounded by a thick line.
  • the output scores y v (t) for "stop” and “start” are schematically illustrated.
  • the output scores y v (t) for "stop” and “start” of frames t1 to t14 are represented by squares. The larger the output score y v (t), the higher the density of the mass, and the smaller the output score y v (t), the thinner the density of the mass.
  • the output score y v (t) for each word v is input to the max pooling layer 354 of the learning model 331, and for example, the calculation of the following equation (9) is performed, and the final output score for each word v is performed.
  • the final score y v is calculated.
  • the final score y v is set to the maximum value of the output score y v (t) of each word v.
  • the output score y v (t) for “stop” becomes maximum at frame t7. Therefore, the final score y v for "stop” is set to the output score y v (t) of the frame t7.
  • the output score y v (t) for "start” becomes maximum at the frame t6. Therefore, the final score y v for "start” is set to the output score y v (t) of frame t6.
  • the final score y v for each word in the teacher data may be calculated so that the score J in the following equation (10) is maximized.
  • R indicates the number of words in the correct answer data of the teacher data, and r indicates the order of appearance of the words in the correct answer data.
  • ref (r) indicates the r-th appearing word in the correct answer data
  • y ref (r) (t) indicates the output score of the word ref (r) in the frame t.
  • t (r-1) indicates a frame in which the r-1st word is estimated to appear in the correct answer data
  • t (r + 1) indicates a frame in which the r + 1th word is estimated to appear in the correct answer data. Shown.
  • the frame t in which the r-th word ref (r) appears in the correct answer data is estimated, and the final score y v for the word ref (r) is the output score of the word ref (r) in the estimated frame t. It is set to y v (t).
  • the final score y v of each word v other than the word ref (r) for the r-th word in the correct answer data is, for example, the output score of each word v in the frame t in which the word ref (r) is estimated to appear. It is set to y v (t).
  • step S8 the learning unit 311 performs an error calculation.
  • the learning target can be regarded as a general identification problem, so that neural network learning can be performed using the loss function. Therefore, for example, the learning unit 311 calculates the error of the output data of the learning model 331 by using the softmax cross entropy function of the following equation (11) as the loss function.
  • the output vector Y is a vector having the final score y v for each word as an element.
  • 1 indicates the L 1 norm of the output vector Y.
  • the correct answer vector P is a vector indicating the correct answer data, and the score for the words included in the correct answer data is set to 1, and the score for the other words is set to 0.
  • T indicates the frame length of the input data
  • ⁇ indicates the weight that is arbitrarily set.
  • KL () indicates KL divergence
  • Xa org (t) indicates an acoustic vector output from the acoustic model 131 before or at the beginning of learning.
  • the learning unit 311 updates the parameters of the language model 132 and the acoustic model 131.
  • the learning unit 311 uses the error backpropagation method (Backpropagation) in general machine learning in the integrated model 321 to provide the neural network constituting the learning model 331 and the lower acoustic model 131.
  • the parameters are updated so as to minimize the value of the loss function of the equation (11) or the equation (12) by propagating the error to the constituent DNN.
  • the weights for the state transitions of the WFST401 constituting the language model 132 weights i, j of the transition matrix S
  • the parameters of the DNN constituting the acoustic model 131 are updated.
  • the weights w i and j of the matrix W in the above equation (1) may also be updated.
  • FIG. 10 schematically shows the flow of updating parameters.
  • the upper part of FIG. 10 is a diagram similar to the output data on the left side of the arrow in FIG.
  • the middle part of FIG. 10 is a diagram similar to the state transition by the backward calculation in the upper part of FIG.
  • the lower part of FIG. 10 is a diagram similar to the state transition by the forward calculation in the lower part of FIG.
  • the error is propagated in the opposite direction to the state transition of the forward operation and the state transition of the backward operation used for calculating the final score y v for "stop", and each error is propagated.
  • the weights for state transitions are updated.
  • the error is propagated in the opposite directions to the state transition of the forward operation and the state transition of the backward operation used for calculating the final score y v for "start”.
  • the weight for each state transition is updated.
  • an error is propagated from the state vector ⁇ (t) and the state vector ⁇ (t) in each frame t to the acoustic state vector Xb (t), and further, from the acoustic state vector Xb (t) to the acoustic vector Xa (t).
  • the error is propagated and the DNN parameters constituting the acoustic model 131 are updated.
  • step S10 the learning device 301 determines whether or not to end the learning process. For example, the learning device 301 determines that the learning process is continued when new teacher data is input, and the process returns to step S1.
  • step S10 the processes of steps S1 to S10 are repeatedly executed until it is determined that the learning process is completed, and the parameters of the acoustic model 131 and the language model 132 are updated.
  • step S10 the learning device 301 determines that the learning process is finished when, for example, new teacher data is not input, and the learning process is finished.
  • the acoustic model 131 whose parameters have been updated by this learning process is used for the voice recognition device 101. Further, the parameters updated by this learning process are reflected in the language model 132 of the voice recognition device 101. For example, the WFST constituting the language model 132 is updated.
  • the parameters can be optimized for the entire voice recognition model 121, and the performance of voice recognition is improved.
  • the acoustic model 131 and the language model 132 are individually learned in advance. Then, by performing the learning process of FIG. 6 with the learned acoustic model 131 and the language model 132 as initial values, a high-performance speech recognition model 121 can be constructed with a small amount of teacher data.
  • the applicability to general-purpose machine learning is improved.
  • the learning process can be easily performed.
  • more routes will be searched, and the learning process can be performed smoothly.
  • only the forward calculation may be performed without performing the backward calculation of the state transition.
  • a process of storing the output label, the score associated therewith, and the path of the state transition is added.
  • this technology can be applied to learning a speech recognition model other than the above-mentioned DNN-HMM speech recognition model.
  • this technique can be applied to learning the language model.
  • the method of classifying phonemes used for speech recognition is arbitrary.
  • general phonemes may be classified into more detailed states.
  • the processes of the voice recognition device 101 and the learning device 301 can be executed by hardware or software.
  • the programs that make up the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 11 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads and executes the program recorded in the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, for example. A series of processing is performed.
  • the program executed by the computer 1000 can be recorded and provided on the removable media 1011 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the recording unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • An information processing device including a learning unit that learns a language model using a learning model configured by a first neural network.
  • the learning unit learns the language model and the acoustic model by using an integrated model in which an acoustic model pre-learned using a second neural network and the learning model are integrated separately from the language model.
  • the information processing apparatus according to (1) above.
  • the learning model is An input layer into which acoustic data output from the acoustic model is input, and The intermediate layer that performs the operation of the state transition of the language model and The information processing apparatus according to (2) or (3) above, further comprising an output layer that performs a word identification operation based on the operation result of the state transition.
  • the information processing apparatus according to (4) wherein the input layer maps the acoustic data to the state space of the language model.
  • the acoustic data includes an acoustic vector indicating a phoneme identification result for each frame of the audio data.
  • the information processing device according to (5) above, wherein the input layer maps the acoustic vector to the state space of the language model.
  • the information processing apparatus performs an operation of the state transition based on a transition matrix representing the state transition of the language model.
  • the language model is composed of WFST (Weighted Finite State Transducer).
  • WFST Weighted Finite State Transducer
  • the information processing apparatus according to (7) above, wherein the transition matrix has a weight for a transition between states of the WFST as an element.
  • the intermediate layer performs forward and backward operations of the state transition,
  • the output layer performs a word identification operation based on the calculation result of the state transition by the forward calculation and the calculation result of the state transition by the backward calculation, according to any one of (4) to (8).
  • the information processing device according to any one of (2) to (9) above, wherein the acoustic model constitutes a DNN (Deep Neural Network) -HMM (Hidden Markov Model) type speech recognition model.
  • the learning model is constructed by using a transition matrix representing a state transition of the language model.
  • the learning unit updates the transition matrix by using an error back propagation method in the learning model.
  • the language model is combined with an end-to-end speech recognition model.
  • An information processing method that learns a language model using a learning model composed of a neural network.
  • An information processing device including a voice recognition unit that performs voice recognition using a voice recognition model including a language model learned using a learning model configured by a first neural network.
  • the speech recognition model includes the acoustic model and the language model trained using an integrated model that integrates an acoustic model pre-trained using a second neural network and the learning model (16). ).
  • Information processing device (18) The information processing apparatus according to (17), wherein the voice recognition model includes the acoustic model and the language model whose parameters have been updated by using the error back propagation method in the integrated model.
  • An information processing method that performs speech recognition using a speech recognition model that includes a language model learned using a learning model configured by a neural network.
  • 101 voice recognition device 111 signal processing unit, 112 feature amount extraction unit, 113 voice recognition unit, 121 voice recognition model, 131 acoustic model, 132 language model, 301 learning device, 311 learning unit, integrated model 321 and 331 learning model , 351 input layer, 352 intermediate layer, 353 output layer, 354 max pooling layer, 401 WFST

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本技術は、言語モデルを含む音声認識モデルの性能を向上することができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 学習装置は、第１のニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習を行う学習部を備える。音声認識装置は、第１のニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識を行う音声認識部を備える。本技術は、例えば、音声認識装置、又は、音声認識モデルの学習を行う学習装置に適用することができる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、音声認識モデルの性能を向上できるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
　機械学習により得られる音声認識モデルには、大きく以下の２種類がある。
　第１の音声認識モデルは、音響モデルと言語モデルを個別に学習し、組み合わせたモデルである。この音声認識モデルでは、音響モデルと言語モデルを組み合わせる接点でギャップが発生しやすく、音声認識モデル全体の性能の最適化が困難である。
　第２の音声認識モデルは、ニューラルネットワークを用いて、入力した音響特徴量に対応する文章を直接出力するモデルを学習することにより得られる、Ｅｎｄ－ｔｏ－Ｅｎｄ方式と呼ばれるモデルである。この音声認識モデルでは、音声データと音声データの内容を示すテキストデータとを組み合わせた教師データが大量に必要になる。しかし、テキストデータに対応する音声データを大量に入手又は作成するのは非常に困難である。一方、教師データが不足すると、音声認識モデルの精度が低下する。
　これに対して、従来、音響モデルと言語モデルを組み合わせて識別学習を行い、誤差を改善するように音響モデルを更新することにより、音響モデルと言語モデルのギャップを埋める方法が提案されている（例えば、特許文献１参照）。
特開２０１１－１９７４１０号公報
　しかしながら、特許文献１の識別学習では、言語モデルに合わせて音響モデルのみが学習されるため、言語モデルの性能は向上しない。
　本技術は、このような状況に鑑みてなされたものであり、言語モデルを含む音声認識モデルの性能を向上できるようにするものである。
　本技術の第１の側面の情報処理装置は、第１のニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習を行う学習部を備える。
　本技術の第１の側面の情報処理方法は、ニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習を行う。
　本技術の第１の側面のプログラムは、ニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習を行う処理をコンピュータに実行させる。
　本技術の第２の側面の情報処理装置は、第１のニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識を行う音声認識部を備える。
　本技術の第２の側面の情報処理方法は、ニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識を行う。
　本技術の第２の側面のプログラムは、ニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識を行う処理をコンピュータに実行させる。
　本技術の第１の側面においては、ニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習が行われる。
　本技術の第２の側面においては、ニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識が行われる。
本技術を適用した音声認識装置の構成例を示すブロック図である。 Ｅｎｄ－ｔｏ－Ｅｎｄ方式の音声認識装置の構成例を示すブロック図である。 本技術を適用した学習装置の構成例を示すブロック図である。 学習用モデルの構成例を示すブロック図である。 学習処理を説明するためのフローチャートである。 ＷＦＳＴの構成例を示す図である。 学習用モデルの入力層及び中間層の演算例を説明するための図である。 状態遷移の前向き演算及び後ろ向き演算の例を示す図である。 出力層の演算例を説明するための図である。 誤差逆伝搬法の演算例を説明するための図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．その他
　＜＜１．実施の形態＞＞
　図１乃至図１０を参照して、本技術の実施の形態について説明する。
　　＜音声認識装置１０１の構成例＞
　図１は、本技術を適用した音声認識装置１０１の構成例を示すブロック図である。
　音声認識装置１０１は、信号処理部１１１、特徴量抽出部１１２、及び、音声認識部１１３を備える。
　信号処理部１１１は、入力された音声データに対して所定の信号処理を行い、音声データの補正を行う。例えば、信号処理部１１１は、音声データのノイズの除去や波形の整形等を行い、音声データのＳＮＲ（Signal Noise Ratio）又はＳＤＲ（Signal-to-Distortion Ratio）を改善する。信号処理部１１１は、信号処理後の音声データを特徴量抽出部１１２に供給する。
　特徴量抽出部１１２は、音声認識に用いるｆｂａｎｋ（フィルタバンク対数パワー）等の音響特徴量を音声データから抽出する。特徴量抽出部１１２は、抽出した音響特徴量を示す特徴量データを音声認識部１１３に供給する。
　音声認識部１１３は、音声認識モデル１２１を用いて、特徴量データに基づいて音声認識を行う。
　音声認識モデル１２１は、例えば、ＤＮＮ（Deep Neural Network）－ＨＭＭ（Hidden Markov Model）方式の音声認識モデルにより構成される。音声認識モデル１２１は、音響モデル１３１及び言語モデル１３２を含む。
　音響モデル１３１は、特徴量データに基づいて、音声データ内の音素の識別処理を行い、識別結果を示す音響データを出力する。音響モデル１３１は、例えば、特徴量データにより示される音響特徴量に基づいて、各音素に対応するＨＭＭの状態を推定するモデルを、ＤＮＮを用いて学習することにより得られる。
　言語モデル１３２は、音響モデル１３１から供給される音響データに基づいて、音声データ内の単語の識別処理を行い、音声データの内容（単語の並び）を示す出力データを生成し、出力する。例えば、言語モデル１３２は、直前に出現した１以上の単語から次の単語の出現確率を推定するモデルにＨＭＭの遷移確率を組み合わせたＷＦＳＴ（Weighted Finite-State Transducer）により構成される。
　本技術では、後述するように、個別に学習された音響モデル１３１と言語モデル１３２を統合した状態で追加学習が行われ、音響モデル１３１及び言語モデル１３２のパラメータが更新される。これにより、音声認識モデル１２１全体の性能の最適化が行われる。
　　＜Ｅｎｄ－ｔｏ－Ｅｎｄ方式の音声認識装置２０１の構成例＞
　図２は、図１の音声認識装置１０１と比較するために、Ｅｎｄ－ｔｏ－Ｅｎｄ方式の音声認識モデル２２１を用いた音声認識装置２０１の構成例を示している。なお、図中、図１の音声認識装置１０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　音声認識装置２０１は、図１の音声認識装置１０１と比較して、信号処理部１１１及び特徴量抽出部１１２を備える点で一致し、音声認識部１１３の代わりに、音声認識部２１１を備える点が異なる。
　音声認識部２１１は、エンコーダ２３１及びデコーダ２３２を含む音声認識モデル２２１を用いて、特徴量データに基づいて、音声認識を行う。
　音声認識モデル２２１は、上述したように、音声データと音声データの内容を示すテキストデータとを組み合わせた教師データを用いて学習される。しかし、上述したように、テキストデータに対応する音声データを大量に入手又は作成するのは非常に困難であり、教師データが不足すると、音声認識モデル２２１の性能が低下する。
　　＜学習装置３０１の構成例＞
　図３は、図１の音声認識モデル１２１の音響モデル１３１及び言語モデル１３２の学習に用いられる学習装置３０１の構成例を示している。なお、図中、図１の音声認識装置１０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　学習装置３０１は、図１の音声認識装置１０１と比較して、信号処理部１１１及び特徴量抽出部１１２を備える点で一致し、音声認識部１１３の代わりに、学習部３１１を備える点が異なる。
　学習装置３０１には、音声データからなる入力データ、及び、音声データの内容をテキスト又はベクトル等で表す正解データを含む教師データが入力される。そのうち、入力データは、信号処理部１１１に供給され、正解データは、学習部３１１に供給される。
　学習部３１１は、音響モデル１３１及び学習用モデル３３１を統合した統合モデル３２１を用いて、音響モデル１３１及び言語モデル１３２の学習を行う。
　学習用モデル３３１は、ニューラルネットワークにより構成される。従って、統合モデル３２１は、音響モデル１３１を構成するニューラルネットワーク（ＤＮＮ）と学習用モデル３３１を構成するニューラルネットワークを統合したネットワークを構成する。学習用モデル３３１は、言語モデル１３２の演算、例えば、言語モデル１３２を構成するＷＦＳＴを用いたデコード処理を行うモデルであり、音響モデル１３１及び言語モデル１３２の学習に用いられる。
　　＜学習用モデル３３１の構成例＞
　図４は、統合モデル３２１に含まれる学習用モデル３３１の構成例を示すブロック図である。
　学習用モデル３３１は、入力層３５１、中間層３５２、出力層３５３、及び、マックスプーリング層３５４を備える。
　入力層３５１は、音響モデル１３１と学習用モデル３３１を結合する層であり、音響モデル１３１から音響データが入力される。入力層３５１は、音響データを言語モデル１３２の状態空間にマッピングすることにより、音響状態データを生成し、中間層３５２に供給する。
　中間層３５２は、音響状態データに基づいて、言語モデル１３２の状態遷移の演算を行い、状態遷移の演算結果を示すデータを出力層３５３に供給する。
　出力層３５３は、中間層３５２による状態遷移の演算結果に基づいて、入力データ内の単語の識別演算を行い、演算結果を示すデータをマックスプーリング層３５４に供給する。
　マックスプーリング層３５４は、出力層３５３による単語の識別結果に基づいて、入力データの内容を推定し、推定結果を示すデータを出力する。
　　＜学習処理＞
　次に、図５のフローチャートを参照して、学習装置３０１により実行される学習処理について説明する。
　この処理は、例えば、学習装置３０１に教師データが入力されたとき開始される。教師データに含まれる入力データ（音声データ）は信号処理部１１１に供給され、正解データは学習用モデル３３１に供給される。
　なお、以下、説明を簡単にするために、学習処理の対象となる言語モデル１３２が図６に示されるＷＦＳＴ４０１により構成される場合を具体例に挙げて説明する。
　ＷＦＳＴ４０１は、”ｓｔａｒｔ”と”ｓｔｏｐ”の２つの単語を識別することが可能である。
　ＷＦＳＴ４０１の各ノードは状態を示し、ノード内の数字は状態番号を示している。なお、状態０が初期状態とされ、二重丸で囲まれている状態９が終了状態とされる。
　各状態を結ぶ矢印は、状態間の遷移を示している。また、各矢印の上には、１段目に「入力ラベル：出力ラベル」が示され、２段目に状態遷移に対する重みが示されている。
　入力ラベルは、状態が遷移する条件となる音素を示す。例えば、状態０において音素ｓが入力されると、ＷＦＳＴ４０１の状態が状態２に遷移する。なお、”ｓｉｌ”は、無音を示す。
　出力ラベルは、状態の遷移時に出力される単語を示す。例えば、状態４から状態７への遷移時に、出力ラベルとして”ｓｔｏｐ”が出力される。なお、”ｎｉｌ”は、出力ラベル（単語）が出力されないことを示す。
　以下、状態ｉに遷移するための入力ラベルを状態ｉの入力ラベルと称し、ｉｌａｂｅｌ（ｉ）で表す。例えば、状態２の入力ラベルｉｌａｂｅｌ（２）は、”ｓ”となる。また、以下、状態ｉへの遷移時の出力ラベルを状態ｉの出力ラベルと称し、ｏｌａｂｅｌ（ｉ）で表す。例えば、状態５の出力ラベルｏｌａｂｅｌ（５）は、”ｓｔａｒｔ”となる。
　ステップＳ１において、信号処理部１１１は、信号処理を行う。具体的には、信号処理部１１１は、入力データのノイズの除去や波形の整形等の信号処理を行い、信号処理後の入力データを特徴量抽出部１１２に供給する。
　ステップＳ２において、特徴量抽出部１１２は、特徴量を抽出する。例えば、特徴量抽出部１１２は、所定の長さのフレーム毎に入力データからｆｂａｎｋ等の音響特徴量を抽出し、抽出した音響特徴量を示す特徴量データを学習部３１１に供給する。
　ステップＳ３において、学習部３１１は、音素の識別演算を行う。具体的には、特徴量データが音響モデル１３１に入力され、音素の識別演算が行われ、音響データが出力される。
　音響データは、入力データのフレーム毎の音素の識別結果を示す音響ベクトルを含む。音響ベクトルは、所定の複数の音素それぞれに対する音響スコアを要素に含むベクトルである。音響スコアは、対象となるフレームの音が対象となる音素を含む確率を示す。
　図７の下段には、音響モデル１３１から出力される音響データに含まれる音響ベクトルが模式的に図示されている。
　この例では、フレームｔ１乃至フレームｔ１４の音響ベクトルが示されている。音響ベクトルには、ｓｉｌ（無音）、ｓ、ｔ、ａａ、ｒ、及び、ｐの各音素に対する音響スコアが要素として含まれる。ここでは、音響ベクトルに含まれる各音響スコアがマスで表されている。そして、音響スコアが大きくなるほど、マスの濃度が濃くされ、音響スコアが小さくなるほど、マスの濃度が薄くされている。
　以下、フレームｔの音響ベクトルをＸａ（ｔ）で表し、音響ベクトルＸａ（ｔ）のｉ番目の音素に対する音響スコアをｘａi（ｔ）で表す。なお、各音素に対して、ｓｉｌ、ｓ、ｔ、ａａ、ｒ、ｐの順に、０から５までの番号が割り振られるものとする。例えば、ｘａ1（ｔ）は、音響ベクトルＸａ（ｔ）の音素ｓに対する音響スコアを示す。
　ステップＳ４において、学習部３１１は、音響データを言語モデルの状態空間にマッピングする。具体的には、音響データに含まれる音響ベクトルＸａ（ｔ）が、学習用モデル３３１の入力層３５１に入力され、次式（１）により音響状態ベクトルＸｂ（ｔ）に変換される。
　Ｘｂ（ｔ）＝Ｗ×Ｘａ（ｔ）・・・（1）
　Ｗは、音響ベクトルＸａ（ｔ）を言語モデル１３２（ＷＦＳＴ４０１）の状態空間にマッピングするための行列であり、次式（２）により表される。
Figure JPOXMLDOC01-appb-M000001
　行列Ｗの要素である重みｗi,jは、音響ベクトルＸａ（ｔ）の音響スコアｘａj（ｔ）に対するＷＦＳＴ４０１の状態ｉの重みを示している。なお、行列Ｗの最初の行は０行目とされ、最初の列は０列目とされる。
　重みｗi,jは、状態ｉに遷移するための入力ラベルｉｌａｂｅｌ（ｉ）と、音響ベクトルＸａ（ｔ）の音響スコアｘａi（ｔ）の対象となる音素とが一致する場合、１となり、一致しない場合、０となる。例えば、状態３に遷移するための入力ラベルｉｌａｂｅｌ（３）と、音響ベクトルＸａ（ｔ）の音響スコアｘａ2（ｔ）の対象となる音素とは、ｔで一致する。従って、行列Ｗの１列目の重みｗ1,jのうち、重みｗ1,2のみが１に設定され、その他は０に設定される。
　図７の中段には、音響ベクトルＸａ（ｔ）から変換された音響状態ベクトルＸｂ（ｔ）が模式的に図示されている。
　音響状態ベクトルＸｂ（ｔ）の要素は、ＷＦＳＴ４０１の状態ｉに対する音響状態スコアｘｂi（ｔ）とされる。音響状態スコアｘｂi（ｔ）は、音響ベクトルＸａ（ｔ）により示される音が入力された場合に、状態ｉとなる確率を示している。ここでは、音響状態ベクトルＸｂ（ｔ）に含まれる各音響状態スコアｘｂi（ｔ）がマスで表されている。そして、音響状態スコアｘｂi（ｔ）が大きくなるほど、マスの濃度が濃くされ、音響状態スコアｘｂi（ｔ）が小さくなるほど、マスの濃度が薄くされている。
　ステップＳ５において、学習部３１１は、状態遷移の前向き演算を行う。すなわち、音響状態ベクトルＸｂ（ｔ）が、時系列に沿って言語モデル１３２の中間層３５２に入力され、次式（３）の演算が行われ、状態ベクトルΑ（ｔ）が時系列の順に計算される。
Figure JPOXMLDOC01-appb-M000002
　式（３）の遷移行列Ｓは、ＷＦＳＴ４０１の状態遷移をスパースな行列で表現したものであり、次式（４）で表される。
Figure JPOXMLDOC01-appb-M000003
　遷移行列Ｓの要素である重みｓi,jは、ＷＦＳＴ４０１の状態ｊから状態ｉへの状態遷移に対する重みを示している。なお、遷移行列Ｓの最初の行は０行目とされ、最初の列は０列目とされる。例えば、重みｓ2,0には、ＷＦＳＴ４０１の状態０から状態２への状態遷移に対する重みである０．６が設定される。
　なお、式（３）の演算において、状態ベクトルＡ（ｔ）の要素である状態スコアαi（ｔ）は、次式（５）により計算される。
Figure JPOXMLDOC01-appb-M000004
　状態スコアαi（ｔ）は、フレームｔにおいて、言語モデル１３２を構成するＷＦＳＴ４０１の状態が状態ｉである確率を示す。
　なお、状態ベクトルΑ（ｔ）の初期値である状態ベクトルΑ（ｔ０）では、状態スコアα0（ｔ０）が１に設定され、その他の状態スコアαi（ｔ０）が０に設定される。すなわち、状態ベクトルΑ（ｔ０）は、ＷＦＳＴ４０１の初期状態が状態０であることを示す。
　このように、遷移行列Ｓを再帰的に適用して状態ベクトルΑ（ｔ）の演算を行うことにより、ＷＦＳＴ４０１の状態遷移と等価な演算が行われる。
　図７の上段には、状態ベクトルΑ（ｔ）が模式的に図示されている。ここでは、状態ベクトルΑ（ｔ）に含まれる各状態スコアαi（ｔ）がマスで表されている。そして、状態スコアαi（ｔ）が大きくなるほど、マスの濃度が濃くされ、状態スコアαi（ｔ）が小さくなるほど、マスの濃度が薄くされている。
　ステップＳ６において、学習部３１１は、状態遷移の後ろ向き演算を行う。すなわち、音響状態ベクトルＸｂ（ｔ）が、時系列の逆順に学習用モデル３３１の中間層３５２に入力され、次式（６）の演算が行われ、状態ベクトルΒ（ｔ）が時系列の逆順に計算される。
Figure JPOXMLDOC01-appb-M000005
　なお、式（６）の演算において、状態ベクトルΒ（ｔ）の要素である状態スコアβi（ｔ）は、次式（７）により計算される。
Figure JPOXMLDOC01-appb-M000006
　状態スコアβi（ｔ）は、フレームｔにおいて、言語モデル１３２を構成するＷＦＳＴ４０１の状態が状態ｉであるものが、最終フレームまでに終了状態にたどり着く確率を示す。
　なお、状態ベクトルΒ（ｔ）の初期値である状態ベクトルΒ（ｔ１４）では、状態スコアβ9（ｔ１４）が１に設定され、その他の状態スコアβi（ｔ１４）が０に設定される。すなわち、状態ベクトルΒ（ｔ１４）は、ＷＦＳＴ４０１の終了状態が状態９であることを示す。
　このように、遷移行列Ｓの転置行列ＳTを再帰的に適用して状態ベクトルΒ（ｔ）の演算を行うことにより、ＷＦＳＴ４０１の状態の逆遷移と等価な演算が行われる。
　図８の上段には、状態ベクトルΒ（ｔ）が模式的に図示されている。ここでは、状態ベクトルΒ（ｔ）に含まれる各状態スコアβi（ｔ）がマスで表されている。そして、状態スコアβi（ｔ）が大きくなるほど、マスの濃度が濃くされ、状態スコアβi（ｔ）が小さくなるほど、マスの濃度が薄くされている。
　なお、図８の下段には、図７の上段と同様に、状態ベクトルΑ（ｔ）が模式的に図示されている。
　ステップＳ７において、学習部３１１は、出力演算を行う。
　具体的には、状態ベクトルΑ（ｔ）及び状態ベクトルΒ（ｔ）が学習用モデル３３１の出力層３５３に入力され、次式（８）の演算が行われ、出力スコアｙv（ｔ）が計算される。
Figure JPOXMLDOC01-appb-M000007
　出力スコアｙv（ｔ）は、単語の識別結果を示し、フレームｔにおいて単語ｖが出現する確率を示す。ｓi,j∈Ｏは、単語ｖが出力ラベルｏｌａｂｅｌ（ｊ）として出力される状態ｊに遷移する経路に対応する遷移行列Ｓの重みｓi,jの集合を示す。
　このように、出力スコアｙv（ｔ）は、ＷＦＳＴ４０１の状態遷移の前向き演算及び後ろ向き演算の結果に基づいて計算される。
　なお、ＷＦＳＴ４０１において、出力ラベルｏｌａｂｅｌ（ｊ）として”ｓｔａｒｔ”が出力されるのは、状態４から状態５又は状態６に遷移する経路である。従って、フレームｔにおける”ｓｔａｒｔ”に対する出力スコアｙv（ｔ）は、フレームｔにおいて、状態４から状態５に遷移する確率、及び、状態４から状態６に遷移する確率のうち大きい方となる。
　また、ＷＦＳＴ４０１において、出力ラベルｏｌａｂｅｌ（ｊ）として”ｓｔｏｐ”が出力されるのは、状態４から状態７に遷移する経路のみである。従って、フレームｔにおける”ｓｔｏｐ”に対する出力スコアｙv（ｔ）は、フレームｔにおいて、状態４から状態７に遷移する確率となる。
　なお、図８の上段の状態ベクトルΒ（ｔ）の図において、出力ラベルｏｌａｂｅｌ（ｊ）として”ｓｔａｒｔ”が出力される場合の遷移先の状態５及び状態６の状態スコアβ5（ｔ）及び状態スコアβ6（ｔ）に対応するマスが太線で囲まれている。また、出力ラベルｏｌａｂｅｌ（ｊ）として”ｓｔｏｐ”が出力される場合の遷移先の状態７の状態スコアβ7（ｔ）に対応するマスが、太い点線で囲まれている。さらに、図８の下段の状態ベクトルΑ（ｔ）の図において、出力ラベルｏｌａｂｅｌ（ｊ）として”ｓｔａｒｔ”又は”ｓｔｏｐ”が出力される場合の遷移元の状態４の状態スコアα4（ｔ）に対応するマスが太線で囲まれている。
　図９の矢印より左側には、”ｓｔｏｐ”及び”ｓｔａｒｔ”に対する出力スコアｙv（ｔ）が模式的に図示されている。ここでは、フレームｔ１乃至フレームｔ１４の”ｓｔｏｐ”及び”ｓｔａｒｔ”に対する出力スコアｙv（ｔ）がマスで表されている。そして、出力スコアｙv（ｔ）が大きくなるほど、マスの濃度が濃くされ、出力スコアｙv（ｔ）が小さくなるほど、マスの濃度が薄くされている。
　次に、各単語ｖに対する出力スコアｙv（ｔ）が学習用モデル３３１のマックスプーリング層３５４に入力され、例えば、次式（９）の演算が行われ、各単語ｖに対する最終的な出力スコアである最終スコアｙvが計算される。
Figure JPOXMLDOC01-appb-M000008
　すなわち、最終スコアｙvは、各単語ｖの出力スコアｙv（ｔ）の最大値に設定される。例えば、図９の例では、”ｓｔｏｐ”に対する出力スコアｙv（ｔ）は、フレームｔ７で最大になる。従って、”ｓｔｏｐ”に対する最終スコアｙvは、フレームｔ７の出力スコアｙv（ｔ）に設定される。また、”ｓｔａｒｔ”に対する出力スコアｙv（ｔ）は、フレームｔ６で最大になる。従って、”ｓｔａｒｔ”に対する最終スコアｙvは、フレームｔ６の出力スコアｙv（ｔ）に設定される。
　なお、現実の教師データにおいては複数の単語が一文中に現れることが多い。そこで、次式（１０）のスコアＪが最大になるように、教師データ内の各単語に対する最終スコアｙvを計算するようにしてもよい。
Figure JPOXMLDOC01-appb-M000009
　Ｒは教師データの正解データ内の単語数を示し、ｒは正解データ内の単語の出現順を示している。ｒｅｆ（ｒ）は正解データ内においてｒ番目に出現する単語を示し、ｙref(r)（ｔ）は、フレームｔにおける単語ｒｅｆ（ｒ）の出力スコアを示している。ｔ（ｒ－１）は、正解データ内においてｒ－１番目の単語が出現すると推定されるフレームを示し、ｔ（ｒ＋１）は、正解データ内においてｒ＋１番目の単語が出現すると推定されるフレームを示している。
　これにより、正解データ内のｒ番目の単語ｒｅｆ（ｒ）が出現するフレームｔが推定され、単語ｒｅｆ（ｒ）に対する最終スコアｙvが、推定されたフレームｔにおける単語ｒｅｆ（ｒ）の出力スコアｙv（ｔ）に設定される。
　なお、正解データ内のｒ番目の単語に対する単語ｒｅｆ（ｒ）以外の各単語ｖの最終スコアｙvは、例えば、単語ｒｅｆ（ｒ）が出現すると推定されたフレームｔにおける各単語ｖの出力スコアｙv（ｔ）に設定される。
　ステップＳ８において、学習部３１１は、誤差演算を行う。
　以上の式（１）乃至式（１０）の演算により、学習対象を一般的な識別問題として捉えることができるため、ロス関数を用いてニューラルネットワーク学習を行うことが可能になる。そこで、例えば、学習部３１１は、ロス関数として次式（１１）のソフトマックスクロスエントロピー関数を用いて、学習用モデル３３１の出力データの誤差を計算する。
Figure JPOXMLDOC01-appb-M000010
　出力ベクトルＹは、各単語に対する最終スコアｙvを要素とするベクトルである。||Ｙ||1は、出力ベクトルＹのＬ1ノルムを示している。正解ベクトルＰは、正解データを示すベクトルであり、正解データに含まれる単語に対するスコアが１に設定され、それ以外の単語に対するスコアが０に設定される。
　なお、例えば、過学習を避けるために、正則化項を追加した次式（１２）を用いてもよい。
Figure JPOXMLDOC01-appb-M000011
　なお、Ｔは入力データのフレーム長を示し、λは任意に設定される重みを示している。また、ＫＬ（）は、ＫＬダイバージェンスを示し、Ｘａorg（ｔ）は、学習前又は学習初期に音響モデル１３１から出力される音響ベクトルを示す。
　ステップＳ９において、学習部３１１は、言語モデル１３２及び音響モデル１３１のパラメータを更新する。具体的には、学習部３１１は、統合モデル３２１において、一般的な機械学習における誤差逆伝搬法（Backpropagation）を用いて、学習用モデル３３１を構成するニューラルネットワーク、及び、下層の音響モデル１３１を構成するＤＮＮに誤差伝搬することにより、式（１１）又は式（１２）のロス関数の値を最小化するようにパラメータの更新を行う。これにより、言語モデル１３２を構成するＷＦＳＴ４０１の状態遷移に対する重み（遷移行列Ｓの重みｓi,j）、及び、音響モデル１３１を構成するＤＮＮのパラメータが更新される。なお、上述した式（１）の行列Ｗの重みｗi,jも更新するようにしてもよい。
　図１０は、パラメータの更新の流れを模式的に示している。図１０の上段は、図９の矢印の左側の出力データと同様の図である。図１０の中段は、図８の上段の後ろ向き演算による状態遷移と同様の図である。図１０の下段は、図８の下段の前向き演算による状態遷移と同様の図である。
　例えば、図１０の点線の矢印で示されるように、”ｓｔｏｐ”に対する最終スコアｙvの算出に用いられた前向き演算の状態遷移及び後ろ向き演算の状態遷移とそれぞれ逆向きに誤差が伝搬され、各状態遷移に対する重みが更新される。同様に、図１０の実線の矢印で示されるように、”ｓｔａｒｔ”に対する最終スコアｙvの算出に用いられた前向き演算の状態遷移及び後ろ向き演算の状態遷移とそれぞれ逆向きに誤差が伝搬され、各状態遷移に対する重みが更新される。
　また、各フレームｔにおける状態ベクトルΑ（ｔ）及び状態ベクトルΒ（ｔ）から音響状態ベクトルＸｂ（ｔ）に誤差が伝搬され、さらに、音響状態ベクトルＸｂ（ｔ）から音響ベクトルＸａ（ｔ）に誤差が伝搬され、音響モデル１３１を構成するＤＮＮのパラメータが更新される。
　ステップＳ１０において、学習装置３０１は、学習処理を終了するか否かを判定する。例えば、学習装置３０１は、新たな教師データが入力された場合、学習処理を継続すると判定し、処理はステップＳ１に戻る。
　その後、ステップＳ１０において、学習処理を終了すると判定されるまで、ステップＳ１乃至ステップＳ１０の処理が繰り返し実行され、音響モデル１３１及び言語モデル１３２のパラメータが更新される。
　一方、ステップＳ１０において、学習装置３０１は、例えば、新たな教師データが入力されなかった場合、学習処理を終了すると判定し、学習処理は終了する。
　なお、この学習処理によりパラメータが更新された音響モデル１３１が、音声認識装置１０１に用いられる。また、この学習処理より更新されたパラメータが、音声認識装置１０１の言語モデル１３２に反映される。例えば、言語モデル１３２を構成するＷＦＳＴが更新される。
　このように、音響モデル１３１と学習用モデル３３１を統合した状態で、音響モデル１３１及び言語モデル１３２の両方の学習が行われる。従って、音声認識モデル１２１全体でパラメータを最適化することができ、音声認識の性能が向上する。
　また、音響モデル１３１及び言語モデル１３２は、それぞれ事前に個別に学習されている。そして、学習済みの音響モデル１３１及び言語モデル１３２を初期値として図６の学習処理を行うことにより、少量の教師データで、高性能な音声認識モデル１２１を構築することができる。
　さらに、状態遷移の前向き演算及び後ろ向き演算を組み合わせることにより、汎用的な機械学習への適用性が向上する。これにより、学習処理を容易に行うことができる。また、より多くの経路が探索されるようになり、学習処理をスムーズに行うことが可能になる。
　＜＜２．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　例えば、図６の学習処理において、状態遷移の後ろ向き演算を行わずに、前向き演算のみを行うようにしてもよい。この場合、例えば、誤差逆伝搬法によりパラメータの更新を行うために、出力ラベル、及び、それに付随するスコア、並びに、状態遷移の経路を記憶する処理が追加される。
　また、例えば、学習用モデル３３１を用いて、言語モデル１３２のみの学習を行うことも可能である。
　さらに、本技術は、上述したＤＮＮ－ＨＭＭ方式の音声認識モデル以外の音声認識モデルの学習に適用することが可能である。例えば、Ｅｎｄ－ｔｏ－Ｅｎｄ方式の音声認識モデルに追加の言語モデルを組み合わせる場合、本技術は、その言語モデルの学習に適用することが可能である。
　また、本技術を用いれば、少量のデータのみで、音声認識モデルの微調整を行う適応処理を超える処理を行うことができる。例えば、音声認識モデルの適応処理を行うＡＰＩ（Application Programming Interface）を提供する場合、適応データと合わせて、言語モデルを構成するＷＦＳＴを更新するか否かを指定し、それに従って、言語モデルを更新させることが可能である。
　さらに、音声認識に用いる音素の分類方法は、任意である。例えば、一般的な音素をさらに細かな状態に分類するようにしてもよい。
　＜＜３．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、例えば、音声認識装置１０１及び学習装置３０１の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　第１のニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習を行う学習部を
　備える情報処理装置。
（２）
　前記学習部は、前記言語モデルとは別に第２のニューラルネットワークを用いて事前に学習された音響モデルと前記学習用モデルとを統合した統合モデルを用いて、前記言語モデル及び前記音響モデルの学習を行う
　前記（１）に記載の情報処理装置。
（３）
　前記学習部は、前記統合モデルにおいて誤差逆伝搬法により前記言語モデル及び前記音響モデルのパラメータを更新する
　前記（２）に記載の情報処理装置。
（４）
　前記学習用モデルは、
　　前記音響モデルから出力される音響データが入力される入力層と、
　　前記言語モデルの状態遷移の演算を行う中間層と、
　　前記状態遷移の演算結果に基づいて、単語の識別演算を行う出力層と
　を備える前記（２）又は（３）に記載の情報処理装置。
（５）
　前記入力層は、前記音響データを前記言語モデルの状態空間にマッピングする
　前記（４）に記載の情報処理装置。
（６）
　前記音響データは、音声データのフレーム毎の音素の識別結果を示す音響ベクトルを含み、
　前記入力層は、前記音響ベクトルを前記言語モデルの状態空間にマッピングする
　前記（５）に記載の情報処理装置。
（７）
　前記中間層は、前記言語モデルの前記状態遷移を表す遷移行列に基づいて、前記状態遷移の演算を行う
　前記（４）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記言語モデルは、ＷＦＳＴ（Weighted Finite State Transducer）により構成され、
　前記遷移行列は、前記ＷＦＳＴの状態間の遷移に対する重みを要素とする
　前記（７）に記載の情報処理装置。
（９）
　前記中間層は、前記状態遷移の前向き演算及び後ろ向き演算を行い、
　前記出力層は、前記前向き演算による前記状態遷移の演算結果、及び、前記後ろ向き演算による前記状態遷移の演算結果に基づいて、単語の識別演算を行う
　前記（４）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記音響モデルは、ＤＮＮ（Deep Neural Network）－ＨＭＭ（Hidden Markov Model）方式の音声認識モデルを構成する
　前記（２）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記学習用モデルは、前記言語モデルの状態遷移を表す遷移行列を用いて構築される
　前記（１）に記載の情報処理装置。
（１２）
　前記学習部は、前記学習用モデルにおいて誤差逆伝搬法を用いて前記遷移行列を更新する
　前記（１１）に記載の情報処理装置。
（１３）
　前記言語モデルは、Ｅｎｄ－ｔｏ－Ｅｎｄ方式の音声認識モデルと組み合わせられる
　前記（１）に記載の情報処理装置。
（１４）
　ニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習を行う
　情報処理方法。
（１５）
　ニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習を行う
　処理をコンピュータに実行させるためのプログラム。
（１６）
　第１のニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識を行う音声認識部を
　備える情報処理装置。
（１７）
　前記音声認識モデルは、第２のニューラルネットワークを用いて事前に学習された音響モデルと前記学習用モデルとを統合した統合モデルを用いて学習された前記音響モデル及び前記言語モデルを含む
　前記（１６）に記載の情報処理装置。
（１８）
　前記音声認識モデルは、前記統合モデルにおいて誤差逆伝搬法を用いてパラメータが更新された前記音響モデル及び前記言語モデルを含む
　前記（１７）に記載の情報処理装置。
（１９）
　ニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識を行う
　情報処理方法。
（２０）
　ニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識を行う
　処理をコンピュータに実行させるためのプログラム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０１　音声認識装置，　１１１　信号処理部，　１１２　特徴量抽出部，　１１３　音声認識部，　１２１　音声認識モデル，　１３１　音響モデル，　１３２　言語モデル，　３０１　学習装置，　３１１　学習部，　統合モデル３２１，　３３１　学習用モデル，　３５１　入力層，　３５２　中間層，　３５３　出力層，　３５４　マックスプーリング層，　４０１　ＷＦＳＴ

Claims (20)

  1. 　第１のニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習を行う学習部を
    　備える情報処理装置。
  2. 　前記学習部は、前記言語モデルとは別に第２のニューラルネットワークを用いて事前に学習された音響モデルと前記学習用モデルとを統合した統合モデルを用いて、前記言語モデル及び前記音響モデルの学習を行う
    　請求項１に記載の情報処理装置。
  3. 　前記学習部は、前記統合モデルにおいて誤差逆伝搬法により前記言語モデル及び前記音響モデルのパラメータを更新する
    　請求項２に記載の情報処理装置。
  4. 　前記学習用モデルは、
    　　前記音響モデルから出力される音響データが入力される入力層と、
    　　前記言語モデルの状態遷移の演算を行う中間層と、
    　　前記状態遷移の演算結果に基づいて、単語の識別演算を行う出力層と
    　を備える請求項２に記載の情報処理装置。
  5. 　前記入力層は、前記音響データを前記言語モデルの状態空間にマッピングする
    　請求項４に記載の情報処理装置。
  6. 　前記音響データは、音声データのフレーム毎の音素の識別結果を示す音響ベクトルを含み、
    　前記入力層は、前記音響ベクトルを前記言語モデルの状態空間にマッピングする
    　請求項５に記載の情報処理装置。
  7. 　前記中間層は、前記言語モデルの前記状態遷移を表す遷移行列に基づいて、前記状態遷移の演算を行う
    　請求項４に記載の情報処理装置。
  8. 　前記言語モデルは、ＷＦＳＴ（Weighted Finite State Transducer）により構成され、
    　前記遷移行列は、前記ＷＦＳＴの状態間の遷移に対する重みを要素とする
    　請求項７に記載の情報処理装置。
  9. 　前記中間層は、前記状態遷移の前向き演算及び後ろ向き演算を行い、
    　前記出力層は、前記前向き演算による前記状態遷移の演算結果、及び、前記後ろ向き演算による前記状態遷移の演算結果に基づいて、単語の識別演算を行う
    　請求項４に記載の情報処理装置。
  10. 　前記音響モデルは、ＤＮＮ（Deep Neural Network）－ＨＭＭ（Hidden Markov Model）方式の音声認識モデルを構成する
    　請求項２に記載の情報処理装置。
  11. 　前記学習用モデルは、前記言語モデルの状態遷移を表す遷移行列を用いて構築される
    　請求項１に記載の情報処理装置。
  12. 　前記学習部は、前記学習用モデルにおいて誤差逆伝搬法を用いて前記遷移行列を更新する
    　請求項１１に記載の情報処理装置。
  13. 　前記言語モデルは、Ｅｎｄ－ｔｏ－Ｅｎｄ方式の音声認識モデルと組み合わせられる
    　請求項１に記載の情報処理装置。
  14. 　ニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習を行う
    　情報処理方法。
  15. 　ニューラルネットワークにより構成される学習用モデルを用いて言語モデルの学習を行う
    　処理をコンピュータに実行させるためのプログラム。
  16. 　第１のニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識を行う音声認識部を
    　備える情報処理装置。
  17. 　前記音声認識モデルは、第２のニューラルネットワークを用いて事前に学習された音響モデルと前記学習用モデルとを統合した統合モデルを用いて学習された前記音響モデル及び前記言語モデルを含む
    　請求項１６に記載の情報処理装置。
  18. 　前記音声認識モデルは、前記統合モデルにおいて誤差逆伝搬法を用いてパラメータが更新された前記音響モデル及び前記言語モデルを含む
    　請求項１７に記載の情報処理装置。
  19. 　ニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識を行う
    　情報処理方法。
  20. 　ニューラルネットワークにより構成される学習用モデルを用いて学習された言語モデルを含む音声認識モデルを用いて音声認識を行う
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2020/011438 2019-03-28 2020-03-16 情報処理装置、情報処理方法、及び、プログラム WO2020196021A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202080022389.3A CN113632165A (zh) 2019-03-28 2020-03-16 信息处理装置、信息处理方法及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-062505 2019-03-28
JP2019062505 2019-03-28

Publications (1)

Publication Number Publication Date
WO2020196021A1 true WO2020196021A1 (ja) 2020-10-01

Family

ID=72611472

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011438 WO2020196021A1 (ja) 2019-03-28 2020-03-16 情報処理装置、情報処理方法、及び、プログラム

Country Status (2)

Country Link
CN (1) CN113632165A (ja)
WO (1) WO2020196021A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075706A (ja) * 2013-10-10 2015-04-20 日本放送協会 誤り修正モデル学習装置、及びプログラム
US20170011738A1 (en) * 2015-07-09 2017-01-12 Google Inc. Generating acoustic models
JP2018060047A (ja) * 2016-10-05 2018-04-12 国立研究開発法人情報通信研究機構 音響モデルの学習装置及びそのためのコンピュータプログラム
JP2018180045A (ja) * 2017-04-04 2018-11-15 日本電信電話株式会社 音響モデル学習装置、モデル学習装置、モデル学習方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075706A (ja) * 2013-10-10 2015-04-20 日本放送協会 誤り修正モデル学習装置、及びプログラム
US20170011738A1 (en) * 2015-07-09 2017-01-12 Google Inc. Generating acoustic models
JP2018060047A (ja) * 2016-10-05 2018-04-12 国立研究開発法人情報通信研究機構 音響モデルの学習装置及びそのためのコンピュータプログラム
JP2018180045A (ja) * 2017-04-04 2018-11-15 日本電信電話株式会社 音響モデル学習装置、モデル学習装置、モデル学習方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAWAHARA, TATSUYA,: "State of speechrecognition technology: Deep learning and end-toend modeling", THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN, vol. 74, no. 7, July 2018 (2018-07-01), pages 381 - 386 *

Also Published As

Publication number Publication date
CN113632165A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
US11756534B2 (en) Adaptive audio enhancement for multichannel speech recognition
US10347241B1 (en) Speaker-invariant training via adversarial learning
US10629185B2 (en) Statistical acoustic model adaptation method, acoustic model learning method suitable for statistical acoustic model adaptation, storage medium storing parameters for building deep neural network, and computer program for adapting statistical acoustic model
JP6671020B2 (ja) 対話行為推定方法、対話行為推定装置及びプログラム
US9824683B2 (en) Data augmentation method based on stochastic feature mapping for automatic speech recognition
CN106688034B (zh) 具有情感内容的文字至语音转换
US9400955B2 (en) Reducing dynamic range of low-rank decomposition matrices
US9460711B1 (en) Multilingual, acoustic deep neural networks
US10580432B2 (en) Speech recognition using connectionist temporal classification
US20150161993A1 (en) Systems and methods for applying speaker adaption techniques to correlated features
EP3910625A2 (en) Method and apparatus for utterance time estimation
US5956676A (en) Pattern adapting apparatus using minimum description length criterion in pattern recognition processing and speech recognition system
Guo et al. Deep neural network based i-vector mapping for speaker verification using short utterances
Ren et al. Combination of bottleneck feature extraction and dereverberation for distant-talking speech recognition
JP7423056B2 (ja) 推論器および推論器の学習方法
JP2004004906A (ja) 固有声に基づいた最尤法を含む話者と環境の適合化方法
WO2020196021A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP4779239B2 (ja) 音響モデル学習装置、音響モデル学習方法、およびそのプログラム
US20240096332A1 (en) Audio signal processing method, audio signal processing apparatus, computer device and storage medium
JP2004279454A (ja) 音声生成モデル話者適応化方法、その装置、そのプログラム及びその記録媒体
US20220277767A1 (en) Voice/non-voice determination device, voice/non-voice determination model parameter learning device, voice/non-voice determination method, voice/non-voice determination model parameter learning method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20777017

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20777017

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP